JP2020008483A - Imaging device and method for controlling imaging device - Google Patents

Imaging device and method for controlling imaging device Download PDF

Info

Publication number
JP2020008483A
JP2020008483A JP2018131450A JP2018131450A JP2020008483A JP 2020008483 A JP2020008483 A JP 2020008483A JP 2018131450 A JP2018131450 A JP 2018131450A JP 2018131450 A JP2018131450 A JP 2018131450A JP 2020008483 A JP2020008483 A JP 2020008483A
Authority
JP
Japan
Prior art keywords
signal
tof
light source
imaging
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018131450A
Other languages
Japanese (ja)
Inventor
真島　正男
Masao Majima
正男 真島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018131450A priority Critical patent/JP2020008483A/en
Publication of JP2020008483A publication Critical patent/JP2020008483A/en
Pending legal-status Critical Current

Links

Images

Abstract

To suppress errors of a distance image signal caused by a synchronization displacement between light emission of a light source and generation of the distance image signal.SOLUTION: The imaging device includes: a generation unit (104) for generating a periodic signal; a light source (103) which emits light according to a first periodic signal based on the periodic signal generated by the generation unit; and a plurality of imaging units (101, 102) for each generating a distance image signal on the basis of a reflected light of the emission from the light source on the basis of a plurality of second periodic signals based on the periodic signal generated by the generation unit. The emission of the light source and the generation of distance image signals by the imaging units are synchronized with each other.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置および撮像装置の制御方法に関する。   The present invention relates to an imaging device and a control method of the imaging device.

距離画像撮像装置は、物体および環境の立体形状の把握のための距離画像を生成する。距離画像撮像装置は、産業用ロボットでのワークの認識や、自動運転・自律移動のための環境認識に用いられている。   The range image capturing device generates a range image for grasping a three-dimensional shape of an object and an environment. 2. Description of the Related Art A range image capturing apparatus is used for recognition of a work by an industrial robot and environment recognition for automatic driving and autonomous movement.

距離計測方法として、光を投射し、物体表面での反射光の戻ってくる時間を計測する光飛行時間方式（Time of Flight、以下、ＴＯＦという）がある。ＴＯＦには、直接ＴＯＦと間接ＴＯＦがある。直接ＴＯＦは、短パルス光を使用し、直接、光飛行時間を測定する。計測精度向上のためには、超高速の電子回路技術が必要である。一方、間接ＴＯＦは、専用の受光素子を用い、周期的に変調された光（矩形波を含む）を使用し、変調信号と同期した復調信号で受光素子を制御することで、時間を電圧に変換して測定する。間接ＴＯＦ画像素子と呼ばれる２次元センサが開発されている。   As a distance measuring method, there is an optical time-of-flight method (hereinafter, referred to as TOF) that projects light and measures a time when reflected light returns on an object surface. TOF includes direct TOF and indirect TOF. Direct TOF uses short pulse light to directly measure the time of flight. To improve measurement accuracy, ultra-high-speed electronic circuit technology is required. On the other hand, the indirect TOF uses a dedicated light receiving element, uses periodically modulated light (including a rectangular wave), and controls the light receiving element with a demodulation signal synchronized with a modulation signal, thereby converting time into a voltage. Convert and measure. Two-dimensional sensors called indirect TOF image elements have been developed.

特許文献１には、ステレオと間接ＴＯＦを組み合わせた距離画像撮像方式が記載されている。左側と右側の２つの間接ＴＯＦ型距離画像撮像装置を用いている。左側の間接ＴＯＦ型距離画像撮像装置の光源からの投射による計測と、右側の間接ＴＯＦ型距離画像撮像装置の光源からの投射による計測と、左右両方の間接ＴＯＦ型距離画像撮像装置の光源からの同時投射による計測との合計３回の計測が行われる。その３回の計測結果を基に距離画像が生成される。３回の計測結果を基にすることにより、距離画像の精度を向上させている。   Patent Literature 1 describes a range image capturing method combining stereo and indirect TOF. Two indirect TOF range image pickup devices on the left and right sides are used. Measurement by projection from the light source of the left indirect TOF range image pickup device, measurement by projection from the light source of the right indirect TOF range image pickup device, and measurement from the light source of both the left and right indirect TOF range image pickup devices A total of three measurements including the simultaneous projection are performed. A distance image is generated based on the three measurement results. The accuracy of the distance image is improved based on the results of the three measurements.

米国特許出願公開第２０１４／０３３３７２８号明細書U.S. Patent Application Publication No. 2014/0333728

間接ＴＯＦでは、ＴＯＦ画像素子による復調処理により、時間差を電圧に変換している。変調信号と復調信号の位相差は、対象物と距離画像撮像装置間の光の往復飛行時間と同様に電圧に寄与する。光速度は、３×１０10ｃｍ／ｓと高速であるため、例えば、１ｎｓの位相差により、１５ｃｍの系統誤差が発生する。 In the indirect TOF, a time difference is converted into a voltage by a demodulation process using a TOF image element. The phase difference between the modulation signal and the demodulation signal contributes to the voltage as well as the round trip time of light between the object and the range image pickup device. Since the light speed is as high as 3 × 10 10 cm / s, a systematic error of 15 cm occurs due to a phase difference of 1 ns, for example.

特許文献１のステレオと間接ＴＯＦを組み合わせた距離画像撮像装置では、２つの間接ＴＯＦ型距離画像撮像装置の変調信号と復調信号は、周波数が同じだが、位相差がある。この位相差が距離計測の系統誤差の一因となっている。   In the range image pickup device combining the stereo and the indirect TOF of Patent Document 1, the modulation signal and the demodulation signal of the two indirect TOF range image pickup devices have the same frequency but have a phase difference. This phase difference contributes to a systematic error in distance measurement.

本発明の目的は、光源の発光と距離画像信号生成の同期ずれによる距離画像信号の誤差を抑制することである。   An object of the present invention is to suppress an error in a distance image signal due to a synchronization shift between light emission of a light source and generation of a distance image signal.

本発明の撮像装置は、周期信号を生成する発生部と、前記発生部が生成する周期信号に基づく第１の周期信号を基に発光する１つの光源と、前記発生部が生成する周期信号に基づく複数の第２の周期信号を基に、前記光源の発光に対する反射光に基づく距離画像信号をそれぞれ生成する複数の撮像部とを有し、前記光源の発光と前記複数の撮像部の距離画像信号生成とが同期している。   An imaging apparatus according to an aspect of the invention includes a generation unit that generates a periodic signal, one light source that emits light based on a first periodic signal based on the periodic signal generated by the generation unit, and a light source that generates a periodic signal. A plurality of imaging units that respectively generate distance image signals based on reflected light with respect to the light emission of the light source based on the plurality of second periodic signals based on the light emission of the light source and the distance images of the plurality of imaging units. Synchronization with signal generation.

本発明によれば、光源の発光と距離画像信号生成の同期ずれによる距離画像信号の誤差を抑制することができる。   According to the present invention, it is possible to suppress an error in a distance image signal due to a synchronization shift between light emission of a light source and generation of a distance image signal.

距離画像撮像装置の構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration example of a range image capturing device. 距離画像撮像装置の回路基板の配置図である。FIG. 3 is a layout diagram of a circuit board of the range image pickup device. 光源の変調と距離画像撮像部の復調動作を示す図である。It is a figure which shows the modulation | alteration of a light source, and the demodulation operation | movement of a range image imaging part. 距離とＴＯＦ画像撮像部のＴＯＦ画素信号との関係を示す図である。FIG. 4 is a diagram illustrating a relationship between a distance and a TOF pixel signal of a TOF image capturing unit. 距離画像撮像装置の構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration example of a range image capturing device. 距離画像撮像装置での変復調信号の位相差の影響を示す図である。FIG. 5 is a diagram illustrating the influence of a phase difference between modulation and demodulation signals in the range image pickup device. 距離とＴＯＦ画像撮像部のＴＯＦ画素信号との関係を示す図である。FIG. 4 is a diagram illustrating a relationship between a distance and a TOF pixel signal of a TOF image capturing unit. ２つのＴＯＦ画像撮像部の撮像動作について説明する図である。FIG. 5 is a diagram illustrating an imaging operation of two TOF image imaging units.

（第１の実施形態）
図１は、本発明の第１の実施形態による距離画像撮像装置１００の構成例を示すブロック図である。以下の説明では、単にＴＯＦと書いた場合は、間接ＴＯＦを意味するものとする。距離画像撮像装置１００は、ＴＯＦ画像撮像部１０１，１０２と、光源１０３と、矩形波発生部１０４と、制御・距離画像演算部１０５とを有する。距離画像撮像装置１００は、２つのＴＯＦ画像撮像部１０１および１０２を有する。矩形波発生部１０４は、ＴＯＦ画像撮像部１０１および１０２の復調信号をそれぞれ生成する。 (1st Embodiment)
FIG. 1 is a block diagram illustrating a configuration example of a range image capturing apparatus 100 according to the first embodiment of the present invention. In the following description, simply writing TOF means indirect TOF. The range image pickup device 100 includes TOF image pickup units 101 and 102, a light source 103, a rectangular wave generation unit 104, and a control / range image calculation unit 105. The range image pickup device 100 includes two TOF image pickup units 101 and 102. The rectangular wave generating section 104 generates demodulated signals of the TOF image capturing sections 101 and 102, respectively.

矩形波発生部１０４は、制御・距離画像演算部１０５から矩形波制御信号を入力し、図３に示すように、光源１０３の変調信号（矩形波）と、２つのＴＯＦ画像撮像部１０１および１０２の復調信号（矩形波）を生成する。変調信号（矩形波）と復調信号（矩形波）は、周期信号である。矩形波発生部１０４は、その生成した変調信号を光源１０３に出力し、その生成した２つの復調信号をＴＯＦ画像撮像部１０１および１０２にそれぞれ出力する。復調信号（矩形波）の周波数は、入力される矩形波制御信号で設定される。３つの出力信号の位相差は、望ましくは零にする。   The rectangular wave generation unit 104 receives a rectangular wave control signal from the control / distance image calculation unit 105 and, as shown in FIG. 3, modulates the signal of the light source 103 (rectangular wave) and the two TOF image capturing units 101 and 102. To generate a demodulated signal (rectangular wave). The modulation signal (rectangular wave) and the demodulation signal (rectangular wave) are periodic signals. The rectangular wave generator 104 outputs the generated modulation signal to the light source 103, and outputs the two generated demodulated signals to the TOF image capturing units 101 and 102, respectively. The frequency of the demodulated signal (rectangular wave) is set by the input rectangular wave control signal. The phase difference between the three output signals is desirably zero.

光源１０３は、発光素子と駆動回路を有し、入力される図３の変調信号（矩形波）で強度変調された光を射出する。光源１０３の光出力等の動作パラメータは、光源制御信号で設定される。発光素子は、例えば、ＬＥＤまたはレーザであり、可視カメラとの併用を踏まえて、波長が８００ｎｍ〜９００ｎｍの近赤外光を使うことが望ましい。光源１０３は、矩形波発生部１０４から変調信号（矩形波）を入力し、制御・距離画像演算部１０５から光源制御信号を入力し、発光する。変調信号とは、光源１０３の強度変調の基となる矩形波である。光源１０３から射出される光の波形は、デューティ比が５０％のパルス波となる。光源１０３が射出した光は、対象物で反射し、反射光が距離画像撮像装置１００に戻ってくる。   The light source 103 has a light emitting element and a drive circuit, and emits light whose intensity is modulated by the input modulation signal (rectangular wave) of FIG. Operating parameters such as the light output of the light source 103 are set by a light source control signal. The light emitting element is, for example, an LED or a laser, and it is desirable to use near-infrared light having a wavelength of 800 nm to 900 nm in consideration of the combined use with a visible camera. The light source 103 receives a modulation signal (rectangular wave) from the rectangular wave generation unit 104, receives a light source control signal from the control / range image calculation unit 105, and emits light. The modulation signal is a rectangular wave on which the intensity of the light source 103 is modulated. The waveform of the light emitted from the light source 103 is a pulse wave having a duty ratio of 50%. The light emitted from the light source 103 is reflected by the object, and the reflected light returns to the range image pickup device 100.

ＴＯＦ画像撮像部１０１および１０２は、それぞれ、ＴＯＦ画像素子と、処理回路と、光学系とを有する。ＴＯＦ画像素子は、受光部に入射する光を、入力される図３の復調信号（矩形波）を基に復調し、撮像物の距離に応じた電気信号を出力する。処理回路は、入力されるＴＯＦ画像素子制御信号に基づき、ＴＯＦ画像素子の動作パラメータの設定を行い、ＴＯＦ画像素子から出力信号を処理し、距離画像信号を生成する。ＴＯＦ画像撮像部１０１および１０２は、それぞれ、矩形波発生部１０４から復調信号（矩形波）を入力し、制御・距離画像演算部１０５からＴＯＦ画像素子制御信号を入力し、制御・距離画像演算部１０５に距離画像信号を出力する。復調信号は、ＴＯＦ画像素子の受光動作をオン／オフさせる矩形波である。ＴＯＦ画像素子は、デューティが５０％の復調信号でオン／オフ動作する。変調信号と復調信号は、同じ周波数である。   Each of the TOF image capturing units 101 and 102 has a TOF image element, a processing circuit, and an optical system. The TOF image element demodulates the light incident on the light receiving section based on the demodulated signal (rectangular wave) shown in FIG. 3 and outputs an electric signal corresponding to the distance of the imaged object. The processing circuit sets operation parameters of the TOF image element based on the input TOF image element control signal, processes an output signal from the TOF image element, and generates a distance image signal. The TOF image capturing units 101 and 102 each receive a demodulated signal (rectangular wave) from the rectangular wave generating unit 104, a TOF image element control signal from the control / range image calculation unit 105, and a control / range image calculation unit. A distance image signal is output to 105. The demodulated signal is a rectangular wave for turning on / off the light receiving operation of the TOF image element. The TOF image element is turned on / off by a demodulated signal having a duty of 50%. The modulation signal and the demodulation signal have the same frequency.

制御・距離画像演算部１０５は、ＴＯＦ画像撮像部１０１および１０２が生成した距離画像信号を基に、距離画像信号を再生成し、その再生成した距離画像信号を外部のパソコン等に出力する。また、制御・距離画像演算部１０５は、距離画像撮像装置制御信号を外部のパソコン等から入力し、距離画像撮像装置１００の動作設定および動作制御を行う。   The control / range image calculation unit 105 regenerates the range image signal based on the range image signals generated by the TOF image capturing units 101 and 102, and outputs the regenerated range image signal to an external personal computer or the like. Further, the control / distance image calculation unit 105 inputs a distance image capturing device control signal from an external personal computer or the like, and performs operation setting and operation control of the distance image capturing device 100.

図２（ａ）は、距離画像撮像装置１００の回路基板の表面２０１の配置図であり、図２（ｂ）は、距離画像撮像装置１００の回路基板の裏面２０２の配置図である。図２（ｂ）は、図２（ａ）を紙面裏側から見た配置を示しており、左右が逆になっている。回路基板の表面２０１には、左端にＴＯＦ画像撮像部１０１が配置され、右端にＴＯＦ画像撮像部１０２が配置され、中央に光源１０３が配置される。回路基板の裏面２０２には、中央下側に矩形波発生部１０４が配置され、空きスペースに制御・距離画像演算部１０５が配置される。   2A is a layout diagram of the front surface 201 of the circuit board of the range image capturing device 100, and FIG. 2B is a layout diagram of the back surface 202 of the circuit board of the range image capturing device 100. FIG. 2 (b) shows the arrangement of FIG. 2 (a) as viewed from the back side of the paper, and the left and right are reversed. On the front surface 201 of the circuit board, the TOF image capturing unit 101 is disposed at the left end, the TOF image capturing unit 102 is disposed at the right end, and the light source 103 is disposed at the center. On the back surface 202 of the circuit board, a rectangular wave generation unit 104 is disposed at the lower center side, and a control / distance image calculation unit 105 is disposed in an empty space.

図３は、光源１０３の変調信号（光出力）と、ＴＯＦ画像撮像部１０１および１０２の復調信号、反射光（ＴＯＦ画素信号）を示す図である。横軸は時間、縦軸は信号強度である。   FIG. 3 is a diagram illustrating a modulation signal (light output) of the light source 103, a demodulated signal of the TOF image capturing units 101 and 102, and reflected light (TOF pixel signal). The horizontal axis is time, and the vertical axis is signal strength.

光源１０３は、変調信号がハイレベルの期間では発光し、変調信号がローレベルの期間では発光しない。光源１０３は、デューティが５０％のパルス波形の光を発光する。その光は、対象物で反射する。ＴＯＦ画像撮像部１０１および１０２は、その反射光を入射する。   The light source 103 emits light during a period when the modulation signal is at a high level, and does not emit light during a period when the modulation signal is at a low level. The light source 103 emits light having a pulse waveform with a duty of 50%. The light reflects off the object. The TOF image capturing units 101 and 102 receive the reflected light.

ＴＯＦ画像撮像部１０１および１０２の復調信号は、光源１０３の変調信号に対して、周波数および位相が同じである。ＴＯＦ画像撮像部１０１および１０２は、それぞれ、復調信号がハイレベルの期間では受光動作を行い、復調信号がローレベルの期間では受光動作を行わない。   The demodulated signals of the TOF image capturing units 101 and 102 have the same frequency and phase as the modulated signal of the light source 103. Each of the TOF image capturing units 101 and 102 performs a light receiving operation when the demodulated signal is at a high level, and does not perform a light receiving operation when the demodulated signal is at a low level.

図３では、距離画像撮像装置１００から対象物までの距離（以下、単に距離という）が０、Ｌ／２、Ｌ、３Ｌ／２、２Ｌの場合の反射光（ＴＯＦ画素信号）を示す。ここで、Ｌは、最大計測可能距離であり、以下の式で表わされる。
Ｌ＝ｃ／（４×ｆ） FIG. 3 shows reflected light (TOF pixel signal) when the distance from the range image pickup device 100 to the target (hereinafter, simply referred to as distance) is 0, L / 2, L, 3L / 2, or 2L. Here, L is the maximum measurable distance, and is represented by the following equation.
L = c / (4 × f)

ここで、ｃは光速、ｆは変調信号の周波数である。変調信号の周波数は、１ＭＨｚから１０ＭＨｚオーダーである。例えば、変調信号の周波数が２０ＭＨｚの場合は、最大計測可能距離Ｌは７．５ｍとなる。   Here, c is the speed of light, and f is the frequency of the modulation signal. The frequency of the modulation signal is on the order of 1 MHz to 10 MHz. For example, when the frequency of the modulation signal is 20 MHz, the maximum measurable distance L is 7.5 m.

ＴＯＦ画像撮像部１０１および１０２は、対象物から反射光を入射する。距離が０である場合には、反射光の波形は、変調信号および復調信号の波形と同じになる。距離が長くなるほど、反射光の波形は、変調信号および復調信号の波形に対して、遅延時間が長くなる。ＴＯＦ画像撮像部１０１および１０２は、それぞれ、復調信号がハイレベルの期間に、反射光を電荷に変換することにより、ＴＯＦ画素信号を生成する。ＴＯＦ画素信号の電圧は、復調信号の波形と反射光の波形とが重なった領域（斜線で示す領域）の面積に対応する。   The TOF image capturing units 101 and 102 receive reflected light from an object. When the distance is 0, the waveform of the reflected light becomes the same as the waveforms of the modulation signal and the demodulation signal. The longer the distance, the longer the delay time of the reflected light waveform with respect to the modulated signal and demodulated signal waveforms. Each of the TOF image capturing units 101 and 102 generates a TOF pixel signal by converting reflected light into electric charges during a period when the demodulated signal is at a high level. The voltage of the TOF pixel signal corresponds to the area of the region where the waveform of the demodulated signal and the waveform of the reflected light overlap (region indicated by oblique lines).

距離が０の場合、ＴＯＦ画素信号は、反射光の波形面積の１００％の面積に対応する電圧である。距離がＬ／２の場合、ＴＯＦ画素信号は、反射光の波形面積の５０％の面積に対応する電圧である。距離がＬの場合、ＴＯＦ画素信号は、反射光の波形面積の０％の面積に対応する電圧である。距離が３Ｌ／２の場合、ＴＯＦ画素信号は、反射光の波形面積の５０％の面積に対応する電圧である。距離が２Ｌの場合、ＴＯＦ画素信号は、反射光の波形面積の１００％の面積に対応する電圧である。   When the distance is 0, the TOF pixel signal is a voltage corresponding to 100% of the waveform area of the reflected light. When the distance is L / 2, the TOF pixel signal is a voltage corresponding to 50% of the waveform area of the reflected light. When the distance is L, the TOF pixel signal is a voltage corresponding to an area of 0% of the waveform area of the reflected light. When the distance is 3L / 2, the TOF pixel signal is a voltage corresponding to 50% of the waveform area of the reflected light. When the distance is 2L, the TOF pixel signal is a voltage corresponding to 100% of the waveform area of the reflected light.

図４は、距離とＴＯＦ画素信号の関係を示す図である。距離が０の場合に、ＴＯＦ画素信号は最大になる。距離がＬの場合に、ＴＯＦ画素信号が０（最小）になる。その後、距離が２Ｌの場合、ＴＯＦ画素信号が再び最大になる。同じ電圧のＴＯＦ画素信号に対応する距離を１つにするため、Ｌが最大計測可能距離となる。これは、間接ＴＯＦの原理的な制約であり、用途を限定すること、別の技術と合せることで対処できるため、ここでは単に前提として扱う。距離画像撮像装置１００は、ＴＯＦ画素信号を基に、距離を算出することができる。   FIG. 4 is a diagram illustrating a relationship between the distance and the TOF pixel signal. When the distance is 0, the TOF pixel signal becomes maximum. When the distance is L, the TOF pixel signal becomes 0 (minimum). Thereafter, when the distance is 2L, the TOF pixel signal becomes maximum again. In order to reduce the distance corresponding to the TOF pixel signal of the same voltage to one, L is the maximum measurable distance. This is a principle limitation of the indirect TOF, and can be dealt with by limiting the application and combining with another technology. The range image capturing apparatus 100 can calculate the distance based on the TOF pixel signal.

次に、図１を参照しながら、本実施形態の距離画像撮像装置１００の動作について説明する。距離画像撮像装置１００の電源投入後、制御・距離画像演算部１０５は、予めの設定あるいは距離画像撮像装置制御信号に基づき、ＴＯＦ画像撮像部１０１，１０２、光源１０３、および矩形波発生部１０４の設定を行う。その後、光源１０３は、入力される変調信号に基づき、デューティが５０％のパルス波形の光を発光する。ＴＯＦ画像撮像部１０１および１０２の内部のＴＯＦ画像素子は、入力される復調信号に基づき、受光動作をオン／オフさせ、ＴＯＦ画素信号を生成する。ＴＯＦ画像撮像部１０１および１０２は、内部のＴＯＦ画像素子のＴＯＦ画素信号を通常のイメージセンサと同様に読み出し、２次元配列の距離画像信号として制御・距離画像演算部１０５に出力する。制御・距離画像演算部１０５は、入力された２つの距離画像信号を濃淡画像とみなし、ＴＯＦ画像撮像部１０１および１０２の幾何学的配置を基に、ステレオ法による距離画像信号の生成を行う。より具体的には、制御・距離画像演算部１０５は、２つの距離画像信号をそれぞれＩ1およびＩ2としたとき、Ｉ1中に設定されるＭ×Ｎの部分領域Ｔ1をテンプレートとし、Ｉ2を探索して最も類似する部分領域を求める。このとき、距離画像信号Ｉ1およびＩ2を濃淡画像とみなす。そして、ＳＳＤ（Sum of Absolute Differences）、ＳＡＤ（Sum of Squared Differences）、ＮＣＣ（Normalized Cross Correlation）などの相違度指標を用いる。そして、相違度指標が最も小さくなるＩ2中の部分領域Ｔ2を求める。ＴＯＦ画像撮像部１０１および１０２の幾何学的配置は、事前にキャリブレーション等により求めておく。また、制御・距離画像演算部１０５は、処理に先立ち、距離画像信号Ｉ1およびＩ2を平行化しておく。制御・距離画像演算部１０５は、Ｔ2の探索時には、Ｉ2のエピポーラ線上のみを１次元走査する。制御・距離画像演算部１０５は、エピポーラ線がＩ1およびＩ2のｘ軸と平行であるとすると、Ｔ1の重心画素のｘ座標ｘ1とそれに対応するＴ2の重心画素のｘ座標ｘ2とから新たな距離画像を生成することができる。より具体的には、以下の式で奥行きｄが算出される。ここで、ｆはＴＯＦ画像撮像部１０１および１０２の焦点距離、ｂはＴＯＦ画像撮像部１０１および１０２の基線長を表す。
ｄ＝ｆ×ｂ／（ｘ2−ｘ1） Next, the operation of the range image capturing apparatus 100 according to the present embodiment will be described with reference to FIG. After the power of the distance image capturing apparatus 100 is turned on, the control / distance image calculating section 105 controls the TOF image capturing sections 101 and 102, the light source 103, and the rectangular wave generating section 104 based on a preset setting or a distance image capturing apparatus control signal. Make settings. Thereafter, the light source 103 emits light having a pulse waveform with a duty of 50% based on the input modulation signal. The TOF image element inside the TOF image capturing units 101 and 102 turns on / off the light receiving operation based on the input demodulated signal and generates a TOF pixel signal. The TOF image capturing units 101 and 102 read out the TOF pixel signal of the internal TOF image element in the same manner as a normal image sensor, and output it to the control / distance image calculation unit 105 as a two-dimensional array distance image signal. The control / range image calculation unit 105 regards the two input range image signals as grayscale images and generates a range image signal by a stereo method based on the geometrical arrangement of the TOF image capturing units 101 and 102. More specifically, the control and distance image calculation unit 105, the two distance image signals when the I 1 and I 2, respectively, as a template a partial region T 1 of the M × N that is set in the I 1, searches the I 2 obtains the most similar partial region. At this time, the distance image signals I 1 and I 2 are regarded as grayscale images. Then, a difference index such as SSD (Sum of Absolute Differences), SAD (Sum of Squared Differences), and NCC (Normalized Cross Correlation) is used. The dissimilarity index seek partial region T 2 of the smallest I 2. The geometric arrangement of the TOF image pickup units 101 and 102 is obtained in advance by calibration or the like. Further, the control / range image calculation unit 105 parallelizes the range image signals I 1 and I 2 prior to the processing. When searching for T 2 , the control / distance image calculation unit 105 performs one-dimensional scanning only on the epipolar line of I 2 . Control and distance image calculation unit 105, the epipolar line is assumed to be parallel to the x-axis of the I 1 and I 2, the centroid pixel of T 2 and its corresponding x coordinate x 1 of the center of gravity pixel of T 1 x coordinate x 2 , a new distance image can be generated. More specifically, the depth d is calculated by the following equation. Here, f represents the focal length of the TOF image capturing units 101 and 102, and b represents the base line length of the TOF image capturing units 101 and 102.
d = f × b / (x 2 −x 1 )

制御・距離画像演算部１０５は、Ｔ1の画素ごとに算出される奥行きｄを濃淡値として画像化したものをステレオ法による距離画像として生成する。なお、距離画像信号Ｉ1とＩ2の関係を逆にし、Ｔ2をテンプレートとして、Ｔ1を探索するようにしてもよい。なお、ここで説明したステレオ法は、一例に過ぎない。２つの距離画像信号の対応関係から三角測量に基づき新たな距離画像信号を生成できるものであれば、いかなる方法を用いてもよい。 Control and distance image calculation unit 105 generates that image the depth d calculated for each pixel of the T 1 as gray value as the distance image by the stereo method. Note that the relationship between the distance image signals I 1 and I 2 may be reversed, and T 1 may be searched using T 2 as a template. Note that the stereo method described here is only an example. Any method may be used as long as a new distance image signal can be generated based on triangulation from the correspondence between the two distance image signals.

制御・距離画像演算部１０５は、ＴＯＦ画像撮像部１０１および１０２による２つの距離画像信号とステレオ法による距離画像信号に基づき、ＴＯＦ画像撮像部１０１あるいは１０２の視点からの１つの最終的な距離画像信号を再生成し、外部に出力する。より具体的には、制御・距離画像演算部１０５は、ＴＯＦによる２つの距離画像信号とステレオ法による距離画像信号の距離値を、ＴＯＦ画像撮像部１０１あるいは１０２の視点位置基準の距離値にそれぞれ変換する。そして、制御・距離画像演算部１０５は、同じ画素位置に対応する距離値Ｄを以下の式に基づいて求める。ここで、ｄ1およびｄ2はそれぞれ変換後の同一画素におけるＴＯＦ画像による距離画像信号、ｄ3はステレオ法による距離画像信号を示す。α、β、γは、重み係数であり、３つの和が１となるように正規化されている。
Ｄ＝α×ｄ1＋β×ｄ2＋γ×ｄ3 The control / distance image calculation unit 105 generates one final distance image from the viewpoint of the TOF image imaging unit 101 or 102 based on the two distance image signals obtained by the TOF image imaging units 101 and 102 and the distance image signal obtained by the stereo method. Regenerate the signal and output it to the outside. More specifically, the control / distance image calculation unit 105 sets the distance value between the two distance image signals based on the TOF and the distance image signal based on the stereo method to the distance value based on the viewpoint position of the TOF image capturing unit 101 or 102, respectively. Convert. Then, the control / distance image calculation unit 105 calculates a distance value D corresponding to the same pixel position based on the following equation. Here, d 1 and d 2 each represent a range image signal based on the TOF image at the same pixel after conversion, and d 3 represents a range image signal based on the stereo method. α, β, and γ are weighting coefficients, and are normalized so that the sum of the three becomes 1.
D = α × d 1 + β × d 2 + γ × d 3

係数α、β、γは、様々な方法で設定することができる。例えば、α、βはＴＯＦ画像を撮像したときの信号強度比に基づいて設定され、γは部分領域探索時の相違度指標に基づいて設定される。ある特定の画素について、ＴＯＦ画像撮像部１０１の信号強度がＴＯＦ画像撮像部１０２の信号強度に対して大きい場合には、重み係数αの値が相対的に大きくなる。また、部分領域探索時の相違度指標が小さい場合には、ステレオ法による距離画像信号をより重視すべく、γの値が相対的に大きくなる。電源投入後の設定動作終了後の距離画像生成は、距離画像撮像装置制御信号により設定されたフレームレートで、継続して行われる。   The coefficients α, β, γ can be set in various ways. For example, α and β are set based on a signal intensity ratio when a TOF image is captured, and γ is set based on a difference index when a partial area is searched. When the signal strength of the TOF image capturing unit 101 is larger than the signal strength of the TOF image capturing unit 102 for a specific pixel, the value of the weight coefficient α becomes relatively large. When the difference index at the time of the partial area search is small, the value of γ becomes relatively large in order to give more importance to the distance image signal by the stereo method. The distance image generation after the setting operation after the power is turned on is continuously performed at the frame rate set by the distance image capturing device control signal.

次に、図２を参照しながら、距離画像撮像装置１００の構成要素の回路基板での配置について説明する。ステレオ法を用いるために、ＴＯＦ画像撮像部１０１および１０２は、回路基板の表面２０１の両端に配置される。これにより、ＴＯＦ画像撮像部１０１および１０２の基線長ｂを最大にすることができる。回路基板の表面２０１では、光源１０３は、ＴＯＦ画像撮像部１０１および１０２の間に配置される。矩形波発生部１０４と制御・距離画像演算部１０５は、基板面積を小さくするため、回路基板の裏面２０２に配置される。特に、矩形波発生部１０４は、回路基板の裏面２０２の中央に配置される。矩形波発生部１０４から複数のＴＯＦ画像撮像部１０１および１０２まで復調信号（矩形波）の配線長が同じになるようにする。これにより、２つのＴＯＦ画像撮像部１０１および１０２間での配線長による復調信号の位相差をゼロにすることができる。   Next, the arrangement of components of the range image pickup device 100 on a circuit board will be described with reference to FIG. In order to use the stereo method, the TOF image pickup units 101 and 102 are arranged at both ends of the surface 201 of the circuit board. Thereby, the base line length b of the TOF image capturing units 101 and 102 can be maximized. On the surface 201 of the circuit board, the light source 103 is arranged between the TOF image capturing units 101 and 102. The rectangular wave generator 104 and the control / distance image calculator 105 are arranged on the back surface 202 of the circuit board in order to reduce the board area. In particular, the rectangular wave generator 104 is arranged at the center of the back surface 202 of the circuit board. The wiring length of the demodulated signal (rectangular wave) from the rectangular wave generating unit 104 to the plurality of TOF image capturing units 101 and 102 is set to be the same. Thereby, the phase difference of the demodulated signal due to the wiring length between the two TOF image capturing units 101 and 102 can be made zero.

次に、図３および図４を参照しながら、ＴＯＦ方式での光飛行時間とＴＯＦ画像信号の関係を説明する。距離画像撮像装置１００と対象物間を光が往復する時間により、ＴＯＦ画像撮像部１０１および１０２のＴＯＦ画像素子へ光が入射するタイミングが変化する。ＴＯＦ画像素子の受光動作は、復調信号によりオン／オフされるため、ＴＯＦ画像素子の出力電圧は、ＴＯＦ画像素子への光の入射タイミングが変わることにより変化する。図３の斜線の部分の面積は、ＴＯＦ画像素子の出力電圧を示している。その結果、ＴＯＦ画像素子の出力電圧と距離の関係は、図４のようになる。   Next, the relationship between the optical flight time in the TOF method and the TOF image signal will be described with reference to FIGS. The timing at which light enters the TOF image elements of the TOF image pickup units 101 and 102 changes depending on the time that light travels back and forth between the range image pickup device 100 and the target object. Since the light receiving operation of the TOF image element is turned on / off by the demodulation signal, the output voltage of the TOF image element changes by changing the timing of light incident on the TOF image element. The area of the hatched portion in FIG. 3 indicates the output voltage of the TOF image element. As a result, the relationship between the output voltage of the TOF image element and the distance is as shown in FIG.

光源１０３の変調信号とＴＯＦ画像撮像部１０１，１０２の復調信号の位相差は、上記の入射タイミングの計測に直接影響する。例えば、最大計測可能距離Ｌが７．５ｍ、変調信号の周波数が２０ＭＨｚの距離画像撮像装置１００では、精度を３ｃｍとして、それに対して許容される位相差を距離精度の５０％とした場合、その位相差を時間で表すと０．１ｎｓとなる。この値は、距離画像撮像装置１００を同一の回路基板で構成した場合、実現できるが、距離画像撮像装置１００を別回路基板や別ユニットで構成し、個別のケーブルや個別のバッファ回路を介して接続された場合は実現が難しい。本実施形態では、２つのＴＯＦ画像撮像部１０１，１０２の復調信号と光源１０３の変調信号は、同一の矩形波発生部１０４で生成し、同一の回路基板内で配線される。そのため、変調信号と復調信号の位相差は極めて小さい。また、回路基板での配置を図２のようにすることで、２つの復調信号の配線長による位相差をゼロにすることができる。   The phase difference between the modulation signal of the light source 103 and the demodulation signal of the TOF image pickup units 101 and 102 directly affects the measurement of the incident timing. For example, in the distance image pickup device 100 in which the maximum measurable distance L is 7.5 m and the frequency of the modulation signal is 20 MHz, if the accuracy is 3 cm and the allowable phase difference is 50% of the distance accuracy, The phase difference is expressed as 0.1 ns in time. This value can be realized when the range image capturing apparatus 100 is configured with the same circuit board, but can be realized by configuring the range image capturing apparatus 100 with a separate circuit board or a separate unit, and via a separate cable or a separate buffer circuit. If connected, it is difficult to realize. In the present embodiment, the demodulated signals of the two TOF image capturing units 101 and 102 and the modulated signal of the light source 103 are generated by the same rectangular wave generator 104 and wired in the same circuit board. Therefore, the phase difference between the modulation signal and the demodulation signal is extremely small. Further, by arranging the components on the circuit board as shown in FIG. 2, the phase difference due to the wiring length of the two demodulated signals can be reduced to zero.

また、位相差がゼロでない複数の光源からの変調光は、重ね合わせにより波形が歪む。具体的には、波形の立ち上がりと立ち下がりが階段状になる。これもＴＯＦでの距離計測の系統誤差の要因となる。本実施形態では、１つの光源１０３から投射される変調光を用いて計測するため、複数の光源による系統誤差も発生しない。   Also, the modulated light from a plurality of light sources having a non-zero phase difference has a distorted waveform due to superposition. Specifically, the rise and fall of the waveform are stepped. This also causes a systematic error in the distance measurement in the TOF. In the present embodiment, since measurement is performed using the modulated light projected from one light source 103, systematic errors due to a plurality of light sources do not occur.

さらに、１つの光源１０３と２つのＴＯＦ画像撮像部１０１，１０２は、一体として連続動作し、動作の切り替えがないため、起動後あるいは設定終了後は、ＴＯＦ画像撮像部１０１，１０２は、距離画像信号を出し続ける。   Further, since the one light source 103 and the two TOF image capturing units 101 and 102 operate continuously as a unit and there is no switching of the operation, the TOF image capturing units 101 and 102 perform the distance image Keep signaling.

以上の説明では、２つのＴＯＦ画像撮像部１０１および１０２の例を説明したが、３つ以上のＴＯＦ画像撮像部を設けても良い。その場合、矩形波発生部１０４の出力数は、それに合わせて増加する。例えば、ＴＯＦ画像撮像部が３つの場合は、矩形波発生部１０４の出力数は４つになる。矩形波発生部１０４の出力信号は、正弦波、台形波等の周期的な周期信号でも良い。ＴＯＦ画像撮像部が２つの構成における回路基板での配置は、矩形波発生部１０４からＴＯＦ画像撮像部１０１，１０２への２つの復調信号の配線長が、同じになるならば、図２の配置には限らない。   In the above description, an example of two TOF image capturing units 101 and 102 has been described, but three or more TOF image capturing units may be provided. In that case, the number of outputs of the rectangular wave generator 104 increases accordingly. For example, when the number of TOF image capturing units is three, the number of outputs of the rectangular wave generating unit 104 is four. The output signal of the rectangular wave generator 104 may be a periodic signal such as a sine wave or a trapezoidal wave. If the wiring length of the two demodulated signals from the rectangular wave generating unit 104 to the TOF image capturing units 101 and 102 is the same, the arrangement on the circuit board in the configuration having two TOF image capturing units is the same as that of FIG. Not necessarily.

ＴＯＦ画像素子としては、１画素あたり２つの復調入力、２つの出力をもつ構造が主流である。本実施形態は、そのようなＴＯＦ画像素子にも適用可能である。この場合、ＴＯＦ画像素子は、入力された復調信号の逆相信号を発生させ、２つの復調入力にする形になる。また、光源１０３の変調信号に対して、復調信号の位相を０°、９０°、１８０°、２７０°遅らせ、復調する方式のＴＯＦ画像撮像部にも適用可能である。この方式のＴＯＦ画像撮像部は、４つの異なる位相の復調信号で計測したＴＯＦ画素信号を基に、ＴＯＦ画素信号の特性が補償される。尚、この方式の場合、最大計測可能距離Ｌは、以下の式で表される。
Ｌ＝ｃ／（２×ｆ） As a TOF image element, a structure having two demodulation inputs and two outputs per pixel is mainly used. The present embodiment is applicable to such a TOF image element. In this case, the TOF image element generates an inverted-phase signal of the input demodulated signal to form two demodulated inputs. Further, the present invention is also applicable to a TOF image capturing unit that performs a method of delaying the phase of a demodulated signal by 0 °, 90 °, 180 °, and 270 ° with respect to the modulation signal of the light source 103 to demodulate the signal. In the TOF image pickup unit of this system, the characteristics of the TOF pixel signal are compensated based on the TOF pixel signals measured with the demodulated signals of four different phases. In this case, the maximum measurable distance L is expressed by the following equation.
L = c / (2 × f)

本実施形態では、１つの光源１０３の変調信号と複数のＴＯＦ画像撮像部１０１，１０２の復調信号とが同期している。これにより、１つの光源１０３の発光と複数のＴＯＦ画像撮像部１０１，１０２の距離画像信号生成とが同期している。そのため、ＴＯＦ画像信号の系統誤差が少なく、また、切り替え動作がないため、連続計測に適している。光源１０３の発光動作とＴＯＦ画像撮像部１０１，１０２の距離画像信号生成動作の同期ずれを防止することにより、同期ずれによる距離計測のための距離画像信号の誤差を抑制し、距離計測精度を向上できる。   In the present embodiment, the modulation signal of one light source 103 and the demodulation signals of the plurality of TOF image capturing units 101 and 102 are synchronized. Thereby, the light emission of one light source 103 and the generation of the distance image signal of the plurality of TOF image capturing units 101 and 102 are synchronized. Therefore, since there is little systematic error in the TOF image signal and there is no switching operation, it is suitable for continuous measurement. By preventing a synchronization shift between the light emitting operation of the light source 103 and the distance image signal generation operation of the TOF image capturing units 101 and 102, an error of the distance image signal for distance measurement due to the synchronization shift is suppressed, and the distance measurement accuracy is improved. it can.

（第２の実施形態）
図５は、本発明の第２の実施形態による距離画像撮像装置１００の構成例を示すブロック図である。図５の距離画像撮像装置１００は、図１の距離画像撮像装置１００に対して、矩形波発生部１０４の代わりに矩形波発生部５０１が設けられ、位相調整部５０２が追加されている。 (Second embodiment)
FIG. 5 is a block diagram illustrating a configuration example of the range image pickup device 100 according to the second embodiment of the present invention. The distance image pickup device 100 in FIG. 5 is different from the distance image pickup device 100 in FIG. 1 in that a rectangular wave generation unit 501 is provided instead of the rectangular wave generation unit 104, and a phase adjustment unit 502 is added.

矩形波発生部５０１は、変調信号と復調信号の２出力である。矩形波発生部５０１は、光源１０３に変調信号を出力し、位相調整部５０２に復調信号を出力する。位相調整部５０２は、１つの復調信号（矩形波）を入力し、２つの復調信号（矩形波）の位相をそれぞれ調整し、位相が調整された２つの復調信号をＴＯＦ画像撮像部１０１および１０２にそれぞれ出力する。それぞれの位相調整量は、ＴＯＦ画像撮像部１０１および１０２の復調が最適になる様に調整されている。ＴＯＦ画像撮像部１０１および１０２の復調信号に対する応答特性、光源１０３の変調信号に対する応答特性を予め測定し、その結果に基づき、位相調整量を決定する。位相調整量は、矩形波発生部５０１が生成する復調信号（矩形波）の周波数にもよるが、０．１〜１０ｎｓのオーダーである。そのため、通常のカメラ・トリガーでのシステムクロックをベースにした遅延回路の適用は難しい。そこで、ロジックゲートを用いた遅延回路を用いる。また、ＰＬＬ（Phase-Locked Loop）、ＤＬＬ（Delay-Locked Loop）、ＳＭＤ（Synchronous Mirror Delay）、ＤＤＳ（Direct Digital Synthesizer）等を用いてもよい。位相調整方法について説明する。ロジックゲートを用いた遅延回路では、位相調整設定用外部抵抗の抵抗値を調整する。ＤＤＳでは、位相遅延量を決めるレジスタ値を調整する。ＴＯＦ画像撮像部１０１および１０２は、位相が調整された２つの復調信号を基に、距離画像信号をそれぞれ生成する。   The rectangular wave generator 501 has two outputs, a modulated signal and a demodulated signal. The rectangular wave generator 501 outputs a modulation signal to the light source 103 and outputs a demodulation signal to the phase adjuster 502. The phase adjustment unit 502 receives one demodulated signal (rectangular wave), adjusts the phases of the two demodulated signals (rectangular waves), and outputs the two demodulated signals whose phases have been adjusted to the TOF image capturing units 101 and 102. Respectively. Each phase adjustment amount is adjusted so that the demodulation of the TOF image capturing units 101 and 102 is optimized. The response characteristics of the TOF image capturing units 101 and 102 to demodulated signals and the response characteristics of the light source 103 to modulated signals are measured in advance, and the phase adjustment amount is determined based on the results. The amount of phase adjustment depends on the frequency of the demodulated signal (rectangular wave) generated by the rectangular wave generator 501, but is on the order of 0.1 to 10 ns. Therefore, it is difficult to apply a delay circuit based on a system clock in a normal camera trigger. Therefore, a delay circuit using a logic gate is used. Further, a phase-locked loop (PLL), a delay-locked loop (DLL), a synchronous mirror delay (SMD), a direct digital synthesizer (DDS), or the like may be used. The phase adjustment method will be described. In a delay circuit using a logic gate, the resistance value of an external resistor for phase adjustment setting is adjusted. In the DDS, a register value for determining a phase delay amount is adjusted. The TOF image capturing units 101 and 102 generate distance image signals based on the two demodulated signals whose phases have been adjusted.

図６は、図３と同様に、本実施形態による光源１０３の変調信号（光出力）と、ＴＯＦ画像撮像部１０１および１０２の復調信号、反射光（ＴＯＦ画素信号）を示す図である。図６は、図３に対して、ＴＯＦ画像撮像部１０１および１０２の復調信号が光源１０３の変調信号に対して遅れている点が異なる。位相調整部５０２は、位相調整した復調信号をＴＯＦ画像撮像部１０１および１０２にそれぞれ出力する。ＴＯＦ画像撮像部１０１および１０２の復調信号は、光源１０３の変調信号に対して遅れている。ＴＯＦ画像撮像部１０１および１０２は、それぞれ、復調信号がハイレベルである期間に、反射光を光電変換することにより、斜線で示すＴＯＦ画素信号を生成する。ＴＯＦ画素信号の電圧は、復調信号の波形と反射光の波形が重なる面積に相当する。図６は、図３に対して、復調信号が遅延しているため、ＴＯＦ画素信号の電圧が変わる。   FIG. 6 is a diagram illustrating a modulation signal (light output) of the light source 103, a demodulated signal of the TOF image capturing units 101 and 102, and reflected light (TOF pixel signal) according to the present embodiment, similarly to FIG. FIG. 6 is different from FIG. 3 in that the demodulated signals of the TOF image capturing units 101 and 102 lag behind the modulated signal of the light source 103. The phase adjusting unit 502 outputs the demodulated signal whose phase has been adjusted to the TOF image capturing units 101 and 102, respectively. The demodulated signals of the TOF image capturing units 101 and 102 are behind the modulated signal of the light source 103. Each of the TOF image capturing units 101 and 102 generates a TOF pixel signal indicated by oblique lines by photoelectrically converting the reflected light during a period in which the demodulated signal is at a high level. The voltage of the TOF pixel signal corresponds to the area where the waveform of the demodulated signal and the waveform of the reflected light overlap. FIG. 6 is different from FIG. 3 in that the voltage of the TOF pixel signal changes because the demodulated signal is delayed.

図７（ａ）および（ｂ）は、図４と同様に、本実施形態による距離とＴＯＦ画素信号の関係を示す図であり、復調信号の遅れの影響を示す。図７（ａ）は、第１の実施形態のように、ＴＯＦ画像撮像部１０１，１０２の復調信号の位相が光源１０３の変調信号の位相と同じである場合を示す。図７（ｂ）は、第２の実施形態のように、ＴＯＦ画像撮像部１０１，１０２の復調信号の位相が光源１０３の変調信号の位相に対して遅れている場合を示す。図７（ｂ）のように、復調信号の位相が遅れている場合、ＴＯＦ画素信号の電圧がゼロになる距離が短くなる。この場合、ＴＯＦ画素信号の電圧がゼロより少し大きい電圧（図中、点線で示す）では、最大計測可能距離Ｌ内に２つの距離候補があることになる。図７（ａ）および（ｂ）中の黒丸はその候補を示している。   FIGS. 7A and 7B are diagrams showing the relationship between the distance and the TOF pixel signal according to the present embodiment, as in FIG. 4, and show the influence of the delay of the demodulated signal. FIG. 7A illustrates a case where the phase of the demodulated signals of the TOF image capturing units 101 and 102 is the same as the phase of the modulated signal of the light source 103 as in the first embodiment. FIG. 7B illustrates a case where the phases of the demodulated signals of the TOF image capturing units 101 and 102 are delayed with respect to the phase of the modulated signal of the light source 103 as in the second embodiment. As shown in FIG. 7B, when the phase of the demodulated signal is delayed, the distance at which the voltage of the TOF pixel signal becomes zero becomes short. In this case, when the voltage of the TOF pixel signal is slightly higher than zero (indicated by a dotted line in the figure), there are two distance candidates within the maximum measurable distance L. Black dots in FIGS. 7A and 7B indicate the candidates.

図５を用いて、距離画像撮像装置１００の動作について説明する。距離画像撮像装置１００の全体の動作は、矩形波発生部５０１からの復調信号が位相調整部５０２を介してＴＯＦ画像撮像部１０１および１０２に供給されている以外は第１の実施形態と同じである。光源１０３の変調とＴＯＦ画像撮像部１０１，１０２の復調の位相差は、単に変調信号と復調信号の位相差だけではく、光源１０３の素子と駆動回路、ＴＯＦ画像撮像部１０１，１０２の応答特性により発生する場合がある。本実施形態では、位相調整部５０２が、この位相差を調整する。この調整量は、組み込まれる光源１０３の変調特性、ＴＯＦ画像撮像部１０１，１０２の復調特性を基に決定される。そして、距離画像撮像装置１００の作製時に、位相調整部５０２に調整量が設定される。   The operation of the range image capturing device 100 will be described with reference to FIG. The overall operation of the range image pickup device 100 is the same as that of the first embodiment except that the demodulated signal from the rectangular wave generation unit 501 is supplied to the TOF image pickup units 101 and 102 via the phase adjustment unit 502. is there. The phase difference between the modulation of the light source 103 and the demodulation of the TOF image capturing units 101 and 102 is not limited to the phase difference between the modulation signal and the demodulated signal, but the response characteristics of the elements and the driving circuit of the light source 103 and the TOF image capturing units 101 and 102. May be caused by In the present embodiment, the phase adjustment unit 502 adjusts this phase difference. This adjustment amount is determined based on the modulation characteristics of the light source 103 to be incorporated and the demodulation characteristics of the TOF image capturing units 101 and 102. Then, when the range image pickup device 100 is manufactured, an adjustment amount is set in the phase adjustment unit 502.

次に、図６と図７（ａ）、（ｂ）を用いて、変調と復調の位相差の影響について説明する。図６に示すように、復調信号の位相が遅れた場合、ＴＯＦ画素信号の電圧と距離の関係は、図７（ｂ）のようにグラフが左側にシフトする。この場合、ゼロから最大計測可能距離Ｌまでの間に、ＴＯＦ画素信号の電圧がＰになる点が２つでき、距離が一意に決まらなくなる。位相調整部５０２の設定値は、光源１０３およびＴＯＦ画像撮像部１０１，１０２の応答特性による位相差を補正し、図７（ａ）のようになるように設定される。以下、その手順を説明する。まず、変調信号に対する光源１０３の光出力の時間遅れＴｍｏｄ、復調信号に対するＴＯＦ画像撮像部１０１および１０２の応答特性による時間遅れＴｄｅｍ１およびＴｄｅｍ２をそれぞれ予め測定する。位相調整部５０２のＴＯＦ画像撮像部１０１および１０２に対する位相調整量Ｔｃｏｒ１およびＴｃｏｒ２は、下記になる。
Ｔｃｏｒ１＝Ｔｍｏｄ−Ｔｄｅｍ１
Ｔｃｏｒ２＝Ｔｍｏｄ−Ｔｄｅｍ２ Next, the influence of the phase difference between modulation and demodulation will be described with reference to FIGS. 6 and 7A and 7B. As shown in FIG. 6, when the phase of the demodulated signal is delayed, the graph of the relationship between the voltage of the TOF pixel signal and the distance shifts to the left as shown in FIG. 7B. In this case, there are two points where the voltage of the TOF pixel signal becomes P from zero to the maximum measurable distance L, and the distance cannot be uniquely determined. The setting value of the phase adjustment unit 502 is set as shown in FIG. 7A by correcting the phase difference due to the response characteristics of the light source 103 and the TOF image capturing units 101 and 102. Hereinafter, the procedure will be described. First, the time delay Tmod of the light output of the light source 103 with respect to the modulation signal and the time delays Tdem1 and Tdem2 with respect to the response characteristics of the TOF image pickup units 101 and 102 with respect to the demodulated signal are measured in advance. The phase adjustment amounts Tcor1 and Tcor2 of the phase adjustment unit 502 for the TOF image capturing units 101 and 102 are as follows.
Tcor1 = Tmod-Tdem1
Tcor2 = Tmod-Tdem2

位相調整量Ｔｃｏｒ１およびＴｃｏｒ２の設定方法としては、距離画像撮像装置１００の設計時に、距離が既知の物体を試作機で測定し、測定結果が既知の距離になるように調整する方法がある。また、制御・距離画像演算部１０５が位相調整部５０２に位相調整部制御信号を出力することにより、距離画像撮像装置１００に位相調整機能をもたすことも可能である。この場合、距離画像撮像装置１００の状態に応じて、位相調整部５０２の位相調整量を調整することができる。   As a method of setting the phase adjustment amounts Tcor1 and Tcor2, there is a method of measuring an object having a known distance with a prototype when designing the range image capturing apparatus 100, and adjusting the measurement result to be a known distance. In addition, when the control / range image calculation unit 105 outputs a phase adjustment unit control signal to the phase adjustment unit 502, the range image capturing apparatus 100 can have a phase adjustment function. In this case, the phase adjustment amount of the phase adjustment unit 502 can be adjusted according to the state of the range image capturing device 100.

ＴＯＦ画像撮像部の数、ＴＯＦ画像素子の構造、変調方式については、第１の実施形態に記載の構成、方式を適用可能である。   The configuration and method described in the first embodiment can be applied to the number of TOF image capturing units, the structure of the TOF image element, and the modulation method.

本実施形態では、ＴＯＦ画像撮像部１０１，１０２ごとに復調信号の位相を設定できるため、光源１０３とＴＯＦ画像撮像部１０１，１０２の応答特性による位相ズレがあった場合に補正することが可能である。また、変調信号の周波数ｆで決まる最大計測可能距離Ｌに近い距離を計測することができる。   In the present embodiment, since the phase of the demodulated signal can be set for each of the TOF image capturing units 101 and 102, it is possible to correct a phase shift due to the response characteristics of the light source 103 and the TOF image capturing units 101 and 102. is there. Further, a distance close to the maximum measurable distance L determined by the frequency f of the modulation signal can be measured.

（第３の実施形態）
以下、図面を用いて本発明の第３の実施形態について説明する。本実施形態の距離画像撮像装置１００は、第１の実施形態と同様の構成を有する。以下、本実施形態が第１の実施形態と異なる点を説明する。本実施形態の距離画像撮像装置１００は、２つのＴＯＦ画像撮像部１０１および１０２を有し、ＴＯＦ画像撮像部１０１および１０２の撮像パラメータを異なる設定にすることで、距離画像撮像装置１００から出力される距離画像のノイズを低減させる。 (Third embodiment)
Hereinafter, a third embodiment of the present invention will be described with reference to the drawings. The range image pickup device 100 of the present embodiment has a configuration similar to that of the first embodiment. Hereinafter, points of the present embodiment different from the first embodiment will be described. The range image capturing apparatus 100 according to the present embodiment includes two TOF image capturing units 101 and 102, and output from the range image capturing apparatus 100 by setting the capturing parameters of the TOF image capturing units 101 and 102 to different settings. To reduce noise in the distance image.

ＴＯＦ画像撮像部１０１および１０２の撮像パラメータとしては、変調信号の周波数、フレームレート、サブフレーム数、積分時間、センサゲインがある。これらの内、サブフレーム数と積分時間は、ＴＯＦ画像撮像部１０１および１０２毎に変更が可能であり、かつ重要な撮像パラメータである。ＴＯＦ画像撮像部１０１および１０２は、相互に異なるパラメータに基づき、距離画像信号を生成する。   The imaging parameters of the TOF image imaging units 101 and 102 include the frequency of the modulation signal, the frame rate, the number of subframes, the integration time, and the sensor gain. Among these, the number of subframes and the integration time can be changed for each of the TOF image capturing units 101 and 102 and are important imaging parameters. The TOF image capturing units 101 and 102 generate distance image signals based on mutually different parameters.

図８は、本実施形態による２つのＴＯＦ画像撮像部１０１および１０２の撮像動作について説明する図である。時間を横軸に示し、フレーム、サブフレーム、積分時間を模式的に示している。図８では、ＴＯＦ画像撮像部１０１の撮像動作期間の波形と、ＴＯＦ画像撮像部１０２の撮像動作期間の波形を示している。波形のハイレベルは撮像期間を示し、波形のローレベルは非撮像期間を示す。   FIG. 8 is a diagram illustrating an imaging operation of the two TOF image imaging units 101 and 102 according to the present embodiment. Time is shown on the horizontal axis, and frames, subframes, and integration time are schematically shown. FIG. 8 shows a waveform of the TOF image capturing unit 101 during the image capturing operation period and a waveform of the TOF image capturing unit 102 during the image capturing operation period. The high level of the waveform indicates an imaging period, and the low level of the waveform indicates a non-imaging period.

ＴＯＦにおける、フレーム、サブフレーム、積分時間について説明する。ＴＯＦで用いられる変調信号の周波数は、通常、１ＭＨｚ以上であり、画像センサのフレームレートより６ケタ以上高くなっている。そのため、複数の周期のＴＯＦ画素信号を足し合わせる積分処理等の信号強度を上げる手法や、積分処理した信号から得られた複数の距離画像を処理することにより、ノイズを低減することができる。積分時間は、複数の周期のＴＯＦ画素信号を足し合わせる合計の時間である。サブフレームは、フレームでの画像処理を行う場合の距離画像を得る単位である。   The frame, subframe, and integration time in TOF will be described. The frequency of the modulation signal used in the TOF is usually 1 MHz or more, which is 6 digits or more higher than the frame rate of the image sensor. Therefore, noise can be reduced by a method of increasing the signal strength such as an integration process of adding TOF pixel signals of a plurality of cycles, or by processing a plurality of distance images obtained from the integrated signal. The integration time is the total time for adding the TOF pixel signals of a plurality of cycles. A sub-frame is a unit for obtaining a distance image when performing image processing on a frame.

図８に示す例では、ＴＯＦ画像撮像部１０１は、積分時間を最大にしている。ＴＯＦ画像撮像部１０１は、その積分時間で、ＴＯＦ画素信号を加算する。すなわち、ＴＯＦ画像撮像部１０１は、各フレームの撮像期間単位で、光源１０３の発光に対する反射光に基づくＴＯＦ画素信号を加算する。一方、ＴＯＦ画像撮像部１０２は、フレームを５つのサブフレームに分割し、積分時間をサブフレームの中で最大にしている。ＴＯＦ画像撮像部１０２は、その積分時間で、ＴＯＦ画素信号を加算する。すなわち、ＴＯＦ画像撮像部１０２は、フレームを分割した各サブフレームの撮像期間単位で、光源１０３の発光に対する反射光に基づくＴＯＦ画素信号を加算する。   In the example illustrated in FIG. 8, the TOF image capturing unit 101 maximizes the integration time. The TOF image capturing unit 101 adds the TOF pixel signals during the integration time. That is, the TOF image capturing unit 101 adds the TOF pixel signal based on the reflected light with respect to the light emission of the light source 103 for each frame capturing period. On the other hand, the TOF image capturing unit 102 divides the frame into five sub-frames, and maximizes the integration time among the sub-frames. The TOF image capturing unit 102 adds the TOF pixel signals during the integration time. That is, the TOF image capturing unit 102 adds the TOF pixel signal based on the reflected light with respect to the light emission of the light source 103 for each subframe obtained by dividing the frame.

ＴＯＦ画像撮像部１０１は、受光量の少ない遠い物体面や黒い物体面からのＴＯＦ画素信号を大きくすることができるので、距離精度を向上できる。一方、ＴＯＦ画像撮像部１０１は、受光量の多い近い物体面や白い物体面では、ＴＯＦ画素信号が飽和する場合があり、距離精度が低下する。ＴＯＦ画像撮像部１０２は、受光量の少ない遠い物体面や黒い物体面からのＴＯＦ画素信号が小さく、距離精度が低下する。一方、ＴＯＦ画像撮像部１０２は、受光量の多い近い物体面や白い物体面では、ＴＯＦ画素信号が飽和せず、距離精度が低下しない。また、ＴＯＦ画像撮像部１０２は、フレーム内の複数のサブフレームで得られた距離画像を処理（たとえば積算平均化）することで、距離画像のノイズを低減できる。   Since the TOF image capturing unit 101 can increase the TOF pixel signal from a distant object surface or a black object surface with a small amount of received light, the distance accuracy can be improved. On the other hand, in the TOF image capturing unit 101, the TOF pixel signal may be saturated on a near object surface or a white object surface having a large amount of received light, and the distance accuracy is reduced. In the TOF image capturing unit 102, the TOF pixel signal from a distant object surface or a black object surface with a small amount of received light is small, and the distance accuracy is reduced. On the other hand, the TOF image capturing unit 102 does not saturate the TOF pixel signal on a near object surface or a white object surface with a large amount of received light, and the distance accuracy does not decrease. Further, the TOF image capturing unit 102 can reduce noise in the distance image by processing (for example, integrating and averaging) the distance images obtained in a plurality of subframes in the frame.

制御・距離画像演算部１０５は、ＴＯＦ画像撮像部１０１の距離画像信号、ＴＯＦ画像撮像部１０２の距離画像信号、ステレオ計測により生成した距離画像信号を基に、最終的な距離画像信号を再生成する。制御・距離画像演算部１０５は、距離画像信号の再生成に際して、ＴＯＦ画像撮像部１０１および１０２のそれぞれのノイズの少ない部分を採用することで、物体面の反射特性、距離への依存性の少ない距離画像が得られる。   The control / distance image calculation unit 105 regenerates a final distance image signal based on the distance image signal of the TOF image imaging unit 101, the distance image signal of the TOF image imaging unit 102, and the distance image signal generated by stereo measurement. I do. When regenerating the distance image signal, the control / distance image calculation unit 105 adopts a portion of each of the TOF image capturing units 101 and 102 with less noise, so that the object surface has less reflection characteristics and less dependence on distance. A range image is obtained.

以上の説明では、ＴＯＦ画像撮像部１０１および１０２の撮像パラメータの設定は、上記の設定に限るものではない。また、ＴＯＦ画像撮像部の数、ＴＯＦ画像素子の構造、変調方式については、第１の実施形態に記載の構成、方式を適用可能である。本実施形態は、計測対象となる物体の反射特性、距離への依存性を少なくすることができる。   In the above description, the setting of the imaging parameters of the TOF image capturing units 101 and 102 is not limited to the above setting. The configuration and method described in the first embodiment can be applied to the number of TOF image capturing units, the structure of the TOF image element, and the modulation method. According to the present embodiment, it is possible to reduce the dependence on the reflection characteristics and the distance of the object to be measured.

第１〜第３の実施形態の距離画像撮像装置１００は、測定対象物および環境の立体形状を把握することができる。例えば、距離画像撮像装置１００は、３次元形状を計測する３次元スキャナー、環境・対象物の認識を必用とする自動運転自動車、監視カメラに利用可能である。   The range image capturing apparatus 100 according to the first to third embodiments can grasp the three-dimensional shape of the measurement object and the environment. For example, the range image capturing apparatus 100 can be used for a three-dimensional scanner that measures a three-dimensional shape, an autonomous driving car that requires recognition of an environment and an object, and a monitoring camera.

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。   It should be noted that each of the above-described embodiments is merely an example of a concrete example for carrying out the present invention, and the technical scope of the present invention should not be interpreted in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features.

１０１，１０２ ＴＯＦ画像撮像部、１０３ 光源、１０４ 矩形波発生部、１０５ 制御・距離画像演算部、２０１ 回路基板の表面、２０２ 回路基板の裏面、５０１ 矩形波発生部、５０２ 位相調整部 101, 102 TOF image capturing unit, 103 light source, 104 rectangular wave generating unit, 105 control / distance image calculating unit, 201 front surface of circuit board, 202 back surface of circuit board, 501 rectangular wave generating unit, 502 phase adjusting unit

Claims (10)

周期信号を生成する発生部と、
前記発生部が生成する周期信号に基づく第１の周期信号を基に発光する１つの光源と、
前記発生部が生成する周期信号に基づく複数の第２の周期信号を基に、前記光源の発光に対する反射光に基づく距離画像信号をそれぞれ生成する複数の撮像部とを有し、
前記光源の発光と前記複数の撮像部の距離画像信号生成とが同期していることを特徴とする撮像装置。 A generator for generating a periodic signal;
One light source that emits light based on a first periodic signal based on a periodic signal generated by the generation unit;
Based on a plurality of second periodic signals based on the periodic signal generated by the generation unit, based on a plurality of imaging units that respectively generate a distance image signal based on reflected light with respect to the emission of the light source,
An imaging apparatus, wherein light emission of the light source and generation of a distance image signal of the plurality of imaging units are synchronized. 前記発生部は、前記第１の周期信号と前記複数の第２の周期信号を生成し、
前記光源は、前記第１の周期信号を基に発光し、
前記複数の撮像部は、前記複数の第２の周期信号を基に前記距離画像信号をそれぞれ生成することを特徴とする請求項１に記載の撮像装置。 The generating unit generates the first periodic signal and the plurality of second periodic signals,
The light source emits light based on the first periodic signal,
The imaging apparatus according to claim 1, wherein the plurality of imaging units each generate the distance image signal based on the plurality of second periodic signals. 前記発生部から前記複数の撮像部までの前記複数の第２の周期信号の配線長が同じであることを特徴とする請求項１または２に記載の撮像装置。   The imaging apparatus according to claim 1, wherein a wiring length of the plurality of second periodic signals from the generation unit to the plurality of imaging units is the same. 基板の第１の面には、前記複数の撮像部の間に前記光源が配置され、
前記基板の第２の面には、前記発生部が配置されることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。 On a first surface of the substrate, the light source is disposed between the plurality of imaging units,
The imaging device according to any one of claims 1 to 3, wherein the generator is disposed on a second surface of the substrate. 前記第１の周期信号と前記複数の第２の周期信号は、周波数および位相が同じであることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。   The imaging device according to any one of claims 1 to 4, wherein the first periodic signal and the plurality of second periodic signals have the same frequency and phase. 前記発生部は、前記第１の周期信号と第３の周期信号を生成し、
前記第３の周期信号を入力し、複数の第２の周期信号の位相をそれぞれ調整する位相調整部をさらに有し、
前記光源は、前記第１の周期信号を基に発光し、
前記複数の撮像部は、前記位相が調整された複数の第２の周期信号を基に前記距離画像信号をそれぞれ生成することを特徴とする請求項１または４に記載の撮像装置。 The generator generates the first periodic signal and a third periodic signal,
A phase adjustment unit configured to input the third periodic signal and adjust phases of the plurality of second periodic signals,
The light source emits light based on the first periodic signal,
5. The imaging apparatus according to claim 1, wherein the plurality of imaging units generate the distance image signals based on the plurality of second periodic signals whose phases have been adjusted. 6. 前記複数の撮像部は、相互に異なるパラメータに基づき、前記距離画像信号を生成することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。   The imaging device according to any one of claims 1 to 6, wherein the plurality of imaging units generate the distance image signal based on mutually different parameters. 前記複数の撮像部のうちの第１の撮像部は、各フレームの撮像期間単位で、前記反射光に基づく信号を加算し、
前記複数の撮像部のうちの第２の撮像部は、前記フレームを分割した各サブフレームの撮像期間単位で、前記反射光に基づく信号を加算することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。 The first imaging unit of the plurality of imaging units adds a signal based on the reflected light for each imaging period of each frame,
The second imaging unit of the plurality of imaging units adds a signal based on the reflected light for each imaging period of each subframe obtained by dividing the frame. 2. The imaging device according to claim 1. 前記複数の撮像部の距離画像信号と、前記距離画像信号を濃淡画像とみなしたステレオ法による距離画像信号を基に距離画像信号を再生成する演算部をさらに有することを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。   2. The image processing apparatus according to claim 1, further comprising a calculation unit configured to regenerate a distance image signal based on the distance image signals of the plurality of imaging units and a distance image signal based on a stereo method in which the distance image signals are regarded as grayscale images. The imaging device according to any one of claims 1 to 8. 発生部により、周期信号を生成するステップと、
１つの光源により、前記周期信号に基づく第１の周期信号を基に発光するステップと、
複数の撮像部により、前記周期信号に基づく複数の第２の周期信号を基に、前記光源の発光に対する反射光に基づく距離画像信号をそれぞれ生成するステップとを有し、
前記光源の発光と前記複数の撮像部の距離画像信号生成とが同期していることを特徴とする撮像装置の制御方法。 Generating a periodic signal by the generator;
Emitting light by one light source based on a first periodic signal based on the periodic signal;
A plurality of imaging units, based on a plurality of second periodic signals based on the periodic signal, based on each of the step of generating a distance image signal based on reflected light with respect to light emission of the light source,
A method of controlling an imaging apparatus, wherein light emission of the light source and generation of distance image signals of the plurality of imaging units are synchronized.
JP2018131450A 2018-07-11 2018-07-11 Imaging device and method for controlling imaging device Pending JP2020008483A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018131450A JP2020008483A (en) 2018-07-11 2018-07-11 Imaging device and method for controlling imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018131450A JP2020008483A (en) 2018-07-11 2018-07-11 Imaging device and method for controlling imaging device

Publications (1)

Publication Number Publication Date
JP2020008483A true JP2020008483A (en) 2020-01-16

Family

ID=69151510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018131450A Pending JP2020008483A (en) 2018-07-11 2018-07-11 Imaging device and method for controlling imaging device

Country Status (1)

Country Link
JP (1) JP2020008483A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11818482B2 (en) 2021-09-16 2023-11-14 Samsung Electronics Co., Ltd. Image sensor for measuring distance and camera module including the same
JP7468033B2 (en) 2020-03-19 2024-04-16 株式会社リコー Distance measuring device, moving body, walking robot, three-dimensional measuring device, distance image camera, and distance measuring method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7468033B2 (en) 2020-03-19 2024-04-16 株式会社リコー Distance measuring device, moving body, walking robot, three-dimensional measuring device, distance image camera, and distance measuring method
US11818482B2 (en) 2021-09-16 2023-11-14 Samsung Electronics Co., Ltd. Image sensor for measuring distance and camera module including the same

Similar Documents

Publication Publication Date Title
JP6673084B2 (en) Light flight type distance measuring device
JP6286677B2 (en) Ranging system and imaging sensor
US10545239B2 (en) Distance-measuring imaging device and solid-state imaging device
JP6296401B2 (en) Distance measuring device and solid-state imaging device
US10571568B2 (en) Distance measuring device, distance measuring method, and non-transitory computer-readable storage medium
JP6805504B2 (en) Distance measuring device, mobile device and distance measuring method
WO2014097539A1 (en) Device for three-dimensional measurement, and method for three-dimensional measurement
US11272157B2 (en) Depth non-linearity compensation in time-of-flight imaging
JPWO2017085916A1 (en) Imaging device and solid-state imaging device used therefor
JP2018077143A (en) Distance measuring device, moving body, robot, three-dimensional measurement device, monitoring camera, and method for measuring distance
KR20130106094A (en) Depth camera, multi-depth camera system, and synchronizing method thereof
JP2013538342A (en) Hierarchical time-of-flight (TOF) system de-aliasing method and system
US20230108515A1 (en) Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
WO2014119241A1 (en) Distance measurement method and distance measurement system
JP2009192499A (en) Apparatus for generating distance image
JP6727539B2 (en) Distance sensor, running body, robot and three-dimensional measuring device
JP2012042332A (en) Three-dimensional measurement device and three-dimensional measurement method
US11423572B2 (en) Built-in calibration of time-of-flight depth imaging systems
KR20210033545A (en) Method and system for increasing the range of a time-of-flight system by clear range toggling
JP2020008483A (en) Imaging device and method for controlling imaging device
KR20160026189A (en) Method and apparatus for generating depth image
JP2011145109A (en) Electro-optical distance measuring device
JP7149941B2 (en) Apparatus and method
US20200301017A1 (en) Range finding device, range finding method and storage medium
CN113497892B (en) Imaging device, distance measuring method, storage medium, and computer device