JP2020153799A - 測距装置および測距方法 - Google Patents

測距装置および測距方法 Download PDF

Info

Publication number
JP2020153799A
JP2020153799A JP2019052129A JP2019052129A JP2020153799A JP 2020153799 A JP2020153799 A JP 2020153799A JP 2019052129 A JP2019052129 A JP 2019052129A JP 2019052129 A JP2019052129 A JP 2019052129A JP 2020153799 A JP2020153799 A JP 2020153799A
Authority
JP
Japan
Prior art keywords
light
irradiation
unit
distance
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019052129A
Other languages
English (en)
Inventor
前田　俊治
Toshiharu Maeda
俊治 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019052129A priority Critical patent/JP2020153799A/ja
Priority to PCT/JP2020/009677 priority patent/WO2020189339A1/ja
Publication of JP2020153799A publication Critical patent/JP2020153799A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems

Abstract

【課題】複数の測距装置が存在する環境においても、高精度に測距できるようにする。【解決手段】自らの光源が発光する間隔を長くして、発光タイミングと同期して露光期間を設定し、自らの光源と、他の光源とからの反射光により画素信号を検出し、複数回数積算する。また、自らの光源が消灯した期間に露光期間を設定して、他の光源からの反射光により画素信号を検出して、複数回数積算する。そして、発光タイミングと同期して露光期間が設定された画素信号の積算値から、消灯したタイミングと同期して露光期間が設定された画素信号の積算値を減算して、測距演算を行う。本開示は、ToFセンサに適応することができる。【選択図】図５

Description

本開示は、測距装置および測距方法に関し、特に、複数の測距装置が存在する環境においても、高精度に測距できるようにした測距装置および測距方法に関する。
従来、ToF（Time of Flight）方式などのアクティブ型の測距装置が知られている。このような測距装置では、所定のパルス幅で繰り返し発光するレーザ光を照射し、照射したレーザ光が対象物に当たって反射した反射光を受光することで、レーザ光の往復時間（往復に係るレーザ光の位相差）に基づいて測距する。
ところで、複数の測距装置を用いて同一の対象物までの測距を行う場合、複数の測距装置のそれぞれは、他の測距装置から照射されるレーザ光の反射光の影響を受けることがあるため、適切な測距を実現することができない恐れがあった。
そこで、他の測距装置からの影響を受けるような状態が感知されると、その間の測距結果を採用しないようにする技術が提案されている（特許文献１参照）。
また、レーザ光の発光パルスの間隔を十分に長くすることで、他の測距装置の反射光の影響を受けないように調整する技術が提案されている（特許文献２参照）。
特開２０１１−００７８０５号公報 特開２０１７−１９０９７８号公報
しかしながら、特許文献１に記載の技術においては、他の測距装置からのレーザ光の影響を受けている間は、適切な測距を実現することができない。
また、特許文献２に記載の技術においては、発光パルスの間隔が長くされることにより、測距に時間が掛かり、高フレームレートでの測距ができなくなるため、例えば、高速で移動する物体の測距を行うような場合、測距結果にタイムラグが発生して、リアルタイムで適切な測距を実現できない恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、特に、複数の測距センサが存在する環境においても、高精度に測距できるようにするものである。
本開示の一側面の測距装置は、検出領域内の物体により照射光が反射されることにより生じる反射光を受光する受光部と、前記照射光と前記反射光との位相差により前記物体までの距離を演算する演算部と、前記受光部における、前記物体までの距離の演算に用いられる照射光である必要照射光と、前記物体までの距離の演算に用いられない照射光である不要照射光との衝突の影響を抑制するように、前記受光部および前記演算部を制御する制御部とを含む測距装置である。
本開示の一側面の測距方法は、測距装置に対応する。
本開示の一側面においては、検出領域内の物体により照射光が反射されることにより生じる反射光が受光され、前記物体までの距離の演算に用いられる照射光である必要照射光と、前記物体までの距離の演算に用いられない照射光である不要照射光との衝突の影響を抑制するように制御される。
複数のデプスセンサ用いる場合の例を説明する図である。 測距の原理を説明する図である。 複数の測距装置を用いる場合の影響を回避する方法を説明する図である。 4phaseの測距演算方式を説明する図である。 本開示の測距演算方式を説明する図である。 本開示のデプスセンサの構成例を説明する図である。 図６のTOFセンサの構成例を説明する図である。 通常モード処理を説明するフローチャートである。 補正モード処理を説明するフローチャートである。 複数の光源からの照射光による衝突の判定方法を説明する図である。 衝突の回避方法を説明する図である。 衝突回避モード処理を説明するフローチャートである。 図１２の衝突検出処理を説明するフローチャートである。 他の光源の変調周波数を推定する原理を説明する図である。 他の光源の変調周波数を推定する方法を説明する図である。 IQ座標上における補正方法を説明する図である。 他の光源の位置と距離を演算する方法を説明する図である。 他の光源による測距処理を説明するフローチャートである。 変調周波数推定処理を説明するフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本開示の概要
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
以下、図面を参照して、本技術を適用した実施の形態について説明する。
＜＜１．本開示の概要＞
＜複数の測距装置による影響＞
本開示は、複数の測距装置を用いる場合でも、高精度に測距を実現するものである。
例えば、図１で示されるように、複数のデプスセンサ（測距装置を含む）１−１，１−２を用いて、それぞれが物体４までのデプス画像（距離画像）を撮像する場合について想定する。
図１のデプスセンサ１−１，１−２は、それぞれ光源２−１，２−２および測距装置３−１，３−２を備えている。
光源２−１，２−２は、それぞれ所定のパルス幅のレーザ光を物体４に照射する。
測距装置３−１，３−２は、光源２−１，２−２のそれぞれより照射された照射光Ｌ１，Ｌ２が物体４で反射されることにより生じる反射光Ｒ１，Ｒ２をそれぞれ受光し、照射光の往復時間に基づいて画素単位で物体４までの距離を測距して、画素単位の測距結果からなるデプス画像を生成する。
尚、デプスセンサ１−１，１−２、光源２−１，２−２、および測距装置３−１，３−２は、それぞれ特に区別する必要がない場合、単に、デプスセンサ１、光源２、および測距装置３と称するものとし、その他の構成についても同様に称する。
＜測距の原理＞
測距装置３は、光源２より照射される所定のパルス幅のレーザ光からなる照射光が物体４により反射することで生じる反射光を受光し、照射光と反射光との位相差に基づいて、レーザ光の往復時間を求めて、物体４までの距離を測距する。
より具体的には、光源２は、例えば、図２の最上段で示されるようなパルス幅のレーザ光を照射光として照射する。
測距装置３は、図２の最上段で示されるような照射光が物体４により反射することで生じる、図２の上から２段目で示されるような反射光を受光し、受光した光量に応じた画素信号を発生する受光素子を備えている。反射光の位相は、照射光の位相に対して、物体までの距離に応じた位相差による遅延時間ΔＴが生じる。
測距装置３は、この位相差により生じる遅延時間ΔＴに基づいて、物体４までの距離を測距する。この際、測距装置３は、受光素子の露光時間を、照射光の位相と同期して、例えば、２つの期間に分けて受光する。
より具体的には、測距装置３は、図２の上から３段目で示される、照射光のパルスがHi信号の時の露光時間となる露光Ａと、図２の上から４段目で示される、照射光のパルスがLow信号の時の露光時間となる露光Ｂとの２つの同じ長さの期間に分けて受光する。
尚、以降においては、測距装置３の受光素子のうち、図２の露光Ａで示される露光期間で露光する受光素子をTapAと称し、図２の露光Ｂで示される露光期間で露光する受光素子をTapBと称する。
TapAとTapBのそれぞれ露光期間で光電変換により発生する画素信号の和は、常に、照射光の位相がHi信号とされる、光源２の発光期間に相当する露光期間で検出される画素信号となる。
これに対して、TapBで発生する画素信号は、照射光におけるHi信号とされる期間において発生される画素信号に対して、遅延時間ΔＴの分だけ減少した露光期間における画素信号となる。
そこで、測距装置３は、TapAとTapBの画素信号の和に対するTapBの画素信号の割合から遅延時間ΔＴを求めて、求められた遅延時間ΔＴを測距装置３と物体４との光の往復時間とみなし、往復時間に基づいて、測距装置３から物体４までの距離を測距する。
＜複数の測距装置を用いる場合の影響＞
デプスセンサ１は、図２を参照して説明した測距の原理により測距を行うが、複数のデプスセンサ１が同一の物体４までの距離を測距する場合、自らの照射光に対する物体４からの反射光を受光しなければ適切な測距を実現することができない。
例えば、図１で示されるような場合、デプスセンサ１−１，１−２における光源２−１，２−１により照射された照射光Ｌ１，Ｌ２が、それぞれ物体４により反射され、反射光Ｒ１，Ｒ２として、測距装置３−１，３−２がそれぞれ受光して測距する限り、適切な測距を実現することができる。
しかしながら、例えば、測距装置３−２が、光源２−２の照射光Ｌ２に対する反射光Ｒ２と共に、光源２−１の照射光Ｌ１に対応する反射光Ｒ１を併せて受光すると、反射光Ｒ１の影響により、適切な測距ができないことになる。すなわち、測距装置３−２にとって、照射光Ｌ２に対応する反射光Ｒ２は、測距に必要な反射光であるが、照射光Ｌ１に対応する反射光Ｒ１は、測距に不要な反射光となる。尚、以降において、測距に必要な反射光は、必要反射光とも称し、必要反射光に対応する照射光は、必要照射光とも称する。同様に、測距に不要な照射光は不要照射光とも称し、不要照射光に対応する反射光は、不要反射光とも称する。従って、測距装置３−２にとって、照射光Ｌ２は、必要照射光であり、反射光Ｒ２は、必要反射光であるが、照射光Ｌ１は、不要照射光であり、反射光Ｒ１は、不要反射光である。これは、測距装置３−１においても同様の影響を受けることになる。
このように、複数のデプスセンサ１−１，１−２を用いる場合については、測距装置３−１，３−２は、必要反射光と不要反射光との相互の影響（または必要照射光と不要照射光との相互の影響）を受けることにより、適切な測距を実現できない恐れがある。すなわち、必要照射光および必要反射光については、変調周波数や位相が既知であるが、変調周波数や位相が未知の不要照射光および不要反射光の影響により、変調周波数や位相が変化して未知のものに変化し、適切な測距ができなくなる恐れがある。以降、既知の変調周波数や位相からなる必要照射光や必要反射光に対して、変調周波数や位相を変化させてしまうような影響を衝突とも称する。すなわち、必要照射光や必要反射光と、不要照射光や不要反射光との衝突により、既知の変調周波数や位相に変化が生じて適切な測距が実現できなくなる恐れがある。このように複数のデプスセンサ１−１，１−２を用いる場合でも適切な測距を実現するには、デプスセンサ１−１，１−２が、反射光Ｒ１，Ｒ２をそれぞれ区別して受光できるようにして、衝突による影響を抑制して、必要反射光のみを測距に使用できるようにする必要がある。反射光Ｒ１，Ｒ２を区別して受光できるようにするには、いくつかの方法が考えられる。
反射光Ｒ１，Ｒ２を区別して受光する第１の方法としては、例えば、図３の上段で示されるように、光源２−１，２−２の発光タイミングが重ならず、等間隔で発光するようにタイミングを制御する方式が考えられる。
尚、図３においては、上段、中段、および下段のそれぞれの上部の波形においては、光源２−１により照射される照射光Ｌ１の発光タイミングの波形が示されており、下部の波形においては、光源２−２により照射される照射光Ｌ２の発光タイミングの波形が示されている。
いずれの波形も、矩形状のパルス波形が発生しているタイミングが所定の変調光を発光させているタイミングであることを示している。
また、反射光Ｒ１，Ｒ２を区別して受光する第２の方法としては、例えば、図３の中段で示されるように、光源２−１，２−２の発光タイミングが重ならないように、発光するタイミング（間隔）を乱数等によりランダムに制御する方式が考えられる。図３の中段においては、照射光Ｌ１の発光タイミングが周期Ｔ１とされ、照射光Ｌ２の発光タイミングが周期Ｔ２とされている。
さらに、反射光Ｒ１，Ｒ２を区別して受光する第３の方法としては、例えば、図３の下段で示されるように、光源２−１，２−２の発光に係る変調方式をランダムに変化させるように制御する方式が考えられる。この方式の場合、測距装置３−１，３−２は、光源２−１，２−２の発光に係る変調方式を把握しているので、照射光の発光タイミングが重なることがあっても背景光として分離することが可能である。
しかしながら、第１の方式を実現するにあたっては、デプスセンサ１−１，１−２の光源２−１，２−２の発光タイミングが重ならないように制御する構成をデプスセンサ１−１，１−２とは別に設けるか、または、デプスセンサ１−１，１−２のいずれかがタイミングを制御する必要があり、装置構成に係るコストが増大すると共に、制御が複雑になる。
また、第２の方式においては、光源２−１，２−２の発光タイミングがランダムに変化するので、照射光Ｌ１，Ｌ２が重なったタイミングで発光することもある。測距装置３−１，３−２は、重なったタイミングであるのか否かについて判断が付かず、照射光Ｌ１，Ｌ２に対応する反射光Ｒ１，Ｒ２を分離することもできないので、必ずしも適切な測距ができない恐れがある。
さらに、第３の方式においては、光源２−１，２−２の発光に係る変調方式がランダムに変化しても一致する可能性は否定できないため、必ずしも適切な測距を実現できない可能性がある。
そこで、本開示においては、自らの光源２の発光タイミングの間隔を所定時間だけ広く設定すると共に、測距装置３における自らの光源２からの照射光に対する反射光により得られた画素信号と、他の光源２からの照射光に対する反射光により得られた画素信号とを複数回に渡って積算し、積算結果の差分から、4phase方式の測距演算により、自らの光源２による照射光と反射光との位相差を求めることで、物体４までの距離を測距する。
尚、ここでいう発光のタイミングの間隔とは、パルス状の波形の１つ１つの間隔ではなく、所定の変調周波数で変調された状態で光源が点滅して発光する発光状態と、光源が全く発光していない消灯状態との間隔を示している。
ここで、4phase方式の測距演算方式について説明する。
図２を参照して説明した測距演算方式は、4phase方式の測距演算方式に対して、2phase方式の測距演算方式であり、照射光の位相に同期して照射光が発光しているタイミングと、消灯しているタイミングとに同期してTapAとTapBとで1フレーム中（変調に係る１周期中）に2phaseの画素信号を検出し、TapAとTapBの画素信号の和に対するTapBの画素信号の比により表現される位相差に基づいて測距演算する方式である。
これに対して4phase方式とは以下のような測距演算方式である。
ここで、4phaseの測距演算方式を説明するにあたっては、図４の最上段（Emitted Light）で示されるように、照射時間Ｔで照射のオン／オフを繰り返すように変調（１周期＝２Ｔ）された照射光が出力される。また、測距装置３の受光素子では、図４の２段目（Reflected Light）で示されるように、照射光の物体での反射により生じる反射光が、物体までの距離に応じた遅延時間ΔTだけ遅れて、受光されるものとする。
4Phase方式では、図４の上から３段目乃至７段目のφ0乃至φ3で示されるように、TapAおよびTapBの露光タイミングが制御されることにより、照射光と同一の位相（即ちPhase0）、９０度ずらした位相（Phase90）、１８０度ずらした位相（Phase180）、２７０度ずらした位相（Phase270）の４つのタイミングで露光され、それぞれの露光期間において画素信号が検出される。
尚、同一位相（Phase0）と位相（Phase180）におけるタイミングは、同一フレーム中に連続して設定することができ、また、位相（Phase90）と位相（Phase270）についても同一フレーム中に連続して設定することができる。このため、位相（Phase0）と位相（Phase180）については、連続したタイミングでTapAが受光し、位相（Phase90）と位相（Phase270）については、連続したタイミングでTapBが受光することで、１フレームで、同時に4位相（Phase）分の露光時間を設定することができる。
また、4Phase方式においてTapAおよびTapBのPhase0、Phase90、Phase180、Phase270で検出されたシグナル値は、それぞれ、ｑ0A、ｑ1A、ｑ2A、ｑ3Aとも称する。
このシグナル値ｑ0A、ｑ1A、ｑ2A、ｑ3Aの配分比で遅延時間ΔTに対応する位相ずれ量θを検出することができる。すなわち、位相ずれ量θに基づいて遅延時間ΔTが求められるので、遅延時間ΔTにより対象物までの距離が求められる。
物体４までの距離は、例えば、以下の式（１）により演算される。
Figure 2020153799
 ・・・（１）
ここで、Ｃは光速であり、ΔTは、遅延時間であり、fmodは光の変調周波数であり、φ0乃至φ3は、図４の３段目乃至７段目で示される、それぞれ位相Phase0、Phase90、Phase180、Phase270のそれぞれで検出されたシグナル値ｑ0A、ｑ1A、ｑ2A、ｑ3Aであり、Distanceは、測距装置３から物体４までの距離である。
本開示においては、複数のデプスセンサ１による影響を受けない場合、通常においては、4phase方式で測距演算を行うものとし、以降においては、この測距演算による動作モードを通常モードと称する。
ただし、複数のデプスセンサ１が設けられている場合については、4phase方式の測距演算においても、他のデプスセンサ１の光源２により照射される照射光による影響を受けるため、そのままの処理では適切な測距を実現することができない。
そこで、本開示においては、複数のデプスセンサ１により同一の物体４を測距することで、複数のデプスセンサ１に他の照射光の影響を受ける場合、図５で示されるように、自らの照射光の発光間隔を、反射光が十分に減衰して光量が小さくなる時間よりも長く設定する。換言すれば、光源２が変調周波数で変調した照射光を照射する発光期間の間に、照射光の光量が十分に減衰する十分な長さの光源２が消灯した状態となる消灯期間が設定される。
図５においては、図中上からNフレーム乃至N+3フレームのそれぞれについて、自らの照射光の波形ＷＬ、自らの照射光による物体４からの反射光ＷＲの波形、他の照射光による物体４からの反射光ＷＲｏの波形、およびTapAとTapBによる各露光タイミングが示されている。また、TapAとTapBによる各露光タイミングにおいては、それぞれの露光期間のうち、反射光ＷＲ，ＷＲｏのいずれが受光されているのかが、色分けして示されている。すなわち、図５のTapAおよびTapBにおいては、点描状の領域が、反射光ＷＲｏが受光されているタイミングを表しており、格子状の領域が、反射光ＷＲが受光されているタイミングを表している。
Nフレーム乃至N+3フレームのそれぞれにおいて、照射光の波形ＷＬは、時刻ｔ０乃至ｔ１、ｔ２乃至ｔ３、およびｔ４乃至ｔ５で示されるように、周期ＴＬで発光している。周期ＴＬは、反射光の発光期間が終了してから十分に明るさが減衰する時間Ｔｄよりも十分に長く設定されている。
また、Nフレーム乃至N+3フレームのそれぞれにおいて、自らの照射光に対応する反射光の波形ＷＲは、自らの照射光の波形ＷＬに対して、物体４までの距離に応じた遅延時間ΔＴだけ遅れたタイミングとなる時刻ｔ１１乃至ｔ１２、ｔ１３乃至ｔ１４、およびｔ１５乃至ｔ１６において発光した状態で受光される。
TapAは、Nフレーム乃至N+3フレームのそれぞれについて、自らの照射光の発光している期間に対して、図５中上から、同一の位相（即ちPhase0）、１８０度ずらした位相（Phase180）、９０度ずらした位相（Phase90）、２７０度ずらした位相（Phase270）で露光され、自らの照射光が物体４で反射する反射光と、他の照射光が物体４で反射する反射光の両方を受光して画素信号を検出する。
一方、TapBは、Nフレーム乃至N+3フレームのそれぞれについて、自らの照射光の発光している期間に同期して、反射光の発光期間が終了してから十分に明るさが減衰する時間Ｔｄが経過するタイミングにおいて、同一の位相（即ちPhase0）、１８０度ずらした位相（Phase180）、９０度ずらした位相（Phase90）、２７０度ずらした位相（Phase270）で露光され、他の照射光が物体４で反射する反射光のみを受光して画素信号を検出する。
本開示においては、このようにして4フレーム単位で求められる4位相分の自らの光源２の反射光と他の光源２の反射光とを併せた画素信号、および、4位相分の他の光源２の反射光のみの画素信号とが所定回数だけ繰り返し積算されるようにする。
そして、TapAで検出された、自らの照射光に対応する反射光と、他の光源２の反射光とを併せた４位相分の画素信号の積算値、および、TapBで検出された、他の照射光に対応する反射光のみからなる４位相分の画素信号の積算値を用いて、上述した式（１）におけるφ0乃至φ3を以下の式（２）で示されるように表現し、測距を実現する。
φ0＝ΣTapAN−ΣTapBN
φ1＝ΣTapAN+2−ΣTapBN+2
φ2＝ΣTapAN+1−ΣTapBN+1
φ3＝ΣTapAN+3−ΣTapBN+3
・・・（２）
ΣTapAN，ΣTapAN+1，ΣTapAN+2，ΣTapAN+3は、それぞれTapAにおける、N乃至N+3フレームの4フレームの各フレームにおいて検出された画素信号の所定回数分の積算値である。
また、ΣTapBN，ΣTapBN+1，ΣTapBN+2，ΣTapBN+3は、それぞれTapBにおいて、N乃至N+3フレームの4フレームの各フレームにおいて検出された画素信号の所定回数分の積算値である。
式（２）の場合、φ0乃至φ3は、それぞれ位相Phase0、Phase90、Phase180、Phase270のそれぞれで検出されたシグナル値ｑ0A、ｑ1A、ｑ2A、ｑ3Aに対応するものである。
尚、遅延時間ΔTは、α／（2πfmod）で表される。
すなわち、TapAにおいて、N乃至N+3フレームのそれぞれのフレーム単位における、反射光ＷＲと反射光ＷＲｏを併せた反射光により検出される画素信号の積算値から、TapBにおいて、N乃至N+3フレームのそれぞれのフレーム単位における、反射光ＷＲｏのみにより検出される画素信号の積算値が減算される。
このような演算により、反射光ＷＲと反射光ＷＲｏとが併せて検出される画素信号の平均値の積算値（ΣTapAN乃至ΣTapAN+3）から、反射光ＷＲｏのみにより検出される画素信号の平均値の積算値（ΣTapBN乃至ΣTapBN+3）が減算されることで、他の光源２からの照射光に対応する反射光の成分が実質的に除去される。
結果として、（φ1−φ3）／（φ0−φ2）の演算においては、他の光源２に基づいた反射光ＷＲｏによる影響が実質的に除去された値が用いられることになるので、他の光源２による影響を抑制するように補正することが可能となり、適切な測距演算を実現することが可能となる。
なお、図５を参照して説明したように、複数のデプスセンサ１−１，１−２による他の光源２による反射光の影響を抑制するように補正して測距演算を行う処理を、図４を参照して説明した通常モード処理に対して、補正モード処理と称する。
＜＜２．第１の実施の形態＞＞
＜デプスセンサの構成例＞
図６は、本開示を適用したデプスセンサの実施の形態の構成例を示すブロック図である。
図６において、デプスセンサ１１は、光変調部２１、発光ダイオード２２、投光レンズ２３、受光レンズ２４、フィルタ２５、TOFセンサ２６、画像記憶部２７、同期処理部２８、演算部２９、デプス画像生成部３０、および制御部３１を備えて構成される。
光変調部２１は、制御部３１により制御され、発光ダイオード２２から出力される光を、例えば、10MHz程度の高周波で変調させるための変調信号を、発光ダイオード２２に供給する。また、光変調部２１は、制御部３１により制御され、発光ダイオード２２の光が変調するタイミングを示すタイミング信号を、TOFセンサ２６および同期処理部２８に供給する。
発光ダイオード２２は、光変調部２１から供給される変調信号に従って、例えば、赤外光などのような不可視域の光を高速で変調させながら発光し、その光を、デプスセンサ１１がデプス画像を取得して距離を検出する領域となる検出領域に向かって照射する。なお、本実施の形態では、検出領域に向かって光を照射する光源を、発光ダイオード２２として説明するが、レーザダイオードなど他の光源を用いてもよい。
また、発光ダイオード２２は、後述するTOFセンサ２６と隣接して配置されても良い。この構成により、発光した光が物体に反射してデプスセンサ１１に戻ってくる際の、往きと帰りの経路差が最少となり、測距誤差を低減することができる。さらに、発光ダイオード２２とTOFセンサ２６とは、１つの筐体で一体的に形成されても良い。この構成により、発光した光が物体に反射してデプスセンサ１１に戻ってくる際の、往きと帰りの経路のばらつきを抑えることができ、測距誤差を低減することができる。また、発光ダイオード２２とTOFセンサ２６とは、相互の位置関係が把握できている限り、それぞれ異なる筐体から形成されても良い。
投光レンズ２３は、発光ダイオード２２から照射される光が所望の照射角度となるように、光の配光を調節するレンズにより構成される。
受光レンズ２４は、発光ダイオード２２から光が照射される検出領域を視野に収めるレンズにより構成され、検出領域にある物体で反射した光を、TOFセンサ２６のセンサ面に結像させる。
フィルタ２５は、所定の帯域の光のみを通過させるBPF（Band Pass Filter）であり、検出領域にある物体で反射してTOFセンサ２６に向かって入射してくる光のうち、所定の通過帯域の光のみを通過させる。例えば、フィルタ２５は、通過帯域の中心波長が920nm乃至960nmの間に設定され、その通過帯域の光を、通過帯域以外の波長の光よりも多く通過させる。具体的には、フィルタ２５において、通過帯域の波長の光は60%以上透過し、通過帯域以外の波長の光は30%未満透過する。
また、フィルタ２５が光を通過させる通過帯域は、従来のTOF方式で用いられていたフィルタの通過帯域よりも狭く、発光ダイオード２２から照射される光の波長に対応した狭帯域に限定される。例えば、発光ダイオード２２から照射される光の波長が940nmである場合、その波長に連動して、フィルタ２５の通過帯域として、940nmを中心とした前後10nmの帯域（930乃至950nm）が採用される。
このようなフィルタ２５の通過帯域により、TOFセンサ２６が太陽の外乱光の影響を抑えつつ照射光を検出することができる。なお、フィルタ２５の通過帯域はこれに限定されず、所定波長を中心とした前後15nm以下の帯域であってもよい。また、フィルタ２５の通過帯域として、TOFセンサ２６が最も特性の良い波長帯である850nmを中心とした前後10nmの帯域（840乃至860nm）が採用されても良い。これにより、TOFセンサ２６が効果的に照射光を検出することができる。
TOFセンサ２６は、発光ダイオード２２から照射される光の波長域に感度を有する撮像素子により構成され、受光レンズ２４によって集光されてフィルタ２５を通過した光を、センサ面にアレイ状に配置される複数の画素により受光する。図示するように、TOFセンサ２６は、発光ダイオード２２の近傍に配置され、発光ダイオード２２により光が照射される検出領域にある物体で反射した光を受光することができる。そして、TOFセンサ２６は、それぞれの画素が受光した光の光量を、デプス画像を生成するための画素値とした画素信号を出力する。TOFセンサ２６の具体的な構成としては、例えば、SPAD（single photon avalanche diode）、APD（Avalanche Photo Diode）やCAPD(Current Assisted Photonic Demodulator)などの種々のセンサを適用可能である。
画像記憶部２７は、TOFセンサ２６から出力される画素信号により構築される画像を記憶する。例えば、画像記憶部２７は、検出領域内で変化があったときの最新の画像を記憶したり、検出領域内に物体が存在していない状態の画像を背景画像として記憶したりすることができる。
同期処理部２８は、光変調部２１から供給されるタイミング信号に同期して、TOFセンサ２６から供給される画素信号のうち、発光ダイオード２２が照射した変調光に対応する反射光を受光したタイミングの画素信号を抽出する処理を行う。これにより、同期処理部２８は、発光ダイオード２２から照射され、検出領域にある物体で反射した光を主成分とするタイミングの画素信号のみを演算部２９に供給することができる。また、同期処理部２８は、例えば、画像記憶部２７に記憶されている背景画像を読み出し、TOFセンサ２６から供給される画素信号により構築される画像との差分を求めることで、検出領域において動きのある物体のみからなる画素信号を生成することができる。なお、同期処理部２８は必須の構成ではなく、TOFセンサ２６から供給される画素信号を演算部２９に直接供給してもよい。
演算部２９は、同期処理部２８またはTOFセンサ２６から供給される画素信号に基づいて、それぞれの画素ごとに検出領域内にある物体までの距離を求める演算を行い、その演算により求められる距離を示すデプス信号をデプス画像生成部３０に供給する。
具体的には、演算部２９は、発光ダイオード２２が発光した光の位相と、発光ダイオード２２から照射された光が物体で反射してTOFセンサ２６の画素に入射した光の位相との位相差に基づいて、検出領域内にある物体までの距離を求める演算を行う。
デプス画像生成部３０は、演算部２９から供給されるデプス信号から、被写体までの距離が画素の配置に従って並べられたデプス画像を生成し、そのデプス画像を後段の処理装置（図示せず）に出力する。
制御部３１は、プロセッサやメモリから構成され、デプスセンサ１１の動作の全体を制御する。制御部３１は、動作モードに応じて、光変調部２１を制御して、変調方式を制御することで発光ダイオード２２の発光タイミングを制御する。制御部３１は、動作モードに応じて、TOFセンサ２６を制御して、例えば、TapAおよびTapBの動作タイミングを制御する。制御部３１は、動作モードに応じて、演算部２９の演算内容を制御する。
ここでいう動作モードとは、例えば、上述した通常モード、および補正モードである。
すなわち、制御部３１は、自らであるデプスセンサ１１が単独で所定の物体を含む領域のデプス画像を生成するような場合には、動作モードを、図４を参照して説明した通常モード処理となるように各種の構成を制御する。
また、制御部３１は、複数のデプスセンサ１１が同一の所定の物体を含む領域のデプス画像を生成するような場合には、動作モードを、図５を参照して説明した補正モード処理となるように各種の構成を制御する。
尚、図６における発光ダイオード２２、および投光レンズ２３は、図１の光源２に対応する光源３２を構成している。また、受光レンズ２４、フィルタ２５、およびTOFセンサ２６は、図１の測距装置３に対応する測距装置３３を構成している。
このように構成されるデプスセンサ１１では、上述したように、発光ダイオード２２から照射される光の波長に対応して、通過帯域が狭帯域に限定された狭帯域のフィルタ２５が採用されている。これにより、フィルタ２５は、外乱光によるノイズ成分を除去し、測定に必要な信号成分を多く通過させることができる。即ち、デプスセンサ１１では、TOFセンサ２６が、ノイズ成分となる外乱光と比較して、測定に必要な信号成分である光を多く受光することができ、取得されるデプス画像のＳＮ比（Signal to Noise Ratio）を改善することができる。
従って、デプスセンサ１１は、外乱光の影響を受けるような環境であっても、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができ、デプス画像の取得性能を向上させることができる。
＜TOFセンサの構成例＞
次に、図７を参照して、図６のTOFセンサ２６の構成例について説明する。
図７に示すTOFセンサ２６は、例えば、裏面照射型のセンサから構成されるものとするが、表面照射型のセンサであってもよい。
TOFセンサ２６は、図示せぬ半導体基板上に形成された画素アレイ部４０と、画素アレイ部４０と同じ半導体基板上に集積された周辺回路部とを有する構成となっている。周辺回路部は、例えば、タップ駆動部４１、垂直駆動部４２、カラム処理部４３、水平駆動部４４、およびシステム制御部４５から構成されている。
TOFセンサ２６には、さらに信号処理部４９およびデータ格納部５０も設けられている。なお、信号処理部４９およびデータ格納部５０は、TOFセンサ２６と同じ基板上に搭載してもよいし、撮像装置におけるTOFセンサ２６とは別の基板上に配置するようにしてもよい。
画素アレイ部４０は、受光した光量に応じた電荷を生成し、その電荷に応じた信号を出力する画素５１が行方向および列方向の行列状に２次元配置された構成となっている。すなわち、画素アレイ部４０は、入射した光を光電変換し、その結果得られた電荷に応じた信号を出力する画素５１を複数有している。ここで、行方向とは、水平方向の画素５１の配列方向を言い、列方向とは、垂直方向の画素５１の配列方向を言う。行方向は、図中、横方向であり、列方向は、図中、縦方向である。
画素５１は、外部から入射した光、特に赤外光を受光して光電変換し、その結果得られた電荷に応じた画素信号を出力する。画素５１は、所定の電圧MIX0（第１の電圧）を印加して、光電変換された電荷を検出する、上述したTapAに対応する第１のタップTAと、所定の電圧MIX1（第２の電圧）を印加して、光電変換された電荷を検出する、上述したTapBに対応する第２のタップTBとを有する。
タップ駆動部４１は、画素アレイ部４０の各画素５１の第１のタップTA（TapA）に、所定の電圧供給線４８を介して所定の電圧MIX0を供給し、第２のタップTB（TapB）に、所定の電圧供給線４８を介して所定の電圧MIX1を供給する。したがって、画素アレイ部４０の１つの画素列には、電圧MIX0を伝送する電圧供給線４８と、電圧MIX1を伝送する電圧供給線４８の２本の電圧供給線４８が配線されている。
画素アレイ部４０において、行列状の画素配列に対して、画素行ごとに画素駆動線４６が行方向に沿って配線され、各画素列に２つの垂直信号線４７が列方向に沿って配線されている。例えば画素駆動線４６は、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。なお、図１では、画素駆動線４６について１本の配線として示しているが、１本に限られるものではない。画素駆動線４６の一端は、垂直駆動部４２の各行に対応した出力端に接続されている。
垂直駆動部４２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部４０の各画素を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動部４２は、垂直駆動部４２を制御するシステム制御部４５とともに、画素アレイ部４０の各画素の動作を制御する駆動部を構成している。
垂直駆動部４２による駆動制御に応じて画素行の各画素５１から出力される信号は、垂直信号線４７を通してカラム処理部４３に入力される。カラム処理部４３は、各画素５１から垂直信号線４７を通して出力される画素信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
具体的には、カラム処理部４３は、信号処理としてノイズ除去処理やAD（Analog to Digital）変換処理などを行う。
水平駆動部４４は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部４３の画素列に対応する単位回路を順番に選択する。この水平駆動部４４による選択走査により、カラム処理部４３において単位回路ごとに信号処理された画素信号が順番に出力される。
システム制御部４５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、そのタイミングジェネレータで生成された各種のタイミング信号を基に、タップ駆動部４１、垂直駆動部４２、カラム処理部４３、および水平駆動部４４などの駆動制御を行う。
信号処理部４９は、少なくとも演算処理機能を有し、カラム処理部４３から出力される画素信号に基づいて演算処理等の種々の信号処理を行う。データ格納部５０は、信号処理部４９での信号処理にあたって、その処理に必要なデータを一時的に格納する。
＜通常モード処理＞
次に、図８を参照して、図４を参照して説明した通常モード処理について説明する。通常モード処理においては、単独のデプスセンサ１１による測距と、測距結果に基づいたデプス画像の生成処理であるので、他の光源による影響は考慮されない。
ステップＳ１１において、制御部３１は、光変調部２１を制御して、所定の変調周波数で発光ダイオード２２を発光させて、照射光を照射させる。この処理により、光源３２より所定の変調周波数で変調された変調光からなる照射光が照射領域に照射され、照射領域内の物体により反射された反射光がTOFセンサ２６に入射される状態になる。
ステップＳ１２において、制御部３１は、TOFセンサ２６の画素５１のそれぞれの第１のタップTA（TapA）を制御して、発光ダイオード２２の発光タイミングと同期して露光させて、同一の位相（即ちPhase0）、および１８０度ずらした位相（Phase180）の画素信号を連続して検出して出力させる。
すなわち、この処理により、各画素５１のそれぞれの図４を参照して説明した、式（１）におけるφ0，φ2である位相Phase0、Phase180のそれぞれで検出されたシグナル値ｑ0A、ｑ2Aが連続的に求められることになる。
ステップＳ１３において、制御部３１は、TOFセンサ２６の画素５１のそれぞれの第２のタップTB（TapB）を制御して、発光ダイオード２２の発光タイミングと９０度ずらした位相で露光させて、９０度ずらした位相（Phase90）、および２７０度ずらした位相（Phase270）の画素信号を連続して検出して、同期処理部２８を介して演算部２９に出力させる。
すなわち、この処理により、各画素５１のそれぞれの図４を参照して説明した、式（１）におけるφ1，φ3である位相Phase90、Phase270のそれぞれで検出されたシグナル値ｑ1A、ｑ3Aが連続的に求められることになる。
ステップＳ１４において、演算部２９は、式（１）を演算することにより、各画素５１について、測距演算を行い、演算結果であるデプス信号をデプス画像生成部３０に出力する。
ステップＳ１５において、デプス画像生成部３０は、各画素５１のデプス信号に基づいて、デプス画像を生成して出力する。
ステップＳ１６において、制御部３１は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１に戻る。すなわち、処理の終了が指示されるまで、ステップＳ１１乃至Ｓ１６の処理が繰り返されて、デプス画像が生成されて出力され続ける。
そして、ステップＳ１６において、処理の終了が指示されると、処理が終了する。
以上の一連の処理により、単独のデプスセンサ１１による測距処理がなされて、測距結果に基づいてデプス画像が生成されて出力される。通常モードにおいては、１フレームで4位相分のシグナル値が求められて、デプス画像が生成されるため、高速な処理を実現することが可能となる。
＜補正モード処理＞
次に、図９のフローチャートを参照して、補正モード処理について説明する。補正モード処理は、複数のデプスセンサ１１により、同一の物体に対する測距処理がなされていることを想定した処理である。
ステップＳ３１において、制御部３１は、光変調部２１を制御して、所定の変調周波数で、かつ、所定のインターバルが生じるように発光ダイオード２２を発光させて、照射光を照射させる。
すなわち、補正モード処理においては、図５を参照して説明したように、所定の変調周波数で発光する光が十分に減衰する長さＴｄよりも十分に長い周期ＴＬで発光ダイオード２２が発光と、消灯を繰り返すように制御される。
また、この処理により、光源３２より所定の変調周波数で変調された変調光からなる照射光が、周期ＴＬで照射領域に照射され、照射領域内の物体により反射された反射光がTOFセンサ２６に入射される状態になる。
ステップＳ３２において、制御部３１は、位相のずれをカウントするためのカウンタθを0に初期化する。このカウンタθは、90度ずつ0,90,180,270度の4種類の位相がカウントされるカウンタである。
ステップＳ３３において、制御部３１は、TOFセンサ２６の画素５１のそれぞれの第１のタップTA（TapA）を制御して、発光ダイオード２２の発光タイミングに対してθ度だけ位相がずれたタイミングで露光させて、画素信号を検出させて同期処理部２８を介して演算部２９に出力させる。
ステップＳ３４において、演算部２９は、カウンタθに対応付けてTapAの露光結果である画素信号を積算して記憶する。
ステップＳ３５において、制御部３１は、TOFセンサ２６の画素５１のそれぞれの第１のタップＴＢ（TapB）を制御して、発光ダイオード２２が消灯して、光が十分に減衰したタイミングに対してθ度だけ位相がずれたタイミングで露光させて、画素信号を検出させて同期処理部２８を介して演算部２９に出力させる。
ステップＳ３６において、演算部２９は、カウンタθに対応付けてTapBの露光結果である画素信号を積算して記憶する。
ステップＳ３７において、制御部３１は、カウンタθが270か否かを判定し、270ではない場合、処理は、ステップＳ３８に進む。
ステップＳ３８において、制御部３１は、カウンタθを90だけインクリメントし、処理は、ステップＳ３３に戻る。
すなわち、ステップＳ３７において、270であると判定されるまで、ステップＳ３３乃至Ｓ３８の処理が繰り返されて、0,90,180,270度の4種類の位相のずれに対応した画素信号が順次積算される。
そして、ステップＳ３７において、カウンタθが270であると判定された場合、処理は、ステップＳ３９に進む。
ステップＳ３９において、制御部３１は、ステップＳ３２乃至Ｓ３８の処理が所定回数繰り返されたか否かを判定し、所定回数繰り返されていない場合、処理は、ステップＳ３２に戻る。
すなわち、ステップＳ３３，Ｓ３４における処理は、カウンタθが0,90,180,270のそれぞれに対応する、図５のフレームN乃至N+3における自らの照射光に対する反射光ＷＲの画素信号を繰り返し検出し、それぞれに積算する処理である。
ステップＳ３５，Ｓ３６における処理は、カウンタθが0,90,180,270のそれぞれに対応する、図５のフレームN乃至N+3における他の照射光に対する反射光ＷＲｏの画素信号を繰り返し検出し、それぞれに積算する処理である。
そして、ステップＳ３２乃至Ｓ３９の処理が繰り返されることにより、反射光ＷＲ、および反射光ＷＲｏの画素信号が、0,90,180,270の4種類の位相のずれに対応付けて、所定回数繰り返し積算される。
すなわち、ステップＳ３２乃至３９の処理が繰り返されることにより、式（２）におけるΣTapAN，ΣTapAN+2，ΣTapAN+1，ΣTapAN+3、およびΣTapBN，ΣTapBN+2，ΣTapBN+1，ΣTapBN+3が求められる。
ステップＳ３９において、所定回数繰り返されたと判定された場合、処理は、ステップＳ４０に進む。
ステップＳ４０において、演算部２９は、上述した式（２）により得られるφ0乃至φ3を用いて式（１）を演算することにより、各画素５１について測距演算を行い、演算結果であるデプス信号をデプス画像生成部３０に出力する。
ステップＳ４１において、デプス画像生成部３０は、各画素５１のデプス信号に基づいて、デプス画像を生成して出力する。
ステップＳ４２において、制御部３１は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ３２に戻る。すなわち、処理の終了が指示されるまで、ステップＳ３２乃至Ｓ４２の処理が繰り返されて、デプス画像が生成されて出力され続ける。
そして、ステップＳ４２において、処理の終了が指示されると、処理が終了する。
以上の一連の処理により、式（２）で示されるφ0乃至φ3のそれぞれの減算結果は、実質的に、各位相における自らの光源２に基づいた反射光ＷＲ（必要反射光）と、他の光源２に基づいた反射光ＷＲｏ（不要反射光）とを含む反射光により検出される画素信号の平均値の積算値から、各位相における他の光源２のみに基づいた反射光ＷＲｏ（不要反射光）により検出される画素信号の平均値の積算値が除去されたものとなる。つまり、式（２）で示されるφ0乃至φ3は、各位相における、他の光源２に基づいた反射光ＷＲｏにより検出される画素信号を含まない、自らの光源２に基づいた反射光ＷＲにより検出される画素信号の平均値の積算値とされる。
結果として、（φ1−φ3）／（φ0−φ2）の演算においては、他の光源２に基づいた反射光ＷＲｏによる影響が実質的に除去された値が用いられることになるので、他の光源２による衝突の影響を低減するように補正することが可能となり、適切な測距演算を実現することが可能となる。
＜＜３．第２の実施の形態＞＞
＜衝突の検出＞
以上においては、1台のデプスセンサ１１により、単独で所定の領域のデプス画像を生成する場合には通常モード処理によりデプス画像を生成し、複数のデプスセンサ１１により、同一の所定の領域のデプス画像を生成する場合には補正モード処理によりデプス画像を生成する例について説明してきた。
しかしながら、複数のデプスセンサ１１が用いられているか否かが認識できないような場合、補正モード処理でデプス画像を生成する必要があるが、通常モード処理に比べるとフレームレートが落ちる、または、照射光のDutyが下がるといった状況でデプス画像が生成され続けることになる。
そこで、例えば、他の光源からの混信や衝突を検出する動作モードとして、画素５１のうち、TapAのみで、発光タイミングに同期した４位相の画素信号を検出して測距を行いつつ、TapBが消灯したタイミングに同期して、複数の異なる積算時間（Integ Time）を設定し、画素信号の積算値を検出する。
他の光源からの変調光が含まれていない場合、TapBでは、太陽光などの一定のレベルの妨害光のみが検出されるため、積算時間の長さに比例して変化する積算値が検出される。
一方、他の光源からの変調光が含まれている場合、TapBでは、太陽光などの一定のレベルの妨害光に加えて、変調光からなる反射光の画素信号が検出されることになるので、積算時間の長さとは無関係に変化する積算値が検出される。
すなわち、図１０においては、上から連続するNフレーム目乃至N+3フレーム目のそれぞれにおいて、それぞれ異なる積算時間Ｔｅ１乃至Ｔｅ４でTapBが露光されるときの画素信号の積算値が検出される様子が示されている。
尚、各フレームにおける上段の波形が変調光の波形Ｗｍであり、下段が太陽光の波形Ｗｓである。
図１０で示されるように、変調光の波形Ｗｍは、変調に応じて変化するため、Nフレーム目乃至N+3フレーム目において、それぞれ異なる長さの積算時間Ｔｅ１乃至Ｔｅ４で画素信号が検出されても、時間の長さとは相関のない積算値が検出される。
一方、太陽光の波形Ｗｓは、ある程度一定であるため、Nフレーム目乃至N+3フレーム目において、それぞれ異なる長さの積算時間Ｔｅ１乃至Ｔｅ４で画素信号が検出されると、積算時間の長さと相関のある積算値が検出される。
このため、例えば、異なる積算時間における、太陽光など背景光とみなされる積算値の標準偏差を予め閾値として求めておき、異なる積算時間で積算値を所定回数だけ検出したときの標準偏差と、予め求めた閾値との比較に基づいて、衝突の有無を判定するようにしてもよい。
例えば、異なる積算時間で積算値を所定回数だけ検出したときの標準偏差が、予め設定された閾値よりも小さく、すなわち、積算値の分散が小さく、ばらつきがないとみなせるときには、変調光による影響はなく、他の光源との衝突はないものと判定することができる。
逆に、積算値の標準偏差が予め求めた閾値よりも大きく、積算値の分散が大きく、ばらつきがあるとみなせるときには、変調光による影響があり、他の光源との衝突があるものと判定することができる。
尚、衝突を検出する間も、TapAは、測距処理を行うようにする。この場合、TapAとTapBとの両方を用いた測距処理はできないが、TapBにより衝突の検出がなされている間も、フレームレートは低下するが測距処理が行われるようにしてもよい。
＜衝突の回避＞
また、他の光源との衝突が検出された場合、光源を発光させる期間の間に設定される、光源を消灯させる期間、すなわち、ブランク期間の長さを、乱数を用いてランダムに変化させることにより、他の光源との衝突を回避するようにすることで衝突による影響を低減するようにしてもよい。
すなわち、図１１の上段で示されるように、自らの光源の波形ＷＬにおける発光期間ＴＬと、他の光源の波形ＷＬｏにおける発光期間ＴＬｏとが重なっている場合、上述した処理により衝突が検出されることになる。
なお、図１１の上段においては、所定の長さのブランクＴｂ１の後、発光期間ＴＬが設定されると、同期してTapAの露光期間Ｔｅが設定され、その後、読出期間Ｔｒが設定される。
そして、再び、ブランク期間Ｔｂ１とされた後、発光期間ＴＬが設定されると、同期してTapAの露光期間Ｔｅが設定され、その後、読出期間Ｔｒが設定され、同様の処理が繰り返されている。
図１１の上段のような場合については、衝突が検出されることになるので、ブランク期間Ｔｂ１を乱数に基づいた長さに変更させることで、例えば、図１１の下段で示されるように、ブランク期間Ｔｂ２に変更させるようにしてもよい。
この結果、他の光源の波形ＷＬｏにおける発光期間ＴＬｏと、発光期間ＴＬとは重ならない状態となるので、衝突が回避される。
尚、ブランク期間の長さは乱数によりランダムに変更されることになるため、ブランク期間の長さを変更しても衝突が回避されない恐れがある。この場合、衝突が回避されるまで、繰り返しブランク期間の長さをランダムに変更させるようにしてもよい。
また、図１１の上段におけるブランク期間Ｔｂ１と、図１１の下段におけるブランク期間Ｔｂ２とは、長さがランダムに変更されるが、露光期間Ｔｅと読出期間Ｔｒの長さについては同一のままである。
さらに、衝突を検出する場合、TapAのみでの測距がなされることにより、フレームレートが低減するので、通常は、通常モード処理での動作を行い、所定時間が経過するごとに衝突を検出するようにし、衝突が検出されたときにはブランク期間の長さをランダムに変更するようにしてもよい。
上述したように衝突検出を行い、衝突が検出された場合には、衝突を回避させるような動作モードを、以降において、衝突回避モード処理と称する。
＜衝突回避モード処理＞
次に、図１２のフローチャートを参照して、衝突回避モード処理について説明する。
ステップＳ５１において、制御部３１は、図８のフローチャートを参照して説明した通常モードにより画素単位で測距処理を行うとともに、測距結果であるデプス信号に基づいて、デプス画像を生成して出力する。尚、ステップＳ５１の通常モード処理は、処理は、図８のフローチャートにおけるステップＳ１１乃至Ｓ１５のみの処理となる。
ステップＳ５２において、制御部３１は、通常モード処理がなされてから所定時間が経過したか否かを判定し、経過するまで、ステップＳ５１，Ｓ５２の処理が繰り返されて、通常モード処理により、デプス画像が生成され続ける。そして、ステップＳ５２において、所定時間が経過したと判定された場合、処理は、ステップＳ５３に進む。
ステップＳ５３において、制御部３１は、衝突検出処理を実行して、4種類の積算時間におけるTapBの画素信号の所定回数の積算値を求める。尚、衝突検出処理については、図１３を参照して詳細を後述する。
ステップＳ５４において、制御部３１は、4種類の積算時間におけるTapBの画素信号の積算値の所定数の標準偏差が、いずれも所定の閾値未満であるか否かを判定し、積算値のばらつきがなく、他の光源からの変調光が含まれていないか否かをい判定する。
ステップＳ５４において、4種類の積算時間におけるTapBの画素信号の積算値の所定数の標準偏差の少なくともいずれかが所定の閾値未満ではなく、何らかの他の光源からの変調光による衝突が発生しているとみなされる場合、処理は、ステップＳ５５に進む。
ステップＳ５５において、制御部３１は、光変調部２１を制御して、発光ダイオード２２の発光期間のブランク期間の長さを乱数に基づいて変更させるように制御する。すなわち、この処理により、通常モード処理における発光ダイオード２２の発光期間のブランク期間の長さが変更される。
尚、ステップＳ５４において、4種類の積算時間におけるTapBの画素信号の積算値の所定数の標準偏差が、いずれも所定の閾値未満であり、他の光源からの変調光による衝突がないと判定された場合、ステップＳ５５の処理はスキップされる。
ステップＳ５６において、制御部３１は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。
そして、ステップＳ５６において、処理の終了が指示されると、処理が終了する。
以上の処理により、他の光源からの変調光による衝突の有無が検出されて、衝突が検出されると、発光ダイオード２２の発光期間の間のブランク期間の長さがランダムに変更されることにより、衝突が回避されるようになる。
＜衝突検出処理＞
次に、図１３のフローチャートを参照して、衝突検出処理について説明する。
ステップＳ７１において、制御部３１は、位相のずれをカウントするためのカウンタNを０に初期化する。このカウンタNは、4種類の積算時間を区別するためのカウンタである。
ステップＳ７２において、制御部３１は、TOFセンサ２６の画素５１のそれぞれの第２のタップTB（TapB）を制御して、カウンタNに対応して設定された長さの積算時間内で露光させて、画素信号を検出させて同期処理部２８を介して演算部２９に出力させる。
ステップＳ７３において、演算部２９は、カウンタNに対応付けて設定された積算時間だけ、TapBの露光結果である画素信号を積算して積算値を求め記憶する。従って、ステップＳ７２，Ｓ７３の処理は、積算時間内において、繰り返されることになる。
ステップＳ７４において、制御部３１は、カウンタNが3か否かを判定し、Nが3ではない場合、処理は、ステップＳ７５に進む。
ステップＳ７５において、制御部３１は、カウンタNを1だけインクリメントし、処理は、ステップＳ７２に戻る。
すなわち、ステップＳ７４において、カウンタNが3であると判定されるまで、ステップＳ７２乃至Ｓ７５の処理が繰り返される。
そして、ステップＳ７４において、カウンタNが3であると判定された場合、すなわち、4種類の積算期間における画素信号の積算値が求められると、処理は、ステップＳ７６に進む。
ステップＳ７６において、制御部３１は、処理が所定回数繰り返されたか否かを判定し、所定回数繰り返されていない場合、処理は、ステップＳ７１に戻る。
すなわち、ステップＳ７２，Ｓ７３における処理は、カウンタNで区別される４種類の異なる長さの積算時間において検出される画素信号の積算値が求められ、記憶される処理である。
ステップＳ７６において、所定回数繰り返され、４種類の積算時間に対応する積算値所定数求められたと判定された場合、処理は、ステップＳ７７に進む。
ステップＳ７７において、演算部２９は、それぞれ長さが異なる積算期間の4種類の積算値のそれぞれの標準偏差を求めて、制御部３１に出力する。
以上の一連の処理により、TapBにより、複数の異なる長さの積算時間での画素信号の積算値と、その標準偏差が求められる。
TapBで検出される４種類の積算時間の積算値は、太陽光などの背景光のみが含まれている場合、ばらつきが小さいので、標準偏差は、予め求められる所定の閾値よりも小さくなるので、他の光源からの変調光による衝突は発生していないものとみなすことができる。
一方、これに対して、TapBで検出される４種類の積算時間の積算値は、他の光源からの変調光が含まれるような場合、ばらつきが大きくなるので、標準偏差は予め求められる所定の閾値よりも大きくなるので、他の光源からの変調光による衝突が発生しているものとみなすことができる。
すなわち、一連の処理により衝突の有無を判定するための複数の異なる長さの積算時間における画素信号の積算値と、その標準偏差を求めることが可能となる。
結果として、衝突を判定して、上述した処理により衝突を回避することが可能となる。
また、説明は省略したが、TapAによりフレームレートを低減させながら測距処理とデプス画像の生成を繰り返すこともできるので、衝突検出処理を行っている期間においても、TapAにおいて並列して測距を実現することができ、デプス画像を生成し続けながら衝突検出を行うことが可能となる。
＜＜４．第３の実施の形態＞＞
＜他の光源の変調光の変調周波数の推定＞
以上においては、他の光源からの変調光による衝突の有無を検出して、衝突が検出されるときには、衝突を回避する例について説明してきたが、他の光源からの変調光による衝突が検出される場合には、他の光源の変調光の変調周波数を推定して、推定された他の変調光の変調周波数に基づいて、他の光源を利用して測距するようにしてもよい。この場合、他の光源を利用して測距することで、自らの光源の照射光と、他の光源の照射光との衝突が実質的に回避されて、衝突による影響が低減される。
自らの光源の変調周波数と、自らの変調周波数とは異なる他の光源の変調周波数との間には、以下の関係が成り立つ。
すなわち、自らの変調周波数のHi信号とLow信号とを等期間で設定し、それぞれをTapAとTapBとで露光する場合、自らの光源と他の光源との変調周波数の差分周波数の周期を積算時間に設定すると、TapAとTapBとの画素信号が等しくなるという関係が成り立つ。
例えば、自らの光源の変調周波数が100MHzであり、他の光源の変調周波数が83.3MHzである場合、その差分周波数は、16.7MHzであり、差分周波数の周期は、60ns(＝1/(100MHz−83.3MHz))となる。
この周期となる60nsを積算時間（Integ Time）に設定すると、図１４の上段で示されるように、図中の他の光源の波形ＷＬｏにおけるが発光する期間は、期間Ｈ１乃至Ｈ５とされる。
変調周波数が83.3MHzとなる、他の光源からの照射光を、他の光源の発光タイミングと同期して、自らの光源の変調周波数である100MHzに対応するようにTapA，TapBで受光するとき、TapAとTapBの画素信号の比は、期間Ｈ１乃至Ｈ５のそれぞれにおいて、TapA:TapB＝7:5，3:9，3:9，7:5，10:2となる。
したがって、60nsを積算時間（Integ Time）における全期間におけるTapAとTapBの画素信号は、TapA:TapB＝30:30(＝(7+3+3+7+10):(5+9+9+5+2))となる。
また、TapAおよびTapBの露光期間を、90度ずらしても、TapAとTapBの画素信号の比は、期間Ｈ１乃至Ｈ５のそれぞれにおいて、TapA:TapB＝10:2，8:4，4:8，2:10，6:6となる。
したがって、60nsを積算時間（Integ Time）における全期間におけるTapAとTapBの画素信号は、この場合も、TapA:TapB＝30:30(＝(10+8+4+2+6):(2+4+8+10+6))となる。
さらに、例えば、自らの光源の変調周波数が100MHzであり、他の光源の変調周波数が90.9MHzである場合、その差分周波数は、9.1MHzであり、差分周波数の周期は、110ns(＝1/(100MHz−90.9MHz))となる。
この周期となる110nsを積算時間（Integ Time）に設定すると、図１４の中段で示されるように、図中の他の光源の波形ＷＬｏにおけるが発光する期間は、期間Ｈ１１乃至Ｈ２０とされる。
変調周波数が90.9MHzとなる、他の光源からの照射光を、他の光源の発光タイミングと同期して、自らの光源の変調周波数である100MHzに対応するようにTapA，TapBで受光するとき、TapAとTapBの画素信号の比は、期間Ｈ１１乃至Ｈ２０のそれぞれにおいて、TapA:TapB＝7:4，5:6，3:8，1:10，2:9，4:7，6:5，8:3，10:1，9:2となる。
したがって、110nsを積算時間（Integ Time）における全期間におけるTapAとTapBの画素信号は、TapA:TapB＝55:55(＝(7+5+3+1+2+4+6+8+10+9):(4+6+8+10+9+7+5+3+1+2))となる。
ただし、nsオーダでの計測は現実的ではないので、例えば、1000サイクル等の複数サイクルの計測結果を積算して使用する。これにより、usオーダでの計測結果を用いることになるが、積算時間を60nsや110nsから、例えば、1000倍した60usや110usにしてもTapA,TapBの画素信号の比は同様である。
尚、他の光源の変調周波数が、自らの光源の変調周波数と同一の100MHzである場合、差分周波数は0となり、差分周波数の周期は無限大となる。このため、光源の波形ＷＬｏにおけるが発光する期間におけるTapAとTapBの画素信号の比は、一定の値となり、例えば、図１４の下段で示されるように、TapA:TapB＝7:3である場合、全期間において同一の比とされる。
図１４の上段および中段を参照して説明した関係を用いることにより、TapAおよびTapBの画素信号の積算値が同一になる積算時間の長さが求められれば、自らの変調周波数との差分周波数を求めることが可能となり、自らの変調周波数と差分周波数とから、他の光源の凡その変調周波数を求めることができる。
また、他の光源の凡その変調周波数が求められれば、他の光源の変調周波数を推定することが可能となる。
すなわち、自らの変調周波数を100MHzとして、他の光源の反射光をTapAとTapBとで検出した（積算値の）差分Ｉ（＝TapA−TapB）は、差分周波数に応じて、例えば、図１５で示されるような正弦波からなる波形ｃ１乃至ｃ３として表現される。
すなわち、自らの光源と他の光源との差分周波数が100kHzである場合には、例えば、TapAとTapBとで検出した差分Ｉは、周期が10usの波形ｃ１として表現される。
また、差分周波数が90kHzである場合には、TapAとTapBとで検出した差分の差分Ｉは、周期が11.1usの波形ｃ２として表現される。
さらに、差分周波数が80kHzである場合には、TapAとTapBとで検出した積算値の差分Ｉは、周期が12.5usの波形ｃ３として表現される。
尚、TapAとTapBとの検出結果は、ここでは1000サイクルのものを用いているため、実際のオーダはnsオーダであるが、ここでは、usオーダで表現されている。
例えば、自らの光源の変調周波数が100MHzであり、変調周期が10nsであって、他の光源の変調周波数が99.9MHzで、変調周期が10.01nsである場合、TapAとTapBとで検出した差分Ｉは、100kHzで変化することになる。
このように差分周波数が100kHzである場合には、TapAとTapBとで検出した画素信号の差分Ｉは、10usの周期で、周期的に変化する。
そこで、周期となる10usを、例えば、4等分した2.5usの倍数からなる積算時間を設定したTapAとTapBとで検出した差分Ｉをサンプリングすることで、100kHz以下となる差分周波数が特定される。
例えば、図１５の丸印で示されるように、周期を4等分した2.5usの倍数となる積算時間2.5us、5.0us、7.5us、10usの、TapAとTapBとで検出した積算値の差分Ｉのサンプルが、波形ｃ１上にプロットされれば、差分周波数が100kHzの波形ｃ１に特定される。
同様に、4等分した2.5usの倍数からなる積算時間2.5us、5.0us、7.5us、10usの、TapAとTapBとで検出した積算値の差分Ｉが、波形ｃ２上の値であれば、差分周波数が90kHzの波形ｃ２に特定される。
さらに、4等分した2.5usの倍数からなる積算時間2.5us、5.0us、7.5us、10usの、TapAとTapBとで検出した積算値の差分Ｉが、波形ｃ３上の値であれば、差分周波数が80kHzの波形ｃ３に特定される。
尚、図１５においては、差分周波数の波形ｃ１乃至ｃ３上にプロットされる例について説明しているが、積算時間2.5us、5.0us、7.5us、10usの、TapAとTapBとで検出した積算値の差分Ｉから、対応する正弦波の波形を特定することで、100kHz以下の差分周波数
であれば求めることが可能である。
自らの光源の変調周波数と差分周波数とから、他の光源の変調周波数が推定される。
他の光源の変調周波数がわかれば、キャリブレーションにより他の光源の変調周波数に対応したTapAとTapBの露光期間を設定することが可能となり、他の光源を用いた測距を実現することが可能となる。
尚、一般的な位相変調の場合、キャリア周波数ずれが起きると、その差分となる周波数で、IQ座標が回転する。したがって、同じ周波数で視点も回転させれば止まって見えることになる。
つまり、100kHzの周波数差分があるということは、図１６で示されるIQ座標上における周波数差分Δθ=θN+1−θNが100kHzに相当する（1秒間に100k回転する）ことになる。この周波数差分Δθの補正は、逆方向に回転する座標変換を行うための演算により実現される。
＜他の光源の利用＞
以上のように他の光源の変調周波数が推定される場合、TapAとTapBの露光期間が、他の光源の変調周波数に対応するように制御されることにより、自らの光源を用いることなく、他の光源のみを用いた測距を実現することができる。
すなわち、自らの光源を用いた測距結果により得られるデプス画像と、他の光源を用いた測距結果により得られるデプス画像とから、他の光源までの距離と位置が特定される。
他の光源までの距離と位置が特定されれば、他の光源からの照射光が物体で反射することにより生じる反射光を受光することで、物体までの距離を測距することができる。
他の光源が、例えば、天井に設けられた高速点滅する天井照明であるような場合、他の光源の変調周波数を推定し、自らの光源と、他の光源とを用いて、他の光源の距離と位置が特定できる。そして、自らの光源と、天井照明からなる、他の光源との位置関係が変わらない限り、他の光源のみを用いた測距を実現し続けることができる。
例えば、図１７で示されるように、同一の空間内に、デプスセンサ１１、物体７１乃至７３、および天井照明８１が設けられている場合について考える。
尚、天井照明８１は、図１７の上部で示されるような波形パターンＷＬｐで発光する。ここで、波形パターンＷＬｐについては、矩形波形からなる変調周波数で発光されているタイミングと、矩形波形がない消灯しているタイミングとが交互に設定されているが、矩形波形がないタイミングを跨いでも、変調周波数のパターンにおける位相のずれはないものとする。
図１７の場合、デプスセンサ１１が、自らの光源である発光ダイオード２２を自らの変調周波数にて発光させることにより、物体７１乃至７３までの測距を行う。ここで、例えば、デプスセンサ１１から物体７１までの距離が1mであり、物体７２までの距離が1.5mであり、物体７３までの距離が0.5mであるものとする。
尚、デプス画像により物体７１乃至７３は、撮像されることになるため、デプスセンサ１１と物体７１乃至７３との位置関係についても特定される。
次に、デプスセンサ１１は、天井照明８１の変調周波数を推定し、自らの光源である発光ダイオード２２の発光を停止して、推定結果である天井照明８１の変調周波数にできるだけ近い変調周波数でTapA、およびTapBの露光期間を調整して、発光ダイオード２２を自らの変調周波数にて発光させたときの測距結果を用いたキャリブレーションを行い、天井照明８１による測距を可能にする。そして、デプスセンサ１１は、天井照明８１の変調周波数でTapA、およびTapBの露光期間を調整し、自らの光源である発光ダイオード２２の発光を停止した状態で、物体７１乃至７３を経由した天井照明８１までの距離を測距し、対応するデプス画像を生成する。
ここで、デプスセンサ１１から物体７１を経由した天井照明８１までの距離が1.5mであり、物体７２を経由した天井照明８１までの距離が2.0mであり、物体７３を経由した天井照明８１までの距離が1.0mであるものとする。
デプスセンサ１１は、自らの光源を用いたデプス画像と、天井照明８１を光源としてデプス画像との対応関係から、天井照明８１の位置と距離を求める。
すなわち、天井照明８１は、物体７１を中心とした半径2m（＝1.5m×2−1.0m）の球面Ｋ１内に存在するものと仮定できる。
また、天井照明８１は、物体７２を中心とした半径2.5m（＝2.0m×2−1.5m）の球面Ｋ２内に存在するものと仮定できる。
さらに、天井照明８１は、物体７３を中心とした半径1.5m（＝1.0m×2−0.5m）の球面Ｋ３内に存在するものと仮定できる。
したがって、天井照明８１は、球面Ｋ１乃至Ｋ３の交点に存在することになる。そこで、デプスセンサ１１は、球面Ｋ１乃至Ｋ３の交点を求めて、天井照明８１の位置を特定する。尚、自光源である発光ダイオード２２を用いた場合、デプスセンサ１１は、発光ダイオード２２から物体７１乃至７３までの距離を光路の往復時間の1/2を用いて測距することになるが、天井照明８１を用いた場合、天井照明８１から物体７１乃至７３までの復路分の時間で測距される。しかしながら、デプスセンサ１１は、自光源である発光ダイオード２２を用いた場合の測距結果に基づいて、キャリブレーションが行われるため、天井照明８１を用いた場合の測距結果は実測の1/2となってしまう。そこで、天井照明８１を光源とする場合、デプスセンサ１１は、測距結果を２倍する（×2にする）必要がある。
デプスセンサ１１と天井照明８１との位置関係が求められれば、デプスセンサ１１は、天井照明８１を光源とした測距を実現することが可能となり、自らの光源である発光ダイオード２２は発光させる必要がなくなるので、発光ダイオード２２の消費電力を低減させることが可能となる。
＜他の光源による測距処理＞
次に、図１８のフローチャートを参照して、他の光源による測距処理を説明する。
ステップＳ１１１において、制御部３１は、補正モード処理により自らの光源の照射光のみで周辺の物体までの距離を測距して、デプス画像を生成する。すなわち、この処理により、例えば、図１７における物体７１乃至７３までの距離が、自らの光源の照射光が用いられた場合の、補正モード処理（図９）により測距され、デプス画像が生成される。
ステップＳ１１２において、制御部３１は、変調周波数推定処理を実行し、他の光源の変調周波数を推定する。この処理により、例えば、図１７を参照して説明した天井照明８１のような他の光源の照射光の変調周波数が推定される。尚、変調周波数推定処理については、図１９のフローチャートを参照して、詳細を後述する。
ステップＳ１１３において、制御部３１は、他の光源による通常モード処理（図８）により自らの光源により測定した物体と同一の物体の距離を、図１７における天井照明８１のような他の光源の照射光により測距し、デプス画像を生成する。この際、TapAおよびTapBの露光期間は、他の光源の変調周波数の推定結果に基づいて設定される。
ステップＳ１１４において、演算部２９は、自らの光源に基づいた測距により得られるデプス信号と、他の光源に基づいた測距により得られるデプス信号とから、他の光源の位置と距離を演算する。
ステップＳ１１５において、制御部３１は、他の光源の位置と距離を考慮した、他の光源による通常モード処理により、他の光源に基づいた物体までの距離を測距し、デプス画像を生成する。この際、演算部２９は、デプスセンサ１１から他の光源までの距離と位置を考慮して、他の光源の照射光により物体までの距離を測距して、デプス画像を生成する。また、デプスセンサ１１は、自らの光源の照射光を必要としないので、自らの光源については消灯させることが可能となり、結果として、消費電力を低減させることが可能となる。
ステップＳ１１６において、制御部３１は、他の光源による測距処理の終了が指示されたか否かを判定し、処理の終了が指示されていない場合、処理は、ステップＳ１１５に戻る。
すなわち、ステップＳ１１６において、処理の終了が指示されるまで、他の光源による通常モード処理の終了が指示されるまで、同様の処理が繰り返される。
そして、ステップＳ１１６において、終了が指示されると、処理が終了する。
以上の一連の処理により、他の光源の変調周波数が推定されて、他の光源の位置および距離が特定されることにより、自らの光源の照射光を利用することなく、他の光源の照射光のみで測距を実現し、デプス画像を生成することが可能となる。
結果として、自らの光源を消灯したまま測距処理とデプス画像の生成を実現することが可能となるので、デプスセンサ１１の消費電力を低減させることが可能となる。
また、以上においては、デプスセンサ１１と他の光源である天井照明８１との位置と距離が求められる例について説明してきたが、予めデプスセンサ１１と天井照明８１との位置関係がわかっていれば、デプスセンサ１１は、自らの光源を備えることなく、天井照明８１の照射光を利用して測距を実現することが可能である。
＜変調周波数推定処理＞
次に、図１９のフローチャートを参照して、変調周波数推定処理について説明する。尚、この処理においては、図１４を参照して説明した関係に基づいて、他の光源の変調周波数と自らの光源の変調周波数との差分周波数が大凡わかっていることを前提とする。従って、この処理にあたっては、図１４を参照したように差分周波数の周期が大凡求められているものとする。
ステップＳ１５１において、制御部３１は、差分周波数の周期を4等分したときのそれぞれの積算時間（Integ Time）を識別するカウンタNを0に初期化する。
例えば、図１５を参照して説明したように差分周波数の周期が10usであるような場合、4等分すると2.5usになるので、2.5us、5.0us、7.5us、10usからなる4種類の露光時間（Integ Time）が設定される。カウンタNは、この4種類の積算時間を識別するためのカウンタであり、カウンタN=0が、2.5usの積算時間を示し、カウンタN=1が、5.0usの積算時間を示し、カウンタN=2が、7.5usの積算時間を示し、カウンタN=3が、10usの積算時間を示すものとする。
ステップＳ１５２において、制御部３１は、光変調部２１を制御して、発光ダイオード２２の発光を停止させる。
ステップＳ１５３において、制御部３１は、TOFセンサ２６の画素５１のそれぞれの第１のタップTA（TapA）を制御して、自らの光源である発光ダイオード２２の発光タイミングと同期したタイミングで露光させて、画素信号を検出させて同期処理部２８を介して演算部２９に出力させる。
ステップＳ１５４において、演算部２９は、TapAの露光結果である画素信号を積算して記憶する。
ステップＳ１５５において、制御部３１は、TOFセンサ２６の画素５１のそれぞれの第２のタップTB（TapB）を制御して、自らの光源である発光ダイオード２２が消灯するタイミングで露光させて、画素信号を検出させて同期処理部２８を介して演算部２９に出力させる。
ステップＳ１５６において、演算部２９は、TapBの露光結果である画素信号を積算して記憶する。
ステップＳ１５７において、演算部２９は、カウンタNに対応する積算時間が経過したか否かを判定し、カウンタNに対応する積算時間が経過していない場合、処理は、ステップＳ１５３に戻る。すなわち、カウンタNに対応する積算時間が経過するまで、TapAおよびTapBによる露光結果である画素信号が順次積算される。
ステップＳ１５７において、カウンタNに対応する露光時間が経過したと判定された場合、処理は、ステップＳ１５８に進む。
ステップＳ１５８において、演算部２９は、記憶されたTapAの露光結果である画素信号の積算結果と、TapBの露光結果である画素信号の積算結果との差分Ｉを演算し、カウンタNに対応する積算時間のサンプリング結果として記憶する。
ステップＳ１５９において、制御部３１は、カウンタNが3であるか否か、すなわち、全ての露光時間の差分Ｉをサンプリングしたか否かを判定する。
ステップＳ１５９において、カウンタNが3ではない場合、処理は、ステップＳ１６０に進む。
ステップＳ１６０において、制御部３１は、カウンタNを1インクリメントし、処理は、ステップＳ１５３に戻る。すなわち、ステップＳ１５３乃至Ｓ１５９の処理が繰り返されることにより、TapAの露光結果である画素信号の積算結果と、TapBの露光結果である画素信号の積算結果との差分Ｉが、カウンタNに対応付けられた露光時間について、順次演算されて、４種類の積算時間の差分Ｉがサンプリングされるまで繰り返される。
そして、ステップＳ１５９において、TapAの露光結果である画素信号の積算結果と、TapBの露光結果である画素信号の積算結果との差分が、４種類の積算時間の全てについて演算されサンプリングされたと判定された場合、すなわち、カウンタNが３である場合、処理は、ステップＳ１６０に進む。
ステップＳ１６０において、演算部２９は、４種類の積算時間でサンプリングされた、TapAの露光結果である画素信号の積算結果と、TapBの露光結果である画素信号の積算結果との差分Ｉを用いて、他の光源の変調周波数を推定する。
すなわち、演算部２９は、図１５を参照して説明したように、４種類の積算時間（Integ Time）でサンプリングされた、TapAの露光結果である画素信号の積算結果と、TapBの露光結果である画素信号の積算結果との差分Ｉを用いて、他の光源の変調周波数を推定する。
すなわち、演算部２９は、差分Ｉのサンプリング結果を用いて、自らの光源の変調周波数と、他の光源の変調周波数の差分周波数の波形を推定する。
さらに、演算部２９は、推定した差分周波数と、自らの光源の変調周波数に基づいて、他の光源の変調周波数を推定する。
以上の処理により、他の光源の照射光の変調周波数を推定することが可能となる。
結果として、推定された他の光源の変調周波数に基づいて、TapAおよびTapBの積算時間を制御することにより、自らの光源の照射光を用いることなく、他の光源の照射光のみを用いた測距とデプス画像の生成を実現することが可能となる。
尚、以上においては、他の光源の変調周波数との差分周波数の周期を４等分した積算時間（Integ Time）で差分Ｉをサンプリングする例について説明してきたが、差分周波数の周期を４以上に分割し、差分Ｉのサンプリング数を増やすようにしてもよい。このようにして、サンプリング数が増えることにより、他の光源の変調周波数を高精度に推定することが可能となる。
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 検出領域内の物体により照射光が反射されることにより生じる反射光を受光する受光部と、
前記照射光と前記反射光との位相差により前記物体までの距離を演算する演算部と、
前記受光部における、前記物体までの距離の演算に用いられる照射光である必要照射光と、前記物体までの距離の演算に用いられない照射光である不要照射光との衝突の影響を抑制するように、前記受光部および前記演算部を制御する制御部と
を含む測距装置。
＜２＞ 前記物体までの距離の演算に用いられる前記必要照射光は、前記物体までの距離の演算に必要とされる情報が既知の前記照射光である
＜１＞に記載の測距装置。
＜３＞ 前記物体までの距離の演算に必要とされる情報は、前記照射光の変調周波数および位相の情報である
＜２＞に記載の測距装置。
＜４＞ 前記検出領域に対して、パルス状の前記照射光を前記必要照射光として照射する照射部をさらに含み、
前記制御部は、
前記受光部に、前記照射部により照射された前記必要照射光が、前記検出領域内の物体により、反射されることにより生じる反射光である必要反射光を受光させ、
前記演算部に、前記照射部により照射された前記必要照射光と前記必要反射光との位相差により前記物体までの距離を演算させるように制御する
＜１＞に記載の測距装置。
＜５＞ 前記制御部は、前記受光部に、画素の一部で測距に必要な前記必要反射光を受光させ、前記一部以外の画素で前記不要照射光を受光させるように制御する
＜４＞に記載の測距装置。
＜６＞ 前記制御部は、
前記照射部に、前記必要照射光を照射させる期間と、消灯させる期間とを設定して動作させ、
前記受光部に、前記画素の一部を、前記照射部により前記必要照射光が照射されるタイミングと対応する位相で前記必要反射光を受光させ、前記一部以外の画素で前記照射部が消灯しているタイミングと対応する位相で受光させ、
前記演算部に、前記照射部が前記必要照射光を照射するタイミングと対応する位相で前記必要反射光を受光することにより生成される画素信号と、前記照射部が消灯しているタイミングと対応する位相で受光することにより生成される画素信号との差分に基づいて、前記必要照射光と前記必要反射光との位相差により前記物体までの距離を演算させるように制御する
＜５＞に記載の測距装置。
＜７＞ 前記制御部は、
前記演算部に、前記照射部が前記必要照射光を照射するタイミングと対応する位相で前記必要反射光を受光することにより生成される画素信号の積算値と、前記照射部が消灯しているタイミングと対応する位相で受光することにより生成される画素信号の積算値との差分に基づいて、前記物体までの距離を演算させるように制御する
＜６＞に記載の測距装置。
＜８＞ 前記制御部は、
前記受光部に、画素の一部が、前記照射部により前記必要照射光が照射されるタイミングと対応する位相で前記必要反射光を受光し、前記照射部が消灯しているタイミングと対応する位相で、複数の積算時間で受光させるように制御し、
前記演算部に、前記複数の積算時間で受光することにより生成される画素信号の積算値に基づいて、前記衝突の有無を判定させ、
前記照射部に、前記必要照射光を照射させる期間と、消灯させる期間とを設定すると共に、前記衝突が発生していると判定された場合、前記消灯させる期間の長さを変更させるように制御する
＜４＞に記載の測距装置。
＜９＞ 前記制御部は、前記衝突が発生していると判定された場合、前記照射部に、前記消灯させる期間の長さを、ランダムに変更させるように制御する
＜８＞に記載の測距装置。
＜１０＞ 前記演算部は、前記複数の積算時間で受光されることにより生成される画素信号の積算値の標準偏差と、所定の閾値との比較に基づいて、前記衝突の有無を判定する
＜８＞に記載の測距装置。
＜１１＞ 前記制御部は、
前記受光部に、画素の一部と、前記一部以外とを、それぞれ前記照射部における前記必要照射光の変調周波数の変調周期の半周期ずつ交互に露光させ、
前記演算部に、前記受光部により検出される画素信号の、複数の積算時間における積算値に基づいて、前記照射部とは異なる他の光源の変調周波数を推定させ、
前記受光部に、画素の一部と、前記一部以外とを、それぞれ推定された前記他の光源の変調周波数の変調周期の半周期ずつ交互に露光させ、
前記演算部に、前記他の光源の照射光と、前記他の光源の照射光の反射光との位相差により物体までの距離を演算させるように制御する
＜４＞に記載の測距装置。
＜１２＞ 前記制御部は、前記演算部に、前記複数の積算時間における、前記受光部における画素の一部により検出される画素信号の積算値と、前記受光部における画素の一部以外により検出される画素信号の積算値との差分に基づいて、前記他の光源の変調周波数を推定させるように制御する
＜１１＞に記載の測距装置。
＜１３＞ 前記制御部は、前記演算部に、前記複数の積算時間における、前記受光部における画素の一部により検出される画素信号の積算値と、前記受光部における画素の一部以外により検出される画素信号の積算値との差分に基づいて、前記他の光源の変調周波数と、前記照射部により照射される前記必要照射光の変調周波数との差分周波数を推定させ、前記差分周波数に基づいて、前記他の光源の変調周波数を推定させるように制御する
＜１２＞に記載の測距装置。
＜１４＞ 前記複数の積算時間は、前記他の光源の変調周波数の凡その変調周波数の変調周期を複数に分割した時間の倍数である
＜１１＞に記載の測距装置。
＜１５＞ 前記演算部により演算された物体までの距離の情報に基づいてデプス画像を生成するデプス画像生成部をさらに含み、
前記制御部は、
前記デプス画像生成部に、
前記照射部により照射される前記必要照射光の変調周波数に基づいて制御された、前記照射部の前記必要照射光に対応する前記必要反射光が前記受光部により受光され、検出される画素信号で演算された前記物体までの距離の情報に基づいた第１のデプス画像と、
前記他の光源の変調周波数に基づいて制御された、前記他の光源の前記照射光が、前記必要照射光に対応する前記必要反射光が前記受光部により受光され、検出される画素信号で演算された前記物体までの距離の情報に基づいた第２のデプス画像とを生成させ、
前記照射部を消灯させ、
前記演算部に、
前記第１のデプス画像と、前記第２のデプス画像とに基づいて、前記他の光源の位置と距離を演算させ、
前記他の光源より必要照射光として照射される照射光と、前記他の光源より必要照射光として照射された照射光が物体により前記必要反射光として反射される反射光との位相差、並びに、前記他の光源の位置と距離に基づいて、前記物体までの距離を演算させる
＜１１＞に記載の測距装置。
＜１６＞ 前記受光部は、TOF（Time of Flight）センサである
＜１＞乃至＜１５＞のいずれかに記載の測距装置。
＜１７＞ 検出領域内の物体により照射光が反射されることにより生じる反射光を受光する受光処理と、
前記照射光と前記反射光との位相差により前記物体までの距離を演算する演算処理と、
前記受光処理における、前記物体までの距離の演算に用いられる照射光である必要照射光と、前記物体までの距離の演算に用いられない照射光である不要照射光との衝突の影響を抑制するように、前記受光処理および演算処理を制御する制御処理と
を含む測距方法。
１１ デプスセンサ， ２１ 光変調部， ２２ 発光ダイオード， ２３ 投光レンズ， ２４ 受光レンズ， ２５ フィルタ， ２６ TOFセンサ， ２７ 画像記憶部， ２８ 同期処理部， ２９ 演算部， ３０ デプス画像生成部， ３１ 制御部， ４０ 画素アレイ部， ４１ タップ駆動部， ４２ 垂直駆動部， ４７ 垂直信号線， ４８ 電圧供給線， ５１ 画素

Claims (17)

  1. 検出領域内の物体により照射光が反射されることにより生じる反射光を受光する受光部と、
    前記照射光と前記反射光との位相差により前記物体までの距離を演算する演算部と、
    前記受光部における、前記物体までの距離の演算に用いられる照射光である必要照射光と、前記物体までの距離の演算に用いられない照射光である不要照射光との衝突の影響を抑制するように、前記受光部および前記演算部を制御する制御部と
    を含む測距装置。
  2. 前記物体までの距離の演算に用いられる前記必要照射光は、前記物体までの距離の演算に必要とされる情報が既知の前記照射光である
    請求項１に記載の測距装置。
  3. 前記物体までの距離の演算に必要とされる情報は、前記照射光の変調周波数および位相の情報である
    請求項２に記載の測距装置。
  4. 前記検出領域に対して、パルス状の前記照射光を前記必要照射光として照射する照射部をさらに含み、
    前記制御部は、
    前記受光部に、前記照射部により照射された前記必要照射光が、前記検出領域内の物体により、反射されることにより生じる反射光である必要反射光を受光させ、
    前記演算部に、前記照射部により照射された前記必要照射光と前記必要反射光との位相差により前記物体までの距離を演算させるように制御する
    請求項１に記載の測距装置。
  5. 前記制御部は、前記受光部に、画素の一部で測距に必要な前記必要反射光を受光させ、前記一部以外の画素で前記不要照射光を受光させるように制御する
    請求項４に記載の測距装置。
  6. 前記制御部は、
    前記照射部に、前記必要照射光を照射させる期間と、消灯させる期間とを設定して動作させ、
    前記受光部に、前記画素の一部を、前記照射部により前記必要照射光が照射されるタイミングと対応する位相で前記必要反射光を受光させ、前記一部以外の画素で前記照射部が消灯しているタイミングと対応する位相で受光させ、
    前記演算部に、前記照射部が前記必要照射光を照射するタイミングと対応する位相で前記必要反射光を受光することにより生成される画素信号と、前記照射部が消灯しているタイミングと対応する位相で受光することにより生成される画素信号との差分に基づいて、前記必要照射光と前記必要反射光との位相差により前記物体までの距離を演算させるように制御する
    請求項５に記載の測距装置。
  7. 前記制御部は、
    前記演算部に、前記照射部が前記必要照射光を照射するタイミングと対応する位相で前記必要反射光を受光することにより生成される画素信号の積算値と、前記照射部が消灯しているタイミングと対応する位相で受光することにより生成される画素信号の積算値との差分に基づいて、前記物体までの距離を演算させるように制御する
    請求項６に記載の測距装置。
  8. 前記制御部は、
    前記受光部に、画素の一部が、前記照射部により前記必要照射光が照射されるタイミングと対応する位相で前記必要反射光を受光し、前記照射部が消灯しているタイミングと対応する位相で、複数の積算時間で受光させるように制御し、
    前記演算部に、前記複数の積算時間で受光することにより生成される画素信号の積算値に基づいて、前記衝突の有無を判定させ、
    前記照射部に、前記必要照射光を照射させる期間と、消灯させる期間とを設定すると共に、前記衝突が発生していると判定された場合、前記消灯させる期間の長さを変更させるように制御する
    請求項４に記載の測距装置。
  9. 前記制御部は、前記衝突が発生していると判定された場合、前記照射部に、前記消灯させる期間の長さを、ランダムに変更させるように制御する
    請求項８に記載の測距装置。
  10. 前記演算部は、前記複数の積算時間で受光されることにより生成される画素信号の積算値の標準偏差と、所定の閾値との比較に基づいて、前記衝突の有無を判定する
    請求項８に記載の測距装置。
  11. 前記制御部は、
    前記受光部に、画素の一部と、前記一部以外とを、それぞれ前記照射部における前記必要照射光の変調周波数の変調周期の半周期ずつ交互に露光させ、
    前記演算部に、前記受光部により検出される画素信号の、複数の積算時間における積算値に基づいて、前記照射部とは異なる他の光源の変調周波数を推定させ、
    前記受光部に、画素の一部と、前記一部以外とを、それぞれ推定された前記他の光源の変調周波数の変調周期の半周期ずつ交互に露光させ、
    前記演算部に、前記他の光源の照射光と、前記他の光源の照射光の反射光との位相差により物体までの距離を演算させるように制御する
    請求項４に記載の測距装置。
  12. 前記制御部は、前記演算部に、前記複数の積算時間における、前記受光部における画素の一部により検出される画素信号の積算値と、前記受光部における画素の一部以外により検出される画素信号の積算値との差分に基づいて、前記他の光源の変調周波数を推定させるように制御する
    請求項１１に記載の測距装置。
  13. 前記制御部は、前記演算部に、前記複数の積算時間における、前記受光部における画素の一部により検出される画素信号の積算値と、前記受光部における画素の一部以外により検出される画素信号の積算値との差分に基づいて、前記他の光源の変調周波数と、前記照射部により照射される前記必要照射光の変調周波数との差分周波数を推定させ、前記差分周波数に基づいて、前記他の光源の変調周波数を推定させるように制御する
    請求項１２に記載の測距装置。
  14. 前記複数の積算時間は、前記他の光源の変調周波数の凡その変調周波数の変調周期を複数に分割した時間の倍数である
    請求項１１に記載の測距装置。
  15. 前記演算部により演算された物体までの距離の情報に基づいてデプス画像を生成するデプス画像生成部をさらに含み、
    前記制御部は、
    前記デプス画像生成部に、
    前記照射部により照射される前記必要照射光の変調周波数に基づいて制御された、前記照射部の前記必要照射光に対応する前記必要反射光が前記受光部により受光され、検出される画素信号で演算された前記物体までの距離の情報に基づいた第１のデプス画像と、
    前記他の光源の変調周波数に基づいて制御された、前記他の光源の前記照射光が、前記必要照射光に対応する前記必要反射光が前記受光部により受光され、検出される画素信号で演算された前記物体までの距離の情報に基づいた第２のデプス画像とを生成させ、
    前記照射部を消灯させ、
    前記演算部に、
    前記第１のデプス画像と、前記第２のデプス画像とに基づいて、前記他の光源の位置と距離を演算させ、
    前記他の光源より必要照射光として照射される照射光と、前記他の光源より必要照射光として照射された照射光が物体により前記必要反射光として反射される反射光との位相差、並びに、前記他の光源の位置と距離に基づいて、前記物体までの距離を演算させる
    請求項１１に記載の測距装置。
  16. 前記受光部は、TOF（Time of Flight）センサである
    請求項１に記載の測距装置。
  17. 検出領域内の物体により照射光が反射されることにより生じる反射光を受光する受光処理と、
    前記照射光と前記反射光との位相差により前記物体までの距離を演算する演算処理と、
    前記受光処理における、前記物体までの距離の演算に用いられる照射光である必要照射光と、前記物体までの距離の演算に用いられない照射光である不要照射光との衝突の影響を抑制するように、前記受光処理および演算処理を制御する制御処理と
    を含む測距方法。
JP2019052129A 2019-03-20 2019-03-20 測距装置および測距方法 Pending JP2020153799A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019052129A JP2020153799A (ja) 2019-03-20 2019-03-20 測距装置および測距方法
PCT/JP2020/009677 WO2020189339A1 (ja) 2019-03-20 2020-03-06 測距装置および測距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019052129A JP2020153799A (ja) 2019-03-20 2019-03-20 測距装置および測距方法

Publications (1)

Publication Number Publication Date
JP2020153799A true JP2020153799A (ja) 2020-09-24

Family

ID=72520989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019052129A Pending JP2020153799A (ja) 2019-03-20 2019-03-20 測距装置および測距方法

Country Status (2)

Country Link
JP (1) JP2020153799A (ja)
WO (1) WO2020189339A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112653847A (zh) * 2020-12-17 2021-04-13 杭州艾芯智能科技有限公司 深度相机的自动曝光方法、系统、计算机设备和存储介质
WO2022201804A1 (ja) * 2021-03-25 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023009100A1 (en) * 2021-07-26 2023-02-02 Hewlett-Packard Development Company, L.P. Audio signals output

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112799087A (zh) * 2020-12-30 2021-05-14 艾普柯微电子(江苏)有限公司 测距方法及测距装置
CN115396607A (zh) * 2022-08-26 2022-11-25 天津大学 TOF成像2-tap像素调制解算方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5122728B2 (ja) * 2005-01-05 2013-01-16 パナソニック株式会社 光検出素子、光検出素子の制御方法、空間情報検出装置
JP6455088B2 (ja) * 2014-11-06 2019-01-23 株式会社デンソー 光飛行型測距装置
CN107850664B (zh) * 2015-07-22 2021-11-05 新唐科技日本株式会社 测距装置
CN107852470B (zh) * 2015-08-04 2020-11-03 松下半导体解决方案株式会社 固体摄像装置的驱动方法
JP2017190978A (ja) * 2016-04-12 2017-10-19 株式会社村田製作所 距離センサ、電子機器および電子機器の製造方法
JP2017198477A (ja) * 2016-04-25 2017-11-02 スタンレー電気株式会社 距離画像生成装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112653847A (zh) * 2020-12-17 2021-04-13 杭州艾芯智能科技有限公司 深度相机的自动曝光方法、系统、计算机设备和存储介质
CN112653847B (zh) * 2020-12-17 2022-08-05 杭州艾芯智能科技有限公司 深度相机的自动曝光方法、计算机设备和存储介质
WO2022201804A1 (ja) * 2021-03-25 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023009100A1 (en) * 2021-07-26 2023-02-02 Hewlett-Packard Development Company, L.P. Audio signals output

Also Published As

Publication number Publication date
WO2020189339A1 (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
JP2020153799A (ja) 測距装置および測距方法
US11448757B2 (en) Distance measuring device
CN110596722B (zh) 直方图可调的飞行时间距离测量系统及测量方法
US11204421B2 (en) Distance measuring device
JP6246131B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
CN109863418B (zh) 飞行时间深度感测中的干扰处理
US11536804B2 (en) Glare mitigation in LIDAR applications
US20180081041A1 (en) LiDAR with irregular pulse sequence
TWI745998B (zh) 用於感測之方法及設備
KR20200085297A (ko) 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
JP6261681B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
JP2009537832A (ja) 標的の空間次元を決定するための距離測定方法及び距離計
US11287517B2 (en) Single frame distance disambiguation
CN110596723A (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
WO2019200833A1 (zh) 一种测距方法、装置、测距传感器以及传感阵列
US11294058B2 (en) Motion correction based on phase vector components
CN112601972A (zh) 通过无模糊范围切换增大飞行时间系统范围的方法及系统
WO2021113001A1 (en) Configurable array of single-photon detectors
EP3857259A1 (en) Enhanced depth mapping using visual inertial odometry
JP6439181B2 (ja) 光通信装置、及びプログラム
WO2024040912A1 (zh) 激光雷达回波信号处理方法及装置、激光雷达探测系统
WO2022224580A1 (ja) 測距装置及び測距システム
WO2022176498A1 (ja) 測距センサ及び測距装置
US20230078063A1 (en) Distance measurement device and distance measurement system
WO2024004645A1 (ja) 測距装置、測距システム、および測距方法