JP2021085821A - 測距センサ、測距システム、および、電子機器 - Google Patents
測距センサ、測距システム、および、電子機器 Download PDFInfo
- Publication number
- JP2021085821A JP2021085821A JP2019216556A JP2019216556A JP2021085821A JP 2021085821 A JP2021085821 A JP 2021085821A JP 2019216556 A JP2019216556 A JP 2019216556A JP 2019216556 A JP2019216556 A JP 2019216556A JP 2021085821 A JP2021085821 A JP 2021085821A
- Authority
- JP
- Japan
- Prior art keywords
- distance measuring
- lighting device
- control unit
- light
- measuring sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
- G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4868—Controlling received signal intensity or exposure of sensor
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
【課題】発光条件の切り替えを高速に行うことができるようにする。【解決手段】測距センサは、照明装置から照射された照射光が物体で反射されて返ってきた反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、画素アレイ部の各画素の動作に合わせて、照明装置の発光条件を制御する制御部とを備える。本技術は、例えば、被写体までの距離を測定する測距システム等に適用できる。【選択図】図4
Description
本技術は、測距センサ、測距システム、および、電子機器に関し、特に、発光条件の切り替えを高速に行うことができるようにした測距センサ、測距システム、および、電子機器に関する。
近年、半導体技術の進歩により、物体までの距離を測定する測距モジュールの小型化が進んでいる。これにより、例えば、通信機能を備えた小型の情報処理装置である、いわゆるスマートフォンなどのモバイル端末に測距モジュールを搭載することが実現されている。
測距モジュールにおける測距方法としては、例えば、indirect ToF(Time of Flight)方式が挙げられる。indirect ToF方式は、物体に向かって照射光が発光され、その照射光が物体の表面で反射されて返ってくる反射光を検出し、照射光が発光されてから反射光が受光されるまでの飛行時間に基づいて物体までの距離を算出する方式である。
飛行時間を計測するため、反射光を受光する測距センサ側から、照射光を発光する照明装置に発光タイミングを供給することで、照射光の発光のタイミングが制御される(例えば、特許文献1参照)。
特許文献1に開示のように、測距センサが発光タイミングを管理することは行われていたが、例えば、発光強度などの発光条件は、上位のホストで制御されており、発光条件が変更された場合に、測距センサが発光条件の切り替えに対応するために一定程度の時間が必要であった。
本技術は、このような状況に鑑みてなされたものであり、発光条件の切り替えを高速に行うことができるようにするものである。
本技術の第1の側面の測距センサは、照明装置から照射された照射光が物体で反射されて返ってきた反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部とを備える。
本技術の第2の側面の測距システムは、物体に照射光を照射する照明装置と、前記照射光が前記物体で反射されて返ってきた反射光を受光する測距センサとを備え、前記測距センサは、前記反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部とを備える。
本技術の第3の側面の電子機器は、物体に照射光を照射する照明装置と、前記照射光が前記物体で反射されて返ってきた反射光を受光する測距センサとを備え、前記測距センサは、前記反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部とを備える測距システムを備える。
本技術の第1乃至第3の側面においては、照明装置から照射された照射光が物体で反射されて返ってきた反射光が受光され、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件が制御される。
測距センサ、測距システム及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
以下、添付図面を参照しながら、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
1.測距システムの概略構成例
2.indirect ToF方式の測距原理
3.測距センサと照明装置の構成例
4.発光条件の変更タイミング例
5.測距センサの第1の変形例
6.測距センサの第2の変形例
7.発光条件制御処理のフローチャート
8.測距センサのチップ構成例
9.他の発光制御方法との比較
10.電子機器への適用例
11.移動体への応用例
1.測距システムの概略構成例
2.indirect ToF方式の測距原理
3.測距センサと照明装置の構成例
4.発光条件の変更タイミング例
5.測距センサの第1の変形例
6.測距センサの第2の変形例
7.発光条件制御処理のフローチャート
8.測距センサのチップ構成例
9.他の発光制御方法との比較
10.電子機器への適用例
11.移動体への応用例
<1.測距システムの概略構成例>
図1は、本技術を適用した測距システムの構成例を示すブロック図である。
図1は、本技術を適用した測距システムの構成例を示すブロック図である。
測距システム1は、照明装置11と、測距センサ12とで構成され、測距システム1が組み込まれているホスト装置の制御部であるホスト制御部13からの指示にしたがい、被写体としての所定の物体までの距離を測定し、測距データをホスト制御部13に出力する。
より具体的には、照明装置11は、例えば、光源として赤外線レーザダイオードなどを有し、測距センサ12から供給される発光パルスと発光条件とに基づいて、被写体としての所定の物体に対して照射光を照射する。発光パルスは、発光(オンオフ)のタイミングを示す所定の変調周波数(例えば、20MHzなど)のパルス信号であり、発光条件は、例えば、発光強度、照射エリア、照射方式などの光源設定情報を含む。照明装置11は、測距センサ12から供給された発光条件で、発光パルスに応じて変調しながら発光する。
測距センサ12は、測距の開始を表す測距開始トリガと、発光条件とを、ホスト制御部13から取得し、取得した発光条件を照明装置11に供給するとともに、発光パルスを生成して照明装置11に供給し、照明装置11の発光を制御する。
また、測距センサ12は、生成した発光パルスに基づいて、照明装置11から照射された照射光が物体で反射されて返ってきた反射光を受光し、受光結果に基づいて測距データを生成し、ホスト制御部13に出力する。
ホスト制御部13は、測距システム1が組み込まれているホスト装置全体を制御し、照明装置11が照射光を照射する際の発光条件と、測距の開始を表す測距開始トリガとを、測距センサ12へ供給する。測距開始トリガに対応して、測距データが、測距センサ12から供給される。ホスト制御部13は、例えば、ホスト装置に搭載されたCPU(central processing unit),MPU(microprocessor unit),FPGA(field-programmable gate array))などの演算装置またはその演算装置上で動作するアプリケーションプログラムで構成される。また例えば、ホスト装置がスマートフォンで構成される場合、ホスト制御部13は、AP(application processor)またはそこで動作するアプリケーションプログラムなどで構成される。
以上のように構成される測距システム1は、indirect ToF(Time of Flight)方式、direct ToF方式、Structured Light方式などの所定の測距方式を用いて、反射光の受光結果に基づいて測距を行う。indirect ToF方式は、照射光が発光されてから反射光が受光されるまでの飛行時間を位相差として検出し、物体までの距離を算出する方式である。direct ToF方式は、照射光が発光されてから反射光が受光されるまでの飛行時間を直接計測し、物体までの距離を算出する方式である。Structured Light方式は、照射光としてパターン光を照射し、受光されるパターンの歪みに基づいて物体までの距離を算出する方式である。
測距システム1が実行する測距方式は、特に限定されないが、以下では、測距システム1がindirect ToF方式による測距を行う場合を例に、測距システム1の具体的動作を説明する。
<2.indirect ToF方式の測距原理>
初めに、図2および図3を参照して、indirect ToF方式の測距原理について簡単に説明する。
初めに、図2および図3を参照して、indirect ToF方式の測距原理について簡単に説明する。
式(1)のΔtは、照明装置11から出射された照射光が物体に反射して測距センサ12に入射するまでの時間であり、cは、光速を表す。
照明装置11から照射される照射光には、図2に示されるような、所定の変調周波数fで高速にオンオフを繰り返す発光パターンのパルス光が採用される。発光パターンの1周期Tは1/fとなる。測距センサ12では、照明装置11から測距センサ12に到達するまでの時間Δtに応じて、反射光(受光パターン)の位相がずれて検出される。この発光パターンと受光パターンとの位相のずれ量(位相差)をφとすると、時間Δtは、下記の式(2)で算出することができる。
次に、上述の位相差φの算出手法について説明する。
測距センサ12に形成された画素アレイの各画素は、変調周波数に対応して高速にON/OFFを繰り返し、ON期間のみの電荷を蓄積する。
測距センサ12は、画素アレイの各画素のON/OFFの実行タイミングを順次切り替えて、各実行タイミングにおける電荷を蓄積し、蓄積電荷に応じた検出信号を出力する。
ON/OFFの実行タイミングには、たとえば、位相0度、位相90度、位相180度、および、位相270度の4種類がある。
位相0度の実行タイミングは、画素アレイの各画素のONタイミング(受光タイミング)を、照明装置11が出射するパルス光の位相、すなわち発光パターンと同じ位相とするタイミングである。
位相90度の実行タイミングは、画素アレイの各画素のONタイミング(受光タイミング)を、照明装置11が出射するパルス光(発光パターン)から90度遅れた位相とするタイミングである。
位相180度の実行タイミングは、画素アレイの各画素のONタイミング(受光タイミング)を、照明装置11が出射するパルス光(発光パターン)から180度遅れた位相とするタイミングである。
位相270度の実行タイミングは、画素アレイの各画素のONタイミング(受光タイミング)を、照明装置11が出射するパルス光(発光パターン)から270度遅れた位相とするタイミングである。
測距センサ12は、例えば、位相0度、位相90度、位相180度、位相270度の順番で受光タイミングを順次切り替え、各受光タイミングにおける反射光の受光量(蓄積電荷)を取得する。図2では、各位相の受光タイミング(ONタイミング)において、反射光が入射されるタイミングに斜線が付されている。
図2に示されるように、受光タイミングを、位相0度、位相90度、位相180度、および、位相270度としたときに蓄積された電荷を、それぞれ、Q0、Q90、Q180、および、Q270とすると、位相差φは、Q0、Q90、Q180、および、Q270を用いて、下記の式(4)で算出することができる。
式(4)で算出された位相差φを上記の式(3)に入力することにより、測距システム1から物体までのデプス値dを算出することができる。
測距センサ12は、画素アレイの画素ごとに供給される検出信号に基づいて、測距システム1から物体までの距離であるデプス値dを算出する。そして、各画素の画素値としてデプス値dが格納されたデプスマップと、各画素の画素値として信頼度confが格納された信頼度マップとが生成されて、外部へ出力される。
測距センサ12は、後述するように、画素アレイの各画素に電荷蓄積部を2つ備える。この2つの電荷蓄積部を、第1タップと第2タップと呼ぶこととすると、第1タップと第2タップの2つの電荷蓄積部に交互に電荷を蓄積させることにより、例えば、位相0度と位相180度のように、位相が反転した2つの受光タイミングの検出信号を1フレームで取得することができる。
ここで、測距センサ12は、2Phase方式または4Phase方式のいずれかの方式で、デプスマップと信頼度マップとを生成し、出力する。
図3の上段は、2Phase方式のデプスマップの生成を示している。
2Phase方式では、図3の上段に示されるように、第1のフレームにおいて、位相0度と位相180度の検出信号を取得し、次の第2のフレームにおいて、位相90度と位相270度の検出信号を取得することで、4位相の検出信号を取得することができるので、式(3)によりデプス値dを算出することができる。
2Phase方式において、位相0度と位相180度、または、位相90度と位相270度の検出信号を生成する単位(1フレーム)をマイクロフレームと呼ぶと、2マイクロフレームで4位相のデータが揃うので、2枚のマイクロフレームのデータで画素単位にデプス値dを算出することができる。このデプス値dを各画素の画素値として格納したフレームをデプスフレームと称することとすると、1デプスフレームは、2マイクロフレームで構成される。
さらに、測距センサ12では、発光強度や変調周波数などの発光条件を変えて、複数枚のデプスフレームを取得し、それら複数枚のデプスフレームを用いて、最終的なデプスマップが生成される。すなわち、1枚のデプスマップは、複数枚のデプスフレームを用いて生成される。図3の例では、3枚のデプスフレームを用いてデプスマップが生成されている。なお、1枚のデプスフレームを、そのままデプスマップとして出力してもよい。すなわち、1枚のデプスマップを、1枚のデプスフレームで構成することもできる。
図3の下段は、4Phase方式のデプスマップの生成を示している。
4Phase方式では、図3の下段に示されるように、第1のフレームと第2のフレームに続いて、第3のフレームにおいて、位相180度と位相0度の検出信号が取得され、次の第4のフレームにおいて、位相270度と位相90度の検出信号が取得される。すなわち、第1タップと第2タップのそれぞれで、位相0度、位相90度、位相180度、および、位相270度の4位相すべての検出信号が取得され、式(3)によりデプス値dが算出される。したがって、4Phase方式では、1デプスフレームは、4マイクロフレームで構成され、1枚のデプスマップは、発光条件を変えた複数枚のデプスフレームを用いて生成される。
4Phase方式は、4位相すべての検出信号を各タップ(第1タップと第2タップ)で取得することができるので、各画素に存在するタップ間の特性ばらつき、すなわち、タップ間の感度差を除去することができる。
一方、2Phase方式は、2枚のマイクロフレームのデータで物体までのデプス値dを求めることができるので、4Phase方式の2倍のフレームレートで測距を行うことができる。タップ間の特性ばらつきは、ゲインやオフセット等の補正パラメータで調整される。
測距センサ12は、2Phase方式または4Phase方式のどちらで駆動することもできるが、以下では簡単のため、2Phase方式で駆動するものとして説明する。
<3.測距センサと照明装置の構成例>
図4は、照明装置11と測距センサ12の詳細構成例を示すブロック図である。なお、図4には、理解を容易にするため、ホスト制御部13も図示されている。
図4は、照明装置11と測距センサ12の詳細構成例を示すブロック図である。なお、図4には、理解を容易にするため、ホスト制御部13も図示されている。
測距センサ12は、制御部31、発光タイミング制御部32、画素変調部33、画素制御部34、画素アレイ部35、カラム処理部36、データ処理部37、出力IF38、および、入出力端子39−1ないし39−5を備える。
照明装置11は、発光制御部51、発光源52、並びに、入出力端子53−1および53−2を備える。
測距センサ12の制御部31には、ホスト制御部13から、入出力端子39−1を介して発光条件が供給されるとともに、入出力端子39−2を介して測距開始トリガが供給される。制御部31は、発光条件と測距開始トリガとに基づいて、測距センサ12全体の動作と、照明装置11とを制御する。
より具体的には、制御部31は、ホスト制御部13から供給される発光条件に基づいて、発光条件の一部である、発光強度、照射エリア、照射方式などの情報を、光源設定情報として、照明装置11へ入出力端子39−3を介して供給する。
また、制御部31は、ホスト制御部13から供給される発光条件に基づいて、発光条件の一部である、発光期間と変調周波数の情報を、発光タイミング制御部32に供給する。発光期間は、1位相当たりの露光時間を表す。
さらに、制御部31は、照明装置11へ供給する照射エリアや照射方式などに対応して、画素アレイ部35の受光エリアを含む駆動制御情報を、画素制御部34、カラム処理部36、および、データ処理部37に供給する。
発光タイミング制御部32は、制御部31から供給される、発光期間と変調周波数の情報に基づいて、発光パルスを生成し、入出力端子39−4を介して照明装置11へ供給する。発光パルスは、制御部31から供給された変調周波数のパルス信号となり、発光パルスの1マイクロフレームにおけるHigh期間の積分時間が、制御部31から供給された発光期間となる。発光パルスは、ホスト制御部13からの測距開始トリガに応じたタイミングで、入出力端子39−4を介して照明装置11へ供給される。
また、発光タイミング制御部32は、発光パルスに同期して反射光を受光するための受光パルスを生成し、画素変調部33に供給する。受光パルスは、上述したように、発光パルスに対して、位相0度、位相90度、位相180度、または位相270度のいずれかの位相だけ遅れたパルス信号となる。
画素変調部33は、発光タイミング制御部32から供給される受光パルスに基づいて、画素アレイ部35の各画素の第1タップと第2タップへの電荷蓄積動作の切り替えを行う。
画素制御部34は、制御部31から供給される駆動制御情報に基づいて、画素アレイ部35の各画素の蓄積電荷のリセット動作、読み出し動作などの制御を行う。例えば、画素制御部34は、制御部31から駆動制御情報の一部として供給される受光エリアに対応して、全画素からなる受光領域の一部の領域のみを部分駆動させることができる。また例えば、画素制御部34は、受光エリアの各画素の検出信号を所定間隔で間引いたり、複数画素の検出信号を加算(画素加算)する制御も行うことができる。
画素アレイ部35は、行列状に2次元配置された複数の画素71(図5)を備える。画素アレイ部35の各画素71は、画素変調部33と画素制御部34の制御にしたがって反射光を受光し、受光量に応じた検出信号を、カラム処理部36に供給する。
ここで、図5を参照して、画素アレイ部35の詳細について説明する。
画素アレイ部35には、図5に示されるように、複数の画素71が行列状に2次元配置されている。
画素71は、フォトダイオード81と、第1タップに相当する電荷蓄積部であるFD(Floating Diffusion)部82Aと、第2タップに相当する電荷蓄積部であるFD(Floating Diffusion)部82Bとを備える。
さらに、画素71は、第1タップとしてのFD部82Aへの電荷蓄積を制御する複数の画素トランジスタである、転送トランジスタ83A、選択トランジスタ84A、および、リセットトランジスタ85Aと、第2タップとしてのFD部82Bへの電荷蓄積を制御する複数の画素トランジスタである、転送トランジスタ83B、選択トランジスタ84B、および、リセットトランジスタ85Bとを備える。
画素71の動作について説明する。
初めに、露光開始前の余分な電荷をリセットするリセット動作が行われる。具体的には、画素制御部34が、選択信号GDAおよびGDBと、リセット信号RSAおよびRSBをHighに制御し、第1タップ側の転送トランジスタ83Aおよびリセットトランジスタ85Aと、第2タップ側の転送トランジスタ83Bおよびリセットトランジスタ85Bとをオンさせる。これにより、FD部82AとFD部82Bに蓄積されていた電荷がリセットされるとともに、フォトダイオード81の蓄積電荷がリセットされる。リセット動作終了後、転送トランジスタ83Aおよびリセットトランジスタ85Aと、第2タップ側の転送トランジスタ83Bおよびリセットトランジスタ85Bとは、オフに戻される。
次に、露光動作が開始される。具体的には、画素変調部33が、受光パルスに同期して振り分け信号GDAおよびGDBを交互にHighに制御し、第1タップ側の転送トランジスタ83Aと、第2タップ側の転送トランジスタ83Bとを、交互にオンする。これにより、フォトダイオード81で発生した電荷が、第1タップとしてのFD部82A、または、第2タップとしてのFD部82Bに振り分けられる。フォトダイオード81で発生した電荷の第1タップまたは第2タップへの振り分け動作が、1マイクロフレームの発光期間に相当する時間、周期的に繰り返される。転送トランジスタ83Aを介して転送された電荷はFD部82Aに順次蓄積され、転送トランジスタ83Bを介して転送された電荷はFD部82Bに順次蓄積される。
そして、露光期間終了後、画素制御部34が、選択信号ROAおよびROBをHighに制御することにより、第1タップであるFD部82Aの蓄積電荷に応じた検出信号と、第2タップであるFD部82Bの蓄積電荷に応じた検出信号が、カラム処理部36に出力される。すなわち、選択信号ROAに従って選択トランジスタ84Aがオンとなると、FD部82Aに蓄積されている電荷の電荷量に応じた検出信号Aが、信号線86Aを介して画素71から出力される。同様に、選択信号ROBに従って選択トランジスタ84Bがオンとなると、FD部82Bに蓄積されている電荷の電荷量に応じた検出信号Bが、信号線86Bを介して画素71から出力される。
このように、画素71は、フォトダイオード81が受光した反射光により発生する電荷を、遅延時間ΔTに応じて第1タップまたは第2タップBに振り分けて、検出信号Aおよび検出信号Bを出力する。この検出信号Aおよび検出信号Bは、上述した位相0度、位相90度、位相180度、および、位相270度の4位相のいずれかの検出信号となっている。
図4の説明に戻り、カラム処理部36は、複数のAD(Analog to Digital)変換部を備え、画素アレイ部35の画素列単位に設けられたAD変換部が、対応する画素列の所定の画素71から出力される検出信号に対して、ノイズ除去処理とAD変換処理を行う。AD変換処理後の検出信号が、データ処理部37に供給される。
データ処理部37は、カラム処理部36から供給されるAD変換後の各画素71の検出信号に基づいて、各画素71のデプス値dを算出し、各画素の画素値としてデプス値dが格納されたデプスフレームを生成する。さらに、データ処理部37は、1以上のデプスフレームを用いて、デプスマップを生成する。また、データ処理部37は、各画素71の検出信号に基づいて信頼度confを算出し、各画素の画素値として信頼度confが格納されたデプスフレームに対応する信頼度フレームと、デプスマップに対応する信頼度マップも生成する。データ処理部37は、生成したデプスマップと信頼度マップを出力IF38に供給する。
出力IF38は、データ処理部37から供給されるデプスマップと信頼度マップとを、入出力端子39−5の信号フォーマット(例えば、MIPI:Mobile Industry Processor Interface)に変換し、入出力端子39−5から出力する。入出力端子39−5から出力されたデプスマップと信頼度マップは、測距データとしてホスト制御部13に供給される。
図4において、入出力端子39−1ないし39−5と、入出力端子53−1および53−2は、説明の便宜上、複数に分かれているが、複数の入出力接点を有する1つの端子(端子群)で構成してもよい。また、SPI(Serial Peripheral Interface)や、I2C(Inter-Integrated Circuit)等のシリアル通信を用いて、発光条件や光源設定情報を設定することも可能である。SPIまたはI2Cのシリアル通信を用いた場合、測距センサ12は、マスタ側として動作し、照明装置11に対して任意のタイミングで光源設定情報を設定することができる。SPIやI2C等のシリアル通信を用いることにより、レジスタを用いて複雑かつ詳細な設定が可能となる。
照明装置11の発光制御部51は、レーザドライバ等で構成され、入出力端子53−1および53−2を介して測距センサ12から供給される光源設定情報と発光パルスとに基づいて、発光源52を駆動する。
発光源52は、例えば、VCSEL(Vertical Cavity Surface Emitting Laser:垂直共振器面発光レーザ)等のレーザ光源を1つ以上備える。発光源52は、発光制御部51の駆動制御に従い、所定の発光強度、照射エリア、照射方式、変調周波数、および、発光期間で、照射光を発光する。
図6および図7は、例えば、発光源52が、発光特性の異なる3種類のレーザ光源LD1ないしLD3を備えているものとして、発光制御部51による照射光の切り替えの例を示している。
図6のAは、発光制御部51が、照射光の照射方式を切り替える例を示している。
具体的には、発光制御部51は、所定の照射エリアを所定の輝度範囲内で均一な発光強度で照射する面照射を行う第1のレーザ光源LD1と、所定の間隔で配置された複数のスポット(円)を照射エリアとするスポット照射を行う第2のレーザ光源LD2とを切り替えている。
図6のBは、発光制御部51が、照射光の発光強度を切り替える例を示している。
具体的には、発光制御部51は、所定の発光強度(標準の発光強度)で面照射を行う第1のレーザ光源LD1と、第1のレーザ光源LD1よりも発光強度を大に設定した面照射を行う第3のレーザ光源LD3とを切り替えている。
なお、発光強度の変更は、レーザ光源LDを切り替える方法の他、1つのレーザ光源LD(例えば、レーザ光源LD1)に供給する電圧を変更する方法でも可能である。
図7のAは、発光制御部51が、照射光の照射エリアを切り替える例を示している。
具体的には、発光制御部51は、第1のレーザ光源LD1が照射可能な全エリアを照射する全面照射と、照射エリアを一部に限定した部分照射とを切り替えている。部分照射の照射エリアは、例えば、照射可能な全エリアの中央部分とされている。照射エリアは、例えば、第1のレーザ光源LD1の前に配置された拡散板または投影レンズを駆動することにより、変更することができる。あるいはまた、第1のレーザ光源LD1が複数の発光素子で構成される場合、発光させる発光素子を一部に限定することで照射エリアを絞ることができる。
図7のBは、発光制御部51が、照射光の変調周波数を切り替える例を示している。
具体的には、発光制御部51は、第1のレーザ光源LD1を用いて、変調周波数20MHzで発光させる照射と、変調周波数100MHzで発光させる照射とを切り替えている。変調周波数の変更は、測距センサ12から供給される発光パルスの周波数の変更によって実現される。
図6および図7で説明した例は、1つの発光条件のみを切り替える例であるが、勿論、複数の発光条件を任意に組み合わせて同時に変更することも可能である。例えば、発光強度と変調周波数を同時に切り替えたり、発光強度と照射エリアを同時に切り替える、などが可能である。
また、発光させるレーザ光源LDの数は1つに限らず、2つ以上を同時に発光させてもよい。例えば、標準の発光強度の第1のレーザ光源LD1と、それよりも発光強度が大きい第3のレーザ光源LD3とを同時に発光させることにより、第3のレーザ光源LD3のみよりもさらに発光強度を大にした照射が可能である。
<4.発光条件の変更タイミング例>
次に、測距センサ12が照明装置11に対して発光条件の変更を実行するタイミングについて説明する。
次に、測距センサ12が照明装置11に対して発光条件の変更を実行するタイミングについて説明する。
測距センサ12は、ホスト制御部13から発光条件を取得し、自身(測距センサ12)の動作に合わせた適切なタイミングで、照明装置11に対して発光条件の変更を実行する。
図8は、測距センサ12が照明装置11に対して発光条件の変更を実行する第1の制御例を示すシーケンス図である。
図8の例は、測距センサ12が、3種類の発光条件A、B、Cで3枚のデプスフレームを生成し、3枚のデプスフレームから1つのデプスマップを生成して出力する例を示している。1枚のデプスフレームに必要なマイクロフレームの数は、2Phase方式の場合、2枚であるので、合計6枚のマイクロフレームで1つのデプスマップが生成される。
測距センサ12の制御部31は、ホスト制御部13から測距開始トリガが供給される前に、3種類の発光条件A、B、およびCを1セットとして、ホスト制御部13から取得し、内部のメモリに記憶する。ここで、発光条件Aは、例えば、標準の発光強度で変調周波数20MHzの全面照射を行う条件であり、発光条件Bは、例えば、標準の発光強度で変調周波数20MHzのスポット照射を行う条件であり、発光条件Cは、例えば、発光強度大で変調周波数20MHzの全面照射を行う条件とする。
そして、ホスト制御部13から測距開始トリガが供給されると、測距センサ12の制御部31および発光タイミング制御部32は、初めに、発光条件Aに対応する光源設定情報と発光パルスを照明装置11へ出力し、発光条件Aによる照射光の発光を行わせるとともに、受光パルスを発行して画素アレイ部35の各画素71を駆動し、受光を開始する。
測距センサ12は、所定のセンサ起動動作(StartUp)に続いて、発光条件Aにおける反射光を受光し、位相0度と位相180度の第1マイクロフレームを生成し、次に、位相90度と位相270度の第2マイクロフレームを生成する。そして、測距センサ12は、第1マイクロフレームと第2マイクロフレームとに基づいて、第1デプスフレームを生成する。
続いて、測距センサ12の制御部31および発光タイミング制御部32は、発光条件Bに対応する光源設定情報と発光パルスを照明装置11へ出力し、発光条件Bで照射光の発光を行わせるとともに、受光パルスを発行して画素アレイ部35の各画素71を駆動し、受光を開始する。
測距センサ12は、所定のセンサ起動動作(StartUp)に続いて、発光条件Bにおける反射光を受光し、位相0度と位相180度の第1マイクロフレームを生成し、次に、位相90度と位相270度の第2マイクロフレームを生成する。そして、測距センサ12は、第1マイクロフレームと第2マイクロフレームとに基づいて、第2デプスフレームを生成する。
続いて、測距センサ12の制御部31および発光タイミング制御部32は、発光条件Cに対応する光源設定情報と発光パルスを照明装置11へ出力し、発光条件Cで照射光の発光を行わせるとともに、受光パルスを発行して画素アレイ部35の各画素71を駆動し、受光を開始する。
測距センサ12は、所定のセンサ起動動作(StartUp)に続いて、発光条件Cにおける反射光を受光し、位相0度と位相180度の第1マイクロフレームを生成し、次に、位相90度と位相270度の第2マイクロフレームを生成する。そして、測距センサ12は、第1マイクロフレームと第2マイクロフレームとに基づいて、第3デプスフレームを生成する。
続いて、測距センサ12は、第1ないし第3デプスフレームから、1つのデプスマップ(第1デプスマップ)と信頼度マップを生成し、入出力端子39−5を介してホスト制御部13へ出力する。
以上で1回の測距開始トリガに対応した動作が終了する。なお、反射光の受光結果に基づくマイクロフレームの生成、デプスフレームの生成、および、デプスマップの生成の処理は、データ処理部37で実行される。次の測距開始トリガに対応した駆動では、例えば、変調周波数が異なる発光条件により、デプスマップ(第2デプスマップ)が生成される。
以上のように、測距センサ12は、複数の発光条件からなるセットをホスト制御部13から取得しておき、デプスフレーム単位で、照明装置11の発光条件を切り替える制御を行うことができる。
図9は、測距センサ12が照明装置11に対して発光条件の変更を実行する第2の制御例を示すシーケンス図である。
図9の例は、測距センサ12が、2種類の発光条件A、Bで2枚のデプスフレームを生成し、2枚のデプスフレームから1つのデプスマップを生成して出力する例を示している。1枚のデプスフレームに必要なマイクロフレームの数は、2Phase方式の場合、2枚であるので、合計4枚のマイクロフレームで1つのデプスマップが生成される。
測距センサ12の制御部31は、ホスト制御部13から測距開始トリガが供給される前に、2種類の発光条件AおよびBを1セットとして、ホスト制御部13から取得し、内部のメモリに記憶する。ここで、発光条件Aは、例えば、標準の発光強度で変調周波数20MHzの全面照射を行う条件であり、発光条件Bは、例えば、発光強度大で変調周波数20MHzの全面照射を行う条件とする。
ここで、図9の第2の制御が、図8に示した第1の制御と異なる点は、発光条件の変更が、デプスフレーム単位ではなく、マイクロフレーム単位で行われる点である。
具体的には、測距センサ12の制御部31および発光タイミング制御部32は、発光条件Aに対応する光源設定情報と発光パルスを照明装置11へ出力し、発光条件Aで照射光の発光を行わせる。
測距センサ12は、所定のセンサ起動動作(StartUp)に続いて、発光条件Aにおける反射光を受光し、位相0度と位相180度の第1マイクロフレームを生成する。
次に、制御部31および発光タイミング制御部32は、発光条件Bに対応する光源設定情報と発光パルスを照明装置11へ出力し、発光条件Bで照射光の発光を行わせる。
測距センサ12は、発光条件Bにおける反射光を受光し、位相0度と位相180度の第2マイクロフレームを生成する。
次に、制御部31および発光タイミング制御部32は、発光条件Aに対応する光源設定情報と発光パルスを照明装置11へ出力し、発光条件Aで照射光の発光を行わせる。
測距センサ12は、発光条件Aにおける反射光を受光し、位相90度と位相270度の第3マイクロフレームを生成する。
次に、制御部31および発光タイミング制御部32は、発光条件Bに対応する光源設定情報と発光パルスを照明装置11へ出力し、発光条件Bで照射光の発光を行わせる。
測距センサ12は、発光条件Bにおける反射光を受光し、位相90度と位相270度の第4マイクロフレームを生成する。
そして、測距センサ12は、発光条件Aにおける第1マイクロフレームと第3マイクロフレームとに基づいて、第1デプスフレームを生成し、発光条件Bにおける第2マイクロフレームと第4マイクロフレームとに基づいて、第2デプスフレームを生成する。
最後に、測距センサ12は、第1および第2デプスフレームから、1つのデプスマップ(第1デプスマップ)と信頼度マップを生成し、入出力端子39−5を介してホスト制御部13へ出力する。
以上で1回の測距開始トリガに対応した動作が終了する。マイクロフレームの生成、デプスフレームの生成、および、デプスマップの生成の処理は、データ処理部37で実行される。次の測距開始トリガに対応した駆動では、例えば、変調周波数が異なる発光条件により、デプスマップ(第2デプスマップ)が生成される。
以上のように、測距センサ12は、複数の発光条件からなるセットをホスト制御部13から取得しておき、マイクロフレーム単位で、照明装置11の発光条件を切り替える制御を行うことができる。マイクロフレーム単位で発光条件を切り替えることにより、測定対象の物体が動被写体などであっても、異なる発光条件で、ほぼ同時に測定することができる。
また、上述した第2の制御では、異なる発光条件AとBのデプスフレームを生成する場合、測距センサ12は、発光条件Aで1枚のデプスフレームに必要な2枚のマイクロフレーム(位相0度と位相180度のマイクロフレームと、位相90度と位相270度のマイクロフレーム)を生成した後、発光条件Bで1枚のデプスフレームに必要な2枚のマイクロフレームを生成するのではなく、位相0度と位相180度のマイクロフレームを発光条件AとBで生成し、次に、位相90度と位相270度のマイクロフレームを発光条件AとBで生成した。
このように、同一の発光条件で、1枚のデプスフレームに必要な2枚のマイクロフレームを連続して生成するのではなく、同一の位相の2枚のマイクロフレームを、異なる発光条件で連続して生成する駆動も可能である。勿論、同一の発光条件で、1枚のデプスフレームに必要な2枚のマイクロフレームを連続して生成してもよい。
図10は、測距センサ12が光源設定情報を照明装置11へ送信する場合の具体的な送信タイミングを説明する図である。
図10には、測距センサ12が照明装置11へ送信する発光パルスと、フォトダイオード81で生成した電荷を、第1タップとしてのFD部82Aと第2タップとしてのFD部82Bとに振り分ける振り分け信号GDAおよびGDBが示されている。
測距センサ12が1つのマイクロフレームを生成するマイクロフレーム期間には、リセット期間と、露光期間と、読み出し期間とが含まれる。リセット期間は、各画素71が、余分な電荷をリセットするリセット動作を行う期間であり、露光期間は、各画素71が露光動作を行う期間であり、読み出し期間は、各画素71が蓄積電荷に応じた検出信号をカラム処理部36に出力する期間である。
測距センサ12の制御部31は、各画素71の動作タイミングが読み出し期間であるときに、光源設定情報を、照明装置11へ出力する。制御部31は、測距センサ12全体の動作を制御しているので、これらの動作タイミングを把握している。そのため、1マイクロフレームの単位時間は、フレームレート換算で数百ないし20000fps程度の微小時間となるが、高速なフレームレートであっても、リアルタイムに、光源設定情報を送信することができる。 SPIやI2C等のシリアル通信を用いた場合には、レジスタ設定により、複雑かつ詳細な設定が可能となる。
以上のように、測距センサ12が、照明装置11に設定する複数の発光条件からなるセットを取得し、自身の動作に合わせて、照明装置11の発光条件を変更する制御を行うことにより、ホスト制御部13は照明装置11の制御を行う必要がなくなる。そして、測距センサ12が自身の動作に合わせたタイミングで照明装置11の発光条件を変更する制御を実行することにより、照明装置11の制御を高速に行うことができる。
なお、図8ないし図10では、デプスフレーム単位で照明装置11の発光条件を切り替える例と、マイクロフレーム単位で照明装置11の発光条件を切り替える例とを説明したが、デプスマップ単位でも照明装置11の発光条件を切り替えることができることは言うまでもない。
<5.測距センサの第1の変形例>
次に、測距センサ12の変形例について説明する。
次に、測距センサ12の変形例について説明する。
図11は、照明装置11と、第1の変形例に係る測距センサ12の詳細構成例を示すブロック図である。
図11において、図4で説明した照明装置11と測距センサ12の構成例と対応する部分については同一の符号を付してあり、その部分の説明は省略する。
第1の変形例に係る測距センサ12は、図4に示した測距センサ12の構成例に対して、条件切替判定部101が新たに追加されている。その他の構成は、図4の測距センサ12と同一である。
第1の変形例に係る測距センサ12は、上述した図4の測距センサ12と同様に、ホスト制御部13から取得した複数の発光条件を、マイクロフレーム単位、デプスフレーム単位、または、デプスマップ単位の任意の単位で、予め決定された順番で順に切り替える制御を行う機能に加えて、反射光を受光した受光結果に応じて照明装置11の発光条件を自身で決定し、切り替える制御を行う機能を有している。
条件切替判定部101は、データ処理部37で生成されたデプスフレームと信頼度フレームを取得する。そして、条件切替判定部101は、取得したデプスフレームと信頼度フレームとに基づいて、次のデプスフレームで設定する発光条件を決定し、制御部31に供給する。
制御部31は、条件切替判定部101から供給される発光条件に基づいて、照明装置11と、自身の動作を制御する。すなわち、制御部31は、発光強度などの光源設定情報を照明装置11へ供給するとともに、変調周波数と発光期間の情報を、発光タイミング制御部32に供給する。また、制御部31は、駆動制御情報を、画素制御部34、カラム処理部36、および、データ処理部37に供給する。
例えば、条件切替判定部101は、デプスフレームの測距値に基づいて、精度が必要となる被写体を撮像していると判定した場合、図7のAのように、照射エリアを全エリアから被写体領域のみに限定したり、図6のBのように、発光強度を上げるように、発光条件を変更する。精度が必要となる被写体か否かは、測距値が近距離を示すかどうかで判定することができる。例えば、測定誤差が5cmある場合に、測距値が1mであるときの5cmと、測距値が7mであるときの5cmとでは、1mのときの方が誤差成分の影響が大きい。そのため、測距値が、近距離として予め設定した値(例えば1m)以下である場合に、精度が必要となる被写体を撮像していると判定することができる。照射エリアが全エリアから被写体領域のみに限定された場合、画素アレイ部35の受光エリアも、限定された被写体領域に対応する一部の領域のみを駆動するように変更することができる。
また例えば、条件切替判定部101は、デプスフレームの測距値が室内環境での測定であることを示しているかを判定し、室内環境での測定であると判定された場合、図6のAのように面照射からスポット照射に変更するように、発光条件を変更する。測距値が室内環境での測定であるか否かは、前景と背景との距離の差や、背景の測距値(の大きさ)に基づいて判定することができる。室内環境での測定である場合、乱反射の影響が大きくなる。そこで、測距センサ12は、スポット照射による測距を行い、明部(スポット部分)と暗部(スポット以外の部分)のデータを取得する。乱反射の影響を受ける暗部のデータを取得することで、乱反射成分を除去する信号処理を行うことができ、測距精度を向上させることができる。その他、例えば、乱反射によるノイズと思われる測距値が得られた場合、乱反射の影響を抑えることができるスポット照射による測距を行うことで、測距精度を向上させることができる。
さらに例えば、条件切替判定部101は、受光した反射光の強度を表す信頼度(信頼度フレーム)に基づいて、発光強度が大きいと判定した場合、発光強度を下げたり、反対に、発光強度が小さいと判定した場合、発光強度を上げたりするように、発光条件を変更することができる。
上述した例では、条件切替判定部101が、デプスフレームまたは信頼度フレームに基づいて発光条件を決定する例について説明したが、デプスマップや信頼度マップに基づいて、発光条件を決定してもよい。また、各画素から出力される検出信号に基づいて、発光条件の変更を決定してもよい。例えば、検出信号が画素の飽和状態を示すか否かに基づいて、発光強度を変更することができる。
なお、図11の測距センサ12において、条件切替判定部101は、データ処理部37の一部として組み込んで実現してもよいし、制御部31の一部として組み込んで実現してもよい。
<6.測距センサの第2の変形例>
図12は、照明装置11と、第2の変形例に係る測距センサ12の詳細構成例を示すブロック図である。
図12は、照明装置11と、第2の変形例に係る測距センサ12の詳細構成例を示すブロック図である。
図12において、図4で説明した照明装置11と測距センサ12の構成例と対応する部分については同一の符号を付してあり、その部分の説明は省略する。
第2の変形例に係る測距センサ12は、図4に示した測距センサ12の構成例に対して、条件切替判定部111と温度センサ112が新たに追加されている。その他の構成は、図4の測距センサ12と同一である。また、照明装置11にも温度センサ121が新たに追加されている。
条件切替判定部111には、温度センサ112から、画素アレイ部35内の画素温度が供給される。また、照明装置11の温度センサ121で検出された発光源52(レーザ光源)の温度(光源温度)が、入出力端子53−1および39−3を介して、照明装置11から条件切替判定部111に供給される。
条件切替判定部111は、測距中の環境条件、具体的には、温度センサ112で検出された画素温度と、照明装置11で検出された光源温度とに基づいて、次のデプスフレームで設定する発光条件を決定し、制御部31に供給する。また、条件切替判定部111は、画素温度または光源温度のいずれか一方に基づいて、発光条件を決定してもよい。
例えば、条件切替判定部111は、照明装置11から供給される光源温度が高い(所定の温度以上である)と判定された場合、発光強度を下げたり、発光期間を短くするように、発光条件を変更する。また例えば、条件切替判定部111は、温度センサ112から供給される画素温度が高い(所定の温度以上である)と判定された場合、露光期間(発光期間と同等)を短くするように、発光条件を変更する。画素温度が高く、かつ、光源温度が低い状態である場合には、露光期間の変更とともに、発光強度を大きくすることで、受光量の減少による精度劣化を抑えることができる。
温度センサ112は、画素アレイ部35内の画素付近に配置され、画素温度を検出して、条件切替判定部111に供給する。温度センサ112は、画素アレイ部35内に、複数個配置されてもよい。
照明装置11の温度センサ121は、発光源52の付近に配置され、光源温度を検出し、発光制御部51に供給する。
なお、図12の測距センサ12において、条件切替判定部111は、データ処理部37の一部として組み込んで実現してもよいし、制御部31の一部として組み込んで実現してもよい。
また、温度センサ112および121の検出結果に基づく発光条件の変更は、第1の変形例と同様に、デプスフレーム単位で行ってもし、デプスマップ単位で行ってもよい。
<7.発光条件制御処理のフローチャート>
次に、図13のフローチャートを参照して、第1の変形例に係る測距センサ12による発光条件制御処理を説明する。この処理は、例えば、ホスト制御部13から、発光条件と測距開始トリガが供給されたとき、開始される。
次に、図13のフローチャートを参照して、第1の変形例に係る測距センサ12による発光条件制御処理を説明する。この処理は、例えば、ホスト制御部13から、発光条件と測距開始トリガが供給されたとき、開始される。
初めに、ステップS1において、測距センサ12の制御部31は、ホスト制御部13から供給された発光条件と測距開始トリガを取得する。発光条件は1つでもよし、複数の発光条件からなるセットでもよい。
ステップS2において、制御部31は、所定の発光条件で照明装置11に照射光の発光を行わせるとともに、自身による受光動作を開始する。より具体的には、制御部31は、所定の発光条件に対応する光源設定情報と発光パルスを照明装置11へ出力するとともに、発光期間と変調周波数の情報を、発光タイミング制御部32に供給する。発光タイミング制御部32は、発光期間と変調周波数の情報に基づいて、発光パルスを生成し、照明装置11へ供給するとともに、受光パルスを画素変調部33に供給する。また、制御部31は、画素アレイ部35の受光エリアを含む駆動制御情報を、画素制御部34、カラム処理部36、および、データ処理部37に供給する。照明装置11は、測距センサ12からの光源設定情報と発光パルスとに基づいて、照射光を発光する。
ステップS3において、画素アレイ部35の各画素71は、画素変調部33と画素制御部34の制御にしたがい、照明装置11から照射された照射光が物体で反射されて返ってきた反射光を受光し、受光量に応じた検出信号を画素単位にデータ処理部37に供給する。
ステップS4において、データ処理部37は、各画素71の検出信号に基づいて、デプスフレームと信頼度フレームを算出し、条件切替判定部101に供給する。
ステップS5において、条件切替判定部101は、データ処理部37からのデプスフレームと信頼度フレームに基づいて発光条件の変更が必要であるかを判定する。例えば、条件切替判定部101は、上述したように、精度が必要となる被写体を撮像しているか、室内環境での測定であるかなどを判定する。
ステップS5で、発光条件の変更が必要ではないと判定された場合、処理はステップS2へ戻され、上述したステップS2ないしS5の処理が繰り返される。この場合、発光条件が変更されずに、照射光の発光と、反射光の受光が行われる。
一方、ステップS5で、発光条件の変更が必要であると判定された場合、処理はステップS6に進み、次のデプスフレームで設定する発光条件を決定し、制御部31に供給する。その後、処理はステップS2へ戻され、上述したステップS2ないしS5の処理が実行される。この場合、変更後の発光条件で、照射光の発光と、反射光の受光が行われる。
図13の発光条件制御処理は、予め決定された所定数のデプスマップと信頼度マップを出力した場合など、所定の終了条件を満たした場合、終了される。
以上の発光条件制御処理によれば、測距センサ12が、反射光を受光した受光結果に応じて照明装置11の発光条件を自身で決定し、切り替える制御を行うことができる。
なお、図13のフローチャートは、第1の変形例に係る測距センサ12が行う発光条件制御処理の例であるが、第2の変形例に係る測距センサ12も同様に、温度センサ112および121の検出結果に基づいて発光条件を決定し、切り替える制御を行うことができる。
<8.測距センサのチップ構成例>
図14は、測距センサ12のチップ構成例を示す斜視図である。
図14は、測距センサ12のチップ構成例を示す斜視図である。
測距センサ12は、図14のAに示されるように、第1のダイ(基板)141と、第2のダイ(基板)142とが積層された1つのチップで構成することができる。
第1のダイ141には、例えば、受光部としての画素アレイ部35が少なくとも配置され、第2のダイ142には、例えば、画素アレイ部35から出力される検出信号を用いて、デプスフレームやデプスマップを生成する処理などを行うデータ処理部37などが配置される。
なお、測距センサ12は、第1のダイ141と第2のダイ142とに加えて、もう1つのロジックダイを積層した3層で構成したり、4層以上のダイ(基板)の積層で構成してもよい。
また、測距センサ12の一部の機能は、測距センサ12とは別の信号処理チップで行う構成とすることもできる。例えば、図14のBに示されるように、測距センサ12としてのセンサチップ151と、後段の信号処理を行うロジックチップ152とを中継基板153上に形成して構成することができる。ロジックチップ152には、上述した測距センサ12のデータ処理部37が行う処理の一部、例えば、デプスフレームやデプスマップを生成する処理などを行う構成とすることができる。
<9.他の発光制御方法との比較>
上述の測距システム1は、照明装置11の発光条件をホスト制御部13から測距センサ12へ供給し、測距センサ12が、取得した発光条件に基づいて照明装置11の発光を制御する構成とされていた。
上述の測距システム1は、照明装置11の発光条件をホスト制御部13から測距センサ12へ供給し、測距センサ12が、取得した発光条件に基づいて照明装置11の発光を制御する構成とされていた。
これに対して、図15に示されるように、ホスト制御部181が、発光条件を照明装置183へ供給し、発光条件に対応する受光条件を測距センサ182に供給する方法も考えられる。発光条件に対応する受光条件には、例えば、変調周波数や、発光期間に対応する露光期間などがある。測距開始トリガは、図1の測距システム1と同様に、ホスト制御部181から測距センサ182へ供給され、発光パルスは、測距センサ182で生成されて、照明装置183へ供給される。
このような制御方法においては、ホスト制御部181が、発光条件を変更し、新たな発光条件を照明装置183へ供給しようとする場合、照明装置183の発光を一時的に止める必要が有るので、発光パルスの出力を止める必要があり、そのため、測距センサ182の動作も一時的に止める必要がある。発光パルスは、測距開始トリガの受信による測距開始動作に同期して生成、出力されるので、発光パルスの出力を止めた場合、ホスト制御部181は、測距開始トリガを、再度、出力する必要となる。
すなわち、図15の測距システムの制御方法において、発光条件の変更は、測距開始トリガを出力するタイミング毎となるため、デプスマップ単位でしか、発光条件の変更ができない。
これに対して、図1の測距システム1では、デプスマップ単位だけでなく、デプスフレーム単位やマイクロフレーム単位でも、発光条件を変更することができる。これにより、シーン変化に追従するような高速な発光条件の切り替えも可能となる。
また、発光条件の切り替えの制御についてホスト制御部13が関与しないため、ホスト制御部13自身は、測距開始トリガ出力後、停止状態(待機状態)とすることができるので、測距システム1が組み込まれているホスト装置全体の低消費電力にも貢献することができる。
図1の測距システム1の発光条件変更の制御方法は、indirect ToF方式の測距システムに限定されず、Structured Light方式やdirectToFの測距システムにも適用できる。
<10.電子機器への適用例>
上述した測距システム1は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。
上述した測距システム1は、例えば、スマートフォン、タブレット型端末、携帯電話機、パーソナルコンピュータ、ゲーム機、テレビ受像機、ウェアラブル端末、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に搭載することができる。
図16は、測距システム1を搭載した電子機器としてのスマートフォンの構成例を示すブロック図である。
図16に示すように、スマートフォン201は、測距モジュール202、撮像装置203、ディスプレイ204、スピーカ205、マイクロフォン206、通信モジュール207、センサユニット208、タッチパネル209、および制御ユニット210が、バス211を介して接続されて構成される。また、制御ユニット210では、CPUがプログラムを実行することによって、アプリケーション処理部221およびオペレーションシステム処理部222としての機能を備える。
測距モジュール202には、図1の測距システム1が適用される。例えば、測距モジュール202は、スマートフォン201の前面に配置され、スマートフォン201のユーザを対象とした測距を行うことにより、そのユーザの顔や手、指などの表面形状のデプス値を測距結果として出力することができる。図1のホスト制御部13は、図16の制御ユニット210に対応する。
撮像装置203は、スマートフォン201の前面に配置され、スマートフォン201のユーザを被写体とした撮像を行うことにより、そのユーザが写された画像を取得する。なお、図示しないが、スマートフォン201の背面にも撮像装置203が配置された構成としてもよい。
ディスプレイ204は、アプリケーション処理部221およびオペレーションシステム処理部222による処理を行うための操作画面や、撮像装置203が撮像した画像などを表示する。スピーカ205およびマイクロフォン206は、例えば、スマートフォン201により通話を行う際に、相手側の音声の出力、および、ユーザの音声の収音を行う。
通信モジュール207は、通信ネットワークを介した通信を行う。センサユニット208は、速度や加速度、近接などをセンシングし、タッチパネル209は、ディスプレイ204に表示されている操作画面に対するユーザによるタッチ操作を取得する。
アプリケーション処理部221は、スマートフォン201によって様々なサービスを提供するための処理を行う。例えば、アプリケーション処理部221は、測距モジュール202から供給されるデプスマップに基づいて、ユーザの表情をバーチャルに再現したコンピュータグラフィックスによる顔を作成し、ディスプレイ204に表示する処理を行うことができる。また、アプリケーション処理部221は、測距モジュール202から供給されるデプスマップに基づいて、例えば、任意の立体的な物体の三次元形状データを作成する処理を行うことができる。
オペレーションシステム処理部222は、スマートフォン201の基本的な機能および動作を実現するための処理を行う。例えば、オペレーションシステム処理部222は、測距モジュール202から供給されるデプスマップに基づいて、ユーザの顔を認証し、スマートフォン201のロックを解除する処理を行うことができる。また、オペレーションシステム処理部222は、測距モジュール202から供給されるデプスマップに基づいて、例えば、ユーザのジェスチャを認識する処理を行い、そのジェスチャに従った各種の操作を入力する処理を行うことができる。
このように構成されているスマートフォン201では、上述した測距システム1を適用することで、例えば、高精度かつ高速にデプスマップを生成することができる。これにより、スマートフォン201は、測距情報をより正確に検出することができる。
<11.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図17は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図17に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図17の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図18は、撮像部12031の設置位置の例を示す図である。
図18では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図18には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。
マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット12030や車内情報検出ユニット12040に適用され得る。具体的には、車外情報検出ユニット12030や車内情報検出ユニット12040として測距システム1による測距を利用することで、運転者のジェスチャを認識する処理を行い、そのジェスチャに従った各種(例えば、オーディオシステム、ナビゲーションシステム、エアーコンディショニングシステム)の操作を実行したり、より正確に運転者の状態を検出することができる。また、測距システム1による測距を利用して、路面の凹凸を認識して、サスペンションの制御に反映させたりすることができる。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は、以下の構成を取ることができる。
(1)
照明装置から照射された照射光が物体で反射されて返ってきた反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、
前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部と
を備える測距センサ。
(2)
前記制御部は、前記検出信号を画素から出力する画素読み出し期間に、前記照明装置の発光条件を変更する制御を行う
前記(1)に記載の測距センサ。
(3)
前記制御部は、前記照明装置の発光条件の制御として、発光源を切り替える制御を行う
前記(1)または(2)に記載の測距センサ。
(4)
前記制御部は、前記照明装置の発光条件の制御として、変調周波数を切り替える制御を行う
前記(1)乃至(3)のいずれかに記載の測距センサ。
(5)
前記制御部は、前記照明装置の発光条件の制御として、照射方式を切り替える制御を行う
前記(1)乃至(4)のいずれかに記載の測距センサ。
(6)
前記制御部は、前記照明装置の発光条件の制御として、発光強度を切り替える制御を行う
前記(1)乃至(5)のいずれかに記載の測距センサ。
(7)
前記制御部は、前記照明装置の発光条件の制御として、照射エリアを切り替える制御を行う
前記(1)乃至(6)のいずれかに記載の測距センサ。
(8)
前記制御部は、前記照明装置の発光条件を、マイクロフレーム単位で切り替える制御を行う
前記(1)乃至(7)のいずれかに記載の測距センサ。
(9)
前記制御部は、前記照明装置の発光条件を、デプスフレーム単位で切り替える制御を行う
前記(1)乃至(8)のいずれかに記載の測距センサ。
(10)
前記制御部は、上位の制御部から取得した前記照明装置の発光条件を、前記画素アレイ部の各画素の動作に合わせたタイミングで、前記照明装置に供給する
前記(1)乃至(9)のいずれかに記載の測距センサ。
(11)
前記制御部は、前記画素アレイ部の各画素の受光結果に応じて前記照明装置の発光条件を決定し、前記画素アレイ部の各画素の動作に合わせたタイミングで、前記照明装置に供給する
前記(1)乃至(10)のいずれかに記載の測距センサ。
(12)
前記制御部は、前記画素アレイ部の各画素の受光結果に基づく測距値に基づいて、前記照明装置の発光条件を決定する
前記(11)に記載の測距センサ。
(13)
前記制御部は、前記測距値が近距離を示すか否かに基づいて、前記照明装置の発光条件を決定する
前記(12)に記載の測距センサ。
(14)
前記制御部は、前記測距値が室内環境での測定であることを示しているか否かに基づいて、前記照明装置の発光条件を決定する
前記(12)に記載の測距センサ。
(15)
前記制御部は、環境条件に応じて前記照明装置の発光条件を決定し、前記画素アレイ部の各画素の動作に合わせたタイミングで、前記照明装置に供給する
前記(1)乃至(14)のいずれかに記載の測距センサ。
(16)
内部の温度を測定する温度センサをさらに備え、
前記制御部は、前記環境条件として前記温度センサの検出結果に基づいて、前記照明装置の発光条件を決定する
前記(15)に記載の測距センサ。
(17)
前記制御部は、前記環境条件として前記照明装置の温度センサの検出結果に基づいて、前記照明装置の発光条件を決定する
前記(15)に記載の測距センサ。
(18)
物体に照射光を照射する照明装置と、
前記照射光が前記物体で反射されて返ってきた反射光を受光する測距センサと
を備え、
前記測距センサは、
前記反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、
前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部と
を備える
測距システム。
(19)
物体に照射光を照射する照明装置と、
前記照射光が前記物体で反射されて返ってきた反射光を受光する測距センサと
を備え、
前記測距センサは、
前記反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、
前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部と
を備える
測距システム
を備える電子機器。
(1)
照明装置から照射された照射光が物体で反射されて返ってきた反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、
前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部と
を備える測距センサ。
(2)
前記制御部は、前記検出信号を画素から出力する画素読み出し期間に、前記照明装置の発光条件を変更する制御を行う
前記(1)に記載の測距センサ。
(3)
前記制御部は、前記照明装置の発光条件の制御として、発光源を切り替える制御を行う
前記(1)または(2)に記載の測距センサ。
(4)
前記制御部は、前記照明装置の発光条件の制御として、変調周波数を切り替える制御を行う
前記(1)乃至(3)のいずれかに記載の測距センサ。
(5)
前記制御部は、前記照明装置の発光条件の制御として、照射方式を切り替える制御を行う
前記(1)乃至(4)のいずれかに記載の測距センサ。
(6)
前記制御部は、前記照明装置の発光条件の制御として、発光強度を切り替える制御を行う
前記(1)乃至(5)のいずれかに記載の測距センサ。
(7)
前記制御部は、前記照明装置の発光条件の制御として、照射エリアを切り替える制御を行う
前記(1)乃至(6)のいずれかに記載の測距センサ。
(8)
前記制御部は、前記照明装置の発光条件を、マイクロフレーム単位で切り替える制御を行う
前記(1)乃至(7)のいずれかに記載の測距センサ。
(9)
前記制御部は、前記照明装置の発光条件を、デプスフレーム単位で切り替える制御を行う
前記(1)乃至(8)のいずれかに記載の測距センサ。
(10)
前記制御部は、上位の制御部から取得した前記照明装置の発光条件を、前記画素アレイ部の各画素の動作に合わせたタイミングで、前記照明装置に供給する
前記(1)乃至(9)のいずれかに記載の測距センサ。
(11)
前記制御部は、前記画素アレイ部の各画素の受光結果に応じて前記照明装置の発光条件を決定し、前記画素アレイ部の各画素の動作に合わせたタイミングで、前記照明装置に供給する
前記(1)乃至(10)のいずれかに記載の測距センサ。
(12)
前記制御部は、前記画素アレイ部の各画素の受光結果に基づく測距値に基づいて、前記照明装置の発光条件を決定する
前記(11)に記載の測距センサ。
(13)
前記制御部は、前記測距値が近距離を示すか否かに基づいて、前記照明装置の発光条件を決定する
前記(12)に記載の測距センサ。
(14)
前記制御部は、前記測距値が室内環境での測定であることを示しているか否かに基づいて、前記照明装置の発光条件を決定する
前記(12)に記載の測距センサ。
(15)
前記制御部は、環境条件に応じて前記照明装置の発光条件を決定し、前記画素アレイ部の各画素の動作に合わせたタイミングで、前記照明装置に供給する
前記(1)乃至(14)のいずれかに記載の測距センサ。
(16)
内部の温度を測定する温度センサをさらに備え、
前記制御部は、前記環境条件として前記温度センサの検出結果に基づいて、前記照明装置の発光条件を決定する
前記(15)に記載の測距センサ。
(17)
前記制御部は、前記環境条件として前記照明装置の温度センサの検出結果に基づいて、前記照明装置の発光条件を決定する
前記(15)に記載の測距センサ。
(18)
物体に照射光を照射する照明装置と、
前記照射光が前記物体で反射されて返ってきた反射光を受光する測距センサと
を備え、
前記測距センサは、
前記反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、
前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部と
を備える
測距システム。
(19)
物体に照射光を照射する照明装置と、
前記照射光が前記物体で反射されて返ってきた反射光を受光する測距センサと
を備え、
前記測距センサは、
前記反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、
前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部と
を備える
測距システム
を備える電子機器。
1 測距システム, 11 照明装置, 12 測距センサ, 13 ホスト制御部, 31 制御部, 32 発光タイミング制御部, 37 データ処理部, 51 発光制御部, 52 発光源, 71 画素, 101 条件切替判定部, 111 条件切替判定部, 112 温度センサ, 201 スマートフォン, 202 測距モジュール, 121 温度センサ, LD1 第1のレーザ光源, LD2 第2のレーザ光源, LD3 第3のレーザ光源
Claims (19)
- 照明装置から照射された照射光が物体で反射されて返ってきた反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、
前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部と
を備える測距センサ。 - 前記制御部は、前記検出信号を画素から出力する画素読み出し期間に、前記照明装置の発光条件を変更する制御を行う
請求項1に記載の測距センサ。 - 前記制御部は、前記照明装置の発光条件の制御として、発光源を切り替える制御を行う
請求項1に記載の測距センサ。 - 前記制御部は、前記照明装置の発光条件の制御として、変調周波数を切り替える制御を行う
請求項1に記載の測距センサ。 - 前記制御部は、前記照明装置の発光条件の制御として、照射方式を切り替える制御を行う
請求項1に記載の測距センサ。 - 前記制御部は、前記照明装置の発光条件の制御として、発光強度を切り替える制御を行う
請求項1に記載の測距センサ。 - 前記制御部は、前記照明装置の発光条件の制御として、照射エリアを切り替える制御を行う
請求項1に記載の測距センサ。 - 前記制御部は、前記照明装置の発光条件を、マイクロフレーム単位で切り替える制御を行う
請求項1に記載の測距センサ。 - 前記制御部は、前記照明装置の発光条件を、デプスフレーム単位で切り替える制御を行う
請求項1に記載の測距センサ。 - 前記制御部は、上位の制御部から取得した前記照明装置の発光条件を、前記画素アレイ部の各画素の動作に合わせたタイミングで、前記照明装置に供給する
請求項1に記載の測距センサ。 - 前記制御部は、前記画素アレイ部の各画素の受光結果に応じて前記照明装置の発光条件を決定し、前記画素アレイ部の各画素の動作に合わせたタイミングで、前記照明装置に供給する
請求項1に記載の測距センサ。 - 前記制御部は、前記画素アレイ部の各画素の受光結果に基づく測距値に基づいて、前記照明装置の発光条件を決定する
請求項11に記載の測距センサ。 - 前記制御部は、前記測距値が近距離を示すか否かに基づいて、前記照明装置の発光条件を決定する
請求項12に記載の測距センサ。 - 前記制御部は、前記測距値が室内環境での測定であることを示しているか否かに基づいて、前記照明装置の発光条件を決定する
請求項12に記載の測距センサ。 - 前記制御部は、環境条件に応じて前記照明装置の発光条件を決定し、前記画素アレイ部の各画素の動作に合わせたタイミングで、前記照明装置に供給する
請求項1に記載の測距センサ。 - 内部の温度を測定する温度センサをさらに備え、
前記制御部は、前記環境条件として前記温度センサの検出結果に基づいて、前記照明装置の発光条件を決定する
請求項15に記載の測距センサ。 - 前記制御部は、前記環境条件として前記照明装置の温度センサの検出結果に基づいて、前記照明装置の発光条件を決定する
請求項15に記載の測距センサ。 - 物体に照射光を照射する照明装置と、
前記照射光が前記物体で反射されて返ってきた反射光を受光する測距センサと
を備え、
前記測距センサは、
前記反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、
前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部と
を備える
測距システム。 - 物体に照射光を照射する照明装置と、
前記照射光が前記物体で反射されて返ってきた反射光を受光する測距センサと
を備え、
前記測距センサは、
前記反射光を受光し、受光量に応じた検出信号を出力する画素が2次元配置された画素アレイ部と、
前記画素アレイ部の各画素の動作に合わせて、前記照明装置の発光条件を制御する制御部と
を備える
測距システム
を備える電子機器。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019216556A JP2021085821A (ja) | 2019-11-29 | 2019-11-29 | 測距センサ、測距システム、および、電子機器 |
PCT/JP2020/042401 WO2021106623A1 (ja) | 2019-11-29 | 2020-11-13 | 測距センサ、測距システム、および、電子機器 |
US17/756,204 US20220357455A1 (en) | 2019-11-29 | 2020-11-13 | Distance measuring sensor, distance measuring system, and electronic equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019216556A JP2021085821A (ja) | 2019-11-29 | 2019-11-29 | 測距センサ、測距システム、および、電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021085821A true JP2021085821A (ja) | 2021-06-03 |
Family
ID=76087394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019216556A Pending JP2021085821A (ja) | 2019-11-29 | 2019-11-29 | 測距センサ、測距システム、および、電子機器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220357455A1 (ja) |
JP (1) | JP2021085821A (ja) |
WO (1) | WO2021106623A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006048156A (ja) * | 2004-07-30 | 2006-02-16 | Matsushita Electric Works Ltd | 画像処理装置 |
CN112180397B (zh) * | 2014-01-29 | 2023-07-25 | Lg伊诺特有限公司 | 用于提取深度信息的装置及方法 |
DE102014117097B3 (de) * | 2014-11-21 | 2016-01-21 | Odos Imaging Ltd. | Abstandsmessvorrichtung und Verfahren zum Bestimmen eines Abstands |
JP7271119B2 (ja) * | 2017-10-20 | 2023-05-11 | ソニーセミコンダクタソリューションズ株式会社 | デプス画像取得装置、制御方法、およびデプス画像取得システム |
WO2019123825A1 (ja) * | 2017-12-22 | 2019-06-27 | ソニーセミコンダクタソリューションズ株式会社 | 信号生成装置 |
-
2019
- 2019-11-29 JP JP2019216556A patent/JP2021085821A/ja active Pending
-
2020
- 2020-11-13 WO PCT/JP2020/042401 patent/WO2021106623A1/ja active Application Filing
- 2020-11-13 US US17/756,204 patent/US20220357455A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220357455A1 (en) | 2022-11-10 |
WO2021106623A1 (ja) | 2021-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI814804B (zh) | 距離測量處理設備,距離測量模組,距離測量處理方法及程式 | |
WO2021085128A1 (ja) | 測距装置、測定方法、および、測距システム | |
JP7321834B2 (ja) | 照明装置、および、測距モジュール | |
WO2017195459A1 (ja) | 撮像装置、および撮像方法 | |
CN110832346A (zh) | 电子装置和电子装置的控制方法 | |
JP2021047076A (ja) | 測距センサ | |
WO2020031496A1 (ja) | 時間計測デバイスおよび時間計測装置 | |
WO2021065494A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2020209079A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2020246264A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2021106624A1 (ja) | 測距センサ、測距システム、および、電子機器 | |
JP2018182403A (ja) | 電子機器、および、電子機器の制御方法 | |
WO2021065500A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2021106623A1 (ja) | 測距センサ、測距システム、および、電子機器 | |
US20220381917A1 (en) | Lighting device, method for controlling lighting device, and distance measurement module | |
WO2021145212A1 (ja) | 測距センサ、測距システム、および、電子機器 | |
WO2021106625A1 (ja) | 測距センサ、測距システム、および、電子機器 | |
WO2021065495A1 (ja) | 測距センサ、信号処理方法、および、測距モジュール | |
WO2020203331A1 (ja) | 信号処理装置、信号処理方法、および、測距モジュール | |
JP7494200B2 (ja) | 照明装置、照明装置の制御方法、および、測距モジュール | |
US20220413144A1 (en) | Signal processing device, signal processing method, and distance measurement device | |
WO2023079830A1 (ja) | 測距装置、および、光検出素子 | |
WO2021131684A1 (ja) | 測距装置およびその制御方法、並びに、電子機器 | |
WO2022254792A1 (ja) | 受光素子およびその駆動方法、並びに、測距システム | |
JP2023085575A (ja) | 測距装置 |