JP2023179914A - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents
距離画像撮像装置、及び距離画像撮像方法 Download PDFInfo
- Publication number
- JP2023179914A JP2023179914A JP2022092847A JP2022092847A JP2023179914A JP 2023179914 A JP2023179914 A JP 2023179914A JP 2022092847 A JP2022092847 A JP 2022092847A JP 2022092847 A JP2022092847 A JP 2022092847A JP 2023179914 A JP2023179914 A JP 2023179914A
- Authority
- JP
- Japan
- Prior art keywords
- light
- light source
- distance image
- charge
- dot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 9
- 238000009825 accumulation Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 230000001360 synchronised effect Effects 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims description 59
- 238000009434 installation Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 abstract description 14
- 230000035508 accumulation Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 19
- 238000005259 measurement Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000009792 diffusion process Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 7
- 239000003990 capacitor Substances 0.000 description 6
- 238000007599 discharging Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】ドット光源を用いて撮像した距離画像の解像度が低下することを抑制する。【解決手段】被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備え、前記光パルスは、複数のドット光により構成される構造化光であり、前記複数のドット光のうち少なくとも1つの第1ドット光は、短軸長に対する長軸長の比が閾値以上である楕円形状を有する。【選択図】図1
Description
本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
光の速度が既知であることを利用し、空間(測定空間)における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト(Time of Flight、以下「TOF」という)方式の距離画像撮像装置が実現されている(例えば、特許文献1参照)。このような距離画像撮像装置では、光パルスを照射した時点から被写体に反射した反射光が戻ってくるまでの遅延時間を、反射光を撮像素子に入射させて反射光の光量に応じた電荷を複数の電荷蓄積部に振り分けて蓄積させることによって求め、遅延時間と光速とを用いて被写体までの距離を計算する。
TOF方式により撮像するシステムにおいて測定可能な最長の距離を決定する要因の一つとして測定用光源のパワー(単位面積当たりの照射強度)が挙げられる。発光素子に流す電流を増やすことで光源出力を増加させることは可能であるが、発光素子に流す電流を増やすと撮像システムの発熱や消費電力増加につながると共に、人体に対するレーザー安全性が低下する問題がある。
上記問題の対策として、通常測距光源として使われている均一拡散光源ではなくドット光源を用いる手段がある。光源素子から放出された光を周期配列したドット光に変換する拡散板を用いることにより光のパワーをドットに集中させることができ、発光素子に流す電流が同じでも、ドット光源を用いる方が、照射面を均一に照射する拡散光を用いた場合より遠距離を測定することが可能になる。
しかしながら、ドット光源を使って測距する場合、ドット光が照射された領域のみ距離を測定でき、ドット間の領域、すなわち被写体に照射光が当たらない領域については距離を測定することができない。このことから、ドット光源を用いて撮像した距離画像は均一拡散光を用いて測定した距離画像より解像度が低下してしまうという問題があった。
本発明は、上記の課題に基づいてなされたものであり、ドット光源を用いて撮像した距離画像の解像度が低下することを抑制することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。
本発明の距離画像撮像装置は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備え、前記光パルスは、複数のドット光により構成される構造化光であり、前記複数のドット光のうち少なくとも1つの第1ドット光は、短軸長に対する長軸長の比が閾値以上である楕円形状を有する。
本発明の距離画像撮像装置では、前記第1ドット光の少なくとも一部分と、前記第1ドット光の長軸方向に隣接する他のドット光の少なくとも一部分とが重複する。
本発明の距離画像撮像装置では、前記光源部は、それぞれ独立して前記光パルスを照射することが可能な複数の光源素子を有する。
本発明の距離画像撮像装置では、前記複数の光源素子のうち少なくとも2つの光源素子から放射される楕円形状のドット光における長軸方向が互いに異なる。
本発明の距離画像撮像装置では、前記複数の光源素子のうち少なくとも2つの光源素子から放射される楕円形状のドット光における長軸方向が互いに直交する。
本発明の距離画像撮像装置では、前記複数の光源素子のうち少なくとも2つの光源素子からなる第1光源素子群から放射される楕円形状の長軸方向が同じ方向にあるドット光における短軸方向に沿った第1間隔、及び前記第1光源素子群とは異なる少なくとも2つ光源素子からなる第2光源素子群から放射される楕円形状の長軸方向が同じ方向にあるドット光における短軸方向に沿った第2間隔について、前記第1間隔と前記第2間隔とが互いに異なる。
本発明の距離画像撮像装置では、前記複数の光源素子のうち少なくとも2つの光源素子から放射される楕円形状のドット光における長軸方向が、撮像装置の設置面に対し、垂直方向及び水平方向でない斜め方向である。
本発明の距離画像撮像装置では、前記複数の光源素子のうち2つの光源素子から放射される楕円形状のドット光における長軸方向のなす角度が撮像装置の設置面に対し45度もしくは135度である。
本発明の距離画像撮像装置では、前記複数の光源素子のうち少なくとも1つは拡散光源である。
本発明の距離画像撮像方法は、被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、前記光パルスは、複数のドット光により構成される構造化光であり、前記複数のドット光のうち少なくとも1つの第1ドット光は、短軸長に対する長軸長の比が閾値以上である楕円形状を有する。
本発明によれば、ドット光源を用いて撮像した距離画像の解像度が低下することを抑制することができる。
以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。
図1は、実施形態の距離画像撮像装置の概略構成を示すブロック図である。距離画像撮像装置1は、例えば、光源部2と、受光部3と、距離画像処理部4とを備える。図1には、距離画像撮像装置1において距離を測定する対象物である被写体OBも併せて示している。
光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体OBが存在する測定対象の空間に光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。光源部2は、光源装置21と、拡散板22とを備える。
光源装置21は、被写体OBに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光を発光する。
拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体OBに照射する面の広さに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして出射され、被写体OBに照射される。
受光部3は、距離画像撮像装置1において距離を測定する対象の被写体OBによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。受光部3は、レンズ31と、距離画像センサ32とを備える。
レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素に受光(入射)させる。
距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素を備える。距離画像センサ32のそれぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
距離画像センサ32は、タイミング制御部41からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ32は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ32には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
距離画像処理部4は、距離画像撮像装置1を制御し、被写体OBまでの距離を算出する。距離画像処理部4は、タイミング制御部41と、距離演算部42と、測定制御部43とを備える。
タイミング制御部41は、測定制御部43の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスPOの照射を制御する信号、反射光RLを複数の電荷蓄積部に振り分けて蓄積させる信号、1フレームあたりの蓄積回数を制御する信号などである。蓄積回数とは、電荷蓄積部CS(図3参照)に電荷を振り分けて蓄積させる処理を繰返す回数である。この蓄積回数と、電荷を振り分けて蓄積させる処理1回あたりに各電荷蓄積部に電荷を蓄積させる時間幅(蓄積時間幅)の積が露光時間となる。
距離演算部42は、距離画像センサ32から出力された画素信号に基づいて、被写体OBまでの距離を演算した距離情報を出力する。距離演算部42は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスPOを照射してから反射光RLを受光するまでの遅延時間を算出する。距離演算部42は、算出した遅延時間に応じて被写体OBまでの距離を算出する。
測定制御部43は、タイミング制御部41を制御する。例えば、測定制御部43は、1フレームの蓄積回数及び蓄積時間幅を設定し、設定した内容で撮像が行われるようにタイミング制御部41を制御する。
このような構成によって、距離画像撮像装置1では、光源部2が被写体OBに照射した近赤外の波長帯域の光パルスPOが被写体OBによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体OBとの距離を測定した距離情報を出力する。
なお、図1においては、距離画像処理部4を距離画像撮像装置1の内部に備える構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
ここで、図2を用いて、距離画像撮像装置1において撮像素子として用いられる距離画像センサ32の構成について説明する。図2は、実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示すブロック図である。
図2に示すように、距離画像センサ32は、例えば、複数の画素321が配置された受光領域320と、制御回路322と、振り分け動作を有した垂直走査回路323と、水平走査回路324と、画素信号処理回路325とを備える。
受光領域320は、複数の画素321が配置された領域であって、図2では、8行8列に二次元の行列状に配置された例を示している。画素321は、受光した光量に相当する電荷を蓄積する。制御回路322は、距離画像センサ32を統括的に制御する。制御回路322は、例えば、距離画像処理部4のタイミング制御部41からの指示に応じて、距離画像センサ32の構成要素の動作を制御する。なお、距離画像センサ32に備えた構成要素の制御は、タイミング制御部41が直接行う構成であってもよく、この場合、制御回路322を省略することも可能である。
垂直走査回路323は、制御回路322からの制御に応じて、受光領域320に配置された画素321を行ごとに制御する回路である。垂直走査回路323は、画素321の電荷蓄積部CSそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路325に出力させる。この場合、垂直走査回路323は、光電変換素子により変換された電荷を画素321の電荷蓄積部それぞれに振り分けて蓄積させる。つまり、垂直走査回路323は、「画素駆動回路」の一例である。
画素信号処理回路325は、制御回路322からの制御に応じて、それぞれの列の画素321から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理(例えば、ノイズ抑圧処理やA/D変換処理など)を行う回路である。
水平走査回路324は、制御回路322からの制御に応じて、画素信号処理回路325から出力される信号を、水平信号線に順次出力させる回路である。これにより、1フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部4に順次出力される。
以下では、画素信号処理回路325がA/D変換処理を行い、画素信号がデジタル信号であるものとして説明する。
ここで、図3を用いて、距離画像センサ32に備える受光領域320内に配置された画素321の構成について説明する。図3は、実施形態の距離画像センサ32の受光領域320内に配置された画素321の構成の一例を示す回路図である。図3には、受光領域320内に配置された複数の画素321のうち、1つの画素321の構成の一例を示している。画素321は、3個の画素信号読み出し部を備えた構成の一例である。
画素321は、1個の光電変換素子PDと、ドレインゲートトランジスタGDと、対応する出力端子Oから電圧信号を出力する3個の画素信号読み出し部RUとを備える。画素信号読み出し部RUのそれぞれは、読み出しゲートトランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットゲートトランジスタRTと、ソースフォロアゲートトランジスタSFと、選択ゲートトランジスタSLとを備える。それぞれの画素信号読み出し部RUでは、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSが構成されている。
なお、図3においては、3個の画素信号読み出し部RUの符号「RU」の後に、「1」、「2」、または「3」数字を付与することによって、それぞれの画素信号読み出し部RUを区別する。また、同様に、3個の画素信号読み出し部RUに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部RUを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部RUを区別して表す。
図3に示した画素321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、読み出しゲートトランジスタG1と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットゲートトランジスタRT1と、ソースフォロアゲートトランジスタSF1と、選択ゲートトランジスタSL1とを備える。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2~RU3も同様の構成である。
なお、距離画像センサ32に配置される画素の構成は、図3に示したような、3個の画素信号読み出し部RUを備える構成に限定されるものではなく、複数の画素信号読み出し部RUを備えた構成の画素であればよい。つまり、距離画像センサ32に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、2個であってもよいし、4個以上であってもよい。
また、図3に示した構成の画素321では、電荷蓄積部CSを、フローティングディフュージョンFDと電荷蓄積容量Cとによって構成する一例を示した。しかし、電荷蓄積部CSは、少なくともフローティングディフュージョンFDによって構成されればよく、画素321が電荷蓄積容量Cを備えない構成であってもよい。
また、図3に示した構成の画素321では、ドレインゲートトランジスタGDを備える構成の一例を示したが、光電変換素子PDに蓄積されている(残っている)電荷を破棄する必要がない場合には、ドレインゲートトランジスタGDを備えない構成であってもよい。
光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子PDの構造は任意であってよい。光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。また、光電変換素子PDは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
画素321では、光パルスPOを照射するタイミングに同期させた蓄積タイミングにおいて入射した光を、光電変換素子PDが電荷に変換し、変換した電荷を3個の電荷蓄積部CSのそれぞれに振り分けて蓄積させる。また、蓄積タイミング以外のタイミングで画素321に入射した光については、光電変換素子PDが変換した電荷をドレインゲートトランジスタGDから排出して、電荷蓄積部CSに蓄積させないようにする。このようにして蓄積タイミングにおける電荷の蓄積と、蓄積タイミング以外のタイミングにおける電荷の破棄とが、1フレームに渡って繰り返し行われた後、読出し期間が設けられる。読み出し期間では、水平走査回路324により、電荷蓄積部CSのそれぞれに蓄積された、1フレーム分の電荷量に相当する電気信号が、距離演算部42に出力される。
距離演算部42は、反射光RL成分に相当する電荷量が、反射光RLが距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率で、2つの電荷蓄積部CSに振り分けて蓄積されることを利用して、以下の(1)により、遅延時間Tdを算出する。距離演算部42は、(1)式で求めた遅延時間Tdに、光速(速度)を乗算させることにより、被写体Sまでの往復の距離を算出する。そして、距離演算部42は、上記で算出した往復の距離を1/2とすることにより、被写体Sまでの距離を求める。なお、(1)式においては、外光成分に相当する電荷量が電荷蓄積部CS1に蓄積され、反射光RL成分に相当する電荷量が電荷蓄積部CS2及びCS3に振り分けて蓄積されたことを前提とする。
Td=To×(Q3-Q1)/(Q2+Q3-2×Q1) …(1)
但し、Toは光パルスPOが照射された期間である。
Q1は電荷蓄積部CS1に蓄積された電荷量である。
Q2は電荷蓄積部CS2に蓄積された電荷量である。
Q3は電荷蓄積部CS3に蓄積された電荷量である。
但し、Toは光パルスPOが照射された期間である。
Q1は電荷蓄積部CS1に蓄積された電荷量である。
Q2は電荷蓄積部CS2に蓄積された電荷量である。
Q3は電荷蓄積部CS3に蓄積された電荷量である。
本実施形態では光源部2が照射する光源に、ドット光を用いる。ドット光源は、例えば、周期的に配列された複数のドット光により構成される構造化光である。
ドット光源を用いることにより、被写体OBに対し、均一でない局所的な光パルスPOが照射される。ドット光を用いることにより、光源出力を増加させることなく、照射する光のパワー(単位面積当たりの照射強度)を増大させることができ、照射光の到達距離を大きくして測定可能な距離を大きくすることが可能となる。一方、ドット光源を用いた場合、ドット光が照射されない領域については距離を測定することができず、解像度が小さくなるという問題があった。
この対策として、本実施形態では、光パルスPOとして楕円形状を有するドット光を用いるようにした。例えば、光源部2は、それぞれ独立して、光パルスPO(楕円形状を有するドット光)を照射することが可能な複数の光源素子を有する。
図4は、実施形態におけるドット光の例を示す図である。図4には、距離画像撮像装置1が被写体OBに光パルスPOとしてのドット光Dtを照射した様子が模式的に示されている。図4に示すように、ドット光Dtは、短軸長SAに対する長軸長LAの比が閾値以上である楕円形状を有する。ここでの閾値は任意に設定されてよい。例えば、ドット光源の形状は、短軸長SAに対する長軸長LAの比が2以上である楕円形状である。このように、本実施形態では楕円形状を有するドット光Dtを用いることによって、円形状のドット光Dtを用いる場合より被写体OBにおいて光が照射されない領域を少なくすることができる。したがって、解像度の低下を抑制することが可能となる。
以下、ドット光Dtのバリエーションについて、図5~図8を用いて説明する。図5~図8は、第1の実施形態におけるドット光の他の例を示す図である。
図5には、ドット光Dtの一部を、他のドット光Dtの一部と重複させた様子が示されている。このように、本実施形態においてドット光Dt1の少なくとも一部分と、ドット光Dt1の長軸方向に隣接する他のドット光Dt2の少なくとも一部分と、が重複するように構成されてもよい。これにより、被写体OBにおいて光が照射されない領域をより少なくすることができる。
なお、図5では、長軸方向に沿って重複する場合を例示して説明したが、短軸方向に重複させてもよい。また、長軸及び短軸方向に対して斜め方向に設定した任意の軸方向に重複させるように構成されてもよい。ドット光Dtの少なくとも一部を、他のドット光Dtと重複させることにより、光が照射されない領域を少なくすることができ、上述した効果と同様の効果を奏することができる。
図5に示すように、複数のドット光Dtを長軸方向に沿って重複するように光を照射させることによって、光パルスPOを線状の光にすることができる。以下の説明においては、このように複数のドット光Dtを長軸方向に沿って重複するように照射させた光を「ライン光L」と称する。なお、本実施形態におけるドット光源に代えて、或いは、ドット光源と共に、ライン光源を用いてもよい。
図6には、複数のライン光Lを交差させた様子が示されている。このように、本実施形態において複数のライン光Lが互いに異なる方向を示すように構成されてもよい。すなわち、楕円形状のドット光Dtにおける長軸方向が互いに異なるように構成されてもよい。これにより、被写体OBに対し網目状に光を照射させることができ、被写体OBにおいて光が照射されない領域をより少なくすることができる。
また、全てのライン光の方向を平行とした場合には何等かの原因により光が重なってしまうと被写体OBに対し光を照射する領域が狭まってしまう可能性があるが、ライン光Lの互いの方向を異なる方向とすることにより、交差点を除き、ライン光Lの互いの光が重ならないようにすることができる。したがって、被写体OBにおいて光が照射される領域が狭まらないようにすることができる。
図6では、ライン光L1~L6からなるグループと、ライン光L7~L12からなるグループの各々におけるライン光の方向が互いに直交する、つまり90度である例が示されている。このように、複数の光源素子のうち、少なくとも2つの光源素子から放射される楕円形状のドット光Dtにおける長軸方向が互いに直交するように構成されてもよい。
なお、二つのライン光Lのなす角度が90度である構成に限定されることはなく、少なくとも二つのライン光Lの方向が異なっていればよい。すなわち、二つのライン光Lのなす角度が、0度より大きく、且つ、90度以下であればよい。
図7には、平行なライン光Lにおいて、ライン光L間の距離が異なる様子が示されている。例えば、ライン光L101からライン光L102までの距離K1と、ライン光L103からライン光L104までの距離K2において、距離K1とK2の大きさが異なる。
このように、本実施形態において縦方向と横方向とでライン光Lの間隔が異なるように構成されてもよい。すなわち、複数の光源素子のうち、少なくとも2つの光源素子からなる第1光源素子群から放射される長軸方向が同じ方向にある楕円形状のドット光Dtにおける短軸方向に沿った第1間隔、及び第1光源素子群とは異なる少なくとも2つ光源素子からなる第2光源素子群から放射される長軸方向が同じ方向にある楕円形状のドット光Dtにおける短軸方向に沿った第2間隔について、前記第1間隔と前記第2間隔とが互いに異なるように構成されてもよい。これにより、被写体OBにおいて、細かく距離を測定する領域と、粗く距離を測定する部分とを区分した測定を行うことが可能となる。
例えば、横方向に動く被写体OBを測定対象とする場合、横方向については距離測定の解像度を大きくし、縦方向については解像度を小さくすることが考えられる。このような場合、縦方向に沿うライン光Lの間隔を狭くし、横方向に沿うライン光Lの間隔を広げるように光を照射する。これにより、細かい間隔で距離を測定したい領域を高い分解能で測定することが可能となる。
なお、縦方向に沿うライン光L群の間隔、或いは縦方向に沿うライン光L群の間隔を異なる間隔、つまり等間隔とならないように構成してもよい。例えば、背の低い被写体を測距する場合などにおいて、上部の解像度を低く、中央部分から下部にかけての解像度を高くして測定するようなケースに適用することができる。この場合、横方向に沿うライン光Lのうち、上部についてはライン光Lの間隔を広げ、中央部分から下部にかけてはライン光Lの間隔を狭めるように光を照射する。これにより、被写体OBが存在する領域を高い分解能で測定することが可能となる。
図8には、距離画像撮像装置1の設置面(地面)に対して垂直方向(鉛直方向)、及び水平方向とは異なる斜め方向にライン光Lを照射させた様子が示されている。例えば、ライン光L201とx軸方向(水平方向)に沿う線分Axとのなす角度は135度である。また、ライン光L202と線分Axとのなす角度は45度である。
このように、本実施形態において、ライン光Lが地面に対して斜めとなる方向を示すように構成されてもよい。すなわち、複数の光源素子のうち2つの光源素子から放射される楕円形状のドット光における長軸方向のなす角度が撮像装置の設置面に対し45度もしくは135度である。
このように、本実施形態においてライン光Lが地面に対して斜め方向を示すように構成されてもよい。すなわち、複数の光源素子のうち、2つの光源素子から放射される楕円形状のドット光Dtにおける長軸方向が、距離画像撮像装置1の設置面に対し、垂直方向及び水平方向でない斜め方向であるように構成されてもよい。
地面に対して垂直なライン光Lと水平なライン光Lとを、光源に拡散板を組み合わせて実現させようとすると、水平方向と垂直方向とでFOI(Field of Illumination、照明野)が同じでない場合には垂直用と水平用とで個別の拡散板が必要となる。これに対し、斜め方向にある2つのライン光Lを直交させる場合、斜め方向にライン光Lを照射する同じ設計の拡散板を2つ用意し、互いに上下が逆になるように実装すれば、斜め方向にある2つのライン光Lを直交させることができる。したがって、斜め方向に直行させることにより、水平方向及び垂直方向に直行させるよりも光源部2に係る装置コストを抑制することが可能となる。
また、本実施形態において、ドット光Dtに加えて、均一拡散光源素子を併用する構成であってもよい。均一拡散光源素子とは、照射面に対し均一な光を照射させる光源素子である。均一拡散光源素子を用いることによって被写体OBに均一な光を照射させることが可能となる。
これにより、本実施形態の距離画像撮像装置1では、被写体OBまでの距離に応じて光源を使い分けることができる。例えば、近距離、つまり比較的近い位置に存在する被写体OBまでの距離を測定する場合には均一拡散光源を用いる。これにより、近くに被写体OBが存在しており、ドット光Dtを用いなくとも十分な光量を被写体OBに照射することが可能である場合には、わざわざドット光Dtを用いて分解能を低下させることなく、均一拡散光源素子を用いて高い分解能にて距離を測定することができる。一方、遠距離、つまり比較的遠い位置に存在する被写体OBまでの距離を測定する場合にはドット光源を用いる。これにより、遠くに被写体OBが存在する場合であっても、ドット光Dtを用いて反射光RLの光量が大きくなるようにし、且つ、被写体OBにおいて光が照射されない領域をなるべく少なくなるようにドット光Dtの形状を楕円として、分解能の低下が抑制されるようにして距離を測定することができる。したがって、被写体OBまでの距離に応じた測定状況によりドット光と拡散光源を使い分けすることができ、近距離及び遠距離の何れの場合においても、解像度の低下を抑制することができる。
以上説明したように、実施形態の距離画像撮像装置1では、光パルスPOは、複数のドット光Dtにより構成される構造化光である。複数のドット光Dtのうち少なくとも1つのドット光Dt(第1ドット光)は、短軸長に対する長軸長の比が閾値以上である楕円形状を有する。これにより、実施形態の距離画像撮像装置1では、ドット光Dtを用いて照射する光のパワーを局所的に大きくしつつ、被写体OBにおいて光が照射されない領域を減少させることが可能となる。したがって、ドット光源を用いて撮像した距離画像の解像度が低下することを抑制することができる。
また、実施形態の距離画像撮像装置1では、複数のドット光Dtのうち少なくとも1つのドット光Dt1(第1ドット光)の少なくとも一部分と、ドット光Dt1の長軸方向に隣接する他のドット光Dt2の少なくとも一部分とが重複する。これにより、実施形態の距離画像撮像装置1では、被写体OBにおいて光が照射されない領域をさらに減少させることが可能となる。
また、実施形態の距離画像撮像装置1では、光源部2は、それぞれ独立して光パルスPOを照射することが可能な複数の光源素子を有する。これにより、実施形態の距離画像撮像装置1では、複数の光源素子のそれぞれを用いて楕円形状のドット光を照射させることができ、照射させるドット光の位置や向きを設定する自由度を高めることができる。
また、実施形態の距離画像撮像装置1では、複数の光源素子のうち、少なくとも2つの光源素子から放射される楕円形状のドット光における長軸方向が互いに異なる。これにより、実施形態の距離画像撮像装置1では、被写体OBに対して交差するようなライン光Lを用いて、被写体OBに網目状に光を照射させることができ、被写体OBにおいて網羅的に光が照射されない領域を減少させることが可能となる。
また、実施形態の距離画像撮像装置1では、複数の光源素子のうち、少なくとも2つの光源素子から放射される楕円形状のドット光における長軸方向が互いに直交する。これにより、実施形態の距離画像撮像装置1では、被写体OBに対して格子状に光を照射させることができ、上述した効果と同様の効果を奏する。
また、実施形態の距離画像撮像装置1では、距離K1とK2とが異なる。距離K1は、ライン光L101からライン光L102までの距離であり、「第1間隔」の一例である。距離K2は、ライン光L103からライン光L104までの距離であり、「第2間隔」の一例である。これにより、実施形態の距離画像撮像装置1では、横方向或いは縦方向において異なる解像度とする測定を行うことができ、例えば、横方向に動く被写体OBを測定対象とする場合において、横方向の動きに応じて変化する距離を高い分解能で測定することが可能となる。
また、実施形態の距離画像撮像装置1では、複数の光源素子のうち、少なくとも3つの光源素子から放射される長軸方向が同じ方向にある楕円形状のドット光における短軸方向に沿った間隔が互いに異なる。これにより、実施形態の距離画像撮像装置1では、被写体が存在する領域に応じた分解能で測定を行うことができ、例えば、背の低い被写体OBを測定対象とする場合において、上部の被写体OBが存在しない領域を低い分解能で測定し、中央から下の被写体OBが存在する領域を高い分解能で測定することが可能となる。
また、実施形態の距離画像撮像装置1では、複数の光源素子のうち、少なくとも2つの光源素子から放射される楕円形状のドット光における長軸方向が、撮像装置の設置面に対し、垂直方向及び水平方向でない斜め方向である。これにより、実施形態の距離画像撮像装置1では、斜め方向にライン光Lを照射する2つ拡散板を、互いに上下が逆になるように実装させることにより、このようなライン光を実現させることができ、垂直用と水平用とで個別の拡散板を用いる場合よりも装置コストを抑えることが可能となる。
また、実施形態の距離画像撮像装置1では、複数の光源素子のうち、少なくとも2つの光源素子から放射される楕円形状のドット光における長軸方向のなす角度のそれぞれが撮像装置の設置面に対し45度又は135度である。これにより、実施形態の距離画像撮像装置1では、地面に対して斜め方向に、かつ左右上下対象にライン光を照射させることができ、上述した効果と同様の効果を奏する。
また、実施形態の距離画像撮像装置1では、複数の光源素子のうち、少なくとも1つは拡散光源である。これにより、実施形態の距離画像撮像装置1では、被写体OBまでの距離に応じた測定状況によりドット光と拡散光源を使い分けすることができ、近距離及び遠距離の何れの場合においても、解像度の低下を抑制することができる。
上述した実施形態における距離画像撮像装置1、距離画像処理部4の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1…距離画像撮像装置
2…光源部
3…受光部
32…距離画像センサ
321…画素
42…距離演算部
CS…電荷蓄積部
PO…光パルス
RL…反射光
Dt…ドット光
L…ライン光
2…光源部
3…受光部
32…距離画像センサ
321…画素
42…距離演算部
CS…電荷蓄積部
PO…光パルス
RL…反射光
Dt…ドット光
L…ライン光
Claims (10)
- 被写体に光パルスを照射する光源部と、
入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段を有する受光部と、
前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、
を備え、
前記光パルスは、複数のドット光により構成される構造化光であり、
前記複数のドット光のうち少なくとも1つの第1ドット光は、短軸長に対する長軸長の比が閾値以上である楕円形状を有する、
距離画像撮像装置。 - 前記第1ドット光の少なくとも一部分と、前記第1ドット光の長軸方向に隣接する他のドット光の少なくとも一部分とが重複する、
請求項1に記載の距離画像撮像装置。 - 前記光源部は、それぞれ独立して前記光パルスを照射することが可能な複数の光源素子を有する、
請求項1に記載の距離画像撮像装置。 - 前記複数の光源素子のうち少なくとも2つの光源素子から放射される楕円形状のドット光における長軸方向が互いに異なる、
請求項3に記載の距離画像撮像装置。 - 前記複数の光源素子のうち少なくとも2つの光源素子から放射される楕円形状のドット光における長軸方向が互いに直交する、
請求項4に記載の距離画像撮像装置。 - 前記複数の光源素子のうち少なくとも2つの光源素子からなる第1光源素子群から放射される楕円形状の長軸方向が同じ方向にあるドット光における短軸方向に沿った第1間隔、及び前記第1光源素子群とは異なる少なくとも2つ光源素子からなる第2光源素子群から放射される楕円形状の長軸方向が同じ方向にあるドット光における短軸方向に沿った第2間隔について、前記第1間隔と前記第2間隔とが互いに異なる、
請求項5に記載の距離画像撮像装置。 - 前記複数の光源素子のうち少なくとも2つの光源素子から放射される楕円形状のドット光における長軸方向が、撮像装置の設置面に対し、垂直方向及び水平方向でない斜め方向である、
請求項5に記載の距離画像撮像装置。 - 前記複数の光源素子のうち2つの光源素子から放射される楕円形状のドット光における長軸方向のなす角度が撮像装置の設置面に対し45度もしくは135度である、
請求項7に記載の距離画像撮像装置。 - 前記複数の光源素子のうち少なくとも1つは拡散光源である、
請求項3に記載の距離画像撮像装置。 - 被写体に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する二次元マトリクス状に複数配置された画素回路と、前記光パルスの照射に同期させた蓄積タイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、前記蓄積タイミングでない期間において前記電荷を排出する電荷排出手段を有する受光部と、前記電荷蓄積部の各々に蓄積される電荷量に基づいて前記被写体までの距離を算出する距離演算部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、
前記光パルスは、複数のドット光により構成される構造化光であり、
前記複数のドット光のうち少なくとも1つの第1ドット光は、短軸長に対する長軸長の比が閾値以上である楕円形状を有する、
距離画像撮像方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022092847A JP2023179914A (ja) | 2022-06-08 | 2022-06-08 | 距離画像撮像装置、及び距離画像撮像方法 |
PCT/JP2023/021392 WO2023238913A1 (ja) | 2022-06-08 | 2023-06-08 | 距離画像撮像装置、及び距離画像撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022092847A JP2023179914A (ja) | 2022-06-08 | 2022-06-08 | 距離画像撮像装置、及び距離画像撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023179914A true JP2023179914A (ja) | 2023-12-20 |
Family
ID=89235804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022092847A Pending JP2023179914A (ja) | 2022-06-08 | 2022-06-08 | 距離画像撮像装置、及び距離画像撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023179914A (ja) |
-
2022
- 2022-06-08 JP JP2022092847A patent/JP2023179914A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10795001B2 (en) | Imaging system with synchronized scan and sensing | |
US10324171B2 (en) | Light detection and ranging sensor | |
Jahromi et al. | A 32× 128 SPAD-257 TDC receiver IC for pulsed TOF solid-state 3-D imaging | |
CN109791207B (zh) | 用于确定到对象的距离的系统和方法 | |
US8908157B2 (en) | Optical distance measuring device | |
US20180203122A1 (en) | Gated structured imaging | |
TW202112122A (zh) | 距離影像攝像裝置及距離影像攝像方法 | |
CN113767305A (zh) | Lidar探测器阵列的扩展动态范围和降低功率成像 | |
CN112241012A (zh) | 测距传感器 | |
CN112154348A (zh) | 距离成像装置和方法 | |
US20220182572A1 (en) | Imaging device | |
US20220350024A1 (en) | Distance image capturing device and distance image capturing method | |
JP2023179914A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
US20230262357A1 (en) | Range imaging device and range imaging apparatus | |
WO2023238913A1 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP3915366B2 (ja) | 光センサおよび三次元形状計測装置 | |
WO2022091564A1 (ja) | 距離画像撮像素子及び距離画像撮像装置 | |
WO2023228981A1 (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP2024078895A (ja) | 距離画像撮像装置、及び距離画像撮像方法 | |
JP2024078654A (ja) | 距離画像撮像装置 | |
CN220584396U (zh) | 一种固态激光雷达测量系统 | |
WO2024127960A1 (ja) | 距離画像撮像素子、距離画像撮像装置、及び距離画像撮像方法 | |
US20230204727A1 (en) | Distance measurement device and distance measurement method | |
US11460549B2 (en) | Solid-state imaging device and imaging device provided with same | |
US20230314617A1 (en) | Scanning ladar system with corrective optic |