JP2023003094A - 測距装置および方法、並びにプログラム - Google Patents

Abstract

【課題】適切なキャリブレーションを行う。【解決手段】測距装置は、複数の領域のうちの測距対象とする１以上の領域に選択的に光を照射可能であり、２以上の各領域に対して、領域ごとの照射用の光が照射された場合、複数の領域からの光を受光するセンサの画素ごとに出力された、画素における受光量に応じた出力データと、画素で受光される光における、領域の照射用の光の寄与率に関する情報と、測距対象の各領域の照射用の光について求められた、１つの領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータとに基づいて領域までの距離を計算する演算部を備える。本技術はToF測距装置に適用することができる。【選択図】図６

Description

本技術は、測距装置および方法、並びにプログラムに関し、特に、領域ごとに発光可能な場合におけるキャリブレーションパラメータの設定に関する測距装置および方法、並びにプログラムに関する。

測距方式のひとつとして、Time-of-Flight（タイムオブフライト：以降ToFと呼ぶ）という方式がある。ToFでは、サイン波の光を発光し、対象物に当たり反射してきた光を受光することで測距が行われる。

受光するセンサは、２次元アレイ状に配置された画素よりなる。すなわち、センサは、より具体的にはイメージセンサである。各画素は、受光素子を有し、光を取り込むことが出来る。そして、各画素は、発光する光の位相に同期しながら受光することで、受光されたサイン波の位相および振幅を得ることが出来る。なお、位相は、発光されたサイン波を基準とする。

各画素の位相は、発光部からの光が対象物体での反射を経てセンサに入力されるまでの時間に対応している。したがって、位相を２πｆで割り、さらに光速（ｃとする）を乗算して２で割ることで、画素により撮影される方向についての距離を算出することが出来る。なお、ｆは発光するサイン波の周波数である。

非特許文献１には、ToFの動作について詳細に記載されている。

さて、実際には、正確にサイン波で発光することができないため、サイン波に関して補正を行う必要がある。また、センサ内を伝わる制御信号は、センサ内の各画素位置に到達するまでに時間を要する。そのため、センサ内の画素位置に応じた補正も必要である。それぞれ、circular errorとsignal propagation delayと呼ばれている。これら補正についての詳細は、非特許文献２の４章に書かれている。

これら補正量は、各モジュールで異なるため、個々のモジュールについてキャリブレーションが必要である。

すなわち、出荷時に既存の測定機器を使ってキャリブレーションパラメータが求められる。そして、このキャリブレーションパラメータは、ToF測距装置内のROM（Read Only Memory）に格納されて出荷される。ユーザがこのToF測距装置を使用して測距を行うと、ROM内に格納されていたキャリブレーションパラメータにより適切な補正が行われ、正しい測距結果が出力される。

格納すべきキャリブレーションパラメータは、具体的には、非特許文献２の４章に書かれているように、ｐ_０,…,ｐ_ｍ,ｂ_０,ｂ_１,ｂ_２であり、全部で１０個程度のスカラ量のデータである。

さて、発光領域を選択できるToF測距装置がある（例えば、特許文献１および特許文献２参照）。このようなToF測距装置について、以下で詳しく説明する。

図１は、縦方向に４分割、横方向に４分割した合計１６個の領域の１つあるいは複数個を選択的に測距する様子を示している。

図１では、分かりやすく説明するために、矢印Q11に示す部分には、発光に関する図が示されており、矢印Q12に示す部分には、受光に関する図が示されている。すなわち、発光と受光について別々に示されている。

図１において、発光部からの発光領域（FOI（Field of Illumination））、すなわち発光部から出力された光が照射される領域と、センサでの受光領域（FOV（Field of View））、すなわちセンサにより撮影対象とされる領域とは同じ領域である。

矢印Q11に示すように、FOIは、領域R101-1乃至領域R101-16の１６個の領域に分割されている。なお、図を見やすくするため、領域R101-3乃至領域R101-15については、符号が省略されている。また、以下、領域R101-1乃至領域R101-16を特に区別する必要がない場合、単に領域R101とも称することとする。

ToF測距装置は、これらの１６個の領域R101について、それぞれ独立して発光させることが出来る。すなわち、各領域R101に対して、測距のための光を個別に照射することが可能である。

矢印Q12に示すように、FOVはFOIと同じ領域である。FOI内の１６個に分割された領域R101-1乃至領域R101-16のうち、発光部から発光された領域R101について、センサが受光を行い、測距することが出来る。

このようにして、ToF測距装置では、測距したい領域のみに対して発光と受光を行い、効率良く測距することが可能である。

特開２０２０－７６６１９号公報 国際公開第２０１４／０９７５３９号

Introduction to the Time-of-Flight (ToF) System Design User's Guide, Literature Number: SBAU219D, Texas Instruments Incorporated Fuchs, S., May, S.: Calibration and registration for precise surface reconstruction with time-of-flight cameras. Int. J. Intell. Syst. Technol. Appl. 5, 274-284 (2008)

上述のToF測距装置について簡素化して、さらに説明を続ける。すなわち、FOVやFOIを１６分割でなく、２分割とした例について説明する。

図２の矢印Q21に示すように、FOIが領域R201-1と領域R201-2の２個の領域に分割されているとする。なお、以下、領域R201-1および領域R201-2を特に区別する必要のない場合、単に領域R201とも称する。

これらの２個の領域R201は、図１に示した例と同様に、それぞれ独立して発光させることが出来る。

また、図２の矢印Q22に示すように、FOVは、FOIと同じ領域である。例えば図３に示すように、FOI内の２個に分割された領域R201-1と領域R201-2のうち、発光部から発光された領域R201、つまり測距用の光が照射されたR201について、センサが受光を行い、測距することが出来る。

図３では、矢印Q31に示す部分には、領域R201-1のみ発光した場合について示されており、折れ線L11はFOI内の横方向における発光強度の分布を示している。

矢印Q32に示す部分には、領域R201-2のみ発光した場合について示されており、折れ線L12はFOI内の横方向における発光強度の分布を示している。

矢印Q33に示す部分には、領域R201-1と領域R201-2の両方を発光した場合について示されており、折れ線L13はFOI内の横方向における発光強度の分布を示している。

但し、図３では理想的な場合について示されており、実際の発光時には図４に示すようになる。

すなわち、領域R201-1のみ発光した場合には、実際には図３の矢印Q31に示したようにはならず、図４の矢印Q41に示すようになる。

図４の矢印Q41に示す例では、FOI内の発光強度の分布は折れ線L21に示すようになる。すなわち、FOI内の光が照射される領域と、照射されない領域が完全に分離されているわけではなく、照射領域から非照射領域へ徐々に発光強度が小さくなっていく。

そのため、この例では領域R201-1だけでなく、領域R201-2における領域R201-1近傍の領域にも光が照射されていることが分かる。

同様に、領域R201-2のみ発光した場合には、実際には図３の矢印Q32に示したようにはならず、図４の矢印Q42に示すようになり、FOI内の発光強度の分布は折れ線L22に示すようになる。すなわち、FOI内の光が照射される領域と、照射されない領域が完全に分離されているわけではなく、照射領域から非照射領域へ徐々に発光強度が小さくなっていく。

図４を参照して説明したことを、再度、図５を用いて説明する。

図５は、図３に示した各場合における発光強度を示している。特に、図５において、横軸はFOI（領域R201）内における横方向の位置を示しており、縦軸は各位置における発光強度を示している。

図５における矢印Q51に示す部分における折れ線L31は、領域R201-1のみ発光した場合における実際の発光強度の分布を示している。

この場合、発光強度分布は、領域R201-1と領域R201-2との境界部分でステップ関数となることが理想であるが、実際には折れ線L31に示すように、領域R201-1と領域R201-2の境界では、徐々に強度が小さくなっていく。

同様に、矢印Q52に示す部分における折れ線L32は、領域R201-2のみ発光した場合における実際の発光強度の分布を示している。この場合においても領域R201-1と領域R201-2の境界では、徐々に強度が小さくなっていく。

矢印Q53に示す部分には、領域R201-1と領域R201-2の両方を発光した場合における実際の発光強度の分布を示している。

この場合、領域R201-1を照射した光と、領域R201-2を照射した光との合計が照射されることになる。すなわち、この場合における発光強度の分布は、矢印Q51に示した折れ線L31で表される発光強度の分布と、矢印Q52に示した折れ線L32で表される発光強度の分布とを合算して得られる分布となる。

さて、先述のとおり、領域R201-1を照射する光は正確なサイン波ではないため、補正する必要がある。同様に、領域R201-2を照射する光も正確なサイン波ではないため、補正する必要がある。

領域R201-1を照射する光と領域R201-2を照射する光は同一ではないため、それぞれ補正する量は異なる。すなわち、領域R201-1を照射する光についてのキャリブレーションパラメータと、領域R201-2を照射する光についてのキャリブレーションパラメータは異なる。

したがって、領域R201-1のみ発光した場合の測距においては、領域R201-1を照射する光用のキャリブレーションパラメータが用いられて補正が行われる。そして、領域R201-2のみ発光した場合の測距においては、領域R201-2を照射する光用のキャリブレーションパラメータが用いられて補正が行われる。

さて、領域R201-1と領域R201-2の両方を発光した場合は、どのような補正を行えばよいであろうか。

図５の矢印Q53に示した部分における、領域R201-1と領域R201-2の境界を含む領域Ａについては、領域R201-1を照射する光と領域R201-2を照射する光との合成波が受光されて測距が行われる。

領域R201-1を照射する光と領域R201-2を照射する光は異なるので、それらの２つの光の合成波は、領域R201-1を照射する光とは異なり、かつ、領域R201-2を照射する光とも異なる。しかも、合成波を構成する「領域R201-1を照射する光」と「領域R201-2を照射する光」の割合は、その合成波が受光されるセンサ上の画素の位置に依存している。

そのため、領域R201-1と領域R201-2の両方を発光した場合のためのキャリブレーションパラメータは、どのような形式で保持すべきか、そして、どのように補正を行えばよいかが知られていなかった。

すなわち、上述の特許文献１や特許文献２に発光領域を選択できるToF測距装置が開示されているが、実運用上はキャリブレーションが必要であるにもかかわらず、その具現化手法が存在していなかった。つまり、複数の発光領域の選択的な測距を実運用することはできなかった。

本技術は、このような状況に鑑みてなされたものであり、発光領域を選択できるToF測距装置において適切なキャリブレーションを行うことができるようにするものである。

本技術の第１の側面の測距装置は、複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、測距対象の各前記領域の照射用の光について求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータとに基づいて前記領域までの距離を計算する演算部を備える。

本技術の第１の側面の測距方法またはプログラムは、複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置の測距方法またはプログラムであって、２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、測距対象の各前記領域の照射用の光について求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータとに基づいて前記領域までの距離を計算するステップを含む。

本技術の第１の側面においては、複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置において、２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、測距対象の各前記領域の照射用の光について求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータとに基づいて前記領域までの距離が計算される。

本技術の第２の側面の測距装置は、複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、前記複数の前記領域からの光を受光するセンサの画素ごとに求められた、前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、前記領域の照射用の光ごとに求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータとを記録する記録部を備える。

本技術の第２の側面においては、複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置において、前記複数の前記領域からの光を受光するセンサの画素ごとに求められた、前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、前記領域の照射用の光ごとに求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータとが記録される。

本技術の第３の側面の測距装置は、複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、前記画素ごとに求められたキャリブレーションパラメータとに基づいて前記領域までの距離を計算する演算部を備える。

本技術の第３の側面の測距方法またはプログラムは、複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置の測距方法またはプログラムであって、２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、前記画素ごとに求められたキャリブレーションパラメータとに基づいて前記領域までの距離を計算するステップを含む。

本技術の第３の側面においては、複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置において、２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、前記画素ごとに求められたキャリブレーションパラメータとに基づいて前記領域までの距離が計算される。

本技術の第４の側面の測距装置は、複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、前記複数の前記領域からの光を受光するセンサの画素ごとに求められたキャリブレーションパラメータを記録する記録部を備える。

本技術の第４の側面においては、複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置において、前記複数の前記領域からの光を受光するセンサの画素ごとに求められたキャリブレーションパラメータが記録される。

発光領域を選択できるToF測距装置について説明する図である。 発光領域を選択できるToF測距装置について説明する図である。 発光領域を選択できる理想的なToF測距装置について説明する図である。 発光領域を選択できる現実的なToF測距装置について説明する図である。 発光領域を選択できる現実的なToF測距装置について説明する図である。 ToF測距装置の構成例を示す図である。 発光部の構成例を示す図である。 書き込み処理を説明するフローチャートである。 測距処理を説明するフローチャートである。 書き込み処理を説明するフローチャートである。 測距処理を説明するフローチャートである。 コンピュータの構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術の実施の形態について、図面を参照しながら説明する。なお、この実施の形態によって本技術が限定されるものではない。

〈ToF測距装置の構成例〉
図６は、本技術を適用したToF測距装置の構成例を示す図である。

このToF測距装置１１は、測距対象となる対象物体の壁面１２に対して照射光（測定光）を照射し、その照射光が壁面１２で反射されて得られる反射光を受光することで、ToF方式によりToF測距装置１１から壁面１２までの距離を測定する。

ToF測距装置１１は、制御部２１、発光部２２、イメージセンサ２３、演算部２４、出力端子２５、およびROM２６を有している。

また、発光部２２は、複数のレーザダイオードドライバ（LDD（Laser Diode Driver））からなるLDD群３１、および複数のレーザからなるレーザ群３２を有している。

なお、通常、イメージセンサ２３の前面にはレンズが取り付けられており、このレンズが壁面１２からの反射光を集光することで、イメージセンサ２３内の各画素が効率よく反射光を受光できるようになされている。しかし、レンズの詳細は本技術の趣旨とは関係ないため、レンズの図示は省略されている。

また、発光部２２は、より詳細には図７に示すように構成される。

図７の例では、発光部２２はLDD群３１およびレーザ群３２を有している。

また、LDD群３１はＭ個のLDD３１－１乃至LDD３１－Ｍからなり、レーザ群３２はＭ個のレーザ３２－１乃至レーザ３２－Ｍからなる。

なお、以下、LDD３１－１乃至LDD３１－Ｍを特に区別する必要のない場合、単にLDD３１とも称し、レーザ３２－１乃至レーザ３２－Ｍを特に区別する必要のない場合、単にレーザ３２とも称する。

ここではToF測距装置１１は、Ｍ個の領域を測距の対象となる発光領域として選択可能となっている。すなわち、ToF測距装置１１は、複数のＭ個の領域のうちの測距対象とする１以上の領域に対して選択的に照射光を照射可能となっている。

LDD群３１を構成する各LDD３１－ｍ（ｍ＝１乃至Ｍ）は、制御部２１から供給される制御信号によって制御される。

LDD３１－ｍは、レーザ群３２内のレーザ３２－ｍを発光させるためのドライバである。したがって、制御部２１は、レーザ３２－１乃至レーザ３２－Ｍのそれぞれを独立して発光させるか、または不発光（非発光）とするかを選択することができる。

また、各レーザ３２－ｍ（ｍ＝１乃至Ｍ）は、それぞれ異なる方向に測距のための光、すなわち図６に示した照射光を照射（出力）する。

図６の説明に戻り、ToF測距装置１１には、記録部として機能し、測距のためのキャリブレーションパラメータが格納される（記録される）ROM２６が設けられている。

また、イメージセンサ２３は、２次元平面上に配置された複数の画素を有しており、それらの画素は、壁面１２からの反射光を受光して光電変換することで、受光した反射光の光量に応じた出力を行う受光素子を有している。

ToF測距装置１１では、制御部２１からの制御信号により、発光部２２、イメージセンサ２３、および演算部２４が制御される。具体的には、以下のような制御が行われる。

すなわち、制御部２１は、例えば周波数が１０ＭＨｚである制御信号を発光部２２およびイメージセンサ２３に送信する。

すると、発光部２２は、制御部２１からの制御信号を受けて、１０ＭＨｚのサイン波の光をＭ個の領域のうちのいくつかの領域の方向に出力する。

すなわち、発光部２２を構成する各LDD３１は、制御部２１から供給された制御信号に応じてレーザ３２を制御し、レーザ３２から１０ＭＨｚのサイン波の光を出力させて発光状態とさせるか、またはレーザ３２から光を出力させずに不発光の状態とさせる。

これにより、発光状態となった１または複数のレーザ３２のそれぞれに対応する壁面１２上の領域（発光領域）のそれぞれに対して、レーザ３２からの光（照射光）が照射される。

レーザ３２から出力された光は、そのレーザ３２に対応する壁面１２上の領域に到達すると、その領域で反射して反射光となり、イメージセンサ２３へと入射する。

イメージセンサ２３の各画素では、制御部２１から供給された１０ＭＨｚの制御信号に応じて、１０ＭＨｚで受光動作が行われる。

すなわち、イメージセンサ２３は、周波数１０ＭＨｚに応じた周期で、壁面１２から入射した光（反射光）、すなわちサイン波の光を各画素で受光して光電変換することで、画素ごとに、画素における受光量に応じた出力データI_(u,v)と出力データQ_(u,v)を得る。換言すれば、レーザ３２により出力されたサイン波の光が検波される。

イメージセンサ２３は、サイン波の光の検波によって得られた各画素の出力データI_(u,v)と出力データQ_(u,v)を演算部２４へと供給（出力）する。

ここで、出力データI_(u,v)および出力データQ_(u,v)について説明する。

イメージセンサ２３では、より詳細には異なる位相（タイミング）で複数回の受光動作が行われる。例として、所定画素において位相が９０度ずつ異なる０度、９０度、１８０度、および２７０度の各位相において受光動作が行われ、その結果として各位相での受光量を示す光量値C₀、光量値C₉₀、光量値C₁₈₀、および光量値C₂₇₀が得られたとする。

このとき、光量値C₀と光量値C₁₈₀の差分Ｉが出力データＩとされ、光量値C₉₀と光量値C₂₇₀の差分Ｑが出力データＱとされる。

例えば、イメージセンサ２３上における画素の位置（画素位置）を（u,v）で表すとする。この画素位置（u,v）は、例えばuv座標系における座標などとされる。

このとき、イメージセンサ２３上の画素位置（u,v）において得られた差分Ｉおよび差分Ｑのそれぞれが出力データI_(u,v)および出力データQ_(u,v)とされる。

このようにしてイメージセンサ２３においてサイン波の光が検波されると、演算部２４では、各画素で検波されたサイン波の光、すなわち画素ごとに得られた出力データI_(u,v)および出力データQ_(u,v)に基づいて、上述の非特許文献１に記載の距離の計算が行われる。このとき、演算部２４では、ROM２６に記録されているキャリブレーションパラメータも用いられて距離の計算が行われる。

なお、ToF測距装置１１（イメージセンサ２３）から壁面１２までの距離を求める計算の過程では、上述の非特許文献２に記載されているキャリブレーション処理、すなわちキャリブレーションパラメータに基づく補正も同時に行われる。例えばキャリブレーション処理では、レーザ３２により出力されるサイン波の光に関する補正（circular errorの補正）や、イメージセンサ２３の画素への制御信号の伝達時間に関する補正（signal propagation delayの補正）などが行われる。

演算部２４は、出力データI_(u,v)および出力データQ_(u,v)に基づく計算の結果、すなわち求められた距離を、出力端子２５を介して外部に出力する。

ここで、キャリブレーションパラメータをｐとする。このキャリブレーションパラメータｐは、１０個程度のスカラ量のデータを意味する。

キャリブレーションパラメータｐを用いたキャリブレーション処理を含む距離の計算をＦで表すこととすると、画素位置（u,v）での距離の計算結果、すなわち測距結果L_(u,v)は、次式（１）のようになる。式（１）では、距離を求める計算の過程において、上述のキャリブレーション処理、すなわちキャリブレーションパラメータｐに基づく、サイン波の光に関する補正等の補正も同時に行われる。

なお、式（１）においてI_(u,v)およびQ_(u,v)は、イメージセンサ２３から出力される画素位置（u,v）についての出力データI_(u,v)および出力データQ_(u,v)である。

式（１）の計算で行われるキャリブレーション処理を行う際に必要なキャリブレーションパラメータｐは、ROM２６に格納されている。演算部２４は、ROM２６から必要なキャリブレーションパラメータｐを読み出してキャリブレーション処理（距離の計算）を行う。

それでは、以下において、本技術を適用した第１の実施の形態と第２の実施の形態について説明する。これらの何れの実施の形態においても図６に示したToF測距装置１１によって処理が行われる。

〈第１の実施の形態〉
〈書き込み処理の説明〉
以下では、測距対象の領域が２分割されている場合、すなわちレーザ３２の個数Ｍが２である場合について説明する。

特に、以下では、説明を分かりやすくするため、壁面１２が図４に示した領域R201-1と領域R201-2に分割され、それらの領域R201-1と領域R201-2の少なくとも何れかが測距対象の領域とされて距離が計算される場合について説明する。

この場合、例えばレーザ３２－１からの光が領域R201-1に照射され、レーザ３２－２からの光が領域R201-2に照射される。また、領域R201-1と領域R201-2における発光強度分布は、例えば図５に示したようになる。

第１の実施の形態においては、実際の測距前に３つのキャリブレーションパラメータが求められ、ROM２６に格納される。

このとき、２つのキャリブレーションパラメータは、イメージセンサ２３の全画素で共通のものとされ、残りの１つのキャリブレーションパラメータは、イメージセンサ２３の画素ごと、つまり画素位置（u,v）ごとに値を有するものとされる。

まず、図８のフローチャートを参照して、３つのキャリブレーションパラメータが求められ、それらのキャリブレーションパラメータがROM２６へと書き込まれる書き込み処理について説明する。この書き込み処理は、ToF測距装置１１の出荷時に既存の測定機器（キャリブレーション装置）が用いられて行われる。

ステップＳ１１において制御部２１は、制御信号をLDD３１－１に供給してLDD３１－１を制御することで、レーザ３２－１に領域R201-1の照射用の光を発光（出力）させるとともに、イメージセンサ２３の各画素に制御信号を供給し、受光動作を行わせる。この場合、壁面１２には、領域R201-1の照射用の光のみが照射される。

また、演算部２４は、イメージセンサ２３から供給された各画素位置（u,v）の出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）とを用いて距離、すなわち測距結果L_(u,v)を計算し、その計算結果を、出力端子２５を介してキャリブレーション装置に出力する。このとき、測距結果L_(u,v)は、キャリブレーションパラメータが用いられずに計算される。

キャリブレーション装置は、演算部２４から供給された各画素位置（u,v）の測距結果L_(u,v)と予め用意された実際の距離（距離の真値）とに基づいてキャリブレーションを行い、全画素位置（u,v）で共通のキャリブレーションパラメータｐ_０を求める。なお、キャリブレーション装置は、既存の装置を用いればよい。

キャリブレーション装置は、キャリブレーション結果として得られたキャリブレーションパラメータｐ_０を、ToF測距装置１１の入力端子等から、制御部２１を介してROM２６へと供給する。なお、入力端子等から直接、ROM２６へとキャリブレーションパラメータｐ_０が供給されてもよい。

ステップＳ１２においてROM２６は、キャリブレーション装置から供給されたキャリブレーションパラメータｐ_０を記録する。すなわち、キャリブレーションパラメータｐ_０がROM２６に格納される。このキャリブレーションパラメータｐ_０は、領域R201-1の照射用の光のみが壁面１２に照射される場合におけるキャリブレーションパラメータであり、上述のキャリブレーションパラメータｐに対応する。

ステップＳ１３において制御部２１は、制御信号をLDD３１－２に供給することで、レーザ３２－２に領域R201-2の照射用の光を発光（出力）させるとともに、イメージセンサ２３の各画素に制御信号を供給し、受光動作を行わせる。この場合、壁面１２には、領域R201-2の照射用の光のみが照射される。

演算部２４は、イメージセンサ２３から供給された各画素位置（u,v）の出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）とを用いて、キャリブレーションパラメータを用いずに距離（測距結果L_(u,v)）を計算し、その計算結果を、出力端子２５を介してキャリブレーション装置に出力する。

また、キャリブレーション装置は、演算部２４から供給された各画素位置（u,v）の測距結果L_(u,v)と予め用意された実際の距離とに基づいてキャリブレーションを行い、全画素位置（u,v）で共通のキャリブレーションパラメータｐ_１を求める。

キャリブレーション装置は、キャリブレーション結果として得られたキャリブレーションパラメータｐ_１を、ToF測距装置１１の制御部２１等を介してROM２６に供給する。

ステップＳ１４においてROM２６は、キャリブレーション装置から供給されたキャリブレーションパラメータｐ_１を記録する。このキャリブレーションパラメータｐ_１は、領域R201-2の照射用の光のみが壁面１２に照射される場合におけるキャリブレーションパラメータであり、上述のキャリブレーションパラメータｐに対応する。

ステップＳ１５において制御部２１は、制御信号をLDD３１－１およびLDD３１－２に供給することで、レーザ３２－１に領域R201-1の照射用の光を発光させるとともに、レーザ３２－２に領域R201-2の照射用の光を発光させる。また、制御部２１は、イメージセンサ２３の各画素に制御信号を供給し、受光動作を行わせる。この場合、壁面１２には、領域R201-1の照射用の光と領域R201-2の照射用の光の両方が照射される。

演算部２４は、イメージセンサ２３から供給された各画素位置（u,v）の出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）とを用いて、キャリブレーションパラメータを用いずに距離（測距結果L_(u,v)）を計算し、その計算結果を、出力端子２５を介してキャリブレーション装置に出力する。

また、キャリブレーション装置は、演算部２４から供給された各画素位置（u,v）の測距結果L_(u,v)と予め用意された実際の距離とに基づいてキャリブレーションを行い、画素位置（u,v）ごとのキャリブレーションパラメータｐ_01(u,v)を求める。

この場合、領域R201-1の照射用の光と領域R201-2の照射用の光の両方が照射される、つまり領域R201-1と領域R201-2の両方を発光させるので、領域R201-1と領域R201-2（壁面１２）における発光強度分布は、図５の矢印Q53に示したようになる。

そのため、領域R201-1と領域R201-2の境界近傍の部分である領域Ａの部分については、画素位置（u,v）に依存して受光した反射光、すなわち領域R201-1の照射用の光と領域R201-2の照射用の光の合成波の波形は異なる。

そこでステップＳ１５では、画素位置（u,v）ごとに、上述のキャリブレーションパラメータｐに対応するキャリブレーションパラメータｐ_01(u,v)が求められる。このキャリブレーションパラメータｐ_01(u,v)は、領域R201-1の照射用の光と領域R201-2の照射用の光の両方が壁面１２に照射される場合におけるキャリブレーションパラメータである。

キャリブレーション装置は、キャリブレーション結果として得られた各画素位置（u,v）のキャリブレーションパラメータｐ_01(u,v)を、ToF測距装置１１の制御部２１等を介してROM２６に供給する。

ステップＳ１６においてROM２６は、キャリブレーション装置から供給されたキャリブレーションパラメータｐ_01(u,v)を記録する。

このようにしてROM２６にキャリブレーションパラメータｐ_０、キャリブレーションパラメータｐ_１、およびキャリブレーションパラメータｐ_01(u,v)が格納される（書き込まれる）と、書き込み処理は終了する。

これにより、実際に測距を行うときの距離の計算時に行われるキャリブレーション処理に必要なキャリブレーションパラメータが全てROM２６に格納されたことになる。

以上のようにしてToF測距装置１１は、発光させるレーザ３２の組み合わせごと、つまりレーザ群３２の発光パターンごとに、キャリブレーション装置からキャリブレーションパラメータの供給を受け、それらのキャリブレーションパラメータをROM２６に記録する。このようにすることで、レーザ３２により光を照射する領域（発光領域）を選択可能なToF測距装置１１において、実際の測距時に適切なキャリブレーション処理を行うことができるようになる。

〈測距処理の説明〉
続いて、実際の測距時に行われる処理について説明する。

すなわち、以下、図９のフローチャートを参照して、ToF測距装置１１による測距処理について説明する。

ステップＳ４１において制御部２１は、制御信号をLDD３１に供給することで、レーザ３２を発光させる。

ここで、制御部２１がレーザ群３２の発光パターンとして、発光パターンL1乃至発光パターンL3のうちの何れかを選択できるものとする。

発光パターンL1ではレーザ３２－１のみが発光する、つまり領域R201-1の照射用の光のみが出力され、発光パターンL2ではレーザ３２－２のみが発光する、つまり領域R201-2の照射用の光のみが出力される。また、発光パターンL3ではレーザ３２－１とレーザ３２－２が発光する、つまり領域R201-1の照射用の光と領域R201-2の照射用の光の両方が出力される。

制御部２１は、選択した発光パターンでレーザ群３２が発光するように、その発光パターンに応じた制御信号をLDD群３１に供給するとともに、発光パターンを示す情報を演算部２４に供給する。

各LDD３１は、制御部２１から供給された制御信号に応じて、適宜、レーザ３２を制御し、レーザ３２から光を出力させる。

ステップＳ４２において制御部２１は、制御信号をイメージセンサ２３に供給し、イメージセンサ２３に壁面１２からの反射光を受光させる。

イメージセンサ２３は、反射光を受光すると、その反射光の光量に応じて、各画素位置（u,v）の出力データI_(u,v)および出力データQ_(u,v)を演算部２４に供給する。

また、演算部２４は、制御部２１から供給された情報に基づいて、レーザ群３２の発光パターンを判別する。

すなわち、ステップＳ４３において演算部２４は、制御部２１から供給された情報に基づいて、発光パターンが発光パターンL1であるか否かを判定する。

ステップＳ４３において発光パターンL1であると判定された場合、演算部２４は、発光パターンL1に対応する全画素位置（u,v）で共通のキャリブレーションパラメータｐ_０をROM２６から読み出し、その後、処理はステップＳ４４へと進む。

ステップＳ４４において演算部２４は、イメージセンサ２３から供給された出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）と、キャリブレーションパラメータｐ_０とに基づいて画素位置（u,v）ごとに距離（測距結果L_(u,v)）を計算する。

具体的には、演算部２４は、キャリブレーションパラメータｐ_０をキャリブレーションパラメータｐとして用いて上述の式（１）を計算することで、画素位置（u,v）ごとに測距結果L_(u,v)を計算し、得られた測距結果L_(u,v)を、出力端子２５を介して外部に出力する。このようにして測距結果L_(u,v)が出力されると、測距処理は終了する。

また、ステップＳ４３において発光パターンL1ではないと判定された場合、ステップＳ４５において演算部２４は、制御部２１から供給された情報に基づいて、発光パターンが発光パターンL2であるか否かを判定する。

ステップＳ４５において発光パターンL2であると判定された場合、演算部２４は、発光パターンL2に対応する全画素位置（u,v）で共通のキャリブレーションパラメータｐ_１をROM２６から読み出し、その後、処理はステップＳ４６へと進む。

ステップＳ４６において演算部２４は、イメージセンサ２３から供給された出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）と、キャリブレーションパラメータｐ_１とに基づいて画素位置（u,v）ごとに距離（測距結果L_(u,v)）を計算する。

具体的には、演算部２４は、キャリブレーションパラメータｐ_１をキャリブレーションパラメータｐとして用いて式（１）を計算することで、画素位置（u,v）ごとに測距結果L_(u,v)を計算し、得られた測距結果L_(u,v)を、出力端子２５を介して外部に出力する。測距結果L_(u,v)が出力されると、測距処理は終了する。

また、ステップＳ４５において発光パターンL2ではないと判定された場合、すなわち発光パターンL3である場合、演算部２４は、発光パターンL3に対応する画素位置（u,v）ごとのキャリブレーションパラメータｐ_01(u,v)をROM２６から読み出し、その後、処理はステップＳ４７へと進む。

ステップＳ４７において演算部２４は、イメージセンサ２３から供給された出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）と、キャリブレーションパラメータｐ_01(u,v)とに基づいて画素位置（u,v）ごとに距離（測距結果L_(u,v)）を計算する。

具体的には、演算部２４は、キャリブレーションパラメータｐ_01(u,v)をキャリブレーションパラメータｐとして用いて式（１）を計算することで、画素位置（u,v）ごとに測距結果L_(u,v)を計算し、得られた測距結果L_(u,v)を、出力端子２５を介して外部に出力する。測距結果L_(u,v)が出力されると、測距処理は終了する。

以上のようにしてToF測距装置１１は、発光パターンに応じたキャリブレーションパラメータを用いて、測距対象となる壁面１２までの距離を計算する。

このようにすることで、レーザ３２により光を照射する領域（発光領域）を選択可能なToF測距装置１１において、測距結果L_(u,v)、つまり壁面１２までの距離の計算時に、発光パターンに応じた適切なキャリブレーション処理を行うことができる。これにより、より正確に測距を行うことができる。

特にToF測距装置１１では、領域R201-1の照射用の光と領域R201-2の照射用の光の両方を照射する発光パターンL3での測距時には、各画素位置（u,v）に対応するキャリブレーションパラメータｐ_01(u,v)を用いるので、画素位置（u,v）ごとに最適なキャリブレーション処理を行うことができる。

〈第２の実施の形態〉
〈ROMに格納しておくパラメータについて〉
ところで、第１の実施の形態では、領域R201-1の照射用の光と領域R201-2の照射用の光の両方を照射する発光パターンL3で測距を行うには、イメージセンサ２３の画素数分だけキャリブレーションパラメータｐ_01(u,v)が必要である。

そこで、第２の実施の形態では、ROM２６における、キャリブレーションパラメータを記録する記録領域の総容量を低減させることができるようにした。

以下では、第１の実施の形態における場合と同様に、壁面１２が図４に示した領域R201-1と領域R201-2に分割され、それらの領域R201-1と領域R201-2の少なくとも何れかが測距対象の領域とされて距離が計算される場合について説明する。

第２の実施の形態においては、領域R201-1のみに光を照射した場合、つまり発光パターンL1における場合のキャリブレーションパラメータｐ_０と、領域R201-2のみに光を照射した場合、つまり発光パターンL2における場合のキャリブレーションパラメータｐ_１とが予めROM２６に格納される。これらのキャリブレーションパラメータｐ_０とキャリブレーションパラメータｐ_１は、第１の実施の形態における場合と同様のものである。

さらに、領域R201-1と領域R201-2の両方に光を照射した場合、つまり発光パターンL3における場合の各画素位置（u,v）において受光される合成波を構成する、領域R201-1の照射用の光（領域R201-1を照射する光）と領域R201-2の照射用の光の割り合いに関するデータも予めROM２６に格納される。

ここでは、合成波を構成する領域R201-1の照射用の光と領域R201-2の照射用の光の割り合いに関するデータは、例えば各画素位置（u,v）における、領域R201-1の照射用の光の受光強度情報C_0(u,v)および領域R201-2の照射用の光の受光強度情報C_1(u,v)とされる。

画素位置（u,v）にある画素が受光した領域R201-1の照射用の光の強度をC_0(u,v)とし、画素位置（u,v）にある画素が受光した領域R201-2の照射用の光の強度をC_1(u,v)とする。

この場合、画素位置（u,v）にある画素によって受光される合成波（反射光）における、領域R201-1の照射用の光と領域R201-2の照射用の光の割り合いは、C_0(u,v)：C_1(u,v)となる。したがって、受光強度情報C_0(u,v)や受光強度情報C_1(u,v)は、画素位置（u,v）にある画素で受光される合成波（光）に対する、領域R201-1の照射用の光や領域R201-2の照射用の光の寄与率を示す情報（寄与率に関する情報）であるということができる。

上述のように、キャリブレーションパラメータｐ_０やキャリブレーションパラメータｐ_１は、１０個程度のスカラ量のデータである。

これに対して、２つの照射光の割り合いを示す受光強度情報C_0(u,v)と受光強度情報C_1(u,v)は、合計で２個のスカラ量のデータである。

したがって、第２の実施の形態では、ROM２６に格納しておくデータの量は、「２０＋２×（イメージセンサ２３の画素数）」程度のスカラ量となるので、「１０×（イメージセンサ２３の画素数）」程度のスカラ量と比較してROM２６の容量を節約できる。すなわち、第１の実施の形態では、「２０＋１０×（イメージセンサ２３の画素数）」程度のスカラ量のデータをROM２６に格納しておく必要があったのと比較すると、第２の実施の形態では、大幅に記録しておくべきデータの量を削減することができる。

次に、ROM２６にキャリブレーションパラメータｐ_０、キャリブレーションパラメータｐ_１、受光強度情報C_0(u,v)、および受光強度情報C_1(u,v)が格納されている状態で、ToF測距装置１１により測距が行われるときの処理について説明する。

まず、領域R201-1のみに光を照射した場合、つまり発光パターンL1の場合、演算部２４は、ROM２６からキャリブレーションパラメータｐ_０を読み出す。

そして演算部２４は、イメージセンサ２３から供給される出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）と、キャリブレーションパラメータｐ_０とに基づいて画素位置（u,v）ごとに次式（２）を計算することで測距結果L_(u,v)を求める。なお、式（２）では上述の式（１）と同様の計算が行われ、その計算の過程ではキャリブレーション処理、すなわちキャリブレーションパラメータに基づく補正も同時に行われる。

また、領域R201-2のみに光を照射した場合、つまり発光パターンL2の場合、演算部２４は、ROM２６からキャリブレーションパラメータｐ_１を読み出す。

そして演算部２４は、イメージセンサ２３から供給される出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）と、キャリブレーションパラメータｐ_１とに基づいて画素位置（u,v）ごとに次式（３）を計算することで測距結果L_(u,v)を求める。なお、式（３）では上述の式（１）と同様の計算が行われ、その計算の過程ではキャリブレーション処理、すなわちキャリブレーションパラメータに基づく補正も同時に行われる。

さらに、領域R201-1と領域R201-2の両方に光を照射した場合、つまり発光パターンL3の場合、演算部２４は、ROM２６からキャリブレーションパラメータｐ_０、キャリブレーションパラメータｐ_１、受光強度情報C_0(u,v)、および受光強度情報C_1(u,v)を読み出す。

そして演算部２４は、イメージセンサ２３から供給される出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）と、キャリブレーションパラメータｐ_０、キャリブレーションパラメータｐ_１、受光強度情報C_0(u,v)、および受光強度情報C_1(u,v)とに基づいて画素位置（u,v）ごとに以下の式（４）乃至式（８）を満たす測距結果L_(u,v)を求める。換言すれば、演算部２４は、以下の式（４）乃至式（８）からなる連立方程式を解くことで測距結果L_(u,v)を求める。

なお、式（８）においてｗ_０およびｗ_１は、実際の測距時におけるレーザ３２から出力する光（照射光）の光量を調整するためのパラメータであり、以下では、これらのｗ_０およびｗ_１を発光強度調整値と呼ぶこととする。

例えば発光強度調整値ｗ_０は、領域R201-1の照射用の光の光量を示す０から１００までの何れかの値とされる。特に、発光強度調整値ｗ_０は、領域R201-1の照射用の光の最大の発光強度（光量）を１００としたときの実際に出力させる領域R201-1の照射用の光の発光強度を示す値とされる。

同様に、発光強度調整値ｗ_１は、領域R201-2の照射用の光の光量を示しており、例えば領域R201-2の照射用の光の最大の発光強度を１００としたときの実際に出力させる領域R201-2の照射用の光の発光強度を示す０から１００までの何れかの値とされる。

発光強度調整値ｗ_０および発光強度調整値ｗ_１は、制御部２１によって設定される。なお、発光強度調整値ｗ_０および発光強度調整値ｗ_１については、例えば上述の特許文献２に記載されている。

ここで、式（４）乃至式（８）について説明する。

領域R201-1の照射用の光と、領域R201-2の照射用の光の両方を発光させた場合、イメージセンサ２３の各画素で受光される光（反射光）は合成波となる。その合成波のうちの１つ（一方）の成分は領域R201-1の照射用の光であり、もう１つ（他方）の成分は領域R201-2の照射用の光である。

イメージセンサ２３における画素位置（u,v）の画素で受光された光のうち、領域R201-1の照射用の光の成分に基づく出力を出力データI_0(u,v)および出力データQ_0(u,v)とし、領域R201-2の照射用の光の成分に基づく出力を出力データI_1(u,v)および出力データQ_1(u,v)とする。

測距時に領域R201-1の照射用の光のみを使用した場合におけるキャリブレーションパラメータはｐ_０であるから、式（４）が成立する。同様に、領域R201-2の照射用の光のみを使用した場合におけるキャリブレーションパラメータはｐ_１であるから、式（５）が成立する。

また、測距時に領域R201-1の照射用の光と領域R201-2の照射用の光の両方を使用した（発光させた）場合には、イメージセンサ２３の各画素で受光する光は、領域R201-1の照射用の光と領域R201-2の照射用の光の合成波である。

したがって、実際の測距時における各画素位置（u,v）の画素からの出力、すなわち画素における光の観測値を、出力データI_(u,v)および出力データQ_(u,v)とすると、上述の式（６）および式（７）が成立する。

出力データI_(u,v)の二乗値（差分Ｉの二乗値）と出力データQ_(u,v)の二乗値（差分Ｑの二乗値）を加算して平方根をとった値は、画素位置（u,v）の画素で受光された光の強度となる。このことは、例えば非特許文献１の式（２７）に記載されている。

また、実際の測距時には、発光強度調整値ｗ_０により示される発光強度で領域R201-1の照射用の光が出力され、発光強度調整値ｗ_１により示される発光強度で領域R201-2の照射用の光が出力される。

したがって、各画素位置（u,v）の画素で受光される、領域R201-1の照射用の光の強度と領域R201-2の照射用の光の強度との比は、「w₀×C_0(u,v)」：「w₁×C_1(u,v)」となるので、上述の式（８）が成立する。

以上が、式（４）乃至式（８）の説明である。

式（４）乃至式（８）において、未知数は測距結果L_(u,v)、出力データI_0(u,v)、出力データQ_0(u,v)、出力データI_1(u,v)、および出力データQ_1(u,v)である。そのため、式（４）乃至式（８）の連立方程式を解くことで、これら未知数を求め、得られた測距結果L_(u,v)を出力すればよい。この場合においても、上述の式（１）における場合と同様に、距離（測距結果L_(u,v)）を求める計算の過程でキャリブレーション処理、すなわちキャリブレーションパラメータに基づく補正も同時に行われる。

〈書き込み処理の説明〉
続いて、第２の実施の形態における書き込み処理について説明する。

すなわち、以下、図１０のフローチャートを参照して、キャリブレーションパラメータ等がROM２６へと書き込まれる書き込み処理について説明する。

ステップＳ７１において制御部２１は、制御信号をLDD３１－１に供給してLDD３１－１を制御することで、レーザ３２－１に領域R201-1の照射用の光を発光（出力）させるとともに、イメージセンサ２３の各画素に制御信号を供給し、受光動作を行わせる。すなわち、発光パターンL1での発光が行われる。

この場合、制御部２１は、発光強度調整値ｗ_０＝100として、最大の発光強度でレーザ３２－１が光を出力するようにLDD３１－１を制御し、壁面１２には、領域R201-1の照射用の光のみが照射される。

また、演算部２４は、イメージセンサ２３から供給された各画素位置（u,v）の出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）とを用い、かつキャリブレーションパラメータは用いずに距離（測距結果L_(u,v)）を計算し、その計算結果を、出力端子２５を介してキャリブレーション装置に出力する。

キャリブレーション装置は、演算部２４から供給された各画素位置（u,v）の測距結果L_(u,v)と予め用意された実際の距離（距離の真値）とに基づいてキャリブレーションを行い、全画素位置（u,v）で共通のキャリブレーションパラメータｐ_０を求める。なお、キャリブレーション装置は、既存の装置を用いればよい。

キャリブレーション装置は、キャリブレーション結果として得られたキャリブレーションパラメータｐ_０を、ToF測距装置１１の入力端子等から、制御部２１を介してROM２６へと供給する。

ステップＳ７２においてROM２６は、キャリブレーション装置から供給されたキャリブレーションパラメータｐ_０を記録する。

ステップＳ７３においてROM２６は、各画素位置（u,v）におけるConfidenceの値を受光強度情報C_0(u,v)として記録する。

例えば演算部２４は、ステップＳ７１で得られた出力データI_(u,v)および出力データQ_(u,v)に基づいて、出力データI_(u,v)の二乗値と出力データQ_(u,v)の二乗値とを加算して平方根をとった値をConfidenceとして求める。そして演算部２４は、求めたConfidenceの値、すなわち受光した光の強度を受光強度情報C_0(u,v)としてROM２６に供給し、記録させる。

なお、Confidenceについては、例えば非特許文献１の式（２７）に記載されている。また、受光強度情報C_0(u,v)の算出は、演算部２４に限らず、制御部２１により行われてもよいし、キャリブレーション装置により行われてもよい。

ステップＳ７４において制御部２１は、制御信号をLDD３１－２に供給することで、レーザ３２－２に領域R201-2の照射用の光を発光させるとともに、イメージセンサ２３の各画素に制御信号を供給し、受光動作を行わせる。すなわち、発光パターンL2での発光が行われる。

この場合、制御部２１は、発光強度調整値ｗ_１＝100として、最大の発光強度でレーザ３２－２が光を出力するようにLDD３１－２を制御し、壁面１２には、領域R201-2の照射用の光のみが照射される。

演算部２４は、イメージセンサ２３から供給された各画素位置（u,v）の出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）とを用いて、キャリブレーションパラメータを用いずに距離（測距結果L_(u,v)）を計算し、その計算結果を、出力端子２５を介してキャリブレーション装置に出力する。

また、キャリブレーション装置は、演算部２４から供給された各画素位置（u,v）の測距結果L_(u,v)と予め用意された実際の距離とに基づいてキャリブレーションを行い、全画素位置（u,v）で共通のキャリブレーションパラメータｐ_１を求める。

キャリブレーション装置は、キャリブレーション結果として得られたキャリブレーションパラメータｐ_１を、ToF測距装置１１の制御部２１等を介してROM２６に供給する。

ステップＳ７５においてROM２６は、キャリブレーション装置から供給されたキャリブレーションパラメータｐ_１を記録する。

ステップＳ７６においてROM２６は、各画素位置（u,v）におけるConfidenceの値を受光強度情報C_1(u,v)として記録する。

すなわち、ステップＳ７６では、ステップＳ７３における場合と同様に、演算部２４は、ステップＳ７４で得られた出力データI_(u,v)および出力データQ_(u,v)に基づいてConfidenceを求め、そのConfidenceの値を受光強度情報C_1(u,v)としてROM２６に記録させる。

このようにしてROM２６にキャリブレーションパラメータｐ_０、キャリブレーションパラメータｐ_１、受光強度情報C_0(u,v)、および受光強度情報C_1(u,v)が格納される（書き込まれる）と、書き込み処理は終了する。

これにより、実際に測距を行うときの距離の計算時に行われるキャリブレーション処理に必要なキャリブレーションパラメータ等が全てROM２６に格納されたことになる。

以上のようにしてToF測距装置１１は、発光パターンL1で求められたキャリブレーションパラメータｐ_０および受光強度情報C_0(u,v)と、発光パターンL2で求められたキャリブレーションパラメータｐ_１および受光強度情報C_1(u,v)とをROM２６に記録する。

このようにすることで、レーザ３２により光を照射する領域（発光領域）を選択可能なToF測距装置１１において、実際の測距時に適切なキャリブレーション処理を行うことができるようになる。特に、この場合、全ての発光パターンについてキャリブレーションパラメータを保持しておく必要がないので、ROM２６に記録しておくべきデータの量を削減することができる。

〈測距処理の説明〉
次に、実際の測距時に行われる処理について説明する。

すなわち、以下、図１１のフローチャートを参照して、ToF測距装置１１による測距処理について説明する。

なお、ステップＳ１０１およびステップＳ１０２の処理は、図９のステップＳ４１およびステップＳ４２における場合と同様であるので、その説明は省略する。

但し、ステップＳ１０１では、制御部２１は、選択した発光パターン等に応じて、発光させる各レーザ３２についての発光強度調整値を決定し、その発光強度調整値により示される発光強度でレーザ３２が発光するようにLDD３１を制御する。

また、ステップＳ１０１およびステップＳ１０２の処理が行われると、演算部２４は、制御部２１から供給された情報に基づいて、レーザ群３２の発光パターンを判別する。

ステップＳ１０３において演算部２４は、制御部２１から供給された情報に基づいて、発光パターンが発光パターンL1であるか否かを判定する。

ステップＳ１０３において発光パターンL1であると判定された場合、演算部２４は、発光パターンL1に対応する全画素位置（u,v）で共通のキャリブレーションパラメータｐ_０をROM２６から読み出し、その後、処理はステップＳ１０４へと進む。

ステップＳ１０４において演算部２４は、イメージセンサ２３から供給された出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）と、キャリブレーションパラメータｐ_０とに基づいて、上述の式（２）により画素位置（u,v）ごとに距離（測距結果L_(u,v)）を計算する。

演算部２４は、得られた測距結果L_(u,v)を、出力端子２５を介して外部に出力し、測距処理は終了する。

また、ステップＳ１０３において発光パターンL1ではないと判定された場合、ステップＳ１０５において演算部２４は、制御部２１から供給された情報に基づいて、発光パターンが発光パターンL2であるか否かを判定する。

ステップＳ１０５において発光パターンL2であると判定された場合、演算部２４は、発光パターンL2に対応する全画素位置（u,v）で共通のキャリブレーションパラメータｐ_１をROM２６から読み出し、その後、処理はステップＳ１０６へと進む。

ステップＳ１０６において演算部２４は、イメージセンサ２３から供給された出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）と、キャリブレーションパラメータｐ_１とに基づいて、上述の式（３）により画素位置（u,v）ごとに距離（測距結果L_(u,v)）を計算する。

演算部２４は、得られた測距結果L_(u,v)を、出力端子２５を介して外部に出力し、測距処理は終了する。

また、ステップＳ１０５において発光パターンL2ではないと判定された場合、すなわち発光パターンL3である場合、処理はステップＳ１０７へと進む。

この場合、演算部２４は、ROM２６からキャリブレーションパラメータｐ_０、キャリブレーションパラメータｐ_１、受光強度情報C_0(u,v)、および受光強度情報C_1(u,v)を読み出す。また、演算部２４は、ステップＳ１０１での発光時における発光強度調整値ｗ_０および発光強度調整値ｗ_１を制御部２１から取得する。

ステップＳ１０７において演算部２４は、ROM２６から読み出したキャリブレーションパラメータと受光強度情報を用いて、画素位置（u,v）ごとに距離（測距結果L_(u,v)）を計算する。

具体的には演算部２４は、イメージセンサ２３から供給された出力データI_(u,v)および出力データQ_(u,v)と、画素位置（u,v）と、キャリブレーションパラメータｐ_０、キャリブレーションパラメータｐ_１、受光強度情報C_0(u,v)、および受光強度情報C_1(u,v)と、発光強度調整値ｗ_０および発光強度調整値ｗ_１とに基づいて式（４）乃至式（８）の連立方程式を解く。

これにより、式（４）乃至式（８）で未知数となっている測距結果L_(u,v)、出力データI_0(u,v)、出力データQ_0(u,v)、出力データI_1(u,v)、および出力データQ_1(u,v)が求まる。

演算部２４は、このようにして画素位置（u,v）ごとに求められた測距結果L_(u,v)を、出力端子２５を介して外部に出力し、測距処理は終了する。

以上のようにしてToF測距装置１１は、発光パターンに応じて、キャリブレーションパラメータや受光強度情報を用いて、測距対象となる壁面１２までの距離を計算する。

このようにすることで、レーザ３２により光を照射する領域（発光領域）を選択可能なToF測距装置１１において、壁面１２までの距離の計算時に、発光パターンに応じた適切なキャリブレーション処理を行うことができる。これにより、より正確に測距を行うことができる。

特にToF測距装置１１では、発光パターンL3での測距のために、画素位置（u,v）ごとのキャリブレーションパラメータｐ_01(u,v)を用意する必要がないため、ROM２６に記録しておくべきデータの量を削減することができる。

〈一般化した場合について〉
ところで、以上においては、第２の実施の形態の説明をするにあたり、壁面１２が領域R201-1と領域R201-2に２分割される場合、すなわちレーザ３２やLDD３１の個数Ｍが２である場合について説明したが、以下では一般化した場合について説明する。

ここでは、Ｍ個のレーザ３２のうちの所定のレーザ３２－ｍ（但し、ｍ＝１乃至Ｍ）により光が出力されると、その光はレーザ３２－ｍに対応する壁面１２上の領域R201-mに照射されるとする。換言すれば、レーザ３２－ｍは領域R201-mの照射用の光を出力する。

キャリブレーション時、すなわち書き込み処理時にはＭ個のレーザ３２、すなわちＭ個の領域R201を１つずつ発光させ、図１０のステップＳ７１およびステップＳ７２における場合と同様にして、キャリブレーション装置によりキャリブレーションが行われる。

なお、キャリブレーション時には、レーザ３２－ｍは、発光強度調整値が１００とされて最大の発光強度で発光するように制御される。また、この場合においてもキャリブレーション装置は、既存の装置を用いればよい。

ここで、１つのレーザ３２－ｍ（但し、ｍ＝１乃至Ｍ）のみを発光させてキャリブレーションを行うことで得られた、全画素位置（u,v）で共通のキャリブレーションパラメータをｐ_m-1とする。

このキャリブレーションパラメータをｐ_m-1は、レーザ３２－ｍにより出力される領域R201-mの照射用の光について求められた、１つの領域R201-mのみを発光領域とした場合、すなわち領域R201-mの照射用の光のみが照射された場合におけるキャリブレーションパラメータである。

ToF測距装置１１では、このようにして領域R201-mごと、つまり領域R201-mの照射用の光ごとに得られたＭ個のキャリブレーションパラメータｐ_m-1（ｍ＝１乃至Ｍ）がROM２６に書き込まれる。

また、１つのレーザ３２－ｍ（但し、ｍ＝１乃至Ｍ）のみを発光させたときに得られた各画素位置（u,v）における出力データI_(u,v)および出力データQ_(u,v)に基づいてConfidenceの値が求められる。そして、得られたConfidenceの値が受光強度情報C_m-1(u,v)としてROM２６に記録される。

このようにしてキャリブレーション処理、すなわち図１０に対応する書き込み処理を行うことで、ROM２６には、ｍ（ｍ＝１乃至Ｍ）番目の領域R201-mのみに光を照射した場合のキャリブレーションパラメータｐ_m-1が格納される。

また、ｍ番目の領域R201-mのみに光を照射した場合のイメージセンサ２３の各画素位置（u,v）にある画素で受光する光の強度、すなわちConfidenceの値を示す受光強度情報C_m-1(u,v)もROM２６に格納される。

次に、実際の測距時における処理について説明する。

ここでは、ToF測距装置１１がレーザ群３２を構成するＭ個のレーザ３２のうちの２以上であるＭ_ａ個のレーザ３２を発光させたとする。換言すれば、２以上のＭ_ａ個の領域R201が測距対象とされたとする。

以下では、発光したレーザ３２、すなわち光が照射される領域R201を示すインデックスをr_m（但し、m＝0乃至M_a-1）とする。また、インデックスr_mにより示されるレーザ３２をレーザ３２－r_mと記し、そのレーザ３２－r_mに対応する領域R201を領域R201-r_mと記すこととする。

したがって、Ｍ個のレーザ３２のうち、レーザ３２－r_0乃至レーザ３２－r_(M_a-1)以外のレーザ３２は発光せず、レーザ３２－r_mにより、領域R201ごとの照射用の光が領域R201-r_mに対して照射される。

この場合、演算部２４では、以下の式（９）乃至式（１２）を満たす出力データI_{r_m(u,v)}、出力データQ_{r_m(u,v)}、および測距結果L_(u,v)が求められる。

すなわち、演算部２４は出力データI_(u,v)、出力データQ_(u,v)、画素位置（u,v）、キャリブレーションパラメータｐ_{r_m}、受光強度情報C_{r_m(u,v)}、および発光強度調整値ｗ_{r_m}に基づいて測距結果L_(u,v)を求め、得られた測距結果L_(u,v)を、出力端子２５を介して外部に出力する。測距結果L_(u,v)の計算時（計算過程）では、キャリブレーションパラメータｐ_{r_m}に基づく、サイン波の光に関する補正や制御信号の伝達時間に関する補正も行われる。

ここで、発光したレーザ３２を示すインデックスr_mにおけるｍは0乃至M_a-1である。

また、式（１２）においてｗ_{r_m}は、インデックスr_mにより示されるレーザ３２－r_mについての領域R201-r_mの照射用の光の光量を示す発光強度調整値であり、上述の例と同様に、発光強度調整値ｗ_{r_m}の値は０から１００までの何れかの値とされる。

実際の測距時には、制御部２１により定められた発光強度調整値ｗ_{r_m}に従って、LDD３１－r_mはレーザ３２－r_mを発光させる。すなわち、レーザ３２－r_mは、発光強度調整値ｗ_{r_m}により示される発光強度（光量）で発光する。

ここで、式（９）乃至式（１２）について説明する。

Ｍ_ａ個のレーザ３２（領域R201）を発光させた場合、イメージセンサ２３の各画素で受光される光（反射光）は合成波となる。

その合成波のうち、レーザ３２－r_mから出力された光の成分、すなわち領域R201-r_mの照射用の光の成分に基づく画素の出力を出力データI_{r_m(u,v)}および出力データQ_{r_m(u,v)}とする。

測距時に領域R201-r_mの照射用の光のみを使用した場合におけるキャリブレーションパラメータはｐ_{r_m}であるから、式（９）が成立する（但し、m＝0乃至M_a-1）。

また、実際に各画素位置（u,v）にある画素から出力される出力データであるＩおよびＱ、すなわち画素における光の観測値を出力データI_(u,v)および出力データQ_(u,v)とすると、式（１０）および式（１１）が成立する。

上述のように、出力データI_(u,v)の二乗値と出力データQ_(u,v)の二乗値を加算して平方根をとった値は、画素位置（u,v）の画素で受光された光の強度となり、このことは、例えば非特許文献１の式（２７）に記載されている。

また、実際の測距時には、発光強度調整値ｗ_{r_m}により示される発光強度で領域R201-r_mの照射用の光が出力される。

したがって、各画素位置（u,v）の画素で受光される、領域R201-r_mの照射用の光の強度の比は、「w_{r_m}×C_{r_m(u,v)}」に比例するので式（１２）が成立する。

以上が、式（９）乃至式（１２）の説明である。

式（９）乃至式（１２）において、未知数は測距結果L_(u,v)、出力データI_{r_m(u,v)}、および出力データQ_{r_m(u,v)}である。そのため、式（９）乃至式（１２）の連立方程式を解くことで、これら未知数を求め、得られた測距結果L_(u,v)を出力すればよい。

また、測距時に１つの領域R201-mのみに光が照射された場合には、図１１のステップＳ１０４やステップＳ１０６における場合と同様の処理が行われる。すなわち、領域R201-mの照射用の光についてのキャリブレーションパラメータｐ_m-1に基づいて、測距結果L_(u,v)が求められる。

最後に、以上において説明した本技術の特徴と利点を述べる。

まず、上述した第１の実施の形態の特徴と利点は、以下の通りである。

図５の矢印Q53に示した例では、領域Ａについては、領域R201-1を照射する光と領域R201-2を照射する光との合成波が受光されて測距が行われる。

これらの２つの光は異なるので、合成波は、領域R201-1を照射する光とは異なり、かつ、領域R201-2を照射する光とも異なる。しかも、合成波を構成する「領域R201-1を照射する光」と「領域R201-2を照射する光」の割合は、その合成波が受光されるセンサ上の画素の位置に依存している。

そのため、領域R201-1と領域R201-2の両方を発光した場合のためのキャリブレーションパラメータは、どのような形式で保持すべきか、そして、どのように補正を行えばよいかが知られていなかった。

そこで、第１の実施の形態では、領域R201-1を照射する光と領域R201-2を照射する光の両方を照射した場合のためのキャリブレーションパラメータとして、画素位置ごとに適切な値（キャリブレーションパラメータｐ_01(u,v)）がROM２６に書き込まれるようにした。これにより、各画素位置について、適切な補正（キャリブレーション処理）を行うことができるようになる。

また、第２の実施の形態の特徴と利点は、以下の通りである。

各領域R201のみに光を照射したときにイメージセンサ２３の各画素位置（u,v）にある画素で受光する光の強度、すなわち受光強度情報C_m-1(u,v)に関するデータがROM２６に書き込まれる。実際の測距時には、この受光強度情報C_m-1(u,v)の比を用いることでキャリブレーション処理が行われる。このような構成とすることで、ROM２６に格納しておくべきデータの量をより少なくすることができる。

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、レーザ、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

〈移動体への応用例〉
このように、本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１４は、撮像部１２０３１の設置位置の例を示す図である。

図１４では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１や車外情報検出ユニット１２０３０等に適用され得る。具体的には、例えば図６に示したToF測距装置１１を撮像部１２０３１および車外情報検出ユニット１２０３０として用いることができる。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、
２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、
前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、
測距対象の各前記領域の照射用の光について求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータと
に基づいて前記領域までの距離を計算する演算部を備える
測距装置。
（２）
前記距離の計算時に、前記キャリブレーションパラメータに基づく補正が行われる
（１）に記載の測距装置。
（３）
前記キャリブレーションパラメータは、前記センサの全画素共通で用いられる
（１）または（２）に記載の測距装置。
（４）
発光強度調整値に応じた光量で、前記領域ごとの照射用の光が照射された場合、
前記演算部は、前記出力データ、前記寄与率に関する情報、前記キャリブレーションパラメータ、および前記領域の照射用の光ごとの前記発光強度調整値に基づいて前記距離を計算する
（１）乃至（３）の何れか一項に記載の測距装置。
（５）
１つの前記領域のみに対して、前記領域の照射用の光が照射された場合、
前記演算部は、前記出力データおよび前記キャリブレーションパラメータに基づいて前記距離を計算する
（１）乃至（４）の何れか一項に記載の測距装置。
（６）
前記演算部は、前記画素ごとに前記距離を計算する
（１）乃至（５）の何れか一項に記載の測距装置。
（７）
前記寄与率に関する情報、および前記キャリブレーションパラメータを記録する記録部をさらに備える
（１）乃至（６）の何れか一項に記載の測距装置。
（８）
複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置が、
２以上の各前記領域に対して、前記領域ごとの照射用の光を照射した場合、
前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、
測距対象の各前記領域の照射用の光について求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータと
に基づいて前記領域までの距離を計算する
測距方法。
（９）
複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置を制御するコンピュータに、
２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、
前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、
測距対象の各前記領域の照射用の光について求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータと
に基づいて前記領域までの距離を計算する
ステップを含む処理を実行させるプログラム。
（１０）
複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、
前記複数の前記領域からの光を受光するセンサの画素ごとに求められた、前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、
前記領域の照射用の光ごとに求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータと
を記録する記録部を備える
測距装置。
（１１）
複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、
２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、
前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
前記画素ごとに求められたキャリブレーションパラメータと
に基づいて前記領域までの距離を計算する演算部を備える
測距装置。
（１２）
前記距離の計算時に、前記キャリブレーションパラメータに基づく補正が行われる
（１１）に記載の測距装置。
（１３）
１つの前記領域のみに対して、前記領域の照射用の光が照射された場合、
前記演算部は、前記出力データと、前記１つの前記領域の照射用の光のみが照射された場合における、前記センサの全画素共通のキャリブレーションパラメータとに基づいて前記距離を計算する
（１１）または（１２）に記載の測距装置。
（１４）
前記演算部は、前記画素ごとに前記距離を計算する
（１１）乃至（１３）の何れか一項に記載の測距装置。
（１５）
前記画素ごとに求められたキャリブレーションパラメータ、および前記領域の照射用の光ごとに求められた全画素共通のキャリブレーションパラメータを記録する記録部をさらに備える
（１３）に記載の測距装置。
（１６）
複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置が、
２以上の各前記領域に対して、前記領域ごとの照射用の光を照射した場合、
前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
前記画素ごとに求められたキャリブレーションパラメータと
に基づいて前記領域までの距離を計算する
測距方法。
（１７）
複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置を制御するコンピュータに、
２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、
前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
前記画素ごとに求められたキャリブレーションパラメータと
に基づいて前記領域までの距離を計算する
ステップを含む処理を実行させるプログラム。
（１８）
複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、
前記複数の前記領域からの光を受光するセンサの画素ごとに求められたキャリブレーションパラメータを記録する記録部を備える
測距装置。

１１ ToF測距装置， ２１ 制御部， ２２ 発光部， ２３ イメージセンサ， ２４ 演算部， ２５ 出力端子， ２６ ROM

Claims (18)

1. 複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、
   ２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、
   前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
   前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、
   測距対象の各前記領域の照射用の光について求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータと
   に基づいて前記領域までの距離を計算する演算部を備える
   測距装置。
2. 前記距離の計算時に、前記キャリブレーションパラメータに基づく補正が行われる
   請求項１に記載の測距装置。
3. 前記キャリブレーションパラメータは、前記センサの全画素共通で用いられる
   請求項１に記載の測距装置。
4. 発光強度調整値に応じた光量で、前記領域ごとの照射用の光が照射された場合、
   前記演算部は、前記出力データ、前記寄与率に関する情報、前記キャリブレーションパラメータ、および前記領域の照射用の光ごとの前記発光強度調整値に基づいて前記距離を計算する
   請求項１に記載の測距装置。
5. １つの前記領域のみに対して、前記領域の照射用の光が照射された場合、
   前記演算部は、前記出力データおよび前記キャリブレーションパラメータに基づいて前記距離を計算する
   請求項１に記載の測距装置。
6. 前記演算部は、前記画素ごとに前記距離を計算する
   請求項１に記載の測距装置。
7. 前記寄与率に関する情報、および前記キャリブレーションパラメータを記録する記録部をさらに備える
   請求項１に記載の測距装置。
8. 複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置が、
   ２以上の各前記領域に対して、前記領域ごとの照射用の光を照射した場合、
   前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
   前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、
   測距対象の各前記領域の照射用の光について求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータと
   に基づいて前記領域までの距離を計算する
   測距方法。
9. 複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置を制御するコンピュータに、
   ２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、
   前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
   前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、
   測距対象の各前記領域の照射用の光について求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータと
   に基づいて前記領域までの距離を計算する
   ステップを含む処理を実行させるプログラム。
10. 複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、
    前記複数の前記領域からの光を受光するセンサの画素ごとに求められた、前記画素で受光される光における、前記領域の照射用の光の寄与率に関する情報と、
    前記領域の照射用の光ごとに求められた、１つの前記領域の照射用の光のみが照射された場合におけるキャリブレーションパラメータと
    を記録する記録部を備える
    測距装置。
11. 複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、
    ２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、
    前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
    前記画素ごとに求められたキャリブレーションパラメータと
    に基づいて前記領域までの距離を計算する演算部を備える
    測距装置。
12. 前記距離の計算時に、前記キャリブレーションパラメータに基づく補正が行われる
    請求項１１に記載の測距装置。
13. １つの前記領域のみに対して、前記領域の照射用の光が照射された場合、
    前記演算部は、前記出力データと、前記１つの前記領域の照射用の光のみが照射された場合における、前記センサの全画素共通のキャリブレーションパラメータとに基づいて前記距離を計算する
    請求項１１に記載の測距装置。
14. 前記演算部は、前記画素ごとに前記距離を計算する
    請求項１１に記載の測距装置。
15. 前記画素ごとに求められたキャリブレーションパラメータ、および前記領域の照射用の光ごとに求められた全画素共通のキャリブレーションパラメータを記録する記録部をさらに備える
    請求項１３に記載の測距装置。
16. 複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置が、
    ２以上の各前記領域に対して、前記領域ごとの照射用の光を照射した場合、
    前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
    前記画素ごとに求められたキャリブレーションパラメータと
    に基づいて前記領域までの距離を計算する
    測距方法。
17. 複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能な測距装置を制御するコンピュータに、
    ２以上の各前記領域に対して、前記領域ごとの照射用の光が照射された場合、
    前記複数の前記領域からの光を受光するセンサの画素ごとに出力された、前記画素における受光量に応じた出力データと、
    前記画素ごとに求められたキャリブレーションパラメータと
    に基づいて前記領域までの距離を計算する
    ステップを含む処理を実行させるプログラム。
18. 複数の領域のうちの測距対象とする１以上の前記領域に選択的に光を照射可能であり、
    前記複数の前記領域からの光を受光するセンサの画素ごとに求められたキャリブレーションパラメータを記録する記録部を備える
    測距装置。

Images