JP2019158616A - 測距システム、測距方法、車載装置、車両 - Google Patents

Abstract

【課題】小型化が可能な測距システムを提供する。【解決手段】ＴＯＦ（Time Of Flight）方式で第一の距離情報を検出する距離情報取得部１１０と、複数の撮像部により撮像された複数の撮像画像を画像処理して得た第二の距離情報に、前記距離情報取得部が取得した前記第一の距離情報を統合する画像処理部１２０と、を有する測距システムであって、発光パルスを照射する照射部６０８と、前記発光パルスが対象物で反射した受光信号を検出する受光部６０５と、を有し、照射部が照射する発光パルスの幅をＡ、前記受光部が前記受光信号をサンプリングするサンプリング周期をＢとした場合、Ａ≧Ｂの関係がある。【選択図】図１２

Description

本発明は、測距システム、測距方法、車載装置、及び車両に関する。

ステレオカメラの視差計算アルゴリズムとして、特徴点のブロックマッチング方式やＳＧＭ（Semi−Global−Matching）伝播方式などが知られている。これらの方式は、左右の画像の特徴点が探索される際の視差ごとにコストを算出する方式であり、探索視差空間においてコスト最小を与える視差を検出して、視差Ｄと距離Ｚの対応式（Ｚ=ＢＦ/Ｄ）により各画素に対応する距離を計算する方式である（Ｂは基線長、Ｆは焦点距離）。

しかし、これらの視差計算アルゴリズムで決定された視差から計算される距離は、遠方領域の距離分解能を確保することが難しく、また、測距値のばらつき（分散）も大きくなる傾向がある。

例えば、車載業界では、自動運転に代表されるように遠方での測距性能の向上が求められている。そこで、空間分解能は低いが距離分解能は高いＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）と、空間分解能は高いが遠方の距離分解能が低いステレオカメラとの測定結果を統合（これをフュージョンと呼ぶ場合がある）する試みが知られている（例えば、特許文献１参照。）。特許文献１には、ＬｉＤＡＲの距離情報を、撮像画像を構成する画素と関連付けておき、画素に関連付けられた距離情報に基づく値を、撮像画像を構成する画素の視差演算に用いて視差画像を生成する視差演算システムが開示されている。このようなフュージョンにより、３次元高分解能測距結果出力、物体測距値の低分散化、不連続面の検出高度化、小型化、及び、環境ロバスト性の向上等を図ることができる。

しかしながら、従来の技術では、フュージョンのためにステレオカメラとＬｉＤＡＲが搭載される測距システムの小型化が困難であるという問題がある。まず、ＬｉＤＡＲでは発光パルスが物体で反射して得られる受光信号が大きいほど受光信号に含まれるノイズが少なくなる。このため、ＬｉＤＡＲは発光素子や受光素子の搭載数が多く、大きい発光素子や受光素子を有することが好ましい。しかし、車両など何らかの装置に搭載されることを考えると、発光素子や受光素子の搭載数には限りがあるし、そもそも大きい発光素子や受光素子は搭載できない。受光素子の大きさや数に制限がある場合、受光信号は微弱であり、ノイズレベルと受光信号のレベルとが比較的近くなる（Ｓ/Ｎが小さくなる）。このような受光信号から求められた距離は当然ながら精度が悪くなる傾向がある。

発光パルスを短パルス化すると距離の精度が向上するが、発光パルスが短くなりすぎると受光信号をＡ/Ｄ変換するために高速なサンプリング周波数が必要となる。このため、技術的に製造が困難であったり、製造できるとしてもコスト増となったりするおそれがある。

また、ステレオカメラに関しては、小型化によりステレオカメラの基線長も短くなるため、遠方の距離分解能が粗くなり、また、キャリブレーションに要する手間が格段に上がってしまう。このように、従来は小型化の要請があっても測距システムを小型化することは困難であった。

本発明は、上記課題に鑑み、小型化が可能な測距システムを提供することを目的とする。

上記課題に鑑み、本発明は、ＴＯＦ（Time Of Flight）方式で第一の距離情報を検出する距離情報取得部と、複数の撮像部により撮像された複数の撮像画像を画像処理して得た第二の距離情報に、前記距離情報取得部が取得した前記第一の距離情報を統合する画像処理部と、を有する測距システムであって、
発光パルスを照射する照射部と、前記発光パルスが対象物で反射した受光信号を検出する受光部と、を有し、前記照射部が照射する発光パルスの幅をＡ、前記受光部が前記受光信号をサンプリングするサンプリング周期をＢとした場合、Ａ≧Ｂの関係があることを特徴とする。

小型化が可能な測距システムを提供することができる。

ＬｉＤＡＲの発光パルスと受光信号を模式的に示す図の一例である。 戻り光量が微弱な場合におけるＬｉＤＡＲの発光パルスと受光信号を模式的に示す図の一例である。 ＦＷＨＭが比較的広い発光パルスと受光信号を模式的に示す図の一例である。 一般的な視差空間を用いた場合に得られる距離を説明する図の一例である。 ＬｉＤＡＲの距離情報とステレオカメラの距離画像の従来のフュージョン方法を説明する図の一例である。 本実施例のフュージョン方法を説明する図の一例である。 移動体の一例である自動車に搭載された測距システムを示す図の一例である。 レーザレーダ測距部によるレーザ光の照射範囲について説明する図の一例である。 ルームミラーの前方に車載された測距システムの外観図の一例である。 ステレオ画像演算部によるステレオ画像の撮像範囲を説明するための図である。 レーザレーダ測距部によるレーザ光の照射位置とステレオ画像演算部により撮像されたステレオ画像（基準画像）の画素位置との関係について説明する図の一例である。 レーザレーダ測距部の機能構成図の一例である。 サンプリング周期と距離分解能の関係を説明する図の一例である。 測距システムの構成図の一例である。 右カメラにより撮像された基準画像と、左カメラにより撮像された比較画像における、注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）のコストとして、ＳＡＤ（Sum of Absolute Difference）を算出する例を示した図である。 ある注目している画素の視差ごとのＳＡＤの一例を示す図である。 ＳＧＭ伝播方式を用いて伝播コストを算出する処理を模式的に示した図である。 測距システムの動作手順を説明するフローチャート図の一例である。 ステレオマッチングコストの一例を示す図である。 ＬｉＤＡＲコストの算出方法を説明する図の一例である。 ステレオマッチングコストとＬｉＤＡＲコストのフュージョンを模式的に示す図の一例である。 エネルギーコストの算出方法を説明する図の一例である。 エネルギーコストの算出方法を説明する図の一例である。 エネルギーコストが最小となる距離の算出方法を説明する図の一例である。 Ｚ空間の距離分解能について補足する図の一例である。 低距離側と高距離側の距離分解能を説明する図の一例である。 測距システムによる測距結果の効果を説明する図の一例である。

以下、本発明を実施するための形態の一例として測距システム及び測距システムが行う測距方法について説明する。

＜ＬｉＤＡＲを小型化することに関する補足＞
小型化されたＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）の受光信号は微弱であり、受光信号のＳ/Ｎ比が小さくなり、距離の精度が低下するおそれがある。そこで、精度の低下を補うために発光パルスを短パルス化することが検討される。以下、発光パルスの幅が短い場合の不都合を説明する。

図１は、ＬｉＤＡＲの発光パルスＴＸと受光信号ＲＸを模式的に示す図の一例である。測距システムは、ＬｉＤＡＲが発光パルスＴＸを出力してから、受信信号が受信されるまでの時間から距離を求める。実際には受光信号ＲＸがいつ受光されるかは分からないので、発光パルスＴＸの出力の直後から受光信号ＲＸのサンプリングを開始する。図１の受光信号ＲＸの黒丸がサンプリングされた受光信号ＲＸである。

図１では、短パルス化された発光パルスＴＸに対し、十分な戻り光量が受光信号ＲＸに認められる。戻り光量とは受光信号ＲＸのパルスの大きさである。発光パルスＴＸが例えば車両に当たって戻ってくる受光信号ＲＸのＦＷＨＭ（Full Width at Half Maximum）は、発光パルスＴＸのＦＷＨＭとほとんど変わらない。光から見た車両の速度は止まって見えるのでドップラー効果は考慮しなくてよいためである。

図２は、戻り光量が微弱な場合におけるＬｉＤＡＲの発光パルスＴＸと受光信号ＲＸを模式的に示す図の一例である。対象物の光の反射率が小さいか、又は、遠距離にある場合、図２（ａ）に示すように受光信号ＲＸの戻り光量が微弱になる。図２では、受光信号ＲＸのピークが小さくなり戻り光量が小さくなっている。この場合、Ｓ/Ｎ比が小さくなり距離の精度が低下するおそれがある。

また、例えば、西日などの影響で生じるノイズと受信信号のレベルが同程度の場合、戻り光量は大きくても受光信号ＲＸの特定が困難になる。図２（ｂ）では、発光パルスＴＸの反射分に加え、西日などによるノイズを受光信号ＲＸが含むため、発光パルスＴＸの反射分と同等以上のピークが得られている。このような波形では、発光パルスＴＸが出力されてから受光信号ＲＸが受光されるまでの時間の精度が低下するおそれがある。

＜本実施形態のＬｉＤＡＲの発光パルスＴＸと受光信号ＲＸ＞
図２のような受信信号に対しては、受光信号ＲＸのサンプリング周期を短くすることで、受光信号ＲＸの波形の復元がしやすくなる。しかし、演算負荷が高くなりＬｉＤＡＲの製造難易度が上がり製造できるとしてもコスト増をもたらす。

そこで、比較的広いＦＷＨＭの発光パルスＴＸを採用することが検討される。これにより、受光信号ＲＸのＦＷＨＭも広くなるため、Ａ/Ｄ変換のサンプリング周波数はそれほど速くなくてよい。つまり、比較的長いサンプリング周期でも受光信号ＲＸの復元が可能になる。この結果、ＦＷＨＭが狭いＬｉＤＡＲよりも、比較的安価なものを使用できる。

図３は、ＦＷＨＭが比較的広い発光パルスＴＸと受光信号ＲＸを模式的に示す図の一例である。まず、図３（ａ）では、受光信号ＲＸの戻り光量が大きいので、精度のよい距離を算出できる。図３（ｂ）は、対象物の光の反射率が小さいか、又は、遠距離にあるため、戻り光量が微弱な場合の、ＬｉＤＡＲの発光パルスＴＸと受光信号ＲＸを模式的に示す図の一例である。受光信号ＲＸの強さは図３（ａ）よりも低下しているが、ＦＷＨＭが広く比較的容易に受光信号ＲＸの波形を復元できるため、距離の精度が低下しにくい。

図３（ｃ）は、西日などの影響でノイズが多いＬｉＤＡＲの発光パルスＴＸと受光信号ＲＸを模式的に示す図の一例である。ノイズの影響で受光信号ＲＸ以外のピークが見られるが、ＦＷＨＭが広いため、受信信号とは関係なくピークを示すノイズをサンプリングする可能性が低下し、距離の精度が低下しにくいと考えられる。

本実施形態の測距システムは、図３（ｂ）図３（ｃ）に示すように、発光パルスＴＸの幅よりもサンプリング周期が短いことが特徴の1つとなる。発光パルスＴＸの幅で少なくとも1つ以上の受光信号ＲＸをサンプリングし、好ましくは３点以上の受光信号をサンプリングする。受光信号ＲＸのパルス幅を広く取れるため、受光素子の数や大きさの制限が少なくなり、測距システムの小型化が容易になる。

また、受光信号ＲＸのパルス幅を広く取れるため、Ａ/Ｄ変換のサンプリング周波数もそれほど速くなくて済み、コスト増となりにくい。サンプリング周波数がそれほど早くないため、距離分解能を粗くすることが可能となり、距離演算時の演算負荷を低減できる。

更に、発光パルスが広くて受光信号も広ければＡ/Ｄ変換のサンプリング周波数はそれほど速くなくて済むので、例えば、ノイズレベルと信号レベルが同程度の場合でも、ノイズレベル信号を取らずに済む可能性が上がる。

＜用語について＞
ＴＯＦ（Time Of Flight）方式は、出力した信号が戻って来るまでの時間で距離を測定する方式を言う。

サンプリングとは、連続したデータから一部を抽出することをいう。本実施形態では更にＡ／Ｄ変換することを含む。

コストとは、このコストが算出された距離（あるいは視差）の選択されやすさの指標である。

＜ＬｉＤＡＲとステレオカメラのフュージョン＞
図４は、一般的な視差空間を用いた場合に得られる距離Ｚを説明する図の一例である。図４（ａ）はブロックマッチング及びＳＧＭ伝播方式により得られるコストＣ（ｐ，ｄ）と伝播コストＬｒ（ｐ，Ｚ）を示す。横軸は視差ｄを単位とするシフト量である。図４（ａ）では探索範囲を６４画素とする。ｐは注目画素、ｄは基準画像と比較画像のシフト量（探索視差）である。６４画素の探索範囲で最も小さいコストＣ（ｐ、ｄ）又は伝播コストＬｒ（ｐ，Ｚ）が注目している画素ｐの視差（整数視差）として採用される。

図４（ｂ）はＺ空間におけるコストＣ（ｐ，ｄ）又は伝播コストＬｒ（ｐ，Ｚ）を示す。図４（ａ）の視差ｄから式（１）により距離Ｚが求められる。
Ｚ＝ＢＦ／ｄ …（１）
なお、Ｂはステレオカメラにおける左右のカメラの光軸間距離、Ｆは左右のカメラの焦点距離である。図４（ｂ）に示すように、Ｚ空間では、コストＣ（ｐ，ｄ）又は伝播コストＬｒ（ｐ，Ｚ）が得られる距離Ｚに疎密が生じる。これは距離Ｚを算出する式（１）の分母にｄが含まれているため、距離Ｚがｄに反比例し、ｄが０に近いと距離Ｚが大きく変化するためである。

したがって、一般的なブロックマッチングは遠距離側で粗いコスト伝播をしているのと同義になり、遠距離で高精度を得ることが困難になる。

図５はＬｉＤＡＲ９の距離情報とステレオカメラ８の距離画像の従来のフュージョン方法を説明する図の一例である。従来は、ステレオカメラ８がブロックマッチング等で距離画像を出力した後に、ＬｉＤＡＲ９が測定する距離情報を後発的に追加するフュージョン方法が一般的であった。このフュージョン方法では、図４で説明したようにステレオカメラ８の距離画像にそもそも多くの誤差が含まれているため、ＬｉＤＡＲの距離情報を加えても精度の向上に限界があった。

そこで、本実施形態では、図６に示すようにステレオカメラ８がブロックマッチング等で距離画像を出力する前にＬｉＤＡＲ９が測定した距離情報をフュージョンさせる。図６（ａ）は本実施形態におけるＬｉＤＡＲ９の距離情報とステレオカメラ８の距離画像のフュージョン方法を説明する図の一例である。ステレオカメラ８は距離画像を出力する前にＬｉＤＡＲ９が出力する距離情報をコストＣ（ｐ，ｄ）にフュージョンさせる。

そして、図６（ｂ）に示すように、このフュージョンの際、ステレオカメラ８はＺ空間でコストＣ（ｐ，Ｚ）を演算する。図６（ｂ）はＺ空間におけるコストＣ（ｐ，Ｚ）及び伝播コストＬｒ（ｐ，Ｚ）の一例を示す。ブロックマッチング等で得られたコストをＺ空間でフュージョンさせるため、測距システムはＺ空間のコストを疎密の少なくなるように補間する。そして、このＺ空間でステレオカメラ８が算出したコストＣ（ｐ，Ｚ）とＬｉＤＡＲが検出したコストをフュージョンする。

したがって、Ｚ空間においてコストが最小の距離Ｚを特定でき、近傍と遠方の距離分解能が高い距離画像が得られる。また、距離画像はもともと空間分解能が高いため、高密度かつ高分解能な距離画像が得られる。

このように、本実施形態の測距システム１００は、ステレオカメラがブロックマッチング等で距離画像を出力する前に、Ｚ空間でＬｉＤＡＲが測定した距離情報をフュージョンさせることで高密度かつ高分解能な距離画像を実現できる。

＜測距システムの適用例＞
図７を用いて、測距システム１００の適用例について説明する。図７は、移動体の一例である自動車２００に搭載された測距システム１００を示す図である。図７では、自動車２００のフロントウィンドウの内側中央位置に、測距システム１００が設定されている。測距システム１００は、レーザレーダ測距部１１０とステレオ画像演算部１２０とを有する。レーザレーダ測距部１１０とステレオ画像演算部１２０はいずれも前方が測距範囲となるように設置されている。レーザレーダ測距部１１０は、ステレオ画像演算部１２０が有するステレオカメラ（２つの撮像部）の間（好ましくは中央）に配置されるものとする。

なお、レーザレーダ測距部１１０は上記のＬｉＤＡＲと同等の機能を有する。本実施形態では特に断らない限り両者を区別しない。レーザレーダ測距部１１０は、レーザーダイオードを使って可視スペクトル外の光のパルスを発射し、そのパルスが戻ってくる時間を計測することで距離を算出する。このような距離の算出方法をＴＯＦ方式という。ある瞬間のパルスが反射した方向と距離を、レーザレーダ測距部１１０を中心とした３Ｄ地図の中の点として記録する。

＜レーザレーダ測距部のレーザの照射範囲＞
図８は、レーザレーダ測距部１１０によるレーザ光の照射範囲について説明する図の一例である。図８（ａ）は、自動車２００を上方から見た上面図であり、図８（ｂ）は、自動車２００を側方から見た側面図である。

図８（ａ）に示すように、レーザレーダ測距部１１０は、自動車２００の進行方向の前方の所定範囲（横方向の照射範囲）を水平方向に走査しながらレーザ光を照射する。なお、レーザ光は光と捉えてもよいし電磁波と捉えてもよい。

また、図８（ｂ）に示すように、レーザレーダ測距部１１０は、自動車２００の進行方向の前方の所定範囲に向かってレーザ光を照射する。どの程度遠方までレーザが到達するかはレーザレーダ測距部１１０の出力によるが数百メートル程度の範囲で測距可能である。近い側の検出範囲は１メートル未満から検出可能であるが、通常、これほどの近距離領域では測距の必要性が低いため適宜、距離を検出する範囲が設定されていてよい。

レーザレーダ測距部１１０は、レーザ光の照射方向を、仰角方向に回転させながら水平方向に走査させることができるよう構成されている。これにより、レーザレーダ測距部１１０の設置位置を基準として、近傍から遠方までの照射範囲を照射することができる。

＜測距システムの大きさについて＞
例えば車載されるような測距システム１００は可能な限り小さいサイズであることが好ましい。ステレオカメラ８は車両の前方を撮像する必要があるため、設置位置が限られるためである。一般乗用車では車室内に設置されることも多く、限られたスペースに乗員の邪魔にならないように設置される。例えば、ルームミラーよりも前方でウィンドウガラス内に設置されることを考えると、ルームミラーを見たり操作したりする運転者が意識しないようなサイズであことが好ましい。

図９は、ルームミラー５０１の前方に車載された測距システム１００の外観図の一例である。車幅方向の中央、かつ、ルームミラー５０１とウィンドウガラスの間のシーリングに測距システム１００が設置されている。また、右カメラと左カメラの間にレーザレーダ測距部１１０が配置されている。つまり、右カメラ、左カメラ、レーザレーダ測距部１１０が直線上に配置されている。このようにレーザレーダ測距部１１０とステレオ画像演算部１２０が１つの筐体に収納されることで、組み立て工程の数を低減できる。

運転者が測距システム１００を意識しないためには、測距システム１００の幅がルームミラー５０１の幅よりも狭いことが好ましい。ルームミラー５０１のサイズは様々であるが、例えば、一般的なルームミラーが３０〔ｃｍ〕であるとすると、測距システム１００の幅も３０〔ｃｍ〕以下であることが好ましい。

測距システム１００の幅の下限として、右カメラと左カメラの間にレーザレーダ測距部１１０が配置されている形態では、レーザレーダ測距部１１０の幅より大きいことが必要になる。したがって、測距システム１００の幅は、以下のようになる。
レーザレーダ測距部１１０の幅 ＜ 測距システム１００の幅 ≦ ３０〔ｃｍ〕
レーザレーダ測距部１１０の幅は、設計、製造技術、及び要求する精度などによって変わると言えるが、例えば、４、５〔ｃｍ〕以上は必要であると考えられる。したがって、測距システム１００の幅は、以下のようになる。

４〜５〔ｃｍ〕 ≦ 測距システム１００の幅 ≦ ３０〔ｃｍ〕
一方、ステレオカメラの基線長があまり短いと遠方の距離分解能が粗くなることが知られている（距離分解能は画素ピッチ、焦点距離にも影響されるため一概に決まらない）。例えば、好ましい性能が得られるステレオカメラの基線長を８ｃｍとすると、測距システム１００の幅もこれ以上となる。したがって、測距システム１００の幅は、以下のようになる。

８〔ｃｍ〕 ≦ 測距システム１００の幅 ≦ ３０〔ｃｍ〕
このように、本実施形態の測距システム１００は従来よりも大幅に小型化されたサイズで実現することができる。

＜ステレオ画像演算部の撮像範囲＞
図１０は、ステレオ画像演算部１２０によるステレオ画像の撮像範囲を説明するための図である。図１０（ａ）は、自動車２００の上面図である。ステレオ画像演算部１２０は、２つの撮像装置（カメラ）が自動車２００の進行方向の前方に光軸を向けて設置されており、進行方向の所定範囲の画像を撮像する。レーザ光の照射範囲とステレオカメラ８の撮像範囲は少なくとも一部が重複している。

図１０（ｂ−１）と図１０（ｂ−２）は、ステレオカメラ８により撮像された基準画像（右カメラの画像データ）と比較画像（左カメラの画像データ）を示す。右カメラ１１と左カメラ１２は互いに、所定の間隔を介して水平に設置されている。このため、基準画像と比較画像は重複部分を有するが、撮像画像内のオブジェクトの位置が、左右方向にずれることになる。

ステレオ画像演算部１２０は、基準画像と比較画像の各オブジェクトのずれ量（これが視差となる）を算出することで、距離画像を生成し出力する。

＜レーザ光の照射位置とステレオ画像の画素位置との関係＞
次に、図１１を用いて、レーザレーダ測距部１１０によるレーザ光の照射位置とステレオ画像演算部１２０により撮像されたステレオ画像（基準画像）の画素位置との関係について説明する。図１１（ａ）は、レーザ光の照射位置とステレオ画像（基準画像）の画素位置との関係を説明する図の一例である。

レーザレーダ測距部１１０によるレーザの照射方向と、基準画像の画素位置は予め対応付けておくことができる。図１１（ａ）では側方から見た２つのオブジェクトＯ１、Ｏ２が示されており、図１１（ｂ）はオブジェクトＯ１、Ｏ２が撮像された基準画像の一例である。オブジェクトＯ２，Ｏ１はレーザレーダ測距部１１０と右カメラ１１の光軸に対し直線上にあるため、重なって撮像される。

オブジェクトＯ２の高さｈ２がオブジェクトＯ１の高さｈ１のちょうど２倍で、オブジェクトＯ２の自動車２００からの距離Ｌ２がオブジェクトＯ１の自動車２００からの距離Ｌ１のちょうど２倍であるとする。オブジェクトＯ１とＯ２のサイズと距離が比例関係にあるため、画像データにはオブジェクトＯ１とＯ２が同じサイズで写り、また、オブジェクトＯ１とＯ２と自動車２００の位置関係から重なって写る。したがって、レーザ光がオブジェクトＯ１とＯ２の上端を通過した場合、レーザ光はステレオ画像演算部１２０により撮像された基準画像のオブジェクトＯ１、Ｏ２の上端に写るはずである（可視光でないため実際には写らない）。このようにオブジェクトまでの距離に関係なく、レーザ光の照射方向と、基準画像の画素位置は１対１に対応するので、両者を予め対応付けておくことができる。

図１１（ｃ）は、基準画像の画素Ｐ１〜Ｐ４に対応する距離情報を示す。例えば、Ｐ１（x1,y1）の画素は水平方向θ１、仰角φ１の照射方向と対応し、Ｐ２（x2,y2）の画素は水平方向θ２、仰角φ２の照射方向と対応し、Ｐ３（x3,y3）の画素は水平方向θ３、仰角φ３の照射方向と対応し、Ｐ４（x4,y4）の画素は水平方向θ４、仰角φ４の照射方向と対応する。

このため、レーザレーダ測距部１１０から照射方向と距離情報が出力されると、ステレオ画像演算部１２０は測定された距離情報を画素に関連付けることができる。

＜レーザレーダ測距部の機能構成＞
次に、図１２は、レーザレーダ測距部１１０の機能構成図の一例である。レーザレーダ測距部１１０は信号処理部６０１、仰角方向スキャンドライブユニット６０２、モータ６０３、仰角方向スキャンミラー６０４、レーザ受光部６０５、信号増幅器６０６、時間間隔カウンタ６０７、ＡＤＣサンプリング部６１０、レーザ出力部６０８、及び、レーザドライバ６０９を有する。

信号処理部６０１からの指示に基づいて、仰角方向スキャンドライブユニット６０２が、仰角方向スキャンミラー６０４を仰角方向に回転させるためのモータ６０３を駆動する。これにより、仰角方向スキャンミラー６０４は、仰角方向に回転する。

また、信号処理部６０１からの指示に基づいて、レーザドライバ６０９が駆動し、レーザ出力部６０８からレーザ光が出力される。このとき、レーザ光の出力タイミングは、時間間隔カウンタ６０７に一時的に保持される。レーザ出力部６０８から出力されたレーザ光は、仰角方向スキャンミラー６０４を介して、外部に出力されるため、所定の照射範囲を照射することになる。

外部に出力されたレーザ光は、照射方向の物体（対象物）で反射し、その反射光が仰角方向スキャンミラー６０４を介して、レーザ受光部６０５において受光される。レーザ受光部６０５は、垂直方向に配列された複数のフォトディテクタ（ＰＤ：Photo Detector）を有しており、レーザ光はいずれかのフォトディテクタで受光され電気信号に変換される。

変換された電気信号は、信号増幅器６０６において増幅され、ＡＤＣサンプリング部６１０に入力される。ＡＤＣサンプリング部６１０は、信号処理部６０１がレーザ光を出力させたことを契機に、信号処理部６０１からの指示により、信号処理部６０１から指示されたサンプリング周期で電気信号（受光信号ＲＸ）のサンプリング（Ａ/Ｄ変換）を開始する。Ａ/Ｄ変換された受光信号ＲＸは時間間隔カウンタ６０７に入力される。

時間間隔カウンタ６０７では、レーザ出力部６０８より出力されたレーザ光の出力タイミングと、ＡＤＣサンプリング部６１０によりサンプリングされた受光信号ＲＸの受光タイミングとに基づいて、時間間隔を算出する。

時間間隔カウンタ６０７において算出された時間間隔は、信号処理部６０１において距離情報に変換され、照射方向を示す情報と共に、ステレオ画像演算部１２０に出力される。

＜ＡＤＣサンプリング部のサンプリング周期について＞
本実施の測距システム１００は、発光パルスＴＸの幅よりもサンプリング周期が短いことが特徴の１つだが、サンプリング周期が短すぎると演算負荷が増大し、サンプリング周期が長いと距離分解能が粗くなり物体の距離の精度が低下してしまう。したがって、発光パルスＴＸの幅に対し、適切なサンプリング周期を設定することが好ましい。

図１３はサンプリング周期と距離分解能の関係を説明する図の一例である。図１３（ａ）はサンプリング周期に対応する距離分解能の算出例を示す。図１３（ａ）ではサンプリング周期と、サンプリング周波数と、距離分解能がそれぞれ対応付けられている。例えば、サンプリング周期が１〔nsec〕であっても光の速度から算出すると０．３〔ｍ〕の距離分解能でしか測距できないことを示している。逆に、サンプリング周期が３４〔nsec〕の場合、光の速度から算出すると１０．２〔ｍ〕の距離分解能になる。

どの程度の距離分解能が必要とされるかは状況にもよるが、近距離側ではステレオ画像演算部１２０が密な距離分解能で測距できるため、遠距離側で実用的と考えられる距離分解能があることが好ましい。例えば、１００〔ｍ〕先にある物体では距離分解能が１０〔ｍ〕でも大きな支障がない場合もあるし、１００〔ｍ〕先でも３〔ｍ〕程度の距離分解能が欲しいと考えらえる状況もありうる。

図１３（ｂ）はいくつかの想定される発光パルスＴＸの幅と距離分解能の対応を示す図の一例である。図１３（ｂ）では、発光パルスＴＸの幅、受光信号ＲＸの幅、発光パルスＴＸの幅の間に３点の受光信号ＲＸをサンプリングする場合のサンプリング周期、サンプリング周波数、及び、距離分解能が対応付けられている。ここで、３点の受光信号ＲＸをサンプリングする場合のサンプリング周期が示されているのは、受光信号ＲＸを復元するために３点程度の値があると復元が容易であるためである。

例えば、発光パルスＴＸの幅が４０〔nsec〕の場合に、３点の受光信号ＲＸをサンプリングするためには、サンプリング周期が２０〔nsec〕以下である必要がある。また、この時の距離分解能は６〔ｍ〕である。

また、発光パルスＴＸの幅が３．３〔nsec〕の場合に、３点の受光信号ＲＸをサンプリングするためには、サンプリング周期が１．６７〔nsec〕以下である必要がある。また、この時の距離分解能は０．５〔ｍ〕である。

このように、３点の受光信号ＲＸをサンプリングするためのサンプリング周期は発光パルスＴＸの幅によって変わるが、いずれの場合も、発光パルスＴＸの幅はサンプリング周期以上である。また、３点の受光信号ＲＸをサンプリングする場合は、一例に過ぎず、発光パルスＴＸの幅の間に少なくとも１つ以上の受光信号ＲＸがサンプリングされればよい（発光周期は少なくとも１つ以上の受光信号ＲＸをサンプリングするために必要な時間以上である。）
設計者などは、発光パルスＴＸの幅が所定値以上になるように先に決定し、１つ以上又は好ましくは３つ以上のサンプリングが可能なサンプリング周期を決定してよい。あるいは、距離分解能が所定値以下になるように先に決定し、この場合に１つ以上又は好ましくは３つ以上のサンプリングが可能な発光パルスＴＸの幅を決定してもよい。

＜ステレオ画像演算部の機能構成＞
図１４は、測距システム１００の構成図を示す。また、図１４ではステレオ画像演算部１２０の機能をブロック状に示している。測距システム１００は測距する装置であるため測距装置ということができる。この他、距離測定装置、測距部などと呼ばれてもよい。

図１４に示すように、ステレオ画像演算部１２０は、右カメラ１１、左カメラ１２、歪み補正部１３、及び、距離演算部１４を有する。右カメラ１１及び左カメラ１２によりステレオカメラが形成されている。なお、本実施形態において、右カメラ１１により撮像される撮像画像を基準画像として用い、左カメラ１２により撮像される撮像画像を比較画像として用いる。

歪み補正部１３、及び、距離演算部１４は専用の電子回路を用いて実現してもよいし、各部を実現するためのプログラムがＣＰＵ（コンピュータ）によって実行されることで実現されてもよい。したがって、ステレオ画像演算部１２０は情報処理装置の機能を有する。また、画像処理を行うという点から画像処理装置でもある。

歪み補正部１３は、基準画像と比較画像に一般的な歪み補正を行う。この画像補正により、基準画像と比較画像は視差以外の差異が生じないように補正される。画像補正は事前のキャリブレーションにより可能になる。左カメラ１２と右カメラ１１は設置される際に、例えば、校正用の被写体（例えば市松模様のチャート）を撮像する。２つの画像を比較して、カメラのレンズ歪み、光軸ずれ、焦点距離ずれ及び撮像素子歪み等のハード的な内部誤差要因が最小になるように画像データを変換する幾何変換用のＬＵＴ（Look Up Table）が生成されている。歪み補正部１３はこのようなＬＵＴを参照して画像補正を行う。

距離演算部１４は基準画像と比較画像にブロックマッチングやＳＧＭ伝播方式などのアルゴリズムを適用して視差を算出する。また、詳細は後述するが距離演算部１４は、距離画像を出力する前にレーザレーダ測距部１１０が出力する距離情報で特定されるステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）と、ＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）をフュージョン（統合）する。

このため、距離演算部１４は、ブロックマッチングで視差を算出するステレオマッチング部１４ａ、ＳＧＭ伝播方式で視差を算出するＳＧＭ部１４ｂ、ステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）と、ＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）をフュージョンするフュージョン部１４ｃ、エネルギーコストＳ（ｐ，ｄ）を算出するエネルギーコスト算出部１４ｄ、及び、基準画像の画素に距離値が対応付けられた距離画像を生成する距離画像生成部１４ｅを有している。

図１４では一例として、距離画像と基準画像がＥＣＵ２０（Electronic Control Unit：電子制御ユニット）に送出されている。ＥＣＵ２０は車両の電子制御ユニットである。なお、車載された測距システム１００を車載装置という。ＥＣＵ２０は、測距システム１００が出力する距離画像と基準画像を用いて各種の運転支援を行う。基準画像については種々のパターンマッチングを行い先行車両、歩行者、白線、信号機の状態の認識等を行う。

運転支援は車両によって様々であるが、例えば、対象物の横位置が自車両の車幅と重なる場合、距離と相対速度から算出されるＴＴＣ(Time To Collision)に応じて警報や制動などを行う。また、衝突までの停止が困難な場合、衝突を回避する方向にステアリングを操舵する。

また、ＥＣＵ２０は、車速に応じた車間距離で先行車に追従走行する全車速車間距離制御を行う。先行車が停車したら自車両も停車させ、先行車が発進したら自車両も発進する。また、ＥＣＵ２０が白線認識などを行う場合、走行レーンの中央を走行するように操舵するレーンキーピング制御や走行レーンから逸脱するおそれがあると走行方向を走行レーンに向けて変更する逸脱防止制御等を行うことができる。

また、停車時に進行方向に障害物がある場合、急発進を抑制することができる。例えば、シフトレバーの操作位置により判断される進行方向に障害物があり、かつ、アクセルペダルの操作量が大きい場合、エンジン出力を制限したり警報したりすることで被害を軽減する。

なお、図１４の構成は一例にすぎず、レーザレーダ測距部１１０とステレオ画像演算部１２０が一体に構成されていてもよい。あるいはレーザレーダ測距部１１０の一部の機能をステレオ画像演算部１２０が有していてよい。例えば、レーザの送信側をレーザレーダ測距部１１０に配置し、レーザ受光部６０５、信号増幅器６０６、ＡＤＣサンプリング部６１０をステレオ画像演算部１２０に配置する。また、ＥＣＵ２０がステレオ画像演算部１２０の機能を有していてもよい。

＜ブロックマッチングによる整数視差の演算＞
図１５を用いてブロックマッチングによる整数視差の演算について説明する。図１５は、右カメラ１１により撮像された基準画像４２０と、左カメラ１２により撮像された比較画像４１０における、注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）のコストとして、ＳＡＤ（Sum of Absolute Difference）を算出する例を示した図である。

基準画像４２０と比較画像４１０では、撮像位置が異なるため、撮像画像上の同じ位置の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）であっても、同じオブジェクトを指し示すことはなく、左右方向にずれた位置を指し示すことになる。このため、ブロックサイズを１×１画素とした場合のＳＡＤである、基準画像４２０上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値と、比較画像４１０上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値は、大きな値となる。

ここで、比較画像４１０上の注目している画素ｐを１画素分、右方向にシフトさせる。つまり、視差ｄ＝１としたときのＳＡＤを算出する。具体的には、比較画像４１０上の注目している画素ｐ＝（Ｐｘ３＋１，Ｐｙ５）の輝度値と、基準画像４２０上の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）の輝度値との差分値を算出する。なお、図１５の例では、ｄ＝１の場合も、ＳＡＤは大きな値となる。

以下、同様に、ｄ＝２、３、・・・と変化させていき、それぞれにおいてＳＡＤを算出する。図１５の例では、ｄ＝３の場合に、基準画像４２０の注目している画素ｐ＝（Ｐｘ３，Ｐｙ５）が指し示すオブジェクトと比較画像４１０の注目している画素ｐ＝（Ｐｘ３＋３，Ｐｙ５）が指し示すオブジェクトとが同じとなる。このため、ｄ＝３とした場合のＳＡＤは、ｄ＝３とした場合以外のＳＡＤと比べて小さくなる。

図１６（ａ）は、ある注目している画素ｐの視差ごとのＳＡＤの一例を示す。ＳＡＤがコストＣ（ｐ，ｄ）の一例となる。この注目している画素ｐではｄ＝３において、ＳＡＤが最小なため、視差ｄは３であると算出される。

図１６（ｂ）は、別の注目している画素ｐの視差ごとのＳＡＤの一例を示す。図１６（ｂ）では視差ｄの変化に対するＳＡＤの変化が小さいため、距離演算部１４が視差を抽出することができない。このように、ブロックマッチングだけでは、視差を特定することができない画素が生じえるため、距離演算部１４は、視差を顕在化させるためにエネルギ計算処理（ＳＧＭ伝播方式）を行う。

なお、図１６のように視差ごとのＳＡＤ（コストＣ（ｐ，ｄ））が算出されたら、小数視差を求めることが好適である。小数視差を求める方法として高次多項式推定（６次）、高次多項式推定（４次）、又はパラボラフィッティング等を使用する算出方法がある。

＜ＳＧＭ伝播方式＞
距離演算部１４は、ＳＧＭ伝播方式と称されるアルゴリズムを用いて、伝播コストＬｒを算出し、当該伝播コストＬｒを用いて注目している画素ｐのエネルギーコストＳ（ｐ，ｄ）を算出するエネルギ計算処理を行う。なお、ＳＧＭ伝播方式はデンスアルゴリズムの一形態である。

まず、図１７を用いて、ＳＧＭ伝播方式を用いて伝播コストＬｒを算出する処理について説明する。図１７は、ＳＧＭ伝播方式を用いて伝播コストＬｒを算出する処理を模式的に示した図である。

図１７の例では、注目している画素ｐである画素１１００に対して、４方向の伝播コストＬｒを求める場合を示している。具体的には、画素１１００に対して、矢印１１１１方向の伝播コストＬ１と、矢印１１１２方向の伝播コストＬ２と、矢印１１１３方向の伝播コストＬ３と、矢印１１１４方向の伝播コストＬ４とを求める場合を示している。なお、画素１１００に対して求める伝播コストの方向（ｒ）は、４方向に限定されるものではなく、例えば、８方向であっても、あるいは２方向であってもよい。

図１７に示すように、矢印１１１１方向の伝播コストＬ１は、下式により求めることができる。

…（２）
ただし、ｐは画素１１００の座標を、ｄは視差を表している。このように、伝播コストＬ１（ｐ，ｄ）は、画素１１００のコストＣ（ｐ，ｄ）と、画素１１００の左側１画素に位置する画素の各視差（ｄ−１〜ｄ＋１）での伝播コストとによって算出することができる。つまり、矢印１１１１方向の伝播コストは、左方向から右方向へと順次、伝播コストが算出されていくことになる。なお、左方向から右方向へと伝播コストを伝播させていく際の伝播間隔は、１画素に限定されるものではない。つまり、画素１１００の左側ａ画素に位置する画素の各視差での伝播コストを用いて、伝播コストＬ１（ｐ，ｄ）を算出するように構成してもよい。

同様に、矢印１１１２方向の伝播コストＬ２は、上方向から下方向へと順次算出されていくことになる。また、矢印１１１３方向の伝播コストＬ３は、右方向から左方向へと順次算出され、矢印１１１４方向の伝播コストＬ４は、下方向から上方向へと順次算出されていくことになる。

つづいて、エネルギ計算処理のうち、当該伝播コストＬｒを用いて注目している画素ｐのエネルギーコストＳ（ｐ，ｄ）を算出する処理について説明する。

上記のようにして、各画素について算出された各方向からの伝播コストに基づいて、各画素のエネルギーコストＳ（ｐ，ｄ）が下式により算出される。

…（３）
したがって、図１７の例では、Ｓ（ｐ，ｄ）＝Ｌ１（ｐ，ｄ）＋Ｌ２（ｐ，ｄ）＋Ｌ３（ｐ，ｄ）＋Ｌ４（ｐ，ｄ）により算出することができる。

＜本実施形態における距離の算出方法＞
続いて、図１８を参照して本実施形態の測距システム１００が距離画像を生成する手順を説明する。図１８は、測距システム１００の動作手順を説明するフローチャート図の一例である。

（ステップＳ１〜Ｓ４）
ステップＳ１に示すように、レーザレーダ測距部１１０が距離情報を取得する。レーザレーダ測距部１１０は右カメラ１１及び左カメラ１２の撮像範囲の重複部を少なくとも含むように走査して撮像範囲の距離情報を取得する。これと並行してステレオ画像演算部１２０の右カメラ１１が基準画像を、左カメラ１２が比較画像を撮像する（Ｓ２）。歪み補正部１３は視差以外の相違がなくなるようにそれぞれに歪み補正を行う（Ｓ３）。次に、ステレオ画像演算部１２０がステレオマッチングコストＣ_ＳＴ（ｐ、Ｚ）を算出する（Ｓ４）。

なお、ステップＳ１〜Ｓ４は同期して行われてもよいが、ステレオ画像演算部１２０はレーザレーダ測距部１１０の最新の距離情報を用いることにして非同期に行われてもよい。

図１９は、ステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）の一例を示す図である。図１９では、ステレオマッチングで得た視差空間のコストがＺ空間のステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）に変換されている。図４で説明したように、Ｚ空間の等間隔にステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）は得られない。そこで、距離演算部１４はステレオマッチングで得たコストを等距離ごとに補間する。図１９では丸がステレオマッチングで得たコストであり、四角形が補間で得たコストである。補間方法は、曲線近似に適した方法であればよく、例えば放物線fitting、高次多項式、スプライン曲線などを適用できる。図１９では、補間により例えば３メートルごとにステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）が算出されている。

補間を３メートルとするのは一例であり、この間隔はＬｉＤＡＲの距離分解能と同程度とすることが1つの選択方法になる。

図２０は、ＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）の算出方法を説明する図の一例である。図２０（ａ）は発光パルスＴＸを模式的に示し、図２０（ｂ）は定期的にサンプリングされた受光信号ＲＸを示し、図２０（ｃ）はＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）の一例を示す。レーザレーダ測距部１１０は発光パルスＴＸの出力を開始すると、受光信号ＲＸの定期的なサンプリングを開始する。１回の発光パルスＴＸの出力に対しＡＤＣサンプリング部６１０がサンプリングを継続する時間は予め決まっている。例えば、距離にして１２０〔ｍ〕等に相当する時間である。

時間間隔カウンタ６０７は発光パルスＴＸが出力されてから受光信号ＲＸの各サンプリング点がサンプリングされるまでの時間Ｔを測定する。時間Ｔと物体までの距離との間には以下の関係がある。
物体までの距離＝光の速度×Ｔ/２
したがって、信号処理部６０１は時間Ｔを距離情報に変換できる。

図２０（ｂ）に示す受光信号ＲＸと距離の関係は、受光信号ＲＸが大きいほどその距離に物体が存在する確率が高いことを意味する。一方、ステレオマッチングコストは、物体が存在する可能性が最も高い距離で最も小さくなる。したがって、フュージョンするには、受光信号ＲＸが小さいほど物体が存在する確率が高くなるような波形にすることが好ましい。このため、信号処理部６０１は、図２０（ｂ）の受光信号ＲＸを図２０（ｃ）に示すＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）に変換する。変換には種々の方法があるが、受光信号ＲＸが最も大きい距離で、ＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）が最も小さくなればよい。簡単な例としては、例えば、受光信号ＲＸの一定値を中心に上下を反転させるような変換がある。

図２０では、受光信号ＲＸが小さいほど物体が存在する確率が高くなるような波形に受光信号ＲＸが変換されているが、ステレオマッチングコストの波形を、物体が存在する可能性が最も高い距離で最も大きくなるようにステレオ画像演算部１２０が変形してもよい。

（ステップＳ５）
次に、距離演算部１４は、ステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）とＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）をフュージョンして、コストＣ（ｐ，Ｚ）を算出する。式では以下のように表すことができる。
Ｃ（ｐ，Ｚ）＝Ａ×Ｃ_ＬＩ（ｐ，Ｚ）＋Ｂ×Ｃ_ＳＴ（ｐ，Ｚ） …（４）
Ａ：ＬｉＤＡＲコストの係数（重み）
Ｂ：ステレオマッチングコストの係数（重み）
係数Ａと係数ＢはＬｉＤＡＲコストとステレオマッチングコストのどちらをフュージョンにおいて強く影響させるかという点で重要である。ＬｉＤＡＲとステレオマッチングにはそれぞれ精度がよい条件があるため、実験的に決定されてよい。また、環境条件（時間帯、天候、現在地等）ごとに係数Ａ，Ｂが予め定められているテーブルから読み出して係数Ａと係数Ｂを設定してもよい。また、ステレオ画像演算部１２０が基準画像を物体認識することで基準画像の範囲ごとに写っているオブジェクトが分かるので、この範囲ごとに係数Ａ，係数Ｂを切り替えてもよい。

図２１は、ステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）とＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）のフュージョンを模式的に示す図の一例である。図２１（ａ）はＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）を示し、図２１（ｂ）はステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）を示す。距離演算部１４は、ＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）に係数Ａを乗じ、ステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）に係数Ｂを乗じて、同じ距離ごとに加算する。上記したステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）の補間と、ＡＤＣサンプリング部６１０のサンプリング周期により、ステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）とＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）はほぼ同じ距離にコスト値が得られている。必要であれば、ＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）も同様に補間されてよい。

これにより、図２１（ｃ）に示すように、ステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）とＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）をフュージョンさせることができる。

（ステップＳ６）
次に、距離演算部１４は伝播コストＬｒ（ｐ，Ｚ）を算出する。伝播コストＬｒ（ｐ，Ｚ）の算出式を以下に示す。

…（５）
伝播コストＬｒ（ｐ，Ｚ）の第１項はステップＳ５で算出された、ステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）とＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）がフュージョンされたコストＣ（ｐ，Ｚ）である。第２項はＺ空間で行われるＳＧＭ伝播方式による伝播コストである。第１項と第２項により、伝播コストＬｒ（ｐ，Ｚ）が算出される。

なお、本実施形態において、Ｚ空間で行われるＳＧＭ伝播方式による伝播コストは必須でなく、ＳＧＭ伝播方式による伝播コストは算出されなくてもよい。

（ステップＳ７）
距離演算部１４は、全ての画素で伝播コストＬｒ（ｐ，Ｚ）を算出したか否かを判断する。全ての画素の処理が終了するまでは、ステップＳ５，Ｓ６を繰り返し実行する。

（ステップＳ８）
全ての画素で伝播コストＬｒ（ｐ，Ｚ）を算出すると、距離演算部１４はエネルギーコストＳ（ｐ，Ｚ）を算出する。
Ｓ（ｐ，Ｚ）＝ΣＬｒ（ｐ，Ｚ） …（６）
図２２、２３は、エネルギーコストＳ（ｐ，Ｚ）の算出方法を説明する図の一例である。画素ごとに伝播コストＬｒ（ｐ，Ｚ）が算出されたが、ある画素には周囲の伝播コストＬｒ（ｐ，Ｚ）が影響していると考えられる。そこで、注目している画素の周囲の伝播コストＬｒ（ｐ，Ｚ）を重ね合わせることで、注目している画素のより正確な伝播コストＬｒ（ｐ，Ｚ）を算出する。

図２２では周囲８画素の伝播コストＬｒ（ｐ，Ｚ）が重ね合わされている。この場合、図２３に示すように距離ごとに以下の計算が行われる。
Ｓ（ｐ，Ｚ）＝Ｌ₀（ｐ，Ｚ）＋Ｌ₄₅（ｐ，Ｚ）＋Ｌ₉₀（ｐ，Ｚ）＋Ｌ₁₃₅（ｐ，Ｚ）＋Ｌ₁₈₀（ｐ，Ｚ）＋Ｌ₂₂₅（ｐ，Ｚ）＋Ｌ₂₇₀（ｐ，Ｚ）＋Ｌ₃₁₅（ｐ，Ｚ）、 …（７）
図２３と式（７）が示すのは、注目している画素の周囲８画素の伝播コストＬｒ（ｐ，Ｚ）をＺ空間で重ね合わせることである。これにより、注目している画素のエネルギーコストＳ（ｐ，Ｚ）が得られる。

なお、周囲８画素の伝播コストＬｒ（ｐ，Ｚ）の重ね合わせは一例に過ぎず、４画素、５画素、又は１６画素などの周囲の何画素の伝播コストＬｒ（ｐ，Ｚ）を重ね合わせるかは、演算負荷と距離の正確さを考慮して決定されてよい。また、伝播コストＬｒ（ｐ，Ｚ）の重ね合わせを一切行わなくてもよい。

（ステップＳ９）
距離演算部１４は、エネルギーコストＳ（ｐ，Ｚ）が最小となる距離Ｚ_０を決定する。距離Ｚ_０が注目している画素の距離値である。

図２４はエネルギーコストＳ（ｐ，Ｚ）が最小となる距離Ｚ_０の算出方法を説明する図の一例である。エネルギーコストＳ（ｐ，Ｚ）が最小となるＺは注目している画素の距離値として最も確からしいと推定される。

なお、高次多項式推定（６次）、高次多項式推定（４次）、又はパラボラフィッティング等を使用して、少数以下の距離Ｚを算出してもよい。

（ステップＳ１０）
全ての画素で算出されると図１８の処理は終了する。

＜Ｚ空間の分解能について＞
図２５を用いてＺ空間の距離分解能について補足する。図２５（ａ）は距離分解能が密なＺ空間を示し、図２５（ｂ）は比較のために示された距離分解能が粗いＺ空間を示す。上記のようにステレオマッチングコストは補間されるため、ＬｉＤＡＲコストとステレオマッチングコストは同程度の距離分解能になる。図２５（ａ）の距離分解能は一例として３メートルであり、図２５（ｂ）では０．５メートルとなっている。なお、３メートルと０．５メートルは一例である。

図２５（ａ）では１１４メートルの間に３８個のコストが得られ、図２５（ｂ）では２２８個のコストが得られる。したがって、図２５（ｂ）の距離分解能の方が高くて好ましいが、３メートルの距離分解能でも遠方ではステレオマッチングコストの距離分解能よりも高分解能となっている（図４参照）。また、図２５（ａ）のようにＺ空間の分解能を粗くすることで、レーザレーダ測距部１１０の演算負荷を低減できる。また、レーザレーダ測距部１１０に搭載されるマイコンなども小型なものでよく、測距システム１００を小型化しやすくなる。

このように、３メートル程度の距離分解能であれば、受光信号ＲＸのサンプリング周期を長くできるため、発光パルスＴＸの幅も長くてよく、測距システム１００の小型化が容易になる。

＜＜距離範囲に応じた距離分解能の変更＞＞
一方、距離分解能は全ての距離範囲で一定である必要はない。近距離側ではステレオ画像演算部１２０の距離分解能が高いことが知られており、近距離側もレーザレーダ測距部１１０の距離分解能に一致させると、高密度な距離情報を破棄することになる。

図２６は、レーザレーダ測距部１１０とステレオ画像演算部１２０それぞれの、低距離側と高距離側の距離分解能をに示す図の一例である。図２６（ａ）は距離と距離分解能の関係の一例を示す。なお、図２６ではステレオカメラの基線長を１６〔ｃｍ〕とした。この場合、距離が１２〔ｍ〕以下ではステレオ画像演算部１２０の距離分解能が０．５〔ｍ〕以下である。レーザレーダ測距部１１０の距離分解能が０．５〔ｍ〕である場合、１２〔ｍ〕以下ではステレオ画像演算部１２０の距離分解能の方が密である。

ステレオ画像演算部１２０の距離分解能が０．５〔ｍ〕の場合、レーザレーダ測距部１１０が１２０〔ｍ〕までの距離を測定できるとすると、コスト空間数は１２０/０．５＝２４０個である。

図２６（ｂ）は一例として１７〔ｍ〕を境に空間分解能を変更した場合の距離分解能を示す。つまり、１７〔ｍ〕以下では０．５〔ｍ〕を距離分解能としてフュージョンし、１７〔ｍ〕超では１．０〔ｍ〕を距離分解能としてフュージョンする。この場合のコスト空間は、１７/０．５＋（１２０−１７）/１．０＝１３７個である。したがって、低距離側では高密度な距離分解能が得られ、演算負荷も低減できる。

ステレオマッチングコストＣ_ＳＴ（ｐ，Ｚ）とＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）をフュージョンさせるため、ステレオ画像演算部１２０は、１７〔ｍ〕を境にして補間間隔を変更する。すなわち、１７〔ｍ〕以下では補間しないか補間間隔を密にして、１７〔ｍ〕超ではＬｉＤＡＲコストＣ_ＬＩ（ｐ，Ｚ）と距離分解能と同程度の間隔で補間する。なお、１７〔ｍ〕以下では、ステレオマッチングコストが得られている距離とＬｉＤＡＲコストが得られている距離が一致しないので、ステレオマッチングコストが得られている距離でＬｉＤＡＲコストが得られるようにＬｉＤＡＲコストを補間するとよい。

図２６（ｃ）は一例として２４〔ｍ〕を境に空間分解能を変更した場合の距離分解能を示す。つまり、２４〔ｍ〕以下では０．５〔ｍ〕を距離分解能としてフュージョンし、２４〔ｍ〕超では２．０〔ｍ〕を距離分解能としてフュージョンする。この場合のコスト空間は、２４/０．５＋（１２０−２４）/２．０＝９６個である。したがって、低距離側では高密度な距離分解能が得られ、演算負荷も更に低減できる。

なお、近距離側と遠距離側の保管方法には他にも以下のような方法がある。以下のある距離は閾値の一例である。
(i) ある距離から近距離側（閾値未満）ではステレオ分解能を使い、ある距離から遠距離（閾値以上）では所定分解能１を使う。
(ii) ある距離から近距離側（閾値未満）では所定分解能１を使い、ある距離から遠距離（閾値以上）では所定分解能２を使う（所定分解能１の密度＞所定分解能２の密度）。
(iii) ある距離から近距離側（閾値未満）ではステレオ分解能を使い、ある距離１から遠距離では所定分解能１を使い、更にある距離２（＞距離１）から遠距離側では所定分解能２を使う。
（iv） ある距離１から近距離側では所定分解能１を使い、ある距離１から遠距離では所定分解能２を使い、更にある距離２から遠距離側では所定分解能３を使う。

＜ステレオマッチングコストとＬｉＤＡＲコストのフュージョンの別の例＞
本実施形態では、ステレオマッチングコストとＬｉＤＡＲコストをフュージョンさせる際にＳＧＭを使用した。しかし、これらのフュージョンではＳＧＭを使わなくても良い伝播の方法もある。例えば、伝播の別の例として伝播コストＬｒの計算を省く以下の方法を用いてもよい。
Ｃ（ｐ，Ｚ）＝Ａ×Ｃ_ＬＩ（ｐ，Ｚ）＋Ｂ×Ｃ_ＳＴ（ｐ，Ｚ）
Ｓ（ｐ，Ｚ）＝ΣＣ（ｐ，Ｚ） …（８）
距離ベースのＳＧＭでは伝播コストＬｒの処理の負荷が高かった。これに対し、本実施形態ではＬｉＤＡＲコストにピークがあるため、式（８）のように式（５）の伝播コストＬｒの計算を省き、負荷を低減できる。

＜効果について＞
図２７は、本実施形態の測距システム１００による測距結果の効果を説明する図の一例である。図２７において、チャートとは看板状の物体を意味する。チャートは、測距システム１００から８０、６０、３０の実測された位置に置かれている。本実施形態の測距システム１００による測距平均値はそれぞれ８０．２６、６１．１４、３０．８９であり、測距標準偏差はそれぞれ０．２５、２．０２、０．２５である。

従来技術であるステレオマッチングのみによる測距平均値はそれぞれ８７．８６、６０．９８、２８．９６であり、測距標準偏差はそれぞれ６．０７、２．８９、１．７７である。したがって、６０〔ｍ〕のチャートの測距平均値以外で、本実施形態の測距システム１００の精度が向上していることが確認される。

＜まとめ＞
本実施形態の測距システム１００は、ステレオカメラによる測距方法から見ると以下のような効果がある。
・測距精度：物体面の低分散化、物体面のその周囲の面不連続性が向上するため遠方測距や遠方物体検出が行ないやすくなる。
・耐物標性：繰返しパタンや低テクスチャでの誤マッチングにより使えなかった画素が、フュージョンすることによって使えるようになる。
・耐環境性：夜間であっても遠方高精度測距が可能になる。
・ＳＧＭで伝播して物体が膨れるところがＬｉＤＡＲによる測距値で埋まる。

また、ＬｉＤＡＲによる測距方法から見ると以下のような効果がある。
・空間分解能が増える。

更に、受光信号ＲＸのパルス幅を広く取れるため、受光素子の数や大きさの制限が少なくなり、測距システムの小型化が容易になる。また、例えば、レーザレーダ測距部１１０の距離分解能を３〔ｍ〕とした場合、コスト空間数を粗くすることが可能となり、距離演算時の処理の負荷を低減できる。

更に、発光パルスＴＸが広くて受光信号ＲＸの幅も広ければＡＤＣサンプリング部６１０のサンプリング周波数をそれほど速くなくて済むので、例えば、ノイズレベルと信号レベルが同程度の場合でも、ノイズレベル信号を取らずに済む可能性が上がる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、測距システム１００が搭載される移動体として自動車２００を挙げたが、測距システム１００は移動体に広く適用できる。例えば、少なくとも一部において人間が操作しなくても自律的に移動する移動体に有効である。例えば、飛行機、ドローン、船舶、ロボット等に適用できる。

また、測距システム１００は移動体の前方に限られず、側方又は後方の距離画像を生成することもできる。前方、側方及び後方の全周囲の距離画像を生成することもできる。

また、距離画像はカラーでもモノクロでもよい。

また、レーザ光の波長については、測距に適した波長域の光を使用すればよく、可視光、赤外光、紫外光（人体に影響がない範囲で）でもよいし、光を電磁波と捉えてもよい。

また、本実施形態では、距離分解能の高い測距方式としてＬＩＤＡＲを説明したが、ミリ波又は超音波などを用いてもよい。

なお、ステレオ画像演算部１２０は画像処理部の一例であり、レーザレーダ測距部１１０は距離情報取得部の一例であり、図２０のような距離に対する受光信号は第一の距離情報の一例であり、ステレオマッチングコストは第二の距離情報の一例であり、レーザ出力部６０８は照射部の一例であり、レーザ受光部６０５と信号増幅器６０６とＡＤＣサンプリング部６１０は受光部の一例である。

８ ステレオカメラ
９ ＬｉＤＡＲ
２０ ＥＣＵ
１００ 測距システム
１１０ レーザレーダ測距部
１２０ ステレオ画像演算部
２００ 自動車

特開２０１５−１４３６７９号公報

Claims (15)

1. ＴＯＦ（Time Of Flight）方式で第一の距離情報を検出する距離情報取得部と、
   複数の撮像部により撮像された複数の撮像画像を画像処理して得た第二の距離情報に、前記距離情報取得部が取得した前記第一の距離情報を統合する画像処理部と、を有する測距システムであって、
   発光パルスを照射する照射部と、
   前記発光パルスが対象物で反射した受光信号を検出する受光部と、を有し、
   前記照射部が照射する発光パルスの幅をＡ、
   前記受光部が前記受光信号をサンプリングするサンプリング周期をＢとした場合、
   Ａ≧Ｂの関係があることを特徴とする測距システム。
2. 前記照射部が照射する発光パルスの幅は、
   前記受光部が前記受光信号を少なくとも１つ以上、サンプリングするために必要な時間以上であることを特徴とする請求項１に記載の測距システム。
3. 前記受光部が前記受光信号をサンプリングするサンプリング周期は、発光パルスの幅に対し３つ以上の前記受光信号をサンプリングできるように決定されていることを特徴とする請求項２に記載の測距システム。
4. 前記照射部が照射する発光パルスの幅は、前記Ａ≧Ｂの関係の下、
   前記第一の距離情報の距離分解能が所定値以下になるように決定されていることを特徴とする請求項１又は２に記載の測距システム。
5. 前記照射部が照射する発光パルスの幅は、
   前記第一の距離情報の距離分解能が約３メートルになるように決定されていることを特徴とする請求項４に記載の測距システム。
6. 前記距離情報取得部は、各受光信号が取得されるまでの時間を距離情報に変換して前記距離情報に対する前記受光信号を前記画像処理部に出力し、
   前記画像処理部は、前記距離情報に対する前記受光信号を値が大きいほど小さくなるコストに変換した後、前記画像処理により得たステレオマッチングコストと統合するか、又は、
   前記画像処理により得たステレオマッチングコストを値が小さいほど大きくなるコストに変換して、前記距離情報取得部が出力した前記距離情報に対する前記受光信号と統合することを特徴とする請求項１〜５のいずれか1項に記載の測距システム。
7. 前記画像処理部は、前記ステレオマッチングコストを、前記サンプリング周期で決まる距離分解能の間隔で補間し、
   補間したステレオマッチングコストと、前記距離情報に対する前記受光信号の値が大きいほど小さくなるように変換されたコストとを統合することを特徴とする請求項６に記載の測距システム。
8. 前記距離情報取得部の距離分解能よりも前記画像処理部の距離分解能の方が小さい距離と、該距離より大きい距離では、前記ステレオマッチングコストの補間間隔を変更することを特徴とする請求項７に記載の測距システム。
9. 閾値未満の近距離側では前記画像処理部の距離分解能で距離を算出し、閾値以上の遠距離側では前記距離情報取得部の距離分解能で距離を算出することを特徴とする請求項７に記載の測距システム。
10. 前記距離情報取得部と前記複数の撮像部を有する前記画像処理部は、１つの筐体に収納されており、前記複数の撮像部の間に前記距離情報取得部が配置されていることを特徴とする請求項１〜７のいずれか1項に記載の測距システム。
11. 直線上に配置された前記複数の撮像部と前記距離情報取得部の長さは、
    前記距離情報取得部さより長く、約３０〔ｃｍ〕以下であることを特徴とする請求項１０に記載の測距システム。
12. 直線上に配置された前記複数の撮像部と前記距離情報取得部の長さは、
    約８〔ｃｍ〕以上、約３０〔ｃｍ〕以下であることを特徴とする請求項１０又は１１に記載の測距システム。
13. ＴＯＦ（Time Of Flight）方式で第一の距離情報を検出する距離情報取得部と、
    複数の撮像部により撮像された複数の撮像画像を画像処理して得た第二の距離情報に、前記距離情報取得部が取得した前記第一の距離情報を統合する画像処理部と、を有する測距システムが行う測距方法であって、
    照射部が、発光パルスを照射するステップと、
    受光部が、前記発光パルスが対象物で反射した受光信号を検出するステップと、を有し、
    前記照射部が照射する発光パルスの幅をＡ、
    前記受光部が前記受光信号をサンプリングするサンプリング周期をＢとした場合、
    Ａ≧Ｂの関係があることを特徴とする測距方法。
14. 車載装置であって、
    ＴＯＦ（Time Of Flight）方式で第一の距離情報を検出する距離情報取得部と、
    複数の撮像部により撮像された複数の撮像画像を画像処理して得た第二の距離情報に、前記距離情報取得部が取得した前記第一の距離情報を統合する画像処理部と、
    発光パルスを照射する照射部と、
    前記発光パルスが対象物で反射した受光信号を検出する受光部と、を有し、
    前記照射部が照射する発光パルスの幅をＡ、
    前記受光部が前記受光信号をサンプリングするサンプリング周期をＢとした場合、Ａ≧Ｂの関係があり、
    撮像画像の画素に距離値が対応付けられた距離画像を生成して車両の制御ユニットに送出する車載装置。
15. ＴＯＦ（Time Of Flight）方式で第一の距離情報を検出する距離情報取得部と、
    複数の撮像部により撮像された複数の撮像画像を画像処理して得た第二の距離情報に、前記距離情報取得部が取得した前記第一の距離情報を統合する画像処理部と、
    発光パルスを照射する照射部と、
    前記発光パルスが対象物で反射した受光信号を検出する受光部と、を有し、
    前記照射部が照射する発光パルスの幅をＡ、
    前記受光部が前記受光信号をサンプリングするサンプリング周期をＢとした場合、Ａ≧Ｂの関係があり、
    撮像画像の画素に距離値が対応付けられた距離画像を使って車両を制御する制御ユニットを有する車両。

Images