JP2023024090A - 物体検出方法及び物体検出装置 - Google Patents

Abstract

【課題】ステレオカメラによる位置検出の精度が低下する領域においても精度良くクラスタリングを行い、物体を正確に検出する。【解決手段】自車両から所定方向に向けて、異なる位置から撮像した２つの画像を取得し、２つの画像の各々から複数の特徴点を抽出し、少なくとも実空間における複数の特徴点間の距離に基づいて算出される複数の特徴点が同一の物体の特徴点である可能性を示す第１の可能性に対して付される第１の重み、及び画像における複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される複数の特徴点が同一の物体の特徴点である可能性を示す第２の可能性に対して付される第２の重みを、自車両から複数の特徴点までの所定方向の距離に基づいてそれぞれ設定し、第１の重みを付した第１の可能性及び第２の重みを付した第２の可能性を用いて、複数の特徴点をクラスタリングして物体を検出する。【選択図】図７

Description

本発明は、物体検出方法及び物体検出装置に関する。

従来から、ステレオカメラで撮像した画像から物体の候補点（特徴点）を抽出し、抽出した候補点をクラスタリングして物体を検出する物体検出方法が知られている（特許文献１）。特許文献１に開示された物体検出方法は、ステレオカメラで撮像した２つの画像から物体の候補点の座標を取得し、取得した座標に基づいて各々の物体の候補点を投票面に投票し、投票面上の隣接する群毎にグループ分けするクラスタリングを行っている。特許文献１に記載されたクラスタリングは、特徴量として幅及び奥行きを用いた最短距離法を用いている。

特開２００６－５３７５６号公報

しかしながら、ステレオカメラによる物体の位置検出は、ステレオカメラと物体との距離が離れるほど精度が低下する。そのため、特許文献１に開示された物体検出方法は、ステレオカメラの位置検出の精度が低下する領域において、検出した物体の候補点をクラスタリングすることができない、又は誤ったクラスタリングをする可能性があり、物体を正確に検出できない場合がある。

本発明は、上記課題に鑑みてなされたものであり、ステレオカメラによる位置検出の精度が低下する領域においても精度良くクラスタリングを行うことができ、物体を正確に検出することができる物体検出方法及び物体検出装置を提供することである。

本発明の一態様に係る物体検出方法は、自車両から所定方向に向けて、異なる位置から撮像することにより２つの画像を取得し、２つの画像の各々から複数の特徴点を抽出する。複数の特徴点の２つの画像上の位置から自車両から複数の特徴点までの所定方向における距離、及び実空間における複数の特徴点間の距離をそれぞれ算出する。少なくとも実空間における複数の特徴点間の距離に基づいて算出される複数の特徴点が同一の物体の特徴点である可能性を示す第１の可能性に対して付される第１の重み、及び画像における複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される複数の特徴点が同一の物体の特徴点である可能性を示す第２の可能性に対して付される第２の重みを、自車両から複数の特徴点までの所定方向における距離に基づいてそれぞれ設定する。第１の重みを付した第１の可能性及び第２の重みを付した第２の可能性を用いて、複数の特徴点をクラスタリングして物体を検出する。

本発明によれば、ステレオカメラによる位置検出の精度が低下する領域においても精度良くクラスタリングを行うことができ、物体を正確に検出することができる。

図１は、実施形態に係る物体検出装置の構成を示すブロック図である。 図２は、ステレオカメラ１０が物体の位置を測定する際に生じる理論誤差を示す模式図である。 図３Ａは、自車両から複数の特徴点までのｚ方向の距離に基づいて設定される第１の重み及び第２の重みを示す模式図である（第１の例）。 図３Ｂは、自車両から複数の特徴点までのｚ方向の距離に基づいて設定される第１の重み及び第２の重みを示す模式図である（第２の例）。 図３Ｃは、自車両から複数の特徴点までのｚ方向の距離に基づいて設定される第１の重み及び第２の重みを示す模式図である（第３の例）。 図３Ｄは、自車両から複数の特徴点までのｚ方向の距離に基づいて設定される第１の重み及び第２の重みを示す模式図である（第４の例）。 図３Ｅは、自車両から複数の特徴点までのｘ方向の距離に基づいて設定される第１の重み及び第２の重みを示す模式図である。 図４Ａは、実施形態に係るフィルタリングを示す模式図である（その１）。 図４Ｂは、実施形態に係るフィルタリングを示す模式図である（その２）。 図５は、実施形態に係る一致コスト行列を示す図である。 図６Ａは、第１の可能性に基づくクラスタリング結果を示す模式図である。 図６Ｂは、第２の可能性に基づくクラスタリング結果を示す模式図である。 図７は、実施形態に係る物体検出装置の一動作例を示すフローチャートである。

図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

［物体検出装置の構成］
図１を参照して、実施形態に係る物体検出装置１の構成を説明する。物体検出装置１は、ステレオカメラ１０、制御部２０を備える。物体検出装置１は、例えば、ＡＤＡＳ（Advanced Driver-Assistance Systems）の物体検出に用いることができる。本実施形態では、物体検出装置１は車両に搭載され、自車両の前方に存在する物体を検出する。

ステレオカメラ１０は、カメラ１１及びカメラ１２を備えている。カメラ１１及びカメラ１２は、ステレオカメラ１０の筐体内でそれぞれ異なる位置に配置される。ステレオカメラ１０は、自車両の室内前方に配置され、カメラ１１及びカメラ１２で自車両の前方を異なる位置から撮像して２つの画像を取得する。具体的には、ステレオカメラ１０が自車両に設置された状態において、カメラ１１は自車両の右側に配置され、カメラ１２は自車両の左側に配置される。カメラ１１及びカメラ１２は、同タイミングで撮像を行う。カメラ１１は、自車両の右側から自車両の前方を撮像した第１の画像を取得し、カメラ１２は、自車両の左側から自車両の前方を撮像した第２の画像を取得する。ステレオカメラ１０は、自車両前方を所定の周期で繰り返し撮像して、同タイミングで撮像した自車両の前方の２つの画像を複数取得し、取得した画像を制御部２０に送信する。

なお、本実施形態においては、ステレオカメラ１０（カメラ１１及びカメラ１２）は自車両前方を撮像するカメラとしているが、これに限らない。ステレオカメラ１０は自車両側方を撮像するカメラであっても良い。また、カメラ１１及びカメラ１２はそれぞれ自車両左右方向で異なる位置に配置されたものとしているが、ステレオカメラ１０が自車両側方を撮像するカメラで有る場合は自車両前後方向で異なる位置に配置される。すなわち、ステレオカメラ１０は自車両から所定方向を撮像するカメラで有れば良く、また、カメラ１１及びカメラ１２はステレオカメラ１０としての撮像方向である所定方向に対して角度を持った方向において異なる位置に配置されていればよい。以下、本実施形態においてはステレオカメラ１０の撮像方向である所定方向を前後方向とし、カメラ１１及びカメラ１２が配置される異なる位置を車両左右方向で異なる位置とした例を記載する。

また、本実施形態において、ステレオカメラ１０は、カメラ１１及びカメラ１２の二つの異なる位置に配置されたカメラを備えたステレオカメラを例に挙げるが、これに限定されない。例えば、ステレオカメラ１０は三つ以上の異なる位置に配置されたカメラを備えていても良い。また、一つのカメラのみを備え、車両の移動中に一つのカメラで異なるタイミングで撮像した二つの画像、すなわち一つのカメラが異なる位置で撮像した複数の画像を取得する、所謂モーションステレオカメラであっても良い。すなわち、ステレオカメラ１０はカメラの数に限定されず、異なる位置で撮像した複数の画像を取得するカメラであれば良い。以下、本実施形態では説明簡略化のために、ステレオカメラ１０はカメラ１１及びカメラ１２の二つの異なる位置に配置されたカメラを備えたステレオカメラであるものとして説明する。

制御部２０は、ステレオカメラ１０により取得された２つの画像の各々から複数の特徴点を抽出し、抽出した特徴点をクラスタリングすることで、自車両の前方の物体を検出する。本実施形態における物体とは、他車両、バイク、自転車、歩行者を含む移動物体でもよく、駐車車両を含む静止物体でもよい。制御部２０は、ＣＰＵ（中央処理装置）、ＲＡＭ及びＲＯＭなどのメモリ（記憶部）、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、物体検出装置として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、物体検出装置が備える複数の情報処理回路（２１、２２、２３、２４、２５、２６）として機能する。なお、本実施形態では、ソフトウェアによって物体検出装置が備える複数の情報処理回路（２１、２２、２３、２４、２５、２６）を実現する例を示すが、各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。

制御部２０は、複数の情報処理回路として、特徴点抽出部２１、距離画像生成部２２、オプティカルフロー算出部２３、自車挙動測定部２４、３次元フロー算出部２５、物体検出部２６を備える。

特徴点抽出部２１は、カメラ１１及びカメラ１２により取得されたそれぞれの画像から、それぞれ周囲の画素と区別可能な特徴を持つ画素である複数の特徴点を抽出する。特徴点の抽出には、周知の手法を適用可能であるが、例えば非特許文献「Jianbo Shi and Carlo Tomasi, "Good Features to Track," 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94), 1994, pp.593 - 600.」に記載の方法が用いられる。特徴点抽出部２１は、抽出した複数の特徴点を距離画像生成部２２と、オプティカルフロー算出部２３とに出力する。なお、以下では、特に断らない限り、特徴点は、複数あることを前提とする。

距離画像生成部２２は、自車両から複数の特徴点までの自車両の前後方向の距離、及び実空間における複数の特徴点間の距離をそれぞれ算出し、複数の特徴点の自車両に対する相対位置を表示した距離画像を生成する。具体的には、距離画像生成部２２は、第１画像の特徴点と第２画像の特徴点とのうちで同一の特徴点に対する視差（ずれ量）から、複数の特徴点の自車両に対する３次元座標（相対座標）を算出する。次に、距離画像生成部２２は、複数の特徴点の３次元座標から、自車両から複数の特徴点までの自車両の前後方向の距離、及び実空間における複数の特徴点間の距離を算出する。なお、距離画像生成部２２は、カメラ１１が取得した第１の画像から抽出された特徴点と、カメラ１２が取得した第２の画像から抽出された特徴点との視差から、自車両から複数の特徴点までの自車両の前後方向の距離を算出してもよい。また、距離画像生成部２２は、自車両の直進方向（所定方向）に対して特徴点がなす角度を、複数の特徴点の自車両に対する３次元座標から算出する。次に、距離画像生成部２２は、複数の特徴点の３次元座標に基づいて各々の特徴点を投影面上に配置し、自車両から複数の特徴点までの自車両の前後方向の距離を示す距離画像を生成する。距離画像生成部２２は、生成した距離画像を３次元情報評価部２８と、評価方法決定部２９に出力する。

オプティカルフロー算出部２３は、特徴点抽出部２１によって抽出されたカメラ１１又はカメラ１２のいずれか一方の過去の画像の特徴点の位置と現在の画像の特徴点の位置から、オプティカルフローを算出する。オプティカルフローとは、画像上における特徴点の２次元の動き（移動速度）をベクトルで表すものである。オプティカルフロー算出部２３は、過去の特徴点に対応する実空間の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。オプティカルフロー算出部２３は、互いに関連する、過去の特徴点と現在の特徴点との組み合わせをオプティカルフローとして算出する。これにより、オプティカルフロー算出部２３は、画像における複数の特徴点間の距離と各々の特徴点の移動速度を算出することができる。オプティカルフローの算出には、周知の手法を適用可能であるが、例えば非特許文献「Bruce D. Lucasand Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981」に記載の方法が用いられる。オプティカルフロー算出部２３は、算出したオプティカルフローを３次元フロー算出部２５と、２次元情報評価部２７とに出力する。

自車挙動測定部２４は、自車両の挙動を測定する。具体的には、自車挙動測定部２４は、オドメトリやデッドレコニングを行うことで自車両の挙動を測定する。自車両の挙動とは、所定の時間における自車両の相対位置、相対姿勢、及び速度の変化のことである。自車挙動測定部２４は、自車両の各車輪の車輪速を検出する車輪速センサ、操舵輪の転舵角を検出する舵角センサから取得した情報に基づいて、所定の基準点に対する自車両の相対位置、相対姿勢、及び速度を計測することで、所定の時間における自車両の挙動を測定することができる。なお、自車挙動測定部２４は、ＧＰＳ（グローバル・ポジショニング・システム）信号を受信する受信装置（不図示）から自車両の地球座標における絶対位置、及び絶対姿勢を取得し、所定の時間における各々の変化量から自車両の挙動を測定してもよい。

３次元フロー算出部２５は、特徴点の実空間における３次元の動き（フロー）を算出する。具体的には、先ず、３次元フロー算出部２５は、オプティカルフロー算出部２３によって算出されたオプティカルフローを実空間における動きへと変換する。オプティカルフローは、前記した通り、画像上における特徴点の２次元の動きである。そのため、３次元フロー算出部２５は、画像上における複数の特徴点の２次元の動きを実空間における２次元の動き（速度）へと変換する。次に、３次元フロー算出部２５は、算出した複数の特徴点の実空間における２次元の動きに、自車両に対する前後方向の動きを追加する。複数の特徴点の自車両に対する前後方向の動きは、距離画像生成部２２によって算出された自車両から複数の特徴点までの自車両の前後方向の距離の単位時間あたりの変化量から算出することができる。なお、ここまでに算出された複数の特徴点の３次元の動きは、自車両に対する相対的な動きである。そのため、３次元フロー算出部２５は、複数の特徴点の自車両に対する相対的な動きを、自車挙動測定部２４によって算出された自車両の挙動によって補正し、実空間における３次元の動き（絶対値）を算出する。３次元フロー算出部２５は、算出した特徴点の実空間における３次元の動き（３次元フロー）を３次元情報評価部２８に出力する。

物体検出部２６は、複数の特徴点をクラスタリングし、クラスタリングした特徴点群を１つの物体として検出する。具体的には、物体検出部２６は、少なくとも実空間における複数の特徴点間の距離に基づいて算出される第１の可能性であって、複数の特徴点が同一の物体の特徴点である可能性を示す第１の可能性に対して付される第１の重みを設定する。また、物体検出部２６は、画像における複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される第２の可能性であって、複数の特徴点が同一の物体の特徴点である可能性を示す第２の可能性に対して付される第２の重みを設定する。具体的には、物体検出部２６は、第１の重み及び第２の重みを、自車両から複数の特徴点までの自車両の前後方向の距離、及び自車両の直進方向に対して特徴点がなす角度に応じて設定する。そして、物体検出部２６は、第１の重みを付した第１の可能性及び第２の重みを付した第２の可能性を用いて、複数の特徴点をクラスタリングして物体を検出する。

第１の可能性は、少なくとも実空間における複数の特徴点間の距離に基づいて算出される。したがって、第１の可能性は、特徴点間の３次元上の位置関係が考慮されたものである。そのため、第１の可能性は、ステレオカメラ１０による位置検出の精度が良好な領域において有効に作用する。また、第２の可能性は、画像における複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される。したがって、第２の可能性は、特徴点間の２次元上の位置関係と２次元上の特徴点の移動速度が考慮されたものである。すなわち、第２の可能性は、特徴点間の自車両の前後方向（奥行方向）の距離を考慮しないことにより、ステレオカメラ１０による位置検出の精度が低下する領域において有効に作用する。

ここで、図２を参照して、ステレオカメラ１０が取得した２つの画像から、自車両２から複数の特徴点（ｉ１、ｉ２、ｉ３、ｉ４）までの自車両２の前後方向の距離、及び各々の特徴点の自車両２の左右方向の位置を算出する際に生じる理論誤差について模式的に説明する。本実施形態では、距離画像生成部２２が複数の特徴点（ｉ１、ｉ２、ｉ３、ｉ４）までの自車両２の前後方向の距離、及び複数の特徴点の自車両２に対する３次元座標（相対座標）を算出するが、ステレオカメラ１０が物体までの距離を算出する場合も同様である。ここでは、ステレオカメラ１０が、自車両２から複数の特徴点（ｉ１、ｉ２、ｉ３、ｉ４）までの自車両２の前後方向の距離、及び、各々の特徴点の自車両２の左右方向（ｘ方向）の位置を算出することを前提に説明する。ステレオカメラ１０が、自車両２から特徴点ｉ１までの自車両２の前後方向（ｚ方向）の距離を算出する際に生じる理論誤差はｔｅｚ１である。また、ステレオカメラ１０が、自車両から特徴点ｉ１よりも遠くに存在する特徴点ｉ２までの自車両２の前後方向の距離を算出する際に生じる理論誤差はｔｅｚ２となる。このように、ステレオカメラ１０による自車両２から特徴点までの自車両２の前後方向の距離を算出する場合、ステレオカメラ１０から特徴点までの自車両２の前後方向の距離が遠くなるほど理論誤差は大きくなる。また、特徴点ｉ３、特徴点ｉ４のように、自車両の直進方向（ｚ方向）に対して角度を有する特徴点の場合、自車両の直進方向に対して特徴点がなす角度が大きくなるほど（θ１＜θ２）、自車両の左右方向（ｘ方向）の位置を算出する際の理論誤差も大きくなる。したがって、特徴点ｉ３におけるｘ方向の位置（ｘ１）における理論誤差はｔｅｘ１であるのに対して、特徴点ｉ４におけるｘ方向の位置（ｘ２）における理論誤差はｔｅｘ２となる。そのため、特徴点ｉ４が破線ｌ上に存在する場合、特徴点ｉ４は、同じｘ座標として算出される。

物体検出部２６は、２次元情報評価部２７、３次元情報評価部２８、評価方法決定部２９、クラスタリング部３０を備える。以下、物体検出部２６を構成する各々の要素の具体的な処理について説明する。

評価方法決定部２９は、自車両から複数の特徴点までの自車両の前後方向（ｚ方向）の距離に基づいて、第１の可能性に付される（乗算される）第１の重み、及び第２の可能性に付される（乗算される）第２の重みのそれぞれを設定する。ここで、図３Ａから図３Ｄを参照して、評価方法決定部２９が、自車両から複数の特徴点までの自車両の前後方向（ｚ方向）の距離に基づいて、第１の重みｗ１及び第２の重みｗ２を設定する処理について具体的に説明する。

（第１の例）
図３Ａは、評価方法決定部２９が、第１の重みｗ１及び第２の重みｗ２を設定する第１の例を示す。第１の例では、評価方法決定部２９は、自車両から複数の特徴点までの自車両の前後方向（ｚ方向）の距離が所定の距離ｚｃ以上であるか否かを判断する。そして、評価方法決定部２９は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離ｚｃ以上であると判断した場合、第１の重みｗ１を０．０とし、第２の重みｗ２を１．０と設定する。なお、１．０は、設定可能な重みの最大値である。すなわち、評価方法決定部２９は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離ｚｃ以上である場合、第２の可能性のみを用いて複数の特徴点が同一の物体の特徴点であるか否かを判断するよう設定する。また、評価方法決定部２９は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離ｚｃ未満であると判断した場合、第１の重みｗ１を１．０とし、第２の重みｗ２を０．０と設定する。すなわち、評価方法決定部２９は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離ｚｃ未満である場合、第１の可能性のみを用いて複数の特徴点が同一の物体の特徴点であるか否かを判断するよう設定する。所定の距離ｚｃは、ステレオカメラ１０による位置検出の精度が低下する距離（例えば５０ｍ）である。このように、第１の例では、評価方法決定部２９は、第１の重みｗ１及び第２の重みｗ２を非連続的に変化させる。

（第２の例）
図３Ｂは、評価方法決定部２９が、第１の重みｗ１及び第２の重みｗ２を設定する第２の例を示す。第１の例との相違点は、評価方法決定部２９が、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離ｚｃ以上であると判断した場合、第1の重みｗ１を０．１とし、第２の重みｗ２を０．９と設定する点である。これにより、ステレオカメラ１０の位置検出の精度が低下する領域においても第１の可能性が考慮され、実空間における特徴点間の距離が離れている、同一の物体の特徴点ではない特徴点同士を同一の物体の特徴点であると判断することを防止することができる。

（第３の例）
図３Ｃは、評価方法決定部２９が、第１の重みｗ１及び第２の重みｗ２を設定する第３の例を示す。第３の例では、評価方法決定部２９は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離ｚ１未満である場合、第1の重みｗ１を１．０とし、第２の重みｗ２を０．０と設定する。評価方法決定部２９は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離ｚ１以上であり、所定の距離ｚ２未満である場合、自車両から複数の特徴点までの自車両の前後方向の距離に基づいて、第１の重みｗ１及び第２の重みｗ２を連続的に変化させる。より詳細には、自車両から複数の特徴点までの自車両の前後方向の距離が遠くなるほど、第１の重みｗ１を１．０から減少させ、第２の重みｗ２を０．０から増加させる。評価方法決定部２９は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離ｚ２以上である場合、第1の重みｗ１を０．０とし、第２の重みｗ２を１．０と設定する。所定の距離ｚ１は、自車両から複数の特徴点までの自車両の前後方向の距離を算出した際の理論誤差が２ｍとなる距離である。所定の距離ｚ１は、例えば３０ｍである。所定の距離ｚ２は、自車両から複数の特徴点までの自車両の前後方向の距離を算出した際の理論誤差が１０ｍとなる距離である。所定の距離ｚ２は、例えば７０ｍである。このように、第３の例では、評価方法決定部２９は、所定の距離ｚ１から所定の距離ｚ２までの間で、第１の重みｗ１及び第２の重みｗ２を連続的に変化させる。

（第４の例）
図３Ｄは、評価方法決定部２９が、第１の重みｗ１及び第２の重みｗ２を設定する第４の例を示す。第４の例では、評価方法決定部２９は、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離ｚ３未満である場合、第1の重みｗ１を１．０とし、第２の重みｗ２を０．０と設定する。評価方法決定部２９は、所定の距離ｚ３における自車両の前後方向の理論誤差を自車両から複数の特徴点までの自車両の前後方向の距離における理論誤差で除算した値を第１の重みｗ１として設定する。第２の重みｗ２は、１．０から第１の重みｗ１を減算した値を設定する。

評価方法決定部２９は、自車両の直進方向に対して特徴点がなす角度に基づいて、第１の可能性に付される第１の重みｗ１、及び第２の可能性に付される第２の重みｗ２のそれぞれを設定する。ここで、図３Ｅを参照して、評価方法決定部２９が、自車両の直進方向に対して特徴点がなす角度に基づいて、第１の重みｗ１及び第２の重みｗ２を設定する処理について具体的に説明する。図２を参照して説明したように、自車両の直進方向（ｚ方向）に対して角度を有する特徴点の場合、自車両の直進方向と特徴点がなす角度が大きくなるほど、自車両の左右方向（ｘ方向）の位置を算出する際の理論誤差が大きくなる。そのため、評価方法決定部２９は、自車両の直進方向に対して特徴点のなす角度が大きくなる領域ｒ１は、領域ｒ０よりも第１の重みｗ１を減少させ、第２の重みｗ２を増加させる。同様に、自車両の直進方向に対して特徴点がなす角度が大きくなる領域ｒ３は、領域ｒ２よりも第１の重みｗ１を減少させ、第２の重みｗ２を増加させる。以上説明したように、評価方法決定部２９は、自車両から特徴点までの自車両の前後方向の距離、及び自車両の直進方向に対して特徴点がなす角度に基づいて、第１の可能性に付される第１の重みｗ１、及び第２の可能性に付される第２の重みｗ２をそれぞれ設定する。

３次元情報評価部２８は、特徴点のフィルタリングを行い、フィルタリング後の各々の特徴点の実空間における複数の特徴点間の距離と、各々の特徴点の実空間における移動速度に基づいて、第１の重みを付した複数の特徴点が同一の物体の特徴点である可能性を示す第１の可能性を算出する。ここで、図４Ａ、図４Ｂを参照して、特徴点のフィルタリングについて具体的に説明する。特徴点のフィルタリングとは、自車両から複数の特徴点までの自車両の前後方向の距離を算出する際に生じる理論誤差を考慮した、実空間における複数の特徴点間の距離が、所定の許容距離より長い特徴点同士を同一の物体の特徴点としてクラスタリングすることを禁止する処理である。

図４Ａには、特徴点ｉ、特徴点ｊ、自車両から特徴点ｉ及び自車両から特徴点ｊまでの自車両の前後方向（ｚ方向）の距離を算出する際に生じる理論誤差ｔｅ、所定の許容距離ｐｄが示されている。なお、図４Ａ及び図４Ｂでは、便宜上、特徴点ｉ及び特徴点ｊの理論誤差ｔｅは同じ値とする。３次元情報評価部２８は、理論誤差ｔｅ考慮した実空間における特徴点ｉと特徴点ｊの距離ｄ１が所定の許容距離ｐｄ以内であるか否かを判断する。理論誤差を考慮した実空間における複数の特徴点間の距離ｄ１は、理論誤差ｔｅ考慮した際に特徴点ｉと特徴点ｊとの距離が最も短くなる距離である。図４Ａにおいて、理論誤差を考慮した実空間における複数の特徴点間の距離ｄ１は、所定の許容距離ｐｄよりも長い。そのため、３次元情報評価部２８は、特徴点ｉと特徴点ｊを同一の物体の特徴点としてクラスタリングすることを禁止する。より具体的には、特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性を示す１の可能性の算出を行わない。図４Ａに対して、図４Ｂの特徴点ｉと特徴点ｊとの理論誤差ｔｅ考慮した実空間における複数の特徴点間の距離ｄ１は、所定の許容距離ｐｄ以内となっている。そのため、３次元情報評価部２８は、特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性を示す第１の可能性を算出する。

３次元情報評価部２８は、フィルタリング後の各々の特徴点の実空間における複数の特徴点間の距離と、各々の特徴点の実空間における移動速度に基づいて、第１の重みを付した複数の特徴点が同一の物体の特徴点である可能性を示す第１の可能性を算出する。具体的には、下記の式（１）で第１の可能性が算出される。なお、下記の式（１）における第１の可能性ｆ３ｄ（ｉ、ｊ）は、特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性が高いほど小さい値として算出される。

Ｘｉ、Ｙｉ、Ｚｉは、特徴点ｉの実空間における座標であり、ｖＸｉ、ｖＹｉ、ｖＺｉは、特徴点ｉの実空間におけるｘ方向、ｙ方向、ｚ方向の速度である。Ｘｊ、Ｙｊ、Ｚｊは、特徴点ｊの実空間における座標であり、ｖＸｊ、ｖＹｊ、ｖＺｊは、特徴点ｊの実空間におけるｘ方向、ｙ方向、ｚ方向の速度である。ａ～ｆは、評価式に含まれる理論誤差を定常化するための正規化パラメータである。３次元情報評価部２８は、（１）式によって算出された第１の可能性に第１の重みを付した結果をクラスタリング部３０に出力する。

２次元情報評価部２７は、複数の特徴点間の距離と各々の特徴点の移動速度に基づいて、第２の重みを付した複数の特徴点が同一の物体の特徴点である可能性を示す第２の可能性を算出する。具体的には、下記の式（２）で第２の可能性が算出される。なお、下記の式（２）における第２の可能性ｆ２ｄ（ｉ、ｊ）は、特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性が高いほど小さい値として算出される。

ｘｉ、ｙｉは、特徴点ｉの画像における座標であり、ｖｘｉ、ｖｙｉは、特徴点ｉの画像内におけるｘ方向、ｙ方向の移動速度である。ｘｊ、ｙｊは、特徴点ｊの画像における座標であり、ｖｘｊ、ｖｙｊは、特徴点ｉの画像内におけるｘ方向、ｙ方向の移動速度である。ａ～ｄは、評価式に含まれる理論誤差を定常化するための正規化パラメータである。２次元情報評価部２８は、（２）式によって算出された第２の可能性に第２の重みを付した結果をクラスタリング部３０に出力する。

クラスタリング部３０は、第１の可能性に第１の重みｗ１を乗算した値と第２の可能性に第２の重みｗ２を乗算した値とを加算し、一致コストとして算出する。クラスタリング部３０は、図５に示す各々の特徴点の組み合わせ毎の一致コスト行列を作成する。図５では、各々の特徴点が「Ａ」から「Ｆ」で示されており、各々の特徴点の組み合わせ毎の一致コストが示されている。例えば、特徴点「Ａ」と特徴点「Ｂ」の一致コストは１６である。クラスタリング部３０は、コストの小さい順に組合せを連結してクラスタリングを行い、一致コストが所定の閾値以下の特徴点同士を組み合わせることにより、クラスタリングされた特徴点を１つの物体として検出する。以後、１つの物体としてクラスタリングされた複数の特徴点を「クラスター」と呼ぶ。

なおここで、上述の通り第１の可能性（ｆ３ｄ（ｉ、ｊ））及び第２の可能性（ｆ２ｄ（ｉ、ｊ））は、特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性が高いほど小さい値として算出され、したがって一致コストは、特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性が高いほど小さい値となる。しかしながら、例えば、第１の可能性を逆数（１／ｆ３ｄ（ｉ、ｊ））とし、第２の可能性を逆数（１／ｆ２ｄ（ｉ、ｊ））として、第１の可能性と第２の可能性とは特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性が高いほど大きくなる値としても良い。また、第１の可能性の符号を負の符号（－ｆ３ｄ（ｉ、ｊ））とすると共に、第２の可能性の符号を負の符号（－ｆ２ｄ（ｉ、ｊ））として、第１の可能性と第２の可能性とは特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性が高いほど大きくなる値としても良い。あるいは、第１の可能性（ｆ３ｄ（ｉ、ｊ））及び第２の可能性（ｆ２ｄ（ｉ、ｊ））に重みを付して加算した値の逆数をコストとすることによって、特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性が高いほどコストが大きくなるようにしても良い。この場合、一致コストは、特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性が高いほど大きな値となるため、クラスタリング部３０は、コストの大きい順に組合せを連結してクラスタリングを行い、一致コストが所定の閾値以上の特徴点同士を組み合わせる。これにより、クラスタリングされた特徴点を１つの物体として検出することができる。従って、第１の可能性と第２の可能性とを特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性が高いほど小さな値とするか大きな値とするかは適宜変更可能である。すなわち、第１の可能性及び第２の可能性は特徴点ｉと特徴点ｊが同一の物体の特徴点である可能性に応じて変化するパラメータで有れば良く、一致コストは第１の可能性及び第２の可能性に重みを付して加算した値であれば良く、その値自体の正負には限定されない。

ここで、図６Ａ、図６Ｂを参照して、クラスタリング部３０が特徴点をクラスタリングして物体を検出する処理を模式的に説明する。図６Ａは、複数の特徴点ｉｇがステレオカメラ１０による位置検出の精度が良好な領域に存在する場合のクラスターｃ１を示している。図６Ａの距離画像ｄｉには、自車両から複数の特徴点ｉｇまでの自車両の前後方向の距離、及び実空間における特徴点間の距離が示されている。距離画像ｄｉに示される複数の特徴点ｉｇは、ステレオカメラ１０による位置検出の精度が良好な領域に存在する。そのため、クラスタリング部３０は、第１の可能性が第２の可能性よりも多く反映された一致コスト行列に基づいてクラスタリングｃ１を行う。これにより、複数の特徴点ｉｇをクラスタリングｃ１して物体３を検出することができる。図６Ｂは、複数の特徴点ｉｐがステレオカメラ１０による位置検出の精度が低下する領域に存在する場合のクラスターｃ２を示している。図６Ｂの距離画像ｄｉには、自車両から特徴点までの自車両の前後方向の距離、及び実空間における特徴点間の距離が示されている。距離画像ｄｉに示される複数の特徴点ｉｐは、ステレオカメラ１０による位置検出の精度が低下している領域に存在する。そのため、クラスタリング部３０は、第２の可能性が第１の可能性よりも多く反映された一致コスト行列に基づいてクラスタリングｃ２を行う。これにより、複数の特徴点ｉｐをクラスタリングｃ２して物体４を検出することができる。

［物体検出方法］
次に、図７を参照して、図１に示す物体検出装置の処理の一例を説明する。図７のフローチャートに示す物体検出装置の動作は、車両のイグニッションスイッチ又はパワースイッチがＯＮとなると同時に開始され、イグニッションスイッチ又はパワースイッチがＯＦＦとなった時点で処理を終了する。

ステップＳ１０において、特徴点抽出部２１は、ステレオカメラ１０によって撮像された自車両の前方を異なる位置から撮像した２つの画像を取得し、処理はステップＳ２０に進む。ステップＳ２０において、特徴点抽出部２１は、それぞれ周囲の画素と区別可能な特徴を持つ画素である複数の特徴点を抽出し、処理はステップＳ３０に進む。

ステップＳ３０において、距離画像生成部２２は、第１画像の特徴点と第２画像の特徴点とのうちで同一の特徴点に対する視差（ずれ量）から、複数の特徴点の自車両に対する３次元座標（相対座標）を算出し、複数の特徴点の３次元座標から、自車両から複数の特徴点までの自車両の前後方向の距離を算出する。そして、処理はステップＳ４０に進み、距離画像生成部２２は、複数の特徴点の自車両に対する３次元座標から実空間における複数の特徴点間の距離を算出し、処理はステップＳ５０に進む。

ステップＳ５０において、オプティカルフロー算出部２３は、過去の特徴点に対応する実空間の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出し、互いに関連する過去の特徴点と現在の特徴点との組み合わせをオプティカルフローとして算出する。オプティカルフロー算出部２３は、オプティカルフローから画像における複数の特徴点間の距離を算出し、処理はステップＳ６０に進む。ステップＳ６０において、オプティカルフロー算出部２３は、オプティカルフローから画像における各々の特徴点の移動速度を算出し、処理はステップＳ７０に進む。

ステップＳ７０において、３次元情報評価部２８は、特徴点のフィルタリングを行う。具体的には、３次元情報評価部２８は、自車両から複数の特徴点までの自車両の前後方向の距離を算出する際に生じる理論誤差を考慮した実空間における複数の特徴点間の距離が、所定の許容距離以内であるか否かを判断する。そして、３次元情報評価部２８は、理論誤差を考慮した実空間における複数の特徴点間の距離が、所定の許容距離より長い特徴点同士は、同一の物体の特徴点としてクラスタリングすることを禁止し、処理はステップＳ８０に進む。

ステップＳ８０において、評価方法決定部２９は、自車両から複数の特徴点までの自車両の前後方向の距離に基づいて、第１の可能性に付される第１の重み、及び第２の可能性に付される第２の重みのそれぞれを設定し、処理はステップＳ９０に進む。

ステップＳ９０において、３次元情報評価部２８は、フィルタリング後の各々の特徴点の実空間における複数の特徴点間の距離と、各々の特徴点の実空間における移動速度に基づいて、第１の重みを付した（乗算した）複数の特徴点が同一の物体の特徴点である可能性を示す第１の可能性を算出する。２次元情報評価部２７は、複数の特徴点間の距離と各々の特徴点の移動速度に基づいて、第２の重みを付した（乗算した）複数の特徴点が同一の物体の特徴点である可能性を示す第２の可能性を算出する。そして、クラスタリング部３０は、第１の可能性と第２の可能性を加算し、一致コストとして算出する。クラスタリング部３０は、特徴点の組み合わせ毎の一致コスト行列を作成する。そして、処理はステップＳ１００に進み、クラスタリング部３０は、コストの小さい順に組合せを連結してクラスタリングを行い、一致コストが所定の閾値以下の特徴点同士を組み合わせることにより、クラスタリングされた特徴点を１つの物体として検出する。

［作用効果］
以上、説明したように、本実施形態によれば以下作用効果が得られる。

少なくとも実空間における複数の特徴点間の距離に基づいて算出される第１の可能性であって、複数の特徴点が同一の物体の特徴点である可能性を示す第１の可能性に対して付される第１の重み、及び画像における複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される第２の可能性であって、複数の特徴点が同一の物体の特徴点である可能性を示す第２の可能性に対して付される第２の重みを、自車両から複数の特徴点までの自車両の前後方向（所定方向）の距離に基づいてそれぞれ設定し、第１の重みを付した第１の可能性及び第２の重みを付した前記第２の可能性を用いて、複数の特徴点をクラスタリングして物体を検出する。

第１の可能性は、実空間における複数の特徴点間の距離に基づいて算出される複数の特徴点が同一の物体の特徴点である可能性であり、ステレオカメラ１０による位置検出精度が良好な領域において有効に作用する。また、第２の可能性は、画像における複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される複数の特徴点が同一の物体の特徴点である可能性であり、ステレオカメラ１０による位置検出精度が低下する領域において有効に作用する。したがって、自車両から複数の特徴点までの自車両の前後方向の距離に基づいて、第１の重みと第２の重みをそれぞれ設定することにより、ステレオカメラによる位置検出の精度が低下する領域においても精度良くクラスタリングを行い、物体を正確に検出することができる。

複数の特徴点の２つの画像上の位置から、自車両から複数の特徴点までの自車両の前後方向の距離を算出する際に生じる理論誤差を考慮した実空間における複数の特徴点間の距離が、所定の許容距離以内であるか否かを判断する。そして、理論誤差を考慮した実空間における複数の特徴点間の距離が、所定の許容距離より長い特徴点同士は、同一の物体の特徴点としてクラスタリングすることを禁止する。これにより、理論誤差を考慮した実空間における複数の特徴点間の距離が、所定の許容距離より長い特徴点同士は、同一の物体の特徴点でないと判断し、クラスタリングを禁止することで、誤ったクラスタリングを防止することができる。すなわち、物体を精度良く検出することができる。

自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離以上であるか否かを判断し、前後方向の距離が所定の距離以上である場合、第１の重みを０とし、前後方向の距離が所定の距離未満である場合、前記第２の重みを０とする。これにより、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離以上である場合、ステレオカメラ１０による位置検出の精度が低下する領域において有効に作用する第２の可能性を用いて複数の特徴点が同一の物体の特徴点であるか否かを判断することができる。また、自車両から複数の特徴点までの自車両の前後方向の距離が所定の距離未満である場合、ステレオカメラ１０による位置検出の精度が良好な領域において有効に作用する第１の可能性を用いて、複数の特徴点が同一の物体の特徴点であるか否かを判断することができる。したがって、複数の特徴点が同一の物体の特徴点である可能性をより精度良く判断することができる。

自車両から複数の特徴点までの自車両の前後方向の距離、及び自車両の直進方向（所定方向）に対して特徴点がなす角度に基づいて第１の重み及び第２の重みを連続的に変化させる。これにより、車両から複数の特徴点までの自車両の前後方向の距離、及び自車両の直進方向に対して特徴点がなす角度の変化に応じて、第１の重み及び第２の重みを変化させながら、第１の可能性と第２の可能性との両方を用いて複数の特徴点が同一の物体の特徴点であるか否かを判断することができる。すなわち、より精度良くクラスタリングを行うことができる。

第１の重みは、自車両から複数の特徴点までの自車両の前後方向の距離が遠くなるほど減少し、第２の重みは、自車両から複数の特徴点までの自車両の前後方向の距離が遠くなるほど増加する。これにより、自車両から複数の特徴点までの自車両の前後方向の距離が遠くなるほど、複数の特徴点が同一の物体の特徴点である可能性を算出する際に与える第１の可能性の影響度を小さくし、第２の可能性の影響度を大きくすることができる。よって、自車両から複数の特徴点までの自車両の前後方向の距離に応じて、第１の可能性の影響度と第２の可能性の影響度とを適切に変化させることができ、複数の特徴点が同一の物体の特徴点である可能性を算出することができる。すなわち、より精度良くクラスタリングを行うことができる。

第１の重みは、自車両の直進方向に対して特徴点がなす角度が大きくなるほど減少し、第２の重みは、自車両の直進方向に対して特徴点がなす角度が大きくなるほど増加する。ステレオカメラ１０による位置検出において、自車両の直進方向に対して角度を有する特徴点の場合、自車両の直進方向に対して特徴点がなす角度が大きくなるほど、自車両の左右方向の位置を算出する際の理論誤差が大きくなる。したがって、ステレオカメラ１０の自車両の直進方向に対して特徴点がなす角度が大きくなるほど、自車両の左右方向の位置を算出する際の理論誤差が大きくなるという特性に合わせて、第１の可能性と第２の可能性との重みを変化させることができる。これにより、自車両の直進方向に対して特徴点がなす角度に応じて、第１の可能性の影響度と第２の可能性の影響度とを適切に変化させ、複数の特徴点が同一の物体の特徴点である可能性を算出することができる。すなわち、より精度良くクラスタリングを行うことができる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

１ 物体検出装置
１０ ステレオカメラ
２０ 制御部
２１ 特徴点抽出部
２２ 距離画像生成部
２３ オプティカルフロー算出部
２４ 自車挙動測定部
２５ ３次元フロー算出部
２６ 物体検出部
２７ ２次元情報評価部
２８ ３次元情報評価部
２９ 評価方法決定部
３０ クラスタリング部

Claims (7)

1. 自車両から所定方向に向けて、異なる位置から撮像することにより２つの画像を取得し、
   前記２つの画像の各々から複数の特徴点を抽出し、
   前記複数の特徴点の前記２つの画像上の位置から前記自車両から前記複数の特徴点までの前記所定方向における距離、及び実空間における前記複数の特徴点間の距離をそれぞれ算出し、
   少なくとも前記実空間における前記複数の特徴点間の距離に基づいて算出される第１の可能性であって、前記複数の特徴点が同一の物体の特徴点である可能性を示す前記第１の可能性に対して付される第１の重み、及び前記画像における前記複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される第２の可能性であって、前記複数の特徴点が同一の物体の特徴点である可能性を示す前記第２の可能性に対して付される第２の重みを、前記自車両から前記複数の特徴点までの前記所定方向における距離に基づいてそれぞれ設定し、
   前記第１の重みを付した前記第１の可能性及び前記第２の重みを付した前記第２の可能性を用いて、前記複数の特徴点をクラスタリングして物体を検出する
   ことを特徴とする物体検出方法。
2. 前記複数の特徴点の前記２つの画像上の位置から、前記自車両から前記複数の特徴点までの前記所定方向における距離を算出する際に生じる理論誤差を考慮した前記実空間における前記複数の特徴点間の距離が、所定の許容距離以内であるか否かを判断し、
   前記理論誤差を考慮した前記実空間における前記複数の特徴点間の距離が、前記所定の許容距離より長い特徴点同士は、同一の物体の特徴点としてクラスタリングすることを禁止する
   ことを特徴とする請求項１に記載の物体検出方法。
3. 前記自車両から前記複数の特徴点までの前記所定方向における距離が所定の距離以上であるか否かを判断し、
   前記所定方向における距離が所定の距離以上である場合、前記第１の重みを０とし、
   前記所定方向における距離が所定の距離未満である場合、前記第２の重みを０とする
   ことを特徴とする請求項１に記載の物体検出方法。
4. 前記自車両から前記複数の特徴点までの前記所定方向における距離に基づいて前記第１の重み及び前記第２の重みを連続的に変化させる
   ことを特徴とする請求項１に記載の物体検出方法。
5. 前記第１の重みは、前記所定方向における距離が遠くなるほど減少し、
   前記第２の重みは、前記所定方向における距離が遠くなるほど増加する
   ことを特徴とする請求項４に記載の物体検出方法。
6. 前記所定方向に対して前記複数の特徴点がなす角度を算出し
   前記第１の重みは、前記角度が大きくなるほど減少し、
   前記第２の重みは、前記角度が大きくなるほど増加する
   ことを特徴とする請求項４に記載の物体検出方法。
7. 自車両から所定方向に向けて、異なる位置から撮像することにより２つの画像を取得する２つのカメラと、
   制御部と、を備え、
   前記制御部は、
   前記２つの画像の各々から複数の特徴点を抽出し、
   前記複数の特徴点の前記２つの画像上の位置から前記自車両から前記複数の特徴点までの前記所定方向における距離、及び実空間における前記複数の特徴点間の距離をそれぞれ算出し、
   少なくとも前記実空間における前記複数の特徴点間の距離に基づいて算出される第１の可能性であって、前記複数の特徴点が同一の物体の特徴点である可能性を示す前記第１の可能性に対して付される第１の重み、及び前記画像における前記複数の特徴点間の距離と各々の特徴点の移動速度に基づいて算出される第２の可能性であって、前記複数の特徴点が同一の物体の特徴点である可能性を示す前記第２の可能性に対して付される第２の重みを、前記自車両から前記複数の特徴点までの前記所定方向における距離に基づいてそれぞれ設定し、
   前記第１の重みを付した前記第１の可能性及び前記第２の重みを付した前記第２の可能性を用いて、前記複数の特徴点をクラスタリングして物体を検出する
   ことを特徴とする物体検出装置。

Images