JP2015031607A

JP2015031607A - 物体認識装置

Info

Publication number: JP2015031607A
Application number: JP2013161628A
Authority: JP
Inventors: 淳土田; Atsushi Tsuchida
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2013-08-02
Filing date: 2013-08-02
Publication date: 2015-02-16

Abstract

【課題】車両の周囲に存在する物体を高精度に認識できる、物体認識装置を提供すること。
【解決手段】車両の周囲に存在する物体を検出する第１の検出手段と、前記車両の周囲に存在する物体を前記第１の検出手段とは異なる方式で検出する第２の検出手段と、前記第１の検出手段によって検出された第１の物体又は前記第２の検出手段によって検出された第２の物体が存在するエリアに応じて、前記第１の物体と前記第２の物体との距離、又は前記車両と前記第１の物体とを結ぶ直線と前記車両と前記第２の物体とを結ぶ直線とのなす角度を重んじて、前記第１の物体と前記第２の物体とが同一物体であるか否かを判定する判定手段とを備える、物体認識装置。
【選択図】図１

Description

本発明は、物体を検出する複数の検出手段を備える物体認識装置に関する。

従来、カメラにより物体の有無を検出し、レーダにより検出された物体の位置にカメラにより検出された物体が対応しているか判断する車両用レーダ装置が知られている（例えば、特許文献１を参照）。この車両用レーダ装置は、車両前方の所定距離以上且つ中央の狭い角度の範囲では、被検出物体までの距離をレーダ情報に基づいて演算し、車両近傍の広い範囲では、被検出物体までの距離を画像データに基づいて演算する。

特開２００２−９８７５４号公報

しかしながら、上述の従来技術では、単眼カメラのように距離検出が比較的苦手な検出手段を用いる場合、車両の周囲に存在する物体を高精度に認識することが難しい。そこで、車両の周囲に存在する物体を高精度に認識できる、物体認識装置の提供を目的とする。

上記目的を達成するため、
車両の周囲に存在する物体を検出する第１の検出手段と、
前記車両の周囲に存在する物体を前記第１の検出手段とは異なる方式で検出する第２の検出手段と、
前記第１の検出手段によって検出された第１の物体又は前記第２の検出手段によって検出された第２の物体が存在するエリアに応じて、前記第１の物体と前記第２の物体との距離、又は前記車両と前記第１の物体とを結ぶ直線と前記車両と前記第２の物体とを結ぶ直線とのなす角度を重んじて、前記第１の物体と前記第２の物体とが同一物体であるか否かを判定する判定手段とを備える、物体認識装置が提供される。

一態様によれば、車両の周囲に存在する物体を高精度に認識できる。

物体認識装置と物体検出エリアの例を模式的に示した鳥瞰図検出方式の異なる複数の検出手段で検出された物体の位置関係の一例を示した図検出方式の異なる複数の検出手段で検出された物体の位置関係の一例を示した図

図１は、本発明の一実施形態である物体認識装置５０と、物体認識装置５０が物体を検出可能なエリア１，２，３，４とを模式的に示した鳥瞰図である。物体認識装置５０は、自動車等の車両４０に搭載され、車両４０の周囲に存在する物体を認識した結果を出力する。車両４０の周囲とは、車両４０を中心としたエリアの全部又は一部である。図１は、物体認識装置５０が車両４０の進行方面のエリアに存在する物体を認識する場合を例示している。

物体認識装置５０は、物体を検出する方式が互いに異なる複数のセンサによって得られた物体検出結果をフュージョン（融合）して、車両４０の周囲に存在する物体（例えば、車両４０の障害物）を認識する。物体認識装置５０は、各センサにより得られた複数の物体検出結果をフュージョンする際に、どの物体検出結果が同一の物体を検出した結果であるのかを推定する必要があり、その推定精度には、各センサの特徴や誤差が影響する。推定精度が低いと、例えば、実際には隣り合う別の物体についての検出結果同士を、同一物体についての検出結果として、誤ってフュージョンするおそれがある。

本実施形態では、誤フュージョンの防止のため、物体認識装置５０は、車両４０から物体までの距離の検出精度が比較的高いミリ波センサ１０と、車両４０から物体に向かう放射方向の角度の検出精度が比較的高い画像センサ２０と、制御装置３０とを備えている。制御装置３０が両センサそれぞれによって得られた物体検出結果を組み合わせる（フュージョンする）ことによって、物体の認識精度の高いセンサフュージョンシステムを提供できる。

図１には、車両４０からエリア１に存在する物体Ａまでの距離ｒが例示され、車両４０から物体Ａに向かう放射方向の角度θが例示されている。

距離ｒは、車両４０上に設定された基準点Ｏと物体Ａとの間の距離であり、基準点Ｏは、ミリ波センサ１０又は画像センサ２０が設置されている箇所である（なお、図面では、便宜上、見えやすいように、ミリ波センサ１０及び画像センサ２０は基準点Ｏからずらして描画されている）。

角度θは、基準点Ｏと物体Ａとを結ぶ放射方向の直線が、地面に平行な第１の仮想基準軸６となす偏角であり、例えば、仮想基準軸６に対して、一方の方向に開く角度を正の値とし、他方の方向に開く角度を負の値とする。角度θは、地面に平行な第２の仮想基準軸７となす偏角でもよい。仮想基準軸７は、仮想基準軸６に直交する。仮想基準軸６は、例えば、ミリ波センサ１０及び画像センサ２０の検出角度範囲αの中心軸である。なお、検出角度範囲αは、ミリ波センサ１０と画像センサ２０とで、同じでもよいし、異なってもよい。

ミリ波センサ１０は、車両４０に搭載され、車両４０の周囲に存在する物体を検出する検出手段である。ミリ波センサ１０は、車両４０上の基準点Ｏから物体までの距離ｒを、画像センサ２０よりも高精度に演算可能な検知データ（例えば、「検知データＰ１」とする）を取得できる。一方、画像センサ２０は、車両４０に搭載され、車両４０の周囲に存在する物体をミリ波センサ１０とは異なる検出方式で検出する検出手段である。画像センサ２０は、車両４０から物体に向かう放射方向が所定の基準軸となす角度θを、ミリ波センサ１０よりも高精度に演算可能な検知データ（例えば、「検知データＰ２」とする）を取得できる。

ミリ波センサ１０は、車両４０周りの所定の方向に電波（この場合、ミリ波）を照射し、照射した電波が物体に反射した反射波を受信することによって、物体を検出するレーダの一例である。ミリ波センサ１０は、その反射波に基づいて、ミリ波センサ１０によって検出された物体（例えば、「物体Ｘ」とする）の位置を特定可能な検知データＰ１を制御装置３０に対して出力する。検知データＰ１の具体例として、反射波のピーク電力データなどが挙げられる。

画像センサ２０は、車両４０周りの所定の方向を撮像するカメラを有し、そのカメラによって撮像された画像を画像処理することにより、物体を検出するセンサである。画像センサ２０が有するカメラの具体例として、単眼カメラが挙げられる。画像センサ２０は、カメラによって撮像された画像に基づいて、画像センサ２０によって検出された物体（例えば、「物体Ｈ」とする）の位置を特定可能な検知データＰ２を制御装置３０に対して出力する。検知データＰ２の具体例として、撮像画像内の物体のエッジデータなどが挙げられる。

制御装置３０は、ミリ波センサ１０から供給された検知データＰ１に基づき、ミリ波センサ１０とミリ波センサ１０により検出された物体Ｘとの距離ｒ及び相対速度Ｖ、並びにミリ波センサ１０により検出された物体Ｘについての角度θを演算できる制御部である。これにより、制御装置３０は、例えば、ミリ波センサ１０により検出された物体Ｘの位置を表す極座標（ｒ，θ）を導出できる。

同様に、制御装置３０は、画像センサ２０から供給された検知データＰ２に基づき、画像センサ２０と画像センサ２０により検出された物体Ｈとの距離ｒ及び相対速度Ｖ、並びに画像センサ２０により検出された物体Ｈについての角度θを演算できる制御部である。これにより、制御装置３０は、例えば、画像センサ２０により検出された物体Ｈの位置を表す極座標（ｒ，θ）を導出できる。

なお、検出された物体の位置情報は、極座標以外の座標（例えば、仮想基準軸６，７の両方を座標軸とする直交座標）で特定されてもよい。

制御装置３０は、検出された物体の位置情報に基づいて、その物体がエリア１，２，３，４のうちのどのエリアに存在しているのかを特定できる。

図２は、ミリ波センサ１０によって検出された物体Ｘと画像センサ２０によって検出された物体Ｈとの位置関係の一例を示した図である。Ｘｎは、ミリ波センサ１０によって検出された物体Ｘの位置を表し、Ｈｍは、画像センサ２０によって検出された物体Ｈの位置を表す（ｎ，ｍは、任意の自然数を表す）。

制御装置３０は、ミリ波センサ１０による物体Ｘｎについての検出結果と画像センサ２０によって画像処理により検出された物体Ｈｎの属性とを正しくフュージョンすることで、所定の制御が可能である。例えば、制御装置３０は、画像センサ２０によって検出された物体Ｈｎが歩行者である場合、警報を早める制御や、検出された歩行者が道路を横断する可能性を事前に予測する制御を実行できる。また、例えば、制御装置３０は、画像センサ２０によって検出された物体Ｈｎが車両である場合、自動ブレーキの制動力を大きくする制御や、検出された車両が右左折する可能性を事前に予測する制御を実行できる。

ところで、各センサにより得られた物体検出結果を同一物体についての検出結果として組み合わせるフュージョン探索処理を行うには、互いの距離が最も近い物体検出結果同士をフュージョンさせる方法が考えられる。しかしながら、実際の交通環境では、多数の物体検出結果が得られるため、距離が近いことだけでは、正しくフュージョンできないことが考えられる。例えば、異なる物体同士をフュージョンする可能性がある。

そこで、制御装置３０は、物体Ｘｎ又は物体Ｈｍが存在するエリアに応じて、物体Ｘｎと物体Ｈｍとの距離Ｚ_ＸｎＨｍ、又は物体Ｘｎの角度θと物体Ｈｍの角度θとの角度差θ_ＸｎＨｍを重んじて、物体Ｘｎと物体Ｈｍとが同一物体であるか否かを判定する。つまり、制御装置３０は、物体Ｘｎと物体Ｈｍとが同一物体であるか否かの判定に重んじる情報を、物体Ｘｎ又は物体Ｈｍが存在するエリアに応じて、距離Ｚ_ＸｎＨｍ又は角度差θ_ＸｎＨｍのいずれか一方に設定する。これにより、異なる物体についての検出結果同士をフュージョンする可能性を小さくできるため、車両４０の周囲に存在する物体を高精度に認識できる。

なお、制御装置３０は、物体Ｘｎの座標と物体Ｘｍの座標に基づいて、距離Ｚ_ＸｎＨｍを算出できる。角度差θ_ＸｎＨｍは、基準点Ｏと物体Ｘｎとを結ぶ直線と基準点Ｏと物体Ｈｍとを結ぶ直線とのなす角度（交角）であり、制御装置３０は、物体Ｘｎについての角度θと物体Ｈｍについての角度θとの差を角度差θ_ＸｎＨｍとして算出できる。

制御装置３０は、例えば、画像センサ２０の距離ｒの検出精度のばらつきが大きくなる遠距離領域では、角度差θ_ＸｎＨｍが距離Ｚ_ＸｎＨｍよりも重み付けされたフュージョン探索エリア（図１の場合、エリア３，４など）を設定する。エリア３，４などの遠距離領域では、画像センサ２０の角度θの検出精度のばらつきが小さいからである。制御装置３０は、エリア３，４などの遠距離領域では、距離Ｚ_ＸｎＨｍが他の検出結果の組み合わせより大きくても、角度差θ_ＸｎＨｍが他の検出結果の組み合わせより小さい検出結果の組み合わせを、同一物体についての検出結果の組み合わせとして特定する。

例えば、図２の物体Ｘ１及び物体Ｈ１，Ｈ２が全て図１のエリア３又はエリア２に存在することが、制御装置３０によって検知された場合を考える。画像センサ２０は、角度θを比較的高精度に検出できるが、基準点Ｏから放射方向（図２の矢印８の方向）に同心円状に同じ角度でずれて物体を検出する。

そこで、制御装置３０は、この場合、最も小さな距離Ｚ_Ｘ１Ｈ２で検出された物体Ｘ１と物体Ｈ２とが同一物体であるとは判定せずに、最も小さな角度差θ_Ｘ１Ｈ１で検出された物体Ｘ１と物体Ｈ１とが同一物体であると判定する。このように、制御装置３０は、距離Ｚ_Ｘ１Ｈ１が距離Ｚ_Ｘ１Ｈ２よりも長くても、角度差θ_Ｘ１Ｈ２よりも小さな角度差θ_Ｘ１Ｈ１で検出された物体Ｘ１と物体Ｈ１とが同一物体であると判定する。

なお、エリア２はエリア３よりも基準点Ｏからの距離が短い領域、つまり、画像センサ２０の検出精度が高い領域である。そのため、検出された物体がエリア２に存在する場合、物体Ｘｎと物体Ｘｍとが同一物体であるか否かの判定材料である距離Ｚ_ＸｎＨｍは、エリア３に存在する場合よりも重み付けされてよい。また、制御装置３０は、物体Ｘｎ及び／又は物体Ｘｍがエリア３に存在することが検知された場合、角度差θ_ＸｎＨｍのみに基づいて、物体Ｘｎと物体Ｈｍとが同一物体であるか否かを判定してもよい。

次に、図３の物体Ｘ１，Ｘ２及び物体Ｈ１，Ｈ２が全て図１のエリア４（仮想基準軸６付近の遠距離領域）に存在することが、制御装置３０によって検知された場合を考える。この場合も同様に、制御装置３０は、物体Ｘ１と物体Ｈ１との距離Ｚ_Ｘ１Ｈ１が大きくても、最も小さな角度差θ_Ｘ１Ｈ１で検出された物体Ｘ１と物体Ｈ１とが同一物体であると判定する（角度差θ_Ｘ１Ｈ１は、角度差θ_Ｘ２Ｈ１よりも小さく、ほぼゼロである）。同様に、制御装置３０は、物体Ｘ２と物体Ｈ２との距離Ｚ_Ｘ２Ｈ２が大きくても、最も小さな角度差θ_Ｘ２Ｈ２で検出された物体Ｘ２と物体Ｈ２とが同一物体であると判定する（角度差θ_Ｘ２Ｈ２は、角度差θ_Ｘ１Ｈ２よりも小さく、ほぼゼロである）。

なお、検出された物体がエリア４に存在する場合、角度差θ_ＸｎＨｍが所定の角度差よりも小さいことのみで物体の同一性を判定すると、誤判定の可能性が高くなるため、距離Ｚ_ＸｎＨｍが所定の距離よりも大きいことを判定条件に加えることが好ましい。

また、制御装置３０は、例えば、画像センサ２０の距離検出精度のばらつきが小さくなる近距離領域では、距離Ｚ_ＸｎＨｍが角度差θ_ＸｎＨｍよりも重み付けされたフュージョン探索エリア（図１の場合、仮想基準軸６付近のエリア１など）を設定する。制御装置３０は、エリア１などの近距離領域では、距離Ｚ_ＸｎＨｍが他の検出結果の組み合わせより小さい検出結果の組み合わせを、同一物体についての検出結果の組み合わせとして特定する。

例えば、制御装置３０は、物体Ｘｎ及び物体Ｈｍが全てエリア１に存在する場合、最も小さな距離Ｚ_ＸｎＨｍで検出された物体Ｘｎと物体Ｈｍとが同一物体であると判定する。このように、距離Ｚ_ＸｎＨｍは、基準点Ｏに近いエリアほど、物体の同一性の判定に重んじられる。

なお、距離Ｚ_ＸｎＨｍと角度差θ_ＸｎＨｍの重み付けは、適合要素であり、例えば、各エリアで行われたフュージョン探索処理の差分値に基づいて尤度計算された値でもよい。

以上、物体認識装置を実施形態例により説明したが、本発明は上記実施形態例に限定されるものではない。他の実施形態例の一部又は全部との組み合わせや置換などの種々の変形及び改良が、本発明の範囲内で可能である。

例えば、画像センサに使用されるカメラの具体例として、単眼カメラを挙げたが、ステレオカメラでもよい。

１，２，３，４エリア
６，７仮想基準軸
８矢印
１０ミリ波センサ（第１の検出手段の一例）
２０画像センサ（第２の検出手段の一例）
３０制御装置（変更手段の一例）
４０車両
５０物体認識装置

Claims

車両の周囲に存在する物体を検出する第１の検出手段と、
前記車両の周囲に存在する物体を前記第１の検出手段とは異なる方式で検出する第２の検出手段と、
前記第１の検出手段によって検出された第１の物体又は前記第２の検出手段によって検出された第２の物体が存在するエリアに応じて、前記第１の物体と前記第２の物体との距離、又は前記車両と前記第１の物体とを結ぶ直線と前記車両と前記第２の物体とを結ぶ直線とのなす角度を重んじて、前記第１の物体と前記第２の物体とが同一物体であるか否かを判定する判定手段とを備える、物体認識装置。