以下、各実施形態を図面に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
本実施形態に係る物体検出装置10は、自車両に搭載され、自車両の周囲に存在する物体を検出する。物体検出装置10で検出された物体の情報は、自車両との衝突回避等の各種車両制御に用いられる。例えば、プリクラッシュセーフティシステム(PCS:Pre-Crash safety system)、アダプティブクルーズコントロール(ACC:Adaptive cruise control)等の各種車両制御に用いられる。
図1において、物体検出装置10は、レーダ21、単眼カメラ22および運転支援装置30と通信可能に接続されている。
レーダ21は、ミリ波やレーザ等の指向性のある電磁波を送受信する。そして電磁波を反射した物体との距離、方位および相対速度等の送受信データをレーダ信号として物体検出装置に出力する。
単眼カメラ22は、CCDやCMOS等の撮像素子を備えており、自車両の周辺を所定の画角で撮像する。単眼カメラ22による撮像で取得された撮影画像は画像信号として物体検出装置10に出力する。
物体検出装置10は、CPU、ROM、RAM、入出力インターフェース等を備えて構成されている。物体検出装置10は、一定時間ごとに、レーダ21からのレーダ信号及び単眼カメラ22からの画像信号を取り入れ、受信したレーダ信号及び画像信号を用いて、レーダ物標検出部11、レーダ領域設定部12、画像物標検出部13、画像領域設定部14、物体検出部15による各種機能を実行する。
レーダ物標検出部11は、レーダ信号に基づき検出される物体をレーダ物標として識別する。そして、識別したレーダ物標の位置情報を、図2に示すXY平面に当てはめることにより、自車両に対するレーダ物標の位置(検出点Pr)を特定する。なお、図2のXY平面は、自車両の幅方向(横方向)をX軸、自車両の車長方向(前方方向)をY軸、として設定されたものである。このXY平面では、自車両の先端位置(レーダ21が設けられた位置)が基準点Poとして設定され、レーダ物標の検出点Prが基準点Poに対する相対位置として表されている。
なお、図2では、物体が自車両の前方かつ右寄りにレーダ物標が存在する例を示している。また、レーダ物標検出部11は、物標の検出点Prに加え、物標との相対速度等を算出してもよい。
レーダ領域設定部12は、図2に示すように、レーダ物標検出部11で検出されたレーダ物標の検出点Prを中心とするレーダ探索領域Rrを設定する。具体的には、基準点Poからの距離(基準点Poを中心とする円の半径)について想定誤差分の幅を持たせるとともに、基準点Poを中心とする円の円周方向に想定誤差分の幅を持たせた領域を、レーダ探索領域Rrとして設定する。なお、円周方向は、基準点Poと検出点Prとを結ぶ直線に対して直交する方向であるとも言える。
詳しくは、図3に示すように、レーダ物標の検出点Prの、基準点Poからの距離r1、及びY軸からの円周方向の角度θrを基準として、距離方向及び円周方向のそれぞれについて、レーダ21の特性に基づき予め設定されている想定誤差分の幅を持たせた領域をレーダ探索領域Rrとして設定する。
例えば、検出点Pr(r1,θr)について、距離方向の想定誤差を±Er1、円周方向の角度の想定誤差を±Eθrとすると、レーダ探索領域Rrは、距離方向の範囲が(r1−Er1)から(r1+Er1)、円周方向の角度範囲が(θr−Eθr)から(θr+Eθr)、と表される。
つまり、レーダ探索領域Rrは、基準点Poに対する円周方向の角度θrを含む一定角度2Eθrの範囲において設定される。具体的には、レーダ探索領域Rrは、(θr−Eθr)から(θr+Eθr)までの円周方向の角度範囲と、基準点Poからの距離が(r1−Er1)から(r1+Er1)までの距離範囲と、により特定される。
画像物標検出部13は、画像信号の表す撮影画像を解析することで検出される物体を画像物標として識別する。例えば、予め登録されている物標モデルを用いたマッチング処理で画像物標を識別する。物標モデルは、画像物標の種類ごとに用意されており、これにより画像物標の種類も特定される。画像物標の種類としては、四輪車両、二輪車、歩行者、ガードレール等の障害物等が挙げられる。なお、二輪車には自転車、鞍乗型の自動二輪車等が含まれているとする。
そして、画像物標検出部13は、識別した画像物標の位置情報を、図2に示すXY平面に当てはめることにより、自車両に対する画像物標の位置(検出点Pi)を特定する。なお、画像物標検出部13は、撮影画像中における画像物標の上下方向の位置に基づいて、XY平面における画像物標の位置(検出点Pi)を特定する。
図4の撮影画像の例を用いて詳しく説明すると、まず、画像物標検出部13は、物標モデルを用いたマッチング処理によって、撮影画像中から画像物標の検出領域T1を抽出する。そして抽出された画像物標の検出領域T1の撮影画像中における上下方向の位置(座標)からXY平面における距離方向の位置を特定する。ここでは、画像物標の検出領域T1において、画像物標の接地点T1aの位置に基づいて、図2のXY平面における距離方向の位置を特定する。
なお、撮影画像中において、画像物標の接地点T1aが無限遠点FOE(FOE:Focus of Expansion)に接近した位置にあるほど、画像物標は自車両から遠方の位置に存在することとなり、物標のXY平面における距離方向の位置が大きくなる。このような相関関係を予め記憶しておくことにより、画像物標の接地点T1aから、図2のXY平面の距離方向の位置を特定できる。
また、画像物標検出部13は、撮影画像中における画像物標の左右方向の位置に基づいて、その画像物標の円周方向の角度(自車両の前方方向を基準とする角度位置)を特定する。すなわち、自車両の前方方向(詳細にはX=0の直線)を基準とする画像物標の角度方向のずれ(傾き)が大きいほど、単眼カメラ22の無限遠点FOEを基準として、その画像物標の左右方向へのずれが大きくなる傾向にある。このため、図4の撮影画像における無限遠点FOEから画像物標の中心を通る鉛直線までの距離に基づいて、図2のXY平面での画像物標の円周方向の位置を特定することができる。
画像領域設定部14は、図2に示すように、画像物標検出部13で検出された画像物標の検出点Piを中心とする画像探索領域Riを設定する。具体的には、基準点Poからの距離(基準点Poを中心とする円の半径)について想定誤差分の幅を持たせるとともに、基準点Poを中心とする円の円周方向に想定誤差分の幅を持たせた領域を、画像探索領域Riとして設定する。なお、円周方向は、基準点Poと検出点Piとを結ぶ直線に対して直交する方向であるともいえる。
詳しくは、図5に示すように、画像物標の検出点Piの、基準点Poからの距離r2、及びY軸からの円周方向の角度θiを基準として、距離方向及び円周方向のそれぞれについて、単眼カメラ3の特性に基づき予め設定されている想定誤差分の幅を持たせた領域を画像探索領域Riとして設定する。
例えば、検出点Pi(r2,θi)について、距離方向の想定誤差を±Er2、円周方向の角度の想定誤差を±Eθiとすると、画像探索領域Riは、距離方向の範囲が(r2−Er2)から(r2+Er2)、円周方向の角度範囲が(θi−Eθi)から(θi+Eθi)、と表される。
つまり、画像探索領域Riは、基準点Poに対する円周方向の角度θiを含む一定角度2Eθiの範囲において設定される。具体的には、画像探索領域Riは、(θi−Eθi)から(θi+Eθi)までの円周方向の角度範囲と、基準点Poからの距離が(r2−Er2)から(r2+Er2)までの距離範囲と、により特定される。
ところで、撮影画像を用いた物標モデルによるマッチング処理で画像物標を検出する場合、撮影画像中において画像物標の接地点T1aの位置が正しく特定されないと、画像物標の距離方向の検出精度が低下してしまう。そして、物体が二輪車の場合には、画像物標の接地点T1aの検出位置の精度が低下しやすく、物体の距離方向の検出精度が低下しやすくなることが分かった。
すなわち、物体が二輪車の場合には、二輪車の特徴部分である車輪部分が画像処理で抽出することが困難となることがある。そして二輪車の車輪部分が正しく特定されないと、画像物標の接地点T1aの位置が、本来の画像物標の接地点T1aの位置に対して上下方向にずれることが生じ、これにより画像物標の距離方向の検出精度が低下してしまう。例えば、図4において、二輪車の車輪部分が正しく抽出されないことにより、乗員の足元までが画像物標の検出領域T1として検出されてしまうと、画像物標の接地点T1aが本来の位置よりも、上方向(無限遠点FOEに近づく方向)にずれることとなり、自車両に対する二輪車の距離方向の位置が、本来の位置よりも遠方の位置にあると認識されることが生じうる。
そこで、画像領域設定部14は、画像物標検出部13が検出した画像物標の種類が二輪車の場合には、画像物標(物体)の種類が二輪車以外の場合(例えば四輪車両、歩行者などの場合)に比べて、画像探索領域Riを距離方向rに広めに設定する。なお画像物標の種類が二輪車以外の場合とは、移動物体として認識される物体のうち、二輪車でないと判定される場合であるとよい。
例えば、物体の種類が二輪車以外の場合には、距離方向の想定誤差をデフォルト値の±Er2aに設定する。一方、物体の種類が二輪車の場合には、距離方向の想定誤差を、デフォルト値の±Er2aに所定の補正係数C1(C1>1)を乗じた値に設定する。以上により、物体が二輪車の場合に、画像探索領域Riを距離方向に拡大されることとなる。
物体検出部15は、画像物標検出部13から入力された画像物標と、レーダ物標検出部11から入力されたレーダ物標とが同一の物体から生成されたものであるか否かを判定する。すなわち、物体検出部15は、XY平面において、レーダ探索領域Rrと画像探索領域Riとで互いに重複する領域(重複部OL)が存在するか否かを判定する(図2参照)。重複部OLが存在すると判定した場合には、画像物標とレーダ物標とは同一の物体であると判定する。一方、レーダ探索領域Rrと画像探索領域Riとに重複部OLが存在しない場合には、画像物標とレーダ物標とが同一の物体であると判定しない。
運転支援装置30は、車載機器として、警報音や案内音を出力するスピーカ、シートベルト、ブレーキ等を備えている。運転支援装置30は、物体検出装置10により検出された物体に対する運転支援が必要であるか否かを判定し、運転支援が必要であると判定した場合に各種車載機器を作動させる。
例えば、運転支援装置30は、物体検出部15により検出された物体と自車両との衝突余裕時間TTC(Time to Collision)を算出する。衝突余裕時間TTCとは、このままの自車速度で走行した場合に、何秒後に物体に衝突するかを示す評価値であり、TTCが小さいほど、衝突の危険性は高くなり、TTCが大きいほど衝突の危険性は低くなる。衝突余裕時間TTCは、物体と自車両との進行方向の距離を、物体との相対速度で除算する等の方法で算出できる。物体との相対速度は、先行車両の車速から自車速を減算して求められる。なお、相対加速度を加味して衝突余裕時間TTCを算出してもよい。
そして、衝突余裕時間TTCが車載機器の作動時間以下であれば、該当する車載機器を作動させる。なお各車載機器の作動時間は物体の種類に応じて設定される。例えば、物体が歩行者の場合の作動時間と、物体が二輪車の場合の作動時間とでは、二輪車の場合の方の危険度が高くなるために、早めの作動時間に設定する。
次に物体検出装置10が実施する物体検出処理の手順を図6のフローチャートを用いて説明する。なお以下の処理は、物体検出装置10が所定周期で繰り返し実施する。
まず、レーダ物標を検出し(S11)、レーダ物標の位置に基づきレーダ探索領域Rrを設定する(S12)。次に画像物標を検出する(S13)。そして、S13で検出した画像物標の種類が二輪車であるか否かを判定する(S14)。ここで、S13で検出した物標の種類が歩行者と二輪車との両方のいずれかである場合もあり得る。このような場合には、物標の速度が所定値(例えば20km/h)以上かどうかを判定し、所定値以上であれば二輪車であると判定し、所定値未満であれば歩行者と判定するとよい。S14で画像物標が二輪車であると判定した場合には、二輪車用の画像探索領域Riを設定し(S15)、その後、S17に進む。すなわち、S14では、距離方向の想定誤差±Er2aに所定の補正係数C1を乗算して画像探索領域Riを設定する。一方、S14で画像物標GTが二輪車ではないと判定した場合には、距離方向の想定誤差±Er2aに基づき画像探索領域Riを設定する(S16)。その後、S17に進む。
S17では、レーダ探索領域Rrと画像探索領域Riとの重複部OLが存在するか否かを判定する。重複部OLが存在すると判定した場合には、レーダ物標と画像物標とは同一物体であると判定する(S18)。一方、重複部OLが存在しない場合には、処理を終了する。この場合には、レーダ物標と画像物標とは同一物体ではないとして、運転支援装置30による運転支援は実施されないこととなる。
上記によれば以下の優れた効果を奏することができる。
・単眼カメラ22を用いて自車両の周囲に存在する物体を検出する場合、物体が二輪車の場合には、単眼カメラ22の撮影画像から検出される物体の検出位置の精度が低下する。そのため、レーダ21及び単眼カメラ22で検出された物体が同一の物体であるにも関わらず、同一の物体ではないと誤判定されるおそれがある。そこで、物体の種類が二輪車であると判定された場合には、物体の種類が二輪車ではないと判定された場合と比べて、単眼カメラ22によって検出された物体の検出位置に含まれる誤差が大きいとみなし、画像探索領域を広めに設定する。以上により、単眼カメラ22を用いて検出された二輪車の検出位置に含まれる誤差が大きかったとしても、レーダ21による物体の検出位置に基づき設定されたレーダ探索領域と画像探索領域とに重複部OLを発生させることができ、これによりレーダ及び単眼カメラを用いて二輪車を正しく特定することが可能となる。
・単眼カメラ22を用いて自車両の周囲に存在する物体を検出する場合、撮影画像中の物体の位置に基づいて、自車両から物体までの距離を推定することとなる。このとき、二輪車では、乗員の足元が地面から離れることから、撮影画像中の物体の位置が正しく特定されず、自車両から物体までの距離の検出値に含まれる誤差が大きくなってしまうおそれがある。そこで、物体の種類が二輪車であると判定されたことを条件に、物体の種類が二輪車ではないと判定された場合と比較して、自車両から物体までの距離方向における画像探索領域Riを拡大することとした。以上により、物体が二輪車であることで、物体の測距精度が低下する場合においても、レーダ21及び単眼カメラ22の両方を用いて二輪車を精度よく検出できる。
上記実施形態を例えば次のように変更してもよい。なお以下の説明において上述の構成と同様の構成については同じ図番号を付し、詳述は省略する。また上記実施形態及び以下に示す各実施形態は相互に組み合わせて実施することが可能である。
・画像物標が二輪車であって、画像探索領域Riを距離方向に拡大する場合に、物体の種類が二輪車ではないと判定された場合と比べて画像探索領域Riのうち自車両に向かう領域を拡大してもよい。つまり、図7に示すように、画像探索領域Riの距離範囲において画像物標の検出点Piから近方側の距離をEr21、遠方側の距離をEr22とする場合に、Er21>Er22となるように画像探索領域Riを拡大する。この場合、近方側の距離と遠方側の距離とのうち近方側の距離のみを拡大する構成と、両方の距離を拡大する構成とのいずれかを採用するとよい。
画像物標が二輪車である場合には、距離が遠い側にカメラ画像が検知されてしまう傾向にあると考えられる。この点、上記のとおり自車両側(手前側)の領域がより大きくなるように画像探索領域Riを拡大することで、レーダ物標と画像物標とが同一の物体かどうかの判定をより適切に実施することができる。
要するに、画像探索領域Riを拡大する場合に、Er21≠Er22としてもよい。この場合、Er21>Er22とすること、及びEr21<Er22とすることが考えられ、そのうち特に、Er21>Er22とするとよい。
・上記では、画像物標が二輪車である場合に、画像探索領域Riを距離方向に拡大する例を示したが、画像物標が二輪車である場合に、画像探索領域Riの距離方向及び円周方向のうち少なくとも一方を拡大してもよい。
・画像探索領域Riを拡大すると、レーダ探索領域Rrと画像探索領域Riとの重複部OLが発生しやすくなるため、これにより物体(二輪車)の誤検出が生じる可能性が高まるおそれがある。そこで、画像物標が二輪車であると判定された場合には、二輪車の進行方向に応じて、画像探索領域Riが拡大するか否かが判定されてもよい。
すなわち、二輪車が自車両の前方に位置している場合には、図8(a)に示すように、自車両に対して二輪車の車輪が前後方向の並ぶ縦向きの状態と、図8(b)に示すように、自車両に対して二輪車の車輪が左右方向に並ぶ横向きの状態とが発生する。そして、二輪車が縦向きの場合には、二輪車の特徴部分である車輪を画像処理で検出することが困難となりやすく、二輪車の測距精度が低下しやすくなる。一方、二輪車が横向きの場合には、二輪車の特徴部分である車輪を比較的に検出しやすいと言える。
そこで、図6のフローチャートに、二輪車が自車両の前方にあり、且つ二輪車が縦向きであるか否かの判定条件を追加する。そして、これらの両方の判定条件が成立した場合には、画像探索領域Riを距離方向に拡大する。いずれかの判定条件が非成立の場合には、画像探索領域Riの拡大を実施しない。以上により、自車両に対して二輪車が縦向きであることにより、物体の測距精度が低下する状況においても、レーダ21及び単眼カメラ22の両方を用いて二輪車を精度よく検出できる。
・図8(b)に示すように、二輪車が自車両の前方に位置しており、且つ二輪車が横向きの場合には、二輪車が自車両の前を通過して車線を横断してくる可能性があり、自車両との衝突の可能性が高まるおそれがある。このような場合には、二輪車の誤検出を抑えることよりも、二輪車の可能性のある物体が確実に検出されることが優先されることが好ましい。
そこで、図6のフローチャートに、二輪車の向きが横向きであるか否かの判定条件を追加する。そして、その判定条件が成立した場合には、画像探索領域Riの円周方向を拡大する。例えば、円周方向の角度の想定誤差±Eθiに、所定の補正係数C2(C2>1)を乗算することで、画像探索領域Riを円周方向に拡大する。以上により、二輪車の向きに応じた衝突危険度に応じて、画像探索領域Riをより適切に設定することが可能となり、ひいては、レーダ21及び単眼カメラ22の両方を用いて二輪車を検出する確度を高めることができる。
・上記において、二輪車の移動速度が速いほど、画像物標から特定される距離方向の検出精度が低下するおそれがある。そこで、二輪車の移動速度に応じて、画像探索領域Riを拡大してもよい。なお、二輪車の移動速度は、レーダ物標検出部11により検出される物標の相対速度に基づき算出できる。
詳しくは、図9に示すような、二輪車の移動速度と補正係数C3(C3>1)との相関関係を用いて、二輪車の移動速度が大きくなるほど、画像探索領域Riの距離方向及び円周方向の少なくともいずれかを拡大する。以上により、二輪車の移動速度に応じた誤差の影響を抑えて、レーダ及び単眼カメラを用いた二輪車体の検出精度を高めることができる。
・上記では、図4に示すように、画像物標の接地点T1aの位置に基づいて、XY平面における画像物標の検出点Piの距離方向の位置を求めている。これ以外にも、撮影画像中における二輪車の車輪部分の大きさに基づいて、XY平面における画像物標の距離方向の位置を特定してもよい。すなわち、自車両と二輪車との距離が比較的に短い場合には、自車両と二輪車との距離が比較的に長い場合に比べて、撮影画像中に現れる二輪車の車輪部分が大きくなる。そこで、撮影画像中の二輪車の車輪部分の大きさに基づいて、XY平面における画像物標の距離方向の位置を求めることができる。例えば図10に示すように、二輪車の車輪部分の大きさと補正係数C4(C4>1)との相関関係を使用して、二輪車の車輪部分の大きさが小さくなる程、補正係数C4が大きい値に設定されるようにする。以上により、二輪車の車輪部分の大きさに基づいて、XY平面における画像物標の距離方向の位置を求めることができる。
・自車両と二輪車との距離が大きいほど、単眼カメラ22の撮影画像の画像処理で検出される二輪車の検出位置に含まれる誤差が大きくなりやすくなる傾向がある。そこで自車両と二輪車との距離に応じて、画像探索領域Riを拡大する度合いが設定されるとよい。すなわち、自車両に対して二輪車が遠方の位置にあるほど、図4に示す撮影画像中においては、二輪車の検出位置が無限遠点FOEに近い位置となる。そのため、二輪車が遠方の位置にあるほど、撮影画像中における画像物標の接地点T1aのずれに伴う二輪車の距離方向の検出位置の誤差が大きくなる。そこでこのことを考慮して、画像探索領域Riを拡大する度合いを設定してもよい。例えば、図11のマップに示されるように、自車両に対して二輪車が比較的に近距離の位置にある場合には、距離方向の想定誤差±Er2aに乗算する補正係数C5(C5>1)が小さめの値に設定され、自車両に対して二輪車が比較的に遠距離の位置にある場合には、距離方向の想定誤差±Er2aに乗算する補正係数C5が大きめの値に設定されるようにする。以上のように、自車両と二輪車との距離に応じて、画像探索領域を拡大することで、自車両と二輪車との距離に応じて変化する誤差の影響を抑えて、レーダ21及び単眼カメラ22の両方を用いて二輪車を精度よく検出できる。
・上記において、図9〜図11のマップにおいては、各補正係数C3〜C5が線形的に変化する例が示されているが、各補正係数C3〜C5は指数関数的に変化するように設定されていてもよい。
・二輪車が移動する方向を判定可能な場合には、その移動方向に応じて画像探索領域Riを拡大してもよい。例えば二輪車が自車両の進行方向に対して直交方向(横方向)に移動している場合には、その移動方向に対応する側の画像探索領域Riを拡大させる。例えば、二輪車が横方向に移動しており、かつその移動方向が自車両に接近する方向である場合には、画像探索領域Riにおいて基準点Poに接近する側を拡大する。例えば図12に示すように、画像探索領域Riに領域ΔRi1を加えた領域を、新たな画像探索領域Riに設定する。一方、二輪車が横方向に移動しており、かつその移動方向が自車両から離れる方向である場合には、画像探索領域Riにおいて基準点Poから離間する側を拡大する。例えば図12に示すように、画像探索領域Riに領域ΔRi2を加えた領域を、新たな画像探索領域Riに設定する。以上のように、二輪車の移動方向に応じて画像探索領域Riを拡大させる場合、二輪車の誤検出の可能性を抑制しつつ、レーダ21及び単眼カメラ22を用いて二輪車をより精度よく検出することができる。なお二輪車が自車両から離れる方向に移動している場合には、自車両と二輪車との衝突等の可能性が低くなるため、この場合には、画像探索領域Riを拡大しなくてもよい。または、二輪車が自車両から離れる方向に移動している場合には、画像探索領域Riを縮小してもよい。以上のように、二輪車の移動方向に応じて、画像探索領域Riを設定することで、二輪車の検出精度を高めることができる。
・図4に示すように、物標モデルを用いたマッチング処理で、撮影画像から二輪車を抽出する場合には、その画像物標の検出領域T1が誤って広めに抽出される可能性があり、この場合には、画像物標の接地点T1aに基づいて求められる画像物標の距離方向の位置に誤差が生じてしまう。そこで、図6のS14の処理で、画像物標が二輪車であると判定された場合には、画像物標の信頼度を判定する処理を行ってもよい。例えば、画像物標の検出領域T1内におけるエッジ(輝度)の分布を検出する。そして検出領域T1内におけるエッジの分布に偏りがある場合には、画像物標の信頼度が低いとして、画像物標の検出領域T1の接地点T1aを補正する処理を実施する。例えば、画像物標の検出領域T1内において二輪車が含まれている領域と、二輪車が含まれていない領域との境界に接地点T1aの位置を補正する。以上のように、画像物標の信頼度に応じて画像探索領域を設定することにより、二輪車の検出精度を高めることができる。
・上記の図6のフローチャートにおいて、S14で二輪車ではないと判定した場合には、物体の種類が大型動物(鹿、熊など)であるか否かを判定する。そして物体の種類が大型動物であると判定された場合には、物体が歩行者等の場合と比較して、画像探索領域Riが広めに設定されてもよい。