以下、本発明に係る車両検出装置の実施の形態について、図面を参照して説明する。
なお、本実施形態では、撮像手段2として2台のカメラを用いてステレオ撮像を行う形態が示されるが、撮像手段を例えば単数のカメラや3台以上のカメラ等で構成することも可能である。
本実施形態に係る車両検出装置1は、図1に示すように、主に、撮像手段2や変換手段3、画像処理手段6等で構成される位置検出手段9と、統合処理手段11やランプ候補抽出手段12等を含む処理部10とで構成されている。
位置検出手段9は、自車両の周囲を撮像する撮像手段2を含み、自車両の周囲の物体を撮像するとともに、自車両からそれらの物体までの距離や高さ、左右方向の位置を含む物体の実空間上の位置に対応する位置データを検出するようになっている。
本実施形態では、位置検出手段9は、本願出願人により先に提出された前記特許文献1や特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283477号公報、特開2006−72495号公報等に記載された車両検出装置等をベースに構成されている。以下、簡単に説明する。
位置検出手段9は、図1に示すように、車幅方向(すなわち左右方向)に一定の距離をあけて配置されCCDカメラで構成された一対のメインカメラ2aおよびサブカメラ2bを備える撮像手段2で自車両の周囲を撮像して得られた一対の撮像画像を変換手段3であるA/Dコンバータ3a、3bでそれぞれデジタル画像に変換し、画像補正部4でずれやノイズの除去、輝度値の補正等の画像補正を行って、画像データメモリ5に格納するとともに、処理部10に送信するようになっている。
なお、例えば撮像手段2のメインカメラ2aでは、前述した図18等に示したような画像T(以下、基準画像Tという。)が撮像され、サブカメラ2bでは、基準画像Tと同様の画像ではあるが、メインカメラ2aから車幅方向に一定の距離だけ離れた位置から撮像された画像(図示省略。以下、比較画像という。)が撮像される。
また、本実施形態では、撮像手段2のメインカメラ2aおよびサブカメラ2bでは、それぞれモノクロの輝度Dが取得されるようになっているが、RGB値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。
さらに、本実施形態では、撮像手段2のメインカメラ2aやサブカメラ2bで基準画像Tや比較画像を撮像する場合、図2に示すように、基準画像T等の各水平ラインjの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインjを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像した順に基準画像Tと比較画像Tcの各画素の輝度Dをそれぞれ変換手段3に順次送信するようになっている。
画像補正部4で画像補正が行われた一対の撮像画像は、画像処理手段6にも送信される。そして、画像処理手段6のイメージプロセッサ7で、メインカメラ2aで撮像した基準画像Tが複数の画素ブロックに分割され、各画素ブロックについてそれぞれサブカメラ2bで撮像した比較画像の対応する画素ブロックがステレオマッチング処理により見出され、前述したように、各画素ブロックごとに視差dpが算出される。
この視差dpの算出については、前記各公報に詳述されている。また、この視差dpと画素ブロックの基準画像T上の座標(i,j)が、実空間上の点(X,Y,Z)と上記(1)〜(3)式を介して1対1に対応付けられることは前述した通りである。また、本実施形態では、この視差dpと座標(i,j)から構成されるデータ(i,j,dp)を位置データとして扱うように構成されているが、例えば、データ(i,j,dp)を上記(1)〜(3)式に代入して算出した実空間上の位置(X,Y,Z)を位置データとして扱うように構成することも可能である。
画像処理手段6は、上記のように画素ブロックごとに算出した視差dpを基準画像Tの対応する各画素に割り当てて前述した距離画像Tz(例えば図19参照)を作成し、作成した距離画像Tzを距離データメモリ8に格納するとともに、距離画像Tzを処理部10に送信するようになっている。
すなわち、本実施形態では、画像処理手段6が距離画像作成手段に相当する。なお、距離画像Tzは、距離の情報としての視差dpを有するものであるが、距離画像Tzには、図19に示したように座標(i,j)の情報も含まれており、距離画像Tzは、位置検出手段9が検出した視差dpを含む位置データ(i,j,dp)を基準画像Tに割り当てたものに相当する。
なお、図示を省略するが、本実施形態の他にも、自車両に対する各車両の距離Z(或いは視差dp)を含む位置データの測定については、例えば自車両前方にレーザ光Lや赤外線等を照射してその反射光の情報に基づいて物体までの距離Zや物体の実空間上の位置(X,Y,Z)等を測定するレーダ装置等で構成することも可能であり、この場合は、レーダ装置等が距離検出手段9ということになる。このように、距離データを検出する距離検出手段9の構成は、特定の構成に限定されない。
しかし、車両検出装置1は、距離検出手段9としてレーダ装置等を用いる場合でも、撮像手段2を備えるように構成される。そして、この場合、撮像手段2を単数のカメラで構成してもよく、その場合、距離画像作成手段としての画像処理手段6は、距離検出手段9としてのレーダ装置等で検出された位置データを、撮像手段2で撮像された画像中の各画素に割り当てて、前述した距離画像Tzを作成するように構成される。
処理部10は、本実施形態では、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータや、専用回路で構成されている。処理部10は、統合処理手段11やランプ候補抽出手段12、ランプペア候補抽出手段13、グルーピング手段14を備えており、本実施形態では、さらに、図示しないメモリを備えている。
なお、処理部10において先行車両検出等の他の処理を行うように構成することも可能である。また、処理部10に、必要に応じて、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qからの測定値が入力されるようになっている。
以下、処理部10の各手段における処理について説明するとともに、本実施形態に係る車両検出装置1の作用について説明する。
統合処理手段11は、撮像手段2のメインカメラ2aにより撮像された基準画像T上で、先行車両Vah等の車両のウインカランプやブレーキランプ等のテールランプTLの明るさに相当する所定の輝度以上の輝度を有する画素を抽出し、抽出した画素が基準画像T上で隣接する場合にはそれらの画素同士を同一の画素領域として統合するようになっている。なお、この統合処理手段11における統合処理では、前述した比較画像は用いられない。
以下、この統合処理手段11における統合処理を、図3および図4に示すフローチャート等を用いて具体的に説明する。
なお、以下では、例えば図2に示した基準画像Tにおける画素を、基準画像Tの左下隅の画素を原点とし、右向きにi軸、上向きにj軸をとった場合の画素の座標(i,j)を用いて、画素pi,jのように表す。また、画素pi,jの輝度Dを、輝度Di,jのように表す。
統合処理手段11は、撮像手段2により撮像が開始されると(ステップS1)、iおよびjの値をそれぞれ0に設定する(ステップS2)。前述したように、撮像手段2で撮像された水平ライン0(すなわちj座標が0の各画素からなる水平ラインj)上の左端の画素p0,0(すなわち原点の画素)の輝度D0,0の処理部10への入力が開始されると(ステップS3)、続いて、画素p1,0、p2,0、p3,0、…の輝度D1,0、D2,0、D3,0、…が順次入力される。
統合処理手段11は、水平ラインjの右端の画素まで処理を完了していなければ(ステップS4;NO)、処理が繰り返されるごとにi座標を1ずつインクリメントして(ステップS5)、設定した注目画素pi,jを水平ラインj上の右隣の画素に移動させながら(ステップS6)、処理を続ける。
また、水平ラインjの右端の画素まで処理を完了すると(ステップS4;YES)、基準画像Tの最上段の水平ラインjまで処理が終了していなければ(ステップS7;NO)、処理を行う水平ラインjを1行上方の水平ラインj+1に移行させ、注目画素のi座標を0に設定して(ステップS8)、画素p0,j+1を注目画素として(ステップS6)処理を行い、注目画素を画素p0,j+1から順に右側に移動させながら処理を続行する。
次に、注目画素を画素pi,jに設定(ステップS6)した後の統合処理手段11における処理(図4のステップS9以降)について説明する。
統合処理手段11は、まず、注目画素pi,jが所定の輝度Dth以上の輝度を有する画素であるか否かを判定し(ステップS9)、注目画素pi,jの輝度Dが所定の輝度Dth以上であれば(ステップS9;YES)、注目画素pi,jを抽出する。
この場合、上記の所定の輝度Dthは、先行車両Vah等の車両のウインカランプやブレーキランプ等のテールランプTLを検出することができる輝度が設定される。すなわち、輝度Dとしてとり得る値の範囲が例えば0〜255の場合には、所定の輝度Dthは例えば240に設定される。
なお、以下、このように抽出された画素を抽出画素という。また、注目画素pi,jの輝度Dが所定の輝度Dth未満であれば(ステップS9;NO)、図3のステップS4の処理に移行する。
統合処理手段11は、注目画素pi,jの輝度Dが所定の輝度Dth以上であると判定して注目画素pi,jを抽出すると(ステップS9;YES)、ステップS10の判定処理に移行する。そして、図5(A)に示すように注目画素pi,jが入力されるより以前に入力されて上記のステップS9の判定処理が行われた、注目画素pi,jの左に隣接する画素pi-1,jが、抽出画素であるか否かを判定する(ステップS10)。
注目画素pi,jの左に隣接する画素pi-1,jが抽出画素である場合には(ステップS10;YES)、統合処理手段11は、続いて、ステップS11の判定処理に移行し、図6(A)に示すように注目画素pi,jが入力されるより以前に入力されて上記のステップS9の判定処理が行われた、注目画素pi,jの下に隣接する画素pi,j-1が、抽出画素であるか否かを判定する(ステップS11)。
そして、統合処理手段11は、注目画素pi,jの下に隣接する画素pi,j-1が、抽出画素でなければ(ステップS11;NO)、ステップS10の判定処理で、注目画素pi,jの左に隣接する画素pi-1,jは抽出画素であったから、注目画素pi,jとその左に隣接する画素pi-1,jとを1つの画素領域gに統合する(ステップS12)。
その際、図5(A)に示したように、左に隣接する画素pi-1,jが他の画素と統合されていなければ、注目画素pi,jと左に隣接する画素pi-1,jが統合されて、左右に隣接する2つの画素からなる画素領域gが新たに形成される。また、例えば図5(B)に示すように、左に隣接する画素pi-1,jが既に画素領域gに属していれば、注目画素pi,jが画素領域gに追加されるように統合され、画素領域gが注目画素pi,jの分だけ1画素分拡大する。
また、統合処理手段11は、ステップS11の判定処理で、注目画素pi,jの下に隣接する画素pi,j-1が抽出画素であれば(ステップS11;YES)、ステップS10の判定処理で、注目画素pi,jの左に隣接する画素pi-1,jも抽出画素であったから、注目画素pi,jを、下に隣接する画素pi,j-1および左に隣接する画素pi-1,jと統合する(ステップS13)。
その際、下に隣接する画素pi,j-1や左に隣接する画素pi-1,jが他の画素と統合されていなければ、注目画素pi,jと下および左に隣接する画素pi,j-1、pi-1,jが統合されて、3つの画素からなる画素領域gが新たに形成される。
また、例えば図7(A)に示すように、左に隣接する画素pi-1,jが画素領域g1に属し、下に隣接する画素pi,j-1が他の画素領域g2に属している場合、注目画素pi,jが下に隣接する画素pi,j-1および左に隣接する画素pi-1,jと統合されると(ステップS13)、図7(B)に示すように、注目画素pi,jを介して画素領域g1と画素領域g2とが統合されて1つの画素領域gとなる。
一方、上記のステップS10の判定処理で、注目画素pi,jの左に隣接する画素pi-1,jが抽出画素でない場合には(ステップS10;NO)、統合処理手段11は、続いて、ステップS14の判定処理に移行し、図6(A)に示したように注目画素pi,jが入力されるより以前に入力されて上記のステップS9の判定処理が行われた、注目画素pi,jの下に隣接する画素pi,j-1が、抽出画素であるか否かを判定する(ステップS14)。
そして、統合処理手段11は、注目画素pi,jの下に隣接する画素pi,j-1が、抽出画素であれば(ステップS14;YES)、注目画素pi,jとその下に隣接する画素pi,j-1とを1つの画素領域gに統合する(ステップS15)。
その際、図6(A)に示したように、下に隣接する画素pi,j-1が他の画素と統合されていなければ、注目画素pi,jと下に隣接する画素pi,j-1が統合されて、上下に隣接する2つの画素からなる画素領域gが新たに形成される。また、例えば図6(B)に示すように、下に隣接する画素pi,j-1が既に画素領域gに属していれば、注目画素pi,jが画素領域gに追加されるように統合され、画素領域gが注目画素pi,jの分だけ1画素分拡大する。
また、統合処理手段11は、ステップS14の判定処理で、注目画素pi,jの下に隣接する画素pi,j-1が抽出画素でなければ(ステップS14;NO)、今回、新たに抽出された注目画素pi,jを新たな画素領域gとして登録する(ステップS16)。
統合処理手段11は、ステップS12、S13、S15の処理で注目画素pi,jを隣接する画素pと統合したり、或いは、ステップS16の処理で注目画素pi,jを新たな画素領域gとして登録すると、画素領域gの画素数を更新し、画素領域gの左端gleft、右端grightの画素の各座標や上端gtop、下端gbottomの画素の各座標、中心の座標(gi,gj)等に変更があれば更新する。
その際、画素領域gの中心の座標(gi,gj)のうち、giは画素領域gの左端gleftと右端grightの中間点のi座標、gjは画素領域gの上端gtopと下端gbottomの中間点のj座標として算出される。
また、例えば図7(B)に示したように、複数の画素領域g1、g2が統合されて1つの画素領域gとされた場合には、1つに統合された画素領域gの画素領域番号を、統合の対象となった複数の画素領域g1、g2の各画素領域番号のうち例えば最も小さい番号を選択する等して更新する(ステップS17)。
そして、統合処理手段11は、ステップS17の処理を終了すると、図3のステップS4の判定処理以降の処理を続行する。そして、以上の処理が、基準画像Tの最上段の水平ラインjまで終了すると統合処理を終了するようになっている。
ランプ候補抽出手段12(図1参照)は、上記のようにして統合処理手段11が統合した各画素領域gの中から、位置検出手段9が検出した位置データ、すなわち本実施形態では距離画像作成手段としての画像処理手段6が作成した距離画像Tzに基づいて、車両のテールランプTLに対応する可能性がある画素領域gをランプ候補gLとして抽出するようになっている。
すなわち、統合処理手段11が基準画像T上で統合した画素領域gは、上記のように、先行車両Vah等の車両のウインカランプやブレーキランプ等のテールランプTLの明るさに相当する所定の輝度Dth以上の輝度Dを有する画素を抽出して統合されたものであるが、例えば路面から高い位置にある街路灯に対応する画素領域gであったり、或いは、例えば雨で濡れた路面での反射光に対応する画素領域gであったりする可能性がある。
そこで、本実施形態では、ランプ候補抽出手段12は、統合処理手段11が上記のようにして統合した各画素領域gについて、各画素領域gの路面からの高さyが、車両のテールランプTLが存在する高さyの範囲内にあるか否かを判定するようになっている。この範囲は、例えば路面から10cm〜3mの範囲に設定される。
画素領域gの路面からの高さyは、例えば、上記のようにして更新した画素領域gの上端の座標gtopや下端の座標gbottom、或いは中心のj座標gj(図4のステップS17参照)や、基準画像Tに対応する距離画像Tzから割り出した視差dpを上記(3)式や(2)式に代入して算出される実空間上の高さYとして算出することができる。
また、例えば、処理部10内に、路面自体の高さを検出する路面検出手段を別に設け、上記の実空間上の高さYから路面自体の高さを減算した値を画素領域gの路面からの高さyとするように構成することも可能である。
そして、ランプ候補抽出手段12は、各画素領域gについて上記の判定を行い、画素領域gの路面からの高さyが上記の設定範囲内にあれば、その画素領域gをランプ候補gLとして抽出するようになっている。このようにして、画素領域gは、ランプ候補gLと、それ以外の画素領域gとに分類される。
なお、このランプ候補抽出手段12におけるランプ候補gLの抽出処理を、上記のように、統合処理手段11が全ての画素領域gを統合し終えた後で行うように構成してもよく、また、統合処理手段11が統合処理を行っている最中に行うように構成することも可能である。すなわち、統合処理手段11が注目画素pi,jを画素領域gに統合したり(図4のステップS12、S13、S15参照)、新たな画素領域gとして登録(ステップS16参照)するごとにランプ候補抽出手段12が行うように構成することも可能である。
ランプペア候補抽出手段13(図1参照)は、上記のようにしてランプ候補抽出手段12により抽出された各ランプ候補gLの中から、位置検出手段9により検出された位置データ、すなわち本実施形態では距離画像作成手段としての画像処理手段6が作成した距離画像Tzに基づいて、車両の左右のテールランプTLに対応する可能性があるランプ候補gLの組み合わせをランプペア候補PgLとして抽出するようになっている。
また、近年、車両の背面部分に、ウインカランプやブレーキランプ等の左右のテールランプTLの他に、左右のテールランプの左右方向の中間部分の上部にハイマウントストップランプが設けられた車両が増えているため、ランプペア候補抽出手段13は、このようにハイマウントストップランプが設けられている場合には、そのハイマウントストップランプに対応するランプ候補gLも、左右のテールランプTLに対応するランプ候補gLの組み合わせであるランプペア候補PgLに追加するようになっている。
以下、本実施形態でのランプペア候補抽出手段13におけるランプペア候補PgLの抽出処理について、図8に示すフローチャートを用いて説明する。
ランプペア候補抽出手段13は、全てのランプ候補gLの組み合わせについて下記の判定処理を行っていなければ(ステップS20;NO)、ランプ候補抽出手段12により抽出された各ランプ候補gLの中から任意に2つのランプ候補gLを選択する(ステップS21)。そして、選択した2つのランプ候補gLが、車両の左右のテールランプTLとしてふさわしい条件を満たすか否かを判定する(ステップS22)。
具体的には、ステップS22の判定処理において、ランプペア候補抽出手段13は、選択した2つのランプ候補gLのうちの一方のランプ候補gLの画素数の、他方のランプ候補gLの画素数に対する比が、例えば0.5倍〜1.5倍等の所定範囲内であるか否かを判定する。
また、ランプペア候補抽出手段13は、一方のランプ候補gLの基準画像Tにおける縦方向の画素数(例えば当該ランプ候補gLとしての画素領域gの前述した上端の座標gtopと下端の座標gbottomの差)の、他方のランプ候補gLの基準画像Tにおける縦方向の画素数に対する差が、例えば10画素以内等の所定範囲内であるか否かを判定する。
ランプ候補gLの大きさすなわち基準画像T中における各画素数や、縦方向の大きさが違い過ぎる場合には、選択した2つのランプ候補gLを車両の左右のテールランプTLに対応するものと見做すことができない。上記の2つの条件は、このような場合を排除するための条件である。
また、ランプペア候補抽出手段13は、一方のランプ候補gLと他方のランプ候補gLの実空間上での左右方向の間隔が、車両1台分に相当する例えば2.5m等の幅以内であるか否かを判定する。一方のランプ候補gLと他方のランプ候補gLの実空間上での左右方向の間隔は、例えば図9に示すように、右側のランプ候補gLの右端grightの画素に対応する実空間上のX座標Xrと、左側のランプ候補gLの左端gleftの画素に対応する実空間上のX座標Xlとの差分ΔXとして算出される。
ランプ候補gL同士の左右方向の間隔ΔXが車両1台分に相当する幅よりもかけ離れて大きい場合には、選択した2つのランプ候補gLを車両の左右のテールランプTLに対応するものと見做すことができない。上記の条件は、このような場合を排除するための条件である。
さらに、ランプペア候補抽出手段13は、一方のランプ候補gLの実空間上での距離Z(視差dpに対応する。)および高さYが、それぞれ他方のランプ候補の実空間上の位置から所定の範囲内にあるか否かを判定する。例えば、一方のランプ候補gLの実空間上での距離Zや高さYが、他方のランプ候補の実空間上の距離Zや高さYの0.8倍〜1.2倍等の範囲内であるか否かを判定する。距離Zと高さYのいずれかが上記の所定の範囲内にない場合には、条件を満たすとは判定されない。
ランプ候補gL同士の距離Zや高さYの差があまりにも大きい場合には、選択した2つのランプ候補gLを車両の左右のテールランプTLに対応するものと見做すことができない。上記の条件は、このような場合を排除するための条件である。
例えば、前述したように、自車両が片側複数車線の道路を走行しており先行車両Vahの右隣の車線に例えば同型の車両が走行しているような場合に、基準画像T上で、車両のウインカランプやブレーキランプ等のテールランプTLに対応する4つのランプ候補gLが横方向に並ぶ場合があり、従来の特許文献2に記載の手法を採用した場合には、先行車両Vahの右側のテールランプTLと右隣の車線を走行している車両の左側のテールランプTLとを1台の車両の左右のテールランプTLとして検出してしまう可能性があった。
しかし、本実施形態では、このように基準画像T上で4つのランプ候補gLが横方向に並ぶ場合でも、位置検出手段9が検出した位置データ、すなわち本実施形態では距離画像作成手段としての画像処理手段6が作成した距離画像Tzに基づいて、先行車両Vahの右側のテールランプTLと右隣の車両の左側のテールランプTLとの視差dpや実空間上での距離Zが有意に異なる値である場合には、ランプペア候補抽出手段13によりランプペア候補PgLとしては抽出されない。
このように、本実施形態では、上記のような場合でも、それぞれ他の車両の背面部分に設けられた各テールランプTLを、誤って1台の車両の左右のテールランプTLとして検出する可能性を低減することが可能となる。
本実施形態では、ランプペア候補抽出手段13は、選択した2つのランプ候補gLが、上記の各条件のうちのいずれかの条件を満たす場合に(ステップS22;YES)当該2つのランプ候補gLの組み合わせをランプペア候補PgLとして抽出するようになっている(ステップS23)。そして、このランプペア候補PgLの抽出処理を、ランプ候補抽出手段12により抽出されたランプ候補gL同士における全ての組み合わせについて行う(ステップS20;NO)。
また、前述したように、車両によっては、ハイマウントストップランプが設けられている場合があるため、ランプペア候補抽出手段13は、引き続き、ハイマウントストップランプが設けられている場合には、そのハイマウントストップランプに対応するランプ候補gLも、左右のテールランプTLに対応するランプ候補gLの組み合わせであるランプペア候補PgLに追加するようになっている。
具体的には、ランプペア候補抽出手段13は、上記のランプペア候補PgLの抽出処理をランプ候補gL同士の全ての組み合わせについて行うと(ステップS20;YES)、続いて、抽出した各ランプペア候補PgLについて、図10に示すように、抽出したランプペア候補PgLとしての左右のランプ候補gLの間に存在し、かつ、左右のランプ候補gLの基準画像Tにおける上側の位置に、別のランプ候補gLが存在するか否かを判定する(ステップS24)。
そして、図10に示すように、上記の位置に別のランプ候補gLが存在する場合には(ステップS24;YES)、当該別のランプ候補gLをハイマウントストップランプとして、左右のランプ候補gLからなる当該ランプペア候補PgLに追加するようになっている(ステップS25)。
しかし、ハイマウントストップランプとして追加したランプ候補gLが、図11に示すように、追加されたランプペア候補PgL1とは別のランプペア候補PgL2に属している場合、基準画像T中で、当該ランプ候補gLが追加される前のランプペア候補PgL0の上側に別のランプペア候補PgL2が撮像されているという異常な状態になっている。
そこで、本実施形態では、ランプペア候補抽出手段13は、このように、ハイマウントストップランプとして追加したランプ候補gLが、当該ランプ候補gLが追加されたランプペア候補PgL1とは別のランプペア候補PgL2に属しているか否かを判定する(ステップS26)。
そして、追加したランプ候補gLが、当該ランプ候補gLが追加されたランプペア候補PgL1とは別のランプペア候補PgL2に属している場合には(ステップS26;YES)、図12に示すように、追加したランプ候補gLを、追加された元のランプペア候補PgL1から除外するようになっている(ステップS27)。この場合、図11に示したランプペア候補PgL1は、図12に示すように、結局、元のランプペア候補PgL0に戻る。
そして、本実施形態では、この場合、ランプペア候補抽出手段13は、さらに、追加を除外されたランプ候補gLが属する当該別のランプペア候補PgL2(図11参照)については、図12に示すように、ランプペア候補としての指定を解除するようになっている。また、追加を除外されたランプ候補gLについては、ランプ候補としての指定も解除するように構成することも可能である。
ランプペア候補抽出手段13は、上記のステップ24からステップS27までの処理を、抽出した全てのランプペア候補PgLについて行うようになっている(ステップS28)。
本実施形態では、上記のように、ランプ候補抽出手段12は、前述したように統合処理手段11が統合した各画素領域gの中から車両のテールランプTLに対応する可能性がある画素領域gをランプ候補gLとして抽出し、また、ランプペア候補抽出手段13は、ランプ候補抽出手段12が抽出した各ランプ候補gLの中から、車両の左右のテールランプTLやハイマウントストップランプに対応する可能性があるランプ候補gLの組み合わせをランプペア候補PgLとして抽出するようになっている。
グルーピング手段14(図1参照)は、本実施形態では、基本的には前述した図20〜図26に示した特許文献1に記載の手法をベースとして位置検出手段により検出された位置データをグループ化するように構成されているが、上記のランプ候補抽出手段12やランプペア候補抽出手段13における処理結果、すなわちランプ候補やランプペア候補の情報を用いて再グルーピング処理を行うように構成されている点で異なる処理になっている。
本実施形態では、グルーピング手段14は、位置検出手段9が検出した位置データをグループ化し、グループ化して生成した位置データを含む各グループGについて、ランプ候補抽出手段13により抽出されたランプ候補gLに属する位置データを含むグループG同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループ同士を再グルーピングする。ランプ候補gLに属する位置データを含むグループGをGLと表す。
そして、その後で、ランプ候補gLに属さない位置データを含むグループGを含む全てのグループG同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループG同士を再グルーピングするようにして、位置データを含むグループ化処理およびグループの再グルーピング処理を行うようになっている。
その際、このグルーピング手段14における再グルーピング処理では、ランプ候補gLに属する位置データを含むグループGL同士の再グルーピングを行う際の位置データに関する閾値が、その後の全てのグループG同士の再グルーピングを行う際の閾値よりも、再グルーピングし易い閾値とされるようになっている。
なお、グループ化とグルーピングとは、本来、同じ意味であるが、本発明では、位置検出手段9が検出した位置データをグループ化する処理を、グループ化処理といい、グループ化処理により生成されたグループ同士を再びグループ化する処理を、再グルーピング処理というものとする。
以下、本実施形態でのグルーピング手段14におけるグループ化処理および再グルーピング処理について、図13および図14に示すフローチャートを用いて説明する。
本実施形態では、グルーピング手段14は、前述した図20に示したように、まず、距離画像作成手段である画像処理手段6(図1参照)が作成した距離画像Tzを、所定の画素幅で縦方向に延在する短冊状の複数の区分Dnに分割し(ステップS40)、図21に示したように、各区分DnごとにヒストグラムHnを作成する(ステップS41)。
従来の特許文献1に記載の手法では、ここで、区分Dnに属する各画素に割り当てられた視差dpや距離Zを、当該区分Dnに対応するヒストグラムHnに投票するように構成されている。しかし、本実施形態では、グルーピング手段14は、ここで、ランプ候補抽出手段12(図1参照)が抽出したランプ候補gLの情報を活用するようになっている。
具体的には、グルーピング手段14は、各区分Dnごとに、区分Dn内にランプ候補抽出手段12が抽出したランプ候補gLが存在するか否かを判定する(ステップS42)。そして、区分Dn内にランプ候補gLが存在する場合には(ステップS42;YES)、ランプ候補gL中の各画素に割り当てられた位置データ(i,j,dp)における距離の情報すなわち本実施形態では視差dpを、ヒストグラムHnに投票する(ステップS43)。
この場合、当該区分Dn内に、ランプ候補gL以外の画素に視差dpが割り当てられていても、その視差dpは当該ヒストグラムHnには投票されない。そして、グルーピング手段14は、例えば当該ヒストグラムHnにおける最頻値が属する階級の階級値を、当該区分Dnにおける代表距離すなわち本実施形態では代表視差dpnとして算出する(ステップS44)。
また、グルーピング手段14は、区分Dn内にランプ候補gLが存在しない場合には(ステップS42;NO)、特許文献1に記載された手法と同様に、当該区分Dn内の各画素に割り当てられた位置データにおける距離の情報すなわち視差dpをヒストグラムHnに投票し(ステップS45)、例えば当該ヒストグラムHnにおける最頻値が属する階級の階級値を、当該区分Dnにおける代表視差dpn(代表距離)として算出する(ステップS46)。
ただし、この場合、算出した代表視差dpnに対応するヒストグラムHnの階級の度数Fn(図21参照)が、例えば最頻値であるとしても小さい度数Fnである場合には、算出された代表視差dpnの信頼性が低くなる。
そこで、本実施形態では、グルーピング手段14は、上記のように、区分Dn内にランプ候補gLが存在しない場合(ステップS42;NO)に算出した当該区分Dnの代表視差dpnに対応するヒストグラムHnの階級の度数Fnが、予め設定された所定値未満であるか否かを判定する(ステップS47)。
そして、代表視差dpnに対応する度数Fnが所定値未満である場合には(ステップS47;YES)、当該区分Dnについては代表視差dpnを無効とするようになっている(ステップS48)。そのため、グルーピング手段14は、代表視差dpnを無効とした区分Dnについては、代表視差dpnがないものとして以下のグループ化処理を行う。
なお、この代表視差dpnに対応する度数Fnに基づく代表視差dpnを無効とするか否かの判定処理(ステップS47)は、区分Dn内にランプ候補gLが存在する場合(ステップS42;YES)には行われない。そのため、この場合には、ステップS44の処理で算出された代表視差dpnに対応するヒストグラムHnの階級の度数Fnが小さな度数Fnであっても、代表視差dpnが無効とされることはない。
そして、グルーピング手段14は、全ての区分DnについてステップS42〜S48の各処理を行っていなければ(ステップS49;NO)、各区分DnについてステップS42〜S48の各処理を行い、代表視差dpnが無効とされて存在しない場合も含めて、全ての区分Dnについて代表視差dpnを算出する。
上記のように構成すると、区分Dn内に、ランプ候補gL中の各画素に割り当てられた視差dpから算出された代表視差dpnとは異なる視差dpが割り当てられた画素が、ランプ候補gL中の代表視差dpnが割り当てられた各画素よりも多く存在する場合でも(すなわち前者の度数Fnが後者の度数Fnより多い場合でも)、区分Dn内にランプ候補gLが存在する場合には、ランプ候補gL中の各画素の視差dpから算出された代表視差dpnが当該区分Dnの代表視差dpn(代表距離)として優先的に算出される。
そのため、区分Dn内にランプ候補gLが存在する場合には、区分Dn内に存在するランプ候補gL以外の部分の画素に割り当てられた視差dpではなく、車両のテールランプTLに対応するランプ候補gLにおける代表視差dpnを、当該区分Dnの代表視差dpnとして確実に抽出することが可能となる。
本実施形態では、グルーピング手段14は、上記のようにして各区分Dnごとの代表視差dpn(代表距離)を算出すると(ステップS44、S46、S48)、特許文献1に記載された手法と同様に、代表視差dpnを含む各区分Dnの位置データをグルーピングの対象としてグループ化処理を行うようになっている(ステップS50)。
各区分Dnごとに算出した代表視差dpnと、例えば短冊状の各区分Dnの横方向(すなわち図20に示した距離画像Tzにおけるi軸方向)の画素幅の中間点のi座標を上記の(1)式および(3)式に代入して、各区分Dnごとの代表視差dpnに対応する実空間上の2次元の位置データ(X,Z)を算出して実空間平面上にプロットすると、各区分Dnごとの代表視差dpnに対応する実空間上の各点は、図23に示したように、自車両前方の各車両に対応する部分に多少ばらつきを持ってプロットされる。
グルーピング手段14は、このようにプロットされた各点について、実空間上で隣接する点同士のX軸方向(左右方向)の間隔が設定された閾値以内であり、かつ、Z軸方向(距離方向)の間隔が設定された閾値以内であるか否かを判定し、X軸方向の間隔とZ軸方向の間隔がともに各閾値以内である場合に、それらの隣接する点を1つのグループGとしてグループ化するようになっている。
また、グルーピング手段14は、グループ化した1つのグループGの中に、左右方向(すなわちX軸方向)に延在する各点の部分と距離方向(すなわちZ軸方向)に延在する各点の部分とが存在する場合には、図24に示したように、グループ化した1つのグループGをその方向性に応じて複数のグループGに分離するようになっている(ステップS51)。なお、この点については特許文献1等に詳述されており、参照されたい。
グルーピング手段14は、続いて、上記のようにしてグループ化(ステップS50)および分離(ステップS51)を行って生成された各グループGの再グルーピング処理を行うようになっている。
具体的には、図14のフローチャートに示すように、グルーピング手段14は、まず、生成したグループG中に、前述したランプペア候補抽出手段13により抽出されたランプペア候補PgLに属する位置データが含まれているか否かを判定する(ステップS52)。
そして、グループG中にランプペア候補PgLに属する位置データが含まれている場合(ステップS52;YES)には、当該グループ中の、ランプペア候補PgLを構成する各ランプ候補gLに属する位置データ(すなわち図24における各点)と、各ランプ候補gLに属さない位置データとを強制的に分離して、それぞれ別のグループGとするようになっている。すなわち、グループGを、ランプ候補gLに属する位置データからなるグループGLと、ランプ候補gLに属する位置データを含まないグループGに分離する。
前述したように、例えば図31に示したようなシーンでは、従来の特許文献1に記載された手法では、図32に示したように、先行車両Vahである平ボディの荷台付きトラックの荷台Pの後あおりBの左側のエッジ部分が、右側のエッジ部分とグループ化できず、生垣Hと一体化されて1つのグループとされてしまう場合があった。
しかし、本実施形態では、上記のグループ化処理(図13のステップS50)で、仮に先行車両Vahである平ボディの荷台付きトラックの左側のテールランプTLl(図31参照)と生垣Hとが1つのグループとしてグループ化されたとしても、ランプペア候補抽出手段13により左側のテールランプTLlと右側のテールランプTLrに対応する各ランプ候補gLがランプペア候補PgLとして抽出されている。
そのため、図14のステップS52の判定処理とステップS53の分離処理を行うことで、図15に示すように、左側のテールランプTLlと生垣Hとが含まれていた1つのグループを、左側のテールランプTLlを含むグループGLと、生垣Hを含むがランプ候補gLに属する位置データを含まないグループGとを分離して、それぞれ別のグループGL、Gに的確に分離することが可能となる。
なお、この場合、距離画像Tzの1つの区分Dn(図20参照)内に、平ボディの荷台付きトラックの前壁FやキャブCaの背面部分と左側のテールランプTLl(右側のテールランプTLrについても同様)とが含まれる場合がある。
しかし、上記のように、このような区分Dnで、仮に前壁FやキャブCaのエッジ部分に対応する各画素に多くの視差dpが算出されるとしても、左側のテールランプTLlに対応するランプ候補gL中の各画素の視差dpから算出された代表視差dpnが当該区分Dnの代表視差dpnとして優先的に算出される。
そのため、左側のテールランプTLlに対応する代表視差dpnや位置データが確実に抽出される。そして、そのため、上記のように、グルーピング手段14で分離処理(ステップS52、S53)を行うことで、左側のテールランプTLlに対応するグループGLとが、確実に生垣Hに対応するグループGと分離されて、それぞれ別のグループとされる。
グルーピング手段14は、続いて、各グループGの中から、ランプ候補gLに属する位置データを含む1つのグループGLを任意に選択し(ステップS54)、当該グループGLと、他のランプ候補gLに属する位置データを含むグループGLとの全ての組み合わせについて、再グルーピングの可否を判定する(ステップS55)。
この場合、再グルーピングの可否の判定においては、例えば、以下の2つの条件をともに満たす場合に再グルーピング可能と判定するように構成することが可能である。
すなわち、再グルーピングの可否の判定における1つめの閾値Δdpth(或いはΔzth)として、2つのグループGLに属する各位置データのうち、相手方のグループに最も近接する位置データを各グループGL中に1つずつ選び出し、その位置データ同士の代表視差dpn(或いは代表距離Zn。以下同じ)の差異Δdp(或いは差異Δz)が10%以内、すなわち一方のグループGLから選ばれた位置データにおける代表視差dpnに対する、他方のグループGLから選ばれた位置データにおける代表視差dpnの比が0.9倍〜1.1倍の範囲内とし、この範囲内にあるか否かを判定する。
また、再グルーピングの可否の判定における2つめの閾値Δxthとして、2つのグループGLからそれぞれ選ばれた上記の2つの位置データについて、それらの実空間上の左右方向の位置(すなわち各X座標)の間隔Δxが2m以内とし、この範囲内にあるか否かを判定する。
そして、本実施形態では、グルーピング手段14は、選択した当該グループGLと他のグループGLとの組み合わせについて、上記の2つの条件がともに満たされた場合に再グルーピング可能と判定し、再グルーピング可能と判定した当該グループGLと他のグループGL同士を再グルーピングするようになっている(ステップS55)。
そして、選択した当該グループGLと他のグループGLとの全ての組み合わせについて上記の再グルーピングの可否の判定、および再グルーピング可能と判定した場合の再グルーピングの実施を行うようになっている。
また、グルーピング手段14は、全てのグループGLについて上記の他のグループGLとの再グルーピングの可否の判定および実施を行っていなければ(ステップS56;NO)、全てのグループGLについて上記の他のグループGLとの再グルーピングの可否の判定および実施の処理(ステップS54、S55)を繰り返すようになっている。
このランプ候補gLに属する位置データを含むグループGL同士の再グルーピングの可否の判定における閾値Δdpth(或いはΔzth)、Δxthは、後述するその後の全てのグループG同士の再グルーピングを行う際の閾値Δdpth*(或いはΔzth*)、Δxth*よりも、再グルーピングし易い閾値とされている。
また、上記のように、ランプ候補gLに属する位置データを含まないグループGを除外して、先にランプ候補gLに属する位置データを含むグループGLについて、再グルーピングし易い閾値Δdpth(或いはΔzth)、Δxthを用いて再グルーピング処理を行うように構成することで、例えば前述した図31に示したようなシーンにおいて、図15に示すようにグループ化された各グループGのうち、ランプ候補gLに属する位置データを含む左右のテールランプTLl、TLrに対応する各グループGLについて、先に再グルーピングの可否を判定することが可能となる。
そして、左右のテールランプTLl、TLrに対応する各グループGLについては、上記の2つの条件がともに満たされるため、左右のテールランプTLl、TLrに対応する各グループGLを優先的に再グルーピングすることが可能となり、図16に示すように、左右のテールランプTLl、TLrに対応する各グループGLを、新たな1つのグループGLとすることが可能となる。
グルーピング手段14は、ランプ候補gLに属する位置データを含む全てのグループGLについて上記の処理を行うと(ステップS56;YES)、続いて、再グルーピングされたグループGLや再グルーピングされなかったグループGLを含む全てのグループGの組み合わせについて再グルーピングの可否の判定、および再グルーピング可能と判定した場合の再グルーピングの実施を行うようになっている(ステップS57)。
その際、ステップS57の再グルーピングの可否の判定における閾値は、例えば、上記の1つめの閾値Δdpth*(或いはΔzth*)として、上記の差異Δdp(或いはΔz)が5%以内とされ、また、2つめの閾値Δxth*として、上記の実空間上の左右方向の間隔Δxが1m以内とされるなど、上記のランプ候補gLに属する位置データを含むグループGL同士の再グルーピングの可否の判定における閾値Δdpth(或いはΔzth)、Δxthよりも、再グルーピングし難い閾値とされている。
実際には、ステップS57の再グルーピングの可否の判定における閾値Δdpth*(或いはΔzth*)、Δxth*は、再グルーピングし難い閾値というよりも、寧ろ、例えば図31や図32に示したような問題は生じるとしても、例えば図18に示したような通常のシーンにおいては車両を含む各物体を適切に切り分けて検出することができる閾値として設定される。
そして、ステップS55の判定処理で用いられる、ランプ候補gLに属する位置データを含むグループGL同士の再グルーピングの可否の判定における閾値Δdpth(或いはΔzth)、Δxthの方が、それよりもいわば緩い閾値とされて、再グルーピングし易くなるように設定されている。
グルーピング手段14は、以上の処理が終了すると、続いて、生成したグループGがランプ候補gLに属する位置データを含むグループGLであれば(ステップS58;YES)、当該グループG(すなわちグループGL)を、車両の背面部分に対応するグループとして識別し(ステップS59)、検出したグループG(すなわちグループGL)の情報をメモリに保存する。
また、生成したグループGがランプ候補gLに属する位置データを含まないグループGであっても(ステップS58;NO)、当該グループG内の各位置データが実空間上で左右方向(すなわちX軸方向)に延在している場合には(ステップS60;YES)、当該グループGを車両の背面部分に対応するグループとして識別し(ステップS59)、検出したグループGの情報をメモリに保存する。
なお、この段階で、車両の背面部分に対応するグループとして識別した各グループGL、Gについて、例えば、その識別の確からしさを表す確率を算出するように構成することも可能である。
その際、例えば、車両の背面部分に対応するグループとして識別した各グループが、ランプ候補gLに属する位置データを含むグループGLである場合には、高い確率が割り当てられるように構成し、また、ランプ候補gLに属する位置データを含む当該グループGLの中に、ランプペア候補抽出手段13により抽出された1つのランプペア候補PgLを構成する全てのランプ候補gL(ハイマウントストップランプに対応するランプ候補gLが含まれることがあることは前述した通り。)が含まれる場合には、さらに高い確率が割り当てられるように構成することが可能である。
そして、例えば、車両の背面部分に対応するグループとして識別した各グループが、ランプ候補gLに属する位置データを含まないグループGである場合には、より低い確率が割り当てられるように構成することが可能である。
一方、グルーピング手段14は、生成したグループGがランプ候補gLに属する位置データを含まないグループGであって(ステップS58;NO)、しかも、当該グループG内の各位置データが実空間上で距離方向(すなわちZ軸方向)に延在している場合には(ステップS60;NO)、当該グループGを車両の背面部分に対応するグループとしては識別せず、車両の側面部分や前述した生垣H(図31等参照)のように自車両の進行方向(すなわちZ軸方向)に延在する物体であるとして識別する。なお、この情報をメモリに保存するか否かは適宜決められる。
なお、車両の背面部分に対応するグループとして識別したグループGL、Gや、自車両の進行方向(すなわちZ軸方向)に延在する物体であるとして識別したグループGL、Gについて、図25に示したように各グループGL、Gに属する各位置データをそれぞれ直線近似したり、図26に示したように検出したGL、Gに対応する車両等の物体を基準画像T上にそれぞれ矩形状の枠線等で包囲して表示する等の処理が適宜行われる。
グルーピング手段14は、全てのグループGL、Gについて上記の処理を行っていなければ(ステップS61;NO)、上記のステップS58〜S60の各処理を繰り返して行う。また、全てのグループGL、Gについて上記の処理を行うと(ステップS61;YES)、グルーピング手段14は、検出したグループGL、Gの中から先行車両Vahに対応するグループGahを特定して(ステップS62)、処理を終了する。
そして、処理部10は、グルーピング手段14が上記の処理を終了すると、メモリに保存された必要な情報を外部装置に送信するとともに、図3に示したステップS1から新たに一連の処理を再開するようになっている。
なお、図14のステップS62における処理では、例えば以下のようにして、先行車両Vahを特定するように構成することが可能である。なお、後述する図17では、図26に示した場合と同様に、位置データが左右方向に延在するグループGL、GがグループOとして表記され、位置データが距離方向に延在するグループGL、GがグループSとして表記されている。
先行車両Vahの特定処理では、図17に示すように自車両の挙動(すなわち車速やヨーレート、ステアリングホイールの舵角等)に基づいて自車両が今後進行するであろう軌跡を走行軌跡Lestとして推定する。
すなわち、自車両の走行軌跡Lestは、自車両の車速Vやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記(4)式または下記(5)、(6)式に従って算出される自車両の旋回曲率Cuaに基づいて算出することができる。なお、下記の各式におけるReは旋回半径、Asfは車両のスタビリティファクタ、Lwbはホイールベースである。
Cua=γ/V …(4)
Re=(1+Asf・V2)・(Lwb/δ) …(5)
Cua=1/Re …(6)
そして、先行車両Vahに対応するグループGahは、図17に示すように、自車両の走行軌跡Lest上に存在するグループGLまたはグループG(すなわちクループO)、或いは、走行軌跡Lestを中心とする自車両の車幅分の領域内に存在するクループOとして検出することができる。例えば図17では、グループO3が先行車両Vahに対応するグループGahとして検出される。
なお、前回のサンプリング周期で検出した先行車両Vahに対応するグループGahと、今回のサンプリング周期で先行車両Vahに対応するグループGahが、同一の車両に対応するグループGahである確率を算出する等して、整合性を保ちながら先行車両Vahを追跡するように構成することが可能である。
このように構成すれば、検出した先行車両Vahが自車両の前方から離脱してさらにその前方の車両が新たに先行車両Vahとなったり、自車両と先行車両Vahとの間に他の車両が割り込んできて当該他の車両が新たな先行車両Vahとなることによる先行車両Vahの交替等を的確に検出することが可能となる。
以上のように、本実施形態に係る車両検出装置1によれば、グルーピング手段14は、前述した特許文献1に記載された手法と同様に、位置検出手段9により検出された位置データをグループ化して車両を含む各物体に対応する各グループGを生成する。
しかし、本実施形態では、グルーピング手段14は、グループ化して生成した各グループGについてさらに処理を行い、ランプ候補抽出手段12が抽出したランプ候補gLに属する位置データを含むグループGL同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループGL同士を再グルーピングする。そして、その後で、グループGLを含む全てのグループG同士の再グルーピングの可否を判定し、再グルーピング可能と判定したグループGL、G同士を再グルーピングするように構成した。
しかも、その際、ランプ候補gLに属する位置データを含むグループGL同士の再グルーピングを行う際の位置データに関する閾値Δdpth(或いはΔzth)、Δxthを、その後の全てのグループGL、G同士の再グルーピングを行う際の閾値Δdpth*(或いはΔzth*)、Δxth*よりも、再グルーピングし易い閾値となるように構成した。
このように、ランプ候補gLに属する位置データを含まないグループGを除外して、先にランプ候補gLに属する位置データを含むグループGLについて、再グルーピングし易い閾値Δdpth(或いはΔzth)、Δxthを用いて再グルーピング処理を行うように構成したため、例えば前述した図31に示したようなシーンにおいても、図15に示すようにグループ化された各グループGのうち、ランプ候補gLに属する位置データを含む左右のテールランプTLl、TLrに対応する各グループGLについて、先に再グルーピングの可否を判定することが可能となる。
そして、左右のテールランプTLl、TLrに対応する各グループGLを優先的に再グルーピングすることが可能となり、図16に示すように、左右のテールランプTLl、TLrに対応する各グループGLを、新たな1つのグループGLとすることが可能となる。
このように、本実施形態に係る車両検出装置1によれば、車両のウインカランプやブレーキランプ等のテールランプTLに対応するランプ候補gL同士の再グルーピングの可否を先に判定し、再グルーピングを行ってそれらを新たな1つのグループGLとした上で、他のグループGL、Gとの再グルーピングの可否が判定されるため、車両の左右のテールランプTLに対応するグループGLを基準として、車両に対応するグループGを検出することが可能となる。
そのため、位置検出手段9により検出された位置データを的確にグループ化して、先行車両Vahを含む車両を的確に検出することが可能となる。
なお、本発明が上記の実施形態に限定されず、適宜変更可能であることはいうまでもない。