JP2012078938A - 後方認識装置 - Google Patents

Abstract

【課題】コストを低減できる簡単で安価な画像処理により、撮影手段の後方の撮影画像から、路面ペイント部分が存在していても、自車の後方の路面と車両とを容易に判断して認識できるようにする。
【解決手段】車載カメラ３により、走行する自車１の後方の路面を含む領域を撮影し、その各時刻の撮影両像を射影変換部６１により射影変換画像（上面視画像）に変換する。さらに、領域設定部６２、記憶部４により、撮影画像の下端から現れた前記射影変換画像における特徴を記憶し、推定部６３により、白車速に基づいて所定時間後の前記射影変換画像での前記特徴の位置を推定する。そして、認識部６６により、推定された前記所定時間後の位置における前記特徴と記憶された前記特徴との一致度合いに基づいて、前記一致度合いが所定以上の路面部分が路面ペイント部分を含む路面部分であると判断する。
【選択図】図１

Description

この発明は、自車後方を認識する後方認識装置に関する。

従来、車両（自車両）に搭載した撮影手段（車載カメラ）の後方の撮影画像は、後方から接近／追従する車両の監視や衝突（追突）防止に有用であるが、そのためには、撮影画像の路面と後方の車両とを判断して認識する必要がある。

そこで、自車後方の時間が前後する２つの撮影画像について射影変換を施した後に差分をとり、その差分から時間ずれが生じた特徴点を検出して動きベクトルのオプティカルフロ−を検出し、この検出に基づいて後方の車両を認識することが提案されている（例えば、特許文献１参照）。

特開２０００−７４６４５号公報

特許文献１に記載の認識では、オプティカルフロ−を検出する複雑な画像処理が必要であるだけでなく、路面ペイント部分と後方の車両とが重なる場合には、それを判断して後方の車両を認識することは容易ではないという問題がある。

本発明は、コストを低減できる簡単で安価な画像処理により、撮影手段の後方の撮影画像から、自車の後方の路面ペイント部分と車両とを容易に判断して認識できるようにすることを目的とする。

上記した目的を達成するために、本発明の後方認識装置は、走行する自車の後方の路面を含む領域を撮影する撮影手段と、前記撮影手段の各時刻の撮影両像を射影変換画像に変換する射影変換手段と、前記撮影画像の下端から現れた前記射影変換画像における特徴を記憶する記憶手段と、白車速に基づいて所定時間後の前記射影変換画像での前記特徴の位置を推定する推定手段と、前記推定手段が推定した前記所定時間後の位置における前記特徴と前記記憶手段に記憶された前記特徴との一致度合いに基づいて路面ペイント部分を含む路面部分であるか否かを判断する判断手段とを備え、前記判断手段は、前記一致度合いが所定以上の路面部分が路面ペイント部分を含む路面部分であると判断することを特徴としている（請求項１）。

請求項１に記載の発明によれば、撮影手段の各時刻の撮影両像は射影変換画像、例えば上面視画像に射影変換される。この上面視画像の下端は路面であり、撮影画像の下端から現れた上面視画像における特徴（画素値（輝度濃度値）、その微分値、ヒストグラム等）は、路面部分が路面ペイント部分であればその模様（数字や記号も含む）の特徴であり、記憶手段に記憶される。そして、ある時刻に自車の下端から現れた部分は上面視画像で下端から次第に上端側に移動する。一方、自車の後方に接近／追従する車両（後方車両）があれば、その画像は上面視画像上で上端側から下端側に移動する。

そして、撮影画像の下端に路面ペイント部分が現れ、所定時間後に撮影画像に現れた後方の車両が後方に移動した路面ペイント部分に重なっても、推定手段により、記憶手段に記憶した路面部分の特徴の前記所定時間後の射影変換画像での位置が推定され、判断手段により、射影変換画像の推定された位置の特徴と、記憶手段に記憶されている特徴との一致度合いが所定以上になるか否かに基づいて、推定された位置の部分が路面部分であるか否か（車両であるか）を精度よく判断し、後方の車両を正確に認識できる。

この場合、オプティカルフローの複雑で高価な画像処理は不要であり、撮影画像を射影変換画像に変換する、コストを低減できる簡単で安価な画像処理により、撮影手段の後方の撮影画像から、自車の後方の路面部分と車両とを容易に判断して後方車両を認識できる。

本発明の後方認識装置の一実施形態のブロック図である。 上面視画像の一例を示す図である。 時刻ｔに出現した路面ペイント部分の例の説明図である。 時刻ｔ＋ｎの路面ペイント部分の移動例の説明図である。 （ａ）〜（ｄ）は路面ペイント部分が車両に重なる場合の移動の説明図である。 （ａ）は各時刻の特徴の例を示し、（ｂ）は特徴比較領域の説明図である。 図１の動作説明のフローチャートである。 本発明の後方認識装置の他の実施形態のブロック図である。 （ａ）は上面視画像の一例を示し、（ｂ）はそのクラスタの説明図である。 図８の動作説明のフローチャートである。

本発明の実施形態について、図１〜図１０を参照して説明する。

（一実施形態）
まず、一実施形態について、図１〜図７を参照して説明する。

図１は自車1に搭載された本発明の後方認識装置２の一例の構成を示し、自車１は、走行する自車1の後端および後方の路面を含む領域を撮影する撮影手段として、例えば１／３０秒のフレーム周期で撮影した自車後方の撮影画像を出力する車載カメラ３を備える。車載カメラ３はモノクロ又はカラーの単眼ＣＣＤカメラからなる。

車載カメラ３により撮影された毎フレームの撮影画像やそれらの上面視画像Ｑ等は最新の設定フレーム数ずつ記憶部４に書き換え自在に保持される。

５ａはマイクロコンピュータ構成の認識処理ＥＣＵであり、記憶部４の撮影画像は、そのまま射影変換してもよいが、路面ｒの路面ペイント部分以外の不要画像を生じないようにするため、本実施形態では認識処理ＥＣＵ５ａの射影変換部６１（本発明の変換手段に対応）により、水平エッジ画像に微分変換した後、周知の射影変換処理と同様の射影変換処理により、上面視画像Ｑに変換されて記憶部４に保持される。

図２は上面視画像Ｑの一例の略図を示し、下端が自車１の後端であり、図中のｌは路面ｒの自車１が走行する車線の左右の白線、αは路面ペイント部分、βは後方の車両である。

上面視画像Ｑの画像下端は、自車１が通過した後の領域になる。そのため、この領域には路面ｒしか映っていない。

そこで、特徴抽出部６２により、毎フレームの上面視画像Ｑの後方路面を含む領域である白線ｌで囲まれた車線領域（路面領域）につき、画像下端部から後方に向かって車線幅と一定の高さとを持つ領域γを切り取り、その領域γの特徴（画素値（輝度値）、その微分値、ヒストグラム等）Ｓを抽出して記憶部４に記憶させる。特徴抽出部６２、記憶部４が本発明の記憶手段を形成する。

図３は時刻ｔの領域γを模式的に示し、車両下端部から現れた路面ペイント部分αが領域γに位置している。この場合、抽出した特徴Ｓ（ｔ）は路面ペイント部分αの模様（数字や文字を含む）に応じたものとなり、その領域γは次第に後方にずれて上面視画像Ｑの上方に移動する。

図４は時刻ｔに出現した特徴Ｓ（ｔ）の領域γの移動例を示し、（ａ）は抽出された時刻ｔの特徴Ｓ（ｔ）の領域γ、（ｂ）はその領域γのｎ（ｎ＝１、２、…、ｎ）フレーム後の時刻ｔ＋ｎにおける位置を示す。

そして、例えば時刻ｔから次の時刻ｔ＋１までに自車１（正確には車載カメラ３）が動いた量は、自車１の車速から分かり、同様にして、ｎ時間経過後の時刻ｔ＋ｎにおける特徴Ｓ（ｔ）の領域γの移動後の位置も求めることができる。

さらに、特徴Ｓ（ｔ）の時刻ｔ＋ｎに移動した領域γと後方の車両βとが重なった場合、例えば時刻ｔ＋ｎにおける領域γの特徴をＲ（ｔ＋ｎ、Ｓ（ｔ））とすると、特徴Ｒ（ｔ＋ｎ、Ｓ（ｔ））が元の特徴Ｓ（ｔ）から変化するか否かから、領域γの時刻ｔ＋ｎの位置が路面ｒであるか車両βであるかを判断して認識し、車両βの前部の下端を検出して自車１から車両βまでの距離を計測できる。

図５（ａ）、（ｂ）、（ｃ）、（ｄ）は路面ペイント部分αが次第に上面視画像Ｑの上方に移動して車両βと重なるようになる場合の画像変化例を示し、本実施形態の場合、路面ペイント部分αに車両βが重なっても、上記の特徴Ｒ（ｔ＋ｎ、Ｓ（ｔ））、Ｓ（ｔ）の比較から、路面ｒであるか車両βであるかを判断して認識し、この認識から、車両βの前部の下端を検出して自車１から車両βまでの距離を計測できる。

そこで、図１の推定部（本発明の推定手段に相当）６３は、白車速に基づいて所定時間後、例えば毎フレーム経過後の特徴Ｓ（ｔ）の領域γの位置を推定する。

さらに、特徴算出部６４は、例えば時刻ｔからｎ時間後の時刻ｔ＋ｎの上面視画像Ｑにつき、特徴Ｓ（ｔ）の領域γの推定された位置での特徴、すなわち、特徴Ｒ（ｔ＋ｎ、Ｓ（ｔ））を算出する。

このとき、特徴Ｓ（ｔ）は時刻ｔにおける路面ｒの領域γの特徴である。そのため、時刻ｔ＋ｎの上面視画像Ｑにおいて、特徴Ｓ（ｔ）の領域γの推定された位置での特徴Ｒ（ｔ＋ｎ、Ｓ（ｔ）)が元の特徴Ｓ（ｔ）と似ていれば路面ｒと判断でき、似ていなければ車両βが存在する領域と判断できる。

そこで、図１の一致度算出部６５は、例えば毎フレームの撮影時刻からｎ時間後の時刻ｔ＋ｎの上面視画像Ｑにおいて、特徴Ｓ（ｔ）の領域γの推定された位置での特徴Ｒ（ｔ＋ｎ、Ｓ（ｔ）)と元の特徴Ｓ（ｔ）との一致度を計算する。

さらに、認識部（本発明の判断手段に対応）６６は、算出された一致度から、時刻ｔ＋ｎの上面視画像Ｑにおける特徴Ｓ（ｔ）の領域γの推定された位置が路面ｒか車両βかを、路面ペイントαと車両βとが重なっていたとしても、精度よく判断して認識し、車両βを確実に検出する。具体的には、例えば特徴Ｒ（ｔ＋ｎ、Ｓ（ｔ）)、特徴Ｓ（ｔ）の差の絶対値を一致度（非一致度であってもよい）、閾値をＴｈとすると、つぎの（１）、（２）の判断条件にしたがって路面ｒであるか否か（車両βであるか）を判断する。

（判断条件）
（１）｜Ｓ（ｔ）−Ｒ（ｔ＋ｎ、Ｓ（ｔ）)｜≦Ｔｈであれば、特徴Ｒ（ｔ＋ｎ、Ｓ（ｔ））の領域は路面ｒである。

（２）｜Ｓ（ｔ）−Ｒ（ｔ＋ｎ、Ｓ（ｔ））｜＞Ｔｈであれば特徴Ｒ（ｔ＋ｎ、Ｓ（ｔ））の領域には車両βが存在する。

そして、認識部６６により、時刻ｔ、ｔ＋１、ｔ＋２、…、ｔ＋ｎに特徴Ｓ（ｔ）、Ｓ（ｔ＋１）、…、Ｓ（ｔ＋ｎ）が生成されるので、逐次、現時刻ｔ＋ｎまでに得られた時刻ｔ、ｔ＋１、ｔ＋２、…、ｔ＋ｎの特徴Ｓ（ｔ）、Ｓ（ｔ＋１）、…、Ｓ（ｔ＋ｎ）と、現時刻ｔ＋ｎの上面視画像Ｑでの特徴Ｓ（ｔ）、Ｓ（ｔ＋１）、…、Ｓ（ｔ＋ｎ）の推定された位置での特徴Ｒ（ｔ＋ｎ、Ｓ（ｔ））、Ｒ（ｔ＋ｎ、Ｓ（ｔ＋１））、…、Ｒ（ｔ＋ｎ、Ｓ（ｔ＋ｎ））との一致度（あるいは非一致度）を計算することで、毎フレームに自車１の後方の各路面部が路面ｒか車両βかが精度よく判断して認識され、後方の車両βが確実に認識されてその前部下端の位置および自車１までの距離が検出される。

図６（ａ）は時刻ｔ、ｔ＋１、ｔ＋２、…、ｔ＋ｎの特徴Ｓ（ｔ）、Ｓ（ｔ＋１）、…、Ｓ（ｔ＋ｎ）の例を示し、同図（ｂ）は時刻ｔ＋ｎの上面視画像Ｑにおいて、特徴Ｓ（ｔ）、Ｓ（ｔ＋１）、…、Ｓ（ｔ＋ｎ）と比較される推定された位置での特徴Ｒ（ｔ＋ｎ、Ｓ（ｔ））、Ｒ（ｔ＋ｎ、Ｓ（ｔ＋１））、…、Ｒ（ｔ＋ｎ、Ｓ（ｔ＋ｎ））が存在する全領域γａｌｌの例を示す。

そして、認識部６６の認識、検出結果は図示省略された走行支援ＥＣＵ等に提供され、自車１と車両βの距離、その変化等に基づいて、衝突回避等の走行制御が行われる。

図７は認識処理ＥＣＵ５ａの処理手順例を示し、撮影画像が上面視画像Ｑに射影変換され（ステップＡ１）、その領域γの特徴Ｓ（ｔ）を算出して記憶し（ステップＡ２）、所定時間後の上面視画像での領域γの位置を推定し（ステップＡ３）、推定した位置の特徴Ｒ（ｔ＋ｎ、Ｓ（ｔ））と記憶している特徴Ｓ（ｔ）との一致度（非一致度）を算出し（ステップＡ４）、一致度が閾値Ｔｈ以上か否かによって路面ｒであるか否か（車両βであるか）を判断する（ステップＡ５〜Ａ７）。

以上説明したように、本実施形態の場合、オプティカルフローの複雑で高価な画像処理は不要であり、撮影画像を射影変換画像である上面視画像Ｑに変換する、コストを低減できる簡単で安価な画像処理により、車載カメラ３の後方の撮影画像から、自車１の後方の路面ｒの部分と車両βとを容易に判断して後方の車両１を精度よく認識できる。

（他の実施形態）
他の実施形態について、図８〜図１０を参照して説明する。

前記一実施形態において、車載カメラ３の撮影画像から水平エッジを抽出した画像を作成し、それを変換した上面視画像Ｑは、路面ペイント部分αが映っていなければ、水平エッジが現れるのは後方の車両βが存在するときだけになる。この場合、車両βの下端は前記のような特徴比較を行わなくても、水平エッジを検出して簡単に認識できる。

そこで、本実施形態の場合は、一実施形態の認識処理ＥＣＵ５ａに代えて設けられた認識処理ＥＣＵ５ｂの処理負担を軽減して一層コストを低減するため、上面視画像Ｑの下端部に水平エッジが現れたときだけ算出した特徴Ｓ（ｔ）を記憶する。

そして、各時刻の上面視画像Ｑの特徴と記憶した特徴とを比較すれば、路面ペイント部分αと車両βとが重なっても自車１の後方の路面ｒの部分と車両βとを容易に判断して後方の車両１を精度よく認識できる。

この場合、路面ｒの路面ペイント部分αでない部分の特徴Ｓ（ｔ）は算出して記憶する必要がないので、計算の負担を一層低減できる。

図８は本実施形態に適用される本発明の後方認識装置２の他の例を示し、この後方認識装置２が図１の一例と異なるのは、前記したように認識処理ＥＣＵ５ａに代えて認識処理ＥＣＵ５ｂを備える点である。

本実施形態の認識処理ＥＣＵ５ｂは、上記のように上面視画像Ｑの下端部に水平エッジが現れたときだけ算出した特徴Ｓ（ｔ）を算出して記憶部４に記憶する。また、路面ペイントαと車両βが重なれば、図５（ａ）〜（ｄ）からも明らかなように、水平エッジの特徴部分が、路面ペイント部分αから、路面ペイント部分αと車両βが重なった部分に大きくなる（長く変形する）ことに着目し、上面視画像Ｑのクラスタを抽出して追跡監視し、特徴Ｓ（ｔ）のクラスタが大きくなるか否かによって路面ペイント部分αと車両βとを判断する。

そのため、車載カメラ３の撮影画像Ｐは認識処理ＥＣＵ５ｂの射影変換部７１により水平成分が上面視画像Ｑに変換される。そして、上面視画像Ｑはクラスタ抽出部７２に取り込まれ、クラスタ抽出部７２は、毎フレームの上面視画像Ｑの後方路面を含む領域である白線ｌで囲まれた車線領域（路面領域）につき、後述のｊ軸の各座標で水平エッジ成分を累積してそのヒストグラムを形成し、ヒストグラムの設定された閾値を越える部分のクラスタを生成する。さらに、各クラスタは、クラスタ追跡部（本発明の推定手段を形成）７３により、ラベルを付す等して個別に認識されて位置が推定され、記憶部４に前回保持した各クラスとの連続性等から各クラスタが時系列に追跡される。

図９（ａ）は図２と同様の上面視画像Ｑの一例の略図を示し、下端が自車１の後端であり、図中のｌは路面ｒの自車１が走行する車線の左右の白線、αは路面ペイント部分、βは後方の車両である。なお、図９（ａ）に示したように、上面視画像Ｑの左上部を原点として、横軸をｉ軸、縦軸（高さ軸）をｊ軸とする。図９（ｂ）は前記クラスタの生成例を示し、Ｈはヒストグラムである。

クラスタ追跡部７３の上記監視に基づき、自車１に接近する動きを示すクラスタのうちで最も近いものを後方の車両の下端部として認識するだけでは、路面ペイント部分αと車両βが重なる場合、車両βの部分と路面ペイント部分αのヒストグラムが隣接するので１つのクラスタとして抽出されてしまい、接近／追従する車両β及び、その下端を正しく検出できない。

そこで、クラスタ追跡部７３は、撮影画像の下端から現れた上面視画像Ｑにおける特徴として、撮影画像の下端から路面ペイント部分αのクラスタが始めて出現したときの上面視画像Ｑでのクラスタの大きさ（面積）を、そのクラスタにラベルを付して記憶部４に記憶する。さらに、白車速に基づいて所定時間後の上面視画像Ｑでの前記特徴の位置を推定して追跡する。

認識部（本発明の判断手段に相当）７４は、路面ペイント部分αのクラスタが各時刻に移動した位置の部分それぞれが、撮影画像の下端から現れた当初の大きさに対して閾値以下でクラスタの一致度合いが所定以上であれば、それらの位置の部分は路面ｒであると判断し、撮影画像の下端から現れた当初の大きさに対して閾値以上に大きくなって長くなると、それらの位置の部分は、路面ペイント部分αと重なっているか否かにかかわらず車両βであると判断し、この判断に基づき、路面ｒか車両βかを、路面ペイントαと車両βとが重なっていたとしても、精度よく判断して認識し、車両βを確実に検出する。なお、認識部７４の、検出結果も図示省略された走行支援ＥＣＵ等に提供され、自車１と車両βの距離、その変化等に基づいて、衝突回避等の走行制御が行われる。

図１０は認識処理ＥＣＵ５ｂの処理手順例を示し、撮影画像が上面視画像Ｑに射影変換され（ステップＢ１）、その路面領域の路面ペイント部分αのクラスタが算出されて生成され、下端に新たに出現した路面ペイント部分αのクラスタは記憶保持される（ステップＢ２）。さらに、生成された路面ペイント部分αのクラスタが追跡され（ステップＢ３）、当初の大きさの変化からクラスタの一致度合いが算出され（ステップＢ４）、一致度合いが所定以上であれば路面ペイント部分αを含む路面ｒの部分であると判断し（ステップＢ５、Ｂ６）、一致度合いが所定以下であれば車両βであると判断する（ステップＢ５、Ｂ７）。

したがって、本実施形態の場合、路面ペイント部分αについてのみ特徴比較であるクラスタの比較を行なえばよいので、一層コストを低減できる簡単で安価な画像処理により、車載カメラ３の後方の撮影画像から、自車１の後方の路面ｒの部分と車両βとを容易に判断して後方の車両１を精度よく認識できる。

そして、本発明は上記した両実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、認識処理ＥＣＵ５ａ、５ｂの構成や処理手順等は前記両実施形態の構成や処理手順に限定されるものではない。

つぎに、前記両実施形態においては撮影画像Ｐを上面視画像Ｑに射影変換したが、本発明の射影変換画像は、上面視画像Ｑに限るものではなく、種々の方向の射影変換画像であってよく、例えば車載カメラ３の視線の射影変換画像であってもよい。

そして、本発明は、種々の車両の後方認識装置に適用することができる。

１ 自車
２ 後方認識装置
３ 車載カメラ
４ 記憶部
５ａ、５ｂ 認識処理ＥＣＵ
６１、７１ 射影変換部
６２ 特徴抽出部
６３ 推定部
６４ 特徴算出部
６５ 一致度算出部
６６、７４ 認識部
７２ クラスタ抽出部
７３ クラスタ追跡部
α 路面ペイント部分
β 車両
ｒ 路面

Claims (1)

1. 走行する自車の後方の路面を含む領域を撮影する撮影手段と、
   前記撮影手段の各時刻の撮影両像を射影変換画像に変換する射影変換手段と、
   前記撮影画像の下端から現れた前記射影変換画像における特徴を記憶する記憶手段と、
   白車速に基づいて所定時間後の前記射影変換画像での前記特徴の位置を推定する推定手段と、
   前記推定手段が推定した前記所定時間後の位置における前記特徴と前記記憶手段に記憶された前記特徴との一致度合いに基づいて路面ペイント部分を含む路面部分であるか否かを判断する判断手段とを備え、
   前記判断手段は、前記一致度合いが所定以上の路面部分が路面ペイント部分を含む路面部分であると判断することを特徴とする後方認識装置。