JP2015210610A - 車両認識装置 - Google Patents

Abstract

【課題】車両の画像中で尾灯のような特徴領域に基づいて、その車両の幅等をより正確に認識できる車両認識装置を提供する。【解決手段】車両認識装置１は、撮像部２からの画像６において、水平方向に並ぶ２つの特徴領域９を特定する特徴領域特定部５と、車両８、１３の後部の両端部に対応するものとして、２つの特徴領域９の水平方向の外側端部１１を特定する領域外端特定部１０とを備える。領域外端特定部１０は、２つの特徴領域９の水平方向の幅の差が所定以下でないと判定された場合に、該幅が大きい方の特徴領域９について、その外側端部９から該幅の差だけ内側の部分を、補正された外側端部１５として特定する。【選択図】図２

Description

本発明は、撮像部により得られる画像中の車両の両側に対をなして存在するランプを第１特徴領域及び第２特徴領域として特定する車両認識装置に関する。

従来、車両の後部の幅等を認識する車両認識装置として、撮像部により得られる画像において、画素値が所定範囲にある画素で構成されかつ水平方向に並ぶ第１の特徴領域及び第２の特徴領域を特定する手段を備えたものが知られている（例えば、特許文献１参照）。第１及び第２の特徴領域は、車両の後部両側に対をなして存在するブレーキランプに対応する蓋然性が高いので、第１及び第２の特徴領域に基づいて車両の幅等を認識することができる。

特許文献１の車両認識装置は、認識精度を高めるために、第１及び第２の特徴領域が同じ車両の領域に属するか否かを判定する特徴領域判定手段を有する。この判定のために、第１の特徴領域の上下又は第２の特徴領域方向の周辺域で第１の判定領域が設定され、第１及び第２の特徴領域の中心線に対して第１の判定領域と線対称をなす位置に第２の判定領域が設定される。判定手段は、第１の判定領域と第２の判定領域との相関度が高い場合に、第１及び第２の特徴領域が同じ車両の領域に属すると判定する。

特開２００９−２３０５３０号公報

しかしながら、上述のような車両認識装置においては、撮像部からの画像上で先行車両とその先の車両のブレーキランプが重なる場合がある。この場合、上述の車両認識装置によれば、夜間に上述のようにしてブレーキランプを検出したとしても、先行車両のブレーキランプの画像に対してその先の車両のブレーキランプの画像が連なり、先行車両のブレーキランプの水平方向の幅が大きく検出される場合がある。

この場合、ブレーキランプの画像に基づいて先行車両の幅や先行車両までの距離を算出すると、得られる値は実際の値よりも大きくずれた値となり、先行車両の幅等を正確に認識できないおそれがある。

本発明の目的は、かかる従来技術の課題に鑑み、車両の画像中で尾灯のような特徴領域に基づいて、その車両の幅等をより正確に認識できる車両認識装置を提供することにある。

本発明の車両認識装置は、撮像部と、前記撮像部により得られる画像において、画素値が所定範囲にある画素からなり、かつ水平方向に並ぶ２つの特徴領域を特定する特徴領域特定部と、前記画像に写っている単一の車両の車幅方向の両端部に対応するものとして、前記２つの特徴領域の水平方向の外側端部を特定する領域外端特定部とを備え、前記領域外端特定部は、前記２つの特徴領域の水平方向の幅の差が所定以下であるか否かを判定する領域幅判定部を備え、前記領域幅判定部により前記幅の差が所定以下でないと判定された場合に、前記２つの特徴領域のうちの水平方向の幅が大きい方の領域については、その外側端部から前記幅の差だけ内側の部分を、補正された外側端部として特定するように構成されていることを特徴とする。

本発明において、撮像部により得られる画像中の水平方向に並ぶ２つの特徴領域として特定される部分は、画素値が所定範囲にある画素からなるので、この所定範囲が適切に設定されていれば、車両の左右の尾灯の部分に対応する蓋然性が高い。したがって、２つの特徴領域に基づいて、当該車両の幅や当該車両までの距離を算出することができる。

しかし、当該車両の尾灯とその先の車両の尾灯とが重なった場合、双方の尾灯が水平方向に連なり、当該車両の尾灯が実際よも水平方向に長い幅を有するものとして検出されるおそれがある。この場合、左右の尾灯の画像のうち、水平方向の幅が短い方の尾灯の画像は、その尾灯の正しい幅を示していると考えられる。

そこで、本発明では、２つの特徴領域の水平方向における幅の差が所定以下でない場合には、２つの特徴領域のうちの水平方向の幅が大きい方の領域については、その外側端部から該幅の差だけ内側の部分が、補正された外側端部として特定される。これにより、２つの特徴領域の外側端部は、車両の尾灯の外側端部により正確に対応したものとなるので、補正された外側端部に基づいて、当該車両の幅や当該車両までの距離をより正確に認識することができる。

本発明において、前記領域外端特定部により補正されることなく特定された前記２つの特徴領域の外側端部に基づいて前記車両の幅を求める車幅算出部と、前記車幅算出部により得られた車幅が所定以上であるか否かを判定する車幅判定部とを備え、前記領域外端特定部は、前記車幅判定部により車幅が所定以上であると判定されることを条件として、前記補正された外側端部の特定を行うものであってもよい。

一般に、車両は、ある程度決まった幅を有する。このため、車幅が所定以上であると判定された場合には、その車幅は誤った尾灯の幅に基づいて算出された可能性が高い。このため、かかる場合に限って上述の補正された外側端部の特定を行うことにより、車幅を実際よりも小さく算出するのを防止し、車幅をより的確に認識することができる。

本発明の一実施形態に係る車両認識装置の構成を示すブロック図である。 （ａ）は、図１の車両認識装置の撮像部により得られる画像の一例を示す図であり、（ｂ）は、この画像中の２つの特徴領域を、赤色領域の輝度分布により示す図である。 （ａ）は、先行車両とその先の車両の尾灯が重なって連なっている場合の図２（ａ）と同様の図であり、（ｂ）は、その場合の図２（ｂ）と同様の図である。 図１の車両認識装置における車両認識処理部による車両認識処理を示すフローチャートである。

以下、図面を用いて本発明の実施形態を説明する。図１に示すように、実施形態の車両認識装置１は、撮像された画像中の車両の尾灯部分に基づいて車両の端部等を認識するものであり、撮像部２と、撮像部２により得られる画像情報に基づいて車両認識処理を行う車両認識処理部３とを備える。

撮像部２は、ＣＣＤやＣＭＯＳを用いたカラーカメラで構成される。車両認識処理部３は、コンピュータとプログラム、又はこれらと同等な論理回路、又は画像認識に適したプロセッサを用いて構成される。

車両認識処理部３は、撮像部２による撮像結果としての画像情報を取得する画像取得部４と、その画像情報で構成される画像中の所定の特徴領域を特定する特徴領域特定部５とを備える。画像取得部４は、例えば数十ミリ秒毎に撮像部２から１フレーム分の画像情報を取得して画像メモリに記憶する。特徴領域特定部５は、画像メモリに順次記憶されるフレーム毎の画像情報に基づき、所定の特徴領域を特定する。

特徴領域としては、図２（ａ）で示されるような画像６の例の場合のように、尾灯７が発し又は反射する光、例えば赤色領域の光を構成するＲＧＢ成分の輝度値が所定レベル以上である領域が抽出される。そして、特徴領域特定部５は、かかる特徴領域のうち、図２（ａ）で示されるような単一の車両８において対をなす尾灯７に対応する蓋然性が高い２つの特徴領域を特定する。

すなわち、かかる２つの特徴領域として、図２（ｂ）のように、水平方向に並ぶ２つの特徴領域９が特定される。一般に、対をなす尾灯７に対応する特徴領域であるためには、水平方向に並んでいることが必要とされるからである。なお、図２（ｂ）においては、２つの特徴領域９の鉛直方向の位置及び水平方向の幅の範囲が、輝度値の分布を示す図形により示されている。

また、車両認識処理部３には、特徴領域特定部５により特定された２つの特徴領域９の外側端部を特定する領域外端特定部１０が設けられる。領域外端特定部１０は、例えば図２（ｂ）で示されるような２つの特徴領域９の外側端部１１を特定する。

領域外端特定部１０は、特徴領域特定部５により特定された２つの特徴領域９の水平方向の幅の差が所定以下であるか否かを判定する領域幅判定部１２を備える。領域幅判定部１２により２つの特徴領域９の幅の差が所定以下でないと判定された場合には、これを考慮して外側端部１１の特定が行われる。

すなわち、領域外端特定部１０は、領域幅判定部１２により幅の差が所定以下でないと判定された場合には、２つの特徴領域９のうちの水平方向の幅が大きい方の領域については、その外側端部から幅の差だけ内側の部分を、補正された外側端部として特定する。かかる補正は、幅の差が所定以下でない場合には、幅の大きい方の特徴領域９が尾灯７の実際の幅よりも大きい幅を有している可能性があり、これにより不都合が生じるのを回避するために行われる。

このような場合は、図３（ａ）のように、車両８の２つの尾灯７のうちの一方が他の車両１３の尾灯１４と重なって水平方向に連なっているときに生じ得る。かかる場合、図３（ｂ）のように、幅が大きい方の右側の特徴領域９については、その特徴領域９の外側端部１１よりも幅の差ｄだけ内側に位置する部分が、補正された外側端部１５として特定される。外側端部１５は、補正前の外側端部１１よりも、対応する尾灯７の実際の外側端部である蓋然性が高い。

また、車両認識処理部３は、特徴領域特定部５により特定された２つの特徴領域９の外側端部１１又は補正された外側端部１５に基づいて車両８の幅を求める車幅算出部１６と、求められた車両８の幅が所定以上であるか否かを判定する車幅判定部１７とを備える。

車幅判定部１７による判定は、領域外端特定部１０が上記のような外側端部１５による補正を行うかどうかを決定するために行われる。すなわち、上記の補正は、車幅判定部１７により車両８の幅が所定以上であると判定されることを条件として、その車両８の特徴領域９について行われる。

この構成において、車両認識処理部３は、図４に示す車両認識処理を行うことにより、撮像部２により得られる図２（ａ）のような画像６中の車両８の位置を算出する。この車両認識処理は、例えば数十ミリ秒毎に行われる。

車両認識処理を開始すると車両認識処理部３は、ステップＳ１において、画像取得部４により、撮像部２から１フレームの画像データを取得し、画像メモリに記憶する。記憶された画像データで構成される画像６に基づき、以下の手順で車両８の位置が算出される。

まず、特徴領域特定部５により、画像６中の車両８の後端部で対をなす２つの尾灯７に対応する２つの特徴領域９が特定される。すなわち、ステップＳ２において、尾灯７に対応する特徴領域９が抽出される。この特徴領域９は、赤色領域の光に対応するＲＧＢ成分の輝度値が所定レベル以上の領域である。

そして、ステップＳ３において、これらの特徴領域９のうち、水平方向に並んだ２つの尾灯７に対応する特徴領域９が特定される。水平方向に並んでいるかどうかは、鉛直方向の位置の差が所定範囲内にあるか否かにより判定される。これにより、図２で示されるように、車両８で対をなす２つの尾灯７に対応する２つの特徴領域９が特定される。

なお、この２つの特徴領域９が特定されるために２つの特徴領域９が備えるべき条件として、さらに他の要件を考慮してもよい。例えば、特開２００９−２３０５３０号公報に記載のように、２つの特徴領域９が線対称であることや、２つの特徴領域９それぞれの周辺の領域であって、２つの特徴領域９の中心線について線対称な領域の輝度値の平均値の差が所定値以下であることを条件としてもよい。これにより、より確実に１つの車両８上の２つの特徴領域９を特定することができる。

次に、ステップＳ４において、２つの特徴領域９が特定されたか否かが判定される。特定できなかった場合には、車両認識処理が終了する。この場合、所定期間、例えば数十ミリ秒の経過後、再度車両認識処理が開始され、次のフレームの画像について、同様の処理が行われる。

２つの特徴領域９が特定されたと判定された場合には、領域外端特定部１０により、２つの特徴領域９の外側端部１１が特定され、車幅算出部１６により車両８の車幅が算出される（ステップＳ５〜Ｓ１１）。すなわち、まず、ステップＳ５において、領域外端特定部１０により、２つの特徴領域９の外側端部１１が特定される。そして、ステップＳ６において、車幅算出部１６により、ステップＳ５で特定された外側端部１１に基づき、車両８の車幅が算出される。

次に、領域幅判定部１２により、ステップＳ７において、２つの特徴領域９の幅の差が算出され、ステップＳ８において、その幅の差が所定以下であるか否かが判定される。幅の差が所定以下であるか否かは、２つの特徴領域９の幅が実質的に同一であるか否かを意味する。

幅の差が所定以下であると判定された場合には、２つの特徴領域９の幅に実質的な差がなく、図３のような尾灯７と１４の重なりがない可能性が高いので、そのままステップＳ１２に進む。この場合、ステップＳ６で算出された車両８の幅に基づいて、ステップ１２の処理が行われる。

ステップＳ８において幅の差が所定以下でないと判定された場合には、２つの特徴領域９の幅が実質的に異なり、幅が大きい方の特徴領域９は、図３のように、車両８の尾灯７の本来の特徴領域１８に他の車両１３の尾灯１４の特徴領域１９が重なって連なっている可能性が高い。

したがって、この場合には、幅が大きい方の特徴領域９を補正すべきかどうかを判定するために、ステップＳ６で算出された車幅が所定値以上か否かが判定される。この判定では、車両８の車幅が、一般的な車両に比べて大きいかどうかが判定される。また、一般的な車両の幅は、尾灯の高さや尾灯の内側間の距離に応じて異なると考えられるので、車幅と比較される所定値としては、該高さや距離に応じて異なる値が採用される。

ステップＳ９において所定値以上ではないと判定された場合には、ステップＳ８で算出された車幅が一般的な車両の車幅に比べて大きくはないので、ステップＳ１２に進む。この場合、ステップＳ５で特定された外側端部１１が車両８の両端部に対応しており、ステップＳ６で算出された車両８の幅が正しいものとしてそのまま採用され、ステップＳ１２の処理が行われる。

また、この場合、一方の尾灯７が複数の電球で構成され、そのうちの何個かが消えていることにより２つの特徴領域９に幅の差が存在する場合には、ステップＳ５で特定された外側端部１１は正しいものであり、ステップＳ６で算出された車両８の車幅は一般的な車両に比べて大きくはないので、その車幅がそのまま採用される。これにより、後述の外側端部１１の補正によって却って不正確な外側端部が特定されることが回避される。

ステップＳ９において、ステップＳ６で算出された車両８の車幅が所定値以上であると判定された場合には、その車幅は、一般的な車両に比べて大きい。このため、ステップＳ５で特定された外側端部１１は、図３（ｂ）のような他の車両１３に属する特徴領域１９に起因して誤って特定されている可能性が高い。

そこで、この場合には、ステップＳ１０において、２つの特徴領域９のうちの幅が大きい方の外側端部１１が、幅が小さい方の特徴領域９を利用して補正される。すなわち、２つの特徴領域９のうちの水平方向の幅が大きい方の領域については、図３（ｂ）のように、その外側端部１１から幅の差ｄだけ内側の部分が、補正された外側端部１５として特定される。この場合、ステップＳ１１において、補正された外側端部１５に基づいて、車幅算出部１６により車両８の車幅が再算出され、ステップＳ１２の処理が行われる。

ステップＳ１２では、ステップＳ６で算出され、又はステップＳ１１で再算出された車両８の幅に基づき、車両８の位置が算出される。算出された車両８の位置は、車両認識装置１が搭載された自車両が車両８に衝突するのを回避する等のために役立てられる。

以上のように、本実施形態によれば、特徴領域特定部５により特定された２つの特徴領域９の幅の差が所定以下でない場合には、幅が大きい方の特徴領域９については、その外側端部１１から該幅の差だけ内側の部分が、補正された外側端部１５として特定される。これにより、２つの特徴領域９の外側端部１１、１５は、車両８の尾灯７の外側端部により正確に対応したものとなるので、これらに基づいて、車両８の幅や車両８までの距離をより正確に認識することができる。

その際、補正前の外側端部１１により算出された車幅が所定以上であることを条件として、幅が大きい方の特徴領域９の外側端部１１が外側端部１５に補正されるので、誤った補正が行われるのを防止することができる。

以上、本発明の実施形態を説明したが、本発明はこれに限定されない。例えば、特徴領域特定部により特定される特徴領域は、尾灯７に対応するものに限らず、対になったブレーキランプや、対になったフォグランプ、リバースランプ等、さらには対向車両のランプに対応するものであってもよい。

１…車両認識装置、２…撮像部、６…画像、９…特徴領域、５…特徴領域特定部、８、１３…車両、１１…外側端部、１０…領域外端特定部、１２…領域幅判定部、１５…外側端部、１６…車幅算出部、１７…車幅判定部。

Claims (2)

1. 撮像部と、
   前記撮像部により得られる画像において、画素値が所定範囲にある画素からなり、かつ水平方向に並ぶ２つの特徴領域を特定する特徴領域特定部と、
   前記画像に写っている単一の車両の車幅方向の両端部に対応するものとして、前記２つの特徴領域の水平方向の外側端部を特定する領域外端特定部とを備え、
   前記領域外端特定部は、
   前記２つの特徴領域の水平方向の幅の差が所定以下であるか否かを判定する領域幅判定部を備え、
   前記領域幅判定部により前記幅の差が所定以下でないと判定された場合に、前記２つの特徴領域のうちの水平方向の幅が大きい方の領域については、その外側端部から前記幅の差だけ内側の部分を、補正された外側端部として特定するように構成されていることを特徴とする車両認識装置。
2. 前記２つの特徴領域について前記領域外端特定部による補正がなされることなく特定された外側端部に基づいて前記車両の幅を求める車幅算出部と、
   前記車幅算出部により得られた車幅が所定以上であるか否かを判定する車幅判定部とを備え、
   前記領域外端特定部は、前記車幅判定部により車幅が所定以上であると判定されることを条件として、前記補正された外側端部の特定を行うものであることを特徴とする請求項１に記載の車両認識装置。