JP2004341801A - 追跡車両ランプ検出システムおよび追跡車両ランプ検出方法 - Google Patents

Abstract

【課題】先行車両のブレーキ灯の検出精度を向上する。
【解決手段】車両に搭載されたカメラ２の入力画像から基準テンプレートを切り出す車両発見部４と、基準テンプレート保存用メモリ４１と、基準テンプレートから車両の領域を車両基準テンプレートとして抽出する車両基準テンプレート作成部５と、車両基準テンプレート内から追跡車両のブレーキ灯２８を検出するブレーキ灯位置定義部６を有し、車両基準テンプレート作成部５は、車両基準テンプレート保存用メモリ５１と、車両追跡処理部５２と、追跡信頼性判定部５３と、テンプレート更新計算用車両画像保存用メモリ５４と、車両基準テンプレート確定部５５を有し、ブレーキ灯位置定義部６は、車両上輝度変化部位判定部６１と、最新検出車両保存用メモリ６２と、ブレーキ灯位置確定部６３を有する。
【選択図】 図５

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載される追跡車両ランプ検出システムおよび追跡車両ランプ検出方法に関する。
【０００２】
【従来の技術】
【特許文献】特開２００１−２１６５９７号公報。
【０００３】
従来技術としては、例えば上記特許文献に記載されているものがある。このシステムは、車両を撮像対象とするカメラからの入力画像において、領域毎の画像データから画像処理により得られた色相情報および明度情報に基き、対象車両のブレーキ灯等のランプの位置および種類を判定するものである。
【０００４】
【発明が解決しようとする課題】
しかし、上記特許文献に記載されたシステムにおいては、カメラにより取得された画像データ全体を画像処理の対象とする。したがって、画像中の背景の信号、街路灯、あるいは対象車両以外の車両のランプ等までも検出してしまい、これらを対象車両のブレーキ灯と誤って検出してしまう場合がある。
【０００５】
本発明の目的は、検出精度を向上できる先行車ランプ検出システムおよび先行車ランプ検出方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明は、カメラの入力画像から追跡車両の存在領域を切り出す追跡車両存在領域切り出し手段と、該追跡車両の存在領域に基づいて追跡車両のランプを検出するランプ検出手段とを有する。
【０００７】
【発明の効果】
本発明によれば、追跡車両のランプの検出精度を向上することができる。
【０００８】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態の追跡車両ランプ検出システムおよび追跡車両ランプ検出方法について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
実施の形態１
図１に本実施の形態１の追跡車両ランプ検出システムの構成を示す。図２はカメラを搭載した車両の図と、後述する説明に用いる検出対象物標の位置を表すための基準座標系の説明図である。（ａ）は車両を横から見た図、（ｂ）車両を上から見た図を示す。
図１で、２は車両に搭載された電子式のカメラ、３は画像メモリ、４は車両発見部、５は車両基準テンプレート作成部、６はブレーキ灯位置定義部である。図２で、１は車両、２１はカメラ２の光軸、２２は基準座標系である。
図３（ａ）〜（ｆ）はカメラ２で撮像された画像中の追跡車両検出方法と、基準テンプレートと、車両基準テンプレートを説明する図である。（ａ）は入力画像２３を示し、（ｂ）は入力画像２３中の車両（すなわち、追跡車両、先行車両）２４の検出方法を示す。（ｃ）は基準テンプレートの切り出しを示し、（ｄ）は基準テンプレート２６を示す。（ｅ）は追跡車両２４の発見時の基準テンプレート２６からの車両基準テンプレートの抽出を示し、（ｆ）は車両基準テンプレート２７を示す。図３（ｂ）等において、２５は道路上に引かれた白線を示し、（ｆ）等において、２８は車両２４のブレーキ灯を示す。
【０００９】
図１に示すように、本システムは、車両（すなわち、自車両）１に搭載されたカメラ２と、そのカメラ２から入力される入力画像２３（図３参照）を保存（すなわち、格納）する画像メモリ３を有する。また、所定の処理に基づいて入力画像２３内から車両２４（図３）を発見し、車両２４を囲む領域である基準テンプレート２６を切り出す車両発見部４を有する。また、所定の処理に基いて基準テンプレート２６から、車両２４を捉えている部分をより正確に捉えた車両基準テンプレート２７を作成する車両基準テンプレート作成部５を有する。また、その車両基準テンプレート２７の内部に存在する例えばブレーキ灯２８を検出し、その位置を車両基準テンプレート２７内部における位置として保存するブレーキ灯位置定義部６から構成される。
ここで、これまでの文章でもすでに利用している言葉ではあるが、以降の説明をわかりやすくするために、言葉を定義する。車両発見部４において車両２４を発見した時に、その車両２４を囲む領域から作られるテンプレートを基準テンプレート２６とする（図３（ｄ））。車両基準テンプレート作成部５において、その基準テンプレート２６内の画像を元に、より正確な車両２４の形状を捉えることで定義するテンプレートを車両基準テンプレート２７とする（図３（ｆ））。
【００１０】
カメラ２は、図２に示すように車両１の前部に取り付けられ、車両１前方の様子を撮像する。そして、カメラ２から入力した入力画像２３（図３（ａ））を図１の画像メモリ３に保存する。車両発見部４では、画像メモリ３に保持された入力画像２３を元に、画像処理により入力画像２３上における前方の車両２４が存在する位置を発見する。画像処理による車両２４の検出は、例えば、図３（ｂ）に示すように、（１）道路上の白線２５の間に挟まれる水平エッジ（横エッジ）Ａを入力画像２３において下から上に向けて検出する。（２）水平エッジＡより上方にある水平エッジＢを検出する。（３）水平エッジＡとＢとに挟まれる領域にある垂直エッジＣ、Ｄを検出する。このように、白線２５の間に挟まれるエッジのヒストグラムから、上下または左右のペアとなるエッジを検出するなどの従来方法を利用すればよい。ここで、車両２４を発見した領域を基準テンプレート２６として定義する（図３（ｃ）、（ｄ））。
車両基準テンプレート作成部５では、図３（ｄ）で定義した基準テンプレート２６内をより細かく処理し、追跡対象車両２４の画像内部を確実に捉えている領域を画素単位で抽出する。これにより、より正確な車両２４の追跡用の車両基準テンプレート２７を作成する。これは、例えば、図３（ｅ）に示すように、基準テンプレート２６において図３（ｂ）と同様にしてエッジを細かく検出する。すなわち、通常、車両２４のボティは全体的に同じ色であることから、縦横２組のエッジを選択し、その内部が同じ色である範囲をより細かく判定する。さらに、車両２４のピラーなど斜めの線をも検出することで、より正確にエッジを捉えるなどの処理により、その画像内部を車両２４とすることで作成することができる。この処理で確定した、より正確に車両２４の形状を捉えたテンプレートを車両基準テンプレート２７とする（図３（ｆ））。また、車両２４の内部抽出による車両基準テンプレート２７の定義方法については、より正確な方法について後述する。最後に、ブレーキ灯位置定義部６では、図３（ｆ）で定義された車両基準テンプレート２７の内部からブレーキ灯２８の位置を検出し、その車両基準テンプレート２７内の位置という形でブレーキ灯２８の位置を定義する（図４参照）。
図４は車両基準テンプレート２７内におけるブレーキ灯２８の位置定義方法を示す図である。（ｂ）は（ａ）の車両基準テンプレート２７の拡大図であり、升目は画素である。図４については後で詳述する。
【００１１】
図５は本システムのさらに詳しい構成を示す図である。
図５において、４１は基準テンプレート保存用メモリ、５１は車両基準テンプレート保存用メモリ、５２は車両追跡処理部、５３は追跡信頼性判定部、５４はテンプレート更新計算用車両画像保存用メモリ、５５は車両基準テンプレート確定部（車両基準テンプレート更新処理部）、６１は車両上輝度変化部位判定部、６２は最新検出車両保存用メモリ、６３はブレーキ灯位置確定部である。
まず、基準テンプレート保存用メモリ４１は、車両発見部４の車両検出により検出された基準テンプレート２６（図３（ｄ））を保存するためのメモリである。
《車両基準テンプレート作成部５》
車両基準テンプレート作成部５は、車両発見部４から送られる基準テンプレート２６に基づき、より正確に車両２４の部分だけを抽出した車両基準テンプレート２７を作成する処理を行う。車両基準テンプレート保存用メモリ５１は、車両基準テンプレート作成部５全体の処理結果である車両基準テンプレート２７を保存する。車両追跡処理部５２では、テンプレートマッチングにより画像内の車両２４の位置を求める。テンプレートマッチングとは、車両２４の検出時に提示された車両２４が存在する画像領域内で作成されるテンプレートとの相関を計算するものである。このとき、車両基準テンプレート保存用メモリ５１と、その時点で基準となる車両基準テンプレート２７（一番最初は基準テンプレート２６。以下同様）を用いる。また、このテンプレートマッチングは、入力画像２３内の所定の範囲内を、車両１と追跡車両２４との相対距離の変化に応じた車両２４の大きさ変化を考慮した拡大縮小をかけながら行う。追跡信頼性判定部５３は、車両追跡処理部５２によって得られた最大相関値と、ある所定のしきい値とを比較し、テンプレートマッチングの相関から追跡判定の信頼性を判定する。最大相関値がしきい値より大である追跡の信頼性が高いときに、車両基準テンプレート２７との高い相関を得た入力画像２３を切り出す。車両基準テンプレート２７と相関計算した画像を、新規画像が入力された相関処理毎に、テンプレート更新計算用車両画像保存用メモリ５４に逐次保存する。なお、この画像は、車両２４の位置と拡大縮小率により車両基準テンプレート２７と大きさが合わせられている。 相関が高いと判定され逐次保存された車両基準テンプレート２７内で、同じ位置に相当する各画素の輝度変化またはエッジ強度度合いにより、車両２４とそれ以外の部分を分離し、その分離により車両２４と判定された画素だけを抽出する。これにより、車両基準テンプレート確定部（更新処理部）５５は、車両基準テンプレート２７を定義、正規化し、その各画素の分散または画素毎のエッジ強度の分散を元に、車両基準テンプレート２７を更新する。
前術のとおり、車両基準テンプレート作成部５では、車両発見部４により検出された車両２４の撮像画像を車両２４を確実に捉えるような形状で抜き出す。そして、追跡用の車両基準テンプレート２７として車両基準テンプレート保存用メモリ５１に保存する。以下、個々の処理について詳細に述べる。
【００１２】
車両追跡処理部５２では、テンプレートマッチングにより新規に入力される入力画像２３内から車両２４の位置を検出・追跡する処理を行う。図６は車両追跡処理部５２の処理を説明する図である。つまり、基準テンプレート２６および車両基準テンプレート２７を用いた画像の拡大縮小付き相関計算による車両２４の位置検出・追跡方法を説明する図である。図６（ｇ）に示す２９は、テンプレート更新計算用車両画像保存用メモリ５４への保存の対象となる、相関が最大の画像である。（ｊ）に示す３１は、入力画像２３における走査範囲である。この追跡処理では、基準となるテンプレートはその状況に応じて切り替えて使う。具体的には、車両２４の発見直後、すなわち、車両基準テンプレート２７の作成前は、基準テンプレート保存用メモリ４１に保存されている基準テンプレート２６を相関の計算対象とする基準テンプレートとする。車両基準テンプレート２７の定義後は、車両基準テンプレート保存用メモリ５１に保存されている車両基準テンプレート２７を基準となるテンプレートとする。
車両追跡処理部５２は、入力画像２３上で車両２４が存在する可能性のある範囲内において、１画素ずつずらしながら計算する。そして、テンプレートとの相関がもっとも高い位置を求めることで、新たな入力画像２３内における車両２４の位置を検出する（図６参照）。なお、このテンプレートとの正規化相関は、計測された距離または距離変化に基づく、基準となるテンプレートからの距離変化分の画像上における大きさ変化を考慮した拡大縮小をかけながら行う。つまり、基準テンプレート２６作成時の距離に対する入力画像２３の入力時の車間距離の変化率分を考慮した拡大縮小をかけながら行う。ここで、追跡中の車両２４までの距離または相対距離変化の計測は、図示しないレーダなど他の計測機器による計測結果を用いるか、あるいは画像処理により車両２４の撮像位置から求めればよい。
【００１３】
図７は入力画像２３内の車両２４の下端位置から車間距離を算出する原理を説明する図である。図７において、３２は道路面、３３は縦方向の画角、３４は撮像面である。
車両２４のエッジの下端ｙｄが検出できた場合、この下端ｙｄと車両１（図２）までの距離ｚ、カメラ２の高さＨ、焦点距離ｆは、下記の式１の関係となる。つまり、下端ｙｄを図３（ｂ）の方法により検出できれば車両２４までの距離ｚが計測可能である。
ｚ＝Ｈ・ｆ／ｙｄ …式１
また、画像上の車両２４の大きさは距離（車間距離）ｚに反比例する。このことから、距離ｚが計測できた場合、拡大縮小を考慮したテンプレートマッチングは、基準となるテンプレートを作成したときの距離ｚと、新たに入力画像２３を入力したときの距離ｚとの距離の変化率から計算できる。つまり、車両追跡処理部５２では、まず、基準となるテンプレートとの距離変化を求め、それに応じた拡大縮小率を考慮しながら、テンプレートマッチングにて入力画像２３内を走査する（走査範囲３１）。そして、もっとも相関の高い位置を車両２４として発見することで入力画像２３内の車両２４の位置を追跡する。
追跡信頼性判定部５３では、車両２４の検出の信頼性を判定し、信頼性の低い場合は車両２４の検出に失敗、高い場合は車両２４の検出に成功していると判定する。この判定は、相関が最大となったときのその相関値としきい値との比較でよい。
テンプレート更新計算用車両画像保存用メモリ５４は、車両２４の追跡の信頼性が高いと判定された場合における入力画像２３中の車両２４の発見位置の、基準テンプレート２６に合わせた大きさの画像を保存する。例えば、図６の場合であれば、相関が最も高いと判定されたときの画像である図６（ｇ）の楕円で囲まれた画像２９が保存対象となる。この画像２９は、次の車両基準テンプレート確定部５５で利用する。
車両基準テンプレート確定部５５では、テンプレート更新計算用車両画像保存用メモリ５４に保存されている画像を用いて、車両２４の部分だけを抽出した車両基準テンプレート２７を作成する。ここで保存される画像は、基準テンプレート２６との相関が高いと判定された画像である。そのため、内部に基準テンプレート２６と同じ大きさの同じ車両２４を含む可能性が高い。ただし、逐次入力される入力画像２３から作成、保存されるため、図６（ｇ）の画像２９からもわかるように、背景など車両２４以外の部分も含んでいる。
【００１４】
図８はテンプレート更新計算用車両画像保存用メモリ５４に保存される輝度画像を示す図で、（ａ）は参照基準テンプレート、（ｂ）〜（ｆ）は逐次保存される相関が大となった画像である。
つまり、ここに保存される画像は、図８に示すように、車両２４は同一であるが背景が異なる画像である。このことから、これらの画像は、車両２４の撮像されている部分は同じ輝度、エッジを持ち、背景が撮像されている画素は逐次異なる輝度値・エッジ強度となる。車両基準テンプレート確定部５５では、このような特徴に基づき、背景を除去する。そして、追跡車両２４だけを含む画素からなる車両基準テンプレート２７を作るようにする。また、内部の車両２４の大きさが同じになるように調整されながら逐次保存された画像を用いる。そして、これらの画像の各画素の輝度の分散やエッジ強度の分散が大きいものを背景とするなどの判定により、車両２４だけを抽出した車両基準テンプレート２７を作成する。車両基準テンプレート２７の確定は、分散が大きいと判定された画素を逐次除去し、残りのすべての画素分散が小さくなった時点で確定すればよい。車両基準テンプレート２７の確定後は、車両基準テンプレート保存用メモリ５１にその結果を保存する。後の処理においては、車両追跡処理部５２により、車両基準テンプレート保存用メモリ５１に保存された車両基準テンプレート２７を基準として車両２４の位置の検出・追跡を行う。
《ブレーキ灯位置定義部６》
次に、ブレーキ灯位置定義部６について説明する。
ブレーキ灯位置定義部６は、車両上輝度変化部位判定部６１、最新検出車両保存用メモリ６２、ブレーキ灯位置確定部６３から構成される。車両上輝度変化部位判定部６１は、車両基準テンプレート２７内における大きな輝度変化を判定する。最新検出車両保存用メモリ６２は、輝度変化を判定するための基準として必要なその直前の画像から得られ、かつ、車両基準テンプレート２７と大きさを合わせた画像を保存する。ブレーキ灯位置確定部６３は、車両上輝度変化部位判定部６１の輝度変化に基づき、ブレーキ灯２８と確定できる部位の位置を判定し、その位置を求める。
車両上輝度変化部位判定部６１では、直前の画像から抽出された車両２４の画像との比較により、輝度変化の有無を判定し、しきい値以上の輝度変化のある場合、その位置を記憶する。また、直前の画像から抽出された車両２４の画像は、最新検出車両保存用メモリ６２に保存される。この最新検出車両保存用メモリ６２への保存は、追跡信頼性判定部５３の追跡の信頼性が高い場合に限って行う。そして、そのときの入力画像２３上において得られた相関算出に利用された画像を、車両上輝度変化部位判定部６１の判定後に保存することで毎回更新する。例えば、ここで保存される対象となる画像は、図６（ｆ）に示したような画像３０に相当する。車両基準テンプレート２７の確定後、その車両基準テンプレート２７を用いて、前述と同様の距離変化に応じた拡大縮小をかけながら行う車両基準テンプレート２７との相関計算により入力画像２３内の車両２４を検出する。これにより、この最新検出車両保存用メモリ６２には、毎回の処理において、追跡中の車両２４を車両基準テンプレート２７の大きさに合わせた上で、最新の輝度状態で保存されることになる。
この車両基準テンプレート２７との相関処理において相関が高いと判定された新規の入力画像２３から得られた車両基準テンプレート２７と対応する画像内のある部位において、輝度の変化が所定の値以上に変化することを検出する。その輝度変化が起こる部位が車両基準テンプレート２７内における同じ位置から複数回観測できた場合、その部位をブレーキ灯２８の位置と判定する。このように、この保存は相関が高いときだけ行われるため、ノイズや逆光などで全体的に輝度変化が起きるときは除かれ、車両基準テンプレート２７に近い状態で撮像された車両２４だけが評価の対象となる。車両上輝度変化部位判定部６１では、このような条件をクリアした画像だけが評価対象となるため、これらの画像は、異なる時間で撮像された同じ大きさに撮像された同一車両２４とみなすことができる。図６からもわかるように、画像が理想状態であればすべてが同じはずである。ただし、通常は周囲の光の変化があるため、すべての部分において、多少の光の変化がある。しかし、車両２４の背面において、ブレーキ灯２８はそれ自体が光を発光する。このことから、車両２４の内部の画像から、所定の値以上に輝度変化が起こる部位を判定することで、ブレーキ灯２８の点灯を検出する。
最後に、ブレーキ灯位置確定部６３では、車両上輝度変化部位判定部６１での点灯の判定結果を元に、車両基準テンプレート２７（図３、図４）内におけるブレーキ灯２８の位置を確定する。この場所は、図４に示すように、車両基準テンプレート２７内における位置として求める。外界の光の影響は車両２４全体が受けるのに対し、ブレーキ灯２８などそれ自体が発光するものは、周囲の光変化とは無関係でその部分の輝度だけが大きく異なる値となる。また、周囲からの光の影響と異なり、発光する部位は車両２４上において固定の位置であるため、車両２４上に設けた基準座標からの位置関係から見ると、点灯・消灯のたびに、常に同じ位置からの輝度変化が観測されることになる。このことから車両２４内部を抽出した車両基準テンプレート２７中から大きな輝度変化が起こる部位の有無を判定し、それが複数回（所定の回数以上）同じ位置で起きたことを観測した場合、その位置をブレーキ灯２８の位置とすればよい。
【００１５】
次に、図４を用いて、車両基準テンプレート２７内におけるブレーキ灯２８の位置の定義方法の具体例について説明する。前述のブレーキ灯位置定義部６の処理で求めた車両基準テンプレート２７内のブレーキ灯２８の位置は、車両基準テンプレート２７内の座標を示すための基準座標からの位置として定義する。つまり、図４のようにブレーキ灯位置定義部６によりブレーキ灯２８の位置が確定した場合は、定義されている基準座標上からの位置（ｘｌ、ｙｈ）、（ｘｒ、ｙｈ）（単位は画素）として表現すればよい。
図４を用いて説明したブレーキ灯２８の位置定義の方法を用いてブレーキ灯位置定義部６により、その車両基準テンプレート２７内におけるブレーキ灯２８の座標位置が算出される。この場合、その後の追跡処理において、新たに入力された画像での相関の高い画像のブレーキ灯２８の位置に対応する位置の輝度変化を確認する。このことで、前回入力された画像からのブレーキ灯２８の部位の輝度変化を確認することができる。
具体的には、ブレーキ灯２８の位置検出と同様に、最新検出車両保存用メモリ６２の保存画像と、新規画像において相関が最も高いと判定された画像の車両基準テンプレート２７内のブレーキ灯２８の位置の輝度変化だけを比較する。車両基準テンプレート２７内のブレーキ灯２８の位置というのは、図４における座標（ｘｌ、ｙｈ）、（ｘｒ、ｙｈ）である。これによりブレーキ灯２８の変化を見ることができる。また、より正確に判定する場合は、画像全体の明るさ変化を考慮し、輝度を正規化した後にこの座標の輝度値変化を比較する方が光や天候の変化など、周囲の影響を受けにくいシステムとなる。
いずれの場合も、相関が高いと判定された画像のブレーキ灯２８の位置に相当する輝度変化だけを比較する。明るさの差がしきい値以上に増えた場合はブレーキ灯２８が点灯、明るさの差がしきい値以上に減少した場合はブレーキ灯２８が消灯と判定することができる。
【００１６】
以上説明したように、本実施の形態１の追跡車両ランプ検出システムは、車両１に搭載されたカメラ２と、カメラ２の入力画像２３から追跡車両２４の存在領域を切り出す追跡車両存在領域切り出し手段と、追跡車両２４の存在領域に基づいて追跡車両２４のブレーキ灯２８を検出するブレーキ灯位置定義部６を有する。また、本実施の形態１の追跡車両ランプ検出方法は、車両１に搭載されたカメラ２の入力画像２３から追跡車両２４の存在領域を切り出し、この追跡車両２４の存在領域に基づいてブレーキ灯２８を検出する。ここで、追跡車両２４の存在領域というのは、ランプ検出のために切り出す領域である。すなわち、特許請求の範囲の請求項１における追跡車両の存在領域というのは、ランプ検出のためのテンプレートで、車両の形には限定されない。ランプの検出が可能ならどんな形に切り出すものでもよい。ここでは例えば、図１の車両発見部４および車両基準テンプレート作成部５が追跡車両存在領域切り出し手段に、ブレーキ灯２８がランプに、ブレーキ灯位置定義部６がランプ検出手段に相当する。このように入力画像２３内の追跡車両２４の存在領域を絞り込んだ後、ブレーキ灯２８等のランプ位置を検出することから背景等の余計な情報の除去が可能となり、より正確にブレーキ灯２８等のランプの検出を行うことが可能となる。
さらに本実施の形態１の具体的構成を述べると、追跡車両存在領域切り出し手段は、入力画像２３より小さく追跡車両２４の形状を含む当該追跡車両２４の形状より大きい領域を基準テンプレート２６として抽出する車両発見部４と、基準テンプレート２６に含まれる追跡車両２４の形状を車両基準テンプレート２７として抽出する車両基準テンプレート作成部５を用いる。さらに追跡車両ランプ検出方法を具体的に述べると、追跡車両２４の存在領域の切り出しは、入力画像２３より小さく、追跡車両２４の形状を含む当該追跡車両２４の形状より大きい領域を基準テンプレート２６として抽出する。そして、基準テンプレート２６に含まれる追跡車両２４の形状を車両基準テンプレート２７として抽出する。なお、基準テンプレート２６が、請求項２の基準テンプレートに、車両基準テンプレート２７が車両基準テンプレートに、車両発見部４が基準テンプレート抽出手段に相当する。また、車両基準テンプレート作成部５が車両基準テンプレート抽出手段に相当する。すなわち、請求項２の追跡車両の存在領域は、基準テンプレート２６に基づいて車両基準テンプレート２７で切り出される領域を示す。また、請求項２における車両基準テンプレートの抽出というのは、追跡車両２４そのものの位置で背景を含まない領域を抽出することを意味する。例えば基準テンプレート２６内の領域で車両２４の形状をより正確に捉え、追跡車両２４の画像内部を確実に捉えている領域を車両基準テンプレート２７として画素単位で抽出することを意味する。
また、車両発見部４は、基準テンプレート２６を用いて追跡車両２４の存在領域を切り出す。このように車両１に搭載されたカメラ２を用いた画像処理において、入力画像２３から追跡対象車両２４を検出する。そして、その車両２４が存在する入力画像２３上の領域を確定する。その後、その車両２４のエッジや距離変化なども利用した上で領域内に存在する車両２４の部分に相当する部分をより正確に抽出した上で、その車両２４内部におけるブレーキ灯２８の位置を検出する構成とした。これにより、追跡車両２４以外の画像領域のブレーキ灯２８の通常赤色と似た色、輝度、あるいは輝度変化が起きる信号や追跡車両２４以外の車両などのランプと誤判定することがなくなる。すなわち、追跡車両２４のブレーキ灯２８だけを正確に検出することができるようになる。
【００１７】
また、車両基準テンプレート作成部５は、車両基準テンプレート２７を保存する車両基準テンプレート保存用メモリ５１と、追跡車両２４の追跡を行う車両追跡処理部５２を有する。この車両追跡処理部５２は、車両基準テンプレート２７を用い、入力画像２３内を追跡車両２４の相対距離変化による大きさ変化を考慮した拡大縮小をかけながら、車両基準テンプレート２７との相関を取得することにより追跡を行う。また、車両基準テンプレート２７の相関から追跡信頼性を判定する追跡信頼性判定部５３と、追跡信頼性が高いときに、車両基準テンプレート２７との高い相関を得た入力画像２３から追跡車両２４の形状を切り出すテンプレート更新計算用車両画像保存用メモリ５４を有する。また、車両基準テンプレート２７を車両基準テンプレート２７と置き換えることにより、車両基準テンプレート２７を更新する車両基準テンプレート確定部５５を有する。なお、本実施の形態１の車両基準テンプレート保存用メモリ５１が、特許請求の範囲の車両基準テンプレート保存手段に、車両追跡処理部５２が車両追跡処理手段に、追跡信頼性判定部５３が追跡信頼性判定手段に相当する。また、テンプレート更新計算用車両画像保存用メモリ５４が追跡車両基準テンプレート切り出し手段に、車両基準テンプレート確定部５５が車両基準テンプレート確定手段に相当する。
このように、本実施の形態１においては、画像領域内の車両２４をより正確に抽出する場合において、まず、検出時には追跡車両２４を含む領域を設定する。そして、その領域を基準テンプレート２６とした上で、検出中の車両２４までの距離または距離変化を計測しながら、その距離変化に応じた画像上での拡大縮小を考慮したテンプレートマッチングを行う。相関値が所定の値以上で車両２４を検出できた場合、そのときの入力画像２３内の車両２４の撮像領域を基準テンプレート２６と同じ大きさになるように大きさを調整した上で、新規基準テンプレート２６の１つとして保存する。このような処理を時間的に連続して複数回行った後、毎回蓄積された新規基準テンプレート２６の画素毎の輝度またはエッジ強度変化に着目し、輝度やエッジ強度の変化のない部分を車両２４、ある部分を背景として分離する。車両２４と判定された画素だけからなる領域をより正確なテンプレートである車両基準テンプレート２７とする。このような方法で車両２４の部分だけを抽出した車両基準テンプレート２７が作成された後、その車両基準テンプレート２７を用いての車両２４の追跡を行う。前述と同様、距離変化に応じた拡大縮小をかけながらの車両基準テンプレート２７との相関計算により入力画像２３内の車両２４を検出する。その画像内の車両２４の検出・追跡中において、相関が高く追跡中であるにもかかわらずテンプレート内のある部位において、輝度の変化が所定のしきい値以上に変化する部位が存在する場合、その部位の輝度変化に着目する。その部位だけにおいて所定のしきい値以上の輝度変化が複数回観測された場合、その部位を車両２４のブレーキ灯２８の位置と判定する構成とした。これにより、まず、距離変化も考慮した上で、より正確に（画素単位で）車両２４の存在範囲を限定する。その上で、車両２４の内部から、ある特定の一部だけが輝度変化を起こすというブレーキ灯２８が持つ特徴を確認できるようになるため、より正確にブレーキ灯２８の位置が検出可能となる。
【００１８】
また、ブレーキ灯位置定義部６により例えばブレーキ灯２８を検出した際、ブレーキ灯２８の位置を図４（ｂ）に示したごとく、車両基準テンプレート２７内における基準位置からの相対位置座標として保存する。このように車両基準テンプレート２７内のブレーキ灯２８を検出した際、そのブレーキ灯２８の存在位置を車両基準テンプレート２７内における基準位置からの相対位置座標として保存する。これにより、ブレーキ灯２８の検出後のブレーキ灯２８の点灯・点滅の判定処理が容易にできる。また、車両２４の追跡の正確性向上のため、輝度変化のない部位だけでのテンプレートとの相関計算を行うことを可能にするための応用としてブレーキ灯２８の部位を取り除いた相関計算を行うようにするという方法への適用も可能となる。
また、追跡車両２４の追跡中において、相関が所定の値より高い値として判定され、保存された車両基準テンプレート２７における所定の値以上の輝度変化により例えばブレーキ灯２８の点灯または消灯を判定する。このように、車両２４の追跡中において、相関が所定の値より高い値として追跡されている場面においては、保存した位置の輝度変化を見ることで、ブレーキ灯２８の点灯または消灯を判定する。これにより、例えば、時系列的にこの場所に相当する輝度変化を見るという単純な操作だけで、ブレーキ灯２８の点灯状態、点滅状態、消灯状態を判定可能となる。
【００１９】
実施の形態２
以下の実施の形態２から実施の形態７における概略構成図は実施の形態１と同じである。
本実施の形態２は、ブレーキ灯位置定義部６によるブレーキ灯２８の位置の確定をより確実に行う方法である。車両上輝度変化部位判定部６１を用いた前述の方法で車両基準テンプレート２７内のブレーキ灯２８の位置候補を判定することができる。この判定の際、追跡対象車両２４の速度変化も同時に見る。具体的には車両２４のブレーキ灯２８の点灯が検出されかつ車両２４が減速した場合、または車両２４のブレーキ灯２８の消灯が検出され、その後、車両２４の走行速度が上がった場合は、検知している部位がブレーキ灯２８である可能性が大きい。車両２４の速度変化とその部位の輝度変化がブレーキをかけたときの変化と対応しない場合は、その部位はブレーキ灯２８ではない可能性があると判定する。つまり、車両上輝度変化部位判定部６１の判定により、ブレーキ灯２８と想定される輝度変化を生じた部位があった場合でも、車両２４の速度変化がそのブレーキ灯２８と合わない場合は、ブレーキ灯位置確定部６３のブレーキ灯位置確定の際の判定基準に加えないこととする。これにより、より正確なブレーキ灯２８の位置検出を行うことができる。
上記のようにブレーキ灯位置定義部６は、追跡車両２４の画像中、追跡車両２４の速度変化時に輝度変化が発生する部位を、追跡車両２４のブレーキ灯２８の位置であると定義する。このように、ブレーキ灯２８の位置検出において、輝度変化のある部位の輝度の変化が、前方車両２４の速度変化が起きた場合に限り起こることから、その部位をブレーキ灯２８であると判定する。通常、ブレーキ灯２８は、ブレーキをかける際に点灯し、ブレーキを解除したときに消灯する。つまり、点灯から消灯、消灯から点灯などの輝度変化のある場合は、それに応じた速度変化が生ずる。この速度変化と点灯・消灯の変化が一致することを確認することで、ウインカや逆光などのブレーキ灯２８以外の部位や車両２４のランプ以外の要因による輝度変化と区別し、正確にブレーキ灯２８の位置を検出することが可能となる。
【００２０】
実施の形態３
前述までのブレーキ灯２８の位置検出において、輝度変化の起こる時間的な間隔を判定し、消灯・点灯の周期が不規則である場合は、その部位をブレーキ灯２８と判定する。輝度変化の判定は、車両上輝度変化部位判定部６１を用いた前述の方法で行うことができる。また、その周期は、変化を時系列的に連続して観測し、その周期を判定することで行うことができる。
上記のようにブレーキ灯位置定義部６は、追跡車両２４の画像中、輝度変化が不規則に発生する部位を、追跡車両２４のブレーキ灯２８の位置であると定義する。このように、輝度変化の起きる時間的な間隔を判定し、その消灯・点灯の周期が不規則である場合、その部位をブレーキ灯２８と判定する。車両２４には、ブレーキ灯２８以外にも、ウインカ（ウインカランプ）があり、また、ウインカは、ハザードという意味のランプとしても利用される。これらウインカやハザードの点滅は、通常、規則的な周期である。一方、減速を意味するときのブレーキ灯２８の点灯は、その周期が不規則である。このことから、周期が不規則な点灯が起こる位置を確認することで、他のランプとの区別を行い、正確にブレーキ灯２８の位置を判定することができる。
【００２１】
実施の形態４
本実施の形態４では、追跡中の車両２４上において、輝度変化が起こる部位とその個数とその周期を観測し、輝度変化の起こる時間的な間隔を判定し、消灯・点灯の周期が規則的である場合、その個数が１つであればウインカ、ブレーキ灯と判定された部位近傍の部位２つで観測された場合はハザードであると判定する。この判定において、ブレーキ灯２８の位置および点灯・消灯は前述までのブレーキ灯２８の位置検出と点灯・消灯の判定において行うことができる。また、その周期の判定は、実施の形態３と同様の方法で行うことができる。
すなわち、ブレーキ灯２８と判定された部位近傍の部位において周期的な点滅があればハザード、それ以外の部位で車両２４上の１箇所において輝度変化が周期的に観測される場合はウインカと判定すればよい。
【００２２】
上記のようにブレーキ灯位置定義部６は、追跡車両２４の画像中、１箇所の規則的な輝度変化の発生する部位をウインカと定義し、２箇所の規則的な輝度変化の発生する部位をハザードと定義する。このように輝度変化の起きる時間的な間隔を判定し、消灯・点灯の周期が規則的である場合、その個数が１つであればウインカ、ブレーキ灯と判定された部位の近傍２つで観測された場合はハザードであると判定する構成である。
【００２３】
実施の形態５
本実施の形態５では、前述までに述べてきた方法で観測可能なブレーキ灯２８の点灯・消灯に応じて、車両（自車両）１の加減速制御を調整するものである。車両１の加減速の調整方法は、そのときの車間距離および相対速度から、衝突しないような速度制御とすればよい。また、追跡車両２４との衝突の危険性があると考えられる車間距離でブレーキ灯２８の点灯を検知した場合は、早めに車両１の速度を落とす、運転手の足の操作によるブレーキより強めの圧力をかけるなどのアシスト制御にも利用することができる。
上記のように観測したブレーキ灯２８の点灯・消灯に応じて、車両１の加減速制御を調整するする。通常、ブレーキ灯２８の点灯・消灯は、実際に速度が変化し始めるより早くその状態を観測できる。これにより、速度制御をより早く行うことができるようになる。
【００２４】
実施の形態６
本実施の形態６では、車両１の停止状態において追跡車両２４のブレーキ灯２８の消灯を判定した場合、発進の制御を行う、またはその情報を運転手に提示するものである（表示器や警報器等は、図５等において図示省略）。追跡車両２４のブレーキ灯２８の消灯は、前述の方法によるブレーキ灯２８の部位の輝度変化から判定できる。また、車両１が停止状態であることは、図示省略したセンサによるブレーキの制御や車輪速度などから計測することができる。これらの検知・計測の結果から、車両１の停止状態において、追跡車両２４の発進を意味するブレーキ灯２８の消灯を検知した場合、発進や追跡車両２４が発進することの合図を表示や音声などで知らせることができる（表示器や警報器等は、図５等において図示省略）。
上記のように車両２４の停止状態において、追跡車両２４のブレーキ灯２８の消灯を検出した場合、車両１の発進の制御を行うか、または追跡車両のブレーキ灯の消灯の情報を運転手に提示する。これにより、実施の形態５と同様に、車両１の速度制御や発進ができることの提示をより早く行うことができるようになる。
【００２５】
実施の形態７
実施の形態７では、車両１の停止状態において、追跡車両２４のブレーキ灯２８の消灯を確認した際に、車両１の発進や情報提示の制御を行う構成とした。しかし、長時間の停車・駐車の場合、追跡車両２４はブレーキ灯２８を消したにもかかわらず、発進しない場合もある。このような場合における車両１の追跡車両２４に対する衝突を回避するため、車両１の停止状態における、追跡車両２４のブレーキ灯２８に基づく発進や表示などの制御は、まず、ブレーキ灯２８の消灯時に、車両１の発進のための準備や、追跡車両２４のブレーキ灯２８が消えたことだけの合図に留める。実際に追跡車両２４と車両１との車間距離の変化があった場合にだけ、車両１の発進の制御、発進できることの合図を送るようにすればよい。
上記のようにブレーキ灯２８の消灯の検出による発進の制御においては、ブレーキ灯２８の消灯後、追跡車両２４が発進したことを確認するまでは、車両１の走行は開始せず、車両１の発進の準備または追跡車両２４のブレーキ灯２８の消灯の情報の提示だけに留める。車両２４が駐車目的の場合や長時間停止状態となる場合は、ブレーキペダルから足を離した状態で停止する車両２４もある。そのため、ブレーキ灯２８の消灯による制御への応用に関しては、車両１の発進動作はすぐに行わず、実際に車両２４が発進したときに迅速に車両１の発進制御を行うことができるようにするための準備だけを行う。もしくはブレーキ灯２８が消えたことの提示だけに留めるようにし、実際に車両２４の速度変化が起きた場合に車両１の発進制御を迅速に行うことができるようにする。これにより、実施の形態６の効果を安全性も加味した上で行うことができるようになる。
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態１のシステム構成図である。
【図２】カメラの車両への搭載位置と座標系設定の説明図である。
【図３】画像中の車両検出方法と基準テンプレートと車両基準テンプレートの説明図である。
【図４】車両基準テンプレート内におけるブレーキ灯の位置定義方法を示す図である。
【図５】さらに詳細なシステム構成図である。
【図６】基準テンプレートおよび車両基準テンプレートを用いた画像の拡大縮小付き相関計算による車両位置検出・追跡方法の説明図である。
【図７】画像内の車両の下端位置から車間距離を算出する原理の説明図である。
【図８】テンプレート更新計算用車両画像保存用メモリに保存される輝度画像の様子を示す図である。
【符号の説明】
１…車両
２…カメラ
３…画像メモリ
４…車両発見部
５…車両基準テンプレート作成部
６…ブレーキ灯位置定義部
２１…カメラの光軸
２２…基準座標系
２３…入力画像
２４…車両
２５…白線
２６…基準テンプレート
２７…車両基準テンプレート
２８…ブレーキ灯
２９、３０…画像
３１…走査範囲
３２…道路面
３３…縦方向の画角
３４…撮像面
４１…基準テンプレート保存用メモリ
５１…車両基準テンプレート保存用メモリ
５２…車両追跡処理部
５３…追跡信頼性判定部
５４…テンプレート更新計算用車両画像保存用メモリ
５５…車両基準テンプレート確定部
６１…車両上輝度変化部位判定部
６２…最新検出車両保存用メモリ
６３…ブレーキ灯位置確定部

Claims (13)

1. 車両に搭載されたカメラと、
   前記カメラの入力画像から追跡車両の存在領域を切り出す追跡車両存在領域切り出し手段と、
   前記追跡車両の存在領域に基づいて前記追跡車両のランプを検出するランプ検出手段と、
   を有することを特徴とする追跡車両ランプ検出システム。
2. 前記追跡車両存在領域切り出し手段は、
   前記入力画像より小さく、前記追跡車両の形状を含む当該追跡車両の形状より大きい領域を基準テンプレートとして抽出する基準テンプレート抽出手段と、
   前記基準テンプレートに含まれる前記追跡車両の形状を車両基準テンプレートとして抽出する車両基準テンプレート抽出手段を用いることを特徴とする請求項１記載の追跡車両ランプ検出システム。
3. 前記車両基準テンプレート抽出手段は、
   前記車両基準テンプレートを保存する車両基準テンプレート保存手段と、
   前記車両基準テンプレートを用い、前記入力画像内を前記追跡車両の相対距離変化による大きさ変化を考慮した拡大縮小をかけながら、前記車両基準テンプレートとの相関を取得することにより、前記追跡車両の追跡を行う車両追跡処理手段と、
   前記車両基準テンプレートの相関から追跡信頼性を判定する追跡信頼性判定手段と、
   前記追跡信頼性が高いときに、前記車両基準テンプレートとの高い相関を得た前記入力画像から前記追跡車両の形状を切り出す追跡車両基準テンプレート切り出し手段と、
   前記車両基準テンプレートを前記車両基準テンプレートと置き換えることにより、前記車両基準テンプレートを更新する車両基準テンプレート確定手段と、
   を有することを特徴とする請求項２記載の追跡車両ランプ検出システム。
4. 前記ランプ検出手段は、
   前記追跡車両の画像中、前記追跡車両の速度変化時に輝度変化が発生する部位を、前記追跡車両のブレーキ灯の位置であると定義することを特徴とする請求項１乃至３のいずれか記載の追跡車両ランプ検出システム。
5. 前記ランプ検出手段は、
   前記追跡車両の画像中、輝度変化が不規則に発生する部位を、前記追跡車両のブレーキ灯の位置であると定義することを特徴とする請求項１乃至３のいずれか記載の追跡車両ランプ検出システム。
6. 前記ランプ検出手段は、
   前記追跡車両の画像中、１箇所の規則的な輝度変化の発生する部位をウインカと定義し、２箇所の規則的な輝度変化の発生する部位をハザードと定義することを特徴とする請求項１乃至３のいずれか記載の追跡車両ランプ検出システム。
7. 前記ランプ検出手段により前記ランプを検出した際、前記ランプの位置を前記車両基準テンプレート内における基準位置からの相対位置座標として保存することを特徴とする請求項２記載の追跡車両ランプ検出システム。
8. 前記追跡車両の追跡中において、相関が所定の値より高い値として判定され、保存された前記車両基準テンプレートにおける所定の値以上の輝度変化により、前記ランプの点灯または消灯を判定することを特徴とする請求項３記載の追跡車両ランプ検出システム。
9. 前記ブレーキ灯の点灯・消灯に応じて、前記車両の加減速を制御することを特徴とする請求項４または５記載の追跡車両ランプ検出システム。
10. 前記車両の停止状態において、前記追跡車両の前記ブレーキ灯の消灯を検出した場合、前記車両の発進の制御を行うか、または前記追跡車両の前記ブレーキ灯の消灯の情報を運転手に提示することを特徴とする請求項４または５記載の追跡車両ランプ検出システム。
11. 前記ブレーキ灯の消灯の検出による発進の制御においては、前記ブレーキ灯の消灯後、前記追跡車両が発進したことを確認するまでは、前記車両の走行は開始せず、前記車両の発進の準備または前記追跡車両の前記ブレーキ灯の消灯の情報の提示だけに留めることを特徴とする請求項１０記載の追跡車両ランプ検出システム。
12. 車両に搭載されたカメラの入力画像から追跡車両の存在領域を切り出し、
    前記追跡車両の存在領域に基づいて追跡車両のランプを検出することを特徴とする追跡車両ランプ検出方法。
13. 前記追跡車両の存在領域の切り出しは、
    前記入力画像より小さく、前記追跡車両の形状を含む当該追跡車両の形状より大きい領域を基準テンプレートとして抽出し、
    前記基準テンプレートに含まれる前記追跡車両の形状を車両基準テンプレートとして抽出することを特徴とする請求項１２記載の追跡車両ランプ検出方法。

Images