JP2011098579A - 車両のテールランプ検出装置 - Google Patents
車両のテールランプ検出装置 Download PDFInfo
- Publication number
- JP2011098579A JP2011098579A JP2009252590A JP2009252590A JP2011098579A JP 2011098579 A JP2011098579 A JP 2011098579A JP 2009252590 A JP2009252590 A JP 2009252590A JP 2009252590 A JP2009252590 A JP 2009252590A JP 2011098579 A JP2011098579 A JP 2011098579A
- Authority
- JP
- Japan
- Prior art keywords
- tail lamp
- filter
- image
- vehicle
- filter image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】車両前方を撮像して先行車のテールランプを検出するテールランプ検出装置において、カメラの画素サイズが小さくても確実に先行車のテールランプを識別する。
【解決手段】カメラからの映像を赤色範囲の狭い第1赤フィルタでフィルタリングおよび2値化した第1フィルタ画像F1からテールランプ候補Kを抽出し、候補が連続して所定回数抽出されその変位が小さいときに該候補をテールランプと確定する。狭い赤色範囲のフィルタによりテールランプが効率よく抽出される。一旦テールランプが検出されると、赤色範囲の広い第2赤フィルタによる第2フィルタ画像によりそのテールランプを追跡する。広い赤色範囲のフィルタにより、テールランプが背景と混ざり合って暗くなっても、確実に追跡を継続することができる。
【選択図】図3
【解決手段】カメラからの映像を赤色範囲の狭い第1赤フィルタでフィルタリングおよび2値化した第1フィルタ画像F1からテールランプ候補Kを抽出し、候補が連続して所定回数抽出されその変位が小さいときに該候補をテールランプと確定する。狭い赤色範囲のフィルタによりテールランプが効率よく抽出される。一旦テールランプが検出されると、赤色範囲の広い第2赤フィルタによる第2フィルタ画像によりそのテールランプを追跡する。広い赤色範囲のフィルタにより、テールランプが背景と混ざり合って暗くなっても、確実に追跡を継続することができる。
【選択図】図3
Description
本発明は、道路を走行する先行車のテールランプを追跡するテールランプ検出装置に関する。
テールランプ検出装置の1つの用途として、例えば夜間走行中に対向車や先行車のドライバに眩惑を与えないようにするため、自車両のヘッドランプの照射エリア内に対向車や先行車があるときには、ヘッドランプのハイビームをロウビームに切替えるヘッドランプ切替装置がある。
このようなヘッドランプ切替装置においては、対向車や先行車がヘッドランプの照射エリア内にあるかどうかを判断するため、自車両から当該対向車や先行車までの距離を求める必要がある。
そこで、カメラで車両前方を撮像し、光点の画像から対向車のヘッドランプや先行車のテールランプを抽出して、画像解析により対向車や先行車までの車間距離を求めることが提案されている。
このようなヘッドランプ切替装置においては、対向車や先行車がヘッドランプの照射エリア内にあるかどうかを判断するため、自車両から当該対向車や先行車までの距離を求める必要がある。
そこで、カメラで車両前方を撮像し、光点の画像から対向車のヘッドランプや先行車のテールランプを抽出して、画像解析により対向車や先行車までの車間距離を求めることが提案されている。
その車間距離の検出法としては、左右2つのヘッドランプあるいはテールランプ間の距離を求め、その画角を基に三角測量法を用いて対向車や先行車までの距離を求める技術が例えば特開2005−92861号公報に紹介されている。
ここで、ゆとりのある走行を実現するため、ヘッドランプは広い照射エリアが要求され、例えば水平方向50°、垂直方向37°の領域が求められるが、この照射エリア内ではどの角度位置にあってもハイビームの照射を受ければ眩惑が生じるので、所定距離に近づいたらロウビームに切替える必要がある。したがって、その広い範囲において対向車や先行車を検出しなければならないが、ヘッドランプとテールランプとでは輝度の差が大きいため、とくに輝度の低いテールランプの検出については、信号機やリフレクタなどからの識別も含めた検出精度が問題となる。
一方、車間距離検出のためのコストを抑えるためには、カメラの画素構成を小さなものとしなければならない。
そこで、特許文献1の技術により画像フレームの画素サイズを基本フォーマットの1つである640×480として、これでヘッドランプの上述の広い照射エリアをカバーするものとすれば、先行車のテールランプが概略15cm四方の面積を有するとして、当該先行車がカメラの前方10mの位置にあっても画像内のテールランプはわずか1画素に相当するだけとなり、40m前方に先行車が位置しているとすれば、左右のテールランプ間は1画素になる計算である。
そこで、特許文献1の技術により画像フレームの画素サイズを基本フォーマットの1つである640×480として、これでヘッドランプの上述の広い照射エリアをカバーするものとすれば、先行車のテールランプが概略15cm四方の面積を有するとして、当該先行車がカメラの前方10mの位置にあっても画像内のテールランプはわずか1画素に相当するだけとなり、40m前方に先行車が位置しているとすれば、左右のテールランプ間は1画素になる計算である。
しかし実際には、ハレーションの影響が加わってこれが複数画素にわたる一塊の赤色領域として撮像される。
したがって、ハイビームからロウビームへ切替えるべき最短の車間距離を例えば80mとした場合、特許文献1の技術では、先行車のテールランプは一塊の画素領域として撮像され、テールランプとして認識できない。そのため、最短の車間距離で切替えることは困難となる。
夜間における車間距離の検出において、とくにテールランプの検出は以上のような状況下で精度よく実現する必要がある。
したがって、ハイビームからロウビームへ切替えるべき最短の車間距離を例えば80mとした場合、特許文献1の技術では、先行車のテールランプは一塊の画素領域として撮像され、テールランプとして認識できない。そのため、最短の車間距離で切替えることは困難となる。
夜間における車間距離の検出において、とくにテールランプの検出は以上のような状況下で精度よく実現する必要がある。
そこで本発明は、上記問題点に鑑み、画像フレームの画素サイズを小さいものとしても確実に先行車のテールランプを識別して認識できるようにした、車両のテールランプ検出装置を提供することを目的とする。
本発明は、車両の前方を撮像するカメラからの映像を、赤色などテールランプの色に対応させた色範囲の狭い第1のフィルタと第1のフィルタよりも色範囲の広い第2のフィルタでフィルタリングおよび2値化してそれぞれ第1フィルタ画像と第2フィルタ画像を生成し、第1フィルタ画像から抽出される色領域に基づいて、車両前方に位置する先行車のテールランプを検出し、一旦テールランプが検出されると、その後はそのテールランプを第2フィルタ画像により追跡するように構成したものである。
本発明によれば、第1のフィルタの色範囲がテールランプに対応した狭い範囲であるため先行車のテールランプが効率よく確実に抽出される。そして、抽出された色領域に基づいて判断するので、カメラの画素構成を小さくしたときハレーションによって左右のテールランプ間が埋まり抽出領域が一塊となっても、精度良くテールランプを検出することができる。
さらに、一旦テールランプが検出されたあとの追跡においては、第2のフィルタの色範囲が広いので、車間距離が開いてテールランプが背景と混ざり合い、撮像されたテールランプが例えば明赤色から暗赤色などに変化しても、確実に追跡を継続(認識)することができる。
さらに、一旦テールランプが検出されたあとの追跡においては、第2のフィルタの色範囲が広いので、車間距離が開いてテールランプが背景と混ざり合い、撮像されたテールランプが例えば明赤色から暗赤色などに変化しても、確実に追跡を継続(認識)することができる。
次に本発明の実施の形態について説明する。
図1は、車両のヘッドランプ切替装置に適用した実施の形態の全体構成を示すブロック図である。
ヘッドランプ切替装置1は、車両前方を撮像するよう、例えば車内のルームミラー付近に設置されたカメラ2と、カメラ2からの映像信号を取り込んで画像処理を行い、ヘッドランプ3のハイビームユニット3aとロウビームユニット3bに切替駆動信号を送出する制御装置10を含む。
図1は、車両のヘッドランプ切替装置に適用した実施の形態の全体構成を示すブロック図である。
ヘッドランプ切替装置1は、車両前方を撮像するよう、例えば車内のルームミラー付近に設置されたカメラ2と、カメラ2からの映像信号を取り込んで画像処理を行い、ヘッドランプ3のハイビームユニット3aとロウビームユニット3bに切替駆動信号を送出する制御装置10を含む。
制御装置10は、後述の画像前処理部13と画像処理制御部14の処理時間に対応させたタイミングでカメラ2からの映像信号を取り込み、A/D変換してフレーム単位の画像データとする映像信号デコーダ11と、画像データを記憶する画像メモリ12と、画像データのフィルタリングおよび特徴抽出を行う画像前処理部13と、前処理されたフィルタ画像から他車両のヘッドランプおよびテールランプの検出を行い、車間距離を算出してハイビームユニット3aとロウビームユニット3bのビーム切替指令を出力する画像処理制御部14と、画像処理制御部14から入力されるビーム切替指令に基づいてハイビームユニット3aとロウビームユニット3bへの切替駆動信号を出力するビーム切替部15とを備えている。
制御装置10では、カメラ2からの映像信号が映像信号デコーダ11を経て、フレームごとの画像データとして画像メモリ12に格納されると、画像前処理部13は画像メモリ12の画像データをフィルタリングし、そのフィルタ画像を画像処理制御部14へ送る。
画像処理制御部14は、フィルタ画像の解析によってヘッドランプあるいはテールランプの検出を行い、検出したヘッドランプあるいはテールランプの追跡を行う。そしてそのヘッドランプまたはテールランプのいずれかに基づく車間距離を算出する。
この基本的な動作は従来と同様である。
画像処理制御部14は、フィルタ画像の解析によってヘッドランプあるいはテールランプの検出を行い、検出したヘッドランプあるいはテールランプの追跡を行う。そしてそのヘッドランプまたはテールランプのいずれかに基づく車間距離を算出する。
この基本的な動作は従来と同様である。
本実施の形態ではさらに、制御装置10に警報器5と、手動操作されるライト切替スイッチ4とが接続されている。
制御装置10の画像処理制御部14は、ライト切替スイッチ4からのスイッチ信号を受けたときもビーム切替部15へビーム切替指令を出力する。
画像処理制御部14はまた、車間距離に基づいてビーム切替指令を出力するとき、同時に警報器5も駆動する。
制御装置10の画像処理制御部14は、ライト切替スイッチ4からのスイッチ信号を受けたときもビーム切替部15へビーム切替指令を出力する。
画像処理制御部14はまた、車間距離に基づいてビーム切替指令を出力するとき、同時に警報器5も駆動する。
画像処理制御部14では、ビーム切替指令を出力する車間距離として、ハイビームからロウビームへ切替える車間距離と、ロウビームからハイビームへ切替える車間距離とが設定されている。
すなわち、ロウビームからハイビームへ切替える車間距離はハイビームからロウビームへ切替える車間距離よりも長く、一旦ハイビームからロウビームに切替えたときは、その後先行車が相当程度遠のくまではロウビームのままに保持される。これにより、ビーム切替え直後に車間距離がわずかに変動するたびにハイビームとロウビームの切換えが繰り返されてパッシング操作と混同されるという事態が防止される。
すなわち、ロウビームからハイビームへ切替える車間距離はハイビームからロウビームへ切替える車間距離よりも長く、一旦ハイビームからロウビームに切替えたときは、その後先行車が相当程度遠のくまではロウビームのままに保持される。これにより、ビーム切替え直後に車間距離がわずかに変動するたびにハイビームとロウビームの切換えが繰り返されてパッシング操作と混同されるという事態が防止される。
制御装置10についてさらに説明すると、カメラ2からの映像信号が映像信号デコーダ11を経て、フレームごとの画像データとして画像メモリ12に格納されると、画像前処理部13は画像メモリ12の画像データを白フィルタと赤フィルタでフィルタリングし、それぞれのフィルタ画像を画像処理制御部14に送る。
画像処理制御部14は、白のフィルタ画像からのヘッドランプ検出処理と、赤のフィルタ画像からのテールランプ検出処理とを並行して行い、検出したヘッドランプおよびテールランプの追跡を行う。
画像処理制御部14は、白のフィルタ画像からのヘッドランプ検出処理と、赤のフィルタ画像からのテールランプ検出処理とを並行して行い、検出したヘッドランプおよびテールランプの追跡を行う。
白のフィルタ画像からのヘッドランプ検出は従来と同様の処理で行うことができる。しかしテールランプについてはその輝度がヘッドランプより相当に低いため、その検出、追跡をとくに精度良く実現しなければならない。
本実施の形態ではとくにテールランプの検出態様が従来のものと異なるので、以下、テールランプ検出処理について詳細に説明する。
本実施の形態ではとくにテールランプの検出態様が従来のものと異なるので、以下、テールランプ検出処理について詳細に説明する。
テールランプに関して、フィルタリングに用いる赤フィルタには、第1赤フィルタと第2赤フィルタとが設定されている。
第1赤フィルタはRGB等の色空間においてテールランプの色に対応させて限定された狭い赤色範囲を通過範囲とするフィルタで、テールランプの赤色成分が高い輝度で抽出される。
一方、第2赤フィルタは色空間において広い赤色範囲を通過範囲とするフィルタで、1画素相当以下で背景と混ざって暗くなった赤成分まで抽出可能である。
第1赤フィルタはRGB等の色空間においてテールランプの色に対応させて限定された狭い赤色範囲を通過範囲とするフィルタで、テールランプの赤色成分が高い輝度で抽出される。
一方、第2赤フィルタは色空間において広い赤色範囲を通過範囲とするフィルタで、1画素相当以下で背景と混ざって暗くなった赤成分まで抽出可能である。
フィルタリングに際して、画像フレームW内には、図2に示すように、テールランプ検出エリアA1と追跡エリアA2が設定される。
テールランプ検出エリアA1は、カメラ2が車両前方真正面を撮像するとして、例えば、画像フレームWの画面中央から水平方向+−13°、垂直方向には水平線Sから上方0.5°、下方3°の範囲を設定してある。テールランプ検出エリアA1は画像メモリ12に記憶されている。
追跡エリアA2については後述する。
テールランプ検出エリアA1は、カメラ2が車両前方真正面を撮像するとして、例えば、画像フレームWの画面中央から水平方向+−13°、垂直方向には水平線Sから上方0.5°、下方3°の範囲を設定してある。テールランプ検出エリアA1は画像メモリ12に記憶されている。
追跡エリアA2については後述する。
ヘッドランプ切替装置1の起動時には、画像前処理部13は画像処理制御部14からの指令により、第1赤フィルタを用いる。
画像前処理部13は、映像信号デコーダ11を経て画像メモリ12に格納された画像データ(画像フレーム)からテールランプ検出エリアA1のデータを読み出して第1赤フィルタでフィルタリングし、所定の輝度値で2値化して、図3に拡大して示すような第1フィルタ画像F1とする。そして、赤色領域である画素の塊に対するラベリングを行い、各赤色領域ごとの縦横サイズ比H/Lを特徴データとして、第1フィルタ画像F1とともに画像処理制御部14へ送る。
画像前処理部13は、映像信号デコーダ11を経て画像メモリ12に格納された画像データ(画像フレーム)からテールランプ検出エリアA1のデータを読み出して第1赤フィルタでフィルタリングし、所定の輝度値で2値化して、図3に拡大して示すような第1フィルタ画像F1とする。そして、赤色領域である画素の塊に対するラベリングを行い、各赤色領域ごとの縦横サイズ比H/Lを特徴データとして、第1フィルタ画像F1とともに画像処理制御部14へ送る。
なお、ここで赤色領域とは、赤フィルタ(第1赤フィルタ、第2赤フィルタ)によるフィルタリング(および2値化)で抽出された画素あるいは画素の塊を指し、これが赤色物体に起因する意味で名付けており、各フィルタ画像における当該領域が赤色であることは意味しておらず、例えば白黒表示であってもよい。
画像処理制御部14は、テールランプ検出エリアA1の第1フィルタ画像(2値化画像)F1と特徴データを不図示の内蔵作業メモリに格納する。そして、その第1フィルタ画像F1からラベリングされている赤色領域R1、R2、R3のうち、横の長さLが縦の長さHよりも長い塊となった領域で面積が最も大きいものを抽出し、これをテールランプ候補Kとする。遠方にあり小さく映り込んだテールランプは、ハレーションによって左右のランプが一塊に撮像されるため横の長さLが縦の長さHよりも長い塊となる。
画像処理制御部14では所定数の画像フレームWの間、画像前処理部13から送られる各第1フィルタ画像F1に基づいて上記抽出を繰り返し、テールランプ候補Kの位置を内蔵作業メモリに順次記憶して、テールランプ候補の出現状況をチェックする。
画像処理制御部14では所定数の画像フレームWの間、画像前処理部13から送られる各第1フィルタ画像F1に基づいて上記抽出を繰り返し、テールランプ候補Kの位置を内蔵作業メモリに順次記憶して、テールランプ候補の出現状況をチェックする。
そして、所定の移動度範囲内で繰り返し出現するとき、当該テールランプ候補Kが先行車のテールランプTであると確定する。
テールランプ候補Kが繰り返し出現せず、あるいは所定の移動度範囲を越えて移動する場合には当該テールランプ候補はテールランプではないとして、画像処理制御部14は内蔵作業メモリからテールランプ候補の位置を削除する。そして、新たな画像フレームWで上記テールランプ候補の抽出とチェックを繰り返す。
テールランプ候補Kが繰り返し出現せず、あるいは所定の移動度範囲を越えて移動する場合には当該テールランプ候補はテールランプではないとして、画像処理制御部14は内蔵作業メモリからテールランプ候補の位置を削除する。そして、新たな画像フレームWで上記テールランプ候補の抽出とチェックを繰り返す。
こうしてテールランプTが検出(確定)されると、画像処理制御部14は画像前処理部13に対して追跡用のフィルタリングを行わせる。これに応じて画像前処理部13では、映像信号デコーダ11から画像メモリ12に格納された新たな画像データ(画像フレームW)について、図4に示すような検出(確定)されたテールランプTを囲む追跡エリアA2を第2赤フィルタでフィルタリングして第2フィルタ画像F2(後掲の図5の画像形状と同等であるため同図に括弧で示す)とする。
追跡エリアA2では第2赤フィルタが用いられるので、テールランプTの大きさが1画素よりも小さくなり背景と混ざり合って暗くなるような距離に先行車が遠ざかっても確実にそのテールランプTを捕捉することができる。
追跡エリアA2では第2赤フィルタが用いられるので、テールランプTの大きさが1画素よりも小さくなり背景と混ざり合って暗くなるような距離に先行車が遠ざかっても確実にそのテールランプTを捕捉することができる。
追跡エリアA2のサイズは固定で、例えばハイビームからロウビームへの切替え車間距離時のテールランプの大きさを基準としてその周囲に数画素程度のスペースを設けたサイズとする。
追跡エリアA2は、図5に示すように、検出されたテールランプTの重心Gに追跡エリアA2の中心が合致するように、画像処理制御部14がその位置を算出する。
こうして算出された追跡エリアA2について画像前処理部13がフィルタリングすることになるが、先行車が移動していると、新たな画像データにおける追跡エリアA2の第2フィルタ画像F2では、テールランプTの重心位置が第2フィルタ画像(追跡エリアA2)の中心からずれる。そこで画像処理制御部14では再び、テールランプTの重心Gに追跡エリアA2の中心が合致するように、追跡エリアA2の位置を算出する。
これが繰り返されることにより、追跡エリアA2はテールランプTの移動に伴って画像フレームW内を移動することになる。
追跡エリアA2は、図5に示すように、検出されたテールランプTの重心Gに追跡エリアA2の中心が合致するように、画像処理制御部14がその位置を算出する。
こうして算出された追跡エリアA2について画像前処理部13がフィルタリングすることになるが、先行車が移動していると、新たな画像データにおける追跡エリアA2の第2フィルタ画像F2では、テールランプTの重心位置が第2フィルタ画像(追跡エリアA2)の中心からずれる。そこで画像処理制御部14では再び、テールランプTの重心Gに追跡エリアA2の中心が合致するように、追跡エリアA2の位置を算出する。
これが繰り返されることにより、追跡エリアA2はテールランプTの移動に伴って画像フレームW内を移動することになる。
一方、追跡エリアA2の移動範囲はあらかじめ設定された追跡可能エリアB内に限定される。
追跡可能エリアBは、図2に示すように、その範囲内にテールランプ検出エリアA1を含み、水平方向には画像フレームWの左右全幅にわたる一方、垂直方向には水平線Sよりわずか上方から画像フレームWの下辺近傍までの領域となっている。これは、遠方にある先行車は水平線S近傍に撮像され、接近するほど画面下方に広がって撮像されるのに対応させたもので、水平線Sより上方は所定高さまでに限定されているので、街灯Zなどの誤検出が排除される。
追跡可能エリアBは画像メモリ12に記憶されている。追跡エリアA2が完全に追跡可能エリアB外になるときは、画像前処理部13は画像データを読み出さない。したがってテールランプTが検出されず、第2フィルタ画像が得られないため、追跡エリアA2の位置も算出されない。
追跡可能エリアBは、図2に示すように、その範囲内にテールランプ検出エリアA1を含み、水平方向には画像フレームWの左右全幅にわたる一方、垂直方向には水平線Sよりわずか上方から画像フレームWの下辺近傍までの領域となっている。これは、遠方にある先行車は水平線S近傍に撮像され、接近するほど画面下方に広がって撮像されるのに対応させたもので、水平線Sより上方は所定高さまでに限定されているので、街灯Zなどの誤検出が排除される。
追跡可能エリアBは画像メモリ12に記憶されている。追跡エリアA2が完全に追跡可能エリアB外になるときは、画像前処理部13は画像データを読み出さない。したがってテールランプTが検出されず、第2フィルタ画像が得られないため、追跡エリアA2の位置も算出されない。
追跡エリアA2の位置は画像処理制御部14の内蔵作業メモリに記憶される。内蔵作業メモリ内の追跡エリアA2の位置は新たな第2フィルタ画像F2が画像処理制御部14に入力されるごとに算出されて更新されていくが、新たな位置が算出されないときは最後に更新された追跡エリアA2の位置が直ちにクリアされず、数秒間保持されるようになっている。これはカーブなどで見失ったりして追跡エリアA2におけるテールランプTの検出が失敗したときに発生する。
そしてこの数秒間内に映像信号デコーダ11から入力される新たな画像データに基づいて、同じ追跡エリアA2内に第2赤フィルタによってテールランプTが検出されれば、その追跡を続行する。
そしてこの数秒間内に映像信号デコーダ11から入力される新たな画像データに基づいて、同じ追跡エリアA2内に第2赤フィルタによってテールランプTが検出されれば、その追跡を続行する。
検出失敗時点の追跡エリアA2が内蔵作業メモリに保持されている間に同じ追跡エリアA2内にテールランプが検出されなかったときは、画像処理制御部14は画像前処理部13に指令して、あらためてテールランプ検出エリアA1について第1赤フィルタによるフィルタリングを行わせて、テールランプ検出エリアA1からのテールランプ検出に戻る。
画像処理制御部14は、カメラ設置位置の路面からの高さとテールランプTの位置に基づく俯角から先行車までの車間距離を求め、ハイビームからロウビームへの切替えおよびロウビームからハイビームへの切替えの各基準の車間距離と比較して、先行車との車間距離が基準の車間距離になったときにビーム切替指令をビーム切替部15へ出力する。
図6、図7は制御装置10における上述したテールランプ検出処理の流れを示すフローチャートである。
ヘッドランプ切替装置1が起動すると、所定のタイミングでカメラ2からの映像信号が取り込まれ、映像信号デコーダ11を経て画像データが画像メモリ12に順次格納、更新される。
まずステップ100において、画像前処理部13が画像メモリ12に格納されている画像データからテールランプ検出エリアA1の画像データを読み出し、これを第1赤フィルタによりフィルタリングおよび2値化して第1フィルタ画像F1を生成する。
ヘッドランプ切替装置1が起動すると、所定のタイミングでカメラ2からの映像信号が取り込まれ、映像信号デコーダ11を経て画像データが画像メモリ12に順次格納、更新される。
まずステップ100において、画像前処理部13が画像メモリ12に格納されている画像データからテールランプ検出エリアA1の画像データを読み出し、これを第1赤フィルタによりフィルタリングおよび2値化して第1フィルタ画像F1を生成する。
ステップ101では、画像前処理部13が第1フィルタ画像F1における赤色領域の縦横サイズ比を算出して特徴データとし、第1フィルタ画像F1とともに画像処理制御部14へ送る。
ステップ102において、画像処理制御部14では、第1フィルタ画像F1からテールランプ候補Kを抽出する。
ここでは、第1フィルタ画像F1中の面積が最大の赤色領域について、特徴データに基づき縦の長さより横の長さが大きいかどうかをチェックして、縦の長さより横の長さが大きいときは当該赤色領域をテールランプ候補Kとする。面積が最大の赤色領域の横の長さが縦の長さより大きくないときは、面積が次に大きい赤色領域について、同様のチェックを繰り返して、テールランプ候補Kを抽出する。
ステップ102において、画像処理制御部14では、第1フィルタ画像F1からテールランプ候補Kを抽出する。
ここでは、第1フィルタ画像F1中の面積が最大の赤色領域について、特徴データに基づき縦の長さより横の長さが大きいかどうかをチェックして、縦の長さより横の長さが大きいときは当該赤色領域をテールランプ候補Kとする。面積が最大の赤色領域の横の長さが縦の長さより大きくないときは、面積が次に大きい赤色領域について、同様のチェックを繰り返して、テールランプ候補Kを抽出する。
ステップ103では、画像処理制御部14はテールランプ候補Kが抽出できたかをチェックする。
テールランプ候補が抽出できていないときは、ステップ100へ戻り、次の画像データを用いて上記処理を繰り返す。
テールランプ候補Kが抽出されたときは、ステップ104へ進み、画像処理制御部14はテールランプ候補Kの重心位置を算出して、内蔵作業メモリに格納する。
テールランプ候補が抽出できていないときは、ステップ100へ戻り、次の画像データを用いて上記処理を繰り返す。
テールランプ候補Kが抽出されたときは、ステップ104へ進み、画像処理制御部14はテールランプ候補Kの重心位置を算出して、内蔵作業メモリに格納する。
そして、ステップ105において、画像処理制御部14はテールランプ候補Kの重心位置がほぼ同じ位置に連続して所定数蓄積されたかをチェックする。
重心位置が連続して所定数蓄積されずテールランプ候補が消滅してしまった場合は、テールランプではないとして、内蔵作業メモリに記憶された重心位置を削除した上、ステップ100へ戻る。
重心位置が連続して所定数蓄積されずテールランプ候補が消滅してしまった場合は、テールランプではないとして、内蔵作業メモリに記憶された重心位置を削除した上、ステップ100へ戻る。
重心位置が連続して所定数蓄積された場合は、ステップ106へ進み、その変位が基準の移動度範囲であるかどうかをチェックする。
移動度は画像フレームW間における重心位置の変位量の移動平均で、上限値を画像フレームW内の位置に応じてあらかじめ設定してある。例えば、画像フレームWの周辺部に撮像されているテールランプ(車両)は中央に撮像されている場合よりも接近していると考えられるので、基準の移動度は大きく設定される。
移動度は画像フレームW間における重心位置の変位量の移動平均で、上限値を画像フレームW内の位置に応じてあらかじめ設定してある。例えば、画像フレームWの周辺部に撮像されているテールランプ(車両)は中央に撮像されている場合よりも接近していると考えられるので、基準の移動度は大きく設定される。
テールランプ候補Kの所定フレーム分蓄積された重心位置の変位が小さくて基準の移動度範囲内であるときは、当該テールランプ候補KがテールランプTであると確定して、内蔵作業メモリに記憶された重心位置を削除した上、ステップ107へ進む。
重心位置の変位が基準の移動度範囲を越える場合は、テールランプではないとして、内蔵作業メモリに記憶された重心位置を削除した上、ステップ100へ戻る。
重心位置の変位が基準の移動度範囲を越える場合は、テールランプではないとして、内蔵作業メモリに記憶された重心位置を削除した上、ステップ100へ戻る。
ステップ107では、画像処理制御部14は、テールランプTの重心G位置に追跡エリアA2の中心を合致させたときの、画像フレームW上の当該追跡エリアA2の位置(例えば中心位置)を算出して内蔵作業メモリに記憶するとともに、画像前処理部13へ通知する。追跡エリアA2の位置の通知は第1赤フィルタから第2赤フィルタへフィルタを切替える指令となる。
ステップ108において、画像前処理部13は、画像処理制御部14から通知された追跡エリアA2の位置に基づいて、画像メモリ12からこの追跡エリアA2の新たな画像データを読み出して、第2赤フィルタによりフィルタリングおよび2値化して第2フィルタ画像F2を生成し、この第2フィルタ画像F2を画像処理制御部14へ送る。
ステップ109では、画像処理制御部14において、追跡エリアA2の第2フィルタ画像F2からテールランプを検出する。第2フィルタ画像F2に赤色領域が存在すれば、それをテールランプTとする。
ステップ110において、画像処理制御部14はテールランプTが検出できたかをチェックする。
追跡エリアA2にテールランプTが検出できたときはステップ111へ進み、検出できないときはステップ112へ進む。
ステップ110において、画像処理制御部14はテールランプTが検出できたかをチェックする。
追跡エリアA2にテールランプTが検出できたときはステップ111へ進み、検出できないときはステップ112へ進む。
ステップ111では、画像処理制御部14は、第2フィルタ画像F2に現れているテールランプTの重心Gを求め、その重心位置に中心を合致させた新たな追跡エリアA2の画像フレームW上の位置を算出する。そして、この新たな追跡エリアA2の位置を画像前処理部13へ通知するとともに、内蔵作業メモリの追跡エリアA2の位置を更新してステップ108へ戻る。
こうしてステップ108〜111が繰り返されることにより、テールランプTの追跡が継続される。
こうしてステップ108〜111が繰り返されることにより、テールランプTの追跡が継続される。
ステップ112では、内蔵作業メモリに追跡エリアA2の位置が保持されているかどうかをチェックする。
内蔵作業メモリに追跡エリアA2の位置が保持されているときは、当該保持されている追跡エリアA2の位置を画像前処理部13へ通知して、ステップ108へ戻る。
この場合、追跡エリアA2の第2フィルタ画像F2にテールランプTが検出されれば、ステップ110からステップ111へ進むことになるので、追跡途中でテールランプを見失っても数秒間のうちに追跡エリアA2にテールランプTが現れれば追跡を続行することができる。
内蔵作業メモリに追跡エリアA2の位置が保持されているときは、当該保持されている追跡エリアA2の位置を画像前処理部13へ通知して、ステップ108へ戻る。
この場合、追跡エリアA2の第2フィルタ画像F2にテールランプTが検出されれば、ステップ110からステップ111へ進むことになるので、追跡途中でテールランプを見失っても数秒間のうちに追跡エリアA2にテールランプTが現れれば追跡を続行することができる。
一方、内蔵作業メモリにおける数秒間の保持期間が過ぎて、追跡エリアA2の位置が保持されていないときは、ステップ100に戻る。この場合には、再度、テールランプ検出エリアA1からのテールランプ検出が行われる。
なお、画像処理制御部14は、テールランプ候補KがテールランプTであると確定した後は、追跡エリアA2の位置を画像前処理部13へ通知するのと併せて、カメラ設置位置の路面からの高さとテールランプTの重心の位置に基づいて先行車までの車間距離を求め、基準の車間距離と比較してビーム切替指令をビーム切替部15へ出力する。
なお、画像処理制御部14は、テールランプ候補KがテールランプTであると確定した後は、追跡エリアA2の位置を画像前処理部13へ通知するのと併せて、カメラ設置位置の路面からの高さとテールランプTの重心の位置に基づいて先行車までの車間距離を求め、基準の車間距離と比較してビーム切替指令をビーム切替部15へ出力する。
本実施の形態では、第1赤フィルタが発明における第1のフィルタに該当し、第2赤フィルタが第2のフィルタに該当する。
また、図6のフローチャートにおける、ステップ100および108がフィルタ画像生成手段を構成し、ステップ102〜106がテールランプ検出手段を、そしてステップ107および109〜112がテールランプ追跡手段を構成している。
また、図6のフローチャートにおける、ステップ100および108がフィルタ画像生成手段を構成し、ステップ102〜106がテールランプ検出手段を、そしてステップ107および109〜112がテールランプ追跡手段を構成している。
本実施の形態は以上のように構成され、カメラ2からの映像による画像データを、画像前処理部13でテールランプの色に対応させた赤色範囲の狭い第1のフィルタと第1のフィルタよりも赤色範囲の広い第2のフィルタでフィルタリングおよび2値化してそれぞれ第1フィルタ画像F1と第2フィルタ画像F2を生成し、画像処理制御部14において、第1フィルタ画像F1から抽出された赤色領域に基づいて、車両前方に位置する先行車のテールランプTを検出するとともに、一旦テールランプが検出されると、このテールランプTを第2フィルタ画像F2により追跡するものとした。
第1フィルタ画像F1においては第1のフィルタの赤色範囲が狭いため、テールランプと同等の色をもつ物体のみが画素の塊の赤色領域として効率よく確実に抽出され、その中から赤色領域の形状特徴に基づいて判断するので、カメラ2の画素構成を小さくしたときハレーションによって左右のテールランプ間が埋まり抽出領域が一塊となっても、精度良く先行車のテールランプTを検出することができる。
そして、追跡に用いる第2フィルタ画像F2は第2のフィルタの赤色範囲が広いため、車間距離が開いて撮像されたテールランプTが背景と混ざり合って例えば明赤色から暗赤色などに変化しても、確実に追跡を継続(認識)することができる。
第1フィルタ画像F1においては第1のフィルタの赤色範囲が狭いため、テールランプと同等の色をもつ物体のみが画素の塊の赤色領域として効率よく確実に抽出され、その中から赤色領域の形状特徴に基づいて判断するので、カメラ2の画素構成を小さくしたときハレーションによって左右のテールランプ間が埋まり抽出領域が一塊となっても、精度良く先行車のテールランプTを検出することができる。
そして、追跡に用いる第2フィルタ画像F2は第2のフィルタの赤色範囲が広いため、車間距離が開いて撮像されたテールランプTが背景と混ざり合って例えば明赤色から暗赤色などに変化しても、確実に追跡を継続(認識)することができる。
第1フィルタ画像F1からのテールランプ検出は、とくに、第1フィルタ画像F1から赤色領域の形状特徴に基づいてまずテールランプ候補Kを抽出し、それが連続して所定回数抽出されるとともに所定の移動度範囲にあるとき、当該テールランプ候補KをテールランプTと確定するので、形状特徴に基づく判断でも誤検出を防止して精度良くテールランプを検出する。
第1フィルタ画像F1はカメラ2の撮像範囲内の水平線S近傍に限定されたテールランプ検出エリアA1をフィルタリングして生成するので、テールランプ検出における画像処理の負担が小さくて済み、処理時間も短い。
また、第2フィルタ画像F2もテールランプ検出エリアA1よりも狭い固定形状に設定された追跡エリアA2をフィルタリングして生成するので、一層画像処理の負担が少なくて済み、高い応答性によって高精度の追跡が行える。
また、第2フィルタ画像F2もテールランプ検出エリアA1よりも狭い固定形状に設定された追跡エリアA2をフィルタリングして生成するので、一層画像処理の負担が少なくて済み、高い応答性によって高精度の追跡が行える。
なお、上記実施の形態では、第1、第2のフィルタ画像F1、F2や特徴データを画像前処理部13から直接画像処理制御部14に受けて、その内蔵作業メモリに格納し、テールランプの検出処理を行うものとしたが、第1、第2のフィルタ画像や特徴データは画像前処理部13から一旦画像メモリ12に格納して、画像処理制御部14はこれらを画像メモリ12から読み出して処理を行なうようにしてもよい。
また、実施の形態では、ヘッドランプ3の広い照射エリアを画素構成の小さいカメラ2で撮像する場合を前提として、テールランプ検出エリアA1からテールランプを検出する際に赤色領域の縦横サイズ比の形状特徴に基づいて候補を抽出し、テールランプを確定検出するものとしたが、相対的にヘッドランプの照射エリアが狭く、あるいはカメラの画素構成に余裕がある場合には、形状特徴として横方向に間隔を置いた一対の赤色領域を探索してテールランプを検出するようにしてもよい。
また、車両のヘッドランプ切替装置に適用した例について説明したが、本発明はこれに限定されず、テールランプの検出結果は種々の用途に利用可能である。
また、車両のヘッドランプ切替装置に適用した例について説明したが、本発明はこれに限定されず、テールランプの検出結果は種々の用途に利用可能である。
1 ヘッドランプ切替装置
2 カメラ
3 ヘッドランプ
3a ハイビームユニット
3b ロウビームユニット
4 ライト切替スイッチ
5 警報器
10 制御装置
11 映像信号デコーダ
12 画像メモリ
13 画像前処理部
14 画像処理制御部
15 ビーム切替部
A1 テールランプ検出エリア
A2 追跡エリア
B 追跡可能エリア
F1 第1フィルタ画像
F2 第2フィルタ画像
K テールランプ候補
R1、R2、R3 赤色領域
S 水平線
T テールランプ
W 画像フレーム
Z 街灯
2 カメラ
3 ヘッドランプ
3a ハイビームユニット
3b ロウビームユニット
4 ライト切替スイッチ
5 警報器
10 制御装置
11 映像信号デコーダ
12 画像メモリ
13 画像前処理部
14 画像処理制御部
15 ビーム切替部
A1 テールランプ検出エリア
A2 追跡エリア
B 追跡可能エリア
F1 第1フィルタ画像
F2 第2フィルタ画像
K テールランプ候補
R1、R2、R3 赤色領域
S 水平線
T テールランプ
W 画像フレーム
Z 街灯
Claims (8)
- 車両の前方を撮像するカメラと、
カメラからの映像を、テールランプの色に対応させた色範囲の狭い第1のフィルタと第1のフィルタよりも色範囲の広い第2のフィルタでフィルタリングおよび2値化してそれぞれ第1フィルタ画像と第2フィルタ画像を生成するフィルタ画像生成手段と、
第1フィルタ画像から抽出される色領域に基づいて、車両前方に位置する先行車のテールランプを検出するテールランプ検出手段と、
テールランプ検出手段で検出されたテールランプを第2フィルタ画像により追跡するテールランプ追跡手段とを有することを特徴とする車両のテールランプ検出装置。 - 前記テールランプ検出手段は、第1フィルタ画像から色領域の形状特徴に基づいてまずテールランプ候補を抽出し、該テールランプ候補の色領域が連続して所定回数抽出されるとともに所定の移動度範囲にあるとき、当該テールランプ候補をテールランプと確定することを特徴とする請求項1に記載の車両のテールランプ検出装置。
- 前記フィルタ画像生成手段は、カメラの撮像範囲内の水平線近傍に限定されたテールランプ検出エリアをフィルタリングして前記第1フィルタ画像を生成するものであることを特徴とする請求項1または2に記載の車両のテールランプ検出装置。
- 前記フィルタ画像生成手段は、所定の追跡エリアをフィルタリングして前記第2フィルタ画像を生成し、
前記テールランプ追跡手段は、前記第2フィルタ画像内に検出されるテールランプの移動に対応させて前記追跡エリアの位置を追従させることを特徴とする請求項3に記載の車両のテールランプ検出装置。 - 前記追跡エリアは、前記テールランプ検出エリアよりも狭い固定形状に設定されていることを特徴とする請求項3または4に記載の車両のテールランプ検出装置。
- 車載のカメラで車両の前方を撮像し、
カメラからの映像を、まずテールランプの色に対応させた色範囲の狭い第1のフィルタでフィルタリングおよび2値化して第1フィルタ画像を生成し、
第1フィルタ画像から抽出される色領域に基づいて、車両前方に位置する先行車のテールランプを検出し、
その後は、第1のフィルタよりも色範囲の広い第2のフィルタでフィルタリングおよび2値化して第2フィルタ画像を生成して、
前記第1フィルタ画像に基づいて検出されたテールランプを第2フィルタ画像により追跡することを特徴とする車両のテールランプ検出方法。 - 前記第1フィルタ画像の生成は、カメラの撮像範囲内の水平線近傍に設定したテールランプ検出エリアに限定し、
前記第2フィルタ画像の生成は、前記テールランプ検出エリアよりも狭い追跡エリアに限定し、
該追跡エリアの位置は、前記第2フィルタ画像内に検出されるテールランプの重心に当該追跡エリアの中心を合致させることを繰り返して設定し、テールランプの移動に追従させることを特徴とする請求項6に記載の車両のテールランプ検出方法。 - 前記第1フィルタ画像から色領域の形状特徴に基づいて車両前方に位置する先行車のテールランプを検出し、該テールランプの色領域が連続して所定回数抽出されるとともに所定の移動度範囲にあるとき、当該テールランプ候補をテールランプと確定することを特徴とする請求項6に記載の車両のテールランプ検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009252590A JP2011098579A (ja) | 2009-11-04 | 2009-11-04 | 車両のテールランプ検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009252590A JP2011098579A (ja) | 2009-11-04 | 2009-11-04 | 車両のテールランプ検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011098579A true JP2011098579A (ja) | 2011-05-19 |
Family
ID=44190143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009252590A Withdrawn JP2011098579A (ja) | 2009-11-04 | 2009-11-04 | 車両のテールランプ検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011098579A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013168744A1 (ja) * | 2012-05-09 | 2013-11-14 | 株式会社デンソー | 車両の光源を検出する方法及び装置 |
KR101338058B1 (ko) | 2008-09-23 | 2013-12-06 | 현대자동차주식회사 | 차량의 전방 영상을 이용하는 도로상 요철 검출 시스템 |
JP2014517396A (ja) * | 2011-05-26 | 2014-07-17 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 前方を走行中の車両の後方ランプ類を認識することによる周辺情報の演繹方法 |
-
2009
- 2009-11-04 JP JP2009252590A patent/JP2011098579A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101338058B1 (ko) | 2008-09-23 | 2013-12-06 | 현대자동차주식회사 | 차량의 전방 영상을 이용하는 도로상 요철 검출 시스템 |
JP2014517396A (ja) * | 2011-05-26 | 2014-07-17 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 前方を走行中の車両の後方ランプ類を認識することによる周辺情報の演繹方法 |
WO2013168744A1 (ja) * | 2012-05-09 | 2013-11-14 | 株式会社デンソー | 車両の光源を検出する方法及び装置 |
JP2013235436A (ja) * | 2012-05-09 | 2013-11-21 | Denso Corp | 車両光源検出装置および車両光源検出プログラム |
US9977974B2 (en) | 2012-05-09 | 2018-05-22 | Denso Corporation | Method and apparatus for detecting light source of vehicle |
US10839235B2 (en) | 2012-05-09 | 2020-11-17 | Denso Corporation | Method and apparatus for detecting light source of vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10880471B2 (en) | Building night vision and other driver assistance systems (DAS) using near infra-red (NIR) illumination and rolling shutter | |
US7839303B2 (en) | Vehicle detecting apparatus | |
JP4496964B2 (ja) | 車両用トンネル検出装置および車両用ライト制御装置 | |
JP5846872B2 (ja) | 画像処理装置 | |
US7566851B2 (en) | Headlight, taillight and streetlight detection | |
JP4253271B2 (ja) | 画像処理システム及び車両制御システム | |
JP4853160B2 (ja) | 車両検出装置及びヘッドランプ制御装置 | |
JP4253275B2 (ja) | 車両制御システム | |
TWI302879B (en) | Real-time nighttime vehicle detection and recognition system based on computer vision | |
EP1962226B1 (en) | Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps | |
JP2009061812A (ja) | 配光等の自動車の制御装置 | |
JP2007096684A (ja) | 車外環境認識装置 | |
JP2011098579A (ja) | 車両のテールランプ検出装置 | |
JP2013025568A (ja) | 接近障害物検出装置及びプログラム | |
JP2003267125A (ja) | 前照灯照射範囲制御方法及び前照灯装置 | |
JP5547580B2 (ja) | 撮像カメラ及びこれを用いた車両検出装置とランプ制御装置 | |
JP2013101432A (ja) | 障害物検出装置及びプログラム | |
JP2023007604A (ja) | 信号認識装置 | |
US11167687B2 (en) | Object detection system | |
JP2018182540A (ja) | 表示制御装置、表示制御方法及びカメラモニタリングシステム | |
JP2017068768A (ja) | 車両検知警報装置および車両検知警報方法 | |
KR101265250B1 (ko) | 헤드 램프의 엘보점 검출 장치 및 방법 | |
JP2004320137A (ja) | 車両側方監視装置 | |
JPH09282448A (ja) | 車両認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130108 |