JP2007257300A - 信号機認識装置 - Google Patents

Abstract

【課題】車両の灯火と区別して信号機を的確に認識する。
【解決手段】信号機判定部２９は、先行車両が減速状態であって、先行車両の制動灯が点灯状態である場合であっても、自車両から先行車両までの距離が、自車両から円形状までの距離（水平距離Ｌｄｉｓｔ）よりも小さい場合には、赤色灯火状態の信号機が自車両の進行方向前方に検出されたと判定する。信号機判定部２９は、夜間時に対向車両の車幅灯や先行車両の尾灯等が点灯状態である場合であっても、自車両から対向車両または先行車両までの距離が、自車両から円形状までの距離（水平距離Ｌｄｉｓｔ）よりも小さい場合には、赤色灯火状態の信号機が自車両の進行方向前方に検出されたと判定する。
【選択図】図１

Description

この発明は、信号機認識装置に関する。

従来、例えばカメラの撮影により得られた画像から交差点の存在を検出した場合、この画像上において交差点の斜め上方に探索領域を設定して、この探索領域において信号機と同等の外形形状および色彩を有する対象物を探索する車両用標識認識装置が知られている（例えば、特許文献１参照）。
特許第２５７０３７８号公報 （第４頁、第７−８図）

しかしながら、上記従来技術の一例に係る車両用標識認識装置においては、例えば大型車両等のように相対的に高い位置に車両の灯体（例えば、制動灯や車幅灯や尾灯等）が設置された先行車両や対向車両が存在する場合に、これらの車両の灯体の点灯状態と、信号機の灯火とを的確に区別して認識することが困難となる虞がある。
本発明は、上記記事情に鑑みてなされたもので、車両の灯火と区別して信号機を的確に認識することが可能な信号機認識装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の信号機認識装置は、信号機の存在が予測される領域を撮影する撮影手段（例えば、実施の形態での外界カメラ１４）と、該撮影手段により撮影された画像に基づき前記信号機を認識する信号機認識手段（例えば、実施の形態での信号機判定部２９）とを備える信号機認識装置であって、前記撮影手段の撮影方向の車両を検知する車両検知手段（例えば、実施の形態での他車両検出部２７）と、前記撮影手段により撮影された画像中の灯火を認識する灯火認識手段（例えば、実施の形態での円形状抽出部２４）とを備え、前記信号機認識手段は、前記車両検知手段により前記車両が検知されたときに、該車両の灯火を、前記灯火認識手段により認識された前記灯火から除外して、前記信号機を認識することを特徴としている。

上記の信号機認識装置によれば、撮影手段の撮影により得られた画像上において、信号機が存在すると予測される領域に、例えば車両の制動灯や車幅灯や尾灯等の車両の灯火が存在する場合であっても、これらの車両の灯火と、信号機の灯火とを混同すること無しに、信号機を適切に認識することができる。

さらに、請求項２に記載の本発明の信号機認識装置は、前記車両検知手段により検知された前記車両までの距離を算出する距離算出手段（例えば、実施の形態での他車両検出部２７が兼ねる）と、前記灯火認識手段により認識された前記灯火までの距離を算出する灯火距離算出手段（例えば、実施の形態での距離算出部２５）とを備え、前記信号機認識手段は、前記車両までの距離と、前記灯火までの距離との比較結果に基づき、前記車両の灯火を前記灯火認識手段により認識された前記灯火から除外することを特徴としている。

上記の信号機認識装置によれば、灯火認識手段により認識された灯火までの距離を、車両までの距離と比較することにより、灯火認識手段により認識された灯火が、車両の灯体の点灯状態である可能性があるか否かを判定することができ、灯火認識手段により認識された灯火から車両の灯体の可能性を有する灯火を適切に除外することができる。

さらに、請求項３に記載の本発明の信号機認識装置では、前記信号機認識手段は、前記車両までの距離と同等の距離を有する前記灯火を、前記車両の灯火であると認識することを特徴としている。

上記の信号機認識装置によれば、車両までの距離と同等の距離を有する灯火は、点灯状態の車両の灯体である可能性が高いことから、この灯火を灯火認識手段により認識された灯火から除外することにより、信号機の灯火を適切に認識することができる。

さらに、請求項４に記載の本発明の信号機認識装置は、前記車両検知手段により検知された前記車両の灯体の点灯状態を検知する灯体点灯検知手段（例えば、実施の形態での車両灯火検出部２８）を備え、前記信号機認識手段は、前記灯体点灯検知手段により前記車両の前記灯体が点灯していると検知された場合に、前記車両の灯火を前記灯火認識手段により認識された前記灯火から除外することを特徴としている。

上記の信号機認識装置によれば、例えば車両の灯体が点灯状態（例えば、車両の減速中や夜間等）であって、車両までの距離と灯火までの距離とが同程度である場合には、灯火認識手段により車両の灯火が認識されたと判断することができる。これにより、灯火認識手段により認識された灯火から車両の灯火を適切に除外することができる。

さらに、請求項５に記載の本発明の信号機認識装置では、前記灯火認識手段は、円形状の前記灯火を認識することを特徴としている。

上記の信号機認識装置によれば、円形状の灯火を認識することにより、少なくとも信号機の灯火を適切に認識することができる。

さらに、請求項６に記載の本発明の信号機認識装置では、前記灯火認識手段は、赤色または所定輝度以上の前記円形状の前記灯火を認識することを特徴としている。

上記の信号機認識装置によれば、赤色または所定輝度以上の円形状の灯火を認識することにより、少なくとも信号機の赤色灯火あるいは信号機の各灯体のうちの点灯中の灯体を認識することができる。

さらに、請求項７に記載の本発明の信号機認識装置では、前記灯火認識手段は、所定真円度以上の前記円形状の前記灯火を認識することを特徴としている。

上記の信号機認識装置によれば、所定真円度以上の円形状の灯火を認識することにより、信号機の各灯火を適切に認識することができる。

さらに、請求項８に記載の本発明の信号機認識装置では、前記灯火距離算出手段は、予め設定された信号機の灯火部分の径および前記撮影手段に対して抽出された円形状が成す視角とに基づき、前記灯火までの前記距離を算出することを特徴としている。

上記の信号機認識装置によれば、予め設定された信号機の灯火部分の径と、撮影手段に対して抽出された円形状が成す視角とにより、灯火までの距離を幾何学的に精度良く算出することができる。

さらに、請求項９に記載の本発明の信号機認識装置は、前記灯火認識手段により認識された前記灯火の地上高を算出する地上高算出手段（例えば、実施の形態での高さ算出部２６）を備え、前記信号機認識手段は、前記地上高算出手段により算出された前記地上高に基づいて、前記車両の灯火を前記灯火認識手段により認識された前記灯火から除外することを特徴としている。

上記の信号機認識装置によれば、灯火認識手段により認識された灯火の地上高を算出することにより、地上高が異なる信号機の灯火と車両の灯火とを適切に区別することができ、灯火認識手段により認識された灯火から車両の灯火を適切に除外することができる。

さらに、請求項１０に記載の本発明の信号機認識装置では、前記地上高算出手段は、前記撮影手段の地上高（例えば、実施の形態での地上高Ｈｃａｍｅｒａ）と、前記灯火認識手段により認識された前記灯火までの距離（例えば、実施の形態での水平距離Ｌｄｉｓｔ）と、前記撮影手段に対する前記灯火認識手段により認識された前記灯火の仰角（例えば、実施の形態での仰角ＡＥ）とに基づき、前記灯火認識手段により認識された前記灯火の地上高を算出することを特徴としている。

上記の信号機認識装置によれば、撮影手段の地上高と、灯火認識手段により認識された灯火までの距離と、撮影手段に対する灯火認識手段により認識された灯火の仰角とにより、灯火の地上高を幾何学的に精度良く算出することができる。

さらに、請求項１１に記載の本発明の信号機認識装置では、前記信号機認識手段は、前記地上高算出手段により算出された前記灯火の前記地上高が所定値（例えば、実施の形態での所定の基準高さＨｐ）以下の場合に、前記灯火を信号機であると認識することを禁止することを特徴としている。

上記の信号機認識装置によれば、灯火の地上高が、例えば信号機の設置に対する所定の基準高さ以下である場合には、この灯火は信号機の灯火ではないと判断することができ、信号機よりも地上高が低い車両の灯体等の信号機以外の灯火を、灯火認識手段により認識された灯火から適切に除外することができる。

さらに、請求項１２に記載の本発明の信号機認識装置は、交差点の存在を認知する交差点認知手段（例えば、実施の形態での交差点認知部２１）を備え、前記信号機認識手段は、前記交差点認知手段により認知された前記交差点が前記撮影手段の撮影領域に含まれる場合に、前記撮影手段により撮影された画像に基づき前記信号機を認識することを特徴としている。

上記の信号機認識装置によれば、信号機は交差点周辺に設置されることから、信号機が存在すると予測される領域に交差点が含まれ、かつ、灯火認識手段により認識された灯火から車両の灯火を除外することにより、信号機を適切に認識することができる。

さらに、請求項１３に記載の本発明の信号機認識装置は、前記交差点までの距離を算出する交差点距離算出手段（例えば、実施の形態での交差点距離算出部２２）を備え、前記信号機認識手段は、前記灯火認識手段により認識された前記灯火までの距離が、前記交差点距離算出手段により算出された前記交差点までの距離よりも、所定値（例えば、実施の形態での（Ｗｉｄｔｈ／２））以上長い場合に、前記灯火を信号機であると認識することを特徴としている。

上記の信号機認識装置によれば、信号機の設置位置は、例えば交差点までの距離（例えば、交差点の中心位置までの距離等）に所定値以上の距離を加算して得た位置等に設定されることから、信号機を適切に認識することができる。

以上説明したように、本発明の信号機認識装置によれば、信号機が存在すると予測される領域に車両の灯火が存在する場合であっても、車両の灯火と、信号機の灯火とを混同すること無しに、信号機を適切に認識することができる。
さらに、請求項２に記載の本発明の信号機認識装置によれば、灯火までの距離を、車両までの距離と比較することにより、灯火認識手段により認識された灯火が、車両の灯火である可能性があるか否かを判定することができ、灯火認識手段により認識された灯火から車両の灯火の可能性を有する灯火を適切に除外することができる。

さらに、請求項３に記載の本発明の信号機認識装置によれば、車両までの距離と同等の距離を有する灯火は、点灯状態の車両の灯体である可能性が高いことから、この灯火を灯火認識手段により認識された灯火から除外することにより、信号機の灯火を適切に認識することができる。
さらに、請求項４に記載の本発明の信号機認識装置によれば、例えば車両の灯体が点灯状態（例えば、車両の減速中や夜間等）であって、車両までの距離と灯火までの距離とが同程度である場合には、灯火認識手段により車両の灯火が認識されたと判断することができる。これにより、灯火認識手段により認識された灯火から車両の灯火を適切に除外することができる。

さらに、請求項５に記載の本発明の信号機認識装置によれば、円形状の灯火を認識することにより、少なくとも信号機の灯火を適切に認識することができる。
さらに、請求項６に記載の本発明の信号機認識装置によれば、赤色または所定輝度以上の円形状の灯火を認識することにより、少なくとも信号機の赤色灯火あるいは信号機の各灯体のうちの点灯中の灯体を認識することができる。
さらに、請求項７に記載の本発明の信号機認識装置によれば、所定真円度以上の円形状の灯火を認識することにより、信号機の各灯火を適切に認識することができる。

さらに、請求項８に記載の本発明の信号機認識装置によれば、予め設定された信号機の灯火部分の径と、撮影手段に対して抽出された円形状が成す視角とにより、幾何学的に灯火までの距離を適切に算出することができる。
さらに、請求項９に記載の本発明の信号機認識装置によれば、灯火認識手段により認識された灯火の地上高を算出することにより、地上高が異なる信号機の灯火と車両の灯火とを適切に区別することができ、灯火認識手段により認識された灯火から車両の灯火を適切に除外することができる。

さらに、請求項１０に記載の本発明の信号機認識装置によれば、撮影手段の地上高と、灯火認識手段により認識された灯火までの距離と、撮影手段に対する灯火認識手段により認識された灯火の仰角とにより、幾何学的に灯火地上高を適切に算出することができる。
さらに、請求項１１に記載の本発明の信号機認識装置によれば、灯火の地上高が、例えば信号機の設置に対する所定の基準高さ等の所定値以下である場合には、この灯火は信号機の灯火ではないと判断することができ、信号機よりも地上高が低い車両の灯体等の信号機以外の灯火を、灯火認識手段により認識された灯火から適切に除外することができる。

さらに、請求項１２に記載の本発明の信号機認識装置によれば、信号機は交差点周辺に設置されることから、信号機が存在すると予測される領域に交差点が含まれ、かつ、灯火認識手段により認識された灯火から車両の灯火を除外することにより、信号機を適切に認識することができる。
さらに、請求項１３に記載の本発明の信号機認識装置によれば、信号機の設置位置は、例えば交差点までの距離（例えば、交差点の中心位置までの距離等）に所定値以上の距離を加算して得た位置等に設定されることから、信号機を適切に認識することができる。

以下、本発明の一実施形態に係る信号機認識装置について添付図面を参照しながら説明する。
本実施の形態による信号機認識装置１を具備する車両制御装置１０は、例えば図１に示すように、ナビゲーション装置１１と、地図データ記憶装置１２と、通信装置１３と、外界カメラ１４と、レーダ装置１５と、自車両状態センサ１６と、制動装置１７と、警報装置１８と、処理装置１９とを備えて構成されている。

ナビゲーション装置１１は、例えば人工衛星を利用して車両の位置を測定するためのＧＰＳ（Global Positioning System）信号等の測位信号あるいはジャイロセンサおよび加速度センサ等の各検出結果に基づいて自車両の現在位置および進行方向を検知し、この検知結果に基づき、地図データ記憶装置１２に格納された地図データに対してマップマッチングを行い、表示画面上での自車両の現在位置の表示位置を制御すると共に、検出された自車両の現在位置あるいは各種スイッチやキーボード等を介して操作者により入力された適宜の車両位置に対して、表示画面上での地図表示を制御する。

地図データ記憶装置１２は、ナビゲーション装置１１の表示画面上に地図を表示するための地図表示用のデータおよび自車両の現在位置に基づくマップマッチングの処理に必要とされる道路座標データに加えて、経路探索や経路誘導等の処理に必要とされるデータ、例えば交差点等の所定位置の緯度および経度からなる点であるノードと、各ノード間を結ぶ線であるリンクとの各データを地図データとして備えており、さらに、ノードおよびリンクには各種の情報が付加されている。
例えば図２に示すように、自車両Ａの進行方向前方の道路上に交差点が存在する場合、複数のノードＮ１，…，Ｎ４と、各ノードＮ１，…，Ｎ４間を接続するリンクＬ１，Ｌ２，Ｌ３とが設定されている。そして、例えば交差点の位置を示すノードＮ２に対しては、緯度および経度に加えて、信号機の有無や複数の道路の交差角度や形状等の交差点情報が付加され、各リンクＬ１，Ｌ２，Ｌ３には、道路種別（例えば、国道、県道、市道等）、道路幅員情報（例えば、幅員データ等）、道路構造情報（例えば、車線数等）が付加されている。

通信装置１３は、例えば自車両の外部の情報発信装置から発信される各種の情報（例えば、交差点の位置および交差点情報、道路種別、道路幅員情報、道路構造情報等）や、例えば先行車両や対向車両等の他車両との間の車車間通信により発信される各種の情報（例えば、他車両の走行状態や走行路に関する情報等）を受信する。

外界カメラ１４は、例えば可視光領域にて撮影可能なＣＣＤカメラやＣＭＯＳカメラ等のカメラおよび画像処理部を備えて構成され、例えば車室内に配置されたカメラはフロントウィンドウ越しに自車両の進行方向前方の所定検知範囲の外界（例えば、自車両の走行状態や外界の環境等に応じた所定距離よりも前方の領域であって、自車両の走行路の道路構造に応じて信号機が存在すると推定される位置周辺の領域等）を所定時間間隔で撮影する。そして、画像処理部は、カメラの撮影により得られた画像に対して、例えばフィルタリング等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して処理装置１９へ出力する。

レーダ装置１５は、例えばミリ波レーダ等のレーダおよびレーダ制御部が一体的に設けられて構成されている。レーダ制御部は、例えば自車両の進行方向前方に設定された検知対象領域を走査するようにしてレーダからミリ波の発信信号を発信させると共に、発信信号が物体によって反射されることで生じた反射信号をレーダにより受信させ、反射信号と発信信号とを混合してビート信号を生成して処理装置１９へ出力する。

自車両状態検センサ１６は、自車両の車両情報として、例えば自車両の速度（車速）を検出する車速センサや、ヨー角（車両重心の上下方向軸回りの回転角度）やヨーレート（車両重心の上下方向軸回りの回転角速度）を検出するヨーレートセンサや、操舵角（運転者が入力した操舵角度の方向と大きさ）や操舵角に応じた実舵角（転舵角）を検出する舵角センサや、車両の灯体（例えば、制動灯や車幅灯や尾灯等）の点灯状態や、方向指示器やブレーキのオン／オフ状態を検知する各センサ等を備えて構成されている。

制動装置１７は、例えばブレーキ制御装置や変速制御装置やエンジン出力制御装置等であって、処理装置１９から入力される制御信号に応じて、例えばブレーキ液圧や変速比やエンジン出力等を制御して自車両に制動力を作用させる。
警報装置１８は、例えば、触覚的伝達装置と、視覚的伝達装置と、聴覚的伝達装置とを備えて構成されている。
触覚的伝達装置は、例えばシートベルト装置や操舵制御装置等であって、処理装置１９から入力される制御信号に応じて、例えばシートベルトに所定の張力を発生させて自車両の乗員が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに自車両の運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させることによって、交差点での自車両の停止の必要性を乗員に認識させる。
視覚的伝達装置は、例えば表示装置等であって、処理装置１９から入力される制御信号に応じて、例えば表示装置に所定の警報情報を表示したり、所定の警報灯を点滅させることによって、交差点での自車両の停止の必要性を乗員に認識させる。
聴覚的伝達装置は、例えばスピーカ等であって、処理装置１９から入力される制御信号に応じて所定の警報音や音声等を出力することによって、交差点での自車両の停止の必要性を乗員に認識させる。

処理装置１９は、例えば交差点認知部２１と、交差点距離算出部２２と、色情報抽出部２３と、円形状抽出部２４と、距離算出部２５と、高さ算出部２６と、他車両検出部２７と、車両灯火検出部２８と、信号機判定部２９と、走行制御部３０とを備えて構成されている。

交差点認知部２１は、ナビゲーション装置１１により検出された自車両の現在位置および進行方向と、地図データ記憶装置１２に格納された地図データまたは通信装置１３により受信された各種の情報とに基づき、自車両の進行方向に交差点が存在することを認知する。さらに、交差点認知部２１は、存在を認知した交差点に対する交差点情報に基づき、交差点に信号機が存在するか否かを判定する。
交差点距離算出部２２は、交差点認知部２１により認知した自車両の前方の交差点と自車両との間の距離を算出する。

色情報抽出部２３は、外界カメラ１４から出力された画像データに対し、例えばＲＧＢ（赤：ｒｅｄ，緑：ｇｒｅｅｎ，青：ｂｌｕｅ）色空間からＨＳＶ（ＨＳＢ）（色相：ｈｕｅ，彩度：ｓａｔｕｒａｔｉｏｎ，輝度：ｖａｌｕｅ（ｂｒｉｇｈｔｎｅｓｓ））表色系への変換を行う。そして、変換された画像データにＨＳＶ（ＨＳＢ）表色系での二値化処理を実行し、所定の赤色あるいは所定輝度以上の画素を抽出する。
例えば図３（ａ）に示すように、外界カメラ１４から出力された赤色灯火状態の信号機を含む画像データは、ＨＳＶ（ＨＳＢ）表色系での二値化処理によって、例えば図３（ｂ）に示すように、所定の赤色あるいは所定輝度以上の画素が抽出された画像データとなる。

円形状抽出部２４は、色情報抽出部２３により抽出された所定の赤色あるいは所定輝度以上の画素による所定真円度以上の円形状を抽出する。
例えば図３（ｂ）に示すように、所定の赤色あるいは所定輝度以上の画素が抽出された画像データからは、例えば図３（ｃ）に示すように、信号機の赤色灯火に対応する円形状Ｃが抽出される。

距離算出部２５は、円形状抽出部２４により抽出された円形状（例えば、円形状の中心位置等）と自車両との間の距離を算出する。
例えば距離算出部２５は、予め記憶している信号機の各灯火の所定の径（例えば、直径Ｄ）と、外界カメラ１４に対して、抽出された円形状がなす視角ＡＶおよび仰角ＡＥとにより、例えば図４に示すように、幾何学的に下記数式（１）に基づき、自車両から円形状までの距離Ｌｃｉｒｃｌｅおよび自車両から円形状までの水平距離Ｌｄｉｓｔを算出する。

高さ算出部２６は、円形状抽出部２４により抽出された円形状（例えば、円形状の中心位置等）の地上高を算出する。
例えば高さ算出部２６は、予め記憶している外界カメラ１４の地上高Ｈｃａｍｅｒａと、外界カメラ１４に対して、抽出された円形状がなす仰角ＡＥと、自車両から円形状までの水平距離Ｌｄｉｓｔとにより、例えば図５に示すように、幾何学的に下記数式（２）に基づき、外界カメラ１４に対する円形状の高さＨｓｉｇｎａｌおよび円形状の地上高Ｈを算出する。

他車両検出部２７は、レーダ装置１５から出力されるビート信号の周波数に基づいて所定の検知対象領域内における他車両までの距離および相対速度および相対加速度を算出すると共に、反射信号を受信した際のミリ波の発信方向に基づいて物体の方位を算出し、検知対象領域内における物体の位置を検出する。
車両灯火検出部２８は、他車両検出部２７により検出された他車両の走行状態（例えば、所定減速度以上の減速状態等）、あるいは、自車両状態センサ１６から出力される自車両の状態（例えば、ブレーキの作動状態や所定減速度以上の減速状態や自車両の灯体（例えば、前照灯や制動灯や車幅灯や尾灯等）の点灯状態等）の検出結果に基づき、他車両の灯体（例えば、制動灯や車幅灯や尾灯等）が点灯状態であるか否かを検出する。

信号機判定部２９は、交差点距離算出部２２により算出された自車両から交差点までの距離と、距離算出部２５により算出された自車両から円形状までの距離（例えば、水平距離Ｌｄｉｓｔ）と、高さ算出部２６により算出された円形状の地上高（例えば、地上高Ｈ）と、車両灯火検出部２８により検出された他車両の灯体の点灯状態とに基づき、例えば赤色灯火状態の信号機が自車両の進行方向前方に検出されたか否かを判定する。

例えば信号機判定部２９は、高さ算出部２６により算出された円形状の地上高が、信号機の設置に対する所定の基準高さＨｐ（例えば、４．５ｍ等）よりも高く、かつ、例えば図６に示すように、距離算出部２５により算出された自車両から円形状までの距離（例えば、水平距離Ｌｄｉｓｔ）が、交差点距離算出部２２により算出された自車両から交差点までの距離（例えば、自車両Ｐから交差点の中心位置までの距離Ｌｄｂ等）に交差道路（交差点で自車両の走行路と交差する道路）の幅員Ｗｉｄｔｈの１／２を加算して得た距離（Ｌｄｂ＋Ｗｉｄｔｈ／２）よりも大きい場合には、赤色灯火状態の信号機が自車両の進行方向前方に検出されたと判定する。
なお、交差点距離算出部２２および距離算出部２５により算出される各距離に対して、自車両の外界カメラ１４およびＧＰＳアンテナの各搭載位置の差異は、無視できる程度に小さいものとみなすことができる。

つまり、信号機判定部２９は、高さ算出部２６により算出された円形状の地上高に基づいて、円形状抽出部２４により抽出された円形状のうち、地上高が所定の基準高さＨｐ以下の円形状を信号機であると認識することを禁止する。
また、信号機判定部２９は、他車両検出部２７により他車両の存在が検出された場合に、円形状抽出部２４により抽出された円形状のうち、例えば他車両までの距離と同等の距離を有する円形状を他車両の灯火であると認識し、信号機を認識する一連の判定処理に用いるデータから除外する。

また、例えば信号機判定部２９は、先行車両が減速状態であって、先行車両の制動灯が点灯状態である場合であっても、自車両から先行車両までの距離が、自車両から円形状までの距離（例えば、水平距離Ｌｄｉｓｔ）よりも小さい場合には、赤色灯火状態の信号機が自車両の進行方向前方に検出されたと判定する。
一方、単に、自車両から先行車両までの距離が自車両から円形状までの距離（例えば、水平距離Ｌｄｉｓｔ）よりも大きい場合、あるいは、単に、先行車両が減速状態であって先行車両の制動灯が点灯状態である場合には、信号機判定部２９は、例えば円形状抽出部２４により抽出された円形状は信号機の灯火ではないとして、一連の判定処理に用いるデータから除外する。
つまり信号機判定部２９は、他車両の灯体が点灯していると検知した場合には、この他車両の灯火を、信号機を認識する一連の判定処理に用いるデータから除外する。

また、例えば信号機判定部２９は、夜間時であって、対向車両の車幅灯や先行車両の尾灯等が点灯状態である場合であっても、自車両から対向車両または先行車両までの距離が、自車両から円形状までの距離（例えば、水平距離Ｌｄｉｓｔ）よりも小さい場合には、赤色灯火状態の信号機が自車両の進行方向前方に検出されたと判定する。
一方、単に、自車両から対向車両または先行車両までの距離が自車両から円形状までの距離（例えば、水平距離Ｌｄｉｓｔ）よりも大きい場合、あるいは、単に、夜間時であって対向車両の車幅灯や先行車両の尾灯灯が点灯状態である場合には、信号機判定部２９は、例えば円形状抽出部２４により抽出された円形状は信号機の灯火ではないとして、一連の判定処理に用いるデータから除外する。

そして、走行制御部３０は、信号機判定部２９による判定結果に基づき、自車両の走行状態に対する走行支援レベルを設定し、この走行支援レベルに応じて制動装置１７および警報装置１８を作動させる。例えば、走行制御部３０は、自車両状態センサ１６の出力に基づく運転者の減速意志が検出されていない状態で、自車両が交差点の手前の所定の警報位置に到達したときに、停止の実行を促す警報を出力し、さらに、自車両の速度が所定速度以上の状態で所定の減速位置に到達したときに、自動的に自車両を減速させる。

本実施の形態による信号機認識装置１は上記構成を備えており、次に、この信号機認識装置１の動作について説明する。

先ず、例えば図７に示すステップＳ０１においては、ナビゲーション装置１１により検出された自車両の現在位置および進行方向と、地図データ記憶装置１２に格納された地図データまたは通信装置１３により受信された各種の情報とに基づき、自車両の進行方向前方の交差点を認知し、自車両から交差点までの距離を算出する。

そして、ステップＳ０２においては、外界カメラ１４から出力される画像データを取得する。
そして、ステップＳ０３においては、外界カメラ１４から出力された画像データに対し、ＲＧＢ色空間からＨＳＶ（ＨＳＢ）表色系への変換を行い、変換された画像データにＨＳＶ（ＨＳＢ）表色系での二値化処理を実行し、所定の赤色あるいは所定輝度以上の画素を抽出する。
そして、ステップＳ０４においては、二値化処理により抽出された所定の赤色あるいは所定輝度以上の画素による所定真円度以上の円形状を抽出する。

そして、ステップＳ０５においては、例えば上記数式（１）に基づき、自車両から円形状までの距離Ｌｃｉｒｃｌｅおよび自車両から円形状までの水平距離Ｌｄｉｓｔを算出する。
そして、ステップＳ０６においては、例えば上記数式（２）に基づき、、外界カメラ１４に対する円形状の高さＨｓｉｇｎａｌおよび円形状の地上高Ｈを算出する。

そして、ステップＳ０７においては、レーダ装置１５による検出結果に基づき、先行車両の減速度を検出する。
そして、ステップＳ０８においては、自車両状態センサ１６から出力される自車両の状態（例えば、ブレーキの作動状態や所定減速度以上の減速状態や自車両の灯体（例えば、前照灯や制動灯や車幅灯や尾灯等）の点灯状態等）の検出結果を取得する。

そして、ステップＳ０９においては、後述する信号機判定処理を実行する。
そして、ステップＳ１０においては、赤色灯火状態の信号機が自車両の進行方向前方に検出されたか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０１に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、検出された信号機に応じた所定の走行制御を実行し、一連の処理を終了する。

以下に、上述したステップＳ０９での信号機判定処理について説明する。
先ず、例えば図８に示すステップＳ１１においては、高さ算出部２６により算出された円形状の地上高Ｈが、信号機の設置に対する所定の基準高さＨｐ（例えば、４．５ｍ等）よりも高く、かつ、距離算出部２５により算出された水平距離Ｌｄｉｓｔが、交差点距離算出部２２により算出された自車両Ｐから交差点の中心位置までの距離Ｌｄｂに交差道路の幅員Ｗｉｄｔｈの１／２を加算して得た距離（Ｌｄｂ＋Ｗｉｄｔｈ／２）よりも大きいか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１２に進む。
そして、ステップＳ１２においては、円形状抽出部２４により抽出された円形状は信号機の灯火であると判断して、一連の処理を終了する。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１３に進む。

そして、ステップＳ１３においては、先行車両が減速状態であって、先行車両の制動灯が点灯状態であり、かつ、自車両から先行車両までの距離が、自車両から円形状までの水平距離Ｌｄｉｓｔよりも小さいか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、上述したステップＳ１２に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１４に進む。

そして、ステップＳ１４においては、例えば夜間時であって、自車両の車幅灯が点灯状態であり、かつ、自車両から先行車両までの距離が、自車両から円形状までの水平距離Ｌｄｉｓｔよりも小さいか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、上述したステップＳ１２に進む。
一方、この判定結果が「ＮＯ」の場合には、一連の処理を終了する。

上述したように、本実施の形態による信号機認識装置１によれば、外界カメラ１４の撮影により得られた画像データ上において、信号機が存在すると予測される領域に、例えば他車両の制動灯や車幅灯や尾灯等の灯火が存在する場合であっても、これらの他車両の灯火と、信号機の灯火とを混同すること無しに、信号機を適切に認識することができる。

なお、上述した実施の形態において、車両灯火検出部２８は、他車両検出部２７から出力される他車両（例えば、先行車両や対向車両等）の走行状態、あるいは、自車両状態センサ１６から出力される自車両の状態に基づき、他車両の灯体が点灯状態であるか否かを検出するとしたが、これに限定されず、例えば通信装置１３を介した車車間通信により他車両の灯体の点灯状態の情報を取得してもよい。

本発明の実施の形態に係る信号機認識装置を具備する車両制御装置の構成図である。 地図データを構成するノードおよびリンクの一例を示す図である。 図３（ａ）は信号機の画像データを示す図であり、図３（ｂ）はＨＳＶ（ＨＳＢ）表色系での二値化処理によって所定の赤色あるいは所定輝度以上の画素が抽出された画像データであり、図３（ｃ）は所定の赤色あるいは所定輝度以上の画素による所定真円度以上の円形状が抽出された画像データである。 自車両から円形状までの距離Ｌｃｉｒｃｌｅおよび自車両から円形状までの水平距離Ｌｄｉｓｔの一例を示す図である。 外界カメラに対する円形状の高さＨｓｉｇｎａｌおよび円形状の地上高Ｈの一例を示す図である。 自車両から円形状までの水平距離Ｌｄｉｓｔと、自車両から交差点の中心位置までの距離Ｌｄｂと、交差道路の幅員Ｗｉｄｔｈとの関係を示す図である。 本発明の実施の形態に係る信号機認識装置の動作を示すフローチャートである。 図７に示す信号機判定処理を示すフローチャートである。

符号の説明

１ 信号機認識装置
１０ 車両制御装置
１４ 外界カメラ（撮影手段）
２１ 交差点認知部（交差点認知手段）
２２ 交差点距離算出手段（交差点距離算出手段）
２４ 円形状抽出部（灯火認識手段）
２５ 距離算出部（灯火距離算出手段）
２６ 高さ算出部（地上高算出手段）
２７ 他車両検出部（車両検知手段、距離算出手段）
２８ 車両灯火検出部（灯体点灯検知手段）
２９ 信号機判定部（信号機認識手段）

Claims (13)

1. 信号機の存在が予測される領域を撮影する撮影手段と、
   該撮影手段により撮影された画像に基づき前記信号機を認識する信号機認識手段とを備える信号機認識装置であって、
   前記撮影手段の撮影方向の車両を検知する車両検知手段と、
   前記撮影手段により撮影された画像中の灯火を認識する灯火認識手段とを備え、
   前記信号機認識手段は、前記車両検知手段により前記車両が検知されたときに、該車両の灯火を、前記灯火認識手段により認識された前記灯火から除外して、前記信号機を認識することを特徴とする信号機認識装置。
2. 前記車両検知手段により検知された前記車両までの距離を算出する距離算出手段と、
   前記灯火認識手段により認識された前記灯火までの距離を算出する灯火距離算出手段とを備え、
   前記信号機認識手段は、前記車両までの距離と、前記灯火までの距離との比較結果に基づき、前記車両の灯火を前記灯火認識手段により認識された前記灯火から除外することを特徴とする請求項１に記載の信号機認識装置。
3. 前記信号機認識手段は、前記車両までの距離と同等の距離を有する前記灯火を、前記車両の灯火であると認識することを特徴とする請求項２に記載の信号機認識装置。
4. 前記車両検知手段により検知された前記車両の灯体の点灯状態を検知する灯体点灯検知手段を備え、
   前記信号機認識手段は、前記灯体点灯検知手段により前記車両の前記灯体が点灯していると検知された場合に、前記車両の灯火を前記灯火認識手段により認識された前記灯火から除外することを特徴とする請求項１から請求項３の何れかひとつに記載の信号機認識装置。
5. 前記灯火認識手段は、円形状の前記灯火を認識することを特徴とする請求項１から請求項４の何れかひとつに記載の信号機認識装置。
6. 前記灯火認識手段は、赤色または所定輝度以上の前記円形状の前記灯火を認識することを特徴とする請求項５に記載の信号機認識装置。
7. 前記灯火認識手段は、所定真円度以上の前記円形状の前記灯火を認識することを特徴とする請求項５または請求項６に記載の信号機認識装置。
8. 前記灯火距離算出手段は、予め設定された信号機の灯火部分の径および前記撮影手段に対して抽出された円形状が成す視角とに基づき、前記灯火までの前記距離を算出することを特徴とする請求項２に記載の信号機認識装置。
9. 前記灯火認識手段により認識された前記灯火の地上高を算出する地上高算出手段を備え、
   前記信号機認識手段は、前記地上高算出手段により算出された前記地上高に基づいて、前記車両の灯火を前記灯火認識手段により認識された前記灯火から除外することを特徴とする請求項１から請求項８の何れかひとつに記載の信号機認識装置。
10. 前記地上高算出手段は、前記撮影手段の地上高と、前記灯火認識手段により認識された前記灯火までの距離と、前記撮影手段に対する前記灯火認識手段により認識された前記灯火の仰角とに基づき、前記灯火認識手段により認識された前記灯火の地上高を算出することを特徴とする請求項９に記載の信号機認識装置。
11. 前記信号機認識手段は、前記地上高算出手段により算出された前記灯火の前記地上高が所定値以下の場合に、前記灯火を信号機であると認識することを禁止することを特徴とする請求項９または請求項１０に記載の信号機認識装置。
12. 交差点の存在を認知する交差点認知手段を備え、
    前記信号機認識手段は、前記交差点認知手段により認知された前記交差点が前記撮影手段の撮影領域に含まれる場合に、前記撮影手段により撮影された画像に基づき前記信号機を認識することを特徴とする請求項１から請求項１１の何れかひとつに記載の信号機認識装置。
13. 前記交差点までの距離を算出する交差点距離算出手段を備え、
    前記信号機認識手段は、前記灯火認識手段により認識された前記灯火までの距離が、前記交差点距離算出手段により算出された前記交差点までの距離よりも、所定値以上長い場合に、前記灯火を信号機であると認識することを特徴とする請求項１２に記載の信号機認識装置。
    
    

Images