JP2015097018A - 矢印信号灯検出装置 - Google Patents

Abstract

【課題】外乱の影響を受け難く、赤色信号灯等が点灯している状態での消灯信号、及び矢印信号灯の点灯を、時間帯に関係なく安定して検出することができるようにする。
【解決手段】矢印信号検出部１４は、カメラ制御部１３で設定した露光時間に基づき、点灯している赤色信号灯に隣接する消灯信号灯を検出する検出閾値ＳＬｓ１を設定し、又赤色信号灯の大きさに基づき消灯信号灯の探索領域Ａｙ１，Ａｙ２と矢印信号灯の探索領域Ａｓ１，Ａｓ２，Ａｖ１，Ａｖ２とを設定する。そして検出閾値ＳＬｓ１と探索領域Ａｙ１，Ａｙ２の画素輝度値Ｇとを比較し、ＳＬｓ１以上で且つ最小画素輝度値を示す画素輝度値を基本矢印閾値ＳＬＧとして設定する。その後基本矢印閾値ＳＬＧに基づき矢印信号閾値ＳＬ１を設定し、この矢印信号閾値ＳＬ１と探索領域Ａｓ１，Ａｓ２，Ａｖ１，Ａｖ２内の画素輝度Ｇとを比較することで矢印信号灯の点灯を示す画素を検出する。
【選択図】図１

Description

本発明は、車載カメラで撮影した画像に基づき信号機に付設されている矢印信号灯を検出する矢印信号灯検出装置に関する。

従来、車両に搭載されているカメラ（以下、「車載カメラ」と称する）で撮影した自車両前方の走行環境に基づき信号機の点灯色を認識する技術が知られている。例えば、特許文献１（特開２０１２−９８９６７号公報）には、信号機の点灯色が赤色か否かを調べ、赤色と判定した場合、隣接する消灯信号灯が黄色信号灯か否か、及び、この黄色信号灯に隣接する消灯信号灯が青色信号灯か否かを検証し、消灯信号灯が黄色信号灯、及び青色信号灯と判定した場合、点灯している信号灯は赤色信号灯であると断定することで、誤検出を防止する技術が開示されている。

又、信号機には赤色信号灯、黄色信号灯、青色信号灯以外に矢印信号灯が付設されている場合がある。この矢印信号灯を検出する技術として、例えば特許文献２（特開２００９−４３０６８号公報）には、赤色信号灯、或いは黄色信号灯の点灯を検出した場合、その信号灯に対して所定の位置関係を有する探索領域内に矢印信号灯の存在を検出し、点灯している矢印信号灯の方向を認識する技術が開示されている。

特開２０１２−９８９６７号公報 特開２００９−４３０６８号公報

ところで、消灯信号灯の輝度情報は時間帯によって変動する。すなわち、日中は、信号電球やＬＥＤを覆うカバーレンズに照射された順光時の太陽光の反射光が影響し、或いは朝日、西日等の逆光の影響を受けて変動し易くなる。特に、信号灯が電球の場合、カバーレンズが灯色に着色されているため、輝度情報はカバーレンズから反射する順光時の太陽光の影響を大きく受け易い。

上述した特許文献１に開示されている技術は、単に、消灯信号灯を色相、彩度、輝度で判定しているため、周囲の明るさの影響を受け易く時間帯によっては安定して検出することが困難となる場合がある。

同様に、上述した特許文献２に開示されている技術においても、矢印信号灯の輝度情報はカバーレンズからの太陽光等の反射、及び逆光を受けて変動し易いため、時間帯によっては点灯している矢印信号灯を安定して検出することが困難となる場合がある。

本発明は、上記事情に鑑み、太陽光等の反射、及び逆光等の外乱の影響が受け難く、消灯信号灯、及び矢印信号の点灯を時間帯に関係なく安定して検出することのできる矢印信号灯検出装置を提供することを目的とする。

本発明は、自車両前方の走行環境を撮影する車載カメラと、前記車載カメラで撮影した画像に基づき信号機に設けられている信号灯を認識すると共に平均輝度値を検出する画像認識処理手段と、前記画像認識処理手段で認識した平均輝度値に基づき前記車載カメラの露光時間を設定するカメラ制御手段と、前記信号機に付設されている矢印信号灯を検出する矢印信号検出手段とを備える矢印信号灯検出装置において、前記矢印信号検出手段は、前記カメラ制御手段で設定した露光時間に基づき消灯信号灯を識別する判定輝度値を設定する判定輝度値設定手段と、点灯信号灯の大きさに基づき該点灯信号灯に隣接する前記消灯信号灯の探索領域を設定する消灯信号灯領域設定手段と、前記点灯信号灯の大きさに基づき前記矢印信号灯の探索領域を設定する矢印信号領域設定手段と、前記判定輝度値設定手段で設定した判定輝度値と前記消灯信号灯領域設定手段で設定した探索領域の画素輝度値とを比較し、該判定輝度値以上で且つ最小画素輝度値を示す画素輝度値を基本矢印閾値として設定する基本矢印閾値設定手段と、前記基本矢印閾値設定手段で設定した基本矢印閾値に基づき矢印信号閾値を設定する矢印信号閾値設定手段と、前記矢印検出領域設定手段で設定した検出領域内で検出した画素輝度値と前記矢印信号閾値設定手段で設定した矢印信号閾値とを比較して、前記矢印信号灯の点灯を示す画素を検出する矢印画素検出手段とを備える。

本発明によれば、消灯信号灯を識別する判定輝度値をカメラ制御手段で設定した露光時間に基づいて設定するようにしたので、太陽光等の反射、及び逆光等の外乱の影響が受け難く、消灯信号灯を、時間帯に関係なく安定して識別することができる。又、矢印信号灯の点灯を判定する基本矢印閾値を、この消灯信号灯を識別する判定輝度値に基づいて設定しているため、この矢印信号灯の点灯も、太陽光等の反射、及び逆光等の外乱の影響が受け難く、安定して検出することができる。

矢印信号灯検出装置の概略構成図 矢印信号検出処理ルーチンを示すフローチャート（その１） 矢印信号検出処理ルーチンを示すフローチャート（その２） 矢印信号検出処理ルーチンを示すフローチャート（その３） 車載カラーカメラで撮影した自車両前方の画像を示す説明図 （ａ）は赤色信号灯を基準として設定する消灯信号灯の探索領域を示す説明図、（ｂ）は黄色信号灯を基準として設定する消灯信号灯の探索領域を示す説明図 赤色信号灯及び消灯信号灯を基準として設定する矢印信号灯の探索領域を示す説明図であって、（ａ）は横型信号機の探索領域を示す説明図、（ｂ）は縦型信号機の探索領域を示す説明図 横型信号機を示し、（ａ）は赤色信号灯点灯時の右折矢印信号灯が点灯している状態の説明図、（ｂ）は赤色信号灯点灯時の直進、左折矢印信号灯が点灯している状態の説明図、（ｃ）は黄色信号灯点灯時の直進、左折矢印信号灯が点灯している状態の説明図 縦型信号機を示し、（ａ）は赤色信号灯点灯時の右折矢印信号灯が点灯している状態の説明図、（ｂ）は黄色信号灯点灯時の直進、左折矢印信号灯が点灯している状態の説明図

以下、図面に基づいて本発明の一実施形態を説明する。図１の符号１は自動車等の車両であり、この車両の車室内の前部であってフロントガラスの上部に撮像手段としての車載カメラ２が臨まされている。この車載カメラ２は、メインカメラ２ａとサブカメラ２ｂとからなるステレオカメラである。この各カメラ２ａ，２ｂには、ＣＣＤ，ＣＭＯＳ等の撮像素子（イメージセンサ）が内蔵されており、例えば、車幅方向中央に配設されているルームミラを挟んで左右の対称な位置に配設されている。

又、この車載カメラ２は自車進行路の走行環境をカラー画像で撮影するカラーカメラであり、各撮像素子の画素データは、Ｒ，Ｇ，Ｂ毎に８ビット（０〜２５５階調）の輝度値に設定されている。尚、輝度値は８ビットに限定されるものではない。

メインカメラ２ａは、ステレオ処理を行う際に必要な基準画像（右画像）を撮影し、サブカメラ２ｂは、この処理における比較画像（左画像）を撮影する。互いに同期している状態において、両カメラ２ａ，２ｂから出力される、Ｒ，Ｇ，Ｂの各アナログ画像が、Ａ／Ｄコンバータ４により所定階調のデジタル画像に変換される。そして、デジタル変換された画像は、画像認識ユニット１１に出力される。

画像認識ユニット１１は、マイクロコンピュータを主体に構成され、周知のＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＣＰＵで処理される矢印信号灯検出機能として、画像認識処理手段としての画像認識処理部１２、カメラ制御手段としてのカメラ制御部１３、矢印信号検出手段としての矢印信号検出部１４を備えている。

画像認識処理部１２は、車載カメラ２で撮影した画像データに基づき、自車両前方の立体物を認識すると共に平均輝度値を算出する。すなわち、例えば、図５に示すように、車載カメラ２で撮影した画像データには、立体物として、信号機２１以外に、先行車２２、道路標識２３、白線２４、縁石２５、及び、図示しないが対向車、歩行者等があり、これら各立体物を認識すると共に、これらと自車両１との距離を、メインカメラ２ａとサブカメラ２ｂとの視差から求める。尚、各立体物の識別は、周知のパターンマッチング法等を用いて行われる。更に、立体物と自車両１との距離の求め方については周知であるため説明を省略する。

又、図５に示す画像において、信号機２１は、赤色信号灯２１ｒ、黄色信号灯２１ｙ、青色信号灯２１ｂを有し、更に、各信号灯の下方に、右折、直進、左折の各矢印信号灯２２ｒ，２２ｆ，２２ｌが付設されている状態が示されている。

カメラ制御部１３は、画像認識処理部１２で処理した画像データの平均輝度値を読込み、次フレームの撮影において最適な明るさとなる露光時間（シャッタスピード）を設定し、この露光時間に基づき各カメラ２ａ，２ｂの露出制御を行う。尚、この露光時間は矢印信号検出部１４でも読込まれる。

矢印信号検出部１４は、画像認識処理部１２で処理した画像データに基づき信号機２１の赤色信号灯２１ｒ、或いは黄色信号灯２１ｙの点灯が検出されたか否かを調べ、点灯が検出された場合、当該信号機に矢印信号灯が付設されているか否かを調べ、矢印信号灯が検出された場合、矢印が点灯しているか否かを調べる。

矢印信号検出部１４で実行される矢印信号検出は、具体的に、図２〜図４に示す矢印信号検出処理ルーチンに従って処理される。このルーチンは、所定演算周期毎に実行され、先ず、ステップＳ１で、信号機２１の赤色信号灯２１ｒの点灯が検出されたか否かを調べる。そして、点灯が検出された場合はステップＳ２へ進み、検出されていない場合はステップＳ７へ分岐し、黄色信号灯２１ｙの点灯を調べる。

以下においては、先ず、ステップＳ２以降の赤色信号灯２１ｒの点灯が検出された場合の処理について説明し、その後、ステップＳ７以降の黄色信号灯２１ｙの点灯が検出された場合の処理について説明する。尚、赤色信号灯２１ｒ、或いは黄色信号灯２１ｙの点灯が検出された場合、この信号灯が本発明の点灯信号灯となる。

ステップＳ２へ進むと、カメラ制御部１３で設定した露光時間を読込み、この露光時間に基づき、点灯している赤色信号灯２１ｒに隣接して消灯している信号灯（以下、「消灯信号灯」と称する）を検出するための判定輝度値である消灯信号灯検出閾値ＳＬｓ１を算出する。すなわち、カメラ制御部１３で設定される露光時間は、例えば、絞り値（Ｆ値）が一定で、且つ、撮像素子の感度が一定とした場合、適正露出を実現する露光時間は、自車両１前方の被写体である立体物が明るいほど短く設定され、暗いほど長く設定される。

従って、露光時間は、太陽光が順光や逆光の日中は短く設定され、夜間の場合は長く設定される。消灯信号灯検出閾値ＳＬｓ１は、この露光時間に基づき、走行環境の明るさの変化による外乱（ノイズ）を除去するために、消灯信号灯である黄色信号灯２１ｙに対応した最適な値を可変設定する。この消灯信号灯検出閾値ＳＬｓ１は露光時間と関係で予めテーブル化されて、ＲＯＭ等の不揮発性記憶手段に記憶されている。

このテーブルには、露光時間が長くなるに従い、次第に大きな値に設定される消灯信号灯検出閾値ＳＬｓ１が記憶されている。すなわち、この消灯信号灯検出閾値ＳＬｓ１は消灯信号灯である黄色信号灯２１ｙを識別する判定輝度値であり、露光時間が短い場合、被写体は明るいので小さい値に設定され、一方、露光時間が長い場合、被写体は暗いので大きな値に設定される。尚、このステップＳ２、及び後述するステップＳ８での処理が、本発明の判定輝度値設定手段に対応している。

その後、ステップＳ３へ進むと、赤色信号灯２１ｒの大きさから消灯信号灯である黄色信号灯２１ｙの探索領域（消灯信号灯探索領域）Ａｙ１，Ａｙ２を設定する。信号機２１に設けられている各信号灯２１ｒ、２１ｙ，２１ｂの大きさ（直径）、及び間隔は予め決められている。又、信号機２１は、図５、図８に示す横型以外に、図９に示すような縦型もある。従って、横型信号機と縦型信号機との双方の黄色信号灯２１ｙが存在する領域に、縦消灯信号灯探索領域Ａｙ１、横消灯信号灯探索領域Ａｙ２をそれぞれ設定する。

そして、先ず、赤色信号灯２１ｒの実際の直径と自車両１から信号灯までの距離とに基づき、１画素ピッチ当たりの実距離を換算し、赤色信号灯２１ｒに隣接する消灯信号灯、すなわち、図６（ａ）に示すように、赤色信号灯２１ｒを基準として、下段と正面視で左隣に消灯信号灯探索領域Ａｙ１，Ａｙ２を各々設定する。この場合、消灯信号灯（黄色信号灯２１ｙ）の位置及び大きさは検出しない。尚、このステップＳ３、及び後述するステップＳ９での処理が、本発明の消灯信号灯領域設定手段に対応している。

その後、ステップＳ４へ進むと、各消灯信号灯探索領域Ａｙ１，Ａｙ２の色成分Ｒ，Ｇ，Ｂの画素毎の輝度値（画素輝度値）Ｒ，Ｇ，Ｂをそれぞれ検出する。尚、この各画素輝度値Ｒ，Ｇ，Ｂは８ビット（０〜２５５）で表される。

そして、先ず、ステップＳ５で、消灯信号灯探索領域Ａｙ１，Ａｙ２毎の画素輝度値Ｇと消灯信号灯検出閾値ＳＬｓ１とを比較する。赤色信号灯２１ｒに隣接する消灯信号灯は黄色信号灯２１ｙであり、この黄色信号灯２１ｙの色成分は、主に、Ｒ，Ｇであるが、黄色信号灯２１ｙが消灯している場合、その輝度値は０、すなわち、黒色に近い値を示す。ところで、矢印信号灯２２ｒ，２２ｆ，２２ｌが点灯している場合、黄色信号灯２１ｙは消灯しているが、順光では黄色信号灯２１ｙが低い位置からの太陽光により明るく照らされる場合がある。黄色信号灯２１ｙが明るく照らされると、特に、信号灯が電球の場合、カバーレンズに黄色フィルタが着色されているため、その反射光により、当然、画素輝度値Ｒ，Ｇは高い値となる。

そして、消灯信号灯検出閾値ＳＬｓ１以上で且つ、最小の画素輝度値Ｇ，Ｒを示す画素を検出し、その画素輝度値を、矢印信号を探索する際の閾値（基本矢印閾値）ＳＬＧ，ＳＬＲとして設定する。従って、この基本矢印閾値ＳＬＧ，ＳＬＲは、縦消灯信号灯探索領域Ａｙ１，横消灯信号灯探索領域Ａｙ２毎に設定される。この基本矢印閾値ＳＬＧ，ＳＬＲの比率を調べることで、黄色信号灯２１ｙがＬＥＤか電球かを判定することも可能である。尚、このステップＳ５、及び後述するステップＳ１１での処理が、本発明の基本矢印閾値設定手段に対応している。

次いで、ステップＳ６へ進むと、赤色信号灯２１ｒの大きさに基づき矢印信号探索領域Ａｓ１，Ａｓ２，Ａｖ１，Ａｖ２を設定し、ステップＳ１３へジャンプする。例えば、図７（ａ）に示すように、信号機２１が横型の場合、赤色信号灯２１ｒの上下に横型信号機用矢印信号探索領域Ａｓ１，Ａｓ２を設定する。又、例えば、同図（ｂ）に示すように、信号機２１が縦型の場合、赤色信号灯２１ｒの左右に縦型信号機用矢印信号探索領域Ａｖ１，Ａｖ２を設定する。この場合、矢印信号灯の大きさ（直径）は、赤色信号灯２１ｒとほぼ同一であり、又、この赤色信号灯２１ｒと消灯信号灯（黄色信号灯２１ｙ、青色信号灯２１ｂ）の距離もほぼ決められており、更に、矢印信号灯は、各信号灯（赤色信号灯２１ｒ，黄色信号灯２１ｙ、青色信号灯２１ｂ）から予め決められ距離だけ離間した位置に付設されている。

従って、自車両１から信号機２１までの距離と赤色信号灯２１ｒの実際の直径、及び各信号灯間のピッチ、更には、信号灯を基準とする矢印信号灯の付設位置に基づき、１画素ピッチ当たりの実距離を換算し、赤色信号灯２１ｒを基準として、横型信号機用矢印信号探索領域Ａｓ１，Ａｓ２（図７(a)参照）と、縦型信号機用矢印信号探索領域Ａｖ１，Ａｖ２（図７(b)参照）とをそれぞれ設定する。尚、ステップＳ６、及び後述するステップＳ１２での処理が、本発明の矢印信号領域設定手段に対応している。

一方、ステップＳ１からステップＳ７へ分岐すると、黄色信号灯２１ｙの点灯が検出されたか否かを調べる。信号機２１の設置場所によっては、例えば、図８（ｃ）や図９（ｂ）に示すように、黄色信号灯２１ｙが点灯している状態で、直進矢印信号灯２２ｆや左折矢印信号灯２２ｌ等が点灯している場合がある。そして、黄色信号灯２１ｙの点灯が検出された場合はステップＳ８へ進み、検出されていない場合はステップＳ２１へジャンプする。

黄色信号灯２１ｙの点灯が検出されて、ステップＳ８へ進むと、カメラ制御部１３で設定した露光時間を読込み、この露光時間に基づき、点灯している黄色信号灯２１ｙに隣接して消灯している信号灯（以下、「消灯信号灯」と称する）である赤色信号灯２１ｒを検出するための判定輝度値である消灯信号灯検出閾値ＳＬｓ２を算出する。上述したように、カメラ制御部１３で設定される適正露出を実現する露光時間は、自車両１前方の被写体である立体物が明るいほど短く設定され、暗いほど長く設定される。

消灯信号灯検出閾値ＳＬｓ２は、この露光時間に基づき、走行環境の明るさの変化による外乱（ノイズ）を除去するために赤色信号灯２１ｒに対した最適な値を可変設定する。尚、この消灯信号灯検出閾値ＳＬｓ２は、上述した消灯信号灯検出閾値ＳＬｓ１と同様、露光時間と関係で予めテーブル化されて、ＲＯＭ等の不揮発性記憶手段に記憶されている。

その後、ステップＳ９へ進むと、黄色信号灯２１ｙの大きさから、消灯信号灯である赤色信号灯２１ｒの探索領域（消灯信号灯探索領域）Ａｒ１，Ａｒ２を、横型信号機に対応する正面視右隣、及び縦型信号機に対応する上方に設定する。上述したように、信号機２１は横型信号機と縦型信号機との双方が存在するため、赤色信号灯２１ｒが存在する領域に縦消灯信号灯探索領域Ａｒ１、横消灯信号灯探索領域Ａｒ２との双方に設定する。

そして、先ず、黄色信号灯２１ｙの実際の直径と自車両１から信号灯までの距離とに基づき、１画素ピッチ当たりの実距離を換算し、黄色信号灯２１ｙに隣接する消灯信号灯である赤色信号灯２１ｒ、すなわち、図６（ｂ）に示すように、この黄色信号灯２１ｙを基準として、上方と正面視で右隣とに消灯信号灯探索領域Ａｒ１，Ａｒ２を各々設定する。この場合、消灯信号灯（赤色信号灯２１ｒ）の位置及び大きさは検出しない。

その後、ステップＳ１０へ進むと、各消灯信号灯探索領域Ａｒ１，Ａｒ２の色成分Ｒ，Ｇ，Ｂの画素毎の輝度値（画素輝度値）Ｒ，Ｇ，Ｂをそれぞれ検出する。尚、この各画素輝度値Ｒ，Ｇ，Ｂは８ビット（０〜２５５）で表される。

そして、先ず、ステップＳ１１で、消灯信号灯探索領域Ａｒ１，Ａｒ２毎の画素輝度値Ｇと消灯信号灯検出閾値ＳＬｓ２とを比較する。黄色信号灯２１ｙに隣接する消灯信号灯である赤色信号灯２１ｒの色成分は、主に、ＲであるがＧも含まれている。赤色信号灯２１ｒが消灯している場合、その輝度値は０、すなわち、黒色に近い値を示す。ところで、黄色信号灯２１ｙが点灯している状態で矢印信号灯２２ｒ，２２ｆ，２２ｌが点灯している場合、赤色信号灯２１ｒは消灯しているが、低い位置からの順光により赤色信号灯２１ｒが明るく照らされる場合がある。赤色信号灯２１ｒが明るく照らされると、上述と同様、カバーレンズに赤色フィルタが着色されている電球式信号灯では、その反射光により、当然、画素輝度値Ｒ，Ｇは高い値となる。

そして、消灯信号灯検出閾値ＳＬｓ２以上で且つ、最小の画素輝度値Ｇ，Ｒを示す画素を検出し、その画素輝度値を、矢印信号を探索する際の閾値（基本矢印閾値）ＳＬＧ，ＳＬＲとして設定する。従って、この基本矢印閾値ＳＬＧ，ＳＬＲは、縦消灯信号灯探索領域Ａｒ１，横消灯信号灯探索領域Ａｒ２毎に設定される。尚、この基本矢印閾値ＳＬＧ，ＳＬＲの比率を調べることで、赤色信号灯２１ｒがＬＥＤか電球かを判定することも可能である。

次いで、ステップＳ１２へ進むと、黄色信号灯２１ｙの大きさに基づき矢印信号探索領域Ａｓ１，Ａｓ２，Ａｖ１，Ａｖ２を設定し、ステップＳ１３へ進む。この場合、図７（ａ）に示すように、信号機２１が横型の場合、点灯している黄色信号灯２１ｙの上下に横型信号機用矢印信号探索領域Ａｓ１，Ａｓ２を設定し、同図（ｂ）に示すように、信号機２１が縦型の場合、点灯している黄色信号灯２１ｙの左右に縦型信号機用矢印信号探索領域Ａｖ１，Ａｖ２を設定する。この場合、矢印信号灯の大きさ（直径）は、黄色信号灯２１ｙとほぼ同一であり、又、各信号灯２１ｙ，２１ｒ，２１ｂの距離もほぼ決められており、更に、矢印信号灯は、各信号灯２１ｒ，２１ｙ，２１ｂから予め決められ距離だけ離間した位置に付設されている。

従って、自車両１から信号機２１までの距離、黄色信号灯２１ｙの実際の直径、及び各信号灯間のピッチ、更には、信号灯を基準とする矢印信号灯の付設位置に基づき、１画素ピッチ当たりの実距離を換算し、黄色信号灯２１ｙを基準として、横型信号機用矢印信号探索領域Ａｓ１，Ａｓ２（図７(a)参照）と、縦型信号機用矢印信号探索領域Ａｖ１，Ａｖ２（図７(b)参照）とをそれぞれ設定する。

その後、ステップＳ６、或いはステップＳ１２からステップＳ１３へ進むと、ステップＳ５、或いはステップＳ１１で検出した基本矢印閾値ＳＬＧと点灯判定輝度値α１とを比較すると共に、基本矢印閾値ＳＬＲのレベルが所定値以上か否かを判定して、消灯信号灯（黄色信号灯２１ｙ、或いは赤色信号灯２１ｒ）が低い位置からの順光により明るく照らされているか否かを調べる。上述したように、消灯信号灯が低い位置からの順光により明るく照らされると、特に、電球式信号灯の場合、カバーレンズに着色された色フィルタ（黄色フィルタ、或いは赤色フィルタ）からの反射により、基本矢印閾値ＳＬＧ，ＳＬＲは高い値となり、点灯している矢印信号灯を検出することができなくなる可能性があるので、消灯信号灯（黄色信号灯２１ｙ、或いは赤色信号灯２１ｒ）が明るく照らされているか否かを調べる。

すなわち、先ず、ステップＳ１３では、基本矢印閾値ＳＬＧと点灯判定輝度値α１を比較する。この判定輝度値α１は、例えば、α１＝２０〜４０（８ビット表示）であり、消灯信号灯（黄色信号灯２１ｙ，赤色信号灯２１ｒ）毎に設定されており、この消灯信号灯（黄色信号灯２１ｙ、赤色信号灯２１ｒ）で検出される画素輝度値Ｇよりも高い値に設定されている。更に、この基本矢印閾値ＳＬＲが基本矢印閾値ＳＬＧの１／ｋ倍（但し、ｋ＝２〜３）を超過しているか否かを調べる。消灯している黄色信号灯２１ｙや赤色信号灯２１Ｒが明るく照らされている場合、通常の反射光で検出される基本矢印閾値ＳＬＲ，ＳＬＧの比率に比し、基本矢印閾値ＳＬＧの比率が高くなる。

そして、ＳＬＧ＞α１、且つ、ＳＬＲ＞（ＳＬＧ／ｋ）の場合、消灯している黄色信号灯２１ｙ或いは赤色信号灯２１ｒが明るく照らされていると判定し、ステップＳ１４へ進む。又、ＳＬＧ≦α１、或いはＳＬＲ≦（ＳＬＧ／ｋ）の場合、黄色信号灯２１ｙ或いは赤色信号灯２１ｒは明るく照らされていないと判定し、ステップＳ１５へ分岐する。

ステップＳ１４へ進むと、基本矢印閾値ＳＬＧに第１係数β１（但し、１＞β１）を乗算して補正し、第１矢印信号閾値ＳＬ１を設定する（ＳＬ１←ＳＬＧ・β１）。更に、基本矢印閾値ＳＬＧで第２矢印信号閾値ＳＬ２を設定する（ＳＬ２←ＳＬＧ）。一方、ステップＳ１５へ分岐すると、基本矢印閾値ＳＬＧに第２係数β２（但し、１＞β２＞β１）を乗算して補正し、第１矢印信号閾値ＳＬ１を設定する（ＳＬ１←ＳＬＧ・β２）。更に、基本矢印閾値ＳＬＧに第３係数ｋを乗算して補正し、第２矢印信号閾値ＳＬ２を設定する（ＳＬ２←ＳＬＧ・ｋ）。

ステップＳ１５で設定される第１、第２矢印信号閾値ＳＬ１，ＳＬ２に比し、ステップＳ１４で設定される第１、第２矢印信号閾値ＳＬ１，ＳＬ２は、明るく照らされている状態の黄色信号灯２１ｙ或いは赤色信号灯２１ｒから検出した基本矢印閾値ＳＬＧ，ＳＬＲに基づいているため、小さい値に値設定することで、両ステップＳ１４，Ｓ１５で設定する第１、第２矢印信号閾値ＳＬ１，ＳＬ２のレベルをほぼ同一にする。尚、ステップＳ１３〜Ｓ１５での処理が、本発明の矢印信号閾値設定手段に対応している。

又、ステップＳ５或いはステップＳ１１で説明したように、基本矢印閾値ＳＬＧは、縦消灯信号灯探索領域Ａｙ１、横消灯信号灯探索領域Ａｙ２毎に設定されている。そのため、ステップＳ１４，Ｓ１５で設定する各矢印信号閾値ＳＬ１，ＳＬ２は、縦型信号機用矢印信号探索領域Ａｖ１，Ａｖ２と横型信号機用矢印信号探索領域Ａｓ１，Ａｓ２で個別に設定される。更に、矢印信号は緑色の色成分が強いため、基本矢印閾値ＳＬＧに基づいて矢印信号閾値ＳＬ１，ＳＬ２が設定されている。

そして、ステップＳ１４、或いはステップＳ１５からステップＳ１６へ進むと、縦型信号機用矢印信号探索領域Ａｖ１，Ａｖ２（横型信号機用矢印信号探索領域Ａｓ１，Ａｓ２）内の画素輝度値Ｇと第１矢印信号閾値ＳＬ１とを比較し、信号探索領域Ａｖ１，Ａｖ２（Ａｓ１，Ａｓ２）内に、矢印信号らしき輝度を示す画素が存在するか否かを調べる。

そして、第１矢印信号閾値ＳＬ１以上の画素輝度値Ｇが、矢印信号探索領域Ａｖ１，Ａｖ２（Ａｓ１，Ａｓ２）内に検出された場合（Ｇ≧ＳＬ１）、矢印信号らしき画素輝度が存在すると判定し、ステップＳ１７へ進む。又、いずれの矢印信号探索領域Ａｖ１，Ａｖ２（Ａｓ１，Ａｓ２）内にも、第１矢印信号閾値ＳＬ１以上の画素輝度値Ｇが検出されなかった場合（Ｇ＜ＳＬ１）、矢印信号らしき画素輝度は存在しないと判定し、ステップＳ２１へジャンプする。

ステップＳ１７へ進むと、このステップＳ１７，Ｓ１８で、点灯している矢印信号灯の明るさレベルを判定する。すなわち、矢印信号灯の明るさは一様ではなく、例えば、電球式矢印信号灯はＬＥＤ式矢印信号灯に比し、光が拡散するため暗く映る。そのため、矢印信号灯らしき画素を検出した場合、この画素の輝度値Ｇの明るさに応じて画素データを記憶させる。

すなわち、ステップＳ１７では、各矢印信号探索領域Ａｖ１，Ａｖ２，Ａｓ１，Ａｓ２内の画素輝度値Ｇと暗さ判定輝度値α２とを比較し、Ｇ≧α２の場合、ステップＳ１８へ分岐し、又、Ｇ＜α２の場合、暗い矢印色を表示していると判定し、ステップＳ１９へ進む。この暗さ判定輝度値α２は、矢印色の点灯を示す画素輝度値Ｇが暗いか否かを判定する値であり、例えば、α２＝１００〜１４０（８ビット表示）に設定されている。

そして、ステップＳ１９へ進むと、今回検出した画素輝度値Ｇは、暗い矢印色の画素として判定し、メモリの所定アドレスに画素データを記憶させて、ルーチンを抜ける。

一方、ステップＳ１８へ分岐すると、画素輝度値Ｇと第２矢印信号閾値ＳＬ２、及び明るさ判定輝度値α３とを比較する。明るさ判定輝度値α３は、矢印色の点灯を示す輝度値判定の上限値を示しており、これ以上明るい輝度値は外乱と判定される。尚、本実施形態では、α３＝２２０〜２５５程度に設定している。

そして、Ｇ＞ＳＬ２、且つ、Ｇ＜α３の場合、ステップＳ２０へ進み、今回検出した画素輝度値Ｇは、明るい矢印色の画素として判定し、メモリの所定アドレスに画素データを記憶させて、ルーチンを抜ける。一方、Ｇ≦ＳＬ２、或いは、Ｇ≧α３の場合、ステップＳ２１へ進む。

又、ステップＳ７、ステップＳ１６、或いはステップＳ１８からステップＳ２１へ進むと、今回、検出した当該画素輝度値Ｇは、外乱を含む矢印色以外の画素であると判定し、メモリの所定アドレスに画素データを記憶させて、ルーチンを抜ける。尚、このステップＳ１６〜Ｓ２１での処理が、本発明の矢印画素検出手段に対応している。

そして、上述した矢印信号検出処理ルーチンを繰り返すことで、図７（ａ）に示す横型信号機用矢印信号探索領域Ａｓ１，Ａｓ２、及び同図（ｂ）に示す縦型信号機用矢印信号探索領域Ａｖ１，Ａｖ２内の全ての画素輝度値Ｇについて、矢印色を表示している画素が存在するか否かを調べる。

その結果、本実施形態では、信号機２１が横型か、縦型か、更には矢印信号灯の大きさを逐一確認することなく、上述したステップＳ１９、及びステップＳ２０で記憶させた画素データを集合させることで、信号機２１が横型か、横型かに関わらず、図８、或いは図９に示すような、矢印信号灯２２ｒ，２２ｆ，２２ｌの点灯状況、及び、それらをパターンマッチングさせることで、矢印の示す方向を認識することができる。

このように、本実施形態によれば、消灯信号灯の検出閾値ＳＬｓ１，ＳＬｓ２を、カメラ制御部１３で設定される露光時間に基づいて算出しているため、走行環境の明るさの変化による外乱（ノイズ）が除去され、最適な値に設定することができる。又、矢印信号灯を検出する基本矢印閾値ＳＬＧ，ＳＬＲを、赤色信号灯２１ｒに隣接する消灯信号灯（黄色信号灯２１ｙ）、或いは黄色信号灯２１ｙが点灯している場合は、それに隣接する消灯信号灯（赤色信号灯２１ｒ）の画素輝度値を基準に設定するようにしたので、信号機２１毎に安定した閾値を設定することができる。

更に、信号機２１が縦型か、横型かを限定することなく矢印信号灯の探索領域Ａｓ１，Ａｓ２，Ａｖ１，Ａｖ２を設定するようにしたので、矢印信号灯の取りこぼしがなくなり、検出精度を高めることができる。又、探索領域Ａｓ１，Ａｓ２，Ａｖ１，Ａｖ２内で検出した画素輝度値Ｇを明るい矢印色と暗い矢印色とに区分して記憶させるようにしたので、矢印信号灯の種別（ＬＥＤ式、電球式等）を容易に識別することができる。

尚、本発明は、上述した実施形態に限るものではなく、例えば、矢印信号灯の矢印色は、緑色に限定されず、黄色、或いは赤色であってもよい。この場合、上述した基本矢印閾値、及び画素輝度を当該矢印色に合わせて設定することで、上述した矢印信号検出処理ルーチンを適用させることができる。

１…自車両、
２…車載カメラ、
１１…画像認識ユニット、
１２…画像認識処理部、
１３…カメラ制御部、
１４…矢印信号検出部、
２１…信号機、
２１ｒ…赤色信号灯、
２１ｙ…黄色信号灯、
２２ｒ，２２ｆ，２２ｌ…矢印信号灯、
Ａｖ１，Ａｖ２…縦型信号機用矢印信号探索領域、
Ａｙ１，Ａｒ１…縦消灯信号灯探索領域、
Ａｙ２，Ａｒ２…横消灯信号灯探索領域、
Ｒ，Ｇ，Ｂ…画素輝度値、
ｋ…第３係数、
ＳＬ１…第１矢印信号閾値、
ＳＬ２…第２矢印信号閾値、
ＳＬＧ，ＳＬＲ…基本矢印閾値、
ＳＬｓ１，ＳＬｓ２…消灯信号灯検出閾値、
α１…点灯判定輝度値
α２…暗さ判定輝度値
α３…明るさ判定輝度値、
β１…第１係数、
β２…第２係数

Claims (5)

1. 自車両前方の走行環境を撮影する車載カメラと、
   前記車載カメラで撮影した画像に基づき信号機に設けられている信号灯を認識すると共に平均輝度値を検出する画像認識処理手段と、
   前記画像認識処理手段で認識した平均輝度値に基づき前記車載カメラの露光時間を設定するカメラ制御手段と、
   前記信号機に付設されている矢印信号灯を検出する矢印信号検出手段と
   を備える矢印信号灯検出装置において、
   前記矢印信号検出手段は、
   前記カメラ制御手段で設定した露光時間に基づき消灯信号灯を識別する判定輝度値を設定する判定輝度値設定手段と、
   点灯信号灯の大きさに基づき該点灯信号灯に隣接する前記消灯信号灯の探索領域を設定する消灯信号灯領域設定手段と、
   前記点灯信号灯の大きさに基づき前記矢印信号灯の探索領域を設定する矢印信号領域設定手段と、
   前記判定輝度値設定手段で設定した判定輝度値と前記消灯信号灯領域設定手段で設定した探索領域の画素輝度値とを比較し、該判定輝度値以上で且つ最小画素輝度値を示す画素輝度値を基本矢印閾値として設定する基本矢印閾値設定手段と、
   前記基本矢印閾値設定手段で設定した基本矢印閾値に基づき矢印信号閾値を設定する矢印信号閾値設定手段と、
   前記矢印検出領域設定手段で設定した検出領域内で検出した画素輝度値と前記矢印信号閾値設定手段で設定した矢印信号閾値とを比較して、前記矢印信号灯の点灯を示す画素を検出する矢印画素検出手段と
   を備えることを特徴とする矢印信号灯検出装置。
2. 前記矢印信号閾値設定手段は、前記消灯信号灯領域設定手段で設定した探索領域内の画素輝度値に基づき、該消灯信号灯が消灯状態か点灯状態かを判定し、消灯状態の場合は点灯状態の場合に比し増加する値の係数で前記基本矢印閾値を補正して前記矢印信号閾値を設定する
   ことを特徴とする請求項１記載の矢印信号灯検出装置。
3. 前記矢印画素検出手段は、前記矢印信号領域設定手段で設定した探索領域内の画素輝度値が前記矢印信号閾値より大きく、且つ暗さ判定輝度値より小さい場合、暗い点灯と判定する
   ことを特徴とする請求項１或いは２記載の矢印信号灯検出装置。
4. 前記矢印画素検出手段は、前記矢印信号領域設定手段で設定した探索領域内の画素輝度値が前記矢印信号閾値より大きく、且つ暗さ判定輝度値より大きく、且つ該暗さ判定輝度値よりも大きな値の明るさ判定輝度値より小さい場合、明るい点灯と判定する
   ことを特徴とする請求項１〜３の何れか１項に記載の矢印信号灯検出装置。
5. 前記点灯信号灯は赤色信号灯或いは黄色信号灯である
   ことを特徴とする請求項１〜４の何れか１項に記載の矢印信号灯検出装置。

Images