JP2015207035A - 交通信号機認識装置及びコンピュータプログラム - Google Patents

Abstract

【課題】より精度よく交通信号機の赤信号から青信号への変化を認識できる「交通信号機認識装置及びコンピュータプログラム」を提供する。
【解決手段】
カメラ１で撮影した画像I(t)と数秒前に撮影された画像I(t-1)との差分の絶対値によって生成した差分画像Idに含まれる、左右に並んだ二つの円の画像パターン、二つの円が左右方向に連結した画像パターン、二つの円を左右方向に部分的に重ねた上で二つの円の重複部分を抜き取った形状の画像パターンRecPを検出する。いずれかの画像パターンが検出でき、かつ、検出した画像パターンの領域内にある高輝度領域が、画像I(t-1)の撮影時から画像I(t)の撮影時までに右から左に移動している場合に、交通信号機の赤信号から青信号への変化を検出する。
【選択図】図４

Description

本発明は、自動車に搭載したカメラで撮影した画像を用いて 交通信号機の表示状態を認識する技術に関するものである。

自動車に搭載したカメラで撮影した画像を用いて交通信号機の表示状態を認識する技術としては、カラーカメラで自動車前方の画像を撮影し、画像中の自動車前方上方の位置に対応する位置に、円形の赤色の画像パターンが表れたときに、前方の交通信号機の表示状態が赤信号であると認識する技術が知られている（たとえば、特許文献１）。

特開２００７-２５６３０３号公報

上述したカラーカメラで撮影した画像中の画像パターンの形状と色に基づいて交通信号機の表示状態を認識する技術によれば、市街地等においては様々な形状の様々な色の発光体が各所に存在するために、交通信号機の表示灯以外の発光体を交通信号機の表示灯と誤検出し、その結果、交通信号機の表示状態を誤認してしまう可能性がある。

また、夜間においては、交通信号機の表示灯が周囲に比べ明るすぎるために、画像中の表示灯の像が白飛びしてしまうことがあり、この場合には、表示灯の色の情報が得られなないことより交通信号機の表示状態を認識することができなくなってしまう。

したがって、このような画像中の画像パターンの形状と色とに基づいて交通信号機の表示状態を認識する技術を、そのまま交通信号機の赤信号から青信号への変化の認識に適用しても、精度良く当該変化を検出することができない。

そこで、本発明は、より精度よく交通信号機の赤信号から青信号への変化を認識できる交通信号機認識装置を提供することを課題とする。

前記課題達成のために、本発明は、自動車に搭載され、当該自動車前方の交通信号機の赤信号から青信号への変化を検出する交通信号機認識装置に、前記自動車の停車中の有無を検出する停車検出部と、自動車前方を撮影するカメラと、前記停車検出部が前記自動車の停車中を検出している期間中、前記カメラが撮影した第１の画像と当該画像より所定期間前に前記カメラによって撮影された第２の画像との各画素の輝度の差分の絶対値を表す差分画像を生成する差分画像生成部と、前記差分画像に含まれる複数の所定の画像パターンを認識するパターン検出部と、前記パターン検出部が複数の所定の画像パターンのいずれかを認識したときにのみ満たされる所定の条件が満たされたときに、自動車前方の交通信号機の赤信号から青信号への変化を検出する信号変化検出部とを設けたものである。ただし、前記複数の所定の画像パターンは、二つの円が左右方向に間隔をおいて並んだ第１の画像パターンと、左右方向に長い長円形の左右方向中央部分を上下方向にくびれさせた形状の外周形状を、外周形状として有する所定の画像パターンである第２の画像パターンとを、少なくとも含むものである。

ここで、この交通信号機認識装置は、前記パターン検出部において、前記第２の画像パターンとして、二つの円を部分的に重複して左右方向に並べた形状から当該二つの円の重複部分を除いた形状の画像パターンを検出することが好ましい。

または、前記パターン検出部は、前記第２の画像パターンとして、二つの円を左右方向に連結させた形状の画像パターンを検出することも好ましい。
また、以上の交通信号機認識装置は、前記所定の条件として、認識した画像パターンに対応する領域の左側部分は前記第１の画像の方が前記第２の画像よりも明るく右側部分は前記第２の画像の方が前記第１の画像よりも明るい場合にのみ満たされる条件を用いることが好ましい。

また、以上の交通信号機認識装置であって、前記複数の所定の画像パターンに、二つの円が上下方向に間隔をおいて並んだ第３の画像パターンと、上下方向に長い長円形の上下方向中央部分を左右方向にくびれさせた形状の外周形状を、外周形状として有する第４の画像パターンとを含めるようにしてもよい。

そして、この場合には、前記パターン検出部において、前記第４の画像パターンとして、二つの円を部分的に重複して上下方向に並べた形状から当該二つの円の重複部分を除いた形状の画像パターンを検出することが好ましい。

また、前記パターン検出部において、前記第４の画像パターンとして、二つの円を上下方向に連結させた形状の画像パターンを検出することも好ましい。
また、以上のように前記第３の画像パターンと前記第４の画像パターンを検出する場合には、前記所定の条件は、前記認識した画像パターンが、前記第１の画像パターンと前記第２の画像パターンとのいずれかである場合には、認識した画像パターンに対応する領域の左側部分は前記第１の画像の方が前記第２の画像よりも明るく、右側部分は前記第２の画像の方が前記第１の画像よりも明るい場合にのみ満たされ、前記認識した画像パターンが、前記第３の画像パターンと前記第４の画像パターンとのいずれかである場合には、認識した画像パターンに対応する領域の下側部分は前記第１の画像の方が前記第２の画像よりも明るく、上側部分が前記第２の画像の方が前記第１の画像よりも明るい場合にのみ満たされる条件とすることが好ましい。

ここで、以上の交通信号機認識装置に、さらに、前記信号変化検出部が、自動車前方の交通信号機の赤信号から青信号への変化を検出した場合に、交通信号機の表示状態への注意を促すメッセージを出力するメッセージ出力部を設けることも好ましい。

以上のような交通信号機認識装置によれば、色情報を用いずに輝度情報のみに基づいて交通信号機の赤信号から青信号への変化を検出するので、適正な色情報が得られない場合でも交通信号機の赤信号から青信号への変化を検出することができる。また、二つの円が左右/上下方向に間隔をおいて並んだ画像パターンに加え、左右/上下方向に長い長円形の左右/上下方向中央部分を上下/左右方向にくびれさせた形状の外周形状を、外周形状として有する画像パターンも、交通信号機の赤信号から青信号への変化を表す画像パターンとして検出するので、夜間や霧や霞が発生している状態で、フレアやチンダル現象や散乱によって交通信号機の表示灯からの光が表示灯よりも大きなサイズの像としてカメラが撮影した画像に写り込んだ場合にも、適正に交通信号機の赤信号から青信号への変化を検出することができる。

以上のように、本発明によれば、より精度よく交通信号機の赤信号から青信号への変化を認識できる交通信号機認識装置を提供することができる。

本発明の実施形態に係る交通信号機認識装置の構成を示す。 本発明の実施形態に係る青信号変化検出に用いる画像パターンの検出動作例を示す図である。 本発明の実施形態に係る青信号変化検出に用いる画像パターンの検出動作例を示す図である。 本発明の実施形態に係る青信号変化検出に用いる画像パターンの検出動作例を示す図である。 本発明の実施形態に係る信号検出処理を示すフローチャートである。 本発明の実施形態に係る青信号変化検出に用いる画像パターンの他の検出法を示す図である。 本発明の実施形態に係る青信号変化検出に用いる画像パターンの他の検出法を示す図である。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る交通信号機認識装置の構成を示す。
交通信号機認識装置は、自動車に搭載される装置であり、カメラ１、カメラ１が撮影した画像を格納する画像メモリ２、差分画像生成部３、信号変化判定部４、制御部５、自動車の走行中/停車中の状態を検出する車両状態センサ６、スピーカ７，メモリ８を備えている。
ただし、このような交通信号機認識装置は、ＣＰＵやメモリなどを備えたコンピュータを用いて構成してもよく、この場合、差分画像生成部３、信号変化判定部４、制御部５などは、コンピュータが、所定のコンピュータプログラムを実行することにより実現されるものである。

このような構成において、カメラ１は、図１ｂに示すように、自動車前方のモノクロの画像を撮影する。
制御部５は、車両状態センサ６が自動車の停車中の状態を検出すると、停車中の状態を検出している期間中、差分画像生成部３、信号変化判定部４に以下の動作を行わせる。
すなわち、差分画像生成部３は、カメラ１によって撮影され画像メモリ２に格納された最新の画像と、最新の画像より所定時間（たとえば、１秒から３秒程度）前に撮影された画像を読み出し、二つの画像の差分の絶対値を表す画像を差分画像として生成し、二つの画像の差分の正負の分布を表す正負分布情報と共にメモリ８に格納し、差分画像生成完了を信号変化判定部４に通知する処理を繰り返し行う。

ここで、最新の画像をI(t)、最新の画像より所定時間前に撮影された画像をI(t-1) 、差分画像をIdとして、差分画像Idの各座標の画素値は、画像I(t)の当該座標の画素値（輝度）から画像I(t-1) の当該座標の画素値を引いた値の絶対値として算出する。

また、正負分布情報は、差分画像Idの各座標の正負を表す情報であり、差分画像Idの各座標の正負は、画像I(t)の当該座標の画素値（輝度）から画像I(t-1) の当該座標の画素値を引いた値の正負として算出する。

図２、３、４に、このようにして生成した、差分画像Idの例を示す。図２は、晴天時の昼間に撮影した画像I(t)、画像I(t-1)、画像I(t)と画像I(t-1)から生成した差分画像Idの交通信号機の像の部分を示し、図３、４は、霧や霞が発生している状態で夜間に撮影した画像I(t)、画像I(t-1)、画像I(t)と画像I(t-1)から生成した差分画像Idの交通信号機の像の部分を示している。また、図２、３、４のいずれも、画像I(t)撮影時の交通信号機の表示状態は青信号であり、画像I(t-1)の撮影時の交通信号機の表示状態が赤信号である。

さて、図２と、図３、４の比較によっても示されるように、夜間や霧や霞が発生している状態では、フレアやチンダル現象や散乱によって交通信号機の表示灯からの光が表示灯よりも大きなサイズの像としてカメラ１が撮影した画像I(t)、I(t-1)に写りこむことがある。

次に、信号変化判定部４は、交通信号機の赤信号から青信号への変化を検出するために信号変化検出処理を行う。
図５に、信号変化判定部４が行う信号変化検出処理の手順を示す。
図示すように、この処理では差分画像生成部３から差分画像生成完了の通知を受けたならば（ステップ５０２）、メモリ８から最新の差分画像Idと正負分布情報を取得する（ステップ５０４）。

そして、差分画像Id中に左右に並んだ二つの円の画像パターンが含まれるかどうか調べ（５０６）、左右に並んだ二つの円の画像パターンを検出した場合にはステップ５１０に進む。

ここで、図２に示したように、晴天時の昼間に表示状態が青信号である交通信号機を撮影した画像I(t)と、晴天時の昼間に表示状態が赤信号である交通信号機を撮影した画像I (t-1)から生成された差分画像Idには、左右に並んだ二つの円の画像パターンが表れる。そこで、信号変化検出処理では、ステップ５０６で、差分画像Id中の左右に並んだ二つの円の画像パターンを検出することにより、図２に示したような、カメラ１の撮影した画像の、赤信号である交通信号機を撮影した画像I (t-1)から青信号である交通信号機を撮影した画像I(t)への変化を検出する。

なお、左右に並んだ二つの円の画像パターンの検出は、たとえば、図２に示すように、差分画像Idを所定のしきい値で二値化した二値化差分画像Id2を生成し、パターンマッチングや輪郭検出などにより、RecPに示すように二値化差分画像Id2中の二つの円２００を画像認識することにより行うことができる。

さて，図５に戻り、左右に並んだ二つの円の画像パターンを検出できなかった場合には（ステップ５０６）、差分画像Id中に、二つの円が左右方向に連結した画像パターンと、二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンとの二つの画像パターンのいずれかが含まれるかどうか調べ（５０８）、二つの画像パターンのいずれかを検出できた場合にはステップ５１０に進み、二つの画像パターンのいずれも検出できなかった場合にはステップ５０２に戻り、次の差分画像生成完了の通知を待つ。

さて、図３、４に示したように、夜間や霧や霞が発生している状態で表示状態が青信号である交通信号機を撮影した画像I(t)と、夜間や霧や霞が発生している状態で表示状態が赤信号である交通信号機を撮影した画像I (t-1)から生成された差分画像Idには、左右に並んだ二つの円の画像パターンではなく、二つの円が左右方向に連結した画像パターン（図３）や、二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターン（図４）が表れることがある。

そこで、信号変化検出処理では、ステップ５０８で、差分画像Id中の、二つの円が左右方向に連結した画像パターンや、二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンを検出することにより、図３、４に示したような、カメラ１の撮影した画像の、赤信号である交通信号機を撮影した画像I (t-1)から青信号である交通信号機を撮影した画像I(t)への変化を検出する。

ここで、二つの円が左右方向に連結した画像パターンや、二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンの検出は、たとえば、以下のように行う。

すなわち、上記二つの画像パターンは、二つの円が左右方向に連結もしくは部分的に重なった形状の外周形状を、外周形状として有する点を特徴としている。
そこで、差分画像Id中の、二つの円が左右方向に連結もしくは部分的に重なった形状の外周形状を、外周形状として有する画像パターンを検出することにより、上記二つの画像パターンを検出する。

より具体的には、この二つの円が左右方向に連結もしくは部分的に重なった形状の外周形状を、外周形状として有する画像パターンの検出は、たとえば、図３、４に示すように、差分画像Idを所定のしきい値で二値化した二値化差分画像Id2を生成し、RecPに示すように、二値化差分画像Id2中に含まれる、二つの円が左右方向に連結もしくは部分的に重なった形状の外周形状に相当する輪郭３００、４００を、二値化差分画像Id2から画像認識することにより行う。

さて、図５に戻り、以上のようにしてステップ５０６またはステップ５０８からステップ５１０に進んだならば、正負分布情報に基づいて、ステップ５０６またはステップ５０８で検出した画像パターンの領域内にある高輝度領域が、画像I(t-1)の撮影時から画像I(t)の撮影時までに右から左に移動しているかどうかを調べる。

なお、赤信号は青信号の右側に配置されており、赤信号、青信号の順に点灯するので、最新の画像I(t)が青信号の交通信号を撮影したものであり、最新の画像I(t)の所定期間前の画像I(t-1)が赤信号の交通信号を撮影したものである場合、画像I(t-1)の高輝度領域（点灯状態の赤色表示灯の像）に比べ、画像I(t) の高輝度領域（点灯状態の青色表示灯の像）は右から左に移動したものとなる。なお、黄信号の後に青信号が点灯することはなく、青信号から黄信号への変化時や、黄信号から赤信号の変化時には、高輝度領域は右から左ではなく左から右に移動する。

また、この場合、画像I(t-1)の高輝度領域（点灯状態の赤色表示灯の像）は、画像I(t)では赤色表示灯が消灯されているために高輝度領域で無くなっているので、正負分布情報が表す画像I(t-1)の高輝度領域に対応する差分画像Idの領域内の画素の値は負になり、画像I(t)の高輝度領域（点灯状態の青色表示灯の像）は、画像I(t-1)では青色表示灯が消灯されていたために高輝度領域では無かったので、正負分布情報が表す画像I(t)の高輝度領域に対応する差分画像Idの領域内の画素の値は正となる。

そこで、ステップ５１０では、ステップ５０６で差分画像中に左右に並んだ二つの円の画像パターンを検出した場合には、正負分布情報が、右側の円の画像パターン内のおおよその画素が負であり、左側の円の画像パターン内のおおよその画素が正であることを表している場合に、高輝度領域が右から左に移動していると判定する。

また、ステップ５１０では、ステップ５０８で差分画像中に二つの円が左右方向に連結もしくは部分的に重なった形状の外周形状を、外周形状として有する画像パターンを検出した場合には、正負分布情報が、画像パターンの右側に負の画素が集まっており、画像パターンの左側に正の画素が集まっていることを表している場合に、高輝度領域が右から左に移動していると判定する。

そして、高輝度領域が右から左に移動していない場合には（ステップ５１０）、ステップ５０２に戻り、次の差分画像生成完了の通知を待つ。
一方、高輝度領域が右から左に移動している場合には（ステップ５１０）、交通信号機の赤信号から青信号への変化を検出し（ステップ５１２）、その旨を制御部５に通知する。

さて、図１ａに戻り、制御部５は、信号変化判定部４から以上のように赤信号から青信号への変化を通知されたとき、もしくは赤信号から青信号への変化を通知された後に自動車の停車が所定期間（たとえば、3秒）継続したときに、スピーカ７から青信号への変化への留意を促す音声メッセージを出力する。
この音声メッセージは、たとえば、「信号を確認して下さい」といった音声メッセージや、「信号が変わりました確認して下さい」といった音声メッセージとする。
以上、本発明の実施形態について説明した。

ところで、以上の実施形態の信号変化検出処理のステップ５０８で検出した二つの円が左右方向に連結した画像パターンと、差分画像Id中の二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンとは共に、左右方向に長い長円形の左右方向中央部分を上下方向にくびれさせた形状の外周形状を、外周形状として有する画像パターンである。そこで、信号変化検出処理のステップ５０８では、右方向に長い長円形の左右方向中央部分を上下方向にくびれさせた形状の外周形状を、外周形状として有する画像パターンを検出できた場合に、二つの円が左右方向に連結した画像パターンと、差分画像Id中の二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンとのいずれかが検出できたものとしてステップ５１０に進むようにしてもよい。

また、以上の実施形態の信号変化検出処理では、図３に示した差分画像Id中の二つの円が左右方向に連結した画像パターンや、図４に示した差分画像Id中の二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンの検出を以下のように行うようにしてもよい。

すなわち、図６ａ、ｂに示すように差分画像Idを二値化した二値化差分画像Id2の水平方向の白画素の度数分布曲線６１と、垂直方向の白画素の度数分布曲線６２を算出し、水平方向の白画素の度数分布曲線６１が山谷山の形状を有し、垂直方向の白画素の度数分布曲線６２が山である領域を二値化差分画像Id2中に検出できた場合に、図３に示した差分画像Id中の二つの円が左右方向に連結した画像パターンと、図４に示した差分画像Id中の二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンとのうちのいずれかを検出できたものとするようにしてもよい。

なお、交通信号機の表示灯がLED方式の表示灯である場合や、差分画像Id2の生成に用いた画像I(t)、I(t-1)の撮影中にカメラ１の自動露出調整機構により露出が変更された場合、二値化差分画像Id2中に図６ｃに示したような円環状の画像パターンが表れることがある。しかし、図６ｃに示したような円環状の画像パターンでは、水平方向の白画素の度数分布曲線６１も垂直方向の白画素の度数分布曲線６２も、山谷山の形状となるため、このような円環状の画像パターンを、二つの円が左右方向に連結した画像パターンや二つの円を左右方向に部分的に重ねて、二つの円の重複部分を抜き取った形状の画像パターンとして誤検出してしまうことはない。

または、実施形態の信号変化検出処理では、図４に示した差分画像Id中の二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンの検出を以下のように行うようにしてもよい。

すなわち、図７ａ１に示すような差分画像Id中の高輝度領域の上下方向について中央の水平ラインVc上の各画素の値を表した曲線が図７ａ２に示すように山谷山の形状を有しており、かつ、高輝度領域の画像パターンとして、図７ａ３に示すように、高輝度領域の左側にある、右側が凹んだ二つの弧で囲まれたいわゆる三日月形状の画像パターン７０１と、当該三日月形状の画像パターンとほぼ左右対称な、高輝度領域の右側にある三日月形状の画像パターン７０２との二つの三日月形状の画像パターンが検出できた場合に、差分画像Id中に、二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンを検出したものとしてもよい。

ただし、このような二つの三日月形状の画像パターンの検出は、より簡便には、高輝度領域の上下方向中央部分７１０の輪郭が、左から右に向かって並んだ、右側が凹んだ二つの弧と、当該二つの弧と左右対称な左側が凹んだ二つの弧とより形成されている場合に、二つの三日月形状の画像パターンが存在していると判定するようにしてもよい。

ただし、この場合には、図７ｂ１に示すような円環状の画像パターンも、図７ａ１に示した画像パターンと同様に、中央の水平ラインVc上の各画素の値を表した曲線が図７ｂ２に示すように山谷山の形状を有しており、高輝度領域の上下方向中央部分７１０の輪郭が、図７ｂ３に示すように左から右に向かって並んだ、右側が凹んだ二つの弧と、当該二つの弧と左右対称な左側が凹んだ二つの弧とより形成されるため、中央の二つの弧が同じ円の一部を形成しているかどうかを調べ、同じ円の一部を形成している場合には、二つの三日月形状の画像パターンが存在していると判定しないようにすることにより、この図７ｂ１に示すような円環状の画像パターンを、二つの三日月形状の画像パターンとして誤検出しないようにする。

なお、以上の実施形態では、表示灯が左右に並んだ交通信号機の赤信号から青信号への変化を検出したが、本実施形態は、表示灯が上下に並んだ交通信号機の赤信号から青信号への変化の検出にも同様に適用することができる。すなわち、この場合には、以上の信号変化検出処理の、ステップ５０６では、左右に並んだ二つの円の画像パターンに加えて上下に並んだ二つの円の画像パターンを検出し、ステップ５０８では、二つの円が左右方向に連結した画像パターンと、二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンとに加えて、二つの円が上下方向に連結した画像パターンと、二つの円を上下方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンとを検出するようにする。そして、ステップ５１０では、左右に並んだ二つの円の画像パターン、二つの円が左右方向に連結した画像パターン、二つの円を左右方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンが検出された場合には、高輝度領域が右から左に移動している場合に、交通信号機の赤信号から青信号への変化を検出し、上下に並んだ二つの円の画像パターン、二つの円が上下方向に連結した画像パターン、二つの円を上下方向に部分的に重ね、二つの円の重複部分を抜き取った形状の画像パターンが検出された場合には、高輝度領域が上から下に移動している場合に、交通信号機の赤信号から青信号への変化を検出するようにする。

以上のように、本実施形態によれば、色情報を用いずに輝度情報のみに基づいて交通信号機の赤信号から青信号への変化を検出するので、適正な色情報が得られない場合でも交通信号機の赤信号から青信号への変化を検出することができる。また、二つの円が左右/上下方向に間隔をおいて並んだ画像パターンに加え、左右/上下方向に長い長円形の左右方向/上下中央部分を上下/左右方向にくびれさせた形状の外周形状を、外周形状として有する所定の画像パターンも、交通信号機の赤信号から青信号への変化を表す画像パターンとして検出するので、夜間や霧や霞が発生している状態で、フレアやチンダル現象や散乱によって交通信号機の表示灯からの光が表示灯よりも大きなサイズの像としてカメラが撮影した画像に写り込んだ場合にも、適正に交通信号機の赤信号から青信号への変化を検出することができる。

１…カメラ、２…画像メモリ、３…差分画像生成部、４…信号変化判定部、５…制御部、６…車両状態センサ、７…スピーカ、８…メモリ。

Claims (20)

1. 自動車に搭載され、当該自動車前方の交通信号機の赤信号から青信号への変化を検出する交通信号機認識装置であって、
   前記自動車の停車中の有無を検出する停車検出部と、
   自動車前方を撮影するカメラと、
   前記停車検出部が前記自動車の停車中を検出している期間中、前記カメラが撮影した第１の画像と当該画像より所定期間前に前記カメラによって撮影された第２の画像との各画素の輝度の差分の絶対値を表す差分画像を生成する差分画像生成部と、
   前記差分画像に含まれる複数の所定の画像パターンを認識するパターン検出部と、
   前記パターン検出部が前記複数の所定の画像パターンのいずれかを認識したときにのみ満たされる所定の条件が満たされたときに、自動車前方の交通信号機の赤信号から青信号への変化を検出する信号変化検出部とを有し、
   前記複数の所定の画像パターンは、二つの円が左右方向に間隔をおいて並んだ第１の画像パターンと、左右方向に長い長円形の左右方向中央部分を上下方向にくびれさせた形状の外周形状を、外周形状として有する所定の画像パターンである第２の画像パターンとを、少なくとも含むことを特徴とする交通信号機認識装置。
2. 請求項１記載の交通信号機認識装置であって、
   前記パターン検出部は、前記第２の画像パターンとして、二つの円を部分的に重複して左右方向に並べた形状から当該二つの円の重複部分を除いた形状の画像パターンを検出することを特徴とする交通信号機認識装置。
3. 請求項１記載の交通信号機認識装置であって、
   前記パターン検出部は、前記第２の画像パターンとして、二つの円を左右方向に連結させた形状の画像パターンを検出することを特徴とする交通信号機認識装置。
4. 請求項２記載の交通信号機認識装置であって、
   前記パターン検出部は、前記第２の画像パターンとして、さらに、二つの円を左右方向に連結させた形状の画像パターンを検出することを特徴とする交通信号機認識装置。
5. 請求項１、２、３または４記載の交通信号機認識装置であって、
   前記所定の条件は、認識した画像パターンに対応する領域の左側部分は前記第１の画像の方が前記第２の画像よりも明るく、右側部分は前記第２の画像の方が前記第１の画像よりも明るい場合にのみ満たされる条件であることを特徴とする交通信号機認識装置。
6. 請求項１記載の交通信号機認識装置であって、
   前記複数の所定の画像パターンは、さらに、二つの円が上下方向に間隔をおいて並んだ第３の画像パターンと、上下方向に長い長円形の上下方向中央部分を左右方向にくびれさせた形状の外周形状を、外周形状として有する第４の画像パターンとを含むことを特徴とする交通信号機認識装置。
7. 請求項６記載の交通信号機認識装置であって、
   前記パターン検出部は、前記第４の画像パターンとして、二つの円を部分的に重複して上下方向に並べた形状から当該二つの円の重複部分を除いた形状の画像パターンを検出することを特徴とする交通信号機認識装置。
8. 請求項６記載の交通信号機認識装置であって、
   前記パターン検出部は、前記第４の画像パターンとして、二つの円を上下方向に連結させた形状の画像パターンを検出することを特徴とする交通信号機認識装置。
9. 請求項７記載の交通信号機認識装置であって、
   前記パターン検出部は、前記第４の画像パターンとして、さらに、二つの円を上下方向に連結させた形状の画像パターンを検出することを特徴とする交通信号機認識装置。
10. 請求項６、７、８または９記載の交通信号機認識装置であって、
    前記所定の条件は、
    前記認識した画像パターンが、前記第１の画像パターンと前記第２の画像パターンとのいずれかである場合には、認識した画像パターンに対応する領域の左側部分は前記第１の画像の方が前記第２の画像よりも明るく、右側部分は前記第２の画像の方が前記第１の画像よりも明るい場合にのみ満たされ、
    前記認識した画像パターンが、前記第３の画像パターンと前記第４の画像パターンとのいずれかである場合には、認識した画像パターンに対応する領域の下側部分は前記第１の画像の方が前記第２の画像よりも明るく、上側部分は前記第２の画像の方が前記第１の画像よりも明るい場合にのみ満たされる条件であることを特徴とする交通信号機認識装置。
11. 請求項１、２、３、４、５、６、７、８、９または１０記載の交通信号機認識装置であって、
    前記信号変化検出部が、自動車前方の交通信号機の赤信号から青信号への変化を検出した場合に、交通信号機の表示状態への注意を促すメッセージを出力するメッセージ出力部を有することを特徴とする交通信号機認識装置。
12. 自動車に搭載されるコンピュータによって読み取られ実行されるコンピュータプログラムであって、
    当該コンピュータプログラムは、前記コンピュータに、
    前記自動車が停車している期間中、自動車前方を撮影するカメラカメラが撮影した第１の画像と当該画像より所定期間前に前記カメラによって撮影された第２の画像との各画素の輝度の差分の絶対値を表す差分画像を生成する差分画像生成ステップと、
    前記差分画像に含まれる複数の所定の画像パターンを認識するパターン検出ステップと、
    前記複数の所定の画像パターンのいずれかを認識したときにのみ満たされる所定の条件が満たされたときに、自動車前方の交通信号機の赤信号から青信号への変化を検出する信号変化検出ステップとを実行させるコンピュータプログラムであって、
    前記複数の所定の画像パターンは、二つの円が左右方向に間隔をおいて並んだ第１の画像パターンと、左右方向に長い長円形の左右方向中央部分を上下方向にくびれさせた形状の外周形状を、外周形状として有する所定の画像パターンである第２の画像パターンとを、少なくとも含むことを特徴とするコンピュータプログラム。
13. 請求項１２記載のコンピュータプログラムであって、
    前記パターン検出ステップにおいて、前記第２の画像パターンとして、二つの円を部分的に重複して左右方向に並べた形状から当該二つの円の重複部分を除いた形状の画像パターンを検出することを特徴とするコンピュータプログラム。
14. 請求項１２記載のコンピュータプログラムであって、
    前記パターン検出ステップにおいて、前記第２の画像パターンとして、二つの円を左右方向に連結させた形状の画像パターンを検出することを特徴とするコンピュータプログラム。
15. 請求項１３記載のコンピュータプログラムであって、
    前記パターン検出ステップにおいて、前記第２の画像パターンとして、さらに、二つの円を左右方向に連結させた形状の画像パターンを検出することを特徴とするコンピュータプログラム。
16. 請求項１２、１３、１４または１５記載のコンピュータプログラムであって、
    前記所定の条件は、認識した画像パターンに対応する領域の左側部分は前記第１の画像の方が前記第２の画像よりも明るく右側部分は前記第２の画像の方が前記第１の画像よりも明るい場合にのみ満たされる条件であることを特徴とするコンピュータプログラム。
17. 請求項１３記載のコンピュータプログラムであって、
    前記複数の所定の画像パターンは、さらに、二つの円が上下方向に間隔をおいて並んだ第３の画像パターンと、上下方向に長い長円形の上下方向中央部分を左右方向にくびれさせた形状の外周形状を、外周形状として有する第４の画像パターンとを、少なくとも含むことを特徴とするコンピュータプログラム。
18. 請求項１７記載のコンピュータプログラムであって、
    前記パターン検出ステップにおいて、前記第４の画像パターンとして、二つの円を部分的に重複して上下方向に並べた形状から当該二つの円の重複部分を除いた形状の画像パターンを検出することを特徴とするコンピュータプログラム。
19. 請求項１８記載のコンピュータプログラムであって、
    前記パターン検出ステップにおいて、前記第４の画像パターンとして、さらに、二つの円を上下方向に連結させた形状の画像パターンを検出することを特徴とするコンピュータプログラム。
20. 請求項１３、１４、１５、１６、１７、１８または１９記載のコンピュータプログラムであって、
    前記コンピュータに、さらに、自動車前方の交通信号機の赤信号から青信号への変化を検出した場合に、交通信号機の表示状態への注意を促すメッセージを出力するメッセージ出力ステップを実行させることを特徴とするコンピュータプログラム。