JP2005301519A - 信号機検出装置および信号機検出方法 - Google Patents

Abstract

【課題】 画像中における信号機を高い精度で検出することができる信号機検出装置および検出方法を提供する。
【解決手段】 信号機検出装置１は、カメラ２から入力されるカラー画像をカラー画像入力部１１で入力処理し、色抽出部１２で赤色、青色、黄色部分を抽出し、円形度導出部１３で各色部分の円形度を導出する。信号灯候補検出部１４では、これらの色および円形度から信号灯候補を抽出し、信号灯探索領域決定部１５で他の信号灯の探索領域を決定する。信号灯候補状態比較部１６では、現フレームと前フレームとの信号灯探索領域内を比較し、信号灯候補および対応信号灯に明滅があるか否かを判断する。その結果、周期的な明滅が認められた場合には、信号灯候補が信号機における信号灯であると判断し、信号機として検出する。
【選択図】 図１

Description

本発明は、撮像手段で撮像された画像中における信号灯を検出する信号機検出装置および検出方法に関する。

近年、車両に搭載されたカメラで道路状況を撮像して得られた画像に基づく車両の制御などが考えられている。その際、カメラで撮像された画像を画像処理し、画像中における信号灯の存在、また、信号灯により発せられる信号を認識することが非常に重要なことになる。

このような信号灯検出装置としては、従来特開２０００−３５３２９２号公報に開示された信号識別装置がある。この信号識別装置は、信号機の基本灯火を撮像し、点灯中の一の灯火以外の基本灯火の輝度値を消灯状態の輝度値とする。そして、基本灯火の現在の輝度値と消灯状態の輝度値とを比較し、基本灯火の現在の点灯状態を判別するというものである。
特開２０００−３５３２９２号公報

しかし、上記特許文献１に開示された信号識別装置においては、カメラで撮像された画像内における信号機の基本灯火の点灯状態を判別するものであるが、信号機は検出されたことが前提とされている。ところが、カメラで撮像される画像には、信号灯のほか、信号灯に似た看板やネオンなどが存在することがあり、これらを誤検出してしまい、信号灯を検出する精度が低いという問題があった。

そこで、本発明の課題は、画像中における信号機を高い精度で検出することができる信号機検出装置および検出方法を提供することにある。

上記課題を解決した本発明に係る信号機検出装置は、画像を撮像する撮像手段で撮像された画像内における色および形状に基づいて、信号灯候補を検出する信号灯候補検出手段と、信号灯候補検出手段によって検出された信号灯候補の色および形状に基づいて、信号灯候補の位置に対応する所定の位置における対応信号灯を探索する範囲を決定する探索範囲決定手段と、信号灯候補の色が消滅するとともに、探索範囲内における対応信号灯の色が所定の対応色へ変化したときに、信号灯候補を信号灯と判断する信号灯判断手段と、を備えるものである。

また、上記課題を解決した本発明に係る信号機検出方法は、撮像手段で撮像された画像内における色および形状に基づいて、信号灯候補を検出する信号灯候補検出工程と、信号灯候補検出工程によって検出された信号灯候補の色および形状に基づいて、信号灯候補の位置に対応する所定の位置における対応信号灯を探索する範囲を決定する探索範囲決定工程と、信号灯候補の色が消滅するとともに、探索範囲内における対応信号灯の色が所定の対応色へ変化したときに、信号灯候補を信号灯と判断する信号灯判断工程と、を含むことを特徴とするものである。

本発明に係る信号機検出装置および検出方法においては、信号機を検出するにあたり、信号灯候補の色を検出するとともに、信号灯候補の色および形状に基づいて、対応信号灯を探索する範囲を決定し、その探索範囲内で対応信号灯を検出し、対応信号灯が所定の対応色に変更変化したときに、信号灯候補を信号灯と判断するようにしている。このため、信号灯候補のみの特徴量で信号検出を行っているものではないので、高い精度で信号機を検出することができる。

本発明に係る信号機検出装置および検出方法によれば、画像中における信号機を高い精度で検出することができる。

以下、図面を参照して、本発明の好適な実施形態について説明する。図１は本発明の実施形態に係る信号機検出装置のブロック構成図である。

図１に示すように、本実施形態に係る信号機検出装置１は、カラー画像入力部１１、色抽出部１２、円形度導出部１３、信号灯候補検出手段である信号灯候補抽出部１４、および探索範囲決定手段である信号灯探索範囲決定部１５を備えている。また信号機検出装置１は、信号灯判断手段である信号灯候補状態比較部１６、信号灯候補状態記録部１７、および信号灯候補状態時系列保持部１８を備えている。

信号機検出装置１には、カメラ２、車速センサ３、および結果出力部４が接続されている。カメラ２は、たとえば図示しない車両に搭載されており、信号機Ｓを含む車両の周囲の状況を、カラー画像によって撮像することができる。カメラ２は、撮像したカラー画像を信号機検出装置１におけるカラー画像入力部１１に出力している。

また、車速センサ３は、たとえば車両のエンジンＥＣＵなどに設けられており、車両の速度を検出している。車速センサ３は、検出した車速を信号機検出装置１における信号灯候補状態時系列保持部１８に出力している。さらに、結果出力部４は、信号機検出装置１における信号灯候補状態比較部１６に接続されている。結果出力部４は、信号灯候補状態比較部１６における比較結果に基づいて出力される信号機に関する信号に対応する結果を出力する。

信号機検出装置１におけるカラー画像入力部１１は、カメラ２に接続されており、カメラ２から出力されるカラー画像を信号機検出装置１に入力する際の入力処理を行っている。また、カラー画像入力部１１は、色抽出部１２に接続されており、入力処理したカラー画像を色抽出部１２に出力している。

色抽出部１２では、カラー画像入力部１１から出力されたカラー画像のうち、信号機における信号灯の色に相当する青色、黄色、赤色のいずれかである領域の形状を抽出している。そして、青色、黄色、赤色のいずれかの色となっている領域がある場合に、円形度導出部１３にその色および領域を出力する。

円形度導出部１３では、色抽出部１２から出力された色および形状に基づいて、青色、黄色、赤色のいずれかである領域の円形度を導出する。また、円形度導出部１３は、信号灯候補抽出部１４に接続されており、導出した円形度を信号灯候補抽出部１４に出力している。

信号灯候補抽出部１４では、円形度導出部１３から出力された円形度に基づいて、信号灯候補を抽出する。また、信号灯候補抽出部１４は、信号灯探索範囲決定部１５に接続されており、抽出した信号灯候補の色および大きさを信号灯探索範囲決定部１５に出力している。

信号灯探索範囲決定部１５には、信号灯候補抽出部１４から出力された信号灯候補の色および大きさなどに基づいて、信号灯の探索範囲を決定する。さらに、信号灯探索範囲決定部１５は、信号灯候補状態比較部１６に接続されており、決定した信号灯の探索範囲および信号灯候補の色、位置、および形状（以下「信号灯候補状態」という）を信号灯候補状態比較部１６に出力する。

信号灯候補状態比較部１６には、信号灯探索範囲決定部１５から信号灯候補状態が出力される一方、信号灯候補状態記録部１７が接続されており、信号灯候補状態比較部１６は、信号灯候補状態を信号灯候補状態記録部１７に出力する。

信号灯候補状態記録部１７では、信号灯候補状態比較部１６から出力された信号灯候補状態を記録する。また、信号灯候補状態記録部１７は、信号灯候補状態時系列保持部１８に接続されており、記録した信号灯候補状態を信号灯候補状態時系列保持部１８に出力している。

信号灯候補状態時系列保持部１８では、信号灯候補状態記録部１７から出力された信号灯候補状態を時系列で記憶している。この信号灯候補状態時系列保持部１８には、車速センサ３が接続されており、車速センサ３で検出された車速が信号灯候補状態時系列保持部１８に出力されている。

信号灯候補状態時系列保持部１８は、信号灯候補状態比較部１６に接続されている。また、車速センサ３から出力される車速が０であるとき、すなわち車両が停止しているときに、記憶している以前のフレームの信号灯候補状態を信号灯候補状態比較部１６に出力している。

信号灯候補状態比較部１６では、信号灯探索範囲決定部１５から出力された（現フレームの）信号灯候補状態と、信号灯候補状態時系列保持部１８から出力された前フレームの信号灯候補状態を比較する。その結果から、信号灯候補が信号灯であるか否かを判断し、ひいては信号機があるか否かの判断をする。信号灯候補状態比較部１６には、結果出力部４が接続されている。信号灯候補状態比較部１６は、信号灯候補が信号灯であるか否か、信号機があるか否かの判断結果を結果出力部４に出力する。

以上の構成を有する本実施形態に係る信号機検出装置における信号機検出方法の手順について説明する。図２は、信号機検出方法の手順を示すフローチャートである。

図２に示すように、本実施形態に係る信号機検出方法では、カメラ２で撮像したカラー画像を信号機検出装置１におけるカラー画像入力部１１に入力する（Ｓ１）。続いて、車速センサ３で検出された車速を、信号灯候補状態時系列保持部１８に読み込む（Ｓ２）。信号灯候補状態時系列保持部１８では、車速が０であるか否かを判断する（Ｓ３）。その結果、車速が０でない場合、すなわち車両が走行している場合には、カメラ２で撮像される画像中における信号機等の位置が変化してしまうので、信号機検出を中止する。そのため、信号灯候補状態時系列保持部１８に記録される信号灯候補状態時系列をクリアし（Ｓ４）、制御を終了する。

一方、車速が０であると判断したときには、信号機検出を行う。そのため、まず、色抽出部１２において、カラーＲＧＢ画像をＨＳＩ変換し、色相、彩度、明度の画像を作成し、信号灯の色となる青色、黄色、赤色の部分を抽出する（Ｓ５）。

信号灯の色となる部分を抽出したら、円形度導出部１３において、抽出した信号灯色となる部分の円形度を算出する（Ｓ６）。各部分の円形度は、下記（１）式によって求めることができる。

円形度＝４π（各部分の面積）／（各部分の周囲長）^２ ・・・（１）
こうして、各部分の円形度を求めたら、信号灯候補抽出部１４において、色抽出部１２で抽出された青色、黄色、赤色の部分であって、円形度が高い部分、換言すれば円形に近い部分を信号灯候補として抽出する（Ｓ７）。

たとえば、カメラ２で撮像された画像が図５（ａ）に示すような画像であった場合、画像Ｇのうち、信号機Ｓにおける赤色信号灯ＳＲが点灯しており、この赤色信号灯ＳＲの部分が信号灯候補として抽出される。また、その他の背景にある旗Ｆ中の黄色い丸の部分ＦＹおよび青い円形の看板ＢＢも信号灯候補として抽出される。このように、画像Ｇからは、複数の信号灯候補が抽出される。一方、赤色であるが、形状が円形ではない目印ＮＲは、信号灯候補としては抽出されない。

たとえば、カメラ２で撮像された画像が図４（ａ）に示すような画像であった場合、画像Ｇのうち、信号機Ｓにおける赤色信号灯ＳＲが点灯しており、この赤色信号灯ＳＲの部分が信号灯候補として抽出される。また、その他の背景にある旗Ｆ中の黄色い丸の部分ＦＹおよび青い円形の看板ＢＢも信号灯候補として抽出される。このように、画像Ｇからは、複数の信号灯候補が抽出される。一方、赤色であるが、形状が円形ではない目印ＮＲは、信号灯候補としては抽出されない。

このようにして、複数の信号灯候補を抽出したら、各信号灯候補の色と形とから、信号機における他の色の信号灯を探索する範囲（信号機探索範囲）を決定する（Ｓ８）。図５（ａ）に示すように、信号機Ｓの青色信号灯ＳＢは、信号機Ｓの左側に位置する。また、図５（ｂ）に示すように、黄色信号灯ＳＹは、信号機Ｓの中央に位置し、図５（ｃ）に示すように、赤色信号灯ＳＲは、信号機Ｓの右側に位置する。さらに、信号機Ｓの大きさに基づいて、信号灯ＳＢ，ＳＹ，ＳＲの大きさはほぼ決められており、各信号灯ＳＢ，ＳＹ，ＳＲの大きさはほぼ同一とされている。

したがって、信号灯候補が赤色である場合には、対応信号灯は青色信号灯および黄色信号灯となり、青色および黄色が対応色となる。それぞれの対応信号灯は、信号灯候補の左側に位置し、近い位置に黄色信号灯が位置し、遠い位置に青色信号灯が位置する。また、信号灯候補が青色である場合には、対応信号灯は赤色信号灯および黄色信号灯となり、赤色および黄色が対応色となる。さらに、信号灯候補が黄色である場合には、対応信号灯は赤色信号灯および青色信号灯であり、対応色は赤色および青色となる。

このことから、信号灯候補の色と形から、他の色の信号灯を探索する範囲を決定することができる。具体的に、信号灯候補が赤色である場合には、その左側の範囲を探索範囲として決定する。その大きさは、信号灯候補の直径の約３倍から４倍程度の幅を有し、信号灯候補の高さよりやや長い高さを有する矩形の範囲に決定する。また、信号灯候補が黄色である場合には、その両側の範囲を探索範囲として決定し、信号灯候補が青色である場合には、その右側の範囲を探索範囲として決定する。

こうして、各信号灯候補に対して探索範囲を決定したら、信号灯探索範囲決定部１５は、信号灯候補抽出部１４から出力された各信号灯候補にＩＤ番号を付与し、現フレームの信号灯候補状態を信号灯候補状態比較部１６に出力する。また、信号灯候補状態比較部１６には、信号灯候補状態時系列保持部１８から、前フレームの信号灯候補状態が出力される。信号灯候補状態比較部１６は、信号灯候補状態時系列保持部１８から出力された前フレームの信号灯候補状態を読み込む（Ｓ９）。

信号灯候補状態比較部１６では、信号灯探索範囲決定部１５から出力された現フレームの信号灯候補状態と、信号灯候補状態時系列保持部１８から出力された前フレームの信号灯候補状態とを、設定された探索範囲内で比較する（Ｓ１０）。探索範囲内での比較はｍ現フレームと前フレームとの間で探索範囲が重なる信号灯候補のペアを探索する。そして、信号灯候補状態比較部１６においては、探索範囲内における対応するペアの色が変化しているか否か前フレームの信号灯候補状態と現フレームの信号灯候補状態との間に変化があったか否かを判断する（Ｓ１１）。

その結果、変化がないと判断した場合には、信号灯探索範囲決定部１５から出力された信号灯候補状態を信号灯候補状態記録部１７に出力する。信号灯候補状態記録部１７では、出力された信号と候補状態を記録して（Ｓ１５）、信号機の検出を終了する。一方、信号灯候補状態に変化があったと判断した場合には、図３に示すように、前フレームで青色と判断された領域があったときに、現フレームでは、青色の領域が消えて、青色があった領域の右側に黄色の領域が生じる変化があったか否かを判断する（Ｓ１２）。

信号機では、青色信号灯の領域の右側に黄色信号灯が配置されている。このため、前フレームで青色の領域があった場合に、現フレームでその右側に黄色の領域が生じた場合には信号機であると判断することができる。このような青色から黄色への変化があった場合には、現フレームの探索範囲に黄色の信号灯候補が信号灯であると判断し、信号機が検出されたとして信号機の状態を結果出力部４に出力して（Ｓ１６）、信号機の検出を終了する。

また、このような青色から黄色への変化がなかったと判断した場合には、前フレームで黄色と判断された領域があったときに、現フレームでは、黄色の領域が消えて、黄色があった領域の右側に赤色の領域が生じる変化があったか否かを判断する（Ｓ１３）。信号機では、黄色信号灯の領域の右側に赤色信号灯が配置されている。このため、前フレームで黄色の領域があった場合に、現フレームでその右側に赤色の領域が生じた場合には信号機であると判断することができる。このような黄色から赤色への変化があった場合には、現フレームの探索範囲に赤色の信号灯候補が信号灯であると判断し、信号機が検出されたとして信号機の状態を結果出力部４に出力して（Ｓ１６）、信号機の検出を終了する。

さらに、このような黄色から赤色への変化がなかったと判断した場合には、前フレームで赤色と判断された領域があったときに、現フレームでは、赤色の領域が消えて、赤色があった領域の左側に青色の領域が生じる変化があったか否かを判断する（Ｓ１３）。信号機では、赤色信号灯の領域の左側に青色信号灯が配置されている。このため、前フレームで赤色の領域があった場合に、現フレームでその右側に青色の領域が生じた場合には信号機であると判断することができる。このような赤色から青色への変化があった場合には、現フレームの探索範囲に青色の信号灯候補が信号灯であると判断し、信号機が検出されたとして信号機の状態を結果出力部４に出力して（Ｓ１６）、信号機の検出を終了する。

また、このような赤色から青色への変化もなかったと判断した場合には、現フレーム内には信号機はないと判断する。カメラ２で撮影された画像中には、明滅を繰り返すネオンなどもある場合がある。ネオンなどは、たとえば青、黄、赤などの色で明滅するものもあるが、通常はそれらが単独で明滅することが多く、その配置が信号機と同様の配置となっていることは稀である。このため、ステップＳ１２〜ステップＳ１４に示す色の変化があった場合に、信号機があったと判断し、それ以外の状態変化については、信号機のものではないと判断することができる。したがって、ステップＳ１４で赤色から青色への変化もなかったと判断した場合には、現フレーム内に信号機がないと判断して、信号灯探索範囲決定部１５から出力された信号灯候補状態を信号灯候補状態記録部１７に出力する。信号灯候補状態記録部１７では、出力された信号と候補状態を記録する（Ｓ１５）。こうして、信号機の検出を終了する。

ここで、本実施形態に係る信号機検出方法では、車速センサ３により検出される車速が０である場合にのみ作動させているが、車速が０でない、すなわち車両の走行中であっても、信号機の検出を行うことができる。この場合、カメラ２を搭載する車両が移動していると、カメラ２で撮像される景色も移動する。この点を考慮し、車速センサ３から出力された車速に基づく移動量を参照して信号機の検出が行われる。

信号機検出装置のブロック構成図である。 信号機検出方法の手順を示すフローチャートである。 図２に続く手順を示すフローチャートである。 （ａ）は、カメラで撮像された画像の前フレームを示す模式図、（ｂ）はカメラで撮像された画像の現フレームを示す模式図である。 信号機の信号灯が点灯した状態を示す模式図であり、（ａ）は、青色信号灯が点灯した状態、（ｂ）は黄色信号灯が点灯した状態、（ｃ）は赤色信号灯が点灯した状態を示している。

符号の説明

１…信号機検出装置、２…カメラ、３…車速センサ、４…結果出力部、１１…カラー画像入力部、１２…色抽出部、１３…円形度導出部、１４…信号灯候補抽出部、１５…信号灯探索範囲決定部、１６…信号灯候補状態比較部、１７…信号灯候補状態記録部、１８…信号灯候補状態時系列保持部。

Claims (2)

1. 画像を撮像する撮像手段で撮像された画像内における色および形状に基づいて、信号灯候補を検出する信号灯候補検出手段と、
   前記信号灯候補検出手段によって検出された信号灯候補の色および形状に基づいて、前記信号灯候補の位置に対応する所定の位置における対応信号灯を探索する範囲を決定する探索範囲決定手段と、
   前記信号灯候補の色が消滅するとともに、前記探索範囲内における前記対応信号灯の色が所定の対応色へ変化したときに、前記信号灯候補を信号灯と判断する信号灯判断手段と、
   を備えることを特徴とする信号機検出装置。
2. 撮像手段で撮像された画像内における色および形状に基づいて、信号灯候補を検出する信号灯候補検出工程と、
   前記信号灯候補検出工程によって検出された信号灯候補の色および形状に基づいて、前記信号灯候補の位置に対応する所定の位置における対応信号灯を探索する範囲を決定する探索範囲決定工程と、
   前記信号灯候補の色が消滅するとともに、前記探索範囲内における前記対応信号灯の色が所定の対応色へ変化したときに、前記信号灯候補を信号灯と判断する信号灯判断工程と、
   を含むことを特徴とする信号灯検出装置。

Images