JP2013242686A - 信号機検出装置及び信号機検出方法 - Google Patents

Abstract

【課題】日照によりコントラストが低下した場合でも、信号機を正確に検出することができる信号機検出装置及びその方法を提供する。
【解決手段】所定領域を撮像して画像を出力する撮像部１０と、撮像部により撮像された画像から所定の色成分を有する候補領域を抽出する候補領域抽出部２１と、抽出された候補領域に基づいて撮像部により撮像された画像に２種類以上の処理領域を設定する処理領域設定部２２と、設定された２種類以上の処理領域間の分離度を算出する分離度評価部２３と、算出された分離度と処理領域の輝度値とに基づき信号機を判定する信号機判定部２４とを有することを特徴とする。
【選択図】図２

Description

本発明は、信号機を画像処理により検出する信号機検出装置及び信号機検出方法に関する。

従来の信号機検出装置の技術として、特許文献１が開示されている。特許文献１に記載されている撮像手段の調整装置において、物体検出部は、撮像部により撮像された画像中から物体を検出し、光源検出部は、検出された物体に設けられた光源を検出し、輝度形状検出部は、物体の光源が撮像された画像領域を含む画像中の所定の画像領域における輝度値の分布形状を検出し、調整部は、輝度値の分布形状に基づいて撮像部の露光量と撮像部から出力される画素の輝度値との少なくとも一方を調整する。

即ち、撮像手段の調整装置は、撮像部の露光量等を調整することにより、信号機、ブレーキランプ等の輝度分布形状を調整することができる。また、色空間での赤・黄・青の強度およびステレオカメラによって計測される位置情報に基づいて、対象物が信号機であるかどうかが判断されていた。

特開２００９−１７７３１１号公報

しかしながら、日照によりコントラストが低下した場合には、対象物が信号機であるのかどうかの判断が困難であった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、日照によりコントラストが低下した場合でも信号機を正確に検出することができる信号機検出装置及び信号機検出方法を提供することを課題とする。

本発明では、撮像部により所定領域が撮像された画像から所定の色成分を有する候補領域を抽出し、処理領域設定部は抽出された候補領域に基づいて、撮像部により撮像された画像に２種類以上の処理領域を設定する。分離度評価部は設定された２種類以上の処理領域間の分離度を算出し、信号機判定部は算出された分離度と処理領域の輝度値とに基づき信号機を判定する。

本発明によれば、設定された２種類以上の処理領域間の分離度を算出し、算出された分離度と処理領域の輝度値とに基づき信号機の位置および点灯状態を判定するので、日照によりコントラストが低下した場合でも信号機を正確に検出することができる。

本発明の第１実施形態に係る信号機検出装置を搭載した車両の一例を示す図である。 本発明の第１実施形態に係る信号機検出装置の内部構成を示すブロック図である。 本発明の第１実施形態に係る信号機検出装置の候補領域抽出部による処理手順を示すフローチャートである。 本発明の第１実施形態に係る信号機検出装置の処理領域の設定を説明する図である。 本発明の第１実施形態に係る信号機検出装置の分離度評価部と信号機判定部とによる処理手順を示すフローチャートである。

以下、本発明を適用した第１実施形態に係る信号機検出装置及び信号機検出方法について図面を参照して説明する。

［第１実施形態］
［踏切検出装置の構成］
図１は本発明の第１実施形態に係る信号機検出装置を搭載した車両の一例を示す図である。図１に示すように、信号機検出装置は、車両１に搭載され、撮像部１０と計算機２０とを有し、車両前方の信号機の状態を検出する。

撮像部１０は、車両前方の所定領域の状態を撮像して画像を出力するものである。撮像部１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge Couple Device）の撮像素子を有し、ＲＧＢ色空間で表現されるカラー画像（色情報）を取得することができるカラーカメラで構成することができる。また、撮像部１０は、例えば、車両１のバックミラーの裏側に取り付けられ、車両１の進行方向を向いて水平に取り付けられている。

図２は、本発明の第１実施形態に係る信号機検出装置の内部構成を示すブロック図である。図２に示すように、計算機２０は、候補領域抽出部２１と処理領域設定部２２と分離度評価部２３と信号機判定部２４とを有する。具体的には、計算機２０は、図示しない中央処理装置（ＣＰＵ）とメモリとを有し、ＣＰＵがメモリに記憶された信号機検出プログラムを実行することで、候補領域抽出部２１と処理領域設定部２２と分離度評価部２３と信号機判定部２４との各々の処理を実行することができる。

図２において、候補領域抽出部２１は、撮像部１０により撮像された画像から所定の色成分を有する複数の領域を抽出する。処理領域設定部２２は、候補領域抽出部２１により抽出された候補領域に基づいて、撮像部１０により撮像された画像に２種類以上の処理領域を設定する。分離度評価部２３は、処理領域設定部２２で設定された２種類以上の処理領域間の分離度を算出する。信号機判定部２４は、分離度評価部２３で算出された分離度と処理領域の輝度値とに基づき信号機を判定する。

［候補領域抽出処理］
次に、図３に示すフローチャートを参照しながら、候補領域抽出部２１による候補領域抽出処理の詳細について説明する。

まず、ステップＳ１００において、候補領域抽出部２１は、撮像部１０から入力されたカラー画像の色空間をＲＧＢからＨＳＶ（Hue（色相）、Saturation（彩度）、Value（明度））に変換する。ＨＳＶ色空間は、明度と色相を分離して表現する色空間であり、明るさの影響を受けずに色を表すことができる。

次に、ステップＳ１０１において、候補領域抽出部２１は、色相が「赤」「青」「黄」に対応する領域を画像から抽出する。ここで、「赤」「青」「黄」の条件としては、非特許文献１（梅澤登志矢、江口一彦：夜間動画像からの道路交通信号認識技術の研究、愛知工業大学研究報告 第４３号B平成２０年）に記載されている値を参考にすることができる。

非特許文献１によれば、「赤」に対しては０＜H≦１０、「青」に対しては１０＜H≦２５、「黄」に対しては１７０＜H≦１９５となる。ただし、明るさが暗すぎる領域は、点灯色として相応しくないため、S＜０．３またはV＜１２０の領域は抽出すべき領域から除外する。なお、色相Ｈ、色相Ｓ、明度Ｖの設定値は、実験的に適切に設定されるべきであり、上述した値に限定されるものではない。

次に、ステップＳ１０２において、候補領域抽出部２１は、ラベリング処理によりステップＳ１０１で抽出された領域を個別に認識する。具体的には、色部分（又は色がない部分）が連続した画素には同じ番号を割り振る処理を行い、色の領域を個別に識別することができる。

次に、ステップＳ１０３において、候補領域抽出部２１は、ステップＳ１０２のラベリング処理で検出された各領域の面積を調べ、各領域の面積が所定値未満であるかどうかを判定し、各領域の面積が所定値未満である場合には、その領域を、抽出すべき領域から除外する。

所定値とは例えば、１００ｍ前方の信号機の点灯領域の画像上での面積とする。この値は使用する撮像機１０によって異なるので、撮像機１０に応じて適切に設定しなければならない。

次に、ステップＳ１０４において、候補領域抽出部２１は、各領域の縦と横の長さの比を求め、その比が０．７＜比＜１．３に該当する領域のみを抽出する。即ち、領域の形状が判定される。ここで、縦、横の長さは、処理負荷を軽減するためにそれぞれ、領域内でのｘ座標の最小値と最大値の差、ｙ座標の最小値と最大値の差とする。候補領域抽出部２１は、各領域の縦と横の長さの比が０．７＜比＜１．３である場合に、所定の色成分を有する領域の形状が略円形である候補領域を抽出することができる。

また、候補領域抽出部２１は、略円形である領域で、且つその領域の面積が所定値以上である領域を、候補領域として抽出することもできる。

次に、処理領域設定部２２は、点灯色に応じて２種類の処理領域を設定する。図４を参照しながら、処理領域設定部２２による処理領域の設定を説明する。「赤」に対応した候補領域については、図４の上段に示すように、処理領域設定部２２は、候補領域抽出部２１で抽出された赤領域Ｒの大きさと位置と色とに基づいて、定型の信号機で「青」と「黄」のライトが位置する領域４００，４０２を特定し、これらの領域４００，４０２を合わせた領域を消灯領域に設定する。また、処理領域設定部２２は、消灯領域４００と消灯領域４０２とに挟まれた信号機の筐体部分（通常は白色）を筐体領域４０１に設定する。

また、「黄」に対応した候補領域については、図４の中段に示すように、処理領域設定部２２は、候補領域抽出部２１で抽出された黄領域Ｙの大きさと位置と色とに基づいて、定型の信号機で「青」と「赤」のライトが位置する領域４０３と領域４０５を消灯領域に設定し、領域４０４を筐体領域に設定する。

また、「青」に対応した候補領域については、図４の下段に示すように、処理領域設定部２２は、候補領域抽出部２１で抽出された青領域Ｂの大きさと位置と色とに基づいて、定型の信号機で「黄」と「赤」のライトが位置する領域４０６と領域４０８を消灯領域に設定し、領域４０７を筐体領域に設定する。

［分離度評価処理及び信号機判定処理］
次に、図５のフローチャートを参照しながら、分離度評価部２３と信号機判定部２４の処理の詳細について説明する。

ステップＳ２００において、分離度評価部２３は、消灯領域と筐体領域とのそれぞれの平均輝度値を計算する。ステップＳ２０１において、分離度評価部２３は、ステップＳ２００で算出された消灯領域と筐体領域との平均輝度を比較する。

信号機判定部２４は、消灯領域の平均輝度が筐体領域の平均輝度よりも大きい場合にはこの時点で処理対象を信号機ではないと判定し、筐体領域の平均輝度が消灯領域の平均輝度よりも大きい場合には処理対象を信号機であると判定する。

ステップＳ２０２において、分離度評価部２３は、消灯領域と筐体領域とのそれぞれの輝度の分散を計算する。ステップＳ２０３において、分離度評価部２３は、式（１）によって分離度ｓを算出することができる。

分離度ｓ＝クラス間分散／全分散＝σ_Ｂ ^２/ σ_Ｔ ^２ ‥（１）
ここで、クラス間分散σ_Ｂ ^２、クラス内分散σ_Ｗ ^２、全分散σ_Ｔ ^２は、式（２）〜式（４）で表すことができる。

σ_Ｗ ^２＝（Ｎ_１×σ1^２＋Ｎ_２×σ2^２）／（Ｎ_１＋Ｎ_２）‥（２）
ただし、Ｎ_１は消灯領域の画素数、Ｎ_２は筐体領域の画素数、σ1^２は消灯領域の輝度の分散、σ2^２は筐体領域の輝度の分散である。

σ_Ｂ ^２＝｛Ｎ_１×（μ1−μ_Ｔ）^２＋Ｎ_２×（μ2−μ_Ｔ）^２｝／（Ｎ_１＋Ｎ_２）‥（３）
ただし、μ１は消灯領域の平均輝度値、μ２は筐体領域の平均輝度値、μ_Ｔは消灯領域と筐体領域を合わせた領域の平均輝度値である。

σ_Ｔ ^２ ＝σ_Ｂ ^２＋σ_Ｗ ^２‥（４）
分離度評価部２３は、式（１）〜（４）に基づいて分離度ｓを対象画像の各画素について算出する。

ここで、式（３）に示すように、クラス間分散σ_Ｂ ^２は消灯領域と筐体領域との間の輝度の差に応じて変化する値であり、各領域の平均輝度値μ１，μ２が全画素の平均輝度値μ_Ｔから離れているほど大きな値となる。全分散σ_Ｔ ^２は消灯領域と筐体領域の輝度分布の和に応じて変化する値であり、各領域の分散σ１，σ２が小さくなるほど、即ち、各領域の輝度分布が均一になるほど小さな値となる。

従って、分離度ｓは消灯領域の平均輝度値μ１と筐体領域の平均輝度値μ２との間が離れており、且つ両者の分散σ１，σ２が小さいほど、即ち、各領域の輝度分布が均一であるほど評価値が大きな値となる。

分離度ｓは、０以上１以下の値となるので、条件に応じて様々な閾値を設定しなくても１つの閾値を設定しておけば、信号機を検出することができる。

このように第１実施形態に係る信号機検出装置によれば、昼間のように日射量が多い時間帯から朝、夕のように日射量が少ない時間帯に変化したとしても、日射条件の変化に影響を受けることなく、信号機を検出することができる。朝、夕のように日射量が少ない時間帯では、全体的に暗い画像になるために輝度分布は輝度値が低い方向に全体的にシフトする。即ち、平均輝度値μ１、μ２の値は低下するが、μ１とμ２との差は変化しないので、クラス間分散σ_Ｂ ^２は変化しない。また、分散σ１，σ２も多少の変化を伴うだけでほとんど変化しないので、全分散σ_Ｔ ^２についても変化しない。

従って、分離度ｓは日射量が変化したとしても同様の値が算出されるので、日射条件の変化にロバストに信号機を検出することができる。
次に、ステップＳ２０４において、信号機判定部２４は、予め設定された閾値θによって、分離度評価部２３で算出された分離度ｓを閾値処理する。信号機判定部２４は、分離度ｓが予め設定された閾値θ以上であるときには、対象領域を信号機と判定し、分離度ｓが閾値θ未満であるときには、対象領域を信号機と判定しない。

また、ステップＳ２０５においては、信号判定部２４は、候補領域抽出部２１により抽出された「赤」「青」「黄」に対応する候補領域の内、少なくとも２つの候補領域間の距離が所定距離以下である場合には、対象領域を信号機とは判定しない。

［第１実施形態の効果］
このように、第１実施形態に係る信号機検出装置によれば、設定された２種類以上の処理領域間の分離度を算出し、算出された分離度と処理領域の輝度値とに基づき信号機の位置および点灯状態を判定する。即ち、分離度に基づいて信号機の点灯状態を判定するので、朝、夕のように日射量が少ない時間帯でコントラストが低下した状態になっても、日射条件の変化に影響を受けることなく、信号機を検出することができる。

また、候補領域抽出部２１は、信号機の点灯色である「赤」「青（緑）」「黄」に対応する領域をそれぞれ抽出するので、各点灯状態を認識することができる。

また、候補領域抽出部２１は、所定の色成分を有する領域の形状が略円形で且つ所定の色成分を有する領域の面積が所定値以上である領域を候補領域として抽出する。即ち、領域が略円形であることを確かめるので、信号機以外の物体で信号機の点灯色と同じ色成分を持つ物体の誤検出を低減することができる。また、面積が小さすぎる領域を検出対象から除外することにより撮像機１０でノイズ等による誤検出を低減することができる。

また、処理領域設定部２２は、抽出された候補領域の位置と大きさと色に基づいて処理領域を設定するので、例えば、「赤」のときには、「青」と「黄」が存在するはずの左側領域の適切な位置に処理領域を設定することがでる。

また、処理領域設定部２２は、信号機の消灯されているライトが位置する領域を消灯領域に設定し、信号機の消灯されているライト以外の領域を筐体領域に設定する。即ち、輝度値の低い消灯されているライトと、輝度値の高い筐体部分との分離度を評価することができるので、信号機であれば分離度が大きくなり、対象物を容易に信号機と判定することができる。

また、信号機判定部２４は、分離度が所定値以上で且つ筐体領域の平均輝度値が消灯領域の平均輝度値よりも大きい場合には対象物を信号機と判定する。即ち、分離度に加えて輝度値の大小関係に基づき信号機を判断するため、輝度値の低い消灯領域と輝度値の高い筐体部分の関係を正しく捉えることができ、検出精度が向上する。

また、信号機判定部２４は、「赤」「青」「黄」に対応する候補領域間の距離が所定距離以下であった場合に、対象物を信号機と判定しない。即ち、正常に動作している信号機である場合には、「赤」「青」「黄」が同時に点灯しない事実に基づいて、「赤」「青」「黄」が密集する領域を信号機と判定しないことで、誤検出を低減することができる。

１０ 撮像部
２０ 計算機
２１ 候補領域抽出部
２２ 処理領域設定部
２３ 分離度評価部
２４ 信号機判定部

Claims (8)

1. 所定領域を撮像して画像を出力する撮像手段と、
   前記撮像手段により撮像された画像から所定の色成分を有する候補領域を抽出する候補領域抽出手段と、
   前記候補領域抽出手段により抽出された候補領域に基づいて、前記撮像手段により撮像された画像に２種類以上の処理領域を設定する処理領域設定手段と、
   前記処理領域設定手段で設定された２種類以上の処理領域間の分離度を算出する分離度評価手段と、
   前記分離度評価手段で算出された分離度と前記処理領域の輝度値とに基づき信号機を判定する信号機判定手段と、
   を有することを特徴とする信号機検出装置。
2. 前記候補領域抽出手段は、所定の色成分として、信号機の「赤」「青」「黄」に対応する領域をそれぞれ抽出することを特徴とする請求項１記載の信号機検出装置。
3. 前記候補領域抽出手段は、所定の色成分を有する領域の形状が略円形で且つ前記所定の色成分を有する領域の面積が所定値以上である領域を候補領域として抽出することを特徴とする請求項１又は請求項２記載の信号機検出装置。
4. 前記処理領域設定手段は、前記候補領域抽出手段により抽出された候補領域の位置と大きさと色とに応じて処理領域を設定することを特徴とする請求項１乃至請求項３のいずれか１項記載の信号機検出装置。
5. 前記処理領域設定手段は、信号機の消灯されているライトが位置する領域を消灯領域に設定し、信号機の消灯されているライト以外の領域を筐体領域に設定することを特徴とする請求項１乃至請求項４のいずれか１項記載の信号機検出装置。
6. 前記信号機判定手段は、分離度が所定値以上で且つ前記筐体領域の平均輝度値が前記消灯領域の平均輝度値よりも大きい場合には対象物を信号機と判定することを特徴とする請求項５記載の信号機検出装置。
7. 前記信号機判定手段は、「赤」「青」「黄」に対応する候補領域間の距離が所定距離以下であった場合に、対象物を信号機と判定しないことを特徴とする請求項２記載の信号機検出装置。
8. 撮像手段により所定領域を撮像して画像を出力する撮像ステップと、
   撮像された画像から所定の色成分を有する候補領域を抽出する候補領域抽出ステップと、
   抽出された候補領域に基づいて、前記撮像手段により撮像された画像に２種類以上の処理領域を設定する処理領域設定ステップと、
   設定された２種類以上の処理領域間の分離度を算出する分離度評価ステップと、
   算出された分離度と前記処理領域の輝度値とに基づき信号機を判定する信号機判定ステップと、
   を有することを特徴とする信号機検出方法。

Images