JP2009015759A - 信号機認識装置 - Google Patents

Abstract

【課題】信号灯の色を正しく認識することができるようにする。
【解決手段】車両に搭載され、信号機における信号灯の色を認識する信号機認識装置１において、信号機を所定時間おきに撮像する外界カメラ２と、外界カメラ２により撮像された信号機画像から信号灯の色度情報と輝度情報を検出する信号灯検出部４と、信号灯検出部４により検出された色度情報と輝度情報とを対にして信号灯候補情報として記憶する信号灯情報記憶部５と、信号灯情報記憶部５に記憶された最新の過去複数回分の信号灯候補情報の中で最も大きな輝度情報を有する信号灯候補情報を選択し、選択された該信号灯候補情報の色度情報に基づいて信号灯の灯火色を判断する灯火色判断部６と、を備える。
【選択図】図１

Description

この発明は、信号機における信号灯の色を認識する信号機認識装置に関するものである。

カラー車載カメラにより撮像して得た信号機における信号灯の色情報または道路標識情報を、予め車載システムの記憶手段に記憶されている信号灯の色情報または道路標識情報と比較して、撮像された信号機における信号灯の色情報または道路標識情報を認識し、認識結果に基づいて車両を制御する車載カメラシステムが知られている（例えば、特許文献１参照）。

また、従来は信号灯の発光体は白熱灯により構成されていたが、近年では白熱灯に代えて多数の発光ダイオード（以下、ＬＥＤと略す）によって構成されたものが増えている（例えば、特許文献２参照）
特開平１１−３０６４９８号公報 実開平２−４４５６４号公報

ところで、白熱灯で構成された信号灯においては白熱灯が連続して点灯しているので、信号灯の色を認識する上で撮像タイミングが問題になることはなかった。
しかしながら、ＬＥＤで構成された信号灯の場合には、商用交流電源を全波整流してＬＥＤに電力供給し点灯しているため、微視的に見るとＬＥＤは点滅している。そのため、ＬＥＤで構成された信号灯においては、点灯中と言えども撮影タイミングが、ＬＥＤの微視的な消灯時や微視的な点灯開始直後あるいは消灯直前となってしまう場合があり、このような撮像タイミングで撮像した画像に基づいて点灯している信号灯の色を認識すると、信号灯の色を正しく認識できない場合があるという課題があった。
そこで、この発明は、ＬＥＤにより構成された信号灯の色を正しく認識することができる信号機認識装置を提供するものである。

この発明に係る信号機認識装置では、上記課題を解決するために以下の手段を採用した。
請求項１に係る発明は、車両に搭載され、信号機（例えば、後述する実施例における信号機Ｓ）における信号灯（例えば、後述する実施例における信号灯Ｓ１〜Ｓ３）の色を認識する信号機認識装置（例えば、後述する実施例における信号機認識装置１）において、前記信号機を所定時間おきに撮像する撮像手段（例えば、後述する実施例における外界カメラ２）と、前記撮像手段により撮像された信号機画像から検出した前記信号灯の色度情報と輝度情報とを対にして信号灯情報として記憶する信号灯情報記憶手段（例えば、後述する実施例における信号灯検出部４、信号灯情報記憶部５）と、前記信号灯情報記憶手段に記憶された最新の過去複数回分の信号灯情報の中で最も大きな輝度情報を有する信号灯情報の色度情報に基づいて前記信号灯の色を判断する色判断手段（例えば、後述する実施例における灯火色判断部６）と、を備えることを特徴とする。
このように構成することにより、例えばＬＥＤのように微視的に点滅する発光体からなる信号灯の場合に、発光体の微視的な消灯時や微視的な過渡時のように輝度が極めて小さいときに撮像した信号機画像における信号灯の色度情報に基づいて信号灯の色を判断することを排除することができる。

請求項１に係る発明によれば、例えばＬＥＤのように微視的に点滅する発光体からなる信号灯の場合にも、信号灯の色を正しく認識することができる。

以下、この発明に係る信号機認識装置の実施例を図１から図３の図面を参照して説明する。
図１に示すように、この実施例における信号機認識装置１は、外界カメラ（撮像手段）２と、処理装置３とを備えて構成されており、処理装置３の出力信号は例えば走行支援制御装置等の制御装置１０に出力される。
信号機認識装置１は車両に搭載され、図２に示すように、自車両Ｖの進行方向前方に存在する信号機Ｓにおいて点灯している信号灯Ｓ１〜Ｓ３（以下、特に区別する必要がないときにはＳｎと記す）の灯火色を識別するものである。

なお、この実施例において信号灯Ｓｎは多数のＬＥＤにより構成されており、ＬＥＤは商用交流電源を全波整流して電力供給され点灯するものとする。したがって、信号灯Ｓｎは、例えば黄信号として点灯しているときにも、微視的に見ると極めて短い周期（例えば、電源が５０Ｈｚの場合には１０ｍｓの周期、６０Ｈｚの場合には約８．３ｍｓの周期）で点滅を繰り返している。

外界カメラ２は、例えば可視光領域にて撮影可能なＣＣＤカメラやＣＭＯＳカメラ等のカメラおよび画像処理部を備えて構成され、例えば車室内に配置されたカメラはフロントウィンドウ越しに自車両の進行方向前方の所定検知範囲の外界（例えば、自車両の走行路の道路構造に応じて信号機が存在すると推定される位置周辺の領域等）を所定時間間隔で撮影する。そして、画像処理部は、カメラの撮影により得られた画像に対して、例えばフィルタリング等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して処理装置３へ出力する。

ここで、点灯時に微視的に点滅している信号灯Ｓｎを輝度の異なるタイミングで撮影することができるように、予め外界カメラ２の撮影間隔（撮影周期）を所定に設定しておく。
例えば、信号灯Ｓｎの電源が５０Ｈｚである場合には、信号灯Ｓｎを構成しているＬＥＤは１秒間に１００回の周期で点滅することになるが、このときに外界カメラ２による撮影間隔を１秒間に３０回（３０ｆ／ｓ）とすれば、連続する３回の撮影画像における信号灯Ｓｎの輝度をそれぞれ異にすることができる。

一方、信号灯Ｓｎの電源が６０Ｈｚである場合には、信号灯Ｓｎを構成しているＬＥＤは１秒間に１２０回の周期で点滅することになるが、このときに外界カメラ２による撮影間隔を上記と同様に１秒間に３０回（３０ｆ／ｓ）とすると、いずれの撮影画像における信号灯Ｓｎの輝度も同一になってしまう。つまり、例えば外界カメラ２の最初の撮影タイミングと信号灯Ｓｎの微視的な消灯タイミングとが一致してしまうと、その後の撮影タイミングも毎回、信号灯Ｓｎの微視的な消灯タイミングに一致してしまう。そこで、信号灯Ｓｎの電源が６０Ｈｚである場合には、外界カメラ２による撮影間隔を１秒間に例えば２８回（２８ｆ／ｓ）とすると、連続する多数回の撮影画像において信号灯Ｓｎの輝度をそれぞれ異にすることができる。このようにして外界カメラ２で点灯中の信号機Ｓを撮影すると、連続する画像には、輝度が小さいときに撮影した信号灯Ｓｎの画像と輝度が大きいときに撮影した信号灯Ｓｎの画像が含まれることとなる。
なお、信号灯Ｓｎの電源が５０Ｈｚである場合にも、外界カメラ２による撮影間隔を１秒間に２８回（２８ｆ／ｓ）とすることも可能であり、その方が好ましい。

処理装置３は、信号灯検出部４、信号灯情報記憶部５、灯火色判断部６とを備えて構成されている。なお、この実施例では、信号灯検出部４と信号灯情報記憶部５によって信号灯情報記憶手段が構成され、灯火色判断部６によって色判断手段が構成される。

信号灯検出部４は、外界カメラ２から入力した画像データ毎に、該画像データに基づいて信号機画像における信号灯Ｓｎの色度情報と輝度情報を検出し、検出した色度情報と輝度情報を対にして信号灯候補情報（信号灯情報）として信号灯情報記憶部５へ出力する。

信号灯情報記憶部５は、信号灯検出部４から入力した信号灯候補情報を、予め設定された画像数分だけ時系列に記憶する。そして、信号灯情報記憶部５は、記憶した信号灯候補情報の中から最新の過去所定回数分の信号灯候補情報を、灯火色判断部６へ出力する。

灯火色判断部６は、信号灯情報記憶部５から入力した所定回数分の信号灯候補情報の中で最も大きな輝度情報を有する信号灯候補情報を検索し、該信号灯候補情報の色度情報に基づいて信号灯Ｓｎの色（灯火色）を決定し、決定した色に応じた出力信号を制御装置１０へ出力する。

制御装置１０は、例えば、灯火色判断部６から得た信号灯Ｓｎの色情報や、図示しないレーダ装置等によって測定した信号機Ｓまでの距離情報や、自車両の車両状態（車速等）に応じて走行支援レベルを設定し、走行支援レベルに応じて、一時停止の実行を促す情報を出力したり、自車両の減速支援を実行するなどの走行支援制御を行う。

次に、この実施例における処理装置３による灯火色判断処理について図３のフローチャートに従って説明する。なお、この灯火色判断処理は、外界カメラ２から出力される画像データに対して所定の画像処理を行った結果、自車両の進行方向前方に信号機が認識されたときに、信号機の認識と同時に実行するものとする。

初めに、ステップＳ１０１において、外界カメラ２で撮影した画像に信号機が存在するか否かを判断する。
ステップＳ１０１における判定結果が「ＮＯ」（信号機なし）である場合には、本ルーチンの実行を一旦終了し、リターンする。
ステップＳ１０１における判定結果が「ＹＥＳ」（信号機あり）である場合には、ステップＳ１０２に進み、信号機の画像データを取得する。

次に、ステップＳ１０３に進み、取得した画像データに対して所定の画像処理を行って、点灯している信号灯Ｓｎの色度情報と輝度情報を検出し、検出した色度情報と輝度情報を対にして信号灯候補情報とし、撮影時刻とともに信号灯情報記憶部５に記憶する。
次に、ステップＳ１０４に進み、信号灯情報記憶部５に記憶されている信号灯候補情報の中から最新の過去ｎ回分（例えば、９回分等）の信号灯候補情報を取得する。

次に、ステップＳ１０５に進み、ステップＳ１０４で取得したｎ回分の信号灯候補情報を検索し、その中から輝度が最大である信号灯候補情報を選択する。
次に、ステップＳ１０６に進み、ステップＳ１０５で選択された信号灯候補情報の色度情報に基づいて、信号灯Ｓｎの灯火色を判断（決定）し、リターンする。すなわち、ｎ個の信号灯候補情報の中で輝度が最大である信号灯候補情報の色度情報に基づいて信号灯Ｓｎの灯火色を判断する。

このようにして信号灯Ｓｎの灯火色を判断すると、ＬＥＤのように点灯中も微視的に点滅する発光体からなる信号灯Ｓｎの場合に、発光体の微視的な消灯時や微視的な過渡時のように輝度が極めて小さいときに撮影した信号機画像における信号灯Ｓｎの色度情報に基づいて信号灯の色を判断することを排除することができ、信号灯の色を正しく認識することができる。例えば、灯火色が黄色の場合には、輝度が低いときに赤色に見える場合があり、この瞬間に撮影した画像に基づいて灯火色を判断すると赤色と誤認識する虞があるが、この実施例の灯火色判断処理によれば、実際には黄色の灯火色を赤色と誤認識するのを回避することができる。
その結果、制御装置１０による走行支援制御の信頼性も向上させることができる。

〔他の実施例〕
なお、この発明は前述した実施例に限られるものではない。
例えば、撮像手段による信号機の撮像周期は、２８ｆ／ｓまたは３０ｆ／ｓに限るものではなく、適宜に設定することができる。
また、最も大きい輝度の信号灯候補情報を選択するために取得する信号灯候補情報の数ｎは、前記実施例のｎ＝９に限定されるものではなく、適宜の回数に設定することができる。

この発明に係る信号機認識装置の実施例における構成図である。 自車両と信号機の位置関係を示す図である。 前記実施例における灯火色判断処理を示すフローチャートである。

符号の説明

１ 信号機認識装置
２ 外界カメラ（撮像手段）
４ 信号灯検出部（信号灯情報記憶手段）
５ 信号灯情報記憶部（信号灯情報記憶手段）
６ 灯火色判断部（色判断手段）

Claims (1)

1. 車両に搭載され、信号機における信号灯の色を認識する信号機認識装置において、
   前記信号機を所定時間おきに撮像する撮像手段と、
   前記撮像手段により撮像された信号機画像から検出した前記信号灯の色度情報と輝度情報とを対にして信号灯情報として記憶する信号灯情報記憶手段と、
   前記信号灯情報記憶手段に記憶された最新の過去複数回分の信号灯情報の中で最も大きな輝度情報を有する信号灯情報の色度情報に基づいて前記信号灯の色を判断する色判断手段と、
   を備えることを特徴とする信号機認識装置。

Images