JP2000353292A - 信号識別装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 高度交通システムの実現のために、撮影した
画像を得て、その画像に対して画像処理を施すことで、
屋外環境に据え付けられた信号機を、季節や時間を問わ
ず単一の調整値で安定して識別する信号識別装置を提供
する。 【解決手段】 入力カメラ１０１と、Ａ／Ｄ変換器１０
２と、入力制御部１０３と、信号灯火に１対１対応した
少なくとも２つ以上の灯火輝度抽出手段１０４と、切り
替え器１０５と、信号灯火に１対１対応した少なくとも
２つ以上の輝度値記憶手段１０６と、点灯判別手段１０
７から構成され、点灯判別手段１０７によって点灯中と
判別された基本灯火以外の基本灯火に関して、前記灯火
輝度抽出手段１０４によって抽出された前記基本灯火の
輝度値を消灯状態の輝度値して輝度値記憶手段１０６に
送り、点灯判別手段１０７は、輝度値記憶手段１０６に
記憶された消灯状態の輝度値と、現在の輝度値とを比較
して基本灯の点灯状態を判別する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、交差点などに取付
けられた信号機の状態を識別し、交差点付近の道路監視
システムにデータを送信する場合に用いられる画像処理
を利用した信号識別装置及びその方法に関する。

【０００２】

【従来の技術】近年、高速道路や幹線道路などに据え付
けられた監視カメラを画像処理によって自動化し、車両
や横断歩道の歩行者の流れを自動計測する監視システム
の開発が求められている。ＡＨＳ，ＩＴＳなどの高度道
路交通システムの実現のためにも、道路、交差点などの
状況認識技術の重要性はますます増している。

【０００３】交通監視の対象の中でも交差点は、事故や
渋滞の発生率が高く、高度な状況認識と判断、制御が最
も必要なポイントである。

【０００４】ところが、交差点内及びその近辺の車両と
歩行者の動きは非常に複雑であり、簡単な画像処理技術
では十分な状況認識は難しい。

【０００５】そこで、高度な判断や制御を実現するため
に交差点の信号機の状態情報は欠かせない情報になる。
信号機の状態が識別できていればその情報は、流れ状態
の記録、計測用の画像処理の簡単化、情報統合による動
的な交通流制御、など様々な方面へ活用することが考え
られる。

【０００６】したがって、信号機の状態情報を獲得する
技術はキーとなる技術といえる。

【０００７】従来、信号機の状態情報、もしくは信号機
を制御するコントロール信号は、容易に入手可能なもの
として考えられてきた。

【０００８】従来例としては例えば、 文献１：北村忠明、他：特開平５−４０８９６の「交通
渋滞度計測装置」 文献２：井上正博、他：特開平１０−１６２２８８の
「交差点通過車両監視システム」 等がある。

【０００９】文献１ではニューラルネットワークで信号
機の点灯信号を識別する方法が説明されているが、ニュ
ーラルネットワーク方式は環境条件や識別条件が変化し
たときの適応性に問題があることが知られている。

【００１０】文献２では、信号機から直接に状態情報を
得る、または、信号灯の明るい輝度の位置を抽出するだ
けで簡単に識別できると説明している。

【００１１】ところが、現実の環境では信号機から状態
情報、つまり、信号機のコントロール信号を得ること
は、安全性を考えると望ましくないし、実際上不可能で
ある場合が多い。

【００１２】なぜなら、信号機やその制御装置からコン
トロール信号を得るためには、何らかのケーブルを接続
することになり、接続したケーブルから逆に信号を割り
込ませて信号機を操作する悪戯が可能になってしまうか
らである。

【００１３】また、信号機は警察庁の管轄下にあり、実
際に交差点付近の交通量を計測し流れを制御しようとす
る主体（例えば他省庁や民間団体）とは異なるので、警
察庁が危険を冒してまで信号機のコントロール信号を公
開することは考えにくい。

【００１４】そこで、画像処理などを用いて信号機を自
動識別する方法が重要になる。

【００１５】ところが点灯信号の識別を画像処理で行う
ことは簡単ではない。

【００１６】カラーカメラを使うとデータ量がＲＧＢの
３倍になり処理量が多くなるほか、明るさのダイナミッ
クレンジが狭くなるために画像処理方法は一層難しな
り、１日を通して同一の装置と方法で処理をすることは
困難である。色相情報を使ったとしても、点灯中の灯火
の輝度が飽和したり、消灯中の灯火が暗くて色相が抽出
できないなどの問題があり、それならば白黒カメラから
得られる情報量と変わらないこととなり、カラーカメラ
を使う意味がない。

【００１７】一方、白黒カメラを使い輝度だけで識別す
るとしても、簡単に明るい輝度の領域を選択すれば済む
ものではない。例えば消灯時の黄色信号の輝度は、点灯
時の赤信号と同程度に明るいので誤判断しやすい。また
矢印信号は明るくなる面積が小さいので、点灯時と消灯
時に輝度の差があまりなく、単純に輝度だけで判断する
と誤判断が多くなる。

【００１８】さらに信号機特有の問題として、信号機が
屋外に据え付けられているという問題がある。

【００１９】一般に屋外環境の画像処理で季節や時間を
問わず安定に動作する方法は確立されていない。

【００２０】本発明の適用される条件を考えると、単一
の調整値で、つまり１回決めたパラメータで、季節や時
間を問わず安定して動作する必要がある。また、誤動作
を繰り返すデッドロック状態になった場合も自動的に正
常状態に戻る安定化機構が組み込まれていなければなら
ない。従来方法はそのような条件を考慮していないの
で、季節や時間に依存せず安定に動作するものではな
い。

【００２１】

【発明が解決しようとする課題】このように、信号機の
点灯信号の識別は、白黒カメラで撮影した画像から画像
処理などにより自動計測することが必要である。

【００２２】しかし、従来は、単一の調整値で季節や時
間を問わず安定して識別できる方法が無いという問題が
あった。

【００２３】そこで、この発明の目的とするところは、
撮影した画像を得て、その画像に対して画像処理を施す
ことで、屋外環境に据え付けられた信号機を、季節や時
間を問わず単一の調整値で安定して識別する信号識別装
置及びその方法を提供することにある。

【００２４】なお、本明細書における信号機とは、歩行
者用灯器、車両灯器、矢印灯器を含む概念である。

【００２５】

【課題を解決するための手段】請求項１の発明は、赤青
黄の基本３灯、または、赤青の基本２灯を含み、これら
基本灯火のうち一の基本灯火が点灯し、他の基本灯火は
消灯する信号機の点灯状態を識別する信号識別装置であ
って、前記信号機の基本灯火を撮影した画像を入力する
画像入力手段と、点灯中の一の基本灯火以外の基本灯火
の輝度値を消灯状態の輝度値として、前記画像入力手段
に入力した画像から抽出する消灯輝度抽出手段と、前記
画像入力手段に入力した基本灯火の現在の輝度値と、こ
の入力した基本灯火に対応し、かつ、前記消灯輝度抽出
手段によって抽出された基本灯火の消灯状態の輝度値と
を比較することで、その基本灯火の現在の点灯状態を判
別する点灯判別手段と、を具備することを特徴とする信
号識別装置である。

【００２６】請求項２の発明は、消灯輝度抽出手段は、
基本灯火の消灯状態の輝度値を更新することを特徴とす
る請求項１記載の信号識別装置である。

【００２７】請求項３の発明は、消灯輝度抽出手段は、
前記画像入力手段に入力した画像から前記基本灯火に対
応する輝度を抽出する輝度抽出手段と、前記点灯判別手
段によって点灯中と判別された基本灯火以外の基本灯火
に関して、前記輝度抽出手段によって抽出された前記基
本灯火の輝度値を消灯状態の輝度値とする切り替え手段
と、を具備したことを特徴とする請求項１と請求項２に
記載の信号識別装置である。

【００２８】請求項４の発明は、赤青黄の基本３灯、ま
たは、赤青の基本２灯以外に矢印灯火を有した信号機に
おいて、前記点灯判別手段が判別した前記基本灯の点灯
状態に基いて、前記矢印灯火の点灯時間帯と消灯時間帯
を推定する推定手段と、前記画像入力手段に入力した画
像から前記矢印灯火の輝度値を抽出して、前記矢印灯火
の点灯状態の基準輝度及び消灯状態の基準輝度を求める
基準輝度抽出手段と、前記推定手段によって推定した前
記矢印灯火の点灯可能性のある時間帯に限り、前記基準
輝度抽出手段によって抽出した前記矢印灯火の点灯状態
の基準輝度と消灯状態の基準輝度に基いて、前記矢印灯
火の現在の点灯状態を判別する矢印灯火判別手段と、を
具備することを特徴とする請求項１から請求項３に記載
の信号識別装置である。

【００２９】請求項５の発明は、前記点灯判別手段が判
別した灯火状態が、前記信号機の点灯周期を超えても変
化がない場合に、前記点灯判別手段の前回の判別時刻か
ら前記点灯周期の整数倍、または、前記点灯周期の整数
分の１倍の時間に等しくない時間間隔を空けて、前記点
灯判別手段によって判別処理を行わせる再起動手段を具
備したことを特徴とする請求項１から請求項４記載の信
号識別装置である。

【００３０】請求項６の発明は、赤青黄の基本３灯、ま
たは、赤青の基本２灯を含み、これら基本灯火のうち一
の基本灯火が点灯し、他の基本灯火は消灯する信号機の
点灯状態を識別する信号識別方法であって、前記信号機
の基本灯火を撮影した画像を入力する画像入力ステップ
と、点灯中の一の基本灯火以外の基本灯火の輝度値を消
灯状態の輝度値として、前記画像入力ステップに入力し
た画像から抽出する消灯輝度抽出ステップと、前記画像
入力ステップに入力した基本灯火の現在の輝度値と、こ
の入力した基本灯火に対応し、かつ、前記消灯輝度抽出
ステップによって抽出された基本灯火の消灯状態の輝度
値とを比較することで、その基本灯火の現在の点灯状態
を判別する点灯判別ステップと、を具備することを特徴
とする信号識別方法である。

【００３１】本発明では、赤青黄の基本３灯、または、
赤青の基本２灯を含んだ信号機において、これら基本灯
火のうち一の基本灯火が点灯しているときは、他の基本
灯火は消灯していることに着目して、基本灯の点灯状態
を判別するものである。

【００３２】これにより、周囲環境の明るさや状況が変
化しても、判別処理に用いる灯火輝度の基準輝度が連続
的に更新されるので、季節や時間を問わず単一の調整値
で安定して点灯灯火の判別を正しく行うことができる。

【００３３】また、屋外環境に据え付けられた信号機を
画像処理を用いて、終日連続的に単一の調整値で安定し
て識別することができるようになり、交差点付近の交通
状況を計測する装置を構成できるようになり、高度道路
交通システムの実現に途が開かれる。

【００３４】

【発明の実施の形態】以下、本発明の実施例について図
面を参照して説明する。

【００３５】実施例１図１は本実施例の基本構
成図である。

【００３６】信号灯火識別装置は入力カメラ１０１と、
Ａ／Ｄ変換器１０２と、入力制御部１０３と、信号灯火
に１対１対応した少なくとも２つ以上の灯火輝度抽出手
段１０４と、切り替え器１０５と、信号灯火に１対１対
応した少なくとも２つ以上の輝度値記憶手段１０６と、
点灯判別手段１０７から構成される。

【００３７】図１では信号機の灯火が４灯である場合を
想定して描かれているので、灯火輝度抽出手段１０４は
４つあり、１０４−１から１０４−４と枝番号で区別し
て描いてある。輝度値記憶手段１０６も同様に１０６−
１から１０６−４の４灯分構成されている。

【００３８】切り替え器１０５の内部は、灯火に１対１
対応する開閉器１１０によって構成されている。図１で
は切り替え器１０５の内部構成が明確になるように開閉
器１１０−１から開閉器１１０−４までを描きこんであ
る。

【００３９】１．構成機器の役割と、信号の流れの説明 まず、それぞれの構成機器の役割と、信号の流れを説明
する。

【００４０】（カメラ１０１）カメラ１０１の設置方法
の模式図を図２に示した。

【００４１】カメラ１０１は信号機の灯火部分全体を撮
影するように画角が調整されており、その灯火部分の画
像中の位置や大きさがほとんど変わらないように固定さ
れている。実際には信号機自体が風などで揺れるのでカ
メラを固定していても、信号機が画面中で少し揺れる
が、後で説明するように小さな揺れは影響ない。

【００４２】あるいは、カメラ１０１として切り替えカ
メラを想定するならば、画角が変わった場合には、カメ
ラの方向とズーム量から灯火の画像中の位置と大きさを
随時推定して、灯火輝度抽出手段１０４に灯火部分の画
像中の位置と大きさを送信するような構成にする。

【００４３】なお、入力カメラは白黒の濃淡画像が得ら
れるカメラを想定しているが、カラー画像を入力してそ
の輝度のみを用いてもよい。

【００４４】（Ａ／Ｄ変換器１０２）カメラ１０１から
入力された映像は、Ａ／Ｄ変換器１０２によりデジタル
化され入力制御部１０３へ送信される。

【００４５】（入力制御部１０３）入力画像の模式図を
図３に示した。

【００４６】入力制御部１０３はデジタル化された入力
画像を１フレーム保持し、次のフレームの入力要求を切
り替え器１０５から受信するまでその状態を維持する。

【００４７】また入力要求を受信すると入力画像を次の
フレームの画像に更新し、灯火輝度抽出手段１０４に送
信する。

【００４８】（灯火輝度抽出手段１０４）灯火輝度抽出
手段１０４は、それぞれ担当する灯火色の画像領域から
灯火の代表輝度値を抽出する。

【００４９】灯火輝度抽出手段１０４−１は「青」の灯
火を、灯火輝度抽出手段１０４−２は「黄」の灯火を、
灯火輝度抽出手段１０４−３は「赤」の灯火を、灯火輝
度抽出手段１０４−４は「矢印」（一般には右折の矢
印）の灯火を担当するとして説明する。

【００５０】灯火輝度抽出手段１０４−１は、「青」の
灯火の画像位置が既知の状態に設定されている。

【００５１】例えば、固定カメラなら予めパラメータと
して入力しておけばよい。

【００５２】例えば、「青」の灯火の画像位置が矩形領
域として設定されている。

【００５３】灯火輝度抽出手段１０４−１はデジタル化
された入力画像の当該領域を画像処理して領域内の代表
輝度を抽出する。

【００５４】代表輝度としては、例えば当該領域内の輝
度の平均値を代表輝度とすればよい。

【００５５】代表輝度としては他に、領域内の輝度ヒス
トグラムを作成して最頻値を代表輝度とする方法もあ
る。

【００５６】例えば、矩形領域の輝度の平均値を代表値
とする場合には、風や地面の揺れなどで撮影画像内で信
号機の位置が少々揺れたとしても代表値自体はほとんど
影響なく抽出できる効果がある。

【００５７】同様に灯火輝度抽出手段１０４−２は
「黄」の灯火の代表値を、灯火輝度抽出手段１０４−３
は「赤」の灯火の代表値を、灯火輝度抽出手段１０４−
４は「矢印」の灯火の代表値を抽出する。

【００５８】（切り替え器１０５）切り替え器１０５の
動作は点灯判別手段１０７の結果によって変化するの
で、動作方法は後で詳しく説明する。

【００５９】（輝度値記憶手段１０６）輝度値記憶手段
１０６は、切り替え器１０５内の開閉器から送信される
代表値と状態フラグ（点灯状態・消灯状態の識別信号）
をもとに、所定の輝度値を記憶し、処理結果を点灯判別
手段１０７へ送信する。

【００６０】輝度値記憶手段１０６が記憶すべき値は担
当する灯火色によって異なる。

【００６１】輝度値記憶手段１０６の「赤」の担当部は
「赤」消灯時の平均輝度を記憶する。また、「青」の担
当部は「青」消灯時の平均輝度を記憶する。信号灯火の
基本は「赤」と「青」の２灯式信号であり、この基本構
成は必ず存在する。

【００６２】「黄」が増えた３灯式信号の場合は、輝度
値記憶手段１０６の「黄」の担当部は「黄」消灯時の平
均輝度を記憶する。

【００６３】「矢印」が増えた４灯式以上の信号の場合
は、輝度値記憶手段１０６の「矢印」の担当部は「矢印
消灯状態」の平均輝度と「矢印点灯状態」の平均輝度を
記憶する。

【００６４】それぞれ記憶する値は異なるが、内部の処
理方法は同じであり、移動平均と呼ばれる処理を実行す
る。

【００６５】移動平均は時刻ｔにおける灯火輝度の代表
値（入力される値）をＩ（ｔ）とすると、輝度の移動平
均値Ｍは以下の式で求められる。

【００６６】

【数１】 ここでＫは移動平均をとるサンプル長であり、一般には
信号１周期程度の時間（１５０秒など）に設定すればよ
い。また移動平均を求めるためにサンプルの輝度値デー
タは巡回バッファ（リングバッファ）などで記憶する。

【００６７】巡回バッファの初期設定方法はいくつかの
方法があり、ひとつの方法は全灯火の記憶領域に０なる
値を設定する方法である。

【００６８】もうひとつの方法は、初期動作の場合だけ
例外処理として、全灯火の巡回バッファに当該画像領域
の動作開始時の輝度値を設定する方法である。

【００６９】いずれの方法でも以下に説明する方法に従
って装置を構成すれば、巡回バッファの輝度値は徐々に
所望の輝度値に漸近する。

【００７０】ここで、この移動平均の入力となる灯火輝
度の代表値ｓ（ｔ）は、撮影した画像の全てのフレーム
から輝度値を抽出して処理する必要は無い。

【００７１】一般にはある時間間隔（サンプリング間
隔）をおいてサンプリングすればよい。

【００７２】一般的な信号機のリズムであれば１秒間隔
すなわち３０フレーム程度の間隔をあけてサンプリング
すれば良い。

【００７３】フレーム間隔を空けると計算量と記憶メモ
リを減らせる効果がある。

【００７４】このようなサンプリング間隔を制御するの
は切り替え器１０５の機能である。なおこのようにサン
プリング間隔を設定した場合でも、輝度値記憶手段１０
６からの出力は、毎フレームもしくは比較的短い時間間
隔で出力することが必要である。そうでないと、点灯判
断の処理でタイムラグが発生する。

【００７５】なお、「矢印」信号だけは「矢印消灯状
態」の平均輝度と「矢印点灯状態」の平均輝度を記憶す
る。

【００７６】切り替え器１０５の内部の開閉器からは、
灯火別に「状態フラグ」が送信されているので、状態フ
ラグが消灯であれば消灯状態の輝度値として蓄積し、切
り替えフラグが点灯であれば点灯状態の輝度値として蓄
積する。

【００７７】このように、輝度値記憶手段１０６は移動
平均をとることによって、環境の変化による明るさの変
化に追従して判断基準となる灯火の輝度を随時更新でき
る。この結果、時刻や季節を問わず安定して動作するこ
とができる。

【００７８】また切り替え器１０５があることにより、
輝度値の情報を時間的に切り替えることができるので、
各灯火の消灯時の輝度が記憶できる。

【００７９】信号機は余程の非常時以外は全灯火が消灯
状態になることはありえない。従って、切り替え器１０
５を導入して時間的に記憶時間を切り替えない限り、基
本３灯の消灯状態の輝度、及び点灯状態の輝度値を分離
して記憶することはできないのである。このように切り
替え器１０５の効果は大きい。

【００８０】輝度値記憶手段１０６から点灯判別手段１
０７へは、灯火の消灯状態の輝度の移動平均や点灯状態
の輝度の移動平均のデータが送信されている。

【００８１】また、灯火輝度抽出手段１０４からの出力
は点灯判別手段１０７へも送信されている。

【００８２】（点灯判別手段１０７）点灯判別手段１０
７は、これらのデータを受信し、点灯中の灯火を判別す
る。この結果がこの装置全体の識別結果であり出力とな
る。また、点灯判別手段１０７は、この出力値を用いて
切り替え器１０５の状態を更新する。

【００８３】点灯判別手段１０７の判別方法の詳細は後
で説明する。

【００８４】切り替え器１０５は、点灯判別手段１０７
の出力をもとに開閉器１１０−１から１１０−４を制御
して、灯火輝度抽出手段１０４のデータを輝度値記憶手
段１０６へ転送する。この動作が済むと、次の画像を入
力できる状態になるので、次フレームの入力要求を入力
制御部１０３に送信する。

【００８５】以上で一連のデータの流れが終わる。

【００８６】２．切り替え器１０５の動作 続いて、点灯判別手段１０７の出力によって切り替え器
１０５をどのように設定するかについて説明する。

【００８７】切り替え器１０５の動作は信号機の灯火数
と点灯スケジュールにより変化があるが、実施例１で
は、最終的には比較的複雑な４灯式信号を対象として説
明する。この場合の、切り替え状態と輝度値記憶手段１
０６の動作状態の対応表を図４に示した（図４中でφは
蓄積記憶処理をしないという意味である。） （信号機の形式）切り替え器１０５の設定の説明の前
に、信号機の形式について説明する。

【００８８】歩行者用灯器、車両灯器であっても灯火の
基本は「赤」と「青」の２灯式信号である。

【００８９】「黄」が増えた３灯式信号も時間的には
「赤」または「青」の状態がほとんどなので、２灯式信
号に準じて識別装置を構成できる。

【００９０】矢印灯器における信号「矢印」が増えた４
灯式以上の信号でも「青」「赤」「黄」の基本３灯の構
成は変わらないので、識別装置の基本構成は同じであ
る。

【００９１】なお、１灯式の信号機もあるが（赤点滅と
赤、など）、この場合は点灯している灯火を判別する
（対象の選択）というよりは、点滅状態と点灯状態を識
別する（状態の区別）だけなので従来技術で実現可能で
あり、ここでは説明しない。

【００９２】（３灯式信号、または、２灯式信号におけ
る切り替え器１０５の動作）切り替え器１０５の動作は
その時点での灯火識別状態によって変化する。

【００９３】「青」点灯状態には、「赤」と「黄」の輝
度値記憶手段１０６に対応する開閉器１１０を開放状態
（送信状態）に設定する。こうして、「黄」と「赤」の
輝度値記憶手段１０６に消灯状態の輝度値が記憶され
る。

【００９４】次に、「黄」点灯状態には、全ての開閉器
１１０を閉鎖状態（送信停止状態）にする。

【００９５】次に、「赤」点灯状態には、「青」と
「黄」の輝度値記憶手段１０６に対応する開閉器１１０
を開放状態（送信状態）に設定する。こうして、「青」
と「黄」の輝度値記憶手段１０６に消灯状態の輝度値が
記憶される。

【００９６】２灯式の信号機で「黄」が無い場合には
「赤」「青」の信号で、相反する輝度値を記憶すれば良
い。「赤」「青」は同時に点灯することが無いので、相
反する灯火が点灯状態にある間に輝度を記憶すれば消灯
状態の輝度値が記憶できる。

【００９７】「黄」の灯火が増えた場合も、「黄」の点
灯時間は短いので（一般に３秒程度）、移動平均をとる
ことを考慮すれば「黄」の時間帯に輝度のサンプリング
をする必要はそれほど無い。

【００９８】また、図４では「黄」のサンプリング時間
は「青」点灯状態と「赤」点灯状態の両方になっている
が、もし処理をサンプリング時間をどちらか一方にする
ならば「青」の時間帯を選ぶ方が有効である。なぜな
ら、現在一般に使用されているカメラの入力感度特性は
「赤」の灯火に対する感度がもっとも悪いので、出力さ
れる識別結果は、感度の悪い「赤」の点灯判定よりも、
「青」の点灯判定の方が確実性が高いからである。

【００９９】３灯式の信号機も「青」「黄」「赤」の基
本３灯は時間的に相補関係にあるので、相反する灯火が
点灯状態にある間に輝度を記憶すれば消灯状態の輝度値
が記憶できる。

【０１００】（矢印信号が追加されたときの切り替え器
１０５の動作）次に、「矢印」信号が追加された場合に
ついて説明する。

【０１０１】「矢印」は「矢印消灯状態」と「矢印点灯
状態」の両方の平均輝度の記憶が必要である。「矢印」
は基本３灯とは異なり対象とする信号機の遷移プログラ
ムに応じて、開放時間と閉止時間を制御しなければなら
ない。

【０１０２】例えば、「青→黄→赤と矢印→赤」と遷移
し、「矢印」は「黄」終了から「赤」の初期１０秒間点
灯する遷移プログラムの信号機であれば、まず「赤」点
灯開始後１０秒間（図中の「赤点灯初期」）に「矢印点
灯状態」の輝度のサンプルを行い、続いて、「赤」点灯
開始後１０秒後から１０秒間（図４中の「赤点灯後
期」）に「矢印消灯状態」の輝度のサンプルを行う。

【０１０３】サンプル時間の長さや開始時刻は正確でな
くても２秒ないし３秒誤差があっても移動平均をとるの
で実用上問題ない。また、タイミングの誤差で消灯状態
中に点灯状態の輝度をサンプルしてしまっても、先に説
明したように移動平均をとるので実用上影響ない。

【０１０４】また例えば「青→黄→赤と矢印→黄→赤」
という遷移プログラムの場合は、１回目の「赤」（赤と
矢印の同時点灯の間）の時間帯に「矢印点灯状態」のサ
ンプルを行い、２回目の「赤」の時間帯に「矢印消灯状
態」のサンプルを行う。

【０１０５】矢印信号が方向別に多数追加された場合
も、同様に遷移プログラムに応じて「矢印消灯状態」と
「矢印点灯状態」の輝度を記憶できるように、切り替え
器１０５の状態を切り替える。

【０１０６】３．点灯判別手段１０８の処理 実際に以上のような切り替え器１０５の制御を行うの
は、点灯判別手段１０７である。

【０１０７】したがって、点灯判別手段１０７は、切り
替え器１０５の制御のために、信号機の遷移プログラム
を記憶し、現時点での状態を認識している必要がある
（現在何回目の何色の信号かを把握する必要がある）。
また、現時点の状態の継続時間を認識している必要もあ
る（赤信号になってから今は何秒目かを把握する必要が
ある）。

【０１０８】このために、点灯判別手段１０７の内部に
は、状態識別メモリと状態計測タイマーが構成されてい
る。

【０１０９】次に点灯判別手段１０８の処理手順を説明
する。

【０１１０】（３灯式信号における処理）点灯判別手段
１０８には、輝度値記憶手段１０６から基本３灯の消灯
状態の輝度の移動平均値と、矢印信号の点灯状態及び消
灯状態の輝度の移動平均値が送信されている。

【０１１１】まず、Ｉ(Green）を、灯火輝度抽出手段１
０４−１から送られた「青」の現在（リアルタイム）の
フレームの輝度とする。また、輝度値記憶手段１０６−
１から送られたＭ(Green）を「青」の消灯状態の輝度の
移動平均とする。

【０１１２】すると、「青」の輝度変化量Ｄ(Green）を
以下の式によって算出する。

【０１１３】

【数２】 同様に「黄」の輝度変化量Ｄ(Yellow)、「赤」の輝度変
化量Ｄ(Red）を以下の式によって求める

【数３】 基本３灯のうち１灯は点灯状態にあるはずなので、Ｄ(G
reen），Ｄ(Yellow)，Ｄ(Red）の中で最大の変化量を示
した灯火色が「点灯状態である」と判別する。「黄」の
灯火が無い場合は「青」「赤」の２灯のどちらかが点灯
状態にあるはずなので、Ｄ(Green），Ｄ(Red）の変化量
のうち大きいほうの灯火色を「点灯状態である」と判別
する。

【０１１４】（矢印信号が追加されたときの処理）「矢
印」の点灯判別方法について説明する。

【０１１５】「矢印」に対応する輝度値記憶手段には
「消灯状態」の輝度の移動平均Ｖoff(Arrow)と「点灯状
態」の輝度の移動平均Ｖon(Arrow）が記憶されている。
点灯判別手段１０７はまず以下の式から判断のためのし
きい値Ｖthr(Arrow)を算出する。

【０１１６】

【数４】 簡単に判別するには「矢印」の輝度がこのしきい値Ｖth
r(Arrow)より明るいときに「点灯状態」と判別し、しき
い値より暗いときに「消灯状態」と判別すれば良い。

【０１１７】なお、しきい値を上述のように「点灯状態
輝度」と「消灯状態輝度」の中間値にするのでなく、そ
の範囲の適当な値に設定する方法もあるが、識別精度に
それ程の違いは現れない。

【０１１８】この方法でも、通常はほとんど誤り無く判
別することができるが、信号機の遷移プログラムを既知
の情報として利用できる場合は遷移プログラムを利用し
た判別方法をとるのが良い。

【０１１９】「矢印」信号は基本３灯より一般に低い位
置に据え付けられているので、カメラの設置位置によっ
ては車体の大きなトラックに隠される可能性がある。ま
た、その他のノイズによっても誤判別の危険がある。基
本３灯は他の灯火と排他的な時間に点灯するので、他の
色の灯火で点灯判別の検証が可能だが、「矢印」は他の
灯火で検証することは難しいので（「赤」単独点灯状態
と、「赤」「矢印」同時点灯状態があるので「赤点灯」
だけでは区別できない）、遷移プログラムを利用するの
が効果的である。

【０１２０】例えば、「青→黄→赤と矢印→赤」という
遷移プログラムで、「矢印」は「黄」終了から「赤」の
初期１０秒間点灯する信号機で説明する。この信号機の
場合は「赤」点灯状態と判別されはじめてから、例えば
１２秒間内に限り、しきい値Ｖthr(Arrow)より矢印領域
の輝度が明るい場合に「矢印点灯」と判別すれば良い。
すなわち時間的な条件と、輝度の条件を同時に満たす場
合に限り「矢印点灯」と判別すれば良い。

【０１２１】４．時間的な条件との関係 ここで、時間的な条件を使うならば、領域の輝度情報を
使わず、全て時間条件だけで信号灯火の状態を判断する
方法があっても良いと考えられる。しかし、時間条件だ
けでは、日中と夜間で信号機の遷移プログラムが変更さ
れる信号機の場合に誤認識が発生する。また、識別装置
のタイマーと信号機のタイマーを同期させる方法が無い
ので、識別装置のタイマーがずれた場合などにも誤認識
が発生するなどの問題点がある。一方、画像処理を利用
すれば、フレーム単位で信号機の状態を識別することが
できる。このように、画像処理をメインにし、時間条件
は補助的に利用するのが効果的なのである。

【０１２２】さて、以上説明したように本発明では輝度
に関する調整値は存在しない。予め設定が必要な調整値
（パラメータ）は、灯火領域の位置指定のためのパラメ
ータと、信号機の遷移プログラムを知識として使うため
のパラメータである。前者は位置のパラメータであり、
後者は時間のパラメータである。従って、本発明の構成
であれば、輝度の調整値はなく自動的に修正されるの
で、時刻や季節によらず安定して識別が可能なのであ
る。

【０１２３】５．デッドロックに陥った場合 さて、初期設定のタイミングや、周囲の環境（明るさな
ど）が急激に変化した場合、本発明の方法によっても誤
動作のデッドロックに陥る可能性がある。

【０１２４】デッドロックに陥った場合に復旧するため
に、本発明では点灯判別手段１０７内で、信号機の１周
期以上の時間に渡り出力状態が変化しない場合は、強制
的にリセットして再起動する機能を持たせる。

【０１２５】稀に事故が発生した場合などに、警察官が
信号機の動作を止めて、マニュアル操作をする場合があ
るが、そのような状況になっても、強制的なリセットが
繰り返されるだけで識別結果が悪くなることは無い。

【０１２６】また、強制的なリセットは、信号機の１周
期の整数倍にも整数分の１にもならない時間間隔で実行
されるように設定するのが効果的である。

【０１２７】これは、例えば「リセットされて再起動し
ても、動作開始が「青」であると再びデッドロックに陥
る」という状況にあったとしても、強制的なリセットの
サイクルと信号機のサイクルが異なれば、やがては正常
動作できるタイミングに再起動されるからである。

【０１２８】実施例２実施例２では、歩行者用
信号機（歩行者用灯器）へ適用した場合について説明す
る。

【０１２９】歩行者用信号機は「青」「赤」の２灯に加
えて「青点滅」という状態があるのが車道用信号機（車
両灯器）と異なる点である。

【０１３０】しかし、歩行者用信号機に対しても本発明
の構成は変えずに認識装置を構成できる。ただ、起動す
るタイミングと、信号機の遷移プログラムへの対応が少
々必要である。

【０１３１】歩行者用信号機の場合は、輝度値記憶手段
１０６には、「青の点灯状態」「青の消灯状態」「赤の
点灯状態」「赤の消灯状態」の４つの値を記憶する。

【０１３２】図５は歩行者用信号機の輝度値記憶手段１
０６の内部状態の変化を模式的に描いたものであり、以
下の説明ではこの図に基づいて説明する。

【０１３３】歩行者用識別装置は「赤」点灯中に処理を
開始する（装置を起動する）。そして初期状態から開始
した最初の１サイクルだけは例外処理を実行する。

【０１３４】以下、まず初期段階の例外処理を説明す
る。

【０１３５】まず、最初のステップとして、全ての輝度
値記憶手段１０６の蓄積値を０に設定する。

【０１３６】次のステップで、画像が入力され、「青」
「赤」の領域の輝度代表値Ｉ(Green），Ｉ(Red）が抽出
される。

【０１３７】初期段階では「青」「赤」とも消灯状態の
輝度の移動平均Ｖoff(Green)，Ｖoff(Red)は０なので、
消灯輝度Ｖoff を基準に以下の式で計算される輝度変化
量Ｄ(Green），Ｄ(Red）は入力されたＩ(Green），Ｉ(R
ed）に等しい。

【０１３８】

【数５】 初期段階の処理では、Ｄ(Green），Ｄ(Red）の大きい方
の灯火が点灯中であると判別する。実際は「赤」点灯状
態で動作開始するので「赤」と判別される（図５中のａ
の時点）。

【０１３９】「赤」と判定されるが、初期段階では例外
処理として「赤点灯状態の平均輝度」「赤消灯状態の平
均輝度」「青点灯状態の平均輝度」「青消灯状態の平均
輝度」を担当する、全ての輝度値記憶手段１０６に輝度
値を記憶する。この結果この時間帯（図５中のｂの区
間）では、「赤点灯状態の平均輝度」と「赤消灯状態の
平均輝度」は「赤」の点灯状態の輝度に漸近する。また
「青点灯状態の平均輝度」「青消灯状態の平均輝度」は
「青」の消灯状態の輝度に漸近する。

【０１４０】巡回バッファの記憶値が全て入れ替わる
と、移動平均が移動し収束する（図５中のｃの区間）。

【０１４１】続いて信号機が「青」の状態になる。現在
の状態は「赤消灯状態の平均輝度」Ｖoff(Red)は明るい
値であり、「青消灯状態の平均輝度」Ｖoff(Green)は暗
い値（実際に消灯状態の時の輝度）であるので、

【数６】 式より、Ｄ(Green）の方が大きい値になる。この段階で
も、Ｄ(Green），Ｄ(Red）の大きい方の灯火が点灯中で
あると判別する。この結果「青」点灯状態と判別され
る。

【０１４２】「青」と判定された時点からは、「青点灯
状態の平均輝度」と「赤消灯状態の平均輝度」だけが、
輝度値記憶手段１０６に取り込まれる。この結果、「青
点灯状態の平均輝度」と「赤消灯状態の平均輝度」は真
の値に漸近する（図５中のｄの区間）。

【０１４３】次のステップとして、真の値への収束を待
つためにしばらく判定処理を休止する。信号機の「青」
が例えば１０秒間であれば、５〜８秒程度待つ。輝度値
記憶手段の出力がこの時間内にで収束するように、この
段階でのサンプリング間隔は短めに設定する。サンプリ
ング間隔が短ければ、巡回バッファは速く入れ替わる。

【０１４４】やがて「青点灯状態の平均輝度」と「赤消
灯状態の平均輝度」は真の値に収束する（図５中のｅの
区間）。

【０１４５】判定処理の休止状態が終了した時点では
「青点灯状態の平均輝度」Ｖon(Green），「青消灯状態
の平均輝度」Ｖoff(Green)，「赤点灯状態の平均輝度」
Ｖon(Red），「赤消灯状態の平均輝度」Ｖoff(Red)の４
つが真の値に収束している（図５中のｅの区間）。

【０１４６】これ以後は、以下の式でしきい値Ｖthr(Gr
een)，Ｖthr(Red)を設定し、しきい値によって各灯火の
「明るい」「暗い」を判別し、図６の判別表に従って信
号機の状態を判別する。

【０１４７】しきい値は以下の式で求める。

【０１４８】

【数７】 灯火の「明るい」「暗い」は以下の条件で判断する。以
下の式でＩが入力画像の灯火領域の輝度代表値であり、
Ｖthr は上の式で求めたしきい値である。

【０１４９】このしきい値も「点灯状態輝度」と「消灯
状態輝度」の正確な中間値に設定する方法のほかに、中
間値付近の適当な値に設定する方法もある。

【０１５０】

【数８】 やがて、信号機の状態が「青」から「青点滅」に変わ
る。この時点で、青信号は一旦消灯状態になるので、そ
の瞬間「青が暗い」と判別され、図６の表に基づいて
「青点滅状態」と判別される。

【０１５１】やがて、信号機が「赤点灯状態」に遷移
し、「赤」領域が明るくなるので、識別装置が「赤点
灯」と判別する。ここまでが１サイクルであり初期段階
における例外処理である。

【０１５２】これ以後の繰り返し処理は、信号機の状態
識別は図６の表に従って判定され、図７の表に従って輝
度値記憶手段１０６の記憶処理が実行される図６中のφ
は判定に無関係であることを意味する（図７中のφは蓄
積記憶処理をしないという意味である）。

【０１５３】実施例１と同様に、輝度値の記憶は繰り返
し行なわれて更新されるので、撮影環境の明るさに時間
的季節的な変化が起こっても輝度のパラメータは適応的
に修正されるので、パラメータの再設定は必要無い。

【０１５４】また歩行者用信号機の識別装置に関して
も、誤識別が連続してデッドロックに陥る可能性がある
ので、同じ状態を長時間継続した場合は強制リセットす
る機能を搭載する。強制リセットの時間間隔は信号機の
サイクルの整数倍または整数分の１を避けた値に設定す
る。その結果、何回か強制リセットを繰り返せば、必ず
「赤」のタイミングに再起動される。ここで付け加える
と、歩行者用信号機に関して言えば、「赤」の状態が時
間的に最も長く、設置場所によっては殆どの時間が
「赤」の状態にある場合もある。そのため、「赤」の時
間帯に起動させることはそれほど難しくないし、ランダ
ムに起動させたとしても「赤」で起動する確率が最も高
い。

【０１５５】

【発明の効果】以上説明したように、本発明では、赤青
黄の基本３灯、または、赤青の基本２灯を含んだ信号機
において、これら基本灯火のうち一の基本灯火が点灯し
ているときは、他の基本灯火は消灯していることに着目
して、基本灯の点灯状態を判別するものである。

【０１５６】これにより、周囲環境の明るさや状況が変
化しても、判別処理に用いる灯火輝度の基準輝度が連続
的に更新されるので、季節や時間を問わず単一の調整値
で安定して点灯灯火の判別を正しく行なうことができ
る。

【０１５７】また、屋外環境に据え付けられた信号機を
画像処理を用いて、終日連続的に単一の調整値で安定し
て識別することができるようになり、交差点付近の交通
状況を計測する装置を構成できるようになり、高度道路
交通システムの実現に途が開かれる等の実用上多大な効
果がある。

【図面の簡単な説明】

【図１】基本的な構成図である。

【図２】カメラと信号機の関係の模式図である。

【図３】画角設定の例と灯火輝度抽出領域の模式図であ
る。

【図４】車道用信号機の記憶処理表の図である。

【図５】歩行者用信号機の初期段階の記憶手段の内部状
態の図である。

【図６】歩行者用信号機の判別表の図である。

【図７】歩行者用信号機の記憶処理表の図である。

【符号の説明】

１０１ 入力カメラ １０２ Ａ／Ｄ変換器 １０３ 入力制御部 １０４ 灯火輝度抽出手段 １０５ 切り替え器 １０６ 輝度値記憶手段 １０７ 点灯判別手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 武田 信之 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究センター内 Ｆターム(参考） 5B057 AA16 DA20 DB02 DC22 5H180 AA01 AA21 CC04 DD01 GG01

Claims (6)

【特許請求の範囲】
1. 【請求項１】赤青黄の基本３灯、または、赤青の基本２
   灯を含み、これら基本灯火のうち一の基本灯火が点灯
   し、他の基本灯火は消灯する信号機の点灯状態を識別す
   る信号識別装置であって、 前記信号機の基本灯火を撮影した画像を入力する画像入
   力手段と、 点灯中の一の基本灯火以外の基本灯火の輝度値を消灯状
   態の輝度値として、前記画像入力手段に入力した画像か
   ら抽出する消灯輝度抽出手段と、 前記画像入力手段に入力した基本灯火の現在の輝度値
   と、この入力した基本灯火に対応し、かつ、前記消灯輝
   度抽出手段によって抽出された基本灯火の消灯状態の輝
   度値とを比較することで、その基本灯火の現在の点灯状
   態を判別する点灯判別手段と、 を具備することを特徴とする信号識別装置。
2. 【請求項２】消灯輝度抽出手段は、 基本灯火の消灯状態の輝度値を更新することを特徴とす
   る請求項１記載の信号識別装置。
3. 【請求項３】消灯輝度抽出手段は、 前記画像入力手段に入力した画像から前記基本灯火に対
   応する輝度を抽出する輝度抽出手段と、 前記点灯判別手段によって点灯中と判別された基本灯火
   以外の基本灯火に関して、前記輝度抽出手段によって抽
   出された前記基本灯火の輝度値を消灯状態の輝度値とす
   る切り替え手段と、 を具備したことを特徴とする請求項１と請求項２に記載
   の信号識別装置。
4. 【請求項４】赤青黄の基本３灯、または、赤青の基本２
   灯以外に矢印灯火を有した信号機において、 前記点灯判別手段が判別した前記基本灯の点灯状態に基
   いて、前記矢印灯火の点灯時間帯と消灯時間帯を推定す
   る推定手段と、 前記画像入力手段に入力した画像から前記矢印灯火の輝
   度値を抽出して、前記矢印灯火の点灯状態の基準輝度及
   び消灯状態の基準輝度を求める基準輝度抽出手段と、 前記推定手段によって推定した前記矢印灯火の点灯可能
   性のある時間帯に限り、前記基準輝度抽出手段によって
   抽出した前記矢印灯火の点灯状態の基準輝度と消灯状態
   の基準輝度に基いて、前記矢印灯火の現在の点灯状態を
   判別する矢印灯火判別手段と、 を具備することを特徴とする請求項１から請求項３に記
   載の信号識別装置。
5. 【請求項５】前記点灯判別手段が判別した灯火状態が、
   前記信号機の点灯周期を超えても変化がない場合に、 前記点灯判別手段の前回の判別時刻から前記点灯周期の
   整数倍、または、前記点灯周期の整数分の１倍の時間に
   等しくない時間間隔を空けて、前記点灯判別手段によっ
   て判別処理を行わせる再起動手段を具備したことを特徴
   とする請求項１から請求項４記載の信号識別装置。
6. 【請求項６】赤青黄の基本３灯、または、赤青の基本２
   灯を含み、これら基本灯火のうち一の基本灯火が点灯
   し、他の基本灯火は消灯する信号機の点灯状態を識別す
   る信号識別方法であって、 前記信号機の基本灯火を撮影した画像を入力する画像入
   力ステップと、 点灯中の一の基本灯火以外の基本灯火の輝度値を消灯状
   態の輝度値として、前記画像入力ステップに入力した画
   像から抽出する消灯輝度抽出ステップと、 前記画像入力ステップに入力した基本灯火の現在の輝度
   値と、この入力した基本灯火に対応し、かつ、前記消灯
   輝度抽出ステップによって抽出された基本灯火の消灯状
   態の輝度値とを比較することで、その基本灯火の現在の
   点灯状態を判別する点灯判別ステップと、 を具備することを特徴とする信号識別方法。