JP2007286943A - 信号灯検出装置 - Google Patents

Abstract

【課題】検出の高精度化と同時に、低コスト化を図る。
【解決手段】信号灯検出装置２は、複数のカメラ２０と、カメラ制御部２１と、時系列順画像選択部２２と、信号灯候補検出部２３と、データバッファ２４と、明滅判定部２５と、結果出力部２６とを備える。複数のカメラ２０は、ほぼ同一の領域を撮影して画像を取得する。カメラ制御部２１は、各カメラ２０の撮影動作を周期的に実行させるとともに、撮影のタイミングをカメラ２０ごとに異ならせる。時系列順画像選択部２２は、各カメラ２０によって取得された画像を時系列順に選択する。信号灯候補検出部２３は、時系列順画像選択部２２によって選択された画像中から色および形状に基づいて信号灯候補を順次に検出し、データバッファ２４に入力する。明滅判定部２５は、信号灯候補の時系列的な輝度変化から、信号灯候補が周期的に明滅しているか否かを判定し、判定結果を結果出力部２６に入力する。
【選択図】図２

Description

本発明は、撮影画像から信号灯を検出する信号灯検出装置に関し、特に、周期的に明滅するＬＥＤ式信号灯を検出する信号灯検出装置に関する。

近年、車載カメラによって撮影された画像に基づいて道路状況を判定し、この判定結果に基づいて車両の運転を支援する運転支援システムが開発されている。このような運転支援システムは、交差点などに設置された信号機の存在およびその信号灯の点灯状態を検出する機能を備えることが、交通事故防止の観点から重要である。

また、近年、旧来の白熱灯とカラーフィルタからなる信号灯に代えて、ＬＥＤ式信号灯の設置が急速に進んでいる。これは、ＬＥＤ式信号灯は、日光による疑色点灯がなく視認性が良いだけでなく、低電力消費であって耐久性に優れるといった利点があるためである。ＬＥＤ式信号灯は、青、黄、赤の各色ごとに、多数の発光ダイオード（ＬＥＤ：Light Emitting Diode）が円状領域内に２次元配列されてなる。ＬＥＤ式信号灯は、点灯状態において、各ＬＥＤが一定の周期で明滅を繰り返しているが、この明滅の周波数は１００〜１２０Ｈｚと非常に高速であるため、人間には一定の光量で点灯しているかのように見える。

そこで、ＬＥＤ式信号灯を対象とし、カメラによって連続的に撮影された画像から信号灯候補を抽出し、信号灯候補が周期的に明滅しているか否かを判定することにより信号灯の検出を行う信号灯検出装置が開示されている（特許文献１参照）。
特開平２００５−３０１５１８号公報

しかしながら、上記特許文献１に開示された信号灯検出装置において、カメラとして一般的な民生用のデジタルビデオカメラを用いた場合、そのフレームレートは３０フレーム／秒（サンプリングレート３０Ｈｚ）前後と、ＬＥＤ式信号灯の明滅周波数（１００〜１２０Ｈｚ）に比べて小さいため、明滅を正確に検出することはできない。また、これを解決するためにフレームレートの高いカメラを採用すると、コストの上昇を招いてしまう。

本発明は、このような事情を鑑みてなされたものであり、検出の高精度化と同時に、低コスト化を図ることができる信号灯検出装置を提供することを目的とする。

上記目的を達成するために、本発明の信号灯検出装置は、ほぼ同一の領域を撮影して画像を取得する複数の撮影手段と、前記各撮影手段の撮影動作を周期的に実行させるとともに、撮影のタイミングを前記各撮影手段ごとに異ならせる撮影制御手段と、前記各撮影手段によって取得された画像を時系列順に選択する時系列順画像選択手段と、前記時系列順画像選択手段によって選択された画像中から色および形状に基づいて信号灯候補を順次に検出する信号灯候補検出手段と、前記信号灯候補検出手段によって検出された信号灯候補の時系列的な輝度変化から、信号灯候補が周期的に明滅しているか否かを判定する明滅判定手段と、を備えることを特徴とする。明滅判定手段によって周期的な明滅が検出されたとき、この信号灯候補は、ＬＥＤ式信号灯であると判断される。

なお、前記信号灯候補検出手段は、画像中から信号灯の形状に適合する領域を抽出し、この領域が信号灯の色および輝度のプロファイルデータに適合するか否かを判定することによって信号灯候補を検出することが好ましい。

また、前記信号灯候補検出手段は、画像中から信号灯の色および輝度に係わるプロファイルデータに適合する領域を抽出し、この領域の形状が信号灯の形状に適合するか否かを判定することによって信号灯候補を検出することも好ましい。

また、前記信号灯候補検出手段は、画像中から信号灯の色および輝度のプロファイルデータに適合する領域を抽出して、この領域を信号灯候補として検出するとともに、画像中から信号灯の形状に適合する領域を抽出して、この領域を信号灯候補として検出することも好ましい。

さらに、前記プロファイルデータは、色の成分比と輝度の平均値および分散量とからなることが好ましい。

本発明の信号灯検出装置は、撮影のタイミングの異なる複数の撮影手段によって画像を取得し、これらを時系列順に選択したうえで信号灯候補を検出および明滅判定を行うように構成されているため、撮影手段としてフレームレートの低い民生用の安価なカメラを採用しても高いサンプリングレートを実現することができる。これにより、検出の高精度化と同時に、低コスト化を図ることができる。

また、本発明の信号灯検出装置は、信号灯の色および輝度に係わるプロファイルデータを信号灯候補の抽出に用いているため、信号灯候補の絞込み精度を高めることができる。

また、本発明の信号灯検出装置は、車両に搭載されるステレオカメラタイプの測距装置など、複数のカメラを有する装置中にも容易に組み込むことができる。

図１において、本発明に係わる信号灯検出装置１０は、車両１１のフロントガラス１２の上部に取り付けられており、前方の道路状況を監視して、ＬＥＤ式信号灯の存在およびその点灯状態を検出する。モニタ装置１３は、ダッシュボード１４上に設置されており、信号灯検出装置１０による信号灯の検出結果を、画面１３ａやスピーカ１３ｂから文字情報や音声情報として運転手へ報知する。撮影領域１５は、信号灯検出装置１０が備える複数のカメラ２０（図２参照）が撮影を行い、画像を取得する領域にほぼ一致する。信号灯検出装置１０およびモニタ装置１３は、信号灯の検知情報を運転手に報知する運転支援システムとして機能する。なお、信号灯検出装置１０およびモニタ装置１３の設置場所は、上記の位置に限られず、適宜変更してよい。

図２において、信号灯検出装置１０は、複数のカメラ２０、カメラ制御部２１、時系列順画像選択部２２、信号灯候補検出部２３、データバッファ２４、明滅判定部２５、および結果出力部２６によって構成されている。

カメラ２０は、撮像レンズ２７、ＣＣＤイメージセンサ（以下、単にＣＣＤという）２８、画像信号処理部２９、および画像メモリ３０からなる。撮像レンズ２７は、前述の撮影領域１５中の光をＣＣＤ２８に入射させる。ＣＣＤ２８は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）について分光を行う原色のカラーフィルタ（図示せず）を備え、カラー画像を得ることが可能な固体撮像素子である。ＣＣＤ２８は、入射光をカラーフィルタによって分光した後、光電変換を行い、その結果得られた撮像信号（ＲＧＢ信号）を画像信号処理部２９に入力する。画像信号処理部２９は、入力された撮像信号に、二重相関サンプリング、ゲイン補正、Ａ／Ｄ変換、色補間、ガンマ補正などの画像信号処理を施して画像データとし、この画像データを画像メモリ３０に入力する。この画像データは、ＲＧＢ形式あるいはＹＣ（輝度・色差）形式のカラー画像データであり、画像メモリ３０は、複数フレームの画像データを保持することができる。

カメラ制御部２１は、各カメラ２０に周期的に撮影を実行（動画撮影動作）させるとともに、各カメラ２０のＣＣＤ２８の撮像タイミングを異ならせる。具体的には、カメラ制御部２１は、各ＣＣＤ２８の撮像周期を等しくし、位相を変えることによって、各ＣＣＤ２８の撮像タイミングを異ならせる（図３参照）。なお、この位相差は、後述するＬＥＤ信号灯の明滅周期Ｔｌｅｄより小さくする。また、各ＣＣＤ２８の撮像時間（露光時間）は、明滅周期Ｔｌｅｄより十分に小さくする。例えば、明滅周期Ｔｌｅｄが１０ｍｓｅｃのとき、撮像時間は、５ｍｓｅｃ以下とする。

時系列順画像選択部２２は、各カメラ２０の画像メモリ３０に格納された画像データを、カメラ制御部２１が各カメラ２０を動作させるタイミングに基づき、時系列順に選択する。また、時系列順画像選択部２２は、選択した画像データを信号灯候補検出部２３に入力する。

信号灯候補検出部２３は、形状適合領域抽出部３１、ＬＥＤ式信号灯プロファイル保持部３２、およびプロファイル適合性判定部３３からなる。形状適合領域抽出部３１は、入力された画像データを解析（エッジ抽出処理など）した後、信号灯の形状（円形状）に適合する領域（以下、形状適合領域という）を検索し、形状適合領域が存在するには、この形状適合領域をプロファイル適合性判定部３３に入力する。プロファイル適合性判定部３３は、信号灯プロファイル保持部３２に保持されたＬＥＤ式信号灯のプロファイルデータを参照して、入力された形状適合領域のプロファイル適合性を判定し、プロファイル適合性が高い場合には、この形状適合領域を信号灯候補として検出する。また、プロファイル適合性判定部３３は、検出した信号灯候補の特徴量（画像内の座標および適合するプロファイルデータ）をデータバッファ２４に順次に入力する。なお、ＬＥＤ式信号灯のプロファイルデータとは、各信号灯の各発光レベルにおけるＲＧＢの色成分比、および輝度（Ｙ）に関する統計量（平均値、標準偏差（分散量）など）である。

データバッファ２４は、入力された信号灯候補の特徴量を順次に保持する。明滅判定部２５は、データバッファ２４に保持された複数フレーム分の信号機候補の特徴量に基づき、信号灯候補の時系列的な輝度変化から、信号灯候補が周期的に明滅しているか否かを判定し、信号灯候補がＬＥＤ式信号灯であるか否かを判別する。また、明滅判定部２５は、信号灯候補がＬＥＤ式信号灯であると検出した場合には、その検出結果（信号灯の色や座標も含む）を結果出力部２６に入力する。結果出力部２６は、入力された検出結果を前述のモニタ装置１３へ出力する。

図４は、検出対象のＬＥＤ式信号灯の構成例を示す。ＬＥＤ式信号機４０は、青色信号灯４１ａ、黄色信号灯４１ｂ、赤色信号灯４１ｃを備える。各信号灯４１ａ，４１ｂ，４１ｃはそれぞれ、青色ＬＥＤ４２ａ、黄色ＬＥＤ４２ｂ、赤色ＬＥＤ４２ｃが円状領域内に２次元配列されてなる。このように、各信号灯４１ａ，４１ｂ，４１ｃは、面発光光源ではなく、点光源であるＬＥＤ４２ａ，４２ｂ，４２ｃを２次元状に散在させたものであるため、各信号光には、明暗のばらつきが存在する。また、各信号灯４１ａ，４１ｂ，４１ｃは、点灯状態において、１００〜１２０Ｈｚの周波数で明滅を行う。よって、前述のプロファイルデータには、各発光レベルごとのＲＧＢの色成分比の他、明暗のばらつきを、輝度の平均値および標準偏差を指標として加える。

以下の表１〜３は、ＬＥＤ式信号灯のプロファイルデータの一例を示す。表１は、青色信号灯４１ａ、黄色信号灯４１ｂ、赤色信号灯４１ｃの強発光時におけるＲ（赤），Ｇ（緑），Ｂ（青），Ｙ（輝度）の各信号レベルの平均値である。表２は、青色信号灯４１ａの強発光時、中発光時、無発光時におけるＲ，Ｇ，Ｂ，Ｙの各信号レベルの平均値である。表３は、青色信号灯４１ａの強発光時、中発光時、無発光時におけるＲ，Ｇ，Ｂ，Ｙの各信号レベルの標準偏差である。なお、ＬＥＤ４２ａ，４２ｂ，４２ｃの輝度レベルは連続的に変化するため、実際のプロファイルデータとしては、各信号灯について、発光レベルをより細かく細分化したものを用いる。また、このプロファイルデータは、ＬＥＤ式信号灯から実際に発せられる信号光を所定時間間隔で実測して作成されるものである。

以上のように、信号灯検出装置１０は、撮像タイミングの異なる複数のカメラ２０を用い、各カメラ２０よって得られた画像を時系列順に選択することにより、サンプリングレートを高めている。これにより、信号灯検出装置１０は、カメラ２０としてフレームレートの低い民生用の安価なものを採用することができるため、検出の高精度化と同時に、低コスト化を図ることができる。なお、カメラ２０は、少なくとも２個設ければよく、撮像タイミングの位相差を明滅周期Ｔｌｅｄ以下とすることにより、信号灯候補がＬＥＤ信号灯であるならば、なんらかの輝度変化が確実に現れる。これにより、ＬＥＤ信号灯の明滅を早期に確実に検出することができる。

また、信号灯検出装置１０は、信号灯候補検出部２３により、画像中から信号灯の形状に類似する形状適合領域の抽出を行った後、ＬＥＤ式信号灯の色および輝度に関するプロファイルデータとの適合性を判断することにより、信号灯候補の絞込みを行っているので、信号灯候補の明滅を判定する明滅判定部２５の負担が軽減するとともに、ＬＥＤ式信号灯の検出精度が高まる。なお、プロファイルデータとしては、上記の色・輝度の平均値および標準偏差に限られず、信号灯面内の中心部から外周部への輝度勾配など、より高度な指標を加えてもよい。

なお、上記実施形態では、カメラ制御部２１は、図３に示すように、撮像周期を一定とし、位相をカメラ２０ごとに変えることによって、各カメラ２０の撮像タイミングを異ならせているが、本発明はこれに限定されず、図５に示すように、撮像周期をカメラ２０ごとに変えることによって、各カメラ２０の撮像タイミングを異ならせてもよい。

また、上記実施形態では、形状適合領域の抽出を行った後、この領域に対してプロファイル適合性を判定することで信号灯候補を検出する信号灯候補検出部２３を例に挙げているが、本発明はこれに限定されず、信号灯候補検出部としては、他の構成も考えられる。図６および図７に、信号灯候補検出部の変形例を示す。なお、上記実施形態と同様の機能を有する部分については同一の符号を付しており、その部分の詳細な説明は省略する。

図６に示す信号灯候補検出部５０は、ＬＥＤ式信号灯プロファイル保持部３２、プロファイル適合領域抽出部５１、および形状適合性判定部５２からなる。この場合、前述の時系列順画像選択部２２は、プロファイル適合領域抽出部５１に画像データを入力する。ＬＥＤ式信号灯プロファイル保持部３２は、前述したＬＥＤ式信号灯のプロファイルデータを保持している。プロファイル適合領域抽出部５１は、入力された画像データからプロファイルデータに適合する領域（以下、プロファイル適合領域という）を検索し、プロファイル適合領域が存在する場合には、このファイル適合領域を形状適合性判定部５２に入力する。形状適合性判定部５２は、入力されたプロファイル適合領域の形状と信号灯の形状（円形状）との適合性を判定し、適合性が高い場合には、このプロファイル適合領域を信号灯候補として検出し、この信号灯候補の特徴量をデータバッファ２４に入力する。その他の動作は、上記実施形態と同様である。

図７に示す信号灯候補検出部６０は、ＬＥＤ式信号灯プロファイル保持部３２、プロファイル適合領域抽出部５１、および形状適合領域抽出部３１からなる。この場合、前述の時系列順画像選択部２２は、プロファイル適合領域抽出部５１および形状適合領域抽出部３１に画像データを入力する。プロファイル適合領域抽出部５１は、上記と同様な動作を行い、入力された画像データにプロファイル適合領域が存在する場合には、このプロファイル適合領域を信号灯候補として検出し、この信号灯候補の特徴量をデータバッファ２４に入力する。また、形状適合領域抽出部３１も上記と同様な動作を行い、入力された画像データに形状適合性領域が存在する場合には、この形状適合性領域を信号灯候補として検出し、この信号灯候補の特徴量をデータバッファ２４に入力する。その他の動作は、上記実施形態と同様である。この場合には、プロファイル適合領域抽出部５１と形状適合領域抽出部３１とは、それぞれ独立して信号灯候補の検出を行うので、多数の信号灯候補を高速に検出することができる。信号灯候補検出部６０は、明滅判定部２５の処理能力が大きい場合に有用である。

また、上記実施形態では、カメラ２０に内蔵する撮像素子としてＣＣＤイメージセンサを例に挙げているが、本発明はこれに限定されず、ＣＣＤイメージセンサに代えて、ＣＭＯＳイメージセンサなどの他の固体撮像素子を適用することも可能である。

信号灯検出装置およびモニタ装置を設置した車両を示す図である。 信号灯検出装置の構成を示すブロック図である。 ＬＥＤ式信号灯の明滅と各カメラの撮像タイミングとの関係を示す図である。 ＬＥＤ式信号灯の構成を示す図である。 ＬＥＤ式信号灯の明滅と各カメラの撮像タイミングとの関係の別の例を示す図である。 信号灯候補検出部の第１の変形例を示すブロック図である。 信号灯候補検出部の第２の変形例を示すブロック図である。

符号の説明

１０ 信号灯検出装置
１３ モニタ装置
２０ カメラ
２１ カメラ制御部
２２ 時系列順画像選択部
２３ 信号灯候補検出部
２４ データバッファ
２５ 明滅判定部
２６ 結果出力部
３１ 形状適合領域抽出部
３２ ＬＥＤ式信号灯プロファイル保持部
３３ 適合性判定部
４０ ＬＥＤ式信号機
４１ａ 青色信号灯
４１ｂ 黄色信号灯
４１ｃ 赤色信号灯
５０，６０ 信号灯候補検出部
５１ プロファイル適合領域抽出部
５２ 形状適合性判定部

Claims (5)

1. ほぼ同一の領域を撮影して画像を取得する複数の撮影手段と、
   前記各撮影手段の撮影動作を周期的に実行させるとともに、撮影のタイミングを前記各撮影手段ごとに異ならせる撮影制御手段と、
   前記各撮影手段によって取得された画像を時系列順に選択する時系列順画像選択手段と、
   前記時系列順画像選択手段によって選択された画像中から色および形状に基づいて信号灯候補を順次に検出する信号灯候補検出手段と、
   前記信号灯候補検出手段によって検出された信号灯候補の時系列的な輝度変化から、信号灯候補が周期的に明滅しているか否かを判定する明滅判定手段と、
   を備えることを特徴とする信号灯検出装置。
2. 前記信号灯候補検出手段は、画像中から信号灯の形状に適合する領域を抽出し、この領域が信号灯の色および輝度のプロファイルデータに適合するか否かを判定することによって信号灯候補を検出することを特徴とする請求項１記載の信号灯検出装置。
3. 前記信号灯候補検出手段は、画像中から信号灯の色および輝度に係わるプロファイルデータに適合する領域を抽出し、この領域の形状が信号灯の形状に適合するか否かを判定することによって信号灯候補を検出することを特徴とする請求項１記載の信号灯検出装置。
4. 前記信号灯候補検出手段は、画像中から信号灯の色および輝度のプロファイルデータに適合する領域を抽出して、この領域を信号灯候補として検出するとともに、画像中から信号灯の形状に適合する領域を抽出して、この領域を信号灯候補として検出することを特徴とする請求項１記載の信号灯検出装置。
5. 前記プロファイルデータは、色の成分比と輝度の平均値および分散量とからなることを特徴とする請求項２ないし４いずれか記載の信号灯検出装置。

Images