JP2009129290A - 信号機検出装置、信号機検出方法及びプログラム - Google Patents

Abstract

【課題】自車前方の信号機を正確に検出することが可能な信号機検出装置、信号機検出方法及びプログラムを提供する。
【解決手段】ＣＰＵ４１は、交差点の信号機の赤色発光部を基本色彩情報等に基づいて抽出できずに、当該交差点で停車した場合には、停車開始から自車両２が発進するまで、カメラＥＣＵ５１から受信した画像認識データを時系列的にデータ記録部１２に記憶する。そして、ＣＰＵ４１は、自車両２の発進時に、データ記録部１２に記憶した所定時間前から当該発進時までの各画像認識データから赤色領域の消失した位置を検出し、この消失した赤色領域を信号機の赤色発光部として特定する。そして、ＣＰＵ４１は、当該交差点の座標位置と自車方位と共に、この特定した信号機の赤色発光部の位置、高さを信号機ＤＢ２６に格納する。
【選択図】図３

Description

本発明は、自車前方の信号機を検出する信号機検出装置、信号機検出方法及びプログラムに関するものである。

従来より、自車前方の信号機を検出する技術に関し種々提案されている。
例えば、カラー車載カメラを用いて信号機を撮像し、撮像して得られた信号機の色情報と車載システム側においてあらかじめ信号機の色情報が格納されたメモリから読み出した信号機の色情報とを比較し、撮像された信号機の色情報を認識し、青ならば発進、黄ならば減速徐行、赤ならば停止などの制御情報を車両にフィードバックするように構成された車載カメラシステムがある（例えば、特許文献１参照。）。
特開平１１−３０６４９８号公報（段落（００１４）〜（００２６）、図１〜図３）

しかしながら、前記した特許文献１に記載された車載カメラシステムでは、看板やネオン等の信号機の発光部と似たような色の部分が撮影画像内にあると、信号機の発光部の位置を１つに特定できず、自車前方の信号機を検出できないという問題がある。また、信号機の発光部の色が周囲の影響で基準よりも暗い場合には、該発光部の色を検出する閾値よりも低いため撮影画像内において信号機の発光部として特定できず、自車前方の信号機を検出できないという問題がある。

そこで、本発明は、上述した問題点を解決するためになされたものであり、自車前方の信号機を正確に検出することが可能な信号機検出装置、信号機検出方法及びプログラムを提供することを目的とする。

前記目的を達成するため請求項１に係る信号機検出装置は、自車前方を撮影する撮影手段（５１、５３）と、予め設定された基本色彩情報に基づいて前記撮影手段による撮影画像内の信号機を検出する信号機検出手段（１３）と、交差点における停車中に前記撮影手段によって撮影した撮影画像の画像データを時系列的に収集する画像データ収集手段（１３、５１）と、前記信号機検出手段（１３）は、前記交差点の信号機が検出できない場合に、前記画像データに基づいて、自車が発進するときの前記撮影画像内において色彩が変化した領域を信号機として特定し、該信号機に関わる信号機情報を停車した交差点に対応づけて記憶することを特徴とする。

また、請求項２に係る信号機検出装置は、請求項１に記載の信号機検出装置（１）において、自車前方の障害物を検出する障害物検出手段（６１、６２）を備え、前記画像データ収集手段（１３、５１）は、前方に障害物が無い場合に限り、前記画像データを時系列的に収集することを特徴とする。

また、請求項３に係る信号機検出装置は、請求項１又は請求項２に記載の信号機検出装置（１）において、前記信号機検出手段（１３）は、前記色彩が変化した領域が出現する前の前記画像データに基づいて該色彩が変化した領域の色彩情報を含むように前記基本色彩情報を更新して、当該交差点の信号機に対応する更新基本色彩情報として記憶することを特徴とする。

また、請求項４に係る信号機検出方法は、予め設定された基本色彩情報に基づいて自車前方を撮影する撮影手段による撮影画像内の信号機を検出する信号機検出工程と、前記信号機検出工程で信号機を検出できない場合に、交差点における停車中に前記撮影手段によって撮影した撮影画像の画像データを時系列的に収集する画像データ収集工程と、前記画像データに基づいて、自車の発進するときの前記撮影画像内において色彩が変化した領域を信号機として特定し、該信号機に関わる信号機情報を停車した交差点に対応づけて記憶する記憶工程と、を備えたことを特徴とする。

更に、請求項５に係るプログラムは、コンピュータに、予め設定された基本色彩情報に基づいて自車前方を撮影する撮影手段による撮影画像内の信号機を検出する信号機検出工程と、前記信号機検出工程で信号機を検出できない場合に、交差点における停車中に前記撮影手段によって撮影した撮影画像の画像データを時系列的に収集する画像データ収集工程と、前記画像データに基づいて、自車の発進するときの前記撮影画像内において色彩が変化した領域を信号機として特定し、該信号機に関わる信号機情報を停車した交差点に対応づけて記憶する記憶工程と、を実行させるためのプログラムである。

前記構成を有する請求項１に係る信号機検出装置では、交差点に停車中に収集した画像データから、発進時の撮影画像内において色彩が変化した領域を信号機の発光部として特定して、この信号機の位置（例えば、交差点の左端部や交差点の中央部等である。）や高さ等の信号機情報を取得することが可能となる。また、信号機の位置や高さ等の信号機情報を停車した交差点に対応付けて記憶するため、当該交差点を次に走行した場合には、看板やネオン等の信号機の発光部と似たような領域が撮影画像内にあっても、信号機の発光部の位置を特定して、自車前方の信号機を正確に検出することが可能となる。

また、請求項２に係る信号機検出装置では、前方に障害物が無い場合に限り、自車前方の撮影画像の画像データを時系列的に収集する。これにより、自車前方にトラック等の他車両がいないため、自車の発進タイミングと信号機の発光部の切換タイミングとがほぼ一致した自車前方の撮影画像の画像データを収集することが可能となる。また、自車前方のトラック等の他車両によって交差点の信号機が撮影されない状態を回避して、停車中の交差点における信号機を確実に撮影することが可能となる。

また、請求項３に係る信号機検出装置では、色彩が変化した領域、即ち、信号機の発光部の色彩情報を含んだ当該交差点の信号機に対応する更新基本色彩情報を作成して記憶するため、当該交差点を次に走行した場合には、当該交差点の信号機に対応する更新基本色彩情報に基づいて撮影画像内の信号機の発光部を正確に検出することが可能となる。

また、請求項４に係る信号機検出方法では、交差点に停車中に収集した画像データから、発進時の撮影画像内において色彩が変化した領域を信号機の発光部として特定して、この信号機の位置（例えば、交差点の左端部や交差点の中央部等である。）や高さ等の信号機情報を取得することが可能となる。また、信号機の位置や高さ等の信号機情報を停車した交差点に対応付けて記憶するため、当該交差点を次に走行した場合には、看板やネオン等の信号機の発光部と似たような領域が撮影画像内にあっても、信号機の発光部の位置を特定して、自車前方の信号機を正確に検出することが可能となる。

更に、請求項５に係るプログラムでは、コンピュータは当該プログラムを読み込むことによって、該コンピュータは、交差点に停車中に収集した画像データから、発進時の撮影画像内において色彩が変化した領域を信号機の発光部として特定して、この信号機の位置（例えば、交差点の左端部や交差点の中央部等である。）や高さ等の信号機情報を取得することが可能となる。また、コンピュータは、信号機の位置や高さ等の信号機情報を停車した交差点に対応付けて記憶するため、当該交差点を次に走行した場合には、看板やネオン等の信号機の発光部と似たような領域が撮影画像内にあっても、信号機の発光部の位置を特定して、自車前方の信号機を正確に検出することが可能となる。

以下、本発明に係る信号機検出装置、信号機検出方法及びプログラムをナビゲーション装置について具体化した一実施例に基づき図面を参照しつつ詳細に説明する。

［車両の概略構成］
先ず、実施例１に係るナビゲーション装置が搭載される車両の概略構成について図１に基づいて説明する。図１は実施例１に係るナビゲーション装置１が搭載される車両２の概略構成図である。

図１に示すように、車両２の室内のセンターコンソール又はパネル面に設置されたナビゲーション装置１のナビゲーション制御部１３には、ＣＣＤカメラ等を駆動制御するカメラＥＣＵ（ElectronicControl Unit）５１が電気的に接続されている。また、車両２のルームミラー付近には、ＣＣＤカメラ等により構成されて車両前方を撮像する前方撮像用カメラ５３が設置されている。
また、ナビゲーション制御部１３には、ミリ波レーダ等を駆動制御するレーダＥＣＵ（ElectronicControl Unit）６１が電気的に接続されている。また、車両２の先端部中央位置と後端部中央位置には、各ミリ波レーダ６２が設置されている。

［ナビゲーション装置の概略構成］
次に、実施例１に係る車両２の制御系に係る構成について特にナビゲーション装置１を中心にして図２に基づき説明する。図２は車両２に搭載されるナビゲーション装置１を中心とした制御系を模式的に示すブロック図である。

図２に示すように、車両２の制御系は、ナビゲーション装置１と、このナビゲーション装置１に対して電気的に接続されたカメラＥＣＵ５１、レーダＥＣＵ６１を基本にして構成され、各制御装置に対して所定の周辺機器が接続されている。

このナビゲーション装置１は、自車の現在位置（以下、「自車位置」という。）を検出する現在地検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーション制御部１３と、操作者からの操作を受け付ける操作部１４と、操作者に対して地図等の情報を表示する液晶ディスプレイ（ＬＣＤ）１５と、経路案内に関する音声ガイダンスを出力するスピーカ１６と、道路交通情報センタ（ＶＩＣＳ：登録商標）等の情報センタとの間で相互に通信を行う通信装置１７等から構成されている。また、ナビゲーション制御部１３には、自車の走行速度を検出する車速センサ２１が接続されている。

以下に、ナビゲーション装置１を構成する各構成要素について説明する。
図２に示すように、現在地検出部１１は、ＧＰＳ３１、方位センサ３２、距離センサ３３、高度計（図示せず）等からなり、自車位置、自車方位等を検出することが可能となっている。

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記憶された地図情報データベース（地図情報ＤＢ）２５、後述の各交差点における信号機に関する位置や高さなどの信号機情報等が格納される信号機データベース（信号機ＤＢ）２６及び所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。

また、地図情報ＤＢ２５には、経路案内及び地図表示に必要な各種情報から構成されており、例えば、各新設道路を特定するための新設道路情報、地図を表示するための地図表示データ、各交差点に関する交差点データ、ノード点に関するノードデータ、施設の一種である道路（リンク）に関するリンクデータ、経路を探索するための探索データ、施設の一種である店舗等のＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）に関する店舗データ、地点を検索するための検索データ等から構成されている。また、地図情報ＤＢ２５の内容は、不図示の情報配信センタから通信装置１７を介して配信された更新情報をダウンロードすることによって更新される。

また、図２に示すように、ナビゲーション装置１を構成するナビゲーション制御部１３は、ナビゲーション装置１の全体の制御を行う演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の交差点における信号機の赤色発光部等を検出する信号機検出処理プログラム（図３参照）が記憶されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置や、時間を計測するタイマ４５等を備えている。

また、本実施例においては、前記ＲＯＭ４３に各種のプログラムが記憶され、前記データ記録部１２に各種のデータが記憶されるようになっているが、プログラム、データ等を同じ外部記憶装置、メモリーカード等からプログラム、データ等を読み出して前記フラッシュメモリ４４に書き込むこともできる。更に、メモリーカード等を交換することによって前記プログラム、データ等を更新することができる。

更に、前記ナビゲーション制御部１３には、操作部１４、液晶ディスプレイ１５、スピーカ１６、通信装置１７の各周辺装置（アクチュエータ）が電気的に接続されている。

操作部１４は、走行開始時の現在地を修正し、案内開始地点としての出発地及び案内終了地点としての目的地を入力する際や施設に関する情報の検索を行う際等に操作され、各種のキー等の複数の操作スイッチから構成される。そして、ナビゲーション制御部１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４としては、キーボード、マウス等や、液晶ディスプレイ１５の前面に設けたタッチパネルによって構成することもできる。
また、液晶ディスプレイ１５には、操作案内、操作メニュー、キーの案内、現在地から目的地までの誘導経路、誘導経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。

また、スピーカ１６は、ナビゲーション制御部１３からの指示に基づいて、誘導経路に沿った走行案内や、交差点や横断歩道での停止又は安全確認を警告する音声案内等を出力する。ここで、案内される音声ガイダンスとしては、例えば、「２００ｍ先、○○交差点を右方向です。」等である。

そして、通信装置１７は、情報配信センタと通信を行う携帯電話網等による通信手段であり、情報配信センタとの間で最もバージョンの新しい更新地図情報等の送受信を行う。また、通信装置１７は情報配信センタに加えて、道路交通情報センタ（ＶＩＣＳ（登録商標））等から送信された渋滞情報やサービスエリアの混雑状況等の各情報から成る交通情報を受信する。

また、カメラＥＣＵ５１は、ナビゲーション制御部１３から送信された制御情報を受信するデータ受信部５１Ａを備えると共に、この受信した制御情報に基づき前方撮像用カメラ５３を制御すると共に画像認識を行う画像認識部５１Ｂを備えている。そして、カメラＥＣＵ５１は、ナビゲーション制御部１３から受信した制御信号に基づいて、前方撮像用カメラ５３の映像信号を画像処理して、車両２の前方の信号機の赤色発光部等画像認識データを出力する。また、交差点に停車中の車両２の前方を撮影した撮影画像の画像認識データを時系列的に出力する。

また、レーダＥＣＵ６１は、ナビゲーション制御部１３から送信された制御情報を受信するデータ受信部６１Ａを備えると共に、この受信した制御情報に基づきミリ波レーダ６２を制御すると共に、前後の他車両との距離と相対速度の検出を行う制御部６１Ｂを備えている。そして、レーダＥＣＵ６１は、ナビゲーション制御部１３から受信した制御信号に基づいて、ミリ波レーダ６２の検出信号から前後の車両との距離や相対速度を計測して出力する。

［信号機検出処理］
次に、上記のように構成されたナビゲーション装置１のＣＰＵ４１が実行する処理であって、交差点に停車するまでに信号機を検出できない場合に、当該交差点における信号機の赤色発光部等を検出する信号機検出処理について図３乃至図５に基づいて説明する。

図３は本実施例に係るナビゲーション装置１のＣＰＵ４１が実行する処理であって、交差点における信号機の赤色発光部等を検出する「信号機検出処理」を示すフローチャートである。図４は交差点で停止時に前方撮像用カメラ５３で撮影された信号機等の撮影画像の一例を示す図である。図５は図４の交差点の発進時に前方撮像用カメラ５３で撮影された信号機等の撮影画像の一例を示す図である。
尚、図３にフローチャートで示されるプログラムはナビゲーション装置１のナビゲーション制御部１３が備えているＲＯＭ４３に記憶されており、ＣＰＵ４１によって所定時間毎に（例えば、約０．５秒〜５秒毎である。）実行される。

図３に示すように、先ず、ステップ（以下、Ｓと略記する）１１において、ＣＰＵ４１は、現在地検出部１１により自車位置及び自車の向きを表す自車方位を検出して、自車位置を表す座標データ（例えば、緯度と経度のデータである。）と自車方位をＲＡＭ４２に記憶する。また、ＣＰＵ４１は、地図情報ＤＢ２５に格納される地図情報から自車両２の前方（例えば、自車位置から約２００ｍ〜３００ｍ前方までである。）に交差点があるか否かを判定する判定処理を実行する。

そして、自車両２の前方に交差点が無い場合には（Ｓ１１：ＮＯ）、ＣＰＵ４１は、当該処理を終了する。
一方、自車両２の前方に交差点がある場合には（Ｓ１１：ＹＥＳ）、ＣＰＵ４１は、Ｓ１２の処理に移行する。Ｓ１２において、ＣＰＵ４１は、自車両２の前方の交差点の所定距離手前（例えば、交差点から約１５０ｍ手前である。）から当該交差点まで、カメラＥＣＵ５１に対して、前方撮像用カメラ５３の撮影画像の画像認識データを出力するように指示する制御信号を出力する。

そして、ＣＰＵ４１は、カメラＥＣＵ５１から受信した画像認識データから前方撮像用カメラ５３の撮影画像上において、信号機の認識候補となる赤色発光部を、データ記録部１２の信号機ＤＢ２６に予め記憶する信号機の赤色発光部の基本色彩情報（例えば、色相（Hue）の赤色７０〜２５５、彩度（Saturation）１００％及び明度（Value）９０％からなるＨＳＶ値等である。）に基づいて抽出する。

続いて、ＣＰＵ４１は、この交差点の所定距離手前から当該交差点に到達するまでに、当該交差点の信号機の認識候補となる赤色発光部を基本色彩情報等に基づいて抽出できたか否かを判定する判定処理を実行する。つまり、ＣＰＵ４１は、この交差点の所定距離手前から当該交差点に到達するまでに、当該交差点の信号機を認識できたか否かを判定する判定処理を実行する。

そして、この交差点の所定距離手前から当該交差点に到達するまでに、当該交差点の信号機の認識候補となる赤色発光部を基本色彩情報等に基づいて抽出できた場合には（Ｓ１２：ＹＥＳ）、ＣＰＵ４１は、交差点の信号機を認識できたと判定して当該処理を終了する。
一方、この交差点の所定距離手前から当該交差点に到達するまでに、当該交差点の信号機の認識候補となる赤色発光部を基本色彩情報等に基づいて抽出できなかった場合には（Ｓ１２：ＮＯ）、ＣＰＵ４１は、Ｓ１３の処理に移行する。

Ｓ１３において、ＣＰＵ４１は、当該交差点を通過したか否かを判定する判定処理を実行する。そして、当該交差点を通過した場合には（Ｓ１３：ＹＥＳ）、ＣＰＵ４１は、当該処理を終了する。つまり、自車両２が当該交差点を通過した場合には、信号機の赤色発光部が消灯しており、検出する必要がないためである。
一方、当該交差点を通過していない場合には（Ｓ１３：ＮＯ）、ＣＰＵ４１は、Ｓ１４の処理に移行する。

Ｓ１４において、ＣＰＵ４１は、当該交差点で自車両２が停車中であり、且つ、自車両２の先端部中央位置に取り付けられたミリ波レーダ６２によって、自車両２の前方に他車両等の障害物が存在しないか否かを判定する判定処理を実行する。

そして、自車両２が停車していない場合、又は、自車両２の前方に他車両等の障害物が存在する場合には（Ｓ１４：ＮＯ）、ＣＰＵ４１は、当該処理を終了する。つまり、自車両２の前方に他車両等の障害物（例えば、トラックやクレーン車等である。）が存在する場合には、前方撮像用カメラ５３で当該信号機を撮影できない可能性があるためである。

一方、当該交差点で自車両２が停車中であり、且つ、自車両２の前方に他車両等の障害物が存在しない場合には（Ｓ１４：ＹＥＳ）、ＣＰＵ４１は、Ｓ１５の処理に移行する。Ｓ１５において、ＣＰＵ４１は、停車開始から自車両２が発進するまで、カメラＥＣＵ５１に対して、前方撮像用カメラ５３の撮影画像の画像認識データを出力するように指示する制御信号を出力する。そして、ＣＰＵ４１は、カメラＥＣＵ５１から受信した画像認識データを時系列的にデータ記録部１２に順次記憶する。

尚、ＣＰＵ４１は、停車開始から自車両２の発進までの画像認識データを時系列的にデータ記録部１２に全部記憶する。また、停車開始から自車両２の発進まで時系列的にデータ記録部１２に記憶した画像認識データを所定時間毎（例えば、約１５秒毎である。）に更新するようにしてもよい。

ここで、交差点で自車両２が停車中に、ＣＰＵ４１がカメラＥＣＵ５１から受信した前方撮像用カメラ５３で撮影された撮影画像の画像認識データの一例について図４に基づいて説明する。
図４に示すように、前方撮像用カメラ５３の撮影画像７１上に、交差点７０の左端部に設けられた信号機７２の赤色発光部７２Ａと、信号機７２の奥側に設けられた看板７３の各赤色マーク７３Ａ〜７３Ｃと、交差点７０の右端部に設けられたネオン７４の赤色発光部７４Ａと、信号機７２に設けられた歩行者用信号機７５の赤色発光部７５Ａ等が映っている。従って、撮影画像７１の画像認識データには、６箇所の各赤色領域７２Ａ、７３Ａ〜７３Ｃ、７４Ａ、７５Ａが映っているため、ＣＰＵ４１は、信号機７２の赤色発光部７２Ａを特定することができない。

続いて、図３に示すように、Ｓ１６において、ＣＰＵ４１は、車速センサ２１を介して自車両２の発進を検出した場合には、カメラＥＣＵ５１から発進時まで受信した前方撮像用カメラ５３で撮影された撮影画像の画像認識データのうち、所定時間前から（例えば、約１０秒前からである。）当該発進時までの画像認識データをデータ記録部１２から順次読み出す。そして、ＣＰＵ４１は、このデータ記録部１２から読み出した各画像認識データから信号機の赤色発光部に対応する赤色領域の変化位置を検出できたか否かを判定する判定処理を実行する。

つまり、ＣＰＵ４１は、このデータ記録部１２から読み出した各画像認識データから信号機の赤色発光部の基本色彩情報（例えば、色相（Hue）の赤色７０〜２５５、彩度（Saturation）１００％及び明度（Value）９０％からなるＨＳＶ値等である。）よりも暗い赤色領域も含む複数の赤色領域を抽出する。そして、ＣＰＵ４１は、この抽出した複数の赤色領域の中で赤色領域の消失した位置を検出できたか否かを判定する判定処理を実行する。

そして、このデータ記録部１２から読み出した各画像認識データから赤色領域の消失した位置を検出できなかった場合には（Ｓ１６：ＮＯ）、ＣＰＵ４１は、当該処理を終了する。
一方、このデータ記録部１２から読み出した各画像認識データから赤色領域の消失した位置を検出できた場合には（Ｓ１６：ＹＥＳ）、ＣＰＵ４１は、この消失した赤色領域の交差点における位置（例えば、交差点の左端部や交差点の中央部等である。）、高さを、信号機の赤色発光部の位置、高さとして特定し、ＲＡＭ４２に記憶後、Ｓ１７の処理に移行する。

ここで、データ記録部１２から読み出した各画像認識データから赤色領域が消失した一例について図５に基づいて説明する。
図５に示すように、前方撮像用カメラ５３の撮影画像７１上に映っていた信号機７２の赤色発光部７２Ａと、看板７３の各赤色マーク７３Ａ〜７３Ｃと、ネオン７４の赤色発光部７４Ａと、歩行者用信号機７５の赤色発光部７５Ａのうち、交差点７０の左端部に設けられた信号機７２の赤色発光部７２Ａと歩行者用信号機７５の赤色発光部７５Ａとが消灯状態になった場合には、ＣＰＵ４１は、撮影画像７１の画像認識データから各赤色領域７２Ａ、７５Ａとが消失したことを検出することができる。

また、ＣＰＵ４１は、この消失した各赤色領域７２Ａ、７５Ａの撮影画像７１上における各高さＨ１、Ｈ２を検出し、信号機の所定高さ（高さ約３．５ｍ〜５ｍである。）に対応する赤色領域７２Ａの高さＨ１を信号機の赤色発光部の高さとして特定する。そして、ＣＰＵ４１は、赤色領域７２Ａの交差点７０における位置（例えば、交差点７０の左端部や交差点７０の中央部等である。）、高さＨ１を、信号機の赤色発光部に対応する位置、高さとして特定してＲＡＭ４２に記憶する。尚、信号機の所定高さ（高さ約３．５ｍ〜５ｍである。）は、予めデータ記録部１２に記憶されている。

続いて、図３に示すように、Ｓ１７において、ＣＰＵ４１は、現在地検出部１１により自車方位を検出してＲＡＭ４２に記憶する。また、ＣＰＵ４１は、地図情報ＤＢ２５に格納される地図情報から交差点の座標位置（例えば、緯度と経度である。）を取得してＲＡＭ４２に記憶する。そして、ＣＰＵ４１は、ＲＡＭ４２から、交差点の座標位置、自車方位、及び信号機の赤色発光部の位置、高さを読み出し、信号機ＤＢ２６に格納する。これにより、次に当該交差点を同じ方向に通過する場合には、信号機ＤＢ２６から当該交差点における自車方位に対応する信号機の赤色発光部の位置、高さを読み出して、該信号機を検出することが可能となる。

そして、Ｓ１８において、ＣＰＵ４１は、カメラＥＣＵ５１から発進時まで受信した前方撮像用カメラ５３で撮影された撮影画像の画像認識データのうち、記憶した信号機の赤色発光部に対応する赤色領域が変化していない画像認識データをデータ記録部１２から読み出す。そして、ＣＰＵ４１は、読み出した画像認識データから、この記憶した信号機の赤色発光部に対応する位置の赤色領域の色彩情報（例えば、色相（Hue）の赤色５０、彩度（Saturation）８０％及び明度（Value）８０％からなるＨＳＶ値等である。）を取得してＲＡＭ４２に記憶する。

また、ＣＰＵ４１は、信号機ＤＢ２６から信号機の赤色発光部の基本色彩情報（例えば、色相（Hue）の赤色７０〜２５５、彩度（Saturation）１００％及び明度（Value）９０％からなるＨＳＶ値等である。）を読み出して、該基本色彩情報に、記憶した信号機の赤色発光部に対応する位置の赤色領域の色彩情報が含まれていない場合には、この色彩情報を含むように基本色彩情報を更新して（例えば、色相（Hue）の赤色５０〜２５５、彩度（Saturation）８０％〜１００％及び明度（Value）８０％〜９０％からなるＨＳＶ値等である。）、当該交差点の信号機に対応する更新基本色彩情報として信号機ＤＢ２６に記憶後、当該処理を終了する。

［上記実施例の効果］
以上詳細に説明した通り、本実施例に係るナビゲーション装置１では、ＣＰＵ４１は、交差点の信号機の赤色発光部を基本色彩情報等に基づいて抽出できずに、当該交差点で停車し、且つ、自車両２の前方に他車両等の障害物が存在しない場合には、停車開始から自車両２が発進するまで、カメラＥＣＵ５１から受信した画像認識データを時系列的にデータ記録部１２に順次記憶する（Ｓ１１〜Ｓ１５）。

そして、ＣＰＵ４１は、自車両２の発進時に、データ記録部１２に記憶した所定時間前から当該発進時までの各画像認識データから赤色領域の変化位置、即ち、赤色領域の消失した位置を検出し、信号機の赤色発光部の位置、高さを特定する。そして、ＣＰＵ４１は、当該交差点の座標位置と自車方位と共に、この特定した信号機の赤色発光部の位置、高さを信号機ＤＢ２６に格納する。また、ＣＰＵ４１は、所定時間前から当該発進時までの各画像認識データから信号機の赤色発光部に対応する赤色領域の変化前の色彩情報に基づいて、信号機ＤＢ２６に記憶する信号機の赤色発光部の基本色彩情報を更新する。（Ｓ１６〜Ｓ１８）。

従って、ＣＰＵ４１は、交差点に停車中に収集した画像認識データから、発進時の撮影画像内において消失した赤色領域を信号機の赤色発光部として特定して、この信号機の赤色発光部の位置（例えば、交差点の左端部や交差点の中央部等である。）や高さ等の信号機情報を取得することが可能となる。また、ＣＰＵ４１は、この信号機の赤色発光部の位置や高さ等の信号機情報を停車した交差点に対応付けて信号機ＤＢ２６に記憶するため、当該交差点を次に走行した場合には、看板やネオン等の信号機の赤色発光部と似たような赤色領域が撮影画像内にあっても、信号機の赤色発光部の位置を迅速に特定して、自車前方の信号機を正確に検出することが可能となる。

また、ＣＰＵ４１は、自車両２が停車中で、且つ前方に障害物が無い場合に限り、交差点で停車中に自車両２の前方の撮影画像の画像認識データを時系列的に収集する。これにより、自車両２の前方のトラック等の他車両によって交差点の信号機が撮影されない状態を回避して、停車中の交差点における信号機を確実に撮影することが可能となる。また、自車両２の前方にトラック等の他車両がいないため、自車両２の発進タイミングと信号機の発光部の切換タイミングとがほぼ一致した撮影画像の画像データを収集することが可能となる。

更に、ＣＰＵ４１は、所定時間前から当該発進時までの各画像認識データから信号機の赤色発光部に対応する赤色領域の変化前の色彩情報に基づいて、信号機ＤＢ２６に記憶する信号機の赤色発光部の基本色彩情報を更新して、当該交差点の信号機に対応する更新基本色彩情報として信号機ＤＢ２６に記憶する。これにより、当該交差点の信号機の赤色発光部が基準よりも暗い場合にも、ＣＰＵ４１は、この交差点を次に走行した際には、信号機ＤＢ２６から当該交差点における自車方位に対応する信号機の赤色発光部の位置、高さ、この信号機に対応する更新基本色彩情報を読み出し、カメラＥＣＵ５１から受信した画像認識データから信号機の赤色発光部に対応する赤色領域を正確に検出することが可能となる。

尚、本発明は前記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。例えば、以下のようにしてもよい。
（Ａ）上記Ｓ１７において、ＣＰＵ４１は、交差点の信号機に対応する更新基本色彩情報と共に、当該交差点に停車した日時、曜日、季節等の時間的季節的データを付加して信号機ＤＢ２６に記憶するようにしてもよい。これにより、信号機の撮影環境の明るさに時間的季節的な変化（例えば、日中と夜間、夏と冬等である。）が起こっても、ＣＰＵ４１は、当該交差点を走行する時間帯や季節に対応する更新基本色彩情報を使用することによって、カメラＥＣＵ５１から受信した画像認識データから信号機の赤色発光部に対応する赤色領域を更に正確に検出することが可能となる。
（Ｂ）また、自車両２の前方の障害物（トラックやクレーン車等である。）を前方撮像用カメラ５３や車両先端部に新たに設けた車外カメラを介して検出するようにしてもよい。

本実施例に係るナビゲーション装置が搭載される車両の概略構成図である。 車両に搭載されるナビゲーション装置を中心とした制御系を模式的に示すブロック図である。 ナビゲーション装置のＣＰＵが実行する処理であって、交差点における信号機の赤色発光部等を検出する「信号機検出処理」を示すフローチャートである。 交差点で停止時に前方撮像用カメラで撮影された信号機等の撮影画像の一例を示す図である。 図４の交差点の発進時に前方撮像用カメラで撮影された信号機等の撮影画像の一例を示す図である。

符号の説明

１ ナビゲーション装置
２ 車両（自車両）
１１ 現在地検出部
１２ データ記録部
１３ ナビゲーション制御部
２５ 地図情報ＤＢ
２６ 信号機ＤＢ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５１ カメラＥＣＵ
５３ 前方撮像用カメラ
６１ レーダＥＣＵ
６２ ミリ波レーダ
７０ 交差点
７１ 撮影画像
７２ 信号機
７２Ａ、７４Ａ、７５Ａ 赤色発光部（赤色領域）
７３ 看板
７３Ａ〜７３Ｃ 赤色マーク（赤色領域）
７４ ネオン
７５ 歩行者用信号機

Claims (5)

1. 自車前方を撮影する撮影手段と、
   予め設定された基本色彩情報に基づいて前記撮影手段による撮影画像内の信号機を検出する信号機検出手段と、
   交差点における停車中に前記撮影手段によって撮影した撮影画像の画像データを時系列的に収集する画像データ収集手段と、
   前記信号機検出手段は、前記交差点の信号機が検出できない場合に、前記画像データに基づいて、自車が発進するときの前記撮影画像内において色彩が変化した領域を信号機として特定し、該信号機に関わる信号機情報を停車した交差点に対応づけて記憶することを特徴とする信号機検出装置。
2. 自車前方の障害物を検出する障害物検出手段を備え、
   前記画像データ収集手段は、前方に障害物が無い場合に限り、前記画像データを時系列的に収集することを特徴とする請求項１に記載の信号機検出装置。
3. 前記信号機検出手段は、前記色彩が変化した領域が出現する前の前記画像データに基づいて該色彩が変化した領域の色彩情報を含むように前記基本色彩情報を更新して、当該交差点の信号機に対応する更新基本色彩情報として記憶することを特徴とする請求項１又は請求項２に記載の信号機検出装置。
4. 予め設定された基本色彩情報に基づいて自車前方を撮影する撮影手段による撮影画像内の信号機を検出する信号機検出工程と、
   前記信号機検出工程で信号機を検出できない場合に、交差点における停車中に前記撮影手段によって撮影した撮影画像の画像データを時系列的に収集する画像データ収集工程と、
   前記画像データに基づいて、自車の発進するときの前記撮影画像内において色彩が変化した領域を信号機として特定し、該信号機に関わる信号機情報を停車した交差点に対応づけて記憶する記憶工程と、
   を備えたことを特徴とする信号機検出方法。
5. コンピュータに、
   予め設定された基本色彩情報に基づいて自車前方を撮影する撮影手段による撮影画像内の信号機を検出する信号機検出工程と、
   前記信号機検出工程で信号機を検出できない場合に、交差点における停車中に前記撮影手段によって撮影した撮影画像の画像データを時系列的に収集する画像データ収集工程と、
   前記画像データに基づいて、自車の発進するときの前記撮影画像内において色彩が変化した領域を信号機として特定し、該信号機に関わる信号機情報を停車した交差点に対応づけて記憶する記憶工程と、
   を実行させるためのプログラム。

Images