JP2023170863A - 信号機認識装置 - Google Patents

Abstract

【課題】例えば夜間等の暗い環境下で車両から遠方に位置する信号機も含めて、矢印の指す方向をより正確に認識できる信号機認識装置を提供する。【解決手段】信号機認識装置１００は、カメラ２の撮像画像に基づいて車両の周囲の信号機の灯火部分の点灯状態を認識する点灯状態認識部１４と、撮像画像及び点灯状態に基づいて信号機において青色灯火矢印の指す方向を認識する矢印方向認識部１５と、を備える。点灯状態認識部１４は、矢印以外の灯火に対応する第１灯火部分と青色灯火矢印に対応する第２灯火部分との両方が点灯している場合、第１灯火部分及び第２灯火部分の同時点灯との点灯状態を認識する。矢印方向認識部１５は、同時点灯が認識された場合、第１灯火部分を光源として撮像画像に生じる第１フレアの輝度分布と、第２灯火部分を光源として撮像画像に生じる第２フレアの輝度分布と、の比較結果に基づいて、青色灯火矢印の指す方向を認識する。【選択図】図１

Description

本発明は、信号機認識装置に関する。

従来、例えば特許文献１に記載された信号認識システムが知られている。特許文献１に記載された信号認識システムでは、車両に搭載されたカメラのカメラ撮像情報に基づいて、車両の周囲の対象信号機の信号検出情報が取得される。信号機の複数の灯火部分の間の相対位置関係と、複数の灯火部分の各々の点灯時の外観と、を示す灯火パターン情報が取得される。信号検出情報と灯火パターン情報とを比較することで、対象信号機の点灯状態が認識される。

特開２０２１－２２７５号公報

青色の灯火の矢印（青色灯火矢印）については、矢印以外の灯火（例えば赤、青、又は黄の円形の灯火）とは異なり、灯火が点灯しているか否かだけでなく、矢印の指す方向も認識の対象となり得る。先進安全技術に関する運転支援及び自動運転システムの技術分野では、例えば夜間等の暗い環境下で車両から遠方に位置する信号機も含めて、矢印の指す方向をより正確に認識することが望まれている。

本発明の一態様に係る信号機認識装置は、車載カメラの撮像画像に基づいて、車両の周囲の信号機の灯火部分の点灯状態を認識する点灯状態認識部と、撮像画像及び点灯状態に基づいて、信号機において青色灯火矢印の指す方向を認識する矢印方向認識部と、を備え、点灯状態認識部は、矢印以外の灯火に対応する第１灯火部分と青色灯火矢印に対応する第２灯火部分との両方が点灯している場合、第１灯火部分及び第２灯火部分の同時点灯との点灯状態を認識し、矢印方向認識部は、点灯状態認識部によって同時点灯が認識された場合、第１灯火部分を光源として撮像画像に生じる第１フレアの輝度分布と、第２灯火部分を光源として撮像画像に生じる第２フレアの輝度分布と、の比較結果に基づいて、青色灯火矢印の指す方向を認識する。

本発明の一態様に係る信号機認識装置では、点灯状態認識部によって同時点灯が認識された場合、例えば夜間等の暗い環境下では、撮像画像において第１フレア及び第２フレアが生じている可能性が高い。第１フレアは矢印以外の灯火に対応する第１灯火部分を光源として撮像画像に生じるため、撮像画像上での輝度分布は、第１灯火部分に対応する同心円状となる。第２フレアは青色灯火矢印に対応する第２灯火部分を光源として撮像画像に生じるため、撮像画像上での輝度分布は、第２灯火部分に対応する同心円に対して偏りが生じる。そこで、点灯状態認識部によって同時点灯が認識された場合、第１フレアの輝度分布を基準とした第２フレアの輝度分布の偏りに基づいて、青色灯火矢印の指す方向をより正確に認識することができる。これにより、例えば夜間等の暗い環境下で車両から遠方に位置する信号機も含めて、矢印の指す方向をより正確に認識することが可能となる。

一実施形態において、矢印方向認識部は、撮像画像及び車両の加速度センサの検出結果に基づいて、車両の揺れに起因するブラーが生じていると判定される場合、青色灯火矢印の指す方向を認識しなくてもよい。この場合、撮像画像中に車両の揺れに起因するモーションブラーが生じている状況において、矢印の指す方向の認識の正確さが低下することを抑制することが可能となる。

本発明の一態様に係る信号機認識装置によれば、例えば夜間等の暗い環境下で車両から遠方に位置する信号機も含めて、矢印の指す方向をより正確に認識することが可能となる。

実施形態に係る信号機認識装置の概略構成を示すブロック図である。 候補エリア推定の状況の一例を示す図である。 候補エリア推定の状況の他の例を示す図である。 第１灯火部分の点灯状態の一例を示す図である。 第１灯火部分の輝度分布の一例を示す図である。 第１及び第２灯火部分の同時点灯状態の一例を示す図である。 第１及び第２灯火部分の輝度分布の一例を示す図である。 図１の信号機認識装置の処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。なお、以下の説明において、同一又は相当要素には同一符号を用い、重複する説明は省略する。

図１は、実施形態に係る信号機認識装置の概略構成を示すブロック図である。図１に示す信号機認識装置１００は、乗用車等の車両に搭載されており、車両のカメラの撮像画像に含まれる信号機の点灯状態の認識を行う。

図１に示されるように、信号機認識装置１００は、装置を統括的に制御するＥＣＵ［Electronic Control Unit］１０を備えている。ＥＣＵ１０は、ＣＰＵ［Central Processing Unit]、ＲＯＭ[Read Only Memory］、ＲＡＭ［Random Access Memory］等からなる電子制御ユニットである。ＥＣＵ１０では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種の車両制御を実行する。ＥＣＵ１０は、複数の電子制御ユニットから構成されていてもよい。

ＥＣＵ１０は、ＧＰＳ受信部１、カメラ（車載カメラ）２、レーダセンサ３、加速度センサ４、及び、地図データベース５と接続されている。

ＧＰＳ受信部１は、３個以上のＧＰＳ衛星から信号を受信することにより、自車両の位置（例えば自車両の緯度及び経度）を測定する。ＧＰＳ受信部１は、測定した自車両の位置情報をＥＣＵ１０へ送信する。

カメラ２は、車両の外部状況を撮像する撮像機器である。カメラ２は、一例として車両のフロントガラスの裏側に設けられ、車両前方を撮像する。カメラ２は、車両前方の撮像画像をＥＣＵ１０へ送信する。カメラ２は、単眼カメラであってもよく、ステレオカメラであってもよい。また、カメラ２の取付け箇所はフロントガラスの裏側に限られず、少なくとも車両前方を撮像可能であればよい。カメラ２は、車両前方に限らず、車両の複数の方向をそれぞれ撮像する複数台のカメラから構成されていてもよい。

レーダセンサ３は、電波（例えばミリ波）又は光を利用して車両の周辺の物体（電柱、信号機など）を検出する検出機器である。レーダセンサ３には、例えば、ミリ波レーダ又はライダー［LiDAR：Light Detection and Ranging］が含まれる。レーダセンサ３は、電波又は光を車両の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。レーダセンサ３は、検出した物体に関する検出結果をＥＣＵ１０へ送信する。

加速度センサ４は、車両の加速度を検出する検出器である。加速度センサ４は、例えば、車両の上下方向の加速度である上下加速度を検出する上下加速度センサと、車両の左右方向（横方向）の加速度である左右加速度を検出する横加速度センサと、を含んでいる。加速度センサ４は、車両の前後方向（縦方向）の加速度である縦加速度を検出する縦加速度センサを含んでいてもよい。加速度センサ４は、車両の加速度情報をＥＣＵ１０に送信する。

地図データベース５は、地図情報を記憶するデータベースである。地図データベース５は、例えば、車両に搭載されたＨＤＤ［Hard Disk Drive］内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えばカーブ、直線部の種別、カーブの曲率等）、交差点及び分岐点の位置情報、信号機の地図上の位置情報などが含まれる。信号機の地図上の位置情報とは、信号機の地図上における位置座標の情報である。地図情報には、信号機の地図上の位置情報と関連付けられた周辺構造物データが含まれていてもよい。なお、地図データベース５は、必ずしも車両に搭載されている必要はなく、車両と通信可能なサーバに形成されていてもよい。

周辺構造物データには、信号機の周辺に存在する周辺構造物の地図上の位置情報と周辺構造物の形状情報とが含まれる。周辺構造物とは、信号機の周辺に存在する構造物のうち信号機が設けられている蓋然性の高い構造物である。周辺構造物としては、例えば、支柱、電柱、ポール、歩道橋、トンネルの内壁などが含まれてもよい。なお、周辺構造物には、必ずしも構造物の全体が含まれる必要はなく、構造物のうち信号機から一定範囲内の部分のみが含まれていてもよい。周辺構造物の地図上の位置情報とは、周辺構造物の地図上における三次元位置の情報である。周辺構造物の形状情報とは、周辺構造物の三次元形状に関する情報である。

次に、ＥＣＵ１０の機能的構成について説明する。ＥＣＵ１０は、車両位置認識部１１、物体認識部１２、候補エリア推定部１３、点灯状態認識部１４、及び、矢印方向認識部１５を有している。なお、以下に記載するＥＣＵ１０の機能の一部は、車両と通信可能なサーバにおいて実行される態様であってもよい。

車両位置認識部１１は、ＧＰＳ受信部１の位置情報及び地図データベース５の地図情報に基づいて、車両の地図上の位置を認識する。また、車両位置認識部１１は、地図データベース５の地図情報に含まれた電柱等の固定障害物の位置情報とカメラ２の撮像画像又はレーダセンサ３の検出結果とを利用して、ＳＬＡＭ［Simultaneous Localization and Mapping］技術により車両の地図上の位置を認識してもよい。車両位置認識部１１は、地図データベース５の地図情報に加えて、地図データベース５に記憶されている信号機データ及び周辺構造物データを利用してもよい。車両位置認識部１１は、その他、周知の手法により車両の地図上の位置を認識してもよい。

物体認識部１２は、カメラ２の撮像画像に基づいて、色情報を含む車両前方の撮像画像を取得する。物体認識部１２は、例えば、カメラ２の撮像画像及びレーダセンサ３の検出結果に基づいて、車両の周囲の物体を認識する。物体認識部１２は、周知のセンサ情報統合処理によって、カメラ２の撮像画像及びレーダセンサ３の検出結果を統合して物体認識を行ってもよい。物体認識部１２は、例えば、レーダセンサ３の検出した三次元の検出点（光又はミリ波の反射点）にカメラ２の撮像した色情報を付加するなどのセンサ情報統合を行う。物体認識部１２は、車両に対する物体の相対位置及び物体の形状を認識する。

なお、物体認識部１２は、必ずしもカメラ２の撮像画像及びレーダセンサ３の検出結果の両方を用いる必要はない。物体認識部１２は、カメラ２の撮像画像のみを物体認識に用いてもよい。カメラ２の撮像画像のみを物体認識に用いる場合には、レーダセンサ３を備える必要はない。

候補エリア推定部１３は、車両位置認識部１１の認識した車両の地図上の位置と物体認識部１２の認識結果と地図データベース５の地図情報とに基づいて、候補エリアを推定する。候補エリアは、車両の進行方向の前方で車両に対向する信号機が存在する候補となる撮像画像中のエリアである。候補エリアは、撮像画像に設定された探索領域［ＲＯＩ：Region of Interest］であってもよい。探索領域とは、撮像画像のうち信号機の点灯状態の認識のための画像認識処理を施す領域である。候補エリアを用いることで、例えば夜間等の暗い環境下で信号機以外の光源が車両の周辺に存在する状況であっても、点灯状態の認識の対象となる信号機を特定することができる。

図２は、候補エリア推定の状況の一例を示す図である。図２は、前方に信号機付きの十字路が存在する片側１車線の道路を走行する車両のカメラで撮像された撮像画像である。図３は、候補エリア推定の状況の他の例を示す図である。図３は、前方に信号機付きの横断歩道の手前で停止する先行車両が存在する片側１車線の道路を走行する車両のカメラで撮像された撮像画像である。候補エリア推定部１３は、例えば、信号機を含む画像の機械学習結果を用いて、撮像画像中で信号機の外形に近い物体を含む部分を候補エリアとして推定してもよい（図２のエリアＡ１）。候補エリア推定部１３は、例えば、停止している先行車両に特有の赤色ランプの集合体を撮像画像中で認識した場合、撮像画像中で当該先行車両及びその上方を含む部分を候補エリアとして推定してもよい（図３のエリアＡ２）。候補エリア推定部１３は、例えば、撮像画像中で周辺構造物を含む部分を候補エリアとして推定してもよい（図２，図３のエリアＡ３）。候補エリア推定部１３は、例えば、撮像画像中で車両の進行方向に交差する向きに互いに対向する信号機対を含む部分（図２のエリアＡ４）を認識し、これら一対の信号機対の間にある信号機を含む部分を候補エリアとして推定してもよい（図２のエリアＡ１）。候補エリア推定部１３は、例えば、車両位置認識部１１で認識した車両位置の付近に位置する交差点（例えば車両の進行方向の前方の交差点から所定距離手前の白線及び標識等に車両位置が達した場合等における当該交差点）に対応する撮像画像中の部分を候補エリアとして認識してもよい（図２のエリアＡ５）。

候補エリア推定部１３は、撮像画像において車両に対向する信号機の位置を含むように候補エリアを認識する。図２及び図３の例では、候補エリアは、長方形状の領域として設定されている。なお、候補エリアの形状は長方形状に限られず、楕円形、円形、多角形その他の形状であってもよい。また、候補エリアの推定手法は、上記の手法に限定されない。

点灯状態認識部１４は、車載カメラの撮像画像に基づいて、車両の前方（周囲）の信号機の灯火部分の点灯状態（後述）を認識する。一般的に、信号機は、複数の灯火部分を有する。灯火部分とは、点灯及び消灯する部分である。灯火部分は、例えば、電球、ＬＥＤ、発光装置、ディスプレイ、等で構成されている。

点灯状態認識部１４は、候補エリアが撮像画像中に存在する場合に、候補エリア内の信号機の点灯状態を認識する。点灯状態認識部１４は、候補エリア推定部１３により推定された候補エリア（例えば上述の図２及び図３の例の少なくとも１つ）が撮像画像中に存在する場合、地図データベース５から抽出した信号機及び周辺構造物と物体認識部１２の認識結果との照合結果に基づいて、カメラ２の撮像画像上の信号機の位置を認識する。点灯状態認識部１４は、周知の手法により撮像画像上の信号機の位置を認識することができる。点灯状態認識部１４は、候補エリア内の画像認識（例えば色を考慮したパターンマッチング）を行うことで信号機の点灯状態を認識する。画像認識の処理内容は特に限定されず、信号機の点灯状態を認識可能な処理であればよい。

信号機の点灯状態には、矢印以外の灯火に対応する第１灯火部分が点灯している状態が含まれる。第１灯火部分は、典型的には円形信号であり、例えば黄信号又は赤信号等の主光源とされている。図４は、第１灯火部分の点灯状態の一例を示す図である。図４では、例えば、黄信号が単独で点灯している点灯状態を表す撮像画像として、車両から信号までの距離が互いに異なる３つの例（４０ｍ，８０ｍ，及び１２０ｍ）が示されている。図４の上段は等倍の撮像画像であり、下段は上段の第１灯火部分の拡大図である。

図４に示されるように、黄信号が点灯することで、光源部分に対応する高輝度部分と、光源部分の周囲に広がるフレア部分と、が撮像画像上に現れる。フレアとは、信号機の灯火部分にカメラ２のレンズを向けることによりレンズ面等でノイズ光が反射して発生する光のかぶり現象である。フレア部分では、画像の一部が白っぽくなりシャープネス及びコントラストが低下する。フレアは、例えば夜間の撮像画像に生じ易い。そして、車両から信号機までの距離が大きくなるほど、撮像画像中の黄信号の高輝度部分の画像つぶれが発生し、高輝度部分とフレア部分との境界がぼやける傾向がある。

図５は、第１灯火部分の輝度分布の一例を示す図である。図５は、説明の便宜上、図４の８０ｍの拡大図の色情報を反転させてグレースケールとしたものである。図５に示されるように、二点鎖線ＬＳと破線ＦＬとが描かれている。

二点鎖線ＬＳは、第１灯火部分の光源が存在する領域に対応する円形領域を区画する。二点鎖線ＬＳは、例えば、撮像画像の輝度分布を所定の光源閾値で二値化したときの高輝度部分として取得されてもよい。二点鎖線ＬＳの形状は、例えば、後述の第２灯火部分と光源の形状同士を比較することで第２灯火部分の矢印の指す方向を判断するために用いられてもよい。

破線ＦＬは、第１灯火部分を光源として撮像画像に生じる第１フレアに対応する領域を区画する。図５の例では、円形の光源から等方的にフレアが生じており、破線ＦＬの円は、二点鎖線ＬＳの円に対して略同心円であり、二点鎖線ＬＳの円よりも大きい半径を有する。破線ＦＬは、例えば、撮像画像の輝度分布を所定のフレア閾値で二値化したときの中輝度部分として取得されてもよい。フレア閾値は、上記の光源閾値よりも低輝度の値を有する閾値である。破線ＦＬの形状は、例えば、後述の第２灯火部分のフレアの広がり方同士を比較することで第２灯火部分の矢印の指す方向を判断するために用いられてもよい。

信号機の点灯状態には、青色灯火矢印に対応する第２灯火部分が点灯している状態が含まれる。第２灯火部分は、典型的には矢印信号であり、例えば赤信号を補助する補助光源とされている。第２灯火部分は、第１灯火部分よりも小さい光源面積を有している。第２灯火部分の矢印の指す方向は、特に限定されない。また、信号機の点灯状態には、第１灯火部分と第２灯火部分との両方が点灯している同時点灯の状態が含まれる。ここでの同時点灯とは、赤信号と青色矢印信号との両方が点灯している状態を意味する。

点灯状態認識部１４は、矢印以外の灯火に対応する第１灯火部分と青色灯火矢印に対応する第２灯火部分との両方が点灯している場合、第１灯火部分及び第２灯火部分の同時点灯との点灯状態を認識する。点灯状態認識部１４は、矢印以外の灯火に対応する第１灯火部分と青色灯火矢印に対応する第２灯火部分との何れか一方が点灯していない場合、同時点灯との点灯状態を認識しない。

図６は、第１及び第２灯火部分の同時点灯状態の一例を示す図である。図６では、例えば、赤信号及び青色矢印信号が同時に点灯している同時点灯の状態を表す撮像画像として、車両から信号までの距離が互いに異なる３つの例（４０ｍ，８０ｍ，及び１２０ｍ）が示されている。図６の上段は等倍の撮像画像であり、下段は上段の第１及び第２灯火部分の拡大図である。

図６に示されるように、赤信号及び青色矢印信号が同時点灯することで、光源部分に対応する高輝度部分と、光源部分の周囲に広がるフレア部分とが、撮像画像上の赤信号及び青色矢印信号のそれぞれの部分に現れる。図４の例と同様、車両から信号機までの距離が大きくなるほど、撮像画像中の赤信号及び青色矢印信号の高輝度部分の画像つぶれが発生し、高輝度部分とフレア部分との境界がぼやける傾向がある。そのため、青色矢印信号については、車両から信号機までの距離が大きくなるほど、その指す方向の認識が難しくなる。

矢印方向認識部１５は、撮像画像及び点灯状態に基づいて、信号機において青色灯火矢印の指す方向を認識する。矢印方向認識部１５は、例えば、点灯状態認識部１４によって同時点灯が認識された場合、第１灯火部分を光源として撮像画像に生じる第１フレアの輝度分布と、第２灯火部分を光源として撮像画像に生じる第２フレアの輝度分布と、の比較結果に基づいて、青色灯火矢印の指す方向を認識する。第１フレアの輝度分布と第２フレアの輝度分布との比較とは、例えば、撮像画像上で、青色灯火矢印を光源とする輝度分布が、矢印以外の灯火を光源とする輝度分布に対して偏っているか否かを意味する。

図７は、第１及び第２灯火部分の輝度分布の一例を示す図である。図７は、説明の便宜上、図６の８０ｍの拡大図の色情報を反転させてグレースケールとしたものである。なお、青色矢印信号の指す方向であると認識の際には、色情報を含めた認識が行われてもよい。

図７に示されるように、破線ＦＬ１，ＦＬ２とが描かれている。破線ＦＬ１は、図６の赤信号を光源として撮像画像に生じる第１フレアに対応する領域を区画する。図６の赤信号では、円形の光源から等方的にフレアが生じることから、破線ＦＬ１の円は、図５の黄信号の破線ＦＬの円と同等となり得る。第１フレアの輝度分布は、破線ＦＬ１の円内で略均等となっている。

破線ＦＬ２は、第２フレアの輝度分布を第１フレアの輝度分布と比較して説明するために便宜上図示するものである。破線ＦＬ２は、図６の青色矢印信号を光源として撮像画像に生じる第２フレアを含むような円形領域であり、一例として破線ＦＬ１と同じ形状で示されている。図６の青色矢印信号では、赤信号の円形よりも小さい発光面積の矢印形の光源からフレアが生じることから、第２フレアの輝度分布は、破線ＦＬ２において均等ではなく、青色矢印の先端側（指す方向）の輝度が高くなり、青色矢印の基端側（指す方向とは反対側）の輝度が低くなる。図７の例では、第２フレアの輝度分布は、破線ＦＬ２の円内における左上部分と左下部分とで低い輝度となる暗部分ＤＺ１，ＤＺ２を有している。この場合、矢印方向認識部１５は、第２フレアに関して暗部分ＤＺ１，ＤＺ２とは反対側である図７紙面右側が、青色矢印信号の指す方向であると認識することができる。

また、矢印方向認識部１５は、例えば、図６の赤信号及び青色矢印信号を光源として撮像画像の輝度分布のうち上述のフレア閾値以上の輝度となる部分にて、輝度の上下方向及び左右方向の輝度ヒストグラムを画素毎に算出し、青色矢印信号の輝度ヒストグラム上でのピーク位置が赤信号の輝度ヒストグラム上でのピーク位置に対してどの方向に偏っているかに基づき、青色矢印信号の指す方向であると認識してもよい。

或いは、矢印方向認識部１５は、図６の赤信号及び青色矢印信号を光源とする撮像画像での画素の色が赤であるか青（又は緑）であるかに基づいて暗部分ＤＺ１，ＤＺ２を認識してもよい。矢印方向認識部１５は、暗部分ＤＺ１，ＤＺ２を認識した場合、撮像画像中で暗部分ＤＺ１，ＤＺ２に隣接する高輝度部分を所定の輝度閾値を用いて認識し、高輝度部分に関して暗部分ＤＺ１，ＤＺ２とは反対側を、青色矢印信号の指す方向であると認識してもよい。

その他、例えば図６において距離が４０ｍの場合には、距離が８０ｍ以上の場合と比べて、光源部分に対応する高輝度部分の形状は、青色矢印信号の指す方向の認識が可能な程度である。この場合、矢印方向認識部１５は、上記図５の二点鎖線ＬＳのような光源自体の形状に沿った領域を赤信号及び青色矢印信号の各光源について取得し、それらの形状の比較によって青色灯火矢印の指す方向を認識してもよい。

ちなみに、矢印方向認識部１５は、撮像画像及び車両の加速度センサ４の検出結果に基づいて、車両の揺れに起因するブラーが生じていると判定される場合、青色灯火矢印の指す方向を認識しなくてもよい。矢印方向認識部１５は、例えば、撮像画像に基づいて、第１灯火部分を光源として撮像画像に生じる第１ブラーと、第２灯火部分を光源として撮像画像に生じる第２ブラーと、が同等のブラー量で撮像画像における車両上下方向に延在している場合に、第１ブラーと第２ブラーとが共に車両の揺れに起因すると判定してもよい。矢印方向認識部１５は、車両の加速度センサの検出結果に基づいて、車両の上下方向の上下加速度が所定の上下加速度閾値以上である場合、又は、車両の左右方向の左右加速度が所定の左右加速度閾値以上である場合に、第１ブラーと第２ブラーとが共に車両の揺れに起因すると判定してもよい。

次に、信号機認識装置１００の信号機認識処理の一例について図８を参照して説明する。図８は、図１の信号機認識装置の処理の一例を示すフローチャートである。図８に示すフローチャートの処理は、例えば車両の走行中に、所定周期で繰り返し行われる。

図８に示されるように、ステップＳ０１において、ＥＣＵ１０は、車両位置認識部１１により、車両位置の認識を行う。車両位置認識部１１は、例えば、ＧＰＳ受信部１の位置情報及び地図データベース５の地図情報に基づいて、車両の地図上の位置を認識する。

ステップＳ０２において、ＥＣＵ１０は、物体認識部１２により、物体の認識を行う。物体認識部１２は、カメラ２の撮像画像に基づいて、色情報を含む車両前方の撮像画像を取得する。物体認識部１２は、例えば、カメラ２の撮像画像及びレーダセンサ３の検出結果に基づいて、車両の周囲の物体を認識する。

ステップＳ０３において、ＥＣＵ１０は、候補エリア推定部１３により、候補エリアの推定を行う。候補エリア推定部１３は、例えば、車両位置認識部１１の認識した車両の地図上の位置と物体認識部１２の認識結果と地図データベース５の地図情報とに基づいて、候補エリアを推定する。

ステップＳ０４において、ＥＣＵ１０は、点灯状態認識部１４により、撮像画像中に候補エリアがあるか否かを判定する。点灯状態認識部１４は、候補エリア推定部１３により候補エリアが撮像画像中に推定された場合、撮像画像中に候補エリアがあると判定する。ＥＣＵ１０は、撮像画像中に候補エリアがあると判定した場合（ステップＳ０４：ＹＥＳ）、ステップＳ０５に移行する。一方、ＥＣＵ１０は、撮像画像中に候補エリアがないと判定した場合（ステップＳ０４：ＮＯ）、今回の図８の処理を終了する。

ステップＳ０５において、ＥＣＵ１０は、点灯状態認識部１４により、点灯状態の認識を行う。点灯状態認識部１４は、車載カメラの撮像画像に基づいて、車両の前方（周囲）の信号機の灯火部分の点灯状態を認識する。点灯状態認識部１４は、例えば、候補エリア内の画像認識（例えば色を考慮したパターンマッチング）を行うことで、候補エリア内の信号機の点灯状態を認識する。

ステップＳ０６において、ＥＣＵ１０は、点灯状態認識部１４により、同時点灯との点灯状態を認識したか否かを判定する。点灯状態認識部１４は、矢印以外の灯火に対応する第１灯火部分と青色灯火矢印に対応する第２灯火部分との両方が点灯している場合、第１灯火部分及び第２灯火部分の同時点灯との点灯状態を認識したと判定する。点灯状態認識部１４は、矢印以外の灯火に対応する第１灯火部分と青色灯火矢印に対応する第２灯火部分との何れか一方が点灯していない場合、同時点灯との点灯状態を認識しないと判定する。ＥＣＵ１０は、同時点灯との点灯状態を認識したと判定した場合（ステップＳ０６：ＹＥＳ）、ステップＳ０７に移行する。一方、ＥＣＵ１０は、同時点灯との点灯状態を認識しないと判定した場合（ステップＳ０６：ＮＯ）、今回の図８の処理を終了する。

ステップＳ０７において、ＥＣＵ１０は、矢印方向認識部１５により、車両の揺れに起因するブラー（第１ブラー及び第２ブラー）が生じているか否かを判定する。矢印方向認識部１５は、撮像画像に基づいて、第１灯火部分を光源として撮像画像に生じる第１ブラーと、第２灯火部分を光源として撮像画像に生じる第２ブラーと、が同等のブラー量で撮像画像における車両上下方向に延在している場合に、車両の揺れに起因する第１ブラー及び第２ブラーが生じていると判定してもよい。或いは、矢印方向認識部１５は、車両の加速度センサ４の検出結果に基づいて、車両の上下方向の上下加速度が所定の上下加速度閾値以上である場合、又は、車両の左右方向の左右加速度が所定の左右加速度閾値以上である場合に、車両の揺れに起因する第１ブラー及び第２ブラーが生じていると判定してもよい。ＥＣＵ１０は、車両の揺れに起因するブラーが生じていないと判定した場合（ステップＳ０７：ＹＥＳ）、ステップＳ０８に移行する。一方、ＥＣＵ１０は、車両の揺れに起因するブラーが生じていると判定した場合（ステップＳ０７：ＮＯ）、今回の図８の処理を終了する。

ステップＳ０８において、ＥＣＵ１０は、矢印方向認識部１５により、矢印方向の認識を行う。矢印方向認識部１５は、点灯状態認識部１４によって同時点灯が認識された場合、第１灯火部分を光源として撮像画像に生じる第１フレアの輝度分布と、第２灯火部分を光源として撮像画像に生じる第２フレアの輝度分布と、の比較結果に基づいて、青色灯火矢印の指す方向を認識する。その後、ＥＣＵ１０は、今回の図８の処理を終了する。

以上説明したように、点灯状態認識部１４によって同時点灯が認識された場合、例えば夜間等の暗い環境下では、撮像画像において第１フレア及び第２フレアが生じている可能性が高い。第１フレアは矢印以外の灯火に対応する第１灯火部分を光源として撮像画像に生じるため、撮像画像上での輝度分布は、第１灯火部分に対応する同心円状となる。第２フレアは青色灯火矢印に対応する第２灯火部分を光源として撮像画像に生じるため、撮像画像上での輝度分布は、第２灯火部分に対応する同心円に対して偏りが生じる。そこで、上述のような信号機認識装置１００によれば、点灯状態認識部１４によって同時点灯が認識された場合、矢印方向認識部１５によって、第１フレアの輝度分布を基準とした第２フレアの輝度分布の偏りに基づいて、青色灯火矢印の指す方向をより正確に認識することができる。これにより、例えば夜間等の暗い環境下で車両から遠方に位置する信号機も含めて、矢印の指す方向をより正確に認識することが可能となる。

信号機認識装置１００では、矢印方向認識部１５は、撮像画像及び車両の加速度センサ４の検出結果に基づいて、車両の揺れに起因するブラーが生じていると判定される場合、青色灯火矢印の指す方向を認識しない。これにより、撮像画像中に車両の揺れに起因するモーションブラーが生じている状況において、矢印の指す方向の認識の正確さが低下することを抑制することが可能となる。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

上述した信号機認識装置１００では、矢印方向認識部１５は、車両の揺れに起因するブラーが生じていると判定される場合、青色灯火矢印の指す方向を認識しないように構成されたが、この処理（図８のステップＳ０７）は省略されてもよい。

上述した実施形態では、同時点灯との点灯状態に関して、矢印以外の灯火に対応する第１灯火部分として赤信号を対象としたが、これに限定されない。第２灯火部分（青色灯火矢印）と同時点灯する第１灯火部分としては、赤色以外の青色又は黄色の灯火を対象としてもよい。なお、例えば路面電車等、青色以外の色（例えば黄色）の灯火矢印によって進行可否が移動体に対しては、青色以外の色の灯火矢印に対応する第３灯火部分を第２灯火部分に代えて本発明を適用することができる。

上述した実施形態では、車両の前方の信号機について説明したが、車両の周囲の信号機を撮像対象としてもよい。また、レーダセンサ３は必ずしも備える必要はない。例えば、レーダセンサ３に代えて、ＴＯＦ［Time Of Flight］センサ、遠赤外線［Far Infrared Rays］カメラ等を用いてもよい。

２…カメラ（車載カメラ）、４…加速度センサ、１４…点灯状態認識部、１５…矢印方向認識部、１００…信号機認識装置。

Claims (2)

1. 車載カメラの撮像画像に基づいて、車両の周囲の信号機の灯火部分の点灯状態を認識する点灯状態認識部と、
   前記撮像画像及び前記点灯状態に基づいて、前記信号機において青色灯火矢印の指す方向を認識する矢印方向認識部と、を備え、
   前記点灯状態認識部は、矢印以外の灯火に対応する第１灯火部分と前記青色灯火矢印に対応する第２灯火部分との両方が点灯している場合、前記第１灯火部分及び前記第２灯火部分の同時点灯との前記点灯状態を認識し、
   前記矢印方向認識部は、前記点灯状態認識部によって前記同時点灯が認識された場合、前記第１灯火部分を光源として前記撮像画像に生じる第１フレアの輝度分布と、前記第２灯火部分を光源として前記撮像画像に生じる第２フレアの輝度分布と、の比較結果に基づいて、前記青色灯火矢印の指す方向を認識する、信号機認識装置。
2. 前記矢印方向認識部は、前記撮像画像及び前記車両の加速度センサの検出結果に基づいて、前記車両の揺れに起因するブラーが生じていると判定される場合、前記青色灯火矢印の指す方向を認識しない、請求項１に記載の信号機認識装置。
   
   

Images