JP2020027328A - 信号機推定装置、信号機推定方法およびプログラム - Google Patents

Abstract

【課題】撮影画像において信号機が映し出されている領域を適切に推定することができる信号機推定装置を提供する。【解決手段】車両１０の走行状態を示す車両走行情報を取得する走行情報取得部１１８と、車両１０に搭載されたカメラ２１０による撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部１１６に格納されている情報によって示される過去領域と、上述の車両走行情報によって示される車両１０の走行状態とに基づいて推定する検証用領域推定部１１７とを備える。【選択図】図１

Description

本開示は、撮影画像において信号機が映し出されている領域を推定する信号機推定装置などに関する。

従来、車両の前方に存在する信号機を検出する信号機検出装置が提案されている（例えば、特許文献１参照）。この信号機検出装置は、車両の位置および地図データベースにより、撮影画像において、信号機の位置を予測し、その位置に応じた信号機検出領域を設定する。つまり、信号機が映し出されている領域が信号機検出領域として推定される。さらに、信号機検出領域内に信号機が検出されない場合には、前方または遠方に信号機検出領域を移動させながら信号機の検出を行う。

特開２０１６−２４５７２号公報

しかしながら、上記特許文献１の信号機検出装置では、信号機検出領域を適切に推定することができないという課題がある。

そこで、本開示は、撮影画像において信号機が映し出されている領域を適切に推定することができる信号機推定装置を提供する。

本開示の一態様に係る信号機推定装置は、車両の走行状態を示す車両走行情報を取得する取得部と、前記車両に搭載されたカメラによる撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部に格納されている情報によって示される過去領域と、前記車両走行情報によって示される前記車両の走行状態とに基づいて推定する推定部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の信号機推定装置は、撮影画像において信号機が映し出されている領域を適切に推定することができる。

図１は、実施の形態における信号機推定装置の構成を示すブロック図である。 図２は、実施の形態における信号機領域推定部の処理動作を説明するための図である。 図３は、実施の形態における撮影画像、信号機画像および領域を説明するための図である。 図４Ａは、実施の形態における第１領域と第２領域との関係の一例を示す図である。 図４Ｂは、実施の形態における第１領域と第２領域との関係の他の例を示す図である。 図５は、実施の形態における、過去領域から第２領域が推定される状況を説明するための図である。 図６は、実施の形態における検証用領域推定部が保持している変換テーブルの一例を示す図である。 図７は、実施の形態における信号機推定装置の全体的な処理動作を示す図である。 図８は、実施の形態における画像抽出処理の詳細を示すフローチャートである。 図９は、実施の形態における信頼度算出処理の詳細を示すフローチャートである。 図１０は、実施の形態における第１代替処理の詳細を示すフローチャートである。 図１１は、実施の形態における第２代替処理の詳細を示すフローチャートである。 図１２は、実施の形態における第１代替処理および第２代替処理において出力される信号機画像を説明するための図である。 図１３は、実施の形態における信頼度回復処理の詳細を示すフローチャートである。

（本開示の基礎となった知見）
「背景技術」の欄において記載した上記特許文献１の信号機検出装置に関し、以下の問題が生じることを見出した。

上記特許文献１の信号機検出装置は、検出された車両の位置と、地図データと、カメラの角度とから、カメラで撮影された画像における信号機の位置を推定し、その位置を含む領域を信号機検出領域として設定する。つまり、信号機が映し出されている領域が信号機検出領域として推定される。また、信号機検出領域内に信号機が存在することを確認するために、特徴点検出が行われる。つまり、信号機検出装置は、予め登録されている信号機の特徴点を用いて、その信号機検出領域内において特徴点検出を行う。もし、その信号機検出領域に信号機の特徴点が検出されなかった場合、信号機検出装置は、信号機検出領域を更新する。つまり、信号機検出装置は、信号機検出領域を前方（車両に近づく向き）または遠方（車両から遠ざかる向き）に設定し直して信号機の検出を再び行う。このように、信号機検出領域を前方または遠方にずらすことで、車両の位置の前後方向における検出誤差を解決することができる。なお、前後方向は、上述の前方または遠方に向かう方向である。つまり、誤って検出された車両の位置に基づいて信号機検出領域が設定された場合には、その信号機検出領域に信号機が存在している可能性が低くなる。しかし、その信号機検出領域を設定し直すことによって、信号機が存在している可能性が高い信号機検出領域を設定することができる。

しかしながら、このような信号機検出装置では、車両の位置の検出における前後方向の誤差しか解決できず、左右方向の誤差を解決することはできない。検出された車両の位置に左右方向の誤差がある場合には、信号機検出領域を前方または遠方にずらしても、信号機が存在する可能性の高い信号機検出領域を設定できない。言い換えれば、信号機検出領域を適切に推定することができない。その結果、検出すべき信号機を検出することができないだけでなく、その信号機と異なる信号機を検出してしまう可能性もある。つまり、車線変更または蛇行運転によって左右に車両が移動する場合には、上記特許文献１の信号機検出装置では、カメラで撮影された画像から、信号機が映し出されている領域を適切に推定することができない。

このような課題を解決するために、本開示の一態様に係る信号機推定装置は、車両の走行状態を示す車両走行情報を取得する取得部と、前記車両に搭載されたカメラによる撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部に格納されている情報によって示される過去領域と、前記車両走行情報によって示される前記車両の走行状態とに基づいて推定する推定部とを備える。

これにより、現在の撮影画像において信号機が映し出されている領域を、現在の車両の位置を検出することなく推定することができる。例えば、現在の車両の位置を検出し、現在の撮影画像において信号機が映し出されている領域を、その車両の位置に基づいて推定する処理が行われる場合では、現在の車両の位置の検出に誤差があれば、その領域には、信号機が映し出されていない可能性がある。しかし、本開示の一態様に係る信号機推定装置では、現在の車両の位置を検出することなく、その領域が推定されるため、信号機が映し出されている領域を適切に推定することができる。つまり、検出される現在の車両の位置において前後方向の誤差だけでなく、左右方向の誤差がある場合でも、信号機が映し出されている領域を適切に推定することができる。

また、前記推定部は、前記現在の撮影画像において前記信号機が映し出されている領域を、第２領域として推定する第２推定部であって、前記信号機推定装置は、さらに、少なくとも前記カメラの撮影方向および画角を示すカメラ情報と、前記車両の位置と、前記信号機の位置とに基づいて、前記現在の撮影画像において前記信号機が映し出されている領域を第１領域として推定する第１推定部と、前記第１推定部によって推定された前記第１領域の信頼度を、前記第２領域を用いて評価する信頼度評価部と、を備えてもよい。

これにより、現在の車両の位置の検出結果に基づいて第１領域が推定される場合であっても、第２領域によってその第１領域の信頼度を適切に評価することができる。

また、前記信頼度評価部は、前記現在の撮影画像における前記第１領域の画像と前記第２領域の画像との差分が大きいほど、前記第１領域に対して低い信頼度を算出し、前記差分が小さいほど、前記第１領域に対して高い信頼度を算出する信頼度算出部と、前記信頼度算出部によって算出される前記第１領域の信頼度が第１閾値以上であるか否かを判定することによって、前記第１領域の信頼度を評価し、前記第１領域の信頼度が前記第１閾値以上の場合に、現在の前記信号機が映し出されている信号機画像として、前記第１領域の画像を出力する信頼度判定部とを備えてもよい。

これにより、現在の車両の位置の検出結果に基づいて第１領域が推定される場合であっても、第２領域によって高信頼度と評価された第１領域の画像だけを、信号機画像として出力させることができる。つまり、現在の車両の位置の検出に誤差が含まれ、第１領域の画像に信号機が映し出されていない可能性がある低信頼度の第１領域の画像が、信号機画像として出力されてしまうことを抑えることができる。

また、前記信頼度判定部は、前記第１領域の信頼度が前記第１閾値以上の場合には、さらに、前記第１領域を示す高信頼度領域情報を前記蓄積部に格納し、前記高信頼度領域情報によって示される前記第１領域は、前記現在の撮影画像の次の撮影画像に対する前記第２推定部による推定に、前記過去領域として用いられてもよい。

これにより、高信頼度と判定された第１領域を示す情報が、高信頼度領域情報として蓄積部に格納され、その高信頼度領域情報によって示される第１領域が、第２推定部によって過去領域として用いられる。したがって、第２推定部による第２領域の推定に、信頼度の低い過去領域が用いられてしまうことを抑え、第２領域の推定精度を高めることができる。

また、前記信頼度判定部は、前記第１領域の信頼度が前記第１閾値未満の場合には、前記現在の撮影画像における前記過去領域の画像を、前記信号機画像として出力してもよい。

これにより、低信頼度の第１領域の画像が信号機画像として出力される代わりに、現在の撮影画像における過去領域の画像が信号機画像として出力される。したがって、例えば車両が走行ゆっくり走行している場合には、その過去領域の画像には、信号機が映し出されている可能性が高いため、適切な信号機画像を出力することができる。

また、前記信号機推定装置は、さらに、第１条件が満たされたときに、前記蓄積部に格納されている前記高信頼度領域情報を削除して、前記過去領域の代わりに前記第２推定部に用いられる新たな領域を示す情報を、前記蓄積部に格納する回復処理を実行する信頼度回復処理部を備えてもよい。

例えば、蓄積部に蓄積されている高信頼度領域情報を用いて第２領域を推定しても、その第２領域が不適切な場合がある。このような場合に、その高信頼度領域情報が削除されて、新たな領域を示す情報が格納されることによって、第２領域の推定精度を向上させることができる。

また、前記カメラから新たな撮影画像が得られるたびに、前記新たな撮影画像が前記現在の撮影画像として扱われ、前記現在の撮影画像における前記第１領域の信頼度に対する判定が前記信頼度判定部によって行われる場合、前記第１条件は、前記信頼度判定部によって前記第１領域の信頼度が前記第１閾値未満と判定される回数が、ｎ回（ｎは２以上の整数）以上になる条件であってもよい。

これにより、カメラのフレームレートにしたがって撮影画像が得られるたびに、その撮影画像における第１領域に対して信頼度が低いと判定されることが繰り返される場合に、上述の回復処理が実行される。したがって、このような低信頼度の判定の繰り返しを回避することができる。

また、前記信頼度判定部は、前記車両において許容範囲を超える大きさの振動が検知された場合には、過去の撮影画像における前記過去領域の画像を、前記信号機画像として出力してもよい。

例えば、走行中の車両に大きな揺れが生じた場合には、現在の撮影画像における第１領域の画像にも第２領域の画像にも、信号機が映し出されていない可能性が高い。そこで、本開示の一態様に係る信号機推定装置では、そのような大きな揺れが生じた場合には、現在の撮影画像ではなく、その揺れが生じる前の過去の撮影画像における過去領域の画像が、信号機画像として出力される。その過去領域の画像は、大きな揺れが生じる前の過去の撮影画像に対して第１推定部によって推定された高信頼度の第１領域の画像である。したがって、過去の撮影画像が得られてから現在の撮影画像が得られるまでの期間が短ければ、その過去領域の画像には、信号機が映し出されている可能性が高い。したがって、適切な信号機画像を出力することができる。

また、前記信号機推定装置は、さらに、前記振動が予め定められた期間以上継続するときに、前記蓄積部に格納されている前記高信頼度領域情報を削除して、前記過去領域の代わりに前記第２推定部に用いられる新たな領域を示す情報を、前記蓄積部に格納する回復処理を実行する信頼度回復処理部を備えてもよい。

例えば、大きな揺れが継続する場合には、その揺れが収まっても、蓄積部に格納されている高信頼度領域情報を第２領域の推定に用いることができない可能性が高い。つまり、その高信頼度領域情報によって示される過去領域を用いても、適切な信号機画像を出力することができない可能性が高い。そこで、本開示の一態様に係る信号機推定装置では、そのような大きな揺れが継続する場合には、上述の回復処理が実行される。これにより、大きな揺れが収まったときには、その蓄積部に蓄積されている新たな領域を示す情報を用いて、適切な信号機画像を出力することができる。

また、前記信頼度回復処理部は、前記回復処理では、前記カメラから新たな撮影画像が得られるたびに、前記新たな撮影画像において前記信号機が映し出されている領域を前記第１推定部に推定させ、前記新たな撮影画像において前記第１推定部によって推定された領域の画像である第１画像と、前記新たな撮影画像の直前の撮影画像において前記第１推定部によって推定された領域の画像である第２画像との差異を算出し、算出された前記差異が第２閾値未満となることが、予め定められた回数だけ連続して繰り返される場合に、少なくとも、前記第１推定部によって最後に推定された前記領域を示す情報を、前記新たな領域を示す情報として、前記蓄積部に格納してもよい。

これにより、第１推定部による領域の推定が安定したとき、つまり、検出される車両の位置の誤差が収束したときに、その第１推定部によって最後に推定された領域を示す情報が蓄積部に格納される。したがって、信号機が映し出されている可能性が高い領域、言い換えれば信頼度の高い領域を示す情報を、蓄積部に格納することができる。その結果、その後に推定される第２領域の推定精度を高めることができる。

また、前記信頼度回復処理部は、前記第２画像が存在しない場合には、前記第２画像の代わりに、前記第１画像を初期画像として前記差異の算出に用いてもよい。または、前記信頼度回復処理部は、前記第２画像が存在しない場合には、前記第２画像の代わりに、前記信号機が映し出されているテンプレート画像を、初期画像として前記差異の算出に用いてもよい。または、前記信頼度回復処理部は、前記第２画像が存在しない場合には、前記第２画像の代わりに、他車両から得られた、前記信号機が映し出されている画像を、初期画像として前記差異の算出に用いてもよい。または、前記信頼度回復処理部は、前記第２画像が存在しない場合には、前記第２画像の代わりに、前記回復処理が行われる前に前記カメラから既に得られた、前記信号機が映し出されている画像を、初期画像として前記差異の算出に用いてもよい。

これにより、適切な初期画像に基づいて回復処理を実行することができる。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態）
図１は、本実施の形態における信号機推定装置の構成を示すブロック図である。

例えば、車両１０は、信号機推定装置２０と、カメラ２１０と、カメラ情報保持部２２０と、位置検出部２３０と、地図情報格納部２４０と、振動検知部２５０と、灯火色判定部２６０と、車両制御部２７０とを備える。

カメラ２１０は、車載カメラであって、例えば車両１０の前方を撮影し、その撮影によって生成される画像（以下、撮影画像という）を信号機推定装置２０に出力する。具体的には、カメラ２１０は、一定のフレームレートで撮影を行い、その撮影によって画像が生成されるたびに、その画像を撮影画像として信号機推定装置２０に出力する。

カメラ情報保持部２２０は、カメラ２１０の画角、撮影方向、および、車両１０に取り付けられている位置などを示すカメラ情報を保持している記録媒体である。

位置検出部２３０は、車両１０の位置を検出し、その位置を示す車両位置情報を信号機推定装置２０に出力する。この車両１０の位置の検出は、一般的な自己位置推定手法によって実施される。例えば、この自己位置推定手法は、ＧＰＳ（Global Positioning System）を用いた手法であってもよく、ＬＩＤＡＲ（Light Detection and Ranging）および周辺地図を用いて周辺情報を調査することによって自己位置を推定する手法であってもよい。

地図情報格納部２４０は、少なくとも車両１０の周辺の地図を示す地図情報を格納している。なお、この地図情報は、地図を３次元のデータとして示し、具体的には、実空間における少なくとも交差点および信号機のそれぞれの位置を、３次元座標における位置として示す。このような地図情報は、例えば、インターネットなどのネットワークを介してサーバから無線で送信され、地図情報格納部２４０に格納されていてもよい。

振動検知部２５０は、車両１０に取り付けられ、車両１０の振動の大きさを計測し、その計測された振動の大きさを示す振動情報を信号機推定装置２０に出力する。つまり、振動検知部２５０は、加速度センサ、角加速度センサ、ジャイロセンサまたは９軸センサなどとして構成されている。

信号機推定装置２０は、カメラ２１０による撮影によって生成された撮影画像において、信号機が映し出されている領域を推定する。この領域の推定には、カメラ情報保持部２２０のカメラ情報、位置検出部２３０から出力される車両位置情報、地図情報格納部２４０の地図情報、および振動検知部２５０からの振動情報などが用いられる。また、信号機推定装置２０は、その推定された領域の画像を信号機画像として灯火色判定部２６０に出力する。このとき、信号機推定装置２０は、その信号機画像と共に、上述の推定の信頼度も灯火色判定部２６０に出力する。この信号機推定装置２０の詳細については、後述する。

灯火色判定部２６０は、信号機推定装置２０から出力される信号機画像と信頼度とを用いて、信号機画像に映し出されている信号機の灯火色を判定し、その判定結果を示す灯火色情報を車両制御部２７０に出力する。灯火色の判定には、パターンマッチングなどに代表される一般的な画像認識アルゴリズムを用いることができる。この灯火色の判定において、ノイズ対策のために、過去数フレームの信号機画像に対する判定結果を平滑化してもよい。例えば、灯火色判定部２６０は、過去から現在までの数フレームの信号機画像のそれぞれについて、青色、黄色、および赤色の各灯火色に対する判定確率を保持しておき、過去から現在までの各灯火色の判定確率から、現在の灯火色を判定する。このとき、過去から現在までの数フレームの信号機画像のそれぞれの信頼度を、その信号機画像における判定確率に対する重みとして用いることができる。具体的には、灯火色判定部２６０は、過去から現在までのｊ（ｊは２以上の整数）フレームの信号機画像のそれぞれにおける、信頼度と青色の判定確率との積の合計値を算出する。同様に、灯火色判定部２６０は、黄色および赤色のそれぞれに対しても、その合計値を算出する。そして、灯火色判定部２６０は、最も合計値が大きい色を、現在の灯火色として判定する。これにより、現在の信号機の灯火色を適切に判定することができる。

車両制御部２７０は、例えば１つまたは複数のＥＣＵ（Electronic Control Unit）からなる。このような車両制御部２７０は、灯火色判定部２６０から出力される灯火色情報を取得し、その灯火色情報によって示される信号機の灯火色に基づいて、車両１０の走行を制御する。つまり、車両制御部２７０は、信号機が配置された道路を車両１０が自動走行するように、その車両１０を制御する。

本実施の形態における信号機推定装置２０は、信号機領域推定部１１１と、画像抽出部１１２と、信頼度算出部１１３と、信頼度判定部１１４と、信頼度回復処理部１１５と、蓄積部１１６と、検証用領域推定部１１７と、走行情報取得部１１８とを備える。

信号機領域推定部１１１は、カメラ２１０から出力される現在の撮影画像において信号機が映し出されている領域を第１領域として推定する。本実施の形態では、この信号機領域推定部１１１は、第１推定部として構成されている。この第１領域の推定は、カメラ情報保持部２２０のカメラ情報と、車両位置情報によって示される車両１０の位置と、信号機の位置とに基づいて行われる。なお、カメラ情報は、少なくともカメラ２１０の撮影方向および画角を示す。また、信号機の位置は、地図情報格納部２４０の地図情報によって示されている。信号機領域推定部１１１は、推定された領域（すなわち第１領域）を示す情報を、第１領域情報として画像抽出部１１２に出力する。例えば、第１領域が長方形である場合、第１領域情報は、長方形の４つの頂点のうちのいずれか１つの頂点の座標と、その長方形の幅および高さを示す。

具体的には、地図情報は、３次元空間における各信号機の位置および形態を示す。つまり、地図情報は、道路および建物の位置を示すだけでなく、その道路に配置されている信号機の位置および形態も示す。信号機の位置は、３次元座標系によって示される。すなわち、信号機の灯箱の位置が、経度および緯度と高さとによって示される。高さは、道路からの高さであっても、標高であってもよい。信号機の形態は、信号機を正面から見たときのその信号機の形状および大きさを含む。

信号機領域推定部１１１は、その地図情報によって示される地図に、位置検出部２３０から出力された車両位置情報によって示される位置をマッピングすることによって、車両１０の地図上の位置を特定する。さらに、信号機領域推定部１１１は、地図上の車両１０および信号機のそれぞれの位置と、信号機の形態と、車両１０におけるカメラ２１０の取付位置および撮影方向とに基づいて、撮影画像において信号機が映し出されている領域を幾何学的に推定する。その領域の幾何学的な検出には、例えば、３次元座標系を２次元座標系に変換する透視投影などの処理を用いてもよい。

画像抽出部１１２は、カメラ２１０から撮影画像を取得し、その撮影画像から、第１領域情報によって示される第１領域の画像と、第２領域情報によって示される第２領域の画像とを抽出する。

つまり、画像抽出部１１２は、信号機領域推定部１１１から第１領域情報を取得し、その第１領域情報によって示される第１領域をその撮影画像から特定する。そして、画像抽出部１１２は、撮影画像からその第１領域の画像を抽出する。さらに、画像抽出部１１２は、検証用領域推定部１１７から第２領域情報を取得し、その第２領域情報によって示される第２領域をその撮影画像から特定する。そして、画像抽出部１１２は、撮影画像からその第２領域の画像を抽出する。

画像抽出部１１２は、上述のように抽出された第１領域の画像と第２領域の画像とを信頼度算出部１１３に出力する。

信頼度算出部１１３は、画像抽出部１１２から第１領域の画像と第２領域の画像とを取得し、それらの画像を比較することによって、第１領域の信頼度を算出する。つまり、信頼度算出部１１３は、現在の撮影画像における第１領域の画像と第２領域の画像との差分を算出し、その差分が大きいほど、第１領域に対して低い信頼度を算出し、その差分が小さいほど、第１領域に対して高い信頼度を算出する。なお、これらの画像の比較には、例えばパターンマッチングなどのベクトル間距離算出アルゴリズムを用いてもよい。

信頼度算出部１１３は、上述のように算出された第１領域の信頼度を、第１領域の画像および第１領域情報と共に信頼度判定部１１４に出力する。

信頼度判定部１１４は、信頼度算出部１１３から第１領域の信頼度、第１領域の画像および第１領域情報を取得すると、その第１領域の信頼度が第１閾値以上であるか否かを判定することによって、第１領域の信頼度を評価する。第１領域の信頼度が第１閾値以上の場合には、信頼度判定部１１４は、現在の信号機が映し出されている信号機画像として、その第１領域の画像を灯火色判定部２６０に出力する。つまり、信頼度判定部１１４は、第１領域の信頼度が、撮影画像におけるその第１領域において信号機が正しく映し出されていると判断するに足る数値であるかを、第１閾値によって判定する。そして、信頼度がその数値であると判定すると、つまり、信頼度が第１閾値以上であると判定すると、信頼度判定部１１４は、第１領域の画像を信号機画像として灯火色判定部２６０に出力する。このとき、信頼度判定部１１４は、その信号機画像と共にその信頼度を灯火色判定部２６０に出力する。

さらに、信頼度判定部１１４は、信頼度が閾値以上の場合には、信頼度算出部１１３から取得された第１領域情報と第１領域の画像とを関連付けて蓄積部１１６に出力する。

なお、本実施の形態では、信頼度算出部１１３および信頼度判定部１１４は、信号機領域推定部１１１によって推定された第１領域の信頼度を、第２領域を用いて評価する信頼度評価部として構成されている。

蓄積部１１６は、第１領域情報と第１領域の画像とを格納するための記録媒体である。つまり、信頼度判定部１１４から第１領域情報と第１領域の画像とが出力されるたびに、蓄積部１１６には、その第１領域情報と第１領域の画像とが格納される。この蓄積部１１６に格納されている第１領域情報によって示される第１領域は、過去領域として扱われ、蓄積部１１６に格納されている第１領域の画像は、過去画像として扱われる。また、蓄積部１１６に格納されている第１領域情報は、第１閾値以上の信頼度の第１領域を示すため、高信頼度領域情報と称される。

走行情報取得部１１８は、車両１０の走行状態を示す車両走行情報を取得して、その車両走行情報を検証用領域推定部１１７に出力する。車両走行情報は、具体的には、車両１０の車速および舵角などを示す。なお、車両走行情報は、これらに限定されることなく、加速度などを示していてもよい。

検証用領域推定部１１７は、信号機が映し出されている領域を推定する推定部である。具体的には、検証用領域推定部１１７は、車両１０に搭載されたカメラ２１０による撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部１１６に格納されている情報によって示される過去領域と、車両走行情報によって示される車両１０の走行状態とに基づいて推定する。このように検証用領域推定部１１７によって推定される領域を、以下、第２領域という。つまり、本実施の形態では、検証用領域推定部１１７は、現在の撮影画像において信号機が映し出されている領域を、第２領域として推定する第２推定部である。また、上述の過去領域は、蓄積部１１６に格納されている高信頼度領域情報によって示される第１領域である。

言い換えれば、検証用領域推定部１１７は、蓄積部１１６から取得した、過去の高信頼度の領域を示す情報と、走行情報取得部１１８から取得した、車速または舵角などを示す車両走行情報とに基づいて、信号機領域推定部１１１によって推定された第１領域を評価または検証するための第２領域を推定する。

そして、検証用領域推定部１１７は、その第２領域を示す第２領域情報を画像抽出部１１２に出力する。例えば、第１領域情報と同様に、第２領域が長方形である場合、第２領域情報は、長方形の４つの頂点のうちのいずれか１つの頂点の座標と、その長方形の幅および高さを示す。

信頼度回復処理部１１５は、蓄積部１１６に格納されている高信頼度領域情報を削除して、過去領域の代わりに検証用領域推定部１１７に用いられる新たな領域を示す情報を、蓄積部１１６に格納する信頼度回復処理を実行する。

なお、カメラ情報保持部２２０、蓄積部１１６および地図情報格納部２４０などの記録媒体は、ハードディスクまたはメモリなどから構成されていてもよい。なお、メモリは、不揮発性であってもよく、揮発性であってもよい。また、メモリは、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）であってもよい。

図２は、信号機領域推定部１１１の処理動作を説明するための図である。具体的には、図２の（ａ）は、透視投影の処理を示し、図２の（ｂ）は、車両１０の位置を原点とするローカル座標系を示す。

上述のように、信号機領域推定部１１１は、撮影画像において信号機が映し出されている領域を第１領域として幾何学的に推定するときには、透視投影の処理を用いてもよい。

例えば、図２の（ｂ）に示すように、信号機領域推定部１１１は、車両１０の位置を原点とする３次元座標系（すなわちローカル座標系）を設定する。この３次元座標系では、車両１０の正面方向に沿ってＸ軸が配置され、水平面においてそのＸ軸と垂直な方向に沿ってＹ軸が配置され、ＸＹ平面において垂直な方向に沿ってＺ軸が配置される。

信号機領域推定部１１１は、地図情報によって示される複数の信号機の位置のうち、位置検出部２３０によって検出された車両１０の位置から、カメラ情報によって示される撮影方向に存在する信号機の位置を特定する。そして、信号機領域推定部１１１は、地図情報によって示される、その特定された信号機の位置、すなわちグローバル座標系において示される信号機の位置を、上述のように設定された３次元座標系の位置、すなわちローカル座標系の位置に変換する。例えば、信号機の位置は、図２の（ａ）に示すように、３次元座標系の位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）として示される。

次に、信号機領域推定部１１１は、その３次元座標系の位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）を撮影画像のスクリーンに投影することによって、その位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）を２次元座標系の位置ｐ１（ｘ１，ｙ１）に変換する。なお、２次元座標系はｘ軸およびｙ軸からなる座標系であって、ｘ軸は、３次元座標系のＺ軸に対応し、ｙ軸は、３次元座標系のＹ軸に対応する。ここで、カメラ２１０の焦点距離、すなわち、自車両の３次元的座標を原点とし、３次元マップ上の信号機座標P1(x,y,z)、撮影画像上の信号機座標P2(X,Y)、投影されるスクリーンの車両１０からの距離をｆとする場合、信号機領域推定部１１１は、例えば、ｘ１＝（ｆ／Ｘ１）×Ｚ１およびｙ１＝（ｆ／Ｘ１）×Ｙ１などによって、位置Ｐ１（Ｘ１，Ｙ１，Ｚ１）を２次元座標系の位置ｐ１（ｘ１，ｙ１）に変換する。

また、信号機領域推定部１１１は、地図情報に示されるその信号機の大きさ（例えば、幅および高さ）についても、上述と同様に２次元座標系に投影する。これにより、地図情報に示される信号機（具体的には信号機の灯箱）の領域が、撮影画像における２次元座標系の領域に投影される。信号機領域推定部１１１は、その投影によって、現在の撮影画像において信号機が映し出されている領域を、第１領域として推定する。

図３は、撮影画像、信号機画像および領域を説明するための図である。

信号機領域推定部１１１において推定された第１領域は、図３に示すように、撮影画像における少なくとも一部の領域である。例えば、信号機領域推定部１１１によって正しく推定された場合には、図３に示すように、第１領域には、信号機が映し出されている。このように、第１領域に信号機が映し出されている可能性が高い場合には、信頼度算出部１１３は、その第１領域に対して高い信頼度を算出する。高信頼度の第１領域の画像は、信号機推定装置２０から信号機画像として出力される。また、高信頼度の第１領域を示す第１領域情報（すなわち高信頼度領域情報）と、その第１領域の画像とは、信頼度判定部１１４によって蓄積部１１６に格納される。第１領域情報は、第１領域として、例えば、その第１領域の左上端の座標（ｘ１，ｙ１）と、その第１領域の幅および高さ（ｗ，ｈ）とを示す。蓄積部１１６に格納されている第１領域情報の第１領域と、その第１領域の画像とは、過去領域および過去画像としてそれぞれ扱われる。

図４Ａおよび図４Ｂは、第１領域と第２領域との関係を示す図である。

図４Ａに示すように、信号機領域推定部１１１によって推定される第１領域の画像と、検証用領域推定部１１７によって推定される第２領域の画像との差分が小さい場合、信頼度算出部１１３は、その第１領域に対して高い信頼度を算出する。その信頼度は、第１領域に信号機が映し出されている可能性である。つまり、高い信頼度の第１領域には信号機が映し出されている可能性が高い。

一方、図４Ｂに示すように、信号機領域推定部１１１によって推定される第１領域の画像と、検証用領域推定部１１７によって推定される第２領域の画像との差分が大きい場合、信頼度算出部１１３は、その第１領域に対して低い信頼度を算出する。つまり、低い信頼度の第１領域には信号機が映し出されている可能性が低い。

図５は、過去領域から第２領域が推定される状況を説明するための図である。

検証用領域推定部１１７は、蓄積部１１６から、過去の高信頼度と判定された領域を取得し、走行情報取得部１１８からの車両走行情報を用いて、現時点での信号機の映り方を推定する。つまり、検証用領域推定部１１７は、上述のように、車両１０に搭載されたカメラ２１０による撮影によって得られた過去の撮影画像において、信号機が映し出されている領域として推定された過去領域と、車両走行情報によって示される車両１０の走行状態とに基づいて、現在の撮影画像において信号機が映し出されている領域を第２領域として推定する。過去領域は、例えば、蓄積部１１６に格納されている最新の第１領域情報によって示される領域である。

例えば図５に示すように、車両１０が信号機に近づきながら道路上を走行している。このとき、カメラ２１０による一定のフレームレートの撮影によって順次得らえる撮影画像では、信号機が映し出されている領域の大きさおよび位置は変化する。例えば、その車両１０の車速は、時速４０ｋｍ／ｈであって、車両１０の進行方向は、右斜め前方向に傾いている。つまり舵角が傾いている。このような場合、走行情報取得部１１８は、その車速および舵角を示す車両走行情報を取得する。そして、検証用領域推定部１１７は、蓄積部１１６に格納されている過去領域を、その車両走行情報に基づいて左方向に移動させて大きくすることによって、第２領域を推定する。つまり、１フレーム前の撮影画像において信号機が映し出されていた領域は、現在の撮影画像では左方向に移動して大きくなると推定される。

図６は、検証用領域推定部１１７が保持している変換テーブルの一例を示す図である。

検証用領域推定部１１７は、図６に示す変換テーブルを保持し、その変換テーブルにしたがって過去領域を第２領域に変換する。これにより、第２領域が推定される。

変換テーブルは、複数の列からなり、それぞれの列は入力と出力とを示す。入力は、舵角Δθおよび車速ｖからなる車両走行情報と、信号機の位置（Ｘ，Ｙ，Ｚ）と、時間差Δｔとからなる。

舵角Δθは、時計回りの向きを正とした場合における現在の車両１０の舵角である。車速ｖは、現在の車両１０の車速である。信号機の位置（Ｘ，Ｙ，Ｚ）は、過去の高信頼度時点での車両１０の位置を原点とした場合の信号機の相対的な３次元座標系における位置である。時間差Δｔは、上述過去の高信頼度時点と現在の時点との差である。なお、過去の高信頼度時点は、高い信頼度（すなわち第１閾値以上の信頼度）の第１領域が推定された時点である。

出力は、領域の位置の変化量（Δｘ，Δｙ）と、領域の幅と高さの変化率（Δｗ，Δｈ）とからなる。

図５に示す場合では、舵角が右に傾いているため、信号機が映し出されている領域は左方向へずれる。また、車両１０は前進しているため、その領域が上方向へずれると同時に、その領域の幅Δｗと高さΔｈは大きくなる。変換テーブルの１列目の入力と出力は、このような車両１０の走行状態と、その走行状態に応じた領域の変化とを対応付けて示す。

具体的には、変換テーブルの１列目の入力は、現在の舵角Δθが右（すなわち時計回りの向き）に３度であって、現在の車速が４０ｋｍ／ｈであって、過去の高信頼度時点での信号機の位置が、車両１０から正面方向に沿って１００ｍ先の５ｍ上空に存在することを示す。また、１列目の入力は、時間差Δｔ＝１を示す。つまり、その入力は、現在の時点が、その過去の高信頼度時点から１フレーム周期後であることを示す。

変換テーブルの１列目の上記入力に対応する出力は、領域の位置の変化量（Δｘ，Δｙ）＝（−２，−２０）と、領域の幅および高さの変化率（Δｗ，Δｈ）＝（×１．１， ×１．１）とを示す。つまり、その出力は、領域が、撮影画像内において少し上方に移動し、かつ左側に移動することを示し、領域の幅と高さが少し大きくなることを示す。

一方、図５に示す例とは逆に、舵角が左に傾いている場合には、信号機が映し出されている領域は右方向へずれる。また、車速が速く、舵角が大きい場合には、信号機が映し出されている領域の位置、幅および高さは、それぞれ大きく変化する。変換テーブルの２列目の入力と出力は、このような車両１０の走行状態と、その走行状態に応じた領域の変化とを対応付けて示す。

具体的には、変換テーブルの２列目の入力は、現在の舵角Δθが左（すなわち反時計回りの向き）に６度であって、現在の車速が６０ｋｍ／ｈであって、過去の高信頼度時点での信号機の位置が、車両１０から正面方向に沿って４０ｍ先の５ｍ上空に存在することを示す。つまり、２列目の入力では、１列目の入力と比較して、車速ｖが速く、舵角Δθが大きい。また、２列目の入力は、１列目と同様、時間差Δｔ＝１を示す。

変換テーブルの２列目の上記入力に対応する出力は、領域の位置の変化量（Δｘ，Δｙ）＝（−３，５０）と、領域の幅および高さの変化率（Δｗ，Δｈ）＝（×１．２， ×１．２）とを示す。つまり、その出力は、１列目の出力と比較して、領域が、撮影画像内においてより上方に移動し、かつ右側に移動することを示し、領域の幅と高さがより大きくなることを示す。

また、車両１０の正面方向に信号機が存在せず、その正面方向の左側に信号機がある場合には、舵角が０であっても、信号機が映し出されている領域は、左方向に移動する。変換テーブルの３列目の入力と出力は、このような車両１０の走行状態と、その走行状態に応じた領域の変化とを対応付けて示す。

具体的には、変換テーブルの３列目の入力は、現在の舵角Δθが０であって、車速が４０ｋｍ／ｈであって、過去の高信頼度時点での信号機の位置が、車両１０の正面方向に沿って１００ｍ先の地点から３ｍ左側でかつ５ｍ上空に存在することを示す。また、３列目の入力も、１列目および２列目と同様、時間差Δｔ＝１を示す。

変換テーブルの３列目の上記入力に対応する出力は、領域の位置の変化量（Δｘ，Δｙ）＝（−２，−２０）と、領域の幅および高さの変化率（Δｗ，Δｈ）＝（×１．１， ×１．１）とを示す。つまり、舵角は０度だが、信号機が車両１０の正面方向に存在しないため、３列目の出力は、車両１０が走行するほど信号機が左側にずれることを示す。つまり、ΔｘだけでなくΔｙも負の値となる。また、３列目の車速ｖは、１列目の車速ｖと同じであるため、３列目の出力は、１列目と同じΔｗおよびΔｈを示す。

また、車両１０の正面方向に信号機が存在しなくても、その信号機に向かうように舵角が設定される場合には、信号機が映し出される領域は、左右方向に移動しない可能性がある。変換テーブルの４列目の入力と出力は、このような車両１０の走行状態と、その走行状態に応じた領域の変化とを対応付けて示す。

具体的には、変換テーブルの４列目の入力は、現在の舵角Δθが右に３度であって、車速が４０ｋｍ／ｈであって、過去の高信頼度時点での信号機の位置が、車両１０の正面方向に沿って１００ｍ先の地点から３ｍ右側でかつ５ｍ上空に存在することを示す。また、４列目の入力も、１〜３列目と同様、時間差Δｔ＝１を示す。

変換テーブルの４列目の上記入力に対応する出力は、領域の位置の変化量（Δｘ，Δｙ）＝（−２，０）と、領域の幅および高さの変化率（Δｗ，Δｈ）＝（×１．１， ×１．１）とを示す。

１列目に示すように、車両１０の正面方向に信号機が存在し、舵角Δθが右に傾いている場合には、信号機が映し出されている領域は左側にずれる。また、３列目に示す例とは逆に、車両１０の正面方向の右側に信号機が存在し、舵角Δθが０である場合には、信号機が映し出されている領域は右側にずれる。これらから、４列目の入力の場合には、現在の時点における信号機の位置は変わらないことが予測される。よって、４列目の出力におけるΔｙは０を示す。

検証用領域推定部１１７は、このような図６に示す変換テーブルの出力にしたがって過去領域を変化させることによって、第２領域を推定する。このとき、検証用領域推定部１１７は、変換テーブルに示される複数列の入力の中から１つの入力を選択する。つまり、検証用領域推定部１１７は、車両走行情報によって示される現在の舵角Δθおよび車速ｖと、時間差Δｔだけ過去に特定された信号機の位置（Ｘ，Ｙ，Ｚ）とに最も近い、舵角Δθ、車速ｖおよび信号機の位置（Ｘ、Ｙ，Ｚ）を示す入力を選択する。また、この入力の選択では、検証用領域推定部１１７は、時間差Δｔが小さい入力を優先的に選択してもよい。そして、検証用領域推定部１１７は、選択された入力に対応付けられている出力、すなわち、その入力と同じ列に含まれている出力にしたがって、過去領域を変化させる。

なお、検証用領域推定部１１７は、変換テーブルの代わりに、数式を用いて過去領域を変化させることによって、第２領域を推定してもよい。数式は、例えば、透視投影に代表される幾何学的変換アルゴリズムによって表現されたものである。以上により、車両１０の移動によって変化する信号機の映り方を考慮した信号機推定の検証用画像（すなわち第２領域の画像）を推定することができる。

図７は、本実施の形態における信号機推定装置２０の全体的な処理動作を示す図である。

まず、信号機領域推定部１１１は、振動検知部２５０からの振動情報を取得して、その振動情報によって示される振動が大きいか否かを判定する（ステップＳ１１０）。具体的には、信号機領域推定部１１１は、予め定められた許容範囲よりもその振動が大きいか否かを判定する。ここで、その振動が大きくないと判定されると（ステップＳ１１０のＮｏ）、信号機領域推定部１１１および画像抽出部１１２は、第１領域の画像を抽出する画像抽出処理を行う（ステップＳ１２０）。その後、画像抽出部１１２、検証用領域推定部１１７および信頼度算出部１１３は、第１領域の信頼度を算出する信頼度算出処理を行う（ステップＳ１３０）。

次に、信頼度判定部１１４は、信頼度算出処理によって算出された信頼度が第１閾値以上であるか否かを判定する（ステップＳ１４１）。第１閾値以上であると判定されると、すなわちステップＳ１２０の画像抽出処理に用いられた第１領域の信頼度が高いと判定されると（ステップＳ１４１のＹｅｓ）、信頼度判定部１１４は、その高信頼度の第１領域を過去領域として蓄積部１１６に格納する（ステップＳ１４２）。つまり、信頼度判定部１１４は、高信頼度の第１領域を示す第１領域情報（すなわち高信頼度領域情報）を蓄積部１１６に格納する。このとき、さらに、信頼度判定部１１４は、現在の撮影画像におけるその第１領域の画像を過去画像として蓄積部１１６に格納する。そして、信頼度判定部１１４は、その第１領域の画像を信号機画像として灯火色判定部２６０に出力する（ステップＳ１４３）。このとき、信頼度判定部１１４は、最近のステップＳ１４１の処理によって第１閾値以上と判定された信頼度も、その信号機画像と共に灯火色判定部２６０に出力する。

一方、ステップＳ１４１において信頼度が第１閾値未満と判定されると、（ステップＳ１４１のＮｏ）、信頼度判定部１１４は、その低信頼度の判定がｎ回（ｎは２以上の整数）以上連続したか否かを判定する（ステップＳ１４６）。つまり、信頼度判定部１１４は、画像抽出処理に用いられた第１領域の信頼度が低いとステップＳ１４１で判定された回数が、ｎ回以上連続したか否かを判定する。ここで、ｎ回以上連続していないと判定すると、信頼度判定部１１４は、現在の撮影画像から過去領域の画像を抽出する第１代替処理を画像抽出部１１２に実行させる（ステップＳ１５０）。この第１代替処理が実行された後、ステップＳ１４３では、信頼度判定部１１４は、その抽出された過去領域の画像を信号機画像として灯火色判定部２６０に出力する。このとき、信頼度判定部１１４は、最近のステップＳ１４１の処理によって第１閾値未満と判定された信頼度も、その信号機画像と共に灯火色判定部２６０に出力する。一方、ステップＳ１４６において、低信頼度の判定がｎ回以上連続したと判定されると、信頼度判定部１１４は、蓄積部１１６に蓄積されている情報を初期化する信頼度回復処理を、信頼度回復処理部１１５に対して実行させる（ステップＳ１７０）。その後、信号機推定装置２０は、ステップＳ１１０からの処理を繰り返し実行する。

また、ステップＳ１１０において振動が大きいと判定されると（ステップＳ１１０のＹｅｓ）、信号機領域推定部１１１は、その大きな振動が所定期間以上継続したか否かを判定する（ステップＳ１４５）。ここで、大きな振動が継続していないと判定されると（ステップＳ１４５のＮｏ）、信号機領域推定部１１１は、蓄積部１１６に格納されている最近の過去画像を取得する第２代替処理を信頼度判定部１１４に実行させる（ステップＳ１６０）。この第２代替処理が実行された後、ステップＳ１４３では、信頼度判定部１１４は、その取得された過去画像を信号機画像として灯火色判定部２６０に出力する。一方、ステップＳ１４５において、大きな振動が継続したと判定されると（ステップＳ１４５のＹｅｓ）、信頼度判定部１１４は、蓄積部１１６に蓄積されている情報を初期化する信頼度回復処理を、信頼度回復処理部１１５に対して実行させる（ステップＳ１７０）。その後、信号機推定装置２０は、ステップＳ１１０からの処理を繰り返し実行する。

図８は、図７のステップＳ１２０における画像抽出処理の詳細を示すフローチャートである。

画像抽出処理では、まず、信号機領域推定部１１１は、地図情報格納部２４０に格納されている地図情報と、位置検出部２３０によって検出された車両１０の位置を示す車両位置情報とを取得する。さらに、信号機領域推定部１１１は、カメラ情報保持部２２０からカメラ情報を取得する（ステップＳ１２１）。なお、カメラ情報が固定されてあって、信号機領域推定部１１１が既にそのカメラ情報を取得している場合には、信号機領域推定部１１１は、そのカメラ情報を改めて取得する必要はない。

次に、信号機領域推定部１１１は、地図情報によって示される地図における信号機の位置と、車両位置情報によって示される車両１０の位置と、カメラ情報とに基づいて第１領域を推定する（ステップＳ１２２）。第１領域は、カメラ２１０によって得られる撮影画像において信号機が映し出されている領域である。

次に、画像抽出部１１２は、上述の第１領域の推定が行われたときに撮影された撮影画像、すなわち現在の撮影画像を、カメラ２１０から取得する（ステップＳ１２３）。

そして、画像抽出部１１２は、その取得された撮影画像から、ステップＳ１２２で推定された第１領域の画像を抽出する（ステップＳ１２４）。

図９は、図７のステップＳ１３０における信頼度算出処理の詳細を示すフローチャートである。

信頼度算出処理では、まず、検証用領域推定部１１７は、信号機領域推定部１１１によって高信頼度の第１領域として過去に推定された過去領域と、走行情報取得部１１８によって取得された車両走行情報とに基づいて、信号機が映し出されている現在の領域を第２領域として推定する（ステップＳ１３１）。なお、このときには、検証用領域推定部１１７は、蓄積部１１６に格納されている最近の高信頼度領域情報を取得し、その高信頼度領域情報によって示される第１領域を上述の過去領域として用いる。

次に、画像抽出部１１２は、カメラ２１０から取得された現在の撮影画像から、その第２領域の画像を抽出する（ステップＳ１３２）。なお、このときには、画像抽出部１１２は、検証用領域推定部１１７によって推定された第２領域を示す第２領域情報を、その検証用領域推定部１１７から取得することによって、その第２領域を特定する。

そして、信頼度算出部１１３は、第１領域情報および第１領域の画像と、第２領域の画像とを画像抽出部１１２から取得する。そして、信頼度算出部１１３は、その第１領域情報によって示される第１領域の信頼度を、その第１領域の画像と第２領域の画像とに基づいて算出する。つまり、信頼度算出部１１３は、第１領域の画像と第２領域の画像との類似度を信頼度として算出する（ステップＳ１３３）。

このように、本実施の形態では、走行情報取得部１１８は、車両１０の走行状態を示す車両走行情報を取得する。そして、検証用領域推定部１１７は、図９のステップＳ１３１のように、車両１０に搭載されたカメラ２１０による撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部１１６に格納されている情報によって示される過去領域と、車両走行情報によって示される車両１０の走行状態とに基づいて推定する。

これにより、現在の撮影画像において信号機が映し出されている領域を、現在の車両１０の位置を検出することなく推定することができる。例えば、現在の車両１０の位置を検出し、現在の撮影画像において信号機が映し出されている領域を、その車両１０の位置に基づいて推定する処理が行われる場合では、現在の車両１０の位置の検出に誤差があれば、その領域には、信号機が映し出されていない可能性がある。しかし、本実施の形態における信号機推定装置２０では、現在の車両１０の位置を検出することなく、その領域が推定されるため、信号機が映し出されている領域を適切に推定することができる。つまり、検出される現在の車両１０の位置において前後方向の誤差だけでなく、左右方向の誤差がある場合でも、信号機が映し出されている領域を適切に推定することができる。

また、信号機領域推定部１１１は、図８のステップＳ１２２のように、少なくともカメラ２１０の撮影方向および画角を示すカメラ情報と、車両１０の位置と、信号機の位置とに基づいて、現在の撮影画像においてその信号機が映し出されている領域を第１領域として推定する。上述の信頼度評価部は、信号機領域推定部１１１によって推定された第１領域の信頼度を、第２領域を用いて評価する。

これにより、現在の車両の位置の検出結果に基づいて第１領域が推定されても、第２領域によってその第１領域の信頼度を適切に評価することができる。

また、信頼度算出部１１３は、図９のステップＳ１３３のように、現在の撮影画像における第１領域の画像と第２領域の画像との差分が大きいほど、第１領域に対して低い信頼度を算出し、その差分が小さいほど、第１領域に対して高い信頼度を算出する。信頼度判定部１１４は、図７のステップＳ１４１のように、その信頼度算出部１１３によって算出される第１領域の信頼度が第１閾値以上であるか否かを判定することによって、第１領域の信頼度を評価する。そして、信頼度判定部１１４は、第１領域の信頼度が第１閾値以上の場合に、図７のステップＳ１４３のように、現在の信号機が映し出されている信号機画像として、その第１領域の画像を出力する。

これにより、現在の車両１０の位置の検出結果に基づいて第１領域が推定されても、第２領域によって高信頼度と評価された第１領域の画像だけを、信号機画像として出力させることができる。つまり、現在の車両の位置の検出に誤差が含まれ、第１領域の画像に信号機が映し出されていない可能性がある低信頼度の第１領域の画像が、信号機画像として出力されてしまうことを抑えることができる。

また、信頼度判定部１１４は、第１領域の信頼度が第１閾値以上の場合には、図７のステップＳ１４２のように、第１領域を示す高信頼度領域情報を蓄積部１１６に格納する。このような高信頼度領域情報によって示される第１領域は、現在の撮影画像の次の撮影画像に対する検証用領域推定部１１７による推定に、過去領域として用いられる。

これにより、高信頼度と判定された第１領域を示す情報が、高信頼度領域情報として蓄積部１１６に格納され、その高信頼度領域情報によって示される第１領域が、検証用領域推定部１１７によって過去領域として用いられる。したがって、検証用領域推定部１１７による第２領域の推定に、信頼度の低い過去領域が用いられてしまうことを抑え、第２領域の推定精度を高めることができる。

図１０は、図７のステップＳ１５０における第１代替処理の詳細を示すフローチャートである。

第１代替処理では、まず、画像抽出部１１２は、蓄積部１１６に格納されている高信頼度領域情報によって示される第１領域、すなわち過去領域を参照する（ステップＳ１５１）。つまり、画像抽出部１１２は、最近に実行されたステップＳ１３０における信頼度算出処理で第２領域を推定するために用いられた過去領域を参照する。

そして、画像抽出部１１２は、現在の撮影画像から、その過去領域の画像を抽出する（ステップＳ１５２）。

このように抽出された過去領域の画像は、信頼度判定部１１４から灯火色判定部２６０に、信号機画像として出力される。つまり、現在の撮影画像における一部の領域の画像であって、高信頼度と判定された過去の第１領域の画像が、信号機画像として出力される。

このように、本実施の形態では、信頼度判定部１１４は、第１領域の信頼度が第１閾値未満の場合には、現在の撮影画像における過去領域の画像を、信号機画像として出力する。

これにより、低信頼度の第１領域の画像が信号機画像として出力される代わりに、現在の撮影画像における過去領域の画像が信号機画像として出力される。したがって、例えば車両が走行ゆっくり走行している場合には、その過去領域の画像には、信号機が映し出されている可能性が高いため、適切な信号機画像を出力することができる。

図１１は、図７のステップＳ１６０における第２代替処理の詳細を示すフローチャートである。

第２代替処理では、信頼度判定部１１４は、蓄積部１１６に格納されている最新の過去画像、すなわち高信頼度と判定された過去の第１領域の画像を、その蓄積部１１６から取得する（ステップＳ１６１）。取得された過去画像は、信頼度判定部１１４から灯火色判定部２６０に、信号機画像として出力される。つまり、過去の撮影画像における一部の領域の画像であって、高信頼度と判定された過去の第１領域の画像が、信号機画像として出力される。

このように、本実施の形態では、信頼度判定部１１４は、車両１０において許容範囲を超える大きさの振動が検知された場合には、過去の撮影画像における過去領域の画像を、信号機画像として出力する。

例えば、走行中の車両１０に大きな揺れが生じた場合には、カメラの撮影範囲が過去とは全く異なったものとなる。つまり、現在の撮影画像における第１領域の画像も過去情報を併用する第２領域の画像も正しいという保証はない。そこで、本実施の形態における信号機推定装置２０では、そのような大きな揺れが生じた場合には、現在の撮影画像ではなく、その揺れが生じる前の過去の撮影画像における過去領域の画像が、信号機画像として出力される。その過去領域の画像は、大きな揺れが生じる前の過去の撮影画像に対して信号機領域推定部１１１によって推定された高信頼度の第１領域の画像である。したがって、過去の撮影画像が得られてから現在の撮影画像が得られるまでの期間が短ければ、その過去領域の灯火色は、現在の信号機と同じ灯火色である可能性が高い。したがって、適切な信号機画像を出力することができる。

図１２は、本実施の形態における第１代替処理および第２代替処理において出力される信号機画像を説明するための図である。

カメラ２１０は、予め定められたフレームレートにしたがった撮影によって撮影画像を順に出力する。これにより、信号機推定装置２０は、図１２に示すように、時刻ｔ０に撮影画像を取得し、時刻ｔ１に次の撮影画像を取得する。現在が時刻ｔ１の場合、時刻ｔ０は過去である。

時刻ｔ１の現在では、時刻ｔ０の過去の撮影画像に対して、既に第１領域が推定されている。この既に推定された第１領域の信頼度が第１閾値以上であれば、その第１領域を示す第１領域情報は、時刻ｔ１の現在では、蓄積部１１６に高信頼度領域情報として格納されている。つまり、時刻ｔ１の現在では、時刻ｔ０に推定された第１領域は、過去の第１領域であって、過去領域として扱われる。また、時刻ｔ１の現在で行われる上述の第２代替処理では、その過去の撮影画像における過去領域の画像、すなわち過去画像が、信号機画像として信号機推定装置２０から出力される。

また、時刻ｔ１の現在では、現在の撮影画像に対して第１領域および第２領域が推定される。この第２領域は、時刻ｔ０の過去に推定された過去領域から推定される。また、時刻ｔ１の現在で行われる上述の第１代替処理では、現在の撮影画像における一部の領域の画像であって、過去に推定された過去領域の画像が、信号機画像として信号機推定装置２０から出力される。

図１３は、図７のステップＳ１７０における信頼度回復処理の詳細を示すフローチャートである。

信頼度回復処理では、信頼度回復処理部１１５は、蓄積部１１６の初期化に伴う注意をドライバーに促して、その初期化を行う（ステップＳ１７１）。例えば、信頼度回復処理部１１５は、車両制御部２７０に対してその注意喚起を実行させる。具体的には、信頼度回復処理部１１５は、信号機推定装置２０による信号機画像の出力が中断され、その結果、信号機の灯火色の判定も中断されることを、ドライバーに通知する。あるいは、信頼度回復処理部１１５は、車両１０による信号機の灯火色の判定ができないため、車両１０の自動運転を手動運転に切り替えることを通知するメッセージを、上述の注意喚起としてドライバーに通知してもよい。

また、蓄積部１１６の初期化では、信頼度回復処理部１１５は、蓄積部１１６に格納されている例えば全ての情報を削除する。すなわち、蓄積部１１６に格納されている情報がリセットされる。この初期化では、信頼度回復処理部１１５は、そのリセットが行われた後に、新たに初期画像を蓄積部１１６に格納してもよい。初期画像は、信号機が映し出されている画像である。

次に、信頼度回復処理部１１５は、カウント変数ｍを０に初期化し（ステップＳ１７２）、画像抽出部１１２にカメラ２１０からの撮影画像を取得させる（ステップＳ１７３）。なお、ステップＳ１７３では１フレームの撮影画像が取得されるが、ステップＳ１７３の処理が繰り返されることによって、カメラ２１０のフレームレートにしたがって、最新の撮影画像がそのカメラ２１０から順に取得される。

次に、信頼度回復処理部１１５は、信号機領域推定部１１１に対して図８のステップＳ１２２と同様の処理を実行させる。つまり、信号機領域推定部１１１は、地図情報によって示される地図における信号機の位置と、車両位置情報によって示される車両１０の位置と、カメラ情報とに基づいて第１領域を推定する（ステップＳ１７４）。

次に、信頼度回復処理部１１５は、ステップＳ１７３で取得された撮影画像から、ステップＳ１７４で推定された第１領域の画像を抽出する（ステップＳ１７４）。そして、信頼度回復処理部１１５は、蓄積部１１６の最新の過去画像と、第１領域の画像との差異が、予め定められた第２閾値以上であるか否かを判定する（ステップＳ１７６）。なお、差異は、例えばパターンマッチングなどのベクトル間距離算出アルゴリズムを用いて、数値として算出される。

ステップＳ１７１において蓄積部１１６の全ての情報が削除された後に、初めてステップＳ１７６の処理が行われるときには、蓄積部１１６における上述の最新の過去画像は、第１領域の画像そのものであってもよい。この場合には、ステップＳ１７６において、差異はなく、その差異は第２閾値以上でないと判定される。また、ステップＳ１７１において蓄積部１１６に初期画像が格納されている場合に、初めてステップＳ１７６の処理が行われるときには、その蓄積部１１６における上述の最新の過去画像は、その初期画像である。

ここで、第２閾値以上であると判定すると（ステップＳ１７６のＹｅｓ）、信頼度回復処理部１１５は、ステップＳ１７２からの処理を繰り返し実行する。これにより、カウント変数ｍが再び０に初期化され、ステップＳ１７３以降の処理が改めて実行される。

一方、第２閾値未満であると判定すると（ステップＳ１７６のＮｏ）、信頼度回復処理部１１５は、カウント変数ｍをインクリメントする（ステップＳ１７７）。このとき、信頼度回復処理部１１５は、ステップＳ１７４で推定された第１領域を示す第１領域情報と、ステップＳ１７５で抽出された第１領域の画像とを、蓄積部１１６に格納する。この第１領域の画像は、次のステップＳ１７６において最新の過去画像として扱われる。

次に、信頼度回復処理部１１５は、カウント変数ｍがｋ（ｋは２以上の整数）以下であるか否かを判定する（ステップＳ１７８）。ｋ以下であると判定されると（ステップＳ１７８のＹｅｓ）、信頼度回復処理部１１５は、ステップＳ１７３からの処理を繰り返し実行する。一方、カウント変数ｍがｋよりも大きいと判定されると（ステップＳ１７８のＮｏ）、信頼度回復処理部１１５は、信頼度回復処理を終了する。つまり、このときには、フレームレートにしたがって順に得られる（ｋ＋１）フレームの撮影画像のそれぞれにおいて推定される第１領域の画像が安定している。したがって、このとき蓄積部１１６に格納されている第１領域情報によって示される第１領域の信頼度は十分に高いと見なすことができる。これにより、信頼度を回復することができる。

このように、本実施の形態では、信頼度回復処理部１１５は、図７のステップＳ１４６のように、第１条件が満たされたときに、信頼度回復処理を実行する。つまり、信頼度回復処理部１１５は、蓄積部１１６に格納されている高信頼度領域情報を削除して、過去領域の代わりに検証用領域推定部１１７に用いられる新たな領域を示す情報を、蓄積部１１６に格納する回復処理を実行する。新たな領域を示す情報は、図１３のステップＳ１７７が行われるときに蓄積部１１６に格納される第１領域情報である。

例えば、蓄積部１１６に蓄積されている高信頼度領域情報を用いて第２領域を推定しても、その第２領域が不適切な場合がある。このような場合に、上述のように、その高信頼度領域情報が削除されて、新たな領域を示す情報が格納されることによって、第２領域の推定精度を向上させることができる。

また、本実施の形態では、カメラ２１０から新たな撮影画像が得られるたびに、新たな撮影画像が現在の撮影画像として扱われ、その現在の撮影画像における第１領域の信頼度に対する判定が信頼度判定部１１４によって行われる。この場合、上述の第１条件は、図７のステップＳ１４６のように、信頼度判定部１１４によって第１領域の信頼度が第１閾値未満と判定される回数が、ｎ回（ｎは２以上の整数）以上になる条件である。

これにより、カメラ２１０のフレームレートにしたがって撮影画像が得られるたびに、その撮影画像における第１領域に対して信頼度が低いと判定されることが繰り返される場合に、信頼度回復処理が実行される。したがって、このような低信頼度の判定の繰り返しを回避することができる。

また、本実施の形態では、信頼度回復処理部１１５は、図７のステップＳ１４５のように、許容範囲を超える大きさの振動が予め定められた期間以上継続するときに、信頼度回復処理を実行する。

例えば、大きな揺れが継続する場合には、その揺れが収まっても、蓄積部１１６に格納されている高信頼度領域情報を第２領域の推定に用いることができない可能性が高い。つまり、その高信頼度領域情報によって示される過去領域を用いても、適切な信号機画像を出力することができない可能性が高い。そこで、本実施の形態における信号機推定装置２０では、そのような大きな揺れが継続する場合には、信頼度回復処理が実行される。これにより、大きな揺れが収まったときには、その蓄積部１１６に蓄積されている新たな領域を示す情報を用いて、適切な信号機画像を出力することができる。

また、本実施の形態では、信頼度回復処理部１１５は、信頼度回復処理では、カメラ２１０から新たな撮影画像が得られるたびに、新たな撮影画像において信号機が映し出されている領域を信号機領域推定部１１１に推定させる。例えば、図１３のステップＳ１７４のように第１領域が推定される。次に、信頼度回復処理部１１５は、その新たな撮影画像において信号機領域推定部１１１によって推定された領域の画像である第１画像と、その新たな撮影画像の直前の撮影画像において信号機領域推定部１１１によって推定された領域の画像である第２画像との差異を算出する。なお、第１画像は、第１領域の画像であり、第２画像は、過去画像である。そして、信頼度回復処理部１１５は、算出された差異が第２閾値未満となることが、予め定められた回数だけ連続して繰り返される場合に、少なくとも、信号機領域推定部１１１によって最後に推定された領域を示す情報を、上述の新たな領域を示す情報として、蓄積部１１６に格納する。つまり、信頼度回復処理部１１５は、ステップＳ１７３〜Ｓ１７８の処理を繰り返し実行することによって、少なくとも最後に推定された第１領域を示す情報を蓄積部１１６に格納する。

これにより、信号機領域推定部１１１による領域の推定が安定したとき、つまり、検出される車両１０の位置の誤差が収束したときに、その信号機領域推定部１１１によって最後に推定された領域を示す情報が蓄積部１１６に格納される。したがって、信号機が映し出されている可能性が高い領域、言い換えれば信頼度の高い領域を示す情報を、蓄積部１１６に格納することができる。その結果、その後に推定される第２領域の推定精度を高めることができる。

なお、上述の信頼度回復処理では、第２領域の推定は行われず、第１領域の画像のみを用いて、蓄積部１１６に格納すべき情報を生成する。また、本実施の形態では、図７のステップＳ１４５またはＳ１４６の判定結果に応じて、信頼度回復処理が実行されるが、信頼度回復処理部１１５は、信号機推定装置２０が初期状態にあるときに、すなわち蓄積部１１６に情報が格納されていないときに、信頼度回復処理を実行してもよい。

また、本実施の形態では、信頼度回復処理部１１５は、ステップＳ１７６において、過去画像（すなわち第２画像）が存在しない場合には、その過去画像の代わりに、第１領域の画像（すなわち第１画像）を初期画像として差異の算出に用いる。この場合には、ステップＳ１７１の初期化では、信頼度回復処理部１１５は、初期画像を蓄積部１１６に格納することなく、蓄積部１１６を空の状態にしておく。

あるいは、信頼度回復処理部１１５は、ステップＳ１７１の初期化では、初期画像を蓄積部１１６に格納しておいてもよい。この場合、信頼度回復処理部１１５は、ステップＳ１７６において、過去画像が存在しない場合には、その過去画像の代わりに、信号機が映し出されているテンプレート画像を、初期画像として差異の算出に用いてもよい。例えば、信頼度回復処理部１１５は、複数のテンプレート画像を蓄積部１１６に格納しておいてもよい。これら複数のテンプレート画像に映し出されている信号機の形態は、差異の算出が行われる時間帯および車両１０の位置に応じて異なっている。信頼度回復処理部１１５は、これらの複数のテンプレート画像から、その時間帯および車両１０の位置に応じたテンプレート画像を選択し、そのテンプレート画像を初期画像として用いてもよい。

あるいは、信頼度回復処理部１１５は、ステップＳ１７６において、過去画像が存在しない場合には、その過去画像の代わりに、他車両から得られた、信号機が映し出されている画像を、初期画像として差異の算出に用いてもよい。例えば、信頼度回復処理部１１５は、差異の算出が行われる時間帯と同じ時間帯に、その差異の算出が行われる車両１０の位置と同じ位置に、存在していた他車両から、その時間帯およびその位置での撮影によって得られた、信号機が映し出されている画像を取得する。

あるいは、信頼度回復処理部１１５は、ステップＳ１７６において、過去画像が存在しない場合には、その過去画像の代わりに、信頼度回復処理が行われる前にカメラ２１０から既に得られた、信号機が映し出されている画像を、初期画像として差異の算出に用いてもよい。例えば、その初期画像は、信頼度回復処理が行われる時間帯と同じ時間帯に、その信頼度回復処理が行われる車両１０の位置と同じ位置に、車両１０が存在していたときに、カメラ２１０の撮影によって得られた画像である。例えば、ステップＳ１７１では、信頼度回復処理部１１５は、蓄積部１１６に格納されている全ての過去画像を削除することなく、上述のような時間帯および位置の条件を満たす画像だけを初期画像として残しておく。

これにより、適切な初期画像に基づいて信頼度回復処理を実行することができる。

以上のように、本実施の形態における信号機推定装置２０では、検証用領域推定部１１７によって、撮影画像において信号機が映し出されている領域を適切に推定することができる。さらに、信号機領域推定部１１１が、車両１０の位置の検出結果に基づいてその領域を推定しても、その信号機領域推定部１１１によって推定された領域の信頼度を、検証用領域推定部１１７によって推定された領域を用いて適切に評価することができる。

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態における信号機推定装置を実現するソフトウェアは、図７〜図１１、および図１３に示すフローチャートに含まれる各ステップをコンピュータに実行させる。

以上、信号機推定装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本開示の範囲内に含まれてもよい。

例えば、信頼度算出部１１３は、算出された信頼度を位置検出部２３０にフィードバックしてもよい。これにより、位置検出部２３０は、自己位置推定（すなわち車両１０の位置推定）の誤りを正すことができる。または、位置検出部２３０は、自己位置推定の誤りをドライバーに注意喚起することができる。

また、図１に示す信号機推定装置は、プロセッサとメモリとによって構成されていてもよい。つまり、信号機推定装置の各構成要素のうち、蓄積部１１６以外の構成要素は、プロセッサによって実現される。プロセッサは、メモリに格納されたプログラムを実行することによって、上記蓄積部１１６以外の構成要素を実現する。また、メモリは、蓄積部１１６として構成されていてもよい。つまり、メモリは、プロセッサを制御するためのプログラムを格納していてもよく、高信頼度領域情報（すなわち第１領域情報）および過去画像を格納していてもよい。

本開示は、例えば自動走行車両などに搭載され、その車両の走行経路にある信号機を認識する信号機認識装置に利用可能である。

１０ 車両
２０ 信号機推定装置
１１１ 信号機領域推定部
１１２ 画像抽出部
１１３ 信頼度算出部
１１４ 信頼度判定部
１１５ 信頼度回復処理部
１１６ 蓄積部
１１７ 検証用領域推定部
１１８ 走行情報取得部
２１０ カメラ
２２０ カメラ情報保持部
２３０ 位置検出部
２４０ 地図情報格納部
２５０ 振動検知部
２６０ 灯火色判定部
２７０ 車両制御部

Claims (16)

1. 車両の走行状態を示す車両走行情報を取得する取得部と、
   前記車両に搭載されたカメラによる撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部に格納されている情報によって示される過去領域と、前記車両走行情報によって示される前記車両の走行状態とに基づいて推定する推定部とを備える
   信号機推定装置。
2. 前記推定部は、
   前記現在の撮影画像において前記信号機が映し出されている領域を、第２領域として推定する第２推定部であって、
   前記信号機推定装置は、さらに、
   少なくとも前記カメラの撮影方向および画角を示すカメラ情報と、前記車両の位置と、前記信号機の位置とに基づいて、前記現在の撮影画像において前記信号機が映し出されている領域を第１領域として推定する第１推定部と、
   前記第１推定部によって推定された前記第１領域の信頼度を、前記第２領域を用いて評価する信頼度評価部と、を備える
   請求項１に記載の信号機推定装置。
3. 前記信頼度評価部は、
   前記現在の撮影画像における前記第１領域の画像と前記第２領域の画像との差分が大きいほど、前記第１領域に対して低い信頼度を算出し、前記差分が小さいほど、前記第１領域に対して高い信頼度を算出する信頼度算出部と、
   前記信頼度算出部によって算出される前記第１領域の信頼度が第１閾値以上であるか否かを判定することによって、前記第１領域の信頼度を評価し、前記第１領域の信頼度が前記第１閾値以上の場合に、現在の前記信号機が映し出されている信号機画像として、前記第１領域の画像を出力する信頼度判定部とを備える
   請求項２に記載の信号機推定装置。
4. 前記信頼度判定部は、
   前記第１領域の信頼度が前記第１閾値以上の場合には、さらに、前記第１領域を示す高信頼度領域情報を前記蓄積部に格納し、
   前記高信頼度領域情報によって示される前記第１領域は、前記現在の撮影画像の次の撮影画像に対する前記第２推定部による推定に、前記過去領域として用いられる、
   請求項３に記載の信号機推定装置。
5. 前記信頼度判定部は、
   前記第１領域の信頼度が前記第１閾値未満の場合には、前記現在の撮影画像における前記過去領域の画像を、前記信号機画像として出力する
   請求項４に記載の信号機推定装置。
6. 前記信号機推定装置は、さらに、
   第１条件が満たされたときに、前記蓄積部に格納されている前記高信頼度領域情報を削除して、前記過去領域の代わりに前記第２推定部に用いられる新たな領域を示す情報を、前記蓄積部に格納する回復処理を実行する信頼度回復処理部を備える
   請求項４または５に記載の信号機推定装置。
7. 前記カメラから新たな撮影画像が得られるたびに、前記新たな撮影画像が前記現在の撮影画像として扱われ、前記現在の撮影画像における前記第１領域の信頼度に対する判定が前記信頼度判定部によって行われる場合、
   前記第１条件は、
   前記信頼度判定部によって前記第１領域の信頼度が前記第１閾値未満と判定される回数が、ｎ回（ｎは２以上の整数）以上になる条件である
   請求項６に記載の信号機推定装置。
8. 前記信頼度判定部は、
   前記車両において許容範囲を超える大きさの振動が検知された場合には、
   過去の撮影画像における前記過去領域の画像を、前記信号機画像として出力する
   請求項４または５に記載の信号機推定装置。
9. 前記信号機推定装置は、さらに、
   前記振動が予め定められた期間以上継続するときに、前記蓄積部に格納されている前記高信頼度領域情報を削除して、前記過去領域の代わりに前記第２推定部に用いられる新たな領域を示す情報を、前記蓄積部に格納する回復処理を実行する信頼度回復処理部を備える
   請求項８に記載の信号機推定装置。
10. 前記信頼度回復処理部は、前記回復処理では、
    前記カメラから新たな撮影画像が得られるたびに、前記新たな撮影画像において前記信号機が映し出されている領域を前記第１推定部に推定させ、
    前記新たな撮影画像において前記第１推定部によって推定された領域の画像である第１画像と、前記新たな撮影画像の直前の撮影画像において前記第１推定部によって推定された領域の画像である第２画像との差異を算出し、
    算出された前記差異が第２閾値未満となることが、予め定められた回数だけ連続して繰り返される場合に、少なくとも、前記第１推定部によって最後に推定された前記領域を示す情報を、前記新たな領域を示す情報として、前記蓄積部に格納する
    請求項７または９に記載の信号機推定装置。
11. 前記信頼度回復処理部は、
    前記第２画像が存在しない場合には、前記第２画像の代わりに、前記第１画像を初期画像として前記差異の算出に用いる
    請求項１０に記載の信号機推定装置。
12. 前記信頼度回復処理部は、
    前記第２画像が存在しない場合には、前記第２画像の代わりに、前記信号機が映し出されているテンプレート画像を、初期画像として前記差異の算出に用いる
    請求項１０に記載の信号機推定装置。
13. 前記信頼度回復処理部は、
    前記第２画像が存在しない場合には、前記第２画像の代わりに、他車両から得られた、前記信号機が映し出されている画像を、初期画像として前記差異の算出に用いる
    請求項１０に記載の信号機推定装置。
14. 前記信頼度回復処理部は、
    前記第２画像が存在しない場合には、前記第２画像の代わりに、前記回復処理が行われる前に前記カメラから既に得られた、前記信号機が映し出されている画像を、初期画像として前記差異の算出に用いる
    請求項１０に記載の信号機推定装置。
15. 撮影画像において信号機が映し出されている領域をコンピュータが推定する信号機推定方法であって、
    車両の走行状態を示す車両走行情報を取得し、
    前記車両に搭載されたカメラによる撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部に格納されている情報によって示される過去領域と、前記車両走行情報によって示される前記車両の走行状態とに基づいて推定する、
    信号機推定方法。
16. 撮影画像において信号機が映し出されている領域を推定するためのプログラムであって、
    車両の走行状態を示す車両走行情報を取得し、
    前記車両に搭載されたカメラによる撮影によって得られた現在の撮影画像において、信号機が映し出されている領域を、蓄積部に格納されている情報によって示される過去領域と、前記車両走行情報によって示される前記車両の走行状態とに基づいて推定する、
    ことをコンピュータに実行させるプログラム。

Images