JP2023150749A - 信号機認識方法及び信号機認識装置 - Google Patents

Abstract

【課題】車両の前方を撮像した画像に含まれる信号機候補のうち、信号機と似ている対象物と信号機とを区別することが可能な信号機認識方法及び信号機認識装置を提供する。【解決手段】信号機認識方法及び信号機認識装置は、車両の進行方向前方を撮像した画像から信号機候補を抽出し、車両の移動量及び姿勢角変化量を含む走行情報に基づいて、車両の静止系における信号機候補に対応する方向の履歴のモデルを第１変化履歴として算出し、信号機候補の画像上での位置軌跡に基づいて、車両の静止系における方向の履歴を第２変化履歴として算出し、第１変化履歴と第２変化履歴の間のズレが所定量以下である信号機候補のみを、特定信号機候補として特定する。【選択図】図１

Description

本発明は、信号機認識方法及び信号機認識装置に関する。

ナビゲーションマップからの位置情報に基づいて、信号機を含む事前確率が比較的高い候補領域を画像フレームから選択し、信号機候補を候補領域から取得し、取得した信号機候補を追跡する交通信号認識システムが知られている（特許文献１）。

特開２０１３－１６４８５３号公報

特許文献１に記載された発明によれば、車載カメラから交差点までの距離、及び、以前の時間のステップに対応する画像フレームにおける検出結果に基づいて、候補領域を設定し、信号機候補を取得・追跡する。しかしながら、候補領域内の信号機候補をそのまま追跡するため、信号機候補のうち、信号機と似ている対象物（例えば、先行車両のテールランプ、工事現場の表示等）と信号機を区別することができないという課題がある。

本発明は、上記問題に鑑みてなされたものである。その目的とするところは、車両の前方を撮像した画像に含まれる信号機候補のうち、信号機と似ている対象物と信号機とを区別することが可能な信号機認識方法及び信号機認識装置を提供することにある。

本発明の一態様に係る信号機認識方法及び信号機認識装置は、車両の進行方向前方を撮像した画像から信号機候補を抽出し、車両の移動量及び姿勢角変化量を含む走行情報に基づいて、車両の静止系における信号機候補に対応する方向の履歴のモデルを第１変化履歴として算出する。信号機候補の画像上での位置軌跡に基づいて、車両の静止系における方向の履歴を第２変化履歴として算出する。そして、第１変化履歴と第２変化履歴の間のズレが所定量以下である信号機候補のみを、特定信号機候補として特定する。

本発明によれば、車両の前方を撮像した画像に含まれる信号機候補のうち、信号機と似ている対象物と信号機とを区別することができる。

図１は、本発明の一実施形態に係る信号機認識装置の構成を示すブロック図である。 図２は、本発明の一実施形態に係る信号機認識装置の処理を示すフローチャートである。 図３Ａは、信号機の高さ方向のレイアウトの一例を示す図である。 図３Ｂは、信号機の水平方向のレイアウトの一例を示す図である。 図４Ａは、信号機と車両の間の距離と信号機の見える方向のピッチ角の間の関係を表す「信号機モデル」の一例を示す図である。 図４Ｂは、信号機と車両の間の距離と信号機の見える方向のヨー角の間の関係を表す「信号機モデル」の一例を示す図である。 図５Ａは、信号機候補に対応する方向のピッチ角に関して生成したプロットの一例を示す図である。 図５Ｂは、信号機候補に対応する方向のヨー角に関して生成したプロットの一例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

［信号機認識装置の構成］
図１は、本実施形態に係る信号機認識装置の構成を示すブロック図である。図１に示すように、本実施形態に係る信号機認識装置は、撮像部７１と、車載センサ７３と、コントローラ１００と、を備える。なお、信号機認識装置は図示しない車両に搭載される。コントローラ１００は、有線あるいは無線の通信路によって、撮像部７１、車載センサ７３と接続される。

信号機認識装置は、地図情報取得部７５及び車両制御装置４００を備えるものであってもよい。この場合、コントローラ１００は、有線あるいは無線の通信路によって、地図情報取得部７５及び車両制御装置４００と接続される。なお、地図情報取得部７５及び車両制御装置４００は、信号機認識装置の構成に必須の要素ではなく、省略されていてもよい。

撮像部７１は、車両に搭載され、車両の進行方向前方を撮像した画像を取得する。例えば、撮像部７１はＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、車両の周囲を撮像して周辺領域のデジタル画像を取得する。撮像部７１は、焦点距離、レンズの画角、撮像方向の角度（車両の静止系における撮像方向の仰角及び左右方向角度）などが設定されることにより、車両の周囲の所定の範囲を撮像する。

撮像部７１は、車両の前方を撮像可能なように、車両のフロント部分に取り付けられるものであってもよい。

なお、撮像部７１によって撮像された撮像画像はコントローラ１００に出力され、所定の期間の間、図示しない記憶部に記憶される。例えば、撮像部７１は所定の時間間隔で撮像画像を取得しており、所定の時間間隔で取得した撮像画像が、過去画像として記憶部に記憶される。過去画像は、当該過去画像の撮像時点から所定の期間を経過した後に削除されるものであってもよい。

その他、撮像部７１は、画角の異なる複数のカメラから構成されていてもよい。例えば、撮像部７１は、狭角カメラ（第１撮像部）及び広角カメラ（第２撮像部）を有するものであってもよい。ここで、広角カメラは、狭角カメラよりも広い画角の範囲を撮像するものであってもよい。狭角カメラは、広角カメラが撮像可能な領域よりも遠方の領域を撮像可能であってもよい。より具体的には、広角カメラは、車両の近傍を撮像可能なように、焦点距離が短く設定され、広角で撮像可能であってもよい。そして、狭角カメラは、広角カメラによる撮像可能な範囲よりも遠方を撮像可能なように、焦点距離が長く設定され、狭角で撮像可能であってもよい。

車載センサ７３は、車両の状態を検出する。例えば、車載センサ７３は、車両の移動速度（前後方向、左右方向の移動速度、旋回速度）や、車両が備える車輪の転舵角、転舵角の変化速度を検出する。また、車載センサ７３は、車両の移動速度、車輪の転舵角、転舵角の変化速度に基づいて、車両の移動量及び姿勢角変化量を取得するものであってもよい。

その他、車載センサ７３は、ＧＰＳ（グローバル・ポジショニング・システム）やオドメトリなど車両の絶対位置を計測する位置検出センサなど、車両の絶対位置を計測する位置検出センサを用いて、車両の絶対位置、すなわち、所定の基準点に対する車両の位置、姿勢及び速度を計測するセンサを含んでいてもよい。車載センサ７３は、所定の基準点に対する車両の位置の変化、姿勢の変化に基づいて、車両の移動量及び姿勢角変化量を取得するものであってもよい。

地図情報取得部７５は、車両が走行する道路の構造を示す地図情報を取得する。地図情報取得部７５が取得する地図情報には、車線の絶対位置、車線の接続関係、相対位置関係などの道路構造の情報が含まれる。また、地図情報取得部７５が取得する地図情報には、交差点までの位置情報、信号機の位置情報、信号機の種別、信号機の設置位置（高さ）、信号機に対応する停止線の位置などが含まれうる。地図情報取得部７５は、地図情報を格納した地図データベースを所有してもよいし、クラウドコンピューティングにより地図情報を外部の地図データサーバから取得してもよい。また、地図情報取得部７５は、車車間通信、路車間通信を用いて地図情報を取得してもよい。

車両制御装置４００は、コントローラ１００によって得られた結果に基づいて、車両を制御する。例えば、車両制御装置４００は、所定の走行経路に従って自動運転によって車両を走行させるものであってもよいし、車両の乗員の運転操作を支援するものであってもよい。

コントローラ１００（制御部または処理部の一例）は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。コントローラ１００には、信号機認識装置の一部として機能させるためのコンピュータプログラム（信号機認識プログラム）がインストールされている。コンピュータプログラムを実行することにより、コントローラ１００は、信号機認識装置が備える複数の情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０、１７０）として機能する。

なお、ここでは、ソフトウェアによって信号機認識装置が備える複数の情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０、１７０）を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０、１７０）を構成することも可能である。また、複数の情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０、１７０）を個別のハードウェアにより構成してもよい。更に、情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０、１７０）は、車両にかかわる他の制御に用いる電子制御ユニット（ＥＣＵ）と兼用してもよい。

コントローラ１００は、複数の情報処理回路（１１０、１２０、１３０、１４０、１５０、１６０、１７０）として、信号機候補抽出部１１０、走行情報生成部１２０、第１変化履歴生成部１３０、第２変化履歴生成部１４０、走行経路設定部１５０、フィッティング実行部１６０、特定部１７０を備える。なお、走行経路設定部１５０は必須の要素ではなく、省略されていてもよい。

信号機候補抽出部１１０は、撮像部７１によって取得した画像から信号機候補を抽出する。例えば、信号機候補抽出部１１０は、テンプレートマッチングにより信号機候補を抽出する。テンプレートマッチングは、標準の信号機の画像をテンプレートとして、それを所定数の画素ずつずらしながら画像上の検出領域を走査し、例えば輝度の分布の相関を計算する。そして、相関が最も高い値となった場合に、テンプレートがある画像上の位置に信号機候補が存在すると推定する。その他、信号機候補抽出部１１０は、サポートベクターマシンやニューラルネットワークなどの機械学習を用いて、画像から信号機候補を抽出するものであってもよい。画像から信号機候補を抽出する方法は、ここに挙げた例に限定されない。

信号機候補を検出する場合、予め大きさの異なる信号機のテンプレートが格納された学習データベースを備えておき、信号機までの距離に応じて参照する学習データベースを使い分けることで認識率の向上を図ることができる。

走行情報生成部１２０は、車両の移動量及び姿勢角変化量を含む走行情報を生成する。例えば、走行情報生成部１２０は、車両の移動速度、車輪の転舵角、転舵角の変化速度を車載センサ７３から取得し、車両の移動速度、車輪の転舵角、転舵角の変化速度に基づいて、走行情報を生成するものであってもよい。また、走行情報生成部１２０は、所定の基準点に対する車両の位置、姿勢を車載センサ７３から取得し、車両の位置の変化、姿勢の変化に基づいて、走行情報を生成するものであってもよい。

その他、地図情報取得部７５によって交差点の位置情報などが提供されている場合には、走行情報生成部１２０は、信号機の位置情報を地図情報取得部７５から取得し、車両から車両の進行方向前方の交差点までの距離を取得するものであってもよい。そして、走行情報生成部１２０は、車両の移動量及び姿勢角変化量に加えて、交差点までの距離を含む走行情報を生成するものであってもよい。

第１変化履歴生成部１３０は、走行情報に基づいて、車両の静止系における信号機候補に対応する方向の履歴のモデルを第１変化履歴（信号機モデル）として算出する。より具体的には、第１変化履歴生成部１３０は、車両の移動量、姿勢角変化量、車両の静止系における信号機候補に対応する方向の間の関係をモデル化する信号機モデルを算出する。

図３Ａ、図３Ｂを用いて、「信号機モデル」について説明する。図３Ａは、信号機の高さ方向のレイアウトの一例を示す図である。図３Ｂは、信号機の水平方向のレイアウトの一例を示す図である。

本実施形態の信号機認識装置による処理を開始して、あるタイミングにおける車両の位置（特に、撮像部７１の位置）を原点とする座標系が、図３Ａ、図３Ｂに示すように、Ｘ軸、Ｙ軸、Ｚ軸の直交座標系で表されているとする。ここで、Ｘ軸は、当該タイミングにおいて車両の進行方向を正とする軸である。Ｙ軸は、当該タイミングにおいて、路面に平行、かつ、Ｘ軸に垂直な軸である。Ｚ軸は、ＸＹ平面からの高さ方向を正とする軸である。つまり、当該タイミングにおいて、車両は、座標（Ｘ，Ｙ，Ｚ）＝（０，０，０）に位置している。

また、信号機は、座標（Ｘ，Ｙ，Ｚ）＝（ＸＳ，ＹＳ，ＺＳ）に位置しているものとする。さらに、以下では議論の単純化のため、車両はＸ軸に沿って走行するものと仮定する（すなわち、車両の走行に関して、Ｙ＝０、Ｚ＝０であるとする）。また、走行中の車両の姿勢は水平方向から変動しないものとする。

上記タイミングにおける位置から車両が移動し、車両が座標（Ｘ，０，０）に位置する場合、車両から見た信号機の見かけの位置は車両の走行に起因して変化する。

上述した信号機と車両の位置関係によれば、信号機の見える方向のピッチ角θ（車両の静止系における仰角）は、次のように表される。
θ＝ａｒｃｔａｎ（ＺＳ／（ＸＳ－Ｘ）） ・・・（１）
（ただし、－π／２＜θ＜π／２）

また、信号機の見える方向のヨー角ψ（車両の静止系における左右方向角度）は、次のように表される。
ψ＝ａｒｃｔａｎ（ＹＳ／（ＸＳ－Ｘ）） ・・・（２）
（ただし、－π／２＜ψ＜π／２）

車両の静止系における信号機候補に対応する方向は、上述したピッチ角θ、ヨー角ψの少なくとも１つによって表される。

したがって、信号機モデルは、車両の位置座標Ｘと信号機の見える方向のピッチ角θ及びヨー角ψの関係をモデル化することが分かる。車両がＸ軸に沿って走行しない場合、もしくは、走行中の車両の姿勢が変動する場合を考慮すると、信号機モデルは、車両の移動量に相当する車両の座標（Ｘ，Ｙ，Ｚ）、車両の姿勢角変化量、ピッチ角θ及びヨー角ψの関係をモデル化することが分かる。

信号機モデルの例を、図４Ａ、図４Ｂを用いて説明する。図４Ａは、信号機と車両の間の距離と信号機の見える方向のピッチ角の間の関係を表す「信号機モデル」の一例を示す図である。図４Ｂは、信号機と車両の間の距離と信号機の見える方向のヨー角の間の関係を表す「信号機モデル」の一例を示す図である。

図４Ａでは、パラメータＺＳ（信号機の高さに相当）が異なる２種類の信号機モデルＭ１、Ｍ２が示されている。信号機モデルＭ１でのパラメータＺＳに比べて、信号機モデルＭでのパラメータＺＳは大きい。つまり、信号機モデルＭ１での信号機の高さよりも、信号機モデルＭ２での信号機の高さの方が大きい。したがって、車両が信号機に近づく際（Ｘ＝ＸＳに近づく際）、信号機モデルＭ１のピッチ角θの立ち上がりよりも、信号機モデルＭ２のピッチ角θの立ち上がりの方が速いことが分かる。

図４Ａでは、パラメータＹＳ（信号機の水平方向位置に相当）が異なる３種類の信号機モデルＭ３、Ｍ４、Ｍ５が示されている。信号機モデルＭ３でのパラメータＹＳと、信号機モデルＭ５でのパラメータＹＳは異符号となっている。つまり、信号機モデルＭ３における信号機は車両の進行方向左側に位置しているのに対し、信号機モデルＭ５における信号機は車両の進行方向右側に位置している。したがって、車両が信号機に近づく際（Ｘ＝ＸＳに近づく際）、信号機モデルＭ３のヨー角ψは増加していくのに対し、信号機モデルＭ５のヨー角ψは減少していく。

また、信号機モデルＭ４でのパラメータＹＳは０である。つまり、信号機モデルＭ４における信号機は、車両の進行方向前方に位置している。したがって、信号機モデルＭ４のヨー角ψは０のままである。

上述したように、信号機モデルは、信号機の位置する座標（ＸＳ，ＹＳ，ＺＳ）に依存して変化する。そのため、車両の静止系における信号機候補に対応する方向の実際の履歴に対して、信号機モデルを用いたフィッティングを実行することにより座標（ＸＳ，ＹＳ，ＺＳ）を推定できる。すなわち、ＸＳ，ＹＳ，ＺＳをフィッティングパラメータとして取り扱い、ＸＳ，ＹＳ，ＺＳの値を決定することが可能である。

第２変化履歴生成部１４０は、信号機候補の画像上での位置軌跡に基づいて、車両の静止系における信号機候補に対応する方向の履歴を第２変化履歴として算出する。

より具体的には、第２変化履歴生成部１４０は、信号機候補の画像上での位置に基づいて車両の静止系における信号機候補に対応する方向を算出する。例えば、第２変化履歴生成部１４０は、撮像部７１におけるカメラの撮像方向の角度（車両の静止系における撮像方向の仰角及び左右方向角度）を用いて、車両の静止系において、画像に信号機候補として映りこんでいる対象物の見かけの方向（ピッチ角θ及びヨー角ψ）を算出する。

そして、第２変化履歴生成部１４０は、車両の静止系における信号機候補に対応する方向を、車両の座標（Ｘ，Ｙ，Ｚ）、車両の姿勢に対応付けてプロットする。車両の静止系における信号機候補に対応する方向を、車両の座標（Ｘ，Ｙ，Ｚ）、車両の姿勢の関係が、第２変化履歴として取り扱われる。

第２変化履歴生成部１４０によるプロットは、例えば、図５Ａ、図５Ｂのように示される。ここで、図５Ａは、信号機候補に対応する方向のピッチ角に関して生成したプロットの一例を示す図である。図５Ｂは、信号機候補に対応する方向のヨー角に関して生成したプロットの一例を示す図である。

その他、第２変化履歴生成部１４０は、プロットした複数の点をいくつかのクラスタに分類するものであってもよい。画像に映りこむ信号機候補は１個とは限らず、複数個存在しうる。そのため、第２変化履歴生成部１４０は、後述するフィッティング実行部１６０におけるフィッティングの精度を向上させるため、クラスタへの分類を行う。クラスタへの分類の手法としては、ウォード法、群平均法、最短距離法、最長距離法、ｋ－ｍｅａｎｓ法など、種々の方法を用いることができる。クラスタへの分類の手法は、ここに挙げた例に限定されない。なお、複数の点を含むクラスタ自体が第２変化履歴として取り扱われるものであってもよい。

フィッティング実行部１６０は、グラフ上の距離が近い点同士を同一クラスタに分類し、同一クラスタに含まれる複数の点のみを用いてフィッティングを実行する。フィッティング実行部１６０は、クラスタに分類することができない点を除去してもよい。

例えば、図５Ａでは、複数の点は、曲線Ｃ１に沿ったクラスタ、曲線Ｃ２に沿ったクラスタ、クラスタＥ１、Ｅ２に分類されうる。また、図５Ｂでは、複数の点は、曲線Ｃ３に沿ったクラスタ、曲線Ｃ４に沿ったクラスタ、曲線Ｃ５に沿ったクラスタ、クラスタＥ３、Ｅ４に分類されうる。

走行経路設定部１５０は、車両の走行経路を設定し、設定した走行経路に関する情報を出力する。走行経路設定部１５０は、地図情報取得部７５によって交差点の位置情報などが提供されている場合において、設定した車両の走行経路上に存在する信号機に関する情報を出力するものであってもよい。

また、走行経路設定部１５０によって設定された車両の走行経路は、車両制御装置４００に出力され、走行経路に基づいて車両の走行が制御されるものであってもよい。

フィッティング実行部１６０は、第１変化履歴と第２変化履歴の間のズレが所定量以下であるか否かを判定する。より具体的には、フィッティング実行部１６０は、車両の静止系における信号機候補に対応する方向の実際の履歴である第２変化履歴に対して、車両の静止系における信号機候補に対応する方向の履歴のモデルである第１変化履歴（信号機モデル）を用いてフィッティングを実行する。そして、フィッティング実行部１６０は、フィッティング時のズレ（すなわち第１変化履歴と第２変化履歴の間のズレ）が所定量以下である場合に、フィッティングパラメータであるＸＳ，ＹＳ，ＺＳの値を、信号機の位置座標であると推定する。

例えば、フィッティング実行部１６０は、プロットして得られる複数の点に対して、信号機モデルを用いてフィッティングを実行することで、対象物の位置する座標（ＸＳ，ＹＳ，ＺＳ）を推定する。フィッティング実行部１６０は、第１変化履歴と第２変化履歴の間の二乗平均平方根誤差を最小化するように、フィッティングパラメータを決定するものであってもよい。そして、フィッティング実行部１６０は、最小化された二乗平均平方根誤差を、フィッティング時のズレとして算出するものであってもよい。

信号機モデルを用いたフィッティングの例を、図５Ａ、図５Ｂを用いて説明する。例えば、図５Ａのように、（Ｘ，θ）の点をプロットしたグラフにおいて、フィッティング実行部１６０は、曲線Ｃ１に沿ったクラスタ、曲線Ｃ２に沿ったクラスタのそれぞれに分類される複数の点を用いて、クラスタごとに信号機モデルに基づくフィッティングを実行する。ピッチ角に関する信号機モデルでフィッティングを実行することにより、フィッティングパラメータのうち、ＸＳ、ＺＳを推定できる。

一方で、フィッティング実行部１６０は、クラスタＥ１、Ｅ２に基づくフィッティングを実行しないものであってもよい。クラスタＥ１、Ｅ２に基づくフィッティングを実行しない理由には、複数の理由を挙げることができる。例えば、図５Ａに示すように、クラスタＥ１、Ｅ２は、信号機モデルによってフィッティング可能な曲線Ｃ２に沿ったクラスタの近傍に位置し、信号機に該当しない可能性が高いためである。また、曲線Ｃ１に沿ったクラスタ、曲線Ｃ２に沿ったクラスタのＸ軸方向の幅と比較して、クラスタＥ１、Ｅ２のＸ軸方向の幅は狭いためである。すなわち、クラスタＥ１、Ｅ２に対して、十分な精度を確保してフィッティングを実行できない可能性が高いためである。その他、クラスタＥ１、Ｅ２のＸ軸方向の幅が狭いことから、クラスタＥ１、Ｅ２は、信号機近傍の一時的な点滅（例えば、先行車両のテールランプ、工事現場の表示等）によって生じた点の集合である可能性が高いと考えられるためである。

また、図５Ｂのように、（Ｘ，ψ）の点をプロットしたグラフにおいて、フィッティング実行部１６０は、曲線Ｃ３に沿ったクラスタ、曲線Ｃ４に沿ったクラスタ、曲線Ｃ５に沿ったクラスタのそれぞれに分類される複数の点を用いて、クラスタごとに信号機モデルに基づくフィッティングを実行する。ヨー角に関する信号機モデルでフィッティングを実行することにより、フィッティングパラメータのうち、ＸＳ、ＹＳを推定できる。

一方で、フィッティング実行部１６０は、クラスタＥ３、Ｅ４に基づくフィッティングを実行しないものであってもよい。この理由は、図５ＡにおいてクラスタＥ１、Ｅ２に基づくフィッティングを実行しない理由と同様である。

特定部１７０は、第１変化履歴と第２変化履歴の間のズレが所定量以下である信号機候補のみを、特定信号機候補として特定する。より具体的には、信号機の位置座標を推定するために行ったフィッティング時のズレが所定量以下となる場合に、特定部１７０は、信号機の位置座標を推定できた第２変化履歴に対応する信号機候補を、特定信号機候補として特定する。

また、走行経路設定部１５０から走行経路に関する情報が出力されている場合に、特定部１７０は、走行経路上の位置座標に信号機があると推定できた第２変化履歴に対応する信号機候補を、特定信号機候補として特定するものであってもよい。走行経路設定部１５０から走行経路上に存在する信号機を識別する情報が出力されている場合に、特定部１７０は、走行経路上に存在する信号機の位置と同一もしくは近傍の位置座標に信号機があると推定できた第２変化履歴に対応する信号機候補を、特定信号機候補として特定するものであってもよい。

特定部１７０によって特定された特定信号機候補は、図示しない判定部に出力され、信号機の現示状態の判定に用いられるものであってもよい。その際、図示しない判定部は、車両の進行方向前方から遠い特定信号機候補（対応するピッチ角θ又はヨー角ψの絶対値が大きい特定信号機候補）よりも優先して、車両の進行方向前方に近い特定信号機候補（対応するピッチ角θ及びヨー角ψの絶対値が小さい特定信号機候補）を、信号機の現示状態の判定に用いるものであってもよい。

その他、特定部１７０は、撮像部７１によって画像を取得する際に使用するカメラの種類を切り替えるよう、制御信号を撮像部７１に出力するものであってもよい。より具体的には、特定した特定信号機候補の画像上の位置が、車両の走行に伴って画像の中心から外側に向かって移動する場合、特定部１７０は、使用中のカメラよりも画角の大きなカメラを用いて車両の進行方向前方を撮像した画像を取得するようカメラを切り替えるものであってもよい。例えば、狭角カメラ（第１撮像部）によって取得した第１画像を画像として取得する間、特定信号機候補が狭角カメラの画角外に移動する場合を想定する。この場合、撮像部７１が第１画像の代わりに、狭角カメラよりも広い画角を有する広角カメラによって取得した第２画像を画像として取得するよう、特定部１７０は撮像部７１に対して制御信号を出力するものであってもよい。

［信号機認識装置の処理手順］
次に、本実施形態に係る信号機認識装置の処理手順を、図２のフローチャートを参照して説明する。図２に示す信号機認識装置の処理は、ユーザの指示に基づいて開始されるものであってもよいし、所定の周期で繰り返し実行されるものであってもよい。

まず、ステップＳ１０１において、撮像部７１は、車両の進行方向前方を撮像した画像を取得する。

ステップＳ１０３において、信号機候補抽出部１１０は、撮像部７１によって取得した画像から信号機候補を抽出する。

ステップＳ１０５において、走行情報生成部１２０は、車両の移動量及び姿勢角変化量などを含む走行情報を生成する。

ステップＳ１０７において、第１変化履歴生成部１３０は、走行情報に基づいて、車両の静止系における信号機候補に対応する方向の履歴のモデルを第１変化履歴（信号機モデル）として算出する。

ステップＳ１０９において、第２変化履歴生成部１４０は、信号機候補の画像上での位置軌跡に基づいて、車両の静止系における信号機候補に対応する方向の履歴を第２変化履歴として算出する。

ステップＳ１１１において、第２変化履歴生成部１４０は、第２変化履歴に含まれる複数の点をクラスタに分類する。

ステップＳ１１３において、フィッティング実行部１６０は、フィッティングの対象となるクラスタの中から、未処理のクラスタ（フィッティングを実行していないクラスタ）を１つ選択する。

ステップＳ１１５において、フィッティング実行部１６０は、選択したクラスタに対してフィッティングを実行する。そして、フィッティング実行部１６０は、第１変化履歴と第２変化履歴の間のズレが所定量以下である場合に、信号機の位置座標であると推定する。

ステップＳ１１７において、フィッティング実行部１６０は、未処理のクラスタが存在するか否かを判定する。未処理のクラスタが存在する場合（ステップＳ１１７にてＹＥＳの場合）、ステップＳ１１３に戻る。

未処理のクラスタが存在しない場合（ステップＳ１１７にてＮＯの場合）、ステップＳ１１９において、特定部１７０は、第１変化履歴と第２変化履歴の間のズレが所定量以下である信号機候補のみを、特定信号機候補として特定する。

［実施形態の効果］
以上詳細に説明したように、本実施形態に係る信号機認識方法及び信号機認識装置は、車両の進行方向前方を撮像した画像から信号機候補を抽出し、車両の移動量及び姿勢角変化量を含む走行情報に基づいて、車両の静止系における信号機候補に対応する方向の履歴のモデルを第１変化履歴として算出する。信号機候補の画像上での位置軌跡に基づいて、車両の静止系における方向の履歴を第２変化履歴として算出する。そして、第１変化履歴と第２変化履歴の間のズレが所定量以下である信号機候補のみを、特定信号機候補として特定する。

これにより、車両の前方を撮像した画像に含まれる信号機候補のうち、信号機と似ている対象物と信号機とを区別することができる。特に、先行車両のテールランプや工事現場の表示等の信号機と似ている対象物が、信号機として誤検出されてしまうことを抑制することができる。

さらには、撮像した画像において、信号機と似ている対象物を追跡する必要がなくなり、信号機の可能性が高い対象物のみを追跡することができるようになる。また、計算負荷を低減することができる。さらには、信号機の可能性が高い対象物のみを追跡することにより、信号機の現示状態の判定の遅れを小さくすることができる。その結果、車両を利用するユーザの利便性が向上する。

また、本実施形態に係る信号機認識方法及び信号機認識装置において、車両の静止系における信号機候補に対応する方向は、車両の静止系における仰角及び左右方向角度の少なくとも一方によって表されるものであってもよい。これにより、車両から見た信号機の見かけの位置が車両の走行に起因して変化する様子をモデル化することができる。

また、車両の静止系における信号機候補に対応する方向は、車両の静止系における仰角及び左右方向角度の両方によって表されるものであってもよい。これにより、車両から見た信号機の見かけの位置が車両の走行に起因して変化する様子をより詳細にモデル化することができる。さらには、第２変化履歴を第１変化履歴によってフィッティングする際の、フィッティングの精度を向上させることができる。その結果、車両の前方を撮像した画像に含まれる信号機候補のうち、信号機と似ている対象物と信号機とを、より精度よく区別することができる。

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、車両から進行方向前方の交差点までの距離を取得し、距離を含む走行情報を生成するものであってもよい。これにより、これにより、第２変化履歴を第１変化履歴によってフィッティングする際の、フィッティングパラメータの範囲を限定することができる。その結果、計算負荷を低減することができる。さらには、第２変化履歴を第１変化履歴によってフィッティングする際の、フィッティングの精度を向上させることができ、信号機と似ている対象物と信号機とを、より精度よく区別することができる。

また、車両の進行方向前方を撮像した画像を取得する際に使用するカメラを距離に応じて切り替えることができる。また、適切なカメラの使用により、画像から信号機候補を抽出する際の抽出精度を向上させることができる。その結果、画像に含まれる信号機候補のうち、信号機と似ている対象物と信号機とを区別することができる。

また、本実施形態に係る信号機認識方法及び信号機認識装置は、車両の走行経路を設定し、走行経路に沿って車両を走行させる際、走行経路上の信号機候補のみを、特定信号機候補として特定するものであってもよい。これにより、信号機と似ている対象物と、車両が走行する際に従うべき信号機とを、より精度よく区別することができる。そして、車両が走行する際に従うべき信号機を精度よく認識することができる。

さらに、本実施形態に係る信号機認識方法及び信号機認識装置は、第１撮像部によって取得した第１画像を画像として取得する間、特定信号機候補が第１撮像部の画角外に移動する場合、第１画像の代わりに、第１撮像部よりも広い画角を有する第２撮像部によって取得した第２画像を画像として取得するものであってもよい。これにより、画角の異なる複数のカメラを切り替えて処理に用いる画像が選択されるようになる。その結果、交差点の遠方から近傍まで安定した信号機認識を実現することができる。

上述の実施形態で示した各機能は、１又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサや、電気回路などが含まれ、さらには、特定用途向けの集積回路（ＡＳＩＣ）のような装置や、記載された機能を実行するよう配置された回路構成要素なども含まれる。

以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

７１ 撮像部
７３ 車載センサ
７５ 地図情報取得部
１００ コントローラ
１１０ 信号機候補抽出部
１２０ 走行情報生成部
１３０ 第１変化履歴生成部
１４０ 第２変化履歴生成部
１５０ 走行経路設定部
１６０ フィッティング実行部
１７０ 特定部
４００ 車両制御装置

Claims (6)

1. 車両の進行方向前方を撮像した画像を取得し、
   前記画像から信号機候補を抽出し、
   前記車両の移動量及び姿勢角変化量を含む走行情報を生成し、
   前記走行情報に基づいて、前記車両の静止系における前記信号機候補に対応する方向の履歴のモデルを第１変化履歴として算出し、
   前記信号機候補の前記画像上での位置軌跡に基づいて、前記車両の静止系における前記方向の履歴を第２変化履歴として算出し、
   前記第１変化履歴と前記第２変化履歴の間のズレが所定量以下である前記信号機候補のみを、特定信号機候補として特定すること
   を特徴とする信号機認識方法。
2. 請求項１に記載の信号機認識方法であって、
   前記方向は、前記車両の静止系における仰角及び左右方向角度の少なくとも一方によって表されること
   を特徴とする信号機認識方法。
3. 請求項１又は２に記載の信号機認識方法であって、
   前記車両から前記進行方向前方の交差点までの距離を取得し、
   前記距離を含む前記走行情報を生成すること
   を特徴とする信号機認識方法。
4. 請求項１～３のいずれか一項に記載の信号機認識方法であって、
   前記車両の走行経路を設定し、
   前記走行経路に沿って前記車両を走行させる際、前記走行経路上の前記信号機候補のみを、前記特定信号機候補として特定すること
   を特徴とする信号機認識方法。
5. 請求項１～４のいずれか一項に記載の信号機認識方法であって、
   第１撮像部によって取得した第１画像を前記画像として取得する間、前記特定信号機候補が前記第１撮像部の画角外に移動する場合、前記第１画像の代わりに、前記第１撮像部よりも広い画角を有する第２撮像部によって取得した第２画像を前記画像として取得すること
   を特徴とする信号機認識方法。
6. 車両に搭載された撮像部と、コントローラと、を備える信号機認識装置であって、
   前記撮像部は、前記車両の進行方向前方を撮像した画像を取得し、
   前記コントローラは、
   前記画像から信号機候補を抽出し、
   前記車両の移動量及び姿勢角変化量を含む走行情報を生成し、
   前記走行情報に基づいて、前記車両の静止系における前記信号機候補に対応する方向の履歴のモデルを第１変化履歴として算出し、
   前記信号機候補の前記画像上での位置軌跡に基づいて、前記車両の静止系における前記方向の履歴を第２変化履歴として算出し、
   前記第１変化履歴と前記第２変化履歴の間のズレが所定量以下である前記信号機候補のみを、特定信号機候補として特定すること
   を特徴とする信号機認識装置。

Images