JP2023104214A - 信号色判定装置および信号色判定方法 - Google Patents

Abstract

【課題】画像データを用いて信号機の信号色を判定する構成において、信号色の判定結果を得られる可能性を高めることができる技術を提供する。【解決手段】例示的な信号色判定装置は、撮像画像を取得する処理部を備える。前記処理部は、前記撮像画像から信号機が有する複数の信号灯の一部が検出された場合に、前記信号機の信号色を判定する。【選択図】図４

Description

本発明は、画像データを用いて信号機の信号色を判定する技術に関する。

例えば、特許文献１には、撮像部から信号機を認識できない信号機遮蔽環境であると判定された場合に、新たな走行計画を生成することで、撮像部が信号機を視認できる可能性を高めることができることが開示される。

特開２０１９－１２１３０７号公報

信号機を認識可能とするために走行計画を変更する構成の場合、信号機の認識に要する時間が長くなることが懸念される。場合によっては、信号機を認識することができず、信号機の信号色が何色であるか、或いは、何色であったのかを判定できない状況が生じ得る。車両の走行計画の変更等を行うことなく、簡単に信号機の信号色を判定することができると便利である。

本発明は、上記の点に鑑み、画像データを用いて信号機の信号色を判定する構成において、信号色の判定結果を得られる可能性を高めることができる技術を提供することを目的とする。

例示的な本発明の信号色判定装置は、撮像画像を取得する処理部を備える。前記処理部は、前記撮像画像から信号機が有する複数の信号灯の一部が検出された場合に、前記信号機の信号色を判定する。

例示的な本発明によれば、画像データを用いて信号機の信号色を判定する構成において、信号色の判定結果を得られる可能性を高めることができる。

信号色判定システムの概略構成を示すブロック図 信号色判定装置が備える処理部の機能構成を示すブロック図 信号機について説明するための図 信号機について説明するための図 信号色判定装置を用いた信号色判定方法の流れを例示するフローチャート 赤色領域、黄色領域、および、青色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図 黄色領域および青色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図 赤色領域および黄色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図 赤色領域および青色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

＜１．信号色判定システム＞
図１は、本発明の実施形態に係る信号色判定システム１００の概略構成を示すブロック図である。信号色判定システム１００は、画像データを用いて信号機の信号色を判定するシステムである。信号機の信号色の判定とは、信号機が有する複数の信号灯のうち、点灯している信号灯の色がいずれであるかを判定することを指す。本実施形態において、信号機は交通信号機である。図１に示すように、信号色判定システム１００は、信号色判定装置１とカメラ２とを備える。

信号色判定装置１は、画像データを用いて信号機の信号色を判定する。信号色判定装置１は、車両に配置されても、車両以外の場所に配置されてもよい。信号色判定装置１は、車両に配置される場合に、車両に常時搭載される車載装置であっても、車両から持ち運ぶことができる可搬型の装置であってもよい。信号色判定装置１は、例えば、車両に配置されるドライブレコーダに含まれる構成であってよい。また、信号色判定装置１は、スマートフォンやタブレット端末等の携帯端末に含まれる構成であってもよい。また、信号色判定装置１は、車両に配置される装置とインターネット等の通信網を利用して通信可能に設けられるサーバ装置等に含まれる構成であってもよい。信号色判定装置１は、車両に配置される装置と通信不能なパーソナルコンピュータに含まれる構成であってもよい。

カメラ２は、光学系と、ＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ等の撮像素子とを有する。カメラ２は、車両に配置されて、車両の周辺を撮像する。カメラ２は、例えば、車両の前方を撮像する前方カメラである。前方カメラは、例えば車両のフロントガラス等に配置される。カメラ２は、例えば、単眼カメラであっても、ステレオカメラであってもよい。カメラ２は、常時車両に配置される車載カメラであっても、車両から持ち運ぶことができる可搬型のカメラであってもよい。

カメラ２は、有線および無線の少なくとも一方を用いて信号色判定装置１と通信可能に設けられる。カメラ２は、撮像した撮像画像（詳細には画像データ）を信号色判定装置１に出力する。カメラ２は、例えば、一定の時間間隔で撮像画像を信号色判定装置１に出力する。

なお、本実施形態では、カメラ２は、信号色判定装置１とは別の装置である。ただし、カメラ２は、信号色判定装置１に含まれてもよい。また、カメラ２は、信号色判定装置１と通信できない構成であってもよい。この場合には、信号色判定装置１は、カメラ２で撮像された画像データを、例えばＳＤカード等の可搬型の記録媒体を介して取得する構成であってよい。

＜２．信号色判定装置＞
図１に示すように、信号色判定装置１は処理部１１を備える。信号色判定装置１は、メモリ部１２をさらに備える。信号色判定装置１は、いわゆるコンピュータ装置であってよい。

処理部１１は、演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成されてよい。また、プロセッサは、例えば、ＣＰＵおよびＧＰＵ（Graphics Processing Unit）を含んで構成されてもよい。処理部１１は、１つのプロセッサで構成されてもよいし、複数のプロセッサで構成されてもよい。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続されればよい。

メモリ部１２は、揮発性メモリおよび不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）が含まれてよい。不揮発性メモリには、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスドライブが含まれてよい。不揮発性メモリには、コンピュータにより読み取り可能なプログラムおよびデータが格納されている。不揮発性メモリには、機械学習による学習が行われた学習済みモデル用のパラメータが適宜格納されてよい。

図２は、本発明の実施形態に係る信号色判定装置１が備える処理部１１の機能構成を示すブロック図である。本実施形態においては、処理部１１の機能は、メモリ部１２に記憶されるプログラムにしたがった演算処理をプロセッサが実行することによって実現される。図２に示すように、処理部１１は、その機能として、画像取得部１１１と、信号機検出部１１２と、信号灯数推定部１１３と、信号灯領域特定部１１４と、色判定部１１５とを備える。

なお、本実施形態の範囲には、信号色判定装置１の少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。不揮発性記録媒体には、例えば、上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、ＳＤカード等が含まれてよい。

また、上記各部１１１～１１５は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。上記各部１１１～１１５は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等を用いて実現されてもよい。すなわち、上記各部１１１～１１５は、専用のＩＣ等を用いてハードウェアにより実現されてもよい。また、上記各部１１１～１１５は、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、上記各部１１１～１１５は、概念的な構成要素である。１つの構成要素が実行する機能が、複数の構成要素に分散されてよい。また、複数の構成要素が有する機能が１つの構成要素に統合されてもよい。

画像取得部１１１は、撮像画像（画像データ）を取得する。すなわち、処理部１１は、撮像画像を取得する。処理部１１は、撮像画像を取得して、その処理を行う。本実施形態では、画像取得部１１１は、カメラ２から画像を取得する。なお、画像取得部１１１は、カメラ２から他の装置を介して撮像画像を取得してもよい。また、画像取得部１１１は、メモリ部１２等の記録媒体からカメラ２が撮像した撮像画像を取得してもよい。

画像取得部１１１が取得する撮像画像は、車両に配置されるカメラ２により撮像される撮像画像である。詳細には、画像取得部１１１は、車両の周辺を撮像した撮像画像を取得する。本実施形態においては、画像取得部１１１は、車両の前方の風景を撮像した撮像画像を取得する。なお、撮像画像には、信号機が写ることと、写らないこととがある。

信号機検出部１１２は、信号機を撮像画像から検出する。図３Ａおよび図３Ｂは、信号機検出部１１２によって検出される信号機３について説明するための図である。図３Ａおよび図３Ｂに示すように、信号機検出部１１２が検出する信号機３は、信号機本体３１と、信号機本体３１に保持される複数の信号灯３２と、を備える。複数の信号灯３２は、詳細には、３つの信号灯３２ａ、３２ｂ、３２ｃである。すなわち、信号機３は、３灯型の信号機である。

なお、図３Ａに示す信号機３ａは、複数の信号灯３２が横方向に並ぶ横型の信号機である。図３Ｂに示す信号機３ｂは、複数の信号灯３２が縦方向に並ぶ縦型の信号機である。本実施形態の信号機３には、横型の信号機３ａおよび縦型の信号機３ｂが含まれる。

３つの信号灯３２ａ、３２ｂ、３２ｃは、互いに異なる色の信号色を点灯する。すなわち、信号機３は、３色信号機である。なお、本実施形態の信号機３においては、３つの信号灯３２ａ、３２ｂ、３２ｃのうちの複数が同時に点灯することはなく、いずれか１つだけが点灯する。例えば、第１の信号灯３２ａが点灯している場合には、第２の信号灯３２ｂおよび第３の信号灯３２ｃは点灯しない。

３つの信号灯３２ａ、３２ｂ、３２ｃの信号色、および、信号色の並び順は、例えば、国毎等に設けられる交通法規によって決められている。例えば、日本国における横型の信号機３ａは、右から左に向けて順番に、赤色信号灯３２ａ、黄色信号灯３２ｂ、青色信号灯３２ｃという配置に決められている。また、日本国における縦型の信号機３ｂでは、上から下に向けて順番に、赤色信号灯３２ａ、黄色信号灯３２ｂ、青色信号灯３２ｃという並びに決められている。なお、信号機３の信号色および並び順は、国によって異なることがある。例えば、日本国における青色信号灯３２ｃは、米国等において緑色信号灯である。

信号機検出部１１２は、詳細には、互いに異なる色の信号色を点灯する３つの信号灯３２ａ、３２ｂ、３２ｃを有する３灯型の信号機３を撮像画像から検出する。すなわち、処理部１１は、互いに異なる色の信号色を点灯する３つの信号灯３２ａ、３２ｂ、３２ｃを有する３灯型の信号機３を撮像画像から検出する。

信号機検出部１１２は、例えば、機械学習による学習済みの物体検出モデルを用いて、撮像画像から信号機を検出する。機械学習は、正解ラベル付きの学習データセットを用いた教師あり学習であってよい。物体検出モデルにおいて用いられる物体検出アルゴリズムは、例えば、公知のＲ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＹＯＬＯ、又は、ＳＳＤ等であってよい。なお、信号機３の検出には、パターンマッチング等の他の画像認識技術が利用されてもよい。

信号灯数推定部１１３は、撮像画像において検出された信号機３の信号機領域内に写る信号灯３２の数を推定する。すなわち、処理部１１は、検出された信号機３の撮像画像に写る信号灯３２の数を推定する。信号灯３２の数の推定には、機械学習を行った学習済みモデルが用いられてよい。ここでの機械学習は、例えば、信号灯３２が３つ写るパターン、２つ写るパターン、および、１つ写るパターンの正解ラベル付きの学習データセットを準備し、当該学習データセットを用いてディープニューラルネットワークに学習させる構成であってよい。

なお、信号灯３２が３つ写るパターンの画像においては、信号機３の３つの信号灯３２ａ、３２ｂ、３２ｃのいずれもが障害物によって隠されることなく画像内に写っている。正解ラベル付きの学習データセットには、このパターンの画像が含まれる。

また、信号灯３２が２つ写るパターンの画像においては、信号機３の３つの信号灯３２ａ、３２ｂ、３２ｃのうち、いずれか１つだけが障害物によって隠され、残りの２つが画像内に写っている。信号灯３２が２つ写るパターンには、詳細には３通りのパターンがある。３通りのパターンは、例えば、赤色信号灯３２ａが隠され、黄色信号灯３２ｂと青色信号灯３２ｃとの２つが写るパターンと、黄色信号灯３２ｂが隠され、赤色信号灯３２ａと青色信号灯３２ｃとの２つが写るパターンと、青色信号灯３２ｃが隠され、赤色信号灯３２ａと黄色信号灯３２ｂとの２つが写るパターンと、を含む。正解ラベル付きの学習データセットには、これら３つのパターンの画像が含まれる。

また、信号灯３２が１つ写るパターンの画像においては、信号機３の３つの信号灯３２ａ、３２ｂ、３２ｃのうち、いずれか２つが障害物によって隠され、残りの１つが画像内に写っている。信号灯３２が１つ写るパターンには、詳細には３通りのパターンがある。３通りのパターンは、例えば、赤色信号灯３２ａのみが写るパターンと、黄色信号灯３２ｂのみが写るパターンと、青色信号灯３２ｃのみが写るパターンと、を含む。正解ラベル付きの学習データセットには、これら３つのパターンの画像が含まれる。

なお、上述の障害物は、例えば、カメラ２の前方に存在するトラック等の車両、信号機付近に存在する樹木、又は、カメラ２を搭載する車両の一部等である。また、信号灯３２の数の推定は、機械学習による学習済みモデルを利用せずに行われる構成であってもよい。例えば、撮像画像に写る信号機３のサイズを推定し、推定された信号機３のサイズから信号灯３２の数を推定する構成であってもよい。

信号灯領域特定部１１４は、撮像画像に写る信号灯３２がいずれの色の領域に存在するかを特定する。すなわち、処理部１１は、撮像画像に写る信号灯３２がいずれの色の領域に存在するかを特定する。上述のように、信号機３においては、各色の信号灯３２の配置は予め決まっている。このために、撮像画像に写る信号灯３２がいずれの色の領域に存在するかを、撮像画像に基づいて特定することができる。本実施形態において、信号灯領域特定部１１４が行う処理には、好ましい形態として、信号灯３２が存在すると特定した色の領域の抽出を行う処理も含まれる。

信号灯領域特定部１１４の機能は、例えば、信号灯の数の推定の場合と同様に、正解ラベル付きの学習データセットを用いて学習が行われた学習済みモデル（例えばディープニューラルネットワーク）を利用することにより得られてよい。このような構成とする場合、信号灯３２の数を推定する処理と、信号灯３２がいずれの色の領域に存在するかを特定する処理が、同じ学習済みモデルによって実行されてもよい。また、別の例として、信号機３における信号灯３２の配置を示すテンプレートデータを予め準備し、準備したテンプレートデータとの比較を利用して、撮像画像に写る信号灯３２がいずれの色の領域に存在するかを特定してもよい。

色判定部１１５は、信号灯領域特定部１１４で特定された色の領域に対して色判定を行う。すなわち、処理部１１は、信号灯領域特定部１１４で特定された色の領域に対して色判定を行う。なお、信号灯３２は、点灯することにより、予め決められた色となり、非点灯の場合は予め決められた色と異なる色となる。例えば、信号灯３２は、非点灯の場合、黒等の目立たない色となる。色判定は、例えば、各領域が点灯により予め決められた色となっているか否かを判定する処理であってよい。例えば、信号灯３２が存在する領域が赤色領域であると特定された場合、当該領域の色判定は、赤色であるか否かであってよい。なお、色判定は、各領域がいずれの色かを決める処理であってもよい。

各領域に対する色判定には、例えば、機械学習を行った学習済みモデルが用いられてよい。ここでの機械学習は、例えば、信号灯の色に関する正解ラベル付きの学習データセットを準備し、学習データセットを用いてディープニューラルネットワークに学習させる構成であってよい。また、別の例として、各領域において公知の画像処理技術によって各画素の輝度値を求め、求められた輝度値の分布から各領域の色判定が行われてもよい。

本実施形態では、色判定部１１５は、各領域の色判定の結果に基づき、信号機３の信号色を決定する。なお、ここで言う信号機３の信号色とは、複数の信号灯３２のうち、点灯している信号灯３２の色のことを指す。色判定の結果に基づいて信号機３の信号色を決定する手法の詳細については、後述する。なお、各領域に対して色判定を行う代わりに、各領域に対して信号灯３２が点灯しているか否かの判定を行い、当該点灯判定の結果に基づいて信号色の決定を行う構成としてもよい。

＜３．信号色判定方法＞
次に、本実施形態の信号色判定装置１を用いた信号色の判定方法について説明する。図４は、本発明の実施形態に係る信号色判定装置１を用いた信号色判定方法の流れを例示するフローチャートである。信号色判定方法は、例えば、車両がエンジン車両の場合にはエンジンの始動により開始され、車両が電動車両の場合には車両の電源スイッチがオンされた場合に開始される構成であってよい。

なお、本実施形態の信号色判定方法をコンピュータ装置に実現させるコンピュータプログラムは、本実施形態の範囲に含まれる。また、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本実施形態の範囲に含まれる。

ステップＳ１では、画像取得部１１１がカメラ２から撮像画像を取得する。すなわち、信号色判定方法は、撮像画像を取得する工程を備える。画像取得部１１１は、例えば定期的に撮像画像を取得する。撮像画像を取得すると、次のステップＳ２に処理が進められる。

ステップＳ２では、信号機検出部１１２が、取得した撮像画像に対して信号機３を検出する処理を行う。すなわち、信号色判定方法は、取得した撮像画像から信号機を検出する工程を備える。ステップＳ２では、信号機３が検出されたか否かの判定を更に行う。撮像画像から信号機３が検出された場合（ステップＳ２でＹｅｓ）、次のステップＳ３に処理が進められる。撮像画像から信号機３が検出されなかった場合（ステップＳ２でＮｏ）、ステップＳ１で取得した撮像画像に対して信号機３の信号色を判定する処理を終了する。

ステップＳ３では、信号灯数推定部１１３が、検出された信号機３の撮像画像に写る信号灯３２の数を推定する。すなわち、信号色判定方法は、検出された信号機３の撮像画像に写る信号灯３２の数を推定する工程を備える。なお、本実施形態においては、推定される信号灯３２の数は、３つ、２つ、或いは、１つである。推定される信号灯３２の数が０と推定されることがある構成としてもよい。

ステップＳ３では、推定された信号灯３２の数が３つ又は２つであるか否かを更に判定する。推定された信号灯３２の数が、３つ又は２つである場合（ステップＳ３でＹｅｓ）、次のステップＳ４に処理が進められる。推定された信号灯３２の数が１つである場合（ステップＳ３でＮｏ）、信号色の判定処理が終了される。すなわち、本実施形態では、推定された信号灯３２の数が１つである場合には、信号色の判定が行われない。

ステップＳ４では、信号灯領域特定部１１４が、撮像画像に写る信号灯３２がいずれの色の領域に存在するかを特定する。すなわち、信号色判定方法は、撮像画像に写る信号灯３２がいずれの色の領域に存在するかを特定する工程を備える。撮像画像に写る信号灯３２の数が３つである場合には、信号灯３２が３つの色の領域（全ての色の領域）に存在することが特定され、３つの色の領域が抽出される。撮像画像に写る信号灯３２の数が２つである場合には、２つの色の領域が特定され、２つの色の領域が抽出される。例えば、撮像画像に赤色信号灯３２ａと黄色信号灯３２ｂとが写っている場合には、信号機３の赤色領域と黄色領域が抽出されることになる。信号灯３２が存在する色の領域が抽出されると、次のステップＳ５に処理が進められる。

ステップＳ５では、色判定部１１５が、信号灯領域特定部１１４により特定された各色の領域に対して色判定を行う。すなわち、信号色判定方法は、特定された各色の領域に対して色判定を行う工程を備える。３つの色の領域が特定された場合には、３つの領域のそれぞれに対して色判定が行われる。２つの色の領域が特定された場合には、２つの領域のそれぞれに対して色判定が行われる。例えば、赤色領域と黄色領域が特定された場合には、赤色領域と黄色領域とのそれぞれに対して色判定が行われる。色判定が完了すると、次のステップＳ６に処理が進められる。

ステップＳ６では、各色の領域における色判定の結果に基づいて信号機３の信号色が決定される。すなわち、信号色判定方法は、各色の領域における色判定の結果に基づいて信号機３の信号色を決定する工程を備える。信号機３の信号色の決定により、図４に示す信号色判定方法は終了する。図５、図６Ａ、図６Ｂ、および、図６Ｃを参照して、信号機３が赤色信号灯３２ａ、黄色信号灯３２ｂ、および、青色信号灯３２ｃを有する場合を例に挙げて、信号色の決定手法について説明する。

図５は、赤色領域、黄色領域、および、青色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図である。なお、図５は、３つの信号灯３２ａ、３２ｂ、３２ｃの全てが撮像画像に写っている場合の信号色の決定方法を示す図に該当する。図５において、「Ｙｅｓ」は、色判定の結果、該当する色領域の色と一致すると判定されたことを示す。「Ｎｏ」は、色判定の結果、該当する色領域の色と一致しないと判定されたことを示す。なお、この点は、後述の図６Ａ、図６Ｂ、および、図６Ｃについても同じである。

図５に示すように、色判定の結果、赤色領域が赤色、黄色領域が非黄色、青色領域が非青色と判定された場合、信号色は赤色と決定される。また、色判定の結果、赤色領域が非赤色、黄色領域が黄色、青色領域が非青色と判定された場合、信号色は黄色と決定される。また、色判定の結果、赤色領域が非赤色、黄色領域が非黄色、青色領域が青色と判定された場合、信号色は青色と決定される。すなわち、３つの信号灯３２ａ、３２ｂ、３２ｃの全てが撮像画像に写っている場合には、色領域の想定色と、色判定で得られた色とが一致する色領域の色が信号色となる。

図６Ａは、黄色領域および青色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図である。なお、図６Ａは、赤色信号灯３２ａは障害物の存在によって撮像画像に写っておらず、黄色信号灯３２ｂおよび青色信号灯３２ｃが撮像画像に写っている場合の、信号色の決定方法を示す図に該当する。

図６Ａに示すように、赤色領域の色判定の結果がなく、色判定が行われた黄色領域が非黄色、青色領域が非青色と判定された場合、信号色は赤色と決定される。また、赤色領域の色判定の結果がなく、色判定が行われた黄色領域が黄色、青色領域が非青色と判定された場合、信号色は黄色と決定される。また、赤色領域の色判定の結果がなく、色判定が行われた黄色領域が非黄色、青色領域が青色と判定された場合、信号色は青色と決定される。

図６Ｂは、赤色領域および黄色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図である。なお、図６Ｂは、青色信号灯３２ｃは障害物の存在によって撮像画像に写っておらず、赤色信号灯３２ａおよび黄色信号灯３２ｂが撮像画像に写っている場合の、信号色の決定方法を示す図に該当する。

図６Ｂに示すように、青色領域の色判定の結果がなく、色判定が行われた赤色領域が赤色、黄色領域が非黄色と判定された場合、信号色は赤色と決定される。また、青色領域の色判定の結果がなく、色判定が行われた赤色領域が非赤色、黄色領域が黄色と判定された場合、信号色は黄色と決定される。また、青色領域の色判定の結果がなく、色判定が行われた赤色領域が非赤色、黄色領域が非黄色と判定された場合、信号色は青色と決定される。

図６Ｃは、赤色領域および青色領域について色判定が行われた結果と、当該結果に基づいて決定された信号色を示す図である。なお、図６Ｃは、黄色信号灯３２ｂは障害物の存在によって撮像画像に写っておらず、赤色信号灯３２ａおよび青色信号灯３２ｃが撮像画像に写っている場合の、信号色の決定方法を示す図に該当する。

図６Ｃに示すように、黄色領域の色判定の結果がなく、色判定が行われた赤色領域が赤色、青色領域が非青色と判定された場合、信号色は赤色と決定される。また、黄色領域の色判定の結果がなく、色判定が行われた赤色領域が非赤色、青色領域が非青色と判定された場合、信号色は黄色と決定される。また、黄色領域の色判定の結果がなく、色判定が行われた赤色領域が非赤色、青色領域が青色と判定された場合、信号色は青色と決定される。

すなわち、３つの信号灯３２のうち、２つの信号灯３２のみが撮像画像に写っている場合には、色判定を行った色領域の中に、色領域の想定色と色判定で得られた色とが一致する色領域があれば、当該一致する色領域の色が信号色となる。色判定を行った色領域の中に、色領域の色と色判定で得られた色とが一致する色領域がなければ、色判定を行われなかった色領域の色が信号色となる。

＜４．実施形態に関するまとめ＞
以上に説明したように、処理部１１は、撮像画像から信号機３が有する複数の信号灯３２の一部が検出された場合に、信号機３の信号色を判定する。別の言い方をすると、本実施形態の信号色判定方法は、撮像画像から信号機３が有する複数の信号灯３２の一部が検出された場合に、信号機３の信号色を判定する工程を備える。

このような構成によれば、撮像画像に写る信号機３について、全ての信号灯３２が写っていない場合に、信号機３の信号色が判定されるために、撮像画像から信号機３の信号色の判定結果を得られる可能性を高めることができる。また、このような構成によれば、車両の走行計画を変更しなくも信号色の判定結果を得られる可能性を高めることができる。また、このような構成によれば、車両の走行後、例えば事故の検証等のために事後的に撮像画像から信号機の信号色を得たいような場合に、信号色を得られる可能性を高めることができる。

なお、本実施形態では、複数の信号灯３２の一部は、３つの信号灯のうちの２つの信号灯である。３つの信号灯３２のうちの２つの信号灯３２が写っていれば、信号機３の信号色が判定されるために、撮像画像から信号機３の信号色の判定結果を得られる可能性を高めることができる。

また、本実施形態では、処理部１１は、複数の信号灯３２の全部が検出された場合に、信号機３の信号色を判定する。別の言い方をすると、本実施形態では、処理部１１は、信号灯３２の数が３つ又は２つと判定された場合に、信号機３の信号色を判定する。このような構成によれば、撮像画像に写る信号機３について、全ての信号灯３２が写っている場合のみならず、一部の信号灯３２が写っている場合にも信号色の判定が行われる。このために、撮像画像から信号機３の信号色の判定結果を得られる可能性をさらに高めることができる。

また、本実施形態では、信号機３の信号色を判定する処理には、撮像画像に写る信号灯３２がいずれの色の領域に存在するかを特定する処理が含まれる。このような構成は、信号機３の各色の並びがルール化されていることを利用する構成であり、信号機３の全ての信号灯３２が写っていない場合でも適用可能である。すなわち、このような構成によれば、撮像画像に３つの信号灯３２のうち２つの信号灯３２しか写っていないような場合でも、信号色の判定結果を得ることができる。

また、本実施形態では、信号機３の信号色を判定する処理には、特定された色の領域に対して色判定を行う処理が含まれる。このような構成によれば、画像データを利用して、点灯している色の領域を適切に推定することが可能となる。

＜５．変形例＞
以上では、信号機３の複数の信号灯３２の一部が検出された場合に、信号機３の信号色を判定する構成において、複数の信号灯３２の一部は、３つの信号灯３２のうちの２つの信号灯３２である構成とした。ただし、複数の信号灯３２の一部には、３つの信号灯３２のうちの１つの信号灯３２である構成も含まれてよい。このような構成でも、撮像画像に写る信号灯３２が点灯している場合には、信号機３の信号色を決定できる。このために、本構成の場合にも、撮像画像から信号機３の信号色の判定結果を得られる可能性を高めることができる。

なお、３つの信号灯３２のうち１つの信号灯３２しか検出されない場合には、信号機３の信号色を決定できない場合がある。このような場合には、例えば、決定できなかった旨を通知する構成としてよい。また、このような場合には、例えば、信号機３の信号灯３２が２つ以上写る場所へ車両を移動する指示を行う構成としてもよい。

＜６．留意事項等＞
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態および変形例は可能な範囲で組み合わせて実施されてよい。

１・・・信号色判定装置
３、３ａ、３ｂ・・・信号機
１１・・・処理部
３２・・・信号灯
３２ａ・・・赤色信号灯
３２ｂ・・・黄色信号灯
３２ｃ・・・青色信号灯

Claims (8)

1. 撮像画像を取得する処理部を備え、
   前記処理部は、前記撮像画像から信号機が有する複数の信号灯の一部が検出された場合に、前記信号機の信号色を判定する、信号色判定装置。
2. 前記複数の信号灯の一部は、３つの信号灯のうちの２つの信号灯である、請求項１に記載の信号色判定装置。
3. 前記複数の信号灯の一部には、３つの信号灯のうちの１つの信号灯である構成が含まれる、請求項１又は２に記載の信号色判定装置。
4. 前記処理部は、前記複数の信号灯の全部が検出された場合に、前記信号機の信号色を判定する、請求項１から３のいずれか１項に記載の信号色判定装置。
5. 撮像画像を取得する処理部を備え、
   前記処理部は、
   互いに異なる色の信号色を点灯する３つの信号灯を有する３灯型の信号機を前記撮像画像から検出し、
   検出された前記信号機の前記撮像画像に写る前記信号灯の数を推定し、
   前記信号灯の数が３つ又は２つと判定された場合に、前記信号機の信号色を判定する、信号色判定装置。
6. 前記信号機の信号色を判定する処理には、前記撮像画像に写る前記信号灯がいずれの色の領域に存在するかを特定する処理が含まれる、請求項１から５のいずれか１項に記載の信号色判定装置。
7. 前記信号機の信号色を判定する処理には、特定された前記色の領域に対して色判定を行う処理が含まれる、請求項６に記載の信号色判定装置。
8. 撮像画像を取得する工程と、
   前記撮像画像から信号機が有する複数の信号灯の一部が検出された場合に、前記信号機の信号色を判定する工程と、
   を備える、信号色判定方法。

Images