JP2020106961A - 信号機判定装置 - Google Patents

Abstract

【課題】逆光であっても、信号機の状態を判定可能な信号機判定装置を提供する。【解決手段】信号機判定装置１は直進する道路上に配置された第１信号機（例えば、信号機）の画像を、第１カメラを介して入力する第１画像入力部２００と、道路上に第１信号機と所定領域（例えば、交差点領域、横断歩道など）を隔てて、かつ対向して配置された第２信号機（例えば、信号機）の画像及び所定領域の画像を、第２カメラを介して入力する第２画像入力部２１０と、第１画像入力部２００により取得された第１信号機の画像を認識できない場合は、第２画像入力部２１０により取得された第２信号機及び所定領域の画像に基づいて、第１信号機の信号情報を判定する判定部３と、を備える。【選択図】図７

Description

本発明は、信号機判定装置に関する。

近年、自動運転の実現に向けた技術開発が進んでいる。その中で、画像認識を利用した信号機認識装置についても、開発が進められている。特許文献１には、信号機への環境光の当たり方などが異なる複数のテンプレート画像を用いて、撮像画像とのマッチングを行い、信号機領域と信号機の色を精度良く判定する技術が開示されている。

特開２０１７−００４２９５号公報

しかしながら、時間帯によっては信号機を撮像するカメラが逆光となり、観測が困難となる場合がある。そのため、時間帯によらず信号機の状態をカメラで認識することが困難であった。

本発明は、このような事情に鑑みてなされたものであって、逆光であっても、信号機の状態を判定可能な信号機判定装置を提供するものである。

本発明に係る、信号機判定装置は、 直進する道路上に配置された第１信号機の画像を、第１カメラを介して入力する第１画像入力部と、
前記道路上に前記第１信号機と所定領域を隔てて、前記第１信号機と対向して配置された第２信号機及び前記所定領域の画像を、第２カメラを介して入力する第２画像入力部と、
前記第１画像入力部により取得された前記第１信号機の画像を認識できない場合は、前記第２画像入力部により取得された前記第２信号機及び前記所定領域の画像に基づいて、前記第１信号機の信号情報を判定する判定部と、を備えるものである。

本発明によれば、逆光であっても、信号機の状態を判定可能な信号機判定装置を提供することができる。

本発明の実施形態にかかる信号機画像学習システムを示すブロック図である。 十字路の交差点における監視カメラの配置を説明する図である。 Ｔ字路の交差点における監視カメラの配置を説明する図である。 横断歩道における監視カメラの配置を説明する図である。 本発明の実施形態にかかる信号機画像学習処理の流れを示すフローチャートある。 信号領域の信号情報の推定処理（図５のステップＳ４）の詳細な処理の流れを示すフローチャートである。 本発明の実施形態にかかる信号機判定装置を示すブロック図である。

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。

図１は本発明の第１の実施形態にかかる信号機画像学習システム１０を示すブロック図である。図２は、十字路の交差点における監視カメラの配置を説明する図である。図３は、Ｔ字路の交差点における監視カメラの配置を説明する図である。図４は、横断歩道における監視カメラの配置を説明する図である。

信号機画像学習システム１０は、学習画像入力部１１、切り出しタイミング決定部１２、領域抽出部１３、抽出用テンプレート格納部１４、蓄積データベース１５、参照画像入力部１６、信号情報認識装置１７、道路状況認識装置１８及び情報統合部１９を備える。なお、信号情報認識装置１７、道路状況認識装置１８及び情報統合部１９は、信号色判定部として機能する。

学習画像入力部１１は、Ｔ字路及び十字路を含む交差点などにあるインフラ設備に設置され、太陽Ｓに対して逆光となっているカメラ２０により、信号の色が判別しにくい信号機１０１の画像を学習画像として入力する。本例では、カメラ２０は、信号の色を識別可能なＲＧＢカメラ（撮像装置）であり、図２の点線で示すように、信号機１０１の信号標識領域及び交差点領域がカメラ２０の画角に入る姿勢で設置されている。なお、本例では、カメラ２０を、学習画像入力部１１用のカメラとしたが、カメラ２１が、逆光となる時間帯には、カメラ２１を学習画像入力部１１用のカメラとして機能することもできる。図２の点線で示すように、カメラ２１も、信号機１００の信号標識領域及び交差点領域がカメラ２０の画角に入る姿勢で設置されている。

また、信号機１００、１０１は、図２に示すように、十字路の交差点の直進方向において、交差点領域の対角線上に、対向して配置されている。また、カメラ２０，２１も、交差点領域において、対向して配置されている。

本発明は、図３のようにＴ字路の交差点の直進方向において、信号機１００、１０１が、対向して配置されている場合にも適用可能である。図３においても、図２と同様に、カメラ２０，２１も、交差点領域において、対向して配置されている。

また、本発明は、図４に示すような横断歩道１２０において、配置される信号機にも、適用可能である。

再び図１に戻って、信号機画像学習システム１０の構成を説明する。切り出しタイミング決定部１２は、正確な日付と時間から太陽Ｓからの光線に対するカメラ２０ヘの入射状態を推定し、切り出しタイミングを決定する。領域抽出部１３は、学習画像入力部１１で入力された画像に対して、抽出用テンプレート格納部１４の抽出用テンプレートを用いて、信号標識領域を切り出すことができる。抽出用テンプレート格納部１４の中には、画像の中から円や矩形を抽出するためのハフ変換や形状テンプレートが格納されている。

参照画像入力部１６はインフラ設備に設置され、逆光となっていないカメラ２１により、信号機１００の画像を参照画像として入力する。本例におけるカメラ２１は、広角カメラ又は魚眼カメラを利用し、図２〜図４に示すように、信号標識と路面状況（交通状況）が画角に入る姿勢で、カメラ２０と反対向きに、交差点を挟んで対角線上に設置されている。学習画像入力部１１用のカメラ２０が逆光状態にあるときは、参照画像入力部１６用のカメラ２１は逆光にはならないように互いに対抗して設置されている。なお、本例では、カメラ２１を、参照画像入力部１６用のカメラとしたが、カメラ２０が、逆光でない時間帯には、参照画像入力部１６用のカメラとすることができる。

信号情報認識装置１７は参照画像入力部１６で取得された画像から信号の色情報（赤色、黄色、青色）を認識することができる。道路状況認識装置１８は参照画像入力部１６で取得された画像から、車や人の移動状態（道路状況）を認識し、信号情報を決定する。

情報統合部１９は信号情報認識装置１７と道路状況認識装置１８で得られた結果を統合して信号情報を算出する。蓄積データベース１５は情報統合部１９で決定された信号情報と信号領域画像をセットにして格納し蓄積する。

図５は本発明の実施形態にかかる信号機画像学習処理の流れを示すフローチャートある。
学習画像入力部１１は、カメラ（ＲＧＢカメラ）２０を介して時系列で画像を取得する（ステップＳ１）。切り出しタイミング決定部１２は、正確な日時、天候情報から太陽光線に対するカメラヘの入射状態を推定し、逆光と判断された場合に、逆光となり、信号の色を判別しにくい信号機画像を学習するために、画像から切り出すためのトリガを領域抽出部１３に発信する（ステップＳ２）。

領域抽出部１３は、入力画像の特徴量を抽出し、抽出用テンプレート格納部１４の信号領域のテンプレートと比較し、画像中の信号領域を抽出する（ステップＳ３）。画像中の信号領域の抽出に、深層学習ネットワーク等の一般物体認識技術を用いてもよい。一般物体認識とは、制約のない実世界シーンの画像に対してコンピュータがその中に含まれる物体を一般的な名称で認識する技術であり、畳込みニューラルネットワーク（convolutional neural network）を用いた、いわゆる「ディープラーニング（深層学習）」により、高い能力が発揮されることが実証されている。

信号色判定部は信号の色状態を推定する（ステップＳ４）。ここで、信号機画像は、逆光になっており、信号の色を識別困難となっている。そのため、本実施の形態では、ステップＳ４の詳細な処理フロー（図６）を行っている。

ここで、図６を参照して、逆光となっており、信号の色の識別しにくい画像の信号の色状態推定方法を詳細に説明する。
本実施の形態では、逆光となっている信号機と対向し、逆光となっていない信号機の画像を元に、逆光となっている信号機の信号の色を推定する。

参照画像入力部１６のＲＧＢカメラ（図２〜図４のカメラ２１）から逆光となっていない信号機１００の画像を取得する（ステップＳ４１）。信号情報認識装置１７は、ステップＳ２と同様の方法で画像中の信号領域を抽出する（ステップＳ４２）。信号情報認識装置１７は、ステップＳ４２で抽出した信号領域から、信号情報を推定する（ステップＳ４３）。具体的には、信号情報認識装置１７は、訓練済みの機械学習モデル（例えば、画像を入力、信号の色を出力とする訓練済み深層学習ニューラルネットワーク）を用いて、信号の色などの信号情報の認識を行う。他の機械学習のモデルを用いてもよい。信号情報認識装置１７は、参照画像入力部１６のカメラ２１（図２〜図４）は逆光ではないので、学習画像入力部１１のカメラ（図２〜図４のカメラ２０）に比べ、高い精度で認識結果を得られる。

なお、基本的には、逆光となっている信号機１０１の信号の色を推定するのに、信号機１０１に対向して配置された信号機１００の信号の色と同一と判定することができる。しかし、信号機１０１の信号の色と、信号機１００の信号の色が一致しない場合もある。例えば、信号機１０１の信号の色が赤であるのに対して、信号機１００の信号は、直進可能を示す矢印（↑）である場合もある。また、信号機１０１の信号の色が赤であるのに対して、少し時間差をおいて、信号機１００の信号が赤に変わる場合もある。そこで、本実施形態では、道路状況を認識し、より精度の高い信号機の色推定を行っている。

道路状況認識装置１８は、参照画像入力部１６のカメラ２１（ＲＧＢカメラ）から取得される時系列画像から道路状況（交通状態）を推定する（ステップＳ４４）。道路状況認識装置１８により認識された、カメラに向かって進む車の動きによって、信号状態を推定することができる。例えば、図２において、道路状況認識装置１８が、車両Ｃ３が交差点を直進する動きを認識できれば、信号機１０１（１００）は青であると推定できる。あるいは、車両Ｃ４が交差点を直進する動きを認識できれば、信号機１０１（１００）は赤であると推定できる。Ｆａｓｔｅｒ ＲＣＮＮ(Regions with Convolutional Neural Networks)やＳＳＤ（Single Shot Detector）など、画像から物体のカテゴリーと位置を同時に出力する訓練済み深層学習モデルによる推定器を使ってもよい。

次に、信号情報認識装置１７（ステップＳ４３）と道路状況認識装置１８（ステップＳ４４）の推定結果を統合し、情報統合部１９は、逆光となっている信号機１０１の信号の色などの信号情報を推定する（ステップＳ４５）。具体的には、情報統合部１９は、信号情報認識装置１７（ステップＳ４３）からの信号色と信頼度、道路状況認識装置１８（ステップＳ４５）からの信号色と信頼度に基づいて、最終的な結果を次式で計算する。

以上により、逆光となっており、信号機の色の識別しにくい画像の信号機の色状態推定処理を終了する。

再び図５に戻って、処理フローを説明する。
領域抽出部１３で切り出された信号領域と、情報統合部１９で取得された信号情報がセットとして蓄積データベース１５に記憶する（ステップＳ５）。

最後に、カメラにより取得された他の逆光となっている観測画像があるかを確認し、あればステップＳｌへ戻り、処理（ステップＳ２〜ステップＳ５）を繰り返す。なければ処理を終了する。これにより、高い精度で認識された信号情報を機械学習により蓄積することができる。

図７を参照して、本実施の形態にかかる信号機判定装置の構成を説明する。
信号機判定装置１は、直進する道路上に配置された第１信号機（例えば、信号機１０１）の画像を、第１カメラ２０を介して入力する第１画像入力部２００と、道路上に所定領域（例えば、交差点領域、横断歩道など）を隔てて第１信号機と対向して配置された第２信号機（例えば、信号機１００）の画像及び所定領域の画像を、第２カメラ２１を介して入力する第２画像入力部２１０と、第１画像入力部２００により取得された第１信号機の画像を認識できない場合は、第２画像入力部により取得された第２信号機及び所定領域の画像に基づいて、第１信号機の信号情報を判定する判定部３と、を備える。これにより、信号機が逆光となり、認識できない時間帯など、時間帯によらず信号機の状態をカメラで認識することができる。

信号機判定装置１は、その内部において、前述した第２画像入力部により取得された第２信号機の画像及び所定領域の画像を機械学習しておいた機械学習データを蓄積するデータベース（記憶部）を有してもよい。あるいは、信号機判定装置１は、外部にある当該データベース（記憶部）とネットワークを介して接続され、所望のタイミングで、機械学習データを得るようにしてもよい。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１ 信号機判定装置
３ 判定部
１０ 信号機画像学習システム
１１ 学習画像入力部
１２ 切り出しタイミング決定部
１３ 領域抽出部
１４ 抽出用テンプレート格納部
１５ 蓄積データベース
１６ 参照画像入力部
１７ 信号情報認識装置
１８ 道路状況認識装置
１９ 情報統合部
２０ カメラ
２１ カメラ
１００ 信号機
１０１ 信号機
１２０ 横断歩道
２００ 第１画像入力部
２１０ 第２画像入力部
Ｓ 太陽
Ｃ 車両

Claims (1)

1. 直進する道路上に配置された第１信号機の画像を、第１カメラを介して入力する第１画像入力部と、
   前記道路上に前記第１信号機と所定領域を隔てて、前記第１信号機と対向して配置された第２信号機及び前記所定領域の画像を、第２カメラを介して入力する第２画像入力部と、
   前記第１画像入力部により取得された前記第１信号機の画像を認識できない場合は、前記第２画像入力部により取得された前記第２信号機及び前記所定領域の画像に基づいて、前記第１信号機の信号情報を判定する判定部と、を備える、信号機判定装置。

Images