JP2019049892A - 信号機認識装置 - Google Patents

Abstract

【課題】認識の信頼度が低下した場合、信号機の色の変化に応じて信号機の認識を再度精度よく行う。【解決手段】信号機認識装置１は、カメラ２の複数の撮像情報に基づいて、過去の撮像情報ほど認識に与える影響を小さくしつつ信号機が示す色を認識し、認識の信頼度を算出する第１認識部１１と、信頼度が予め定められた信頼度閾値未満であるか否かを判定する信頼度判定部１２と、信頼度が信頼度閾値未満であると判定された場合、信号機が示す色が赤から青に変化したか否かを判定する変化判定部１３と、信号機が示す色が赤から青に変化したと判定された場合、複数の撮像情報に基づいて、過去の撮像情報ほど認識に与える影響を小さくしつつ信号機及び信号機が示す色を認識する第２認識部１４と、を備える。第２認識部１４は、第１認識部１１よりも多くの数の撮像情報に基づいて認識処理を行う。【選択図】図１

Description

本発明は、信号機認識装置に関する。

信号機の色を認識し、認識結果に基づいて車両の走行を制御することが行われている。例えば、特許文献１には、カメラによって撮像された撮像情報に基づいて、信号機の有無、及び信号機の色を認識することが記載されている。

特開２０１５−８９０７５号公報

ここで、信号機の認識の信頼度が低下した場合、車両を適切に制御できないことがある。また、認識の信頼度が低下した場合、信号機の認識処理を再度行うことが考えられるが、信号機の色の変化によっては、認識処理を再度行うことなく車両の制御を行うことがよい場合がある。このため、本技術分野では、認識の信頼度が低下した場合、信号機の色の変化に応じて信号機の認識を再度精度よく行うことが望まれている。

本発明は、車両の前方の信号機を認識する信号機認識装置であって、車両に搭載され、車両の前方を所定時間ごとに撮像して、撮像ごとに撮像情報を出力するカメラと、撮像情報に基づいて、信号機及び信号機が示す色を認識し、認識の信頼度を算出する第１認識部と、第１認識部で算出された信頼度が予め定められた信頼度閾値未満であるか否かを判定する信頼度判定部と、信頼度が信頼度閾値未満であると判定された場合、第１認識部で認識された信号機が示す色が赤から青に変化したか否かを判定する変化判定部と、信号機が示す色が赤から青に変化したと判定された場合、撮像情報に基づいて、信号機及び信号機が示す色を認識する第２認識部と、を備え、第１認識部は、所定の時刻に撮像された撮像情報と所定の時刻よりも前に撮像された第１の所定数の撮像情報とに基づいて、時間的に過去に撮像された撮像情報ほど認識に与える影響を小さくしつつ、所定の時刻における信号機及び信号機が示す色の認識並びに認識の信頼度の算出を行い、第２認識部は、所定の時刻に撮像された撮像情報と所定の時刻よりも前に撮像された第２の所定数の撮像情報とに基づいて、時間的に過去に撮像された撮像情報ほど認識に与える影響を小さくしつつ、所定の時刻における信号機及び信号機が示す色を認識し、第２の所定数は、第１の所定数よりも数が多い。

本発明によれば、認識の信頼度が低下した場合、信号機の色の変化に応じて信号機の認識を再度精度よく行うことができる。

実施形態に係る信号機認識装置の概略構成を示す図である。 信号機認識装置における認識処理の流れを示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１に示される信号機認識装置１は、車両に搭載され、車両の前方に位置する信号機及び信号機が示す色を認識する。信号機認識装置１で認識された信号機の認識結果は、図示しない走行制御装置に送信される。走行制御装置は、信号機認識装置１で認識された信号機の認識結果に基づいて、車両の自動運転制御など、車両の種々の制御を行う。

信号機認識装置１は、カメラ２、及びＥＣＵ３を備えている。カメラ２は、車両の前方を撮像する撮像機器である。カメラ２は、車両のフロントガラスの裏側に設けられている。カメラ２は、車両の前方を所定時間ごとに撮像して、撮像ごとに撮像情報をＥＣＵ３へ出力する。カメラ２は、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有している。ステレオカメラの撮像情報には、奥行き方向の情報も含まれている。

ＥＣＵ３は、ＣＰＵ［Central Processing Unit］、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。ＥＣＵ３では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。ＥＣＵ３は、複数の電子ユニットから構成されていてもよい。

ＥＣＵ３は、カメラ２から入力された撮像情報に基づいて、車両の前方の信号機及び信号機が示す色を認識する。ＥＣＵ３は、機能的には、第１認識部１１、信頼度判定部１２、変化判定部１３、第２認識部１４、及び出力部１５を備えている。

第１認識部１１は、カメラ２の撮像情報に基づいて、周知の画像解析方法等を用いて、信号機及び信号機が示す色を認識し、認識の信頼度を算出する。具体的には、第１認識部１１は、所定の時刻に撮像された撮像情報と所定の時刻よりも前に撮像された第１の所定数の撮像情報とに基づいて、所定の時刻における信号機及び信号機が示す色の認識並びに認識の信頼度の算出を行う。

また、第１認識部１１は、複数の撮像情報を用いて信号機の認識を行う際に、時間的に過去に撮像された撮像情報ほど認識に与える影響を小さくしつつ、信号機及び信号機が示す色の認識並びに認識の信頼度の算出を行う。第１認識部１１は、時間的に過去に撮像された撮像情報ほど認識に与える影響を小さくする際に、減衰を用いた指数関数による重み付けを行ってもよい。第１認識部１１は、指数関数として、時間が進むに従って値が大きくなる関数を用いてもよい。

ここで、車両が信号機に向かって走行している場合、撮像された時間が所定の時刻に近い撮像情報ほど（新しい撮像情報ほど）車両が信号機に近づくために信号機が鮮明に映し出され、信号機及び信号機が示す色を精度よく認識できる。また、信号機が示す色は所定タイミングで変わるため、撮像された時間が所定の時刻に近い撮像情報ほど（新しい撮像情報ほど）、所定の時刻において信号機が示す色が正確に写されている。このため、第１認識部１１は、時間的に過去に撮像された撮像情報ほど認識に与える影響を小さくすることにより、所定の時刻における信号機及び信号機の色を精度よく認識できる。

例えば、第１認識部１１は、ディープラーニングにおけるＣＮＮ（ConvolutionalNeural Network）によって、撮像情報から信号機及び信号機が示す色を認識し、認識の信頼度を算出することができる。また、ＣＮＮでは、出力層においてソフトマックス関数を使用することで、認識の確率が得られる。第１認識部１１は、得られた確率を認識の信頼度として用いることができる。例えば、ＣＮＮによって信号機及び信号機が示す色の認識を行った場合、信号機が示す各色（赤、青（緑）、黄）について、認識の確率が出力される。例えば、第１認識部１１は、最も確率が高い色を信号機が示す色として認識し、その色の確率を信頼度として用いてもよい。

例えば、第１認識部１１は、撮像情報に基づいて信号機を認識する際に、ＧＰＳ等によって得られる車両の位置、及び地図情報に含まれる信号機の設置位置などに基づいて、撮像された画像中における信号機の位置を把握してもよい。

信頼度判定部１２は、第１認識部１１で算出された認識の信頼度が予め定められた信頼度閾値未満であるか否かを判定する。この信頼度閾値は、信号機認識装置１の設計者等によって予め設定される。

変化判定部１３は、信頼度判定部１２において信頼度が信頼度閾値未満であると判定された場合、第１認識部１１で認識された信号機が示す色が赤から青に変化したか否かを判定する。ここでは、変化判定部１３は、第１認識部１１において前回認識された信号機が示す色と、今回認識された信号機が示す色とを比較する。

第２認識部１４は、変化判定部１３において信号機が示す色が赤から青に変化したと判定された場合、カメラ２の撮像情報に基づいて、信号機及び信号機が示す色を認識する。すなわち、信号機認識装置１は、第１認識部１１における認識の信頼度が低下し、且つ信号機が示す色が赤から青に変化したと判定された場合、第２認識部１４を用いて再度、信号及び信号機が示す色の認識を行う。

具体的には、第２認識部１４は、所定の時刻に撮像された撮像情報と所定の時刻よりも前に撮像された第２の所定数の撮像情報とに基づいて、所定の時刻における信号機及び信号機が示す色を認識する。また、第２認識部１４は、複数の撮像情報を用いて信号機の認識を行う際に、時間的に過去に撮像された撮像情報ほど認識に与える影響を小さくしつつ、信号機及び信号機が示す色を認識する。第２認識部１４は、時間的に過去に撮像された撮像情報ほど認識に与える影響を小さくする際に、第１認識部１１と同様に、減衰を用いた指数関数による重み付けを行ってもよい。第２認識部１４は、第１認識部１１と同様に、指数関数として、時間が進むに従って値が大きくなる関数を用いてもよい。

第２認識部１４は、第１認識部１１と同様に、例えば、ディープラーニングにおけるＣＮＮによって、信号機及び信号機が示す色を認識することができる。第２認識部１４は、信号機の色の認識と共に、信頼度を算出してもよい。

ここで、第１認識部１１は、所定の時刻における信号機及び信号機が示す色を認識する際に、所定の時刻よりも前に撮像された撮像情報として、第１の所定数の撮像情報を用いる。第２認識部１４は、所定の時刻における信号機及び信号機が示す色を認識する際に、所定の時刻よりも前に撮像された撮像情報として、第２の所定数の撮像情報を用いる。この第２の所定数は、第１の所定数よりも数が多い。第２認識部１４は、第１認識部１１よりも多くの数の撮像情報に基づいて信号機及び信号機の色の認識を行うことで、認識の精度を向上させることができる。

例えば、第１の所定数を「Ｎ」とした場合、第２の所定数は、「Ｎ＋ａ」となる。但し、Ｎ及びａは、１以上の自然数とする。すなわち、第２認識部１４は、第１認識部１１よりも多くの数の撮像情報を用いて、所定の時刻における信号機及び信号機が示す色を認識する。第１の所定数及び第２の所定数は、信号機認識装置１の設計者等によって予め設定される。

ここで、第１認識部１１による認識処理に加えて第２認識部１４における認識処理を更に行って信号機の認識処理を行った場合、第１認識部１１による認識処理のみを行った場合に比べて認識の精度は向上するものの、認識処理に要する時間が長くなる。例えば、信号機認識装置１における信号機が示す色の認識結果を用いて車両の自動運転制御が行われている場合、信号機が示す色が青から赤に変化すると、走行制御装置は、車両を停止させる。信号機が示す色が青から赤に変化した場合には、停止線の位置又は前方の車両との位置関係を考慮して車両を停止させる必要があるため、信号機が示す色が素早く認識されることが望ましい。一方、信号機が示す色が赤から青に変化すると、走行制御装置は、停止状態の車両を発進させる。停止していた車両を発進させる際には、車両を停止させる場合に比べて、車両の走行の制御に遅延が生じても（発進が少し遅れても）周囲の車両等に与える影響が小さい。このため、信号機認識装置１は、第１認識部１１における認識の信頼度が低く、且つ信号機が示す色が赤から青に変化したと判定された場合に、第２認識部１４を用いて認識処理を再度行い、認識の精度を向上させる。

出力部１５は、信号機の色の認識結果を、車両の制御を行う走行制御装置に出力する。出力部１５は、第１認識部１１で算出された認識の信頼度が予め定められた信頼度閾値以上であると信頼度判定部１２で判定された場合、第１認識部１１の認識結果を出力する。また、出力部１５は、第１認識部１１で算出された認識の信頼度が予め定められた信頼度閾値未満であると信頼度判定部１２で判定され、且つ変化判定部１３において信号機が示す色が赤から青に変化していないと判定された場合、第１認識部１１の認識結果を出力する。

更に、出力部１５は、第１認識部１１で算出された認識の信頼度が予め定められた信頼度閾値未満であると信頼度判定部１２で判定され、且つ変化判定部１３において信号機が示す色が赤から青に変化したと判定された場合、第２認識部１４の認識結果を出力する。なお、出力部１５は、第１認識部１１又は第２認識部１４の認識結果を出力する際に、認識の信頼度も一緒に出力してもよい。

次に、信号機認識装置１で行われる認識処理の流れについて、図２のフローチャートを用いて説明する。なお、カメラ２は所定時間ごとに撮像を行い、撮像ごとに撮像情報をＥＣＵ３に出力している。図２に示される処理は、撮像情報がＥＣＵ３に入力されるごとに実行される。

図２に示されるように、第１認識部１１は、複数の撮像情報に基づいて、時間的に過去に撮像された撮像情報ほど認識に与える影響を小さくしつつ、信号機及び信号機が示す色の認識並びに認識の信頼度の算出を行う（Ｓ１０１）。信頼度判定部１２は、第１認識部１１で算出された認識の信頼度が予め定められた信頼度閾値未満であるか否かを判定する（Ｓ１０２）。

認識の信頼度が予め定められた信頼度閾値未満である場合（Ｓ１０２：ＹＥＳ）、変化判定部１３は、信号機が示す色が赤から青に変化したか否かを判定する（Ｓ１０３）。信号機が示す色が赤から青に変化した場合（Ｓ１０３：ＹＥＳ）、第２認識部１４は、第１認識部１１が認識処理を行った場合よりも多くの数の撮像情報に基づいて、時間的に過去に撮像された撮像情報ほど認識に与える影響を小さくしつつ、信号機及び信号機が示す色を認識する（Ｓ１０４）。出力部１５は、第２認識部１４において信号機の色が認識された場合、第２認識部１４の認識結果を、車両の制御を行う走行制御装置に出力する（Ｓ１０５）。

Ｓ１０２の処理において認識の信頼度が予め定められた信頼度閾値未満でないと判定された場合（Ｓ１０２：ＮＯ）、又は、Ｓ１０３の処理において信号機が示す色が赤から青に変化したと判定されていない場合（Ｓ１０３：ＮＯ）、出力部１５は、第１認識部１１の認識結果を、車両の制御を行う走行制御装置に出力する（Ｓ１０６）。

以上のように信号機認識装置１は、第１認識部１１における認識の信頼度が低下し、且つ信号機の色が赤から青に変化した場合、第１認識部１１が認識処理を行った場合よりも多くの数の撮像情報を用いて信号機及び信号機が示す色の認識を行う。これにより、信号機認識装置１は、認識の信頼度が低下した場合、信号機の色の変化に応じて信号機の認識を再度精度よく行うことができる。

信号機認識装置１における認識結果は、車両の走行の制御以外の処理に用いられてもよい。例えば、信号機認識装置１は、認識の信頼度が低下した場合、信頼度が低下した旨の報知を車両の運転者に対して行ってもよい。

１…信号機認識装置、２…カメラ、１１…第１認識部、１２…信頼度判定部、１３…変化判定部、１４…第２認識部。

Claims (1)

1. 車両の前方の信号機を認識する信号機認識装置であって、
   前記車両に搭載され、前記車両の前方を所定時間ごとに撮像して、撮像ごとに撮像情報を出力するカメラと、
   前記撮像情報に基づいて、前記信号機及び前記信号機が示す色を認識し、認識の信頼度を算出する第１認識部と、
   前記第１認識部で算出された前記信頼度が予め定められた信頼度閾値未満であるか否かを判定する信頼度判定部と、
   前記信頼度が前記信頼度閾値未満であると判定された場合、前記第１認識部で認識された前記信号機が示す色が赤から青に変化したか否かを判定する変化判定部と、
   前記信号機が示す色が赤から青に変化したと判定された場合、前記撮像情報に基づいて、前記信号機及び前記信号機が示す色を認識する第２認識部と、
   を備え、
   前記第１認識部は、所定の時刻に撮像された前記撮像情報と前記所定の時刻よりも前に撮像された第１の所定数の前記撮像情報とに基づいて、時間的に過去に撮像された前記撮像情報ほど認識に与える影響を小さくしつつ、前記所定の時刻における前記信号機及び前記信号機が示す色の認識並びに認識の信頼度の算出を行い、
   前記第２認識部は、所定の時刻に撮像された前記撮像情報と前記所定の時刻よりも前に撮像された第２の所定数の前記撮像情報とに基づいて、時間的に過去に撮像された前記撮像情報ほど認識に与える影響を小さくしつつ、前記所定の時刻における前記信号機及び前記信号機が示す色を認識し、
   前記第２の所定数は、前記第１の所定数よりも数が多い、信号機認識装置。

Images