JP2023084575A - 点灯状態識別装置 - Google Patents

Abstract

【課題】車両に設けられたウィンカー及びブレーキランプの点灯状態を精度良く識別することが可能な点灯状態識別装置を提供する。【解決手段】点灯状態識別装置は、車両が表された画像を時系列順に識別器４００に入力することで車両のウィンカー及びブレーキランプの点灯状態を識別する識別部３３を有する。識別器４００は、画像が入力される度に、画像からウィンカー及びブレーキランプの特徴を表す特徴マップを算出する特徴算出部４０１と、再帰構造を有し、特徴マップが時系列順に入力されることで再帰的に利用される第１の内部状態を更新しつつブレーキランプの点灯状態を識別する第１の点灯状態識別部４０２－１と、再帰構造を有し、特徴マップが時系列順に入力されることで再帰的に利用される第２の内部状態を更新しつつ、第２の内部状態と第１の内部状態との差分に基づいてウィンカーの点灯状態を識別する第２の点灯状態識別部４０２－２とを有する。【選択図】図４

Description

本発明は、車両に設けられたランプの点灯状態を識別する点灯状態識別装置に関する。

車両を自動運転制御し、あるいは、車両のドライバの運転を支援するために、車両の周囲を走行する他の車両の挙動を予測できることが好ましい。そこで、車両に搭載されたカメラにより得られた、車両の周囲を表す画像から、特に、他の車両に設けられたランプの点灯状態を検出する技術が提案されている（特許文献１～４を参照）。

特許文献１には、カメラの撮像画像データにより、前方車両の制動灯の点灯状態、及び／または前方車両の方向指示器の点灯状態を検出することが開示されている。さらに、特許文献１には、点灯状態の検出において、カメラが撮像した動画像のデータを取得し、あるいは、撮像時刻が異なる複数の静止画像のデータを取得し、前方車両の制動灯及び／または方向指示器の点灯状態の経時的な変化を検出することが開示されている。

また、特許文献２には、ウインカーランプの点灯状態について、周辺車両の画像を車体の中心から左右方向に分割した左右の各領域内に、明度が閾値以上の橙色の部分がそれぞれ存在するか否かによって検出することが開示されている。また、特許文献２には、ブレーキランプの点灯状態について、周辺車両の画像の領域内に、明度が閾値以上の赤色の部分が存在するか否かによって検出することが記載されている。

さらに、特許文献３には、入力画像に含まれる車両に関する複数の特徴点を検出する学習器が、車両の各ライトの点灯有無を出力するように学習されること、及び、そのような学習器が畳み込みニューラルネットワークを含んで構成されることが開示されている。

さらにまた、特許文献４には、夜間時に道路を運行する車両を含み所定範囲を規定する画像データの領域ごとの色相情報及び明度情報に基づいてランプを抽出し、かつ、抽出したランプの色相情報及び明度情報からランプを分類することが開示されている。

特開２０１９－２１２１３５号公報 特開２０１３－１６８０１９号公報 特開２０１９－１０６１９３号公報 特開２００１－２１６５９７号公報

車両の挙動を正確に予測するために、車両に設けられたウィンカー及びブレーキランプのそれぞれの点灯状態の識別精度を向上することが求められている。

そこで、本発明は、車両に設けられたウィンカー及びブレーキランプの点灯状態を精度良く識別することが可能な点灯状態識別装置を提供することを目的とする。

一つの実施形態によれば、点灯状態識別装置が提供される。この点灯状態識別装置は、車両が表された時系列の一連の画像のそれぞれを識別器に入力することで、車両のウィンカーの点灯状態及びブレーキランプの点灯状態を識別する識別部を有する。そして識別器は、時系列に沿って一連の画像の何れかが入力される度に、入力された画像に対して畳み込み演算を実行してウィンカー及びブレーキランプの特徴を表す特徴マップを算出する特徴算出部と、再帰構造を有し、一連の画像のそれぞれから算出された特徴マップが時系列順に入力されることで再帰的に利用される第１の内部状態を更新しつつブレーキランプの点灯状態を識別する第１の点灯状態識別部と、再帰構造を有し、一連の画像のそれぞれから算出された特徴マップが時系列順に入力されることで再帰的に利用される第２の内部状態を更新しつつ、第２の内部状態と第１の内部状態との差分に基づいてウィンカーの点灯状態を識別する第２の点灯状態識別部とを有する。

本開示に係る点灯状態識別装置は、車両に設けられたウィンカー及びブレーキランプの点灯状態を精度良く識別することができるという効果を奏する。

点灯状態識別装置が実装される車両制御システムの概略構成図である。 点灯状態識別装置の一実施形態である電子制御装置のハードウェア構成図である。 点灯状態識別処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 点灯状態の識別に用いられる第２の識別器の概略構成図である。 点灯状態識別処理を含む車両制御処理の動作フローチャートである。 変形例による第２の識別器の概略構成図である。

以下、図を参照しつつ、点灯状態識別装置、及び、点灯状態識別装置において実行される点灯状態識別方法ならびに点灯状態識別用コンピュータプログラムについて説明する。この点灯状態識別装置は、時系列に得られる一連の画像に表される車両のウィンカー及びブレーキランプのそれぞれの点灯状態を識別する。

発明者は、ブレーキランプとウィンカーの両方が点灯していると、ウィンカーの点灯状態の識別が困難となる場合があるという知見を得た。これは、以下の理由によることが判明した。ブレーキランプが点灯していると、ある程度の期間にわたって継続して画像上でブレーキランプが表されている領域の輝度が高くなる。これに対して、ウィンカーが表された領域では、ウィンカーの点滅に伴って時間的に輝度が周期的に変動する。また、ブレーキランプが表された領域は、ウィンカーが表された領域よりも広い。そのため、ウィンカー及びブレーキランプの点灯状態を識別する識別器に、車両が表された、時系列に得られる画像を順次入力すると、ブレーキランプに関しては十分な特徴が抽出される。しかし、ウィンカーについては、点灯したブレーキランプの影響を受けて十分な特徴が得られない。その結果として、ウィンカーの点灯状態の識別が困難になることがある。

そこで、この点灯状態識別装置は、ウィンカー及びブレーキランプの点灯状態を識別するために、ウィンカー用とブレーキランプ用とでそれぞれ別個に、車両が表された画像が入力される度に内部状態を更新可能な再帰構造を有する識別器を利用する。そして識別器は、ブレーキランプの点灯状態を、ブレーキランプ用の再帰構造の内部状態に応じた出力に基づいて識別する。一方、識別器は、ウィンカーの点灯状態を、ウィンカー用の再帰構造の内部状態とブレーキランプ用の再帰構造の内部状態との差分に基づいて識別する。

以下では、点灯状態識別装置を、車両制御システムに適用した例について説明する。この例では、点灯状態識別装置は、車両に搭載されたカメラにより得られた時系列の一連の画像に対して点灯状態識別処理を実行することで、車両の周囲に存在する他の車両に設けられたウィンカー及びブレーキランプの点灯状態を識別する。

図１は、点灯状態識別装置が実装される車両制御システムの概略構成図である。また図２は、点灯状態識別装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、点灯状態識別装置の一例である電子制御装置（ＥＣＵ）３とを有する。カメラ２とＥＣＵ３とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両制御システム１は、車両１０の自動運転制御に用いられる地図を記憶するストレージ装置をさらに有していてもよい。さらに、車両制御システム１は、LiDARあるいはレーダといった測距センサを有していてもよい。さらにまた、車両制御システム１は、GPS受信機といった衛星測位システムに準拠して車両１０の自己位置を測位するための受信機を有していてもよい。さらにまた、車両制御システム１は、他の機器と無線通信するための無線端末、及び、車両１０の走行予定ルートを探索するためのナビゲーション装置を有していてもよい。

カメラ２は、車両１０の周囲を表す画像を生成する撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。カメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であることが好ましい。なお、車両１０には、撮影方向または焦点距離が異なる複数のカメラが設けられてもよい。例えば、車両１０の前方領域を撮影するカメラ２とは別個に、車両１０の後方領域を撮影するカメラが設けられてもよい。

カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワーク４を介してＥＣＵ３へ出力する。

ＥＣＵ３は、車両１０を制御する。本実施形態では、ＥＣＵ３は、カメラ２により得られた時系列の一連の画像から検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ３を車内ネットワーク４に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク４を介して、カメラ２と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、ＥＣＵ３のプロセッサ２３により実行される点灯状態識別処理において使用される各種のデータ及びパラメータを記憶する。例えば、メモリ２２は、カメラ２から受信した画像、点灯状態識別処理で利用される各識別器を特定するためのパラメータセットなどを記憶する。さらに、メモリ２２は、識別器の内部状態といった、点灯状態識別処理の途中で生成される各種のデータを一定期間記憶する。さらにまた、メモリ２２は、車線区画線など、車両１０の走行に影響する地物を表す高精度地図といった車両１０の走行制御に利用される情報を記憶してもよい。

プロセッサ２３は、制御部の一例であり、１個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニット(Graphics Processing Unit, GPU)といった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、所定の周期ごとに、カメラ２から受信した画像に対して点灯状態識別処理を含む車両制御処理を実行する。そしてプロセッサ２３は、検出された車両１０の周囲の物体に基づいて、車両１０を自動運転するよう、車両１０を制御する。

図３は、点灯状態識別処理を含む車両制御処理に関する、ＥＣＵ３のプロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、追跡部３２と、状態識別部３３と、運転計画部３４と、車両制御部３５とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、物体検出部３１、追跡部３２及び状態識別部３３が、点灯状態識別処理を実行する。なお、車両１０に複数のカメラが設けられる場合には、プロセッサ２３は、カメラごとに、そのカメラにより得られた画像に基づいて点灯状態識別処理を実行してもよい。

物体検出部３１は、所定の周期ごとに、カメラ２から受信した最新の画像を物体検出用の第１の識別器に入力する。これにより、物体検出部３１は、その画像に表されている検出対象物体を含む領域（すなわち、物体領域）を検出するとともに、その検出対象物体の種類を特定する。

第１の識別器として、例えば、コンボリューショナルニューラルネットワーク（以下、単にCNNと呼ぶ）型のアーキテクチャを持つディープニューラルネットワーク(DNN)が用いられる。具体的に、第１の識別器として、Single Shot MultiBox Detector(SSD)、または、Faster R-CNNといったDNNが用いられる。このようなDNNは、検出対象物体が表された教師画像を多数用いて、誤差逆伝搬法といった所定の学習手法に従って検出対象物体を検出するように予め学習される。

また、第１の識別器として、サポートベクトルマシンあるいはadaBoostといった、他の機械学習手法による識別器が用いられてもよい。この場合、物体検出部３１は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウからHistograms of Oriented Gradients(HOG)といった特徴量を算出し、算出した特徴量を第１の識別器へ入力する。これにより、物体検出部３１は、そのウィンドウについて確信度を求める。そして物体検出部３１は、何れかの種類の検出対象物体について確信度が所定の確信度閾値以上となるウィンドウに、その検出対象物体が表されていると判定し、かつ、そのウィンドウを物体領域とすればよい。

なお、検出対象物体は、車両１０の周囲を走行する他の車両である。また、検出対象物体には、他の車両以外の、車両１０の走行制御に影響する物体が含まれてもよい。そのような物体には、例えば、人、道路標識、信号機、車線区画線などの道路標示、及び、道路上のその他の物体などが含まれる。

物体検出部３１は、各物体領域の画像上での位置及び範囲と、その物体領域に含まれる物体の種類とを、検出物体リストに登録する。そして物体検出部３１は、検出物体リストをメモリ２２に記憶する。

追跡部３２は、最新の画像から検出された物体領域のそれぞれについて、その物体領域に表された検出対象物体を、検出物体リストを参照して過去の画像から検出された検出対象物体と対応付けることで、その物体領域に表された検出対象物体を追跡する。さらに、追跡部３２は、追跡中の検出対象物体のうち、車両１０の周囲を走行する他の車両を点灯状態識別の対象となる車両として選択する。

追跡部３２は、例えば、Lucas-Kanade法といった、オプティカルフローに基づく追跡処理を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された検出対象物体を追跡する。そのため、追跡部３２は、例えば、着目する物体領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、その物体領域から複数の特徴点を抽出する。そして追跡部３２は、複数の特徴点のそれぞれについて、過去の画像における物体領域における対応する点を、適用される追跡手法に従って特定することで、オプティカルフローを算出すればよい。あるいは、追跡部３２は、画像から検出された移動物体の追跡に適用される他の追跡手法を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された検出対象物体を追跡してもよい。

追跡部３２は、最新の画像から検出された検出対象物体のうち、過去の画像に表された検出対象物体と対応付けられなかった検出対象物体に対して、新たな追跡対象として、他の追跡中の検出対象物体と異なる識別番号を割り当てる。そして追跡部３２は、その割り当てた識別番号を、新たな追跡対象と関連付けて検出物体リストに登録する。一方、追跡部３２は、最新の画像から検出された検出対象物体のうち、過去の画像に表された検出対象物体と対応付けられたもの、すなわち、追跡中の検出対象物体について、その追跡中の検出対象物体に割り当てられた識別番号と同じ識別番号を対応付ける。

追跡部３２は、追跡中の検出対象物体のそれぞれの物体の種類を参照して、追跡中の検出対象物体のうち、車両１０の周囲を走行する他の車両を、点灯状態識別の対象として特定する。なお、追跡部３２は、追跡中の他の車両の全てを点灯状態識別の対象としてもよく、あるいは、追跡中の他の車両のうちの何れかを、点灯状態識別の対象としてもよい。

車両１０に近い検出対象物体ほど、車両１０の運転制御に対する影響が大きい。そこで、追跡部３２は、追跡中の他の車両のうち、車両１０に近い方から順に所定数の車両を、点灯状態識別の対象として選択する。例えば、物体領域のサイズが大きいほど、車両１０からその物体領域に表された車両までの距離が近いと推定される。そこで、追跡部３２は、例えば、最新の画像上での物体領域のサイズが大きい方から順に所定数の車両を、点灯状態識別の対象として選択する。

あるいは、追跡部３２は、追跡中の他の車両のそれぞれについて、その車両が表された物体領域のサイズと、その車両と車両１０間の距離が所定距離であると仮定した場合の基準サイズとの比に基づいて車両１０からその車両までの距離を推定してもよい。あるいはまた、車両制御システム１がLiDARあるいはレーダといった測距センサ（図示せず）を有している場合、その測距センサにより、追跡中のそれぞれの車両までの距離が測定されてもよい。この場合、例えば、画像上で着目する車両が表された物体領域の重心に対応する、カメラ２からの方位に相当する測距センサからの方位における距離が、車両１０からその着目する車両までの距離として測定される。そして追跡部３２は、推定または測定された車両１０からの距離が近い方から順に、所定数の車両を、点灯状態識別の対象として選択すればよい。

あるいはまた、追跡部３２は、追跡中の他の車両のなかから、車線ごとに決められた数の車両を、点灯状態識別の対象として選択してもよい。例えば、追跡部３２は、車両１０が走行中の車線と同じ車線を走行中の車両のうち、車両１０に最も近いと推定される車両を、点灯状態識別の対象として選択する。さらに、追跡部３２は、車両１０が走行中の車線の左右に隣接する車線または路肩のそれぞれから、車両１０に最も近いと推定される車両を、点灯状態識別の対象として選択する。この場合、例えば、物体検出部３１が最新の画像から車線区画線を検出している場合には、追跡部３２は、車線区画線と物体領域との位置関係に基づいて、車両ごとに、その車両が走行中の車線を特定すればよい。例えば、追跡部３２は、着目する車両について、その車両を含む物体領域の下端の両側に位置する二つの車線区画線で挟まれた車線をその車両が走行していると判定すればよい。また、追跡部３２は、車線ごとに、上記の点灯状態識別の対象の選択と同様の処理を実行することで、その車線を走行中の車両のうち、車両１０に最も近い車両を、点灯状態識別の対象として選択すればよい。なお、追跡部３２は、車線ごとに、車両１０に近い方から順に二つ以上の車両を選択してもよい。

追跡部３２は、点灯状態識別の対象となる他の車両の識別番号を状態識別部３３へ通知する。

状態識別部３３は、識別部の一例であり、所定の周期ごとに、点灯状態の識別対象となる、追跡中の他の車両のそれぞれについて、その車両に設けられたウィンカー及びブレーキランプの点灯状態を識別する。状態識別部３３は、追跡中の他の車両のそれぞれについて同じ処理をすればよいので、以下では、一つの車両に対する処理について説明する。

状態識別部３３は、着目する車両の追跡中にカメラ２により得られた時系列の一連の画像のそれぞれについて、時系列順に、その画像において着目する車両が表された物体領域を第２の識別器に入力する。そして状態識別部３３は、第２の識別器の出力結果に従って、その車両のウィンカー及びブレーキランプの点灯状態を識別する。

図４は、点灯状態の識別に用いられる第２の識別器の概略構成図である。第２の識別器４００は、特徴算出部４０１と、二つの点灯状態識別部４０２－１、４０２－２を有する。

特徴算出部４０１は、時系列に沿って一連の画像の何れかの物体領域が入力される度に、その画像の物体領域に対して畳み込み演算を実行してウィンカー及びブレーキランプの特徴を表す特徴マップを算出する。そのために、特徴算出部４０１は、入力側から出力側へ向けて順に並べられる複数の畳み込み層を有するCNNとして構成される。さらに、特徴算出部４０１は、各畳み込み層の間において、ReLUなどの活性化演算を行う活性化層を有してもよい。さらにまた、特徴算出部４０１は、何れかの二つの畳み込み層の間に、プーリング演算を実行するプーリング層を有してもよい。これにより、一つの物体領域に対して解像度の異なる特徴マップが得られる。

なお、状態識別部３３は、一連の画像のそれぞれの物体領域について、ダウンサンプリング、アップサンプリング、bi-linear補間またはbi-cubic補間などのサイズ変換処理を実行することで所定のサイズ（例えば、32×32）にリサイズしてもよい。そして状態識別部３３は、リサイズされた物体領域を第２の識別器の特徴算出部に入力してもよい。これにより、点灯状態の識別対象となるランプを有する他の車両の追跡の途中で車両１０とその車両間の相対距離が変化して、画像上でのその車両のサイズが変化しても、第２の識別器は、入力される物体領域を一定のサイズとして扱える。そのため、第２の識別器の構成が簡単化される。

二つの点灯状態識別部のうち、点灯状態識別部４０２－１は、第１の点灯状態識別部の一例であり、入力側から順に、再帰演算層４１１と、全結合層４１２とを有する。そして点灯状態識別部４０２－１の再帰演算層４１１には、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力される。再帰演算層４１１は、入力された特徴マップに基づいて再帰的に利用される内部状態を更新しつつ、更新された内部状態に応じた演算結果を出力する。再帰演算層４１１から出力された演算結果は全結合層４１２に入力される。さらに、再帰演算層４１１による演算結果は、点灯状態識別部４０２－２にも出力される。全結合層４１２は、入力された演算結果に対してシグモイド演算あるいはソフトマックス演算を実行することで、ブレーキランプの点灯状態を識別する。すなわち、全結合層４１２は、ブレーキランプの点灯状態を、点灯中または消灯中の２個のクラスの何れかに分類し、その分類結果を出力する。また、点灯状態識別部４０２－１の再帰演算層４１１の内部状態は、第１の内部状態の一例であり、メモリ２２に記憶される。そして点灯状態識別部４０２－１は、特徴マップが入力される度に、メモリ２２から最新の内部状態を読み込んで再帰演算層４１１の演算に適用する。

一方、点灯状態識別部４０２－２は、第２の点灯状態識別部の一例であり、入力側から順に、再帰演算層４２１と、減算器４２２と、全結合層４２３とを有する。そして点灯状態識別部４０２－２の再帰演算層４２１には、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力される。再帰演算層４２１は、入力された特徴マップに基づいて再帰的に利用される内部状態を更新しつつ、更新された内部状態に応じた演算結果を出力する。再帰演算層４２１から出力された演算結果は、点灯状態識別部４０２－１の再帰演算層４１１から出力された演算結果とともに、減算器４２２に入力される。減算器４２２は、再帰演算層４２１から出力された演算結果の各要素の値から、再帰演算層４１１から出力された演算結果の対応する要素の値を減算する。そして減算器４２２による減算の結果は、全結合層４２３に入力される。全結合層４２３は、入力された演算結果に対してシグモイド演算あるいはソフトマックス演算を実行することで、ウィンカーの点灯状態を識別する。すなわち、全結合層４２３は、再帰演算層４１１の内部状態と再帰演算層４２１の内部状態との差分に基づいて、ウィンカーの点灯状態を、左点滅、右点滅、ハザードまたは消灯の４個のクラスの何れかに分類し、その分類結果を出力する。また、点灯状態識別部４０２－２の再帰演算層４２１の内部状態は、第２の内部状態の一例であり、メモリ２２に記憶される。そして点灯状態識別部４０２－２は、特徴マップが入力される度に、メモリ２２から最新の内部状態を読み込んで再帰演算層４２１の演算に適用する。

このように、状態識別部３３は、点灯状態識別部４０２－１の全結合層４１２からの出力、及び、点灯状態識別部４０２－２の全結合層４２３からの出力に基づいて、ウィンカー及びブレーキランプの点灯状態を識別できる。

上述したように、ブレーキランプの点灯状態の識別に利用される再帰演算層４１１の内部状態に応じた出力とウィンカーの点灯状態の識別にのみ利用される再帰演算層４２１の内部状態に応じた出力との差分演算の結果がウィンカーの点灯状態の識別に利用される。そのため、ウィンカーの特徴がより明確となる。さらに、再帰演算層４１１及び再帰演算層４２１により、特徴マップが入力される度に内部状態が更新されるとともに、その内部状態が、点灯状態の識別のために参照される。これにより、ウィンカー及びブレーキランプのそれぞれの点灯状態に応じたウィンカー及びブレーキランプの外観の時間的な変化に基づく特徴が内部状態に反映されることとなる。そのため、識別器４００は、ウィンカーとブレーキランプの両方の点灯状態を精度良く識別することができる。

点灯状態識別部４０２－１の再帰演算層４１１及び点灯状態識別部４０２－２の再帰演算層４２１のそれぞれは、再帰的な構造を持つ層を有するニューラルネットワークとすることができる。より具体的に、再帰演算層４１１及び再帰演算層４２１は、例えば、Recurrent Neural Network(RNN)、Long Short Term Memory(LSTM)またはGated Recurrent Unit(GRU)といった再帰構造を有するニューラルネットワークを含むことができる。なお、点灯状態識別部４０２－１が有する再帰演算層４１１と、点灯状態識別部４０２－２が有する再帰演算層４２１とは、同一の構造を有していてもよく、互いに異なる構造を有していてもよい。

第２の識別器も、第１の識別器と同様に、多数の教師画像を用いて誤差逆伝搬法といった所定の学習手法に従って予め学習される。この学習の際、点灯状態識別部４０２－２の全結合層４２３は、第１の内部状態と第２の内部状態の差分を入力として学習される。そのため、点灯状態識別部４０２－１の再帰演算層４１１及び点灯状態識別部４０２－２の再帰演算層４２１の何れも、その差分を考慮したフィードバックにより学習されることになる。そのため、ブレーキランプの特徴とウィンカーの特徴との差を強調するように第２の識別器４００は学習されることとなる。なお、第２の識別器の学習に用いる教師画像には、車両に設けられるウィンカー及びブレーキランプの点灯状態がアノテーションデータとして付されていればよい。また、第１の識別器と第２の識別器とは、共通の教師データを用いて、誤差逆伝搬法により一体的に学習されてもよい。

状態識別部３３は、点灯状態の識別対象となる、追跡中の他の車両のそれぞれについて、その車両に設けられたウィンカー及びブレーキランプの点灯状態の識別結果をメモリ２２に保存するとともに、運転計画部３４へ出力する。

運転計画部３４は、検出物体リストを参照して、車両１０の周囲に存在する物体と車両１０とが衝突しないように車両１０の走行予定経路（トラジェクトリ）を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３４は、検出物体リストを参照して、カメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、追跡中の個々の物体の画像内座標を鳥瞰画像上の座標（鳥瞰座標）に変換する。その際、運転計画部３４は、各画像の取得時における、車両１０の位置及び姿勢と、追跡中の物体までの推定距離と、車両１０からその物体へ向かう方向とにより、各画像の取得時における、その物体の位置を推定できる。なお、運転計画部３４は、カメラ２により生成された画像と高精度地図とを照合することで、車両１０の位置及び姿勢を推定できる。例えば、運転計画部３４は、車両１０の位置及び姿勢を仮定して、画像から検出された道路上または道路周囲の地物を高精度地図上に投影するか、あるいは、高精度地図に表された車両１０の周囲の道路上または道路周囲の地物を画像上に投影する。そして運転計画部３４は、画像から検出された地物と高精度地図上に表された地物とが最も一致するときの車両１０の位置及び姿勢を、車両１０の実際の位置及び姿勢として推定する。また、運転計画部３４は、画像上での追跡中の物体を含む物体領域の位置及びカメラ２の光軸方向に基づいて、車両１０からその物体へ向かう方向を特定することができる。さらに、運転計画部３４は、車両１０から追跡中の物体までの距離を、追跡部３２において説明したのと同様の手法に従って推定すればよい。

運転計画部３４は、追跡中の物体についての一連の鳥瞰座標に対してKalman FilterまたはParticle filterなどを用いた予測処理を実行することで、その物体の所定時間先までの予測軌跡を推定する。その際、運転計画部３４は、追跡中の物体が車両１０の周囲を走行する他の車両である場合、その車両のウィンカー及びブレーキランプの点灯状態の識別結果を予測軌跡の推定に利用する。例えば、追跡中の車両について、左のウィンカーが点滅している状態である場合、その車両は左側へ車線変更し、あるいは、左折する可能性が高い。そこで、運転計画部３４は、その車両について、左側へ車線変更し、あるいは、左折する予測軌跡を推定する。また、追跡中の車両について、ブレーキランプが点灯している状態である場合、あるいは、ハザードランプが点滅している状態である場合、その車両は減速する可能性が高い。そこで、運転計画部３４は、その車両について、現時点よりも減速するような予測軌跡を推定する。さらに、追跡中の車両について、左右のターンシグナル及びハザードランプの何れも点滅しておらず、かつ、ブレーキランプが消灯している状態である場合、その車両は減速せずに直進する可能性が高い。そこで、運転計画部３４は、その車両について、減速せずに直進するような予測軌跡を推定する。

運転計画部３４は、追跡中の各物体の予測軌跡と、車両１０の位置、速度及び姿勢に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成する。

運転計画部３４は、生成した走行予定経路を車両制御部３５へ通知する。

車両制御部３５は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３５は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３５は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３５は、設定されたアクセル開度に従ってモータへ供給される電力量を求め、その電力量がモータへ供給されるようにモータの駆動回路を制御する。あるいはまた、車両制御部３５は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３５は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求める。そして車両制御部３５は、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。

図５は、プロセッサ２３により実行される、点灯状態識別処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、所定の周期ごとに、図５に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１～Ｓ１０５の処理が点灯状態識別処理に対応する。

プロセッサ２３の物体検出部３１は、カメラ２から得られた最新の画像を第１の識別器に入力して、その画像に表された１以上の検出対象となる物体を検出する。すなわち、物体検出部３１は、画像上で検出対象物体を含む１以上の物体領域を検出する（ステップＳ１０１）。さらに、物体検出部３１は、検出された物体ごとに、その物体の種類を識別する。

プロセッサ２３の追跡部３２は、最新の画像における物体領域のそれぞれについて、その物体領域に表されている物体を、過去の画像から既に検出されている同じ物体と対応付けることで追跡する（ステップＳ１０２）。

プロセッサ２３の状態識別部３３は、追跡中の物体のうちの車両１０の周囲を走行する他の車両について、最新の画像から検出されたその車両を含む物体領域を第２の識別器に入力する。そして第２の識別器の特徴算出部が特徴マップを算出する（ステップＳ１０３）。そして点灯状態識別部４０２－１（第１の点灯状態識別部）が、特徴マップに基づいて再帰的に利用される第１の内部状態を更新しつつ、第１の内部状態に基づいて車両のブレーキランプの点灯状態を識別する（ステップＳ１０４）。さらに、点灯状態識別部４０２－２（第２の点灯状態識別部）が、特徴マップに基づいて再帰的に利用される第２の内部状態を更新しつつ、第１及び第２の内部状態間の差分に基づいてその車両のウィンカーの点灯状態を識別する（ステップＳ１０５）。

プロセッサ２３の運転計画部３４は、追跡中の各物体について、その物体の予測軌跡をもとめ、その予測軌跡と所定の距離以上となるように、車両１０の走行予定経路を生成する（ステップＳ１０６）。その際、運転計画部３４は、追跡中の物体のうち、車両１０の周囲を走行する他の車両については、その車両のウィンカー及びブレーキランプの点灯状態を参照して予測軌跡を求める。そしてプロセッサ２３の車両制御部３５は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１０７）。そしてプロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この点灯状態識別装置は、ウィンカー用とブレーキランプ用とでそれぞれ別個に、車両が表された画像が入力される度に内部状態を更新可能な再帰構造を有する識別器を利用する。そして識別器は、ブレーキランプの点灯状態については、ブレーキランプ用の再帰構造の内部状態に応じた出力に基づいて識別する。一方、識別器は、ウィンカーの点灯状態については、ウィンカー用の再帰構造の内部状態とブレーキランプ用の再帰構造からの内部状態との差分に基づいて識別する。そのため、この点灯状態識別装置は、ウィンカーとブレーキランプの両方が点灯していても、ウィンカーの点灯状態とブレーキランプの点灯状態の両方について精度良く識別することができる。

図６は、変形例による、第２の識別器の概略構成図である。図４に示される第２の識別器４００と比較して、この変形例による第２の識別器６００は、各点灯状態識別部の識別対象となるランプの種類が異なる点、及び、点灯状態識別部６０２－２が減算器の代わりに加算器６２２を有する点で相違する。なお、点灯状態識別部６０２－２は、第２の点灯状態識別部の他の一例である。

この変形例では、第１の点灯状態識別部の他の一例である点灯状態識別部６０２－１は、ウィンカーの点灯状態を識別するように予め学習される。すなわち、CNNとして構成される特徴算出部６０１から出力された特徴マップが点灯状態識別部６０２－１の再帰演算層６１１に入力される度に、再帰演算層６１１はその内部状態を更新するとともに更新された内部状態に応じた演算結果を出力する。再帰演算層６１１から出力された演算結果は全結合層６１２に入力される。さらに、再帰演算層６１１による演算結果は、点灯状態識別部６０２－２にも出力される。全結合層６１２は、入力された演算結果に対してシグモイド演算あるいはソフトマックス演算を実行することで、ウィンカーの点灯状態を識別する。また、点灯状態識別部６０２－１の再帰演算層６１１の内部状態は、第１の内部状態の他の一例であり、メモリ２２に記憶される。そして点灯状態識別部６０２－１は、特徴マップが入力される度に、メモリ２２から最新の内部状態を読み込んで再帰演算層６１１の演算に適用する。

一方、点灯状態識別部６０２－２は、入力側から順に、再帰演算層６２１と、加算器６２２と、全結合層６２３とを有する。そして点灯状態識別部６０２－２の再帰演算層６２１には、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力される。再帰演算層６２１は、入力された特徴マップに基づいてことで再帰的に利用される内部状態を更新しつつ、更新された内部状態に応じた演算結果を出力する。再帰演算層６２１から出力された演算結果は、点灯状態識別部６０２－１の再帰演算層６１１から出力された演算結果とともに、加算器６２２に入力される。加算器６２２は、再帰演算層６２１から出力された演算結果の各要素の値に、再帰演算層６１１から出力された演算結果の対応する要素の値を加算する。そして加算器６２２による演算の結果は、全結合層６２３に入力される。全結合層６２３は、入力された演算結果に対してシグモイド演算あるいはソフトマックス演算を実行することで、ウィンカーの点灯状態及びブレーキランプの点灯状態を識別する。また、点灯状態識別部６０２－２の再帰演算層６２１の内部状態は、第２の内部状態の一例であり、メモリ２２に記憶される。そして点灯状態識別部６０２－２は、特徴マップが入力される度に、メモリ２２から最新の内部状態を読み込んで再帰演算層６２１の演算に適用する。

状態識別部３３は、点灯状態識別部６０２－２の全結合層６２３からの出力に基づいて、ブレーキランプの点灯状態を識別すればよい。また、状態識別部３３は、点灯状態識別部６０２－１の全結合層６１２からの出力、あるいは、全結合層６２３からの出力に基づいて、ウィンカーの点灯状態を識別すればよい。

この変形例による第２の識別器が利用される場合でも、点灯状態識別装置は、上記の実施形態と同様の効果を得ることができる。

他の変形例によれば、第１の識別器と第２の識別器とが部分的に統合されてもよい。この場合、第１の識別器の複数の畳み込み層が、車両の個々のランプの点灯状態を識別するための識別器の特徴算出部となる。そして第１の識別器の複数の畳み込み層により算出された特徴マップのうち、追跡中の車両が表された物体領域から算出された部分のみが、第２の識別器の各点灯状態識別部に入力される。そのため、この変形例では、第２の識別器の特徴抽出部は省略され、その結果として、プロセッサ２３の演算負荷が軽減される。

上記の実施形態または変形例による点灯状態識別装置は、車載機器以外に実装されてもよい。例えば、上記の実施形態または変形例による点灯状態識別装置は、所定の領域を所定周期ごとに撮影するように設置された監視カメラにより生成された画像から車両を検出してもよい。そして点灯状態識別装置は、そのような画像から検出された車両のウィンカー及びブレーキランプの点灯状態を識別するように構成されてもよい。

また、上記の実施形態または変形例による点灯状態識別装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といったコンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
２ カメラ
３ 電子制御装置（点灯状態識別装置）
４ 車内ネットワーク
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 物体検出部
３２ 追跡部
３３ 状態識別部
３４ 運転計画部
３５ 車両制御部
４００、６００ 第２の識別器
４０１、６０１ 特徴算出部
４０２－１、４０２－２、６０２－１、６０２－２ 点灯状態識別部
４１１、４２１、６１１、６２１ 再帰演算層
４１２、４２３、６１２、６２３ 全結合層
４２２ 減算器
６２２ 加算器

Claims (1)

1. 車両が表された時系列の一連の画像のそれぞれを識別器に入力することで、前記車両のウィンカーの点灯状態及びブレーキランプの点灯状態を識別する識別部を有し、
   前記識別器は、
   時系列に沿って前記一連の画像の何れかが入力される度に、当該画像に対して畳み込み演算を実行して前記ウィンカー及び前記ブレーキランプの特徴を表す特徴マップを算出する特徴算出部と、
   再帰構造を有し、前記一連の画像のそれぞれから算出された前記特徴マップが時系列順に入力されることで再帰的に利用される第１の内部状態を更新しつつ前記ブレーキランプの点灯状態を識別する第１の点灯状態識別部と、
   再帰構造を有し、前記一連の画像のそれぞれから算出された前記特徴マップが時系列順に入力されることで再帰的に利用される第２の内部状態を更新しつつ、前記第２の内部状態と前記第１の内部状態との差分に基づいて前記ウィンカーの点灯状態を識別する第２の点灯状態識別部と、
   を有する点灯状態識別装置。

Images