JP2023085060A - 点灯状態識別装置、点灯状態識別方法及び点灯状態識別用コンピュータプログラム - Google Patents

Abstract

【課題】演算量を抑制しつつ、車両に設けられた複数のランプのそれぞれの点灯状態を精度良く識別することが可能な点灯状態識別装置を提供する。【解決手段】点灯状態識別装置は、車両が表された時系列の一連の画像のそれぞれを識別器４００に入力することで、車両の第１の点灯部及び第２の点灯部のそれぞれの点灯状態を識別する状態識別部３３を有する。識別器４００は、時系列順に一連の画像の何れかが入力される度に特徴マップを算出する特徴算出部４０１と、再帰構造を有し、特徴マップが時系列順に入力されることで再帰的に利用される第１の内部状態を更新しつつ第１の点灯部の点灯状態を識別する第１の点灯状態識別部４０２－１と、再帰構造を有し、特徴マップが時系列順に入力されることで再帰的に利用される第２の内部状態を更新しつつ第２の点灯部の点灯状態を識別する第２の点灯状態識別部４０２－２とを有する。【選択図】図４

Description

本発明は、車両に設けられたランプの点灯状態を識別する点灯状態識別装置、点灯状態識別方法及び点灯状態識別用コンピュータプログラムに関する。

車両を自動運転制御し、あるいは、車両のドライバの運転を支援するために、車両の周囲を走行する他の車両の挙動を予測できることが好ましい。そこで、車両に搭載されたカメラにより得られた、車両の周囲を表す画像から、特に、他の車両に設けられたランプの点灯状態を検出する技術が提案されている（特許文献１及び２を参照）。

特許文献１には、ディープラーニングモデルを利用して目標領域画像を処理し、目標領域画像における自動車の状態パラメータを出力すること、及び、そのような状態パラメータとして、ブレーキランプ状態及び方向指示ランプ状態が開示されている。

特許文献２には、ブレーキ灯識別モジュールが、複数の画像を解析することに基づいて目標車両に関連する少なくとも一つのブレーキ灯を識別することが開示されている。このブレーキ灯識別モジュールは、一つまたは複数のニューラルネットワークを使用することができる。また、特許文献２には、少なくとも一つの画像内で、車両に関連する緊急灯を検出することも開示されている。

特開２０２０－０４２７８６号公報 特開２０２０－０１５５０４号公報

車両には、ブレーキランプ及びウィンカーといった、その挙動を表す複数のランプが設けられている。そして車両の挙動を正確に予測するには、それら複数のランプのそれぞれの点灯状態を識別できることが好ましい。しかし、ランプごとに点灯状態を識別するための識別器を設けると、演算量が増大してしまう。車載のプロセッサのように、限られたハードウェアリソースしか利用できない環境下では、演算量を抑制しつつ、車両に設けられた複数のランプのそれぞれの点灯状態を識別することが求められる。

そこで、本発明は、演算量を抑制しつつ、車両に設けられた複数のランプのそれぞれの点灯状態を精度良く識別することが可能な点灯状態識別装置を提供することを目的とする。

一つの実施形態によれば、点灯状態識別装置が提供される。この点灯状態識別装置は、車両が表された時系列の一連の画像のそれぞれを識別器に入力することで、車両の第１の点灯部及び第２の点灯部のそれぞれの点灯状態を識別する状態識別部を有する。識別器は、時系列に沿って一連の画像の何れかが入力される度に、入力された画像に対して畳み込み演算を実行して第１の点灯部及び第２の点灯部の特徴を表す特徴マップを算出する特徴算出部と、再帰構造を有し、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力されることで再帰的に利用される第１の内部状態を更新しつつ第１の点灯部の点灯状態を識別する第１の点灯状態識別部と、再帰構造を有し、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力されることで再帰的に利用される第２の内部状態を更新しつつ第２の点灯部の点灯状態を識別する第２の点灯状態識別部とを有する。

この点灯状態識別装置は、一連の画像のそれぞれから、車両が表された物体領域を検出する検出部と、その車両を追跡することで、一連の画像のそれぞれにおいてその車両が表された物体領域同士を関連付ける追跡部とをさらに有することが好ましい。そして状態識別部は、一連の画像のそれぞれにおいて追跡中の車両が表された物体領域を識別器に入力することが好ましい。

この点灯状態識別装置において、第１の点灯部は、ウィンカーであり、第２の点灯部は回転灯であることが好ましい。

他の形態によれば、点灯状態識別方法が提供される。この点灯状態識別方法は、車両が表された時系列の一連の画像のそれぞれを、特徴算出部と再帰構造を有する第１の点灯状態識別部と再帰構造を有する第２の点灯状態識別部とを有する識別器に入力することで、車両の第１の点灯部及び第２の点灯部のそれぞれの点灯状態を識別することを含む。識別器の特徴算出部は、時系列に沿って一連の画像の何れかが入力される度に、入力された画像に対して畳み込み演算を実行して第１の点灯部及び第２の点灯部の特徴を表す特徴マップを算出する。識別器の前記第１の点灯状態識別部は、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力されることで再帰的に利用される第１の内部状態を更新しつつ第１の点灯部の点灯状態を検出する。そして識別器の前記第２の点灯状態識別部は、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力されることで再帰的に利用される第２の内部状態を更新しつつ第２の点灯部の点灯状態を識別する。

さらに他の形態によれば、点灯状態識別用コンピュータプログラムが提供される。この点灯状態識別用コンピュータプログラムは、車両が表された時系列の一連の画像のそれぞれを、特徴算出部と再帰構造を有する第１の点灯状態識別部と再帰構造を有する第２の点灯状態識別部とを有する識別器に入力することで、車両の第１の点灯部及び第２の点灯部のそれぞれの点灯状態を識別することをコンピュータに実行させるための命令を含む。識別器の特徴算出部は、時系列に沿って一連の画像の何れかが入力される度に、入力された画像に対して畳み込み演算を実行して第１の点灯部及び第２の点灯部の特徴を表す特徴マップを算出する。識別器の前記第１の点灯状態識別部は、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力されることで再帰的に利用される第１の内部状態を更新しつつ第１の点灯部の点灯状態を検出する。そして識別器の前記第２の点灯状態識別部は、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力されることで再帰的に利用される第２の内部状態を更新しつつ第２の点灯部の点灯状態を識別する。

本開示に係る点灯状態識別装置は、演算量を抑制しつつ、車両に設けられた複数のランプのそれぞれの点灯状態を精度良く識別することができるという効果を奏する。

点灯状態識別装置が実装される車両制御システムの概略構成図である。 点灯状態識別装置の一実施形態である電子制御装置のハードウェア構成図である。 点灯状態識別処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 点灯状態の識別に用いられる第２の識別器の概略構成図である。 点灯状態識別処理を含む車両制御処理の動作フローチャートである。

以下、図を参照しつつ、点灯状態識別装置、及び、点灯状態識別装置において実行される点灯状態識別方法ならびに点灯状態識別用コンピュータプログラムについて説明する。この点灯状態識別装置は、時系列に得られる一連の画像に表される車両の複数のランプのそれぞれの点灯状態を識別する。そのために、この点灯状態識別装置は、各ランプの点灯状態を識別するために一つの識別器を利用する。識別器は、時系列に沿って一連の画像の何れかが入力される度に、入力された画像に対して畳み込み演算を実行して各ランプの特徴を表す特徴マップを算出する特徴算出部と、異なる種類のランプに対して別個に用意される２以上の点灯状態識別部とを有する。点灯状態識別部のそれぞれは、再帰構造を有し、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力されることで再帰的に利用される内部状態を更新しつつ、識別対象となるランプの点灯状態を識別する。このように、この点灯状態識別装置は、各ランプの特徴を表す特徴マップを算出する特徴算出部を共通化することで識別器の構成が大型化することを抑制して、演算量を抑制する。さらに、この点灯状態識別装置は、識別器において、共通に算出された特徴マップに基づいて、個々のランプの点灯状態を識別する部分を別個に設けることで、個々のランプの点灯状態を精度良く識別することを可能とする。

なお、本実施形態において点灯状態の識別対象となるランプには、例えば、ブレーキランプ、ウィンカー及び回転灯が含まれる。しかし、点灯状態の識別対象となるランプはこれらのランプに限られない。

以下では、点灯状態識別装置を、車両制御システムに適用した例について説明する。この例では、点灯状態識別装置は、車両に搭載されたカメラにより得られた時系列の一連の画像に対して点灯状態識別処理を実行することで、車両の周囲に存在する他の車両に設けられた個々のランプの点灯状態を識別する。

図１は、点灯状態識別装置が実装される車両制御システムの概略構成図である。また図２は、点灯状態識別装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、点灯状態識別装置の一例である電子制御装置（ＥＣＵ）３とを有する。カメラ２とＥＣＵ３とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両制御システム１は、車両１０の自動運転制御に用いられる地図を記憶するストレージ装置をさらに有していてもよい。さらに、車両制御システム１は、LiDARあるいはレーダといった測距センサを有していてもよい。さらにまた、車両制御システム１は、GPS受信機といった衛星測位システムに準拠して車両１０の自己位置を測位するための受信機を有していてもよい。さらにまた、車両制御システム１は、他の機器と無線通信するための無線端末、及び、車両１０の走行予定ルートを探索するためのナビゲーション装置を有していてもよい。

カメラ２は、車両１０の周囲を表す画像を生成する撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であることが好ましい。なお、車両１０には、撮影方向または焦点距離が異なる複数のカメラが設けられてもよい。例えば、車両１０の前方領域を撮影するカメラ２とは別個に、車両１０の後方領域を撮影するカメラが設けられてもよい。

カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワーク４を介してＥＣＵ３へ出力する。

ＥＣＵ３は、車両１０を制御する。本実施形態では、ＥＣＵ３は、カメラ２により得られた時系列の一連の画像から検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ３を車内ネットワーク４に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク４を介して、カメラ２と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、ＥＣＵ３のプロセッサ２３により実行される点灯状態識別処理において使用される各種のデータ及びパラメータを記憶する。例えば、メモリ２２は、カメラ２から受信した画像、点灯状態識別処理で利用される各識別器を特定するためのパラメータセットなどを記憶する。さらに、メモリ２２は、識別器の内部状態といった、点灯状態識別処理の途中で生成される各種のデータを一定期間記憶する。さらにまた、メモリ２２は、車線区画線など、車両１０の走行に影響する地物を表す高精度地図といった車両１０の走行制御に利用される情報を記憶してもよい。

プロセッサ２３は、制御部の一例であり、１個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニット(Graphics Processing Unit, GPU)といった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、所定の周期ごとに、カメラ２から受信した画像に対して点灯状態識別処理を含む車両制御処理を実行する。そしてプロセッサ２３は、検出された車両１０の周囲の物体に基づいて、車両１０を自動運転するよう、車両１０を制御する。

図３は、点灯状態識別処理を含む車両制御処理に関する、ＥＣＵ３のプロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、追跡部３２と、状態識別部３３と、運転計画部３４と、車両制御部３５とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、物体検出部３１、追跡部３２及び状態識別部３３が、点灯状態識別処理を実行する。なお、車両１０に複数のカメラが設けられる場合には、プロセッサ２３は、カメラごとに、そのカメラにより得られた画像に基づいて点灯状態識別処理を実行してもよい。

物体検出部３１は、検出部の一例であり、所定の周期ごとに、カメラ２から受信した最新の画像を物体検出用の第１の識別器に入力する。これにより、物体検出部３１は、その画像に表されている検出対象物体を含む領域（すなわち、物体領域）を検出するとともに、その検出対象物体の種類を特定する。

第１の識別器として、例えば、Single Shot MultiBox Detector(SSD)、または、Faster R-CNNといった、コンボリューショナルニューラルネットワーク（以下、単にCNNと呼ぶ）型、もしくはVision Transformer(ViT)といった型のアーキテクチャを持つディープニューラルネットワーク(DNN)が用いられる。このようなDNNは、検出対象物体が表された教師画像を多数用いて、誤差逆伝搬法といった所定の学習手法に従って検出対象物体を検出するように予め学習される。

また、第１の識別器として、サポートベクトルマシンあるいはadaBoostといった、他の機械学習手法による識別器が用いられてもよい。この場合、物体検出部３１は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウからHistograms of Oriented Gradients(HOG)といった特徴量を算出し、算出した特徴量を第１の識別器へ入力する。これにより、物体検出部３１は、そのウィンドウについて確信度を求める。そして物体検出部３１は、何れかの種類の検出対象物体について確信度が所定の確信度閾値以上となるウィンドウに、その検出対象物体が表されていると判定し、かつ、そのウィンドウを物体領域とすればよい。

なお、検出対象物体は、車両１０の周囲を走行する他の車両である。また、検出対象物体には、他の車両以外の、車両１０の走行制御に影響する物体が含まれてもよい。そのような物体には、例えば、人、道路標識、信号機、車線区画線などの道路標示、及び、道路上のその他の物体などが含まれる。

物体検出部３１は、各物体領域の画像上での位置及び範囲と、その物体領域に含まれる物体の種類とを、検出物体リストに登録する。そして物体検出部３１は、検出物体リストをメモリ２２に記憶する。

追跡部３２は、最新の画像から検出された物体領域のそれぞれについて、その物体領域に表された検出対象物体を、検出物体リストを参照して過去の画像から検出された検出対象物体と対応付けることで、その物体領域に表された検出対象物体を追跡する。さらに、追跡部３２は、追跡中の検出対象物体のうち、車両１０の周囲を走行する他の車両を点灯状態識別の対象となる車両として選択する。

追跡部３２は、例えば、Lucas-Kanade法といった、オプティカルフローに基づく追跡処理を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された検出対象物体を追跡する。そのため、追跡部３２は、例えば、着目する物体領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、その物体領域から複数の特徴点を抽出する。そして追跡部３２は、複数の特徴点のそれぞれについて、過去の画像における物体領域における対応する点を、適用される追跡手法に従って特定することで、オプティカルフローを算出すればよい。あるいは、追跡部３２は、画像から検出された移動物体の追跡に適用される他の追跡手法を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された検出対象物体を追跡してもよい。

追跡部３２は、最新の画像から検出された検出対象物体のうち、過去の画像に表された検出対象物体と対応付けられなかった検出対象物体に対して、新たな追跡対象として、他の追跡中の検出対象物体と異なる識別番号を割り当てる。そして追跡部３２は、その割り当てた識別番号を、新たな追跡対象と関連付けて検出物体リストに登録する。一方、追跡部３２は、最新の画像から検出された検出対象物体のうち、過去の画像に表された検出対象物体と対応付けられたもの、すなわち、追跡中の検出対象物体について、その追跡中の検出対象物体に割り当てられた識別番号と同じ識別番号を対応付ける。

追跡部３２は、追跡中の検出対象物体のそれぞれの物体の種類を参照して、追跡中の検出対象物体のうち、車両１０の周囲を走行する他の車両を、点灯状態識別の対象として特定する。なお、追跡部３２は、追跡中の他の車両の全てを点灯状態識別の対象としてもよく、あるいは、追跡中の他の車両のうちの何れかを、点灯状態識別の対象としてもよい。

車両１０に近い検出対象物体ほど、車両１０の運転制御に対する影響が大きい。そこで、追跡部３２は、追跡中の他の車両のうち、車両１０に近い方から順に所定数の車両を、点灯状態識別の対象として選択する。例えば、物体領域のサイズが大きいほど、車両１０からその物体領域に表された車両までの距離が近いと推定される。そこで、追跡部３２は、例えば、最新の画像上での物体領域のサイズが大きい方から順に所定数の車両を、点灯状態識別の対象として選択する。

あるいは、追跡部３２は、追跡中の他の車両のそれぞれについて、その車両が表された物体領域のサイズと、その車両と車両１０間の距離が所定距離であると仮定した場合の基準サイズとの比に基づいて車両１０からその車両までの距離を推定してもよい。あるいはまた、車両制御システム１がLiDARあるいはレーダといった測距センサ（図示せず）を有している場合、その測距センサにより、追跡中のそれぞれの車両までの距離が測定されてもよい。この場合、例えば、画像上で着目する車両が表された物体領域の重心に対応する、カメラ２からの方位に相当する測距センサからの方位における距離が、車両１０からその着目する車両までの距離として測定される。そして追跡部３２は、推定または測定された車両１０からの距離が近い方から順に、所定数の車両を、点灯状態識別の対象として選択すればよい。

あるいはまた、追跡部３２は、追跡中の他の車両のなかから、車線ごとに決められた数の車両を、点灯状態識別の対象として選択してもよい。例えば、追跡部３２は、車両１０が走行中の車線と同じ車線を走行中の車両のうち、車両１０に最も近いと推定される車両を、点灯状態識別の対象として選択する。さらに、追跡部３２は、車両１０が走行中の車線の左右に隣接する車線または路肩のそれぞれから、車両１０に最も近いと推定される車両を、点灯状態識別の対象として選択する。この場合、例えば、物体検出部３１が最新の画像から車線区画線を検出している場合には、追跡部３２は、車線区画線と物体領域との位置関係に基づいて、車両ごとに、その車両が走行中の車線を特定すればよい。例えば、追跡部３２は、着目する車両について、その車両を含む物体領域の下端の両側に位置する二つの車線区画線で挟まれた車線をその車両が走行していると判定すればよい。また、追跡部３２は、車線ごとに、上記の点灯状態識別の対象の選択と同様の処理を実行することで、その車線を走行中の車両のうち、車両１０に最も近い車両を、点灯状態識別の対象として選択すればよい。なお、追跡部３２は、車線ごとに、車両１０に近い方から順に二つ以上の車両を選択してもよい。

追跡部３２は、点灯状態識別の対象となる他の車両の識別番号を状態識別部３３へ通知する。

状態識別部３３は、所定の周期ごとに、点灯状態の識別対象となる、追跡中の他の車両のそれぞれについて、その車両に設けられた個々のランプの点灯状態を識別する。状態識別部３３は、追跡中の他の車両のそれぞれについて同じ処理をすればよいので、以下では、一つの車両に対する処理について説明する。

状態識別部３３は、着目する車両の追跡中にカメラ２により得られた時系列の一連の画像のそれぞれについて、時系列順に、その画像において着目する車両が表された物体領域を第２の識別器に入力することで、その車両の個々のランプの点灯状態を識別する。

図４は、点灯状態の識別に用いられる第２の識別器の概略構成図である。第２の識別器４００は、特徴算出部４０１と、二つの点灯状態識別部４０２－１、４０２－２を有する。

特徴算出部４０１は、時系列に沿って一連の画像の何れかの物体領域が入力される度に、その画像の物体領域に対して畳み込み演算を実行して個々のランプの特徴を表す特徴マップを算出する。そのために、特徴算出部４０１は、入力側から出力側へ向けて順に並べられる複数の畳み込み層４１１を有するCNNとして構成される。さらに、特徴算出部４０１は、各畳み込み層４１１の間において、ReLUなどの活性化演算を行う活性化層を有してもよい。さらにまた、特徴算出部４０１は、何れかの二つの畳み込み層４１１の間に、プーリング演算を実行するプーリング層を有してもよい。これにより、一つの物体領域に対して解像度の異なる特徴マップが得られる。

なお、状態識別部３３は、一連の画像のそれぞれの物体領域について、ダウンサンプリング、アップサンプリング、bi-linear補間またはbi-cubic補間などのサイズ変換処理を実行することで所定のサイズ（例えば、32×32）にリサイズしてもよい。そして状態識別部３３は、リサイズされた物体領域を第２の識別器の特徴算出部に入力してもよい。これにより、点灯状態の識別対象となるランプを有する他の車両の追跡の途中で車両１０とその車両間の相対距離が変化して、画像上でのその車両のサイズが変化しても、第２の識別器は、入力される物体領域を一定のサイズとして扱える。そのため、第２の識別器の構成が簡単化される。

二つの点灯状態識別部のうち、点灯状態識別部４０２－１は、第１の点灯状態識別部の一例であり、再帰構造を有する。そして点灯状態識別部４０２－１は、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力されることで再帰的に利用される内部状態を更新しつつ、ウィンカーの点灯状態を識別する。すなわち、点灯状態識別部４０２－１は、ウィンカーの点灯状態を、左点滅、右点滅、ハザードまたは消灯の４個のクラスの何れかに分類し、その分類結果を出力する。ウィンカーは、第１の点灯部の一例である。また、点灯状態識別部４０２－１の内部状態は、第１の内部状態の一例であり、メモリ２２に記憶される。そして点灯状態識別部４０２－１は、特徴マップが入力される度に、メモリ２２から最新の内部状態を読み込んで点灯状態識別部４０２－１の演算に適用する。

一方、点灯状態識別部４０２－２は、第２の点灯状態識別部の一例であり、再帰構造を有する。そして点灯状態識別部４０２－２は、一連の画像のそれぞれについて算出された特徴マップが時系列順に入力されることで再帰的に利用される第２の内部状態を更新しつつ、回転灯の点灯状態を識別する。すなわち、点灯状態識別部４０２－２は、回転灯の点灯状態を、点灯中または消灯中の２個のクラスの何れかに分類し、その分類結果を出力する。なお、着目する車両が回転灯を有していない場合、点灯状態識別部４０２－２は、回転灯の点灯状態として、消灯中との識別結果を出力するように学習される。回転灯は、第２の点灯部の一例である。また、点灯状態識別部４０２－２の内部状態は、第２の内部状態の一例であり、メモリ２２に記憶される。そして点灯状態識別部４０２－２は、特徴マップが入力される度に、メモリ２２から最新の内部状態を読み込んで点灯状態識別部４０２－２の演算に適用する。このように、点灯状態における外観が互いに異なるウィンカーと回転灯のそれぞれの点灯状態を別個の点灯状態識別部で識別することで、識別器４００は、ウィンカーと回転灯の両方の点灯状態を精度良く識別することができる。

点灯状態識別部４０２－１、４０２－２のそれぞれは、例えば、Recurrent Neural Network(RNN)、Long Short Term Memory(LSTM)またはGated Recurrent Unit(GRU)といった、再帰的な構造を持つ層を有するニューラルネットワークとすることができる。以下では、そしてその再帰的な構造を持つ層を、再帰演算層４１２と呼ぶ。再帰演算層４１２により、特徴マップが入力される度に内部状態が更新されるとともに、その内部状態が、点灯状態の識別のために参照される。これにより、ランプの点灯状態に応じたランプの外観の時間的な変化に基づく特徴が内部状態に反映されることとなるので、点灯状態識別部４０２－１、４０２－２のそれぞれは、ウィンカー及び回転灯の点灯状態を精度良く識別することができる。なお、点灯状態識別部４０２－１が有する再帰演算層４１２と、点灯状態識別部４０２－２が有する再帰演算層４１２とは、同一の構造を有していてもよく、互いに異なる構造を有していてもよい。

また、点灯状態識別部４０２－１、４０２－２のそれぞれは、再帰演算層４１２よりも出力側に１以上の全結合層を有していてもよい。さらに、点灯状態識別部４０２－１、４０２－２のそれぞれは、再帰演算層４１２または全結合層からの出力に対して、ソフトマックス演算またはシグモイド演算などを実行することで、点灯状態の識別結果を出力する１以上の出力層４１３を有する。したがって、状態識別部３３は、点灯状態識別部４０２－１、４０２－２のそれぞれの出力層４１３からの出力に基づいて、ウィンカー及び回転灯の点灯状態を識別できる。

第２の識別器も、第１の識別器と同様に、多数の教師画像を用いて誤差逆伝搬法といった所定の学習手法に従って予め学習される。なお、第２の識別器の学習に用いる教師画像には、車両に設けられる個々のランプの点灯状態がアノテーションデータとして付されていればよい。また、第１の識別器と第２の識別器とは、共通の教師データを用いて、誤差逆伝搬法により一体的に学習されてもよい。

なお、点灯状態の識別対象となるランプは３種類以上であってもよい。この場合、第２の識別器は、ランプごとに、上述したような点灯状態識別部を有していてもよい。あるいは、第２の識別器が有する複数の点灯状態識別部の何れかが、二つ以上のランプのそれぞれの点灯状態を識別するように構成されてもよい。例えば、点灯状態識別部４０２－１が、ウィンカーの点灯状態だけでなく、ブレーキランプの点灯状態を識別するように構成されてもよい。この場合、点灯状態識別部４０２－１は、ブレーキランプの点灯状態を、点灯中または消灯の２個のクラスの何れかに分類し、その分類結果を出力すればよい。

状態識別部３３は、点灯状態の識別対象となる、追跡中の他の車両のそれぞれについて、その車両に設けられた個々のランプの点灯状態の識別結果をメモリ２２に保存するとともに、運転計画部３４へ出力する。

運転計画部３４は、検出物体リストを参照して、車両１０の周囲に存在する物体と車両１０とが衝突しないように車両１０の走行予定経路（トラジェクトリ）を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３４は、検出物体リストを参照して、カメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、追跡中の個々の物体の画像内座標を鳥瞰画像上の座標（鳥瞰座標）に変換する。その際、運転計画部３４は、各画像の取得時における、車両１０の位置及び姿勢と、追跡中の物体までの推定距離と、車両１０からその物体へ向かう方向とにより、各画像の取得時における、その物体の位置を推定できる。なお、運転計画部３４は、カメラ２により生成された画像と高精度地図とを照合することで、車両１０の位置及び姿勢を推定できる。例えば、運転計画部３４は、車両１０の位置及び姿勢を仮定して、画像から検出された道路上または道路周囲の地物を高精度地図上に投影するか、あるいは、高精度地図に表された車両１０の周囲の道路上または道路周囲の地物を画像上に投影する。そして運転計画部３４は、画像から検出された地物と高精度地図上に表された地物とが最も一致するときの車両１０の位置及び姿勢を、車両１０の実際の位置及び姿勢として推定する。また、運転計画部３４は、画像上での追跡中の物体を含む物体領域の位置及びカメラ２の光軸方向に基づいて、車両１０からその物体へ向かう方向を特定することができる。さらに、運転計画部３４は、車両１０から追跡中の物体までの距離を、追跡部３２において説明したのと同様の手法に従って推定すればよい。

運転計画部３４は、追跡中の物体についての一連の鳥瞰座標に対してKalman FilterまたはParticle filterなどを用いた予測処理を実行することで、その物体の所定時間先までの予測軌跡を推定する。その際、運転計画部３４は、追跡中の物体が車両１０の周囲を走行する他の車両である場合、その車両の個々のランプの点灯状態の識別結果を予測軌跡の推定に利用する。例えば、追跡中の車両について、左のウィンカーが点滅している状態である場合、その車両は左側へ車線変更し、あるいは、左折する可能性が高い。そこで、運転計画部３４は、その車両について、左側へ車線変更し、あるいは、左折する予測軌跡を推定する。また、追跡中の車両について、ブレーキランプが点灯している状態である場合、あるいは、ハザードランプが点滅している状態である場合、その車両は減速する可能性が高い。そこで、運転計画部３４は、その車両について、現時点よりも減速するような予測軌跡を推定する。さらに、追跡中の車両について、左右のターンシグナル及びハザードランプの何れも点滅しておらず、かつ、ブレーキランプが消灯している状態である場合、その車両は減速せずに直進する可能性が高い。そこで、運転計画部３４は、その車両について、減速せずに直進するような予測軌跡を推定する。

運転計画部３４は、追跡中の各物体の予測軌跡と、車両１０の位置、速度及び姿勢に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成する。

さらに、車両１０の後方領域を撮影するように設けられた時系列の一連の画像から検出された追跡中の車両について、回転灯の点灯状態が点灯中である場合、その車両は緊急車両であると推定される。そこで運転計画部３４は、回転灯の点灯状態が点灯中である車両の予測軌跡を遮らないように走行予定経路を生成してもよい。例えば、車両１０が走行中の自車線において車両１０に後続する他の車両の回転灯の点灯状態が点灯中である場合、運転計画部３４は、車両１０を自車線に隣接する車線または路肩へ車線変更させる走行予定経路を生成してもよい。

運転計画部３４は、生成した走行予定経路を車両制御部３５へ通知する。

車両制御部３５は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３５は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３５は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３５は、設定されたアクセル開度に従ってモータへ供給される電力量を求め、その電力量がモータへ供給されるようにモータの駆動回路を制御する。あるいはまた、車両制御部３５は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３５は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求める。そして車両制御部３５は、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。

図５は、プロセッサ２３により実行される、点灯状態識別処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、所定の周期ごとに、図５に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１～Ｓ１０４の処理が点灯状態識別処理に対応する。

プロセッサ２３の物体検出部３１は、カメラ２から得られた最新の画像を第１の識別器に入力して、その画像に表された１以上の検出対象となる物体を検出する。すなわち、物体検出部３１は、画像上で検出対象物体を含む１以上の物体領域を検出する（ステップＳ１０１）。さらに、物体検出部３１は、検出された物体ごとに、その物体の種類を識別する。

プロセッサ２３の追跡部３２は、最新の画像における物体領域のそれぞれについて、その物体領域に表されている物体を、過去の画像から既に検出されている同じ物体と対応付けることで追跡する（ステップＳ１０２）。

プロセッサ２３の状態識別部３３は、追跡中の物体のうちの車両１０の周囲を走行する他の車両について、最新の画像から検出されたその車両を含む物体領域を第２の識別器に入力する。そして第２の識別器の特徴算出部が特徴マップを算出する（ステップＳ１０３）。そして第２の識別器に設けられる、再帰構造を有する個々の点灯状態識別部が、特徴マップに基づいてその車両の個々のランプの点灯状態を識別する（ステップＳ１０４）。

プロセッサ２３の運転計画部３４は、追跡中の各物体について、その物体の予測軌跡をもとめ、その予測軌跡と所定の距離以上となるように、車両１０の走行予定経路を生成する（ステップＳ１０５）。その際、運転計画部３４は、追跡中の物体のうち、車両１０の周囲を走行する他の車両については、その車両の個々のランプの点灯状態を参照して予測軌跡を求める。そしてプロセッサ２３の車両制御部３５は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１０６）。そしてプロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この点灯状態識別装置は、時系列に得られる一連の画像に表される車両の複数のランプのそれぞれの点灯状態を識別するために、一つの識別器を利用する。そして識別器は、各ランプに対して共通に設けられ、特徴マップを算出する特徴算出部と、異なる種類のランプに対して別個に用意され、再帰構造を有する２以上の点灯状態識別部とを有する。このように、この点灯状態識別装置は、各ランプに対して特徴算出部を共通化することで識別器の構成が大型化することを抑制することで、演算量を抑制することができる。さらに、この点灯状態識別装置は、識別器において、共通に算出された特徴マップに基づいて、個々のランプの点灯状態を識別する部分を別個に設けることで、個々のランプの点灯状態を精度良く識別することができる。

変形例によれば、状態識別部３３は、追跡中の複数の車両のそれぞれの物体領域を並列に第２の識別器に入力することで、それら各車両のランプの点灯状態を並列に識別してもよい。例えば、車両１０に複数のカメラが設けられている場合、状態識別部３３は、カメラごとに、そのカメラにより生成された時系列の一連の画像から検出され、かつ、追跡中の車両の物体領域を並列に第２の識別器に入力する。これにより、状態識別部３３は、カメラごとに追跡中の車両のランプの点灯状態を並列に識別することができる。そのため、状態識別部３３は、例えば、車両１０の前方を走行する先行車両のウィンカーまたはブレーキランプの点灯状態を識別しつつ、車両１０の後方を走行する緊急車両の回転灯の点灯状態を識別することができる。また、複数のカメラのうちの何れかのカメラにより得られた時系列の一連の画像から複数の車両が検出され、かつ、追跡されている場合、状態識別部３３は、そのカメラによる画像から検出された各車両の物体領域を並列に第２の識別器に入力してもよい。特に、プロセッサ２３が第２の識別器の演算処理、例えば、畳み込み演算を実行するための専用の演算回路を有しており、その演算回路に同時に入力可能なデータのサイズが一つの物体領域のデータサイズの２倍以上であることがある。このような場合、状態識別部３３は、その演算回路に、上記のように複数の車両について第２の識別器の処理を並列に実行させることで、複数の車両のランプの点灯状態を短時間で識別することができる。なお、状態識別部３３は、複数の物体領域を並列に第２の識別器に入力する場合、各物体領域を互いに異なるチャネルの入力としてもよく、あるいは、同一のチャネルにおいて空間的に並列に個々の物体領域を並べてもよい。

他の変形例によれば、第１の識別器と第２の識別器とが部分的に統合されてもよい。この場合、第１の識別器の複数の畳み込み層が、車両の個々のランプの点灯状態を識別するための識別器の特徴算出部となる。そして第１の識別器の複数の畳み込み層により算出された特徴マップのうち、追跡中の車両が表された物体領域から算出された部分のみが、第２の識別器の各点灯状態識別部に入力される。そのため、この変形例では、第２の識別器の特徴抽出部は省略され、その結果として、プロセッサ２３の演算負荷が軽減される。

上記の実施形態または変形例による点灯状態識別装置は、車載機器以外に実装されてもよい。例えば、上記の実施形態または変形例による点灯状態識別装置は、所定の領域を所定周期ごとに撮影するように設置された監視カメラにより生成された画像から車両を検出し、検出した車両に設けられる個々のランプの状態を識別するように構成されてもよい。

また、上記の実施形態または変形例による点灯状態識別装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といったコンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
２ カメラ
３ 電子制御装置（点灯状態識別装置）
４ 車内ネットワーク
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 物体検出部
３２ 追跡部
３３ 状態識別部
３４ 運転計画部
３５ 車両制御部

Claims (5)

1. 車両が表された時系列の一連の画像のそれぞれを識別器に入力することで、前記車両の第１の点灯部及び第２の点灯部のそれぞれの点灯状態を識別する状態識別部を有し、
   前記識別器は、
   時系列に沿って前記一連の画像の何れかが入力される度に、入力された画像に対して畳み込み演算を実行して前記第１の点灯部及び前記第２の点灯部の特徴を表す特徴マップを算出する特徴算出部と、
   再帰構造を有し、前記一連の画像のそれぞれについて算出された前記特徴マップが時系列順に入力されることで再帰的に利用される第１の内部状態を更新しつつ前記第１の点灯部の点灯状態を識別する第１の点灯状態識別部と、
   再帰構造を有し、前記一連の画像のそれぞれについて算出された前記特徴マップが時系列順に入力されることで再帰的に利用される第２の内部状態を更新しつつ前記第２の点灯部の点灯状態を識別する第２の点灯状態識別部と、
   を有する点灯状態識別装置。
2. 前記一連の画像のそれぞれから、前記車両が表された物体領域を検出する検出部と、
   前記車両を追跡することで、前記一連の画像のそれぞれにおいて前記車両が表された物体領域同士を関連付ける追跡部とをさらに有し、
   前記状態識別部は、前記一連の画像のそれぞれにおいて前記車両が表された前記物体領域を前記識別器に入力する、請求項１に記載の点灯状態識別装置。
3. 前記第１の点灯部は、ウィンカーであり、前記第２の点灯部は回転灯である、請求項１または２に記載の点灯状態識別装置。
4. 車両が表された時系列の一連の画像のそれぞれを、特徴算出部と再帰構造を有する第１の点灯状態識別部と再帰構造を有する第２の点灯状態識別部とを有する識別器に入力することで、前記車両の第１の点灯部及び第２の点灯部のそれぞれの点灯状態を識別することを含み、
   前記識別器の前記特徴算出部は、時系列に沿って前記一連の画像の何れかが入力される度に、入力された画像に対して畳み込み演算を実行して前記第１の点灯部及び前記第２の点灯部の特徴を表す特徴マップを算出し、
   前記識別器の前記第１の点灯状態識別部は、前記一連の画像のそれぞれについて算出された前記特徴マップが時系列順に入力されることで再帰的に利用される第１の内部状態を更新しつつ前記第１の点灯部の点灯状態を識別し、
   前記識別器の前記第２の点灯状態識別部は、前記一連の画像のそれぞれについて算出された前記特徴マップが時系列順に入力されることで再帰的に利用される第２の内部状態を更新しつつ前記第２の点灯部の点灯状態を識別する、
   点灯状態識別方法。
5. 車両が表された時系列の一連の画像のそれぞれを、特徴算出部と再帰構造を有する第１の点灯状態識別部と再帰構造を有する第２の点灯状態識別部とを有する識別器に入力することで、前記車両の第１の点灯部及び第２の点灯部のそれぞれの点灯状態を識別する、ことをコンピュータに実行させ、
   前記識別器の前記特徴算出部は、時系列に沿って前記一連の画像の何れかが入力される度に、入力された画像に対して畳み込み演算を実行して前記第１の点灯部及び前記第２の点灯部の特徴を表す特徴マップを算出し、
   前記識別器の前記第１の点灯状態識別部は、前記一連の画像のそれぞれについて算出された前記特徴マップが時系列順に入力されることで再帰的に利用される第１の内部状態を更新しつつ前記第１の点灯部の点灯状態を識別し、
   前記識別器の前記第２の点灯状態識別部は、前記一連の画像のそれぞれについて算出された前記特徴マップが時系列順に入力されることで再帰的に利用される第２の内部状態を更新しつつ前記第２の点灯部の点灯状態を識別する、
   点灯状態識別用コンピュータプログラム。

Images