JP2021064343A - 行動認識装置、行動認識方法、及び情報生成装置 - Google Patents

Abstract

【課題】ドライバ状態から運転行動を高速かつ高精度に認識する装置を、高度な専門性を必要とすることなく簡易に構成する技術を提供する。【解決手段】画像処理部は、Ｓ５では、Ｓ４にて取得された一次情報毎に、一次情報から抽出される１以上の対象状態のそれぞれについて、対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現された二次情報を生成する。更に、画像処理部は、複数の二次情報の時系列から、時間窓を用いて判定用情報群を抽出し、判定用情報群を用いて更新された行動ベクトルを用いて、ドライバの運転行動を認識する。【選択図】図２

Description

本開示は、ドライバの状態から運転行動を認識する技術に関する。

下記非特許文献１には、ドライバの視線の動きを表す時系列データを集めて分析することで、認識対象となる運転行動毎に、平均的なモデルを予め生成し、運転中に検出される時系列データとモデルとを比較することで、運転行動を認識する技術が記載されている。

モデルは、ドライバによって注視される複数の領域を視領域として、所定時間内で各視領域を見た時間割合や頻度、最大注視時間、及び視領域間の移動頻度等の特徴に、各要素が対応づけられた特徴ベクトルで表される。また、分析の対象となる時系列データには、ノイズ除去などのフィルタリング処理も施される。

Sujitha Martin, Mohan M. Trivedi "Gaze Fixation and Dynamics for Behavior Modeling and Prediction of On-road Driving Maneuvers" 2017 IEEE Intelligent Vehicles Symposium (IV) June 11-14, 2017, Redondo Beach, CA, USA

しかしながら、発明者の詳細な検討の結果、非特許文献１に記載の従来技術には以下の課題が見出された。
すなわち、従来技術では、特徴ベクトルの要素となる特徴の選定には、収集した時系列データから、どの特徴がドライバの行動に影響を与えているのかを判定できる高度な専門性が必要となる。また、従来技術では、特徴の選定され方によって、認識性能が大きく変動する。このため、判定に使用する特徴の選定が難しいという課題があった。

また、従来技術では、運転行動毎に、個別に特徴を選定して、個別にモデルを生成する必要があり、モデルの生成に手間を要するという課題もあった。
本開示の一つの局面は、ドライバ状態から運転行動を高速かつ高精度に認識する装置を、高度な専門性を必要とすることなく簡易に構成する技術を提供する。

本開示の一態様は、行動認識装置であって、情報取得部（２０：Ｓ４）と、情報変換部（２０：Ｓ５）と、抽出部（２０：Ｓ３１）と、更新部（２０：Ｓ３２〜Ｓ３６）と、認識部（２０：Ｓ３７〜Ｓ４０）と、を備える。

情報取得部は、車両の状態、車両を運転するドライバの状態、及び車両の周辺の状態のうち、少なくとも一つを含む１以上の一次情報を繰り返し取得する。情報変換部は、情報取得部が取得した一次情報毎に、一次情報から抽出される１以上の対象状態のそれぞれについて、対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現された二次情報を生成する。抽出部は、情報変換部で生成される複数の二次情報の時系列から、時間窓を用いて判定用情報群を抽出する。更新部は、各要素がドライバの運転行動に対応づけられたベクトルを行動ベクトルとして、行動ベクトルの初期値を与え、判定用情報群を用いて算出される行動ベクトルの修正量によって、行動ベクトルを更新する。認識部は、更新部にて更新された行動ベクトルを用いて、ドライバの運転行動を認識する。

本開示の一態様は、ドライバの運転行動を認識する行動認識方法であって、情報取得ステップ（Ｓ４）と、情報変換ステップ（Ｓ５）と、抽出ステップ（Ｓ３１）と、更新ステップ（Ｓ３２〜Ｓ３６）と、認識ステップ（Ｓ３７〜Ｓ４０）と、を備える。情報取得ステップ、情報変換ステップ、抽出ステップ、更新ステップ、及び認識ステップでは、それぞれ、情報取得部、情報変換部、抽出部、更新部、及び認識部での動作と同様の動作が実行される。

このような構成によれば、ドライバの運転行動に関する専門的な知識に基づいて生成されるモデルを用いることなく、ドライバの運転行動を認識することができる。その結果、ドライバの運転行動に関する専門的な知識を必要とすることなく、当該装置を簡易に構成することができる。ドライバが実行しようとしている運転行動を認識できるため、認識された運転行動に関する情報の提示やその運転行動を支援するためのシステム制御を、早目に開始できる。

本開示の一態様は、情報生成装置であって、情報取得部（２０：Ｓ４）と、情報変換部（２０：Ｓ５）と、を備える。情報取得部は、車両の状態、車両を運転するドライバの状態、及び車両の周辺の状態のうち、少なくとも一つを含む１以上の一次情報を繰り返し取得する。情報変換部は、情報取得部が取得した一次情報毎に、一次情報から抽出される１以上の対象状態のそれぞれについて、対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現された二次情報を生成する。これにより、複数の二次情報の時系列が生成される。

このような構成によれば、複数の二次情報の任意時点での信号レベルを加減演算した結果によって演算対象となった二次情報間の関係を表現することができる。また、加減演算した結果は、行動ベクトルの更新に用いる修正量の算出等に使用することで、処理負荷を軽減できる。

行動認識装置の構成を示すブロック図である。 情報生成処理のフローチャートである。 取得画像と、顔検出及び顔特徴点検出の結果とを示す説明図である。 視領域を表す説明図である。 ドライバ状態とドライバ状態情報及び個別状態情報の時系列データとを例示する説明図である。 時間窓の設定に関する説明図である。 学習データの切り出しに関する説明図である。 回帰木を説明する説明図である。 回帰木にて使用される比較データペアに関する説明図である。 行動認識用パラメータを生成する学習処理のフローチャートである。 行動認識処理のフローチャートである。 学習データに加える車両情報に関する説明図である。 ドライバ状態とドライバ状態情報の時系列データとを例示する説明図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．構成］
図１に示す行動認識装置１は、車両に搭載され、車両において取得される様々な情報からドライバが実行しようとしている運転行動を認識する。行動認識装置１は、カメラ１０と、画像処理部２０とを備える。行動認識装置１は、通信部３０を備えてもよい。

カメラ１０は、例えば公知のＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。カメラ１０は、例えば、車両の運転席に着座したドライバの顔が撮像範囲に含まれるように配置される。カメラ１０は、周期的に撮像を実行し、撮像画像のデータを画像処理部２０に出力する。

通信部３０は、車載通信ネットワークを介して車両各部に設けられた電子制御ユニットと通信することで様々な情報を取得する。車載通信ネットワークは、例えばＣＡＮが用いられる。ＣＡＮは登録商標である。画像処理部２０が通信部３０を介して取得する情報には、車両情報と周辺情報とが含まれてもよい。

車両情報は、車両の状態を表す状態情報である。車両情報には、例えば、車速、操舵角、ヨーレート、加速度、アクセルペダル操作量、ブレーキ圧等が含まれてもよい。つまり、車両情報には、車両の挙動を表す情報だけでなく、車両の挙動に影響を与える情報が含まれていてもよい。

周辺情報は、車両周囲の状況を表す状態情報である。周辺情報には、車両の周囲を撮像するカメラからの画像、及び車両の周囲に存在する物体を検出するミリ波レーダ、ライダー、超音波センサ等での検出結果の他、これら画像及び検出結果を解析することで得られる情報が含まれてもよい。

画像処理部２０は、ＣＰＵ２０ａと、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ２０ｂ）と、を有するマイクロコンピュータを備える。画像処理部２０が実行する処理によって実現される機能に対応した機能ブロックとして、画像処理部２０は、情報生成部２１と、行動認識部２２と、学習部２３とを備える。なお、情報生成部２１を備える画像処理部２０が情報生成装置に相当する。

［２．情報生成処理］
情報生成部２１としての機能を実現するために、画像処理部２０が実行する情報生成処理について、図２のフローチャートを用いて説明する。情報生成処理は、予め設定された周期で繰り返し起動される。

Ｓ１では、画像処理部２０は、カメラ１０から画像を取得する。
続くＳ２では、画像処理部２０は、顔検出処理を実行する。顔検出処理は、Ｓ１で取得した画像から、顔が撮像された領域である顔領域を検出する処理である。顔検出処理では、例えば、パターンマッチングを用いることができるが、これに限定されるものではない。顔検出処理の結果、例えば、図３中の枠Ｗで示す部分が顔領域として検出される。

続くＳ３では、画像処理部２０は、特徴点検出処理を実行する。特徴点検出処理は、Ｓ２で抽出された顔領域の画像を用いて、撮像された顔の向き及び目の状態を特定するのに必要な複数の顔特徴点を検出する処理である。顔特徴点には、目、鼻、口、耳、及び顔等の輪郭における特徴的な部位が用いられる。特徴点検出処理の結果、例えば、図３中の丸印で示す複数の顔特徴点が検出される。

続くＳ４では、画像処理部２０は、情報取得処理を実行する。情報取得処理は、Ｓ３で検出された複数の顔特徴点に基づき、顔領域の画像から検出される目の周辺画像を用いて、ドライバの状態を表すドライバ状態情報を生成する処理である。このドライバ状態情報が一次情報に相当する。ドライバ状態情報は、図１３に示すように、複数の信号レベルを有し、各信号レベルに、ドライバの注視方向、ドライバの眼の開閉状態（例えば、閉眼状態）、及びドライバの顔向き状態等が対応づけられる。つまり、ドライバ状態情報が示す信号レベルのそれぞれが、一つの対象状態を表し、ドライバ状態情報は、ドライバの状態がどの対象状態に該当するかを表す多値情報である。

ドライバの注視方向は、運転時にドライバに視認される範囲を複数の領域（以下、視領域）に分割して、どの視領域を注視しているかによって表す。図４に示すように、視領域には、左サイドミラー（以下、左ミラー）Ｅ１、正面Ｅ２、ルームミラーＥ３、メータＥ４、右サイドミラー（以下、右ミラー）Ｅ５が含まれる。但し、視領域の分割方法は、これらに限定されるものではなく、より細かく分割した視領域を用いてもよいし、ドライバから見た角度等によって分割した視領域を用いてもよい。

ドライバの閉眼状態は、眼が閉じられることによって、どの視領域も見ていない状態を表す。ドライバの顔向き状態は、顔の向きが正面方向から所定角度以上離れている状態を表す。つまり、ドライバが、上記視領域以外を注視しているよそ見の状態を表す。

続くＳ５では、画像処理部２０は、情報変換処理を実行して処理を終了する。情報変換処理は、Ｓ４で生成されたドライバ状態情報が示す複数の信号レベルのそれぞれについて、信号レベルに該当するときは１、該当しないときは０となる二つの値で表現された個別状態情報に変換し、その変換結果をメモリ２０ｂに蓄積する処理である。この個別状態情報が二次情報に相当する。

図５に示すように、ドライバの注視方向に関する個別状態情報は、いずれも、該当する視領域を注視していると判定された場合に１、それ以外の場合に０となる２値で表される。ドライバの閉眼状態に関する個別状態情報は、閉眼の場合に１、それ以外の場合に０となる２値で表される。ドライバの顔向き状態に関する個別状態情報は、顔向き角度が正面方向に対して所定角度以上である場合に１、それ以外の場合に０となる２値で表される。これらドライバ状態情報から生成される複数の個別状態情報は、任意の時点で択一的にいずれか一つが１となり、他は全て０となる。

なお、Ｓ３及びＳ４の処理では、例えば、本願出願人が特願２０１９−１０８０２８号にて提案した、回帰関数を用いて特徴点の検出や注視方向を検出する方法を用いることができる。また、Ｓ４が情報取得部、Ｓ５が情報変換部に相当する。

情報生成処理が繰り返されることにより、メモリ２０ｂには、対象状態（すなわち、ドライバ状態情報の信号レベル）毎に個別状態情報の時系列が蓄積される。
［３．運転行動認識］
［３−１．概要］
行動認識処理で使用される方法、すなわち、情報生成部２１が生成する複数の個別状態情報の時系列からドライバが実施しようとしている運転行動を認識する方法について説明する。行動認識処理は、画像処理部２０が行動認識部２２としての機能を実現するために実行する処理である。

認識の対象となる運転行動には、例えば、「直進」「左車線変更」「右車線変更」「左折」「右折」「左分岐」「右分岐」「合流」「停止」等が含まれてもよい。
行動認識処理では、複数の個別状態情報の時系列から時間窓Ｔを用いて切り出される判定用情報群Ｉ_Ｅが用いられる。時間窓Ｔは、図６に示すように、認識対象となる運転行動を検出したいタイミングから、その運転行動が実際に開始されるタイミングまでの長さ以上の時間幅に設定される。図５は、時間窓Ｔによって切り出された判定用情報群Ｉ_Ｅの一例である。

判定用情報群Ｉ_Ｅは、図７に示すように、時間窓Ｔを画像の１又は数フレーム分ずつ時間をずらしながら適用する、いわゆるスライディングウインドを用いて、連続的に抽出される。行動認識処理は、このようにして抽出される複数の判定用情報群Ｉ_Ｅのそれぞれに対して実行される。

ここで、認識対象となる運転行動と同数であるＤ個の要素ａ_１〜ａ_Ｄを持つベクトルを、スコアベクトルＡという。スコアベクトルＡは、（１）式で表され、各要素ａ_１〜ａ_Ｄは、各運転行動のいずれかに対応づけられる。スコアベクトルＡは、該当する運転行動に対応する要素の値が大きく、該当しない運転行動に対応する要素の値が小さくなるようなワンホット形式をとり、最終的に一番大きな値を有する要素に対応づけられた運転行動が認識結果となる。スコアベクトルＡが行動ベクトルに相当する。

行動認識処理では、（２）式に示すように、スコアベクトルの初期値Ａ⁽⁰⁾を与え、修正量Ｒによって、スコアベクトルＡを修正することで、ドライバが実施しようとしている運転行動を表したスコアベクトルＡを算出する。

修正量Ｒは、（３）式に示すように、スコアベクトルの初期値Ａ⁽⁰⁾と、時間窓Ｔによって切り出された判定用情報群Ｉ_Ｅ とを入力情報として、修正関数Ｆ_Ｋに作用させることで得られる。修正関数Ｆ_Ｋは、勾配ブースティングを用いた回帰関数の加法モデルを適用した関数である。このような回帰関数は、例えば、“One Millisecond Face Alignment with an Ensemble of Regression Trees” Vahid Kazemi and Josephine Sullivan, The IEEE Conference on CVPR,2014,1867-1874（以下、参考文献１）、及び、“Greedy Function Approximation : A gradient boosting machine” Jerome H. Friedman, The Annals of Statistics Volume 29, Number 5 (2001),1189-1232（以下、参考文献２）等に示される。

修正関数Ｆ_Kは、予め用意されたＫ個の回帰木ＲＴ_１〜ＲＴ_Ｋを用いて回帰的に値が決定される関数であり、（４）式で定義される。回帰木ＲＴ_１〜ＲＴ_Ｋは、木構造をとる弱仮説の集合である。Ｆ_０は修正関数Ｆ_Kの初期値、Ｇ_ｋはｋで識別される回帰木ＲＴ_ｋによって値が決定される回帰関数であり、ｋ＝１，２，…Ｋである。また、γは学習率であり、０＜γ＜１に設定される。γの値を小さくすることで、過学習となることを抑制する。

Ｋ個の回帰木ＲＴ_１〜ＲＴ_Ｋは、いずれも同様の構造を有する。例えば、図８に示すように、回帰木ＲＴ_ｋとして、ノードを順次二つに分岐させる二分木が用いられる。回帰木ＲＴ_ｋの枝の分岐点となるノードを通常ノード４１、回帰木ＲＴ_ｋの葉となるノードを末端ノード４２という。通常ノード４１を識別するノードインデックスをｅとすると、ｅ番目の通常ノード４１には、比較データペア（Ｐ_e0，Ｐ_e1）とスレッショルドＴＨ_ｅとが対応づけられる。末端ノード４２のそれぞれには回帰量Ｇ_ｋの具体的な値ｒ_k1〜ｒ_k8が対応づけられる。

比較データペア（Ｐ_e0，Ｐ_e1）に属する二つのデータは、個別状態情報の種類と、時間窓によって切り取られた時間領域の開始時間を基点とする相対時間で表された抽出時間とで定義される。図９に示すように、個別状態情報の種類は、二つのデータ間で異なっていてもよいし同じであってもよい。また、抽出時間も、二つのデータ間で異なっていてもよいし同じであってもよい。但し、二つのデータ間で、個別状態情報の種類が同じである場合は、抽出時間を異ならせる必要がある。逆に言えば、二つのデータ間で、抽出時間が同じである場合は、個別状態情報の種類を異ならせる必要がある。図９中に示した太字破線の矢印の両端が、比較データペア（Ｐ_e0，Ｐ_e1）として抽出される二つのデータに対応する。

回帰木ＲＴ_ｋの各通常ノード４１では、比較データペア（Ｐ_e0，Ｐ_e1）の差分値、すなわちＰ_e0−Ｐ_e1が、スレッショルドＴＨ_ｅよりも低いか否かに応じて、次階層の通常ノード４１又は末端ノード４２に至るいずれの枝を選択するかが決定される。比較データペア（Ｐ_e0，Ｐ_e1）を構成する個々のデータの値は、いずれも０又は１であるため、差分値は−１，０，１のいずれかとなる。つまり、スレッショルドＴＨｅは、−１＜ＴＨｅ≦１に設定される。なお、比較データペア（Ｐ_e0，Ｐ_e1）の差分値が、判定用情報群Ｉ_Ｅから抽出される特徴に相当する。

回帰木ＲＴ_ｋの通常ノード４１に対応づけられた比較データペア（Ｐ_e0，Ｐ_e1）の差分値と、スレッショルドＴＨ_ｅとの比較結果に従って、回帰木ＲＴ_ｋの枝を辿りながら同様の処理を繰り返すことで複数ある末端ノード４２のいずれかに到達する。到達した末端ノード４２に対応付けられた回帰量ｒ_kjが回帰関数Ｇ_ｋの値となり、ひいては修正関数Ｆ_Ｋの出力値の一部となる。図８では、ｊ＝１，２，…８である。

このように、行動認識処理では、スコアベクトルＡの初期値Ａ⁽⁰⁾と、修正関数Ｆ_Ｋの初期値Ｆ_０と、回帰木ＲＴ_ｋを定義する各パラメータとが事前に用意されている必要がある。以下では、これらのパラメータを総称して行動認識用パラメータという。

行動認識用パラメータは、画像処理部２０が学習処理を実行することで生成される。但し、学習処理は、必ずしも画像処理部２０で実行される必要は無く、画像処理部２０以外の装置にて実行されてもよい。

［３−２．学習］
行動認識用パラメータを設定するための学習処理について、図１０のフローチャートを用いて説明する。学習処理は、画像処理部２０が学習部２３としての機能を実現するために実行する処理である。学習処理を実行する際には、メモリ２０ｂに学習用の個別状態情報が記憶される。学習用の個別状態情報には、画像の１フレーム単位で、ドライバの運転行動の正解ラベルが予め付与される。

Ｓ１１では、画像処理部２０は、メモリ２０ｂに記憶された学習用の個別状態情報から、時間窓を用いて切り出された多数（例えば、Ｎ個）の個別状態情報群を学習情報として、学習情報毎に、スコアベクトルＡの正解値（以下、教師データ）Ａ_１〜Ａ_Ｎを生成する。

具体的には、図７に示すように、学習情報に含まれる画像のフレーム毎に付与された正解ラベルを参照して、教師データＡｉを生成する。例えば、学習情報に含まれる画像のすべてのフレームに正解ラベルとして「直進」が付与されていれば、スコアベクトルＡの「直進」に対応づけられた要素を１、その他の要素を０に設定した教師データＡｉを生成する。また、学習情報に含まれる画像のフレームに、左車線変更の開始点が含まれていれば、スコアベクトルＡの「左車線変更」に対応づけられた要素を１、その他の要素を０に設定した教師データＡｉを生成する。

続くＳ１２では、画像処理部２０は、スコアベクトルの初期値Ａ⁽⁰⁾を算出する。スコアベクトルの初期値Ａ⁽⁰⁾は、例えば、Ｓ１１で生成された教師データＡ_１〜Ａ_Ｎの平均値を用いてもよい。

続くＳ１３では、画像処理部２０は、（５）式に従って、学習情報毎に、教師データＡ_ｉとスコアベクトルの初期値Ａ⁽⁰⁾との差分である修正残差ΔＡ_ｉを算出する。

続くＳ１４では、画像処理部２０は、修正量Ｒの算出に用いる修正関数Ｆ_Ｋの初期値Ｆ₀を、（６）式を用いて算出する。

（６）式は、各学習情報における修正残差ΔＡｉと、スコアベクトルＡと同じ次元を有する任意のベクトルＶとの距離を、全ての学習情報について合計したときに、その合計値を最小にするベクトルＶを修正関数Ｆ_Ｋの初期値Ｆ_０とすることを意味する。

続くＳ１５では、画像処理部２０は、回帰木ＲＴ_１〜ＲＴ_Ｋの識別に用いる回帰木インデックスｋを１に初期化する。
続くＳ１６では、画像処理部２０は、学習情報毎に、残り修正量ｃ_ｋを（７）式を用いて算出する。

続くＳ１７では、画像処理部２０は、学習情報を用いて、回帰木ＲＴ_ｋの生成に用いる比較データペア（Ｐ_e0，Ｐ_e1）を選択する。なお、比較データペア（Ｐ_e0，Ｐ_e1）の選択及び回帰木ＲＴ_ｋの生成には、例えば、上述した参考文献１の２．３．２項に記載される方法を用いてもよい。特に、比較データペア（Ｐ_e0，Ｐ_e1）の選択は、ランダム及び総当たりのいずれでもよい。

なお、比較データペア（Ｐ_e0，Ｐ_e1）を、このような学習によって選択することは、以下に例示するような特徴の中から、運転行動の認識において寄与率の高い特徴に対応づけられる比較データペア（Ｐ_e0，Ｐ_e1）を、自動的に選択することを意味する。

・各視領域Ｅ１〜Ｅ５が注視されている時間又は注視されていない時間の合計。
・注視される視領域が変化するタイミング。
・ある視領域が注視されてから他の視領域が注視されるまでの時間間隔。

・同一視領域、且つ時刻が異なる２点間の状態変化。
・異なる視領域、且つ時刻が異なる２点間の状態変化。
続くＳ１８では、画像処理部２０は、Ｓ１７で選択した比較データペア（Ｐ_e0，Ｐ_e1）の差分値を、学習情報を分類する際の指標とし、すべての学習情報において残り修正量ｃ_ｋに近い値が得られるような回帰木ＲＴ_ｋを生成する。すなわち、回帰木ＲＴ_ｋによって実現される回帰関数Ｇ_kを生成する。

続くＳ１９では、画像処理部２０は、Ｓ１８で生成された回帰関数Ｇ_ｋを用いて、（８）式により、修正関数Ｆ_ｋを更新する。

続くＳ２０では、画像処理部２０は、回帰木インデックスｋを１増加させる。
続くＳ２１では、画像処理部２０は、ｋ＞Ｋであるか否かを判定する。Ｓ２１において否定判定された場合は、新たな回帰木を作成するために処理をＳ１６に戻し、Ｓ２１において肯定判定された場合は、処理を終了させる。

学習処理では、一つの修正関数Ｆ_ＫのためにＫ個の回帰関数Ｇ_ｋ（すなわち、回帰木ＲＴ_ｋ）が生成される。
［３−３．行動認識処理］
画像処理部２０が実行する行動認識処理について、図１１のフローチャートを用いて説明する。行動認識処理では、上述の学習処理によって生成された行動認識用パラメータが用いられる。行動認識処理は、Ｓ１にて画像が取得される毎、すなわち１フレーム毎に行ってもよいし、複数フレーム毎に行ってもよい。

まずＳ３１では、画像処理部２０は、Ｓ５にて蓄積された複数の個別状態情報の時系列から時間窓Ｔを用いて現時点から過去、時間窓分の情報を切り出すことで、判定用情報群Ｉ_Ｅを取得する。

続くＳ３２では、画像処理部２０は、回帰木インデックスｋを１に初期化する。
続くＳ３３では、画像処理部２０は、回帰木インデックスｋで識別される回帰木ＲＴ_ｋと、Ｓ３１で取得された判定用情報群Ｉ_Ｅと、学習処理で算出された行動判定用パラメータとを用いて回帰関数Ｇ_ｋの値を取得し、（８）式を用いて修正関数Ｆ_ｋを更新する。

続くＳ３４では、画像処理部２０は、回帰木インデックスｋを１増加させる。
続くＳ３５では、画像処理部２０は、ｋ＞Ｋであるか否かを判定する。つまり、Ｋ個の回帰木ＲＴ_１〜ＲＴ_Ｋの全てが修正関数Ｆ_Ｋの算出に用いられたか否かを判定する。Ｓ３５において否定判定された場合は処理をＳ３３に戻し、Ｓ３５において肯定判定された場合は処理をＳ３６に進める。Ｓ３３〜Ｓ３５の処理により、最終的に（４）式に示された修正関数Ｆ_Ｋが算出され、（３）式に示すように、この修正関数Ｆ_Ｋによって得られる値が、スコアベクトルの初期値Ａ⁽⁰⁾に対する修正量Ｒとなる。

Ｓ３６では、画像処理部２０は、（２）式を用いて修正されたスコアベクトルＡを生成する。
続くＳ３７では、画像処理部２０は、修正されたスコアベクトルＡのうち、最大スコアＳＣを有する要素を抽出する。

続くＳ３８では、画像処理部２０は、ＳＣ＞ＴＨｓであるか否かを判定する。ＴＨｓは、判定結果の信頼性を判定するための閾値である。Ｓ３８において肯定判定された場合は処理をＳ３９に進め、Ｓ３８において否定判定された場合は処理をＳ４０に進める。

Ｓ３９では、画像処理部２０は、最大スコアＳＣを有する要素に対応づけられた運転行動を、ドライバが実施しようとしている運転行動の認識結果として出力して、処理を終了する。

Ｓ４０では、画像処理部２０は、スコアベクトルＡに示された推定結果の信頼性が低いものとして、推定結果を無効化して、処理を終了する。
［４．効果］
以上詳述した実施形態によれば、以下の効果を奏する。

（４ａ）本実施形態では、行動認識処理におけるスコアベクトルＡの修正量Ｒの算出に勾配ブースティングにより学習された回帰木ＲＴ_ｋを用いる。しかも、回帰木ＲＴ_ｋの条件分岐に用いるパラメータとして、比較データペア（Ｐ_e0，Ｐ_e1）の差分値を用いる。つまり、回帰的な処理において単純なパラメータを利用する。このため、本実施形態によれば、行動認識処理の処理量が削減され、高速動作を実現できる。

（４ｂ）本実施形態によれば、機械学習によって自動的に学習及び認識が実行されるため、ドライバの運転行動に対する専門的な知識を必要とすることなく、運転行動の認識に必要なパラメータを生成することができる。

（４ｃ）本実施形態では、状態情報に対してフィルタリング等の前処理を行う必要がないため、前処理を実行することによる誤差の蓄積や、前処理の性能による検出精度の劣化を避けることができ、ドライバの運転行動の認識精度を向上させることができる。

（４ｄ）本実施形態では、大量のデータを機械学習することで得られた回帰木ＲＴ_ｋを用いてドライバに応じた回帰関数Ｇ_ｋを生成し、この回帰関数Ｇ_ｋによって得られる修正値Ｒによって修正されたスコアベクトルＡを用いて認識結果を得る。このため、平均的なモデルとの比較によって認識結果を得る従来技術と比較して、多様なドライバに対するロバスト性の高い認識結果を得ることができる。

（４ｅ）本実施形態によれば、個別状態情報として２値で表現される情報を用いるため、個別状態情報の蓄積に必要なメモリ容量を削減できる。
（４ｆ）本実施形態によれば、ドライバが実施しようとしている運転行動を認識するため、認識された運転行動に関わる情報の提示や、その運転行動を支援するためのシステム制御を早目に開始できる。

［５．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（５ａ）上記実施形態では、回帰木ＲＴ_ｋへの入力情報となる比較データペア（Ｐ_e0，Ｐ_e1）を、ドライバ状態情報から生成される複数の個別状態情報から抽出しているが、本開示はこれに限定されるものではない。例えば、通信部３０を介して取得される車両情報や周辺情報を一次情報として、これらの一次情報のそれぞれから、二次情報である複数の個別状態情報を抽出してもよい。また、取得される一次情報が２値化された情報である場合、一次情報をそのまま二次情報として用いてもよい。

図１２に示すように、車両情報として、車速、操舵角、ヨーレート、加速度等の検出結果であるアナログ信号を用いる場合、ある時点の値を、他の情報の値と比較（例えば、値の加減算等）しても、意味のある結果を得ることができない。このため、比較データペア（Ｐ_e0，Ｐ_e1）を生成する際に、状態情報の種類として車両情報を選択した場合には、同一情報かつ異なる時刻で定義される２点を選択する必要がある。但し、車両情報を、複数に区分けされた値域毎に、その値域内の値であるか否かを表す２値化された複数の情報（すなわち、二次情報）に変換して用いる場合には他の状態情報と組み合わせて比較データペア（Ｐ_e0，Ｐ_e1）を生成してもよい。

（５ｂ）上記実施形態では、回帰木ＲＴ_ｋを用いて回帰関数Ｇ_ｋを取得する方法を例示したが、本開示は、これに限定されるものではなく、公知の別の手法を用いて回帰関数を取得してもよい。

（５ｃ）上記実施形態では、個別状態情報の一つとして、顔の向きが正面方向から所定角度以上離れている状態、すなわち、よそ見している状態を表す「ドライバの顔向き状態」を用いているが、本開示はこれに限定されるものではない。例えば、認識対象の運転行動によっては、ドライバの顔向きを、「右向き」「左向き」「上向き」「下向き」等に分けて、それぞれを別の個別状態情報としてもよい。

（５ｄ）本開示に記載の画像処理部２０及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の画像処理部２０及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の画像処理部２０及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。画像処理部２０に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（５ｅ）上記実施形態における一つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、一つの構成要素が有する一つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、一つの構成要素によって実現したり、複数の構成要素によって実現される一つの機能を、一つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（５ｆ）上述した行動認識装置及び情報生成装置の他、種々の形態で本開示を実現することもできる。例えば、行動認識装置又は情報生成装置を構成要素とするシステム、行動認識装置又は情報生成装置を構成する画像処理部としてコンピュータを機能させるためのプログラムとして実現されてもよい。更に、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、行動認識方法、及び情報生成方法などとして実現されてもよい。

１…行動認識装置、１０…カメラ、２０…画像処理部、２０ａ…ＣＰＵ、２０ｂ…メモリ、２１…情報生成部、２２…行動認識部、２３…学習部、３０…通信部。

Claims (12)

1. 車両の状態、前記車両を運転するドライバの状態、及び前記車両の周辺の状態のうち、少なくとも一つを含む１以上の一次情報を繰り返し取得するように構成された情報取得部（２０：Ｓ４）と、
   前記情報取得部が取得した前記一次情報毎に、前記一次情報から抽出される１以上の対象状態のそれぞれについて、前記対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現された二次情報を生成するように構成された情報変換部（２０：Ｓ５）と、
   前記情報変換部で生成される複数の前記二次情報の時系列から、時間窓を用いて判定用情報群を抽出するように構成された抽出部（２０：Ｓ３１）と、
   各要素が前記ドライバの運転行動に対応づけられたベクトルを行動ベクトルとして、前記行動ベクトルの初期値を与え、前記判定用情報群を用いて算出される前記行動ベクトルの修正量によって、前記行動ベクトルを更新するように構成された更新部（２０：Ｓ３２〜Ｓ３６）と、
   前記更新部にて更新された前記行動ベクトルを用いて、前記ドライバの運転行動を認識するように構成された認識部（２０：Ｓ３７〜Ｓ４０）と、
   を備える、行動認識装置。
2. 請求項１に記載の行動認識装置であって、
   前記更新部は、前記判定用情報群から算出される特徴量と、前記行動ベクトルに対する修正量との関係を表す回帰関数を用いて、前記行動ベクトルの修正量を算出する、
   行動認識装置。
3. 請求項２に記載の行動認識装置であって、
   前記更新部にて使用される前記回帰関数は、勾配ブースティングによって学習される回帰木であって、木構造をとる弱仮説の集合として実現される
   行動認識装置。
4. 請求項２又は請求項３に記載の行動認識装置であって、
   前記更新部は、前記特徴量として、前記判定用情報群から抽出される二つのデータである比較データペアの差分値を用いる、
   行動認識装置。
5. 請求項４に記載の行動認識装置であって、
   前記比較データペアは、同一の前記二次情報から抽出される
   行動認識装置。
6. 請求項４に記載の行動認識装置であって、
   前記比較データペアは、異なる前記二次情報から抽出される
   行動認識装置。
7. 請求項１から請求項６までのいずれか１項に記載の行動認識装置であって、
   前記行動ベクトルの各要素に対応づけられる前記ドライバの運転行動には、直進、左車線変更、及び右車線変更のうち、少なくとも一つが含まれる
   行動認識装置。
8. 請求項１から請求項７までのいずれか１項に記載の行動認識装置であって、
   前記一次情報には、前記ドライバの状態を表す情報が含まれ、
   前記二次情報には、前記ドライバが注視する領域である視領域を表す情報、前記ドライバの眼の開閉状態を表す情報、及び前記ドライバの顔向きを表す情報のうち、少なくとも一つが含まれる
   行動認識装置。
9. ドライバの運転行動を認識する行動認識方法であって、
   車両の状態、前記車両を運転する前記ドライバの状態、及び前記車両の周辺の状態のうち、少なくとも一つを含む１以上の一次情報を繰り返し取得する情報取得ステップ（Ｓ４）と、
   前記情報取得ステップにて取得された前記一次情報毎に、前記一次情報から抽出される一つ以上の対象状態のそれぞれについて、前記対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現された二次情報を生成する情報変換ステップ（Ｓ５）と、
   前記情報変換ステップで生成される複数の前記二次情報の時系列から、時間窓を用いて判定用情報群を抽出する抽出ステップ（Ｓ３１）と、
   各要素が前記ドライバの運転行動に対応づけられたベクトルを行動ベクトルとして、前記行動ベクトルの初期値を与え、前記判定用情報群を用いて算出される前記行動ベクトルの修正量によって、前記行動ベクトルを更新する更新ステップ（Ｓ３２〜Ｓ３６）と、
   前記更新ステップにて更新された前記行動ベクトルを用いて、前記ドライバの運転行動を認識する認識ステップ（Ｓ３７〜Ｓ４０）と、
   を備える、行動認識方法。
10. 車両の状態、前記車両を運転するドライバの状態、及び前記車両の周辺の状態のうち、少なくとも一つを含む１以上の一次情報を繰り返し取得するように構成された情報取得部（２０：Ｓ４）と、
    前記情報取得部が取得した前記一次情報毎に、前記一次情報から抽出される１以上の対象状態のそれぞれについて、前記対象状態に該当するか否かを表し、且つ、加減演算が可能な二つの値で表現された二次情報を生成するように構成された情報変換部（２０：Ｓ５）と、
    を備える情報生成装置。
11. 請求項１０に記載の情報生成装置であって、
    前記一次情報には、前記ドライバの状態の一つとして前記ドライバの注視方向が含まれ、
    前記二次情報には、前記ドライバが注視する領域である視領域を、前記ドライバが前記視領域を注視している状態を前記対象状態とする
    情報生成装置。
12. 請求項１０又は請求項１１に記載の情報生成装置であって、
    一つの前記一次情報から前記二次情報が複数生成され、任意の時点でいずれか一つの前記二次情報が、択一的に前記対象状態に該当するように設定された
    情報生成装置。

Images