JP2013242615A

JP2013242615A - 運転シーン遷移予測装置および車両用推奨運転操作提示装置

Info

Publication number: JP2013242615A
Application number: JP2012113711A
Authority: JP
Inventors: Yuki Shinohara; 佑基篠原; Yoshiji Bando; 誉司坂東; Takayuki Miyahara; 孝行宮原
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-05-17
Filing date: 2012-05-17
Publication date: 2013-12-05

Abstract

【課題】将来の行動予測のための演算量を低減するとともに、その予測に際して交通参加者の増減に柔軟に対応することを可能とした運転シーン遷移予測装置を提供する。
【解決手段】シンボル化実施部４０が、運転シーンを構成する各情報をシンボル化して、自車両が置かれている運転シーン全体を記述する。このため、例えば交通参加者が増減しても、単にシンボル化される情報が増減するだけであり、交通参加者の増減に柔軟に対応できる。また、シンボル遷移予測部６０は、自車両を含む各交通参加者の状態の変化に基づいて推定された、自車両の行動が交通参加者の行動に与える相互作用行列Iを用いて、シンボル化された運転シーンがどのように遷移するかを予測する。従って、運転シーンの遷移の予測において、大幅に演算量を低減しつつ、予測精度の向上も図ることができる。
【選択図】図１

Description

本発明は、自車両の置かれた運転シーンが、将来、どのように遷移していくかを予測する運転シーン遷移予測装置、および、その予測に基づき、自車両の運転者に対して、推奨する運転操作を提示する車両用推奨運転操作提示装置に関する。

周囲車両の未来の挙動を予測し、自車両の未来の動作計画を生成し、それに基づいた推奨操作量を生成する装置が、特許文献１に開示されている。

この特許文献１の装置では、周囲車両の位置と走行車線と自車両との相対速度を検出し、それらの情報から自車両と周囲車両の車線ごとの位置と速度を算出する。そして、周囲車両群挙動予測手段において、検出した車両と同じ数だけの車両モデルにより、自車両が取る行動が車両群に与える影響を予測する。車両モデルは、車両の進行方向に対する動作モデルと、車線変更のモデルとから構成される。例えば、車両の進行方向に対する動作モデルは、各々の車両の直前を走行する先行車を基準として、各車両（後続車両）は先行車両と車頭時間を一定に保つように動作するモデルとして構築される。

そして、自車両の挙動が他の車両にどのような影響を与えるかを予測すべく、自車両に対しては入力を陽に含む形でモデルを割り当て、各車両モデルを用いて任意の加速度指令値の時系列パターンを入力した際の車群全体の挙動（位置）を計算する。

特開２００３−２２８８００号公報

上述したように、特許文献１の装置では、自車両と同じ進行方向に走行している周囲車両のみを対象として、車両群の挙動を予測しようとする。しかも、その予測は、先行車両に対して後続車両が、車頭時間を一定に保つように動作する非常に単純なモデルに基づいている。

しかしながら、実際の運転シーンにおいては、同一進行方向の車両のみならず、対向車線を走行する対向車両や歩行者などの交通参加者も存在し、相互に影響を及ぼしあっている。さらに、自車両は、道路に設置された信号機の状態によっても、その行動が影響される。そこで、信号機も含め、各交通参加者について、それぞれが複雑に行動を行うような、より一般的な運転シーンに特許文献１の装置を適用しようとすると、いわゆるフレーム問題に直面してしまう。これは、特許文献１の装置では、各交通参加者にそれぞれ車両モデルのような行動モデルを仮定して、それぞれの行動モデルから各交通参加者全体の挙動を予測しようとすることに起因する。

また、特許文献１の装置では、交通参加者ごとに行動モデルが割り当てられ、その行動モデルは、先行車両のような他の交通参加者の情報も利用して構築される。従って、新たな交通参加者が出現したり、既存の交通参加者が離脱した場合、その他の交通参加者の行動モデルまでも再設定し、予測をやり直す必要が生じる。

しかし、実際の運転シーンにおいては、交通参加者の増減は頻繁に発生する。従って、特許文献１の装置では、以前に算出した予測結果は無用なものとなって、予測をやり直して新たな予測結果を算出する事態が頻繁に生じてしまうことになる。そのため、その間、予測結果の利用が出来なくなり、運転者に対して有効な情報の提供も出来なくなってしまう。

本発明は、上述した点に鑑みてなされたものであり、将来の行動予測のための演算量を低減するとともに、その予測に際して交通参加者の増減に柔軟に対応することを可能とした運転シーン遷移予測装置を提供することを第１の目的とする。また、この装置による予測結果に基づき、自車両の運転者に対して推奨運転操作を提示する車両用推奨運転操作提示装置を提供することを第２の目的とする。

第１の目的を達成するための運転シーン遷移予測装置に係る発明は、自車両が走行する走行環境に関する情報を取得する環境情報取得部（１０）と、前記自車両の周辺において交通に参加している交通参加者の情報であって、その交通参加者の位置の情報を少なくとも含む交通参加者情報を取得する交通参加者情報取得部（２０）と、自車両の周囲に仮想のグリッドを定め、前記環境情報取得部で取得した走行環境をグリッドに当てはめることにより走行環境を表現するとともに、前記交通参加者情報取得部が取得した交通参加者を、該当する位置のグリッドに当てはめることにより各交通参加者の位置を表現することで、自車両周辺の運転シーンをシンボル化して記述するシンボル化実施部（４０）と、前記運転シーンに含まれる交通参加者間の相互作用を、交通参加者間の協調度合い、交通参加者の速度変動度合い、および交通参加者が周辺物体との間に確保している空間あるいは距離であるパーソナルスペースのいずれか少なくとも一つを用いて推定する相互作用推定部（５０）と、前記自車両が採りうる行動の候補に対して、その行動を採った場合に前記運転シーンが遷移する様子を、前記相互作用推定部によって推定された相互作用に基づいて予測する遷移予測部（６０）と、を備えることを特徴とする。

本発明によれば、シンボル化実施部により、自車両の運転シーンをシンボル化して記述しており、遷移予測部では、この運転シーンの遷移を予測している。従って、シンボルの記述を変更するだけで交通参加者の増減に対応することができ、従来技術のように、行動モデルを再設定する必要がないことから、交通参加者の増減に柔軟に対応することができる。また、運転シーンはシンボル化して記述していることから、この運転シーンを用いた行動予測のための演算の演算量を低減できる。

加えて、運転シーンに含まれる交通参加者間の相互作用を、交通参加者間の協調度合い、交通参加者の速度変動度合い、および交通参加者のパーソナルスペースのいずれか少なくとも一つを用いて推定し、推定した相互作用に基づいて運転シーンの遷移を予測していることから、これら協調度合い、速度変動度合い、パーソナルスペースを考慮していない従来技術よりも精度の良い予測が可能となる。

第２の目的を達成するための車両用推奨運転操作提示装置に係る発明は、第１の発明の運転シーン遷移予測装置と、前記運転シーン遷移予測装置の遷移予測部による予測結果に基づいて、推奨すべき運転操作を決定し、前記自車両の運転者に提示する推奨操作提示部（７０）と、を備えることを特徴とする。

第１の発明の運転シーン遷移予測装置が、高い精度で運転シーンを予測していることから、この運転シーン遷移予測装置による予測結果に基づいて、推奨すべき運転操作を決定することで、決定した運転操作が、自車両の運転者にとって好ましい運転操作となる可能性が高くなる。

実施形態となる車両用推奨運転操作提示装置の全体の構成を示すブロック図である。シンボル化実施部にて実行される、各種の情報をシンボル化する処理について説明するための説明図である。グリッドの一例を示す図である。図１の相互作用推定部５０が行なう処理を示すフローチャートである。交通参加者間の相互作用により、将来の運転シーンが変化することを説明する図である。図１のシンボル遷移予測部６０の処理を示すフローチャートである。図６のステップＳ２３で行なうグリッドの予測を、簡略化して示す図である。時系列的に順番に行われる複数の行動からなる行動系列により、複数の運転シーンが予測されることを示す説明図である。図１の推奨操作生成・提示部７０が実行する処理フローチャートである。第１の推奨操作例を示す図であって、車線変更に関する例である。第２の推奨操作例を示す図であって、車線変更に関する例である。第３の推奨操作例を示す図であって、車線変更に関する例である。第４の推奨操作例を示す図であって、車線変更に関する例である。第５の推奨操作例を示す図であって、車線変更に関する例である。第６の推奨操作例を示す図であって、車線変更に関する例である。第７の推奨操作例を示す図であって、他車両の割り込みに関する例である。第８の推奨操作例を示す図であって、他車両の割り込みに関する例である。第９の推奨操作例を示す図であって、他車両が合流する際の例である。第１０の推奨操作例を示す図であって、他車両が合流する際の例である。

以下、本発明の好ましい実施形態を図面に基づいて説明する。なお、以下に説明する実施形態においては、運転シーン遷移予測装置を含む車両用推奨運転操作提示装置について説明する。

図１は、本実施形態における車両用推奨運転操作提示装置の全体の構成を示すブロック図である。なお、図１では、機能ブロックで車両用推奨運転操作提示装置の構成を示しているが、実際の装置は、各種の情報を取得するための各種のセンサや通信機と、取得した情報に基づき、周辺物体の遷移を予測し、その予測結果に基づいて推奨すべき運転操作を生成・提示するための処理を実行する電子制御装置とにより構成される。この車両用推奨運転操作提示装置が搭載される車両を、以下、自車両ということもある。

図１において、環境情報取得部１０は、自車両の周辺の道路の平面的な形状や勾配、レーンマークの位置、交差点までの距離や交差点形状など、自車両の周囲のインフラ情報を取得する。また、それに加えて、季節、時刻、天候などのグローバルな環境情報が取得可能となっていてもよい。

この環境情報取得部１０は、自車両に搭載されたナビゲーション装置、ミリ波やレーザを用いたレーダ装置、自車両の周囲を撮影するカメラ、路車間通信機などを用いて上述した情報を取得する。

交通参加者情報取得部２０は、自車両の周囲に存在する他車両や歩行者などの位置や速度を交通参加者情報として取得する。他車両の情報としては、位置、速度のみならず、ウインカの操作状態、クラクションの操作状態、ブレーキペダルの操作状態などの運転情報が取得可能である場合、この運転情報も取得する。この他車両に含まれる車両は、同一進行方向に走行する先行車両や後続車両のみならず、対向車線を走行する対向車両も含まれる。

さらに、交通参加者情報取得部２０は、信号機が交通参加者の行動に大きな影響を与えることに鑑み、信号機も交通参加者の１人として、信号機の位置やその状態を検出する。交通参加者情報取得部２０は、このような各種の情報を、自車両の周囲を撮影するカメラや、路車間通信機、車車間通信機などを用いて取得する。

なお、図１において、環境情報取得部１０と交通参加者情報取得部２０とは、別個の構成として示されているが、これは、取得する情報の種類に応じて便宜的に区分けしただけであり、それぞれが情報を取得するために用いる機器は、上述の通り、相互にオーバーラップする。従って、環境情報として、信号機の位置や状態を取得してもよい。

自車両情報取得部３０は、自車両の位置、速度、加速度、操舵角度、ウインカの操作状態、クラクション操作状態、ブレーキ操作状態、灯火状態などの自車両の運動状態や操作状態に関する情報を取得する。加えて、運転者の運転姿勢、視線の向き、血圧・心電位・皮膚電位などの生理情報などの運転者情報も取得してもよい。

自車両の運動状態や操作状態に関する情報は、各種のセンサ（速度センサ、加速度センサ、操舵角センサなど）から取得したり、各種の車載機器（ナビゲーション装置、方向指示器、灯火装置など）から取得する。また、運転者情報は、ドライバモニタカメラや、ステアリングホイールに設置される生理情報取得装置などを用いて取得される。

なお、環境情報取得部１０、交通参加者情報取得部２０、自車両情報取得部３０は、取得した１つまたは複数の情報に基づいて、新たな情報を生成するようにしても良い。例えば、自車両の位置と、その周囲の交通参加者や建造物などから、自車両の運転者の死角の位置や、視野全体において死角となる領域の比率などの情報を生成しても良い。また、周囲の交通参加者や建造物の色や形から、運転者が視線を向け易くなる度合（誘目性）を情報として算出したり、霧や雨の天候、周囲の照度などから視認性を算出しても良い。また、運転者の生理情報などから、運転者の眠気度合（注意力低下度合）を算出するようにしても良い。

これらの観測情報は、より多くのセンサ等の情報を取得するようにすれば、自車両の行動に対する周囲の交通参加者の行動予測の精度向上につながるが、必ずしも、上述のすべての情報が必要というわけではない。予測の精度や目的に応じて、上述した情報のうち、いくつかの情報を省略しても良いし、逆に、さらに他の情報を加えても良い。

シンボル化実施部４０は、環境情報取得部１０によって取得された道路形状等の物理的情報、交通参加者情報取得部２０によって位置が取得された交通参加者、および自車両情報取得部３０によって取得された自車両の位置とを、予め設定したグリッドに当てはめる処理を行なう。さらに、グリッドに当てはめた上述の各種の物体に対して、環境情報取得部１０、交通参加者情報取得部２０、自車両情報取得部３０で取得されたそれらの物体についての情報を関連づける処理も行なう。このグリッドとは、自車両の周辺領域を複数に区分した小領域であり、グリッドの大きさは、物体位置の検出分解能よりも大きい。よって、シンボル化（すなわち、グリッドへの物体の当てはめ）が行われることで、各情報は、簡略化されることになる。

シンボル化（簡略化）の最も簡単な一例は量子化である。すなわち、図２に示すように、シンボル化実施部４０は、自車両の周囲に仮想のグリッドを定め、交通参加者情報取得部２０によって取得された信号機や他車両などの交通参加者を、該当する位置のグリッドに当て嵌めることにより、各交通参加者の位置を表現する。この際、交通参加者の種類（同一進行方向車両、対向車両、歩行者、信号機、…）は、対応するグリッドにラベル付けすることによって識別できるようにする。

さらに、環境情報、自車両情報、交通参加者情報に含まれる種々の情報のうち、シンボル化すべき情報として定められている情報もシンボル化する。たとえば、それらの情報を要素とするシンボルベクトルを作成する。なお、シンボルベクトルの作成に代えて、前述のように、ラベル付けを行なってもよい。

種々の情報のベクトルによる表現の一例を説明する。たとえば、交通参加者情報において、各種の運転操作（ウインカ、クラクション、ブレーキ）がなされているか否かを１又は０で表現することができる。また、時刻を複数の時間帯（早朝、日中、夜間）にクラス分けして、該当する時間帯を１にして時刻を表現してもよい。また、天候を、晴、雨、曇りのいずれに該当するかを１と０で表してもよい。時刻、天候は、同一の運転シーンであれば、全てのグリッドが同じ内容となる。なお、運転シーンとは、ある時刻における自車両およびその周辺の交通参加者の情報をまとめたものである。すなわち、より具体的には、全グリッドの情報のまとまりを意味する。

上述の通り、シンボル化の一例としてはシンボルベクトルを用いる方法があり、各種の情報をシンボルベクトルを用いて表すことで、それらの情報を容易にシンボル化することができ、且つ、ベクトルの次元を増減することにより、シンボル化する情報の増減にも容易に対応可能となる。なお、各交通参加者の情報を混同しないように、交通参加者情報は、対応するグリッド位置やラベルに関連付けて保存しておく。

シンボル化により、詳細なデータは削ぎ落とされるが、運転シーン全体をまとめて、簡潔に表現することが可能となる。これにより、運転シーンの認識に対するロバスト性を得ることができ、ひいては、後述するシンボル遷移予測部６０で行なう運転シーンの予測に対するロバスト性を得ることができる。

なお、シンボル化は、上述した量子化による例以外にも、実施することが可能である。例えば、固有空間法やクラスタリング手法を適用してシンボル化を行っても良い。固有空間法は、良く知られているように、情報全体を集合とした場合に、その集合の共分散行列の固有ベクトルを部分空間の基底として用いて、情報を表す手法である。また、クラスタリング手法は、複数のデータを、クラス分けして分類する手法である。このような手法を適用することにより、より効率的に、各情報をシンボル化することができる。

例えば、自車両の周囲に定めるグリッドに対してクラスタリング手法を適用する場合、道路外となる範囲のグリッドを粗く設定し、道路内となる範囲のグリッドを細かく設定するようにする。これにより、重要度の高い情報は解像度を高くし、重要度の低い情報は低い解像度で表現することが可能になる。このようなクラスタリング手法の適用は、情報をクラス分けする必要がある場合、情報の種類を問わず適用可能である。

シンボル化実施部４０によりシンボル化して記述された運転シーン情報は、相互作用推定部５０及びシンボル遷移予測部６０に与えられる。

相互作用推定部５０は、交通参加者の協調度合いC、交通参加者の速度変動度合いVc、交通参加者のパーソナルスペースPcの大きさに基づいて、交通参加者間の相互作用を推定する。相互作用の推定は、具体的には、相互作用の推定結果を相互作用行列Iとして決定するものである。

以下に、相互作用を推定する手法の一例について説明する。図３にはグリッドの一例を示している。図３に示す例では、グリッドはマス目状となっている。ただし、この形状は一例であり、図２に示したように、グリッドの形状は、円形の検出エリアを径方向の線と周方向の線とで区分する扇型でもよいなど、種々の形状が可能である。また、図３において、各グリッドの左上に示している数字は、グリッド番号である。この数字は説明用の一例である。

この図３と図４に示すフローチャートを用いて、相互作用推定部５０が行なう相互作用推定処理を説明する。図４に示すように、まず、ステップＳ１１では、新たな交通参加者シンボルがグリッド上に出現したかを判断する。前述したように、シンボル化実施部４０では、交通参加者情報取得部２０が取得した交通参加者の情報をグリッドに割りつける処理を行なっており、相互作用推定部５０は、シンボル化実施部４０が作成した運転シーン情報を逐次取得している。ステップＳ１１では、シンボル化実施部４０から逐次取得する運転シーン情報に基づいて上記判断を行なう。

ステップＳ１１の判断がＮｏであれば図４の処理を終了する。この場合には、所定期間が経過した後に、再度、図４の処理を開始する。一方、ステップＳ１１がＹＥＳである場合にはステップＳ１２へ進む。ステップＳ１２では、相互作用因子の初期値を新たな交通参加者に設定する。
この相互作用因子の初期値は、具体的には、他の交通参加者との協調度合いC、速度変動度合いVc、パーソナルスペースPcの各初期値である。なお、パーソナルスペースPcとは、交通参加者が他の交通参加者との間に確保している空間あるいは距離であり、交通参加者が道路を走行している車両である場合には、直前方の車との間の車間距離である。

また、協調度合いCとしては、検出エリア内の他の全てのグリッドに対する協調度合いCを示す協調度合いベクトルC_ｎ（n=1,…,Ngであり、Ngはグリッド数）が設定される。なお、この協調度合いベクトルC_ｎは、自グリッドとの協調度合いも便宜上設定される。

また、この協調度合いベクトルC_ｎは、個々のグリッドについて設定される。従って、このステップＳ１２でも、新たな交通参加者シンボルが出現したグリッドに対して、協調度合いベクトルC_ｎの初期値が設定される。仮に、図３に示す（１）〜（９）が全グリッドだとすれば、ｎ番目のグリッドの協調度合いベクトルC_ｎは、C_ｎ＝（c₀、c₀、c₀、c₀、c₀、c₀、c₀、c₀、c₀）^Ｔ、という９次元のベクトルとなる。なお、c₀は初期値である。

また、図３に示すグリッド（５）が自車両であり、グリッド（２）に前方車が存在し、グリッド（６）に右車両が存在する場合において、自車両と前方車との協調度合いが0.8、自車両と右車両の協調度合いが0.2、前車両と右車両の協調度合いが0.4であるとすると、グリッド（５）の協調度合いベクトルC_５は、
C_５＝（0、0.8、0、0、0、0.2、0、0、0）^Ｔ
となり、グリッド（２）、（６）の協調度合いベクトルC_２、C_６は、以下のように示される。なお、この例では、グリッド間の協調度合いCは、一方から他方の値と、他方から一方の値が等しいと仮定している。
C_２＝（0、0、0、0、0.8、0.4、0、0、0）^Ｔ
C_６＝（0、0.4、0、0、0.2、0、0、0、0）^Ｔ
ステップＳ１３では、交通参加者シンボルが消滅していないか否かを判断する。この判断がＮｏ、すなわち、交通参加者が消滅してしまっていれば図４の処理を終了する。終了後は、前述の通り、所定期間経過後に、再度、図４の処理を実行する。一方、ステップＳ１３の判断がＹｅｓすなわち交通参加者が消滅していなければ、ステップＳ１４へ進む。

ステップＳ１４では、交通参加者の状態を観測する。この処理は、具体的には、シンボル化実施部４０から、上記交通参加者の情報を含む最新の運転シーン情報を取得する処理である。

続くステップＳ１５では、観測ステップ数がｔ以上となったか否かを判断する。観測ステップ数は、前回、相互作用を更新してから上記ステップＳ１４を実行した回数の積算値であり、ｔはこのステップＳ１５が所定時間でＹｅｓとなる値に設定されている。ステップＳ１５がＮｏであればステップＳ１３へ戻る。一方、ＹｅｓであればステップＳ１６へ進む。

ステップＳ１６では相互作用ベクトルi_ｎ（n=1,…,Ng）を更新する。この相互作用ベクトルi_ｎとは、上述した３つの相互作用因子、すなわち、協調度合いベクトルC_ｎ、速度変動度合いVc、パーソナルスペースPcから決定する値であり、協調度合いベクトルC_ｎの各要素を、速度変動度合いVc、パーソナルスペースPcで調整（補正）した値からなるベクトルである。

具体的には、速度変動度合いVcが高いほど、相互作用ベクトルi_ｎの各要素の値を小さくし、パーソナルスペースPcが狭いほど、相互作用ベクトルi_ｎの各要素を小さくする。

各相互作用因子の更新は次のようにして行う。協調度合いベクトルC_ｎは、各交通参加者（自車両も含む）との相対速度を観測し、相対速度が近いほど、その交通参加者グリッド（交通参加者が割り付けられたグリッド）に対応する次元の値を高くする。

速度変動度合いVcは、加速度あるいは減速度が大きい場合にこの速度変動度合いVcの値を大きくし、反対に加速度あるいは減速度が小さければ値を小さくする。具体的には、前回、このステップＳ１６を実行したときに対する速度差の絶対値が所定値ＴＨ１（＞０）以上であれば値を大きくし、その速度差が所定値ＴＨ２（＜ＴＨ１）以下であれば値を小さくする。

パーソナルスペースPcは、ここでは交通参加者の平均前方距離とする。この平均前方距離は、交通参加者が移動体であれば、その交通参加者の移動方向における直近の障害物までの更新期間（前回、ステップＳ１６を実行してから、今回、ステップＳ１６を実行するまでの期間）の平均距離である。また、固定物であれば、所定の一定値とする。一定値とする理由は、次に詳しく説明するように、固定物の場合、このパーソナルスペースPcの値は、相互作用ベクトルi_ｎに影響を与えないからである。

以上のようにして各相互作用因子（協調度合いベクトルC_ｎ、速度変動度合いVc、パーソナルスペースPc）を更新した後、協調度合いベクトルC_ｎを、速度変動度合いVc、パーソナルスペースPcで調整した値を更新後の相互作用ベクトルi_ｎの各要素とする。

ステップＳ１６で相互作用ベクトルi_ｎを更新した後は、ステップＳ１３へ戻り、交通参加者が消滅するまで、ステップＳ１３〜Ｓ１６の処理を継続する。

また、この図４に示す処理は各グリッドに対して行う。そして、相互作用ベクトルi_ｎをまとめた行列を相互作用行列Ｉとする。すなわち、相互作用行列Ｉは以下のように示される。
I= (i₁,...,i_Ng)
次に、シンボル遷移予測部６０において実行される、運転シーンの遷移を予測する処理について説明する。

例えば、図５（ａ）に示すような状況を想定する。図５（ａ）に示すシンボル化された運転シーンには、自車両の前後に先行車両Ａと後続車両Ｂとが存在している。そして、自車両の運転者が先行車両Ａとの車間距離を開けるために減速したとする。このとき、自車両と後続車両Ｂとの相互作用が大きければ、自車両の減速に伴って後続車両Ｂも緩やかに減速する可能性が高いため、運転シーンは、図５（ｂ）のように、自車両と後続車両Ｂとの車間距離が保たれた運転シーンへ遷移することが予想される。一方、自車両と後続車両Ｂとの相互作用が小さければ、自車両の減速が後続車両Ｂに与える影響が限定的なため、運転シーンは、図５（ｃ）のように、自車両と後続車両Ｂとの車間距離が保たれない運転シーンへ遷移すると予想される。このように、相互作用の高低により、予想される運転シーンは大きく異なる。

以上の様に、相互作用により運転シーンは大きく異なる。換言すれば、相互作用行ベクトルiを用いて、将来の運転シーンを予測することができる。相互作用ベクトルiを用いた将来の運転シーンの予測は、下記式１から行うことができる。

この式１において、ハットg(p)_m,tは、極座標系で表現した時刻tにおける予測グリッド位置であり、ハットv_m,tは、移動ポテンシャルである。つまり、式１は、直前の時刻t-1におけるグリッド位置に、移動ポテンシャルを加算することで、時刻tにおけるグリッド位置を予測している。

さらに、式１におけるハットv_m,tは式２で表す。

この式２において、vは相対速度ベクトルであり、右辺第２項は、時刻t-1におけるグリッドnの相対速度ベクトルと、グリッドm−ｎ間の相互作用値との積である。右辺第１項は、時刻t-1におけるグリッドｍの相対速度ベクトルと、グリッドm−ｎ間の相互作用値を１から引いた値（右辺第１項のかっこ内）との積である。よって、この式２の意味は次の通りである。すなわち、グリッドｍの移動ポテンシャルは、グリッドｍ−ｎ間の相互作用が大きいほど、グリッドｎの相対速度ベクトルの影響を大きく受け、逆に、相互作用が小さいグリッドnの相対速度ベクトルの影響は小さいことを意味している。

以上は、相互作用ベクトルiを考慮した運転シーンの予測に関する説明であるが、将来の運転シーンは、自車両が採る行動に依存して大きく変化する。このため、この先、自車両の採りうる行動の候補として、複数種類の行動を決定し、決定した各行動を起こしたときの運転シーンの遷移結果をそれぞれ予測する。なお、自車両の行動の候補をどのように決定するかは後述する。

さらに、予測した運転シーンの遷移結果に対して、自車両が採りうる行動の候補としての複数種類の行動を起こしたときの運転シーンの遷移結果を予測する処理を繰り返す。これにより、時系列的に順番に行われる複数の行動からなる複数の行動系列の各々に対して、運転シーンが遷移する様子を予測することができる。すなわち、比較的長期間に渡って、運転シーンの移り変わりを高精度に予測することが可能になる。

次に、上述したシンボル遷移予測部６０の処理を、図６に示すフローチャートを用いてさらに説明する。

ステップＳ２１では、予測処理の繰り返し数を示す予測ステップ数が予め定めた所定回数Ｔよりも小さいかを判定する。予測ステップ数が所定回数Ｔよりも小さい場合には、ステップＳ２１以降の処理に進み、予測処理を継続して実行する。一方、予測ステップ数が所定回数Ｔに達した場合には、図７のフローチャートに示す処理を終了する。

ステップＳ２２では、自車両の行動の候補を複数決定する。この自車両の行動の候補は、各時刻で採りうる行動からランダムに生成しても良いが、環境情報取得部１０、交通参加者情報取得部２０、自車両情報取得部３０によって取得された情報に基づき、実行される可能性の高い行動を選択することが好ましい。

自車両の採りうる行動の候補数を増やすほど、将来の運転シーンの予測精度の向上を見込むことができるが、一方で、候補数の増加に応じて予測のための処理時間も長くなる問題も生じる。それに対して、走行環境に関する情報、交通参加者に関する情報、自車両に関する情報を考慮することで、自車両が採りうる行動として可能性の高い行動を絞り込むことができる。従って、自車両の採りうる行動の候補数をそれほど増やさずとも、精度の良い将来の運転シーンの予測を行うことができる。

例えば、天候などの影響により周囲の視界が低下しつつある場合には、運転者は、先行車両との車間距離を広げるように行動する可能性が高くなる。また、自車両のナビゲーション装置において、目的地までのルートが設定されている場合には、自車両の運転者は、のルートに沿って走行するための行動（車線変更、右左折等）を採る可能性が高い。また、直進１車線を走行中の場合は、車線変更はあり得ないことから、現状維持、加速、減速などの少ない候補に絞られる。

さらに、自車両の運転者は、それぞれ運転操作に多かれ少なかれ癖と呼べるような特徴を有しているものであり、そのような運転者の特徴などを行動モデルとして蓄積しておくことにより、自車両が採りうる行動として可能性が高い行動を絞り込むことができる。

これらの観点から、種々の運転シーンに対して、自車両がその後に採りうる行動のリストを保持しておき、このリストと現時点の運転シーンとから、自車両が採りうる行動の絞込みを行なう。

ステップＳ２３では、ステップＳ２２で決定した自車両の行動の候補のそれぞれに対し、各グリッドの予測、すなわち、運転シーンの予測を行なう。図７に、このステップＳ２３で行なうグリッドの予測を簡略化して示している。図７には、自車両が採りうる行動の候補として、「減速」、「右に車線変更」、「左折」、「現状維持」の４つを示している。また、各運転シーンにおいて中心が自車両であり、ハッチングで示す部分が他車両である。

自車両の行動の候補が「減速」の場合には、時刻t＋１における（Ａ）に示すように、他車両は自車両から遠ざかる。自車両の行動の候補が「右に車線変更」である場合には、（Ｂ）に示すように、他車両は自車両に対して左側に移動する。自車両の行動の候補が「左折」である場合には、（Ｃ）に示すように、他車両は自車両に対して右側に移動する。自車両の行動の候補が「現状維持」である場合には、（Ｄ）に示すように、他車両の相対位置も変化しない。上述したのは概念的な説明であり、演算としては、式１、２を用いてグリッドの予測を行なう。

グリッドの予測を行ったら、ステップＳ２１へ戻る。予測ステップ数がＴよりも大きくなるまでは、上述のステップＳ２２、Ｓ２３を繰り返す。これにより、時系列的に順番に行われる複数の行動からなる行動系列、および、各行動に対応する運転シーンが予測されることになる。

このようにして定めた行動系列に関して、時刻tからτステップ後に生成されている行動系列を、ベクトルとして下記の式３のように表現する。なお、式３において、ｄ⁽ⁿ⁾ _t+τ|tは行動系列のベクトルであり、Nsは生成するサンプル数である。このサンプル数Nsは許容される処理時間に応じて適切に設定する。

上述したように、以上のステップＳ２１、２２の処理を、予測ステップ数が所定回数Ｔに達するまで繰り返し実行することにより、図８に示すように、Ｎｓ個の予測された運転シーンが生成される。図８に示す例では、現時刻において、自車両が採りうる行動候補をＡ，Ｂ，Ｃの３種類としている。その後、それぞれの行動Ａ，Ｂ，Ｃに基づいてグリッドの予測、及び相互作用行列Iの予測を行うことにより、予測ステップが１ステップ進む。そして、予測された各運転シーン（運転シーンの遷移結果）において、さらに行動候補を選択し、それぞれの行動候補により運転シーンの遷移を予測する。このような予測を実施していくと、τステップ後には各ステップで取った行動が各次元に並んだ行動系列のベクトルと運転シーンを複数個（Ｎｓ個）得ることができる。

これらの行動系列のベクトルと運転シーンは、推奨操作生成・提示部７０に与えられる。推奨操作生成・提示部７０では、生成された運転シーンを分類し、評価することで、好ましい運転シーンに遷移する行動（系列）、ネガティブなシーンに遷移する行動（系列）を評価する。

図９のフローチャートに、推奨操作生成・提示部７０が実行する処理を示す。ステップＳ３１では、シンボル遷移予測部６０から与えられた各予測運転シーンに対して、スコア（評価値）を算出する。

推奨操作生成・提示部７０は、運転シーンのスコアを算出するために、予め典型的な運転シーンを複数設定するとともに、各運転シーンに対して評価値を定めておく。典型的な運転シーンとして、例えば、渋滞が発生する運転シーン、事故が発生する（あるいは発生する恐れが高い）運転シーン、車両の流れがスムーズである運転シーン、車線変更に適した運転シーン、右折に適した運転シーンなどを用いることができる。そして、好ましい（ポジティブな）運転シーンには正の評価値を与え、避けるべき（ネガティブな）運転シーンには負の評価値を与えておく。

そして、推奨操作生成・提示部７０では、各予測運転シーンと典型的な運転シーンとの類似度から、その予測運転シーンのスコアを算出する。例えば、予測運転シーンをグリッドと相互作用ベクトルiの情報をまとめてS_t+τ|t= {I_t+τ|t,G_t+τ|t }と記述すると、ｎ番目の行動系列から予測された運転シーンのスコアは、式４によって算出できる。

ここで、S_m*（m=1,...,Nc）は予め設定した典型的な運転シーンであり、D（S₁||S₂）は運転シーン間の類似度を測る関数、α_mは典型的な運転シーンの評価値である。なお、運転シーンの類似度は、たとえば、相互作用ベクトルiとグリッドそれぞれのベクトル間距離を適当に重み付けして加算するなどして求めることができる。

続くステップＳ３２では、ステップＳ３１において算出した運転シーンのスコアを用いて、各ステップの行動のスコアを算出する。この各ステップの行動のスコアは、下記の式５に示すように、別々の行動系列に属しているものについても、同一ステップ（同じ時刻τ）であれば同じ行動として算出した平均値である。式５の左辺は、ある運転行動dのスコアs_ｄを意味しており、右辺は、時刻τにおいてその運転行動ｄを行なって最終的に遷移した運転シーンのスコアの平均値を算出している。

ステップＳ３３では、各ステップにおいて行動別に算出したスコアのうち、最もスコアが高い行動を、そのステップにおける最適な行動として決定する。さらに、ステップＳ３４では、ステップＳ３３において決定した最適な行動に従い、運転者に対して推奨すべき運転操作を画像や音声を用いて提示する。

ここで、仮に、最終的に遷移することが予測される運転シーンのスコアのみから、最も好ましい運転シーンを選択し、その運転シーンに遷移するための行動系列を最適な行動系列として決定してしまうとする。この場合、実際の運転において、その最も好ましい運転シーンに達する途中で、運転者が推奨運転操作とは異なる操作をしたりした場合（例えばスコアが負となるような運転シーンに遷移する可能性がある場合）には、その最も好ましい運転シーンに達するための運転操作が必ずしも推奨運転操作に適しているとは言えなくなってしまう。

これに対し、推奨操作生成・提示部７０では、上述したように、推奨運転操作を決定する基礎となる行動を選択する際に、各行動を採ったときに遷移する可能性がある運転シーンのスコアの平均値を用いている。従って、少なくとも、避けるべき運転シーンにつながる可能性がある運転操作を推奨することを回避することができる。

以下に、本実施形態の車両用推奨運転操作提示装置が提示するいくつかの推奨操作例を、図１０〜図１９を用いて説明する。図１０〜図１９には、それぞれ４つの図を示しており、（１）は現時点の運転シーンの概念図、（２）は現時点の運転シーンのシンボル図、（３）は遷移予測をしたシンボル図、（４）は予測される運転シーンと推奨操作とを示す概念図である。

また、図１０〜図１５は、いずれも、「車線変更」に関する推奨操作例であり、現時点の運転シーンは、各図の（１）にも示すように、自車両の左後方に他車両が存在している。また、図１０〜図１５のいずれの例も、自車両の運転者が方向指示レバーを操作して、左への車線変更の意思を示した場合である。

図１０に示す第１の推奨操作例は、他車両との協調度合いCが高い場合の推奨操作例である。協調度合いCが高いことから、自車両が即座に車線変更をしても、他車両は自車両の行動に協調して車間距離を維持することが想定される。従って、シンボル推移予測をして（図１０（３））、各運転シーンのスコアに基づき生成される推奨操作も、図１０（４）に例示しているように、「左に車線変更してください」となる。

図１１に示す第２の推奨操作例は、図１０とは反対に、他車両との協調度合いCが低い例である。この場合、シンボル推移予測をし、各運転シーンのスコアを演算すると、当初のステップでは、左に車線変更するという行動をとる運転シーンのスコアは高くならず、代わりに、行動「減速」をとる運転シーンのスコアが高くなる。一方、減速の結果、ある程度のステップ後についての予測は、協調度合いCが低くても、左に車線変更する行動を取る運転シーンのスコアが高くなる。よって、推奨操作系列は、図１１（４）に例示するように、「減速してください」がしばらく続いた後、「左に車線変更してください」となる。

図１２に示す第３の推奨操作例は、他車両の速度変動度合いVcが低い例である。この例でも、推奨操作は、左への車線変更という運転行動が即座に可能であると決定して、推奨操作として「左に車線変更してください」という推奨操作が提示される。

図１３に示す第４の推奨操作例は、図１２とは反対に、他車両の速度変動度合いVcが高い例である。この例では、車両の相対位置は変化がないとしても、安全のため車間距離をとって車線変更する操作系列のスコアが高くなる。つまり、推奨操作系列としては、図１３（４）に示すように、例えば、「加速してください」の後、「左に車線変更してください」となる。

図１４に示す第５の推奨操作例は、自車両の後方に存在する他車両のパーソナルスペースPcが狭い場合である。この図１４の例では、即座に車線変更しても、後方他車両のパーソナルスペースPcに入らないため、推奨操作は、左への車線変更という運転行動が即座に可能であると決定して、推奨操作として「左に車線変更してください」という推奨操作が提示される。

一方、図１５に示す第６の推奨操作例は、自車両の後方に存在する他車両のパーソナルスペースPcが広い場合である。この図１５の例では、そのまま車線変更すると、後方他車両のパーソナルスペースPcに入ってしまい、他車の快適性を損なうことになる。そこで、車間距離を確保してから車線変更を推奨することになり、推奨操作系列としては、図１５（４）に示すように、例えば、「加速してください」の後、「左に車線変更してください」となる。

図１６に示す第７の推奨操作例、図１７に示す第８の推奨操作例は、いずれも、現時点の運転シーンで、自車両の直前方に他車両が存在し、且つ、右前方にも他車両が存在する。そして、図１６に示す第７の推奨操作例では、右前方の他車両のパーソナルスペースPcは広いことが分かっている。このパーソナルスペースPcと比較して、自車両と直前方車両との車間距離は十分に広くない。そのため、右前方の他車両の行動として、左ウインカ点滅の検知等により、左への車線変更が予測されたとしても、自車両と直前方の他車両との間に、右前方の他車両は入ってこないと予測される（この運転シーンのスコアは低い）。従って、図１６（４）に示すように、特に推奨操作を提示しないことになる。

一方、図１７に示す第８の推奨操作例は、右前方の他車両のパーソナルスペースは狭いことが分かっている例である。図１７の例の場合、パーソナルスペースと比較して、自車両と直前方車両との車間距離は広い。そのため、右前方の他車両の行動として、左ウインカ点滅の検知等により、左への車線変更が予測された場合には、自車両と直前方の他車両との間に、右前方の他車両が入ってくると予測される（この運転シーンのスコアは高い）。従って、図１７（４）に示すように、推奨操作系列の一例としては、「周辺車両に注意してください」との提示が行われた後、「減速してください」との提示が行われる。

図１８に示す第９の推奨操作例、図１９に示す第１０の推奨操作例は、いずれも、現時点の運転シーンが、自車両は合流点に接近中であり、且つ、合流路を合流点に向って走行する他車両が存在する。自車両および他車両がそのままの速度で走行すれば、合流点を自車両が先に通過し、他車両はそれよりも少し遅れて合流点を通過するという状況である。

そして、図１８に示す第９の推奨操作例では、その他車両の速度変動度合いVcが低いことが、車車間通信あるいは自車両のセンサによる計測で分かっている。そのため、自車両はこのままの走行を維持すればよいと予測される（自車両が速度維持する運転シーンのスコアが高い）。従って、図１８（４）に示すように、推奨操作系列の一例としては、「周辺車両に注意してください」との注意喚起が行われるのみとなる。

一方、図１９に示す第９の推奨操作例では、他車両の速度変動度合いVcが高いことが分かっている例である。そのため、自車両がこのままの走行を維持すると、他車両と接近しすぎることが予測される。しかし、このような運転シーンのスコアは低くなり、代わりに、他車両との接近を回避する運転行動を経る運転シーンのスコアが高くなる。その結果、たとえば、図１９（４）に示すように、推奨操作系列の一例としては、「周辺車両に注意してください」との提示が行われた後、「右に車線変更してください」との提示が行われる。

以上、説明したように、本実施形態の車両用推奨運転操作提示装置によれば、シンボル遷移予測部６０が、自車両が採りうる行動の候補に対して、シンボル化して記述された運転シーンがどのように遷移するかを予測する。その際、シンボル遷移予測部６０は、自車両を含む各交通参加者の状態の変化に基づいて推定された、自車両の行動が交通参加者の行動に与える相互作用行列Iを用いて、シンボル化された運転シーンがどのように遷移するかを予測する。従って、運転シーンの遷移の予測において、大幅に演算量を低減することができる。また、相互作用行列Iは、協調度合いC、速度変動度合いVc、パーソナルスペースPcを用いて決定しているため、運転シーンの遷移の予測精度も向上することができる。

さらに、精度のよい運転シーンの遷移予測に基づいて、推奨運転操作が生成・提示されることから、提示された運転操作が、運転者にとって好ましい運転操作となる可能性が高くなる。

１０環境情報取得部
２０交通参加者情報取得部
３０自車両情報取得部
４０シンボル化実施部
５０相互作用推定部
６０シンボル遷移予測部
７０推奨操作生成・提示部

Claims

自車両が走行する走行環境に関する情報を取得する環境情報取得部（１０）と、
前記自車両の周辺において交通に参加している交通参加者の情報であって、その交通参加者の位置の情報を少なくとも含む交通参加者情報を取得する交通参加者情報取得部（２０）と、
自車両の周囲に仮想のグリッドを定め、前記環境情報取得部で取得した走行環境をグリッドに当てはめることにより走行環境を表現するとともに、前記交通参加者情報取得部が取得した交通参加者を、該当する位置のグリッドに当てはめることにより各交通参加者の位置を表現することで、自車両周辺の運転シーンをシンボル化して記述するシンボル化実施部（４０）と、
前記運転シーンに含まれる交通参加者間の相互作用を、交通参加者間の協調度合い、交通参加者の速度変動度合い、および交通参加者が周辺物体との間に確保している空間あるいは距離であるパーソナルスペースのいずれか少なくとも一つを用いて推定する相互作用推定部（５０）と、
前記自車両が採りうる行動の候補に対して、その行動を採った場合に前記運転シーンが遷移する様子を、前記相互作用推定部によって推定された相互作用に基づいて予測する遷移予測部（６０）と、を備えることを特徴とする運転シーン遷移予測装置。
請求項１において、
前記相互作用推定部は、前記交通参加者間の協調度合いを、前記速度変動度合いおよび前記パーソナルスペースに基づいて補正することで、前記相互作用を推定することを特徴とする運転シーン遷移予測装置。
請求項１または２において、
前記交通参加者間の協調度合い、前記交通参加者の速度変動度合い、および前記交通参加者のパーソナルスペースのうち、前記相互作用の推定に用いるものを、自車両に備えられたセンサの検出結果から決定することを特徴とする運転シーン遷移予測装置。
請求項１または２において、
前記交通参加者間の協調度合い、前記交通参加者の速度変動度合い、および前記交通参加者のパーソナルスペースのうち、前記相互作用の推定に用いるものの一部を、車々間通信により受信することを特徴とする運転シーン遷移予測装置。
前記遷移予測部は、前記自車両が採りうる行動の候補として複数種類の行動を決定し、決定した各行動を起こしたときの運転シーンの遷移結果をそれぞれ予測し、さらに、予測した運転シーンの遷移結果において、前記自車両が採りうる行動の候補としての複数種類の行動を起こしたときの運転シーンの遷移結果を予測する処理を繰り返すことにより、時系列的に順番に行われる複数の行動からなる行動系列の各々に対して、前記運転シーンが遷移する様子を予測することを特徴とする請求項１〜４のいずれか１項に記載の運転シーン遷移予測装置。
請求項１乃至５のいずれか１項に記載の運転シーン遷移予測装置と、
前記運転シーン遷移予測装置の遷移予測部による予測結果に基づいて、推奨すべき運転操作を決定し、前記自車両の運転者に提示する推奨操作提示部（７０）と、を備えることを特徴とする車両用推奨運転操作提示装置。
請求項６において、
前記推奨操作提示部は、予め典型的な運転シーンを複数設定するとともに、各運転シーンに対して評価値を定めておき、予測された運転シーンの遷移結果と典型的な運転シーンとの類似度から、その予測された運転シーンの遷移結果の評価値を算出し、その評価値に基づいて、推奨すべき運転操作を決定することを特徴とする車両用推奨運転操作提示装置。