≪第1実施形態≫
以下、本発明の第1実施形態を図面に基づいて説明する。
第1実施形態においては、運転者の運転を支援する運転支援システムを有する車両を例示して説明する。ここで、図1は、第1実施形態に係る運転支援システムを搭載する車両1の構成を示すブロック図である。図1に示すように、車両1は、運転支援装置10、赤外線照明20、カメラ30、車両コントローラ40、およびナビゲーション装置50を備える。
図2は、第1実施形態に係る運転支援システムを構築する各構成の相互関係を説明するための図である。図2に示すように、近赤外照明20は運転者の頭部(顔を含む)を前方から照射し、カメラ30は近赤外照明20により照射された運転者の頭部前方を撮影する。このように、近赤外照明20により運転者の頭部前方を照射することにより、夜間やトンネル内などの暗所においても、カメラ30は、運転者の頭部前方を適切に撮像することができる。カメラ30により撮像された画像情報は運転支援装置10に送信される。
運転支援装置10は、カメラ30から送信された画像情報の他に、車両コントローラ40から車両情報および周囲情報を取得し、また、ナビゲーション装置50から周囲情報を取得する。車両情報としては、車速、アクセル開度、ブレーキ信号、およびステアリングの操舵角などの各種情報が含まれ、周囲情報としては、先行車両までの車間距離、車両1の現在位置、進行方向などの各種情報が含まれる。そして、運転支援装置10は、これらの情報に基づいて、運転者が選択する車両1の挙動を推定し、推定した挙動情報を車両コントローラ40に送信する。車両コントローラ40は、挙動情報に応じた運転支援を行うように、各種装置を制御する。このように、本実施形態に係る運転支援システムを構築する各構成は上記のように相互に関係することで、推定した挙動情報に基づく適切な運転支援を提供することができる。なお、これらの各構成は、CAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
以下、車両1の各構成について詳細に説明する。
赤外線照明20およびカメラ30は、図2に示すように、運転者の正面やや下方のメータパネル内またはステアリングコラム(不図示)の近傍など、運転者の頭部前方を撮像できる位置に設置される。なお、赤外線照明20およびカメラ30は、運転者の頭部前方を撮像可能であれば、多少左右にずれて設置してもよい。また、カメラ30は、可視光から近赤外光までの感度分布を有するCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)、その他のイメージセンサを撮像素子として備え、運転者の頭部前方を撮像できるような画角を有するレンズを備える。なお、太陽光の影響を最小限に抑えるため、カメラ30にフィルタを設置してもよい。
車両コントローラ40は、車両1に関する各種情報を取得する。具体的には、車両コントローラ40は、車速センサからの車速情報、車両1の前方領域を検知する前方センサからの先行車両までの車間距離、アクセルセンサからのアクセル開度、ブレーキセンサからのブレーキ信号、および舵角センサからのステアリング操作による操舵角などの各種情報を取得する。そして、車両コントローラ40は、取得したこれら情報を運転支援装置10に送信する。また、車両コントローラ40は、運転者が選択すると推定された車両1の挙動情報を運転支援装置10から取得し、当該挙動情報に基づいて各種装置を制御することで、運転者の運転を支援する。
ナビゲーション装置50は、GPS(Global Positioning System)モジュールや通信装置を備え、車両1の現在位置や進行方向などの各種情報を取得する。そして、ナビゲーション装置50は、取得したこれらの情報を運転支援装置10に送信する。また、ナビゲーション装置50は、ナビゲーション装置50のメモリに記憶した地図情報や道路情報、およびGPSモジュールなどにより取得した情報に基づいて車両1の走行経路を案内する経路案内機能を有する。
運転支援装置10は、運転者が選択する車両1の挙動を推定するためのプログラムを格納したROM(Read Only Memory)と、このROMに格納されたプログラムを実行するCPU(Central Processing Unit)と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)とから構成される。
運転支援装置10は、ROMに格納したプログラムをCPUにより実行することにより、視線方向検出機能、挙動候補予測機能、挙動推定機能、運転者識別機能、および運転履歴学習機能の各機能を実現する。以下に、運転支援装置10が備える各機能について説明する。
運転支援装置10の視線方向検出機能は、カメラ30から送信された画像情報から運転者の視線方向を検出する。視線方向検出機能により視線方向を検出する手法は、特に限定されない。例えば、視線方向検出機能は、カメラ30により時系列に撮像した運転者の頭部前方の画像情報を取得し、取得した画像情報を画像処理し、運転者の顔の複数の特徴部位を検出する。そして、視線方向検出機能は、検出された複数の特徴部位の位置関係に基づいて、運転者の顔向きを推定するとともに、画像情報から運転者の目領域を切りだして画像処理を行い、少なくても瞳の位置を含む目の特徴点を検出する。さらに、視線方向検出機能は、推定した運転者の顔向きと検出した目の特徴点とに基づいて、カメラ30を基準とした運転者の視線方向を推定する。そして、視線方向検出機能は、推定した運転者の視線方向の時系列変化に基づいて、運転者が正面と認識していると仮定される論理正面を推定し、推定した論理正面を用いて、運転者の視線方向を補正する。これにより、視線方向検出機能は、カメラ30の設置位置が運転者の正面でない場合であっても、運転者ごとの正面方向を自動で取得し、運転者の視線方向を適切に検出することができる。なお、運転者の視線方向の検出方法は、上記の例に限られず、例えば、距離計測機能を備えるステレオカメラなどを複数用いて運転者の視線方向を検出してもよい。
視線方向検出機能は、このような運転者の視線方向を、例えば、運転者の論理正面を中心とした座標データとして検出する。そして、視線方向検出機能は、検出した視線方向の座標データを運転支援装置10のRAMに記憶する。なお、運転支援装置10のRAMには、検出された順に一定時間分の視線方向の座標データが保持(記憶)される。
運転支援装置10の挙動候補予測機能は、車両コントローラ40から取得した車両情報および周囲情報や、ナビゲーション装置50から取得した周囲情報に基づいて、車両状態を推定するとともに、車両コントローラ40およびナビゲーション装置50から取得した周囲情報に基づいて、周囲状況を推定する。ここで、車両状態としては、例えば、先行車両との接近状態、直進状態、加速状態、または減速状態などが挙げられる。また、周囲状況としては、例えば、車両1が走行している道路状況、車両1周辺の脇道の有無の状況などが挙げられる。そして、挙動候補予測機能は、推定した車両状態および周囲状況において、運転者の操作により車両1が採りうる複数の挙動を予測する。
運転支援装置10の挙動推定機能は、視線方向検出機能により検出した一定時間分の視線方向の座標データに基づいて、所定の時刻における視線方向の座標データの分布の重心座標を初期重心として算出し、算出した初期重心と初期重心算出後の視線方向の座標データの分布の重心座標との差を偏移量として求める。そして、挙動推定機能は、当該偏移量に基づいて、挙動候補予測機能により予測した複数の挙動のうち運転者が選択する挙動を推定する。
運転支援装置10の運転者識別機能は、カメラ30から送信された運転者の画像情報に基づいて、運転者の識別を行う。なお、運転者識別機能により識別された運転者の運転者情報を用いることで、運転者が設定したタイミング、頻度、または方法で、推定した車両1の挙動に基づく情報を運転者に提示できる。
運転支援装置10の運転履歴学習機能は、所定の車両状態および周囲状況において運転者が選択した車両1の挙動を判断する。そして、運転履歴学習機能は、車両状態および周囲状況ごと、運転者ごとに、運転者が選択した車両1の挙動を運転履歴として記憶する。また、運転履歴学習機能は、後述するように、記憶した運転履歴に基づいて、所定の車両状態および周囲状況において運転者が選択した車両1の挙動の割合を挙動割合として算出する。
続いて、第1実施形態に係る運転支援装置10における運転支援処理を、図3に示すフローチャートに沿って説明する。図3は、第1実施形態に係る運転支援装置10における運転支援処理を示すフローチャートである。また、図4は、車両1が先行車両と接近しており、かつ車両1が片側3車線の道路の第2通行帯(中央走行車線)を走行している場面例を示す図である。以下においては、図4に示すように、車両1が先行車両と接近しており、かつ車両1が片側3車線の道路の第2通行帯(中央走行車線)を走行している場面例を想定して説明する。なお、以下に説明する運転支援処理は、運転支援装置10により実行される。
まず、ステップS1では、運転支援装置10の視線方向検出機能により、カメラ30から送信された運転者の頭部前方を撮像した画像情報が取得され、取得された画像情報に基づいて、運転者の視線方向の座標データが検出される。検出された座標データは、運転支援装置10に備えるRAMに記憶される。
ここで、図5は、視線方向検出機能により検出された視線方向の分布の一例を示す図であり、図6は、車両1が直進走行後に右車線に車線変更する一場面例における運転者の視線方向の分布の偏移を示す図である。車両1の直進走行時においては、図5に示すように、運転者の視線方向は、運転者が正面と認識していると仮定される論理正面の付近に分布する。また、図6に示すように、直進走行後、車両1が前方車両と接近したことにより、運転者が車両1を右車線に車線変更させようとする場合、運転者の視線方向は、直進走行時の視線方向よりも車線変更方向である右方向に分布する。視線方向検出機能は、これらの運転者の視線方向を座標データとして時系列に検出し、運転支援装置10に備えるRAMに記憶する。
次に、ステップS2では、運転支援装置10の挙動候補予測機能により車両1が採りうる複数の挙動が予測される。具体的には、車両コントローラ40から取得した車両情報および周囲情報や、ナビゲーション装置50から取得した周囲情報に基づいて、車両1の車両状態が推定され、また、車両コントローラ40またはナビゲーション装置50から取得した周囲情報に基づいて、周囲状況が推定される。さらに、推定した車両状態および周囲状況において、運転者の操作により車両1が採りうる複数の挙動が予測される。ここで、図7は、ステップS2の挙動候補予測処理を示すフローチャートである。図7のフローチャートに沿って、ステップS2の挙動候補予測処理の内容について以下に説明する。
まず、ステップS201では、車両コントローラ40から取得した車両情報および周囲情報や、ナビゲーション装置50から取得した周囲情報に基づいて、車両1の車両状態が推定される。ここで、図8は、先行車両との接近状態の推定方法を説明するための図である。例えば、車両状態の一例である先行車両との接近状態は、図8に示すように、時系列における車速情報と車間距離との変化に基づいて推定することができる。具体的には、図8に示すように、時間の経過とともに車両1の車速が増加し、または時間の経過に伴う車両1の車速の変化(増減)が小さい場合であって、かつ、時間の経過とともに車両1と先行車両との車間距離が減少している場合には、車両1は先行車両に接近している状態であると推定される。なお、挙動候補予測機能により推定される車両状態は先行車両との接近状態に限られず、また先行車両との接近状態の推定方法は上記の方法に限定されない。例えば、ナビゲーション装置50が有する通信装置であって、他の車両と車車間通信を行う通信装置を用いることで、先行車両との接近状態を推定することができる。
次に、ステップS202では、車両コントローラ40やナビゲーション装置50から取得した周囲情報に基づいて、車両1の周囲状況が推定される。図4に示す場面例においては、例えば、ナビゲーション装置50から送信される道路情報に基づいて、車両1が走行している道路は片側3車線の道路であると推定される。また、例えば、路側機などと通信するナビゲーション装置50に備える通信装置から情報を取得することで、車両1は片側3車線のうち第2通行帯(中央走行車線)を走行していると推定される。なお、ステップS201および202を並行して行ってもよく、またステップS202を先に行ってもよい。また、挙動候補予測機能により周囲状況を推定する方法は特に限定されず、例えば、車両1のフロントウィンドウ上部に設置したカメラを用いて車両1が走行する車線の車線端を検出し、車両1が複数の車線を有する道路のいずれの通行帯を走行しているかを推定してもよい。
ステップS203では、挙動候補予測機能により、推定した車両状態および周囲状況において運転者の操作により車両1が取りうる複数の挙動が予測される。当該複数の挙動の予測は、推定した車両状態および周囲状況において運転者の操作により車両1が取りうる複数の挙動に基づいた場面情報に基づいて行われる。
ここで、図9は、第1実施形態に係る場面情報を記録したテーブルの一例を示す図である。図9に示すテーブルには、車両状態・周囲状況ごとに、運転者により左方向への移動が選択される可能性に応じた値と、運転者により右方向への移動が選択される可能性に応じた値とが設定されている。例えば、図4に示す場面例のように、車両1が先行車両と接近している状態であって、かつ、車両1が片側3車線の道路の第2通行帯(中央走行車線)を走行している場合には、運転者の操作により車両1は、左車線に車線変更するか、右車線に車線変更するか、または、そのどちらでもない先行車両を追従するかの3つの挙動のいずれかを採りうると予測される。また、図4に示す場面例において、車両1は片側3車線の道路の第2通行帯(中央走行車線)を走行しているため、運転者が車両1を左車線に車線変更させる可能性と、運転者が車両1を右車線に車線変更させる可能性は同程度であると予測される。そのため、図9に示すテーブルには、車両1が「先行車両接近」の車両状態であり、かつ車両1が「片側3車線、第2通行帯」を走行している周囲状況においては、運転者により左方向への移動が選択される可能性に応じた値「0.5」と、運転者により右方向への移動が選択される可能性に応じた値「0.5」とが設定されている。
このように、図9に示すテーブルには、車両状態・周囲状況ごとに、各挙動が選択される可能性に応じた値が設定されているため、挙動候補予測機能は、図9に示すテーブルに設定された場面情報を参照することで、推定した車両状態および周囲状況において、運転者の操作により車両1が取りうる複数の挙動を予測することができる。例えば、車両状態「先行車両接近」かつ周囲状況「片側3車線、第2通行帯」における運転者により左方向への移動が選択される可能性に応じた値「0.5」と、運転者により右方向への移動が選択される可能性に応じた値「0.5」との場面情報を取得することで、運転者の操作により車両1は左車線に車線変更するか、右車線に車線変更するか、または先行車両を追従するかの3つの挙動のいずれかを採りうると予測することができる。
また、車両1が先行車両と接近している状態であって、かつ、車両1が片側2車線または片側1車線の道路の第1通行帯(左側走行車線)を走行している場合には、運転者が車両1を左方向へ移動(左車線へ車線変更)させるものとは想定されない。そのため、図9に示すテーブルの車両状態「先行車両接近」、かつ、周囲状況「片側2車線、第1通行帯」または「片側1車線、第1通行帯」においては、運転者により左方向への移動が選択される可能性に応じた値は「0」に設定されている。これにより、挙動候補予測機能は、車両状態「先行車両接近」、かつ、周囲状況「片側2車線、第1通行帯」または「片側1車線、第1通行帯」における運転者により左方向への移動が選択される可能性に応じた値「0」と、運転者により右方向への移動が選択される可能性に応じた値「0.5」との場面情報を取得することで、運転者の操作により車両1は右車線に車線変更するか、または先行車両を追従するかの2つの挙動のいずれかを採りうると予測する。
なお、場面情報として取得される運転者の左右方向への移動の選択可能性に応じた値は、後述するように、車両1の挙動を推定するための判断基準となる閾値を算出する際の重みとして用いられる。また、図9に示すテーブルは一例であって、例えば、車両状態または周囲状況の一方から、運転者の操作により車両1が採りうる挙動が決定できるようなテーブル構成としてもよい。
ステップS203において、挙動候補予測機能により車両1が採りうる複数の挙動を予測した後は、ステップS2の挙動候補予測処理を終了する。なお、推定した車両状態および周囲状況から、運転者の操作により車両1が採りうる複数の挙動を予測できない場合は、図3の運転支援装置10における運転支援処理を終了する。
次に、ステップS3の挙動推定処理について説明する。ステップS3では、運転支援装置10の挙動推定機能により、運転者の操作により車両1が採りうると予測される複数の挙動のうち運転者が選択する挙動が推定される。ここで、図10は、ステップS3の挙動推定処理を示すフローチャートである。図10のフローチャートに沿って、ステップS3の挙動推定処理の内容について以下に説明する。
まず、ステップS301では、視線方向検出機能により検出された一定時間分の視線方向の座標データ(Xi,Yi)の分布の重心座標(Xc,Yc)が算出される。
ここで、挙動推定機能による重心座標(X
c,Y
c)の算出方法について説明する。図5に示すように、視線方向検出機能により検出された視線方向の座標データは、運転者が正面と認識していると仮定される論理正面を中心とした座標系において表現される。また、上述したように、視線方向の座標データは、検出された順に一定時間分だけ運転支援装置10に備えるRAMに記憶されている。挙動推定機能は、運転支援装置10に備えるRAMに記憶された一定時間分の視線方向の座標データ(X
i,Y
i)の列から、視線方向の座標データ(X
i,Y
i)の分布の重心座標(X
c,Y
c)を下記式(1)および下記式(2)に基づいて求める。なお、挙動推定機能は、視線方向の座標データ(X
i,Y
i)の分布の重心座標(X
c,Y
c)を、所定の周期で算出する。
ここで、式(1)および式(2)における“n”は一定時間分の視線方向の座標データ(X
i,Y
i)の数を示している。
次に、ステップS302では、ステップS301で算出した重心座標(Xc,Yc)に基づいて、運転者の視線方向の偏移の大きさである偏移量が算出される。ここで、重心座標(Xc,Yc)は、挙動候補予測機能により車両1が採りうる複数の挙動が予測される前から、所定の周期で算出されている。ステップS302において、挙動推定機能は、挙動候補予測機能により車両1が採りうる複数の挙動が予測された時点において算出された重心座標(Xc,Yc)を初期重心(X0,Y0)として求める。また、挙動推定機能は、初期重心(X0,Y0)の算出後において算出された視線方向の重心座標(Xc,Yc)と初期重心(X0,Y0)との差を偏移量Xd,Ydとして求める。
ここで、挙動推定機能による偏移量の算出方法について説明する。挙動推定機能は、初期重心(X
0,Y
0)の算出後において運転支援装置10のRAMに記憶されている一定時間分の視線方向の座標データ(X
i,Y
i)の重心座標と初期重心(X
0,Y
0)との差を偏移量X
d,Y
dとして算出する。具体的には、挙動推定機能は、下記式(3)および下記式(4)に基づいて、偏移量X
d,Y
dを算出する。
例えば、図4に示す場面例において、運転者が車両1を右車線に車線変更させようとする場合、運転者は実際に車両1を右車線に車線変更する前に、右方向の安全を確認する。そのため、図6に示すように、直進走行時における運転者の視線方向の分布の重心座標を初期重心(X0,Y0)とすると、車両1が右車線へ車線変更する前の運転者の視線方向は初期重心(X0,Y0)よりも右方向に分布する。すなわち、車両1が右車線へ車線変更する前における視線方向の分布の重心座標は初期重心(X0,Y0)の右方向に偏移する。そこで、挙動推定機能は、図6に示すように、初期重心の算出後の視線方向の分布の重心座標と初期重心(X0,Y0)との差を偏移量Xd,Ydとして算出する。なお、本実施形態においては、偏移量Xd,Ydのうち横方向(X軸方向)の偏移量Xdは、初期重心(X0,Y0)の算出後の視線方向の分布の重心座標が初期重心(X0,Y0)の右方向に偏移する場合はプラスの値をとり、初期重心(X0,Y0)の算出後の視線方向の分布の重心座標が初期重心(X0,Y0)の左方向に偏移する場合はマイナスの値をとるものとする。このように、横方向(X軸方向)の偏移量Xdを用いることで、運転者の視線方向に変化が少なく偏移量Xdが0に近い場合は、挙動推定機能は、車両1は直進するものと推定できる。一方、運転者の視線方向が右方向に偏移し、偏移量Xdがプラス方向に増加する場合は、挙動推定機能は、運転者は車両1を右方向に車線変更または右折させるものと推定できる。さらに運転者の視線方向が左方向に偏移し、偏移量Xdがマイナス方向に減少する場合は、挙動推定機能は、運転者は車両1を左方向に車線変更または左折させるものと推定できる。
ステップS303では、挙動推定機能は、算出した偏移量Xdと閾値tr,tlとを比較して、偏移量Xdが所定の閾値tr,tlを越えたか否かを判断することで、運転者が選択する車両1の挙動を推定する。ここで、本実施形態においては、閾値trは車両1の右方向への移動を推定するために用いられるプラスの値であり、閾値tlは車両1の左方向への移動を推定するために用いられるマイナスの値であるものとする。具体的には、挙動推定機能は、偏移量Xd,Ydのうち横方向(X軸方向)の偏移量Xdと閾値tr,tlとをそれぞれ比較して、横方向(X軸方向)の偏移量Xdが右方向に対応する閾値trよりも大きい場合には、車両1は右方向に移動するものと推定し、偏移量Xdが左方向に対応する閾値tlよりも小さい場合には、車両1は左方向に移動するものと推定する。また、挙動推定機能は、偏移量Xdがどちらの閾値tr,tlも越えない場合は、車両1は直進するものと推定する。
ここで、運転者が選択する車両1の挙動を推定する際の判断基準となる閾値t
r,t
lの算出方法について説明する。挙動推定機能は、右方向に対応する閾値t
rを下記式(5)に基づいて算出し、左方向に対応する閾値t
lを下記式(6)に基づいて算出する。
変化幅sは偏移量X
d,Y
dが採りうる変化幅であり、実験などにより決定される任意の値である。また、重みw
r,w
lは、推定した車両状態および周囲状況において運転者により選択される車両1の挙動に対応しており、推定した車両状態および周囲状況おいて運転者に選択される可能性に応じて設定される値である。すなわち、右方向に対応する重みw
rは、推定した車両状態および周囲状況において、運転者が右方向への移動を選択する可能性に応じて設定され、左方向に対応する重みw
lは、推定した車両状態および周囲状況において、運転者が左方向への移動を選択する可能性に応じて設定される。なお、重みw
r,w
lは、図9に示すテーブルに設定されているため、挙動推定機能は、ステップS2において取得した場面情報を参照して、重みw
r,w
lを取得することができる。
上記式(5),(6)に示すように、右方向に対応する閾値trと左方向に対応する閾値tlとは、重みwr,wlを考慮しなければ、絶対値において同じ値となるように設定されているため、選択可能性に応じた重みwr,wlを用いて閾値tr,tlを算出することで、選択可能性に応じた車両1の挙動を推定することができる。これにより、推定した車両状態および周囲状況おいて選択される可能性の低い挙動が、運転者により誤って選択されることを軽減することができる。
ここで、図11は、運転者が車両1を右車線に変更させる場面例における横方向(X軸方向)の偏移量Xdの時系列変化の一例を示す図である。図11に示すように、挙動推定機能により、初期重心(X0,Y0)を算出した時刻T1から所定の周期で偏移量Xdが算出される。図11に示す場面例においては、運転者は車両1を右車線に車線変更させようとしており、時間の経過とともに、偏移量Xdはプラス方向(右方向)に増加している。そして、時刻T2において、偏移量Xdが右方向に対応する閾値trを超えたことが検出される。これにより、挙動推定機能は、運転者が選択する車両1の挙動は右車線への車線変更であると推定する。
このように、挙動推定機能により運転者が選択する車両1の挙動を推定する際に、偏移量Xdを用いることにより、視線方向の移動が少ない運転者の選択行動の早期においても、運転者が選択する車両1の挙動を推定することができる。例えば、従来は、運転者の視線方向が所定の視線方向領域から逸脱し、かつ、その逸脱状態が所定の時間以上継続した時刻(本発明における偏移量Xdの変化(絶対値)が大きくなる時刻)でなければ運転者の操作による車両1の挙動を推定することができなかったが、本実施形態によれば、図11に示すように、偏移量Xdの変化(絶対値)が比較的小さい時刻T2において、運転者の操作による車両1の挙動を推定することができる。
なお、たとえ、挙動推定機能が、図11に示すように、運転者が選択する車両1の挙動を時刻T2のように早期に推定できない場合であっても、通常、運転者は車線変更を行う直前に車線変更を行う方向を確認するため、挙動推定機能は、運転者の操作により車両1が右車線に車線変更する時刻T4の前(例えば、約0.5秒前から約1秒前)の時刻T3において、運転者が選択する車両1の挙動を推定することができる。
また、挙動候補予測機能により車両1が採りうると予測されなかった挙動、すなわち、場面情報において選択される可能施に応じた値が0に設定された挙動については、ステップS303において判断されない。
ステップS303において、挙動推定機能により運転者が選択する車両1の挙動を推定した後は、運転支援装置10は、推定した車両1の挙動情報を車両コントローラ40に送信し、運転支援装置10における運転支援処理を終了する。
このように推定した車両1の挙動情報を用いることにより、運転支援装置10は、車両コントローラ40を介して、運転者の操作に備えた準備動作を行うように車両1を制御し、または運転者に情報を早期に提示することで、運転者の運転を支援することができる。例えば、推定した車両1の挙動から車両1が右車線に車線変更するものと予測した場合、運転支援装置10から挙動情報を取得した車両コントローラ40は、図4に示すように、車両1の右後方から接近する他の車両を検出するように車両周囲の障害物を検出する検出装置を制御し、または運転者の死角を補助するためのモニタにより運転者の死角を自動に表示することにより、運転者に右後方から接近する他の車両の存在を認識させることができる。
加えて、例えば、推定した車両1の挙動から運転者のブレーキ操作が予測される場面では、運転支援装置10から挙動情報を取得した車両コントローラ40は、運転者のブレーキ操作に前もって、ブレーキ液圧を上昇させておくことで、運転者のブレーキ操作を支援することができる。また、推定した車両1の挙動から運転者のステアリング操作が予測される場面では、運転支援装置10から挙動情報を取得した車両コントローラ40は、運転者のステアリング操作に前もって、サスペンションを車両1が曲がる方向に応じて変化させることで、運転者のステアリング操作を支援することができる。
次に、第1実施形態に係る運転支援装置10における運転支援処理を、図12に示すように、ビゲーション装置50から左折指示の経路案内情報が提示された状況において、本来の経路の手前または奥に運転者に誤って選択される可能性のある左折方向の経路(脇道)がない場面例(脇道なし)を想定して説明する。図12は、経路案内左折指示(脇道なし)の場面例において、ナビゲーション装置50に備えるディスプレイに表示される経路案内情報の概略図である。
まず、ステップS1では、上述した場面例と同様に、視線方向検出機能により、運転者の視線方向の座標データが検出される。検出された座標データは運転支援装置10に備えるRAMに記憶される。
次に、ステップS2の挙動候補予測処理では、挙動候補予測機能により車両1が採りうる複数の挙動が予測される。まず、ステップS201では、車両コントローラ40から取得した車速、操舵角などの車両情報に基づいて、車両1が直進状態であると推定される。
次に、ステップS202では、挙動候補予測機能により、ナビゲーション装置50から送信された「この先の道路を左折」との左折指示の経路案内情報が取得される。左折指示の経路案内情報を取得した場合、挙動候補予測機能は、同じくナビゲーション装置50から取得した自車位置情報、地図情報、および道路情報に基づいて、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)が存在するかを推定する。図12に示す場面例においては、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)は存在しないため、挙動候補予測機能は、自車位置情報、地図情報、および道路情報に基づいて、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)はないと推定する。なお、挙動候補予測機能により本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)が存在するかを推定する際には、適宜設定した閾値などを用いて判断すればよく、例えば、本来の誘導経路から所定の範囲内において他の脇道があるかなどを判断することで、運転者に誤って選択される可能性のある経路(脇道)が存在するかを推定してよい。
図12に示す場面例においては、車両1が直進しており、かつ本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)がないものと推定されている。そこで、ステップS203において、挙動候補予測機能は、図9に示すテーブルを参照して、車両状態「直進」、周囲状況「経路案内左折指示(脇道なし)」における場面情報、すなわち、運転者により左方向への移動が選択される可能性に応じた値「0.7」と、運転者により右方向への移動が選択される可能性に応じた値「0.1」とを取得する。これにより、挙動候補予測機能は、運転者の操作により車両1は左折するか、右折するか、または直進するかの3つの挙動のいずれかを採りうると予測する。
次に、ステップS3の挙動推定処理では、上述した図6に示す場面例と同様に、運転支援装置10の挙動推定機能は、運転者の視線方向に基づいて偏移量Xdを求め、算出した偏移量Xdと閾値tr,tlとを比較して、運転者が選択する車両1の挙動を推定する。
図12に示す場面例のように、ナビゲーション装置50から左折指示の経路案内情報が提示された状況において、運転者の操作により車両1が右折する可能性は低いため、上述したように、右方向への移動(右折)に対応する重みwrは「0.1」と低く設定されている。そのため、運転者が車両1を右折させると推定するための閾値trは小さな値として算出される。その結果、運転者により選択される可能性の低い車両1の右折を、右方向への運転者の視線方向の小さな偏移で推定することができるため、推定結果に基づく運転支援を早期に行うことができる。その結果、運転者により可能性の低い車両1の右折が誤って選択されることを軽減することができる。このように、運転者の操作により車両1が採りうる挙動に、運転者により選択される可能性に応じた重みを設定することで、運転者が選択する車両1の挙動を適切に推定することができる。
例えば、図12に示す場面例のようにナビゲーション装置50により左折指示の経路案内情報が提示されている状況において、推定した車両1の挙動から車両1の右折を予測した場合には、運転支援装置10から挙動情報を取得した車両コントローラ40は、再度、左折指示の経路案内情報を提示するように提示装置(不図示)を制御する。これにより、運転支援装置10は、運転者に左折指示の経路案内情報を認識させることができる。
次に、第1実施形態に係る運転支援装置10における運転支援処理を、図13に示すように、ナビゲーション装置50から左折指示の経路案内情報が提示された状況において、図12に示す場面例とは異なり、本来の経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)がある場面例(脇道あり)を想定して説明する。図13は、経路案内左折指示(脇道あり)の場面例において、ナビゲーション装置50に備えるディスプレイに表示される経路案内情報の概略図である。
まず、ステップS1では、上述した場面例と同様に、運転支援装置10の視線方向検出機能は、運転者の視線方向の座標データを検出し、検出した座標データを運転支援装置10に備えるRAMに記憶する。
次に、ステップS201では、上述した図12に示す左折指示経路案内(脇道なし)の場面例と同様に、運転支援装置10の挙動候補予測機能は、車両コントローラ40から取得した車速、操舵角などの車両情報に基づいて、車両1は直進状態であると推定する。
次に、ステップS202において、挙動候補予測機能により、ナビゲーション装置50から送信された「この先の道路を左折」との左折指示の経路案内情報が取得される。左折指示の経路案内情報が取得された場合、挙動候補予測機能は、同じくナビゲーション装置50から取得した自車位置情報、地図情報、および道路情報に基づいて、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)が存在するかを推定する。ここで、図13に示す場面例においては、本来の誘導経路の手前に、運転者に誤って選択される可能性のある経路(脇道)が存在するため、挙動候補予測機能は、自車位置情報、地図情報、および道路情報に基づいて、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)があると推定する。
図13に示す場面例においては、車両1が直進しており、かつ、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)があると推定されている。そこで、ステップS203において、挙動候補予測機能は、図9に示すテーブルを参照して、車両状態「直進」、周囲状況「経路案内左折指示(脇道あり)」における場面情報、すなわち、運転者により左方向への移動が選択される可能性に応じた値「0.5」と、運転者により右方向への移動が選択される可能性に応じた値「0.1」とを取得する。これにより、挙動候補予測機能は、運転者の操作により車両1は左折するか、右折するか、または直進するかの3つの挙動のいずれかを採りうると予測する。
ここで、ナビゲーション装置50から左折指示の経路案内情報が提示された状況において、運転者に誤って選択される可能性のある経路(脇道)がある場合は、運転者に誤って選択される可能性のある経路(脇道)がない場合と比べて、運転者の操作により車両1が本来の誘導経路を左折する可能性は低くなる。そのため、図9に示すように、車両状態が「直進」であり、周囲状況が「左折指示経路案内(脇道あり)」の場合は、左折指示経路案内(脇道なし)の場合と比べて、左方向への移動(左折)に対応する重みwlは「0.5」と低く設定され、運転者が車両1を左折させると推定するための閾値trも、左折指示経路案内(脇道なし)の場合と比べて、小さな値として算出される。その結果、左折指示経路案内(脇道あり)の場合では、左折指示経路案内(脇道なし)の場合と比べて、運転者の操作による車両1の左折を、運転者の視線方向の比較的小さな偏移で推定することができるため、推定結果に基づく運転支援を早期に行うことができる。これにより、運転者が本来の誘導経路とは異なる経路(脇道)を誤って選択することを軽減することができる。
ステップS3の挙動推定処理においては、上述した場面例と同様に、挙動推定機能が、運転者の視線方向に基づいて偏移量Xdを求め、算出した偏移量Xdと閾値tr,tlとを比較して、運転者が選択する車両1の挙動を推定する。
例えば、図13に示す場面例のように、ナビゲーション装置50により一つ先の交差点を左折するよう経路案内情報が提示されている状況において、推定した車両1の挙動から車両1が手前の交差点を左折すると予測した場合には、運転支援装置10から挙動情報を取得した車両コントローラ40は、「もう少し先の交差点を左折してください。」などの音声ガイダンスを行うように提示装置(不図示)を制御する。これにより、運転支援装置10は、運転者が誘導経路を移動するように運転者の運転を支援することができる。
なお、図13に示す場面例において、ステップS202において周囲状況を推定する際に、本来の誘導経路の手前のみに、運転者に誤って選択される可能性のある経路(脇道)があるかを推定するようにしてもよい。この場合、車両1が運転者に誤って選択される可能性のある経路(脇道)よりも手前を走行している時点においては、ステップS202において、本来の誘導経路の手前に運転者に誤って選択される可能性のある経路(脇道)があると推定されるため、ステップS203においては、車両状態「直進」、周囲状況「経路案内左折指示(脇道あり)」における場面情報、すなわち、運転者により左方向への移動が選択される可能性に応じた値「0.5」と、運転者により右方向への移動が選択される可能性に応じた値「0.1」とが取得される。一方、車両1が運転者に誤って選択される可能性のある経路(脇道)を越えた時点(図13の本来の誘導経路の手前であって、運転者に誤って選択される可能性のある脇道の奥の位置を走行している時点)においては、ステップS202において、本来の誘導経路の手前に運転者に誤って選択される可能性のある経路(脇道)がないと推定されるため、ステップS203においては、車両状態「直進」、周囲状況「経路案内左折指示(脇道なし)」における場面情報、すなわち、運転者により左方向への移動が選択される可能性に応じた値「0.7」と、運転者により右方向への移動が選択される可能性に応じた値「0.1」とが取得される。
以上のように、第1実施形態においては、運転者の視線方向の偏移に基づいて運転者が選択する挙動を推定するため、運転者の視線方向の小さな変化を検出するができ、運転者が車両1の挙動を選択する一連の行動のうち、視線方向の移動が小さい早期において車両1の挙動を推定することができる。特に、第1実施形態では、推定した車両状態・周囲状況において運転者の操作により車両1が採りうる複数の挙動を予測し、予測した複数の挙動のうち運転者が選択する車両1の挙動を推定する。そのため、運転者の選択が必要とされる場面、特に、運転者が判断に迷うような場面を特定して、運転者が選択する車両1の挙動を推定することができるため、運転者の視線方向の小さな移動に基づいて運転者が選択する車両1の挙動を推定する場合にも、車両1の挙動を適切に推定することができる。
加えて、本実施形態によれば、車両状態および周囲状況ごとの運転者の操作により車両1が採りうると予測される複数の挙動それぞれに、各挙動が選択される可能性に応じた重みが設定されており、運転者が選択する車両1の挙動を推定するための閾値を各挙動に設定された重みを用いて算出する。特に、本実施形態によれば、選択される可能性の低い挙動に対応する重みは小さい値に設定されている。そのため、運転者の視線方向の偏移が少ない早期においても、選択される可能性の低い車両1の挙動を推定することができ、推定した挙動に応じた車両1の制御や情報提示を早期に行える。この結果、選択される可能性の低い挙動が、運転者により誤って選択されることを減らすことができる。
なお、本実施形態においては、横方向(X軸方向)の偏移量X
dのみを用いて、運転者が選択する車両1の挙動を推定しているが、横方向(X軸方向)の偏移量X
dに加え縦方向(Y軸方向)の偏移量Y
dをも用いて、運転者が選択する車両1の挙動を推定してもよい。具体的には、挙動推定機能は、偏移量lと角度θとを下記式(7),(8)に基づいて求める。
ここで、算出される偏移量lは正の値となるため、挙動推定機能は、角度θを用いて、算出された偏移量lが何れの方向を示しているかを区別する。例えば、角度θが−45°〜+45°である場合には右方向、角度θが+45°〜+135°である場合には上方向、角度θが+135°〜―135°である場合には左方向、角度θが−135°〜−45°である場合には下方向への偏移を示していると判断する。
また、この場合、挙動推定機能は、閾値t
r,t
lを下記式に基づいて算出する。
ここで、変化幅l
sは、偏移量lが採りうる変化幅であり、実験などにより設定される任意の値である。これにより、挙動推定機能は、算出した角度θが−45°〜+45°までの角度である場合には、偏移量lと右方向に対応する閾値t
rとを比較して、偏移量lが閾値t
rを超える場合には、車両1が右車線に車線変更するものと推定する。同様に、挙動推定機能は、算出した角度θが+135°〜―135°までの角度である場合には、偏移量lと左方向に対応する閾値t
lとを比較して、偏移量lが閾値t
lを超えた場合には、車両1が左車線に車線変更するものと推定する。
≪第2実施形態≫
続いて、第2実施形態について説明する。第2実施形態では、図1に示す第1実施形態と同様の車両1において、以下に説明するとおり、図14に示すフローチャートに従って運転支援装置10における運転支援処理を行う。ここで、図14は、第2実施形態に係る運転支援装置10における運転支援処理を示すフローチャートである。以下においては、運転者Aが、第1実施形態と同様に、車両1が先行車両と接近しており、かつ車両1が片側3車線の道路の第2通行帯(中央走行車線)を走行している図4に示す場面例を想定して説明する。なお、第2実施形態に係る運転支援処理も、第1実施形態と同様に、運転支援装置10により実行される。
まず、ステップS10では、第1実施形態のステップS1と同様に、視線方向検出機能により、運転者の視線方向が検出される。
また、ステップS20では、第1実施形態のステップS2と同様に、運転支援装置10の挙動候補予測機能により、車両状態および周囲状況が推定され、推定された車両状態および周囲状況において、運転者の操作により車両1が採りうる複数の挙動が予測される。
次に、ステップS21では、運転支援装置10の運転者識別機能により、カメラ30から送信された画像情報に基づいて、運転者が識別される。本実施形態においては、運転者識別機能により、運転者が、運転者Aであると識別される。
次に、ステップS30の挙動推定処理について説明する。ステップS30では、運転者の視線方向の座標データに加えて、識別した運転者の運転者情報および後述する挙動割合に基づいて、運転者の操作により車両1が採りうると予測された複数の挙動のうち運転者が選択する挙動が推定される。ここで、図15は、第2実施形態に係るステップS30の挙動推定処理を示すフローチャートである。図15のフローチャートに沿って、ステップS30の挙動推定処理の内容について以下に説明する。
まず、ステップS311では、第1実施形態のステップS301と同様に、挙動推定機能により、視線方向検出機能により検出された一定時間分の視線方向の座標データ(Xi,Yi)の分布の重心座標(Xc,Yc)が算出される。
そして、ステップS312では、第1実施形態のステップS302と同様に、挙動候補予測機能により複数の挙動が予測された時点の重心座標(Xc,Yc)が初期重心(X0,Y0)として算出される。また、初期重心(X0,Y0)の算出後においては、初期重心算出後の視線方向の座標データの重心座標と初期重心(X0,Y0)との差が偏移量Xd,Ydとして求められる。
次に、ステップS313では、挙動推定機能により、算出した偏移量X
dと閾値t
r,t
lとが比較され、運転者が選択する車両1の挙動が推定される。ただし、第2実施形態においては、第1実施形態とは異なり、挙動推定機能は、下記式(11),(12)に基づいて閾値t
r,t
lを算出する。
ここで、挙動割合p
r,p
lは、運転者により選択される車両1の挙動に対応しており、推定した車両状態および周囲状況において、識別された運転者が過去に選択した車両1の挙動の割合に応じて算出される値である。
ここで、挙動割合pr,plの算出方法を、図16に示すフローチャートに沿って説明する。図16は、挙動割合算出処理を示すフローチャートである。なお、挙動割合算出処理は、図14に示す運転支援装置10による運転支援処理とは別に、運転者により車両1の挙動が選択されたタイミングで行われる。
図16に示すように、ステップS40では、運転支援装置10の運転履歴学習機能は、場面情報、車両情報、および周囲情報に基づいて、推定した車両状態および周囲状況において運転者が選択した車両1の挙動を判断し、車両状態および周囲状況ごとの運転者の選択結果を運転履歴として取得する。具体的には、運転履歴学習機能は、車両コントローラ40から取得した方向指示器の点灯信号、ステアリング操作による操舵角、またはブレーキ信号などの車両情報や、ナビゲーション装置50から取得した車両1の位置情報や車両進行方向などの周囲情報に基づいて、運転者が選択した車両1の挙動を判断する。例えば、運転者が車両1を車線変更する場合、一般的に、運転者による方向指示器の操作に続いてステアリングの操作が行われるため、この一連の操作をパターンとして認識することで、車両1が車線変更したか否かを判断してもよい。また、ナビゲーション装置50から取得した道路情報および車両1の進行方向に基づいて、車両1が右左折したのかそれとも車線変更したのかを判断してもよい。
次に、ステップS50において、運転履歴学習機能は、ステップS40で取得した運転履歴を、ステップS20で識別した運転者の運転者情報と関連付けて運転支援装置10のRAMに記憶する。なお、運転履歴学習機能は、運転者が車両1の挙動を選択した際の偏移量Xdを運転履歴と関連させて記憶してもよい。これにより、例えば、後述する挙動割合の算出の際に、運転者が車両1の挙動を選択した際の偏移量Xdを加味した挙動割合を算出することができる。
さらに、ステップS50において、運転履歴学習機能は、ステップS40で取得した運転履歴を含む過去の運転履歴を集計して、推定した車両状態および周囲状況において、識別した運転者が過去に選択した各挙動の割合を算出する。ここで、図17は、第2実施形態に係る場面情報を記録したテーブルの一例を示す図である。運転履歴学習機能は、算出した挙動割合pr,plを基本の重みwr,wlにそれぞれ乗じ、運転者ごとの挙動割合pr,plを考慮した重みwrpr,wlplを図17のテーブルに設定する。これにより、ステップS313において、図17に示すテーブルを参照することにより、重みwr,wlおよび挙動割合pr,plを取得することができる。なお、挙動割合pr,plは、所定の車両状態および周囲状況において、所定の運転者が選択した挙動の割合であるため、図17に示すテーブルでは、挙動割合pr,plを考慮した重みwrpr,wlplは、車両状態・周囲状況ごと、および運転者ごとに設定されている。
例えば、識別された運転者Aが運転する車両1が、先行車両と接近した状態で、片側3車線の道路の第2通行帯(中央走行車線)を走行している図4に示す場面例では、運転履歴学習機能は、車両1が先行車両との接近状態であり、かつ、車両1が片側3車線の道路の第2通行帯(中央走行車線)を走行している状況において、運転者Aが過去に選択した各挙動の運転履歴を集計して挙動割合pr,plを算出する。そして、挙動推定機能は、車両状態「先行車両と接近」かつ周囲状況「片側3車線、第2通行帯」の基本の重みwr,wlに挙動割合pr,plを乗じた重みwrpr,wlplを図17のテーブルに設定する。ここで、車両状態「先行車両と接近」かつ周囲状況「片側3車線、第2通行帯」において、運転者Aが車両1を右車線に車線変更した回数が、車両1を左車線に車線変更した回数よりも多い場合は、右方向に対応する挙動割合prは、左方向に対応する挙動割合plより大きい値として算出される。これにより、図17のテーブルでは、右方向に対応する重み(wrpr)は、例えば、基本の重みwr「0.5」よりも大きい「0.8」に設定され、一方、左方向に対応する重み(wlpl)は、基本の重みwl「0.5」よりも小さい「0.2」に設定されている。
なお、本実施形態のように、運転者が選択した挙動の割合pr,plに基づいて閾値tr,tlを算出する場合、運転者が過去に選択した車両1の挙動の情報がある程度蓄積されていないと、閾値tr,tlが適切に運転者の傾向を反映できない場合があり、このような閾値に基づいて運転支援を行うと運転者に違和感を与える場合がある。そこで、運転履歴が所定数以上蓄積されるまでは、挙動割合pr,plを1に設定するのが好適である。これにより、運転履歴が所定数以上蓄積されるまでは、挙動割合pr,plが閾値tr,tlに反映されず、少なくとも第1実施形態と同様の効果を奏することができる。
ステップS313で運転者が選択する車両1の挙動を推定した後は、運転支援装置10による運転支援処理を終了する。運転支援装置10は、第1実施形態と同様に、推定した車両1の挙動情報を車両コントローラ40に送信し、挙動情報を取得した車両コントローラ40は、運転者の操作に備えた準備動作を行うように車両1を制御し、または運転者に情報を早期に提示することで、運転者の運転を支援する。また、本実施形態においては、運転者識別機能により識別された運転者の運転者情報を用いることで、運転者が設定したタイミング、頻度、または方法で、推定した車両1の挙動に基づく情報を提示できる。
以上のように、第2実施形態においては、挙動推定機能は、運転者ごとの運転履歴、すなわち、推定された車両状態および周囲状況において各運転者が過去に選択した挙動の割合pr,plを加味した重み(wrpr,wlpl)を用いて閾値tr,tlを算出する。そして、算出した閾値tr,tlと横方向(X軸方向)の偏移量Xdとを比較し、偏移量Xdが閾値tr,tlのどちらかを超える場合は、超えた閾値に対応する方向に車両1が移動するものと推定し、また、偏移量Xdが閾値tr,tlを超えない場合には、車両1は直進すると推定する。このように、第2実施形態では、重みwr,wlに加えて、推定された車両状態および周囲状況において識別された運転者が過去に選択した挙動の割合pr,plに基づいて閾値tr,tlを算出することにより、運転者の視線方向の偏移が少ない早期においても、運転者が過去に選択した割合の低い車両1の挙動を推定することができ、推定した挙動に応じた車両1の制御や情報提示を早期に行える。この結果、識別された運転者が過去に選択した割合の低い挙動が、運転者により誤って選択されることを減らすことができる。このように、第2実施形態においては、第1実施形態の効果に加え、運転者の傾向に合わせて、運転者が選択する車両1の挙動を適切に推定することができる。
以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
すなわち、本発明は、上述した実施形態に限られず、また、以上で説明した実施形態を組み合わせてもよい。
例えば、第2実施形態においては、推定した車両状態および周囲状況において運転者が過去に選択した挙動の割合pr,plを求めたが、これに限らず、運転者を識別せずに車両1を運転した運転者の運転履歴に基づいて挙動割合pr,plを求めてもよい。また、運転者が挙動割合pr,plを設定できるようにしてもよい。
なお、上述した実施形態の視線方向検出機能は本発明の視線方向検出手段に、車両コントローラ40およびナビゲーション装置50は本発明の周囲情報取得手段に、挙動候補予測機能は本発明の挙動候補予測手段に、挙動推定機能は本発明の挙動推定手段に、運転者識別機能は本発明の運転者識別手段に、運転履歴学習機能は本発明の記憶手段にそれぞれ相当する。