JP2010211380A - 運転支援装置および運転支援方法 - Google Patents

運転支援装置および運転支援方法 Download PDF

Info

Publication number
JP2010211380A
JP2010211380A JP2009054994A JP2009054994A JP2010211380A JP 2010211380 A JP2010211380 A JP 2010211380A JP 2009054994 A JP2009054994 A JP 2009054994A JP 2009054994 A JP2009054994 A JP 2009054994A JP 2010211380 A JP2010211380 A JP 2010211380A
Authority
JP
Japan
Prior art keywords
driver
vehicle
behavior
driving support
support device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009054994A
Other languages
English (en)
Other versions
JP5577609B2 (ja
Inventor
Haruo Matsuo
治夫 松尾
Goji Suda
剛司 寸田
Khiat Abdelaziz
アブデラジズ キアツト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2009054994A priority Critical patent/JP5577609B2/ja
Publication of JP2010211380A publication Critical patent/JP2010211380A/ja
Application granted granted Critical
Publication of JP5577609B2 publication Critical patent/JP5577609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】運転者の行動意図を適切に推定できる運転支援装置を提供する。
【解決手段】運転者の視線方向を検出する視線方向検出手段と、車両周囲の情報を取得する周囲情報取得手段40,50と、車両周囲の情報に基づいて、運転者の操作により車両1が採りうる複数の挙動を予測する挙動候補予測手段と、視線方向検出手段により検出された運転者の視線方向に基づいて、挙動候補予測手段により予測された複数の挙動のうちから運転者が選択する挙動を推定する挙動推定手段と、を有することを特徴とする運転支援装置。
【選択図】 図1

Description

本発明は、運転支援装置および運転支援方法に関するものである。
従来、運転者の視線方向が所定の視線方向領域から逸脱する場合に、当該運転者の視線方向の逸脱に基づいて、運転者の行動意図を推定する技術が知られている(特許文献1)。
特開2002−331849号公報
しかしながら、従来技術では、運転者の視線方向が所定の視線方向領域を逸脱するまで大きく動き、かつ、運転者の視線方向が所定の視線方向領域から逸脱した状態が所定時間以上継続した場合に、運転者の行動意図を推定するものであるため、運転者の行動意図の推定に時間がかかり、運転支援を適切にできない場合があった。
本発明が解決しようとする課題は、運転者の行動意図を適切に推定できる運転支援装置を提供することである。
本発明は、車両周囲の状況に応じて、運転者の操作により車両が採りうる挙動を複数予測し、運転者の視線方向に基づき、予測された複数の挙動のうちから運転者が選択する挙動を推定することで、上記課題を解決する。
本発明によれば、運転者の行動意図を適切に推定するため、これにより、運転者の運転を適切に支援することができる。
第1実施形態に係る運転支援システムを搭載する車両の構成を示すブロック図である。 第1実施形態に係る運転支援システムを構築する各構成の相互関係を説明するための図である。 第1実施形態に係る運転支援装置における運転支援処理を示すフローチャートである。 車両が先行車両と接近しており、かつ車両が片側3車線の道路の第2通行帯(中央走行車線)を走行している場面例を示す図である。 運転者の視線方向の分布の一例を示す図である。 車両が直線走行後に右車線に車線変更する一場面例における視線方向の分布の偏移を示す図である。 第1実施形態に係る挙動候補予測処理を示すフローチャートである。 先行車両との接近状態の推定方法を説明するための図である。 第1実施形態に係る場面情報を記録したテーブルの一例を示す図である。 第1実施形態に係る挙動推定処理を示すフローチャートである。 運転者が車両1を右車線に変更させる場面例における横方向(X軸方向)の偏移量Xの時系列変化の一例を示す図である。 経路案内左折指示(脇道なし)の場面例において、ナビゲーション装置に備えるディスプレイに表示される経路案内情報の概略図である。 経路案内左折指示(脇道あり)の場面例において、ナビゲーション装置に備えるディスプレイに表示される経路案内情報の概略図である。 第2実施形態に係る運転支援装置における運転支援処理を示すフローチャートである。 第2実施形態に係る挙動推定処理を示すフローチャートである。 第2実施形態に係る挙動割合算出処理を示すフローチャートである。 第2実施形態に係る場面情報を記録したテーブルの一例を示す図である。
≪第1実施形態≫
以下、本発明の第1実施形態を図面に基づいて説明する。
第1実施形態においては、運転者の運転を支援する運転支援システムを有する車両を例示して説明する。ここで、図1は、第1実施形態に係る運転支援システムを搭載する車両1の構成を示すブロック図である。図1に示すように、車両1は、運転支援装置10、赤外線照明20、カメラ30、車両コントローラ40、およびナビゲーション装置50を備える。
図2は、第1実施形態に係る運転支援システムを構築する各構成の相互関係を説明するための図である。図2に示すように、近赤外照明20は運転者の頭部(顔を含む)を前方から照射し、カメラ30は近赤外照明20により照射された運転者の頭部前方を撮影する。このように、近赤外照明20により運転者の頭部前方を照射することにより、夜間やトンネル内などの暗所においても、カメラ30は、運転者の頭部前方を適切に撮像することができる。カメラ30により撮像された画像情報は運転支援装置10に送信される。
運転支援装置10は、カメラ30から送信された画像情報の他に、車両コントローラ40から車両情報および周囲情報を取得し、また、ナビゲーション装置50から周囲情報を取得する。車両情報としては、車速、アクセル開度、ブレーキ信号、およびステアリングの操舵角などの各種情報が含まれ、周囲情報としては、先行車両までの車間距離、車両1の現在位置、進行方向などの各種情報が含まれる。そして、運転支援装置10は、これらの情報に基づいて、運転者が選択する車両1の挙動を推定し、推定した挙動情報を車両コントローラ40に送信する。車両コントローラ40は、挙動情報に応じた運転支援を行うように、各種装置を制御する。このように、本実施形態に係る運転支援システムを構築する各構成は上記のように相互に関係することで、推定した挙動情報に基づく適切な運転支援を提供することができる。なお、これらの各構成は、CAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
以下、車両1の各構成について詳細に説明する。
赤外線照明20およびカメラ30は、図2に示すように、運転者の正面やや下方のメータパネル内またはステアリングコラム(不図示)の近傍など、運転者の頭部前方を撮像できる位置に設置される。なお、赤外線照明20およびカメラ30は、運転者の頭部前方を撮像可能であれば、多少左右にずれて設置してもよい。また、カメラ30は、可視光から近赤外光までの感度分布を有するCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)、その他のイメージセンサを撮像素子として備え、運転者の頭部前方を撮像できるような画角を有するレンズを備える。なお、太陽光の影響を最小限に抑えるため、カメラ30にフィルタを設置してもよい。
車両コントローラ40は、車両1に関する各種情報を取得する。具体的には、車両コントローラ40は、車速センサからの車速情報、車両1の前方領域を検知する前方センサからの先行車両までの車間距離、アクセルセンサからのアクセル開度、ブレーキセンサからのブレーキ信号、および舵角センサからのステアリング操作による操舵角などの各種情報を取得する。そして、車両コントローラ40は、取得したこれら情報を運転支援装置10に送信する。また、車両コントローラ40は、運転者が選択すると推定された車両1の挙動情報を運転支援装置10から取得し、当該挙動情報に基づいて各種装置を制御することで、運転者の運転を支援する。
ナビゲーション装置50は、GPS(Global Positioning System)モジュールや通信装置を備え、車両1の現在位置や進行方向などの各種情報を取得する。そして、ナビゲーション装置50は、取得したこれらの情報を運転支援装置10に送信する。また、ナビゲーション装置50は、ナビゲーション装置50のメモリに記憶した地図情報や道路情報、およびGPSモジュールなどにより取得した情報に基づいて車両1の走行経路を案内する経路案内機能を有する。
運転支援装置10は、運転者が選択する車両1の挙動を推定するためのプログラムを格納したROM(Read Only Memory)と、このROMに格納されたプログラムを実行するCPU(Central Processing Unit)と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)とから構成される。
運転支援装置10は、ROMに格納したプログラムをCPUにより実行することにより、視線方向検出機能、挙動候補予測機能、挙動推定機能、運転者識別機能、および運転履歴学習機能の各機能を実現する。以下に、運転支援装置10が備える各機能について説明する。
運転支援装置10の視線方向検出機能は、カメラ30から送信された画像情報から運転者の視線方向を検出する。視線方向検出機能により視線方向を検出する手法は、特に限定されない。例えば、視線方向検出機能は、カメラ30により時系列に撮像した運転者の頭部前方の画像情報を取得し、取得した画像情報を画像処理し、運転者の顔の複数の特徴部位を検出する。そして、視線方向検出機能は、検出された複数の特徴部位の位置関係に基づいて、運転者の顔向きを推定するとともに、画像情報から運転者の目領域を切りだして画像処理を行い、少なくても瞳の位置を含む目の特徴点を検出する。さらに、視線方向検出機能は、推定した運転者の顔向きと検出した目の特徴点とに基づいて、カメラ30を基準とした運転者の視線方向を推定する。そして、視線方向検出機能は、推定した運転者の視線方向の時系列変化に基づいて、運転者が正面と認識していると仮定される論理正面を推定し、推定した論理正面を用いて、運転者の視線方向を補正する。これにより、視線方向検出機能は、カメラ30の設置位置が運転者の正面でない場合であっても、運転者ごとの正面方向を自動で取得し、運転者の視線方向を適切に検出することができる。なお、運転者の視線方向の検出方法は、上記の例に限られず、例えば、距離計測機能を備えるステレオカメラなどを複数用いて運転者の視線方向を検出してもよい。
視線方向検出機能は、このような運転者の視線方向を、例えば、運転者の論理正面を中心とした座標データとして検出する。そして、視線方向検出機能は、検出した視線方向の座標データを運転支援装置10のRAMに記憶する。なお、運転支援装置10のRAMには、検出された順に一定時間分の視線方向の座標データが保持(記憶)される。
運転支援装置10の挙動候補予測機能は、車両コントローラ40から取得した車両情報および周囲情報や、ナビゲーション装置50から取得した周囲情報に基づいて、車両状態を推定するとともに、車両コントローラ40およびナビゲーション装置50から取得した周囲情報に基づいて、周囲状況を推定する。ここで、車両状態としては、例えば、先行車両との接近状態、直進状態、加速状態、または減速状態などが挙げられる。また、周囲状況としては、例えば、車両1が走行している道路状況、車両1周辺の脇道の有無の状況などが挙げられる。そして、挙動候補予測機能は、推定した車両状態および周囲状況において、運転者の操作により車両1が採りうる複数の挙動を予測する。
運転支援装置10の挙動推定機能は、視線方向検出機能により検出した一定時間分の視線方向の座標データに基づいて、所定の時刻における視線方向の座標データの分布の重心座標を初期重心として算出し、算出した初期重心と初期重心算出後の視線方向の座標データの分布の重心座標との差を偏移量として求める。そして、挙動推定機能は、当該偏移量に基づいて、挙動候補予測機能により予測した複数の挙動のうち運転者が選択する挙動を推定する。
運転支援装置10の運転者識別機能は、カメラ30から送信された運転者の画像情報に基づいて、運転者の識別を行う。なお、運転者識別機能により識別された運転者の運転者情報を用いることで、運転者が設定したタイミング、頻度、または方法で、推定した車両1の挙動に基づく情報を運転者に提示できる。
運転支援装置10の運転履歴学習機能は、所定の車両状態および周囲状況において運転者が選択した車両1の挙動を判断する。そして、運転履歴学習機能は、車両状態および周囲状況ごと、運転者ごとに、運転者が選択した車両1の挙動を運転履歴として記憶する。また、運転履歴学習機能は、後述するように、記憶した運転履歴に基づいて、所定の車両状態および周囲状況において運転者が選択した車両1の挙動の割合を挙動割合として算出する。
続いて、第1実施形態に係る運転支援装置10における運転支援処理を、図3に示すフローチャートに沿って説明する。図3は、第1実施形態に係る運転支援装置10における運転支援処理を示すフローチャートである。また、図4は、車両1が先行車両と接近しており、かつ車両1が片側3車線の道路の第2通行帯(中央走行車線)を走行している場面例を示す図である。以下においては、図4に示すように、車両1が先行車両と接近しており、かつ車両1が片側3車線の道路の第2通行帯(中央走行車線)を走行している場面例を想定して説明する。なお、以下に説明する運転支援処理は、運転支援装置10により実行される。
まず、ステップS1では、運転支援装置10の視線方向検出機能により、カメラ30から送信された運転者の頭部前方を撮像した画像情報が取得され、取得された画像情報に基づいて、運転者の視線方向の座標データが検出される。検出された座標データは、運転支援装置10に備えるRAMに記憶される。
ここで、図5は、視線方向検出機能により検出された視線方向の分布の一例を示す図であり、図6は、車両1が直進走行後に右車線に車線変更する一場面例における運転者の視線方向の分布の偏移を示す図である。車両1の直進走行時においては、図5に示すように、運転者の視線方向は、運転者が正面と認識していると仮定される論理正面の付近に分布する。また、図6に示すように、直進走行後、車両1が前方車両と接近したことにより、運転者が車両1を右車線に車線変更させようとする場合、運転者の視線方向は、直進走行時の視線方向よりも車線変更方向である右方向に分布する。視線方向検出機能は、これらの運転者の視線方向を座標データとして時系列に検出し、運転支援装置10に備えるRAMに記憶する。
次に、ステップS2では、運転支援装置10の挙動候補予測機能により車両1が採りうる複数の挙動が予測される。具体的には、車両コントローラ40から取得した車両情報および周囲情報や、ナビゲーション装置50から取得した周囲情報に基づいて、車両1の車両状態が推定され、また、車両コントローラ40またはナビゲーション装置50から取得した周囲情報に基づいて、周囲状況が推定される。さらに、推定した車両状態および周囲状況において、運転者の操作により車両1が採りうる複数の挙動が予測される。ここで、図7は、ステップS2の挙動候補予測処理を示すフローチャートである。図7のフローチャートに沿って、ステップS2の挙動候補予測処理の内容について以下に説明する。
まず、ステップS201では、車両コントローラ40から取得した車両情報および周囲情報や、ナビゲーション装置50から取得した周囲情報に基づいて、車両1の車両状態が推定される。ここで、図8は、先行車両との接近状態の推定方法を説明するための図である。例えば、車両状態の一例である先行車両との接近状態は、図8に示すように、時系列における車速情報と車間距離との変化に基づいて推定することができる。具体的には、図8に示すように、時間の経過とともに車両1の車速が増加し、または時間の経過に伴う車両1の車速の変化(増減)が小さい場合であって、かつ、時間の経過とともに車両1と先行車両との車間距離が減少している場合には、車両1は先行車両に接近している状態であると推定される。なお、挙動候補予測機能により推定される車両状態は先行車両との接近状態に限られず、また先行車両との接近状態の推定方法は上記の方法に限定されない。例えば、ナビゲーション装置50が有する通信装置であって、他の車両と車車間通信を行う通信装置を用いることで、先行車両との接近状態を推定することができる。
次に、ステップS202では、車両コントローラ40やナビゲーション装置50から取得した周囲情報に基づいて、車両1の周囲状況が推定される。図4に示す場面例においては、例えば、ナビゲーション装置50から送信される道路情報に基づいて、車両1が走行している道路は片側3車線の道路であると推定される。また、例えば、路側機などと通信するナビゲーション装置50に備える通信装置から情報を取得することで、車両1は片側3車線のうち第2通行帯(中央走行車線)を走行していると推定される。なお、ステップS201および202を並行して行ってもよく、またステップS202を先に行ってもよい。また、挙動候補予測機能により周囲状況を推定する方法は特に限定されず、例えば、車両1のフロントウィンドウ上部に設置したカメラを用いて車両1が走行する車線の車線端を検出し、車両1が複数の車線を有する道路のいずれの通行帯を走行しているかを推定してもよい。
ステップS203では、挙動候補予測機能により、推定した車両状態および周囲状況において運転者の操作により車両1が取りうる複数の挙動が予測される。当該複数の挙動の予測は、推定した車両状態および周囲状況において運転者の操作により車両1が取りうる複数の挙動に基づいた場面情報に基づいて行われる。
ここで、図9は、第1実施形態に係る場面情報を記録したテーブルの一例を示す図である。図9に示すテーブルには、車両状態・周囲状況ごとに、運転者により左方向への移動が選択される可能性に応じた値と、運転者により右方向への移動が選択される可能性に応じた値とが設定されている。例えば、図4に示す場面例のように、車両1が先行車両と接近している状態であって、かつ、車両1が片側3車線の道路の第2通行帯(中央走行車線)を走行している場合には、運転者の操作により車両1は、左車線に車線変更するか、右車線に車線変更するか、または、そのどちらでもない先行車両を追従するかの3つの挙動のいずれかを採りうると予測される。また、図4に示す場面例において、車両1は片側3車線の道路の第2通行帯(中央走行車線)を走行しているため、運転者が車両1を左車線に車線変更させる可能性と、運転者が車両1を右車線に車線変更させる可能性は同程度であると予測される。そのため、図9に示すテーブルには、車両1が「先行車両接近」の車両状態であり、かつ車両1が「片側3車線、第2通行帯」を走行している周囲状況においては、運転者により左方向への移動が選択される可能性に応じた値「0.5」と、運転者により右方向への移動が選択される可能性に応じた値「0.5」とが設定されている。
このように、図9に示すテーブルには、車両状態・周囲状況ごとに、各挙動が選択される可能性に応じた値が設定されているため、挙動候補予測機能は、図9に示すテーブルに設定された場面情報を参照することで、推定した車両状態および周囲状況において、運転者の操作により車両1が取りうる複数の挙動を予測することができる。例えば、車両状態「先行車両接近」かつ周囲状況「片側3車線、第2通行帯」における運転者により左方向への移動が選択される可能性に応じた値「0.5」と、運転者により右方向への移動が選択される可能性に応じた値「0.5」との場面情報を取得することで、運転者の操作により車両1は左車線に車線変更するか、右車線に車線変更するか、または先行車両を追従するかの3つの挙動のいずれかを採りうると予測することができる。
また、車両1が先行車両と接近している状態であって、かつ、車両1が片側2車線または片側1車線の道路の第1通行帯(左側走行車線)を走行している場合には、運転者が車両1を左方向へ移動(左車線へ車線変更)させるものとは想定されない。そのため、図9に示すテーブルの車両状態「先行車両接近」、かつ、周囲状況「片側2車線、第1通行帯」または「片側1車線、第1通行帯」においては、運転者により左方向への移動が選択される可能性に応じた値は「0」に設定されている。これにより、挙動候補予測機能は、車両状態「先行車両接近」、かつ、周囲状況「片側2車線、第1通行帯」または「片側1車線、第1通行帯」における運転者により左方向への移動が選択される可能性に応じた値「0」と、運転者により右方向への移動が選択される可能性に応じた値「0.5」との場面情報を取得することで、運転者の操作により車両1は右車線に車線変更するか、または先行車両を追従するかの2つの挙動のいずれかを採りうると予測する。
なお、場面情報として取得される運転者の左右方向への移動の選択可能性に応じた値は、後述するように、車両1の挙動を推定するための判断基準となる閾値を算出する際の重みとして用いられる。また、図9に示すテーブルは一例であって、例えば、車両状態または周囲状況の一方から、運転者の操作により車両1が採りうる挙動が決定できるようなテーブル構成としてもよい。
ステップS203において、挙動候補予測機能により車両1が採りうる複数の挙動を予測した後は、ステップS2の挙動候補予測処理を終了する。なお、推定した車両状態および周囲状況から、運転者の操作により車両1が採りうる複数の挙動を予測できない場合は、図3の運転支援装置10における運転支援処理を終了する。
次に、ステップS3の挙動推定処理について説明する。ステップS3では、運転支援装置10の挙動推定機能により、運転者の操作により車両1が採りうると予測される複数の挙動のうち運転者が選択する挙動が推定される。ここで、図10は、ステップS3の挙動推定処理を示すフローチャートである。図10のフローチャートに沿って、ステップS3の挙動推定処理の内容について以下に説明する。
まず、ステップS301では、視線方向検出機能により検出された一定時間分の視線方向の座標データ(X,Y)の分布の重心座標(X,Y)が算出される。
ここで、挙動推定機能による重心座標(X,Y)の算出方法について説明する。図5に示すように、視線方向検出機能により検出された視線方向の座標データは、運転者が正面と認識していると仮定される論理正面を中心とした座標系において表現される。また、上述したように、視線方向の座標データは、検出された順に一定時間分だけ運転支援装置10に備えるRAMに記憶されている。挙動推定機能は、運転支援装置10に備えるRAMに記憶された一定時間分の視線方向の座標データ(X,Y)の列から、視線方向の座標データ(X,Y)の分布の重心座標(X,Y)を下記式(1)および下記式(2)に基づいて求める。なお、挙動推定機能は、視線方向の座標データ(X,Y)の分布の重心座標(X,Y)を、所定の周期で算出する。
Figure 2010211380
Figure 2010211380
ここで、式(1)および式(2)における“n”は一定時間分の視線方向の座標データ(X,Y)の数を示している。
次に、ステップS302では、ステップS301で算出した重心座標(X,Y)に基づいて、運転者の視線方向の偏移の大きさである偏移量が算出される。ここで、重心座標(X,Y)は、挙動候補予測機能により車両1が採りうる複数の挙動が予測される前から、所定の周期で算出されている。ステップS302において、挙動推定機能は、挙動候補予測機能により車両1が採りうる複数の挙動が予測された時点において算出された重心座標(X,Y)を初期重心(X,Y)として求める。また、挙動推定機能は、初期重心(X,Y)の算出後において算出された視線方向の重心座標(X,Y)と初期重心(X,Y)との差を偏移量X,Yとして求める。
ここで、挙動推定機能による偏移量の算出方法について説明する。挙動推定機能は、初期重心(X,Y)の算出後において運転支援装置10のRAMに記憶されている一定時間分の視線方向の座標データ(X,Y)の重心座標と初期重心(X,Y)との差を偏移量X,Yとして算出する。具体的には、挙動推定機能は、下記式(3)および下記式(4)に基づいて、偏移量X,Yを算出する。
Figure 2010211380
Figure 2010211380
例えば、図4に示す場面例において、運転者が車両1を右車線に車線変更させようとする場合、運転者は実際に車両1を右車線に車線変更する前に、右方向の安全を確認する。そのため、図6に示すように、直進走行時における運転者の視線方向の分布の重心座標を初期重心(X,Y)とすると、車両1が右車線へ車線変更する前の運転者の視線方向は初期重心(X,Y)よりも右方向に分布する。すなわち、車両1が右車線へ車線変更する前における視線方向の分布の重心座標は初期重心(X,Y)の右方向に偏移する。そこで、挙動推定機能は、図6に示すように、初期重心の算出後の視線方向の分布の重心座標と初期重心(X,Y)との差を偏移量X,Yとして算出する。なお、本実施形態においては、偏移量X,Yのうち横方向(X軸方向)の偏移量Xは、初期重心(X,Y)の算出後の視線方向の分布の重心座標が初期重心(X,Y)の右方向に偏移する場合はプラスの値をとり、初期重心(X,Y)の算出後の視線方向の分布の重心座標が初期重心(X,Y)の左方向に偏移する場合はマイナスの値をとるものとする。このように、横方向(X軸方向)の偏移量Xを用いることで、運転者の視線方向に変化が少なく偏移量Xが0に近い場合は、挙動推定機能は、車両1は直進するものと推定できる。一方、運転者の視線方向が右方向に偏移し、偏移量Xがプラス方向に増加する場合は、挙動推定機能は、運転者は車両1を右方向に車線変更または右折させるものと推定できる。さらに運転者の視線方向が左方向に偏移し、偏移量Xがマイナス方向に減少する場合は、挙動推定機能は、運転者は車両1を左方向に車線変更または左折させるものと推定できる。
ステップS303では、挙動推定機能は、算出した偏移量Xと閾値t,tとを比較して、偏移量Xが所定の閾値t,tを越えたか否かを判断することで、運転者が選択する車両1の挙動を推定する。ここで、本実施形態においては、閾値tは車両1の右方向への移動を推定するために用いられるプラスの値であり、閾値tは車両1の左方向への移動を推定するために用いられるマイナスの値であるものとする。具体的には、挙動推定機能は、偏移量X,Yのうち横方向(X軸方向)の偏移量Xと閾値t,tとをそれぞれ比較して、横方向(X軸方向)の偏移量Xが右方向に対応する閾値tよりも大きい場合には、車両1は右方向に移動するものと推定し、偏移量Xが左方向に対応する閾値tよりも小さい場合には、車両1は左方向に移動するものと推定する。また、挙動推定機能は、偏移量Xがどちらの閾値t,tも越えない場合は、車両1は直進するものと推定する。
ここで、運転者が選択する車両1の挙動を推定する際の判断基準となる閾値t,tの算出方法について説明する。挙動推定機能は、右方向に対応する閾値tを下記式(5)に基づいて算出し、左方向に対応する閾値tを下記式(6)に基づいて算出する。
Figure 2010211380
Figure 2010211380
変化幅sは偏移量X,Yが採りうる変化幅であり、実験などにより決定される任意の値である。また、重みw,wは、推定した車両状態および周囲状況において運転者により選択される車両1の挙動に対応しており、推定した車両状態および周囲状況おいて運転者に選択される可能性に応じて設定される値である。すなわち、右方向に対応する重みwは、推定した車両状態および周囲状況において、運転者が右方向への移動を選択する可能性に応じて設定され、左方向に対応する重みwは、推定した車両状態および周囲状況において、運転者が左方向への移動を選択する可能性に応じて設定される。なお、重みw,wは、図9に示すテーブルに設定されているため、挙動推定機能は、ステップS2において取得した場面情報を参照して、重みw,wを取得することができる。
上記式(5),(6)に示すように、右方向に対応する閾値tと左方向に対応する閾値tとは、重みw,wを考慮しなければ、絶対値において同じ値となるように設定されているため、選択可能性に応じた重みw,wを用いて閾値t,tを算出することで、選択可能性に応じた車両1の挙動を推定することができる。これにより、推定した車両状態および周囲状況おいて選択される可能性の低い挙動が、運転者により誤って選択されることを軽減することができる。
ここで、図11は、運転者が車両1を右車線に変更させる場面例における横方向(X軸方向)の偏移量Xの時系列変化の一例を示す図である。図11に示すように、挙動推定機能により、初期重心(X,Y)を算出した時刻T1から所定の周期で偏移量Xが算出される。図11に示す場面例においては、運転者は車両1を右車線に車線変更させようとしており、時間の経過とともに、偏移量Xはプラス方向(右方向)に増加している。そして、時刻T2において、偏移量Xが右方向に対応する閾値tを超えたことが検出される。これにより、挙動推定機能は、運転者が選択する車両1の挙動は右車線への車線変更であると推定する。
このように、挙動推定機能により運転者が選択する車両1の挙動を推定する際に、偏移量Xを用いることにより、視線方向の移動が少ない運転者の選択行動の早期においても、運転者が選択する車両1の挙動を推定することができる。例えば、従来は、運転者の視線方向が所定の視線方向領域から逸脱し、かつ、その逸脱状態が所定の時間以上継続した時刻(本発明における偏移量Xの変化(絶対値)が大きくなる時刻)でなければ運転者の操作による車両1の挙動を推定することができなかったが、本実施形態によれば、図11に示すように、偏移量Xの変化(絶対値)が比較的小さい時刻T2において、運転者の操作による車両1の挙動を推定することができる。
なお、たとえ、挙動推定機能が、図11に示すように、運転者が選択する車両1の挙動を時刻T2のように早期に推定できない場合であっても、通常、運転者は車線変更を行う直前に車線変更を行う方向を確認するため、挙動推定機能は、運転者の操作により車両1が右車線に車線変更する時刻T4の前(例えば、約0.5秒前から約1秒前)の時刻T3において、運転者が選択する車両1の挙動を推定することができる。
また、挙動候補予測機能により車両1が採りうると予測されなかった挙動、すなわち、場面情報において選択される可能施に応じた値が0に設定された挙動については、ステップS303において判断されない。
ステップS303において、挙動推定機能により運転者が選択する車両1の挙動を推定した後は、運転支援装置10は、推定した車両1の挙動情報を車両コントローラ40に送信し、運転支援装置10における運転支援処理を終了する。
このように推定した車両1の挙動情報を用いることにより、運転支援装置10は、車両コントローラ40を介して、運転者の操作に備えた準備動作を行うように車両1を制御し、または運転者に情報を早期に提示することで、運転者の運転を支援することができる。例えば、推定した車両1の挙動から車両1が右車線に車線変更するものと予測した場合、運転支援装置10から挙動情報を取得した車両コントローラ40は、図4に示すように、車両1の右後方から接近する他の車両を検出するように車両周囲の障害物を検出する検出装置を制御し、または運転者の死角を補助するためのモニタにより運転者の死角を自動に表示することにより、運転者に右後方から接近する他の車両の存在を認識させることができる。
加えて、例えば、推定した車両1の挙動から運転者のブレーキ操作が予測される場面では、運転支援装置10から挙動情報を取得した車両コントローラ40は、運転者のブレーキ操作に前もって、ブレーキ液圧を上昇させておくことで、運転者のブレーキ操作を支援することができる。また、推定した車両1の挙動から運転者のステアリング操作が予測される場面では、運転支援装置10から挙動情報を取得した車両コントローラ40は、運転者のステアリング操作に前もって、サスペンションを車両1が曲がる方向に応じて変化させることで、運転者のステアリング操作を支援することができる。
次に、第1実施形態に係る運転支援装置10における運転支援処理を、図12に示すように、ビゲーション装置50から左折指示の経路案内情報が提示された状況において、本来の経路の手前または奥に運転者に誤って選択される可能性のある左折方向の経路(脇道)がない場面例(脇道なし)を想定して説明する。図12は、経路案内左折指示(脇道なし)の場面例において、ナビゲーション装置50に備えるディスプレイに表示される経路案内情報の概略図である。
まず、ステップS1では、上述した場面例と同様に、視線方向検出機能により、運転者の視線方向の座標データが検出される。検出された座標データは運転支援装置10に備えるRAMに記憶される。
次に、ステップS2の挙動候補予測処理では、挙動候補予測機能により車両1が採りうる複数の挙動が予測される。まず、ステップS201では、車両コントローラ40から取得した車速、操舵角などの車両情報に基づいて、車両1が直進状態であると推定される。
次に、ステップS202では、挙動候補予測機能により、ナビゲーション装置50から送信された「この先の道路を左折」との左折指示の経路案内情報が取得される。左折指示の経路案内情報を取得した場合、挙動候補予測機能は、同じくナビゲーション装置50から取得した自車位置情報、地図情報、および道路情報に基づいて、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)が存在するかを推定する。図12に示す場面例においては、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)は存在しないため、挙動候補予測機能は、自車位置情報、地図情報、および道路情報に基づいて、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)はないと推定する。なお、挙動候補予測機能により本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)が存在するかを推定する際には、適宜設定した閾値などを用いて判断すればよく、例えば、本来の誘導経路から所定の範囲内において他の脇道があるかなどを判断することで、運転者に誤って選択される可能性のある経路(脇道)が存在するかを推定してよい。
図12に示す場面例においては、車両1が直進しており、かつ本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)がないものと推定されている。そこで、ステップS203において、挙動候補予測機能は、図9に示すテーブルを参照して、車両状態「直進」、周囲状況「経路案内左折指示(脇道なし)」における場面情報、すなわち、運転者により左方向への移動が選択される可能性に応じた値「0.7」と、運転者により右方向への移動が選択される可能性に応じた値「0.1」とを取得する。これにより、挙動候補予測機能は、運転者の操作により車両1は左折するか、右折するか、または直進するかの3つの挙動のいずれかを採りうると予測する。
次に、ステップS3の挙動推定処理では、上述した図6に示す場面例と同様に、運転支援装置10の挙動推定機能は、運転者の視線方向に基づいて偏移量Xを求め、算出した偏移量Xと閾値t,tとを比較して、運転者が選択する車両1の挙動を推定する。
図12に示す場面例のように、ナビゲーション装置50から左折指示の経路案内情報が提示された状況において、運転者の操作により車両1が右折する可能性は低いため、上述したように、右方向への移動(右折)に対応する重みwは「0.1」と低く設定されている。そのため、運転者が車両1を右折させると推定するための閾値tは小さな値として算出される。その結果、運転者により選択される可能性の低い車両1の右折を、右方向への運転者の視線方向の小さな偏移で推定することができるため、推定結果に基づく運転支援を早期に行うことができる。その結果、運転者により可能性の低い車両1の右折が誤って選択されることを軽減することができる。このように、運転者の操作により車両1が採りうる挙動に、運転者により選択される可能性に応じた重みを設定することで、運転者が選択する車両1の挙動を適切に推定することができる。
例えば、図12に示す場面例のようにナビゲーション装置50により左折指示の経路案内情報が提示されている状況において、推定した車両1の挙動から車両1の右折を予測した場合には、運転支援装置10から挙動情報を取得した車両コントローラ40は、再度、左折指示の経路案内情報を提示するように提示装置(不図示)を制御する。これにより、運転支援装置10は、運転者に左折指示の経路案内情報を認識させることができる。
次に、第1実施形態に係る運転支援装置10における運転支援処理を、図13に示すように、ナビゲーション装置50から左折指示の経路案内情報が提示された状況において、図12に示す場面例とは異なり、本来の経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)がある場面例(脇道あり)を想定して説明する。図13は、経路案内左折指示(脇道あり)の場面例において、ナビゲーション装置50に備えるディスプレイに表示される経路案内情報の概略図である。
まず、ステップS1では、上述した場面例と同様に、運転支援装置10の視線方向検出機能は、運転者の視線方向の座標データを検出し、検出した座標データを運転支援装置10に備えるRAMに記憶する。
次に、ステップS201では、上述した図12に示す左折指示経路案内(脇道なし)の場面例と同様に、運転支援装置10の挙動候補予測機能は、車両コントローラ40から取得した車速、操舵角などの車両情報に基づいて、車両1は直進状態であると推定する。
次に、ステップS202において、挙動候補予測機能により、ナビゲーション装置50から送信された「この先の道路を左折」との左折指示の経路案内情報が取得される。左折指示の経路案内情報が取得された場合、挙動候補予測機能は、同じくナビゲーション装置50から取得した自車位置情報、地図情報、および道路情報に基づいて、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)が存在するかを推定する。ここで、図13に示す場面例においては、本来の誘導経路の手前に、運転者に誤って選択される可能性のある経路(脇道)が存在するため、挙動候補予測機能は、自車位置情報、地図情報、および道路情報に基づいて、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)があると推定する。
図13に示す場面例においては、車両1が直進しており、かつ、本来の誘導経路の手前または奥に運転者に誤って選択される可能性のある経路(脇道)があると推定されている。そこで、ステップS203において、挙動候補予測機能は、図9に示すテーブルを参照して、車両状態「直進」、周囲状況「経路案内左折指示(脇道あり)」における場面情報、すなわち、運転者により左方向への移動が選択される可能性に応じた値「0.5」と、運転者により右方向への移動が選択される可能性に応じた値「0.1」とを取得する。これにより、挙動候補予測機能は、運転者の操作により車両1は左折するか、右折するか、または直進するかの3つの挙動のいずれかを採りうると予測する。
ここで、ナビゲーション装置50から左折指示の経路案内情報が提示された状況において、運転者に誤って選択される可能性のある経路(脇道)がある場合は、運転者に誤って選択される可能性のある経路(脇道)がない場合と比べて、運転者の操作により車両1が本来の誘導経路を左折する可能性は低くなる。そのため、図9に示すように、車両状態が「直進」であり、周囲状況が「左折指示経路案内(脇道あり)」の場合は、左折指示経路案内(脇道なし)の場合と比べて、左方向への移動(左折)に対応する重みwは「0.5」と低く設定され、運転者が車両1を左折させると推定するための閾値tも、左折指示経路案内(脇道なし)の場合と比べて、小さな値として算出される。その結果、左折指示経路案内(脇道あり)の場合では、左折指示経路案内(脇道なし)の場合と比べて、運転者の操作による車両1の左折を、運転者の視線方向の比較的小さな偏移で推定することができるため、推定結果に基づく運転支援を早期に行うことができる。これにより、運転者が本来の誘導経路とは異なる経路(脇道)を誤って選択することを軽減することができる。
ステップS3の挙動推定処理においては、上述した場面例と同様に、挙動推定機能が、運転者の視線方向に基づいて偏移量Xを求め、算出した偏移量Xと閾値t,tとを比較して、運転者が選択する車両1の挙動を推定する。
例えば、図13に示す場面例のように、ナビゲーション装置50により一つ先の交差点を左折するよう経路案内情報が提示されている状況において、推定した車両1の挙動から車両1が手前の交差点を左折すると予測した場合には、運転支援装置10から挙動情報を取得した車両コントローラ40は、「もう少し先の交差点を左折してください。」などの音声ガイダンスを行うように提示装置(不図示)を制御する。これにより、運転支援装置10は、運転者が誘導経路を移動するように運転者の運転を支援することができる。
なお、図13に示す場面例において、ステップS202において周囲状況を推定する際に、本来の誘導経路の手前のみに、運転者に誤って選択される可能性のある経路(脇道)があるかを推定するようにしてもよい。この場合、車両1が運転者に誤って選択される可能性のある経路(脇道)よりも手前を走行している時点においては、ステップS202において、本来の誘導経路の手前に運転者に誤って選択される可能性のある経路(脇道)があると推定されるため、ステップS203においては、車両状態「直進」、周囲状況「経路案内左折指示(脇道あり)」における場面情報、すなわち、運転者により左方向への移動が選択される可能性に応じた値「0.5」と、運転者により右方向への移動が選択される可能性に応じた値「0.1」とが取得される。一方、車両1が運転者に誤って選択される可能性のある経路(脇道)を越えた時点(図13の本来の誘導経路の手前であって、運転者に誤って選択される可能性のある脇道の奥の位置を走行している時点)においては、ステップS202において、本来の誘導経路の手前に運転者に誤って選択される可能性のある経路(脇道)がないと推定されるため、ステップS203においては、車両状態「直進」、周囲状況「経路案内左折指示(脇道なし)」における場面情報、すなわち、運転者により左方向への移動が選択される可能性に応じた値「0.7」と、運転者により右方向への移動が選択される可能性に応じた値「0.1」とが取得される。
以上のように、第1実施形態においては、運転者の視線方向の偏移に基づいて運転者が選択する挙動を推定するため、運転者の視線方向の小さな変化を検出するができ、運転者が車両1の挙動を選択する一連の行動のうち、視線方向の移動が小さい早期において車両1の挙動を推定することができる。特に、第1実施形態では、推定した車両状態・周囲状況において運転者の操作により車両1が採りうる複数の挙動を予測し、予測した複数の挙動のうち運転者が選択する車両1の挙動を推定する。そのため、運転者の選択が必要とされる場面、特に、運転者が判断に迷うような場面を特定して、運転者が選択する車両1の挙動を推定することができるため、運転者の視線方向の小さな移動に基づいて運転者が選択する車両1の挙動を推定する場合にも、車両1の挙動を適切に推定することができる。
加えて、本実施形態によれば、車両状態および周囲状況ごとの運転者の操作により車両1が採りうると予測される複数の挙動それぞれに、各挙動が選択される可能性に応じた重みが設定されており、運転者が選択する車両1の挙動を推定するための閾値を各挙動に設定された重みを用いて算出する。特に、本実施形態によれば、選択される可能性の低い挙動に対応する重みは小さい値に設定されている。そのため、運転者の視線方向の偏移が少ない早期においても、選択される可能性の低い車両1の挙動を推定することができ、推定した挙動に応じた車両1の制御や情報提示を早期に行える。この結果、選択される可能性の低い挙動が、運転者により誤って選択されることを減らすことができる。
なお、本実施形態においては、横方向(X軸方向)の偏移量Xのみを用いて、運転者が選択する車両1の挙動を推定しているが、横方向(X軸方向)の偏移量Xに加え縦方向(Y軸方向)の偏移量Yをも用いて、運転者が選択する車両1の挙動を推定してもよい。具体的には、挙動推定機能は、偏移量lと角度θとを下記式(7),(8)に基づいて求める。
Figure 2010211380
Figure 2010211380
ここで、算出される偏移量lは正の値となるため、挙動推定機能は、角度θを用いて、算出された偏移量lが何れの方向を示しているかを区別する。例えば、角度θが−45°〜+45°である場合には右方向、角度θが+45°〜+135°である場合には上方向、角度θが+135°〜―135°である場合には左方向、角度θが−135°〜−45°である場合には下方向への偏移を示していると判断する。
また、この場合、挙動推定機能は、閾値t,tを下記式に基づいて算出する。
Figure 2010211380
Figure 2010211380
ここで、変化幅lは、偏移量lが採りうる変化幅であり、実験などにより設定される任意の値である。これにより、挙動推定機能は、算出した角度θが−45°〜+45°までの角度である場合には、偏移量lと右方向に対応する閾値tとを比較して、偏移量lが閾値tを超える場合には、車両1が右車線に車線変更するものと推定する。同様に、挙動推定機能は、算出した角度θが+135°〜―135°までの角度である場合には、偏移量lと左方向に対応する閾値tとを比較して、偏移量lが閾値tを超えた場合には、車両1が左車線に車線変更するものと推定する。
≪第2実施形態≫
続いて、第2実施形態について説明する。第2実施形態では、図1に示す第1実施形態と同様の車両1において、以下に説明するとおり、図14に示すフローチャートに従って運転支援装置10における運転支援処理を行う。ここで、図14は、第2実施形態に係る運転支援装置10における運転支援処理を示すフローチャートである。以下においては、運転者Aが、第1実施形態と同様に、車両1が先行車両と接近しており、かつ車両1が片側3車線の道路の第2通行帯(中央走行車線)を走行している図4に示す場面例を想定して説明する。なお、第2実施形態に係る運転支援処理も、第1実施形態と同様に、運転支援装置10により実行される。
まず、ステップS10では、第1実施形態のステップS1と同様に、視線方向検出機能により、運転者の視線方向が検出される。
また、ステップS20では、第1実施形態のステップS2と同様に、運転支援装置10の挙動候補予測機能により、車両状態および周囲状況が推定され、推定された車両状態および周囲状況において、運転者の操作により車両1が採りうる複数の挙動が予測される。
次に、ステップS21では、運転支援装置10の運転者識別機能により、カメラ30から送信された画像情報に基づいて、運転者が識別される。本実施形態においては、運転者識別機能により、運転者が、運転者Aであると識別される。
次に、ステップS30の挙動推定処理について説明する。ステップS30では、運転者の視線方向の座標データに加えて、識別した運転者の運転者情報および後述する挙動割合に基づいて、運転者の操作により車両1が採りうると予測された複数の挙動のうち運転者が選択する挙動が推定される。ここで、図15は、第2実施形態に係るステップS30の挙動推定処理を示すフローチャートである。図15のフローチャートに沿って、ステップS30の挙動推定処理の内容について以下に説明する。
まず、ステップS311では、第1実施形態のステップS301と同様に、挙動推定機能により、視線方向検出機能により検出された一定時間分の視線方向の座標データ(X,Y)の分布の重心座標(X,Y)が算出される。
そして、ステップS312では、第1実施形態のステップS302と同様に、挙動候補予測機能により複数の挙動が予測された時点の重心座標(X,Y)が初期重心(X,Y)として算出される。また、初期重心(X,Y)の算出後においては、初期重心算出後の視線方向の座標データの重心座標と初期重心(X,Y)との差が偏移量X,Yとして求められる。
次に、ステップS313では、挙動推定機能により、算出した偏移量Xと閾値t,tとが比較され、運転者が選択する車両1の挙動が推定される。ただし、第2実施形態においては、第1実施形態とは異なり、挙動推定機能は、下記式(11),(12)に基づいて閾値t,tを算出する。
Figure 2010211380
Figure 2010211380
ここで、挙動割合p,pは、運転者により選択される車両1の挙動に対応しており、推定した車両状態および周囲状況において、識別された運転者が過去に選択した車両1の挙動の割合に応じて算出される値である。
ここで、挙動割合p,pの算出方法を、図16に示すフローチャートに沿って説明する。図16は、挙動割合算出処理を示すフローチャートである。なお、挙動割合算出処理は、図14に示す運転支援装置10による運転支援処理とは別に、運転者により車両1の挙動が選択されたタイミングで行われる。
図16に示すように、ステップS40では、運転支援装置10の運転履歴学習機能は、場面情報、車両情報、および周囲情報に基づいて、推定した車両状態および周囲状況において運転者が選択した車両1の挙動を判断し、車両状態および周囲状況ごとの運転者の選択結果を運転履歴として取得する。具体的には、運転履歴学習機能は、車両コントローラ40から取得した方向指示器の点灯信号、ステアリング操作による操舵角、またはブレーキ信号などの車両情報や、ナビゲーション装置50から取得した車両1の位置情報や車両進行方向などの周囲情報に基づいて、運転者が選択した車両1の挙動を判断する。例えば、運転者が車両1を車線変更する場合、一般的に、運転者による方向指示器の操作に続いてステアリングの操作が行われるため、この一連の操作をパターンとして認識することで、車両1が車線変更したか否かを判断してもよい。また、ナビゲーション装置50から取得した道路情報および車両1の進行方向に基づいて、車両1が右左折したのかそれとも車線変更したのかを判断してもよい。
次に、ステップS50において、運転履歴学習機能は、ステップS40で取得した運転履歴を、ステップS20で識別した運転者の運転者情報と関連付けて運転支援装置10のRAMに記憶する。なお、運転履歴学習機能は、運転者が車両1の挙動を選択した際の偏移量Xを運転履歴と関連させて記憶してもよい。これにより、例えば、後述する挙動割合の算出の際に、運転者が車両1の挙動を選択した際の偏移量Xを加味した挙動割合を算出することができる。
さらに、ステップS50において、運転履歴学習機能は、ステップS40で取得した運転履歴を含む過去の運転履歴を集計して、推定した車両状態および周囲状況において、識別した運転者が過去に選択した各挙動の割合を算出する。ここで、図17は、第2実施形態に係る場面情報を記録したテーブルの一例を示す図である。運転履歴学習機能は、算出した挙動割合p,pを基本の重みw,wにそれぞれ乗じ、運転者ごとの挙動割合p,pを考慮した重みw,wを図17のテーブルに設定する。これにより、ステップS313において、図17に示すテーブルを参照することにより、重みw,wおよび挙動割合p,pを取得することができる。なお、挙動割合p,pは、所定の車両状態および周囲状況において、所定の運転者が選択した挙動の割合であるため、図17に示すテーブルでは、挙動割合p,pを考慮した重みw,wは、車両状態・周囲状況ごと、および運転者ごとに設定されている。
例えば、識別された運転者Aが運転する車両1が、先行車両と接近した状態で、片側3車線の道路の第2通行帯(中央走行車線)を走行している図4に示す場面例では、運転履歴学習機能は、車両1が先行車両との接近状態であり、かつ、車両1が片側3車線の道路の第2通行帯(中央走行車線)を走行している状況において、運転者Aが過去に選択した各挙動の運転履歴を集計して挙動割合p,pを算出する。そして、挙動推定機能は、車両状態「先行車両と接近」かつ周囲状況「片側3車線、第2通行帯」の基本の重みw,wに挙動割合p,pを乗じた重みw,wを図17のテーブルに設定する。ここで、車両状態「先行車両と接近」かつ周囲状況「片側3車線、第2通行帯」において、運転者Aが車両1を右車線に車線変更した回数が、車両1を左車線に車線変更した回数よりも多い場合は、右方向に対応する挙動割合pは、左方向に対応する挙動割合pより大きい値として算出される。これにより、図17のテーブルでは、右方向に対応する重み(w)は、例えば、基本の重みw「0.5」よりも大きい「0.8」に設定され、一方、左方向に対応する重み(w)は、基本の重みw「0.5」よりも小さい「0.2」に設定されている。
なお、本実施形態のように、運転者が選択した挙動の割合p,pに基づいて閾値t,tを算出する場合、運転者が過去に選択した車両1の挙動の情報がある程度蓄積されていないと、閾値t,tが適切に運転者の傾向を反映できない場合があり、このような閾値に基づいて運転支援を行うと運転者に違和感を与える場合がある。そこで、運転履歴が所定数以上蓄積されるまでは、挙動割合p,pを1に設定するのが好適である。これにより、運転履歴が所定数以上蓄積されるまでは、挙動割合p,pが閾値t,tに反映されず、少なくとも第1実施形態と同様の効果を奏することができる。
ステップS313で運転者が選択する車両1の挙動を推定した後は、運転支援装置10による運転支援処理を終了する。運転支援装置10は、第1実施形態と同様に、推定した車両1の挙動情報を車両コントローラ40に送信し、挙動情報を取得した車両コントローラ40は、運転者の操作に備えた準備動作を行うように車両1を制御し、または運転者に情報を早期に提示することで、運転者の運転を支援する。また、本実施形態においては、運転者識別機能により識別された運転者の運転者情報を用いることで、運転者が設定したタイミング、頻度、または方法で、推定した車両1の挙動に基づく情報を提示できる。
以上のように、第2実施形態においては、挙動推定機能は、運転者ごとの運転履歴、すなわち、推定された車両状態および周囲状況において各運転者が過去に選択した挙動の割合p,pを加味した重み(w,w)を用いて閾値t,tを算出する。そして、算出した閾値t,tと横方向(X軸方向)の偏移量Xとを比較し、偏移量Xが閾値t,tのどちらかを超える場合は、超えた閾値に対応する方向に車両1が移動するものと推定し、また、偏移量Xが閾値t,tを超えない場合には、車両1は直進すると推定する。このように、第2実施形態では、重みw,wに加えて、推定された車両状態および周囲状況において識別された運転者が過去に選択した挙動の割合p,pに基づいて閾値t,tを算出することにより、運転者の視線方向の偏移が少ない早期においても、運転者が過去に選択した割合の低い車両1の挙動を推定することができ、推定した挙動に応じた車両1の制御や情報提示を早期に行える。この結果、識別された運転者が過去に選択した割合の低い挙動が、運転者により誤って選択されることを減らすことができる。このように、第2実施形態においては、第1実施形態の効果に加え、運転者の傾向に合わせて、運転者が選択する車両1の挙動を適切に推定することができる。
以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
すなわち、本発明は、上述した実施形態に限られず、また、以上で説明した実施形態を組み合わせてもよい。
例えば、第2実施形態においては、推定した車両状態および周囲状況において運転者が過去に選択した挙動の割合p,pを求めたが、これに限らず、運転者を識別せずに車両1を運転した運転者の運転履歴に基づいて挙動割合p,pを求めてもよい。また、運転者が挙動割合p,pを設定できるようにしてもよい。
なお、上述した実施形態の視線方向検出機能は本発明の視線方向検出手段に、車両コントローラ40およびナビゲーション装置50は本発明の周囲情報取得手段に、挙動候補予測機能は本発明の挙動候補予測手段に、挙動推定機能は本発明の挙動推定手段に、運転者識別機能は本発明の運転者識別手段に、運転履歴学習機能は本発明の記憶手段にそれぞれ相当する。
1…車両
10…運転支援装置
20…赤外線照明
30…カメラ
40…車両コントローラ
50…ナビゲーション装置

Claims (8)

  1. 運転者の視線方向を検出する視線方向検出手段と、
    車両周囲の情報を取得する周囲情報取得手段と、
    前記車両周囲の情報に基づいて、運転者の操作により前記車両が採りうる複数の挙動を予測する挙動候補予測手段と、
    前記視線方向検出手段により検出された前記運転者の視線方向に基づいて、前記挙動候補予測手段により予測された前記複数の挙動のうちから運転者が選択する挙動を推定する挙動推定手段と、を有することを特徴とする運転支援装置。
  2. 請求項1に記載の運転支援装置であって、
    前記挙動推定手段は、前記運転者の視線方向の分布に基づいて算出した前記運転者の視線方向の偏移量に基づいて、予測した前記複数の挙動のうちから運転者が選択する挙動を推定することを特徴とする運転支援装置。
  3. 請求項2に記載の運転支援装置であって、
    前記挙動推定手段は、所定の時間において検出した前記運転者の視線方向の分布の重心を初期重心として算出し、前記初期重心と前記運転者の視線方向の分布の重心との差を前記偏移量として算出することを特徴とする運転支援装置。
  4. 請求項2または3に記載の運転支援装置であって、
    前記挙動推定手段は、前記偏移量が、前記予測された複数の挙動のうち所定の挙動に対応する閾値を越えるかを判断することにより、運転者が選択する挙動を推定することを特徴とする運転支援装置。
  5. 請求項4に記載の運転支援装置であって、
    前記所定の挙動に対応する閾値は、該挙動の選択可能性に応じて設定されることを特徴とする運転支援装置。
  6. 請求項4または5に記載の運転支援装置であって、
    運転者を識別する運転者識別手段をさらに有し、
    前記所定の挙動に対応する閾値は、前記運転者識別手段により識別した運転者に応じて設定されることを特徴とする運転支援装置。
  7. 請求項6に記載の運転支援装置であって、
    運転者の運転履歴を運転者ごとに記憶する記憶手段をさらに有し、
    前記所定の挙動に対応する閾値は、前記記憶手段により記憶した前記運転者の運転履歴に基づいて、設定されることを特徴とする運転支援装置。
  8. 車両周囲の情報に基づいて、運転者の操作により車両が採りうる挙動を複数予測し、運転者の視線方向に基づいて、予測された前記複数の挙動のうちから運転者が選択する挙動を推定することを特徴とする運転支援方法。
JP2009054994A 2009-03-09 2009-03-09 運転支援装置 Active JP5577609B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009054994A JP5577609B2 (ja) 2009-03-09 2009-03-09 運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009054994A JP5577609B2 (ja) 2009-03-09 2009-03-09 運転支援装置

Publications (2)

Publication Number Publication Date
JP2010211380A true JP2010211380A (ja) 2010-09-24
JP5577609B2 JP5577609B2 (ja) 2014-08-27

Family

ID=42971498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009054994A Active JP5577609B2 (ja) 2009-03-09 2009-03-09 運転支援装置

Country Status (1)

Country Link
JP (1) JP5577609B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016170785A1 (ja) * 2015-04-21 2016-10-27 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2016216028A (ja) * 2015-04-21 2016-12-22 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
JP2018097804A (ja) * 2016-12-16 2018-06-21 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
WO2018155266A1 (ja) * 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、プログラムと記録媒体
WO2018155265A1 (ja) * 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、プログラムと記録媒体
US10759446B2 (en) 2015-04-21 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
GB2582548A (en) * 2019-03-19 2020-09-30 Jaguar Land Rover Ltd Vehicle control system and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075198A (ja) * 1998-08-31 2000-03-14 Canon Inc 視線検出機能付き装置
JP2002331850A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
JP2002331849A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
JP2006029822A (ja) * 2004-07-12 2006-02-02 Denso Corp 経路案内装置
JP2006043429A (ja) * 2004-06-28 2006-02-16 Nissan Motor Co Ltd 視認負荷判断装置
JP2008243031A (ja) * 2007-03-28 2008-10-09 Toyota Central R&D Labs Inc 漫然運転判定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075198A (ja) * 1998-08-31 2000-03-14 Canon Inc 視線検出機能付き装置
JP2002331850A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
JP2002331849A (ja) * 2001-05-07 2002-11-19 Nissan Motor Co Ltd 運転行動意図検出装置
JP2006043429A (ja) * 2004-06-28 2006-02-16 Nissan Motor Co Ltd 視認負荷判断装置
JP2006029822A (ja) * 2004-07-12 2006-02-02 Denso Corp 経路案内装置
JP2008243031A (ja) * 2007-03-28 2008-10-09 Toyota Central R&D Labs Inc 漫然運転判定装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10759446B2 (en) 2015-04-21 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
JP2016216027A (ja) * 2015-04-21 2016-12-22 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
US11072343B2 (en) 2015-04-21 2021-07-27 Panasonic Intellectual Property Management Co., Ltd. Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
US10252726B2 (en) 2015-04-21 2019-04-09 Panasonic Intellectual Property Management Co., Ltd. Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
JP2017138953A (ja) * 2015-04-21 2017-08-10 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2017138952A (ja) * 2015-04-21 2017-08-10 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
EP3272610A4 (en) * 2015-04-21 2018-06-20 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
US10919540B2 (en) 2015-04-21 2021-02-16 Panasonic Intellectual Property Management Co., Ltd. Driving assistance method, and driving assistance device, driving control device, vehicle, and recording medium using said method
US10793165B2 (en) 2015-04-21 2020-10-06 Panasonic Intellectual Property Management Co., Ltd. Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
JP2016216028A (ja) * 2015-04-21 2016-12-22 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
JP6052530B1 (ja) * 2015-04-21 2016-12-27 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
US10627813B2 (en) 2015-04-21 2020-04-21 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
WO2016170785A1 (ja) * 2015-04-21 2016-10-27 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2018097804A (ja) * 2016-12-16 2018-06-21 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
WO2018155265A1 (ja) * 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、プログラムと記録媒体
WO2018155266A1 (ja) * 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、プログラムと記録媒体
GB2582548A (en) * 2019-03-19 2020-09-30 Jaguar Land Rover Ltd Vehicle control system and method
GB2582548B (en) * 2019-03-19 2021-10-13 Jaguar Land Rover Ltd Vehicle control system and method

Also Published As

Publication number Publication date
JP5577609B2 (ja) 2014-08-27

Similar Documents

Publication Publication Date Title
US20240132154A1 (en) Road profile along a predicted path
US10810446B2 (en) Parking space line detection method and device
RU2734643C1 (ru) Способ помощи при парковке для устройства помощи при парковке и устройство помощи при парковке
CN108140319B (zh) 停车辅助方法及停车辅助装置
JP5577609B2 (ja) 運転支援装置
US10198950B2 (en) Parking support method and parking support device
KR101328363B1 (ko) 차선 일탈 방지 지원 장치, 구분선 표시 방법, 프로그램
EP2759999B1 (en) Apparatus for monitoring surroundings of vehicle
JP5718942B2 (ja) 輸送手段の安全な運転を補助する装置及び方法
JP4774849B2 (ja) 車両の障害物表示装置
CN103874931B (zh) 用于求取车辆的环境中的对象的位置的方法和设备
JP7120260B2 (ja) 車両制御装置
JP2009083764A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
KR20140075505A (ko) 주차 지원 제어 장치 및 방법
JPWO2014024336A1 (ja) 物体検出装置及び運転支援装置
JP2005202678A (ja) 走行支援装置
JP2008123462A (ja) 物体検知装置
US20180037162A1 (en) Driver assistance system
JP2011240813A (ja) 車両用ディスプレイ装置及び車両用ディスプレイ方法
JP2009231938A (ja) 車両用周囲監視装置
JP2018048949A (ja) 物体識別装置
JP2005135025A (ja) 衝突可能性判定装置
JP2017073008A (ja) 車両用運転支援システムおよび運転支援方法
JP2019064317A (ja) 車両用表示装置
JP2009276906A (ja) 走行情報提供装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140623

R151 Written notification of patent or utility model registration

Ref document number: 5577609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151