JP2018097515A - 運転支援装置、運転支援方法、およびプログラム - Google Patents

運転支援装置、運転支援方法、およびプログラム Download PDF

Info

Publication number
JP2018097515A
JP2018097515A JP2016240313A JP2016240313A JP2018097515A JP 2018097515 A JP2018097515 A JP 2018097515A JP 2016240313 A JP2016240313 A JP 2016240313A JP 2016240313 A JP2016240313 A JP 2016240313A JP 2018097515 A JP2018097515 A JP 2018097515A
Authority
JP
Japan
Prior art keywords
driver
sight
line
driving
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016240313A
Other languages
English (en)
Inventor
伸洋 水野
Nobuhiro Mizuno
伸洋 水野
顕 吉澤
Akira Yoshizawa
顕 吉澤
石川 貴洋
Takahiro Ishikawa
貴洋 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Denso IT Laboratory Inc
Original Assignee
Denso Corp
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Denso IT Laboratory Inc filed Critical Denso Corp
Priority to JP2016240313A priority Critical patent/JP2018097515A/ja
Publication of JP2018097515A publication Critical patent/JP2018097515A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ドライバが適切に周辺監視を行っているかどうかを判定する装置を提供する。【解決手段】運転支援装置1は、ドライバの視線を検知する視線検知部13と、車両の走行状態に関する車両情報を車両機器20から取得する車両情報取得部10と、車両周辺を撮影する外部カメラ21と、車両情報取得部10で取得した車両情報と外部カメラ21の映像から取得した周辺情報とに基づいて運転シーンを判定する運転シーン判定部14と、周辺監視を正しく行っていると判定するための条件を運転シーンごとに記憶した判定条件DB19と、運転シーン判定部14にて判定された運転シーンに対応する条件を判定条件DB19から読み出し、視線検知部13にて検知した視線の動きが条件を満たすかどうかを判定する周辺監視判定部16と、周辺監視判定部16による判定結果に基づく出力を行う警報部17とを備える。【選択図】図1

Description

本発明は、車両の運転時におけるドライバの周辺監視状態を判断する技術に関する。
ドライバの運転を支援する上で、運転中に、ドライバが周辺の状況を適切に監視しているどうかを判定することが有用である。特許文献1〜3は、ドライバが漫然と運転していないかどうかを判定する発明を提案している。
特許文献1には、視線検出センサによりドライバの視線方向を検出し、視線の移動距離、視線の停留点等に基づいて、ドライバが漫然と運転しているかどうかを判定する発明を開示している。また、特許文献1は、車速や走行路等の走行環境に応じて判定の閾値を変更することを開示している。
特許文献2は、視線方向検知部によりドライバの視線方向を検知し、視線方向が所定の範囲内に向かっているかどうかにより脇見の判定をする発明を開示している。また、特許文献2は、車速や混雑度によって所定範囲を変更することを開示している。
特許文献3は、注視対象領域に対する注視状況の推定結果がどれだけ信頼できるものであるかを把握する発明を記載している。また、特許文献3に、運転シーンに応じてドライバの適切な視認行動に応じて評価内容をあらかじめ定めておき、運転シーンに応じた評価内容を決定することが記載されている。
特開平8−178712号公報 特開2012−22504号公報 特開2015−127937号公報
上記した従来技術においては、いずれも、ドライバの視線の動きが少ないことや、所定の範囲内に入っていないことを捉えて、漫然と運転している、あるいは、注視行動がとられていないと判定している。すなわち、特許文献1では、視線の移動距離が小さい、視線方向の最大角度が小さい、左右領域における停留点数と中央領域における停留点数の割合が所定の閾値より小さいといった基準で、漫然運転かどうかを判定している。
特許文献2では、ドライバの視線が前方の所定範囲に向かっているかどうかで脇見運転をしているかどうかを判定している。特許文献3では、評価内容として、関心エリア設定領域と判定時間とを有し、漫然と運転しているかどうかを判定している。
しかし、視線の移動距離や視線方向の角度を、所定の時間内における平均値等で評価する上記のような方法だと、適切なタイミングで適切な方向を注視したかどうかを判断することは難しい。例えば、視線の移動距離が大きい場合であっても、必ずしも周囲に注意を払って視線を動かしているとは限らず、単に、外の景色に気を取られただけの可能性もある。
そこで、本発明は、ドライバが適切に周辺監視を行っているかどうかを判定する装置を提供することを目的とする。
本発明の運転支援装置は、ドライバの視線を検知する視線検知部と、車両の走行状態に関する車両情報を車両機器から取得する車両情報取得部と、前記車両情報に基づいて運転シーンを判定する運転シーン判定部と、周辺監視を正しく行っていると判定するための条件を前記運転シーンごとに記憶した条件記憶部と、前記運転シーン判定部にて判定された運転シーンに対応する条件を前記条件記憶部から読み出し、前記視線検知部にて検知した視線の動きが前記条件を満たすかどうかを判定する周辺監視判定部と、前記周辺監視判定部による判定結果に基づく出力を行う出力部とを備える。
このように視線の動きが運転シーンに対応しているかどうかを判定することにより、ドライバが運転シーンに応じた周辺監視を行っているかどうかを適切に判定することができる。車両情報とは、車両の走行に関する情報であり、例えば、速度(加速度、減速度)、舵角、横滑り防止装置のON/OFF、ABSのON/OFF、ウィンカー、ライトの点灯状況、自動運転か否かの状況等である。
本発明の運転支援装置は、前記視線検知部にて検知した視線に基づいて、ドライバが注視した対象物を求める視線移動判定部を備え、前記周辺監視判定部は、所定の時間内にドライバが注視した対象物に基づいて判定を行ってもよい。また、前記周辺監視判定部は、前記所定の時間内にドライバが対象物を注視した回数または時間に基づいて判定を行ってもよい。
この構成により、それぞれの運転シーンにおいて監視すべき対象物をドライバが注視しているかどうかを判定することで、ドライバが周辺監視を行っているかどうかを判定することができる。
本発明の運転支援装置において、前記視線移動判定部は、視線の移動速度が所定の閾値以下のときに注視であると判定し、当該注視方向にある対象物を特定してもよい。
この構成により、視線の動きから注視行動を検出し、周辺監視を行っているか否かを判定することができる。
本発明の運転支援装置において、前記条件記憶部は、所定の時間内における視線の動きの条件と、各注視行動の継続時間に関する条件とを記憶しており、前記周辺監視判定部は、所定の時間内における視線の動きの条件と、各注視行動の継続時間に関する条件とに基づいて判定を行ってもよい。
このように視線の動きの条件に加え、1つの1つの各注視行動の継続時間に関する条件を用いることで、周辺監視を行っているかどうかの判定精度を高めることができる。
本発明の運転支援装置は、車外をセンシングする検知装置から車両の周辺環境に関する周辺情報を取得する周辺情報取得部を備え、前記運転シーン判定部は、前記周辺情報に基づいて運転シーンを判定してもよい。
この構成により、車両の周辺環境の情報を用いることで運転シーンを精度良く判定できる。周辺環境には、動的な環境と静的な環境のいずれも含まれる。動的な環境は、例えば、対向車、先行者、後続車などの車両、自転車、歩行者、道路上の落下物等である。静的な環境は、例えば、信号、道路標識、ガードレール等である。なお、車外をセンシングする検知装置は、典型的には、カメラであるが、ミリ波レーダ、赤外線レーザ・レーダ等を用いることもできる。
本発明の運転支援装置は、ドライバの属性および行動に関するドライバ情報を取得するドライバ情報取得部を備え、前記運転シーン判定部は、前記ドライバ情報に基づいて運転シーンを判定してもよい。
この構成により、ドライバの属性および行動に関するドライバ情報を用いることで運転シーンを精度良く判定できる。ドライバの属性に関する情報は、例えば、ドライバの年齢、性別、運転歴等である。ドライバの行動に関する情報は、例えば、現在位置(地図上の道路種別、現在/予定のレーン)、ナビゲーション装置で設定された予定経路または経路予測結果、現在の操作状況(右左折中、交差点停止中)等である。
本発明の運転支援装置において、前記出力部は、ドライバに警報を出力してもよい。これにより、ドライバに周辺監視を行うように注意を促すことができる。
本発明の運転支援装置において、前記視線検知部は、ドライバを撮影した映像から解析したドライバの眼の向き、及び/又は顔の向きに基づいて、ドライバの視線を検知してもよい。
この構成により、ドライバを撮影した映像から視線を検知することができる。なお、ドライバの顔の向きと眼の向きの両方に基づくことにより、ドライバの視線を精度良く検出することができる。ドライバの顔の向きだけを用いた場合でも視線の向きを予測することができる。
本発明の運転支援装置は、ドライバの視線を検知する視線検知部と、車両の走行状態に関する車両情報を車両機器から取得する車両情報取得部と、前記視線検知部にて検知した視線の動きが、前記車両情報に基づいて判定された運転シーンに応じて異なる条件を満たすかどうかを判定する周辺監視判定部と、前記周辺監視判定部による判定結果に基づく出力を行う出力部とを備える。
このように視線の動きが運転シーンに対応しているかどうかを判定することにより、ドライバが運転シーンに応じた周辺監視を行っているかどうかを適切に判定することができる。
本発明の運転支援方法は、運転支援装置によってドライバの運転を支援する方法であって、前記運転支援装置が、ドライバの視線を検知するステップと、前記運転支援装置が、車両の走行状態に関する車両情報を車両機器から取得するステップと、前記運転支援装置が、前記車両情報に基づいて運転シーンを判定するステップと、前記運転支援装置が、前記運転シーンに対応する条件を、周辺監視を正しく行っていると判定するための条件を前記運転シーンごとに記憶した条件記憶部から読み出し、ドライバの視線の動きが前記条件を満たすかどうかを判定するステップと、前記運転支援装置が、前記判定の結果に基づいて出力を行うステップとを備える。
本発明のプログラムは、運転支援装置によってドライバの運転を支援するためのプログラムであって、コンピュータに、ドライバを撮影した映像からドライバの視線を検知するステップと、車両の走行状態に関する車両情報を車両機器から取得するステップと、前記車両情報に基づいて運転シーンを判定するステップと、前記運転シーンに対応する条件を、周辺監視を正しく行っていると判定するための条件を前記運転シーンごとに記憶した条件記憶部から読み出し、ドライバの視線の動きが前記条件を満たすかどうかを判定するステップと、前記判定の結果に基づいて出力を行うステップとを実行させる。
本発明によれば、視線の動きが運転シーンに対応しているかどうかを判定することにより、ドライバが運転シーンに応じた周辺監視を行っているかどうかを適切に判定することができる。
第1の実施の形態の運転支援装置の構成を示す図である。 運転シーンの判定に用いる各種の情報を示す図である。 運転シーンDBに記憶されたデータの例を示す図である。 (a)車内にある設備および設備とは異なる方向を見ているときの方向を示す図である。(b)車外にある物体の例を示す図である。 視線移動判定部の処理を示すフローチャートである。 視線方向の時間的変化の例を示す図である。 判定条件DBに記憶されたデータの例を示す図である。 運転支援装置の動作を示すフローチャートである。 第2の実施の形態の運転支援装置の判定条件DBに記憶された判定条件の例を示す図である。
本発明の実施の形態に係る運転支援装置について図面を参照して説明する。本実施の形態の運転支援装置は、ドライバが運転シーンに応じた適切な周辺監視を行っているか否かを判定し、周辺監視を行っていない場合に警報を出力する装置である。運転支援装置は、ハードウェアとしては、電子制御ユニット(ECU)によって構成される。このようなECUを制御して、以下に説明するような機能および動作を実現するためのプログラムも本発明の範囲に含まれる。
(第1の実施の形態)
図1は、本発明の第1の実施の形態の運転支援装置1の構成を示す図である。運転支援装置1は、車両機器20、外部カメラ21、ナビゲーション装置22、及び、車内カメラ23と接続されており、各機器から情報を取得する。車両機器20としては、例えば、加速度センサ、速度センサ、舵角センサ、横滑り防止装置、ABS、ウィンカー、ライト、自動運転制御部等がある。運転支援装置1は、これらの車両機器20から、車両の走行状態に関する車両情報を車両機器から取得する。外部カメラ21は、車両外の周辺環境を撮影するカメラであり、車外のセンシングを行う検知装置の一例である。車内カメラ23は、ドライバの視線方向を検出するためにドライバを撮影するためのものであり、例えば、車両のハンドル付近に設置される。
運転支援装置1は、車両情報取得部10と、周辺情報取得部11と、走行経路情報取得部12と、これらに接続された運転シーン判定部14とを有している。車両情報取得部10は、車両機器20と接続されており、車両機器20から車両の走行状態に関する情報を取得する。車両情報の具体例としては、加速度(減速度)、速度、舵角、横滑り防止装置のON/OFF、ABSのON/OFF、ウィンカー、ライトの点灯状況、自動運転か否かの状況等がある。
周辺情報取得部11は、外部カメラ21にて撮影した映像の情報を取得し、映像に基づいて周辺情報を取得する。周辺情報には、動的な環境と静的な環境のいずれも含まれる。動的な環境は、例えば、対向車、先行者、後続車などの車両、自転車、歩行者、道路上の落下物等である。静的な環境は、例えば、信号、道路標識、ガードレール等である。
走行経路情報取得部12は、ナビゲーション装置22から、車両の現在位置や目的地の情報、および目的地までの経路の情報を取得する。
運転シーン判定部14は、車両の現在の運転シーンを判定する機能を有する。運転シーンとは、例えば、高速道の右車線変更中であるとか、交差点を右折中であるとか、一本道を道なりに走行中であるといった運転に関する状況である。本実施の形態において、運転シーン判定部14は、車両の走行状態に関する車両情報と、ドライバの属性および行動に関するドライバ情報と、車両の周辺環境に関する周辺情報に基づいて運転シーンを判定する。
図2は、本実施の形態で運転シーンの判定に用いる各種の情報を示す図である。運転シーンの判定に用いる情報は、車両情報と周辺情報とドライバ情報に分類される。車両情報および周辺情報は、上述した車両情報取得部10および周辺情報取得部11にて取得した情報である。ドライバ情報は、上述した走行経路情報取得部12にて取得した走行経路に関する情報(現在位置、目的地、経路等)に加え、現在の操作状況の情報、ドライバの属性に関する情報が含まれる。現在の操作状況の情報は、例えば、右左折中、交差点停止中等の情報であり、ナビゲーション装置22から取得した地図情報および現在位置の情報から求めることができる。ドライバの属性に関する情報は、例えば、年齢、性別、運転歴等であり、運転シーン判定部14は、初期設定時にドライバに属性情報を入力させ、あらかじめ記憶しておくことができる。
運転支援装置1は、上記した各種の情報に基づいて運転シーンを判定するために、運転シーンデータベース(以下、「運転シーンDB」という。)18を有している。図3は、運転シーンDB18に記憶されたデータの例を示す図である。運転シーンDB18には、運転シーンに関連付けて、車両情報、周辺情報、ドライバ情報に分類される各種の情報(図2の「項目」の欄参照)がどのような値をとるかを記憶している。なお、各種の情報の取り得る値の組み合わせが膨大であるため、図3では、具体的な値は記載していない。運転シーン判定部14は、運転シーンDB18を参照して、車両情報取得部10、周辺情報取得部11、走行経路情報取得部12から取得した情報に当てはまる運転シーンを判定する。
運転支援装置1は、視線検知部13と、視線移動判定部15と、周辺監視判定部16と、警報部17とを有している。視線検知部13は、車内カメラ23にて撮影したドライバの映像を画像処理して、ドライバの顔の向き、及び眼の動きから視線方向を検知する機能を有する。なお、視線検知部13は、映像から、ドライバの眼の動きまで把握できないときには、顔の向きのみから視線を検知してもよい。
視線移動判定部15は、視線検知部13から取得したドライバの視線情報から視線の移動速度を求め、視線の移動速度が所定の閾値以下のときに、その方向を注視していると判定し、移動速度が所定の閾値より大きいときに、視線が移動していると判定する。本実施の形態では、判定のための閾値としては、300°/秒を用いるが、これは一例であり、閾値は適切な値を設定してよい。視線移動判定部15は、視線の移動速度に基づいて注視方向を特定すると、何を注視しているのかを判定する。
図4(a)は、車内にある設備および設備とは異なる方向を見ているときの方向を示す図であり、図4(b)は、車外にある物体の例を示す図である。図4(a)に示すように車内にある設備としては、メーター、ナビゲーション装置、スマホ、バックミラー、右ミラー、左ミラーがあり、ドライバから見たこれらの方向の情報が記憶されている。
図4(b)に示すように車外には、歩行者、歩行者(横断者)、先行者、横断者、後続車がある。これらは、外部カメラ21によって撮影された映像を画像処理することにより検出される。車外にあるこれらの物体の方向は、その都度計算される。上に説明したような車内の設備または車外の物体の方向とは異なる方向を見ている場合には、その方向によって、前方、右側方、右後側方、左側方、左後側方を定義している。
視線移動判定部15は、注視行動があったと判定された場合には、その注視行動によって注視された方向に基づいて、ドライバが注視した注視対象物を特定する。ここで特定される注視対象物は、図4(a)及び図4(b)で説明したいずれの設備、物体または方向(右側方、右後側方等)である。
図5は、視線移動判定部15の処理を示すフローチャートである。視線移動判定部15は、視線検知部13にて検知された視線情報に基づいて、視線の移動速度Vを算出する(S10)。その結果、視線の移動速度Vが300°/秒以下であるか否かを判定する(S11)。視線の移動速度Vが300°/秒以下の場合には(S11でYES)、注視が行われていると判定し(S12)、視線の移動速度Vが300°/秒を超えている場合(S11でNO)、視線が移動していると判定する(S13)。
図6は、時刻t0から時刻t5までの視線方向の時間的変化の例を示す図である。時刻t0から時刻t1までは、視線方向はおおむね角度A1の方向を向いている。この間、視線方向の若干の移動はあるものの、その移動速度は、300°/秒以下であるため、時刻t0から時刻t1においては、角度A1方向への注視と判定される。このときの注視時間T1はT1=t1−t0(秒)である。時刻t1から時刻t2では、視線方向が角度A1から角度A3に変化しており、このときの移動速度は300°/秒より大きい。このため、時刻t1から時刻t2においては、注視行動はなく、視線移動があったと判定される。
以下同様にして、図6に示す例では、時刻t0から時刻t1の間に角度A1方向への注視、時刻t2から時刻t3の間に角度A3方向への注視、時刻t4から時刻t5の間に角度A2方向への注視が行われたと判定される。そして、視線移動判定部15は、それぞれの角度の方向にある機器(例えば、バックミラー)等を注視対象として検出する。
なお、ドライバの視線方向が、視線検知部13の検知範囲を超えている場合には、視線移動判定部15は、検知された視線の動きを補間して視線の動きを求めることとしてもよい。この技術は、本出願人が出願した特願2015−235309に記載されている。
周辺監視判定部16は、視線移動判定部15にて判定された注視対象物およびその注視回数に基づいて、ドライバが周辺監視を行ったか否かを判定する。周辺監視判定部16には、判定条件データベース(以下、「判定条件DB」という。)19が接続されており、周辺監視判定部16は判定条件DB19に記憶された条件を参照して周辺監視判定を行う。
図7は、判定条件DB19に記憶されたデータの例を示す図である。図7では、運転シーンが右車線変更と交差点右折の場合を例としているが、実際には、本運転支援装置1にて取り扱うすべての運転シーンについて、周辺監視を適切に行ったと判定する条件が記憶されている。
図7に示す「右車線変更」の運転シーンにおいては、前方、バックミラー、右ミラー、右側方、後続車について「1回」、それ以外は「0回」のデータが記憶されている。この条件データに基づいて、周辺監視判定部16は、所定の時間(例えば5秒)以内に、前方、バックミラー、右ミラー、右側方、後続車のそれぞれについて各1回以上、注視を行ったときに、周辺監視を適切に行ったと判定し、いずれかの注視がなかった場合には、周辺監視が適切に行われていないと判定する。「交差点右折」の運転シーンにおいては、歩行者(横断中)について「2回」が条件となっている。これは、歩行者(横断中)を長時間注視したのでは十分ではなく、歩行者(横断中)を1回注視し、その後、他の物体を注視した後、もう一度歩行者を注視して、合計で2回注視することが必要であることを意味している。従来のように、所定の期間内における視線の移動距離や、視線の停留点の平均をとったのでは、わからなかった視線の動きを捉えて、周辺監視の判定を行うことができる。
警報部17は、周辺監視判定部16における判定の結果、ドライバが適切な周辺監視を行っていなかったと判定されたときに、ドライバに対して警報を出力する機能を有する。この際に、警報部17は、例えば「右側方も確認してください。」といった具合に、ドライバが何を見落としたかの情報を合わせて報知してもよい。
図8は、運転支援装置1の動作を示すフローチャートである。運転支援装置1は、車両機器20、外部カメラ21、ナビゲーション装置22から取得した情報に基づいて、運転シーンを判定する(S20)。次に、運転支援装置1は、視線検知部13にて検知した視線に基づいて、注視行動があったか視線移動があったかを判定する(S21)。そして、注視行動があったと判定されたときは、注視対象を判定し(S22)、その注視対象を注視した時間を計測する(S23)。
続いて、運転支援装置1は、視線の注視行動が、運転シーンに応じた条件を満たしているか否かを判定する(S24)。その判定の結果、視線の注視行動が条件を満たしていない場合(S24でNO)、すなわち、ドライバが適切な周辺監視を行っていなかった場合には、運転支援装置1は、ドライバに対して警報を出力する(S25)。
以上、本実施の形態の運転支援装置1の構成及び動作について説明した。本実施の形態の運転支援装置1は、視線検知部13にて検知したドライバの視線の動きに基づいて、ドライバの注視行動が運転シーンに対応した条件を満たしているか否かを判定することにより、ドライバが運転シーンに応じた周辺監視を行っているかどうかを適切に判定することができる。
(第2の実施の形態)
次に、本発明の第2の実施の形態の運転支援装置について説明する。第2の実施の形態の運転支援装置の基本的な構成は第1の実施の形態の運転支援装置1と同じであるが(図1参照)、第2の実施の形態の運転支援装置は、第1の実施の形態の運転支援装置1の構成に加え、周辺監視を行う条件が追加されている。
図9は、第2の実施の形態の運転支援装置の判定条件DB19に記憶されたもう一つの判定条件の例を示す図である。この判定条件は、一つ一つの各注視行動の継続時間についての判定条件であり、図6に示す例でいうと、注視行動の時間間隔T1,T2,T3等に適用される条件である。図9では、運転シーンが右車線変更と交差点右折の場合を例としているが、実際には、本運転支援装置1にて取り扱うすべての運転シーンについて、判定条件が記憶されていることは、図7に示す例と同じである。
図9に示す「右車線変更」の運転シーンにおいては、前方、スマホ、左側方、左後側方、後続車以外は「0.5秒」のデータが記憶されている。これは、右車線変更を行う際には、例えば、メーター等を0.5秒以上注視してはならないということを示している。右車線変更の運転シーンに必要のない車両設備や方向を長時間注視することは危険だからである。スマホ、左側方、左後側方、後続車については「0秒」とされており、これらの設備及び方向を注視してはならない。前方については「∞」とされているのは、前方については条件がないことを意味している。
第2の実施の形態の運転支援装置は、第1の実施の形態で説明した所定の時間内における注視行動の回数に基づく判定条件に加え、一つ一つの注視行動に関する判定条件を用いて、周辺監視を適切に行ったかどうかの判定を行うことで、精度の良い判定を行うことができる。以上、本発明の実施の形態の運転支援装置について説明したが、本発明の運転支援装置は上記した実施の形態に限定されるものではない。
上記した実施の形態においては、所定の時間内における注視行動の回数を判定条件としたが(図7参照)、注視回数に加えて、注視行動の順序を条件としてもよい。例えば、図7において、右車線変更の運転シーンでは、例えば、前方→バックミラー→右ミラー→前方→右側方という順序で視線が動くことを条件としてもよい。なお、このような順序を規定する場合、いくつかの許容される順序パターンを規定することとしてもよいし、逆に、必ず守るべき順序パターンを規定することとしてもよい。
上記した実施の形態においては、所定の時間内における注視行動の回数を判定条件としたが(図7参照)、本発明は、各注視行動の継続時間を判定条件としてもよい。例えば、図7において、右車線変更の運転シーンでは、バックミラーの注視回数が1回と規定されているところ、バックミラーの注視時間を0.3秒と規定してもよい。この場合、バックミラーについては、所定の時間内において0.3秒以上注視することが周辺監視を行ったと判定されることの条件となる。
上記した実施の形態では、周辺監視の判定結果に基づいて、周辺監視を適切に行っていなかった場合に警報を出力する構成を説明したが、出力は必ずしも警報には限られない。本発明は、例えば、周辺監視の判定結果をまとめたレポートとして出力してもよい。これにより、ドライバはレポートを見て自分の運転に足りなかったものを把握でき、技術向上に役立てることができる。
上記した実施の形態では、運転シーンを判定するために、車両情報、周辺情報、ドライバ情報を用いる例を説明したが、必ずしもこれらのすべての情報を用いる必要はなく、これらのうちの一部の情報を用いてもよい。
上記した実施の形態では、運転シーンDB18を参照して運転シーンを判定する例をあげたが、運転シーン判定部14は他の方法によって運転シーンを判定してもよい。例えば、ベイジアンネットやニューラルネットワークを用いて、運転シーンを推定することとしてもよい。
本発明は、運転シーンに応じた周辺監視を行ったか否かを判断することができ、ドライバの運転を支援する装置等として有用である。
1 運転支援装置
10 車両情報取得部
11 周辺情報取得部
12 走行経路情報取得部
13 視線検知部
14 運転シーン判定部
15 視線移動判定部
16 周辺監視判定部
17 警報部
18 運転シーンDB
19 判定条件DB
20 車両機器
21 外部カメラ
22 ナビゲーション装置
23 車内カメラ

Claims (12)

  1. ドライバの視線を検知する視線検知部と、
    車両の走行状態に関する車両情報を車両機器から取得する車両情報取得部と、
    前記車両情報に基づいて運転シーンを判定する運転シーン判定部と、
    周辺監視を正しく行っていると判定するための条件を前記運転シーンごとに記憶した条件記憶部と、
    前記運転シーン判定部にて判定された運転シーンに対応する条件を前記条件記憶部から読み出し、前記視線検知部にて検知した視線の動きが前記条件を満たすかどうかを判定する周辺監視判定部と、
    前記周辺監視判定部による判定結果に基づく出力を行う出力部と、
    を備える運転支援装置。
  2. 前記視線検知部にて検知した視線に基づいて、ドライバが注視した対象物を求める視線移動判定部を備え、
    前記周辺監視判定部は、所定の時間内にドライバが注視した対象物に基づいて判定を行う請求項1に記載の運転支援装置。
  3. 前記周辺監視判定部は、前記所定の時間内にドライバが対象物を注視した回数または時間に基づいて判定を行う請求項2に記載の運転支援装置。
  4. 前記視線移動判定部は、視線の移動速度が所定の閾値以下のときに注視であると判定し、当該注視方向にある対象物を特定する請求項2または3に記載の運転支援装置。
  5. 前記条件記憶部は、所定の時間内における視線の動きの条件と、各注視行動の継続時間に関する条件とを記憶しており、
    前記周辺監視判定部は、所定の時間内における視線の動きの条件と、各注視行動の継続時間に関する条件とに基づいて判定を行う請求項1乃至4のいずれかに記載の運転支援装置。
  6. 車外をセンシングする検知装置から車両の周辺環境に関する周辺情報を取得する周辺情報取得部を備え、
    前記運転シーン判定部は、前記周辺情報に基づいて運転シーンを判定する請求項1乃至5のいずれかに記載の運転支援装置。
  7. ドライバの属性および行動に関するドライバ情報を取得するドライバ情報取得部を備え、
    前記運転シーン判定部は、前記ドライバ情報に基づいて運転シーンを判定する請求項1乃至6のいずれかに記載の運転支援装置。
  8. 前記出力部は、ドライバに警報を出力する請求項1乃至7のいずれかに記載の運転支援装置。
  9. 前記視線検知部は、ドライバを撮影した映像から解析したドライバの眼の向き、及び/又は顔向きに基づいて、ドライバの視線を検知する請求項1乃至8のいずれかに記載の運転支援装置。
  10. ドライバの視線を検知する視線検知部と、
    車両の走行状態に関する車両情報を車両機器から取得する車両情報取得部と、
    前記視線検知部にて検知した視線の動きが、前記車両情報に基づいて判定された運転シーンに応じて異なる条件を満たすかどうかを判定する周辺監視判定部と、
    前記周辺監視判定部による判定結果に基づく出力を行う出力部と、
    を備える運転支援装置。
  11. 運転支援装置によってドライバの運転を支援する方法であって、
    前記運転支援装置が、ドライバの視線を検知するステップと、
    前記運転支援装置が、車両の走行状態に関する車両情報を車両機器から取得するステップと、
    前記運転支援装置が、前記車両情報に基づいて運転シーンを判定するステップと、
    前記運転支援装置が、前記運転シーンに対応する条件を、周辺監視を正しく行っていると判定するための条件を前記運転シーンごとに記憶した条件記憶部から読み出し、ドライバの視線の動きが前記条件を満たすかどうかを判定するステップと、
    前記運転支援装置が、前記判定の結果に基づいて出力を行うステップと、
    を備える運転支援方法。
  12. 運転支援装置によってドライバの運転を支援するためのプログラムであって、コンピュータに、
    ドライバを撮影した映像からドライバの視線を検知するステップと、
    車両の走行状態に関する車両情報を車両機器から取得するステップと、
    前記車両情報に基づいて運転シーンを判定するステップと、
    前記運転シーンに対応する条件を、周辺監視を正しく行っていると判定するための条件を前記運転シーンごとに記憶した条件記憶部から読み出し、ドライバの視線の動きが前記条件を満たすかどうかを判定するステップと、
    前記判定の結果に基づいて出力を行うステップと、
    を実行させるプログラム。
JP2016240313A 2016-12-12 2016-12-12 運転支援装置、運転支援方法、およびプログラム Pending JP2018097515A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016240313A JP2018097515A (ja) 2016-12-12 2016-12-12 運転支援装置、運転支援方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016240313A JP2018097515A (ja) 2016-12-12 2016-12-12 運転支援装置、運転支援方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2018097515A true JP2018097515A (ja) 2018-06-21

Family

ID=62633552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016240313A Pending JP2018097515A (ja) 2016-12-12 2016-12-12 運転支援装置、運転支援方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP2018097515A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071705A (ja) * 2018-10-31 2020-05-07 株式会社豊田中央研究所 集中状態推定装置
WO2020100585A1 (ja) * 2018-11-13 2020-05-22 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN111508273A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 参考有关行驶状况的信息来学习产生ldw警报的方法和装置
JP2021026720A (ja) * 2019-08-08 2021-02-22 本田技研工業株式会社 運転支援装置、車両の制御方法、およびプログラム
CN112740302A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置
JP2021148907A (ja) * 2020-03-18 2021-09-27 東京海上日動リスクコンサルティング株式会社 評価装置、評価システム、評価サーバ及び評価プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015127937A (ja) * 2013-11-29 2015-07-09 富士通株式会社 運転支援装置、方法、及びプログラム
JP2015151059A (ja) * 2014-02-18 2015-08-24 本田技研工業株式会社 車載機器操作装置
JP2016020177A (ja) * 2014-07-15 2016-02-04 株式会社デンソー 運転制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015127937A (ja) * 2013-11-29 2015-07-09 富士通株式会社 運転支援装置、方法、及びプログラム
JP2015151059A (ja) * 2014-02-18 2015-08-24 本田技研工業株式会社 車載機器操作装置
JP2016020177A (ja) * 2014-07-15 2016-02-04 株式会社デンソー 運転制御装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740302A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置
CN112740302B (zh) * 2018-09-20 2023-03-24 五十铃自动车株式会社 车辆用监视装置
JP7164275B2 (ja) 2018-10-31 2022-11-01 株式会社豊田中央研究所 集中状態推定装置
JP2020071705A (ja) * 2018-10-31 2020-05-07 株式会社豊田中央研究所 集中状態推定装置
EP3882883A4 (en) * 2018-11-13 2021-12-29 Sony Group Corporation Information processing device, information processing method, and program
CN112997229A (zh) * 2018-11-13 2021-06-18 索尼公司 信息处理装置、信息处理方法和程序
JPWO2020100585A1 (ja) * 2018-11-13 2021-10-07 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2020100585A1 (ja) * 2018-11-13 2020-05-22 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11873007B2 (en) 2018-11-13 2024-01-16 Sony Group Corporation Information processing apparatus, information processing method, and program
JP2020126611A (ja) * 2019-01-31 2020-08-20 株式会社ストラドビジョンStradvision,Inc. 自律走行車のレベル4及びレベル5を満たすために要求されるadas、v2x、あるいは運転者の安全のために利用される走行状況に対する情報を参照してldwアラームの発生を学習するための方法及び装置
CN111508273B (zh) * 2019-01-31 2022-06-14 斯特拉德视觉公司 参考有关行驶状况的信息来学习产生ldw警报的方法和装置
CN111508273A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 参考有关行驶状况的信息来学习产生ldw警报的方法和装置
JP2021026720A (ja) * 2019-08-08 2021-02-22 本田技研工業株式会社 運転支援装置、車両の制御方法、およびプログラム
JP2021148907A (ja) * 2020-03-18 2021-09-27 東京海上日動リスクコンサルティング株式会社 評価装置、評価システム、評価サーバ及び評価プログラム
JP7051254B2 (ja) 2020-03-18 2022-04-11 東京海上ディーアール株式会社 評価装置、評価システム、評価サーバ及び評価プログラム

Similar Documents

Publication Publication Date Title
JP2018097515A (ja) 運転支援装置、運転支援方法、およびプログラム
US11977675B2 (en) Primary preview region and gaze based driver distraction detection
US10861336B2 (en) Monitoring drivers and external environment for vehicles
JP2009040107A (ja) 画像表示制御装置及び画像表示制御システム
KR102506871B1 (ko) 자율 주행 제어 장치 및 그의 전방차량 출발 알림 방법
JP2013517575A (ja) 輸送手段の安全な運転を補助する装置及び方法
JP5898001B2 (ja) 車両周辺監視装置
JP2008003707A (ja) 危険予測装置
KR101986734B1 (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
US20180012068A1 (en) Moving object detection device, image processing device, moving object detection method, and integrated circuit
CN111645674B (zh) 车辆控制装置
US9365195B2 (en) Monitoring method of vehicle and automatic braking apparatus
JP2007286959A (ja) 運転支援装置
JP2017129973A (ja) 運転支援装置および運転支援方法
JP6769073B2 (ja) 車両用表示方法及び車両用表示装置
CN109823344B (zh) 驾驶提示方法与系统
JP2005309660A (ja) 車両用右左折支援装置
JP2011118723A (ja) 車両の衝突を回避するための装置
JP4884806B2 (ja) 車両周辺監視システム
US11308801B2 (en) Driving assistance apparatus and driving assistance method
JP7014680B2 (ja) 注視対象物検知装置、注視対象物検知方法、およびプログラム
JP2018136713A (ja) ドライバの視界推定装置及び車両用制御装置
JP2020181281A (ja) 視線方向推定装置、視線方向推定装置の較正方法、およびプログラム
JP4800078B2 (ja) 車両周辺監視システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200512