JP2017010418A - 運転者状態判定方法及びその判定装置 - Google Patents
運転者状態判定方法及びその判定装置 Download PDFInfo
- Publication number
- JP2017010418A JP2017010418A JP2015127350A JP2015127350A JP2017010418A JP 2017010418 A JP2017010418 A JP 2017010418A JP 2015127350 A JP2015127350 A JP 2015127350A JP 2015127350 A JP2015127350 A JP 2015127350A JP 2017010418 A JP2017010418 A JP 2017010418A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- face
- line
- vehicle
- concentration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】運転者による運転動作に基づいて運転状態を判定する運転者状態判定装置1において、運転者の顔面を撮像可能な車内CCD5と、運転者の顔向き方向Fを検出する顔向き方向検出部7aと、運転者の視線方向Dを検出する視線方向検出部7bと、車両Vに横加速度が作用し且つ視線方向検出部7bによって検出された視線方向Dの顔向き方向Fに対するずれ量Gが減少したとき、運転者の集中度合Cが増加したと判定する集中度合判定部7dとを備えた。
【選択図】 図2
Description
このような車線逸脱警報装置では、カーブ区間を走行するときにセンターライン或いは路側ラインの端領域を運転者が意識的に走行する場合にも車線逸脱警報が作動してしまい乗員が違和感や煩わしさを感じることがある。
そこで、運転者の心身状態を判定し、不必要な警報の作動を制限する技術が提案されている。
これにより、運転者個人に適合した心身状態を判定することができ、運転能力の低下状況に応じた運転支援を実施することができる。
運転者の顔の眼や鼻等の特徴点に基づいて検出された顔向き方向或いは運転者の瞳孔中心に基づいて検出された視線方向が、進行方向前方のカーブや障害物等の視覚対象物(以下、視標という)に対して指向している場合、運転に対する集中度合が高いと判定している。
しかし、緊張感は運転者の感情の快度及び活性度の双方に関する要因が含まれているため、運転操作に対する集中度合を精度良く検出できない虞がある。
また、視線方向検出手段により検出された運転者の視線方向によって集中度合を判定する場合、運転者の視線方向と視標である車両の進行方向とが一致したとしても、運転者が注意力をもって意識的に進行方向を注視しているのではなく、漫然と視線が前方に指向している虞もある。
第3ステップで検出された視線方向の前記顔向き方向に対するずれ量が減少したとき、運転者の集中度合が増加したと判定する第3ステップを有するため、運転操作に対する運転者の集中度合を視覚誤差の低減動作をパラメータとして高精度に判定することができる。
視線方向検出手段によって検出された視線方向の前記顔向き方向に対するずれ量が減少したとき、運転者の集中度合が増加したと判定する判定手段を備えたため、運転操作に対する運転者の集中度合を視覚誤差の低減動作をパラメータとして高精度に判定することができる。
この構成によれば、単一の撮像手段で運転者による視覚誤差の低減動作を的確に検出することができる。
以下の説明は、本発明を運転支援装置を備えた車両Vに適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
図1,図2に示すように、車両Vは、運転者の運転操作に対する集中度合Cを検出する運転者状態判定装置1と、車室内のルーフ前端部又は左右のドアミラー(図示略)に配設された車外CCD(Charge Coupled Device)2と、運転支援装置としての車線逸脱警報装置3と、警報装置4等を備えている。
運転者状態判定装置1は、運転者による視覚誤差の低減動作をパラメータとして運転者の運転操作に対する集中度合Cを検出する装備であり、車線逸脱警報装置3は、車両Vが車線(走行レーン)から逸脱する可能性を運転者に対して警報し、危険回避や被害軽減することにより運転者を含む乗員の安心感を高める装備である。
以下、運転者の運転操作に対する意識的な集中度の程度(レベル)を、集中度合Cとする。
この検証実験では、平均的な被験者H(運転者)の運転操作に対する集中状態を反映する特徴量を捉える。そのため、被験者Hが右回りの周回路を走行する3種類の走行タスク(Task1〜Task3)を実施し、被験者Hの顔面が指向する方向(以下、顔向き方向F1〜F3という)、被験者Hの左右両視線が指向する方向(以下、視線方向D1〜D3という)、及び視線方向D1〜D3の顔向き方向F1〜F3に対する夫々のずれ量G1〜G3について測定する。
尚、説明の便宜上、左右両視線方向D1〜D3は、左右両視線が夫々同一方向に向かうものとして扱っている。
具体的には、Task1「一般道を走っているつもりで運転してください」、Task2「安全を確保してコースの制限速度(120km/h)に従い運転してください」、Task3「楽しさを意識してコースの制限速度(120km/h)に従い運転してください」と教示している。
運転操作中の被験者Hの頭部を撮像し、その撮像画像中の複数の観察ポイントP1(図6)に基づいて顔面の中央線を求め、鼻先端を通って顔面の中央線に対して直交する直線方向を被験者Hの顔向き方向F1〜F3に決定している(図7(a),(b))。尚、左右両眼と口を結ぶ三角形を底面として鼻先端を頂点とした三角錐を想定し、底面から垂直に鼻先端を通る延長線方向によって顔向き方向F1〜F3を判定しても良い。
被験者Hの左右両眼球に近赤外線を照射すると共に角膜表面に映された輝点(プルキニエ像ともいう)を撮像することにより(図6)、プルキニエ像と瞳孔との位置関係によって眼球の回転角度を算出し、この眼球の回転角度に基づいて被験者Hの視線方向D1〜D3を決定している(図7(a),(b))。
尚、顔向き方向F1〜F3と視線方向D1〜D3とを共通の撮像手段(CCD)で検出するため、視線方向D1〜D3の検出手法として角膜反射法を採用したが、夫々異なる検出手段で検出する場合、EOG法、サーチコイル法、強膜反射法等適宜選択可能である。
図8は、運転者が頭部を進行方向へ向けて回動させたときの頭部回動移動量L1〜L3であり、図9(a)〜図9(c)における左右夫々の集合は、左右両眼夫々における視線方向D1〜D3の顔向き方向F1〜F3に対するずれ量G1〜G3の測定結果である。
図8に示すように、Task3(一点鎖線)のときの頭部回動移動量L3は、Task2(破線)のときの移動量L2よりも全体的に大きく、Task2のときの頭部回動移動量L2は、走行開始時付近を除いて、Task1(実線)のときの移動量L1よりも大きくなっている。
つまり、被験者Hは、運転操作に対する集中度が高い程、顔面が進行方向に向かう(コーナ側に向く)ように頭部を大きく回動させていることが判明した。
図9(b),図9(c)に示すように、Task2,Task3では、顔向き方向F2,3に対する視線方向D2,D3のずれ量G2,G3の分布が夫々小さく、左右両眼共にずれ量G2,G3の測定値はTask1の測定結果に比べて狭い範囲に集中している。
これは、運転操作に対する集中度が高い程、脳内における情報処理を速くする必要があるため、視野のぶれを少なくするために行われる補償動作に起因するものと考えられる。
即ち、被験者Hが車両の運転に集中しているとき、被験者Hは、視標(コーナ等の視覚対象物)に対する相対視力を向上させるため、両眼による視線を視標に向けることにより視標を網膜上の中心窩(中心視野)に捉え、視標を含む視空間を立体的に知覚するように脳内情報処理を実行している。
また、各脳内座標系における三次元的再現には、視標の奥行き、位置、構造、大きさ、動き、傾き等の知覚情報が必要であり、視標に対する視覚誤差の低減が不可欠である。特に、瞬間的な判断が求められる車両の運転状態においては、被験者H自身が高速で移動しているため、視覚誤差を最小限に抑える行動が必要とされる。
ここで、視覚誤差は、実際の視標による動作と、随意性眼球運動の一種である追跡眼球運動との差(眼球の追従遅れ)によって生じる。
追跡眼球運動は、低速成分の滑動性眼球運動と、高速成分の衝動性眼球運動(サッケード)との2つの眼球運動によって構成されている。そして、衝動性眼球運動は、実際の視標による動作に滑動性眼球運動が追随できないとき、補償運動として発現するものの、実際の視標による動作は滑動性眼球運動中にのみ知覚されることが知られている。
つまり、被験者Hは、運転操作に集中しているとき、視覚誤差を低減する、換言すれば、視標の知覚情報を取得することができない衝動性眼球運動を低減するために頭部を回動させて、視標に対して顔面を指向させていると推測される。
それ故、被験者Hの集中度合Cが低いTask1では、視線方向D1の顔向き方向F1に対するずれ量G1の分布が大きくなり、被験者Hの集中度合Cが高いTask2,Task3では、視線方向D2,D3の顔向き方向F2,F3に対する夫々のずれ量G2,G3の分布が小さくなるものと考えられる。
尚、以下の説明は、運転者状態判定方法の説明を含むものである。
図1,図2に示すように、運転者状態判定装置1は、運転者の顔向き検出手段及び視線方向検出手段を兼用する車内CCD(Charge Coupled Device)5と、車両Vに作用する横加速度を検出する横加速度センサ6と、制御装置7等を備えている。
横加速度センサ6は、車両Vによる左折、右折または旋回走行時において、車両Vに作用する横加速度を検出するセンサである。
これら車内CCD5と横加速度センサ6は、各々の検出結果を制御装置7に出力している。
図2に示すように、制御装置7は、顔向き方向検出部7aと、視線方向検出部7bと、比較部7cと、集中度合判定部7d等を備えている。
視線方向検出部7bは、車両Vに横加速度が作用したとき、撮像された運転者の角膜表面にできる輝点の画像信号に基づいて、運転者の視線が指向している視線方向Dを演算している。この視線方向検出部7bは、車両側制御部(図示略)から車両Vの進行方向に関する情報を入力し、視線方向Dの車両Vの進行方向に対する一致度を検出可能に構成されている。運転者の中心視野における有効な相対視力を考慮して、運転者の視線方向Dが車両Vの進行方向に対して±2度の範囲内に向けられている場合、視線方向Dは車両Vの進行方向に対して一致していると判定している。
比較部7cは、車両Vに横加速度が作用したとき、演算された顔向き方向Fから視線方向Dを差分した値の絶対値によって、視線方向Dの顔向き方向Fに対するずれ量Gを演算している。
この集中度合判定部7dは、ずれ量Gが判定値k以下で且つ視線方向Dが車両Vの進行方向に一致している場合、運転者の運転操作に対する集中度合Cが高いと判定し、ずれ量Gが判定値k超で且つ視線方向Dが車両Vの進行方向に一致している場合、運転者の運転操作に対する集中度合Cが中位と判定し、ずれ量Gが判定値k超で且つ視線方向Dが車両Vの進行方向に一致していない場合、運転者の運転操作に対する集中度合Cが低いと判定している。
車線逸脱警報装置3は、CPU、ROM、RAM、EEPROM、入出力インターフェイス等を備え、車両Vが車線から逸脱する可能性を判定可能に構成されている。
図2に示すように、車線逸脱警報装置3は、走行車線認識部3aと、逸脱判定部3bと、判定閾値設定部3c等を備えている。
この走行車線認識部3aは、抽出した白線情報と、この白線と車両V(車輪)との離隔距離とを算出している。
この逸脱判定部3bは、判定閾値Tが大きい場合、車両Vによる白線への接近が許容されるため、白線と車両Vとの離隔距離が小さくなるまで逸脱可能性ありと判定されない。
また、判定閾値Tが小さい場合、車両Vによる白線への接近が制限されるため、白線と車両Vとの離隔距離がある程度大きな値であっても逸脱可能性ありと判定される。
尚、走行開始時の判定閾値Tには、初期判定閾値T0がセットされるように予め設定されている。
この判定閾値設定部3cは、運転者の集中度合Cが高いときの判定閾値Tを集中度合Cが低いときの判定閾値Tよりも大きくしている。集中度合Cが高いときの運転者の認知性(注意力レベル)は、集中度合Cが低いときの運転者の認知性よりも高いからである。
判定閾値設定部3cは、集中度合Cが低いときの判定閾値Tを第1判定閾値T1、集中度合Cが中位のときの判定閾値Tを第2判定閾値T2、集中度合Cが高いときの判定閾値Tを第3判定閾値T3に設定する(T1<T0<T2<T3)。
例えばスピーカ、ブザー、ディスプレイのうち少なくとも1つが警報装置4に相当している。
尚、Si(i=1,2,…)は、各処理のためのステップを示している。
図3に示すように、まず、各種情報を読み込み(S1)、S2へ移行する。
S2では、判定閾値Tを設定する判定閾値設定処理を行う。
車両Vの走行開始時には、初期判定閾値T0が予めセットされている。
S3の判定の結果、接近度合が判定閾値Tを超えた場合、運転者に注意喚起させるためにS4に移行して警報装置4を作動させた後、リターンする。
S3の判定の結果、接近度合が判定閾値Tを超えていない場合、走行安全性が低下していないため、警報装置4を作動させることなくリターンする。
図4に示すように、まず、横加速度センサ6からの入力に基づき車両Vに横加速度が発生しているか否かを判定する(S11)。
S11の判定の結果、横加速度が発生している場合、運転者の操舵によって進行方向が変更されたため、顔向き方向Fを演算する(S12)と共に視線方向Dを演算し(S13)、S14に移行する。S11の判定の結果、横加速度が発生していない場合、運転者の操舵による進行方向変更がないため、終了する。
S14の判定の結果、ずれ量Gの絶対値が判定閾値k以下の場合、S15に移行して視線方向Dが車両Vの進行方向と一致するか否か判定する。
S15の判定の結果、視線方向Dが車両Vの進行方向と一致する場合、運転者が顔向き及び視線を車両Vの進行方向に指向させているため、集中度合Cを高と判定する(S16)。
次に、S17に移行し、判定閾値Tを第3判定閾値T3に設定して、終了する。
S14の判定の結果、ずれ量Gの絶対値が判定閾値k超の場合、S19に移行して視線方向Dが車両Vの進行方向と一致するか否か判定する。
次に、S21に移行し、判定閾値Tを第2判定閾値T2に設定して、終了する。
S19の判定の結果、視線方向Dが車両Vの進行方向と一致しない場合、運転者の注意力が散漫状態であるため、集中度合Cを低と判定する(S22)。
次に、S23に移行し、判定閾値Tを第1判定閾値T1に設定して、終了する。
本運転者状態判定装置1によれば、運転者の顔向き方向Fを検出する顔向き方向検出部7aと、運転者の視線方向Dを検出する視線方向検出部7bを有するため、運転者の集中度合Cに関連した視覚誤差の低減動作を検出することができる。
視線方向検出部7bによって検出された視線方向Dの顔向き方向Fに対するずれ量Gが減少したとき、運転者の集中度合Cが増加したと判定する集中度合判定部7cを備えたため、運転操作に対する運転者の集中度合Cを視覚誤差の低減動作をパラメータとして高精度に判定することができる。
1〕前記実施形態においては、顔向き方向に対する視線方向のずれ量に基づいて集中度合を低中高の3段階に分けて判定した例を説明したが、集中度合をずれ量に応じてリニアに判定しても良い。つまり、集中度合とずれ量は反比例する関係であるため、ずれ量の逆数を判定閾値の補正係数として使用することにより、リニアに補正された判定閾値を設定することができる。
また、運転者の集中度合を判定することができるため、種々の装置と併用することができる。例えば、運転者の集中度合が低いとき、運転者の意識を活性化させるために、車外の新気導入や刺激的な香りを供給することも可能である。
さらに、運転者の感情等精神状態を向上させる運転支援装置に適用しても良い。
この場合、例えば匂い・音楽・照明等により運転者の運転意欲や感情を向上させる支援装置を作動させたとき、集中度合を判定し、期待する集中度合の上昇が得られない場合、支援装置の制御を変更する等効果の検証やフィードバック制御に適用することができる。
5 車内CCD
7 制御装置
7a 顔向き方向検出部
7b 視線方向検出部
7d 集中度合判定部
F、F1〜F3 顔向き方向
D、D1〜D3 視線方向
G、G1〜G3 ずれ量
V 車両
Claims (3)
- 運転者による運転動作に基づいて運転者状態を判定する運転者状態判定方法において、
前記運転者の顔向き方向を検出する第1ステップと、
前記運転者の視線方向を検出する第2ステップと、
前記検出された視線方向の前記顔向き方向に対するずれ量が減少したとき、運転者の集中度合が増加したと判定する第3ステップと、
を備えたことを特徴とする運転者状態判定方法。 - 運転者による運転動作に基づいて運転状態を判定する運転者状態判定装置において、
前記運転者の顔向き方向を検出する顔向き方向検出手段と、
前記運転者の視線方向を検出する視線方向検出手段と、
前記視線方向検出手段によって検出された視線方向の前記顔向き方向に対するずれ量が減少したとき、運転者の集中度合が増加したと判定する判定手段とを備えたことを特徴とする運転者状態判定装置。 - 前記顔向き方向検出手段及び視線方向検出手段が前記運転者の顔面を撮像可能な撮像手段を備えることを特徴とする請求項2に記載の運転者状態判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015127350A JP6365438B2 (ja) | 2015-06-25 | 2015-06-25 | 運転者状態判定方法及びその判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015127350A JP6365438B2 (ja) | 2015-06-25 | 2015-06-25 | 運転者状態判定方法及びその判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017010418A true JP2017010418A (ja) | 2017-01-12 |
JP6365438B2 JP6365438B2 (ja) | 2018-08-01 |
Family
ID=57763860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015127350A Active JP6365438B2 (ja) | 2015-06-25 | 2015-06-25 | 運転者状態判定方法及びその判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6365438B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018198842A (ja) * | 2017-05-29 | 2018-12-20 | マツダ株式会社 | 運転者状態推定装置 |
CN113449584A (zh) * | 2020-03-24 | 2021-09-28 | 丰田自动车株式会社 | 睁眼度计算装置 |
JP2023021123A (ja) * | 2017-11-06 | 2023-02-09 | 日本電気株式会社 | 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008222055A (ja) * | 2007-03-13 | 2008-09-25 | Toyota Motor Corp | 運転補助制御装置 |
JP2009015550A (ja) * | 2007-07-04 | 2009-01-22 | Omron Corp | 脇見検出装置および方法、並びに、プログラム |
-
2015
- 2015-06-25 JP JP2015127350A patent/JP6365438B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008222055A (ja) * | 2007-03-13 | 2008-09-25 | Toyota Motor Corp | 運転補助制御装置 |
JP2009015550A (ja) * | 2007-07-04 | 2009-01-22 | Omron Corp | 脇見検出装置および方法、並びに、プログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018198842A (ja) * | 2017-05-29 | 2018-12-20 | マツダ株式会社 | 運転者状態推定装置 |
JP2023021123A (ja) * | 2017-11-06 | 2023-02-09 | 日本電気株式会社 | 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム |
JP7501598B2 (ja) | 2017-11-06 | 2024-06-18 | 日本電気株式会社 | 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム |
CN113449584A (zh) * | 2020-03-24 | 2021-09-28 | 丰田自动车株式会社 | 睁眼度计算装置 |
JP2021152768A (ja) * | 2020-03-24 | 2021-09-30 | トヨタ自動車株式会社 | 開眼度算出装置 |
JP7127661B2 (ja) | 2020-03-24 | 2022-08-30 | トヨタ自動車株式会社 | 開眼度算出装置 |
CN113449584B (zh) * | 2020-03-24 | 2023-09-26 | 丰田自动车株式会社 | 睁眼度计算装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6365438B2 (ja) | 2018-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6369487B2 (ja) | 表示装置 | |
JP6191633B2 (ja) | 運転支援装置 | |
JP6454368B2 (ja) | 車両の表示システム及び車両の表示システムの制御方法 | |
US10653350B2 (en) | Data processing device, monitoring system, awakening system, data processing method, and data processing program | |
US10346697B2 (en) | Driver state monitoring using corneal reflection detection | |
EP1721782B1 (en) | Driving support equipment for vehicles | |
WO2016078901A1 (en) | Dynamic control apparatus and related method | |
JP6235425B2 (ja) | 安全確認判定装置、及び運転支援装置 | |
US11685384B2 (en) | Driver alertness detection method, device and system | |
JP6756174B2 (ja) | 車両制御装置 | |
JP6152833B2 (ja) | 車両の運転感覚調整装置 | |
JP2011150105A (ja) | 情報表示装置 | |
US20150158494A1 (en) | Method and apparatus for determining carelessness of driver | |
JP2008079737A (ja) | 集中度評価装置及びこれを用いた車両用表示装置 | |
JP2017039373A (ja) | 車両用映像表示システム | |
JP6365438B2 (ja) | 運転者状態判定方法及びその判定装置 | |
WO2019155913A1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体 | |
JP6365423B2 (ja) | 運転者状態判定方法及びその判定装置 | |
WO2022258150A1 (en) | Computer-implemented method of assisting a driver, computer program product, driving assistance system, and vehicle | |
JP2018013811A (ja) | ドライバ状態判定装置、及びドライバ状態判定プログラム | |
JP6811743B2 (ja) | 安全運転支援装置 | |
JPH11348696A (ja) | 進行路形状推定装置及びこれを用いた走行支援装置 | |
JP4916755B2 (ja) | 車両の運転支援装置 | |
JP4760113B2 (ja) | 運転者状態推定装置 | |
JP2002331849A (ja) | 運転行動意図検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180618 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6365438 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |