JP2015532743A5 - - Google Patents

Download PDF

Info

Publication number
JP2015532743A5
JP2015532743A5 JP2015527422A JP2015527422A JP2015532743A5 JP 2015532743 A5 JP2015532743 A5 JP 2015532743A5 JP 2015527422 A JP2015527422 A JP 2015527422A JP 2015527422 A JP2015527422 A JP 2015527422A JP 2015532743 A5 JP2015532743 A5 JP 2015532743A5
Authority
JP
Japan
Prior art keywords
driver
vehicle
sources
state
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015527422A
Other languages
English (en)
Other versions
JP6219952B2 (ja
JP2015532743A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/SE2012/000116 external-priority patent/WO2014027933A1/en
Publication of JP2015532743A publication Critical patent/JP2015532743A/ja
Publication of JP2015532743A5 publication Critical patent/JP2015532743A5/ja
Application granted granted Critical
Publication of JP6219952B2 publication Critical patent/JP6219952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明の一態様によれば、上記の目的は、意識検出機構を使用して車両のドライバの運転状態を判断するための方法によって少なくとも部分的に達成され、意識検出機構は、ドライバの挙動に関するデータを生成するための少なくとも第1と第2のソースを含み、方法は、第1及び第2のソースから、ドライバの生理学データ、車両の運転、及び車両を運転するドライバのモデルのうちの少なくとも1つに関するデータを受け取る段階と、第1及び第2のソースからのデータを、第1及び第2のソースのそれぞれの複数の所定のドライバ状態を定義するドライバ状態モデルと比較する段階と、第1及び第2のソースそれぞれの比較に基づいて、複数の所定のドライバ状態のそれぞれの状態確率を決定する段階と、ドライバの全体的な運転状態確率を決定するために第1及び第2のソースの決定されたドライバ状態を互いに比較検討する段階とを含む。
本発明は、ドライバの運転状態の決定と関連してよりよい決定を行うには幾つかの情報源を融合させることが望ましいが、情報を融合するための先行技術の方法は、典型的には、最適化方式を使用して複数の情報源の収束を達成し、その結果、プロセスで価値ある情報が失われるという理解に基づく。そのような最適化方式は、例えば、固定ルールの使用に基づいて、データをドライバの眠気、神経回路網又は様々な統計的方法の単一メトリックと比較検討して、眠気の複数のインジケータを単一出力に組み合わせ、この単一出力は、ドライバに警告を出すか特定の対策を活動化するために使用される。次に、それらを単一出力に組み合わせるために後の平均又は競合ルールが使用される。更に、既存の解決策は、多くの場合、モデルベースでなく、広範囲な検証を必要とする。
本発明によれば、眠気発生の生理学的モデルは、最終決定において様々な検出装置の影響を比較検討するときに最も有用であると識別された。したがって、(真に)疲れたドライバの存在を予測し、危険な状況の前に警告することができることが重要である。典型的にドライバ状態監視装置によって検出される明らかな眠気は、睡眠の生理学的必要性と、タスク時間(time-on-task)又は退屈によって引き起こされる疲労の両方によって引き起こされることがある。したがって、明らかな眠気は、実際には睡眠不足によって引き起こされる潜在的眠気と様々に異なることがある。実際には、外部刺激、長く退屈な道路区分、更には食物摂取など、観察された眠気レベルを一時的に増減できる幾つかの隠蔽因子がある。そのような一時的な隠蔽因子が除去されたとき、潜在的眠気レベルが優勢になる。実際に、これにより、人は、外部刺激によってかなり機敏になることがあるが、そのような隠蔽因子が除去された後はすぐに眠気に負けることがある。機敏/眠気の数学的モデルは、潜在的眠気をモデル化することができ、ドライバ状態の実時間監視と融合されたときに、検出の正確性と妥当性を大幅に高めることができる。利点には、例えば、予測性能の改善、様々な実施態様のカスタム化と調整を少なくするための要件の低減があり、その結果、ドライバの運転状態を検出する際の頑強さを高める実施態様のコスト効率が向上する。
本発明の別の態様によれば、車両のドライバの運転状態を判断するための制御システムが提供され、制御システムは、制御ユニットを含み、意識検出機構に接続された制御ユニットは、ドライバの挙動に関連したデータを生成するための少なくとも第1及び第2のソースを含み、制御ユニットが、第1及び第2のソースから、ドライバの生理学データ、車両の運転、及び車両を運転するドライバのモデルのうちの少なくとも1つに関するデータを受け取り、第1及び第2のソースからのデータを、それぞれ第1及び第2のソースのそれぞれの複数の所定のドライバ状態を定義するドライバ状態モデルと比較し、第1及び第2のソースのそれぞれの比較に基づいて、複数の所定のドライバ状態のそれぞれに関して状態確率を決定し、第1及び第2のソースの決定されたドライバ状態を互いに比較検討してドライバの全体的な運転状態確率を決定するように構成される。本発明のこの態様は、本発明の以前の態様に関して前述したような類似の利点を提供する。
本発明の更に他の態様によれば、意識検出機構を使用して車両のドライバの運転状態を判断するためのコンピュータプログラム製品を実施するコンピュータ可読媒体が提供され、意識検出機構は、ドライバの挙動に関するデータを生成するための少なくとも第1及び第2のソースを含み、コンピュータプログラム製品が、プロセッサによって実行されたときに、第1及び第2のソースから、ドライバの生理学データ、車両の運転、及び車両を運転するドライバのモデルのうちの少なくとも1つに関するデータを受け取り、第1及び第2のソースからのデータを、それぞれ第1及び第2のソースのそれぞれの複数の所定のドライバ状態を定義するドライバ状態モデルと比較し、第1及び第2のソースのそれぞれに関して、比較に基づいて、複数の所定のドライバ状態のそれぞれの状態確率を決定し、第1及び第2のソースの決定されたドライバ状態を互いに比較検討し、ドライバの全体的な運転状態確率を決定するように構成される。また、本発明のこの態様は、本発明の以前の態様に関して前述したような類似の利点を提供する。

Claims (15)

  1. 意識検出機構を使用して車両のドライバの運転状態を判断する方法であって、前記意識検出機構が、ドライバの挙動に関するデータを生成するための少なくとも第1及び第2のソースを含み、
    −前記第1及び第2のソースから、前記ドライバの生理学データ、前記車両の運転、及び前記車両を運転する前記ドライバのモデルのうちの少なくとも1つに関するデータを受け取る段階と、
    −前記第1及び第2のソースからのデータを、それぞれ前記第1及び第2のソースのそれぞれの複数の所定のドライバ状態を定義するドライバ状態モデルと比較する段階と、
    −前記比較に基づいて、前記第1及び第2のソースのそれぞれに関して、前記所定のドライバ状態のそれぞれの確率塊関数または確率密度関数の一方の決定を含む前記複数の所定のドライバのそれぞれに関する状態確率を決定する段階と、
    −前記ドライバの全体的な運転状態確率を決定するために、前記第1及び第2のソースの前記決定されたドライバ状態を互いに比較検討する段階とを含む方法。
  2. 前記ドライバの前記生理学データが、オペレータの目、顔、頭、腕及び身体の動きの少なくとも1つに関する情報を含む、請求項1に記載の方法。
  3. 前記車両の前記運転が、ライン交差時間、前記車両の前方の更に他の車両機構までの距離、ステアリング及び/又はハンドル操作パターンのうちの少なくとも1つに関する情報を含む、請求項1又は2に記載の方法。
  4. 前記車両を運転する前記ドライバの前記モデルが、時刻と車両運転時間の少なくとも一方に関する第1の要素と、前記ドライバの前記眠気レベルに関する第2の要素とを含む、請求項1乃至3のいずれかに記載の方法。
  5. 前記ドライバの前記眠気レベルに関する前記第2の要素が、睡眠潜時、時刻、タスク時間、概日リズム、及び睡眠/覚醒ホメオスタシスプロセスのうちの少なくとも1つに基づく、請求項4に記載の方法。
  6. 複数の所定のドライバ状態が、眠い及び機敏として定義された少なくとも2つの状態、好ましくは、きわめて機敏、機敏、眠い、及び眠さと闘うとして定義される4つの状態を含む、請求項1乃至5のいずれかに記載の方法。
  7. 前記ドライバの前記判断された状態が、車両制御機能を実現するように構成された車両システムに提供され、前記車両システムが、前記ドライバ状態に基づいて前記車両制御機能を調整する、請求項1乃至6のいずれかに記載の方法。
  8. 前記ドライバの前記判断された状態が、前記ドライバが眠いことを示す前記ドライバ状態に警告を生成するための居眠りドライバ検出システムに提供される、請求項1乃至7のいずれかに記載の方法。
  9. 車両のドライバの運転状態を判断するための制御システムであって、前記制御システムが、制御ユニットを含み、意識検出機構に接続された前記制御ユニットが、前記ドライバの挙動に関するデータを生成するための少なくとも第1及び第2のソースを含み、前記制御ユニットが、
    −前記第1及び第2のソースから、前記ドライバの生理学データ、前記車両の前記運転、及び前記車両を運転する前記ドライバのモデルのうちの少なくとも1つに関するデータを受け取り、
    −前記第1及び第2のソースからのデータを、前記第1及び第2のソースのそれぞれの複数の所定のドライバ状態を定義するドライバ状態モデルと比較し、
    −前記比較に基づいて、前記第1及び第2のソースのそれぞれに関して、前記比較に基づいて、前記第1及び第2のソースのそれぞれに関して、前記所定のドライバ状態のそれぞれの確率塊関数または確率密度関数の一方の決定を含む前記複数の所定のドライバのそれぞれに関する状態確率を決定し、
    −前記第1及び第2のソースの前記決定されたドライバ状態を互いに比較検討して、前記ドライバの全体的な運転状態確率を決定するように構成された制御システム。
  10. 前記制御ユニットが、更に、車両制御機能を実現するように構成された車両システムに前記ドライバの前記判断された状態を提供するように構成され、前記車両システムが、前記ドライバ状態に基づいて前記車両制御機能を調整する、請求項9に記載の制御システム。
  11. 請求項9又は請求項10に記載の制御システムと前記意識検出機構とを含む車両システム。
  12. 前記第1及び前記第2のソースの少なくとも一方が、前記オペレータの目、顔、頭、腕及び身体の動きに関する情報を含む前記ドライバの生理学データを生成するように構成された、請求項11に記載の車両システム。
  13. 前記第1及び前記第2のソースの少なくとも一方が、画像取得装置である、請求項11又は請求項12に記載の車両システム。
  14. 前記第1及び前記第2のソースの少なくとも一方が、ライン交差時間、前記車両の前方の他の車両機構までの距離、ステアリング及び/又はハンドル操作パターンのうちの少なくとも1つに関する情報を含む車両の運転データを生成するように構成された、請求項11乃至13のいずれかに記載の車両システム。
  15. 意識検出機構を使用して車両のドライバの運転状態を判断するためのコンピュータプログラム製品を実装するコンピュータ可読媒体であって、前記意識検出機構が、前記ドライバの前記挙動に関するデータを生成するための少なくとも第1及び第2のソースを含み、前記コンピュータプログラム製品が、プロセッサによって実行されたとき、
    −前記第1及び前記第2のソースから、前記ドライバの生理学データ、前記車両の前記運転、及び前記車両を運転する前記ドライバのモデルのうちの少なくとも1つに関するデータを受け取り、
    −前記第1及び第2のソースからの前記データをそれぞれ、前記第1及び前記第2のソースのそれぞれに関する複数の所定のドライバ状態を定義するドライバ状態モデルと比較して、
    −前記比較に基づいて、前記第1及び前記第2のソースのそれぞれに関して、前記所定のドライバ状態のそれぞれの確率塊関数または確率密度関数の一方の決定を含む前記複数の所定のドライバのそれぞれに関する状態確率を決定し、
    −前記ドライバの全体的な運転状態確率を決定するために、前記第1及び前記第2のソースの前記決定されたドライバ状態を互いに比較検討するように構成されたコンピュータ可読媒体。
JP2015527422A 2012-08-14 2012-08-14 ドライバの運転状態を判断する方法 Active JP6219952B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2012/000116 WO2014027933A1 (en) 2012-08-14 2012-08-14 Method for determining the operational state of a driver

Publications (3)

Publication Number Publication Date
JP2015532743A JP2015532743A (ja) 2015-11-12
JP2015532743A5 true JP2015532743A5 (ja) 2016-08-18
JP6219952B2 JP6219952B2 (ja) 2017-10-25

Family

ID=50685663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015527422A Active JP6219952B2 (ja) 2012-08-14 2012-08-14 ドライバの運転状態を判断する方法

Country Status (5)

Country Link
US (1) US9848813B2 (ja)
EP (1) EP2885151B1 (ja)
JP (1) JP6219952B2 (ja)
CN (1) CN104540701B (ja)
WO (1) WO2014027933A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140276104A1 (en) 2013-03-14 2014-09-18 Nongjian Tao System and method for non-contact monitoring of physiological parameters
GB2521665A (en) * 2013-12-30 2015-07-01 Nokia Technologies Oy Method, apparatus, computer program and system for controlling a vehicle's alert output
US20160052524A1 (en) * 2014-08-25 2016-02-25 Hyundai Motor Company System and method for alerting drowsy driving
WO2016162237A1 (de) * 2015-04-09 2016-10-13 Bayerische Motoren Werke Aktiengesellschaft Steuerung für ein elektronisches multifunktionsgerät
WO2016192806A1 (en) * 2015-06-01 2016-12-08 Volvo Truck Corporation A driver assistance system
US10716502B2 (en) 2015-07-22 2020-07-21 Panasonic Intellectual Property Corporation Of America Method for predicting arousal level and arousal level prediction apparatus
CN106361270B (zh) 2015-07-22 2021-05-07 松下电器(美国)知识产权公司 清醒度预测方法和清醒度预测装置
CN106408874B (zh) * 2015-07-28 2019-02-26 比亚迪股份有限公司 疲劳驾驶的提醒系统及疲劳驾驶的提醒方法
WO2017028895A1 (en) * 2015-08-17 2017-02-23 Polar Electro Oy Enhancing vehicle system control
US9797881B2 (en) * 2015-11-05 2017-10-24 GM Global Technology Operations LLC Method and system for controlling a passive driver impairment detection system in a vehicle
GB2539531B (en) * 2016-03-30 2018-10-03 Ford Global Tech Llc A method of operating an environmental control system
US20170297581A1 (en) * 2016-04-19 2017-10-19 Caterpillar Inc. System and method for controlling operation of machine
CN105761431A (zh) * 2016-05-05 2016-07-13 中晟国计科技有限公司 一种行为监控预警方法和系统
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
US10759424B2 (en) 2016-08-16 2020-09-01 Honda Motor Co., Ltd. Vehicle data selection system for modifying automated driving functionalities and method thereof
WO2018118958A1 (en) * 2016-12-22 2018-06-28 Sri International A driver monitoring and response system
JP6998564B2 (ja) * 2017-02-08 2022-01-18 パナソニックIpマネジメント株式会社 覚醒度推定装置及び覚醒度推定方法
US10592785B2 (en) * 2017-07-12 2020-03-17 Futurewei Technologies, Inc. Integrated system for detection of driver condition
US10357195B2 (en) 2017-08-01 2019-07-23 Panasonic Intellectual Property Management Co., Ltd. Pupillometry and sensor fusion for monitoring and predicting a vehicle operator's condition
JP6387173B1 (ja) * 2017-10-30 2018-09-05 ダイキン工業株式会社 眠気推定装置
GB2573261B (en) * 2018-02-26 2022-05-18 Babylon Partners Ltd Sleep activity detection method and apparatus
JP7099036B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
US10322695B1 (en) * 2018-06-14 2019-06-18 GM Global Technology Operations LLC System and method to detect vehicle movement
US10945651B2 (en) 2018-07-05 2021-03-16 Denso Corporation Arousal level determination device
CN109409207B (zh) 2018-09-10 2022-04-12 阿波罗智能技术(北京)有限公司 无人车内乘客状态的识别方法、装置、设备及存储介质
CN109334669B (zh) * 2018-10-17 2020-07-10 湖南仪峰安安网络科技股份有限公司 驾驶员驾驶状态下的体征安全监测方法及数据处理系统
KR102529919B1 (ko) * 2018-11-28 2023-05-08 현대자동차주식회사 졸음 운전 관리 장치, 시스템 및 방법
DE102019204892A1 (de) * 2019-04-05 2020-10-08 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug
TWI749323B (zh) * 2019-04-30 2021-12-11 先進光電科技股份有限公司 行動載具輔助系統
CN110992676B (zh) * 2019-10-15 2021-06-04 同济大学 一种道路通行能力与网联自动驾驶车当量系数估计方法
CN110861653A (zh) * 2019-11-26 2020-03-06 北京明略软件系统有限公司 一种提醒方法、装置、车辆、设备和存储介质
CN112590798B (zh) * 2020-09-09 2021-10-22 禾多科技(北京)有限公司 用于检测驾驶员状态的方法、装置、电子设备和介质
CN112572454A (zh) * 2020-12-01 2021-03-30 浙江清华柔性电子技术研究院 疲劳驾驶检测方法、装置及方向盘设备
JP7460867B2 (ja) 2021-12-24 2024-04-03 パナソニックオートモーティブシステムズ株式会社 推定装置、推定方法及びプログラム
CN114596688B (zh) * 2022-02-11 2023-12-15 山东临工工程机械有限公司 装载机防疲劳驾驶装置及其疲劳预警方法
US11780458B1 (en) * 2022-12-14 2023-10-10 Prince Mohammad Bin Fahd University Automatic car side-view and rear-view mirrors adjustment and drowsy driver detection system

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6060989A (en) * 1998-10-19 2000-05-09 Lucent Technologies Inc. System and method for preventing automobile accidents
JP3998855B2 (ja) * 1999-05-18 2007-10-31 三菱電機株式会社 危険接近防止装置
DE10042367A1 (de) * 2000-08-29 2002-05-02 Bosch Gmbh Robert Verfahren und Vorrichtung zur Diagnose der Fahrtüchtigkeit eines Fahrers in einem Kraftfahrzeug
US6909947B2 (en) 2000-10-14 2005-06-21 Motorola, Inc. System and method for driver performance improvement
US6599243B2 (en) * 2001-11-21 2003-07-29 Daimlerchrysler Ag Personalized driver stress prediction using geographical databases
US6822573B2 (en) * 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
DE10355221A1 (de) * 2003-11-26 2005-06-23 Daimlerchrysler Ag Verfahren und Computerprogramm zum Erkennen von Unaufmerksamkeiten des Fahrers eines Fahrzeugs
JP4781104B2 (ja) * 2005-12-28 2011-09-28 国立大学法人名古屋大学 運転行動推定装置、及び運転支援装置
EP1997705B1 (en) * 2005-12-28 2012-06-13 National University Corporation Nagoya University Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device
JP4791874B2 (ja) * 2006-03-31 2011-10-12 株式会社エクォス・リサーチ 運転支援装置及び運転行動判定装置
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
JP2008228759A (ja) * 2007-03-16 2008-10-02 Toyota Central R&D Labs Inc 意識低下判定装置及びプログラム
WO2008126071A2 (en) 2007-04-12 2008-10-23 Aladdin Knowledge Systems Ltd. Piggyback smartcard adapter providing enhanced services
TWI318185B (en) * 2007-07-31 2009-12-11 Univ Nat Taiwan Science Tech Online monitoring method of driver state and system thereof
DE102007046037B3 (de) * 2007-09-26 2009-04-16 Siemens Ag Vorrichtung zur Erhöhung der Sicherheit im Straßenverkehr
US20110022298A1 (en) * 2008-04-11 2011-01-27 Volvo Technology Corporation Method and system for modifying a drive plan of a vehicle towards a destination
JP5444649B2 (ja) * 2008-07-08 2014-03-19 日産自動車株式会社 飲酒運転検出装置
DE102010034599A1 (de) * 2010-08-16 2012-02-16 Hooshiar Mahdjour Verfahren zur Erfassung des Benutzerprofils zur Müdigkeitserkennung eines Fahrzeugfahrers
US20120206252A1 (en) 2011-02-16 2012-08-16 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning system
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
EP2564765B1 (en) * 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
EP2564766B1 (en) * 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator
KR101646401B1 (ko) * 2014-12-08 2016-08-12 현대자동차주식회사 운전자의 졸음상태 판단 시스템 및 그 판단 방법

Similar Documents

Publication Publication Date Title
JP2015532743A5 (ja)
JP6219952B2 (ja) ドライバの運転状態を判断する方法
Du et al. Psychophysiological responses to takeover requests in conditionally automated driving
Ba et al. Crash prediction with behavioral and physiological features for advanced vehicle collision avoidance system
McDonald et al. Real-time detection of drowsiness related lane departures using steering wheel angle
TWI447039B (zh) 駕駛行為分析警示系統與方法
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
JP4791874B2 (ja) 運転支援装置及び運転行動判定装置
CN108394414A (zh) 清醒度判定系统以及清醒度判定方法
JP2020531929A (ja) テレメトリデータおよびウェアラブルセンサデータを用いたレーシングデータ分析のためのシステムおよび方法
Abbood et al. Prediction of driver fatigue: Approaches and open challenges
Wang et al. Modeling and recognition of driving fatigue state based on RR intervals of ECG data
JP5862407B2 (ja) 生体情報処理装置及び生体情報処理方法
Abas et al. Non-intrusive drowsiness detection by employing Support Vector Machine
Salzillo et al. Evaluation of driver drowsiness based on real-time face analysis
Larue et al. Predicting reduced driver alertness on monotonous highways
JP2011227883A (ja) 運転能力判定装置及び運転能力判定方法
Vasudevan et al. Driver drowsiness monitoring by learning vehicle telemetry data
Zhang et al. Structural analysis of driver fatigue behavior: a systematic review
JP6810135B2 (ja) 慢性閉塞性ブロンコニューマティを患う患者の症状悪化が迫っていることを検出及び早期予測するシステム
CN109858178A (zh) 一种基于智能手环的营运车辆驾驶员疲劳预警方法
CN107007292B (zh) 用于获知疲劳的方法
JP3976035B2 (ja) 運転者モニター装置とこれを用いた安全装置
Wu et al. Driver's Hand-Foot Coordination and Global-Regional Brain Functional Connectivity under Fatigue: Via Graph Theory and Explainable Artificial Intelligence
Adarsh et al. Drowsiness Detection System in Real Time Based on Behavioral Characteristics of Driver using Machine Learning Approach