JP2018127112A - 覚醒度推定装置及び覚醒度推定方法 - Google Patents
覚醒度推定装置及び覚醒度推定方法 Download PDFInfo
- Publication number
- JP2018127112A JP2018127112A JP2017021599A JP2017021599A JP2018127112A JP 2018127112 A JP2018127112 A JP 2018127112A JP 2017021599 A JP2017021599 A JP 2017021599A JP 2017021599 A JP2017021599 A JP 2017021599A JP 2018127112 A JP2018127112 A JP 2018127112A
- Authority
- JP
- Japan
- Prior art keywords
- arousal level
- level
- driver
- unit
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Cardiology (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Dentistry (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
以下、本開示の基礎となった知見について説明する。
以下、実施の形態に係る運転支援装置について説明する。
図1は、本実施の形態における運転支援装置1の構成の一例を示すブロック図である。
図2Aは、図1に示す運転操作部2の詳細構成の一例を示すブロック図である。
図2Bは、図1に示す周辺環境認識部3の詳細構成の一例を示すブロック図である。
図2Cは、図1に示す自車両位置検出部4の詳細構成の一例を示すブロック図である。
目標走行状態決定部5は、目標とすべき自車両の走行状態である目標走行状態を決定する。図1に示す例では、目標走行状態決定部5は、周辺環境認識部3から得られる現在の周辺環境情報と、自車両位置検出部4から得られる現在の自車両の位置と、車両挙動検出部11から得られる現在の自車両の挙動とに基づいて、目標走行状態の情報を算出する。なお、走行状態の情報は、車両の位置、その位置での車両の速度または向き等の車両の走行に関連する情報を含む。目標走行状態は、既知の方法により算出できるのでここでの説明は省略する。
運転モード選択部6は、車両の運転モードを自動運転モード及び手動運転モードのいずれかに切り替える。図1に示す例では、運転モード選択部6は、運転操作部2の運転モード選択スイッチ25のドライバによる操作に応じて、運転モードを自動運転モード及び手動運転モードのいずれかに切り替える。
車両制御部7は、例えばソフトウェアと協働して所定の機能を実現するCPU等で構成され、現在選択されている運転モードに基づいて、車両の走行制御を行う。例えば、車両制御部7は、自動運転モードでは、目標走行状態決定部5から得られる目標走行状態に基づいて、自車両の加速、操舵及び制動用の各種アクチュエータ並びにECU等を制御する。また、例えば、車両制御部7は、手動運転モードでは、運転操作部2に対するドライバのの操作に応じて、自車両の加速、操舵及び制動用の各種アクチュエータ並びにECU等を制御する。
通知部8は、例えば、カーナビなどの各種車載ディスプレイ、スピーカまたは振動アクチュエータを内蔵したドライバシート等で構成される。通知部8は、ドライバが選択した運転モードの通知または現在の車両の位置を示す情報を通知する。また、通知部8は、覚醒度推定部15により推定された覚醒度に応じて、ドライバに予め定められた情報を通知する。例えば、通知部8は、ドライバの覚醒度が所定値より低くなったとき、すなわち、ドライバに所定値以上の眠気が生じていると判断されるときには、ドライバの眠気を覚ますような注意喚起または警告を通知する。
覚醒度推定装置10は、本開示における覚醒度推定装置の一例であり、車両走行中のドライバの覚醒度を推定する。以下、図を参照しながら、覚醒度推定装置10の具体的な構成等について説明する。
図3は、図1に示す車両挙動検出部11及び第1の覚醒度認識部12の詳細構成の一例を示すブロック図である。図4は、図1に示す生体情報検出部16及び第2の覚醒度認識部17の詳細構成の一例を示すブロック図である。
車両挙動検出部11は、運転情報を検出する。本実施の形態では、車両挙動検出部11は、ドライバの運転操作及び車両の挙動を示す運転情報を検出するためのセンサ群で構成される。このセンサ群は、ドライバの運転操作を検出するセンサと車両の挙動を検出するセンサとを有する。
第1の覚醒度認識部12は、車両挙動検出部11により検出された運転情報からドライバの第1の覚醒度を認識する。ここで、例えば当該運転情報は、車両の操舵角を示す情報でもよいし、車両のアクセルペダル22およびブレーキペダル23の位置を示す情報でもよいし、車両の加速度を示す情報でもよい。また、例えば当該運転情報は、車両の速度を示す情報でもよいし、ヨーレートを示す情報でもよい。本実施の形態では、第1の覚醒度認識部12は、図3に示すように、運転情報特徴抽出部121と、第1の覚醒度識別部122とを備え、周辺環境認識部3で認識された自車両の周辺環境と、車両挙動検出部11で検出された運転情報を用いて、ドライバの第1の覚醒度を認識する。
運転情報特徴抽出部121は、周辺環境認識部3で認識された自車両の周辺環境と車両挙動検出部11で検出された運転情報とから運転情報特徴を抽出する。
第1の覚醒度識別部122は、運転情報特徴抽出部121により抽出された運転情報特徴を用いて、ドライバの第1の覚醒度を識別する。
生体情報検出部16は、ドライバの1以上の生体情報を検出する。本実施の形態では、生体情報検出部16は、ドライバの生体情報を検出するためのセンサ群で構成される。このセンサ群は、例えば図4に示すように、車内カメラ161と、マイク162と、心拍センサ163と、血圧センサ164と、体動センサ165とを有する。なお、このセンサ群は、さらに、ドライバの呼吸変動を検出する呼吸センサ(不図示)、ドライバの皮膚温度を検出する皮膚温検出センサ(不図示)などを有するとしてもよい。
第2の覚醒度認識部17は、生体情報検出部16により検出された1以上の生体情報からドライバの第2の覚醒度を認識する。ここで、当該生体情報は、例えばドライバの心拍変動を示す情報でもよいし、ドライバの顔が映った顔画像でもよいし、ドライバの体動を示す情報でもよい。また、当該生体情報は、例えばドライバの呼吸を示す情報でもよいし、ドライバの血圧を示す情報でもよい。本実施の形態では、第2の覚醒度認識部17は、図4に示すように、生体特徴抽出部171と、第2の覚醒度識別部172とを備える。なお、第2の覚醒度認識部17は、後述する教師データ生成部152から教師データを受信した場合、その教師データに基づいて、第2の覚醒度識別部172の学習を行う。
生体特徴抽出部171は、生体情報検出部16により検出された複数の生体情報それぞれから、ドライバの生理状態に関する生体情報特徴を抽出する。
第2の覚醒度識別部172は、生体特徴抽出部171により抽出された生体情報特徴を用いて、ドライバの第2の覚醒度を識別する。
覚醒度推定部15は、第1の覚醒度認識部12が認識する第1の覚醒度、及び、第2の覚醒度認識部17が認識する第2の覚醒度の少なくとも一方から、車両走行中におけるドライバの第3の覚醒度を推定する。
覚醒度検証部151は、第1の覚醒度認識部12から得られる第1の覚醒度、または、第2の覚醒度認識部17から得られる第2の覚醒度の有効性を検証する。ここで、第1の覚醒度の有効性の検証方法は、第1の覚醒度識別部122から得られる識別結果に含まれる覚醒度レベルの信頼度が、予め定められたしきい値以上なら、有効であると判定すればよい。また、第2の覚醒度の有効性の検証方法は、上述した第1の覚醒度と同じ方法を用いればよい。
教師データ生成部152は、手動運転モード時に、教師データを第1の覚醒度から生成し、第2の覚醒度認識部17に出力することで、第2の覚醒度識別部172に学習処理を行わせる。より具体的には、教師データ生成部152は、覚醒度検証部151から学習トリガ信号を受信したときには、第1の覚醒度を用いて、教師データを生成して、第2の覚醒度識別部172に出力する。なお、教師データ生成部152は、教師データを、第2の覚醒度識別部172で用いる覚醒度識別モデルに合わせて生成する。
次に、以上のように構成された覚醒度推定装置10の動作について説明する。
図6は、本実施の形態における運転支援装置1が行う動作を説明するためのフローチャートである。なお、上述したように、運転支援装置1は、運転モード選択部6において、車両の走行制御を自動的に行う自動運転モードと、ドライバによる手動運転モードとを切り替えることが可能である。また、運転支援装置1は、運転モードに関わらず、周辺環境認識部3または自車両位置検出部4によって、先行車両との車間距離等、走行車両の周囲の周辺環境に関する情報を常にモニタリングしている。
以上のように、本実施の形態によれば、自動運転モードと手動運転モードとがある車両のドライバの覚醒度を高精度に推定することができる覚醒度推定装置を実現できる。
上記実施の形態では、教師データ生成部152が生成した教師データを用いて、第2の覚醒度識別部172が用いる覚醒度識別モデルそのものを学習する方法について説明したが、これに限らない。教師データである第1の覚醒度を用いて、生体特徴抽出部171から得られた複数の生体情報特徴から、第2の覚醒度の識別に有効な生体情報特徴を選択して学習処理を行ってもよい。この場合を変形例として以下に説明する。
生体特徴抽出部171Aは、生体情報検出部16により検出された複数の生体情報それぞれから生体情報特徴を抽出する。生体特徴抽出部171Aは、抽出した生体情報特徴を生体特徴選択部174に出力する。なお、生体特徴抽出部171Aは、自動運転モードにおいては抽出した生体情報特徴を第2の覚醒度識別部172Aに出力するとしてもよい。
生体情報特徴記憶部173は、生体特徴抽出部171から得られる生体情報特徴が記憶される。生体情報特徴記憶部173は、教師データ生成部152から得られる教師データが記憶されてもよい。
生体特徴選択部174は、手動運転モードにおいて、生体特徴抽出部171により抽出された複数の生体情報特徴の中から、教師データ生成部152で第1の覚醒度から生成された教師データと相関の高い生体情報特徴を選択する。
第2の覚醒度識別部172Aは、自動運転モード及び手動運転モードにおいて、生体特徴選択部174で選択された生体情報特徴を用いて、第2の覚醒度を識別する。
以上のように、本変形例によれば、自動運転モードと手動運転モードとがある車両のドライバの覚醒度を高精度に推定することができる覚醒度推定装置を実現できる。
本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、特許請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
2 運転操作部
3 周辺環境認識部
4 自車両位置検出部
5 目標走行状態決定部
6 運転モード選択部
7 車両制御部
8 通知部
10、10A 覚醒度推定装置
11 車両挙動検出部
12 第1の覚醒度認識部
15 覚醒度推定部
16 生体情報検出部
17、17A 第2の覚醒度認識部
21 ステアリングホイール
22 アクセルペダル
23 ブレーキペダル
24 操舵レバー
25 運転モード選択スイッチ
31 カメラ
32 レーダ
33 道路形状認識部
34 路面状態認識部
35 周辺物体認識部
41 GPS
42 車両走行位置算出部
43 地図データ記憶部
111 操舵角センサ
112 アクセルペダル位置センサ
113 ブレーキペダル位置センサ
114 車速センサ
115 加速度センサ
116 ヨーレートセンサ
121 運転情報特徴抽出部
122 第1の覚醒度識別部
131 車間距離特徴抽出部
132 車両横変位量特徴抽出部
133 操舵角特徴抽出部
134 アクセルペダル位置特徴抽出部
135 ブレーキペダル位置特徴抽出部
136 車速特徴抽出部
137 車両前後方向加速度特徴抽出部
138 車両左右方向加速度特徴抽出部
139 ヨーレート特徴抽出部
151 覚醒度検証部
152 教師データ生成部
161 車内カメラ
162 マイク
163 心拍センサ
164 血圧センサ
165 体動センサ
171、171A 生体特徴抽出部
172、172A 第2の覚醒度識別部
173 生体情報特徴記憶部
174 生体特徴選択部
181 顔画像抽出部
182 開眼度検出部
183 開眼度特徴抽出部
184 瞬目検出部
185 瞬目特徴抽出部
186 頭部位置検出部
187 頭部位置特徴抽出部
188 呼吸音検出部
189 呼吸特徴抽出部
190 心拍変動検出部
191 心拍変動特徴抽出部
192 血圧変動検出部
193 血圧変動特徴抽出部
194 体動検出部
195 体動特徴抽出部
Claims (14)
- 車両のドライバの覚醒度を推定する覚醒度推定装置であって、
前記車両では、前記車両の走行制御を自動的に行う自動運転モードと、前記車両の走行制御をドライバが行う手動運転モードとが切り替え可能であり、
前記車両の運転情報を検出する車両挙動検出部と、
前記車両挙動検出部により検出された前記運転情報から前記ドライバの第1の覚醒度を認識する第1の覚醒度認識部と、
前記ドライバの1以上の生体情報を検出する生体情報検出部と、
前記生体情報検出部により検出された前記1以上の生体情報から前記ドライバの第2の覚醒度を認識する第2の覚醒度認識部と、
前記第1の覚醒度認識部が認識する前記第1の覚醒度、及び、前記第2の覚醒度認識部が認識する前記第2の覚醒度の少なくとも一方から、前記車両が走行中における前記ドライバの第3の覚醒度を推定する覚醒度推定部とを備え、
前記覚醒度推定部は、
前記手動運転モードでは、前記第1の覚醒度と前記第2の覚醒度とから、第3の覚醒度を推定し、
前記自動運転モードでは、前記第2の覚醒度から第3の覚醒度を推定する、
覚醒度推定装置。 - 前記覚醒度推定部は、
前記自動運転モードでは、前記第2の覚醒度を前記第3の覚醒度とすることにより、前記第2の覚醒度から前記第3の覚醒度を推定する、
請求項1に記載の覚醒度推定装置。 - 前記覚醒度推定部は、
前記手動運転モードでは、前記第1の覚醒度及び前記第2の覚醒度の信頼度が閾値以上か否かを判定し、前記信頼度が前記閾値以上である前記第1の覚醒度及び前記第2の覚醒度の一方を第3の覚醒度とすることにより、前記第3の覚醒度を推定する、
請求項1または2に記載の覚醒度推定装置。 - 前記覚醒度推定部は、
前記手動運転モードでは、前記第1の覚醒度及び前記第2の覚醒度それぞれの信頼度が閾値以上であり、かつ、前記第1の覚醒度及び前記第2の覚醒度が異なる場合、前記第1の覚醒度を前記第3の覚醒度とすることにより、前記第3の覚醒度を推定する、
請求項3に記載の覚醒度推定装置。 - 前記覚醒度推定部は、
前記手動運転モードにおいて、前記第1の覚醒度と前記第2の覚醒度とが異なる場合、前記第1の覚醒度に基づいて生成した教師データを用いて前記第2の覚醒度認識部が前記第1の覚醒度を認識結果として出力するように、前記第2の覚醒度認識部に学習処理を行わせる、
請求項4に記載の覚醒度推定装置。 - 前記学習処理では、
前記ドライバの1以上の生体情報と前記ドライバの覚醒度との関係を示している、前記第2の覚醒度認識の覚醒度識別モデルが、前記第1の覚醒度を識別結果として出力されるように更新される、
請求項5に記載の覚醒度推定装置。
- 前記第2の覚醒度認識部は、
前記生体情報検出部により検出された複数の生体情報それぞれから、前記ドライバの生理状態に関する生体情報特徴を抽出する生体特徴抽出部と、
前記生体特徴抽出部により抽出された複数の生体情報特徴の中から、前記第1の覚醒度から生成された前記教師データと相関の高い生体情報特徴を選択する生体特徴選択部とを備え、
前記覚醒度推定部は、前記第2の覚醒度認識部が、前記生体特徴選択部により選択された生体情報特徴を教師データとして用いて、前記第1の覚醒度を認識結果として出力されるように、前記第2の覚醒度認識部に学習処理を行わせる、
請求項5に記載の覚醒度推定装置。 - 前記生体情報は、前記ドライバの心拍変動を示す情報である、
請求項1〜7のいずれか1項に記載の覚醒度推定装置。 - 前記生体情報は、前記ドライバの顔が映った顔画像である、
請求項1〜7のいずれか1項に記載の覚醒度推定装置。 - 前記生体情報は、前記ドライバの体動を示す情報である、
請求項1〜7のいずれか1項に記載の覚醒度推定装置。 - 前記運転情報は、前記車両の操舵角を示す情報である、
請求項1〜10のいずれか1項に記載の覚醒度推定装置。 - 前記運転情報は、前記車両のアクセルペダル及びブレーキペダルの位置を示す情報である、
請求項1〜10のいずれか1項に記載の覚醒度推定装置。 - 前記運転情報は、前記車両の加速度を示す情報である、
請求項1〜10のいずれか1項に記載の覚醒度推定装置。 - 車両のドライバの覚醒度を推定する覚醒度推定方法であって、
前記車両では、前記車両の走行制御を自動的に行う自動運転モードと、前記車両の走行制御をドライバが行う手動運転モードとが切替え可能であり、
前記車両の運転情報を検出する車両挙動検出ステップと、
前記車両挙動検出ステップにおいて検出された前記運転情報から前記ドライバの第1の覚醒度を認識する第1の覚醒度認識ステップと、
前記ドライバの生体情報を検出する生体情報検出ステップと、
前記生体情報検出ステップにおいて検出された前記生体情報から前記ドライバの第2の覚醒度を認識する第2の覚醒度認識ステップと、
前記第1の覚醒度認識ステップにおいて認識される前記第1の覚醒度、及び、前記第2の覚醒度認識ステップにおいて認識される前記第2の覚醒度の少なくとも一方から、前記車両が走行中における前記ドライバの第3の覚醒度を推定する覚醒度推定ステップとを含み、
前記覚醒度推定ステップにおいて、
前記手動運転モードでは、前記第1の覚醒度と前記第2の覚醒度とに基づいて、第3の覚醒度を推定し、
前記自動運転モードでは、前記第2の覚醒度に基づいて第3の覚醒度を推定する、
覚醒度推定方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017021599A JP6998564B2 (ja) | 2017-02-08 | 2017-02-08 | 覚醒度推定装置及び覚醒度推定方法 |
CN201711089481.8A CN108394414B (zh) | 2017-02-08 | 2017-11-08 | 清醒度判定系统以及清醒度判定方法 |
EP19217119.7A EP3657457B1 (en) | 2017-02-08 | 2017-12-08 | Arousal level assessment system and arousal level assessment method |
EP17206259.8A EP3361462B1 (en) | 2017-02-08 | 2017-12-08 | Arousal level assessment system and arousal level assessment method |
US15/847,994 US10231660B2 (en) | 2017-02-08 | 2017-12-20 | System and method for assessing arousal level of driver of vehicle that can select manual driving mode or automated driving mode |
US16/259,409 US10485468B2 (en) | 2017-02-08 | 2019-01-28 | System and method for assessing arousal level of driver of vehicle that can select manual driving mode or automated driving mode |
US16/661,574 US10786193B2 (en) | 2017-02-08 | 2019-10-23 | System and method for assessing arousal level of driver of vehicle that can select manual driving mode or automated driving mode |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017021599A JP6998564B2 (ja) | 2017-02-08 | 2017-02-08 | 覚醒度推定装置及び覚醒度推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018127112A true JP2018127112A (ja) | 2018-08-16 |
JP6998564B2 JP6998564B2 (ja) | 2022-01-18 |
Family
ID=60813588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017021599A Active JP6998564B2 (ja) | 2017-02-08 | 2017-02-08 | 覚醒度推定装置及び覚醒度推定方法 |
Country Status (4)
Country | Link |
---|---|
US (3) | US10231660B2 (ja) |
EP (2) | EP3361462B1 (ja) |
JP (1) | JP6998564B2 (ja) |
CN (1) | CN108394414B (ja) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018134148A (ja) * | 2017-02-20 | 2018-08-30 | 株式会社東海理化電機製作所 | 生体状態推定装置 |
JP6689470B1 (ja) * | 2019-06-18 | 2020-04-28 | 三菱電機株式会社 | 情報処理装置、プログラム及び情報処理方法 |
CN111409551A (zh) * | 2018-12-18 | 2020-07-14 | 丰田自动车株式会社 | 注意提醒装置及注意提醒系统 |
JP2020177303A (ja) * | 2019-04-15 | 2020-10-29 | パナソニックIpマネジメント株式会社 | 監視システム、移動体、監視方法及びプログラム |
WO2020230895A1 (ja) * | 2019-05-15 | 2020-11-19 | ダイキン工業株式会社 | 温熱快適性を推定するためのシステム |
JP2020189081A (ja) * | 2019-05-15 | 2020-11-26 | ダイキン工業株式会社 | 温熱快適性を推定するためのシステム |
EP3785608A1 (en) | 2019-08-27 | 2021-03-03 | Clarion Co., Ltd. | State extrapolation device, state extrapolation program, and state extrapolation method |
WO2021053780A1 (ja) * | 2019-09-19 | 2021-03-25 | 三菱電機株式会社 | 認知機能推定装置、学習装置、および、認知機能推定方法 |
JP2021077135A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 車両制御装置および運転者状態判定方法 |
JP2021077134A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 車両制御装置および運転者状態判定方法 |
JP2021096530A (ja) * | 2019-12-13 | 2021-06-24 | トヨタ自動車株式会社 | 運転支援装置、運転支援プログラムおよび運転支援システム |
WO2021200341A1 (ja) * | 2020-03-31 | 2021-10-07 | いすゞ自動車株式会社 | 許否決定装置 |
JPWO2022009401A1 (ja) * | 2020-07-09 | 2022-01-13 | ||
WO2022050200A1 (ja) * | 2020-09-07 | 2022-03-10 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
CN114368396A (zh) * | 2022-01-27 | 2022-04-19 | 东风商用车有限公司 | 自动驾驶系统管理方法、装置、存储介质及电子设备 |
WO2022172391A1 (ja) * | 2021-02-12 | 2022-08-18 | 三菱電機株式会社 | 乗員状態判定装置および乗員状態判定方法 |
WO2023204218A1 (ja) * | 2022-04-18 | 2023-10-26 | 幸男 篠崎 | 認知力推定装置、及びプログラム |
WO2023223699A1 (ja) * | 2022-05-16 | 2023-11-23 | 日立Astemo株式会社 | 走行支援装置 |
JP7519365B2 (ja) | 2019-02-25 | 2024-07-19 | コーニンクレッカ フィリップス エヌ ヴェ | 被検体の相対的認知能力の決定 |
WO2024184985A1 (ja) * | 2023-03-06 | 2024-09-12 | 三菱電機株式会社 | 眠気判定装置及び眠気判定方法 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6904849B2 (ja) * | 2017-08-14 | 2021-07-21 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム。 |
US10945651B2 (en) * | 2018-07-05 | 2021-03-16 | Denso Corporation | Arousal level determination device |
CN109445426A (zh) | 2018-09-06 | 2019-03-08 | 百度在线网络技术(北京)有限公司 | 自动驾驶模式的切换方法、装置及可读存储介质 |
CN109532830B (zh) * | 2018-11-26 | 2020-09-15 | 爱驰汽车有限公司 | 车辆及其横向控制方法、系统、电子设备和存储介质 |
JP7151495B2 (ja) * | 2019-01-16 | 2022-10-12 | トヨタ自動車株式会社 | 自動運転システム |
US10713948B1 (en) * | 2019-01-31 | 2020-07-14 | StradVision, Inc. | Method and device for alerting abnormal driver situation detected by using humans' status recognition via V2V connection |
KR102599558B1 (ko) * | 2019-10-24 | 2023-11-08 | 현대모비스 주식회사 | 자동차용 센서 통합 모듈 |
KR20210051054A (ko) * | 2019-10-29 | 2021-05-10 | 현대자동차주식회사 | 뇌파 신호를 이용한 모빌리티 탑승자의 승차감 판단 장치 |
WO2021261167A1 (ja) * | 2020-06-26 | 2021-12-30 | ソニーグループ株式会社 | 情報処理システム、情報処理装置および情報処理方法 |
CN111891128A (zh) * | 2020-08-13 | 2020-11-06 | 广州小马智行科技有限公司 | 车辆的控制方法及车辆、运载工具 |
US20220379900A1 (en) * | 2021-05-13 | 2022-12-01 | Bendix Commercial Vehicle Systems Llc | Online Driver Delay and Frequency Response Model |
CN113967014B (zh) * | 2021-12-22 | 2022-04-08 | 成都航空职业技术学院 | 基于大数据的学生行为分析装置、系统及方法 |
CN114261395B (zh) * | 2021-12-27 | 2024-04-09 | 深圳市驿航科技有限公司 | 信息提醒方法及相关设备和介质 |
US11878707B2 (en) * | 2022-03-11 | 2024-01-23 | International Business Machines Corporation | Augmented reality overlay based on self-driving mode |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017146744A (ja) * | 2016-02-16 | 2017-08-24 | 株式会社デンソー | ドライバ状態判定装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06171391A (ja) | 1992-12-03 | 1994-06-21 | Toyota Motor Corp | 車両用走行制御装置 |
JPH07257220A (ja) * | 1994-03-22 | 1995-10-09 | Toyota Motor Corp | 車両用覚醒度評価装置 |
WO2005112764A1 (ja) * | 2004-05-24 | 2005-12-01 | Pioneer Corporation | 生体情報検出装置 |
JP3976035B2 (ja) * | 2004-07-16 | 2007-09-12 | 松下電器産業株式会社 | 運転者モニター装置とこれを用いた安全装置 |
DE102012208822A1 (de) * | 2012-05-25 | 2013-11-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Fahrerzustandserkennung |
CN104540701B (zh) * | 2012-08-14 | 2017-11-07 | 沃尔沃拉斯特瓦格纳公司 | 用于确定驾驶员的操作状态的方法 |
JP2014181020A (ja) | 2013-03-21 | 2014-09-29 | Denso Corp | 走行制御装置 |
US8874301B1 (en) * | 2013-07-09 | 2014-10-28 | Ford Global Technologies, Llc | Autonomous vehicle with driver presence and physiological monitoring |
CN103770733B (zh) * | 2014-01-15 | 2017-01-11 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测方法及装置 |
JP6213282B2 (ja) * | 2014-02-12 | 2017-10-18 | 株式会社デンソー | 運転支援装置 |
JP6226135B2 (ja) | 2014-05-19 | 2017-11-08 | マツダ株式会社 | 居眠り運転防止装置 |
JP6135618B2 (ja) | 2014-08-08 | 2017-05-31 | トヨタ自動車株式会社 | 車両制御装置 |
US9771081B2 (en) * | 2014-09-29 | 2017-09-26 | The Boeing Company | System for fatigue detection using a suite of physiological measurement devices |
CN107207013B (zh) * | 2014-12-12 | 2020-01-21 | 索尼公司 | 自动驾驶控制设备以及自动驾驶控制方法和程序 |
US9688271B2 (en) * | 2015-03-11 | 2017-06-27 | Elwha Llc | Occupant based vehicle control |
JP2016173651A (ja) * | 2015-03-16 | 2016-09-29 | 株式会社デンソーアイティーラボラトリ | ドライバ状態改善支援装置及びドライバ状態改善支援方法 |
JP6601028B2 (ja) * | 2015-07-13 | 2019-11-06 | 日産自動車株式会社 | 車両運転制御装置及び車両運転制御方法 |
JP6409699B2 (ja) * | 2015-07-13 | 2018-10-24 | トヨタ自動車株式会社 | 自動運転システム |
US9786192B2 (en) * | 2015-10-14 | 2017-10-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | Assessing driver readiness for transition between operational modes of an autonomous vehicle |
US20180093675A1 (en) * | 2016-09-30 | 2018-04-05 | Ford Global Technologies, Llc | Wake Alarm For Vehicles With An Autonomous Mode |
US11623647B2 (en) * | 2016-10-27 | 2023-04-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Driver and vehicle monitoring feedback system for an autonomous vehicle |
US10467488B2 (en) * | 2016-11-21 | 2019-11-05 | TeleLingo | Method to analyze attention margin and to prevent inattentive and unsafe driving |
-
2017
- 2017-02-08 JP JP2017021599A patent/JP6998564B2/ja active Active
- 2017-11-08 CN CN201711089481.8A patent/CN108394414B/zh active Active
- 2017-12-08 EP EP17206259.8A patent/EP3361462B1/en active Active
- 2017-12-08 EP EP19217119.7A patent/EP3657457B1/en active Active
- 2017-12-20 US US15/847,994 patent/US10231660B2/en active Active
-
2019
- 2019-01-28 US US16/259,409 patent/US10485468B2/en active Active
- 2019-10-23 US US16/661,574 patent/US10786193B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017146744A (ja) * | 2016-02-16 | 2017-08-24 | 株式会社デンソー | ドライバ状態判定装置 |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018134148A (ja) * | 2017-02-20 | 2018-08-30 | 株式会社東海理化電機製作所 | 生体状態推定装置 |
CN111409551A (zh) * | 2018-12-18 | 2020-07-14 | 丰田自动车株式会社 | 注意提醒装置及注意提醒系统 |
JP7519365B2 (ja) | 2019-02-25 | 2024-07-19 | コーニンクレッカ フィリップス エヌ ヴェ | 被検体の相対的認知能力の決定 |
JP2020177303A (ja) * | 2019-04-15 | 2020-10-29 | パナソニックIpマネジメント株式会社 | 監視システム、移動体、監視方法及びプログラム |
JP7281733B2 (ja) | 2019-04-15 | 2023-05-26 | パナソニックIpマネジメント株式会社 | 監視システム、移動体、監視方法及びプログラム |
WO2020230895A1 (ja) * | 2019-05-15 | 2020-11-19 | ダイキン工業株式会社 | 温熱快適性を推定するためのシステム |
JP2020189081A (ja) * | 2019-05-15 | 2020-11-26 | ダイキン工業株式会社 | 温熱快適性を推定するためのシステム |
JP6689470B1 (ja) * | 2019-06-18 | 2020-04-28 | 三菱電機株式会社 | 情報処理装置、プログラム及び情報処理方法 |
WO2020255238A1 (ja) * | 2019-06-18 | 2020-12-24 | 三菱電機株式会社 | 情報処理装置、プログラム及び情報処理方法 |
US11627918B2 (en) | 2019-08-27 | 2023-04-18 | Clarion Co., Ltd. | State extrapolation device, state extrapolation program, and state extrapolation method |
EP3785608A1 (en) | 2019-08-27 | 2021-03-03 | Clarion Co., Ltd. | State extrapolation device, state extrapolation program, and state extrapolation method |
WO2021053780A1 (ja) * | 2019-09-19 | 2021-03-25 | 三菱電機株式会社 | 認知機能推定装置、学習装置、および、認知機能推定方法 |
JPWO2021053780A1 (ja) * | 2019-09-19 | 2021-11-18 | 三菱電機株式会社 | 認知機能推定装置、学習装置、および、認知機能推定方法 |
JP7031072B2 (ja) | 2019-09-19 | 2022-03-07 | 三菱電機株式会社 | 認知機能推定装置、学習装置、および、認知機能推定方法 |
JP7342637B2 (ja) | 2019-11-11 | 2023-09-12 | マツダ株式会社 | 車両制御装置および運転者状態判定方法 |
JP7342636B2 (ja) | 2019-11-11 | 2023-09-12 | マツダ株式会社 | 車両制御装置および運転者状態判定方法 |
JP2021077135A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 車両制御装置および運転者状態判定方法 |
JP2021077134A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 車両制御装置および運転者状態判定方法 |
JP2021096530A (ja) * | 2019-12-13 | 2021-06-24 | トヨタ自動車株式会社 | 運転支援装置、運転支援プログラムおよび運転支援システム |
JP2021163124A (ja) * | 2020-03-31 | 2021-10-11 | いすゞ自動車株式会社 | 許否決定装置 |
JP7351253B2 (ja) | 2020-03-31 | 2023-09-27 | いすゞ自動車株式会社 | 許否決定装置 |
WO2021200341A1 (ja) * | 2020-03-31 | 2021-10-07 | いすゞ自動車株式会社 | 許否決定装置 |
WO2022009401A1 (ja) * | 2020-07-09 | 2022-01-13 | 三菱電機株式会社 | 乗員状態検出装置および乗員状態検出方法 |
JPWO2022009401A1 (ja) * | 2020-07-09 | 2022-01-13 | ||
JP7286022B2 (ja) | 2020-07-09 | 2023-06-02 | 三菱電機株式会社 | 乗員状態検出装置および乗員状態検出方法 |
WO2022050200A1 (ja) * | 2020-09-07 | 2022-03-10 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
JP7275409B2 (ja) | 2021-02-12 | 2023-05-17 | 三菱電機株式会社 | 乗員状態判定装置および乗員状態判定方法 |
JPWO2022172391A1 (ja) * | 2021-02-12 | 2022-08-18 | ||
WO2022172391A1 (ja) * | 2021-02-12 | 2022-08-18 | 三菱電機株式会社 | 乗員状態判定装置および乗員状態判定方法 |
CN114368396A (zh) * | 2022-01-27 | 2022-04-19 | 东风商用车有限公司 | 自动驾驶系统管理方法、装置、存储介质及电子设备 |
WO2023204218A1 (ja) * | 2022-04-18 | 2023-10-26 | 幸男 篠崎 | 認知力推定装置、及びプログラム |
WO2023223699A1 (ja) * | 2022-05-16 | 2023-11-23 | 日立Astemo株式会社 | 走行支援装置 |
WO2024184985A1 (ja) * | 2023-03-06 | 2024-09-12 | 三菱電機株式会社 | 眠気判定装置及び眠気判定方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3657457B1 (en) | 2023-04-05 |
US20190167175A1 (en) | 2019-06-06 |
EP3361462B1 (en) | 2020-02-12 |
US20180220948A1 (en) | 2018-08-09 |
EP3361462A1 (en) | 2018-08-15 |
CN108394414B (zh) | 2023-04-07 |
US10786193B2 (en) | 2020-09-29 |
CN108394414A (zh) | 2018-08-14 |
US10231660B2 (en) | 2019-03-19 |
EP3657457A1 (en) | 2020-05-27 |
US20200054264A1 (en) | 2020-02-20 |
US10485468B2 (en) | 2019-11-26 |
JP6998564B2 (ja) | 2022-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6998564B2 (ja) | 覚醒度推定装置及び覚醒度推定方法 | |
US11027608B2 (en) | Driving assistance apparatus and driving assistance method | |
KR102469467B1 (ko) | 차량 안전 지원 장치 및 방법 | |
JP5326521B2 (ja) | 覚醒状態判断装置及び覚醒状態判断方法 | |
US10493914B2 (en) | System and method for vehicle collision mitigation with vulnerable road user context sensing | |
JP6699831B2 (ja) | 運転意識推定装置 | |
US10089543B2 (en) | System and method for detecting distraction and a downward vertical head pose in a vehicle | |
US10150478B2 (en) | System and method for providing a notification of an automated restart of vehicle movement | |
EP2885151B1 (en) | Method for determining the operational state of a driver | |
JP4791874B2 (ja) | 運転支援装置及び運転行動判定装置 | |
JP7357006B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
US20130135092A1 (en) | Driving behavior analysis and warning system and method thereof | |
US11760359B2 (en) | State determination device, state determination program, and computer-readable non-transitory tangible storage medium | |
WO2008090451A2 (en) | Anti-drowsing device and anti-drowsing method | |
US20240000354A1 (en) | Driving characteristic determination device, driving characteristic determination method, and recording medium | |
JP5688811B2 (ja) | 運転者状態推定装置 | |
JP2023072271A (ja) | 運転者状態判定方法及びその装置 | |
JP2022111156A (ja) | 車両制御装置および車両制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211207 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6998564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |