CN107428245B - 用于预测机动车辆驾驶员的警觉水平的设备和方法 - Google Patents
用于预测机动车辆驾驶员的警觉水平的设备和方法 Download PDFInfo
- Publication number
- CN107428245B CN107428245B CN201680018126.9A CN201680018126A CN107428245B CN 107428245 B CN107428245 B CN 107428245B CN 201680018126 A CN201680018126 A CN 201680018126A CN 107428245 B CN107428245 B CN 107428245B
- Authority
- CN
- China
- Prior art keywords
- driver
- alertness
- physiological data
- level
- profiles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000036626 alertness Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims description 31
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 230000001360 synchronised effect Effects 0.000 claims abstract description 7
- 206010048232 Yawning Diseases 0.000 claims description 12
- 241001282135 Poromitra oscitans Species 0.000 claims description 11
- 210000003128 head Anatomy 0.000 claims description 9
- 230000037007 arousal Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 210000000744 eyelid Anatomy 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 206010062519 Poor quality sleep Diseases 0.000 claims description 3
- 230000004397 blinking Effects 0.000 claims description 3
- 230000003945 visual behavior Effects 0.000 description 6
- 238000000537 electroencephalography Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010013980 Dyssomnias Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000013211 curve analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Emergency Alarm Devices (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种用于预测(10)驾驶员的警觉水平的设备，所述设备包括：相机(11)，用于采集所述驾驶员的图像；图像处理模块(13.1)，用于根据所述采集的图像表征所述驾驶员的生理学数据；用于存储在校准阶段期间在驾驶测试过程中以同步的方式采集的、一组标准驾驶员的脑电图仪数据和生理学数据变化曲线图的装置；以及检测模块(13.2)，能够将所述驾驶员的生理学数据变化与所述存储的生理学数据变化曲线图进行比较从而确定满足相似性准则的至少一个曲线图，并根据对已经满足所述相似性准则的生理学数据变化曲线图相对应的所存储的脑电图仪数据曲线图的分析来进行对所述驾驶员的警觉水平的统计预测。
Description
技术领域
本发明涉及一种用于预测机动车辆驾驶员的警觉水平的设备和方法。
背景技术
应用本发明的方法目的具体在于避免驾驶员觉醒不全(hypovigilance)。觉醒不全通常对应于觉醒与睡眠之间的过渡，在其过程中，身体感觉到其观察和分析能力大幅度降低。从觉醒状态到睡眠状态的不知不觉的过渡所引起的这种警觉水平降低是道路上的许多事故的原因。因此，显得至关重要的是能够检测并防止驾驶员的这种危险状态从而提高其安全性。
因而，为了维持与驾驶活动相配的警觉和觉醒水平，驾驶员必须考虑其驾驶时间并定期休息，通常建议每两小时休息一次。然而，这个要求经常与尽快完成旅途的目的相悖。车载系统已知使得可以在车辆的驾驶时间超过两小时的时候警告驾驶员，但这些警告系统本身就不足，并且具体地，它们无法使得可以检测驾驶员的真实警觉水平或实时检测驾驶员的警觉水平变化。
同样已知的是使得可以检测觉醒不全的系统，所述系统使用脑电图学所记录的数据，对大脑活动的分析(脑电图或EEG)事实上被认为能够提供具体代表人类的警觉状态的指标。然而，虽然这种技术使得可以以高准确度评估人的警觉水平，EEG的表征使得它必须使用放置在头皮上的电极来产生。因此，似乎这种方法并不非常符合人类工程学或甚至是危险的，如果它被应用于在活动的驾驶员的话。
从美国专利US 8,009,051同样已知的是一种用于机动车辆的报警设备，所述报警设备能够通过生成对驾驶员的刺激来确定所述驾驶员的警觉水平并检测所述驾驶员对所述刺激的反应，所述刺激是基于对车辆上所安装的相机所提供的驾驶员的视频信号的分析生成的。基于各种图像处理和诊断技术，所述警告设备被设计用于检测驾驶员对刺激的反应，例如基于驾驶员所执行的预定动作，比如眨眼、或头或嘴运动。然而，驾驶员的警觉水平变化在个体之间不同。同样，为了能够使这种系统适于一组驾驶员，驾驶员必须通过确认系统所做出的警觉水平估计或通过使其失效来与系统交互，这是驾驶员分心的来源并因此潜在地是事故的来源。
使用安装在车辆中的相机还使得可以基于正降低的警觉的视觉指标(比如眨眼、打哈欠或驾驶员看向的方向)发展警觉水平检测系统。然而，到现在为止没有证明任何系统足够高效，显著地是因为觉醒不全在不同个体中以不同方式表现的事实，这使得难以定义用于检测这种现象的公共参考系统。
同样，需要一种用于预测驾驶员的警觉水平的方法，能够针对一组驾驶员提供良好性能。
发明内容
出于这个目的，本发明涉及一种用于预测驾驶员的警觉水平的方法，所述方法包括：
校准步骤，在此步骤过程中，在驾驶测试期间同时采集以下各项：
在一组标准驾驶员处于正常觉醒状态的测试开始时间与这组标准驾驶员处于觉醒不全状态时的测试结束时间之间，这组标准驾驶员的脑电图数据的变化曲线图；
通过相机采集与所述标准驾驶员相关联的生理学数据变化曲线图；以及
实时监测所述驾驶员的警觉水平的步骤，在此步骤过程中，连续地：
通过相机采集所述驾驶员的生理学数据变化；
将所述驾驶员的所述生理学数据变化与所述校准步骤过程中采集的不同生理学数据变化曲线图进行比较，从而从这些曲线图当中确定满足相似性准则的至少一个曲线图；
基于对在所述校准步骤过程中采集的与已经满足所述相似性准则的所述生理学数据变化曲线图相对应的脑电图数据曲线图的分析，执行对所述驾驶员的警觉水平变化的统计预测。
除了对觉醒不全状态的良好检测率之外，这种方法的优点是不需要对其进行适配或训练。有利地观察到，就驾驶员而言，这种方法不需要学习。
有利地，所述对警觉水平变化的统计预测包括：计算所述驾驶员的可能警觉评级，适用于在范围在代表正常觉醒或非常清醒状态的值与代表觉醒不全或入睡状态的值之间的连续标度上定义所述驾驶员的警觉水平。
优选地，所述方法可以包括以下步骤：在所述驾驶员的所述可能警觉评级突然变化的情况下生成报警信号。
有利地，所述方法包括以下步骤：提供被安排用于在驾驶情况下至少拍摄所述驾驶员的脸部的高分辨率相机以及旨在照亮所述相机的视野的多个红外LED。
优选地，所述方法包括以下步骤：对所述相机所采集的所述图像进行处理，包括实时计算与所述驾驶员相关联的生理学数据，所述生理学数据适用于至少表征所述驾驶员的眨眼和/或所述驾驶员打哈欠和/或驾驶员的头部的位置和移动。
根据一个实施例，其特征在于，所述实时计算与所述驾驶员相关联的所述生理学数据包括：确定频率、速度、加速度以及驾驶员的眼睑睁开和闭合的持续时间的参数；在打哈欠过程中哈欠频率以及嘴张开和闭上的持续时间的参数；以及所述驾驶员的头部沿着三条轴线X、Y和Z的位置和移动的参数。
有利地，所述方法可以包括以下步骤：使所述统计预测个性化，包括每隔一定时间向所述驾驶员传输声明他自己估计的其警觉水平的请求以及接收如所述驾驶员所声明的所述估计的警觉水平。
本发明还涉及一种用于预测驾驶员的警觉水平的设备，其特征在于，所述设备包括：相机，能够采集所述驾驶员的图像；图像处理模块，适用于基于所述采集的图像表征所述驾驶员的生理学数据；数据库中的存储装置，存储在校准阶段期间在驾驶测试过程中以同步的方式采集的、一组标准驾驶员的脑电图数据和生理学数据变化曲线图，所述一组标准驾驶员被置于当他们处于正常觉醒状态下的测试开始时间与当他们处于觉醒不全状态下的测试结束时间之间的驾驶状况；以及检测模块，能够将所述驾驶员的生理学数据变化与所述数据库中所存储的所述生理学数据变化曲线图进行比较，从而从这些曲线图当中确定满足相似性准则的至少一个曲线图，并且能够基于对存储在所述数据库中的与已经满足所述相似性准则的所述生理学数据的变化曲线图相对应的脑电图数据的曲线图的分析来执行对所述驾驶员的警觉水平的统计预测。
有利地，所述设备包括通信接口，所述通信接口适用于与对所述测试驾驶员的警觉水平的变化进行统计预测的检索装置通信。
优选地，所述检索装置包括被安排在移动终端级的人机接口。
附图说明
在阅读下文给出的对本发明的具体实施例的描述时，本发明的其他特征和优点将呈现，所述说明是通过非限制性指示的方式并参照单个附图给出的，所述单个附图图解式地展示了根据本发明的用于检测驾驶员的警觉水平的设备。
具体实施方式
所述单个附图是旨在安排在车辆中的用于预测驾驶员的警觉状态的设备10的图解式展示。根据图中所示的配置，预测设备10包括相机11，所述相机被提供用于安装在车辆中，面向驾驶员定向，并且旨在采集车辆驾驶员的视频图像，具体为驾驶员的位于驾驶员胸部以上部分(显著地，包括他的头)的视频图像。所使用的相机11优选地是连续拍摄黑白图像的高清相机。优选地，相机11的视野被红外LED类型12的若干光源照亮，与高清相机同步并被安置在相机11的任一侧。这些LED因而使得相机可以拍摄品质图像同时消除路上驾驶情形下的反射以及光环境的较大变化导致的大的对比度变化。
设备10包括处理单元13(所述处理单元包括图像处理模块13.1)，所述处理单元被设计用于通过图像处理算法对相机11所采集的图像进行处理。这种算法被设计用于在所采集的图像中实时地检测驾驶员的生理学数据，所述生理学数据涉及驾驶员的视觉行为并且能够优选地至少表征眨眼和/或打哈欠和/或所述测试驾驶员的头部的位置和运动。具体地，根据一个实施例，图像处理算法13.1被设计用于实时计算：频率、速度、加速度以及驾驶员的眼睑睁开和闭合的持续时间的参数；在打哈欠过程中哈欠频率以及嘴张开和闭上的持续时间的参数；以及所述驾驶员的头部沿着三条轴线X、Y和Z的位置和移动的参数。在对高分辨率相机所提供的驾驶员的脸部的视频信号的分析的基础上，对这些不同参数的表征是可能的。在此将不描述用于计算所述参数的用于检测脸或眼睛的各种已知技术，但本领域技术人员通常将能够参照关于这个主题的现有文献。
对这些参数的表征因而使得可以相对于在驾驶车辆时其视觉行为执行对驾驶员的有启发的生理学数据变化的实时监测。因而通过图像处理算法13.1计算的这些参数被实时地提供给检测模块13.2，所述检测模块被设计用于通过统计检测算法确定驾驶员的警觉水平。
对驾驶员的警觉水平的这种检测是在驾驶数据库的基础上执行的，所述驾驶数据库包括一组(例如几百个)标准驾驶员或还被称为校准驾驶员的驾驶员的同步视频和脑电图数据记录。更确切地，在校准步骤期间，在驾驶测试过程中对这组标准驾驶员执行数据采集活动，所述数据包含这组标准驾驶员的同步脑电图仪和视频记录，这组标准驾驶员被置于当这组标准驾驶员处于正常觉醒状态下的测试开始时间与当这组标准驾驶员处于觉醒不全状态下的测试结束时间之间的驾驶情形下。因而，在朝觉醒不全状况演化的觉醒状态下的这些驾驶测试过程中，所有标准驾驶员佩戴安置在其头皮上的电极从而采集这些驾驶员的脑电图数据的变化曲线图。还例如通过高分辨率相机拍摄所述标准驾驶员，从而在这些驾驶测试过程中同时采集与所述标准驾驶员相关联的生理学数据变化曲线图，所述生理学数据涉及这些标准驾驶员的视觉行为，并且可以根据上文所述的实施例参照图像处理模块13.1借助以下参数表征所述生理学数据：频率、速度、加速度以及驾驶员的眼睑睁开和闭合的持续时间的参数；在打哈欠过程中哈欠频率以及嘴张开和闭上的持续时间的参数；以及所述驾驶员的头部沿着三条轴线X、Y和Z的位置和移动的参数。
因而，驾驶数据库中的每条记录包括：针对已经被置于在处于正常觉醒状态的开始驾驶时间与处于觉醒不全状态的结束驾驶时间之间的驾驶状况的每个标准驾驶员，脑电图数据和视频序列的变化曲线图，两者是以同步的方式采集的，所述视频序列使得可以根据上述生理学数据的参数来表征讨论中的标准驾驶员的视觉行为的变化曲线图。
检测模块13.2然后使用统计预测算法，所述统计预测算法是根据对在驾驶测试过程中采集并被存储在驾驶数据库中的生理学数据和脑电图数据进行的联合分析而构造的。由于对生理学数据变化曲线图与脑电图数据变化曲线图的比较，所述统计预测算法能够根据在对标准驾驶员进行驾驶测试过程中采集的生理学数据的变化来确定用于对警觉状态进行统计预测的若干模型。更确切地，在对驾驶员进行监测的阶段(在此阶段过程中用相机11拍摄这个相机的视觉行为)期间，统计检测模块13.2被设计用于实时地比较与通过上文所解释的图像处理模块13.1收集的这个驾驶员的视觉行为有关的生理学数据参数的变化与之前在设备的校准阶段记录在驾驶数据库中的不同生理学数据变化曲线图，从而从这些记录的曲线图当中确定满足相似性准则的那个或那些。模块13.2然后应用统计预测模型来基于对存储在数据库中的与已经满足所述相似性准则的生理学数据变化曲线图相对应的脑电图数据曲线图的分析来执行对驾驶员的警觉水平的统计预测。所述统计预测算法被设计用于计算驾驶员的可能警觉评级，这使得可以在范围在代表正常觉醒或非常清醒状(高度警觉)的值与代表觉醒不全或入睡状态的值之间的连续标度上定义驾驶员的警觉水平。例如，驾驶员的可能警觉评级是在从0(对应于觉醒不全状态)到100(对应于高度警觉状态)的连续标度上给出的。
检测设备10的处理单元13还包括：模块13.3，所述模块用于基于如统计检测模块13.2所确立的驾驶员的可能警觉评级来检测警告，从而使得可以在驾驶员的可能警觉评级突然改变的情况下(具体当评级突然减低时)生产有待给予驾驶员的警告信号。
预测设备10包括无线通信接口14(尤其是蓝牙或WiFi类型)、或能够与移动终端15通信的硬接线接口(尤其是智能电话或平板类型)，其上安装有专用于读取和/或管理警觉水平的软件应用。移动终端15包括人机界面，比如像允许驾驶员检索可能的警觉评级的触摸屏16。它还包括允许驾驶员与预测设备10的通信接口14交换数据的通信模块。因而，检测设备能够将已经估计的驾驶员的可能警觉评级通过通信接口14发送至移动终端15，并且移动终端15能够通过专用软件应用命令在移动终端15的屏幕16上显示这个评级。因而，移动终端的人机界面允许实时地告知驾驶员预测设备10估计的其警觉水平。
移动终端的人机界面还可以用来定期地并且还在估计的警觉水平交叉点期间向驾驶员询问他自己关于他的警觉水平的感觉，例如从以下水平当中：非常清醒、正常、疲劳、非常疲劳。因而可以通过人机界面要求驾驶员确认这些警觉水平交叉点或相反使其失效，以便相对于对警觉水平的个性化检测提高统计预测算法的性能。因而，随着时间和使用，预测算法基于对一组标准驾驶员的多曲线图分析从总体算法演进成个性化算法。
Claims (10)
1.一种用于预测驾驶员的警觉水平的方法，其特征在于所述方法包括：
校准步骤，在此步骤过程中，在驾驶测试期间同时采集以下各项：
在一组标准驾驶员处于正常觉醒状态的测试开始时间与这组标准驾驶员处于觉醒不全状态时的测试结束时间之间，这组标准驾驶员的脑电图数据的变化曲线图；
通过相机采集与所述标准驾驶员相关联的生理学数据变化曲线图；以及
实时监测所述驾驶员的警觉水平的步骤，在此步骤过程中，连续地：
通过相机(11)采集所述驾驶员的生理学数据变化；
将所述驾驶员的所述生理学数据变化与所述校准步骤过程中采集的不同生理学数据变化曲线图进行比较，从而从这些曲线图当中确定满足相似性准则的至少一个曲线图；
基于对在所述校准步骤过程中采集的与已经满足所述相似性准则的所述生理学数据变化曲线图相对应的脑电图数据曲线图的分析，执行对所述驾驶员的警觉水平变化的统计预测。
2.如权利要求1所述的方法，其特征在于，所述对警觉水平变化的统计预测包括：计算所述驾驶员的可能警觉评级，适用于在范围在代表正常觉醒或非常清醒状态的值与代表觉醒不全或入睡状态的值之间的连续标度上定义所述驾驶员的警觉水平。
3.如权利要求2所述的方法，其特征在于，所述方法包括以下步骤：在所述驾驶员的所述可能警觉评级突然变化的情况下生成报警信号。
4.如前述权利要求中任一项所述的方法，其特征在于，所述方法包括以下步骤：提供被安排用于在驾驶情况下至少拍摄所述驾驶员的脸部的高分辨率相机(11)以及旨在照亮所述相机的视野的多个红外LED(12)。
5.如权利要求1至3中任一项所述的方法，其特征在于，所述方法包括以下步骤：对所述相机(11)所采集的图像进行处理，包括实时计算与所述驾驶员相关联的生理学数据，所述生理学数据适用于至少表征所述驾驶员的眨眼和/或所述驾驶员打哈欠和/或所述测试驾驶员的头部的位置和移动。
6.如权利要求5所述的方法，其特征在于，所述实时计算与所述驾驶员相关联的所述生理学数据包括：确定频率、速度、加速度以及驾驶员的眼睑睁开和闭合的持续时间的参数；在打哈欠过程中哈欠频率以及嘴张开和闭上的持续时间的参数；以及所述驾驶员的头部沿着三条轴线X、Y和Z的位置和移动的参数。
7.如权利要求1、2、3、6中任一项所述的方法，其特征在于，所述方法包括以下步骤：使所述统计预测个性化，包括每隔一定时间向所述驾驶员传输声明他自己估计的其警觉水平的请求以及接收如所述驾驶员所声明的所述估计的警觉水平。
8.一种用于预测驾驶员的警觉水平的设备(10)，其特征在于，所述设备包括：相机(11)，能够采集所述驾驶员的图像；图像处理模块(13.1)，适用于基于所述采集的图像表征所述驾驶员的生理学数据；数据库中的存储装置，存储在校准阶段期间在驾驶测试过程中以同步的方式采集的、一组标准驾驶员的脑电图数据和生理学数据变化曲线图，所述一组标准驾驶员被置于当他们处于正常觉醒状态下的测试开始时间与当他们处于觉醒不全状态下的测试结束时间之间的驾驶状况；以及检测模块(13.2)，能够将所述驾驶员的生理学数据变化与所述数据库中所存储的所述生理学数据变化曲线图进行比较，从而从这些曲线图当中确定满足相似性准则的至少一个曲线图，并且能够基于对存储在所述数据库中的与已经满足所述相似性准则的所述生理学数据变化曲线图相对应的脑电图数据曲线图的分析来执行对所述驾驶员的警觉水平的统计预测。
9.如权利要求8所述的设备，其特征在于，所述设备包括通信接口(14)，所述通信接口适用于与对所述驾驶员的警觉水平的变化进行统计预测的检索装置(15)通信。
10.如权利要求9所述的设备，其特征在于，所述检索装置包括被安排在移动终端级的人机接口(16)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1551776A FR3033303B1 (fr) | 2015-03-03 | 2015-03-03 | Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile. |
| FR1551776 | 2015-03-03 | ||
| PCT/FR2016/050396 WO2016139402A1 (fr) | 2015-03-03 | 2016-02-19 | Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107428245A CN107428245A (zh) | 2017-12-01 |
| CN107428245B true CN107428245B (zh) | 2020-07-07 |
Family
ID=53496737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680018126.9A Active CN107428245B (zh) | 2015-03-03 | 2016-02-19 | 用于预测机动车辆驾驶员的警觉水平的设备和方法 |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP3265334B1 (zh) |
| JP (1) | JP6839090B2 (zh) |
| CN (1) | CN107428245B (zh) |
| FR (1) | FR3033303B1 (zh) |
| WO (1) | WO2016139402A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107137079B (zh) * | 2017-06-28 | 2020-12-08 | 京东方科技集团股份有限公司 | 基于脑信号控制设备的方法、其控制设备及人机交互系统 |
| WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| FR3078518B1 (fr) * | 2018-03-05 | 2020-02-07 | Psa Automobiles Sa | Dispositif d’assistance d’un conducteur de vehicule par determination d’un etat de vigilance avec des regles de decision adaptees |
| CN112455461B (zh) * | 2019-09-06 | 2022-10-28 | 华为技术有限公司 | 自动驾驶车辆的人车交互的方法、自动驾驶系统 |
| CN112383828B (zh) * | 2019-12-12 | 2023-04-25 | 致讯科技(天津)有限公司 | 一种具有类脑特性的体验质量预测方法、设备及系统 |
| US11751784B2 (en) | 2020-03-18 | 2023-09-12 | Ford Global Technologies, Llc | Systems and methods for detecting drowsiness in a driver of a vehicle |
| CN114043992A (zh) * | 2021-11-12 | 2022-02-15 | 东风柳州汽车有限公司 | 车辆控制方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7027621B1 (en) * | 2001-03-15 | 2006-04-11 | Mikos, Ltd. | Method and apparatus for operator condition monitoring and assessment |
| CN101375796A (zh) * | 2008-09-18 | 2009-03-04 | 浙江工业大学 | 疲劳驾驶实时检测系统 |
| WO2009134622A1 (en) * | 2008-04-28 | 2009-11-05 | Medtronic Minimed, Inc. | Automobile physiological monitoring system and method for using the same |
| CN101690666A (zh) * | 2009-10-13 | 2010-04-07 | 北京工业大学 | 汽车驾驶员驾驶工作负荷计算方法 |
| CN104200192A (zh) * | 2013-01-18 | 2014-12-10 | 通用汽车环球科技运作有限责任公司 | 驾驶员注视检测系统 |
| CN104337525A (zh) * | 2013-07-24 | 2015-02-11 | 现代自动车株式会社 | 用于判定困倦状态的设备和方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3053455B2 (ja) * | 1991-05-17 | 2000-06-19 | 三菱電機株式会社 | 快適性評価システム及び快適性評価・制御システム |
| JP3480483B2 (ja) * | 1997-03-31 | 2003-12-22 | 三菱自動車工業株式会社 | 覚醒度推定装置 |
| WO2000044580A1 (en) * | 1999-01-27 | 2000-08-03 | Compumedics Sleep Pty. Ltd. | Vigilance monitoring system |
| JP5056067B2 (ja) | 2007-02-26 | 2012-10-24 | 株式会社デンソー | 居眠り警報装置 |
| JP5411653B2 (ja) * | 2009-10-16 | 2014-02-12 | 国立大学法人長岡技術科学大学 | 眠気判定装置 |
| DE102010007241A1 (de) * | 2010-02-09 | 2010-09-23 | Daimler Ag | Verfahren zum Erkennen einer mangelnden Aufmerksamkeit eines Fahrers eines Fahrzeuges und zur Unterstützung der Aufmerksamkeit des Fahrers |
| US8766819B2 (en) * | 2011-06-17 | 2014-07-01 | The Boeing Company | Crew allertness monitoring of biowaves |
| JP2014100227A (ja) * | 2012-11-19 | 2014-06-05 | Toyota Motor Corp | 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法 |
| US9801580B2 (en) * | 2013-03-22 | 2017-10-31 | Toyota Jidosha Kabushiki Kaisha | Driving assistance device, driving assistance method, information-providing device, information-providing method, navigation device and navigation method |
-
2015
- 2015-03-03 FR FR1551776A patent/FR3033303B1/fr not_active Expired - Fee Related
-
2016
- 2016-02-19 EP EP16714471.6A patent/EP3265334B1/fr active Active
- 2016-02-19 JP JP2017545556A patent/JP6839090B2/ja active Active
- 2016-02-19 WO PCT/FR2016/050396 patent/WO2016139402A1/fr active Application Filing
- 2016-02-19 CN CN201680018126.9A patent/CN107428245B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7027621B1 (en) * | 2001-03-15 | 2006-04-11 | Mikos, Ltd. | Method and apparatus for operator condition monitoring and assessment |
| WO2009134622A1 (en) * | 2008-04-28 | 2009-11-05 | Medtronic Minimed, Inc. | Automobile physiological monitoring system and method for using the same |
| CN101375796A (zh) * | 2008-09-18 | 2009-03-04 | 浙江工业大学 | 疲劳驾驶实时检测系统 |
| CN101690666A (zh) * | 2009-10-13 | 2010-04-07 | 北京工业大学 | 汽车驾驶员驾驶工作负荷计算方法 |
| CN104200192A (zh) * | 2013-01-18 | 2014-12-10 | 通用汽车环球科技运作有限责任公司 | 驾驶员注视检测系统 |
| CN104337525A (zh) * | 2013-07-24 | 2015-02-11 | 现代自动车株式会社 | 用于判定困倦状态的设备和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018518205A (ja) | 2018-07-12 |
| EP3265334A1 (fr) | 2018-01-10 |
| CN107428245A (zh) | 2017-12-01 |
| EP3265334B1 (fr) | 2019-05-01 |
| WO2016139402A1 (fr) | 2016-09-09 |
| FR3033303B1 (fr) | 2017-02-24 |
| FR3033303A1 (fr) | 2016-09-09 |
| JP6839090B2 (ja) | 2021-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107428245B (zh) | 用于预测机动车辆驾驶员的警觉水平的设备和方法 | |
| US11203365B2 (en) | Adaptive vehicle control system | |
| Ma et al. | Wearable driver drowsiness detection using electrooculography signal | |
| Rodríguez-Ibáñez et al. | Drowsiness detection by thoracic effort signal analysis in real driving environments | |
| Sharma et al. | Drowsiness warning system using artificial intelligence | |
| Kuamr et al. | Analysis of real time driver fatigue detection based on eye and yawning | |
| Urbano et al. | Cooperative driver stress sensing integration with eCall system for improved road safety | |
| Alam et al. | Active vision-based attention monitoring system for non-distracted driving | |
| Clement et al. | Driver fatigue detection system | |
| Wang et al. | Driver fatigue detection technology in active safety systems | |
| US20210378568A1 (en) | Devices and processing systems configured to enable physiological event prediction based on blepharometric data analysis | |
| Mabry et al. | Commercial motor vehicle operator fatigue detection technology catalog and review | |
| Chatterjee et al. | Smartphone-based drowsiness detection system for drivers in real-time | |
| AU2020102426B4 (en) | Collection of blepharometric data via a camera system | |
| Peruzzini et al. | Toward the Definition of a Technological Set-up for Drivers' Health Status Monitoring | |
| Dehzangi et al. | Multi-modal biological driver monitoring via ubiquitous wearable body sensor network | |
| Kumar et al. | A Comparative Study on Different Measures to Identify Driver States | |
| Rezaee et al. | Driver Drowsiness Detection with Commercial EEG Headsets | |
| AU2021100643B4 (en) | Ai-based technology configured to enable physiological event prediction based on blepharometric data | |
| AU2021100637A4 (en) | Blepharometric monitoring system for a vehicle which provides user-customised analysis | |
| AU2021100641A4 (en) | Extended period blepharometric monitoring across multiple data collection platforms | |
| AU2021100635A4 (en) | Identification of risk of degeneratve neurological conditions via blepharometric data collection | |
| US20240021307A1 (en) | Computer-Implemented Method for Detecting a Microsleep State of Mind of a Person by Processing at Least One EEG Trace Using an Artificial Intelligence Algorithm and System Configured to Implement Such Method | |
| US20240071107A1 (en) | System and method for non-invasive operator health monitoring | |
| John et al. | Driver Drowsiness Detection From Multiple Facial Features Using Mobile Devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |