CN102098955A - 检测微入睡事件的方法和设备 - Google Patents

检测微入睡事件的方法和设备 Download PDF

Info

Publication number
CN102098955A
CN102098955A CN200980125759XA CN200980125759A CN102098955A CN 102098955 A CN102098955 A CN 102098955A CN 200980125759X A CN200980125759X A CN 200980125759XA CN 200980125759 A CN200980125759 A CN 200980125759A CN 102098955 A CN102098955 A CN 102098955A
Authority
CN
China
Prior art keywords
eyes
factor
open
microsleep
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980125759XA
Other languages
English (en)
Other versions
CN102098955B (zh
Inventor
布鲁诺·法尔波斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
7352867 Canada Inc
Original Assignee
Effective Control Transport Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Effective Control Transport Inc filed Critical Effective Control Transport Inc
Publication of CN102098955A publication Critical patent/CN102098955A/zh
Application granted granted Critical
Publication of CN102098955B publication Critical patent/CN102098955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6821—Eye
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Dentistry (AREA)
  • Mechanical Engineering (AREA)
  • Anesthesiology (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了检测对象的微入睡事件的方法。所述方法包括通过在一段时间内测量至少一只眼睛的上眼睑和下眼睑之间的多个距离，确定多个眼睛张开因子。产生所述眼睛张开因子的图形表示。将所述一段时间内所述眼睛张开因子的变化与指示所述微入睡事件的参考眼睛闭合模型相关联。另外还公开了检测微入睡事件设备。

Description

检测微入睡事件的方法和设备
技术领域
本发明涉及检测微入睡事件的方法和设备。
背景技术
量化与入睡相关的驾驶性能误差的方法对于减少睡眠相关事故的数量是极其重要的。在美国，驾驶员瞌睡是机动车辆事故的主要原因，并且造成每年约40000人受伤和1500人死亡。在一项研究中，在1000名接受调查的驾驶员中，55％的驾驶员表示他们曾在驾驶时昏昏欲睡，而23％的驾驶员表示他们曾在驾驶时睡着。这确定了其他研究：在错误地归咎于其他原因的车辆事故中，瞌睡或入睡可能发挥作用。
微入睡事件是入睡的有用标志。常常由于睡眠剥夺、或精神疲劳、睡眠呼吸暂停、嗜眠、或睡眠过多而发生微入睡事件。
存在监测微入睡的标准化方法，包括：监测脑电图(EEG)和眼电图(EOG)、视频、性能测试等。所有这些方法中，EEG被认为是最可靠的测量瞌睡的方法。然而，EEG和EOG都需要使用附接至对象的电极，从而使这些方法不适于日常地监测任意执行易疲劳工作的操作员(例如，汽车驾驶员)。其他方法是不现实的，因为它们都很难安装并且因为它们需要由人进行深入的数据分析，由此使得数据处理很难自动化。
存在各种能够识别微入睡事件的方法。一些专家根据行为准则(眼睑闭合)定义微入睡，而另一些专家依靠脑电图标记定义微入睡，如3至15秒片段(更短的持续时间将难以视觉检测且更长的时间将定义为入睡)，在这期间，4至7Hz(θ波)活动取代了清醒的14至20Hz(α波)的背景节奏。
主观上与“打盹”感觉有关的微入睡是与完全觉醒状态特征的眨眼典型结果的中断相关联的。在微入睡事件期间，注意力的下降能够削弱察觉和响应重要刺激和事件的能力。例如，当在需要持续警觉性(例如驾驶机动车或者操作机器)的情况下发生微入睡(或者微入睡事件)时，微入睡(或者微入睡片段)将变得极其危险。经历微入睡的人常常没有察觉到微入睡，相反地，认为他们一直是清醒的，或者感到“间隔”的感觉。困倦的驾驶员在微入睡片段期间，面临非常高的遭受事故的风险。很多事故是由于微入睡事件而发生的。
显然地，检测微入睡事件的能力用作向困倦的驾驶员警告或警告这种事件的方法将会是有用的。
一些研究已经使用了“定量的”EEG方法来识别驾驶员的瞌睡。在长时间驾驶期间，θ功率(EEG波)和θ脉冲的频率通常增加，并且与不良的驾驶性能相关联。不利地，这些技术通常在若干秒时间(直至1分钟)内对EEG活动取平均值，因此不能够用于检测3秒至15秒之间的短暂的微入睡事件。
已经提出通过各种生理测量来向驾驶员警告困倦的发生。
调研最多的一种是PERCLOS(或者百分比闭合(PERcent CLOSure))，其根据一段时间内驾驶员眼睛闭合的时间百分比来测量困倦。当获得足够数量的张开/闭合模型时，PERCLOS将触发警报。PERCLOS在百分比大于80％时产生效果，这通常意味着，在1分钟内在触发警报前人的眼睛必须闭合48秒。显然，在工作中(例如驾驶车辆)这种延迟是不可接受的，因为到PERCLOS激活警报的时候，驾驶员或者已经睡着，或者濒临睡着。因此，不利地，PERCLOS是太慢的系统以致于不能允许在个人(例如驾驶员)经历第一次入睡迹象前采取预防动作。
排除了EEG记录期间潜在的假象的EEG记录还示出，在微入睡事件期间正常的眨眼睛通常是连续的，这表示眼睛至少是部分张开的。
根据眼睛闭合的测量并推测地向驾驶员警告困倦发生的另一生理测量是峰值眨眼速度的测量，如美国专利7071831B2中所描述的。该专利所描述的系统包括一副眼镜或眼镜架，个人必须佩戴该眼镜或眼镜架，以监测眨眼睛的发生。然而，这种设备必须由操作员携带或佩戴(例如，便携设备)。
因此，存在着对将对象的微入睡事件检测为睡眠开始的指示的检测方法和检测设备的需要，该检测方法和检测设备能够在不需要使用电极或其他便携设备的情况下，在早期阶段检测短暂的微入睡事件。
发明内容
我们意外地发现，通过在一段时间内使用微入睡检测处理测量眼睑的闭合和张开模型、将从测量收集到的原始数据转换为图形并将图形与存储的标准微入睡模型的图形相比较，能够容易地和迅速地检测微入睡事件。
因此，在一个方面，提供了检测对象的微入睡事件的方法，所述方法包括：-通过在一段时间内测量至少一只眼睛的上眼睑和下眼睑之间的多个距离，确定多个眼睛张开因子；-产生所述眼睛张开因子的图形表示；以及-将所述一段时间内所述眼睛张开因子的变化与指示所述微入睡事件的参考眼睛闭合模型相关联。
如上所述的方法进一步包括：照射所述对象的面部；以及记录面部图像。具有红外光源的数码相机用于照射面部并用于记录所述面部图像。
如上所述的方法进一步包括：通过使用面部特征识别算法，识别眼睛和眼睑。
如上所述的方法进一步包括：根据所述眼睛的眨眼循环的时间测量所述眼睛张开因子，验证微入睡特征眼睛张开因子阶段的存在。所述眼睛张开因子阶段包括至少一个眼睛张开阶段。所述眼睛张开因子包括一个或多个眼睛张开阶段以及五个或更少眼睛张开阶段。所述眼睛张开因子包括五个眼睛张开阶段。所述眼睛张开阶段与张开眼睛、所述眼睑的闭合、部分或闭合的眼睛、以及所述眼睑的张开相关联。
如上所述的方法，其中，所述眼睛张开因子包括五个连续的眼睛张开阶段，所述五个阶段的连续检测指示微入睡特征。所述方法进一步包括：如果检测少于五个连续的眼睛张开因子，那么确定另外的眼睛张开因子。
如上所述的方法进一步包括：计算眼睛张开和眼睛闭合代表曲线。使用负斜率和二阶多项式回归计算所述眼睛闭合代表曲线，所述负斜率和二阶多项式回归适用于所述第一和第二眼睛张开因子阶段的眼睛张开因子。使用正斜率和二阶多项式回归计算所述眼睛张开代表曲线，所述正斜率和二阶多项式回归适用于所述第四和第五眼睛张开因子阶段的眼睛张开因子。所述方法进一步包括：通过计算对应于所述第一和第二眼睛张开因子阶段的所述眼睛闭合代表曲线和对应于所述第四和第五眼睛张开因子阶段的所述眼睛张开代表曲线的皮尔森系数，验证微入睡眼睛张开和闭合代表曲线的存在。当所述皮尔森系数大于或等于预定阈值时，通知所述对象。
如上所述的方法其中，以10Hz至60Hz之间的频率对所述面部的图像采样。
如上所述的方法进一步包括：图像采样频率为20Hz的、用于检测微入睡特征眼睛张开因子阶段的子处理。所述子处理包括：通过确定相对于张开眼睛的一系列六个或者更多连续的眼睛张开因子的存在，验证检测到第一阶段。
如上所述的方法进一步包括：通过确定一系列四个或者更多连续减小的眼睛张开因子，验证检测到第二阶段。如上所述的方法进一步包括：通过确定一系列最小值为五且最大值为120连续的眼睛张开因子的存在，验证检测到第三阶段。
如上所述的方法进一步包括：通过确定一系列最小值为四的连续眼睛张开因子的存在，验证检测到第四阶段。
如上所述的方法进一步包括：通过确定相对于张开眼睛的一系列最小值为六的连续眼睛张开因子的存在，验证检测到第五阶段。
如上所述的方法进一步包括：向所述对象警告所述微入睡事件的存在。
根据另一个方面，提供了微入睡事件检测设备，所述设备包括：
-面部图像采样器，在一段时间内对对象的面部图像进行采样，所述采样器具有照射所述对象的一个或多个眼睛的红外光源；
-微处理器，具有电子存储在其中的、可电子执行的微入睡检测处理，所述微处理器连接到所述采样器以接收所述采样的面部图像，所述图像被电子转换成眼睛张开因子的图形表示；以及
-与所述微处理器相关联的存储器，在所述存储器中存储了多个参考眼睛闭合模型，用于将所述眼睛张开因子与所述参考眼睛闭合模型电子相关联。
如上所述的设备进一步包括连接至所述微处理器的警报，用于向所述对象警告所述微入睡事件。
因此，在另一个方面，提供了向车辆驾驶员警告微入睡事件的方法，所述方法包括：
-通过在一段时间内测量至少一只眼睛的上眼睑和下眼睑之间的多个距离，确定多个眼睛张开因子；
-产生所述眼睛张开因子的图形表示；
-将所述一段时间内所述眼睛张开因子的变化与指示所述微入睡事件的参考眼睛闭合模型相关联；以及
-触发警报，以向所述驾驶员警告所述微入睡事件。
因此，在又一个方面，提供了将眼睛闭合模型与EEG和EOG微入睡模型相关联的方法，所述方法包括：
-测量对象的EEG和EOG微入睡模型；
-通过在一段时间内测量至少一只眼睛的上眼睑和下眼睑之间的多个距离，确定多个眼睛张开因子；
-产生所述眼睛张开因子的图形表示；
-将所述EEG和EOG微入睡模型与所述眼睛闭合因子的变化相关联。
附图说明
仅通过举例并结合附图描述本发明的实施方式，其中：
图1是根据本发明的示例性实施方式的、用在对象上的微入睡检测设备的框图；
图2是可利用图1的设备进行的微入睡时间检测处理的流程图；
图3A和3B是完全张开眼睛(图3A)和完全闭合眼睛(图3B)及它们相关联的眼睛张开因子的示意图；
图4是一系列根据眨眼循环时间的眼睛张开因子的变化示例的示意图；
图5是在微入睡时完全闭合眼睛(L4和L5阶段)的示例性实施例；以及
图6是微入睡特征眼睛张开因子阶段检测的子处理的流程图，该子处理可以以20Hz的图像采样频率与图2的微入睡事件检测处理一起使用。
具体实施方式
一般来说，本发明的非限制示例性实施方式提供了根据分析在微入睡事件期间发生的至少一只眼睛(通常是两只眼睛)的眼睛闭合模型、检测人类对象中微入睡事件的方法和设备。
在通过EEG和EOG的测量的微入睡事件期间，我们观察到随着时间推移人类对象的上眼睑和下眼睑之间距离的逐步变化。在下文中，我们描述了方法和设备，该方法和设备提供了使用眼睛闭合模型在昏昏欲睡的操作员(如汽车司机，飞机驾驶员，空中交通管制员等)即将发生的睡眠补充证据，当检测到眼睛闭合模型时，在眼睑闭合发生前向困倦的操作员警告不安全的情况，从而将EEG和EOG微入睡模型与眼睛闭合模型相关联。
还描述了分析允许正常眼睑闭合和由于困倦而发生的眼睑闭合之间区别的眼睛闭合模型的方法。
参照图1，示出了微入睡事件检测设备100，该设备100通常包括面部图像采样器(如具有关联的红外光源104的数码相机102)，具有关联的存储器108的微处理器106，以及警报/显示110和输入/输出接口112二者之一或二者。
因此，在一个实施例中，描述了使用设备100来检测人类对象中微入睡事件的方法。该方法包括：通过在一段时间内测量至少一只眼睛(通常是两只眼睛)的上眼睑和下眼睑之间的多个距离，确定多个眼睛张开因子；产生眼睛张开因子的图形表示；并将一段时间内眼睛张开因子的变化与指示微入睡事件的参考眼睛闭合模型相关联。
在工作中，数码相机102对准对象10的面部，并使用红外光源104照射他或她的眼睛12以便确定眼睛张开因子，即表示上眼睑14a和下眼睑14b之间距离的值。然后通过处理器106处理由数码相机102获取的图像，该处理器106执行存储在与其关联的存储器108的微入睡检测处理。一旦检测微入睡事件后，微入睡事件检测设备100可通过触发集成的警报和/或显示器110向用户通知微入睡事件，或者经由输入/输出接口112向进一步处理或设备提供信息。可以理解的是，可以向微入睡事件检测设备100增加其他部件，例如，用户接口和无线通信设备。
现在参照图2，示出了微入睡事件检测处理200的流程图，该处理可通过图1的微入睡事件检测设备100的处理器106电子地执行。利用方框202至212表示处理200的步骤。处理200在方框202开始，使用数码相机102对对象10的面部采样。数码相机102可以以约10至60Hz之间的频率(即，采样频率)对图像采样。在方框204，处理200在采样的数字图像中识别对象10的眼睛12和眼睑14a、14b。这可以使用通过处理器106执行的面部特征识别算法来实现。然后，计算眼睛张开因子。
现在参照图3A和3B，眼睛张开因子可表示为具有1和0之间的值的δ，1表示完全张开的眼睛12(见图3A)，0表示完全闭合的眼睛12(见图3B)。可以计算δ的值，例如，将通过笛卡儿坐标(X，Y)表示的上眼睑14a和下眼睑14b之间测量的距离除以完全张开眼睛的参考测量D。于是：
δ＝(上眼睑位置(xu，yu)-下眼睑位置(xl，yl))/D，
其中，D＝上眼睑位置(xU，yU)-下眼睑位置(xL，yL)，且(xu，yu)＝瞬时的上眼睑位置，(xl，yl)＝瞬时的下眼睑位置(xl，yl)，(xU，yU)＝眼睛张开最大时上眼睑位置，(xL，yL)＝眼睛张开最大时下眼睑位置。
再次参照图2，在方框206，处理验证是否存在微入睡特征眼睛张开因子阶段。
参照图4，示出了根据眨眼循环时间的眼睛张开因子的变化的示例性示例。眨眼循环在时间t1开始，具有完全张开的眼睛12(眼睛张开因子δ＝1.00)，在t2眼睛张开因子保持δ＝1.00，然后减少，在时间ti和ti+1经历δ＝0.80和δ＝0.50，直至在时间tj达到δ＝0.00(完全闭合的眼睛12)，然后增加，在时间tk和tk+1经历δ＝0.50和δ＝0.80，直至在时间tn再次达到δ＝1.00。可以理解的是，图4中所示的眨眼循环只是示例性目的，且实际循环将包括依赖采样频率的多个样本时间。
现在参照图5，这些计算的眼睛张开因子(根据时间)能够在图表中表示，该图表总体特征在于五个连续阶段L1至L5。第一和最后阶段L1和L5与张开的眼睛(即δ＝1.00)相关联，第二阶段L2与眼睑14a、14b的闭合(即0.00＞δ＞0.00，δ减少)相关联，第三阶段L3与部分的或闭合的眼睛(即0.00＜δ＜0.5，例如)相关联，第四阶段L4与眼睑14a、14b的张开(即0.00＜δ＜1.00，δ增加)相关联。
再次参照图2，处理200检测所有五个阶段，即L1至L5，然后处理200进行至方框208。如果是否定的，那么处理200回退到方框202处理下一图像样本。在方框208，处理计算眼睛闭合21或26和眼睛张开25或27的代表曲线。使用负斜率二阶多项式回归(抛物线)计算眼睛闭合代表曲线21或26，即
Y＝d0+d1.X+d2.X2
其中，Y是对于每个度数和Y轴截距d1，对具有回归系数d1至d2的多项式模型的预测结果值；
负斜率二阶多项式回归适用于由第一和第二眼睛张开因子阶段(即，L1和L2)组成的眼睛张开因子。对于眼睛张开代表曲线25或27，使用正斜率二阶多项式回归来计算，该正斜率二阶多项式回归适用于由第四和第五眼睛张开因子阶段(即，L4和L5)组成的眼睛张开因子。然后，在方框210，处理220验证是否存在微入睡眼睛张开和闭合代表曲线。这通过计算皮尔森系数r来完成：
r = ΣXY - ΣXΣY N ( ΣX 2 - ( ΣX ) 2 N ) ( Σ Y 2 - ( ΣY ) 2 N )
其中，X和Y是笛卡儿坐标的位置；
对应于由眼睛张开因子阶段L1和L2组成的眼睛张开因子，X和Y是眼睛闭合代表曲线21或26的位置，对应于由眼睛张开因子阶段L4和L5组成的眼睛张开因子，X和Y是眼睛张开代表曲线25或27的位置。如果两个皮尔森系数都大于或等于给定的阈值(例如0.9)，那么处理200进入到方框212。如果是否定的，那么处理200回到方框202开始下一图像采样。最后，在方框212，微入睡事件检测设备100可通过集成的警报和/或显示器110向用户10通知微入睡事件，或者使用例如有线或无线通信连接(例如蓝牙、WIFI等)经由输入/输出接口112(见图1)向进一步处理或设备提供信息。
可以理解的是，皮尔森系数阈值并不意味着被限制为0.9，并可以被调整以满足需要的置信水平。它还可以根据数码相机102(见图1)的分辨率而改变。
眼睛闭合模型基于这些具体的观察，闭合、在眼睑完全的或部分的闭合和重新张开的持续时间。更准确地，眼睛闭合模型表示在眼睑完全闭合然后重新张开的基准周期之后逐步减少。如果上述情况全部反生，那么检测到微入睡。
以20GHz的图像采样频率的微入睡特有眼睛张开因子阶段的实施例。
现在参照图6，示出了微入睡特征眼睛张开因子水平检测的子处理300的流程图，该子处理300可在处理200的方框206处执行以便对于20Hz的图像采样频率检测五个微入睡特征眼睛张开因子阶段(即L1至L5)(见图5)的存在。子处理300的步骤由方框301至305表示。
在方框301，子处理300验证是否检测到第一阶段L1。为此，子处理300检查是否存在最小值为六(6)的一系列、具有值δ＝1.00的连续眼睛张开因子。如果存在，那么子处理300进入方框302，如果不存在，那么子处理300会退到处理200的方框202(见图2)。
在方框302，子处理300验证是否检测到第二阶段L2。为此，子处理300检查是否存在最小值为四(4)的一系列、具有δ＝0.01和δ＝0.99之间值的连续减小的眼睛张开因子。如果存在，那么子处理300进入方框303，如果不存在，那么子处理300会退到处理200的方框202(见图2)。
然后在方框303，子处理300验证是否检测到第三阶段L3。为此，子处理300检查是否存在最小值为五(5)且最大值为120的一系列、具有值δ＝0.00的连续眼睛张开因子。如果存在，那么子处理300进入方框304，如果不存在，那么子处理300会退到处理200的方框202(见图2)。
在方框304，子处理300验证是否检测到第四阶段L4。为此，子处理300检查是否存在最小值为四(4)的一系列、具有δ＝0.01和δ＝0.99之间值的连续增加的眼睛张开因子。如果存在，那么子处理300进入方框305，如果不存在，那么子处理300会退到处理200的方框202(见图2)。
最后在方框305，子处理300验证是否检测到第五阶段L5。为此，子处理300检查是否存在最小值为六(6)的一系列、具有值δ＝1.00的连续眼睛张开因子。如果存在，那么子处理300进入处理200的方框208(见图2)，所有五个(5)微入睡特征眼睛张开因子阶段是存在的。如果不存在，那么子处理300会退到处理200的方框202(见图2)。可以理解的是，用于检测每个微入睡特征眼睛张开因子阶段存在的眼睛张开因子的数量是可以例如根据图像采用频率而改变的，并且只是用作示例性的实施例。
可以理解的是，如上所述的与微处理器相关联的存储器包含存储在其中的多个参考眼睛闭合模型。如图5中所示的图表是与参考眼睛闭合模型的比较。一旦发现匹配，就证实了微入睡事件并激活警报。
虽然通过具体实施方式及其实施例来描述本发明，但是应该理解，对于本领域技术人员来说显而易见的是，在不脱离本发明范围的情况下，可以对本发明具体实施方式进行修改。

Claims (28)

1.一种检测对象的微入睡事件的方法，所述方法包括：
-通过在一段时间内测量至少一只眼睛的上眼睑和下眼睑之间的多个距离，确定多个眼睛张开因子；
-产生所述眼睛张开因子的图形表示；以及
-将所述一段时间内所述眼睛张开因子的变化与指示所述微入睡事件的参考眼睛闭合模型相关联。
2.如权利要求1所述的方法，进一步包括：照射所述对象的面部；以及记录面部图像。
3.如权利要求2所述的方法，其中，具有红外光源的数码相机用于照射所述面部并用于记录所述面部图像。
4.如权利要求1所述的方法，进一步包括：通过使用面部特征识别算法，识别眼睛和眼睑。
5.如权利要求1所述的方法，进一步包括：通过根据所述眼睛的眨眼循环的时间测量所述眼睛张开因子，验证微入睡特征眼睛张开因子阶段的存在。
6.如权利要求5所述的方法，其中，所述眼睛张开因子阶段包括至少一个眼睛张开阶段。
7.如权利要求5所述的方法，其中，所述眼睛张开因子包括一个或多个眼睛张开阶段以及五个或更少眼睛张开阶段。
8.如权利要求5所述的方法，其中，所述眼睛张开因子包括五个眼睛张开阶段。
9.如权利要求5所述的方法，其中，所述眼睛张开阶段与张开的眼睛、所述眼睑的闭合、部分或闭合的眼睛、以及所述眼睑的张开相关联。
10.如权利要求1所述的方法，其中，所述眼睛张开因子包括五个连续的眼睛张开阶段，所述五个阶段的连续检测指示微入睡特征。
11.如权利要求10所述的方法，进一步包括：如果检测少于五个连续的眼睛张开因子阶段，那么确定另外的眼睛张开因子。
12.如权利要求5所述的方法，进一步包括：计算眼睛张开和眼睛闭合代表曲线。
13.如权利要求12所述的方法，其中，使用负斜率和二阶多项式回归计算所述眼睛闭合代表曲线，所述负斜率和二阶多项式回归适用于第一和第二眼睛张开因子阶段的眼睛张开因子。
14.如权利要求12所述的方法，其中，使用正斜率和二阶多项式回归计算所述眼睛张开代表曲线，所述正斜率和二阶多项式回归适用于第四和第五眼睛张开因子阶段的眼睛张开因子。
15.如权利要求12所述的方法，进一步包括：通过计算对应于所述第一和第二眼睛张开因子阶段的眼睛闭合代表曲线和对应于所述第四和第五眼睛张开因子阶段的眼睛张开代表曲线的皮尔森系数，验证微入睡眼睛张开和闭合代表曲线的存在。
16.如权利要求15所述的方法，其中，当所述皮尔森系数大于或等于预定阈值时，通知所述对象。
17.如权利要求3所述的方法，其中，以10Hz至60Hz之间的频率对所述面部的图像采样。
18.如权利要求5所述的方法，进一步包括：图像采样频率为20Hz的、用于检测微入睡特征眼睛张开因子阶段的子处理。
19.如权利要求18所述的方法，其中，所述子处理包括：通过确定相对于张开眼睛的一系列六个或者更多连续的眼睛张开因子的存在，验证检测到第一阶段。
20.如权利要求19所述的方法，进一步包括：通过确定一系列四个或者更多连续减小的眼睛张开因子的存在，验证检测到第二阶段。
21.如权利要求20所述的方法，进一步包括：通过确定一系列最小值为五且最大值为一百二十连续的眼睛张开因子的存在，验证检测到第三阶段。
22.如权利要求21所述的方法，进一步包括：通过确定一系列最小值为四的连续眼睛张开因子的存在，验证检测到第四阶段。
23.如权利要求22所述的方法，进一步包括：通过确定相对于张开眼睛的一系列最小值为六的连续眼睛张开因子的存在，验证检测到第五阶段。
24.如权利要求1所述的方法，进一步包括：向所述对象警告所述微入睡事件的存在。
25.一种微入睡事件检测设备，所述设备包括：
-面部图像采样器，在一段时间内对对象的面部图像进行采样，所述采样器具有用于照射所述对象的一个或多个眼睛的红外光源；
-微处理器，具有电子存储在其中的、可电子执行的微入睡检测处理，所述微处理器连接到所述采样器以接收所采样的面部图像，所述图像被电子转换成眼睛张开因子的图形表示；以及
-与所述微处理器相关联的存储器，在所述存储器中存储了多个参考眼睛闭合模型，用于将所述眼睛张开因子与所述参考眼睛闭合模型电子相关。
26.如权利要求25所述的设备，进一步包括连接至所述微处理器的警报，用于向所述对象警告所述微入睡事件。
27.一种向车辆驾驶员警告微入睡事件的方法，所述方法包括：
-通过在一段时间内测量至少一只眼睛的上眼睑和下眼睑之间的多个距离，确定多个眼睛张开因子；
-产生所述眼睛张开因子的图形表示；
-将所述一段时间内所述眼睛张开因子的变化与指示所述微入睡事件的参考眼睛闭合模型相关联；以及
-触发警报，以向所述驾驶员警告所述微入睡事件。
28.一种将EEG和EOG微入睡模型与眼睛闭合模型相关联的方法，所述方法包括：
-测量对象的EEG和EOG微入睡模型；
-通过在一段时间内测量至少一只眼睛的上眼睑和下眼睑之间的多个距离，确定多个眼睛张开因子；
-产生所述眼睛张开因子的图形表示；
-将所述EEG和EOG微入睡模型与所述眼睛闭合因子的变化相关联。
CN200980125759.XA 2008-05-28 2009-05-27 检测微入睡事件的方法和设备 Active CN102098955B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US7196608P 2008-05-28 2008-05-28
US61/071,966 2008-05-28
US12/340,017 US8570176B2 (en) 2008-05-28 2008-12-19 Method and device for the detection of microsleep events
US12/340,017 2008-12-19
PCT/CA2009/000732 WO2009143620A1 (en) 2008-05-28 2009-05-27 Method and device for the detection of microsleep events

Publications (2)

Publication Number Publication Date
CN102098955A true CN102098955A (zh) 2011-06-15
CN102098955B CN102098955B (zh) 2015-07-15

Family

ID=41360181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980125759.XA Active CN102098955B (zh) 2008-05-28 2009-05-27 检测微入睡事件的方法和设备

Country Status (15)

Country Link
US (1) US8570176B2 (zh)
EP (1) EP2285265B1 (zh)
JP (1) JP5722767B2 (zh)
KR (1) KR101551262B1 (zh)
CN (1) CN102098955B (zh)
AU (1) AU2009253692B2 (zh)
BR (1) BRPI0912299B8 (zh)
CA (1) CA2667035C (zh)
HK (1) HK1158481A1 (zh)
MX (1) MX2010012924A (zh)
MY (1) MY153476A (zh)
NZ (1) NZ589640A (zh)
RU (1) RU2540901C2 (zh)
WO (1) WO2009143620A1 (zh)
ZA (1) ZA201008131B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104337525A (zh) * 2013-07-24 2015-02-11 现代自动车株式会社 用于判定困倦状态的设备和方法
CN106108922A (zh) * 2015-05-07 2016-11-16 铃木株式会社 瞌睡探测装置
CN107028587A (zh) * 2015-09-23 2017-08-11 罗伯特·博世有限公司 用于求取驾驶员的困倦状态的方法和装置
CN109472224A (zh) * 2018-10-26 2019-03-15 蓝色传感（北京）科技有限公司 基于eeg与eog融合的疲劳驾驶检测系统
WO2020237941A1 (zh) * 2019-05-29 2020-12-03 初速度（苏州）科技有限公司 一种基于眼睑特征信息的人员状态检测方法及装置
CN114283559A (zh) * 2022-03-04 2022-04-05 西南交通大学 一种驾驶员疲劳预警方法、装置、设备及存储介质
CN115810253A (zh) * 2022-11-25 2023-03-17 同济大学 一种驾驶员微入睡事件短临预测的方法及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5210773B2 (ja) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
KR101032726B1 (ko) * 2009-09-01 2011-05-06 엘지이노텍 주식회사 눈 상태 검출방법
WO2012061871A1 (en) * 2010-11-08 2012-05-18 Optalert Australia Pty Ltd Fitness for work test
EP2497670B1 (en) * 2011-03-11 2015-07-01 Johnson Controls Automotive Electronics GmbH Method and apparatus for monitoring the alertness of the driver of a vehicle
EP2885150B1 (en) * 2012-08-20 2019-01-02 Veoneer Sweden AB Eyelid movement processing for detection of drowsiness
JP6462209B2 (ja) * 2013-12-03 2019-01-30 浜松ホトニクス株式会社 計測装置及び計測方法
CN104257392B (zh) * 2014-09-26 2016-06-22 马天驰 一种疲劳驾驶检测提醒的方法及检测提醒装置
DE102015200697A1 (de) * 2015-01-19 2016-07-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs
CN105249961B (zh) * 2015-11-02 2017-11-24 东南大学 基于蓝牙脑电耳机的实时驾驶疲劳检测系统及检测方法
DE102016205311A1 (de) * 2016-03-31 2017-10-05 Robert Bosch Gmbh Verfahren zum Bereitstellen eines Warnsignals und Verfahren zum Generieren eines Vorsekundenschlafmusters zum Erkennen eines drohenden Sekundenschlafs für ein Fahrzeug
WO2017204406A1 (ko) * 2016-05-25 2017-11-30 엠텍비젼 주식회사 운전자의 눈 위치 검출 장치와 방법, 및 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치와 그 조명 제어 방법
RU2644847C1 (ru) * 2016-11-21 2018-02-14 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный медицинский университет имени академика И.П. Павлова" Министерства здравоохранения Российской Федерации Способ прогнозирования результативности моделируемой когнитивной деятельности на основе комплекса физиологических показателей и логит регрессионного анализа
KR102161908B1 (ko) 2019-01-25 2020-10-05 주식회사 에프에스솔루션 운전자 상태 모니터링 방법 및 장치
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US20240104975A1 (en) * 2022-09-27 2024-03-28 Bendix Commercial Vehicle Systems Llc System and method for detecting and evaluating bursts of driver performance events

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5573006A (en) * 1994-03-10 1996-11-12 Mitsubishi Denki Kabushiki Kaisha Bodily state detection apparatus
CN1458006A (zh) * 2003-07-02 2003-11-26 北京交通大学 基于多特征融合的困倦驾驶检测方法
CN1157694C (zh) * 1998-01-15 2004-07-14 霍尔丁B·E·V·股份有限公司 用于检测打磕睡的方法和设备
CN1613425A (zh) * 2004-09-15 2005-05-11 南京大学 司机疲劳预警生物识别的方法和系统
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN101132729A (zh) * 2005-03-04 2008-02-27 睡眠诊断学公司 警觉性的测量
WO2008056229A2 (en) * 2006-11-06 2008-05-15 Toyota Jidosha Kabushiki Kaisha Eye opening detection system and method of detecting eye opening

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3863243A (en) 1972-01-19 1975-01-28 Max Skolnick Sleep inhibiting alarm
US5469143A (en) 1995-01-10 1995-11-21 Cooper; David E. Sleep awakening device for drivers of motor vehicles
US5689241A (en) 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5570698A (en) 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
JP3350296B2 (ja) 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP3426060B2 (ja) 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
US5729619A (en) 1995-08-08 1998-03-17 Northrop Grumman Corporation Operator identity, intoxication and drowsiness monitoring system and method
JP3183161B2 (ja) 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6070098A (en) 1997-01-11 2000-05-30 Circadian Technologies, Inc. Method of and apparatus for evaluation and mitigation of microsleep events
DE19803158C1 (de) 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US5990795A (en) 1998-02-06 1999-11-23 Miller; Bernard J. Sleep warning device for mobile vehicles
US6087941A (en) 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
US6130617A (en) 1999-06-09 2000-10-10 Hyundai Motor Company Driver's eye detection method of drowsy driving warning system
US6243015B1 (en) 1999-06-17 2001-06-05 Hyundai Motor Company Driver's drowsiness detection method of drowsy driving warning system
US6218947B1 (en) 2000-05-23 2001-04-17 Ronald L. Sutherland Driver sleep alarm
WO2003012758A1 (en) 2001-07-30 2003-02-13 Sankaran Manoj A device for detecting sleep
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
US6822573B2 (en) 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
GB0203035D0 (en) 2002-02-08 2002-03-27 Univ Bristol A method of and an apparatus for measuring a person's ability to perform a motor control task
RU2197895C1 (ru) * 2002-02-27 2003-02-10 Общество с ограниченной ответственностью "ТелекомЭксперт" Способ контроля состояния человека и устройство для его осуществления
WO2004010365A2 (en) 2002-07-19 2004-01-29 Dicut Inc. Face recognition system and method therefor
US7202792B2 (en) 2002-11-11 2007-04-10 Delphi Technologies, Inc. Drowsiness detection system and method
JP2004314750A (ja) 2003-04-15 2004-11-11 Denso Corp 車両機器操作制御装置
US7435227B2 (en) 2004-09-13 2008-10-14 Biocognisafe (Bcs) Technologies Method and apparatus for generating an indication of a level of vigilance of an individual
RU2411586C2 (ru) 2005-08-11 2011-02-10 Слип Дайэгностикс Пти. Лтд Очки с контролем внимательности
US7918807B2 (en) 2005-08-17 2011-04-05 General Electric Company System, method and computer instructions for assessing alertness of an operator of an image review system
JP4864541B2 (ja) * 2006-05-23 2012-02-01 旭化成株式会社 まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
JP4677963B2 (ja) * 2006-09-11 2011-04-27 トヨタ自動車株式会社 居眠り検知装置、居眠り検知方法
JP4967559B2 (ja) * 2006-09-19 2012-07-04 株式会社豊田中央研究所 居眠り運転防止装置及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5573006A (en) * 1994-03-10 1996-11-12 Mitsubishi Denki Kabushiki Kaisha Bodily state detection apparatus
CN1157694C (zh) * 1998-01-15 2004-07-14 霍尔丁B·E·V·股份有限公司 用于检测打磕睡的方法和设备
CN1458006A (zh) * 2003-07-02 2003-11-26 北京交通大学 基于多特征融合的困倦驾驶检测方法
CN1613425A (zh) * 2004-09-15 2005-05-11 南京大学 司机疲劳预警生物识别的方法和系统
CN101132729A (zh) * 2005-03-04 2008-02-27 睡眠诊断学公司 警觉性的测量
WO2008056229A2 (en) * 2006-11-06 2008-05-15 Toyota Jidosha Kabushiki Kaisha Eye opening detection system and method of detecting eye opening
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104337525A (zh) * 2013-07-24 2015-02-11 现代自动车株式会社 用于判定困倦状态的设备和方法
CN106108922A (zh) * 2015-05-07 2016-11-16 铃木株式会社 瞌睡探测装置
CN106108922B (zh) * 2015-05-07 2019-04-05 铃木株式会社 瞌睡探测装置
CN107028587A (zh) * 2015-09-23 2017-08-11 罗伯特·博世有限公司 用于求取驾驶员的困倦状态的方法和装置
CN109472224A (zh) * 2018-10-26 2019-03-15 蓝色传感（北京）科技有限公司 基于eeg与eog融合的疲劳驾驶检测系统
WO2020237941A1 (zh) * 2019-05-29 2020-12-03 初速度（苏州）科技有限公司 一种基于眼睑特征信息的人员状态检测方法及装置
CN114283559A (zh) * 2022-03-04 2022-04-05 西南交通大学 一种驾驶员疲劳预警方法、装置、设备及存储介质
CN115810253A (zh) * 2022-11-25 2023-03-17 同济大学 一种驾驶员微入睡事件短临预测的方法及系统

Also Published As

Publication number Publication date
ZA201008131B (en) 2012-02-29
AU2009253692B2 (en) 2014-11-13
EP2285265A1 (en) 2011-02-23
HK1158481A1 (zh) 2012-07-20
BRPI0912299B1 (pt) 2021-02-02
EP2285265A4 (en) 2013-11-13
RU2540901C2 (ru) 2015-02-10
AU2009253692A1 (en) 2009-12-03
WO2009143620A1 (en) 2009-12-03
JP5722767B2 (ja) 2015-05-27
CA2667035A1 (en) 2009-11-28
BRPI0912299A2 (pt) 2015-10-20
MX2010012924A (es) 2011-05-02
US20090299209A1 (en) 2009-12-03
RU2010146449A (ru) 2012-07-20
NZ589640A (en) 2013-08-30
EP2285265B1 (en) 2019-08-07
KR20110017883A (ko) 2011-02-22
CN102098955B (zh) 2015-07-15
BRPI0912299B8 (pt) 2021-06-22
MY153476A (en) 2015-02-13
JP2011523867A (ja) 2011-08-25
CA2667035C (en) 2014-10-14
KR101551262B1 (ko) 2015-09-08
US8570176B2 (en) 2013-10-29

Similar Documents

Publication Publication Date Title
CN102098955B (zh) 检测微入睡事件的方法和设备
Li et al. A method for fatigue detection based on Driver's steering wheel grip
Hossain et al. IOT based real-time drowsy driving detection system for the prevention of road accidents
US8519853B2 (en) Unobtrusive driver drowsiness detection system and method
US20230211780A1 (en) Operation support method, operation support system, and operation support server
Bittner et al. Detecting of fatigue states of a car driver
Shaik A systematic review on detection and prediction of driver drowsiness
Wang et al. Driver fatigue detection technology in active safety systems
Ani et al. A critical review on driver fatigue detection and monitoring system
CN117842085A (zh) 驾驶状态检测与预警方法、系统、电子设备及存储介质
Josephin et al. A review on the measures and techniques adapted for the detection of driver drowsiness
Byrnes et al. On Using Drivers' Eyes to Predict Accident-Causing Drowsiness Levels
Antunes et al. An intelligent system to detect drowsiness at the wheel
Chatterjee et al. Smartphone-based drowsiness detection system for drivers in real-time
Arun et al. Hypovigilance detection using energy of electrocardiogram signals
Dachuan et al. Driver Fatigue Detection Control System
Kumar et al. A Comparative Study on Different Measures to Identify Driver States
Thummar et al. A real time driver fatigue system based on eye gaze detection
JP2020057198A (ja) 眠気発生予測装置
Muralidharan et al. Smart Safety and Accident Prevention System
Balasubrahmanyan et al. Quantification of Alertness and Evaluation Method for Vision Based Driver Drowsiness and Alertness Warning System
Lipatova et al. Researching Effective Systems and Methods for Detecting Drowsiness
Sood et al. Driver Fatigue in Prolonged Automated Driving: Research Gaps and Future Directions
Murata et al. Prediction of point in time with high crash risk by integration of Bayesian estimation of drowsiness, tracking error, and subjective drowsiness
Jothibasu et al. Advanced Safety System with Computer Vision-Based Eye Movement and Heart Rate Monitoring

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: 7352867 CANADA INCORPORATED

Free format text: FORMER OWNER: EFFECTIVE CONTROL TRANSPORT, INC.

Effective date: 20111208

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20111208

Address after: Quebec

Applicant after: 7352867 Canada Incorporated

Address before: Quebec

Applicant before: Effective Control Transport In

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1158481

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1158481

Country of ref document: HK