CN107209979B - 用于对车辆的驾驶员的微睡进行识别的方法和装置 - Google Patents
用于对车辆的驾驶员的微睡进行识别的方法和装置 Download PDFInfo
- Publication number
- CN107209979B CN107209979B CN201580073775.4A CN201580073775A CN107209979B CN 107209979 B CN107209979 B CN 107209979B CN 201580073775 A CN201580073775 A CN 201580073775A CN 107209979 B CN107209979 B CN 107209979B
- Authority
- CN
- China
- Prior art keywords
- eyes
- information
- driver
- eyelid
- microsleep
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 210000001508 eye Anatomy 0.000 claims abstract description 219
- 210000000744 eyelid Anatomy 0.000 claims abstract description 87
- 230000007958 sleep Effects 0.000 claims abstract description 36
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims description 25
- 230000001133 acceleration Effects 0.000 claims description 11
- 210000005252 bulbus oculi Anatomy 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 7
- 206010041349 Somnolence Diseases 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 241000209094 Oryza Species 0.000 description 3
- 235000007164 Oryza sativa Nutrition 0.000 description 3
- 230000004399 eye closure Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 235000009566 rice Nutrition 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Abstract
本发明涉及一种用于对车辆(100)的驾驶员(102)的微睡进行识别的方法。所述方法至少包括以下步骤:读入关于所述驾驶员(102)的眼睛参数的眼睛闭合信息(110),其中所述眼睛闭合信息(110)对所述驾驶员(102)来说代表着用于最大的眼睛睁开水平的第一眼皮位置和/或用于最小的眼睛睁开水平的第二眼皮位置;在使用所述眼睛闭合信息(110)的情况下,对所述驾驶员(102)的眼皮的当前的眼皮位置进行分类,用于得到眼睛睁开信息(116),所述眼睛睁开信息代表着眼睛(108)的睁开的状态或者所述眼睛(108)的闭合的状态;并且获取睡眠识别值(120),所述睡眠识别值代表着用于微睡的出现的量度。在使用所述当前的眼皮位置和/或所述眼睛睁开信息(116)的情况下获取所述睡眠识别值(120),其中,如果所述睡眠识别值(120)至少在预先确定的持续时间里超过阈值,则识别出所述微睡。
Description
技术领域
本发明涉及一种用于对车辆的驾驶员的微睡进行识别的方法、一种相应的装置以及一种相应的计算机程序。
背景技术
在驾车时瞌睡和微睡经常导致危险的情况或者事故。如果驾驶员超过某种瞌睡极限值,那么现今的瞌睡识别装置会发出警告。所述警告能够以视觉的方式比如通过所显示的咖啡杯或者以听觉的方式来进行。但是,这种警告可能会被驾驶员所忽视。
现今的瞌睡辅助系统仅仅间接地从驾驶员的行驶特性中对其易睡性进行评估。由驾驶员的转向特性来编制行驶特性图(Fahrprofil)并且在进行更长时间的行车时将其与当前的行驶状态进行比较。如果更长时间没有转向角的变化并且随后存在猛烈的转向偏移,则将这种情况作为死区事件(Dead-Band-Event:DBE)记录下来。如果经常出现这些死区事件,则将驾驶员分类为“瞌睡”。
同样已知一些系统,这些系统能够根据视频摄像设备的数据来识别出眼睛的瞬时的睁开度(比如SmartEye、Facelab等等)。同样已知一些系统,所述系统能够在视频信号的基础上识别人的身份。公开文献US 2011/205350 A1 公开了一种眼睛睁开-或眼睛闭合-探测装置、一种眼睛睁开度-评估装置和一种程序。公开文献US 2013/0073885 A1公开了一种眼睛闭合-探测装置,所述眼睛闭合-探测装置使用了结构化的照明。
发明内容
面对这种背景,用这里所介绍的方案来介绍按照独立权利要求的一种用于对车辆的驾驶员的微睡进行识别的方法、还有一种使用这种方法的装置以及最后还有一种相应的计算机程序。有利的设计方案从相应的从属权利要求和以下说明书中得出。
微睡能够借助于基于视频的驾驶员观察和眼皮睁开探测来识别。在此,已经能够在微睡发生之前或者开始之前就发出警告。
介绍一种用于对车辆的驾驶员的微睡进行识别的方法,其中所述方法具有以下步骤:
-读入关于所述驾驶员的眼睛参数的眼睛闭合信息,其中所述眼睛闭合信息对所述驾驶员来说代表着用于最大的眼睛睁开水平的第一眼皮位置和/或用于最小的眼睛睁开水平的第二眼皮位置;
-在使用所述眼睛闭合信息的情况下对所述驾驶员的眼皮的当前的眼皮位置进行分类,用于得到眼睛睁开信息,所述眼睛睁开信息代表着所述眼睛的睁开的状态或者所述眼睛的闭合的状态;并且
-获取睡眠识别值,所述睡眠识别值代表着用于微睡的出现的量度,其中在使用所述当前的眼皮位置和/或所述眼睛睁开信息的情况下获取所述睡眠识别值,其中,如果所述睡眠识别值至少在预先确定的持续时间里超过阈值,则识别出所述微睡。
此外,介绍一种用于对车辆的驾驶员的微睡进行识别的方法,其中所述方法具有以下步骤:
-读入关于所述驾驶员的眼睛参数的眼睛运动信息和/或关于所述驾驶员的眼睛参数的眼睛闭合信息,其中所述眼睛运动信息代表着关于所述驾驶员的眼睛的眼睛运动的信息,并且/或者其中所述眼睛闭合信息对所述驾驶员来说代表着用于最大的眼睛睁开水平的第一眼皮位置和/或用于最小的眼睛睁开水平的第二眼皮位置;并且
-获取睡眠识别值,所述睡眠识别值代表着用于微睡的出现的量度,其中在使用下述信息的情况下获取所述睡眠识别值,所述信息是驾驶员的从所述眼睛运动信息中推导出来的眼睛睁开速度和/或从所述眼睛运动信息中推导出来的视向和/或从中推导出来的信息,其中,如果所述睡眠识别值至少在预先确定的持续时间里超过阈值,则识别出所述微睡。
微睡在此尤其能够是指无意识地打盹数秒钟(比如伴随着以特定的程度闭合的眼睛)。眼睛闭合信息能够描述眼睛睁开状态或者驾驶员的眼睛的上眼皮与该眼睛的下眼皮的间距。眼睛运动信息也能够是指眼睛闭合信息。在此,所述眼睛闭合信息能够包括尤其在眼睛睁开时的最大的间距的数值或者最大的眼睛睁开水平,并且包括尤其在眼睛闭合时的最小的间距的另一数值或者最小的眼睛睁开水平。因此眼睛参数能够是指驾驶员的眼睛的上眼皮与下眼皮之间的间距。随后能够对当前的眼皮位置进行测评并且由此对其进行分类,所述眼皮位置在使用所述眼睛闭合信息的情况下比如以百分比对瞬时的眼睛睁开水平进行描述。因此,在所述分类的步骤中能够在睁开的眼睛与闭合的眼睛之间进行尤其二进制(binär)的区分。所述睡眠识别值能够代表着用于睡眠发作或者无意识的瞌睡的量度或者可能性。在此,用于警告的阈值能够定义或者被定义。比如对于大于50%或者大于75%的睡眠识别值来说,能够识别微睡或者将面临的微睡或者微睡的太高的风险。所述极限值或者阈值在此能够按风险潜在来选择,比如处于10%与99%之间。在此,能够在比如0.5秒、1秒、30秒或者1分钟的持续时间里对所述睡眠识别值进行测评。因此,能够在所述持续时间里对所述信号或者数值进行测评。在此,所述持续时间能够与所述方法的预先定义的稳健性和预先定义的速度相匹配或者被匹配。
此外,也建议一种用于对车辆的驾驶员的微睡进行识别的方法,该方法具有这里所介绍的方法的前述变型方案的所有步骤。
在所述读入的步骤之前,能够在所述鉴定的步骤中对驾驶员进行鉴定。在所述读入的步骤中或者作为替代方案在所述鉴定的步骤中能够在使用关于经过鉴定的驾驶员的信息的情况下尤其是从数据库中提供或者读入所述眼睛闭合信息。因此,能够基于视频或者借助于驾驶员的车钥匙或者借助于所输入的鉴定密钥来对驾驶员进行识别。由此所述方法能够有利地更快地识别微睡。
在所述读入的步骤之前,能够在所述测评的步骤中在初始化时间间隔的范围内对当前的眼皮位置进行测评,用于确定所述眼睛闭合信息。在此,所述初始化时间间隔比如能够持续至少一分钟。作为替代方案,所述初始化时间间隔能够为五分钟。因此,所述初始化时间间隔能够是15秒与10分钟之间的持续时间。因此,对每个驾驶员来说都能够在没有预知的情况下来执行所述方法。
学习的步骤能够先行于所述分类的步骤。在所述分类的步骤中,能够在使用当前的眼皮位置的情况下对所述眼睛闭合信息进行调整。尤其能够对所述最大的眼睛睁开水平进行调整。由此也能够有利地更好地确定当前的眼睛睁开水平。
在所述分类的步骤中,能够在使用视向信号的情况下对所述眼睛睁开信息进行分类,用于在睁开的眼睛与闭合的眼睛之间进行区分。如果不存在视向信号,则能够以可能性来推断出闭合的眼睛。所述视向信号能够代表着视向。在此,能够将所述视向的时间上的变化用在所述分类的步骤中,以用于识别闭合的眼睛。
在所述获取的步骤中,能够在使用下述信息的情况下获取所述睡眠识别值,所述信息是在所述持续时间里用于驾驶员的代表着闭合的眼睛的眼睛睁开信息的数目和/或在所述持续时间里代表着闭合的眼睛的眼睛睁开信息的持续时间。
在所述获取的步骤中,能够在使用眼皮闭合动态和/或眼皮闭合加速度的情况下获取所述睡眠识别值。在此能够使用绝对的眼皮闭合加速度或者加速度的眼皮闭合加速度。在此,所述眼皮闭合加速度代表着下述数值,所述数值代表着驾驶员的眼皮的加速度。能够有利地识别出缓慢的眼睛闭合。因此比如能够提早地识别微睡的危险。在此,比如能够在小于或者等于半秒钟的持续时间里对所述眼皮闭合加速度进行测评。
此外,这里所介绍的方案提供一种装置,该装置构造用于:在相应的机构中实施、操控或者实现这里所介绍的方法的变型方案的步骤。通过本发明的以装置的形式实现的实施变型方案,本发明的任务能够很快并且有效地得到解决。
“装置”在此能够是指一种电气的仪器,该电气的仪器对传感器信号进行处理并且据此输出控制信号和/或数据信号。所述装置能够具有接口,所述接口能够以硬件方式并且/或者以软件方式来构造。在以硬件方式来构造时,所述接口比如能够是所谓的系统ASIC的部分,这部分包括所述装置的极为不同的功能。但是也可能的是,所述接口是自身的集成的开关电路或者至少部分地由离散的结构元件所构成。在以软件方式来构造时,所述接口能够是软件模块,所述软件模块比如除了其它的软件模块之外也存在于微控制器上。
也有利的是一种具有程序代码的计算机程序产品或者计算机程序,所述程序代码能够被存储在机器可读的载体或者存储介质、比如半导体存储器、硬盘存储器或者光学存储器上,并且尤其在所述程序产品或者程序在计算机或者装置上被执行时来用于实施、实现并且/或者操控按前面所描述的实施方式之一所述的方法的步骤。
附图说明
下面借助于附图来示范性地对这里所介绍的方案进行详细解释。附图中:
图1示出了车辆连同驾驶员和按照本发明的一种实施例的装置的示意图;
图2示出了驾驶员的一只眼睛的简化的图示;
图3示出了按照本发明的一种实施例的眼睛闭合信号的简化的图示;
图4示出了按照本发明的一种实施例的眼睛闭合信号的简化的图示;
图5示出了按照本发明的一种实施例的眼睛闭合信号的简化的图示;
图6示出了按照本发明的一种实施例的视向信号的简化的图示;
图7示出了按照本发明的一种实施例的方法的流程图;并且
图8示出了按照本发明的一种实施例的装置的框图。
在以下对本发明的有利的实施例所作的描述中,为在不同的附图中示出的并且类似地起作用的元件使用相同的或者类似的附图标记,其中放弃对于这些元件的重复的描述。
具体实施方式
图1示出了车辆100连同驾驶员102和按照本发明的一种实施例的装置104的示意图。布置在所述车辆100的前部区域中的眼睛参数-检测机构106构造用于:对所述驾驶员102的两只眼睛108进行检测并且提供眼睛闭合信息110。所述眼睛闭合信息110对所述驾驶员102来说代表着用于最大的眼睛睁开水平的第一眼皮位置和用于最小的眼睛睁开水平的第二眼皮位置。
用于对驾驶员102的微睡进行识别的装置104具有接口112,该接口用于读入关于所述驾驶员102的至少一个眼睛参数的眼睛闭合信息110。用于分类的机构114构造用于:在使用所述眼睛闭合信息110的情况下对所述驾驶员102的眼皮的当前的眼皮位置进行分类,用于得到眼睛睁开信息116,所述眼睛睁开信息以二进制表示所述眼睛的睁开的状态或者所述眼睛的闭合的状态,或者在所述两种所提到的状态之间进行区分。
此外,所述装置104具有用于获取睡眠识别值120的机构118。所述睡眠识别数值120代表着用于微睡的出现的量度,其中在使用下述信息的情况下获取所述睡眠识别值120,所述信息是所述驾驶员102的当前的眼皮位置和/或所述眼睛睁开信息116和眼睛睁开速度和/或视向126和/或从中推导出来的信息。如果所述睡眠识别值120至少在预先确定的持续时间里超过阈值,则识别出所述微睡。
所述车辆100具有视觉的警告机构122以及听觉的警告机构124,这两个机构构造用于:以视觉的或者听觉的方式为所述驾驶员102显示由于微睡的高风险引起的危险或者微睡。
在实施例中,所述眼睛参数-检测机构106构造用于:检测所述驾驶员102的当前的眼皮位置、在眼睛睁开时眼皮的速度、在眼睛睁开时眼皮的加速度和/或当前的视向126,并且从中推导出信息、比如瞬时的眼睛睁开状态、也就是上下眼皮之间的间距、对驾驶员102来说用于最大的眼睛睁开水平的第一眼皮位置和用于最小的眼睛睁开水平的第二眼皮位置或者瞬时的眼睛睁开水平。这里所列举的信息能够通过所述眼睛闭合信息110来代表,或者作为分开的信号或信息来提供并且通过所述接口112来读入。所述眼睛参数-检测机构106因此也被称为“眼睛闭合预处理机构(Eye Closure Preprocessing)”或者ECP。
图2示出了驾驶员的一只眼睛108的简化的图示。所述驾驶员能够是在图1中所描绘的驾驶员102。所述眼睛具有上眼皮232和下眼皮234。从所述眼皮的位置236中尤其彼此成比例地能够确定所述上眼皮232与所述下眼皮234之间的间距238。如果在更长的时间间隔、比如五分钟的范围内确定所述眼皮232、234的位置236或者所述眼皮232、234的间距238,则能够对此为所述眼睛108确定用于最大的眼睛睁开水平的第一眼皮位置240和用于最小的眼睛睁开水平的第二眼皮位置242。
在图2中的图示中,为简便起见,所述第一眼皮位置240相当于所述上眼皮232的所示出的位置236。穿过所述眼睛108的瞳孔的虚线显示出了当前的眼皮位置244。在此,所述眼皮232以眼睛睁开速度V眼睛来进行运动或者以眼皮加速度a眼睛来进行加速。
图3示出了按照本发明的一种实施例的眼睛闭合信号350的简化的图示。在笛卡尔坐标系中,在横坐标上示出了以秒为单位的时间并且在纵坐标上示出了以米为单位的、所述上眼皮与所述下眼皮之间的间距。所述间距能够是在图1中示出的驾驶员的眼睛的、上眼皮232与下眼皮234之间的在图2中示出的间距238。所述眼睛闭合信号350因此关于时间示出了眼睛睁开状态或者眼皮彼此的间距。第一垂线352示出了微睡的开始,另一垂线354示出了所述微睡的结束。所述微睡的在此示出的实施例中所示出的持续时间为0.6667秒。
在图3中示出的眼睛闭合信号350表示用于在微睡时的眼睛闭合信号350的一种示例。
图4示出了按照本发明的一种实施例的眼睛闭合信号350的简化的图示。如在图3中一样,在笛卡尔坐标系中在横坐标上示出了以秒为单位的时间并且在纵坐标上示出了以米为单位的、所述上眼皮与所述下眼皮之间的间距。在图4中示出的眼睛闭合信号350表示用于在缓慢的眼睛闭合时的眼睛闭合信号350的一种示例。第一垂线352示出了微睡的开始,另一垂线354则示出了所述微睡的结束。所述微睡的在此示出的实施例中所示出的持续时间为2.7333秒。
图5示出了按照本发明的一种实施例的眼睛闭合信号350的简化的图示。如在图3和图4中一样,在笛卡尔坐标系中在横坐标上示出了以秒为单位的时间并且在纵坐标上示出了以米为单位的、所述上眼皮与所述下眼皮之间的间距。在图5中示出的眼睛闭合信号350表示用于在“与闭上的眼睛抗争”时的眼睛闭合信号350的一种示例。第一垂线352示出了微睡的开始,另一垂线354则示出了所述微睡的结束。所述微睡的在此示出的实施例中所示出的持续时间为0.9秒。
图6示出了按照本发明的一种实施例的视向信号660的简化的图示。在笛卡尔坐标系中在横坐标上示出了以秒为单位的时间并且在纵坐标上示出了视向。在所述笛卡尔坐标系中示出的视向信号660因而关于时间示出了视向。通过两条垂线662、664强调在所述横坐标上0秒到0.6秒的时间间隔,在所述时间间隔里能够识别用于水平地漂移的瞳孔的一种示例。所述视向在所述时间间隔里没有变化。
图7示出了按照本发明的一种实施例的方法770的流程图。所述方法比如能够在图1中所示出的装置104上执行。用于对车辆的驾驶员的微睡进行识别的方法770至少包括读入的步骤772、分类的步骤774以及获取的步骤776。在所述读入的步骤772中,读入关于所述驾驶员的眼睛参数的眼睛闭合信息。所述眼睛闭合信息对于驾驶员来说代表着用于最大的眼睛睁开水平的第一眼皮位置和用于最小的眼睛睁开水平的第二眼皮位置。因此,可以这样说定义了两个用于驾驶员的眼皮的终点位置,并且为此能够相对地确定所述眼皮的当前的眼皮位置并且将其作为眼睛睁开水平来表示。因此表示了能够在两个人或者驾驶员之间进行比较的数值。
在所述分类的步骤774中,在使用所述眼睛闭合信息的情况下对所述当前的眼皮位置进行分类,用于得到眼睛睁开信息,所述眼睛睁开信息代表着所述眼睛的睁开的状态或者所述眼睛的闭合的状态。在此在一种实施例中,在使用所述当前的眼皮位置和所述眼睛闭合信息的情况下确定眼睛睁开水平并且将其与阈值进行比较。在此,所述阈值在不同的实施例中有变化。比如对于小于50%的眼睛睁开水平来说定义了所述眼睛的闭合的状态。所述阈值能够处于0%与70%之间。阈值有利地小于50%或者尤其是小于30%。
在所述获取的步骤776中获取睡眠识别值。该睡眠识别值代表着用于微睡的出现的量度或者可能性。在一种实施例中,在使用当前的眼皮位置的情况下或者在使用当前的眼睛睁开水平的情况下获取所述睡眠识别值。在此,能够在使用驾驶员的视向或者眼睛睁开速度的情况下确定所述睡眠识别值。为了改进所述睡眠识别值的稳健性,将所提到的信息或者信号中的至少两种用于获取所述睡眠识别值。
在一种实施例中,所述方法具有可选的鉴定的步骤778。在所述鉴定的步骤中对所述驾驶员进行鉴定。这能够以视觉的方式通过图像检测和图像识别来进行。作为替代方案,通过指纹、虹膜扫描、代码的输入或者通过个人的钥匙或者类似方式来鉴定所述驾驶员。随后在使用关于经过鉴定的驾驶员的信息的情况下提供眼睛闭合信息或者在所述步骤772中在使用关于经过鉴定的驾驶员的信息的情况下从数据库中读入所述眼睛闭合信息。
在一种实施例中,所述方法770在所述读入的步骤772之前具有可选的测评的步骤780,在所述测评的步骤中,在预先确定的时间间隔的范围内对当前的眼皮位置进行测评,用于确定所述眼睛闭合信息。
在一种特别的实施例中,所述方法具有可选的、处于所述读入的步骤772与所述分类的步骤774之间的步骤782—学习的步骤782。在所述学习的步骤782中,在使用当前的眼皮位置的情况下对所述眼睛闭合信息进行调整。因此,如果所述当前的眼皮位置代表着比所述最大的眼睛睁开水平更大的眼睛睁开状态,那么能够提高所述最大的眼睛睁开水平。同样的情况类似地适用于所述最小的眼睛睁开水平。
可选地,在所述分类的步骤774中在使用视向信号的情况下对所述眼睛睁开信息进行分类,用于在睁开的眼睛与闭合的眼睛之间进行区分。如果不存在视向信号,那么这就暗示着闭合的眼睛。
在所述获取的步骤776中,能够在使用关于闭合的数目或者从睁开的眼睛的状态到闭合的眼睛的状态转变的数目的信息的情况下获取所述睡眠识别值。因此,在预先确定的时间间隔中,眼睛闭合的过程的预先确定的数目暗示了微睡。此外,在一种实施例中,可选地在使用眼皮闭合动态或者眼皮闭合加速度的情况下获取所述睡眠识别值。
图8示出了按照本发明的一种实施例的装置104的框图。所述装置104在所示出的实施例中包括三个框890、114、118,所述框与眼睛参数-检测机构106相连接。
所述装置104能够被称为用于从眼皮闭合信号中来探测微睡的系统。所述装置104有利地构造用于:作为独立的危险来识别微睡并且提供及时的警告。微睡有利地由所述装置104来识别并且借助于辅助功能来将驾驶员从其睡眠中唤醒。由于微睡引起的事故的风险或者危险有利地得到防止或者降低。
所述框106代表着用于对闭合的眼睛进行识别的预处理。这也被称为眼睛闭合预处理(ECP)。在此,按实施例尤其确定以下参量并且提供相应的信号或者信息:瞬时的眼睛睁开状态(=以[m]为单位的、从上眼皮到下眼皮的间距)、眼睛睁开的速度v眼睛[m/s]、眼睛睁开的加速度a眼睛[m/s2]以及瞬时的眼睛睁开水平(=在没有考虑眨眼的情况下的眼睛睁开)。
所述框890代表着对与人相关的眼睛闭合特性的确定,所述人相关的眼睛闭合特性也被称为个人眼睛闭合行为(Personal Eye Closure Behavior)或者PEC。在此要探测驾驶员的个人的眼睛睁开极限。为了进行初始化,能够在行车开始时对驾驶员的眼睛闭合特性观察短的持续时间(比如两分钟或者五分钟)。因此,所述最大的眼睛睁开水平比如通过在行车开始时眼睛闭合信号的最大值形成来计算,并且所述最小的眼睛睁开水平比如通过在行车开始时所述眼睛闭合信号的最小值形成来计算。一旦识别出驾驶员转换,则重新开始所述初始化。这比如能够通过由摄像设备图像来对驾驶员进行鉴定的方式来识别。但是也能够对安全带锁或者驾驶员车门的信号以及速度信号加以考虑。
在框890中对驾驶员的个人的特征进行鉴定。这些个人的特征取决于头部的生理情况,并且因此在行车的进一步进程中是恒定的。具体计算下述眼睛睁开水平,对于所述眼睛睁开水平来说,所述眼睛能够被表征为100%睁开和0%睁开。可选地,能够使用驾驶员-ID。因此,能够借助于视频图像来对驾驶员进行鉴定。如果对驾驶员已经进行了鉴定,则必要时又能够调用相应的驾驶员的已经存储的数值并且能够取消鉴定步骤。
即使能够认为驾驶员在行车开始时是清醒的并且其眼睛是100%睁开的,也可能存在一些情况,在这些情况中100%水平的后来的提高是有意义的(比如驾驶员尤其是由于外部的光照度而在行车开始时就不断地眯着眼睛)。这能够用学习的自我调整的方法来加以考虑。
所述框890通过所述在图7中所描述的方法的步骤772、778、789、782来描述。在图1中,在这里示出并且描述了所述接口112,该接口代表着这里所描述的功能的一部分。
在框114中进行识别:所述驾驶员的眼睛是否闭上。这也被称为眼睛闭合探测(Eyes Closed Detection)或者ECD。从所述眼睛的瞬时的睁开度、眼睛睁开水平或者当前的眼皮位置以及在框890中所计算的个人的水平中,能够计算出瞬时的按百分比计算的睁开度。一旦所述瞬时的按百分比计算的睁开度低于特定的极限值(比如50%),则将所述眼睛声明为是闭合的。
可选地,在所述框114中也使用眼睛跟踪器(Eye-Tracker)的视向信号或者对所述视向信号的可用性进行监控:只要视向被识别并且可用,那么所述眼睛就是睁开的。这种方法提高了分类质量。
所述框118代表着微睡识别或者微睡探测(Microsleep Detection)或者MSD。在第一种实施例中,计算闭合的眼睛的持续时间。在此,一旦所述持续时间超过特定的极限值(比如1.5s),则探测到微睡。这一点也在图3中示范性地示出。
作为替代方案或者补充方案,识别出微睡时的典型的运动模式,用于在微睡出现之前或者期间就已经识别出所述微睡。由此,与用所述微睡识别的在前面段落中所描述的实施例相比,用这种方案原则上能够进行更早的警告。在此,不仅所述眼睛睁开信号而且其它信号、像比如所述视向都能够在考虑之列。原则上能够考虑不同的运动模式:缓慢的眼睛闭合、“与闭上的眼睛的抗争”的探测或者漂移的瞳孔。
为了对缓慢的眼睛闭合进行探测,使用以下参数:眼睛睁开水平和眼睛睁开速度。一旦所述速度信号在更长的时间间隔里(比如0.5秒)处于特定的带宽之下或者之内(比如-0.1m/s<当前的速度(v眼睛)<-0.05m/s),就已经能够提早识别微睡。
为了对“与闭上的眼睛的抗争”进行探测,使用以下参数:眼睛睁开水平以及眼睛睁开速度。“与闭上的眼睛的抗争”通过对于眼睛的经常性的闭合和睁开的识别结合缓慢的眼睛睁开速度来识别。相应的信号在图5中示范性地示出。
为了对漂移的瞳孔进行探测,使用以下参数:眼睛睁开水平以及视向。为了对漂移的瞳孔进行探测,使用所述视向信号的运动模式。这些运动模式也能够结合所述瞬时的眼睛睁开水平来使用,用于进行更好的探测。图6示出了用于在存在瞳孔的这样的漂移时视向的水平的变化的一种示例。
所述装置104构造用于识别个别的微睡-事件。在一种实施例中识别出微睡事件,如果所述眼睛闭合了比预先确定的持续时间更长的时间,那就存在着微睡或者睡眠。
在一种实施例中,获得对于微睡-事件的提早的识别。比如使用眼皮闭合动态,用于在所述眼睛闭合时就已经识别出微睡的特定的表征性的特征。用这种方法能够进行更早的警告。随之获得高的安全收益。此外,介绍不同的模式。所述识别基于不同的参量、比如眼睛闭合速度(Eye Closure Speed)。
有利的是为每个驾驶员获取眼睛睁开水平的固定的数值。
仅仅示范性选择了所描述的并且在附图中示出的实施例。不同的实施例能够是完整的或者关于各个特征彼此相组合。一种实施例也能够通过另一种实施例的特征来补充。
此外,这里所介绍的方法步骤能够重复地或者以与所描述的顺序不同的顺序来执行。
如果一种实施例在第一特征与第二特征之间包括“和/或”联结,那么应该如此对此进行解读:所述实施例按照一种实施方式不仅具有所述第一特征而且具有所述第二特征,并且所述实施例按照另一种实施方式要么仅仅具有所述第一特征要么仅仅具有所述第二特征。
Claims (8)
1.用于对车辆(100)的驾驶员(102)的微睡进行识别的方法(700),其中所述方法(700)具有以下步骤:
-读入(772)关于所述驾驶员(102)的眼睛参数的眼睛闭合信息(110),其中所述眼睛闭合信息(110)对所述驾驶员(102)来说代表着用于最大的眼睛睁开水平的第一眼皮位置(240)和/或用于最小的眼睛睁开水平的第二眼皮位置(242);
-在使用所述眼睛闭合信息(110)的情况下,对所述驾驶员(102)的眼皮(232)的当前的眼皮位置(244)进行分类(774),用于得到眼睛睁开信息(116),所述眼睛睁开信息代表着眼睛(108)的睁开的状态或者所述眼睛(108)的闭合的状态;并且
-获取(776)睡眠识别值(120),所述睡眠识别值代表着用于微睡的出现的量度,其中在使用所述当前的眼皮位置(244)和/或所述眼睛睁开信息(116)的情况下获取所述睡眠识别值(120),其中,如果所述睡眠识别值(120)至少在预先确定的持续时间里超过阈值,则识别出所述微睡,
其特征在于,
在所述读入的步骤(772)之前,在鉴定的步骤(778)中对所述驾驶员(102)进行鉴定,并且在使用关于经过鉴定的驾驶员(102)的信息的情况下尤其是从数据库中提供所述眼睛闭合信息(110)。
2.按权利要求1所述的方法(700),其中在所述读入的步骤(772)之前,在测评的步骤(780)中在初始化时间间隔的范围内对当前的眼皮位置(244)进行测评,用于确定所述眼睛闭合信息(110)。
3.按权利要求1或2所述的方法(700),所述方法具有先行于所述分类的步骤(774)的学习的步骤(782),在所述学习的步骤中在使用所述当前的眼皮位置(244)的情况下对所述眼睛闭合信息(110)进行调整。
4.按权利要求1或2所述的方法(700),其中在所述分类的步骤(774)中,在使用视向信号(660)的情况下对所述眼睛睁开信息(116)进行分类,用于在睁开的眼睛与闭合的眼睛之间进行区分。
5.按权利要求1或2所述的方法(700),其中在所述获取的步骤(776)中,在使用下述信息的情况下获取所述睡眠识别值(120),所述信息是在所述持续时间里用于所述驾驶员(102)的代表着闭合的眼睛的眼睛睁开信息(116)的数目和/或在所述持续时间里代表着闭合的眼睛的眼睛睁开信息(116)的持续时间。
6.按权利要求1或2所述的方法(700),在所述获取的步骤(776)中,在使用眼皮闭合动态和/或眼皮闭合加速度(a眼睛)的情况下获取所述睡眠识别值(120)。
7.装置(104),所述装置构造用于:实施按前述权利要求中任一项所述的方法(700)的所有步骤。
8.机器可读的存储介质,所述机器可读的存储介质具有在其上所存储的计算机程序,其中所述计算机程序被设立用于:实施、实现并且/或者操控按前述权利要求中任一项所述的方法(700)的所有步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910574566.8A CN110211335B (zh) | 2015-01-19 | 2015-12-03 | 用于对车辆的驾驶员的微睡进行识别的方法和装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015200697.2 | 2015-01-19 | ||
DE102015200697.2A DE102015200697A1 (de) | 2015-01-19 | 2015-01-19 | Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs |
PCT/EP2015/078450 WO2016116201A1 (de) | 2015-01-19 | 2015-12-03 | Verfahren und vorrichtung zum erkennen von sekundenschlaf eines fahrers eines fahrzeugs |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910574566.8A Division CN110211335B (zh) | 2015-01-19 | 2015-12-03 | 用于对车辆的驾驶员的微睡进行识别的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107209979A CN107209979A (zh) | 2017-09-26 |
CN107209979B true CN107209979B (zh) | 2019-06-28 |
Family
ID=54843810
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910574566.8A Active CN110211335B (zh) | 2015-01-19 | 2015-12-03 | 用于对车辆的驾驶员的微睡进行识别的方法和装置 |
CN201580073775.4A Active CN107209979B (zh) | 2015-01-19 | 2015-12-03 | 用于对车辆的驾驶员的微睡进行识别的方法和装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910574566.8A Active CN110211335B (zh) | 2015-01-19 | 2015-12-03 | 用于对车辆的驾驶员的微睡进行识别的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10748404B2 (zh) |
EP (1) | EP3248179B1 (zh) |
JP (1) | JP2018508870A (zh) |
CN (2) | CN110211335B (zh) |
DE (1) | DE102015200697A1 (zh) |
WO (1) | WO2016116201A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016205311A1 (de) * | 2016-03-31 | 2017-10-05 | Robert Bosch Gmbh | Verfahren zum Bereitstellen eines Warnsignals und Verfahren zum Generieren eines Vorsekundenschlafmusters zum Erkennen eines drohenden Sekundenschlafs für ein Fahrzeug |
US10121084B2 (en) * | 2017-03-07 | 2018-11-06 | Wipro Limited | Method and a system for detecting drowsiness state of a vehicle user |
CN109803583A (zh) * | 2017-08-10 | 2019-05-24 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
KR102438191B1 (ko) * | 2017-09-29 | 2022-08-31 | 주식회사 루멘스 | 차량용 졸음 방지 장치 |
CN110200745A (zh) * | 2018-02-28 | 2019-09-06 | 深圳市掌网科技股份有限公司 | 眼罩以及睡眠促进方法 |
JP7099037B2 (ja) * | 2018-05-07 | 2022-07-12 | オムロン株式会社 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
JP7109649B2 (ja) * | 2019-02-27 | 2022-07-29 | 三菱電機株式会社 | 覚醒度推定装置、自動運転支援装置および覚醒度推定方法 |
CN110956067B (zh) * | 2019-05-26 | 2022-05-17 | 魔门塔(苏州)科技有限公司 | 一种人眼眼睑曲线的构建方法及装置 |
JP7537956B2 (ja) * | 2020-09-03 | 2024-08-21 | 株式会社Subaru | 車両制御装置 |
US11433916B1 (en) * | 2021-07-12 | 2022-09-06 | Mirza Faizan | System to generate an alert to wake a driver of a vehicle and a method thereof |
DE102021123849A1 (de) * | 2021-09-15 | 2023-03-16 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Überwachungseinrichtung zum Bestimmen eines Augenzustands einer Person und Kraftfahrzeug |
JPWO2023105970A1 (zh) | 2021-12-10 | 2023-06-15 | ||
CN115810253A (zh) * | 2022-11-25 | 2023-03-17 | 同济大学 | 一种驾驶员微入睡事件短临预测的方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102150189A (zh) * | 2008-09-12 | 2011-08-10 | 爱信精机株式会社 | 睁闭眼判定装置、睁眼度推定装置及程序 |
CN102356416A (zh) * | 2009-03-19 | 2012-02-15 | 爱信精机株式会社 | 困倦判定装置及程序 |
CN202257856U (zh) * | 2011-10-12 | 2012-05-30 | 四川科泰智能电子有限公司 | 驾驶员疲劳驾驶监控装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6070098A (en) * | 1997-01-11 | 2000-05-30 | Circadian Technologies, Inc. | Method of and apparatus for evaluation and mitigation of microsleep events |
FR2773521B1 (fr) * | 1998-01-15 | 2000-03-31 | Carlus Magnus Limited | Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci |
US7202793B2 (en) * | 2002-10-11 | 2007-04-10 | Attention Technologies, Inc. | Apparatus and method of monitoring a subject and providing feedback thereto |
US7253738B2 (en) * | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method of detecting eye closure based on edge lines |
US7293550B2 (en) | 2006-01-31 | 2007-11-13 | Gm Global Technology Operations, Inc. | Fuel injector isolation seat |
US8102417B2 (en) * | 2006-10-25 | 2012-01-24 | Delphi Technologies, Inc. | Eye closure recognition system and method |
JP4974360B2 (ja) * | 2007-02-27 | 2012-07-11 | 国立大学法人九州大学 | 居眠り運転防止装置 |
US8570176B2 (en) * | 2008-05-28 | 2013-10-29 | 7352867 Canada Inc. | Method and device for the detection of microsleep events |
JP5003705B2 (ja) | 2009-03-23 | 2012-08-15 | 株式会社豊田中央研究所 | 開閉眼状態判定装置、前横向き状態判定装置、及びプログラム |
EP2237237B1 (en) * | 2009-03-30 | 2013-03-20 | Tobii Technology AB | Eye closure detection using structured illumination |
CN101540090B (zh) * | 2009-04-14 | 2011-06-15 | 华南理工大学 | 基于多元信息融合的驾驶员疲劳监测方法 |
JP5493593B2 (ja) * | 2009-08-26 | 2014-05-14 | アイシン精機株式会社 | 眠気検出装置、眠気検出方法、及びプログラム |
JP5411653B2 (ja) | 2009-10-16 | 2014-02-12 | 国立大学法人長岡技術科学大学 | 眠気判定装置 |
DE102009046913A1 (de) * | 2009-11-20 | 2011-05-26 | Robert Bosch Gmbh | Verfahren und Steuergerät zur Müdigkeitserkennung |
BR112012012635A2 (pt) * | 2009-12-18 | 2016-07-12 | Honda Motor Co Ltd | sistema e método para fornecer alerta de aviso de acidente em veículo |
JP2012084068A (ja) | 2010-10-14 | 2012-04-26 | Denso Corp | 画像解析装置 |
JP5825588B2 (ja) | 2010-10-15 | 2015-12-02 | 浜松ホトニクス株式会社 | 瞬目計測装置及び瞬目計測方法 |
JP2013257691A (ja) | 2012-06-12 | 2013-12-26 | Panasonic Corp | 居眠り状態判定装置及び居眠り状態判定方法 |
TWI498857B (zh) | 2012-09-14 | 2015-09-01 | Utechzone Co Ltd | 瞌睡提醒裝置 |
CN102867395A (zh) * | 2012-10-11 | 2013-01-09 | 南京艾酷派物联网有限公司 | 驾驶员疲劳远程实时监控装置 |
CN102930693B (zh) * | 2012-11-06 | 2015-01-21 | 深圳市艾大机器人有限公司 | 安全驾驶预警方法 |
JP5940972B2 (ja) | 2012-12-21 | 2016-06-29 | ダイムラー・アクチェンゲゼルシャフトDaimler AG | 居眠り運転警報装置および居眠り運転警報方法 |
US20150025917A1 (en) * | 2013-07-15 | 2015-01-22 | Advanced Insurance Products & Services, Inc. | System and method for determining an underwriting risk, risk score, or price of insurance using cognitive information |
WO2015192980A1 (de) * | 2014-06-20 | 2015-12-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, verfahren und computerprogramm zur detektion eines sekundenschlafs |
DE102015216127A1 (de) * | 2015-08-24 | 2017-03-02 | Ford Global Technologies, Llc | Verfahren zum Eye-Tracking in einem Fahrzeug mit Head-up-Display |
DE102015218306A1 (de) * | 2015-09-23 | 2017-03-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers |
-
2015
- 2015-01-19 DE DE102015200697.2A patent/DE102015200697A1/de not_active Withdrawn
- 2015-12-03 JP JP2017537477A patent/JP2018508870A/ja active Pending
- 2015-12-03 CN CN201910574566.8A patent/CN110211335B/zh active Active
- 2015-12-03 WO PCT/EP2015/078450 patent/WO2016116201A1/de active Application Filing
- 2015-12-03 US US15/533,219 patent/US10748404B2/en active Active
- 2015-12-03 CN CN201580073775.4A patent/CN107209979B/zh active Active
- 2015-12-03 EP EP15807835.2A patent/EP3248179B1/de active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102150189A (zh) * | 2008-09-12 | 2011-08-10 | 爱信精机株式会社 | 睁闭眼判定装置、睁眼度推定装置及程序 |
CN102356416A (zh) * | 2009-03-19 | 2012-02-15 | 爱信精机株式会社 | 困倦判定装置及程序 |
CN202257856U (zh) * | 2011-10-12 | 2012-05-30 | 四川科泰智能电子有限公司 | 驾驶员疲劳驾驶监控装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107209979A (zh) | 2017-09-26 |
EP3248179A1 (de) | 2017-11-29 |
US10748404B2 (en) | 2020-08-18 |
EP3248179B1 (de) | 2019-02-20 |
JP2018508870A (ja) | 2018-03-29 |
DE102015200697A1 (de) | 2016-07-21 |
US20170345276A1 (en) | 2017-11-30 |
WO2016116201A1 (de) | 2016-07-28 |
CN110211335B (zh) | 2021-12-17 |
CN110211335A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107209979B (zh) | 用于对车辆的驾驶员的微睡进行识别的方法和装置 | |
Assari et al. | Driver drowsiness detection using face expression recognition | |
EP1732028B1 (en) | System and method for detecting an eye | |
Fuletra et al. | A survey on drivers drowsiness detection techniques | |
US20160272217A1 (en) | Two-step sleepy driving prevention apparatus through recognizing operation, front face, eye, and mouth shape | |
CN105286802B (zh) | 基于视频信息的驾驶员疲劳检测方法 | |
CN105788176A (zh) | 疲劳驾驶监测提醒方法及系统 | |
KR20190083155A (ko) | 운전자 상태 검출 장치 및 그 방법 | |
Nakamura et al. | Detection of driver's drowsy facial expression | |
US20220036101A1 (en) | Methods, systems and computer program products for driver monitoring | |
CN106257549B (zh) | 用于提供眼睛睁开距离用的参考水平的方法和装置 | |
Nakamura et al. | Driver drowsiness estimation from facial expression features computer vision feature investigation using a CG model | |
Khan et al. | Efficient Car Alarming System for Fatigue Detectionduring Driving | |
Mašanović et al. | Driver monitoring using the in-vehicle camera | |
KR20160067681A (ko) | 운전자의 운행 집중도 레벨 분석방법 | |
Santhiya et al. | Improved Authentication and Drowsiness Detection from Facial Features using Deep Learning Framework in Real Time Environments | |
Kawtikwar et al. | Eyes on the road: a machine learning-based fatigue detection system for safer driving | |
Parsai et al. | Intelligent Monitoring System for Driver’s Alertness (A vision based approach) | |
CN113901866A (zh) | 一种机器视觉的疲劳驾驶预警方法 | |
Apoorva et al. | Review on Drowsiness Detection | |
US10152871B2 (en) | Method for furnishing a warning signal, and method for generating a pre-microsleep pattern for detection of an impending microsleep event for a vehicle | |
Tanha et al. | Morphological drowsy detection | |
Victoreia et al. | Driver fatigue monitoring system using eye closure | |
Kumari | Real time detecting driver’s drowsiness using computer vision | |
JP7374386B2 (ja) | 状態判定装置および状態判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |