CN109496309A - 疲劳状态的检测方法、装置及设备 - Google Patents

疲劳状态的检测方法、装置及设备 Download PDF

Info

Publication number
CN109496309A
CN109496309A CN201880001087.0A CN201880001087A CN109496309A CN 109496309 A CN109496309 A CN 109496309A CN 201880001087 A CN201880001087 A CN 201880001087A CN 109496309 A CN109496309 A CN 109496309A
Authority
CN
China
Prior art keywords
state
initial pictures
eye
user
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880001087.0A
Other languages
English (en)
Other versions
CN109496309B (zh
Inventor
银国超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Huiding Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huiding Technology Co Ltd filed Critical Shenzhen Huiding Technology Co Ltd
Publication of CN109496309A publication Critical patent/CN109496309A/zh
Application granted granted Critical
Publication of CN109496309B publication Critical patent/CN109496309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0461—Sensor means for detecting integrated or attached to an item closely associated with the person but not worn by the person, e.g. chair, walking stick, bed sensor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

本发明提供一种疲劳状态的检测方法、装置及设备，该方法通过接收3D传感器发送的初始图像，其中，所述初始图像中包括含有眼部轮廓的深度信息；从所述初始图像中提取出眼部状态信息；根据所述眼部状态信息，确定用户当前是否处于疲劳状态。从而实现通过眼部状态信息来检测用户是否处于疲劳状态，检测效率高，检测结果更加准确。

Description

疲劳状态的检测方法、装置及设备
技术领域
本申请涉及电子技术领域，尤其涉及一种疲劳状态的检测方法、装置及设备。
背景技术
当用户处于疲劳状态时，会出现注意力分散，应变能力下降的情况。例如，当用户处于疲劳驾驶状态时，对路面情况和周边环境的观察和反应速度会明显变慢，如果不进行相应的休整，则会增加引发交通事故的可能性。因此，需要对用户的疲劳状态进行检测，以及时地对用户进行提醒。
目前，一般通过可穿戴的电子设备来检测人体的心率、行为等信息，然后再根据检测到的信息与预设的指标进行比对，以此来判断用户当前是否处于疲劳状态。
但是，这种方式的检测效率低，需要用户在一定时间内保持佩戴电子设备，且检测结果容易受外界因素干扰，检测精度低。
发明内容
本发明提供一种疲劳状态的检测方法、装置及设备，以实现通过眼部状态信息来检测用户是否处于疲劳状态，检测效率高，检测结果更加准确。
第一方面，本发明提供一种疲劳状态的检测方法，包括：
接收3D传感器发送的初始图像；
从所述初始图像中提取出眼部状态信息；
根据所述眼部状态信息，确定用户当前是否处于疲劳状态。
可选地，所述从所述初始图像中提取出眼部状态信息，包括：
从所述初始图像中识别出第一眼部区域图像；
若所述第一眼部区域图像中的眼睑处于开启状态，则从所述第一眼部区域图像中提取出角膜弧度。
可选地，在从所述初始图像中识别出第一眼部区域图像之后，还包括：
若所述第一眼部区域图像中的眼睑处于闭合状态，则在等待第一预设时间后，接收3D传感器发送的新的初始图像；
从所述新的初始图像中识别出第二眼部区域图像；
若所述第二眼部区域图像中的眼睑处于开启状态，则从所述第二眼部区域图像中提取出角膜弧度；
若所述第二眼部区域图像中的眼睑处于闭合状态，则按照预设的时间间隔，连续获取在第二预设时间范围内的N帧初始图像；N为大于1的自然数；
从所述N帧初始图像中得到在第二预设时间范围内的眼部状态信息，所述眼部状态信息包括：眨眼次数、闭眼的总时长、保持闭眼的时长、角膜弧度。
可选地，在所述根据所述眼部状态信息，确定用户当前是否处于疲劳状态之前，还包括：
判断所述角膜弧度是否在预设角度范围内，若是，则将所述角膜弧度作为目标角膜弧度；
若否，则确定所述角膜弧度为无效数据，重新接收所述3D传感器发送的初始图像。
可选地，所述根据所述眼部状态信息，确定用户当前是否处于疲劳状态，包括：
将所述目标角膜弧度与参考角膜弧度进行比对，若所述目标角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值，则确定用户当前处于疲劳状态。
可选地，所述参考角膜弧度是用户处于正常状态下检测到的角膜弧度，或者是预先存储的角膜弧度。
可选地，根据所述眼部状态信息，确定用户当前是否处于疲劳状态，还包括：
若在第二预设时间范围内满足预设条件中的至少一个时，则确定用户当前处于疲劳状态；其中，所述预设条件包括：
眨眼次数不在预设的数量范围内；
闭眼的总时长大于第一上限值；
保持闭眼的时长大于第二上限值；
在所述N帧初始图像中存在至少一帧初始图像的角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值。
可选地，在接收3D传感器发送的初始图像之前，还包括：
向所述3D传感器发送控制信号，以使所述3D传感器按照预设的频率采集所述初始图像。
可选地，在根据所述眼部状态信息，确定用户当前是否处于疲劳状态之后，还包括：
若确定用户当前处于疲劳状态，则向用户发送提醒信息，以提醒用户注意休息。
第二方面，本发明提供一种疲劳状态的检测装置，包括：
接收模块，用于接收3D传感器发送的初始图像；
提取模块，用于从所述初始图像中提取出眼部状态信息；
确定模块，用于根据所述眼部状态信息，确定用户当前是否处于疲劳状态。
可选地，所述提取模块，具体用于：
从所述初始图像中识别出第一眼部区域图像；
若所述第一眼部区域图像中的眼睑处于开启状态，则从所述第一眼部区域图像中提取出角膜弧度。
可选地，所述提取模块，还用于：
若所述第一眼部区域图像中的眼睑处于闭合状态，则在等待第一预设时间后，接收3D传感器发送的新的初始图像；
从所述新的初始图像中识别出第二眼部区域图像；
若所述第二眼部区域图像中的眼睑处于开启状态，则从所述第二眼部区域图像中提取出角膜弧度；
若所述第二眼部区域图像中的眼睑处于闭合状态，则按照预设的时间间隔，连续获取在第二预设时间范围内的N帧初始图像；N为大于1的自然数；
从所述N帧初始图像中得到在第二预设时间范围内的眼部状态信息，所述眼部状态信息包括：眨眼次数、闭眼的总时长、保持闭眼的时长、角膜弧度。
可选地，还包括：
过滤模块，用于在所述根据所述眼部状态信息，确定用户当前是否处于疲劳状态之前，判断所述角膜弧度是否在预设角度范围内，若是，则将所述角膜弧度作为目标角膜弧度；
若否，则确定所述角膜弧度为无效数据，重新接收所述3D传感器发送的初始图像。
可选地，所述确定模块，具体用于：
将所述目标角膜弧度与参考角膜弧度进行比对，若所述目标角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值，则确定用户当前处于疲劳状态。
可选地，所述参考角膜弧度是用户处于正常状态下检测到的角膜弧度，或者是预先存储的角膜弧度。
可选地，所述确定模块，还用于：
若在第二预设时间范围内满足预设条件中的至少一个时，则确定用户当前处于疲劳状态；其中，所述预设条件包括：
眨眼次数不在预设的数量范围内；
闭眼的总时长大于第一上限值；
保持闭眼的时长大于第二上限值；
在所述N帧初始图像中存在至少一帧初始图像的角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值。
可选地，还包括：
发送模块，用于在接收3D传感器发送的初始图像之前，向所述3D传感器发送控制信号，以使所述3D传感器按照预设的频率采集所述初始图像。
可选地，发送模块，还用于在根据所述眼部状态信息，确定用户当前是否处于疲劳状态之后，若确定用户当前处于疲劳状态，则向用户发送提醒信息，以提醒用户注意休息。
第三方面，本发明提供一种操作系统的唤醒设备，包括：
3D传感器和微控制单元MCU，所述3D传感器和所述微控制单元MCU电连接；
所述3D传感器用于采集初始图像，并将所述初始图像发送给所述MCU；
所述MCU用于执行如第一方面中任一项所述的疲劳状态的检测方法。
第四方面，本发明提供一种操作系统的唤醒设备，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行第一方面中任一所述的方法。
第五方面，本发明提供一种计算机可读存储介质，包括：指令，当其在计算机上运行时，使得计算机执行第一方面中任一所述的方法。
本发明提供的疲劳状态的检测方法、装置及设备，通过接收3D传感器发送的初始图像，其中，所述初始图像中包括含有眼部轮廓的深度信息；从所述初始图像中提取出眼部状态信息；根据所述眼部状态信息，确定用户当前是否处于疲劳状态。从而实现通过眼部状态信息来检测用户是否处于疲劳状态，检测效率高，检测结果更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图进行简单的介绍。显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一应用场景的结构示意图；
图2为本发明实施例一提供的疲劳状态的检测方法的流程图；
图3为人眼处于正常状态时的眼球结构示意图；
图4为人眼处于疲劳状态时的眼球结构示意图；
图5为本发明实施例二提供的疲劳状态的检测方法的流程图；
图6为本发明实施例三提供的疲劳状态的检测方法的流程图；
图7为本发明实施例四提供的疲劳状态的检测装置的结构示意图；
图8为本发明实施例五提供的疲劳状态的检测装置的结构示意图；
图9为本发明实施例六提供的疲劳状态的检测装置的结构示意图；
图10为本发明实施例七提供的疲劳状态的检测设备的结构示意图；
图11为本发明实施例八提供的疲劳状态的检测设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开提到的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
1)三维(Three Dimensions,3D)，是一个空间的概念，可以由X、Y、Z三个轴来表征空间的三个维度。
2)3D传感器，是指除了获取物体的平面图像外，还获取物体深度信息的传感器，常见的3D传感器包括：3D摄像头；一般的3D摄像头包括：第一镜头和第二镜头，通过将两个镜头获取的图像进行处理后得到对应的3D图像。需要说明的是，本发明中不限定3D传感器的具体类型。理论上，还可以将能够获取物体或者平面图像深度信息的传感器和普通的2D传感器结合使用，从而获得与3D传感器类似的功能。
3)微控制单元(Microcontroller Unit，MCU)，又称单片微型计算机(Single ChipMicrocomputer)或者单片机，是把中央处理器(Central Process Unit，CPU)的频率与规格做适当缩减，并将内存(memory)、计数器(Timer)、通用串行总线(Universal Serial Bus，USB)、模拟数字转换(analog to digital converte，A/D)、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter)、可编程逻辑控制器(ProgrammableLogic Controller，PLC)等周边接口，甚至液晶显示器(Liquid Crystal Display，LCD)的驱动电路都整合在单一芯片上，形成芯片级的计算机，为不同的应用场合做不同组合控制。
图1为本发明提供的一应用场景的结构示意图，图1所示的系统包括：3D传感器1、微控制单元MCU 2、存储器3、指示器4。具体地，MCU 2接收3D传感器1发送的初始图像；MCU 2从所述初始图像中提取出目标角膜弧度；然后从存储器3中获取参考角膜弧度，将该目标角膜弧度与参考角膜弧度进行比对；若所述目标角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值，则确定用户当前处于疲劳状态；向指示器4发送用户提醒信息。
下面以具体的实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例一提供的疲劳状态的检测方法的流程图，如图2所示，本实施例中的方法可以包括：
S101、接收3D传感器发送的初始图像。
实际应用中，本实施例的执行主体可以为微控制单元MCU、单片机、微型处理器等具备数据处理能力的器件。本实施例中以MCU为例进行详细说明，但不限定执行本实施例中方法的具体器件类型。
本实施例中，MCU可以与3D传感器集成为一个模块，也可以是与3D传感器电连接的独立模块。首先，MCU接收3D传感器采集到的初始图像，其中，所述初始图像中包括含有眼部轮廓的深度信息。常见的3D传感器包括：3D摄像头；一般的3D摄像头包括：第一镜头和第二镜头，通过将两个镜头获取的图像进行处理后得到对应的3D图像，或者可以采用结构光3D传感器，或者飞行时间3D传感器。需要说明的是，本发明中不限定3D传感器的具体类型。理论上，还可以将能够获取物体或者平面图像深度信息的传感器和普通的2D传感器结合使用，从而获得与3D传感器类似的功能。本实施例中，3D传感器发送的初始图像可以是三维图像或者二维图像；当初始图像为三维图像时，其中包含有眼部轮廓的深度信息。
S102、从所述初始图像中提取出眼部状态信息。
本实施例中，可以从3D传感器发送的所述初始图像中识别出第一眼部区域图像；该第一眼部区域是指包含用户双目或者单目的眼部部位的图像，所述眼部状态信息包括：眨眼次数、闭眼的总时长、保持闭眼的时长、角膜弧度。可选地，第一眼部区域图像中至少包括：单目或者双目眼睑、瞳孔区域的图像。
在一种实施方式中，若所述第一眼部区域图像中的眼睑处于开启状态，则从所述第一眼部区域图像中提取出角膜弧度。具体地，角膜弧度的提取需要已知眼球区域的轮廓深度信息。此时，3D传感器发送的初始图像需为三维图像，三维图像中包含有眼部轮廓的深度信息，从而使得MCU可以根据眼球区域的轮廓的深度信息中获取到角膜的弧度。进一步地，MCU也可以根据该三维图像来获取眨眼次数、闭眼的总时长、保持闭眼的时长等信息。图3为人眼处于正常状态时的眼球结构示意图，图4为人眼处于疲劳状态时的眼球结构示意图。结合图3、图4可以知道，角膜5的弧度能够很反映出人眼是否处于疲劳状态。
在另一种实施方式中，若仅仅需要获取眨眼次数、闭眼的总时长、保持闭眼的时长信息，则3D传感器发送的初始图像也可以为二维图像(例如仅开启一个摄像头，或者使用其中的2D传感器采集初始图像)，此时，MCU可以直接根据二维图像来获取眨眼次数、闭眼的总时长、保持闭眼的时长等信息。
可选地，若所述第一眼部区域图像中的眼睑处于闭合状态，则在等待第一预设时间后，接收3D传感器发送的新的初始图像；从所述新的初始图像中识别出第二眼部区域图像。需要说明的是，本实施例中的第二眼部区域图像是指包含用户双目或者单目的眼部部位的图像，其与第一眼部区域图像的不同之处在于，两者采集的时间不同。可选地，第二眼部图像中至少包括：眼睑、瞳孔区域的图像。若所述第二眼部区域图像中的眼睑处于开启状态，则从所述第二眼部区域图像中提取出角膜弧度；若所述第二眼部区域图像中的眼睑处于闭合状态，则按照预设的时间间隔，连续获取在第二预设时间范围内的N帧初始图像；N为大于1的自然数。从所述N帧初始图像中得到在第二预设时间范围内的眼部状态信息，所述眼部状态信息包括：眨眼次数、闭眼的总时长、保持闭眼的时长、角膜弧度。
可选地，若在第二预设时间范围内满足预设条件中的至少一个时，则确定用户当前处于疲劳状态；其中，所述预设条件包括：
眨眼次数不在预设的数量范围内；
闭眼的总时长大于第一上限值；
保持闭眼的时长大于第二上限值；
在所述N帧初始图像中存在至少一帧初始图像的角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值。
S103、根据所述眼部状态信息，确定用户当前是否处于疲劳状态。
本实施例中，可以将所述目标角膜弧度与参考角膜弧度进行比对，若所述目标角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值，则确定用户当前处于疲劳状态。可选地，所述参考角膜弧度是根据用户处于正常状态下检测到的角膜弧度，或者是预先存储的角膜弧度。
可选地，可以在MCU的本地存储器，或者与MCU电连接的存储器中存储不同模式下的参考角膜弧度。例如，处于驾驶模式时的参考角膜弧度、处于夜间模式时的参考角膜弧度、处于白天模式的参考角膜弧度等等。以处于驾驶模式为例，在对用户进行疲劳状态检测之前，首先获取用户眼部处于正常状态下的弧度信息。正常状态下的弧度信息可以是历史存储的数据，也可以是用户刚刚启动车辆时检测到的数据。夜间模式和白天模式的参考角膜弧度的获取方式与驾驶模式的参考角膜弧度的获取方式类似。具体地，可以从3D传感器采集的初始图像中的亮度来确定当前是处于夜间还是白天。
可选地，不同模式下的参考角膜弧度还可以是从云端下载得到。本实施例对参考角膜弧度的来源和具体采集过程不予限定。
在步骤S101之前，或者是在执行步骤S101～步骤S103时的任一时刻，均可以执行如下步骤：
向所述3D传感器发送控制信号，以使所述3D传感器按照预设的频率采集所述初始图像。
本实施例中，可以通过MCU来控制3D传感器采集初始图像的频率。例如，当连续检测到M个初始图像中的眼部状态信息均表明用户处于非疲劳状态，则降低3D传感器采集初始图像的频率；其中M为大于等于1的自然数，M的值可以根据实际情况进行调整。
本实施例，通过接收3D传感器发送的初始图像，其中，所述初始图像中包括含有眼部轮廓的深度信息；从所述初始图像中提取出眼部状态信息；根据所述眼部状态信息，确定用户当前是否处于疲劳状态。从而实现通过眼部状态信息来检测用户是否处于疲劳状态，检测效率高，检测结果更加准确。
图5为本发明实施例二提供的疲劳状态的检测方法的流程图，如图5所示，本实施例中的方法可以包括：
S201、接收3D传感器发送的初始图像。
S202、从所述初始图像中提取出角膜弧度。
本实施例中，步骤S201～步骤S202的具体实现过程和原理请参见图2所示方法中的相关描述，此处不再赘述。
S203、判断所述角膜弧度是否在预设角度范围内，若是，则执行步骤S204；若否，则确定所述角膜弧度为无效数据，返回执行步骤S201。
本实施例中，通过从初始图像中提取出的角膜弧度进行过滤处理，去除掉明显异常的数据，例如角膜弧度不在预设角度范围内的数据。从而排除无效数据对检测结果的影响，使得检测结果更加准确。
S204、将所述角膜弧度作为目标角膜弧度，将所述目标角膜弧度与参考角膜弧度进行比对，若所述目标角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值，则确定用户当前处于疲劳状态。
本实施例，通过接收3D传感器发送的初始图像，其中，所述初始图像中包括含有眼部轮廓的深度信息；从所述初始图像中提取出角膜弧度，然后对该角膜弧度进行过滤处理，去除不在预设角度范围内的无效数据，得到目标角膜弧度，根据该目标角膜弧度确定用户当前是否处于疲劳状态。从而实现通过角膜弧度来检测用户是否处于疲劳状态，检测效率高，检测结果更加准确。
图6为本发明实施例三提供的疲劳状态的检测方法的流程图，如图6所示，本实施例中的方法可以包括：
S301、接收3D传感器发送的初始图像。
S302、从所述初始图像中提取出眼部状态信息；
S303、根据所述眼部状态信息，确定用户当前是否处于疲劳状态。
本实施例中，步骤S301～步骤S303的具体实现过程和原理请参见图2所示方法中的相关描述，此处不再赘述。
S304、若确定用户当前处于疲劳状态，则向用户发送提醒信息，以提醒用户注意休息。
本实施例中，MCU与显示器、蜂鸣器、语音终端等电连接，当确定用户当前处于疲劳状态时，则可以通过显示器进行文字提醒，文字内容为提醒用户注意休息；或者通过蜂鸣器向用户发出警示，或者通过语音终端对用于进行语音提醒。需要说明的是，本实施例中对具体的提醒方式不予限定。
本实施例，通过接收3D传感器发送的初始图像，其中，所述初始图像中包括含有眼部轮廓的深度信息；从所述初始图像中提取出眼部状态信息；根据所述眼部状态信息，确定用户当前是否处于疲劳状态，当确定用户当前处于疲劳状态时，则向用户发送提醒信息，以提醒用户注意休息。从而实现通过眼部状态信息来检测用户是否处于疲劳状态，检测效率高，检测结果更加准确，并能够在用户处于疲劳状态时给予及时的提醒。
图7为本发明实施例四提供的疲劳状态的检测装置的结构示意图，如图7所示，本实施例中的装置可以包括：
接收模块10，用于接收3D传感器发送的初始图像；
提取模块20，用于从所述初始图像中提取出眼部状态信息；
确定模块30，用于根据所述眼部状态信息，确定用户当前是否处于疲劳状态。
可选地，所述提取模块10，具体用于：
从所述初始图像中识别出第一眼部区域图像；
若所述第一眼部区域图像中的眼睑处于开启状态，则从所述第一眼部区域图像中提取出角膜弧度。
可选地，所述提取模块10，还用于：
若所述第一眼部区域图像中的眼睑处于闭合状态，则在等待第一预设时间后，接收3D传感器发送的新的初始图像；
从所述新的初始图像中识别出第二眼部区域图像；
若所述第二眼部区域图像中的眼睑处于开启状态，则从所述第二眼部区域图像中提取出角膜弧度；
若所述第二眼部区域图像中的眼睑处于闭合状态，则按照预设的时间间隔，连续获取在第二预设时间范围内的N帧初始图像；N为大于1的自然数；
从所述N帧初始图像中得到在第二预设时间范围内的眼部状态信息，所述眼部状态信息包括：眨眼次数、闭眼的总时长、保持闭眼的时长、角膜弧度。
可选地，所述确定模块30，具体用于：
将所述目标角膜弧度与参考角膜弧度进行比对，若所述目标角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值，则确定用户当前处于疲劳状态。
可选地，所述参考角膜弧度是用户处于正常状态下检测到的角膜弧度，或者是预先存储的角膜弧度。
可选地，所述确定模块30，还用于：
若在第二预设时间范围内满足预设条件中的至少一个时，则确定用户当前处于疲劳状态；其中，所述预设条件包括：
眨眼次数不在预设的数量范围内；
闭眼的总时长大于第一上限值；
保持闭眼的时长大于第二上限值；
在所述N帧初始图像中存在至少一帧初始图像的角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值。
本实施例中的装置可以执行图2所示的方法，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
图8为本发明实施例五提供的疲劳状态的检测装置的结构示意图，如图8所示，在图7所示装置的基础上，本实施例中的装置还可以包括：
过滤模块40，用于在所述根据所述眼部状态信息，确定用户当前是否处于疲劳状态之前，判断所述角膜弧度是否在预设角度范围内，若是，则将所述角膜弧度作为目标角膜弧度；
若否，则确定所述角膜弧度为无效数据，重新接收所述3D传感器发送的初始图像。
本实施例中的装置可以执行图5所示的方法，其具体实现过程和技术原理参见图5所示方法中的相关描述，此处不再赘述。
图9为本发明实施例六提供的疲劳状态的检测装置的结构示意图，如图9所示，在图7所示装置的基础上，本实施例中的装置还可以包括：
发送模块50，用于在接收3D传感器发送的初始图像之前，向所述3D传感器发送控制信号，以使所述3D传感器按照预设的频率采集所述初始图像。
可选地，发送模块50，还用于在根据所述眼部状态信息，确定用户当前是否处于疲劳状态之后，若确定用户当前处于疲劳状态，则向用户发送提醒信息，以提醒用户注意休息。
本实施例中的装置可以执行图6所示的方法，其具体实现过程和技术原理参见图6所示方法中的相关描述，此处不再赘述。
图10为本发明实施例七提供的疲劳状态的检测设备的结构示意图，图10所示的设备60包括：3D传感器61和微控制单元MCU 62，所述3D传感器61和所述微控制单元MCU62电连接；
所述3D传感器61用于采集初始图像，并将所述初始图像发送给所述MCU；
所述MCU62用于执行图2、图5、图6中任一项所述的疲劳状态的检测方法。
图11为本发明实施例八提供的疲劳状态的检测设备的结构示意图，如图11所示，本实施例中的疲劳状态的检测设备70包括：
处理器71以及存储器72；其中：
存储器72，用于存储可执行指令，该存储器还可以是flash(闪存)。
处理器71，用于执行存储器存储的可执行指令，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器72既可以是独立的，也可以跟处理器71集成在一起。
当所述存储器72是独立于处理器71之外的器件时，所述疲劳状态的检测设备70还可以包括：
总线73，用于连接所述存储器72和处理器71。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于应用专用集成电路(ASIC)中。另外，该应用专用集成电路可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (20)

1.一种疲劳状态的检测方法，其特征在于，包括：
接收3D传感器发送的初始图像；
从所述初始图像中提取出眼部状态信息；
根据所述眼部状态信息，确定用户当前是否处于疲劳状态。
2.根据权利要求1所述的方法，其特征在于，所述从所述初始图像中提取出眼部状态信息，包括：
从所述初始图像中识别出第一眼部区域图像；
若所述第一眼部区域图像中的眼睑处于开启状态，则从所述第一眼部区域图像中提取出角膜弧度。
3.根据权利要求2所述的方法，其特征在于，在从所述初始图像中识别出第一眼部区域图像之后，还包括：
若所述第一眼部区域图像中的眼睑处于闭合状态，则在等待第一预设时间后，接收3D传感器发送的新的初始图像；
从所述新的初始图像中识别出第二眼部区域图像；
若所述第二眼部区域图像中的眼睑处于开启状态，则从所述第二眼部区域图像中提取出角膜弧度；
若所述第二眼部区域图像中的眼睑处于闭合状态，则按照预设的时间间隔，连续获取在第二预设时间范围内的N帧初始图像；N为大于1的自然数；
从所述N帧初始图像中得到在第二预设时间范围内的眼部状态信息，所述眼部状态信息包括：眨眼次数、闭眼的总时长、保持闭眼的时长、角膜弧度。
4.根据权利要求2或3所述的方法，其特征在于，在所述根据所述眼部状态信息，确定用户当前是否处于疲劳状态之前，还包括：
判断所述角膜弧度是否在预设角度范围内，若是，则将所述角膜弧度作为目标角膜弧度；
若否，则确定所述角膜弧度为无效数据，重新接收所述3D传感器发送的初始图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述眼部状态信息，确定用户当前是否处于疲劳状态，包括：
将所述目标角膜弧度与参考角膜弧度进行比对，若所述目标角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值，则确定用户当前处于疲劳状态。
6.根据权利要求5所述的方法，其特征在于，所述参考角膜弧度是用户处于正常状态下检测到的角膜弧度，或者是预先存储的角膜弧度。
7.根据权利要求3所述的方法，其特征在于，根据所述眼部状态信息，确定用户当前是否处于疲劳状态，还包括：
若在第二预设时间范围内满足预设条件中的至少一个时，则确定用户当前处于疲劳状态；其中，所述预设条件包括：
眨眼次数不在预设的数量范围内；
闭眼的总时长大于第一上限值；
保持闭眼的时长大于第二上限值；
在所述N帧初始图像中存在至少一帧初始图像的角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值。
8.根据权利要求1所述的方法，其特征在于，在接收3D传感器发送的初始图像之前，还包括：
向所述3D传感器发送控制信号，以使所述3D传感器按照预设的频率采集所述初始图像。
9.根据权利要求1-8中任一项所述的方法，其特征在于，在根据所述眼部状态信息，确定用户当前是否处于疲劳状态之后，还包括：
若确定用户当前处于疲劳状态，则向用户发送提醒信息，以提醒用户注意休息。
10.一种疲劳状态的检测装置，其特征在于，包括：
接收模块，用于接收3D传感器发送的初始图像；
提取模块，用于从所述初始图像中提取出眼部状态信息；
确定模块，用于根据所述眼部状态信息，确定用户当前是否处于疲劳状态。
11.根据权利要求10所述的装置，其特征在于，所述提取模块，具体用于：
从所述初始图像中识别出第一眼部区域图像；
若所述第一眼部区域图像中的眼睑处于开启状态，则从所述第一眼部区域图像中提取出角膜弧度。
12.根据权利要求11所述的装置，其特征在于，所述提取模块，还用于：
若所述第一眼部区域图像中的眼睑处于闭合状态，则在等待第一预设时间后，接收3D传感器发送的新的初始图像；
从所述新的初始图像中识别出第二眼部区域图像；
若所述第二眼部区域图像中的眼睑处于开启状态，则从所述第二眼部区域图像中提取出角膜弧度；
若所述第二眼部区域图像中的眼睑处于闭合状态，则按照预设的时间间隔，连续获取在第二预设时间范围内的N帧初始图像；N为大于1的自然数；
从所述N帧初始图像中得到在第二预设时间范围内的眼部状态信息，所述眼部状态信息包括：眨眼次数、闭眼的总时长、保持闭眼的时长、角膜弧度。
13.根据权利要求11或12所述的装置，其特征在于，还包括：
过滤模块，用于在所述根据所述眼部状态信息，确定用户当前是否处于疲劳状态之前，判断所述角膜弧度是否在预设角度范围内，若是，则将所述角膜弧度作为目标角膜弧度；
若否，则确定所述角膜弧度为无效数据，重新接收所述3D传感器发送的初始图像。
14.根据权利要求13所述的装置，其特征在于，所述确定模块，具体用于：
将所述目标角膜弧度与参考角膜弧度进行比对，若所述目标角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值，则确定用户当前处于疲劳状态。
15.根据权利要求14所述的装置，其特征在于，所述参考角膜弧度是用户处于正常状态下检测到的角膜弧度，或者是预先存储的角膜弧度。
16.根据权利要求12所述的装置，其特征在于，所述确定模块，还用于：
若在第二预设时间范围内满足预设条件中的至少一个时，则确定用户当前处于疲劳状态；其中，所述预设条件包括：
眨眼次数不在预设的数量范围内；
闭眼的总时长大于第一上限值；
保持闭眼的时长大于第二上限值；
在所述N帧初始图像中存在至少一帧初始图像的角膜弧度与参考角膜弧度的差值的绝对值大于预设阈值。
17.根据权利要求10所述的装置，其特征在于，还包括：
发送模块，用于在接收三维3D传感器发送的初始图像之前，向所述3D传感器发送控制信号，以使所述3D传感器按照预设的频率采集所述初始图像。
18.根据权利要求10-17中任一项所述的装置，其特征在于，发送模块，还用于在根据所述眼部状态信息，确定用户当前是否处于疲劳状态之后，若确定用户当前处于疲劳状态，则向用户发送提醒信息，以提醒用户注意休息。
19.一种疲劳状态的检测设备，其特征在于，包括：3D传感器和微控制单元MCU，所述3D传感器和所述微控制单元MCU电连接；
所述3D传感器用于采集初始图像，并将所述初始图像发送给所述MCU；
所述MCU用于执行如权利要求1-9中任一项所述的疲劳状态的检测方法。
20.一种计算机可读存储介质，包括：程序指令，当其在计算机上运行时，使得计算机执行所述程序指令，以实现如权利要求1-9中任一项所述的疲劳状态的检测方法。
CN201880001087.0A 2018-08-07 2018-08-07 疲劳状态的检测方法、装置及设备 Active CN109496309B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/099250 WO2020029093A1 (zh) 2018-08-07 2018-08-07 疲劳状态的检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN109496309A true CN109496309A (zh) 2019-03-19
CN109496309B CN109496309B (zh) 2022-05-03

Family

ID=65713816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880001087.0A Active CN109496309B (zh) 2018-08-07 2018-08-07 疲劳状态的检测方法、装置及设备

Country Status (4)

Country Link
US (1) US10969864B2 (zh)
EP (1) EP3627468B1 (zh)
CN (1) CN109496309B (zh)
WO (1) WO2020029093A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956068A (zh) * 2019-05-29 2020-04-03 初速度（苏州）科技有限公司 一种基于人眼状态识别的疲劳检测方法及装置
CN111260370A (zh) * 2020-01-17 2020-06-09 北京意锐新创科技有限公司 一种支付方法和装置
CN113180671A (zh) * 2021-04-19 2021-07-30 维沃移动通信有限公司 疲劳检测装置及疲劳检测方法
CN113709308A (zh) * 2021-08-31 2021-11-26 维沃移动通信有限公司 电子设备的使用监测方法和装置
CN114859557A (zh) * 2022-04-22 2022-08-05 歌尔股份有限公司 头戴式装备的控制方法、头戴式装备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951332B (zh) * 2020-07-20 2022-07-19 燕山大学 基于视线估计和双目深度估计的眼镜设计方法及其眼镜

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
US20050163383A1 (en) * 2004-01-26 2005-07-28 Samsung Electronics Co., Ltd. Driver's eye image detecting device and method in drowsy driver warning system
DE50207570D1 (de) * 2002-08-29 2006-08-31 Braun Uwe Peter Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers
CN101375796A (zh) * 2008-09-18 2009-03-04 浙江工业大学 疲劳驾驶实时检测系统
CN101803928A (zh) * 2010-03-05 2010-08-18 北京智安邦科技有限公司 基于视频的驾驶员疲劳检测装置
EP2237237A1 (en) * 2009-03-30 2010-10-06 Tobii Technology AB Eye closure detection using structured illumination
CN104850217A (zh) * 2014-02-19 2015-08-19 联想(北京)有限公司 一种人眼动作监测装置、方法及设备
CN106485880A (zh) * 2016-11-15 2017-03-08 广东技术师范学院 汽车驾驶安全预警车载智能终端
CN106846734A (zh) * 2017-04-12 2017-06-13 南京理工大学 一种疲劳驾驶检测装置及方法
CN108062160A (zh) * 2017-10-31 2018-05-22 努比亚技术有限公司 一种图像显示调整方法及图像显示调整设备
EP3326513A1 (en) * 2015-07-17 2018-05-30 Sony Corporation Eyeball observation device, eyewear terminal, gaze detection method, and program
US20210034890A1 (en) * 2019-07-29 2021-02-04 Hyundai Motor Company Driver monitoring apparatus and method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005312868A (ja) * 2004-04-30 2005-11-10 Cci:Kk 瞬きを用いた覚醒度計測法
US20080232694A1 (en) * 2007-03-21 2008-09-25 Peter Sulatycke Fast imaging data classification method and apparatus
JP5270415B2 (ja) * 2009-03-19 2013-08-21 トヨタ自動車株式会社 眠気判定装置及びプログラム
CN101692980B (zh) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
CN103700217A (zh) * 2014-01-07 2014-04-02 广州市鸿慧电子科技有限公司 基于人眼及行车轨迹特征的疲劳驾驶检测系统及方法
DE112017005233B4 (de) * 2017-01-17 2021-08-26 Mitsubishi Electric Corporation Augenliderkennungsvorrichtung, Schläfrigkeitsbestimmungsvorrichtung und Augenliderkennungsverfahren
CN106943263A (zh) 2017-04-28 2017-07-14 盐城市高聚塑业有限公司 一种新型医用腕带

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
DE50207570D1 (de) * 2002-08-29 2006-08-31 Braun Uwe Peter Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers
US20050163383A1 (en) * 2004-01-26 2005-07-28 Samsung Electronics Co., Ltd. Driver's eye image detecting device and method in drowsy driver warning system
CN101375796A (zh) * 2008-09-18 2009-03-04 浙江工业大学 疲劳驾驶实时检测系统
EP2237237A1 (en) * 2009-03-30 2010-10-06 Tobii Technology AB Eye closure detection using structured illumination
CN101803928A (zh) * 2010-03-05 2010-08-18 北京智安邦科技有限公司 基于视频的驾驶员疲劳检测装置
CN104850217A (zh) * 2014-02-19 2015-08-19 联想(北京)有限公司 一种人眼动作监测装置、方法及设备
EP3326513A1 (en) * 2015-07-17 2018-05-30 Sony Corporation Eyeball observation device, eyewear terminal, gaze detection method, and program
CN106485880A (zh) * 2016-11-15 2017-03-08 广东技术师范学院 汽车驾驶安全预警车载智能终端
CN106846734A (zh) * 2017-04-12 2017-06-13 南京理工大学 一种疲劳驾驶检测装置及方法
CN108062160A (zh) * 2017-10-31 2018-05-22 努比亚技术有限公司 一种图像显示调整方法及图像显示调整设备
US20210034890A1 (en) * 2019-07-29 2021-02-04 Hyundai Motor Company Driver monitoring apparatus and method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIZONG LIN 等: "Driver fatigue detection based on eye state", 《TECHNOLOGY AND HEALTH CARE》 *
周云鹏: "面部多特征融合的驾驶员疲劳检测方法", 《电子测量与仪器学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956068A (zh) * 2019-05-29 2020-04-03 初速度（苏州）科技有限公司 一种基于人眼状态识别的疲劳检测方法及装置
WO2020237940A1 (zh) * 2019-05-29 2020-12-03 初速度（苏州）科技有限公司 一种基于人眼状态识别的疲劳检测方法及装置
CN110956068B (zh) * 2019-05-29 2022-06-10 魔门塔(苏州)科技有限公司 一种基于人眼状态识别的疲劳检测方法及装置
CN111260370A (zh) * 2020-01-17 2020-06-09 北京意锐新创科技有限公司 一种支付方法和装置
CN113180671A (zh) * 2021-04-19 2021-07-30 维沃移动通信有限公司 疲劳检测装置及疲劳检测方法
CN113709308A (zh) * 2021-08-31 2021-11-26 维沃移动通信有限公司 电子设备的使用监测方法和装置
CN114859557A (zh) * 2022-04-22 2022-08-05 歌尔股份有限公司 头戴式装备的控制方法、头戴式装备及存储介质
CN114859557B (zh) * 2022-04-22 2024-02-09 歌尔股份有限公司 头戴式装备的控制方法、头戴式装备及存储介质

Also Published As

Publication number Publication date
US10969864B2 (en) 2021-04-06
EP3627468A1 (en) 2020-03-25
WO2020029093A1 (zh) 2020-02-13
CN109496309B (zh) 2022-05-03
US20200050266A1 (en) 2020-02-13
EP3627468B1 (en) 2021-02-24
EP3627468A4 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
CN109496309A (zh) 疲劳状态的检测方法、装置及设备
CN105468147B (zh) 一种预防近视的智能设备、系统及方法
CN103927250B (zh) 一种终端设备用户姿态检测方法
CN107807732A (zh) 用于显示图像的方法、存储介质和电子装置
CN109993115B (zh) 图像处理方法、装置及可穿戴设备
CN104063248B (zh) 智能手表及其应用程序的启动方法
CN109766011A (zh) 一种图像渲染方法和装置
CN104239860A (zh) 一种使用智能终端时的坐姿检测与提醒方法及装置
CN106965675A (zh) 一种货车集群智能安全作业系统
CN109311425A (zh) 一种汽车盲区的监测报警方法、装置、设备及存储介质
CN107563325A (zh) 一种测试疲劳度的方法、装置及终端设备
CN110027567A (zh) 驾驶员的驾驶状态确定方法、装置及存储介质
CN108657184A (zh) 车辆辅助驾驶系统、方法、装置及存储介质
CN109799624A (zh) 一种智能儿童护眼镜及终端设备
CN110348431A (zh) 一种疾病预警方法、装置、设备及系统
CN109062755A (zh) 一种移动终端使用行为监测提醒方法、装置、介质和设备
CN109725719A (zh) 设备控制方法、装置及电子设备、存储介质
CN109767600A (zh) 一种可自动报警的ar眼镜及其实现方法
CN108846308A (zh) 一种疲劳驾驶检测方法及装置
CN109547706A (zh) 眼镜设备和系统
CN109637089A (zh) 用户安全的预警方法及装置
CN109871169A (zh) Ui界面调整方法、装置、终端及存储介质
CN106161794A (zh) 一种智能设备保护套的使用提醒方法、系统及电路
CN110441923B (zh) 一种应用于智能眼镜设备上的防沉迷方法、装置、智能眼镜设备以及计算机存储介质
CN108205876A (zh) 一种眼疲劳提醒方法、装置和智能眼镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant