CN111767885A - 疲劳状态识别方法、装置、设备、可读存储介质及系统 - Google Patents

疲劳状态识别方法、装置、设备、可读存储介质及系统 Download PDF

Info

Publication number
CN111767885A
CN111767885A CN202010645967.0A CN202010645967A CN111767885A CN 111767885 A CN111767885 A CN 111767885A CN 202010645967 A CN202010645967 A CN 202010645967A CN 111767885 A CN111767885 A CN 111767885A
Authority
CN
China
Prior art keywords
result
optimization
eye image
user
fatigue state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010645967.0A
Other languages
English (en)
Inventor
梁洪尧
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202010645967.0A priority Critical patent/CN111767885A/zh
Publication of CN111767885A publication Critical patent/CN111767885A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pulmonology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请公开了一种疲劳状态识别方法、装置、设备、可读存储介质及系统。本申请公开的方法应用于AR设备，包括：获取佩戴AR设备的用户的眼部图像；利用目标算法分析眼部图像，获得识别结果；若识别结果符合优化条件，则优化识别结果，获得优化结果；存储优化结果和目标算法，以利用优化结果和目标算法识别用户的疲劳状态。按照本申请可以使同一算法针对不同用户的识别结果相应得到优化，也可以使不同算法针对同一用户的识别结果也相应得到优化，即能够对不同用户的疲劳状态进行差异化识别，提升了识别准确率和算法的通用性。相应地，本申请提供的一种疲劳状态识别装置、设备、可读存储介质及系统，也同样具有上述技术效果。

Description

疲劳状态识别方法、装置、设备、可读存储介质及系统
技术领域
本申请涉及计算机技术领域，特别涉及一种疲劳状态识别方法、装置、设备、可读存储介质及系统。
背景技术
目前，可以用智能算法识别用户的疲劳状态，并结合使用场景以及疲劳程度进行相应提醒。但智能算法一般只能覆盖大多数用户，无法对不同用户的疲劳状态进行差异化识别，如：利用算法A对用户A的疲劳状态进行识别时，识别结果的准确率可达99.99％，但利用算法A对用户B的疲劳状态进行识别时，识别结果的准确率不足98％，因此用同一种算法识别所有用户的疲劳状态，识别准确率有待提高。
因此，如何对不同用户的疲劳状态进行差异化识别，提高识别的准确率，是本领域技术人员需要解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种疲劳状态识别方法、装置、设备、可读存储介质及系统，以对不同用户的疲劳状态进行差异化识别，提高识别的准确率。其具体方案如下：
第一方面，本申请提供了一种疲劳状态识别方法，应用于AR设备，包括：
获取佩戴所述AR设备的用户的眼部图像；
利用目标算法分析所述眼部图像，获得识别结果；
若所述识别结果符合优化条件，则优化所述识别结果，获得优化结果；
存储所述优化结果和所述目标算法，以利用所述优化结果和所述目标算法识别所述用户的疲劳状态。
优选地，所述利用目标算法分析所述眼部图像，获得识别结果，包括：
利用拉普拉斯边缘检测将所述眼部图像转换为边缘图片；
对所述边缘图片进行校准，并二值化处理校准后的边缘图片，获得校准图片；
计算所述校准图片中的眼睛有效面积，并根据所述眼睛有效面积生成所述识别结果。
优选地，所述根据所述眼睛有效面积生成所述识别结果，包括：
利用疲劳值计算公式生成所述识别结果，所述疲劳值计算公式为：
Figure BDA0002573124030000021
其中，P为所述识别结果，t为所述眼部图像对应的时长，f(x)为所述眼部图像中用户眼睛面积的实际映射值，y为采集所述眼部图像的摄像头的帧率，c1为用户眼睛面积的标准映射值。
优选地，所述优化所述识别结果，获得优化结果，包括：
获取所述眼部图像对应的用户血氧饱和度和用户心率值；
利用优化公式优化所述识别结果，获得所述优化结果，所述优化公式为：
Figure BDA0002573124030000022
其中，Ps为所述优化结果，Pi为基于预设间隔计算得到的任一个识别结果，m为基于所述预设间隔和所述眼部图像对应的时长计算得到的目标参数，a和b为所述AR设备的系数，On为正常血氧饱和度，Ot为所述用户血氧饱和度，Bn为正常心率值，Bt为所述用户心率值。
优选地，所述优化所述识别结果，获得优化结果，包括：
控制辅助设备优化所述识别结果，获得所述优化结果；
接收所述辅助设备返回的所述优化结果。
优选地，所述控制辅助设备优化所述识别结果，获得所述优化结果，包括：
将所述眼部图像传输至所述辅助设备，以使佩戴所述辅助设备的用户根据所述眼部图像输入所述优化结果；
和/或
将所述眼部图像对应的用户血氧饱和度和用户心率值，以及所述眼部图像传输至所述辅助设备，以使所述辅助设备利用优化公式优化所述识别结果，获得所述优化结果。
优选地，所述存储所述优化结果和所述目标算法之前，还包括：
若所述优化结果有多个，则从多个所述优化结果中选择符合预设要求的目标优化结果作为所述优化结果。
第二方面，本申请提供了一种疲劳状态识别装置，应用于AR设备，包括：
获取模块，用于获取佩戴所述AR设备的用户的眼部图像；
分析模块，用于利用目标算法分析所述眼部图像，获得识别结果；
优化模块，用于若所述识别结果符合优化条件，则优化所述识别结果，获得优化结果；
存储模块，用于存储所述优化结果和所述目标算法，以利用所述优化结果和所述目标算法识别所述用户的疲劳状态。
第三方面，本申请提供了一种AR设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的疲劳状态识别方法。
第四方面，本申请提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的疲劳状态识别方法。
第五方面，本申请提供了一种疲劳状态识别系统，包括：辅助设备和如上所述的AR设备。
通过以上方案可知，本申请提供了一种疲劳状态识别方法，应用于AR设备，包括：获取佩戴所述AR设备的用户的眼部图像；利用目标算法分析所述眼部图像，获得识别结果；若所述识别结果符合优化条件，则优化所述识别结果，获得优化结果；存储所述优化结果和所述目标算法，以利用所述优化结果和所述目标算法识别所述用户的疲劳状态。
可见，本申请利用AR设备采集用户的眼部图像，并利用目标算法分析获得眼部图像的识别结果；若识别结果符合优化条件(例如：当前用户对于疲劳的表现不适用于目标算法，导致识别结果不太准确)，那么优化识别结果后获得优化结果，同时存储优化结果和目标算法，后续可利用优化结果和目标算法识别该用户的疲劳状态。也就是说，当利用某一种算法识别某一个用户的眼部图像，获得相应的识别结果后，若该算法的识别结果针对当前用户表现不理想，则优化识别结果，并存储优化结果，后续再次利用该算法识别该用户的疲劳状态时，就可以根据优化结果来输出识别结果，从而使得该算法针对当前用户输出理想的识别结果。按照本申请提供的方案优化各个算法，那么同一算法针对不同用户的识别结果都可以相应得到优化，同时，不同算法针对同一用户的识别结果也可以相应得到优化，即：能够对不同用户的疲劳状态进行差异化识别，从而提升了识别准确率和算法的通用性。
相应地，本申请提供的一种疲劳状态识别装置、设备、可读存储介质及系统，也同样具有上述技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种疲劳状态识别方法流程图；
图2为本申请公开的一种处理用户眼部图像过程中各个阶段的眼部示意图；
图3为本申请公开的一种疲劳状态识别装置示意图；
图4为本申请公开的一种AR设备示意图；
图5为本申请公开的一种疲劳状态识别系统示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，智能算法一般只能覆盖大多数用户，无法对不同用户的疲劳状态进行差异化识别，因此识别准确率有待提高。为此，本申请提供了一种疲劳状态识别方案，以实现对不同用户的疲劳状态进行差异化识别，提高识别的准确率。
参见图1所示，本申请实施例公开了一种疲劳状态识别方法，应用于AR设备，包括：
S101、获取佩戴AR设备的用户的眼部图像。
眼部图像由AR设备中的摄像头拍摄用户眼部获得，眼部图像可以是视频流，也可以是视频流中各帧对应的高清图片，故眼部图像的格式可以为jpg、png、mp4、mp5等。眼部图像也可以同步传输至远端服务器进行存储，以便后续查看和监控。AR设备可以为AR眼镜等。
当眼部图像是视频流中各帧对应的高清图片时，就可以省去视频流的解解码操作，从而可节约AR设备的CPU资源，降低其耗电量，也可以提高处理效率。
S102、利用目标算法分析眼部图像，获得识别结果。
需要说明的是，目标算法可以为用于识别人疲劳状态的任一种或多种算法。在一种具体实施方式中，任一种目标算法包括：拉普拉斯边缘检测、图像校准、二值化处理、眼睛有效面积处理、识别结果生成等步骤。
在一种具体实施方式中，利用目标算法分析眼部图像，获得识别结果，包括：利用拉普拉斯边缘检测方法将眼部图像转换为边缘图片；对边缘图片进行校准，并二值化处理校准后的边缘图片，获得校准图片；计算校准图片中的眼睛有效面积，并根据眼睛有效面积生成识别结果。
具体的，AR设备获取到的用户眼部图像可参见图2中的(a)，由图2中的(a)可看出，用户眼部图像中不仅包括了眼部，还包括了干扰信息(例如眉毛等)，因此需要利用拉普拉斯边缘检测对用户眼部图像进行处理，以从中提取出有效眼部图像。拉普拉斯边缘检测首先将用户眼部图像转换为边缘图片，边缘图片请参见图2中的(b)，而后从边缘图片中提取出有效眼部图像，有效眼部图像请参见图2中的(c)。同时，有效眼部图像中的眼睛有一定的倾斜角，为提高识别效率和准确率，需要对有效眼部图像中的眼睛角度进行校准，校准后的图像可参见图2中的(d)。而后对校准后的图像进行二值化处理和眼睛有效面积的计算，最后基于眼睛有效面积生成识别结果。
在一种具体实施方式中，根据眼睛有效面积生成识别结果，包括：利用疲劳值计算公式生成识别结果，疲劳值计算公式为：
Figure BDA0002573124030000061
其中，P为疲劳值，也就是识别结果，t为眼部图像对应的时长，f(x)为眼部图像中用户眼睛面积的实际映射值，y为采集眼部图像的摄像头的帧率(一般取值为25、30、60等)，c1为用户眼睛面积的标准映射值。标准映射值即用户在正常状态下(即用户眼睛正常睁开时)的眼睛面积的映射值。
其中，由于眼部图像可以是视频流，也可以是视频流中各帧对应的高清图片，因此眼部图像对应的时长就是相应视频流的播放时长，播放时长一般以秒为单位计时，如3秒。
S103、若识别结果符合优化条件，则优化识别结果，获得优化结果。
若目标算法为用于识别人疲劳状态的多种算法，则可以获得多个识别结果，那么可以从多个识别结果中选择唯一的一个识别结果进行优化(如：选择疲劳值最大的识别结果)，即：仅优化选择出的这一个识别结果，从而对该识别结果对应的算法进行个性化优化。当然，也可以针对多个识别结果进行分别优化，从而获得多个优化结果。利用这多个优化结果，可以分别优化相对应的算法，从而实现对多种算法分别进行个性化优化的目的。
对于识别结果的优化，可以在AR设备中进行。在一种具体实施方式中，优化识别结果，获得优化结果，包括：获取眼部图像对应的用户血氧饱和度和用户心率值；利用优化公式优化识别结果，获得优化结果，优化公式为：
Figure BDA0002573124030000071
其中，Ps为优化结果，Pi为基于预设间隔计算得到的任一个识别结果，m为基于预设间隔和眼部图像对应的时长计算得到的目标参数，a和b为AR设备的系数，On为正常血氧饱和度，Ot为用户血氧饱和度，Bn为正常心率值，Bt为用户心率值。其中，用户血氧饱和度可利用AR设备中的光电传感器采集获得，用户心率值可利用AR设备中的心率传感器采集获得。采集用户血氧饱和度和用户心率值的时间点理论上处于拍摄眼部图像的时间段内，即：在拍摄眼部图像的同时，采集用户血氧饱和度和用户心率值。正常血氧饱和度和正常心率值也就是该用户在正常状态下(即用户不疲劳时)的血氧饱和度和心率值。当然，也可以在拍摄眼部图像的同时，采集用户的其他生理参数(如脉搏)，并利用这些其他生理参数计算Ps。据此，可将优化公式扩展为：
Figure BDA0002573124030000072
其中，Cn为用户在正常状态下(即用户不疲劳时)的正常脉搏，c为相关参数，Ct为用户实际脉搏，Xn、Xt表示其他可用的生理参数的正常值和实际值，x为相关参数。
其中，预设间隔可以灵活设定，如2秒，假设眼部图像对应的时长为5秒，那么基于预设间隔和眼部图像对应的时长计算得到的目标参数为5-1＝4。具体为：将5秒每2秒进行划分，可获得0s～2s，1s～3s，2s～4s，3s～5s共4个部分，故目标参数为4。如此针对任一个部分，可利用疲劳值计算公式计算得到一个P值，对这4个P值求平均值，则有：
Figure BDA0002573124030000073
需要说明的是，不同型号或厂商的AR设备可对应不同的a和b。
若AR设备的计算机资源有限，那么对于识别结果的优化，还可以在辅助设备中进行，AR设备仅接收优化结果即可。在一种具体实施方式中，优化识别结果，获得优化结果，包括：控制辅助设备优化识别结果，获得优化结果；接收辅助设备返回的优化结果。在一种具体实施方式中，控制辅助设备优化识别结果，获得优化结果，包括：将眼部图像传输至辅助设备，以使佩戴辅助设备的用户根据眼部图像输入优化结果；和/或，将眼部图像对应的用户血氧饱和度和用户心率值，以及眼部图像传输至辅助设备，以使辅助设备利用上述优化公式优化识别结果，获得优化结果。优化结果以json或xml格式传输至AR设备的socket端口。
可见，当利用辅助设备确定优化结果时，优化结果可以由人判断眼部图像后直接输入，也可以由辅助设备利用优化公式计算得到。人可以通过物理按键、虚拟按键或语音方式输入优化结果，人输入的优化结果可以是自主给定的疲劳值(可取值0～1之间)。
其中，辅助设备可以是远端服务器，也可以是远端的另一个AR设备，还可以是近端的另一个用户使用的AR设备。辅助设备是近端的另一个用户使用的AR设备的场景为：另一个用户与被识别疲劳状态的用户在同一个区域内同时使用不同的AR设备。由同一个区域内的另一个用户通过观看眼部图像来输入优化结果，可快速观察到用户的当前状态，其身边的人可以有更加准确的判断，该场景下近距离传输相关信息，省去了传输到远端设备的时延，从而实现了实时传输。若用户佩戴AR设备开车，那么另一个用户(如坐在副驾驶的用户)可以第一时间进行干预，避免司机疲劳驾驶，造成安全隐患，能够将不确定因素减小到最小。
辅助设备与AR设备之间传输数据方式包括但不限于wifi、蓝牙、Zigbee、Macbee。可采用TCP、UDP等协议。其中，TCP为长连接，可保证传输的快速性和稳定性，UDP可使传输图像更加快速，但是在稳定上较差，实际应用过程中可根据实际需要灵活选择。
辅助设备可以有多个，这多个辅助设备和拍摄用户眼部图像的AR设备可以同时对识别结果进行优化，从而获得多个优化结果。若优化结果有多个，则从多个优化结果中选择符合预设要求(如疲劳值最小的)的目标优化结果作为优化结果；或者，对多个优化结果进行综合处理(如按照各个优化结果的权重值求和)，获得一个综合优化结果，然后将综合优化结果作为最终的优化结果。
当然，也可以在第一个辅助设备的优化结果或拍摄用户眼部图像的AR设备输出的优化结果不够准确时，再利用其它设备对识别结果进行优化。例如：拍摄用户眼部图像的AR设备利用优化公式优化识别结果后，获得的优化结果不太理想，那么可以将相关信息传输给1号辅助设备，由1号辅助设备优化识别结果。若1号辅助设备输出的优化结果也不太理想，则将相关信息传输给2号辅助设备，由2号辅助设备优化识别结果，如此循环，直至某个辅助设备输出的优化结果可以被采纳。
需要说明的是，本实施例中的各个结果都可以用疲劳值(可取值0～1之间)代替，因此可设置相应范围来判定用户是否疲劳，结果是否符合优化条件。例如：当疲劳值处于0.3～0.4(包括端值)之间时，表示结果不太理想，需要优化，因此符合优化条件；当疲劳值大于0.4时，认为可以判定当前用户确实疲劳，因此可进行相应安全提醒，如：在AR设备的显示界面以动态红色圆圈提示或通过麦克风广播预设语音，以给用户比较明显的提示，麦克风设置在AR设备中；当疲劳值小于0.3时，认为可以判定当前用户不疲劳。
S104、存储优化结果和目标算法，以利用优化结果和目标算法识别用户的疲劳状态。
同一算法针对不同用户的识别结果都可以相应得到优化，同时，不同算法针对同一用户的识别结果也可以相应得到优化，这些优化结果与相应算法均存储至同一算法库，这样该算法库可便可以覆盖更多的用户，提高了通用性和普适性。
可见，本申请实施例利用某一种算法识别某一个用户的眼部图像，获得相应的识别结果后，若该算法的识别结果针对当前用户表现不理想，则优化识别结果，并存储优化结果，后续再次利用该算法识别该用户的疲劳状态时，就可以根据优化结果来输出识别结果，从而使得该算法针对当前用户输出理想的识别结果。按照本申请提供的方案优化各个算法，那么同一算法针对不同用户的识别结果都可以相应得到优化，同时，不同算法针对同一用户的识别结果也可以相应得到优化，即：能够对不同用户的疲劳状态进行差异化识别，从而提升了识别准确率和算法的通用性。
下面对本申请实施例提供的一种疲劳状态识别装置进行介绍，下文描述的一种疲劳状态识别装置与上文描述的一种疲劳状态识别方法可以相互参照。
参见图3所示，本申请实施例公开了一种疲劳状态识别装置，应用于AR设备，包括：
获取模块301，用于获取佩戴AR设备的用户的眼部图像；
分析模块302，用于利用目标算法分析眼部图像，获得识别结果；
优化模块303，用于若识别结果符合优化条件，则优化识别结果，获得优化结果；
存储模块304，用于存储优化结果和目标算法，以利用优化结果和目标算法识别用户的疲劳状态。
在一种具体实施方式中，分析模块包括：
边缘检测单元，用于利用拉普拉斯边缘检测将所述眼部图像转换为边缘图片；
校准单元，用于对所述边缘图片进行校准，并二值化处理校准后的边缘图片，获得校准图片；
生成单元，用于计算所述校准图片中的眼睛有效面积，并根据所述眼睛有效面积生成所述识别结果。
在一种具体实施方式中，所述生成单元具体用于：
利用疲劳值计算公式生成所述识别结果，所述疲劳值计算公式为：
Figure BDA0002573124030000101
其中，P为识别结果，t为眼部图像对应的时长，f(x)为眼部图像中用户眼睛面积的实际映射值，y为采集眼部图像的摄像头的帧率，c1为用户眼睛面积的标准映射值。
在一种具体实施方式中，优化模块具体用于：
获取眼部图像对应的用户血氧饱和度和用户心率值；
利用优化公式优化识别结果，获得优化结果，优化公式为：
Figure BDA0002573124030000102
其中，Ps为优化结果，Pi为基于预设间隔计算得到的任一个识别结果，m为基于预设间隔和眼部图像对应的时长计算得到的目标参数，a和b为AR设备的系数，On为正常血氧饱和度，Ot为用户血氧饱和度，Bn为正常心率值，Bt为用户心率值。
在一种具体实施方式中，优化模块包括：
控制单元，用于控制辅助设备优化识别结果，获得优化结果；
接收单元，用于接收辅助设备返回的优化结果。
在一种具体实施方式中，控制单元具体用于：
将眼部图像传输至辅助设备，以使佩戴辅助设备的用户根据眼部图像输入优化结果；
和/或
将眼部图像对应的用户血氧饱和度和用户心率值，以及眼部图像传输至辅助设备，以使辅助设备利用优化公式优化识别结果，获得优化结果。
在一种具体实施方式中，还包括：
选择模块，用于若优化结果有多个，则从多个优化结果中选择符合预设要求的目标优化结果作为优化结果。
其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本实施例提供了一种疲劳状态识别装置，该装置可以使同一算法针对不同用户的识别结果相应得到优化，也可以使不同算法针对同一用户的识别结果也相应得到优化，即能够对不同用户的疲劳状态进行差异化识别，提升了识别准确率和算法的通用性。
下面对本申请实施例提供的一种AR设备进行介绍，下文描述的一种AR设备与上文描述的一种疲劳状态识别方法及装置可以相互参照。
参见图4所示，本申请实施例公开了一种AR设备，包括：
存储器401，用于保存计算机程序；
处理器402，用于执行所述计算机程序，以实现上述任意实施例公开的方法。
下面对本申请实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种疲劳状态识别方法、装置及设备可以相互参照。
一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的疲劳状态识别方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
下面对本申请实施例提供的一种疲劳状态识别系统进行介绍，下文描述的一种疲劳状态识别系统与上文描述的一种疲劳状态识别方法、装置及设备可以相互参照。
参见图5所示，本申请实施例公开了一种疲劳状态识别系统，包括：两个辅助设备，以及上述实施例所述的AR设备。其中，各个辅助设备可以对佩戴AR设备的用户的疲劳状态进行辅助判断，同时在AR设备识别得到确切结果时，AR设备可以将相关结果反馈给各个辅助设备。其中，疲劳状态识别系统中的辅助设备的数量可以根据实际需要灵活调整。
例如：当疲劳值处于0.3～0.4(包括端值)之间时，AR设备将相关信息发给各个辅助设备，以便各个辅助设备对用户疲劳状态进行辅助判断；当疲劳值大于0.4时，认为当前用户确实疲劳，因此AR设备将直接将结果反馈给各个辅助设备，同时进行相应安全提醒。
在一种具体实施方式中，当AR设备利用目标算法分析用户眼部图像，获得识别结果后，若该识别结果符合优化条件，则可以先让某一个辅助设备给出辅助判断，若该辅助判断确定当前用户疲倦，则控制AR设备利用上述优化公式优化识别结果。
若在另一个用户与被识别疲劳状态的用户在同一个区域内同时使用不同的AR设备场景下，由另一个用户通过观看眼部图像来给出辅助判断，可快速观察到用户的当前真实状态，其身边的人可以有更加准确的判断，该场景下近距离传输相关信息，省去了传输到远端设备的时延，从而实现了实时传输。若用户佩戴AR设备开车，那么另一个用户(如坐在副驾驶的用户)可以第一时间进行干预，避免司机疲劳驾驶，造成安全隐患，能够将不确定因素减小到最小。
本申请涉及的“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法或设备固有的其它步骤或单元。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的可读存储介质中。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种疲劳状态识别方法，其特征在于，应用于AR设备，包括：
获取佩戴所述AR设备的用户的眼部图像；
利用目标算法分析所述眼部图像，获得识别结果；
若所述识别结果符合优化条件，则优化所述识别结果，获得优化结果；
存储所述优化结果和所述目标算法，以利用所述优化结果和所述目标算法识别所述用户的疲劳状态。
2.根据权利要求1所述的疲劳状态识别方法，其特征在于，所述利用目标算法分析所述眼部图像，获得识别结果，包括：
利用拉普拉斯边缘检测将所述眼部图像转换为边缘图片；
对所述边缘图片进行校准，并二值化处理校准后的边缘图片，获得校准图片；
计算所述校准图片中的眼睛有效面积，并根据所述眼睛有效面积生成所述识别结果。
3.根据权利要求2所述的疲劳状态识别方法，其特征在于，所述根据所述眼睛有效面积生成所述识别结果，包括：
利用疲劳值计算公式生成所述识别结果，所述疲劳值计算公式为：
Figure FDA0002573124020000011
其中，P为所述识别结果，t为所述眼部图像对应的时长，f(x)为所述眼部图像中用户眼睛面积的实际映射值，y为采集所述眼部图像的摄像头的帧率，c1为用户眼睛面积的标准映射值。
4.根据权利要求1所述的疲劳状态识别方法，其特征在于，所述优化所述识别结果，获得优化结果，包括：
获取所述眼部图像对应的用户血氧饱和度和用户心率值；
利用优化公式优化所述识别结果，获得所述优化结果，所述优化公式为：
Figure FDA0002573124020000021
其中，Ps为所述优化结果，Pi为基于预设间隔计算得到的任一个识别结果，m为基于所述预设间隔和所述眼部图像对应的时长计算得到的目标参数，a和b为所述AR设备的系数，On为正常血氧饱和度，Ot为所述用户血氧饱和度，Bn为正常心率值，Bt为所述用户心率值。
5.根据权利要求1所述的疲劳状态识别方法，其特征在于，所述优化所述识别结果，获得优化结果，包括：
控制辅助设备优化所述识别结果，获得所述优化结果；
接收所述辅助设备返回的所述优化结果。
6.根据权利要求5所述的疲劳状态识别方法，其特征在于，所述控制辅助设备优化所述识别结果，获得所述优化结果，包括：
将所述眼部图像传输至所述辅助设备，以使佩戴所述辅助设备的用户根据所述眼部图像输入所述优化结果；
和/或
将所述眼部图像对应的用户血氧饱和度和用户心率值，以及所述眼部图像传输至所述辅助设备，以使所述辅助设备利用优化公式优化所述识别结果，获得所述优化结果。
7.根据权利要求4或5所述的疲劳状态识别方法，其特征在于，所述存储所述优化结果和所述目标算法之前，还包括：
若所述优化结果有多个，则从多个所述优化结果中选择符合预设要求的目标优化结果作为所述优化结果。
8.一种疲劳状态识别装置，其特征在于，应用于AR设备，包括：
获取模块，用于获取佩戴所述AR设备的用户的眼部图像；
分析模块，用于利用目标算法分析所述眼部图像，获得识别结果；
优化模块，用于若所述识别结果符合优化条件，则优化所述识别结果，获得优化结果；
存储模块，用于存储所述优化结果和所述目标算法，以利用所述优化结果和所述目标算法识别所述用户的疲劳状态。
9.一种AR设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的疲劳状态识别方法。
10.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的疲劳状态识别方法。
11.一种疲劳状态识别系统，其特征在于，包括：辅助设备和如权利要求9所述的AR设备。
CN202010645967.0A 2020-07-07 2020-07-07 疲劳状态识别方法、装置、设备、可读存储介质及系统 Pending CN111767885A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010645967.0A CN111767885A (zh) 2020-07-07 2020-07-07 疲劳状态识别方法、装置、设备、可读存储介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010645967.0A CN111767885A (zh) 2020-07-07 2020-07-07 疲劳状态识别方法、装置、设备、可读存储介质及系统

Publications (1)

Publication Number Publication Date
CN111767885A true CN111767885A (zh) 2020-10-13

Family

ID=72723962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010645967.0A Pending CN111767885A (zh) 2020-07-07 2020-07-07 疲劳状态识别方法、装置、设备、可读存储介质及系统

Country Status (1)

Country Link
CN (1) CN111767885A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101032404A (zh) * 2007-04-16 2007-09-12 孙军 疲劳工作在线预警系统及其预警方法
CN102073857A (zh) * 2011-01-24 2011-05-25 沈阳工业大学 多模态驾驶员疲劳检测方法及其专用设备
WO2015072202A1 (ja) * 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
CN107248315A (zh) * 2017-06-21 2017-10-13 深圳市盛路物联通讯技术有限公司 一种停车导航路径的推荐系统及方法
CN107685660A (zh) * 2017-07-21 2018-02-13 深圳市易成自动驾驶技术有限公司 汽车座椅控制方法及系统、存储介质
CN108639058A (zh) * 2018-07-03 2018-10-12 上海大众联合汽车改装有限公司 一种驾驶者疲劳提示装置及其工作方法
CN109116991A (zh) * 2018-08-30 2019-01-01 Oppo广东移动通信有限公司 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
CN109119095A (zh) * 2018-08-31 2019-01-01 平安科技（深圳）有限公司 疲劳等级识别方法、装置、计算机设备及存储介质
CN110855934A (zh) * 2018-08-21 2020-02-28 北京嘀嘀无限科技发展有限公司 疲劳驾驶识别方法、装置、系统、车载终端及服务器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101032404A (zh) * 2007-04-16 2007-09-12 孙军 疲劳工作在线预警系统及其预警方法
CN102073857A (zh) * 2011-01-24 2011-05-25 沈阳工业大学 多模态驾驶员疲劳检测方法及其专用设备
WO2015072202A1 (ja) * 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
CN107248315A (zh) * 2017-06-21 2017-10-13 深圳市盛路物联通讯技术有限公司 一种停车导航路径的推荐系统及方法
CN107685660A (zh) * 2017-07-21 2018-02-13 深圳市易成自动驾驶技术有限公司 汽车座椅控制方法及系统、存储介质
CN108639058A (zh) * 2018-07-03 2018-10-12 上海大众联合汽车改装有限公司 一种驾驶者疲劳提示装置及其工作方法
CN110855934A (zh) * 2018-08-21 2020-02-28 北京嘀嘀无限科技发展有限公司 疲劳驾驶识别方法、装置、系统、车载终端及服务器
CN109116991A (zh) * 2018-08-30 2019-01-01 Oppo广东移动通信有限公司 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
CN109119095A (zh) * 2018-08-31 2019-01-01 平安科技（深圳）有限公司 疲劳等级识别方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马玉珍;朱海燕;朱琳;于颖慧;: "基于眼动特征及ECG的轨道交通驾驶员疲劳分析与识别", 人类工效学, no. 03 *

Similar Documents

Publication Publication Date Title
US10762649B2 (en) Methods and systems for providing selective disparity refinement
CN107945135B (zh) 图像处理方法、装置、存储介质和电子设备
CN105190685B (zh) 用于提供用于计算机视觉应用程序的自适应数据路径的方法和设备
US9282238B2 (en) Camera system for determining pose quality and providing feedback to a user
WO2016159151A1 (ja) 脈波検出装置、及び脈波検出プログラム
US10478079B2 (en) Pulse estimation device, pulse estimation system, and pulse estimation method
CN111543934A (zh) 一种视力检测方法、装置、电子产品及存储介质
EP3555799B1 (en) A method for selecting frames used in face processing
KR101718837B1 (ko) 응용프로그램의 제어방법, 장치 및 전자장비
JP2009116742A (ja) 車載用画像処理装置、画像処理方法、および、プログラム
US8817125B2 (en) Gesture recognition using chroma-keying
JP2021051716A (ja) 情報を出力するための方法及び装置
CN113793366A (zh) 图像处理方法、装置、设备及存储介质
KR101529384B1 (ko) 피사체 검출 장치, 피사체 검출 방법 및 기록 매체
CN111767885A (zh) 疲劳状态识别方法、装置、设备、可读存储介质及系统
JP2008009938A (ja) 動画像データ処理装置、動画像データ処理方法、動画像データ処理プログラム、およびこれを記録した記録媒体
CN112686958A (zh) 标定方法、装置及电子设备
JP6087615B2 (ja) 画像処理装置およびその制御方法、撮像装置、および表示装置
KR20160062665A (ko) 동작 인식 장치 및 방법
US8538142B2 (en) Face-detection processing methods, image processing devices, and articles of manufacture
JP2013210778A (ja) 撮像装置
CN113706429B (zh) 图像处理方法、装置、电子设备和存储介质
CN114529981A (zh) 吸烟行为的检测方法及装置、存储介质以及计算机设备
CN112116060B (zh) 一种网络配置实现方法及装置
CN107783652B (zh) 虚拟现实的实现方法、系统和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination