CN113413134B - 疲劳识别方法、装置、电子设备及存储介质 - Google Patents

疲劳识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113413134B
CN113413134B CN202110745734.2A CN202110745734A CN113413134B CN 113413134 B CN113413134 B CN 113413134B CN 202110745734 A CN202110745734 A CN 202110745734A CN 113413134 B CN113413134 B CN 113413134B
Authority
CN
China
Prior art keywords
eye movement
frequency
value
difference
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110745734.2A
Other languages
English (en)
Other versions
CN113413134A (zh
Inventor
杜博
孙其民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Virtual Reality Institute Co Ltd
Original Assignee
Nanchang Virtual Reality Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Virtual Reality Institute Co Ltd filed Critical Nanchang Virtual Reality Institute Co Ltd
Priority to CN202110745734.2A priority Critical patent/CN113413134B/zh
Publication of CN113413134A publication Critical patent/CN113413134A/zh
Application granted granted Critical
Publication of CN113413134B publication Critical patent/CN113413134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请公开了一种疲劳识别方法、装置、电子设备及存储介质，涉及疲劳识别技术领域，获取眼动时长值，并通过眼动仪获取待识别用户的眼动频率值，眼动仪对待识别用户的坐姿无要求，任何坐姿下均能采集到准确的眼动频率值，再根据眼动时长和眼动频率值获得疲劳判断值，当疲劳判断值满足疲劳条件时，确定待识别用户的状态为疲劳状态，可以获得准确的疲劳识别结果。

Description

疲劳识别方法、装置、电子设备及存储介质
技术领域
本申请涉及疲劳识别技术领域，更具体地，涉及一种疲劳识别方法、装置、电子设备及存储介质。
背景技术
在道路交通领域，疲劳驾驶是引发交通事故的主要因素，据研究表明，致命交通事故中由疲劳引起的比率到达30%以上，因此，为了减少参与交通时的安全隐患，识别驾驶员在驾驶过程中的状态十分必要。在现有的疲劳识别技术中，通常通过摄像头采集驾驶员的驾驶行为，当用户坐姿不符合采集要求时，用采集到的图像进行疲劳识别的结果可能不准确。
发明内容
鉴于上述问题，本申请提出了一种疲劳识别方法、装置、电子设备及存储介质，能够解决上述问题。
第一方面，本申请实施例提供了一种疲劳识别方法，所述方法包括：获取待识别用户的第一眼动时长值，并获取非疲劳状态下的第二眼动时长值；计算所述第一眼动时长值和所述第二眼动时长值的差值，获得中间眼动时长差；获取所述中间眼动时长差对应的中间眼动时长差参数；计算所述中间眼动时长差和所述中间眼动时长差参数之间的乘积，获得所述眼动时长值；以及获取所述待识别用户的眼动频率值；根据所述眼动时长值和所述眼动频率值，获得疲劳判断值；当所述疲劳判断值满足疲劳条件时，确定所述待识别用户的状态为疲劳状态。
第二方面，本申请实施例提供了一种疲劳识别装置，所述装置包括：第一获取模块，用于获取待识别用户的第一眼动时长值，并获取非疲劳状态下的第二眼动时长值；计算所述第一眼动时长值和所述第二眼动时长值的差值，获得中间眼动时长差；获取所述中间眼动时长差对应的中间眼动时长差参数；计算所述中间眼动时长差和所述中间眼动时长差参数之间的乘积，获得所述眼动时长值；以及获取待识别用户的眼动频率值；第二获取模块，用于根据所述眼动时长值和所述眼动频率值，获得疲劳判断值；确定模块，用于当所述疲劳判断值满足疲劳条件时，确定所述待识别用户的状态为疲劳状态。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
本申请提供的疲劳识别方法、装置、电子设备及存储介质，获取眼动时长值，并通过眼动仪获取待识别用户的眼动频率值，眼动仪对待识别用户的坐姿无要求，任何坐姿下均能采集到准确的眼动频率值，再根据眼动时长和眼动频率值获得疲劳判断值，当疲劳判断值满足疲劳条件时，确定待识别用户的状态为疲劳状态，结合眼动时长和待识别用户的眼动频率值，可以准确的获得疲劳识别结果，并且通过对眼球的眼动信息的采集，对用户坐姿无要求，不管用户坐姿如何都可以时刻获得准确的疲劳识别结果。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个实施例提供的疲劳识别方法的流程示意图；
图2示出了本申请另一个实施例提供的疲劳识别方法的流程示意图；
图3示出了本申请的图2所示的疲劳识别方法的步骤S210的一种流程示意图；
图4示出了本申请的图2所示的疲劳识别方法的步骤S220的一种流程示意图；
图5示出了本申请的图2所示的疲劳识别方法的步骤S230的一种流程示意图；
图6示出了本申请的图2所示的疲劳识别方法的步骤S240的一种流程示意图；
图7示出了本申请的图2所示的疲劳识别方法的步骤S250的一种流程示意图；
图8示出了本申请一实施例提供的疲劳识别装置的框图；
图9是本申请实施例的用于执行根据本申请实施例的疲劳识别方法的电子设备的框图；
图10示出了本申请实施例的用于保存或者携带实现根据本申请实施例的疲劳识别方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在道路交通领域，疲劳驾驶是引发交通事故的主要因素，据研究表明，致命交通事故中由疲劳引起的比率到达30%以上，因此，为了减少参与交通时的安全隐患，识别驾驶员在驾驶过程中的状态十分必要。在现有的疲劳识别技术中，通常通过摄像头采集驾驶员的驾驶行为，当用户坐姿不符合采集要求时，用采集到的图像进行疲劳识别的结果可能不准确。
针对上述技术问题，发明人经过长期的研究发现并提出了一种疲劳识别方法、装置、电子设备及存储介质，获取眼动时长值，以及获取待识别用户的眼动频率值，例如通过眼动仪获取眼动频率值对待识别用户的坐姿无要求，再根据眼动时长和眼动频率值获得疲劳判断值，当疲劳判断值满足疲劳条件时，确定待识别用户的状态为疲劳状态，可以获得准确的疲劳识别结果。
图1示出了本申请一个实施例提供的疲劳识别方法的流程示意图，结合眼动时长和待识别用户的眼动频率值获得疲劳判断值，通过疲劳判断值识别用户的疲劳状态，可以获得准确的疲劳识别结果。在具体的实施例中，所述疲劳识别方法应用于如图8所示的疲劳识别装置100以及如图9所示的配置有疲劳识别装置100的电子设备200。本实施例将以疲劳识别方法应用于电子设备200为例说明本实施例的具体流程。下面将针对图1所示的流程进行详细的阐述，所述疲劳识别方法具体可以包括如下步骤：
步骤S110、获取待识别用户的眼动时长值，并获取待识别用户的眼动频率值。
获取眼动时长值，其中，眼动时长值表征某一眼动行为持续的时间长度。眼动行为包括注视行为时，眼动时长值为注视行为持续的时间长度，例如可以为0.5秒；眼动行为包括眨眼行为时，眼动时长值为眨眼行为持续的时间长度，例如可以为0.3秒；眼动行为包括扫视行为时，眼动时长值为扫视行为持续的时间长度，例如可以为0.05秒。当眼动行为包括上述的一种时，眼动时长值为该眼动行为对应的时长；当眼动行为包括上述的多种时，眼动时长值为多种眼动行为对应的时长之和。
在一种实施方式中，在多个时间段的每个时间段中获取驾驶员的多个眼动行为对应的时长，为了避免多个眼动行为对应的时长中个别极大或极小的数值的影响，提高疲劳识别的可靠性，可以在多个眼动行为对应的时长中获取中位值或者计算多个眼动行为对应的时长的平均值，作为眼动时长值。需要说明的是，眼动时长值可以是待识别用户在处于非疲劳状态下的。
获取待识别用户的眼动频率值，获取待识别用户的第一眼动频率，以及获取非疲劳状态下的第二眼动频率，根据第一眼动频率和第二眼动频率，获得待识别用户的眼动频率值。
步骤S120、根据所述眼动时长值和所述眼动频率值，获得疲劳判断值。
在一种实施方式中，计算眼动时长值FA1和眼动频率值FA2之和，获得疲劳判断值FA3。
在另一种实施方式中，可以对眼动时长值FA1和眼动频率值FA2分别匹配对应的系数，眼动时长值FA1和眼动频率值FA2分别与对应的系数相乘，再将乘积相加得到疲劳判断值FA3。
步骤S130、当所述疲劳判断值满足疲劳条件时，确定所述待识别用户的状态为疲劳状态。
疲劳判断值满足疲劳条件时，例如疲劳判断值FA3大于预设值时，确定待识别用户的状态为疲劳状态，为了保证该用户的安全，可以输出疲劳预警信息，例如，可以语音输出预警信息，或通过指示灯闪烁，再或者用过车辆上的显示屏输出文字提示，以使驾驶员了解自身状态。
在一种实施方式中，预设值可以根据用户的连续驾驶时长设置，例如驾驶时长为2小时时，预设值可以设置为0。
在另一种实施方式中，预设值还可以根据用户驾驶的车辆类型设置，例如，驾驶汽车时，预设值可以设置为0。
当疲劳判断值不满足疲劳条件时，确定待识别用户的状态为正常状态，持续监测该用户的状态。
在本实施例提供的疲劳识别方法，获取眼动时长值，并通过眼动仪获取待识别用户的眼动频率值，眼动仪对待识别用户的坐姿无要求，任何坐姿下均能采集到准确的眼动频率值，再根据眼动时长和眼动频率值获得疲劳判断值，当疲劳判断值满足疲劳条件时，确定待识别用户的状态为疲劳状态，结合眼动时长和待识别用户的眼动频率值，可以准确的获得疲劳识别结果，并且通过对眼球的眼动信息的采集，对用户坐姿无要求，不管用户坐姿如何都可以随时获得准确的疲劳识别结果。
可选地，图2示出了本申请另一个实施例提供的疲劳识别方法的流程示意图，请参阅图2，所述疲劳识别方法具体可以包括如下步骤：
步骤S210、获取所述待识别用户的第一眼动时长值，并获取非疲劳状态下的第二眼动时长值。
可选地，待识别用户通过佩戴眼动仪，在对待识别用户进行疲劳识别时，通过眼动仪采集待识别用户的第一眼动时长值，例如，当前时长之前的五分钟内的第一眼动时长值。同样的，通过眼动仪采集待识别用户在非疲劳状态下的第二眼动时长值。作为一种方式，待识别用户在驾驶初期一般为非疲劳状态，在驾驶初期（例如刚开始驾驶的五分钟内）采集待识别用户的第二眼动时长值。作为另一种方式，在该用户第一次驾驶时采集该用户的第二眼动时长值，并存储第二眼动时长值，当对该用户进行疲劳识别时，可以直接从存储位置获取非疲劳状态下的第二眼动时长值。
可选地，第一眼动时长值包括下述的至少一项：第一目标注视时长、第一目标扫视时长、第一目标眨眼时长，第二眼动时长值包括下述的至少一项：第二目标注视时长、第二目标扫视时长、第二目标眨眼时长。
在一种实施方式中，图3示出了本申请的图2所示的疲劳识别方法的步骤S210的一种流程示意图，请参阅图3，步骤S210包括如下子步骤：
子步骤S211、获取所述待识别用户在多个时间段中的每个时间段对应的注视时长，并根据所述多个时间段以及所述每个时间段对应的注视时长，获得多个注视时长。
为了获取每个时间段对应的注视时长，选取的多个时间段中均包含了注视行为，获取每一个时间段对应的注视时长，多个时间段获取多个注视时长。
在一种实施方式中，多个注视时长为待识别用户的注视行为对应的注视时长，选取待识别用户有注视行为的时间段，在多个时间段的每个时间段中获取待识别用户的注视行为对应的注视时长。
例如，获得的i个注视时长分别为fix_dur 11, fix_dur 12, …, fix_dur 1i。
在另一种实施方式中，多个注视时长为待检测用户的注视时长。选取该驾驶员的有注视行为的时间段，在多个时间段的每个时间段中获取待识别用户的注视行为对应的注视时长。
子步骤S212、获取所述多个注视时长的中位值，作为所述第一目标注视时长。
在多个注视时长中，为了避免个别极大或极小的数值的影响，提高疲劳识别的可靠性，计算多个注视时长的中位值，作为第一目标注视时长。例如，计算i个注视时长的中位值，作为第一目标注视时长fix_dur 2。
子步骤S213、获取所述待识别用户在所述多个时间段中的每个时间段对应的眨眼时长，并根据所述多个时间段和所述每个时间段对应的眨眼时长，获得多个眨眼时长。
类似地，在一种实施方式中，多个眨眼时长为待识别用户的眨眼行为对应的眨眼时长，选取待识别用户多个有眨眼行为的时间段，在多个时间段的每个时间段中获取待识别用户的多个眨眼行为对应的眨眼时长。
例如，获得的j个眨眼时长分别为blk_dur 11,blk_dur 12,…,blk_dur 1j。需要说明的是，i和j的大小可以相同，也可以不相同。
在另一种实施方式中，多个眨眼时长为待检测用户的眨眼时长。选取待识别用户的多个有眨眼行为的时间段，在多个时间段的每个时间段中获取待识别用户的多个眨眼行为对应的眨眼时长。
子步骤S214、获取所述多个眨眼时长的中位值，作为所述第一目标眨眼时长。
在多个眨眼时长中，为了避免个别极大或极小的数值的影响，提高疲劳识别的可靠性，可以计算多个眨眼时长的中位值，作为第一目标眨眼时长。例如，计算j个眨眼时长的中位值，作为第一目标眨眼时长blk_dur 2。
可选地，第二目标注视时长的获取方式和上述第一目标注视时长的方式类似，获取非疲劳状态下的多个时间段中每个时间段对应的注视时长，再从非疲劳状态下的多个注视时长中获取中位值作为第二目标注视时长fix_dur 1。同样，第二目标眨眼时长的获取方式与上述第一目标眨眼时长的方式类似，获取非疲劳状态下的多个时间段中每个时间段对应的眨眼时长，再从多个眨眼时长中获取中位值作为第二目标眨眼时长blk_dur1。
步骤S220、根据所述第一眼动时长值和所述第二眼动时长值，获得所述眼动时长值。
在一些实施方式中，首先计算所述第一眼动时长值和所述第二眼动时长值的差值，获得中间眼动时长差；获取所述中间眼动时长差对应的中间眼动时长差参数；计算所述中间眼动时长差和所述中间眼动时长差参数之间的乘积，获得所述眼动时长值。
在本实施例中，以所述第一眼动时长值包括第一目标注视时长和第一目标眨眼时长，并且所述第二眼动时长值包括第二目标注视时长和第二目标眨眼时长为例进行说明。图4示出了本申请的图2所示的疲劳识别方法的步骤S220的一种流程示意图，请参阅图4，步骤S220包括如下子步骤：
子步骤S221、计算所述第一目标注视时长和所述第二目标注视时长之间的差值，获得中间注视时长差，并获取所述中间注视时长差对应的注视时长差参数，以及计算所述中间注视时长差和所述注视时长差参数之间的乘积，获得目标注视时长差。
首先，计算所述第一目标注视时长fix_dur 2和所述第二目标注视时长fix_dur 1之间的差值，获得中间注视时长差
Figure 176008DEST_PATH_IMAGE001
fix_dur为：
Figure 873706DEST_PATH_IMAGE001
fix_dur=fix_dur 2–fix_dur 1。其次，获取所述中间注视时长差对应的注视时长差参数可以为1。最后计算所述中间注视时长差和所述注视时长差参数之间的乘积，获得目标注视时长差1*Δfix_dur。
子步骤S222、计算所述第一目标眨眼时长和所述第二目标眨眼时长之间的差值，获得中间眨眼时长差，并获取所述中间眨眼时长差对应的眨眼时长差参数，以及计算所述中间眨眼时长差和所述眨眼时长差参数之间的乘积，获得目标眨眼时长差。
首先算所述第一目标眨眼时长blk_dur 2和所述第二目标眨眼时长blk_dur 1之间的差值，获得中间眨眼时长差
Figure 826618DEST_PATH_IMAGE001
blk_dur为：
Figure 154831DEST_PATH_IMAGE001
blk_dur=blk_dur 2–blk_dur 1。再获取所述中间眨眼时长差对应的眨眼时长差参数，例如为1。最后，计算所述中间眨眼时长差和所述眨眼时长差参数之间的乘积，获得目标眨眼时长差为：1*
Figure 828914DEST_PATH_IMAGE001
blk_dur。
子步骤S223、计算所述目标注视时长差和所述目标眨眼时长差之和，获得所述眼动时长值。
计算所述目标注视时长差和所述目标眨眼时长差之和，获得所述眼动时长值为：FA_1=
Figure 267985DEST_PATH_IMAGE002
fix_dur+
Figure 606563DEST_PATH_IMAGE001
blk_dur。
例如，眼动时长值FA1如表1所示：
表1
Figure 105677DEST_PATH_IMAGE003
例如，如表1所示，在第01行数据中，经过计算得到的FA1为-0.07423。
步骤S230、检测待识别用户的第一眼动频率，并获取非疲劳状态下的第二眼动频率。
其中，第一眼动频率为待识别用户在单位时长内眼动行为的次数，例如单位时长可以为1分钟、5分钟、8分钟等。在一种可能的实施方式中，待识别用户佩戴的眼动仪，眼动仪按照采样频率在预设时间段内采集原始眼动数据，其中，采样频率可以为30Hz（频率单位，赫兹）、60Hz、120Hz或300Hz，可以根据具体的采样要求选择采样频率。再通过预设眼动行为算法处理原始眼动数据，获得眼动行为次数，其中，预设眼动行为算法可以为ClearView、Tobii、I-VT等。最后计算眼动行为次数和预设时间段的时长之间的商，计算出单位时间内的眼动频率值。其中，眼动行为包括注视行为、眨眼行为、扫视行为等，对应的，第一眼动频率包括第一注视频率、第一眨眼频率、第一扫视频率等。
需要说明的是，获取第二眼动频率的方式与获取第一眼动频率的方式类似，在此不再赘述。
还需要说明的是，第二眼动频率可以是待识别用户在非疲劳状态下的眼动频率。
在一种实施方式中，请参阅图5，步骤S230包括如下子步骤：
子步骤S231、在预设时间段内确定多个检测时间点。
在预设时间段内均匀的选取多个检测时间点，也可以在预设时间段内随机选取多个检测时间点。
例如，预设时间段可以为9点零1秒至9点零59秒。检测时间点的个数可以为，但不限于5个、50个或60个。
子步骤S232、在所述多个检测时间点中确定所述待识别用户的眼部运动时的检测时间点作为眼动检测时间点，其中，所述眼动检测时间点的数量为多个。
待识别用户佩戴眼动仪，眼动仪采集多个检测时间点中每个检测时间点，当检测到有有效眼部运动时的检测时间点作为眼动检测时间点。例如，包括20个依次排列的检测时间点，在第1个、第2个、第15个和第17个检测时间点采集到有效眼部运动（即眼动行为），上述4个检测时间点作为眼动检测时间点。
子步骤S233、计算多个眼动检测时间点与所述多个检测时间点之间的商，获得所述第一眼动频率。
当眼动行为包括注视行为时，注视行为对应的眼动检测时间点为m个。例如检测时间点个数为d个时，第一注视频率fix_num=m/d。
当眼动行为包括扫视行为时，扫视行为对应的眼动检测时间点为n个。例如检测时间点个数为d个时，第一扫视频率sac_num=n/d。
当眼动行为包括眨眼行为时，眨眼行为对应的眼动监测时间点为k个。例如检测时间点个数为d个时，第一眨眼频率blk_num=k/d。
当眼动行为包括多个时，为了便于后续计算，对第一眼动频率进行归一化处理，具体为，计算多个眼动检测时间点与多个检测时间点之间的商，并对所述多个眼动检测时间点与所述多个检测时间点之间的商进行归一化处理，获得所述第一眼动频率。
例如，对第一注视频率进行归一化处理后，得到的归一化后的第一注视频率为
Figure 264126DEST_PATH_IMAGE004
。对第一扫视频率进行归一化处理后，得到的归一化后的第一扫视频率为
Figure 241309DEST_PATH_IMAGE005
。对第一眨眼频率进行归一化处理后，得到的归一化后的第一眨眼频率为
Figure 168814DEST_PATH_IMAGE006
。如下示出了在两个不同时间段对应的归一化前和归一化后的表格，表2为对t1时间段的第一注视频率、第一扫视频率和第一眨眼频率归一化处理后前后的对照表：
表2
Figure 635568DEST_PATH_IMAGE007
例如，如表2中01行所示，当fix_num为0.027759时，
Figure 281313DEST_PATH_IMAGE008
。当sac_num为0.138629时，
Figure 796607DEST_PATH_IMAGE009
。
表3为t2时间段的第一注视频率、第一扫视频率和第一眨眼频率归一化处理后前后的对照表：
表3
Figure 100988DEST_PATH_IMAGE010
例如，如表3中01行所示，当fix_num为0.034892时，
Figure 473064DEST_PATH_IMAGE011
。
步骤S240、根据所述第一眼动频率和所述第二眼动频率，获得所述眼动频率值。
在一种实施方式中，计算第一眼动频率和第二眼动频率之和，获得眼动频率值。
在另一种实施方式中，对第一眼动频率和第二眼动频率均分配对应的参数，请参阅图6，步骤S240包括如下子步骤：
子步骤S241、计算所述第一眼动频率和所述第二眼动频率的差值，获得中间眼动频率差。
其中，第一眼动频率包括第一注视频率、第一扫视频率和第一眨眼频率，所述第二眼动频率包括第二注视频率、第二扫视频率和第二眨眼频率。
例如，根据t2时间段计算得到第一注视频率Fix_rate(t2)，根据t1时间段计算得到第二注视频率Fix_rate(t1)。计算第一注视频率Fix_rate(t2)和第二注视频率Fix_rate(t1)之间的差值，获得中间注视频率差为ΔFix_rate=Fix_rate(t1)–Fix_rate(t2)，如表4所示：
表4
Figure 809367DEST_PATH_IMAGE012
例如，如表4第01行，当Fix_rate(t1)=0.199757，Fix_rate(t2)=0.148754，
Figure 925091DEST_PATH_IMAGE002
Fix_rate=0.199757–0.148754=0.051003。
计算所述第一扫视频率Sac_rate(t2)和所述第二扫视频率Sac_rate(t1)之间的差值，获得中间扫视频率差
Figure 92767DEST_PATH_IMAGE001
Sac_rate=Sac_rate(t1)–Sac_rate(t2)。
计算所述第一眨眼频率Blk_rate(t2)和所述第二眨眼频率Blk_rate(t1)之间的差值，获得中间眨眼频率差
Figure 104585DEST_PATH_IMAGE001
Blk_rate=Blk_rate(t1)–Blk_rate(t2)。
子步骤S242、获取所述中间眼动频率差对应的中间眼动频率差参数。
获取所述中间注视频率差
Figure 662605DEST_PATH_IMAGE001
Fix_rate对应的注视参数x1。可选地，注视参数x1可以为4。
获取所述中间扫视频率差对应的扫视参数x2。可选地，扫视参数x2可以为2。
获取所述中间眨眼频率差对应的眨眼参数x3。可选地，眨眼参数x3可以为1。
子步骤S243、计算所述中间眼动频率差和所述中间眼动频率差参数之间的乘积，获得所述眼动频率值。
计算中间眼动频率差和中间眼动频率差参数之间的乘积，获得眼动频率值FA2。当第一眼动频率为第一注视频率、第一扫视频率和第一眨眼频率中的一个时，计算中间眼动频率差和中间眼动频率差参数之间的乘积，获得眼动频率值FA2。例如，当第一眼动频率为第一注视频率时，计算中间注视频率差
Figure 847599DEST_PATH_IMAGE002
Fix_rate和注视参数x1之间的乘积，获得第一注视频率值
Figure 73044DEST_PATH_IMAGE001
Fix_rate*x1。当第一眼动频率为第一扫视频率时，计算中间扫视频率差
Figure 990184DEST_PATH_IMAGE001
Sac_rate和扫视参数x2的乘积，获得第一扫视频率值
Figure 363397DEST_PATH_IMAGE002
Sac_rate*x2。当第一眼动频率为第一眨眼频率时，计算中间眨眼频率差
Figure 292694DEST_PATH_IMAGE002
Blk_rate和眨眼参数x3之间的乘积，获得第一眨眼频率值
Figure 107067DEST_PATH_IMAGE001
Blk_rate*x3。
当第一眼动频率为2个时，如为第一注视频率和第一扫视频率时，眼动频率值为
Figure 523004DEST_PATH_IMAGE002
Fix_rate*x1+
Figure 321196DEST_PATH_IMAGE002
Sac_rate*x2。
当第一眼动频率为3个时，即包括第一注视频率、第一扫视频率和第一眨眼频率，眼动频率值为
Figure 785676DEST_PATH_IMAGE002
Fix_rate*x1+
Figure 720133DEST_PATH_IMAGE001
Sac_rate*x2+
Figure 306973DEST_PATH_IMAGE001
Blk_rate*x3，如表5所示：
表5
Figure 592460DEST_PATH_IMAGE013
例如，当注视参数x1可以为4，扫视参数x2可以为2，眨眼参数x3可以为1时，表5中01行，
Figure 391789DEST_PATH_IMAGE002
Fix_rate=0.051002，
Figure 180754DEST_PATH_IMAGE001
Sac_rate=0.049857，
Figure 141756DEST_PATH_IMAGE002
Blk_rate=0.042995，FA2=0.051002*4+0.049857*2+0.042995*1=0.346718。
步骤S250、根据所述眼动时长值和所述眼动频率值，获得疲劳判断值。
在一些实施方式中，请参阅图7，步骤S250包括如下子步骤：
子步骤S251、获取所述眼动时长值对应的眼动时长参数，以及获取所述眼动频率值对应的眼动频率参数。
眼动时长值FA1对应的眼动时长参数η1，眼动频率值FA2对应的眼动频率参数η2。可选地，η1在0.128至0.139之间。η2可以为1。
眼动时长参数η1和眼动频率参数为η2是预先设置的，作为其中一种方式，驾驶员在不同天气（例如雨天，雪天，晴天等）和路况（高速路、城市内非高速路等）驾驶时，驾驶员的疲劳程度不同，可以结合待识别用户的具体天气和路况等因素确定参数。具体地，预先建立天气和路况的类型、眼动时长参数η1和眼动频率参数η2之间的对应关系作为第一映射关系，基于第一映射关系，确定待识别用户驾驶的车辆类型对应的眼动时长参数η1和眼动频率参数η2。
作为另一种方式，驾驶状态与驾驶时长相关，可以结合待识别用户的连续驾驶时长确定参数。具体地，预先建立连续驾驶时长、眼动时长参数η1和眼动频率参数η2之间的对应关系作为第二映射关系，基于第二映射关系，确定待识别用户连续驾驶时长对应的眼动时长参数η1和眼动频率参数η2。其中，待识别用户连续驾驶时长与眼动时长参数η1和眼动频率参数η2成正相关，例如，待识别用户连续驾驶时长为2小时时，眼动时长参数η1为0.128，眼动频率参数η2为0.98，待识别用户连续驾驶时长为4小时时，眼动时长参数η1为0.1239，眼动频率参数η2为1，在眼动时长值FA1和眼动频率值FA2相同的情况下，2小时对应的疲劳判断值小于4小时对应的疲劳判断值。
子步骤S252、计算所述眼动时长值和所述眼动时长参数之间的乘积，获得第一疲劳判断值。
计算所述眼动时长值FA1和所述眼动时长参数η1之间的乘积，获得第一疲劳判断值FA1*η1。
子步骤S253、计算所述眼动频率值和所述眼动频率参数之间的乘积，获得第二疲劳判断值。
计算所述眼动频率值FA2和所述眼动频率参数η2之间的乘积，获得第二疲劳判断值FA2*η2。
子步骤S254、计算所述第一疲劳判断值和所述第二疲劳判断值之和，获得所述疲劳判断值。
计算FA1*η1+FA2*η2=FA3，FA3为疲劳判断值。当η1取0.128，η2取1时，FA3如表6所示：
表6
Figure 445699DEST_PATH_IMAGE014
如表6中01行所示，当FA1为-0.07423，FA2为0.346718，计算FA3=-0.07423*0.128+0.346718*1=-0.02985。
当η1取0.133，η2取1时，FA3如表7所示：
表7
Figure 51648DEST_PATH_IMAGE015
如表7中01行所示，当FA1为-0.07423，FA2为0.346718，计算FA3=-0.07423*0.133+0.346718*1=-0.02811。
当η1取0.139，η2取1时，FA3如表8所示：
表8
Figure 960698DEST_PATH_IMAGE016
如表8中01行所示，当FA1为-0.07423，FA2为0.346718，计算FA3=-0.07423*0.139+0.346718*1=-0.02603。
需要说明的是，驾驶员非疲劳状态的选定可以是以SSQ（SimulatorQuestionnaire Survey）主观问卷调查作为判断，该问卷包括三个子项目：恶心症状，动眼神经不适，方向障碍。由于动眼神经不适和方向障碍两个项目中有很多评估指标是跟眼动和疲劳相关，所以也被用于评测跟视觉相关的疲劳检测，被广泛用于晕动程度的评估。
例如，在某驾驶时间段开始前和结束后时，驾驶员针对动眼神经不适和方向障碍项目的自我主观判断中均未表现出与该项目相关的任意症状，诸如，整体不适、疲劳、头痛、眼花、视力难以集中、注意力不集中、头胀、视觉模糊、头晕、眼花等症状，则判定为非疲劳状态，而驾驶员有任意轻微，中度或者重度的动眼神经不适或者方向障碍的自我评分表现均为疲劳状态。
同样的，为了验证计算的疲劳值是否正确，也可以让驾驶员在指定驾驶时间段前后填写SSQ问卷，以下测试选取刚开始驾驶的5分钟（初始阶段t1）和最后驾驶5分钟（结束阶段t2）的场景作为对比。为避免适应性和学习效应影响实验结果，所有驾驶员初始阶段和结束阶段驾驶相同的道路。在本实施例中，通过该问卷来评估驾驶员在实验开始和结束的疲劳和晕动程度。根据该问卷获得的测量表如下所示，其中表9为初始阶段疲劳程度计算表，表10为结束阶段疲劳程度计算表，表11为驾驶员主管疲劳程度变化表，具体如下所示：
表9
Figure 358182DEST_PATH_IMAGE017
表10
Figure 149420DEST_PATH_IMAGE018
表11
Figure 290551DEST_PATH_IMAGE019
在表9中，SSQ1=Ocu1*7.58+Dis1*13.92，例如，在表9中，Ocu1为1，且Dis1为0时，得到的SSQ1为7.58。在表10中，SSQ2=Ocu2*7.58+Dis2*13.92，例如在表10中，Ocu2为11，Dis2为5，得到的SSQ2为152.98。在表11中，SSQ3=SSQ1+SSQ2，通过表9和表10的数据计算出表11的疲劳程度变化SSQ3。根据研究（Webb, C. M., Bass, J. M., Johnson, D. M., Kelley,A. M., Martin, C. R., & Wildzunas, R. M. (2009). Simulator sickness in ahelicopter flight training school. Aviation, space, and environmentalmedicine, 80(6), 541-545.）表明，疲劳程度变化SSQ3高于20是认定为疲劳。
其中，表9-表11的第01-14的数据分别来源于14个不同的驾驶员，表9是驾驶员在驾驶的初始阶段的数据，可以理解的是，初始阶段驾驶员的状态可以认为是非疲劳状态；表11是14个驾驶员每个驾驶员在待检测阶段对应的驾驶数据。
以上述参与问卷的驾驶员为例，并且η1为0.128，当疲劳判断值大于或等于0时，认为疲劳判断值满足疲劳条件，通过步骤S210~步骤S250计算出的疲劳判断值FA3，本申请计算出的疲劳判断值FA3和采集到的疲劳程度变化SSQ3的对照表如表12所示：
表12
Figure 850846DEST_PATH_IMAGE020
如表12所示，以第01行为例，疲劳判断值FA3为-0.02985，疲劳判断值FA3小于0，则认为驾驶员处于非疲劳状态，通过问卷获得的验证值疲劳程度变化SSQ3为7.58，疲劳程度变化SSQ3小于20，则认为驾驶员处于非疲劳状态，因此，本申请获得的疲劳判断值FA3能够准确判断疲劳。
再看，表12的第01行，疲劳判断值FA3为0.008889，疲劳判断值FA3大于0，则认为驾驶员处于疲劳状态，并且通过问卷获得的验证值疲劳程度变化SSQ3为145.4，疲劳程度变化SSQ3大于20，则认为驾驶员处于疲劳状态，因此，本申请获得的疲劳判断值FA3能够准确判断疲劳。
需要说明的是，表9中，由于02、11、13行数据在初始阶段表现为疲劳程度，不属于非疲劳状态，因此，基于该阶段下对应的驾驶员其他阶段的驾驶数据不可用，也无法判断其他阶段的疲劳状态，故表12对于02、11、13行数据的疲劳状态不予判断。
步骤S260、当所述疲劳判断值满足疲劳条件时，确定所述待识别用户的状态为疲劳状态。
其中，步骤S260的具体描述请参阅步骤S130，在此不再赘述。
在本实施例中，获取目标注视时长和目标眨眼时长，计算目标注视时长和目标眨眼时长之和，作为眼动时长值，然后眼动仪检测待识别用户的第一眼动频率和和非疲劳状态下的第二眼动频率，再根据第一眼动频率和第二眼动频率，获得眼动频率值，根据眼动时长值和眼动频率值，获得疲劳判断值，当疲劳判断值满足疲劳条件时，确定待识别用户的状态为疲劳状态，由于眼动仪可以时刻检测到准确的第一眼动频率，使得得到的疲劳判断值能够准确的判断待识别用户的状态。
为实现上述方法类实施例，本实施例提供一种疲劳识别装置，图8示出了本申请一实施例提供的疲劳识别装置的框图，请参阅图8，疲劳识别装置100包括：第一获取模块110、第二获取模块120和确定模块130。
第一获取模块110，用于获取待识别用户的眼动时长值，并获取待识别用户的眼动频率值；
第二获取模块120，用于根据所述眼动时长值和所述眼动频率值，获得疲劳判断值；
确定模块130，用于当所述疲劳判断值满足疲劳条件时，确定所述待识别用户的状态为疲劳状态。
可选地，第一获取模块110包括：眼动频率获取子模块和眼动频率值获取子模块。
眼动频率获取子模块，用于检测待识别用户的第一眼动频率，并获取非疲劳状态下的第二眼动频率；
眼动频率值获取子模块，用于根据所述第一眼动频率和所述第二眼动频率，获得所述眼动频率值。
可选地，眼动频率值获取子模块包括：中间眼动频率差获取子模块、中间眼动频率差参数获取子模块和眼动频率值计算子模块。
中间眼动频率差获取子模块，用于计算所述第一眼动频率和所述第二眼动频率的差值，获得中间眼动频率差；
中间眼动频率差参数获取子模块，用于获取所述中间眼动频率差对应的中间眼动频率差参数；
眼动频率值计算子模块，用于计算所述中间眼动频率差和所述中间眼动频率差参数之间的乘积，获得所述眼动频率值。
可选地，所述第一眼动频率包括第一注视频率、第一扫视频率和第一眨眼频率，所述第二眼动频率包括第二注视频率、第二扫视频率和第二眨眼频率，眼动频率值计算子模块包括：目标注视频率差获取子模块、目标扫视频率差获取子模块、目标眨眼频率差获取子模块和眼动频率值求和子模块。
目标注视频率差获取子模块，用于计算所述第一注视频率和所述第二注视频率之间的差值，获得中间注视频率差，并获取所述中间注视频率差对应的注视参数，以及计算所述中间注视频率差和所述注视参数之间的乘积，获得目标注视频率差；
目标扫视频率差获取子模块，用于计算所述第一扫视频率和所述第二扫视频率之间的差值，获得中间扫视频率差，并获取所述中间扫视频率差对应的扫视参数，以及计算所述中间扫视频率差和所述扫视参数之间的乘积，获得目标扫视频率差；
目标眨眼频率差获取子模块，用于计算所述第一眨眼频率和所述第二眨眼频率之间的差值，获得中间眨眼频率差，并获取所述中间眨眼频率差对应的眨眼参数，以及计算所述中间眨眼频率差和所述眨眼参数之间的乘积，获得目标眨眼频率差；
眼动频率值求和子模块，用于计算所述目标注视频率差、所述目标扫视频率差和所述目标眨眼频率差之和，获得所述眼动频率值。
可选地，眼动频率获取子模块包括：检测时间点确定子模块、眼动检测时间点确定子模块和求商子模块。
检测时间点确定子模块，用于在预设时间段内确定多个检测时间点；
眼动检测时间点确定子模块，用于在所述多个检测时间点中确定所述待识别用户的眼部运动时的检测时间点作为眼动检测时间点，其中，所述眼动检测时间点的数量为多个；
求商子模块，用于计算多个眼动检测时间点与所述多个检测时间点之间的商，获得所述第一眼动频率。
可选地，求商子模块包括：归一化子模块。
归一化子模块，用于计算所述多个眼动检测时间点与多个检测时间点之间的商，并对所述多个眼动检测时间点与所述多个检测时间点之间的商进行归一化处理，获得所述第一眼动频率。
可选地，第二获取模块120包括：参数获取子模块、第一疲劳判断值获取子模块、第二疲劳判断值获取子模块和疲劳判断值获取子模块。
参数获取子模块，用于获取所述眼动时长值对应的眼动时长参数，以及获取所述眼动频率值对应的眼动频率参数；
第一疲劳判断值获取子模块，用于计算所述眼动时长值和所述眼动时长参数之间的乘积，获得第一疲劳判断值；
第二疲劳判断值获取子模块，用于计算所述眼动频率值和所述眼动频率参数之间的乘积，获得第二疲劳判断值；
疲劳判断值获取子模块，用于计算所述第一疲劳判断值和所述第二疲劳判断值之和，获得所述疲劳判断值。
可选地，疲劳识别装置100还包括疲劳预警模块。
疲劳预警模块，用于输出疲劳预警信息。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
图9是本申请实施例的用于执行根据本申请实施例的疲劳识别方法的电子设备的框图，请参阅图9，其示出了本申请实施例提供的一种电子设备200的结构框图。该电子设备200可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备200可以包括一个或多个如下部件：处理器210、存储器220以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器220中并被配置为由一个或多个处理器210执行，一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。
其中，处理器210可以包括一个或者多个处理核。处理器210利用各种接口和线路连接整个电子设备200内的各个部分，通过运行或执行存储在存储器220内的指令、程序、代码集或指令集，以及调用存储在存储器220内的数据，执行电子设备200的各种功能和处理数据。可选地，处理器210可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）、可编程逻辑阵列（ProgrammableLogic Array，PLA）中的至少一种硬件形式来实现。处理器210可集成中央处理器（CentralProcessing Unit，CPU）、图形处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责待显示组件的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器210中，单独通过一块通信芯片进行实现。
存储器220可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。存储器220可用于存储指令、程序、代码、代码集或指令集。存储器220可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备200在使用中所创建的数据（比如历史配置文件）等。
图10示出了本申请实施例的用于保存或者携带实现根据本申请实施例的疲劳识别方法的程序代码的存储单元，请参阅图10，其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读取存储介质300可以是诸如闪存、EEPROM（电可擦除可编程只读存储器）、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读取存储介质300包括非易失性计算机可读介质（non-transitory computer-readable storage medium）。计算机可读取存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。
综上所述，本申请提供的疲劳识别方法、装置、电子设备及存储介质，获取眼动时长值，并通过眼动仪获取待识别用户的眼动频率值，眼动仪对待识别用户的坐姿无要求，任何坐姿下均能采集到准确的眼动频率值，再根据眼动时长和眼动频率值获得疲劳判断值，当疲劳判断值满足疲劳条件时，确定待识别用户的状态为疲劳状态，结合眼动时长和待识别用户的眼动频率值，可以准确的获得疲劳识别结果，并且通过对眼球的眼动信息的采集，对用户坐姿无要求，不管用户坐姿如何都可以时获得准确的疲劳识别结果。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种疲劳识别方法，其特征在于，所述方法包括：
获取待识别用户的第一眼动时长值，并获取非疲劳状态下的第二眼动时长值；计算所述第一眼动时长值和所述第二眼动时长值的差值，获得中间眼动时长差；获取所述中间眼动时长差对应的中间眼动时长差参数；其中，所述第一眼动时长值表征眼动行为持续的时间长度，所述眼动行为包括以下至少两项：注视行为、眨眼行为和扫视行为；计算各个眼动行为对应的中间眼动时长差和所述中间眼动时长差参数之间的乘积之和，获得眼动时长值；以及获取所述待识别用户的眼动频率值；
根据所述眼动时长值和所述眼动频率值，获得疲劳判断值；
当所述疲劳判断值满足疲劳条件时，确定所述待识别用户的状态为疲劳状态。
2.根据权利要求1所述的方法，其特征在于，所述第一眼动时长值包括第一目标注视时长和第一目标眨眼时长，所述第二眼动时长值包括第二目标注视时长和第二目标眨眼时长，所述计算所述中间眼动时长差和所述中间眼动时长差参数之间的乘积，获得眼动时长值，包括：
计算所述第一目标注视时长和所述第二目标注视时长之间的差值，获得中间注视时长差，并获取所述中间注视时长差对应的注视时长差参数，以及计算所述中间注视时长差和所述注视时长差参数之间的乘积，获得目标注视时长差；
计算所述第一目标眨眼时长和所述第二目标眨眼时长之间的差值，获得中间眨眼时长差，并获取所述中间眨眼时长差对应的眨眼时长差参数，以及计算所述中间眨眼时长差和所述眨眼时长差参数之间的乘积，获得目标眨眼时长差；
计算所述目标注视时长差和所述目标眨眼时长差之和，获得所述眼动时长值。
3.根据权利要求1所述的方法，其特征在于，所述获取所述待识别用户的眼动频率值，包括：
检测所述待识别用户的第一眼动频率，并获取非疲劳状态下的第二眼动频率；
根据所述第一眼动频率和所述第二眼动频率，获得所述眼动频率值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一眼动频率和所述第二眼动频率，获得所述眼动频率值，包括：
计算所述第一眼动频率和所述第二眼动频率的差值，获得中间眼动频率差；
获取所述中间眼动频率差对应的中间眼动频率差参数；
计算所述中间眼动频率差和所述中间眼动频率差参数之间的乘积，获得所述眼动频率值。
5.根据权利要求3所述的方法，其特征在于，所述第一眼动频率包括第一注视频率、第一扫视频率和第一眨眼频率，所述第二眼动频率包括第二注视频率、第二扫视频率和第二眨眼频率，所述根据所述第一眼动频率和所述第二眼动频率，获得所述眼动频率值，包括：
计算所述第一注视频率和所述第二注视频率之间的差值，获得中间注视频率差，并获取所述中间注视频率差对应的注视参数，以及计算所述中间注视频率差和所述注视参数之间的乘积，获得目标注视频率差；
计算所述第一扫视频率和所述第二扫视频率之间的差值，获得中间扫视频率差，并获取所述中间扫视频率差对应的扫视参数，以及计算所述中间扫视频率差和所述扫视参数之间的乘积，获得目标扫视频率差；
计算所述第一眨眼频率和所述第二眨眼频率之间的差值，获得中间眨眼频率差，并获取所述中间眨眼频率差对应的眨眼参数，以及计算所述中间眨眼频率差和所述眨眼参数之间的乘积，获得目标眨眼频率差；
计算所述目标注视频率差、所述目标扫视频率差和所述目标眨眼频率差之和，获得所述眼动频率值。
6.根据权利要求3所述的方法，其特征在于，所述检测所述待识别用户的第一眼动频率，包括：
在预设时间段内确定多个检测时间点；
在所述多个检测时间点中确定所述待识别用户的眼部运动时的检测时间点作为眼动检测时间点，其中，所述眼动检测时间点的数量为多个；
计算多个眼动检测时间点与多个检测时间点之间的商，获得所述第一眼动频率。
7.根据权利要求6所述的方法，其特征在于，所述计算多个眼动检测时间点与多个检测时间点之间的商，获得所述第一眼动频率，包括：
计算所述多个眼动检测时间点与所述多个检测时间点之间的商，并对所述多个眼动检测时间点与多个检测时间点之间的商进行归一化处理，获得所述第一眼动频率。
8.根据权利要求1所述的方法，其特征在于，所述根据所述眼动时长值和所述眼动频率值，获得疲劳判断值，包括：
获取所述眼动时长值对应的眼动时长参数，以及获取所述眼动频率值对应的眼动频率参数；
计算所述眼动时长值和所述眼动时长参数之间的乘积，获得第一疲劳判断值；
计算所述眼动频率值和所述眼动频率参数之间的乘积，获得第二疲劳判断值；
计算所述第一疲劳判断值和所述第二疲劳判断值之和，获得所述疲劳判断值。
9.根据权利要求1-8任意一项所述的方法，其特征在于，所述当所述疲劳判断值满足疲劳条件时，确定所述待识别用户的状态为疲劳状态之后，包括：
输出疲劳预警信息。
10.一种疲劳识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取待识别用户的第一眼动时长值，并获取非疲劳状态下的第二眼动时长值；计算所述第一眼动时长值和所述第二眼动时长值的差值，获得中间眼动时长差；获取所述中间眼动时长差对应的中间眼动时长差参数；其中，所述第一眼动时长值表征眼动行为持续的时间长度，所述眼动行为包括以下至少两项：注视行为、眨眼行为和扫视行为；计算各个眼动行为对应的中间眼动时长差和所述中间眼动时长差参数之间的乘积之和，获得眼动时长值；以及获取待识别用户的眼动频率值；
第二获取模块，用于根据所述眼动时长值和所述眼动频率值，获得疲劳判断值；
确定模块，用于当所述疲劳判断值满足疲劳条件时，确定所述待识别用户的状态为疲劳状态。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1-9任一项所述的方法。
12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。
CN202110745734.2A 2021-07-01 2021-07-01 疲劳识别方法、装置、电子设备及存储介质 Active CN113413134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110745734.2A CN113413134B (zh) 2021-07-01 2021-07-01 疲劳识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110745734.2A CN113413134B (zh) 2021-07-01 2021-07-01 疲劳识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113413134A CN113413134A (zh) 2021-09-21
CN113413134B true CN113413134B (zh) 2022-05-27

Family

ID=77719959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110745734.2A Active CN113413134B (zh) 2021-07-01 2021-07-01 疲劳识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113413134B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7416112B2 (ja) 2022-03-23 2024-01-17 いすゞ自動車株式会社 覚醒度判定装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100085539A1 (en) * 2007-06-05 2010-04-08 National Institute Of Advanced Industrial Science And Technology Mental fatigue detecting method and device
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
JP2013215356A (ja) * 2012-04-06 2013-10-24 Panasonic Corp 眼疲労計測装置およびその方法
CN107562213A (zh) * 2017-10-27 2018-01-09 网易（杭州）网络有限公司 视疲劳状态的检测方法、装置以及头戴式可视设备
CN107798825A (zh) * 2017-10-26 2018-03-13 中控智慧科技股份有限公司 安检员提醒方法及装置
CN109840510A (zh) * 2019-02-25 2019-06-04 西安闻泰电子科技有限公司 疲劳驾驶的监控方法、装置、存储介质及电子设备
CN110811645A (zh) * 2019-10-15 2020-02-21 南方科技大学 一种视疲劳测量方法及其系统、存储介质、电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0819520A (ja) * 1994-07-05 1996-01-23 Sony Corp 眼球運動解析方法
KR20180008277A (ko) * 2016-07-15 2018-01-24 주식회사 그루크리에이티브랩 영상에 대한 사용자의 눈 피로도를 측정하는 방법 및 장치
CN109498028B (zh) * 2018-12-24 2021-09-28 深圳和而泰数据资源与云技术有限公司 眨眼检测方法、装置、眨眼监测器和眼戴设备
CN113010066B (zh) * 2019-12-20 2022-11-11 华为技术有限公司 显示参数确定方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100085539A1 (en) * 2007-06-05 2010-04-08 National Institute Of Advanced Industrial Science And Technology Mental fatigue detecting method and device
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
JP2013215356A (ja) * 2012-04-06 2013-10-24 Panasonic Corp 眼疲労計測装置およびその方法
CN107798825A (zh) * 2017-10-26 2018-03-13 中控智慧科技股份有限公司 安检员提醒方法及装置
CN107562213A (zh) * 2017-10-27 2018-01-09 网易（杭州）网络有限公司 视疲劳状态的检测方法、装置以及头戴式可视设备
CN109840510A (zh) * 2019-02-25 2019-06-04 西安闻泰电子科技有限公司 疲劳驾驶的监控方法、装置、存储介质及电子设备
CN110811645A (zh) * 2019-10-15 2020-02-21 南方科技大学 一种视疲劳测量方法及其系统、存储介质、电子设备

Also Published As

Publication number Publication date
CN113413134A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
US20220095975A1 (en) Detection of cognitive state of a driver
US10890968B2 (en) Electronic device with foveated display and gaze prediction
EP3488382B1 (en) Method and system for monitoring the status of the driver of a vehicle
US10725534B2 (en) Apparatus and method of generating machine learning-based cyber sickness prediction model for virtual reality content
US11861837B2 (en) Utilization of luminance changes to determine user characteristics
CN114648354A (zh) 一种基于眼动追踪和情绪状态的广告测评方法和系统
CN115334957A (zh) 用于对瞳孔心理感觉反应进行光学评估的系统和方法
CN113413134B (zh) 疲劳识别方法、装置、电子设备及存储介质
Guasconi et al. A low-cost implementation of an eye tracking system for driver's gaze analysis
JP7099377B2 (ja) 情報処理装置及び情報処理方法
US20220284718A1 (en) Driving analysis device and driving analysis method
CN111753628B (zh) 训练眼睛跟踪模型
Vieira et al. iSVC–digital platform for detection and prevention of computer vision syndrome
Nabatilan Factors that influence visual attention and their effects on safety in driving: an eye movement tracking approach
Jamali et al. Facial Expression Recognition for Measuring Jurors’ Attention in Acoustic Jury Tests
JP2020028430A (ja) 脳波解析システム、視認性評価システム、脳波解析方法及びプログラム
CN116923425B (zh) 具有智能感知系统的新能源汽车智能座舱及其控制方法
US11854260B2 (en) Situation-sensitive safety glasses
EP4131184A1 (en) Analysing skin features
CN109766735A (zh) 行驶监控方法、装置、移动终端和计算机可读存储介质
US20240145044A1 (en) Contextual awareness for unsupervised administration of cognitive assessments remotely or in a clinical setting
CN117152841A (zh) 基于双流滑动注意力网络的学生注意力评价方法
Ullmann Extracting Information about Currently Watched Videos from the Pupil Diameter/submitted by Hans Peter Ullmann
JP2022100015A (ja) 眼疲労評価装置、眼疲労評価方法およびプログラム
P Mathai A New Proposal for Smartphone-Based Drowsiness Detection and Warning System for Automotive Drivers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant