CN110063734B - 疲劳检测方法、装置、系统及疲劳检测头盔 - Google Patents

疲劳检测方法、装置、系统及疲劳检测头盔 Download PDF

Info

Publication number
CN110063734B
CN110063734B CN201910221226.7A CN201910221226A CN110063734B CN 110063734 B CN110063734 B CN 110063734B CN 201910221226 A CN201910221226 A CN 201910221226A CN 110063734 B CN110063734 B CN 110063734B
Authority
CN
China
Prior art keywords
pilot
fatigue
determining
eye
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910221226.7A
Other languages
English (en)
Other versions
CN110063734A (zh
Inventor
邓略
赵彦鹏
张永宝
张莉莉
王兴伟
邓学谦
葛宏
卜伟平
刘何庆
田大为
赵显亮
丁立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Specialty Medical Center of PLA
Original Assignee
Air Force Specialty Medical Center of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Specialty Medical Center of PLA filed Critical Air Force Specialty Medical Center of PLA
Priority to CN201910221226.7A priority Critical patent/CN110063734B/zh
Publication of CN110063734A publication Critical patent/CN110063734A/zh
Application granted granted Critical
Publication of CN110063734B publication Critical patent/CN110063734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes

Abstract

本申请公开了一种疲劳检测方法、装置、系统及疲劳检测头盔。该方法包括：采集飞行员的眼部活动图像和头部活动信息；依据飞行员的眼部活动图像，确定飞行员的第一疲劳指数；依据飞行员的头部活动信息，确定飞行员的第二疲劳指数；依据第一疲劳指数和第二疲劳指数，确定飞行员的疲劳等级。通过本申请，解决了相关技术中军机飞行员在执行长航飞行任务时，无法高效实时准确的判定其觉醒状态的技术问题。

Description

疲劳检测方法、装置、系统及疲劳检测头盔
技术领域
本申请涉及军机飞行领域，具体而言，涉及一种疲劳检测方法、装置、系统及疲劳检测头盔。
背景技术
对于执行长途飞行特别是跨时区任务的飞行员来说，飞行疲劳几乎是不可避免的。随着我军装备和训练方式的迅速发展，除了轰炸机、运输机等，战斗机飞行员长航时飞行的情况也越来越多。如何及时、高效地监测飞行员的疲劳状态，对飞行员的疲劳状态进行评估，为报警警示、数据分析等后续工作提供数据支撑，预防可能发生的飞行事故，提高飞行员空中作战能力，是目前急需解决的问题。
驾驶员疲劳检测，主要现有技术为在驾驶员前方(一般是与驾驶方向相对)安置摄像头采集驾驶员头面部视频或图像，通过人脸识别等处理方法识别出司机眼睛开闭合状态，或，监测司机的脑电信号和肌电信号等生理特征来判断驾驶员清醒状态。
但是上述处理方式存在以下问题：
其一、在飞行员需要佩戴保护头盔和氧气面罩的情况下，在显示屏/操作台安装的摄像装置则无法获取飞行员的面部信息。
其二、在一些特殊的飞行领域中，不适宜在飞行员头部加装复杂的脑电传感装置，此外，飞行状态对仪器还具有特殊的电磁、安全性等其他要求。
综上所述，针对军机飞行员在执行长航飞行任务时，无法高效实时准确的判定其觉醒状态的技术问题，目前尚未提出有效的解决方案。
发明内容
本申请提供一种疲劳检测方法、装置、系统及疲劳检测头盔，以解决相关技术中针对军机飞行员在执行长航飞行任务时，无法高效实时准确的判定其觉醒状态的技术问题。
根据本申请的一个方面，提供了一种疲劳检测方法。该方法包括：采集飞行员的眼部活动图像和头部活动信息；依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数；依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数；依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级。
可选的，采集飞行员的眼部活动图像和头部活动信息包括：通过摄像装置对所述飞行员的眼部进行拍摄处理，获取所述飞行员的眼部活动图像，其中，所述摄像装置设置于所述飞行员头盔内侧；通过惯性传感器对所述飞行员的头部运动进行侦测，获取所述飞行员的头部活动信息，其中，所述惯性传感器与所述飞行员头盔固定连接。
可选的，依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数包括：识别所述眼部活动图像中的眨眼动作和多个预设闭眼状态；确定所述飞行员的眨眼频率和所述飞行员处于每个预设闭眼状态的持续时长；依据所述眨眼频率和每个预设闭眼状态对应的持续时长，确定所述飞行员的第一疲劳指数。
可选的，依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数：依据所述飞行员的头部活动信息，确定所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度；依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数。
可选的，依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数包括：获取所述飞行员所处飞机的机身活动信息；依据所述飞行员所处飞机的机身活动信息，确定所述飞机在多个预设方向上的活动角度和所述活动角度对应的角加速度；基于所述飞机在多个顸设方向上的活动角度和所述活动角度对应的角加速度，对所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度进行校正处理；依据经过校正处理后的所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数。
可选的，在依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级之后，所述方法还包括：判断所述飞行员的疲劳等级是否超过预设等级；在所述飞行员的疲劳等级超过所述预设等级的情况下，发送用于提示所述飞行员处于疲劳状态的信息；在所述飞行员的疲劳等级未超过所述预设等级的情况下，继续执行“通过监测装置获取飞行员的眼部活动图像和头部活动信息”的步骤。
根据本申请的另一个方面，提供了一种疲劳检测系统。该系统包括：摄像装置，设置于飞行员头盔内侧的眼部水平线上，用于采集飞行员的眼部活动图像；惯性传感器，设置于所述飞行员头盔的可活动区域上，用于采集所述飞行员的头部活动信息；处理器，与所述摄像装置和惯性传感器通讯连接，用于依据所述眼部活动图像和所述头部活动信息，确定所述飞行员的疲劳等级。
可选的，所述系统还包括：机身传感器，设置于所述飞行员所处飞机的机身上，用于获取所述飞机的机身活动信息，其中，所述处理器与所述机身传感器相连接，用于基于所述机身活动信息对所述头部活动信息进行校正处理；和/或，提示装置，与所述处理器相连接，用于在所述处理器判断出所述飞行员的疲劳等级超过预设等级的情况下，发送用于提示飞行员处于疲劳状态的信息。
可选的，所述系统还满足以下任意之一的技术特征；所述惯性传感器的总重量小于100g；所述摄像装置的总重量小于100g；所述摄像装置的图像采集速度大于10帧/秒；所述摄像装置所采集的图像像素大于160*120。
根据本申请的另一方面，提供了一种疲劳检测装置。该装置包括：眼部疲劳检测模块，用于采集飞行员的眼部活动图像，并依据眼部活动图像确定所述飞行员的第一疲劳指数；头部疲劳检测模块，用于采集飞行员的头部活动信息，并依据头部活动信息确定所述飞行员的第二疲劳指数；信息处理模块，用于依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级。
根据本申请的另一个方面，提供了一种疲劳检测头盔。该疲劳检测头盔包括疲劳检测系统，其中，所述疲劳检测系统为上述任一项所述的疲劳检测系统。
根据本申请的另一方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述任意一项所述的疲劳检测方法。
根据本申请的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的疲劳检测方法。
通过本申请，采用以下步骤：采集飞行员的眼部活动图像和头部活动信息；依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数；依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数；依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级，解决了相关技术中军机飞行员在执行长航飞行任务时，无法高效实时准确的判定其觉醒状态的技术问题。
也即，本申请实施例提供的疲劳检测方法主要针对军机飞行员，特别是为执行长航时飞行任务的飞行员所设计的。具体的，本申请实施例提供的疲劳检测方法主要用于监测飞行员在驾驶飞行时的觉醒状态，以便高效、及时、准确地判别出飞行员的疲劳状态。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的疲劳检测方法的流程图；
图2是根据本申请实施例提供的一种可选的疲劳检测方法的示意图；
图3是根据本申请实施例提供的疲劳检测系统的示意图；
图4是根据本申请实施例提供的疲劳检测装置的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于消楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请的实施例，提供了一种疲劳检测方法。
图1是根据本申请实施例的疲劳检测方法的流程图。如图1所示，该方法包括以下步骤：
步骤S102，采集飞行员的眼部活动图像和头部活动信息。
步骤S104，依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数。
步骤S106，依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数。
步骤S108，依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级。
本申请实施例提供的疲劳检测方法，通过采集飞行员的眼部活动图像和头部活动信息；依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数；依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数；依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级，解决了相关技术中军机飞行员在执行长航飞行任务时，无法高效实时准确的判定其觉醒状态的技术问题。
也即，本申请实施例提供的疲劳检测方法主要针对军机飞行员，特别是为执行长航时飞行任务的飞行员所设计的。具体的，本申请实施例提供的疲劳检测方法主要用于监测飞行员在驾驶飞行时的觉醒状态，以便高效、及时、准确地判别出飞行员的疲劳状态。
此外，相对于相关技术中，汽车驾驶员疲劳监测技术和飞行员脑电信息疲劳检测技术而言，本申请实施例提供的疲劳检测方法避免了因飞行员佩戴头盔、氧气面罩等防护设备，导致无法依据飞行员面部情况判断出飞行员的疲劳状态的情况，以及避免了在飞行员不便于配带脑电检测装置的情况下，导致无法检测飞行员的疲劳状态的情况。具体的，本申请实施例提供的疲劳检测方法基于拍摄所得的眼部活动图像和侦测所得的头部活动信息，高效、及时、准确地判别出飞行员的疲劳状态的技术效果。
需要说明的是：在一般情况下，飞行员常常处于佩戴头盔的状况，此时，设置于显示面板处的摄像装置则无法精准的获取到飞行员的眼部信息。基于上述技术问题，可选地，在本申请实施例提供的疲劳检测方法中，采集飞行员的眼部活动图像包括：通过摄像装置对所述飞行员的眼部进行拍摄处理，获取所述飞行员的眼部活动图像，其中，所述摄像装置设置于所述飞行员头盔内侧。
进一步地，上述摄像装置的安装位置可以对飞行员侧脸进行无间断拍摄，且不会对飞行员的视物和视野造成影响，其中，上述安装位置具体表现为：该摄像装置位于飞行员头盔一侧，且具体位于头盔眼水平线的左前侧和/或右前侧，以对飞行员的侧脸进行无间断拍摄，其中，拍摄重点为飞行员的单侧眼部区域。
在一个可选的示例中，为了保证该摄像装置不会对飞行员产生干扰，该摄像装置的重量小于第一阈值(100g)。
在另一个可选的示例中，为了保证摄像装置拍摄出的眼部活动图像，能精准确定飞行员的第一疲劳指数，该摄像装置的图像采集速度不小于第二阈值(10帧/秒)，且每帧图像像素不小于第三阈值(160*120)。
例如：光线范围适用较广、且具备夜间拍摄功能(可适应最低照度为0.1lux状态)的sony的imx390传感器。此时，本申请通过sony的imx390传感器和相应的镜头、框架结合成所采用的摄像装置。
在另一个可选的示例中，为了保证处理器能够及时跟进摄像装置拍摄出的眼部活动图形，该疲劳检测方法的图像处理速度不小于第四阈值(10帧/秒)，且该疲劳检测方法的图像处理准确度不小于第五阈值(80％)。
可选地，在本申请实施例提供的疲劳检测方法中，采集飞行员的头部活动信息包括：通过惯性传感器对所述飞行员的头部运动进行侦测，获取所述飞行员的头部活动信息，其中，所述惯性传感器与所述飞行员头盔固定连接。
需要说明的是：由于该惯性传感器与飞行员头盔固定连接，因此，需要考虑到该惯性传感器是否会对飞行员造成不必要的干扰，例如，重量干扰，体积干扰。此时，该惯性传感器则应当满足如下条件至少之一：该惯性传感器的重量小于第六阈值(100g)，且该惯性传感器的体积小于第七阈值。例如，ADI公司的高性能惯性测量单元(IMU)ADIS 16470传感器模块。
可选地，在本申请实施例提供的疲劳检测方法中，依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数包括：识别所述眼部活动图像中的眨眼动作和多个预设闭眼状态；确定所述飞行员的眨眼频率和所述飞行员处于每个预设闭眼状态的持续时长；依据所述眨眼频率和每个预设闭眼状态对应的持续时长，确定所述飞行员的第一疲劳指数。
在一个可选的示例中，眼部图像监测具有多个判别指标，例如，EM、P70、P80，其中，上述EM为通孔被眼睑纵向遮住50％，上述P70为瞳孔被眼睑纵向遮住70％，上述P80为瞳孔被眼睑纵向遮住80％。也即，上述多个预设闭眼状态可以为瞳孔被眼睑纵向遮住50％的状态、瞳孔被眼睑纵向遮住70％的状态、瞳孔被眼睑纵向遮住80％的状态。
需要说明的是：上述内容为示意性举例，并非对本申请的预设闭眼状态进行具体限定，在上诉示意性举例之外，本申请的预设闭眼状态还可以设为其他判别指标。
在另一个可选的示例中，上述依据所述眨眼频率和每个预设闭眼状态对应的持续时长，确定所述飞行员的第一疲劳指数时，可以采用PERCLOS-P80标准进行疲劳指数判别。
需要说明的是，由于入睡状态的伴随动作不止一种，例如，头部前倾、头部侧偏、头部后仰等，因此，在本申请中选用飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，以确定飞行员的第二疲劳指数。也即，在本申请实施例提供的疲劳检测方法中，依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数：依据所述飞行员的头部活动信息，确定所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度；依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数。
具体的，如表1所示，第二疲劳指数是综合同时间维度上惯性传感器在水平、垂直以及纵轴三维轴向上的加速度值所确定的，其中，上述水平轴向加速度值是指头部以横轴为中心的转动加速度，即头部前后摆动；上述垂直轴向加速度值是指头部以轴向为中心的转动加速度，即头部左右转动；上述纵轴向加速度值是指头部以纵轴为中心轴的转动加速度，即头部左右摆动。
针对上述所列举的多个指标需要说明的是，人在疲劳状态下，容易出现向前点头并猛然惊醒的情况，此时，水平轴向加速度值效应明显；此外，人在疲劳状态下，还容易出现向左侧或右侧摆头的情况，此时，纵轴向加速度值效应明显；相反，若飞行员在驾驶飞机过程中经常出现左右转头等观察行为的动作时，则表明该飞行员处于清醒状态，并未发生疲劳瞌睡的情况，此时，垂直轴向加速度则可作为三轴向综合判定时的反向指标。
表1第二疲劳指数对应关系图
时间轴 T1 T2 T3 T4 T5 T6 T7 ...
传感器水平轴向加速度 a<sub>x1</sub> a<sub>x2</sub> a<sub>x3</sub> a<sub>x4</sub> a<sub>x5</sub> a<sub>x6</sub> a<sub>x7</sub> ...
传感器垂直轴向加速度 a<sub>y1</sub> a<sub>y2</sub> a<sub>y3</sub> a<sub>y4</sub> a<sub>y5</sub> a<sub>y6</sub> a<sub>y7</sub> ...
传感器纵轴向加速度 a<sub>z1</sub> a<sub>z2</sub> a<sub>z3</sub> a<sub>z4</sub> a<sub>z5</sub> a<sub>z6</sub> a<sub>z7</sub> ...
第二疲劳指数
在确定上述水平、垂直以及轴向三维轴上的加速度值之后，可以基于上述加速度值进行算法学习和训练，进而确定依据上述加速值确定第二疲劳指数的计算公式，即，
Figure BSA0000180786810000071
在一个可选的示例中，为了检测到飞行员在多个预设方向上的活动角度和活动角度对应的角加速度，本申请所采用的惯性传感器为六自由度惯性传感器，以对飞行员进行头部异常活动监测，其中，该六自由度惯性传感器重点关注飞行员头部在垂直方向上的活动，以便识别出飞行员可能出现的头部瞬时下沉动作以及头部瞬时上升动作。
需要说明的是：本申请实施例所提供的疲劳检测方法是应用于飞行员身上的，因此，会出现飞行员同飞机一同发生颠簸摆动的情况，此时，安装在飞行员头盔上的惯性传感器仍然会侦测到飞行员的头部运动信息，但是该飞行员的头部运行信息并不能准确表示飞行员的自主头部运动。
为了避免上述情况发生，可选地，在本申请实施例提供的疲劳检测方法中，依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数包括：获取所述飞行员所处飞机的机身活动信息；依据所述飞行员所处飞机的机身活动信息，确定所述飞机在多个预设方向上的活动角度和所述活动角度对应的角加速度；基于所述飞机在多个预设方向上的活动角度和所述活动角度对应的角加速度，对所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度进行校正处理；依据经过校正处理后的所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数。
也即，本申请实施例提供的疲劳检测方法不仅仅在飞行员头盔上设置惯性传感器，同时还会在飞机机身上安装惯性传感器，以便获取用于修正飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度的数据，即飞机在多个预设方向上的活动角度和所述活动角度对应的角加速度。进而消除飞机飞行运行对飞行员的头部活动数据(飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度的数据)的干扰。
可选地，如图2所示，在本申请实施例提供的疲劳检测方法中，在依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级之后，所述方法还包括：判断所述飞行员的疲劳等级是否超过预设等级；在所述飞行员的疲劳等级超过所述预设等级的情况下，发送用于提示所述飞行员处于疲劳状态的信息；在所述飞行员的疲劳等级未超过所述预设等级的情况下，继续执行“通过监测装置获取飞行员的眼部活动图像和头部活动信息”的步骤。
其中，在一个可选的示例中，在发送用于提示所述飞行员处于疲劳状态的信息之后，该方法继续执行“通过监测装置获取飞行员的眼部活动图像和头部活动信息”的步骤，进而达到循环实时检测飞行员的疲劳状态，直至飞行结束的技术效果。
可选的，在本申请实施例提供的疲劳检测方法中，依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级包括：依据所述第一疲劳指数确定眼部疲劳等级；依据第二疲劳指数确定头部疲劳等级；依据眼部疲劳等级和头部疲劳等级，确定所述飞行员最终的疲劳等级。
在一个可选的示例中，如表2所示，头部疲劳等级具体分为3个等级，其中，一级头部疲劳等级对应第一疲劳指数范围；二级头部疲劳等级对应第二疲劳指数范围；三级头部疲劳等级对应第三疲劳指数范围。当检测出飞行员的头部疲劳指数时，则以依据该头部疲劳指数所处的范围区间，确定该飞行员的头部疲劳等级。
表2头部疲劳等级对应表
Figure BSA0000180786810000081
Figure BSA0000180786810000091
需要说明的是：上述确定头部疲劳等级的示例仅仅是一种实例性表示，其中的头部疲劳等级中所涉及的到参数、等级数量等，在具体应用时可根据现实情况进行更改或者增删，适应不同的飞行任务、外界环境等因素。
综上所述，本申请实施例所提供的疲劳检测方法实现了如下技术效果：
1、综合考虑了疲劳情况的两大主要特征：眼部活动和头部活动，结合二者进行疲劳监测，进而达到了更准确、更全面地判别飞行员的疲劳程度，并且为后续开展疲劳监测相关研究提供更多的宝贵原始数据。
2、考虑了飞行员佩戴保护头盔与氧气面罩等特殊情况与要求，通过采用侧面拍摄的方法对眼部睁闭合情况进行判断，克服了一般疲劳监测方法需要获取整个或者大部分正面脸部图像的缺陷。
3、克服军机飞行员由于佩戴保护头盔以及飞行任务特殊性而不便在头部安装生理监测装置的困难，通过采集头部活动在不同轴向加速度，以判断头部活动体现的飞行员疲劳状态。此外，该装置简易、实用性好，并且可以通过样本采集量增加而不断改进优化。
4、整个设计在保证疲劳监测效果的基础上，尽可能做到了体积小、质量小，最大程度降低了监测设备对飞行员飞行过程产生的影响。此外，该技术特征可以随着相关技术的发展进一步实现进一步地小型化、轻型化。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种疲劳检测系统，需要说明的是，本申请实施例的疲劳检测系统可以用于执行本申请实施例所提供的用于疲劳检测方法。以下对本申请实施例提供的疲劳检测系统进行介绍。
图3是根据本申请实施例的疲劳检测系统的示意图。如图3所示，该系统包括：摄像装置31、惯性传感器33以及处理器35。
摄像装置31，设置于飞行员头盔内侧的眼部水平线上，用于采集飞行员的眼部活动图像。
惯性传感器33，设置于所述飞行员头盔的可活动区域上，用于采集所述飞行员的头部活动信息。
处理器35，与所述摄像装置和惯性传感器通讯连接，用于依据所述眼部活动图像和所述头部活动信息，确定所述飞行员的疲劳等级。
本申请实施例提供的疲劳检测系统，通过摄像装置设置于飞行员头盔内侧的眼部水平线上，以采集飞行员的眼部活动图像；惯性传感器设置于所述飞行员头盔的可活动区域上，以采集所述飞行员的头部活动信息；处理器与所述摄像装置和惯性传感器通讯连接，以依据所述眼部活动图像和所述头部活动信息，确定所述飞行员的疲劳等级，解决了相关技术中军机飞行员在执行长航飞行任务时，无法高效实时准确的判定其觉醒状态的技术问题。
也即，本申请实施例提供的疲劳检测系统主要针对军机飞行员，特别是为执行长航时飞行任务的飞行员所设计的。具体的，本申请实施例提供的疲劳检测系统主要用于监测飞行员在驾驶飞行时的觉醒状态，以便高效、及时、准确地判别出飞行员的疲劳状态。
可选地，在本申请实施例提供的疲劳检测系统中，所述系统还包括：机身传感器，设置于所述飞行员所处飞机的机身上，用于获取所述飞机的机身活动信息，其中，所述处理器与所述机身传感器相连接，用于基于所述机身活动信息对所述头部活动信息进行校正处理。
可选地，在本申请实施例提供的疲劳检测系统中，所述系统还包括：提示装置，与所述处理器相连接，用于在所述处理器判断出所述飞行员的疲劳等级超过预设等级的情况下，发送用于提示飞行员处于疲劳状态的信息。
可选地，在本申请实施例提供的疲劳检测系统中，所述系统还满足以下任意之一的技术特征；所述惯性传感器的总重量小于100g；所述摄像装置的总重量小于100g；所述摄像装置的图像采集速度大于10帧/秒；所述摄像装置所采集的图像像素大于160*120。
本申请实施例还提供了一种疲劳检测头盔，其中，该头盔包括疲劳检测系统，需要说明的是，本申请实施例的疲劳检测系统上述实施例中任一项所述的疲劳检测系统。
本申请实施例提供的疲劳检测头盔，通过设置于飞行员头盔内侧的眼部水平线上的摄像装置，采集飞行员的眼部活动图像；设置于所述飞行员头盔的可活动区域上的惯性传感器，采集所述飞行员的头部活动信息；以及通过与所述摄像装置和惯性传感器通讯连接的处理器，依据所述眼部活动图像和所述头部活动信息，确定所述飞行员的疲劳等级，解决了相关技术中军机飞行员在执行长航飞行任务时，无法高效实时准确的判定其觉醒状态的技术问题。
也即，本申请实施例提供的疲劳检测头盔主要针对军机飞行员，特别是为执行长航时飞行任务的飞行员所设计的。具体的，本申请实施例提供的疲劳检测头盔主要用于监测飞行员在驾驶飞行时的觉醒状态，以便高效、及时、准确地判别出飞行员的疲劳状态。
本申请实施例还提供了一种疲劳检测装置，需要说明的是，本申请实施例的疲劳检测装置可以用于执行本申请实施例所提供的用于疲劳检测方法。以下对本申请实施例提供的疲劳检测装置进行介绍。
图4是根据本申请实施例的疲劳检测装置的示意图。如图4所示，该装置包括：眼部疲劳检测模块41、头部疲劳检测模块43以及信息处理模块45。
眼部疲劳检测模块41，用于采集飞行员的眼部活动图像，并依据眼部活动图像确定所述飞行员的第一疲劳指数。
头部疲劳检测模块43，用于采集飞行员的头部活动信息，并依据头部活动信息确定所述飞行员的第二疲劳指数。
信息处理模块45，用于依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级。
本申请实施例提供的疲劳检测装置，通过眼部疲劳检测模块采集飞行员的眼部活动图像，并依据眼部活动图像确定所述飞行员的第一疲劳指数；头部疲劳检测模块采集飞行员的头部活动信息，并依据头部活动信息确定所述飞行员的第二疲劳指数；信息处理模块依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级，解决了相关技术中军机飞行员在执行长航飞行任务时，无法高效实时准确的判定其觉醒状态的技术问题。
也即，本申请实施例提供的疲劳检测装置主要针对军机飞行员，特别是为执行长航时飞行任务的飞行员所设计的。具体的，本申请实施例提供的疲劳检测装置主要用于监测飞行员在驾驶飞行时的觉醒状态，以便高效、及时、准确地判别出飞行员的疲劳状态。
可选地，在本申请实施例提供的疲劳检测装置中，所述眼部疲劳检测模块包括：眼部图像信息采集子模块，用于采集飞行员的眼部活动图像。
可选地，在本申请实施例提供的疲劳检测装置中，所述头部疲劳检测模块包括：头部加速度采集子模块，用于采集飞行员的头部活动信息。
可选地，在本申请实施例提供的疲劳检测装置中，所述眼部疲劳检测模块包括：第一数据处理子模块，用于依据眼部活动图像确定所述飞行员的第一疲劳指数。
可选地，在本申请实施例提供的疲劳检测装置中，所述头部疲劳检测模块包括：第二数据处理子模块，用于依据头部活动信息确定所述飞行员的第二疲劳指数。
可选地，在本申请实施例提供的疲劳检测装置中，眼部疲劳检测模块和头部疲劳检测模块通过无线通讯或有线通讯与信息处理模块进行信息传输。
可选地，在本申请实施例提供的疲劳检测装置中，飞行员的疲劳等级可以依据用户输入的调控指令进行相应修改。例如，飞行员的疲劳等级可根据任务或者现实需求进行增减调整。
针对本申请实施例所提供的疲劳检测方法、系统、装置及头盔，需要说明的是：
1、本申请中的摄像装置的安装位置不局限于飞行员头盔的左侧面或者右侧面，同样适用于安装在飞行员头盔的头部前侧，以便对飞行员整个眼部进行图像采集，即摄像装置的安装位置不限于上述内容，在此不做具体限定。
2、本申请中的摄像装置适用于所有可进行图像采集的设备，即采集方式不限于上述内容，在此不做具体限定。
3、本申请中的惯性传感器适用于所有可进行活动检测的传感器类的设备，且该管线传感器可以与摄像装置进行集成处理，也可以安装于飞行员头盔上任意可进行活动检测的位置。
4、本申请包含将眼部图像监测与头部活动监测分开进行疲劳判别的情况，因此，仅将二者进行分离或者对判别标准进行修改的方案应视为本方案的其他替代方案。
此外，所述疲劳检测装置包括处理器和存储器，上述眼部疲劳检测模块、头部疲劳检测模块以及信息处理模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来高效、及时、准确地判别出飞行员的疲劳状态。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述疲劳检测方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述疲劳检测方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：采集飞行员的眼部活动图像和头部活动信息；依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数；依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数；依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级。
可选的，采集飞行员的眼部活动图像和头部活动信息包括：通过摄像装置对所述飞行员的眼部进行拍摄处理，获取所述飞行员的眼部活动图像，其中，所述摄像装置设置于所述飞行员头盔内侧；通过惯性传感器对所述飞行员的头部运动进行侦测，获取所述飞行员的头部活动信息，其中，所述惯性传感器与所述飞行员头盔固定连接。
可选的，依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数包括：识别所述眼部活动图像中的眨眼动作和多个预设闭眼状态；确定所述飞行员的眨眼频率和所述飞行员处于每个预设闭眼状态的持续时长；依据所述眨眼频率和每个预设闭眼状态对应的持续时长，确定所述飞行员的第一疲劳指数。
可选的，依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数：依据所述飞行员的头部活动信息，确定所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度；依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数。
可选的，依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数包括：获取所述飞行员所处飞机的机身活动信息；依据所述飞行员所处飞机的机身活动信息，确定所述飞机在多个预设方向上的活动角度和所述活动角度对应的角加速度；基于所述飞机在多个顸设方向上的活动角度和所述活动角度对应的角加速度，对所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度进行校正处理；依据经过校正处理后的所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数。
可选的，在依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级之后，所述方法还包括：判断所述飞行员的疲劳等级是否超过预设等级；在所述飞行员的疲劳等级超过所述预设等级的情况下，发送用于提示所述飞行员处于疲劳状态的信息；在所述飞行员的疲劳等级未超过所述预设等级的情况下，继续执行“通过监测装置获取飞行员的眼部活动图像和头部活动信息”的步骤。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：采集飞行员的眼部活动图像和头部活动信息；依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数；依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数；依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级。
可选的，采集飞行员的眼部活动图像和头部活动信息包括：通过摄像装置对所述飞行员的眼部进行拍摄处理，获取所述飞行员的眼部活动图像，其中，所述摄像装置设置于所述飞行员头盔内侧；通过惯性传感器对所述飞行员的头部运动进行侦测，获取所述飞行员的头部活动信息，其中，所述惯性传感器与所述飞行员头盔固定连接。
可选的，依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数包括：识别所述眼部活动图像中的眨眼动作和多个预设闭眼状态；确定所述飞行员的眨眼频率和所述飞行员处于每个预设闭眼状态的持续时长；依据所述眨眼频率和每个预设闭眼状态对应的持续时长，确定所述飞行员的第一疲劳指数。
可选的，依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数：依据所述飞行员的头部活动信息，确定所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度；依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数。
可选的，依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数包括：获取所述飞行员所处飞机的机身活动信息；依据所述飞行员所处飞机的机身活动信息，确定所述飞机在多个预设方向上的活动角度和所述活动角度对应的角加速度；基于所述飞机在多个预设方向上的活动角度和所述活动角度对应的角加速度，对所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度进行校正处理；依据经过校正处理后的所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数。
可选的，在依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级之后，所述方法还包括：判断所述飞行员的疲劳等级是否超过预设等级；在所述飞行员的疲劳等级超过所述预设等级的情况下，发送用于提示所述飞行员处于疲劳状态的信息；在所述飞行员的疲劳等级未超过所述预设等级的情况下，继续执行“通过监测装置获取飞行员的眼部活动图像和头部活动信息”的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种疲劳检测方法，其特征在于，包括：
采集飞行员的眼部活动图像和头部活动信息；
依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数；
依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数；
依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级；
其中，采集飞行员的眼部活动图像和头部活动信息包括：通过摄像装置对所述飞行员的眼部进行无间断拍摄处理，获取所述飞行员的眼部活动图像，其中，所述摄像装置设置于所述飞行员头盔内侧的眼部水平线的左前侧和/或右前侧；通过惯性传感器对所述飞行员的头部运动进行侦测，获取所述飞行员的头部活动信息，其中，所述惯性传感器与所述飞行员头盔的可活动区域固定连接，所述惯性传感器为六自由度惯性传感器；
其中，依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数：依据所述飞行员的头部活动信息，确定所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度；依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数；
其中，所述多个预设方向上的活动角度对应的角加速度包括：水平轴向加速度，垂直轴向加速度，纵轴向加速度；
其中，依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数包括：识别所述眼部活动图像中的眨眼动作和多个预设闭眼状态；确定所述飞行员的眨眼频率和所述飞行员处于每个预设闭眼状态的持续时长；依据所述眨眼频率和每个预设闭眼状态对应的持续时长，确定所述飞行员的第一疲劳指数；
其中，依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数包括：获取所述飞行员所处飞机的机身活动信息；依据所述飞行员所处飞机的机身活动信息，确定所述飞机在多个预设方向上的活动角度和所述活动角度对应的角加速度；基于所述飞机在多个预设方向上的活动角度和所述活动角度对应的角加速度，对所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度进行校正处理；依据经过校正处理后的所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数，所述在多个预设方向上的活动角度和活动角度对应的角加速度依据所述六自由度惯性传感器采集到的六自由度数据确定；
其中，所述第二疲劳指数是综合同时间维度上所述惯性传感器在水平、垂直以及纵轴三维轴向上的加速度值所确定的，所述第二疲劳指数基于预定算法进行学习训练得到的预定公式得到，所述预定公式为
Figure DEST_PATH_IMAGE002
，所述
Figure DEST_PATH_IMAGE004
为在水平轴上的加速度值，所述
Figure DEST_PATH_IMAGE006
为在垂直轴上的加速度值，所述
Figure DEST_PATH_IMAGE008
为在纵轴上的加速度值；
其中，依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级包括：依据所述第一疲劳指数确定眼部疲劳等级；依据第二疲劳指数确定头部疲劳等级；依据眼部疲劳等级和头部疲劳等级，确定所述飞行员最终的疲劳等级。
2.根据权利要求1所述的方法，其特征在于，在依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级之后，所述方法还包括：
判断所述飞行员的疲劳等级是否超过预设等级；
在所述飞行员的疲劳等级超过所述预设等级的情况下，发送用于提示所述飞行员处于疲劳状态的信息；
在所述飞行员的疲劳等级未超过所述预设等级的情况下，继续执行“通过监测装置获取飞行员的眼部活动图像和头部活动信息”的步骤。
3.一种疲劳检测系统，其特征在于，包括：
摄像装置，设置于飞行员头盔内侧的眼部水平线的左前侧和/或右前侧，用于无间断地采集飞行员的眼部活动图像；
惯性传感器，设置于所述飞行员头盔的可活动区域上，用于采集所述飞行员的头部活动信息，所述惯性传感器为六自由度惯性传感器；
处理器，与所述摄像装置和惯性传感器通讯连接，用于依据所述眼部活动图像和所述头部活动信息，确定所述飞行员的疲劳等级；
其中，所述处理器还用于：依据所述飞行员的眼部活动图像，确定所述飞行员的第一疲劳指数；依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数；依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级；
其中，所述处理器还用于：依据所述飞行员的头部活动信息，确定所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度；依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数；
其中，所述多个预设方向上的活动角度对应的角加速度包括：水平轴向加速度，垂直轴向加速度，纵轴向加速度；
其中，所述处理器还用于：识别所述眼部活动图像中的眨眼动作和多个预设闭眼状态；确定所述飞行员的眨眼频率和所述飞行员处于每个预设闭眼状态的持续时长；依据所述眨眼频率和每个预设闭眼状态对应的持续时长，确定所述飞行员的第一疲劳指数；
其中，所述系统还包括：机身传感器，设置于所述飞行员所处飞机的机身上，用于获取所述飞机的机身活动信息，其中，所述处理器与所述机身传感器相连接，用于基于所述机身活动信息对所述头部活动信息进行校正处理；
其中， 所述处理器还用于：依据经过校正处理后的所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数；
其中，所述第二疲劳指数是综合同时间维度上所述惯性传感器在水平、垂直以及纵轴三维轴向上的加速度值所确定的，所述第二疲劳指数基于预定算法进行学习训练得到的预定公式得到，所述预定公式为
Figure DEST_PATH_IMAGE002A
，所述
Figure 374386DEST_PATH_IMAGE004
为在水平轴上的加速度值，所述
Figure DEST_PATH_IMAGE009
为在垂直轴上的加速度值，所述
Figure 717292DEST_PATH_IMAGE008
为在纵轴上的加速度值；
其中，所述处理器还用于：依据所述第一疲劳指数确定眼部疲劳等级；依据第二疲劳指数确定头部疲劳等级；依据眼部疲劳等级和头部疲劳等级，确定所述飞行员最终的疲劳等级。
4.根据权利要求3所述的系统，其特征在于，所述系统还包括：
提示装置，与所述处理器相连接，用于在所述处理器判断出所述飞行员的疲劳等级超过预设等级的情况下，发送用于提示飞行员处于疲劳状态的信息。
5.根据权利要求4所述的系统，其特征在于，所述系统还满足以下任意之一的技术特征；
所述惯性传感器的总重量小于100g；
所述摄像装置的总重量小于100g；
所述摄像装置的图像采集速度大于10帧/秒；
所述摄像装置所采集的图像像素大于160*120。
6.一种疲劳检测头盔，其特征在于，所述头盔包括疲劳检测系统，其中，所述疲劳检测系统为权利要求3至5中任一项所述的疲劳检测系统。
7.一种疲劳检测装置，其特征在于，所述装置包括：
眼部疲劳检测模块，用于采集飞行员的眼部活动图像，并依据眼部活动图像确定所述飞行员的第一疲劳指数；
头部疲劳检测模块，用于采集飞行员的头部活动信息，并依据头部活动信息确定所述飞行员的第二疲劳指数；
信息处理模块，用于依据所述第一疲劳指数和所述第二疲劳指数，确定所述飞行员的疲劳等级；
其中，所述眼部疲劳检测模块包括：眼部图像信息采集子模块，用于无间断地采集飞行员的眼部活动图像，其中，所述眼部图像信息采集子模块设置于所述飞行员头盔内侧的眼部水平线的左前侧和/或右前侧；
其中，所述头部疲劳检测模块包括：头部加速度采集子模块，用于采集飞行员的头部活动信息，其中，所述头部疲劳检测模块与所述飞行员头盔的可活动区域固定连接；
其中，所述头部疲劳检测模块还用于：依据所述飞行员的头部活动信息，确定所述飞行员的第二疲劳指数：依据所述飞行员的头部活动信息，确定所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度；依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数；
其中，所述多个预设方向上的活动角度对应的角加速度包括：水平轴向加速度，垂直轴向加速度，纵轴向加速度；
其中，所述眼部疲劳检测模块还用于：识别所述眼部活动图像中的眨眼动作和多个预设闭眼状态；确定所述飞行员的眨眼频率和所述飞行员处于每个预设闭眼状态的持续时长；依据所述眨眼频率和每个预设闭眼状态对应的持续时长，确定所述飞行员的第一疲劳指数；
其中，所述头部疲劳检测模块还用于：依据所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数包括：获取所述飞行员所处飞机的机身活动信息；依据所述飞行员所处飞机的机身活动信息，确定所述飞机在多个预设方向上的活动角度和所述活动角度对应的角加速度；基于所述飞机在多个预设方向上的活动角度和所述活动角度对应的角加速度，对所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度进行校正处理；依据经过校正处理后的所述飞行员在多个预设方向上的活动角度和所述活动角度对应的角加速度，确定所述飞行员的第二疲劳指数；
其中，所述第二疲劳指数是综合同时间维度上惯性传感器在水平、垂直以及纵轴三维轴向上的加速度值所确定的，所述第二疲劳指数基于预定算法进行学习训练得到的预定公式得到，所述预定公式为
Figure DEST_PATH_IMAGE002AA
，所述
Figure 106817DEST_PATH_IMAGE004
为在水平轴上的加速度值，所述
Figure 859616DEST_PATH_IMAGE009
为在垂直轴上的加速度值，所述
Figure 798622DEST_PATH_IMAGE008
为在纵轴上的加速度值；
其中，所述信息处理模块还用于：依据所述第一疲劳指数确定眼部疲劳等级；依据第二疲劳指数确定头部疲劳等级；依据眼部疲劳等级和头部疲劳等级，确定所述飞行员最终的疲劳等级。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至2中任意一项所述的疲劳检测方法。
9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至2中任意一项所述的疲劳检测方法。
CN201910221226.7A 2019-03-22 2019-03-22 疲劳检测方法、装置、系统及疲劳检测头盔 Active CN110063734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910221226.7A CN110063734B (zh) 2019-03-22 2019-03-22 疲劳检测方法、装置、系统及疲劳检测头盔

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910221226.7A CN110063734B (zh) 2019-03-22 2019-03-22 疲劳检测方法、装置、系统及疲劳检测头盔

Publications (2)

Publication Number Publication Date
CN110063734A CN110063734A (zh) 2019-07-30
CN110063734B true CN110063734B (zh) 2022-10-04

Family

ID=67366490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910221226.7A Active CN110063734B (zh) 2019-03-22 2019-03-22 疲劳检测方法、装置、系统及疲劳检测头盔

Country Status (1)

Country Link
CN (1) CN110063734B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111264964A (zh) * 2020-03-12 2020-06-12 中国人民解放军第四军医大学 飞行员疲劳情况自动调整系统
CN111450380A (zh) * 2020-03-30 2020-07-28 重庆大学 基于近红外脑功能成像的驾驶疲劳智能检测警示唤醒系统
CN113807610B (zh) * 2021-10-09 2023-07-25 中国民航科学技术研究院 一种飞行疲劳预测方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875642A (zh) * 2018-06-21 2018-11-23 长安大学 一种多指标融合的驾驶员疲劳检测的方法
CN108961681A (zh) * 2018-07-23 2018-12-07 奇瑞汽车股份有限公司 疲劳驾驶提醒方法、装置及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204445878U (zh) * 2015-01-19 2015-07-08 北京工业大学 一种基于前额叶脑电信号、3d加速度陀螺仪的疲劳驾驶检测装置
CN105167785A (zh) * 2015-07-31 2015-12-23 深圳市前海安测信息技术有限公司 基于数字化头盔的疲劳监测及预警系统和方法
CN105096528B (zh) * 2015-08-05 2017-07-11 广州云从信息科技有限公司 一种疲劳驾驶检测方法及系统
US9701418B2 (en) * 2015-10-06 2017-07-11 Honeywell International Inc. Pilot fatigue detection system and method from aircraft control device movement
CN105488957B (zh) * 2015-12-15 2018-06-12 小米科技有限责任公司 疲劳驾驶检测方法及装置
CN105741494B (zh) * 2016-03-29 2018-06-19 浙江吉利控股集团有限公司 一种基于线下数据匹配的驾驶员疲劳监测方法
CN105931430A (zh) * 2016-05-25 2016-09-07 惠州华阳通用电子有限公司 用于驾驶员状态预警系统的报警灵敏度检测方法及装置
CN106228821A (zh) * 2016-07-29 2016-12-14 泽交通工程咨询（上海）有限公司 高危车辆疲劳驾驶综合监测及安全防控方法
CN107392153B (zh) * 2017-07-24 2020-09-29 中国科学院苏州生物医学工程技术研究所 人体疲劳度判定方法
CN107491769A (zh) * 2017-09-11 2017-12-19 中国地质大学（武汉） 基于AdaBoost算法的疲劳驾驶检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875642A (zh) * 2018-06-21 2018-11-23 长安大学 一种多指标融合的驾驶员疲劳检测的方法
CN108961681A (zh) * 2018-07-23 2018-12-07 奇瑞汽车股份有限公司 疲劳驾驶提醒方法、装置及存储介质

Also Published As

Publication number Publication date
CN110063734A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
US11150469B2 (en) Method and device for eye tracking using event camera data
US10569650B1 (en) System and method to monitor and alert vehicle operator of impairment
CN110063734B (zh) 疲劳检测方法、装置、系统及疲劳检测头盔
CN110167823B (zh) 用于驾驶员监测的系统和方法
US10168778B2 (en) User status indicator of an augmented reality system
US9763614B2 (en) Wearable device and system for monitoring physical behavior of a vehicle operator
CN112016457A (zh) 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
KR20130031120A (ko) 올바른 기기사용자세 유도 장치 및 방법
JP7146087B2 (ja) ニューラルネットワークのトレーニング方法、視線追跡方法及び装置並びに電子機器
US9811993B2 (en) Vehicle operator impairment detection system and method
US11112602B2 (en) Method, apparatus and system for determining line of sight, and wearable eye movement device
US10634914B1 (en) Information handling system head-mounted display critical situation context through tactile modalities
US20180314092A1 (en) Vehicle Mounted Virtual Visor System and Method Thereof
JP2022519001A (ja) ユーザが視覚行動モニタを装着しているか否かを検出するシステム
US11402901B2 (en) Detecting eye measurements
WO2021019360A1 (ja) 疲労度評価システム、および疲労度評価装置
CN115393383A (zh) 一种基于场景识别判断用眼健康度的近视防护智能眼镜
CN107105215A (zh) 呈现图像的方法和显示系统
US11704814B2 (en) Adaptive eye tracking machine learning model engine
US20190149777A1 (en) System for recording a scene based on scene content
JP2018075255A (ja) 状態推定装置、及び状態推定方法
JP2020177303A (ja) 監視システム、移動体、監視方法及びプログラム
Mohan et al. Eye Gaze Estimation Invisible and IR Spectrum for Driver Monitoring System
CN117530201A (zh) 可穿戴式头部眼动追踪设备、方法、处理设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant