CN108304764B - 模拟飞行驾驶过程中疲劳状态检测装置及检测方法 - Google Patents

Abstract

本发明涉及飞行模拟驾驶领域，具体涉及模拟飞行驾驶过程中疲劳状态检测装置及检测方法。所述方法包括步骤：(1)人脸定位与眼睛定位；(2)在定位到人眼的基础上，检测当前时间段内驾驶员眼睛的闭合状态，检测驾驶员的疲劳。本发明针对飞行模拟舱的特定环境下，通过前置摄像头模式对驾驶员的面部图像进行捕捉，对人脸疲劳检测。光源与前置摄像头实现自适应调节，更加合理的有效的采集人脸及眼部图像数据。疲劳检测算法对疲劳进行判定，具有速度快，准确性强的特点。设备操作简单、经济实用、不需要特定的额外操作步骤、对被试者的身体没有伤害。

Description

模拟飞行驾驶过程中疲劳状态检测装置及检测方法

技术领域

本发明涉及飞行模拟驾驶领域，具体涉及模拟飞行驾驶过程中疲劳状态检测装置及检测方法。

背景技术

近年来，全球科技都在飞速的发展，越来越多的高新科学技术也应用到了民航客机上，无论是从外形设计的美观程度还是航空器内部空间的舒适程度都达到了很高的设计标准，但是人们往往最关心的还是安全问题。

与公路安全事故、铁路安全事故比较起来，人们往往更加关注航空安全事故，驾驶舱环境与飞行安全有着非常密切的关系，机组协调配合的好坏是驾驶舱环境的指示器；飞行员的个人认识、心理素质、个人身体状况等是影响驾驶舱环境的一些因素。改善模拟舱的模拟设备及训练方法、增加疲劳检测准确率、加强心理素质的训练等是改善飞行安全问题的有效措施。

疲劳是指由于持续地进行体力和脑力劳动而造成的生理和心理的失调。人在疲劳状态下，其反应就会变得迟钝，对身体的控制能力会下降。现在的疲劳检测有很多方法，应用场景也各式各样，如基于脑电波的一体结构的疲劳检测反馈器，通过汽车行驶轨迹来对驾驶员进行疲劳检测，及通过图像处理方式的驾驶员的疲劳检测车载预警器等。飞行疲劳的检测是通过操作绩效的下降即让驾驶员长时间的模拟驾驶以达到疲劳的状态，根据绩效下降水平来判断疲劳。

由于不同的人的疲劳状态生理反应是不同的，还有就是模拟机舱需要真实的模拟飞行的实际环境，比如长期的昼夜交替，不同的光照环境的照射等。航空器飞行过程中大部分信息都来自飞行员的视觉系统，航空器驾驶舱的光环境会对飞行安全造成很大的影响，不利的光环境会造成误警和虚警率的提高。针对模拟舱模拟飞行的实际光线影响，及飞行的时间较长的特点，现有检测方法大都会出现准确性不够，长时间的红外照射或者脑电波检测等会对被试者身体造成不可预知的伤害。

现有飞行疲劳检测方法的缺点是对疲劳检测结果不准确、检测时间过长、装置复杂、长时间的检测脑电波容易对人身体造成不可知的危害、方法及应用场景不适合模拟飞行机舱的特殊环境。

发明内容

本发明针对模拟驾驶舱的实际环境，通过结合环境光检测的图像处理以及模式识别算法，检测人眼部变化以及检测模拟仪表操作过程相结合的方法，合理有效的对被试者的疲劳状态进行检测。

本发明的目的是提供一种模拟飞行驾驶中的疲劳检测方法。

本发明的再一目的是提供模拟驾驶舱中对被测试者在模拟飞行过程中疲劳状态检测与记录装置。

根据本发明的模拟飞行驾驶过程中疲劳状态检测方法包括步骤：

(1)人脸定位与眼睛定位，先抽取灰度图像中人眼的Haar特征，然后以overlap的方式在人脸图像中取到可能包含人眼的图块，通过Adaboost算法判定图块所含内容是否包含人眼，从而实现人眼检测；

(2)在定位到人眼的基础上，检测当前时间段内驾驶员眼睛的闭合状态，检测驾驶员的疲劳，

其中，疲劳检测算法如下：

(2-1)获取一帧图像，计算图像中被检测者的眼睛高度H，并记录当前时间T1；

(2-2)通过门限阈值0.7NH进行判断，其中NH为眼睛的正常高度，当眼睛高度H≥0.7NH时，舍弃该帧图像，获取下一帧并重新就行阈值判断；

(2-3)当H<0.7NH时，获取下一帧图像，计算图中被检测者眼睛高度H，并记录当前时间T2；

(2-4)经过前三步骤处理的图片，通过门限阈值0.2NH进行二次判断，当0.2NH≤H≤0.7NH时，重复进行步骤(2-3)，当H>0.7NH时，从步骤(2-1)重新开始计算；

(2-5)当H<0.2NH时，获取下一帧图像，计算图像中眼睛高度H，并获取当前时间T3；

(2-6)对H进行判断，当H<0.2NH时，重复步骤(2-5)，重新开始计算；

(2-7)当H>0.2NH时，获取下一帧图像，计算图像中眼睛高度H，并获取当前时间T4；

(2-8)对H进行阈值判断，当H>0.2NH时，重复步骤(2-7)，重新开始计算，当H>0.7NH时，重复步骤(2-1)，重新开始计算；

(2-9)当H>0.7NH时，通过公式P＝(T3-T2)÷(T4-T1)计算得到P值，当P<0.8判断为疲劳。

根据本发明的具体实施方式，通过模拟驾驶舱操作台进行相应的模拟飞行操作，为飞行模拟驾驶人员设计一种模拟飞行驾驶中的疲劳检测方法。本发明疲劳检测方法主要包括以下步骤：脸定位、眼睛定位，以及疲劳检测，其中，

(1)人脸定位与眼睛定位基于Adaboost算法进行，首先，用公式Gray＝(R*299+G*587+B*114+500)/1000对原始图像进行灰度化。再对灰度图像进行Haar特征值的计算，Haar特征分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。但矩形特征只对一些简单的图形结构，如边缘、线段较敏感，所以只能描述特定走向(水平、垂直、对角)的结构。

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特征，并放在关键的训练数据上面

本方法先抽取灰度图像中人眼的Haar特征，然后以overlap的方式在人脸图像中取到可能包含人脸的图块，通过Adaboost算法判定图块所含内容是否人眼，从而实现人眼检测。

(2)在定位到人眼的基础上，检测当前时间段内驾驶员眼睛的闭合状态，利用计算疲劳检测值，根据本发明的疲劳检测方法。

根据本发明的模拟飞行驾驶过程中疲劳状态检测装置包括：

飞行场景模拟操作台，所述飞行场景模拟操作台包括：屏幕，操作摇杆、仪表按钮操作区，用于模拟飞行过程中正常的操作；

前置摄像头、光源和计算机，其中，所述前置摄像头固定于屏幕右侧，光源在屏幕上方，所述前置摄像头对脸部图像进行采集，光源与计算机连接，计算机接收来前置自摄像头采集的图像，对图像进行直方图统计，如果直方图峰值偏左，则提高光源亮度，如果直方图峰值偏右，则降低光源亮度，将图像直方图保持在一个正确的位置，实现自适应调节功能；

嵌入式ARM处理器，所述前置摄像头、所述飞行场景模拟操作台的各个设备连接到所述嵌入式ARM处理器，通过处理器进行数据分析及告警操作，仪表按钮操作区的响应指示灯，通过人眼检测算法检测疲劳，对疲劳检测的结果进行提醒及最终判断等级，执行相应的告警操作及OUT处理，

其中，所述人眼检测算法包括步骤：

(1)获取一帧图像，计算图像中被检测者的眼睛高度H，并记录当前时间T1；

(2)通过门限阈值0.7NH进行判断，其中NH为眼睛的正常高度，当眼睛高度H≥0.7NH时，舍弃该帧图像，获取下一帧并重新就行阈值判断；

(3)当H<0.7NH时，获取下一帧图像，计算图中被检测者眼睛高度H，并记录当前时间T2；

(4)经过前三步骤处理的图片，通过门限阈值0.2NH进行二次判断，当0.2NH≤H≤0.7NH时，重复进行步骤(3)，当H>0.7NH时，从步骤(1)重新开始计算；

(5)当H<0.2NH时，获取下一帧图像，计算图像中眼睛高度H，并获取当前时间T3；

(6)对H进行判断，当H<0.2NH时，重复步骤(5)，重新开始计算；

(7)当H>0.2NH时，获取下一帧图像，计算图像中眼睛高度H，并获取当前时间T4；

(8)对H进行阈值判断，当H>0.2NH时，重复步骤(7)，重新开始计算，当H>0.7NH时，重复步骤(1)，重新开始计算；

(9)当H>0.7NH时，通过公式P＝(T3-T2)÷(T4-T1)计算得到P值，当P<0.8判断为疲劳。

根据本发明的具体实施方式，所述模拟飞行过程中疲劳状态的检测与记录装置包括：

前置摄像头，光源，其中，所述前置摄像头固定于屏幕右侧，光源在屏幕上方(即飞行员的屏幕的右上方45°)的位置，前置摄像头和光源在同一个方向。所述前置摄像头对脸部图像进行采集，所述光源同所述前置摄像头实现自适应调节功能，该功能由前置摄像头、计算机与光源配合实施，光源通过USB接口与计算机连接，计算机接收来前置自摄像头采集的图像，对图像进行直方图统计，如果直方图峰值偏左，则提高光源亮度，如果直方图峰值偏右，则降低光源亮度，将图像直方图保持在一个正确的位置，通过调节相应的光照强度，增加特定模拟飞行过程中白天黑夜情况下检测的稳定性与准确性。

飞行场景模拟操作台，所述飞行场景模拟操作台包括：屏幕，操作摇杆、仪表按钮操作区，用于模拟飞行过程中正常的操作，驾驶员在航空飞行过程中，针对模拟器模拟的航空环境。

嵌入式ARM处理器，所述前置摄像头、所述飞行场景模拟操作台的各个设备连接到内置的所述嵌入式ARM处理器，通过处理器进行数据分析及告警操作，仪表操作区的响应指示灯，对之前的疲劳结果进行提醒及最终判断等级，执行相应的告警操作及OUT处理。

例如，根据本发明的具体实施方式，所述仪表按钮操作区相应的按钮通过CAN总线连接到ARM嵌入式处理器。飞行场景模拟操作台上的一排指示灯(共7个，从中间向两边依次标号为1到4，指示灯材质亮度不同，中间最亮为1号，两边亮度依次递减)用来进行二次疲劳判断。当通过人眼检测算法检测到疲劳发生时，根据疲劳等级相应的指示灯闪烁，驾驶员通过对应的操作指示灯对应的操作按钮来关闭指示灯。不同等级指示灯设有不同的疲劳响应时间，通过P值大小将疲劳总共分为四个等级：0～0.2为深度疲劳，对应中间1号最亮指示灯，所需响应时间为1s中；0.2～0.4为中度疲劳，对应2号指示灯，响应时间为2s；0.4～0.6范围为次轻量级疲劳，对应3号指示灯，响应时间为3s；0.6～0.8为轻度疲劳，对应4号指示灯，响应时间为4s。根据不同疲劳等级设计对应响应时间指示灯，可以合理有效的检测飞行员的疲劳状态。因此，本发明的检测方法及检测装置及可应用于专业飞行学员、飞行人员的飞行训练等情境下的疲劳检测系统中。

本发明的优点：

根据本发明的技术方案能适合模拟舱中对航空器驾驶舱光环境变化的模拟场景，并能够准确的对疲劳状态进行检测及告警。

根据本发明的用于模拟驾驶舱中对被测试者在模拟飞行过程中疲劳状态的检测与记录装置满足非接触性、实时性、准确性要求，快速准确的分析被试者的疲劳状态，并进行记录功能。

针对飞行模拟舱的特定环境，通过前置摄像头模式对驾驶员的面部图像进行捕捉，检测疲劳。光源与前置摄像头实现自适应调节，更加合理有效的采集人脸及眼部图像数据。

本发明针对模拟舱的实际环境，通过采用自适应光源的图像处理，检测人脸部与模拟仪表按钮操作相结合的方法合理有效的对飞行员的疲劳状态进行检测。光源同前置摄像头自适应调节对图像采集效果更好。疲劳检测算法对疲劳进行判定，具有速度快，准确性强的特点。不同的疲劳等级处理方法更加合理及人性化，多种检测相结合使得本发明方法更具有实用价值。设备操作简单、经济实用、不需要特定的额外操作步骤、对被试者的身体没有伤害。本发明能适合模拟舱中对光照环境变化的模拟场景，并能够准确的对疲劳状态进行检测。

附图说明

图1所示为本发明设计的模拟飞行中对驾驶员进行疲劳状态检测的装置安装示意图。

图2为本发明的疲劳状态检测方法流程图。

附图标记

1-----前置摄像头，2-------光源，3------屏幕，4-----操作摇杆，5-----仪表按钮操作区

具体实施方式

实施例1

如图1所示，为用于模拟驾驶舱中对被测试者在模拟飞行过程中疲劳状态的检测与记录装置的安装示意图。安装位置如下：前置摄像头1固定在屏幕3右侧，光源2固定在飞行员的屏幕3的右上方45°，CCD摄像头对人眼及人脸进行监测，操作台由各种操作摇杆4和仪表按钮操作区5组成，在模拟飞行过程中被测试者要对屏幕中的模拟飞行场景通过操作台上相应的操作摇杆4及仪表按钮操作区5的按钮进行响应。

图2为本发明的疲劳状态检测方法流程图。模拟舱中模拟驾驶开始以后，被测试者针对模拟飞行舱屏幕上的场景进行实际模拟飞行操作，前置摄像头用来监测人的头部及脸部位置及监测人眼。通过疲劳检测算法进行疲劳判断，当有疲劳状态检测出现时，针对相应的疲劳等级指示灯是否采取了正确操作，进行最终疲劳判断，最后执行告警行为或OUT处理。

本发明疲劳检测方法主要包括人脸定位、眼睛定位、疲劳检测。人脸定位与眼睛定位基于Adaboost算法进行，即对经过处理的灰度图像进行Haar特征值的计算，通过Adaboost算法依次定位人脸位置，人眼位置。在定位到人眼的基础上，采用支持向量机的方法检测当前时间段内驾驶员眼睛的闭合状态，利用疲劳检测算法判断驾驶员是否符合疲劳特征。

根据本发明的检测方法，其中，疲劳检测算法如下：

(1)获取一帧图像，计算图像中被检测者的眼睛高度H，并记录当前时间T1。

(2)通过门限阈值0.7NH进行判断，其中NH为眼睛正常高度。当H≥0.7NH时，舍弃该帧图像，获取下一帧并重新就行阈值判断。

(3)当H<0.7NH时，获取下一帧图像，计算图中被检测者眼睛高度H，并记录当前时间T2。

(4)经过前三步骤处理的图片，通过门限阈值0.2NH进行二次判断，当0.2NH≤H≤0.7NH时，重复进行第三步。当H>0.7NH时，从第一步从新开始计算。

(5)当H<0.2NH时，获取下一帧图像，计算图像中眼睛高度H，并获取当前时间T3。

(6)对H进行判断，当H<0.2NH时，重复步骤5从新开始计算。

(7)当H>0.2NH时，获取下一帧图像，计算图像中眼睛高度H，并获取当前时间T4。

(8)对H进行阈值判断，当H>0.2NH时，重复步骤7重新开始计算。当H>0.7NH时，重复步骤1，重新开始计算。

(9)当H>0.7NH时，通过公式P＝(T3-T2)÷(T4-T1)计算得到Perclose值P，当P<0.8判断为疲劳。

模拟仪表按钮操作区相应的按钮通过CAN总线连接到ARM嵌入式处理器。操作台上的一排指示灯(共7个，从中间向两边依次标号为1到4，指示灯材质亮度不同，中间最亮为1号，两边亮度依次递减)用来进行二次疲劳判断。当通过人眼检测算法检测到疲劳发生时，根据疲劳等级相应的指示灯闪烁，驾驶员通过对应的操作指示灯对应的操作按钮来关闭指示灯。不同等级指示灯设有不同的疲劳响应时间，通过P值大小将疲劳总共分为四个等级：0～0.2为深度疲劳，对应中间1号最亮指示灯，所需响应时间为1s中；0.2～0.4为中度疲劳，对应2号指示灯，响应时间为2s；0.4～0.6范围为次轻量级疲劳，对应3号指示灯，响应时间为3s；0.6～0.8为轻度疲劳，对应4号指示灯，响应时间为4s。

Claims (2)

1.模拟飞行驾驶过程中疲劳状态检测装置，其特征在于，所述装置包括：

飞行场景模拟操作台，所述飞行场景模拟操作台包括：屏幕，操作摇杆、仪表按钮操作区，用于模拟飞行过程中正常的操作；

前置摄像头、光源和计算机，其中，所述前置摄像头固定于屏幕右侧，光源在屏幕上方，所述前置摄像头对脸部图像进行采集，光源与计算机连接，计算机接收来前置自摄像头采集的图像，对图像进行直方图统计，如果直方图峰值偏左，则提高光源亮度，如果直方图峰值偏右，则降低光源亮度，将图像直方图保持在一个正确的位置，实现自适应调节功能；

嵌入式ARM处理器，所述前置摄像头、所述飞行场景模拟操作台的各个设备连接到所述嵌入式ARM处理器，通过处理器进行数据分析及告警操作，仪表按钮操作区的响应指示灯，通过人眼检测算法检测疲劳，对疲劳检测的结果进行提醒及最终判断等级，执行相应的告警操作及OUT处理，

其中，所述人眼检测算法包括步骤：

(1)获取一帧图像，计算图像中被检测者的眼睛高度H，并记录当前时间T1；

(2)通过门限阈值0.7NH进行判断，其中NH为眼睛的正常高度，当眼睛高度H≥0.7NH时，舍弃该帧图像，获取下一帧并重新进行阈值判断；

(3)当H<0.7NH时，获取下一帧图像，计算图中被检测者眼睛高度H，并记录当前时间T2；

(4)经过前三步骤处理的图片，通过门限阈值0.2NH进行二次判断，当0.2NH≤H≤0.7NH时，重复进行步骤(3)，当H>0.7NH时，从步骤(1)重新开始计算；

(5)当H<0.2NH时，获取下一帧图像，计算图像中眼睛高度H，并获取当前时间T3；

(6)对H进行判断，当H<0.2NH时，重复步骤(5)，重新开始计算；

(7)当H>0.2NH时，获取下一帧图像，计算图像中眼睛高度H，并获取当前时间T4；

(8)对H进行阈值判断，当H>0.2NH时，重复步骤(7)，重新开始计算，当H>0.7NH时，从(1)重新开始计算；

(9)当H>0.7NH时，通过公式P＝(T3-T2)÷(T4-T1)计算得到P值，当P<0.8判断为疲劳，通过P值大小将疲劳总分为四个等级：0～0.2为深度疲劳，对应中间1号最亮指示灯，所需响应时间为1s中；0.2～0.4为中度疲劳，对应2号指示灯，响应时间为2s；0.4～0.6范围为次轻量级疲劳，对应3号指示灯，响应时间为3s；0.6～0.8为轻度疲劳，对应4号指示灯，响应时间为4s。

2.根据权利要求1所述的模拟飞行驾驶过程中疲劳状态检测装置，其特征在于，所述飞行场景模拟操作台上的共7个指示灯，从中间向两边依次标号为1到4，指示灯材质亮度不同，中间最亮为1号，两边亮度依次递减，用来进行二次疲劳判断，当通过人眼检测算法检测到疲劳发生时，根据疲劳等级相应的指示灯闪烁，驾驶员通过对应的操作指示灯对应的操作按钮来关闭指示灯，不同等级指示灯设有不同的疲劳响应时间。

Images