CN108446673A - 一种基于面部识别的管制员疲劳预警方法 - Google Patents

Abstract

本发明涉及一种基于面部识别的管制员疲劳预警方法，属于空管疲劳程度监测方法技术领域。本方法通过利用日渐成熟的面部识别技术，对管制员的面部实时状态进行自动检测；再结合理论与管制实际提出基于面部识别的空管疲劳的合理评价方法，根据面部识别确定管制员的疲劳状态。本方法用于实时监测管制员工作疲劳的程度。

Description

一种基于面部识别的管制员疲劳预警方法

技术领域

本发明涉及一种基于面部识别的管制员疲劳预警方法，属于空管疲劳程度监测方法技术领域。

背景技术

民航空中交通管制员(下文统一简称为管制员)是专门负责空中交通管制的特业人员，其核心的工作是坐在雷达前，通过雷达屏幕显示的实时信息，密切注意每一架航空器的飞行动态，通过航空无线电通信设备向飞行机组发布各种指令，包括飞行高度层、速度和航向等，以维持负责管辖范围内的航空器能够有序、安全及快速地爬升、下降或平飞。

特殊的工作性质，决定了管制员在工作的时候要保持高水平的注意力。据统计，在空域繁忙时，需要同时监视、管制十几架甚至更多的航空器，并且必须重视注意航空器的每一个飞行细节，哪怕任何的失误或者错误都可能造成航空安全的隐患，甚至造成不可估量的事故后果。据民航事故统计报告表明:在人的因素、机械故障的因素和天气的因素等三类主要造成航空事故的原因中，人的因素比例占到80％左右。值得我们引起注意的是，因管制员疲劳造成的事故征候和事故在人为因素造成的事故中占据很高的比重(15％左右)。

究其原因，管制员在工作的同时，不可避免的会产生包括肢体、视力、听力、心理等疲劳状况。这些疲劳状况的产生会使管制员的兴奋程度降低，注意力很难集中；同时管制员的情境意识、应变能力也会下降，从而埋下安全隐患。所以，检测管制员的疲劳状况，对保证飞行正常及安全风险的评估具有重要的意义。

发明内容

针对上述问题，本发明提出了一种基于面部识别的管制员疲劳预警方法，用于实时监测管制员工作疲劳的程度。

本发明为解决其技术问题采用如下技术方案：

一种基于面部识别的管制员疲劳预警方法，包括如下步骤：

(1)通过所述面部图像采集模块采集人脸图像，分离人脸和背景，检测人脸图像即实现快速人景分离，将采集的面部图像并发送给定位模块；

(2)通过所述的定位模块接受采集的面部图像，将人脸图像分割成为许多小块面积，每一块面积对应相应的阈值；按照从外围向内侧搜寻的方法，不断的按圈数搜寻人脸，当未达到人脸灰度级别，即赋值为变黑色，当灰度值达到人脸级别灰度级后，将小块面积进行数值的统计，中断其赋值，然后发送给图像预处理模块，最终将属于值为的黑色格子边缘线性连接；

(3)所述图像预处理模块将接受采集的面部图像采用中值滤波去噪，然后采用基于像素点数确定阈值的二值化方法；

(4)所述状态分析模块下通过眼睛的闭合度、口的闭合度、脸部上下左右旋转的角度、脸部偏离中心的水平位置和眼球的位置综合评价而得出的管制员疲劳状态。

步骤(1)通过所述面部图像采集模块采集人脸图像的具体过程如下：将一幅幅静态的画面直接做处理，将人脸信息和画面中其它不相关的信息加以区分，通过人脸和背景对外界光线的反射差异来将人脸从背景中分割出来。

步骤(3)所述图像预处理模块将接受采集的面部图像进行预处理的过程，按照如下方法建立：

运用贝叶斯分类算法进行管制员面部图像预处理，当属性值为m时，该数据图片库就是包含了m维的特征向量，用向量表述，即：X＝{x₁,x₂,...,x_n}，假定有n个类，分别用C1,C2,...,Cn表示；当不属于该向量集合的值出现，这个值用X表示：

P(Ci|X)＞P(Cj|X)1≤j≤m,j≠i

P(Ci|X)能够转化P(X|Ci)P(Ci)，即后验概率转为先验，P(X|Ci)为在第i类向量集合下特征向量X的概率，P(Ci)为第i类向量集合出现的概率，P(Cj|X)为第j个向量集合值；

贝叶斯公式：若B₁,B₂...为一系列互不相容事件，且

P(B_i)＞0,i＝1,2,...

其中：B_i为i个互不相容事件，Ω为事件全集，P(B_i)为每一事件可能出现的概率；

则对任一事件A，有

其中：P(A|B_i)为事件A在事件B_i当中出现的概率，P(A|B_k)为事件A在事件B_k当中出现的概率，B_k为k个互不相容事件，P(B_k)为事件B_k可能出现的概率，P(B_i|A)为为事件B_i在事件A当中出现的概率；

对于命名为G的灰度图像，寻找上面任何一点(i,j),都能以此点作为一个中心，计算以之为中心周围相邻的点的灰度值，以求得相邻点的灰度值的最小灰度值和最大灰度值；通过中心点灰度值与最小灰度值和最大灰度值做差进行比较，若前者大，则可认为(i,j)取自背景，若后者大，则认为(i,j)取自非背景。

步骤(4)通过脸部偏离中心的水平位置判断管制员疲劳状态的具体方法如下：根据脸部各特征点距离图像中心位移变化的判断，若脸部偏离中心距离过大，则说明管制员出现注意力分散情况。

步骤(4)通过眼球的位置判断管制员疲劳状态的具体方法如下：疲劳时眼球的位置一般向下倾斜，无法保持向中间集中注意力，疲劳时，上眼睑下垂明显但下眼睑无动作，所以虹膜被上眼睑遮盖的部分往往大于被下眼睑遮盖的部分。

本发明的有益效果如下：

本发明将日渐完善的面部识别技术应用于空中交通管制员疲劳检测研究中，构建了管制员面部状态采集方法，能够准确的以静态方式提取出管制员实时的面部状态；结合理论与管制实际提出基于面部识别的空管疲劳的合理评价方法，根据面部识别确定管制员的疲劳状态；最后当分析出管制员出现疲劳情况时，系统对其预警并辅助管制员发布调配指令，尽量避免因此产生的不安全事件。

附图说明

图1为本发明的总体流程示意图。

图2为进行面部识别的流程示意图。

图3为面部定位的流程示意图。

图4为图像预处理模型示意图。

图5为管制员疲劳状态分析示意图。

具体实施方式

下面结合附图对本发明做更进一步的解释。

本发明的一种基于面部识别的管制员疲劳预警方法，如图1所示，包括面部图像采集模块、定位模块、图像预处理模块、状态分析模块；

面部图像采集模块

面部图像采集模块是通过分离人脸，因为人脸和背景等存在灰度上的差异，包括毛发等都归类为背景。检测人脸图像即实现快速人景分离。将采集的面部图像并发送给定位模块；

如图2所示，其具体实施方案如下：

首先是，Adaboost算法的运行流程包括两个步骤：首先，弱学习算法的寻找；其次，确定一个人脸训练集{(x₁,y_l),(x₂,y₂),......(x_n,y_n)}，其中：x₁为训练样本向量1，x₂为训练样本向量2，x_n为训练样本向量n，y_l为判断向量1，y₂为判断向量2，y_n为判断向量n，用来记录是否是人脸区域，因为人脸检测只要研究判断已知区域是否包含人脸，所以y_l∈{-1,1}。-1表示非人脸区域；1表示人脸区域。在Adaboost算法初始化时，就要对每一个训练样本给定一个权重，表示参入训练集中某个分量分类器训练的概率。

然后是，Adaboost算法是迭代算法，每次迭代结束都会重新分配样本训练权重，尤其会增加错误样本的权重。在每一轮训练结束后，如果样本点贡献度较大，表明被合理的分类了，在下一次训练时就相应降低；如果样本点训练失败，下一轮其权重就要增加。通过这样训练，能发现学习中那些较难的样本，便于强分类器的建立，顺利完成目标检测，提高分类精度与稳定性。

Adaboost算法介绍如下：

初始化权重w_1,i＝D(i)，D(i)＝1/2m或者D(i)＝1/2p，其中m表示真样本(人脸)数目，p表示假样本(非人脸)数目，总样本数n＝m+p。对于t＝1,2,...,T，在T轮循环训练中，对所有样本权重进行归一化其中：W_t,j为样本归一化权重，w_t,j为样本初始化权重，通过循环计算得到最终强分类器：其中，h(x)为第t轮的分类能力，T为循环轮数，β_t为一个系数，ε_t为错误率最小误差，从上式中可以知道α_t是关于ε_t的递减函数，随着ε_t减小α_t反而增大，也就是对h_t分类能力增强。

定位模块

如图3所示，定位模块通过接受采集的面部图像，将人脸图像分割成为许多小块面积，每一块面积对应相应的阈值。按照从外围向内侧搜寻的方法，不断的按圈数搜寻人脸。当未达到人脸灰度级别，即赋值为变黑色。当灰度值达到人脸级别灰度级后，将小块面积进行数值的统计，中断其赋值，将管制员脸部定位。

对于管制员的人眼而言，Haar特征又叫矩形特征附属于分类器中，用来训练人眼样本和非人眼样本。适当的选取人眼Haar特征，尽可能的准确的描述人眼特点，对是否能准确快速检测人眼有决定性影响。利用眼部区域独有的特征：眼球在直视的时候中间黑两侧白；眼睛和眉毛组成的区域有中间白上下黑的特点，因此，系统选择了5种Haar特征模板作用于人眼样本的训练。

图像预处理模型

如图4所示，运用贝叶斯分类算法进行管制员面部图像预处理，当属性值为m时，该数据图片库就是包含了m维的特征向量，可以用向量表述。即：X＝{x₁,x₂,...,x_n}，假定有n个类，分别用C1,C2,...,Cn表示。当不属于该向量集合的值出现，这个值用X表示：

P(Ci|X)＞P(Cj|X)1≤j≤m,j≠i

P(X)是一常数量，P(Ci|X)能够转化P(X|Ci)P(Ci)，即后验概率转为先验，P(X|Ci)为在第i类向量集合下特征向量X的概率，P(Ci)为第i类向量集合出现的概率。P(Cj|X)为第j个向量集合值。

贝叶斯公式：若B₁,B₂...为一系列互不相容事件，且

P(B_i)＞0,i＝1,2,...

其中：B_i为i个互不相容事件，Ω为事件全集，P(B_i)为每一事件可能出现的概率。

则对任一事件A，有

其中：P(A|B_i)为事件A在事件B_i当中出现的概率，P(A|B_k)为事件A在事件B_k当中出现的概率，B_k为k个互不相容事件，P(B_k)为事件B_k可能出现的概率，P(B_i|A)为为事件B_i在事件A当中出现的概率。

对于命名为G的灰度图像，寻找上面任何一点(i,j),都能以此点作为一个中心，计算以之为中心周围相邻的点的灰度值，以求得相邻点的灰度值的最小灰度值和最大灰度值。通过中心点灰度值与最小灰度值和最大灰度值做差进行比较，若前者大，则可认为(i,j)取自背景，若后者大，则认为(i,j)取自非背景。

显然积分图像有两个特点：

1、数据呈递增状；

2、若图像的大小固定，那么积分图像的计算时间一定。

状态分析模块

如图5所示，状态分析模块下的管制员疲劳状态是由多项参数综合评价而得出的。此处列出主要的参数评判(除以下列举外还有部分小参数参与评价体系)：(1)眼睛的闭合度，疲劳时的眼部特征表现为：眼睛出现闭合趋势，睁开程度变小，眨眼速度变慢，眼球活跃程度下降且目光呆滞，甚至出现较长时间持续闭眼；(2)口的闭合度，通过管制员嘴巴坐标点的值和标准态比较，满足差异化值不超过该人此状态下的某一定的范围值，再检测若干顿图像中是否顿的数目达到一定程度，这个类疲劳状态是否处于持续，如果时间较短，也不能判别，因为存在笑与说话的状态，如果持续时间长，则能判别为疲劳；(3)脸部上下左右旋转的角度，如果长时间持续保持脸部不动，则表示人在工作状态下思维不够活跃，较为疲劳；(4)脸部偏离中心的水平位置，根据脸部各特征点距离图像中心位移变化的判断，若脸部偏离中心距离过大，则说明管制员出现注意力分散等情况；(5)眼球的位置，疲劳时眼球的位置一般向下倾斜，无法保持向中间集中注意力，疲劳时，上眼睑下垂明显但下眼睑无动作，所以虹膜被上眼睑遮盖的部分往往大于被下眼睑遮盖的部分。

管制员疲劳判定是综合多项参数评价得出的，由以上五项为主又不全由此五项评价。当系统判定当前管制员出现疲劳状态，共分为五个等级，若达到三级疲劳及以上，该系统发出报警，提示当前管制员换岗休息。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于面部识别的管制员疲劳预警方法，其特征在于：包括如下步骤：

(1)通过面部图像采集模块采集人脸图像，分离人脸和背景，检测人脸图像即实现快速人景分离，将采集的面部图像并发送给定位模块；

(2)通过所述的定位模块接受采集的面部图像，将人脸图像分割成为许多小块面积，每一块面积对应相应的阈值；按照从外围向内侧搜寻的方法，不断的按圈数搜寻人脸，当未达到人脸灰度级别，即赋值为变黑色，当灰度值达到人脸级别灰度级后，将小块面积进行数值的统计，中断其赋值，然后发送给图像预处理模块，最终将属于值为的黑色格子边缘线性连接；

(3)所述图像预处理模块将接受采集的面部图像采用中值滤波去噪，然后采用基于像素点数确定阈值的二值化方法；

(4)状态分析模块下通过眼睛的闭合度、口的闭合度、脸部上下左右旋转的角度、脸部偏离中心的水平位置和眼球的位置综合评价而得出的管制员疲劳状态。

2.根据权利要求1所述的一种基于面部识别的管制员疲劳预警方法，其特征在于，步骤(1)通过所述面部图像采集模块采集人脸图像的具体过程如下：将一幅幅静态的画面直接做处理，将人脸信息和画面中其它不相关的信息加以区分，通过人脸和背景对外界光线的反射差异来将人脸从背景中分割出来。

3.根据权利要求1所述的一种基于面部识别的管制员疲劳预警方法，其特征在于步骤(3)所述图像预处理模块将接受采集的面部图像进行预处理的过程，按照如下方法建立：

运用贝叶斯分类算法进行管制员面部图像预处理，当属性值为m时，该数据图片库就是包含了m维的特征向量，用向量表述，即：X＝{x₁,x₂,...,x_n}，假定有n个类，分别用C1,C2,...,Cn表示；当不属于该向量集合的值出现，这个值用X表示：

P(Ci|X)＞P(Cj|X)1≤j≤m,j≠i

P(Ci|X)能够转化P(X|Ci)P(Ci)，即后验概率转为先验，P(X|Ci)为在第i类向量集合下特征向量X的概率，P(Ci)为第i类向量集合出现的概率，P(Cj|X)为第j个向量集合值；

贝叶斯公式：若B₁,B₂...为一系列互不相容事件，且

P(B_i)＞0,i＝1,2,...

其中：B_i为i个互不相容事件，Ω为事件全集，P(B_i)为每一事件可能出现的概率；则对任一事件A，有

其中：P(A|B_i)为事件A在事件B_i当中出现的概率，P(A|B_k)为事件A在事件B_k当中出现的概率，B_k为k个互不相容事件，P(B_k)为事件B_k可能出现的概率，P(B_i|A)为为事件B_i在事件A当中出现的概率；

对于命名为G的灰度图像，寻找上面任何一点(i,j),都能以此点作为一个中心，计算以之为中心周围相邻的点的灰度值，以求得相邻点的灰度值的最小灰度值和最大灰度值；通过中心点灰度值与最小灰度值和最大灰度值做差进行比较，若前者大，则可认为(i,j)取自背景，若后者大，则认为(i,j)取自非背景。

4.根据权利要求1所述的一种基于面部识别的管制员疲劳预警方法，其特征在于，步骤(4)通过脸部偏离中心的水平位置判断管制员疲劳状态的具体方法如下：根据脸部各特征点距离图像中心位移变化的判断，若脸部偏离中心距离过大，则说明管制员出现注意力分散情况。

5.根据权利要求1所述的一种基于面部识别的管制员疲劳预警方法，其特征在于，步骤(4)通过眼球的位置判断管制员疲劳状态的具体方法如下：疲劳时眼球的位置一般向下倾斜，无法保持向中间集中注意力，疲劳时，上眼睑下垂明显但下眼睑无动作，所以虹膜被上眼睑遮盖的部分往往大于被下眼睑遮盖的部分。