CN105225420A - 基于主成分分析的空中交通管制员疲劳检测方法、装置和系统 - Google Patents

Abstract

本发明提供一种空中交通管制员疲劳检测方法、装置和系统，所述方法包括：步骤1，接收实时音视频全数据采集装置获取的管制席位视频监控数据和陆空通话数据；步骤2，对所述管制席位视频监控数据和陆空通话数据进行检测分析，得到管制员疲劳指标检测数据；步骤3，利用管制员疲劳指标检测数据进行主成分分析，确定主成分后，计算当前时刻管制员疲劳度指数，若超出一定范围，则触发告警。该疲劳检测方法、装置和系统，集成了面部和语音特征，能够应用于空中交通管制领域，具有较强的实用性和可操作性。

Description

基于主成分分析的空中交通管制员疲劳检测方法、装置和系统

技术领域

本发明提供一种集成了面部和语音的空中交通管制员疲劳检测系统，属于图像处理与模式识别技术领域。

技术背景

目前，针对管制员疲劳的相关研究主要从两个方面进行，即基于面部识别的管制员疲劳检测，以及基于工作负荷评估的管制员疲劳检测。前者基于对管制员面部特征的解析，得到PERCLOS值、平均闭眼时长、哈欠频率等三个疲劳检测指标的数据，通过匹配管制员疲劳判定的三个指标所对应的阈值，对管制员疲劳进行检测。而后者基于管制员工作负荷评估研究，自20世纪70年代以来陆续演化出了三类管制员疲劳检测方法，即：(1)根据管制员生理、行为特征分析，得出管制工作负荷强度。如申请号为CN102406507B给出了一种基于人体生理信号的驾驶员疲劳监测方法，其通过采集人体生理信号，采用主成分分析方法建立权重向量，计算马氏距离，判断是否处于疲劳程度；(2)采取观察和问卷形式的主观测评方法，如ATWIT、NASA-TLX量表、SWAT量表和MCH法等；(3)将管制员工作进行细分，对于看得见的工作测计所消耗的时间，对于看不见的工作转化为时间上的消耗，以时间度量方式实现对管制员工作负荷的定量评估。此类方法包括ICAO推荐的DORATASK法和MBB法，以及RAMS法。

既有针对管制员疲劳检测的研究，主要存在以下不足：(1)研究方法方面，定性研究较多，定量研究较少，客观性不足；(2)检测指标方面，指标维度较为单一，全面性、综合性不足；(3)现有研究对所有管制员采用相同指标检测标准，忽视了疲劳指标的个体差异性，检测结果不够准确；(4)应用性方面，面向空中交通管制单位的实际工程应用少。由于上述不足，导致目前国内外对于管制员疲劳检测的研究在客观性、全面性、综合性、准确性和可操作性等方面均有所欠缺。

发明内容

为了克服现有技术中存在的缺点，本发明提供一种空中交通管制员疲劳检测方法、装置、系统，所述方法包括：步骤1，接收实时音视频全数据采集装置获取的管制席位视频监控数据和陆空通话数据；步骤2，对所述管制席位视频监控数据和陆空通话数据进行检测分析，得到管制员疲劳指标检测数据，包括：PERCLOS值、平均闭眼时长、打哈欠频率、信道占用率、通话次数、平均音频、平均音强、扇区陆空通话关键词出现率；步骤3，利用管制员疲劳指标检测数据进行主成分分析，确定主成分后，计算当前时刻管制员疲劳度指数。

优选的，接收所述管制席位视频监控数据的过程为，实时采集视频信息，进行降噪、滤波处理后，提取特征值。

优选的，提取特征值后，与视频模板库中已保存的模板数据进行匹配，从而对当前管制员的身份进行识别。

优选的，其特征在于：接收所述陆空通话数据的过程为，采用电缆线将语音信号从配线架引接至语音处理器，当检测到声音信号时，开始录音，当检测到没有声音且持续3秒，则停止录音，即完成一次录音，每完成一次录音，将声音信息以音频文件格式保存。

优选的，步骤1后还包括将所述管制席位视频监控数据和陆空通话数据进行同步的步骤，具体为：以视频数据的时间戳为时间基准，播放的过程中音频播放线程实时接收视频播放线程传输过来的当前播放时间数据，并同步调整音频播放数据，将管制席位视频监控数据和陆空通话数据进行同步播放，实现实时播放和历史回放。

优选的，步骤2中对所述管制席位视频监控数据进行检测分析，得到的管制员疲劳指标检测数据包括PERCLOS值、平均闭眼时长和打哈欠频率。

优选的，步骤2中对所述陆空通话数据进行检测分析，得到的管制员疲劳指标检测数据包括：信道占用率、通话次数、平均音频、平均音强、扇区陆空通话关键词出现率。

优选的，步骤3中包括如下步骤：

步骤3.1：选取变量

步骤2通过检测分析得到8项指标的检测数据，对其进行主成分分析，

以一定时间为时间片段，采集上述8项指标的输入值，标记当前时间片段为时间片段i，其指标数据记为：

x_i＝{x_i,j,j＝1,2,...,8}

与之前(i-1)个时间片段数据组成指标样本集，i>8；

步骤3.2：数据处理

将指标分为两类，第一类为正向指标(指标值越大表示越疲劳)，包括PERCLOS值，平均闭眼时长，打哈欠频率、扇区陆空通话关键词出现率；第二类为逆向指标(指标值越小表示越疲劳)，包括信道占用率、通话次数、平均音频、平均音强；令第i个时间片段的第j项指标的实际值为x_i,j，y_i,j为第i个时间片段(样本)无量纲化处理后的第j项指标值，为总计i个时间片段的第j项指标的均值，s_j为总计i个时间片段的第j项指标的标准差，则对于正向指标， $y_{i,j}=\frac{x_{i,j}-{\stackrel{\‾}{x}}_j}{s_j},$ 对于逆向指标，

先取其倒数或取负获得正向化过渡指标：

或x_i,j'＝-x_i,j

及其均值标准差s_j'，

再进行无量纲化处理，

步骤3.3：主成分的确定

标准化后，8项指标的协方差矩阵构成相关系数矩阵，计算相关系数矩阵的特征值λ_j并按从大到小排序，第j大的特征值λ_j所对应的特征向量ε_j，ε_j＝(ε_j,1,ε_j,2,...,ε_j,8)^T，就是指标矩阵X的第j个主成分，因此对于第i个时间片段的样本指标数据的第j个主成分表示为：

Y_i,j＝ε_j,1y_i,1+ε_j,2y_i,2+...+ε_j,8y_i,8,j＝1,2,...,8

第j个主成分的贡献率为：

$w_j=\frac{{\mathrm{\λ}}_j}{\underset{j=1}{\overset{8}{\Σ}}{\mathrm{\λ}}_j}$

取m个主成分，使累计贡献率达到80％以上：

$\underset{j=1}{\overset{m}{\Σ}}{w}_j\≥0.80$

其中，m是指主成分累计贡献率达到80％以上时对应的主成分个数；

步骤3.4：管制员疲劳度指数的计算

对于第i个时间片段的样本指标数据，结合计算得到的主成分及其贡献率计算管制员疲劳度指数：

$Y_i=\underset{j=1}{\overset{m}{\Σ}}{w_j}^{Y_{i,j}}.$

优选的，步骤4，当前时刻管制员疲劳度指数若超出一定范围，则触发告警。

所述触发告警条件为：

将各个时段的管制员疲劳度指数由大到小进行排序，若当前时间的管制员疲劳度指数处于排序结果的前20％，则触发告警。

一种空中交通管制员疲劳检测装置，包括以下模块：

接收模块，用于接收实时音视频全数据采集装置获取的管制席位视频监控数据和陆空通话数据；

检测模块，用于对所述管制席位视频监控数据和所述陆空通话数据进行检测分析，得到管制员疲劳指标检测数据；

计算模块，用于利用管制员疲劳指标检测数据进行主成分分析，确定主成分后，计算当前时刻管制员疲劳度指数；

告警模块，用于将各个时段的管制员疲劳度指数由大到小进行排序，若当前时间的管制员疲劳度指数处于排序结果的一定范围内，则触发告警。

一种空中交通管制员疲劳检测系统，包括：

管制席位实时音视频全数据采集平台：用于进行管制席位视频监控数据、陆空通话数据的采集和处理；

集成面部识别和陆空通话语音解析的管制员疲劳检测数据库：用于将管制席位实时音视频全数据采集平台采集处理的数据进行归类和保存，同时存储管制员疲劳指标检测模块计算得到的各项管制员疲劳指标检测数据，及管制员疲劳度告警模块的计算及告警结果，形成历史数据；

管制员疲劳指标检测模块：用于对管制席位实时音视频全数据采集平台采集和处理的视频监控数据、陆空通话数据进行检测分析，得到管制员疲劳指标检测数据；

管制员疲劳指标计算模块，根据集成面部识别和陆空通话语音解析的管制员疲劳检测数据库中的历史数据和当前管制员疲劳指标检测数据进行主成分分析，确定主成分后，计算当前时刻管制员疲劳度指数；

管制员疲劳度告警模块：用于将各个时段的管制员疲劳度指数由大到小进行排序，若当前时间的管制员疲劳度指数处于排序结果的一定范围内，则触发告警。本发明的有益效果：

与现有技术相比，本发明提供的集成面部和语音的疲劳检测系统，将标志管制员疲劳的面部特征、工作负荷等各指标，全面、综合地进行考虑，并采取科学的数学统计方法进行数据分析，设计合理的疲劳检测标准，具有较强的实用性和可操作性。

附图说明

图1是本发明的系统结构图；

图2是本发明的音频数据采集流程图；

图3是本发明的音视频数据同步流程图；

图4是本发明的系统网络结构图；

图5是本发明的基于主成分分析的管制员疲劳度检测及告警流程图。

具体实施方式

下面结合附图详细说明本发明。

实施例1：

图1是本发明的系统结构图，系统包括：管制席位实时音视频全数据采集平台，集成面部识别和陆空通话语音解析的管制员疲劳检测数据库，管制员疲劳指标检测模块和管制员疲劳度告警模块，根据集成面部识别和陆空通话语音解析的管制员疲劳检测数据库中的历史数据和当前管制员疲劳指标检测数据进行主成分分析，确定主成分后，计算当前时刻管制员疲劳度指数，若超出一定范围，则触发告警。

实施例2：

一种集成面部和语音的空中交通管制员疲劳检测方法，其特征在于，包括以下步骤：

步骤1，接收实时音视频全数据采集装置获取的管制席位视频监控数据和陆空通话数据，接收所述管制席位视频监控数据的过程为，实时采集视频信息，进行降噪、滤波处理后，提取特征值；接收所述陆空通话数据的过程为，采用电缆线将语音信号从配线架引接至语音处理器，当检测到系统音频通道出现声音信号时，开始录音；当检测到音频通道中没有声音持续3秒，停止录音，即完成一次录音，下一次检测到声音信号，重新录音，音频通道中没有声音信号，则不录音，每完成一次录音，将声音信息以音频文件格式保存，文件以席位名称和时标进行命名。将“席位名、音频文件名、开始时间、结束时间”记录存入数据库的音频文件信息表中，采集过程如图2所示；

步骤2，包括将所述管制席位视频监控数据和陆空通话数据进行同步的步骤，具体为：以视频数据的时间戳为时间基准，播放的过程中音频播放线程实时接收视频播放线程传输过来的当前播放时间数据，并同步调整音频播放数据，将管制席位视频监控数据和陆空通话数据进行同步播放，实现实时播放和历史回放，具体流程如图3所示；

步骤3，对所述管制席位视频监控数据和所述陆空通话数据进行检测分析，得到管制员疲劳指标检测数据；

步骤4，利用管制员疲劳指标检测数据进行主成分分析，确定主成分后，计算当前时刻管制员疲劳度指数，若超出一定范围，则触发告警。

实施例3：

一种集成面部和语音的空中交通管制员疲劳检测方法，通过8项疲劳指标对管制员疲劳程度进行检测，具体包括：通过管制席位视频监控数据对管制员进行面部表情特征的计算统计，从而分析得出PERCLOS值、平均闭眼时长和打哈欠频率的指标统计数据，对管制席位实时音视频全数据采集平台采集和处理的陆空通话数据进行检测分析得到：信道占用率、通话次数、平均音频、平均音强、扇区陆空通话关键词出现率。

其中，PERCLOS值检测采用眼睛闭合时间与60秒的比值。采用P80测量方式(眼皮盖过瞳孔的面积超过80％所占的时间比例)计算PERCLOS值。

平均闭眼时长检测方法为：设单位时间内管制员闭眼的次数为n，每次闭眼的持续时间为te_i，单位时间内管制员的总闭眼时长为te_total，管制员平均闭眼时长为te_average，则te_average＝te_total/n。

打哈欠频率检测方法为：根据对管制员面部特征的分析，可以统计出单位时间内管制员打哈欠的次数，进而得出打哈欠的频率。

陆空通话信道占用率检测：设单位时间的总长度为T_total，单位时间扇区的总通话时间长度为T_sec，陆空通话信道占用率为T_rate，则T_rate＝T_sec/T_total。

陆空通话次数检测：系统采集VHF陆空通话语音数据，对其进行分析，每次通话计为一次陆空通话次数，对次数进行累加得出指标数据。

陆空通话平均音频检测：系统对采集的VHF陆空通话语音数据进行波形分析，获取通话时的声音频率数据，然后对所得出的结果进行平均，获取陆空通话平均音频指标。

陆空通话平均音强检测：系统对采集的VHF陆空通话语音数据进行波形分析，获取通话时的声音音强数据，然后对所得出的结果进行平均，获取陆空通话平均音强指标。

扇区陆空通话关键词出现率检测：系统对采集的VHF陆空通话语音数据进行波形分析与语音识别，当解析到系统中设定的“请重复(sayagain)”、“更正(correction)”等关键字时，对关键字出现的时间和次数进行统计，获取扇区陆空通话关键词出现率指标。

实施例4：

一种集成面部和语音的空中交通管制员疲劳检测方法，其采用主成分分析法进行数据分析，结合图5，具体算法步骤为：

步骤1：选取变量：选取8项指标进行主成分分析，则每个数据点x_i有8项维度，记为：x_i＝{x_i,j,j＝1,2,...,8}

其中，基于面部识别的指标包括{x_i,1,x_i,2,x_i,3}，分别表示PERCLOS值，平均闭眼时长，打哈欠频率；基于陆空通话负荷指标为{x_i,4,x_i,5,x_i,6,x_i,7,x_i,8}，分别表示陆空通话信道占用率、陆空通话次数、陆空通话平均音频、陆空通话平均音强、扇区陆空通话关键词出现率；以1分钟为时长，采集上述8项指标的输入值，以当前时间片段i的指标数据与之前(i-1)个时间片段数据组成指标样本集，其中i>8；

步骤2：数据处理：将指标分为两类，第一类为正向指标(指标值越大表示越疲劳)，包括PERCLOS值，平均闭眼时长，打哈欠频率、扇区陆空通话关键词出现率；第二类为逆向指标(指标值越小表示越疲劳)，包括陆空通话信道占用率、陆空通话次数、陆空通话平均音频、陆空通话平均音强；令第i个时间片段的第j项指标的实际值为x_i,j，y_i,j为无量纲化处理后的指标值，为总计i个时间片段的第j项指标的均值，s_j为总计i个时间片段的第j项指标的标准差，则对于正向指标，对于逆向指标，先取其倒数或取负使其正向化，再使用公式将其无量纲化处理；

步骤3：主成分的确定：标准化后，8项指标的协方差矩阵就是相关系数矩阵，计算相关系数矩阵的特征值λ_j并按从大到小排序，第j大的特征值λ_j所对应的特征向量ε_j，ε_j＝(ε_j,1,ε_j,2,...,ε_j,8)^T，就是指标矩阵X的第i个主成分，因此对于第i个时间段的样本指标数据的第j个主成分表示为：

Y_i,j＝ε_j,1y_i,1+ε_j,2y_i,2+...+ε_j,8y_i,8,j＝1,2,...,8

取m个主成分，使累计贡献率达到80％以上；

步骤4：管制员疲劳度指数的计算：对于第i个时间段的样本指标数据，结合计算得到的主成分及其贡献率计算管制员疲劳度指数：

$Y_i=\underset{j=1}{\overset{m}{\Σ}}\frac{{\mathrm{\λ}}_j}{\underset{j=1}{\overset{m}{\Σ}}{\mathrm{\λ}}_j}{Y}_{i,j};$

步骤5：管制员疲劳度指数的结果输出和告警：根据上述方法计算出管制员疲劳度指数，将各个时段的指数由大到小进行排序，若最新时段的管制员疲劳度指数处于排序结果的前20％，则说明该时段管制员疲劳度较高，因此发出相应告警。

实施例5：

系统网络结构如图4所示。整个系统的网络平台将依托现有的管理信息网，采集平台和空管生产网络进行物理隔离，保证数据的单向传递，阻止网络攻击，以保障相关数据安全性和生产运行系统可靠性。系统提供图形化的操作接口，以便系统管理员配置各项参数。如：存储视频的间隔时间，疲劳诊断的间隔时间等。提供系统用户管理设置界面，系统管理员对不同类型用户的基本信息进行管理，如增加、删除、修改用户信息等操作。系统管理员还可为各类型的用户赋予不同级别的权限。

本系统通过集成面部识别和陆空通话语音解析技术，将标志管制员疲劳的面部特征、工作负荷等各指标，全面、综合地进行考虑，通过主成分分析法对数据进行分析处理，系统易于建立，识别程度高，算法易于实现。利用该疲劳检测系统对空中交通管制员进行工作现场的疲劳检测，及时替换处于疲劳状态的在岗管制员，对于保障飞行安全具有重要现实意义。

以上结合附图，详细说明了本发明的系统构成和工作原理。但是本领域的普通技术人员应当明白，说明书仅是用于解释权利要求书。但本发明的保护范围并不局限于说明书。任何熟悉本技术领域的技术人员在本发明批露的技术范围内，可轻易想到的变化或者替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种空中交通管制员疲劳检测方法，其特征在于，包括以下步骤：

步骤1，接收实时音视频全数据采集装置获取的管制席位视频监控数据和陆空通话数据；

步骤2，对所述管制席位视频监控数据和陆空通话数据进行检测分析，得到管制员疲劳指标检测数据，包括8项指标，分别为PERCLOS值、平均闭眼时长、打哈欠频率、信道占用率、通话次数、平均音频、平均音强和扇区陆空通话关键词出现率；

步骤3，利用管制员疲劳指标检测数据进行主成分分析，确定主成分后，计算当前时刻管制员疲劳度指数。

2.根据权利要求1所述的方法，其特征在于：接收所述管制席位视频监控数据的过程为：实时采集视频信息，进行降噪、滤波处理后，提取特征值。

3.根据权利要求2所述的方法，其特征在于：提取特征值后，与视频模板库中已保存的模板数据进行匹配，从而对当前管制员的身份进行识别。

4.根据权利要求1所述的方法，其特征在于：接收所述陆空通话数据的过程为：采用电缆线将语音信号从配线架引接至语音处理器，当检测到声音信号时，开始录音，当检测到没有声音且持续3秒，则停止录音，即完成一次录音，每完成一次录音，将声音信息以音频文件格式保存。

5.根据权利要求1所述的方法，其特征在于：步骤1后还包括将所述管制席位视频监控数据和陆空通话数据进行同步的步骤，具体为：以视频监控数据的时间戳为时间基准，播放的过程中音频播放线程实时接收视频播放线程传输过来的当前播放时间数据，并同步调整音频播放数据，将管制席位视频监控数据和陆空通话数据进行同步播放，实现实时播放和历史回放。

6.根据权利要求1所述的方法，其特征在于：步骤3包括如下步骤：

步骤3.1：选取变量

步骤2通过检测分析得到8项指标的检测数据，对其进行主成分分析，以一定时间为时间片段，采集上述8项指标的输入值，标记当前时间片段为时间片段i，其指标数据记为：

x_i＝{x_i,j,j＝1,2,...,8}

与之前(i-1)个时间片段数据组成指标样本集，i>8；

步骤3.2：数据处理

将指标分为两类，第一类为正向指标(指标值越大表示越疲劳)，包括PERCLOS值，平均闭眼时长，打哈欠频率、扇区陆空通话关键词出现率；第二类为逆向指标(指标值越小表示越疲劳)，包括信道占用率、通话次数、平均音频、平均音强；令第i个时间片段的第j项指标的实际值为x_i,j，y_i,j为第i个时间片段无量纲化处理后的第j项指标值，为总计i个时间片段的第j项指标的均值，s_j为总计i个时间片段的第j项指标的标准差，则对于正向指标， $y_{i,j}=\frac{x_{i,j}-{\stackrel{\‾}{x}}_j}{s_j},$ 对于逆向指标，

先取其倒数或取负获得正向化过渡指标：

${x_{i,j}}^{\′}=\frac{1}{x_{i,j}}$ 或x_i,j'＝-x_i,j

及其均值标准差s_j'，

再进行无量纲化处理，

步骤3.3：主成分的确定

标准化后，8项指标的协方差矩阵构成相关系数矩阵，计算相关系数矩阵的特征值λ_j并按从大到小排序，第j大的特征值λ_j所对应的特征向量ε_j，ε_j＝(ε_j,1,ε_j,2,...,ε_j,8)^T，就是指标矩阵X的第j个主成分，因此对于第i个时间片段的样本指标数据的第j个主成分表示为：

Y_i,j＝ε_j,1y_i,1+ε_j,2y_i,2+...+ε_j,8y_i,8,j＝1,2,...,8

第j个主成分的贡献率为：

$w_j=\frac{{\mathrm{\λ}}_j}{\underset{j=1}{\overset{8}{\Σ}}{\mathrm{\λ}}_j}$

取m个主成分，使累计贡献率达到80％以上：

$\underset{j=1}{\overset{m}{\Σ}}{w}_j\≥0.80$

其中，m是指主成分累计贡献率达到80％以上时对应的主成分个数；

步骤3.4：管制员疲劳度指数的计算

对于第i个时间片段的样本指标数据，结合计算得到的主成分及其贡献率计算管制员疲劳度指数：

$Y_i=\underset{j=1}{\overset{m}{\Σ}}{w}_j{Y}_{i,j}.$

7.根据权利要求1所述的方法，其特征在于：所述检测方法还包括步骤4，当前时刻管制员疲劳度指数若超出一定范围，则触发告警。

8.根据权利要求7所述的方法，其特征在于：所述触发告警条件为：

将各个时段的管制员疲劳度指数由大到小进行排序，若当前时间的管制员疲劳度指数处于排序结果的前20％，则触发告警。

9.一种空中交通管制员疲劳检测装置，其特征在于，包括以下模块：

接收模块，用于接收实时音视频全数据采集装置获取的管制席位视频监控数据和陆空通话数据；

检测模块，用于对所述管制席位视频监控数据和所述陆空通话数据进行检测分析，得到管制员疲劳指标检测数据；

计算模块，用于利用管制员疲劳指标检测数据进行主成分分析，确定主成分后，计算当前时刻管制员疲劳度指数；

告警模块，用于将各个时段的管制员疲劳度指数由大到小进行排序，若当前时间的管制员疲劳度指数处于排序结果的一定范围内，则触发告警。

10.一种空中交通管制员疲劳检测系统，其特征在于，该系统包括：

管制席位实时音视频全数据采集平台：用于进行管制席位视频监控数据、陆空通话数据的采集和处理；

集成面部识别和陆空通话语音解析的管制员疲劳检测数据库：用于将管制席位实时音视频全数据采集平台采集处理的数据进行归类和保存，同时存储管制员疲劳指标检测模块计算得到的各项管制员疲劳指标检测数据，及管制员疲劳度告警模块的计算及告警结果，形成历史数据；

管制员疲劳指标检测模块：用于对管制席位实时音视频全数据采集平台采集和处理的视频监控数据、陆空通话数据进行检测分析，得到管制员疲劳指标检测数据；

管制员疲劳指标计算模块，根据集成面部识别和陆空通话语音解析的管制员疲劳检测数据库中的历史数据和当前管制员疲劳指标检测数据进行主成分分析，确定主成分后，计算当前时刻管制员疲劳度指数；

管制员疲劳度告警模块：用于将各个时段的管制员疲劳度指数由大到小进行排序，若当前时间的管制员疲劳度指数处于排序结果的一定范围内，则触发告警。