CN113327404A - 空中交通管制员岗位疲劳状态监测告警系统 - Google Patents
空中交通管制员岗位疲劳状态监测告警系统 Download PDFInfo
- Publication number
- CN113327404A CN113327404A CN202110521786.1A CN202110521786A CN113327404A CN 113327404 A CN113327404 A CN 113327404A CN 202110521786 A CN202110521786 A CN 202110521786A CN 113327404 A CN113327404 A CN 113327404A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- information
- analysis
- monitoring
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 76
- 238000004458 analytical method Methods 0.000 claims abstract description 89
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims abstract description 8
- 238000007405 data analysis Methods 0.000 claims abstract description 7
- 238000013211 curve analysis Methods 0.000 claims abstract description 4
- 206010016256 fatigue Diseases 0.000 claims description 187
- 238000012545 processing Methods 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 11
- 238000003745 diagnosis Methods 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000523 sample Substances 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013210 evaluation model Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 239000013074 reference sample Substances 0.000 claims description 3
- 238000000611 regression analysis Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 241001282135 Poromitra oscitans Species 0.000 description 3
- 206010048232 Yawning Diseases 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000011293 voice disease Diseases 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了空中交通管制员岗位疲劳状态监测告警系统，包括信息采集端、综合智能分析系统以及应用端，信息采集端用于通过对现场图像以及声音的采集监视管制员工作状态；综合智能分析系统接收信息采集端采集信息，并通过对管制人员进行人脸监测、用户分布热力图分析以及疲劳度曲线分析后，判断输出该管制人员的疲劳状态信息；应用端接收管制人员的疲劳信息，告警输出后台管理平台进行管控提醒。通过对管制员高强度工作环境下疲劳状态的深入分析，利用基于人工智能AI的面部识别算法、大数据分析、机器深度学习，获取管制员疲劳状态并传递至空管值班主任的主动告警，为空管值班主任提供科学、实时、客观、智能的决策支持。
Description
技术领域
本发明涉及空中交通管制员疲劳状态特性分析技术领域，具体为空中交通管制员岗位疲劳状态监测告警系统。
背景技术
空中交通管制工作关乎现代空中交通的安全保障，关乎数以亿计人次的人生安全，而作为这一重要保障工作的核心执行者管制员显得格外重要。他们连续24小时昼夜不断的管制指挥本身就决定了其职业的特殊性。其倒班、轮岗、休息不固定、责任大、控制感差、对管理的依从、服从性高等特点就比一般职业带来的压力和疲劳感严重许多，再加上实际岗位上的管制指挥，需要精力高度集中，任何的疏忽都会带来不正常事件的发生。然而在管制员实际指挥过程中因疲劳导致其“错忘漏”，进而造成的不安全事件却屡屡发生。
而现有事故中因塔台管制员疲劳而遗忘飞行动态发出错误指令，导致两架飞行在跑道上险些相撞，造成严重事故征候最为严重。因此，对管制员岗位疲劳状态的监测并告警，及时进行管理干预，防止状态进一步恶化，消除疲劳隐患，杜绝其因疲劳导致“错忘漏”发生并造成不安全事件尤其必要和重要。
发明内容
本发明的目的在于提供空中交通管制员岗位疲劳状态监测告警系统，通过测量管制员疲劳特征数据获取采用嵌入式的方式，即直接通过实时运行的视频和音频识别系统获取，而不是让管制员脱离工作岗位后，单独对其进行实验获取的数据，以及通过对管制员高强度工作环境下疲劳状态的深入分析，利用基于人工智能AI的面部识别算法、大数据分析、机器深度学习，获取管制员疲劳状态并传递至空管值班主任的主动告警的方式，从而使得本发明具备为空管值班主任提供科学、实时、客观、智能的决策支持以及为安全管理人员提供全天候的、持续的、实时的管制员疲劳状况监测汇报的优点，解决了现有技术中的问题。为实现上述目的，本发明提供如下技术方案：
空中交通管制员岗位疲劳状态监测告警系统，包括：信息采集端、综合智能分析系统以及应用端，其中，
所述信息采集端用于通过对现场图像以及声音的采集监视管制员工作状态；
所述综合智能分析系统接收信息采集端采集信息，并通过对管制人员进行人脸监测、人脸分析通话质检、采集、预警、用户分布热力图分析以及疲劳度曲线分析后，判断输出该管制人员的疲劳状态信息；
所述应用端接收管制人员的疲劳信息，告警输出后台管理平台进行管控提醒；
所述综合智能分析系统包括处理模块、分别与处理模块连接的用户信息管理单元、设备管理单元、疲劳程度分析单元、曲线绘制单元以及疲劳预警数据推送单元，
所述用户信息管理单元执行用户信息的添加、删除以及管理；
所述设备管理单元执行设备信息的添加、删除指令；
所述疲劳程度分析单元，基于管制人员工作组整体疲劳程度分析出管制人员的疲劳程度分值；
所述曲线绘制单元绘制疲劳情形曲线图，以用于提醒管制人员关注状态；
所述疲劳预警数据推送单元用于将疲劳信息推送至应用端。
作为对本发明空中交通管制员岗位疲劳状态监测告警系统的改进，所述信息采集端包括分别与处理模块连接的面部信息采集单元、声音采集单元以及疲劳特征数据库，
所述面部信息采集单元包括图像识别子单元、人脸关键点监测子单元、神经网络分析子单元、深度学习子单元以及疲劳特征分析子单元，基于算法引擎将采集的人脸数据进行人脸特征提取以及识别；
所述声音采集单元包括原始声音采集处理子单元、端点监测子单元、噪音检测子单元以及声纹格式无损转换子单元，用于将原始声音经采集处理、声纹格式无损转换后，对特定环境下采集的声音进行降噪处理，以建立音频样本指标判断声波的变化；
所述疲劳特征数据库包括人脸疲劳特征数据库、声纹疲劳特征数据库以及存储数据库，所述存储数据库分别连接人脸疲劳特征数据库以及声纹疲劳特征数据库，以用于将信息采集端采集的疲劳特征数据进行一人一档分类存储，独立建立个人疲劳特征库。
作为对本发明空中交通管制员岗位疲劳状态监测告警系统的改进，所述综合智能分析系统还包括分别与处理模块连接的人脸分析模块以及声纹分析模块，其中，
所述人脸分析模块包括头部姿势分析子单元、眼部特征分析子单元以及眼部特征分析子单元，以用于基于主成分分析法、回归分析法、人工神经网络分析法、机器深度学习分析法以及大数据分析方法建立管制人员疲劳诊断综合测评模型，并通过样本试验计算确定综合测评模型中每项指标的临界值，形成一个疲劳临界指标集或疲劳曲线，以完成疲劳诊断指标体系构建；
所述声纹分析模块基于疲劳声学模型的算法引擎将信息采集端采集到的声纹数据进行声纹特征提取并识别，其具体实施方式为：
(1)利用疲劳声学模型的感知掩蔽处理步骤将声纹数据语音中的疲劳高敏感性频率成分突显出来，以用于获得更为鲁棒的疲劳表征能力；
(2)将获取的语音信号进行逐帧对比分析来提取多种心理声学感知特征，并进行连续地量化描述被管制人员的疲劳异常音变化，最后针对语音波形不同步而导致的感知特征提取误差问题，给出了语音帧的快速对准方案；
(3)采用多参考样本对比分析的疲劳监测策略，搭建多分类器融合的疲劳监测模型，进行管制人员的声纹信息监测。
作为对本发明空中交通管制员岗位疲劳状态监测告警系统的改进，所述应用端包括PC端后台管理平台以及移动手环应用端，其中，
所述PC端后台管理平台连接处理模块，用于PC端后台管理平台的设备管理以及设备管理信息的推送；
所述移动手环应用端连接所述处理模块，用于进行疲劳管制人员的信息推送以及震动提醒疲劳管制人员，所述移动手环应用端包括信息输送子单元、预警子单元以及震动子单元。
作为对本发明空中交通管制员岗位疲劳状态监测告警系统的改进，所述综合智能分析系统还包括信息录入查询单元、自动监控模块、监控地图单元以及声纹学习单元，其中，
所述信息录入查询单元连接处理模块用于录入查询管制人员的基础信息；
所述自动监控模块连接处理模块用于初始设置管制人员疲劳参数，以及对管制人员的疲劳阙值进行监控；
所述监控地图单元连接处理模块，用于统一控制管理并显示管制人员的实时疲劳程度；
所述声纹学习单元连接处理模块，用于管制人员进行声纹学习。
作为对本发明空中交通管制员岗位疲劳状态监测告警系统的改进，所述移动手环应用端还包括：
与处理模块连接以用于配合智能摄像头自动跟踪人脸，定时采集人脸疲劳程度的图像采集单元；
与处理模块连接以用于利用手机音频输入获取耳麦音频信号、自动录音以及采集声音疲劳程度的声纹采集单元；
与处理模块连接以用于对采集信息进行监控并与综合智能分析系统建立数据交互的监控单元；
与处理模块连接以用于采集移动手环中人体其他信息并上传综合智能分析系统做辅助疲劳研判的手环接口子单元。
作为对本发明空中交通管制员岗位疲劳状态监测告警系统的改进，所述综合智能分析系统还包括视频存储查询回放单元，所述视频存储查询回放单元连接所述处理模块，用于建立预留查询接口，并执行管制人员的查询追溯。
与现有技术相比，本发明的有益效果如下：
1、测量管制员疲劳特征数据获取采用嵌入式的方式，即直接通过实时运行的视频和音频识别系统获取，而不是让管制员脱离工作岗位后，单独对其进行实验获取的数据，这就保证了数据来源的真实可靠性、实时性、客观性；
2、本发明通过对管制员高强度工作环境下疲劳状态的深入分析，利用基于人工智能AI的面部识别算法、大数据分析、机器深度学习，获取管制员疲劳状态并传递至空管值班主任的主动告警，为空管值班主任提供科学、实时、客观、智能的决策支持；
3、通过信息采集端、综合智能分析系统以及应用端的配合方式，使得本发明具备为安全管理人员提供全天候的、持续的、实时的管制员疲劳状况监测优点，以此同时，将有效摆脱通过人工手段难以准确、实时的评估管制员疲劳状态的困扰，为各类管制运行决策提供客观且准确的依据。
附图说明
图1为本发明一种实施例中管制员疲劳监测系统原理图；
图2为本发明一种实施例中管制人员疲劳监测及告警服务平台实时场景示意图；
图3为本发明一种实施例中对管制人员的疲劳特征分析示意图；
图4为本发明一种实施例中管制人员个人疲劳特征数据库的形成示意图；
图5为本发明一种实施例中所提出的管制人员疲劳检测方法；
图6为本发明一种实施例中移动手环应用端的监控单元应用场景示意图；
图7为本发明一种实施例中对于管制人员语音疲劳得分对比模拟数据图一；
图8为本发明一种实施例中对于管制人员语音疲劳得分对比模拟数据图一。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以下结合附图对本发明作近一步详细说明，但不作为对本发明的限定。
如图1-3所示，作为本发明的一实施例，空中交通管制员岗位疲劳状态监测告警系统，包括：信息采集端、综合智能分析系统以及应用端，其中，
信息采集端用于通过对现场图像以及声音的采集监视管制员工作状态，信息采集端基于人脸识别算法采集席位上空管人员的实时人脸状态以及识别疲劳状态下的人脸特征，包括打瞌睡，闭眼时间超过特定值，打哈欠等行为，并建立人脸疲劳特征数据库，与此同时，信息采集端基于声纹识别算法，建立管制人员个体音频特征库，比较管制人员正常状态和疲劳状态的差异，针对管制人员听力疲劳、口舌疲劳、声音疲劳的特征进行识别，并建立音频样本特征库；
综合智能分析系统接收信息采集端采集信息，并通过对管制人员进行人脸监测、人脸分析通话质检、采集、预警、用户分布热力图分析以及疲劳度曲线分析后，判断输出该管制人员的疲劳状态信息；
应用端接收管制人员的疲劳信息，告警输出后台管理平台进行管控提醒，在执行时，基于管制员席位视频人脸信息计算分析的席位上空管人员疲劳状态自动监测，告警功能输出至值班主任PC机后台管理平台或手环；
综合智能分析系统包括处理模块、分别与处理模块连接的用户信息管理单元、设备管理单元、疲劳程度分析单元、曲线绘制单元以及疲劳预警数据推送单元，
用户信息管理单元执行用户信息的添加、删除以及管理；
设备管理单元执行设备信息的添加、删除指令；
疲劳程度分析单元，基于管制人员工作组整体疲劳程度分析出管制人员的疲劳程度分值；
曲线绘制单元绘制疲劳情形曲线图，以用于提醒管制人员关注状态；
疲劳预警数据推送单元用于将疲劳信息推送至应用端；
视频存储查询回放单元，视频存储查询回放单元连接处理模块，用于建立预留查询接口，并执行管制人员的查询追溯，通过算法综合对值班员异常状态进行监测，可管理前端疲劳监测设备，将报警记录导入，预留报警记录浏览检索或内容查看，报警统计分析，并将报警信息推送到值班主任的穿戴设备进行提醒。
在本发明的一实施例中，信息采集端包括分别与处理模块连接的面部信息采集单元、声音采集单元以及疲劳特征数据库，
面部信息采集单元包括图像识别子单元、人脸关键点监测子单元、神经网络分析子单元、深度学习子单元以及疲劳特征分析子单元，基于算法引擎将采集的人脸数据进行人脸特征提取以及识别，本发明在具体实施时通常以PERCLOS值(Percentage of EyelidClosure Over the Pupil Over Time，指眼睛闭合时间占某一特定时间的百分率)、平均闭眼时长、平均眨眼频率、持续闭眼时间、持续睁眼时间、打哈欠频率与持续时间等作为疲劳诊断指标；
声音采集单元包括原始声音采集处理子单元、端点监测子单元、噪音检测子单元以及声纹格式无损转换子单元，用于将原始声音经采集处理、声纹格式无损转换后，对特定环境下采集的声音进行降噪处理，以建立音频样本指标判断声波的变化，其中，音频样本指标判断声波的变化，对比梅尔频谱倒谱系统(MPCC)和线性预测倒谱分析(LPCC)方法以及声学心理分析算法；
疲劳特征数据库包括人脸疲劳特征数据库、声纹疲劳特征数据库以及存储数据库，存储数据库分别连接人脸疲劳特征数据库以及声纹疲劳特征数据库，以用于将信息采集端采集的疲劳特征数据进行一人一档分类存储，独立建立个人疲劳特征库。
在本发明的一实施例中，如图4所示，综合智能分析系统还包括分别与处理模块连接的人脸分析模块以及声纹分析模块，其中，
人脸分析模块包括头部姿势分析子单元、眼部特征分析子单元以及眼部特征分析子单元，以用于基于主成分分析法、回归分析法、人工神经网络分析法、机器深度学习分析法以及大数据分析方法建立管制人员疲劳诊断综合测评模型，并通过样本试验计算确定综合测评模型中每项指标的临界值，形成一个疲劳临界指标集或疲劳曲线，以完成疲劳诊断指标体系构建；
声纹分析模块基于疲劳声学模型的算法引擎将信息采集端采集到的声纹数据进行声纹特征提取并识别，其具体实施方式为：
(1)利用疲劳声学模型的感知掩蔽处理步骤将声纹数据语音中的疲劳高敏感性频率成分突显出来，以用于获得更为鲁棒的疲劳表征能力，进而避免现有语音特征易受干扰的问题；
(2)将获取的语音信号进行逐帧对比分析来提取多种心理声学感知特征，并进行连续地量化描述被管制人员的疲劳异常音变化，最后针对语音波形不同步而导致的感知特征提取误差问题，给出了语音帧的快速对准方案，而无需事先对语音样本进行预分割，区别于现有非线性分析方法在提取混沌、分形等非线性特征时往往需要进行浊音音素的预分割问题；
(3)采用多参考样本对比分析的疲劳监测策略，搭建多分类器融合的疲劳监测模型，进行管制人员的声纹信息监测，
通过上述步骤得出相应的疲劳诊断指标体系后，用户或工作人员通过摄像头和音频采集装24小时监测，实时获取相应的声音样本和图像信息，将获得的信息与疲劳临界指标集或疲劳曲线匹配，识别并判断管制人员是否处于疲劳状态，并实现告警功能。
作为本发明的一实施例，如图1-3所示，应用端包括PC端后台管理平台以及移动手环应用端，其中，
PC端后台管理平台连接处理模块，用于PC端后台管理平台的设备管理以及设备管理信息的推送；
移动手环应用端连接处理模块，用于进行疲劳管制人员的信息推送以及震动提醒疲劳管制人员，移动手环应用端包括信息输送子单元、预警子单元以及震动子单元，对于通过人脸视觉、声纹识别疲劳监测我们需要大量的有效数据，即，视频或音频，通过机器学习优化算法，提升准确性，建立训练库对深眸进行大量的深度学习训练。
作为本发明的一实施例，如图1-3所示，综合智能分析系统还包括信息录入查询单元、自动监控模块、监控地图单元以及声纹学习单元，其中，
信息录入查询单元连接处理模块用于录入查询管制人员的基础信息，基础信息包括：表字段名：姓名、部门、空管员编号、手环蓝牙编号、声纹疲劳模型、建模时间、人脸疲劳模型、建模时间、群组号以及备注等；
自动监控模块连接处理模块用于初始设置管制人员疲劳参数，以及对管制人员的疲劳阙值进行监控，自动监控模块包括人脸设置单元、声纹设置单元、显示单元以及手动分析单元，其中，人脸设置单元进行人脸疲劳、打呵欠，眨眼，瞌睡点头等参数的设置，声纹设置单元进行声纹疲劳阀值等参数的设置；
监控地图单元连接处理模块，用于统一控制管理并显示管制人员的实时疲劳程度，具体实施方式为：通过显示控制大屏实现每个管制员的实时疲劳程度，随时通过点击管制员属性，显示其每天每周疲劳曲线，自定义：绿色表示正常，黄色表示轻度疲劳，红色表示严重疲劳；
声纹学习单元连接处理模块，用于管制人员进行声纹学习，在具体实施时，管制人员可以手动增加管制员编号，选择采集文件。
作为本发明的一实施例，如图1-3所示，移动手环应用端还包括：
与处理模块连接以用于配合智能摄像头自动跟踪人脸，定时采集人脸疲劳程度的图像采集单元；
与处理模块连接以用于利用手机音频输入获取耳麦音频信号、自动录音以及采集声音疲劳程度的声纹采集单元；
与处理模块连接以用于对采集信息进行监控并与综合智能分析系统建立数据交互的监控单元；
与处理模块连接以用于采集移动手环中人体其他信息并上传综合智能分析系统做辅助疲劳研判的手环接口子单元。
作为本发明的一实施例，如图4所示，管制人员的个人疲劳的行为特征主要表现在：语音频谱变化明显、元音发音变化、动作迟缓、哈欠连天、频频点头、眼睑下垂、甚至闭合，视线模糊，眼睛发红，脸部肌肉放松，嘴角下垂，眼眉下垂等，本发明通过个体疲劳的行为特征来进行判定并告警，再通过带班主任的判定进行确认与驳回，从而不断提高告警的准确性，同时区分个体化差异，建立每一个管制员的个体疲劳特征库。
作为本发明的一实施例说明，如图5-8所示，为本发明的一组优选实施方式：
首先，提供30人的近2000条人脸和声纹数据进行分析并进行疲劳验证，并提供了近810条30人的三类语音数据，分别为体力疲劳，即，连续爬升10层楼体力不支前后的3组语音数据；身体疲劳和心理疲劳，即晚上11点后连续观看3小时小说打哈欠的3组语音数据，心理疲劳，即，对体育彩票购买点多次未中奖多次购买每次长叹者开奖前后的3组语音数据进行了采集标注；
然后基于本发明引擎进行小规模场景训练，得出以下数据节选其中2人数据对比结果如图7-8所示。
作为本发明的另一组实施例说明，本发明对对空管人员个人声纹疲劳特征采集时优选实施放方式为：
首先对日常行为数据采集：遴选表现优秀，作息正常空管人员每天分四时段进行数据采集早上8:00～9：00，中午12:00～13:00，下午17:00～18:00，晚上22:00～23：00进行语音采集和人脸采集，要求20人以上，每时段语音长度大于60秒，人脸数据每组视频3段；
其次，以上数据为正常测试集进行正常数据标注然后注册验证并分析得分；
最后，以上人员在早上6点起床时候采集声音和人脸数据每人3组，进行疲劳数据标注。
在本发明的一实施例中，本发明的有益效果如下：
1、测量管制员疲劳特征数据获取采用嵌入式的方式，即直接通过实时运行的视频和音频识别系统获取，而不是让管制员脱离工作岗位后，单独对其进行实验获取的数据，这就保证了数据来源的真实可靠性、实时性、客观性；
2、本发明通过对管制员高强度工作环境下疲劳状态的深入分析，利用基于人工智能AI的面部识别算法、大数据分析、机器深度学习，获取管制员疲劳状态并传递至空管值班主任的主动告警，为空管值班主任提供科学、实时、客观、智能的决策支持；
3、通过信息采集端、综合智能分析系统以及应用端的配合方式，使得本发明具备为安全管理人员提供全天候的、持续的、实时的管制员疲劳状况监测优点，以此同时，将有效摆脱通过人工手段难以准确、实时的评估管制员疲劳状态的困扰，为各类管制运行决策提供客观且准确的依据。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (7)
1.空中交通管制员岗位疲劳状态监测告警系统，其特征在于，包括：信息采集端、综合智能分析系统以及应用端，其中，
所述信息采集端用于通过对现场图像以及声音的采集监视管制员工作状态；
所述综合智能分析系统接收信息采集端采集信息，并通过对管制人员进行人脸监测、人脸分析通话质检、采集、预警、用户分布热力图分析以及疲劳度曲线分析后，判断输出该管制人员的疲劳状态信息；
所述应用端接收管制人员的疲劳信息，告警输出后台管理平台进行管控提醒；
所述综合智能分析系统包括处理模块、分别与处理模块连接的用户信息管理单元、设备管理单元、疲劳程度分析单元、曲线绘制单元以及疲劳预警数据推送单元，
所述用户信息管理单元执行用户信息的添加、删除以及管理；
所述设备管理单元执行设备信息的添加、删除指令；
所述疲劳程度分析单元，基于管制人员工作组整体疲劳程度分析出管制人员的疲劳程度分值；
所述曲线绘制单元绘制疲劳情形曲线图，以用于提醒管制人员关注状态；
所述疲劳预警数据推送单元用于将疲劳信息推送至应用端。
2.根据权利要求1所述的空中交通管制员岗位疲劳状态监测告警系统，其特征在于，所述信息采集端包括分别与处理模块连接的面部信息采集单元、声音采集单元以及疲劳特征数据库，
所述面部信息采集单元包括图像识别子单元、人脸关键点监测子单元、神经网络分析子单元、深度学习子单元以及疲劳特征分析子单元，基于算法引擎将采集的人脸数据进行人脸特征提取以及识别；
所述声音采集单元包括原始声音采集处理子单元、端点监测子单元、噪音检测子单元以及声纹格式无损转换子单元，用于将原始声音经采集处理、声纹格式无损转换后，对特定环境下采集的声音进行降噪处理，以建立音频样本指标判断声波的变化；
所述疲劳特征数据库包括人脸疲劳特征数据库、声纹疲劳特征数据库以及存储数据库，所述存储数据库分别连接人脸疲劳特征数据库以及声纹疲劳特征数据库，以用于将信息采集端采集的疲劳特征数据进行一人一档分类存储，独立建立个人疲劳特征库。
3.根据权利要求1所述的空中交通管制员岗位疲劳状态监测告警系统，其特征在于，所述综合智能分析系统还包括分别与处理模块连接的人脸分析模块以及声纹分析模块，其中，
所述人脸分析模块包括头部姿势分析子单元、眼部特征分析子单元以及眼部特征分析子单元，以用于基于主成分分析法、回归分析法、人工神经网络分析法、机器深度学习分析法以及大数据分析方法建立管制人员疲劳诊断综合测评模型，并通过样本试验计算确定综合测评模型中每项指标的临界值，形成一个疲劳临界指标集或疲劳曲线，以完成疲劳诊断指标体系构建；
所述声纹分析模块基于疲劳声学模型的算法引擎将信息采集端采集到的声纹数据进行声纹特征提取并识别，其具体实施方式为：
(1)利用疲劳声学模型的感知掩蔽处理步骤将声纹数据语音中的疲劳高敏感性频率成分突显出来，以用于获得更为鲁棒的疲劳表征能力；
(2)将获取的语音信号进行逐帧对比分析来提取多种心理声学感知特征，并进行连续地量化描述被管制人员的疲劳异常音变化，最后针对语音波形不同步而导致的感知特征提取误差问题，给出了语音帧的快速对准方案；
(3)采用多参考样本对比分析的疲劳监测策略，搭建多分类器融合的疲劳监测模型，进行管制人员的声纹信息监测。
4.根据权利要求1所述的空中交通管制员岗位疲劳状态监测告警系统，其特征在于，所述应用端包括PC端后台管理平台以及移动手环应用端，其中，
所述PC端后台管理平台连接处理模块，用于PC端后台管理平台的设备管理以及设备管理信息的推送；
所述移动手环应用端连接所述处理模块，用于进行疲劳管制人员的信息推送以及震动提醒疲劳管制人员，所述移动手环应用端包括信息输送子单元、预警子单元以及震动子单元。
5.根据权利要求1所述的空中交通管制员岗位疲劳状态监测告警系统，其特征在于，所述综合智能分析系统还包括信息录入查询单元、自动监控模块、监控地图单元以及声纹学习单元，其中，
所述信息录入查询单元连接处理模块用于录入查询管制人员的基础信息；
所述自动监控模块连接处理模块用于初始设置管制人员疲劳参数，以及对管制人员的疲劳阙值进行监控；
所述监控地图单元连接处理模块，用于统一控制管理并显示管制人员的实时疲劳程度；
所述声纹学习单元连接处理模块，用于管制人员进行声纹学习。
6.根据权利要求4所述的空中交通管制员岗位疲劳状态监测告警系统，其特征在于，所述移动手环应用端还包括：
与处理模块连接以用于配合智能摄像头自动跟踪人脸，定时采集人脸疲劳程度的图像采集单元；
与处理模块连接以用于利用手机音频输入获取耳麦音频信号、自动录音以及采集声音疲劳程度的声纹采集单元；
与处理模块连接以用于对采集信息进行监控并与综合智能分析系统建立数据交互的监控单元；
与处理模块连接以用于采集移动手环中人体其他信息并上传综合智能分析系统做辅助疲劳研判的手环接口子单元。
7.根据权利要求1所述的空中交通管制员岗位疲劳状态监测告警系统，其特征在于，所述综合智能分析系统还包括视频存储查询回放单元，所述视频存储查询回放单元连接所述处理模块，用于建立预留查询接口，并执行管制人员的查询追溯。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110521786.1A CN113327404A (zh) | 2021-05-13 | 2021-05-13 | 空中交通管制员岗位疲劳状态监测告警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110521786.1A CN113327404A (zh) | 2021-05-13 | 2021-05-13 | 空中交通管制员岗位疲劳状态监测告警系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113327404A true CN113327404A (zh) | 2021-08-31 |
Family
ID=77415503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110521786.1A Pending CN113327404A (zh) | 2021-05-13 | 2021-05-13 | 空中交通管制员岗位疲劳状态监测告警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113327404A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780150A (zh) * | 2021-09-07 | 2021-12-10 | 广西电网有限责任公司贺州供电局 | 一种基于多维身体状态感知的疲劳检测方法及系统 |
| CN114638538A (zh) * | 2022-04-02 | 2022-06-17 | 中国民用航空总局第二研究所 | 一种管制员疲劳预警方法、装置、系统及预警阈值获取方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105225420A (zh) * | 2015-09-30 | 2016-01-06 | 中国民用航空总局第二研究所 | 基于主成分分析的空中交通管制员疲劳检测方法、装置和系统 |
| CN105261152A (zh) * | 2015-09-30 | 2016-01-20 | 中国民用航空总局第二研究所 | 基于聚类分析的空中交通管制员疲劳检测方法、装置和系统 |
| CN107648719A (zh) * | 2017-08-23 | 2018-02-02 | 中国人民解放军总医院 | 基于疲劳检测与觉醒刺激的眼部可穿戴系统 |
| WO2020186160A2 (en) * | 2019-03-13 | 2020-09-17 | Federal Express Corporation | Mitigating operational risk in aircraft |
-
2021
- 2021-05-13 CN CN202110521786.1A patent/CN113327404A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105225420A (zh) * | 2015-09-30 | 2016-01-06 | 中国民用航空总局第二研究所 | 基于主成分分析的空中交通管制员疲劳检测方法、装置和系统 |
| CN105261152A (zh) * | 2015-09-30 | 2016-01-20 | 中国民用航空总局第二研究所 | 基于聚类分析的空中交通管制员疲劳检测方法、装置和系统 |
| CN107648719A (zh) * | 2017-08-23 | 2018-02-02 | 中国人民解放军总医院 | 基于疲劳检测与觉醒刺激的眼部可穿戴系统 |
| WO2020186160A2 (en) * | 2019-03-13 | 2020-09-17 | Federal Express Corporation | Mitigating operational risk in aircraft |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780150A (zh) * | 2021-09-07 | 2021-12-10 | 广西电网有限责任公司贺州供电局 | 一种基于多维身体状态感知的疲劳检测方法及系统 |
| WO2023036015A1 (zh) * | 2021-09-07 | 2023-03-16 | 广西电网有限责任公司贺州供电局 | 一种基于多维身体状态感知的疲劳检测方法及系统 |
| CN114638538A (zh) * | 2022-04-02 | 2022-06-17 | 中国民用航空总局第二研究所 | 一种管制员疲劳预警方法、装置、系统及预警阈值获取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111445106B (zh) | 一种用电采集设备故障处理作业现场安全控制方法及系统 | |
| CN112686090B (zh) | 一种公交车内异常行为智能监控系统 | |
| CN110544360B (zh) | 一种列车安全驾驶监测系统及方法 | |
| CN112633057B (zh) | 一种公交车内异常行为智能监控方法 | |
| CN101753992A (zh) | 一种多模态智能监控系统和方法 | |
| CN113327404A (zh) | 空中交通管制员岗位疲劳状态监测告警系统 | |
| CN113411542A (zh) | 一种智能化的工作状况监测设备 | |
| CN209543514U (zh) | 基于人脸识别的监控与报警系统 | |
| CN108583592A (zh) | 一种地铁乘务作业信息采集智能检测方法 | |
| CN102348101A (zh) | 一种考场智能监控系统和方法 | |
| CN108776452B (zh) | 一种特种设备现场维保监控方法及系统 | |
| CN110525456A (zh) | 一种列车安全驾驶监测系统及方法 | |
| CN115511329A (zh) | 一种电力作业合规监测系统及方法 | |
| CN111920129A (zh) | 一种智能安全帽系统 | |
| CN114118847A (zh) | 化工园区危险源在线监测平台 | |
| CN112784684A (zh) | 智能执勤分析评价方法及其系统 | |
| CN112613449A (zh) | 一种基于视频人脸图像的安全帽佩戴检测识别方法及系统 | |
| CN105282502B (zh) | 基于置信区间的空中交通管制员疲劳检测方法、装置和系统 | |
| CN113065984A (zh) | 轨道交通车站应急演练信息智能检测评估系统及方法 | |
| CN117610932B (zh) | 一种基于人工智能的公交运营风险管控系统 | |
| CN112270990A (zh) | 一种具备生命体征记录功能的监狱人员远程点名系统和方法 | |
| CN117612107A (zh) | 一种场所内异常人员检测方法 | |
| CN115762030A (zh) | 一种大数据与人工智能的安防监控系统 | |
| CN115587809A (zh) | 一种基于ai特征识别的劳务实名制管理系统及方法 | |
| CN115620219A (zh) | 一种基于人工智能的监管场所隐患及异常行为监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210831 |