CN114742090B - 一种基于精神疲劳监测的驾驶舱人机交互系统 - Google Patents

一种基于精神疲劳监测的驾驶舱人机交互系统 Download PDF

Info

Publication number
CN114742090B
CN114742090B CN202210200198.2A CN202210200198A CN114742090B CN 114742090 B CN114742090 B CN 114742090B CN 202210200198 A CN202210200198 A CN 202210200198A CN 114742090 B CN114742090 B CN 114742090B
Authority
CN
China
Prior art keywords
module
frequency
pilot
fatigue
mental fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210200198.2A
Other languages
English (en)
Other versions
CN114742090A (zh
Inventor
王文东
文莲
张志彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210200198.2A priority Critical patent/CN114742090B/zh
Publication of CN114742090A publication Critical patent/CN114742090A/zh
Application granted granted Critical
Publication of CN114742090B publication Critical patent/CN114742090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Hospice & Palliative Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Veterinary Medicine (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Signal Processing (AREA)

Abstract

本发明公开了一种基于精神疲劳监测的驾驶舱人机交互系统，可以根据生理信号和面部图像识别飞行员精神疲劳，判断飞行员可能出现的失误及概率。该系统包括信号采集模块、精神疲劳监测模块、失误判断模块以及驾驶舱人机交互模块四个部分。信号采集模块包括采集飞行员的生理信号、面部图像以及飞行环境参数。精神疲劳监测模块的特征层融合得到正常、轻度、严重三类疲劳分类结果，决策层融合对特征层融合结果、PERCLOS、眨眼频率、哈欠频率以及点头频率进行加权平均。失误判断模块判断飞行员可能出现的失误模式及其概率。驾驶舱人机交互模块能进行疲劳预警。本发明提高了识别准确率、实时性强，同时符合人因工程学理论，有利于减少飞行员认知负荷。

Description

一种基于精神疲劳监测的驾驶舱人机交互系统
技术领域
本发明属于人机交互技术领域，具体涉及一种驾驶舱人机交互系统。
背景技术
航空运输是一个人-机-环境高度交互和耦合的过程。其中，人作为这个复杂系统中最重要同时也是最复杂多变的部分，对民航运输的安全性一直起着决定性的作用。近年来，由于科技的不断进步及新材料和新技术的不断应用，飞机自身设备故障导致的飞行事故率已经非常小，而因为飞行员自身失误导致的飞行事故占比却呈现上升趋势。根据飞行事故原因统计数据，在航空事故中有70％的事故是由人为失误造成的，所以研究飞行员精神疲劳的意义至关重要。
发明专利202010424867.X公开了一种融合肌电和心电信号的疲劳监测系统及方法，包括肌电信号采集及处理、心电信号采集及处理和非线性支持向量机算法数据融合模块，仅考虑生理信号，检测精度难以达到预期效果。发明专利201610264968.4公开了一种基于视频智能算法的疲劳检测系统及方法，该系统检测包括判断工作人员的眼睛和嘴巴的开合度，但仅考虑面部图像，精度存在欺骗性，难以准确地进行高精度的检测。
发明内容
为了克服现有技术的不足，本发明提供了一种基于精神疲劳监测的驾驶舱人机交互系统，可以根据生理信号和面部图像识别飞行员精神疲劳，判断飞行员可能出现的失误及概率。该系统包括信号采集模块、精神疲劳监测模块、失误判断模块以及驾驶舱人机交互模块四个部分。信号采集模块包括采集飞行员的生理信号、面部图像以及飞行环境参数。精神疲劳监测模块的特征层融合得到正常、轻度、严重三类疲劳分类结果，决策层融合对特征层融合结果、PERCLOS、眨眼频率、哈欠频率以及点头频率进行加权平均。失误判断模块判断飞行员可能出现的失误模式及其概率。驾驶舱人机交互模块能进行疲劳预警。本发明提高了识别准确率、实时性强，同时符合人因工程学理论，有利于减少飞行员认知负荷。
本发明解决其技术问题所采用的技术方案如下：
一种基于精神疲劳监测的驾驶舱人机交互系统，包括信号采集模块、精神疲劳监测模块、失误判断模块和驾驶舱人机交互模块；
所述信号采集模块采集飞行员的心电、皮电、脉搏、呼吸生理信号、捕捉飞行员面部图像和导入飞行环境参数；
所述精神疲劳监测模块包括生理信号处理子模块、面部图像识别子模块和基于多模信息融合的疲劳识别子模块；所述生理信号处理子模块对信号采集模块采集到的生理信号依次进行低通滤波处理、带陷滤波处理和基线漂移纠正处理，再进行生理信号特征提取并进行归一化；所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的PERCLOS、眨眼频率、哈欠频率和点头频率；
所述基于多模信息融合的疲劳识别子模块包括特征层融合和决策层融合。
所述特征层融合先对生理信号特征和人脸关键点进行CCA降维处理，再将降维结果导入卷积神经网络模型进行训练，并将训练好的卷积神经网络模型作为精神疲劳分类器；所述卷积神经网络模型使用7层卷积层提取特征，每两层卷积层后添加一层池化层；每层卷积层使用双曲正切函数tanh；所述精神疲劳分为正常、轻度、严重三类；
所述决策层融合的输入包括特征层融合结果即精神疲劳分类器分类结果、PERCLOS、眨眼频率、哈欠频率和点头频率五个属性，采用加权平均的方法进行决策层融合；决策层融合最终输出综合疲劳指标；
所述失误判断模块采用CREAM预测分析法来判断飞行员出现的失误以及失误的概率；所述采用CREAM预测分析法进行失误判断时的输入为飞行环境参数和综合疲劳指标，首先通过建立认知需求剖面确定驾驶舱环境下飞行员的失误模式及对应的失误概率基本值；然后再评价共同绩效条件，包括组织完整性、工作条件、人机界面与运行支持的完整性、规程/计划可用性、同时出现的目标数量、可用时间、工作时间、培训和经验的充分性、班组成员合作质量9种；最终识别最可能的认知功能失效模式和预测失误概率；
所述驾驶舱人机交互模块包括前置诱发实验子模块、数据管理及处理系统和预警子模块；所述前置诱发实验子模块对飞行员进行疲劳诱发实验和情绪诱发实验；所述疲劳诱发实验要求飞行员进行不同时段的睡眠剥夺；所述情绪诱发实验通过音视频诱发飞行员的高兴、悲伤、愤怒情绪；所述数据管理及处理系统包括数据采集配置子模块、数据文件管理子模块和结果可视化子模块；所述数据采集配置子模块通过选择通信串口以及采集设备来进行采集飞行员生理信号时的相关配置，再通过对数据库类型以及用户类型的选择来确定采集获取的生理信号的存储位置以及操作权限模式；所述数据文件管理字模块通过读取文件按钮将存储于数据库中的文件读取到显示面板中，并对文件操作；所述结果可视化字模块通过调用精神疲劳监测模块可视化显示对飞行员的精神疲劳分类器分类结果、PERCLOS、眨眼频率、哈欠频率、点头频率以及最终的综合疲劳指标；
所述预警模块包括警示灯和飞行建议；预警模块根据综合疲劳指标决定是否发出警报以及给出飞行建议；当飞行员的综合疲劳指标达到阈值时触发警示灯；所述飞行建议包括更换主飞行员、进行休息、出现的失误类型及解决方案。
进一步地，所述信号采集模块使用蓝牙脉搏皮电呼吸传感器和心电信号传感器采集飞行员的心电、皮电、脉搏、呼吸生理信号；采用摄像头捕捉飞行员面部图像。
进一步地，所述飞行环境参数包括飞行阶段、ATM指令、航线约束、A/C的性能约束、天气因素、地形；飞行环境参数由X-PLANE飞行仿真软件提供。
进一步地，所述心电信号传感器型号为BMD101，包括低噪音放大器、ADC模数转换器和一个检测感应器是否脱落的电路，能够采集从uV到mV的生物信号。
进一步地，所述生理信号特征为SDNN或LFP/HFP或近似熵特征；采用离差标准化方法进行归一化。
进一步地，所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的PERCLOS、眨眼频率、哈欠频率和点头频率，具体方法为：
利用人脸识别开源库Dlib进行人脸关键点提取，特征提取器采用shape_predictor_68_face_landmarks.dat；通过人脸关键点计算PERCLOS、眨眼频率、哈欠频率以及点头频率；
所述PERCLOS是指在单位时间内眼睛闭合程度超过设定闭值的时间占总时间的百分比，即眼睛闭合帧数与检测时间段总帧数之比；设定闭值标准为P80，即眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在固定时间内眼睛闭合时所占的时间比例即为PERCLOS；
所述眨眼频率通过计算眼睛纵横比得到；眼睛纵横比EAR为左眼和右眼纵横比的平均值，计算公式如下：
其中，‖·‖为两点的欧式距离，p1～p6分别表示眼部不同关键点的位置坐标；如果连续3帧人脸图像中EAR都大于阈值0.2，则视为一次有效眨眼；
所述哈欠频率通过计算嘴部张口度得到，嘴部张口度α计算公式如下：
其中，H和L分别表示张口的纵向高度和横向宽度，p61、p63、p65、p67分别表示嘴部的不同关键点；
有效哈欠的判决条件包括首次判决和二次判决；所述首次判决根据嘴部张口度大小及其阈值进行初判；所述二次判决根据在设定区域的哈欠持续时间进行二次判决，即嘴部张口度超过阈值的持续时间超过持续时间阈值则视为有效哈欠；
所述点头频率的估计是旋转三维标准模型，直到三维标准模型上三维特征点的二维投影与待测试图像上的特征点重合，将旋转向量转化为四元数，再将四元数转化为欧拉角，当欧拉角大于某一阈值，则视为点头；所述三维标准模型以鼻尖为坐标原点，下巴(0.0，-330.0，-65.0)，左眼左角(-225.0f，170.0f，-135.0)，右眼右角(225.0f，170.0f，-135.0)，嘴角左侧：(-150.0，-150.0，-125.0)，嘴角右侧：(150.0，-150.0，-125.0)，其中f为相机焦距。
进一步地，所述采用加权平均的方法进行决策层融合，具体方法如下：
假设属性i＝1、2、3、4、5分别表示特征层融合结果、PERCLOS、眨眼频率、哈欠频率、点头频率；xi为各属性的疲劳指标，X为综合疲劳指标，最大值为10，对各属性进行加权平均：
其中，w1、w2、w3、w4、w5表示特征层融合结果、PERCLOS、眨眼频率、哈欠频率以及点头频率五个属性的权重值；
五个属性的权重值采用层次分析法求得，具体步骤如下：
步骤1：首先需要根据属性间两两比较的影响程度建立属性判断矩阵，其中判断矩阵中属性之间的影响程度赋值需要通过度量准则d来衡量，d的取值具体描述为：1表示两个属性重要性相同，2表示前者比后者略微重要，3表示前者比后者明显重要，4表示前者比后者及其重要，5表示前者比后者强烈重要，1.5、2.5、3.5、4.5表示上述相邻判断的中间值，其中dij表示属性i与属性j的重要性之比，即属性i为前者，属性j为后者，其中dji为dij的倒数；
步骤2：根据实际关系判断，将五个属性两两比较进行评分，最终得到判断矩阵D；
步骤3：选择特征根法求解权重值；假设五个属性的权重值满足条件如下：
假设W＝(w1,w2,w3,w4,w5)T，由于判断矩阵D为一致性矩阵，得到：
存在对应关系：
D·W＝λmaxW
其中，λmax为判断矩阵D的最大特征根，其对应的特征向量即为W，将W归一化处理后即为特征属性的权重向量。
进一步地，所述预测失误概率采用CREAM预测分析法，将认知功能失效概率简称为CFP，其计算公式如下：
CFPi＝CFP基本×w
其中CFP基本表示判断与决策过程中各阶段对应的最可能的认知功能失效模式的基本值，w表示其对应权重因子。
本发明的有益效果如下：
本发明采用了多模信息融合的方式识别精神疲劳，提高了识别准确率；信号采集模块具有低的系统噪声和可控增益，可以有效地检测到生物信号；在实时采集生理信号和面部图像的基础上实时监测飞行员精神疲劳、情绪等精神疲劳，其时延为2.1s，实时性强，达到预期效果；将精神疲劳的影响引入CREAM，从基本值和权重因子两方面决定失误判断模型结果，符合人因工程学理论；人机交互界面设计美观，符合规范，有利于减少飞行员认知负荷。
附图说明
图1为本发明的系统架构图。
图2为本发明心电传感芯片BMD101的π型滤波器连接方式。
图3为本发明心电传感芯片BMD101屏蔽布线连接方式。
图4为本发明生理信号处理结果图。
图5为本发明人脸关键点提取中眼睛纵横比计算示意图。
图6为本发明人脸关键点提取中嘴部张口度计算示意图。
图7为本发明基于多模信息融合的疲劳识别子模块中特征层的神经网络结构。
图8为本发明基于多模信息融合的疲劳识别子模块中特征层的训练效果。
图9为本发明基于多模信息融合的疲劳识别子模块中决策层与特征层关系。
图10为本发明基于多模信息融合的疲劳识别子模块中决策层方法。
图11为本发明基于多模信息融合的疲劳识别子模块中求权重值的层次分析法。
图12为本发明失误判断模块结构。
图13为本发明的驾驶舱人机交互模块界面。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明公开一种基于精神疲劳监测的驾驶舱人机交互系统，可以根据生理信号和面部图像识别飞行员精神疲劳，并根据精神疲劳判断飞行员可能出现的失误以及失误的概率。
一种基于精神疲劳监测的驾驶舱人机交互系统包括信号采集模块、精神疲劳监测模块、失误判断模块和驾驶舱人机交互模块；
所述信号采集模块采集飞行员的心电、皮电、脉搏、呼吸生理信号、捕捉飞行员面部图像和导入飞行环境参数；
所述精神疲劳监测模块包括生理信号处理子模块、面部图像识别子模块和基于多模信息融合的疲劳识别子模块；所述生理信号处理子模块对信号采集模块采集到的生理信号依次进行低通滤波处理、带陷滤波处理和基线漂移纠正处理，再进行生理信号特征提取并进行归一化；所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的PERCLOS、眨眼频率、哈欠频率和点头频率；
所述基于多模信息融合的疲劳识别子模块包括特征层融合和决策层融合。
所述特征层融合先对生理信号特征和人脸关键点进行CCA降维处理，再将降维结果导入卷积神经网络模型进行训练，并将训练好的卷积神经网络模型作为精神疲劳分类器；所述卷积神经网络模型使用7层卷积层提取特征，每两层卷积层后添加一层池化层；每层卷积层使用双曲正切函数tanh；所述精神疲劳分为正常、轻度、严重三类；
所述决策层融合的输入包括特征层融合结果即精神疲劳分类器分类结果、PERCLOS、眨眼频率、哈欠频率和点头频率五个属性，采用加权平均的方法进行决策层融合；决策层融合最终输出综合疲劳指标；
所述失误判断模块采用CREAM预测分析法来判断飞行员出现的失误以及失误的概率；所述采用CREAM预测分析法进行失误判断时的输入为飞行环境参数和综合疲劳指标，首先通过建立认知需求剖面确定驾驶舱环境下飞行员的失误模式及对应的失误概率基本值；然后再评价共同绩效条件，包括组织完整性、工作条件、人机界面与运行支持的完整性、规程/计划可用性、同时出现的目标数量、可用时间、工作时间、培训和经验的充分性、班组成员合作质量9种；最终识别最可能的认知功能失效模式和预测失误概率；
所述驾驶舱人机交互模块包括前置诱发实验子模块、数据管理及处理系统和预警子模块；所述前置诱发实验子模块对飞行员进行疲劳诱发实验和情绪诱发实验；所述疲劳诱发实验要求飞行员进行不同时段的睡眠剥夺；所述情绪诱发实验通过音视频诱发飞行员的高兴、悲伤、愤怒情绪；所述数据管理及处理系统包括数据采集配置子模块、数据文件管理子模块和结果可视化子模块；所述数据采集配置子模块通过选择通信串口以及采集设备来进行采集飞行员生理信号时的相关配置，再通过对数据库类型以及用户类型的选择来确定采集获取的生理信号的存储位置以及操作权限模式；所述数据文件管理字模块通过读取文件按钮将存储于数据库中的文件读取到显示面板中，并对文件操作；所述结果可视化字模块通过调用精神疲劳监测模块可视化显示对飞行员的精神疲劳分类器分类结果、PERCLOS、眨眼频率、哈欠频率、点头频率以及最终的综合疲劳指标；
所述预警模块包括警示灯和飞行建议；预警模块根据综合疲劳指标决定是否发出警报以及给出飞行建议；当飞行员的综合疲劳指标达到阈值时触发警示灯；所述飞行建议包括更换主飞行员、进行休息、出现的失误类型及解决方案。
进一步地，所述信号采集模块使用蓝牙脉搏皮电呼吸传感器和心电信号传感器采集飞行员的心电、皮电、脉搏、呼吸生理信号；采用摄像头捕捉飞行员面部图像。
进一步地，所述飞行环境参数包括飞行阶段、ATM指令、航线约束、A/C的性能约束、天气因素、地形；飞行环境参数由X-PLANE飞行仿真软件提供。
进一步地，所述心电信号传感器型号为BMD101，包括低噪音放大器、ADC模数转换器和一个检测感应器是否脱落的电路，能够采集从uV到mV的生物信号。
进一步地，所述生理信号特征为SDNN或LFP/HFP或近似熵特征；采用离差标准化方法进行归一化。
进一步地，所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的PERCLOS、眨眼频率、哈欠频率和点头频率，具体方法为：
利用人脸识别开源库Dlib进行人脸关键点提取，特征提取器采用shape_predictor_68_face_landmarks.dat；通过人脸关键点计算PERCLOS、眨眼频率、哈欠频率以及点头频率；
所述PERCLOS是指在单位时间内眼睛闭合程度超过设定闭值的时间占总时间的百分比，即眼睛闭合帧数与检测时间段总帧数之比；设定闭值标准为P80，即眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在固定时间内眼睛闭合时所占的时间比例即为PERCLOS；
所述眨眼频率通过计算眼睛纵横比得到；眼睛纵横比EAR为左眼和右眼纵横比的平均值，计算公式如下：
其中，‖·‖为两点的欧式距离；如果连续3帧人脸图像中EAR都大于阈值0.2，则视为一次有效眨眼；
所述哈欠频率通过计算嘴部张口度得到，嘴部张口度α计算公式如下：
有效哈欠的判决条件包括首次判决和二次判决；所述首次判决根据嘴部张口度大小及其阈值进行初判；所述二次判决根据在设定区域的哈欠持续时间进行二次判决，即嘴部张口度超过阈值的持续时间超过持续时间阈值则视为有效哈欠；
所述点头频率的估计是旋转三维标准模型，直到三维标准模型上三维特征点的二维投影与待测试图像上的特征点重合，将旋转向量转化为四元数，再将四元数转化为欧拉角，当欧拉角大于某一阈值，则视为点头；所述三维标准模型以鼻尖为坐标原点，下巴(0.0，-330.0，-65.0)，左眼左角(-225.0f，170.0f，-135.0)，右眼右角(225.0f，170.0f，-135.0)，嘴角左侧：(-150.0，-150.0，-125.0)，嘴角右侧：(150.0，-150.0，-125.0)，其中f为相机焦距。
进一步地，所述采用加权平均的方法进行决策层融合，具体方法如下：
假设属性i＝1、2、3、4、5分别表示特征层融合结果、PERCLOS、眨眼频率、哈欠频率、点头频率；xi为各属性的疲劳指标，X为综合疲劳指标，最大值为10，对各属性进行加权平均：
其中，w1、w2、w3、w4、w5表示特征层融合结果、PERCLOS、眨眼频率、哈欠频率以及点头频率五个属性的权重值；
五个属性的权重值采用层次分析法求得，具体步骤如下：
步骤1：首先需要根据属性间两两比较的影响程度建立属性判断矩阵，其中判断矩阵中属性之间的影响程度赋值需要通过度量准则d来衡量，d的取值具体描述为：1表示两个属性重要性相同，2表示前者比后者略微重要，3表示前者比后者明显重要，4表示前者比后者及其重要，5表示前者比后者强烈重要，1.5、2.5、3.5、4.5表示上述相邻判断的中间值，其中dij表示属性i与属性j的重要性之比，即属性i为前者，属性j为后者，其中dji为dij的倒数；
步骤2：根据实际关系判断，将五个属性两两比较进行评分，最终得到判断矩阵D；
步骤3：选择特征根法求解权重值；假设五个属性的权重值满足条件如下：
假设W＝(w1,w2,w3,w4,w5)T，由于判断矩阵D为一致性矩阵，得到：
存在对应关系：
D·W＝λmaxW
其中，λmax为判断矩阵D的最大特征根，其对应的特征向量即为W，将W归一化处理后即为特征属性的权重向量。
进一步地，所述预测失误概率采用CREAM预测分析法，将认知功能失效概率简称为CFP，其计算公式如下：
CFPi＝CFP基本×w
其中CFP基本表示判断与决策过程中各阶段对应的最可能的认知功能失效模式的基本值，w表示其对应权重因子。
具体实施例：
如图1所示，一种基于精神疲劳监测的驾驶舱人机交互系统及方法包括信号采集模块、精神疲劳监测模块、失误判断模块以及驾驶舱人机交互模块四个部分。
所述信号采集模块通过采集飞行员的心电、皮电、脉搏、呼吸等生理信号，以及捕捉飞行员面部图像和导入飞行环境参数。
进一步地，为了降低采集心电信号时的干扰和噪声，主要采取以下措施：采用π型滤波器，心电传感器芯片BMD101的模拟端和数字端接地，SEP/SEN接模拟地(AGND)，将传感器线路与电源噪声隔离，采用电感隔离模拟地和数字地，连接方式如图2所示；对SEP/SEN连接进行屏蔽布线，连接方式图3所示。
所述精神疲劳监测模块包括生理信号处理算法、面部图像识别算法、基于多模信息融合的疲劳识别算法和情绪识别算法。所述生理信号处理算法包括将采集到的生理信号进行低通滤波处理、带陷滤波处理、基线漂移纠正处理，以及将处理后的生理信号进行特征提取，所述特征提取包括SDNN、LFP/HFP、近似熵等20多种时、频域特征及非线性特征，为了让所有特征在一个量级，采用离差标准化方法(Min-Max)进行归一化处理。
进一步地，对于心电信号，采样频率为1500Hz，选择巴特沃斯低通滤波器来滤除肌电干扰，滤波器通带截止频率、阻带截止频率分别为80Hz和100Hz，因为肌电信号的频率为20～5000Hz，其主要成分的频率与肌肉的类型有关，一般在30～300Hz，而心电信号的频率主要集中在5～20Hz。选择基于Kaiser窗函数的FIR滤波器滤除50Hz工频干扰：陷波器由一个低通滤波器加上一个高通滤波器组成，高通滤波器则由一个全通滤波器减去一个低通滤波器构成，陷波器阶数为100，高通滤波器截止频率、低通滤波器截止频率分别为51Hz和49Hz，衰减系数β为100。选择IIR零相移数字滤波器纠正由呼吸及人体移动会造成的基线漂移：通带纹波为0.005，阻带衰减为20dB，通带截止频率、阻带截止频率分别为0.00187rad/s和0.008rad/s。心电信号滤波过程如图4所示。
所述面部图像识别算法利用人脸识别开源库Dlib进行人脸关键点提取，特征提取器采用官方提供的shape_predictor_68_face_landmarks.dat。通过人脸关键点计算PERCLOS、眨眼频率、哈欠频率以及头部姿态。
进一步地，PERCLOS是指在单位时间内眼睛闭合程度超过某一闭值(70％、80％)的时间占总时间的百分比，即眼睛闭合帧数与检测时间段总帧数之比。本发明采用的标准是P80，即眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。
所述眼睛纵横比(EAR)为左眼和右眼纵横比的平均值，如图5所示，眼睛纵横比计算公式如下：
其中，‖·‖为两点的欧式距离。如果连续3帧EAR都大于阈值0.2，则视为有效眨眼。
同理，如图6所示，嘴部张口度计算公式如下：
有效哈欠的判决条件包括首次判决和二次判决。所述首次判决包括根据张口度大小及其阈值进行初判，所述二次判决包括根据在条件区域的哈欠持续时间进行二次判决，即张口度超过阈值的持续时间超过持续时间阈值则视为有效哈欠。经过多次实验确定张口度阈值为0.65，持续时间超过2.5s则视为有效哈欠，其中超过3s则视为深度哈欠。
所述头部姿态估计的思想是旋转三维标准模型到一定角度，直到模型上三维特征点的二维投影，与待测试图像上的特征点(图像上的特征点显然是2维)尽量重合。人脸姿态估计主要是获得脸部朝向的角度信息，本文获得的人脸姿态信息用三个欧拉角(俯仰角、偏航角、翻滚角)表示。
首先定义一个6关键点的三维标准模型(左眼角，右眼角，鼻尖，左嘴角，右嘴角，下颌)，再采用Dlib检测出图片中对应的6个脸部关键点，采用OpenCV的solvePnP函数解出旋转向量，最后将旋转向量转换为欧拉角。
所述三维标准模型以鼻尖为坐标原点，下巴(0.0，-330.0，-65.0)，左眼左角(-225.0f，170.0f，-135.0)，右眼右角(225.0f，170.0f，-135.0)，嘴角左侧：(-150.0，-150.0，-125.0)，嘴角右侧：(150.0，-150.0，-125.0)，其中f为相机焦距。
确定头部姿态也就是确定从三维标准模型到图片中人脸的仿射变换矩阵，包含旋转和平移的信息。solvePnP函数输出结果包括旋转向量(Roatation Vector)和平移向量(Translation Vector)。本文主要将对旋转向量进行操作，主要方法是将旋转向量转化为四元数，再将四元数转化为欧拉角。当欧拉角大于某一阈值，则视为点头。
所述基于多模信息融合的疲劳识别算法包括特征层融合和决策层融合。
所述特征层融合包括将处理好的生理信号特征和人脸关键点位置进行CCA降维处理，将相关性强的特征导入卷积神经网络进行训练，并将训练好的神经网络作为识别精神疲劳的分类器。通过调参尝试，所述卷积神经网络模型如图7所示，使用7层卷积层提取特征，每两层卷积层后添加一层池化层以保留主要特征，减少计算量。每层卷积层使用双曲正切函数tanh以提高神经网络对模型的表达能力。
精神疲劳识别分为正常、轻度、严重三类。如图8所示，是精神疲劳特征层训练结果，能较好收敛。实验证明，该模型在测试集精度达到91％，没有出现过拟合现象。
所述决策层融合输入包括特征层融合结果、PERCLOS、眨眼频率、哈欠频率以及点头频率五个属性，采用加权平均的方法进行决策层融合，特征层与决策层关系如图9所示，以20s为周期采集生理信号并提取其相关特征，以60s为周期提取PERCLOS、眨眼频率、哈欠频率、点头频率等图像特征。
进一步地，决策层计算方法如图10所示，假设属性1、2、3、4、5分别表示特征层融合结果、PERCLOS、眨眼频率、哈欠频率以及点头频率，xi为各属性的疲劳指标，X为综合疲劳指标，最大值为10，对各属性进行加权平均。
其中，w1、w2、w3、w4、w5表示特征层融合结果、PERCLOS、眨眼频率、哈欠频率以及点头频率五个属性的权重值。
特征层融合结果包括正常、轻度、严重三类，其疲劳指标分别为2、5、8。再根据PERCLOS、眨眼频率、哈欠频率以及点头频率的疲劳阈值确定其对应的疲劳指标。比如，每60秒内眨眼次数达到20及以上表示达到疲劳阈值，达到严重程度，其疲劳指标达到8，由此可以确定属性眨眼频率的疲劳指标x3：
其中fm表示属性对应的疲劳阈值，xm表示不同疲劳阈值对应的临界指标。
各属性权重采用层次分析法求。如图11主要分为以下几个步骤。
步骤1：首先需要根据属性间两两比较的影响程度建立属性判断矩阵，其中判断矩阵中属性之间的影响程度赋值需要通过度量准则d来衡量，描述为：1表示两个属性重要性相同，2表示前者比后者略微重要，3表示前者比后者明显重要，4表示前者比后者及其重要，前者比后者强烈重要，1.5、2.5、3.5、4.5表示上述相邻判断的中间值。其中dij表示属性i与属性j的重要性之比，即属性i为前者，属性j为后者，其中dji为dij的倒数。
步骤2：根据属性关系度量准则和实际关系判断，将五个属性两两比较进行评分，最终可以得到判断矩阵D。
其中属性1、2、3、4、5分别表示特征层融合结果、PERCLOS、眨眼频率、哈欠频率以及点头频率。
步骤3：选择特征根法求解权重值。假设五个属性的权重值分别为w1、w2、w3、w4、w5，满足条件如下：
假设W＝(w2,w3,w4,w5)T，由于判断矩阵为一致性矩阵，因此可以得出：
对于判断矩阵存在对应关系：
D·W＝λmaxW
其中，λmax为判断矩阵D的最大特征根，其对应的特征向量即为W，将W归一化处理后即为特征属性的权重向量。
所述失误判断模块采用CREAM预测分析法来判断飞行员可能出现的失误以及失误的概率。分析飞行员在完成任务过程中的认知活动和可能的认知功能失效，根据多模信息融合算法结果确定认知功能失效概率基本值，并研究所处的情景环境的共同绩效条件(CPC)因子水平对基本值进行修正，从而对人在完成任务时可能发生失效的概率进行预测。
如图12所示，失误判断步骤包括任务分析、建立认知需求剖面、评价共同绩效条件、识别最可能的认知功能失效模式以及预测失误概率。
所述任务分析将机组判断与决策过程分为询问、讨论、确定方案、执行和反馈5个步骤。
所述建立认知需求剖面包括确定驾驶舱环境下飞行员可能出现的失误模式及对应的失误概率基本值，该基本值根据精神疲劳及专家确定。
进一步地，CREAM将认知功能归纳为观察、解释、计划和执行四类。观察功能中可能出现的失误模式有观察目标错误、错误辨识和观察没有进行；解释功能中可能出现的失误模式有诊断失败、决策失误和延迟解释；计划功能中可能出现的失误模式有优先权错误、不适当的计划；执行功能中可能出现的失误模式有动作方向错误、动作时间错误、动作目标错误、动作顺序错误和动作遗漏。
所述评价共同绩效条件包括对共同绩效条件的水平进行打分和评价，确定其对绩效可靠性的期望效应。CREAM将共同绩效条件分为组织完整性、工作条件、人机界面与运行支持的完整性、规程/计划可用性、同时出现的目标数量、可用时间、工作时间、培训和经验的充分性、班组成员合作质量9种。根据专家和精神疲劳，对人机界面与运行支持的完整性和班组成员合作质量的评价进行修正，其中人机界面与运行支持的完整性的评价为正向，班组成员合作质量的评价与精神疲劳呈正相关。所述对共同绩效条件绩效可靠性的期望效应包括降低、不显著、改进。
所述识别最可能的认知功能失效模式包括根据共同绩效条件确定认知功能对应的权重因子，以及根据同类别共同绩效条件的绩效可靠性的期望效应(降低、不显著、改进)数目之和确定机组判断与决策过程中各阶段最可能的认知功能失效模式。
所述预测失误概率包括根据确定的认知功能失效模式及其对应的基本值和权重因子确定失误概率。CREAM的认知功能失效概率(Cognitive Failure Probability)简称为CFP，其计算公式如下：
CFPi＝CFP基本×w
其中CFP基本表示机组判断与决策过程中各阶段对应的最可能的认知功能失效模式都基本值，w表示其对应权重因子。
所述驾驶舱人机交互界面包括前置诱发实验、数据管理及处理系统和预警模块，部分界面如图13所示。
进一步地，所述前置诱发实验包括疲劳诱发实验和情绪诱发实验。所述疲劳诱发实验包括要求受试者进行不同时段的睡眠剥夺，睡眠剥夺时间分别为6小时和10小时。所述情绪诱发实验通过音视频诱发高兴、悲伤、愤怒等情绪。
所述数据管理及处理系统主要包括数据采集配置、数据文件管理和结果可视化，通过选择通信串口以及采集设备来确保采集数据时的相关配置。再通过数据库类型以及用户类型的选择来确定采集获取的数据的存储位置以及操作权限模式。所述数据文件管理模块通过读取文件按钮将存储于数据库中的文件读取到软件中的显示面板中，并可对文件操作及数据的可视化。所述结果可视化模块通过调用精神疲劳监测模块显示用户的特征层融合结果(正常、轻度、严重)、PERCLOS、眨眼频率、哈欠频率、点头频率以及最终的综合疲劳指标。
所述预警模块包括警示灯、飞行建议。根据监测到的精神疲劳决定是否发出警报以及给出飞行建议。所述警示灯为人机交互界面组件，当飞行员精神疲劳或极端情绪频率到达阈值达到阈值时触发。所述飞行建议包括更换主飞飞行员、适当休息、可能出现的失误类型及相关解决方案。

Claims (8)

1.一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，包括信号采集模块、精神疲劳监测模块、失误判断模块和驾驶舱人机交互模块；
所述信号采集模块采集飞行员的心电、皮电、脉搏、呼吸生理信号、捕捉飞行员面部图像和导入飞行环境参数；
所述精神疲劳监测模块包括生理信号处理子模块、面部图像识别子模块和基于多模信息融合的疲劳识别子模块；所述生理信号处理子模块对信号采集模块采集到的生理信号依次进行低通滤波处理、带陷滤波处理和基线漂移纠正处理，再进行生理信号特征提取并进行归一化；所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的PERCLOS、眨眼频率、哈欠频率和点头频率；
所述基于多模信息融合的疲劳识别子模块包括特征层融合和决策层融合；
所述特征层融合先对生理信号特征和人脸关键点进行CCA降维处理，再将降维结果导入卷积神经网络模型进行训练，并将训练好的卷积神经网络模型作为精神疲劳分类器；所述卷积神经网络模型使用7层卷积层提取特征，每两层卷积层后添加一层池化层；每层卷积层使用双曲正切函数tanh；所述精神疲劳分为正常、轻度、严重三类；
所述决策层融合的输入包括特征层融合结果即精神疲劳分类器分类结果、PERCLOS、眨眼频率、哈欠频率和点头频率五个属性，采用加权平均的方法进行决策层融合；决策层融合最终输出综合疲劳指标；
所述失误判断模块采用CREAM预测分析法来判断飞行员出现的失误以及失误的概率；所述采用CREAM预测分析法进行失误判断时的输入为飞行环境参数和综合疲劳指标，首先通过建立认知需求剖面确定驾驶舱环境下飞行员的失误模式及对应的失误概率基本值；然后再评价共同绩效条件，包括组织完整性、工作条件、人机界面与运行支持的完整性、规程/计划可用性、同时出现的目标数量、可用时间、工作时间、培训和经验的充分性、班组成员合作质量9种；最终识别最可能的认知功能失效模式和预测失误概率；
所述驾驶舱人机交互模块包括前置诱发实验子模块、数据管理及处理系统和预警子模块；所述前置诱发实验子模块对飞行员进行疲劳诱发实验和情绪诱发实验；所述疲劳诱发实验要求飞行员进行不同时段的睡眠剥夺；所述情绪诱发实验通过音视频诱发飞行员的高兴、悲伤、愤怒情绪；所述数据管理及处理系统包括数据采集配置子模块、数据文件管理子模块和结果可视化子模块；所述数据采集配置子模块通过选择通信串口以及采集设备来进行采集飞行员生理信号时的相关配置，再通过对数据库类型以及用户类型的选择来确定采集获取的生理信号的存储位置以及操作权限模式；所述数据文件管理字模块通过读取文件按钮将存储于数据库中的文件读取到显示面板中，并对文件操作；所述结果可视化字模块通过调用精神疲劳监测模块可视化显示对飞行员的精神疲劳分类器分类结果、PERCLOS、眨眼频率、哈欠频率、点头频率以及最终的综合疲劳指标；
所述预警模块包括警示灯和飞行建议；预警模块根据综合疲劳指标决定是否发出警报以及给出飞行建议；当飞行员的综合疲劳指标达到阈值时触发警示灯；所述飞行建议包括更换主飞行员、进行休息、出现的失误类型及解决方案。
2.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述信号采集模块使用蓝牙脉搏皮电呼吸传感器和心电信号传感器采集飞行员的心电、皮电、脉搏、呼吸生理信号；采用摄像头捕捉飞行员面部图像。
3.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述飞行环境参数包括飞行阶段、ATM指令、航线约束、A/C的性能约束、天气因素、地形；飞行环境参数由X-PLANE飞行仿真软件提供。
4.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述心电信号传感器型号为BMD101，包括低噪音放大器、ADC模数转换器和一个检测感应器是否脱落的电路，能够采集从uV到mV的生物信号。
5.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述生理信号特征为SDNN或LFP/HFP或近似熵特征；采用离差标准化方法进行归一化。
6.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的PERCLOS、眨眼频率、哈欠频率和点头频率，具体方法为：
利用人脸识别开源库Dlib进行人脸关键点提取，特征提取器采用shape_predictor_68_face_landmarks.dat；通过人脸关键点计算PERCLOS、眨眼频率、哈欠频率以及点头频率；
所述PERCLOS是指在单位时间内眼睛闭合程度超过设定闭值的时间占总时间的百分比，即眼睛闭合帧数与检测时间段总帧数之比；设定闭值标准为P80，即眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在固定时间内眼睛闭合时所占的时间比例即为PERCLOS；
所述眨眼频率通过计算眼睛纵横比得到；眼睛纵横比EAR为左眼和右眼纵横比的平均值，计算公式如下：
其中，‖·‖为两点的欧式距离，p1～p6分别表示眼部不同关键点的位置坐标；如果连续3帧人脸图像中EAR都大于阈值0.2，则视为一次有效眨眼；
所述哈欠频率通过计算嘴部张口度得到，嘴部张口度α计算公式如下：
其中，H和L分别表示张口的纵向高度和横向宽度，p61、p63、p65、p67分别表示嘴部的不同关键点；
有效哈欠的判决条件包括首次判决和二次判决；所述首次判决根据嘴部张口度大小及其阈值进行初判；所述二次判决根据在设定区域的哈欠持续时间进行二次判决，即嘴部张口度超过阈值的持续时间超过持续时间阈值则视为有效哈欠；
所述点头频率的估计是旋转三维标准模型，直到三维标准模型上三维特征点的二维投影与待测试图像上的特征点重合，将旋转向量转化为四元数，再将四元数转化为欧拉角，当欧拉角大于某一阈值，则视为点头；所述三维标准模型以鼻尖为坐标原点，下巴(0.0，-330.0，-65.0)，左眼左角(-225.0f，170.0f，-135.0)，右眼右角(225.0f，170.0f，-135.0)，嘴角左侧：(-150.0，-150.0，-125.0)，嘴角右侧：(150.0，-150.0，-125.0)，其中f为相机焦距。
7.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述采用加权平均的方法进行决策层融合，具体方法如下：
假设属性i＝1、2、3、4、5分别表示特征层融合结果、PERCLOS、眨眼频率、哈欠频率、点头频率；xi为各属性的疲劳指标，X为综合疲劳指标，最大值为10，对各属性进行加权平均：
其中，w1、w2、w3、w4、w5表示特征层融合结果、PERCLOS、眨眼频率、哈欠频率以及点头频率五个属性的权重值；
五个属性的权重值采用层次分析法求得，具体步骤如下：
步骤1：首先需要根据属性间两两比较的影响程度建立属性判断矩阵，其中判断矩阵中属性之间的影响程度赋值需要通过度量准则d来衡量，d的取值具体描述为：1表示两个属性重要性相同，2表示前者比后者略微重要，3表示前者比后者明显重要，4表示前者比后者及其重要，5表示前者比后者强烈重要，1.5、2.5、3.5、4.5表示上述相邻判断的中间值，其中dij表示属性i与属性j的重要性之比，即属性i为前者，属性j为后者，其中dji为dij的倒数；
步骤2：根据实际关系判断，将五个属性两两比较进行评分，最终得到判断矩阵D；
步骤3：选择特征根法求解权重值；假设五个属性的权重值满足条件如下：
假设W＝(w1,w2,w3,w4,w5)T，由于判断矩阵D为一致性矩阵，得到：
存在对应关系：
D·W＝λmaxW
其中，λmax为判断矩阵D的最大特征根，其对应的特征向量即为W，将W归一化处理后即为特征属性的权重向量。
8.根据权利要求1所述的一种基于精神疲劳监测的驾驶舱人机交互系统，其特征在于，所述预测失误概率采用CREAM预测分析法，将认知功能失效概率简称为CFP，其计算公式如下：
CFPi＝CFP基本×W
其中CFP基本表示判断与决策过程中各阶段对应的最可能的认知功能失效模式的基本值，w表示其对应权重因子。
CN202210200198.2A 2022-03-02 2022-03-02 一种基于精神疲劳监测的驾驶舱人机交互系统 Active CN114742090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210200198.2A CN114742090B (zh) 2022-03-02 2022-03-02 一种基于精神疲劳监测的驾驶舱人机交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210200198.2A CN114742090B (zh) 2022-03-02 2022-03-02 一种基于精神疲劳监测的驾驶舱人机交互系统

Publications (2)

Publication Number Publication Date
CN114742090A CN114742090A (zh) 2022-07-12
CN114742090B true CN114742090B (zh) 2024-02-20

Family

ID=82274624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210200198.2A Active CN114742090B (zh) 2022-03-02 2022-03-02 一种基于精神疲劳监测的驾驶舱人机交互系统

Country Status (1)

Country Link
CN (1) CN114742090B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4328871A1 (en) * 2022-08-24 2024-02-28 Rockwell Collins, Inc. System and method for non-invasive operator health monitoring

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017193272A1 (zh) * 2016-05-10 2017-11-16 深圳市赛亿科技开发有限公司 一种基于人脸识别的车载疲劳预警系统及预警方法
CN110532887A (zh) * 2019-07-31 2019-12-03 郑州大学 一种基于面部特征融合的疲劳驾驶检测方法及系统
WO2022027730A1 (zh) * 2020-08-07 2022-02-10 大连理工大学 一种基于自组织临界性的精神疲劳临界点标定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017193272A1 (zh) * 2016-05-10 2017-11-16 深圳市赛亿科技开发有限公司 一种基于人脸识别的车载疲劳预警系统及预警方法
CN110532887A (zh) * 2019-07-31 2019-12-03 郑州大学 一种基于面部特征融合的疲劳驾驶检测方法及系统
WO2022027730A1 (zh) * 2020-08-07 2022-02-10 大连理工大学 一种基于自组织临界性的精神疲劳临界点标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵雪娟 ; .基于ASM与信息融合的驾驶员疲劳检测技术的研究.科学技术创新.2020,(30),全文. *

Also Published As

Publication number Publication date
CN114742090A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN109522793B (zh) 基于机器视觉的多人异常行为检测与识别方法
CN108596087B (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
KR101270954B1 (ko) 심전도 신호 및 지문인식을 이용한 생체인식 시스템
CN108511055B (zh) 基于分类器融合及诊断规则的室性早搏识别系统及方法
CN111951637B (zh) 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法
US11663845B2 (en) Method and apparatus for privacy protected assessment of movement disorder video recordings
CN114742090B (zh) 一种基于精神疲劳监测的驾驶舱人机交互系统
CN113990494B (zh) 一种基于视频数据的抽动症辅助筛查系统
CN116269355B (zh) 一种基于人物姿态识别的安全监测系统
CN113920568A (zh) 基于视频图像的人脸和人体姿态情绪识别方法
CN114358194A (zh) 基于姿态跟踪的孤独症谱系障碍异常肢体行为检测方法
CN116343284A (zh) 基于注意力机制的多特征户外环境情绪识别方法
CN114119551A (zh) 一种人脸图像质量的量化分析方法
CN117547270A (zh) 一种多源数据融合的飞行员认知负荷反馈系统
CN113197558A (zh) 心率与呼吸率检测方法、系统及计算机存储介质
CN116881853A (zh) 基于多模态融合的注意力评估方法、系统、设备及介质
KR20200120365A (ko) 파킨슨 환자 영상의 구분 동작으로부터 중증 정도를 자동으로 채점하는 학습 방법 및 장치
CN112270661B (zh) 一种基于火箭遥测视频的空间环境监测方法
CN113887365A (zh) 一种基于多模态数据融合的特殊人员情感识别方法及系统
CN113693578A (zh) 一种心率估计方法、装置、设备、系统及存储介质
Liu et al. Attention-guided Dual Enhancement Train Driver Fatigue Detection Based on MTCNN
CN116211289B (zh) 上肢运动异常的在线分析方法、装置、系统和存储介质
CN116522280B (zh) 基于虚拟现实仿真采集的情绪分级识别方法及系统
CN111027470B (zh) 一种基于认知分解的行为度量与评价方法
CN115063892B (zh) 一种考场异常行为检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant