CN117542027A - 基于非接触式传感器的机组失能状态监测方法 - Google Patents
基于非接触式传感器的机组失能状态监测方法 Download PDFInfo
- Publication number
- CN117542027A CN117542027A CN202311491993.2A CN202311491993A CN117542027A CN 117542027 A CN117542027 A CN 117542027A CN 202311491993 A CN202311491993 A CN 202311491993A CN 117542027 A CN117542027 A CN 117542027A
- Authority
- CN
- China
- Prior art keywords
- image
- head
- standard
- coordinate system
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 title claims abstract description 27
- 230000001815 facial effect Effects 0.000 claims abstract description 36
- 210000003128 head Anatomy 0.000 claims description 77
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 230000009295 sperm incapacitation Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 7
- 208000003464 asthenopia Diseases 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000004399 eye closure Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 241001282135 Poromitra oscitans Species 0.000 description 6
- 206010048232 Yawning Diseases 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的基于非接触式传感器的机组失能状态监测方法，监测系统功能包括视频帧预处理，人脸监测和识别，人脸特征定位和提取，机组失能判别。解决机组失能状态下特别是在单一驾驶员模式下，缺少监测、判别和告警的问题，目前对于飞行机组状态的监测不够完善，当机组处于失能状态时，对飞行安全产生很大危害，本专利方案可以很好地改善这个问题。通过采集的飞行员驾驶图像，对飞行员面部特征进行定位和提取，依据判断标准对机组是否处于失能状态做出判断。
Description
技术领域
本发明涉及机组失能状态监测系统的技术领域，尤其涉及一种基于非接触式传感器的机组失能状态监测方法。
背景技术
飞行机组经过长期的发展，由最初的主驾驶、副驾驶、飞行工程师、导航员和无限接电员多达5个飞行驾驶乘员，到后来的3个飞行驾驶成员，最后到目前民用运输客机主要采用的主驾驶和副驾驶双驾驶模式。随着飞行独立感知和综合操作能力日益成熟，单一飞行员驾驶模式在满足当前飞机双乘员驾驶模式功能和安全性条件下减少了飞行员数量，提升经济性，减少驾驶舱资源配置，缩小了驾驶舱空间和减轻飞机重量，同时消除了飞行员决策冲突，提高了决策效率和缩短响应时间。单一飞行员驾驶模式是民机降低运行成本和提升飞行驾驶效率的重要发展途径。单一飞行员驾驶模式驾驶的优势。
机组失能是指健康状况下降到可能危及飞行安全的程度或性质，飞行员因为自身问题(疾病或心理原因)不能继续执行飞行任务的状况。机组失能又可分为完全失能和部分失能，完全失能说明机组已经完全失去了操纵飞机进行飞行的能力；部分失能表示飞行员由于身体疲劳、精神恍惚和反应迟钝等不正常的行为和表现，使得飞行安全不能得到保证。对于机组飞行人员，特别是单一飞行员驾驶模式下，机组失能状态使得飞行更为危急，甚至会对飞机和乘客带来毁灭性伤害。当前国内在单一飞行员驾驶模式下未对机组失能状态进行监测。针对此情况下，对飞行机组失能状态下的监测显得尤为重要和必要。
发明内容
有鉴于此，本发明提供的一种基于非接触式传感器的机组失能状态监测方法，解决在单一飞行员驾驶模式下能够对机组失能状态进行监测的技术问题。
一种基于非接触式传感器的机组失能状态监测方法，机载驾驶舱内安装摄像头，摄像头采集驾驶员头部的状态参数以形成视频数据，其方法包括：
S101：确定神经网络模型，神经网络模型通过获取的历史数据进行训练而得到，所述历史数据包括飞行员的面部和头部视频数据；
获取所述视频数据，视频数据包括驾驶人员的面部特征图像和头部特征图像，通过阈值的设置识别出明显的面部特征图像、头部特征图像和不明显的面部特征图像和头部特征图像，其中，明显的面部特征图像、头部特征图像作为第二图像；
S102：对图像进行直方图均衡化处理，使明显的面部特征图像、头部特征图像中的图像像素在每个灰度级上的分布均匀，以降低不同光照的影响，并且，不明显的面部特征图像和头部特征图像采用中值滤波法进行平滑滤波，及，进行非线性点运算，以矫正图像所存在的非线性失衡，得到特征明显的第二图像；
对所述第一图像和第二图像使用回归树面部关键点定位算法进行面部特征点定位，得到第一图像和第二图像中预设个关键区域的坐标信息；
S103：头部位姿的识别和监测，头部姿态体现在人体头部在不同方向上的偏转程度，头部姿态包括俯仰角、滚转角及偏航角；
获取头部姿态的标准数据，其中：标准俯仰角方向角度范围为第一范围，标准滚转角方向角度范围为第二范围和标准偏航角方向角度范围为第三范围；
所有的所述坐标信息进行坐标系转换，包括，通过世界坐标系、像极坐标系、图像坐标系和像素坐标系的转换，得到转换后的公式，表达式为：
其中，其中，/>为3×1矩阵像素坐标，为相机内参数矩阵，/>为相机外部参数矩阵；/>为世界坐标，fx、fy表示相机焦距，u0，v0表示像素，xw、yw和zw表示世界坐标系下的坐标，zc表示相机坐标系下z轴坐标；
获取图片中任意点在世界坐标系与像素坐标系中的位置及相机内参数矩阵，计算出平移矩阵和旋转矩阵，以确定头部位姿；
S104：面部数据的计算，包括：根据所述图像第一图像和第二图像进行数据集构建，并对经过人脸特征定位的视频帧进行处理，在所述数据集中标记出人脸面部和嘴部的特征区域；
通过所述神经网络进行处理，输出分类结果；
S105：所述分类结果进行判定，包括：使用PERCLOS中的P80标准，分别计算头部位姿和面部特征的PERCLOS值，完成机组失能状态的判定。
有益效果
对飞行机组特别是单一飞行员驾驶模式下的机组，在发生机组失能后快速反应，发出警报，可以有效提高飞行安全性，避免由于飞行机组失能而发生飞行事故。监测系统是基于非接触式传感器，相较于接触式传感器，减轻飞行员身体负担，增加驾驶舒适性；通过头部、眼部和嘴部分别进行机组失能状态的判别，使得监测系统的结果更加合理和严谨；使用深度学习神经网络算法，构建的机组失能状态判定数学模型，可以多次迭代，使其更加完善。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为机组失能状态监测流程图；
图2为人脸关键点定位图；
图3为头部欧拉角示意图；
图4为P80原理测量原理图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践方面。
如图1所示的基于非接触式传感器的机组失能状态监测方法，机载驾驶舱内安装摄像头，摄像头采集驾驶员头部的状态参数以形成视频数据，其方法包括：
S101：确定神经网络模型，神经网络模型通过获取的历史数据进行训练而得到，所述历史数据包括飞行员的面部和头部视频数据，进而完成构建识别眼部和嘴部状态的深度学习卷积神经网络模型，然后进行卷积神经网络模型的训练和测试，得出合理的数学模型；
获取所述视频数据，视频数据包括驾驶人员的面部特征图像和头部特征图像，包括了采集在过暗、弱光、正常光和强光的条件下飞行员模拟驾驶的视频数据；数据库应该具有充分足够的飞行员不同状态的面部特征，比如，眼睛睁开、嘴巴闭合或者轻微张开的状态；眼睛闭合、嘴巴打哈欠的状态；频繁点头、眼睛闭合的状态等。
通过阈值的设置识别出明显的面部特征图像、头部特征图像和不明显的面部特征图像和头部特征图像，其中，明显的面部特征图像、头部特征图像作为第二图像；
S102：对图像进行直方图均衡化处理，使明显的面部特征图像、头部特征图像中的图像像素在每个灰度级上的分布均匀，以降低不同光照的影响，并且，不明显的面部特征图像和头部特征图像采用中值滤波法进行平滑滤波，及，进行非线性点运算，以矫正图像所存在的非线性失衡，得到特征明显的第二图像；
对所述第一图像和第二图像使用回归树面部关键点定位算法进行面部特征点定位，得到第一图像和第二图像中预设个关键区域的坐标信息，如图2所示，获取脸部轮廓、眼睛、嘴巴、鼻子等人脸68个关键区域的坐标信息。
S103：头部位姿的识别和监测，头部姿态体现在人体头部在不同方向上的偏转程度，头部姿态包括俯仰角、滚转角及偏航角；
获取头部姿态的标准数据，其中：标准俯仰角方向角度范围为第一范围，标准滚转角方向角度范围为第二范围和标准偏航角方向角度范围为第三范围，具体的：
头部位姿的识别和监测，头部姿态体现在人体头部在不同方向上的偏转程度，如图3所示，头部姿态由俯仰角(pitch angle)、滚转角(roll angle)及偏航角(yaw angle)组成来描述。获取头部姿态的标准数据，其中：标准Pitch方向角度范围为[-60，4°，69.6°]，标准Roll方向角度范围为[-40.9°，36.3°]和标准Yaw方向角度范围为[-79.8°，75.3°]；成年人各个方向的头部运动始终在一个的固定的角度范围内，Pitch方向角度范围为[-60.4°，69.6°]，Roll方向角度范围为[-40.9°，36.3°]，Yaw方向角度范围为[-79.8°，75.3°]。
所有的所述坐标信息进行坐标系转换，包括，通过世界坐标系、像极坐标系、图像坐标系和像素坐标系的转换，得到转换后的公式，表达式为：
其中，/>为3×1矩阵像素坐标，/>为相机内参数矩阵，/>为相机外部参数矩阵；/>为世界坐标，fx，fy表示相机焦距，u0，v0表示像素，xw，yw，zw表示世界坐标系下某一点的坐标，zc表示相机坐标系下该点的z轴坐标；
获取图片中任意点在世界坐标系与像素坐标系中的位置及相机内参数矩阵，计算出平移矩阵和旋转矩阵，以确定头部位姿；
S104：面部数据的计算，包括：根据所述图像第一图像和第二图像进行数据集构建，并对经过人脸特征定位的视频帧进行处理，在所述数据集中标记出人脸面部和嘴部的特征区域，标记方法，例如，人机交互的交互的方式标注或是采用算法进行标注或其他方式进行标注；
通过所述神经网络进行处理，输出分类结果。
S105：所述分类结果进行判定，包括：使用PERCLOS中的P80标准，分别计算头部位姿和面部特征的PERCLOS值，完成机组失能状态的判定，具体的：
包括对头部的判断，其中：
头部：PERCLOS一般包含3个判断标准：EM、P70和P80，P80表示当瞳孔面积有超过70％被眼睛遮住时，就认为眼睛处于闭合状态通过相应的实验表明，P80检测结果最准确，最适合作为疲劳驾驶检测的判断标准。以P80标准的PERCLOS准则为基础，选取20％的角度变化作为机组失能判定的头部姿态依据，当|俯仰角|≥26°或者|滚转角|≥20°时，判定驾驶员的头部姿势为异常；
使用PERCLOS的判断标准再次判断，作为头部姿态疲劳驾驶的判断依据：
式中，n表示头部姿态异常的帧数，N表示视频序列的总帧数，fhead表示嘴巴张开的帧数与总帧数的比值；当驾驶员疲劳驾驶程度越严重时，意味着驾驶员可能出现头部姿态异常可的次数也越多，相应的fhead的值也就越大，
获取头部姿态疲劳驾驶标准值如，为0.15，若fhead大于所述头部姿态疲劳驾驶标准值时，发送失能信号。
包括对眼部的判断，其中：
以P80标准的PERCLOS准则为基础，作为飞行员眼部是否闭合的标准；一次眨眼的P80计算原理如图4所示，计算公式如下：
式中，在整个眼睛睁闭过程中，t1表示眼睛闭合程度将要低于80％时刻，t2表示闭合程度将要低于20％时刻，t3表示将要高于20％时刻，t4表示将要高于80％时刻，t3-t2表示眼睛睁开不到20％的时间，t4-t1表示眼睛完全睁开到完全闭合再到完全睁开的时间，feyes表示眼睛睁开不到20％的时间与眼睛完全睁开到完全闭合再到完全睁开的时间的比值，即P80判断标准；
获取眼睛疲劳驾驶标准值，若feyes大于眼睛疲劳驾驶标准值时，发送失能信号，如，获取P80判断眼睛标准阈值0.15，即当feyes小于等于0.15时，处于正常状态，当feyes大于0.15时，此时失能状态。
包括对嘴部的判断，其中：
驾驶员嘴巴状态一般可以分为三种情况：闭合状态、说话或者唱歌时嘴巴轻微张开状态、嘴巴张开持续时间比较长且幅度比较大的打哈欠状态。打哈欠时嘴巴的状态与正常说话时的状态是不相同的，比如嘴巴张开幅度大小。因此，我们可以根据嘴巴张开幅度大小来判断此时是否是打哈欠状态。为了便于实现嘴部疲劳驾驶检测，本文把打哈欠状态归于嘴巴张开状态，把说话时嘴巴状态归于嘴巴闭合状态。采用PERCLOS的判断标准，嘴部疲劳驾驶判断的公式：
式中，m表示嘴巴张开的帧数，M表示视频序列的总帧数，fmouth表示嘴巴张开的帧数与总帧数的比值；
获取嘴部疲劳驾驶标准值，若fmouth大于嘴部疲劳驾驶标准值时，发送失能信号，具体的：
当驾驶员疲劳驾驶程度越严重时，意味着驾驶员可能打哈欠的次数也越多，相应的fmouth的值也就越大。fmouth值大于0.12时判定为机组失能状态。
作为本案所提供的具体实施方式，S103中所有的所述坐标信息进行坐标系转换，包括：
对于不同人的头部拟合出对应的世界坐标系的三维模型，并根据平移矩阵和旋转矩阵将世界坐标系中的三维模型转换成相机坐标系的三维模型；
至少使用摄像机的焦距参数和光学中心参数将相机坐标系的三维模型转换成图像坐标系的二维模型，再通过对相机进行标定得到的内参矩阵完成图像坐标系到图像像素坐标系的转化。
本发明提供了一种针对单一飞行员驾驶模式下，基于非接触式传感器的机组失能状态监测系统，首先对机组失能进行了定义，明确监测系统的监测对象，然后对视频帧进行预处理以降低在飞行过程中光照对图像的影响，其次对飞行员面部特征点定位和提取，并根据使用PERCLOS中的P80标准对机组状态进行判断，以此来提高飞行安全，降低飞行事故的发生。
包括视频帧预处理、位姿和面部特征点定位提取、机组失能状态的判定三个方面，其中：
视频帧预处理：飞行员在飞行过程中面临驾驶舱光照变换及颠簸震动情况，如驾驶舱在不同飞行阶段与飞行时间会面临正常光照、强光、暗光、侧光等不同光照变换状况，在飞机飞行中遭遇大气湍流时会引发如振颤的飞行颠簸现象，其头部姿态往往不断变化，影响成像质量，因此需要进行预处理，对视频帧进行滤波降噪。
位姿和面部特征点定位识别：本发明使用头部姿态估计算法和深度学习算法对飞行员头部、眼部和嘴部进行识别和监测。在机组飞行过程中，深度学习算法模型会对采集的视频进行监测，快速的识别飞行机组的头部、眼部和嘴部的状态。
机组失能状态的判定：P80标准的PERCLOS准则为基础，分别结合头部位姿摆动幅度和频次、眼睛睁闭状态和眨眼频率以及嘴巴开合状态制定适合机组失能状态的判定依据，并在判定机组失能后发出警告。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种基于非接触式传感器的机组失能状态监测方法，机载驾驶舱内安装摄像头，其特征在于，摄像头采集驾驶员头部的状态参数以形成视频数据，其方法包括：
S101：确定神经网络模型，神经网络模型通过获取的历史数据进行训练而得到，所述历史数据包括飞行员的面部和头部视频数据；
获取所述视频数据，视频数据包括驾驶人员的面部特征图像和头部特征图像，通过阈值的设置识别出明显的面部特征图像、头部特征图像和不明显的面部特征图像和头部特征图像，其中，明显的面部特征图像、头部特征图像作为第二图像；
S102：对图像进行直方图均衡化处理，使明显的面部特征图像、头部特征图像中的图像像素在每个灰度级上的分布均匀，以降低不同光照的影响，并且，不明显的面部特征图像和头部特征图像采用中值滤波法进行平滑滤波，及，进行非线性点运算，以矫正图像所存在的非线性失衡，得到特征明显的第二图像；
对所述第一图像和第二图像使用回归树面部关键点定位算法进行面部特征点定位，得到第一图像和第二图像中预设个关键区域的坐标信息；
S103：头部位姿的识别和监测，头部姿态体现在人体头部在不同方向上的偏转程度，头部姿态包括俯仰角、滚转角及偏航角；
获取头部姿态的标准数据，其中：标准俯仰角方向角度范围为第一范围，标准滚转角方向角度范围为第二范围和标准偏航角方向角度范围为第三范围；
所有的所述坐标信息进行坐标系转换，包括，通过世界坐标系、像极坐标系、图像坐标系和像素坐标系的转换，得到转换后的公式，表达式为：
其中，/>为3×1矩阵像素坐标，为相机内参数矩阵，/>为相机外部参数矩阵；/>为世界坐标，fx、fy表示相机焦距，u0，v0表示像素，xw、yw和zw表示世界坐标系下的坐标，zc表示相机坐标系下z轴坐标；
获取图片中任意点在世界坐标系与像素坐标系中的位置及相机内参数矩阵，计算出平移矩阵和旋转矩阵，以确定头部位姿；
S104：面部数据的计算，包括：根据所述图像第一图像和第二图像进行数据集构建，并对经过人脸特征定位的视频帧进行处理，在所述数据集中标记出人脸面部和嘴部的特征区域；
通过所述神经网络进行处理，输出分类结果；
S105：所述分类结果进行判定，包括：使用PERCLOS中的P80标准，分别计算头部位姿和面部特征的PERCLOS值，完成机组失能状态的判定。
2.根据权利要求1所述的机组失能状态监测方法，其特征在于，S102中的预设个关键区域的坐标信息，包括：
获取人脸中68个关键区域的坐标信息，至少包括脸部轮廓、眼睛、嘴巴和鼻子的区域。
3.根据权利要求1所述的机组失能状态监测方法，其特征在于，S103中所有的所述坐标信息进行坐标系转换，包括：
对于不同人的头部拟合出对应的世界坐标系的三维模型，并根据平移矩阵和旋转矩阵将世界坐标系中的三维模型转换成相机坐标系的三维模型；
至少使用摄像机的焦距参数和光学中心参数将相机坐标系的三维模型转换成图像坐标系的二维模型，再通过对相机进行标定得到的内参矩阵完成图像坐标系到图像像素坐标系的转化。
4.根据权利要求1所述的机组失能状态监测方法，其特征在于，S103中的所述第一范围为[-60.4°，69.6°]，第二范围为[-40.9°，36.3°]，第三范围为[-79.8°，75.3°]。
5.根据权利要求1所述的机组失能状态监测方法，其特征在于，S105中的所述分类结果进行判定，包括对头部的判断，其中：
以P80标准的PERCLOS准则为基础，选取20％的角度变化作为机组失能判定的头部姿态依据，当|俯仰角|≥26°或者|滚转角|≥20°时，判定驾驶员的头部姿势为异常；
使用PERCLOS的判断标准再次判断，作为头部姿态疲劳驾驶的判断依据：
式中，n表示头部姿态异常的帧数，N表示视频序列的总帧数，fhead表示嘴巴张开的帧数与总帧数的比值；
获取头部姿态疲劳驾驶标准值，若fhead大于所述头部姿态疲劳驾驶标准值时，发送失能信号。
6.根据权利要求5所述的机组失能状态监测方法，其特征在于，S105中的所述分类结果进行判定，包括对眼部的判断，其中：
以P80标准的PERCLOS准则为基础，作为飞行员眼部是否闭合的标准；一次眨眼计算公式如下：
式中，在整个眼睛睁闭过程中，t1表示眼睛闭合程度将要低于80％时刻，t2表示闭合程度将要低于20％时刻，t3表示将要高于20％时刻，t4表示将要高于80％时刻，t3-t2表示眼睛睁开不到20％的时间，t4-t1表示眼睛完全睁开到完全闭合再到完全睁开的时间，feyes表示眼睛睁开不到20％的时间与眼睛完全睁开到完全闭合再到完全睁开的时间的比值；
获取眼睛疲劳驾驶标准值，若feyes大于眼睛疲劳驾驶标准值时，发送失能信号。
7.根据权利要求6所述的机组失能状态监测方法，其特征在于，S105中的所述分类结果进行判定，包括对嘴部的判断，其中：
采用PERCLOS的判断标准判断，嘴部疲劳驾驶判断的公式：
式中，m表示嘴巴张开的帧数，M表示视频序列的总帧数，fmouth表示嘴巴张开的帧数与总帧数的比值；
获取嘴部疲劳驾驶标准值，若fmouth大于嘴部疲劳驾驶标准值时，发送失能信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311491993.2A CN117542027A (zh) | 2023-11-09 | 2023-11-09 | 基于非接触式传感器的机组失能状态监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311491993.2A CN117542027A (zh) | 2023-11-09 | 2023-11-09 | 基于非接触式传感器的机组失能状态监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117542027A true CN117542027A (zh) | 2024-02-09 |
Family
ID=89781797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311491993.2A Pending CN117542027A (zh) | 2023-11-09 | 2023-11-09 | 基于非接触式传感器的机组失能状态监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117542027A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455299A (zh) * | 2023-11-10 | 2024-01-26 | 中国民用航空飞行学院 | 一种模拟机复飞训练绩效评价方法和装置 |
-
2023
- 2023-11-09 CN CN202311491993.2A patent/CN117542027A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117455299A (zh) * | 2023-11-10 | 2024-01-26 | 中国民用航空飞行学院 | 一种模拟机复飞训练绩效评价方法和装置 |
| CN117455299B (zh) * | 2023-11-10 | 2024-05-31 | 中国民用航空飞行学院 | 一种模拟机复飞训练绩效评价方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522793B (zh) | 基于机器视觉的多人异常行为检测与识别方法 | |
| CN109389806B (zh) | 基于多信息融合的疲劳驾驶检测预警方法、系统及介质 | |
| CN104616438B (zh) | 一种用于疲劳驾驶检测的打哈欠动作检测方法 | |
| CN103839379B (zh) | 汽车及用于其的驾驶员疲劳预警检测方法和系统 | |
| CN109614939B (zh) | 基于人体姿态估计的“玩手机”行为检测识别方法 | |
| CN202257856U (zh) | 驾驶员疲劳驾驶监控装置 | |
| CN112016457A (zh) | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 | |
| CN105868690A (zh) | 识别驾驶员打手机行为的方法和装置 | |
| CN117542027A (zh) | 基于非接触式传感器的机组失能状态监测方法 | |
| CN106295474B (zh) | 船舶驾驶员的疲劳检测方法、系统和服务器 | |
| CN111597974A (zh) | 一种基于tof相机车厢内人员活动的监控方法及系统 | |
| CN110147738A (zh) | 一种驾驶员疲劳监测预警方法及系统 | |
| CN108446673A (zh) | 一种基于面部识别的管制员疲劳预警方法 | |
| CN113392765A (zh) | 一种基于机器视觉的摔倒检测方法和系统 | |
| CN109919134A (zh) | 一种基于视觉的运营车辆人员异常行为检测方法 | |
| CN112660048A (zh) | 基于图像识别的多屏电源管理方法、装置、系统及汽车 | |
| CN113743279B (zh) | 船舶驾驶人员状态监测方法、系统、存储介质及设备 | |
| CN113989886B (zh) | 基于人脸识别的船员身份验证方法 | |
| CN114492656A (zh) | 一种基于计算机视觉和传感器的疲劳度监测系统 | |
| CN204706141U (zh) | 可穿戴设备 | |
| CN114792437A (zh) | 一种基于面部特征的安全驾驶行为分析的方法及系统 | |
| JP7443283B2 (ja) | 覚醒度推定方法、覚醒度推定装置及び覚醒度推定プログラム | |
| CN116597427B (zh) | 一种基于深度学习的舰船驾驶台身份识别方法 | |
| TWI815680B (zh) | 艙內偵測方法及其系統 | |
| Chinta et al. | Driver Distraction Detection and Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |