CN110069979A - 管制员状态检测方法、装置及系统 - Google Patents

管制员状态检测方法、装置及系统 Download PDF

Info

Publication number
CN110069979A
CN110069979A CN201910162905.1A CN201910162905A CN110069979A CN 110069979 A CN110069979 A CN 110069979A CN 201910162905 A CN201910162905 A CN 201910162905A CN 110069979 A CN110069979 A CN 110069979A
Authority
CN
China
Prior art keywords
controller
human face
face characteristic
characteristic point
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910162905.1A
Other languages
English (en)
Inventor
陆峰
杨泽
赵沁平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910162905.1A priority Critical patent/CN110069979A/zh
Publication of CN110069979A publication Critical patent/CN110069979A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种管制员状态检测方法、装置及系统，该方法，包括：采集管制员的初始图像，处理后获得输入图像；将所述输入图像输入人脸模型，匹配获得所述管制员的人脸特征点；将所述人脸特征点与三维头部模型匹配，得到头部位置姿态数据；根据所述人脸特征点，通过几何计算获得眨眼信息；将所述人脸特征点输入表情检测模型，获得面部表情信息；根据所述头部位置姿态数据、面部表情信息以及眨眼信息，判断所述管制员是否出现疲劳状态和/或者是否专心等，以提高管制员状态检测的高效性、准确性，同时降低了检测设备的成本。

Description

管制员状态检测方法、装置及系统
技术领域
本发明涉及计算机识别技术领域，尤其涉及一种管制员状态检测方法、装置及系统。
背景技术
随着航空飞行器的快速发展，飞行器也随之越来越多，为保证安全和有序的飞行，空中交通管制员需要利用通信、导航技术和监控手段对飞行器飞行活动进行监视并依据具体情况发出对应指令，分秒的疏忽会造成不可挽回的后果。因此对管制员的精神状态具有较高的要求。
目前，为保持管制员工作中饱满的精神状态，主要依靠规章制度以及工作时间的安排来实现，例如管制员工作时长一般不超过1小时，同一个席位的工作需要由两位管制员共同完成、由领班负责协调和监管管制员的工作状态等等，这种监管方法除了检测效率不高，还不利于及时发现问题。
虽然随着空管新技术新设备的不断引进，通过给管制员佩戴相应的传感器来测量其心跳、皮电等，间接检测管制员的精神状态，这些仪器设备的佩戴对管制员的心理造成很大影响。即使利用眼动仪或其他设备采集来分析管制员工作时的眼动行为等对管制员疲劳状态进行测量，但这些设备需要占用一定空间且成本较高，另因检测设备系统未开源、计算需求较大等缺点，导致对管制员状态监测精准度不佳。
发明内容
本发明提供一种管制员状态检测方法、装置及系统，以提高管制员状态检测的高效性、准确性，同时降低了检测设备的成本。
第一方面，本发明实施例提供的一种管制员状态检测方法，包括：
采集管制员的初始图像，处理后获得输入图像；
将所述输入图像输入人脸模型，匹配获得所述管制员的人脸特征点；
将所述人脸特征点与三维头部模型匹配，得到头部位置姿态数据；
根据所述人脸特征点，通过几何计算获得眨眼信息；
将所述人脸特征点输入表情检测模型，获得面部表情信息；
根据所述头部位置姿态数据、面部表情信息以及眨眼信息，判断所述管制员是否出现疲劳状态和/或者是否专心。
在一种可能的设计中，采集管制员的初始图像，包括：
利用摄像头实时采集所述管制员的初始视频，按帧读取所述初始视频中的初始图像。
在一种可能的设计中，所述人脸模型包括：卷积专家局部约束支路、卷积专家网络响应图计算支路、点分布模型的形状参数更新支路；其中：
所述卷积专家局部约束支路用于根据人脸对应的像素区域，检测得到与单个人脸特征点位置对齐的概率响应图；
所述卷积专家网络响应图计算支路用于根据所述概率响应图，计算得到人脸特征点的三维位置坐标；
所述点分布模型的形状参数更新支路用于对所述人脸特征点的三维位置坐标进行优化，得到管制员的人脸特征点。
在一种可能的设计中，将所述人脸特征点与三维头部模型匹配，得到头部位置姿态数据，包括：
将所述人脸特征点的三维位置坐标代入所述三维头部模型的优化函数，利用最小二乘法经过多个人脸特征点的位置坐标迭代后，获得所述优化函数中头部位置最优参数，得到头部位置姿态数据。
在一种可能的设计中，根据所述人脸特征点，通过几何计算获得眨眼信息，包括：
根据人眼的二维位置坐标运算得到所述人眼的纵横比值，按照预设时间段分别计算所述纵横比值的最大值和最小值，进而得到所述最大值与最小值的平均值，获得眨眼动作以及所述眨眼动作对应的眨眼信息，其中所述眨眼信息包括：眨眼次数、眨眼频率、眨眼间隔以及眼睛闭合信息。
在一种可能的设计中，将所述人脸特征点输入表情检测模型，获得面部表情信息，包括：
根据所述人脸特征点标出人脸位置，并通过所述表情检测模型的局部约束神经场的检测支路将所述人脸特征点分布模型参数转化为几何特征；
根据所述几何特征获得对应的区域图像，将所述区域图像划分成多个小图像，统计每个所述小图像对应的梯度直方图，选择其中多个所述小图像作为一组图像，将所述区域图像内所有组的图像对应的特征串联，得到特征向量；
将所述特征向量输入所述表情检测模型的识别支路进行表情分类，得到所述面部表情信息。
在一种可能的设计中，根据所述头部位置姿态数据、面部表情信息以及眨眼信息，判断所述管制员是否出现疲劳状态和/或者是否专心，包括：
按照预设规则进行分析，若所述头部位置姿态数据、面部表情信息以及眨眼信息中任一大于预设阈值，则判断所述管制员出现疲劳状态和/或者不专心；
若所述头部位置姿态数据、面部表情信息以及眨眼信息均小于预设阈值，则判断所述管制员未出现疲劳状态和/或者专心。
在一种可能的设计中，判断所述管制员出现疲劳状态和/或者不专心，包括：
若所述头部位置姿态数据、面部表情信息以及眨眼信息中任多分别大于预设阈值，则判断所述管制员出现疲劳状态和/或者不专心。
第二方面，本发明实施例提供的一种管制员状态检测装置，包括：
采集模块，用于采集管制员的初始图像，处理后获得输入图像；
匹配模块，用于将所述输入图像输入人脸模型，匹配获得所述管制员的人脸特征点；
获得模块，用于将所述人脸特征点与三维头部模型匹配，得到头部位置姿态数据；
计算模块，用于根据所述人脸特征点，通过几何计算获得眨眼信息；
还用于将所述人脸特征点输入表情检测模型，获得面部表情信息；
判断模块，用于根据所述头部位置姿态数据、面部表情信息以及眨眼信息，判断所述管制员是否出现疲劳状态和/或者是否专心。
在一种可能的设计中，采集管制员的初始图像，包括：
利用摄像头实时采集所述管制员的初始视频，按帧读取所述初始视频中的初始图像。
在一种可能的设计中，所述人脸模型包括：卷积专家局部约束支路、卷积专家网络响应图计算支路、点分布模型的形状参数更新支路；其中：
所述卷积专家局部约束支路用于根据人脸对应的像素区域，检测得到与单个人脸特征点位置对齐的概率响应图；
所述卷积专家网络响应图计算支路用于根据所述概率响应图，计算得到人脸特征点的三维位置坐标；
所述点分布模型的形状参数更新支路用于对所述人脸特征点的三维位置坐标进行优化，得到管制员的人脸特征点。
在一种可能的设计中，所述获得模块，具体用于：
将所述人脸特征点的三维位置坐标代入所述三维头部模型的优化函数，利用最小二乘法经过多个人脸特征点的位置坐标迭代后，获得所述优化函数中头部位置最优参数，得到头部位置姿态数据。
在一种可能的设计中，所述计算模块，具体用于：
根据人眼的二维位置坐标运算得到所述人眼的纵横比值，按照预设时间段分别计算所述纵横比值的最大值和最小值，进而得到所述最大值与最小值的平均值，获得眨眼动作以及所述眨眼动作对应的眨眼信息，其中所述眨眼信息包括：眨眼次数、眨眼频率、眨眼间隔以及眼睛闭合信息。
在一种可能的设计中，所述计算模块，还用于：
根据所述人脸特征点标出人脸位置，并通过所述表情检测模型的局部约束神经场的检测支路将所述人脸特征点分布模型参数转化为几何特征；
根据所述几何特征获得对应的区域图像，将所述区域图像划分成多个小图像，统计每个所述小图像对应的梯度直方图，选择其中多个所述小图像作为一组图像，将所述区域图像内所有组的图像对应的特征串联，得到特征向量；
将所述特征向量输入所述表情检测模型的识别支路进行表情分类，得到所述面部表情信息。
在一种可能的设计中，所述判断模块，具体用于：
按照预设规则进行分析，若所述头部位置姿态数据、面部表情信息以及眨眼信息中任一大于预设阈值，则判断所述管制员出现疲劳状态和/或者不专心；
若所述头部位置姿态数据、面部表情信息以及眨眼信息均小于预设阈值，则判断所述管制员未出现疲劳状态和/或者专心。
在一种可能的设计中，判断所述管制员出现疲劳状态和/或者不专心，包括：
若所述头部位置姿态数据、面部表情信息以及眨眼信息中任多分别大于预设阈值，则判断所述管制员出现疲劳状态和/或者不专心。
第三方面，本发明实施例提供的一种管制员状态检测系统，包括：存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的管制员状态检测方法。
第四方面，本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的管制员状态检测方法。
本发明提供一种管制员状态检测方法、装置及系统，该方法，包括：采集管制员的初始图像，处理后获得输入图像；将所述输入图像输入人脸模型，匹配获得所述管制员的人脸特征点；将所述人脸特征点与三维头部模型匹配，得到头部位置姿态数据；根据所述人脸特征点，通过几何计算获得眨眼信息；将所述人脸特征点输入表情检测模型，获得面部表情信息；根据所述头部位置姿态数据、面部表情信息以及眨眼信息，判断所述管制员是否出现疲劳状态和/或者专心，以提高管制员状态检测的高效性、准确性，同时降低了检测设备的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一应用场景的示意图；
图2为本发明实施例一提供的管制员状态检测方法的流程图；
图3为本发明实施例二提供的管制员状态检测装置的结构示意图；
图4为本发明实施例三提供的管制员状态检测系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明一应用场景的示意图，如图1所示，管制员状态检测系统12采用摄像头11实时采集管制员的人脸视频，将该管制员的人脸视频输入管制员状态检测系统12中，经过处理分析人脸视频中的人脸图像，得到该管制员的头部位置姿态数据、面部表情信息以及眨眼信息，可以判断获得该管制员是否出现疲劳状态和/或者专心。应用上述管制员状态检测系统可以提高管制员状态检测的高效性、准确性，同时降低检测设备的成本。
图2为本发明实施例一提供的管制员状态检测方法的流程图，如图2所示，本实施例中的方法可以包括：
S101、采集管制员的初始图像，处理后获得输入图像。
具体的，利用摄像头实时采集管制员的初始视频，按帧读取初始视频中的初始图像，处理后获得输入图像。
本实施例中，管制员状态检测系统采用单目摄像头或者红外摄像头进行补光来实时采集管制员初始视频，并从该初始视频中按帧依次读取一张或者多张初始图像，处理后获得初始图像对应的输入图像。在一种可选的实施例中，摄像头可以采集管制员的正脸、侧脸视频，均可以应用上述管制员检测系统判断该管制员是否出现疲劳状态和/或者专心。在一种可选的实施例中，对初始图像进行处理方式可以包括分量法、最大值法、平均值法以及加权平均法。本实施例中对图像处理方式不作限定，本领域技术人员可以根据实际情况进行具体限定，以获得更好的效果。
S102、将输入图像输入人脸模型，匹配获得管制员的人脸特征点。
具体的，人脸模型可以包括卷积专家局部约束支路、卷积专家网络(CEN，Convolutional Experts Network)响应图计算支路、点分布模型的形状参数更新支路。其中：卷积专家局部约束支路用于根据人脸对应的像素区域，检测得到与单个人脸特征点位置对齐的概率响应图；卷积专家网络响应图计算支路用于根据概率响应图，计算得到人脸特征点的三维位置坐标；点分布模型的形状参数更新支路用于对人脸特征点的三维位置坐标进行优化，得到管制员的人脸特征点。在一种可选的实施例中，人脸模型基于大量人脸数据训练得到。
本实施例中，将输入图像输入人脸模型，经过卷积专家局部约束支路(例如采用卷积专家局部约束模型(CE-CLM，Convolutional Experts Constrained Local Model；该局部约束魔偶性可以对表情、照明、面部毛发、化妆等复杂的人脸特征点外观进行建模，尤其对管制员侧脸的检测准确性极高、鲁棒性较佳)，根据人脸在输入图像中对应的像素区域，检测得到与单个人脸特征点位置对齐的概率响应图，在一种可选的实施例中，给定输入的人脸输入图像，基于人脸特征点位置的估计，从中提取大小为n×n的像素区域，通过评估各个像素位置的特征点对齐概率，准确定位单个人脸特征点位置，并输出与单个人脸特征点位置对齐的概率响应图。经过卷积专家网络响应图计算支路，根据该概率响应图，计算得到人脸特征点的三维位置坐标。经过点分布模型的状态参数更新支路对人脸特征点的三维位置坐标进行优化，得到管制员的人脸特征点。其中，点分布模型的状态参数更新支路中点分布模型(PDM，Point Distribution Model)将三维位置坐标参数化为：其中为第i个特征点位置的平均值，Φi是3*m主成分矩阵，q是非刚体形状参数的m维向量，s、R和t是刚性参数。通过优化其中p*为特征点位置的最佳参数，p为当前估计值，Di为输入图像I人脸特征点位置对齐概率，R为点分布模型实施的正则化。
本实施例中采用的人脸模型可以更加精准的获得管制员的人脸特征点，以获得头部位置姿态数据、面部表情信息以及眨眼信息。需要说明的是，本实施例不具体限定人脸模型，本领域的技术人员可以根据实际情况选择不同的训练数据对人脸模型进行训练，或者可以根据使用场景的复杂情况，选择不同的算法对模型进行替换，并进行化简和处理速度的优化。
S103、将人脸特征点与三维头部模型匹配，得到头部位置姿态数据。
具体的，将人脸特征点的三维位置坐标代入三维头部模型的优化函数，利用最小二乘法经过多个人脸特征点的位置坐标迭代后，获得优化函数中头部位置最优参数，得到头部位置姿态数据。
本实施例中，三维头部模型的优化函数可以包括： 其中为人脸特征点三维位置坐标，pi为人脸特征点二维位置坐标，K为相机内参数，s为比例系数，(R，t)为头部的旋转、平移。用最小二乘法经过多个人脸特征位置点迭代后，得到以上函数的最优(R，t)参数，使得误差函数最小，得到头部位置姿态数据。
需要说明的是，本实施例采用上述优化函数可以精准的得到头部位置姿态数据。然而本领域的技术人员可以根据实际情况采用不同的优化算法来与三维头部模型进行匹配并计算头部姿态，也可以利用人脸特征点的相对位置关系计算头部姿态。还可以使用不同的方法通过定位人脸特征点位置来计算头部位姿。此处不作具体限定。
S104、根据人脸特征点，通过几何计算获得眨眼信息。
具体的，根据人眼的二维位置坐标运算得到人眼的纵横比值，按照预设时间段分别计算纵横比值的最大值和最小值，进而得到最大值与最小值的平均值，获得眨眼动作以及眨眼动作对应的眨眼信息，其中眨眼信息包括：眨眼次数、眨眼频率、眨眼间隔以及眼睛闭合信息。在一种可选的实施例中，人眼的纵横比值为上下眼睑间距离与左右眼角距离的比值。
本实施例中，人脸特征点可以包括：上下眼睑、左右眼角，将上下眼睑、左右眼角的二维位置坐标进行运算，得到人眼的纵横比值，其中人眼的纵横比值EAR的表达式如下：
其中P2、P3是上眼睑，P6、P5是下眼睑，P1、P4分别为左右眼角的特征点，分子中计算眼睛特征点在垂直方向上的距离，分母计算眼睛特征点在水平方向上的距离。由于水平点只有一组，而垂直点有两组，所以分母乘以2，以保证两组特征点的权重相同。为了排除头部位置变化引起的人眼纵横比值EAR的变化，采用自适应更新阈值的方法，分别计算一段时间内人眼纵横比值EAR的最大值、最小值，取最大值与最小值的平均值作为该段时间的平均阈值Threshold，当发生眨眼动作时，人眼纵横比值会迅速下降，当人眼纵横比值连续几帧低于一定阈值Threshold时，则判断管制员发生眨眼动作。此外，为排除因头部位置变化、眨眼动作等引发的前后阈值变化过大、人眼纵横比值变化较小等因素，当若干帧中的人眼纵横比值EAR低于眨眼阈值Threshold时，记作1次眨眼，并记录眨眼动作发生的起始与终止帧号，以便计算其他眨眼信息，如眼睛闭合率(PERCLOSE，percentage of eyelid closure of the pupil)等。
S105、将人脸特征点输入表情检测模型，获得面部表情信息。
具体的，根据人脸特征点标出人脸位置，并通过表情检测模型的局部约束神经场的检测支路将人脸特征点分布模型参数转化为几何特征；根据几何特征获得对应的区域图像，将区域图像划分成多个小图像，统计每个小图像对应的梯度直方图，选择其中多个小图像作为一组图像，将区域图像内所有组的图像对应的特征串联，得到特征向量；将特征向量输入表情检测模型的识别支路进行表情分类，得到面部表情信息。
本实施例中，面部表情类别可以包括：皱眉、眉毛低沉、嘴角上扬、下颚下降、抿嘴等等。在一种可选的实施例中，管制员状态检测系统可以选择上述面部表情的任一或者任多进行使用。
根据人脸特征点标出人脸位置，并通过表情检测模型的局部约束神经场的检测支路将人脸特征点分布模型参数转化为几何特征；在一种可选的实施例中，局部约束神经场的检测支路可以包括局部约束神经场(CLNF,Constrained Local Neural Field)。根据几何特征获得对应的区域图像，将区域图像划分成多个小图像，统计每个小图像对应的梯度直方图(HOG，Histogram of oriented gradient)，选择其中多个小图像作为一组图像，将区域图像内所有组的图像对应的特征串联，得到特征向量；将特征向量输入表情检测模型的识别支路进行表情分类，得到面部表情信息，例如皱眉、眉毛低沉、嘴角上扬、下颚下降、抿嘴等。在一种可选的实施例中，表情检测模型的识别支路采用线性核函数的SVM(支持向量机)作为表情分类器进行表情分类。
本实施例中的表情检测模型可以更加便捷、精准的对人脸特征点进行分类，得到面部表情信息。需要说明的是本领域的技术人员可以根据实际情况选择不同的分类算法和训练数据对表情检测模型进行训练。还可以根据使用场景的复杂情况，对表情检测模型进行化简和处理速度的优化，此处不作具体限定。
S106、根据头部位置姿态数据、面部表情信息以及眨眼信息，判断管制员是否出现疲劳状态和/或者是否专心。
具体的，按照预设规则进行分析，若头部位置姿态数据、面部表情信息以及眨眼信息中任一大于预设阈值，则判断管制员出现疲劳状态和/或者不专心；若头部位置姿态数据、面部表情信息以及眨眼信息均小于预设阈值，则判断管制员未出现疲劳状态和/或者专心。
本实施例中，预设规则经过大量相关实验，例如利用管制员填写调查问卷得到当前管制员的工作状态，使该管制员执行相同时间的管制任务，并记录执行任务时的表情、头部姿态以及眨眼数据；通过采集同等程度疲劳的不同管制员的表情、头部姿态和眨眼相关数据，将管制员状态分为清醒、疲劳状态与专心、不专心等等。根据头部位置姿态数据、面部表情信息以及眨眼信息，判断管制员是否出现疲劳状态，对管制员的单个状态指标(例如出现打哈欠次数变多、PERCLOSE阈值变大、头部较屏幕距离变近等)进行综合评价，若头部位置姿态数据、面部表情信息以及眨眼信息中任一出现指标超过阈值时，则判断管制员出现疲劳状态和/或者不专心。例如，若管制员头部位置姿态数据超过阈值时，则判断管制员东张西望，出现疲劳状态和/或者不专心。若头部位置姿态数据、面部表情信息以及眨眼信息均小于预设阈值，则判断管制员未出现疲劳状态和/或者专心。
在一种可选的实施例中，判断管制员出现疲劳状态和/或者不专心，还包括：若头部位置姿态数据、面部表情信息以及眨眼信息中任多分别大于预设阈值，则判断管制员出现疲劳状态和/或者不专心。例如，在某预设时间段内得到管制员打哈欠次数超过阈值信息、眨眼次数超过阈值信息，可以判断该管制员出现疲劳状态和/或者不专心。又例如，若管制员头部位置姿态数据超过阈值、眨眼次数变多，则判断管制员不专心。再例如，若管制员头部位置姿态数据超过阈值、且眼睛闭合信息超过阈值，则判断管制员头部面朝屏幕的距离变近、长时间闭眼，出现疲劳状态和/或者不专心。
在一种可选的实施例中，基于管制员出现疲劳状态和/或者专心的统计数据应用于相应管制员负荷、能力评判等监控方法中，可以实现对管制员负荷的监控及能力评判。例如，统计一定时间内管制员的眨眼信息、头部姿态数据以及表情变化情况，可选取其中的一个或多个数据指标作为评价管制员当前负荷以及能力的评价指标。例如，采用头部姿态数据和表情变化该两项数据指标作为评价管制员当前负荷的评价指标，统计该管制员在工作时长内的头部姿态数据超过阈值，且嘴角上扬、下颚下降等面部表情信息超过阈值，则评价该管制员的当前负荷状态不佳。又例如，采用眨眼信息作为评价管制员能力评价的指标，统计一定时间内管制员的眨眼信息(例如眨眼间隔)未超过阈值，则评价管制员的能力状态良好。其具体实现过程类似于判断管制员是否出现疲劳状态和/或者专心，此处不再赘述。
图3为本发明实施例二提供的管制员状态检测装置的结构示意图，如图3所示，该管制员状态检测装置可以包括：
采集模块21，用于采集管制员的初始图像，处理后获得输入图像；
匹配模块22，用于将输入图像输入人脸模型，匹配获得管制员的人脸特征点；
获得模块23，用于将人脸特征点与三维头部模型匹配，得到头部位置姿态数据；
计算模块24，用于根据人脸特征点，通过几何计算获得眨眼信息；
还用于将人脸特征点输入表情检测模型，获得面部表情信息；
判断模块25，用于根据头部位置姿态数据、面部表情信息以及眨眼信息，判断管制员是否出现疲劳状态和/或者专心。
在一种可选的实施例中，采集管制员的初始图像，包括：
利用摄像头实时采集管制员的初始视频，按帧读取初始视频中的初始图像。
在一种可选的实施例中，人脸模型包括：卷积专家局部约束支路、卷积专家网络响应图计算支路、点分布模型的形状参数更新支路；其中：
卷积专家局部约束支路用于根据人脸对应的像素区域，检测得到与单个人脸特征点位置对齐的概率响应图；
卷积专家网络响应图计算支路用于根据概率响应图，计算得到人脸特征点的三维位置坐标；
点分布模型的形状参数更新支路用于对人脸特征点的三维位置坐标进行优化，得到管制员的人脸特征点。
在一种可选的实施例中，获得模块23，具体用于：
将人脸特征点的三维位置坐标代入三维头部模型的优化函数，利用最小二乘法经过多个人脸特征点的位置坐标迭代后，获得优化函数中头部位置最优参数，得到头部位置姿态数据。
在一种可选的实施例中，计算模块24，具体用于：
根据人眼的二维位置坐标运算得到人眼的纵横比值，按照预设时间段分别计算纵横比值的最大值和最小值，进而得到最大值与最小值的平均值，获得眨眼动作以及眨眼动作对应的眨眼信息，其中眨眼信息包括：眨眼次数、眨眼频率、眨眼间隔以及眼睛闭合信息。
在一种可选的实施例中，计算模块24，还用于：
根据人脸特征点标出人脸位置，并通过表情检测模型的局部约束神经场的检测支路将人脸特征点分布模型参数转化为几何特征；
根据几何特征获得对应的区域图像，将区域图像划分成多个小图像，统计每个小图像对应的梯度直方图，选择其中多个小图像作为一组图像，将区域图像内所有组的图像对应的特征串联，得到特征向量；
将特征向量输入表情检测模型的识别支路进行表情分类，得到面部表情信息。
在一种可选的实施例中，判断模块25，具体用于：
按照预设规则进行分析，若头部位置姿态数据、面部表情信息以及眨眼信息中任一大于预设阈值，则判断管制员出现疲劳状态和/或者不专心；
若头部位置姿态数据、面部表情信息以及眨眼信息均小于预设阈值，则判断管制员未出现疲劳状态和/或者专心。
在一种可选的实施例中，判断管制员出现疲劳状态和/或者不专心，包括：
若头部位置姿态数据、面部表情信息以及眨眼信息中任多分别大于预设阈值，则判断管制员出现疲劳状态和/或者不专心。
本实施例的管制员状态检测装置，可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
图4为本发明实施例三提供的管制员状态检测系统的结构示意图，如图4所示，本实施例的管制员状态检测系统30可以包括：处理器31和存储器32。
存储器32，用于存储计算机程序(如实现上述管制员状态检测方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器32中。并且上述的计算机程序、计算机指令、数据等可以被处理器31调用。
处理器31，用于执行存储器32存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器31和存储器32可以是独立结构，也可以是集成在一起的集成结构。当处理器31和存储器32是独立结构时，存储器32、处理器31可以通过总线33耦合连接。
本实施例的管制员状态检测系统，可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种管制员状态检测方法，其特征在于，包括：
采集管制员的初始图像，处理后获得输入图像；
将所述输入图像输入人脸模型，匹配获得所述管制员的人脸特征点；
将所述人脸特征点与三维头部模型匹配，得到头部位置姿态数据；
根据所述人脸特征点，通过几何计算获得眨眼信息；
将所述人脸特征点输入表情检测模型，获得面部表情信息；
根据所述头部位置姿态数据、面部表情信息以及眨眼信息，判断所述管制员是否出现疲劳状态和/或者是否专心。
2.根据权利要求1所述的方法，其特征在于，采集管制员的初始图像，包括：
利用摄像头实时采集所述管制员的初始视频，按帧读取所述初始视频中的初始图像。
3.根据权利要求1所述的方法，其特征在于，所述人脸模型包括：卷积专家局部约束支路、卷积专家网络响应图计算支路、点分布模型的形状参数更新支路；其中：
所述卷积专家局部约束支路用于根据人脸对应的像素区域，检测得到与单个人脸特征点位置对齐的概率响应图；
所述卷积专家网络响应图计算支路用于根据所述概率响应图，计算得到人脸特征点的三维位置坐标；
所述点分布模型的形状参数更新支路用于对所述人脸特征点的三维位置坐标进行优化，得到管制员的人脸特征点。
4.根据权利要求1所述的方法，其特征在于，将所述人脸特征点与三维头部模型匹配，得到头部位置姿态数据，包括：
将所述人脸特征点的三维位置坐标代入所述三维头部模型的优化函数，利用最小二乘法经过多个人脸特征点的位置坐标迭代后，获得所述优化函数中头部位置最优参数，得到头部位置姿态数据。
5.根据权利要求1所述的方法，其特征在于，根据所述人脸特征点，通过几何计算获得眨眼信息，包括：
根据人眼的二维位置坐标运算得到所述人眼的纵横比值，按照预设时间段分别计算所述纵横比值的最大值和最小值，进而得到所述最大值与最小值的平均值，获得眨眼动作以及所述眨眼动作对应的眨眼信息，其中所述眨眼信息包括：眨眼次数、眨眼频率、眨眼间隔以及眼睛闭合信息。
6.根据权利要求1所述的方法，其特征在于，将所述人脸特征点输入表情检测模型，获得面部表情信息，包括：
根据所述人脸特征点标出人脸位置，并通过所述表情检测模型的局部约束神经场的检测支路将所述人脸特征点分布模型参数转化为几何特征；
根据所述几何特征获得对应的区域图像，将所述区域图像划分成多个小图像，统计每个所述小图像对应的梯度直方图，选择其中多个所述小图像作为一组图像，将所述区域图像内所有组的图像对应的特征串联，得到特征向量；
将所述特征向量输入所述表情检测模型的识别支路进行表情分类，得到所述面部表情信息。
7.根据权利要求1所述的方法，其特征在于，根据所述头部位置姿态数据、面部表情信息以及眨眼信息，判断所述管制员是否出现疲劳状态和/或者是否专心，包括：
按照预设规则进行分析，若所述头部位置姿态数据、面部表情信息以及眨眼信息中任一大于预设阈值，则判断所述管制员出现疲劳状态和/或者不专心；
若所述头部位置姿态数据、面部表情信息以及眨眼信息均小于预设阈值，则判断所述管制员未出现疲劳状态和/或者专心。
8.根据权利要求7所述的方法，其特征在于，判断所述管制员出现疲劳状态和/或者不专心，包括：
若所述头部位置姿态数据、面部表情信息以及眨眼信息中任多分别大于预设阈值，则判断所述管制员出现疲劳状态和/或者不专心。
9.一种管制员状态检测装置，其特征在于，包括：
采集模块，用于采集管制员的初始图像，处理后获得输入图像；
匹配模块，用于将所述输入图像输入人脸模型，匹配获得所述管制员的人脸特征点；
获得模块，用于将所述人脸特征点与三维头部模型匹配，得到头部位置姿态数据；
计算模块，用于根据所述人脸特征点，通过几何计算获得眨眼信息；
还用于将所述人脸特征点输入表情检测模型，获得面部表情信息；
判断模块，用于根据所述头部位置姿态数据、面部表情信息以及眨眼信息，判断所述管制员是否出现疲劳状态和/或者是否专心。
10.一种管制员状态检测系统，其特征在于，包括：存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的管制员状态检测方法。
CN201910162905.1A 2019-03-05 2019-03-05 管制员状态检测方法、装置及系统 Pending CN110069979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910162905.1A CN110069979A (zh) 2019-03-05 2019-03-05 管制员状态检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910162905.1A CN110069979A (zh) 2019-03-05 2019-03-05 管制员状态检测方法、装置及系统

Publications (1)

Publication Number Publication Date
CN110069979A true CN110069979A (zh) 2019-07-30

Family

ID=67366027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910162905.1A Pending CN110069979A (zh) 2019-03-05 2019-03-05 管制员状态检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110069979A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461012A (zh) * 2020-04-01 2020-07-28 要文瑾 空中交通管制场景下的人员行为监测方法及系统
CN111798551A (zh) * 2020-07-20 2020-10-20 网易（杭州）网络有限公司 虚拟表情生成方法及装置
CN112347974A (zh) * 2020-11-22 2021-02-09 上海祐云信息技术有限公司 人体头部姿态估计算法及操作员工作状态识别系统
CN112446360A (zh) * 2020-12-15 2021-03-05 作业帮教育科技（北京）有限公司 目标行为检测方法、装置及电子设备
CN113198067A (zh) * 2021-06-03 2021-08-03 浙大城市学院 自动医护监控系统
CN113780125A (zh) * 2021-08-30 2021-12-10 武汉理工大学 一种驾驶员多特征融合的疲劳状态检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103340637A (zh) * 2013-06-06 2013-10-09 同济大学 基于眼动与脑电融合的驾驶员警觉度智能监控系统及方法
CN106295600A (zh) * 2016-08-18 2017-01-04 宁波傲视智绘光电科技有限公司 驾驶员状态实时检测方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103340637A (zh) * 2013-06-06 2013-10-09 同济大学 基于眼动与脑电融合的驾驶员警觉度智能监控系统及方法
CN106295600A (zh) * 2016-08-18 2017-01-04 宁波傲视智绘光电科技有限公司 驾驶员状态实时检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AMIR ZADEH: "Convolutional Experts Constrained Local Model for 3D Facial Landmark Detection", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》 *
TADAS BALTRUSAITIS: "Cross-dataset learning and person-specific normalisation for automatic Action Unit detection", 《2015 11TH IEEE INTERNATIONAL CONFERENCE AND WORKSHOPS ON AUTOMATIC FACE AND GESTURE RECOGNITION》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461012A (zh) * 2020-04-01 2020-07-28 要文瑾 空中交通管制场景下的人员行为监测方法及系统
CN111461012B (zh) * 2020-04-01 2020-10-27 要文瑾 空中交通管制场景下的人员行为监测方法及系统
CN111798551A (zh) * 2020-07-20 2020-10-20 网易（杭州）网络有限公司 虚拟表情生成方法及装置
CN111798551B (zh) * 2020-07-20 2024-06-04 网易（杭州）网络有限公司 虚拟表情生成方法及装置
CN112347974A (zh) * 2020-11-22 2021-02-09 上海祐云信息技术有限公司 人体头部姿态估计算法及操作员工作状态识别系统
CN112446360A (zh) * 2020-12-15 2021-03-05 作业帮教育科技（北京）有限公司 目标行为检测方法、装置及电子设备
CN113198067A (zh) * 2021-06-03 2021-08-03 浙大城市学院 自动医护监控系统
CN113780125A (zh) * 2021-08-30 2021-12-10 武汉理工大学 一种驾驶员多特征融合的疲劳状态检测方法及装置

Similar Documents

Publication Publication Date Title
CN110069979A (zh) 管制员状态检测方法、装置及系统
KR102339915B1 (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
US20190206546A1 (en) Modeling and learning character traits and medical condition based on 3d facial features
Turk et al. Eigenfaces for recognition
CN110532887A (zh) 一种基于面部特征融合的疲劳驾驶检测方法及系统
CA3039116C (en) Method and apparatus and computer program for establishing a representation of a spectacle lens edge
CN105989331B (zh) 脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法
CN102013011B (zh) 基于正脸补偿算子的多姿态人脸识别方法
CN108664947A (zh) 一种基于表情识别的疲劳驾驶预警方法
JP6207210B2 (ja) 情報処理装置およびその方法
CN104200192A (zh) 驾驶员注视检测系统
CN105144247A (zh) 用户的三维表示的生成
CN105868716A (zh) 一种基于面部几何特征的人脸识别方法
CN106897659A (zh) 眨眼运动的识别方法和装置
CN105224285A (zh) 眼睛开闭状态检测装置和方法
Li et al. Efficient 3D face recognition handling facial expression and hair occlusion
CN106951870A (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN106778489A (zh) 人脸3d特征身份信息库的建立方法及设备
CN109409298A (zh) 一种基于视频处理的视线追踪方法
CN113591763B (zh) 人脸脸型的分类识别方法、装置、存储介质及计算机设备
Huang et al. Soft-margin mixture of regressions
CN109299641B (zh) 一种列车调度员疲劳监测图像自适应处理算法
CN111291701A (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN115482574A (zh) 基于深度学习的屏幕注视点估计方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730

RJ01 Rejection of invention patent application after publication