CN113343940A - 一种基于面部多特征点识别的值班人员疲劳状态检测方法 - Google Patents
一种基于面部多特征点识别的值班人员疲劳状态检测方法 Download PDFInfo
- Publication number
- CN113343940A CN113343940A CN202110812598.4A CN202110812598A CN113343940A CN 113343940 A CN113343940 A CN 113343940A CN 202110812598 A CN202110812598 A CN 202110812598A CN 113343940 A CN113343940 A CN 113343940A
- Authority
- CN
- China
- Prior art keywords
- duty
- feature
- head
- feature points
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种基于面部多特征点识别的值班人员疲劳状态检测方法,其特征在于,包括:选取值班人员多个面部关键点作为面部特征点,这些面部特征点包括眼睛区域特征点、嘴巴区域特征点、头部区域特征点;每隔一段时间采集该值班人员的这些面部特征点的图像数据,并计算得到眨眼检测参数、哈欠检测参数、头部姿态参数;对多个时间段的眨眼检测参数、哈欠检测参数、头部姿态参数进行平均再加权相加得到值班人员疲劳状态feature值,比较feature值与疲劳阈值,判定该值班人员的疲劳状态。本发明从眼睛、嘴巴、头部三个特征区域判断值班人员的眨眼状态、哈欠状态、头部端正状态的程度,综合评估值班人员的疲劳值,有效提高了值班人员疲劳状态判断的准确率。
Description
技术领域
本发明涉及人脸检测、姿态估计等领域,尤其是涉及一种值班人员疲劳状态检测方法。
背景技术
在例如机场管控台、铁路运营室、医院重症监护室等平台的值班人员需要24小时不间断的盯着视频图像,且夜间值班人员容易产生疲惫感,造成值班人员走神、打瞌睡等疲劳状态,极其容易造成重大影响。如果出现紧急消息需要处理,而此时的值班人员处于打瞌睡状态,不能及时处理紧急故障消息,容易产生重大后果。因此提出一种值班人员的疲劳状态检测方法十分重要。
基于面部特征点识别的夜间值班人员疲劳状态检测方法,适用于值班室环境下针对于值班人员的疲劳状态进行评估。但在值班室复杂环境中仅依靠单一的面部特征点定位检测,无法全面对于值班人员疲劳状态进行评估,准确率会出现大幅度波动,严重影响疲劳状态检测的精度和稳定性。本发明通过分析眼睛、嘴巴特征区域的二维平面纵横比,同时分析头部特征区域的俯仰角、偏航角和翻滚角的角度,综合考虑值班人员的眼睛眨眼、嘴巴哈欠、头部姿态,多方位检测值班人员疲劳状态,提高基于面部特征点识别的疲劳状态的准确度。
发明内容
本发明的目的在于提供一种值班人员疲劳状态检测方法,能有效提高值班人员疲劳状态判断的准确率。
本发明提供一种基于面部多特征点识别的值班人员疲劳状态检测方法,包括:选取值班人员多个面部关键点作为面部特征点,这些面部特征点包括眼睛区域特征点、嘴巴区域特征点、头部区域特征点;每隔一段时间采集该值班人员的这些面部特征点的图像数据,并计算得到眨眼检测参数、哈欠检测参数、头部姿态参数;对多个时间段的眨眼检测参数、哈欠检测参数、头部姿态参数进行平均再加权相加得到值班人员疲劳状态feature值,比较feature值与疲劳阈值,判定该值班人员的疲劳状态;其中,上述面部关键点的选取方法包括:每隔一段时间采集一次该值班人员图像数据并进行灰度化处理,将图像分割成若干2*2像素的区域,计算各像素点的梯度幅值与角度值,提取局部图像梯度信息并进行量化得到方向梯度直方图HOG特征向量,所有HOG特征向量组合在一起,得到图像总体特征值并将其作为训练集输出给支持向量机SVM,得到40*40像素的值班人员人脸图像,经特征提取层和3个全卷积层得到一个2*2*64像素的图像,在最后的全连接层将2*2*64像素的多层结构进行线性回归计算后得到68个面部特征点。
其中,所述眼睛区域特征点包括左眼区域特征点与右眼区域特征点,左眼区域特征点包括P37、P38、P39、P40、P41、P42,依序表示从左眼最左侧沿顺时针方向绕左眼均匀分布的位置,右眼区域特征点包括P43、P44、P45、P46、P47、P48,依序表示从右眼最左侧沿顺时针方向绕右眼均匀分布的位置;嘴巴区域特征点包括P49、P52、P55、P58,分别表示嘴巴最左、最上、最右、最下的位置;头部区域特征点包括P1、P5、P7、P9、P12、P17、P22、P23、P28,分别表示头部左上位置、左下位置、左下位置、中部最下位置、右下位置、右上位置、上部左侧位置、上部右侧位置、上部中间位置。
其中,所述眨眼检测参数为眼睛特征区域纵横比,记为EAR,
其中,设置E为眨眼阈值,当EAR≤E,则表示眼睛处于合上状态;当EAR>E,表示眼睛处于睁开状态。
其中,设置M为哈欠阈值,当MAR≤M,表示嘴巴处于合上状态;当MAR>M,判定嘴巴处于张开状态。
其中,所述头部姿态参数数值为0或1,根据相机标定法计算得出pitch、yaw、roll三组欧拉角角度,pitch、yaw、roll分别表示俯仰角、偏航角、翻滚角,其中:yaw=||P28-P9||。当pitch∈[1,15]且roll∈[1,15]且yaw∈[40,50]时,判断头部处于端正姿态,head=0;否则,判断头部处于不端正姿态,head=1。
其中,所述feature值的计算公式为:
其中,ε为噪声系数,自行设置,a0、a1、a2分别为头部特征区域设置权重值、眼睛特征区域设置权重值、嘴巴特征区域设置权重值,a0+a1+a2=1且a0>a1>a2, t(秒)为采集数据的连续时间,k(k∈Z+且k≤10)是单位时间内采集数据的次数,n(n∈Z+)为所采集数据的编号。其中,所述判定该值班人员的疲劳状态包括:设置疲劳阈值f1、f2,且f2>f1,当feature≤f1,判定值班人员轻度疲劳状态;当f1<feature≤f2,判定值班人员中度疲劳状态;当feature>f2,判定值班人员重度疲劳状态。
本发明提供的基于面部多特征点识别的值班人员疲劳状态检测方法,从眼睛、嘴巴、头部三个特征区域判断值班人员的眨眼状态、哈欠状态、头部端正状态的程度,综合评估值班人员的疲劳值,有效提高了值班人员疲劳状态判断的准确率,且面部特征点通过深度学习方式选取,准确高效。
附图说明
图1为本发明实施例基于面部多特征点识别的值班人员疲劳状态检测方法的步骤示意图。
图2为图1所示值班人员疲劳状态检测方法中面部关键点位置示意图。
图3为图1所示值班人员疲劳状态检测方法中pitch、yaw、roll三组欧拉角度方向示意图。
图4为图1所示值班人员疲劳状态检测方法中眼睛、嘴巴、头部特征区域的疲劳值存储滑动窗示意图。
具体实施方式
如图1所示,本发明实施例提供的基于面部多特征点识别的值班人员疲劳状态检测方法,包括如下步骤。
步骤A:图像处理。每隔一段时间采集一次值班人员图像数据并进行灰度化处理,消除无关变量干扰,将图像分割成若干2*2像素的区域。灰度化处理的方式可为:gray=0.39×R+0.5×G+0.11×B,其中:R、G、B分别代表红、绿、蓝三色像素值。
计算其水平方向梯度与垂直方向梯度值:
其中:Gx(x,y)为像素点(x,y)水平方向梯度,Gy(x,y)为像素的(x,y)垂直方向梯度,H(x,y)函数为二维列向量。
提取局部图像梯度信息并进行量化得到方向梯度直方图HOG(HistogramofOriented Gradient)特征向量。所有HOG特征向量组合在一起,得到图像总体特征值并将其作为训练集输出给支持向量机SVM(support vector machines),得到40*40像素的值班人员人脸图像,执行下一步。
步骤B:特征点提取。经特征提取层和3个全卷积层得到一个2*2*64像素的图像,其中激活函数采用|tanh|。在最后的全连接层将2*2*64像素的多层结构进行线性回归计算后得到68个面部特征点,也就是面部关键点(如图2)。其中左眼区域特征点包括P37、P38、P39、P40、P41、P42,依序表示从左眼最左侧沿顺时针方向绕左眼均匀分布的位置,右眼区域特征点包括P43、P44、P45、P46、P47、P48,依序表示从右眼最左侧沿顺时针方向绕右眼均匀分布的位置;嘴巴区域特征点包括P49、P52、P55、P58,分别表示嘴巴最左、最上、最右、最下的位置;头部区域特征点包括P1、P5、P7、P9、P12、P17、P22、P23、P28,分别表示头部左上位置、左下位置、左下位置、中部最下位置、右下位置、右上位置、上部左侧位置、上部右侧位置、上部中间位置。
执行下一步。
步骤C:眨眼检测。选取眼睛特征区域的特征点,计算该特征区域在垂直方向的距离与水平方向的距离之比的二分之一,记为EAR(眼睛特征区域纵横比):
其中:当EAR≤E(E为眨眼阈值),则表示眼睛处于合上状态;当EAR>E,表示眼睛处于睁开状态。
其中:当MAR≤M(M为哈欠阈值),表示嘴巴处于合上状态;当MAR>M,判定嘴巴处于张开状态。
步骤E:头部姿态检测。根据相机标定法计算得出pitch(俯仰角)、yaw(偏航角)、roll(翻滚角)三组欧拉角角度(如图3),判断头部是否处于端正姿态,得出head(头部姿态值)。
当pitch∈[1,15]且roll∈[1,15]且yaw∈[40,50]时,头部处于端正姿态,即head=0;否则,头部处于不端正姿态,即head=1。
执行下一步。
步骤F:疲劳状态检测。头部特征区域设置权重值a0、眼睛特征区域设置权重值a1、嘴巴特征区域设置权重值a2。计算一段连续t秒时间内的平均疲劳值feature。疲劳状态的计算步骤如下:
S1:计算眼睛、嘴巴和头部各特征区域的平均疲劳值,即如图4所示的滑动窗内的平均值:
其中:t(秒)为采集数据的连续时间,k(k∈Z+且k≤10)是单位时间内采集数据的次数,n(n∈Z+)为所采集数据的编号,眼睛、嘴巴、头部特征区域疲劳值存储滑动窗的初始化值为“0”。例如,每0.2秒采集一次图像数据且t=2秒,则第100次采集数据时的值为:
S3:根据feature值与疲劳阈值进行比较判定值班人员疲劳状态,分为轻度、中度和重度3种疲劳状态,其中f1、f2为疲劳阈值,且f2>f1。
当feature<f1,判定值班人员轻度疲劳状态;
当f1<feature≤f2,判定值班人员中度疲劳状态;
当feature>f2,判定值班人员重度疲劳状态。
Claims (9)
1.一种基于面部多特征点识别的值班人员疲劳状态检测方法,其特征在于,包括:选取值班人员多个面部关键点作为面部特征点,这些面部特征点包括眼睛区域特征点、嘴巴区域特征点、头部区域特征点;每隔一段时间采集该值班人员的这些面部特征点的图像数据,并计算得到眨眼检测参数、哈欠检测参数、头部姿态参数;对多个时间段的眨眼检测参数、哈欠检测参数、头部姿态参数进行平均再加权相加得到值班人员疲劳状态feature值,比较feature值与疲劳阈值,判定该值班人员的疲劳状态;其中,上述面部关键点的选取方法包括:每隔一段时间采集一次该值班人员图像数据并进行灰度化处理,将图像分割成若干2*2像素的区域,计算各像素点的梯度幅值与角度值,提取局部图像梯度信息并进行量化得到方向梯度直方图HOG特征向量,所有HOG特征向量组合在一起,得到图像总体特征值并将其作为训练集输出给支持向量机SVM,得到40*40像素的值班人员人脸图像,经特征提取层和3个全卷积层得到一个2*2*64像素的图像,在最后的全连接层将2*2*64像素的多层结构进行线性回归计算后得到68个面部特征点。
2.如权利要求1所述的值班人员疲劳状态检测方法,其特征在于,所述眼睛区域特征点包括左眼区域特征点与右眼区域特征点,左眼区域特征点包括P37、P38、P39、P40、P41、P42,依序表示从左眼最左侧沿顺时针方向绕左眼均匀分布的位置,右眼区域特征点包括P43、P44、P45、P46、P47、P48,依序表示从右眼最左侧沿顺时针方向绕右眼均匀分布的位置;嘴巴区域特征点包括P49、P52、P55、P58,分别表示嘴巴最左、最上、最右、最下的位置;头部区域特征点包括P1、P5、P7、P9、P12、P17、P22、P23、P28,分别表示头部左上位置、左下位置、左下位置、中部最下位置、右下位置、右上位置、上部左侧位置、上部右侧位置、上部中间位置。
4.如权利要求3所述的值班人员疲劳状态检测方法,其特征在于,设置E为眨眼阈值,当EAR≤E,则表示眼睛处于合上状态;当EAR>E,表示眼睛处于睁开状态。
6.如权利要求5所述的值班人员疲劳状态检测方法,其特征在于,设置M为哈欠阈值,当MAR≤M,表示嘴巴处于合上状态;当MAR>M,判定嘴巴处于张开状态。
9.如权利要求8所述的值班人员疲劳状态检测方法,其特征在于,所述判定该值班人员的疲劳状态包括:设置疲劳阈值f1、f2,且f2>f1,当feature≤f1,判定值班人员轻度疲劳状态;当f1<feature≤f2,判定值班人员中度疲劳状态;当feature>f2,判定值班人员重度疲劳状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110812598.4A CN113343940B (zh) | 2021-07-19 | 2021-07-19 | 一种基于面部多特征点识别的值班人员疲劳状态检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110812598.4A CN113343940B (zh) | 2021-07-19 | 2021-07-19 | 一种基于面部多特征点识别的值班人员疲劳状态检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113343940A true CN113343940A (zh) | 2021-09-03 |
CN113343940B CN113343940B (zh) | 2022-05-10 |
Family
ID=77480016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110812598.4A Active CN113343940B (zh) | 2021-07-19 | 2021-07-19 | 一种基于面部多特征点识别的值班人员疲劳状态检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113343940B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110101675A (ko) * | 2010-03-09 | 2011-09-16 | 삼성전자주식회사 | 복수의 얼굴 영상을 이용한 얼굴 인식 장치 및 방법 |
CN109086727A (zh) * | 2018-08-10 | 2018-12-25 | 北京奇艺世纪科技有限公司 | 一种确定人体头部的运动角度的方法、装置及电子设备 |
CN109740477A (zh) * | 2018-12-26 | 2019-05-10 | 联创汽车电子有限公司 | 驾驶员疲劳检测系统及其疲劳检测方法 |
CN110532887A (zh) * | 2019-07-31 | 2019-12-03 | 郑州大学 | 一种基于面部特征融合的疲劳驾驶检测方法及系统 |
US20200334853A1 (en) * | 2018-03-06 | 2020-10-22 | Fotonation Limited | Facial features tracker with advanced training for natural rendering of human faces in real-time |
KR102172192B1 (ko) * | 2020-05-18 | 2020-11-03 | 가천대학교 산학협력단 | 뺨 주름 인식 방법, 시스템 및 뺨 주름 인식을 통한 뇌졸중 검출 방법 |
-
2021
- 2021-07-19 CN CN202110812598.4A patent/CN113343940B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110101675A (ko) * | 2010-03-09 | 2011-09-16 | 삼성전자주식회사 | 복수의 얼굴 영상을 이용한 얼굴 인식 장치 및 방법 |
US20200334853A1 (en) * | 2018-03-06 | 2020-10-22 | Fotonation Limited | Facial features tracker with advanced training for natural rendering of human faces in real-time |
CN109086727A (zh) * | 2018-08-10 | 2018-12-25 | 北京奇艺世纪科技有限公司 | 一种确定人体头部的运动角度的方法、装置及电子设备 |
CN109740477A (zh) * | 2018-12-26 | 2019-05-10 | 联创汽车电子有限公司 | 驾驶员疲劳检测系统及其疲劳检测方法 |
CN110532887A (zh) * | 2019-07-31 | 2019-12-03 | 郑州大学 | 一种基于面部特征融合的疲劳驾驶检测方法及系统 |
KR102172192B1 (ko) * | 2020-05-18 | 2020-11-03 | 가천대학교 산학협력단 | 뺨 주름 인식 방법, 시스템 및 뺨 주름 인식을 통한 뇌졸중 검출 방법 |
Non-Patent Citations (3)
Title |
---|
LEI CHEN ET AL.: "Fast Community Detection Based on Distance Dynamics", 《TSINGHUA SCIENCE AND TECHNOLOGY》 * |
NANA ZHANG ET AL.: "Driver Fatigue State Detection Based on Facial Key Points", 《THE 2019 6TH INTERNATIONAL CONFERENCE ON SYSTEMS AND INFORMATICS (ICSAI 2019)》 * |
董超俊 等: "基于卷积专家神经网络的疲劳驾驶检测", 《计算机工程与设计》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113343940B (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110287805B (zh) | 基于三流卷积神经网络的微表情识别方法及系统 | |
Adhikari et al. | Activity recognition for indoor fall detection using convolutional neural network | |
CN108629946B (zh) | 一种基于rgbd传感器的人体跌倒检测方法 | |
CN107506692A (zh) | 一种基于深度学习的密集人群计数与人员分布估计方法 | |
CN109359536A (zh) | 基于机器视觉的乘客行为监控方法 | |
CN110781762B (zh) | 一种基于姿态的考试作弊检测方法 | |
CN101390128B (zh) | 脸部器官的位置的检测方法及检测系统 | |
CN108764059A (zh) | 一种基于神经网络的人体行为识别方法及系统 | |
CN111507592B (zh) | 一种面向服刑人员的主动改造行为的评估方法 | |
KR101781361B1 (ko) | 얼굴 비교를 통한 개인 식별 방법 | |
CN111210415B (zh) | 一种帕金森患者面部表情低迷的检测方法 | |
CN113111865B (zh) | 一种基于深度学习的跌倒行为检测方法和系统 | |
CN111881898B (zh) | 基于单目rgb图像的人体姿态检测方法 | |
CN113610046B (zh) | 一种基于深度视频联动特征的行为识别方法 | |
CN111046734A (zh) | 基于膨胀卷积的多模态融合视线估计方法 | |
CN114269243A (zh) | 跌倒风险评价系统 | |
CN114582030A (zh) | 一种基于服务机器人的行为识别方法 | |
CN113343940B (zh) | 一种基于面部多特征点识别的值班人员疲劳状态检测方法 | |
CN117132949B (zh) | 一种基于深度学习的全天候跌倒检测方法 | |
Banerjee et al. | Sit-to-stand detection using fuzzy clustering techniques | |
CN115331152B (zh) | 一种消防识别方法和系统 | |
CN112562850A (zh) | 基于人工智能的面部神经麻痹康复检测系统 | |
CN109255793B (zh) | 一种基于视觉特征的监控预警系统 | |
CN109192314A (zh) | 一种基于多示例学习的颈椎健康评分装置及其应用 | |
CN115154828A (zh) | 一种基于脑机接口技术的大脑功能重塑方法、系统、设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |