CN117115894A - 一种非接触式驾驶员疲劳状态分析方法、装置和设备 - Google Patents
一种非接触式驾驶员疲劳状态分析方法、装置和设备 Download PDFInfo
- Publication number
- CN117115894A CN117115894A CN202311377313.4A CN202311377313A CN117115894A CN 117115894 A CN117115894 A CN 117115894A CN 202311377313 A CN202311377313 A CN 202311377313A CN 117115894 A CN117115894 A CN 117115894A
- Authority
- CN
- China
- Prior art keywords
- driver
- value
- image
- fatigue state
- state value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 48
- 230000001815 facial effect Effects 0.000 claims abstract description 72
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 35
- 239000008280 blood Substances 0.000 claims abstract description 35
- 210000004369 blood Anatomy 0.000 claims abstract description 35
- 239000001301 oxygen Substances 0.000 claims abstract description 35
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 35
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 230000008451 emotion Effects 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 21
- 230000002996 emotional effect Effects 0.000 claims description 15
- 210000003128 head Anatomy 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 241001282135 Poromitra oscitans Species 0.000 claims description 11
- 206010048232 Yawning Diseases 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 5
- 230000004399 eye closure Effects 0.000 claims description 4
- 210000000744 eyelid Anatomy 0.000 claims description 4
- 230000033764 rhythmic process Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 230000008909 emotion recognition Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 208000016252 change in skin color Diseases 0.000 claims 1
- 238000012549 training Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002929 anti-fatigue Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种非接触式驾驶员疲劳状态分析方法、装置和设备，属于辅助驾驶控制技术领域，包括：获取驾驶员面部影像；对所述驾驶员面部影像进行预处理，获得预处理后的影像；对所述预处理影像进行面部特征提取得到面部特征数据；根据所述面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值；建立神经网络模型；将所述面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值输入所述神经网络模型，生成驾驶员的疲劳状态并输出，实现了驾驶员疲劳状态的非接触性量。
Description
技术领域
本发明涉及辅助驾驶控制技术领域，尤其涉及一种非接触式驾驶员疲劳状态分析方法、装置和设备。
背景技术
近年来，随着驾驶技术的快速发展，车载视频监控系统的使用愈发广泛，加强行车安全一直是广大人民群众的期望与诉求，疲劳驾驶成为发生道路交通事故较高占比的原因，由于采集因素较为有限，社会上对于驾驶员疲劳驾驶的分析方法较为单一，且无法做到精确判断，同时很多防疲劳系统由于设计问题会对驾驶员产生干扰。
现有技术中，公开号为CN115937830A的专利申请公开了一种面向特种车辆的驾驶员疲劳检测方法，利用人脸属性识别模型识别驾驶员面部脸部和嘴部区域的遮挡情况，实现对疲劳状态的识别，主要是对穿戴特殊装备的驾驶员进行疲劳检测，从而降低事故发生率，识别算法依赖于对未遮挡部位结合驾驶员身体动作进行分析，降低了预测准确度，预测模型普适性不好，因此亟需一种准确度高，普适性好的非接触式驾驶员疲劳状态分析方法。
发明内容
本发明提供了一种非接触式驾驶员疲劳状态分析方法，非接触测量驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值，建立神经网络模型，将所述面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值输入所述神经网络模型，生成驾驶员的疲劳状态并输出，实现了驾驶员疲劳状态的非接触性量化测量。
本发明提供的技术方案为：
一种非接触式驾驶员疲劳状态分析方法，包括：
获取驾驶员面部影像；
对所述驾驶员面部影像进行预处理，获得预处理后的影像；
对所述预处理影像进行面部特征提取得到面部特征数据；
根据所述面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值；
建立神经网络模型；
将所述面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值输入所述神经网络模型，生成驾驶员的疲劳状态并输出。
优选的是，所述对所述驾驶员面部影像进行预处理，获得预处理后的影像，包括：
在视频流中提取出视频帧作为待处理影像；
对所述待处理影像进行像素点划分得到具有多个像素块的彩色影像；
对所述像素点进行像素点分割，获得分割后的影像；
并对所述分割后影像的每个像素块进行数据增强得到增强后的影像；
对所述增强后的影响进行亮度放大，得到预处理后的影像。
优选的是，所述像素块的大小为512×512，所述对分割后影像的每个像素块进行数据增强采用翻转、转置或者旋转进行；所述亮度放大系数为0.8、1.0、1.2或1.5。
优选的是，所述对所述预处理影像进行面部特征提取得到面部特征数据，包括：
对所述预处理后的影像进行二值化处理，得到灰度影像；
对所述灰度影像进行二次像素点划分，并获取划分后每个像素点的灰度值；
根据所述灰度值，提取人脸轮廓，得到轮廓影像；
根据所述轮廓影响中面部特征的位置和比例，提取出面部特征数据；
所述面部特征数据包括：闭眼频率、眼睑开度、头部角度、嘴角弧度和嘴角开度。
优选的是，所述情绪状态值由情绪识别算法对面部特征数据进行分析获得，所述情绪状态值包括：生气、无聊、哈欠、害怕和高兴；所述姿势状态值由所述头部角度、所述闭眼频率和所述嘴角开度计算获得。
优选的是，所述血氧浓度值和所述心率值基于面部图像，分析皮肤颜色的变化和脉搏的节律获得。
优选的是，还包括:
将驾驶员的面部特征数据、情绪状态值和疲劳状态值与预设的阈值数据进行比较，当驾驶员的面部特征数据、情绪状态值和疲劳状态值中的任一数据不满足阈值要求时，将其设定为异常数据输出，并通过蜂鸣器提醒驾驶员。
优选的是，所述建立三层神经网络模型，包括：
获取所述驾驶员情绪状态值、疲劳状态值、血氧浓度值和心率值作为输入层样本数据；
所述神经网模型的中间层为全连接层；
所述神经网络模型的输出层数据为驾驶员的疲劳状态值；
所述三层神经网络模型的传递函数分别为：
;
;
其中，为输入层中第个单元（），为隐含层中第个单元（），为输出层中第个单元（）；为与之间的权值，为与之间的权值；为的阈值，为的阈值。
本发明还提供了一种非接触式驾驶员疲劳状态分析装置，包括：
数据采集模块，其用于获取驾驶员面部影像；
预处理模块，其用于对所述驾驶员面部影像进行预处理，获得预处理后的影像；
特征提取模块，其用于对所述预处理影像进行面部特征提取得到面部特征数据；
分析模块，其用于根据所述面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值，生成驾驶员的疲劳状态值。
本发明还提供了一种非接触式驾驶员疲劳状态分析设备，包括：
存储器，用于存储可执行指令和所述非接触式驾驶员疲劳状态分析装置中模块运算的数据；
处理器，用于与所述存储器连接以执行可执行指令，从而完成非接触式驾驶员疲劳状态分析方法。
本发明提供了一种非接触式驾驶员疲劳状态分析方法，非接触测量驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值，建立神经网络模型，将所述面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值输入所述神经网络模型，生成驾驶员的疲劳状态并输出，实现了驾驶员疲劳状态的非接触性量化测量。
本发明公开了一种非接触式驾驶员疲劳状态分析警告方法和系统，专注人员驾驶疲劳的分析警告处理，结合更多更科学的判断因素条件，提升对人员疲劳驾驶判断的准确性，同时，功能服务器根据视频重要性，对存储的各类历史视频文件进行差别管理，使有限的磁盘空间得到最有效的利用。
附图说明
图1为本发明所述的非接触式驾驶员疲劳状态分析方法流程图。
图2为本发明所述的对驾驶员面部影像进行预处理的方法流程图。
图3为本发明所述的驾驶员面部特征数据的提取流程图。
图4为本发明所述的非接触式驾驶员疲劳状态分析装置结构示意图。
图5为本发明所述的非接触式驾驶员疲劳状态分析设备实施例流程图。
图6为本发明所述的视频服务器处理流程图。
图7为本发明所述的功能服务器处理流程图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，基于背景技术提出的技术问题，本发明提供了一种非接触式驾驶员疲劳状态分析方法，包括：
步骤S110、获取驾驶员面部影像；
步骤S120、对驾驶员面部影像进行预处理，获得预处理后的影像；
步骤S130、对预处理影像进行面部特征提取得到面部特征数据；
步骤S140、根据面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值；
步骤S150、建立神经网络模型；
步骤S160、将面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值输入所述神经网络模型，生成驾驶员的疲劳状态并输出。
需要特别说明的是，在本实施例中，通过非接触测量驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值，并生成与驾驶员疲劳状态值相对应的神经网络模型，实现了驾驶员疲劳状态的非接触性量化测量。
在一个优选实施例中，步骤S110中，获取驾驶员的面部影像通过在车辆内部安装车载摄像头，进而实时获得关于驾驶员面部影像的视频流。
如图2所示，在一个优选实施例中，步骤S120，对所述驾驶员面部影像进行预处理，获得预处理后的影像，具体包括：
步骤S121、在视频流中提取出视频帧作为待处理影像，视频流中连续提取视频帧。视频帧是连续图像的快照，通常以固定的帧率提取。帧率的选择取决于应用的实时性需求；
步骤S122、对所述待处理影像进行像素点划分得到具有多个像素块的彩色影像；所述像素块的大小为512×512；
步骤S123、对所述像素点进行分割，获得分割后的影像；具体包括：
首先，对原始图像的每个像素点在 RGB 颜色空间中的三个分量取平均值，并确定图像所有像素在 RGB 分量上的总均值；
其中，表示所有像素点在RGB 分量上的总均值，表示像素点在 RGB 颜色
空间中R分量的平均值，表示像素点在 RGB 颜色空间中g分量的平均值,表示像素点
在 RGB 颜色空间中b分量的平均值，M表示图像的像素点总个数。
根据像素点在整个区域内的位置信息，对整个图像进行区域分割，得到具有多个区域的像素影像；具体的说计算整个图像中像素点的三个分量的平均值的最小值和最大值，并结合值，确定划分区域的个数，具体的计算公式为：
其中，表示像素点的三个分量的平均值的最大值，表示像素点的
三个分量的平均值的最小值，表示划分区域的个数，记录区域总数；
区域划分的方法为由内向外呈环形等间距划分；记录每个区域的像素点信息，包括像素点所属区域，像素点的 RGB 颜色空间信息，以及此区域的像素点颜色空间三个分量的平均值；
依次扫描各区域，对区域的像素点进行标记，并计算出此区域像素颜色空间中三个分量的平均值；并将每个区域的平均值与总均值比较，若区域平均值小于总均值/>，对区域内的每个像素点进行赋值，赋值为该像素点的三份量均值减100。
需要特别说明的是，经过步骤S123对整个图像进行像素点分割，可以提高像素质量，更好的体现整个影像的细节信息。
步骤S124、并对分割后影像的每个像素块进行数据增强得到增强后的影像；具体地说对每个像素块进行数据增强采用翻转、转置或者旋转进行；
步骤S125、对所述增强后的影响进行亮度放大，得到预处理后的影像。
在一个优选实施例中，亮度放大系数为0.8、1.0、1.2或1.5。
需要特别说明的是，从实际车辆内部获取的图像可能受到光线、振动等因素的影响，因此可以使用图像增强技术，如去噪、增强对比度和亮度等，来提高图像质量。
如图3所示，在一个优选实施例中，步骤S130对预处理影像进行面部特征提取得到面部特征数据，包括：
步骤S131、对预处理后的影像进行二值化处理，得到灰度影像；
步骤S132、对灰度影像进行二次像素点划分，并获取划分后每个像素点的灰度值；在一个优选实施例中，对原有像素点进行二次划分，划分的大小为24×24。
步骤S133、根据灰度值，提取人脸轮廓，得到轮廓影像，具体的说，对人脸影像进行边缘检测采用的Sobel算子进行边缘轮廓提取。
步骤S134、根据轮廓影响中面部特征的位置和比例，提取出面部特征数据；具体的说，在一个优选实施例中，首先确定眉、眼、鼻子、嘴、下巴的比例关系，计算垂直投影曲线，获取人脸的左右边界，并对左右边界的人脸影像进行水平积分投影，由上到下区分出眼睛嘴巴所在的局部区域，对这两个局部区域分别进行垂直积分投影，求取眼睛和嘴巴的横坐标，结合纵坐标值实现眼睛和嘴巴的定位，精确定位主要特征点，提取出主要特征点对应的区域影像，进行输出。根据特征点数据获得面部特征数据，具体的说，面部特征数据包括：闭眼频率、眼睑开度、头部角度、嘴角弧度和嘴角开度。
具体的说，针对每个特征点的区域影像，进一步进行特征提取，以眼睛的特征提取为例做进一步说明：
根据灰度值，对眼部特征区域影像进行逐像素点筛选，提取出眼部轮廓，得到轮廓影像，再将轮廓区域内影像设定为搜索区域，将整个眼部区域的像素点和位置坐标形成关于灰度值和坐标点的特征矩阵；
首先，确定眼睛的睁开和闭合状态；
计算整个轮廓影像的像素点灰度平均值，对整个轮廓影像进行区域划分，划分方式为年轮状环形划分，并分别计算每个环形区域的像素点灰度平均值，将每个环形区域的像素点平均值与整个轮廓影像的像素点灰度平均值/>比较；
若任一环形区域的像素点平均值确定眼睛为睁开状态；
若所有环形区域的像素点平均值满足，确定眼睛为闭合状态；
然后，计算眼睛睁开状态轮廓影像中的眼睛高度；
对二值化的影像进行水平方向上的投影，统计每一行像素点像素值为零的个数，投影之后非零值之间的距离确定为眼睛的睁开高度。
在具体的应用中，可以根据实际情况对阈值公式或影像区域的像素点进行再次分割调整，以提高准确度。
在一个优选实施例中，嘴巴轮廓和张开角度的计算过程与眼睛相类似，本领域技术人员可以根据实际情况进一步的进行推导获得。
在一个优选实施例中，头部角度的计算，根据眼睛和嘴部位置进行确定，具体的说，可以通过精准确定瞳孔位置使测量结果更准确。具体的说，连接影像的眼部区域，确定眼部中线，并连接眼部中点和嘴巴中点，确定为整个头部的中轴线，确定头部中轴线与水平线直接的夹角，确定为头部位置，为了进一步提高头部角度的精度，可以通过确定眼部的瞳仁位置来确定。
在一个优选实施例中，情绪状态值由情绪识别算法对面部特征数据进行分析获得，情绪状态值包括：生气、无聊、哈欠、害怕和高兴。
具体的情绪状态值的确定通过神经网络模型分类获得，具体过程如下：
首先对神经网络模型进行训练，获取相关的样本数据：根据分类结果选取数据样本，由数据样本得到训练样本。训练样本是以输入、输出对的向量模式来呈现的，输入向量是指闭眼频率、眼睑开度、头部角度、嘴角弧度和嘴角开度，其输入向量是指样本在参与分类的情绪状态值，而输出向量（期望输出）是指该样本对应的类别，即生气、无聊、哈欠、害怕和高兴。
给出各个样本，逐一获取每个样本的面部特征数据，并对样本数据进行归一化处理，得到统一量纲的运算形式，训练数据得到后，将训练数据逐个输入 BP 神经网络进行正向运算，求出 BP 神经网络对每个训练数据在输出层误差，然后反向传播对连接权值进行修正，完成一个样本的训练，过程。在训练期间，在输出层上对每个输入向量统计均方根误差值，根据经验，当均方根降至0.01该网络已收敛，各连接的权值固定下来，可以用于情绪状态的分类。
得到训练完成的神经网络模型后，可以将任一驾驶员影像中提取到的面部特征数据得到驾驶员的情绪状态值，为了更便于显示，适应计算及语言，通常驾驶员的情绪状态值采用数字量化的形式进行表示，或通过字母进行表示，在本实施例中，采用量化的形式进行标记，生气、无聊、哈欠、害怕和高兴分别表示为：17、10、25、18和 7。
在一个优选实施例中，姿势状态值由头部角度、闭眼频率和嘴角开度计算获得。需要特别说明的是，在本实施例中，姿势状态值不代表确切的含义，是方便运算，设定的中间量化指标，在本实施例中，姿势状态值的经验公式为：
；
其中，表示驾驶员的姿势状态值，/>表示头部角度，/>表示闭眼频率，/>表示嘴角开度，/>分别代表权重值，在本实施例中，/>；/>；/>。
在一个优选实施例中，血氧浓度值和所述心率值基于面部图像，分析皮肤颜色的变化和脉搏的节律获得，需要特别说明的是，通过面部影像并不能精准测量驾驶员的血氧浓度值和心率值，在此处的命名只是在影像中识别出的驾驶员情绪状态量化指标，不等同于现实生活中通俗意义上的，血氧浓度值和心率值，在此由人为规定获得。
具体的，血氧浓度值，根据图像中的皮肤变化值获得，因驾驶员的皮肤状态变化受驾驶环境变化影响比较大，因此只作为辅助参考，以提高整个模型的准确度，具体的运算过程为，根据步骤130提取的人脸轮廓，得到轮廓影像，计算整个轮廓影像的灰度值平均值，并记录一段时间内驾驶员的面部轮廓影像灰度平均值的变化值，根据变化值计算得到血氧浓度值，其计算公式为：
；
其中，表示血氧浓度值，/>表示通俗意义上人群中测定的血氧浓度均值，/>表示灰度平均值的变化值，/>表示概率函数，/>；其中/>表示驾驶员轮廓影像中灰度值变化的个数，/>表示人脸轮廓的像素点个数。
在本实施例中，脉搏的节律通过设定在方向盘上的传感器获得，或者通过驾驶员佩戴的电子检测设备获得。
在一个优选实施例中，步骤S150建立三层神经网络模型的过程包括如下步骤：
获取所述驾驶员情绪状态值、疲劳状态值、血氧浓度值和心率值作为输入层样本数据，在具体实施例中，将样本数据进行归一化处理，得到归一化的样本数据。
网络输入单元个数为n;
网络中间层单元个数为m;
网络输出单元个数q；
网络输入向量：;
网络目标向量：；
中间层单元输入向量，输出向量/>；
输出层单元输入向量，输出向量/>。
发明采用三层BP神经网络模型，即包括输入层、隐含层和输出层。输入层以上述中的训练样本作为输入层单元，通过传递函数作用到隐含层；隐含层再通过传递函数作用到输出层。其传递函数分别为：
；
其中，为输入层中第个单元（），为隐含层中第个单元（），为输出层中第个单元（）；为与之间的权值，为与之间的权值；为的阈值，为的阈值。
本实施例中网络结构参数设置如下：输入层神经元数为4，隐含层神经元数为3，输出层神经元数为1，最大训练次数为800，训练精度为0.0005，学习速率为0.005，动量因子为0.9。然后在网络训练中将其转化为simulink模块。具体的说，输出层的神经元数为1，并通过量化数据代表驾驶员的疲劳状态。
如图4所示，本发明还提供了一种非接触式驾驶员疲劳状态分析装置200，包括：数据采集模块210、预处理模块220、特征提取模块230和分析模块240。具体的说：
数据采集模块210用于获取驾驶员面部影像；
预处理模块220用于对所述驾驶员面部影像进行预处理，获得预处理后的影像；
特征提取模块230用于对所述预处理影像进行面部特征提取得到面部特征数据；
分析模块240用于根据所述面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值，生成驾驶员的疲劳状态值。
本发明还提供了一种非接触式驾驶员疲劳状态分析设备，包括：
存储器，用于存储可执行指令和非接触式驾驶员疲劳状态分析装置中模块运算的数据；
处理器，用于与存储器连接以执行可执行指令，从而完成上述实施例中公开的非接触式驾驶员疲劳状态分析方法。
在一个优选实施例中，非接触式驾驶员疲劳状态分析设备还包括：
功能服务器：在信息交互服务器上显示监测结果、警报信息和其他提示，供驾驶员查看。如果系统检测到问题，通过蜂鸣器或警报系统向驾驶员发出警报，提醒其采取行动。
视频服务器：将采集到的面部图像和视频流存储在视频存储服务器中，用于后续分析和数据保留。使用数据库管理存储的数据，以及分析结果等。建立远程监控和管理系统，用于集中监测多辆车辆的健康状态。将数据传输到视频服务器进行集中管理和分析。
如图5所示，具体的说，通过本实施例提供的非接触式驾驶员疲劳状态分析设备能够实现如下功能，包括：
S310、构建车辆车载视频监控系统的视频服务器和功能服务器；
S320、车载摄像头向视频服务器发送音视频数据；
S330、通过对视频数据进行分析，处理器对行车时间人员血氧浓度进行处理判断，蜂鸣器根据输出结果进行工作提醒驾驶员；
S340、用户向视频服务器申请远程观看车载摄像头上传的实时音视频数据时，视频服务器将用户申请信息发送给功能服务器，功能服务器记录收到的用户申请信息：
在一个优选实施例中，视频服务器的功能为对于实时音视频数据进行处理，至少包括：音视频数据接收、编解码和发送。
功能服务器的功能至少包括：音视频推流统计、音视频播放统计、历史视频存储、历史视频文件维护。
视频服务器向功能服务器传输接入的音视频数据信息，至少包括：车辆识别码、视频路数索引值、摄像头网络地址、实时视频的分辨率、驾驶员眨眼计数、驾驶员哈欠计数。
当驾驶员行车时间血氧浓度以及眨眼哈欠次数达到判定值，蜂鸣器启动进行报警提醒。
能服务器以固定周期T检查存储的历史视频文件，再根据历史视频类型，对告警历史视频文件和自动驾驶历史视频文件按不同规则进行删除，保证磁盘空间使用率控制在合理范围内。
进一步地，疲劳判断系统的处理流程为：
视频服务器将大量资源集中到实时音视频数据的处理，至少包接入车载摄像头上传的实时音视频数据、编解码实时音视频数据、画面合成视频数据、人员眨眼计数、人员哈欠计数当驾驶员行车时间血氧浓度以及眨眼哈欠次数达到判定值，蜂鸣器启动进行报警提醒；
当用户需要查看自动驾驶车辆的历史车载视频时，功能服务器提供了历史视频类型筛选、车辆VIN筛选、时间筛选选项，将用户需要的信息快速查询后返回给用户；
功能服务器以固定周期T检查存储的历史视频文件，再根据历史视频类型，对告警历史视频文件和自动驾驶历史视频文件按不同规则进行删除。
本发明还公开了一种非接触式驾驶员疲劳状态分析警告方法，包括：视频服务器和功能服务器。
如图6所示，视频服务器，用于将大量资源集中到实时音视频数据的处理，至少包含接入车载摄像头上传的实时音视频数据、编解码实时音视频数据、画面合成视频数据、混音音频数据、向用户发送实时音视频数据；还用于接收车载摄像头的实时视频发送申请，视频服务器向功能服务器发送对应的通知消息，同时，当视频服务器收到用户申请观看或停止观看实时视频请求时，视频服务器也向功能服务器发送对应的通知消息。
如图7所示，功能服务器，用于对视频服务器发送的音视频数据信息进行存储，记录收到的用户申请信息，对用户的申请信息进行响应，并对监控系统进行日常维护。
视频监控车载前端对驾驶员车辆的各种信息进行实时捕获和数字化采集,包括人员眨眼次数、哈欠次数、血氧浓度，车辆运行时间；然后送到车载信息记录平台进行记录和处理，记录和处理主要包括对音视频数据进行编码；同时所述驾驶员行为行车数据进行判断，判断完成后蜂鸣器启动进行报警，车载信息管理模块负责对记录处理后的信息进行管理。
监控中心可以根据监控需求随时进行远程调取各种数据，包括特定的方向的音视频数据，如一般一辆车安装了几路视频摄像机的音视频信息数据；当然，监控中心可以通过车载信息管理模块启动实时监控。
不间断的传输车辆运营的定位信息（位置）以及其他状态信息，而不会不间断的实时将监控视频进行传输，本例根据运营车辆的实际运行情况和监控中心的要求动态地传输实时音视频信息，大大的减少无线传输需求，从而在保证运营安全的同时节省了运营成本。
在此基础上，拍摄的音视频信息等能够在实时捕获和数字化采集的人员状态进行判断同时结合血氧浓度行车时间进行多因素判断。
在车辆的平常情况下，采集的音视频信息数据是存储在车载信息记录平台中的，不需要实时传输到监控中心，节省了传输流量；本例在有需要时才进行音视频信息的传输。
当人员出现疲劳驾驶情况时，车载信息管理模块优先通过触发蜂鸣器报警并将车辆的音视频信息实时上传至监控中心。并警告司乘人员。
与现有技术相比，本例的有益效果在于：不间断的传输人员驾驶状态信息，并根据运营车辆的实际运行情况和监控中心的要求动态地传输音视频信息，能够大大的减少无线传输需求，在保证运营安全的同时节省了运营成本，通过人员眨眼哈欠次数以及采集人员血氧浓度行车时间判断人员是否疲劳驾驶并触发蜂鸣器报警，同时监控中心可以根据需要随时检索到带有疲劳驾驶信息的音视频信息，进而实现人员防疲劳驾驶预警功能。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明公开了一种非接触式驾驶员疲劳状态分析警告方法和系统，专注人员驾驶疲劳的分析警告处理，结合更多更科学的判断因素条件，提升对人员疲劳驾驶判断的准确性，同时，功能服务器根据视频重要性，对存储的各类历史视频文件进行差别管理，使有限的磁盘空间得到最有效的利用。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种非接触式驾驶员疲劳状态分析方法，其特征在于，包括：
获取驾驶员面部影像；
对所述驾驶员面部影像进行预处理，获得预处理后的影像；
对所述预处理后的影像进行面部特征提取得到面部特征数据；
根据所述面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值；
建立神经网络模型；
将所述面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值输入所述神经网络模型，生成驾驶员的疲劳状态并输出。
2.根据权利要求1所述的非接触式驾驶员疲劳状态分析方法，其特征在于，所述对所述驾驶员面部影像进行预处理，获得预处理后的影像，包括：
在视频流中提取出视频帧作为待处理影像；
对所述待处理影像进行像素点划分得到具有多个像素块的彩色影像；
对所述像素点进行像素点分割，获得分割后的影像；
并对所述分割后影像的每个像素块进行数据增强得到增强后的影像；
对所述增强后的影响进行亮度放大，得到预处理后的影像。
3.根据权利要求2所述的非接触式驾驶员疲劳状态分析方法，其特征在于，所述像素块的大小为512×512，对分割后影像的每个像素块进行数据增强采用翻转、转置或者旋转进行；所述亮度放大系数为0.8、1.0、1.2或1.5。
4.根据权利要求1或2所述的非接触式驾驶员疲劳状态分析方法，其特征在于，所述对所述预处理影像进行面部特征提取得到面部特征数据，包括：
对所述预处理后的影像进行二值化处理，得到灰度影像；
对所述灰度影像进行二次像素点划分，并获取划分后每个像素点的灰度值；
根据所述灰度值，提取人脸轮廓，得到轮廓影像；
根据所述轮廓影响中面部特征的位置和比例，提取出面部特征数据；
所述面部特征数据包括：闭眼频率、眼睑开度、头部角度、嘴角弧度和嘴角开度。
5.根据权利要求4所述的非接触式驾驶员疲劳状态分析方法，其特征在于，所述情绪状态值由情绪识别算法对所述面部特征数据进行分析获得，所述情绪状态值包括：生气、无聊、哈欠、害怕和高兴；所述姿势状态值由所述头部角度、所述闭眼频率和所述嘴角开度计算获得。
6.根据权利要求1所述的非接触式驾驶员疲劳状态分析方法，其特征在于，所述血氧浓度值和所述心率值基于面部图像，分析皮肤颜色的变化和脉搏的节律获得。
7.根据权利要求6所述的非接触式驾驶员疲劳状态分析方法，其特征在于，还包括:
将驾驶员的面部特征数据、情绪状态值和疲劳状态值与预设的阈值数据进行比较，当驾驶员的面部特征数据、情绪状态值和疲劳状态值中的任一数据不满足阈值要求时，将其设定为异常数据输出，并通过蜂鸣器提醒驾驶员。
8.根据权利要求1所述的非接触式驾驶员疲劳状态分析方法，其特征在于，所述建立神经网络模型，包括：
获取所述驾驶员情绪状态值、疲劳状态值、血氧浓度值和心率值作为输入层样本数据；
所述神经网模型的中间层为全连接层；
所述神经网络模型的输出层数据为驾驶员的疲劳状态值；
所述三层神经网络模型的传递函数分别为：
;
；
其中，为输入层中第/>个单元，/>；/>为隐含层中第/>个单元,/>;/>为输出层中第/>个单元,/>;/>为/>与/>之间的权值，/>为/>和之间的权值；/>为的阈值，/>为/>的阈值。
9.一种非接触式驾驶员疲劳状态分析装置，其特征在于，包括：
数据采集模块，其用于获取驾驶员面部影像；
预处理模块，其用于对所述驾驶员面部影像进行预处理，获得预处理后的影像；
特征提取模块，其用于对所述预处理后的影像进行面部特征提取得到面部特征数据；
分析模块，其用于根据所述面部特征数据得到驾驶员的情绪状态值、姿势状态值、血氧浓度值和心率值，生成驾驶员的疲劳状态值。
10.一种非接触式驾驶员疲劳状态分析设备，其特征在于，包括：
存储器，用于存储可执行指令和所述非接触式驾驶员疲劳状态分析装置中模块运算的数据；
处理器，用于与所述存储器连接以执行可执行指令，从而完成如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311377313.4A CN117115894A (zh) | 2023-10-24 | 2023-10-24 | 一种非接触式驾驶员疲劳状态分析方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311377313.4A CN117115894A (zh) | 2023-10-24 | 2023-10-24 | 一种非接触式驾驶员疲劳状态分析方法、装置和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115894A true CN117115894A (zh) | 2023-11-24 |
Family
ID=88795125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311377313.4A Pending CN117115894A (zh) | 2023-10-24 | 2023-10-24 | 一种非接触式驾驶员疲劳状态分析方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115894A (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103956028A (zh) * | 2014-04-23 | 2014-07-30 | 山东大学 | 一种汽车多元驾驶安全防护方法 |
| WO2015175435A1 (en) * | 2014-05-12 | 2015-11-19 | Automotive Technologiesinternational, Inc. | Driver health and fatigue monitoring system and method |
| WO2018233064A1 (zh) * | 2017-06-21 | 2018-12-27 | 深圳市盛路物联通讯技术有限公司 | 一种基于驾驶员报价的停车引导方法及系统 |
| CN109559481A (zh) * | 2018-12-13 | 2019-04-02 | 平安科技（深圳）有限公司 | 驾驶风险智能识别方法、装置、计算机设备及存储介质 |
| CN110276273A (zh) * | 2019-05-30 | 2019-09-24 | 福建工程学院 | 融合面部特征与图像脉搏心率估计的驾驶员疲劳检测方法 |
| CN110472512A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种基于深度学习的人脸状态识别方法及其装置 |
| US20200152197A1 (en) * | 2011-04-22 | 2020-05-14 | Emerging Automotive, Llc | Methods and vehicles for capturing emotion of a human driver and customizing vehicle response |
| CN112287818A (zh) * | 2020-10-28 | 2021-01-29 | 白彧 | 一种智能车载驾驶员辅助系统及其工作方法 |
| JP2021034035A (ja) * | 2019-08-28 | 2021-03-01 | 潘文橋 | 人面識別に基づいた智能化車載疲労検出システム、方法および装置 |
| CN113762194A (zh) * | 2021-09-16 | 2021-12-07 | 浙江大学 | 一种车载疲劳驾驶检测系统 |
| US20220118985A1 (en) * | 2020-10-20 | 2022-04-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Cognitive tunneling mitigation device for driving |
| US20220189093A1 (en) * | 2019-10-22 | 2022-06-16 | Shanghai Sensetime Intelligent Technology Co., Ltd. | Interaction based on in-vehicle digital persons |
| CN115810252A (zh) * | 2021-09-16 | 2023-03-17 | 小米科技(武汉)有限公司 | 疲劳驾驶预警方法、装置、设备、系统及存储介质 |
| CN115937830A (zh) * | 2022-11-25 | 2023-04-07 | 北京航空航天大学杭州创新研究院 | 一种面向特种车辆的驾驶员疲劳检测方法 |
| WO2023103206A1 (zh) * | 2021-12-06 | 2023-06-15 | 江苏航天大为科技股份有限公司 | 一种基于多策略的驾驶员疲劳检测方法 |
| CN116588115A (zh) * | 2022-12-20 | 2023-08-15 | 合肥工业大学 | 一种基于驾驶人状态分析的车辆安全系统 |
| CN116749988A (zh) * | 2023-06-20 | 2023-09-15 | 中国第一汽车股份有限公司 | 一种驾驶员疲劳预警方法、装置、电子设备及存储介质 |
-
2023
- 2023-10-24 CN CN202311377313.4A patent/CN117115894A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200152197A1 (en) * | 2011-04-22 | 2020-05-14 | Emerging Automotive, Llc | Methods and vehicles for capturing emotion of a human driver and customizing vehicle response |
| CN103956028A (zh) * | 2014-04-23 | 2014-07-30 | 山东大学 | 一种汽车多元驾驶安全防护方法 |
| WO2015175435A1 (en) * | 2014-05-12 | 2015-11-19 | Automotive Technologiesinternational, Inc. | Driver health and fatigue monitoring system and method |
| WO2018233064A1 (zh) * | 2017-06-21 | 2018-12-27 | 深圳市盛路物联通讯技术有限公司 | 一种基于驾驶员报价的停车引导方法及系统 |
| CN109559481A (zh) * | 2018-12-13 | 2019-04-02 | 平安科技（深圳）有限公司 | 驾驶风险智能识别方法、装置、计算机设备及存储介质 |
| CN110276273A (zh) * | 2019-05-30 | 2019-09-24 | 福建工程学院 | 融合面部特征与图像脉搏心率估计的驾驶员疲劳检测方法 |
| CN110472512A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种基于深度学习的人脸状态识别方法及其装置 |
| JP2021034035A (ja) * | 2019-08-28 | 2021-03-01 | 潘文橋 | 人面識別に基づいた智能化車載疲労検出システム、方法および装置 |
| US20220189093A1 (en) * | 2019-10-22 | 2022-06-16 | Shanghai Sensetime Intelligent Technology Co., Ltd. | Interaction based on in-vehicle digital persons |
| US20220118985A1 (en) * | 2020-10-20 | 2022-04-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Cognitive tunneling mitigation device for driving |
| CN112287818A (zh) * | 2020-10-28 | 2021-01-29 | 白彧 | 一种智能车载驾驶员辅助系统及其工作方法 |
| CN113762194A (zh) * | 2021-09-16 | 2021-12-07 | 浙江大学 | 一种车载疲劳驾驶检测系统 |
| CN115810252A (zh) * | 2021-09-16 | 2023-03-17 | 小米科技(武汉)有限公司 | 疲劳驾驶预警方法、装置、设备、系统及存储介质 |
| WO2023103206A1 (zh) * | 2021-12-06 | 2023-06-15 | 江苏航天大为科技股份有限公司 | 一种基于多策略的驾驶员疲劳检测方法 |
| CN115937830A (zh) * | 2022-11-25 | 2023-04-07 | 北京航空航天大学杭州创新研究院 | 一种面向特种车辆的驾驶员疲劳检测方法 |
| CN116588115A (zh) * | 2022-12-20 | 2023-08-15 | 合肥工业大学 | 一种基于驾驶人状态分析的车辆安全系统 |
| CN116749988A (zh) * | 2023-06-20 | 2023-09-15 | 中国第一汽车股份有限公司 | 一种驾驶员疲劳预警方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019232972A1 (zh) | 驾驶管理方法和系统、车载智能系统、电子设备、介质 | |
| Craye et al. | Driver distraction detection and recognition using RGB-D sensor | |
| Mohanty et al. | Design of real-time drowsiness detection system using dlib | |
| WO2020029444A1 (zh) | 一种驾驶员驾驶时注意力检测方法和系统 | |
| CN106241584A (zh) | 一种基于扶梯安全的智能视频监控系统及方法 | |
| US20180204078A1 (en) | System for monitoring the state of vigilance of an operator | |
| Celona et al. | A multi-task CNN framework for driver face monitoring | |
| CN110543848B (zh) | 一种基于三维卷积神经网络的驾驶员动作识别方法及装置 | |
| CN113887386B (zh) | 基于深度学习和机器学习的多特征融合的疲劳检测方法 | |
| CN108108651B (zh) | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 | |
| Hasan et al. | State-of-the-art analysis of modern drowsiness detection algorithms based on computer vision | |
| CN114220158A (zh) | 基于深度学习的疲劳驾驶检测方法 | |
| CN112183502B (zh) | 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备 | |
| CN109308467A (zh) | 基于机器学习的交通事故预警装置及预警方法 | |
| WO2023241358A1 (zh) | 一种疲劳驾驶的确定方法、装置及电子设备 | |
| CN117115894A (zh) | 一种非接触式驾驶员疲劳状态分析方法、装置和设备 | |
| CN112926364A (zh) | 头部姿态的识别方法及系统、行车记录仪和智能座舱 | |
| CN116965781A (zh) | 一种驾驶员生命体征和驾驶行为监控方法及系统 | |
| Singh et al. | Driver fatigue detection using machine vision approach | |
| CN112182537A (zh) | 监控方法、装置、服务器、系统以及存储介质 | |
| CN111008569A (zh) | 一种基于人脸语义特征约束卷积网络的眼镜检测方法 | |
| Wang et al. | Driving fatigue detection based on feature fusion of information entropy | |
| Horak et al. | Eyes detection and tracking for monitoring driver vigilance | |
| Doppala et al. | A Machine Intelligence Model to Detect Drowsiness for Preventing Road Accidents | |
| Chinta et al. | Driver Distraction Detection and Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |