CN117789181A - 基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统 - Google Patents
基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统 Download PDFInfo
- Publication number
- CN117789181A CN117789181A CN202410210718.7A CN202410210718A CN117789181A CN 117789181 A CN117789181 A CN 117789181A CN 202410210718 A CN202410210718 A CN 202410210718A CN 117789181 A CN117789181 A CN 117789181A
- Authority
- CN
- China
- Prior art keywords
- image
- lightweight
- driver
- parameterized
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000001815 facial effect Effects 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000010586 diagram Methods 0.000 claims description 74
- 238000005286 illumination Methods 0.000 claims description 47
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 15
- 210000000744 eyelid Anatomy 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 8
- 241001282135 Poromitra oscitans Species 0.000 claims description 7
- 206010048232 Yawning Diseases 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000004399 eye closure Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 11
- 235000011941 Tilia x europaea Nutrition 0.000 description 11
- 239000004571 lime Substances 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000012014 frustrated Lewis pair Substances 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及汽车安全驾驶技术领域，特别是涉及基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统，方法包括：实时采集驾驶舱内驾驶人的动态图像，对动态图像进行增强处理；通过轻量化快速人脸检测器捕捉增强处理后的动态图像中驾驶人的人脸图像流；将人脸图像流输入预设的人脸关键特征点提取网络模型中，提取人脸图像流的每一帧图像的人脸关键特征点，其中，人脸关键特征点提取网络模型通过构建并训练重参数化轻量级卷积网络获得；基于人脸关键特征点判断驾驶人是否存在面部疲劳特征，在检测出存在面部疲劳特征时确定驾驶人存在疲劳驾驶。本发明能够实时、高效、低功耗、安全地处理数据图像数据并分析，及时对驾驶人的状态进行预警。
Description
技术领域
本发明涉及汽车安全驾驶技术领域，特别是涉及基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统。
背景技术
据调查，驾驶事故有很大比例是疲劳驾驶造成的，而针对驾驶员驾驶不当作出处罚的，普遍是打电话或未系安全带这种容易识别的行为，但治理疲劳驾驶仍存在诸多执法困难。由于疲劳驾驶行为的复杂性、隐匿性和多变性，目前仍缺乏科学完备的监测手段和专业测量工具，因此一个基于实时疲劳检测的安全驾驶辅助系统在保障汽车安全行驶中显得尤为重要。
在此之前，有许多业内人士提出相关的疲劳检测算法，比较有代表性的算法如下。一是通过采集脑电信号（EEG）和眼电信号（EOG）并进行相关分析从而判断疲劳状态。如一种基于采集脑电信号EEG分析的疲劳检测智能头盔。该方案的优点是识别结果比较准确可靠，而缺点则是设备复杂，需要通过脑电采集端口和计算机分析相结合，并且整套装置成本较大，不具有普适性。二是通过智能设备捕捉驾驶员生理信息作出的判断。如一种基于方向盘的驾驶员疲劳检测方法和装置，该方案通过专门设计的方向盘获取驾驶员的心率、方向盘握力等信息，从而分析驾驶员的疲劳状态。该方案的优点是设备结构简单，不会影响到车内驾驶空间，并通过综合多方面检测对驾驶员的疲劳状态作出判断，但其缺点是受驾驶员的个人生理特征和驾驶习惯影响，容易作出误判。三是通过汽车原有装置运动信息分析来检测驾驶员的驾驶状态。再如基于车辆的横向运动参数和纵向运动参数的疲劳检测驾驶系统，该系统的优点是设备简单，基本可以依靠汽车原有设备及车载电脑分析即可分析判断驾驶员疲劳状态，但其缺点在于准确度和精度不高，有可能导致不能及时作出正确判断而导致事故的发生。
回顾以上几类疲劳检测系统发现，总体上都存在着计算精度与设备复杂度之间的矛盾。对于汽车安全驾驶辅助系统这种移动终端而言，复杂的设备将会导致方案部署的困难。针对复杂系统难以部署的问题，现有技术提出“云计算”的方案。具体而言就是在互联网云端建立高性能的图形处理器（GPU）或GPU集群，将分布在互联网边缘端的设备（简称“边缘设备”）的分类识别任务上传至云中心端执行。但是，以云计算为核心的集中式数据处理模型已面临技术瓶颈，难以高效处理各类边缘设备爆炸式增长的海量数据。从网络边缘设备传输至云中心的通信带宽要求高、电能消耗大且隐私安全问题突出，并且海量边缘数据容易产生较长的网络延迟，难以为边缘端的应用现场提供实时判断。例如在高速公路或其他网络信号覆盖较差的区域，数据不能够及时上传到云端，将会导致判断不及时而造成事故，而这些网络信号覆盖较差的区域也恰好是安全驾驶事故发生的重灾区。因此，“云计算”方案存在的问题在于大量数据导致的网络延迟将会造成判断的不及时，对于汽车安全驾驶辅助系统而言不算是一个好的解决方式。
基于边缘机器视觉的本地数据采集、本地实时处理的方式是未来的发展趋势。但是，现有的边缘设备通常配置的硬件计算资源少、电池容量低、时效性要求高，难以满足运行深度神经网络所需的硬件计算资源要求、能量容量要求和时效要求。因此，如何裁剪算法的冗余和优化算法的计算速度是边缘计算发展需要考虑的关键技术难题。对于以汽车安全驾驶辅助系统为代表的移动终端而言，为了使各类神经网络算法能够部署到移动的边缘设备上，需要权衡好准确度、速度、能效、设备占用体积和硬件成本等多方面的制约因素。
发明内容
本发明为降低便携式设备运行基于PFLD神经网络算法实现实时驾驶人面部特征点检测运算的技术门槛，适应当前便携式设备平台要求硬件计算资源消耗少、低时延，高效等特点，提供基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统，实现非接触式采集本地数据、实时处理本地数据并有效反馈，以达到在尽可能保留原有的图像处理精度下兼顾本地数据处理效率，实时、高效、低功耗、安全地处理数据图像数据并分析，最终经过计算分析，及时对驾驶人的状态进行预警。
为实现上述目的，本发明提供了如下方案：
基于轻量级神经网络图像增强的驾驶疲劳检测方法，包括：
实时采集驾驶舱内驾驶人的动态图像，对所述动态图像进行增强处理；
通过轻量化快速人脸检测器捕捉增强处理后的所述动态图像中驾驶人的人脸图像流；
将所述人脸图像流输入预设的人脸关键特征点提取网络模型中，提取所述人脸图像流的每一帧图像的人脸关键特征点，其中，所述人脸关键特征点提取网络模型通过构建并训练重参数化轻量级卷积网络获得；
基于所述人脸关键特征点判断所述驾驶人是否存在面部疲劳特征，在检测出存在所述面部疲劳特征时确定所述驾驶人存在疲劳驾驶。
可选地，对所述动态图像进行增强处理包括：
计算所述动态图像中的每一帧人脸图像的照度估计分量：
其中，T表示照度估计分量，Ta表示原始照度分量，||·||2表示二阶范数，||·||1表示一阶范数，W表示权重矩阵，α表示权重系数，▽表示梯度运算；
对所述照度估计分量进行Gamma变换：
其中，TG为执行了Gamma变换后输出的照度估计，G(·)表示Gamma变换，C表示光照增强程度，γ表示伽马参数；
基于PID算子对所述伽马参数γ进行控制，调整每一帧人脸图像的光照增强程度C，并对每一帧进行了Gamma变换后的照度估计反馈融合至输入图像后，输入至所述PID算子进行运算，实现自适应图像增强处理。
可选地，将所述人脸图像流输入预设的人脸关键特征点提取网络模型中，提取所述人脸图像流的每一帧图像的人脸关键特征点包括：
所述人脸关键特征点提取网络模型通过构建并训练重参数化轻量级卷积网络获得，所述重参数化轻量级卷积网络包括依次连接的输入层、卷积层和全连接层；
所述输入层将输入图像依次经过第一重参数化卷积核、重参数化深度卷积核的运算后生成第一输出特征图；
所述卷积层包括第一重参数化轻量级瓶颈块、第二重参数化轻量级瓶颈块、第三重参数化轻量级瓶颈块和第四重参数化轻量级瓶颈块；所述第一输出特征图输入至多个依次连接的第一重参数化轻量级瓶颈块，在执行运算后生成第二输出特征图；所述第二输出特征图输入至多个依次连接的第二重参数化轻量级瓶颈块，在执行运算后生成第三输出特征图；所述第三输出特征图输入至多个依次连接的第三重参数化轻量级瓶颈块，在执行运算后生成第四输出特征图；所述第四输出特征图输入至第四重参数化轻量级瓶颈块，在执行运算后生成第五输出特征图；所述第五输出特征图依次经过第二重参数化卷积核、标准卷积核和点卷积计算后连接至所述全连接层；
所述第一输出特征图、第二输出特征图、第三输出特征图、第四输出特征图尺度依次降低，并分别通过依次连接的有效通道注意力模块和平均池化模块后连接至所述全连接层；
所述全连接层将接收到的多尺度特征图进行信息融合和权重分配，输出每个类别的权重值，根据权重值的大小获得人脸关键特征点的识别结果；
所述人脸关键特征点在训练阶段的识别结果通过多分支卷积经训练获得；
所述人脸关键特征点在推理阶段的识别结果通过将多分支卷积合并为单分支卷积后经测试获得。
可选地，基于所述人脸关键特征点判断所述驾驶人是否存在面部疲劳特征包括：
提取所述人脸关键特征点中的眼部关键点；
基于所述眼部关键点计算出眼部纵横比值；
根据所述眼部纵横比值判断所述驾驶人的睁眼状态和闭眼状态，当所述眼部纵横比值大于第一预设阈值，则判定为睁眼状态；反之，则判定为闭眼状态；
分别实时统计出所述驾驶人的睁眼状态持续图像帧数和闭眼状态持续图像帧数；
若所述睁眼状态图像持续帧数小于睁眼帧数阈值或者所述闭眼状态图像持续帧数大于闭眼帧数阈值，则判定所述驾驶人存在面部疲劳特征。
可选地，基于所述人脸关键特征点判断所述驾驶人是否存在面部疲劳特征还包括：
根据所述眼部纵横比值计算所述驾驶人的眼睑闭合度，所述眼睑闭合度为检测到的闭眼状态图像持续帧数与总检测图像帧数的比值；
当所述睁眼状态图像持续帧数小于睁眼帧数阈值或者所述闭眼状态图像持续帧数大于闭眼帧数阈值时，将所述眼睑闭合度与第二预设阈值进行比较；
若所述眼睑闭合度大于第二预设阈值，则判定所述驾驶人存在面部疲劳特征。
可选地，基于所述人脸关键特征点判断所述驾驶人是否存在面部疲劳特征还包括：
提取所述人脸关键特征点中的嘴部关键点；
基于所述嘴部关键点计算嘴部纵横比值；
将所述嘴部纵横比值与第三预设阈值进行比较，当所述嘴部纵横比值超出第三预设阈值时，判定为嘴部张开状态；
若所述嘴部张开状态所持续的图像帧数超出预设的张开帧数阈值，判定为一次打哈欠；
统计在预设时间内的打哈欠的次数，获取所述驾驶人的打哈欠频率；
若所述驾驶人的打哈欠频率大于第四预设阈值，则判定为存在面部疲劳特征。
可选地，确定所述驾驶人存在疲劳驾驶还包括通过计算行车时长进行确认，计算行车时长进行确认包括：
实时记录所述驾驶人在启动汽车后的每一次停车时长和行车时长；
在所述停车时长超出第五预设阈值时，重启所述行车时长的计算；
当所述行车时长超出第六预设阈值时，判定所述驾驶人为疲劳驾驶。
为进一步实现上述目的，本发明还提供了基于轻量级神经网络图像增强的驾驶疲劳检测系统，包括：图像采集模块、图像处理模块、特征检测模块、疲劳判断模块；
所述图像采集模块，用于实时采集驾驶舱内驾驶人的动态图像；
所述图像处理模块，用于对所述动态图像进行增强处理，并通过轻量化快速人脸检测器捕捉增强处理后的动态图像中驾驶人的人脸图像流；
所述特征检测模块，用于将所述人脸图像流输入预设的人脸关键特征点提取网络模型中，提取所述人脸图像流的每一帧图像的人脸关键特征点；
所述疲劳判断模块，用于基于所述人脸关键特征点判断所述驾驶人是否存在面部疲劳特征，在检测出存在所述面部疲劳特征时确定所述驾驶人存在疲劳驾驶。
可选地，所述人脸关键特征点提取网络模型通过构建并训练重参数化轻量级卷积网络获得，所述重参数化轻量级卷积网络包括依次连接的输入层、卷积层和全连接层；
所述输入层，用于将输入图像依次经过第一重参数化卷积核、重参数化深度卷积核的运算后生成第一输出特征图；
所述卷积层，包括第一重参数化轻量级瓶颈块、第二重参数化轻量级瓶颈块、第三重参数化轻量级瓶颈块和第四重参数化轻量级瓶颈块；所述第一输出特征图输入至多个依次连接的第一重参数化轻量级瓶颈块，在执行运算后生成第二输出特征图；所述第二输出特征图输入至多个依次连接的第二重参数化轻量级瓶颈块，在执行运算后生成第三输出特征图；所述第三输出特征图输入至多个依次连接的第三重参数化轻量级瓶颈块，在执行运算后生成第四输出特征图；所述第四输出特征图输入至第四重参数化轻量级瓶颈块，在执行运算后生成第五输出特征图；所述第五输出特征图依次经过第二重参数化卷积核、标准卷积核和点卷积计算后连接至所述全连接层；
所述第一输出特征图、第二输出特征图、第三输出特征图、第四输出特征图尺度依次降低，并分别通过依次连接的有效通道注意力模块和平均池化模块后连接至所述全连接层；
所述全连接层，用于将接收到的多尺度特征图进行信息融合和权重分配，输出每个类别的权重值，根据权重值的大小获得人脸关键特征点的识别结果；
所述人脸关键特征点在训练阶段的识别结果通过多分支卷积经训练获得；
所述人脸关键特征点在推理阶段的识别结果通过将多分支卷积合并为单分支卷积后经测试获得。
可选地，所述系统还包括行车计算模块、疲劳报警模块和信息显示模块，所述行车计算模块用于通过计算所述驾驶人的行车时长判断所示驾驶人是否存在疲劳驾驶；所述疲劳报警模块用于当确定所述驾驶人疲劳驾驶时，发出提示音警告；所述信息显示模块用于实时显示所述驾驶人的面部疲劳特征和连续驾驶时长。
本发明的有益效果为：
（1）本发明提出的自适应调整图像明照度的图像增强算法，以LIME低照度图像增强算法为基础，通过计算采样图像的照度，用PID算法实时调整LIME算法的参数，从而达到维持恒定照度的目的，简单有效，在驾驶环境复杂，光照度变化较大的时候可以很好地将图像维持在恒定照度；
（2）本发明通过替换主干网络、增加注意力机制以及重参数化技术，构建了新的人脸检测器，在提高检测帧率速度的同时精度也得到了提升，面对复杂环境下的鲁棒性也更强；
（3）本发明能够实现非接触式采集本地数据、实时处理本地数据并有效反馈，达到在尽可能保留原有的图像处理精度下兼顾本地数据处理效率，实时、高效、低功耗、安全地处理并分析数据图像数据，最终能够及时对驾驶人的状态进行预警。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于轻量级神经网络图像增强的驾驶疲劳检测方法流程图；
图2为本发明实施例的自适应图像弱光增强控制方法的流程图；
图3为本发明实施例的人脸关键特征点提取网络模型的结构示意图；
图4为本发明实施例的卷积推理模块RepGhostBottleneck的结构示意图，其中，（a）为卷积推理模块RepGhostBottleneck部署时的单分支结构示意图，（b）为卷积推理模块RepGhostBottleneck训练时的多分支结构示意图；
图5为本发明实施例的人脸关键特征点示意图；
图6为本发明实施例的正常状态下和疲劳状态下EAR值变化趋势曲线图，其中，（a）为正常状态下左眼EAR值变化趋势曲线图，（b）为正常状态下右眼EAR值变化趋势曲线图，（c）为疲劳状态下左眼EAR值变化趋势曲线图，（d）为疲劳状态下右眼EAR值变化趋势曲线图；
图7为本发明实施例的打哈欠时MAR值变化趋势曲线图；
图8为本发明实施例的基于轻量级神经网络图像增强的驾驶疲劳检测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例提供了基于轻量级神经网络图像增强的驾驶疲劳检测方法，如图1所示，包括：
步骤1、图像预处理——自适应低照度图像增强设计；
疲劳驾驶多发生出现在夜晚，因此分析夜间的环境进行图像预处理。夜间拍摄的图像多具有光照条件差、细节模糊以及色彩暗淡的特点。这些特点降低了后续检测的准确度，在极其恶劣的条件下容易使检测中断，因此设计一种算法增强低照度（亦称为亮度）的图像。
如图2所示，本发明实施例设计了自适应图像弱光增强系统，实时采集驾驶舱的动态图像，对动态图像进行增强处理。具体地，其采用了一种恒定照度增强算法，利用基于照图估计的弱光图像增强（Low-light Image Enhancement via Illumination MapEstimation，简称为LIME），计算当前状态人脸的照度与预设照度参数之间的误差，并通过PID（Proportional Integral Derivative，比例积分微分）算法控制LIME算法的参数，实现了在不同初始照度的条件情况下，都可以快速达到恒定照度的一种快速自适应恒定照度增强算法。
步骤1.1、低照度图像增强；
在夜间低光照条件下拍摄的图片通常隐藏了很多的细节，导致在后续模型推理时错误发生，因此需要在模型推理之前进行图像增强。LIME则是一种简单有效的弱光图像增强算法，它是一种基于Retinex光照模型分解的改进算法，通过估计弱光图像的光照度从而增强弱光图像。
传统的Retinex增强算法需要同时估计反射率与照度分量，如下式所示：
其中，I表示本征图像，R表示图像的反射率分量，T表示图像的照度分量。该算法具有明确的物理意义，即任何可观察的图像都可以被分解成反射率与光照度的乘积。而对于LIME算法，如果只需要增强弱光图像I，则不必将原始图像分解成两个分量的乘积，而仅需要估计T的分量，即可通过R=I/T即可得到反射率分量R，并将其作为光照增强的结果。本实施例中照度分量T的估计可以如下式所示：
通过该式得到的T(x)称为图像的初始照度估计，其表示图像三个通道中的最大值。该初始估计值可以直接作为照度估计，但是显然其效果不佳，因此本实施例提出了基于该初始照度估计的优化方案，如下式所示：
其中，上式中的T是优化方案的照度估计分量，Ta表示原始照度分量，||·||2表示二阶范数，||·||1表示一阶范数，▽表示梯度运算，W是权重矩阵，α为平衡上式前后两项的权重系数。第一项范数计算表示优化后照度估计分量与原始分量之间的差距，第二项范数计算表示结构感知的平滑度。基于上式的照度分量的优化函数，可以采取各种优化方式来得到优化后的图像照度分量，本实施采用基于拉格朗日乘子法的优化方式。
步骤1.2、PID控制恒定照度图像；
在得到照度分解分量T之后，可以通过R=I/T得到光增强结果。在本实施例中对该算法进行了改进，将照度分量T进行Gamma变换从而使光照增强结果变得可控。Gamma变换公式如下式所示：
其中，TG为执行了Gamma变换后输出的照度估计，G(·)表示Gamma变换，C表示光照增强程度，一般设定为恒定值；γ为伽马参数，用以控制光照增强的强度。可以看到，Gamma变换是一种非线性变换，通过控制γ参数可以控制光照增强的强弱，从而使增强结果变得可控。
在本实施例中，又进一步结合PID+LIME的方法实现了一个图像自适应弱光增强系统，如图2所示，其中展示了PID+LIME恒定照度控制流程。基于PID算子对所述伽马参数γ进行控制，调整每一帧人脸图像的光照增强程度C，并对每一帧进行了Gamma变换后的照度估计反馈融合至输入图像后，输入至所述PID算子进行运算，实现自适应图像增强处理。该改进方案可以使输入原始图片在不同初始照度以及在光照条件随时间变化的条件下，能够快速响应调整光照增强参数，从而使图片维持在恒定的照度，为后续的模型提供高可见度，复杂细节的图片，增强模型对不同环境适应程度，提高鲁棒性。
步骤2、轻量化快速人脸检测器设计；
普遍被使用的需要设计锚和匹配策略的CNN的人脸检测算法一般具有需要依赖经验选取锚（Anchor），样本不均衡，冗余计算等缺点。考虑到边缘计算需要平衡准确性和实时性，基于重新审视感受野在人脸检测背景中的重要性，本实施例采用了一种“无锚（No-Anchor）”的人脸检测算法LFFD（A Light and Fast Face Detector for Edge Devices），用于克服基于锚和多尺度检测所带来的缺点。该方法将感受野视为自然的“锚”，可以覆盖连续的人脸尺度，命中率接近100%。
在调查分析人脸范围与有效感受野之间的关系后，本实施例设计了一个简单而高效的八个检测分支网络，该网络由具有较少滤波器的公共构建块组成，推理速度快。通过轻量化快速人脸检测器（八个检测分支网络）捕捉增强处理后的驾驶人的人脸图像流；其中，轻量化快速人脸检测器通过构建并训练轻量级神经网络获得，训练集包括多张驾驶人在白天和夜晚驾驶过程中包含有人脸图像的驾驶舱图片。在人脸检测器中，其核心作用是快速捕捉驾驶舱中大范围拍摄场景中的人脸位置，锁定人脸图像，进一步缩小需要人脸特征检测的范围，提高特征检测的有效性。由于驾驶时通常是动态环境，摄像机拍摄到的实时图像流中往往包含了大量不是人脸的像素点，因此剔除非人脸位置的图像范围非常有必要，可以有效提高人脸特征点检测精度和大大降低所需的计算量。此外，在进行人脸检测器（即快速人脸检测器网络）的训练时，其训练用的图像集可以是任意包含有人脸的照片（不限定于仅为驾驶员的照片，也不限于仅为驾驶舱中的照片，只要是包含有人脸的照片即可），基于监督式或半监督式的训练方式提供人脸图像的标签，最终经过多轮训练之后待网络模型收敛到指定精度后获得驾驶员的人脸图像。为了提高该网络模型在不同场景或亮度下的有效检测性，训练时可以将在白天和夜晚的包含有驾驶员人脸的图像作为输入图像。
步骤2.1、RF（感受野）和ERF（有效感受野）；
特征图（Feature Map）中每一个点都对应一个感受野（RF），处于感受野越靠近中心位置的像素对结构影响越大；越小的人脸越需要更多的上下文信息，有效感受野（ERF）也就需要覆盖更多的上下文信息（大的人脸能直接判别，但小的人脸需要借助脖子、肩膀等上下文信息来判断）；感受野可以认为是天然的锚。
步骤2.2、轻量化快速人脸检测器网络架构；
轻量化快速人脸检测器的主干网络使用当前主流部署工具优化性能最高的3x3卷积核，通过降维分割为tiny、small、medium、large（即：微小、小、中、大四种不同尺寸的目标对象）四个部分，分别取2、2、1、3共8路检测分支，每个分支通过1x1卷积核从主干网络中导出。在一种优选的实现方式中，可以将LFFD模型进行优化后作为实施过程中的轻量化快速人脸检测器。
步骤3、人脸关键特征点提取；
将人脸图像流输入人脸关键特征点提取网络模型，提取人脸图像流的每一帧图像的人脸关键特征点。
人脸关键特征点提取网络模型的构建对人脸关键特征点的识别具有关键作用。
本实施例设计了一个重参数化轻量级卷积网络，命名为RepPFLD网络，使用了重参数化（Reparameter）技术，在构造并训练网络时增加多分支卷积层，并在部署测试（推理阶段）时将多分支卷积层合并，使其精度增加的同时网络能够更轻量和快速，更适合边缘计算。RepPFLD网络结构如表1和图3所示，其中，c代表输出通道数，n代表Operator单元重复数，s代表步长。
表1
在具体实施时，基于表1和图3所示的网络结构，将增强处理后的人脸图像流输入人脸关键特征点提取网络模型，提取人脸图像流的每一帧图像的人脸关键特征点，具体包括：
基于卷积神经网络构建人脸关键特征点提取网络模型，卷积神经网络包括依次连接的输入层、卷积层和全连接层（Full Connection）；
输入层将输入图像依次经过第一重参数化卷积核（RepConv）、重参数化深度卷积核（RepDepthwise Conv）的运算后生成第一输出特征图；
卷积层包括第一重参数化轻量级瓶颈块（RepGhostBottleneck）、第二重参数化轻量级瓶颈块、第三重参数化轻量级瓶颈块和第四重参数化轻量级瓶颈块；第一输出特征图输入至多个依次连接的第一重参数化轻量级瓶颈块，在执行运算后生成第二输出特征图；第二输出特征图输入至多个依次连接的第二重参数化轻量级瓶颈块，在执行运算后生成第三输出特征图；第三输出特征图输入至多个依次连接的第三重参数化轻量级瓶颈块，在执行运算后生成第四输出特征图；第四输出特征图输入至第四重参数化轻量级瓶颈块，在执行运算后生成第五输出特征图；第五输出特征图依次经过第二重参数化卷积核（RepConv）、标准卷积核（Conv）和点卷积（12 × 96）计算后连接至全连接层（Full Connection）；
第一输出特征图、第二输出特征图、第三输出特征图、第四输出特征图尺度依次降低，并分别通过依次连接的有效通道注意力（ECA）模块和平均池化（Avgpool）模块后连接至全连接层；
全连接层将接收到的多尺度特征图（即从表1中的S1、S2、S3、S4、S5输出的不同尺度的特征图）进行信息融合和权重分配，输出每个类别的权重值，根据权重值的大小获得人脸关键特征点的识别结果；
其中，人脸关键特征点的识别结果在训练阶段通过多分支卷积经训练获得；人脸关键特征点的识别结果在推理阶段通过将多分支卷积合并为单分支卷积后经测试获得。
在本实施例中，上述优化结构主要分为四个方面：一是增加了多尺度全连接层的数目，在保持网络速度不变的情况下，尽可能提升网络精度；二是将PFLD网络中原本的倒向残差模块（Inverted Residual Block）替换成GhostNet模型中使用的Ghost瓶颈模块，从而有效地减少了运算量，在保持网络精度不变的情况下，尽可能提升网络速度。三是使用了重参数化技术，在训练时采用多分支卷积层而在部署时采用合并成单分支的方法，在提高原有网络精度的同时能够保持原有网络参数不变，并提高推理速度。四是增加了CA通道注意力机制，增强网络的泛化能力，提高网络精度。
本实施例中，采用GhostNet中的轻量级瓶颈结构Ghost Bottleneck模块代替现有网络中常用的瓶颈结构（Bottleneck）模块。大量实验表明，GhostNet在许多图像分类任务上都被证明优于前期的轻量级目标检测网络，如MobileNet-V3网络。其核心思想在于先对首先通过传统的卷积生成通道较小的特征图以较少的计算量，然后在得到的特征图的基础上，通过简易操作，（例如附图4中的cheap_conv，Depthwise conv，深度卷积）再进一步减少计算量，生成新的特征图，最后将两组特征图拼接到一起，得到最终的输出特征图。由于Ghost Bottleneck在轻量级神经网络中具有很好的表现，因此采用Ghost Bottleneck替换基础的Bottleneck模块，根据计算，可以减小接近原模型2/3的模型参数。
此外，本发明实施例在采用Ghost Bottleneck的同时也缩减了模型的通道，虽然Ghost Bottleneck在可以在参数和计算量减小的同时性能有所提升，但在实际运用时发现模型在面对复杂环境的干扰时显得更加敏感。因此如何在减小参数的同时提高模型的鲁棒性，保持精度不变则是优化模型的另一个待解决目标，因此，本实施例在以下三个方面进行优化：
①增加多尺度全连接层的数目。具体地，在下采样中提取了每个下采样卷积的通道，并经过ECA通道注意力+平均池化后合并这些通道提取值，并将合并后数据一起送入全连接层中。增加多尺度全连接层这种方式可以进一步扩展模型的表示能力，以更好地捕获不同尺度和复杂性的特征。这种扩展可以增加网络的深度和复杂度，允许模型更有效地处理多尺度的输入数据。多尺度全连接层的作用是在网络的不同层次捕获和融合多尺度特征信息，从而提高模型对复杂数据的理解和处理能力。
②增加注意力机制。具体地，在表1中的RepPFLD神经网络架构中，对不同的层进行了不同的注意力改善。在S1-S4层中，由于对这些层都进行全局平均池化，因此网络更关注这些层中的通道信息，于是利用ECA通道注意力处理这些层。ECA注意力机制是一种高效的注意力机制，其采用类似于SE注意力机制的方法，在卷积操作中引入通道注意力机制，以捕捉不同通道之间的关系，从而提升特征表示的能力。通过添加通道注意力机制，可以更好突出关注的通道信息并抑制不重要的通道信息，并且能有效地联系图像中位置相差较远的信息，提高全局联系能力。通过添加ECA注意力，模型在后续多尺度全连接时可以获得更好的效果。
③通过重参数化技术构建高效的卷积推理模块RepGhostBottleneck。重参数化技术是指通过卷积模块合并的方式，将多个卷积层以及BN（批归一化）层合并，以起到减小网络参数的作用，本质上是一种轻量化模型的技术。本系统设计的RepGhostBottleneck利用重参数化技术，如图4所示，在训练时单分支卷积膨胀成多分支卷积，采用多分支的卷积结构进行训练（图4（b）），在部署（推理）时又将多分支卷积合并成单分支卷积，采用单分支的结构进行推理（图4（a）），这样既可以拥有多分支的性能，又可以拥有单分支的推理速度。具体地，在本实施例中，为了获得更轻量的模型和更高效的计算，除了轻量级瓶颈结构RepGhostBottleneck可以实现重参数化以外，标准卷积和深度卷积亦进行了重参数化，设计了重参数化卷积核（RepConv）和重参数深度卷积核（RepDepthwise Conv）。
步骤4、面部疲劳特征分析；
基于人脸关键特征点判断驾驶人是否存在面部疲劳特征，在检测出所述面部疲劳特征时确定驾驶人存在疲劳驾驶。
步骤4.1、EAR（眼部纵横比）与MAR（嘴部纵横比）计算；
本实施例通过轻量化快速人脸检测器提取人脸的多个特征点，并提取特征点中的眼部和嘴部关键点，如图5所示，其中，特征点p1~p12标示了人脸的人眼关键特征点和嘴部关键特征点。
计算相应的EAR与MAR值，计算方法如下：
（1）对EAR值进行分析；
图6为每秒采集图像帧数为15时，正常状态下和疲劳状态下EAR值的变化趋势曲线，其中，图6中（a）为正常状态下左眼EAR值变化趋势曲线，图6中（b）为正常状态下右眼EAR值变化趋势曲线，图6中（c）为疲劳状态下左眼EAR值变化趋势曲线，图6中（d）为疲劳状态下右眼EAR值变化趋势曲线。正常眼睛睁眼状态EAR值维持在约0.35；人正常眨一次眼的时间在0.2~0.4秒，约等价于5帧的图像采集速度，而眨眼时EAR值低于0.25的时长约为5帧，因此将判定为闭眼的阈值设为0.25。
在疲劳状态下，睁眼状态的EAR值比正常状态下略低，即人眼自然睁开的大小相对于正常状态下有所减小；且一次闭眼时长（假设阈值是0.25）是正常闭眼时长的五倍左右，疲劳时眼部状态基本与实际相符。
（2）对MAR值进行分析；
如图7所示，当驾驶人打哈欠时，驾驶人的嘴部张大，嘴部纵横比（MAR）逐渐增大，经统计得打哈欠时MAR值大于0.6并持续4~6秒，因此将MAR阈值设为0.6较合适。
步骤4.2、疲劳判定标准；
基于以上分析，在一种可实现的方式中，基于所述特征点判断所述驾驶人是否存在面部疲劳特征，包括：
提取特征点中的眼部关键点，基于眼部关键点计算出眼部纵横比值（EAR），根据眼部纵横比值判断所述驾驶人的睁眼状态和闭眼状态，包括：当眼部纵横比值大于第一预设阈值，则判定为睁眼状态；反之，则判定为闭眼状态；分别实时统计出所述驾驶人的睁眼状态持续图像帧数和闭眼状态持续图像帧数；若睁眼状态图像持续帧数小于睁眼帧数阈值或者闭眼状态图像持续帧数大于闭眼帧数阈值，则判定驾驶人存在面部疲劳特征。
进一步地，根据眼部纵横比值（EAR）计算驾驶人的眼睑闭合度（PERCLOS），眼睑闭合度为检测到的闭眼状态图像持续帧数与总检测图像帧数的比值；当睁眼状态图像持续帧数小于睁眼帧数阈值或者闭眼状态图像持续帧数大于闭眼帧数阈值时，将眼睑闭合度的值与第二预设阈值进行比较；若眼睑闭合度的值大于第二预设阈值，则判定驾驶人存在面部疲劳特征。
相对而言，眼睑闭合度PERCLOS会比单纯基于睁眼时长或闭眼时长更加准确。因此，在获得睁眼时长（图像帧数）或闭眼时长（图像帧数）之外，可以进一步结合PERCLOS作为本实施例所采用的疲劳判定标准。具体地，其将检测到疲劳的时间与总时间之比作为判断疲劳的标准，将其思想转换为用帧数的表达形式：
其中，framewink表示低于EAR阈值的图像帧数；framesum表示采集的图像总帧数。通过比较正常驾驶时的PERCLOS值与疲劳驾驶时的PERCLOS值，确定一个判断为疲劳驾驶的临界值，不同条件下的PERCLOS值如表2所示。
表2
由表2可得，通过统计眼睛低于EAR阈值的帧数和总帧数，可计算出驾驶员处于不同状态下的PERCLOS值。当驾驶员处于正常驾驶状态时，PERCLOS值低于0.1；疲劳驾驶时EAR值低于阈值的帧数明显上升，PERCLOS值约为0.55。因此取PERCLOS值=0.2作为疲劳状态的临界值。
此外，在获得人脸的嘴部特征点时，基于特征点判断所述驾驶人是否存在面部疲劳特征的实现方法，还包括：
提取特征点中的嘴部关键点，基于所述嘴部关键点计算嘴部纵横比值（MAR），将嘴部纵横比值（MAR）与第三预设阈值进行比较，当嘴部纵横比值（MAR）超出第三预设阈值时，判定为嘴部张开状态；若嘴部张开状态所持续的图像帧数超出预设的张开帧数阈值，判定为一次打哈欠；统计在预设时间内的打哈欠的次数，获取驾驶人的打哈欠频率；若驾驶人的打哈欠频率大于第四预设阈值，则判定为存在面部疲劳特征。
进一步地，还可以结合行车时长来判断所述驾驶人是否存在疲劳驾驶，具体方法包括：
实时记录驾驶人在启动汽车后的每一次停车时长和行车时长，在停车时长超出第五预设阈值时，重启所述行车时长的计算；当行车时长超出第六预设阈值时，判定驾驶人为疲劳驾驶。
总之，在具体实施时，以上的关键判断指标包括：
（1）EAR：眼部纵横比；
计算眼部纵横比EAR，当EAR<0.25时，判断眼部状态为闭眼。
（2）MAR：嘴部纵横比；
计算嘴部纵横比MAR，当MAR>0.6时，开始计算持续大于0.6的帧数，若大于40帧则判断为打一次哈欠。
（3）PERCLOS；
将检测到疲劳的时间与总时间之比作为判断疲劳的标准，将PERCLOS值与临界值（预设阈值）进行比较来进行疲劳判定。通过比较正常驾驶时的PERCLOS值与疲劳驾驶时的PERCLOS值，确定一个判断为疲劳驾驶的临界值，临界值为0.2，当PERCLOS大于0.2时，判定驾驶员处于疲劳状态。
（4）打哈欠频率；
根据MAR统计出打哈欠的频率，若检测到打哈欠频率高于3次/10min，判定驾驶员处于疲劳状态。
（5）驾驶时长；
具体实施时，当检测到驾驶员连续驾驶时长白天(6:00-18:00)超过4小时或夜间(18:00-次日6:00)超过3小时后（短时长模拟），发出提示音警告驾驶员。具体报警时长可以按照实际情况进行设置。
为进一步优化技术方案，本实施例还提供了基于轻量级神经网络图像增强的驾驶疲劳检测系统，如图8所示，包括：图像采集模块、图像处理模块、特征检测模块、疲劳判断模块；
图像采集模块，用于实时采集驾驶舱内驾驶人的动态图像，
图像处理模块，用于对动态图像进行增强处理，并通过轻量化快速人脸检测器捕捉增强处理后的动态图像中驾驶人的人脸图像流；
特征检测模块，用于将人脸图像流输入预设的人脸关键特征点提取网络模型中，提取人脸图像流的每一帧图像的人脸关键特征点，
疲劳判断模块，用于基于人脸关键特征点判断驾驶人是否存在面部疲劳特征，在检测出存在面部疲劳特征时确定驾驶人存在疲劳驾驶。
进一步地，系统还包括行车计算模块、疲劳报警模块和信息显示模块，行车计算模块用于通过计算驾驶人的行车时长判断所示驾驶人是否存在疲劳驾驶；疲劳报警模块用于当确定驾驶人疲劳驾驶时，发出提示音警告；信息显示模块用于实时显示驾驶人的面部疲劳特征和连续驾驶时长。
其中，人脸关键特征点提取网络模型通过构建并训练重参数化轻量级卷积网络获得，重参数化轻量级卷积网络的网络结构包括依次连接的输入层、卷积层和全连接层；
输入层用于将输入图像依次经过第一重参数化卷积核、重参数化深度卷积核的运算后生成第一输出特征图；
卷积层包括第一重参数化轻量级瓶颈块、第二重参数化轻量级瓶颈块、第三重参数化轻量级瓶颈块和第四重参数化轻量级瓶颈块；第一输出特征图输入至多个依次连接的第一重参数化轻量级瓶颈块，在执行运算后生成第二输出特征图；第二输出特征图输入至多个依次连接的第二重参数化轻量级瓶颈块，在执行运算后生成第三输出特征图；第三输出特征图输入至多个依次连接的第三重参数化轻量级瓶颈块，在执行运算后生成第四输出特征图；第四输出特征图输入至第四重参数化轻量级瓶颈块，在执行运算后生成第五输出特征图；第五输出特征图依次经过第二重参数化卷积核、标准卷积核和点卷积计算后连接至全连接层；
第一输出特征图、第二输出特征图、第三输出特征图、第四输出特征图尺度依次降低，并分别通过依次连接的有效通道注意力模块和平均池化模块后连接至全连接层；
全连接层用于将接收到的多尺度特征图进行信息融合和权重分配，输出每个类别的权重值，根据权重值的大小获得人脸关键特征点的识别结果；
人脸关键特征点在训练阶段的识别结果通过多分支卷积经训练获得；
人脸关键特征点在推理阶段的识别结果通过将多分支卷积合并为单分支卷积后经测试获得。
为进一步验证本实施例的有效性，进行实验验证：
（1）数据集：
针对自适应弱光图像增强，采用LOL(LOw-Light dataset)数据集进行测试和验证。LOL数据集采用不同的曝光拍摄同样的场景，提供大量的强/弱光图像对。在实验中选择10张不同的照片进行不同算法的处理，以对比不同算法的性能。
采用WFLW（Wider Facial Landmarks in the Wild）数据集对RepPFLD进行训练。WFLW数据库包含10000张人脸面孔（7500张用于训练，2500张用于测试）以及98个带注释的标签。WFLW数据库具有遮挡、头部姿势、化妆、照明、模糊和表情等丰富的属性注释。实验中将WFLW数据集的输入图片大小统一设置为112×112×3。在一种简化的验证方法中，可以将前期的人脸检测器所用到快速人脸检测器网络模型，在训练时，可用WFLW数据集的部分图像作为快速人脸检测器网络模型的训练图像集，然后将该网络检测输出的人脸图像作为下一步骤中的人脸关键特征点网络模型的训练图像，由于两个网络模型所用的图像的像素范围不同，训练所需的目标标签不同，因此两者产生的检测输出结果不同。此外，由于人脸关键特征点网络模型利用了重参数化技术，因此，在其进行训练时，可以采用多分支的膨胀网络结构进行训练，可以获得更加精细的图像特征，从而提高模型的检测精度；而在其进行推理/测试时，将多分支的训练参数合并为单分支，从而提高模型在检测时的计算速度并保持网络的检测精度。此外，将训练完成的人脸关键特征点网络模型部署至边缘端设备（如Jetson Xavier NX平台）时，可以进一步利用ONNX框架对该网络进行计算加速。
（2）实验操作：
训练：
训练时，RepPFLD采用膨胀网络结构进行训练。对RepPFLD采用Adam优化器优化参数，设置批量单位Train_BatchSize = 256，学习率LR = 1e-4，权值衰减Weight_decay =1e-6，经过100次训练迭代之后结果基本趋向于平稳。训练结束后，将RepPFLD从多分支合并成单分支，并将其转化成适合边缘端设备部署的ONNX推理模型，以最大限度提高提高其推理速度。
测试（推理）：
在PC端进行测试，测试目标主要有：弱光增强算法对比、RepPFLD与基于现有网络模型的对比、系统在正常光照条件下与黑暗条件下的性能测试。
（3）实验结果：
A.在LoL数据集上选取10张图像，对不同的弱光增强算法进行性能对比测试，实验平均结果如表3所示：
表3
可以看出，LIME的精度无疑是最高的，其帧率也在可接受范围内；CLANE方案的速度很高，但是其生成图像对色彩信息丢失严重，无法被PFLD模型识别；Retinex与LIME的综合性能对比相似，但是LIME对弱光图像细节恢复较好，且其需要估计的参数只有一个，有利于自适应调参。
B.不同人脸检测模型的性能对比，对比结果如表4所示：
表4
对比了PFLD、PFLD-Ghost以及本实施例的RepPFLD的性能，可以看出，相比起PFLD，主干网络的残差块换成GhostBottleneck的PFLD-Ghost的NME误差下降了5.91%，浮点运算量FLOPs减少了56.1%。采用ECA通道注意力之后，PFLD-Ghost相较于未加注意力机制的版本NME误差减小了1.19%，浮点运算量以及参数量几乎保持不变。
虽然采用GhostBottleneck作为主干网络可以比较大程度减小模型的FLOPs，但降低了帧率。推测这是由于GhostBottleneck中多分支结构造成的，因此进一步引入了重参数化技术以将GhostBottleneck中的多分支在推理时变成单分支网络。在训练时，将GhostBottleneck中的卷积膨胀成多分支的单元网络，而在推理时将多分支合并成单分支，这样即能拥有多分支网络的精度，又可以拥有单分支网络的推理速度，经过实验测试，RepPFLD无论是在精度和速度上都较之前模型有较大的改进。对比PFLD-Ghost的性能，RepPFLD的NME较PFLD-Ghost进一步降低了2.9%，FLOPs降低了41.5%，帧率也达到了66 FPS。在添加了ECA通道注意力之后，RepPFLD的NME进一步降低了1.5%，相比PFLD模型降低了10.1%。
C.不同环境下的总体性能对比，对比结果如表5所示：
表5
可以看出，无论是在正常光照条件下还是在照明度低的条件下，本实施例所提出的检测方法都具有相当高的准确率。EAR关键点的跟踪效果比MAR稍差点，主要原因是由于EAR的眼部纵横比的变化范围相比MAR会更小，因此误判的比例也会增大。针对这个问题，本实施例中采用了PERCLOS计算一段时间内闭眼时间占总体时间的分布，这样既可以避免系统误判闭眼的情况，又可以防止人自身眨眼造成系统误判。
在推理速度上，本实施例也达到了正常光下25 FPS，照度低情况下16 FPS的运行速度，这个帧率非常高，基本上可以满足大多数实时应用的情况。
本实施例所提出的系统可以联合其他设备进一步在判断司机处于疲劳状态时做出相应的反应，也可以将状态上传云端以便对司机驾驶状态进行监控，防止意外的发生。总之，本实施例无论是在识别精度上还是在运行速度上，都具有非常实用的效果。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (10)
1.基于轻量级神经网络图像增强的驾驶疲劳检测方法，其特征在于，包括：
实时采集驾驶舱内驾驶人的动态图像，对所述动态图像进行增强处理；
通过轻量化快速人脸检测器捕捉增强处理后的所述动态图像中驾驶人的人脸图像流；
将所述人脸图像流输入预设的人脸关键特征点提取网络模型中，提取所述人脸图像流的每一帧图像的人脸关键特征点，其中，所述人脸关键特征点提取网络模型通过构建并训练重参数化轻量级卷积网络获得；
基于所述人脸关键特征点判断所述驾驶人是否存在面部疲劳特征，在检测出存在所述面部疲劳特征时确定所述驾驶人存在疲劳驾驶。
2.根据权利要求1所述的基于轻量级神经网络图像增强的驾驶疲劳检测方法，其特征在于，对所述动态图像进行增强处理包括：
计算所述动态图像中的每一帧人脸图像的照度估计分量：
其中，T表示照度估计分量，Ta表示原始照度分量，||·||2表示二阶范数，||·||1表示一阶范数，W表示权重矩阵，α表示权重系数，▽表示梯度运算；
对所述照度估计分量进行Gamma变换：
其中，TG为执行了Gamma变换后输出的照度估计，G(·)表示Gamma变换，C表示光照增强程度，γ表示伽马参数；
基于PID算子对所述伽马参数γ进行控制，调整每一帧人脸图像的光照增强程度C，并对每一帧进行了Gamma变换后的照度估计反馈融合至输入图像后，输入至所述PID算子进行运算，实现自适应图像增强处理。
3.根据权利要求1所述的基于轻量级神经网络图像增强的驾驶疲劳检测方法，其特征在于，将所述人脸图像流输入预设的人脸关键特征点提取网络模型中，提取所述人脸图像流的每一帧图像的人脸关键特征点包括：
所述人脸关键特征点提取网络模型通过构建并训练重参数化轻量级卷积网络获得，所述重参数化轻量级卷积网络包括依次连接的输入层、卷积层和全连接层；
所述输入层将输入图像依次经过第一重参数化卷积核、重参数化深度卷积核的运算后生成第一输出特征图；
所述卷积层包括第一重参数化轻量级瓶颈块、第二重参数化轻量级瓶颈块、第三重参数化轻量级瓶颈块和第四重参数化轻量级瓶颈块；所述第一输出特征图输入至多个依次连接的第一重参数化轻量级瓶颈块，在执行运算后生成第二输出特征图；所述第二输出特征图输入至多个依次连接的第二重参数化轻量级瓶颈块，在执行运算后生成第三输出特征图；所述第三输出特征图输入至多个依次连接的第三重参数化轻量级瓶颈块，在执行运算后生成第四输出特征图；所述第四输出特征图输入至第四重参数化轻量级瓶颈块，在执行运算后生成第五输出特征图；所述第五输出特征图依次经过第二重参数化卷积核、标准卷积核和点卷积计算后连接至所述全连接层；
所述第一输出特征图、第二输出特征图、第三输出特征图、第四输出特征图尺度依次降低，并分别通过依次连接的有效通道注意力模块和平均池化模块后连接至所述全连接层；
所述全连接层将接收到的多尺度特征图进行信息融合和权重分配，输出每个类别的权重值，根据权重值的大小获得人脸关键特征点的识别结果；
所述人脸关键特征点在训练阶段的识别结果通过多分支卷积经训练获得；
所述人脸关键特征点在推理阶段的识别结果通过将多分支卷积合并为单分支卷积后经测试获得。
4.根据权利要求1所述的基于轻量级神经网络图像增强的驾驶疲劳检测方法，其特征在于，基于所述人脸关键特征点判断所述驾驶人是否存在面部疲劳特征包括：
提取所述人脸关键特征点中的眼部关键点；
基于所述眼部关键点计算出眼部纵横比值；
根据所述眼部纵横比值判断所述驾驶人的睁眼状态和闭眼状态，当所述眼部纵横比值大于第一预设阈值，则判定为睁眼状态；反之，则判定为闭眼状态；
分别实时统计出所述驾驶人的睁眼状态持续图像帧数和闭眼状态持续图像帧数；
若所述睁眼状态图像持续帧数小于睁眼帧数阈值或者所述闭眼状态图像持续帧数大于闭眼帧数阈值，则判定所述驾驶人存在面部疲劳特征。
5.根据权利要求4所述的基于轻量级神经网络图像增强的驾驶疲劳检测方法，其特征在于，基于所述人脸关键特征点判断所述驾驶人是否存在面部疲劳特征还包括：
根据所述眼部纵横比值计算所述驾驶人的眼睑闭合度，所述眼睑闭合度为检测到的闭眼状态图像持续帧数与总检测图像帧数的比值；
当所述睁眼状态图像持续帧数小于睁眼帧数阈值或者所述闭眼状态图像持续帧数大于闭眼帧数阈值时，将所述眼睑闭合度与第二预设阈值进行比较；
若所述眼睑闭合度大于第二预设阈值，则判定所述驾驶人存在面部疲劳特征。
6.根据权利要求1-5任一项所述的基于轻量级神经网络图像增强的驾驶疲劳检测方法，其特征在于，基于所述人脸关键特征点判断所述驾驶人是否存在面部疲劳特征还包括：
提取所述人脸关键特征点中的嘴部关键点；
基于所述嘴部关键点计算嘴部纵横比值；
将所述嘴部纵横比值与第三预设阈值进行比较，当所述嘴部纵横比值超出第三预设阈值时，判定为嘴部张开状态；
若所述嘴部张开状态所持续的图像帧数超出预设的张开帧数阈值，判定为一次打哈欠；
统计在预设时间内的打哈欠的次数，获取所述驾驶人的打哈欠频率；
若所述驾驶人的打哈欠频率大于第四预设阈值，则判定为存在面部疲劳特征。
7.根据权利要求1所述的基于轻量级神经网络图像增强的驾驶疲劳检测方法，其特征在于，确定所述驾驶人存在疲劳驾驶还包括通过计算行车时长进行确认，计算行车时长进行确认包括：
实时记录所述驾驶人在启动汽车后的每一次停车时长和行车时长；
在所述停车时长超出第五预设阈值时，重启所述行车时长的计算；
当所述行车时长超出第六预设阈值时，判定所述驾驶人为疲劳驾驶。
8.一种基于轻量级神经网络图像增强的驾驶疲劳检测系统，其特征在于，用于实施如权利要求1-7任一项所述的基于轻量级神经网络图像增强的驾驶疲劳检测方法，所述系统包括：图像采集模块、图像处理模块、特征检测模块、疲劳判断模块；
所述图像采集模块，用于实时采集驾驶舱内驾驶人的动态图像；
所述图像处理模块，用于对所述动态图像进行增强处理，并通过轻量化快速人脸检测器捕捉增强处理后的动态图像中驾驶人的人脸图像流；
所述特征检测模块，用于将所述人脸图像流输入预设的人脸关键特征点提取网络模型中，提取所述人脸图像流的每一帧图像的人脸关键特征点；
所述疲劳判断模块，用于基于所述人脸关键特征点判断所述驾驶人是否存在面部疲劳特征，在检测出存在所述面部疲劳特征时确定所述驾驶人存在疲劳驾驶。
9.根据权利要求8所述的基于轻量级神经网络图像增强的驾驶疲劳检测系统，其特征在于，所述人脸关键特征点提取网络模型通过构建并训练重参数化轻量级卷积网络获得，所述重参数化轻量级卷积网络包括依次连接的输入层、卷积层和全连接层；
所述输入层，用于将输入图像依次经过第一重参数化卷积核、重参数化深度卷积核的运算后生成第一输出特征图；
所述卷积层，包括第一重参数化轻量级瓶颈块、第二重参数化轻量级瓶颈块、第三重参数化轻量级瓶颈块和第四重参数化轻量级瓶颈块；所述第一输出特征图输入至多个依次连接的第一重参数化轻量级瓶颈块，在执行运算后生成第二输出特征图；所述第二输出特征图输入至多个依次连接的第二重参数化轻量级瓶颈块，在执行运算后生成第三输出特征图；所述第三输出特征图输入至多个依次连接的第三重参数化轻量级瓶颈块，在执行运算后生成第四输出特征图；所述第四输出特征图输入至第四重参数化轻量级瓶颈块，在执行运算后生成第五输出特征图；所述第五输出特征图依次经过第二重参数化卷积核、标准卷积核和点卷积计算后连接至所述全连接层；
所述第一输出特征图、第二输出特征图、第三输出特征图、第四输出特征图尺度依次降低，并分别通过依次连接的有效通道注意力模块和平均池化模块后连接至所述全连接层；
所述全连接层，用于将接收到的多尺度特征图进行信息融合和权重分配，输出每个类别的权重值，根据权重值的大小获得人脸关键特征点的识别结果；
所述人脸关键特征点在训练阶段的识别结果通过多分支卷积经训练获得；
所述人脸关键特征点在推理阶段的识别结果通过将多分支卷积合并为单分支卷积后经测试获得。
10.根据权利要求8所述的基于轻量级神经网络图像增强的驾驶疲劳检测系统，其特征在于，所述系统还包括行车计算模块、疲劳报警模块和信息显示模块，所述行车计算模块用于通过计算所述驾驶人的行车时长判断所示驾驶人是否存在疲劳驾驶；所述疲劳报警模块用于当确定所述驾驶人疲劳驾驶时，发出提示音警告；所述信息显示模块用于实时显示所述驾驶人的面部疲劳特征和连续驾驶时长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410210718.7A CN117789181B (zh) | 2024-02-27 | 2024-02-27 | 基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410210718.7A CN117789181B (zh) | 2024-02-27 | 2024-02-27 | 基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117789181A true CN117789181A (zh) | 2024-03-29 |
| CN117789181B CN117789181B (zh) | 2024-06-04 |
Family
ID=90379960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410210718.7A Active CN117789181B (zh) | 2024-02-27 | 2024-02-27 | 基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117789181B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118097636A (zh) * | 2024-04-07 | 2024-05-28 | 北京万联易达科技有限公司 | 一种基于人工智能的自动检测司机疲劳度的图像视觉方法与系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021034035A (ja) * | 2019-08-28 | 2021-03-01 | 潘文橋 | 人面識別に基づいた智能化車載疲労検出システム、方法および装置 |
| CN113920491A (zh) * | 2021-09-07 | 2022-01-11 | 哈尔滨工业大学（威海） | 基于面部骨架模型的疲劳检测系统、方法、介质、检测设备 |
| CN114973214A (zh) * | 2022-06-09 | 2022-08-30 | 浙江工业大学 | 一种基于人脸特征点的不安全驾驶行为识别方法 |
| CN115861982A (zh) * | 2022-11-28 | 2023-03-28 | 青岛联合创智科技有限公司 | 一种基于监控摄像头的驾驶疲劳实时检测方法及系统 |
| CN116311180A (zh) * | 2023-03-03 | 2023-06-23 | 内蒙古工业大学 | 一种多方法融合的疲劳驾驶检测方法 |
| CN117115880A (zh) * | 2023-07-23 | 2023-11-24 | 郑州大学 | 一种基于重参数化的轻量级人脸关键点检测的方法 |
-
2024
- 2024-02-27 CN CN202410210718.7A patent/CN117789181B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021034035A (ja) * | 2019-08-28 | 2021-03-01 | 潘文橋 | 人面識別に基づいた智能化車載疲労検出システム、方法および装置 |
| CN113920491A (zh) * | 2021-09-07 | 2022-01-11 | 哈尔滨工业大学（威海） | 基于面部骨架模型的疲劳检测系统、方法、介质、检测设备 |
| CN114973214A (zh) * | 2022-06-09 | 2022-08-30 | 浙江工业大学 | 一种基于人脸特征点的不安全驾驶行为识别方法 |
| CN115861982A (zh) * | 2022-11-28 | 2023-03-28 | 青岛联合创智科技有限公司 | 一种基于监控摄像头的驾驶疲劳实时检测方法及系统 |
| CN116311180A (zh) * | 2023-03-03 | 2023-06-23 | 内蒙古工业大学 | 一种多方法融合的疲劳驾驶检测方法 |
| CN117115880A (zh) * | 2023-07-23 | 2023-11-24 | 郑州大学 | 一种基于重参数化的轻量级人脸关键点检测的方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118097636A (zh) * | 2024-04-07 | 2024-05-28 | 北京万联易达科技有限公司 | 一种基于人工智能的自动检测司机疲劳度的图像视觉方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117789181B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117789181B (zh) | 基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统 | |
| CN111582095B (zh) | 一种轻量级行人异常行为快速检测方法 | |
| CN112016457A (zh) | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 | |
| CN110728241A (zh) | 一种基于深度学习多特征融合的驾驶员疲劳检测方法 | |
| CN112424795B (zh) | 人脸防伪方法、处理器芯片及电子设备 | |
| CN111434553B (zh) | 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置 | |
| CN104134364B (zh) | 具有自我学习能力的实时交通标记识别方法及系统 | |
| CN114463677A (zh) | 一种基于全局注意力的安全帽配戴检测方法 | |
| CN113419624B (zh) | 一种基于头部时序信号校正的眼动交互方法及装置 | |
| Miao et al. | Abnormal behavior learning based on edge computing toward a crowd monitoring system | |
| CN114051116A (zh) | 一种驾考车辆的视频监控方法、装置以及系统 | |
| CN113408389A (zh) | 一种智能识别司机睡意动作的方法 | |
| WO2021189321A1 (zh) | 一种图像处理方法和装置 | |
| Zhou | Eye-Blink Detection under Low-Light Conditions Based on Zero-DCE | |
| CN116343513A (zh) | 农村公路超视距风险点安全监测预警方法及其系统 | |
| CN114120634B (zh) | 基于WiFi的危险驾驶行为识别方法、装置、设备及存储介质 | |
| CN112686103B (zh) | 一种车路协同的疲劳驾驶监测系统 | |
| CN115862128A (zh) | 一种基于人体骨架的顾客异常行为识别方法 | |
| Srivastava et al. | Driver’s Face Detection in Poor Illumination for ADAS Applications | |
| Wang et al. | Low-light traffic objects detection for automated vehicles | |
| Victoria et al. | Driver drowsiness monitoring using convolutional neural networks | |
| CN113610030A (zh) | 行为识别方法和行为识别装置 | |
| Sharma et al. | Deep convolutional network based real time fatigue detection and drowsiness alertness system | |
| CN114998820B (zh) | 一种基于多任务学习的天气识别方法及系统 | |
| TWI786893B (zh) | 艙內監控與情境理解感知方法及其系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |