CN113705427A - 基于车规级芯片SoC的疲劳驾驶监测预警方法及系统 - Google Patents
基于车规级芯片SoC的疲劳驾驶监测预警方法及系统 Download PDFInfo
- Publication number
- CN113705427A CN113705427A CN202110987757.4A CN202110987757A CN113705427A CN 113705427 A CN113705427 A CN 113705427A CN 202110987757 A CN202110987757 A CN 202110987757A CN 113705427 A CN113705427 A CN 113705427A
- Authority
- CN
- China
- Prior art keywords
- early warning
- fatigue
- soc
- fatigue driving
- vehicle gauge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012544 monitoring process Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 230000001815 facial effect Effects 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000006399 behavior Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000000391 smoking effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- RGEMJCLUPGZKTQ-WAUHAFJUSA-N (3s,8r,9s,10r,13s,14s)-3-[2-(dimethylamino)ethoxy]-10,13-dimethyl-1,2,3,4,7,8,9,11,12,14,15,16-dodecahydrocyclopenta[a]phenanthren-17-one Chemical compound C([C@@H]12)C[C@]3(C)C(=O)CC[C@H]3[C@@H]1CC=C1[C@]2(C)CC[C@H](OCCN(C)C)C1 RGEMJCLUPGZKTQ-WAUHAFJUSA-N 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000035622 drinking Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 101150086208 TDA2 gene Proteins 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010026749 Mania Diseases 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009661 fatigue test Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000031836 visual learning Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
Abstract
本发明公开了一种基于车规级芯片SoC的疲劳驾驶监测预警方法及系统，通过采集驾驶员面部图像，并采用混合去噪法对采集的驾驶员面部图像进行预处理，并利用基于块乘法算法构建的基于车规级芯片SoC的轻量化SSD网络模型提取预处理后面部图像中特征类别信息；对特征类别信息疲劳等级划分，并根据疲劳等级进行分级预警；本发明通过混合去噪法对采集的驾驶员面部图像进行预处理，优化了夜间传统图像传感器存在的噪声，构建基于车规级芯片SoC的轻量化SSD网络模型应用于TDA2x平台，提升了训练网络在车规级芯片SoC部署的识别效率以及鲁棒性，降低了系统资源占有率及SBL引导时间，有效提升系统的实时性与稳定性，实现在低成本车规级SoC系统上开发疲劳检测系统。
Description
技术领域
本发明涉及车辆安全驾驶领域，具体涉及一种基于车规级芯片SoC的疲劳驾驶监测预警方法及系统。
背景技术
疲劳驾驶预警系统(Driver Fatigue Monitor System)能够在驾驶员行驶过程中，全天候监测驾驶员的疲劳状态、驾驶行为等。在发现驾驶员出现疲劳及其他错误驾驶的行为动作后，预警系统将会对此类行为进行及时的分析，并进行语音或灯光提示。疲劳驾驶监测系统的发展过程可以总结为从多参数传感器向图像传感器的过度，从传统机器视觉检测算法向深度学习检测的过度。从驾驶者的驾驶体验出发考虑，一定是需要一款能精准监测疲劳状态且不干扰驾驶过程的系统，但恰恰是高精度目标检测算法和低成本硬件之间的平衡问题制约了疲劳监测系统的研发和落地。传统的机器视觉算法虽然能满足一些特征的提取和跟踪功能，但是对于智能辅助驾驶行业而言，安全驾驶是关乎驾驶员、乘客及行人生命和财产的重要议题，驾驶过程中会面临很多突发状况、行驶路况、恶劣天气和噪声干扰等问题，这是传统机器视觉算法无法处理的难题。另一方面具有高精度、鲁棒性的深度学习算法模型需要搭载高性能高算力的处理器，这些高性能的处理器成本普遍偏高且难以集成在车规级芯片SoC(System On Chip)中；
疲劳驾驶监测作为ADAS中不可或缺的一项功能，不像前车碰撞预警(FCW)、车道保持辅助(LDW)这类功能需要高精度的传感器和高计算能力芯片做支撑，但随着嵌入式系统和深度学习的发展，疲劳驾驶监测也在逐渐取代传统视觉学习，向机器学习的智能化、精确化方向发展，亟待深度学习在嵌入式系统中的部署和应用，所以，在选择芯片和硬件平台时，既要保证芯片有足够的浮点运算速度，同时也要有成熟的软件开发框架及平台的保证，此外开发还需兼顾成本的考量，因此通过深度学习模型算法构建监测识别模型，并应用于低成本车规级芯片SoC，设计开发一款低成本的高精确度疲劳驾驶监测预警方法及系统，具有重要的现实意义和实用价值。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于车规级芯片SoC的疲劳驾驶监测预警方法及系统。
为了达到上述发明目的，本发明采用的技术方案为：
第一方面，基于车规级芯片SoC的疲劳驾驶监测预警方法，包括以下步骤：
S1、采集驾驶员面部图像；
S2、采用混合去噪法对步骤S1中面部图像进行预处理；
S3、基于块乘法算法构建基于车规级芯片SoC的轻量化SSD网络模型；
S4、利用步骤S3中轻量化SSD网络模型提取步骤S2中预处理后面部图像中特征类别信息；
S5、对步骤S4中特征类别信息进行疲劳等级划分；
S6、根据步骤S5中划分的疲劳等级进行分级预警。
进一步地，所述步骤S2具体包括以下分步骤：
S21、利用中值滤波过滤步骤S1采集的驾驶员面部图像中尖锐噪声，保留边缘高频；
S22、对步骤S21中过滤后的面部图像进行小波分解；
S23、对步骤S22中分解后面部图像的高频系数进行阈值处理；
S24、对步骤S23中处理后的图像进行重构。
进一步地，所述步骤S3具体包括以下分步骤：
S31、将SSD基础网络中全连接层替换为卷积层；
S32、对步骤S31中替换的卷积层进行稀松化处理；
S33、利用标定后训练样本对步骤S32中处理后的SSD网络进行训练，得到基于车规级芯片SoC的轻量化SSD网络模型。
进一步地，所述步骤S32具体包括以下分步骤：
S321、利用L1正则化训练对卷积层权重系数进行快速稀松；
S322、利用非零稀松矩阵对步骤S321快速稀松后的权重系数进行微调；
S323、利用平均张力指数偏移数据量化步骤S322中微调后的权重张量；
S324、利用块乘法算法对步骤S324中权重张量进行卷积稀松。
进一步地，所所述步骤S33具体为：
对训练样本进行标定，并构建一个与训练样本间类别信息与位置信息匹配的先验框，并设置损失函数来训练处理后的SSD网络，得到基于车规级芯片SoC的轻量化SSD网络模型。
进一步地，所述步骤S4具体包括以下分步骤：
S41、步骤S2预处理后面部图像进行网格划分；
S42、构建包含类别信息与位置信息的默认框；
S43、利用步骤S42中默认框检测步骤S41中网格区域图像信息，得到不同尺度特征图；
S44、对步骤S43中不同尺寸特征图进行卷积预测融合，得到特征类别信息。
进一步地，所述步骤S5具体包括以下分步骤：
S51、利用ASM算法提取步骤S4中特征类别信息的关键点，得到动作关键点与眼部关键点；
S52、根据步骤S51中动作关键点判断当前驾驶是否为危险动作驾驶，若是则判为轻度疲劳驾驶，否则进入步骤S53；
S53、根据步骤S51中面部关键点计算疲劳特征参数；
S54、根据步骤S53中疲劳特征参数判断当前驾驶是否满足预设第一疲劳驾驶标准，若满足则判为重度疲劳驾驶，并重置时间周期，否则进入步骤S55；
S55、判断步骤S53中疲劳特征参数是否满足预设第二疲劳驾驶标准，若满足则判为轻度疲劳驾驶，并重置时间周期，否则为清醒状态，并进入步骤S56；
S56、判断当前时间周期是否满足预设时间阈值，若满足则结束检测，否则返回步骤S1进行下一帧驾驶实时视频图像采集。
第二方面，一种基于车规级芯片SoC的疲劳驾驶监测预警系统，包括电源装置、主控装置、视频采集装置、预警装置、烧录存储装置以及图像显示装置；
所述电源装置用于为所述主控装置、所述视频采集装置、所述预警装置、所述烧录存储装置以及所述图像显示装置提供稳定电压；
所述主控装置用于利用混合去噪法对驾驶员面部信息进行预处理，并通过基于车规级芯片SoC的轻量化SSD网络模型提取预处理后面部信息中特征类别信息，并进行疲劳等级划分，且将划分后的疲劳等级信息传输到所述预警装置以及所述视频采集装置；
所述视频采集装置用于采集驾驶员面部图像；
所述预警装置用于对疲劳信息进行分级预警；
所述烧录存储装置用于将控制信息烧录至所述主控装置，并作为存储器保存所述视频采集装置采集信息以及所述主控装置处理后的图像信息；
所述图像显示装置用于接收并显示所述主控装置传输的图像信息。
第三方面，一种基于车规级芯片SoC的疲劳驾驶监测预警设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一所述的基于车规级芯片SoC的疲劳驾驶监测预警方法的步骤。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的基于车规级芯片SoC的疲劳驾驶监测预警方法的步骤。
本发明具有以下有益效果：
本发明通过混合去噪法优化了夜间传统图像传感器采集图像存在的噪声，并采用块乘法运算BMA对SSD基础网络中卷积过程做稀松化处理，并构建可应用与TDA2x平台车的基于规级芯片SoC的轻量化SSD网络模型，提升了训练网络在车规级芯片SoC部署的识别效率以及鲁棒性，降低了系统资源占有率及SBL引导时间，平衡了系统资源系统，优化系统的实时性与稳定性，有效提升系统的实时性与稳定性，实现在低成本车规级SoC系统上开发疲劳检测系统，利用轻量化SSD网络模型完成对采集的驾驶实时图像的进行特征提取，提升了驾驶员面部特征提取的准确率，得到特征类别信息，并通过疲劳驾驶决策完成对目标类别信息的判决，匹配出驾驶员各种危险动作后进行相应的报警操作，为驾驶员安全出行提供保护，减少生命财产的损失，提高驾驶过程中的安全性，避免疲劳驾驶。
附图说明
图1为本发明提供的一种基于车规级芯片SoC的疲劳驾驶监测预警方法的步骤示意图；
图2为本发明中步骤S2的分步骤示意图；
图3为本发明中混合去噪法实验效果图，其中图3(a)为噪声图像；图3(b)为3*3中值滤波去噪；图3(c)为5*5中值滤波去噪；图3(d)为小波变换去噪；图3(e)为3*3中值加小波混合去噪；图3(f)5*5中值加小波混合去噪；
图4为本发明中步骤S3的分步骤示意图；
图5为本发明中轻量化SSD网络模型图；
图6为本发明中步骤S32的分步骤示意图；
图7为本发明中步骤S4的分步骤示意图；
图8为本发明中步骤S5的分步骤示意图；
图9为本发明实施例中疲劳特征参数示例图；
图10为本发明提供的一种基于车规级芯片SoC的疲劳驾驶监测预警系统；
图11为本发明实施例中疲劳检测实验效果图，其中图11(a)为正常驾驶状态图像显示；图11(b)为疲劳驾驶状态图像显示；图11(c)为吸烟驾驶状态图像显示；图11(d)为打电话状态图像显示；图11(e)为喝水状态图像显示；图11(f)为夜间正常驾驶状态图像显示；图11(g)为夜间疲劳驾驶状态图像显示；
图12为本发明实施例提供的一种基于车规级芯片SoC的疲劳驾驶监测预警设备的结构图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，本发明实施例中提供了一种基于车规级芯片SoC的疲劳驾驶监测预警方法，包括以下步骤S1-步骤S6：
S1、采集驾驶员面部图像；
S2、采用混合去噪法对步骤S1中面部图像进行预处理；
如图2所示，本实施例中，步骤S2具体包括以下分步骤：
S21、利用中值滤波过滤步骤S1采集的驾驶员面部图像中尖锐噪声，保留边缘高频；
实际中，设置n*n的核在采集的面部图像中滑动，并将核的中点与预设滤波的像素点对齐，并将捕捉的核覆盖的像素点灰度值，按照顺序进行排布，计算出分布的中值，并用中值替换核中心的像素点，保留下边缘高频率信息。
S22、对步骤S21中过滤后的面部图像进行小波分解；
S23、对步骤S22中分解后面部图像的高频系数进行阈值处理；
S24、对步骤S23中处理后的图像进行重构。
实际中，选择合适的微波基数并确定其分散层上含噪声影响的图像，并对分解得到的高频系数进行阈值处理，该阈值处理方式包括硬阈值法、软阈值法以及软硬折中阈值法，本发明中采用软硬这种阈值法完成对高频部分的噪声阈值处理，并对图像进行重构完成图像去噪。
实际中，如图3所示，本发明通过选取近红外人脸图片作为测试样本，分别进行选取一张近红外人脸图片作为测试样本，分别向红外图像添加强度为0.02的椒盐噪声和方差为0.01、均值为0的高斯噪声，其中噪声方差取＝0.05，如图3(a)所示是添加噪声后的图像，接着分别对噪声图像图3(a)分别做3*3模板和5*5模板的中值滤波，并对噪声图像单独做阈取0.16的小波变换去噪，去噪后的结果如图3(b)、图3(c)和图3(d)显示，最后在上述步骤的基础上，分析3*3中值滤波、5*5中值滤波与小波变化结合后的去噪效果，结果如下图3中图3(e)、图3(f)，由实验滤波效果及图像信噪比SNR可知，混合去噪后图像信噪比提升明显高于单独使用中值滤波或小波变换的滤波方式，而5*5中值滤波比3*3中值滤波在结合小波变换时SNR提升了2.29dB，比单一使用5*5中值滤波提高1.85dB，比单一使用小波变化提升9.53dB，因此混合去噪效果更好。
S3、基于块乘法算法构建基于车规级芯片SoC的轻量化SSD网络模型；
如图4所示，本实施例中，步骤S3具体包括以下分步骤：
S31、将SSD基础网络中全连接层替换为卷积层；
实际中，如图5所示，将SSD中VGG-16全连接层FC8替换为Conv6开始的辅助卷积层，从而使得能够在多个尺度上同时提取特征，并逐步降低输入到每个后续层的大小。
S32、对步骤S3中替换的卷积层进行稀松化处理；
实际中，为了加速深度学习的多层计算，使用基于块累加乘法稀松化后的目标检测框架，在嵌入式中专用的视觉处理模块和数字信号处理核上实现网络的前向运算，大大减轻了ARM核上的运算负载。
如图6所示，本实施例中，步骤S32具体包括以下分步骤：
S321、利用L1正则化训练对卷积层权重系数进行快速稀松；
实际中，快速稀疏化为一种经验方法，涉及到分别查看每个卷积层的权重，在这个过程中增加L1正则化训练，通过L1正则化训练相对较高的重量衰减能够很好地诱导系数的稀疏性，有助于区分更重要的系数和不重要的系数，并将使阈值的工作更容易，具体过程为：
首先假定某层的稀松目标值为TS，并作为这一层中为零的权重个数占总权重个数的比率，且每层的稀松目标可设定为不同的值，令Wam为这一层权重的绝对值最大值，w为该卷积层中的权重张量，Tm为最大阈值，计算式为：Tm＝α·Wam,α＝0.2
通过算法进行迭代，从很小的稀松目标值的阈值t开始，计算当前稀松阈值下的稀松率s与稀松目标值下的最高稀松TS，如果s<<TS，且远远小于设定的最大阈值Tm，在小稀松阈值t上一个很小的增量β，一般取值为1e-7，然后从该位置开始循环，重新计算新稀松阈值下的稀松率，直到完成该快速稀松过程。
S322、利用非零稀松矩阵对步骤S321快速稀松后的权重系数进行微调；
实际中，经过步骤S211中的快速稀松化，计算稀松阈值会降低CNN模型的精度，因此可以通过非零稀松矩阵进行微调，恢复降低的精度，具体为：
构造非零稀松矩阵组成的Map，在为零的稀松值保持不变的情况下，更新非零稀松值。
S323、利用平均张力指数偏移数据量化步骤S322中微调后的权重张量；
实际中，在每批数据训练期间，平均张力指数偏移数据可以广泛用于统计分析每一批数据训练期间数据的各种张量(包括权重，输入和数据输出)的最高值和最低值。
假定Rmin和Rmax分别是张量的两个边界最小最大值，无符号张量的整型长度为
有符号张量的整型长度为
则分数长度为：Fl＝8-Il，则张量的量化乘积因子表示为：
通过得到的张量因子进行量化，
其中，量化后的无符号张量，表示为：
量化后的有符号张量，表示为：
S324、利用块乘法算法对步骤S324中权重张量进行卷积稀松。
实际中，利用块乘法算法通过内调换外循环的顺序，将外部循环调回内部，使得整个块与步骤S213中权重张量相乘，一旦权重张量为零，则跳过整个块的计算，完成对步骤S213中权重张量的稀松化。
S33、利用标定后训练样本对步骤S32中处理后的SSD网络进行训练，得到基于车规级芯片SoC的轻量化SSD网络模型。
本实施例中，对训练样本进行标定，并构建一个与训练样本间类别信息与位置信息匹配的先验框，并设置损失函数来训练处理后的SSD网络，得到基于车规级芯片SoC的轻量化SSD网络模型。
实际中，在训练之前需要对训练样本进行标定，本发明中采用的训练样本来自于自采集方式获取，白天数据集使用团队间成员驾驶实况记录视频，夜间近红外人脸数据集选择中科院模式识别自动化研究所国家实验室提供的NIR database，共计3940张，标定的内容包括person、eye、smoke、phone以及drink，标定的部分则为真实数据，在训练中以一个先验框为例来对其进行匹配，且一个真正的先验框只包含一个真实的标定数据，而一个真实的目标可以同时匹配多个真正的先验框，通过设置匹配一个长宽大小相等的先验框并设置置信度损失函数以及位置损失函数来完成对SSD网络的修正，得到轻量化SSD网络模型，其中第x个先验框所对应的损失函数L(x,c,l,g)表示为：
其中，Lconf(x,c)为第x个先验框置信度损失函数；Lloc(x,l,g)为第x个先验框位置损失函数；；c为类别置信度预测值；l先验框的所对应边界框的位置预测值；g为所匹配的默认狂数量；N为先验框正样本；α为平衡位置损失影响参数，一般默认为α＝1。
S4、利用步骤S3中轻量化SSD网络模型提取步骤S2中预处理后面部图像中特征类别信息；
如图7所示，本实施例中，步骤S4具体包括以下分步骤：
S41、步骤S2预处理后面部图像进行网格划分；
实际中，SSD网络模型不使用滑动窗口，而是使用一个网格划分图像，并让每个网格单元负责检测图像区域中的对象，对处于不同层次的特征图融合后进行预测，这样的方式可以使得网络拥有对于不同大小、不同尺度目标的检测能力；检测对象仅仅意味着预测一个对象在该区域内的类和位置，如果没有对象存在，则将其视为背景类并忽略位置。
S42、构建包含类别信息与位置信息的默认框；
实际中，SSD中的每个网格单元都可以分配多个默认框，这些网格单元默认框都是预先设置和定义的，每个默认框都负责定义一个网格单元内部的大小和形状，随着网络逐渐加深，特征层次相对应的默认框分辨率也就越来越小，默认框的尺度也会相应的线性增加，生成默认框的尺度计算式表示为：
其中，sk为第k个特征图中默认图框大小，smin、smax分别为默认框相对于输入图像的尺寸比例最小值与最大值，m为特征图数量。
S43、利用步骤S42中默认框检测步骤S41中网格区域图像信息，得到不同尺度特征图；
S44、对步骤S43中不同尺度特征图进行卷积预测融合，得到特征类别信息。
实际中，对于划分单元下任一默认框直接用卷积层对不同尺度的特征图进行处理，对于图像m*n的特征图一般采用3*3这样的小卷积核进行卷积预测融合，得到特征类别信息，其中特征类别信息包含两部分，一部分为各个目标类别信息，另一部分为位置信息。
S5、对步骤S4中特征类别信息进行疲劳等级划分；
如图8所示，步骤S5具体包括以下分步骤：
S51、利用ASM算法提取步骤S4中特征类别信息的关键点，得到动作关键点与眼部关键点；
实际中，危险动作包括抽烟、打电话、喝水、闭眼、打呵欠以及打瞌睡等其他可能干扰驾驶员注意力的动作和状态，通过提取手掌和肘关节的关键点与预先通过轻量化SSD网络模型得到的正常特征图像进行匹配，得到抽烟、打电话、喝水等危险动作。
S52、根据步骤S51中动作关键点判断当前驾驶是否为危险动作驾驶，若是则判为轻度疲劳驾驶，否则进入步骤S53；
S53、根据步骤S51中面部关键点计算疲劳特征参数；
实际中，根据步骤S3中目标面部特征的面部关键点对驾驶员的嘴部信息进行定位，如图9所示，建立基于PERCLOSE原理的眼睛纵横比EAR模型，计算一个周期时间内EAR的均值。
S54、根据步骤S53中疲劳特征参数判断当前驾驶是否满足预设第一疲劳驾驶标准，若满足则判为重度疲劳驾驶，并重置时间周期，否则进入步骤S55；
实际中，根据步骤S53中计算的一个周期时间内EAR均值，判断驾驶员眼睛的开合程度是否小于预设第一疲劳驾驶标准，即EAR均值是否0.2，若小于0.2，则判断为重度疲劳，并重置时间周期，否则进入步骤S55。
S55、判断步骤S53中疲劳特征参数是否满足预设第二疲劳驾驶标准，若满足则判为轻度疲劳驾驶，并重置时间周期，否则为清醒状态，并进入步骤S56；
实际中，进一步判断步骤S53中EAR均值是否小于0.28，若小于则判为轻度疲劳驾驶，并重置时间周期，否则为清醒状态，并进入步骤S56。
S56、判断当前时间周期是否满足预设时间阈值，若满足则结束检测，否则返回步骤S1进行下一帧驾驶实时视频图像采集。
实际中，在预设的检测时间3S内，判断当前EAR均值是否大于0.28，若是则结束检测，进入下一个检测周期。
S6、根据步骤S5中划分的疲劳等级进行分级预警。
实际中，根据步骤S5中疲劳驾驶决策结果中不同级别的疲劳驾驶状态，通过不同警报声音节奏和大小来进行分级预警，例如重度报警时音量会变大且变得急促。
如图10所示，一种基于车规级芯片SoC的疲劳驾驶监测预警装置，包括电源装置、主控装置、视频采集装置、预警装置、烧录存储装置以及图像显示装置；
电源装置用于为主控装置、视频采集装置、预警装置、烧录存储装置以及图像显示装置提供稳定电压；
主控装置用于利用混合去噪法对驾驶员面部信息进行预处理，并通过基于车规级芯片SoC的轻量化SSD网络模型提取预处理后面部信息中特征类别信息，并进行疲劳等级划分，且将划分后的疲劳等级信息传输到预警装置以及视频采集装置；
视频采集装置用于采集驾驶员面部图像；
预警装置用于对疲劳信息进行分级预警；
烧录存储装置用于将控制信息烧录至主控装置，并作为存储器保存视频采集装置采集信息以及主控装置处理后的图像信息；
图像显示装置用于接收并显示主控装置传输的图像信息。
如图11所示，本发明通过对比正常状态、疲劳状态以及吸烟、打电话、喝水的危险驾驶状态进行实验，同时对比了在夜间状态下的正常驾驶与疲劳驾驶，根据实验结果有效说明了本发明提供的一种基于深度学习的疲劳驾驶监测及行为识别预警方法对图像特征提取的精确性，提高了训练网路在SoC部署的识别效率以及鲁棒性，以及应用于该方法的检测装置通过在硬件平台中的部署，降低SBL启动加载时间，平衡系统资源占用率，提升系统的实时性和稳定性；本发明实现了在车规嵌入式系统上的驾驶疲劳驾驶监测的预警和行为识别的任务，能预防因疲劳驾驶产生的交通事故，为驾驶员安全出行提供保护，减少生命财产的损失。
如图12所示，一种基于车规级芯片SoC的疲劳驾驶监测预警设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述的基于车规级芯片SoC的疲劳驾驶监测预警方法的步骤。
本发明实施例提供的基于车规级芯片SoC的疲劳驾驶监测及行为识别预警设备具有上述基于车规级芯片SoC的疲劳驾驶监测预警方法的有益效果。
实际中，本发明实施例中通过以中配芯片TDA2HG为主的车规级芯片SoC系统为核心，选择AR0143和DAEA室内红外监控摄像头、分辨率为1280*720的LCD液晶屏、TF卡以及12V/2A与20V的标准电源构建疲劳驾驶系统支撑平台的系统硬件，实现基于TDA2x平台的疲劳驾驶监测及行为识别预警方法，实现低成本的高精确度疲劳驾驶监测预警系统；
其中，电源装置的硬件设备采用12V/2A的标准电源以及20V的标准电源，其中，12V/2A的标准电源为主控装置、视频采集装置、预警装置烧录存储装置提供稳定电压，图像显示装置则单独使用20V的标准电源供电；
其中，主控芯片的硬件设备通过对比英飞凌、东芝及富士通这类供应商在芯片的浮点运算速度和图形化处理上不满足需求；其中恩智浦S32v系列、瑞萨的R-Car产品线虽具备GPU和图像识别处理的异构计算，但是在平台软件开发方面不够成熟，不适用于个人研发；英特尔、英伟达这类老牌芯片公司在处理器基础比较有优势，其子公司已经有很多成熟的ADAS产品，像包括Mobileye的EyeQ系列视觉处理，英特尔的至强系列等各种型号的处理器，算力十分强悍，同时也具备成熟的开发平台，但唯一缺点即使在成本方面居高不下，而德州仪器TI的TDA2x系列恰好能够满足以上需求，因此选取TDA2x系列作为本发明系统与方法的搭建平台构建低成本的高精确度疲劳驾驶监测预警方法及系统，而在TDA2x系列中又拥有TDA2S、TDA2H、TDA2L三档的芯片可供选择，区别在于CPU核数量及GPU加速核心引擎EVE的数量不同，三档芯片对应的数量分别是4、2、1个，为降低开发成本，最终本发明实施例中选取中配芯片TDA2HG作为主控装置的实施设备，以中配芯片TDA2HG为主的车规级芯片SoC系统为核心；其中，中配芯片TDA2HG包括一个设备上的IP块，1个Cortex-A15应用处理器、3个Cortex-M4处理器、2个C66x DSP、2个TI嵌入式视觉引擎(EVE)处理器、2个SGX544图形处理器、高画质影像处理器和一个连接外围的设备。在TDA2HG上可运行RTOS实时操作系统、异构或同构核之间通信的IPC(Inter Processor Communication)、外设驱动、视觉图像处理的应用软件框架Link、DSP图像处理算法库Vlib等；
其中，视频采集装置的硬件设备为了保证在嵌入式系统中运行的实时性和稳定性选取CMOS数字图像传感器，主要采用AR0143和DAEA室内红外监控摄像头，两者都是基于LVDS传输，DAEA相较于ARO143多了近红外功能，可供夜视情况使用，但传输方式基于LVDS，AR0143则是一款130万像素的传感器，其支持MIPI和Parallel(并口)，图像是RGB格式，它采用三个电压供应轨：模拟电路2.8V，数字I/O电路1.8V，1.2V用于数字核心和图像处理；
其中，烧录存储装置的硬件设备采用TF卡，用于烧录系统并扩展为存储卡用于保存图像信息和图像处理后的数据保存；
其中，图像显示装置的硬件设备采用分辨率为1280*720的LCD液晶屏。
实际中，本发明实施例中通过以中配芯片TDA2HG为主的车规级芯片SoC系统为核心，将训练好的深度学习模型转换为嵌入式平台适配文件后，通过TF卡导入中配芯片TDA2HG，启动运行后，通过LVDS线接收CMOS数字图像传感器采集的驾驶员面部的实时图像信息，在嵌入式ROTS实时操作系统中实现对图像的预处理，逐帧获取驾驶员面部特征信息及其行为信息，并基于EAR准则对面部特征信息与行为信息进行疲劳驾驶判断，同时将处理后的视频流输出至LCD屏幕实时显示，并基于疲劳驾驶判决结果，若出现疲劳驾驶或者疲劳分心驾驶现象，则通过CAN通信模块输出报警信息，在外接树莓派上实现对驾驶员的语音预警，及时反馈驾驶员状态，提示驾驶员当前所处状态，从而实现低成本的高精确度疲劳驾驶监测预警系统。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于车规级芯片SoC的疲劳驾驶监测预警方法的步骤。
本发明实施例提供的计算机可读存储介质具有上述的基于车规级芯片SoC的疲劳驾驶监测预警方法的有益效果。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (10)
1.一种基于车规级芯片SoC的疲劳驾驶监测预警方法，其特征在于，包括以下步骤：
S1、采集驾驶员面部图像；
S2、采用混合去噪法对步骤S1中面部图像进行预处理；
S3、基于块乘法算法构建基于车规级芯片SoC的轻量化SSD网络模型；
S4、利用步骤S3中轻量化SSD网络模型提取步骤S2中预处理后面部图像中特征类别信息；
S5、对步骤S4中特征类别信息进行疲劳等级划分；
S6、根据步骤S5中划分的疲劳等级进行分级预警。
2.根据权利要求1所述的基于车规级芯片SoC的疲劳驾驶监测预警方法，其特征在于，所述步骤S2具体包括以下分步骤：
S21、利用中值滤波过滤步骤S1采集的驾驶员面部图像中尖锐噪声，保留边缘高频；
S22、对步骤S21中过滤后的面部图像进行小波分解；
S23、对步骤S22中分解后面部图像的高频系数进行阈值处理；
S24、对步骤S23中处理后的图像进行重构。
3.根据权利要求1所述的基于车规级芯片SoC的疲劳驾驶监测预警方法，其特征在于，所述步骤S3具体包括以下分步骤：
S31、将SSD基础网络中全连接层替换为卷积层；
S32、对步骤S31中替换的卷积层进行稀松化处理；
S33、利用标定后训练样本对步骤S32中处理后的SSD网络进行训练，得到基于车规级芯片SoC的轻量化SSD网络模型。
4.根据权利要求3所述的基于车规级芯片SoC的疲劳驾驶监测预警方法，其特征在于，所述步骤S32具体包括以下分步骤：
S321、利用L1正则化训练对卷积层权重系数进行快速稀松；
S322、利用非零稀松矩阵对步骤S321快速稀松后的权重系数进行微调；
S323、利用平均张力指数偏移数据量化步骤S322中微调后的权重张量；
S324、利用块乘法算法对步骤S324中权重张量进行卷积稀松。
5.根据权利要求3所述的基于车规级芯片SoC的疲劳驾驶监测预警方法，其特征在于，所述步骤S33具体为：
对训练样本进行标定，并构建一个与训练样本间类别信息与位置信息匹配的先验框，并设置损失函数来训练处理后的SSD网络，得到基于车规级芯片SoC的轻量化SSD网络模型。
6.根据权利要求1所述的基于车规级芯片SoC的疲劳驾驶监测预警方法，其特征在于，所述步骤S4具体包括以下分步骤：
S41、步骤S2预处理后面部图像进行网格划分；
S42、构建包含类别信息与位置信息的默认框；
S43、利用步骤S42中默认框检测步骤S41中网格区域图像信息，得到不同尺度特征图；
S44、对步骤S43中不同尺寸特征图进行卷积预测融合，得到特征类别信息。
7.根据权利要求1所述的基于车规级芯片SoC的疲劳驾驶监测预警方法，其特征在于，所述步骤S5具体包括以下分步骤：
S51、利用ASM算法提取步骤S4中特征类别信息的关键点，得到动作关键点与眼部关键点；
S52、根据步骤S51中动作关键点判断当前驾驶是否为危险动作驾驶，若是则判为轻度疲劳驾驶，否则进入步骤S53；
S53、根据步骤S51中面部关键点计算疲劳特征参数；
S54、根据步骤S53中疲劳特征参数判断当前驾驶是否满足预设第一疲劳驾驶标准，若满足则判为重度疲劳驾驶，并重置时间周期，否则进入步骤S55；
S55、判断步骤S53中疲劳特征参数是否满足预设第二疲劳驾驶标准，若满足则判为轻度疲劳驾驶，并重置时间周期，否则为清醒状态，并进入步骤S56；
S56、判断当前时间周期是否满足预设时间阈值，若满足则结束检测，否则返回步骤S1进行下一帧驾驶实时视频图像采集。
8.一种基于车规级芯片SoC的疲劳驾驶监测预警系统，应用权利要求1至7任一所述的一种基于车规级芯片SoC的疲劳驾驶监测预警方法，其特征在于，包括电源装置、主控装置、视频采集装置、预警装置、烧录存储装置以及图像显示装置；
所述电源装置用于为所述主控装置、所述视频采集装置、所述预警装置、所述烧录存储装置以及所述图像显示装置提供稳定电压；
所述主控装置用于利用混合去噪法对驾驶员面部信息进行预处理，并通过基于车规级芯片SoC的轻量化SSD网络模型提取预处理后面部信息中特征类别信息，并进行疲劳等级划分，且将划分后的疲劳等级信息传输到所述预警装置以及所述视频采集装置；
所述视频采集装置用于采集驾驶员面部图像；
所述预警装置用于对疲劳信息进行分级预警；
所述烧录存储装置用于将控制信息烧录至所述主控装置，并作为存储器保存所述视频采集装置采集信息以及所述主控装置处理后的图像信息；
所述图像显示装置用于接收并显示所述主控装置传输的图像信息。
9.一种基于车规级芯片SoC的疲劳驾驶监测预警设备，应用权利要求1至7任一所述的基于车规级芯片SoC的疲劳驾驶监测预警方法，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一所述的基于车规级芯片SoC的疲劳驾驶监测预警方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的基于车规级芯片SoC的疲劳驾驶监测预警方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110987757.4A CN113705427A (zh) | 2021-08-26 | 2021-08-26 | 基于车规级芯片SoC的疲劳驾驶监测预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110987757.4A CN113705427A (zh) | 2021-08-26 | 2021-08-26 | 基于车规级芯片SoC的疲劳驾驶监测预警方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113705427A true CN113705427A (zh) | 2021-11-26 |
Family
ID=78655181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110987757.4A Pending CN113705427A (zh) | 2021-08-26 | 2021-08-26 | 基于车规级芯片SoC的疲劳驾驶监测预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705427A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114368395A (zh) * | 2022-01-21 | 2022-04-19 | 华录智达科技股份有限公司 | 一种基于公交数字化转型的人工智能公交驾驶安全管理系统 |
| CN116476848A (zh) * | 2023-06-15 | 2023-07-25 | 深圳市知酷信息技术有限公司 | 基于大数据的汽车规范操作诊断系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108791299A (zh) * | 2018-05-16 | 2018-11-13 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶疲劳检测及预警系统及方法 |
| CN111723602A (zh) * | 2019-03-19 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 驾驶员的行为识别方法、装置、设备及存储介质 |
| CN112545530A (zh) * | 2020-06-18 | 2021-03-26 | 华南理工大学 | 一种基于hrv和对抗网络的预测醉驾和疲劳驾驶的方法 |
| CN112699807A (zh) * | 2020-12-31 | 2021-04-23 | 车主邦（北京）科技有限公司 | 一种驾驶员状态信息监控方法和装置 |
-
2021
- 2021-08-26 CN CN202110987757.4A patent/CN113705427A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108791299A (zh) * | 2018-05-16 | 2018-11-13 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶疲劳检测及预警系统及方法 |
| CN111723602A (zh) * | 2019-03-19 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 驾驶员的行为识别方法、装置、设备及存储介质 |
| CN112545530A (zh) * | 2020-06-18 | 2021-03-26 | 华南理工大学 | 一种基于hrv和对抗网络的预测醉驾和疲劳驾驶的方法 |
| CN112699807A (zh) * | 2020-12-31 | 2021-04-23 | 车主邦（北京）科技有限公司 | 一种驾驶员状态信息监控方法和装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114368395A (zh) * | 2022-01-21 | 2022-04-19 | 华录智达科技股份有限公司 | 一种基于公交数字化转型的人工智能公交驾驶安全管理系统 |
| CN116476848A (zh) * | 2023-06-15 | 2023-07-25 | 深圳市知酷信息技术有限公司 | 基于大数据的汽车规范操作诊断系统及方法 |
| CN116476848B (zh) * | 2023-06-15 | 2023-08-22 | 深圳市知酷信息技术有限公司 | 基于大数据的汽车规范操作诊断系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108875603B (zh) | 基于车道线的智能驾驶控制方法和装置、电子设备 | |
| CN110263706B (zh) | 一种雾霾天气车载视频动态目标检测和识别的方法 | |
| CN110033002B (zh) | 基于多任务级联卷积神经网络的车牌检测方法 | |
| KR102459221B1 (ko) | 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 | |
| CN112150821B (zh) | 轻量化车辆检测模型构建方法、系统及装置 | |
| CN114118124B (zh) | 图像检测方法和装置 | |
| CN113705427A (zh) | 基于车规级芯片SoC的疲劳驾驶监测预警方法及系统 | |
| CN110956126A (zh) | 一种联合超分辨率重建的小目标检测方法 | |
| CN108288047A (zh) | 一种行人/车辆检测方法 | |
| CN110807384A (zh) | 低能见度下的小目标检测方法和系统 | |
| US11386287B2 (en) | Method and apparatus for computer vision | |
| KR20210064123A (ko) | 안전 벨트의 착용 상태 인식 방법, 장치, 전자 기기 및 저장 매체 | |
| CN113269133A (zh) | 一种基于深度学习的无人机视角视频语义分割方法 | |
| CN115861380A (zh) | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 | |
| CN114495060B (zh) | 一种道路交通标线识别方法及装置 | |
| JP2022544635A (ja) | 危険運転行動認識方法、装置、電子機器および記憶媒体 | |
| CN116630932A (zh) | 一种基于改进yolov5的道路遮挡目标检测方法 | |
| CN115240035A (zh) | 半监督目标检测模型训练方法、装置、设备以及存储介质 | |
| CN113705381A (zh) | 雾天的目标检测方法、装置、电子设备以及存储介质 | |
| CN111814636A (zh) | 一种安全带检测方法、装置、电子设备及存储介质 | |
| WO2023155032A1 (zh) | 图像处理方法和图像处理装置 | |
| Mandal et al. | Real-time fast fog removal approach for assisting drivers during dense fog on hilly roads | |
| CN113139488B (zh) | 训练分割神经网络的方法及装置 | |
| WO2022126367A1 (en) | Sequence processing for a dataset with frame dropping | |
| CN112288031A (zh) | 交通信号灯检测方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |