CN113052071A - 危化品运输车驾驶员分心行为快速检测方法及系统 - Google Patents
危化品运输车驾驶员分心行为快速检测方法及系统 Download PDFInfo
- Publication number
- CN113052071A CN113052071A CN202110318039.8A CN202110318039A CN113052071A CN 113052071 A CN113052071 A CN 113052071A CN 202110318039 A CN202110318039 A CN 202110318039A CN 113052071 A CN113052071 A CN 113052071A
- Authority
- CN
- China
- Prior art keywords
- anchor frame
- driver
- frame
- distraction
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000000126 substance Substances 0.000 title claims abstract description 36
- 239000000383 hazardous chemical Substances 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 230000003139 buffering effect Effects 0.000 claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 230000006399 behavior Effects 0.000 claims description 64
- 238000003062 neural network model Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 241000190070 Sarracenia purpurea Species 0.000 claims description 7
- 239000000779 smoke Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 235000019504 cigarettes Nutrition 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种危化品运输车驾驶员分心行为快速检测方法及系统。本发明首先对分心行为数据集中驾驶员的头部、手部、方向盘及敏感物进行标注，通过基于改进的目标检测网络进行训练，得到训练后的模型；然后读取视频的每一帧，用训练好的模型进行检测，得到相关锚框并送入分心行为检测算法中进行判断；算法对驾驶员缓冲时间进行初始化，并根据各个锚框的相对位置相应减少或增加缓冲时间；若缓冲时间为0，则根据锚框的相对位置得出分心驾驶行为并进行预警。本发明改进后的轻量级模型计算复杂度小，检测速度快，相较于其他检测驾驶员分心行为的方法，本发明误检率低，且更能够应对驾驶场景变化，即使在硬件资源有限的情况下也能胜任检测任务。
Description
技术领域
本发明涉及图像处理及交通安全领域，具体涉及一种基于轻量级网络的危化品运输车驾驶员分心行为快速检测方法及系统。
背景技术
近年来伴随着化工行业的迅速发展以及物流行业的兴起，化工物流迅速发展。根据数据显示，2019年我国化工物流的市场份额达到1.9万亿。在化工物流中，道路运输中占73.8％。危化品的化学性质极不稳定，具有易燃、易爆、易腐蚀等特点，如果在运输过程中摩擦、受热、或者撞击，可能会造成车辆罐体的破裂、燃烧甚至爆炸，造成人员的伤亡和财产的损失，给环境和生态造成不可估量的损害。因此庞大的危化品市场规模对危险化学品的生产、存储和运输提出了挑战。
目前，在现有驾驶员违规行为检测技术中，通过对视频行为特征检测技术不同，视频检测技术有以下种类：(1)基于传统图像处理与机器学习：Seshadri等通过检测驾驶员头部姿态的变化，使用原始像素和梯度直方图特征与AdaBoost分类器相结合，对使用手机这类行为进行检测，在自制数据集上获得了较好的结果。(2)基于图像分割和卷积神经网络网络：叶等通过图像分割技术分割前景来减轻背景噪声的影响，然后将经过前景分割后的图像训练卷积网络模型，取得了比单卷积神经网络要好的结果。(3)基于级联卷积神经网络陈等人设计了一种级联卷积神经网络检测框架，测框架由第一级分心行为预筛选卷积网络和第二级分心行为精确检测卷积网络两个全卷积网络级联构成。预筛选卷积网络是一个轻量级的图像分类网络,负责对原始数据进行快速筛选，其网络层数少、训练速度快，结构特征冗余较少，能够减少后续网络的计算负担。(4)基于迁移学习和卷积神经网络：Ou等通过在ImageNet上预训练的ResNet-50模型进行迁移学习，以解决驾驶员分心行为数据不足的问题，并证明了其在光照变化下具有较强的鲁棒性。(5)基于多模态融合：Yulun Du开发了一种多摸态多项融合体系结构，从人脸表情、和语音和汽车三种模式讨论了分心驾驶检测，最后使用多特征函数将不同的模式映射到多模产品交互的加权和，作为分散检测的融合表示法。多模态提高了精度，但无法实时监测驾驶员的驾驶状态。
首先以上的方法大多都是基于小型车驾驶员数据集进行的分心行为检测，由于车的结构空间不同导致视频视角的差异，这些方法往往不能很好的用于危化品运输车驾驶员视频监控预警。其次，这些现有驾驶员违规行为检测技术方法都是将驾驶员分心行为视为对单帧图片进行多分类的问题，会带有大量冗杂信息，对场景的变化的鲁棒性较差。中国专利申请111368696A公开了一种基于视觉协同的危化品运输车违规驾驶行为检测方法及系统，但仍存在实时性差的问题，并且由于手指点的位置的估计非常容易受到手部的弯曲角度和整个人体姿态估计效果的影响。特别是在夜间视角，当整个人体只有小部分在屏幕中时，姿态估计检测效果很差而导致手指点估计直接失效。并且以一个点代手比较片面，尤其当需要检测的敏感物也是香烟，手机这类小物体时，常常会出现所估算的点在敏感物锚框之外，导致未能检测出分心行为。现有方法没有充分考虑到分心驾驶行为是和视频局部的驾驶员的头部手部以及方向盘和敏感物的实时位置关系和持续时间是有着密切的关联的，且没有将车辆的行驶速度和驾驶员之前的状态考虑在内。而且以上方法检测速度不佳，计算量大，无法适应硬件资源有限的车载系统。
发明内容
发明目的：针对现有技术存在的问题，本发明目的在于提供一种基于轻量级网络的危化品运输车驾驶员分心行为快速检测方法及系统，可以对危化品运输车驾驶员双手脱离方向盘、接打手机、喝水等分心驾驶行为进行识别预警，并且具有检测速度快、模型小、效率高等优点，适合硬件资源有限的车载系统，有较强的工程使用价值。
技术方案：为实现上述发明目的，本发明采用如下技术方案：
一种危化品运输车驾驶员分心行为快速检测方法，包括以下步骤：
对分心行为数据集中的驾驶员的头部、手部、方向盘及敏感物体进行标注，通过轻量级目标检测神经网络模型对标注数据进行训练；所述敏感物体包括电话、水杯和烟；
读取危化品运输车实时采集视频的每一帧图像，经过训练好的网络模型检测驾驶员头部、手部、方向盘和敏感物，得到这一帧图像中所有预测的锚框的信息，包括每个锚框的四个坐标和类别信息，并将信息送入到分心驾驶检测算法中；所述分心驾驶检测算法初始化驾驶员缓冲时间为最大缓冲时间，算法运行过程中缓冲时间在0至最大缓冲时间之间；根据如下规则对缓冲时间进行调整：当头部锚框与敏感物体锚框重叠，或者，无手部锚框与方向盘锚框重叠都会导致缓冲时间下降；其余情况缓冲时间上升；若连续帧的分心行为导致缓冲时间下降为0，则进入预警阶段；在车辆行驶速度低于设定停车速度阈值时，重置缓冲时间为最大缓冲时间；
在预警阶段根据各个锚框的相对位置判定分心驾驶行为类型并进行预警。
作为优选，所述轻量级目标检测神经网络模型是基于yolov5改进的tiny-yolov5，具体为：将yolov5主干特征提取网络第二个CBL和第三个CBL模块后加入通道注意力模块，将第四个CBL模块改为深度可分离卷积；修改网络中的neck层中的预测大物体的分支结构：引入Ghost模块和深度可分离卷积，将从中等物体预测分支卷积前的特征图进行深度可分离卷积操作，与来自主干网络最后一层的特征图进行concat操作，然后再通过深度可分离卷积进行通道变换生成特征图，将yolov5的CspBottleneck改为GhostBottleneck，最后进行卷积操作生成大物体预测分支。
作为优选，所述分心驾驶检测算法中锚框重叠判断规则如下：
设头部锚框坐标为R1＝(x1,y1,x2,y2)，敏感物锚框坐标为R2＝(z1,k1,z2,k2)；若当前帧[(z2-(x1-o))*(z1-(x2+o)]≤0且[(k1-(y2+o))*(k2-(y1-o))]≤0，则根据当前帧的头部锚框坐标与敏感物锚框坐标的类别判定为分心类别；
设方向盘锚框坐标为R3＝(x3,y3,x4,y4)，手部锚框坐标为R4＝(z3,k3,z4,k4)；检测当前帧中所有手部，遍历所有的手部锚框坐标；若所有的手部锚框坐标都满足[(z4-(x3-o))*(z3-(x4+o))]＞0且[(k3-(y4+o))*(k4-(y3-o))]＞0，即在方向盘区域未检测到手部，则判定为双手脱离方向盘；
所有坐标的前两个参数代表锚框的坐上角的坐标，后两个参数代表右下角的坐标，o为偏移量，用于隐式扩大头部和方向盘的矩形范围。
作为优选，所述分心驾驶检测算法中驾驶员缓冲时间计算公式如下：
Bti＝Bti-1+ΔBti-1
其中，Bti代表到第i帧时剩余的缓冲时间，Bti-1代表到第i-1帧时所剩余的缓冲时间，ΔBti-1代表第i-1帧时缓冲时间的变化量；fi-1代表检测第i-1帧否有分心驾驶行为，若有则为-1，没有则为1；t代表检测一帧所需要的时间；v代表当前车速，k代表超参数，根据设备实际情况进行调整。
作为优选，所述预警阶段的判断规则是，判断头部锚框是否与敏感物体锚框重叠，若重叠判断为真则根据敏感物类别确定分心驾驶类型；若无手部锚框与方向盘锚框重叠，则判断为手脱离方向盘；进行预警提示并进行视频片段保留。
基于相同的发明构思，本发明提供的一种危化品运输车驾驶员分心行为快速检测系统，包括：
训练模块，用于对分心行为数据集中的驾驶员的头部、手部、方向盘及敏感物体进行标注，通过轻量级目标检测神经网络模型对标注数据进行训练；所述敏感物体包括电话、水杯和烟；
检测模块，用于读取危化品运输车实时采集视频的每一帧图像，经过训练好的网络模型检测驾驶员头部、手部、方向盘和敏感物，得到这一帧图像中所有预测的锚框的信息，包括每个锚框的四个坐标和类别信息，并将信息送入到分心驾驶检测算法中；所述分心驾驶检测算法初始化驾驶员缓冲时间为最大缓冲时间，算法运行过程中缓冲时间在0至最大缓冲时间之间；根据如下规则对缓冲时间进行调整：当头部锚框与敏感物体锚框重叠，或者，无手部锚框与方向盘锚框重叠都会导致缓冲时间下降；其余情况缓冲时间上升；若连续帧的分心行为导致缓冲时间下降为0，则进入预警阶段；在车辆行驶速度低于设定停车速度阈值时，重置缓冲时间为最大缓冲时间；
以及，预警模块，用于在预警阶段根据各个锚框的相对位置判定分心驾驶行为类型并进行预警。
基于相同的发明构思，本发明提供的一种危化品运输车驾驶员分心行为快速检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的危化品运输车驾驶员分心行为快速检测方法。
有益效果：与现有技术相比，本发明的有益效果：1、改进过后的tiny-yolov5在保证原有检测准确率的同时使得模型和参数量和计算量都减少很多，解决了之前技术实时性差的问题。2、提出了速度融合的自适应分心检测算法，结合驾驶员之前帧的状态和车辆的行驶速度进行融合检测，即使中间出现个别帧检测错误，也不影响最后检测结果率，提高准确率的同时更为鲁棒。3、由于手部容易受到遮挡，我们直接用比较稳定的头部区域和敏感物体区域进行判断，解决了以点代手和敏感物进行判断的不稳定性。4、基于轻量级网络的危化品运输车驾驶员分心行为快速检测方法克服传统驾驶员行为检测系统检测速度慢、检测精度低，检测手段单一的问题。5、能够应对复杂环境下对分心行为的检测，适应白天彩色图像与夜间红外灰度图像不同时段危化品运输车行驶环境。6、本发明的模型参数量小(4.3M)，检测速度快(0.11ms/img,90FPS)，利于部署于嵌入式设备，即使在硬件资源有限的情况下，也可对驾驶员进行实时监控预警，更为贴合实际交通场景。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例的算法原理图；
图3为本发明实施例中tiny-yolov5网络结构图；
图4为图3中幽灵瓶颈模块(GhostBottleck)的结构图；
图5为图3中注意力模块(SE)的结构图；
图6为本发明实施例中tiny-yolov5网络对红外夜视视角识别图；
图7为本发明实施例中tiny-yolov5网络对白天驾驶员视角识别图；
图8为本发明实施例中危化品运输车融合分心检测算法行为检测结果图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
如图1所示，本发明实施例公开的一种危化品运输车驾驶员分心行为快速检测方法，主要包括以下步骤：
(1)制作数据集。本实施例数据集来源为淮安市危货驾驶员车内监控视频，视频数据为一周内多辆驾驶员行车监控。监控视频为红外摄像头获取的夜间灰度图像以及高清摄像头获取的日间行车视频数据。对采集的视频人工进行分心行为筛选，截取驾驶员行驶过程中的分心行为(分心行为特征包括：双手脱离方向盘、接打电话、喝水、抽烟)，同一分心行为不同姿势采样5张。将截取完成的图片数据集进行编号保存到同一目录下。
(2)对分心行为数据集中的驾驶员的头部、手部、方向盘及敏感物体进行标注，通过目标检测神经网络模型对数据集针对驾驶员头部，手部，方向盘及电话、水杯、烟等敏感物体进行训练。本步骤数据集标注工具使用lambellmg，标注的格式为VOC2007。首先将待处理的文件夹导入到标注工具中并将敏感物体如手机、水杯和香烟设置为标签值，随之使用矩形框将敏感物体进行标示，然后勾选相应的标签值。将标注完成的数据保存到同一文件目录下。标注完成的数据集包括图片集以及xml文件集两部分，xml文件中记录的内容有文件名、存放路径、图像尺寸、图像、标签值、以及标注图像在原图像中的相对位置。以标注完成的10000张VOC格式的数据集图像作为输入，输入图像尺度为640*640*3，设置批训练所选取的样本数batch_size为64、学习率learning_rate为0.01进行训练，激活函数选用LeakyReLU和Sigmoid，优化方法采用Momentum算法，随机Dropout。
由于车载系统场景的特殊性，将监控画面图像实时传入服务器进行识别并将结果返回车内会消耗大量的流量并且无法满足实时要求，而将模型安装在车内嵌入式设备进行向前推算是一个成本和实时性都可行的方案。但由于嵌入式设备的内存和计算量都比较有限，这就要求模型的大小和计算量都尽可能的小。因而本发明提出一种轻量级的神经网络模型，该模型取得和原有模型相当精度的同时，大小和计算量分别减少了42％和41％(VOC07+12trainval训练，VOC07test测试)，模型大小为8.3MB，计算复杂度为10GFLOPs，非常适用于车内嵌入式设备。
具体地，轻量级目标检测神经网络模型采用基于yolov5改进的tiny-yolov5，具体为：将yolov5主干特征提取网络第二个CBL和第三个CBL模块后加入通道注意力模块，将第四个CBL模块改为深度可分离卷积，通道注意力模块对原有特征图用全局平均池化(GlobalPooling)进行压缩，压缩成1*1*C尺寸的特征图(C为原来的特征图的通道数)，将压缩好的特征图送入全连层(FC)进行缩放成
的通道，然后用Relu函数进行激活。之后再将特征图送入全连接层放大为原来的特征图通道数(1*1*C)，并用Sigmoid函数进行激活得到每个通道的重要性。最后将最开始的特征图和激活函数得出的数值进行加权(Scale)操作得到不同通道权重的特征图。最后将最开始的特征图和生成的通道注意力的特征图进行add操作。通道注意力模块用来加强学习有效特征图特征权重，抑制无效或效果小的特征图权重，而深度可分离卷积对特征图进行逐通道卷积用来减少计算量和参数量；由于网络所需要检测的物体都是人脸，水杯，香烟，手部，方向盘等并不算大的物体，因而本发明对预测大物体的分支(P5)进行参数量和计算量的简化。我们引入Ghost模块和深度可分离卷积，Ghost模块是华为于2020CVPR发布的GhostNet的核心组件，由于卷积操作生成特征图会有大量冗余，用廉价的线性操作生成特征图，避免了高复杂度的卷积运算。修改网络中的neck层中的预测大物体的分支结构(P5)：将从中等物体预测分支(P4)卷积前的特征图进行深度可分离卷积操作，与来自主干网络最后一层的特征图进行concat操作，然后再通过深度可分离卷积进行通道变换变换成1024通道的特征图，将原来的CSP2_X(CspBottleneck)改为GhostBottleneck，GhostBottleneck是由GhostModule组成，GhostModule先进行卷积操作(CONV)生成少量基础特征图，然后对基础特征图用廉价的线性变换生成所需的对应数量通道的特征图。GhostBottleneck先将特征图送入GhostModule，并进行批量标准化(BN)。然后进行Relu函数激活，之后进行深度可分离卷积(DW)并进行批量标准化，然后再送入GhostModule并进行批量标准化。最后把最开始的特征图，与进行一系列操作后的特征图进行Add操作。最后的特征图通过DW卷积生成1024通道的特征图。进行一次普通的卷积操作生成大物体预测分支(P5)。具体改进后的网络模型详见图3-5。
对样本进行1000次迭代训练。训练完成后衡量目标检测均值平均精度(类别预测准确率)mAP@0.5以及GloU(预测框与实际框大小重合程度)。
(3)获取当前车辆行驶速度，当速度大于停车速度阈值(如15km/h)时，进行驾驶员分心行为检测，即读取车辆采集的视频每一帧图像，经过训练好的网络模型检测驾驶员头部、手部、敏感物体和方向盘。本实施例通过CV2(Open Source Computer VisionLibrary2)的读取视频的总帧数，设置含分心驾驶行为视频片段的起始帧以及结束帧，进行全局初始化操作。读取将CV2读取的每一帧记为origin_img，通过归一化将像素矩阵作为输入传递到tiny-yolov5模型网络，并运行前向传递以获得预测边界框列表作为网络的输出。滤除具有低置信度分数的预测框，将含有最终边界框的图像保存下来。若检测到方向盘，电话、水杯、烟等敏感物体和驾驶员头部，手部的锚框，则进行标示并给出置信度，敏感物体经检测后的效果图如图6-7所示。
(4)将tiny-yolov5检测出的锚框信息送入到分心驾驶检测算法中，分心行为检测算法判断当前帧是否有存分心行为。具体方法是：首先初始化驾驶员缓冲时间为最大缓冲时间(如2s)，算法运行过程中缓冲时间在0至最大缓冲时间之间；根据如下规则对缓冲时间进行调整：当头部锚框与敏感物体锚框重叠，或者，无手部锚框与方向盘锚框重叠都会导致缓冲时间下降；其余情况缓冲时间上升；若连续帧的分心行为导致缓冲时间下降为0，则进入预警阶段；在车辆行驶速度低于设定停车速度阈值时，重置缓冲时间为最大缓冲时间。
具体算法中锚框重叠判断规则如下：
设头部锚框坐标为R1＝(x1,y1,x2,y2)，敏感物锚框坐标为R2＝(z1,k1,z2,k2)；若当前帧[(z2-(x1-o))*(z1-(x2+o)]≤0且[(k1-(y2+o))*(k2-(y1-o))]≤0，则根据当前帧的头部锚框坐标与敏感物锚框坐标的类别判定为分心类别。
设方向盘锚框坐标为R3＝(x3,y3,x4,y4)，手部锚框坐标为R4＝(z3,k3,z4,k4)；检测当前帧中所有手部，遍历所有的手部锚框坐标；若所有的手部锚框坐标都满足[(z4-(x3-o))*(z3-(x4+o))]＞0且[(k3-(y4+o))*(k4-(y3-o))]＞0，即在方向盘区域未检测到手部，则判定为双手脱离方向盘。
所有坐标的前两个参数代表锚框的坐上角的坐标，后两个参数代表右下角的坐标。以图片的左上角为原点，X轴为图像矩形的上面那条水平线；Y轴为图像矩形左边那条垂直线。o为偏移量(0-15)，用于隐式扩大头部和方向盘的矩形范围，增强灵敏度。
驾驶员缓冲时间计算公式如下：
Bti＝Bti-1+ΔBti-1
其中，Bti代表到第i帧时剩余的缓冲时间，Bti-1代表到第i-1帧时所剩余的缓冲时间，ΔBti-1代表第i-1帧时缓冲时间的变化量，根据车速和驾驶员的状态及嵌入式设备的推理速度得出；fi-1代表检测第i-1帧否有分心驾驶行为，若有则为-1，没有则为1；t代表检测一帧所需要的时间；v代表当前车速，单位为km/h，k代表超参数，可根据实际设备情况进行调整，本例中取值为1。
(5)在预警阶段根据各个锚框的相对位置判定分心行为类型并进行预警。具体判断规则是，若检测到驾驶员的分心驾驶行为在连续时间内导致缓冲时间为0，判断此时头部锚框是否与敏感物体锚框重叠，若重叠判断为真则根据敏感物类别确定分心驾驶行为类型；若无手部锚框和方向盘锚框重叠，则判断为手脱离方向盘。进行语音播报，提醒驾驶员“您已处于违规驾驶状态，请规范您的驾驶行为”并将视频节点保留，同时为公共交运平台的管理与出发提供依据。完整的检测算法流程如图2所示，检测后的效果图如图8所示。
实验证明本发明实施例公开的一种基于轻量级网络的危化品运输车驾驶员分心行为快速检测方法可以广泛有效适应危化品运输车车内监控视频，并对视频中出现的分心驾驶行为实时检测预警，便于及时发现并提醒不规范驾驶行为，从而减小交通事故的发生，检测速度快、种类多、识别效果好。
基于相同的发明构思，本发明实施例公开的一种基于视觉协同的危化品运输车违规驾驶行为检测系统，包括：训练模块，用于对分心行为数据集中的驾驶员的头部、手部、方向盘及敏感物体进行标注，通过轻量级目标检测神经网络模型对标注数据进行训练；所述敏感物体包括电话、水杯和烟；检测模块，用于读取危化品运输车实时采集视频的每一帧图像，经过训练好的网络模型检测驾驶员头部、手部、方向盘和敏感物，得到这一帧图像中所有预测的锚框的信息，包括每个锚框的四个坐标和类别信息，并将信息送入到分心驾驶检测算法中；所述分心驾驶检测算法初始化驾驶员缓冲时间为最大缓冲时间，算法运行过程中缓冲时间在0至最大缓冲时间之间；根据如下规则对缓冲时间进行调整：当头部锚框与敏感物体锚框重叠，或者，无手部锚框与方向盘锚框重叠都会导致缓冲时间下降；其余情况缓冲时间上升；若连续帧的分心行为导致缓冲时间下降为0，则进入预警阶段；在车辆行驶速度低于设定停车速度阈值时，重置缓冲时间为最大缓冲时间；以及，预警模块，用于在预警阶段根据各个锚框的相对位置判定分心驾驶行为类型并进行预警。具体实施细节参考上述方法实施例，此处不再赘述。
基于相同的发明构思，本发明实施例公开的一种危化品运输车驾驶员分心行为快速检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的危化品运输车驾驶员分心行为快速检测方法。
Claims (7)
1.一种危化品运输车驾驶员分心行为快速检测方法，其特征在于，包括以下步骤：
对分心行为数据集中的驾驶员的头部、手部、方向盘及敏感物体进行标注，通过轻量级目标检测神经网络模型对标注数据进行训练；所述敏感物体包括电话、水杯和烟；
读取危化品运输车实时采集视频的每一帧图像，经过训练好的网络模型检测驾驶员头部、手部、方向盘和敏感物，得到这一帧图像中所有预测的锚框的信息，包括每个锚框的四个坐标和类别信息，并将信息送入到分心驾驶检测算法中；所述分心驾驶检测算法初始化驾驶员缓冲时间为最大缓冲时间，算法运行过程中缓冲时间在0至最大缓冲时间之间；根据如下规则对缓冲时间进行调整：当头部锚框与敏感物体锚框重叠，或者，无手部锚框与方向盘锚框重叠都会导致缓冲时间下降；其余情况缓冲时间上升；若连续帧的分心行为导致缓冲时间下降为0，则进入预警阶段；在车辆行驶速度低于设定停车速度阈值时，重置缓冲时间为最大缓冲时间；
在预警阶段根据各个锚框的相对位置判定分心驾驶行为类型并进行预警。
2.根据权利要求1所述的危化品运输车驾驶员分心行为快速检测方法，其特征在于，所述轻量级目标检测神经网络模型是基于yolov5改进的tiny-yolov5，具体为：将yolov5主干特征提取网络第二个CBL和第三个CBL模块后加入通道注意力模块，将第四个CBL模块改为深度可分离卷积；修改网络中的neck层中的预测大物体的分支结构：引入Ghost模块和深度可分离卷积，将从中等物体预测分支卷积前的特征图进行深度可分离卷积操作，与来自主干网络最后一层的特征图进行concat操作，然后再通过深度可分离卷积进行通道变换生成特征图，将yolov5的CspBottleneck改为GhostBottleneck，最后进行卷积操作生成大物体预测分支。
3.根据权利要求1所述的危化品运输车驾驶员分心行为快速检测方法，其特征在于，所述分心驾驶检测算法中锚框重叠判断规则如下：
设头部锚框坐标为R1＝(x1,y1,x2,y2)，敏感物锚框坐标为R2＝(z1,k1,z2,k2)；若当前帧[(z2-(x1-o))*(z1-(x2+o)]≤0且[(k1-(y2+o))*(k2-(y1-o))]≤0，则根据当前帧的头部锚框坐标与敏感物锚框坐标的类别判定为分心类别；
设方向盘锚框坐标为R3＝(x3,y3,x4,y4)，手部锚框坐标为R4＝(z3,k3,z4,k4)；检测当前帧中所有手部，遍历所有的手部锚框坐标；若所有的手部锚框坐标都满足[(z4-(x3-o))*(z3-(x4+o))]＞0且[(k3-(y4+o))*(k4-(y3-o))]＞0，即在方向盘区域未检测到手部，则判定为双手脱离方向盘；
所有坐标的前两个参数代表锚框的坐上角的坐标，后两个参数代表右下角的坐标，o为偏移量，用于隐式扩大头部和方向盘的矩形范围。
4.根据权利要求1所述的危化品运输车驾驶员分心行为快速检测方法，其特征在于，所述分心驾驶检测算法中驾驶员缓冲时间计算公式如下：
Bti＝Bti-1+ΔBti-1
其中，Bti代表到第i帧时剩余的缓冲时间，Bti-1代表到第i-1帧时所剩余的缓冲时间，ΔBti-1代表第i-1帧时缓冲时间的变化量；fi-1代表检测第i-1帧否有分心驾驶行为，若有则为-1，没有则为1；t代表检测一帧所需要的时间；v代表当前车速，k代表超参数，根据设备实际情况进行调整。
5.根据权利要求1所述的危化品运输车驾驶员分心行为快速检测方法，其特征在于，所述预警阶段的判断规则是，判断头部锚框是否与敏感物体锚框重叠，若重叠判断为真则根据敏感物类别确定分心驾驶类型；若无手部锚框与方向盘锚框重叠，则判断为手脱离方向盘；进行预警提示并进行视频片段保留。
6.一种危化品运输车驾驶员分心行为快速检测系统，其特征在于，包括：
训练模块，用于对分心行为数据集中的驾驶员的头部、手部、方向盘及敏感物体进行标注，通过轻量级目标检测神经网络模型对标注数据进行训练；所述敏感物体包括电话、水杯和烟；
检测模块，用于读取危化品运输车实时采集视频的每一帧图像，经过训练好的网络模型检测驾驶员头部、手部、方向盘和敏感物，得到这一帧图像中所有预测的锚框的信息，包括每个锚框的四个坐标和类别信息，并将信息送入到分心驾驶检测算法中；所述分心驾驶检测算法初始化驾驶员缓冲时间为最大缓冲时间，算法运行过程中缓冲时间在0至最大缓冲时间之间；根据如下规则对缓冲时间进行调整：当头部锚框与敏感物体锚框重叠，或者，无手部锚框与方向盘锚框重叠都会导致缓冲时间下降；其余情况缓冲时间上升；若连续帧的分心行为导致缓冲时间下降为0，则进入预警阶段；在车辆行驶速度低于设定停车速度阈值时，重置缓冲时间为最大缓冲时间；
以及，预警模块，用于在预警阶段根据各个锚框的相对位置判定分心驾驶行为类型并进行预警。
7.一种危化品运输车驾驶员分心行为快速检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-5任一项所述的危化品运输车驾驶员分心行为快速检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110318039.8A CN113052071B (zh) | 2021-03-25 | 2021-03-25 | 危化品运输车驾驶员分心行为快速检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110318039.8A CN113052071B (zh) | 2021-03-25 | 2021-03-25 | 危化品运输车驾驶员分心行为快速检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113052071A true CN113052071A (zh) | 2021-06-29 |
| CN113052071B CN113052071B (zh) | 2023-03-24 |
Family
ID=76515323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110318039.8A Active CN113052071B (zh) | 2021-03-25 | 2021-03-25 | 危化品运输车驾驶员分心行为快速检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052071B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114783061A (zh) * | 2022-04-26 | 2022-07-22 | 南京积图网络科技有限公司 | 一种吸烟行为检测方法、装置、设备和介质 |
| CN114882478A (zh) * | 2022-03-24 | 2022-08-09 | 淮阴工学院 | 权重优化下的局部多尺度特征融合的驾驶员行为识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809152A (zh) * | 2016-04-06 | 2016-07-27 | 清华大学 | 一种基于多源信息融合的驾驶员认知分心监测方法 |
| CN111368696A (zh) * | 2020-02-28 | 2020-07-03 | 淮阴工学院 | 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统 |
-
2021
- 2021-03-25 CN CN202110318039.8A patent/CN113052071B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809152A (zh) * | 2016-04-06 | 2016-07-27 | 清华大学 | 一种基于多源信息融合的驾驶员认知分心监测方法 |
| CN111368696A (zh) * | 2020-02-28 | 2020-07-03 | 淮阴工学院 | 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882478A (zh) * | 2022-03-24 | 2022-08-09 | 淮阴工学院 | 权重优化下的局部多尺度特征融合的驾驶员行为识别方法 |
| CN114882478B (zh) * | 2022-03-24 | 2023-08-22 | 淮阴工学院 | 权重优化下的局部多尺度特征融合的驾驶员行为识别方法 |
| CN114783061A (zh) * | 2022-04-26 | 2022-07-22 | 南京积图网络科技有限公司 | 一种吸烟行为检测方法、装置、设备和介质 |
| CN114783061B (zh) * | 2022-04-26 | 2023-04-18 | 南京积图网络科技有限公司 | 一种吸烟行为检测方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052071B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163187B (zh) | 基于f-rcnn的远距离交通标志检测识别方法 | |
| WO2019223582A1 (en) | Target detection method and system | |
| CN111368696A (zh) | 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统 | |
| CN105654067A (zh) | 一种车辆检测方法及装置 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN112949633B (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
| CN114359851A (zh) | 无人驾驶目标检测方法、装置、设备及介质 | |
| CN113052071B (zh) | 危化品运输车驾驶员分心行为快速检测方法及系统 | |
| CN112990065B (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
| CN113591872A (zh) | 一种数据处理系统、物体检测方法及其装置 | |
| CN108960074B (zh) | 基于深度学习的小尺寸行人目标检测方法 | |
| CN111462050B (zh) | 改进YOLOv3的极小遥感图像目标检测方法、装置及存储介质 | |
| US11250279B2 (en) | Generative adversarial network models for small roadway object detection | |
| CN115565044A (zh) | 一种目标检测方法及系统 | |
| CN115376089A (zh) | 一种基于深度学习的车道线检测方法 | |
| CN112613434A (zh) | 道路目标检测方法、装置及存储介质 | |
| CN110263836B (zh) | 一种基于多特征卷积神经网络的不良驾驶状态识别方法 | |
| CN115546742A (zh) | 一种基于单目热红外摄像头的铁轨异物识别方法及系统 | |
| CN113343837B (zh) | 基于车辆灯语识别的智能驾驶方法、系统、装置及介质 | |
| CN111176443A (zh) | 一种车载智能系统及其控制方法 | |
| CN116935361A (zh) | 一种基于深度学习的驾驶员分心行为检测方法 | |
| CN116630702A (zh) | 一种基于语义分割网络的路面附着系数预测方法 | |
| TWI619099B (zh) | Intelligent multifunctional driving assisted driving recording method and system | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN111783683A (zh) | 一种基于特征平衡和关系增强的人体检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210629 Assignee: Jiangsu Kesheng Xuanyi Technology Co.,Ltd. Assignor: HUAIYIN INSTITUTE OF TECHNOLOGY Contract record no.: X2023980048436 Denomination of invention: Rapid detection method and system for driver distraction behavior of hazardous chemical transport vehicles Granted publication date: 20230324 License type: Common License Record date: 20231129 |
|
| EE01 | Entry into force of recordation of patent licensing contract |