CN115272987B - 一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置 - Google Patents
一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置 Download PDFInfo
- Publication number
- CN115272987B CN115272987B CN202210794742.0A CN202210794742A CN115272987B CN 115272987 B CN115272987 B CN 115272987B CN 202210794742 A CN202210794742 A CN 202210794742A CN 115272987 B CN115272987 B CN 115272987B
- Authority
- CN
- China
- Prior art keywords
- module
- msa
- attention
- channel
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000002787 reinforcement Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000003702 image correction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于MSA‑Yolov5的恶劣天气下车辆检测方法及装置，首先，将DAWN数据集划分为训练集与测试集，并进行预处理；其次，构建MSA‑Yolov5模型，包括Backbone模块、Neck模块以及Prediction模块；其中Backbone模块为MSA‑ResBlock，包括Focus网络、SCBAM模块和ResBlock模块；首先用SCBAM模块对恶劣天气下，模糊场景中的车辆、行人目标进行特征强化；然后通过多尺度特征融合，使用GIoU算法作为边界框损失函数，使用FocalLoss降低预测框内正负样本的不平衡问题；最后检测出恶劣天气下车辆、行人的位置信息和标签信息，并得出检测的精确度。本发明具有图像校正的计算量减小、检测流程精简、网络的识别精度高的特点，可以对恶劣天气下的车辆、行人进行检测，并且具有检测速度快、模型小、准确率高的优点。
Description
技术领域
本发明涉及图像处理及智能交通领域，具体涉及一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置。
背景技术
近年来，目标检测算法迅速发展，其已经在机器人、安防、物联网等领域得到应用，但是，在恶劣天气中的目标检测依旧是一大难题，在各类恶劣天气中，由于雾霾或沙尘暴天气中雾气或微小颗粒等介质的影响，或者由于暴雨天气中密集雨幕的影响，所捕获的图像会出现模糊、对比度低，色彩丢失及噪声等问题，这些都对目标检测结果造成了极大影响。随着无人驾驶汽车的增加、辅助驾驶技术的普及，雾霾、雨雪等恶劣天气对各类摄像头、传感器的干扰问题渐受关注，恶劣天气下的目标识别也成为一项重大挑战。
在现有的目标检测算法分为两类，一类是two-stage，two-stage检测算法将检测问题划分为两个阶段，首先产生候选区域(region proposals)，然后对候选区域分类，这一类的典型代表是R-CNN,Fast R-CNN,Faster R-CNN，Mask R-CNN家族。他们识别错误率低，漏识别率也较低，但速度较慢，不能满足实时检测场景。另一类称为one-stage检测算法，其不需要region proposal阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，比较典型的算法如YOLO，SSD，Retina-Net等。如今，以Yolo为代表的one-stage在汲取了其他检测算法的优点，检测速度快的同时依旧保持高准确率，但是对于复杂情况下模糊目标检测依旧无法很好的识别，达不到人们的预期。
发明内容
发明目的：为提升网络对复杂条件下的目标检测能力，本发明提供了一种基于改进Yolov5的恶劣天气下车辆检测方法及装置，可以对恶劣天气下的车辆、行人进行检测，并且具有检测速度快、模型小、准确率高的优点。
技术方案：本发明提出一种基于MSA-Yolov5的恶劣天气下车辆检测，具体包括以下步骤：
(1)将DAWN数据集划分为训练集与测试集，并进行预处理；
(2)构建MSA-Yolov5模型；所述MSA-Yolov5模型包括Backbone模块、Neck模块以及Prediction模块；所述Backbone模块为MSA-ResBlock，包括Focus网络、SCBAM模块和ResBlock模块；
(3)将预处理好的图片输入到MSA-Yolov5模型中训练：首先用SCBAM模块对恶劣天气下，模糊场景中的车辆、行人目标进行特征强化；然后通过多尺度特征融合，使用GIoU算法作为边界框损失函数，使用FocalLoss降低预测框内正负样本的不平衡问题；
(4)检测出恶劣天气下车辆、行人的位置信息和标签信息，并得出检测的精确度。
进一步地，所述步骤(1)实现过程如下：
将DAWM数据集按照9：1的比例随机划分为训练数据集和测试数据集；并将训练集的图片统一归一化为640*640尺寸大小的图片；对车辆图像进行随机裁剪、旋转的方法进行数据增广；使用Mosaic数据增强，利用四张图片，对四张图片进行拼接，每一张图片都有其对应的框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的框，然后将一张新的图片输入到神经网络当中学习。
进一步地，步骤(2)所述Backbone模块用于在不同图像细粒度上聚合并形成图像特征的卷积神经网络；对于输入的图像，首先采用Focus网络结构，在一张图片中每隔一个像素拿到一个值，获得了四个独立的特征层，然后将四个独立的特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了四倍；然后使用了SCBAM注意力机制模块，实现对恶劣天气造成的模糊效果进行优化，通过3*3的卷积对通过SCBAM后的特征图进行下采样，使其高宽减半的同时通道数翻倍；接着将特征图送入ResBlock中，ResBlock包括CBS、MSA以及B-CSP模块；CBS模块是卷积、批量归一和激活操作；MSA为多头注意力机制模块，在全局中搜寻特征之间的联系；B-CSP模块分为两个部分，包括了主干和残差结构Bottleneck，B-CSP模块主干使用3*3和1*1卷积；残差块中使用了7*7卷积，残差边部分不做任何处理，直接将主干的输入与输出结合，对于上一层输入的不同尺度的特征实现不同的滤波器提取；随后并行添加1*1卷积用于约束通道数，提升网络的表达能力；再结合多头自注意力机制，使其收敛的更加平滑的同时增加对高频噪声鲁棒性；
在Neck模块中引入动态卷积Dy_conv，使用于FPN中不同尺度的特征图融合之中，将一个固定的卷积核，变为可以根据输入自适应改变注意力的卷积核。
进一步地，步骤(2)所述SCBAM模块由输入、通道注意力模块、空间注意力模块和输出组成，使用并行方式连接，通过R这个超参数，对通道注意力模块进行通道分配，C*R的通道数进入通道注意力模块，C*(1-R)进入空间注意力，然后进行相加，并用shuffle对两者生成的信息相互渗透，具体如下：
输入特征F∈RC*H*W，然后是通道注意力模块一维卷积Mc∈RC*1*1，同时空间注意力模块的二维卷积Ms∈R1*H*W，再将两者输出结果相加后shuffle，计算方式如下：
通道注意力模块将输入的feature map经过两个并行的MaxPool层和AvgPool层，将特征图从C*H*W变为C*1*1的大小，然后经过MLP模块，再经过ReLU激活函数得到两个激活后的结果；将两个输出结果进行逐元素相加，最后通过一个sigmoid激活函数得到ChannelAttention的输出结果，再将这个输出结果乘原图通道注意力公式：
式中，σ为sigmoid函数，W0∈RC/r×C，W1∈RC×C/r，MLP的权重W0和W1共享，在W0前是ReLU激活函数，和/>分别是通过平均池化和最大池化后的特征图。
空间注意力机制将通道注意力的输出结果通过最大池化和平均池化得到两个1*H*W的特征图，然后经过Concat操作对两个特征图进行拼接，通过7*7卷积变为1通道的特征图，再经过一个sigmoid得到Spatial Attention的特征图，空间注意力公式：
式中，σ为sigmoid函数，f7x7为7x7大小的卷积核，和/>分别是通过最大池化和平均池化后的特征图。
进一步地，步骤(3)所述GIoU算法的计算方式如下：
LGIoU＝1-GIoU
找到把A和B包含在内的最小封闭区域C，计算C中没有覆盖A和B的面积与C总面积的比值，最后用IoU减去这个比值，LGIoU则作为边界框损失函数。
进一步地，步骤(3)所述Focal Loss的计算方式如下：
FL(pt)＝-αt(1-pt)γlog(pt)
其中，p和1-p是两个参数用于平衡正样本和负样本的权重，Pt为模型预测概率，γ为样本标签值，通常取值为2，权重因子αt∈[0,1]，当为正样本时，权重因子就是αt，当为负样本时，权重因子为1-αt。
基于相同的发明构思，本发明还提供一种基于MSA-Yolov5的恶劣天气下车辆检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现上述的一种基于MSA-Yolov5的恶劣天气下车辆检测方法。
有益效果：与现有技术相比，本发明的有益效果：1、本发明设计了一种基于MSA-Yolov5的特征提取网络，该网络通过多次多尺度融合提高了所提取到特征的复杂性；特征图在该网络的传递过程中不仅可以维持高分辨率的特征，增加了高层特征图的位置信息和低层特征图的语义信息，一定程度上解决了小尺寸目标在高层特征图上消失的问题；2、本发明通过进一步加深网络深度，结合卷积与注意力机制，增加对各种尺度的目标特征的提取能力，提高了算法对恶劣条件下车辆、行人的检测精度；3、本发明针对特征层融合，将固定卷积核改成动态卷积，灵活的对不同特征进行分别提取，一定程度的缓解了融合时特征丢失的问题；4、本发明利用更强的特征提取MSA-ResBlock取代了Yolov5算法中的CSPDarknet,并且在原本三个特征提取层的基础上又增加了一个特征提取层，解决了小尺度目标的特征高层特征图消失的问题，从而使算法对车辆、行人的检测准确率更高；5、通过融合不同尺度的特征图增加检测算法对中小尺寸目标的关注，使用GIoU算法和FocalLoss算法优化损失函数，进一步提高算法的检测精度。
附图说明
图1为基于MSA-Yolov5的恶劣天气下车辆检测方法流程图；
图2为MSA-Yolov5的模型网络结构示意图；
图3为B-CSP模块的结构示意图
图4为Bottleneck的结构示意图；
图5为SCBAM模块的结构示意图；
图6为MSA模块的结构示意图；
图7为本发明实施例中的效果图；其中(a)为雨天条件下采用本发明的检测效果图；(b)为雾天条件下采用本发明的检测效果图；
图8为本发明实施例中的mAP图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明实施例公开的一种基于MSA-Yolov5的恶劣天气下车辆检测方法，如图1所示，具体包括以下步骤：
步骤1：将DAWN数据集划分为训练即与测试集，并进行预处理。
我们选用DAWN恶劣天气中的车辆检测数据集，将DAWM数据集按照9：1的比例随机划分为训练数据集和测试数据集，并将训练集的图片统一归一化为640*640尺寸大小的图片；其中包括了国内不同场景、不同天气状况下近1000张恶劣天气下车辆图像。然后，对数据集进行预处理，对车辆图像进行随机裁剪、旋转的方法进行数据增广。使用Mosaic数据增强，其方法就是利用了四张图片，对四张图片进行拼接，每一张图片都有其对应的框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的框，然后我们将这样一张新的图片传入到神经网络当中去学习，相当于一下子传入四张图片进行学习。
步骤2：构建MSA-Yolov5模型，并对其进行训练。
本发明构建的MSA-Yolov5模型如图2所示，主要包括Backbone模块、Neck模块以及Prediction模块。其中Backbone部分主要用于在不同图像细粒度上聚合并形成图像特征的卷积神经网络，原有Yolov5所使用的Backbone是CSPDarknet，本发明用MSA-ResBlock代替YOLOv5中的CSPDarknet，其中包括Focus、SCBAM和ResBlock模块。对于输入的图像，首先采用Focus网络结构，在一张图片中每隔一个像素拿到一个值，这个时候获得了四个独立的特征层，然后将四个独立的特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了四倍。然后使用SCBAM注意力机制模块，SCBAM是一种轻量级的注意力机制模块，它结合了通道和空间的注意力机制，从而实现了对恶劣天气造成的模糊效果进行优化。通过3*3的卷积对通过SCBAM后的特征图进行下采样，使其高宽减半的同时通道数翻倍。接着将特征图送入ResBlock中，ResBlock由三个部分组成，CBS、MSA以及B-CSP模块；CBS模块是卷积、批量归一和激活操作，目的是不改变特征图的高宽、不改变图像大小，只改变图像深度变化。MSA为多头注意力机制模块，通过qkv查询检索与自己相关的序列，然后经过两个全连接层进行分类；其特点是有助于在全局中搜寻特征之间的联系。如图3所示，B-CSP模块分为两个部分，包括了主干和如图4所示的残差结构Bottleneck，考虑到车辆有大小不一的尺寸，B-CSP模块主干使用3*3和1*1卷积；残差块中使用了7*7卷积，残差边部分不做任何处理，直接将主干的输入与输出结合，两种卷积同时进行特征提取，这样对于上一层输入的不同尺度的特征可以实现不同的滤波器提取。随后并行添加1*1卷积用于约束通道数，提升网络的表达能力。再结合多头自注意力机制MSA，其结构如图6所示，Conv是高通滤波器而MSA是低通滤波器，MSA倾向于减少高频信号，而Conv会放大，两者结合可以互补，使其收敛的更加平滑的同时增加对高频噪声鲁棒性。
在Neck模块中主要引入了动态卷积Dy_conv，使用于FPN中不同尺度的特征图融合之中，将一个固定的卷积核，变为可以根据输入自适应改变注意力的卷积核。动态卷积并不是在每层都是用单个卷积核，而是根据注意力动态地聚合多个并行的卷积核，注意力会根据输入动态地调整每个卷积核的权重大小，从而生成自适应的动态卷积。由于注意力是输入的函数，动态卷积不再是一个简单的线性函数，通过注意力以这种非线性的方式叠加卷积核具有更强的特征表达能力。动态卷积是由avg pool和两个全连接层组成。得益于其较小的内核尺寸，叠加多个卷积核在计算上并不会造成效率下降，因此，其引入的额外计算量也是非常小的。
如图5所示，SCBAM模块由输入、通道注意力模块、空间注意力模块和输出组成，使用并行方式连接，通过R这个超参数，可以对通道注意力模块进行通道分配，C*R的通道数进入通道注意力模块，C*(1-R)进入空间注意力，然后进行相加，并用shuffle对两者生成的信息相互渗透，这样可以减少一定的运算量但是不降低其性能。
输入特征F∈RC*H*W，然后是通道注意力模块一维卷积Mc∈RC*1*1，同时空间注意力模块的二维卷积Ms∈R1*H*W，再将两者输出结果相加后shuffle，计算方式如下：
通道注意力模块将输入的feature map经过两个并行的MaxPool层和AvgPool层，将特征图从C*H*W变为C*1*1的大小，然后经过MLP模块，再经过ReLU激活函数得到两个激活后的结果。将这两个输出结果进行逐元素相加，最后通过一个sigmoid激活函数得到Channel Attention的输出结果，再将这个输出结果乘原图通道注意力公式：
式中，σ为sigmoid函数，W0∈RC/r×C，W1∈RC×C/r，MLP的权重W0和W1共享，在W0前是ReLU激活函数，和/>分别是通过平均池化和最大池化后的特征图；
空间注意力机制将通道注意力的输出结果通过最大池化和平均池化得到两个1*H*W的特征图，然后经过Concat操作对两个特征图进行拼接，通过7*7卷积变为1通道的特征图，再经过一个sigmoid得到Spatial Attention的特征图，空间注意力公式：
式中，σ为sigmoid函数，f7x7为7x7大小的卷积核，和/>分别是通过最大池化和平均池化后的特征图。
在Prediction模块是对图像特征进行预测，生成边界框和预测类别。使用GIoU算法作为边界框损失函数，使用FocalLoss降低预测框内正负样本的不平衡问题。GIoU的计算方式如下：
LGIoU＝1-GIoU
该公式的含义为：找到可以把A和B包含在内的最小封闭区域C，计算C中没有覆盖A和B的面积与C总面积的比值，最后用IoU减去这个比值，LGIoU则作为边界框损失函数。
Focal Loss的计算方式如下：
FL(pt)＝-αt(1-pt)γlog(pt)
其中，p和1-p是两个参数用于平衡正样本和负样本的权重，Pt为模型预测概率，γ为样本标签值，权重因子αt∈[0,1]，当为正样本时，权重因子就是αt，当为负样本时，权重因子为1-αt。
基于相同的发明构思，本发明还提供一种基于MSA-Yolov5的恶劣天气下车辆检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现上述的一种基于MSA-Yolov5的恶劣天气下车辆检测方法。
模型训练后对雨天和雾天的天气条件下对车辆目标的检测效果如图7所示，标注了所检测出目标的类别以及置信度，其中图7(a)为雨天条件下效果图；图7(b)为雾天条件下效果图。
如图8所示，模型训练采用学习率预热，使用随机梯度下降算法进行求解，共训练300轮。学习率预热是指首先使用较低的学习率0.000001进行学习，经过两轮训练之后缓慢上升到0.0001；使用训练得到的最佳模型对公共数据集VOC2012测试集进行测试，得到测试精度结果相较于Yolov5增加了近8％的精度。
Claims (5)
1.一种基于MSA-Yolov5的恶劣天气下车辆检测方法，其特征在于，包括以下步骤：
(1)将DAWN数据集划分为训练集与测试集，并进行预处理；
(2)构建MSA-Yolov5模型；所述MSA-Yolov5模型包括Backbone模块、Neck模块以及Prediction模块；所述Backbone模块为MSA-ResBlock，包括Focus网络、SCBAM模块和ResBlock模块；
(3)将预处理好的图片输入到MSA-Yolov5模型中训练：首先用SCBAM模块对恶劣天气下，模糊场景中的车辆、行人目标进行特征强化；然后通过多尺度特征融合，使用GIoU算法作为边界框损失函数，使用FocalLoss降低预测框内正负样本的不平衡问题；
(4)检测出恶劣天气下车辆、行人的位置信息和标签信息，并得出检测的精确度；
步骤(2)所述MSA-ResBlock模块能够在不同图像细粒度上聚合并形成图像特征；对于输入的图像，首先采用Focus网络结构，在一张图片中每隔一个像素拿到一个值，获得了四个独立的特征层，然后将四个独立的特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了四倍；然后使用了SCBAM注意力机制模块，实现对恶劣天气造成的模糊效果进行优化，通过3*3的卷积对通过SCBAM后的特征图进行下采样，使其高宽减半的同时通道数翻倍；接着将特征图送入ResBlock中，ResBlock包括CBS、MSA以及B-CSP模块；CBS模块是卷积、批量归一和激活操作；MSA为多头注意力机制模块，在全局中搜寻特征之间的联系；B-CSP模块分为两个部分，包括了主干和残差结构Bottleneck，B-CSP模块主干使用3*3和1*1卷积；残差块中使用了7*7卷积，残差边部分不做任何处理，直接将主干的输入与输出结合，对于上一层输入的不同尺度的特征实现不同的滤波器提取；随后并行添加1*1卷积用于约束通道数，提升网络的表达能力；再结合多头自注意力机制，使其收敛的更加平滑的同时增加对高频噪声鲁棒性；
在Neck模块中引入动态卷积Dy_conv，使用于FPN中不同尺度的特征图融合之中，将一个固定的卷积核，变为能够根据输入自适应改变注意力的卷积核；
所述SCBAM模块由输入、通道注意力模块、空间注意力模块和输出组成，使用并行方式连接，通过R这个超参数，对通道注意力模块进行通道分配，C*R的通道数进入通道注意力模块，C*(1-R)进入空间注意力，然后进行相加，并用shuffle对两者生成的信息相互渗透，具体如下：
输入特征F∈RC*H*W，然后是通道注意力模块一维卷积Mc∈RC*1*1，同时空间注意力模块的二维卷积Ms∈R1*H*W，再将两者输出结果相加后shuffle，计算方式如下：
通道注意力模块将输入的feature map经过两个并行的MaxPool层和AvgPool层，将特征图从C*H*W变为C*1*1的大小，然后经过MLP模块，再经过ReLU激活函数得到两个激活后的结果；将两个输出结果进行逐元素相加，最后通过一个sigmoid激活函数得到ChannelAttention的输出结果，再将这个输出结果乘原图通道注意力公式：
式中，σ为sigmoid函数，W0∈RC/r×C，W1∈RC×C/r，MLP的权重W0和W1共享，在W0前是ReLU激活函数，和/>分别是通过平均池化和最大池化后的特征图；
空间注意力机制将通道注意力的输出结果通过最大池化和平均池化得到两个1*H*W的特征图，然后经过Concat操作对两个特征图进行拼接，通过7*7卷积变为1通道的特征图，再经过一个sigmoid得到Spatial Attention的特征图，空间注意力公式：
式中，σ为sigmoid函数，f7x7为7x7大小的卷积核，和/>分别是通过平均池化和最大池化后的特征图。
2.根据权利要求1所述的一种基于MSA-Yolov5的恶劣天气下车辆检测方法，其特征在于，所述步骤(1)实现过程如下：
将DAWM数据集按照9：1的比例随机划分为训练数据集和测试数据集；并将训练集的图片统一归一化为640*640尺寸大小的图片；对车辆图像进行随机裁剪、旋转的方法进行数据增广；使用Mosaic数据增强，利用四张图片，对四张图片进行拼接，每一张图片都有其对应的框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的框，然后将一张新的图片输入到神经网络当中学习。
3.根据权利要求1所述的一种基于MSA-Yolov5的恶劣天气下车辆检测方法，其特征在于，步骤(3)所述GIoU算法的计算方式如下：
LGIoU＝1-GIoU
找到把A和B包含在内的最小封闭区域C，计算C中没有覆盖A和B的面积与C总面积的比值，最后用IoU减去这个比值，LGIoU则作为边界框损失函数。
4.根据权利要求1所述的一种基于MSA-Yolov5的恶劣天气下车辆检测方法，其特征在于，步骤(3)所述Focal Loss的计算方式如下：
FL(pt)＝-αt(1-pt)γlog(pt)
其中，p和1-p是两个参数用于平衡正样本和负样本的权重，Pt为模型预测概率，γ为样本标签值，权重因子αt∈[0，1]，当为正样本时，权重因子就是αt，当为负样本时，权重因子为1-αt。
5.一种基于MSA-Yolov5的恶劣天气下车辆检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-4任一项所述的一种基于MSA-Yolov5的恶劣天气下车辆检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210794742.0A CN115272987B (zh) | 2022-07-07 | 2022-07-07 | 一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210794742.0A CN115272987B (zh) | 2022-07-07 | 2022-07-07 | 一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115272987A CN115272987A (zh) | 2022-11-01 |
| CN115272987B true CN115272987B (zh) | 2023-08-22 |
Family
ID=83764296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210794742.0A Active CN115272987B (zh) | 2022-07-07 | 2022-07-07 | 一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272987B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116229192A (zh) * | 2022-12-12 | 2023-06-06 | 淮阴工学院 | 一种基于ODConvBS-YOLOv5s的火焰烟雾检测方法 |
| CN116228715B (zh) * | 2023-02-28 | 2023-09-22 | 抖音视界有限公司 | 息肉检测模型的训练方法、息肉检测方法及相关装置 |
| CN116504076A (zh) * | 2023-06-19 | 2023-07-28 | 贵州宏信达高新科技有限责任公司 | 基于etc门架数据的高速公路车流量预测方法 |
| CN117496475B (zh) * | 2023-12-29 | 2024-04-02 | 武汉科技大学 | 一种应用于自动驾驶的目标检测方法及系统 |
| CN117710755B (zh) * | 2024-02-04 | 2024-05-03 | 江苏未来网络集团有限公司 | 一种基于深度学习的车辆属性识别系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111274970A (zh) * | 2020-01-21 | 2020-06-12 | 南京航空航天大学 | 一种基于改进YOLO v3算法的交通标志检测方法 |
| CN113076842A (zh) * | 2021-03-26 | 2021-07-06 | 烟台大学 | 一种用于提升极端天气与环境下交通标志识别精度的方法 |
| CN113780152A (zh) * | 2021-09-07 | 2021-12-10 | 北京航空航天大学 | 一种基于目标感知的遥感图像船只小目标检测方法 |
| CN113888523A (zh) * | 2021-10-20 | 2022-01-04 | 山西省机电设计研究院有限公司 | 一种强化x射线不锈钢焊缝缺陷实时语义分割方法 |
| CN114220015A (zh) * | 2021-12-21 | 2022-03-22 | 一拓通信集团股份有限公司 | 一种基于改进YOLOv5的卫星图像小目标检测方法 |
| CN114495029A (zh) * | 2022-01-24 | 2022-05-13 | 中国矿业大学 | 一种基于改进YOLOv4的交通目标检测方法及系统 |
| CN114648714A (zh) * | 2022-01-25 | 2022-06-21 | 湖南中南智能装备有限公司 | 一种基于yolo的车间规范行为的监测方法 |
-
2022
- 2022-07-07 CN CN202210794742.0A patent/CN115272987B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111274970A (zh) * | 2020-01-21 | 2020-06-12 | 南京航空航天大学 | 一种基于改进YOLO v3算法的交通标志检测方法 |
| CN113076842A (zh) * | 2021-03-26 | 2021-07-06 | 烟台大学 | 一种用于提升极端天气与环境下交通标志识别精度的方法 |
| CN113780152A (zh) * | 2021-09-07 | 2021-12-10 | 北京航空航天大学 | 一种基于目标感知的遥感图像船只小目标检测方法 |
| CN113888523A (zh) * | 2021-10-20 | 2022-01-04 | 山西省机电设计研究院有限公司 | 一种强化x射线不锈钢焊缝缺陷实时语义分割方法 |
| CN114220015A (zh) * | 2021-12-21 | 2022-03-22 | 一拓通信集团股份有限公司 | 一种基于改进YOLOv5的卫星图像小目标检测方法 |
| CN114495029A (zh) * | 2022-01-24 | 2022-05-13 | 中国矿业大学 | 一种基于改进YOLOv4的交通目标检测方法及系统 |
| CN114648714A (zh) * | 2022-01-25 | 2022-06-21 | 湖南中南智能装备有限公司 | 一种基于yolo的车间规范行为的监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于改进 YOLOv5 的无人机实时密集小目标检测算法;奉志强 等;《航空学报》;第1-15页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115272987A (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115272987B (zh) | 一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置 | |
| US10691952B2 (en) | Adapting to appearance variations when tracking a target object in video sequence | |
| Fan et al. | Dual refinement underwater object detection network | |
| CN111767882A (zh) | 一种基于改进yolo模型的多模态行人检测方法 | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN112686207B (zh) | 一种基于区域信息增强的城市街道场景目标检测方法 | |
| CN109492700B (zh) | 一种基于多维信息融合的复杂背景目标识别方法 | |
| CN115631344B (zh) | 一种基于特征自适应聚合的目标检测方法 | |
| US20070223785A1 (en) | Image processor and method | |
| CN112084897A (zh) | 一种gs-ssd的交通大场景车辆目标快速检测方法 | |
| Ajagbe et al. | Performance investigation of two-stage detection techniques using traffic light detection dataset | |
| Liu et al. | Traffic sign recognition algorithm based on improved YOLOv5s | |
| CN112508863B (zh) | 一种基于rgb图像和msr图像双通道的目标检测方法 | |
| US20230070439A1 (en) | Managing occlusion in siamese tracking using structured dropouts | |
| CN111062384A (zh) | 一种基于深度学习的车窗精确定位方法 | |
| CN116309270A (zh) | 一种基于双目图像的输电线路典型缺陷识别方法 | |
| Chan et al. | Raw camera data object detectors: an optimisation for automotive processing and transmission | |
| CN115761667A (zh) | 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法 | |
| Huang | Moving object detection in low-luminance images | |
| He | Vehicle target detection algorithm based on yolov5 | |
| CN114220053B (zh) | 一种基于车辆特征匹配的无人机视频车辆检索方法 | |
| CN117237920A (zh) | 一种基于改进yolop的道路环境感知系统及其算法 | |
| Kavitha et al. | Performance analysis towards GUI-based vehicle detection and tracking using YOLOv3 and SORT algorithm | |
| Liu et al. | Real-time unstructured road detection based on CNN and Gibbs energy function | |
| Gong et al. | A multitask cascaded convolutional neural network based on full frame histogram equalization for vehicle detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20221101 Assignee: Jiangsu Kesheng Xuanyi Technology Co.,Ltd. Assignor: HUAIYIN INSTITUTE OF TECHNOLOGY Contract record no.: X2023980048436 Denomination of invention: A Vehicle Detection Method and Device for Severe Weather Based on MSA-Yolov5 Granted publication date: 20230822 License type: Common License Record date: 20231129 |
|
| EE01 | Entry into force of recordation of patent licensing contract |