CN116704476A - 一种基于改进Yolov4-tiny算法的交通标志检测方法 - Google Patents
一种基于改进Yolov4-tiny算法的交通标志检测方法 Download PDFInfo
- Publication number
- CN116704476A CN116704476A CN202310692934.5A CN202310692934A CN116704476A CN 116704476 A CN116704476 A CN 116704476A CN 202310692934 A CN202310692934 A CN 202310692934A CN 116704476 A CN116704476 A CN 116704476A
- Authority
- CN
- China
- Prior art keywords
- dsc
- traffic sign
- representing
- input
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000012795 verification Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 238000011056 performance test Methods 0.000 claims abstract description 4
- 108091006146 Channels Proteins 0.000 claims description 63
- 238000011176 pooling Methods 0.000 claims description 48
- 238000000746 purification Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000000137 annealing Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005549 size reduction Methods 0.000 claims description 3
- 235000012434 pretzels Nutrition 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000012855 volatile organic compound Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于改进Yolov4‑tiny算法的交通标志检测方法，用于解决复杂场景下交通标志检测效果不佳的技术问题；其步骤为：首先，获取交通标志数据集，并划分为训练集、验证集和测试集；其次，构建改进Yolov4‑tiny算法的卷积神经网络模型；并将训练集和验证集输入改进Yolov4‑tiny算法的卷积神经网络模型中进行训练及验证；最后，将测试集输入至训练后的改进Yolov4‑tiny算法的卷积神经网络模型中进行性能测试，根据评价指标保存性能最好的卷积神经网络检测模型；并利用卷积神经网络检测模型对交通标注图像进行检测。本发明有效提高了交通标志数据集的质量，优化深度学习模型训练效果，且本发明方法对小目标交通标志具有良好的检测效果。
Description
技术领域
本发明涉及智能交通技术领域，特别是指一种基于改进Yolov4-tiny算法的交通标志检测方法。
背景技术
交通标志中蕴含着大量语义信息，即时检测远处的小目标交通标志可为自动驾驶决策系统提供更长反应时间，有效降低交通事故发生率，确保行车安全。因此，可靠即时的交通标志检测技术是当前汽车辅助驾驶系统的关键组成部分，在城市交通领域具有重要研究意义。
交通标志检测易受天气、阴影、光照强度变化等环境因素影响，是一种极具挑战性的小目标检测任务。目前，交通标志检测技术分为传统方法和基于深度学习的方法。首先，由于传统方法主要采用人工设计特征，具有一定的特征提取局限性，因此很难应用于实际交通标志检测任务中。其次，以更多的存储和计算能力开销为代价的基于深度学习的双阶段检测方法也不适用，因为交通标志检测任务通常部署在边缘网络或移动设备中。由于上述两种方法的缺点，基于深度学习的单阶段检测方法是目前比较理想的方法，因为它具有比传统方法更好的检测鲁棒性以及比双阶段检测算法更快的检测速度。但现有单阶段检测方法往往不能很好的兼顾模型轻量化与检测精度和速度，且没有考虑到特征融合过程中干扰信息对于多尺度特征表达的影响性，导致算法在复杂场景下交通标志检测效果不佳。此外，数据的质量对于深度学习算法而言也是至关重要的，它决定了模型在训练过程中对特征学习的好坏。
针对以上背景问题，对交通标志检测的研究需要提高对小目标检测的精度，并且兼具模型的轻量化及实时性。此外，如何合理构建高质量数据集也是所需考虑的关键问题之一。
发明内容
针对上述背景技术中存在的不足，本发明结合交通标志图像的特点，提出了一种基于改进Yolov4-tiny算法的交通标志检测方法，解决了复杂场景下交通标志检测效果不佳的技术问题。
本发明的技术方案是这样实现的：
一种基于改进Yolov4-tiny算法的交通标志检测方法，其步骤如下：
S1、采集不同地点、时间、天气下的交通标志图像，使用Labelimg软件对交通标志图像进行标注，并对标注后的交通标志图像进行预处理，得到交通标志数据集；将交通标志数据集划分为训练集、验证集和测试集；
S2、构建改进Yolov4-tiny算法的卷积神经网络模型：将高效层聚合轻量型模块(E-DSC)作为基础模块构建新的主干网络，将特征提纯复用结构(EERM)替换FPN特征融合结构，在主干网络末端增加轻量级感受野模块(S-RFB)；
S3、将训练集和验证集输入改进Yolov4-tiny算法的卷积神经网络模型中进行训练，选用Adam优化器进行优化，通过余弦退火法调整学习率，通过观察训练过程中改进Yolov4-tiny算法的卷积神经网络模型在验证集上的性能，调整训练超参数值，以进行最优训练；
S4、将测试集输入至训练后的改进Yolov4-tiny算法的卷积神经网络模型中进行性能测试，根据评价指标保存性能最好的卷积神经网络检测模型；并利用卷积神经网络检测模型对交通标注图像进行检测。
优选地，所述对标注后的交通标志图像进行预处理包括相似数据清洗和数据增强；
相似数据清洗的方法为：每次从数据集中读取N张图片，通过多尺度结构相似性(MS-SSIM)方法将第一张图片与其它N-1张图片进行相似度计算，设定相似度阈值，剔除高于所设定阈值的图片，保留低于所设定阈值的图片；其中，MS-SSIM方法的计算公式为：
其中，αM表示亮度相似性的重要性参数，βj表示对比度相似性的重要性参数，γj表示结构相似性的重要性参数；lM(x,y)表示图像x和y的亮度相似性，cj(x,y)表示图像x和y的对比度相似性，sj(x,y)表示图像x和y的结构相似性；其计算公式分别为：
其中，μx表示图像x的均值，μy表示图像y的均值，σx表示图像x的标准差，σy表示图像y的标准差，σxy代表图像x和y协方差；C1、C2和C3分别是由下式给出的常数：
C1＝(K1L)2,C2＝(K2L)2,C3＝C2/2；
其中，L是像素值的动态范围，K1和K2是两个小于1的常数；
数据增强方法具体为：包括图像亮度、饱和度、对比度的随机变换，水平方向和垂直方向的翻转及60°、90°、150°、270°的随机角度旋转，高斯噪声、椒盐噪声的噪声处理；随机使用上述数据增强方法对交通标志图像进行数据增强，将数据增强后的图像与原图像合并，生成交通标志数据集。
优选地，所述改进Yolov4-tiny算法的卷积神经网络模型的结构为：CBL-I、E-DSC-I、E-DSC-II、E-DSC-III、第一最大池化层、E-DSC-IV、第二最大池化层、S-RFB、FFRM-I、FFRM-II、CBL-II、CBL-III、卷积层I、卷积层II；CBL-I的输入为输入图像，CBL-I的输出端与E-DSC-I的输入端相连接，E-DSC-I的输出端与E-DSC-II的输入端相连接，E-DSC-II的输出端分别与E-DSC-III的输入端、FFRM-II的输入端相连接，E-DSC-III的输出端与第一最大池化层的输入端相连接，第一最大池化层的输出端分别与E-DSC-IV的输入端、FFRM-I的输入端相连接，E-DSC-IV的输出端与第二最大池化层的输入端相连接，第二最大池化层的输出端与S-RFB的输入端相连接，S-RFB的输出端与FFRM-I的输入端相连接，FFRM-I的输出端与CBL-II的输入端相连接，CBL-II的输出端与卷积层I的输入端相连接，卷积层I的输出端为第一目标检测层；FFRM-II的输出端与CBL-III的输入端相连接，CBL-III的输出端与卷积层II的输入端相连接，卷积层II的输出端为第二目标检测层。
优选地，所述E-DSC的结构为：DSC-I、DSC-II、DSC-III、DSC-IV、DSC-V；输入特征分别输入DSC-I和DSC-II的输入端，DSC-I的输出端与DSC-III的输入端相连接，DSC-III的输出端与DSC-IV的输入端相连接，DSC-I的输出端、DSC-II的输出端、DSC-III的输出端和DSC-IV的输出端进行融合后输入至DSC-V；其中，DSC-I、DSC-II、DSC-III、DSC-IV、DSC-V的结构均为：深度卷积层→BN→ReLU6→点卷积层→BN→ReLU6；
CBL-I、CBL-II、CBL-III的结构均为：Conv→BN→LeakyReLU。
优选地，所述FFRM的结构包括：语义信息提纯模块、双线性插值上采样和纹理信息提纯模块；首先由高层特征图M2经过语义信息提纯模块提取语义特征，然后通过双线性插值上采样操作与低层特征图M1进行拼接得到融合特征图M3；利用纹理信息提纯模块过滤融合特征图M3中的干扰信息后，使用相加操作输出特征图M′；表达式如下：
式中：RC代表语义信息提纯模块；RT代表纹理信息提纯模块；代表拼接操作；/>代表相加操作；↑2×代表双线性插值上采样。
优选地，所述语义信息提纯模块和纹理信息提纯模块的结构均是基于Mobilenetv2中的反瓶颈残差结构，融合高效坐标注意力(ECA)机制；
ECA机制的结构为：对于输入特征图X∈RC×H×W，分别使用大小为(H,1)和(1,W)的全局平均池化核Avg和全局最大池化核Max沿水平、垂直坐标方向对每个通道进行编码，将水平和垂直方向的输入特征分别聚合为四个独立的方向感知特征图；其中，高度为h的第c通道全局平均池化和全局最大池化输出分别表示为：
式中：xc(h,i)表示输入特征图X中坐标为(h,i)、通道为c的分量；表示经全局平均池化核后高度为h的第c通道输出分量，/>表示经全局最大池化核后高度为h的第c通道输出分量；
同理，宽度为w的第c通道全局平均池化和全局最大池化的输出结果分别表示为：
式中：xc(j,w)表示输入特征图X中坐标为(j,w)、通道为c的分量；表示经全局平均池化核后宽度为w的第c通道输出分量，/>表示经全局最大池化核后宽度为w的第c通道输出分量；
分别将输出分量和/>和/>通过元素相加合并，表示如下：
其中，表示经过元素相加后高度为h的第c通道输出分量，/>表示经过元素相加后宽度为w的第c通道输出分量；
将两个输出分量和/>在空间维度上进行拼接，生成特征图Z∈RC×1×(W+H)，将特征图Z沿通道方向划分为G组，即Z＝[Z1,...,ZG]，ZK∈RC×1×(W+H)/G，K＝1,2,…,G；对每组特征图通过共享的1×1卷积变换函数F进行降维，表述为：
f＝δ(F(ZK))；
式中：δ表示H-swish激活函数；f∈RC×1×(W+H)/G×r为第g组中间映射特征图，其中r为控制模块尺寸缩小的比例；
得到中间映射特征图后，通过通道混洗操作将不同组特征图的通道顺序进行打乱重排；以第g组中间映射特征图为例，沿空间维度通过Split操作将其分为两个单独的特征张量，分别为fh∈RC×H×1/r和fw∈RC×1×W/r；使用两个1×1卷积升维变换函数Fh和Fw分别将两个张量的通道数与输入特征图通道数保持一致，具体表述为：
ph＝σ(Fh(fh))；
pw＝σ(Fw(fw))；
式中：σ表示Sigmoid激活函数；
将两个输出张量分别作为注意力特征，通过广播机制进行拓展，与输入特征图X相乘以赋予注意力权重，得到最终的输出特征图Y；表达式为：
其中，yc(i,j)表示输出特征图Y中坐标为(i,j)的第c通道的输出分量；xc(i,j)表示输入特征图X中坐标为(i,j)的第c通道的输出分量；表示宽度为h的第c通道的注意力特征权重，/>表示表示宽度为w的第c通道的注意力特征权重。
优选地，所述S-RFB的结构为：首先使用卷积率分别为1、3、5的空洞卷积分别对大小为(C,H,W)的输入特征进行特征提取，获得三种不同大小的感受野特征图；然后使用大小为1×1、个数为C/4的卷积核对大小为(C,H,W)的输入特征进行连接，得到中间特征图；最后，使用拼接操作将感受野特征图和中间特征图进行融合，聚合网络上下文信息。
优选地，所述训练超参数包括Batch size、Epoch、学习率、最低学习率和动量。
优选地，所述评价指标选用精确率P、召回率R、平均精度mAP、FPS和模型参数量Params；其中，精确率用来衡量算法对目标的分类能力，召回率用来衡量算法对目标的检测能力，mAP用以综合评判算法检测性能；精确率、召回率和平均精度计算公式如下：
式中：TP表示检测为正样本且结果正确；FP表示检测为正样本且结果错误；FN表示检测为负样本且结果错误；C表示目标类别数；
FPS表示网络每秒检测图片的帧数，用来评估模型检测实时性；模型参数量是指模型训练中需要训练的参数总数，计算公式如下：
params＝Kh×Kw×Cin×Cout；
式中：Kh和Kw分别表示卷积核长和宽的大小，Cin和Cout分别表示卷积核输入和输出通道数。
与现有技术相比，本发明产生的有益效果为：
1)通过使用MS-SSIM方法和数据增强方法对所制作的数据集进行处理，相比于现有技术来说，可以有效防止卷积神经网络模型在训练过程中对某些场景出现过拟合现象，并有效提高模型鲁棒性和泛化能力。
2)对原来的CSP-Darknet53-tiny主干网络进行重新设计和替换，通过一种融合深度可分离卷积的高效层聚合轻量型模块，合理设计梯度路径，在使用较少过渡层的情况下使整个网络的最短梯度路径快速变长，通过将不同特征层的权值进行拼接组合使网络学习到更多样化的特征，有效提升主干网络特征提取能力。
3)构建基于高效坐标注意力机制的特征提纯复用结构，将原来的FPN特征融合结构进行替换，可以有效解决不同尺度的特征图在通过上采样操作融合后，出现由于自身语义信息差异及干扰信息使多尺度特征不能准确表达的问题，并能够从图像复杂背景中辨识目标关键特征，抑制无用特征信息表达。
4)在主干网络末端增加本轻量级感受野模块，解决YOLOv4-tiny网络感受野单一固定问题，在主干网络中引入上下文信息，提高模型检测准确度。
5)分别使用下采样倍数为4和8的特征图作为预测头，相比于原算法，可以充分利用具有更多细节信息的底层特征图，增强对小目标检测识别能力。
6)本发明可以有效提高所制作交通标志数据集的质量，优化深度学习模型训练效果，且本发明所提出的改进Yolov4-tiny算法对小目标交通标志具有良好的检测效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为本发明改进的Yolov4-tiny网络结构图。
图3为本发明的特征提纯复用结构示意图。
图4为本发明的ECA机制结构图。
图5为本发明的轻量级感受野模块结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例采用长沙理工大学制作的交通标志数据集(CSUST Chinese TrafficSign Detection Benchmark，简称CCTSDB)作为本发明中训练时所使用的数据集，以证明本发明所提方法的优越性。该数据集将交通标志分为指示，禁止和警告三类，共有13826张图像，包含交通标志近60000个。
如图1所示，本发明实施例提供了一种基于改进Yolov4-tiny算法的交通标志检测方法，具体步骤如下：
S1、使用相机以25FPS、1024×1024分辨率采集不同地点、时间、天气下的交通标志图像，使用Labelimg软件对采集到的交通标志图像以VOC格式将不同类型的交通标志进行标注，建立初步交通标志数据集；对初步交通标志数据集进行相似数据清洗和数据增强，得到经过数据增强后的低相似度交通标志数据集。
对初步交通标志数据集进行相似数据清洗，使用多尺度结构相似性(Multi-ScaleStructural Similarity，MS-SSIM)方法对初步交通标志数据集进行图像相似度检测。MS-SSIM方法是一种基于多尺度的结构相似性指数，可以测量两个图像之间的相似度。它通过以迭代的形式将图像进行低通滤波和降采样，在各个尺度上分别对两个图像的对比度和结构进行计算，并在最终尺度上对两个图像的亮度进行计算，以此得到符合人眼主观视觉的图像相似度指标。
相似数据清洗的方法为：每次从数据集中读取10张图片，通过MS-SSIM方法将第一张图片与其它9张图片进行相似度计算，设定相似度阈值，剔除高于所设定阈值的图片，保留低于所设定阈值的图片；其中，MS-SSIM方法的计算公式为：
其中，αM表示亮度相似性的重要性参数，βj表示对比度相似性的重要性参数，γj表示结构相似性的重要性参数；M取5，αM＝βj＝γj，取1。lM(x,y)表示图像x和y的亮度相似性，cj(x,y)表示图像x和y的对比度相似性，sj(x,y)表示图像x和y的结构相似性；其计算公式分别为：
其中，μx表示图像x的均值，μy表示图像y的均值，σx表示图像x的标准差，σy表示图像y的标准差，σxy代表图像x和y协方差；C1、C2和C3分别是由下式给出的常数：
C1＝(K1L)2,C2＝(K2L)2,C3＝C2/2；
其中，L是像素值的动态范围(对于8位/像素灰度图像，L＝255)，K1和K2是两个小于1的常数。在本实例中，取K1为0.01，K2为0.03，L为255。
根据以上公式计算两张图片之间的相似度，每次从数据集中读取10张图片，设定MS-SSIM相似度阈值为0.7，将第一张图片与其它九张图片通过MS-SSIM方法进行相似度计算，剔除高于所设定MS-SSIM相似度阈值的图片，保留低于所设定MS-SSIM相似度阈值的图片，得到低相似度场景下的MS-SSIM交通标志数据集，使模型可以学习到更多样化的特征，防止对特定场景出现过拟合现象。
随机使用亮度变换、角度旋转、加入噪声的方式对交通标志数据集中每个图片进行数据增强；其中亮度变换包括图像亮度、饱和度、对比度的随机变换，角度旋转包括水平方向和垂直方向的翻转及60°、90°、150°、270°的随机角度旋转，加入噪声包括高斯噪声、椒盐噪声。随机使用一种以上方法对交通标志图像进行数据增强，将数据增强后的图像与原图像合并，生成交通标志数据集。
将数据集按照8:1:1的比例来划分训练集、验证集和测试集，用于模型训练。
S2、构建改进Yolov4-tiny算法的卷积神经网络模型：首先，提出一种融合深度可分离卷积(Depthwise Separable Convolution，DSC)的高效层聚合轻量型模块(ELAN-Depthwise Separable Convolution，E-DSC)，作为基础模块来构建新的主干网络，提高主干网络提取特征的能力；轻量型E-DSC模块是借鉴高效层聚合网络(Efficient LayerAggregation Networks,ELAN)结构中的梯度路径，优化计算模块堆叠情况，并融合深度可分离卷积得到的；该模块相比于CSP结构能够通过更优组合的梯度路径进一步提升模型的学习能力，且通过组合点卷积和深度卷积可以在减少参数量同时保证一定特征信息提取能力。改进后的主干网络结构参数如表1所示。其次，构建一种基于高效坐标注意力机制的特征提纯复用结构(Feature Fusion and Refine Module,FFRM)，将原来的FPN特征融合结构进行替换，通过对多尺度特征进行提纯和融合复用处理，增强特征的表达能力。然后，在主干网络末端增加本发明构建的轻量级感受野模块(Small-Receptive Field Block,S-RFB)，引入上下文信息，解决网络感受野单一固定问题；最后，设定输入网络中的图像大小为608×608，即增加76×76特征检测层，取消19×19特征检测层，使用38×38和76×76特征层作为目标检测层，充分利用具有更多细节信息的底层特征图。
表1改进后的主干网络结构参数
如图2所示，改进Yolov4-tiny算法的卷积神经网络模型的结构为：CBL-I、E-DSC-I、E-DSC-II、E-DSC-III、第一最大池化层、E-DSC-IV、第二最大池化层、S-RFB、FFRM-I、FFRM-II、CBL-II、CBL-III、卷积层I、卷积层II；CBL-I的输入为输入图像，CBL-I的输出端与E-DSC-I的输入端相连接，E-DSC-I的输出端与E-DSC-II的输入端相连接，E-DSC-II的输出端分别与E-DSC-III的输入端、FFRM-II的输入端相连接，E-DSC-III的输出端与第一最大池化层的输入端相连接，第一最大池化层的输出端分别与E-DSC-IV的输入端、FFRM-I的输入端相连接，E-DSC-IV的输出端与第二最大池化层的输入端相连接，第二最大池化层的输出端与S-RFB的输入端相连接，S-RFB的输出端与FFRM-I的输入端相连接，FFRM-I的输出端与CBL-II的输入端相连接，CBL-II的输出端与卷积层I的输入端相连接，卷积层I的输出端为第一目标检测层；FFRM-II的输出端与CBL-III的输入端相连接，CBL-III的输出端与卷积层II的输入端相连接，卷积层II的输出端为第二目标检测层。
其中，E-DSC的结构为：DSC-I、DSC-II、DSC-III、DSC-IV、DSC-V；输入特征分别输入DSC-I和DSC-II的输入端，DSC-I的输出端与DSC-III的输入端相连接，DSC-III的输出端与DSC-IV的输入端相连接，DSC-I的输出端、DSC-II的输出端、DSC-III的输出端和DSC-IV的输出端进行融合后输入至DSC-V；其中，DSC-I、DSC-II、DSC-III、DSC-IV、DSC-V的结构均为：深度卷积层→BN→ReLU6→点卷积层→BN→ReLU6；CBL-I、CBL-II、CBL-III的结构均为：Conv→BN→LeakyReLU。
如图3所示，FFRM是基于Mobilenetv2中的反瓶颈残差结构，融合所提出的ECA机制，分别构成语义信息提纯模块和纹理信息提纯模块。特征提纯复用结构输入包括底层特征图M1和高层特征图M2，首先由高层特征图M2经过语义信息提纯模块提取语义特征，然后通过双线性插值上采样操作与低层特征图M1进行拼接得到融合特征图M3；利用纹理信息提纯模块过滤融合特征图M3中的干扰信息后，使用相加操作输出特征图M′。输出特征图M′表示为：
式中：RC代表语义信息提纯模块；RT代表纹理信息提纯模块；代表拼接操作；/>代表相加操作；↑2×代表双线性插值上采样。
如图4所示，ECA机制的结构为：对于输入特征图X∈RC×H×W，分别使用大小为(H,1)和(1,W)的全局平均池化核Avg和全局最大池化核Max沿水平、垂直坐标方向对每个通道进行编码，将水平和垂直方向的输入特征分别聚合为四个独立的方向感知特征图；其中，高度为h的第c通道全局平均池化和全局最大池化输出分别表示为：
式中：xc(h,i)表示输入特征图X中坐标为(h,i)、通道为c的分量；表示经全局平均池化核后高度为h的第c通道输出分量，/>表示经全局最大池化核后高度为h的第c通道输出分量。
同理，宽度为w的第c通道全局平均池化和全局最大池化的输出结果分别表示为：
式中：xc(j,w)表示输入特征图X中坐标为(j,w)、通道为c的分量；表示经全局平均池化核后宽度为w的第c通道输出分量，/>表示经全局最大池化核后宽度为w的第c通道输出分量。
分别将输出分量和/>和/>通过元素相加合并，表示如下：
其中，表示经过元素相加后高度为h的第c通道输出分量，/>表示经过元素相加后宽度为w的第c通道输出分量。
将两个输出分量和/>在空间维度上进行拼接，生成特征图Z∈RC×1×(W+H)，将特征图Z沿通道方向划分为G组，即Z＝[Z1,...,ZG]，ZK∈RC×1×(W+H)/G，K＝1,2,…,G；对每组特征图通过共享的1×1卷积变换函数F进行降维，表述为：
f＝δ(F(ZK))；
式中：δ表示H-swish激活函数；f∈RC×1×(W+H)/G×r为第g组中间映射特征图，其中r为控制模块尺寸缩小的比例。
得到中间映射特征图后，通过通道混洗操作将不同组特征图的通道顺序进行打乱重排；以第g组中间映射特征图为例，沿空间维度通过Split操作将其分为两个单独的特征张量，分别为fh∈RC×H×1/r和fw∈RC×1×W/r；使用两个1×1卷积升维变换函数Fh和Fw分别将两个张量的通道数与输入特征图通道数保持一致，具体表述为：
ph＝σ(Fh(fh))；
pw＝σ(Fw(fw))；
式中：σ表示Sigmoid激活函数。
将两个输出张量分别作为注意力特征，通过广播机制进行拓展，与输入特征图X相乘以赋予注意力权重，得到最终的输出特征图Y；表达式为：
其中，yc(i,j)表示输出特征图Y中坐标为(i,j)的第c通道的输出分量；xc(i,j)表示输入特征图X中坐标为(i,j)的第c通道的输出分量；表示宽度为h的第c通道的注意力特征权重，/>表示表示宽度为w的第c通道的注意力特征权重。
如图5所示，S-RFB的结构为：首先使用卷积率分别为1、3、5的空洞卷积分别对大小为(C,H,W)的输入特征进行特征提取，获得三种不同大小的感受野特征图；然后使用大小为1×1、个数为C/4的卷积核对大小为(C,H,W)的输入特征进行连接，与输出端形成等价映射，得到中间特征图；最后，使用拼接操作将感受野特征图和中间特征图进行融合，聚合网络上下文信息，进一步提升网络对小目标的检测能力。
S3、将训练集和验证集输入改进Yolov4-tiny算法的卷积神经网络模型中进行训练，选用Adam优化器进行优化，通过余弦退火法调整学习率，通过观察训练过程中改进Yolov4-tiny算法的卷积神经网络模型在验证集上的性能，调整训练超参数值，以进行最优训练。所述训练超参数包括Batch size、Epoch、学习率、最低学习率和动量。在本实施例中选择CCTSDB作为本发明中训练时所使用的数据集，以证明本发明所提方法的优越性。其中，在该数据集上训练时，模型超参数值的设置如表2所示。
表2模型训练过程中超参数值的设置
S4、将测试集输入至训练后的改进Yolov4-tiny算法的卷积神经网络模型中进行性能测试，根据评价指标保存性能最好的卷积神经网络检测模型；并利用卷积神经网络检测模型对交通标注图像进行检测。
评价指标选用精确率P、召回率R、平均精度mAP、FPS和模型参数量Params；其中，精确率用来衡量算法对目标的分类能力，召回率用来衡量算法对目标的检测能力，mAP用以综合评判算法检测性能；精确率、召回率和平均精度计算公式如下：
式中：TP表示检测为正样本且结果正确；FP表示检测为正样本且结果错误；FN表示检测为负样本且结果错误；C表示目标类别数。
FPS表示网络每秒检测图片的帧数，用来评估模型检测实时性；模型参数量是指模型训练中需要训练的参数总数，计算公式如下：
params＝Kh×Kw×Cin×Cout；
式中：Kh和Kw分别表示卷积核长和宽的大小，Cin和Cout分别表示卷积核输入和输出通道数。
其中，本发明所提方法在CCTSDB数据集的测试集结果与其它先进算法结果对比如表3所示。
表3CCTSDB数据集上不同算法的性能对比
从表3中可以看出，本发明所提算法在精度和模型参数量指标上优于其它先进的双阶段算法和单阶段算法。与双阶段算法Faster R-CNN、单阶段有锚框算法SSD和无锚框算法Centernet相比，本发明方法在mAP指标上分别具有11.46％、19.28％和5.06％的优势。与原算法相比，本发明方法在牺牲少量检测速度同时将mAP指标提升3.76％，并有效降低模型参数量21％，有效证明本发明方法可以同时兼顾模型的参数量、检测精度和速度，对交通标志的具有良好的检测效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于改进Yolov4-tiny算法的交通标志检测方法，其特征在于，其步骤如下：
S1、采集不同地点、时间、天气下的交通标志图像，使用Labelimg软件对交通标志图像进行标注，并对标注后的交通标志图像进行预处理，得到交通标志数据集；将交通标志数据集划分为训练集、验证集和测试集；
S2、构建改进Yolov4-tiny算法的卷积神经网络模型：将高效层聚合轻量型模块(E-DSC)作为基础模块构建新的主干网络，将特征提纯复用结构(EERM)替换FPN特征融合结构，在主干网络末端增加轻量级感受野模块(S-RFB)；
S3、将训练集和验证集输入改进Yolov4-tiny算法的卷积神经网络模型中进行训练，选用Adam优化器进行优化，通过余弦退火法调整学习率，通过观察训练过程中改进Yolov4-tiny算法的卷积神经网络模型在验证集上的性能，调整训练超参数值，以进行最优训练；
S4、将测试集输入至训练后的改进Yolov4-tiny算法的卷积神经网络模型中进行性能测试，根据评价指标保存性能最好的卷积神经网络检测模型；并利用卷积神经网络检测模型对交通标注图像进行检测。
2.根据权利要求1所述的基于改进Yolov4-tiny算法的交通标志检测方法，其特征在于，所述对标注后的交通标志图像进行预处理包括相似数据清洗和数据增强；
相似数据清洗的方法为：每次从数据集中读取N张图片，通过多尺度结构相似性(MS-SSIM)方法将第一张图片与其它N-1张图片进行相似度计算，设定相似度阈值，剔除高于所设定阈值的图片，保留低于所设定阈值的图片；其中，MS-SSIM方法的计算公式为：
其中，αM表示亮度相似性的重要性参数，βj表示对比度相似性的重要性参数，γj表示结构相似性的重要性参数；lM(x,y)表示图像x和y的亮度相似性，cj(x,y)表示图像x和y的对比度相似性，sj(x,y)表示图像x和y的结构相似性；其计算公式分别为：
其中，μx表示图像x的均值，μy表示图像y的均值，σx表示图像x的标准差，σy表示图像y的标准差，σxy代表图像x和y协方差；C1、C2和C3分别是由下式给出的常数：
C1＝(K1L)2,C2＝(K2L)2,C3＝C2/2；
其中，L是像素值的动态范围，K1和K2是两个小于1的常数；
数据增强方法具体为：包括图像亮度、饱和度、对比度的随机变换，水平方向和垂直方向的翻转及60°、90°、150°、270°的随机角度旋转，高斯噪声、椒盐噪声的噪声处理；随机使用上述数据增强方法对交通标志图像进行数据增强，将数据增强后的图像与原图像合并，生成交通标志数据集。
3.根据权利要求1所述的基于改进Yolov4-tiny算法的交通标志检测方法，其特征在于，所述改进Yolov4-tiny算法的卷积神经网络模型的结构为：CBL-I、E-DSC-I、E-DSC-II、E-DSC-III、第一最大池化层、E-DSC-IV、第二最大池化层、S-RFB、FFRM-I、FFRM-II、CBL-II、CBL-III、卷积层I、卷积层II；CBL-I的输入为输入图像，CBL-I的输出端与E-DSC-I的输入端相连接，E-DSC-I的输出端与E-DSC-II的输入端相连接，E-DSC-II的输出端分别与E-DSC-III的输入端、FFRM-II的输入端相连接，E-DSC-III的输出端与第一最大池化层的输入端相连接，第一最大池化层的输出端分别与E-DSC-IV的输入端、FFRM-I的输入端相连接，E-DSC-IV的输出端与第二最大池化层的输入端相连接，第二最大池化层的输出端与S-RFB的输入端相连接，S-RFB的输出端与FFRM-I的输入端相连接，FFRM-I的输出端与CBL-II的输入端相连接，CBL-II的输出端与卷积层I的输入端相连接，卷积层I的输出端为第一目标检测层；FFRM-II的输出端与CBL-III的输入端相连接，CBL-III的输出端与卷积层II的输入端相连接，卷积层II的输出端为第二目标检测层。
4.根据权利要求3所述的基于改进Yolov4-tiny算法的交通标志检测方法，其特征在于，所述E-DSC的结构为：DSC-I、DSC-II、DSC-III、DSC-IV、DSC-V；输入特征分别输入DSC-I和DSC-II的输入端，DSC-I的输出端与DSC-III的输入端相连接，DSC-III的输出端与DSC-IV的输入端相连接，DSC-I的输出端、DSC-II的输出端、DSC-III的输出端和DSC-IV的输出端进行融合后输入至DSC-V；其中，DSC-I、DSC-II、DSC-III、DSC-IV、DSC-V的结构均为：深度卷积层→BN→ReLU6→点卷积层→BN→ReLU6；
CBL-I、CBL-II、CBL-III的结构均为：Conv→BN→LeakyReLU。
5.根据权利要求3所述的基于改进Yolov4-tiny算法的交通标志检测方法，其特征在于，所述FFRM的结构包括：语义信息提纯模块、双线性插值上采样和纹理信息提纯模块；首先由高层特征图M2经过语义信息提纯模块提取语义特征，然后通过双线性插值上采样操作与低层特征图M1进行拼接得到融合特征图M3；利用纹理信息提纯模块过滤融合特征图M3中的干扰信息后，使用相加操作输出特征图M′；表达式如下：
式中：RC代表语义信息提纯模块；RT代表纹理信息提纯模块；代表拼接操作；/>代表相加操作；↑2×代表双线性插值上采样。
6.根据权利要求5所述的基于改进Yolov4-tiny算法的交通标志检测方法，其特征在于，所述语义信息提纯模块和纹理信息提纯模块的结构均是基于Mobilenetv2中的反瓶颈残差结构，融合高效坐标注意力(ECA)机制；
ECA机制的结构为：对于输入特征图X∈RC×H×W，分别使用大小为(H,1)和(1,W)的全局平均池化核Avg和全局最大池化核Max沿水平、垂直坐标方向对每个通道进行编码，将水平和垂直方向的输入特征分别聚合为四个独立的方向感知特征图；其中，高度为h的第c通道全局平均池化和全局最大池化输出分别表示为：
式中：xc(h,i)表示输入特征图X中坐标为(h,i)、通道为c的分量；表示经全局平均池化核后高度为h的第c通道输出分量，/>表示经全局最大池化核后高度为h的第c通道输出分量；
同理，宽度为w的第c通道全局平均池化和全局最大池化的输出结果分别表示为：
式中：xc(j,w)表示输入特征图X中坐标为(j,w)、通道为c的分量；表示经全局平均池化核后宽度为w的第c通道输出分量，/>表示经全局最大池化核后宽度为w的第c通道输出分量；
分别将输出分量和/>和/>通过元素相加合并，表示如下：
其中，表示经过元素相加后高度为h的第c通道输出分量，/>表示经过元素相加后宽度为w的第c通道输出分量；
将两个输出分量和/>在空间维度上进行拼接，生成特征图Z∈RC×1×(W+H)，将特征图Z沿通道方向划分为G组，即Z＝[Z1,...,ZG]，ZK∈RC×1×(W+H)/G，K＝1,2,…,G；对每组特征图通过共享的1×1卷积变换函数F进行降维，表述为：
f＝δ(F(ZK))；
式中：δ表示H-swish激活函数；f∈RC×1×(W+H)/G×r为第g组中间映射特征图，其中r为控制模块尺寸缩小的比例；
得到中间映射特征图后，通过通道混洗操作将不同组特征图的通道顺序进行打乱重排；以第g组中间映射特征图为例，沿空间维度通过Split操作将其分为两个单独的特征张量，分别为fh∈RC×H×1/r和fw∈RC×1×W/r；使用两个1×1卷积升维变换函数Fh和Fw分别将两个张量的通道数与输入特征图通道数保持一致，具体表述为：
ph＝σ(Fh(fh))；
pw＝σ(Fw(fw))；
式中：σ表示Sigmoid激活函数；
将两个输出张量分别作为注意力特征，通过广播机制进行拓展，与输入特征图X相乘以赋予注意力权重，得到最终的输出特征图Y；表达式为：
其中，yc(i,j)表示输出特征图Y中坐标为(i,j)的第c通道的输出分量；xc(i,j)表示输入特征图X中坐标为(i,j)的第c通道的输出分量；表示宽度为h的第c通道的注意力特征权重，/>表示表示宽度为w的第c通道的注意力特征权重。
7.根据权利要求3所述的基于改进Yolov4-tiny算法的交通标志检测方法，其特征在于，所述S-RFB的结构为：首先使用卷积率分别为1、3、5的空洞卷积分别对大小为(C,H,W)的输入特征进行特征提取，获得三种不同大小的感受野特征图；然后使用大小为1×1、个数为C/4的卷积核对大小为(C,H,W)的输入特征进行连接，得到中间特征图；最后，使用拼接操作将感受野特征图和中间特征图进行融合，聚合网络上下文信息。
8.根据权利要求1所述的基于改进Yolov4-tiny算法的交通标志检测方法，其特征在于，所述训练超参数包括Batch size、Epoch、学习率、最低学习率和动量。
9.根据权利要求1所述的基于改进Yolov4-tiny算法的交通标志检测方法，其特征在于，所述评价指标选用精确率P、召回率R、平均精度mAP、FPS和模型参数量Params；其中，精确率用来衡量算法对目标的分类能力，召回率用来衡量算法对目标的检测能力，mAP用以综合评判算法检测性能；精确率、召回率和平均精度计算公式如下：
式中：TP表示检测为正样本且结果正确；FP表示检测为正样本且结果错误；FN表示检测为负样本且结果错误；C表示目标类别数；
FPS表示网络每秒检测图片的帧数，用来评估模型检测实时性；模型参数量是指模型训练中需要训练的参数总数，计算公式如下：
params＝Kh×Kw×Cin×Cout；
式中：Kh和Kw分别表示卷积核长和宽的大小，Cin和Cout分别表示卷积核输入和输出通道数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310692934.5A CN116704476B (zh) | 2023-06-12 | 一种基于改进Yolov4-tiny算法的交通标志检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310692934.5A CN116704476B (zh) | 2023-06-12 | 一种基于改进Yolov4-tiny算法的交通标志检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116704476A true CN116704476A (zh) | 2023-09-05 |
| CN116704476B CN116704476B (zh) | 2024-06-04 |
Family
ID=
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218606A (zh) * | 2023-11-09 | 2023-12-12 | 四川泓宝润业工程技术有限公司 | 一种逃生门检测方法、装置、存储介质及电子设备 |
| CN117893990A (zh) * | 2024-03-18 | 2024-04-16 | 中国第一汽车股份有限公司 | 道路标志检测方法、装置和计算机设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111199217A (zh) * | 2020-01-09 | 2020-05-26 | 上海应用技术大学 | 一种基于卷积神经网络的交通标志识别方法和系统 |
| CN112464910A (zh) * | 2020-12-18 | 2021-03-09 | 杭州电子科技大学 | 一种基于YOLO v4-tiny的交通标志识别方法 |
| CN113762209A (zh) * | 2021-09-22 | 2021-12-07 | 重庆邮电大学 | 一种基于yolo的多尺度并行特征融合路标检测方法 |
| CN114724155A (zh) * | 2022-04-19 | 2022-07-08 | 湖北工业大学 | 基于深度卷积神经网络的场景文本检测方法、系统及设备 |
| CN115273017A (zh) * | 2022-04-29 | 2022-11-01 | 桂林电子科技大学 | 基于Yolov5交通标志检测识别模型训练方法及系统 |
| CN115908255A (zh) * | 2022-10-18 | 2023-04-04 | 贵州大学 | 面向目标检测的改进轻量型YOLOX-nano模型及检测方法 |
| CN115984172A (zh) * | 2022-11-29 | 2023-04-18 | 上海师范大学 | 一种基于增强特征提取的小目标检测方法 |
| KR20230053347A (ko) * | 2021-10-14 | 2023-04-21 | 한양대학교 산학협력단 | 좌표 정보를 이용한 객체 검출 네트워크 기법 |
| US20230334872A1 (en) * | 2021-03-29 | 2023-10-19 | Quanzhou equipment manufacturing research institute | Traffic sign recognition method based on lightweight neural network |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111199217A (zh) * | 2020-01-09 | 2020-05-26 | 上海应用技术大学 | 一种基于卷积神经网络的交通标志识别方法和系统 |
| CN112464910A (zh) * | 2020-12-18 | 2021-03-09 | 杭州电子科技大学 | 一种基于YOLO v4-tiny的交通标志识别方法 |
| US20230334872A1 (en) * | 2021-03-29 | 2023-10-19 | Quanzhou equipment manufacturing research institute | Traffic sign recognition method based on lightweight neural network |
| CN113762209A (zh) * | 2021-09-22 | 2021-12-07 | 重庆邮电大学 | 一种基于yolo的多尺度并行特征融合路标检测方法 |
| KR20230053347A (ko) * | 2021-10-14 | 2023-04-21 | 한양대학교 산학협력단 | 좌표 정보를 이용한 객체 검출 네트워크 기법 |
| CN114724155A (zh) * | 2022-04-19 | 2022-07-08 | 湖北工业大学 | 基于深度卷积神经网络的场景文本检测方法、系统及设备 |
| CN115273017A (zh) * | 2022-04-29 | 2022-11-01 | 桂林电子科技大学 | 基于Yolov5交通标志检测识别模型训练方法及系统 |
| CN115908255A (zh) * | 2022-10-18 | 2023-04-04 | 贵州大学 | 面向目标检测的改进轻量型YOLOX-nano模型及检测方法 |
| CN115984172A (zh) * | 2022-11-29 | 2023-04-18 | 上海师范大学 | 一种基于增强特征提取的小目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 美式半糖不加奶: "结构相似性(SSIM)原理及其实现", CSDN, 30 May 2020 (2020-05-30), pages 1 - 3 * |
| 肖艳秋: "State of Health Estimation Based on the Long Short-Term Memory Network Using Incremental Capacity and Transfer Learning", SENSORS 2022, vol. 22, no. 20, 31 October 2022 (2022-10-31), pages 1 - 17 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218606A (zh) * | 2023-11-09 | 2023-12-12 | 四川泓宝润业工程技术有限公司 | 一种逃生门检测方法、装置、存储介质及电子设备 |
| CN117218606B (zh) * | 2023-11-09 | 2024-02-02 | 四川泓宝润业工程技术有限公司 | 一种逃生门检测方法、装置、存储介质及电子设备 |
| CN117893990A (zh) * | 2024-03-18 | 2024-04-16 | 中国第一汽车股份有限公司 | 道路标志检测方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN107967695B (zh) | 一种基于深度光流和形态学方法的运动目标检测方法 | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
| CN110046550B (zh) | 基于多层特征学习的行人属性识别系统及方法 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN114972976B (zh) | 基于频域自注意力机制的夜间目标检测、训练方法及装置 | |
| CN109711379B (zh) | 一种复杂环境交通信号灯候选区域提取及识别方法 | |
| CN117409190B (zh) | 一种实时红外图像目标检测方法、装置、设备及存储介质 | |
| CN111832461A (zh) | 一种基于视频流的非机动车骑行人员头盔佩戴检测方法 | |
| CN111008608B (zh) | 一种基于深度学习的夜间车辆检测方法 | |
| CN111488827A (zh) | 一种基于多尺度特征信息的人群计数方法及系统 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| WO2024051296A1 (zh) | 一种复杂天气下障碍物检测方法及装置 | |
| CN113724286A (zh) | 显著性目标的检测方法、检测设备及计算机可读存储介质 | |
| CN112766056A (zh) | 一种基于深度神经网络的弱光环境车道线检测方法、装置 | |
| CN116596792A (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN114821434A (zh) | 一种基于光流约束的时空增强视频异常检测方法 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| CN111178370B (zh) | 车辆检索方法及相关装置 | |
| CN110503049B (zh) | 基于生成对抗网络的卫星视频车辆数目估计方法 | |
| CN116704476B (zh) | 一种基于改进Yolov4-tiny算法的交通标志检测方法 | |
| CN117576149A (zh) | 一种基于注意力机制的单目标跟踪方法 | |
| CN116704476A (zh) | 一种基于改进Yolov4-tiny算法的交通标志检测方法 | |
| CN115861948A (zh) | 车道线检测方法、设备及预警方法、系统、介质 | |
| CN116363629A (zh) | 一种基于改进YOLOv5的交通标志检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |