CN114120280A - 一种基于小目标特征增强的交通标志检测方法 - Google Patents
一种基于小目标特征增强的交通标志检测方法 Download PDFInfo
- Publication number
- CN114120280A CN114120280A CN202111428028.1A CN202111428028A CN114120280A CN 114120280 A CN114120280 A CN 114120280A CN 202111428028 A CN202111428028 A CN 202111428028A CN 114120280 A CN114120280 A CN 114120280A
- Authority
- CN
- China
- Prior art keywords
- traffic sign
- target
- data set
- box
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于小目标特征增强的交通标志检测方法,主要包括以下步骤:构建交通标志数据集并进行数据增强;针对数据集中检测目标尺寸小,使用K‑means++聚类算法得到先验框并且使用非线性的聚类距离;根据数据集中显现的小目标居多的问题针对性的对网络结构进行优化;根据数据正负样本失衡严重的问题针对性的优化算法的损失函数,实现对目标的动态加权。本发明是在城市街景场景中实现交通标志检测,通过对算法的网络结构以及损失函数等改进,增强目标的细粒度特征等,可实现小目标检测召回与精度的提升,此方法对小尺寸居多的交通标志检测有较高的准确率。
Description
技术领域
本发明涉及目标检测技术领域,尤其涉及一种基于小目标特征增强的交通标志检测方法。
背景技术
随着人工智能技术的快速发展,智能驾驶行业也发展迅速,特别是深度学习的发展使得车辆在感知、定位等方面取得了巨大的成功。
交通标志包含重要的道路交通信息,属于车辆环境感知的重要一部分,交通标志的检测准确率是算法可以实际部署到车辆上一个重要的衡量指标。
在现有的检测方法中,重要分为两类。第一类是以Faster-Rcnn为代表的two-stage检测算法,该类算法将整个检测过程分为两部分,第一步是训练RPN网络,第二步是训练目标区域检测的网络。第二类是以SSD和Yolo为代表的one-stage检测算法,该类检测算法直接通过主干网络给出类别和位置信息。two-stage算法虽然精度相较与one-stage算法高,但其速度达不到实时性的要求,而Yolov5作为Yolo系列的最新版本,在检测速度和精度上都有很好的表现,但由于交通标志数据集中小目标居多且正负样本失衡严重,造成Yolov5在交通标志数据集TT100K上检测效果表现欠佳。
发明内容
本发明目的就是为了弥补已有技术的缺陷,提供一种基于小目标特征增强的交通标志检测方法。
本发明是通过以下技术方案实现的:
一种基于小目标特征增强的交通标志检测方法,具体包括以下步骤:
构建交通标志数据集并进行数据增强;
优化构建Anchor Box的聚类算法;
优化网络结构增强交通标志细粒度特征;
优化网络结构增强交通标志通道特征;
针对正负样本失衡严重设计损失函数;
对改进后的交通标志检测算法进行效果评估。
所述的构建交通标志数据集并进行数据增强,具体内容如下:选取公开数据集TT100K作为研究对象,通过对数据集进行分析,包括数据集中目标尺寸以及每张图像中目标个数进行统计,得到数据集中正负样本失衡的特点;针对分析得到的数据集正负样本失衡严重问题,使用目标复制的方法进行数据增强。
所述的使用目标复制的方法进行数据增强,具体内容如下:
首先根据数据集的label文件裁剪数据集中所有尺寸小于50*50的目标;其次根据类别统计每类目标的数量,得到n1,n2,n3,......,n45,即每类目标的数量,以及被裁剪下的目标的总数n;进一步计算得到ni与n之间的差值mi,即mi=n-ni,对所有的mi做归一化,即计算m=Σmi,pi=mi/m,每一个概率pi都占据(0,1)中的一段区间,在选择目标进行复制时,选取一个(0,1)之间的随机数r,r落在了哪个概率区间,即选择哪一类目标进行复制。
所述的优化构建Anchor Box的聚类算法,具体内容如下:首先Yolo算法中的Anchor box可以理解为多尺度的滑动窗口,即从训练集中所有的ground truth中找出的最长出现的几种box的形状和尺寸,将这个先验知识加入模型中,对预测对象的形状与尺寸进行约束,实现多尺度学习的目的。在本发明中针对数据集中所存在的目标尺寸小且大小较为集中的特点,优化Anchor box的选择。
使用K-means++聚类算法对标注文件中的目标尺寸聚类,得到9个Anchor box,其聚类距离公式为:
其中,Scenter表示当前该聚类中心的面积,Sbox表示当前待分类的框的面积。
所述的优化网络结构增强交通标志细粒度特征,具体如下:通过引入BiFPN结构替换网络结构中原有的PANet结构,在进行不同尺寸特征图融合时,考虑不同尺寸特征包含的信息对最终结果的影响程度不同,引入的加权融合的方法去融合细粒度特征明显的底层特征图。
所述的优化网络结构增强交通标志通道特征,具体如下:引入SE结构,使网络更好的学习通道间的关联信息。首先是将该层尺寸为W*H*C的特征图输入进行压缩操作,即做一个全局平均池化,得到一个1*1*C的向量,接下来在对该向量进行激励操作,先在得到的1*1*C向量后接一个全连接层,再接一个激活函数层,然后再接一个全连接层,恢复输入的通道个数,最后再叠加一层激活函数层,最终输出一个1*1*C的向量,代表该层各通道的权重向量;最后对输入的特征图进行scale操作,即将上一步得到的1*1*C的权重向量与输入特征图进行通道权重相乘,得到该层的输出。
所述的针对正负样本失衡严重设计损失函数,具体如下:所述的损失函数分为定位损失、置信度损失和分类损失;定位损失衡量了预测框和真实框之间的差异;置信度损失衡量了判断该预测框是否有目标的准确性;分类损失衡量了算法是否对图像中的目标正确分类。通过削弱负样本在计算置信度损失时的权重,使得大量的负样本对损失函数的影响减弱,最终实现网络更好的去学习正样本的特征。
所述的定位损失的计算公式如下所示:
其中A代表真实的目标框,B代表的是预测的目标框,Distance_2表示的是第i个网格的第j个预测框中心点与该预测框中目标真实框的中心点位置,Distance_c表示这两个框所形成的最小包围框的对角线长度,wgt代表的是目标真实框的宽度,hgt代表的是真实框的高度,wp代表的是预测框的宽度,hp代表的是预测框的高度,S*S表示的是预测特征图的Grid(网格)数量,B表示的是每个网格预测的Box个数,λiou是定义的定位损失在整个损失函数中所占的权重,表示的是当前这个box预测为正样本。
所述的分类损失的计算公式如下所示:
所述的置信度损失的计算公式如下所示:
所述的对改进后的交通标志检测算法进行效果评估,具体如下:在所述的检测算法中,在评判目标检测模型效果时,主要分类四类:真正例(True Positive,TP)即真实标签是正样本,预测标签也是正样本;假正例(False Positive,FP)即真实标签是负样本,预测标签是正样本;真反例(True Negative,TN)即真是标签是负样本,预测标签是负样本;假反例(False Negative,FN)即真是标签是正样本,预测标签是负样本。
表1 分类模型标签表
其中模型评价指标精确率Precision计算方法如下:
召回率Recall计算方法如下所示:
本发明的优点是:本发明提出的基于小目标特征增强的交通标志检测方法,针对小目标检测过程中呈现出的正负样本失衡严重问题,通过对Yolov5s的网络结构、损失函数以及数据扩增技术的改进,最终的检测结果较原有的Yolov5s算法提高了3%,能够使车辆在驾驶过程中更精准的感知周围标志,减少决策失误,降低事故发生频率。
附图说明
图1是本发明基于小目标特征增强的交通标志检测算法整体流程图;
图2是本发明一种基于小目标特征增强的交通标志检测算法的具体的网络结构图;
图3是本发明改进后的算法图像检测的结果示意图。
具体实施方式
为使本发明实施例中的技术方案与细节更加清楚的表述,当然,所描述的实例知识本发明的一部分实施例,并不是全部实施例。下面将结合本发明实施例中的附图,对本发明的技术方案进行详细、完整的描述。
如图1所示,本发明提出了一种基于小目标特征增强的交通标志检测算法,包括以下步骤:
本发明通过以下技术方案实现,具体步骤如下:
(1)构建交通标志数据集,并进行离线数据扩增。在构建交通标志数据集时,要注意数据集的多样性,以此增强模型的泛化能力。
(2)优化构建Anchor Box的聚类算法,为了得到更合适的Anchor box,通过优化聚类初始中心的选择以及聚类距离的计算,得到合适的Anchor box。
(3)优化网络结构增强交通标志细粒度特征,通过对数据集的分析得到小目标占比大的特点。而粗粒度特征包含了更多的细节信息,而高层的粗粒度特征包含的更多是目标的位置轮廓信息。显然,在目标检测这一领域中,提高小目标的检测效果更多的要依赖细粒度特征。本发明为了获得更多的细粒度特征,在底层特征图与高层特征图融合的过程中,使用Bi-FPN的思想,进行特征图加权融合。
(4)优化网络结构增强交通标志通道特征,颜色是交通标志的基本属性,经分析得到,数据集中的交通标志颜色主要有红色、黄色和蓝色。为了解决在卷积过程中的featuremap的不同通道所占的比重不同问题,引入了通道注意力机制SE(Squeeze-and-ExcitationModule)。
(5)针对正负样本失衡严重设计损失函数,Yolov5的损失函数主要包含三部分,分别是定位损失、置信度损失和分类损失。其中置信度损失中,由于存在大量的负样本,导致所有负样本的置信度损失累加之后对损失函数影响较大。本发明针对这一情况,在训练中采用动态加权的方法,以降低负样本的权重,减少负样本对损失函数的影响。
(6)对改进后的交通标志检测算法进行效果评估,对算法优化之后的检测精度与召回进行计算。
具体内容如下:
(1)构建交通标志数据集并进行数据增强:
采用公开数据集TT100k作为本研究的对象。通过对数据集进行分析,包括数据集中目标尺寸以及每张图像中目标个数进行统计,得到数据集中正负样本失衡的特点。针对分析得到的数据集正负样本失衡严重问题,使用目标复制的数据增强方法。首先根据数据集的label文件裁剪数据集中所有尺寸小于80*80的目标;其次根据类别统计每类目标的数量,得到n1,n2,n3,......,n45,即每类目标的数量,以及被裁剪下的目标的总数n;进一步计算得到ni与n之间的差值mi,即mi=n-ni,对所有的mi做归一化,即计算m=Σmi,pi=mi/m,每一个概率pi都占据(0,1)中的一段区间,在选择目标进行复制时,选取一个(0,1)之间的随机数r,r落在了哪个概率区间,即选择哪一类目标进行复制。
(2)优化构建Anchor Box的聚类算法:
为了使聚类得到的Anchor box更好的拟合目标的真实框,使用K-means++聚类算法对标注文件中的目标尺寸聚类,得到9个Anchor box,其聚类距离公式为:
其中,Scenter表示当前该聚类中心的面积,Sbox表示当前待分类的框的面积。
(3)优化网络结构增强交通标志细粒度特征:
引入Bi-FPN模块,在对主干网络的三个不同尺寸特征图进行融合时,考虑到了不同尺寸特征图包含的信息对最终结果的影响程度不同,引入的加权融合的方法。
(4)优化网络结构增强交通标志通道特征:
为了使网络能够学习到通道之间的相关性,引入SE结构。通过先对首先是将该层尺寸为W*H*C的特征图输入进行squeeze(压缩)操作,即做一个全局平均池化,得到一个1*1*C的向量,接下来在对该向量进行激励操作,先在得到的1*1*C向量后接一个FC(全连接)层,以减少通道个数从而降低计算量,再接一个激活函数层,增加非线性,然后再接一个FC层,恢复输入的通道个数,最后再叠加一层激活函数层,最终输出一个1*1*C的向量,代表该层各通道的权重向量。最后对输入的特征图进行scale操作,即将上一步得到的1*1*C的权重向量与输入特征图进行通道权重相乘,得到该层的输出。
(5)针对正负样本失衡严重设计损失函数:
损失函数主要有三部分,包括定位损失、置信度损失以及分类损失。
定位损失的计算公式如下所示:
分类损失的计算公式如下所示:
置信度损失的计算公式如下所示:
(6)对改进后的交通标志检测算法进行效果评估:
在所述的检测算法中,其中模型评价指标精确率Precision计算方法如下:
其中,如表2所示,TP表示真正例,FP表示假正例,TN表示真反例,FN表示假反例;
表2 分类模型标签表
召回率Recall计算方法如下所示:
图2是本发明的网络结构图:为了更好的学习图像的细粒度特征和通道特征,在原有的Yolov5s的网络结构中添加了SE模块并引入了BiFPN的思想去做不同尺寸特征图加权融合。
图3是使用本发明改进后的算法图像检测的结果,图像中有个类别为”w59”的标志被检测出来,且用框框出了目标,同时会在图中显示该目标被检测的概率值。
Claims (9)
1.一种基于小目标特征增强的交通标志检测方法,其特征在于:具体包括以下步骤:
构建交通标志数据集并进行数据增强;
优化构建Anchor Box的聚类算法;
优化网络结构增强交通标志细粒度特征;
优化网络结构增强交通标志通道特征;
针对正负样本失衡严重设计损失函数;
对改进后的交通标志检测算法进行效果评估。
2.根据权利要求1所述的一种基于小目标特征增强的交通标志检测方法,其特征在于:所述的构建交通标志数据集并进行数据增强,具体内容如下:选取公开数据集TT100K作为研究对象,通过对数据集进行分析,包括数据集中目标尺寸以及每张图像中目标个数进行统计,得到数据集中正负样本失衡的特点;针对分析得到的数据集正负样本失衡严重问题,使用小目标复制的方法进行数据增强。
3.根据权利要求2所述的一种基于小目标特征增强的交通标志检测方法,其特征在于:所述的使用小目标复制的方法进行数据增强,具体内容如下:
首先根据数据集的label文件裁剪数据集中所有尺寸小于50*50的目标;其次根据类别统计每类目标的数量,得到n1,n2,n3,......,n45,即每类目标的数量,以及被裁剪下的目标的总数n;进一步计算得到ni与n之间的差值mi,即mi=n-ni,对所有的mi做归一化,即计算m=Σmi,pi=mi/m,每一个概率pi都占据(0,1)中的一段区间,在选择目标进行复制时,选取一个(0,1)之间的随机数r,r落在了哪个概率区间,即选择哪一类目标进行复制。
5.根据权利要求1所述的一种基于小目标特征增强的交通标志检测方法,其特征在于:所述的优化网络结构增强交通标志细粒度特征,具体如下:通过引入BiFPN结构,在进行不同尺寸特征图融合时,考虑不同尺寸特征包含的信息对最终结果的影响程度不同,引入的加权融合的方法去融合细粒度特征明显的底层特征图。
6.根据权利要求1所述的一种基于小目标特征增强的交通标志检测方法,其特征在于:所述的优化网络结构增强交通标志通道特征,具体如下:引入SE结构,首先是将该层尺寸为W*H*C的特征图输入进行压缩操作,即做一个全局平均池化,得到一个1*1*C的向量,接下来在对该向量进行激励操作,先在得到的1*1*C向量后接一个全连接层,再接一个激活函数层,然后再接一个全连接层,恢复输入的通道个数,最后再叠加一层激活函数层,最终输出一个1*1*C的向量,代表该层各通道的权重向量;最后对输入的特征图进行scale操作,即将上一步得到的1*1*C的权重向量与输入特征图进行通道权重相乘,得到该层的输出。
7.根据权利要求1所述的一种基于小目标特征增强的交通标志检测方法,其特征在于:所述的针对正负样本失衡严重设计损失函数,具体如下:所述的损失函数分为定位损失、置信度损失和分类损失;定位损失衡量了预测框和真实框之间的差异;置信度损失衡量了判断该预测框是否有目标的准确性;分类损失衡量了算法是否对图像中的目标正确分类。
8.根据权利要求7所述的一种基于小目标特征增强的交通标志检测方法,其特征在于:所述的定位损失的计算公式如下所示:
其中A代表真实的目标框,B代表的是预测的目标框,Distance_2表示的是第i个网格的第j个预测框中心点与该预测框中目标真实框的中心点位置,Distance_c表示这两个框所形成的最小包围框的对角线长度,wgt代表的是目标真实框的宽度,hgt代表的是真实框的高度,wp代表的是预测框的宽度,hp代表的是预测框的高度,S*S表示的是预测特征图的网格数量,B表示的是每个网格预测的Box个数,λiou是定义的定位损失在整个损失函数中所占的权重,表示的是当前这个box预测为正样本;
所述的分类损失的计算公式如下所示:
所述的置信度损失的计算公式如下所示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111428028.1A CN114120280A (zh) | 2021-11-26 | 2021-11-26 | 一种基于小目标特征增强的交通标志检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111428028.1A CN114120280A (zh) | 2021-11-26 | 2021-11-26 | 一种基于小目标特征增强的交通标志检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114120280A true CN114120280A (zh) | 2022-03-01 |
Family
ID=80370710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111428028.1A Pending CN114120280A (zh) | 2021-11-26 | 2021-11-26 | 一种基于小目标特征增强的交通标志检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114120280A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114998749A (zh) * | 2022-07-28 | 2022-09-02 | 北京卫星信息工程研究所 | 用于目标检测的sar数据扩增方法 |
CN115170970A (zh) * | 2022-08-02 | 2022-10-11 | 重庆市设计院有限公司 | 一种用于检测城市街道景观破损的方法 |
CN115273017A (zh) * | 2022-04-29 | 2022-11-01 | 桂林电子科技大学 | 基于Yolov5交通标志检测识别模型训练方法及系统 |
CN115346109A (zh) * | 2022-08-02 | 2022-11-15 | 北京新岳纵横科技有限公司 | 一种基于iou策略的增强样本生成方法 |
-
2021
- 2021-11-26 CN CN202111428028.1A patent/CN114120280A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115273017A (zh) * | 2022-04-29 | 2022-11-01 | 桂林电子科技大学 | 基于Yolov5交通标志检测识别模型训练方法及系统 |
CN114998749A (zh) * | 2022-07-28 | 2022-09-02 | 北京卫星信息工程研究所 | 用于目标检测的sar数据扩增方法 |
CN115170970A (zh) * | 2022-08-02 | 2022-10-11 | 重庆市设计院有限公司 | 一种用于检测城市街道景观破损的方法 |
CN115346109A (zh) * | 2022-08-02 | 2022-11-15 | 北京新岳纵横科技有限公司 | 一种基于iou策略的增强样本生成方法 |
CN115346109B (zh) * | 2022-08-02 | 2023-07-18 | 北京新岳纵横科技有限公司 | 一种基于iou策略的增强样本生成方法 |
CN115170970B (zh) * | 2022-08-02 | 2024-04-23 | 重庆市设计院有限公司 | 一种用于检测城市街道景观破损的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112200161B (zh) | 一种基于混合注意力机制的人脸识别检测方法 | |
CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
CN114120280A (zh) | 一种基于小目标特征增强的交通标志检测方法 | |
CN111368886B (zh) | 一种基于样本筛选的无标注车辆图片分类方法 | |
CN110147763B (zh) | 基于卷积神经网络的视频语义分割方法 | |
WO2022083784A1 (zh) | 一种基于车联网的道路检测方法 | |
CN111767944B (zh) | 一种基于深度学习的适用于多尺度目标检测的单阶段检测器设计方法 | |
CN111460919B (zh) | 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法 | |
CN111461083A (zh) | 基于深度学习的快速车辆检测方法 | |
CN111178451A (zh) | 一种基于YOLOv3网络的车牌检测方法 | |
CN113313706B (zh) | 基于检测参考点偏移分析的电力设备缺陷图像检测方法 | |
CN112990065A (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
CN116468740A (zh) | 一种图像语义分割模型及分割方法 | |
CN114202803A (zh) | 一种基于残差网络的多阶段人体异常动作检测方法 | |
Xu et al. | A novel algorithm for urban traffic congestion detection based on GPS data compression | |
CN111797795A (zh) | 一种基于YOLOv3与SSR的行人检测算法 | |
CN110555425A (zh) | 一种视频流实时行人检测方法 | |
CN116434188A (zh) | 基于improved_yolov5s网络的交通标志检测方法 | |
CN114120246B (zh) | 一种基于复杂环境的前方车辆检测算法 | |
CN113177528B (zh) | 基于多任务学习策略训练网络模型的车牌识别方法及系统 | |
CN112131996B (zh) | 基于通道分离卷积的路侧图像多尺度行人快速检测方法 | |
CN114998866A (zh) | 一种基于改进YOLOv4的交通标志识别方法 | |
CN110689071B (zh) | 一种基于结构化高阶特征的目标检测系统及方法 | |
Wang et al. | Traffic Accident Risk Prediction for Multi-factor Spatio-temporal Networks | |
CN115050028B (zh) | 一种恶劣天气下小样本车牌检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |