CN113723377B - 一种基于ld-ssd网络的交通标志检测方法 - Google Patents

一种基于ld-ssd网络的交通标志检测方法 Download PDF

Info

Publication number
CN113723377B
CN113723377B CN202111288146.7A CN202111288146A CN113723377B CN 113723377 B CN113723377 B CN 113723377B CN 202111288146 A CN202111288146 A CN 202111288146A CN 113723377 B CN113723377 B CN 113723377B
Authority
CN
China
Prior art keywords
traffic sign
image
images
fusion
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111288146.7A
Other languages
English (en)
Other versions
CN113723377A (zh
Inventor
谈玲
王悦
夏景明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202111288146.7A priority Critical patent/CN113723377B/zh
Publication of CN113723377A publication Critical patent/CN113723377A/zh
Application granted granted Critical
Publication of CN113723377B publication Critical patent/CN113723377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明公开了一种基于LD‑SSD网络的交通标志检测方法,涉及计算机视觉图像识别技术领域,获取不同天气下分别包含有各个目标交通标志的图像作为样本图像,构建并训练交通标志识别网络,应用交通标志识别网络,对待识别目标图像内所含的目标交通标志进行类型识别,获得待识别目标图像中所包含各目标交通标志在待识别目标图像中的位置的输出,确定目标交通标志的交通标志类型。通过本发明的技术方案,在保证检测精度较高的同时,对模型进行轻量化处理,使模型可以部署在资源有限的嵌入式设备上,同时还提高了模型的实时性,最终实现快速准确地识别复杂天气条件下的交通标志,有效减少交通事故发生。

Description

一种基于LD-SSD网络的交通标志检测方法
技术领域
本发明涉及计算机视觉图像识别技术领域,具体而言涉及一种基于LD-SSD网络的交通标志检测方法。
背景技术
目标检测作为计算机视觉领域的基本热门问题之一,它在行人识别、面部检测、文本识别、交通标注与红绿灯检测,遥感目标识别等领域应用广泛。交通标志检测是自动驾驶辅助系统的重要组成部分,解决交通标志的检测问题对自动驾驶领域发展具有重要意义。在自动驾驶系统中,交通标志所处的天气环境会对驾驶系统做出的决策有很大影响,在复杂天气条件下,识别系统需要实时识别到正确的交通标志指示,以便有效地减少违规和交通事故发生。
传统的交通标志检测分为三个大的处理方向,即基于颜色特征、形状特征、方向梯度直方图特征的交通标志检测。基于颜色的交通标志检测算法通过对颜色阈值进行分割,进而提取交通标志,但易受天气和光照条件的影响。基于形状特征的交通标志检测算法,例如霍夫变换法(Hough)、相似性检测、距离变换匹配(DTM)等,虽然可以避免光照条件等的影响,但对于发生形变或遮 挡的交通标志而言,其识别精度会大大降低,此外,算法复杂度相对较高,无法满足智能交通系统实时性高的要求。基于方向梯度直方图特征的交通标志检测算法虽然减少光照条件的制约、提高了检测的精度,而且在一定程度上降低了算法的复杂性,但仍对智能交通系统高效识别存在一定制约。
由于传统方法的检测效果差、计算量大等,基于深度学习的交通标志检测算法的提出将交通标志检测领域推上新的高度,针对雾霾这一现象,2015年提出利用双边滤波进行图像去雾,接着利用canny边缘检测和计算边缘形状角度进行交通标志检测,最后通过模板匹配法进行识别,但这种方法计算量较大;2016年提出利用暗原色原理进行图像去雾,再通过MSERS来进行识别,这种方法在识别浓雾时效果很差,2019年提出采用低通滤波的方式进行去雨、去雪,再利用级联式卷积神经网络对标志进行检测,使用一种小波分解再融合技术来进行图像去雨、去雪,接着利用改进的YOLOv3来进行检测和识别,检测精度得到较大提高,但这种方法计算量较大,不满足实时性的要求。
发明内容
本发明的目的在于提供一种基于LD-SSD网络的交通标志检测方法,以解决现有技术中的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于LD-SSD网络的交通标志检测方法,获取不同天气下分别包含有各个目标交通标志的图像作为样本图像,根据以下步骤A至步骤D,构建并训练交通标志识别网络,通过以下步骤E,应用交通标志识别网络,对待识别目标图像内所含的目标交通标志进行类型识别:
步骤A、分别针对各个样本图像,对样本图像进行预处理,获得各个目标交通标志分别在不同天气下的各个局部图像,随后进入步骤B;
步骤B、构建用于对局部图像进行特征提取、并输出对应输出特征图的卷积处理模块,随后进入步骤C;
步骤C、构建用于对相同目标交通标志所对应的各特征图进行反卷积融合、并输出该目标交通标志所对应融合特征图的的反卷积融合处理模块,随后进入步骤D;
步骤D、分别针对各个样本图像中的各目标交通标志,以各个样本图像为输入,基于样本图像中各目标交通标志所对应局部图像的输出特征图,以输出特征图与对应融合特征图像相匹配为训练目标,以样本图像中所包含各目标交通标志在样本图像中的位置为输出,对交通标志识别待训练网络进行训练,获得用于识别各个局部图像中目标交通标志对应的交通标志类型的交通标志识别网络,随后进入步骤E;
步骤E、针对待识别目标图像,以待识别目标图像为输入,并基于待识别目标交通标志所对应局部图像的特征图,通过特征图与各目标交通标志所对应融合特征图之间匹配,获得待识别目标图像中所包含各目标交通标志在待识别目标图像中的位置的输出,确定目标交通标志的交通标志类型。
进一步地,交通标志识别待训练网络还包括定位模块,对待识别目标图像中所含的各个目标交通标志进行定位。
进一步地,前述步骤A包括以下步骤:
步骤A1、分别针对各个样本图像,按照预设尺寸统一各个样本图像的像素和尺寸,完成对样本图像的预处理,随后进入步骤A2;
步骤A2、对各个完成预处理的样本图像进行分类,将样本图像分为晴天图像、雨天图像、雾天图像、雪天图像、沙尘暴天图像,利用基于样式的生成对抗网络分别将雨天图像、雾天图像、雪天图像、沙尘暴天图像进行图像增强,将雨天图像、雾天图像、雪天图像、以及沙尘暴天图像均转换为晴天图像,得到转换后的晴天图像,随后进入步骤A3;
步骤A3、对各个样本图像中所含的交通标志利用真值框进行标定,获得不同交通标志的各个局部图像。
进一步地,前述交通标志识别待训练网络还包括轻量化注意力模块,步骤B中,构建卷积处理模块,具体包括以下步骤:
步骤B1、基于ResNet50网络,将ResNet50网络的最大池化层和全连接层去除,并增加依次连接的4个卷积层,分别将每个卷积层中的普通残差块换成深度可分离残差块,所述深度可分离残差块依次包含1×1的卷积、3×3的卷积和ReLU函数、以及1×1的卷积;
步骤B2、在每个残差块的末端添加轻量化注意力模块,所述轻量化注意力模块包括空间注意力模块和通道注意力模块,将增强数据集中所包含的数据信息作为待训练LD-SSD网络的输入特征,按照通道维度将输入特征划分为预设数量个通道组,划分后的各个通道组分别经过空间注意力模块和通道注意力模块,获得各个通道组分别所对应的通道注意力矩阵和空间注意力矩阵;
步骤B3、将各个通道组内部的通道注意力矩阵和空间注意力矩阵按照纵轴方式进行融合连接,实现不同通道组间的信息融合,进一步获得复杂天气图像对应的各个输出特征图。
进一步地,构建用于对融合特征图像与局部图像进行匹配的预测匹配模块,步骤C中获得各个局部图像所对应的融合特征图像包括以下步骤:
步骤C1、选取分辨率分别为80×80、40×40、20×20、10×10、5×5、3×3、1×1的输出特征图,作为反卷积融合处理模块的输入;
步骤C2、依次将反卷积融合处理模块中分辨率为1×1的深层特征图进行反卷积,卷积模块中的分辨率为3×3的浅层特征图进行卷积,获得相同分辨率和通道数的两个特征图,随后将两者对应元素相乘,得到特征融合后的新的分辨率为3×3融合特征图像,然后将该融合特征图像作为下一级反卷积融合处理模块中的深层特征图,再与下一级卷积模块中的浅层特征图按照相同的方式进行融合,最终得到分辨率依次为80×80、40×40、20×20、10×10、5×5、3×3的融合特征图像,将各个融合特征图像输入到待训练LD-SSD网络的预测模块中。
进一步地,交通标志识别待训练网络还包括非极大值抑制模块,步骤D分别针对各个样本图像中的各目标交通标志,执行以下步骤:
步骤D1、使用3×3的DW卷积以及批量归一化和1×1的PW卷积作为网络骨干道,在残差旁路使用1×1卷积作为网络分支道,将网络骨干道和网络分支道分别对局部图像进行处理后进行通道间加法,获得并更新融合特征图像,将更新后的融合特征图像输入到分类模块中得到该融合特征图像内不同类别的交通标志分别所对应的置信度值;
步骤D2、结合步骤A中对交通标志进行标定的真值框,为融合特征图像中的各个局部图像分别设置预设数量的先验框,分别针对各个先验框和预设真值框,计算先验框与预设真值框中相同标定位置的相对IoU值,将具有最大IoU值或值IoU值大于预设阈值的先验框作为正样本,根据正样本按照预设比例进行抽样,获得负样本,去除置信度小于预设置信度阈值的先验框;
步骤D3、使用3×3卷积和批量归一化对更新后的融合特征图像中所对应的正样本先验框进行二次处理,然后输入到定位模块中,得到该融合特征图像内各个目标交通标志位置的相对偏移量,即[ffn×(c+1),[ffn×4]],其中f表示输出融合特征图像的尺寸,c表示交通标志分类的类别数,n表示该层融合特征图像进行先验标定后所含正样本先验框的数量,4表示正样本先验框的相对位置,获得各个正样本先验框分别所对应的交通标志的相对位置;
步骤D4、基于各个正样本先验框中各交通标志类别的置信度值,将各个正样本先验框输入至非极大值抑制模块,对正样本先验框中包含的交通标志的相对位置进行修正。
进一步地,前述步骤D4中对交通标志的相对位置进行修正,分别针对各个交通标志类别,对该交通标志类别下的正样本先验框中所对应的各个置信度值进行降序排列,筛选出各交通标志类别中置信度值最高的正样本先验框,随后依次遍历所有正样本先验框,计算该正样本先验框与置信度值最高的正样本先验框的IoU值,当IoU值大于预设阈值时,删除该正样本先验框,筛选出各个交通标志类别所对应的置信度最高的正样本先验框,即得到该局部图像中所含的交通标志类型以及交通标志的定位。
进一步地,前述步骤E中通过减小分类和定位的损失函数,实现分类置信度的提高和定位准确度的增强,LD-SSD网络的损失函数为:
Figure 55801DEST_PATH_IMAGE002
其中,N为先验框的正样本数量,
Figure DEST_PATH_IMAGE003
为分类的置信度损失函数,
Figure 918715DEST_PATH_IMAGE004
为定位的损 失函数;
Figure 608934DEST_PATH_IMAGE006
Figure 139273DEST_PATH_IMAGE008
Figure 626886DEST_PATH_IMAGE010
其中,CELoss为交叉熵损失函数;pt为属于正样本的概率;
Figure DEST_PATH_IMAGE011
为平衡因子,用来平 衡正负样本的比例不均;
Figure 977096DEST_PATH_IMAGE012
为调制系数,调节简单样本权重降低的速率,使得模型在训练时 更专注于难分类的样本,
Figure 270674DEST_PATH_IMAGE012
=2;
Figure DEST_PATH_IMAGE013
,表示第i个正样本先验框与第j个真值框是否匹 配,p表示第p个交通标志类别;
Figure 389940DEST_PATH_IMAGE014
表示第i个正样本先验框属于第p个交通标志类别的置信 度值,即第i个框属于第p个类别的概率,Pos为所有正样本先验框组成的集合,Neg为所有负 样本先验框组成的集合;
Figure 782875DEST_PATH_IMAGE016
其中,
Figure DEST_PATH_IMAGE017
表示预测框和真值框的惩罚项,
Figure 620381DEST_PATH_IMAGE018
表示欧氏距离,
Figure DEST_PATH_IMAGE019
分别表示 预测框和真值框的中心点,c表示预测框和真值框的最小外界矩形框的对角线距离,IoU为 预测框与真值框中相同标定位置的相对交并比值。
本发明所述一种基于LD-SSD网络的复杂天气下交通标志检测方法,采用以上技术方案与现有技术相比,具有以下技术效果:
本发明主要用于辅助车辆自动驾驶识别系统进行识别,由于该领域的交通标志检测算法的应用平台主要是车载导航等硬件资源有限的嵌入式设备,因此对算法的实时性和稳定性有着较高要求,本发明提出的LD-SSD交通标志检测模型针对这个问题,在保证检测精度较高的同时,对模型进行轻量化处理,使模型可以部署在资源有限的嵌入式设备上,同时还提高了模型的实时性,最终实现快速准确地识别复杂天气条件下的交通标志,有效减少交通事故发生;
根据本发明提出的交通标志检测方法,不仅仅可以在能见度高的晴天状态下实现很高的识别精度,在能见度较低的复杂天气状态下同样可以保证较高的识别速度和精度;其次,根据本发明提供的网络结构,在现有残差网络的基础上,将普通残差模块换成深度可分离的残差快,并在每个残差块末端加入了轻量化注意力模块,在加深网络深度的同时减小网络参数量,有效地提高了复杂天气条件下的交通标志检测的精度和速度。
附图说明
图1为本发明示例性实施例的一种交通标志检测方法的流程图;
图2为本发明示例性实施例的交通标志识别待训练网络的结构示意图;
图3为本发明交通标志识别待训练网络中深度可分离卷积残差块的结构示意图;
图4为本发明交通标志识别待训练网络中轻量化注意力模块的结构示意图;
图5为本发明交通标志识别待训练网络中预测匹配模块的结构示意图;
图6为本发明提供的方法与其它方法平均精度均值对比图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。
在本发明中参照附图来描述本发明的各方面,附图中示出了许多说明性实施例。本发明的实施例不局限于附图所示。应当理解,本发明通过上面介绍的多种构思和实施例,以及下面详细描述的构思和实施方式中的任意一种来实现,这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
结合图1本发明示例性实施例的流程示意,本发明基于ResNet50网络提出一种基于LD-SSD网络的复杂天气下交通标志检测方法,采用深度可分离卷积残差块替代一般卷积残差块,同时在残差块中添加轻量化注意力模块,在提高识别精度的同时实现了网络的轻量化,有利于辅助车辆自动驾驶识别系统快速准确地识别各种复杂天气条件下的交通标志,获取不同天气下分别包含有各个目标交通标志的图像作为样本图像,根据以下步骤A至步骤D,构建并训练交通标志识别网络,通过以下步骤E,应用交通标志识别网络,对待识别目标图像内所含的目标交通标志进行类型识别:
步骤A、分别针对各个样本图像,对样本图像进行预处理,获得各个目标交通标志分别在不同天气下的各个局部图像,随后进入步骤B;
步骤B、构建用于对局部图像进行特征提取、并输出对应输出特征图的卷积处理模块,随后进入步骤C;
步骤C、构建用于对相同目标交通标志所对应的各特征图进行反卷积融合、并输出该目标交通标志所对应融合特征图的的反卷积融合处理模块,随后进入步骤D;
步骤D、分别针对各个样本图像中的各目标交通标志,以各个样本图像为输入,基于样本图像中各目标交通标志所对应局部图像的输出特征图,以输出特征图与对应融合特征图像相匹配为训练目标,以样本图像中所包含各目标交通标志在样本图像中的位置为输出,对交通标志识别待训练网络进行训练,获得用于识别各个局部图像中目标交通标志对应的交通标志类型的交通标志识别网络,随后进入步骤E;
步骤E、针对待识别目标图像,以待识别目标图像为输入,并基于待识别目标交通标志所对应局部图像的特征图,通过特征图与各目标交通标志所对应融合特征图之间匹配,获得待识别目标图像中所包含各目标交通标志在待识别目标图像中的位置的输出,确定目标交通标志的交通标志类型。
实施例
参照图2,利用步骤A中过程,分别针对各个样本图像,对样本图像进行预处理,获得各个目标交通标志分别在不同天气下的各个局部图像,具体包括以下步骤:
步骤A1、分别针对各个样本图像,按照预设尺寸统一各个样本图像的像素和尺寸,通过 OpenCV 库中的 resize 函数把任意尺寸复杂天气下的交通标志图像统一大小至320×320 像素,统一设置为 JPG 格式,完成对样本图像的预处理,随后进入步骤A2;
步骤A2、对各个完成预处理的样本图像进行分类,将样本图像分为晴天图像、雨天图像、雾天图像、雪天图像、沙尘暴天图像,利用基于样式的生成对抗网络分别将雨天图像、雾天图像、雪天图像、沙尘暴天图像进行图像增强,将雨天图像、雾天图像、雪天图像、以及沙尘暴天图像均转换为晴天图像,得到转换后的晴天图像,随后进入步骤A3;
步骤A3、对各个样本图像中所含的交通标志利用真值框进行标定,获得不同交通标志的各个局部图像。
利用步骤B中过程,构建用于对局部图像进行特征提取、并输出对应输出特征图的卷积处理模块,具体包括以下步骤:
将ResNet50网络的最大池化层和全连接层去除,并增加依次连接的4个卷积层,其中4个卷积层的卷积核分别为2,2,3,3,步长分别为2,2,1,1,通道数均为1024,padding填充均为0,如图3所示,将每个卷积层中的普通残差块换成深度可分离残差块,在每个残差块的末端添加轻量化注意力模块,将输入特征图按照通道维度划分为G组,分别对每个组内的特征进行空间和通道上的信息提取,其中,通道注意力模块使用改进的SENet,用一个感受野为3的一维卷积代替SENet中原来的两个全连接层,空间注意力模块是先在通道维度上进行AvgPool后,再进行两次3×3的空洞卷积,最后使用1×1的卷积得到空间注意力的矩阵,接着将各组内部的空间注意力和通道注意力两种矩阵信息按纵轴方式进行融合连接,最后使用Channel Shuffle操作对各组的通道进行重新排列,从而实现不同组间的信息融合,通过这种分解过程来减少网络的参数量和计算量,同时保证较高的识别精度。
利用步骤C中过程,构建用于对融合特征图像与局部图像进行匹配的预测匹配模块,步骤C中将卷积模块中的浅层特征与反卷积融合模块中的深层特征进行特征融合,获得各个局部图像所对应的融合特征图像包括以下步骤:
步骤C1、参照图4,通过轻量化骨干模块处理后选取7个特征图,选取分辨率分别为80×80、40×40、20×20、10×10、5×5、3×3、1×1的输出特征图,经过前向传播后得到的7张输出特征图,尺寸分别为(80,80,64)、(40,40,1024)、(20,20,2048)、(10,10,1024)、(5,5,1024)、(3,3,1024)、(1,1,1024),作为反卷积融合处理模块的输入;
步骤C2、将深层特征图(ffC)经过反卷积操作、3×3×1024操作和BN操作,其中CD为通道维数,padding为1,反卷积的卷积核大小分别为3,1,2,2,2,2,得到(2×f,2×fC)特征图,将浅层特征图(ffD)进行两次3×3×C的卷积后得到(2×f,2×fC)的特征图,将两者对应元素相乘,即特征融合,得到(2×f,2×fC)的新融合特征图,然后将融合后的新特征作为下一级反卷积融合模块中的深层特征图,再与下一级卷积模块中的浅层特征图按照上述相同的方式融合,最终得到6张融合特征图80×80、40×40、20×20、10×10、5×5、3×3,将各个融合特征图像输入到待训练LD-SSD网络的预测模块中;
参照图5,在预测模块中,对6个特征图均采用两种方式进行卷积处理,然后分别进行分类和定位操作,其中,一种是使用3×3的DW卷积以及批量归一化和1×1的PW卷积作为网络骨干道,接着在残差旁路使用1×1卷积作为网络分支道,将网络骨干道和网络分支道分别处理后所得的特征图进行通道间加法,最后将得到的新特征图输入到分类模块中得到该特征图内属于不同类别的置信度值。另一种是使用3×3卷积和批量归一化对特征图进行处理,然后输入到定位模块中,得到该特征图内位置的相对偏移量,即[ffn×(c+1) ,[ffn×4]],其中f表示输出特征图的尺寸,c表示分类的类别数,n表示该层特征图所含先验框的数量,4表示先验框的相对位置。
交通标志识别待训练网络包括卷积处理模块、反卷积融合处理模块、定位模块、轻量化注意力模块、分类模块、非极大值抑制模块、以及预测匹配模块,利用步骤D中过程,对各个样本图像中的各目标交通标志进行定位,包括以下步骤:
步骤D1、使用3×3的DW卷积以及批量归一化和1×1的PW卷积作为网络骨干道,在残差旁路使用1×1卷积作为网络分支道,将网络骨干道和网络分支道分别对局部图像进行处理后进行通道间加法,获得并更新融合特征图像,将更新后的融合特征图像输入到分类模块中得到该融合特征图像内不同类别的交通标志分别所对应的置信度值;
步骤D2、结合步骤A中对交通标志进行标定的真值框,为融合特征图像中的各个局部图像分别设置预设数量的先验框,为6张特征图分别设置不同数量先验框,分别为4、6、6、6、4、4,先验框的总数为80×80×4+40×40×6+20×20×6+10×10×6+5×5×4+3×3×4,总共38336个,分别针对各个先验框和预设真值框,计算先验框与预设真值框中相同标定位置的相对IoU值,将具有最大IoU值或值IoU值大于预设阈值的先验框作为正样本,此处预设阈值为0.5,过滤掉属于背景的先验框,同时,根据正样本按照预设比例进行抽样,获得负样本,去除置信度小于预设置信度阈值的先验框;
步骤D3、使用3×3卷积和批量归一化对更新后的融合特征图像中所对应的正样本先验框进行二次处理,然后输入到定位模块中,得到该融合特征图像内各个目标交通标志位置的相对偏移量,即[ffn×(c+1),[ffn×4]],其中f表示输出融合特征图像的尺寸,c表示交通标志分类的类别数,n表示该层融合特征图像进行先验标定后所含正样本先验框的数量,4表示正样本先验框的相对位置,获得各个正样本先验框分别所对应的交通标志的相对位置;
步骤D4、对先验框进行非极大值抑制,分类模块处理后得到先验框以及该先验框中属于各个类别的置信度值,按照各个类别的置信度值进行降序排序,选择其中置信度最高先验框,然后遍历剩下的先验框,如果发现和当前置信度最高的先验框的重叠面积(IoU)大于一定阈值,则将该先验框删除,接着从未处理的先验框中继续选一个置信度最高的先验框,重复上述操作,直至找到所有位置准确的先验框为止。
通过不断减小分类和定位的损失函数,来实现分类置信度的提高和定位准确度的增强,LD-SSD特征提取网络的总的损失函数为:
Figure 920912DEST_PATH_IMAGE002
其中,N为先验框的正样本数量,
Figure 691422DEST_PATH_IMAGE003
为分类的置信度损失函数,
Figure 255259DEST_PATH_IMAGE004
为定位的损 失函数;
Figure 111219DEST_PATH_IMAGE006
Figure 746600DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE021
其中,CELoss为交叉熵损失函数;pt为属于正样本的概率;
Figure 574879DEST_PATH_IMAGE011
为平衡因子,用来平 衡正负样本的比例不均;
Figure 578125DEST_PATH_IMAGE012
为调制系数,调节简单样本权重降低的速率,使得模型在训练时 更专注于难分类的样本,
Figure 655803DEST_PATH_IMAGE012
=2;
Figure 298137DEST_PATH_IMAGE013
,表示第i个正样本先验框与第j个真值框是否匹 配,p表示第p个交通标志类别;
Figure 574397DEST_PATH_IMAGE014
表示第i个正样本先验框属于第p个交通标志类别的置信 度值,即第i个框属于第p个类别的概率,Pos为所有正样本先验框组成的集合,Neg为所有负 样本先验框组成的集合;
Figure 11195DEST_PATH_IMAGE016
其中,
Figure 310589DEST_PATH_IMAGE017
表示预测框和真值框的惩罚项,
Figure 491035DEST_PATH_IMAGE018
表示欧氏距离,
Figure 825064DEST_PATH_IMAGE019
分别表示 预测框和真值框的中心点,c表示预测框和真值框的最小外界矩形框的对角线距离,IoU为 预测框与真值框中相同标定位置的相对交并比值。
使用复杂条件下的交通标志数据集TSIICW的训练集对LD-SSD特征提取网络进行预训练。
数据集:使用复杂条件下的交通标志数据集,共13500张图像,使用其中10800张图像作为训练集对LD-SSD网络进行训练,使用剩下的2700张图像作为测试集对网络的检测结果进行测试。
实验参数:batch设为16,momentum设为0.9,学习率采用指数衰减方法,初始学习率设为0.01,衰减系数设为0.9。
实验环境:显卡:Nvidia GeForce RTX 2080 Ti,处理器:Intel Core i7-9700K,主板:微星MAG Z390 TOMAHAWK。
实验结果:为客观评价检测效果,本实验采用平均精度均值(mAP)来评估检测的效果,图6中可以看出,本发明检测精度高出了检测较好的EfficientNet方法2.92个百分点,并且网络尺寸比YOLO方法高出36.5M,在保证较高的检测精度的同时实现快速的检测,相比于传统的SSD方法,对置信度阈值相同的情况下,本发明对有着更高的召回率(recall)与精度(precision)。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.一种基于LD-SSD网络的交通标志检测方法,其特征在于,获取不同天气下分别包含有各个目标交通标志的图像作为样本图像,根据以下步骤A至步骤D,构建并训练交通标志识别网络,通过以下步骤E,应用交通标志识别网络,对待识别目标图像内所含的目标交通标志进行类型识别:
步骤A、分别针对各个样本图像,对样本图像进行预处理,获得各个目标交通标志分别在不同天气下的各个局部图像,随后进入步骤B;
步骤B、构建用于对局部图像进行特征提取、并输出对应输出特征图的卷积处理模块,构建卷积处理模块,具体包括以下步骤:
步骤B1、基于ResNet50网络,将ResNet50网络的最大池化层和全连接层去除,并增加依次连接的4个卷积层,分别将每个卷积层中的普通残差块换成深度可分离残差块,所述深度可分离残差块依次包含1×1的卷积、3×3的卷积和ReLU函数、以及1×1的卷积;
步骤B2、在每个残差块的末端添加轻量化注意力模块,所述轻量化注意力模块包括空间注意力模块和通道注意力模块,将增强数据集中所包含的数据信息作为待训练LD-SSD网络的输入特征,按照通道维度将输入特征划分为预设数量个通道组,划分后的各个通道组分别经过空间注意力模块和通道注意力模块,获得各个通道组分别所对应的通道注意力矩阵和空间注意力矩阵;
步骤B3、将各个通道组内部的通道注意力矩阵和空间注意力矩阵按照纵轴方式进行融合连接,实现不同通道组间的信息融合,进一步获得复杂天气图像对应的各个输出特征图,随后进入步骤C;
步骤C、构建用于对相同目标交通标志所对应的各特征图进行反卷积融合、并输出该目标交通标志所对应融合特征图的反卷积融合处理模块,随后进入步骤D;
步骤D、分别针对各个样本图像中的各目标交通标志,以各个样本图像为输入,基于样本图像中各目标交通标志所对应局部图像的输出特征图,以输出特征图与对应融合特征图像相匹配为训练目标,以样本图像中所包含各目标交通标志在样本图像中的位置为输出,对交通标志识别待训练网络进行训练,获得用于识别各个局部图像中目标交通标志对应的交通标志类型的交通标志识别网络,随后进入步骤E;
步骤E、针对待识别目标图像,以待识别目标图像为输入,并基于待识别目标交通标志所对应局部图像的特征图,通过特征图与各目标交通标志所对应融合特征图之间匹配,获得待识别目标图像中所包含各目标交通标志在待识别目标图像中的位置的输出,确定目标交通标志的交通标志类型。
2.根据权利要求1所述的一种基于LD-SSD网络的交通标志检测方法,其特征在于,交通标志识别待训练网络还包括定位模块,对待识别目标图像中所含的各个目标交通标志进行定位。
3.根据权利要求1所述的一种基于LD-SSD网络的交通标志检测方法,其特征在于,所述步骤A包括以下步骤:
步骤A1、分别针对各个样本图像,按照预设尺寸统一各个样本图像的像素和尺寸,完成对样本图像的预处理,随后进入步骤A2;
步骤A2、对各个完成预处理的样本图像进行分类,将样本图像分为晴天图像、雨天图像、雾天图像、雪天图像、沙尘暴天图像,利用基于样式的生成对抗网络分别将雨天图像、雾天图像、雪天图像、沙尘暴天图像进行图像增强,将雨天图像、雾天图像、雪天图像、以及沙尘暴天图像均转换为晴天图像,得到转换后的晴天图像,随后进入步骤A3;
步骤A3、对各个样本图像中所含的交通标志利用真值框进行标定,获得不同交通标志的各个局部图像。
4.根据权利要求1所述的一种基于LD-SSD网络的交通标志检测方法,其特征在于,构建用于对融合特征图像与局部图像进行匹配的预测匹配模块,所述步骤C中获得各个局部图像所对应的融合特征图像包括以下步骤:
步骤C1、选取分辨率分别为80×80、40×40、20×20、10×10、5×5、3×3、1×1的输出特征图,作为反卷积融合处理模块的输入;
步骤C2、依次将反卷积融合处理模块中分辨率为1×1的深层特征图进行反卷积,卷积模块中的分辨率为3×3的浅层特征图进行卷积,获得相同分辨率和通道数的两个特征图,随后将两者对应元素相乘,得到特征融合后的新的分辨率为3×3融合特征图像,然后将该融合特征图像作为下一级反卷积融合处理模块中的深层特征图,再与下一级卷积模块中的浅层特征图按照相同的方式进行融合,最终得到分辨率依次为80×80、40×40、20×20、10×10、5×5、3×3的融合特征图像,将各个融合特征图像输入到待训练LD-SSD网络的预测模块中。
5.根据权利要求4所述的一种基于LD-SSD网络的交通标志检测方法,其特征在于,所述交通标志识别待训练网络还包括非极大值抑制模块,所述步骤D分别针对各个样本图像中的各目标交通标志,执行以下步骤:
步骤D1、使用3×3的DW卷积以及批量归一化和1×1的PW卷积作为网络骨干道,在残差旁路使用1×1卷积作为网络分支道,将网络骨干道和网络分支道分别对局部图像进行处理后进行通道间加法,获得并更新融合特征图像,将更新后的融合特征图像输入到分类模块中得到该融合特征图像内不同类别的交通标志分别所对应的置信度值;
步骤D2、结合步骤A中对交通标志进行标定的真值框,为融合特征图像中的各个局部图像分别设置预设数量的先验框,分别针对各个先验框和预设真值框,计算先验框与预设真值框中相同标定位置的相对IoU值,将具有最大IoU值或值IoU值大于预设阈值的先验框作为正样本,根据正样本按照预设比例进行抽样,获得负样本,去除置信度小于预设置信度阈值的先验框;
步骤D3、使用3×3卷积和批量归一化对更新后的融合特征图像中所对应的正样本先验框进行二次处理,然后输入到定位模块中,得到该融合特征图像内各个目标交通标志位置的相对偏移量,即[f,f,n×(c+1),[f,f,n×4]],其中f表示输出融合特征图像的尺寸,c表示交通标志分类的类别数,n表示该层融合特征图像进行先验标定后所含正样本先验框的数量,4表示正样本先验框的相对位置,获得各个正样本先验框分别所对应的交通标志的相对位置;
步骤D4、基于各个正样本先验框中各交通标志类别的置信度值,将各个正样本先验框输入至非极大值抑制模块,对正样本先验框中包含的交通标志的相对位置进行修正。
6.根据权利要求5所述的一种基于LD-SSD网络的交通标志检测方法,其特征在于,所述步骤D4中对交通标志的相对位置进行修正,分别针对各个交通标志类别,对该交通标志类别下的正样本先验框中所对应的各个置信度值进行降序排列,筛选出各交通标志类别中置信度值最高的正样本先验框,随后依次遍历所有正样本先验框,计算该正样本先验框与置信度值最高的正样本先验框的IoU值,当IoU值大于预设阈值时,删除该正样本先验框,筛选出各个交通标志类别所对应的置信度最高的正样本先验框,即得到该局部图像中所含的交通标志类型以及交通标志的定位。
7.根据权利要求6所述的一种基于LD-SSD网络的交通标志检测方法,其特征在于,所述步骤E中通过减小分类和定位的损失函数,实现分类置信度的提高和定位准确度的增强,LD-SSD网络的损失函数为:
Figure FDA0003401818810000041
其中,N为先验框的正样本数量,Lconf为分类的置信度损失函数,Lloc为定位的损失函数;
Lconf=-α*(1-pt)γ*log(pt)
Figure FDA0003401818810000042
pt=-eCELoss
其中,CELoss为交叉熵损失函数;pt为属于正样本的概率;α为平衡因子,用来平衡正负样本的比例不均;γ为调制系数,调节简单样本权重降低的速率,使得模型在训练时更专注于难分类的样本,γ=2;
Figure FDA0003401818810000043
表示第i个正样本先验框与第j个真值框是否匹配,p表示第p个交通标志类别;
Figure FDA0003401818810000044
表示第i个正样本先验框属于第p个交通标志类别的置信度值,即第i个框属于第p个类别的概率;
Figure FDA0003401818810000045
其中,
Figure FDA0003401818810000046
表示预测框和真值框的惩罚项,ρ表示欧氏距离,b、bgt分别表示预测框和真值框的中心点,c表示预测框和真值框的最小外界矩形框的对角线距离。
CN202111288146.7A 2021-11-02 2021-11-02 一种基于ld-ssd网络的交通标志检测方法 Active CN113723377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111288146.7A CN113723377B (zh) 2021-11-02 2021-11-02 一种基于ld-ssd网络的交通标志检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111288146.7A CN113723377B (zh) 2021-11-02 2021-11-02 一种基于ld-ssd网络的交通标志检测方法

Publications (2)

Publication Number Publication Date
CN113723377A CN113723377A (zh) 2021-11-30
CN113723377B true CN113723377B (zh) 2022-01-11

Family

ID=78686449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111288146.7A Active CN113723377B (zh) 2021-11-02 2021-11-02 一种基于ld-ssd网络的交通标志检测方法

Country Status (1)

Country Link
CN (1) CN113723377B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092947B (zh) * 2022-01-04 2022-05-20 湖南师范大学 一种文本检测方法、装置、电子设备及可读存储介质
CN114092917B (zh) * 2022-01-10 2022-04-15 南京信息工程大学 一种基于mr-ssd的被遮挡交通标志检测方法及系统
CN114896181B (zh) * 2022-05-06 2023-03-31 北京乐研科技股份有限公司 基于预测分类的硬件旁路电路、方法及电子设备
CN116645547B (zh) * 2023-05-09 2024-03-19 中山大学·深圳 一种双通道特征探索的视觉识别方法、系统、设备及介质
CN116645696B (zh) * 2023-05-31 2024-02-02 长春理工大学重庆研究院 一种用于多模态行人检测的轮廓信息引导特征检测方法
CN116721403A (zh) * 2023-06-19 2023-09-08 山东高速集团有限公司 一种道路交通标志检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621747B2 (en) * 2016-11-15 2020-04-14 Magic Leap, Inc. Deep learning system for cuboid detection
CN111274970A (zh) * 2020-01-21 2020-06-12 南京航空航天大学 一种基于改进YOLO v3算法的交通标志检测方法
CN113343903A (zh) * 2021-06-28 2021-09-03 成都恒创新星科技有限公司 一种自然场景下的车牌识别方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516670B (zh) * 2019-08-26 2022-04-22 广西师范大学 基于场景级与区域建议自注意模块的目标检测方法
CN110647893B (zh) * 2019-09-20 2022-04-05 北京地平线机器人技术研发有限公司 目标对象识别方法、装置、存储介质和设备
CN110781784A (zh) * 2019-10-18 2020-02-11 高新兴科技集团股份有限公司 基于双路注意力机制的人脸识别方法、装置及设备
TWI718750B (zh) * 2019-11-07 2021-02-11 國立中央大學 來源分離方法、裝置及非暫態電腦可讀取媒體
CN110929603B (zh) * 2019-11-09 2023-07-14 北京工业大学 一种基于轻量级卷积神经网络的天气图像识别方法
CN114651284A (zh) * 2019-12-20 2022-06-21 英特尔公司 轻量级多分支和多尺度人员重识别
CN111274954B (zh) * 2020-01-20 2022-03-15 河北工业大学 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法
CN111582049A (zh) * 2020-04-16 2020-08-25 天津大学 一种基于ros自建无人车的端到端自动驾驶方法
CN111695469B (zh) * 2020-06-01 2023-08-11 西安电子科技大学 轻量化深度可分离卷积特征融合网的高光谱图像分类方法
CN111814697B (zh) * 2020-07-13 2024-02-13 伊沃人工智能技术(江苏)有限公司 一种实时人脸识别方法、系统及电子设备
CN112183203A (zh) * 2020-08-26 2021-01-05 北京工业大学 一种基于多尺度像素特征融合的实时交通标志检测方法
CN112036327A (zh) * 2020-09-01 2020-12-04 南京工程学院 一种基于ssd的轻量化安全帽检测方法
CN112163628A (zh) * 2020-10-10 2021-01-01 北京航空航天大学 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN112232214A (zh) * 2020-10-16 2021-01-15 天津大学 一种基于深度特征融合和注意力机制的实时目标检测方法
CN112396035A (zh) * 2020-12-07 2021-02-23 国网电子商务有限公司 基于注意力检测模型的物体检测方法和装置
CN113076842B (zh) * 2021-03-26 2023-04-28 烟台大学 一种用于提升极端天气与环境下交通标志识别精度的方法
WO2022205685A1 (zh) * 2021-03-29 2022-10-06 泉州装备制造研究所 一种基于轻量化网络的交通标志识别方法
CN113361428B (zh) * 2021-06-11 2023-03-24 浙江澄视科技有限公司 一种基于图像的交通标志检测方法
CN113408410A (zh) * 2021-06-18 2021-09-17 重庆科技学院 一种基于YOLOv4算法的交通标志检测方法
CN113269161A (zh) * 2021-07-16 2021-08-17 四川九通智路科技有限公司 一种基于深度学习的交通标识牌检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621747B2 (en) * 2016-11-15 2020-04-14 Magic Leap, Inc. Deep learning system for cuboid detection
CN111274970A (zh) * 2020-01-21 2020-06-12 南京航空航天大学 一种基于改进YOLO v3算法的交通标志检测方法
CN113343903A (zh) * 2021-06-28 2021-09-03 成都恒创新星科技有限公司 一种自然场景下的车牌识别方法及系统

Also Published As

Publication number Publication date
CN113723377A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN110298266B (zh) 基于多尺度感受野特征融合的深度神经网络目标检测方法
Hu et al. Pavement crack detection method based on deep learning models
CN110097044B (zh) 基于深度学习的一阶段车牌检测识别方法
CN110263706B (zh) 一种雾霾天气车载视频动态目标检测和识别的方法
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN114118124B (zh) 图像检测方法和装置
CN113052106B (zh) 一种基于PSPNet网络的飞机起降跑道识别方法
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN114092917B (zh) 一种基于mr-ssd的被遮挡交通标志检测方法及系统
CN114495029A (zh) 一种基于改进YOLOv4的交通目标检测方法及系统
CN110807384A (zh) 低能见度下的小目标检测方法和系统
CN108615401B (zh) 基于深度学习的室内非均匀光线车位状况识别方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN115187844A (zh) 基于神经网络模型的图像识别方法、装置及终端设备
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN116597326A (zh) 一种基于改进YOLOv7算法的无人机航拍小目标检测方法
CN114820679A (zh) 图像标注方法、装置、电子设备和存储介质
CN113269119B (zh) 一种夜间车辆检测方法及装置
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN111967287A (zh) 一种基于深度学习的行人检测方法
CN115761223A (zh) 一种利用数据合成的遥感影像实例分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant