CN114882469B - 一种基于dl-ssd模型的交通标志检测方法及系统 - Google Patents
一种基于dl-ssd模型的交通标志检测方法及系统 Download PDFInfo
- Publication number
- CN114882469B CN114882469B CN202210359011.3A CN202210359011A CN114882469B CN 114882469 B CN114882469 B CN 114882469B CN 202210359011 A CN202210359011 A CN 202210359011A CN 114882469 B CN114882469 B CN 114882469B
- Authority
- CN
- China
- Prior art keywords
- feature
- traffic sign
- layer
- convolution
- ssd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 230000002776 aggregation Effects 0.000 claims abstract description 14
- 238000004220 aggregation Methods 0.000 claims abstract description 14
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000007717 exclusion Effects 0.000 claims 1
- 238000000513 principal component analysis Methods 0.000 abstract 2
- 238000012545 processing Methods 0.000 description 4
- 108010003272 Hyaluronate lyase Proteins 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于DL‑SSD模型的交通标志检测方法及系统，对预先获取的交通标志原始图像进行标记，生成标签文件，利用原始的SSD目标检测框架的主干网络进行特征提取，同时在主干网络前三层浅层网络的特征图和后三层扩张卷积层添加两个分支；将浅层网络提取到的特征输入到跨尺度聚合特征融合方法Ca‑FPN特征融合方式得到高分辨特征图；在每个扩张卷积层中使用通道注意力机制位置通道注意力机制PCA，提取到不同分辨率的特征图；在特征图的每个位置生成多个候选框；设置特定阈值排除置信度的候选框，从而确定交通标志位置，同时使用softmax分类函数进行交通标志分类。本发明可用于检测并识别图像中的交通标识和位置，同时对交通标识的小目标检测也具有较好的鲁棒性。
Description
技术领域
本发明属于语义分割、图像处理及智能驾驶领域，具体涉及一种基于DL-SSD模型的交通标志检测方法及系统。
背景技术
交通标志图像识别已经成为近些年来计算机视觉、图像处理、模式是被等领域的热点研究方向。交通标志识别技术已经有着十分重要的研究与应用价值。目前，在训练交通标志模型时，常用方式为：将自然场景图像作为训练样本，对卷积神经网络进行训练，得到交通标志图像识别模型，通过图片像素的标注从而识别出图像中不同的类别。随着智能化系统被应用到车辆驾驶领域中，越来越多的车辆上配置了能够实现自动驾驶功能或者辅助驾驶功能的智能系统。
在最新的交通标志图像识别模型进行检测时会出现：(1)考虑不到环境对交通标志检测效果的影响；(2)在训练时由于自然场景的影响使得神经网络对交通标识图像语义特征提取效果较差，从而会直接导致训练出来的模型对交通标志识别的准确度降低。因此需要一种针对自然场景中的交通标志图像可能出现磨损、遮挡等情况，依然能提高交通标志检测准确度的检测方法。
发明内容
发明目的：针对现阶段相关交通标志检测框架检测的效果不佳，检测精度不够的情况，提供一种基于DL-SSD模型的交通标志检测方法及系统。
技术方案：本发明提供一种基于DL-SSD模型的交通标志检测方法，包括以下步骤：
(1)对预先获取的交通标志原始图像进行标记，生成标签文件；
(2)将标签文件和原始图像进行预处理输入到DL-SSD目标检测主干网络进行特征提取；
(3)使用DL-SSD目标检测主干网络前三层卷积层提取到不同尺度的特征图添加第一个分支进行特征融合；所述第一个分支采用跨尺度聚合特征融合方法Ca-FPN特征融合方式；
(4)使用主干网络后三层扩张卷积层添加第二个分支位置通道注意力机制PCA的运算进行特征提取；
(5)第一分支和第二分支生成不同尺度的特征图，在特征图的每个位置生成多个候选框；
(6)设置特定阈值排除置信度的候选框，从而确定交通标志位置，同时使用softmax分类函数进行交通标志分类。
进一步地，步骤(2)所述的DL-SSD目标检测主干网络为VGG16的卷积层，将VGG16的两层全连接层替换为卷积层，同时之后添加三个扩张卷积层，使用分别为1、2、4扩展参数的扩张卷积将原先3×3的视野分别调整为3×3、7×7和15×15便于进行特征提取。
进一步地，所述步骤(3)实现过程如下：
前三层卷积层分别为Fc7层、Conv8_2层、Conv9_2层，这三层所提取到对应特征图为R1、R2、R3，且三个特征图R1、R2、R3特征尺度不一的；将特征图R1、R2、R3的结点作为输入，不同的特征结点进行相互连接，将同尺度的特征节点实现跳跃输入连接，确保将尺度小的特征图也能够融合到尺度较大的特征图中，同时将第三层结点的输入连接少于2个的结点进行移除；最后将Ca-FPN特征融合效果输出，用1×1的卷积进行处理输出特征图为RC1。
进一步地，所述步骤(4)实现过程如下：
后三层扩张卷积层分别为Dconv10、Dconv11和Dconv12对应提取的特征图为D1、D2、D3，将D1、D2、D3作为第二个分支的输入，每个特征图添加位置通道注意力机制PCA的运算需要满足公式：
其中，Uc表示c个特征映射在(i，j)位置上的通道特征值，表示特征图大小为H×W的c个特征映射在卷积核(i，j)位置上的通道权重进行矩阵相乘，根据通道权重来获取每个位置的信息，增强其特征表现能力；D1、D2、D3通过PCA产生的特征图分别为DC1、DC2、DC3作为下一阶段的输入。
进一步地，步骤(5)所述的特征图根据标签文件和训练图片的类别生成多个位置不一的候选框区域，并同时输入到最终的检测层进行分类回归。
基于相同的发明构思，本发明还提供一种基于DL-SSD模型的交通标志检测系统，包括：
图像预处理模块：读预先获取车载记录仪拍摄视频中的交通标志原始图像，标记图像中交通标志位置，生成标签文件；
特征提取模块：将交通标志标记图像输入到DL-SSD模型中，通过多个卷积层和三个扩张卷积运算得到多个不同尺度的具有交通标志目标的特征图；
跨尺度聚合特征融合模块：使用DL-SSD目标检测主干网络前三层卷积提取到不同尺度的特征图添加采用跨尺度聚合特征融合方法Ca-FPN特征融合方式的第一个分支进行特征融合；
位置通道注意力机制模块：使用主干网络后三层扩张卷积层添加第二个分支位置通道注意力机制PCA的运算进行特征提取；
交通标志检测和可视化模块：将训练好的可以识别交通标志的权重文件，对交通视频和图像进行检测，实时检测到交通标志的位置信息和对应的交通标志的类别同时给出相关的准确度信息生成对应的检测图像。
有益效果：与现有技术相比，本发明的有益效果：1、通过改进SSD目标检测模型主干网络后三层的卷积层替换成扩展卷积，扩大图像的感受野；2、第一个分支采用跨尺度聚合特征融合方法Ca-FPN达到不同尺度特征结点进行连接的效果；3、使用位置通道注意力机制PCA将后三层通过扩展卷积操作得到的特征图进行权重矩阵相乘得到局部特征；4、改进后的DL-SSD目标检测模型对比原来的SSD框架的平均精度AP(Average Precision)提升了8个百分点；5、本发明针对自然场景中的交通标志图像可能出现磨损、遮挡等情况，对交通标志的检测也非常准确。
附图说明
图1是基于DL-SSD模型的交通标志检测方法的流程图；
图2是本发明提出的基于DL-SSD目标检测模型示意图；
图3是位置通道注意力机制PCA的模型结构示意图；
图4是采用DL-SSD目标检测模型后得到的检测的公认的指标数据值；
图5是采用DL-SSD目标检测模型后得到的检测交通标识效果图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本实施方式中涉及大量变量，现将各变量作如下说明。如表1所示。
表1 变量说明表
| 变量 | 变量说明 |
| Fc7 | 3×3，通道数为1024的卷积核 |
| Conv8_2 | 1×1，通道数为1024的卷积核 |
| Conv9_2 | 1×1，通道数为256的卷积核 |
| R1 | Fc7层提取到的特征图 |
| R2 | Conv8_2层提取到的特征图 |
| R3 | Conv9_2层提取到的特征图 |
| RC1 | 通过Ca-FPN特征融合得到的特征图 |
| Dconv10 | 3×3，扩展率为1×1，通道数为512的卷积核 |
| Dconv11 | 1×1，扩展率为3×3，通道数为128的卷积核 |
| Dconv12 | 1×1，扩展率为5×5，通道数为128的卷积核 |
| D1 | Dconv10层提取到的特征图 |
| D2 | Dconv11层提取到的特征图 |
| D3 | Dconv12层提取到的特征图 |
| DC1 | 特征图D1通过PCA处理后的特征图 |
| DC2 | 特征图D2通过PCA处理后的特征图 |
| DC3 | 特征图D3通过PCA处理后的特征图 |
本发明提供一种基于DL-SSD模型的交通标志检测方法，通过采集交通标志图像并进行标记制作成交通标志数据集，利用原始的SSD目标检测框架的主干网络进行特征提取，同时在主干网络前三层浅层网络的特征图和后三层扩张卷积(Dilation Conv)层添加两个分支；将浅层网络提取到的特征输入到跨尺度聚合特征融合方法Ca-FPN(Cross-scaleaggregation feature pyramid)特征融合方式得到高分辨特征图；在每个扩张卷积(Dilation Conv)层中使用通道注意力机制位置通道注意力机制PCA(position-channelattention)，从而增强特征通道对小目标的交通标志特征的提取效果；提取到不同分辨率的特征图，每个特征图都会生成若干大小不一的候选框，通过非极大值抑制和softmax分类函数可以保留最符合要求的候选框并进行交通标识的类别分类。如图1所示，具体包括以下步骤：
步骤1：预先获取车载记录仪拍摄视频中的交通标志图像，用labelme软件标记图像中交通标志位置，生成标签文件。
将截取的车载记录仪拍摄的交通标示原始图像进行预处理是将图像尺寸设置为[300,300]像素大小。
步骤2：将标签文件和原始图像进行预处理输入到DL-SSD目标检测主干网络进行特征提取。
DL-SSD目标检测主干网络为VGG16的卷积层，将VGG16的两层全连接层替换为卷积层，同时之后添加三个扩张卷积(Dilation Conv)层，使用分别为1、2、4扩展参数的扩张卷积将原先3×3的视野分别调整为3×3、7×7和15×15便于进行特征提取。
步骤3：使用DL-SSD目标检测主干网络前三层卷积提取到不同尺度的特征图添加第一个分支进行特征融合。
前三层卷积层分别为Fc7层、Conv8_2层、Conv9_2层，这三层所提取到对应特征图为R1、R2、R3，且三个特征图R1、R2、R3特征尺度不一的。第一个分支采用跨尺度聚合特征融合方法Ca-FPN(Cross-scale aggregation feature pyramid)特征融合方式，具体步骤如下，将特征图R1、R2、R3的结点作为输入，不同的特征结点进行相互连接，将同尺度的特征节点实现跳跃输入连接，确保将尺度小的特征图也能够融合到尺度较大的特征图中，同时将第三层结点的输入连接少于2个的结点进行移除。最后将Ca-FPN特征融合效果输出，用1×1的卷积进行处理输出特征图为RC1。
步骤4：使用主干网络后三层扩张卷积(Dilation Conv)层添加第二个分支，该分支结合通道注意力机制进行特征提取。
后三层扩张卷积(Dilation Conv)层分别为Dconv10、Dconv11和Dconv12对应提取的特征图为D1、D2、D3，将D1、D2、D3作为第二个分支的输入，每个特征图添加位置通道注意力机制PCA(position-channel attention)的运算需要满足一下的公式：
其中，Uc表示c个特征映射在(i，j)位置上的通道特征值，表示特征图大小为H×W的c个特征映射在卷积核(i，j)位置上的通道权重进行矩阵相乘，根据通道权重来获取每个位置的信息，从而增强其特征表现能力。D1、D2、D3通过PCA产生的特征图分别为DC1、DC2、DC3作为下一阶段的输入。位置通道注意力机制PCA的模型结构如图3所示，特征图D1、D2、D3的输入到PCA层，其特征图的大小为H×W×Cn，其中Cn为D1、D2、D3提取到的特征图的特征通道数，将特征通过卷积层和平均池化层进行处理后，在进行ReLu激活函数进行激活，同时在另一个分支进行位置通道矩阵相乘，再通过C×C的位置通道注意力权重相乘进行通道矫正，得到激活和矫正的特征图再进行像素点的相乘和相加得到处理后的H×W×Cn的特征图。
步骤5：第一分支和第二分支生成不同尺度的特征图，在特征图的每个位置生成多个候选框。
第一分支输出的特征图RC1和第二分支的输出特征图DC1、DC2、DC3会根据标签文件和训练图片的类别生成多个位置不一的候选框区域(bbox)，并同时输入到最终的检测层进行分类回归。
步骤6：设置特定阈值排除置信度的候选框，从而确定交通标志位置，同时使用softmax分类函数进行交通标志分类。
设置Iou(Intersection over Union)特定阈值将一部分重合或者不正确的候选框bbox排除，保留置信度高的候选框，最终完成交通标志的位置确定。通过softmax函数进行交通标志类别分类。在进行目标检测时会生成非常多的候选框区域(bbox)，当出现交通标志目标时，会出现很多的框选中该目标，设定相关的Iou(Intersection over Union)的阈值目的是为了排除那些预选框中Iou较小的候选框，保留能够检测交通标志的候选框。
将改进的DL-SSD目标检测框架与原始的SSD目标检测框架同时训练中国交通标志数据集(CCTSDB)中标注的3500张图片得到可以检测交通标志的权重文件，将训练好的权重文件通过中国交通标志数据集划分10％的数据进行检测，检测mAP(mean AveragePrecision)指标如图4所示，得到对应的mandatory，warning，prohibitory的mAP分别为79％，87％和89％，对比原始的SSD目标检测框架在平均精度mAP提升了6个百分点，现在的精度在85％左右。
本发明还提出一种基于DL-SSD模型的交通标志检测系统，如图2所示，包括：
图像预处理模块：读预先获取车载记录仪拍摄视频中的交通标志原始图像，标记图像中交通标志位置，生成标签文件；
特征提取模块：将交通标志标记图像输入到DL-SSD模型中，通过多个卷积层和三个扩张卷积运算得到多个不同尺度的具有交通标志目标的特征图；
跨尺度聚合特征融合模块：使用DL-SSD目标检测主干网络前三层卷积提取到不同尺度的特征图添加采用跨尺度聚合特征融合方法Ca-FPN特征融合方式的第一个分支进行特征融合；
位置通道注意力机制模块：使用主干网络后三层扩张卷积层添加第二个分支位置通道注意力机制PCA的运算进行特征提取；
交通标志检测和可视化模块：将训练好的可以识别交通标志的权重文件，对交通视频和图像进行检测，实时检测到交通标志的位置信息和对应的交通标志的类别同时给出相关的准确度信息生成对应的检测图像，如图5所示。
Claims (3)
1.一种基于DL-SSD模型的交通标志检测方法，其特征在于，包括以下步骤：
(1)对预先获取的交通标志原始图像进行标记，生成标签文件；
(2)将标签文件和原始图像进行预处理输入到DL-SSD目标检测主干网络进行特征提取；
(3)使用DL-SSD目标检测主干网络前三层卷积层提取到不同尺度的特征图添加第一个分支进行特征融合；所述第一个分支采用跨尺度聚合特征融合方法Ca-FPN特征融合方式；
(4)使用主干网络后三层扩张卷积层添加第二个分支位置通道注意力机制PCA的运算进行特征提取；
(5)第一分支和第二分支生成不同尺度的特征图，在特征图的每个位置生成多个候选框；
(6)设置特定阈值排除置信度的候选框，从而确定交通标志位置，同时使用softmax分类函数进行交通标志分类；
步骤(2)所述的DL-SSD目标检测主干网络为VGG16的卷积层，将VGG16的两层全连接层替换为卷积层，同时之后添加三个扩张卷积层，使用分别为1、2、4扩展参数的扩张卷积将原先3×3的视野分别调整为3×3、7×7和15×15便于进行特征提取；
所述步骤(3)实现过程如下：
前三层卷积层分别为Fc7层、Conv8_2层、Conv9_2层，这三层所提取到对应特征图为R1、R2、R3，且三个特征图R1、R2、R3特征尺度不一的；将特征图R1、R2、R3的结点作为输入，不同的特征结点进行相互连接，将同尺度的特征节点实现跳跃输入连接，确保将尺度小的特征图也能够融合到尺度较大的特征图中，同时将第三层结点的输入连接少于2个的结点进行移除；最后将Ca-FPN特征融合效果输出，用1×1的卷积进行处理输出特征图为RC1；
所述步骤(4)实现过程如下：
后三层扩张卷积层分别为Dconv10、Dconv11和Dconv12对应提取的特征图为D1、D2、D3，将D1、D2、D3作为第二个分支的输入，每个特征图添加位置通道注意力机制PCA的运算需要满足公式：
其中，Uc表示c个特征映射在(i，j)位置上的通道特征值，表示特征图大小为H×W的c个特征映射在卷积核(i，j)位置上的通道权重进行矩阵相乘，根据通道权重来获取每个位置的信息，增强其特征表现能力；D1、D2、D3通过PCA产生的特征图分别为DC1、DC2、DC3作为下一阶段的输入。
2.根据权利要求1所述的一种基于DL-SSD模型的交通标志检测方法，其特征在于，步骤(5)所述的特征图根据标签文件和训练图片的类别生成多个位置不一的候选框区域，并同时输入到最终的检测层进行分类回归。
3.一种采用权利要求1-2任一所述方法的基于DL-SSD模型的交通标志检测系统，其特征在于，包括：
图像预处理模块：读预先获取车载记录仪拍摄视频中的交通标志原始图像，标记图像中交通标志位置，生成标签文件；
特征提取模块：将交通标志标记图像输入到DL-SSD模型中，通过多个卷积层和三个扩张卷积运算得到多个不同尺度的具有交通标志目标的特征图；
跨尺度聚合特征融合模块：使用DL-SSD目标检测主干网络前三层卷积提取到不同尺度的特征图添加采用跨尺度聚合特征融合方法Ca-FPN特征融合方式的第一个分支进行特征融合；
位置通道注意力机制模块：使用主干网络后三层扩张卷积层添加第二个分支位置通道注意力机制PCA的运算进行特征提取；
交通标志检测和可视化模块：将训练好的可以识别交通标志的权重文件，对交通视频和图像进行检测，实时检测到交通标志的位置信息和对应的交通标志的类别同时给出相关的准确度信息生成对应的检测图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210359011.3A CN114882469B (zh) | 2022-04-07 | 2022-04-07 | 一种基于dl-ssd模型的交通标志检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210359011.3A CN114882469B (zh) | 2022-04-07 | 2022-04-07 | 一种基于dl-ssd模型的交通标志检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114882469A CN114882469A (zh) | 2022-08-09 |
| CN114882469B true CN114882469B (zh) | 2023-08-25 |
Family
ID=82668923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210359011.3A Active CN114882469B (zh) | 2022-04-07 | 2022-04-07 | 一种基于dl-ssd模型的交通标志检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114882469B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593514B (zh) * | 2023-12-08 | 2024-05-24 | 耕宇牧星(北京)空间科技有限公司 | 一种基于深层主成分分析辅助的图像目标检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368787A (zh) * | 2017-06-16 | 2017-11-21 | 长安大学 | 一种面向深度智驾应用的交通标志识别算法 |
| CN109815953A (zh) * | 2019-01-30 | 2019-05-28 | 电子科技大学 | 一种基于车辆年检标的车辆识别匹配系统 |
| CN110197152A (zh) * | 2019-05-28 | 2019-09-03 | 南京邮电大学 | 一种用于自动驾驶系统的道路目标识别方法 |
| CN111199217A (zh) * | 2020-01-09 | 2020-05-26 | 上海应用技术大学 | 一种基于卷积神经网络的交通标志识别方法和系统 |
| CN114092917A (zh) * | 2022-01-10 | 2022-02-25 | 南京信息工程大学 | 一种基于mr-ssd的被遮挡交通标志检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487848B (zh) * | 2019-09-12 | 2024-04-26 | 京东方科技集团股份有限公司 | 文字识别方法和终端设备 |
-
2022
- 2022-04-07 CN CN202210359011.3A patent/CN114882469B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368787A (zh) * | 2017-06-16 | 2017-11-21 | 长安大学 | 一种面向深度智驾应用的交通标志识别算法 |
| CN109815953A (zh) * | 2019-01-30 | 2019-05-28 | 电子科技大学 | 一种基于车辆年检标的车辆识别匹配系统 |
| CN110197152A (zh) * | 2019-05-28 | 2019-09-03 | 南京邮电大学 | 一种用于自动驾驶系统的道路目标识别方法 |
| CN111199217A (zh) * | 2020-01-09 | 2020-05-26 | 上海应用技术大学 | 一种基于卷积神经网络的交通标志识别方法和系统 |
| CN114092917A (zh) * | 2022-01-10 | 2022-02-25 | 南京信息工程大学 | 一种基于mr-ssd的被遮挡交通标志检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于注意力机制和特征融合的SSD目标检测算法;高建瓴等;《软件》;第41卷(第2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114882469A (zh) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN105046196B (zh) | 基于级联卷积神经网络的前车车辆信息结构化输出方法 | |
| CN109583483B (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
| CN111967313B (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
| CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
| CN111582339B (zh) | 一种基于深度学习的车辆检测与识别的方法 | |
| CN109086803B (zh) | 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法 | |
| CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
| CN113762209A (zh) | 一种基于yolo的多尺度并行特征融合路标检测方法 | |
| CN111539980B (zh) | 一种基于可见光的多目标追踪方法 | |
| CN113989794B (zh) | 一种车牌检测和识别方法 | |
| CN113449632B (zh) | 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车 | |
| CN110929746A (zh) | 一种基于深度神经网络的电子卷宗标题定位提取与分类方法 | |
| CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
| CN111274926A (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
| CN114913498A (zh) | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 | |
| CN114882469B (zh) | 一种基于dl-ssd模型的交通标志检测方法及系统 | |
| CN114332942A (zh) | 基于改进YOLOv3的夜间红外行人检测方法及系统 | |
| CN115294483A (zh) | 输电线路复杂场景的小目标识别方法及系统 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN115223114A (zh) | 一种基于双向融合特征金字塔的端到端车辆姿态估计方法 | |
| CN106920398A (zh) | 一种智能车牌识别系统 | |
| CN110533034B (zh) | 一种汽车前脸品牌分类方法 | |
| CN113870311A (zh) | 一种基于深度学习的单目标跟踪方法 | |
| CN111640071A (zh) | 基于卷积神经网络修复帧差法获取全景前景目标的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20220809 Assignee: Jiangsu Kesheng Xuanyi Technology Co.,Ltd. Assignor: HUAIYIN INSTITUTE OF TECHNOLOGY Contract record no.: X2023980048436 Denomination of invention: A Traffic Sign Detection Method and System Based on DL-SSD Model Granted publication date: 20230825 License type: Common License Record date: 20231129 |
|
| EE01 | Entry into force of recordation of patent licensing contract |