CN111767878A - 嵌入式设备中基于深度学习的交通标志检测方法及系统 - Google Patents
嵌入式设备中基于深度学习的交通标志检测方法及系统 Download PDFInfo
- Publication number
- CN111767878A CN111767878A CN202010634897.9A CN202010634897A CN111767878A CN 111767878 A CN111767878 A CN 111767878A CN 202010634897 A CN202010634897 A CN 202010634897A CN 111767878 A CN111767878 A CN 111767878A
- Authority
- CN
- China
- Prior art keywords
- feature
- network
- traffic sign
- deep
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000013135 deep learning Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 230000001629 suppression Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 101100388071 Thermococcus sp. (strain GE8) pol gene Proteins 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于人工智能计算机视觉领域，具体涉及一种嵌入式设备中基于深度学习的交通标志检测方法及系统、装置，旨在解决现有检测方法在嵌入式设备中运行时无法兼顾检测精度与效率的问题。本发明包括：通过改进的特征提取网络提取输入图像的浅层特征图；通过辅助卷积网络将浅层特征图生成不同尺度的深层特征图；通过特征融合网络融合浅层特征与深层特征；通过改进的分类检测器结合非极大值抑制，获取在原输入图像上显示的交通标示的类别和检测框。本发明通过轻量级的MobileNet提取浅层特征，通过辅助网络提取深层特征，融合浅层特征与深层特征进行分类检测，在保证检测精度的基础上大大提升了检测效率，在运算能力有限的嵌入式设备中也能取得很好的效果。
Description
技术领域
本发明属于人工智能计算机视觉领域，具体涉及一种嵌入式设备中基于深度学习的交通标志检测方法及系统、装置。
背景技术
随着我国居民生活水平的日益提高，我国的汽车保有量也与日俱增，随之也引发生了一系列的交通问题，比如：道路拥挤、交通事故频发等，在给驾驶员带来极差的驾驶体验的同时，也极大地影响着驾驶员的安全。交通标志检测系统可以辅助驾驶员驾驶，并能在驾驶过程中对驾驶员进行预警，进而提高驾驶员的驾驶体验，减少交通事故的发在生。
嵌入式设备由于成本低、体积小等优势，被应用在了生活的多个方面，如果能将交通标志检测应用于嵌入式设备中，能够极大的降低交通标志检测系统的成本，有助于交通标志检测系统在家用轿车等领域的普及。
传统的交通标志的检测方法主要是分为两个过程：图像候选区域的提取和二分类。候选区域的提取主要是根据交通标志的颜色、图像等相关特征从原始图像中定位出包含有目标交通标志的区域。二分类主要是对定位的候选区域进行判断，判断出该区域是属于图像的前景区域还是背景区域，但是传统的基于颜色和形状的交通标志检测方法受环境的影像较大，鲁棒性差，而且识别的交通标志种类较少，不适合在复杂场景中应用，基于深度学习的交通标志检测方法将检测和识别过程作为统一的分类或回归问题来处理，采用端到端的方式进行训练，极大地降低了提取图像特征的难度，并且识别的种类较多，适合在复杂场景中的应用。
深度学习检测算法主要分为两大类：一类是以Faster-RCNN为代表的两阶段目标检测算法，算法采用了基于候选区域提取的方法，用区域提取算法RPN来对前景和背景进行区分并生成候选区域，送入到后续网络进行位置预测和分类，所以算法的检测精度较高，但是实时性较低；另一类是以SSD和YOLO为代表的一阶段目标检测算法，算法采用直接回归的方式进行位置预测和分类，所以算法的检测精度较两阶段网络略低，但是实时性较好。
然而，嵌入式设备的运算能力有限，即使是实时性较好的一阶段网络，由于其网络参数量还是较多、网络结构也比较复杂，因此，一阶段网络在嵌入式设备中运行的实时性还远远达不到要求。若进一步降低网络复杂度，则检测的精度也会出现急剧下降。
发明内容
为了解决现有技术中的上述问题，即现有交通标志检测方法在嵌入式设备中运行时无法兼顾检测精度与效率的问题，本发明提出了一种嵌入式设备中基于深度学习的交通标志检测方法，该检测方法包括：
步骤A10，获取包含交通标志的图像作为输入图像；
步骤A20，基于所述输入图像，通过改进的特征提取网络进行浅层特征提取，获得输入图像的浅层特征图；
步骤A30，基于设定的卷积层构建辅助卷积网络，并通过所述辅助卷积网络将所述浅层特征图生成不同尺度的深层特征图；
步骤A40，通过特征融合网络分别进行不同尺度的深层特征图中每一个深层特征图与所述浅层特征图的特征融合，获得不同尺度的融合特征图；
步骤A50，基于所述不同尺度的融合特征图，通过改进的检测分类器获取交通标志的预测候选框以及各候选框对应的类别分数、框偏移量；
步骤A60，基于所述预测候选框以及各候选框对应的类别分数、框偏移量，通过非极大值抑制获取交通标志的类别和检测框。
在一些优选的实施例中，所述改进的特征提取网络为将MobileNet网络的AvgPool层、FC层和Softmax层删除后的用于特征提取的网络。
在一些优选的实施例中，步骤A30中“基于设定的卷积层构建辅助卷积网络”，其方法为：
通过顺次连接的卷积层Conv1、卷积层Conv2、卷积层Conv3、卷积层Conv4、卷积层Conv5和卷积层Conv6构建辅助卷积网络。
在一些优选的实施例中，所述辅助卷积网络的各卷积层，其卷积核尺度分别为：
所述卷积层Conv1、卷积层Conv3、卷积层Conv4和卷积层Conv6的卷积核尺度为3×3；
所述卷积层Conv2和卷积层Conv5的卷积核尺度为1×1。
在一些优选的实施例中，步骤A40包括：
步骤A41，通过特征融合网络进行所述卷积层Conv1输出的特征图的池化操作，获得第一特征图；
步骤A42，将所述第一特征图与所述卷积层Conv3输出的特征图进行add操作，获得第二特征图；
步骤A43，通过卷积层Conv4进行所述第二特征图的卷积后，通过特征融合网络进行均值池化操作，获得第三特征图；
步骤A44，将所述第三特征图与所述卷积层Conv6输出的特征图进行add操作，获得第四特征图；
步骤A45，所述第一特征图、第二特征图、第三特征图和第四特征图为不同尺度的融合特征图。
在一些优选的实施例中，所述改进的检测分类器包括所述改进的特征提取网络的特征层Mobile11和特征层Mobile13以及所述辅助卷积网络的卷积层Conv4和卷积层Conv6。
本发明的另一方面，提出了一种嵌入式设备中基于深度学习的交通标志检测系统，该交通标志检测系统包括输入模块、浅层特征提取模块、深层特征提取模块、特征融合模块、检测分类模块、候选框筛选模块、输出模块；
所述输入模块，配置为获取包含交通标志的图像作为输入图像并输入至浅层特征提取模块；
所述浅层特征提取模块，配置为基于所述输入图像，通过改进的特征提取网络进行浅层特征提取，获得输入图像的浅层特征图；
所述深层特征提取模块，配置为基于设定的卷积层构建辅助卷积网络，并通过所述辅助卷积网络将所述浅层特征图生成不同尺度的深层特征图；
所述特征融合模块，配置为分别进行不同尺度的深层特征图中每一个深层特征图与所述浅层特征图的特征融合，获得不同尺度的融合特征图；
所述检测分类模块，配置为基于所述不同尺度的融合特征图，通过改进的检测分类器获取交通标志的预测候选框以及各候选框对应的类别分数、框偏移量；
所述候选框筛选模块，配置为基于所述预测候选框以及各候选框对应的类别分数、框偏移量，通过非极大值抑制获取交通标志的类别和检测框；
所述输出模块，配置为输出获取的交通标志的类别和检测框。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的嵌入式设备中基于深度学习的交通标志检测方法。
本发明的第四方面，提出了一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的嵌入式设备中基于深度学习的交通标志检测方法。
本发明的有益效果：
(1)本发明嵌入式设备中基于深度学习的交通标志检测方法，将基础特征提取层采用轻量级MobileNet网络替代原SSD网络中的VGG16，输入交通标志的图像运用轻量级MobileNet网络，利用深度可分离的卷积方式对图形进行训练得到不同尺寸的交通标志特征图，降低了提取特征图像的难度，能快速提取交通标志特征层。
(2)本发明嵌入式设备中基于深度学习的交通标志检测方法，采用辅助卷积网络产生用于检测分类任务的不同尺度特征层，可以更好的提取深层特征和生成不同尺度的特征图。
(3)本发明嵌入式设备中基于深度学习的交通标志检测方法，将不同尺度特征图采用特征融合的方式进行深层特征和浅层特征融合，在训练中提升检测和分割的性能，提升网络对交通标志的检测精度，识别的交通标志的种类多，适合在复杂场景中应用。
(4)本发明嵌入式设备中基于深度学习的交通标志检测方法，通过重新设计检测分类器，提高对交通标志检测的精度及实时性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明嵌入式设备中基于深度学习的交通标志检测方法一种实施例的网络结构示意图；
图2是本发明嵌入式设备中基于深度学习的交通标志检测方法一种实施例的特征提取网络结构图；
图3是本发明嵌入式设备中基于深度学习的交通标志检测方法一种实施例的辅助卷积网络结构图；
图4是本发明嵌入式设备中基于深度学习的交通标志检测方法一种实施例的特征融合网络结构图；
图5是本发明嵌入式设备中基于深度学习的交通标志检测方法一种实施例的检测分类器结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明，可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定，另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种嵌入式设备中基于深度学习的交通标志检测方法，采用轻量级MobileNet网络替代原SSD网络中的VGG16，提取图像的浅层特征，根据交通标志在图像中较小的特点设计辅助卷积网络分别提取图像不同尺度的深层特征，并通过特征融合网络进行浅层特征和深层特征的融合，最后改进检测分类器，结合非极大值抑制获取最终的交通标志的类别和检测框，在保证检测精度的基础上大大提升了检测效率，在运算能力有限的嵌入式设备中也能取得很好的效果。
本发明的一种嵌入式设备中基于深度学习的交通标志检测方法，该交通标志检测方法包括：
步骤A10，获取包含交通标志的图像作为输入图像；
步骤A20，基于所述输入图像，通过改进的特征提取网络进行浅层特征提取，获得输入图像的浅层特征图；
步骤A30，基于设定的卷积层构建辅助卷积网络，并通过所述辅助卷积网络将所述浅层特征图生成不同尺度的深层特征图；
步骤A40，通过特征融合网络分别进行不同尺度的深层特征图中每一个深层特征图与所述浅层特征图的特征融合，获得不同尺度的融合特征图；
步骤A50，基于所述不同尺度的融合特征图，通过改进的检测分类器获取交通标志的预测候选框以及各候选框对应的类别分数、框偏移量；
步骤A60，基于所述预测候选框以及各候选框对应的类别分数、框偏移量，通过非极大值抑制获取交通标志的类别和检测框。
为了更清晰地对本发明嵌入式设备中基于深度学习的交通标志检测方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明一种实施例的基于组合模型的文本情感分析方法，包括步骤A10-步骤A60，各步骤详细描述如下：
步骤A10，获取包含交通标志的图像作为输入图像。
本发明一个实施例中，对输入的带有交通标志的图像进行下采样，使图像的大小变为(300×300)像素，输入图像是通道数为3的RGB三色图。
步骤A20，基于所述输入图像，通过改进的特征提取网络进行浅层特征提取，获得输入图像的浅层特征图。
本发明一个实施例中，改进的特征提取网络采用的是轻量级MobileNet网络，代替原SSD网络中的VGG16。本发明去掉了MobileNet后三层：AvgPool层、FC层和Softmax层，保留了之前的层次。
经过不断的Depthwise卷积和Pointwise卷积来提取输入图像的特征。
如图2所示，为本发明嵌入式设备中基于深度学习的交通标志检测方法一种实施例的特征提取网络结构图，MobileNet网络去除AvgPool层、FC层和Softmax层后，包括了顺次连接的Mobile0、Mobile1、Mobile2-3、Mobile4-5、Mobile6-11、Mobile12-13(即多个Depthwise卷积层和Pointwise卷积层)，输入的(300×300×3)的图像经过一系列的深度可分离卷积操作后，输出(10×10×1024)的浅层特征图。
步骤A30，基于设定的卷积层构建辅助卷积网络，并通过所述辅助卷积网络将所述浅层特征图生成不同尺度的深层特征图。
由于交通标志尺寸普遍较小，本发明添加了顺次连接的卷积层Conv1、卷积层Conv2、卷积层Conv3、卷积层Conv4、卷积层Conv5和卷积层Conv6构建的辅助卷积网络，用来更好的提取特征和生成不同尺度的特征图。如图3所示，为本发明嵌入式设备中基于深度学习的交通标志检测方法一种实施例的辅助卷积网络结构图，辅助网络包括顺次连接的卷积层Conv1、卷积层Conv2、卷积层Conv3、卷积层Conv4、卷积层Conv5和卷积层Conv6，其中，卷积层Conv1、卷积层Conv3、卷积层Conv4和卷积层Conv6的卷积核尺度为3×3；卷积层Conv2和卷积层Conv5的卷积核尺度为1×1。经过卷积后，各卷积层得到的特征图尺度分别为：(10×10×256)、(10×10×256)、(10×10×256)、(5×5×128)、(5×5×128)、(3×3×128)。这些特征图为输入图像的不同尺度的特征图。
步骤A40，通过特征融合网络分别进行不同尺度的深层特征图中每一个深层特征图与所述浅层特征图的特征融合，获得不同尺度的融合特征图。
采用特征融合的方式将浅层特征和深层特征进行融合，提升网络对物体的检测精度。
步骤A41，通过特征融合网络进行所述卷积层Conv1输出的特征图的池化操作，获得第一特征图；
步骤A42，将所述第一特征图与所述卷积层Conv3输出的特征图进行add操作，获得第二特征图；
步骤A43，通过卷积层Conv4进行所述第二特征图的卷积后，通过特征融合网络进行均值池化操作，获得第三特征图；
步骤A44，将所述第三特征图与所述卷积层Conv6输出的特征图进行add操作，获得第四特征图；
步骤A45，所述第一特征图、第二特征图、第三特征图和第四特征图为不同尺度的融合特征图。
如图4所示，为本发明嵌入式设备中基于深度学习的交通标志检测方法一种实施例的特征融合网络结构图，在进行特征融合的过程中，采用(2×2)的均值池化(mean-pooling)对卷积层Conv1输出的特征图进行池化操作，操作后输出特征图Pol1(即第一特征图)；将特征图Pol1与卷积层Conv3输出的特征图进行add操作，输出的特征图(即第二特征图)进入下一次卷积。采用(2×2)的均值池化(mean-pooling)对卷积层Conv4输出的特征图进行池化操作，操作后输出特征图Pol2(即第三特征图)；将特征图Pol2与卷积层Conv6进行add操作，输出的特征图(即第四特征图)进入下一卷积。
步骤A50，基于所述不同尺度的融合特征图，通过改进的检测分类器获取交通标志的预测候选框以及各候选框对应的类别分数、框偏移量。
如图5所示，为本发明嵌入式设备中基于深度学习的交通标志检测方法一种实施例的检测分类器结构图，选取4个特征层进行检测和分类任务，选取的特征层分别为：改进的特征提取网络的特征层Mobile11和特征层Mobile13以及辅助卷积网络的卷积层Conv4和卷积层Conv6，它们对应的特征图尺度分别为：(19×19)、(10×10)、(5×5)、(3×3)。之后，对特征层预测候选框，最后，用(3×3)的小卷积过滤器用回归的方法预测一组固定的候选框和各候选框对应的类别分数和框偏移量。
步骤A60，基于所述预测候选框以及各候选框对应的类别分数、框偏移量，通过非极大值抑制获取交通标志的类别和检测框。
最终，通过分类算法获取各候选框属于每一个类别的置信度，选取置信度比较高的候选框进行非极大值抑制(NMS)，在原输入图像中显示交通标示类别和检测框。
本发明第二实施例的嵌入式设备中基于深度学习的交通标志检测系统，该交通标志检测系统包括输入模块、浅层特征提取模块、深层特征提取模块、特征融合模块、检测分类模块、候选框筛选模块、输出模块；
所述输入模块，配置为获取包含交通标志的图像作为输入图像并输入至浅层特征提取模块；
所述浅层特征提取模块，配置为基于所述输入图像，通过改进的特征提取网络进行浅层特征提取，获得输入图像的浅层特征图；
所述深层特征提取模块，配置为基于设定的卷积层构建辅助卷积网络，并通过所述辅助卷积网络将所述浅层特征图生成不同尺度的深层特征图；
所述特征融合模块，配置为分别进行不同尺度的深层特征图中每一个深层特征图与所述浅层特征图的特征融合，获得不同尺度的融合特征图；
所述检测分类模块，配置为基于所述不同尺度的融合特征图，通过改进的检测分类器获取交通标志的预测候选框以及各候选框对应的类别分数、框偏移量；
所述候选框筛选模块，配置为基于所述预测候选框以及各候选框对应的类别分数、框偏移量，通过非极大值抑制获取交通标志的类别和检测框；
所述输出模块，配置为输出获取的交通标志的类别和检测框。
需要说明的是，上述实施例提供的嵌入式设备中基于深度学习的交通标志检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的嵌入式设备中基于深度学习的交通标志检测方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的嵌入式设备中基于深度学习的交通标志检测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种嵌入式设备中基于深度学习的交通标志检测方法，其特征在于，该交通标志检测方法包括：
步骤A10，获取包含交通标志的图像作为输入图像；
步骤A20，基于所述输入图像，通过改进的特征提取网络进行浅层特征提取，获得输入图像的浅层特征图；
步骤A30，基于设定的卷积层构建辅助卷积网络，并通过所述辅助卷积网络将所述浅层特征图生成不同尺度的深层特征图；
步骤A40，通过特征融合网络分别进行不同尺度的深层特征图中每一个深层特征图与所述浅层特征图的特征融合，获得不同尺度的融合特征图；
步骤A50，基于所述不同尺度的融合特征图，通过改进的检测分类器获取交通标志的预测候选框以及各候选框对应的类别分数、框偏移量；
步骤A60，基于所述预测候选框以及各候选框对应的类别分数、框偏移量，通过非极大值抑制获取交通标志的类别和检测框。
2.根据权利要求1所述的嵌入式设备中基于深度学习的交通标志检测方法，其特征在于，所述改进的特征提取网络为将MobileNet网络的AvgPool层、FC层和Softmax层删除后的用于特征提取的网络。
3.根据权利要求1所述的嵌入式设备中基于深度学习的交通标志检测方法，其特征在于，步骤A30中“基于设定的卷积层构建辅助卷积网络”，其方法为：
通过顺次连接的卷积层Conv1、卷积层Conv2、卷积层Conv3、卷积层Conv4、卷积层Conv5和卷积层Conv6构建辅助卷积网络。
4.根据权利要求3所述的嵌入式设备中基于深度学习的交通标志检测方法，其特征在于，所述辅助卷积网络的各卷积层，其卷积核尺度分别为：
所述卷积层Conv1、卷积层Conv3、卷积层Conv4和卷积层Conv6的卷积核尺度为3×3；
所述卷积层Conv2和卷积层Conv5的卷积核尺度为1×1。
5.根据权利要求3或4所述的嵌入式设备中基于深度学习的交通标志检测方法，其特征在于，步骤A40包括：
步骤A41，通过特征融合网络进行所述卷积层Conv1输出的特征图的池化操作，获得第一特征图；
步骤A42，将所述第一特征图与所述卷积层Conv3输出的特征图进行add操作，获得第二特征图；
步骤A43，通过卷积层Conv4进行所述第二特征图的卷积后，通过特征融合网络进行均值池化操作，获得第三特征图；
步骤A44，将所述第三特征图与所述卷积层Conv6输出的特征图进行add操作，获得第四特征图；
步骤A45，所述第一特征图、第二特征图、第三特征图和第四特征图为不同尺度的融合特征图。
6.根据权利要求1所述的嵌入式设备中基于深度学习的交通标志检测方法，其特征在于，所述改进的检测分类器包括所述改进的特征提取网络的特征层Mobile11和特征层Mobile13以及所述辅助卷积网络的卷积层Conv4和卷积层Conv6。
7.一种嵌入式设备中基于深度学习的交通标志检测系统，其特征在于，该交通标志检测系统包括输入模块、浅层特征提取模块、深层特征提取模块、特征融合模块、检测分类模块、候选框筛选模块、输出模块；
所述输入模块，配置为获取包含交通标志的图像作为输入图像并输入至浅层特征提取模块；
所述浅层特征提取模块，配置为基于所述输入图像，通过改进的特征提取网络进行浅层特征提取，获得输入图像的浅层特征图；
所述深层特征提取模块，配置为基于设定的卷积层构建辅助卷积网络，并通过所述辅助卷积网络将所述浅层特征图生成不同尺度的深层特征图；
所述特征融合模块，配置为分别进行不同尺度的深层特征图中每一个深层特征图与所述浅层特征图的特征融合，获得不同尺度的融合特征图；
所述检测分类模块，配置为基于所述不同尺度的融合特征图，通过改进的检测分类器获取交通标志的预测候选框以及各候选框对应的类别分数、框偏移量；
所述候选框筛选模块，配置为基于所述预测候选框以及各候选框对应的类别分数、框偏移量，通过非极大值抑制获取交通标志的类别和检测框；
所述输出模块，配置为输出获取的交通标志的类别和检测框。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于有处理器加载并执行以实现权利要求1-6任意一项所述的嵌入式设备中基于深度学习的交通标志检测方法。
9.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的嵌入式设备中基于深度学习的交通标志检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010634897.9A CN111767878B (zh) | 2020-07-03 | 2020-07-03 | 嵌入式设备中基于深度学习的交通标志检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010634897.9A CN111767878B (zh) | 2020-07-03 | 2020-07-03 | 嵌入式设备中基于深度学习的交通标志检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111767878A true CN111767878A (zh) | 2020-10-13 |
| CN111767878B CN111767878B (zh) | 2022-11-08 |
Family
ID=72724625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010634897.9A Active CN111767878B (zh) | 2020-07-03 | 2020-07-03 | 嵌入式设备中基于深度学习的交通标志检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767878B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464982A (zh) * | 2020-10-27 | 2021-03-09 | 河北科技大学 | 基于改进ssd算法的目标检测模型、方法及应用 |
| CN112733662A (zh) * | 2020-12-31 | 2021-04-30 | 上海智臻智能网络科技股份有限公司 | 一种特征检测方法及其装置 |
| CN112818853A (zh) * | 2021-02-01 | 2021-05-18 | 中国第一汽车股份有限公司 | 一种交通要素识别方法、装置、设备及储存介质 |
| CN113011435A (zh) * | 2021-02-04 | 2021-06-22 | 精英数智科技股份有限公司 | 目标对象的图像处理方法、装置及电子设备 |
| CN113076882A (zh) * | 2021-04-03 | 2021-07-06 | 国家计算机网络与信息安全管理中心 | 一种基于深度学习的特定标志检测方法 |
| CN114495060A (zh) * | 2022-01-25 | 2022-05-13 | 青岛海信网络科技股份有限公司 | 一种道路交通标线识别方法及装置 |
| CN114915575A (zh) * | 2022-06-02 | 2022-08-16 | 电子科技大学 | 一种基于人工智能的网络流量检测装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491757A (zh) * | 2018-02-05 | 2018-09-04 | 西安电子科技大学 | 基于多尺度特征学习的光学遥感图像目标检测方法 |
| CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110378239A (zh) * | 2019-06-25 | 2019-10-25 | 江苏大学 | 一种基于深度学习的实时交通标志检测方法 |
-
2020
- 2020-07-03 CN CN202010634897.9A patent/CN111767878B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN108491757A (zh) * | 2018-02-05 | 2018-09-04 | 西安电子科技大学 | 基于多尺度特征学习的光学遥感图像目标检测方法 |
| CN109344821A (zh) * | 2018-08-30 | 2019-02-15 | 西安电子科技大学 | 基于特征融合和深度学习的小目标检测方法 |
| CN110378239A (zh) * | 2019-06-25 | 2019-10-25 | 江苏大学 | 一种基于深度学习的实时交通标志检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 朱彤: "基于深度学习的交通标志检测与识别方法研究", 《中国优秀硕士学 位论文全文数据库》 * |
| 邵毅明等: "基于加权密集连接卷积网络的快速交通标志检测", 《交通运输系统工程与信息》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464982A (zh) * | 2020-10-27 | 2021-03-09 | 河北科技大学 | 基于改进ssd算法的目标检测模型、方法及应用 |
| CN112733662A (zh) * | 2020-12-31 | 2021-04-30 | 上海智臻智能网络科技股份有限公司 | 一种特征检测方法及其装置 |
| CN112818853A (zh) * | 2021-02-01 | 2021-05-18 | 中国第一汽车股份有限公司 | 一种交通要素识别方法、装置、设备及储存介质 |
| CN112818853B (zh) * | 2021-02-01 | 2022-07-19 | 中国第一汽车股份有限公司 | 一种交通要素识别方法、装置、设备及储存介质 |
| CN113011435A (zh) * | 2021-02-04 | 2021-06-22 | 精英数智科技股份有限公司 | 目标对象的图像处理方法、装置及电子设备 |
| CN113076882A (zh) * | 2021-04-03 | 2021-07-06 | 国家计算机网络与信息安全管理中心 | 一种基于深度学习的特定标志检测方法 |
| CN114495060A (zh) * | 2022-01-25 | 2022-05-13 | 青岛海信网络科技股份有限公司 | 一种道路交通标线识别方法及装置 |
| CN114495060B (zh) * | 2022-01-25 | 2024-03-26 | 青岛海信网络科技股份有限公司 | 一种道路交通标线识别方法及装置 |
| CN114915575A (zh) * | 2022-06-02 | 2022-08-16 | 电子科技大学 | 一种基于人工智能的网络流量检测装置 |
| CN114915575B (zh) * | 2022-06-02 | 2023-04-07 | 电子科技大学 | 一种基于人工智能的网络流量检测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111767878B (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111767878B (zh) | 嵌入式设备中基于深度学习的交通标志检测方法及系统 | |
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| Rajendran et al. | Real-time traffic sign recognition using YOLOv3 based detector | |
| CN108830285B (zh) | 一种基于Faster-RCNN的加强学习的目标检测方法 | |
| CN111104903B (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| CN107944450B (zh) | 一种车牌识别方法及装置 | |
| CN111767882A (zh) | 一种基于改进yolo模型的多模态行人检测方法 | |
| WO2012139228A1 (en) | Video-based detection of multiple object types under varying poses | |
| CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
| CN110555420B (zh) | 一种基于行人区域特征提取和重识别融合模型网络及方法 | |
| Jain et al. | Performance analysis of object detection and tracking algorithms for traffic surveillance applications using neural networks | |
| WO2020258077A1 (zh) | 一种行人检测方法及装置 | |
| WO2019197021A1 (en) | Device and method for instance-level segmentation of an image | |
| CN105303163B (zh) | 一种目标检测的方法及检测装置 | |
| CN112733815B (zh) | 一种基于rgb室外道路场景图像的红绿灯识别方法 | |
| CN115512251A (zh) | 基于双分支渐进式特征增强的无人机低照度目标跟踪方法 | |
| CN111753610A (zh) | 天气识别方法及装置 | |
| CN113378668A (zh) | 积水类别的确定方法、装置、设备及存储介质 | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| JP5407723B2 (ja) | 認識装置、認識方法及びプログラム | |
| CN106228553A (zh) | 高分辨率遥感图像阴影检测装置与方法 | |
| CN114092818B (zh) | 语义分割方法、装置、电子设备及存储介质 | |
| Muniruzzaman et al. | Deterministic algorithm for traffic detection in free-flow and congestion using video sensor | |
| CN113454649B (zh) | 目标检测方法、装置、电子设备和计算机可读存储介质 | |
| CN111832658B (zh) | 兴趣点信息处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |