CN117274957A - 一种基于深度学习的道路交通标志检测方法及系统 - Google Patents
一种基于深度学习的道路交通标志检测方法及系统 Download PDFInfo
- Publication number
- CN117274957A CN117274957A CN202311567597.3A CN202311567597A CN117274957A CN 117274957 A CN117274957 A CN 117274957A CN 202311567597 A CN202311567597 A CN 202311567597A CN 117274957 A CN117274957 A CN 117274957A
- Authority
- CN
- China
- Prior art keywords
- image information
- sub
- information
- traffic sign
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 138
- 238000003062 neural network model Methods 0.000 claims abstract description 25
- 238000005520 cutting process Methods 0.000 claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 19
- 230000009467 reduction Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 12
- 238000005549 size reduction Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000011946 reduction process Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000001629 suppression Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种基于深度学习的道路交通标志检测方法及系统，涉及图像处理技术领域，包括获取道路的实景原图信息；基于预设的切图策略将所述道路的实景原图信息进行切割，得到至少两个所述实景原图的子图信息；将所述实景原图的子图信息发送至预设的神经网络模型进行筛选，得到包含交通标志的子图信息；将所述包含交通标志的子图信息进行分辨率重建，得到增强分辨率后的子图信息；将增强分辨率后的子图信息发送至预设的目标检测模型进行检测，得到子图信息内的特征数据信息；将所述子图信息内的特征数据信息进行融合，得到交通标志的位置信息。本发明实现了自动化道路交通标志检测，提高了标志检测的准确性和效率。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于深度学习的道路交通标志检测方法及系统。
背景技术
目前，随着城市交通网络的日益扩张和发展，对道路交通标志的准确检测和识别变得愈发重要。道路交通标志识别在无人驾驶安全、导航系统和交通管理中起着至关重要的作用，然而，在复杂多变的交通环境下，现有技术往往面临一系列问题。传统的道路交通标志检测方法主要依赖于手工设计的特征提取和基于规则的算法，其性能受到光照条件、标志变化和遮挡等因素的影响，因此容易出现误检和漏检。此外，这些方法通常无法有效处理不同分辨率的图像，限制了它们在实际道路环境中的应用。因此，现有技术需要一种更高效、更准确的道路交通标志检测方法，以应对日益复杂的交通环境和技术需求。
发明内容
本发明的目的在于提供一种基于深度学习的道路交通标志检测方法及系统，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
一方面，本申请提供了一种基于深度学习的道路交通标志检测方法，包括：
获取道路的实景原图信息；
基于预设的切图策略将所述道路的实景原图信息进行切割，得到至少两个所述实景原图的子图信息，所述实景原图的子图信息包括每个子图信息对应的编号信息和坐标信息；
将所有的所述实景原图的子图信息发送至预设的神经网络模型进行筛选，得到包含交通标志的子图信息；
将所述包含交通标志的子图信息进行分辨率重建处理，得到增强分辨率后的包含交通标志的子图信息；
将增强分辨率后的包含交通标志的子图信息发送至预设的目标检测模型进行检测，得到子图信息内的特征数据信息，所述特征数据信息包括交通标志的类型信息、置信度信息和候选框位置信息；
将所述子图信息内的特征数据信息进行融合，得到所述道路的实景原图信息内交通标志的位置信息。
另一方面，本申请还提供了一种基于深度学习的道路交通标志检测系统，包括：
获取单元，用于获取道路的实景原图信息；
第一处理单元，用于基于预设的切图策略将所述道路的实景原图信息进行切割，得到至少两个所述实景原图的子图信息，所述实景原图的子图信息包括每个子图信息对应的编号信息和坐标信息；
第二处理单元，用于将所有的所述实景原图的子图信息发送至预设的神经网络模型进行筛选，得到包含交通标志的子图信息；
第三处理单元，用于将所述包含交通标志的子图信息进行分辨率重建处理，得到增强分辨率后的包含交通标志的子图信息；
第四处理单元，用于将增强分辨率后的包含交通标志的子图信息发送至预设的目标检测模型进行检测，得到子图信息内的特征数据信息，所述特征数据信息包括交通标志的类型信息、置信度信息和候选框位置信息；
第五处理单元，用于将所述子图信息内的特征数据信息进行融合，得到所述道路的实景原图信息内交通标志的位置信息。
本发明的有益效果为：
本发明所采用的滑动窗口的切图策略能够减少目标检测算法YOLOv5对具有整体稀疏性以及局部聚集性的高分辨率道路交通标志图像的计算量。同时改进的超分辨率重建算法能够对经过滑动窗口切分后的子图中的道路交通标志进行语义信息的加强，使得其更加清晰。将处理后的交通标志图像采用改进的YOLOv5目标检测算法进行检测，从而使得最终的检测精度得以提升，减少小目标交通标志的误检以及漏检的概率。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于深度学习的道路交通标志检测方法流程示意图;
图2为本发明实施例中所述的基于深度学习的道路交通标志检测系统结构示意图。
图中:701、获取单元；702、第一处理单元；703、第二处理单元；704、第三处理单元；705、第四处理单元；706、第五处理单元；7021、第一处理子单元；7022、第二处理子单元；7023、第三处理子单元；7031、第四处理子单元；7032、第五处理子单元；7033、第六处理子单元；7034、第七处理子单元；7035、第八处理子单元；7041、第九处理子单元；7042、第十处理子单元；7051、获取子单元；7052、第一替换子单元；7053、第二替换子单元；7054、第十一处理子单元；7061、第十二处理子单元；7062、第十三处理子单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种基于深度学习的道路交通标志检测方法。
参见图1，图中示出了本方法包括步骤S1、步骤S2、步骤S3、步骤S4、步骤S5和步骤S6。
步骤S1、获取道路的实景原图信息；
可以理解的是道路的实景原图信息可以来自各种摄像设备，如交通摄像头、车载摄像头或者监控摄像头。这些图像通常包括道路的各种元素，如车辆、建筑物和交通标志。获取这些图像的方式可以涵盖各种摄像设备和数据采集方法。这些图像作为原始数据，提供了后续检测交通标志的基础。
步骤S2、基于预设的切图策略将所述道路的实景原图信息进行切割，得到至少两个所述实景原图的子图信息，所述实景原图的子图信息包括每个子图信息对应的编号信息和坐标信息；
可以理解的是本步骤实现了对道路实景原图的分割和信息整理，以获得多个子图，每个子图都有唯一的编号和与原图位置相关的坐标信息。这个分割过程为后续的交通标志检测提供了数据基础，使得系统能够处理道路场景的不同区域，分别分析和检测交通标志。步骤S2包括步骤S21、步骤S22和步骤S23。
步骤S21、将所有的道路的实景原图信息调整为预设的分辨率，得到分辨率相同的实景原图信息；
步骤S22、按照预设参数设置滑动窗口的大小和步长，并将设置参数后的滑动窗口对分辨率相同的实景原图信息进行切割，得到至少两个实景原图信息的子图信息；
步骤S23、将所有的实景原图信息的子图信息进行编号和坐标转换处理，得到每个子图信息对应的编号信息和坐标信息。
可以理解的是切图策略是一种预先定义的方法，它决定了如何将道路的实景原图切割成子图。这个策略可以包括设置滑动窗口的大小和步长，以决定在原图上的切割位置和切割尺寸。在切图策略的指导下，原图被分割成多个子图，每个子图都被赋予一个唯一的编号，以及与原图中的位置相关的坐标信息。这些编号和坐标信息是后续处理的关键，用于跟踪每个子图的位置和特征，并且不会降低后续目标检测框架的整体精度。
步骤S3、将所有的所述实景原图的子图信息发送至预设的神经网络模型进行筛选，得到包含交通标志的子图信息；
可以理解的是本步骤使用深度学习神经网络来自动筛选包含交通标志的子图。通过神经网络的学习能力，系统能够自动检测道路场景中的交通标志，无需手动编写规则。这种自动筛选的方式提高了效率，减少了人工干预，同时也减小了漏检和误检的风险。步骤S3包括步骤S31、步骤S32、步骤S33、步骤S34和步骤S35。
步骤S31、将所述实景原图的子图信息发送至预设的神经网络模型的第一层级进行卷积处理，得到卷积处理后的子图信息；
步骤S32、将所述卷积处理后的子图信息发送至预设的神经网络模型的第二层级进行降维处理，得到降维处理后的子图信息；
步骤S33、将所述降维处理后的子图信息发送至预设的神经网络模型的第三层级进行尺寸缩小处理，得到尺寸缩小后的子图信息；
步骤S34、将预设的特征图的尺寸进行缩小处理，并将所述尺寸缩小后的子图信息发送至预设的神经网络模型的第四层级进行采样处理，得到子图采样信息和尺寸缩小后的特征图信息，所述特征图信息为包含交通标志特征的图像信息；
步骤S35、通过softmax函数对所述子图采样信息和尺寸缩小后的特征图信息进行处理，得到包含交通标志的子图信息。
可以理解的是本步骤通过使用深度学习神经网络模型进行处理，该模型经过预训练和微调，以识别道路场景中的交通标志。每个子图被送入神经网络进行分析。神经网络的不同层级用于执行不同的特征提取和分类任务。在神经网络的顶层，将执行分类任务，以确定子图是否包含交通标志。如果子图被分类为包含交通标志，那么它被保留下来，否则被丢弃。其中，整个网络的训练所使用的数据集是经过滑动窗口切分后的子图，为了对整个道路交通标志子图筛选网络进行训练，从经过滑动窗口切分后的数据集中提取包含有交通标志的正样本和不包含交通标志的负样本，然后再使用道路交通标志子图筛选网络进行网络训练。本步骤采用Pytorch架构构建二分类道路交通标志子图筛选网络结构，实验在全连接层中增加了50%的参数值Dropout策略，损失函数采用的是在各个分类任务中常见的交叉嫡损失函数。
步骤S4、将所述包含交通标志的子图信息进行分辨率重建处理，得到增强分辨率后的包含交通标志的子图信息；
本步骤通过分别率重建处理提高了交通标志的检测和识别准确性。通过增强分辨率，子图中的交通标志将更清晰，边缘更锐利，这有助于降低误检的概率。此外，增强分辨率后的图像也提供更多细节，有助于准确识别交通标志的类型和内容。步骤S4包括步骤S41和步骤S42。
将包含交通标志的子图信息发送至训练后的多尺度残差密集网络进行重建，其中，将多尺度残差密集网络中的多尺度残差密集块加入卷积注意力机制，并将所述包含交通标志的子图信息发送至多尺度残差密集块内进行密集特征提取，得到包含密集特征的图像信息；
将所述包含密集特征的图像信息进行拼接处理，并将拼接处理后的图像进行放大运算，得到增强分辨率后的子图信息。
可以理解的是提高包含交通标志的子图的图像质量，以便更准确地检测和识别交通标志。分辨率重建通常涉及使用图像处理技术，以增加图像的分辨率，其中，本步骤采用的改进的多尺度特征提取的超分辨率重建网络结构，其主要包含五个部分，分别为由两个卷积层构成的浅层特征提取模块、加入卷积注意力机制的多尺度残差密集网络结构CB-MRDN、密集特征融合网络及上采样网络。
本发明首先通过第一个浅层特征提取层进行局部的浅层次特征提取，并通过跳跃连接的方式对其进行全局残差学习；其次，通过第二个浅层特征提取层通过第一个卷积进行浅层特征之后，再使用一个卷积层对浅层次的网络进行特征提取，并用于CB-MRDB多尺度残差密集块的输入；其次，加入卷积注意力机制的多尺度残差密集块利用多个多尺度的残差密度块，每个残差密集块中采用不同大小的卷积核，从而具有更多特征信息提取的能力。使得网络的多尺度特征提取粒度更小，通过增大各个网络层次的感受野范围来提取更多图像细节特征信息；其次，通过密集特征融合为了能够更好地利用神经网络浅层次所有层次的特征信息，把之前每一个加入卷积注意力机制的多尺度残差密集块输出的特征图进行拼接，从而进行密集网络的特征融合。经过拼接之后会利用一个1×1的卷积核再加上第一层卷积输出的特征图从而构成全局的残差学习，这种结构能够提高超分辨率网络模型的整体特征信息表达能力；最后，通过放大网络实现了整体超分辨率重建网络最终的上取样和反卷积运算，从而对输入图像进行放大运算。
步骤S5、将增强分辨率后的包含交通标志的子图信息发送至预设的目标检测模型进行检测，得到子图信息内的特征数据信息，所述特征数据信息包括交通标志的类型信息、置信度信息和候选框位置信息；
可以理解的是本发明通过目标检测模型能够自动检测和识别道路上的交通标志，并提供有关检测结果的详细信息。这包括交通标志的类型，识别置信度，以及交通标志在图像中的位置。这些信息可以用于后续的路况分析、导航系统和其他交通管理应用。步骤S5包括步骤S51、步骤S52、步骤S53和步骤S54。
步骤S51、获取原始的YOLOv5网络结构模型，并使用Swin-Transformer Blocks结构与所述YOLOv5网络结构模型中的特征提取结构进行替换，得到优化后的第一目标检测模型；
可以理解的是YOLOv5是一种常用的目标检测模型，而Swin-Transformer是一种基于注意力机制的深度学习架构，常用于计算机视觉任务。在这一步骤中，原始的YOLOv5模型被修改以集成Swin-Transformer Blocks结构，这意味着网络将使用Swin-Transformer的特征提取能力，以期提高模型的性能和准确性。
步骤S52、将预设的自适应锚框损失函数Focal_EIOU与优化后的第一目标检测模型中的CIOU损失函数进行替换，得到优化后的第二目标检测模型；
可以理解的是本步骤通过将预设的自适应锚框损失函数Focal_EIOU与优化后的第一目标检测模型中的CIOU损失函数进行替换，改善了目标检测模型的损失函数，从而可以更好地衡量预测和真实目标之间的差异。自适应锚框损失函数的使用可以帮助模型更好地适应不同目标的大小和形状，提高了检测的鲁棒性和准确性。
步骤S53、将预设的特征增强模块FEM与优化后的第二目标检测模型中的空间金字塔池化结构SPP进行替换，得到优化后的第三目标检测模型；
可以理解的是本步骤通过将预设的特征增强模块FEM与优化后的第二目标检测模型中的空间金字塔池化结构SPP进行替换，改善了目标检测模型的特征表示，通过引入特征增强模块，提高了模型的感知能力和对目标的表示能力。这有助于模型更好地捕获目标的特征，提高检测的准确性和鲁棒性。
步骤S54、将所述增强分辨率后的包含交通标志的子图信息发送至优化后的第三目标检测模型进行处理，得到子图信息内的特征数据信息，所述特征数据信息包括交通标志的类型信息、置信度信息和候选框位置信息。
可以理解的是本步骤将已经提高分辨率的子图信息输入到经过优化的第三目标检测模型中，该模型在前面的步骤中已经进行了多次优化，包括特征增强模块的引入和损失函数的替换。当子图信息经过这个优化后的目标检测模型处理后，将已经提高分辨率的子图信息输入到经过优化的第三目标检测模型中，该模型在前面的步骤中已经进行了多次优化，包括特征增强模块的引入和损失函数的替换。当子图信息经过这个优化后的目标检测模型处理后，模型能够识别出子图中包含的交通标志的具体类型，例如停车标志、限速标志、禁止通行标志等。模型会为每个检测到的交通标志分配一个置信度分数，以表示模型对该检测结果的信心。较高的置信度分数表示模型更加确信该检测结果的准确性。模型还会提供候选框的位置信息，即交通标志在子图中的位置坐标。进而可以更可靠地检测并识别交通标志。这有助于提高驾驶辅助系统的性能，并减少道路上的交通事故风险。
步骤S6、将所述子图信息内的特征数据信息进行融合，得到所述道路的实景原图信息内交通标志的位置信息。
可以理解的是，在本步骤中将所述子图信息内的特征数据信息进行融合提供了道路的实景原图信息内交通标志的准确位置信息。这可以用于驾驶辅助系统，帮助车辆更好地理解和适应道路环境，提高安全性和效率。其中，步骤S6包括步骤S61和步骤S62。
步骤S61、将所述子图信息内的特征数据信息和所述实景原图的子图信息进行坐标转换，得到所述子图信息内的特征数据信息在所述实景原图中的对应坐标位置信息；
步骤S62、基于非极大值抑制算法对所述对应坐标位置信息进行筛选，得到所述道路的实景原图信息内交通标志的位置信息。
可以理解的是本步骤首先将子图信息内的特征数据信息与实景原图的子图信息进行坐标转换，以确保特征数据信息在实景原图中的准确位置。接下来，使用非极大值抑制算法对坐标位置信息进行筛选，以去除重叠的检测结果。非极大值抑制算法确保每个交通标志只被记录一次，避免了多次重复检测的情况，经过坐标转换和非极大值抑制处理后，融合的特征数据信息提供了每个交通标志的最终位置信息，包括其坐标位置和类型。
实施例2：
如图2所示，本实施例提供了一种基于深度学习的道路交通标志检测系统，参见图2所述系统包括获取单元701、第一处理单元702、第二处理单元703、第三处理单元704、第四处理单元705和第五处理单元706。
获取单元701，用于获取道路的实景原图信息；
第一处理单元702，用于基于预设的切图策略将所述道路的实景原图信息进行切割，得到至少两个所述实景原图的子图信息，所述实景原图的子图信息包括每个子图信息对应的编号信息和坐标信息；
其中，所述第一处理单元702包括第一处理子单元7021、第二处理子单元7022和第三处理子单元7023。
第一处理子单元7021，用于将所有的道路的实景原图信息调整为预设的分辨率，得到分辨率相同的实景原图信息；
第二处理子单元7022，用于按照预设参数设置滑动窗口的大小和步长，并将设置参数后的滑动窗口对分辨率相同的实景原图信息进行切割，得到至少两个实景原图信息的子图信息；
第三处理子单元7023，用于将所有的实景原图信息的子图信息进行编号和坐标转换处理，得到每个子图信息对应的编号信息和坐标信息。
第二处理单元703，用于将所有的所述实景原图的子图信息发送至预设的神经网络模型进行筛选，得到包含交通标志的子图信息；
其中，所述第二处理单元703包括第四处理子单元7031、第五处理子单元7032、第六处理子单元7033、第七处理子单元7034和第八处理子单元7035。
第四处理子单元7031，用于将所述实景原图的子图信息发送至预设的神经网络模型的第一层级进行卷积处理，得到卷积处理后的子图信息；
第五处理子单元7032，用于将所述卷积处理后的子图信息发送至预设的神经网络模型的第二层级进行降维处理，得到降维处理后的子图信息；
第六处理子单元7033，用于将所述降维处理后的子图信息发送至预设的神经网络模型的第三层级进行尺寸缩小处理，得到尺寸缩小后的子图信息；
第七处理子单元7034，用于将预设的特征图的尺寸进行缩小处理，并将所述尺寸缩小后的子图信息发送至预设的神经网络模型的第四层级进行采样处理，得到子图采样信息和尺寸缩小后的特征图信息，所述特征图信息为包含交通标志特征的图像信息；
第八处理子单元7035，用于通过softmax函数对所述子图采样信息和尺寸缩小后的特征图信息进行处理，得到包含交通标志的子图信息。
第三处理单元704，用于将所述包含交通标志的子图信息进行分辨率重建处理，得到增强分辨率后的包含交通标志的子图信息；
其中，所述第三处理单元704包括第九处理子单元7041和第十处理子单元7042。
第九处理子单元7041，用于将包含交通标志的子图信息发送至训练后的多尺度残差密集网络进行重建，其中，将多尺度残差密集网络中的多尺度残差密集块加入卷积注意力机制，并将所述包含交通标志的子图信息发送至多尺度残差密集块内进行密集特征提取，得到包含密集特征的图像信息；
第十处理子单元7042，用于将所述包含密集特征的图像信息进行拼接处理，并将拼接处理后的图像进行放大运算，得到增强分辨率后的子图信息。
第四处理单元705，用于将增强分辨率后的包含交通标志的子图信息发送至预设的目标检测模型进行检测，得到子图信息内的特征数据信息，所述特征数据信息包括交通标志的类型信息、置信度信息和候选框位置信息；
其中，所述第四处理单元705包括获取子单元7051、第一替换子单元7052、第二替换子单元7053和第十一处理子单元7054。
获取子单元7051，用于获取原始的YOLOv5网络结构模型，并使用Swin-Transformer Blocks结构与所述YOLOv5网络结构模型中的特征提取结构进行替换，得到优化后的第一目标检测模型；
第一替换子单元7052，用于将预设的自适应锚框损失函数Focal_EIOU与优化后的第一目标检测模型中的CIOU损失函数进行替换，得到优化后的第二目标检测模型；
第二替换子单元7053，用于将预设的特征增强模块FEM与优化后的第二目标检测模型中的空间金字塔池化结构SPP进行替换，得到优化后的第三目标检测模型；
第十一处理子单元7054，用于将所述增强分辨率后的包含交通标志的子图信息发送至优化后的第三目标检测模型进行处理，得到子图信息内的特征数据信息，所述特征数据信息包括交通标志的类型信息、置信度信息和候选框位置信息。
第五处理单元706，用于将所述子图信息内的特征数据信息进行融合，得到所述道路的实景原图信息内交通标志的位置信息。
其中，所述第五处理单元706包括第十二处理子单元7061和第十三处理子单元7062。
第十二处理子单元7061，用于将所述子图信息内的特征数据信息和所述实景原图的子图信息进行坐标转换，得到所述子图信息内的特征数据信息在所述实景原图中的对应坐标位置信息；
第十三处理子单元7062，用于基于非极大值抑制算法对所述对应坐标位置信息进行筛选，得到所述道路的实景原图信息内交通标志的位置信息。
需要说明的是，关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的道路交通标志检测方法，其特征在于，包括：
获取道路的实景原图信息；
基于预设的切图策略将所述道路的实景原图信息进行切割，得到至少两个所述实景原图的子图信息，所述实景原图的子图信息包括每个子图信息对应的编号信息和坐标信息；
将所有的所述实景原图的子图信息发送至预设的神经网络模型进行筛选，得到包含交通标志的子图信息；
将所述包含交通标志的子图信息进行分辨率重建处理，得到增强分辨率后的包含交通标志的子图信息；
将增强分辨率后的包含交通标志的子图信息发送至预设的目标检测模型进行检测，得到子图信息内的特征数据信息，所述特征数据信息包括交通标志的类型信息、置信度信息和候选框位置信息；
将所述子图信息内的特征数据信息进行融合，得到所述道路的实景原图信息内交通标志的位置信息。
2.根据权利要求1所述的基于深度学习的道路交通标志检测方法，其特征在于，所述基于预设的切图策略将所述道路的实景原图信息进行切割，得到至少两个所述实景原图的子图信息，包括：
将所有的道路的实景原图信息调整为预设的分辨率，得到分辨率相同的实景原图信息；
按照预设参数设置滑动窗口的大小和步长，并将设置参数后的滑动窗口对分辨率相同的实景原图信息进行切割，得到至少两个实景原图信息的子图信息；
将所有的实景原图信息的子图信息进行编号和坐标转换处理，得到每个子图信息对应的编号信息和坐标信息。
3.根据权利要求1所述的基于深度学习的道路交通标志检测方法，其特征在于，将所有的所述实景原图的子图信息发送至预设的神经网络模型进行筛选，得到包含交通标志的子图信息，包括：
将所述实景原图的子图信息发送至预设的神经网络模型的第一层级进行卷积处理，得到卷积处理后的子图信息；
将所述卷积处理后的子图信息发送至预设的神经网络模型的第二层级进行降维处理，得到降维处理后的子图信息；
将所述降维处理后的子图信息发送至预设的神经网络模型的第三层级进行尺寸缩小处理，得到尺寸缩小后的子图信息；
将预设的特征图的尺寸进行缩小处理，并将所述尺寸缩小后的子图信息发送至预设的神经网络模型的第四层级进行采样处理，得到子图采样信息和尺寸缩小后的特征图信息，所述特征图信息为包含交通标志特征的图像信息；
通过softmax函数对所述子图采样信息和尺寸缩小后的特征图信息进行处理，得到包含交通标志的子图信息。
4.根据权利要求1所述的基于深度学习的道路交通标志检测方法，其特征在于，将所述包含交通标志的子图信息进行分辨率重建处理，得到增强分辨率后的包含交通标志的子图信息，包括：
将包含交通标志的子图信息发送至训练后的多尺度残差密集网络进行重建，其中，将多尺度残差密集网络中的多尺度残差密集块加入卷积注意力机制，并将所述包含交通标志的子图信息发送至多尺度残差密集块内进行密集特征提取，得到包含密集特征的图像信息；
将所述包含密集特征的图像信息进行拼接处理，并将拼接处理后的图像进行放大运算，得到增强分辨率后的子图信息。
5.根据权利要求1所述的基于深度学习的道路交通标志检测方法，其特征在于，将增强分辨率后的包含交通标志的子图信息发送至预设的目标检测模型进行检测，包括：
获取原始的YOLOv5网络结构模型，并使用Swin-Transformer Blocks结构与所述YOLOv5网络结构模型中的特征提取结构进行替换，得到优化后的第一目标检测模型；
将预设的自适应锚框损失函数Focal_EIOU与优化后的第一目标检测模型中的CIOU损失函数进行替换，得到优化后的第二目标检测模型；
将预设的特征增强模块FEM与优化后的第二目标检测模型中的空间金字塔池化结构SPP进行替换，得到优化后的第三目标检测模型；
将所述增强分辨率后的包含交通标志的子图信息发送至优化后的第三目标检测模型进行处理，得到子图信息内的特征数据信息，所述特征数据信息包括交通标志的类型信息、置信度信息和候选框位置信息。
6.一种基于深度学习的道路交通标志检测系统，其特征在于，包括：
获取单元，用于获取道路的实景原图信息；
第一处理单元，用于基于预设的切图策略将所述道路的实景原图信息进行切割，得到至少两个所述实景原图的子图信息，所述实景原图的子图信息包括每个子图信息对应的编号信息和坐标信息；
第二处理单元，用于将所有的所述实景原图的子图信息发送至预设的神经网络模型进行筛选，得到包含交通标志的子图信息；
第三处理单元，用于将所述包含交通标志的子图信息进行分辨率重建处理，得到增强分辨率后的包含交通标志的子图信息；
第四处理单元，用于将增强分辨率后的包含交通标志的子图信息发送至预设的目标检测模型进行检测，得到子图信息内的特征数据信息，所述特征数据信息包括交通标志的类型信息、置信度信息和候选框位置信息；
第五处理单元，用于将所述子图信息内的特征数据信息进行融合，得到所述道路的实景原图信息内交通标志的位置信息。
7.根据权利要求6所述的基于深度学习的道路交通标志检测系统，其特征在于，所述第一处理单元包括：
第一处理子单元，用于将所有的道路的实景原图信息调整为预设的分辨率，得到分辨率相同的实景原图信息；
第二处理子单元，用于按照预设参数设置滑动窗口的大小和步长，并将设置参数后的滑动窗口对分辨率相同的实景原图信息进行切割，得到至少两个实景原图信息的子图信息；
第三处理子单元，用于将所有的实景原图信息的子图信息进行编号和坐标转换处理，得到每个子图信息对应的编号信息和坐标信息。
8.根据权利要求6所述的基于深度学习的道路交通标志检测系统，其特征在于，所述第二处理单元包括：
第四处理子单元，用于将所述实景原图的子图信息发送至预设的神经网络模型的第一层级进行卷积处理，得到卷积处理后的子图信息；
第五处理子单元，用于将所述卷积处理后的子图信息发送至预设的神经网络模型的第二层级进行降维处理，得到降维处理后的子图信息；
第六处理子单元，用于将所述降维处理后的子图信息发送至预设的神经网络模型的第三层级进行尺寸缩小处理，得到尺寸缩小后的子图信息；
第七处理子单元，用于将预设的特征图的尺寸进行缩小处理，并将所述尺寸缩小后的子图信息发送至预设的神经网络模型的第四层级进行采样处理，得到子图采样信息和尺寸缩小后的特征图信息，所述特征图信息为包含交通标志特征的图像信息；
第八处理子单元，用于通过softmax函数对所述子图采样信息和尺寸缩小后的特征图信息进行处理，得到包含交通标志的子图信息。
9.根据权利要求6所述的基于深度学习的道路交通标志检测系统，其特征在于，所述第三处理单元包括：
第九处理子单元，用于将包含交通标志的子图信息发送至训练后的多尺度残差密集网络进行重建，其中，将多尺度残差密集网络中的多尺度残差密集块加入卷积注意力机制，并将所述包含交通标志的子图信息发送至多尺度残差密集块内进行密集特征提取，得到包含密集特征的图像信息；
第十处理子单元，用于将所述包含密集特征的图像信息进行拼接处理，并将拼接处理后的图像进行放大运算，得到增强分辨率后的子图信息。
10.根据权利要求6所述的基于深度学习的道路交通标志检测系统，其特征在于，所述第四处理单元包括：
获取子单元，用于获取原始的YOLOv5网络结构模型，并使用Swin-Transformer Blocks结构与所述YOLOv5网络结构模型中的特征提取结构进行替换，得到优化后的第一目标检测模型；
第一替换子单元，用于将预设的自适应锚框损失函数Focal_EIOU与优化后的第一目标检测模型中的CIOU损失函数进行替换，得到优化后的第二目标检测模型；
第二替换子单元，用于将预设的特征增强模块FEM与优化后的第二目标检测模型中的空间金字塔池化结构SPP进行替换，得到优化后的第三目标检测模型；
第十一处理子单元，用于将所述增强分辨率后的包含交通标志的子图信息发送至优化后的第三目标检测模型进行处理，得到子图信息内的特征数据信息，所述特征数据信息包括交通标志的类型信息、置信度信息和候选框位置信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311567597.3A CN117274957B (zh) | 2023-11-23 | 2023-11-23 | 一种基于深度学习的道路交通标志检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311567597.3A CN117274957B (zh) | 2023-11-23 | 2023-11-23 | 一种基于深度学习的道路交通标志检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274957A true CN117274957A (zh) | 2023-12-22 |
| CN117274957B CN117274957B (zh) | 2024-03-01 |
Family
ID=89209110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311567597.3A Active CN117274957B (zh) | 2023-11-23 | 2023-11-23 | 一种基于深度学习的道路交通标志检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274957B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985145A (zh) * | 2018-05-29 | 2018-12-11 | 同济大学 | 小尺寸交通标志检测识别的反向连接深度神经网络模型方法 |
| CN109284669A (zh) * | 2018-08-01 | 2019-01-29 | 辽宁工业大学 | 基于Mask RCNN的行人检测方法 |
| CN110163187A (zh) * | 2019-06-02 | 2019-08-23 | 东北石油大学 | 基于f-rcnn的远距离交通标志检测识别方法 |
| CN110322689A (zh) * | 2019-05-24 | 2019-10-11 | 广西建设职业技术学院 | 一种高速公路弯道标志可视域模型 |
| CN110807430A (zh) * | 2019-11-06 | 2020-02-18 | 桂林电子科技大学 | 一种实况全景交通标志图片预处理方法 |
| CN112613387A (zh) * | 2020-12-18 | 2021-04-06 | 五邑大学 | 一种基于YOLOv3的交通标志检测方法 |
| CN113361428A (zh) * | 2021-06-11 | 2021-09-07 | 浙江澄视科技有限公司 | 一种基于图像的交通标志检测方法 |
| CN113762209A (zh) * | 2021-09-22 | 2021-12-07 | 重庆邮电大学 | 一种基于yolo的多尺度并行特征融合路标检测方法 |
| CN113971674A (zh) * | 2020-07-24 | 2022-01-25 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的卫星图像目标检测方法 |
| CN114220015A (zh) * | 2021-12-21 | 2022-03-22 | 一拓通信集团股份有限公司 | 一种基于改进YOLOv5的卫星图像小目标检测方法 |
| CN114495029A (zh) * | 2022-01-24 | 2022-05-13 | 中国矿业大学 | 一种基于改进YOLOv4的交通目标检测方法及系统 |
| CN115830575A (zh) * | 2022-12-09 | 2023-03-21 | 江西理工大学 | 一种基于Transformer与跨维度注意力的交通标志检测方法 |
| CN116189139A (zh) * | 2022-12-16 | 2023-05-30 | 重庆邮电大学 | 一种基于Transformer的交通标志检测方法 |
| CN116311146A (zh) * | 2022-12-26 | 2023-06-23 | 南京理工大学 | 一种基于深度学习的交通标志检测方法 |
| CN116309070A (zh) * | 2023-03-24 | 2023-06-23 | 阿坝州自然资源与科技信息研究所 | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 |
| US20230207061A1 (en) * | 2021-12-29 | 2023-06-29 | Illumina, Inc. | Pathogenicity language model |
| WO2023154320A1 (en) * | 2022-02-08 | 2023-08-17 | Senem Velipasalar | Thermal anomaly identification on building envelopes as well as image classification and object detection |
| CN116645508A (zh) * | 2023-05-23 | 2023-08-25 | 重庆交通大学 | 基于局部窗口交叉注意力的轻量型语义目标分割方法 |
-
2023
- 2023-11-23 CN CN202311567597.3A patent/CN117274957B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985145A (zh) * | 2018-05-29 | 2018-12-11 | 同济大学 | 小尺寸交通标志检测识别的反向连接深度神经网络模型方法 |
| CN109284669A (zh) * | 2018-08-01 | 2019-01-29 | 辽宁工业大学 | 基于Mask RCNN的行人检测方法 |
| CN110322689A (zh) * | 2019-05-24 | 2019-10-11 | 广西建设职业技术学院 | 一种高速公路弯道标志可视域模型 |
| CN110163187A (zh) * | 2019-06-02 | 2019-08-23 | 东北石油大学 | 基于f-rcnn的远距离交通标志检测识别方法 |
| CN110807430A (zh) * | 2019-11-06 | 2020-02-18 | 桂林电子科技大学 | 一种实况全景交通标志图片预处理方法 |
| CN113971674A (zh) * | 2020-07-24 | 2022-01-25 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的卫星图像目标检测方法 |
| CN112613387A (zh) * | 2020-12-18 | 2021-04-06 | 五邑大学 | 一种基于YOLOv3的交通标志检测方法 |
| CN113361428A (zh) * | 2021-06-11 | 2021-09-07 | 浙江澄视科技有限公司 | 一种基于图像的交通标志检测方法 |
| CN113762209A (zh) * | 2021-09-22 | 2021-12-07 | 重庆邮电大学 | 一种基于yolo的多尺度并行特征融合路标检测方法 |
| CN114220015A (zh) * | 2021-12-21 | 2022-03-22 | 一拓通信集团股份有限公司 | 一种基于改进YOLOv5的卫星图像小目标检测方法 |
| US20230207061A1 (en) * | 2021-12-29 | 2023-06-29 | Illumina, Inc. | Pathogenicity language model |
| CN114495029A (zh) * | 2022-01-24 | 2022-05-13 | 中国矿业大学 | 一种基于改进YOLOv4的交通目标检测方法及系统 |
| WO2023154320A1 (en) * | 2022-02-08 | 2023-08-17 | Senem Velipasalar | Thermal anomaly identification on building envelopes as well as image classification and object detection |
| CN115830575A (zh) * | 2022-12-09 | 2023-03-21 | 江西理工大学 | 一种基于Transformer与跨维度注意力的交通标志检测方法 |
| CN116189139A (zh) * | 2022-12-16 | 2023-05-30 | 重庆邮电大学 | 一种基于Transformer的交通标志检测方法 |
| CN116311146A (zh) * | 2022-12-26 | 2023-06-23 | 南京理工大学 | 一种基于深度学习的交通标志检测方法 |
| CN116309070A (zh) * | 2023-03-24 | 2023-06-23 | 阿坝州自然资源与科技信息研究所 | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 |
| CN116645508A (zh) * | 2023-05-23 | 2023-08-25 | 重庆交通大学 | 基于局部窗口交叉注意力的轻量型语义目标分割方法 |
Non-Patent Citations (5)
| Title |
|---|
| HANG GONG 等: "SEDG-Yolov5: A Lightweight Traffic Sign Detection Model Based on Knowledge Distillation", 《ELECTRONICS》, pages 1 - 19 * |
| XIANYAN KUANG 等: "Real-Time Detection and Recognition of Road Traffic Signs using MSER and Random Forests", 《COMPUTER VISION AND PATTERN RECOGNITION》, pages 1 - 18 * |
| 冯爱棋 等: "融合注意力机制和上下文信息的实时交通标志检测算法", 《计算机科学与探索》, pages 1 - 13 * |
| 张可佳: "基于 YOLOv4 的交通标志识别算法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, pages 034 - 552 * |
| 杨柳: "基于多尺度特征融合网络的交通标志检测", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, pages 035 - 327 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274957B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086668B (zh) | 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法 | |
| CN112990065B (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
| CN112801158A (zh) | 基于级联融合和注意力机制的深度学习小目标检测方法及装置 | |
| CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
| CN111881984A (zh) | 一种基于深度学习的目标检测方法和装置 | |
| KR102197930B1 (ko) | 번호판 인식 방법 및 시스템 | |
| CN116258940A (zh) | 一种多尺度特征及自适应权重的小目标检测方法 | |
| CN111753610A (zh) | 天气识别方法及装置 | |
| CN114419603A (zh) | 一种自动驾驶车辆控制方法、系统和自动驾驶车辆 | |
| CN113486856A (zh) | 一种基于语义分割和卷积神经网络的驾驶员不规范行为检测方法 | |
| CN117274957B (zh) | 一种基于深度学习的道路交通标志检测方法及系统 | |
| Huang et al. | Nighttime vehicle detection based on direction attention network and bayes corner localization | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| Riedl et al. | Importance of Contextual Information for the Detection of Road Damages | |
| JP2021152826A (ja) | 情報処理装置、被写体分類方法、及び被写体分類プログラム | |
| CN112784817A (zh) | 车辆所在车道检测方法、装置、设备及存储介质 | |
| Ghahremani et al. | Toward robust multitype and orientation detection of vessels in maritime surveillance | |
| Bellam et al. | A Practical Approach of Recognizing and Detecting Traffic Signs using Deep Neural Network Model | |
| KR102595910B1 (ko) | 차량 번호 자동인식 시스템 및 그 방법 | |
| CN116503406B (zh) | 基于大数据的水利工程信息管理系统 | |
| Ong et al. | Vehicle Classification Using Neural Networks and Image Processing | |
| Jain et al. | Autonomous Driving Through Road Segmentation Based on Computer Vision Techniques | |
| Betrand et al. | Enhanced Machine Learning Vehicle Plate Number Recognition System | |
| Tushara et al. | Vehicle Number Recognition Using General Surveillance Camera | |
| Alfinnur Charisma | Modified YOLOv5-based License Plate Detection: an Efficient Approach for Automatic Vehicle Identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |