CN115497076A - 一种高精准度和高效率的信号标识检测方法、装置及介质 - Google Patents

一种高精准度和高效率的信号标识检测方法、装置及介质 Download PDF

Info

Publication number
CN115497076A
CN115497076A CN202211224371.9A CN202211224371A CN115497076A CN 115497076 A CN115497076 A CN 115497076A CN 202211224371 A CN202211224371 A CN 202211224371A CN 115497076 A CN115497076 A CN 115497076A
Authority
CN
China
Prior art keywords
image
feature
characteristic
convolution
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211224371.9A
Other languages
English (en)
Inventor
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Intelligent Unmanned Equipment Industry Innovation Center Co ltd
Original Assignee
Jiangsu Intelligent Unmanned Equipment Industry Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Intelligent Unmanned Equipment Industry Innovation Center Co ltd filed Critical Jiangsu Intelligent Unmanned Equipment Industry Innovation Center Co ltd
Priority to CN202211224371.9A priority Critical patent/CN115497076A/zh
Publication of CN115497076A publication Critical patent/CN115497076A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高精准度和高效率的信号标识检测方法、装置及介质，所述方法包括以下步骤：捕捉特征图像，对特征图像进行拼接处理，得到待输入图像；将待输入图像输入至主干网络中进行基于注意力机制模型的卷积处理，得到待融合特征图；对待融合特征图进行远跳式记忆性特征融合，得到融合特征；对融合特征进行特征识别，得到关于特征图像的识别结果图；本发明能够通过改变特征模型的输入尺度，引入记忆性特征融合网络，实现高级语义信息与底层特征相结合，增加对小目标特征的提取能力，同时在保证不影响检测精度的前提下，通过自研的特定卷积核计算方式来减少了模型参数和计算量，保证了检测实时性，提高了交通信号灯检测的鲁棒性和适用性。

Description

一种高精准度和高效率的信号标识检测方法、装置及介质
技术领域
本发明涉及智能驾驶技术领域，具体的，本发明应用于交通信号灯智能检测领域，特别是涉及一种高精准度和高效率的信号标识检测方法、装置及介质。
背景技术
随着汽车的智能化和网联化发展，交通信号灯的检测与识别不仅是无人驾驶系统的关键感知任务，而且对于辅助驾驶系统具有重要意义；而在实际应用中，交通信号灯的检测存在以下几方面的主要技术难点：
第一方面，信号灯面板通常在车辆远处，而远处的成像小，检测目标占检测图片的比例极小，属于小目标识别，这种情况下，红绿灯区域像素个数极少，可利用的目标特征不显著；
第二方面，信号灯安装位置通常是不固定的，背景环境也会错综复杂，例如广告牌、交通标志牌、建筑物以及绿化树木等环境设施，均存在可能遮挡信号灯，影响信号灯的检测，且其他车辆的车尾刹车灯也易被检测成为信号灯；
第三方面，环境中的光照变化会影响信号灯的颜色识别，比如强光照射下会使信号灯上产生白光反射，而夜间道路上光源过多会产生光晕，均增加了信号灯的识别难度；
第四方面，车辆抖动、景物与相机之间的相对运动均会产生一定的“运动模糊”。这样会使检测到的图像失真，即使交通信号灯的图像产生模糊，影响检测精准度；
第五方面，信号灯的检测对实时性以及鲁棒性要求较高，车辆在进入交叉口前必须要实时地将识别结果反馈给车辆或驾驶员，进而才能保证车辆的正常驾驶，这对检测算法的准确性和实时性具有极大的要求；
在上述背景下，目前实现交通信号灯的识别方法主要通过两种原理，一种是通过V2X技术来实现车辆与交通信号灯设备间的信息互联，另一种是依赖视觉传感器进行目标检测，从而进行交通信号灯的识别；对于目标检测方面，是目前较为着重的技术改进方向；
目前，常采用的目标检测方法有以下两种：
其中一种，是传统的检测方法，通过交通信号灯的颜色和几何特征，进行特征提取、模板匹配以及分类算法对交通信号灯进行检测；
其中另一种，是以卷积神经网络为核心，采用目标检测算法进行目标检测；目前两阶段的目标检测代表算法有R-CNN、Fast-R-CNN、Faster-R-CNN和SPPNet等；目前一阶段目标检测代表算法有SSD、Retina-Net、OverFeat和YOLO系列算法等；
以上这两种方式中，存在以下缺陷：
一方面，前述传统的特征提取识别的方式，鲁棒性较差，只能在特定的场景中实现，且检测速度较慢，适用性较差；
另一方面，前述两阶段的目标检测算法的模型参数较多，需要进行多次检测和分类流程，同样无法保证实时性；
另一方面，前述一阶段的目标检测算法的检测速度虽然优于两阶段算法，但精度有所缺失，对于交通信号灯等小目标检测，效果仍无法达到理想状态；
故综上所述，现有的交通信号灯检测方法的鲁棒性、实时性、精准度以及适用性均较低，仍无法达到较为准确和理想的检测状态。
发明内容
本发明的目的在于，针对现有技术中的上述问题，提供一种高精准度和高效率的信号标识检测方法、装置及介质，进而解决现有技术中交通信号灯检测方法的鲁棒性、实时性、精准度以及适用性均较低，仍无法达到较为准确和理想的检测状态的问题。
为解决上述技术问题，本发明的具体技术方案如下：
一方面，本发明提供一种高精准度和高效率的信号标识检测方法，包括以下步骤：
捕捉特征图像，对所述特征图像进行拼接处理，得到待输入图像；
将所述待输入图像输入至主干网络中进行基于注意力机制模型的卷积处理，得到待融合特征图；
对所述待融合特征图进行远跳式记忆性特征融合，得到融合特征；
对所述融合特征进行特征识别，得到关于所述特征图像的识别结果图。
作为一种改进的方案，所述对所述特征图像进行拼接处理，得到待输入图像，包括：
采用Mosaic数据增强策略对所述特征图像进行图像转变处理，得到若干转变图像；
基于随机分布策略对若干所述转变图像进行拼接处理，得到若干拼接图像；
对若干所述拼接图像分别进行缩放填充处理，得到若干标准图像；
设定若干所述标准图像均为所述待输入图像。
作为一种改进的方案，所述将所述待输入图像输入至主干网络中进行基于注意力机制模型的卷积处理，得到待融合特征图，包括：
对所述待输入图像进行切片处理，得到第一切片图像；
对所述第一切片图像进行模型参数减小处理，得到第一待处理特征图像；
基于所述注意力机制模型对所述第一待处理特征图像进行模型维度降低处理，得到第二待处理特征图像；
对所述第二待处理特征图像进行叠加处理，得到所述待融合特征图。
作为一种改进的方案，所述对所述待输入图像进行切片处理，得到第一切片图像，包括：
基于Focus结构，将所述待输入图像进行图像切片，得到所述第一切片图像。
作为一种改进的方案，所述对所述第一切片图像进行模型参数减小处理，得到第一待处理特征图像，包括：
采用第一卷积类型的卷积核对所述第一切片图像进行逐通道卷积，得到第一特征图；
采用第二卷积类型的卷积核对所述第一特征图进行逐点卷积，得到所述第一待处理特征图像。
作为一种改进的方案，所述基于所述注意力机制模型对所述第一待处理特征图像进行模型维度降低处理，得到第二待处理特征图像，包括：
将所述第一待处理特征图像划分为宽度方向图像和高度方向图像；
对所述宽度方向图像和所述高度方向图像分别进行全局平均池化处理，得到具有全局感受野的宽度特征图像和高度特征图像；
将所述宽度特征图像和所述高度特征图像拼接，将拼接后的所述宽度特征图像和所述高度特征图像送入第一共享卷积参数的卷积模块进行卷积处理，得到第二特征图；
令所述第二特征图经过Sigmoid激活函数，得到具有高度注意力权重和宽度注意力权重的所述第二待处理特征图像。
作为一种改进的方案，所述对所述第二待处理特征图像进行叠加处理，得到所述待融合特征图，包括：
将所述第二待处理特征图像与第三卷积类型的卷积核进行卷积操作，得到第一待叠加特征图；
将所述第二待处理特征图像与第四卷积类型的卷积核进行卷积操作，得到第二待叠加特征图；
将所述第二待处理特征图像与第五卷积类型的卷积核进行卷积操作，得到第三待叠加特征图；
叠加所述第一待叠加特征图、所述第二待叠加特征图和所述第三待叠加特征图，得到所述待融合特征图。
作为一种改进的方案，所述对所述待融合特征图进行远跳式记忆性特征融合，得到融合特征，包括：
删除记忆性特征融合网络中的边缘融合节点；
将所述待融合特征图的底层特征传递至所述记忆性特征融合网络中的语义生成节点；
通过所述语义生成节点将所述底层特征与高级语义信息进行融合，得到所述融合特征。
另一方面，本发明还提供一种高精准度和高效率的信号标识检测装置，包括：
图像预处理单元，用于捕捉特征图像，对所述特征图像进行拼接处理，得到待输入图像；
图像优化单元，用于将所述待输入图像输入至主干网络中进行基于注意力机制模型的卷积处理，得到待融合特征图；
图像特征融合单元，用于对所述待融合特征图进行远跳式记忆性特征融合，得到融合特征；
结果输出单元，用于对所述融合特征进行特征识别，得到关于所述特征图像的识别结果图。
另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述高精准度和高效率的信号标识检测方法的步骤。
本发明技术方案的有益效果是：
1、本发明所述的一种高精准度和高效率的信号标识检测方法，可以实现通过改变特征模型的输入尺度，并引入记忆性特征融合网络，实现高级语义信息与底层特征相结合，进而增加对小目标特征的提取能力，进而提升交通信号灯检测的mAP值，同时在保证不影响检测精度的前提下，通过自研的特定卷积核计算方式来代替正则卷积，实现减少了模型参数，减少了计算量，最大限度的提高了检测的速度和效率，保证检测实时性，最终提高了交通信号灯检测的鲁棒性和适用性，弥补了现有技术的不足，具有极高的应用价值。
2、本发明所述的一种高精准度和高效率的信号标识检测装置，可以通过图像预处理单元、图像优化单元、图像特征融合单元和结果输出单元的相互配合，进而实现通过改变特征模型的输入尺度，并引入记忆性特征融合网络，实现高级语义信息与底层特征相结合，进而增加对小目标特征的提取能力，进而提升交通信号灯检测的mAP值，同时在保证不影响检测精度的前提下，通过自研的特定卷积核计算方式来代替正则卷积，实现减少了模型参数，减少了计算量，最大限度的提高了检测的速度和效率，保证检测实时性，最终提高了交通信号灯检测的鲁棒性和适用性，弥补了现有技术的不足，具有极高的应用价值。
3、本发明所述的计算机可读存储介质，可以实现引导图像预处理单元、图像优化单元、图像特征融合单元和结果输出单元进行配合，进而实现本发明所述的高精准度和高效率的信号标识检测方法，且本发明所述的计算机可读存储介质有效提高了所述高精准度和高效率的信号标识检测方法的可操作性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1所述高精准度和高效率的信号标识检测方法的流程示意图；
图2是本发明实施例1所述高精准度和高效率的信号标识检测方法中步骤S200的详细流程示意图；
图3是本发明实施例2所述高精准度和高效率的信号标识检测装置的架构示意图；
附图中的标记说明如下：
711、图像预处理单元；712、图像优化单元；713、图像特征融合单元；714、结果输出单元。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
在本发明的描述中，需要说明的是，本发明所描述的实施例是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本实施例提供一种高精准度和高效率的信号标识检测方法，如图1和图2所示，包括以下步骤：
S100、捕捉特征图像，对所述特征图像进行拼接处理，得到待输入图像；
S200、将所述待输入图像输入至主干网络中进行基于注意力机制模型的卷积处理，得到待融合特征图；
S300、对所述待融合特征图进行远跳式记忆性特征融合，得到融合特征；
S400、对所述融合特征进行特征识别，得到关于所述特征图像的识别结果图。
作为本发明的一种实施方式，在本实施例的步骤S100~S400中，基于在输入端输入800×800×3的特征图像，通过主干网络结构将输入的图像进行切片操作，之后通过DSConv卷积（分布移位卷积），然后引入注意力机制模型，进入ACBlock（非对称卷积块，asymmetricconvolutionblock，简称ACBlock）结构；对应的，在记忆性特征融合模块中，网络将高级语义信息和底层特征结合，最终在预测输出端得到检测结果，最终不仅减少了计算量，提高了检测的实时性，还提高了模型对于小目标的特征提取能力；
作为本发明的一种实施方式，所述对所述特征图像进行拼接处理，得到待输入图像，包括：
在输入端，采用Mosaic（马赛克）数据增强策略对原始的所述特征图像进行图像转变处理，得到若干转变图像；对应的图像转变处理包括随机缩放、旋转和裁剪等操作；之后，基于随机分布策略对若干所述转变图像进行拼接处理，得到若干拼接图像；为了方便网络的处理，对若干所述拼接图像分别进行缩放填充处理，即将这些拼接图像统一缩放为相同的尺寸，得到若干标准图像；对应的，在统一缩放时，由于拼接图像的长宽比不同，缩放后需要进行黑边填充，以保证尺寸相同；设定若干所述标准图像均为所述待输入图像；待输入图像即为处理后准备输入主干网络的图片；
作为本发明的一种实施方式，所述将所述待输入图像输入至主干网络中进行基于注意力机制模型的卷积处理，得到待融合特征图，包括：
S210、对所述待输入图像进行切片处理，得到第一切片图像；
S220、采用DSConv的基础卷积形式，对所述第一切片图像进行模型参数减小处理，得到第一待处理特征图像；
S230、引入注意力机制模型，并基于所述注意力机制模型对所述第一待处理特征图像进行模型维度降低处理，得到第二待处理特征图像；
S240、经过ACBlock结构，对所述第二待处理特征图像进行叠加处理，得到所述待融合特征图；此步骤目的为减小模型参数，减少计算量，从而最大限度的提高检测实时性；
作为本发明的一种实施方式，所述对所述待输入图像进行切片处理，得到第一切片图像，包括：
基于Focus结构（YOLOv5模型中的图片处理结构），将所述待输入图像进行图像切片，得到所述第一切片图像；对应的，原输入的待输入图像为800*800*3的图像，而图像切片即为将图像复制为4份，使原来的3通道图像变成了12通道，即第一切片图像的参数为400*400*12；
作为本发明的一种实施方式，所述对所述第一切片图像进行模型参数减小处理，得到第一待处理特征图像，包括：
采用第一卷积类型的卷积核对所述第一切片图像进行逐通道卷积，得到第一特征图；对应的，第一卷积类型的卷积核为3*3*1的卷积核；采用第二卷积类型的卷积核对所述第一特征图进行逐点卷积，得到所述第一待处理特征图像；第二卷积类型的卷积核为1*1*c的卷积核，进而减小了模型参数；
作为本发明的一种实施方式，所述基于所述注意力机制模型对所述第一待处理特征图像进行模型维度降低处理，得到第二待处理特征图像，包括：将所述第一待处理特征图像划分为宽度方向图像和高度方向图像；对所述宽度方向图像和所述高度方向图像分别进行全局平均池化处理，得到具有全局感受野的宽度特征图像和高度特征图像；然后将获得全局感受野的两个方向的所述宽度特征图像和所述高度特征图像进行拼接，使所述宽度特征图像和所述高度特征图像拼接在一起，之后将拼接后的所述宽度特征图像和所述高度特征图像送入第一共享卷积参数的卷积模块进行卷积处理，得到第二特征图；第一共享卷积参数为1*1，进而降低特征图像的维度，最终令所述第二特征图经过Sigmoid激活函数，得到具有高度注意力权重和宽度注意力权重的所述第二待处理特征图像。
作为本发明的一种实施方式，所述对所述第二待处理特征图像进行叠加处理，得到所述待融合特征图，包括：
将所述第二待处理特征图像与第三卷积类型的卷积核进行卷积操作，得到第一待叠加特征图，对应的，第三卷积类型的卷积核为3*1*c的卷积核；将所述第二待处理特征图像与第四卷积类型的卷积核进行卷积操作，得到第二待叠加特征图，对应的，第四卷积类型的卷积核为1*3*c的卷积核；将所述第二待处理特征图像与第五卷积类型的卷积核进行卷积操作，得到第三待叠加特征图，对应的，第五卷积类型的卷积核为3*3*c的卷积核；叠加所述第一待叠加特征图、所述第二待叠加特征图和所述第三待叠加特征图，得到所述待融合特征图。
作为本发明的一种实施方式，所述对所述待融合特征图进行远跳式记忆性特征融合，得到融合特征，包括：
删除记忆性特征融合网络中的边缘融合节点；采用远跳链接，将所述待融合特征图的底层特征直接传递至所述记忆性特征融合网络中的语义生成节点；这样，网络末端可以通过所述语义生成节点将所述底层特征与高级语义信息进行再次融合，得到所述融合特征；这样，使最终送入损失函数的特征既包含高级语义信息又有底层特征，增加了模型对于小目标特征的提取能力，提升了交通信号灯检测的mAP值（mean Average Precision AP，平均精度值）；
作为本发明的一种实施方式，当识别结果图输出时，是带有预测框以及目标置信度的识别结果图。
实施例2
本实施例基于与实施例1中所述的一种高精准度和高效率的信号标识检测方法相同的发明构思，提供一种高精准度和高效率的信号标识检测装置，如图3所示，包括：
图像预处理单元711，用于捕捉特征图像，对所述特征图像进行拼接处理，得到待输入图像；
图像优化单元712，用于将所述待输入图像输入至主干网络中进行基于注意力机制模型的卷积处理，得到待融合特征图；
图像特征融合单元713，用于对所述待融合特征图进行远跳式记忆性特征融合，得到融合特征；
结果输出单元714，用于对所述融合特征进行特征识别，得到关于所述特征图像的识别结果图。
作为本发明的一种实施方式，所述图像预处理单元711对所述特征图像进行拼接处理，得到待输入图像，包括：图像预处理单元711采用Mosaic数据增强策略对所述特征图像进行图像转变处理，得到若干转变图像；图像预处理单元711基于随机分布策略对若干所述转变图像进行拼接处理，得到若干拼接图像；图像预处理单元711对若干所述拼接图像分别进行缩放填充处理，得到若干标准图像；图像预处理单元711设定若干所述标准图像均为所述待输入图像。
作为本发明的一种实施方式，所述图像优化单元712将所述待输入图像输入至主干网络中进行基于注意力机制模型的卷积处理，得到待融合特征图，包括：图像优化单元712对所述待输入图像进行切片处理，得到第一切片图像；图像优化单元712对所述第一切片图像进行模型参数减小处理，得到第一待处理特征图像；图像优化单元712基于所述注意力机制模型对所述第一待处理特征图像进行模型维度降低处理，得到第二待处理特征图像；图像优化单元712对所述第二待处理特征图像进行叠加处理，得到所述待融合特征图。
作为本发明的一种实施方式，所述图像优化单元712对所述待输入图像进行切片处理，得到第一切片图像，包括：图像优化单元712基于Focus结构，将所述待输入图像进行图像切片，得到所述第一切片图像。
作为本发明的一种实施方式，所述图像优化单元712对所述第一切片图像进行模型参数减小处理，得到第一待处理特征图像，包括：图像优化单元712采用第一卷积类型的卷积核对所述第一切片图像进行逐通道卷积，得到第一特征图；图像优化单元712采用第二卷积类型的卷积核对所述第一特征图进行逐点卷积，得到所述第一待处理特征图像。
作为本发明的一种实施方式，所述图像优化单元712基于所述注意力机制模型对所述第一待处理特征图像进行模型维度降低处理，得到第二待处理特征图像，包括：图像优化单元712将所述第一待处理特征图像划分为宽度方向图像和高度方向图像；图像优化单元712对所述宽度方向图像和所述高度方向图像分别进行全局平均池化处理，得到具有全局感受野的宽度特征图像和高度特征图像；图像优化单元712将所述宽度特征图像和所述高度特征图像拼接，图像优化单元712将拼接后的所述宽度特征图像和所述高度特征图像送入第一共享卷积参数的卷积模块进行卷积处理，得到第二特征图；图像优化单元712令所述第二特征图经过Sigmoid激活函数，得到具有高度注意力权重和宽度注意力权重的所述第二待处理特征图像。
作为本发明的一种实施方式，所述图像优化单元712对所述第二待处理特征图像进行叠加处理，得到所述待融合特征图，包括：图像优化单元712将所述第二待处理特征图像与第三卷积类型的卷积核进行卷积操作，得到第一待叠加特征图；图像优化单元712将所述第二待处理特征图像与第四卷积类型的卷积核进行卷积操作，得到第二待叠加特征图；图像优化单元712将所述第二待处理特征图像与第五卷积类型的卷积核进行卷积操作，得到第三待叠加特征图；图像优化单元712叠加所述第一待叠加特征图、所述第二待叠加特征图和所述第三待叠加特征图，得到所述待融合特征图。
作为本发明的一种实施方式，所述图像特征融合单元713对所述待融合特征图进行远跳式记忆性特征融合，得到融合特征，包括：图像特征融合单元713删除记忆性特征融合网络中的边缘融合节点；图像特征融合单元713将所述待融合特征图的底层特征传递至所述记忆性特征融合网络中的语义生成节点；图像特征融合单元713通过所述语义生成节点将所述底层特征与高级语义信息进行融合，得到所述融合特征。
实施例3
本实施例提供一种计算机可读存储介质，包括：
所述存储介质用于储存将上述实施例1所述的高精准度和高效率的信号标识检测方法实现所用的计算机软件指令，其包含用于执行上述为所述高精准度和高效率的信号标识检测方法所设置的程序；具体的，该可执行程序可以内置在实施例2所述的高精准度和高效率的信号标识检测装置中，这样，高精准度和高效率的信号标识检测装置就可以通过执行内置的可执行程序实现所述实施例1所述的高精准度和高效率的信号标识检测方法。
此外，本实施例具有的计算机可读存储介质可以采用一个或多个可读存储介质的任意组合，其中，可读存储介质包括电、光、电磁、红外线或半导体的系统、装置或器件，或者以上任意组合。
区别于现有技术，采用本申请一种高精准度和高效率的信号标识检测方法、装置及介质，可以实现通过改变特征模型的输入尺度，并引入记忆性特征融合网络，实现高级语义信息与底层特征相结合，进而增加对小目标特征的提取能力，进而提升交通信号灯检测的mAP值，同时在保证不影响检测精度的前提下，通过自研的特定卷积核计算方式来代替正则卷积，实现减少了模型参数，减少了计算量，最大限度的提高了检测的速度和效率，保证检测实时性，最终提高了交通信号灯检测的鲁棒性和适用性，弥补了现有技术的不足，具有极高的应用价值。
应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。
还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种高精准度和高效率的信号标识检测方法，其特征在于，包括以下步骤：
捕捉特征图像，对所述特征图像进行拼接处理，得到待输入图像；
将所述待输入图像输入至主干网络中进行基于注意力机制模型的卷积处理，得到待融合特征图；
对所述待融合特征图进行远跳式记忆性特征融合，得到融合特征；
对所述融合特征进行特征识别，得到关于所述特征图像的识别结果图。
2.根据权利要求1所述的一种高精准度和高效率的信号标识检测方法，其特征在于：
所述对所述特征图像进行拼接处理，得到待输入图像，包括：
采用Mosaic数据增强策略对所述特征图像进行图像转变处理，得到若干转变图像；
基于随机分布策略对若干所述转变图像进行拼接处理，得到若干拼接图像；
对若干所述拼接图像分别进行缩放填充处理，得到若干标准图像；
设定若干所述标准图像均为所述待输入图像。
3.根据权利要求2所述的一种高精准度和高效率的信号标识检测方法，其特征在于：
所述将所述待输入图像输入至主干网络中进行基于注意力机制模型的卷积处理，得到待融合特征图，包括：
对所述待输入图像进行切片处理，得到第一切片图像；
对所述第一切片图像进行模型参数减小处理，得到第一待处理特征图像；
基于所述注意力机制模型对所述第一待处理特征图像进行模型维度降低处理，得到第二待处理特征图像；
对所述第二待处理特征图像进行叠加处理，得到所述待融合特征图。
4.根据权利要求3所述的一种高精准度和高效率的信号标识检测方法，其特征在于：
所述对所述待输入图像进行切片处理，得到第一切片图像，包括：
基于Focus结构，将所述待输入图像进行图像切片，得到所述第一切片图像。
5.根据权利要求4所述的一种高精准度和高效率的信号标识检测方法，其特征在于：
所述对所述第一切片图像进行模型参数减小处理，得到第一待处理特征图像，包括：
采用第一卷积类型的卷积核对所述第一切片图像进行逐通道卷积，得到第一特征图；
采用第二卷积类型的卷积核对所述第一特征图进行逐点卷积，得到所述第一待处理特征图像。
6.根据权利要求5所述的一种高精准度和高效率的信号标识检测方法，其特征在于：
所述基于所述注意力机制模型对所述第一待处理特征图像进行模型维度降低处理，得到第二待处理特征图像，包括：
将所述第一待处理特征图像划分为宽度方向图像和高度方向图像；
对所述宽度方向图像和所述高度方向图像分别进行全局平均池化处理，得到具有全局感受野的宽度特征图像和高度特征图像；
将所述宽度特征图像和所述高度特征图像拼接，将拼接后的所述宽度特征图像和所述高度特征图像送入第一共享卷积参数的卷积模块进行卷积处理，得到第二特征图；
令所述第二特征图经过Sigmoid激活函数，得到具有高度注意力权重和宽度注意力权重的所述第二待处理特征图像。
7.根据权利要求6所述的一种高精准度和高效率的信号标识检测方法，其特征在于：
所述对所述第二待处理特征图像进行叠加处理，得到所述待融合特征图，包括：
将所述第二待处理特征图像与第三卷积类型的卷积核进行卷积操作，得到第一待叠加特征图；
将所述第二待处理特征图像与第四卷积类型的卷积核进行卷积操作，得到第二待叠加特征图；
将所述第二待处理特征图像与第五卷积类型的卷积核进行卷积操作，得到第三待叠加特征图；
叠加所述第一待叠加特征图、所述第二待叠加特征图和所述第三待叠加特征图，得到所述待融合特征图。
8.根据权利要求3所述的一种高精准度和高效率的信号标识检测方法，其特征在于：
所述对所述待融合特征图进行远跳式记忆性特征融合，得到融合特征，包括：
删除记忆性特征融合网络中的边缘融合节点；
将所述待融合特征图的底层特征传递至所述记忆性特征融合网络中的语义生成节点；
通过所述语义生成节点将所述底层特征与高级语义信息进行融合，得到所述融合特征。
9.基于权利要求8所述的一种高精准度和高效率的信号标识检测方法的高精准度和高效率的信号标识检测装置，其特征在于，包括：
图像预处理单元，用于捕捉特征图像，对所述特征图像进行拼接处理，得到待输入图像；
图像优化单元，用于将所述待输入图像输入至主干网络中进行基于注意力机制模型的卷积处理，得到待融合特征图；
图像特征融合单元，用于对所述待融合特征图进行远跳式记忆性特征融合，得到融合特征；
结果输出单元，用于对所述融合特征进行特征识别，得到关于所述特征图像的识别结果图。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1~8中任一项所述高精准度和高效率的信号标识检测方法的步骤。
CN202211224371.9A 2022-10-09 2022-10-09 一种高精准度和高效率的信号标识检测方法、装置及介质 Pending CN115497076A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211224371.9A CN115497076A (zh) 2022-10-09 2022-10-09 一种高精准度和高效率的信号标识检测方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211224371.9A CN115497076A (zh) 2022-10-09 2022-10-09 一种高精准度和高效率的信号标识检测方法、装置及介质

Publications (1)

Publication Number Publication Date
CN115497076A true CN115497076A (zh) 2022-12-20

Family

ID=84473242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211224371.9A Pending CN115497076A (zh) 2022-10-09 2022-10-09 一种高精准度和高效率的信号标识检测方法、装置及介质

Country Status (1)

Country Link
CN (1) CN115497076A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433664A (zh) * 2023-06-13 2023-07-14 成都数之联科技股份有限公司 面板缺陷检测方法、装置、存储介质、设备及程序产品
CN117456461A (zh) * 2023-11-07 2024-01-26 北京城市轨道交通咨询有限公司 一种动火作业违规检测方法及装置
CN117496486A (zh) * 2023-12-27 2024-02-02 安徽蔚来智驾科技有限公司 红绿灯形状识别方法、可读存储介质及智能设备
CN117522950A (zh) * 2023-12-28 2024-02-06 江西农业大学 一种基于机器视觉的植物茎杆生长的几何参数测量方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433664A (zh) * 2023-06-13 2023-07-14 成都数之联科技股份有限公司 面板缺陷检测方法、装置、存储介质、设备及程序产品
CN116433664B (zh) * 2023-06-13 2023-09-01 成都数之联科技股份有限公司 面板缺陷检测方法、装置、存储介质、设备及程序产品
CN117456461A (zh) * 2023-11-07 2024-01-26 北京城市轨道交通咨询有限公司 一种动火作业违规检测方法及装置
CN117496486A (zh) * 2023-12-27 2024-02-02 安徽蔚来智驾科技有限公司 红绿灯形状识别方法、可读存储介质及智能设备
CN117496486B (zh) * 2023-12-27 2024-03-26 安徽蔚来智驾科技有限公司 红绿灯形状识别方法、可读存储介质及智能设备
CN117522950A (zh) * 2023-12-28 2024-02-06 江西农业大学 一种基于机器视觉的植物茎杆生长的几何参数测量方法
CN117522950B (zh) * 2023-12-28 2024-03-12 江西农业大学 一种基于机器视觉的植物茎杆生长的几何参数测量方法

Similar Documents

Publication Publication Date Title
CN115497076A (zh) 一种高精准度和高效率的信号标识检测方法、装置及介质
CN112581612B (zh) 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统
CN111709343B (zh) 一种点云检测方法、装置、计算机设备和存储介质
CN110009648B (zh) 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法
CN110390314B (zh) 一种视觉感知方法及设备
CN113903028A (zh) 一种目标检测方法及电子设备
CN112037142A (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN114549369A (zh) 数据修复方法、装置、计算机及可读存储介质
CN115376089A (zh) 一种基于深度学习的车道线检测方法
CN116052124A (zh) 多相机生成局部地图模板理解加强目标检测方法及系统
CN114495060B (zh) 一种道路交通标线识别方法及装置
CN114821506A (zh) 多视角语义分割方法、装置、电子设备和存储介质
CN114120254A (zh) 道路信息识别方法、装置及存储介质
CN114550116A (zh) 一种对象识别方法和装置
CN116258756B (zh) 一种自监督单目深度估计方法及系统
CN116524261A (zh) 一种基于多模态小样本持续学习的图像分类方法及产品
CN116452911A (zh) 目标检测模型训练方法及装置、目标检测方法及装置
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN114757819A (zh) 一种结构引导的风格偏差校正型风格迁移方法及系统
CN114359789A (zh) 视频图像的目标检测方法、装置、设备及介质
Zin et al. Robust road sign recognition using standard deviation
CN117523186A (zh) 基于超图计算的三维室外场景实例分割方法及装置
CN117911962A (zh) 一种交通场景识别方法、系统、电子设备及计算机介质
CN114663669A (zh) 一种场景图像特征提取方法、装置和域控制器
CN117372825A (zh) 一种bev语义地图构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination