CN110135307B - 基于注意力机制的交通标志检测方法和装置 - Google Patents

基于注意力机制的交通标志检测方法和装置 Download PDF

Info

Publication number
CN110135307B
CN110135307B CN201910365006.1A CN201910365006A CN110135307B CN 110135307 B CN110135307 B CN 110135307B CN 201910365006 A CN201910365006 A CN 201910365006A CN 110135307 B CN110135307 B CN 110135307B
Authority
CN
China
Prior art keywords
traffic sign
image
candidate
target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910365006.1A
Other languages
English (en)
Other versions
CN110135307A (zh
Inventor
欧中洪
肖芬瑞
熊柏桥
宋美娜
宋俊德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910365006.1A priority Critical patent/CN110135307B/zh
Publication of CN110135307A publication Critical patent/CN110135307A/zh
Application granted granted Critical
Publication of CN110135307B publication Critical patent/CN110135307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提出一种基于注意力机制的交通标志检测方法和装置，其中，方法包括：通过获取待检测图像，根据贪心策略算法对待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域，其中，目标检测区域中包含所有交通标志区域；将至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果，根据非极大抑制算法对所有目标检测区域对应的候选预测结果进行去噪，获取目标预测结果，其中，目标预测结果中包含所述待检测图像中的交通标志类别信息和位置信息。由此，通过预先训练的检测模型对待检测图像进行交通标志检测，提高了交通标志检测的精度值和效率。

Description

基于注意力机制的交通标志检测方法和装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于注意力机制的交通标志检测方法和装置。
背景技术
随着自动驾驶技术的发展，对道路信息感知能力提出了越来越高的要求，其中，最重要的道路信息就是交通标志信息，从高分辨率的车载摄像中高效提取出交通标志信息至关重要。
现有技术中心的交通标志检测方法包括：图像处理方法和基于深度学习的交通标志检测方法。其中，图像处理方法使用图像处理的特征提取算法提取指路标志图像几何特征和字符间距，然后与数据库中的模板对比判断是否为交通标志。其中，基于深度学习的交通标志检测方法，首先通过深度卷积神经网络提取图像特征，之后再通过区域建议网络(Region Proposal Network,RPN)生成建议区域，基于建议区域和图像特征对当前区域进行分类，判断是否属于某一类交通标志。
但是，现有技术中，交通标志检测技术存在检测精度低、效率低的缺陷。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种基于注意力机制的交通标志检测方法，以解决现有技术中交通标志检测方法精度低、效率低的技术问题。
本申请一方面实施例提出了一种基于注意力机制的交通标志检测方法，包括：
获取待检测图像，其中，所述待检测图像中包含至少一个交通标志区域；
根据贪心策略算法对所述待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域，其中，所述目标检测区域中包含所有交通标志区域；
将所述至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果；
根据非极大抑制算法对所述所有目标检测区域对应的候选预测结果进行去噪，获取目标预测结果，其中，所述目标预测结果中包含所述待检测图像中的交通标志类别信息和位置信息。
本申请实施例的基于注意力机制的交通标志检测方法，通过获取待检测图像，根据贪心策略算法对待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域，其中，目标检测区域中包含所有交通标志区域；将至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果，根据非极大抑制算法对所有目标检测区域对应的候选预测结果进行去噪，获取目标预测结果，其中，目标预测结果中包含所述待检测图像中的交通标志类别信息和位置信息。由此，通过预先训练的检测模型对待检测图像进行交通标志检测，提高了交通标志检测的精度值和效率。
本申请另一方面实施例提出了一种基于注意力机制的交通标志检测方法，包括：
获取模块，用于获取待检测图像，其中，所述待检测图像中包含至少一个交通标志区域；
切片模块，用于根据贪心策略算法对所述待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域，其中，所述目标检测区域中包含所有交通标志区域；
输入模块，用于将所述至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果；
筛选模块，用于根据非极大抑制算法对所述所有目标检测区域对应的候选预测结果进行筛选，获取目标预测结果，其中，所述目标预测结果中包含所述待检测图像中的交通标志类别信息和位置信息。
本申请实施例的基于注意力机制的交通标志检测装置，通过获取待检测图像，根据贪心策略算法对待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域，其中，目标检测区域中包含所有交通标志区域；将至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果，根据非极大抑制算法对所有目标检测区域对应的候选预测结果进行去噪，获取目标预测结果，其中，目标预测结果中包含所述待检测图像中的交通标志类别信息和位置信息。由此，通过预先训练的检测模型对待检测图像进行交通标志检测，提高了交通标志检测的精度值和效率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种基于注意力机制的交通标志检测方法的流程示意图；
图2为本申请实施例提供的一种贪心策略生成的切片图像的示意图；
图3为本申请实施例提供的另一种基于注意力机制的交通标志检测方法的结构示例图；
图4为本申请实施例提供的一种根据检测模型预测交通标志的示例图；
图5为本申请实施例提供的一种基于注意力机制的交通标志检测装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
现有技术中的交通标志检测技术包括：图像处理方法和基于深度学习的交通标志检测方法。其中，图像处理方法使用图像处理的特征提取算法提取指路标志图像几何特征和字符间距，然后与数据库中的模板对比判断是否为交通标志。其中，基于深度学习的交通标志检测方法，首先通过深度卷积神经网络提取图像特征，之后再通过区域建议网络生成建议区域，基于建议区域和图像特征对当前区域进行分类，判断是否属于某一类交通标志。
采用图像处理方法进行交通标志检测时，依赖模板信息，并且对光照变化等适应能力差，在复杂场景下的交通标志检测难以取得理想的效果。采用基于深度学习的交通标志检测方法进行交通标志检测时，需要处理整张图像，而交通标志只占原图很少的比例，因此浪费了大量计算资源，除此之外交通标志相对于原图尺度较小，因此经过深度卷积神经网络后特征较弱，难以有效定位和分类交通标志。
针对上述问题，本申请提出了一种基于注意力机制的交通标志检测方法，通过获取待检测图像，根据贪心策略算法对待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域，其中，目标检测区域中包含所有交通标志区域；将至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果，根据非极大抑制算法对所有目标检测区域对应的候选预测结果进行去噪，获取目标预测结果，其中，目标预测结果中包含所述待检测图像中的交通标志类别信息和位置信息。
下面参考附图描述本申请实施例的基于注意力机制的交通标志检测方法和装置。
图1为本申请实施例提供的一种基于注意力机制的交通标志检测方法的流程示意图。
如图1所示，该基于注意力机制的交通标志检测方法包括以下步骤：
步骤101，获取待检测图像，其中，待检测图像中包含至少一个交通标志区域。
本申请实施例中，待检测图像，可以为车辆行驶过程中，通过车载设备的拍摄系统拍摄车辆行驶周围得到的图像。也可以为通过摄像机在道路两侧拍摄得到的图像。其中，待检测图像中包含至少一个交通标志区域。记为G＝{G1,G2,…Gm}，G中包含每个交通标志区域的位置和类别信息。
步骤102，根据贪心策略算法对待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域。
其中，目标检测区域中包含所有交通标志区域。
其中，贪心策略算法，是一种对某些求最优解问题的更简单、更迅速的设计技术。用贪婪法设计算法的特点是一步一步地进行，常以当前情况为基础根据某个优化测度作最优选择，而不考虑各种可能的整体情况，它省去了为找最优解要穷尽所有可能而必须耗费的大量时间，它采用自顶向下，以迭代的方法做出相继的贪心选择，每做一次贪心选择就将所求问题简化为一个规模更小的子问题，通过每一步贪心选择，可得到问题的一个最优解。
本申请实施例中，对于待检测图像，通过预设尺寸的滑动窗口，以预设间隔连续滑动切片，得到多个候选检测区域。
举例来说，如图2所示，可以选择512*512的滑动窗口，在待检测图像上以间隔为32，连续滑动切片，得到多个大小为512*512的切片图像。
进一步的，获取每个候选检测区域中滑动窗口和滑动窗口中的交通标志区域的面积交叠比，获取交通标志区域完全处于候选检测区域中时，候选检测区域包含的交通标志区域的数量，根据交通标志区域的数量和面积交叠比在多个候选检测区域中确定至少一个目标检测区域。
具体地，在待检测图像上以预设尺寸的滑动窗口，以预设间隔连续滑动切片，得到多个候选检测区域，记为R＝{R1,R2,…Rn}，其中，R中包含每个候选检测区域的位置信息。分别计算交通标志区域与每个候选检测区域的面积交叠比(Intersection Over Union,IOU)，即交集与并集的比值。如果面积交叠比IOU(Ri,Gj)＝1，则说明交通标志区域Gj落入了候选检测区域Ri内。进一步的，计算每个候选检测区域Ri中包含的交通标志区域Gj的数量，并按照交通标志区域数量从大到小的规则对多个候选检测区域进行排序。按数量从大到小依次选取Ri作为最终的切片结果，当Ri被选出后，其所包含的Gj将从所有剩余的R中删除，重新计算并排序，最终从多个候选检测区域中确定灯光覆盖所有交通标志区域的至少一个目标检测区域。
步骤103，将至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果。
本申请实施例中，将至少一个目标检测区域输入预先训练的检测模型之前，对至少一个目标检测区域进行归一化处理。其中，归一化处理，是指对图像进行了一系列标准的处理变换，使之变换为一固定标准形式的过程。
具体地，提取每个目标检测区域中各个颜色通道的像素值，计算至少一个目标检测区域的像素值的均值和方差，将各目标检测区域的像素值与每个颜色通道的均值进行做差，并除以方差，即可得到归一化处理后的目标检测区域。
进一步的，将归一化处理后的至少一个目标检测区域输入预先训练的检测模型，即可得到每个目标检测区域中交通标识区域对应的候选预测结果。
步骤104，根据非极大抑制算法对所有目标检测区域对应的候选预测结果进行筛选，获取目标预测结果，其中，所述目标预测结果中包含所述待检测图像中的交通标志类别信息和位置信息。
其中，非极大抑制算法，是为了消除多余的候选框，找到最佳的交通标志检测位置。
本申请实施例中，目标检测区域对应的候选预测结果中可能包含有多个交通标志候选框，需要将所有框的得分进行排序，选中最高分及其对应的框，遍历其余多有的交通标志候选框。当多个检测框重叠面积占据最大框面积的比例超过了这个设定的非最大值抑制这个值的时候，那么就只保留置信度最高的那个框，冗余的框都去掉。从而得到目标预测结果，其中，目标预测结果中包含待检测图像中的交通标志类别信息和位置信息。
本申请实施例的基于注意力机制的交通标志检测方法，通过获取待检测图像，根据贪心策略算法对待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域，其中，目标检测区域中包含所有交通标志区域；将至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果，根据非极大抑制算法对所有目标检测区域对应的候选预测结果进行去噪，获取目标预测结果，其中，目标预测结果中包含所述待检测图像中的交通标志类别信息和位置信息。由此，通过预先训练的检测模型对待检测图像进行交通标志检测，提高了交通标志检测的精度值和效率。
作为一种可能的情况，可以采用已经标注交通标志类别信息和位置信息的样本图像对检测模型进行训练，以提高检测模型的检测精度值。下面结合图3对上述过程进行详细介绍，图3为本申请实施例提供的另一种基于注意力机制的交通标志检测方法的结构示例图。
如图3所示，该方法包括以下步骤：
步骤201，获取样本图像；其中，样本图像中已标注交通标志类别信息和位置信息。
本申请实施例中，样本图像，可以为通过高精度摄像头对道路上的交通标志拍摄得到的，也可以为从道路上采集的交通标志数据库中获取的，在此不做限定。其中，样本图像中已经标注交通标志类别信息和位置信息，用于指示样本图像中交通标志的位置以及类别。
步骤202，将样本图像输入至检测模型，获取样本图像的预测结果，直至预测结果中包含的交通类别信息和位置信息，与输入的样本图像对应的交通类别信息和位置信息的相似度大于预设阈值时，完成对检测模型的训练。
本申请实施例中，将样本图像输入检测模型前，采用贪心策略算法对样本图像中标注交通标志的区域进行切片处理，得到符合预设条件的至少一个目标检测区域，进而对至少一个目标检测区域进行归一化处理，将归一化处理后的图像输入检测模型。获取样本图像的预测结果，直至预测结果中包含的交通类别信息和位置信息，与输入的样本图像对应的交通类别信息和位置信息的相似度大于预设阈值时，完成对检测模型的训练。
具体地，将样本图像输入至检测模型，以便于检测模型通过残差神经网络提取样本图像的候选图像特征，并根据候选图像特征获取样本图像中交通标志的预测位置信息，以及获取候选图像特征中的每个特征点的权重。进一步的，获取检测模型根据候选图像特征、预测位置信息和每个特征点的权重进行计算得到的目标候选特征。获取检测模型将目标候选特征输入到分类网络后得到的预测结果。
作为一种示例，参见图4，图4为本申请实施例提供的一种根据检测模型预测交通标志的示例图。图4中将标注有交通标志类别信息和位置信息的样本图像输入检测模型，通过检测模型的残差神经网络提取得到样本图像的图像特征。将样本图像特征输入区域建议神经网络，得到预测的目标位置。同时，将样本图像特征输入注意力分支，注意力分支通过多层卷积堆叠生成与样本图像特征一样的矩阵，称为注意力图像。进一步的，将样本图像特征与注意力图像相乘，得到带注意力的特征图。根据区域建议神经网络得到预测的目标位置从特征图中提取出目标特征，送入最后的分类网络，得到预测结果。然后，计算损失函数，进行反向传播，直至预测结果中包含的交通类别信息和位置信息，与输入的样本图像对应的交通类别信息和位置信息的相似度大于预设阈值时，完成对检测模型的训练。
需要说明的是，检测模型中的注意力分支利用通对标注框填充得到的近似分割图生成对特征图的每一个像素点重要性的权重评估，在与原始样本图像特征图相乘，过滤掉重要性较低的特征，只保留与交通标志强相关的特征，注意力分支能够使得检测模型更加专注于目标。
本申请实施例中，通过获取样本图像，其中，样本图像中已标注交通标志类别信息和位置信息，将样本图像输入至检测模型，获取样本图像的预测结果，直至预测结果中包含的交通类别信息和位置信息，与输入的样本图像对应的交通类别信息和位置信息的相似度大于预设阈值时，完成对检测模型的训练。由此，通过对检测模型的训练，能够实现将输入图像输入经过训练的检测模型后，能够根据检测模型的输出，准确的确定交通标志的位置和类别，从而提高了交通标志检测的精确度。
为了实现上述实施例，本申请实施例还提出一种基于注意力机制的交通标志检测装置。
图5为本申请实施例提供的一种基于注意力机制的交通标志检测装置的结构示意图。
如图5所示，该基于注意力机制的交通标志检测装置100包括：获取模块110、切片模块120、输入模块130以及筛选模块140。
获取模块110，用于获取待检测图像，其中，待检测图像中包含至少一个交通标志区域。
切片模块120，用于根据贪心策略算法对待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域，其中，目标检测区域中包含所有交通标志区域。
输入模块130，用于将至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果。
筛选模块140，用于根据非极大抑制算法对所有目标检测区域对应的候选预测结果进行筛选，获取目标预测结果，其中，目标预测结果中包含待检测图像中的交通标志类别信息和位置信息。
作为一种可能的实现方式，切片模块120，具体用于：
通过预设尺寸的滑动窗口以预设间隔在所述待检测图像上连续滑动切片，获取切片后的多个候选检测区域；
获取每个候选检测区域中滑动窗口和滑动窗口中的交通标志的面积交叠比；
获取每个候选检测区域中包含的交通标志区域的数量；
根据交通标志区域的数量和面积交叠比在多个候选检测区域中确定目标检测区域。
作为另一种可能的实现方式，基于注意力机制的交通标志检测装置100，还包括：
提取模块，用于提取每个目标检测区域中各个颜色通道的像素值。
计算模块，用于根据预设算法对像素值计算各个颜色通道的获取像素计算值。
归一化处理模块，用于对每个目标检测区域中每个颜色通道的像素计算值进行归一化处理。
作为另一种可能的实现方式，基于注意力机制的交通标志检测装置100，还包括：
样本获取模块，用于获取样本图像；其中，所述样本图像中已标注交通标志类别信息和位置信息
训练模块，用于将所述样本图像输入至所述检测模型，获取所述样本图像的预测结果，直至所述预测结果中包含的交通类别信息和位置信息，与输入的样本图像对应的交通类别信息和位置信息的相似度大于预设阈值时，完成对所述检测模型的训练。
作为另一种可能的实现方式，训练模块，具体用于：
将所述样本图像输入至所述检测模型，以便于所述检测模型通过残差神经网络提取所述样本图像的候选图像特征，并根据所述候选图像特征获取所述样本图像中交通标志的预测位置信息，以及获取所述候选图像特征中的每个特征点的权重；
获取所述检测模型根据所述候选图像特征、所述预测位置信息和所述每个特征点的权重进行计算得到的目标候选特征；
获取所述检测模型将所述目标候选特征输入到分类网络后得到的所述预测结果。
需要说明的是，前述对基于注意力机制的交通标志检测方法实施例的解释说明也适用于该实施例的基于注意力机制的交通标志检测装置，此处不再赘述。
本申请实施例的基于注意力机制的交通标志检测装置，通过获取待检测图像，根据贪心策略算法对待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域，其中，目标检测区域中包含所有交通标志区域；将至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果，根据非极大抑制算法对所有目标检测区域对应的候选预测结果进行去噪，获取目标预测结果，其中，目标预测结果中包含所述待检测图像中的交通标志类别信息和位置信息。由此，通过预先训练的检测模型对待检测图像进行交通标志检测，提高了交通标志检测的精度值和效率。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于注意力机制的交通标志检测方法，其特征在于，所述方法包括以下步骤：
获取待检测图像，其中，所述待检测图像中包含至少一个交通标志区域；
根据贪心策略算法对所述待检测图像进行切片，得到符合预设条件的至少一个目标检测区域，其中，所述目标检测区域中包含所有交通标志区域；
获取样本图像；其中，所述样本图像中已标注交通标志类别信息和位置信息；
将所述样本图像输入至检测模型，获取所述样本图像的预测结果，直至所述预测结果中包含的交通类别信息和位置信息，与输入的样本图像对应的交通类别信息和位置信息的相似度大于预设阈值时，完成对所述检测模型的训练；
将所述至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果；
根据非极大抑制算法对所有目标检测区域对应的候选预测结果进行筛选，获取目标预测结果，其中，所述目标预测结果中包含所述待检测图像中的交通标志类别信息和位置信息；
其中，所述根据贪心策略算法对所述待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域，包括：
通过预设尺寸的滑动窗口以预设间隔在所述待检测图像上连续滑动切片，获取切片后的多个候选检测区域；
获取每个候选检测区域中滑动窗口和所述滑动窗口中的交通标志区域的面积交叠比；
获取所述每个候选检测区域中包含的交通标志区域的数量；
根据所述交通标志区域的数量和所述面积交叠比在所述多个候选检测区域中确定所述目标检测区域；
其中，根据所述交通标志区域的数量和所述面积交叠比在所述多个候选检测区域中确定所述目标检测区域，包括：
计算所述每个候选检测区域中包含的交通标志区域的数量，并按照交通标志区域数量从大到小的规则对多个候选检测区域进行排序；
按数量从大到小依次选取候选检测区域作为最终的切片结果，当候选检测区域被选出后,其所包含的交通标志区域将从剩余的候选检测区域中删除，重新计算并排序，最终从多个候选检测区域中确定灯光覆盖所有交通标志区域的至少一个目标检测区域；
其中，将所述样本图像输入至所述检测模型，还包括：将标注有交通标志类别信息和位置信息的样本图像输入检测模型，通过检测模型的残差神经网络提取得到样本图像的图像特征；将样本图像特征输入区域建议神经网络，得到预测的目标位置，同时，将样本图像特征输入注意力分支，注意力分支通过多层卷积堆叠生成与样本图像特征一样的矩阵，称为注意力图像；将所述样本图像特征与所述注意力图像相乘，得到带注意力的特征图；根据区域建议神经网络得到预测的目标位置从特征图中提取出目标特征，送入分类网络，得到预测结果；计算损失函数，进行反向传播，直至预测结果中包含的交通类别信息和位置信息，与输入的样本图像对应的交通类别信息和位置信息的相似度大于预设阈值时，完成对检测模型的训练；
其中，所述注意力分支利用对标注框填充得到的近似分割图生成对所述样本图像特征的每一个像素点重要性的权重评估，再与所述样本图像特征相乘，过滤掉重要性较低的特征，保留交通标志强相关的特征。
2.根据权利要求1所述的检测方法，其特征在于，所述将所述至少一个目标检测区域输入预先训练的检测模型之前，还包括：
提取每个目标检测区域中各个颜色通道的像素值；
根据预设算法对所述像素值计算所述各个颜色通道的获取像素计算值；
对所述每个目标检测区域中每个颜色通道的像素计算值进行归一化处理。
3.根据权利要求1所述的检测方法，其特征在于，所述将所述样本图像输入至所述检测模型，获取所述样本图像的预测结果，包括：将所述样本图像输入至所述检测模型，以便于所述检测模型通过残差神经网络提取所述样本图像的候选图像特征，并根据所述候选图像特征获取所述样本图像中交通标志的预测位置信息，以及获取所述候选图像特征中的每个特征点的权重；
获取所述检测模型根据所述候选图像特征、所述预测位置信息和所述每个特征点的权重进行计算得到的目标候选特征；
获取所述检测模型将所述目标候选特征输入到分类网络后得到的所述预测结果。
4.一种基于注意力机制的交通标志检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像，其中，所述待检测图像中包含至少一个交通标志区域；
切片模块，用于根据贪心策略算法对所述待检测图像进行切片，得到符合预设条件的获取至少一个目标检测区域，其中，所述目标检测区域中包含所有交通标志区域；
样本获取模块，用于获取样本图像；其中，所述样本图像中已标注交通标志类别信息和位置信息
训练模块，用于将所述样本图像输入至检测模型，获取所述样本图像的预测结果，直至所述预测结果中包含的交通类别信息和位置信息，与输入的样本图像对应的交通类别信息和位置信息的相似度大于预设阈值时，完成对所述检测模型的训练；
输入模块，用于将所述至少一个目标检测区域输入预先训练的检测模型，获取与每个目标检测区域对应的候选预测结果；
筛选模块，用于根据非极大抑制算法对所有目标检测区域对应的候选预测结果进行筛选，获取目标预测结果，其中，所述目标预测结果中包含所述待检测图像中的交通标志类别信息和位置信息；
其中，所述切片模块，具体用于：
通过预设尺寸的滑动窗口以预设间隔在所述待检测图像上连续滑动切片，获取切片后的多个候选检测区域；
获取每个候选检测区域中滑动窗口和所述滑动窗口中的交通标志的面积交叠比；
获取所述每个候选检测区域中包含的交通标志区域的数量；
根据所述交通标志区域的数量和所述面积交叠比在所述多个候选检测区域中确定所述目标检测区域；
其中，根据所述交通标志区域的数量和所述面积交叠比在所述多个候选检测区域中确定所述目标检测区域，包括：
计算所述每个候选检测区域中包含的交通标志区域的数量，并按照交通标志区域数量从大到小的规则对多个候选检测区域进行排序；
按数量从大到小依次选取候选检测区域作为最终的切片结果，当候选检测区域被选出后,其所包含的交通标志区域将从剩余的候选检测区域中删除，重新计算并排序，最终从多个候选检测区域中确定灯光覆盖所有交通标志区域的至少一个目标检测区域；
其中，所述训练模块，还用于：将标注有交通标志类别信息和位置信息的样本图像输入检测模型，通过检测模型的残差神经网络提取得到样本图像的图像特征；将样本图像特征输入区域建议神经网络，得到预测的目标位置，同时，将样本图像特征输入注意力分支，注意力分支通过多层卷积堆叠生成与样本图像特征一样的矩阵，称为注意力图像；将所述样本图像特征与所述注意力图像相乘，得到带注意力的特征图；根据区域建议神经网络得到预测的目标位置从特征图中提取出目标特征，送入分类网络，得到预测结果；计算损失函数，进行反向传播，直至预测结果中包含的交通类别信息和位置信息，与输入的样本图像对应的交通类别信息和位置信息的相似度大于预设阈值时，完成对检测模型的训练；
其中，所述注意力分支利用对标注框填充得到的近似分割图生成对所述样本图像特征的每一个像素点重要性的权重评估，再与所述样本图像特征相乘，过滤掉重要性较低的特征，保留交通标志强相关的特征。
5.根据权利要求4所述的装置，其特征在于，所述装置，还包括：
提取模块，用于提取每个目标检测区域中各个颜色通道的像素值；
计算模块，用于根据预设算法对所述像素值计算所述各个颜色通道的获取像素计算值；
归一化处理模块，用于对所述每个目标检测区域中每个颜色通道的像素计算值进行归一化处理。
6.根据权利要求4所述的装置，其特征在于，所述训练模块，具体用于：
将所述样本图像输入至所述检测模型，以便于所述检测模型通过残差神经网络提取所述样本图像的候选图像特征，并根据所述候选图像特征获取所述样本图像中交通标志的预测位置信息，以及获取所述候选图像特征中的每个特征点的权重；
获取所述检测模型根据所述候选图像特征、所述预测位置信息和所述每个特征点的权重进行计算得到的目标候选特征；
获取所述检测模型将所述目标候选特征输入到分类网络后得到的所述预测结果。
CN201910365006.1A 2019-04-30 2019-04-30 基于注意力机制的交通标志检测方法和装置 Active CN110135307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910365006.1A CN110135307B (zh) 2019-04-30 2019-04-30 基于注意力机制的交通标志检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910365006.1A CN110135307B (zh) 2019-04-30 2019-04-30 基于注意力机制的交通标志检测方法和装置

Publications (2)

Publication Number Publication Date
CN110135307A CN110135307A (zh) 2019-08-16
CN110135307B true CN110135307B (zh) 2022-07-01

Family

ID=67576180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910365006.1A Active CN110135307B (zh) 2019-04-30 2019-04-30 基于注意力机制的交通标志检测方法和装置

Country Status (1)

Country Link
CN (1) CN110135307B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473216A (zh) * 2019-08-22 2019-11-19 联想(北京)有限公司 一种图像中目标物的检测方法及装置
CN112989900B (zh) * 2019-12-13 2024-09-24 小米汽车科技有限公司 一种精确检测交通标志或标线的方法
CN111489369B (zh) * 2020-03-24 2024-02-13 玖壹叁陆零医学科技南京有限公司 幽门螺杆菌的定位方法、装置和电子设备
CN111783639A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 图像检测方法、装置、电子设备及可读存储介质
CN111931693B (zh) * 2020-08-31 2024-08-13 平安国际智慧城市科技股份有限公司 基于人工智能的交通标志识别方法、装置、终端及介质
CN112016514B (zh) * 2020-09-09 2024-05-14 平安科技（深圳）有限公司 一种交通标志识别方法、装置、设备及储存介质
CN112347887B (zh) * 2020-10-28 2023-11-24 深圳市优必选科技股份有限公司 一种物体检测方法、物体检测装置及电子设备
CN112507902A (zh) * 2020-12-15 2021-03-16 深圳市城市交通规划设计研究中心股份有限公司 交通标志异常检测方法、计算机设备及存储介质
CN112884054B (zh) * 2021-03-03 2022-12-09 歌尔股份有限公司 一种目标标注方法和一种目标标注装置
CN113076800A (zh) * 2021-03-03 2021-07-06 惠州市博实结科技有限公司 一种道路标志牌检测方法及装置
CN113112479A (zh) * 2021-04-15 2021-07-13 清华大学 基于关键区块提取的渐进式目标检测方法和装置
CN113326749B (zh) * 2021-05-17 2023-05-02 合肥高维数据技术有限公司 目标检测方法、装置以及存储介质、电子设备
CN113361643A (zh) * 2021-07-02 2021-09-07 人民中科(济南)智能技术有限公司 基于深度学习的通用标志识别方法、系统、设备及存储介质
CN113506358A (zh) * 2021-07-15 2021-10-15 上海眼控科技股份有限公司 一种图像标注方法、装置、设备和存储介质
CN113705406A (zh) * 2021-08-19 2021-11-26 上海商汤临港智能科技有限公司 交通指示信号的检测方法及相关装置、设备、介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2762950B1 (en) * 2013-02-01 2020-10-21 Volvo Car Corporation Vehicle head-up display arrangement
CN104616021B (zh) * 2014-12-24 2020-05-05 清华大学 交通标志图像处理方法及装置
CN104517103A (zh) * 2014-12-26 2015-04-15 广州中国科学院先进技术研究所 一种基于深度神经网络的交通标志分类方法
CN106372571A (zh) * 2016-08-18 2017-02-01 宁波傲视智绘光电科技有限公司 路面交通标志检测与识别方法
CN106934397B (zh) * 2017-03-13 2020-09-01 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
CN107273816B (zh) * 2017-05-24 2019-11-05 浙江零跑科技有限公司 基于车载前视单目相机的交通限速标识检测识别方法
CN107273828A (zh) * 2017-05-29 2017-10-20 浙江师范大学 一种基于区域的全卷积神经网络的路牌检测方法
US10471955B2 (en) * 2017-07-18 2019-11-12 lvl5, Inc. Stop sign and traffic light alert
CN108710826A (zh) * 2018-04-13 2018-10-26 燕山大学 一种交通标志深度学习模式识别方法
CN108647585B (zh) * 2018-04-20 2020-08-14 浙江工商大学 一种基于多尺度循环注意力网络的交通标识符检测方法
CN108960198A (zh) * 2018-07-28 2018-12-07 天津大学 一种基于残差ssd模型的交通标志检测与识别方法
CN109255375A (zh) * 2018-08-29 2019-01-22 长春博立电子科技有限公司 基于深度学习的全景图像对象检测方法
CN109255352B (zh) * 2018-09-07 2021-06-22 北京旷视科技有限公司 目标检测方法、装置及系统
CN109325438B (zh) * 2018-09-18 2021-06-15 桂林电子科技大学 实况全景交通标志的实时识别方法
CN109635284A (zh) * 2018-11-26 2019-04-16 北京邮电大学 基于深度学习结合累积注意力机制的文本摘要方法及系统

Also Published As

Publication number Publication date
CN110135307A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110135307B (zh) 基于注意力机制的交通标志检测方法和装置
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109948684B (zh) 激光雷达点云数据标注质量的质检方法、装置及设备
CN113033604B (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
US10824881B2 (en) Device and method for object recognition of an input image for a vehicle
CN113822247A (zh) 基于航拍影像的违章建筑识别方法及系统
CN109948683B (zh) 点云数据的难易度划分方法、装置及其相关设备
CN115223117B (zh) 三维目标检测模型的训练和使用方法、装置、介质及设备
CN108475429B (zh) 三维显微镜图像的分割的系统和方法
CN110008792B (zh) 图像检测方法、装置、计算机设备及存储介质
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN110580499B (zh) 基于众包重复标签的深度学习目标检测方法及系统
JP6698191B1 (ja) 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN112307840A (zh) 指示灯检测方法、装置、设备及计算机可读存储介质
CN114820679B (zh) 图像标注方法、装置、电子设备和存储介质
CN112070750A (zh) 皮革制品缺陷检测方法和装置
US20170053172A1 (en) Image processing apparatus, and image processing method
CN114820644A (zh) 对图像的像素进行分类的方法和设备
CN111191482A (zh) 一种刹车灯识别方法、装置及电子设备
CN117274740A (zh) 一种红外目标检测方法及装置
CN112183382A (zh) 无人驾驶交通灯检测分类方法和装置
CN116958113A (zh) 一种产品检测方法、装置、设备及存储介质
CN115761699A (zh) 交通信号灯的分类方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant