CN113516069A - 基于尺寸鲁棒的道路标识实时检测方法及装置 - Google Patents

基于尺寸鲁棒的道路标识实时检测方法及装置 Download PDF

Info

Publication number
CN113516069A
CN113516069A CN202110772543.5A CN202110772543A CN113516069A CN 113516069 A CN113516069 A CN 113516069A CN 202110772543 A CN202110772543 A CN 202110772543A CN 113516069 A CN113516069 A CN 113516069A
Authority
CN
China
Prior art keywords
road
road sign
identification
image
image pyramid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110772543.5A
Other languages
English (en)
Inventor
刘炎
贾若铖
张孝博
殷绪成
杨春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huachuang Smart Core Technology Co ltd
Original Assignee
Beijing Huachuang Smart Core Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huachuang Smart Core Technology Co ltd filed Critical Beijing Huachuang Smart Core Technology Co ltd
Priority to CN202110772543.5A priority Critical patent/CN113516069A/zh
Publication of CN113516069A publication Critical patent/CN113516069A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于尺寸鲁棒的道路标识实时检测方法及装置，该方法，包括：获取道路标识图像并提取特征，得到图像金字塔特征；将图像金字塔特征输入至道路标识识别模型中，得到道路标识识别模型输出的预测结果；其中，道路标识识别模型是基于交通标志实例图片及其对应的图像标签训练得到；道路标识识别模型用于基于对道路标识提取的图像金字塔特征进行特征融合，并对经特征融合后的结果进行识别得到的。本发明通过对道路标识图像的特征提取，得到不同尺度的特征图构成图像金字塔特征，从而便于实现多尺度目标的检测；通过采用单阶段检测网络，检测与识别无需分步进行，有利于提高道路标志牌检测速度。

Description

基于尺寸鲁棒的道路标识实时检测方法及装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于尺寸鲁棒的道路标识实时检测方法及装置。
背景技术
随着科技的发展，传统的工业生产及人民的日常生活都在向无人化、智能化转型。无人驾驶技术或者辅助驾驶技术具有比人类更广阔的感知范围和灵敏的反应速度，可以为人们带来巨大的便捷和安全保障。识别车辆所处的交通场景和环境信息是车辆感知层的重要任务,主要通过摄像头、雷达、传感器对环境中的障碍物、路况、标示信息进行采集和分析，相当于代替驾驶员的眼睛以识别车辆所处交通场景和环境信息。由于交通标识含有丰富的信息，且其对车辆的行驶起到指示和限制作用，对在无人车技术实现智能化感知起到至关重要的作用。
目前，道路标志牌检测方法大多根据交通标识的显著特点人为地设计可区分的特征，再根据特征构建适合的分类器，比如支持向量机、神经网络等。
由于这种方法强烈依赖于相关人员的专业知识和技术水平，并且由于道路标志牌在尺度、光照、背景、方向等方面具有多样性，会导致大量的道路标志牌错检和漏检。此外，这种方法还需要使用滑动窗口或者图分割的方式选出道路标志牌可能存在的区域，这种方式计算量较大，导致运行时间较长。
发明内容
本发明提供一种基于尺寸鲁棒的道路标识实时检测方法及装置，用以解决现有技术中多尺度道路标识的实时检测误差较大的缺陷，提高道路标识检测的准确性，避免出现错检或漏检的情形。
本发明提供一种基于尺寸鲁棒的道路标识实时检测方法，包括：获取道路标识图像并提取特征，得到图像金字塔特征；将所述图像金字塔特征输入至道路标识识别模型中，得到所述道路标识识别模型输出的道路标识识别结果；其中，所述道路标识识别模型是基于交通标志实例图片及其对应的图像标签训练得到；所述道路标识识别模型用于对基于道路标识提取的图像金字塔特征进行特征融合，并对经特征融合后的结果进行识别。
根据本发明提供一种基于尺寸鲁棒的道路标识实时检测方法，所述道路标识识别模型，包括：空间金字塔池，基于输入的所述图像金字塔特征进行池化和填充，得到所述空间金字塔池输出的池化结果；其中，所述池化结果之间的尺度不同，所述池化结果内包含的各结果的大小尺寸一致；路径聚合层，将所述空间金字塔池输出的池化结果沿通道方向进行连接，得到所述路径聚合层输出的融合特征；标识识别层，基于所述融合特征进行目标检测和偏移，得到所述标识识别层输出的道路标识识别结果。
根据本发明提供的一种基于尺寸鲁棒的道路标识实时检测方法，所述基于所述融合特征进行目标检测和偏移，得到所述标识识别层输出的道路标识识别结果，包括：所述目标检测采用1×1的卷积核对所述融合特征进行卷积，得到目标检测结果；基于所述目标检测结果进行偏移，得到道路标识识别结果，所述道路标识识别结果表示为：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0003154324310000031
Figure BDA0003154324310000032
其中，bx,by表示为预测的目标框中心坐标，bw表示为预测的目标框的宽度，bh表示为预测的目标框的高度，tx、ty、tw和th分别为网络的输出，cx和cy分别表示为单元格的左上角坐标，pw和ph表示为所述标识识别层最后输出特征图的尺寸。
根据本发明提供的一种基于尺寸鲁棒的道路标识实时检测方法，所述将所述图像金字塔特征输入至道路标识识别模型中，得到所述道路标识识别模型输出的道路标识识别结果，包括：将所述图像金字塔特征输入至所述空间金字塔池，得到所述空间金字塔池输出的池化结果；将不同尺度的所述池化结果输入至所述路径聚合层，得到所述路径聚合层输出的融合特征；将所述融合特征输入至所述标识识别层，得到所述标识识别层输出的道路标识识别结果。
根据本发明提供的一种基于尺寸鲁棒的道路标识实时检测方法，所述获取道路标识图像并提取特征，得到图像金字塔特征，包括：获取道路标识图像；针对各所述道路标识图像，随机裁剪矩形区域，并以灰色背景填充；选取任意两个路标识图像按照预设不同比例压缩、相加，得到图像金字塔特征；其中，所述图像金字塔特征包含不同尺度的特征图以及对应所述特征图的标签，所述标签表示为所述矩形区域的置信度。
根据本发明提供的一种基于尺寸鲁棒的道路标识实时检测方法，在所述将所述图像金字塔特征输入至道路标识识别模型之前，方法还包括：基于交通标志实例图片构建训练集；从所述训练集中提取所述交通标志实例图片输入至道路标识识别模型中，得到所述道路标识识别模型输出的道路标识识别训练结果；基于所述道路标识识别训练结果以及所述交通标志实例图片对应的图像标签计算损失函数，并基于所述损失函数收敛判断结束训练。
根据本发明提供的一种基于尺寸鲁棒的道路标识实时检测方法，在所述将所述图像金字塔特征输入至道路标识识别模型之前，方法：构建道路标识识别模型；动量参数设置为0.949，初始学习率设置为0.0001，权重衰减参数设置为5×10-4，训练批量为16，基于优化策略训练6万轮，并分别在训练7.2万轮和8.1万轮后将学习率递减为原先的十分之一。
本发明还提供一种基于尺寸鲁棒的道路标识实时检测装置，包括：提取模块，获取道路标识并提取特征，得到图像金字塔特征；道路标识识别模块，基于输入的所述图像金字塔特征，得到所述道路标识识别模型输出的道路标识识别结果；其中，所述道路标识识别模块是基于交通标志实例图片及其对应的图像标签训练得到；所述道路标识识别模块用于对基于道路标识提取的图像金字塔特征进行特征融合，并对经特征融合后的结果进行识别。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于尺寸鲁棒的道路标识实时检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于尺寸鲁棒的道路标识实时检测方法的步骤。
本发明提供的基于尺寸鲁棒的道路标识实时检测方法及装置，通过对道路标识图像的特征提取，得到不同尺度的特征图构成图像金字塔特征，从而便于实现多尺度目标的检测；通过采用单阶段检测网络，检测与识别无需分步进行，有利于提高道路标志牌检测速度；另外，该道路标识识别模型可以对特征的进行反复提取，以较好的保存小目标的信息，使满足小型交通标志牌上的识别需求；且道路标识识别模型对硬件的要求低，只需使用1080Ti或2080TiGPU即可训练一个超级快速和准确的目标探测器。另外，仅需输入交通标识实例图片以及对应交通标识实例图片真实标注的真实边界框以及类别的图像标签进行训练，实现了端到端的训练，降低了训练复杂度和运行时间；通过融合特征与多尺度下采样以实现多尺度目标的检测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于尺寸鲁棒的道路标识实时检测方法的流程示意图；
图2是本发明提供的道路标识识别模型的网络结构示意图；
图3是本发明提供的基于尺寸鲁棒的道路标识实时检测方法的框架示意图；
图4是本发明提供的基于尺寸鲁棒的道路标识实时检测方法与其他多方向道路标志牌检测方法对比的性能示意图；
图5是本发明提供的一种测试效果图；
图6是本发明提供的基于尺寸鲁棒的道路标识实时检测装置的结构示意图；
图7是本发明提供的电子设备的结构示意图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了一种基于尺寸鲁棒的道路标识实时检测方法的流程示意图，该方法，包括：
S01，获取道路标识图像并提取特征，得到图像金字塔特征；
S02，将图像金字塔特征输入至道路标识识别模型中，得到道路标识识别模型输出的道路标识识别结果；其中，道路标识识别模型是基于交通标志实例图片及其对应的图像标签训练得到；道路标识识别模型用于对基于道路标识提取的图像金字塔特征进行特征融合，并对经特征融合后的结果进行识别。
需要说明的是，本说明书中的S0N不代表基于尺寸鲁棒的道路标识实时检测方法的先后顺序，下面结合图2-图5具体描述本发明基于尺寸鲁棒的道路标识实时检测方法。
步骤S01，获取道路标识图像并提取特征，得到图像金字塔特征。
本实施例中，获取道路标识图像并提取特征，得到图像金字塔特征，包括：获取道路标识图像；针对各道路标识图像，随机裁剪矩形区域，并以灰色背景填充；选取任意两个路标识图像按照预设不同比例压缩、相加，得到图像金字塔特征；其中，图像金字塔特征包含不同尺度的特征图以及对应特征图的标签，标签表示为矩形区域的置信度。
需要说明的是，首先，在获取道路标识图像之后，需要先调整道路标识图像的大小，使其达到预期大小，比如输入2048×2048大小的道路标识图像，将其调整为608×608，从而便于后期进行特征提取。其次，针对608×608大小的道路标识图像，随机裁剪矩形区域，并以灰色背景填充。随后，将608×608大小的图像按照一定比例进行压缩，一定比例可以为8倍，16倍以及32倍下采样，以得到三种尺度的特征图，三种尺度分别为76×76、38×38、19×19，从而便于后续进行特征融合和目标检测识别。最后将压缩后的图像进行叠加，得到图像金字塔特征。
步骤S02，将图像金字塔特征输入至道路标识识别模型中，得到道路标识识别模型输出的道路标识识别结果；其中，道路标识识别模型是基于交通标志实例图片及其对应的图像标签训练得到；道路标识识别模型用于对基于道路标识提取的图像金字塔特征进行特征融合，并对经特征融合后的结果进行识别。
在本实施例中，道路标识识别模型，包括：空间金字塔池，基于输入的图像金字塔特征进行池化和填充，得到空间金字塔池输出的池化结果；其中，池化结果之间的尺度不同，池化结果内包含的各结果的大小尺寸一致；路径聚合层，将空间金字塔池输出的池化结果沿通道方向进行连接，得到路径聚合层输出的融合特征；标识识别层，基于融合特征进行目标检测和偏移，得到标识识别层输出的道路标识识别结果。具体而言：
首先，基于空间金字塔池SPP进行池化和填充。本实施例中，通过SPP对输入的图像金字塔特征内的不同层进行不同尺度的池化，即针对不同尺度的特征图分别进行相应尺度的池化；再对池化后的特征图进行填充，使得池化输出特征层的大小尺寸保持一致，即使池化结果尺度一致，以便于后续将不同尺度的池化结果沿通道方向进行连接，便于后续检测目标。
其次，基于路径聚合层，将池化层输出的池化结果沿通道方向进行连接。本实施例中，路径聚合层可采用PANet，以缩短低层信息至高层需要经过的卷积层数，具体包括：从P1到P3，特征层每次做两倍下采样，N1到N3是池化结果自底而上特征融合后的结果，其中P1和N1完全相同。融合时，将高分辨率的Ni和低分辨率的Pi+1连接到一起得到Ni+1，如图2所示，连接方法说明如下：首先对上一层特征图Ni进行步长为2的3×3卷积完成下采样尺度对齐，然后将上一步得到的结果与特征图Pi+1做像素级别的相加，再对上一步结果进行3×3卷积，得到Ni+1层。
最后，标识识别层，基于所述融合特征进行目标检测和偏移，具体包括：
先采用1×1的卷积核对融合特征进行卷积，以实现目标检测，得到目标检测结果。
再基于目标检测结果进行偏移，得到道路标识识别结果。
在本实施例中，采用YOLOv4检测头，该检测头具有B×(5+C))个通道。其中B表示每个单元格预测的边界框的数量，B个边界框中的每一个都用于检测特定尺寸的对象。每个边界框都有5+C个属性，分别描述了边界框的中心坐标、尺寸、物体是否存在的得分和C个类别每一类的置信度。YOLOv4中会为每个单元格预测3个边界框。
另外，由于直接预测的边界框的宽度和高度会导致训练期间的梯度不稳定，不利于网络学习，因此需要对目标检测结果进行偏移，具体偏移过程表示为：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0003154324310000081
Figure BDA0003154324310000082
其中，bx,by表示为预测的目标框中心坐标，bw表示为预测的目标框的宽度，bh表示为预测的目标框的高度，tx、ty、tw和th分别为网络的输出，cx和cy分别表示为单元格的左上角坐标，pw和ph表示为标识识别层最后输出特征图的尺寸。其中，道路标识识别结果包括道路标志牌的目标框坐标和道路标志牌类别与置信度。
应当注意，由于在一般情况下，YOLO网络不能预测边界框中心的绝对坐标，因此上述偏移过程通过Sigmoid函数来预测目标框中心坐标，以使输出值在0和1之间，从而预测相对于预测对象的网格单元格的左上角的偏移量。通过输出值的带下判断目标对象被包含在边界框中的概率，即目标分数，比如，对于红色和相邻矩形方框，其目标分数接近于1，对于角落的矩形方框，其目标分数接近于0。另外，对象得分表示为识别的目标对象为对应交通标识的概率，通过Sigmoid函数传递。类置信度表示被检测对象属于特定类(狗、猫、香蕉、汽车等)的概率。
在一个可选实施例中，将图像金字塔特征输入至道路标识识别模型中，得到道路标识识别模型输出的道路标识识别结果，包括：将图像金字塔特征输入至空间金字塔池，得到空间金字塔池输出的池化结果；将不同尺度的池化结果输入至路径聚合层，得到路径聚合层输出的融合特征；将融合特征输入至标识识别层，得到标识识别层输出的道路标识识别结果。
在一个可选实施例中，获取道路标识图像并提取特征，得到图像金字塔特征，包括：将图像金字塔特征输入至空间金字塔池，得到空间金字塔池输出的池化结果；将不同尺度的池化结果输入至路径聚合层，得到路径聚合层输出的融合特征；将融合特征输入至标识识别层，得到标识识别层输出的道路标识识别结果。
在一个可选实施例中，在将图像金字塔特征输入至道路标识识别模型之前，方法还包括：构建道路标识识别模型；动量参数设置为0.949，初始学习率设置为0.0001，权重衰减参数设置为5×10-4，训练批量为16，利用darknet深度学习框架的Adam优化策略训练6万轮，并分别在7.2万轮和8.1万轮后将学习率递减为原先的十分之一。
在一个可选实施例中，在将图像金字塔特征输入至道路标识识别模型之前，方法还包括：
基于交通标志实例图片构建训练集；
从训练集中提取交通标志实例图片输入至道路标识识别模型中，得到道路标识识别模型输出的道路标识识别训练结果；
基于道路标识识别训练结果以及交通标志实例图片对应的图像标签计算损失函数，并基于损失函数收敛判断结束训练。
本实施例中可采用YOLOV4网络模型作为道路标识识别模型，参考图3。
具体而言，首先，构建训练集。本实施例中，选用了TT100K(Tsinghua-Tencent100K)数据集，该数据集涵盖了约300个中国城市以及连接它们的道路网络。且其内原始全景图由6个单反相机拍摄，然后拼接在一起。从车辆和肩挂式设备上以大约10m的间隔捕获图像。TT100K从中国5个不同城市中选择了10个区域(包括每个城市的市区和郊区)，提供了100000张包含30000个交通标志实例的图片。这些图像涵盖了光照和天气条件的巨大变化。基准测试中的每个交通标志都用一个类标签、它的边框和像素掩码进行注释。
需要说明的是，在采用TT100K数据集分别训练和测试时，训练集和测试集的比例为3:1。由于在YOLOV4网络中，需要根据交并比选择真实框对应的矩形方框，即锚点框。具体地，按照与YOLOV4相同的策略，与每个真实框交并比最大的锚点框以及与真实框交并比大于0.5的锚点框为正样本，其余锚点框为负样本，并根据在线难例挖掘策略使得负样本与正样本锚点框的比例约为3:1，以避免负样本锚点框远远大于正样本锚点框的数量，其中正样本锚点框负责三个任务的学习，确保找到道路标志牌的大体位置和尺寸。
其次，从训练集中提取交通标志实例图片输入至道路标识识别模型中，得到道路标识识别模型输出的道路标识识别训练结果。
在一个可选实施例中，基于采用的TT100K，将网络预测结果的类别数改为数量大于45张的交通标志牌类别数；将网络预测结果的类别名称改为45类交通标志的名称；将网络配置文件中处理批量的大小改为16，最大训练批次改为90000，学习率衰减为十分之一的批次分别改为72000和81000；将网络配置文件中YOLO检测头的通道数改为150，计算方式为(B×(5+C))，其中B表示每个单元格预测的边界框的数量，本实施例中设置为3；C为类别数，本实施例中设置为45。
最后，基于所述道路标识识别训练结果以及所述交通标志实例图片对应的图像标签计算损失函数，以判断是否结束训练。
loss损失函数表示为：
loss＝lbox+lobj+lcls
其中，lbox表示为道路标志牌边界框回归任务的损失函数；lobj表示为道路标志牌类别任务损失函数；lcls表示为检测框中道路标志牌前景背景类别置信度任务损失函数。
具体而言，lbox表示为：
Figure BDA0003154324310000111
其中，b表示为预测边界框的中心点，bgt图像标签中对应的真实边界框的中心点，ρ代表的是计算两个中心点间的欧式距离，c代表的是能够同时包含预测边界框和真实边界框的最小闭包区域的对角线距离。
另外，IoU表示为交并比，表示为：
Figure BDA0003154324310000112
其中，A和B分别为目标的预测边界框与图像标签中对应的真实边界框。
α表示为权重系数，表示为：
Figure BDA0003154324310000113
v用来度量长宽比的相似性，表示为：
Figure BDA0003154324310000121
其中，w表示为表示预测边界框的宽，wgt表示为真实边界框的宽，h表示预测边界框的搞，hgt表示为真实边界框的高。
lobj采用交叉熵损失函数表示，表示为：
Figure BDA0003154324310000122
其中，λobj和λnoobj为前景背景平衡系数，S为网格宽高的等分数，B为每个网格预测候选边界框数目，ci表示网络预测为前景或者背景的概率，
Figure BDA0003154324310000123
为0或1。
lcls采用二值交叉熵损失函数，表示为：
Figure BDA0003154324310000124
其中，λclass为类别损失平衡系数，S为网格宽高的等分数，B为每个网格预测候选框数目，c表示道路标志牌的类别，pi为预测为该类别的概率。
需要说明的是，当loss损失函数收敛，训练结束。
在一个可选实施例中，训练结束之后，可以通过测试集内的交通标志实例图片及其对应的图像标签进行检验，以确保道路标识识别模型道路标识识别训练结果的有效性。需要说明的是，检验有效性可通过如下过程实现：
首先，计算查准率P，P表示检测出来的真实道路标志牌占检测出来的所有物体的比例，计算公式表示为：
Figure BDA0003154324310000125
其中，TP表示为实际为正样本的物体预测为正样本；FP表示为将实际为负样本的物体预测为正样本。
其次，计算查全率R，R表示检测出来的道路标志牌占所有标注道路标志牌的比例，计算公式表示为：
Figure BDA0003154324310000131
其中，FN表示为将实际为负样本的物体预测为负样本；TN表示为将实际为正样本的物体预测为负样本。
Figure BDA0003154324310000132
需要说明的是，P和R两个指标具有互逆的关系，采用Precision-Recall曲线可以更加直观地观察到各个方法的性能区别，其中Precision-Recall曲线下的面积越大表示性能越好，Speed为单张图片的推理时间，FPS为一秒钟可以推理的图片数量，GPU为训练测试时所使用的显卡，参考图4。
在一个可选实施例中，参考图5，表示为若干测试结果，由图5可知，方法可以检测多尺度道路标志牌，包括角度很大的道路标志牌。此外，本方法同样可以有效检测小尺寸道路标志牌。
综上所述，本发明实施例通过对道路标识图像的特征提取，得到不同尺度的特征图构成图像金字塔特征，从而便于实现多尺度目标的检测；通过采用单阶段检测网络，检测与识别无需分步进行，有利于提高道路标志牌检测速度；另外，该道路标识识别模型可以对特征的进行反复提取，以较好的保存小目标的信息，使满足小型交通标志牌上的识别需求；且道路标识识别模型对硬件的要求低，只需使用1080Ti或2080TiGPU即可训练一个超级快速和准确的目标探测器。另外，仅需输入交通标识实例图片以及对应交通标识实例图片真实标注的真实边界框以及类别的图像标签进行训练，实现了端到端的训练，降低了训练复杂度和运行时间；通过融合特征与多尺度下采样以实现多尺度目标的检测。
下面对本发明提供的基于尺寸鲁棒的道路标识实时检测装置进行描述，下文描述的基于尺寸鲁棒的道路标识实时检测装置与上文描述的基于尺寸鲁棒的路标识实时检测方法可相互对应参照。
图6示出了一种基于尺寸鲁棒的道路标识实时检测装置的结构示意图，该装置包括：
提取模块61，获取道路标识并提取特征，得到图像金字塔特征；
道路标识识别模块62，基于输入的图像金字塔特征，得到道路标识识别模型输出的道路标识识别结果；其中，道路标识识别模块62是基于交通标志实例图片及其对应的图像标签训练得到；道路标识识别模块62用于对基于道路标识提取的图像金字塔特征进行特征融合，并对经特征融合后的结果进行识别。
本实施例中，道路标识识别模块，包括：空间金字塔单元，基于输入的图像金字塔特征进行池化和填充，得到空间金字塔单元输出的池化结果；其中，池化结果之间的尺度不同，池化结果内包含的各结果的大小尺寸一致；路径聚合单元，将空间金字塔单元输出的池化结果沿通道方向进行连接，得到路径聚合层输出的融合特征；标识识别单元，基于融合特征进行目标检测和偏移，得到标识识别单元输出的道路标识识别结果。
具体而言，为了避免直接预测边界框的宽度和高度造成训练过程梯度不稳定的情况，标识识别单元需要对融合特征进行目标检测后的实测结果进行偏移。标识识别单元，包括：卷积子单元，基于融合特征采用1×1的卷积核进行卷积，得到实测结果；偏移子单元，基于所述实测结果进行偏移，得到道路标识识别结果。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)71、通信接口(Communications Interface)72、存储器(memory)73和通信总线74，其中，处理器71，通信接口72，存储器73通过通信总线74完成相互间的通信。处理器71可以调用存储器73中的逻辑指令，以执行基于尺寸鲁棒的道路标识实时检测方法，该方法包括：获取道路标识图像并提取特征，得到图像金字塔特征；将图像金字塔特征输入至道路标识识别模型中，得到道路标识识别模型输出的道路标识识别结果；其中，道路标识识别模型是基于交通标志实例图片及其对应的图像标签训练得到；道路标识识别模型用于基于对道路标识提取的图像金字塔特征进行特征融合，并对经特征融合后的结果进行识别得到的。
此外，上述的存储器73中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于尺寸鲁棒的道路标识实时检测方法，该方法包括：获取道路标识图像并提取特征，得到图像金字塔特征；将图像金字塔特征输入至道路标识识别模型中，得到道路标识识别模型输出的道路标识识别结果；其中，道路标识识别模型是基于交通标志实例图片及其对应的图像标签训练得到；道路标识识别模型用于基于对道路标识提取的图像金字塔特征进行特征融合，并对经特征融合后的结果进行识别得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于尺寸鲁棒的道路标识实时检测方法，该方法包括：获取道路标识图像并提取特征，得到图像金字塔特征；将图像金字塔特征输入至道路标识识别模型中，得到道路标识识别模型输出的道路标识识别结果；其中，道路标识识别模型是基于交通标志实例图片及其对应的图像标签训练得到；道路标识识别模型用于基于对道路标识提取的图像金字塔特征进行特征融合，并对经特征融合后的结果进行识别得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于尺寸鲁棒的道路标识实时检测方法，其特征在于，包括：
获取道路标识图像并提取特征，得到图像金字塔特征；
将所述图像金字塔特征输入至道路标识识别模型中，得到所述道路标识识别模型输出的道路标识识别结果；
其中，所述道路标识识别模型是基于交通标志实例图片及其对应的图像标签训练得到；
所述道路标识识别模型用于对基于道路标识提取的图像金字塔特征进行特征融合，并对经特征融合后的结果进行识别。
2.根据权利要求1所述的基于尺寸鲁棒的道路标识实时检测方法，其特征在于，所述道路标识识别模型，包括：
空间金字塔池，基于输入的所述图像金字塔特征进行池化和填充，得到所述空间金字塔池输出的池化结果；其中，所述池化结果之间的尺度不同，所述池化结果内包含的各结果的大小尺寸一致；
路径聚合层，将所述空间金字塔池输出的池化结果沿通道方向进行连接，得到所述路径聚合层输出的融合特征；
标识识别层，基于所述融合特征进行目标检测和偏移，得到所述标识识别层输出的道路标识识别结果。
3.根据权利要求2所述的基于尺寸鲁棒的道路标识实时检测方法，其特征在于，所述基于所述融合特征进行目标检测和偏移，得到所述标识识别层输出的道路标识识别结果，包括：
采用1×1的卷积核对所述融合特征进行卷积，以实现目标检测，得到目标检测结果；
基于所述目标检测结果进行偏移，得到道路标识识别结果，所述道路标识识别结果表示为：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure FDA0003154324300000021
Figure FDA0003154324300000022
其中，bx,by表示为预测的目标框中心坐标，bw表示为预测的目标框的宽度，bh表示为预测的目标框的高度，tx、ty、tw和th分别为网络的输出，cx和cy分别表示为单元格的左上角坐标，pw和ph表示为所述标识识别层最后输出特征图的尺寸。
4.根据权利要求2所述的基于尺寸鲁棒的道路标识实时检测方法，其特征在于，所述将所述图像金字塔特征输入至道路标识识别模型中，得到所述道路标识识别模型输出的道路标识识别结果，包括：
将所述图像金字塔特征输入至所述空间金字塔池，得到所述空间金字塔池输出的池化结果；
将不同尺度的所述池化结果输入至所述路径聚合层，得到所述路径聚合层输出的融合特征；
将所述融合特征输入至所述标识识别层，得到所述标识识别层输出的道路标识识别结果。
5.根据权利要求1所述的基于尺寸鲁棒的道路标识实时检测方法，其特征在于，所述获取道路标识图像并提取特征，得到图像金字塔特征，包括：
获取道路标识图像；
针对各所述道路标识图像，随机裁剪矩形区域，并以灰色背景填充；
选取任意两个路标识图像按照预设不同比例压缩、相加，得到图像金字塔特征；其中，所述图像金字塔特征包含不同尺度的特征图以及对应所述特征图的标签，所述标签表示为所述矩形区域的置信度。
6.根据权利要求1所述的基于尺寸鲁棒的道路标识实时检测方法，其特征在于，在所述将所述图像金字塔特征输入至道路标识识别模型之前，方法还包括：
基于交通标志实例图片构建训练集；
从所述训练集中提取所述交通标志实例图片输入至道路标识识别模型中，得到所述道路标识识别模型输出的道路标识识别训练结果；
基于所述道路标识识别训练结果以及所述交通标志实例图片对应的图像标签计算损失函数，并基于所述损失函数收敛判断结束训练。
7.根据权利要求1所述的基于尺寸鲁棒的道路标识实时检测方法，其特征在于，在所述将所述图像金字塔特征输入至道路标识识别模型之前，方法还包括：
构建道路标识识别模型；
动量参数设置为0.949，初始学习率设置为0.0001，权重衰减参数设置为5×10-4，训练批量为16，基于优化策略训练6万轮，并分别在训练7.2万轮和8.1万轮后将学习率递减为原先的十分之一。
8.一种基于尺寸鲁棒的道路标识实时检测装置，其特征在于，包括：
提取模块，获取道路标识并提取特征，得到图像金字塔特征；
道路标识识别模块，基于输入的所述图像金字塔特征，得到所述道路标识识别模型输出的道路标识识别结果；
其中，所述道路标识识别模块是基于交通标志实例图片及其对应的图像标签训练得到；
所述道路标识识别模块用于对基于道路标识提取的图像金字塔特征进行特征融合，并对经特征融合后的结果进行识别。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于尺寸鲁棒的道路标识实时检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于尺寸鲁棒的道路标识实时检测方法的步骤。
CN202110772543.5A 2021-07-08 2021-07-08 基于尺寸鲁棒的道路标识实时检测方法及装置 Pending CN113516069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110772543.5A CN113516069A (zh) 2021-07-08 2021-07-08 基于尺寸鲁棒的道路标识实时检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110772543.5A CN113516069A (zh) 2021-07-08 2021-07-08 基于尺寸鲁棒的道路标识实时检测方法及装置

Publications (1)

Publication Number Publication Date
CN113516069A true CN113516069A (zh) 2021-10-19

Family

ID=78066978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110772543.5A Pending CN113516069A (zh) 2021-07-08 2021-07-08 基于尺寸鲁棒的道路标识实时检测方法及装置

Country Status (1)

Country Link
CN (1) CN113516069A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114639088A (zh) * 2022-03-23 2022-06-17 姜妹英 大数据自动导航方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807376A (zh) * 2019-10-17 2020-02-18 北京化工大学 基于遥感图像的城外道路提取方法及装置
CN112380952A (zh) * 2020-11-10 2021-02-19 广西大学 基于人工智能的电力设备红外图像实时检测及识别方法
US20210110180A1 (en) * 2018-09-06 2021-04-15 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for traffic sign detection, electronic device and computer storage medium
CN112699900A (zh) * 2021-01-05 2021-04-23 东北林业大学 一种改进YOLOv4的交通标志识别方法
CN112699834A (zh) * 2021-01-12 2021-04-23 腾讯科技（深圳）有限公司 交通标识检测方法、装置、计算机设备和存储介质
CN112989958A (zh) * 2021-02-22 2021-06-18 哈工大机器人集团(无锡)科创基地研究院 基于YOLOv4与显著性检测的安全帽佩戴识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210110180A1 (en) * 2018-09-06 2021-04-15 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for traffic sign detection, electronic device and computer storage medium
CN110807376A (zh) * 2019-10-17 2020-02-18 北京化工大学 基于遥感图像的城外道路提取方法及装置
CN112380952A (zh) * 2020-11-10 2021-02-19 广西大学 基于人工智能的电力设备红外图像实时检测及识别方法
CN112699900A (zh) * 2021-01-05 2021-04-23 东北林业大学 一种改进YOLOv4的交通标志识别方法
CN112699834A (zh) * 2021-01-12 2021-04-23 腾讯科技（深圳）有限公司 交通标识检测方法、装置、计算机设备和存储介质
CN112989958A (zh) * 2021-02-22 2021-06-18 哈工大机器人集团(无锡)科创基地研究院 基于YOLOv4与显著性检测的安全帽佩戴识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUIBAI WANG等: "Traffic Sign Detection Algorithm based on improved YOLOv4", 《2020 IEEE 9TH JOINT INTERNATIONAL INFORMATION TECHNOLOGY AND ARTIFICIAL INTELLIGENCE CONFERENCE》, pages 1946 - 1950 *
陈红等: "自然场景下的交通标志检测与识别", 《电子测量技术》, pages 102 - 109 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114639088A (zh) * 2022-03-23 2022-06-17 姜妹英 大数据自动导航方法

Similar Documents

Publication Publication Date Title
US10346720B2 (en) Rotation variant object detection in Deep Learning
CN107944450B (zh) 一种车牌识别方法及装置
CN110555420B (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN110348463B (zh) 用于识别车辆的方法和装置
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
CN113591872A (zh) 一种数据处理系统、物体检测方法及其装置
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
CN114049512A (zh) 模型蒸馏方法、目标检测方法、装置及电子设备
CN114049572A (zh) 识别小目标的检测方法
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN111626241A (zh) 一种人脸检测方法及装置
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN114359892A (zh) 三维目标检测方法、装置及计算机可读存储介质
CN113516069A (zh) 基于尺寸鲁棒的道路标识实时检测方法及装置
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN112926426A (zh) 基于监控视频的船舶识别方法、系统、设备及存储介质
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN112329550A (zh) 基于弱监督学习的受灾建筑快速定位评估方法及装置
CN116596971A (zh) 一种航拍运动目标的双重检测方法及系统、存储介质
CN112037255A (zh) 目标跟踪方法和装置
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN114332814A (zh) 一种停车框识别方法、装置、电子设备及存储介质
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Yan

Inventor after: Jia Ruocheng

Inventor after: Zhang Xiaobo

Inventor after: Yin Xucheng

Inventor after: Yang Chun

Inventor before: Liu Yan

Inventor before: Jia Ruocheng

Inventor before: Zhang Xiaobo

Inventor before: Yin Xucheng

Inventor before: Yang Chun