CN112016467B - 交通标志识别模型训练方法、识别方法、系统、设备及介质 - Google Patents

交通标志识别模型训练方法、识别方法、系统、设备及介质 Download PDF

Info

Publication number
CN112016467B
CN112016467B CN202010887081.7A CN202010887081A CN112016467B CN 112016467 B CN112016467 B CN 112016467B CN 202010887081 A CN202010887081 A CN 202010887081A CN 112016467 B CN112016467 B CN 112016467B
Authority
CN
China
Prior art keywords
training
module
traffic sign
loss function
central point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010887081.7A
Other languages
English (en)
Other versions
CN112016467A (zh
Inventor
陈圣卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202010887081.7A priority Critical patent/CN112016467B/zh
Publication of CN112016467A publication Critical patent/CN112016467A/zh
Application granted granted Critical
Publication of CN112016467B publication Critical patent/CN112016467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种交通标志识别模型训练方法、识别方法、系统、设备及介质，该训练方法包括：获取样本数据集；根据样本数据集对交通标志识别模型进行训练；该模型包括下采样网络、特征提取网络和标志预测网络；下采样网络包括若干下采样模块；特征提取网络包括空间注意力模块、若干上采样模块及加权模块；空间注意力模块用于对预定下采样模块输出的特征图像进行处理，得到目标尺寸特征图像；若干上采样模块分别用于将相应下采样模块输出的特征图像放大至目标尺寸；加权模块用于根据所述目标尺寸特征图像得到整体特征图像；标志预测网络用于根据整体特征图像得到对应训练图像中交通标志的预测边界框。本发明能够提高交通标志识别的准确性和效率。

Description

交通标志识别模型训练方法、识别方法、系统、设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种交通标志识别模型训练方法、识别方法、系统、设备及介质。
背景技术
随着汽车自动驾驶技术的兴起，TSR(交通标志识别，Traffic Sign Recognition)作为辅助智能驾驶中极为重要的一环获得了广泛地关注，其在车辆行驶过程中对道路出现的交通标志进行实时识别，及时提醒驾驶员做出正确的驾驶行为，以确保交通安全，预防交通事故的发生。
在深度学习发展之前，交通标志识别往往基于传统图像处理算法实现，虽然在不断提升算法的精度，但是存在着泛化能力差、运行时间长等问题，离实际应用还有相当长一段距离。随着深度学习的高速发展，许多的目标检测算法被应用于交通标志识别任务中，但是在检测小尺寸交通标志时，现有的算法仍存在识别效果较差、识别时间长等问题。
例如，公开号为CN108985145A的专利申请介绍了一种小尺寸交通标志检测识别的反向连接深度神经网络模型方法，该方法借鉴Faster R-CNN两步检测法，其网络主要包含区域提取网络和分类网络两个部分，此外该方法还融合了来自不同特征层的特征信息来提升识别效果。然而，该方法基于两步法(Two-Stage)网络，虽然有助于提高识别精度，但也大大降低了网络的运行速度，另外在区域提取模块使用VGG微调网络、在分类网络部分使用全连接层会使得网络参数量巨大，进一步降低了网络的运行速度，远远无法满足实时性的需求。
再如，公开号为CN110414417A的专利申请介绍了一种多层次融合多尺度预测的交通标志牌识别方法，该方法借鉴了YoloV3的单步网络结构，并且通过提取多个不同层次的特征图，将多尺度预测结构预测的边界框融合在一起；而后通过非极大值抑制算法去除其中重叠比例高和置信度度的边界框得到最后的检测结果。该方法采用单步网络(One-Stage)，相比于两步网络，仅需将图像送入网络一次就可以进行预测，运行速度大大增加。然而，非极大值抑制算法需要花大量运算时间来去除几万个候选框，对于交通标志识别这种高分辨率输入图像的任务无法达到实时的要求。
发明内容
针对上述现有技术的不足，本发明的目的在于提供一种基于深度学习的交通标志识别模型训练方法、识别方法、系统、设备及介质，以解决现有技术中小尺寸交通标志识别效果差、识别时间长等问题。
为了实现上述目的，本发明提供一种交通标志识别模型训练方法，包括：
获取样本数据集，所述样本数据集包括若干训练图像，所述训练图像中标注有交通标志的实际边界框和实际类别；
根据所述样本数据集对预先建立的交通标志识别模型进行训练；
其中，所述交通标志识别模型包括依次级联的下采样网络、特征提取网络和标志预测网络；
所述下采样网络包括若干下采样模块；
所述特征提取网络包括空间注意力模块、若干上采样模块、以及加权模块；
所述空间注意力模块用于对预定所述下采样模块输出的特征图像进行处理，得到尺寸为目标尺寸的特征图像；
所述若干上采样模块分别用于将相应所述下采样模块输出的特征图像放大至所述目标尺寸，得到若干尺寸为所述目标尺寸的特征图像；
所述加权模块用于对所述各所述各特征图像进行加权处理，得到整体特征图像；
所述标志预测网络用于对所述整体特征图像进行处理，得到对应所述训练图像中交通标志的预测边界框和预测类别。
在本发明一个优选实施例中，所述标志预测网络包括中心点高斯分布热力图预测模块、中心点偏差回归模块以及尺寸回归模块。
在本发明一个优选实施例中，所述根据所述样本数据集对预先建立的交通标志识别模型进行训练，包括：
将所述样本数据集中的训练图像输入至所述交通标志识别模型中进行处理，并获取所述中心点高斯分布热力图预测模块、所述中心点偏差回归模块以及所述尺寸回归模块输出的结果；
根据所述中心点高斯分布热力图预测模块、所述中心点偏差回归模块及所述尺寸回归模块输出的结果与对应所述训练图像中标注的实际边界框和实际类别，确定模型整体损失函数；
根据所述模型整体损失函数，对所述交通标志识别模型进行迭代训练，直至满足预定训练终止条件。
在本发明一个优选实施例中，所述根据所述中心点高斯分布热力图预测模块、所述中心点偏差回归模块及所述尺寸回归模块输出的结果与对应所述训练图像中标注的实际边界框和实际类别，确定模型整体损失函数，包括：
根据所述中心点高斯分布热力图预测模块输出的结果、与对应所述训练图像中标注的实际边界框的中心点位置和实际类别，确定中心点预测损失函数；
根据所述中心点偏差回归模块输出的结果、与对应所述训练图像中标注的实际边界框的中心点位置，确定偏差回归损失函数；
根据所述尺寸回归模块输出的结果、与对应所述训练图像中标注的实际边界框的尺寸，确定尺寸回归损失函数；
根据所述中心点预测损失函数、偏差回归损失函数和尺寸回归损失函数，确定模型整体损失函数。
在本发明一个优选实施例中，所述中心点预测损失函数采用Focal Loss损失函数；
所述偏差回归损失函数的计算公式如下式(1)所示：
Figure BDA0002655884930000041
在式(1)中，ASL1(d1)表示偏差回归损失函数，
Figure BDA0002655884930000042
ti1＝(tx,ty)，
Figure BDA0002655884930000043
tx,ty表示所述中心点偏差回归模块输出的所述预测边界框的中心点坐标，
Figure BDA0002655884930000044
表示相应所述训练图像中标注的实际边界框的中心点坐标；
所述尺寸回归损失函数的计算公式如下式(2)所示：
Figure BDA0002655884930000045
在式(2)中，ASL1(d2)表示尺寸回归损失函数，
Figure BDA0002655884930000046
ti2＝(tw,th)，
Figure BDA0002655884930000047
tw,th表示所述尺寸回归模块输出的所述预测边界框的宽度和高度，
Figure BDA0002655884930000048
表示相应所述训练图像中标注的实际边界框的宽度和高度。
在本发明一个优选实施例中，在获取样本数据集后，所述方法还包括：
对所述样本数据集进行数据增强处理。
在本发明一个优选实施例中，所述下采样网络还包括用于对所述训练图像进行下采样和压缩的主干模块。
为了实现上述目的，本发明还提供一种交通标志识别方法，包括：
获取目标图像；
基于前述方法训练得到的所述交通标志识别模型对所述目标图像进行处理，得到所述目标图像的交通标志识别结果。
为了实现上述目的，本发明还提供一种交通标志识别模型训练装置，包括：
样本获取单元，用于获取样本数据集，所述样本数据集包括若干训练图像，所述训练图像中标注有交通标志的实际边界框和实际类别；
训练单元，用于根据所述样本数据集对预先建立的交通标志识别模型进行训练；
其中，所述交通标志识别模型包括依次级联的下采样网络、特征提取网络和标志预测网络；
所述下采样网络包括若干下采样模块；
所述特征提取网络包括空间注意力模块、若干上采样模块、以及加权模块；
所述空间注意力模块用于对预定所述下采样模块输出的特征图像进行处理，得到尺寸为目标尺寸的特征图像；
所述若干上采样模块分别用于将相应所述下采样模块输出的特征图像放大至所述目标尺寸，得到若干尺寸为所述目标尺寸的特征图像；
所述加权模块用于对所述各特征图像进行加权处理，得到整体特征图像；
所述标志预测网络用于对所述整体特征图像进行处理，得到对应所述训练图像中交通标志的预测边界框。
在本发明一个优选实施例中，所述标志预测网络包括中心点高斯分布热力图预测模块、中心点偏差回归模块以及尺寸回归模块。
在本发明一个优选实施例中，所述训练单元包括：
模型处理子单元，用于将所述样本数据集中的训练图像输入至所述交通标志识别模型中进行处理，并获取所述中心点高斯分布热力图预测模块、所述中心点偏差回归模块以及所述尺寸回归模块输出的结果；
损失函数确定子单元，用于根据所述中心点高斯分布热力图预测模块、所述中心点偏差回归模块及所述尺寸回归模块输出的结果与对应所述训练图像中标注的实际边界框和实际类别，确定模型整体损失函数；
模型训练子单元，用于根据所述模型整体损失函数，对所述交通标志识别模型进行迭代训练，直至满足预定训练终止条件。
在本发明一个优选实施例中，所述损失函数确定子单元具体用于：
根据所述中心点高斯分布热力图预测模块输出的结果、与对应所述训练图像中标注的实际边界框的中心点位置和实际类别，确定中心点预测损失函数；
根据所述中心点偏差回归模块输出的结果、与对应所述训练图像中标注的实际边界框的中心点位置，确定偏差回归损失函数；
根据所述尺寸回归模块输出的结果、与对应所述训练图像中标注的实际边界框的尺寸，确定尺寸回归损失函数；
根据所述中心点预测损失函数、偏差回归损失函数和尺寸回归损失函数，确定模型整体损失函数。
在本发明一个优选实施例中，所述中心点预测损失函数采用Focal Loss损失函数；
所述偏差回归损失函数的计算公式如下式(1)所示：
Figure BDA0002655884930000061
在式(1)中，ASL1(d1)表示偏差回归损失函数，
Figure BDA0002655884930000062
ti1＝(tx,ty)，
Figure BDA0002655884930000063
tx,ty表示所述中心点偏差回归模块输出的所述预测边界框的中心点坐标，
Figure BDA0002655884930000064
表示相应所述训练图像中标注的实际边界框的中心点坐标；
所述尺寸回归损失函数的计算公式如下式(2)所示：
Figure BDA0002655884930000065
在式(2)中，ASL1(d2)表示尺寸回归损失函数，
Figure BDA0002655884930000066
ti2＝(tw,th)，
Figure BDA0002655884930000067
tw,th表示所述尺寸回归模块输出的所述预测边界框的宽度和高度，
Figure BDA0002655884930000068
表示相应所述训练图像中标注的实际边界框的宽度和高度。
在本发明一个优选实施例中，所述装置还包括：
数据增强单元，用于在获取样本数据集后，对所述样本数据集进行数据增强处理。
在本发明一个优选实施例中，所述下采样网络还包括用于对所述训练图像进行下采样和压缩的主干模块。
为了实现上述目的，本发明还一种交通标志识别装置，包括：
目标图像获取单元，用于获取目标图像；
识别单元，用于基于前述方法训练得到的所述交通标志识别模型对所述目标图像进行处理，得到所述目标图像的交通标志识别结果。
为了实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述交通标志识别模型训练方法或交通标志识别方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述交通标志识别模型训练方法或交通标志识别方法的步骤。
通过采用上述技术方案，本发明具有如下有益效果：
本发明交通标志识别模型中的特征提取网络可以融合不同尺度的特征层信息，从而大大提高小目标的特征提取能力，进而提升交通标志识别准确率，并且模型的推理运行时间不会有明显的增加，同时，本发明采用的是one-stage模型，仅需将图像送入模型一次即可进行预测，相比于two-stage模型，可以大大提高模型部署后的运行效率，缩短识别时间。
附图说明
图1为本发明基于的实施环境的示意图；
图2为本发明实施例1的交通标志识别模型训练方法的流程图；
图3为本发明实施例1中交通标志识别模型的结构示意图；
图4为本发明实施例2中交通标志识别方法的流程图；
图5为本发明实施例3中交通标志识别模型训练装置的结构框图；
图6为本发明实施例4中交通标志识别装置的结构框图；
图7为本发明实施例5中电子设备的硬件架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
图1示出了本发明基于的实施环境的示意图，该实施环境可以包括终端和服务器。其中，终端和服务器均可以作为本发明交通标志识别模型训练方法和交通标志识别方法的执行主体。
在一种可能实现方式中，终端可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(Personal Computer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视、智能音箱等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端与服务器通过有线或无线网络建立通信连接。
本领域技术人员应能理解上述终端和服务器仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
实施例1
基于图1所示的实施环境，本实施例提供一种交通标志识别模型训练方法，如图2所示，该方法包括以下步骤：
S11，获取样本数据集，所述样本数据集包含若干训练图像，所述训练图像中标注有交通标志的实际边界框和实际类别。在本实施例中，在训练图像中标注边界框是指用方框将训练图像中的交通标志标释出来。
S12，对所述样本数据集进行数据增强处理。
由于在模型训练过程中，通常需要大量样本数据才能避免过度拟合，样本数据越多，训练得到的模型性能越佳。为了克服样本数据的不足以及提高模型的通用性，数据增强目前在深度学习的各个领域中应用广泛，在计算机视觉领域，生成增强图像相对比较容易。在本实施例中，可以采用以下两种方式进行数据增强处理：一种是形变增强，一种是纹理增强。其中，形变增强主要针对图像的大小、位置进行变换，包括翻转、旋转、缩放、平移等；纹理增强不改变图像尺寸，主要包括添加噪声、图像模糊、亮度和光照调节、对比度调节、清晰度调节等。在本实施例中，并不对数据增强处理采用的具体方式做任何具体限定。
S13，根据所述样本数据集对预先建立的交通标志识别模型进行训练。具体地，如图3所示，所述交通标志识别模型包括依次级联的下采样网络、特征提取网络和标志预测网络。其中，下采样网络和特征提取网络构成骨干网络。
在本实施例中，所述下采样网络包括若干下采样模块。具体地，可以采用分组卷积残差网络网络作为下采样网络，该网络例如可以包括一个主干模块和四个2倍下采样模块。所述主干模块用于进行2倍下采样并压缩图像尺寸，具体地，主干模块含一个卷积核为3x3、步长为2卷积层，其目的是在图像输入网络时，进行2倍下采样并快速地将图像尺寸压缩小4倍，以使整个网络推理速度大大加速，并且由于初始图像较大、冗余信息较多，所以并不会丢失性能。而各2倍下采样模块是由数个卷积层组成，目的是学习到图像内部特征。四个2倍下采样模块依次输出训练图像的4倍、8倍、16倍、32倍下采样特征图像。各下采样模块分别包括1、3、7、5个残差块，每个残差块包含2个1x1卷积层以及1个3x3分组卷积层，且每个卷积层后跟随有Batch Norm(批标准化)层和Relu(激活函数)层。本实施例中的下采样网络具有精度高、推理时间快、结构规整、可扩展的特性。应该理解，此处举例的下采样网络的结构仅作为示例说明，本实施方式并不对下采样网络的结构做任何限定。
在本实施例中，所述特征提取网络采用FPN(特征金字塔网络)结构，其包括空间注意力模块、若干采样倍数不同的上采样模块以及加权模块。其中，所述空间注意力模块用于对预定所述下采样模块输出的特征图像进行处理，得到尺寸为目标尺寸的特征图像；所述若干上采样模块分别用于将相应所述下采样模块输出的特征图像放大至所述目标尺寸，得到若干尺寸为所述目标尺寸的特征图像；所述加权模块用于对所述空间注意力模块及所述若干上采样模块得到的特征图像进行加权处理，得到整体特征图像。
例如，当下采样网络采用前述分组卷积残差网络时，所述特征提取网络包括一个空间注意力模块、三个上采样模块以及一个加权模块。其中，空间注意力模块用于根据空间注意力机制对前述下采样网络输出的4倍下采样特征图像(即第一个下采样模块输出的特征图像)进行处理，得到H/4*W/4*128的特征图像。在本实施例中，空间注意力模块是通过一条支路与输入主路相乘得到，该支路中包括一个平均池化层、一个3x3卷积层以及sigmoid激活函数。三个上采样模块分别包含一个2倍上采样卷积层、两个2倍上采样卷积层、三个2倍上采样卷积层，分别用于对后面三个下采样模块输出的8倍、16倍、32倍下采样特征图像进行2倍、4倍、8倍上采样处理，从而得到三个H/4*W/4*128的特征图像。加权模块用于对前面得到的四个H/4*W/4*128的特征图像进行加权处理，其中，每个H/4*W/4*128特征图像的加权系数可通过训练得到，H、W表示对应训练图像的宽度和高度。
本实施例通过空间注意力模块能够更好地关注到小目标的特征信息。由于交通标志样本数据集中存在大量小目标，在浅层的语义层中增加该模块可提高模型在小目标中的检测准确率。通过设置加权模块，可使最后得到的特征图像可根据数据集自身情况，通过加权获取更多浅层或深层的语义信息。在交通标志识别中，由于标志较小，需要获取到更多浅层的语义信息，加权模块可大大提高对小目标的检测准确率，也同时兼顾大目标的特征信息不被损耗。
本实施例对下采样网络和特征提取网络中下采样模块和上采样模块的具体数量不加以限定，可以根据经验设置，也可以根据应用场景灵活调整。其中，下采样模块用于进行下采样处理，数量越多，下采样处理的次数越多，提取的特征携带的信息也越多，但相应的计算量也会增大，所以可以根据经验合理地设置下采样模块和上采样模块的数量。
当得到所述整体特征图像后，本实施例通过所述标志预测网络对所述整体特征图像进行处理，得到对应所述训练图像中交通标志的预测边界框，从而可以准确检测到训练图像中的交通标志。
具体地，所述标志预测网络可以包括中心点高斯分布热力图预测模块、中心点偏差回归模块以及尺寸回归模块。其中，中心点高斯分布热力图预测模块用于预测各交通标志类别下训练图像的高斯热力图，得到训练图像中预测概率最高的边界框中心点位置及对应类别；中心点偏差回归模块用于预测训练图像中交通标志的中心位置；尺寸回归模块用于预测训练图像中交通标志的尺寸。
在本实施例中，根据所述样本数据集对预先建立的交通标志识别模型进行训练的步骤如下：
S131，将所述样本数据集中的训练图像输入至所述交通标志识别模型中进行处理，并获取所述交通标志识别模型中的中心点高斯分布热力图预测模块、所述中心点偏差回归模块以及所述尺寸回归模块输出的结果。
S132，根据所述中心点高斯分布热力图预测模块输出的结果、所述中心点偏差回归模块输出的结果、所述尺寸回归模块输出的结果、与对应所述训练图像中标注的实际边界框的实际类别，确定模型整体损失函数。本步骤的具体实现过程如下：
S1321，根据所述中心点高斯分布热力图预测模块输出的结果(即所述训练图像中交通标志预测概率最高的边界框中心点及对应类别)、与对应所述训练图像中标注的实际边界框和实际类别，确定中心点预测损失函数。在本实施施例中，中心点预测损失函数可以采用Focal Loss损失函数。
S1322，根据所述中心点偏差回归模块输出的结果(即训练图像中交通标志预测边界框的中心位置)、与对应所述训练图像中标注的实际边界框，确定偏差回归损失函数。
在本实施例中，偏差回归损失函数和尺寸回归损失函数可以采用根据现有SmoothL1 Loss改进的ASL1 Loss(Authentic Smooth L1 Loss)损失函数进行计算：
具体地，所述偏差回归损失函数的计算公式如下式(1)所示：
Figure BDA0002655884930000121
在式(1)中，ASL1(d1)表示偏差回归损失函数，
Figure BDA0002655884930000122
ti1＝(tx,ty)，
Figure BDA0002655884930000123
tx,ty表示所述中心点偏差回归模块输出的所述预测边界框的中心点坐标，
Figure BDA0002655884930000124
表示相应所述训练图像中标注的实际边界框的中心点坐标，μ1可根据不同训练难度的损失函数进行设置，在本实施例中，可设置为0.02。
ASL1 Loss损失函数具有smooth L1 loss的特点，当d1较小时，其近似为一个二次函数(L2 loss)，当d1较大时，其近似为一个线性函数(L1loss)，加入μ1后可使整个函数具有真实平滑的良好特性且使其导数存在且连续，从而使模型可以获得更高的精确率。
S1323，根据所述尺寸回归模块输出的结果(即训练图像中交通标志预测边界框的尺寸)、与对应所述训练图像中标注的实际边界框，确定尺寸回归损失函数。在本实施例中，尺寸回归函数同样采用前述ASL1 loss损失函数，具体地，所述尺寸回归损失函数的计算公式如下式(2)所示：
Figure BDA0002655884930000131
在式(2)中，ASL1(d2)表示尺寸回归损失函数，
Figure BDA0002655884930000132
ti2＝(tw,th)，
Figure BDA0002655884930000133
tw,th表示所述尺寸回归模块输出的所述预测边界框的宽度和高度，
Figure BDA0002655884930000134
表示相应所述训练图像中标注的实际边界框的宽度和高度，μ2可根据不同训练难度的损失函数进行设置，在本实施例中，可设置为0.02。
S1324，根据所述中心点预测损失函数、偏差回归损失函数和尺寸回归损失函数，确定模型整体损失函数。
例如，假设中心点预测损失函数、偏差回归损失函数和尺寸回归损失函数分别表示为Lcenter,Loffset,Lsize，则根据如下式(2)计算模型整体损失函数Loss：
Loss＝λcenterLcenter+λoffsetLoffset+λsizeLsize (3)
在式(2)中，λcenter,λoffset,λsize分别表示Lcenter,Loffset,Lsize三个损失函数的权重，各权重可根据经验进行设置，也可以根据不同应用场景通过实验调参进行最优化调整。
S133，根据所述模型整体损失函数对所述交通标志识别模型进行迭代训练，直至满足预定训练终止条件。
根据模型整体损失函数训练交通标志识别模型的过程为迭代过程，每训练一次，判断是否满足预定的训练终止条件。若不满足训练终止条件，则根据上述步骤131至步骤133继续进行训练，直至满足训练终止条件。
在一种可能实现方式中，满足训练终止条件包括但不限于以下三种情况：第一种，迭代训练次数达到次数阈值。次数阈值可以根据经验设置，也可以根据应用场景灵活调整，本申请实施例对此不加以限定。第二种，模型整体损失函数小于损失阈值。损失阈值可以根据经验设置，也可以根据应用场景自由调整，本申请实施例对此不加以限定。第三种，模型整体损失函数收敛。损失函数收敛是指随着迭代训练次数的增加，在参考次数的训练结果中，损失函数的波动范围在参考范围内。例如，假设参考范围为-10-3～10-3，假设参考次数为10次。若损失函数在10次的迭代训练结果中波动范围均在-10-3～10-3内，则认为损失函数收敛。当满足上述任一种情况时，说明满足训练终止条件，得到训练后的交通标志识别模型。
综上所述，本实施例交通标志识别模型中的特征提取网络可以融合不同尺度的特征层信息，从而大大提高小目标的特征提取能力，进而提升交通标志识别准确率，并且模型的推理运行时间不会有明显的增加，同时，本发明采用的是one-stage模型，仅需将图像送入模型一次即可进行预测，相比于two-stage模型，可以大大提高模型部署后的运行效率，缩短识别时间。此外，本实施例中的骨干网络具有可扩展性，可根据应用环境调整下采样网络的结构，使模型在移动端/车载设备中达到推理性能的最佳状态。
实施例2
本实施例提供一种交通标志识别方法，如图4所示，该方法具体包括以下步骤：
S21，获取待识别的目标图像；
S22，基于前述实施例1的方法训练得到的所述交通标志识别模型对所述目标图像进行处理，得到所述目标图像的交通标志识别结果。
本实施例通过采用实施例1的方法训练得到的所述交通标志识别模型对所述目标图像进行识别，可以达到交通标志识别准确性高、识别时间短的效果。
需要说明的是，对于前述实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
实施例3
本实施例提供一种交通标志识别模型训练装置，如图5所示，该装置1包括样本获取单元11、数据增强单元12和训练单元13。下面分别对每个单元进行详细描述：
样本获取单元11用于获取样本数据集，所述样本数据集包含若干训练图像，所述训练图像中标注有交通标志的实际边界框。在本实施例中，在训练图像中标注边界框是指用方框将训练图像中的交通标志标释出来。
数据增强单元12用于对所述样本数据集进行数据增强处理。
由于在模型训练过程中，通常需要大量样本数据才能避免过度拟合，样本数据越多，训练得到的模型性能越佳。为了克服样本数据的不足以及提高模型的通用性，数据增强目前在深度学习的各个领域中应用广泛，在计算机视觉领域，生成增强图像相对比较容易。在本实施例中，可以采用以下两种方式进行数据增强处理：一种是形变增强，一种是纹理增强。其中，形变增强主要针对图像的大小、位置进行变换，包括翻转、旋转、缩放、平移等；纹理增强不改变图像尺寸，主要包括添加噪声、图像模糊、亮度和光照调节、对比度调节、清晰度调节等。在本实施例中，并不对数据增强处理采用的具体方式做任何具体限定。
训练单元13用于根据所述样本数据集对预先建立的交通标志识别模型进行训练。具体地，本实施例中的所述交通标志识别模型与实施例1中交通标志识别模型的结构相同，在些不再赘述。
在本实施例中，所述训练单元13具体包括模型处理子单元131、损失函数确定子单元132、模型训练子单元133。
模型处理子单元131用于将所述样本数据集中的训练图像输入至所述交通标志识别模型中进行处理，并获取所述交通标志识别模型中的中心点高斯分布热力图预测模块、所述中心点偏差回归模块以及所述尺寸回归模块输出的结果。
损失函数确定子单元132用于根据所述中心点高斯分布热力图预测模块输出的结果、所述中心点偏差回归模块输出的结果、所述尺寸回归模块输出的结果、与对应所述训练图像中标注的实际边界框，确定模型整体损失函数。损失函数确定子单元132具体执行以下操作：
首先，根据所述中心点高斯分布热力图预测模块输出的结果、与对应所述训练图像中标注的实际边界框和实际类别，确定中心点预测损失函数。在本实施施例中，中心点预测损失函数可以采用Focal Loss损失函数。
而后，根据所述中心点偏差回归模块输出的结果、与对应所述训练图像中标注的实际边界框，确定偏差回归损失函数。
在本实施例中，偏差回归损失函数和尺寸回归损失函数可以采用根据现有SmoothL1 Loss改进的ASL1 Loss(Authentic Smooth L1 Loss)损失函数进行计算：
具体地，所述偏差回归损失函数的计算公式如下式(1)所示：
Figure BDA0002655884930000161
在式(1)中，ASL1(d1)表示偏差回归损失函数，
Figure BDA0002655884930000162
ti1＝(tx,ty)，
Figure BDA0002655884930000163
tx,ty表示所述中心点偏差回归模块输出的所述预测边界框的中心点坐标，
Figure BDA0002655884930000164
表示相应所述训练图像中标注的实际边界框的中心点坐标，μ1可根据不同训练难度的损失函数进行设置，在本实施例中，可设置为0.02。
ASL1 Loss损失函数具有smooth L1 loss的特点，当d1较小时，其近似为一个二次函数(L2 loss)，当d1较大时，其近似为一个线性函数(L1 loss)，加入μ1后可使整个函数具有真实平滑的良好特性且使其导数存在且连续，从而使模型可以获得更高的精确率。
而后，根据所述尺寸回归模块输出的结果、与对应所述训练图像中标注的实际边界框，确定尺寸回归损失函数。在本实施例中，尺寸回归函数同样采用前述ASL1 loss损失函数，具体地，所述尺寸回归损失函数的计算公式如下式(2)所示：
Figure BDA0002655884930000171
在式(2)中，ASL1(d2)表示尺寸回归损失函数，
Figure BDA0002655884930000172
ti2＝(tw,th)，
Figure BDA0002655884930000173
tw,th表示所述尺寸回归模块输出的所述预测边界框的宽度和高度，
Figure BDA0002655884930000174
表示相应所述训练图像中标注的实际边界框的宽度和高度，μ2可根据不同训练难度的损失函数进行设置，在本实施例中，可设置为0.02。
最后，根据所述中心点预测损失函数、偏差回归损失函数和尺寸回归损失函数，确定模型整体损失函数。
例如，假设中心点预测损失函数、偏差回归损失函数和尺寸回归损失函数分别表示为Lcenter,Loffset,Lsize，则根据如下式(2)计算模型整体损失函数Loss：
Loss＝λcenterLcenter+λoffsetLoffset+λsizeLsize (3)
在式(2)中，λcenter,λoffset,λsize分别表示Lcenter,Loffset,Lsize三个损失函数的权重，各权重可根据经验进行设置，也可以根据应用场景灵活调整。
模型训练子单元133用于根据所述模型整体损失函数对所述交通标志识别模型进行迭代训练，直至满足预定训练终止条件。
根据模型整体损失函数训练交通标志识别模型的过程为迭代过程，每训练一次，判断是否满足预定的训练终止条件。若不满足训练终止条件，则根据上述步骤131至步骤133继续进行训练，直至满足训练终止条件。
在一种可能实现方式中，满足训练终止条件包括但不限于以下三种情况：第一种，迭代训练次数达到次数阈值。次数阈值可以根据经验设置，也可以根据应用场景灵活调整，本申请实施例对此不加以限定。第二种，模型整体损失函数小于损失阈值。损失阈值可以根据经验设置，也可以根据应用场景自由调整，本申请实施例对此不加以限定。第三种，模型整体损失函数收敛。损失函数收敛是指随着迭代训练次数的增加，在参考次数的训练结果中，损失函数的波动范围在参考范围内。例如，假设参考范围为-10-3～10-3，假设参考次数为10次。若损失函数在10次的迭代训练结果中波动范围均在-10-3～10-3内，则认为损失函数收敛。当满足上述任一种情况时，说明满足训练终止条件，得到训练后的交通标志识别模型。
综上所述，本实施例交通标志识别模型中的特征提取网络可以融合不同尺度的特征层信息，从而大大提高小目标的特征提取能力，进而提升交通标志识别准确率，并且模型的推理运行时间不会有明显的增加，同时，本发明采用的是one-stage模型，仅需将图像送入模型一次即可进行预测，相比于two-stage模型，可以大大提高模型部署后的运行效率，缩短识别时间。此外，本实施例中的骨干网络具有可扩展性，可根据应用环境调整下采样网络的结构，使模型在移动端/车载设备中达到推理性能的最佳状态。
实施例4
本实施例提供一种交通标志识别装置，如图6所示，该装置2具体包括：
目标图像获取单元21，用于获取待识别的目标图像；
识别单元22，用于基于前述实施例3的装置训练得到的所述交通标志识别模型对所述目标图像进行处理，得到所述目标图像的交通标志识别结果。
本实施例通过采用实施例3的装置训练得到的所述交通标志识别模型对所述目标图像进行识别，可以达到交通标志识别准确性高、识别时间短的效果。
实施例5
本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例1提供的交通标志识别模型训练方法，或者实施例2提供的交通标志识别方法。
图7示出了本实施例的硬件结构示意图，如图7所示，电子设备9具体包括：
至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93，其中：
总线93包括数据总线、地址总线和控制总线。
存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。
存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1提供的交通标志识别模型训练方法，或者实施例2提供的交通标志识别方法。
电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1提供的交通标志识别模型训练方法，或者实施例2提供的交通标志识别方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1提供的交通标志识别模型训练方法，或者实施例2提供的交通标志识别方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (18)

1.一种交通标志识别模型训练方法，其特征在于，包括：
获取样本数据集，所述样本数据集包括若干训练图像，所述训练图像中标注有交通标志的实际边界框和实际类别；
根据所述样本数据集对预先建立的交通标志识别模型进行训练；
其中，所述交通标志识别模型包括依次级联的下采样网络、特征提取网络和标志预测网络；
所述下采样网络包括若干下采样模块；
所述特征提取网络包括空间注意力模块、若干采样倍数不同的上采样模块、以及加权模块；
所述空间注意力模块用于对预定所述下采样模块输出的特征图像进行处理，得到尺寸为目标尺寸的特征图像；
若干所述上采样模块分别用于将相应所述下采样模块输出的特征图像放大至所述目标尺寸，得到若干尺寸为所述目标尺寸的特征图像；
所述加权模块用于对所述空间注意力模块及若干所述上采样模块得到的特征图像进行加权处理，得到整体特征图像；
所述标志预测网络用于对所述整体特征图像进行处理，得到对应所述训练图像中交通标志的预测边界框和预测类别。
2.根据权利要求1所述的交通标志识别模型训练方法，其特征在于，所述标志预测网络包括中心点高斯分布热力图预测模块、中心点偏差回归模块以及尺寸回归模块。
3.根据权利要求2所述的交通标志识别模型训练方法，其特征在于，所述根据所述样本数据集对预先建立的交通标志识别模型进行训练，包括：
将所述样本数据集中的训练图像输入至所述交通标志识别模型中进行处理，并获取所述中心点高斯分布热力图预测模块、所述中心点偏差回归模块以及所述尺寸回归模块输出的结果；
根据所述中心点高斯分布热力图预测模块、所述中心点偏差回归模块及所述尺寸回归模块输出的结果与对应所述训练图像中标注的实际边界框和实际类别，确定模型整体损失函数；
根据所述模型整体损失函数，对所述交通标志识别模型进行迭代训练，直至满足预定训练终止条件。
4.根据权利要求3所述的交通标志识别模型训练方法，其特征在于，所述根据所述中心点高斯分布热力图预测模块、所述中心点偏差回归模块及所述尺寸回归模块输出的结果与对应所述训练图像中标注的实际边界框和实际类别，确定模型整体损失函数，包括：
根据所述中心点高斯分布热力图预测模块输出的结果、与对应所述训练图像中标注的实际边界框的中心点位置和实际类别，确定中心点预测损失函数；
根据所述中心点偏差回归模块输出的结果、与对应所述训练图像中标注的实际边界框的中心点位置，确定偏差回归损失函数；
根据所述尺寸回归模块输出的结果、与对应所述训练图像中标注的实际边界框的尺寸，确定尺寸回归损失函数；
根据所述中心点预测损失函数、偏差回归损失函数和尺寸回归损失函数，确定模型整体损失函数。
5.根据权利要求4所述的交通标志识别模型训练方法，其特征在于，
所述中心点预测损失函数采用FocalLoss损失函数；
所述偏差回归损失函数的计算公式如下式(1)所示：
Figure FDA0003765933920000021
在式(1)中，ASL1(d1)表示偏差回归损失函数，
Figure FDA0003765933920000022
ti1＝(tx,ty)，
Figure FDA0003765933920000023
tx,ty表示所述中心点偏差回归模块输出的所述预测边界框的中心点坐标，
Figure FDA0003765933920000024
表示相应所述训练图像中标注的实际边界框的中心点坐标，μ1预先设置；
所述尺寸回归损失函数的计算公式如下式(2)所示：
Figure FDA0003765933920000031
在式(2)中，ASL1(d2)表示尺寸回归损失函数，
Figure FDA0003765933920000032
ti2＝(tw,th)，
Figure FDA0003765933920000033
tw,th表示所述尺寸回归模块输出的所述预测边界框的宽度和高度，
Figure FDA0003765933920000034
表示相应所述训练图像中标注的实际边界框的宽度和高度，μ2预先设置。
6.根据权利要求1所述的交通标志识别模型训练方法，其特征在于，在获取样本数据集后，所述方法还包括：
对所述样本数据集进行数据增强处理。
7.根据权利要求1所述的交通标志识别模型训练方法，其特征在于，所述下采样网络还包括用于对所述训练图像进行下采样和压缩的主干模块。
8.一种交通标志识别方法，其特征在于，包括：
获取目标图像；
基于权利要求1-7中任一项所述的交通标志识别模型训练方法训练得到的交通标志识别模型对所述目标图像进行处理，得到所述目标图像的交通标志识别结果。
9.一种交通标志识别模型训练装置，其特征在于，包括：
样本获取单元，用于获取样本数据集，所述样本数据集包括若干训练图像，所述训练图像中标注有交通标志的实际边界框和实际类别；
训练单元，用于根据所述样本数据集对预先建立的交通标志识别模型进行训练；
其中，所述交通标志识别模型包括依次级联的下采样网络、特征提取网络和标志预测网络；
所述下采样网络包括若干下采样模块；
所述特征提取网络包括空间注意力模块、若干采样倍数不同的上采样模块、以及加权模块；
所述空间注意力模块用于对预定所述下采样模块输出的特征图像进行处理，得到尺寸为目标尺寸的特征图像；
若干所述上采样模块分别用于将相应所述下采样模块输出的特征图像放大至所述目标尺寸，得到若干尺寸为所述目标尺寸的特征图像；
所述加权模块用于对所述空间注意力模块及若干所述上采样模块得到的特征图像进行加权处理，得到整体特征图像；
所述标志预测网络用于对所述整体特征图像进行处理，得到对应所述训练图像中交通标志的预测边界框。
10.根据权利要求9所述的交通标志识别模型训练装置，其特征在于，所述标志预测网络包括中心点高斯分布热力图预测模块、中心点偏差回归模块以及尺寸回归模块。
11.根据权利要求10所述的交通标志识别模型训练装置，其特征在于，所述训练单元包括：
模型处理子单元，用于将所述样本数据集中的训练图像输入至所述交通标志识别模型中进行处理，并获取所述中心点高斯分布热力图预测模块、所述中心点偏差回归模块以及所述尺寸回归模块输出的结果；
损失函数确定子单元，用于根据所述中心点高斯分布热力图预测模块、所述中心点偏差回归模块及所述尺寸回归模块输出的结果与对应所述训练图像中标注的实际边界框和实际类别，确定模型整体损失函数；
模型训练子单元，用于根据所述模型整体损失函数，对所述交通标志识别模型进行迭代训练，直至满足预定训练终止条件。
12.根据权利要求11所述的交通标志识别模型训练装置，其特征在于，所述损失函数确定子单元具体用于：
根据所述中心点高斯分布热力图预测模块输出的结果、与对应所述训练图像中标注的实际边界框的中心点位置和实际类别，确定中心点预测损失函数；
根据所述中心点偏差回归模块输出的结果、与对应所述训练图像中标注的实际边界框的中心点位置，确定偏差回归损失函数；
根据所述尺寸回归模块输出的结果、与对应所述训练图像中标注的实际边界框的尺寸，确定尺寸回归损失函数；
根据所述中心点预测损失函数、偏差回归损失函数和尺寸回归损失函数，确定模型整体损失函数。
13.根据权利要求12所述的交通标志识别模型训练装置，其特征在于，
所述中心点预测损失函数采用FocalLoss损失函数；
所述偏差回归损失函数的计算公式如下式(1)所示：
Figure FDA0003765933920000051
在式(1)中，ASL1(d1)表示偏差回归损失函数，
Figure FDA0003765933920000052
ti1＝(tx,ty)，
Figure FDA0003765933920000053
tx,ty表示所述中心点偏差回归模块输出的所述预测边界框的中心点坐标，
Figure FDA0003765933920000054
表示相应所述训练图像中标注的实际边界框的中心点坐标，μ1预先设置；
所述尺寸回归损失函数的计算公式如下式(2)所示：
Figure FDA0003765933920000055
在式(2)中，ASL1(d2)表示尺寸回归损失函数，
Figure FDA0003765933920000056
ti2＝(tw,th)，
Figure FDA0003765933920000057
tw,th表示所述尺寸回归模块输出的所述预测边界框的宽度和高度，
Figure FDA0003765933920000058
表示相应所述训练图像中标注的实际边界框的宽度和高度，μ2预先设置。
14.根据权利要求9所述的交通标志识别模型训练装置，其特征在于，所述装置还包括：
数据增强单元，用于在获取样本数据集后，对所述样本数据集进行数据增强处理。
15.根据权利要求9所述的交通标志识别模型训练装置，其特征在于，所述下采样网络还包括用于对所述训练图像进行下采样和压缩的主干模块。
16.一种交通标志识别装置，其特征在于，包括：
目标图像获取单元，用于获取目标图像；
识别单元，用于基于权利要求1-7中任一项所述的交通标志识别模型训练方法训练得到的交通标志识别模型对所述目标图像进行处理，得到所述目标图像的交通标志识别结果。
17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如1至7中任一项所述的交通标志识别模型训练方法，或者如权利要求8所述的交通标志识别方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如1至7中任一项所述的交通标志识别模型训练方法，或者如权利要求8所述的交通标志识别方法。
CN202010887081.7A 2020-08-28 2020-08-28 交通标志识别模型训练方法、识别方法、系统、设备及介质 Active CN112016467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010887081.7A CN112016467B (zh) 2020-08-28 2020-08-28 交通标志识别模型训练方法、识别方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010887081.7A CN112016467B (zh) 2020-08-28 2020-08-28 交通标志识别模型训练方法、识别方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN112016467A CN112016467A (zh) 2020-12-01
CN112016467B true CN112016467B (zh) 2022-09-20

Family

ID=73502397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010887081.7A Active CN112016467B (zh) 2020-08-28 2020-08-28 交通标志识别模型训练方法、识别方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN112016467B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668440B (zh) * 2020-12-24 2023-02-10 西安电子科技大学 基于平衡样本回归损失的sar舰船目标检测方法
CN112712036A (zh) * 2020-12-31 2021-04-27 广西综合交通大数据研究院 交通标志识别方法、装置、电子设备及计算机存储介质
CN113128413A (zh) * 2021-04-22 2021-07-16 广州织点智能科技有限公司 一种人脸检测模型训练方法、人脸检测方法及其相关装置
CN113627245B (zh) * 2021-07-02 2024-01-19 武汉纺织大学 Crts目标检测方法
CN113762257A (zh) * 2021-09-30 2021-12-07 时趣互动（北京）科技有限公司 一种美妆品牌图像中标志的识别方法及装置
CN114463772B (zh) * 2022-01-13 2022-11-25 苏州大学 基于深度学习的交通标志检测与识别方法及系统
CN114387346A (zh) * 2022-03-25 2022-04-22 阿里巴巴达摩院(杭州)科技有限公司 一种图像识别、预测模型处理方法、三维建模方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188705A (zh) * 2019-06-02 2019-08-30 东北石油大学 一种适用于车载系统的远距离交通标志检测识别方法
CN110543877A (zh) * 2019-09-04 2019-12-06 北京迈格威科技有限公司 标识识别方法及其模型的训练方法、装置和电子系统
CN111461110A (zh) * 2020-03-02 2020-07-28 华南理工大学 一种基于多尺度图像和加权融合损失的小目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188705A (zh) * 2019-06-02 2019-08-30 东北石油大学 一种适用于车载系统的远距离交通标志检测识别方法
CN110543877A (zh) * 2019-09-04 2019-12-06 北京迈格威科技有限公司 标识识别方法及其模型的训练方法、装置和电子系统
CN111461110A (zh) * 2020-03-02 2020-07-28 华南理工大学 一种基于多尺度图像和加权融合损失的小目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进YOLOv2算法的交通标志检测;张传伟等;《计算机系统应用》;20200615(第06期);全文 *

Also Published As

Publication number Publication date
CN112016467A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112016467B (zh) 交通标志识别模型训练方法、识别方法、系统、设备及介质
US10628890B2 (en) Visual analytics based vehicle insurance anti-fraud detection
CN111191583B (zh) 基于卷积神经网络的空间目标识别系统及方法
CN109558823B (zh) 一种以图搜图的车辆识别方法及系统
CN111310770B (zh) 目标检测方法和装置
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
WO2023131065A1 (zh) 一种图像处理方法、一种车道线检测方法及相关设备
Mahaur et al. Road object detection: a comparative study of deep learning-based algorithms
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
KR20220148274A (ko) 부트스트랩된 잠재 표현을 사용한 자기 지도 표현 학습
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN114168768A (zh) 图像检索方法及相关设备
CN112597996B (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
CN114495050A (zh) 一种面向自动驾驶前向视觉检测的多任务集成检测方法
CN117079276B (zh) 一种基于知识蒸馏的语义分割方法、系统、设备及介质
CN113239883A (zh) 分类模型的训练方法、装置、电子设备以及存储介质
Cho et al. Modified perceptual cycle generative adversarial network-based image enhancement for improving accuracy of low light image segmentation
CN110555406B (zh) 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
CN117391466A (zh) 一种新型矛盾纠纷案件的预警方法和系统
CN112215188A (zh) 交警姿态识别方法、装置、设备及存储介质
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN117036658A (zh) 一种图像处理方法及相关设备
CN111652245B (zh) 车辆轮廓检测方法、装置、计算机设备及存储介质
CN114092818A (zh) 语义分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant