CN111401466A

CN111401466A - 一种交通标志检测与识别标注方法、装置和计算机设备

Info

Publication number: CN111401466A
Application number: CN202010220959.1A
Authority: CN
Inventors: 王建强; 顾友良; 周培新
Original assignee: Guangzhou Ziweiyun Technology Co ltd
Current assignee: Guangzhou Ziweiyun Technology Co ltd
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2020-07-10

Abstract

本申请涉及一种低成本的交通标志检测与识别标志方法、装置和计算机设备。所述方法包括：步骤A，识别交通标志的类别信息，对所述交通标志进行标注分类；步骤B，使用数据增强方式进行所述交通标志扩充，获得多张带标签的训练图片；步骤C，使用分类网络进行训练和调参优化，形成特征提取器。采用本方法能够实现低成本地对交通标志进行检测、识别和训练，交通标志识别模块标注数量和时间少，鲁棒性强，且后续增加类别需求无需更新训练检测模块，综合来说，本发明在标注成本、时间成本以及训练成本都有很好的突破和创新。

Description

一种交通标志检测与识别标注方法、装置和计算机设备

技术领域

本申请涉及标志检测技术领域，特别是涉及一低成本的交通标志检测与识别标注方法、装置、计算机设备和存储介质。

背景技术

随着图像处理技术的发展，出现了基于各种场景的图像识别技术，现存基于图像的交通标志检测与识别方法可以分为两大类。第一类是基于传统的手工特征的方法；第二类是基于神经网络的深度学习方法。目前，第二种方法比第一种方法在性能上有很大的提升，已成为主流检测识别方法。但是，基于深度学习的方法普遍依赖于标注数据进行训练。这对于交通标志来说，在数据标注环节中，存在一定的困难。详情如下：我国目前道路标志分为主标志和辅助标志两大类，其中主标志又分为警告标志、禁令标志、指示标志、指路标志、旅游区标志和道路施工安全标志6种。以禁令标志为例，一共有43种。在这43种中，限速，限高，限重三种禁令标志可根据实际情况填写不同的数字，例如：限高3m,限高3.5m等等，又可扩展为很多种不同的标志。因此，交通标注类别十分庞大。目前国内国际公开的最大类别数目的数据集清华-腾讯100K也只有214个种类的交通标志场景照，这难以涵盖所有类别的交通标志。此外，交通标志有很多类别具有很强的地域性特点，例如：注意山体滑坡，注意落石，注意牲畜等。诸如此类的标志，现场照片采集起来十分不方便。与此同时，现有的基于深度学习的交通标志检测识别方法，都未能实现对所有类别的检测识别，而且，按照现有的方法，想要实现每一种类别的交通标志检测识别，需要标定所有的类别，且每一类别也必须要有一定数量的场景照。与此同时，标注员也需要熟记所有交通标志的类别才能开展标注工作，标注难度和误差率会比较高。

因此，交通标志检测识别的标注成本非常高，现有的基于深度学习的交通标志检测识别方法在标注成本上不够经济和合理，需要创新性的解决方案来突破原有的约束，实现低成本的标注方法，截止目前没有任何现有技术对这个问题提出解决方案，已经提出的方法或系统也没有给出在这方面的建设性意见。

发明内容

基于此，有必要针对上述技术问题，提供一种低成本的交通标志检测与识别标注方法、装置和计算机设备。

一种交通标志检测与识别标注方法，所述方法包括：

步骤A，获取交通标示图片；

根据所述交通标志图片识别所述交通标志的类别信息，并根据所述类别信息对所述交通标志图片进行标注分类；

步骤B，使用数据增强方式进行所述交通标志扩充，获得多张带标签的训练图片；

步骤C，对所述训练图片使用分类网络进行训练和调参优化，形成特征提取器。

在其中一个实施例中，还包括：

步骤A1，识别所述交通标志的边框位置信息、交通标志所属超类，其中所述超类为国家道路标志主标志6类；

步骤A2，训练并优化交通标志检测网络，保证较高的准确率；

步骤A3，使用训练好的检测网络抠取出训练集中的所有交通标志。

在其中一个实施例中，

步骤B1,在训练模块达标后，将检测到的交通标志，从场景照里面扣取出来保存为第一图片；

步骤B2,对所第一图片进行模糊处理、截断处理、倾斜处理、亮度处理、色调处理、饱和度处理等方式中的一项或多项；

步骤B3，对每一种处理方式采集多张图片，即通过数据增强得到各种情景下带标签的训练图片。

在其中一个实施例中，

首先将交通标志经过特征提取器提取特征并进行存储，建立索引总表；

然后将待测试图片送入检测网络提取边界框并扣取交通标志送入特征提取器提取特征；

将此特征与索引表中的特征值一一比对，比对结果中最为相似且超出阈值的类别，即为最终识别结果。

一种交通标志检测与识别标注装置，其特征在于，所述装置包括：

交通标志检测模块，获取交通标示图片；

根据所述交通标志图片识别所述交通标志的类别信息，并根据所述类别信息对所述交通标志图片进行标注分类；；

交通标志识别模块，使用数据增强方式进行所述交通标志扩充，获得多张带标签的训练图片；

特征提取模块，对所述训练图片使用分类网络进行训练和调参优化，形成特征提取器。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

步骤A，识别所述交通标志的类别信息，对所述交通标志进行标注分类；

步骤C，使用分类网络进行训练和调参优化，形成特征提取器。

本发明的有益效果是，上述低成本的交通标志检测与识别标注方法、装置和计算机设备，通过提取边框位置信息、交通标志所属超类进行类别标注，标注模式简单，无需熟记所有交通标志类别，容错率高，同时采用数据增强方式进行交通标志扩充，根据具体的应用场景对标注图像进行特殊化处理，得到带标签的训练图片，相比于传统的对所有的标志图像进行标注训练，本发明中交通标志识别模块标注数量和时间少，鲁棒性强，且后续增加类别需求无需更新训练检测模块，综合来说，本发明在标注成本、时间成本以及训练成本都有很好的突破和创新。

附图说明

图1为本发明中低成本交通标志检测识别标注流程图；

图2为本发明中对交通标志图片识别的测试使用流程图；

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的低成本的交通标志检测与识别标注方法，适用于先检测后识别的两级交通标志检测识别方法，在一个实施例中，整体的工作流程如图1所示：

步骤1，标注交通标志图片，检测框与超类类别(超类按照警告标志、禁令标志、指示标志等交通标志大类进行分类)；

步骤2，训练并优化交通标志检测网络，保证较高的准确率；

步骤3，使用训练好的检测网络抠取出训练集中的所有交通标志；

步骤4，对每一个交通标志抠图标注其具体类别，然后分别做模糊处理、截断处理、倾斜处理、亮度处理、色调处理、饱和度处理，每一种处理的内部参数随机选取3组，原图经过每一种处理都会生成3张图片，即一张原图经过数据增强后变成19张；

步骤5，使用分类网络进行训练和调参优化，将训好的模型去掉分类输出层，保留全连接层之前的所有网络，做成特征提取器。

下面分别介绍低成本的交通标志具体标注方法：

交通标志检测模块标注：在交通标志检测识别领域，本发明首次提出使用超类标注模式进行标注。具体来说就是以超类作为检测框的类别信息进行标注。目前常见的交通标志检测方法的标注信息是：边框位置信息、交通标志具体含义；而我们的标注信息是：边框位置信息、交通标志所属超类；其中超类就是目前国家道路标志主标志6类，警告标志、禁令标志、指示标志、指路标志、旅游区标志和道路施工安全标志。下面从理论上论证这种标志方式的可行性分析：不同的超类有明显区别，例如警告标志是黄色三角形、禁令标志是红色边缘白色中心的圆形、指示标志是蓝底白字的圆形。不同超类之间的特征差异性明显，有足够的类间距离，同一超类之间有特征相似性，类内方差并不大，超类作为检测网络的类别属性是合理可行的。这样的检测标注方式创新性优势有以下三点：1、负责检测标注的标注员只需要熟悉超类，无需熟记所有交通标志类别，标注容错率高。2、检测模块一次优化完毕，后期增加新类别检测识别需求，无需更新训练，可直接迁移使用。3、检测模块超类之间的共性特征属于简单特征：颜色、形状，在神经网络内部属于前层特征，不需要高层语义信息，因此，本发明的检测标注方式适配于轻量级的检测网络。在实际应用中，我们以清华-腾讯100K为实验数据集进行验证，与公开的算法性能比对如表1所示。从实验结果来看，检测部分以超类标注模式进行标注具有速度快，网络小，性能强的优势，完全弥补了检测加识别两级结构带来的时间损失。

方法	模型大小(M)	单帧测试速度	mAP
				Faster RCNN	368	0.587s	84.33％
ResNet18-RFCN	47.20	0.085s	84.21％
				我们的检测方法	6.49	0.080s	90.03％

表1

交通标志识别模块使用数据增强方式进行扩充，具体操作包含：在训练模块达标后，将检测到的交通标志，从场景照里面扣取出来保存为图片，而后进行模糊处理、截断处理、倾斜处理、亮度处理、色调处理、饱和度处理，每一种处理方式都做3次。那么，会有18张新生成的图片，加上原图，一共19张图片。处理参数说明如下表2所示，所有参数均为随机选取。因此，同一个交通标志在原图中无需出现多次，即可通过数据增强得到大量各种情景下的模拟图片。与此同时，所有数据增强的处理操作均可以通过代码实现，短时间内即可对数据进行大量处理，人工只需要标定一张原始图片，即可获得19张带标签的训练图片。其标注时间和成本大大减少。本发明的数据增强方式具有很强的迁移能力，不局限于或一定使用这6种增强方式，实际应用中，可根据真实环境，做出针对性的调整和组合。

表2

上述低成本的交通标志检测与识别标注方法中，通过提取边框位置信息、交通标志所属超类进行类别标注，标注模式简单，无需熟记所有交通标志类别，容错率高，同时采用数据增强方式进行交通标志扩充，根据具体的应用场景对标注图像进行特殊化处理，并根据真实环境设置6种针对性的图像增强处理方式，每种增强方式中分别选取最优参数区间的任意3张图片，得到18张带标签的训练图片，然后再提取图片的特征生成特征提取器；相比于传统的对所有的标志图像进行标注训练，本发明中交通标志识别模块标注数量和时间少，鲁棒性强，且后续增加类别需求无需更新训练检测模块，综合来说，本发明在标注成本、时间成本以及训练成本都有很好的突破和创新。

我们的发明具有很强的适配性和迁移性，不仅仅应用于交通检测标志识别标注，对于涉及到类别数目较多的检测识别需求，均可以尝试进行迁移和适用。

另外，应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

关于交通标志检测与识别标注装置的具体限定可以参见上文中对于交通标志检测与识别标注方法的限定，在此不再赘述。交通标志检测与识别标注装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储相关交通标志图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种交通标志检测与识别标注方法。

在一个实施例中，提供了一种本发明中对交通标志图片识别的测试使用流程图，如图2所示，首先将交通标志经过特征提取器提取特征并进行存储，建立索引总表。然后将待测试图片送入检测网络提取边界框并扣取交通标志送入特征提取器提取特征，将此特征与索引表中的特征值一一比对，比对结果中最为相似且超出阈值的类别，即为最终识别结果。

另外，需要进一步提出的是，交通标志检测模块使用超类进行训练优化，训练网络可以选择多种模型，例如RFCN，FasterRCNN等，本发明不限定训练模型，对多种训练模型均可适用，检测模型经过迭代，直至性能达标。2，在检测模型性能达标以后扣取图片中的交通标注，按照本发明的低成本标注方法进行分类标注，然后送入分类网络进行分类训练，本发明不限定分类模型，对任意分类模型均可适用，分类模型进过优化达标以后，去掉分类层，制作一个交通标志特征提取器，本发明适用于多种特征提取器，其制作方式与特征维度均可多样化，至此，交通标志检测与识别实现了低成本标注与训练。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种交通标志检测与识别标注方法，所述方法包括：

步骤A，获取交通标示图片；

2.根据权利要求1所述的方法，其特征在于，所述步骤A包括：

3.根据权利要求1或2所述的方法，其特征在于，所述步骤B包括：

4.根据权利要求3所述的方法，其特征在于，所述步骤C还包括：

5.一种交通标志检测与识别标注装置，其特征在于，所述装置包括：

交通标志检测模块，获取交通标示图片；

6.根据权利要求5所述的装置，其特征在于，所述交通标志检测模块包括：

识别模块，识别所述交通标志的边框位置信息、交通标志所属超类，其中所述超类为国家道路标志主标志6类；

训练模块，训练并优化交通标志检测网络，保证较高的准确率；

提取模块，使用训练好的检测网络抠取出训练集中的所有交通标志。

7.根据权利要求5或6所述的装置，其特征在于，所述交通标志识别模块包括：

抠取模块，在训练模块达标后，将检测到的交通标志，从场景照里面抠取出来保存为第一图片；

处理模块，对所第一图片进行模糊处理、截断处理、倾斜处理、亮度处理、色调处理、饱和度处理等方式中的一项或多项；

采集模块，对每一种处理方式采集多张图片，即通过数据增强得到各种情景下带标签的训练图片。

8.根据权利要求7所述的装置，其特征在于，所述特征提取模块还包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。