CN111753592A - 交通标志识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种交通标志识别方法、装置、计算机设备和存储介质，方法包括：获取待识别图片；基于通过训练确定的检测器模型确定待识别图片中的目标信息的位置信息和模糊类别信息；根据位置信息确定待识别图片的前景图片，前景图片中包括目标信息；根据模糊类别信息确定对应的通过训练得到的分类器模型；通过分类器模型对前景图片进行识别，确定待识别图片中目标信息的交通标志具体类别信息。通过上述方法，只需将待识别的图片输入训练得到的模型中，即可完成对交通标志的识别，最终输出待识别图片中包含的交通标志的具体类别，可以缩短交通标志的识别所用时间，提高识别效率，且便于根据识别出的具体类别做出相应的提示。

Description

交通标志识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像识别技术领域，特别是涉及一种交通标志识别方法、装置、计算机设备和存储介质。

背景技术

随着交通事业的发展，车辆越来越多，随之而来的交通事故也越来越常见。我国路况复杂，交通标志繁多，各个地方的路面上的规定可能存在很大的差异，从而设置的交通标志也有很大的不同，因此出现了交通标志的识别。

交通标志的识别是目前智能辅助驾驶系统的重要模块之一，目前主流的目标检测算法主要是基于深度学习模型，这种方法需要通过大量的数据集对网络进行训练，现有技术中有一些这方面的研究成果，但现有技术中存在的交通标志识别方法均存在样本均衡性不够、效率不够等问题。

发明内容

基于此，有必要针对上述技术问题，提供一种交通标志识别方法、装置、计算机设备和存储介质。

一种交通标志识别方法，所述方法包括：

获取待识别图片；

基于通过训练确定的检测器模型确定所述待识别图片中的目标信息的位置信息和所属的交通标志模糊类别信息；

根据所述位置信息确定所述待识别图片的前景图片，所述前景图片中包括所述目标信息；根据所述模糊类别信息确定对应的通过训练得到的分类器模型；

通过所述分类器模型对所述前景图片进行识别，确定所述待识别图片中所述目标信息所属的交通标志具体类别信息。

在其中一个实施例中，所述根据所述位置信息确定所述待识别图片的前景图片，包括：

根据所述位置信息在所述待识别图片中确定检测方框；

放大所述检测方框，截取所述待识别图片中与所述放大后的检测方框对应的图像块，将所述图像块确定为所述前景图片。

在其中一个实施例中，所述检测器模型的确定方式包括：

获取由携带有标注信息的检测样本图片；所述标注信息用于表示各所述检测样本图片中包含的交通标志在所述检测样本图片中的位置；

将交通标志划分为预设数目个模糊类别，将各所述检测样本图片按照所述模糊类别归类后组成检测样本集；

对所述检测样本集进行增强，得到增强后检测样本集；

基于所述增强后检测样本集对预设检测器进行训练，得到所述检测器模型。

在其中一个实施例中，所述分类器模型的确定方式包括：

获取由携带有具体类别标注信息、按照所述模糊类别归类后的交通标志样本组成的预设数目组正分类样本集，以及由非交通标志样本组成的负分类样本集；

对各组所述正分类样本集进行增强，得到各组分别对应的增强后正分类样本集；

基于各组分别对应的所述增强后正分类样本集、所述负分类样本集对预设数目个预设分类器分别训练，得到预设数目个所述分类器模型。

在其中一个实施例中，所述预设数目组正分类样本集的获取方式包括：

获取所述检测样本集中的各检测样本图片中交通标志的样本图像块；

将各所述检测样本图片中交通标志的样本图像块按照所述具体类别进行归类，得到所述预设数目组正分类样本集。

在其中一个实施例中，所述负分类样本集的获取方式包括：

在检测样本集中的检测样本图片随机生成预设大小的样本方框；所述样本方框与由所述检测样本集中的标注信息所表示的位置确定的方框不重合；

获取各所述样本方框内的图像块作为所述负分类样本集。

在其中一个实施例中，在得到预设数目个所述分类器模型之后，还包括：

在获取到新的需要被识别的交通标志样本时，确定所述新的需要被识别的交通标志样本所属的目标模糊类别，将所述新的需要被识别的交通标志样本更新到与所述目标模糊类别对应的所述正分类样本集中；

基于更新后的正分类样本集、所述负分类样本集重新训练得到与所述目标模糊类别对应的新的分类器模型。

在其中一个实施例中，所述位置信息用于确定一个方框；

所述位置信息包括处于所述方框同一对角线上的两个顶点的坐标；

或者，所述位置信息包括所述方框的一个顶点的坐标，以及所述方框的长度和宽度；

或者，所述位置信息包括所述方框的中心的坐标，以及所述方框的长度和宽度。

一种交通标志识别装置，所述装置包括：

待识别图片获取模块，用于获取待识别图片；

检测模块，用于基于通过训练确定的检测器模型确定所述待识别图片中的目标信息的位置信息和所属的交通标志模糊类别信息；

中间处理模块，用于根据所述位置信息确定所述待识别图片的前景图片，所述前景图片中包括所述目标信息；根据所述模糊类别信息确定对应的通过训练得到的分类器模型；

分类模块，用于通过所述分类器模型对所述前景图片进行识别，确定所述待识别图片中所述目标信息所属的交通标志具体类别信息。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述交通标志识别方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述交通标志识别方法的步骤。

上述交通标志识别方法、装置、计算机设备和存储介质，在获取到待识别图片后，首先通过检测器模型识别待识别图片中的目标信息的位置信息和所属的大类(模糊类别信息)，位置信息用于截取包含目标信息的图片，而模糊类别信息用于选择对应的分类器模型；其中，每一个模糊类别的交通标志对应一个通过训练确定的分类器模型，选出分类器模型后对前景图片进行识别，可以确定目标信息的交通标志具体类别信息。通过上述方法，只需将待识别的图片输入训练得到的模型中，即可完成对交通标志的识别，最终输出待识别图片中包含的交通标志的具体类别，可以缩短交通标志的识别所用时间，提高识别效率，且便于根据识别出的具体类别做出相应的提示。

附图说明

图1为一个实施例中交通标志识别方法的应用环境图；

图2为一个实施例中交通标志识别方法的流程示意图；

图3为一个实施例中确定前景图片的步骤的流程示意图；

图4为一个实施例中检测器模型的确定方式的流程示意图；

图5为一个实施例中分类器模型的确定方式的流程示意图；

图6为一个实施例中预设数目组正分类样本集的获取方式的流程示意图；

图7为一个实施例中负分类样本集的获取方式的流程示意图；

图8为一个实施例中检测器模型和分类器模型的级联的流程示意图；

图9为一个具体实施例中交通标志识别方法实现过程的流程示意图；

图10为一个实施例中交通标志识别装置的结构框图；

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的交通标志识别方法，可以应用于如图1所示的应用环境中。其中，终端110通过网络与服务器120进行通信。

在其中一些实施例中，该应用环境可同时涉及终端110和服务器120。服务器120获取通过终端110输入的待识别图片，首先由检测器模型对待识别图片进行识别确定待识别图片中包含的目标信息的位置信息和模糊类别信息，并根据位置信息确定包含目标信息的前景图片，根据模糊类别信息确定对应的分类器模型对前景图片进行识别后，得到待识别图片中目标信息所属的交通标志具体类别。其中，在该实施例中，可以由服务器120训练并获得上述检测器模型以及各分类器模型。

在另外一些实施例中，也可以是终端110得到待识别图片后，由终端110基于检测器模型和分类器模型进行上述识别过程，得到待识别图片中目标信息所属的交通标志具体类别。其中，在该实施例中，可以由服务器120训练并获得上述检测器模型以及各分类器模型，终端110从服务器120获得训练好的检测器模型和各分类器模型。

可以理解，在一些实施例中，在终端110具有足够的处理能力的情况下，也可以由终端110训练并获得上述检测器模型以及各分类器模型，并应用于终端110实际的对待识别图片的识别过程中。

其中，终端110可以但不限于是各种车载终端、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种交通标志识别方法，以该方法应用于图1中的服务器120为例进行说明，包括步骤S210至步骤S240。可以理解，在一些实施例中，该方法也可以应用于图1中的终端110，此时，相关的训练获得检测器模型和各分类器模型的过程，可以由服务器120或者终端110自身来执行。

步骤S210，获取待识别图片。

其中，待识别图片是需要被识别的图片，将待识别图片输入通过训练确定的模型，即可知道待识别图片中是否包含交通标志。本申请提供的方法用于在检测到待识别图片中包含交通标志时，确定其中的交通标志的具体类别。在一个实施例中，待识别图片可以是车辆在行驶过程中拍摄的前方路面旁边的照片，若拍摄到的照片中包含交通标志时，则可以通过本申请提供的交通标志识别方法将其中包含的交通标志的类别识别出来，以便根据识别出的交通标志向驾驶员做出相应提示，或者根据识别出的交通标志对车辆的驾驶状态进行调整等。

步骤S220，基于通过训练确定的检测器模型确定待识别图片中的目标信息的位置信息和所属的交通标志模糊类别信息。

在本实施例中，位置信息表示目标信息在待识别图片中的位置；模糊类别信息是检测器模型对待识别图片进行识别后得出的一个粗略的类别。其中，模糊类别具体分为什么类别是在训练检测器模型的时候确定的。

交通标志的识别通常包含两个步骤，第一步是检测，在本实施例中，检测具体包括检测器模型对待识别图片进行识别，确定待识别图片中是否存在交通标志，若检测到待识别图片中包含交通标志，在本实施例中将识别出的可能为交通标志的部分记为目标信息，检测器模型还需确定目标信息在待识别图片中的位置，根据这一位置信息将识别出的目标信息经过处理后单独截取出来；第二步则是分类，具体是确定检测过程中截取的目标信息具体所属的交通标志具体类别信息。首先，由于通常用于训练检测器的检测样本的数量较少，在本实施例中，在训练检测器过程中将检测器模型训练所用的样本进行粗分类，可以提高检测器模型的检测性能；其次，将识别交通标志划分为检测和分类两个步骤，可以有效的提高交通标志的识别精度，更精准的识别待识别图片中的交通标志；最后，将识别交通标志分为检测和分类两个步骤，在有新的需要识别的交通标志时，只需要将该新的需要识别的交通标志作为分类样本重新训练得到新的分类器模型，而不需要重新训练检测器模型(检测器模型可以根据交通标志之间的相似性检测出交通标志的模糊类别)。

进一步地，在本实施例中，检测器模型在对待识别图片进行识别时，还输出待识别图片中包含的目标信息的模糊类别。检测器模型在训练时，将交通标志划分为预设数目个类别，在本实施例中，将这一步骤中划分得到的分类结果称为模糊类别。

更进一步地，可以将模糊类别划分为一类，也可以划分为多个类别(即预设数目为一个或者多个)；模糊类别划分为一类时，即检测器模型将所有交通标志都划分为同一类；模糊类别划分为多个类别时，例如划分为5类，也就是检测器模型将所有交通标志按照这5个类别进行归类。在一个将交通标志划分为多个类别的具体实施例中，检测器模型将所有交通标志划分为禁令标志、警告标志、指示标志、解除禁令标志和其他标志5大类。可以理解地，在其它实施例中，也可以将交通标志按照其它方式进行分类、分为其它数目个类别。

步骤S230，根据位置信息确定待识别图片的前景图片，前景图片中包括目标信息；根据模糊类别信息确定对应的通过训练得到的分类器模型。

检测器模型输出待识别图片中目标信息的位置信息后，在对目标信息进行分类识别之前，需要根据这一位置信息将包含目标信息的图片截取出来，在本实施例中，将包含目标信息的图片记为前景图片。

在本实施例中，分类器模型的数目与检测器模型中将交通标志划分的模糊类别的数目对应，也就是说检测器模型将交通标志划分为预设数目个类别，则对应有预设数目个分类器模型，不同的模糊类别需要相应的分类器模型来识别具体类别；在本实施例中，根据模糊类别信息来确定待识别图片中的目标信息需要输入哪一个分类器模型中进行识别。需要说明的是，在检测器模型将交通标志全部归类为一个类别时，则只有一个分类器模型，因此根据模糊类别信息确定的分类器模型，即为唯一的这个分类器模型。分类器模型的数目设置为与检测器模型中模糊类别划分的数目对应，在采用训练得到的模型对待识别图片进行交通标志的识别时，检测器模型检测到的待识别图片中的目标信息的模糊类别，然后将截取的包括目标信息的前景图片输入对应该模糊类别的分类器模型，由相应的分类器模型识别目标信息的具体类别，如此可以提高交通标志识别的精度。此外，在有新的需要被识别的交通标志时，只需确定该新的需要被识别的交通标志所属的模糊类别，重新训练所属模糊类别对应的一个分类器模型即可，可以减少重新训练分类器模型所花费的时间。

在一个实施例中，检测器模型对待识别图片识别后输出的位置信息可以是一个或者多个，位置信息为一个表示检测器模型检测到待识别图片中包含一个交通标志(一个目标信息)，同理，位置信息为多个表示检测器模型检测到待识别图片中包含多个交通标志(多个目标信息)。可以理解地，若检测器模型检测到待识别图片中仅包括一个交通标志时，输出的位置信息和模糊类别信息为一个；若检测器模型检测到待识别图片中有多个交通标志时，则输出的位置信息和模糊类别信息均为多个。

其中，在一个实施例中，一个位置信息用于确定一个方框；进一步地，在一个实施例中，根据位置信息确定待识别图片的前景图片，如图3所示，包括步骤S310和步骤S320。

步骤S310，根据位置信息在待识别图片中确定检测方框。

其中，位置信息可以是以像素为单位，包括4维坐标信息。例如，在一个实施例中，位置信息包括处于方框同一对角线上的两个顶点的坐标；或者，位置信息包括方框的一个顶点的坐标，以及方框的长度和宽度；又或者，位置信息包括方框的中心的坐标，以及方框的长度和宽度。

步骤S320，放大检测方框，截取待识别图片中与放大后的检测方框对应的图像块，将图像块确定为前景图片。

检测器模型确定目标信息在待识别图片中的位置信息后，根据这一位置信息可以截取包含目标信息的图像块；由于检测器模型的检测结果与真实的位置存在一定的偏差，因此在本实施例中，先将通过位置信息确定的检测方框放大后，再进行截取，从而可以减小这种偏差对分类结果产生的影响。其中，放大检测方框的倍数可以根据实际情况预先进行设置，在待识别图片中确定检测方框后，按照预先设定的规则适当的放大检测方框，截取放大后的检测方框中的图像块作为前景图片。

在一个实施例中，若检测器模型输出的位置信息为多个时，即检测到待识别图片中包含多个交通标志(目标信息)时，依次根据各位置信息在待识别图片确定检测方框，并进一步分别确定对应的前景图片。

步骤S240，通过分类器模型对前景图片进行识别，确定待识别图片中目标信息所属的交通标志具体类别信息。

在本实施例中的分类器模型是步骤S230中根据模糊类别信息确定的对应的分类器模型。在本实施例中，将分类器模型对交通标志划分归类的结果记为具体类别信息，具体地，分类器模型将交通标志划分为哪些具体类别是在训练分类器模型的时候确定的。例如属于禁令标志的交通标志可以划分为“禁止直行”“禁止掉头”、“禁止停车”等等；属于指示标志的交通标志可以划分为“最高限速100km/h”、“最低限速30km/h”、“路口左转”等等。可以理解地，在其它实施例，具体类别的划分，可以根据实际情况进行设置。

在检测器模型输出的位置信息和模糊类别信息为多个的实施例中，需要根据各个模糊类别信息分别确定与其对应的分类器模型，然后再将根据各位置信息确定的各前景图片分别输入相应的分类器模型进行识别。在一个具体实施例中，假设检测器模型输出两组位置信息和模糊类别信息，先根据两个位置信息确定出两张前景图片，若分别对应的模糊类别信息为禁令标志和警告标志，则将包含类别为禁令标志的前景图片输入禁令标志对应的分类器模型进行识别，将包含类别为警告标志的前景图片输入警告标志对应的分类器模型进行识别。

上述交通标志识别方法，在获取到待识别图片后，首先通过检测器模型识别待识别图片中的目标信息的位置信息和一个所属的大类(模糊类别信息)，位置信息用于截取包含目标信息的图片，而模糊类别信息用于选择对应的分类器模型；其中，每一个模糊类别的交通标志对应一个通过训练确定的分类器模型，选出分类器模型后对前景图片进行识别，可以确定目标信息的交通标志具体类别信息。通过上述方法，只需将待识别的图片输入训练得到的模型中，即可完成对交通标志的识别，最终输出待识别图片中包含的交通标志的具体类别，从而根据识别出的交通标志具体类别做出相应的提示。从而，识别交通标志所花费的时间短，识别的效率高；且驾驶过程中，驾驶员不用时刻注意所在道路上设置的交通标志，也可获知所在道路上设置的交通标志的信息，简单方便；进而驾驶员可以根据获取的交通标志的信息做出相应调整等，例如当前的驾驶速度为100km/h，而根据获取的信息知道所在道路的最高限速为80km/h，驾驶员则知道应当降低行驶速度，从而可以提高驾驶员的体验。

在一个实施例中，如图4所示，检测器模型的确定方式包括步骤S410至步骤S440。

步骤S410，获取由携带有标注信息的检测样本图片。

在本实施中，检测样本所携带的标注信息用于确定各检测样本图片中包含的交通标志在检测样本图片中的位置。

进一步地，在一个实施例中，用于表示检测样本图片中包含的交通标志在检测样本图片中的位置的标注信息，根据一个位置标注信息可以确定一个方框；例如，位置标注信息可以是包括处于方框同一对角线上的两个顶点的坐标；或者，位置信息包括方框的一个顶点的坐标，以及方框的长度和宽度；又或者，位置信息包括方框的中心的坐标，以及方框的长度和宽度。

进一步地，在一个实施例中，一个检测样本图片中可能包含两个或者两个以上的交通标志，这种情况下，标注信息包括对应数目组，例如，某一张检测样本图片中有两个交通标志，两组标注信息分别用于指示这两个交通标志在这张检测样本图片中的位置信息。

在一个具体实施例中，采用携带有标注信息的ApolloScape(自动驾驶前沿开放式工具及数据集)和CCTSDB(Chinese traffic sign detection benchmark，中国交通标志检测数据集)两个公共数据集中的数据作为检测样本图片。其中，采用的ApolloScape数据集图片，由人工对各个检测样本图片标注了交通标志所在的位置信息。

步骤S420，将交通标志划分为预设数目个模糊类别，将各检测样本图片按照模糊类别归类后组成检测样本集。

其中，交通标志所属的模糊类别可以根据实际情况进行划分。例如，对交通标志划分模糊类别，可以是只将模糊类别划分为一类，也可以将交通标志划分为多个类别(即预设数目可以是一个或者多个)。在一个具体实施例中，将所有交通标志划分为禁令标志、警告标志、指示标志、解除禁令标志和其他标志5大类。可以理解地，在其它实施例中，也可以将交通标志按照其它方式进行分类、分为其它数目个模糊类别。由于通常选取用于作为检测样本的公共检测数据集中某些交通标志的类别的样本很少，把所有交通标志按模糊类别进行粗分类以后来训练检测器，对于检测器而言，单类别的训练样本数会增多，不需要面临某个类别样本稀缺的问题，能提高检测器的召回率，提高训练得到的检测器模型的检测精度。

进一步地，在将模糊类别划分为一类的实施例中，将ApolloScape和CCTSDB两个公共数据集的检测样本图片全部归为一类，就可以统称为交通标志。而在将将模糊类别划分为预设数目个类别的实施例中，将ApolloScape和CCTSDB两个公共数据集的检测样本图片按照预先划分的模糊类别进行归类后，得到检测样本集。

步骤S430，对检测样本集进行增强，得到增强后检测样本集。

在一个实施例中，对检测样本集进行增强的增强方式包括：色彩抖动，加噪，模糊，随机擦除，PCA抖动，旋转，填充，剪裁以及尺度变换。其中，检测样本图片需要对标注信息进行同步的增强，而且某些增强必须首先定位目标，否则对背景做增强毫无意义，如随机擦除需要保证检测目标的像素被随机擦除，裁剪需要保证图像裁剪后仍有检测目标存在。对检测样本集进行增强，实际上是对检测样本集中的检测样本图片进行随机增强，在一个实施例中。对检测样本集进行增强可以增强算法的泛化能力，在一定的程度上，增强处理也可以增加检测样本的数量，从而避免某些类别下的检测样本太少。

步骤S440，基于增强后检测样本集对预设检测器进行训练，得到检测器模型。

其中，预设检测器可以是任意一种现有的检测器，基于增强后检测样本集进行检测器模型的训练后，保存训练好的检测器模型。

在一个实施例中，如图5所示，分类器模型的确定方式包括步骤S510至步骤S530。

步骤S510，获取由携带有具体类别标注信息、按照模糊类别归类后的交通标志样本组成的预设数目组正分类样本集，以及由非交通标志样本组成的负分类样本集。

其中，正分类样本集的数目与模糊类别分类的数目相对应，并且正分类样本集是根据模糊类别进行归类得到的。例如，模糊类别分为禁令标志和指示标志，对应的，正分类样本集包括一组禁令标志正分类样本集，和一组指示标志正分类样本集。可以理解地，在其它实施例中，正分类样本集可以根据模糊类别分为其它种类。

由于通过检测器模型检测出的位置信息确定的方框中可能会存在非交通标志的背景，需要分类器模型将这些背景识别出来，因此分类样本集中除了包含交通标志正分类样本集还需要表示背景(即非交通标志)的负分类样本集。其中，负分类样本集中包含的负分类样本图片数量，可以根据实际情况来确定。

进一步地，在一个实施例中，如图6所示，预设数目组正分类样本集的获取方式包括步骤S610和步骤S620。

步骤S610，获取检测样本集中的各检测样本图片中交通标志的样本图像块。

检测样本集中的检测样本图片中均包含交通标志，这一步是获取各检测样本图片中的交通标志所在的样本图像块。具体可以是截取根据各检测样本图片携带的标注信息确定的方框，确定为样本图像块。

步骤S620，将各检测样本图片中交通标志的样本图像块按照具体类别进行归类，得到预设数目组正分类样本集。

检测样本集中的样本图片本身可以用来扩充分类数据，可以将检测图像中包含交通标志的部分提取出来作为分类数据集使用。在分类器模型的训练中，需要将交通标志划分到具体类别，具体类别包括哪些类别可以根据实际情况划分。在本实施例中，将获取的各样本图像块按照具体类别进行归类，归类完成得到的数据即为本实施例中的正分类样本集。

在模糊类别分为两个或者两个以上的实施例中，具体类别是在模糊类别之下进行划分的。例如，在模糊类别划分为禁令标志和指示标志的实施例中，对应于禁令标志的分类下，划分具体类别包括“禁止直行”、“禁止停车”、“禁止掉头”等等；在对应于指示标志的分类下，划分具体类别包括“最高限速100km/h”、“最低限速30km/h”、“路口左转”等等。

进一步地，在本实施例中，若检测样本集中的样本图像块所属的具体类别为“禁止直行”，则将这一图像块归类为禁令指标正分类样本集中；同理，若检测样本集中的样本图像块所属的具体类别为“路口左转”，则将这一图像块归类为指示指标正分类样本集中。

在另一个实施例中，如图7所示，负分类样本集的获取方式包括步骤S710和步骤S720。

步骤S710，在检测样本集中的检测样本图片随机生成预设大小的样本方框；其中，样本方框与由检测样本集中的标注信息所表示的位置确定的方框不重合。

步骤S720，获取各样本方框内的图像块作为负分类样本集。

检测样本集中的检测样本图片除了包含交通标志，还包括一定的背景(非交通标志)，因此在本实施例中，将检测样本集的检测样本图片中截取图片作为负分类样本集。由于随机生成的样本方框与检测样本图片中携带的标注信息确定的方框不重合，因此可以确定截取到的样本方框中的图片均为非交通标志的背景图。其中，随机生成的样本方框的大小、需要截取作为负分类样本的数量均可以根据实际情况进行预先设置。如此，通过为检测器设置非交通标志的负分类样本，能帮助滤除训练得到的检测器模型误检的目标，提高检测器模型的检测性能。

在一个具体实施例中，选取TT100K公共数据集作为初始正分类样本集，同时将检测样本集中的样本图像块截取到的交通标志按照具体类别归类到初始正分类样本集，得到最终的正分类样本分类集。

步骤S520，对各组正分类样本集进行增强，得到各组分别对应的增强后正分类样本集。

在一个实施例中，对正分类样本集进行增强的增强方式包括：色彩抖动，加噪，模糊，随机擦除，PCA抖动，旋转，翻转，仿射变换，填充，剪裁以及尺度变换。其中，翻转和仿射变换都不适用于检测数据增强，因为当一张检测图片包含不对称的标志时无法进行翻转；仿射变换会使图像的视角发生变化，检测图像的标注信息无法适应相同程度的变化。在上述交通标志识别方法中，对检测样本集和分类样本集单独进行数据增强更具有针对性，并且不会相互约束。

步骤S530，基于各组分别对应的增强后正分类样本集、负分类样本集对预设数目个预设分类器分别训练，得到预设数目个分类器模型。

其中，预设分类器可以是任意一种现有的分类器，基于增强后检测样本集进行分类器模型的训练后，保存训练好的分类器模型。

进一步地，在一个实施例中，在检测器模型和预设数目个分类器模型均训练完成后，服务器将检测器模型与分类器模型进行连接后保存，使得输入一张待识别的图片，就能得到待识别图片中包含的交通标志的位置信息和具体类别信息。如图8所示，为一个实施例中，检测器模型和分类器模型的级联流程示意图。

进一步地，在一个实施例中，在得到预设数目个分类器模型之后，还包括：在获取到新的需要被识别的交通标志样本时，确定新的需要被识别的交通标志样本所属的目标模糊类别，将新的需要被识别的交通标志样本更新到与目标模糊类别对应的正分类样本集中；基于更新后的正分类样本集、负分类样本集重新训练得到与目标模糊类别对应的新的分类器模型。

在本实施例中，由于在训练检测器模型和分类器模型时，将检测样本集中的交通标志划分为预设数目个类别，对应用于训练分类器模型的正分类样本为预设数目组。分类数据的类别数不受检测数据的约束。因为检测器能较好地提取交通标志的公共属性，具有较强的泛化能力。在新的需要被识别的交通标志出现时，由于交通标志之间具有相似性，检测器模型即使遇到没有见过的标志也能检测出来，只需要将新的需要被识别的交通标志按照模糊类别归类到对应的正分类样本集中，本实施例中，将新的需要被识别的交通标志所属的模糊类别记为目标模糊类别，并根据更新后的正分类样本集重新训练得到目标模糊类别对应的新的分类器模型。

在一个具体实施例中，以本申请的交通标志识别方法应用于终端为例，首先由服务器训练检测器模型和分类器模型，然后将训练好的模型发送到终端。服务器训练模型包括以下步骤：

将整理好的携带有位置标注信息的检测样本图片输入服务器，将所有检测样本图片全部归为一类(模糊类别划分为一类)，得到检测样本集。在本实施例中，选取ApolloScape和CCTSDB两个公共数据集中的样本数据作为检测样本图片；其中，ApolloScape数据集中的样本数据需要手动进行位置信息的标注。其中，也可以将所有检测样本图片按照预先划分的两个或两个以上的粗分类(模糊类别划分为预设数目个类别)进行归类后，得到检测样本集；例如，将所有交通标志划分为禁令标志、警告标志、指示标志、解除禁令标志和其他标志5大类。

随机采用色彩抖动，加噪，模糊，随机擦除，PCA抖动，旋转，填充，剪裁以及尺度变换，的方式对检测样本集中的检测样本进行增强，然后选取一个现有的检测器，服务器基于增强后得到的检测样本集对该检测器进行训练，得到检测器模型，保存检测器模型。

由于检测器模型输出的位置信息确定的方框框出的图像中还可能会包含背景，因此，分类样本集除了需要交通标志的正类样本，还需要非交通标志的负类样本。

在本实施例中，选取TT100K公共数据集作为初始正分类样本集，而检测样本集中的检测样本图片中均包含交通标志，这些交通标志也可以用于扩充分类样本集的正类样本，因此通过根据各检测样本图片的位置标注信息截取出各检测样本图片中的图像块，得到的就是检测样本集中的样本交通标志，将这些样本交通标志按照具体类别与TT100K公共数据集一起归类后，得到正分类样本集。具体地，若检测样本集中将所有交通标志划分两个或者两个以上的模糊类别时，则相应的需要相同数目个正分类样本，以训练相同数目个分类器模型。例如，检测样本集将所有交通标志划分为禁令标志、警告标志、指示标志、解除禁令标志和其他标志5大类，则确定正分类样本集时，对应确定禁令标志、警告标志、指示标志、解除禁令标志和其他标志5个正分类样本集，并依次将各个正分类样本集中的分类样本图片按照具体类别进行归类。

检测样本集中的检测样本图片，除了包含交通标志，还包含非交通标志的背景，因此在本实施例中，直接在检测样本集的检测样本图片中确定负分类样本。具体为在各检测样本图片中随机生成预设大小的、与检测样本图片的位置标注确定的方框不重合的方框，截取方框中的图像块，作为负分类样本图片归类为负分类样本集。其中，负分类样本图片所需的数量、负分类样本图片(预设大小的方框的尺寸)可以根据实际情况进行设置。

随机采用色彩抖动，加噪，模糊，随机擦除，PCA抖动，旋转，翻转，仿射变换，填充，剪裁以及尺度变换的方式对分类样本集进行增强，然后选取一个现有的分类器，服务器基于增强后得到的分类样本集对该分类器进行训练，得到分类器模型，保存分类器模型。

将检测器模型与分类器模型连接起来，使得输入一张待识别的图片，就能得到待识别图片中包含的交通标志的位置信息和具体类别信息。

终端识别交通标志包括以下步骤：将待识别图片(可以是终端拍摄的照片)输入终端，终端通过训练好的检测器模型和分类器模型对待识别图片进行识别，如图9所示，为本实施例中交通标志识别方法的实现过程。将待识别图片910输入检测器模型，输出待识别图片中的目标信息所属的交通标志模糊类别，以及目标信息在待识别图片中的位置信息。

根据位置信息确定检测方框，适当放大检测方框后，截取放大后的检测方框出来，即为前景图片920。随后将前景图片920输入根据模糊类别信息确定的对应的分类器模型中进行识别，得到待识别图片中的目标信息所属的交通标志具体类别。

在出现新的需要被识别的交通标志时，将这一新的交通标志发送到服务器中，服务器按照具体类别归类到正分类样本集中，服务器基于更新后的分类样本集重新训练得到新的分类器模型，并将新的分类器模型发送到终端进行更新。

可以理解地，在其它的实施例中，也可以是由服务器训练好检测器模型和分类器模型，并连接两个模型后，终端在需要进行识别时，将图片发送给服务器，服务器进行识别，并将识别结果返回给终端。或者，由终端实现模型的训练以及交通标志的识别。

应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供了一种交通标志识别装置，包括：待识别图片获取模块1010、检测模块1020、中间处理模块1030和分类模块1040，其中：

待识别图片获取模块1010，用于获取待识别图片。

检测模块1020，用于基于通过训练确定的检测器模型确定待识别图片中的目标信息的位置信息和模糊类别信息。

中间处理模块1030，用于根据位置信息确定待识别图片的前景图片，前景图片中包括目标信息；根据模糊类别信息确定对应的通过训练得到的分类器模型。

分类模块1040，用于通过分类器模型对前景图片进行识别，确定待识别图片中目标信息的交通标志具体类别信息。

关于交通标志识别装置的具体限定可以参见上文中对于交通标志识别方法的限定，在此不再赘述。上述交通标志识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种交通标志识别方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待识别图片；

基于通过训练确定的检测器模型确定待识别图片中的目标信息的位置信息和模糊类别信息；

根据位置信息确定待识别图片的前景图片，前景图片中包括目标信息；根据模糊类别信息确定对应的通过训练得到的分类器模型；

通过分类器模型对前景图片进行识别，确定待识别图片中目标信息的交通标志具体类别信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据位置信息确定待识别图片的前景图片，包括：

根据位置信息在待识别图片中确定检测方框；

放大检测方框，截取待识别图片中与放大后的检测方框对应的图像块，将图像块确定为前景图片。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：检测器模型的确定方式包括：

获取由携带有标注信息的检测样本图片；标注信息用于表示各检测样本图片中包含的交通标志在检测样本图片中的位置，以及各所述检测样本图片中包含的交通标志所属的模糊类别；

将交通标志划分为预设数目个模糊类别，将各检测样本图片按照模糊类别归类后组成检测样本集；

对检测样本集进行增强，得到增强后检测样本集；

基于增强后检测样本集对预设检测器进行训练，得到检测器模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：分类器模型的确定方式包括：

获取由携带有具体类别标注信息、按照模糊类别归类后的交通标志样本组成的预设数目组正分类样本集，以及由非交通标志样本组成的负分类样本集；

对各组正分类样本集进行增强，得到各组分别对应的增强后正分类样本集；

基于各组分别对应的增强后正分类样本集、负分类样本集对预设数目个预设分类器分别训练，得到预设数目个分类器模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：预设数目组正分类样本集的获取方式包括：

获取检测样本集中的各检测样本图片中交通标志的样本图像块；

将各检测样本图片中交通标志的样本图像块按照具体类别进行归类，得到预设数目组正分类样本集。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：负分类样本集的获取方式包括：

在检测样本集中的检测样本图片随机生成预设大小的样本方框；样本方框与由检测样本集中的标注信息所表示的位置确定的方框不重合；

获取各样本方框内的图像块作为负分类样本集。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：在得到预设数目个分类器模型之后，还包括：

在获取到新的需要被识别的交通标志样本时，确定新的需要被识别的交通标志样本所属的目标模糊类别，将新的需要被识别的交通标志样本更新到与目标模糊类别对应的正分类样本集中；

基于更新后的正分类样本集、负分类样本集重新训练得到与目标模糊类别对应的新的分类器模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：位置信息用于确定一个方框；

位置信息包括处于方框同一对角线上的两个顶点的坐标；

或者，位置信息包括方框的一个顶点的坐标，以及方框的长度和宽度；

或者，位置信息包括方框的中心的坐标，以及方框的长度和宽度。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待识别图片；

基于通过训练确定的检测器模型确定待识别图片中的目标信息的位置信息和模糊类别信息；

根据位置信息确定待识别图片的前景图片，前景图片中包括目标信息；根据模糊类别信息确定对应的通过训练得到的分类器模型；

通过分类器模型对前景图片进行识别，确定待识别图片中目标信息的交通标志具体类别信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据位置信息确定待识别图片的前景图片，包括：

根据位置信息在待识别图片中确定检测方框；

放大检测方框，截取待识别图片中与放大后的检测方框对应的图像块，将图像块确定为前景图片。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：检测器模型的确定方式包括：

获取由携带有标注信息的检测样本图片；标注信息用于表示各检测样本图片中包含的交通标志在检测样本图片中的位置，以及各所述检测样本图片中包含的交通标志所属的模糊类别；

将交通标志划分为预设数目个模糊类别，将各检测样本图片按照模糊类别归类后组成检测样本集；

对检测样本集进行增强，得到增强后检测样本集；

基于增强后检测样本集对预设检测器进行训练，得到检测器模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：分类器模型的确定方式包括：

获取由携带有具体类别标注信息、按照模糊类别归类后的交通标志样本组成的预设数目组正分类样本集，以及由非交通标志样本组成的负分类样本集；

对各组正分类样本集进行增强，得到各组分别对应的增强后正分类样本集；

基于各组分别对应的增强后正分类样本集、负分类样本集对预设数目个预设分类器分别训练，得到预设数目个分类器模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：预设数目组正分类样本集的获取方式包括：

获取检测样本集中的各检测样本图片中交通标志的样本图像块；

将各检测样本图片中交通标志的样本图像块按照具体类别进行归类，得到预设数目组正分类样本集。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：负分类样本集的获取方式包括：

在检测样本集中的检测样本图片随机生成预设大小的样本方框；样本方框与由检测样本集中的标注信息所表示的位置确定的方框不重合；

获取各样本方框内的图像块作为负分类样本集。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在得到预设数目个分类器模型之后，还包括：

在获取到新的需要被识别的交通标志样本时，确定新的需要被识别的交通标志样本所属的目标模糊类别，将新的需要被识别的交通标志样本更新到与目标模糊类别对应的正分类样本集中；

基于更新后的正分类样本集、负分类样本集重新训练得到与目标模糊类别对应的新的分类器模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：位置信息用于确定一个方框；

位置信息包括处于方框同一对角线上的两个顶点的坐标；

或者，位置信息包括方框的一个顶点的坐标，以及方框的长度和宽度；

或者，位置信息包括方框的中心的坐标，以及方框的长度和宽度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种交通标志识别方法，所述方法包括：

获取待识别图片；

基于通过训练确定的检测器模型确定所述待识别图片中的目标信息的位置信息和所属的交通标志模糊类别信息；

根据所述位置信息确定所述待识别图片的前景图片，所述前景图片中包括所述目标信息；根据所述模糊类别信息确定对应的通过训练得到的分类器模型；

通过所述分类器模型对所述前景图片进行识别，确定所述待识别图片中所述目标信息所属的交通标志具体类别信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述位置信息确定所述待识别图片的前景图片，包括：

根据所述位置信息在所述待识别图片中确定检测方框；

放大所述检测方框，截取所述待识别图片中与所述放大后的检测方框对应的图像块，将所述图像块确定为所述前景图片。

3.根据权利要求1所述的方法，其特征在于，所述检测器模型的确定方式包括：

获取由携带有标注信息的检测样本图片；所述标注信息用于表示各所述检测样本图片中包含的交通标志在所述检测样本图片中的位置；

将交通标志划分为预设数目个模糊类别，将各所述检测样本图片按照所述模糊类别归类后组成检测样本集；

对所述检测样本集进行增强，得到增强后检测样本集；

基于所述增强后检测样本集对预设检测器进行训练，得到所述检测器模型。

4.根据权利要求3所述的方法，其特征在于，所述分类器模型的确定方式包括：

获取由携带有具体类别标注信息、按照所述模糊类别归类后的交通标志样本组成的预设数目组正分类样本集，以及由非交通标志样本组成的负分类样本集；

对各组所述正分类样本集进行增强，得到各组分别对应的增强后正分类样本集；

基于各组分别对应的所述增强后正分类样本集、所述负分类样本集对预设数目个预设分类器分别训练，得到预设数目个所述分类器模型。

5.根据权利要求4所述的方法，其特征在于，所述预设数目组正分类样本集的获取方式包括：

获取所述检测样本集中的各检测样本图片中交通标志的样本图像块；

将各所述检测样本图片中交通标志的样本图像块按照所述具体类别进行归类，得到所述预设数目组正分类样本集。

6.根据权利要求4所述的方法，其特征在于，所述负分类样本集的获取方式包括：

在检测样本集中的检测样本图片随机生成预设大小的样本方框；所述样本方框与由所述检测样本集中的标注信息所表示的位置确定的方框不重合；

获取各所述样本方框内的图像块作为所述负分类样本集。

7.根据权利要求4所述的方法，其特征在于，在得到预设数目个所述分类器模型之后，还包括：

在获取到新的需要被识别的交通标志样本时，确定所述新的需要被识别的交通标志样本所属的目标模糊类别，将所述新的需要被识别的交通标志样本更新到与所述目标模糊类别对应的所述正分类样本集中；

基于更新后的正分类样本集、所述负分类样本集重新训练得到与所述目标模糊类别对应的新的分类器模型。

8.根据权利要求1至7任意一项所述的方法，其特征在于，所述位置信息用于确定一个方框；

所述位置信息包括处于所述方框同一对角线上的两个顶点的坐标；

或者，所述位置信息包括所述方框的一个顶点的坐标，以及所述方框的长度和宽度；

或者，所述位置信息包括所述方框的中心的坐标，以及所述方框的长度和宽度。

9.一种交通标志识别装置，其特征在于，所述装置包括：

待识别图片获取模块，用于获取待识别图片；

检测模块，用于基于通过训练确定的检测器模型确定所述待识别图片中的目标信息的位置信息和所属的交通标志模糊类别信息；

中间处理模块，用于根据所述位置信息确定所述待识别图片的前景图片，所述前景图片中包括所述目标信息；根据所述模糊类别信息确定对应的通过训练得到的分类器模型；

分类模块，用于通过所述分类器模型对所述前景图片进行识别，确定所述待识别图片中所述目标信息所属的交通标志具体类别信息。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images