CN118230277A - 一种交通标志识别方法及相关装置 - Google Patents

Abstract

本申请实施例提供一种交通标志识别方法及相关装置。该方法包括：获取采集到的视频流；对视频流进行分帧处理，得到交通标志图像；将交通标志图像输入第一网络模型，输出交通标志图像的特征值和交通标志图像的识别符号；根据识别符号确定交通标志图像属于小样本交通标志；将交通标志图像的特征值输入第二网络模型，输出交通标志图像对应的交通类别。采用本申请实施例，可以在现有的目标检测技术的基础上引入针对小样本任务的小样本学习FSL模型。即使在小样本交通标志的样本数量较少的情况下，仍具有较好的识别性能，能够有效地识别出小样本交通标志图像对应的交通类别。

Description

一种交通标志识别方法及相关装置

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种交通标志识别方法及相关装置。

背景技术

基于图像深度学习目标检测技术的道路交通标志识别(Traffic SignRecognitionSystem，TSR)，是通过组合使用前置摄像头，识别出道路中出现的交通标志，用于提醒驾驶员或者是辅助自动驾驶。

在现有交通标志识别技术中，普遍采用的是基于深度学习的图像目标检测技术，其检测效果可以满足大部分城市道路交通标志的识别需求。但是对于出现在乡路、林路甚至无人区道路的小样本交通标志很少见并且很难被采集，因此可以用于训练的小样本交通标志的图像数量很少。又由于基于深度学习的图像目标检测技术的效果往往依赖于大量的训练数据，所以现有技术方案中少量的小样本交通标志的图像难以支撑基于深度学习的图像目标检测技术的训练，因此使用现有技术往往不易检测和识别出小样本交通标志的图像。

发明内容

本申请实施例提供一种交通标志识别方法及相关装置，解决了在道路交通标志识别的技术领域中，无法有效识别出小样本交通标志的图像的问题。

第一方面，本申请实施例提供了一种交通标志识别方法，所述方法包括：

获取采集到的视频流；

对所述视频流进行分帧处理，得到交通标志图像；

将所述交通标志图像输入第一网络模型，输出所述交通标志图像的特征值和所述交通标志图像的识别符号；

根据所述识别符号确定所述交通标志图像属于小样本交通标志；

将所述交通标志图像的特征值输入第二网络模型，输出所述交通标志图像对应的交通类别，其中，所述第二网络模型为根据包含所述小样本交通标志的样本集训练得到的。

在上述方法中，通过实时获取采集到的视频流，可以以较小的计算量对道路交通标志进行识别，得到其所对应的交通类别。通过第一网络模型来识别大样本交通标志，若第一网络模型识别不出交通标志图像的交通类别，则可以确定交通标志图像为小样本交通标志，再通过第二网络模型识别出交通标志图像对应的交通类别。也即用第一网络模型来识别大样本类的交通标志，用第二网络模型来识别小样本类的交通标志，可以提高交通标志识别的准确性、减轻模型的运算压力。

在第一方面的一种可选的方案中，所述将所述交通标志图像的特征值输入第二网络模型，输出所述交通标志图像对应的交通类别，包括：

将所述交通标志图像的特征值输入第二网络模型；

通过第二网络模型将所述交通标志图像的特征值与支持集中的特征值进行相似度计算，输出所述交通标志图像对应的交通类别，其中，所述支持集包含对所述样本集中的数据进行特征提取后的特征值。

在上述方法中，将交通标志图像的特征值与训练后得到的第二网络模型中的支持集进行相似度计算，能更直观的表现待识别的交通标志图像与各个类别的小样本交通标志之间的相似程度，从而能够得到更为准确的交通类别。

在第一方面的又一种可选的方案中，所述通过第二网络模型将所述交通标志图像的特征值与支持集中的特征值进行相似度计算，输出所述交通标志图像对应的交通类别，包括：

计算所述交通标志图像的特征值与所述支持集中小样本交通标志所对应的特征值之间的欧式距离；

根据所述欧式距离确定所述交通标志图像的特征值与所述小样本交通标志所对应的特征值之间的相似度；

将所述相似度中的最大相似度所对应的小样本交通标志作为所述交通标志图像对应的交通类别。

在上述方法中，使用欧式距离来度量交通标志图像的特征值，与训练后得到的第二网络模型中的支持集所包含的各个类别的特征值之间的相似度。欧式距离越小则表示相似度越大，将相似度中的最大相似度所对应的小样本交通标志作为交通标志图像对应的交通类别，可以利用上述方法预测出可能性最大的交通类别。

在第一方面的又一种可选的方案中，所述根据所述识别符号确定所述交通标志图像属于小样本交通标志，包括：

通过所述第一网络模型得到关联值，所述关联值用于表明所述交通标志图像与大样本交通标志的相关程度；

在所述关联值小于预设值的情况下，确定所述交通标志图像为所述小样本交通标志。

在上述方法中，由于现有技术对大样本交通标志的识别度高，对小样本交通标志的识别度低。那么先采用现有技术去识别交通标志图像是否为大样本交通标志，在识别不出交通类别的情况下，就能够将交通标志图像确定为小样本交通标志，再进行后续的识别。这样可以简化运算，起到运用较少的计算就可以达到识别出交通类别的目的。

在第一方面的又一种可选的方案中，所述通过所述第一网络模型得到关联值之后，所述关联值小于预设值的情况下，确定所述交通标志图像为所述小样本交通标志之前，还包括：

在所述关联值大于所述预设值的情况下，确定所述交通标志图像为所述大样本交通标志。

将所述关联值中的最大关联值所对应的大样本交通标志作为所述交通标志图像对应的交通类别。

在上述方法中，在关联值大于预设值的情况下，将关联值中的最大关联值所对应的大样本交通标志作为交通标志图像对应的交通类别，这样由第一网络模型输出的关联值，就可以直接判断出交通标志图像是否属于大样本交通标志中的某一类别。

第二方面，本申请实施例提供了一种交通标志识别模型的训练方法，所述方法包括：

根据采集到的交通标志图像对第一网络模型进行训练，得到训练后的第一网络模型，所述训练后的第一网络模型用于识别大样本交通标志图像对应的交通类别；

通过所述训练后的第一网络模型从所述交通标志图像中得到小样本交通标志图像；

根据所述小样本交通标志图像对第二网络模型进行训练，得到训练后的第二网络模型和支持集，所述第二网络模型用于识别小样本交通标志图像对应的交通类别，所述支持集包含对所述小样本交通标志图像进行特征提取后的特征值。

在上述方法中，使用采集到的全部交通标志图像对第一网络模型进行训练，使用采集到的小样本交通标志图像对第二网络模型进行训练，使得训练后的第一网络模型可以用于识别大样本交通标志图像对应的交通类别，同时训练后的第二网络模型可以用于识别小样本交通标志图像对应的交通类别。

在第二方面的一种可选的方案中，所述支持集中目标类别的小样本交通标志所对应的特征值为采集到的交通标志图像的特征值，其中，所述采集到的交通标志图像的数量等于一张；或者，

所述支持集中目标类别的小样本交通标志所对应的特征值为采集到的交通标志图像的特征值的平均值，其中，所述采集到的交通标志图像的数量大于一张。

在上述方法中，由于采集到的小样本交通标志的数量很少，可能会出现某类小样本交通标志的图像数量只有一张的情况，所以直接用这一张图像的特征值来代表这个类别。若其它类别采集到的小样本交通标志的图像数量多于一张，则取全部图像所对应的特征值的平均值来作为这一类别的特征值。这样就能够使支持集中含有所有类别的小样本交通标志的特征值。

第三方面，本申请实施例提供了一种交通标志识别装置，所述装置包括：

采集单元，用于获取采集到的视频流；

计算单元，用于对所述视频流进行分帧处理，得到交通标志图像；

计算单元，用于将所述交通标志图像输入第一网络模型，输出所述交通标志图像的特征值和所述交通标志图像的识别符号；

计算单元，用于根据所述识别符号确定所述交通标志图像属于小样本交通标志；

计算单元，用于将所述交通标志图像的特征值输入第二网络模型，输出所述交通标志图像对应的交通类别，其中，所述第二网络模型为根据包含所述小样本交通标志的样本集训练得到的。

在第三方面的一种可选的方案中，计算单元，具体用于将所述交通标志图像的特征值输入第二网络模型，输出所述交通标志图像对应的交通类别，包括：

采集单元，具体用于将所述交通标志图像的特征值输入第二网络模型；

计算单元，具体用于通过第二网络模型将所述交通标志图像的特征值与支持集中的特征值进行相似度计算，输出所述交通标志图像对应的交通类别，其中，所述支持集包含对所述样本集中的数据进行特征提取后的特征值。

在第三方面的一种可选的方案中，计算单元，具体用于通过第二网络模型将所述交通标志图像的特征值与支持集中的特征值进行相似度计算，输出所述交通标志图像对应的交通类别，包括：

计算单元，具体用于计算所述交通标志图像的特征值与所述支持集中小样本交通标志所对应的特征值之间的欧式距离；

计算单元，具体用于根据所述欧式距离确定所述交通标志图像的特征值与所述小样本交通标志所对应的特征值之间的相似度；

计算单元，具体用于将所述相似度中的最大相似度所对应的小样本交通标志作为所述交通标志图像对应的交通类别。

在第三方面的一种可选的方案中，计算单元，具体用于根据所述识别符号确定所述交通标志图像属于小样本交通标志，包括：

计算单元，具体用于通过所述第一网络模型得到关联值，所述关联值用于表明所述交通标志图像与大样本交通标志的相关程度；

计算单元，具体用于在所述关联值小于预设值的情况下，确定所述交通标志图像为所述小样本交通标志。

在第三方面的一种可选的方案中，计算单元，具体用于通过所述第一网络模型得到关联值之后，所述关联值小于预设值的情况下，确定所述交通标志图像为所述小样本交通标志之前，还包括：

计算单元，具体用于在所述关联值大于所述预设值的情况下，确定所述交通标志图像为所述大样本交通标志。

计算单元，具体用于将所述关联值中的最大关联值所对应的大样本交通标志作为所述交通标志图像对应的交通类别。

第四方面，本申请实施例提供了一种车辆，该车辆包括自动驾驶域控制器、存储器及存储在所述存储器上并能够在所述自动驾驶域控制器上运行的计算机程序；自动驾驶域控制器执行计算机程序时，该车辆可执行前述第一方面任一项所描述的方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机或处理器上运行时，实现如前述第一方面任一项所描述的方法。

第六方面，本申请实施例提供了一种芯片或者芯片系统，该芯片或者芯片系统包括至少一个处理器和通信接口，通信接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以执行第一方面或第一方面的任意一种可能的实现方式中描述的驱动发声器件进行发声的方法。其中，芯片中的通信接口可以为输入/输出接口、管脚或电路等。

在一种可能的实现中，本申请实施例中上述描述的芯片或者芯片系统还包括至少一个存储器，该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元，例如，寄存器、缓存等，也可以是该芯片的存储单元(例如，只读存储器、随机存取存储器等)。

本申请第三至第五方面所提供的技术方案，其有益效果可以参考第一方面的技术方案的有益效果，此处不再赘述。

附图说明

下面将对实施例描述中所需要使用的附图作简单的介绍。

图1是本申请实施例提供的一种大样本交通标志的举例图；

图2是本申请实施例提供的一种小样本交通标志的举例图；

图3是本申请实施例提供的一种交通标志识别系统的架构图；

图4是本申请实施例提供的一种车辆识别交通标志的示意图；

图5是本申请实施例提供的一种交通标志识别方法的流程示意图；

图6是本申请实施例提供的一种生成识别符号的示意图；

图7是本申请实施例提供的一种小样本交通标志识别过程的示意图；

图8是本申请实施例提供的一种交通标志识别过程的示意图；

图9是本申请实施例提供的一种训练第一网络模型的示意图；

图10是本申请实施例提供的一种训练第二网络模型的示意图；

图11是本申请实施例提供的一种生成支持集的示意图；

图12是本申请实施例提供的一种交通标志识别装置的功能单元组成框图；

图13是本申请实施例提供的一种车辆的结构示意图。

具体实施方式

下面结合附图对本申请实施例进行详细介绍。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面对本申请实施例应用的系统架构进行介绍。需要说明的是，本申请描述的系统架构及业务场景是为了更加清楚的说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。

为了更清楚地描述本申请的方案，下面先对本申请中涉及的部分用语进行说明。

1、交通标志：是指用文字或符号传递引导、限制、警告或指示信息的道路设施。又称道路标志、道路交通标志。交通标志有多重类型，可以用各种方式区分为：主要标志和辅助标志；可动标志和固定式标志；照明标志、发光标志和反光标志；以及反应行车环境变换的可变信息标志，例如可以包括道路中的限速牌、交通灯等。

2、大样本：一般来说，大样本通常是指样本容量大于30的样本。在交通标志的识别中，大样本交通标志常见于车辆行驶频繁的路段，这些标志数据容易被采集，所以样本数据丰富。具体可参见图1，图1是本申请实施例提供的一种大样本交通标志的举例图，其中大样本交通标志包括但不限于图1中的限速60、注意人行道、停止、转弯、禁止转弯和禁止停车等常见的交通标志。

3、小样本：小样本通常是指样本容量小于或等于30的样本。在交通标志的识别中，小样本交通标志在日常道路中很少出现，常见于偏僻的乡路、林路甚至无人区道路，这些标志不易被采集，所以样本数量也极少。具体可参见图2，图2是本申请实施例提供的一种小样本交通标志的举例图，其中小样本交通标志包括但不限于注意野生动物、注意牲畜、机动车行驶、注意横风等不常见的交通标志。

4、交通标志识别(traffic sign recognition，TSR)：是指能够在车辆行驶过程中对出现的道路交通标志信息进行采集和识别，及时向驾驶员做出指示或警告，亦或者直接控制车辆进行操作，以保证交通通畅并预防事故的发生。

TSR系统一般包括检测和识别两部分。检测一般是利用交通标志的形状和颜色特性，从自然场景中把交通标志提取出来。识别是把检测出来的交通标志的内容识别出来。

5、小样本学习(few-shot learning，FSL)：是一种机器学习方法。其研究领域是通过极少量的样本来识别物体，FSL模型具有较好的迁移特性，目前已在极少量样本的前提下通过实验证实了其具有较好的识别性能。

6、支持集：是指在小样本学习中用于训练和评估模型的子集，通常由整个数据集中随机的一小部分样本组成。目的是提供足够的信息来训练模型，并且能够代表整个数据集的特征。通过使用支持集，小样本模型可以在较小的数据集上进行训练，从而避免了需要大量数据的问题。

为了便于理解本申请实施例，下面先分析并提出本申请所具体要解决的技术问题。

在现有的交通标志识别技术中，普遍采用的是基于深度学习的图像目标检测技术，此技术的检测效果可以满足大部分城市道路交通标志的识别需求。由于交通标志数据大多存在长尾分布的现象，也即存在数据量少的小样本交通标志，会导致样本数据的不平衡。又因为基于深度学习的图像目标检测技术的识别效果往往依赖于大量的样本数据来进行训练，所以现有的技术方案并没有对小样本交通标志进行充分的训练学习，从而基于深度学习的图像目标检测技术往往不易检测和识别出小样本交通标志。

在现有的对样本数据不平衡所带来的问题进行解决的方法中，一般可以分为两类，一类是对训练数据集进行数据增强扩充后，再训练神经网络模型。另一类是修正现有的目标检测模型来提高模型的识别精度。然而所带来的的问题是，现有的对训练数据集进行数据增强的方法并不适用于所有的交通标志的样本图像。例如交通标志为左转向的图像，在经过旋转后得到的是交通标志为右转向的图像。其次是在数据增强后会不可避免的改变原数据的像素分布，所以使用数据增强的方法并不一定能解决样本数据不平衡所带来的问题。在对现有的目标检测模型进行修正的方法中，通常使用YOLO模型的第三个版本(YouOnly Look Once Version 3，YOLOv3)、YOLO模型的第四个版本(You Only Look OnceVersion 4，YOLOv4)或YOLO模型的第五个版本(You Only Look Once Version 5，YOLOv5)的深度学习模型作为交通标志识别任务的目标检测模型。虽然深度学习模型在识别效果中远优于传统的目标检测方法，但极其依赖训练数据集，需要大量的训练数据集来对深度学习模型进行训练。而通常使用的训练数据集为中国交通标志数据集(TT100K)，无法提供大量的小样本类的交通标志图像，所以训练出来的深度学习模型也就难以正确识别出小样本交通标志图像的类别，因此修正现有的目标检测模型也无法解决样本数据不平衡所带来的问题。

此外，在采集到交通标志的图像后，现有技术通常需要将图像上传到服务器中进行识别，再接收服务器发送的结果。这就要求车机必须联网，并且在网络信号较差的地方会难以得到识别到的结果。而且受限于现有的网络通信技术，由于网络传输存在延时，所以无法实时地对采集到的道路交通标志所对应的类别进行识别。

鉴于此，本申请实施例提供了一种交通标志识别方法。针对样本数量少的小样本交通标志，建立由小样本学习FSL模型调整后的第二网络模型对小样本交通标志进行识别，可以在样本数量较少的情况下仍然具有较好的识别性能。同时建立第一网络模型对大样本交通标志进行识别，所以，基于本申请实施例提供的方法，能有效识别出道路中出现的全部交通标志。对于依赖道路交通标志识别结果的自动驾驶技术，也可以使用本申请实施例提供的方法来辅助进行道路交通标志的识别。例如，将本申请实施例提供的方法部署于汽车自动驾驶的芯片中，可以通过较小的计算来实现对道路交通标志实时的识别。从而可以将路面的交通标志信息及时地反馈给车机以供自动驾驶系统来决策，有效的解决了现有技术中无法正确识别小样本交通标志的问题。

接下来，对本申请实施例应用的系统架构进行介绍。需要说明的是，本申请描述的系统架构及业务场景是为了更加清楚的说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。

请参阅图3，图3是本申请实施例提供的一种交通标志识别系统的架构图。如图3所示，交通标志识别系统30包括车辆31和服务器32。

在识别领域，对待识别的交通标志图像进行识别的过程可以在车辆31执行，也可以在服务器32执行。例如，车辆31可以通过摄像头实时采集车辆31行驶方向上、或周围环境、或行驶后方向上的视频流，可以在车辆31本地对视频流进行分帧处理，得到待识别的交通标志图像，对交通标志图像进行识别得到交通标志图像对应的交通类别。也可以将待识别的交通标志图像向服务器32发送，或者将车辆31采集到的视频流向服务器发送，当服务器32获取到待识别的交通标志图像后，对交通标志图像进行识别，得到交通标志图像对应的交通类别，然后将交通标志图像对应的交通类型向车辆31发送。

其中，对待识别的交通标志图像的识别方法可以由车辆31本身执行，也可以由安装在车辆31上的设备执行，比如说车载单元、车辆导航装置、车辆辅助驾驶装置、车辆自动驾驶装置和行车记录仪中的一种或多种来执行。

车辆31可以是汽车、摩托车、农用运输车、拖拉机、挂车、游乐场车辆、割草车或者手推车，等；当车辆31为汽车时，该车辆31可以是轿车、越野车、货车、公共汽车或面包车。在一种可能的实现中，可以将车辆31配置为完全或部分地自动驾驶模式。例如，车辆31可以处于自动驾驶模式中的同时控制自身，并且可通过人为操作来确定车辆及其周边环境的当前状态，确定周边环境中的至少一个其他车辆的可能行为，并确定该其他车辆执行可能行为的可能性相对应的置信水平，基于所确定的信息来控制车辆31。在车辆31处于自动驾驶模式中时，可以将车辆31置为在没有和人交互的情况下操作。

服务器32可以是一台服务器，也可以是由若干台服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云计算、云存储及大数据和人工智能平台等基础云计算服务的云服务器。

请参阅图4，图4是本申请实施例提供的一种车辆识别交通标志的示意图。如图4所示，车辆31接收通过采集单元311采集的视频流，采集单元311是输入设备，本申请实施例采用单目摄像头作为输入设备。其中，车辆31的存储器314中存储有来自服务器的第一网络模型和第二网络模型。可以理解的是，服务器可以根据样本数据训练得到第一网络模型和第二网络模型，然后将训练好的第一网络模型和第二网络模型向车辆31发送。

车辆31将视频流输入计算单元312，其中，计算单元312包含中央处理器313和存储器314。中央处理器可以是车载自动驾驶芯片，存储器可以是内存卡。在中央处理器313中，通过第一网络模型输出交通标志图像的特征值和交通标志图像的识别符号。车辆31可以通过第一网络模型输出的识别符号识别得到交通类别为限速60的大样本交通标志。

车辆31将无法通过识别符号识别出交通类型的交通标志图像，确定为小样本交通标志。车辆31通过中央处理器313将小样本交通标志的图像所对应的特征值输入第二网络模型，通过第二网络模型输出交通标志图像对应的交通类别。最后，车辆31将识别得到的两个交通标志图像的交通类别结果向输出单元315进行输出，通过输出单元315展示限速60的图像和文字，以及注意横风的图像文字。在一种可能的实现中，车辆31还可以通过语音播放“限速60”和“注意横风”等提示语句。

下面介绍本申请实施例提供的一种交通标志识别方法。

请参阅图5，图5是本申请实施例提供的一种交通标志识别方法的流程示意图，方法应用于如图3所示的交通标志识别系统30。如图5所示，方法包括但不限于如下步骤：

步骤S401，电子设备获取采集到的视频流。

在一种可能的实现中，电子设备可以是车辆，车辆的车身设置了前视摄像头、后视摄像头以及侧视摄像头，因此，车辆可以通过一个或多个摄像头实时获取采集到的车辆行驶前方向上、或周围环境、或行驶后方的视频流。

电子设备通过车载摄像头采集路面交通的视频信息，通过车载摄像头来实时获取采集到的视频流。

步骤S402，对视频流进行分帧处理，得到交通标志图像。

具体的，视频流是流媒体技术中的一种，流媒体技术是指将一连串的多媒体数据压缩后，经过互联网分段发送数据，在互联网上即时传输多媒体数据。而视频泛指将一系列静态图像以电信号的方式加以捕捉、记录、处理、存储与重新的各种技术。连续的图像变化每秒超过24帧(frame)画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，这样连续的画面叫作视频。因此电子设备可以对视频流进行分帧处理得到视频流中每一帧的图像，然后电子设备对每一帧的图像进行处理得到含有交通标志的图像。

步骤S403，将交通标志图像输入第一网络模型，输出交通标志图像的特征值和交通标志图像的识别符号。

具体的，电子设备将交通标志图像输入第一网络模型，通过第一网络模型对交通标志图像进行目标特征提取，得到交通标志图像的特征值。随后电子设备通过第一网络模型对交通标志图像的特征值进行处理，输出交通标志图像的识别符号。

请参阅图6，图6是本申请实施例提供的一种生成识别符号的示意图。如图6所示，电子设备将交通标志图像输入第一网络模型，通过第一网络模型中的骨干网络对交通标志图像进行目标特征提取得到特征值。然后，通过第一网络模型中的检测头对目标特征的特征值进行目标检测，从而输出交通标志图像的识别符号。

在一种可能的实施方式中，电子设备将交通标志图像输入第一网络模型，输出的交通标志图像的识别符号可以是x,y,w,h,c,{class_type}。

具体来说，电子设备通过第一网络模型输出检测矩阵框及其所对应的识别符号。其中，电子设备可以使用检测矩阵框来框出交通标志图像中交通标志所在的位置。在交通标志图像的识别符号中，x和y表示检测矩阵框的位置坐标(x，y)，其中位置坐标包含检测矩阵框中的左上顶点的坐标(x₁，y₁)和右下顶点的坐标(x₂，y₂)，使用这两个坐标可以确定检测矩阵框的具体位置。此外，w和h分别表示检测矩阵框的长度和宽度。c表示检测矩阵框的置信度，也就是c值越高，检测矩阵框所框出的物品是交通标志的可能性就越高。相应的，电子设备可以根据c值来判定向第一网络模型输入的交通标志图像是否为交通标志，以此来降低此前电子设备对视频流进行分帧处理过程中的错误率。{class_type}表示交通标志图像与预设的交通标志的相关程度，电子设备可以根据{class_type}来判定向第一网络模型输入的交通标志图像是否为预设的交通标志类别。

步骤S404，根据识别符号确定交通标志图像属于小样本交通标志。

具体的，电子设备可以根据通过第一网络模型输出的交通标志图像的识别符号，来确定交通标志图像是小样本交通标志还是大样本交通标志。

在一种可能的实施方式中，电子设备通过第一网络模型得到交通标志图像与大样本交通标志的关联值，在关联值小于预设值的情况下，电子设备可以确定交通标志图像为小样本交通标志。例如，本申请实施例所使用的关联值为通过第一网络模型输出的{class_type}符号中对应的值，用于表明交通标志图像与大样本交通标志的相关程度。本申请实施例所使用的预设值为电子设备对每一类的大样本交通标志所预先设置的值。在关联值小于所有预设值的情况下，电子设备可以确定输入第一网络模型的交通标志图像不为大样本交通标志中的任意一种，也就是说此交通标志图像为小样本交通标志。

在另一种可能的实施方式中，电子设备通过第一网络模型得到交通标志图像与大样本交通标志的关联值，在关联值大于预设值的情况下，电子设备可以确定交通标志图像为大样本交通标志中的某一类别。例如，本申请实施例所使用的关联值为通过第一网络模型输出的{class_type}符号中对应的值，用于表明交通标志图像与大样本交通标志的相关程度，其中关联值越大表明输入第一网络模型的交通标志图像是此类大样本交通标志的可能性越大。本申请实施例所使用的预设值为电子设备对每一类的大样本交通标志所预先设置的值。在关联值大于预设值的情况下，电子设备可以确定此交通标志图像为大样本交通标志。进一步的，电子设备可以将关联值中的最大关联值所对应的大样本交通标志作为交通标志图像对应的交通类别。

步骤S405，将交通标志图像的特征值输入第二网络模型，输出交通标志图像对应的交通类别。

具体的，在电子设备根据识别符号确定交通标志图像属于小样本交通标志的情况下，电子设备可以将交通标志图像的特征值输入第二网络模型，通过第二网络模型输出交通标志图像对应的交通类别。

在一种可能的实施方式中，电子设备将交通标志图像的特征值输入第二网络模型，通过第二网络模型将交通标志图像的特征值与支持集中的特征值进行相似度计算，输出交通标志图像对应的交通类别。

在一种可能的实施方式中，电子设备通过第二网络模型将交通标志图像的特征值与支持集中的特征值进行相似度计算，从而输出交通标志图像对应的交通类别的方法可以是利用欧式距离公式来计算相似度。具体的，电子设备通过计算交通标志图像的特征值与支持集中小样本交通标志所对应的特征值之间的欧式距离，之后电子设备可以根据欧式距离来确定交通标志图像的特征值与小样本交通标志所对应的特征值之间的相似度，最后电子设备可以将相似度中的最大相似度所对应的小样本交通标志作为交通标志图像对应的交通类别。

举例来说，请参阅图7，图7是本申请实施例提供的一种小样本交通标志识别过程的示意图。如图7所示，电子设备可以将通过第一网络模型对交通标志图像进行目标特征提取后，得到的交通标志图像的特征值用向量q进行表示。电子设备通过第二网络模型可以根据公式1，分别与支持集中的i个类别的小样本交通标志所对应的特征值p_i，来计算与交通标志图像的特征值q之间的欧式距离d_i。其中，支持集可以为[[0.53,…,0.63]，[0.79,…,0.23]，[0.24,…,0.95]，[0.73,…,0.62]，[0.79,…,0.23]，[0.24,…,0.95]，[0.73,…,0.62]]。

公式1为：

接下来，电子设备可以根据欧式距离d_i分别来确定交通标志图像的特征值q，与i个类别的小样本交通标志所对应的特征值p_i之间的所有相似度。其中，欧式距离越小，相似度就越大。

最后，电子设备可以根据公式2将所有相似度中的最大相似度所对应的小样本交通标志作为交通标志图像对应的交通类别。

公式2为：

其中，公式2中，argmin_i(d_i)表示欧式距离d_i为最小值时的i值，也就是相似度为最大值时的i值。通过此相似度为最大值时的i值，电子设备可以确定支持集中第i个小样本交通标志所对应的类别，为电子设备输入第一网络模型的交通标志图像对应的交通类别。

请参阅图8，图8是本申请实施例提供的一种交通标志识别过程的示意图。如图8所示，电子设备首先接收采集单元输入的实时视频流。然后电子设备对视频流进行分帧处理，检测出包含交通标志的图像。电子设备再将包含交通标志的图像输入第一网络模型，通过第一网络模型输出交通标志图像的特征值和交通标志图像的识别符号(x₁，y₁，x₂，y₂，label)。然后电子设备根据交通标志图像的识别符号判断交通标志图像是否为小样本交通标志，若电子设备可以根据交通标志图像的识别符号确定交通标志图像为大样本交通标志中的任一类别，那么此交通标志图像不为小样本交通标志。反之，若电子设备无法根据交通标志图像的识别符号确定交通标志图像为大样本交通标志中的任一类别，那么电子设备可以确定此交通标志图像为小样本交通标志。随后电子设备可以将此交通标志图像通过第一网络模型生成的特征值输入第二网络模型中，通过第二网络模型将此特征值与支持集中的特征值进行相似度计算，从而输出交通标志图像对应的交通类别。最后电子设备对通过第一网络模型输出的大样本交通标志所对应的类别结果、以及通过第二网络模型输出的小样本交通标志所对应的类别结果进行汇总，得到在当前帧检测到的交通标志的类别信息。

本申请对于交通标志识别模型的训练方法可以是，电子设备根据采集到的交通标志图像对第一网络模型进行训练，得到训练后的第一网络模型，用来识别大样本交通标志图像对应的交通类别。电子设备可以使用训练后的第一网络模型从采集到的交通标志图像中区分出小样本交通标志图像。电子设备根据区分出的小样本交通标志图像对第二网络模型进行训练，得到训练后的第二网络模型和第二网络模型中的支持集。其中第二网络模型用于识别小样本交通标志图像对应的交通类别，支持集包含对每一类小样本交通标志图像进行特征提取后的特征值。

请参阅图9，图9是本申请实施例提供的一种训练第一网络模型的示意图。如图9所示，电子设备对于第一网络模型的训练方法可以是，电子设备首先对采集到的道路图像中的交通标志进行标注，得到道路图像及其交通标志的标注信息。然后电子设备将道路图像进行图像数据增强，同时对图像数据的大小进行修正，使得道路图像可以被输入第一网络模型。随后电子设备通过第一网络模型中的骨干网络对道路图像中的交通标志进行目标特征的提取，电子设备再将提取出的目标特征输入第一网络模型中的检测头，进行目标检测的训练，得到第一网络模型的参数，从而完成了对第一网络模型的训练。

请参阅图10，图10是本申请实施例提供的一种训练第二网络模型的示意图。如图10所示，在电子设备按照图9所示的方法训练完第一网络模型后，电子设备对训练后的第一网络模型进行小样本学习(few-shot learning，FSL)的调整，得到第二网络模型。然后电子设备可以使用训练后的第一网络模型从采集到的交通标志图像中区分出小样本交通标志图像。电子设备再根据区分出的小样本交通标志图像对第二网络模型进行训练，得到第二网络模型的参数，从而完成了对第二网络模型的训练。

请参阅图11，图11是本申请实施例提供的一种生成支持集的示意图。如图11所示，电子设备通过训练后的第二网络模型计算出所有小样本交通标志图像的特征值，其中特征值以向量的形式进行表示。然后电子设备可以将每一类别的小样本交通标志所对应的特征值，组建成支持集。其中，若采集到的某一类别的小样本交通标志的图像的数量只有一张，那么这一张图像的特征值就作为这一类别的小样本交通标志的特征值，被电子设备存储在支持集中。若采集到的某一类别的小样本交通标志的图像的数量大于一张，那么电子设备可以计算全部图像所对应的特征值的平均值，作为这一类别的小样本交通标志的特征值，被电子设备存储在支持集中。其中，生成的支持集可以为[[0.53,…,0.63]，[0.79,…,0.23]，[0.24,…,0.95]，[0.73,…,0.62]，[0.79,…,0.23]，[0.24,…,0.95]，[0.73,…,0.62]]。

上述详细阐述了本申请实施例的方法，下面提供本申请实施例的装置。

请参见图12，图12是本申请实施例提供的一种交通标志识别装置的功能单元组成框图，交通标志识别装置120包括：

采集单元121，用于获取采集到的视频流；

计算单元122，用于对视频流进行分帧处理，得到交通标志图像；

计算单元122，用于将交通标志图像输入第一网络模型，输出交通标志图像的特征值和交通标志图像的识别符号；

计算单元122，用于根据识别符号确定交通标志图像属于小样本交通标志；

计算单元122，用于将交通标志图像的特征值输入第二网络模型，输出交通标志图像对应的交通类别，其中，第二网络模型为根据包含小样本交通标志的样本集训练得到的。

在上述方法中，通过实时获取采集到的视频流，可以以较小的计算量对道路交通标志进行识别，得到其所对应的交通类别。通过第一网络模型来识别大样本交通标志，若第一网络模型识别不出交通标志图像的交通类别，则可以确定交通标志图像为小样本交通标志，再通过第二网络模型识别出交通标志图像对应的交通类别。也即用第一网络模型来识别大样本类的交通标志，用第二网络模型来识别小样本类的交通标志，可以提高交通标志识别的准确性、减轻模型的运算压力。

另一种可能的实施方式中，计算单元122，具体用于将交通标志图像的特征值输入第二网络模型，输出交通标志图像对应的交通类别，包括：

采集单元121，具体用于将交通标志图像的特征值输入第二网络模型；

计算单元122，具体用于通过第二网络模型将交通标志图像的特征值与支持集中的特征值进行相似度计算，输出交通标志图像对应的交通类别，其中，支持集包含对样本集中的数据进行特征提取后的特征值。

在上述方法中，将交通标志图像的特征值与训练后得到的第二网络模型中的支持集进行相似度计算，能更直观的表现待识别的交通标志图像与各个类别的小样本交通标志之间的相似程度，从而能够得到更为准确的交通类别。

又一种可能的实施方式中，计算单元122，具体用于通过第二网络模型将交通标志图像的特征值与支持集中的特征值进行相似度计算，输出交通标志图像对应的交通类别，包括：

计算单元122，具体用于计算交通标志图像的特征值与支持集中小样本交通标志所对应的特征值之间的欧式距离；

计算单元122，具体用于根据欧式距离确定交通标志图像的特征值与小样本交通标志所对应的特征值之间的相似度；

计算单元122，具体用于将相似度中的最大相似度所对应的小样本交通标志作为交通标志图像对应的交通类别。

在上述方法中，使用欧式距离来度量交通标志图像的特征值，与训练后得到的第二网络模型中的支持集所包含的各个类别的特征值之间的相似度。欧式距离越小则表示相似度越大，将相似度中的最大相似度所对应的小样本交通标志作为交通标志图像对应的交通类别，可以利用上述方法预测出可能性最大的交通类别。

又一种可能的实施方式中，计算单元122，具体用于根据识别符号确定交通标志图像属于小样本交通标志，包括：

计算单元122，具体用于通过第一网络模型得到关联值，关联值用于表明交通标志图像与大样本交通标志的相关程度；

计算单元122，具体用于在关联值小于预设值的情况下，确定交通标志图像为小样本交通标志。

在上述方法中，由于现有技术对大样本交通标志的识别度高，对小样本交通标志的识别度低。那么先采用现有技术去识别交通标志图像是否为大样本交通标志，在识别不出交通类别的情况下，就能够将交通标志图像确定为小样本交通标志，再进行后续的识别。这样可以简化运算，起到运用较少的计算就可以达到识别出交通类别的目的。

又一种可能的实施方式中，计算单元122，具体用于通过第一网络模型得到关联值之后，关联值小于预设值的情况下，确定交通标志图像为小样本交通标志之前，还包括：

计算单元122，具体用于在关联值大于预设值的情况下，确定交通标志图像为大样本交通标志。

计算单元122，具体用于将关联值中的最大关联值所对应的大样本交通标志作为交通标志图像对应的交通类别。

在上述方法中，在关联值大于预设值的情况下，将关联值中的最大关联值所对应的大样本交通标志作为交通标志图像对应的交通类别，这样由第一网络模型输出的关联值，就可以直接判断出交通标志图像是否属于大样本交通标志中的某一类别。

需要说明的是，在本申请实施例中，各个单元的具体实现及技术效果还可以对应参照图5、图6、图7、图8、图9、图10及图11对应实施例的相应描述。

请参见图13，图13是本申请实施例提供的一种车辆的结构示意图，车辆130包括：自动驾驶域控制器1301和存储器1302。自动驾驶域控制器1301及存储器1302可通过总线或其他方式连接，本申请实施例以通过总线连接为例。

其中，自动驾驶域控制器1301是车辆130的计算核心以及控制核心，其可以解析车辆130内的各类指令以及车辆130的各类数据，例如：该自动驾驶域控制器1301可为中央自动驾驶域控制器(Central Processing Unit，CPU)，可以在车辆130内部结构之间传输各类交互数据，等等。存储器1302是车辆130中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器1302既可以包括车辆130的内置存储器，当然也可以包括车辆130所支持的扩展存储器。存储器1302提供存储空间，该存储空间存储了车辆130的操作系统，该存储空间还存储了自动驾驶域控制器执行相应操作所需的程序代码或指令，可选的，该存储空间还可以存储该自动驾驶域控制器执行该相应操作后产生的相关数据。

在本申请实施例中，自动驾驶域控制器1301运行存储器1302中的可执行程序代码，用于执行如下操作：

获取采集到的视频流；

对视频流进行分帧处理，得到交通标志图像；

将交通标志图像输入第一网络模型，输出交通标志图像的特征值和交通标志图像的识别符号；

根据识别符号确定交通标志图像属于小样本交通标志；

将交通标志图像的特征值输入第二网络模型，输出交通标志图像对应的交通类别，其中，第二网络模型为根据包含小样本交通标志的样本集训练得到的。

在一种可能的实施方式中，自动驾驶域控制器1301具体用于：

将交通标志图像的特征值输入第二网络模型；

通过第二网络模型将交通标志图像的特征值与支持集中的特征值进行相似度计算，输出交通标志图像对应的交通类别，其中，支持集包含对样本集中的数据进行特征提取后的特征值。

在一种可能的实施方式中，自动驾驶域控制器1301具体用于：

计算交通标志图像的特征值与支持集中小样本交通标志所对应的特征值之间的欧式距离；

根据欧式距离确定交通标志图像的特征值与小样本交通标志所对应的特征值之间的相似度；

将相似度中的最大相似度所对应的小样本交通标志作为交通标志图像对应的交通类别。

在一种可能的实施方式中，自动驾驶域控制器1301具体用于：

通过第一网络模型得到关联值，关联值用于表明交通标志图像与大样本交通标志的相关程度；

在关联值小于预设值的情况下，确定交通标志图像为小样本交通标志。

在一种可能的实施方式中，自动驾驶域控制器1301具体用于：

在关联值大于预设值的情况下，确定交通标志图像为大样本交通标志。

将关联值中的最大关联值所对应的大样本交通标志作为交通标志图像对应的交通类别。

需要说明的是，各个操作的实现还可以对应参照图5中所示的方法实施例的相应描述。

本申请还提供了一种算机可读存储介质，计算机可读存储介质中存储有指令，当指令在至少一个处理器上运行时，实现前述的交通标志识别方法，例如图5的方法。

本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，在被车辆130执行时，实现前述的交通标志识别方法，例如图5的方法。

本申请实施例中，“举例来说”或者“比如”等词用于表示作例子、例证或说明。本申请中被描述为“举例来说”或者“比如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“举例来说”或者“比如”等词旨在以具体方式呈现相关概念。

本申请中实施例提到的“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b、或c中的至少一项(个)，可以表示：a、b、c、(a和b)、(a和c)、(b和c)、或(a和b和c)，其中a、b、c可以是单个，也可以是多个。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、同时存在A和B、单独存在B这三种情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

以及，除非有相反的说明，本申请实施例使用“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。例如，第一设备和第二设备，只是为了便于描述，而并不是表示这第一设备和第二设备的结构、重要程度等的不同，在某些实施例中，第一设备和第二设备还可以是同样的设备。

上述实施例中所用，根据上下文，术语“当……时”可以被解释为意思是“如果……”或“在……后”或“响应于确定……”或“响应于检测到……”。以上仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的构思和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种交通标志识别方法，其特征在于，所述方法包括：

获取采集到的视频流；

对所述视频流进行分帧处理，得到交通标志图像；

将所述交通标志图像输入第一网络模型，输出所述交通标志图像的特征值和所述交通标志图像的识别符号；

根据所述识别符号确定所述交通标志图像属于小样本交通标志；

将所述交通标志图像的特征值输入第二网络模型，输出所述交通标志图像对应的交通类别，其中，所述第二网络模型为根据包含所述小样本交通标志的样本集训练得到的。

2.根据权利要求1所述的方法，其特征在于，所述将所述交通标志图像的特征值输入第二网络模型，输出所述交通标志图像对应的交通类别，包括：

将所述交通标志图像的特征值输入所述第二网络模型；

通过所述第二网络模型将所述交通标志图像的特征值与支持集中的特征值进行相似度计算，输出所述交通标志图像对应的交通类别，其中，所述支持集包含对所述样本集中的数据进行特征提取后的特征值。

3.根据权利要求2所述的方法，其特征在于，所述通过第二网络模型将所述交通标志图像的特征值与支持集中的特征值进行相似度计算，输出所述交通标志图像对应的交通类别，包括：

计算所述交通标志图像的特征值与所述支持集中小样本交通标志所对应的特征值之间的欧式距离；

根据所述欧式距离确定所述交通标志图像的特征值与所述小样本交通标志所对应的特征值之间的相似度；

将所述相似度中的最大相似度所对应的小样本交通标志作为所述交通标志图像对应的交通类别。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述识别符号确定所述交通标志图像属于小样本交通标志，包括：

通过所述第一网络模型得到关联值，所述关联值用于表明所述交通标志图像与大样本交通标志的相关程度；

在所述关联值小于预设值的情况下，确定所述交通标志图像为所述小样本交通标志。

5.根据权利要求4所述的方法，其特征在于，所述通过所述第一网络模型得到关联值之后，所述关联值小于预设值的情况下，确定所述交通标志图像为所述小样本交通标志之前，还包括：

在所述关联值大于所述预设值的情况下，确定所述交通标志图像为所述大样本交通标志；

将所述关联值中的最大关联值所对应的大样本交通标志作为所述交通标志图像对应的交通类别。

6.一种交通标志识别模型的训练方法，其特征在于，所述方法包括：

根据采集到的交通标志图像对第一网络模型进行训练，得到训练后的第一网络模型，所述训练后的第一网络模型用于识别大样本交通标志图像对应的交通类别；

通过所述训练后的第一网络模型从所述交通标志图像中得到小样本交通标志图像；

根据所述小样本交通标志图像对第二网络模型进行训练，得到训练后的第二网络模型和支持集，所述第二网络模型用于识别小样本交通标志图像对应的交通类别，所述支持集包含对所述小样本交通标志图像进行特征提取后的特征值。

7.根据权利要求6所述的方法，其特征在于，所述支持集中目标类别的小样本交通标志所对应的特征值为采集到的交通标志图像的特征值，其中，所述采集到的交通标志图像的数量等于一张；或者，

所述支持集中目标类别的小样本交通标志所对应的特征值为采集到的交通标志图像的特征值的平均值，其中，所述采集到的交通标志图像的数量大于一张。

8.一种交通标志识别装置，其特征在于，所述装置包括：

采集单元，用于获取采集到的视频流；

计算单元，用于对所述视频流进行分帧处理，得到交通标志图像；

计算单元，用于将所述交通标志图像输入第一网络模型，输出所述交通标志图像的特征值和所述交通标志图像的识别符号；

计算单元，用于根据所述识别符号确定所述交通标志图像属于小样本交通标志；

计算单元，用于将所述交通标志图像的特征值输入第二网络模型，输出所述交通标志图像对应的交通类别，其中，所述第二网络模型为根据包含所述小样本交通标志的样本集训练得到的。

9.一种车辆，其特征在于，包括：自动驾驶域控制器、存储器及存储在所述存储器上并能够在所述自动驾驶域控制器上运行的计算机程序，所述计算机程序被所述自动驾驶域控制器执行时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在自动驾驶域控制器上运行时，实现如权利要求1-7任一项所述的方法。