CN112991397A - 交通牌跟踪方法、装置、设备和存储介质 - Google Patents

Abstract

本申请涉及一种交通牌跟踪方法、装置、设备和存储介质。该方法包括：在从车辆行驶场景中连续采集图像帧时，根据当前帧中交通牌的目标轮廓参数，筛选在当前帧中的特征点；若特征点的数量小于或等于预设数量阈值，根据目标轮廓参数，在下一帧中定位交通牌的目标区域；从下一帧截取目标区域内的第一图像块，并基于一级预测模型预测交通牌在下一帧中的第一轮廓参数；根据第一轮廓参数生成外包框，根据外包框从下一帧中截取第二图像块，基于二级预测模型预测交通牌在下一帧中的目标轮廓参数。若大于预设数量阈值，根据特征点的光流，预测在下一帧中的目标轮廓参数；将下一帧作为当前帧进行迭代处理，以对交通牌进行连续跟踪。本方案能够提高准确性。

Description

交通牌跟踪方法、装置、设备和存储介质

技术领域

本申请涉及智能驾驶领域、更涉及图像处理技术领域，特别是涉及一种交通牌跟踪方法、装置、设备和存储介质。

背景技术

现如今随着科学技术的飞速发展，以及对车辆行驶安全的要求不断提高，智能驾驶技术逐渐成为主要的研究方向之一。交通牌作为固定，且高频出现在车辆行驶场景中目标，准确地检测交通牌对于智能驾驶场景来说非常重要。

在传统方法中，交通牌的检测识别只能够通过传统的目标检测算法，进行粗略的区域定位检测，因而只能检测粗略的位置信息，这显然无法满足复杂的智能驾驶场景的需求，比如，仅根据粗略的区域定位来检测交通牌，基本上难以实现对交通牌的连续跟踪，从而导致准确性低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高准确性的交通牌跟踪方法、装置、计算机设备和存储介质。

一种交通牌跟踪方法，所述方法包括：

在从车辆行驶场景中连续采集图像帧时，根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点；

若所述特征点的数量小于或等于预设数量阈值，则根据所述目标轮廓参数，在下一帧中定位所述交通牌的目标区域；

从所述下一帧截取目标区域内的第一图像块，基于一级预测模型对第一图像块进行轮廓初步预测，得到所述交通牌在所述下一帧中的第一轮廓参数；

根据所述第一轮廓参数生成相应外包框，并根据所述外包框从所述下一帧中截取第二图像块，基于二级预测模型对第二图像块进行轮廓进阶预测，得到所述交通牌在所述下一帧中的目标轮廓参数；

若所述特征点的数量大于预设数量阈值，根据特征点的光流，对所述下一帧中所述交通牌进行轮廓预测，得到所述交通牌在下一帧中的目标轮廓参数；

将所述下一帧作为当前帧，返回执行所述根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点，以继续对所述交通牌进行跟踪定位。

在其中一个实施例中，所述根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点，包括：

若所述当前帧为首帧，则通过预先训练的交通牌检测模型，检测所述首帧中的交通牌；

将检测出的所述交通牌在所述首帧中对应的图像块，输入至二级预测模型中，以预测所述交通牌在所述首帧中的目标轮廓参数；

根据所述目标轮廓参数，筛选所述交通牌在所述首帧中的特征点。

在其中一个实施例中，用于截取所述第二图像块的外包框为第二外包框；

所述根据所述目标轮廓参数，在下一帧中定位所述交通牌的目标区域，包括：

获取第一外扩倍数；第一外扩倍数，是根据帧间平移信息和外包边距确定；

确定所述目标轮廓参数在当前帧中对应的第一外包框；

按照第一外扩倍数对所述第一外包框进行外扩；

根据外扩得到的外包框，在所述下一帧中定位所述交通牌的目标区域。

在其中一个实施例中，所述根据所述外包框从所述下一帧中截取第二图像块，包括：

按照第二外扩倍数，对根据第一轮廓参数生成的外包框进行外扩，得到第二外包框；所述第二外扩倍数小于所述第一外扩倍数；

根据所述第二外包框从所述下一帧中截取第二图像块；

所述基于二级预测模型对第二图像块进行轮廓进阶预测，得到所述交通牌在所述下一帧中的目标轮廓参数，包括：

对所述第二图像块进行预处理，并将预处理后的图像块输入至二级预测模型中，输出所述交通牌在所述下一帧中的目标轮廓参数。

在其中一个实施例中，所述二级预测模型为多任务预测模型；所述二级预测模型的输出结果还包括所述交通牌的遮挡判断结果和形状分类结果；

所述根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点包括：

若所述遮挡判断结果为未遮挡状态，根据与所述形状分类结果匹配的目标轮廓参数，筛选所述交通牌在当前帧中的特征点；

所述方法还包括：

若所述遮挡判断结果为遮挡状态，对所述交通牌的遮挡状态帧数进行新增计数，直至连续累计的遮挡状态帧数达到预设遮挡阈值，结束对所述交通牌的跟踪。

在其中一个实施例中，所述方法还包括：

按照预设间隔，获取用于检测新交通牌的参照帧；

通过预先训练的交通牌检测模型，对所述参照帧中的交通牌进行检测；

确定检测的交通牌与依据参照帧的上一帧跟踪的交通牌的最大重叠度；

若所述最大重叠度小于或等于所述预设重叠阈值，则判定从所述参照帧中检测出的交通牌为新交通牌，并对所述新交通牌进行跟踪。

在其中一个实施例中，所述方法还包括：

获取样本图像块和相应的标注信息；所述标注信息，包括对所述样本图像块中的样本交通牌标注的样本轮廓参数、形状类别标签和遮挡标注；

将所述样本图像块分别进行第一分辨率变换和第二分辨率变换，得到第一样本图像块和第二样本图像块；第二样本图像块的分辨率高于第一样本图像块的分辨率；

将所述第一样本图像块和相应的标注信息作为第一训练数据，对待训练的多任务预测模型进行迭代训练，得到用于预测多任务的一级预测模型；

将所述第二样本图像块和相应的标注信息作为第二训练数据，对待训练的多任务预测模型进行迭代训练，得到用于预测多任务的二级预测模型；所述二级预测模型对轮廓参数的预测精度高于一级预测模型。

一种交通牌跟踪装置，所述装置包括：

筛选模块，用于在从车辆行驶场景中连续采集图像帧时，根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点；

区域定位模块，用于若所述特征点的数量小于或等于预设数量阈值，则根据所述目标轮廓参数，在下一帧中定位所述交通牌的目标区域；

轮廓预测模块，用于从所述下一帧截取目标区域内的第一图像块，基于一级预测模型对第一图像块进行轮廓初步预测，得到所述交通牌在所述下一帧中的第一轮廓参数；根据所述第一轮廓参数生成相应外包框，并根据所述外包框从所述下一帧中截取第二图像块，基于二级预测模型对第二图像块进行轮廓进阶预测，得到所述交通牌在所述下一帧中的目标轮廓参数；

光流跟踪模块，用于若所述特征点的数量大于预设数量阈值，根据特征点的光流，对所述下一帧中所述交通牌进行轮廓预测，得到所述交通牌在下一帧中的目标轮廓参数；

迭代模块，用于将所述下一帧作为当前帧，返回通知所述筛选模块执行所述根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点，以继续对所述交通牌进行跟踪定位。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请各实施例的交通牌跟踪方法中的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下实现本申请各实施例的交通牌跟踪方法中的步骤。

上述交通牌跟踪方法、装置、计算机设备和存储介质，在从车辆行驶场景中连续采集图像帧时，根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点。在没有足够特征点的情况下，根据当前帧的目标轮廓参数在下一帧中初步定位交通牌的目标区域后，则基于一级预测模型对下一帧中该目标区域内的第一图像块对交通牌进行初步轮廓预测，再基于初步预测的第一轮廓参数生成外包框以截取图像块输入至二级预测模型中进行进阶轮廓预测，从而，根据级联预测的方式，准确地在下一帧中跟踪预测交通牌的轮廓。在有足够特征点的情况下，通过特征点的光流进行光流跟踪预测，得到所述交通牌在下一帧中的目标轮廓参数。并将下一帧作为当前帧迭代地、连续地对交通牌进行跟踪定位。即，将神经网络模型的级联轮廓预测与光流跟踪预测相结合，实现对交通牌连续地、准确地跟踪定位，大大提高了准确性。

附图说明

图1为一个实施例中交通牌跟踪方法的流程示意图；

图2为一个实施例中光流跟踪的简示图；

图3为一个实施例中级联预测的简示图；

图4为一个实施例中交通牌被遮挡的示意图；

图5为一个实施例中标注轮廓参数的示意图；

图6为一个实施例中模型训练的原理简示图；

图7为另一个实施例中交通牌跟踪方法的流程示意图；

图8为一个实施例中在三维虚拟空间中重建虚拟交通牌的场景示意图；

图9为一个实施例中交通牌跟踪装置的结构框图；

图10为一个实施例中生成模块的结构框图；

图11为一个实施例中计算机设备的内部结构图；

图12为另一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种交通牌跟踪方法，本实施例以该方法应用于计算机设备为例进行举例说明，该计算机设备可以是终端或服务器。可以理解的是，该方法还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤102，在从车辆行驶场景中连续采集图像帧时，根据当前帧中预测的交通牌的目标轮廓参数，筛选交通牌在当前帧中的特征点。

其中，车辆行驶场景，是车辆所行驶于的场景。交通牌，也称为交通标志牌，是指包括道路交通指示信息的标志牌。

在一个实施例中，车辆行驶场景可以是自动驾驶车辆的行驶场景。在其他实施例中，车辆行驶场景也可以是由人驾驶的车辆的行驶场景，对此不作限定。

可以理解，在车辆行驶时，车辆上设置的摄像头可以连续地从车辆行驶场景中采集图像帧。计算机设备可以通过执行本申请实施例中的方法，从所采集的每帧图像中跟踪交通牌，以实现对交通牌的连续跟踪。

当前帧，是指当前起参照作用，以对下一帧中的交通牌进行跟踪定位的图像帧。即，基于当前帧中交通牌的目标轮廓参数，可以在下一帧图像中跟踪定位该交通牌。比如，若基于第t帧图像中交通牌的目标轮廓参数，跟踪定位第t+1帧中的交通牌，那么，第t帧图像即为当前帧，即在当前起参照作用，以对下一帧即t+1帧中的交通牌进行跟踪定位。

目标轮廓参数，是用于表征交通牌的轮廓的参数。需要说明的是，轮廓参数与传统的目标检测算法中进行区域定位的外包框不同。传统的外包框，仅是用特定形状的框定检测对象的目标区域，而根本不涉及检测对象的轮廓信息等细化信息，因而定位的位置不够准确，然而，本申请中的轮廓参数属于准确地参数化描述交通牌在图像中的位置及轮廓，比进行粗略的区域检测定位的外包框能够更加准确地定位交通牌。

在一个实施例中，交通牌的形状可以包括四边形、三角形、八边形、椭圆形和箭头等至少一种。四边形可以包括正方形、矩形和菱形等至少一种。三角形可以包括正三角形和倒三角形等至少一种。可以理解，交通牌还可以是任意其他规则或不规则形状，只要是具备道路交通指示信息的标志牌，皆可以属于本申请中的交通牌，而不限定形状。

在一个实施例中，目标轮廓参数可以包括用于表示交通牌轮廓的角点坐标。比如，针对四边形、三角形、八边形以及箭头等形状的交通牌，则可以使用有限个角点坐标来表示目标轮廓参数。

在一个实施例中，针对椭圆形，目标轮廓参数则可以包括长短轴（long,short）、中心点坐标（x,y）以及偏转角α∈[0,180）这5个参数。

具体地，在从车辆行驶场景中连续采集图像帧时，计算机设备可以获取从当前帧中预测的交通牌的目标轮廓参数。可以理解，交通牌可以为一个或多个，针对每个交通牌都可以执行本申请实施例中的方法来进行跟踪定位。针对当前帧中的每个交通牌，计算机设备可以根据该交通的目标轮廓参数，从目标轮廓参数所表征的目标轮廓范围内，筛选交通牌的特征点。

筛选该交通牌在当前帧中的特征点。可以理解，筛选的特征点，是指在当前帧中能够表征交通牌特征的图像特征点。

在一个实施例中，计算机设备可以采用SIFT算法（即，Scale-invariant featuretransform，尺度不变特征变换算法，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子）、fast算法（即，Features fromAccelerated Segment Test，一种特征提取算子，检测出的特征点很接近于角点）或orb算法（Oriented FAST and Rotated BRIEF，一种快速特征点提取和描述的算法）等特征提取算法，依据目标轮廓参数，从当前帧的目标轮廓范围内提取特征点。在其他实施例中，计算机设备也可以采取基于卷积神经网络模型的特征提取模型来提取特征点。

可以理解，若当前帧为首帧（即采集的第一个图像帧），计算机设备则可以对首帧进行交通牌轮廓预测，以预测出首帧中交通牌的目标轮廓参数，并基于该目标轮廓参数筛选特征点，以跟踪预测该交通牌在下一帧中的目标轮廓参数，从而实现对交通牌的跟踪。若当前帧为非首帧、且交通牌的目标轮廓参数在当前帧中已经跟踪预测出来了，那么，则可以使用当前帧中跟踪预测的该交通牌的目标轮廓参数筛选特征点，以继续跟踪预测该交通牌在下一帧中的目标轮廓参数。

步骤104，若特征点的数量小于或等于预设数量阈值，则根据目标轮廓参数，在下一帧中定位交通牌的目标区域。

可以理解，计算机设备可以将筛选的特征点与预设数量阈值进行比对，若特征点的数量大于预设数量阈值，说明有足够的特征点用来定位跟踪下一帧中该交通牌，则计算机设备可以执行步骤110。

若特征点的数量小于或等于预设数量阈值，说明特征点较少，无法根据这些少量的特征点在下一帧中准确地跟踪定位该交通牌，则计算机设备可以执行步骤104-108，即，采用级联预测的方式，对交通牌进行轮廓预测，以实现对交通牌的跟踪定位。

具体地，交通牌在不同图像帧之间，会由于帧间平移和外包边距等因素产生位置差异，所以，计算机设备可以考虑帧间平移和外包边距这些导致差异产生的因素，并基于帧间平移信息和外包边距，根据当前帧中交通牌的目标轮廓参数，在下一帧中定位交通牌的目标区域，即，在下一帧中定位交通牌的感兴趣区域（ROI，region of interest）。其中，帧间平移信息，用于表征采集的图像帧之间发生的平移。外包边距，是指不同图像帧中用于定位交通牌的外包框之间存在的边距。

在一个实施例中，计算机设备可以获取下一帧和当前帧之间的帧间平移信息和外包边距，根据帧间平移信息和外包边距，对目标轮廓参数进行调整，并基于调整后的目标轮廓参数，在下一帧中定位所述交通牌的目标区域。比如，基于调整后的目标轮廓参数，在下一帧中生成相应的用于框定该调整后的目标轮廓参数所表征目标轮廓的外包框，该外包框所标注定位的区域即为交通牌在下一帧中的目标区域。

在另一个实施例中，计算机设备可以根据当前帧中交通牌的目标轮廓参数，确定该目标轮廓参数在当前帧中对应的第一外包框，进而，根据帧间平移信息和外包边距对第一外包框进行调整，并基于调整后的外包框在下一帧中定位交通牌的目标区域。

步骤106，从下一帧截取目标区域内的第一图像块，基于一级预测模型对第一图像块进行轮廓初步预测，得到交通牌在下一帧中的第一轮廓参数。

其中，一级预测模型，是用于进行轮廓预测的第一级的神经网络模型。

需要说明的是，一级预测模型具备轮廓预测的功能，但并不仅限定于进行轮廓预测，还可以是用于进行形状分类预测、以及遮挡判断预测的多任务神经网络模型。

具体地，计算机设备可以从该下一帧中截取位于定位的目标区域内的第一图像块。可以理解，第一图像块中包括交通牌的图像内容。

在一个实施例中，计算机设备可以将第一图像块直接输入至一级预测模型中进行交通牌的轮廓初步预测，得到交通牌在下一帧中的第一轮廓参数。

在另一个实施例中，也可以对第一图像块进行预处理，并将预处理后的图像块输入至一级预测模型中进行交通牌的轮廓初步预测，得到交通牌在下一帧中的第一轮廓参数。比如，可以对第一图像块进行图像数据增强、归一化以及分辨率转换等至少一种预处理。

步骤108，根据第一轮廓参数生成相应外包框，并根据外包框从下一帧中截取第二图像块，基于二级预测模型对第二图像块进行轮廓进阶预测，得到交通牌在下一帧中的目标轮廓参数。

其中，二级预测模型，是用于进行轮廓预测的第二级的神经网络模型。二级预测模型相较于一级预测模型，轮廓参数的预测精度更高。

具体地，计算机设备可以根据一级预测模型预测的交通牌在下一帧中的第一轮廓参数，计算生成用于框定该第一轮廓参数所表针的轮廓的外包框。计算机设备可以基于第一轮廓参数生成的外包框，从该下一帧中截取第二图像块。

可以理解，基于交通牌在当前帧中的目标轮廓参数，在下一帧中定位的交通牌的目标区域，仅能用于对交通牌进行粗略的定位。通过一级预测模型对下一帧中该目标区域内的第一图像块进行轮廓预测，基于预测的第一轮廓参数生成相应外包框，相较于之前粗略定位的目标区域而言，则能够对交通牌进行更为精准的区域定位，因而，由第一轮廓参数生成的外包框所截取的第二图像块，相较于下一帧中该目标区域内的第一图像块而言，减少了与交通牌无关的干扰信息，那么，基于比一级预测模型的预测精度更高的二级预测模型，对该第二图像块进行轮廓进阶预测，能够更为准确地预测出交通牌在下一帧中的目标轮廓参数。即，基于二级预测模型和第二图像块预测出的交通牌最终的目标轮廓参数，相较于基于一级预测模型和第一图像块初步预测出的第一轮廓参数而言，精度要高一些。

可以理解，步骤106-108中，先根据一级预测模型进行轮廓初步预测，得到第一轮廓参数，再根据第一轮廓参数选取与交通牌更相关的、减少干扰信息的第二图像块，进而使用二级预测模型基于该第二图像块进行更为精准地轮廓进阶预测，相当于采用级联预测的方式，能够准确地预测出交通牌在下一帧中的目标轮廓参数。

步骤110，若特征点的数量大于预设数量阈值，根据特征点的光流，对下一帧中交通牌进行轮廓预测，得到交通牌在下一帧中的目标轮廓参数。

具体地，若特征点的数量大于预设数量阈值，则可以根据足够数量的特征点的光流，对下一帧中交通牌进行轮廓预测，得到交通牌在下一帧中的目标轮廓参数。

在一个实施例中，计算机设备可以采用LK光流方法来计算特征点的光流，也可以采取基于卷积神经网络模型的光流计算模型来计算光流。对此不作限定。

在一个实施例中，计算机设备可以根据筛选的特征点的光流，计算当前帧和下一帧之间的单应变换矩阵。其中，单应变换矩阵，用于描述特征点在当前帧与下一帧之间的位置映射变换关系。计算机设备则可以根据该单应变换矩阵，将当前帧中筛选的特征点的位置进行变换，从而预测出交通牌在下一帧中的目标轮廓参数。

在一个实施例中，计算机设备可以直接将按照单应变换矩阵对特征点的位置进行变换后得到的位置参数，作为交通牌在下一帧中的目标轮廓参数。

在另一个实施例中，计算机设备也可以将先按照单应变换矩阵进行变换，根据变换后得到的位置参数计算并生成相应的外包框，基于生成的外包框截取图像块，并通过二级预测模型对该图像块进行轮廓预测，从而预测出交通牌在下一帧中的目标轮廓参数。可以理解，计算机设备可以对基于变换后的位置参数生成的外包框进行预设倍数的外扩，比如，外扩1.2倍，然后，基于外扩后的外包框从下一帧中截取图像块。计算机设备可以直接将截取的图像块输入至二级预测模型中进行轮廓预测，也可以对截取的图像块进行数据增强、归一化、以及分辨率变换等至少一种预处理后输入至二级预测模型中进行轮廓预测。

图2为一个实施例中光流跟踪的简示图。参照图2，假设当前帧为第t帧，根据第t帧中筛选的交通牌A的特征点的光流，追踪预测特征点在第t+1帧中的位置参数，进而根据预测的位置参数生成外包框并据此截取图像块，输入至二级预测模型中进行轮廓预测。202即示意出第t+1帧中通过轮廓预测跟踪定位的交通牌A。

步骤112，将下一帧作为当前帧，返回执行根据当前帧中预测的交通牌的目标轮廓参数，筛选交通牌在当前帧中的特征点，以继续对交通牌进行跟踪定位。

可以理解，通过步骤104-108的级联预测方式，能够针对当前帧中交通牌的特征点数量较少的情况，准确预测出交通牌在下一帧中的目标轮廓参数。通过步骤110中的光流预测跟踪方式，可以针对特征点足够的情况，便捷地预测出交通牌在下一帧中的目标轮廓参数。

需要说明的是，预测出交通牌在下一帧中的目标轮廓参数，相当于对交通牌进行了轮廓维度上的、细粒度的精准跟踪定位。计算机设备可以在预测出交通牌在下一帧中的目标轮廓参数后，将下一帧作为当前帧，返回执行步骤102中的根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点，以及继续执行后续步骤104-112，以继续对交通牌进行跟踪定位，从而实现在连续的图像帧中，对交通牌进行连续跟踪定位。

上述交通牌跟踪方法，在从车辆行驶场景中连续采集图像帧时，根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点。在没有足够特征点的情况下，根据当前帧的目标轮廓参数在下一帧中初步定位交通牌的目标区域后，则基于一级预测模型对下一帧中该目标区域内的第一图像块对交通牌进行初步轮廓预测，再基于初步预测的第一轮廓参数生成外包框以截取图像块输入至二级预测模型中进行进阶轮廓预测，从而，根据级联预测的方式，准确地在下一帧中跟踪预测交通牌的轮廓。在有足够特征点的情况下，通过特征点的光流进行光流跟踪预测，得到所述交通牌在下一帧中的目标轮廓参数。并将下一帧作为当前帧迭代地、连续地对交通牌进行跟踪定位。即，将神经网络模型的级联轮廓预测与光流跟踪预测相结合，实现对交通牌连续地、准确地跟踪定位，大大提高了准确性。

在一个实施例中，步骤102中根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点，包括：若所述当前帧为首帧，则通过预先训练的交通牌检测模型，检测所述首帧中的交通牌；将检测出的所述交通牌在所述首帧中对应的图像块，输入至二级预测模型中，以预测所述交通牌在所述首帧中的目标轮廓参数；根据所述目标轮廓参数，筛选所述交通牌在所述首帧中的特征点。

其中，预先训练的交通牌检测模型，是用于检测定位交通牌在图像帧中所对应区域的机器学习模型。

具体地，若当前帧为首帧，则计算机设备可以通过预先训练的交通牌检测模型，用外包框定位检测该首帧中的交通牌。计算机设备可以将交通牌检测模型生成的该外包框按照第二外扩倍数进行外扩。计算机设备可以按照外扩后的外包框在该首帧中截取图像块，并将截取的图像块或者对该图像块进行预处理后的图像块输入至预先训练的二级预测模型中进行轮廓预测，以预测输出交通牌在所述首帧中的目标轮廓参数。进而，计算机设备可以根据二级预测模型所预测出的交通牌在首帧中的目标轮廓参数，筛选交通牌在首帧中的特征点。

在一个实施例中，二级预测模型可以是多任务预测模型，所以，除了输出预测的交通牌在首帧中的目标轮廓参数之外，还可以输出交通牌在首帧中的遮挡判断结果以及形状分类结果中的至少一种。

上述实施例中，若基于首帧对交通牌开启跟踪处理，则可以使用交通牌检测模型，检测所述首帧中的交通牌，以对交通牌进行初步检测，然后，将检测出的所述交通牌在所述首帧中对应的图像块，输入至二级预测模型中，以预测所述交通牌在所述首帧中的目标轮廓参数，实现从轮廓级别对首帧中的交通牌进行精准预测定位，进而基于预测出的目标轮廓参数，在下一帧中对交通牌进行跟踪，实现了交通牌连续跟踪及准确跟踪。

在一个实施例中，用于截取所述第二图像块的外包框为第二外包框。步骤104中所述根据所述目标轮廓参数，在下一帧中定位所述交通牌的目标区域，包括：获取第一外扩倍数；第一外扩倍数，是根据帧间平移信息和外包边距确定；确定所述目标轮廓参数在当前帧中对应的第一外包框；按照第一外扩倍数对所述第一外包框进行外扩；根据外扩得到的外包框，在所述下一帧中定位所述交通牌的目标区域。

具体地，计算机设备可以获取预先基于帧间平移信息和外包边距设定的第一外扩倍数。可以理解，第一外扩倍数是考虑到帧间平移信息和外包边距这些差异影响因素进行设定的。比如，第一外扩倍数可以是1.5倍。

计算机设备可以确定当前帧中交通牌的目标轮廓参数在当前帧中对应的第一外包框。可以理解，第一外包框，是用于在当前帧中框定该目标轮廓参数所表征轮廓的外包框。可以理解，基于轮廓参数确定的对应的外包框，相较于基于传统的目标检测算法中进行区域定位的外包框而言，框定标注的区域与交通牌更相关，具有更少的干扰信息。计算机设备可以按照第一外扩倍数对所述第一外包框进行外扩。需要说明的是，第一外扩倍数，是根据帧间平移信息和外包边距确定的，所以，按照第一外扩倍数对第一外包框进行外扩后，能够使得该当前帧的下一帧中的该交通牌位于外扩后的外包框之内。进而，计算机设备可以根据外扩得到的外包框，在下一帧中定位交通牌的目标区域。

图3为一个实施例中级联预测的简示图。假设当前帧为第t帧，如图3所示，可以分别确定第t帧中两个交通牌的目标轮廓参数在第t帧中对应的外包框，进而可以各自对应的外包框分别外扩1.5倍，进而分别基于外扩后的外包框，在第t+1帧中跟踪定位这两个交通牌各自的目标区域。302b和304b则分别为两个交通牌各自对应的目标区域。进而，可以对第t+1帧中该目标区域内的第一图像块进行级联预测，分别跟踪得到两个交通牌各自在第t+1帧中的目标轮廓参数。图3图中的302c和304c示出的是第t+1帧中跟踪定位的两个交通牌。

上述实施例中，根据当前帧中预测的目标轮廓参数生成第一外包框，相较于基于传统的目标检测算法中进行区域定位的外包框而言，能够减少干扰信息，进而结合帧间平移和外包边距这些因素，对由目标轮廓参数生成的第一外包框进行调整，以在下一帧中准确地定位交通牌的目标区域，大大提高了准确性。

在一个实施例中，步骤108中根据所述外包框从所述下一帧中截取第二图像块，包括：按照第二外扩倍数，对根据第一轮廓参数生成的外包框进行外扩，得到第二外包框；所述第二外扩倍数小于所述第一外扩倍数；根据所述第二外包框从所述下一帧中截取第二图像块。本实施例中，所述基于二级预测模型对第二图像块进行轮廓进阶预测，得到所述交通牌在所述下一帧中的目标轮廓参数，包括：对所述第二图像块进行预处理，并将预处理后的图像块输入至二级预测模型中，输出所述交通牌在所述下一帧中的目标轮廓参数。

具体地，计算机设备可以获取第二外扩倍数，并按照第二外扩倍数，对根据第一轮廓参数生成的外包框进行外扩，得到第二外包框。进而，计算机设备可以根据第二外包框从下一帧中截取第二图像块。计算机设备可以对第二图像块进行归一化预处理，并将预处理后的图像块输入至二级预测模型中进行轮廓预测，输出交通牌在下一帧中的目标轮廓参数。

其中，第二外扩倍数小于第一外扩倍数。比如，第一外扩倍数为1.5倍，则第二外扩倍数可以为1.2倍。可以理解，第二外扩倍数小于第一外扩倍数，说明第二图像块比第一图像块与交通牌更相关，去除了更多干扰信息，所以，将第二图像块输入至二级预测模型中，能够更精准地预测交通牌在下一帧中的目标轮廓参数。

在一个实施例中，所述二级预测模型为多任务预测模型；所述二级预测模型的输出结果还包括所述交通牌在所述当前帧中的遮挡判断结果和形状分类结果。本实施例中，步骤102中根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点包括：若所述遮挡判断结果为未遮挡状态，根据与所述形状分类结果匹配的目标轮廓参数，筛选所述交通牌在当前帧中的特征点。本实施例中，该方法还包括：若所述遮挡判断结果为遮挡状态，对所述交通牌的遮挡状态帧数进行新增计数，直至连续累计的遮挡状态帧数达到预设遮挡阈值，结束对所述交通牌的跟踪。

可以理解，在车辆行驶场景中拍摄的图像帧中，交通牌可能出现被遮挡的情况。图4为一个实施例中交通牌被遮挡的示意图。从图4可知，交通牌可能被各种环境因素进行遮挡。

因此，在进行模型训练时，采用的是多任务预测训练，训练出除了能够进行轮廓预测以外，还能够对交通牌进行遮挡判断以及形状分类的多任务预测的二级预测模型。因此，二级预测模型的输出结果除了包括交通牌的目标轮廓参数以外，还可以包括交通牌的遮挡判断结果和形状分类结果。

其中，遮挡判断结果，是用于判断交通牌是否被遮挡的结果。可以理解，遮挡判断结果可以包括遮挡状态或未遮挡状态。形状分类结果，是预测出的交通牌所属形状的结果。

具体地，若所述遮挡判断结果为未遮挡状态，则计算机设备可以获取与形状分类结果相匹配的目标轮廓参数，并根据该目标轮廓参数，筛选所述交通牌在当前帧中的特征点。

在一个实施例中，二级预测模型中输出结果中可以针对预设的每个形状类别分别对应输出相应的轮廓参数，计算机设备可以获取与形状分类结果所表征的形状类别对应的轮廓参数，得到与所述形状分类结果匹配的目标轮廓参数。比如，假设有正三角形，倒三角性，四边形，菱形，八边形，箭头和椭圆形等7种预设形状，二级预测模型针对每个形状都可以输出相对应的轮廓参数，假设二级预测模型预测交通牌是正三角形，则计算机设备可以从中获取所预测的与正三角形这一形状对应的轮廓参数，作为交通牌的目标轮廓参数。

可以理解，若首帧为当前帧时，则可以通过二级预测模型从首帧中预测出交通牌的目标轮廓参数、交通牌的遮挡判断结果和形状分类结果。针对非首帧的图像帧，若该图像帧为作为当前帧之前，是通过级联预测方式，由二级预测模型从中预测定位交通牌的目标轮廓参数的，那么，在通过二级预测模型从该图像帧中跟踪定位交通牌时，输出结果中也就还包括交通牌的遮挡判断结果和形状分类结果，进而，在将该图像帧作为当前帧时，则可以根据二级预测模型所输出的交通牌的遮挡判断结果和形状分类结果，进行本实施例中的处理。

为了便于理解，现举例说明，比如，第1帧为当前帧时，则可以通过预先训练的交通牌检测模型，检测所述第1帧中的交通牌；将检测出的所述交通牌在所述第1帧中对应的图像块，输入至二级预测模型中，以预测所述交通牌在所述第1帧中的目标轮廓参数、遮挡判断结果和形状分类结果，进而，若所述遮挡判断结果为未遮挡状态，根据与所述形状分类结果匹配的目标轮廓参数，筛选所述交通牌在第1帧中的特征点。针对第2帧图像帧，若该第2帧图像帧中的目标轮廓参数是通过级联预测的方式，由二级预测模型输出的，那么，二级预测模型输出的就还包括第2帧中该交通牌的遮挡判断结果和形状分类结果，那么，在将第2帧图像帧作为当前帧时，则可以根据第2帧中该交通牌的遮挡判断结果和形状分类结果，进行本实施例中的处理。

在一个实施例中，若所述遮挡判断结果为遮挡状态，对所述交通牌的遮挡状态帧数加1，直至连续累计的遮挡状态帧数达到预设遮挡阈值，结束对所述交通牌的跟踪。比如，假设预设数量阈值为3，那么，若连续累计3帧以上皆被判断为遮挡状态，则结束对该交通牌的跟踪。

上述实施例中，通过遮挡判断，可以防止在某一帧因为噪声等不利因素影响，产生遮挡误判直接导致目标连续帧轮廓提取中断的情况。此外，提出无法继续跟踪的判断策略，保证了跟踪结果的鲁棒性，为后续应用提供了更为精确的跟踪信息。

此外，提出了能够精准预测交通牌的形状、目标轮廓参数以及进行遮挡判断（即判断是否遮挡）的多任务预测模型，解决了交通牌形状多样性的问题，适用于多种形状交通牌的预测，大大提高了适用性，进而节省了成本。

在一个实施例中，该方法还包括：按照预设间隔，获取用于检测新交通牌的参照帧；通过预先训练的交通牌检测模型，对所述参照帧中的交通牌进行检测；确定检测的交通牌与依据参照帧的上一帧跟踪的交通牌的最大重叠度；若所述最大重叠度小于或等于所述预设重叠阈值，则判定从所述参照帧中检测出的交通牌为新交通牌，并对所述新交通牌进行跟踪。

其中，参照帧，是用于起参照比对作用，以检测是否存在新交通牌的图像帧。可以理解，通过将参照帧中检测的交通牌与依据上一帧跟踪的交通牌进行比对，能够检测出是否存在新交通牌。新交通牌，是在参照帧中新出现的交通牌。

具体地，计算机设备可以按照预设间隔，获取用于检测新交通牌的参照帧，使用预先训练的交通牌检测模型，对所述参照帧中的交通牌进行检测。计算机设备可以计算从参照帧中检测出的交通牌，与依据参照帧的上一帧跟踪的所有交通牌的最大重叠度（IOU，Intersection over Union）。计算机设备可以将该最大重叠度与预设重叠阈值进行比对。若所述最大重叠度小于或等于所述预设重叠阈值，则判定从所述参照帧中检测出的交通牌为新交通牌。计算机设备可以对该识别出的新交通牌进行跟踪处理。

在一个实施例中，计算机设备可以将该新交通牌在参照帧中对应的图像块输入至二级预测模型中，以预测出该新交通牌在该参照帧中的目标轮廓参数，进而将参照帧作为当前帧，并根据该目标轮廓参数，筛选交通牌在该当前帧（即参照帧中）的特征点，并通过执行步骤104-112，以对该交通牌进行连续跟踪。

可以理解，若所述最大重叠度大于所述预设重叠阈值，则判定从所述参照帧中检测出的交通牌在上一帧中已经存在。计算机设备可以继续根据该交通牌在上一帧中跟踪预测的目标轮廓参数继续进行跟踪处理。

在一个实施例中，预设间隔可以是预设时间间隔，也可以是预设帧数间隔。

可以理解，由于通过预先训练的交通牌检测模型，对所述参照帧中的交通牌进行检测属于全图范围的目标检索计算，所以一般计算量比较大，因此可以间隔一定时间（即按照预设时间间隔）选取图像帧进行交通牌检测，或者间隔一定帧数（即按照预设帧数间隔）选取图像帧进行交通牌检测，既能够发现新的交通牌继续跟踪，又能够在跟踪丢失的情况下，及时发现跟丢的交通牌，并将其作为新的交通牌继续跟踪，从而保证了交通牌跟踪的准确性。此外，按照预设间隔，在保证交通牌跟踪的准确性的情况下，节省了计算资源。

在一个实施例中，该方法还包括：获取样本图像块和相应的标注信息；所述标注信息，包括对所述样本图像块中的样本交通牌标注的样本轮廓参数、形状类别标签和遮挡标注；将所述样本图像块分别进行第一分辨率变换和第二分辨率变换，得到第一样本图像块和第二样本图像块；第二样本图像块的分辨率高于第一样本图像块的分辨率；将所述第一样本图像块和相应的标注信息作为第一训练数据，对待训练的多任务预测模型进行迭代训练，得到用于预测多任务的一级预测模型；将所述第二样本图像块和相应的标注信息作为第二训练数据，对待训练的多任务预测模型进行迭代训练，得到用于预测多任务的二级预测模型。

其中，样本图像块，是包括样本交通牌的图像块。可以理解，针对每个样本图像块中的样本交通牌，皆标注有相应的样本轮廓参数、形状类别标签和遮挡标注。

在一个实施例中，标注的形状类别可以包括正三角形，倒三角性，四边形，菱形，八边形，箭头和椭圆形这7种预设形状。标注的样本轮廓参数可以包括用于表示交通牌轮廓的角点坐标。比如，针对四边形、三角形、八边形以及箭头等形状的交通牌，则可以使用有限个角点坐标来表示目标轮廓参数。

在一个实施例中，针对椭圆形，标注的样本轮廓参数则可以包括长短轴（long,short）、中心点坐标（x,y）以及偏转角α∈[0,180）这5个参数。

在一个实施例中，计算机设备可以获取包括样本交通牌的样本图像，在样本图像中标注样本交通牌的外包框，并将外包框扩大后截取相应图像块，得到样本图像块。计算机设备可以获取在样本图像块中针对样本交通牌标注的标注信息。可以理解，针对具有遮挡的样本交通牌的样本图像块，则可以将其视为负样本（即遮挡样本），无需标注轮廓参数。针对无遮挡的样本图像块，则可以将其视为正样本（即正常的无遮挡样本），在该在样本图像块中针对样本交通牌标注相应的样本轮廓参数。本申请实施例中，带有标注信息的样本图像块即指代为无遮挡的正样本。

图5为一个实施例中标注轮廓参数的示意图。图5中示意出了针对正三角形，倒三角性，四边形，菱形，八边形，箭头和椭圆形这7种形状的交通牌的轮廓的标注方法。

具体地，计算机设备可以针对样本图像块进行第一分辨率变换，得到第一样本图像块。此外，计算机设备还可以对样本图像块进行第二分辨率变换，得到第二样本图像块。其中，第二样本图像块的分辨率高于第一样本图像块的分辨率。比如，将样本图像块变换到（48,48）的分辨率，得到第一样本图像块，将样本图像块变换到（96,96）的分辨率，得到第二样本图像块。

在一个实施例中，计算机设备可以先获取整张样本图像，计算机设备可以获取对该样本图像中标注的用于定位交通牌区域的外包框，并将该外包框扩大第一外扩倍数，以从中截取样本图像块，并获取针对样本图像块标注的相应的标注信息，即标准相应的样本轮廓参数、形状类别标签和遮挡标注。

在一个实施例中，计算机设备可以根据针对样本图像块标注的样本轮廓参数计算相应外包框，将外包框外扩第二外扩倍数，以从样本图像块中截取更小范围的图像块，并对更小范围的图像块进行第二分辨率变换，得到第二图像块。计算机设备可以基于第二图像块进行多任务预测模型训练，得到二级预测模型。可以理解，第二外扩倍数小于第一外扩倍数。即，假设第一外扩倍数为1.5倍，第二外扩倍数为1.3倍，那么原始的样本图像块即为按照标注的外包框外扩1.5倍后截取的，将根据标注的样本轮廓参数计算出的外包框外扩1.3倍截取的图像块，则就比原始的样本图像块或者第一图像块的范围要小，从而剔除一些干扰信息，进而基于第二图像块训练得到的二级预测模型的精度更高。

在一个实施例中，计算机设备可以先对样本图像块进行数据增强处理，并对增强后的样本图像块进行分辨率变换，即，对增强后的样本图像块分别进行第一分辨率变换和第二分辨率变换，得到第一样本图像块和第二样本图像块。

在一个实施例中，计算机设备可以通过水平翻转、随机旋转、随机截图、对比度增强、加高斯噪声和随机单应性(Ｈomography)变换等中的至少一种方式，对样本图像块进行数据增强处理。

计算机设备可以将所述第一样本图像块和相应的标注信息作为第一训练数据，对待训练的多任务预测模型进行迭代训练，得到用于预测多任务的一级预测模型。计算机设备可以将所述第二样本图像块和相应的标注信息作为第二训练数据，对待训练的多任务预测模型进行迭代训练，得到用于预测多任务的二级预测模型。可以理解，由于第二样本图像块相较于第一样本图像块的分辨率要高，所以，二级预测模型对轮廓参数的预测精度高于一级预测模型。

图6为一个实施例中模型训练的原理简示图。从图6可知，可以将携带标注信息的正常样本和未携带标注信息的遮挡样本（即负样本）输入至待训练的多任务预测模型进行迭代训练，可以训练得到能够同时预测交通牌的轮廓参数、是否遮挡的遮挡判断结果以及形状分类结果的多任务预测模型。

在一个实施例中，计算机设备可以对第一训练数据中的第一图像块，进行归一化处理后，输入至待训练的多任务预测模型进行迭代训练，得到用于预测多任务的一级预测模型。即得到可以用于预测轮廓参数、遮挡判断结果以及形状分类结果的一级预测模型。

在一个实施例中，可以将第一图像块除以255.0，以实现归一化处理。

在一个实施例中，计算机设备可以将归一化处理后的第一图像块和相应的标注信息输入至待训练的多任务预测模型，预测输出轮廓参数、遮挡判断结果和形状分类结果。计算机设备可以根据损失函数，确定预测轮廓参数、遮挡判断结果和形状分类结果分别与标注信息中相应的样本轮廓参数、遮挡标注和形状类别标签之间的差异，进而朝着使差异减少的方向，迭代地调整模型参数，直至迭代停止，得到一级预测模型。

在一个实施例中，由于遮挡判断以及形状分类属于分类问题，所以，计算机设备可以采用交叉熵损失函数，对遮挡判断以及形状分类进行训练。即，计算机设备可以采用交叉熵损失函数，分别确定预测的遮挡判断结果和形状分类结果、与标注信息中相应的遮挡标注和形状类别标签之间的第一差异。

在一个实施例中，计算机设备采用如下交叉熵损失函数进行训练：

其中，yi为预测的样本i的标签，c为样本i的真实标签，p(yi)为样本i标签为yi的概率。1{}为指示函数，当判断条件为真时，值为1，反之值为0。

需要说明的是，计算机设备也可以采用其他能够进行分类训练损失函数。

在一个实施例中，由于轮廓参数的预测，属于回归问题，所以，计算机设备可以将真值（即标注的样本轮廓参数）归一化为（x*/w，x*/h），其中，w和h分别为样本图像块的宽和高，x*和y*为标注的样本轮廓参数，比如，标注的角点坐标。采用Smooth L1损失函数，对遮挡判断以及形状分类进行训练。即，计算机设备可以采用Smooth L1损失函数，确定预测的轮廓参数与样本轮廓参数之间的第二差异。需要说明的是，计算机设备也可以采用其他能够进行回归训练损失函数。

在一个实施例中，计算机设备采用如下Smooth L1损失函数进行训练：

其中，L为损失函数，x为预测值，x*为真实值，当预测值接近真实值时，降低损失函数的梯度，th为相应的损失函数分段阈值。为了保证模型训练的稳定性，训练一级预测模型时th设置为0.01。

可以理解，计算机设备可以朝着使第一差异和第二差异减少的方向迭代地调整模型参数，直至迭代停止，得到一级预测模型。

同理，计算机设备也可以对第二训练数据中的第二图像块，进行归一化处理后，输入至待训练的多任务预测模型进行迭代训练，得到用于预测多任务的二级预测模型。由于二级预测模型的精度高于一级预测模型，所以，训练时可以将损失函数分段阈值th设置为0.001。

需要说明的是，一级预测模型和二级预测模型，是使用相同的多任务预测模型的结构、使用不同的训练数据，独立开来的训练得到的。即，使用不同的训练数据，分别对相同的多任务预测模型的结构进行训练，能够得到预测精度不同、但能执行相同的多个预测任务的一级预测模型和二级预测模型。可以理解，可以采用与一级预测模型相同的损失函数训练二级预测模型，对此不再赘述。

上述实施例中，训练出了能够精准预测交通牌的形状、目标轮廓参数以及进行遮挡判断（即判断是否遮挡）的多任务的级联预测模型，解决了交通牌形状多样性的问题，适用于多种形状交通牌的预测，大大提高了适用性，进而节省了成本。此外，通过训练级联预测模型，能够在后续使用该级联预测模型，提高轮廓参数预测准确性，进而实现了对交通牌的连续跟踪，大大提高了跟踪准确性。

如图7所示，在另一个实施例中，提供了一种交通牌跟踪方法，具体包括以下步骤：

步骤702，在从车辆行驶场景中连续采集图像帧时，通过预先训练的交通牌检测模型，检测第t帧图像中的交通牌。

可以理解，第t帧图像，即为任意的作为当前帧的图像。第t+1帧即为第t帧作为当前帧时的下一帧。

步骤704，将用于检测交通牌的外包框外扩，并按照外扩后的外包框在第t帧图像中截取对应的图像块。

步骤706，将第t帧图像中截取的图像块，输入至二级预测模型中以对交通牌进行多任务预测。

其中，多任务预测的输出结果中包括遮挡判断结果、形状分类结果、以及与各预设形状相对应的轮廓参数。

在一个实施例中，当第t帧图像为首帧时，执行步骤702-706。若第t帧图像为非首帧、且在该第t帧图像作为当前帧之前，已经通过级联预测方式对该第t帧图像中的交通牌进行多任务预测，则在该第t帧图像作为当前帧时，已经具有预测出的遮挡判断结果、形状分类结果、以及与各预设形状相对应的轮廓参数等多任务预测的结果，那么，则可以直接执行步骤708，而不必执行步骤702-706。比如，假设，通过级联预测方式对第3帧图像中的交通牌进行多任务预测，那么，在将第3帧作为当前帧时，已经具有多任务预测的结果，则可以直接执行步骤708，而不必执行步骤702-706这些交通牌检测及多任务预测步骤。

步骤708，根据遮挡判断结果确定交通牌是否处于遮挡状态。若否，则执行步骤710，若是，则对交通牌的遮挡状态帧数进行新增计数，并执行步骤728。

步骤710，根据多任务预测的形状分类结果，提取相匹配的目标轮廓参数。

步骤712，根据目标轮廓参数，提取交通牌的特征点。

步骤714，判断特征点的数量是否大于预设数量阈值。若是，则执行步骤716，若否，则执行步骤720。

步骤716，根据特征点的光流计算单应变换矩阵，以预测特征点在t+1帧中的位置参数。

步骤718，根据预测的位置参数计算并生成相应的外包框，基于生成的外包框截取图像块，通过二级预测模型对该图像块进行轮廓预测，得到交通牌在t+1帧中的目标轮廓参数。

步骤720，确定目标轮廓参数在当前帧中对应的第一外包框；按照第一外扩倍数对第一外包框进行外扩，根据外扩得到的外包框，在t+1帧中定位交通牌的目标区域。

步骤722，通过级联预测方式，在t+1帧中对交通牌进行多任务预测；多任务预测的输出结果中包括交通牌在t+1帧中的目标轮廓参数。

在一个实施例中，计算机设备级联预测方式可以包括以下步骤：从t+1帧截取目标区域内的第一图像块，基于一级预测模型对第一图像块进行轮廓初步预测，得到交通牌在t+1帧中的第一轮廓参数；根据第一轮廓参数生成相应的外包框，并根据外包框从t+1帧中截取第二图像块，基于二级预测模型对第二图像块进行轮廓进阶预测，得到交通牌在t+1帧中的目标轮廓参数、遮挡判断结果以及形状分类结果。

可以理解，计算机设备可以将t+1帧作为供当前跟踪预测参照的第t帧，返回执行步骤708，以在连续帧中对交通牌进行跟踪定位。

步骤724，按照预设间隔，获取第t+1帧图像作为参照帧，并从中检测交通牌。

步骤726，识别第t+1帧图像中出现的新交通牌，以对新交通牌进行跟踪，并将第t+1帧图像中检测出的交通牌，与根据预测的目标轮廓参数跟踪的相同交通牌进行合并。

可以理解，在将相同交通牌进行合并后，计算机设备可以按照预测的交通牌的目标轮廓参数继续进行跟踪。

在一个实施例中，计算机设备可以确定第t+1帧图像中检测的交通牌与根据第t帧图像（即上一帧）预测的目标轮廓参数进行跟踪的交通牌之间的最大重叠度。若最大重叠度小于或等于预设重叠阈值，则判定从参照帧中检测出的交通牌为新交通牌，并对新交通牌进行跟踪。若小于预设重叠阈值，则判定第t+1帧图像中检测出的交通牌已存在于跟踪成功的交通牌，进而可以将两帧中相同的交通牌合并，以根据预测的交通牌的目标轮廓参数继续进行跟踪。

步骤728，判断连续累计的遮挡状态帧数大于或等于遮挡阈值，若是，则结束跟踪交通牌。若否，则依据对未被遮挡的图像帧中交通牌进行多任务预测的输出结果，执行步骤710。

在一个实施例中，在连续采集的图像帧中连续跟踪预测交通牌的目标轮廓参数后，计算机设备可以结合视觉SLAM系统，根据连续跟踪预测的目标轮廓参数，在三维虚拟空间中，重建交通牌的三维空间位置和轮廓，以在三维虚拟空间中重建虚拟交通牌，从而为车辆行驶场景提供重要的参考信息，提高车辆行驶的安全性和智能行驶控制的准确性。

图8为一个实施例中在三维虚拟空间中重建虚拟交通牌的场景示意图。虚线框802中即示意出创建的虚拟交通牌。

在其他实施例中，计算机设备也可以在其他场景中使用所提取的交通牌的目标轮廓参数。比如，通过提取的目标轮廓参数，可以检验道路上的交通牌是否存在损坏等情况，从而及时补充交通牌，以降低交通事故的发生概率，提高交通安全性。

应该理解的是，虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本申请各实施例的流程图的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

如图9所示，在一个实施例中，提供一种交通牌跟踪装置，该装置包括：筛选模块902、区域定位模块904、轮廓预测模块906、光流跟踪模块908以及迭代模块910；其中：

筛选模块902，用于在从车辆行驶场景中连续采集图像帧时，根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点。

区域定位模块904，用于若所述特征点的数量小于或等于预设数量阈值，则根据所述目标轮廓参数，在下一帧中定位所述交通牌的目标区域。

轮廓预测模块906，用于从所述下一帧截取目标区域内的第一图像块，基于一级预测模型对第一图像块进行轮廓初步预测，得到所述交通牌在所述下一帧中的第一轮廓参数；根据所述第一轮廓参数生成相应外包框，并根据所述外包框从所述下一帧中截取第二图像块，基于二级预测模型对第二图像块进行轮廓进阶预测，得到所述交通牌在所述下一帧中的目标轮廓参数。

光流跟踪模块908，用于若所述特征点的数量大于预设数量阈值，根据特征点的光流，对所述下一帧中所述交通牌进行轮廓预测，得到所述交通牌在下一帧中的目标轮廓参数。

迭代模块910，用于将所述下一帧作为当前帧，返回通知所述筛选模块902执行所述根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点，以继续对所述交通牌进行跟踪定位。

在一个实施例中，所述装置还包括：

检测模块（图中未示出），用于若所述当前帧为首帧，则通过预先训练的交通牌检测模型，检测所述首帧中的交通牌；

所述轮廓预测模块906还用于将检测出的所述交通牌在所述首帧中对应的图像块，输入至二级预测模型中，以预测所述交通牌在所述首帧中的目标轮廓参数；

所述筛选模块902还用于根据所述目标轮廓参数，筛选所述交通牌在所述首帧中的特征点。

在一个实施例中，用于截取所述第二图像块的外包框为第二外包框；

区域定位模块904还用于获取第一外扩倍数；第一外扩倍数，是根据帧间平移信息和外包边距确定；确定所述目标轮廓参数在当前帧中对应的第一外包框；按照第一外扩倍数对所述第一外包框进行外扩；根据外扩得到的外包框，在所述下一帧中定位所述交通牌的目标区域。

在一个实施例中，轮廓预测模块906还用于按照第二外扩倍数，对根据第一轮廓参数生成的外包框进行外扩，得到第二外包框；所述第二外扩倍数小于所述第一外扩倍数；根据所述第二外包框从所述下一帧中截取第二图像块；对所述第二图像块进行预处理，并将预处理后的图像块输入至二级预测模型中，输出所述交通牌在所述下一帧中的目标轮廓参数。

在一个实施例中，所述二级预测模型为多任务预测模型；所述二级预测模型的输出结果还包括所述交通牌的遮挡判断结果和形状分类结果；所述筛选模块902还用于若所述遮挡判断结果为未遮挡状态，根据与所述形状分类结果匹配的目标轮廓参数，筛选所述交通牌在当前帧中的特征点；

本实施例中，所述装置还包括：

结束跟踪判断模块（图中未示出），用于若所述遮挡判断结果为遮挡状态，对所述交通牌的遮挡状态帧数进行新增计数，直至连续累计的遮挡状态帧数达到预设遮挡阈值，结束对所述交通牌的跟踪。

在一个实施例中，所述检测模块901b还用于按照预设间隔，获取用于检测新交通牌的参照帧；通过预先训练的交通牌检测模型，对所述参照帧中的交通牌进行检测；确定检测的交通牌与依据参照帧的上一帧跟踪的交通牌的最大重叠度；若所述最大重叠度小于或等于所述预设重叠阈值，则判定从所述参照帧中检测出的交通牌为新交通牌，并对所述新交通牌进行跟踪。

如图10所示，在一个实施例中，所述装置还包括：

模型训练模块901，用于获取样本图像块和相应的标注信息；所述标注信息，包括对所述样本图像块中的样本交通牌标注的样本轮廓参数、形状类别标签和遮挡标注；将所述样本图像块分别进行第一分辨率变换和第二分辨率变换，得到第一样本图像块和第二样本图像块；第二样本图像块的分辨率高于第一样本图像块的分辨率；将所述第一样本图像块和相应的标注信息作为第一训练数据，对待训练的多任务预测模型进行迭代训练，得到用于预测多任务的一级预测模型；将所述第二样本图像块和相应的标注信息作为第二训练数据，对待训练的多任务预测模型进行迭代训练，得到用于预测多任务的二级预测模型；所述二级预测模型对轮廓参数的预测精度高于一级预测模型。

关于交通牌跟踪装置的具体限定可以参见上文中对于交通牌跟踪方法的限定，在此不再赘述。上述交通牌跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是作为区块链节点的服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种交通牌跟踪方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是作为区块链节点的终端，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种交通牌跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11或12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种交通牌跟踪方法，其特征在于，所述方法包括：

在从车辆行驶场景中连续采集图像帧时，根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点；

若所述特征点的数量小于或等于预设数量阈值，则根据所述目标轮廓参数，在下一帧中定位所述交通牌的目标区域；

从所述下一帧截取目标区域内的第一图像块，基于一级预测模型对第一图像块进行轮廓初步预测，得到所述交通牌在所述下一帧中的第一轮廓参数；

根据所述第一轮廓参数生成相应外包框，并根据所述外包框从所述下一帧中截取第二图像块，基于二级预测模型对第二图像块进行轮廓进阶预测，得到所述交通牌在所述下一帧中的目标轮廓参数；

若所述特征点的数量大于预设数量阈值，根据特征点的光流，对所述下一帧中所述交通牌进行轮廓预测，得到所述交通牌在下一帧中的目标轮廓参数；

将所述下一帧作为当前帧，返回执行所述根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点，以继续对所述交通牌进行跟踪定位。

2.根据权利要求1所述的方法，其特征在于，所述根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点，包括：

若所述当前帧为首帧，则通过预先训练的交通牌检测模型，检测所述首帧中的交通牌；

将检测出的所述交通牌在所述首帧中对应的图像块，输入至二级预测模型中，以预测所述交通牌在所述首帧中的目标轮廓参数；

根据所述目标轮廓参数，筛选所述交通牌在所述首帧中的特征点。

3.根据权利要求1所述的方法，其特征在于，用于截取所述第二图像块的外包框为第二外包框；

所述根据所述目标轮廓参数，在下一帧中定位所述交通牌的目标区域，包括：

获取第一外扩倍数；第一外扩倍数，是根据帧间平移信息和外包边距确定；

确定所述目标轮廓参数在当前帧中对应的第一外包框；

按照第一外扩倍数对所述第一外包框进行外扩；

根据外扩得到的外包框，在所述下一帧中定位所述交通牌的目标区域。

4.根据权利要求3所述的方法，其特征在于，所述根据所述外包框从所述下一帧中截取第二图像块，包括：

按照第二外扩倍数，对根据第一轮廓参数生成的外包框进行外扩，得到第二外包框；所述第二外扩倍数小于所述第一外扩倍数；

根据所述第二外包框从所述下一帧中截取第二图像块；

所述基于二级预测模型对第二图像块进行轮廓进阶预测，得到所述交通牌在所述下一帧中的目标轮廓参数，包括：

对所述第二图像块进行预处理，并将预处理后的图像块输入至二级预测模型中，输出所述交通牌在所述下一帧中的目标轮廓参数。

5.根据权利要求1所述的方法，其特征在于，所述二级预测模型为多任务预测模型；所述二级预测模型的输出结果还包括所述交通牌的遮挡判断结果和形状分类结果；

所述根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点包括：

若所述遮挡判断结果为未遮挡状态，根据与所述形状分类结果匹配的目标轮廓参数，筛选所述交通牌在当前帧中的特征点；

所述方法还包括：

若所述遮挡判断结果为遮挡状态，对所述交通牌的遮挡状态帧数进行新增计数，直至连续累计的遮挡状态帧数达到预设遮挡阈值，结束对所述交通牌的跟踪。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

按照预设间隔，获取用于检测新交通牌的参照帧；

通过预先训练的交通牌检测模型，对所述参照帧中的交通牌进行检测；

确定检测的交通牌与依据参照帧的上一帧跟踪的交通牌的最大重叠度；

若所述最大重叠度小于或等于所述预设重叠阈值，则判定从所述参照帧中检测出的交通牌为新交通牌，并对所述新交通牌进行跟踪。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

获取样本图像块和相应的标注信息；所述标注信息，包括对所述样本图像块中的样本交通牌标注的样本轮廓参数、形状类别标签和遮挡标注；

将所述样本图像块分别进行第一分辨率变换和第二分辨率变换，得到第一样本图像块和第二样本图像块；第二样本图像块的分辨率高于第一样本图像块的分辨率；

将所述第一样本图像块和相应的标注信息作为第一训练数据，对待训练的多任务预测模型进行迭代训练，得到用于预测多任务的一级预测模型；

将所述第二样本图像块和相应的标注信息作为第二训练数据，对待训练的多任务预测模型进行迭代训练，得到用于预测多任务的二级预测模型；所述二级预测模型对轮廓参数的预测精度高于一级预测模型。

8.一种交通牌跟踪装置，其特征在于，所述装置包括：

筛选模块，用于在从车辆行驶场景中连续采集图像帧时，根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点；

区域定位模块，用于若所述特征点的数量小于或等于预设数量阈值，则根据所述目标轮廓参数，在下一帧中定位所述交通牌的目标区域；

轮廓预测模块，用于从所述下一帧截取目标区域内的第一图像块，基于一级预测模型对第一图像块进行轮廓初步预测，得到所述交通牌在所述下一帧中的第一轮廓参数；根据所述第一轮廓参数生成相应外包框，并根据所述外包框从所述下一帧中截取第二图像块，基于二级预测模型对第二图像块进行轮廓进阶预测，得到所述交通牌在所述下一帧中的目标轮廓参数；

光流跟踪模块，用于若所述特征点的数量大于预设数量阈值，根据特征点的光流，对所述下一帧中所述交通牌进行轮廓预测，得到所述交通牌在下一帧中的目标轮廓参数；

迭代模块，用于将所述下一帧作为当前帧，返回通知所述筛选模块执行所述根据当前帧中预测的交通牌的目标轮廓参数，筛选所述交通牌在所述当前帧中的特征点，以继续对所述交通牌进行跟踪定位。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images