CN111667501A - 目标跟踪方法、装置、计算设备及存储介质 - Google Patents

Abstract

本申请提出了目标跟踪方法、装置、计算设备及存储介质。其中，一种目标跟踪方法包括：确定图像帧序列中各图像帧的检测目标的检测框和各图像帧的检测目标的类别置信度；根据所述图像帧序列中检测目标的类别置信度，确定第一图像帧对应的类别置信度阈值，所述第一图像帧为所述图像帧序列中最新采集的一个图像帧；从第一图像帧的检测目标中筛选类别置信度大于所述类别置信度阈值的检测目标，得到筛选结果；基于所述筛选结果中检测目标的检测框，将所述筛选结果中检测目标与跟踪目标进行匹配操作，确定与跟踪目标匹配的检测目标。

Description

目标跟踪方法、装置、计算设备及存储介质

技术领域

本申请涉及图像技术领域，特别涉及目标跟踪方法、装置、计算设备及存储介质。

背景技术

目前，在跟踪目标的应用场景中，目标跟踪方案通常是首先进行目标检测，然后采用认为设定的一个阈值过滤目标检测结果，得到过滤结果。在此基础上，目标跟踪方案将过滤结果与跟踪目标进行匹配，以便对目标进行跟踪。目前的目标跟踪方案通常在不同应用场景和不同时间采用相同的阈值。这里阈值是指目标跟踪算法涉及的阈值参数。

然而，目标跟踪方案采用相同阈值的方式，可以导致跟踪错误。

因此，如何提高目标跟踪的准确性是需要解决的技术问题。

发明内容

本申请提出了目标跟踪方法、装置、计算设备及存储介质，能够提高目标跟踪的准确度。

根据本申请一个方面，提供一种目标跟踪方法，包括：

确定图像帧序列中各图像帧的检测目标的检测框和各图像帧的检测目标的类别置信度；

根据所述图像帧序列中检测目标的类别置信度，确定第一图像帧对应的类别置信度阈值，所述第一图像帧为所述图像帧序列中最新采集的一个图像帧；

从第一图像帧的检测目标中筛选类别置信度大于所述类别置信度阈值的检测目标，得到筛选结果；

基于所述筛选结果中检测目标的检测框，将所述筛选结果中检测目标与跟踪目标进行匹配操作，确定与跟踪目标匹配的检测目标。

在一些实施例中，所述根据所述图像帧序列中检测目标的类别置信度，确定第一图像帧对应的类别置信度阈值，包括：

确定所述图像帧序列中检测目标的类别置信度的变化趋势；

根据所述类别置信度的变化趋势，确定第一图像帧中的检测目标对应的类别置信度阈值。

在一些实施例中，所述确定所述图像帧序列中检测目标的类别置信度的变化趋势，包括：确定一个场景自适应阈值，所述场景自适应阈值用于表征所述变化趋势，所述场景自适应阈值满足：使得第一目标值的二范数最小，所述第一目标值为：第一概率与第二概率的加权和、与第一设定值之差，所述第一概率为：在所述图像帧序列的最新采集的预定数量的图像帧范围内、类别置信度不超过所述场景自适应阈值的概率，所述第二概率为：在所述图像帧序列的范围内、类别置信度不超过所述场景自适应阈值的概率；

所述根据所述类别置信度的变化趋势，确定第一图像帧中的检测目标对应的类别置信度阈值，包括：计算所述场景自适应阈值与置信度阈值常数的加权和，并将该加权和作为所述类别置信度阈值。

在一些实施例中，所述基于所述筛选结果中检测目标的检测框，将所述筛选结果中检测目标与跟踪目标进行匹配操作，确定与跟踪目标匹配的检测目标，包括：

将筛选结果中每个检测目标分别与跟踪目标集合中每个跟踪目标进行关联，得到关联对集合，每个关联对包括一个检测目标和一个跟踪目标；

基于每个关联对中检测目标的检测框，计算每个关联对中检测目标与跟踪目标的相似度；

根据图像帧序列中检测目标与相匹配的跟踪目标的相似度，确定第一图像帧中的检测目标对应的相似度阈值；

基于所述相似度阈值，过滤关联对集合，得到过滤结果，所述过滤结果中每个关联对所对应的相似度达到相似度阈值；

基于所述过滤结果，确定第一图像帧中与跟踪目标匹配的检测目标。

在一些实施例中，所述基于每个关联对中检测目标的检测框，计算每个关联对中检测目标与跟踪目标的相似度，包括：

确定每个关联对中检测目标的描述信息，所述描述信息包括：表观特征和属性信息，其中表观特征为从检测目标检测框对应的图像区域中提取的特征图，所述属性信息包括姿态、性别和朝向；

预测每个关联对中跟踪目标的运动速度，并利用运动速度确定跟踪目标的预测位置；

确定每个关联对中检测目标与跟踪目标的相似度，所述相似度根据下述中至少一种确定：表观特征相似性、属性相似性、位置交并比和形状相似性。

在一些实施例中，所述根据图像帧序列中检测目标与相匹配的跟踪目标的相似度，确定第一图像帧中的检测目标对应的相似度阈值：

确定所述图像帧序列中检测目标对应的相似度的变化趋势，所述检测目标对应的相似度为检测目标与相匹配的跟踪目标的相似度；

根据所述相似度的变化趋势，确定第一图像帧中的检测目标对应的相似度阈值。

在一些实施例中，所述确定所述图像帧序列中检测目标对应的相似度的变化趋势，包括：确定一个相似度自适应阈值，所述相似度自适应阈值用于表征所述相似度的变化趋势，所述相似度自适应阈值满足：

使得第二目标值的二范数最小，所述第二目标值为：第三概率与第四概率的加权和、与第二设定值之差，所述第三概率为：在所述图像帧序列的最新采集的预定数量的图像帧范围内、检测目标对应的相似度不超过所述相似度自适应阈值的概率，所述第四概率为：在所述图像帧序列的范围内、检测目标对应的相似度度不超过所述相似度自适应阈值的概率；

所述根据所述相似度的变化趋势，确定第一图像帧中的检测目标对应的类别置信度阈值，包括：计算所述相似度自适应阈值与相似度阈值常数的加权和，并将该加权和作为所述相似度阈值。

在一些实施例中，所述基于所述过滤结果，确定第一图像帧中与跟踪目标匹配的检测目标，包括：

按照目标置信度对跟踪目标集合中跟踪目标进行排序，得到排序结果，目标置信度表示跟踪目标存在于第一图像帧的概率；

根据所述排序结果和过滤结果，利用匈牙利匹配方式，确定与跟踪目标匹配的检测目标。

在一些实施例中，目标跟踪方法进一步包括：

在所述筛选结果中检测目标与跟踪目标集合中跟踪目标匹配失败时，预测匹配失败的跟踪目标是否存在；

在匹配失败的跟踪目标存在时，利用匹配失败的跟踪目标的预测位置更新该跟踪目标的最新位置；

将匹配失败的检测目标加入匹配失败集合中。

在一些实施例中，目标跟踪方法进一步包括：

根据与跟踪目标匹配的检测目标的描述信息，更新所述跟踪目标的描述信息；

判断匹配失败集合中同一检测目标对应的图像帧数是否达到该检测目标对应的新建帧数阈值，该检测目标对应的帧数阈值为该检测目标所属的类别对应的新建帧数阈值；

在达到该检测目标对应的新建帧数阈值时，将该检测目标作为一个新的跟踪目标；

判断匹配失败的跟踪目标的累计失败时长是否达到该跟踪目标对应的类别的时长阈值；

在匹配失败的跟踪目标累计失败时长达到所述时长阈值时，在跟踪目标集合中剔除该跟踪目标。

根据本申请一个方面，提供一种目标跟踪装置，包括：

目标检测单元，确定图像帧序列中各图像帧的检测目标的检测框和各图像帧的检测目标的类别置信度；

阈值自适应单元，根据所述图像帧序列中检测目标的类别置信度，确定第一图像帧对应的类别置信度阈值，所述第一图像帧为所述图像帧序列中最新采集的一个图像帧；其中，目标检测单元还用于：从第一图像帧的检测目标中筛选类别置信度大于所述类别置信度阈值的检测目标，得到筛选结果；

跟踪单元，基于所述筛选结果中检测目标的检测框，将所述筛选结果中检测目标与跟踪目标进行匹配操作，确定与跟踪目标匹配的检测目标，以及根据与跟踪目标匹配的检测目标的描述信息，更新所述跟踪目标的描述信息。

根据本申请一方面，提供一种计算设备，包括：存储器；处理器；程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行根据本申请的方法的指令。

根据本申请一方面，提供一种存储介质，存储有程序，所述程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据本申请的方法。

综上，根据本申请实施例的目标跟踪方案，通过根据图像帧序列中检测目标的类别置信度，确定最新采集的图像帧对应的类别置信度阈值，从而能够根据类别置信度的历史情况，自适应调整类别置信度阈值，进而提高目标跟踪的准确度。在此基础上，目标跟踪方案可以通过自适应调整类别置信度阈值，能够提高目标跟踪方案的鲁棒性。例如，目标跟踪方案可以在不同场景、不同时刻、不同天气等状况下，提高目标跟踪方案的泛化能力。

附图说明

图1示出了根据本申请一些实施例的应用场景的示意图；

图2示出了根据本申请一些实施例的目标跟踪方法200的流程图；

图3示出了根据本申请一些实施例的确定类别置信度的方法300的流程图；

图4示出了根据本申请一些实施例的匹配检测目标与跟踪目标的方法400的流程图；

图5示出了根据本申请一些实施例的确定检测目标与跟踪目标相似度的方法500的流程图；

图6示出了根据本申请一些实施例的确定相似度阈值的方法600的流程图；

图7示出了根据本申请一些实施例的确定与跟踪目标匹配的检测目标的方法700的流程图；

图8示出了根据本申请一些实施例的目标跟踪过程的示意图；

图9示出了根据本申请一些实施例的目标跟踪方法900的流程图；

图10示出了根据本申请一些实施例的目标跟踪装置1000的流程图；

图11示出了根据本申请一些实施例的计算设备的示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。

图1示出了根据本申请一些实施例的应用场景的示意图。图1示出了图像采集设备110。图像采集设备例如为摄像机等拍摄设备。图像采集设备110可以进行目标跟踪。另外，图像采集设备110也可以将采集的图像帧序列发送到计算设备120。计算设备120可以基于获取到的图像帧序列，进行目标跟踪。

图像采集设备例如可以部署在各种跟踪场景中。跟踪场景例如为人脸卡口、混行卡口(即检测行人和车辆的卡口)、治安场景(即跟踪行人的场景)等等。不同跟踪场景对应不同的场景因素。这里，场景因素例如可以包括目标类别、目标大小和目标的图像分辨率等等。另外，对于同一个应用场景，不同时间的场景因素也会发生变化。

需要说明的是，目标跟踪方案中阈值如果能够跟随时间进行调整或者根据跟踪场景进行调整，能够挺高目标跟踪准确度。因此，本申请提出了一种目标跟踪方案，能够对目标跟踪涉及的至少一部分阈值进行自适应调节，从而能够提高目标跟踪的准确度。

下面结合图2对本申请提出的目标跟踪方案进行说明。

图2示出了根据本申请一些实施例的目标跟踪方法200的流程图。方法200例如可以由图像采集设备110或者计算设备120执行。

如图2所示，在步骤S201中，确定图像帧序列中各图像帧的检测目标的检测框和各图像帧的检测目标的类别置信度。

在一些实施例中，本申请实施例可以基于图像帧和图像帧对应的真值框(即图像帧中标注的目标)，使用损失函数(包括回归、分类两个损失函数)对目标检测模型进行监督训练，直至模型收敛，从而得到经过训练的目标检测模型。步骤S201可以利用经过训练的目标检测模型，对图像帧进行目标检测，以得到图像帧中的检测目标的检测框和类别置信度。

在一些实施例中，步骤S201可以将图像帧输入检测算法模型，检测算法模型可以得到每个类别的位置矩形框。在此基础上，步骤S201可以通过两个过滤操作(即非极大值抑制以及剔除置信度小于设定阈值的位置矩形框)，得到最终的检测框，即检测目标的检测框。另外，所得到最终的检测框的类别置信度为检测目标的类别置信度。

在步骤S202中，根据图像帧序列中检测目标的类别置信度，确定第一图像帧对应的类别置信度阈值。第一图像帧为图像帧序列中最新采集的一个图像帧。

在步骤S203中，从第一图像帧的检测目标中筛选类别置信度大于类别置信度阈值的检测目标，得到筛选结果。

在步骤S204中，基于筛选结果中检测目标的检测框，将筛选结果中检测目标与跟踪目标进行匹配操作，确定与跟踪目标匹配的检测目标。这里，步骤S204可以利用筛选结果中检测目标的检测框中图像区域，与跟踪目标进行匹配操作。这样，步骤S204可以将与跟踪目标匹配的图像区域对应的检测目标，确定为与跟踪目标匹配的检测目标。

综上，方法200通过根据图像帧序列中检测目标的类别置信度，确定最新采集的图像帧对应的类别置信度阈值，从而能够根据类别置信度的历史情况，自适应调整类别置信度阈值，进而提高目标跟踪的准确度。在此基础上，目标跟踪方法200可以通过自适应调整类别置信度阈值，能够提高目标跟踪方案的鲁棒性。例如，目标跟踪方法200可以在不同场景、不同时刻、不同天气等状况下，提高目标跟踪方案的泛化能力。

在一些实施例中，步骤S202可以实施为方法300。

如图3所示，在步骤S301中，确定图像帧序列中检测目标的类别置信度的变化趋势。

在步骤S302中，根据类别置信度的变化趋势，确定第一图像帧中的检测目标对应的类别置信度阈值。这里，方法300可以采用各种确定方式确定检测目标的类别置信度的变化趋势。在一些实施例中，第一图像帧中所有检测目标可以采用同一个类别置信度阈值。换言之，针对第一图像帧中所有检测目标，步骤S302可以确定一个类别置信度阈值。在一些实施例中，步骤S302可以分别为第一图像帧中每个类别的检测目标，确定一个类别置信度阈值。

在一些实施例中，步骤S301可以确定第一图像帧对应的一个场景自适应阈值。场景自适应阈值用于表征类别置信度的变化趋势。需要说明的是，场景自适应阈值可以针对第一图像帧中所有检测目标。或者，一种类别的检测目标可以对应一个场景自适应阈值。场景自适应阈值满足：使得第一目标值的二范数最小。第一目标值为：第一概率与第二概率的加权和、与第一设定值之差。第一概率为：在图像帧序列的最新采集的预定数量的图像帧范围内、类别置信度不超过场景自适应阈值的概率。第二概率为：在图像帧序列的范围内、类别置信度不超过场景自适应阈值的概率。这里，第一设定值为：预先设定的低于场景自适应阈值的类别置信度对应的分布比例，通过启发式实验设置。

步骤S302可以计算场景自适应阈值与置信度阈值常数的加权和，并将该加权和作为类别置信度阈值。

在一些实施例中，步骤S301可以根据下述公式确定场景自适应阈值。

其中，τ_sa为场景自适应阈值，P(·)为累计分布函数，D＝N(μ,σ)为高斯分布，μ,σ分别为类别置信度的均值和标准差，

表示最近n帧的高斯分布，

截止到当前的图像帧序列的高斯分布。

为第一概率，

为第二概率。这里n值小于图像帧序列的总帧数，例如为10，但不限于此。p_d为第一设定值，通过启发式实验设置。上述公式的物理含义为：寻找合适的τ_sa，使得大部分检测框的类别置信度都大于τ_sa。换言之，上述公式可以统计该场景下不同时间区间内的检测目标类别置信度的均值和方差，并建模成不同时间区间内的高斯分布(即

和

)。在此基础上，上述公式可以根据高斯分布寻找到场景自适应阈值，以使得图像帧序列中大部分的检测目标的类别置信度达到场景自适应阈值。需要说明的是，对于最新采集的第一图像帧中一个检测目标(例如为A)而言，

可以采用过去n帧内所有检测目标的类别置信度的高斯分布，也可以采用过去n帧中与A同类别的检测目标的类别置信度的高斯分布。

步骤S302可以根据下述公式计算类别置信度阈值。

τ_t＝(1-ρ^t)τ_sa+ρ^tτ_const

τ_const为置信度阈值常数，ρ^t随时间增加将会变小，统计值τ_sa的权重会随时间增大。这样，在图像帧序列规模小时，类别置信度阈值主要取决于置信度阈值常数。随着图像帧序列逐渐增大，类别置信度阈值主要由场景自适应阈值确定。

另外说明的是，不同类别(例如人体的检测框、车的检测框、二轮车的检测框)的目标尺寸、长宽比不同。对于目标检测模型而言，模型都有自己最适配的目标尺寸比例。因而，模型输出的不同类别目标的类别置信度分布，不同类别目标的类别置信度的均值、方差都会有所不同。因而，对于不同类别，最好寻找各自最佳的类别置信度阈值。因此，不同类别的检测目标分别计算类别置信度阈值，可以避免所有类别的检测目标采用同一类别置信度阈值，从而能够避免采用同一个类别置信度阈值时该阈值超过某些类别的最大置信度，进而避免该检测目标被过滤掉的错误。这样，在不同类别的检测目标分别计算类别置信度阈值时，本申请的方法300可以避免漏检的情况出现，从而提高跟踪准确度。在一些实施例中，S204可以实施为方法400。

如图4所示，在步骤S401中，将筛选结果中每个检测目标分别与跟踪目标集合中每个跟踪目标进行关联，得到关联对集合。每个关联对包括一个检测目标和一个跟踪目标。

在步骤S402中，基于每个关联对中检测目标的检测框，计算每个关联对中检测目标与跟踪目标的相似度。

在步骤S403中，根据图像帧序列中检测目标与相匹配的跟踪目标的相似度，确定第一图像帧中的检测目标对应的相似度阈值。

在步骤S404中，基于相似度阈值，过滤关联对集合，得到过滤结果。过滤结果中每个关联对所对应的相似度达到相似度阈值。

在步骤S405中，基于过滤结果，确定第一图像帧中与跟踪目标匹配的检测目标。

在一些实施例中，步骤S402可以实施为方法500。

在步骤S501中，确定每个关联对中检测目标的描述信息。描述信息包括：表观特征和属性信息。其中，表观特征为从检测目标的检测框对应的图像区域中提取的特征图。属性信息例如可以包括姿态、性别和朝向。

在步骤S502中，预测每个关联对中跟踪目标的运动速度，并利用运动速度确定跟踪目标的预测位置。步骤S502例如可以利用卡尔曼滤波方等式预测运动速度。

在步骤S503中，确定每个关联对中检测目标与跟踪目标的相似度。相似度可以根据下述中至少一种确定：表观特征相似性、属性相似性、位置相似性和形状相似性。位置相似性为跟踪目标的预测位置与检测目标的位置之间的交并比或者欧式距离。形状相似性为检测目标的检测框与跟踪目标的检测框之间的形状相似度。

这里，一个检测目标与一个跟踪目标的相似度是一个标量值，步骤S503可以根据表观特征相似性、属性相似性、位置相似性和形状相似性的加权结果，确定一个单值，并将其作为相似度。

另外，所有检测目标和所有跟踪目标的相似度可以组成二维的相似矩阵，每一行对应一个跟踪目标(检测目标)和所有检测目标(跟踪目标)的相似度，每一列对应一个检测目标(跟踪目标)和所有跟踪目标(检测目标)的相似度。

综上，步骤S503通过综合考虑多个维度的相似性确定检测目标与跟踪目标的相似度，可以使得相似度能够更准确表征检测目标与跟踪目标的相似性，进而提高跟踪的鲁棒性和准确性。特别是，步骤S503考虑了属性相似性(即性别、姿态和朝向的相似性)，可以极大提高跟踪的鲁棒性和准确性。

在一些实施例中，步骤S403可以实施为方法600。

在步骤S601中，确定图像帧序列中检测目标对应的相似度的变化趋势。检测目标对应的相似度为检测目标与相匹配的跟踪目标的相似度。

在步骤S602中，根据相似度的变化趋势，确定第一图像帧中的检测目标对应的相似度阈值。

在一些实施例中，步骤S601可以确定一个相似度自适应阈值。

相似度自适应阈值用于表征相似度的变化趋势。相似度自适应阈值满足：使得第二目标值的二范数最小，第二目标值为：第三概率与第四概率的加权和、与第二设定值之差。第三概率为：在图像帧序列的最新采集的预定数量的图像帧范围内、检测目标对应的相似度不超过相似度自适应阈值的概率。第四概率为：在图像帧序列的范围内、检测目标对应的相似度不超过相似度自适应阈值的概率。检测目标对应的相似度是指：当检测目标与跟踪目标匹配成功时，二者之间的相似度。

例如，步骤S601可以根据下述公式确定相似度自适应阈值。

其中，τ_sa为场景自适应阈值，P(·)为累计分布函数，D＝N(μ,σ)为高斯分布，μ,σ分别为类别置信度的均值和标准差，

表示最近n帧范围内检测目标对应的相似度的高斯分布，

截止到当前的图像帧序列范围内检测目标对应的相似度的高斯分布。

为第三概率，

为第四概率。这里n值小于图像帧序列的总帧数，例如为10，但不限于此。p_d为第二设定值，通过启发式实验设置。上述公式的物理含义为：寻找合适的τ_sa，使得大部分检测目标对应的相似度都大于τ_sa。

步骤S602可以计算相似度自适应阈值与相似度阈值常数的加权和，并将该加权和作为相似度阈值。

例如，步骤S602可以根据下述公式计算相似度阈值。

τ_t＝(1-ρ^t)τ_sa+ρ^tτ_const

τ_const为相似度阈值常数，ρ^t随时间增加将会变小，统计值τ_sa的权重会随时间增大。这样，在图像帧序列规模小时，相似度阈值主要取决于相似度阈值常数。随着图像帧序列逐渐增大，相似度阈值主要由相似度自适应阈值确定。

综上，方法600通过确定相似度的变化趋势，并根据相似度的变化趋势确定相似度阈值，能够使得相似度阈值能够按照时间进行自适应调整，从而在拍摄场景随时间变化时挺高目标跟踪的准确度和目标跟踪的鲁棒性。在一些实施例中，步骤S405可以实施为方法700。

在步骤S701中，按照目标置信度对跟踪目标集合中跟踪目标进行排序，得到排序结果。其中，目标置信度用于表示跟踪目标存在于第一图像帧的概率。

在步骤S702中，根据排序结果和过滤结果，利用匈牙利匹配方式，确定与跟踪目标匹配的检测目标。

例如，步骤S701可以根据下述公式确定目标置信度：

s_trk＝max(1-log(1+α·L_trk),0)·1(L_det())

其中，L_det表示过去与该跟踪目标匹配成功的检测框个数，L_trk表示自最后一次跟踪目标与检测框匹配成功的时刻距离当前时刻(即第一图像帧的采集时刻)的时间帧数；1(·)表示括号内条件成立则为1，否则为0。α是一个超参数，根据实际场景设定。s_trk为目标置信度。

这里，目标置信度也可以称为“轨迹置信度”或“跟踪目标置信度”，一个目标置信度对应一个跟踪目标。

如果一个跟踪目标在历史时间内与检测目标匹配的次数越多，并且最后一次与检测目标匹配成功的时刻距离当前时刻越短，则该跟踪目标的轨迹置信度越大。相应的，轨迹置信度越大，则跟踪目标在当前时刻存在的概率越大(即跟踪目标出现在当前时刻对应的图像帧的概率越大)，越应该优先参与匈牙利匹配。

例如，当前时刻有两个跟踪目标A、B与同一检测目标C都具有很高且近似相等的相似度，但A的轨迹置信度更大，按照置信度排序，方法700可以可使得A与C匹配成功。但是，如果不进行排序，A、B匹配的顺序随机，则可能导致B也会与C匹配成功，则导致跟踪失败。

综上，方法700通过目标置信度对跟踪目标进行排序，从而能够使得存在于第一图像帧概率高的跟踪目标优先与检测目标进行匹配，从而能够提高匹配准确度，进而能够提高目标跟踪的准确度。

为了更形象说明方法200的跟踪过程。下面结合图8进行说明。

图8示出了目标跟踪过程的示例。如图8所示，步骤S201可以确定第一图像帧中多个检测目标，例如s1、s2、s3和s4。跟踪目标集合中包括跟踪目标v1、v2和v3。步骤S203可以对步骤S201确定的检测目标进行筛选，筛选结果包括检测目标s1、s2和s3。步骤S701对跟踪目标集合的排序结果例如为v2、v1和v3。步骤S401确定的关联对集合包括：(s1，v1)、(s1，v2)、(s1，v3)、(s2，v1)、(s2，v2)、(s2，v3)、(s3，v1)、(s3，v2)和(s3，v3)。步骤S404得到的过滤结果包括：(s1，v1)和(s3，v3)。步骤S702经过匈牙利匹配操作后，可以确定检测目标s1与跟踪目标v1匹配，检测目标s2匹配失败，检测目标s3与跟踪目标v3匹配，跟踪目标v2匹配失败。

图9示出了根据本申请一些实施例的目标跟踪方法900的流程图。

方法900包括步骤S901-S904。步骤S901-S904的实施方式与步骤S201-S204一致。

在步骤S905中，根据与跟踪目标匹配的检测目标的描述信息，更新跟踪目标的描述信息。这里，描述信息例如可以包括检测目标的位置、检测目标的表观特征、检测目标的属性信息。其中，表观特征为从检测目标的检测框对应的图像区域中提取的特征图。属性信息例如可以包括姿态、性别和朝向。在步骤S906中，在所述筛选结果中检测目标与跟踪目标集合中跟踪目标匹配失败时，预测匹配失败的跟踪目标是否存在。在一些实施例中，步骤S906可以根据目标置信度确定跟踪目标是否存在(即确定跟踪目标是否存在于拍摄范围内)。例如，步骤S906在确定目标置信度达到目标置信度阈值时，确定跟踪目标存在。否则，如果目标置信度阈值低于目标置信度阈值时，步骤S906确定跟踪目标不存在。

在步骤S907中，在匹配失败的跟踪目标存在时，利用匹配失败的跟踪目标的预测位置更新该跟踪目标的最新位置。

在步骤S908中，将匹配失败的检测目标加入匹配失败集合中。

在步骤S909中，判断匹配失败集合中同一检测目标对应的图像帧数是否达到该检测目标对应的帧数阈值，该检测目标对应的帧数阈值为该检测目标所属的类别对应的新建帧数阈值。在一些实施例中，步骤S909可以基于相似度对匹配失败集合中检测目标进行分组，属于同一组内的不同检测目标可以认为是同一个检测目标在不同图像帧中的检测框。

在步骤S909中确定达到该检测目标对应的新建帧数阈值时，方法900可以执行步骤S910,将该检测目标作为一个新的跟踪目标。例如，步骤S910可以将检测目标加入到到跟踪目标集合中。

在步骤S911中，判断匹配失败的跟踪目标的累计失败时长是否达到该跟踪目标对应的类别的时长阈值。

在步骤S911中确定匹配失败的跟踪目标累计失败时长达到所述时长阈值时，方法900可以执行步骤S912，在跟踪目标集合中剔除该跟踪目标。换言之，剔除的跟踪目标可以认为是离开拍摄范围跟踪目标，不需要继续跟踪。

综上，方法900通过步骤S906和S907，可以对匹配失败但大概率存在于拍摄范围的跟踪目标(例如处于拍摄画面内但是被临时遮挡的跟踪目标)进行位置预测，以便提高跟踪轨迹的准确度。另外，通过步骤S908-S912，方法900可以自动维护跟踪目标的新建和消除。

图10示出了根据本申请一些实施例的目标跟踪装置1000的示意图。

如图10所示，目标跟踪装置1000可以包括目标检测单元1001、跟踪单元1002和阈值自适应单元1003。

目标检测单元1001可以确定图像帧序列中各图像帧的检测目标的检测框和各图像帧的检测目标的类别置信度。

阈值自适应单元1003可以根据所述图像帧序列中检测目标的类别置信度，确定第一图像帧对应的类别置信度阈值。所述第一图像帧为所述图像帧序列中最新采集的一个图像帧。

其中，目标检测单元1001还用于从第一图像帧的检测目标中筛选类别置信度大于所述类别置信度阈值的检测目标，得到筛选结果。

跟踪单元1002可以基于所述筛选结果中检测目标的检测框，将筛选结果中检测目标与跟踪目标进行匹配操作，确定与跟踪目标匹配的检测目标。另外，跟踪单元1002可以根据与跟踪目标匹配的检测目标的描述信息，更新跟踪目标的描述信息。目标跟踪装置1000更具体的实施方式与目标跟踪方法200一致，这里不再赘述。

综上，目标跟踪装置1000通过根据图像帧序列中检测目标的类别置信度，确定最新采集的图像帧对应的类别置信度阈值，从而能够根据类别置信度的历史情况，自适应调整类别置信度阈值，进而提高目标跟踪的准确度。在此基础上，目标跟踪装置1000可以通过自适应调整类别置信度阈值，能够提高目标跟踪方案的鲁棒性。例如，目标跟踪装置1000可以在不同场景、不同时刻、不同天气等状况下，提高目标跟踪方案的泛化能力。

在一些实施例中，为了确定第一图像帧对应的类别置信度阈值，阈值自适应单元1003可以确定图像帧序列中检测目标的类别置信度的变化趋势。在此基础上，阈值自适应单元1003根据类别置信度的变化趋势，确定第一图像帧中的检测目标对应的类别置信度阈值。

例如，阈值自适应单元1003可以确定一个场景自适应阈值。场景自适应阈值用于表征变化趋势。场景自适应阈值满足：使得第一目标值的二范数最小。第一目标值为：第一概率与第二概率的加权和、与第一设定值之差。第一概率为：在所述图像帧序列的最新采集的预定数量的图像帧范围内、类别置信度不超过所述场景自适应阈值的概率。第二概率为：在所述图像帧序列的范围内、类别置信度不超过所述场景自适应阈值的概率。阈值自适应单元1003可以计算场景自适应阈值与置信度阈值常数的加权和，并将该加权和作为类别置信度阈值。

在一些实施例中，为了确定与跟踪目标匹配的检测目标，跟踪单元1002可以将筛选结果中每个检测目标分别与跟踪目标集合中每个跟踪目标进行关联，得到关联对集合。每个关联对包括一个检测目标和一个跟踪目标。然后，跟踪单元1002可以基于每个关联对中检测目标的检测框，计算每个关联对中检测目标与跟踪目标的相似度。另外，阈值自适应单元1003可以根据图像帧序列中检测目标与相匹配的跟踪目标的相似度，确定第一图像帧中的检测目标对应的相似度阈值。这样，基于相似度阈值，跟踪单元1002可以过滤关联对集合，得到过滤结果。过滤结果中每个关联对所对应的相似度达到相似度阈值。基于过滤结果，跟踪单元1002可以确定第一图像帧中与跟踪目标匹配的检测目标。

在一些实施例中，跟踪单元1002确定每个关联对中检测目标的描述信息。描述信息包括：表观特征和属性信息。其中表观特征为从检测目标的检测框对应的图像区域中提取的特征图。属性信息包括姿态、性别和朝向。跟踪单元1002可以预测每个关联对中跟踪目标的运动速度，并利用运动速度确定跟踪目标的预测位置。跟踪单元1002确定每个关联对中检测目标与跟踪目标的相似度。相似度根据下述中至少一种确定：表观特征相似性、属性相似性、位置交并比和形状相似性。

在一些实施例中，阈值自适应单元1003可以确定所述图像帧序列中检测目标对应的相似度的变化趋势。检测目标对应的相似度为检测目标与相匹配的跟踪目标的相似度。根据相似度的变化趋势，阈值自适应单元1003可以确定第一图像帧中的检测目标对应的相似度阈值。

在一些实施例中，阈值自适应单元1003可以确定一个相似度自适应阈值。相似度自适应阈值用于表征相似度的变化趋势。

相似度自适应阈值满足：使得第二目标值的二范数最小，所述第二目标值为：第三概率与第四概率的加权和、与第二设定值之差。所述第三概率为：在所述图像帧序列的最新采集的预定数量的图像帧范围内、检测目标对应的相似度不超过所述相似度自适应阈值的概率。所述第四概率为：在所述图像帧序列的范围内、检测目标对应的相似度度不超过所述相似度自适应阈值的概率。阈值自适应单元1003可以计算相似度自适应阈值与相似度阈值常数的加权和，并将该加权和作为相似度阈值。

在一些实施例中，跟踪单元1002可以按照目标置信度对跟踪目标集合中跟踪目标进行排序，得到排序结果。目标置信度表示跟踪目标存在于第一图像帧的概率。根据所述排序结果和过滤结果，跟踪单元1002可以利用匈牙利匹配方式，确定与跟踪目标匹配的检测目标。

在一些实施例中，跟踪单元1002还可以根据与跟踪目标匹配的检测目标的描述信息，更新跟踪目标的描述信息。在筛选结果中检测目标与跟踪目标集合中跟踪目标匹配失败时，跟踪单元1002预测匹配失败的跟踪目标是否存在。在匹配失败的跟踪目标存在时，跟踪单元1002利用匹配失败的跟踪目标的预测位置更新该跟踪目标的最新位置。，并将匹配失败的检测目标加入匹配失败集合中。

在一些实施例中，跟踪单元1002可以判断匹配失败集合中同一检测目标对应的图像帧数是否达到该检测目标对应的新建帧数阈值。该检测目标对应的帧数阈值为该检测目标所属的类别对应的新建帧数阈值。在达到该检测目标对应的新建帧数阈值时，跟踪单元1002可以将检测目标作为一个新的跟踪目标。另外，跟踪单元1002可以判断匹配失败的跟踪目标的累计失败时长是否达到该跟踪目标对应的类别的时长阈值。在匹配失败的跟踪目标累计失败时长达到所述时长阈值时，跟踪单元1002在跟踪目标集合中剔除该跟踪目标。

图11示出了根据本申请一些实施例的计算设备的示意图。如图11所示，该计算设备包括一个或者多个处理器(CPU)1102、通信模块1104、存储器1106、用户接口1110，以及用于互联这些组件的通信总线1108。

处理器1102可通过通信模块1104接收和发送数据以实现网络通信和/或本地通信。

用户接口1110包括一个或多个输出设备1112，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1110也包括一个或多个输入设备1114。用户接口1110例如可以接收遥控器的指令，但不限于此。

存储器1106可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。

存储器1106存储处理器1102可执行的指令集，包括：

操作系统1116，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

应用1118，包括用于实现上述目标跟踪的各种程序，例如可以包括目标跟踪装置1000。这种程序能够实现上述各实例中的处理流程。

另外，本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此本申请还公开了一种非易失性存储介质，其中存储有程序。该程序包括指令，所述指令当由处理器执行时，使得计算设备执行根据本申请的目标跟踪方法。

另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (13)

1.一种目标跟踪方法，其特征在于，包括：

确定图像帧序列中各图像帧的检测目标的检测框和各图像帧的检测目标的类别置信度；

根据所述图像帧序列中检测目标的类别置信度，确定第一图像帧对应的类别置信度阈值，所述第一图像帧为所述图像帧序列中最新采集的一个图像帧；

从第一图像帧的检测目标中筛选类别置信度大于所述类别置信度阈值的检测目标，得到筛选结果；

基于所述筛选结果中检测目标的检测框，将所述筛选结果中检测目标与跟踪目标进行匹配操作，确定与跟踪目标匹配的检测目标。

2.如权利要求1所述的目标跟踪方法，其特征在于，所述根据所述图像帧序列中检测目标的类别置信度，确定第一图像帧对应的类别置信度阈值，包括：

确定所述图像帧序列中检测目标的类别置信度的变化趋势；

根据所述类别置信度的变化趋势，确定第一图像帧中的检测目标对应的类别置信度阈值。

3.如权利要求2所述的目标跟踪方法，其特征在于，

所述确定所述图像帧序列中检测目标的类别置信度的变化趋势，包括：确定一个场景自适应阈值，所述场景自适应阈值用于表征所述变化趋势，所述场景自适应阈值满足：使得第一目标值的二范数最小，所述第一目标值为：第一概率与第二概率的加权和、与第一设定值之差，所述第一概率为：在所述图像帧序列的最新采集的预定数量的图像帧范围内、类别置信度不超过所述场景自适应阈值的概率，所述第二概率为：在所述图像帧序列的范围内、类别置信度不超过所述场景自适应阈值的概率；

所述根据所述类别置信度的变化趋势，确定第一图像帧中的检测目标对应的类别置信度阈值，包括：计算所述场景自适应阈值与置信度阈值常数的加权和，并将该加权和作为所述类别置信度阈值。

4.如权利要求1所述的目标跟踪方法，其特征在于，所述基于所述筛选结果中检测目标的检测框，将所述筛选结果中检测目标与跟踪目标进行匹配操作，确定与跟踪目标匹配的检测目标，包括：

将筛选结果中每个检测目标分别与跟踪目标集合中每个跟踪目标进行关联，得到关联对集合，每个关联对包括一个检测目标和一个跟踪目标；

基于每个关联对中检测目标的检测框，计算每个关联对中检测目标与跟踪目标的相似度；

根据图像帧序列中检测目标与相匹配的跟踪目标的相似度，确定第一图像帧中的检测目标对应的相似度阈值；

基于所述相似度阈值，过滤关联对集合，得到过滤结果，所述过滤结果中每个关联对所对应的相似度达到相似度阈值；

基于所述过滤结果，确定第一图像帧中与跟踪目标匹配的检测目标。

5.如权利要求4所述的目标跟踪方法，其特征在于，所述基于每个关联对中检测目标的检测框，计算每个关联对中检测目标与跟踪目标的相似度，包括：

确定每个关联对中检测目标的描述信息，所述描述信息包括：表观特征和属性信息，其中表观特征为从检测目标的检测框对应的图像区域中提取的特征图，所述属性信息包括姿态、性别和朝向；

预测每个关联对中跟踪目标的运动速度，并利用运动速度确定跟踪目标的预测位置；

确定每个关联对中检测目标与跟踪目标的相似度，所述相似度根据下述中至少一种确定：表观特征相似性、属性相似性、位置交并比和形状相似性。

6.如权利要求4所述的目标跟踪方法，其特征在于，所述根据图像帧序列中检测目标与相匹配的跟踪目标的相似度，确定第一图像帧中的检测目标对应的相似度阈值：

确定所述图像帧序列中检测目标对应的相似度的变化趋势，所述检测目标对应的相似度为检测目标与相匹配的跟踪目标的相似度；

根据所述相似度的变化趋势，确定第一图像帧中的检测目标对应的相似度阈值。

7.如权利要求6所述的目标跟踪方法，其特征在于，

所述确定所述图像帧序列中检测目标对应的相似度的变化趋势，包括：确定一个相似度自适应阈值，所述相似度自适应阈值用于表征所述相似度的变化趋势，所述相似度自适应阈值满足：

使得第二目标值的二范数最小，所述第二目标值为：第三概率与第四概率的加权和、与第二设定值之差，所述第三概率为：在所述图像帧序列的最新采集的预定数量的图像帧范围内、检测目标对应的相似度不超过所述相似度自适应阈值的概率，所述第四概率为：在所述图像帧序列的范围内、检测目标对应的相似度度不超过所述相似度自适应阈值的概率；

所述根据所述相似度的变化趋势，确定第一图像帧中的检测目标对应的类别置信度阈值，包括：计算所述相似度自适应阈值与相似度阈值常数的加权和，并将该加权和作为所述相似度阈值。

8.如权利要求4所述的目标跟踪方法，其特征在于，所述基于所述过滤结果，确定第一图像帧中与跟踪目标匹配的检测目标，包括：

按照目标置信度对跟踪目标集合中跟踪目标进行排序，得到排序结果，目标置信度表示跟踪目标存在于第一图像帧的概率；

根据所述排序结果和过滤结果，利用匈牙利匹配方式，确定与跟踪目标匹配的检测目标。

9.如权利要求1所述的目标跟踪方法，其特征在于，进一步包括：

根据与跟踪目标匹配的检测目标的描述信息，更新所述跟踪目标的描述信息；在所述筛选结果中检测目标与跟踪目标集合中跟踪目标匹配失败时，预测匹配失败的跟踪目标是否存在；

在匹配失败的跟踪目标存在时，利用匹配失败的跟踪目标的预测位置更新该跟踪目标的最新位置；

将匹配失败的检测目标加入匹配失败集合中。

10.如权利要求9所述的目标跟踪方法，其特征在于，进一步包括：

判断匹配失败集合中同一检测目标对应的图像帧数是否达到该检测目标对应的新建帧数阈值，该检测目标对应的帧数阈值为该检测目标所属的类别对应的新建帧数阈值；

在达到该检测目标对应的新建帧数阈值时，将该检测目标作为一个新的跟踪目标；

判断匹配失败的跟踪目标的累计失败时长是否达到该跟踪目标对应的类别的时长阈值；

在匹配失败的跟踪目标累计失败时长达到所述时长阈值时，在跟踪目标集合中剔除该跟踪目标。

11.一种目标跟踪装置，其特征在于，包括：

目标检测单元，确定图像帧序列中各图像帧的检测目标的检测框和各图像帧的检测目标的类别置信度；

阈值自适应单元，根据所述图像帧序列中检测目标的类别置信度，确定第一图像帧对应的类别置信度阈值，所述第一图像帧为所述图像帧序列中最新采集的一个图像帧；其中，目标检测单元还用于：从第一图像帧的检测目标中筛选类别置信度大于所述类别置信度阈值的检测目标，得到筛选结果；

跟踪单元，基于所述筛选结果中检测目标的检测框，将所述筛选结果中检测目标与跟踪目标进行匹配操作，确定与跟踪目标匹配的检测目标。

12.一种计算设备，其特征在于，包括：

存储器；

处理器；

程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行权利要求1-10中任一项所述目标跟踪方法的指令。

13.一种存储介质，存储有程序，所述程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1-10中任一项所述的目标跟踪方法。

Images