CN112581507A - 目标跟踪方法、系统及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种目标跟踪方法、系统及计算机可读存储介质。该方法包括：在使用第一跟踪器对处于第一状态的目标进行跟踪的过程中，在第一检测帧进行目标检测；如果在第一检测帧内检测到目标，保持目标的跟踪状态为第一状态；如果在第一检测帧内未检测到目标，将目标的跟踪状态从第一状态转换为第二状态；在第一检测帧的下一跟踪帧，选取与目标的跟踪状态对应的跟踪器继续跟踪目标，其中第一状态对应第一跟踪器，第二状态对应第二跟踪器。本申请为被跟踪的目标设置不同的跟踪状态，并根据跟踪状态的不同选取不同的跟踪器对其进行跟踪，能够提高跟踪的灵活性，改善跟踪效果。

Description

目标跟踪方法、系统及计算机可读存储介质

技术领域

本申请涉及计算机视觉领域，并且更具体地，涉及一种目标跟踪方法、系统及计算机可读存储介质。

背景技术

目标跟踪是计算机视觉领域的重要研究方向。目标跟踪在视频监控、人机交互、无人驾驶等领域都有广泛的应用。

现有技术始终使用一种类型的跟踪器对同一目标进行跟踪，而无法根据实际情况灵活调整，跟踪效果差。

发明内容

本申请提供了一种目标跟踪方法、系统、计算机可读存储介质及计算机程序产品，以改善目标的跟踪效果。

第一方面，提供了一种目标跟踪方法，包括：在使用第一跟踪器对处于第一状态的目标进行跟踪的过程中，在第一检测帧进行目标检测；如果在第一检测帧内检测到目标，保持目标的跟踪状态为第一状态；如果在第一检测帧内未检测到目标，将目标的跟踪状态从第一状态转换为第二状态；在第一检测帧的下一跟踪帧，选取与目标的跟踪状态对应的跟踪器继续跟踪目标，其中第一状态对应第一跟踪器，第二状态对应第二跟踪器。

在一个实施例中，如果检测到目标位于第一检测帧的边缘，且目标朝第一检测帧的边缘外侧移动，将目标的跟踪状态从第一状态转换成第三状态，第三状态用于指示目标即将离开包含目标的图像帧对应的场景。

在一个实施例中，如果目标的跟踪状态为第三状态，且在第一检测帧的下一检测帧未检测到目标，停止对目标进行跟踪，并输出目标的跟踪结果。

在一个实施例中，如果目标的跟踪状态转换为第二状态，记录目标的跟踪状态为第二状态的时长；当时长大于第一阈值时，停止对目标进行跟踪，并输出目标的跟踪结果。

在一个实施例中，在第一检测帧进行目标检测之前，在第二检测帧进行目标检测，其中目标为第二检测帧新检测到的目标；将目标的跟踪状态设置为第四状态，第四状态用于指示目标为检测到的新目标；对处于第四状态的目标的图像质量进行检测；当目标的图像质量小于第二阈值时，不对目标进行跟踪；当目标的图像质量大于第二阈值时，将目标的跟踪状态从第四状态转换为第一状态，并使用第一跟踪器对目标进行跟踪。

在一个实施例中，在跟踪目标的过程中，维护目标的跟踪信息，跟踪信息包括：目标的跟踪状态，目标在图像帧中的位置以及目标的跟踪过程中的质量最高的目标图像的图像信息；目标图像的图像信息包括以下信息中的至少一种：目标图像的质量，目标图像在目标图像所属的图像帧中的空间位置，以及目标图像在视频序列中的时间位置。

在一个实施例中，目标为特定类型的目标，第一跟踪器为针对特定类型的目标的跟踪器，第二跟踪器为针对非特定类型的目标的跟踪器。

在一个实施例中，第一跟踪器为基于深度学习模型的跟踪器，第二跟踪器为核相关滤波器跟踪器。

第二方面，提供了一种目标跟踪系统，包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现第一方面所述方法的步骤。

第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时第一方面所述方法的步骤。

第四方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述方法的步骤。

本申请为被跟踪的目标设置不同的跟踪状态，并根据跟踪状态的不同选取不同的跟踪器对其进行跟踪，能够提高跟踪的灵活性，改善跟踪效果。

附图说明

图1为本申请实施例提供的目标跟踪方法的示意性流程图。

图2是本申请实施例提供的一个视频序列示意图。

图3是本申请实施例提供的一个跟踪帧的示意图。

图4是本申请实施例提供的第一检测帧的一例示意图。

图5是本申请实施例提供的另一个跟踪帧的示意图。

图6是本申请实施例提供的跟踪过程中生成的神经网络热图。

图7是本申请实施例提供的第一检测帧的另一例示意图。

图8是本申请实施例提供的第二检测帧的示意图。

图9是本申请实施例提供的目标跟踪的系统的一个示意框图。

具体实施方式

目标跟踪是计算机视觉领域的重要研究方向。目标跟踪通过对图像帧进行处理分析，获取目标在每帧图像上的位置。目标跟踪在视频监控、人机交互、无人驾驶等领域都有广泛的应用。

例如，在目标跟踪过程中，可以框取图像帧中的跟踪目标，得到目标的跟踪框(tracked bounding box)。跟踪框的位置、跟踪框内的图像等信息均可反映目标在当前图像帧的跟踪情况。跟踪框在跟踪过程中可能会不断地变化，因此需要维护目标的跟踪信息(或称跟踪序列)。跟踪过程可以维护被跟踪的目标的跟踪信息，该跟踪信息可以包括目标在各个图像帧中的图像、位置、质量等信息。对某个目标的跟踪结束后，一般会从该目标的跟踪信息中选取一张质量较好的图像进行输出。

本申请对被跟踪的目标的类型不做具体限定，例如可以是人脸、人体、车辆或动物等。

目标一般是通过某种跟踪器(或跟踪算法)进行跟踪的。例如，跟踪器可以是针对特定类型的目标的跟踪器(generic object tracker)，也可以是针对非特定类型的目标的跟踪器(non-generic object tracker)等。或者，跟踪器可以是基于深度学习模型的跟踪器，也可以是核相关滤波器(kernel correlation filter，KCF)跟踪器。不同的跟踪器的跟踪原理不同，这就使得不同跟踪器在不同情况下的跟踪效果不同。

例如，基于特定类型的目标的跟踪器通常对被跟踪的目标的图像质量要求比较高，否则很容易跟丢目标。基于非特定类型的目标的跟踪器一般基于图像内容进行跟踪，即使目标的图像质量低一些，也可以对其进行持续跟踪。因此，当目标的图像质量不佳、目标姿态怪异或者目标被遮挡，无法检测到目标，或者检测到的目标质量不符合要求时，可以使用非特定类型的目标跟踪器对其进行跟踪；当目标的图像质量恢复时，可以使用特定类型的目标跟踪器对其进行跟踪。

又如，基于深度学习模型的跟踪器对目标的图像中的特征要求比较高，如果图像特征较少，则很容易出现跟丢目标的问题。KCF跟踪器对目标的特征要求较低，此时，可以转而利用KCF跟踪器对其进行跟踪。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。

图1为本申请实施例提供的一种目标跟踪方法的示意性流程图。该方法包括步骤S110至步骤S130，下面分别对这些步骤进行描述。

步骤S110，在使用第一跟踪器对处于第一状态的目标进行跟踪的过程中，在第一检测帧进行目标检测。

例如，第一状态可以用“TRACK”表示。

例如，在跟踪帧，利用第一跟踪器对目标进行跟踪，在该跟踪帧之后的第一检测帧，利用检测器(或检测算法)对该目标进行检测。检测器可以是基于深度学习模型的检测器，也可以是其他种类的检测器。

跟踪帧和检测帧之间的间隔可以根据实际需要设置，本申请对此不作限定。可以理解的是，由于进行目标检测的算法比目标跟踪的算法复杂，耗时长，因此，可以设置跟踪帧的数量远大于检测帧的数量，例如，跟踪帧的数量是检测帧的若干倍(5-20等)，例如为10倍。另一方面，为了确保跟踪帧进行跟踪的准确性，可以在每连续若干个跟踪帧之后设置一个或几个检测帧。可选地，可以在每一个检测帧之后为连续的若干个跟踪帧(可以称作跟踪帧序列)，也就是说，两个相邻的检测帧之间都为跟踪帧，且该间隔可以是均匀的。

例如，可以每隔10个图像帧设置一个检测帧，其余图像帧可以设置为跟踪帧。如图2所示包含图像帧的一段视频序列，灰色的图像帧为检测帧，例如第30帧、第40帧可以是检测帧，其余图像帧可以为跟踪帧，例如第29帧、第31-39帧、第41-44帧均可以是跟踪帧，其中，连续的多个跟踪帧可以被称为跟踪帧序列，例如，第31-39帧可以为一个跟踪帧序列。

步骤S110可以包括：在第一跟踪帧序列使用第一跟踪器对目标进行跟踪，并在第一跟踪帧序列之后的第一检测帧进行目标检测，并且第一检测帧与第一跟踪帧序列相邻，即是第一跟踪帧序列之后的第一个检测帧。结合图2，第一跟踪帧序列可以是第21-第29帧，第一检测帧可以是第30帧。

接下来，根据图2所示的视频序列，结合图3和图4，以第一跟踪器对处于第一状态的目标进行跟踪为例对第一跟踪器的跟踪和检测过程进行举例说明。

图3所示为跟踪帧，例如可以是图2中第29帧。在第29帧中，使用第一跟踪器跟踪ID为face0的人脸，face0处于TRACK状态，在图3中使用浅灰色框0标记出。

图4所示为第一检测帧，例如可以是图2中第30帧。在第30帧中，face0未被检出(为更加直观地表示，face0在图4中使用深灰色框0标记出)。

S121，如果在第一检测帧内检测到所述目标，保持目标的跟踪状态为第一状态。

S122，如果在第一检测帧内未检测到所述目标，将目标的跟踪状态从第一状态转换为第二状态。

S130，在第一检测帧的下一跟踪帧，选取与目标的跟踪状态对应的跟踪器继续跟踪所述目标，其中所述第一状态对应第一跟踪器，所述第二状态对应第二跟踪器。也就是说，在下一跟踪帧，如果目标的跟踪状态为第一状态，则使用第一跟踪器跟踪，如果目标的跟踪状态为第二状态，则使用第二跟踪器跟踪。

可以理解，其中的下一跟踪帧可以是与第一检测帧紧邻的跟踪帧，如图2中第31帧跟踪帧为第30帧检测帧的下一跟踪帧。下一跟踪帧也可以为第一检测帧紧邻的跟踪序列中的任意帧，如图2中第30帧的下一跟踪帧可以是第31帧-第39帧中的任意一帧，例如可以是第32帧、第36帧或第39帧。

具体的，在任一跟踪帧(当前帧)，可以根据当前的跟踪状态来决定采用何种跟踪器进行跟踪：如果当前的跟踪状态是第一状态，则使用第一跟踪器进行跟踪；如果当前的跟踪状态是第二状态，则使用第二跟踪器进行跟踪。另一方面，当前的跟踪状态还可以用于指示在当前帧之前的最邻近检测帧的检测结果，其中当前的跟踪状态是第一状态表示在当前帧之前的最邻近检测帧中检测到了该目标，相反，当前的跟踪状态是第二状态表示在当前帧之前的最邻近检测帧中未检测到该目标。

步骤S121可以包括：如果在第一检测帧内检测到的包括该目标，则保持目标的跟踪状态为第一状态。

可选地，如果在第一检测帧内检测到所述目标，且不满足“该目标位于第一检测帧的边缘，该目标的移动速度朝向该边缘”，则保持跟踪状态为第一状态。相反，如果在第一检测帧内检测到所述目标，且该目标位于第一检测帧的边缘，该目标的移动速度朝向该边缘，则将状态更新为第三状态，如下面结合图7部分所述。

可以理解的是，当目标的跟踪状态为第一状态时，第一检测帧之后的第二跟踪帧序列使用第一跟踪器的过程类似于上述S110中在第一跟踪帧序列使用第一跟踪器的过程，这里不再重复描述。

类似地，步骤S122可以包括：如果在第一检测帧内未检测到任何目标或者在第一检测帧检测到的不包括该目标，则将目标的跟踪状态从第一状态转换为第二状态。

可以理解，当目标的跟踪状态为第二状态时，在第一检测帧之后的第二跟踪帧序列使用第二跟踪器对该目标进行跟踪。其中，第二跟踪帧序列可以是第一检测帧之后并与之相邻的跟踪帧。结合图2，第一检测帧可以是第30帧，第二跟踪帧序列可以是第31-第39帧。

其中，在第一检测帧内检测目标，可以是在第一检测帧的边框范围内对目标进行检测。例如，检测到的目标可以在检测帧靠近中心的部分，也可以在检测帧靠近边缘的部分。或者，检测到的目标可以全部或部分处于第一检测帧覆盖的区域。

例如，第二状态可以用“PENDING”表示。

可选地，由于未检测到目标，因此，第二跟踪器可以基于第一检测帧的上一跟踪帧的跟踪框进行跟踪。例如，结合图2-图5，若第30帧未检测到目标face0，第31-第39帧可基于第29帧的跟踪框(图3中浅灰色框0)使用第二跟踪器继续跟踪。

接下来继续结合图2-图5所示的实施例，进行详细说明。

由上文可知，在图4所示的第30帧中face0未检测出，因此可以进行图1中步骤S122，将face0的跟踪状态从TRACK转换为PENDING。

图5为第30帧后的下一跟踪帧，例如可以是第31帧-第39帧中任一帧，例如为第39帧。由于face0的跟踪状态为PENDING，因此，在第39帧可以使用第二跟踪器对face0进行跟踪。

可以理解，如果在第30帧中face0检测出，则可以进行图1中步骤S121，保持face0的跟踪状态为TRACK。在第39帧，如果face0的跟踪状态为TRACK，可以使用第一跟踪器对目标进行跟踪。

其中，第一跟踪器可以为受目标检测结果影响较大的跟踪器，例如针对特定类型的跟踪器。针对特定类型的目标的跟踪器通常通过检测得到图像帧中该特定类型的目标，再对这些特定类型的目标进行跟踪。例如，针对人脸的跟踪器，可以对图像帧中的人脸进行跟踪，对于未被检测为人脸的对象，该跟踪器通常不会对其进行跟踪。针对特定类型的目标的跟踪器例如可以是基于深度学习模型的跟踪器，也可以是其他种类的跟踪器。

第二跟踪器可以为受目标检测结果影响较小或不受目标检测结果影响的跟踪器，例如针对非特定类型的跟踪器。针对非特定类型的目标的跟踪器并不局限于跟踪特定类型的目标，而是可以对多种类型的目标进行跟踪。例如，针对非特定类型的目标的跟踪器既可以对人脸进行跟踪，也可以对车辆进行跟踪。在一些实施例中，针对非特定类型的目标的跟踪器可以基于待跟踪的内容，在跟踪帧中寻找与该内容相似度较高的内容，而无需理解该内容具体是什么。针对非特定类型的目标的跟踪器例如可以是KCF跟踪器，也可以是其他类型的跟踪器。

例如，第一跟踪器还可以为CPU上的跟踪算法，也可以为神经网络处理芯片上的跟踪算法。当第一跟踪器为神经网络处理芯片上的跟踪算法，可以减少目标跟踪对CPU的资源限制。

或者，第二跟踪器还可以为CPU上的跟踪算法。本申请一实施例使用一种快速通用的KCF跟踪器作为第二跟踪器，可部署在终端设备的CPU上。这种专门的KCF跟踪器在HISI-CPU上跟踪一个目标只需要0.4ms。

可以理解，第一跟踪器和第二跟踪器是不同的跟踪器，此处的不同可以是跟踪器的种类、参数、模型结构、跟踪器运行的硬件等不同。

当无法检测到目标时，由于第一跟踪器受检测结果影响较大，如果继续使用第一跟踪器跟踪，跟踪框可能出现任意跳转等异常现象，从而导致难以继续跟踪。针对这种无法检测的情况，本申请不立即结束跟踪并输出跟踪结果(可以输出目标的图像，例如可以是目标的跟踪信息中的质量最好的图像)，而是使用受检测结果影响较小的第二跟踪器继续跟踪。通过使用第二跟踪器进行辅助跟踪，建立了与之后可能重新检测到该目标的联系。一方面，本申请通过设置跟踪状态，并根据是否检测到目标转换跟踪状态，从而可以根据目标的状态选择不同的跟踪器进行跟踪，使跟踪过程更加灵活。另一方面，本申请在无法检测到目标时，适应性地、有针对性地改变跟踪器以继续跟踪目标，从而达到了较好的跟踪效果。

接下来，以第一跟踪器为基于深度学习模型的跟踪器为例，给出第一跟踪器的一种可能的实现方式。

对于每个跟踪目标，可以维护一个卡尔曼模型(Kalman-model)。在应用深度学习模型跟踪器跟踪之前，可以根据卡尔曼模型对下一跟踪帧的跟踪框进行预测。以卡尔曼预测框(Kalman-predicted box)为中心，创建一个放大的搜索图像，放大的搜索图像的大小可以调整为32x32像素。根据Pnet拓扑结构，可得到11x11像素的输出特征图。将softmax应用到分类分支后，可以得到一个如图6所示的尺寸为11x11像素的神经网络热图，例如可以是Pnet-heatmap。Pnet-heatmap上得分最高的位置则为深度学习模型跟踪的结果。可以看出，在图6的实施例中，目标向右下移动。可选地，为了更准确地跟踪，还可以对得分最高的位置应用边界框回归(bounding box regression)。

本申请还改进了目标离开图像帧对应的场景的判断方法，以避免当目标离开场景时仍被错误的跟踪，从而提高了跟踪的准确性。

一种实现方式是，当检测到目标位于第一检测帧的边缘，且目标朝第一检测帧的边缘外侧移动，可以判定该目标即将离开图像帧对应的场景，将目标的跟踪状态由第一状态转换成第三状态。例如：目标的跟踪框接触到第一检测帧边缘，且目标的卡尔曼速度与第一检测帧边缘一致，则可以判断该目标即将离开图像帧对应的场景。

作为一种实现方式，第一检测帧例如图7所示的检测帧，目标0到达图7的左边界(在图7中用框0标记出)，目标0的卡尔曼速度的x分量指向左边，也就是x分量的取值为负，则可以判定目标0即将离开图像帧对应的场景。可选地，将目标0的跟踪信息进行更新，将目标的跟踪状态转换为第三状态，第三状态可用于指示目标即将离开(或正在离开)包含目标的图像帧对应的场景。

第三状态例如可以用“OUTSIDE”或“PENDING_OUTSIDE”表示。例如：当使用第一跟踪器跟踪的目标即将离开包含目标的图像帧对应的场景时，可以将该目标的跟踪状态由TRACK转换为OUTSIDE。此外，当使用第二跟踪器跟踪的目标即将离开包含目标的图像帧对应的场景时，可以将该目标的跟踪状态由PENDING转换为PENDING_OUTSIDE。可理解，与第三状态OUTSIDE所对应的跟踪器为第一跟踪器，与第三状态PENDING_OUTSIDE所对应的跟踪器为第二跟踪器。也就是说，若在第一检测帧将跟踪状态转换为第三状态，那么在该第一检测帧之后的跟踪帧，可以使用与第三状态所对应的跟踪器进行跟踪。

另一种实现方式是，S110之后，当检测到目标位于第一检测帧的边缘，且该目标朝第一检测帧的边缘外侧移动，可以判定该目标即将离开图像帧对应的场景，那么可以将目标的跟踪状态由第一状态转换成第一状态和第三状态。类似地，S122之后，当在第一检测帧之后的检测帧检测到目标位于图像的边缘，且该目标的移动速度朝向该边缘，可以判定该目标即将离开图像帧对应的场景，那么可以将目标的跟踪状态由第二状态转换成第二状态和第三状态。

也就是说，目标的跟踪状态可以包括第一状态和第三状态，或者包括第二状态和第三状态。该第三状态例如可以用“OUTSIDE”表示。

举例来说，对于第一状态TRACK的第一目标，若在第一检测帧检测到该第一目标位于图像边缘且移动速度朝向该边缘，那么，可以在第一检测帧将该第一目标的跟踪状态更新为“TRACK+OUTSIDE”。并且，在该第一检测帧之后的跟踪帧，可以使用与第一状态TRACK对应的第一跟踪器进行跟踪。

再举例来说，对于第二状态PENDING的第二目标，若在第一检测帧检测到该第二目标位于图像边缘且移动速度朝向该边缘，那么，可以在第一检测帧将该第二目标的跟踪状态更新为“PENDING+OUTSIDE”。并且，在该第一检测帧之后的跟踪帧，可以使用与第二状态PENDING对应的第二跟踪器进行跟踪。

可选地，当目标处于第三状态时，在接下来的检测帧中，可以判断该目标是否离开图像帧，若目标离开图像帧，则结束跟踪任务。这样可以简化实现，节省计算资源。

可选地，如果上一检测帧中有目标即将离开图像帧对应的场景，下一检测帧未检测到该目标，则停止对该目标进行跟踪，输出该目标的跟踪结果。

可选地，对于检测帧未检测到即将离开的目标，可以立即输出该目标的跟踪结果，没有延迟。这样可以提高跟踪目标的输出速度，有利于增强用户的体验感。

本申请实施例可对漏检的目标持续跟踪，但是对于一些长时间无法检测到的目标，持续跟踪是不太合适的。例如：目标实际上已离开图像帧所在的场景，后续检测帧将始终无法检测到该目标。再例如：目标的图像质量持续不佳，第二跟踪器很难再准确跟踪到目标。

针对上述情况，本申请在使用第二跟踪器跟踪目标的过程中，记录第二跟踪器的跟踪时长，当跟踪时长大于第一阈值时，停止对该目标进行跟踪，并输出目标的跟踪结果。跟踪结果可以从跟踪信息中获取，例如可以是目标的位置坐标序列、目标质量最高的图像等。

可选地，第二跟踪器的跟踪时长可通过连续的帧数计算，第一阈值可以是设定的连续帧数，例如第一阈值可以是50帧，当连续50个图像帧(或者针对图2所示的视频序列，连续5个检测帧)均未检测到目标，也就是这期间均使用第二跟踪器跟踪，则结束该目标的跟踪任务，输出该目标的跟踪结果。

可选地，第二跟踪器的跟踪时长可通过连续的未检测到所述目标的连续的检测帧的数量来计算，示例性地，该跟踪时长还可以被称为第二跟踪器跟踪年龄(age)。例如第一阈值可以是4，当在使用第二跟踪器的过程中，连续4个检测帧都没有检测到该目标，在图2的示例中，如果第40帧、第50帧、第60帧、第70帧都没有检测到该目标，则说明跟踪时长大于第一阈值，停止对该目标的跟踪，并输出该目标的跟踪结果。

需要说明的是，本申请对第一阈值的具体数值不做限制，可根据目标的类型、跟踪的场景、运行第二跟踪器的终端的类型等灵活选取。

当目标进入到场景后，检测帧第一次检测到该目标，后续跟踪帧将对该目标进行跟踪，这类目标可以称为新检测到的目标(new object)。

检测目标的过程中难以避免发生意想不到的错误，例如：存在相似的目标、拍摄角度不佳等情况。这就容易出现检测到的目标并不是特定类型的目标的情况，即出现虚警。例如，图8显示了在检测帧的人脸检测结果，该检测帧检测出face3是人脸，但是实际上face3是手提包，不是人脸，此时，face3为虚警。

针对上述问题，本申请提供的实施例，通过质量检测来有效滤除虚警。在第一检测帧进行目标检测之前，在第二检测帧进行目标检测，第二检测帧存在新检测到的目标，将该目标的跟踪状态设置为第四状态。第四状态用于指示目标为新检测到的目标，该第四状态例如可以用“NEWDETECT”表示。

可选地，当一个检测到的新目标(new detection)不能被分配给任一个已存在的跟踪信息，可以判断该目标为新检测到的目标，将该目标标记为NEWDETECT。对于NEWDETECT状态的目标可以生成该目标的跟踪信息，对该NEWDETECT状态的目标开始进行目标跟踪。

除了上述四种状态，还可以根据实际需要设置其他类型的跟踪状态。例如，当跟踪的目标与其他目标重叠时，可以将目标的跟踪状态标记为第五状态。比如，第五状态可以用“OCCLUDED”表示。

对该目标进行目标质量评估得到质量分数。如果质量分数低于第二阈值，可以立即删除该目标的跟踪信息。也就是说，如果新检测到的目标的质量分数低于第二阈值，则该目标被认为是虚警，不对该目标进行跟踪。或者，如果新检测到的目标的质量分数高于或等于第二阈值，则将该目标的跟踪信息中的跟踪状态从第四状态转换为第一状态，在后续的跟踪帧可以使用第一跟踪器对该目标进行跟踪。

需要说明的是，本申请对第二阈值的具体数值不做限制，可以根据跟踪场景、跟踪类型或者实际跟踪需求等因素灵活选取。

针对图8所示的人脸跟踪为例详细说明。例如，图8所示的第二检测帧存在新检测到的目标。以图8中face0为例，在第二检测帧检测到face0(图8中使用白色框0标记)，将face0的跟踪状态均标记为第四状态，例如NEWDETECT。针对face0，可以建立新的跟踪信息。在图8所示的第二检测帧中，可以对face0的图像质量进行检测，得到质量分数。如果face0分数大于或等于第二阈值，将这face0的跟踪状态由第四状态转换为第一状态，例如由NEWDETECT转换成TRACK，在接下来的跟踪帧，可以对face0使用第一跟踪器进行跟踪。

或者，以图8中face3为例，判断face3是否为新检测到的目标的过程与face0基本类似，但是由于face3的图像质量分数小于第二阈值，则可以判定face3为虚警，可以删除face3的跟踪信息，在接下来的跟踪帧，不对face3进行跟踪。

在跟踪目标的过程中，可以维护目标的跟踪信息。跟踪信息可以包括跟踪目标的跟踪状态、目标在图像帧中的位置以及目标的跟踪过程中质量最高的目标图像的图像信息。

跟踪信息中的跟踪状态可以包括第一状态、第二状态、第三状态或第四状态中的至少一个状态。这四个状态已在上文中进行说明，此处不再赘述。

跟踪信息中目标在图像帧中的位置用来指示在当前图像中目标所在的位置，也可用于预计目标在下一帧的位置。在跟踪帧中，目标在图像帧中的位置可以是目标的跟踪框在图像帧中的位置。在检测帧中，目标在图像帧中的位置可以是目标的检测框在图像帧中的位置。

一种实现方式，当该目标的跟踪任务结束时，向用户提供该目标质量最高的图像的图像信息，并将该图像的图像信息作为跟踪结果输出，以便向用户提供目标在最好角度最为清晰的图像。例如，质量最高的目标图像的图像信息可以为以下信息中的至少一种：该目标图像的质量，该目标图像在目标图像所属的图像帧中的空间位置，以及该目标图像在视频序列中的时间位置。

例如，目标图像的质量可以通过跟踪过程中质量评分获得。例如，在人脸跟踪中，可以通过质量评估模型得到目标的偏航、俯仰、遮挡度、模糊度等关于该人脸的图像质量的信息，通过这些信息计算出一个总分，这个总分即为图像质量评分，可用来作为判断图像质量的标准，例如，目标质量分数最高的图像可认为图像质量较高。其中，质量评估模型例如可以是基于深度学习模型的多任务人脸质量评估模型。

例如，质量最高的目标图像的空间位置可以包括该目标图像在图像帧中的位置坐标，也可以包括该目标图像的尺寸。

例如，质量最高的目标图像所在的时间位置可以是该图像在整个视频序列中的帧号。

需要说明的是，本申请中的目标也可以称为对象，如新检测到的目标也可以称为新检测到的对象。

另外，可理解的是，本申请中目标跟踪的方法可以用于目标抓拍，例如人脸抓拍，具体的通过上述目标跟踪方法所得到的跟踪结果即为目标抓拍的结果，如果可以通过目标跟踪，将在视频中质量最高的图像作为抓拍的输出，确保抓拍的结果更加精确，为后续的进一步应用提供更高质量的图像。

另外，本申请还提供了一种目标跟踪系统，如图9所示，包括存储器、处理器及存储在存储器上的计算机程序。并且当处理器执行计算机程序能够实现上述结合图1所述方法的步骤。

存储器可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)等。

处理器可以采用通用的CPU，微处理器，应用专用集成电路(applicationspecific integrated circuit，ASIC)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的方法。

处理器还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的方法的各个步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器还可以是通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成本申请实施例的系统中包括的单元所需执行的功能，或者执行本申请方法实施例的方法。

可选地，该系统还可以进一步包括通信接口和总线。其中，通信接口使用例如但不限于收发器一类的收发装置，来实现与其他设备或网络之间的通信。例如，可以通过通信接口可以从图像采集设备获取多张图像，可以通过通信接口将图像处理结果传输至其他外部设备，等等。其中，总线可包括在装置各个部件(例如，存储器、处理器、通信接口)之间传送信息的通路。

可理解，图9中的目标跟踪系统可以是计算机系统、计算机设备等。在一些实施例中，该目标跟踪系统可以是移动终端，如手持式移动终端，比如可以是手机。

另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当该计算机程序被计算机或者处理器执行时，可以实现前述结合图1所述的方法的步骤。例如，该计算机存储介质为计算机可读存储介质。

在一个实施例中，该计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：在使用第一跟踪器对处于第一状态的目标进行跟踪的过程中，在第一检测帧进行目标检测；如果在第一检测帧内检测到目标，保持目标的跟踪状态为第一状态；如果在第一检测帧内未检测到目标，将目标的跟踪状态从第一状态转换为第二状态；在第一检测帧的下一跟踪帧，选取与目标的跟踪状态对应的跟踪器继续跟踪目标，其中第一状态对应第一跟踪器，第二状态对应第二跟踪器。

计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

另外，本发明实施例还提供了一种计算机程序产品，其包含计算机程序或指令，当该计算机程序或指令被计算机或处理器所执行时，使得执行上述结合图1所述的方法的步骤。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：

在使用第一跟踪器对处于第一状态的目标进行跟踪的过程中，在第一检测帧进行目标检测；

如果在所述第一检测帧内检测到所述目标，保持所述目标的跟踪状态为所述第一状态；

如果在所述第一检测帧内未检测到所述目标，将所述目标的跟踪状态从所述第一状态转换为第二状态；

在所述第一检测帧的下一跟踪帧，选取与所述目标的跟踪状态对应的跟踪器继续跟踪所述目标，其中所述第一状态对应第一跟踪器，所述第二状态对应第二跟踪器。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果检测到所述目标位于所述第一检测帧的边缘，且所述目标朝所述第一检测帧的边缘外侧移动，将所述目标的跟踪状态从所述第一状态转换成第三状态，所述第三状态用于指示所述目标即将离开包含所述目标的图像帧对应的场景。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

如果所述目标的跟踪状态为所述第三状态，且在所述第一检测帧的下一检测帧未检测到所述目标，停止对所述目标进行跟踪，并输出所述目标的跟踪结果。

4.根据权利要求1所述的方法，其特征在于，还包括：

如果所述目标的跟踪状态转换为所述第二状态，记录所述目标的跟踪状态为所述第二状态的时长；

当所述时长大于第一阈值时，停止对所述目标进行跟踪，并输出所述目标的跟踪结果。

5.根据权利要求1所述的方法，其特征在于，所述在第一检测帧进行目标检测之前，所述方法还包括：

在第二检测帧进行目标检测，其中所述目标为所述第二检测帧新检测到的目标；

将所述目标的跟踪状态设置为第四状态，所述第四状态用于指示所述目标为新检测到的目标；

对处于所述第四状态的所述目标的图像质量进行检测；

当所述目标的图像质量小于第二阈值时，不对所述目标进行跟踪；

当所述目标的图像质量大于所述第二阈值时，将所述目标的跟踪状态从所述第四状态转换为所述第一状态，并使用所述第一跟踪器对所述目标进行跟踪。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在跟踪所述目标的过程中，维护所述目标的跟踪信息，所述跟踪信息包括：所述目标的跟踪状态，所述目标在图像帧中的位置以及所述目标的跟踪过程中的质量最高的目标图像的图像信息；

所述目标图像的图像信息包括以下信息中的至少一种：所述目标图像的质量，所述目标图像在所述目标图像所属的图像帧中的空间位置，以及所述目标图像在视频序列中的时间位置。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述目标为特定类型的目标，所述第一跟踪器为针对所述特定类型的目标的跟踪器，所述第二跟踪器为针对非特定类型的目标的跟踪器。

8.根据权利要求1-6中任一项所述的方法，其特征在于，所述第一跟踪器为基于深度学习模型的跟踪器，所述第二跟踪器为核相关滤波器跟踪器。

9.一种目标跟踪系统，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行计算机程序以实现权利要求1至8中任一项方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项方法的步骤。

Images