CN107818573B - 一种目标跟踪方法及装置 - Google Patents

Abstract

本发明实施例公开了一种目标跟踪方法及装置，分别利用两种预设算法对目标进行跟踪，得到两个跟踪结果，再将所述两个跟踪结果中包含的位置信息进行融合，根据融合结果，预测所述目标在下一帧图像中的位置信息。相比于现有技术中利用一种跟踪算法预测目标在下一帧图像中的位置，提高了目标跟踪的准确性。比如，当图像中有多个目标、且这多个目标的运动轨迹有交叉或重叠时，利用两种跟踪算法，从两个方面确定各个目标的运动轨迹，降低了混淆运动轨迹的可能性；当图像中有遮挡物遮挡住了目标时，利用两种跟踪算法，从两个方面确定目标的运动轨迹，可以减少遮挡造成的影响。

Description

一种目标跟踪方法及装置

技术领域

本发明涉及视频监控技术领域，特别涉及一种目标跟踪方法及装置。

背景技术

在视频监控过程中，通常需要对监控到的目标进行实时跟踪。目前，大多实时跟踪方案都是利用一种跟踪算法，对当前帧图像及当前帧之前的图像中的目标位置进行分析，根据分析结果，预测该目标在下一帧图像中的位置。

应用上述方案，准确性较差。举例来说，当图像中有多个目标、且这多个目标的运动轨迹有交叉或重叠时，利用上述方案，通常会混淆这多个目标的运动轨迹。另外，当图像中有遮挡物遮挡住了目标时，利用上述方案预测目标位置，也会不准确。

发明内容

本发明实施例的目的在于提供一种目标跟踪方法及装置，提高目标跟踪的准确性。

为达到上述目的，本发明实施例公开了一种目标跟踪方法，包括：

确定当前帧图像中的待跟踪目标；

分别利用两种预设算法对所述目标进行跟踪，得到两个跟踪结果，其中，所述跟踪结果中包含所述目标的位置信息；

将所述两个跟踪结果中包含的位置信息进行融合，获得第一融合结果，根据所述第一融合结果，预测所述目标在下一帧图像中的位置信息。

可选的，所述两种预设算法分别为光流法和滤波算法。

可选的，在所述预测所述目标在下一帧图像中的位置信息的步骤之前，还可以包括：

利用预设误差判定算法或者预设置信度判定算法，判定所述两个跟踪结果是否满足误差阈值要求；

或者，利用预设置信度判定算法，判定所述两个跟踪结果是否满足置信度阈值要求；

或者，利用预设误差判定算法，判定所述两个跟踪结果中的一个跟踪结果是否满足误差阈值要求，以及利用预设置信度判定算法，判定所述两个跟踪结果中的另一个跟踪结果是否满足置信度阈值要求；

如果所述两个跟踪结果对应的判定结果都为是，执行所述将所述两个跟踪结果中包含的位置信息进行融合，获得第一融合结果，根据所述第一融合结果，预测所述目标在下一帧图像中的位置信息的步骤。

可选的，所述预设误差判定算法为正向反向误差判定算法，所述预设置信度判定算法为特征响应置信度算法。

可选的，如果所述两个跟踪结果对应的判定结果都为否，所述方法还可以包括：

接收所述当前帧图像的下一帧图像；

确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得；

利用第一预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；

根据关联运算结果，确定所述下一帧图像中的待跟踪目标。

可选的，所述利用第一预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；根据关联运算结果，确定所述下一帧图像中的待跟踪目标的步骤可以包括：

获取所述当前帧图像之前的预设数量个帧图像对应的跟踪结果；

将所获取的跟踪结果与所述两个跟踪结果确定为待对比跟踪结果；

利用第一预设子关联算法，计算所述待对比跟踪结果的外观信息与所述检测目标的外观信息的第一相似度；

利用第二预设子关联算法，计算所述待对比跟踪结果的位置信息与所述检测目标的位置信息的第二相似度；

利用第三预设子关联算法，根据所述第一相似度及所述第二相似度，确定所述下一帧图像中的待跟踪目标。

可选的，所述第一预设子关联算法包括卷积神经网络及隐马尔科夫场，所述第二预设子关联算法为卡尔曼滤波算法，所述第三预设子关联算法为匈牙利关联算法。

可选的，如果所述两个跟踪结果对应的判定结果中一个判定结果为否，所述方法还可以包括：

接收所述当前帧图像的下一帧图像；

确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得；

利用第二预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；

将关联运算结果与第一跟踪结果进行融合，获得第二融合结果，根据所述第二融合结果，确定所述下一帧图像中的待跟踪目标；其中，判定结果为是的跟踪结果为第一跟踪结果。

可选的，所述确定当前帧图像中的待跟踪目标的步骤可以包括：

当所述当前帧图像的上一帧图像的两个跟踪结果对应的两个判定结果都为是时，根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息，确定所述当前帧图像中的待跟踪目标。

可选的，所述根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息，确定所述当前帧图像中的待跟踪目标的步骤可以包括：

根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息及在所述当前帧图像中的检测结果，确定当前帧图像中的待跟踪目标。

为达到上述目的，本发明实施例还公开了一种目标跟踪装置，包括：

第一确定模块，用于确定当前帧图像中的待跟踪目标；

跟踪模块，用于分别利用两种预设算法对所述目标进行跟踪，得到两个跟踪结果，其中，所述跟踪结果中包含所述目标的位置信息；

预测模块，用于将所述两个跟踪结果中包含的位置信息进行融合，获得第一融合结果，根据所述第一融合结果，预测所述目标在下一帧图像中的位置信息。

可选的，所述两种预设算法分别为光流法和滤波算法。

可选的，所述装置还可以包括：

判定模块，用于利用预设误差判定算法，判定所述两个跟踪结果是否满足误差阈值要求；或者，利用预设置信度判定算法，判定所述两个跟踪结果是否满足置信度阈值要求；或者，利用预设误差判定算法，判定所述两个跟踪结果中的一个跟踪结果是否满足误差阈值要求，以及利用预设置信度判定算法，判定所述两个跟踪结果中的另一个跟踪结果是否满足置信度阈值要求；如果所述两个跟踪结果对应的判定结果都为是，触发所述预测模块。

可选的，所述预设误差判定算法为正向反向误差判定算法，所述预设置信度判定算法为特征响应置信度算法。

可选的，所述装置还可以包括：

第一接收模块，用于当所述两个跟踪结果对应的判定结果都为否时，接收所述当前帧图像的下一帧图像；

第二确定模块，用于确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得；

第三确定模块，用于利用第一预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；根据关联运算结果，确定所述下一帧图像中的待跟踪目标。

可选的，所述第三确定模块，具体可以用于：

获取所述当前帧图像之前的预设数量个帧图像对应的跟踪结果；

将所获取的跟踪结果与所述两个跟踪结果确定为待对比跟踪结果；

利用第一预设子关联算法，计算所述待对比跟踪结果的外观信息与所述检测目标的外观信息的第一相似度；

利用第二预设子关联算法，计算所述待对比跟踪结果的位置信息与所述检测目标的位置信息的第二相似度；

利用第三预设子关联算法，根据所述第一相似度及所述第二相似度，确定所述下一帧图像中的待跟踪目标。

可选的，所述第一预设子关联算法包括卷积神经网络及隐马尔科夫场，所述第二预设子关联算法为卡尔曼滤波算法，所述第三预设子关联算法为匈牙利关联算法。

可选的，所述装置还可以包括：

第二接收模块，用于当所述两个跟踪结果对应的判定结果中一个判定结果为否时，接收所述当前帧图像的下一帧图像；

第四确定模块，用于确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得；

第五确定模块，用于利用第二预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；将关联运算结果与第一跟踪结果进行融合，获得第二融合结果，根据所述第二融合结果，确定所述下一帧图像中的待跟踪目标；其中，判定结果为是的跟踪结果为第一跟踪结果。

可选的，所述第一确定模块，具体可以用于：

当所述当前帧图像的上一帧图像的两个跟踪结果对应的两个判定结果都为是时，根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息，确定所述当前帧图像中的待跟踪目标。

可选的，所述第一确定模块，具体可以用于：

当所述当前帧图像的上一帧图像的两个跟踪结果对应的两个判定结果都为是时，根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息及在所述当前帧图像中的检测结果，确定当前帧图像中的待跟踪目标。

应用本发明所示实施例，分别利用两种预设算法对目标进行跟踪，得到两个跟踪结果，再将所述两个跟踪结果中包含的位置信息进行融合，根据融合结果，预测所述目标在下一帧图像中的位置信息。相比于现有技术中利用一种跟踪算法预测目标在下一帧图像中的位置，提高了目标跟踪的准确性。比如，当图像中有多个目标、且这多个目标的运动轨迹有交叉或重叠时，利用两种跟踪算法，从两个方面确定各个目标的运动轨迹，降低了混淆运动轨迹的可能性；当图像中有遮挡物遮挡住了目标时，利用两种跟踪算法，从两个方面确定目标的运动轨迹，可以减少遮挡造成的影响。

当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的目标跟踪方法的第一种流程示意图；

图2为本发明实施例提供的目标跟踪方法的第二种流程示意图；

图3为本发明实施例提供的目标跟踪装置的第一种结构示意图；

图4为本发明实施例提供的目标跟踪装置的第二种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决上述技术问题，本发明实施例提供了一种目标跟踪方法及装置，可以应用于计算机、平板电脑、图像采集设备等各种电子设备，具体不作限定。下面首先对本发明实施例提供的目标跟踪方法进行详细说明。

图1为本发明实施例提供的目标跟踪方法的第一种流程示意图，包括：

S101：确定当前帧图像中的待跟踪目标。

在本实施例中，待跟踪目标可以有多个，可以根据当前帧图像的上一帧图像的跟踪结果，确定当前帧图像中的待跟踪目标。下面内容中会详细介绍如何根据当前帧图像的跟踪结果确定当前帧图像的下一帧图像中的待跟踪目标，这与如何根据当前帧图像的上一帧图像的跟踪结果，确定当前帧图像中的待跟踪目标是一致的，因此，这里不再对确定当前帧图像中的待跟踪目标的具体过程进行赘述。

S102：分别利用两种预设算法对所述目标进行跟踪，得到两个跟踪结果，其中，所述跟踪结果中包含所述目标的位置信息。

作为一种实施方式，这两种预设算法可以分别为光流法和滤波算法。具体的，该光流法可以为RLOF(robust local optical flow，鲁棒局部光流法)，该滤波算法可以为SRDCF(spatially regularized discriminative correlation filters，空间正则化判别相关滤波器)算法。

利用这两种算法对确定出的目标进行跟踪，一种算法对应一个跟踪结果，跟踪结果中包含目标的位置信息及外观信息，该外观信息可以包括形状及大小。

作为一种实施方式，可以设置两个跟踪器，这两个跟踪器可以是两个硬件装置，也可以是两个功能模块，利用这两个跟踪器对目标进行跟踪，其中一个跟踪器利用光流法对目标进行跟踪，另一个跟踪器利用滤波算法对目标进行跟踪，得到两个跟踪结果。

S103：将所述两个跟踪结果中包含的位置信息进行融合，获得第一融合结果，根据所述第一融合结果，预测所述目标在下一帧图像中的位置信息。

具体的融合方式可以为加权融合，或者，也可以采用其他融合方式，在此不做限定。如果采用加权融合，可以预先设定每个跟踪结果的权重，比如，设定光流算法对应的跟踪结果的权重为30％，滤波算法对应的跟踪结果的权重为70％。另外，假设光流算法对应的跟踪结果中目标A的位置信息为向量A1，滤波算法对应的跟踪结果中目标A的位置信息为向量A2，则预测目标A在下一帧图像中的位置信息为：30％A1+70％A2。

应用本发明图1所示实施例，分别利用两种预设算法对目标进行跟踪，得到两个跟踪结果，再将所述两个跟踪结果中包含的位置信息进行融合，根据融合结果，预测所述目标在下一帧图像中的位置信息。相比于现有技术中利用一种跟踪算法预测目标在下一帧图像中的位置，提高了目标跟踪的准确性。比如，当图像中有多个目标、且这多个目标的运动轨迹有交叉或重叠时，利用两种跟踪算法，从两个方面确定各个目标的运动轨迹，降低了混淆运动轨迹的可能性；当图像中有遮挡物遮挡住了目标时，利用两种跟踪算法，从两个方面确定目标的运动轨迹，可以减少遮挡造成的影响。

图2为本发明实施例提供的目标跟踪方法的第二种流程示意图，本发明图2所示实施例在本发明图1所示实施例的基础上，在S103之前，增加S104：

利用预设误差判定算法，判定所述两个跟踪结果是否满足误差阈值要求；

或者，利用预设置信度判定算法，判定所述两个跟踪结果是否满足置信度阈值要求；

或者，利用预设误差判定算法，判定所述两个跟踪结果中的一个跟踪结果是否满足误差阈值要求，以及利用预设置信度判定算法，判定所述两个跟踪结果中的另一个跟踪结果是否满足置信度阈值要求。

具体的，预设误差判定算法可以为正向反向误差判定算法，利用正向反向误差判定算法，判定跟踪结果是否满足误差阈值要求可以利用如下公式计算跟踪结果的误差：

其中，ip_n,

分别为正向估计点位置坐标、反向估计点位置坐标；

如果e大于误差阈值，则表示跟踪结果不满足误差阈值要求。

预设置信度判定算法可以为特征响应置信度算法，利用特征响应置信度算法，判定跟踪结果是否满足置信度阈值要求，可以针对当前帧图像中的目标的每个像素点，确定其外观信息，并确定该像素点对应的当前帧图像的上一帧图像中的像素点的外观信息，将该像素点的外观信息与其对应的当前帧图像的上一帧图像中的像素点的外观信息进行对比，根据对比结果，确定该像素点的置信度。可以根据每个像素点的置信度，确定该目标的置信度，根据每个目标的置信度，确定跟踪结果的置信度，判断跟踪结果的置信度是否满足置信度阈值要求。

作为一种实施方式，可以利用正向反向误差判定算法判定光流法对应的跟踪结果是否满足误差阈值要求，利用特征响应置信度算法判定滤波算法对应的跟踪结果是否满足置信度阈值要求。

或者，也可以利用预设误差判定算法判定滤波算法对应的跟踪结果是否满足误差阈值要求，利用特征响应置信度算法判定光流法对应的跟踪结果是否满足置信度阈值要求。还可以利用预设误差判定算法判定光流法及滤波算法对应的跟踪结果是否满足误差阈值要求，或者，利用特征响应置信度算法判定光流法及滤波算法对应的跟踪结果是否满足置信度阈值要求。

两个跟踪结果各对应一个判定结果，如果两个判定结果都为是，执行S103；如果两个判定结果都为否，执行S105；如果两个判定结果中一个判定结果为否，执行S108。

如果两个判定结果都为是，表示对目标跟踪成功，将两个跟踪结果进行融合，进而预测目标在下一帧图像中的位置信息。

S105：接收所述当前帧图像的下一帧图像。

如果两个判定结果都为否，表示对目标跟踪失败，这种情况下，接收当前帧图像的下一帧图像。

S106：确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得。

在接收到当前帧图像的下一帧图像后，对该下一帧图像进行检测，确定该下一帧图像中的检测目标。具体的，确定检测目标可以通过特征值提取的方式，将提取出的特征值对应的目标确定为检测目标，比如，图像中有一个人戴一顶红帽子，可以通过特征值提取，将红帽子确定为检测目标。还可以确定图像中的移动目标，将移动目标确定为检测目标，确定图像中的检测目标的方式很多，在此不一一列举。

需要说明的是，确定出的检测目标中包含该目标的位置信息和/或外观信息，具体的，检测目标可以为目标框的形式，目标框既可以表示位置信息，也可以表示外观信息。检测目标的具体形式可以为多种，在此不做限定。

S107：利用第一预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；根据关联运算结果，确定所述下一帧图像中的待跟踪目标。

作为一种实施方式，S107可以包括：

获取所述当前帧图像之前的预设数量个帧图像对应的跟踪结果；

将所获取的跟踪结果与所述两个跟踪结果确定为待对比跟踪结果；

利用第一预设子关联算法，计算所述待对比跟踪结果的外观信息与所述检测目标的外观信息的第一相似度；

利用第二预设子关联算法，计算所述待对比跟踪结果的位置信息与所述检测目标的位置信息的第二相似度；

利用第三预设子关联算法，根据所述第一相似度及所述第二相似度，确定所述下一帧图像中的待跟踪目标。

在本实施方式中，得到跟踪结果后，可以对跟踪结果进行缓存，具体的，可以缓存设定数量个帧图像对应的跟踪结果，假设该数量为10。执行S102后，得到当前帧图像对应的两个跟踪结果，将得到的这两个跟踪结果进行缓存。

执行S103、S104后，两个判定结果都为否时，也就是对目标跟踪失败后，获取缓存的跟踪结果，缓存的这些跟踪结果为当前帧图像及其之前的9个帧图像对应的跟踪结果，将这些跟踪结果确定为待对比跟踪结果。

上述第一预设关联算法可以包括第一预设子关联算法、第二预设子关联算法和第三预设子关联算法。

第一预设子关联算法可以包括卷积神经网络及隐马尔科夫场，利用卷积神经网络可以提取待对比跟踪结果及检测目标中的特征外观信息，利用隐马尔科夫场可以确定出提取的特征外观信息的变化过程，根据该变化过程，可以计算待对比跟踪结果的外观信息与检测目标的外观信息的第一相似度。

第二预设子关联算法可以为卡尔曼滤波算法，利用卡尔曼滤波算法可以计算所述待对比跟踪结果的位置信息与所述检测目标的位置信息的第二相似度。

第三预设子关联算法可以为匈牙利关联算法，利用匈牙利关联算法可以根据所述第一相似度及所述第二相似度，确定所述下一帧图像中的待跟踪目标。具体的，可以将第一相似度与第二相似度的乘积确定为待对比跟踪结果与检测目标的最终相似度。检测目标可以有多个，确定出每个检测目标与待对比跟踪结果的最终相似度，将最终相似度最高的检测目标确定为下一帧图像中的待跟踪目标。

如果两个判定结果中一个判定结果为否，执行S108：接收所述当前帧图像的下一帧图像。

如果两个判定结果中一个判定结果为否，表示利用两种预设算法中的其中一种算法对目标跟踪失败，利用另一种算法对目标跟踪成功(一个跟踪结果有效，一个跟踪结果无效)，这种情况下，接收当前帧图像的下一帧图像。

S109：确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得。

在接收到当前帧图像的下一帧图像后，对该下一帧图像进行检测，确定该下一帧图像中的检测目标。具体的，确定检测目标可以通过特征值提取的方式，将提取出的特征值对应的目标确定为检测目标，比如，图像中有一个人戴一顶红帽子，可以通过特征值提取，将红帽子确定为检测目标。还可以确定图像中的移动目标，将移动目标确定为检测目标，确定图像中的检测目标的方式很多，在此不一一列举。

需要说明的是，确定出的检测目标中包含该目标的位置信息和/或外观信息，具体的，检测目标可以为目标框的形式，目标框既可以表示位置信息，也可以表示外观信息。检测目标的具体形式可以为多种，在此不做限定。

S110：利用第二预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；将关联运算结果与第一跟踪结果进行融合，获得第二融合结果，根据所述第二融合结果，确定所述下一帧图像中的待跟踪目标；其中，判定结果为是的跟踪结果为第一跟踪结果。

作为一种实施方式，S110可以包括：

获取所述当前帧图像之前的预设数量个帧图像对应的跟踪结果；

将所获取的跟踪结果与所述两个跟踪结果确定为待对比跟踪结果；

利用第一预设子关联算法，计算所述待对比跟踪结果的外观信息与所述检测目标的外观信息的第一相似度；

利用第二预设子关联算法，计算所述待对比跟踪结果的位置信息与所述检测目标的位置信息的第二相似度；

利用第三预设子关联算法，根据所述第一相似度及所述第二相似度，确定所述待对比跟踪结果与所述检测目标的最终相似度，将最终相似度最高的检测目标确定为关联运算结果；

将关联运算结果与第一跟踪结果进行融合，获得第二融合结果，根据第二融合结果，确定所述下一帧图像中的待跟踪目标；其中，判定结果为是的跟踪结果为第一跟踪结果。

在本实施方式中，得到跟踪结果后，可以对跟踪结果进行缓存，具体的，可以缓存设定数量个帧图像对应的跟踪结果，假设该数量为10。执行S102后，得到当前帧图像对应的两个跟踪结果，将得到的这两个跟踪结果进行缓存。

执行S103、S104后，如果两个判定结果中一个判定结果为否，也就是利用两种预设算法中的其中一种算法对目标跟踪失败，利用另一种算法对目标跟踪成功，此时，获取缓存的跟踪结果，缓存的这些跟踪结果为当前帧图像及其之前的9个帧图像对应的跟踪结果，将这些跟踪结果确定为待对比跟踪结果。

上述第二预设关联算法可以包括第一预设子关联算法、第二预设子关联算法和第三预设子关联算法。

第一预设子关联算法可以包括卷积神经网络及隐马尔科夫场，利用卷积神经网络可以提取待对比跟踪结果及检测目标中的特征外观信息，利用隐马尔科夫场可以确定出提取的特征外观信息的变化过程，根据该变化过程，可以计算待对比跟踪结果的外观信息与检测目标的外观信息的第一相似度。

第二预设子关联算法可以为卡尔曼滤波算法，利用卡尔曼滤波算法可以计算所述待对比跟踪结果的位置信息与所述检测目标的位置信息的第二相似度。

第三预设子关联算法可以为匈牙利关联算法，利用匈牙利关联算法可以根据第一相似度及第二相似度，确定待对比跟踪结果与检测目标的最终相似度。具体的，可以将第一相似度与第二相似度的乘积确定为待对比跟踪结果与检测目标的最终相似度。检测目标可以有多个，确定出每个检测目标与待对比跟踪结果的最终相似度，将最终相似度最高的检测目标确定为关联运算结果。

将关联运算结果与第一跟踪结果进行融合，获得第二融合结果，根据第二融合结果，确定所述下一帧图像中的待跟踪目标。具体的融合方式可以为加权融合，或者也可以采用其他融合方式，在此不做限定。如果采用加权融合，可以预先设定第一跟踪结果的权重及关联运算结果对应的权重，比如，设定第一跟踪结果的权重为50％，关联运算结果的权重为50％。另外，假设第一跟踪结果中目标A的位置信息为向量A3，关联运算结果中目标A的位置信息为向量A4，则预测目标A在下一帧图像中的位置信息为：50％A3+50％A4。

如果当前帧图像对应的两个判定结果都为是，可以有如下方式确定当前帧图像的下一帧图像中的待跟踪目标：

第一种，根据在当前帧图像中预测出的目标在下一帧图像中的位置信息，确定下一帧图像中的待跟踪目标。延续上述例子，也就是根据30％A1+70％A2，确定下一帧图像中的待跟踪目标。

第二种，根据在当前帧图像中预测出的目标在下一帧图像中的位置信息及在下一帧图像中的检测结果，确定下一帧图像中的待跟踪目标。

延续上述例子，也就是根据30％A1+70％A2以及在当前帧图像中的检测结果，确定下一帧图像中的待跟踪目标。

举例来说，假设根据30％A1+70％A2确定出下一帧图像中的待跟踪目标为A，根据在下一帧图像中的检测结果确定出的待跟踪目标为B，这里将A和B都作为下一帧图像中的待跟踪目标。

同理，上述方案可以应用于每一帧图像，利用上述方案对当前帧图像的上一帧图像进行处理：利用两种预设算法对当前帧图像的上一帧图像中的待跟踪目标进行跟踪，得到两个跟踪结果，利用预设误差判定算法或者预设置信度判定算法对这两个跟踪结果进行判定，如果当前帧图像的上一帧图像的两个跟踪结果对应的两个判定结果都为是，可以用相同的方式确定当前帧图像中的待跟踪目标：

第一种，根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息，确定所述当前帧图像中的待跟踪目标；

第二种，根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息及在所述当前帧图像中的检测结果，确定当前帧图像中的待跟踪目标。

应用本发明图2所示实施例，当两个跟踪结果都无效或者其中一个跟踪结果无效时，检测获得当前帧图像的下一帧图像中的检测目标，将跟踪结果与检测目标进行关联运算，根据关联运算结果，确定待跟踪目标，进一步提高了目标跟踪的准确性。

与上述方法实施例相对应，本发明实施例还提供一种目标跟踪装置。

图3为本发明实施例提供的目标跟踪装置的第一种结构示意图，包括：

第一确定模块301，用于确定当前帧图像中的待跟踪目标；

跟踪模块302，用于分别利用两种预设算法对所述目标进行跟踪，得到两个跟踪结果，其中，所述跟踪结果中包含所述目标的位置信息；

预测模块303，用于将所述两个跟踪结果中包含的位置信息进行融合，获得第一融合结果，根据所述第一融合结果，预测所述目标在下一帧图像中的位置信息。

在本实施例中，所述两种预设算法分别可以为光流法和滤波算法。

应用本发明图3所示实施例，分别利用两种预设算法对目标进行跟踪，得到两个跟踪结果，再将所述两个跟踪结果中包含的位置信息进行融合，根据融合结果，预测所述目标在下一帧图像中的位置信息。相比于现有技术中利用一种跟踪算法预测目标在下一帧图像中的位置，提高了目标跟踪的准确性。比如，当图像中有多个目标、且这多个目标的运动轨迹有交叉或重叠时，利用两种跟踪算法，从两个方面确定各个目标的运动轨迹，降低了混淆运动轨迹的可能性；当图像中有遮挡物遮挡住了目标时，利用两种跟踪算法，从两个方面确定目标的运动轨迹，可以减少遮挡造成的影响。

图4为本发明实施例提供的目标跟踪装置的第二种结构示意图，本发明图4所示实施例在本发明图3所示实施例的基础上，还可以包括：

判定模块304，用于利用预设误差判定算法，判定所述两个跟踪结果是否满足误差阈值要求；或者，利用预设置信度判定算法，判定所述两个跟踪结果是否满足置信度阈值要求；或者，利用预设误差判定算法，判定所述两个跟踪结果中的一个跟踪结果是否满足误差阈值要求，以及利用预设置信度判定算法，判定所述两个跟踪结果中的另一个跟踪结果是否满足置信度阈值要求；如果所述两个跟踪结果对应的判定结果都为是，触发预测模块303。

在本实施例中，所述预设误差判定算法可以为正向反向误差判定算法，所述预设置信度判定算法可以为特征响应置信度算法。

在本实施例中，所述装置还可以包括：

第一接收模块305，用于当所述两个跟踪结果对应的判定结果都为否时，接收所述当前帧图像的下一帧图像；

第二确定模块306，用于确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得；

第三确定模块307，用于利用第一预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；根据关联运算结果，确定所述下一帧图像中的待跟踪目标。

在本实施例中，第三确定模块307，具体可以用于：

获取所述当前帧图像之前的预设数量个帧图像对应的跟踪结果；

将所获取的跟踪结果与所述两个跟踪结果确定为待对比跟踪结果；

利用第一预设子关联算法，计算所述待对比跟踪结果的外观信息与所述检测目标的外观信息的第一相似度；

利用第二预设子关联算法，计算所述待对比跟踪结果的位置信息与所述检测目标的位置信息的第二相似度；

利用第三预设子关联算法，根据所述第一相似度及所述第二相似度，确定所述下一帧图像中的待跟踪目标。

在本实施例中，所述第一预设子关联算法可以包括卷积神经网络及隐马尔科夫场，所述第二预设子关联算法可以为卡尔曼滤波算法，所述第三预设子关联算法可以为匈牙利关联算法。

在本实施例中，所述装置还可以包括：

第二接收模块308，用于当所述两个跟踪结果对应的判定结果中一个判定结果为否时，接收所述当前帧图像的下一帧图像；

第四确定模块309，用于确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得；

第五确定模块310，用于利用第二预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；将关联运算结果与第一跟踪结果进行融合，获得第二融合结果，根据所述第二融合结果，确定所述下一帧图像中的待跟踪目标；其中，判定结果为是的跟踪结果为第一跟踪结果。

在本实施例中，第一确定模块301，具体可以用于：

当所述当前帧图像的上一帧图像的两个跟踪结果对应的两个判定结果都为是时，根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息，确定所述当前帧图像中的待跟踪目标。

在本实施例中，第一确定模块301，具体可以用于：

当所述当前帧图像的上一帧图像的两个跟踪结果对应的两个判定结果都为是时，根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息及在所述当前帧图像中的检测结果，确定当前帧图像中的待跟踪目标。

应用本发明图4所示实施例，当两个跟踪结果都无效或者其中一个跟踪结果无效时，检测获得当前帧图像的下一帧图像中的检测目标，将跟踪结果与检测目标进行关联运算，根据关联运算结果，确定待跟踪目标，进一步提高了目标跟踪的准确性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种目标跟踪方法，其特征在于，包括：

确定当前帧图像中的待跟踪目标；

分别利用两种预设算法对所述目标进行跟踪，得到两个跟踪结果，其中，所述跟踪结果中包含所述目标的位置信息；

利用预设误差判定算法，判定所述两个跟踪结果是否满足误差阈值要求；或者，利用预设置信度判定算法，判定所述两个跟踪结果是否满足置信度阈值要求；或者，利用预设误差判定算法，判定所述两个跟踪结果中的一个跟踪结果是否满足误差阈值要求，以及利用预设置信度判定算法，判定所述两个跟踪结果中的另一个跟踪结果是否满足置信度阈值要求；

如果所述两个跟踪结果对应的判定结果都为是，将所述两个跟踪结果中包含的位置信息进行融合，获得第一融合结果，根据所述第一融合结果，预测所述目标在下一帧图像中的位置信息；

如果所述两个跟踪结果对应的判定结果都为否，接收所述当前帧图像的下一帧图像；确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得；利用第一预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；根据关联运算结果，确定所述下一帧图像中的待跟踪目标。

2.根据权利要求1所述的方法，其特征在于，所述两种预设算法分别为光流法和滤波算法。

3.根据权利要求1所述的方法，其特征在于，所述预设误差判定算法为正向反向误差判定算法，所述预设置信度判定算法为特征响应置信度算法。

4.根据权利要求1所述的方法，其特征在于，所述利用第一预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；根据关联运算结果，确定所述下一帧图像中的待跟踪目标的步骤包括：

获取所述当前帧图像之前的预设数量个帧图像对应的跟踪结果；

将所获取的跟踪结果与所述两个跟踪结果确定为待对比跟踪结果；

利用第一预设子关联算法，计算所述待对比跟踪结果的外观信息与所述检测目标的外观信息的第一相似度；

利用第二预设子关联算法，计算所述待对比跟踪结果的位置信息与所述检测目标的位置信息的第二相似度；

利用第三预设子关联算法，根据所述第一相似度及所述第二相似度，确定所述下一帧图像中的待跟踪目标。

5.根据权利要求4所述的方法，其特征在于，所述第一预设子关联算法包括卷积神经网络及隐马尔科夫场，所述第二预设子关联算法为卡尔曼滤波算法，所述第三预设子关联算法为匈牙利关联算法。

6.根据权利要求1-5任一项所述的方法，其特征在于，如果所述两个跟踪结果对应的判定结果中一个判定结果为否，所述方法还包括：

接收所述当前帧图像的下一帧图像；

确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得；

利用第二预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；

将关联运算结果与第一跟踪结果进行融合，获得第二融合结果，根据所述第二融合结果，确定所述下一帧图像中的待跟踪目标；其中，判定结果为是的跟踪结果为第一跟踪结果。

7.根据权利要求1所述的方法，其特征在于，所述确定当前帧图像中的待跟踪目标的步骤包括：

当所述当前帧图像的上一帧图像的两个跟踪结果对应的两个判定结果都为是时，根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息，确定所述当前帧图像中的待跟踪目标。

8.根据权利要求7所述的方法，其特征在于，所述根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息，确定所述当前帧图像中的待跟踪目标的步骤包括：

根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息及在所述当前帧图像中的检测结果，确定当前帧图像中的待跟踪目标。

9.一种目标跟踪装置，其特征在于，包括：

第一确定模块，用于确定当前帧图像中的待跟踪目标；

跟踪模块，用于分别利用两种预设算法对所述目标进行跟踪，得到两个跟踪结果，其中，所述跟踪结果中包含所述目标的位置信息；

判定模块，用于利用预设误差判定算法，判定所述两个跟踪结果是否满足误差阈值要求；或者，利用预设置信度判定算法，判定所述两个跟踪结果是否满足置信度阈值要求；或者，利用预设误差判定算法，判定所述两个跟踪结果中的一个跟踪结果是否满足误差阈值要求，以及利用预设置信度判定算法，判定所述两个跟踪结果中的另一个跟踪结果是否满足置信度阈值要求；如果所述两个跟踪结果对应的判定结果都为是，触发预测模块；

预测模块，用于将所述两个跟踪结果中包含的位置信息进行融合，获得第一融合结果，根据所述第一融合结果，预测所述目标在下一帧图像中的位置信息；

第一接收模块，用于当所述两个跟踪结果对应的判定结果都为否时，接收所述当前帧图像的下一帧图像；

第二确定模块，用于确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得；

第三确定模块，用于利用第一预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；根据关联运算结果，确定所述下一帧图像中的待跟踪目标。

10.根据权利要求9所述的装置，其特征在于，所述两种预设算法分别为光流法和滤波算法。

11.根据权利要求9所述的装置，其特征在于，所述预设误差判定算法为正向反向误差判定算法，所述预设置信度判定算法为特征响应置信度算法。

12.根据权利要求9所述的装置，其特征在于，所述第三确定模块，具体用于：

获取所述当前帧图像之前的预设数量个帧图像对应的跟踪结果；

将所获取的跟踪结果与所述两个跟踪结果确定为待对比跟踪结果；

利用第一预设子关联算法，计算所述待对比跟踪结果的外观信息与所述检测目标的外观信息的第一相似度；

利用第二预设子关联算法，计算所述待对比跟踪结果的位置信息与所述检测目标的位置信息的第二相似度；

利用第三预设子关联算法，根据所述第一相似度及所述第二相似度，确定所述下一帧图像中的待跟踪目标。

13.根据权利要求12所述的装置，其特征在于，所述第一预设子关联算法包括卷积神经网络及隐马尔科夫场，所述第二预设子关联算法为卡尔曼滤波算法，所述第三预设子关联算法为匈牙利关联算法。

14.根据权利要求9-13任一项所述的装置，其特征在于，所述装置还包括：

第二接收模块，用于当所述两个跟踪结果对应的判定结果中一个判定结果为否时，接收所述当前帧图像的下一帧图像；

第四确定模块，用于确定所述下一帧图像中的检测目标，其中，所述检测目标通过对所述下一帧图像进行检测获得；

第五确定模块，用于利用第二预设关联算法，将所述两个跟踪结果中包含的位置信息与所述检测目标的位置信息进行关联运算，和/或，将所述两个跟踪结果中包含的外观信息与所述检测目标的外观信息进行关联运算；将关联运算结果与第一跟踪结果进行融合，获得第二融合结果，根据所述第二融合结果，确定所述下一帧图像中的待跟踪目标；其中，判定结果为是的跟踪结果为第一跟踪结果。

15.根据权利要求9所述的装置，其特征在于，所述第一确定模块，具体用于：

当所述当前帧图像的上一帧图像的两个跟踪结果对应的两个判定结果都为是时，根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息，确定所述当前帧图像中的待跟踪目标。

16.根据权利要求15所述的装置，其特征在于，所述第一确定模块，具体用于：

当所述当前帧图像的上一帧图像的两个跟踪结果对应的两个判定结果都为是时，根据在所述上一帧图像中预测出的目标在所述当前帧图像中的位置信息及在所述当前帧图像中的检测结果，确定当前帧图像中的待跟踪目标。

Images