CN111696133A - 一种实时目标跟踪方法及系统 - Google Patents

Abstract

本发明提供一种实时目标跟踪方法及系统，方法包括：基于Forward‑Backward策略的Lucas‑Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点；若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪。本发明实施例利用特征点来进行跟踪，结合光流跟踪与图像金字塔多尺度下的特征点匹配算法，对跟踪目标的尺度、旋转、光照变化都具有鲁棒性。此外算法可以在目标被遮挡或者目标丢失后重现的情况下，快速找到对应尺度下目标的匹配特征点，来恢复对目标的跟踪。

Description

一种实时目标跟踪方法及系统

技术领域

本发明涉及计算机视觉的目标跟踪技术领域，更具体地，涉及一种实时目标跟踪方法及系统。

背景技术

运动目标跟踪是计算机视觉研究的核心内容，在智能交通、机器人视觉导航、自动驾驶、医疗诊断等领域有着重要的实用价值。由于被跟踪的目标本身特征的多样性和所处环境的复杂性，使得目标跟踪成为一个极富挑战的课题。尤其是跟踪过程中出现的遮挡问题造成的运动目标前后帧关联关系丢失，成为限制跟踪算法鲁棒性的关键因素。随着国内外目标跟踪算法的不断提出，大部分方法可以很好的解决简单环境下单一目标轻微遮挡问题下的稳定跟踪。然而在更加复杂的情形如严重遮挡或者目标离开视野等，依然需要更加健壮的长期、实时跟踪算法。在tracking-by-detection的模式下，比如经典的TLD算法，持续对当前检测目标进行特征抽取、目标模板学习，当跟踪目标丢失的时候，根据保存此前该目标的最新模板，通过模板特征匹配的方法可以恢复对该目标的检测并重新进入跟踪流程。但是目标长时间丢失会导致目标模型被背景信息污染，且重跟踪与目标检测的模式耗时较长，不能满足跟踪的实时性要求。

因此，现在亟需一种既能解决目标遮挡后的重跟踪问题，同时满足实时性跟踪的效果的方法来解决上述问题。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种实时目标跟踪方法及系统，根据本发明提供的第一方面，本发明提供一种实时目标跟踪方法，包括：

基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点；

若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪。

其中，所述方法还包括：

对初始输入的帧图像进行初始化。

其中，所述对初始输入的帧图像进行初始化，包括：

创建初始帧图像金字塔，并自适应获取前景目标区域内的特征点；

对所述特征点进行去中心归一化处理，并计算点集内任意两点间的距离和角度，生成距离矩阵和角度矩阵。

其中，所述基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点，包括：

基于Forward-Backward策略的Lucas-Kanade光流法，提取输入的当前帧灰度图像的FAST特征点；

将所述FAST特征点与前景特征点进行匹配，得到当前帧匹配特征点。

其中，所述若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪，包括：

根据光流跟踪与特征匹配的结果联合判断是否满足持续跟踪的条件；

若不满足持续跟踪的条件，则建立图像金字塔，在不同层金字塔图像上分别提取FAST特征点，选取当前帧对应的最优匹配特征点；

将光流跟踪点与匹配特征点根据类别标签进行融合，并通过阈值判断和尺度恢复，将最佳匹配时的特征点作为当前帧图像中的前景特征点，以实现对目标的重跟踪。

其中，所述通过阈值判断和尺度恢复，将最佳匹配时的特征点作为当前帧图像中的前景特征点，以实现对目标的重跟踪，包括：

基于距离矩阵和角度矩阵，对融合特征点进行中心几何约束，得到当前融合点相对初始帧的归一化前景特征点的旋转因子和比例因子；

基于投票法对融合特征点进行聚类，得到当前帧的聚类特征点和聚类中心；

基于所述旋转因子、比例因子和聚类中心，对初始帧的归一化前景特征点进行仿射变换，得到当前帧图像中前景匹配特征点；

对当前帧前景特征点进行中心几何约束逻辑判断来确定跟踪结果。

根据本发明提供的第二方面，本发明提供一种实时目标跟踪系统，包括：

实时追踪模块，用于基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点；

重追踪模块，用于若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪。

根据本发明提供的第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所提供的实时目标跟踪方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所提供的实时目标跟踪方法的步骤。

本发明实施例提供的一种实时目标跟踪方法及系统，利用特征点来进行跟踪，结合光流跟踪与图像金字塔多尺度下的特征点匹配算法，对跟踪目标的尺度、旋转、光照变化都具有鲁棒性。此外算法增加了基于图像金字塔的多尺度的特征点搜索判断，可以在目标被遮挡或者目标丢失后重现的情况下，快速找到对应尺度下目标的匹配特征点，来恢复对目标的跟踪。

附图说明

图1是本发明实施例提供的一种实时目标跟踪方法流程示意图；

图2是本发明实施例提供的系统初始化流程示意图；

图3是本发明实施例提供的总体跟踪流程示意图；

图4是本发明实施例提供的一种实时目标跟踪系统结构示意图；

图5是本发明一实施例提供的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明实施例提供的一种实时目标跟踪方法流程示意图，如图1所示，包括：

S1、基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点；

S2、若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪。

具体的，本发明实施例提供的了一种基于光流跟踪与图像金字塔特征匹配的实时目标跟踪算法。在步骤S1中，本发明实施例首先利用LK光流法对前后帧图像内目标上的特征点进行实时跟踪，同时采用BruteForce-Hamming方法对FAST特征点进行KNN特征匹配。利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点，提高目标跟踪的鲁棒性。

在步骤S2中，在目标被部分或完全遮挡导致光流跟踪失败时，根据系统初始化时的先验信息对当前帧图像计算相应尺度的图像金字塔。对不同尺度下的金字塔图像提取FAST特征点，并与初始帧前景特征点进行特征匹配。通过阈值判断和尺度恢复，将最佳匹配时的特征点作为当前帧图像中的前景特征点，并作为下一帧LK光流跟踪时前景特征点的输入，来实现对目标的重跟踪。该算法旨在解决跟踪过程中目标遮挡问题，同时兼顾算法实时性的要求。

在上述实施例的基础上，所述方法还包括：

对初始输入的帧图像进行初始化。

在上述实施例的基础上，所述对初始输入的帧图像进行初始化，包括：

创建初始帧图像金字塔，并自适应获取前景目标区域内的特征点；

对所述特征点进行去中心归一化处理，并计算点集内任意两点间的距离和角度，生成距离矩阵和角度矩阵。

需要说明的是，本发明实施例需要在系统运行前进行系统初始化，图2是本发明实施例提供的系统初始化流程示意图，如图2所示，初始化过程主要包括五个步骤：

Step1：创建初始帧灰度图像的光流金字塔。

Step2：提取初始帧目标区域的前景FAST特征点，根据特征点数量来判断是否需要增减特征点：FAST特征点数量超过相应阈值，则间隔取点处理；FAST获取的特征点过少，则提取目标区域内的Canny边缘点进行融合。

Step3：创建前景特征点索引fg_classes(即每个类别对应一个特征点)和BRISK特征描述子fg_descs，将前景特征点根据目标矩形框的中心进行去中心归一化处理得到fg_normalized_keypoints。

Step4：利用归一化的前景特征点和前景/背景特征描述子来建立前景和背景融合后的特征描述库descs_database和类别标签库class_database。

Step5：利用去中心归一化后的前景特征点，建立任意两点间的距离组成的距离矩阵dist_pairwise_matrix和任意两点间角度组成的角度矩阵angle_pairwise_matrix。

在上述实施例的基础上，所述基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点，包括：

基于Forward-Backward策略的Lucas-Kanade光流法，提取输入的当前帧灰度图像的FAST特征点；

将所述FAST特征点与前景特征点进行匹配，得到当前帧匹配特征点。

图3是本发明实施例提供的总体跟踪流程示意图，如图3所示，具体包括以下步骤：

Step1：判断前一帧是否跟踪成功。若跟踪成功，计算当前帧图像cur_img的光流金字塔，并利用前一帧的前景特征点采用LK光流法获取前一帧特征点在当前帧满足光流匹配的特征点，利用Forward-Backward策略来移除跟踪无效的特征点，得到当前帧更鲁棒的跟踪特征点tracked_points；若前一帧光流跟踪失败，则将当前帧光流跟踪点tracked_points置零处理。

Step2：计算初始帧目标框init_bbox与前一个跟踪成功的目标框lastest_tracked_bbox的比例系数k，即

其中init_bbox_width和init_obj_height分别表示初始帧目标外接矩形框的宽和高，last_tracked_obj_width和last_tracked_obj_height分别前一个跟踪成功的目标外接矩形的宽和高。按照尺度k将当前帧图像进行缩放得到cur_scaled_img。

Step3：提取Step2缩放后图像cur_scaled_img中的FAST特征点cur_keypoints和对应的特征描述子，与初始帧建立的特征描述库descs_database进行匹配特征，获取与初始帧前景特征点能匹配上的当前帧特征点cur_matched_keypoints。

在上述实施例的基础上，所述若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪，包括：

根据光流跟踪与特征匹配的结果联合判断是否满足持续跟踪的条件；

若不满足持续跟踪的条件，则建立图像金字塔，在不同层金字塔图像上分别提取FAST特征点，选取当前帧对应的最优匹配特征点；

将光流跟踪点与匹配特征点根据类别标签进行融合，并通过阈值判断和尺度恢复，将最佳匹配时的特征点作为当前帧图像中的前景特征点，以实现对目标的重跟踪。

在上述实施例的基础上，所述通过阈值判断和尺度恢复，将最佳匹配时的特征点作为当前帧图像中的前景特征点，以实现对目标的重跟踪，包括：

基于距离矩阵和角度矩阵，对融合特征点进行中心几何约束，得到当前融合点相对初始帧的归一化前景特征点的旋转因子和比例因子；

基于投票法对融合特征点进行聚类，得到当前帧的聚类特征点和聚类中心；

基于所述旋转因子、比例因子和聚类中心，对初始帧的归一化前景特征点进行仿射变换，得到当前帧图像中前景匹配特征点；

对当前帧前景特征点进行中心几何约束逻辑判断来确定跟踪结果。

如图3所示，当持续跟踪失败时，需要进行重新跟踪，具体步骤如下：

Step4：将Step1获取光流跟踪特征点tracked_points与Step3获取的匹配特征点cur_matched_keypoints分别与对应的点数阈值进行比较，若都小于对应阈值，则对当前帧建立图像金字塔。

Step5：提取不同层金字塔图像对应的FAST特征点，分别与初始帧特征描述库descs_database中前景特征点进行特征匹配，将最佳匹配的特征点经过阈值判断和尺度恢复后，作为当前帧的匹配特征点cur_matched_keypoints，同时将最佳匹配时对应图像内的FAST特征点，经过尺度恢复后对当前帧图像的特征点cur_keypoints进行更新。

Step6：若当前帧匹配特征点cur_matched_keypoints仍小于对应阈值，则直接输出跟踪失败的结果。若匹配特征点个数满足条件，利用光流跟踪的情况来继续判断是否进行特征点融合：若光流跟踪成功，将光流跟踪的特征点tracked_points与当前帧匹配特征点利用类别标签进行融合，得到当前帧融合后的特征点fused_points；若光流跟踪失败，将Step5获取的当前帧匹配特征点直接作为融合特征点fused_points输出。

Step7：利用初始化建立的距离矩阵dist_pairwise_matrix和角度矩阵angle_pairwise_matrix，计算Step6获取的融合特征点fused_points相对于初始帧去中心归一化的前景特征点的旋转因子rotation和缩放因子scale。

Step8：利用投票法fastcluster对融合特征点fused_points进行聚类，获取潜在目标区域的内部特征点inlier_points和聚类中心cluster_center。

Step9：利用Step7计算的旋转rotation和缩放因子scale与Step8得到的聚类中心cluster_center，对初始帧去中心归一化后的前景特征点fg_normalized_keypoints进行仿射变换，再与当前帧的特征点cur_keypoints进行匹配，得到当前帧的前景匹配特征点cur_fg_matched_keypoints。

Step10：将Step8得到的候选区域内的inlier_points与Step9得到的前景匹配特征点cur_fg_matched_keypoints进行融合，得到当前帧的前景特征点cur_fg_points。

Step11：对前景目标框obj_bbox内的融合特征点fused_points进行中心几何约束分析来判断是否跟踪成功。若判断跟踪成功则用旋转缩放因子(rotation、scale)和特征点聚类中心cluster_center估算当前帧的跟踪目标框obj_bbox，并Step10得到的前景特征点cur_fg_points作为下一帧的输入，否则输出跟踪失败。

图4是本发明实施例提供的一种实时目标跟踪系统结构示意图，如图4所示，包括：实时追踪模块401和重追踪模块402，其中：

实时追踪模块401用于基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点；

重追踪模块402用于若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪。具体的如何利用实时追踪模块401和重追踪模块402对实时目标跟踪可参见如图1所示的实施例，本发明实施例在此不再赘述。

图5示例了一种电子设备的结构示意图，如图5所示，该服务器可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和总线504，其中，处理器501，通信接口502，存储器503通过总线504完成相互间的通信。通信接口504可以用于服务器与智能电视之间的信息传输。处理器501可以调用存储器503中的逻辑指令，以执行如下方法：基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点；若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪。

本实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点；若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点；若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种实时目标跟踪方法，其特征在于，包括：

基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点；

若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪。

2.根据权利要求1所述的实时目标跟踪方法，其特征在于，所述方法还包括：

对初始输入的帧图像进行初始化。

3.根据权利要求2所述的实时目标跟踪方法，其特征在于，所述对初始输入的帧图像进行初始化，包括：

创建初始帧图像金字塔，并自适应获取前景目标区域内的特征点；

对所述特征点进行去中心归一化处理，并计算点集内任意两点间的距离和角度，生成距离矩阵和角度矩阵。

4.根据权利要求3所述的实时目标跟踪方法，其特征在于，所述基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点，包括：

基于Forward-Backward策略的Lucas-Kanade光流法，提取输入的当前帧灰度图像的FAST特征点；

将所述FAST特征点与前景特征点进行匹配，得到当前帧匹配特征点。

5.根据权利要求4所述的实时目标跟踪方法，其特征在于，所述若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪，包括：

根据光流跟踪与特征匹配的结果联合判断是否满足持续跟踪的条件；

若不满足持续跟踪的条件，则建立图像金字塔，在不同层金字塔图像上分别提取FAST特征点，选取当前帧对应的最优匹配特征点；

将光流跟踪点与匹配特征点根据类别标签进行融合，并通过阈值判断和尺度恢复，将最佳匹配时的特征点作为当前帧图像中的前景特征点，以实现对目标的重跟踪。

6.根据权利要求5所述的实时目标跟踪方法，其特征在于，所述通过阈值判断和尺度恢复，将最佳匹配时的特征点作为当前帧图像中的前景特征点，以实现对目标的重跟踪，包括：

基于距离矩阵和角度矩阵，对融合特征点进行中心几何约束，得到当前融合点相对初始帧的归一化前景特征点的旋转因子和比例因子；

基于投票法对融合特征点进行聚类，得到当前帧的聚类特征点和聚类中心；

基于所述旋转因子、比例因子和聚类中心，对初始帧的归一化前景特征点进行仿射变换，得到当前帧图像中前景匹配特征点；

对当前帧前景特征点进行中心几何约束逻辑判断来确定跟踪结果。

7.一种实时目标跟踪系统，其特征在于，包括：

实时追踪模块，用于基于Forward-Backward策略的Lucas-Kanade光流法，对输入的当前帧灰度图像进行实时跟踪，并利用光流跟踪特征点与匹配特征点相融合的方式来动态更新前景目标特征点；

重追踪模块，用于若实时跟踪过程中出现跟踪失败，则建立图像金字塔，在不同层的金字塔图像上分别提取FAST特征点，并与初始帧前景特征点进行特征匹配，以实现对目标的重追踪。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述实时目标跟踪方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述实时目标跟踪方法的步骤。

Images