CN109448020B - 目标跟踪方法及系统 - Google Patents

Abstract

本发明提供了一种目标跟踪方法及系统，该方法包括：根据获取的第一帧图像，构建正字典集合、负字典集合；对后续帧图像进行随机采样，获得若干图像块作为候选样本；根据所述候选样本、正字典集合及负字典集合，获取所述候选样本的置信度；根据所述候选样本的置信度，确定目标跟踪结果。本发明利用稀疏字典选择机制，可以从跟踪结果中选出可靠的、有代表性的跟踪结果对目标表观模型进行更新，有效的避免了跟踪结果不准确对表观模型的不利影响。

Description

目标跟踪方法及系统

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及目标跟踪方法及系统。

背景技术

视频目标跟踪是当前计算机视觉领域的一个热点问题，在给定目标在第一帧的初始位置之后，能够自动预测目标在接下来帧数的位置。

目前，目标跟踪的主要方法包括：基于生成式模型的跟踪方法和基于判别式模型的跟踪方法，以及将两者结合之后的跟踪方法。对于基于生成模型的跟踪方法来说，跟踪任务是先建立一个目标表观模型，随后在其邻域范围内搜索与目标最相似的区域。基于判别模型的跟踪方法是把目标跟踪问题看作成一个二分类问题，其主要思想是寻找目标与背景之间的最优分类面，并使得它们间的差异性最大，进而把目标从背景中提取出来。

但是，这些方法是建立在候选样本能够被字典线性表示这一假设之上，很难处理目标姿态变化、光照变化、遮挡等复杂变化，对于实际目标服从非线性分布的情形，就无法进行准确的刻画，进而导致误差累积以及跟踪漂移现象的发生。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种目标跟踪方法及系统。

第一方面，本发明提供一种目标跟踪方法，包括：

根据获取的第一帧图像，构建正字典集合、负字典集合；

对后续帧图像进行随机采样，获得若干图像块作为候选样本；

根据所述候选样本、正字典集合及负字典集合，获取所述候选样本的置信度；

根据所述候选样本的置信度，确定目标跟踪结果。

可选地，根据获取的第一帧图像，构建正、负字典集合，包括：

确定所述第一帧图像中的目标中心位置I(x,y)；

根据所述目标中心位置I(x,y)为圆心，且在预设半径范围内采样得到的若干图像块构建正字典集合；

根据所述目标中心位置I(x,y)为圆心，且在预设半径范围以外采样得到的若干图像块构建负字典集合。

可选地，所述正字典集合中图像块的采样公式如下：

其中，I_i为第i个图像块的中心位置，R_r为搜索区域半径，p为正字典集合中图像块的数量；

所述负字典集合中图像块的采样公式如下：

其中，I_j为第j个图像块的中心位置，R_r为搜索区域半径，R_s为外部搜索区域半径，j＝1,2,…,n；n为负字典集合中图像块的数量。

可选地，根据所述候选样本、正字典集合及负字典集合，获取所述候选样本的置信度，包括：

将任一候选样本y在高维空间的映射记为

获取候选样本y在正字典集合的k个临近图像块，构建所述候选样本y的局部正字典集合B⁺，并获取所述局部正字典集合B⁺的高维空间

根据所述候选样本y在高维空间的映射

和局部正字典集合B⁺在高维空间的映射

获取候选样本y与局部正字典集合B⁺的重构误差ε⁺；

根据所述候选样本y在负字典集合的k个临近图像块，构建所述候选样本y的局部负字典集合B^-，并获取所述局部正字典集合B^-的高维空间

根据所述高维空间

和高维空间

获取候选样本y与局部负字典集合B^-的重构误差ε^-；

根据所述重构误差ε⁺和重构误差ε^-，获取候选样本y的置信度。

可选地，所述重构误差ε⁺如下：

其中，c⁺为第y个候选样本与局部正字典集合对应的局部编码系数；

表示向量L2范数运算；

所述重构误差ε^-如下：

其中，c^-为候选样本y与局部负字典集合B-对应的局部编码系数；

所述候选样本y的置信度h如下：

其中，α为归一化系数，C为一常数避免分母为0。

可选地，根据所述候选样本的置信度，确定目标跟踪结果，包括：

根据所述候选样本的置信度，选取置信度最高的样本作为目标跟踪结果。

可选地，还包括：

根据目标跟踪结果，利用稀疏字典选择机制对所述正字典集合进行更新。

第二方面，本发明提供一种目标跟踪系统，包括：处理器和存储器，其特征在于，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行第一方面中任一项所述的目标跟踪方法。

与现有技术相比，本发明具有如下的有益效果：

本发明利用核技巧，将原始空间局部编码问题映射到一个非线性特征空间中进行编码，在该高维特征空间中进行处理，可以有效的克服传统线性表示模型的局限性。此外，针对于目标更新问题，相比于传统的“无差别”更新，或固定参数比例更新，本发明利用稀疏字典选择机制，可以从跟踪结果中选出可靠的、有代表性的跟踪结果对目标表观模型进行更新，有效的避免了跟踪结果不准确对表观模型的不利影响。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的目标跟踪方法的流程图；

图2为本发明实施例提供的方法针对soccer数据集的跟踪效果示意图；

图3为本发明实施例提供的方法针对carDark数据集的跟踪效果示意图；

图4为本发明实施例提供的方法针对carScale数据集的跟踪效果示意图；

图5为本发明实施例提供的方法针对tiger1数据集的跟踪效果示意图；

图6为本发明实施例提供的方法针对skating数据集的跟踪效果示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明实施例提供的目标跟踪方法的流程图，如图1所示。该方法可以包括：

S101、根据获取的第一帧图像，构建正字典集合、负字典集合。

具体地，输入视频第一帧图像，构建正负字典集合：给定第一帧图像目标位置，在目标位置附近采样得到若干图像块作为正字典集合，在远离目标位置(背景处)采样得到若干图像块作为负字典集合，其中正字典作为目标表观模型。

给定第一帧图像目标位置，假定目标中心为I(x,y)，初始正字典集合中的每个图像块按照如下公式采样p个得到：

其中：I_i为第i个字典图像块的中心位置，R_r为搜索区域半径，i表示字典图像块的下标号，i＝1,2,…,p。初始负字典集合的每个图像块按照如下公式采样n个得到：

其中：R_s为外部搜索区域半径。在本实验中，R_r取为10；R_s取为30；p取20，n取30。

S102、对后续帧图像进行随机采样，获得若干图像块作为候选样本。

具体地，建立核化局部编码模型：在新一帧图像中随机采样若干图像块作为候选样本。

S103、根据候选样本、正字典集合及负字典集合，获取候选样本的置信度。

获取候选样本y的高维空间映射

根据所述候选样本y在正字典集合的k个临近图像块，构建所述候选样本y的局部正字典集合B⁺，获取所述局部正字典集合B⁺的高维空间

根据所述样本在高维空间映射

和B⁺的高维空间映射

获取候选样本y与局部正字典集合B⁺的重构误差ε⁺；根据所述候选样本y在负字典集合的k个临近图像块，构建所述候选样本y的局部负字典集合B^-，获取所述局部正字典集合B^-的高维空间映射

根据所述y的高维空间映射

和B^-高维空间映射

获取候选样本y与局部负字典集合B^-的重构误差ε^-；根据所述重构误差ε⁺和重构误差ε^-，获取候选样本y的置信度。

具体地，对每个候选样本进行核化局部编码，该编码方法在特征空间中通过添加局部约束因子，使得与字典基向量比较近的样本有较大的表示系数。对于每个候选样本y，选取其在正负字典中的k近邻构建其局部字典B＝[B₁,B₂,…,B_k]，通过映射函数

可以将一个候选样本y和局部字典B映射到高维空间

和

假定在该高维空间中，映射后的候选样本

能够被映射的局部字典

稀疏表示，相应的目标函数为：

其中

利用核技巧，不需要知道具体的映射关系

λ为正则化参数，只需要知道两者的内积

该内积可通过核函数

隐式给出。相应的，通过核函数

定义出核矩阵

因此，将上式整理可得：

其中

以及

通过拉格朗日乘子法，其拉格朗日函数为

利用

关于c的偏导为0，即：

从而可以求出候选样本y所对应的局部编码系数：

c＝β[K_BB-2K_By1^T+λE]^-11

其中E为单位阵。在本实验中，k取为8，候选样本数为600个，λ取为1。

获取每个候选样本的重构误差并选取置信度最大的作为跟踪结果，具体的：

把编码系数c，局部字典B分解为与正负字典有关的两部分，即c＝[c⁺,c^-]和B＝[B⁺,B^-]。每个样本y关于局部正字典集合的重构误差如下：

类似的，样本y关于局部负字典集合的重构误差为

因此，该样本的置信度h如下：

其中α为归一化系数，设定为2.5，C为一常数避免分母为0，设置为0.01。

S104、根据候选样本的置信度，确定目标跟踪结果。

本实施例中，可以根据所述候选样本的置信度，选取置信度最高的样本作为目标跟踪结果。

获取每个候选样本的重构误差并选取置信度最大的作为跟踪结果，具体的：

另外，在步骤S104之后，还可以根据目标跟踪结果，利用稀疏字典选择机制对所述正字典集合进行更新。

建立稀疏字典选择机理的目标更新模型，从若干跟踪结果中选取可靠的(reliable)、有代表性的(representative)结果，用以更新目标表观模型。本发明将模型跟新问题转化为一个稀疏字典选择技术，具体如下：

其中数据矩阵

是由过去N_s个跟踪结果组成，d为特征维度。S为选择矩阵，h_i为第i个跟踪结果的置信度。范数

代表的是每行的l₂范数之和，ρ为一常数避免分母为0，设定为0.01。第二项δTr(S^TLS)为图正则光滑项，L为拉普拉斯矩阵，L＝D-W，其中D为对角阵，D_ii＝∑_jW_ij，W为权值矩阵，定义如下：

通过求解该优化问题，可以得到相应的选择矩阵S，选择数值最大的行和所对应的行，即：

从而利用对应的跟踪结果x_p进行更新。N_s取为6，d为1024维，σ＝0.25。

本发明利用核技巧，将原始空间局部编码问题映射到一个非线性特征空间中进行编码，在该高维特征空间中进行处理，可以有效的克服传统线性表示模型的局限性。此外，针对于目标更新问题，相比于传统的“无差别”更新，或固定参数比例更新，本发明利用稀疏字典选择机制，可以从跟踪结果中选出可靠的、有代表性的跟踪结果对目标表观模型进行更新，有效的避免了跟踪结果不准确对表观模型的不利影响。

本发明的效果通过以下实验进一步说明。

实验条件

本实验采用Object Tracking Benchmark(OTB)标准测试视频图像序列作为实验数据.实验环境为MATLAB R2015b,Intel i5-6500 CPU(3.20GHz)内存16GB.

实验内容

本发明从定性和定量两个角度对本发明所提出的跟踪方法进行验证。

定性实验结果

本发明从OTB标准测试视频图像序列选取5个代表性数据集，包括soccer、carDark、carScale、tiger1以及skating，囊括了人脸的跟踪、车辆的跟踪、物体的跟踪和行人跟踪，在关键帧上的跟踪结果如图2～图6所示。

从视频序列soccer可以看出，即使存在较大抖动，运动员人脸已模糊，遮挡情形较为严重的条件下，本发明所提出的跟踪方法没有采用传统的更新方式，而是采用基于稀疏字典选择机制进行自适应更新，从而稳健的跟踪目标，验证了本发明所提出方法的有效性；针对于视频序列carDark黑夜条件下光照不足，图像质量不清晰等不利因素，本发明所提出的基于核化局部编码模型可以有效的捕捉目标与背景的差异性，从而准确定位目标。此外，本方法针对尺度变化(carScale)、目标形态变化(tiger1)、人体姿态变化(skating)等诸多挑战，本发明所提出的方法依旧取得了较好的跟踪效果。

定量分析

本发明采用OTB标准测试序列进行定量分析，该标准测试序列包括51个视频序列场景，其中每个视频的每一帧图像均经过了标注，从而进行定量分析。所对比的方法采用目前广泛使用的DSST,KCF,ASLA,STRUCK,CSK这5种跟踪方法。评价指标包括平均中心定位误差(Mean Center Location Error，MCLE)和平均重叠率(Mean Overlap Rate，MOR)，中心误差定义如下：

其中，(x′,y′)表示通过跟踪方法得到每一帧中目标的中心点坐标，(x,y)表示在场景中真实位置的中心点坐标。中心定位误差值越小，说明在当前帧的跟踪性能越好。由于基于中心定位误差的评价方法只考虑目标中心的定位精度，而忽略了目标旋转、尺度等变化，比如跟踪方法有时候能跟踪上目标的中心点但不能有效地捕获目标尺度变化，因此只采用中心定位误差准则并不能充分评估当前跟踪方法的有效性和准确性。重叠率OR定义如下：

其中，ROI_T为跟踪方法的跟踪矩形框，ROI_G为场景中目标真实所在的矩形区域。由以上定义可以看出，重叠率的取值都在0 1之间，当结果越接近0时表明其结果与真实值的偏差越大，反之则越接近目标的真实区域。该指标可以有效的克服只采用中心定位误差准则不能充分评估方法的不利影响。求取得到每一帧图像上的CLE和OR后，对整个视频序列长度取平均，即可得到在一个视频序列的平均中心定位误差和平均重叠率。对OTB标准测试序列中51个视频序列取平均后，得到实验结果如表1所示：

表1.不同跟踪方法在OTB标准测试序列上的MCLE和MOR对比，其中最好的实验结果加粗表示

从表1的结果可以看出，本发明所提出的跟踪方法取得了30.1的平均中心定位误差(像素)和56.2％是平均重叠率。相比于其他跟踪方法，该定量数值说明，本发明所提出的跟踪方法在OTB上跟踪结果更好，能够应对多种不同类型的视频场景，具有较强的鲁棒性。

需要说明的是，本发明提供的所述目标跟踪方法中的步骤，可以利用所述目标跟踪系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种目标跟踪方法，其特征在于，包括：

根据获取的第一帧图像，构建正字典集合、负字典集合；

对后续帧图像进行随机采样，获得若干图像块作为候选样本；

根据所述候选样本、正字典集合及负字典集合，获取所述候选样本的置信度；

根据所述候选样本的置信度，确定目标跟踪结果；

根据所述候选样本、正字典集合及负字典集合，获取所述候选样本的置信度，包括：

将任一候选样本y在高维空间的映射记为

获取候选样本y在正字典集合的k个临近图像块，构建所述候选样本y的局部正字典集合B⁺，并获取所述局部正字典集合B⁺的高维空间

根据所述候选样本y在高维空间的映射

和局部正字典集合B⁺在高维空间的映射

获取候选样本y与局部正字典集合B⁺的重构误差ε⁺；

根据所述候选样本y在负字典集合的k个临近图像块，构建所述候选样本y的局部负字典集合B^-，并获取所述局部正字典集合B^-的高维空间

根据所述高维空间

和高维空间

获取候选样本y与局部负字典集合B^-的重构误差ε^-；

根据所述重构误差ε⁺和重构误差ε^-，获取候选样本y的置信度。

2.根据权利要求1所述的目标跟踪方法，其特征在于，根据获取的第一帧图像，构建正、负字典集合，包括：

确定所述第一帧图像中的目标中心位置I(x,y)；

根据所述目标中心位置I(x,y)为圆心，且在预设半径范围内采样得到的若干图像块构建正字典集合；

根据所述目标中心位置I(x,y)为圆心，且在预设半径范围以外采样得到的若干图像块构建负字典集合。

3.根据权利要求2所述的目标跟踪方法，其特征在于，所述正字典集合中图像块的采样公式如下：

其中，I_i为第i个图像块的中心位置，R_r为搜索区域半径，p为正字典集合中图像块的数量；

所述负字典集合中图像块的采样公式如下：

其中，I_j为第j个图像块的中心位置，R_r为搜索区域半径，R_s为外部搜索区域半径，j＝1,2,…,n；n为负字典集合中图像块的数量。

4.根据权利要求1所述的目标跟踪方法，其特征在于，所述重构误差ε⁺如下：

其中，c⁺为第y个候选样本与局部正字典集合对应的局部编码系数；

表示向量L2范数运算；

所述重构误差ε^-如下：

其中，c^-为候选样本y与局部负字典集合B^-对应的局部编码系数；

所述候选样本y的置信度h如下：

其中，α为归一化系数，C为一常数避免分母为0。

5.根据权利要求1所述的目标跟踪方法，其特征在于，根据所述候选样本的置信度，确定目标跟踪结果，包括：

根据所述候选样本的置信度，选取置信度最高的样本作为目标跟踪结果。

6.根据权利要求1所述的目标跟踪方法，其特征在于，还包括：

根据目标跟踪结果，利用稀疏字典选择机制对所述正字典集合进行更新。

7.一种目标跟踪系统，其特征在于，包括：处理器和存储器，其特征在于，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行权利要求1-6中任一项所述的目标跟踪方法。

Images