CN109255321A - 一种结合历史与即时信息的视觉追踪分类器构建方法 - Google Patents

Abstract

本发明公开了一种结合历史与即时信息的视觉追踪分类器构建方法，首先根据前一帧中所获得的前景样本和背景样本分布情况，得到当前帧中候选样本中的前景样本，然后将前景样本与追踪目标样本历史均值进行比较，根据二者相似性判断前景样本是追踪目标样本的可能性，将可能性最高的前景样本作为当前帧的追踪目标样本，最后，基于历史加权平均方式，根据历史上追踪目标样本的均值和当前帧追踪目标样本即时更新追踪目标样本均值。在更新过程中，进一步提出一种自适应动态调整权值，动态调整权值，使得在目标变化剧烈时，目标特征的历史均值能即时反映近期目标的特征变化情况，而在目标变化平缓时，目标特征的历史均值计算更依赖历史上追踪目标的特征分布情况。

Description

一种结合历史与即时信息的视觉追踪分类器构建方法

技术领域

本发明属于计算机技术领域，更为具体地讲，涉及一种结合历史与即时信息的视觉追踪分类器构建方法

背景技术

视觉追踪具有广泛的应用前景，如何在复杂的环境变化中识别到追踪目标是视觉追踪的主要任务。

在每一帧图像的视觉追踪中，通常会基于某种模型获得若干候选样本，这些候选样本往往具有很大的相似性。现有的一种常见视觉追踪方式是将追踪问题看作是一个分类问题，将追踪目标从众多相似的背景样本中分离出来。因此，如何对候选样本准确分类，以实现准确获取追踪目标，提高视觉追踪的准确率是视觉追踪分类器的主要任务。

发明内容

本发明的目的在于克服现有技术的不足，针对视觉追踪问题，提供一种结合历史与即时信息的视觉追踪分类器构建方法，构建的视觉追踪分类器能够根据历史追踪信息和目标的即时变化，将当前帧的候选样本分为前景样本和背景样本，并进一步能够在前景样本中筛选出追踪目标。

为了实现上述发明目的，本发明结合历史与即时信息的视觉追踪中分类器构建方法，其特征在于，包括如下步骤：

(1)、基于前一帧中所获得的前景样本和背景样本分布情况，将当前帧中的候选样本分为前景样本和背景样本；

1.1)、基于前一帧追踪所获得的若干前景样本及其成为前景样本的概率，计算前景样本中心；基于上前一帧追踪所获得的若干背景样本及其成为背景样本的概率(为1减去其成为前景样本的概率)，计算背景样本的中心；

1.2)、对当前帧追踪所获得的任意一个候选样本，基于其与前景样本中心的相似性及其与背景样本中心的相似性比值，计算该候选样本成为前景样本的概率；

1.3)、根据候选样本成为前景样本的概率，在候选样本中选出若干前景样本和背景样本；

(2)、计算步骤1.3)获得的每一前景样本与追踪目标样本历史均值的相似性，根据相似性判断该前景样本是追踪目标样本的可能性，选择可能性最大的前景样本作为当前帧的追踪目标样本x_t，其中，t表示当前帧，t-1表示前一帧；

(3)、根据历史上和近期追踪目标样本的即时变化情况，自适应动态调整，更新追踪目标样本的特征平均值；

3.1)、采用加权平均的方式，计算前一帧与当前帧追踪窗口位置状态差异Dif(S_t,S_t-1)，其中，S_t为当前帧追踪窗口的位置状态，S_t-1为前一帧追踪窗口的位置状态；

3.2)、计算追踪目标样本的特征差异Dis(x_t,x_t-1),其中，x_t为当前帧追踪目标样本，x_t-1为前一帧追踪目标样本；

3.3)、根据追踪窗口位置差异Dif(S_t,S_t-1)和追踪目标样本的特征差异Dis(x_t,x_t-1)动态调整权值，并基于历史加权平均方式更新追踪目标样本历史均值用于下一帧目标的追踪分类。

本发明的目的是这样实现的。

本发明结合历史与即时信息的视觉追踪分类器构建方法，首先根据前一帧中所获得的前景样本和背景样本分布情况，得到当前帧中候选样本中的前景样本，然后将前景样本与追踪目标样本历史均值进行比较，根据二者相似性判断前景样本是追踪目标样本的可能性，将可能性最高的前景样本作为当前帧的追踪目标样本，最后，基于历史加权平均方式，根据历史上追踪目标样本的均值和当前帧追踪目标样本即时更新追踪目标样本均值。在更新过程中，进一步提出一种自适应动态调整权值，更新追踪目标样本均值的方法。该方法根据近期追踪目标的窗口状态变化情况和目标样本的特征分布变化情况，动态调整权值，使得在目标变化剧烈时，目标特征的历史均值能即时反映近期目标的特征变化情况，而在目标变化平缓时，目标特征的历史均值计算更依赖历史上追踪目标的特征分布情况。

附图说明

图1是本发明结合历史与即时信息的视觉追踪分类器构建方法一种具体实施方式流程图；

图2是本发明追踪窗口实例图，其中，(a)为人脸、(b)为汽车。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明结合历史与即时信息的视觉追踪分类器构建方法一种具体实施方式流程图。

在本实施例中，如图1所示，本发明结合历史与即时信息的视觉追踪分类器构建方法包括以下步骤：

步骤S1：基于前一帧中所获得的前景样本和背景样本分布情况，将当前帧中的候选样本分为前景样本和背景样本，具体为：

步骤S1.1：基于前一帧追踪所获得的若干前景样本及其成为前景样本的概率，计算前景样本中心；基于上前一帧追踪所获得的若干背景样本及其成为背景样本的概率(为1减去其成为前景样本的概率)，计算背景样本的中心。

在本发明中，当前帧的前一帧追踪中，已经获得了若干前景样本和若干背景样本(步骤S1.3)，设前景样本集为X_f，背景样本集为Y_b。设前景样本集X_f由a个前景样本构成，X_f＝{x₁,x₂,…x_a}，p(x_i)是第i个前景样本x_i成为前景样本的概率，前景样本中心为在本实施例中，采用加权平均方式计算前景样本中心

设背景样本集Y_b由b个背景样本构成，Y_b＝{y₁,y₂,…y_b}，p(y_i)为第i个背景样本y_i成为前景样本的概率，因此y_i是背景样本的概率为1-p(y_i)，设背景样本中心为类似的，背景样本中心的计算也采用加权平均方式：

步骤S1.2：对当前帧追踪所获得的任意一个候选样本，基于其与前景样本中心的相似性及其与背景样本中心的相似性比值，计算该候选样本成为前景样本的概率。

追踪时，任意追踪窗口(追踪窗口示例如图2)位置，对应的图像数据被称为一个样本，此时样本没有经过任何处理，为原始样本，原始样本通常是高维度的，通过对原始样本作特征转换，寻求一个能够尽量将前背景分离的、低维度的特征空间，可以降低计算的复杂性。

为此，假设V为对原始样本进行特征转换的映射矩阵，我们在经过V映射的特征空间中衡量样本间的相似性，对任意样本x_i，在经过V映射的特征空间中将变成V^Tx_i。设sim(x_i,x_j)是任意两个样本x_i与x_j的相似性，采用heat kernel方式计算sim(x_i,x_j)：

当前帧的追踪中，设通过某种候选样本的获取模型，如动态模型(dynamicmodel)，已经获得了若干追踪窗口，从而获得了对应的若干候选样本，设候选样本集为C。对于C中的第k个候选样本c_k，若它与前景样本中心越相似，则它是前景样本的可能性越大，类似的，若它与背景样本中心相似性越大，则它是背景的可能性越大。若的值大，即候选样本c_k与前景样本中心相似性高，与背景样本中心为相似性小，则候选样本c_k是前景的可能性越高，因此，决定任意候选样本c_k成为前景样本的概率p(c_k)为：

其中，n_c为候选样本集C中的候选样本数量。

步骤1.3：根据候选样本成为前景样本的概率，在候选样本中选出若干前景样本和背景样本。

基于候选样本成为前景样本的概率，对候选样本进行分类，即从候选样本集中挑出前景样本和背景样本。取C中成为前景样本的概率最大a个候选样本作为前景样本，构成前景样本集X_f，取成为前景样本的概率最小的b个候选样本作为背景样本，构成背景样本集Y_b。

如式(5)和(6)，其中p(c_a)为把成为前景样本的概率按从大到小排序时的第a个，而p(c_b)为把成为前景样本的概率按从大到小排序时的倒数第b个，则有：

在本步骤获得的前景样本集X_f以及背景样本集Y_b用于下一帧追踪时，计算前景样本以及背景样本的中心。此外，前景样本集X_f用于步骤2，选择当前帧的追踪目标样本x_t。

步骤S2：计算步骤S1.3获得的每一前景样本与追踪目标样本历史均值的相似性，根据相似性判断该前景样本是追踪目标样本的可能性，选择可能性最大的前景样本作为当前帧的追踪目标样本x_t，其中，t表示当前帧，t-1表示前一帧。

对于当前帧，追踪目标样本历史均值为的更新见步骤S3。在步骤S2中，基于前景样本与追踪目标样本历史均值的相似性，判断在1.3中所获得的X_f中前景样本是追踪目标的可能性。对前景样本集X_f中的任意一个前景样本x_i，与追踪目标样本历史均值比较，前景样本x_i是追踪目标样本的可能性大小为：

最终，选择T(x_i)最大的前景样本为当前帧的追踪目标样本x_t，即：

步骤S3：根据历史上和近期追踪目标样本的即时变化情况，自适应动态调整，更新追踪目标样本的特征平均值。

步骤S3.1：采用加权平均的方式，计算前一帧与当前帧追踪窗口位置状态差异Dif(S_t,S_t-1)，其中，S_t为当前帧追踪窗口的位置状态，S_t-1为前一帧追踪窗口的位置状态。

在每一次追踪时，通过追踪窗口来界定追踪目标，设S_t＝(u_t,v_t,w_t,h_t,q_t)为当前帧追踪窗口的位置状态，其中(u_t,v_t)为窗口的中心坐标，w_t为窗口宽度，h_t为窗口高度，q_t为窗口旋转角度，如图2(a)、(b)所示。通常，因为视频的连续性，相邻的帧变化较往往小，相邻的帧中追踪目标对应的追踪窗口状态差异也比较小，但是如果目标移动迅速或环境发生剧烈变化，相邻的帧之间追踪窗口状态也可能发生明显变化。如果当前帧追踪窗口的位置状态S_t与前一帧追踪窗口的位置状态S_t-1差异较大，则说明追踪目标移动幅度大或图像发生了较大的漂移。

在本实施例中，前一帧与当前帧追踪窗口位置状态差异Dif(S_t,S_t-1)为：

其中，S_t(l)为当前帧追踪窗口的位置状态S_t的第l个元素，S_t(l)为前一帧追踪窗口的位置状态S_t-1的第l个元素，例如S_t(1)为u_t，Ψ_l为第l个元素的权值。

步骤S3.2：计算追踪目标样本的特征差异Dis(x_t,x_t-1),其中，x_t为当前帧追踪目标样本，x_t-1为前一帧追踪目标样本。

由于视频的连续性，连续的帧之间往往具有很大的相似性，因此在经过特征转化后的目标空间中，当前帧的目标应该与最近一帧的追踪目标具有较大的相似性，但是，目标移动或环境变化也可能导致相邻帧当中的目标特征分布发生较大变化，为此，对追踪目标样本的特征分布变化情况进行判断：当前帧追踪窗口的位置状态S_t对应的当前帧追踪目标样本为x_t，前一帧追踪窗口的位置状态S_t-1对应的前一帧追踪目标样本为x_t-1，通过判断x_t与x_t-1的特征差异，可以观察目标的特征的变化情况。在本实施例中，x_t与x_t-1的特征差异基于欧氏距离可得：

x_t(q)为当前帧追踪目标样本x_t中的第q个像素值，x_t-1(q)为前一帧追踪目标样本x_t-1中的第q个像素值。

步骤S3.3：根据追踪窗口位置差异Dif(S_t,S_t-1)和追踪目标样本的特征差异Dis(x_t,x_t-1)动态调整权值，并基于历史加权平均方式更新追踪目标样本历史均值，得到新的追踪目标样本历史均值用于下一帧目标的追踪。

本发明采用基于历史和近期追踪目标特征分布，即时更新历史追踪目标均值的方法。x_t为对当前帧追踪所获得的目标样本，每一次追踪结束后，更新追踪目标样本历史均值为：

为本次更新前的目标样本均值，从式(11)看出，的更新采用了历史加权平均方式，α_t为权值参数，0≤α_t≤1，通过调节权值参数α_t的大小，可以控制最近追踪目标和历史追踪目标的特征分布对追踪结果的影响，控制方式如下：

视频由连续的若干帧组成，如前所述，因为视频的连续性，相邻的帧变化较往往小，但有时受环境和目标变化影响，如光线变化、障碍物遮挡、视觉漂移、目标移动和旋转等原因，相邻的帧之间也可能发生明显变化。为此，本发明提出一种自适应调整α_t的大小的方法，该方法通过近期追踪目标窗口位置或追踪样本特征分布变化幅度，判断近期追踪目标的变化程度，并根据目标的变化程度对α_t作即时调整，如式(12)：

其中α_t-1和α_t分别为更新前(前一帧使用的)和更新后(当前帧使用的)的权值参数，λ为调整因子，0<λ<1，th_f为窗口状态变化的阀值，th_d为样本特征变化的阀值。当Dif(S_t,S_t-1)≥th_f或Dis(x_t,x_t-1)≥th_d时，近期追踪窗口状态或追踪目标特征变化幅度较大，此时增加α_t为α_t-1(1+λ)，若α_t-1(1+λ)超过1则更新α_t为1，增加权值参数α_t使得通过式(11)更新的过程中，能够重点考虑当前样本x_t的影响。当近期追踪窗口状态和追踪目标特征变化幅度较小时，追踪窗口和追踪样本变化平稳，此时减小α_t为α_t-1(1-λ)，即适当降低权值参数α_t的值，使得通过式(11)更新的过程中，历史上追踪目标样本的特征均值能够被重点考虑。

更新后的将被用在对下一帧的分类中，对下一帧分类时，重复上述步骤S1-S3。

本发明所提出的视觉追踪分类器构建方法，步骤清晰，易于实现，既考虑了历史上的追踪数据，同时也考虑了近期追踪目标的即时变化情况，易于适应动态变化的、复杂的追踪环境，能够为大多数的追踪任务提供一种有效的分类方法。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (7)

1.一种结合历史与即时信息的视觉追踪中分类器构建方法，其特征在于，包括如下步骤：

(1)、基于前一帧中所获得的前景样本和背景样本分布情况，将当前帧中的候选样本分为前景样本和背景样本；

1.1)、基于前一帧追踪所获得的若干前景样本及其成为前景样本的概率，计算前景样本中心；基于上前一帧追踪所获得的若干背景样本及其成为背景样本的概率(为1减去其成为前景样本的概率)，计算背景样本的中心；

1.2)、对当前帧追踪所获得的任意一个候选样本，基于其与前景样本中心的相似性及其与背景样本中心的相似性比值，计算该候选样本成为前景样本的概率；

1.3)、根据候选样本成为前景样本的概率，在候选样本中选出若干前景样本和背景样本；

(2)、计算步骤1.3)获得的每一前景样本与追踪目标样本历史均值的相似性，根据相似性判断该前景样本是追踪目标样本的可能性，选择可能性最大的前景样本作为当前帧的追踪目标样本x_t，其中，t表示当前帧，t-1表示前一帧；

(3)、根据历史上和近期追踪目标样本的即时变化情况，自适应动态调整，更新追踪目标样本的特征平均值；

3.1)、采用加权平均的方式，计算前一帧与当前帧追踪窗口位置状态差异Dif(S_t,S_t-1)，其中，S_t为当前帧追踪窗口的位置状态，S_t-1为前一帧追踪窗口的位置状态；

3.2)、计算追踪目标样本的特征差异Dis(x_t,x_t-1),其中，x_t为当前帧追踪目标样本，x_t-1为前一帧追踪目标样本；

3.3)、根据追踪窗口位置差异Dif(S_t,S_t-1)和追踪目标样本的特征差异Dis(x_t,x_t-1)动态调整权值，并基于历史加权平均方式更新追踪目标样本历史均值用于下一帧目标的追踪分类。

2.根据权利要求1所述的视觉追踪中分类器构建方法，其特征在于，步骤1.1)中，采用加权平均方式计算前景样本中心

采用加权平均方式计算背景样本中心

。

3.根据权利要求1所述的视觉追踪中分类器构建方法，其特征在于，步骤1.2)中，基于任意候选样本c_k与前景样本中心的相似性及其与背景样本中心的相似性比值，计算该候选样本成为前景样本的概率为：

其中，p(c_k)为候选样本c_k成为前景样本的概率，n_c为候选样本集C中的候选样本数量。

4.根据权利要求1所述的视觉追踪中分类器构建方法，其特征在于，步骤1.3)中，所述根据候选样本成为前景样本的概率，在候选样本中选出若干前景样本和背景样本为：取成为前景样本概率最大的a个候选样本作为前景样本，构成前景样本集X_f，取成为前景样本概率最小的的b个候选样本作为背景样本，构成背景样本集Y_b。

5.根据权利要求1所述的视觉追踪中分类器构建方法，其特征在于，步骤(2)中根据相似性判断该前景样本是追踪目标样本的可能性为：

其中，为追踪目标样本历史均值，x_i为前景样本集X_f中的任意一个前景样本。

6.根据权利要求1所述的视觉追踪中分类器构建方法，其特征在于，步骤3.1)中，前一帧与当前帧追踪窗口位置状态差异Dif(S_t,S_t-1)为：

其中，S_t(l)为当前帧追踪窗口的位置状态S_t的第l个元素，S_t(l)为前一帧追踪窗口的位置状态S_t-1的第l个元素，Ψ_l为第l个元素的权值，位置状态包括5个元素即窗口的中心坐标、窗口宽度、窗口高度、窗口旋转角度。

7.根据权利要求1所述的视觉追踪中分类器构建方法，其特征在于，步骤3.3)中，根据追踪窗口位置差异Dif(S_t,S_t-1)和追踪目标样本的特征差异Dis(x_t,x_t-1)动态调整权值，并基于历史加权平均方式更新追踪目标样本历史均值为：

为本次更新前的目标样本均值，α_t为权值参数，0≤α_t≤1，通过调节权值参数α_t-1的大小为：

其中,α_t-1和α_t分别为更新前(前一帧使用的)和更新后(当前帧使用的)的权值参数，λ为调整因子，0<λ<1，th_f为窗口状态变化的阀值，th_d为样本特征变化的阀值。