CN107301657A - 一种考虑目标运动信息的视频目标跟踪方法 - Google Patents

Abstract

一种考虑目标运动信息的视频目标跟踪方法，包括步骤：通过状态转移模型估计目标的运动状态并获得候选样本，用于后续样本位置权重分配与置信度决策，以得到准确目标；通过位置权重分配模型提出一种假设的概率分布，给处于不同位置的样本分配权重，计算获得样本位置因子，用于后续的置信度决策；通过置信度决策模型参考每个候选样本的位置因子计算每个样本的置信度，并选择置信度最大的样本作为目标；通过自适应模板更新模型根据目标运动状态的不同采用不同的更新策略对模板进行更新。本发明将目标的运动信息充分融入目标跟踪算法中，尤其当目标运动速度较快时，有针对性的获取样本、分配权重、决策和更新方式有效的提高了跟踪的效率，应用价值高。

Description

一种考虑目标运动信息的视频目标跟踪方法

技术领域

本发明属于目标跟踪技术领域，具体涉及一种考虑目标运动信息的视频目标跟踪方法。

背景技术

运动目标跟踪是计算机视觉领域的一个重要研究方向，广泛应用于安全监控、视觉导航及军事事件处理等领域。视频目标跟踪的主要任务是跟踪图像序列中人们关注的运动目标。在实际的跟踪过程中，目标会发生尺度变化、形变和旋转等形态改变，或是受到背景丛簇，遮挡和光照等外界因素的干扰，同时也会有目标自身运动状态变化的情况，给目标的准确跟踪带来挑战。

针对上述技术问题，为了更准确的跟踪目标，现有的视频目标跟踪算法多采用粒子滤波框架下的基于稀疏表示的跟踪方法。然而这种方法多关注于目标本身特征或遮挡、光照等外界因素对目标特征带来的影响，忽略了目标的运动特性，没有考虑目标的实际运动状态信息。尤其在目标发生快速运动时，粒子滤波框架下简单高斯无预测的状态转移模型可能导致在目标会出现的方位没有候选样本，同时在决策时忽视目标运动信息带来的不同方位样本的权重不同，最终带来目标跟踪的失败。

发明内容

针对目前粒子滤波框架下基于稀疏表示的目标跟踪方法的不足，本发明的目的在于提出了一种考虑目标运动信息的视频目标跟踪方法，该方法充分考虑目标的运动信息，获得有针对性的候选样本，根据样本所处方位不同分配权重并提出位置因子用于决策，提出基于目标运动信息的决策模型和自适应的更新策略，以提高跟踪的准确性。

为达到上述目的，本发明采取如下的技术方案来实现：

一种考虑目标运动信息的视频目标跟踪方法，包括以下步骤：

1)通过状态转移模型估计目标的运动状态并获得候选样本，用于后续样本位置权重分配与置信度决策，以得到准确目标；

2)将获得的候选样本输入位置权重分配模型，该模型中提出一种假设的概率分布，给处于不同位置的样本分配权重，计算获得样本位置因子，用于后续的置信度决策；

3)将得到的样本位置因子输入置信度决策模型，并参考稀疏判别式分类器整体表征得到的整体响应与稀疏生成式模型得到的局部响应计算每个样本的置信度，选择置信度最大的样本作为当前帧目标；

4)通过自适应模板更新模型根据当前帧目标运动状态的不同采用不同的更新策略对模板进行更新。

本发明进一步的改进在于，状态转移模型中，先利用简单高斯无预测模型获得n₁个候选样本，再在此基础上根据运动信息预测的目标运动状态，获得n₂个有针对性的候选样本，共得到n₁+n₂个候选样本，其中，100≤n₁≤250，210≤n₂≤350，310≤n₁+n₂≤600。

本发明进一步的改进在于，估计目标的运动状态，该运动状态的估计包括目标可能出现的7个运动方向的估计和目标运动距离的估计：

估计第t帧目标的7个可能出现的方向角为其中n为大于等于1小于等于7的非负整数，θ_t-1为第t-1帧目标的运动方向，估计的第t帧目标相对于第t-1帧目标的运动距离为其中距离变化率w_t为估计的第t帧目标运动距离与第t-1帧目标运动距离的比值。

本发明进一步的改进在于，根据估计的目标运动状态，获得n₂个候选样本，具体为：

在n₁个基础样本中筛选出估计的7个运动方向上的基准样本，在每个估计的运动方向上以基准样本为原点均匀的以l_t/u为间隔获得u个候选样本，共7u个候选样本，其中，30≤u≤50。

本发明进一步的改进在于，位置权重分配模型中提出的一种假设的双高斯概率分布，如下：

(1)目标出现在θ_t-1方向上的概率最大，出现在θ_t-1±π方向的概率最小，角度服从高斯分布；

(2)在θ_t-1方向上，目标出现在距离上一帧目标处的概率最大，出现在处的概率小，距离服从高斯分布；

(3)在θ_t-1±π的方向上，目标出现在上一帧目标处的概率最大，出现在距离上一帧目标±∞处的概率小；

(4)每一个方向θ上，都存在一个距离，定义为概率最大距离值l_θ，使得目标在该方向θ上出现在距离上一帧目标l_θ上的概率最大，出现在l_θ±∞处的概率最小。

本发明进一步的改进在于，样本的位置因子计算，其计算方法如下：

根据提出的一种假设的双高斯概率分布，计算样本的角度分数S_A、基于方向角的概率最大距离值与距离分数S_l，并将角度分数与距离分数相乘得到样本的位置因子F＝S_AS_l。

本发明进一步的改进在于，计算样本的角度分数S_A，计算方法如下：

根据假设，角度服从高斯分布，每个样本相对于第t-1帧目标中心的方位角不同，将该方位角代入提议的概率分布，得到角度分数S_A。

本发明进一步的改进在于，计算样本的距离分数S_l，计算方法如下：

根据每个样本相对于第t-1帧目标中心的方位角不同，计算概率最大距离值；根据该概率最大距离值，建立距离的高斯分布；根据每个样本相对于第t-1帧目标中心的距离不同，将该距离代入提议的概率分布，得到距离分数S_l。

本发明进一步的改进在于，在置信度决策模型中，样本的置信度由位置因子、稀疏判别式分类器得到的整体响应与稀疏生成式模型得到的局部响应相乘得到。

本发明进一步的改进在于，在自适应模板更新模型中，对目标特征正模板，采用如下的方式进行更新：

每隔5帧，当t-1帧目标相对于t-2帧目标运动距离大于20个像素值时，更新5个目标特征正模板，其余情况不更新目标特征正模板。

本发明具有以下的有益效果：

本发明提出了一种考虑目标运动信息的视频目标跟踪方法，将运动信息融入状态转移模型获得有针对性的候选样本，改善了过多无效样本带来的无意义计算量增加的情况，同时充分利用运动信息，根据目标方位不同分配权重获得候选样本位置因子用于置信度决策模型以提高决策的准确率，最后考虑到目标运动剧烈时带来的目标形态改变，当目标运动矢量较大时，动态更新目标特征正模板集以更准确的表示目标来适应目标外观变化，提高了目标跟踪的准确率与成功率。

进一步，状态转移模型考虑了目标的运动信息，估计目标可能出现的方位，为有针对性的获取候选样本提供依据，使得样本尽可能的被选取在目标的周围。

进一步，位置权重分配模型中提出的假设双高斯概率分布模拟目标运动趋势，依据此概率分布得到各候选样本的位置因子值，该值可近似估计目标出现在某位置的概率。

进一步，置信度决策模型中考虑样本的位置因子，也就是考虑目标的运动信息，同时参考了稀疏判别式分类器整体表征得到的整体响应与稀疏生成式模型得到的局部响应，有助于更准确的决策出目标。

进一步，在目标运动速度较快时，必然会带来目标外观的变化，适当的通过自适应模板更新模型更新正模板集有助于更准确的表示目标。

综上所述，本发明将目标的运动信息充分融入目标跟踪算法中，尤其当目标运动速度较快时，有针对性的获取样本、分配权重、决策和更新方式有效的提高了跟踪的效率，具有良好的应用价值。

此外，通过对本发明与现有的在粒子滤波框架下基于稀疏表示的目标跟踪算法SCM在Benchmark中的50个视频上进行了比较。测试结果发现，本发明在阈值为20的准确率为0.690，成功率AUC为0.513。尤其在快速运动这类视频上，本发明相较SCM算法的准确率提升了9.3％，成功率提升了6.1％。可以明显看出，本发明有效的提高了目标跟踪的准确率和成功率。

附图说明

图1为本发明中考虑目标运动信息的视频目标跟踪方法示意图。

图2为本发明中状态转移模型流程图。

图3为本发明中位置权重分配模型流程图。

图4位本发明中自适应模板更新模型流程图。

图5为实验得到的本发明与其他七种现有算法基于50个标准视频的跟踪准确率图(图中本发明用M表示)。

图6为实验得到的本发明与其他七种现有算法基于50个标准视频的跟踪成功率图(图中本发明用M表示)。

图7为实验得到的本发明与其他七种现有算法基于17个具有快速运动特性标准视频的跟踪准确率图(图中本发明用M表示)。

图8为实验得到的本发明与其他七种现有算法基于17个具有快速运动特性标准视频的跟踪成功率图(图中本发明用M表示)。

具体实施方式

下面结合附图对本发明进行详细阐述：

如图1所示，本发明一种考虑目标运动信息的视频目标跟踪方法，包括以下几个步骤：

1)通过状态转移模型预测目标的运动状态并获得候选样本，用于后续样本位置权重分配与置信度决策，以得到准确目标；

2)通过位置权重分配模型提出一种假设的概率分布，给处于不同位置的样本分配权重，计算获得样本位置因子，用于后续的置信度决策；

3)通过置信度决策模型根据每个候选样本的权重因子与稀疏判别式分类器整体表征得到的整体响应与稀疏生成式模型得到的局部响应，计算每个样本的置信度，并选择置信度最大的样本作为目标；

4)通过自适应模板更新模型根据目标运动状态的不同采用不同的更新策略对模板进行更新。

如图2所示，状态转移模型中，先通过简单高斯无预测模型获得250个基础候选样本，并再在此基础上根据运动信息预测的目标运动状态，获得350个有针对性的候选样本。共得到600个候选样本。

以跟踪t帧的目标为例，候选样本具体获取方式如下：

(1)获得250个基础候选样本

已知t-1帧目标跟踪结果，每个样本的状态变量通过六参数的仿射变换模型来表示。假设状态转移方程服从高斯分布，通过高斯扰动推断目标在当前帧的状态，获得250个基础候选样本。

X_t＝X_t-1+X_Gauss

(2)候选样本的运动矢量获取

分别计算250个候选样本相对于t-1帧跟踪目标的中心坐标差，并转换为极坐标形式。如下：

其中(x_t-1,y_t-1)表示第t-1帧目标中心坐标，(x_n,y_n)表示第n个候选样本的中心坐标表示，(θ_n,l_n)为第n个样本与第t-1帧目标之间的中心坐标差的极坐标表示，其中涵盖了运动矢量信息，包括方向信息和距离信息。

(3)t帧目标运动状态估计

t帧目标运动状态估计，包括运动方向估计和运动距离估计，具体如下：

A.方向估计

若第t-1帧目标相对于第t-2帧目标的运动方向为θ_t-1，那么近似的估计第t帧目标相对于第t-1帧目标的运动方向也接近于θ_t-1。为防止角度估计偏差过大，设置θ_t-1±30°的范围角，并在该范围角中均匀选取7个角度，也就是以θ_t-1为中心，正负每隔10度取一个角作为目标可能出现的运动方向角，估计的7个可能出现的方向角如下：

其中n为大于等于1小于等于7的非负整数。

B.距离估计

估计目标可能出现的方向后，再根据t帧之前三帧目标的运动信息估计目标的运动距离，并以250个高斯无预测候选样本为基础，在估计的方向上均匀且广泛的获得更多候选样本。

1)前序帧的运动信息获取。

假设已经获得了t帧之前三帧的目标中心坐标。根据运动的一致性利用这三帧目标之间的相对运动距离近似估计第t帧目标相对于第t-1帧目标的相对运动距离。计算相邻两帧之间的中心坐标差并转换为极坐标形式。具体计算如下：

2)第t帧目标运动距离估计

近似估计第t帧目标相对于第t-1帧目标的运动距离l_t与l_t-1的比值与l_t-1/l_t-2成正比，并定义该比值为第t帧目标的距离变化率w_t。为防止估计时偏差过大，参考第t-1帧目标的距离变化率并以增量更新的方式修正估计偏差更新w_t，如下。

其中α取值0.6。

根据t帧的距离变化率估计第t帧相对t-1帧的运动距离为：

3)基准样本的筛取

近似估计得到第t帧目标相对第t-1帧目标的方向和距离后，在250个无预测得到的候选样本基础上有目的根据估计的运动信息获得候选样本，具体实现如下：

首先在250个基础候选样本中筛选出估计的7个方向上样本，并分别找到每个方向上距离第t-1帧目标最远的样本作为该方向上的基准样本，如下：

规定，若缺少第n个方向上的基准时，人为构造该方向上的基准为(θ_tn,0)。

(4)基于运动估计的候选样本的获取

分别估计这7个方向上，从基准开始，每隔l_t/50的距离放置一个候选样本，也就是每个方向上从基准开始多放置50个候选样本，共350个带有运动信息的候选样本，其极坐标表示形式如下：

其中n为1到7的正整数，s为1到50的正整数。

至此获得所有600个候选样本。

如图3所示，位置权重分配模型中，提出一种假设的双高斯概率分布(假设相对于第t-1帧目标方位提出)如下

(1)目标出现在θ_t-1方向上的概率大，出现在θ_t-1±π方向的概率小，角度服从高斯分布；

(2)在θ_t-1方向上，目标出现在距离上一帧目标处的概率最大，出现在处的概率小，距离服从高斯分布；

(3)在θ_t-1±π的方向上，目标出现在上一帧目标处的概率最大，出现在距离上一帧目标±∞处的概率小；

(4)每一个方向θ上，都存在一个距离，定义为概率最大距离值l_θ，使得目标在该方向θ上出现在距离上一帧目标l_θ上的概率最大，出现在l_θ±∞处的概率最小。

根据该假设分布给处于不同方位的样本分配权重，该权重由角度分数和距离分数组成并作为样本的位置因子，具体实现如下：

(1)角度分数。根据假设，角度服从高斯分布，每个样本相对于第t-1帧目标中心的方位角不同，计算样本的角度分数：

其中，均为常数。

(2)概率最大距离值。根据假设，在θ_t-1方向上目标出现在距离上一帧目标处的概率最大，在θ_t-1±π的方向上，目标出现在上一帧目标处的概率最大。角度θ和该方向上目标出现概率最大的距离值l_θ一一对应，θ作为变量，l_θ作为因变量，二者存在下式所示关系，

其中均为常数。

(3)距离分数。根据假设，在方向θ上，出现在距离上一帧目标l_θ上的概率最大，出现在l_θ±∞处的概率最小。因此，我们估计了服从高斯分布的距离分数。则方向为θ，距离上一帧目标距离为l_n样本的距离分数为：

其中均为常数

(4)位置因子。

综上，将角度分数与距离分数相乘得到候选样本的位置因子，如下：F＝S_AS_l

置信度决策模型中，用于根据每个候选样本的权重因子计算每个样本的置信度，并选择置信度最大的样本作为目标。具体实现如下。

(1)由稀疏表示的方法求得各样本的初始响应值H，初始响应值是稀疏判别式分类器整体表征得到的整体响应与稀疏生成式模型得到的局部响应相乘得到的结果；

(2)计算样本的置信度p为

pⁱ＝Fⁱ×Hⁱ1≤i≤600

其中F为该样本的位置因子，H为该样本的初始响应值，i为候选样本序号；

(3)选择置信度p最大的样本t帧跟踪目标。

如图4所示，自适应模板更新模型中，适应目标由于快速运动带来的目标形态改变，具体实现如下：

(1)如果mod(t,5)＝0成立，当l_t-1＞20时，更新5个正模板；

(2)如果mod(t,5)＝0成立，当l_t-1≤20时，不更新正模板；

(3)如果mod(t,5)＝0不成立，不更新模板。

为了测试本发明对于目标跟踪的有效性，对本发明与现有的在粒子滤波框架下基于稀疏表示的目标跟踪算法SCM在Benchmark中的50个视频上进行了比较。测试结果发现，本发明在阈值为20的准确率为0.690，成功率AUC为0.513。尤其在快速运动这类视频上，本发明相较SCM算法的准确率提升了9.3％，成功率提升了6.1％。可以明显看出，本发明有效的提高了目标跟踪的准确率和成功率。同时还与其它七种经典算法进行了对比，发现不论在成功率上还是准确率上都位于第一，说明本发明提出的视频目标跟踪方法有良好的性能。

Claims (10)

1.一种考虑目标运动信息的视频目标跟踪方法，其特征在于，包括以下步骤：

1)通过状态转移模型估计目标的运动状态并获得候选样本，用于后续样本位置权重分配与置信度决策，以得到准确目标；

2)将获得的候选样本输入位置权重分配模型，该模型中提出一种假设的概率分布，给处于不同位置的样本分配权重，计算获得样本位置因子，用于后续的置信度决策；

3)将得到的样本位置因子输入置信度决策模型，并参考稀疏判别式分类器整体表征得到的整体响应与稀疏生成式模型得到的局部响应计算每个样本的置信度，选择置信度最大的样本作为当前帧目标；

4)通过自适应模板更新模型根据前序帧目标运动状态的不同采用不同的更新策略对模板进行更新。

2.根据权利要求1所述的一种考虑目标运动信息的视频目标跟踪方法，其特征在于，状态转移模型中，先利用简单高斯无预测模型获得n₁个候选样本，再在此基础上根据运动信息预测的目标运动状态，获得n₂个有针对性的候选样本，共得到n₁+n₂个候选样本，其中，100≤n₁≤250，210≤n₂≤350，310≤n₁+n₂≤600。

3.根据权利要求2所述的一种考虑目标运动信息的视频目标跟踪方法，其特征在于，估计目标的运动状态，该运动状态的估计包括目标可能出现的7个运动方向的估计和目标运动距离的估计：

估计第t帧目标的7个可能出现的方向角为其中n为大于等于1小于等于7的非负整数，θ_t-1为第t-1帧目标的运动方向，估计的第t帧目标相对于第t-1帧目标的运动距离为其中距离变化率w_t为估计的第t帧目标运动距离与第t-1帧目标运动距离的比值。

4.根据权利要求3所述的一种考虑目标运动信息的视频目标跟踪方法，其特征在于，根据估计的目标运动状态，获得n₂个候选样本，具体为：

在n₁个基础样本中筛选出估计的7个运动方向上的基准样本，在每个估计的运动方向上以基准样本为原点均匀的以l_t/u为间隔获得u个候选样本，共7u个候选样本，其中，30≤u≤50。

5.根据权利要求4所述的一种考虑目标运动信息的视频目标跟踪方法，其特征在于，位置权重分配模型中提出的一种假设的双高斯概率分布，如下：

(1)目标出现在θ_t-1方向上的概率最大，出现在θ_t-1±π方向的概率最小，角度服从高斯分布；

(2)在θ_t-1方向上，目标出现在距离上一帧目标处的概率最大，出现在处的概率小，距离服从高斯分布；

(3)在θ_t-1±π的方向上，目标出现在上一帧目标处的概率最大，出现在距离上一帧目标±∞处的概率小；

(4)每一个方向θ上，都存在一个距离，定义为概率最大距离值l_θ，使得目标在该方向θ上出现在距离上一帧目标l_θ上的概率最大，出现在l_θ±∞处的概率最小。

6.根据权利要求5所述的一种考虑目标运动信息的视频目标跟踪方法，其特征在于，样本的位置因子计算，其计算方法如下：

根据提出的一种假设的双高斯概率分布，计算样本的角度分数S_A、基于方向角的概率最大距离值与距离分数S_l，并将角度分数与距离分数相乘得到样本的位置因子F＝S_AS_l。

7.根据权利要求6所述的一种考虑目标运动信息的视频目标跟踪方法，其特征在于，计算样本的角度分数S_A，计算方法如下：

根据假设，角度服从高斯分布，每个样本相对于第t-1帧目标中心的方位角不同，将该方位角代入提议的概率分布，得到角度分数S_A。

8.根据权利要求6所述的一种考虑目标运动信息的视频目标跟踪方法，其特征在于，计算样本的距离分数S_l，计算方法如下：

根据每个样本相对于第t-1帧目标中心的方位角不同，计算概率最大距离值；根据该概率最大距离值，建立距离的高斯分布；根据每个样本相对于第t-1帧目标中心的距离不同，将该距离代入提议的概率分布，得到距离分数S_l。

9.根据权利要求8所述的一种考虑目标运动信息的视频目标跟踪方法，其特征在于，在置信度决策模型中，样本的置信度由位置因子、稀疏判别式分类器得到的整体响应与稀疏生成式模型得到的局部响应相乘得到。

10.根据权利要求9所述的一种考虑目标运动信息的视频目标跟踪方法，其特征在于，在自适应模板更新模型中，对目标特征正模板，采用如下的方式进行更新：

每隔5帧，当t-1帧目标相对于t-2帧目标运动距离大于20个像素值时，更新5个目标特征正模板，其余情况不更新目标特征正模板。