CN103024349A - 一种基于稀疏限制的mle视频目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于稀疏限制的MLE视频目标跟踪方法，该方法包括如下步骤：选取跟踪目标的前n帧作为初始目标模板库T；采用状态转移模型在当前帧的上一帧图像的周围选择m个样本；计算m个样本像素的权值，选取权值阈值对m个样本的像素进行异常像素筛选；对筛选后的m个样本进行稀疏编码求解，得到样本像素的重建误差；根据观测似然模型，获取m个样本中跟踪目标的最佳状态值，作为当前帧的跟踪结果，在对目标进行跟踪的过程中，根据需要对目标模板库进行更新，用跟踪得到的目标跟踪结果替换目标模板库中的模板。实施本发明的技术方案，具有如下有益效果：提高目标跟踪的准确性和目标跟踪速度。

Description

一种基于稀疏限制的MLE视频目标跟踪方法

技术领域

本发明涉及一种目标跟踪方法，更具体地说，涉及一种基于稀疏限制的MLE视频目标跟踪方法。 

背景技术

目前已经存在基于稀疏编码模型的目标跟踪方法。稀疏编码的基本思想是在给定的模板库T中选取少量的模板来表达待测的目标y,使得y≈Tα，α是稀疏编码系数向量。α的稀疏性可以用l0范数来衡量，但l0范数最小化编程是一个NP-hard的问题。文献1，Mei X,Ling H B.Robust Visual Tracking and Vehicle Classification via Sparse Representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(11):2259-2272。文献2，Han Z J,Jiao J B,Zhang B C,Ye Q X and Liu J Z.Visual Object Tracking via Sample-based Adaptive Sparse Representation[J].Pattern Recognition,2011.44(9):2170-2183。文献1和文献2证明了当解足够稀疏时，l0范数最小化等价于l1范数最小化。因此，稀疏编码问题可以归结为： ${\min }_{\mathrm{\α}}{\left|\right|\mathrm{\α}\left|\right|}_{1}s.t.{\left|\right|y-\mathrm{T\α}\left|\right|}_2^2\≤\mathrm{\ϵ}---\left(1\right)$

式中，ε>0是一个非常小的常数。这个模型表明了稀疏编码的两个限制条件，其中，min_α||α||₁限制了表达信号的稀疏性，而 

限制了表达信号的准确性。 

在目标跟踪的问题中，准确性限制比稀疏性限制更为重要，尤其当目标y发生遮挡，旋转，尺度变化，光照变化等各种异常变化时，模型能否准确的描述目标直接决定跟踪方法的成败与否。 

现有的跟踪方法都是在假设稀疏编码的残差 

服从高斯分布的条件下提出的，而在目标发生异常变化时，这个假设条件并不成立，必然会导致跟踪算法的失败，因此，现有的基于稀疏编码模型的目标跟踪方法存在跟踪不准确的缺陷。 

现有的基于稀疏编码模型的目标跟踪方法在原来的基础上利用11范数求解系数编码，稀疏性限制中的l1范数最小化虽然比l0范数最小化效率高，但不可否认的是l1范数最小化的计算仍然十分耗时。目标跟踪算法与人脸识别算法 不同，人脸识别算法在样本训练的过程中对处理速度没有过多的要求，而目标跟踪算法则不然，处理速度太慢则会直接影响目标跟踪算法的实用价值。很多学者直接将l1范数最小化引入到目标跟踪领域，必然会导致跟踪算法的性能大大降低。因此，现有的基于稀疏编码模型的目标跟踪方法还存在跟踪速度慢的问题。 

发明内容

本发明针对现有基于稀疏编码模型的目标跟踪方法存在跟踪不准确的缺陷和跟踪速度慢的缺陷，而研制一种基于稀疏限制的MLE视频目标跟踪方法。 

一种基于稀疏限制的MLE视频目标跟踪方法，其特征在于，包括如下步骤： 

选取跟踪目标的前n帧作为初始目标模板库T； 

采用服从高斯分布的状态转移模型，选取目标的运动仿射变换参数作为状态变量x_t＝{x_t，y_t,θ_t,s_t,α_t,φ_t}，其中，x_t,y_t分别表示目标在第t帧x，y方向上的平移，θ_t表示目标在第t帧的旋转角度，s_t表示目标在第t帧变化的尺度，α_t表示目标在第t帧变换的纵横比，φ_t表示目标在第t帧的倾斜方向，在当前帧的上一帧图像的周围选择m个样本； 

计算m个样本像素的权值，选取权值阈值对m个样本的像素进行异常像素筛选； 

对筛选后的m个样本进行稀疏编码求解，得到样本像素的重建误差； 

将样本像素的重建误差带入到观测似然模型中，获取m个样本中跟踪目标的最佳状态值，作为当前帧的跟踪结果； 

其中， 

M个样本像素的权值的求取过程为：将初始目标模板库T表示为T＝[r₁；r₂；…;r_d]，其中，r_j∈Rⁿ,j＝1,2,…,d表示初始目标模板库T的第j个行向量，将跟踪结果图像块y写为列向量的形式y＝[y₁；y₂；…;y_d]，其中y_j，j＝1,2,…,d表示图相块y中的第j个像素，则稀疏编码的重建误差为 

其中， 

j＝1,2,…d为第j个像素的重建误差，假设各个像素的重建误差e₁,e₂,...,e_d相互独立且服从相同的分布，概率密度函数为p_θ(e_j)，θ是描述概率密度分布函数特征的参数集，则似然 函数为 

对p_θ(e_j)取负对数，得到f_θ(e_j)＝㏑p_θ(e_j)，则最大似然估计的目标是最大化似然函数L_θ或者最小化目标函数: 

则编码系数向量α的具有稀疏性限制的最大似然解可以写为： 

将其转化带有权重的稀疏编码求解问题： 

式中，W是一个对角矩阵，对角线上的元素W_j,j＝exp(μσ-μe_j ²)/(1+exp(μσ-μe_j ²))表示赋予第j个像素重建误差的权值，μ，σ是正数，再将权值W_j，j的计算公式简化为：W_j,j＝1/(1+1/exp(-βe_j))； 

异常像素的筛选的方法为：给残差较大的像素点分配较小权值，给残差较小的像素点分配较大的权值，设定合理的权值阈值，去掉低于权值阈值的异常像素点； 

所述观测似然模型为 

式中，N(·)表示高斯分布，μ，σ²分别表示高斯分布的均值和方差，d表示目标模板的像素数， 

表示第t帧目标模板第j个像素的重建误差； 

在对目标进行跟踪的过程中，根据需要对目标模板库进行更新，用跟踪得到的目标跟踪结果替换目标模板库中的模板。 

优选地，权值W_j,j的大小被限定在[0,1]之间。 

优选地，在对筛选后的m个样本进行稀疏编码求解时，放宽稀疏性限制，将l1范数最小化转化为l2范数最小化。 

优选地，从第n+1帧开始对跟踪结果依次保存，如果某一帧得到的跟踪结果图像块存在50%以上异常像素点，则舍弃，当跟踪结果积累达到模板库数量的一半时，用新得到的n/2个跟踪结果替换掉原模板库中前n/2帧得到的目标模板。 

实施本发明的技术方案，具有如下有益效果：通过采用状态转移模型在当前帧的上一帧图像的周围选择m个样本后，计算m个样本像素的权值，选取权值阈值对m个样本的像素进行异常像素筛选，来提高目标跟踪的准确性；通过对筛选后的m个样本进行稀疏编码求解时，放宽稀疏性限制，将l1范数最小化转化为l2范数最小化，来提高目标的跟踪速度。 

附图说明

图1是目标模板库中的部分目标模板的示意图； 

图2是本发明的基于稀疏限制的MLE视频目标跟踪方法的流程图。 

具体实施方式

本发明提供一种基于稀疏限制的MLE视频目标跟踪方法，下面对本发明的技术方案进行详细说明。 

因为现有的基于稀疏编码模型的目标跟踪方法都是在假设稀疏编码的残差 

服从高斯分布的条件下提出的，而在目标发生异常变化时，这个假设条件并不成立，必然会导致跟踪算法的失败，所以，现有的基于稀疏编码模型的目标跟踪方法存在跟踪不准确。 

在目标跟踪领域，准确性是首先要保证的前提条件。因此，为了克服现有的基于稀疏编码模型的目标跟踪方法存在跟踪不准确的缺陷，我们对传统的稀疏编码模型中的准确性限制项进行改进。 

当重建误差 

服从高斯分布时，传统的稀疏编码系数解可以写为： 

式中，λ是正则化参数。在目标跟踪的问题中，初始目标模板库T＝[t₁，t₂,…,t_n]∈R^d×n由n个目标模板t_i组成，构成目标模板库.其中，t_i∈R^d,d＞＞n。本方法在实验过程中，取n=20，目标模板的大小取32×32，即d＝1024，部分目标模板如图1所示。当前帧的跟踪结果图像块用y表示，y∈R^d，和目标模板t_i具有相同的尺寸。α＝(α₁,α₂，…,α_n)′∈Rⁿ表示目标的稀疏编码系数向量。公式（2）显然是一个稀疏限制的最小方差估计问题，当目标的重建误差 

服从高斯分布时，公式（2）的解就是最大似然解。 

目标模板库的构建方法如下：手动选取目标的第1帧作为第1个目标模板，根据最短距离法依次选取下一帧直到第n帧作为第2个至第n个目标模板，即在第1帧手动选取待跟踪的目标，初始化仿射变换参数.从第2帧开始在前一帧跟踪结果的周围取K个样本，本实施例选取K=400，将每个样本与前一帧的跟踪结果作差，计算均方差的值，选择均方差最小的样本作为本帧的跟踪结果，取前n帧的跟踪结果作为目标模板库中的初始模板。图1是目标模板库中的部分目标模板的示意图。 

采用状态转移模型在当前帧的上一帧图像的周围选择m个样本，即选取目标的运动仿射变换参数作为状态变量x_t＝{x_t，y_t,θ_t,s_t,α_t,φ_t}，其中，x_t,y_t分别表示目 标在第t帧x，y方向上的平移，θ_t表示目标在第t帧的旋转角度，s_t表示目标在第t帧变化的尺度，α_t表示目标在第t帧变换的纵横比，φ_t表示目标在第t帧的倾斜方向。 

为不失一般性，我们假设状态转移模型服从高斯分布，即： 

p(x_t|x_t-1)＝N(x_t;x_t-1,Ψ)    (10) 

式中，Ψ是一个对角矩阵，对角元素是运动仿射参数的方差 

但在实际应用中，当目标发生遮挡，旋转，尺度变化，光照变化等异常变化时，异常像素的重建误差e并不服从高斯分布，所以还是无法准确的跟踪目标。 

下面对上述模型进行进一步的改进。计算m个样本像素的权值，选取权值阈值对m个样本的像素进行异常像素筛选。 

首先，我们采用行向量的形式将初始目标模板库T重新表示为T＝[r₁；r₂；…;r_d]，其中，r_j∈Rⁿ,j＝1,2,…,d表示初始目标模板库T的第j个行向量。同时，将跟踪结果图像块y写为列向量的形式y＝[y₁；y₂;…;y_d]，其中y_j,j＝1,2,…,d表示图相块y中的第j个像素.则重建误差为 

其中， 

j＝1,2,…d为第j个像素的重建误差。 

假设各个像素的重建误差e₁,e₂,...,e_d相互独立且服从相同的分布，概率密度函数为p_θ(e_j)，θ是描述概率密度分布函数特征的参数集，则似然函数为 为了简化计算，对p_θ(e_j)取负对数，得到f_θ(e_j)=-㏑p_θ(e_j)。则最大似然估计的目标是最大化似然函数L_θ或者 

最小化目标函数: $-\ln L_{\mathrm{\θ}}(e_1,e_2...,e_d)={\mathrm{\Σ}}_{j=1}^n{f}_{\mathrm{\θ}}\left(e_j\right).$

编码系数向量α的具有稀疏性限制的最大似然解可以写为： 

根据推导，公式（3）可以转化带有权重的稀疏编码求解问题： 

式中，W是一个对角矩阵，对角线上的元素W_j,j＝exp(μσ-μe_j ²)/(1+exp(μσ-μe_j ²))表示赋予第j个像素重建误差的权值，μ，σ是正数，如果取W_j，j=2，该模型则退化为传统的稀疏编码问题，可见公式（4）比公式（1）具有更好的适应性。 

根据统计数据获取经验公式，本方法将权值W_j，j的计算公式简化为： 

W_j,j＝1/(1+1/exp(-βe_j))                    (5) 

式中，β对重建误差的影响起到了放大的作用，使权值W_j，j具有更好的区分度。权值W_j,j的物理意义是给残差较大的像素点（即可能是异常像素点）分配较 小权值，给残差较小的像素点分配较大的权值.通过设定一个合理的权值阈值，去掉低于阈值的异常像素点，再进行进一步的稀疏编码求解，这样做可以有效的减少异常像素点对跟踪结果的影响，进而取得比较理想的跟踪效果。 

在本实施例中，取β＝10，权值W_j,j的大小被限定在[0,1]之间时，可以保证不会因为部分像素点的残差太小而产生无穷大的权值，进而保证了计算的稳定性。 

对筛选后的m个样本进行稀疏编码求解，得到样本像素的重建误差；根据观测似然模型，获取m个样本中跟踪目标的最佳状态值，作为当前帧的跟踪结果。 

利用目标的重建误差来构建观测似然模型，即 

$p\left(y_t\right|x_t)=\underset{j=\mathrm{1,2},...,d}{\mathrm{\Π}}N({e^t}_j,\mathrm{\μ},{\mathrm{\σ}}^2)---\left(11\right)$

式中，N(·)表示高斯分布，μ,σ²分别表示高斯分布的均值和方差，d表示目标模板的像素数， 

表示第t帧目标模板第j个像素的重建误差。根据观测似然模型，获取m个样本中跟踪目标的最佳状态值，作为当前帧的跟踪结果。 

通过上面的方法，我们对基于稀疏编码模型的目标跟踪方法的准确性进行了改进，建立了适应性更好的带有稀疏限制的最大似然模型，但该模型仍然是建立在l1范数最小化的基础上的，而l1范数最小化的计算仍然十分耗时。 

作为本发明的优选技术方案，我们将对稀疏性限制项进行改进，降低计算的复杂度，提高跟踪算法的处理速度。 

在目标跟踪的问题中，稀疏性不是我们追求的终极目标，准确性和处理速度相对来说更为重要，所以我们可以适当的放宽稀疏性限制。 

我们将经过加权处理后的模板库记为Φ，将公式（4）中的l1范数最小化转化为l2范数最小化。求得的稀疏编码系数向量记为 

则 可以表示为： 

令 ${\left|\right|y-\mathrm{\Φ\γ}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\γ}\left|\right|}_2^2$ 的导数为0，即： $\frac{d}{\mathrm{d\γ}}\{{\left|\right|y-\mathrm{\Φ\γ}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\γ}\left|\right|}_2^2\}=2(-{\mathrm{\Φ}}^T)(y-\mathrm{\Φ\γ})+2\mathrm{\λ\γ}=0$

可得： 

则目标的重建误差为： 

由此可见，利用l2范数最小化求解稀疏编码系数，要比l1范数最小化的计算过程简化的多，这样可以在很大 程度上提高算法的处理速度。 

由于在视频序列中被跟踪的目标会发生遮挡，旋转，尺度变化，外观变化等异常情况，所以动态更新目标模板库对于提高跟踪算法的准确性具有十分重要的作用。 

在实验过程中，在对目标进行跟踪的过程中，根据需要对目标模板库进行更新，用跟踪得到的目标跟踪结果替换目标模板库中的模板。 

作为本发明的优选技术方案，本方法采用半数更新的办法对目标模板库进行更新。在上述方法中取前n帧的跟踪结果作为目标模板库中的初始模板，从第n+1帧开始，将利用本方法算法得到的跟踪结果依次保存下来。在此过程中，如果某一帧得到的跟踪结果图像块存在50%以上异常像素点，则舍弃，当积累到n/2个跟踪结果即模板库数量的一半时，用新得到的n/2个跟踪结果替换掉原模板库中前n/2帧得到的目标模板，这样就完成了一次模板库的半数更新。采用半数更新的办法对目标模板库进行更新，在保证目标跟踪的准确性的同时还保证了目标跟踪的速度。 

本方法通过对传统的稀疏编码模型中的准确性限制项和稀疏性限制项进行分析和改进，提出了基于稀疏限制的MLE模型，对样本中的异常像素进行筛选，减少异常像素对跟踪算法的影响。利用l2范数最小化对经过异常像素筛选的样本进行稀疏编码求解。将目标的重建误差代入到贝叶斯最大后验概率估计的框架中，实现对目标的稳定跟踪。本发明提出的基于稀疏限制的MLE跟踪方法，在很大程度上简化了计算的复杂度，提高了算法的准确性。从实验结果可以看出，我们的算法在目标发生遮挡，旋转，尺度变化，光照变化等各种异常变化时，依然可以准确的跟踪目标，并且具有令人满意的处理速度。 

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。 

Claims (4)

1.一种基于稀疏限制的MLE视频目标跟踪方法，其特征在于，包括如下步骤：

选取跟踪目标的前n帧作为初始目标模板库T；

采用服从高斯分布的状态转移模型，选取目标的运动仿射变换参数作为状态变量x_t＝{x_t，y_t,θ_t,s_t,α_t,φ_t}，其中，x_t,y_t分别表示目标在第t帧x，y方向上的平移，θ_t表示目标在第t帧的旋转角度，s_t表示目标在第t帧变化的尺度，α_t表示目标在第t帧变换的纵横比，φ_t表示目标在第t帧的倾斜方向，在当前帧的上一帧图像的周围选择m个样本；

计算m个样本像素的权值，选取权值阈值对m个样本的像素进行异常像素筛选；

对筛选后的m个样本进行稀疏编码求解，得到样本像素的重建误差；

将样本像素的重建误差带入到观测似然模型中，获取m个样本中跟踪目标的最佳状态值，作为当前帧的跟踪结果；

其中，

M个样本像素的权值的求取过程为：将初始目标模板库T表示为T＝[r₁；r₂；…;r_d]，其中，r_j∈Rⁿ,j＝1,2,…,d表示模板库T的第j个行向量，将跟踪结果图像块y写为列向量的形式y＝[y₁；y₂；…；y_d]，其中y_j,j＝1,2,…,d表示图相块y中的第j个像素，则稀疏编码的重建误差为

其中，

j＝1,2,…d为第j个像素的重建误差，假设各个像素的重建误差e₁,e₂,...,e_d相互独立且服从相同的分布，概率密度函数为p_θ(e_j)，θ是描述概率密度分布函数特征的参数集，则似然函数为

对p_θ(e_j)取负对数，得到f_θ(e_j)＝-㏑p_θ(e_j)，则最大似然估计的目标是最大化似然函数L_θ或者最小化目标函数:

则编码系数向量α的具有稀疏性限制的最大似然解可以写为：

将其转化带有权重的稀疏编码求解问题：

式中，W是一个对角矩阵，对角线上的元素W_j,j＝exp(μσ-μe_j ²)/(1+exp(μσ-μe_j ²))表示赋予第j个像素重建误差的权值，μ，σ是正数，再将权值W_j，j的计算公式简化为：W_j,j＝1/(1+1/exp(-βe_j))；

异常像素的筛选的方法为：给残差较大的像素点分配较小权值，给残差较小的像素点分配较大的权值，设定合理的权值阈值，去掉低于权值阈值的异常像素点；

所述观测似然模型为

式中，N(·)表示高斯分布，μ，σ²分别表示高斯分布的均值和方差，d表示目标模板的像素数，

表示第t帧目标模板第j个像素的重建误差；

在对目标进行跟踪的过程中，根据需要对目标模板库进行更新，用跟踪得到的目标跟踪结果替换目标模板库中的模板。

2.根据权利要求1所述的基于稀疏限制的MLE视频目标跟踪方法，其特征在于，权值W_j,j的大小被限定在[0,1]之间。

3.根据权利要求1或2所述的基于稀疏限制的MLE视频目标跟踪方法，其特征在于，在对筛选后的m个样本进行稀疏编码求解时，放宽稀疏性限制，将l1范数最小化转化为l2范数最小化。

4.根据权利要求1所述的基于稀疏限制的MLE视频目标跟踪方法，其特征在于，从第n+1帧开始对跟踪结果依次保存，如果某一帧得到的跟踪结果图像块存在50%以上异常像素点，则舍弃，当跟踪结果积累达到模板库数量的一半时，用新得到的n/2个跟踪结果替换掉原模板库中前n/2帧得到的目标模板。

Images