CN105931273A - 基于l0正则化的局部稀疏表示目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于L0正则化的局部稀疏表示目标跟踪方法，与传统L1目标跟踪方法不同，本发明提出将L0范数与结构化局部稀疏外观模型相结合，充分利用稀疏编码，更好地区别跟踪过程中的目标和背景，并且在对目标进行建模时使用琐碎模板对局部遮挡等干扰进行建模，进一步提高了算法在跟踪过程中对噪声干扰的鲁棒性。为使目标模型在跟踪过程中更好地应对目标外观的不断变化，本发明通过构建目标模板集，在跟踪过程中采用L0范数对目标重构并采用概率性策略将重构结果替换模板集中某一模板，实现模板动态更新，进一步提高了算法稳定性。针对基于L0范数约束的目标函数优化求解的NP问题，本发明采用APG算法实现了有效求解。

Description

基于L0正则化的局部稀疏表示目标跟踪方法

技术领域：

本发明属于机器视觉领域，特别涉及一种基于L0正则化的局部稀疏表示目标跟踪方法。

背景技术：

目标跟踪技术是机器视觉领域的一个研究热点，旨在对视频中的任意目标进行连续、精准地定位，以便完成对目标行为的分析与理解等更高级的视觉任务。它在军事国际和民用安全方面有着重要的研究意义和广阔的应用前景。近年来，各国的研究人员提出了很多的方法，在该领域取得了很多的进步。但是设计一个鲁棒的目标跟踪算法仍然是一个巨大的挑战。因为在目标的跟踪过程中存在光照，遮挡和目标所处背景的变化都会对目标的跟踪产生不利影响。同时在目标的跟踪过程中目标自身姿态的变化，摄像机的抖动和目标的快速运动引起的目标外观的模糊，更加进一步地加剧了目标跟踪的难度。

最近几年，稀疏表示被广泛的应用于机器视觉的各个方向，对于目标跟踪任务Mei等人[1]首次将稀疏表示方法引入到了目标跟踪中，提出L1最小化问题的目标跟踪方法。但是许多基于稀疏表示的跟踪方法都首先将目标模板进行稀疏的线性表示，然后在所有候选样本中寻找具有最小重构误差的候选样本作为跟踪结果。然而这类方法只考虑了目标的全局表示，并没有充分利用稀疏编码的系数来更好的区分目标和背景，造成算法对遮挡，相似物体等敏感，从而导致最后的跟踪失败。为了更好地利用稀疏系数，Xu等人[2]提出了基于结构化局部稀疏表示的外观模型。此种模型，利用稀疏编码方法和多模板技术，来深入探究目标的局部和空间信息。但是[2]采用L1范数去正则化目标系数，L1范数是L0范数的近似，由于L1范数在计算的过程中会产生冗余特征，在跟踪的过程中会不断地累计误差和计算的复杂性，最终产生跟踪框的漂移，导致跟踪的失败。相比而言，L0范数能更好地体现稀疏表示的本质特征。

本发明针对基于L1范数正则化目标系数的跟踪方法存在的精度下降问题，引入了L0范数跟踪，同时在对目标进行建模时使用琐碎模板建模局部遮挡等异类干扰，提出一种基于L0正则化的局部稀疏表示目标跟踪算法，实现鲁棒目标跟踪。

发明内容：

本发明的主要目的是提出一种基于L0正则化的局部稀疏表示目标跟踪算法，在目标运动模糊、光照变化和局部遮挡等干扰影响下，准确定位目标区域。

为了实现上述目的，本发明提供如下技术方案：

步骤一、读入第一帧图像Image₁及跟踪目标初始矩形位置；

步骤二、根据第一帧的位置，在粒子滤波框架下采用最近邻算法获得前m帧的目标矩形位置，每帧目标矩形区域构成一个模板T_i,前m帧的目标矩形位置构成模板集T＝[T₁,T₂,…,T_m]；

步骤三、对于每个模板T_i，设T_i的大小为W×H，在T_i中按照采样距离为重叠采样N个局部图像块，每个采样的图像块大小为这些模板中的局部图像块拼接起来并组成一个字典D＝[p₁,p₂,……p_(m×N)]∈R^d×m×N，其中d为局部图像块p_i向量化表示后的向量维数，m为模板的数量，N为每个模板中重叠采样的局部图像块的个数；

步骤四、读入下一帧图像Image_t(t>m)，在前一帧的目标位置处采用粒子滤波框架下随机游走的方式采样得到k个候选样本[Y₁,Y₂,…,Y_k]；

步骤五、对每一个候选样本Y_v∈[1k],重叠采样N个局部图像块，并用Y_v＝[y₁,y₂,…,y_N]∈R^d×N表示，其中d为局部图像块向量化表示后的向量维数，N为局部图像块数。对每一个候选样本Y_v的局部图像块y_i(i＝1,2,…N)构建目标函数，并对重构样本与观测样本图像块的残差e_i∈R^d×1进行拉普拉斯建模||e_i||₁，建立琐碎模板，以容纳目标跟踪中受到的离群子干扰；针对目标系数利用L0范数正则化目标系数||c_i||₀，以在重构样本时，更好的消除冗余特征的干扰，提出了本方法的目标函数： 其中，y_i为候选样本Y_v的局部图像块，D为由m个模板局部重叠采样组成的字典，e_i为噪声，初始化时为e_i∈R^d×1的零向量；

步骤六、基于迭代加速近邻梯度算法(APG算法)，对目标函数进行最小化计算，获得收敛的残差和对所有N个局部图像块y_i∈Y_v进行同样处理，最终获得最优目标系数其中

步骤七、向量描述了Y_v的局部图像块y_i在字典D＝[p₁,p₂,……p_(m×N)]∈R^d×m×N中的稀疏编码方式，字典D由m个模板分别抽取的N个局部图像块共同构成。因此根据模板数量，将划分m成段，得到其中表示目标候选图像Y_v中第i个局部图像块的稀疏编码系数向量中与第j个模板相对应的那段。并对每一段进行加权求和得到更加鲁棒的稀疏向量z_i，z_i∈R^N×1表示第i个局部图像块的加权编码，γ为归一化项。对Y_v的N个局部图像块进行同样的处理，最终获得加权编码方阵Z＝[z₁,z₂,…z_N],Z∈R^N×N；

步骤八、通过对每一个候选样本Y_v∈R^d×N的加权编码矩阵Z的对角线元素求和，取加权编码矩阵Z的对角线元素和最大的候选样本作为第t帧的跟踪结果

步骤九、基于最新跟踪结果,采用PCA主元重构样本，采用概率策略选择更新模板集T中的某个模板；

步骤十、若视频未结束，则转入步骤四，读入下一帧图像；否则跟踪结束。

与现有的技术相比，本发明具有以下有益效果：

1.通过步骤五提出的目标函数，能更加有效的利用稀疏编码系数，减少跟踪过程中产生的冗余特征。同时引入琐碎模板加强对离群子的处理能力，避免选择不恰当的目标特征。

2.通过步骤六在APG算法的框架下，利用软阈值操作和硬阈值操作进行目标函数中相应状态参数最小化的计算，能够快速有效地获取候选样本相应的状态参数。

3.在步骤九更新模板集组成的字典时，由于最新的跟踪结果中可能存在遮挡等异常，使用L0正则化目标系数对最新的跟踪结果进行重构，使用重构结果去代替模板集中的随机选定模板，能够显著提升模板集对跟踪目标变化状态的自适应性，有效提高算法对遮挡、光照等变化的鲁棒性。

因此，本发明在公共安全监控的应用中将具有广泛的应用前景。

附图说明：

图1为本发明的算法流程图；

图2为本发明中以上一帧目标位置为中心获取当前帧候选样本的方法示意图；

图3为算法在Woman序列图像实验中跟踪效果；

图4为算法在Woman序列图像实验的中心误差曲线分析图；

图5为算法在Singer1序列图像实验中跟踪效果；

图6为算法在Singer1序列图像实验中的中心误差曲线分析图；

图7为算法在Owl序列图像实验中跟踪效果；

图8为算法在Owl序列图像实验中的中心误差曲线分析图；

图9为算法在Girl序列图像实验中跟踪效果；

图10为算法在Girl序列图像实验中的中心误差曲线分析图；

具体实施方式

为了更好的说明本发明的目的、具体步骤以及特点，下面结合附图对本发明作进一步详细的说明：

参考图1，本发明提出的一种基于L0正则化的局部稀疏表示目标跟踪算法，主要包含以下步骤：

步骤一、读入第一帧图像Image₁及跟踪目标初始矩形位置；

步骤二、根据第一帧的位置，在粒子滤波框架下采用最近邻算法获得前m帧的目标矩形位置，每帧目标矩形区域构成一个模板T_i,前m帧的目标矩形位置构成模板集T＝[T₁,T₂,…,T_m]；

步骤三、对于每个模板T_i，设T_i的大小为W×H，在T_i中按照采样距离为重叠采样N个局部图像块，每个采样的图像块大小为这些模板中的局部图像块拼接起来并组成一个字典D＝[p₁,p₂,……p_(m×N)]∈R^d×m×N，其中d为局部图像块p_i向量化表示后的向量维数，m为模板的数量，N为每个模板中重叠采样的局部图像块的个数；

步骤四、读入下一帧图像Image_t(t>m)，在前一帧的目标位置处采用粒子滤波框架下随机游走的方式采样得到k个候选样本[Y₁,Y₂,…,Y_k]；

步骤五、对每一个候选样本Y_v∈[1k],重叠采样N个局部图像块，并用Y_v＝[y₁,y₂,…,y_N]∈R^d×N表示，其中d为局部图像块向量化表示后的向量维数，N为局部图像块数。对每一个候选样本Y_v的局部图像块y_i(i＝1,2,…N)构建目标函数，并对重构样本与观测样本图像块的残差e_i∈R^d×1进行拉普拉斯建模||e_i||₁，建立琐碎模板，以容纳目标跟踪中受到的离群子干扰；针对目标系数利用L0范数正则化目标系数||c_i||₀，以在重构样本时，更好的消除冗余特征的干扰，提出了本方法的目标函数： 其中，y_i为观测样本Y_v的局部图像块，D为由m个模板局部重叠采样组成的字典，e_i为噪声，初始化时为e_i∈R^d×1的零向量；

步骤六、基于迭代加速近邻梯度算法(APG算法)，对目标函数进行最小化计算，获得收敛的残差和对所有N个局部图像块y_i∈Y_v进行同样处理，最终获得最优目标系数其中

步骤七、向量描述了Y_v的局部图像块y_i在字典D＝[p₁,p₂,……p_(m×N)]∈R^d×m×N中的稀疏编码方式，字典D由m个模板分别抽取的N个局部图像块共同构成。因此根据模板数量，将划分m成段，得到其中表示目标候选图像Y_v中第i个局部图像块的稀疏编码系数向量中与第j个模板相对应的那段。并对每一段进行加权求和得到更加鲁棒的稀疏向量z_i，z_i∈R^N×1表示第i个局部图像块的加权编码，γ为归一化项。对Y_v的N个局部图像块进行同样的处理，最终获得加权编码矩阵Z＝[z₁,z₂,…z_N],Z∈R^N×N；

步骤八、通过对每一个候选样本Y_v∈R^d×N的加权编码矩阵Z的对角线元素求和，取加权编码矩阵Z的对角线元素和最大的候选样本作为第t帧的跟踪结果

步骤九、基于最新跟踪结果,采用PCA主元重构样本，采用概率策略选择更新模板集T中的某个模板；

步骤十、若视频未结束，则转入步骤四，读入下一帧图像；否则跟踪结束。

上述技术方案中，步骤四对候选样本的采样方法如图2所示，左图实线框为第t-1帧的目标跟踪框，右图虚线框为t帧通过随机游走方法获取的候选样本跟踪框(即观测样本)，具体方法为：

以第t-1帧目标为中心，根据t-1帧目标运动状态参数生成t帧服从独立高斯分布的k个候选样本的运动状态其中 中六个仿射参数分别表示水平位置平移l_x,垂直位置平移l_y,转角θ,尺度s,高宽比α,斜度φ。其状态转移可表示为： 其中Ф为对角协方差矩阵，其对角元素为上述六个仿射参数的标准差，N(·)表示高斯分布。根据的运动状态可获得对应的候选Y_v，相应的由k个候选样本的运动状态即可获得当前帧的所有k个候选样本[Y₁,Y₂,…,Y_k]。

上述技术方案中步骤六针对步骤五的目标函数的最小化的具体的步骤为：

步骤1:初始化c₀＝c_-1＝0,e₀＝e_-1＝0,h₀＝h_-1＝1,g＝0.

循环

步骤2:

步骤3:

步骤4:

步骤5:

步骤6:

步骤7：g＝g+1

直到收敛或者算法终止

其中L为APG算法中的利普希茨常数，本发明中取L＝15。算法中需要解决的两项

(1)

(2)

通过数学计算上述求优问题可以转化成

(1)

(2)

其中的S_δ(x)＝sign(x)max(|x|-δ,0)称为软阈值操作，令τ＝α/L，其中当x²>τ时H_τ＝x,否则H_τ＝0，这个操作被称为硬阈值操作。h为整个迭代过程中用于更新和的中间变量。

根据上述步骤，可最后求得最优目标系数c^*和残差e^*。

上述技术方案中步骤九的PCA主元重构样本的方法为:

1.定义重构样本的目标函数为其中q为获得的最新目标向量表示，A为最近几帧(一般可取5帧)的跟踪目标经过PCA处理后由PCA主元构成的字典(一般取16个主元)，b为目标系数，g代表了在q中残缺的或被遮挡的像素。基于APG算法，求解此目标函数的最优解b^*,g^*，具体求解方法参考求步骤六中的算法。

2.计算重构样本

上述技术方案中步骤九的概率策略选择方法为:

根据递增序列定义模板集T中每个模板T_i更新概率，随机生成一个[0,1]内的随机数r，根据r所属的T_δ中的区域确定被更新模板T^*，并使用重构样本取代T^*。

上述技术方案中，基于L0正则化的局部稀疏表示目标跟踪方法的效果如图3—图10所示。图3给出了算法在Woman序列图像实验中，目标物体经历严重遮挡和背景持续变化等干扰情况下的直观跟踪效果。图4为算法在Woman序列图像实验中跟踪的中心点位置与标准跟踪中心点的误差曲线分析图。图5给出了算法在Singer1序列图像实验中，目标物体经历光照剧烈变化和尺度的持续变小等干扰情况下的直观跟踪效果。图6为算法在Singer1序列图像实验中跟踪的中心点位置与标准跟踪中心点的误差曲线分析图。图7给出了算法在Owl序列图像实验中，目标物体经历摄像头快速运动等干扰情况下的直观跟踪效果。图8为算法在Owl序列图像实验中跟踪的中心点位置与标准跟踪中心点的误差曲线分析图。图9给出了算法在Girl序列图像实验中，目标物体经历目标的旋转，背景的变化，尺度的持续变化，目标的运动和遮挡等干扰情况下的直观跟踪效果。图10为算法在Girl序列图像实验中跟踪的中心点位置与标准跟踪中心点的误差曲线分析图。通过四组序列测试，实验结果以定性的跟踪效果图和定量的误差曲线进行说明，验证了算法在遮挡、光照变化、物体形变、运动模糊等噪声干扰下的精度和鲁棒性。

上面结合附图对本发明的具体实施方式做了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

[1].X.Mei and H.Ling,“Robust visual tracking using L1minimization,”IEEE International Conference on Computer Vision,pp.1436-1448,2009.

[2].Xu jia,Huchuan Lu,Minghsuan Yang,“Visual Tracking via AdaptiveStructural Local Sparse Appearance Model”,International Conference onComputer Vision and Pattern Recognition,2012,P1822-1829.

Claims (4)

1.基于L0正则化的局部稀疏表示目标跟踪方法，其特征在于，包括下列步骤：

步骤一、读入第一帧图像Image₁及跟踪目标初始矩形位置；

步骤二、根据第一帧的位置，在粒子滤波框架下采用最近邻算法获得前m帧的目标矩形位置，每帧目标矩形区域构成一个模板T_i,前m帧的目标矩形位置构成模板集T＝[T₁,T₂,…,T_m]；

步骤三、对于每个模板T_i，设T_i的大小为W×H，在T_i中按照采样距离为重叠采样N个局部图像块，每个采样的图像块大小为这些模板中的局部图像块拼接起来并组成一个字典D＝[p₁,p₂,……p_(m×N)]∈R^d×m×N，其中d为局部图像块p_i向量化表示后的向量维数，m为模板的数量，N为每个模板中重叠采样的局部图像块的个数；

步骤四、读入下一帧图像Image_t(t>m)，在前一帧的目标位置处采用粒子滤波框架下随机游走的方式采样得到k个候选样本[Y₁,Y₂,…,Y_k]；

步骤五、对每一个候选样本Y_v∈[1k],重叠采样N个局部图像块，并用Y_v＝[y₁,y₂,…,y_N]∈R^d×N表示，其中d为局部图像块向量化表示后的向量维数，N为局部图像块数，对每一个候选样本Y_v的局部图像块y_i(i＝1,2,…N)构建目标函数，并对重构样本与观测样本图像块的残差e_i∈R^d×1进行拉普拉斯建模||e_i||₁，建立琐碎模板，以容纳目标跟踪中受到的离群子干扰；针对目标系数 利用L0范数正则化目标系数||c_i||₀，以在重构样本时，更好的消除冗余特征的干扰，提出了本方法的目标函数： 其中，y_i为候选样本Y_v的局部图像块，D为由m个模板局部重叠采样组成的字典，e_i为噪声，初始化时为e_i∈R^d×1的零向量；

步骤六、基于迭代加速近邻梯度算法(APG算法)，对目标函数进行最小化计算，获得收敛的残差和对所有N个局部图像块y_i∈Y_v进行同样处理，最终获得最优目标系数其中

步骤七、向量描述了Y_v的局部图像块y_i在字典D＝[p₁,p₂,……p_(m×N)]∈R^d×m×N中的稀疏编码方式，字典D由m个模板分别抽取的N个局部图像块共同构成；因此根据模板数量，将划分m成段，得到其中表示目标候选图像Y_v中第i个局部图像块的稀疏编码系数向量中与第j个模板相对应的那段，并对每一段进行加权求和得到更加鲁棒的稀疏向量z_i，z_i∈R^N×1表示第i个局部图像块的加权编码，γ为归一化项，对Y_v的N个局部图像块进行同样的处理，最终获得加权编码方阵Z＝[z₁,z₂,…z_N],Z∈R^N×N；

步骤八、通过对每一个候选样本Y_v∈R^d×N的加权编码矩阵Z的对角线元素求和，取加权编码矩阵Z的对角线元素和最大的候选样本作为第t帧的跟踪结果

步骤九、基于最新跟踪结果,采用PCA主元重构样本，采用概率策略选择更新模板集T中的某个模板；

步骤十、若视频未结束，则转入步骤四，读入下一帧图像；否则跟踪结束。

2.根据权利要求1所述的基于L0正则化的局部稀疏表示目标跟踪方法，其特征在于，步骤五中的目标函数为：其中，y_i为候选样本Y_v的局部图像块，D为由m个模板局部重叠采样组成的字典，e_i为噪声，初始化时为e_i∈R^d×1的零向量。

3.根据权利要求1所述的基于L0正则化的局部稀疏表示目标跟踪方法，其特征在于，步骤六基于APG算法针对步骤五提出的目标函数的最小化的具体求解步骤为：

步骤1:初始化c₀＝c_-1＝0,e₀＝e_-1＝0,h₀＝h_-1＝1,g＝0，

循环

步骤2:

步骤3:

步骤4:

步骤5:

步骤6:

步骤7：g＝g+1；

直到收敛或者算法终止；

其中L为APG算法中的利普希茨常数，算法中需要解决的两项

$\left(1\right)---c_{g+1}:={\mathrm{argmin}}_c\mathrm{\α}\left|\right|c|{|}_0+\frac{L}{2}||c-u_{g+1}^c+\frac{{\▿}_{c}P(u_{g+1}^c,u_{g+1}^e)}{L}|{|}_2^2,$

$\left(2\right)---e_{g+1}:={\mathrm{argmin}}_e\mathrm{\β}\left|\right|e|{|}_1+\frac{L}{2}||e-u_{g+1}^e+\frac{{\▿}_{e}P(u_{g+1}^c,u_{g+1}^e)}{L}|{|}_2^2,$

通过数学计算上述求优问题可以转化成

$\left(1\right)---c_{g+1}^{*}=H_{\mathrm{\α}/L}(u_{g+1}^c-\frac{{\▿}_{c}P(u_{g+1}^c,u_{g+1}^e)}{L}),$

$\left(2\right)---e_{g+1}^{*}=S_{\mathrm{\β}/L}(u_{g+1}^e-\frac{{\▿}_{c}P(u_{g+1}^c,u_{g+1}^e)}{L}),$

其中的S_δ(x)＝sign(x)max(|x|-δ,0)称为软阈值操作，令τ＝α/L，其中当x²>τ时H_τ＝x,否则H_τ＝0，这个操作被称为硬阈值操作,h为整个迭代过程中用于更新和的中间变量,根据上述步骤，可最后求得最优目标系数c^*和残差e^*。

4.根据权利要求1所述的基于L0正则化的局部稀疏表示目标跟踪方法，其特征在于，步骤九的PCA主元重构样本的方法为:

1.定义重构样本的目标函数为其中q为获得的最新目标向量表示，A为最近几帧的跟踪目标经过PCA处理后由PCA主元构成的字典，b为目标系数，g代表了在q中残缺的或被遮挡的像素；基于APG算法，求解此目标函数的最优解b^*,g^*；

2.计算重构样本