CN107301652A - 一种基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法，首先，在初始帧附近采样得到若干模板块，利用目标的局部和结构信息构造用于稀疏表示的字典。再对之后的每一帧，用粒子滤波产生若干粒子，每个粒子代表一个候选目标。然后对每一个候选目标进行了稀疏表示，用求解得到的稀疏表示系数代表每个粒子的适应度，最后用粒子群优化求解得到的具有最高适应度的粒子，适应度最高的候选目标作为跟踪结果。

Description

一种基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法

技术领域

本发明属于采用数字图像进行目标根据的方法，涉及一种基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域的一个基础性问题，它有着广泛的应用，包括视频监控，行为分析，运动时间分析，以及视频检索等。由于目标在跟踪过程中会面临光照变化，遮挡，形变，复杂的运动背景等问题，经常会导致目标丢失和漂移现象，因此目标跟踪是一个富有挑战性的课题。

近两年，基于稀疏表示理论的目标跟踪方法得到了极大的重视，该方法将目标跟踪问题转化为稀疏求解问题，取得了较好的效果，为目标跟踪问题提供了一个新的求解思路。经典的基于稀疏表示目标跟踪方法的基本思想是以目标模板构建超完备字典，通过粒子滤波框架得到候选目标，通过计算L₁范数最小化进行稀疏求解，计算其重构误差得到每个粒子为目标的概率，从而实现目标跟踪。这种方法充分利用了图像的稀疏表示性质中对噪声和遮挡不敏感的特性，可以有效地减弱背景杂波和噪声对于跟踪算法的不利影响，提高算法的跟踪性能。但这些算法主要采用图像模板作为字典，而且为了抵抗遮挡影响而引入了琐碎模板，从而使得超完备字典的维数很高，算法复杂度高，计算量大，而且图像原始灰度特征容易受光照以及相似背景等影响。此外，粒子滤波中，可能会出现粒子的权重很小，出现粒子退化现象。为解决这一问题，粒子滤波中大多会采用重采样，即舍弃权重小的粒子，对权重大的粒子复制，从而引起了贫化现象，影响候选目标的选取效果。

可见，视觉目标跟踪过程中存在面临的光照变化，遮挡，形变，复杂的运动背景相似物体的干扰影响等问题。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法，解决视觉目标跟踪过程中面临的光照变化，遮挡，形变，复杂的运动背景相似物体的干扰影响等问题。

技术方案

一种基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法，其特征在于步骤如下：

步骤1：读取第一帧图像数据，得到目标在第一帧图像中的位置参数[x,y,w,h]，其中：x,y表示目标的中心位置，w,h表示目标的宽和高；

步骤2、构造用于稀疏表示的字典：以x,y为圆心，在半径为R的范围内，采样n 个目标模板，将若干目标模板归一化到标准尺寸32*32；使用一个大小为16*16的滑动窗在每个模板上扫描提取多个局部块，并将它们按提取顺序进行排列；所述半径R 为max{h,w}的2倍；

以若干个目标模板和琐碎模板构成字典D：D＝[D₁,D₂,…,D_n,E]，其中，目标模板数n，D_i是字典中的第i个目标模板，i＝1…n；每个目标模板又被分为m个局部块， D_i＝[d_i,1,d_i,2,…,d_i,m]，d_i,j代表第i个目标模板中的第j块，E为琐碎模板；

步骤3、候选目标采样：以函数p(x_t|x_t-1)＝N(x_t；x_t-1,Σ)在下一帧图像中生成若干粒子，每个粒子代表一个以它为中心的候选目标区域Y_i，

其中：{s_x,sh_x,sh_y,s_y,t_x,t_y}为仿射变换的6个参数，表示目标在k时刻的状态x_k，其中6个参数分别依次表示：水平伸缩量、水平形变量、垂直形变量、垂直伸缩量、水平位移量、垂直位移量；

步骤4、稀疏表示求解：

按照构造字典的方式，首先将候选目标区域Y归一化到标准尺寸32*32，然后以粒子为圆心，在半径为R的范围内，采样n个目标模板，将若干目标模板归一化到标准尺寸32*32；使用一个大小为16*16的滑动窗在每个模板上扫描提取多个局部块，并将它们按提取顺序进行排列；所述半径R为max{h,w}的2倍；

以若干个目标模板和琐碎模板构成字典D：D＝[D₁,D₂,…,D_n,E]，其中，目标模板数n，D_i是字典中的第i个目标模板，i＝1…n；每个候选目标模板Y又被分为m个局部块，D_i＝[d_i,1,d_i,2,…,d_i,m]，d_i,j代表第i个目标模板中的第j块，E为琐碎模板；

那么候选目标Y可以被字典D和对应的稀疏表示系数α表示为：

Y≈[D₁,D₂,…,D_n,E][α₁,α₂,…,α_n,e]＝D·α

而稀疏表示系数α可由下式通过计算得到：

α＝argmin||Y-D·α||₂+λ·||α||₁，式中正则化系数λ＝0.01；

稀疏表示系数α＝[α₁,α₂,…,α_n]^T，α_i表示第i个模板和琐碎模板对应的表示系数，而目标模板已被分成若干局部区域，再用α_i,j表示第i个候选目标第j块对应的表示系数，而e_i则为琐碎模板对应的表示系数，从而又有α_i＝[α_i,1,α_i,2,…,α_i,m,e_i]^T；

步骤5：对m块在字典中目标模板对应位置的表示系数求和，得到：再将c_i中的对角线元素取出按顺序排列形成列向量f_i；

步骤6、粒子群优化：根据粒子适应度函数计算每个粒子的适应度，并采用粒子群优化方法优化不断迭代计算每个粒子的适应度函数，直至最优候选目标其适应度达到某个阈值或是达到最大迭代步数，最后得到目标的位置；

步骤7、字典更新：以每个粒子的适应度作为目标的置信度，当跟踪到的目标置信度低于阈值μ时，便替换掉字典中的一个模板；替换过程为：

将第一帧中手动标定的目标模板将作为固定模板，产生一个序列

S＝{0,2¹,2²,…,2^n-1}，

n是字典中目标模板的数目，该序列被归一化后，得到一组累积概率序列：该序列代表了每个模板被替换的概率，然后，产生一个在区间[0,1]上均匀分布的随机数r，该随机数位于L_p的区间数，即为被替换的模板的序号；

对所接收图像序列的所有帧，循环进行步骤3～步骤7，直至跟踪结束。

所述步骤6的粒子群优化过程是：

首先对粒子群进行初始化：将每个粒子初始状态记为p₀ ⁽ⁱ⁾，其中,i＝1,2,3…,num，将初始迭代次数设定为20,最优候选目标初始化适应度设置为所选取粒子中的最大值max{p₀ ⁽ⁱ⁾}；

再循环更新粒子状态，直至最优候选目标其适应度达到某个阈值θ或是达到最大迭代步数Ψ，其中θ取4，Ψ取20；

以预测粒子速度；

以更新粒子状态；

以更新粒子群局部最优状态；

以更新粒子群的全局最优状态；

其中：表示第i个粒子在第n-1次迭代中的权重；g_n-1表示第n-1次迭代中局部和全局的最优状态；α₁，α₂是加速常量；μ₁，μ₂是均匀分布的随机变量。α₁，α₂，w取值分别为1,1,0.8.。

所述目标模板数n取10。

所述m取9。

所述μ取10。

有益效果

本发明提出的一种基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法，首先，在初始帧附近采样得到若干模板块，利用目标的局部和结构信息构造用于稀疏表示的字典。再对之后的每一帧，用粒子滤波产生若干粒子，每个粒子代表一个候选目标。然后对每一个候选目标进行了稀疏表示，用求解得到的稀疏表示系数代表每个粒子的适应度，最后用粒子群优化求解得到的具有最高适应度的粒子，适应度最高的候选目标作为跟踪结果。

经典的稀疏表示跟踪方法利用目标图像的灰度特征信息作为目标模板构造字典。通过计算L₁范数最小化进行稀疏求解，计算其重构误差得到每个粒子的概率，从而实现目标跟踪。但是这种方法只是考虑目标的整体特性，而目标的整体特性不易刻画目标的结构和局部特性，导致其易受噪声、光照变化和相似物体干扰等影响，本发明在经典稀疏表示的基础上，将粒子群优化方法引入到粒子滤波中用于引导粒子滤波，很好的解决了粒子滤波产生贫化问题，并用仿射变换来处理目标的尺度变化问题。能够更加有效地表示目标，克服了光照变化、遮挡、尺度变化、目标变形等问题，实现了视觉目标的鲁棒跟踪。

附图说明

图1：本方法流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明在第一帧目标位置确定的基础上，首先在初始帧目标附近采样得到若干目标模板，构造用于稀疏表示的字典。然后用粒子群优化算法引导的粒子滤波进行候选目标采样。再对候选目标进行稀疏表示，求解得到表示系数。最后，求出最优候选目标作为跟踪结果。具体步骤如下，流程可参考附图。

1)读取第一帧图像数据以及目标在第一帧图像中的参数[x,y,w,h]，其中x,y表示目标的中心位置，w,h表示目标的宽和高。

2)构造用于稀疏表示的字典。在初始帧目标附近采样得到若干目标模板，将其归一化到标准尺寸32x32像素，使用一个滑动窗在每个模板上扫描提取m个局部块(m取9)，每一块的大小为16x16像素，滑动窗步长为8像素，并将它们按顺序排列起来。字典D是由若干个目标模板和琐碎模板构成： D＝[D₁,D₂,…,D_n,E]，其中，目标模板数n取10，D_i是字典中的第i个目标模板，每个目标模板又被分为m块(m取9)，D_i＝[d_i,1,d_i,2,…,d_i,m]，d_i,j代表第i个目标模板中的第j块，E为琐碎模板，在本发明中E为一个单位矩阵。

3)候选目标采样。本发明中，以上一帧目标为中心，在其附近采集样本num个(num取600)。为了处理目标的尺度变化和旋转等问题，用仿射变换的6个参数 {s_x,sh_x,sh_y,s_y,t_x,t_y}来表示目标在k时刻的状态x_k，其中6个参数分别依次表示：水平伸缩量、水平形变量、垂直形变量、垂直伸缩量、水平位移量、垂直位移量。具体来说，根据p(x_t|x_t-1)＝N(x_t；x_t-1,Σ)生成num个粒子，每个粒子代表一个候选目标区域，其中

4)稀疏表示求解。对每个粒子代表的候选目标Y，按照构造字典的方式，首先将其归一化到标准尺寸32x32像素，然后对其采用相同的方式提取局部块信息。那么候选目标Y可以被字典D和对应的稀疏表示系数α表示为：

Y≈[D₁,D₂,…,D_n,E][α₁,α₂,…,α_n,e]＝D·α

而稀疏表示系数α可由下式通过计算得到：

α＝argmin||Y-D·α||₂+λ·||α||₁，式中正则化系数λ＝0.01

5)对于稀疏表示系数α＝[α₁,α₂,…,α_n]^T，α_i表示第i个模板和琐碎模板对应的表示系数，而目标模板已被分成若干局部区域，再用α_i,j表示第i个候选目标第j块对应的表示系数，而e_i则为琐碎模板对应的表示系数，从而又有

α_i＝[α_i,1,α_i,2,…,α_i,m,e_i]^T。

6)候选目标Y被分割成了有重叠的m块，显然，每个候选目标中的某一块，将更倾向于字典中对应位置的块来表示，因此我们将对应位置的表示系数求和，从而得到：再将c_i中的对角线元素取出按顺序排列形成列向量f_i。

7)对每一个候选目标，根据粒子适应度函数计算每个粒子的适应度，并采用粒子群优化方法优化不断迭代计算每个粒子的适应度函数，直至最优候选目标其适应度达到某个阈值或是达到最大迭代步数，最后得到目标的位置。首先对粒子群进行初始化：

将每个粒子初始状态记为p₀ ⁽ⁱ⁾(其中,i＝1,2,3…,num)，将初始迭代次数设定为20,最优候选目标初始化适应度设置为所选取粒子中的最大值max{p₀ ⁽ⁱ⁾}。

再循环更新粒子状态，直至最优候选目标其适应度达到某个阈值θ或是达到最大迭代步数Ψ(其中θ取4，Ψ取20)

根据预测粒子速度；

根据更新粒子状态；

根据更新粒子群局部最优状态；

根据更新粒子群的全局最优状态；

其中中表示第i个粒子在第n-1次迭代中的权重；

g_n-1表示第n-1次迭代中局部和全局的最优状态；

α₁，α₂是加速常量；

μ₁，μ₂是均匀分布的随机变量。

α₁，α₂，w取值分别为1,1,0.8.

8)字典更新。当跟踪到的目标其置信度低于某个阈值μ时(μ取10)，便替换掉字典中的一个模板。显然，第一帧中的目标位置其标签最可靠，最近加入到字典中的目标模板，可能更不准确，所以其替换频率应更高。本发明将第一帧中手动标定的目标模板将作为固定模板，不被替换。

然后，产生一个序列S＝{0,2¹,2²,…,2^n-1}，n是字典中目标模板的数目(本发明中，n取10)，该序列被归一化后，得到一组累积概率：

该累积序列代表了每个模板被替换的概率，然后，产生一个在区间[0,1]上均匀分布的随机数r，那么该随机数所在的区间，即要被替换的模板的序号。

9)判断是否处理完图像序列的所有帧，若没有，则转到步骤3继续；若处理完，则结束。

本发明利用粒子群优化引导求解的粒子滤波框架，避免了使用重采样带来的粒子贫化问题。此外，使用目标的局部结构特征，能够更加有效地表示目标，克服了光照变化、遮挡、尺度变化、目标变形等问题，实现了复杂背景下视觉目标的鲁棒跟踪。

Claims (5)

1.一种基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法，其特征在于步骤如下：

步骤1：读取第一帧图像数据，得到目标在第一帧图像中的位置参数[x,y,w,h]，其中：x,y表示目标的中心位置，w,h表示目标的宽和高；

步骤2、构造用于稀疏表示的字典：以x,y为圆心，在半径为R的范围内，采样n个目标模板，将若干目标模板归一化到标准尺寸32*32；使用一个大小为16*16的滑动窗在每个模板上扫描提取多个局部块，并将它们按提取顺序进行排列；所述半径R为max{h,w}的2倍；

以若干个目标模板和琐碎模板构成字典D：D＝[D₁,D₂,…,D_n,E]，其中，目标模板数n，D_i是字典中的第i个目标模板，i＝1…n；每个目标模板又被分为m个局部块，D_i＝[d_i,1,d_i,2,…,d_i,m]，d_i,j代表第i个目标模板中的第j块，E为琐碎模板；

步骤3、候选目标采样：以函数p(x_t|x_t-1)＝N(x_t；x_t-1,Σ)在下一帧图像中生成若干粒子，每个粒子代表一个以它为中心的候选目标区域Y_i，

其中{s_x,sh_x,sh_y,s_y,t_x,t_y}为仿射变换的6个参数，表示目标在k时刻的状态x_k，其中6个参数分别依次表示：水平伸缩量、水平形变量、垂直形变量、垂直伸缩量、水平位移量、垂直位移量；

步骤4、稀疏表示求解：

按照构造字典的方式，首先将候选目标区域Y归一化到标准尺寸32*32，然后以粒子为圆心，在半径为R的范围内，采样n个目标模板，将若干目标模板归一化到标准尺寸32*32；使用一个大小为16*16的滑动窗在每个模板上扫描提取多个局部块，并将它们按提取顺序进行排列；所述半径R为max{h,w}的2倍；

以若干个目标模板和琐碎模板构成字典D：D＝[D₁,D₂,…,D_n,E]，其中，目标模板数n，D_i是字典中的第i个目标模板，i＝1…n；每个候选目标模板Y又被分为m个局部块，D_i＝[d_i,1,d_i,2,…,d_i,m]，d_i,j代表第i个目标模板中的第j块，E为琐碎模板；

那么候选目标Y可以被字典D和对应的稀疏表示系数α表示为：

Y≈[D₁,D₂,…,D_n,E][α₁,α₂,…,α_n,e]＝D·α

而稀疏表示系数α可由下式通过计算得到：

α＝argmin||Y-D·α||₂+λ·||α||₁，式中正则化系数λ＝0.01；

稀疏表示系数α＝[α₁,α₂,…,α_n]^T，α_i表示第i个模板和琐碎模板对应的表示系数，而目标模板已被分成若干局部区域，再用α_i,j表示第i个候选目标第j块对应的表示系数，而e_i则为琐碎模板对应的表示系数，从而又有α_i＝[α_i,1,α_i,2,…,α_i,m,e_i]^T；

步骤5：对m块在字典中目标模板对应位置的表示系数求和，得到：再将c_i中的对角线元素取出按顺序排列形成列向量f_i；

步骤6、粒子群优化：根据粒子适应度函数计算每个粒子的适应度，并采用粒子群优化方法优化不断迭代计算每个粒子的适应度函数，直至最优候选目标其适应度达到某个阈值或是达到最大迭代步数，最后得到目标的位置；

步骤7、字典更新：以每个粒子的适应度作为目标的置信度，当跟踪到的目标置信度低于阈值μ时，便替换掉字典中的一个模板；替换过程为：

将第一帧中手动标定的目标模板将作为固定模板，产生一个序列

S＝{0,2¹,2²,…,2^n-1}

n是字典中目标模板的数目，该序列被归一化后，得到一组累积概率序列：该序列代表了每个模板被替换的概率，然后，产生一个在区间[0,1]上均匀分布的随机数r，该随机数位于L_p的区间数，即为被替换的模板的序号；

对所接收图像序列的所有帧，循环进行步骤3～步骤7，直至跟踪结束。

2.根据权利要求1所述基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法，其特征在于：所述步骤6的粒子群优化过程是：

首先对粒子群进行初始化：将每个粒子初始状态记为p₀ ⁽ⁱ⁾，其中,i＝1,2,3…,num，将初始迭代次数设定为20,最优候选目标初始化适应度设置为所选取粒子中的最大值max{p₀ ⁽ⁱ⁾}；

再循环更新粒子状态，直至最优候选目标其适应度达到某个阈值θ或是达到最大迭代步数Ψ，其中θ取4，Ψ取20；

以预测粒子速度；

以更新粒子状态；

以更新粒子群局部最优状态；

以更新粒子群的全局最优状态；

其中：表示第i个粒子在第n-1次迭代中的权重；g_n-1表示第n-1次迭代中局部和全局的最优状态；α₁，α₂是加速常量；μ₁，μ₂是均匀分布的随机变量。α₁，α₂，w取值分别为1,1,0.8.。

3.根据权利要求1所述基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法，其特征在于：所述目标模板数n取10。

4.根据权利要求1所述基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法，其特征在于：所述m取9。

5.根据权利要求1所述基于局部稀疏表示和粒子群优化的鲁棒目标跟踪方法，其特征在于：所述μ取10。