CN108492312A - 光照变化下基于逆向稀疏表示的视觉跟踪方法 - Google Patents

Abstract

光照变化下基于逆向稀疏表示的视觉跟踪方法，首先对目标模板光照补偿；而后采用逆向稀疏表示方法，利用候选目标构建过完备字典以稀疏表示光照补偿后目标模板；将多个优化问题转化为多任务优化问题，从而只需求解一次优化问题即可同时得到光照补偿系数矩阵及稀疏编码矩阵。为进一步改善算法实时性，在稀疏编码矩阵基础上，本发明提出一种快速筛选方案以排除无关候选目标从而快速缩小粒子规模。为提高算法对局部噪声及遮挡的鲁棒性，基于重构误差，利用局部稀疏编码模型对筛选后的候选目标进一步评估。仿真结果表明，剧烈光照变化情况下，所提目标跟踪方法具有较高鲁棒性和准确性。

Description

光照变化下基于逆向稀疏表示的视觉跟踪方法

技术领域

本发明属于计算机视觉领域，具体涉及一种光照变化下基于逆向稀疏表示的视觉跟踪方法。

背景技术

目标跟踪是计算机视觉领域的研究热点之一，在行为分析、活动识别、视频监控和人机交互等领域有着广泛应用。经过几十年的研究，视觉目标跟踪技术已经获得显著进展。然而在光照变化、部分遮挡、姿态变化、运动模糊、快速运动及背景杂波等场景下，视觉跟踪仍是一项具有挑战性的任务。

实际场景中，光照变化通常不可避免，若不考虑视频序列中光照变化影响，视觉跟踪方法的效果会显著降低。针对此问题，Nayak等人设计了一种自动修正方案，可在未知照度下变换图像，使其与已知光照模型相匹配。然而，需要注意的是，已知光照模型不能准确反映目标真实光照状态，若光照变化超出其表示范围，可能会导致跟踪失败。Silveira等人在颜色-空间域运用核密度估计建立模糊颜色直方图模型，采用二阶优化方法得到模型参数，从而将强度差异最小化。但该方法无法提升前景与背景的可分性，因而其难以实现复杂背景下准确跟踪。Nhat等人利用光度标准化提出照明不变模板表示方法以消除光照影响，但复杂背景下该方法易发生目标漂移现象，进而导致其跟踪性能下降。基于粒子滤波跟踪技术，Delail等人提出的似然估计模型可通过预测光照强度及方向变化适应不同光照条件，从而改善跟踪性能。然而，该方法计算量较大，从而使得其跟踪实时性能较差，难以用于实际工程。

鉴于稀疏表示在视觉跟踪领域的巨大优势，Mei等人将稀疏表示应用到目标跟踪，利用目标及单位模板重构候选目标以减轻遮挡和噪声对目标跟踪影响，但算法对相似目标较敏感，且计算量较大，实时性较差。针对此问题，Bao等人采用加速近端梯度算法(Accelerated Proximal Gradient Algorithm，APG)求解稀疏表示优化问题以降低算法计算复杂度。然而，所提整体稀疏表示模型无法解决局部噪声及遮挡等因素的影响。基于此，Lu等人提出局部结构化稀疏表示模型，利用样本局部信息改善算法对局部噪声及遮挡的鲁棒性。需要注意的是，上述稀疏跟踪器都需对每个粒子逐次求解优化问题，使得跟踪系统计算复杂度较高，实时性较差。针对此问题，Zhuang等人通过构建多任务逆向稀疏表示模型，通过求解多任务优化问题获得所有粒子权重从而提升系统实时性，然而该模型在光照变化下跟踪性能较弱。

发明内容

本发明为解决上述技术问题，针对光照变化引起目标跟踪性能显著下降的问题，提出光照变化下基于逆向稀疏表示的视觉跟踪方法。包括如下步骤：

1.获取候选目标和目标模板

候选目标初始化：跟踪过程中的每一帧，以上一帧的跟踪结果为中心抽取m个图像块，将获得的图像块归一化为w×h大小，其中w和h分别为归一化后图像块的宽和高，而后将候选目标不重叠分块，并对每个分块按从左到右顺序矢量化，其长度为d＝w×h，即得到相应的观测图像集，即候选目标集

目标模板的获取：首先在第一帧中确定目标位置，利用CT跟踪器得到前n帧跟踪结果并归一化，而后将目标模板不重叠分块，并对每个分块按从左到右顺序矢量化以组成目标模板集其中，n为目标模板个数；

2.建立光照补偿和多任务逆向稀疏表示联合优化模型

采用灰度特征描述样本，则第i个候选目标s及目标模板t中的第j个对应局部块平均亮度比值表示为：

其中，分别表示第i个候选目标及目标模板第j个局部块平均亮度值；

与基于目标模板线性稀疏表示候选目标方法相反，本方法基于候选目标集Y线性表示目标模板t，即：

其中，t为矢量化目标模板，c为稀疏系数向量，λ为稀疏惩罚参数，为矢量化候选目标构成的候选目标矩阵，d为每个目标模板矢量化后长度，m为候选目标个数，||·||₂为向量的l₂范数算子，||·||₁为向量的l₁范数算子；

将目标模板不重叠分块，并对每个分块按从左到右顺序矢量化，则第i个目标模板的光照补偿系数向量表示为：

其中，r²为分块j的像素个数，k_ij,i＝1,…,n,j＝1,…,L，n,L分别为目标模板和单个目标模板分块的个数；

基于式(2)及(3)，得到光照补偿与逆向稀疏表示联合优化模型，即：

其中，t_i为第i个目标模板的光照补偿系数向量，c_i为对应于第i个目标模板的稀疏系数向量，⊙表示Hadamard积；

基于式(4)，将候选目标矩阵Y线性表示目标模板集的优化问题表示为：

由式(3)对所有目标模板的光照补偿系数矩阵K表示为：

K＝[k₁,k₂,…,k_n] (6)

矢量化目标模板以构成目标模板矩阵d为每个目标模板矢量化后长度，n为目标模板个数；由于粒子均在上一帧目标位置附近选取，因此粒子间具有相关性，考虑粒子间相关性，稀疏编码矩阵C中每一列均稀疏且相似，利用惩罚项||C||_2,1限制稀疏编码矩阵C，其中则将光照补偿与多任务逆向稀疏表示联合优化模型表示为：

其中，C＝[c₁,c₂,…,c_n]为稀疏编码矩阵，||·||_F为矩阵Frobenius范数算子，即矩阵元素绝对值的平方和后开平方；

3.求解联合优化模型

针对式(7)联合优化问题，采用交替迭代方法进行求解：

步骤1：已知稀疏编码矩阵C条件下，考虑求解光照补偿系数矩阵K的优化问题：

设则对S和目标模板T不重叠分块，并对每个分块按从左到右顺序矢量化，则根据式(8)求得第i个目标模板和候选目标第j个分块(即t_ij和s_ij)的平均亮度值，即：

将式(8)所得和代入式(1)得到k_ij，再将k_ij代入式(3)得到光照补偿系数向量k_i，最后将k_i代入式(6)得到光照补偿系数矩阵K；

步骤2：得到最优光照补偿系数矩阵K后，将其代入式(7)，考虑关于稀疏编码矩阵C的优化问题，即：

式(9)为多任务稀疏学习问题，通过加速近端梯度法实现高效求解；

加速近端梯度法通过迭代更新矩阵C^(k)和聚合矩阵V^(k)以求得稀疏编码矩阵C，每一步迭代包括两个步骤：1)保持V^(k)不变，更新稀疏表示矩阵C^(k)；2)通过C^(k+1)和C^(k)线性组合，更新聚合矩阵V^(k)；首先给出当前估计V^(k)，通过计算式(10)得到C^(k+1)；

其中，时间参数参数表示梯度下降步长，然后线性组合C^(k+1)和C^(k)以更新V^(k+1)，即：

其中，将α_k设定为k≥1；k＝0时，α₀＝1，初始化V⁽⁰⁾和C⁽⁰⁾为全零矩阵；当目标函数下降值小于预先设定阈值则APG算法满足收敛条件，算法迭代停止；

重复步骤1和步骤2直至满足迭代收敛条件，即相邻两次迭代光照补偿系数矩阵K的误差小于设定阈值即求得稀疏编码矩阵C及光照补偿系数矩阵K；

4.筛选候选目标

设n个目标模板T＝[t₁,t₂,…,t_n]由m个候选目标Y＝[y₁,y₂,…,y_m]及稀疏编码矩阵C稀疏表示，通过式(12)判断候选目标y_j是否被选择并进一步评估：

其中，表示候选目标y_j与目标模板t_i的相似度，如果不全为0，则表明候选目标y_j与某些目标模板具有相似性，选择候选目标y_j并进行进一步评估，否则被视为不相关候选目标，拒绝接受进一步评估；候选目标被筛选后，保留的候选目标被缩小至较小集合其中p＜＜m，从而可降低算法运算量，提升算法实时性；

5.局部结构化评估

将光照补偿后目标模板集T^*中每个模板分成N个重叠局部块，得到Nn个局部块以用于构建字典每个候选目标Y_j被分割成块{y_k|k＝1,…,N}每个y_i都被字典D稀疏编码，即：

其中表示y_k的稀疏系数向量；如果候选目标Y_j接近目标模板，则对应子字典对其局部块y_k有较好表示，对应子系数则为 是a_k的第j个元素，由此，局部块y_k对应重构误差表示为：

所有局部块重构误差{ε₁,ε₂,…,ε_N}被计算后，候选目标Y_j的似然模型被构造为：

6.粒子滤波框架

基于粒子滤波方法，观测目标集定义为Z_r＝[z₁,z₂,…,z_r]，其中z_r为时刻r目标观测量，目标跟踪过程中，利用仿射变换对相邻帧目标运动建模，并通过最大后验估计获得状态x_r的估计，即：

其中，表示第r帧中第i个候选样本的后验概率，利用贝叶斯推理框架递归推导，即：

p(x_r|Z_r)∝p(z_r|x_r)∫p(x_r|x_r-1)p(x_r-1|Z_r-1)dx_r-1 (17)

其中，p(x_r|Z_r)表示第r帧候选样本的后验概率，p(x_r|x_r-1)为目标相邻帧间的目标状态先验概率，p(z_r|x_r)为状态x_r下z_r的观测概率，∝为正比算子；

基于式(15)得p(z_r|x_r)，将其带入式(17)，并通过式(16)得到目标状态最优估计，从而实现目标的精确追踪；

7.更新目标模板

令η＝[η₁,η₂,…,η_p]表示相似度向量，阈值θ描述相似度，每帧利用式(18)测量当前跟踪结果与第i个目标模板之间相似性η_i，即：

其中，表示第r帧跟踪结果，t_i表示第i个目标模板，将最大相似度值Ω＝maxη_i,i＝1,2,…m与阈值θ比较，若Ω＞θ，则该目标模板与新目标相似度最大，并用当前跟踪结果替换对应目标模板；否则，相邻帧变化较大或目标部分被遮挡，则不更新此候选目标。

与现有技术相比本发明具备以下有益效果：

第一，针对光照变化引起目标跟踪性能显著下降的问题，本发明对目标模板光照补偿，基于稀疏表示理论，构建光照补偿和多任务稀疏表示联合优化模型。与其他方法相比，光照估计及在线更新的光照补偿系数矩阵很大程度上反映了目标光照变化，从而使得本方法对光照变化更有效；多任务逆向稀疏表示考虑粒子间相关性，显著提高计算效率和跟踪性能。

第二，本方法对光照补偿和稀疏表示联合优化。由于考虑候选目标和目标模板间的相关性使得光照补偿更加精确，同样，正确的光照补偿使得跟踪稳健性更好。

第三，针对所提联合优化模型，本发明提出一种交替迭代优化方法，该方法同时获得稀疏编码矩阵和亮度补偿系数矩阵，可显著降低本方法的运算量，改善方法的实时性。因此，此方法具有一定的实际意义。

附图说明

图1是本发明实现流程图；

图2是用于光照补偿的图像矢量化；

图3是九种跟踪算法的跟踪结果对比。

具体实施方式

以下结合附图和具体的实施方式对本发明的实现步骤做进一步详细描述。如图1所示为本发明实现流程图。包括如下步骤：

1.获取候选目标和目标模板

候选目标初始化：跟踪过程中的每一帧，以上一帧的跟踪结果为中心抽取m个图像块，将获得的图像块归一化为w×h大小，其中w和h分别为归一化后图像块的宽和高，而后将候选目标不重叠分块，并对每个分块按从左到右顺序矢量化(如附图2所示)，其长度为d＝w×h，即得到相应的观测图像集，即候选目标集

目标模板的获取：首先在第一帧中确定目标位置，利用CT跟踪器得到前n帧跟踪结果并归一化，而后将目标模板不重叠分块，并对每个分块按从左到右顺序矢量化以组成目标模板集其中，n为目标模板个数；

2.建立光照补偿和多任务逆向稀疏表示联合优化模型

由于目标模板数量远小于候选目标，若将候选目标作为字典集，目标模板作为表示对象，则可显著降低稀疏编码计算量。基于此，本方法不对候选目标光照补偿，而根据候选目标光照变化对目标模板实施光照补偿。此外，相比于整幅图像，局部块尺寸较小，则块内像素亮度随时间变化趋势及幅度皆相似。基于此观察，本方法利用候选目标局部块平均亮度值补偿目标模板对应局部块。

根据目标模板与候选目标平均亮度差异，可用平均亮度的差值或比值对目标模板光照补偿，但目标模板个别像素值小于平均亮度差异时，采用平均亮度的差值可能导致目标模板个别像素值小于0。基于此，本方法利用平均亮度的比值对目标模板光照补偿。为减少计算量，采用灰度特征描述样本，则第i个候选目标s及目标模板t中的第j个对应局部块平均亮度比值表示为：

其中，分别表示第i个候选目标及目标模板第j个局部块平均亮度值；

与基于目标模板线性稀疏表示候选目标方法相反，本方法基于候选目标集Y线性表示目标模板t，即：

其中，t为矢量化目标模板，c为稀疏系数向量，λ为稀疏惩罚参数，为矢量化候选目标构成的候选目标矩阵，d为每个目标模板矢量化后长度，m为候选目标个数，||·||₂为向量的l₂范数算子，||·||₁为向量的l₁范数算子；

将目标模板不重叠分块，并对每个分块按从左到右顺序矢量化，则第i个目标模板的光照补偿系数向量表示为：

其中，r²为分块j的像素个数，k_ij,i＝1,…,n,j＝1,…,L，n,L分别为目标模板和单个目标模板分块的个数；

基于式(2)及(3)，得到光照补偿与逆向稀疏表示联合优化模型，即：

其中，t_i为第i个目标模板的光照补偿系数向量，c_i为对应于第i个目标模板的稀疏系数向量，⊙表示Hadamard积；

基于式(4)，将候选目标矩阵Y线性表示目标模板集的优化问题表示为：

由(5)式可知，若要获得所有目标模板的稀疏系数及光照补偿系数，需逐一求解n个优化问题，此过程将显著增加算法计算复杂度，降低算法实时性，不利于工程应用。针对此问题，所提算法采用多任务稀疏学习方法，其可同时对所有目标模板进行光照补偿和稀疏表示，从而避免逐次求解单一目标模板稀疏学习问题，进一步降低算法计算复杂度，提升算法实时性。

由式(3)对所有目标模板的光照补偿系数矩阵K表示为：

K＝[k₁,k₂,…,k_n] (6)

矢量化目标模板以构成目标模板矩阵d为每个目标模板矢量化后长度，n为目标模板个数；由于粒子均在上一帧目标位置附近选取，因此粒子间具有相关性。忽略粒子间相关性易使跟踪算法在目标外观变化时产生漂移。考虑粒子间相关性，稀疏编码矩阵C中每一列均稀疏且相似，利用惩罚项||C||_2,1限制稀疏编码矩阵C，其中则将光照补偿与多任务逆向稀疏表示联合优化模型表示为：

其中，C＝[c₁,c₂,…,c_n]为稀疏编码矩阵，||·||_F为矩阵Frobenius范数算子，即矩阵元素绝对值的平方和后开平方；

由式(7)知，此为关于光照补偿系数矩阵K和稀疏编码矩阵C的复杂优化问题，无法获得解析解。

3.求解联合优化模型

针对式(7)联合优化问题，采用交替迭代方法进行求解：

步骤1：已知稀疏编码矩阵C条件下，考虑求解光照补偿系数矩阵K的优化问题：

设则对S和目标模板T不重叠分块，并对每个分块按从左到右顺序矢量化，则根据式(8)求得第i个目标模板和候选目标第j个分块(即t_ij和s_ij)的平均亮度值，即：

将式(8)所得和代入式(1)得到k_ij，再将k_ij代入式(3)得到光照补偿系数向量k_i，最后将k_i代入式(6)得到光照补偿系数矩阵K；

步骤2：得到最优光照补偿系数矩阵K后，将其代入式(7)，考虑关于稀疏编码矩阵C的优化问题，即：

式(9)为多任务稀疏学习问题，通过加速近端梯度法(APG)实现高效求解；

APG通过迭代更新矩阵C^(k)和聚合矩阵V^(k)以求得稀疏编码矩阵C，每一步迭代包括两个步骤：1)保持V^(k)不变，更新稀疏表示矩阵C^(k)；2)通过C^(k+1)和C^(k)线性组合，更新聚合矩阵V^(k)；首先给出当前估计V^(k)，通过计算式(10)得到C^(k+1)；

其中，时间参数参数表示梯度下降步长，然后线性组合C^(k+1)和C^(k)以更新V^(k+1)，即：

其中，将α_k设定为k≥1；k＝0时，α₀＝1，初始化V⁽⁰⁾和C⁽⁰⁾为全零矩阵；当目标函数下降值小于预先设定阈值则APG算法满足收敛条件，算法迭代停止；

重复步骤1和步骤2直至满足迭代收敛条件，即相邻两次迭代光照补偿系数矩阵K的误差小于设定阈值即求得稀疏编码矩阵C及光照补偿系数矩阵K；

4.筛选候选目标

稀疏编码矩阵C中非零元素表明候选目标集和目标模板集间的相似性。逆向表示中，目标模板由相似候选目标稀疏表示，与目标模板不同的候选目标对应零系数。基于此观察，本发明提出一种有效排除不相关候选目标方案，详述如下：设n个目标模板T＝[t₁,t₂,…,t_n]由m个候选目标Y＝[y₁,y₂,…,y_m]及稀疏编码矩阵C稀疏表示，通过式(12)判断候选目标y_j是否被选择并进一步评估：

其中，表示候选目标y_j与目标模板t_i的相似度，如果不全为0，则表明候选目标y_j与某些目标模板具有相似性，选择候选目标y_j并进行进一步评估，否则被视为不相关候选目标，拒绝接受进一步评估；候选目标被筛选后，保留的候选目标被缩小至较小集合其中p＜＜m，从而可降低算法运算量，提升算法实时性；

5.局部结构化评估

筛选候选目标后，算法可利用更加精确的评估方法。与整体模型相比，局部模型在处理局部噪声、局部遮挡和目标形变时更具鲁棒性。因此，本方法应用局部结构化重构误差评估候选目标相似度。本小节首先给出局部图像块采样的一般公式，然后描述图像局部块稀疏表示过程。

将光照补偿后目标模板集T^*中每个模板分成N个重叠局部块，得到Nn个局部块以用于构建字典每个候选目标Y_j被分割成块{y_k|k＝1,…,N}每个y_i都被字典D稀疏编码，即：

其中表示y_k的稀疏系数向量；如果候选目标Y_j接近目标模板，则对应子字典对其局部块y_k有较好表示，对应子系数则为 是a_k的第j个元素，由此，局部块y_k对应重构误差表示为：

所有局部块重构误差{ε₁,ε₂,…,ε_N}被计算后，候选目标Y_j的似然模型被构造为：

6.粒子滤波框架

基于粒子滤波方法，观测目标集定义为Z_r＝[z₁,z₂,…,z_r]，其中z_r为时刻r目标观测量，目标跟踪过程中，利用仿射变换对相邻帧目标运动建模，并通过最大后验估计获得状态x_r的估计，即：

其中，表示第r帧中第i个候选样本的后验概率，利用贝叶斯推理框架递归推导，即：

p(x_r|Z_r)∝p(z_r|x_r)∫p(x_r|x_r-1)p(x_r-1|Z_r-1)dx_r-1 (17)

其中，p(x_r|Z_r)表示第r帧候选样本的后验概率，p(x_r|x_r-1)为目标相邻帧间的目标状态先验概率，p(z_r|x_r)为状态x_r下z_r的观测概率，∝为正比算子；

基于式(15)得p(z_r|x_r)，将其带入式(17)，并通过式(16)得到目标状态最优估计，从而实现目标的精确追踪；

7.更新目标模板

目标模板需进行适度更新，理由如下：若不更新模板，则无法捕捉光照或姿态变化引起的外观变化，若频繁更新模板，则由于每次更新目标模板均会引入微小错误，当误差累积至一定程度，跟踪器会偏离目标从而导致漂移。基于此，所提算法通过动态更新目标模板集，具体描述如下：令η＝[η₁,η₂,…,η_p]表示相似度向量，阈值θ描述相似度，每帧利用式(18)测量当前跟踪结果与第i个目标模板之间相似性η_i，即：

其中，表示第r帧跟踪结果，t_i表示第i个目标模板，将最大相似度值Ω＝maxη_i,i＝1,2,…m与阈值θ比较，若Ω＞θ，则该目标模板与新目标相似度最大，并用当前跟踪结果替换对应目标模板；否则，相邻帧变化较大或目标部分被遮挡，则不更新此候选目标。需要说明的是，算法需始终保持首个目标模板不变以减轻漂移，这是由于首帧目标始终真实。

本发明的方法的步骤可总结为：

(1)获取候选目标集Y＝[y₁,y₂,…,y_m]和目标模板集T＝[t₁,t₂,…,t_n]；

(2)利用目标模板与候选目标对应局部块平均亮度差异对目标模板光照补偿；

(3)基于稀疏表示理论，建立光照补偿和多任务逆向稀疏表示联合优化模型，即：

(4)采用交替迭代方法求解联合优化模型，得到稀疏编码矩阵C；

(5)由稀疏编码矩阵C筛选候选目标，缩小粒子规模；

(6)应用局部结构化重构误差ε_k评估候选目标相似度，构造候选目标的似然模型

(7)基于粒子滤波理论，得到目标状态最优估计

(8)动态更新目标模板。

本发明的效果可通过以下仿真进一步说明：

仿真条件：仿真软件：MATLAB R2017a。硬件环境：处理器为Intel Core(TM)i3-M380，主频为2.53GHz，内存为3.87GB。测试序列在OTB-100数据集中选取，此序列场景中普遍存在光照变化的挑战因素。测试序列基本信息如表1所示。

表1 视频序列及其主要挑战

跟踪过程中，本专利采用文献Zhang K,Zhang L,Yang M H.Real-TimeCompressive Tracking[C]European Conference on Computer Vision.Springer-Verlag,2012:864-877提出的压缩跟踪器(Compressive Tracking，CT)跟踪前10帧，将前10帧跟踪结果做为目标模板，每帧抽取600个粒子逼近目标状态，每个样本都被规范化为32×32。局部结构评估时，每一帧提取9个重叠局部块(16×16)，并以8个像素为步长，λ₁和步长β可设置为0.01，收敛阈值模板更新阈值θ＝0.4。

仿真内容：

仿真1：九种跟踪算法的跟踪结果定性评价比较。

本发明通过与TLD、CSK、Struck、VTD、L1APG、MTT、MIL和LSHT等现有主流跟踪器对比，定性评估所提方法的有效性，具体如附图3所示。

图3(a)中，环境产生较大光照变化时，八种对比算法跟踪误差明显增大，均发生不同程度持续漂移，其中L1APG算法已丢失目标。需要注意的是，由于本方法考虑光照变化影响并进行有效光照变化补偿，从而可稳定锁定目标。图3(b)中，CarDark测试序列目标与背景对比度低，且存在较强光照变化。当目标分辨率较低时，TLD算法、VTD算法、MIL算法和LSHT算法已丢失目标，第349帧CSK算法亦产生轻微漂移。图3(c)中，第509帧Struck算法和MTT算法已跟丢目标，除本方法所提算法及TLD算法，其它对比算法均产生不同程度漂移。图3(d)中，当发生较大光照变化时，八种对比算法虽未跟丢目标，但目标框均不同程度超出目标大小。与此不同，本方法能够适应目标尺度变化，这表明本方法具有较好鲁棒性。图3(e)中，受目标形态和光照变化影响，第230帧八种对比算法均出现漂移，第476帧，TLD算法、VTD算法、L1APG算法、MTT算法和LSHT算法已完全跟丢目标，只有本方法在整个视频序列中跟踪误差较小，从而进一步表明本方法具有较好跟踪精度。图3(f)中，随着目标发生光照和尺度变化，八种对比算法均完全跟丢目标，表明本方法在复杂环境下也具有较好跟踪效果。

仿真2：九种跟踪算法的跟踪结果定量评价比较。

为定量评价所提算法性能，采用平均中心位置误差和跟踪重叠率衡量跟踪效果。中心位置误差为真实目标位置(x₀,y₀)与算法所得跟踪位置(x₁,y₁)间的距离误差，可表示为跟踪重叠率score＝area(R_t∩R_g)/area(R_t∪R_g)，其中R_t表示跟踪结果面积，R_g表示真实目标面积。具体如表2及表3所示，其中，表3为不同跟踪算法在每视频序列的平均中心位置误差，表3为不同跟踪算法在每个视频序列的跟踪重叠率。其中，用加粗字体标识最小平均中心位置误差和最大跟踪重叠率，用下划线标识次小平均中心位置误差和次大跟踪重叠率。

表2 不同跟踪方法的平均中心位置误差

表3 不同跟踪方法的跟踪重叠率

从表2及3可知，本方法在视频序列Car4、Singer1、Trellis和Car1中都有较好表现。由此可见，本方法利用光照补偿和逆向稀疏表示更加准确的表征了光照变化条件下的目标。与现有主流跟踪器相比，所提跟踪器在光照变化序列上表现更出色，主要原因在于：1)跟踪模型中光照估计及在线更新的光照补偿系数矩阵很大程度上反映了目标光照变化，从而使得本方法对光照变化更有效；2)多任务反向稀疏表示考虑粒子间相关性，显著提高计算效率和跟踪性能；3)似然模型的局部结构化表示进一步提高了本方法对局部噪声及遮挡的鲁棒性。

综上所述，基于稀疏表示理论，本方法提出一种光照补偿和多任务逆向稀疏表示联合优化方法。所提方法首先对目标模板光照补偿，而后基于多任务逆向稀疏表示方法，利用候选目标构建过完备字典以稀疏表示光照补偿后目标模板，而后利用稀疏编码矩阵所包含信息，快速剔除无关候选项以减小粒子规模，最后基于局部重构误差构建目标似然模型。实验结果表明，与现有先进算法相比，剧烈光照变化情况下，所提方法可显著改善目标跟踪精度及鲁棒性。由此，本发明所提方法可以为工程应用中光照变化下视觉跟踪算法的精度和鲁棒性研究提供坚实的理论与实现依据。

Claims (1)

1.光照变化下基于逆向稀疏表示的视觉跟踪方法，包括如下步骤：

1.获取候选目标和目标模板

候选目标初始化：跟踪过程中的每一帧，以上一帧的跟踪结果为中心抽取m个图像块，将获得的图像块归一化为w×h大小，其中w和h分别为归一化后图像块的宽和高，而后将候选目标不重叠分块，并对每个分块按从左到右顺序矢量化，其长度为d＝w×h，即得到相应的观测图像集，即候选目标集

目标模板的获取：首先在第一帧中确定目标位置，利用CT跟踪器得到前n帧跟踪结果并归一化，而后将目标模板不重叠分块，并对每个分块按从左到右顺序矢量化以组成目标模板集其中，n为目标模板个数；

2.建立光照补偿和多任务逆向稀疏表示联合优化模型

采用灰度特征描述样本，则第i个候选目标s及目标模板t中的第j个对应局部块平均亮度比值表示为：

其中，分别表示第i个候选目标及目标模板第j个局部块平均亮度值；

与基于目标模板线性稀疏表示候选目标方法相反，本方法基于候选目标集Y线性表示目标模板t，即：

其中，t为矢量化目标模板，c为稀疏系数向量，λ为稀疏惩罚参数，为矢量化候选目标构成的候选目标矩阵，d为每个目标模板矢量化后长度，m为候选目标个数，||·||₂为向量的l₂范数算子，||·||₁为向量的l₁范数算子；

将目标模板不重叠分块，并对每个分块按从左到右顺序矢量化，则第i个目标模板的光照补偿系数向量表示为：

其中，r²为分块j的像素个数，k_ij,i＝1,…,n,j＝1,…,L，n,L分别为目标模板和单个目标模板分块的个数；

基于式(2)及(3)，得到光照补偿与逆向稀疏表示联合优化模型，即：

其中，t_i为第i个目标模板的光照补偿系数向量，c_i为对应于第i个目标模板的稀疏系数向量，⊙表示Hadamard积；

基于式(4)，将候选目标矩阵Y线性表示目标模板集的优化问题表示为：

由式(3)对所有目标模板的光照补偿系数矩阵K表示为：

K＝[k₁,k₂,…,k_n] (6)

矢量化目标模板以构成目标模板矩阵d为每个目标模板矢量化后长度，n为目标模板个数；由于粒子均在上一帧目标位置附近选取，因此粒子间具有相关性，考虑粒子间相关性，稀疏编码矩阵C中每一列均稀疏且相似，利用惩罚项||C||_2,1限制稀疏编码矩阵C，其中则将光照补偿与多任务逆向稀疏表示联合优化模型表示为：

其中，C＝[c₁,c₂,…,c_n]为稀疏编码矩阵，||·||_F为矩阵Frobenius范数算子，即矩阵元素绝对值的平方和后开平方；

3.求解联合优化模型

针对式(7)联合优化问题，采用交替迭代方法进行求解：

步骤1：已知稀疏编码矩阵C条件下，考虑求解光照补偿系数矩阵K的优化问题：

设则对S和目标模板T不重叠分块，并对每个分块按从左到右顺序矢量化，则根据式(8)求得第i个目标模板和候选目标第j个分块(即t_ij和s_ij)的平均亮度值，即：

将式(8)所得和代入式(1)得到k_ij，再将k_ij代入式(3)得到光照补偿系数向量k_i，最后将k_i代入式(6)得到光照补偿系数矩阵K；

步骤2：得到最优光照补偿系数矩阵K后，将其代入式(7)，考虑关于稀疏编码矩阵C的优化问题，即：

式(9)为多任务稀疏学习问题，通过加速近端梯度法实现高效求解；

加速近端梯度法通过迭代更新矩阵C^(k)和聚合矩阵V^(k)以求得稀疏编码矩阵C，每一步迭代包括两个步骤：1)保持V^(k)不变，更新稀疏表示矩阵C^(k)；2)通过C^(k+1)和C^(k)线性组合，更新聚合矩阵V^(k)；首先给出当前估计V^(k)，通过计算式(10)得到C^(k+1)；

其中，时间参数参数表示梯度下降步长，然后线性组合C^(k+1)和C^(k)以更新V^(k+1)，即：

其中，将α_k设定为k≥1；k＝0时，α₀＝1，初始化V⁽⁰⁾和C⁽⁰⁾为全零矩阵；当目标函数下降值小于预先设定阈值则APG算法满足收敛条件，算法迭代停止；

重复步骤1和步骤2直至满足迭代收敛条件，即相邻两次迭代光照补偿系数矩阵K的误差小于设定阈值即求得稀疏编码矩阵C及光照补偿系数矩阵K；

4.筛选候选目标

设n个目标模板T＝[t₁,t₂,…,t_n]由m个候选目标Y＝[y₁,y₂,…,y_m]及稀疏编码矩阵C稀疏表示，通过式(12)判断候选目标y_j是否被选择并进一步评估：

其中，表示候选目标y_j与目标模板t_i的相似度，如果不全为0，则表明候选目标y_j与某些目标模板具有相似性，选择候选目标y_j并进行进一步评估，否则被视为不相关候选目标，拒绝接受进一步评估；候选目标被筛选后，保留的候选目标被缩小至较小集合其中p＜＜m，从而可降低算法运算量，提升算法实时性；

5.局部结构化评估

将光照补偿后目标模板集T^*中每个模板分成N个重叠局部块，得到Nn个局部块以用于构建字典每个候选目标Y_j被分割成块{y_k|k＝1,…,N}每个y_i都被字典D稀疏编码，即：

其中表示y_k的稀疏系数向量；如果候选目标Y_j接近目标模板，则对应子字典对其局部块y_k有较好表示，对应子系数则为 是a_k的第j个元素，由此，局部块y_k对应重构误差表示为：

所有局部块重构误差{ε₁,ε₂,…,ε_N}被计算后，候选目标Y_j的似然模型被构造为：

6.粒子滤波框架

基于粒子滤波方法，观测目标集定义为Z_r＝[z₁,z₂,…,z_r]，其中z_r为时刻r目标观测量，目标跟踪过程中，利用仿射变换对相邻帧目标运动建模，并通过最大后验估计获得状态x_r的估计，即：

其中，表示第r帧中第i个候选样本的后验概率，利用贝叶斯推理框架递归推导，即：

p(x_r|Z_r)∝p(z_r|x_r)∫p(x_r|x_r-1)p(x_r-1|Z_r-1)dx_r-1 (17)

其中，p(x_r|Z_r)表示第r帧候选样本的后验概率，p(x_r|x_r-1)为目标相邻帧间的目标状态先验概率，p(z_r|x_r)为状态x_r下z_r的观测概率，∝为正比算子；

基于式(15)得p(z_r|x_r)，将其带入式(17)，并通过式(16)得到目标状态最优估计，从而实现目标的精确追踪；

7.更新目标模板

令η＝[η₁,η₂,…,η_p]表示相似度向量，阈值θ描述相似度，每帧利用式(18)测量当前跟踪结果与第i个目标模板之间相似性η_i，即：

其中，表示第r帧跟踪结果，t_i表示第i个目标模板，将最大相似度值Ω＝maxη_i,i＝1,2,…m与阈值θ比较，若Ω>θ，则该目标模板与新目标相似度最大，并用当前跟踪结果替换对应目标模板；否则，相邻帧变化较大或目标部分被遮挡，则不更新此候选目标。