CN109087334A - 基于显著语境稀疏表示的目标追踪方法 - Google Patents

Abstract

本发明提供了基于显著语境稀疏表示的目标追踪方法，属于图像处理领域，包括提取样本图像的特征映射，分别对中心区域和边缘区域的特征映射，将得到的特征映射进行融合处理；对融合后的图像进行稀疏处理，基于处理后的图像进行遮挡求解，对待测视频中的两个连续帧进行建模，基于已建立的模型进行遮挡判断，当判断出现遮挡时，使用前述内容计算当前帧的可视显著性映射，在得到的显著性图中与每个目标模板进行比较，选取权重最高的目标模板作为追踪结果。通过将目标对象被提取为一个显著特征映射，用稀疏表示和显著的语境校正部分遮挡和突然运动的目标，本方法计算简单，提升了目标追踪的有效性和准确性，抗干扰能力也大大提高。

Description

基于显著语境稀疏表示的目标追踪方法

技术领域

本发明属于图像处理领域，特别涉及基于显著语境稀疏表示的目标追踪方法。

背景技术

目标跟踪在视频监控、威胁检测、复合安全、人机交互等众多应用中发挥着至关重要的作用，近年来已经取得了大量的进展。一般来说，一个跟踪算法使用一个外观模型来表示对象，并用对象表示来评估预测的图像补丁。此外，还应用动态模型来不断地计算目标的状态。

通过对视觉信息的过滤和选择，可以有效地提高跟踪程序。Itti L等人首先提出基于显著性视觉注意力模型，用于快速场景分析。Wu Y等人提倡在稀疏编码的特征空间中寻找合适的度量标准，提出一种基于度量的结构外观模型，以便更准确地匹配不同的外观。Mei X将稀疏表示扩展到对象跟踪，然而由于该方法可以利用l_1最小化公式处理每个粒子的最小值，计算量较大，且随着目标和背景之间的模糊性越来越大，可能会导致跟踪失败。现有技术中由于光照变化、遮挡、尺度变化和背景杂波等因素影响，鲁棒性和抗干扰能力较弱。

发明内容

为了解决现有技术中存在的缺点和不足，本发明提供了基于显著语境稀疏表示的目标追踪方法，用于提升跟踪的稳定性。

为了达到上述技术目的，本发明提供了基于显著语境稀疏表示的目标追踪方法，所述目标追踪方法，包括：

步骤一，提取样本图像的特征映射，分别对中心区域和边缘区域的特征映射，将得到的特征映射进行融合处理；

步骤二，对融合后的图像进行稀疏处理，基于处理后的图像进行遮挡求解；

步骤三，对待测视频中的两个连续帧进行建模，基于已建立的模型进行遮挡判断，当判断出现遮挡时，使用步骤一和步骤二的内容计算当前帧的可视显著性映射，在得到的显著性图中与每个目标模板进行比较，选取权重最高的目标模板作为追踪结果。

可选的，所述提取样本图像的特征映射，分别对中心区域和边缘区域的特征映射，将得到的特征映射进行融合处理，包括：

将图像分解为一组特征映射，从特征映射中提取颜色映射C_RG,C_BY、亮度映射Ι和局部方向映射O，O的计算公式如公式1所示

O(θ)＝‖IG₀(θ)‖+||IG_π/2(θ)|| 公式1

其中G(.)代表Gabor过滤器，θ是局部方向；

获取中心区域与周围区域的对比：利用不同空间尺度的图像的差分来模拟对比度，处理公式如公式2所示

F_l(c,s)＝|F_l(c)ΘF_l(s)| 公式2

其中F_l(c)代表中部区域特性,F_l(s)代表周边区域特性，Θ的意思是用相同的大小插入这两个图像，并计算每个像素的差分；

使用归一化函数N(.)和跨尺度加法运算，将各特征的获得的映射分别进行融合，以实现规模的统一，处理公式如公式3所示

M_k＝αN(I_k)+βN(C_k)+γN(O_k) 公式3

其中I_k,C_k,O_k表示第k个坐标系中的颜色、亮度和方向特征显著性映射，α,β,γ,为权重因子，用于减轻图像质量、图像噪声或其他元素的干扰。

可选的，所述对融合后的图像进行稀疏处理，基于处理后的图像进行遮挡求解，包括：

将跟踪问题转换为稀疏表示的最可能的补丁，并通过公式4的小模板处理部分遮挡：

其中y表示当前帧中的图像补丁，T表示包含目标模板的矩阵，B＝[T,I]由T和I组成的矩阵组合,表示由a和e组成的向量的组合，a是目标系数向量，e是表示被破坏或遮挡的y中的像素点的误差向量；

对公式4通过一个正则化最小二乘问题来求解，处理公式如公式5所示

其中‖·‖₁和‖·‖₂表示和的范数；

对目标外观建模并处理遮挡:将显著的约束引入到正则化的稀疏表示中，用显著特征向量对追踪的目标外观进行建模，并对遮挡问题进行处理，处理公式如公式6所示

其中S代表显著映射中的显著特征向量的一个矩阵,I表示单位矩阵；

对公式6遵循追踪器的方法进行最优化求解，处理公式如公式7所示,式中λ是正则化系数,

可选的，所述对待测视频中的两个连续帧进行建模，基于已建立的模型进行遮挡判断，当判断出现遮挡时，使用步骤一和步骤二的内容计算当前帧的可视显著性映射，在得到的显著性图中与每个目标模板进行比较，选取权重最高的目标模板作为追踪结果，包括：

对两个连续帧之间的目标运动仿射变换建模，并利用对角线协方差矩阵进行随机游走，形成状态转换；

在没有遮挡的情况下，从目标物体的子空间生成图像观测y_k，用每个观测到的图像补片的重构误差来计算观测的可能性，计算公式如公式8所示

如果出现重遮挡和跟踪漂移，用步骤一和步骤二的方法计算当前帧的可视显著性映射，并在显著性图中检测显著性yⁱ表示由xⁱ建立的图像补丁，区域R＝{R₁,R₂,…,R_n}，再与每个R_i的目标模板进行比较，匹配最可能的R_m和来自周围区域的样品，xⁱ表示运动状态变量x的第I个样本，aⁱ表示第i个目标系数向量，p(yⁱ|xⁱ)表示通过状态xⁱ中估计观察的yⁱ的可能性，S代表显著映射中的显著特征向量的一个矩阵；

初始化目标模板，将每个对象模板都与执行更新的重要权重相关联。

本发明提供的技术方案带来的有益效果是：

通过将目标对象被提取为一个显著特征映射，用稀疏表示和显著的语境校正部分遮挡和突然运动的目标，本方法计算简单，提升了目标追踪的有效性和准确性，抗干扰能力也大大提高。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于显著语境稀疏表示的目标追踪方法的流程示意图。

具体实施方式

为使本发明的结构和优点更加清楚，下面将结合附图对本发明的结构作进一步地描述。

实施例一

本发明提供了基于显著语境稀疏表示的目标追踪方法，如图1所示，所述目标追踪方法，包括：

步骤一，提取样本图像的特征映射，分别对中心区域和边缘区域的特征映射，将得到的特征映射进行融合处理；

步骤二，对融合后的图像进行稀疏处理，基于处理后的图像进行遮挡求解；

步骤三，对待测视频中的两个连续帧进行建模，基于已建立的模型进行遮挡判断，当判断出现遮挡时，使用步骤一和步骤二的内容计算当前帧的可视显著性映射，在得到的显著性图中与每个目标模板进行比较，选取权重最高的目标模板作为追踪结果。

在实施中，本发明提出一种基于稀疏表示的有效和自适应跟踪算法。在跟踪方法中，目标对象被提取为一个显著特征映射，用稀疏表示和显著的语境校正部分遮挡和突然运动的目标，提升了目标追踪的有效性和准确性，抗干扰能力大大提高。

可选的，所述提取样本图像的特征映射，分别对中心区域和边缘区域的特征映射，将得到的特征映射进行融合处理，包括：

将图像分解为一组特征映射，从特征映射中提取颜色映射C_RG,C_BY、亮度映射Ι和局部方向映射O，O的计算公式如公式1所示

O(θ)＝‖IG₀(θ)‖+||IG_π/2(θ)|| 公式1

其中G(.)代表Gabor过滤器，θ是局部方向；

获取中心区域与周围区域的对比：利用不同空间尺度的图像的差分来模拟对比度，处理公式如公式2所示

F_l(c,s)＝|F_l(c)ΘF_l(s)| 公式2

其中F_l(c)代表中部区域特性,F_l(s)代表周边区域特性，Θ的意思是用相同的大小插入这两个图像，并计算每个像素的差分；

使用归一化函数N(.)和跨尺度加法运算，将各特征的获得的映射分别进行融合，以实现规模的统一，处理公式如公式3所示

M_k＝αN(I_k)+βN(C_k)+γN(O_k) 公式3

其中I_k,C_k,O_k表示第k个坐标系中的颜色、亮度和方向特征显著性映射，α,β,γ,为权重因子，用于减轻图像质量、图像噪声或其他元素的干扰。

在实施中，提取图像特征：使用一组8个具有地面真实对象位置的具有挑战性的图像序列，将图像分解为一组特征映射，从这些特征中提取颜色映射C_RG,C_BY、亮度映射I和局部方向映射O，O的计算公式如下:

O(θ)＝‖IG₀(θ)‖+|IG_π/2(θ)|| 公式1

其中G(.)代表Gabor过滤器，θ是局部方向。

获取中心区域与周围区域的对比：利用不同空间尺度的图像的差分来模拟对比度，处理公式如下：

F_l(c,s)＝|F_l(c)ΘF_l(s)| 公式2

其中F_l(c)代表中部区域特性,F_l(s)代表周边区域特性，Θ的意思是用相同的大小插入这两个图像，并计算每个像素的差分。

融合特征：使用归一化函数N(.)和跨尺度加法运算，将各特征的获得的映射分别进行融合，处理公式如下：

M_k＝α_N(I_k)+βN(C_k)+γN(O_k) 公式3

其中I_k,C_k,O_k表示第k个坐标系中的颜色、亮度和方向特征显著性映射，α,β,γ,为权重因子，用于减轻图像质量、图像噪声或其他元素的干扰。

可选的，所述对融合后的图像进行稀疏处理，基于处理后的图像进行遮挡求解，包括：

将跟踪问题转换为稀疏表示的最可能的补丁，并通过公式4的小模板处理部分遮挡：

其中y表示当前帧中的图像补丁，T表示包含目标模板的矩阵，B＝[T,I]由T和I组成的矩阵组合,表示由a和e组成的向量的组合，a是目标系数向量，e是表示被破坏或遮挡的y中的像素点的误差向量；

对公式4通过一个正则化最小二乘问题来求解，处理公式如公式5所示

其中‖·‖₁和‖·‖₂表示和的范数；

对目标外观建模并处理遮挡:将显著的约束引入到正则化的稀疏表示中，用显著特征向量对追踪的目标外观进行建模，并对遮挡问题进行处理，处理公式如公式6所示

其中S代表显著映射中的显著特征向量的一个矩阵,I表示单位矩阵；

对公式6遵循追踪器的方法进行最优化求解，处理公式如公式7所示

可选的，所述对待测视频中的两个连续帧进行建模，基于已建立的模型进行遮挡判断，当判断出现遮挡时，使用步骤一和步骤二的内容计算当前帧的可视显著性映射，在得到的显著性图中与每个目标模板进行比较，选取权重最高的目标模板作为追踪结果，包括：

对两个连续帧之间的目标运动仿射变换建模，并利用对角线协方差矩阵进行随机游走，形成状态转换；

在没有遮挡的情况下，从目标物体的子空间生成图像观测y_k，用每个观测到的图像补片的重构误差来计算观测的可能性，计算公式如公式8所示

如果出现重遮挡和跟踪漂移，用步骤一和步骤二的方法计算当前帧的可视显著性映射，并在显著性图中检测显著性yⁱ表示由xⁱ建立的图像补丁，区域R＝{R₁,R₂,…,R_n}，再与每个R_i的目标模板进行比较，匹配最可能的R_m和来自周围区域的样品，xⁱ表示运动状态变量x的第I个样本，aⁱ表示第i个目标系数向量，p(yⁱ|xⁱ)表示通过状态xⁱ中估计观察的yⁱ的可能性，S代表显著映射中的显著特征向量的一个矩阵；

初始化目标模板，将每个对象模板都与执行更新的重要权重相关联。

上述文中，追踪器：追踪器是一个候选区域，它由目标和平凡模板的稀疏组合来表示，稀疏性是通过求解最小化问题来实现的。

本发明提供了基于显著语境稀疏表示的目标追踪方法，包括提取样本图像的特征映射，分别对中心区域和边缘区域的特征映射，将得到的特征映射进行融合处理；对融合后的图像进行稀疏处理，基于处理后的图像进行遮挡求解；，对待测视频中的两个连续帧进行建模，基于已建立的模型进行遮挡判断，当判断出现遮挡时，使用前述内容计算当前帧的可视显著性映射，在得到的显著性图中与每个目标模板进行比较，选取权重最高的目标模板作为追踪结果。通过将目标对象被提取为一个显著特征映射，用稀疏表示和显著的语境校正部分遮挡和突然运动的目标，本方法计算简单，提升了目标追踪的有效性和准确性，抗干扰能力也大大提高。

上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先后顺序。

以上所述仅为本发明的实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于显著语境稀疏表示的目标追踪方法，其特征在于，所述目标追踪方法，包括：

步骤一，提取样本图像的特征映射，分别对中心区域和边缘区域的特征映射，将得到的特征映射进行融合处理；

步骤二，对融合后的图像进行稀疏处理，基于处理后的图像进行遮挡求解；

步骤三，对待测视频中的两个连续帧进行建模，基于已建立的模型进行遮挡判断，当判断出现遮挡时，使用步骤一和步骤二的内容计算当前帧的可视显著性映射，在得到的显著性图中与每个目标模板进行比较，选取权重最高的目标模板作为追踪结果。

2.根据权利要求1所述的基于显著语境稀疏表示的目标追踪方法，其特征在于，所述提取样本图像的特征映射，分别对中心区域和边缘区域的特征映射，将得到的特征映射进行融合处理，包括：

将图像分解为一组特征映射，从特征映射中提取颜色映射C_RG，C_BY、亮度映射I和局部方向映射O，O的计算公式如公式1所示

O(θ)＝||IG₀(θ)||+||IG_π/2(θ)|| 公式1

其中G(.)代表Gabor过滤器，θ是局部方向；

获取中心区域与周围区域的对比：利用不同空间尺度的图像的差分来模拟对比度，处理公式如公式2所示

F_l(c，s)＝|F_l(c)ΘF_l(s)| 公式2

其中F_l(c)代表中部区域特性，F_l(s)代表周边区域特性，Θ的意思是用相同的大小插入这两个图像，并计算每个像素的差分；

使用归一化函数N(.)和跨尺度加法运算，将各特征的获得的映射分别进行融合，以实现规模的统一，处理公式如公式3所示

M_k＝αN(I_k)+βN(C_k)+γN(O_k) 公式3

其中I_k，C_k，O_k表示第k个坐标系中的颜色、亮度和方向特征显著性映射，α，β，γ，为权重因子，用于减轻图像质量、图像噪声或其他元素的干扰。

3.根据权利要求1所述的基于显著语境稀疏表示的目标追踪方法，其特征在于，所述对融合后的图像进行稀疏处理，基于处理后的图像进行遮挡求解，包括：

将跟踪问题转换为稀疏表示的最可能的补丁，并通过公式4的小模板处理部分遮挡：

其中y表示当前帧中的图像补丁，并将其规范化，使其与模板具有相同的大小，T表示包含目标模板的矩阵，B＝[T，I]由T和I组成的矩阵组合，定示由a和e组成的向量的组合，a是目标系数向量，e是表示被破坏或遮挡的y中的像素点的误差向量；

对公式4通过一个正则化最小二乘问题来求解，处理公式如公式5所示

其中||.||₁和||.||₂表示和的范数；

对目标外观建模并处理遮挡：将显著的约束引入到正则化的稀疏表示中，用显著特征向量对追踪的目标外观进行建模，并对遮挡问题进行处理，处理公式如公式6所示

其中S代表显著映射中的显著特征向量的一个矩阵，I表示单位矩阵；

对公式6遵循追踪器的方法进行最优化求解，处理公式如公式7所示，式中λ是正则化系数，

4.根据权利要求1所述的基于显著语境稀疏表示的目标追踪方法，其特征在于，所述对待测视频中的两个连续帧进行建模，基于已建立的模型进行遮挡判断，当判断出现遮挡时，使用步骤一和步骤二的内容计算当前帧的可视显著性映射，在得到的显著性图中与每个目标模板进行比较，选取权重最高的目标模板作为追踪结果，包括：

对两个连续帧之间的目标运动仿射变换建模，并利用对角线协方差矩阵进行随机游走，形成状态转换；

在没有遮挡的情况下，从目标物体的子空间生成图像观测y_k，用每个观测到的图像补片的重构误差来计算观测的可能性，计算公式如公式8所示

如果出现重遮挡和跟踪漂移，用步骤一和步骤二的方法计算当前帧的可视显著性映射，并在显著性图中检测显著性yⁱ表示由xⁱ建立的图像补丁，区域R＝{R₁，R₂，...，R_n}，再与每个R_i的目标模板进行比较，匹配最可能的R_m和来自周围区域的样品，xⁱ表示运动状态变量x的第I个样本，aⁱ表示第i个目标系数向量，p(yⁱ|xⁱ)表示通过状态xⁱ中估计观察的yⁱ的可能性，S代表显著映射中的显著特征向量的一个矩阵；

初始化目标模板，将每个对象模板都与执行更新的重要权重相关联。