CN106570486A - 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 - Google Patents

Abstract

本发明提供了一种基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法，其特征在于：首先，给定初始帧目标的位置及尺度信息；然后，建立或更新标准目标外观模型、标准相关滤波器及标准颜色贝叶斯模型；之后，基于前一帧的目标中心点，提取搜索区域；利用高斯核的相关滤波器实现目标位移估计，利用颜色贝叶斯模型实现目标尺度估计，进而得到当前帧的跟踪结果。通过依次对各帧视频图像进行处理，实现对视频中运动目标的跟踪。该目标跟踪方法不仅可以有效解决视频中运动目标的精确定位问题，而且能够实现目标尺度估计。在多种具有挑战性的环境中，依然能够有效的对目标进行跟踪，具有一定的鲁棒性，提高了跟踪算法的精度。

Description

基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法

技术领域

本发明涉及目标跟踪技术领域，更具体地说，涉及一种基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法。

背景技术

目标跟踪算法是目前计算机视觉领域的热门研究方向，其主要任务是在给定的视频序列中，对感兴趣的目标进行在线持续的跟踪，从而获得目标在每帧图像中的位置等信息。近年来，目标跟踪技术被广泛应用于视频监控、人机交互、视频内容分析等多个领域。虽然到目前为止，研究人员已经提出了很多解决思路。但是，由于需要考虑目标在运动过程中的各种干扰因素，比如：自身形变、光照变化、背景嘈杂、遮挡等，实现一个稳定而鲁棒的跟踪算法仍然是一项具有相当大的挑战性的工作。

近年来，核相关滤波器被成功应用到目标跟踪的领域中。很多基于该原理的跟踪算法都在标准测试集上取得了良好的跟踪效果。这种技术的共同思路是：

(1)初始化训练阶段，提取待跟踪的目标区域，并给其分配连续的高斯分布形式的标签，然后提取该区域特征，并通过核映射及傅里叶变换，获取目标外观模型，通过求解岭回归问题，训练得到一个相关滤波器模型；

(2)跟踪阶段，首先获得搜索区域，并对该区域进行特征提取。然后基于核映射和傅里叶变换，计算外观模型。最后，将训练好的相关滤波器与外观模型进行相关运算，并把输出响应峰值的位置作为目标的跟踪与定位结果；

(3)更新阶段，逐帧对外观模型和相关滤波器进行更新。

这类方法即考虑了目标及其邻域的信息，并且能够利用傅里叶变换，将矩阵运算转化为频域的元素对操作，从而既保证了算法的性能，同时极大的降低了计算量。

然而，基于相关滤波的方法存在两个不足；第一，该类算法采用的特征较为简单，对目标外观的描述往往不够充分；当目标外观受到干扰时，单一的特征容易发生改变，从而导致了算法整体性能的降低；第二，很多基于相关滤波器的跟踪算法固定目标的大小，因此不能够处理目标尺度变化的问题；实际上，目标由于运动，或者与镜头的距离改变，都会导致目标尺度的变化，采用固定尺度的算法显然不利于目标的精确估计。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法；该目标跟踪方法不仅可以有效解决视频中运动目标的精确定位问题，而且能够实现目标尺度估计。在多种具有挑战性的环境中，依然能够有效的对目标进行跟踪，具有一定的鲁棒性，提高了跟踪方法的精度。

为了达到上述目的，本发明通过下述技术方案予以实现：一种基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法，其特征在于：包括以下步骤：

第1步，设定t＝1，捕获第一帧视频图像，选择待跟踪目标的矩形区域，得到目标中心位置和目标尺度；

第2步，以第t帧视频图像的目标中心位置为中心，提取两倍于目标尺度的子窗口；对子窗口图像建立目标外观模型x；训练相关滤波器A和颜色贝叶斯模型R_b；

第3步，判断t值大小：若t＝1，则将目标外观模型x作为标准外观模型训练相关滤波器A作为标准相关滤波器颜色贝叶斯模型R_b作为标准颜色贝叶斯模型若t＞1，则更新标准外观模型和标准相关滤波器根据判断条件，更新标准颜色贝叶斯模型

第4步，t自加1，捕获第t帧视频图像，以第t-1帧视频图像的目标中心位置为中心，提取搜索区域；对搜索区域图像建立目标外观模型z；将目标外观模型z与当前的标准目标外观模型进行核空间映射得到映射结果将映射结果进行傅里叶变换，并利用当前的标准相关滤波器进行滤波处理，得到各个像素点输出响应找出最大的输出响应并将输出响应对应的像素点设定为第t帧视频图像的目标中心位置；根据所有像素点输出响应，计算PSR值；

第5步，利用当前的标准颜色贝叶斯模型，计算出搜索区域内各个像素点属于跟踪目标的置信概率，进而得到搜索区域的置信图；将置信图依次进行空间先验分布模型处理、自适应阈值分割处理和形态学处理、最大连通域分析得到分割矩形；利用平滑性约束方程得到第t帧视频图像的目标尺度；

第6步，判断第t帧视频图像是否为视频最后一帧图像：若是则结束跟踪，否则跳至第2步。

优选地，在第2步中，所述对子窗口图像建立目标外观模型x，是指包括如下步骤：

第2.1步，将子窗口图像从原始的三维RGB格式转化为十一维CN空间格式；利用主成分分析法，将十一维CN空间格式映射为二维颜色属性信息；

第2.2步，将子窗口图像进行梯度特征计算，提取三十二维HOG特征，并剔除梯度值为全零的一维冗余HOG特征，得到三十一维梯度属性信息；

第2.3步，对子窗口图像进行灰度化处理，得到一维灰度属性信息；

第2.4步，将颜色属性信息、梯度属性信息和灰度属性信息进行串联融合，得到三十四维多属性融合特征；将该三十四维多属性融合特征作为目标外观模型x，x＝[x₁,x₂,...,x_c],c＝34。

优选地，在第2步中，所述训练相关滤波器A是指，包括如下步骤：

第2.5步，设定子窗口图像中的样本x_m,n,(m,n)∈{0,...,M-1}×{0,...N-1}，M和N分别为子窗口图像的横向尺寸和纵向尺寸；

第2.6步，对子窗口图像中的样本分配连续的、以目标中心位置为中心的高斯分布形式的标签y(m,n)；

第2.7步，对子窗口图像的外观模型x自身进行核空间映射：

其中，*是指复数共轭，⊙是指矩阵中的元素对运算，σ²是高斯函数中的方差，F是指傅里叶变换；

采用岭回归方式进行训练，对核空间映射和标签进行傅里叶变换，得出相关滤波器模型A：

其中，λ为正则项系数。

优选地，在第2步中，训练颜色贝叶斯模型R_b是指，包括如下步骤：

第2.8步，将跟踪目标划分跟踪目标区域O，其余子窗口图像区域划分为目标邻域S；

第2.9步，基于原始的三维RGB格式子窗口图像，分别计算跟踪目标区域O和目标邻域S的十六维统计直方图，得到16*16*16的统计直方图H(O)和H(S)；

第2.10步，利用贝叶斯准则，计算用于表征各个像素属于目标的概率置信情况的概率模型，即得到颜色贝叶斯模型：

其中，i是指各个像素位置。

优选地，在第3步中，所述更新标准外观模型和标准相关滤波器根据判断条件，更新标准颜色贝叶斯模型是指，

设置学习因子_ρ，更新标准外观模型和标准相关滤波器

设置学习因子β，根据判断条件，更新标准颜色贝叶斯模型

其中，τ为PSR阈值。

优选地，在第4步中，所述t自加1，捕获第t帧视频图像，以第t-1帧视频图像的目标中心位置为中心，提取搜索区域；对搜索区域图像建立目标外观模型z；将目标外观模型z与当前的标准目标外观模型进行核空间映射得到映射结果将映射结果进行傅里叶变换，并利用当前的标准相关滤波器进行滤波处理，得到各个像素点输出响应找出最大的输出响应并将输出响应对应的像素点设定为第t帧视频图像的目标中心位置；根据所有像素点输出响应，计算PSR值，是指包括如下步骤：

第4.1步，t自加1，捕获第t帧视频图像，以第t-1帧视频图像的目标中心位置为中心，提取搜索区域；对搜索区域图像建立目标外观模型z；

第4.2步，将目标外观模型z与当前的标准目标外观模型进行核空间映射得到映射结果

其中，*是指复数共轭，⊙是指矩阵中的元素对运算，σ²是高斯函数中的方差，F是指傅里叶变换；

第4.3步，将映射结果进行傅里叶变换，并利用当前的标准相关滤波器进行滤波处理，得到搜索区域中各个像素点的输出响应

第4.4步，找出最大的输出响应并将输出响应对应的像素点设定为第t帧视频图像的目标中心位置；

第4.5步，根据所有像素点输出响应，计算PSR值：

其中，μ_y和σ_y分别是输出响应的均值和标准差。

优选地，在第4.1步中，对搜索区域图像建立目标外观模型z是指，

将搜索区域图像从原始的三维RGB格式转化为十一维CN空间格式；利用主成分分析法，将十一维CN空间格式映射为二维颜色属性信息；

将搜索区域图像进行梯度特征计算，提取三十二维HOG特征，并剔除梯度值为全零的一维冗余HOG特征，得到三十一维梯度属性信息；

对搜索区域图像进行灰度化处理，得到一维灰度属性信息；

将颜色属性信息、梯度属性信息和灰度属性信息进行串联融合，得到三十四维多属性融合特征；将该三十四维多属性融合特征作为目标外观模型z，z＝[z₁,z₂,...,z_c],c＝34。

优选地，在第5步中，所述利用当前的标准颜色贝叶斯模型，计算出搜索区域内各个像素点属于跟踪目标的置信概率，进而得到搜索区域的置信图；将置信图依次进行空间先验分布模型处理、自适应阈值分割处理和形态学处理、最大连通域分析得到分割矩形；利用平滑性约束方程得到第t帧视频图像的目标尺度，是指包括如下步骤：

第5.1步，利用当前的标准颜色贝叶斯模型，计算出搜索区域内各个像素点属于跟踪目标的置信概率，进而得到搜索区域的置信图；

第5.2步，建立空间先验分布模型：

其中，c_x表示搜索区域内每个位置，c₀表示第t-1帧视频图像的目标中心位置，σ₀表示先验分布的参数；

将先验分布模型分别与各个像素点的置信图相乘以对各个像素点的置信图进行约束处理；

第5.3步，采用自适应阈值分割法进行分割处理；然后进行形态学处理的闭操作和开操作，以填充分割导致的孔洞并排除孤立噪点；之后进行最大连通域分析得到尺寸为color_seg_sz的分割矩形；

第5.4步，利用平滑性约束方程得到第t帧视频图像的目标尺度：

target_sz＝(1-γ)·target_sz_t-1+γ·color_seg_sz_t；

其中，γ表示尺度更新参数。

与现有技术相比，本发明具有如下优点与有益效果：

1、本发明目标跟踪方法采用具有互补性质的多属性融合特征来建立目标外观模型，充分表征目标特征，降低了干扰对算法性能的影响；

2、本发明目标跟踪方法将提出的融合特征应用于高斯核相关滤波器中，以得到更为精确的目标中心位置估计；

3、本发明目标跟踪方法利用颜色贝叶斯模型与空间分析，估计目标尺度的变化，从而解决了相关滤波器无法估计目标尺寸大小的局限性；

4、本发明目标跟踪方法针对贝叶斯模型容易受到背景等噪声干扰的缺点，采用置信概率检测的策略对其进行自适应的更新。

附图说明

图1是本发明目标跟踪方法的流程图；

图2是本发明目标跟踪方法基于多属性融合特征建立外观模型的示意图；

图3是本发明目标跟踪方法第5步目标尺度估计的流程与效果示意图；

图4是本发明目标跟踪方法与其他方法在测试集上的性能比较图；

图5是本发明目标跟踪方法的实际效果示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细的描述。

实施例

本实施基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法，其流程如图1所示；包括以下步骤：

第1步，设定t＝1，捕获第一帧视频图像，选择待跟踪目标的矩形区域，得到目标中心位置和目标尺度；

第2步，以第t帧视频图像的目标中心位置为中心，提取两倍于目标尺度的子窗口；对子窗口图像建立目标外观模型x；训练相关滤波器A和颜色贝叶斯模型R_b；

第3步，判断t值大小：若t＝1，则将目标外观模型x作为标准外观模型训练相关滤波器A作为标准相关滤波器颜色贝叶斯模型R_b作为标准颜色贝叶斯模型若t＞1，则更新标准外观模型和标准相关滤波器根据判断条件，更新标准颜色贝叶斯模型

第4步，t自加1，捕获第t帧视频图像，以第t-1帧视频图像的目标中心位置为中心，提取搜索区域；对搜索区域图像建立目标外观模型z；将目标外观模型z与当前的标准目标外观模型进行核空间映射得到映射结果将映射结果进行傅里叶变换，并利用当前的标准相关滤波器进行滤波处理，得到各个像素点输出响应找出最大的输出响应并将输出响应对应的像素点设定为第t帧视频图像的目标中心位置；根据所有像素点输出响应，计算PSR值；

第5步，利用当前的标准颜色贝叶斯模型，计算出搜索区域内各个像素点属于跟踪目标的置信概率，进而得到搜索区域的置信图；将置信图依次进行空间先验分布模型处理、自适应阈值分割处理和形态学处理、最大连通域分析得到分割矩形；利用平滑性约束方程得到第t帧视频图像的目标尺度；

第6步，判断第t帧视频图像是否为视频最后一帧图像：若是则结束跟踪，否则跳至第2步。

优选地，在第2步中，所述对子窗口图像建立目标外观模型x，是指包括如下步骤，如图2所示：

第2.1步，将子窗口图像从原始的三维RGB格式转化为十一维CN空间格式；利用主成分分析法，将十一维CN空间格式映射为二维颜色属性信息；

第2.2步，将子窗口图像进行梯度特征计算，提取三十二维HOG特征，并剔除梯度值为全零的一维冗余HOG特征，得到三十一维梯度属性信息；

第2.3步，对子窗口图像进行灰度化处理，得到一维灰度属性信息；

第2.4步，将颜色属性信息、梯度属性信息和灰度属性信息进行串联融合，得到三十四维多属性融合特征；将该三十四维多属性融合特征作为目标外观模型x，x＝[x₁,x₂,...,x_c],c＝34。

考虑到单一属性的特征容易随着目标变化而发生改变，因此，本发明跟踪方法提出一种互补的多属性融合特征，能够从多个方面对目标进行描述，从而具有更强的稳定性。梯度属性信息能够反映目标的空间结构信息，因此对于目标的描述与表达效果显著。

颜色属性信息反映了目标本身的固有信息，具有很强的判别能力。CN(colorname)空间格式图像把传统的RGB格式图像转化到日常语言中定义的颜色属性空间，从而更贴近于现实生活中的人类的视觉感知系统。一般来说，在英语中，人们定义了十一种基本的颜色属性，分别是：黑、蓝、棕、灰、绿、橙、粉、紫、红、白以及黄。本发明采用了这种颜色表达形式，对目标的颜色信息进行特征提取。值得注意的是，并非所有的颜色属性都有助于区分目标。现实中，人们总能够通过目标的某种较为醒目的颜色属性来区分目标。基于这个观点，本发明采用主成分分析法，提取这十一维颜色属性中较为关键的二维属性，作为目标的颜色表达。

在第2步中，所述训练相关滤波器A是指，包括如下步骤：

第2.5步，设定子窗口图像中的样本x_m,n,(m,n)∈{0,...,M-1}×{0,...N-1}，M和N分别为子窗口图像的横向尺寸和纵向尺寸；

第2.6步，对子窗口图像中的样本分配连续的、以目标中心位置为中心的高斯分布形式的标签y(m,n)；

第2.7步，对子窗口图像的外观模型x自身进行核空间映射：

其中，*是指复数共轭，⊙是指矩阵中的元素对运算，σ²是高斯函数中的方差，由用户设定，F是指傅里叶变换；

采用岭回归方式进行训练，对核空间映射和标签进行傅里叶变换，得出相关滤波器模型A：

其中，λ为正则项系数，由用户设定。

利用傅里叶变换，两个多属性融合特征向量作内积，可以容易地转化为先对每一维中的矩阵对应位置元素对之间进行运算，然后再将所有维的结果进行累加。通过这种转化方式，避免了直接求解面临的矩阵求逆等大量耗时运算，转而使用元素对之间的运算，极大的降低了计算量，也使得本发明提出的高维融合特征能够成功应用于实际跟踪算法。

在第2步中，训练颜色贝叶斯模型R_b是指，包括如下步骤：

第2.8步，将跟踪目标划分跟踪目标区域O，其余子窗口图像区域划分为目标邻域S；

第2.9步，基于原始的三维RGB格式子窗口图像，分别计算跟踪目标区域O和目标邻域S的十六维统计直方图，得到16*16*16的统计直方图H(O)和H(S)；

第2.10步，利用贝叶斯准则，计算用于表征各个像素属于目标的概率置信情况的概率模型，即得到颜色贝叶斯模型：

其中，i是指各个像素位置。

为了得到概率模型，首先将跟踪目标区域O和目标邻域S分别投影至十六维统计直方图；对于其他位置，由于目标出现的概率很小，因此将这些位置的概率设置为固定值。

在第3步中，所述更新标准外观模型和标准相关滤波器根据判断条件，更新标准颜色贝叶斯模型是指，

设置学习因子ρ，更新标准外观模型和标准相关滤波器

设置学习因子β，根据判断条件，更新标准颜色贝叶斯模型

其中，τ为PSR阈值，由用户设定。

在跟踪过程中，及时更新标准颜色贝叶斯模型以适应目标外观变化是比较关键的环节。在位移估计时，为了保证空间与时间的连续性，主要采用了逐帧更新的策略。但是，在尺度估计中，由于采用了颜色信息，这样的更新策略可能会引入误差，并且由于误差会不断累积，从而造成潜在的跟踪失败。因此，除非跟踪结果是可靠的，否则不应该更新标准颜色贝叶斯模型。为了解决这个问题，本发明采用PSR(Peak-to-Side lobe Ratio)作为置信度度量，用于衡量跟踪结果是否可靠。PSR表征了滤波输出响应峰值的锐利程度，PSR值越大，说明基于相关滤波器得到的位置越可靠，也即跟踪结果能够用于颜色模型的更新。通过与预设的阈值比较，如果PSR超过设定阈值τ，则对标准颜色贝叶斯模型进行更新，否则不更新。

在第4步中，所述t自加1，捕获第t帧视频图像，以第t-1帧视频图像的目标中心位置为中心，提取搜索区域；对搜索区域图像建立目标外观模型z；将目标外观模型z与当前的标准目标外观模型进行核空间映射得到映射结果将映射结果进行傅里叶变换，并利用当前的标准相关滤波器进行滤波处理，得到各个像素点输出响应找出最大的输出响应并将输出响应对应的像素点设定为第t帧视频图像的目标中心位置；根据所有像素点输出响应，计算PSR值，是指包括如下步骤：

第4.1步，t自加1，捕获第t帧视频图像，以第t-1帧视频图像的目标中心位置为中心，提取搜索区域；对搜索区域图像建立目标外观模型z；

第4.2步，将目标外观模型z与当前的标准目标外观模型进行核空间映射得到映射结果

其中，*是指复数共轭，⊙是指矩阵中的元素对运算，σ²是高斯函数中的方差，由用户设定，F是指傅里叶变换；

第4.3步，将映射结果进行傅里叶变换，并利用当前的标准相关滤波器进行滤波处理，得到搜索区域中各个像素点的输出响应

第4.4步，找出最大的输出响应并将输出响应对应的像素点设定为第t帧视频图像的目标中心位置；

第4.5步，根据所有像素点输出响应，计算PSR值：

其中，μ_y和σ_y分别是输出响应的均值和标准差。

优选地，在第4.1步中，对搜索区域图像建立目标外观模型z是指，

将搜索区域图像从原始的三维RGB格式转化为十一维CN空间格式；利用主成分分析法，将十一维CN空间格式映射为二维颜色属性信息；

将搜索区域图像进行梯度特征计算，提取三十二维HOG特征，并剔除梯度值为全零的一维冗余HOG特征，得到三十一维梯度属性信息；

对搜索区域图像进行灰度化处理，得到一维灰度属性信息；

将颜色属性信息、梯度属性信息和灰度属性信息进行串联融合，得到三十四维多属性融合特征；将该三十四维多属性融合特征作为目标外观模型z，z＝[z₁,z₂,...,z_c],c＝34。

在第5步中，所述利用当前的标准颜色贝叶斯模型，计算出搜索区域内各个像素点属于跟踪目标的置信概率，进而得到搜索区域的置信图；将置信图依次进行空间先验分布模型处理、自适应阈值分割处理和形态学处理、最大连通域分析得到分割矩形；利用平滑性约束方程得到第t帧视频图像的目标尺度，是指包括如下步骤，如图3所示：

第5.1步，利用当前的标准颜色贝叶斯模型，计算出搜索区域内各个像素点属于跟踪目标的置信概率，进而得到搜索区域的置信图；

第5.2步，建立空间先验分布模型：

其中，c_x表示搜索区域内每个位置，c₀表示第t-1帧视频图像的目标中心位置，σ₀表示先验分布的参数；

将先验分布模型分别与各个像素点的置信图相乘以对各个像素点的置信图进行约束处理；

第5.3步，采用自适应阈值分割法进行分割处理；然后进行形态学处理的闭操作和开操作，以填充分割导致的孔洞并排除孤立噪点；之后进行最大连通域分析得到尺寸为color_seg_sz的分割矩形；

第5.4步，利用平滑性约束方程得到第t帧视频图像的目标尺度：

target_sz＝(1-γ)·target_sz_t-1+γ·color_seg_sz_t；

其中，γ表示尺度更新参数，由用户设定，其取值范围为0～1。该值接近1时，表征最终的尺度估计更依赖于当前帧的分割结果。反之，依赖前一帧的历史结果。

颜色贝叶斯模型统计了某个像素出现在跟踪目标区域的次数占出现在整个搜索区域内次数的比例，也即某个像素属于跟踪目标区域的概率。颜色贝叶斯模型可以视为一个概率查询表。当处理新的搜索区域时，对于每个像素点，通过查询概率查询表，则可以容易的得到整个搜索区域内像素的概率分布。

随着目标的运动，颜色模型容易漂移到目标邻域内的其他相似目标上，从而造成跟踪失败。而本发明中这种风险显著降低。最关键的因素是本发明对目标的精确定位主要取决于目标中心位置估计环节，颜色模型仅用于目标尺度分析。

为了进一步降低风险，本发明还利用了空间先验分布模型进一步约束颜色贝叶斯模型。利用概率决策和空间先验分布，能够获得置信图，该置信图反映了每个像素属于目标的确信概率。为了估计目标尺度，需要对置信图进行空间分析。首先，对置信图进行自适应阈值分割，然后利用闭操作来填充分割导致的孔洞，开操作排除孤立的噪点；最后，通过最大连通域分析，得到一个分割矩形，该矩形用color_seg_sz来表征。

显然，这种单纯依赖形态学分割的方法会导致目标尺度估计不稳定。举例来说，相邻两帧的估计结果在尺寸和纵横比上可能会表现非常大的差异性。对于跟踪问题而言，相邻两帧中的目标明显在空间和时间上都应该具有很强的平滑性关系。这种平滑性反映在不管是目标位置还是尺度变化上面。考虑到这种约束性，本发明充分利用两帧之间的强关联性，得到最终的目标尺度估计。

本发明具有如下优点与有益效果：

1、本发明目标跟踪方法采用具有互补性质的多属性融合特征来建立目标外观模型，充分表征目标特征，降低了干扰对算法性能的影响；

2、本发明目标跟踪方法将提出的融合特征应用于高斯核相关滤波器中，以得到更为精确的目标中心位置估计；

3、本发明目标跟踪方法利用颜色贝叶斯模型与空间分析，估计目标尺度的变化，从而解决了相关滤波器无法估计目标尺寸大小的局限性；

4、本发明目标跟踪方法针对贝叶斯模型容易受到背景等噪声干扰的缺点，采用置信概率检测的策略对其进行自适应的更新。

下面对本发明跟踪方法进行试验。从OTB2013测试集中选择了25个具有挑战性的视频序列进行性能测试。这组测试序列包含了多种测试属性，比如：光照变化、尺度变化、目标遮挡、目标形变、运动模糊等。为了保证实验的公平性和准确性，整个测试过程遵循跟踪领域中公开的测试评价方法。对于性能评估，绘制了精度曲线和成功率曲线，如图4所示，其中：

(1)精度曲线：计算跟踪结果与真值的位置误差(以像素为单位)，统计不同误差阈值时成功跟踪的帧数占视频序列总帧数的比例。

(2)成功率曲线：计算跟踪结果与真值的重合度，统计不同重合度阈值时成功跟踪的帧数占视频序列总帧数的比例。

可以看出，本发明提出的方法相比于以往的方法，在距离精度和重合度成功率上均有显著的提高。实验结果说明，本发明方法能够进一步提升跟踪算法的性能，达到更为精确的跟踪效果。

图5展示了部分测试视频的跟踪结果。每个序列选择了四帧图像作为代表，其中左上角为视频帧序数，图中矩形框为本发明的跟踪结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法，其特征在于：包括以下步骤：

第1步，设定t＝1，捕获第一帧视频图像，选择待跟踪目标的矩形区域，得到目标中心位置和目标尺度；

第2步，以第t帧视频图像的目标中心位置为中心，提取两倍于目标尺度的子窗口；对子窗口图像建立目标外观模型x；训练相关滤波器A和颜色贝叶斯模型R_b；

第3步，判断t值大小：若t＝1，则将目标外观模型x作为标准外观模型训练相关滤波器A作为标准相关滤波器颜色贝叶斯模型R_b作为标准颜色贝叶斯模型若t＞1，则更新标准外观模型和标准相关滤波器根据判断条件，更新标准颜色贝叶斯模型

第4步，t自加1，捕获第t帧视频图像，以第t-1帧视频图像的目标中心位置为中心，提取搜索区域；对搜索区域图像建立目标外观模型z；将目标外观模型z与当前的标准目标外观模型进行核空间映射得到映射结果将映射结果进行傅里叶变换，并利用当前的标准相关滤波器进行滤波处理，得到各个像素点输出响应找出最大的输出响应并将输出响应对应的像素点设定为第t帧视频图像的目标中心位置；根据所有像素点输出响应，计算PSR值；

第5步，利用当前的标准颜色贝叶斯模型，计算出搜索区域内各个像素点属于跟踪目标的置信概率，进而得到搜索区域的置信图；将置信图依次进行空间先验分布模型处理、自适应阈值分割处理和形态学处理、最大连通域分析得到分割矩形；利用平滑性约束方程得到第t帧视频图像的目标尺度；

第6步，判断第t帧视频图像是否为视频最后一帧图像：若是则结束跟踪，否则跳至第2步。

2.根据权利要求1所述的基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法，其特征在于：在第2步中，所述对子窗口图像建立目标外观模型x，是指包括如下步骤：

第2.1步，将子窗口图像从原始的三维RGB格式转化为十一维CN空间格式；利用主成分分析法，将十一维CN空间格式映射为二维颜色属性信息；

第2.2步，将子窗口图像进行梯度特征计算，提取三十二维HOG特征，并剔除梯度值为全零的一维冗余HOG特征，得到三十一维梯度属性信息；

第2.3步，对子窗口图像进行灰度化处理，得到一维灰度属性信息；

第2.4步，将颜色属性信息、梯度属性信息和灰度属性信息进行串联融合，得到三十四维多属性融合特征；将该三十四维多属性融合特征作为目标外观模型x，x＝[x₁,x₂,...,x_c],c＝34。

3.根据权利要求2所述的基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法，其特征在于：在第2步中，所述训练相关滤波器A是指，包括如下步骤：

第2.5步，设定子窗口图像中的样本x_m,n,(m,n)∈{0,...,M-1}×{0,...N-1}，M和N分别为子窗口图像的横向尺寸和纵向尺寸；

第2.6步，对子窗口图像中的样本分配连续的、以目标中心位置为中心的高斯分布形式的标签y(m,n)；

第2.7步，对子窗口图像的外观模型x自身进行核空间映射：

其中，*是指复数共轭，⊙是指矩阵中的元素对运算，σ²是高斯函数中的方差，F是指傅里叶变换；

采用岭回归方式进行训练，对核空间映射和标签进行傅里叶变换，得出相关滤波器模型A：

$F^{-1}\left(A\right)=F^{-1}\left(\frac{F\left(y\right)}{F\left(\mathrm{\φ}\right(x)\·\mathrm{\φ}\left(x\right))+\mathrm{\λ}}\right);$

其中，λ为正则项系数。

4.根据权利要求3所述的基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法，其特征在于：在第2步中，训练颜色贝叶斯模型R_b是指，包括如下步骤：

第2.8步，将跟踪目标划分跟踪目标区域O，其余子窗口图像区域划分为目标邻域S；

第2.9步，基于原始的三维RGB格式子窗口图像，分别计算跟踪目标区域O和目标邻域S的十六维统计直方图，得到16*16*16的统计直方图H(O)和H(S)；

第2.10步，利用贝叶斯准则，计算用于表征各个像素属于目标的概率置信情况的概率模型，即得到颜色贝叶斯模型：

$R_b^t=P\left(i\right)=\left\{\begin{array}{cc}\frac{H\left(O\right)}{H\left(O\right)+H\left(S\right)},& ifi\∈\{O\∪S\}\\ 0.5,& otherwise\end{array}\right.;$

其中，i是指各个像素位置。

5.根据权利要求4所述的基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法，其特征在于：在第3步中，所述更新标准外观模型和标准相关滤波器根据判断条件，更新标准颜色贝叶斯模型是指，

设置学习因子_ρ，更新标准外观模型和标准相关滤波器

${\hat{x}}^t=(1-\mathrm{\ρ}){\hat{x}}^{t-1}+{\mathrm{\ρx}}^t$

${\hat{A}}^t=(1-\mathrm{\ρ}){\hat{A}}^{t-1}+{\mathrm{\ρA}}^t;$

设置学习因子β，根据判断条件，更新标准颜色贝叶斯模型

${\hat{R}}_b^t=\left\{\begin{array}{cc}\mathrm{\β}*{\hat{R}}_b^{t-1}+(1-\mathrm{\β})*R_b^t& ifPSR>\mathrm{\τ}\\ {\hat{R}}_b^{t-1}& else\end{array}\right.$

其中，τ为PSR阈值。

6.根据权利要求1所述的基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法，其特征在于：在第4步中，所述t自加1，捕获第t帧视频图像，以第t-1帧视频图像的目标中心位置为中心，提取搜索区域；对搜索区域图像建立目标外观模型z；将目标外观模型z与当前的标准目标外观模型进行核空间映射得到映射结果将映射结果进行傅里叶变换，并利用当前的标准相关滤波器进行滤波处理，得到各个像素点输出响应找出最大的输出响应并将输出响应对应的像素点设定为第t帧视频图像的目标中心位置；根据所有像素点输出响应，计算PSR值，是指包括如下步骤：

第4.1步，t自加1，捕获第t帧视频图像，以第t-1帧视频图像的目标中心位置为中心，提取搜索区域；对搜索区域图像建立目标外观模型z；

第4.2步，将目标外观模型z与当前的标准目标外观模型进行核空间映射得到映射结果

其中，*是指复数共轭，⊙是指矩阵中的元素对运算，σ²是高斯函数中的方差，F是指傅里叶变换；

第4.3步，将映射结果进行傅里叶变换，并利用当前的标准相关滤波器进行滤波处理，得到搜索区域中各个像素点的输出响应

第4.4步，找出最大的输出响应并将输出响应对应的像素点设定为第t帧视频图像的目标中心位置；

第4.5步，根据所有像素点输出响应，计算PSR值：

$PSR=\frac{max\left(\hat{y}\right)-{\mathrm{\μ}}_y}{{\mathrm{\σ}}_y};$

其中，μ_y和σ_y分别是输出响应的均值和标准差。

7.根据权利要求6所述的基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法，其特征在于：在第4.1步中，对搜索区域图像建立目标外观模型z是指，将搜索区域图像从原始的三维RGB格式转化为十一维CN空间格式；利用主成分分析法，将十一维CN空间格式映射为二维颜色属性信息；

将搜索区域图像进行梯度特征计算，提取三十二维HOG特征，并剔除梯度值为全零的一维冗余HOG特征，得到三十一维梯度属性信息；

对搜索区域图像进行灰度化处理，得到一维灰度属性信息；

将颜色属性信息、梯度属性信息和灰度属性信息进行串联融合，得到三十四维多属性融合特征；将该三十四维多属性融合特征作为目标外观模型z，z＝[z₁,z₂,...,z_c],c＝34。

8.根据权利要求1所述的基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法，其特征在于：在第5步中，所述利用当前的标准颜色贝叶斯模型，计算出搜索区域内各个像素点属于跟踪目标的置信概率，进而得到搜索区域的置信图；将置信图依次进行空间先验分布模型处理、自适应阈值分割处理和形态学处理、最大连通域分析得到分割矩形；利用平滑性约束方程得到第t帧视频图像的目标尺度，是指包括如下步骤：

第5.1步，利用当前的标准颜色贝叶斯模型，计算出搜索区域内各个像素点属于跟踪目标的置信概率，进而得到搜索区域的置信图；

第5.2步，建立空间先验分布模型：

$spatial\_prior=\exp \left(-\frac{\left|\right|c_x-c_0|{|}^2}{2{{\mathrm{\σ}}_0}^2}\right);$

其中，c_x表示搜索区域内每个位置，c₀表示第t-1帧视频图像的目标中心位置，σ₀表示先验分布的参数；

将先验分布模型分别与各个像素点的置信图相乘以对各个像素点的置信图进行约束处理；

第5.3步，采用自适应阈值分割法进行分割处理；然后进行形态学处理的闭操作和开操作，以填充分割导致的孔洞并排除孤立噪点；之后进行最大连通域分析得到尺寸为color_seg_sz的分割矩形；

第5.4步，利用平滑性约束方程得到第t帧视频图像的目标尺度：

target_sz＝(1-γ)·target_sz_t-1+γ·color_seg_sz_t；

其中，γ表示尺度更新参数。