CN109949344B - 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法 - Google Patents

Abstract

本发明公开了一种基于颜色概率目标建议窗口的核相关滤波跟踪方法，能够在相关滤波框架下稳定的进行尺度估计，提高算法在尺度变化方面的鲁棒性。由前景颜色直方图概率图和EdgeBoxes生成的目标建议窗口相比单一的EdgeBoxes生成的目标建议窗口具有更高的质量，因此使用此方法可以得到更为准确的尺度估计。同时设计了一种自适应的模板更新方法，通过APCE判据和颜色概率均值判断目标跟踪的效果以及目标表观模型和背景的变化程度自适应的调整模板更新学习率。经过实验证明，本发明可以有效的应对相关滤波算法面对尺度变化、大面积遮挡、背景干扰时跟踪漂移和跟踪失败状况的发生，使得相关滤波算法在面对上述问题时能够更加准确的跟踪目标。

Description

一种基于颜色概率目标建议窗口的核相关滤波跟踪方法

技术领域

本发明属于计算机视觉目标跟踪技术领域，具体涉及一种基于颜色概率目标建议窗口的核相关滤波跟踪方法。

背景技术

目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹。它需要结合人工智能、图像识别以及模式控制等许多畛域的核心思想和关键技术，目前虽然取得了一些研究成果，在实际复杂场景中经常会有外观变形，光照变化，快速运动和运动模糊，背景相似干扰，平面外旋转，平面内旋转，尺度变化，遮挡和出视野等外界因素的变动，这些变动使得目标跟踪变得更加困难。

KCF是一种判别式跟踪方法，其一般是在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。该方法的优点为检测过程快速而准确，但该跟踪方法未能应对尺寸变化及背景遮挡等情况。尺度变化是跟踪中比较基础和常见的问题，如果目标缩小，滤波器就会学习到大量背景信息，如果目标扩大，滤波器就会跟踪到目标局部纹理，这两种情况都很可能出现非预期的结果，导致漂移和失败。

在物体检测领域，近来具有顶级性能的物体检测系统均采用了“目标建议窗口”方法来提取可能包含目标物体的候选区域。该类方法可以在没有任何先验知识的情况下，在输入图像中提取任意尺度、宽高比的候选边界框，目标候选方法不仅能够避免对大量的边界框进行分类，还能预先滤除大部分错误的边界框，大幅提高检测精度。因此将目标建议窗口EdgeBoxes融入跟踪器中，以提升跟踪器对尺度和宽高比的适应力。

发明内容

本发明的目的就在于针对上述问题进行改善，提供了一种基于颜色概率目标建议窗口的核相关滤波跟踪方法。

本发明包括以下步骤：

一种基于颜色概率目标建议窗口的核相关滤波跟踪方法，包括以下步骤：

步骤一：输入第i和i-1帧视频帧F_i、F_i-1，初始化第一帧跟踪目标(l₁,w₁,h₁)，其中l₁为目标的中心位置，(w₁,h₁)为目标的长宽，计算目标在当前帧的前景和背景直方图fg_hist,bg_hist；为了避免在计算它们的直方图时错误标记来自目标和周围背景的像素，每个视频帧F_i被划分为三个区域：确定的前景区域(l₁,ξ₁w₁,ξ₁h₁)，确定的背景区域(l₁,ξ₂w₁,ξ₂h₁)-(l₁,ξ₃w₁,ξ₃h₁)和混合区域(l₁,ξ₃w₁,ξ₃h₁)，混合区域来自目标和背景的像素混合在一起)，其中，ξ₁,ξ₂,ξ₃分别为前景区域、背景区域以及混合区域的扩张系数；

步骤二：在F_i的(l_i-1,s_dw_i-1,s_dh_i-1)处提取扩大后的图像块z^d，其中l_i-1为前一帧的目标中心位置，(w_i-1,h_i-1)为前一帧目标的长宽，s_d是一个尺度因子，图像块需要包含一定的背景信息，通常s_d取值大于1小于2.5；

步骤三：对z^d提取d维特征图x，用z^d,α,x和公式

计算目标响应置信图，可以得到目标响应置信图中的最大响应值对应的坐标位置即初步位置

用来进行初步位置估计，同时记录响应最大、最小和响应置信图(w,h)位置上的响应F_max,F_min,F_w,h，其中α为通过图像块计算得到的参数矩阵，

为核矩阵的第一行；

步骤四：以初步位置

为中心，在F_i的

处提取图像块z^p，s_e也是一个尺度因子，但是应当设置得比s_d小，因为目标物体尺度的变化通常小于其位移；

步骤五：计算前景直方图在当前图像块的直方图反向投影得到前景直方图概率图p^f(x)，计算背景直方图在当前图像块的直方图反向投影得到背景直方图概率图p^b(x)，通过公式

计算图像块z^p每个像素的颜色概率p(F|x)，得到颜色概率图像块z^c；

步骤六：对图像块z^p提取目标建议窗口；由于Edgeboxes在目标建议窗口生产的方法中召回率高、速度快，因此基于Edgeboxes提取目标建议窗口；实施Edgeboxes后得到目标建议窗口数组P₁[1,2,....100]；

步骤七：对图像块z^c提取目标建议窗口；实施Edgeboxes后得到目标建议窗口数组P₂[1,2,....100]，合并P₁,P₂为P；

步骤八：对前两百个对象建议P[1,2,....,200]实施提案拒绝，即非极大值抑制，得到P′；非极大值抑制的方法为：通过将两个边界框的交集面积除以它们的并集面积计算每一个目标候选边界框与初步目标物体边界框

的重叠率，如果重叠率大于阈值u₁或者小于阈值u₂，则将该目标候选剔除；

步骤九：用α,x和公式

计算非极大值抑制后的对象建议数组P′中的每个对象建议P的响应，计算前对每个P线性插值缩放到s_dw₁×s_dh₁，得到响应最大的对象建议框

其中，sum(·)表示矩阵中所有元素的叠加操作，

为核矩阵的第一行；

为响应最大对象建议框中心位置，

为响应最大对象建议框的长和宽；

步骤十：通过上一步骤求得的响应最大对象建议框

以及公式

更新初步估计的位置和尺度得到新的跟踪位置和尺度(l_i,w_i,h_i)；上式的γ为阻尼因子，用带阻尼的更新来最终确定目标的位置和大小，可以防止过于敏感的目标状态变化，同时还能降低跟踪错误或是目标候选错误带来的影响，从而让跟踪器更为鲁棒；

步骤十一：通过步骤三中记录的响应最大、最小和响应置信图(w,h)位置上的响应F_max,F_min,F_w,h以及公式

计算跟踪效果判据APCE来判断跟踪的效果好坏，当APCE判据相对于历史均值急剧下降时，跟踪效果不佳，其中mean(·)表示求平均值操作，∑(·)表示求和操作；进一步地，计算颜色概率均值

判断目标表观特征以及背景变化程度，其中

和

分别表示当前帧和前一帧颜色概率图(w,h)位置上的像素值，(W,H)表示图像块的长宽；

最后通过公式

自适应的调节学习率进行模板更新，其中η为模板更新的学习率，η₁,η₂,η₃为自适应学习率的值，σ为APCE判据判断跟踪效果的阈值，γ₁为颜色概率均值

判断目标表观特征以及背景变化的程度的阈值；

当APCE判据相对于历史均值急剧下降即APCE＜σ，此时跟踪效果不佳，设置学习率为η₁；当ACPE≥σ，跟踪效果较好时，再通过颜色概率均值判断目标表观特征以及背景变化程度，当颜色概率均值小于阈值γ₁时，说明目标表观特征和背景变化较慢，选用适中的学习率η₂；当颜色概率均值大于阈值γ₁时，说明目标表观特征和背景变化较快，选用较大的学习率η₃；从而达到自适应的调整模板更新学习率的目的。

有益效果：与已有技术相比，本方法的益处在于：

1、原始KCF算法依赖于预先定义好的采样模式，因而灵活性严重受限，无法处理突发、快速的尺度和宽高比变化。如果目标缩小，滤波器就会学习到大量背景信息，如果目标扩大，滤波器就会跟踪到目标局部纹理，这两种情况都很可能出现非预期的结果，导致漂移和失败。而改进后的方法通过对区域颜色概率图生成目标建议窗口作为相关滤波器的尺度估计候选窗口。可以较准确的估计跟踪目标的尺度变化，提高跟踪准确率和成功率。

2、原始KCF算法每一帧都进行模板更新，当目标被遮挡或短暂消失时的更新会导致模板被污染。所以需要一种自适应的模型更新策略，当APCE判据相对于历史均值急剧下降时，跟踪效果不佳，设置学习率为0，不进行模板更新。当跟踪效果较好时，再通过颜色概率均值判断目标表观特征以及背景变化程度，从而自适应的调整模板更新学习率。这样一来大大减少了模型漂移的情况，二来减少了模型更新的次数，进一步达到了加速的效果。

附图说明

图1是基于颜色概率目标建议窗口的核相关滤波跟踪方法整体流程图；

图2是基于颜色概率目标建议窗口的核相关滤波跟踪方法。

具体实施方式

以下结合附图对本发明进行进一步说明。

步骤一：输入第i和i-1帧视频帧F_i、F_i-1，初始化第一帧跟踪目标(l₁,w₁,h₁)，其中l₁为目标中心位置，(w₁,h₁)为目标的大小。计算目标在当前帧的前景和背景直方图fg_hist,bg_hist。为了避免在计算它们的直方图时错误标记来自目标和周围背景的像素，每个视频帧F_i被划分为三个区域：确定的前景，确定的背景和混合区域(来自目标和背景的像素混合在一起)。确定的前景区域(l₁,ξ₁w₁,ξ₁h₁)，确定的背景区域(l₁,ξ₂w₁,ξ₂h₁)-(l₁,ξ₃w₁,ξ₃h₁)和混合区域(l₁,ξ₃w₁,ξ₃h₁)(来自目标和背景的像素混合在一起)。其中，ξ₁＝0.8,ξ₂＝3.5,ξ₃＝1.2分别为前景区域、背景区域以及混合区域的扩张系数；

步骤二：在视频帧F_i的(l_i-1,s_dw_i-1,s_dh_i-1)处提取扩大后的图像块z^d。其分别为前一帧的目标中心位置和长宽，s_d为尺度因子，图像块需包含一些背景信息所以通常取值大于1小于2.5，本发明中取值为2.0。

步骤三：对z^d提取d维特征图x，用z^d,α,x和公式

计算目标响应置信图，可以得到目标响应置信图中的最大响应值对应的坐标位置即初步位置

用来进行初步位置估计，同时记录响应最大、最小和响应置信图(w,h)位置上的响应F_max,F_min,F_w,h，其中α为通过图像块计算得到的参数矩阵，

为核矩阵的第一行；

步骤四：在F_i的

处提取图像块z^p，其中s_e也是一个尺度因子，但是应当设置得比s_d小，因为目标物体尺度的变化通常小于其位移。本发明中s_e取值为1.8。

步骤五：计算前景直方图在当前图像块的直方图反向投影得到前景直方图概率图p^f(x)，计算背景直方图在当前图像块的直方图反向投影得到背景直方图概率图p^b(x)，通过公式

计算图像块z^p每个像素的颜色概率p(F|x)，得到颜色概率图像块z^c；

步骤六：对图像块z^p提取目标建议窗口，由于Edgeboxes在目标建议窗口生产的方法中召回率高、速度快，因此基于Edgeboxes提取目标建议窗口。实施Edgeboxes后得到目标建议窗口数组P₁[1,2,....100]。

步骤七：对图像块z^c提取目标建议窗口，实施Edgeboxes后得到目标建议窗口数组P₂[1,2,....100]，合并P₁,P₂为P。

步骤八：对前两百个对象建议P[1,2,....,200]实施提案拒绝(非极大值抑制),得到P′。非极大值抑制的方法为：通过将两个边界框的交集面积除以它们的并集面积计算每一个目标候选边界框与初步目标物体边界框

的重叠率，如果重叠率大于阈值u₁＝0.9或者小于阈值u₂＝0.6，则将该目标候选剔除；

步骤九：用α,x和公式

计算非极大值抑制后的对象建议数组P′中的每个对象建议P的响应。计算器前对每个P线性插值缩放到s_dw₁×s_dh₁，得到响应最大的对象建议框

其中，sum(·)表示矩阵中所有元素的叠加操作，

为核矩阵的第一行；

为响应最大对象建议框中心位置，

为响应最大对象建议框的长和宽；

步骤十：通过上一步骤求得的响应最大对象建议框

以及公式

更新初步估计的位置和尺度得到新的跟踪位置和尺度(l_i,w_i,h_i)；上式的γ为阻尼因子取值为0.7，用带阻尼的更新来最终确定目标的位置和大小，可以防止过于敏感的目标状态变化，同时还能降低跟踪错误或是目标候选错误带来的影响，从而让跟踪器更为鲁棒；

步骤十一：通过步骤三中记录的响应最大、最小和响应置信图(w,h)位置上的响应F_max,F_min,F_w,h以及公式

计算跟踪效果判据APCE来判断跟踪的效果好坏，当APCE判据相对于历史均值急剧下降时，跟踪效果不佳。其中mean(·)表示求平均值操作，∑(·)表示求和操作；进一步地，计算颜色概率均值

判断目标表观特征以及背景变化程度，其中

和

分别表示当前帧和前一帧颜色概率图(w,h)位置上的像素值，(W,H)表示图像块的长宽；最后通过公式

自适应的调节学习率进行模板更新。其中η为模板更新的学习率，η₁,η₂,η₃为自适应学习率的值，σ为APCE判据判断跟踪效果的阈值，γ₁为颜色概率均值

判断目标表观特征以及背景变化的程度的阈值；当APCE判据相对于历史均值急剧下降即APCE＜σ，此时跟踪效果不佳，其中σ取7.2，设置学习率为η₁＝0，不进行模板更新。当ACPE≥σ，跟踪效果较好时，再通过颜色概率均值判断目标表观特征以及背景变化程度，当颜色概率均值小于阈值γ₁＝0.63时，说明目标表观特征和背景变化较慢，选用适中的学习率η₂＝0.0125。当颜色概率均值大于阈值γ₁＝0.63时，说明目标表观特征和背景变化较快，选用较大的学习率η₃＝0.07。从而达到自适应的调整模板更新学习率的目的。

Claims (1)

1.一种基于颜色概率目标建议窗口的核相关滤波跟踪方法，其特征在于：包括以下步骤：

步骤一：输入第i和i-1帧视频帧F_i、F_i-1，初始化第一帧跟踪目标(l₁，w₁，h₁)，其中l₁为目标的中心位置，(w₁，h₁)为目标的长宽，计算目标在当前帧的前景和背景直方图fg_hist，bg_hist；为了避免在计算它们的直方图时错误标记来自目标和周围背景的像素，每个视频帧F_i被划分为三个区域：确定的前景区域(l₁，ξ₁w₁，ξ₁h₁)，确定的背景区域(l₁，ξ₂w₁，ξ₂h₁)-(l₁，ξ₃w₁，ξ₃h₁)和混合区域(l₁，ξ₃w₁，ξ₃h₁)，混合区域来自目标和背景的像素混合在一起，其中，ξ₁，ξ₂，ξ₃分别为前景区域、背景区域以及混合区域的扩张系数；

步骤二：在F_i的(l_i-1，s_dw_i-1，s_dh_i-1)处提取扩大后的图像块z^d，其中l_i-1为前一帧的目标中心位置，(w_i-1，h_i-1)为前一帧目标的长宽，s_d是一个尺度因子，图像块需要包含背景信息，s_d取值大于1小于2.5；

步骤三：对z^d提取d维特征图x，用z^d，α，x和公式

计算目标响应置信图，可以得到目标响应置信图中的最大响应值对应的坐标位置即初步位置

用来进行初步位置估计，同时记录响应最大、最小和响应置信图(w，h)位置上的响应F_max，F_min，F_w，h，其中α为通过图像块计算得到的参数矩阵，

为核矩阵的第一行；

步骤四：以初步位置

为中心，在F_i的

处提取图像块z^p，s_e也是一个尺度因子，但是应当设置得比s_d小，因为目标物体尺度的变化通常小于其位移；

步骤五：计算前景直方图在当前图像块的直方图反向投影得到前景直方图概率图p^f(x)，计算背景直方图在当前图像块的直方图反向投影得到背景直方图概率图p^b(x)，通过公式

计算图像块z^p每个像素的颜色概率p(F|x)，得到颜色概率图像块z^c；

步骤六：对图像块z^p提取目标建议窗口；由于Edgeboxes在目标建议窗口生产的方法中召回率高、速度快，因此基于Edgeboxes提取目标建议窗口；实施Edgeboxes后得到目标建议窗口数组P₁[1，2，....100]；

步骤七：对图像块z^c提取目标建议窗口；实施Edgeboxes后得到目标建议窗口数组P₂[1，2，....100]，合并P₁，P₂为P；

步骤八：对前两百个对象建议P[1，2，....，200]实施提案拒绝，即非极大值抑制，得到P′；非极大值抑制的方法为：通过将两个边界框的交集面积除以它们的并集面积计算每一个目标候选边界框与初步目标物体边界框

的重叠率，如果重叠率大于阈值u₁或者小于阈值u₂，则将该目标候选剔除；

步骤九：用α，x和公式

计算非极大值抑制后的对象建议数组P′中的每个对象建议P的响应，计算前对每个P线性插值缩放到s_dw₁×s_dh₁，得到响应最大的对象建议框

其中，sum(·)表示矩阵中所有元素的叠加操作，

为核矩阵的第一行；

为响应最大对象建议框中心位置，

为响应最大对象建议框的长和宽；

步骤十：通过上一步骤求得的响应最大对象建议框

以及公式

更新初步估计的位置和尺度得到新的跟踪位置和尺度(l_i，w_i，h_i)；上式的γ为阻尼因子，用带阻尼的更新来最终确定目标的位置和大小，可以防止过于敏感的目标状态变化，同时还能降低跟踪错误或是目标候选错误带来的影响，从而让跟踪器更为鲁棒；

步骤十一：通过步骤三中记录的响应最大、最小和响应置信图(w，h)位置上的响应F_max，F_min，F_w，h以及公式

计算跟踪效果判据APCE来判断跟踪的效果好坏，当APCE判据相对于历史均值急剧下降时，跟踪效果不佳，其中mean(·)表示求平均值操作，∑(·)表示求和操作；进一步地，计算颜色概率均值

判断目标表观特征以及背景变化程度，其中

和

分别表示当前帧和前一帧颜色概率图(w，h)位置上的像素值，(W，H)表示图像块的长宽；

最后通过公式

自适应的调节学习率进行模板更新，其中η为模板更新的学习率，η₁，η₂，η₃为自适应学习率的值，σ为APCE判据判断跟踪效果的阈值，γ₁为颜色概率均值

判断目标表观特征以及背景变化的程度的阈值；

当APCE判据相对于历史均值急剧下降即APCE＜σ，此时跟踪效果不佳，其中σ取7.2，设置学习率为η₁＝0；当ACPE≥σ，跟踪效果较好时，再通过颜色概率均值判断目标表观特征以及背景变化程度，当颜色概率均值小于阈值γ₁＝0.63时，说明目标表观特征和背景变化较慢，选用学习率η₂＝0.0125；当颜色概率均值大于阈值γ₁＝0.63时，说明目标表观特征和背景变化较快，选用学习率η₃＝0.07；从而达到自适应的调整模板更新学习率的目的。

Images