CN110163132B - 一种基于最大响应值变化率更新策略的相关滤波跟踪方法 - Google Patents

Abstract

本发明涉及相关滤波跟踪处理领域，具体涉及一种基于最大响应值变化率更新策略的相关滤波跟踪方法。所述方法基于相关滤波跟踪框架，用方向梯度直方图(HOG)和颜色直方图两种互补特征实现特征提取，基于最大响应值变化率对跟踪结果进行异常判别，并根据可靠的目标模板建立可靠模板库以供异常情况下回滚目标模板。相比逐帧更新策略的相关滤波跟踪方法，取得了更为稳定的跟踪效果。

Description

一种基于最大响应值变化率更新策略的相关滤波跟踪方法

技术领域

本发明涉及相关滤波跟踪处理领域，具体涉及一种基于最大响应值变化率更新策略的相关滤波跟踪方法。

背景技术

视频目标跟踪是计算机视觉领域的一个研究热点，其目的是为了在视频图像序列中估计目标的位置。该技术在视频监控、人机交互、机器人领域和无人驾驶汽车等众多应用中扮演着十分重要的角色。实时性和稳定性是实现目标跟踪系统的两大目标。卷积原理表明耗时的卷积运算在傅立叶变换域可以转换为元素点积运算。基于卷积原理的相关滤波技术被引入到目标跟踪中，其极高的处理速度满足了目标跟踪系统对实时性的要求。然而，由于复杂场景下光照变化、外观变形、局部遮挡、快速运动、运动模糊、背景相似等诸多因素的干扰，视频目标跟踪仍然是一项具有挑战性的任务。

目标模板是跟踪系统判别每帧候选目标是否真实目标的重要依据。目标模板又是一个在线学习的过程，其更新机制的好坏将影响目标模板与真实目标的偏离程度。目前，在大多数相关滤波跟踪系统中，目标模板都采用逐帧更新的方式进行更新。换句话说，无论当前帧跟踪结果正确与否，跟踪系统都根据当前跟踪结果对目标模板进行更新。然而，当目标外观发生重度形变、局部遮挡的情况下，逐帧更新机制下跟踪结果必然给目标模板带来污染进而导致目标模板的漂移。

根据上述情况，本发明将基于相关滤波跟踪框架，提出一种基于最大响应值变化率更新策略的相关滤波跟踪方法。

发明内容

为了解决上述问题，本发明提供了：一种基于最大响应值变化率更新策略的相关滤波跟踪方法。

具体技术方案为：一种基于最大响应值变化率更新策略的相关滤波跟踪方法，所述方法基于相关滤波跟踪框架，用方向梯度直方图(HOG)和颜色直方图两种互补特征实现特征提取，基于最大响应值变化率对跟踪结果进行异常判别，并根据可靠的目标模板建立可靠模板库以供异常情况下回滚目标模板。

优选的，所述方法包括如下步骤：

步骤一、输入第一帧

视频帧序列中的每一帧左上角为坐标原点(1,1)，宽高分别为Width和Height；手工或自动选定第一帧中待跟踪目标的矩形区域(x₀,y₀,w₀,h₀)，即选定的跟踪目标；其中，(x₀,y₀)表示矩形区域的左上角坐标，w₀,h₀分别表示矩形区域的宽高；第一帧选定目标也称为当前帧跟踪结果(x₁,y₁,w₁,h₁)＝(x₀,y₀,w₀,h₀)，下标表示当前帧号；

步骤二、初始化目标模板

1、计算搜寻窗口；

2、生成标准高斯响应图；

3、提取方向梯度直方图(HOG)特征；

4、计算HOG特征的相关滤波器模板；

5、提取颜色直方图特征模板；

步骤三、定义判别参数

由于一般情况下跟踪系统前k帧(5≤k≤15)以内不会跟丢，且跟踪到第k帧之后跟踪系统的响应图方可趋于稳定，因此模型更新判别相关的参数从第k+1帧开始计算；自第k+1帧开始，每帧涉及与模型更新判别相关的参数计算方法如下：

令GL_t表示当前帧两种特征加权融合响应图，其中t为当前帧号；

令GL_max_t表示GL_t矩阵中最大元素值即响应图最大值；

令R_t＝{GL_max_i|i＝k+1..t}表示从第k+1帧到第t帧的响应图最大值序列；

令R_max_t＝max(R_t)表示响应图最大值序列R_t的最大值；

令d_t＝(R_max_t-GL_max_t)/GL_max_t表示响应图最大值的变化率；

令D_t＝{d_i|i＝k+1..t}表示变化率序列；

令b_t表示当前帧跟踪结果是否正常，b_t＝1表示当前帧跟踪结果正常，b_t＝0表示当前帧跟踪结果异常，特别地，第k+1帧b_k+1＝1；

令V_b_t＝{b_i|i＝k+1..t}表示从第k+1帧开始跟踪结果是否正常的掩模向量；

令E(D_t)和δ(D_t)分别表示去除了异常情况的变化率序列的期望值和标准差，其中

令Δ_t＝{δ(D_i)|i＝k+1..t}表示标准差序列，其一阶导数为

令/>

和/>

表示判别该一阶导数的两个常量参数，其中

且二者绝对值皆接近零；

令φ_t＝(d_t-E(D_t-1))/δ(D_t-1)表示第t帧模型更新判别指标，令ξ₁和ξ₂表示该判别指标相关的两个常量参数，其中2.5≤ξ₁≤3.5，4.0≤ξ₂≤8.0；

令m_t＝{H_t,bg_hist_t,fg_hist_t}表示当前帧目标模板；

令M＝{Model_i|1≤i≤10}表示可靠模板库，其按照先进先出原则保存了最近历史帧的多个可靠目标模板，初始化M为空集，规定最多保存10个模板；如果当前帧目标模板m_t是可靠模板的情况下，将m_t放入M作为一个可靠模板；

步骤四、输入下一帧并提取特征

依据步骤二中步骤1的方法计算当前帧搜寻窗口Search(t)，依据步骤二中步骤3提取当前帧方向梯度直方图(HOG)特征的频域表示F_t，当前帧HOG特征的响应图G_t可以根据公式G_t＝F_t⊙H_t-1计算得到；

依据步骤二中步骤5的方法提取当前帧颜色直方图特征bg_hist_t和fg_hist_t，将搜寻区域图像中每个像素对应到直方图的bin值，结合标准目标窗口尺寸和上一帧颜色直方图特征bg_hist_t-1和fg_hist_t-1，计算出当前帧颜色直方图特征和颜色直方图模板的相似图谱L_t，其尺寸与响应图G相同；

步骤五、自适应特征融合：

1、计算自适应特征融合参数；

2、自适应特征融合的结果；

步骤六、确定跟踪结果；

步骤七、异常判别处理：

如果当前帧号t＜k+1，转至步骤8，否则执行以下操作：

1、计算步骤三定义的相关参数；

2、异常处理；

步骤八、更新目标模板；

步骤九、更新可靠模板库；

步骤十、判断是否最后一帧：

如果当前帧是最后一帧，跟踪结束；否则，转至步骤四。

优选的，所述步骤二具体包括：

1、计算搜寻窗口

根据上一帧即t-1帧跟踪结果(x_t-1,y_t-1,w_t-1,h_t-1)对应的矩形区域可以计算出当前帧即第t帧候选目标的搜寻窗口Search(t)，特别地，第一帧搜寻窗口则根据(x₀,y₀,w₀,h₀)计算；

搜寻窗口的中心点为(x_s_t,y_s_t)，其中x_s_t＝x_t-1+w_t-1/2、y_s_t＝y_t-1+h_t-1/2，

宽高分别为w_s_t＝1.5×w_t-1+0.5×h_t-1、h_s_t＝1.5×h_t-1+0.5×w_t-1；

为了确保搜寻范围在视频帧范围内，进一步依据该搜寻范围与当前帧区域的交集修正搜寻窗口的宽高。为便于后续计算颜色直方图特征，限定搜寻窗口的边界与真实目标边界之间的距离为偶数，进一步修正搜寻窗口的宽高；

令标准化窗口NormWin的宽高分别为w_n和h_n，则搜寻窗口的变换因子为

根据搜寻窗口变换因子可以将搜寻窗口图像进行标准化变换形成标准搜寻窗口，其宽高为w_sn_t＝w_s_t×γ、h_sn_t＝h_s_t×γ，

当前帧的标准目标窗口的宽高为w_on_t＝w_sn_t×0.75-h_sn_t×0.25、h_on_t＝h_sn_t×0.75-w_sn_t×0.25；

2、生成标准高斯响应图

标准高斯响应图g是一个二维矩阵，其宽高为w_g＝w_sn_t/cell、h_g＝h_sn_t/cell，其矩阵元素值是符合二维高斯分布N(0,0,δ,δ,0)的概率密度函数，可按照

公式进行计算；其中，δ表示二维高斯分布的标准差，计算方法为/>

cell表示HOG特征提取过程中每个格子的尺寸为cell×cell，(i,j)表示高斯响应图矩阵的元素坐标位置，原点位于矩阵的中心点；将标准高斯响应图进行傅立叶变换可以得到其频域表示G，其与g同尺寸；

3、提取方向梯度直方图(HOG)特征

以cell作为HOG特征格子尺寸参数、2×2个格子作为块大小、直方图组距bin设置为2π/7，在当前帧标准化搜寻窗口内提取HOG特征f_t，其尺寸为w_g×h_g×28；采用尺寸为w_g×h_g的余弦窗对特征f_t进行平滑处理，再进行傅里叶变换得到HOG特征的频域表示F_t，其与f_t同尺寸；

4、计算HOG特征的相关滤波器模板

已知标准化搜寻窗口HOG特征的频域表示F_t和标准高斯响应图的频域表示G，则HOG特征相关滤波器模板的频域表示H_t可以根据公式H_t＝G/F_t计算得到；

5、提取颜色直方图特征模板

搜寻窗口Search(t)＝(x_s_t,y_s_t,w_s_t,h_s_t)内目标区域(x_t-1,y_t-1,w_t-1,h_t-1)以外的区域定义为背景区域，目标区域缩进一定量定义为前景区域，其中心点与目标区域相同，宽高缩进量皆为(w_t-1+h_t-1)/10；在背景区域和前景区域分别提取背景颜色直方图bg_hist_t和前景颜色直方图fg_hist_t，即为当前帧颜色直方图特征模板。

优选的，所述步骤五具体为：

1、计算自适应特征融合参数

令E(G_t)表示HOG特征响应图G_t的期望，计算方法如公式(1)所示：

令Gh_t表示HOG特征响应图G_t的置信区域，(i,j)位置的元素Gh_t(i,j)计算方法如公式(2)所示：

HOG特征响应图G_t的自适应融合参数α计算方法如公式(3)所示：

颜色直方图相似图谱L_t的自适应融合参数为1-α；

2、自适应特征融合

令GL表示HOG特征响应图G_t和颜色直方图相似图谱L_t自适应特征融合的结果，其计算方法如公式(4)所示：

GL＝α×G_t+(1-α)×L_t (4)。

优选的，所述步骤六具体为：

特征融合响应图GL_t矩阵元素值代表其对应搜寻窗口内候选目标是跟踪结果的概率，则最大元素值对应候选目标即是当前帧跟踪结果；

当前帧搜寻窗口内候选目标的个数为(w_sn_t-w_on_t)×(h_sn_t-h_on_t)；令GL_max_t、x_GL_max_t和y_GL_max_t分别表示当前帧特征融合响应图GL_t矩阵中最大元素值及其对应的横纵坐标位置，则当前帧跟踪结果为(x_t,y_t,w_t,h_t)，其中w_t＝w_t-1、h_t＝h_t-1、x_t＝x_t-1+(x_GL_max_t-(w_sn_t-w_on_t)/2)/γ-w_t/2、y_t＝y_t-1+(y_GL_max_t-(h_sn_t-h_on_t)/2)/γ-h_t/2，γ为搜寻窗口的变换因子，其计算方法参见步骤二中步骤1。

优选的，所述步骤七具体为：

如果当前帧号t＜k+1，转至步骤八，否则执行以下操作；

1、计算步骤三定义的相关参数

首先计算GL_max_t、R_t、R_max_t、d_t、D_t；

如果t＝k+1，则φ_k+1＝0，b_k+1＝1；如果t＞k+1，根据步骤三计算φ_t，并计算b_t，方法为

计算V_b_t、E(D_t)、δ(D_t)、Δ_t；

如果t＝k+1，则

如果t＞k+1，根据步骤三计算/>

2、异常处理

如果ξ₁＜φ_t≤ξ₂，转至步骤十；

如果φ_t＞ξ₂且可靠模板库M为空集，则当前目标模板已经漂移但不回滚，转至步骤十；

如果φ_t＞ξ₂且可靠模板库M不为空集，则当前目标模板已经漂移需要回滚，且回滚目标模板之后转至步骤十；其中，回滚方法是用可靠模板库中可靠目标模板的均值替换当前目标模板，计算方法为

其中num(M)为可靠模板库M中可靠模板的个数。

优选的，所述步骤八具体为：

依据当前帧跟踪结果(x_t,y_t,w_t,h_t)的位置和步骤二中步骤1的方法计算搜寻窗口Search'(t)，依据步骤二中步骤3的方法提取Search'(t)范围内方向梯度直方图(HOG)特征的频域表示F_t'，依据步骤二中步骤4的方法计算H_t'＝G/F_t'；令η为更新参数，当前帧HOG特征相关滤波器模板H_t更新方法如公式(5)所示：

H_t＝(1-η)H_t-1+ηH_t' (5)

依据当前帧跟踪结果(x_t,y_t,w_t,h_t)的位置和步骤二中步骤5的方法提取颜色直方图特征bg_hist_t'和fg_hist_t'；令θ和β为更新参数，当前帧背景颜色直方图和前景颜色直方图模板更新方法如公式(6)和(7)所示：

bg_hist_t＝(1-θ)×bg_hist_t-1+θ×bg_hist_t' (6)

fg_hist_t＝(1-β)×fg_hist_t-1+β×fg_hist_t' (7)。

有选的，所述步骤九具体为：

如果当前帧号t＜k+1，转至步骤十，否则执行以下操作：

如果

且/>

则当前目标模板是一个可靠模板需要放入可靠模板库M；

如果num(M)＜10，直接将当前帧目标模板m_t＝{H_t,bg_hist_t,fg_hist_t}放入可靠模板库M中；如果num(M)＝10，先将M中最早放入的可靠模板删除，再将当前帧目标模板m_t＝{H_t,bg_hist_t,fg_hist_t}放入可靠模板库M中。

有益效果为：本发明提出了一种基于最大响应值变化率更新策略的相关滤波跟踪方法。该方法基于相关滤波跟踪框架，采用方向梯度直方图(HOG)和颜色直方图两种互补特征进行特征提取，自适应融合后的响应图最大值对应位置作为当前帧跟踪结果。并根据最大响应值变化率对当前跟踪结果是否异常进行判别，当前跟踪结果正常情况下方可更新目标模板，并依据高可靠性的目标模板建立可靠模板库；当前跟踪结果异常情况下不更新目标模板，并在目标模板漂移情况下依据可靠模板库对当前目标模板进行回滚以提高目标模板的正确性。相比逐帧更新策略的相关滤波跟踪方法，取得了更为稳定的跟踪效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种基于最大响应值变化率更新策略的相关滤波跟踪方法的示意图；

图2为Lemming序列第一帧跟踪区域选取情况；

图3为跟踪结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

一种基于最大响应值变化率更新策略的相关滤波跟踪方法，具体为：

步骤一、输入第一帧

选取Lemming视频，其中视频帧宽高分别是Width＝620，Height＝480，选定第一帧中待跟踪目标的矩形区域(40,199,61,103)，即选定的跟踪目标如图2实线矩形框所示。其中，(40,199)是矩形区域的左上角坐标，(61,103)是矩形区域的宽高。

步骤二、初始化目标模板

1、计算搜寻窗口

根据上一帧即t-1帧跟踪结果(x_t-1,y_t-1,w_t-1,h_t-1)对应的矩形区域可以计算出当前帧即第t帧候选目标的搜寻窗口Search(t)，特别地，第一帧搜寻窗口则根据(40,199,61,103)计算。以第一帧为例，搜寻窗口的中心点为(71，251)，宽高分别为w_s₁＝143、h_s₁＝185。为了确保搜寻范围在视频帧范围内，进一步依据该搜寻范围与当前帧区域的交集修正搜寻窗口的宽高。为便于后续计算颜色直方图特征，限定搜寻窗口的边界与真实目标边界之间的距离为偶数，进一步修正搜寻窗口的宽高。

令标准化窗口NormWin的宽高分别为w_n＝150和h_n＝150，则搜寻窗口的变换因子为

根据搜寻窗口变换因子可以将搜寻窗口图像进行标准化变换形成标准搜寻窗口。以第一帧为例，其宽高为w_sn₁＝132、h_sn₁＝171，当前帧的标准目标窗口的宽高为w_on₁＝56.25、h_on₁＝95.25。

2、生成标准高斯响应图

标准高斯响应图g是一个二维矩阵，其中，cell＝4其宽高为w_g＝33、h_g＝42，其矩阵元素值是符合二维高斯分布N(0,0,δ,δ,0)的概率密度函数，可按照

公式进行计算。其中，δ表示二维高斯分布的标准差，计算方法为δ＝1.1437，cell表示HOG特征提取过程中每个格子的尺寸为cell×cell，(i,j)表示高斯响应图矩阵的元素坐标位置，原点位于矩阵的中心点。将标准高斯响应图进行傅立叶变换可以得到其频域表示G，其与g同尺寸。

3、提取方向梯度直方图(HOG)特征

以cell作为HOG特征格子尺寸参数、2×2个格子作为块大小、直方图组距bin设置为2π/7，在当前帧标准化搜寻窗口内提取HOG特征f₁，其尺寸为33×42×28。采用尺寸为33×42的余弦窗对特征f_t进行平滑处理，再进行傅里叶变换得到HOG特征的频域表示F₁，其与f₁同尺寸。

4、计算HOG特征的相关滤波器模板

已知标准化搜寻窗口HOG特征的频域表示F₁和标准高斯响应图的频域表示G，则HOG特征相关滤波器模板的频域表示H₁可以根据公式H₁＝G/F₁计算得到。

5、提取颜色直方图特征模板

以第一帧为例，搜寻窗口Search(1)＝(71，251，143，185)内目标区域(40，199，61，103)以外的区域定义为背景区域，目标区域缩进一定量定义为前景区域，其中心点与目标区域相同，宽高缩进量皆为16.4。在背景区域和前景区域分别提取背景颜色直方图bg_hist₁和前景颜色直方图fg_hist₁，即为当前帧颜色直方图特征模板。

步骤三、定义判别参数

由于该视频在k＝10帧以内不会跟丢，且跟踪到第10帧之后跟踪系统的响应图方可趋于稳定，因此本发明方法中模型更新判别相关的参数也是从第11帧开始计算。自第11帧开始，每帧涉及与模型更新判别相关的参数计算方法如下：

令GL_t表示当前帧两种特征加权融合响应图，其中t为当前帧号。

令GL_max_t表示GL_t矩阵中最大元素值即响应图最大值。

令R_t＝{GL_max_i|i＝11..t}表示从第11帧到第t帧的响应图最大值序列。

令R_max_t＝max(R_t)表示响应图最大值序列R_t的最大值。

令d_t＝(R_max_t-GL_max_t)/GL_max_t表示响应图最大值的变化率。

令D_t＝{d_i|i＝11..t}表示变化率序列。

令b_t表示当前帧跟踪结果是否正常，b_t＝1表示跟踪结果正常，b_t＝0表示跟踪结果异常，特别地，第11帧b₁₁＝1。

令V_b_t＝{b_i|i＝11..t}表示从第11帧开始跟踪结果是否正常的掩模向量。

令E(D_t)和δ(D_t)分别表示去除了异常情况的变化率序列的期望值和标准差，其中

令Δ_t＝{δ(D_i)|i＝11..t}表示标准差序列，其一阶导数为

令/>

令φ_t＝(d_t-E(D_t-1))/δ(D_t-1)表示第t帧模型更新判别指标，令ξ₁＝3.5，ξ₂＝7。

令m_t＝{H_t,bg_hist_t,fg_hist_t}表示当前帧目标模板。

令M＝{Model_i|1≤i≤10}表示可靠模板库，其按照先进先出原则保存了最近历史帧的多个可靠目标模板，初始化M为空集，规定最多保存10个模板。如果当前帧目标模板m_t是可靠模板的情况下，将m_t放入M作为一个可靠模板。

步骤四、输入下一帧并提取特征

依据步骤二中步骤1的方法计算当前帧搜寻窗口Search(2)，依据步骤二中步骤3提取当前帧方向梯度直方图(HOG)特征的频域表示F₂，当前帧HOG特征的响应图G₂可以根据公式G₂＝F₂⊙H₁计算得到。

依据步骤二中步骤5的方法提取当前帧颜色直方图特征bg_hist₂和fg_hist₂，将搜寻区域图像中每个像素对应到直方图的bin值，结合标准目标窗口尺寸和上一帧颜色直方图特征bg_hist₁和fg_hist₁，计算出当前帧颜色直方图特征和颜色直方图模板的相似图谱L₁，其尺寸与响应图G相同。

步骤五、自适应特征融合

1、计算自适应特征融合参数

令E(G₂)表示HOG特征响应图G₂的期望，根据公式(1)计算得出E(G₂)＝0.0430：

令Gh₂表示HOG特征响应图G₂的置信区域，(i,j)位置的元素Gh₂(i,j)计算方法如公式(2)所示：

HOG特征响应图G₂的自适应融合参数α＝0.8507计算方法如下公式(3)所示：

颜色直方图相似图谱L₂的自适应融合参数为0.1493。

2、自适应特征融合结果

令GL₂表示HOG特征响应图G₂和颜色直方图相似图谱L₂自适应特征融合的结果，其计算方法如公式(4)所示：

GL₂＝0.8507×G₂+0.1493×L₂ (4)。

步骤六、确定跟踪结果

特征融合响应图GL_t矩阵元素值代表其对应搜寻窗口内候选目标是跟踪结果的概率，则最大元素值对应候选目标即是当前帧跟踪结果。

当前帧搜寻窗口内候选目标的个数为75×75。令GL_max₂、x_GL_max₂＝39和y_GL_max₂＝39分别表示当前帧特征融合响应图GL₂矩阵中最大元素值及其对应的横纵坐标位置，则当前帧跟踪结果为(40,199,61,103)，其中w₂＝61、h₂＝103、x₂＝40、y₂＝199，γ为搜寻窗口的变换因子，其计算方法参见步骤二中步骤1。

步骤七、异常判别处理

如果当前帧号t＜11，转至步骤八，否则执行以下操作。

1、计算步骤三定义的相关参数

情况一：

当跟踪进入第11帧时，GL_max₁₁＝0.7239、R₁₁＝{0.7239}、R_max₁₁＝0.7239、d₁₁＝0、D₁₁＝{0}。

根据步骤三判别参数的计算，φ₁₁＝0，b₁₁＝1即跟踪结果正常。

情况二：

当跟踪进入第12帧时，GL_max₁₂＝0.7028、R₁₂＝{0.7239，0.7028}、R_max₁₂＝0.7239、d₁₂＝0.0301、D₁₂＝{0，0.0301}。

根据步骤三判别参数的计算，φ₁₂＝0.7071，E(D₁₂)＝0.0150，δ(D₁₂)＝0.0213。

由于φ₁₂≤3.5，表明跟踪结果正常，b₁₂＝1，V_b₁₂＝{1,1}。

最后，Δ₁₂＝{0，0}，

情况三：

当跟踪进入第331帧时，GL_max₃₃₁＝0.3274、R₃₃₁＝{0.7239，0.7028，…,0.3274}、R_max₃₃₁＝0.7239、d₃₃₁＝1.2111、D₃₃₁＝{0，0.0301，…,1.2111}。

根据步骤三判别参数的计算，φ₃₃₁＝3.5678，E(D₃₃₁)＝0.4424，δ(D₃₃₁)＝0.2155。

即φ₁₂＞3.5，表明跟踪结果异常，b₃₃₁＝1，V_b₃₃₁＝{1,1，…,0}。

最后，Δ₃₃₁＝{0，0，…，0.2093}。

2、异常处理

情况一：当跟踪进入第331帧时，φ₃₃₁＝3.5678，因为3.5＜φ₃₃₀≤7，转至步骤十。

情况二：当跟踪进入第337帧时，φ₃₃₇＝8.4668，因为φ₃₃₇＞7，即回滚目标模板之后转至步骤十。其中，回滚方法是用可靠模板库中可靠目标模板的均值替换当前目标模板，计算方法为

其中num(M)＝10。

步骤八、更新目标模板

依据当前帧跟踪结果(40,199,61,103)的位置和步骤二中步骤1的方法计算搜寻窗口Search'(2)，依据步骤二中步骤3的方法提取Search'(2)范围内方向梯度直方图(HOG)特征的频域表示F₂'，依据步骤二中步骤4的方法计算H₂'＝G/F₂'。令η＝0.01为更新参数，当前帧HOG特征相关滤波器模板H₂更新方法如公式(5)所示：

H₂＝(1-0.01)×H₁+0.01×H₂' (5)

依据当前帧跟踪结果(225，139,61,71)的位置和步骤2.5的方法提取颜色直方图特征bg_hist₂'和fg_hist₂'。令θ和β为更新参数等于0.04，当前帧背景颜色直方图和前景颜色直方图模板更新方法如公式(6)和(7)所示：

bg_hist₂＝(1-0.04)×bg_hist₁+0.04×bg_hist₂' (6)

fg_hist₂＝(1-0.04)×fg_hist₁+0.04×fg_hist₂' (7)。

步骤九、更新可靠模板库

如果当前帧号t＜11，转至步骤十，否则执行以下操作。

当跟踪进入第12帧时，

不满足/>

且/>

即第12帧的模板不是可靠模板，不能放入可靠模板库。

当跟踪进入第15帧时，

满足/>

且/>

又由于num(M)＜10，则将当前帧目标模板m₁＝{H₁₅,bg_hist₁₅,fg_hist₁₅}直接放入可靠模板库M中。

步骤十、判别是否最后一帧

如果当前帧是最后一帧，跟踪结束；否则，转至步骤四。

最后，本发明平台是基于Matlab R2017b实现，硬件实验环境为Intel Corei7-6700CPU、主频3.4GHz、内存8GB配置的计算机。最终跟踪结果的成功率可以达到97.8％，部分跟踪结果如图3所示：其中，实线框为本发明算法跟踪区域，点线框是目标真实区域，虚线框是算法搜索区域。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (3)

1.一种基于最大响应值变化率更新策略的相关滤波跟踪方法，其特征在于，所述方法基于相关滤波跟踪框架，用方向梯度直方图(HOG)和颜色直方图两种互补特征实现特征提取，基于最大响应值变化率对跟踪结果进行异常判别，并根据可靠的目标模板建立可靠模板库以供异常情况下回滚目标模板；

包括如下步骤：

步骤一、输入第一帧

视频帧序列中的每一帧左上角为坐标原点(1,1)，宽高分别为Width和Height；手工或自动选定第一帧中待跟踪目标的矩形区域(x₀,y₀,w₀,h₀)，即选定的跟踪目标；其中，(x₀,y₀)表示矩形区域的左上角坐标，w₀,h₀分别表示矩形区域的宽高；第一帧选定目标也称为当前帧跟踪结果(x₁,y₁,w₁,h₁)＝(x₀,y₀,w₀,h₀)，下标表示当前帧号；

步骤二、初始化目标模板

(1)、计算搜寻窗口；

(2)、生成标准高斯响应图；

(3)、提取方向梯度直方图(HOG)特征；

(4)、计算HOG特征的相关滤波器模板；

(5)、提取颜色直方图特征模板；

步骤三、定义判别参数

由于一般情况下跟踪系统前k帧(5≤k≤15)以内不会跟丢，且跟踪到第k帧之后跟踪系统的响应图方可趋于稳定，因此模型更新判别相关的参数从第k+1帧开始计算；自第k+1帧开始，每帧涉及与模型更新判别相关的参数计算方法如下：

令GL_t表示当前帧两种特征加权融合响应图，其中t为当前帧号；

令表示矩阵中最大元素值即响应图最大值；

令R_t＝{GL_max_i|i＝k+1..t}表示从第帧到第t帧的响应图最大值序列；

令R_max_t＝max(R_t)表示响应图最大值序列R_t的最大值；

令d_t＝(R_max_t-GL_max_t)/GL_max_t表示响应图最大值的变化率；

令D_t＝{d_i|i＝k+1..t}表示变化率序列；

令b_t表示当前帧跟踪结果是否正常，b_t＝1表示当前帧跟踪结果正常，b_t＝0表示当前帧跟踪结果异常，特别地，第k+1帧b_k+1＝1；

令V_b_t＝{b_i|i＝k+1..t}表示从第k+1帧开始跟踪结果是否正常的掩模向量；

令和分别表示去除了异常情况的变化率序列的期望值和标准差，其中

令Δ_t＝{δ(D_i)|i＝k+1..t}表示标准差序列，其一阶导数为

令

和/>

表示判别该一阶导数的两个常量参数，其中/>

且二者绝对值皆接近零；

令φ_t＝(d_t-E(D_t-1))/δ(D_t-1)表示第t帧模型更新判别指标，令ξ₁和ξ₂表示该判别指标相关的两个常量参数，其中2.5≤ξ₁≤3.5，4.0≤ξ₂≤8.0；

令表示当前帧目标模板；

令M＝{Model_i|1≤i≤10}表示可靠模板库，其按照先进先出原则保存了最近历史帧的多个可靠目标模板，初始化为空集，规定最多保存10个模板；如果当前帧目标模板m_t是可靠模板的情况下，将m_t放入作为一个可靠模板；

步骤四、输入下一帧并提取特征

依据步骤二中步骤(1)的方法计算当前帧搜寻窗口，依据步骤二中步骤(3)提取当前帧方向梯度直方图(HOG)特征的频域表示F_t，当前帧HOG特征的响应图G_t可以根据公式G_t＝F_t⊙H_t-1计算得到；

依据步骤二中步骤(5)的方法提取当前帧颜色直方图特征bg_hist_t和fg_hist_t，将搜寻区域图像中每个像素对应到直方图的bin值，结合标准目标窗口尺寸和上一帧颜色直方图特征bg_hist_t-1和fg_hist_t-1，计算出当前帧颜色直方图特征和颜色直方图模板的相似图谱L_t，其尺寸与响应图G相同；

步骤五、自适应特征融合：

(1)、计算自适应特征融合参数，

(2)、自适应特征融合的结果；

步骤六、确定跟踪结果；

步骤七、异常判别处理：

如果当前帧号t＜k+1，转至步骤八，否则执行以下操作：

(1)、计算步骤三定义的相关参数，

(2)、异常处理；

步骤八、更新目标模板；

步骤九、更新可靠模板库；

步骤十、判断是否最后一帧：

如果当前帧是最后一帧，跟踪结束；否则，转至步骤四；

所述步骤二具体包括：

(1)、计算搜寻窗口

根据上一帧即t-1帧跟踪结果(x_t-1,y_t-1,w_t-1,h_t-1)对应的矩形区域可以计算出当前帧即第t帧候选目标的搜寻窗口Search(t)，特别地，第一帧搜寻窗口则根据计算；

搜寻窗口的中心点为(x_s_t,y_s_t)，其中x_s_t＝x_t-1+w_t-1/2、y_s_t＝y_t-1+h_t-1/2，

宽高分别为w_s_t＝1.5×w_t-1+0.5×h_t-1、h_s_t＝1.5×h_t-1+0.5×w_t-1；为了确保搜寻范围在视频帧范围内，进一步依据该搜寻范围与当前帧区域的交集修正搜寻窗口的宽高；为便于后续计算颜色直方图特征，限定搜寻窗口的边界与真实目标边界之间的距离为偶数，进一步修正搜寻窗口的宽高；

令标准化窗口NormWin的宽高分别为w_n和h_n，则搜寻窗口的变换因子为

根据搜寻窗口变换因子可以将搜寻窗口图像进行标准化变换形成标准搜寻窗口，其宽高为w_sn_t＝w_s_t×γ、h_sn_t＝h_s_t×γ，

当前帧的标准目标窗口的宽高为w_on_t＝w_sn_t×0.75-h_sn_t×0.25、h_on_t＝h_sn_t×0.75-w_sn_t×0.25；

(2)、生成标准高斯响应图

标准高斯响应图g是一个二维矩阵，其宽高为w_g＝w_sn_t/cell、h_g＝h_sn_t/cell，其矩阵元素值是符合二维高斯分布N(0,0,δ,δ,0)的概率密度函数，可按照

公式进行计算；其中，δ表示二维高斯分布的标准差，计算方法为/>

表示HOG特征提取过程中每个格子的尺寸为cell×cell，(i,j)表示高斯响应图矩阵的元素坐标位置，原点位于矩阵的中心点；将标准高斯响应图进行傅立叶变换可以得到其频域表示，其与g同尺寸；

(3)、提取方向梯度直方图(HOG)特征

以cell作为HOG特征格子尺寸参数、2×2个格子作为块大小、直方图组距bin设置为2π/7，在当前帧标准化搜寻窗口内提取HOG特征f_t，其尺寸为w_g×h_g×28；采用尺寸为w_g×h_g的余弦窗对特征f_t进行平滑处理，再进行傅里叶变换得到HOG特征的频域表示F_t，其与f_t同尺寸；

(4)、计算HOG特征的相关滤波器模板

已知标准化搜寻窗口HOG特征的频域表示F_t和标准高斯响应图的频域表示G，则HOG特征相关滤波器模板的频域表示H_t可以根据公式H_t＝G/F_t计算得到；

(5)、提取颜色直方图特征模板

搜寻窗口Search(t)＝(x_s_t,y_s_t,w_s_t,h_s_t)内目标区域(x_t-1,y_t-1,w_t-1,h_t-1)以外的区域定义为背景区域，目标区域缩进一定量定义为前景区域，其中心点与目标区域相同，宽高缩进量皆为(w_t-1+h_t-1)/10；在背景区域和前景区域分别提取背景颜色直方图bg_hist_t和前景颜色直方图fg_hist_t，即为当前帧颜色直方图特征模板；

所述步骤五具体为：

(1)、计算自适应特征融合参数

令E(G_t)表示HOG特征响应图G_t的期望，计算方法如公式(1)所示：

令Gh_t表示HOG特征响应图G_t的置信区域，(i,j)位置的元素Gh_t(i,j)计算方法如公式(2)所示：

HOG特征响应图G_t的自适应融合参数α计算方法如公式(3)所示：

颜色直方图相似图谱L_t的自适应融合参数为1-α；

(2)、自适应特征融合

令GL表示HOG特征响应图G_t和颜色直方图相似图谱L_t自适应特征融合的结果，其计算方法如公式(4)所示：

GL＝α×G_t+(1-α)×L_t (4)；

所述步骤六具体为：

特征融合响应图GL_t矩阵元素值代表其对应搜寻窗口内候选目标是跟踪结果的概率，则最大元素值对应候选目标即是当前帧跟踪结果；

当前帧搜寻窗口内候选目标的个数为(w_sn_t-w_on_t)×(h_sn_t-h_on_t)；令GL_max_t、x_GL_max_t和y_GL_max_t分别表示当前帧特征融合响应图GL_t矩阵中最大元素值及其对应的横纵坐标位置，则当前帧跟踪结果为(x_t,y_t,w_t,h_t)，其中w_t＝w_t-1、h_t＝h_t-1、x_t＝x_t-1+(x_GL_max_t-(w_sn_t-w_on_t)/2)/γ-w_t/2、y_t＝y_t-1+(y_GL_max_t-(h_sn_t-h_on_t)/2)/γ-h_t/2，γ为搜寻窗口的变换因子，其计算方法参见步骤二中步骤(1)；

步骤七具体为：

如果当前帧号t＜k+1，转至步骤八，否则执行以下操作；

(1)、计算步骤三定义的相关参数

首先计算GL_max_t、R_t、R_max_t、d_t、D_t；

如果t＝k+1，则φ_k+1＝0，b_k+1＝1；如果t＞k+1，根据步骤三计算φ_t，并计算b_t，方法为

计算V_b_t、E(D_t)、δ(D_t)、Δ_t；

如果t＝k+1，则

如果t＞k+1，根据步骤三计算/>

(2)、异常处理

如果ξ₁＜φ_t≤ξ₂，转至步骤十；

如果φ_t＞ξ₂且可靠模板库M为空集，则当前目标模板已经漂移但不回滚，转至步骤十；

如果φ_t＞ξ₂且可靠模板库M不为空集，则当前目标模板已经漂移需要回滚，且回滚目标模板之后转至步骤十；其中，回滚方法是用可靠模板库中可靠目标模板的均值替换当前目标模板，计算方法为

其中num(M)为可靠模板库M中可靠模板的个数。

2.根据权利要求1所述的方法，其特征在于，步骤八具体为：

依据当前帧跟踪结果(x_t,y_t,w_t,h_t)的位置和步骤二中步骤(1)的方法计算搜寻窗口Search'(t)，依据步骤二中步骤(3)的方法提取Search'(t)范围内方向梯度直方图(HOG)特征的频域表示F_t'，依据步骤二中步骤(4)的方法计算H_t'＝G/F_t'；令η为更新参数，当前帧HOG特征相关滤波器模板H_t更新方法如公式(5)所示：

H_t＝(1-η)H_t-1+ηH_t' (5)

依据当前帧跟踪结果(x_t,y_t,w_t,h_t)的位置和步骤二中步骤(5)的方法提取颜色直方图特征bg_hist_t'和fg_hist_t'；令θ和β为更新参数，当前帧背景颜色直方图和前景颜色直方图模板更新方法如公式(6)和(7)所示：

bg_hist_t＝(1-θ)×bg_hist_t-1+θ×bg_hist_t' (6)

fg_hist_t＝(1-β)×fg_hist_t-1+β×fg_hist_t' (7)。

3.根据权利要求1所述的方法，其特征在于，步骤九具体为：

如果当前帧号，转至步骤十，否则执行以下操作：

如果

且/>

则当前目标模板是一个可靠模板需要放入可靠模板库M；如果num(M)＜10，直接将当前帧目标模板m_t＝{H_t,bg_hist_t,fg_hist_t}放入可靠模板库M中；如果num(M)＝10，先将M中最早放入的可靠模板删除，再将当前帧目标模板m_t＝{H_t,bg_hist_t,fg_hist_t}放入可靠模板库M中。

Images