CN107644430A - 基于自适应特征融合的目标跟踪 - Google Patents

Abstract

本发明提出了一种自适应特征融合的目标跟踪方法，包括：在第一帧图像中，初始化目标区域，构造位置滤波器和尺度滤波器；在目标周围提取检测样本，分别计算方向梯度直方图(Histogram of Oriented Gradient，HOG)特征以及颜色(Color Name，CN)特征，通过位置滤波器获得响应值；根据响应值计算特征权重，归一化权重系数，融合特征响应值，选取响应值最大的点作为目标的中心位置；根据目标响应判断是否出现遮挡，遮挡情况下，只更新尺度滤波器，不更新目标位置滤波器，循环处理，获取每一帧的目标位置。本发明的优点在于：提出了一种自适应特征融合的方法，并且设计了一种基于平均峰相关能量(Average Peak‑to‑Correlation Energy，APCE)的模型更新策略，显著提高了遮挡情况下目标的跟踪精度和鲁棒性。

Description

基于自适应特征融合的目标跟踪

技术领域

本发明属于图像处理和计算机视觉领域，具体涉及一种自适应特征融合的目标跟踪方法。

技术背景

在计算机视觉中，目标跟踪是一个热门的研究领域，可以应用到视频监控、自动监测等多个人机交互领域。虽然近几年研究人员提出了许多跟踪算法，但面临目标外观变化、快速运动、尺度变换、遮挡等问题，很难达到实时高效稳定的跟踪。

传统的跟踪方法通过构建复杂的外观模型，抽取大量的学习样本，产生庞大的计算量，很难达到实时跟踪。相关滤波类方法绕过构建复杂的外观模型与大量学习样本，仅通过前一帧的跟踪结果作为学习样本就可以跟踪，不仅可以达到实时跟踪，也能保证跟踪精度。

相关滤波类方法如果利用有效的样本特征可以显著的提高跟踪精度，近些年不断涌现大量优秀的特征(HOG特征、CN特征、深度特征等)使跟踪效果不断提高，不同优秀特征的融合也能形成优势互补，提高跟踪精度。

发明内容

本发明提出了一种自适应特征融合的跟踪方法，可以显著提高跟踪精度。并且融入了遮挡判断机制，对遮挡的目标达到准确跟踪。

本发明技术解决方案如下：

基于自适应特征融合的目标跟踪，其特征在于：包括如下步骤：

步骤1：初始化目标并选取目标区域；

步骤2：在目标区域选取样本，计算HOG特征以及CN特征，构造位置高斯滤波器、尺度滤波器；

步骤3：计算检测样本的HOG特征以及CN特征，并进行加余弦窗处理；

步骤4：多通道特征求和，分别得到不同特征的高斯响应值；

步骤5：分别根据响应值计算特征权重。归一化权重系数，融合特征响应值；

步骤6：对求得响应值进行排序，选取最大值对应的样本区域作即为目标位置；

步骤7：在目标周围提取尺度样本，计算特征后，通过尺度滤波器，获取尺度响应；

步骤8：求得尺度响应最大值即目标尺度，更新目标尺度；

步骤9：更新尺度滤波器模型；

步骤10：根据目标位置相应判断是否出现遮挡，如果是重复步骤3至步骤9，如果没出现遮挡进入步骤11；

步骤11：更新位置滤波器模型；

步骤12：重复步骤3至11直至跟踪结束。

所述步骤1为：

根据所述第一帧被跟踪目标的初始化位置为p＝[x,y,w,h]。

其中x,y表示目标中心点的横坐标和纵坐标，w,h分别表示目标框的宽和高。

目标区域选取以目标中心点为中心，2倍目标大小的矩形区域为目标区域P_t。

所述步骤2为：

计算目标区域P_t的HOG特征和CN特征作为滤波器的输入F。

其中M和N表示目标区域P_t的大小，L表示特征通道的个数。

第一帧选取标准偏差构造位置滤波器输出，即

其中(x,y)表示目标位置,(x',y')∈{0,…,M-1}×{0,…,N-1}表示每个像素位置。

选取标准差作为尺度滤波器输出，即：

其中s表示目标当前的尺度，s'表示样本尺度：

其中，P,R分别为目标在前一帧的宽和高，a＝1.02为尺度因子，S＝33为尺度的数量。

根据建立最小化代价函数构造滤波器h，如下：

其中，h表示滤波器，f表示滤波器输入，g表示滤波器输出，l表示特征的某一维度，λ是正则项系数。

作用是消除f频谱中的零频分量的影响，避免上式解的分子为零，通过最优化求解，并转化为频域，则滤波器表示为：

其中H^l表示我们构造的滤波器，表示滤波器输出的频域共轭，F^l表示滤波器的频域输入的某一维度。

d表示输入样本的像素个数，Fk表示输入的某一像素值的频域，是它的频域共轭，A^l和B表示构造滤波器的分子和分母。

完成滤波器的构造。

所述步骤3为：

计算HOG特征初始化单元大小为1×1，根据标准化HOG特征计算函数得到检测样本M×N大小的27维梯度特征，加上一维的灰度特征构成M×N×L₁的HOG特征，其中L₁＝28。

CN特征根据标准的计算函数可以得到M×N×L₂的CN特征，其中L₂＝10。

对特征进行余弦窗处理，公式如下：

x'_mn＝(x_mn-0.5)sin(πm/M)sin(πn/N)

其中x'_mn表示处理后图像的每个像素，x_mn表示处理前的图像像素，(m,n)∈{0,…,M-1}×{0,…,N-1}表示每个像素位置。

处理后得到目标区域特征

所述步骤4为：

将求得的测试样本特征Z_t通过滤波器H_t，得到响应值并进行多通道求和：

其中F-¹表示傅里叶反变换，A^l、B表示滤波器的参数，d表示特征维数。

求和之后分别得到HOG特征的响应值y₁，CN特征的响应值y₂。

所述步骤5为：

传统的跟踪方法根据y₁的最大值y_1max或者y₂的最大值y_2max确定目标位置，传统的特征融合也是简单的响应值相加，或者以固定比例求和，方法过于片面。

我们提出的自适应特征融合根据响应值的最大值y_1max和y_2max以及各自的通道权重：

其中ρ_max1，ρ_max2分别表示响应值图像最大的极值以及第二大的极值，按照公式：

得到特征融合后的响应值。

所述步骤6为：

根据求得特征融合后的响应值y求得最大值y_max所在的位置就是检测区域的目标位置，经过坐标变换，得到目标在整幅图像中的位置。

所述步骤7为：

以新目标位置为中心按照权利要求书3所述公式：

提取S＝33种不同尺度下的样本Z_s，把每个样本缩放成固定尺寸大小M×N。

按照初始化单元大小为4×4，根据标准化HOG特征计算函数得到检测样本M×N大小的31维梯度特征。

每个样本的所有的HOG特征串联成一个特征向量，不同样本的特征向量构成S＝33层金字塔特征，按照权利要求书4所述公式：

x'_mn＝(x_mn-0.5)sin(πm/M)sin(πn/N)

对特征进行加窗处理得到尺度样本输入Z_s。

所述步骤8为：

将求得的测试样本特征Z_s通过尺度滤波器H_s，得到响应值：

求得响应值最大的尺度就是当前目标的尺度，更新目标的尺度参数。

所述步骤9为：

以固定学习率η＝0.025对尺度滤波器模型进行更新，更新公式为：

其中表示前一帧的滤波器参数，尺度滤波器模型每一帧都进行更新。

所述步骤10为：

遮挡判断根据目标位置响应最大值f_max以及APCE值，计算公式如下:

其中f_min表示相应最小值，f_w,h表示某一点的响应值，经过大量实验我们得出当：

f_max＜θ₁(θ₁＝0.2)

APCE＜θ₂(θ₂＝20)

同时满足时，跟踪目标周围出现明显遮挡，此时位置滤波器模型不更新，传统的跟踪算法是每一帧都进行更新，当出现遮挡时很容易学习到很多背景信息，另外一些跟踪算法每N帧更新一次模型，相比之下，我们的方法更加科学，跟踪效果明显提高。

所述步骤11为：

当判断没有出现遮挡时，以固定学习率η＝0.025对位置滤波器模型进行更新，更新公式为：

相应的B_t-1表示前一帧的滤波器参数。

所述步骤12为：

算法运行至此，第二帧运行结束，目标位置、尺度以及滤波器模型都已经更新完成，下一帧重复运行步骤3至11直至视频结束。

附图说明

图1是本发明基于自适应特征融合的目标跟踪方法的流程图。

图2是在重叠阈值条件下对50个测试视频的时间鲁棒性评估。

图3是在重叠阈值条件下对50个测试视频的空间鲁棒性评估。

图4是在位置误差阈值条件下对50个测试视频的时间鲁棒性评估。

图5是在位置误差阈值条件下对50个测试视频的空间鲁棒性评估。

图6是测试比较算法明细。

具体实施方法

为了使本发明的目的、技术路线和有益效果更加清楚，下面将结合附图和具体实施方式，进一步阐述本发明。

基于自适应特征融合的目标跟踪方法实施过程如图1所示，包括如下步骤：

步骤1：初始化目标并选取目标区域；

具体步骤：

根据所述第一帧被跟踪目标的初始化位置为p＝[x,y,w,h]。

其中x,y表示目标中心点的横坐标和纵坐标，w,h分别表示目标框的宽和高。

目标区域选取以目标中心点为中心，2倍目标大小的矩形区域为目标区域P_t。

步骤2：在目标区域选取样本计算HOG特征以及CN特征，构造高斯滤波器1和高斯滤波器2以及尺度滤波器；

具体步骤：

计算目标区域P_t的HOG特征和CN特征作为滤波器的输入F。

其中M和N表示目标区域P_t的大小，L表示特征通道的个数。

第一帧选取标准偏差构造位置滤波器输出，即

其中(x,y)表示目标位置,(x',y')∈{0,…,M-1}×{0,…,N-1}表示每个像素位置。

选取标准差作为尺度滤波器输出，即：

其中s表示目标当前的尺度，s'表示样本尺度：

其中，P,R分别为目标在前一帧的宽和高，a＝1.02为尺度因子，S＝33为尺度的数量。

根据建立最小化代价函数构造滤波器h，如下：

其中，h表示滤波器，f表示滤波器输入，g表示滤波器输出，l表示特征的某一维度，λ是正则项系数。

作用是消除f频谱中的零频分量的影响，避免上式解的分子为零，通过最优化求解，并转化为频域，则滤波器表示为：

其中H^l表示我们构造的滤波器，表示滤波器输出的频域共轭，F^l表示滤波器的频域输入的某一维度。

d表示输入样本的像素个数，F^k表示输入的某一像素值的频域，是它的频域共轭，A^l和B表示构造滤波器的分子和分母。

完成滤波器的构造。

步骤3：计算检测样本的HOG特征以及CN特征，加余弦窗处理；

具体步骤：

计算HOG特征初始化单元大小为1×1，根据标准化HOG特征计算函数得到检测样本M×N大小的27维梯度特征，加上一维的灰度特征构成M×N×L₁的HOG特征，其中L₁＝28。

CN特征根据标准的计算函数可以得到M×N×L₂的CN特征，其中L₂＝10。

对特征进行余弦窗处理，公式如下：

x'_mn＝(x_mn-0.5)sin(πm/M)sin(πn/N)

其中x'_mn表示处理后图像的每个像素，x_mn表示处理前的图像像素，(m,n)∈{0,…,M-1}×{0,…,N-1}表示每个像素位置。

处理后得到目标区域特征

步骤4：多通道特征求和，分别得到高斯响应值1、高斯响应值2；

具体步骤：

将求得的测试样本特征Z_t通过滤波器H_t，得到响应值并进行多通道求和：

其中F^-1表示傅里叶反变换，A^l、B表示滤波器的参数，d表示特征维数。

求和之后分别得到HOG特征的响应值y₁，CN特征的响应值y₂。

步骤5：分别根据响应值计算特征权重。归一化权重系数，融合特征响应值；

具体步骤：

传统的跟踪方法根据y₁的最大值y_1max或者y₂的最大值y_2max确定目标位置，传统的特征融合也是简单的响应值相加，或者以固定比例求和，方法过于片面。

我们提出的自适应特征融合根据响应值的最大值y_1max和y_2max以及各自的通道权重：

其中ρ_max1，ρ_max2分别表示响应值图像最大的极值以及第二大的极值，按照公式：

得到特征融合后的响应值。

步骤6：求得响应值最大即为目标位置；

具体步骤：

根据求得特征融合后的响应值y求得最大值y_max所在的位置就是检测区域的目标位置，经过坐标变换，得到目标在整幅图像中的位置。

步骤7：在目标周围提取尺度样本，计算特征后通过尺度滤波器；

具体步骤：

以新目标位置为中心按照权利要求书3所述公式：

提取S＝33种不同尺度下的样本Z_s，把每个样本缩放成固定尺寸大小M×N。

按照初始化单元大小为4×4，根据标准化HOG特征计算函数得到检测样本M×N大小的31维梯度特征。

每个样本的所有的HOG特征串联成一个特征向量，不同样本的特征向量构成S＝33层金字塔特征，按照权利要求书4所述公式：

x'_mn＝(x_mn-0.5)sin(πm/M)sin(πn/N)

对特征进行加窗处理得到尺度样本输入Z_s。

步骤8：求得尺度响应最大值即目标尺度，更新目标尺度；

具体步骤：

将求得的测试样本特征Z_s通过尺度滤波器H_s，得到响应值：

求得响应值最大的尺度就是当前目标的尺度，更新目标的尺度参数。

步骤9：更新尺度滤波器模型；

具体步骤：

以固定学习率η＝0.025对尺度滤波器模型进行更新，更新公式为：

其中表示前一帧的滤波器参数，尺度滤波器模型每一帧都进行更新。

步骤10：根据目标位置相应判断是否出现遮挡，如果是重复步骤3至步骤9，如果没出现遮挡进入步骤11；

具体步骤：

遮挡判断根据目标位置响应最大值f_max以及APCE值，计算公式如下:

其中f_min表示相应最小值，f_w,h表示某一点的响应值，经过大量实验我们得出当：

f_max＜θ₁(θ₁＝0.2)

APCE＜θ₂(θ₂＝20)

同时满足时，跟踪目标周围出现明显遮挡，此时位置滤波器模型不更新，传统的跟踪算法是每一帧都进行更新，当出现遮挡时很容易学习到很多背景信息，另外一些跟踪算法每N帧更新一次模型，相比之下，我们的方法更加科学，跟踪效果明显提高。

步骤11：更新位置滤波器模型；

具体步骤：

当判断没有出现遮挡时，以固定学习率η＝0.025对位置滤波器模型进行更新，更新公式为：

相应的B_t-1表示前一帧的滤波器参数。

步骤12：重复步骤3至11直至跟踪结束。

具体步骤：

算法运行至此，第二帧运行结束，目标位置、尺度以及滤波器模型都已经更新完成，下一帧重复运行步骤3至11直至视频结束。

Claims (13)

1.基于自适应特征融合的目标跟踪，其特征在于：包括如下步骤：

步骤1：初始化目标并选取目标区域；

步骤2：在目标区域选取样本，计算HOG特征以及CN特征，构造位置高斯滤波器、尺度滤波器；

步骤3：计算检测样本的HOG特征以及CN特征，并进行加余弦窗处理；

步骤4：多通道特征求和，分别得到不同特征的高斯响应值；

步骤5：根据响应值计算特征权重，归一化权重系数，融合特征响应值；

步骤6：对响应值进行排序，选取最大值对应的样本区域作为目标位置；

步骤7：在目标周围提取尺度样本，计算特征后，通过尺度滤波器，获取尺度响应；

步骤8：求得尺度响应最大值即目标尺度，更新目标尺度；

步骤9：更新尺度滤波器模型；

步骤10：根据目标位置相应判断是否出现遮挡，如果是重复步骤3至步骤9，如果没出现遮挡进入步骤11；

步骤11：更新位置滤波器模型；

步骤12：重复步骤3至11直至跟踪结束。

2.根据权利要求1所述的基于自适应特征融合的目标跟踪，其特征在于：所述步骤1具体为：

根据所述第一帧被跟踪目标的初始化位置为p＝[x,y,w,h]，其中x,y表示目标中心点的横坐标和纵坐标，w,h分别表示目标框的宽和高，目标区域选取以目标中心点为中心，2倍目标大小的矩形区域为目标区域P_t。

3.根据权利要求1所述的基于自适应特征融合的目标跟踪，其特征在于：所述步骤2具体包括：

计算目标区域P_t的HOG特征和CN特征作为滤波器的输入F，其中M和N表示目标区域P_t的大小，L表示特征通道的个数。第一帧选取标准偏差构造位置滤波器输出，即：

<mrow> <mi>g</mi> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mfrac> <mrow> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> </mfrac> <mo>)</mo> </mrow> </mrow>

其中(x,y)表示目标位置,(x',y')∈{0,…,M-1}×{0,…,N-1}表示每个像素位置。选取标准差构造尺度滤波器输出，即：

<mrow> <msup> <mi>g</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mfrac> <msup> <mrow> <mo>(</mo> <mi>s</mi> <mo>-</mo> <msup> <mi>s</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>

其中s表示目标当前的尺度，s'表示样本尺度：

<mrow> <msup> <mi>s</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <msup> <mi>a</mi> <mi>n</mi> </msup> <mi>P</mi> <mo>&amp;times;</mo> <msup> <mi>a</mi> <mi>n</mi> </msup> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mo>&amp;lsqb;</mo> <mo>-</mo> <mfrac> <mrow> <mi>S</mi> <mo>-</mo> <mn>1</mn> </mrow> <mn>2</mn> </mfrac> <mo>&amp;rsqb;</mo> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mo>&amp;lsqb;</mo> <mfrac> <mrow> <mi>S</mi> <mo>-</mo> <mn>1</mn> </mrow> <mn>2</mn> </mfrac> <mo>&amp;rsqb;</mo> <mo>}</mo> <mo>,</mo> </mrow>

其中，P，R分别为目标在前一帧的宽和高，a＝1.02为尺度因子，S＝33为尺度的数量。

根据建立最小化代价函数构造滤波器h，如下：

<mrow> <mi>&amp;epsiv;</mi> <mo>=</mo> <mo>|</mo> <mo>|</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </munderover> <msup> <mi>h</mi> <mi>l</mi> </msup> <mo>*</mo> <msup> <mi>f</mi> <mi>l</mi> </msup> <mo>-</mo> <mi>g</mi> <mo>|</mo> <mo>|</mo> <mo>+</mo> <mi>&amp;lambda;</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </munderover> <mo>|</mo> <mo>|</mo> <msup> <mi>h</mi> <mi>l</mi> </msup> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow>

其中，h表示滤波器，f表示滤波器输入，g表示滤波器输出，l表示特征的某一维度，λ是正则项系数，作用是消除f频谱中的零频分量的影响，避免上式解的分子为零，通过最优化求解，并转化为频域，则滤波器表示为：

<mrow> <msup> <mi>H</mi> <mi>l</mi> </msup> <mo>=</mo> <mfrac> <mrow> <mover> <mi>G</mi> <mo>&amp;OverBar;</mo> </mover> <msup> <mi>F</mi> <mi>l</mi> </msup> </mrow> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </msubsup> <mover> <msup> <mi>F</mi> <mi>k</mi> </msup> <mo>&amp;OverBar;</mo> </mover> <msup> <mi>F</mi> <mi>k</mi> </msup> <mo>+</mo> <mi>&amp;lambda;</mi> </mrow> </mfrac> <mo>=</mo> <mfrac> <msup> <mi>A</mi> <mi>l</mi> </msup> <mi>B</mi> </mfrac> </mrow>

其中H^l表示我们构造的滤波器，表示滤波器输出的频域共轭，F^l表示滤波器的频域输入的某一维度，d表示输入样本的像素个数，F^k表示输入的某一像素值的频域，是它的频域共轭，A^l和B表示构造滤波器的分子和分母，完成滤波器的构造。

4.根据权利要求1所述的基于自适应特征融合的目标跟踪，其特征在于：所述步骤3具体为：

计算HOG特征初始化单元大小为1×1，根据标准化HOG特征计算函数得到检测样本为M×N大小的27维梯度特征，加上一维的灰度特征构成M×N×L₁的HOG特征，其中L₁＝28，CN特征根据标准的计算函数可以得到M×N×L₂的CN特征，其中L₂＝10，对特征进行余弦窗处理，公式如下：

x'_mn＝(x_mn-0.5)sin(πm/M)sin(πn/N)

其中x'_mn表示处理后图像的每个像素，x_mn表示处理前的图像像素，(m,n)∈{0,…,M-1}×{0,…,N-1}表示每个像素位置，处理后得到目标区域特征

5.根据权利要求1所述的基于自适应特征融合的目标跟踪，其特征在于：所述步骤4具体为：

将求得的测试样本特征Z_t通过滤波器H_t，得到响应值并进行多通道求和：

<mrow> <mi>y</mi> <mo>=</mo> <msup> <mi>F</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>{</mo> <mfrac> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </msubsup> <mover> <msup> <mi>A</mi> <mi>l</mi> </msup> <mo>&amp;OverBar;</mo> </mover> <msup> <mi>Z</mi> <mi>l</mi> </msup> </mrow> <mrow> <mi>B</mi> <mo>+</mo> <mi>&amp;lambda;</mi> </mrow> </mfrac> <mo>}</mo> </mrow>

其中F^-1表示傅里叶反变换，A^l、B表示滤波器的参数，d表示特征维数，求和之后分别得到HOG特征的响应值y₁，CN特征的响应值y₂。

6.根据权利要求1基于自适应特征融合的目标跟踪，其特征在于：所述步骤5为：

传统的跟踪方法根据y₁的最大值y_1max或者y₂的最大值y_2max确定目标位置，传统的特征融合也是简单的响应值相加，或者以固定比例求和，方法过于片面，我们提出的自适应特征融合根据响应值的最大值y_1max和y_2max以及各自的通道权重：

<mrow> <msub> <mi>w</mi> <mi>d</mi> </msub> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;rho;</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mn>2</mn> </mrow> </msub> <mo>/</mo> <msub> <mi>&amp;rho;</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mn>1</mn> </mrow> </msub> <mo>,</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> </mrow>

其中ρ_max1，ρ_max2分别表示响应值图像最大的极值以及第二大的极值，按照公式：

<mrow> <mi>y</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mrow> <mn>1</mn> <mi>max</mi> </mrow> </msub> <msub> <mi>w</mi> <mrow> <mi>d</mi> <mn>1</mn> </mrow> </msub> </mrow> <mrow> <msub> <mi>y</mi> <mrow> <mn>1</mn> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <msub> <mi>w</mi> <mrow> <mi>d</mi> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>y</mi> <mrow> <mn>2</mn> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <msub> <mi>w</mi> <mrow> <mi>d</mi> <mn>2</mn> </mrow> </msub> </mrow> </mfrac> <msub> <mi>y</mi> <mn>1</mn> </msub> <mo>+</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mrow> <mn>2</mn> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <msub> <mi>w</mi> <mrow> <mi>d</mi> <mn>2</mn> </mrow> </msub> </mrow> <mrow> <msub> <mi>y</mi> <mrow> <mn>1</mn> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <msub> <mi>w</mi> <mrow> <mi>d</mi> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>y</mi> <mrow> <mn>2</mn> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <msub> <mi>w</mi> <mrow> <mi>d</mi> <mn>2</mn> </mrow> </msub> </mrow> </mfrac> <msub> <mi>y</mi> <mn>2</mn> </msub> </mrow>

其中w_d1表示HOG特征的通道权重；w_d2表示CN特征通道的权重，得到特征融合后的响应值。

7.根据权利要求1所述的基于自适应特征融合的目标跟踪，其特征在于：所述步骤6为：

根据求得特征融合后的响应值y求得最大值y_max所在的位置就是检测区域的标位置，经过坐标变换，得到目标在整幅图像中的位置。

8.根据权利要求1所述的基于自适应特征融合的目标跟踪，其特征在于：所述步骤7为：

以新目标位置为中心按照权利要求书3所述公式：

<mrow> <msup> <mi>s</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <msup> <mi>a</mi> <mi>n</mi> </msup> <mi>P</mi> <mo>&amp;times;</mo> <msup> <mi>a</mi> <mi>n</mi> </msup> <mi>R</mi> <mo>,</mo> <mi>n</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mo>&amp;lsqb;</mo> <mo>-</mo> <mfrac> <mrow> <mi>S</mi> <mo>-</mo> <mn>1</mn> </mrow> <mn>2</mn> </mfrac> <mo>&amp;rsqb;</mo> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mo>&amp;lsqb;</mo> <mfrac> <mrow> <mi>S</mi> <mo>-</mo> <mn>1</mn> </mrow> <mn>2</mn> </mfrac> <mo>&amp;rsqb;</mo> <mo>}</mo> </mrow>

提取S＝33种不同尺度下的样本Z_s，把每个样本缩放成固定尺寸大小M×N，按照初始化单元大小为4×4，根据标准化HOG特征计算函数得到检测样本M×N大小的31维梯度特征，每个样本的所有的HOG特征串联成一个特征向量，不同样本的特征向量构成S＝33层金字塔特征，按照权利要求书4所述公式

x'_mn＝(x_mn-0.5)sin(πm/M)sin(πn/N)

对特征进行加窗处理得到尺度样本输入Z_s。

9.根据权利要求1所述的基于自适应特征融合的目标跟踪，其特征在于：所述步骤8为：

将求得的测试样本特征Z_s通过尺度滤波器H_s，得到响应值：

<mrow> <msub> <mi>y</mi> <mi>s</mi> </msub> <mo>=</mo> <msup> <mi>F</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>{</mo> <mfrac> <mrow> <mover> <mi>A</mi> <mo>&amp;OverBar;</mo> </mover> <msub> <mi>Z</mi> <mi>s</mi> </msub> </mrow> <mrow> <mi>B</mi> <mo>+</mo> <mi>&amp;lambda;</mi> </mrow> </mfrac> <mo>}</mo> </mrow> </mrow>

求得响应值最大的尺度就是当前目标的尺度，更新目标的尺度参数。

10.根据权利要求1所述的基于自适应特征融合的目标跟踪，其特征在于：所述步骤9为：

以固定学习率η＝0.025对尺度滤波器模型进行更新，更新公式为：

<mrow> <msubsup> <mi>A</mi> <mi>t</mi> <mi>s</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;eta;</mi> <mo>)</mo> </mrow> <msubsup> <mi>A</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>s</mi> </msubsup> <mo>+</mo> <mi>&amp;eta;</mi> <mover> <msub> <mi>G</mi> <mi>t</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <msub> <mi>F</mi> <mi>t</mi> </msub> </mrow>

<mrow> <msubsup> <mi>B</mi> <mi>t</mi> <mi>s</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;eta;</mi> <mo>)</mo> </mrow> <msubsup> <mi>B</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>s</mi> </msubsup> <mo>+</mo> <mi>&amp;eta;</mi> <mover> <msub> <mi>F</mi> <mi>t</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <msub> <mi>F</mi> <mi>t</mi> </msub> </mrow>

其中表示前一帧的滤波器参数，尺度滤波器模型每一帧都进行更新。

11.根据权利要求1所述的基于自适应特征融合的目标跟踪，其特征在于：所述步骤10为：

遮挡判断根据目标位置响应最大值f_max以及APCE值，计算公式如下：

<mrow> <mi>A</mi> <mi>P</mi> <mi>C</mi> <mi>E</mi> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <msub> <mi>f</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>f</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>|</mo> </mrow> <mrow> <mi>m</mi> <mi>e</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>w</mi> <mo>,</mo> <mi>h</mi> </mrow> </munder> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>f</mi> <mrow> <mi>w</mi> <mo>,</mo> <mi>h</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>f</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

其中f_min表示相应最小值，f_w,h表示某一点的响应值，经过大量实验我们得出当：

f_max＜θ₁(θ₁＝0.2)

APCE＜θ₂(θ₂＝20)

同时满足时，跟踪目标周围出现明显遮挡，此时位置滤波器模型不更新，传统的跟踪算法是每一帧都进行更新，当出现遮挡时很容易学习到很多背景信息，另外一些跟踪算法每N帧更新一次模型，相比之下，我们的方法更加科学，跟踪效果明显提高。

12.根据权利要求1所述的基于自适应特征融合的目标跟踪，其特征在于：所述步骤11为：

当判断没有出现遮挡时，以固定学习率η＝0.025对位置滤波器模型进行更新，更新公式为：

<mrow> <msubsup> <mi>A</mi> <mi>t</mi> <mi>l</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;eta;</mi> <mo>)</mo> </mrow> <msubsup> <mi>A</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>l</mi> </msubsup> <mo>+</mo> <mi>&amp;eta;</mi> <mover> <msub> <mi>G</mi> <mi>t</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <msubsup> <mi>F</mi> <mi>t</mi> <mi>l</mi> </msubsup> </mrow>

<mrow> <msub> <mi>B</mi> <mi>t</mi> </msub> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;eta;</mi> <mo>)</mo> </mrow> <msub> <mi>B</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <mi>&amp;eta;</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>d</mi> </munderover> <mover> <msubsup> <mi>F</mi> <mi>t</mi> <mi>k</mi> </msubsup> <mo>&amp;OverBar;</mo> </mover> <msubsup> <mi>F</mi> <mi>t</mi> <mi>k</mi> </msubsup> </mrow>

相应的B_t-1表示前一帧的滤波器参数。

13.根据权利要求1所述的基于自适应特征融合的目标跟踪，其特征在于：所述步骤12为：

算法运行至此，第二帧运行结束，目标位置、尺度以及滤波器模型都已经更新完成，下一帧重复运行步骤3至11直至视频结束。