CN109166139A - 一种结合快速背景抑制的尺度自适应目标跟踪方法 - Google Patents

Abstract

本发明提出一种结合快速背景抑制的尺度自适应目标跟踪方法，首先，根据前一帧的跟踪目标，提取原始目标灰度信息、颜色属性以及HOG特征进行融合，之后进行背景抑制处理得到新的特征结果，根据融合后的特征和处理后的特征训练背景抑制滤波模型以及核化相关滤波模型,最后，将当前帧的序列图像根据前一帧的目标位置及尺度信息裁减出图像块，并通过尺度池得到不同尺度下的目标图像块，针对每个尺度下的目标图像块进行特征提取，分别与根据前一帧的信息训练好的背景抑制滤波模型和核化相关滤波模型进行卷积运算，得到输出响应，比较各尺度下的输出响应选取最大值，找到目标位置及目标最佳尺度，针对背景杂乱、运动模糊等视频图像序列，实现快速目标跟踪。

Description

一种结合快速背景抑制的尺度自适应目标跟踪方法

技术领域

本发明属于计算机视觉的目标跟踪领域，涉及结合快速背景抑制的尺度自适应目标跟踪方法。

背景技术

核化相关滤波目标跟踪算法：核化相关滤波目标跟踪算法是一种鉴别式追踪方法，这类方法一般都是在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本，目标的周围区域为负样本，当然越靠近目标的区域为正样本的可能性越大。实际上，此算法是在相关滤波器算法通过循环平移样本数据，使用目标周围区域的循环矩阵采集正负样本，利用脊回归训练目标检测器，并成功的利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的Hadamard积，即元素的点乘，大大降低了运算量，提高了运算速度，使算法满足实时性要求。将线性空间的脊回归通过核函数映射到非线性空间，在非线性空间通过求解一个对偶问题和某些常见的约束，同样的可以使用循环矩阵傅里叶空间对角化简化计算，另外此算法给出了一种将多通道数据融入该算法的途径。

尺度自适应目标跟踪方法：基于多特征的尺度自适应跟踪器，同时将原始图像灰度信息、颜色属性以及HOG多种特征融合，然后根据尺度池得到多种特征图像块，作为核化相关滤波器的输入特征进行学习训练。得到不同尺度下的输出响应，找出最大的输出响应，使用此时的尺度值对目标进行跟踪，解决目标跟踪当中目标尺度变化的问题。

计算机视觉的研究领域的一大热点研究课题目标跟踪，在过去的一段时间取得了长足的发展，并得到了广泛应用。目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹。给定图像第一帧的目标坐标位置，计算在下一帧图像中目标的确切位置。在运动的过程中，目标可能会呈现一些图像上的变化，比如姿态或形状的变化、尺度的变化、背景遮挡或光线亮度的变化等。

参考文献

[1]Y.Wu,J.Lim,and M.-H.Yang,“Object tracking benchmark,”IEEE TPAMI,vol.37,no.9,pp.1834–1848,2015.

[2]J.F.Henriques,R.Caseiro,P.Martins,and J.Batista,“Highspeedtracking with kernelized correlation filters,”IEEE TPAMI,vol.37,no.3,pp.583–596,2015.

[3]Y.Li and J.Zhu,“A scale adaptive kernel correlation filter trackerwith feature integration,”in ECCVW,2014.

发明内容

为了解决现有技术中存在的技术问题，本发明提供一种结合快速背景抑制的尺度自适应目标跟踪方法，该方法是根据尺度池得到不同尺度的图像，而后在特征空间中将融合后的特征进行背景抑制，将其作为核化相关滤波器的输入进行训练，得到输出响应找到目标位置及跟踪目标的最佳尺寸，针对背景杂乱、运动模糊等的视频图像序列，实现快速目标跟踪。

本发明的技术方案:

一种结合快速背景抑制的尺度自适应目标跟踪方法，包括如下步骤：

第一，提取前一帧跟踪目标的灰度信息、颜色属性以及HOG特征进行特征融合，将融合特征进行背景抑制处理，通过原始融合特征和背景抑制处理后的特征训练建立背景抑制滤波模型；

第二，提取前一帧融合后的特征加入到核化相关滤波器模型中训练建立核化相关滤波模型；

第三，通过定义尺度池采样当前帧的原始图像块的若干个目标尺度；

第四，对每个尺度下的图像块进行特征提取并融合后与背景抑制滤波模型做卷积运算得到新的特征结果；再与核化相关滤波模型做卷积得到输出响应；

第五，将每个尺度下的输出响应比较后选取最大的输出响应为当前帧的目标位置和最佳尺度。

所述背景抑制滤波模型通过公式(1)实现背景抑制的尺度自适应目标跟踪：

所述背景抑制滤波模型建立步骤：

1)图像序列背景抑制过程：表示目标裁剪图像块，将其通过函数b(·)

对图像块O进行背景抑制处理，得到图像块简单的方波函数二维高斯函数可以抑制背景杂乱。O^b生成表达式为：

O^b(x,y)＝b(O)＝G(x,y；σ)e O(x,y) (2)

其中，(x,y)表示在图像块O^b和O中的坐标，G(x,y；σ)是使用方差变量σ来控制背景抑制程度的二维高斯函数；

2)特征提取过程：将裁减图像块O和O^b通过对应的特征提取函数提取出相应的原始灰度像素、HOG特征以及颜色属性，图像块的多通道被连接成一个向量，并将根据背景技术中提到的尺度自适应目标跟踪算法[3]提供的方法进行融合，这里，用及表示融合后的特征，D表示特征图像的通道数；

3)训练得到背景抑制滤波模型过程：

3.1根据步骤2)中提取出的原始融合特征及背景抑制后的融合特征，可以训练得到背景抑制滤波模型；

3.2在频域中，通过最小化目标函数公式(1)解出V即滤波模型；为了得到更好的模型，将相关滤波器进行核化处理，令目标函数中的X*V＝β*K(X,V)，K(·)即核化函数，核化后，通过学习β来代替V，在频域中求解如下：

其中，λ₁是防止过拟合的正则化项，“∧”是傅里叶域的表示符号。

所述核化相关滤波模型建立过程：

将提取出的融合后的特征加入到核化相关滤波器模型中进行训练，同样的应用核函数，令目标函数中的X^l*W^l＝α^l*K(X^l,W^l)，而后通过学习α来代替W相关滤波器模型，在频域中求解如下：

其中，X^l和是X和W的第l通道，l∈{1,...,D}，是通过在目标物体位置上具有最高值的二维高斯函数的回归目标，λ₂是为了防止过拟合的正则项。

与现有技术相比，本发明具有的优点：

与现有技术相比，本发明提出来的结合背景抑制的尺度自适应目标跟踪方法所带来的有益效果是：

1)性能提高。根据实验表明，加入背景抑制滤波模型处理后的目标跟踪方法，与原算法即尺度自适应目标跟踪算法相比，跟踪成功率提高了2.7％，精确度提高了4.6％。如图2所示，尺度自适应目标跟踪方法以及本发明所提的背景抑制处理后的目标跟踪方法两种算法对比的OPE(one pass evaluation)的成功率和精度。

2)四种特性效果明显提升。在处理背景杂乱、快速运动、遮挡和运动模糊的视频序列时，本发明所提出的方法在成功率上与原算法相比提高了4％～7％，有较为突出的影响。如图3所示，尺度自适应目标跟踪方法以及本发明所提的背景抑制处理后的目标跟踪方法两种算法在背景杂乱、快速移动、遮挡、运动模糊四种视频数据下的跟踪成功率。

3)跟踪速度影响较小。由于加入了背景抑制滤波模型，增加了处理步骤，本发明所提出的方法在速度上会慢于原算法，但是，背景抑制滤波模型在傅里叶域中计算非常快，所以在转换到傅里叶域进行算法实现时，对算法的速度影响可以忽略不计。如图4所示，尺度自适应目标跟踪方法以及本发明所提的背景抑制处理后的目标跟踪方法两种算法目标跟踪的定性表现，可以看出原算法很快丢失目标，而本发明算法的目标跟踪效果良好。

附图说明

图1为本发明一种结合快速背景抑制的尺度自适应目标跟踪方法流程示意图。

图2为本发明与尺度自适应目标跟踪方法的成功率和精度。

图3为本发明中四种特定数据下的成功率。

图4为本发明与尺度自适应目标跟踪方法的目标跟踪实验表现。

具体实施方式

结合附图1对本发明的技术方案作进一步说明。

如图1所示，一种结合快速背景抑制的尺度自适应目标跟踪方法，包括如下步骤：

第一，提取前一帧跟踪目标的灰度信息、颜色属性以及HOG特征进行特征融合，将融合特征进行背景抑制处理，通过原始融合特征和背景抑制处理后的特征训练建立背景抑制滤波模型；

所述背景抑制滤波模型通过公式(1)实现背景抑制的尺度自适应目标跟踪：

所述背景抑制滤波模型建立步骤：

1)图像序列背景抑制过程：表示目标裁剪图像块，将其通过函数b(·)

对图像块O进行背景抑制处理，得到图像块简单的方波函数二维高斯函数可以抑制背景杂乱。O^b生成表达式为：

O^b(x,y)＝b(O)＝G(x,y；σ)e O(x,y) (2)

其中，(x,y)表示在图像块O^b和O中的坐标，G(x,y；σ)是使用方差变量σ来控制背景抑制程度的二维高斯函数；

2)特征提取过程：将裁减图像块O和O^b通过对应的特征提取函数提取出相应的原始灰度像素、HOG特征以及颜色属性，图像块的多通道被连接成一个向量，并将根据背景技术中提到的尺度自适应目标跟踪算法[3]提供的方法进行融合，这里，用及表示融合后的特征，D表示特征图像的通道数；

3)训练得到背景抑制滤波模型过程：

3.1根据步骤2)中提取出的原始融合特征及背景抑制后的融合特征，可以训练得到背景抑制滤波模型；

3.2在频域中，通过最小化目标函数公式(1)解出V即滤波模型。为了得到更好的模型，将相关滤波器进行核化处理，令目标函数中的X*V＝β*K(X,V)，K(·)即核化函数，核化后，通过学习β来代替V，在频域中求解如下：

其中，λ₁是防止过拟合的正则化项，“∧”是傅里叶域的表示符号。

第二，提取前一帧融合后的特征加入到核化相关滤波器模型中训练建立核化相关滤波模型；

将第一步中提取出的融合后的特征加入到核化相关滤波器模型中进行训练，同样的应用核函数，令目标函数中的X^l*W^l＝α^l*K(X^l,W^l)，而后通过学习α来代替W相关滤波器模型，在频域中求解如下：

其中，X^l和是X和W的第l通道，l∈{1,...,D}，是通过在目标物体位置上具有最高值的二维高斯函数的回归目标，λ₂是为了防止过拟合的正则项。

第三，通过定义尺度池采样当前帧的原始图像块的若干个目标尺度；

第四，对每个尺度下的图像块进行特征提取并融合后与背景抑制滤波模型做卷积运算得到新的特征结果；再与核化相关滤波模型做卷积得到输出响应；

第五，将每个尺度下的输出响应比较后选取最大的输出响应为当前帧的目标位置和最佳尺度。

实现目标位置跟踪监测过程中，先使用双线性插值将图像表示空间从可数整数空间放大到不可数浮点数空间。将模板大小修改为s_T＝(s_x,s_y)，定义尺度池S＝{t₁,t₂,...,t_k}。s_t用来表示在原始图像空间中目标的尺度，在{t_is_t|t_i∈S}中采样k个尺度，将每个尺度下的图像块进行特征提取并融合后，与背景抑制滤波模型做卷积得到新的特征结果，再与核化相关滤波模型做卷积得到输出响应。比较各尺度下的输出响应，确认最大的输出响应即为得到目标的位置和最佳的尺度。

详细实施步骤见下文描述：

第一步：跟踪目标的初始化。初始化目标物体的边界框以及视频的图像序列集合I。初始化第一帧目标位置p₁，回归目标Y。

第二步：背景抑制。

1)帧数t从2开始直至最后一帧跟踪结束。根据t-1帧的目标位置p_t-1和第t-1帧的尺度s_t-1，从视频图像序列集合第t帧的I_t中根据裁剪出目标Z_t；

2)定义尺度池S＝{t₁,t₂,...,t_k}。s_t用来表示在原始图像空间中目标的尺度，在{t_is_t|t_i∈S}中采样k个尺度目标图像以找到最佳的目标尺度。在后边的步骤中，只针对某一尺度图像的处理过程进行介绍，每个尺度的目标图像都做相同的处理，为了方便，某一尺度下裁剪出的目标仍旧用Z_t表示。

3)根据特征提取函数从Z_t中提取出灰度像素、Hog特征以及颜色属性，通过背景技术中提到尺度自适应跟踪算法[3]中的方法进行多通道特征融合，在这里我们将融合后的特征用f(Z_t)表示；

4)为了使整个算法的速度加快，我们将其转换到傅里叶域中的对偶空间中进行计算，得到背景抑制后的特征公式如下：

其中，“∧”是傅里叶域的表示符号，表示在傅里叶域，每一帧中需要更新的特征。

第三步：预估目标位置。

1)根据上述过程中得到的特征图像块以及技术方案中学习的核化相关滤波器α计算输出响应R_t，在对偶空间中的具体的实现过程如下：

其中表示傅里叶域中的核化相关滤波器，表示在傅里叶域中得到的输出响应。

2)根据1)中计算得出每个尺度下的输出响应(在上一过程中为了方便统一用来表示，这里为了进行尺度区分)，比较各个尺度下的输出响应，选取响应最大值作为第t帧的目标位置p_t，同时得出对应的最佳目标尺度。

第四步：更新训练模型。在当前帧t目标跟踪结束后，需要对整个模型进行更新以便快速跟踪下一帧t+1帧的目标，详细步骤如下：

1)根据t帧的目标位置p_t、尺度，裁剪出图像块O，将其通过二维高斯函数b(·)对图像块O进行背景抑制处理，得到图像块

2)将裁减图像块O和O^b通过特征提取函数提取出相应的特征，融合过程在尺度自适应目标跟踪算法[3]中有详细说明，这里将融合后的结果用X_t和X^b _t表示；

3)通过技术方案中给出的公式(3)&(4)学习和进行模型更新，以便第t+1帧(下一帧)的跟踪。

应当理解的是，这里所讨论的实施方案及实例只是为了说明，对本领域技术人员来说，可以加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种结合快速背景抑制的尺度自适应目标跟踪方法，其特征在于：包括如下步骤：

第一，提取前一帧目标的灰度信息、颜色属性以及HOG特征进行特征融合，将融合特征进行背景抑制处理，通过原始融合特征和背景抑制处理后的特征训练建立背景抑制滤波模型；

第二，提取前一帧融合后的特征加入到核化相关滤波器模型中训练建立核化相关滤波模型；

第三，通过定义尺度池采样当前帧的原始图像块的若干个目标尺度；

第四，对每个尺度下的图像块进行特征提取并融合后与背景抑制滤波模型做卷积运算得到新的特征结果；再与核化相关滤波模型做卷积得到输出响应；

第五，将每个尺度下的输出响应比较后选取最大的输出响应为当前帧的目标位置和最佳尺度。

2.根据权利要求1所述的一种结合快速背景抑制的尺度自适应目标跟踪方法，其特征在于：所述背景抑制滤波模型通过公式(1)实现背景抑制的尺度自适应目标跟踪：

3.根据权利要求2所述的一种结合快速背景抑制的尺度自适应目标跟踪方法，其特征在于：所述背景抑制滤波模型建立步骤：

1)图像序列背景抑制过程：表示目标裁剪图像块，将其通过函数b(·)对图像块O进行背景抑制处理，得到图像块简单的方波函数二维高斯函数可以抑制背景杂乱。O^b生成表达式为：

O^b(x,y)＝b(O)＝G(x,y；σ)e O(x,y) (2)

其中，(x,y)表示在图像块O^b和O中的坐标，G(x,y；σ)是使用方差变量σ来控制背景抑制程度的二维高斯函数；

2)特征提取过程：将裁减图像块O和O^b通过对应的特征提取函数提取出相应的原始灰度像素、HOG特征以及颜色属性，图像块的多通道被连接成一个向量，并将根据背景技术中提到的尺度自适应目标跟踪算法[3]提供的方法进行融合，这里，用及表示融合后的特征，D表示特征图像的通道数；

3)训练得到背景抑制滤波模型过程：

3.1根据步骤2)中提取出的原始融合特征及背景抑制后的融合特征，可以训练得到背景抑制滤波模型；

3.2在频域中，通过最小化目标函数公式(1)解出V即滤波模型；为了得到更好的模型，将相关滤波器进行核化处理，令目标函数中的X*V＝β*K(X,V)，K(·)即核化函数，核化后，通过学习β来代替V，在频域中求解如下：

其中，λ₁是防止过拟合的正则化项，“∧”是傅里叶域的表示符号。

4.根据权利要求3所述的一种结合快速背景抑制的尺度自适应目标跟踪方法，其特征在于：所述核化相关滤波模型建立过程：

将提取出的融合后的特征加入到核化相关滤波器模型中进行训练，同样的应用核函数，令目标函数中的X^l*W^l＝α^l*K(X^l,W^l)，而后通过学习α来代替W相关滤波器模型，在频域中求解如下：

其中，X^l和是X和W的第l通道，l∈{1,...,D}，是通过在目标物体位置上具有最高值的二维高斯函数的回归目标，λ₂是为了防止过拟合的正则项。