CN108288062A - 一种基于核相关滤波的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于核相关滤波的目标跟踪方法，包括如下步骤：输入首帧图像，计算出目标SIFT特征的基准样本，经过循环矩阵后得到所有目标样本，然后根据目标样本训练分类器；下一帧图像输入，采集新的目标区域，计算所有训练样本；计算出所有目标样本和所有训练样本的核相关矩阵和分类器回归系数；使用核相关矩阵和分类器回归系数计算得到所有位置的函数响应值，检测出最大的响应位置，进而解算出当前帧的目标位置。本发明基利用循环矩阵目标区域进行循环移位，实现样本的稠密采样，为分类器构造了足够样本；然后使用核化技巧将特征空间映射到更高维的空间，结合快速傅立叶变换进行分类器训练和目标检测，最终达到跟踪目标的目的。

Description

一种基于核相关滤波的目标跟踪方法

技术领域

本发明涉及光电跟踪技术领域，尤其涉及一种基于核相关滤波的目标跟踪方法。

背景技术

目前，在传统的光电跟踪技术中，主要有基于目标分割和基于目标匹配的两种跟踪技术。

在目标分割技术中，主要利用目标和背景的灰度特征，采用基于阈值的分割方法、基于区域的分割方法、基于边界的分割方法及后两者相结合的方法，对图像进行直方图统计，计算出目标分割的阈值，并将图像中像素的灰度值与阈值进行比较，最后将像素根据比较结果分到合适的类别中，完成目标的提取和跟踪。

在目标匹配技术中，将模板图像定义成一幅子图像，然后在一幅大图像中搜索与模板图像相似的子图像，找到与模板图像相似子图像的位置，确定目标图像的位置。在匹配过程中，模板匹配通过计算模板图像与子图像的相似度进行判断。如果模板图像与子图像相似度高，则匹配成功，跟踪稳定，反之则失败，跟踪丢失。

随着目标跟踪技术所应用到的场景逐渐增加，基于目标分割和基于目标匹配的目标跟踪技术所受到的挑战也越来越大，目前已有的技术很难全面应对实际中的各种复杂场景。

在基于目标分割的跟踪技术中，主要利用目标背景的灰度统计特性，计算出目标的分割门限进行目标分割。但当背景复杂时，目标分割阈值计算不准确，无法正确目标分割或无法分割出目标，容易造成跟踪失败，跟踪稳定性较差。

在基于目标匹配的跟踪技术中，由于摄像机视角变化或者目标运动的原因，目标形态经常发生变化，目标形态变化导致目标外观特征发生变化。另外，在目标跟踪过程中，当目标从物体后面经过或其它物体在目标面前经过，目标会受到遮挡，此时目标外观特征与目标模板差距变大。以上情况都会造成目标匹配时的匹配判据失效，目标丢失或者跟错目标，跟踪性能下降。

发明内容

本发明的目的是提供一种基于核相关滤波的目标跟踪方法，能够提高在目标形变、目标遮挡和复杂背景条件下的目标跟踪能力。

本发明采用的技术方案为：

一种基于核相关滤波的目标跟踪方法，包括如下步骤：

A：首先，输入首帧图像，计算出目标SIFT特征的基准样本，经过循环矩阵后得到所有目标样本，然后根据目标样本训练分类器；

B：下一帧图像输入，采集新的目标区域，计算所有训练样本；

C：使用基于高斯核函数的核化方法，计算出所有目标样本和所有训练样本的核相关矩阵和分类器回归系数；

D：使用核相关矩阵和分类器回归系数计算得到所有位置的函数响应值，检测出最大的响应位置，进而解算出当前帧的目标位置；

E：根据当前帧的目标位置，更新目标样本和分类器回归系数，为后续图像目标检测使用做准备。

所述的步骤A中经过循环矩阵得到所有目标样本具体为：由一个向量x∈Rⁿ通过不断乘上排列矩阵P得到n个循环移位向量,将这n个向量依序排列到一个矩阵中，就形成了由x生成的循环矩阵C(x)；

在首帧图像中，根据目标的初始信息(x向坐标、y向坐标、x向长度、y向长度)，计算目标区域的基准样本；利用基准样本进行移位采样后得到目标区域的循环矩阵，也就是目标区域的所有目标样本。

所述的步骤C中，基于高斯核函数的核化方法具体包括如下步骤：

对回归参数w用样本x和对偶空间α的线性组合表示如下

回归问题就转化为：

其中，k(z,x_i)就是核函数，核函数使用的是非线性高斯核函数：

其中，σ是高斯带宽因子，*表示矩阵共轭，⊙代表矩阵点乘，X代表目标样本，Z代表训练样本，k^XZ就是X和Z的核相关矩阵。

所述的步骤D中函数响应值具体由下述步骤求解：

根据前面计算公式：

进行傅里叶变换：

根据上述公式对所有训练样本进行回归检测，计算出所有训练样本频域的相应数值，再将进行傅里叶逆变换转换回时域后，即可得到训练样本所有位置的函数响应值。

所述的步骤B中训练样本的目的就是找到一个回归函数f(z)＝w^Tz，使得样本回归值误差平方最小：回归函数f(z)的回归求解w采用正则化最小二乘法：

其中w为回归系数，λ为正则化系数，y为回归目标；

通过对回归函数求导，使导数等于0，得到：

W＝(X^TX+λI)^-1X^Ty

其中，X表示样本矩阵，其中每行为一个样本，y为回归目标，I为单位矩阵。

所述的步骤C中，w经过核化技巧处理，可转化为求解分类器的回归系数α：

α＝(K+λI)^-1y

其中，K是样本的核相关矩阵，其为循环矩阵。

对α进行傅里叶变换，可得：

式中，^表示傅里叶变换，X代表目标样本，Z代表训练样本，为K的第一行向量所形成的循环矩阵的傅里叶变换，其中回归系数就是用于目标检测的分类器。

所述的步骤E中所述根据当前帧的目标位置，更新目标样本和分类器回归系数过程中，由于每一帧图像都会产生一个分类器，将它与之前训练好的分类器进行更新，可得到实时训练的分类器：

其中，η表示训练分类器的更新权重。

本发明采用SIFT特征和高斯核相关滤波相结合的方法，在多云背景、对地复杂背景和光照变化等条件下，克服目标缩放、目标旋转和目标遮挡等跟踪难题，有效提高了跟踪稳定性和抗干扰跟踪能力。采用本发明的光电产品已应用在无人机打击武器系统、舰载机起降监视系统等装备。

本发明。

附图说明

图1为本发明的原理图。

具体实施方式

如图1所示，本发明包括一种基于核相关滤波的目标跟踪方法，其特征在于：包括如下步骤：

A：首先，输入首帧图像，计算出目标SIFT特征的基准样本，经过循环矩阵后得到所有目标样本，然后根据目标样本训练分类器；

所述的步骤A中经过循环矩阵得到所有目标样本具体为：由一个向量x∈Rⁿ通过不断乘上排列矩阵P得到n个循环移位向量,将这n个向量依序排列到一个矩阵中，就形成了由x生成的循环矩阵C(x)；如下：

x＝|x₁，x₂，…，x_n|^T

在本发明中，把目标图像进行移位采样可以用二维分块循环矩阵X表示。基准样本经过循环矩阵后，增加目标样本的数量，更有利于对分类器进行训练，提高目标的检测效果。

在首帧图像中，根据目标的初始信息(x向坐标、y向坐标、x向长度、y向长度)，计算目标区域的基准样本；利用基准样本进行移位采样后得到目标区域的循环矩阵，也就是目标区域的所有目标样本。

B：下一帧图像输入，采集新的目标区域，计算所有训练样本；

所述的步骤B中训练样本的目的就是找到一个回归函数f(z)＝w^Tz，使得样本回归值误差平方最小：回归函数f(z)的回归求解w采用正则化最小二乘法：

其中w为回归系数，λ为正则化系数，y为回归目标；

通过对回归函数求导，使导数等于0，得到：

w＝(X^TX+λI)^-lX^Ty

其中，X表示样本矩阵，其中每行为一个样本，y为回归目标，I为单位矩阵。

C：使用基于高斯核函数的核化方法，计算出所有目标样本和所有训练样本的核相关矩阵和分类器回归系数；

所述的步骤C中，所述的基于高斯核函数的核化方法具体包括如下步骤：

对回归参数w用样本x和对偶空间a的线性组合表示如下

回归问题就转化为：

其中，k(z,x_i)就是核函数，核函数使用的是非线性高斯核函数：

其中，σ是高斯带宽因子，*表示矩阵共轭，⊙代表矩阵点乘，X代表目标样本，Z代表训练样本，k^XZ就是X和Z的核相关矩阵。

所述的步骤C中，w经过核化技巧处理，可转化为求解分类器的回归系数α：

α＝(K+λ/)^-1y

其中，K是样本的核相关矩阵，其为循环矩阵。

对α进行傅里叶变换，可得：

式中，表示傅里叶变换，X代表目标样本，Z代表训练样本，为K的第一行向量所形成的循环矩阵的傅里叶变换，其中回归系数就是用于目标检测的分类器。

D：使用核相关矩阵和分类器回归系数计算得到所有位置的函数响应值，检测出最大的响应位置，进而解算出当前帧的目标位置；

所述的步骤D中函数响应值具体由下述步骤求解：

根据前面计算公式：

进行傅里叶变换：

根据上述公式对所有训练样本进行回归检测，计算出所有训练样本频域的相应数值，再将进行傅里叶逆变换转换回时域后，即可得到训练样本所有位置的函数响应值。

E：根据当前帧的目标位置，更新目标样本和分类器回归系数，为后续图像目标检测使用做准备。步骤E中所述根据当前帧的目标位置，更新目标样本和分类器回归系数过程中，由于每一帧图像都会产生一个分类器，将它与之前训练好的分类器进行更新，可得到实时训练的分类器：

其中，η表示训练分类器的更新权重。

在本发明中，目标特征使用目标的SIFT特征。SIFT特征叫做尺度不变特征变换，其对旋转、尺度缩放、亮度变化等保持不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果，是一种非常稳定的局部特征。

在每帧图像处理过程中，解算出目标位置后，需重新计算目标样本，然后利用线性插值法对旧目标样本进行自适应更新，存储更新过后的目标样本，为后续图像目标检测使用。

在本发明中，训练的目的就是找到一个回归函数f(z)＝w^Tz，使得样本回归值误差平方最小。函数f(z)的回归求解w采用正则化最小二乘法：

其中w为回归系数，λ为正则化系数，y为回归目标。

通过对函数求导，使导数等于0，得到：

w＝(x^Tx+λI)^-1x^Ty

其中，X表示样本矩阵，其中每行为一个样本，y为回归目标，I为单位矩阵。

w经过核化技巧处理，可转化为求解分类器的回归系数α：

α＝(K+λ/)^-ly

其中，K是样本的核相关矩阵，其为循环矩阵。

对α进行傅里叶变换，可得：

式中，表示傅里叶变换，X代表目标样本，Z代表训练样本，为K的第一行向量所形成的循环矩阵的傅里叶变换。

这里，回归系数就是用于目标检测的分类器。通过上述计算，每一帧图像都会产生一个分类器，将它与之前训练好的分类器进行更新，可得到实时训练的分类器：

其中，η表示训练分类器的更新权重。

在核学习中，通过将低维特征x转换到高维空间中，从而使得原来不能通过简单分类器分类的样本，可以通过高维空间中的简单分类器进行分类，这种技巧称为核化技巧。在本发明中，对回归参数w用样本x和对偶空间α的线性组合表示如下

回归问题就转化为：

其中，k(z,x_i)就是核函数。

常用的核函数有高斯核、多项式核和线性核。在本发明中，核函数使用的是非线性高斯核函数：

其中，σ是高斯带宽因子，*表示矩阵共轭，⊙代表矩阵点乘，X代表目标样本，Z代表训练样本，k^XZ就是X和Z的核相关矩阵。

5)目标检测

根据前面计算公式：

进行傅里叶变换：

根据上述公式对所有训练样本进行回归检测，计算出所有训练样本频域的相应数值，再将进行傅里叶逆变换转换回时域后，即可得到训练样本所有位置的函数响应值。

根据函数响应值检测出最大响应值的位置，即可计算出目标移动的相对位置，然后解算出目标的实际位置，实现目标定位和跟踪。

本发明的发明关键点在于：

1)SIFT特征和高斯核化。利用SIFT特征进行样本采集和处理，然后采用非线性高斯核化处理，有效提高复杂背景条件下的跟踪能力。

2)循环矩阵的使用。使用循环矩阵对目标图像进行稠密采样，为分类器构造足够样本，提高分类器的目标检测能力；利用循环矩阵在傅里叶空间可对角化的性质降低了运算量，提高了运算速度，使算法满足实时性要求。

3)更新率自适应调节。当目标被遮挡时，根据函数响应值和目标运动信息，自适应调节分类器的更新率，提高目标遮挡时的跟踪稳定性

本发明基于核相关滤波的目标跟踪方法属于判别式的跟踪方法，其核心思想是利用循环矩阵目标区域进行循环移位，实现样本的稠密采样，为分类器构造了足够样本；然后使用核化技巧将特征空间映射到更高维的空间，有效利用核矩阵的高度结构化，结合快速傅立叶变换进行分类器训练和目标检测，最终达到跟踪目标的目的。

Claims (7)

1.一种基于核相关滤波的目标跟踪方法，其特征在于：包括如下步骤：

A：首先，输入首帧图像，计算出目标SIFT特征的基准样本，经过循环矩阵后得到所有目标样本，然后根据目标样本训练分类器；

B：下一帧图像输入，采集新的目标区域，计算所有训练样本；

C：使用基于高斯核函数的核化方法，计算出所有目标样本和所有训练样本的核相关矩阵和分类器回归系数；

D：使用核相关矩阵和分类器回归系数计算得到所有位置的函数响应值，检测出最大的响应位置，进而解算出当前帧的目标位置；

E：根据当前帧的目标位置，更新目标样本和分类器回归系数，为后续图像目标检测使用做准备。

2.根据权利要求1所述的基于核相关滤波的目标跟踪方法，其特征在于：所述的步骤A中经过循环矩阵得到所有目标样本具体为：由一个向量x∈Rⁿ通过不断乘上排列矩阵P得到n个循环移位向量,将这n个向量依序排列到一个矩阵中，就形成了由x生成的循环矩阵C(x)；

在首帧图像中，根据目标的初始信息(x向坐标、y向坐标、x向长度、y向长度)，计算目标区域的基准样本；利用基准样本进行移位采样后得到目标区域的循环矩阵，也就是目标区域的所有目标样本。

3.根据权利要求1所述的基于核相关滤波的目标跟踪方法，其特征在于：所述的步骤C中，基于高斯核函数的核化方法具体包括如下步骤：

对回归参数w用样本x和对偶空间α的线性组合表示如下

回归问题就转化为：

其中，k(z，x_i)就是核函数，核函数使用的是非线性高斯核函数：

其中，σ是高斯带宽因子，*表示矩阵共轭，代表矩阵点乘，X代表目标样本，Z代表训练样本，k^XZ就是X和Z的核相关矩阵。

4.根据权利要求1所述的基于核相关滤波的目标跟踪方法，其特征在于：所述的步骤D中函数响应值具体由下述步骤求解：

根据前面计算公式：

进行傅里叶变换：

根据上述公式对所有训练样本进行回归检测，计算出所有训练样本频域的相应数值，再将进行傅里叶逆变换转换回时域后，即可得到训练样本所有位置的函数响应值。

5.根据权利要求1所述的基于核相关滤波的目标跟踪方法，其特征在于：所述的步骤B中训练样本的目的就是找到一个回归函数f(z)＝w^Tz，使得样本回归值误差平方最小：回归函数f(z)的回归求解w采用正则化最小二乘法：

其中w为回归系数，λ为正则化系数，y为回归目标；

通过对回归函数求导，使导数等于0，得到：

w＝(X^TX+λI)^-1X^Ty

其中，X表示样本矩阵，其中每行为一个样本，y为回归目标，I为单位矩阵。

6.根据权利要求1所述的基于核相关滤波的目标跟踪方法，其特征在于：所述的步骤C中，w经过核化技巧处理，可转化为求解分类器的回归系数α：

α＝(K+λI)^-1y

其中，K是样本的核相关矩阵，其为循环矩阵；

对α进行傅里叶变换，可得：

式中，^表示傅里叶变换，X代表目标样本，Z代表训练样本，为K的第一行向量所形成的循环矩阵的傅里叶变换，其中回归系数就是用于目标检测的分类器。

7.根据权利要求1所述的基于核相关滤波的目标跟踪方法，其特征在于：所述的步骤E中所述根据当前帧的目标位置，更新目标样本和分类器回归系数过程中，由于每一帧图像都会产生一个分类器，将它与之前训练好的分类器进行更新，可得到实时训练的分类器：

其中，η表示训练分类器的更新权重。