CN104200237A - 一种基于核化相关滤波高速自动多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于核化相关滤波高速自动多目标跟踪方法，即：1：获取视频的一帧图像；2：提取前景目标序列；3：判断各个前景目标与已经跟踪的目标相似度；舍弃相似度较高的前景目标，只计算相似度较低的各个前景目标的HOG特征；4：用循环矩阵获取每个的前景目标训练样本，采用岭回归训练方案，通过FFTW加速的核方法获得分类器，采用稀疏光流获得跟踪点；5：利用检测响应函数检测目标匹配响应，响应最大位置就是目标新位置，用光流法对目标进行多尺度适应；6：重复3、4、5步骤，遍历每一个前景目标；7：获取下一帧视频，重复2、3、4、5、6步骤，直到视频结束。本发明利用光流法成功解决目标多尺度问题，并利用FFTW加速傅立叶变换。

Description

一种基于核化相关滤波高速自动多目标跟踪方法

技术领域

本发明涉及基于目标跟踪的图像分析技术领域，具体涉及一种基于核化相关滤波高速自动多目标跟踪方法。

背景技术

目标跟踪是计算机视觉中，重要的一个研究方向，是进一步分析目标的基础，在此基础上，可以对目标轨迹、行为分析等等。目前，目标跟踪在学术上大致有两种模型：识别类跟踪器和产生类跟踪器。其中识别类跟踪器整体性能要好于产生类跟踪器，识别类跟踪器一般需要在线机器学习，学习出一个分类器，用于识别出目标。

一般来说，识别类的跟踪算法的优点在于：一定程度上能适应目标变化，具有较强的鲁棒性；缺点在于：需要大量的训练样本、训练时间消耗较大、目标多尺度问题难以解决。因此，针对识别类跟踪算法的缺点，可以采用循环矩阵方法来获取训练所需的样本，一方面获得了足够的训练样本，有利于学习出识别类较高的分类器，另一方面利用循环矩阵的特性，采用傅立叶变换和核技巧降低了训练所需要的时间。然而这样虽然解决了训练样本与训练时间的问题，但是没有解决目标多尺度问题和没有对傅立叶变换加速，并且没有扩展到多目标跟踪场景。

发明内容

本发明克服了上述现有技术中存在的不足，提出了一种利用循环矩阵获得大量样本、同时耗时非常低、能达到实时性要求、并扩展到多目标跟踪场景的基于核化相关滤波高速自动多目标跟踪方法。

本发明的技术方案是这样实现的：

一种基于核化相关滤波高速自动多目标跟踪方法，用于视频图像分析，所述方法包括以下步骤：

步骤1：通过视频，获取一帧图像；

步骤2：提取前景目标序列；

步骤3：针对每个前景目标，判断各个前景目标与已经跟踪的目标相似度。舍弃相似度较高的前景目标，只计算相似度较低的各个前景目标的HOG特征；

步骤4：针对步骤3中每个前景目标，利用循环矩阵获取训练样本，采用岭回归训练方案，通过FFTW加速的核方法获得分类器，并采用稀疏光流获得跟踪点；

步骤5：利用检测响应函数检测目标匹配响应，响应最大的位置就是目标新的位置，并根据光流法对目标进行多尺度适应；

步骤6：重复3、4、5步骤，遍历每一个前景目标；

步骤7：获取下一帧视频，重复2、3、4、5、6步骤，直到视频结束。

优选地，在所述步骤2中，利用基于混合高斯背景建模算法提取前景目标序列。

优选地，在所述步骤4中，利用公式通过FFTW加速的核方法获得分类器，其中是核矩阵K第一行傅立叶变换后的向量。

优选地，在所述步骤5中，所述检测响应函数为其中z表示目标的候选位置向量，k^xz是样本x与z的核化相关向量。

采用了上述技术方案的本发明的有益效果是：

与现有技术相比，本发明采用循环矩阵方法来获取训练所需的样本，一方面获得了足够的训练样本，有利于学习出识别类较高的分类器，另一方面利用循环矩阵的特性，采用傅立叶变换和核技巧降低了训练所需要的时间。并且，本发明利用光流法成功解决目标多尺度问题，并利用FFTW加速傅立叶变换。

另外，本发明还利用背景差分技术自动检测目标，进而自动跟踪目标。进一步，本发明利用混合高斯背景建模方法获得前景目标，并分析前景目标筛选出新的目标序列，利用该新的目标序列初始化本发明的跟踪算法，因而可以扩展到多目标跟踪场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明基于核化相关滤波高速自动多目标跟踪方法的流程图。

具体实施方式

本发明的具体实施方式如下：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

首先，在描述本发明基于核化相关滤波高速自动多目标跟踪方法之前，先重点描述以下几个概念：

岭回归：是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价，获得回归系数更为符合实际、更可靠的回归方法，对病态数据的耐受性远远强于最小二乘法。

循环矩阵：是一种特殊形式的Toeplitz矩阵，它的行向量的每个元素都是前一个行向量各元素依次右移一个位置得到的结果。由于可以用离散傅立叶变换快速解循环矩阵，所以在数值分析中有重要的应用。

光流：是一种简单实用的图像运动的表达方式，通常定义为一个图像序列中的图像亮度模式的表观运动，即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达。

核方法：主要思想是基于这样一个假设：“在低维空间中不能线性分割的点集，通过转化为高维空中的点集时，很有可能变为线性可分的”。定义一个核函数K(x1,x2)＝<\phi(x1),\phi(x2)>,其中x1和x2是低维度空间中点(在这里可以是标量，也可以是向量)，\phi(xi)是低维度空间的点xi转化为高维度空间中的点的表示，<,>表示向量的内积。

一般地，我们可以把分类(或者回归)的问题分为两类：参数学习的形式和基于实例的学习形式。参数学习的形式就是通过一堆训练数据，把相应模型的参数给学习出来，然后训练数据就没有用了，对于新的数据，用学习出来的参数即可以得到相应的结论；而基于实例的学习(又叫基于内存的学习)则是在预测的时候也会使用训练数据，如KNN算法。而基于实例的学习一般就需要判定两个点之间的相似程度，一般就通过向量的内积来表达。因此，核方法一般只针对基于实例的学习。

对于识别类的跟踪算法，获得大量样本是非常重要的，因为大量样本会训练出识别率更高的分类器。但是用大量的样本训练分类器，耗时较大。这样很难达到实时性要求。普遍的策略是随机选择一些样本，用来训练。这样做有一定道理，但这会导致分类器识别类降低，阻碍了跟踪性能。

因此，本发明的基于核化相关滤波高速自动多目标跟踪方法是利用循环矩阵获得大量样本，但同时耗时非常低，能达到实时性要求。

本发明方法原理如下：

学习阶段：

利用岭回归算法，训练的目的是找到一个函数(即分类器)f(z)＝w^Tz使得样本x_i和回归目标y_i之间的平方误差最小。即：

$\underset{w}{\min }{\underset{i}{\mathrm{\&Sigma;}}(f\left(x_i\right)-y_i)}^2+\mathrm{\&lambda;}{\left|\right|w\left|\right|}^2---\left(1\right)$

λ是规则化参数，用于控制过拟合。我们训练的目的是为了获得参数w，由(1)得到解：

w＝(X^TX+λI)^-1X^Ty            (2)

其中，X是样本数据矩阵，该矩阵的每一行代表一个样本x_i，y向量中的每一个元素表示一个回归目标y_i。I是单位矩阵，T为矩阵转置。

如果在复数范围内，则上式表示为：

w^*＝(X^HX+λI)^-1X^Hy          (3)

其中，右上标*表示共轭复数。

在一个大系统中，求这个解是非常耗时的，下面引入循环矩阵和核技巧打破这个限制。

接下来我们引入循环矩阵P重构样本数据矩阵X。

P^ux表示对样本漂移了u次。对于一个给定的正样本x，通过循环矩阵P变换获得样本数据矩阵X。由循环矩阵的性质可知样本数据矩阵X也是循环矩阵，而且循环矩阵可以被傅立叶变换矩阵对角化，即：

${X=F}^H\mathrm{diag}\left(\hat{X}\right)F---\left(5\right)$

把(5)式带入(3)式，可得：

其中，分别表示x，y各自的傅立叶变换后的向量。

进一步引入相关滤波和核技巧，加快(6)求解。先回顾一下核技巧：一般地，解w是样本的线性组合。即：

这样，求解w转为求α_i。进一步引入核函数，得到：

α＝(K+λI)^-1y              (8)

其中，K是核矩阵，α是系数α_i组成的向量。理论证明，当选择的核是高斯核、多项式核等，则K是循环矩阵。再次引入傅立叶变换得到：

${\widehat{\mathrm{\&alpha;}}}^{*}=\frac{\hat{y}}{{\hat{k}}^{\mathrm{xx}}+\mathrm{\&lambda;}}---\left(9\right)$

其中，是核矩阵K第一行傅立叶变换后的向量。

检测阶段：

学习过程类似，这里直接给出检测响应函数：

其中，z表示目标的候选位置向量，k^xz是样本x与z的核化相关向量。

具体地，请参照图1所示，本发明基于核化相关滤波高速自动多目标跟踪方法，包括如下步骤：

步骤1：通过视频，获取一帧图像；

步骤2：利用基于混合高斯背景建模算法提取前景目标序列；

步骤3：针对每个前景目标，判断各个前景目标与已经跟踪的目标相似度。舍弃相似度较高的前景目标，只计算相似度较低的各个前景目标的HOG特征(因为相似程度高，说明已经被跟踪了，故不需要再次跟踪)；

步骤4：针对步骤3中每个前景目标，利用循环矩阵获取训练样本，采用岭回归训练方案，利用公式通过FFTW(快速傅立叶变换)加速的核方法获得分类器，并采用稀疏光流获得跟踪点；

步骤5：利用检测响应函数检测目标匹配响应，响应最大的位置就是目标新的位置，并根据光流法对目标进行多尺度适应；

步骤6：重复3、4、5步骤，遍历每一个前景目标；

步骤7：获取下一帧视频，重复2、3、4、5、6步骤，直到视频结束。

与现有技术相比，本发明方法的优点在于：针对识别类跟踪算法的缺点，采用循环矩阵方法来获取训练所需的样本，一方面获得了足够的训练样本，有利于学习出识别类较高的分类器，另一方面利用循环矩阵的特性，采用傅立叶变换和核技巧降低了训练所需要的时间。并且，本发明利用光流法成功解决目标多尺度问题，并利用FFTW加速傅立叶变换。另外，本发明还利用背景差分技术自动检测目标，进而自动跟踪目标。进一步，本发明利用混合高斯背景建模方法获得前景目标，并分析前景目标筛选出新的目标序列，利用该新的目标序列初始化本发明的跟踪算法，因而可以扩展到多目标跟踪场景。

本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。以上公开的仅为本申请的几个具体实施例，但本申请并非局限于此，任何本领域的技术人员能思之的变化，都应落在本申请的保护范围内。

Claims (4)

1.一种基于核化相关滤波高速自动多目标跟踪方法，用于视频图像分析，其

特征在于，所述方法包括以下步骤：

步骤1：通过视频，获取一帧图像；

步骤2：提取前景目标序列；

步骤3：针对每个前景目标，判断各个前景目标与已经跟踪的目标相似度；舍弃相似度较高的前景目标，只计算相似度较低的各个前景目标的HOG特征；

步骤4：针对步骤3中每个前景目标，利用循环矩阵获取训练样本，采用岭回归训练方案，通过FFTW加速的核方法获得分类器，并采用稀疏光流获得跟踪点；

步骤5：利用检测响应函数检测目标匹配响应，响应最大的位置就是目标新的位置，并根据光流法对目标进行多尺度适应；

步骤6：重复3、4、5步骤，遍历每一个前景目标；

步骤7：获取下一帧视频，重复2、3、4、5、6步骤，直到视频结束。

2.根据权利要求1所述的一种基于核化相关滤波高速自动多目标跟踪方法，其特征在于，在所述步骤2中，利用基于混合高斯背景建模算法提取前景目标序列。

3.根据权利要求1所述的一种基于核化相关滤波高速自动多目标跟踪方法，其特征在于，在所述步骤4中，利用公式通过FFTW加速的核方法获得分类器，其中是核矩阵K第一行傅立叶变换后的向量。

4.根据权利要求1所述的一种基于核化相关滤波高速自动多目标跟踪方法，其特征在于，在所述步骤5中，所述检测响应函数为其中z表示目标的候选位置向量，k^xz是样本x与z的核化相关向量。