CN106530327A - 一种基于多局部特征学习的快速实时判别型跟踪方法 - Google Patents

Abstract

本发明涉及一种基于多局部特征学习的快速实时判别型跟踪方法，包括：对视频进行单帧分解，通过与前期动作识别工作相结合或人工标记的方法，在初始帧中标记出要跟踪的目标，然后通过密集采样，在候选区域获得候选块，分别计算每个候选块的局部特征。然后基于循环矩阵和相关滤波器，在傅里叶域训练分类器，在位置检测阶段，同样在傅里叶域，使用检测公式计算当前帧中每个候选块与目标的相关性，选取相关性最高的区域作为当前帧目标的预测位置,最后在预测位置中选取与上一帧目标差异最小的位置检测结果作为当前帧最终的跟踪结果，使用新的目标特征进行新的分类器的训练。除初始帧外，其余帧的跟踪均为先进行位置的检测，后进行新的回归函数的训练。

Description

一种基于多局部特征学习的快速实时判别型跟踪方法

技术领域

本发明涉及图像处理技术，特别是涉及一种基于多局部特征学习的快速实时判别型跟踪方法。

背景技术

目标跟踪是机器学习领域的热门话题之一，在工业、军用及民用等方面有着广泛的应用，比如人机交互、辅助驾驶、视频监控、生物医学成像分析、目标的行为分析等，当然，目标跟踪也面临许多挑战，包括目标形变、光照变化、遮挡、运动模糊、旋转、尺度变换等，这些都会影响目标跟踪的效果。

目标跟踪作为机器视觉的核心技术之一，一直是学者们研究的热点话题，当前的目标跟踪方法主要分为两种：一种是生成型算法，先用机器学习的算法建立要跟踪的目标的外观模型，然后在候选区域搜索与模型最相近的区域作为预测的目标位置；另一种是判别型算法，将物体的跟踪作为一个目标和背景的二分类问题，通过训练分类器将目标和背景区分开。

本发明通过使用相关滤波器，将训练和检测过程转换到傅里叶域，将复杂的矩阵运算转换成了对位操作，减少了运算量和存储量。同时，使用压缩感知理论，在保证不丢失信息的前提下，将高维特征降为低维，加快算法速度。通过比较两种特征的跟踪效果从而决定当前帧的目标位置，提高了算法精度。

发明内容

有鉴于此，本发明的主要目的在于提供一种目标跟踪精度高、计算复杂度也比较低的基于多局部特征学习的快速实时判别型跟踪方法，大大减少了运算量和存储量，同时，既不影响跟踪精度，又加快了算法速度，且提高了算法精度。

为了达到上述目的，本发明提出的技术方案为：一种基于多局部特征学习的快速实时判别型跟踪算法，实现步骤如下：

步骤1、读取视频，将视频分解成单个帧，在初始帧中，通过与动作识别相联系或人工标记的方法，将需要跟踪的目标用矩形框标记出来；

步骤2、以步骤1得到的矩形目标为基准，向外扩展得到2倍的目标尺寸的区域作为候选区域，得到矩形目标；

步骤3、设置尺寸与目标尺寸大小相同的子窗口模板，在候选区域，移动子窗口进行密集采样得到候选块，分别计算每个候选块的Haar-like特征和HOG特征，从而得到整个候选区域的特征；

步骤4、经密集采样得到的Haar-like特征作为高维矢量，经压缩感知理论中的随机投影映射后，可得到维数远小于原特征维数的低维特征，并且低维特征依旧能完整保存高维特征的信息，将投影后得到的低维特征作为训练和检测的输入；

步骤5、根据步骤4得到的压缩后的特征，进行训练，即根据训练样本和回归目标，利用核函数和循环矩阵的性质，在傅里叶域求解得到回归函数；

步骤6、根据步骤5得到的回归函数，在后续的视频帧中进行目标的位置检测。在位置检测阶段，在新的视频帧中，以上一帧目标的位置为基准，向外扩展得到2倍的目标尺寸的区域作为候选区域，获取每个候选块的HOG特征和Haar-like特征，分别带入位置检测函数，取函数值最大，即检测响应最大的区域作为目标的预测位置；

步骤7、分别计算由Haar-like特征和HOG特征得到的预测目标与上一帧目标特征的差异，选取与上一帧目标差异最小的位置检测结果作为当前帧最终的目标位置；

步骤8、使用目标新的位置向外扩展得到候选区域，重复步骤3至步骤5进行新的回归函数的训练，得到新的分类器，实现实时的目标跟踪。

所述步骤3中密集采样的方法如下：

步骤i)以目标位置为基准，向外扩展得到2倍的目标尺寸的区域作为候选区域；

步骤ii)设置子窗口模板，其大小与目标尺寸相同，从候选区域左上角开始，分别以行方向和列方向移动子窗口来进行采样，每次移动的步长为2个像素；

步骤iii)分别计算每个候选块的Haar-like特征和HOG特征，得到整个候选区域的Haar-like特征和HOG特征。

所述步骤4将高维特征转换为低维的具体过程为：

步骤i)根据压缩感知理论，通过一个随机测量矩阵，我们可以将高维的特征映射到低维，而且能保证低维的特征能完好的保存高维特征的信息；

步骤ii)设随机矩阵(n为矩阵行数，m为矩阵列数)，行元素为从高维图像空间到低维子空间的单位长度的投影数据，也就是说，大小为n×m的随机矩阵R可以将高维图像空间的m维向量x转换到低维空间n维向量v，m＞＞n，公式表达为：v＝Rx；式中，随机矩阵R需符合Johnson-Lindenstrauss推论或者restricted isometry property(RIP)条件，典型的符合RIP条件的随机测量矩阵有随机高斯测量矩阵其中矩阵元素满足r_ij～N(0,1)分布，考虑到运算量和存储量，采用一个非常稀疏的测量矩阵，矩阵元素定义为：

所述步骤5中样本训练过程为：

步骤i)假定训练样本x_i，每个样本的标定，即回归目标y_i，i＝1,2…N，要求解一个回归函数f(z)，使得f(x_i)＝y_i，而要求解这个回归函数，要分析线性和非线性两种情况；

步骤ii)最终的训练公式为：式中，“^”表示离散傅里叶变换，为回归目标；λ为初始化中的常数；x为训练样本，核函数矩阵的定义为：用来评估两个矢量之间的核相关，而可以看作x和它本身在傅里叶域的核相关，即自相关，k为核函数，包括高斯核，多项式核和线性核，P的定义如下：

所述步骤6中位置检测过程为：

步骤i)候选区域所有候选块的回归函数为：f(z)＝(K^z)^Tα，式中，f(z)是矢量，包含全部的检测响应，α是由训练公式得到的，K^z＝C(k^xz)是x和z的核相关，x是上一帧中目标扩展的候选区域的候选块组成的循环矩阵，z是上一帧目标的位置在当前帧中扩展的候选区域的候选块组成的循环矩阵，k为核函数，包括高斯核，多项式核和线性核。

步骤ii)为了计算所有候选块的响应，对步骤i)中的回归函数进行对角化操作：候选块所有的检测响应可以由向量的傅氏变换和对位乘法计算。

所述步骤(7)中对当前帧进行目标检测时，通过比较使用Haar-like特征和HOG特征两种方法得到的目标与上一帧目标的差异，选取与上一帧目标差异最小的位置检测结果作为当前帧的目标位置。

综上所述，本发明所述的一种基于多局部特征学习的快速实时判别型目标跟踪方法，首先对视频进行单帧分解，通过动作识别或人工标记的方法，在初始帧中用矩形框标记出要跟踪的目标，然后在目标的基础上向外扩展得到2倍的目标尺寸的区域作为候选区域，通过密集采样获得候选块，分别计算每个候选块的Haar-like特征和HOG特征来代表目标的局部特征，然后基于循环矩阵和相关滤波器，将分类器的训练转换到傅里叶域，在位置检测阶段，在与上一帧目标位置相同的位置向外扩展，计算2倍的目标尺寸的候选区域的局部特征，同样在傅里叶域，使用检测公式计算候选区域每个候选块与目标的相关性，选取相关性最高的区域作为当前帧目标的预测位置，分别计算由Haar-l ike特征和HOG特征得到的预测跟踪目标与上一帧目标特征的差异，选取得到与上一帧目标差异最小的位置检测结果作为当前帧的最终的跟踪结果，使用新的目标特征进行回归函数的训练。除初始帧外，其余视频帧的跟踪均为先进行目标位置的检测，后进行新的回归函数的训练。

本发明与现有技术相比的优点在于：本发明具有目标跟踪精度高、计算复杂度低等特点，可广泛应用于人机交互、辅助驾驶、视频监控、生物医学成像分析、目标的行为分析等领域。通过使用相关滤波器，将训练和检测过程转换到傅里叶域，将复杂的矩阵求逆、转置等运算转换成了对位操作，大大减少了运算量和存储量，同时，使用压缩感知理论，在保证不丢失信息的前提下，将高维特征降为低维特征，加快了算法速度；通过比较Haar-like特征和HOG特征的得到的预测跟踪目标与上一帧目标的差异，从而决定当前帧的目标位置，大大提高了算法精度。

附图说明

图1为本发明实现流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。

本发明所述的基于多局部特征学习的快速实时判别型目标跟踪方法，首先对视频进行单帧分解，通过动作识别或人工标记的方法，在初始帧中用矩形框标记出要跟踪的目标，然后在目标的基础上向外扩展得到2倍的目标尺寸的区域作为候选区域，通过密集采样获得候选块，分别计算每个候选块的Haar-like特征和HOG特征来代表目标的局部特征，然后基于循环矩阵和相关滤波器，将分类器的训练转换到傅里叶域，在位置检测阶段，在与上一帧目标位置相同的位置向外扩展，计算2倍的目标尺寸的候选区域的局部特征，同样在傅里叶域，使用检测公式计算候选区域每个候选块与目标的相关性，选取相关性最高的区域作为当前帧目标的预测位置，分别计算由Haar-like特征和HOG特征得到的预测跟踪目标与上一帧目标特征的差异，选取得到与上一帧目标差异最小的位置检测结果作为当前帧的最终的跟踪结果，使用新的目标特征进行新的回归函数的训练。除初始帧外，其余视频帧的跟踪均为先进行目标位置的检测，后进行新的回归函数的训练。通过使用相关滤波器和循环矩阵，将检测过程转换到傅里叶域，将复杂的矩阵求逆、转置等运算转换成了对位操作，大大减少了运算量和存储量，同时，使用压缩感知理论，在保证不丢失信息的前提下，将高维特征降为低维特征，既不影响跟踪精度，又加快了算法速度；通过比较Haar-like特征和HOG特征的得到的预测跟踪目标与上一帧目标的差异，从而决定当前帧的目标位置，提高了算法精度。

如图1所示，本发明具体实现如下步骤：

步骤1)、读取视频，将视频分解成单个帧，在初始帧中，通过动作识别或人工标记的方法，将需要跟踪的目标用矩形框标记出来，得到矩形目标；

步骤2)、以步骤1得到的矩形目标为基准，向外扩展得到2倍的目标尺寸的区域作为候选区域；

步骤3)、设置尺寸与目标尺寸大小相同的子窗口模板，在候选区域，移动子窗口进行密集采样得到候选块，分别计算每个候选块的Haar-like特征和HOG特征，从而得到整个候选区域的特征；

步骤4)、经密集采样得到的Haar-like特征作为高维特征矢量，经压缩感知理论中的随机投影映射后，可得到维数远小于原特征维数的低维特征，并且低维特征依旧能完整保存高维特征的信息，将投影后得到的低维特征作为训练和检测的输入；

步骤5)、根据步骤4得到的特征，进行训练，即根据训练样本和回归目标，利用核函数和循环矩阵的性质，在傅里叶域求解得到回归函数；

步骤6)、根据步骤5得到的回归函数，在后续的视频帧中进行目标的位置检测，在位置检测阶段，在新的视频帧中，以上一帧目标的位置为基准，向外扩展得到2倍的目标尺寸的区域作为候选区域，采用密集采样的方法，获取每个候选块的HOG特征和压缩后的Haar-like特征，分别带入位置检测函数，取函数值最大，即检测响应最大的区域作为目标的预测位置；

步骤7)、分别计算由Haar-like特征和HOG特征得到的预测目标与上一帧目标特征的差异，选取与上一帧目标差异最小的位置检测结果作为当前帧最终的目标位置；

步骤8)、使用目标新的位置向外扩展得到候选区域，重复步骤3至步骤5进行新的回归函数的训练得到新的分类器，实现实时的目标跟踪。

所述步骤3)中密集采样的方法如下：

步骤i)以目标位置为基准，向外扩展得到2倍的目标尺寸的区域作为候选区域；

步骤ii)设置子窗口模板，其大小与目标尺寸相同，从候选区域左上角开始，分别以行方向和列方向移动子窗口来进行采样，每次移动的步长为2个像素；

步骤iii)分别计算每个候选块的Haar-like特征和HOG特征，得到整个候选区域的Haar-like特征和HOG特征。

所述步骤4)中压缩感知原理如下：

步骤i)根据压缩感知理论，通过一个随机测量矩阵，我们可以将高维的特征映射到低维，而且能保证低维的特征能完好的保存高维特征的信息；

步骤ii)设随机矩阵(n为矩阵行数，m为矩阵列数)，行元素为从高维图像空间到低维子空间的单位长度的投影数据，大小为n×m的随机矩阵R可以将高维图像空间的m维向量x转换到低维空间的n维向量v，m＞＞n，公式表达为：v＝Rx，式中随机矩阵R需符合Johnson-Lindenstrauss推论或者restricted isometry property(RIP)条件，典型的符合RIP条件的随机测量矩阵有随机高斯测量矩阵其中矩阵元素满足r_ij～N(0,1)分布，考虑到运算量和存储量，采用一个非常稀疏的测量矩阵，矩阵元素定义为：

所述步骤5)样本训练的具体过程为：

步骤i)假定训练样本x_i，每个样本的标定，即回归目标y_i，i＝1,2…N，要求解一个回归函数f(z)，使得f(x_i)＝y_i，而要求解这个回归函数，要分析线性和非线性两种情况；

步骤ii)线性回归，即f(z)＝w^Tz，求解出来的解为w＝(X^TX+λI)^-1X^Ty，由于样本训练和位置检测的过程都是在傅里叶域进行，各个变量都是复数，所以将解转换到傅里叶域，得到w＝(X^HX+λI)^-1X^Hy,式中矩阵X^H为矩阵X的共轭转置，而共轭转置定义为X^H＝(X^*)^T，其中X^*是X的复共轭。

步骤iii)非线性回归，引入核函数，得到f(z)是关于z的非线性函数，同时也是关于k(z)的线性函数，可以使用线性的优化方法来求解得到α。对于二维图像，在图像的候选区域进行密集采样相当于循环矩阵的生成向量，即第一行元素，通过控制移动不同的步长，得到的第一行元素也不同。

式中，用X＝C(x)来公式化表示由生成向量x组成的循环矩阵X，循环矩阵均通过离散傅里叶变换对角化；

步骤iv)利用循环矩阵的性质，可以对非线性回归的公式进行简化，得到最终的训练公式：

式中，“^”表示离散傅里叶变换，为回归目标；λ为初始化中的常数；x为训练样本，核函数矩阵的定义为：用来评估两个矢量之间的核相关，而可以看作x和它本身在傅里叶域的核相关，即自相关，k为核函数，包括高斯核，多项式核和线性核，P的定义如下：

所述步骤6)位置检测的具体过程为：

步骤i)候选区域所有候选块的回归函数为：f(z)＝(K^z)^Tα

式中，f(z)是矢量，包含全部的检测响应，α是由训练公式得到的参数，K^z＝C(k^xz)是x和z的核相关，x是上一帧中目标扩展的候选区域的候选块组成的循环矩阵，z是上一帧目标的位置在当前帧中扩展的候选区域的候选块组成的循环矩阵，k为核函数，包括高斯核，多项式核和线性核。

步骤ii)为了高效计算所有候选块的响应，对步骤i)中的回归函数进行对角化操作：式中，“^”表示离散傅里叶变换，式中其他变量的含义与步骤i)相同。候选块所有的检测响应可以由向量的傅氏变换和对位乘法计算。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多局部特征学习的快速实时判别型跟踪方法，其特征在于实现步骤如下：

步骤1、读取视频，将视频分解成单个帧，在初始帧中，通过动作识别或人工标记的方法，将需要跟踪的目标用矩形框标记出来，得到矩形目标；

步骤2、以步骤1得到的矩形目标为基准，向外扩展得到2倍的目标尺寸的区域作为候选区域；

步骤3、设置尺寸与目标尺寸大小相同的子窗口模板，在候选区域，移动子窗口进行密集采样得到候选块，分别计算每个候选块的Haar-like特征和HOG特征，从而得到整个候选区域的特征；

步骤4、经密集采样得到的Haar-like特征作为高维矢量，经压缩感知理论中的随机投影映射后，得到维数远小于原特征维数的低维特征，并且低维特征依旧能完整保存高维特征的信息，将投影后得到的低维特征作为训练和检测的输入；

步骤5、根据步骤4得到的低维特征，进行训练，即根据训练样本和回归目标，利用核函数和循环矩阵的性质，在傅里叶域求解得到回归函数；

步骤6、根据步骤5得到的回归函数，对后续的视频帧中进行目标的位置检测，在位置检测阶段，在新的视频帧中，以上一帧目标的位置为基准，向外扩展得到2倍的目标尺寸的区域作为候选区域，采用密集采样的方法，获取每个候选块的HOG特征和压缩后的Haar-like特征，分别带入位置检测函数，取检测响应最大的区域作为目标的预测位置；

步骤7、分别计算由Haar-like特征和HOG特征得到的预测目标特征与上一帧目标特征的差异，选取与上一帧目标差异最小的位置检测结果作为当前帧最终的目标位置；

步骤8、使用最终的目标位置向外扩展得到候选区域，重复步骤3至步骤5进行新的回归函数的训练，得到新的分类器，实现实时的目标跟踪。

2.根据权利要求1所述的一种基于多局部特征学习的快速实时判别型跟踪方法，其特征在于：所述步骤3中密集采样方法如下：

步骤i)以目标的位置为基准，向外扩展得到2倍的目标尺寸的区域作为候选区域；

步骤ii)设置子窗口模板，子窗口模板大小与目标尺寸相同，从候选区域左上角开始，分别以行方向和列方向移动子窗口来进行采样，每次移动的步长为2个像素；

步骤iii)分别计算每个候选块的Haar-like特征和HOG特征，得到整个候选区域的Haar-like特征和HOG特征。

3.根据权利要求1所述的一种基于多局部特征学习的快速实时判别型跟踪方法，其特征在于：所述步骤4压缩感知的具体过程为：

步骤i)根据压缩感知理论，通过一个随机测量矩阵，将高维的特征映射到低维，而且能保证低维的特征能完好的保存高维特征的信息；

步骤ii)设随机矩阵n为矩阵行数，m为矩阵列数，行元素为从高维图像空间到低维子空间的单位长度的投影数据，即大小为n×m的随机矩阵R将高维图像空间m维向量的x转换到低维空间n维向量v，m＞＞n，公式表达为：v＝Rx，式中随机矩阵R需符合Johnson-Lindenstrauss推论或者restricted isometry property(RIP)条件，典型的符合RIP条件的随机测量矩阵有随机高斯测量矩阵其中矩阵元素满足r_ij～N(0,1)分布，考虑到运算量和存储量，采用一个非常稀疏的测量矩阵，矩阵元素定义为：

4.根据权利要求1所述的一种基于多局部特征学习的快速实时判别型跟踪方法，其特征在于：所述步骤5训练样本的具体过程为：

步骤i)假定训练样本x_i，每个样本的标定，即回归目标y_i，i＝1,2…N，求解一个回归函数f(z)，使得f(x_i)＝y_i，而如果要求解这个回归函数，要分析线性和非线性两种情况；

步骤ii)线性回归，即f(z)＝w^Tz，求解出来的解为w＝(X^TX+λI)^-1X^Ty，由于样本训练和位置检测的过程都是在傅里叶域进行，各个变量都是复数，所以将解转换到傅里叶域，得到w＝(X^HX+λI)^-1X^Hy，式中，矩阵X^H为矩阵X的共轭转置，而共轭转置定义为X^H＝(X^*)^T，其中X^*是X的复共轭；

步骤iii)非线性回归，引入核函数，得到f(z)是关于z的非线性函数，同时也是关于k(z)的线性函数，可以使用线性的优化方法来求解得到α；

对于二维图像，在图像的候选区域进行密集采样相当于循环矩阵的生成向量，即第一行元素，通过控制移动不同的步长，得到的第一行元素也不同，

式中，用X＝C(x)来公式化表示由生成向量x组成的循环矩阵X，循环矩阵均通过离散傅里叶变换对角化；

步骤iv)利用循环矩阵的性质，对非线性回归的公式进行简化，得到最终的训练公式：

式中，“^”表示离散傅里叶变换，为回归目标；λ为初始化中的常数；x为训练样本，核函数矩阵的定义为：用来评估两个矢量之间的核相关，而看作x和它本身在傅里叶域的核相关，即自相关，k为核函数，包括高斯核，多项式核和线性核，P的定义如下：

5.根据权利要求1所述的一种基于多局部特征学习的快速实时判别型跟踪方法，其特征在于：所述步骤6位置检测的具体过程为：

步骤i)候选区域所有候选块的回归函数为：f(z)＝(K^z)^Tα,式中f(z)是矢量，包含全部候选块的检测响应，α是由训练公式得到的，K^z＝C(k^xz)是x和z的核相关，x是上一帧中目标扩展的候选区域的候选块组成的循环矩阵，z是上一帧目标的位置在当前帧中扩展的候选区域的候选块组成的循环矩阵，k为核函数，包括高斯核，多项式核和线性核；

步骤ii)为了高效计算所有候选块的响应，对步骤i)中的回归函数进行对角化操作：式中，“^”表示离散傅里叶变换，候选块所有的检测响应由向量的傅氏变换和对位乘法计算。