CN107292918B - 基于视频在线学习的跟踪方法和装置 - Google Patents

Abstract

本发明提供一种基于视频在线学习的跟踪方法和装置，该方法包括步骤：A1.经初始化后，将视频帧送入检测模块，由检测模块检测运动目标，产生样本，生成样本集；同时，跟踪模块和检测模块并行进行，跟踪模块估计运动目标出现的坐标，生成运动轨迹；其中，跟踪模块包括MOSSE滤波器；A2.将样本集和运动轨迹输入P‑N学习模块，由P‑N学习模块进行评估和校正，把置信度最高的记为正样本，其余作为负样本，生成训练数据；A3.P‑N学习模块评估得到当前帧运动目标出现的最可信的一个位置，作为跟踪的结果进行跟踪；同时P‑N学习模块利用生成的正负样本和新坐标，反作用于跟踪模块和检测模块，更新检测模块的样本集和跟踪模块的滤波模型。通过采用MOSSE滤波器，提高了处理速度和运算效率，且减少了光照变化等引发跟踪失败的几率，更具有鲁棒性。

Description

基于视频在线学习的跟踪方法和装置

技术领域

本发明属于计算机视觉中的运动目标跟踪领域，特别涉及一种基于视频在线学习的跟踪方法和装置。

背景技术

运动目标跟踪是计算机视觉中的核心课题之一，也是非常具有挑战性的课题。它融合了自动控制、信号处理、神经生物学、图像处理、模式识别、机器学习及人工智能等众多先进技术。运动目标跟踪技术主要集中于对运动物体的连续跟踪，其具体来说，就是目标提前标明，第一帧已给出的情况下，在接下来的图像序列中找到目标物体的确切位置进行标记并反馈给系统，以便进行后续对视频中的行为动作的分析和理解。

目前，处理运动目标跟踪问题的算法思想有两种，分别是生成类的算法和判别类的算法。生成类的算法通过搜索和目标最相似的区域来处理跟踪问题，判别类的方法将跟踪问题变为二分类问题，其核心就是训练出一个分类器，把目标物体和背景中区分开。随着机器学习的快速发展和应用，用判别类的方法处理运动目标跟踪问题取得了很多突破，得到了更广泛的采用。在判别类方法中，大多是基于检测机制的跟踪算法框架，即使用目标物体和附近的环境训练出一个在线的分类器，这是当前跟踪算法的热点研究趋势。

TLD(Tracking-Learning-Detection)算法能够对锁定的目标进行不断的学习，以获取目标最新的外观特征，从而及时完善跟踪，以达到最佳的状态。TLD算法包括三部分：跟踪器、学习模块和检测器；其利用跟踪器和检测器同时工作的思想，共同确立跟踪目标框，并且利用二分类的学习机制反馈给检测器和跟踪器，更新分类器得到较高的跟踪效率。

现有TLD算法中的跟踪模块通常使用Lucas-Kanada(LK)光流法，实现递归跟踪，首先，在图像的目标区域中构造距离相等的点集，通过LK光流法估计这些点的光流，如果这些点为图像的特征点或角点，则该方法有很高的可靠性；但若图像区域特征较少，即目标与背景没有明显区别则无法很好的实现跟踪。其次，光流法是基于场景中的亮度是恒定和目标的运动是小而连贯的，现但实际中很少有满足这种假设的场景与运动，这就意味着当有光照变化、背景干扰、发生遮挡，运动目标突然提速等快速变化时，则很容易导致跟踪失败。另外，LK光流法处理过程慢，导致其跟踪速度慢，无法满足实时性的要求。

发明内容

为解决上述问题，本发明提供一种能够适应光暗变化，且能快速准确、实时地跟踪运动目标的方法及装置。

本发明提供一种基于视频在线学习的跟踪方法，该方法包括如下步骤：A1.经初始化后，将视频帧送入检测模块，由检测模块检测运动目标，产生样本，生成样本集；同时，跟踪模块和检测模块并行进行，跟踪模块估计运动目标出现的坐标，生成运动轨迹；其中，跟踪模块包括MOSSE(Minimum Output Sum of Squared Error)滤波器；A2.将样本集和运动轨迹输入P-N学习模块，由P-N学习模块进行评估和校正，把置信度最高的记为正样本，其余作为负样本，生成训练数据；A3.P-N学习模块评估得到当前帧运动目标出现的最可信的一个位置，作为跟踪的结果进行跟踪；同时P-N学习模块利用生成的正负样本和新坐标，反作用于跟踪模块和检测模块，更新检测模块的样本集和跟踪模块的滤波模型。

优选地，所述步骤A1的由检测模块检测运动目标包括如下步骤：A11.通过前景检测，得到运动目标的前景图像块，在前景图像块的区域内用滑窗法产生一系列优化的图像块；A12.对优化的图像块提取特征，输入到随机蕨分类器中，产生正样本，经分类产生样本集。

进一步地优选，所述步骤A11中前景检测包括帧间差分法；更进一步地优选，所述帧间差分法为三帧差法。

进一步地优选，所述步骤A12中对优化的图像块提取特征包括对优化的图像块提取2bit BP的特征。

优选地，所述步骤A3中的滤波模型表达为如下的公式：

H_t＝(1-η)H_t-1+ηH*

其中，H_t表示第t帧中，实际要使用的滤波模型；H_t-1表示第t-1帧中实际使用的滤波模型；H*表示根据计算求得的第t帧滤波模型；η表示可控的学习率参数。

本发明还提供一种基于视频在线学习的跟踪装置，包括学习模块、检测模块和跟踪模块；所述检测模块用于检测运动目标，产生正样本，生成样本集；所述跟踪模块包括MOSSE滤波器，用于估计运动目标出现的新坐标，生成运动轨迹；所述学习模块采用P-N学习机制，根据输入的样本集和新坐标生成训练数据，再反作用于跟踪模块和检测模块，更新检测模块的样本集和跟踪模块的滤波模型。

本发明的有益效果为：在跟踪模块中采用MOSSE滤波器，避免了LK光流法中矩阵的卷积和求逆运算，而将运算放在傅里叶域进行，变成对应元素之间的点乘，提高了处理速度和运算效率的同时，满足实时性的要求，保证适用性和准确率。另外，MOSSE滤波器为相干滤波器，它不依赖于光照信息，对光照变化和噪声不敏感，减少了光照变化等引发跟踪失败的几率，更具有鲁棒性。

优选的方案还具有如下的有益效果：对MOSSE滤波器的更新机制进行改进，这种更新方式能节省计算复杂度，提高运算效率；在检测模块中采用效果更好的前景检测技术，得到运动目标的前景目标，再通过滑窗法使其可以直接在前景目标上产生图像块，输入进随机蕨分类器，使得样本提取时不必再作穷举搜索，极大节省运算资源。

附图说明

图1为本发明实施例针对车辆的视频跟踪的应用场景图。

图2为本发明实施例模块框架结构图。

图3为本发明实施例的学习模块流程图。

图4为本发明实施例的检测模块流程图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明提出的基于视频在线学习的跟踪方法是在TLD算法构架的基础上进行改进的方法。

单一的跟踪模块方法都是利用短期的跟踪器，由于逐帧的误差积累，产生目标丢失或者漂移问题后，无法进行实时地后续处理，一旦跟踪失败后，该方法就失去作用。单一的检测模块方法，虽然在每一帧中是独立进行预测目标位置的，但需要已知样本进行训练，其速度方面根本不能满足要求。而基于TLD算法的方法，将检测模块、跟踪模块与学习模块结合使用，能长期对运动目标进行跟踪，在跟踪失败后通过快速处理手段能继续跟踪。

本实施例提供针对车辆的基于视频在线学习的跟踪方法，其应用场景如图1所示，该方法包括如下步骤：A1.经初始化后，将视频帧送入检测模块，由检测模块检测运动目标，产生样本，生成样本集；同时，跟踪模块并行进行，跟踪模块估计运动目标出现的坐标，生成运动轨迹；其中，跟踪模块包括MOSSE(Minimum Output Sum of Squared Error)滤波器；A2.将样本集和运动轨迹输入P-N学习模块，由P-N学习模块进行评估和校正，把置信度最高的记为正样本，其余作为负样本，生成训练数据；A3.P-N学习模块评估得到当前帧运动目标出现的最可信的一个位置，作为跟踪的结果进行跟踪；同时P-N学习模块利用生成的正负样本和新坐标，反作用于跟踪模块和检测模块，更新检测模块的样本集和跟踪模块的滤波模型。

基于该方法的跟踪装置，包括学习模块、检测模块和跟踪模块，其模块框架图如图2所示。

学习模块

学习模块是运动目标跟踪算法的大脑，采用TLD算法中的P-N学习机制,学习模块包括四个部分：(1)样本集：已标记的样本，包括正样本和负样本；(2)迭代训练：从训练样本集中训练分类器的方法，(3)P-N experts：在学习过程中用于产生正样本和负样本的表达函数；(4)待学习的分类器。

学习模块使用P-N学习机制的步骤包括：(1)利用已标记的样本训练出一个初始分类器。(2)利用训练得到的初始分类器，对所有未标记的样本进行分类，标记为正样本和负样本；(3)用P-N experts对那些标记与条件约束相违背的样本进行重新标记，P-expert识别被误检为负样本的样本集，N-expert确认出被误检为负样本的样本集，重新添加到训练样本集当中。P-expert利用时间上的结构性，根据跟踪模块预测到的运动目标要出现的位置，如果被检测模块判断为负样本，则把它纠正成样本集；N-expert利用空间上的结构性，分析检测模块和跟踪模块在当前帧上给出的所有响应，选择一个置信度最大的，将其标记为正样本，其它的标记为负样本。(4)将重新标记的样本加入样本集中，重新训练分类器。其学习模块的流程图如图3所示。

P-expert可以让模型更加鲁棒，而N-expert可以提高分类器的判别能力。经过这样反复的迭代训练，尽管存在误差，但通过数学证明，只要错误率不超过0.5，分类器的性能就可以得到改善。

检测模块

检测模块用来检测运动目标的各种外观，必要时用来帮助跟踪模块重新初始化，避免跟踪失败。检测模块主要包括前景检测和随机蕨分类器两层结构，其检测模块流程图如图4所示。

首先，输入连续帧图片，用三帧差法得到前景目标，即是对相邻的三帧图像进行差分，通过差值图像可以检测出一系列连续帧的图像中运动物体的运动范围。该方法不需要建模，速度也很快，可以得到运动目标的前景图像块,在前景图像块的区域内用滑窗法产生一系列优化的图像块。其次，对这些优化的图像块提取2bit BP特征，将这些样本输入到随机蕨分类器中。2bit BP，就是任意取两个点，比较它们灰度值的大小关系，取值只有0和1，这样就可以将特征变成0和1组成的向量。而随机蕨分类器，它的每层节点使用同一种判断准则，通过对样本特征值的判断进行分类，并利用很多个蕨对同一样本进行分类，使用投票原则，票数最大的类就作为新样本的分类。检测模块最终的输出是一系列的正负样本。

检测模块的两层结构，第一层可以减少滑窗法产生的无效样本，简化检测模块所耗用的运算资源，第二层通过一个良好的分类器对样本进行分类。

检测模块中运用前景检测，使其可以直接在前景上产生图像块，输入进随机蕨分类器，使得样本提取时不必再作穷举搜索，在极大节省运算资源的同时，提高了运算效率。

跟踪模块

跟踪模块用于一帧接一帧的跟随目标物体，产生运动轨迹。本实施例中跟踪模块采用MOSSE滤波器，它运用快速傅立叶变换(FFT)，避免了时域上的矩阵的乘法、卷积、求逆等运算，在傅里叶域进行对角化和对应点的乘除法，极大地提高运算效率，简化跟踪模块的运算资源，处理速度方面表现惊人。

MOSSE滤波器，它运用信号处理中衡量两个信号相似度的原理，通过设计出的滤波模型来求响应输出，既目标所在位置。也就是说，把跟踪模型概括为响应输出等于输入图像与滤波模型的卷积，要获得最大的响应输出，关键是确定出合适的滤波模型。其公式表达为：

其中，F表示输入图像块的矩阵，G表示相应的输出函数矩阵，H*表示所求滤波模型。

由于目标模型有各种外观的变化，模型采用一系列的训练样本，多个图像作为输入，而模型中的训练输出的形状可以自由选择，我们采用以输入图像的中心为峰值的高斯函数，获得一系列的训练输出。其公式表达为：

其中，F_i表示一系列训练输入，G_i表示相应的训练输出，H*表示所求滤波模型，即将最优化的问题转化为最小化平方误差输出和的问题。

这样就可以计算求得滤波模型的表达式为：

但是这样的滤波模型通过训练产生，是不变的，考虑到有遮挡，背景干扰，光照变化以及目标物体的外形变化，需要使用一个更新模型，使滤波模型随着帧数发生变化，适应目标物体的最新外观。

在MOSSE滤波器中，一般使用的更新模型公式如下：

其中，A和B分别表示滤波模型的分子和分母部分，η表示可控的学习率参数，i表示当前帧数。

MOSSE滤波器，通过使用更新模型，在处理光线变化，快速运动和目标形变方面表现得更好。

我们对更新模型进行改进，不再对分子分母分别进行更新，而是在每一帧求解后进行更新，其公式表达为：#

H_t＝(1-η)H_t-1+ηH* 公式(7)

其中，H_t表示第t帧中，实际要使用的滤波模型；H_t-1表示第t-1帧中实际使用的滤波模型H*表示根据公式(3)计算求得的第t帧滤波模型。这种更新模型的使用，使的对于临近帧的图像权重的赋予更加灵活，可以距当前帧比较久的图像的影响以指数形式衰减，更适合TLD的框架；此外，这种更新方式，很大程度上节省了计算复杂度，提高了运算效率。

在确定滤波模型后，我们可以将前一帧确定的运动目标的图像作为下一帧的输入，这样一帧接一帧的找出目标。在实际的运算处理中，矩阵的卷积运算都放在傅里叶域进行，变成对应元素之间的点乘，这样极大的简化了计算机的运算量和运算时间。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于视频在线学习的跟踪方法，其特征在于，该方法包括如下步骤：

A1.经初始化后，将视频帧送入检测模块，由检测模块检测运动目标，产生样本，生成样本集；同时，跟踪模块并行进行，跟踪模块估计运动目标出现的坐标，生成运动轨迹；其中，跟踪模块包括MOSSE滤波器；

A2.将样本集和运动轨迹输入P-N学习模块，由P-N学习模块进行评估和校正，把置信度最高的记为正样本，其余作为负样本，生成训练数据；

A3.P-N学习模块评估得到当前帧运动目标出现的最可信的一个位置，作为跟踪的结果进行跟踪；同时P-N学习模块利用生成的正负样本和新坐标，反作用于跟踪模块和检测模块，更新检测模块的样本集和跟踪模块的滤波模型；

其中，P-N学习模块的处理包括：(1)利用已标记的样本训练出一个初始分类器；(2)利用训练得到的初始分类器，对所有未标记的样本进行分类，标记为正样本和负样本；(3)用P-N experts对那些标记与条件约束相违背的样本进行重新标记，P-expert识别被误检为负样本的样本集，N-expert确认出被误检为负样本的样本集，重新添加到训练样本集当中；P-expert利用时间上的结构性，根据跟踪模块预测到的运动目标要出现的位置，如果被检测模块判断为负样本，则把它纠正成样本集；N-expert利用空间上的结构性，分析检测模块和跟踪模块在当前帧上给出的所有响应，选择一个置信度最大的，将其标记为正样本，其它的标记为负样本；(4)将重新标记的样本加入样本集中，重新训练分类器；

其中，MOSSE滤波器的滤波模型采用一系列的训练样本，多个图像作为输入，以输入图像的中心为峰值的高斯函数，获得一系列的训练输出，其公式表达为：

其中，F_i表示一系列训练输入，G_i表示相应的训练输出，H*表示所求滤波模型，即将最优化的问题转化为最小化平方误差输出和的问题；

所述滤波模型的表达式为：

还使用一个更新模型，使所述滤波模型随着帧数发生变化，适应目标物体的最新外观。

2.如权利要求1所述的方法，其特征在于，所述步骤A1的所述由检测模块检测运动目标包括如下步骤：

A11.通过前景检测，得到运动目标的前景图像块，在前景图像块的区域内用滑窗法产生一系列优化的图像块；

A12.对优化的图像块提取特征，输入到随机蕨分类器中，产生正样本，经分类生成样本集。

3.如权利要求2所述的方法，其特征在于，所述步骤A11中所述前景检测包括帧间差分法。

4.如权利要求3所述的方法，其特征在于，所述帧间差分法为三帧差法。

5.如权利要求2所述的方法，其特征在于，所述步骤A12中所述对优化的图像块提取特征包括对优化的图像块提取2bit BP的特征。

6.如权利要求1所述的方法，其特征在于，所述更新模型的表达公式为：

H_t＝(1-η)H_t-1+ηH*

其中，H_t表示第t帧中，实际要使用的滤波模型；H_t-1表示第t-1帧中实际使用的滤波模型；H*表示计算求得的第t帧滤波模型；η表示可控的学习率参数。

7.一种基于视频在线学习的跟踪装置，其特征在于，包括学习模块、检测模块和跟踪模块；所述检测模块用于检测运动目标，产生正样本，生成样本集；所述跟踪模块包括MOSSE滤波器，用于估计运动目标出现的新坐标，生成运动轨迹；所述学习模块采用P-N学习机制，根据输入的样本集和新坐标生成训练数据，再反作用于跟踪模块和检测模块，更新检测模块的样本集和跟踪模块的滤波模型；

其中，所述学习模块的处理包括：(1)利用已标记的样本训练出一个初始分类器；(2)利用训练得到的初始分类器，对所有未标记的样本进行分类，标记为正样本和负样本；(3)用P-N experts对那些标记与条件约束相违背的样本进行重新标记，P-expert识别被误检为负样本的样本集，N-expert确认出被误检为负样本的样本集，重新添加到训练样本集当中；P-expert利用时间上的结构性，根据跟踪模块预测到的运动目标要出现的位置，如果被检测模块判断为负样本，则把它纠正成样本集；N-expert利用空间上的结构性，分析检测模块和跟踪模块在当前帧上给出的所有响应，选择一个置信度最大的，将其标记为正样本，其它的标记为负样本；(4)将重新标记的样本加入样本集中，重新训练分类器；

其中，MOSSE滤波器的滤波模型采用一系列的训练样本，多个图像作为输入，以输入图像的中心为峰值的高斯函数，获得一系列的训练输出，其公式表达为：

其中，F_i表示一系列训练输入，G_i表示相应的训练输出，H*表示所求滤波模型，即将最优化的问题转化为最小化平方误差输出和的问题；

所述滤波模型的表达式为：

还使用一个更新模型，使所述滤波模型随着帧数发生变化，适应目标物体的最新外观。

8.如权利要求7所述的跟踪装置，其特征在于，所述检测模块包括前景检测层和随机蕨分类器，前景检测层用于对运动目标进行前景检测，得到前景图像，再通过滑窗法产生图像块；随机蕨分类器用于将图像块的特征进行分类，生成样本集。

9.如权利要求8所述的跟踪装置，其特征在于，所述图像块的特征大小为2bitBP。

10.如权利要求7所述的跟踪装置，其特征在于，所述更新模型的表达公式为：

H_t＝(1-η)H_t-1+ηH*

其中，H_t表示第t帧中，实际要使用的滤波模型；H_t-1表示第t-1帧中实际使用的滤波模型；H*表示计算求得的第t帧滤波模型；η表示可控的学习率参数。

Images