CN104835181A - 一种基于排序融合学习的目标跟踪方法 - Google Patents

Abstract

.本发明公开了一种基于排序融合学习的目标跟踪方法，主要包含以下步骤：计算目标候选区域在各种跟踪算法的排序、建立后验概率模型(Extended Mallows Model)、基于EM算法的参数计算、专家度参数与跟踪算法的自适应更新等模块。本发明提出一种通用框架来实现了不同跟踪算法的有效融合，特别有效地实现了判别式跟踪算法和产生式跟踪算法的完美互补，从而避免了它们各自的缺点，提高跟踪算法的鲁棒性。实验结果表明，相对于其他的经典跟踪算法，该跟踪算法更具有普适性，即在各种具有挑战性视频中也能精确地跟踪到目标。该算法是一种通用的算法，具有广泛的应用前景。

Description

一种基于排序融合学习的目标跟踪方法

技术领域

本发明主要涉及到计算机视觉中的目标跟踪领域，特别是涉及一种基于排序融合学习的目标跟踪方法。

背景技术

目标跟踪在计算机视觉领域中是相当活跃的研究课题，自从上世纪末被提出以后，众多学者纷纷加入研究行列，是当今国内外研究的前沿问题之一。目标跟踪在视觉分析领域属于中层部分，为后续高层视觉分析奠定了基础，因此具有非常重要的研究价值。

目标跟踪算法中最为关键的组成部分是表观模型。表观模型，简单的说，如何能够对跟踪目标物体的表观进行简洁有效地表达。一般来说，目标的表观模型主要可以分为产生式和判别式两大类。产生式模型从目标本身出发，采用不同的描述模型来提取不同的目标特征，从而构建一个紧致的目标表示。目标区域的颜色直方图是最常见的基于产生式的表观模型，但是，它完全忽略了目标表观颜色的空间分布信息。基于混合高斯的表观模型利用混合加权的高斯分布来动态地学习像素颜色的时间统计特性。Ross等人提出了基于增量子空间学习的方法来建模目标表观的时空统计特性。Mei等人提出了一种基于稀疏表示的目标表观模型。稀疏表示关心的是如何用尽量少的训练样本去重构新来的候选样本。

判别式模型同时考虑目标(正样本)和背景信息(负样本)，它关注的是如何构建一个分类器或者分类界面能够精准地区分目标和背景，此时，跟踪问题就可以看成一个二分类问题。Avidan提出基于支持向量机(Support Vector Machine)的分类器来区分目标和背景，并将其融入到基于光流的跟踪算法中去。Grabner等人采用在线的Adabooting算法来构建强分类器，强分类器由一系列的弱分类器通过Adabooting算法组合而成，每个弱分类器对应于一个区分目标和背景的分类界面，同时通过不断地更新弱分类器，或者选择新的分类器来实现在线更新。Saffari等人提出了基于随机森林的分类器构建方法，在该算法中，首先采用随机森林算法选择特征，然后对经过选择的特征构建分类器。Babenko等人提出了基于多示例学习(multiple instance learning)的表观模型。在该算法中，在选择正样本进行更新分类器的时候，不只把当前帧的跟踪结果作为正样本，同时选取了与跟踪结果非常接近的一些区域，把它们一起形成一个“包”，使用包来更新分类器。通过包的机制，使得该算法对跟踪误差具有一定的容错性，即使当前帧跟踪结果稍微不精确，也不会使得分类器被错误地更新。

尽管到目前为止，在目标视觉跟踪领域已经有大量的研究成果，但是依然没有一个算法能够在全部数据集上都取得比其他算法更为优异的跟踪结果。一方面，在缺乏先验知识和目标真实状态(ground truth)的前提下，算法的性能无法得到有效的保证；另一方面，每个算法都是基于特定的假设，这使得每个算法对其能处理的数据都有特定的要求，无法保证良好的泛化能力。而算法对数据的特定要求无法具体化，待处理数据又缺乏足够的先验知识，这使得很难针对数据选择合适的算法处理。没有算法能够在所有的数据集上都取得满意的跟踪效果，也无法针对数据选择合适的算法进行处理，这就使得研究如何将不同跟踪算法的特性融合以便得到更加稳定的跟踪效果成为当前的一个研究焦点。

发明内容

为了实现上述目标，本发明提出了一种基于排列融合学习的目标跟踪方法。该方法可以有效地融合不同跟踪算法的优点，从而提高跟踪系统的鲁棒性和适应性。

为了实现上述目的，本发明采用了以下的技术方案：

1.一种基于排序融合学习的目标跟踪方法，其特征在于：包括以下步骤:

1)选择4种不同的跟踪算法，其中包括3种基于产生式模型的跟踪算法：基于增量子空间学习的跟踪算法、基于协方差特征的跟踪算法、基于空间约束混合高斯模型的跟踪算法，以及1种基于判别式模型的跟踪算法：基于多示例学习的跟踪算法；4种跟踪算法全部采用粒子滤波跟踪框架，依据上一帧的跟踪结果，通过高斯随机扰动产生目标候选区域并按照顺序标记序号；

2)每一种跟踪算法根据各自的表观模型对目标候选区域进行评价，然后根据评价结果给每个目标候选区域赋予一个权重，最后按照权重大小对所有目标候选区域进行排序，4种算法对所有的目标候选区域排序获得4种不同排序；

3)根据目标候选区域的4种排序，首先定义两种不同排序之间的Kendall’s tau距离：将一种排序通过交换相邻位置的元素，转变成另一种排序所需要的最小交换次数，该距离满足“右不变性”，即对两种排序采用同样的变换操作，不会影响其距离值；

4)给定目标候选区域的不同排序，利用定义的距离测度，建立其真实排序的后验概率模型，该模型可以有效的融合目标候选区域的不同排序以及各个排序的可靠性，为了提高实时性，只对不同排序中的前k个序列进行融合，利用期望最大化算法估计该后验概率模型中的参数，并生成最终融合的候选区域排序。

其中，本方法选择融合排序的排名第一的候选区域作为跟踪结果，并由此排序对4种不同跟踪算法的表观模型进行更新；

5)为了提高模型的鲁棒性和期望最大化算法的迭代收敛速度，对后验概率模型中的专家度参数，即表示每种排序的可靠性参数，进行自适应学习，学习过程中，要计算一帧模型的专家度和各算法与跟踪结果的吻合度。

2.根据权利要求1所述的基于排序融合学习的目标跟踪方法，其特征在于：所述的步骤1)具体为:

首先，选取四种不同的跟踪算法作为融合对象，对输入视频序列第一帧中的目标进行初始化；

其次，采用粒子滤波跟踪框架，根据上一帧的跟踪结果，通过高斯随机扰动产生目标候选区域并按照顺序标记序号。

本发明的有益效果是：

(1)本发明所提出一种基于排列融合学习的目标跟踪算法，在复杂的环境中可以精确地对目标进行跟踪，对被跟踪目标的类型没有要求，充分说明本算法的实用性强、普适性好。

(2)本发明首次提出一种通用框架来实现了不同跟踪算法的有效融合，特别有效地实现了判别式跟踪算法和产生式跟踪算法的完美互补，从而避免了它们各自的缺点，提高跟踪算法的鲁棒性。

(3)本发明结合历史跟踪信息和当前帧的观测信息实现排序模型专家度参数的自适应学习，有利于加快迭代过程的收敛速度，以及实现更为精准地排序融合。

附图说明

图1为基于排序融合学习的目标跟踪方法流程图。

具体实施方式

通过以下实施步骤对本发明做具体的描述，只是为了对本发明做进一步解释说明，不能误解为对本发明权限保护范围的限定，相关的技术人员可以对上述发明内容根据实际的需求做非本质性改动和调整，以便在实际应用中达到更加理想的效果。

如图1所示，图1为本发明方法流程图。本发明为一种基于排序融合学习的目标跟踪方法，本发明的算法具体运行的硬件和编程语言并不限制，即可以通过各种编程语言实现，为此其他基本工作模式不再赘述。

本发明的实施采用一台配备有3.2G赫兹中央处理器和4G字节内存的戴尔计算机，采用Matlab语言编写了基于增量子空间学习的跟踪算法、基于协方差特征的跟踪算法、基于空间约束混合高斯模型的跟踪算法和基于多示例学习的跟踪算法的程序，用于验证本发明的高效性和鲁棒性。本发明一种基于排序融合学习的目标跟踪方法包括以下步骤：计算目标候选区域在各种跟踪算法的排序、建立后验概率模型(Extended Mallows Model)、基于EM算法的参数计算、专家度参数与跟踪算法的自适应更新等模块，具体步骤如下所述：

(1)由于粒子滤波是一种通用的跟踪框架，所以选取的4种跟踪算法全部采用粒子滤波跟踪框架。根据上一帧的跟踪结果，采用高斯随机扰动作为粒子滤波的状态转移模型，产生一系列目标候选区域O＝{o₁,o₂,o₃,…,o_N}，并按照下标顺序标记序号。其中，o_i是第i个转移状态对应的观测图像，N是目标候选区域的个数。

(2)单个算法跟踪过程中，每一种跟踪算法根据各自的表观模型对目标候选区域进行评价，然后根据评价结果给每个目标候选区域赋予一个权重，最后按照权重大小对所有目标候选区域进行排序。对于所有的目标候选区域，可以获得4种不同排序R＝{r₁,r₂,r₃,r₄}。

其中，r_i∈R^N为第i个算法对所有目标候选区域的排序，

(3)建立后验概率模型(Extended Mallows Model)，对上述各算法生成排序的前k个位置进行融合,从而获得最终的排序。

首先，定义如下两种不同排序之间的Kendall’s tau距离：将一种排序通过交换相邻位置的元素，转变成另一种排序所需要的最小交换次数。

$d(\mathrm{\ξ},r)={\mathrm{\Σ}}_{i=1}^{N-1}{\mathrm{\Σ}}_{j>i}I({\mathrm{\ξr}}^{-1}\left(i\right)-{\mathrm{\ξr}}^{-1}\left(j\right))$

其中ξ表示目标候选区域的真实排序，r为某个算法对所有目标候选区域的排序， $I\left(x\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& x>0\\ 0& & \mathrm{otherwise}\end{array}\right.$ 为指示函数。

该距离满足“右不变性”，即对两种排序采用同样的变换操作，不会影响其距离值。换句话说，如果使用τ重新排列候选区域排序，两个排序之间的距离并不发生改变，即d(ξ,r)＝d(ξτ,rτ)。

其次，依据距离保持右不变性，排序集合R是4个独立算法的可利用组合，那么对于候选排序集合R，其真实排序ξ的后验概率分布可以定义为如下形式：

$P\left(\mathrm{\ξ}\right|\mathrm{\α},R)=\frac{1}{Z(\mathrm{\ξ},\mathrm{\α})}p\left(\mathrm{\ξ}\right)\exp \left({\mathrm{\Σ}}_{i=1}^4{\mathrm{\α}}_{i}d(\mathrm{\ξ},r_i)\right)$

其中，p(ξ)^是ξ的先验概率，α_i是专家度参数，反映了第i个跟踪算法的可靠性， $Z(\mathrm{\ξ},\mathrm{\α})={\mathrm{\Σ}}_{\mathrm{\ξ}=S_N}p\left(\mathrm{\ξ}\right)\exp \left({\mathrm{\Σ}}_{i=1}^K{\mathrm{\α}}_{i}d(\mathrm{\ξ},r_i)\right)$ 是归一化常数，d(·,·)是两个长度相同排序的距离测度。

再次，通过EM(Expectation Maximization)算法求解模型中隐含参数。排序融合模型需要事先已知专家度参数α_i，才能推断出真实排序ξ。EM算法是一种在缺失观察变量的情形下找到参数的最大似然估计的方法，排序集合R＝{r₁,r₂,r₃,r₄}是可观测的数据集。EM算法包含两个步骤：E步(Expectation)和M步(Maximization)

在E步，认为真实排序ξ为缺失数据，给定初始专家度参数α‘，对缺失数据ξ计算其对数似然函数的期望值：

$\begin{array}{c}Q(\mathrm{\α};{\mathrm{\α}}^{\′})=E\left[\log p(R,\mathrm{\ξ}|\mathrm{\α})\right|R,{\mathrm{\α}}^{\′}]\\ ={\mathrm{\Σ}}_{\mathrm{\ξ}\∈S_N}L\left(\mathrm{\α}\right)U\left({\mathrm{\α}}^{\′}\right)\end{array}$

$U\left({\mathrm{\α}}^{\′}\right)={\mathrm{\Σ}}_{j=1}^{N}p\left({\mathrm{\ξ}}^j\right|{\mathrm{\α}}^{\′},r^j)$

$L\left(\mathrm{\α}\right)=\log {\mathrm{\Σ}}_{i=1}^{N}p\left({\mathrm{\ξ}}^j\right)-N\log {\mathrm{\Σ}}_{i=1}^{K}Z\left({\mathrm{\α}}_i\right)+{\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{i=1}^K{\mathrm{\α}}_{i}d({\mathrm{\ξ}}^j,r_i^j)$

其中， 是第j个候选目标区域在第i个跟踪算法中的排序位置，r^j是第j个候选目标区域在所有跟踪算法中的排序位置集合。

在M步，通过求L(α)关于α_i的导数，从而实现最大化L(α)，可以得到如下等式

$E_{{\mathrm{\α}}_i}=\left(d(\mathrm{\ξ},r_i)\right)=E_{\mathrm{\ξ}\∈S_N}\left(\frac{1}{N}{\mathrm{\Σ}}_{j=1}^{N}d({\mathrm{\ξ}}^i,r_i^j)\right)p\left({\mathrm{\ξ}}^j\right|{\mathrm{\α}}^{\′},r^j)$

其中，等式左边可以通过以下方式获得，

$E_{{\mathrm{\α}}_i}\left(d(\mathrm{\ξ},r_i)\right)=\frac{{\mathrm{Ne}}^{{\mathrm{\α}}_i}}{1-e^{{\mathrm{\α}}_i}}-{\mathrm{\Σ}}_{j=1}^N\frac{j{e}^{{\mathrm{\α}}_{i}j}}{1-e^{{\mathrm{\α}}_{i}j}}$

等式右边可以通过马尔科夫链蒙特卡洛方法采样获得估计值，由于上式是α_i的递减函数，因此可以通过简单二分搜索获得上述等式的解。

最后，为了提高算法的实时性，我们只对不同排序中的前k个序列位置进行融合。F_ξ和分别表示排序ξ和r_i前k个元素集合，因此它们的交集为同时该集合的大小为|Z|＝z，不属于各交集中的数据定义为P＝F_ξ\Z,且不属于交集集合大小相等为l＝|P|＝|S|＝N-z，N为序列ξ和r_i的长度。我们将上述融合模型扩展到top-k序列融合，整个融合过程都非常类似，唯一的区别是的计算过程，如下

$E_{{\mathrm{\α}}_i}\left(d(\mathrm{\ξ},r_i)\right)=\frac{{\mathrm{ke}}^{{\mathrm{\α}}_i}}{1-e^{{\mathrm{\α}}_i}}-{\mathrm{\Σ}}_{j=l+1}^k\frac{j{e}^{{\mathrm{\α}}_{i}j}}{1-e^{{\mathrm{\α}}_{i}j}}+\frac{l(l+1)}{2}-l(z+1)\frac{e^{{\mathrm{\α}}_i(z+1)}}{1-e^{{\mathrm{\α}}_i(z+1)}}$

同理，可以采用跟上述模型一样的方法求解获得α_i。

(4)本发明选择融合排序ξ的第一个位置的候选目标区域作为跟踪结果。利用该跟踪结果对产生式跟踪算法进行更新，在基于多示例学习跟踪算法的更新过程中，采用融合排序ξ的前k₁(k₁＜k)个候选图像模型块选取被看作正样本袋，而底部的k₂(k₂＜k)个样本同样被选择，但为负样本袋。该更新过程可以有效地避免了自我训练，从而解决了模型漂移问题。

(5)专家度参数的自适应学习。传统的排序融合模型假设专家度参数α_i是完全独立的。但是在跟踪过程中，同一算法在相邻帧的专家度不满足上述假设，因此仅通过EM算法来估计专家度参数是不够合理的。本发明提出一种专家度参数的自适应学习方法，在得到最终排列ξ后，我们可以通过计算两个排序之间的距离d(ξ,r_i)大小来评价第i个跟踪算法性能的好坏，然而在整个评价过程中，排序前面位置和后面位置具有同等的重要性，这与实际不符。我们在更新时仅计算融合排序ξ和每种算法排序r_i的第一个位置。如果第i个跟踪算法的第一个排序位置一致，则第i个跟踪算法性能可靠，赋予m＞1，用来增加此跟踪算法的可信度，反之，赋予m＜1。专家度更新如下定义：

${\mathrm{\α}}_i^t=\mathrm{\ω}{\mathrm{\α}}_i^{t-1}*m+(1-\mathrm{\ω}){\mathrm{\α}}_i^{t-1}$

其中，ω＝1-e^-1/σ作为遗忘因子，σ是预先定义的常数，专家度参数的自适应学习策略能够加速EM算法的收敛速度，且使得结果更加精确。

Claims (2)

1.一种基于排序融合学习的目标跟踪方法，其特征在于：包括以下步骤:

1)选择4种不同的跟踪算法，其中包括3种基于产生式模型的跟踪算法：基于增量子空间学习的跟踪算法、基于协方差特征的跟踪算法、基于空间约束混合高斯模型的跟踪算法，以及1种基于判别式模型的跟踪算法：基于多示例学习的跟踪算法；4种跟踪算法全部采用粒子滤波跟踪框架，依据上一帧的跟踪结果，通过高斯随机扰动产生目标候选区域并按照顺序标记序号；

2)每一种跟踪算法根据各自的表观模型对目标候选区域进行评价，然后根据评价结果给每个目标候选区域赋予一个权重，最后按照权重大小对所有目标候选区域进行排序，4种算法对所有的目标候选区域排序获得4种不同排序；

3)根据目标候选区域的4种排序，首先定义两种不同排序之间的Kendall’s tau距离：将一种排序通过交换相邻位置的元素，转变成另一种排序所需要的最小交换次数，该距离满足“右不变性”，即对两种排序采用同样的变换操作，不会影响其距离值；

4)给定目标候选区域的不同排序，利用定义的距离测度，建立其真实排序的后验概率模型，该模型可以有效的融合目标候选区域的不同排序以及各个排序的可靠性，为了提高实时性，只对不同排序中的前k个序列进行融合，利用期望最大化算法估计该后验概率模型中的参数，并生成最终融合的候选区域排序；

其中，本方法选择融合排序的排名第一的候选区域作为跟踪结果，并由此排序对4种不同跟踪算法的表观模型进行更新；

5)为了提高模型的鲁棒性和期望最大化算法的迭代收敛速度，对后验概率模型中的专家度参数，即表示每种排序的可靠性参数，进行自适应学习，学习过程中，要计算一帧模型的专家度和各算法与跟踪结果的吻合度。

2.根据权利要求1所述的基于排序融合学习的目标跟踪方法，其特征在于：所述的步骤1)具体为:

首先，选取四种不同的跟踪算法作为融合对象，对输入视频序列第一帧中的目标进行初始化；

其次，采用粒子滤波跟踪框架，根据上一帧的跟踪结果，通过高斯随机扰动产生目标候选区域并按照顺序标记序号。