CN102194234A - 一种基于序列粒子群优化的图像跟踪方法 - Google Patents

Abstract

本发明涉及一种基于序列粒子群优化的图像跟踪方法，包括步骤：在当前帧图像中，利用状态转移分布对上一帧图像中的个体最优状态集进行随机传播；对随机传播后产生的粒子进行粒子群优化迭代；利用基于空间约束混合高斯的表观模型对每个粒子的适应值进行评价；根据适应值评价的结果更新粒子的个体最优状态和群体最优状态；收敛判断：若满足收敛条件，则输出群体最优状态粒子对应的观测值作为当前帧图像的跟踪结果，否则的话继续进行粒子群优化迭代。本发明实现了有效的目标跟踪，具有很好的应用前景。

Description

一种基于序列粒子群优化的图像跟踪方法

技术领域

本发明涉及计算机视觉领域，特别涉及可视化跟踪(Visual tracking)技术。

背景技术

复杂场景下目标的运动跟踪是近些年来计算机视觉领域里的前沿研究方向之一，也是该领域中难点之一。特别是动态场景下的目标运动分析受到了世界上许多重要研究机构的高度重视，这充分说明了它的重要性。跟踪问题等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题。大体上，目标跟踪的算法都要设计两个关键性问题：①表观模型，即如何对目标进行建模、并且实时更新。因此，如何构建一个好的表观模型对目标识别起着至关重要的作用。特别是在时序数据流中，目标的表观是随着时间而变化的，同时还可能受到各种光照变化、噪音、部分遮挡、形变等复杂因素的干扰。此外，还要满足实际应用的低计算复杂度的要求。②跟踪框架，如何对候选区域与目标模板进行有效地匹配。总的来说，目前存在的跟踪算法的理论框架大致可以分为确定性跟踪框架和随机性跟踪框架两大类。确定性跟踪框架容易陷入局部极值，而随机化跟踪框架也存在着样本退化和计算量大等问题。

这样就提出一个严峻的挑战，那就是如何构建一个在线的低复杂度的并且非常有效的表观模型，这对目标跟踪、姿态估计以及行为理解是非常重要的，以及如何建立一个有效的跟踪框架，避免陷入局部极值以及样本退化等主要问题。

表观模型方面，目标区域的颜色直方图忽略了目标表观的颜色空间分布信息；基于核密度估计的表观模型虽然克服了这一点，但计算和存储复杂度非常高；混合高斯模型能动态地学习像素颜色的时间统计特性，但对噪音非常敏感；自适应的混合高斯融合空间和颜色信息，但致对目标表观的全局性的变化以及噪音非常敏感；基于在线子空间学习的方法将图像展成向量，丢失了几乎全部空间信息，对仍对噪声敏感；基于张量的子空间方法能极大地被减少目标的时空分布冗余，但不能在线地更新，因此，无法将这种有效的建模方法应用于时序数据跟踪，也导致了很大的运算和存储代价。

跟踪框架方面，典型的确定性跟踪框架根据事先设定的相似度损失函数(Similarity Cost Function)，在当前图像帧内的局部区域通过梯度优化的迭代方法找到与目标标准模版最为相似的区域。确定性跟踪框架一般计算量较小，效率较高，但容易陷入局部极小值，导致跟踪的结果不够精确。随着跟踪误差的积累，最后可能导致跟踪失败。随机性跟踪框架利用状态空间对当前跟踪系统进行模型化，利用随机产生粒子来逼近状态的后验分布。粒子滤波(Particle Filter)，也被称为时序蒙特卡罗(sequential MonteCarlo)方法，是目前最为广泛使用的随机性方法。与随机性跟踪框架相比，随机性跟踪框架更为鲁棒，但是计算量过大，而且随着目标状态的增长呈指数增长。另外，由于没有好的机制选择重要性分布，粒子滤波器存在着严重的样本退化问题。

发明内容

为了解决现有技术的问题，本发明目的在于提出一种适用于移动摄像机的复杂场景下(剧烈运动、光照变化，噪声，部分遮挡，形变等)鲁棒的目标跟踪框架。

为实现上述目的，本发明提出一种基于序列粒子群优化的图像跟踪方法，深入的探究了粒子滤波算法样本退化的理论原因，得到一种新的跟踪框架，其方法包括步骤如下：

步骤1：在当前帧图像中，利用状态转移分布对上一帧图像中的个体最优状态集进行随机传播并产生粒子；

步骤2：对随机传播后产生的粒子进行粒子群优化迭代，获得粒子的适应值；

步骤3：利用基于空间约束混合高斯的表观模型对每个粒子的适应值进行评价，获得适应值评价的结果；

步骤4：根据适应值评价的结果更新粒子的个体最优状态和群体最优状态；

步骤5：对适应值评价的结果、粒子的个体最优状态和群体最优状态进行收敛判断：若满足收敛条件则输出群体最优状态粒子对应的观测值作为当前帧图像的跟踪结果，若不满足上述收敛条件，则继续执行步骤2。

优选地，对上一帧图像中的个体最优状态集进行随机传播的步骤包括：步骤11：给定上一帧图像中粒子群集合的个体最优状态；步骤12：根据高斯分布对个体最优状态粒子集合进行随机传播。

优选地，对随机传播后产生的粒子进行粒子群优化迭代，包括步骤如下：步骤21：根据前一次迭代的粒子个体最优和全局最优状态得到本次迭代的加速度参数；步骤22：根据对当前粒子的预测速度设定当前粒子最大速度限制；步骤23：根据最大速度限制，定义保证收敛性并提高收敛速度的收缩参数；步骤24：根据上述收缩参数对速度进行迭代：

得到当前粒子的速度；其中v^i，n为前一次迭代时粒子的速度，x^i，n为前一次迭代时粒子的状态，v^i，n+1为估计出来的当前迭代粒子的速度，pⁱ为粒子个体最优状态，g为粒子群体最优状态，

为加速度常数，u₁和u₂为[0，1]间的均匀随机数，R(·)为收缩因子；步骤25：根据当前粒子的速度对粒子状态进行迭代：x^i，n+1＝x^i，n+v^i，n+1，得到当前粒子状态，x^i，n+1为估计出来的当前迭代粒子的状态。

优选地，所述加速度常数

被设置成自适应的加速度常数，如下式表示：

其中f(·)表示适应值评价函数。

优选地，对每个粒子的适应值进行评价的步骤包括：步骤31：根据每个粒子状态得到对应的观测值；步骤32：根据事先定义的适应值评价函数对粒子的适应值进行评价。

优选地，根据适应值评价结果更新个体最优状态和群体最优状态的步骤包括：步骤41：基于适应值评价的结果，对个体最优状态进行更新：对一个粒子而言，如果对该粒子当前的个体状态的适应值评价优于该粒子最优状态，则将该粒子最优状态更新为该粒子当前状态，如果对该粒子当前的个体状态的适应值评价劣于该粒子最优状态，则保持该粒子最优状态原值不变；步骤42：基于适应值评价的结果，对群体最优状态进行更新：在所有粒子的个体最优状态的适应值评价结果中，挑选出评价结果最优的粒子个体最优状态，作为群体最优状态。

优选地，所述收敛判断的步骤包括：步骤51：基于更新过的粒子个体最优状态和群体最优状态，对群体最优状态的粒子的适应值评价结果进行收敛判断，如果该群体最优状态适应值评价结果大于事先规定的阈值，并且所有个体最优状态都落在群体最优状态的某范围的邻域中，则认为达到收敛条件；步骤52：如果上述条件得不到满足，则判断迭代次数是否达到最大迭代次数；若迭代次数达到最大迭代次数，则认为达到收敛条件，若迭代次数没有达到最大迭代次数，则认为还未收敛；步骤53：如果已经收敛，则迭代过程结束，则输出群体最优状态粒子对应的观测值作为当前帧图像的跟踪结果，如果未收敛，则继续进行粒子群优化迭代。

本发明的有益效果：

1)该方案采用“鸟群觅食”模型来模拟跟踪问题，融合了粒子的惯性速度，个体最优状态，群体最优状态，具备单个粒子计算和评价简单以及群体粒子共享的优性能。

2)相比于传统的粒子群优化算法需要人为的设置多个参数，本发明的方案中参数来源于粒子自身的状态，它是自适应的，能适应目标运动的变化。

3)本发明中的序列粒子群优化的算法在本质上来看是由粒子群优化迭代过程和粒子滤波过程来组成，从贝叶斯推理的角度来看，序列粒子群优化算法所采用的策略可以看成多层采样过程，因此它能逼近直接采样于最佳重要性的结果，克服传统粒子滤波算法中的样本退化问题。

附图说明

图1是粒子迭代的示意图；

图2是本发明的粒子群优化框架示意图；

图3是本发明收敛准则示意图；

具体实施方式

下面详细给出该发明技术方案中所涉及的各个细节问题的说明。

本发明的方案实施的算法见附图。本发明的方法具体运行的硬件和编程语言并不限制，用任何语言编写都可以完成，为此其他工作模式不再赘述，下面仅举一实例，采用一台具有2.8G赫兹中央处理器和1G字节内存的奔腾4计算机并用Matlab语言编制了序列粒子群优化跟踪框架的工作程序，实现了本发明的方法，本发明的方法利用对粒子随机传播模块、粒子群优化迭代模块、适应值评价模块、粒子个体最优状态和群体最优状态更新模块以及收敛判断模块实现本发明的方法，具体实施如下：对前一时刻的个体最优粒子状态根据高斯分布进行随机传播，以增强粒子的多样性；接下来进行粒子群优化迭代，由随机传播的粒子状态得到当前粒子的状态；接着用适应值评价函数得到各个粒子的适应值；然后对粒子个体最优状态和群体最优状态进行更新；最后进行收敛判断，如果已收敛，则输出群体最优状态对应的观测值作为跟踪结果，否则继续进行粒子群优化迭代。

图2示出整个序列粒子群优化算法进行跟踪的流程，具体步骤如下所述：

(1).在当前帧图像中，利用状态转移分布对上一帧图像中的个体最优状态集进行随机传播：

给定t时刻图像跟踪结果中粒子群集合的个体最优状态集为{p_t ⁱ}_i＝1 ^N，采用简单的高斯分布对粒子集合进行随机传播，从t时刻向t+1时刻的随机传播策略如下：

其中x_t+1 ⁱ为对粒子群集合的个体最优状态进行随机传播后得到的粒子状态，

表示高斯随机传播过程，p_t ⁱ为高斯分布的均值，∑为高斯分布的协方差矩阵，它是一个对角矩阵，其对角元素由预测速度v_t ^pred决定：

$v_t^{\mathrm{pred}}=g_{t-1}-g_{t-2}$

其中g_t-1和g_t-2为t-1时刻和t-2时刻的粒子群体最优状态。

(2).对随机传播后产生的粒子进行粒子群优化迭代，由随机传播的粒子状态得到当前粒子的状态：

由上一步我们得到了经过对前一时刻粒子个体最优状态集进行随机传播后的粒子，接下来将对这些初步得到的粒子进行粒子群优化迭代，具体做法是当前时刻粒子状态等于由前一时刻随机传播后的粒子状态加上一项速度，故粒子群优化迭代公式为速度迭代公式和状态迭代公式，它们分别如下：

x^i，n+1＝x^i，n+v^i，n+1

其中v^i，n为前一次迭代时粒子的速度，x^i，n为前一迭代时粒子的状态，v^i，n+1为估计出来的当前迭代粒子的速度，x^i，n+1估计出来的当前迭代粒子的状态，pⁱ为粒子个体最优状态，g为粒子群体最优状态，

为加速度常数，u₁和u₂为[0，1]间的均匀随机数，R(·)为收缩因子，使得速度小于最大限制速度，这样保证了收敛性并提高了收敛速度。在速度迭代公式中，第一项为粒子前一时刻的速度，表示粒子对当前自身运动状态的信任，依据自身的速度进行惯性运动；第二项取决于粒子当前位置与自身最优位置之间的距离，为“认知(Cognition)”部分，表示粒子本身的思考，即粒子的运动来源于自己经验的部分；第三项取决于粒子当前位置与群体中全局最优位置之间的距离，为“社会(Social)”部分，表示粒子间的信息共享与相互合作，即粒子的运动来源于群体中其他粒子经验的部分，它通过认知较好地模拟了同伴的运动。整个迭代的示意图见图1。

在传统的迭代中加速度参数被设置为常数，这种非有效的控制将使得算法存在发散的危险，为此这些参数被设置成自适应的：

其中f(·)表示适应值评价函数。这些参数被设置成自适应的，表示对“认知”部分或者“社会”部分的信赖程度应该由他们的适应值决定，而不是一视同仁。

另外，传统算法中最大速度通常设置为一个预定义的常量。然而，这在跟踪中往往是不合理的，因为目标物体的运动是随机的，运动幅度往往也是不一样的，特别是在移动摄像机条件下。因此基于预测速度v_t ^pred，最大速度被设置为：

$v_t^{\max }=1.2*v_t^{\mathrm{pred}}$

这样最大速度v_t ^max可以根据预测速度v_t ^pred改变而改变，从而在一定程度上可以适应目标运动的变化，并且它是v_t ^pred的1.2倍，因此可以提供给粒子一定的加速度。

收缩因子定义如下：

$R=\left\{\begin{array}{c}\left|\right|v_t^{\max }\left|\right|/\left|\right|v_t^{i,n+1}\left|\right|,\mathrm{if}\left|\right|v_t^{i,n+1}\left|\right|>\left|\right|v_t^{\max }\left|\right|\\ 1,\mathrm{else}\end{array}\right.$

其中v_t ^max为最大速度，v_t ^i，n+1为估计出来的t时刻迭代粒子的速度。

(3).用适应值评价函数得到各个粒子的适应值：

适应值即粒子状态对应的观测值的似然，故适应值评价函数即为计算似然的函数，定义如下：

$f\left(x_{t+1}^{i,n+1}\right)=p\left(y_{t+1}^{i,n+1}\right|x_{t+1}^{i,n+1})$

其中i＝1，...，N，n＝0，...，T，p(·)为观测值的似然函数，f(·)表示适应值评价函数，x_t+1 ^i，n+1为粒子状态，y_t+1 ^i，n+1为x_t+1 ^i，n+1对应的观测值，根据我们采用的基于空间约束的混合高斯表观模型，该似然函数的形式为：

$p\left(o_t\right|s_t)=\underset{j=1}{\overset{d}{\mathrm{\Π}}}\{N(x\left(j\right);x_c,{\mathrm{\Σ}}_c)*\underset{i=s,w,f}{\mathrm{\Σ}}{\mathrm{\π}}_{i,t}\left(j\right)N(o_t\left(j\right);{\mathrm{\μ}}_{i,t}\left(j\right){\mathrm{\σ}}_{i,t}^2\left(j\right))\}$

其中s_t为t时刻的粒子状态，o_t为t时刻的粒子状态s_t对应的观测值，{π_i，t，μ_i，t，σ_i，t，i＝s，w，f}表示混合高斯各组成部分的权重，s代表跟踪过程中的模型的稳定成分，w用于描述两帧间的差异，f为初始化时的固定模板，d为候选区域中的像素个数，x(j)表示第j个像素的位置，x_c和∑_c为空间约束高斯分布的均值和协方差矩阵，N(x；μ，σ²)表示高斯分布：

$N(x;\mathrm{\μ},{\mathrm{\σ}}^2)={\left(2\mathrm{\π}{\mathrm{\σ}}^2\right)}^{-1/2}\exp \{-\frac{{(x-\mathrm{\μ})}^2}{2{\mathrm{\σ}}^2}\}$

其中x表示函数的输入自变量，μ表示高斯分布的均值，σ²表示高斯分布的方差。

经过上述评价函数的评价，每个粒子都得到其适应值。

(4).对粒子个体最优状态和群体最优状态进行更新：

前一阶段已经通过评价函数得到各个粒子的适应值，利用这些结果，对粒子的个体最优状态和群体最优状态进行更新，其中若粒子的当前状态的适应值优于其历史个体最优状态，则将该粒子的个体最优状态更新为当前粒子的适应值，否则保持历史个体最优状态不变，进行群体最优状态更新时，在所有粒子的个体最优状态的适应值评价结果中，挑选出评价结果最优的粒子个体最优状态，作为群体最优状态。更新个体最优状态和群体最优状态可用如下公式表示：

$g=\arg \underset{p^i}{\max }f\left(p^i\right)$

所有的粒子都将通过这种方式寻找评价函数f(·)的最优值直到收敛。

(5).进行收敛判断，如果已收敛，则输出群体最优状态对应的观测值，否则继续进行粒子群优化迭代：

基于更新过的粒子个体最优状态和群体最优状态，进行收敛判断。如果群体最优状态的适应值高于事先定义的一个阈值，即f(g_t)＞Th，并且所有个体最优状态都落在群体最优状态的某范围的邻域中，则认为已经达到收敛，如果这个条件不能满足，则看迭代次数是否已经达到最大迭代次数，若达到，则认为收敛，否则认为不收敛。收敛准则的示意图见图3。

如果判断为已经收敛，则迭代过程结束，输出群体最优状态粒子对应的观测值作为跟踪结果，如果判断为不收敛，则继续进行粒子群优化迭代。

根据这一收敛准则，目标物体可以被有效地搜索和定位，并且收敛后的个体最优状态集{p_t ⁱ}_i＝1 ^N为下一个时刻的优化提供了很好的初始粒子集，从而将跟踪过程中的时序信息有效的加入到粒子群优化的框架中。另外，个体最优状态集{p_ti}_i＝1 ^N还保留了样本的多样性，同时也避免了样本退化问题。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种基于序列粒子群优化的图像跟踪方法，其特征在于，该图像跟踪方法包括步骤：

步骤1：在当前帧图像中，利用状态转移分布对上一帧图像中的个体最优状态集进行随机传播并产生粒子；

步骤2：对随机传播后产生的粒子进行粒子群优化迭代，获得粒子的适应值；

步骤3：利用基于空间约束混合高斯的表观模型对每个粒子的适应值进行评价，获得适应值评价的结果；

步骤4：根据适应值评价的结果更新粒子的个体最优状态和群体最优状态；

步骤5：对适应值评价的结果、粒子的个体最优状态和群体最优状态进行收敛判断：若满足收敛条件则输出群体最优状态粒子对应的观测值作为当前帧图像的跟踪结果，若不满足上述收敛条件，则继续执行步骤2。

2.按照权利要求1所述的图像跟踪方法，其特征在于，对上一帧图像中的个体最优状态集进行随机传播的步骤包括：

步骤11：给定上一帧图像中粒子群集合的个体最优状态；

步骤12：根据高斯分布对个体最优状态粒子集合进行随机传播。

3.按照权利要求1所述的图像跟踪方法，其特征在于，对随机传播后产生的粒子进行粒子群优化迭代，包括步骤如下：

步骤21：根据前一次迭代的粒子个体最优和全局最优状态得到本次迭代的加速度参数；

步骤22：根据对当前粒子的预测速度设定当前粒子最大速度限制；

步骤23：根据最大速度限制，定义保证收敛性并提高收敛速度的收缩参数；

步骤24：根据上述收缩参数对速度进行迭代：

得到当前粒子的速度；其中v^i，n为前一次迭代时粒子的速度，x^i，n为前一次迭代时粒子的状态，v^i，n+1为估计出来的当前迭代粒子的速度，pⁱ为粒子个体最优状态，g为粒子群体最优状态，

为加速度常数，u₁和u₂为[0，1]间的均匀随机数，R(·)为收缩因子；

步骤25：根据当前粒子的速度对粒子状态进行迭代：x^i，n+1＝x^i，n+v^i，n+1，得到当前粒子状态，x^i，n+1为估计出来的当前迭代粒子的状态。

4.按照权利要求3所述的图像跟踪方法，其特征在于，所述加速度常数

被设置成自适应的加速度常数，如下式表示：

其中f(·)表示适应值评价函数。

5.按照权利要求1所述的图像跟踪方法，其特征在于，对每个粒子的适应值进行评价的步骤包括：

步骤31：根据每个粒子状态得到对应的观测值；

步骤32：根据事先定义的适应值评价函数对粒子的适应值进行评价。

6.按照权利要求1所述的图像跟踪方法，其特征在于，根据适应值评价结果更新个体最优状态和群体最优状态的步骤包括：

步骤41：基于适应值评价的结果，对个体最优状态进行更新：对一个粒子而言，如果对该粒子当前的个体状态的适应值评价优于该粒子最优状态，则将该粒子最优状态更新为该粒子当前状态，如果对该粒子当前的个体状态的适应值评价劣于该粒子最优状态，则保持该粒子最优状态原值不变；

步骤42：基于适应值评价的结果，对群体最优状态进行更新：在所有粒子的个体最优状态的适应值评价结果中，挑选出评价结果最优的粒子个体最优状态，作为群体最优状态。

7.按照权利要求1所述的图像跟踪方法，其特征在于，所述收敛判断的步骤包括：

步骤51：基于更新过的粒子个体最优状态和群体最优状态，对群体最优状态的粒子的适应值评价结果进行收敛判断，如果该群体最优状态适应值评价结果大于事先规定的阈值，并且所有个体最优状态都落在群体最优状态的某范围的邻域中，则认为达到收敛条件；

步骤52：如果上述条件得不到满足，则判断迭代次数是否达到最大迭代次数；若迭代次数达到最大迭代次数，则认为达到收敛条件，若迭代次数没有达到最大迭代次数，则认为还未收敛；

步骤53：如果已经收敛，则迭代过程结束，则输出群体最优状态粒子对应的观测值作为当前帧图像的跟踪结果，如果未收敛，则继续进行粒子群优化迭代。

Images