CN109191500A - 一种多目标跟踪方法 - Google Patents

Abstract

本发明实施例公开一种基于概率图模型的粒子滤波的多目标跟踪方法。该多目标跟踪方法包括步骤初始化、状态转移、权值计算、概率图模型推理、状态估计和重采样。该多目标跟踪方法在基于粒子滤波的目标跟踪框架中，引入了概率图模型的数据关联理论，从而有效地解决多目标跟踪的不确定性；并且将多目标跟踪模型表示为一个无相图模型，利用图模型推理方法来解决多目标的跟踪问题，不仅简化了多目标跟踪中的数据关联，使得运算量减小，还能够处理众多目标之间的遮挡问题。

Description

一种多目标跟踪方法

技术领域

本发明涉及图像处理和模式识别的技术领域，具体涉及一种基于概率图模型的粒子滤波的多目标跟踪方法。

背景技术

多目标跟踪抑制是目标跟踪领域的研究热点，特别是在复杂环境下对多个目标的跟踪。近年来，粒子滤波已经成为目标跟踪领域的主流跟踪方法。由于在多目标跟踪中，背景的建模、运动目标的检测、目标特征提取、匹配识别及多目标关联之间存在诸多不确定因素，所以粒子滤波的跟踪方法在进行多目标跟踪时，不能很好地处理各个目标之间的相互关系，导致无法实现目标的准确跟踪。

目前，为了解决粒子滤波的跟踪方法在多目标跟踪中的问题，常用的方法是将数据关联算法引入粒子滤波的跟踪方法中，具体有三类：最近邻算法、多假设跟踪算法和联合概率数据关联算法。但是，这三类数据关联算法的引入，大幅地增加了多目标跟踪方法的运算量，对运行该方法的硬件要求高且无法实现实时性。

因此，针对现有的多目标跟踪的方法所存在的准确跟踪和大运算量的问题，需要提供一种多目标跟踪方法以实现准确地跟踪且减小运算量。

发明内容

针对现有多目标跟踪的方法所存在的准确跟踪和大运算量的问题，本发明实施例提出一种基于概率图模型的粒子滤波的多目标跟踪方法。该多目标跟踪方法在基于粒子滤波的目标跟踪框架中，引入了概率图模型的数据关联理论，从而有效地解决多目标跟踪的不确定性；并且将多目标跟踪模型表示为一个无相图模型，利用图模型推理方法来解决多目标的跟踪问题，不仅简化了多目标跟踪中的数据关联，使得运算量减小，还能够处理众多目标之间的遮挡问题。

该基于概率图模型的粒子滤波的多目标跟踪方法的具体方案如下：一种多目标跟踪方法，包括步骤S1：在初始帧中，通过目标检测方法来获取目标模板和质心位置，并建立目标的初始状态参数和计算目标的颜色直方图；步骤S2：根据状态转移方程，对每个目标的粒子集进行状态转移，获取新的目标状态；步骤S3：根据观测方程，计算每个目标的粒子集的观测概率；步骤S4：根据相邻目标的状态，计算每个目标的最大联合后验概率，并更新每个目标的粒子集的权值，评估多目标的相邻信息；步骤S5：输出每个目标的位置，并估计每个目标的当前状态；步骤S6：对每个目标的粒子集进行重采样，并返回步骤S2。

优选地，所述目标的初始状态参数的表达式为：

其中，Q_i,t-1(x_i,t-1)为目标状态，x_i,t-1为每个目标，s_i,t-1为每个粒子，M为目标的总个数，N为估计每个目标状态所用的粒子数。

优选地，所述目标检测方法为采用自适应混合高斯模型对背景进行建模并通过背景差法进行目标检测。

优选地，所述状态转移方程的表达式为:x(t)＝f(x(t-1),u(t),w(t)),其中，x(t)为t时刻状态，u(t)为控制量，w(t)为状态噪声。

优选地，所述新的目标状态的表达式为：

优选地，所述观测方程的表达式为：y(t)＝h(x(t),e(t))，其中，x(t)为t时刻状态,e(t)为观测噪声。

优选地，所述每个目标的粒子集的观测概率的表达式为：

其中，z_i,t为目标x_i,t的观测，s_i,t为每个粒子，为观测概率。

优选地，步骤S4的具体过程为：

根据公式计算信息；

根据公式更新粒子的权值；

权值归一化后更新粒子状态为：

优选地，每个目标的当前状态的表达式为：

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供一种基于概率图模型的粒子滤波的多目标跟踪方法。该多目标跟踪方法在基于粒子滤波的目标跟踪框架中，引入了概率图模型的数据关联理论，从而有效地解决多目标跟踪的不确定性；并且将多目标跟踪模型表示为一个无相图模型，利用图模型推理方法来解决多目标的跟踪问题，不仅简化了多目标跟踪中的数据关联，使得运算量减小，还能够处理众多目标之间的遮挡问题。

附图说明

图1为本发明实施例中提供的一种多目标跟踪方法的无向图的示意图；

图2为本发明实施例中提供的一种多目标跟踪方法中的7节点的马尔可夫随机场的示意图；

图3为本发明实施例中提供的一种多目标跟踪方法中动态马尔可夫随机场的示意图；

图4为本发明实施例中提供的一种多目标跟踪方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了更好地阐述和理解本发明实施例所提供的一种多目标跟踪方法，先介绍一些本发明实施例中所应用到的基础知识。

概率图模型是一类用图形模型表达基于概率相关关系的模型总称。概率图模型是基于概率论中用贝叶斯规则而建立来的一种图形结构,这种简单而紧凑的信息表达方式可以简化知识的获取和建模过程,节省时间,降低运算的复杂度。

一个无向图G是一个二元组G(V,E),即G＝G(V,E),其中V是非空的顶点集,V中的元素称为节点,用v表示,E是V中元素构成的无序二元组的集合,其中的元素称为边,用e表示。如图1所示，一种无向图的示意图。在图1中，无向图表达式为G＝G(V,E),其中，顶点集合为V＝{v₁,v₂,v₃,v₄}，边集合为E＝{(v₁,v₁),(v₁,v₂),(v₁,v₃),(v₂,v₃),(v₃,v₄),(v₄,v₅)}。

概率图模型一般由参数元素和结构元素组成。参数元素表示随机变量的节点。结构元素表示概率的关系边,即定义在节点集合上的函数。概率图模型所表示的联合概率分布可以用结构元素的乘积表示。

马尔可夫网又称为马尔可夫随机场,是最常用的一类概率图模型。一个马尔科夫网是一个无向图,可用G(V,E)表示,其核心是描述给定图结构的联合概率表达式p(x₁,....,x_k)＝p(x_k/x₁,...,x_k-1,..p(x₂/x₁)p(x₁)。概率定义为所有势函数的乘积规范化，具体表达式为其中，为规范因子。

如图2所示，一种7节点的马尔可夫随机场的示意图。在图2中，该马尔可夫随机场可以分为3个簇,分别表示为：X_c1＝{x₁,x₂,x₃,x₄},X_c2＝{x₄,x₅}以及X_c3＝{x₅,x₆,x₇}。如图3所示,一种动态马尔可夫随机场的示意图。在多目标跟踪中,存在7单体目标,其中又有3个联系体,各联系体间存在互相的关系推理。

本发明实施例针对多目标跟踪中不确定问题,在粒子滤波的框架中,采用无向概率图模型来描述目标之间的数据关联问题,这样不仅能简化知识获取模型,又能很好的通过联合概率分布的表达方式解决目标间的关联问题。在该实施例中，利用一个无向图模型(即马尔可夫随机场)来表示多目标模型,无向图节点代表每个目标,图的结构代表了各个目标之间的数据关联。基于蒙特卡洛原理的粒子滤波理论能够实现非线性非高斯系统的状态参数估计,与变差法结合起来,可实现图模型的近似推理问题,从而实现多个目标跟踪。

本发明实施例，假设场景中有M个跟踪目标,每个目标的状态为x_i，M个目标的联合状态为X＝{x₁,....,x_M}。假设目标x_i的观测为z_i，M个目标的联合观测为Z。当多个目标靠近或者遮挡发生时,很难从图象中区别这些在空间上相邻的目标，并对单个目标独立观测。此时，M个目标的联合观测并不是各个目标观测的简单相乘。在这种情况下,本发明实施例假定每个目标的观测是由所有目标联合观测决定,从而需要建立联合观测似然p(Z/x₁,....,x_M)。在上述假设的前提下，当联合目标观测给定时，所有目标的后验分布存在条件依赖关系。

本发明实施例采用一个无向图(即马尔可夫随机场)来描述多个目标的交互模型。由于目标处于运动状态，所以目标之间的空间关系是变化的,因此，该图模型是动态。图中给出了一个多目标动态MRF图模型。在该实施例中，MRF图模型分为两层，分别为隐蔽层和观测层。隐蔽层中每个节点表示各目标x_i，目标和目标之间的连接代表他们之间的依赖关系。观测层中每个节点表示各目标的观测z_i。目标x_i和观测z_i之间连续，表示观测似然p(z_i/x_i)。图中反映了两个时间帧上多运动目标间关系的变化。这个变化是因为目标相互空间关系的移动。在跟踪过程中，如果目标相距很远且没有遮挡,则在网络中就表示为独立的节点。

在将多目标采用上述图模型描述后，在进行目标跟踪过程中,目标间的相互关系就成了图模型的推理。当多个目标在空间上互相靠近的时候，目标之间产生依赖。目标的先验分布即伪联合分布P(X)，对于上述模型，伪联合分布的表达式如公式1所示：

当目标之间相互靠近且观测无法分开时，会产生运动依赖，很难对目标之间的运动依赖精度建模。当目标在状态空间占领一个区域时，其他目标占领这个区域的概率就会降低，可以用公式2进行表示：

其中，d(x_i,x_j)为目标x_i,y_j之间的欧式距离。

多目标跟踪问题的核心是根据当前观测Z计算出M个目标的后验概率P(X/Z)。在本发明实施例中，采用变差法实现图模型的推理，通过寻求最优分布Q^*(X)使得这个可变参数和分布之间的KL距离最小。最优分布Q^*(X)的计算公式3如下所示：

Q^*(X)＝arg min KL(Q(X)*p(X/Z)) (公式3)

其中，Q_i(x_i)是每个状态节点x_i的独立分布。由于Q_i是状态函数，因此，得到一个带约束的拉格朗日方程，如公式4所示：

假设目标先验分布为Gibbs分布。在时刻t将公式4代入公式3，得到一个固定点迭代方程，具体表达式如公式5所示：

通过公式5和公式6所示，目标的当前状态参数不仅和目标先前状态、当前观察似然有关，还和目标附近的个体状态有关，因此多目标跟踪方法能很好的处理目标体间的相互关系。在本发明实施例中，对每个目标x_i用一组初始粒子来表示它的状态：其中，Z_i'是一个常量，N(i)为与目标i相连的目标，通过迭代更新来减少KL距离并可以达到平衡，继而实现多目标跟踪。

综上所述，动态MRF图模型推理过程归纳为：对每个目标Q_i(x_i,t)的每个粒子s_i,t，根据相邻目标的状态，按照信息评估机制进行迭代，更新粒子的权值，直到收敛。令k＝k+1，计算下列三个步骤的公式

(1)进行信息评估：按照公式7计算相关信息：

(2)按照公式8进行权值计算，得到新的粒子权值：

(3)将权值归一化后，更新粒子状态。更新后粒子状态的表达式如公式9所示：

基于上述整个概率图模型的推理，本发明实施例基于概率图模型的粒子滤波的多目标跟踪算法的具体步骤如图4所示。在本发明实施例中，多目标跟踪方法以M个目标，对每个目标采用N个粒子来估计状态为例进行详细说明。如图4所示，本发明实施例所提供的多目标跟踪方法包括六个步骤。

步骤S1：在初始帧中，通过目标检测方法来获取目标模板和质心位置，并建立目标的初始状态参数和计算目标的颜色直方图。在该实施例中，目标检测方法为采用自适应混合高斯模型对背景进行建模并通过背景差法进行目标检测。在该实施例中，令K＝0，每个粒子的状态s为当前目标状态，权值为1/N，目标的初始状态参数的表达式为：其中，Q_i,t-1(x_i,t-1)为目标状态，x_i,t-1为每个目标，s_i,t-1为每个粒子，M为目标的总个数，N为估计每个目标状态所用的粒子数。

步骤S2：根据状态转移方程，对每个目标的粒子集Q_i,t-1(x_i,t-1)进行状态转移，获取新的目标状态。新的目标状态的表达式为在该实施例中，状态转移方程的具体表达式为x(t)＝f(x(t-1),u(t),w(t))，其中，x(t)为t时刻状态，u(t)为控制量，w(t)为状态噪声。

步骤S3：根据观测方程，计算每个目标Q_i,t(x_i,t)的粒子集的观测概率从而得到在该实施例中，观测方程的具体表达式为y(t)＝h(x(t),e(t))，其中，x(t)为t时刻状态,e(t)为观测噪声。

步骤S4：根据相邻目标的状态，计算每个目标的最大联合后验概率，并更新每个目标的粒子集的权值，评估多目标的相邻信息。对每个目标Q_i(x_i,t)的每个粒子，根据相邻目标的状态，计算各目标最大联合后验概率，并更新粒子权值。令K＝K+1，进行多目标相邻信息评估。根据公式7计算获得信息继而更新粒子的权值，即直到收敛，完成推理更新状态；权值归一化后更新粒子状态为

步骤S5：输出每个目标的位置，并估计每个目标的当前状态。每个目标的当前状态的表达式为

步骤S6：对每个目标的粒子集进行重采样，并返回步骤S2。

在该实施例中，步骤S1可以简称为初始化步骤，步骤S2可以简称为状态转移步骤，步骤S3可以简称为权值计算步骤，步骤S4可以简称为概率图模型推理步骤，步骤S5可以简称为状态估计步骤，步骤S6可以简称为重采样步骤。

本发明实施例提供一种基于概率图模型的粒子滤波的多目标跟踪方法。该跟踪方法在粒子滤波框架下，首先对传统目标模型进行更新，并且提出一种新的融合颜色信息和运动信息的目标模型。该跟踪方法既能弥补粒子滤波计算量大的缺点，又能有效克服由于均值漂移而容易陷入局部最大值的不足，且由于同时融合目标的颜色和运动信息，从而有效抑制了背景干扰，最终实现目标的准确，实时性跟踪。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种多目标跟踪方法，其特征在于，所述方法包括步骤：

步骤S1：在初始帧中，通过目标检测方法来获取目标模板和质心位置，并建立目标的初始状态参数和计算目标的颜色直方图；

步骤S2：根据状态转移方程，对每个目标的粒子集进行状态转移，获取新的目标状态；

步骤S3：根据观测方程，计算每个目标的粒子集的观测概率；

步骤S4：根据相邻目标的状态，计算每个目标的最大联合后验概率，并更新每个目标的粒子集的权值，评估多目标的相邻信息；

步骤S5：输出每个目标的位置，并估计每个目标的当前状态；

步骤S6：对每个目标的粒子集进行重采样，并返回步骤S2。

2.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述目标的初始状态参数的表达式为：

其中，Q_i,t-1(x_i,t-1)为目标状态，x_i,t-1为每个目标，s_i,t-1为每个粒子，M为目标的总个数，N为估计每个目标状态所用的粒子数。

3.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述目标检测方法为采用自适应混合高斯模型对背景进行建模并通过背景差法进行目标检测。

4.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述状态转移方程的表达式为:

x(t)＝f(x(t-1),u(t),w(t))

其中，x(t)为t时刻状态，u(t)为控制量，w(t)为状态噪声。

5.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述新的目标状态的表达式为：

6.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述观测方程的表达式为：

y(t)＝h(x(t),e(t))

其中，x(t)为t时刻状态,e(t)为观测噪声。

7.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述每个目标的粒子集的观测概率的表达式为：

其中，z_i,t为目标x_i,t的观测，s_i,t为每个粒子，为观测概率。

8.根据权利要求1所述的一种多目标跟踪方法，其特征在于，步骤S4的具体过程为：

根据公式计算信息；

根据公式更新粒子的权值；

权值归一化后更新粒子状态为：

9.根据权利要求1所述的一种多目标跟踪方法，其特征在于，每个目标的当前状态的表达式为：