CN101299276B - 分布式多目标跟踪的方法和系统 - Google Patents

Abstract

本发明公开了分布式多目标(102)跟踪的方法和系统(200)。在帧(204)中探测将由多个跟踪器(502)跟踪的多个目标(102)。在变分期望最大化算法的E步骤中计算该多个跟踪器(502)中的每一个的运动状态变量。进一步地，在该算法的M步骤中计算该多个跟踪器(502)中的每一个的数据关联变量(302)。根据运动状态变量和数据关联变量(302)跟踪该多个目标(102)。

Description

分布式多目标跟踪的方法和系统

相关申请的交叉引用

本申请要求于2007年4月20日提交的美国临时申请号No.60/912945的优先权，其全部内部通过引用结合在此。

技术领域

本发明一般地涉及多目标跟踪，更具体地涉及在监视系统中跟踪多个目标的方法和系统。

背景技术

跟踪多个目标在例如视频观测、交通监测、人的活动分析、运动视频分析等许多应用中至关重要。除了跟踪目标的位置，目标的其它特性例如其速度、尺寸等也可以被跟踪。对目标轨迹的分析能预测目标未来的路径，从而可采取适当的动作。例如，跟踪拥挤区域例如机场中的人的活动至关重要，以便于可以探测到异常的活动并且可以防止任何可能的破坏。

跟踪外观有特点的目标更容易，这是因为可以用多个独立的单目标跟踪器跟踪它们。这种情况下，除了特定目标之外的所有目标由于它们相异的外观而可以被视为背景。然而，却难以跟踪外观类似的多个目标，例如拥挤空间中的人。多目标跟踪根本上不同于单目标跟踪并且需要复杂的数据关联逻辑将所探测的测量划分到每一个体的数据源，并且建立它们与所维持的跟踪器的对应。这意味着决定多目标跟踪算法的成功的两个重要过程——跟踪器-测量关联以及跟踪器过滤，其本质上是两个交织的性质。进一步地，除了与单目标跟踪关联的其它问题外，这种多目标跟踪必须处理目标遮蔽(occlusion)。换句话说，即使目标被其它物体遮蔽或阻断，该目标也必须被识别并跟踪。

处理该问题的通常方法采取联合关联矢量的集中表示，随后通过穷举例如联合概率数据关联(JPDA)滤波器，或者通过概率蒙特卡洛最优化来估计该联合关联矢量。然而，在这些方法中，特别是当大量的轨迹和测量数据需要处理时，所涉及的计算复杂性是巨大的。还提出了基于采样的方法来对联合似然函数建模，从而直接估计所有目标的组合的状态。不需借助明确地计算数据关联，基于采样的方法展示了当存在复杂运动时跟踪多个目标的能力。然而，由于联合状态表示的集中的本质，这些方法的复杂性随着被跟踪目标数量的增加而指数上升。

鉴于上述讨论，需要一种提供降低的计算复杂性的方法来跟踪多个目标。

发明内容

本发明的一个示例实施例提供了一种在监视系统中使用变分期望最大化(EM)算法的分布式跟踪多个目标的方法和系统。对于接收到的每一个相继的帧，探测模块探测所接收的帧中的多个目标，并提供探测结果到跟踪模块。跟踪模块包括多个跟踪器。每一个跟踪器在变分EM算法的E步骤中计算其自身的运动状态变量。进一步地，每一个跟踪器在变分EM算法的M步骤中计算其与多目标探测结果之一的数据关联变量。分布式跟踪系统对该多个跟踪器的数据关联变量的值加以限制，从而防止不合理的数据关联。基于所计算的运动状态变量以及数据关联变量，每一个跟踪器跟踪其对应目标。

本发明的另一个示例实施例提供了一种能够计算其自身的运动状态变量和数据关联变量的跟踪器。每一个跟踪器在变分EM算法的E步骤中计算其自身的运动状态变量。进一步地，每一个跟踪器在变分EM算法的M步骤中计算其数据关联变量，并提供有关其计算的数据关联变量的信息到分布式跟踪系统中的其它跟踪器，该数据关联变量将跟踪器与多个目标之一关联。基于所计算的运动状态变量和数据关联变量，每一个跟踪器跟踪其对应的目标。进一步地，每一个跟踪器基于从其它跟踪器接收的信息更新其自身的数据关联变量，并且即使当目标被物体或另一个目标部分地遮蔽时也能够跟踪目标。

这些和其它优点及特性将通过接下来的连同附图一起提供的有关本发明优选实施例的详细描述而变得更加容易理解。

附图说明

图1示出了本发明的实施例可以实施的环境。

图2是示出根据本发明实施例的多目标跟踪系统的方框图。

图3示出了根据本发明实施例的多个跟踪器的两两数据关联限制。

图4是示出根据本发明不同实施例的跟踪器的方框图。

图5A、5B和5C示出了根据本发明不同实施例的连续帧中跟踪器和目标之间的关联。

图6是示出根据本发明一个实施例的多目标跟踪方法的流程图。

图7A和7B是示出根据本发明另一实施例的多目标跟踪方法的流程图。

具体实施方式

本发明的不同实施例提供了一种分布式跟踪多个目标的方法和系统。用变分期望最大化(Variational Expectation Maximization，EM)算法来计算多个跟踪器的运动状态变量和数据关联变量。该多个跟踪器基于所计算的运动状态变量和数据关联变量来跟踪它们的对应目标。

图1示出了本发明的实施例可以实施的环境100。环境100包括三个目标102a、102b和102c，以及显示器104。显示器104在其屏幕上显示正被连续跟踪的目标。在例如机场等拥挤区域可以采用显示器104，使得可以跟踪机场中的人的活动并且可以探测到异常活动。显示器104上所显示的视频图像可以由人操作者监控和/或随后由人操作者审查。该视频图像也可以由自动系统监控，从而节省人力并且提高探测率。尽管图1示出了被跟踪并且显示在显示器上的仅三个目标，然而任何适当数量的目标都可以被跟踪并显示在显示器上。进一步地，也可以采用多个显示器来帮助多目标跟踪。

图2是示出根据本发明一个实施例的多目标跟踪系统200的方框图。系统200包括输入模块202、帧204、探测和跟踪模块206、以及显示器208。探测和跟踪模块206包括探测模块210和跟踪模块212。输入模块202提供帧204到探测和跟踪模块206。探测和跟踪模块206使用变分期望最大化算法来探测并跟踪出现在帧204中的多个目标。探测和跟踪模块206提供其输出到显示正被跟踪的多个目标的显示器208。

根据本发明的不同实施例，输入模块202可以是正常的CCTV视频源或任何其它视频源。帧204包括需要被跟踪的多个目标。因而，正被跟踪的目标作为帧204的序列被接收。帧204包含像素并且每一像素可以具有不同的特性，例如亮度、对比度、颜色等。显示器208可以是能够显示正被跟踪的目标的任何屏幕。

探测模块210探测帧204中的目标。探测模块210可以通过本领域熟知技术探测目标。跟踪模块212通过使用在探测到多个目标之后被初始化的多个跟踪器来跟踪该多个目标。该多个跟踪器通过迭代地使用变分EM算法跟踪该多个目标。特别地，对于所接收的每一帧，探测该多个目标，并且每一个跟踪器预测下一帧的其对应目标的位置并且使用变分EM算法来跟踪其对应目标。多个目标中的每一个可以在显示器208上的矩形区域中示出。以下的段落中详细解释跟踪多个目标的确切过程。

考虑在从输入模块202接收的当前帧t中，m_t个测量由探测模块210探测并且用Z_t表示，其中Z_t＝{z_1，t，z_2，t，...，z_mt，t}。每一测量涉及当前帧t中被探测的一不同目标。在一完整的帧的集合上收集的测量数据用Z^t描述，其中Z^t＝{Z₁，Z₂，...，Z_t}。

根据本发明的不同实施例，M个跟踪器以分布式方式表示，并且每一个跟踪器i具有两个要估计的未知变量{a_i，t，x_i，t}，其中i代表跟踪器标识符并且i∈{1，2，...，M}。换句话说，每一个跟踪器i被认为与数据关联变量a_i，t以及运动状态变量x_i，t关联，数据关联变量a_i，t以及运动状态变量x_i，t需要被确定以正确跟踪目标。a_i，t表示跟踪器i的数据关联变量并且可以从离散集{0，1，...，m_t}中取值。因而，跟踪器i可以将其自身与来自Z_t的每一个可能的测量z_ai，t，t关联或者将其自身与任何测量都不关联，即a_i，t＝0。特别地，a_i，t＝0表示目标的漏检测或者目标从视野中消失。

类似地，x_i，t表示跟踪器i的运动状态变量。根据每一特定应用方案，x_i，t可以描述目标的属性，例如目标位置、速度、尺寸等等。M个跟踪器的数据关联变量和运动状态变量表示为a_t＝{a_1，t，a_2，t，...，a_M，t}，x_t＝{x_1，t，x_2，t，...，x_M，t}。M个跟踪器中的每一个都分配有唯一标识(ID)。

本质上，多目标跟踪算法处理估计后验概率p(x_t，a_t|Z^t)的问题，由于{a_t，x_t}的强交织本性(heavily interleaved nature)其需要复杂计算能力。根据本发明的不同实施例，对于一个变量估计边缘后验概率(marginal posteriori)，而另一变量被看作隐藏在缺失的数据公式表示下。进一步地，通过迭代地重复变分EM算法来解决多个目标跟踪问题。

根据本发明的不同实施例，跟踪器的运动状态变量，即x_t，被认为是缺失变量。这提供了在EM迭代的E步骤中关于x_t的概率分布的连续增加的估计。接着，在M步骤中，计算数据关联变量a_t的点估计(最大后验概率)，其可以通过基于图的最优化技术，例如多重图切割(multi-waygraph cut)算法和最大积置信传播(max-product belief propagation)算法来优化。尽管本发明已对于E步骤后的M步骤进行了说明，很显然M步骤也可以在执行E步骤之前执行。这两个步骤执行的顺序不影响EM算法的输出。

相应地，多目标跟踪问题被公式化为数据关联变量a_t的最大后验概率(MAP)估计问题，如下：

$a_t^{*}=\underset{a_t}{\arg \max }E\left(a_t\right)=\underset{a_t}{\arg \max }\log p\left(a_t\right|Z^t)---\left(1\right)$

其中E(a_t)表示需要被最大化的原始目标函数。等式(1)也可以用以下形式表示：

$a_t^{*}=\underset{a_t}{\arg \max }\log {\∫}_{x_t}p(a_t,x_t|Z^t){\mathrm{dx}}_t---\left(2\right)$

根据詹恩逊不等式(Jensen’s inequality)，将函数Q(x_t)引入等式(2)中为

$a_t^{*}=\underset{a_t}{\arg \max }\log {\∫}_{x_t}Q\left(x_t\right)\frac{p(a_t,x_t|Z^t)}{Q\left(x_t\right)}{\mathrm{dx}}_t$

$\≥\underset{a_t,Q\left(x_t\right)}{\arg \max }{\∫}_{x_t}Q\left(x_t\right)\log \frac{p(a_t,x_t|Z^t)}{Q\left(x_t\right)}{\mathrm{dx}}_t$

$=\underset{a_t,Q\left(x_t\right)}{\arg \max }\stackrel{x}{E}(a_t,Q\left(x_t\right))---\left(3\right)$

其中仅当最优关联a_t ^*被确定并且 $Q\left(x_t\right)=p(a_t^{*},x_t|Z^t)$ 时等式成立。使原始目标函数E(a_t)最大化可以通过关于下限函数

的两个未知属性a_t和Q(x_t)迭代地最大化下限函数来实现。

原则上，尽管Q(x_t)可以被定义为关于x_t的任何正确(valid)概率分布，但是这种情况下Q(x_t)定义为

$Q\left(x_t\right)=\underset{i}{\overset{M}{\mathrm{\Π}}}{Q}_i\left(x_{i,t}\right)---\left(4\right)$

其中每一个因子Q_i(x_i，t)近似未知的边缘概率p(x_i，t|Z^t)。根据等式(3)，下限函数

的最大化可以表示为

$\underset{a_t,Q\left(x_t\right)}{\max }\stackrel{x}{E}(a_t,Q\left(x_t\right))$

$=\underset{a_t,Q\left(x_t\right)}{\max }{\∫}_{x_t}Q\left(x_t\right)\log p(a_t,x_t|Z^t){\mathrm{dx}}_t+H\left(Q\left(x_t\right)\right)$

$=\underset{a_t,Q\left(x_t\right)}{\max }{\∫}_{x_t}Q\left(x_t\right)\log p(a_t,x_t|Z^t){\mathrm{dx}}_t$

$+H\left(Q\left(x_t\right)\right)+\log p\left(Z_t\right|Z^{t-1})$

$=\underset{a_t,Q\left(x_t\right)}{\max }{\∫}_{x_t}Q\left(x_t\right)\log p(a_t,x_t,Z_t|Z^{t-1}){\mathrm{dx}}_t+H\left(Q\left(x_t\right)\right)---\left(5\right)$

其中H(Q(x_t))是Q(x_t)的熵，p(Z_t|Z^t-1)是一个被加的常量。对项p(a_t，x_t，Z_t|Z^t-1)应用链式法则(chain rule)，

p(a_t，x_t，Z_t|Z^t-1)＝p(x_t|Z^t-1)p(a_t|x_t，Z^t-1)p(Z_t|a_t，x_t，Z^t-1)    (6)

使用马尔可夫假定，数据关联变量的先验概率p(a_t|x_t，Z^t-1)可以简化为p(a_t|x_t，Z^t-1)＝p(a_t|x_t)，并且似然模型可以被简化为p(Z_t|a_t，x_t，Z^t-1)＝p(Z_t|a_t，x_t)。那么等式(5)中的下限函数的最大化可以表示为

$\underset{a_t,Q\left(x_t\right)}{\max }\stackrel{x}{E}(a_t,Q\left(x_t\right))=\underset{a_t,Q\left(x_t\right)}{\max }H\left(Q\left(x_t\right)\right)$

$+{\∫}_{x_t}Q\left(x_t\right)\log \[p\left(x_t\right|Z^{t-1})p\left(a_t\right|x_t)p\left(Z_t\right|a_t,x_t)\]{\mathrm{dx}}_t---\left(7\right)$

因而，为解决多目标跟踪问题，三个分布中的每一个，即预测概率p(x_t|Z^t-1)、数据关联变量的先验概率p(a_t|x_t，Z^t-1)、以及似然模型p(Z_t|a_t，x_t，Z^t-1)需要被建模。

运动预测，p(x_t|Z^t-1)：可以看出等式(6)中的项p(x_t|Z^t-1)是跟踪器的运动预测模型并且可以被表示为

$p\left(x_t\right|Z^{t-1})={\∫}_{x_{t-1}}p\left(x_t\right|x_{t-1})p\left(x_{t-1}\right|Z^{t-1}){\mathrm{dx}}_{t-1}---\left(8\right)$

该联合运动后验概率p(x_t-1|Z^t-1)可以由其边缘分量p(x_i，t-1|Z^t-1)的乘积适当地近似为

$p\left(x_{t-1}\right|Z^{t-1})\≈\underset{i=1}{\overset{M}{\mathrm{\Π}}}p\left(x_{i,t-1}\right|Z^{t-1})---\left(9\right)$

假定来自帧t-1的跟踪器i的最优Q函数Q_i ^*(x_i，t-1)为跟踪器的运动后验概率p(x_i，t-1|Z^t-1)的良好近似并且还采用独立的动态模型(dynamicsmodel)，其中 $p\left(x_t\right|x_{t-1})=\underset{i=1}{\overset{M}{\mathrm{\Π}}}p\left(x_{i,t}\right|x_{i,t-1}),$ 联合运动预测模型p(x_t|Z^t-1)可以简化为：

$p\left(x_t\right|Z^{t-1})\≈\underset{i=1}{\overset{M}{\mathrm{\Π}}}{\∫}_{x_{i,t-1}}p\left(x_{i,t}\right|x_{i,t-1})Q_i^{*}\left(x_{i,t-1}\right){\mathrm{dx}}_{i,t-1}---\left(10\right)$

关联先验概率，p(a_t|x_t)：关联先验概率p(a_t|x_t)为关联变量a_t＝{a_1，t，a_2，t，...，a_M，t}的先验概率并且结合图3来解释。

似然模型，p(Z_t|a_t，x_t)：似然模型p(Z_t|a_t，x_t)为(a_t，x_t)条件下测量数据Z_t的联合似然模型。进一步地， $p\left(Z_t\right|x_t)\≠\underset{i=1}{\overset{M}{\mathrm{\Π}}}p\left(z_{i,t}\right|x_{i,t}).$ 如果提供a_t，因为从每一个跟踪器x_i，t产生了哪个测量数据Z_ai，t，t是已知的，该联合似然模型可以因式分解，即，

$p\left(Z_t\right|a_t,x_t)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}p\left(z_{a_{i,t},t}\right|x_{i,t})---\left(11\right)$

图3示出了根据本发明一个实施例的多个跟踪器的两两数据关联约束。图3包括关联变量302a、302b、302c、302d和302e，所有这些变量逻辑地相互连接。以运动状态变量x_t为条件，p(a_t|x_t)是关联变量a_t＝{a_1，t，a_2，t，...，a_M，t}的先验概率并且可以被公式表示为全部连接的但是两两分布的图表，如图所示。对应的概率模型可以表示为

$p\left(a_t\right|x_t)=\frac{1}{Z_{x_t}}\underset{(i,j)\∈E}{\mathrm{\Π}}\mathrm{\ψ}(a_{i,t},a_{j,t}|x_t)---\left(12\right)$

上式中E表示其中引入关联约束的相邻跟踪器的组，并且ψ(a_i，t，a_j，t|x_t)是a_i，t和a_j，t之间的两两约束。Z_xt是分割函数(partitionfunction)，其被引入以使p(a_t|x_t)成为合适的概率分布。在图3中，每一圆表示跟踪器的关联变量，并且连接它们的边表示存在两两关联约束。{a₁(k)，a₂(k)}和{a₃(k)，a₄(k)，a₅(k)}之间的连接边被加粗以说明这两个组中的每一个中的跟踪器在空间上相互更接近。

根据本发明的一个实施例，假定p(a_t|x_t)独立于跟踪器的运动x_t。因而，

$p\left(a_t\right|x_t)=p\left(a_t\right)=\frac{1}{Z}\underset{(i,j)\∈E}{\mathrm{\Π}}\mathrm{\ψ}(a_{i,t},a_{j,t})---\left(13\right)$

其中

$\mathrm{\ψ}(a_{i,t},a_{j,t})=\left\{\begin{array}{cc}0,& \{a_{i,t}=a_{j,t}\≠0\}\\ 1,& \mathrm{otherwise}\end{array}\right.---\left(14\right)$

a_i，t和a_j，t都可以从离散测量集{0，1，...，m_t}中选择值。

根据上述描述，可以看出运动预测p(x_t|z_t-1)、关联先验概率p(a_t|x_t)、以及似然模型p(Z_t|a_t，x_t)，都采取因式分解的或者分布的形式。进一步地，等式(7)可以写成

$\{a_t^{*},Q^{*}\left(x_t\right)\}$

$=\underset{a_t,Q\left(x_t\right)}{\arg \max }\underset{(i,j)\∈E}{\mathrm{\Σ}}\log \mathrm{\ψ}(a_{i,t},a_{j,t})-\log Z$

$+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\∫}_{x_{i,t}}{Q}_i\left(x_{i,t}\right)\[\log p\left(x_{i,t}\right|Z^{t-1})p\left(z_{a_{i,t},t}\right|x_{i,t})\]{\mathrm{dx}}_{i,t}$

$+\underset{i}{\overset{M}{\mathrm{\Σ}}}H\left(Q_i\left(x_{i,t}\right)\right)---\left(15\right)$

因而，由等式(15)所指明的对于问题的EM解包括求解两个迭代步骤，一个步骤是计算更好的Q′(x_t)，另一个是找到更好的关联a_t′。这两个步骤，即E步骤和M步骤，由每一个跟踪器求解以跟踪其对应目标，并且参考图4进一步详细解释。

图4示出了根据本发明各种实施例的跟踪器400的方框图。跟踪器400包括E步骤执行模块402和M步骤执行模块404。E步骤执行模块402和M步骤执行模块404分别计算跟踪器400的运动状态变量和数据关联变量。E步骤执行模块402的输出作为输入提供到M步骤执行模块404，反之亦然。因而，这两个模块在跟踪器400中执行变分EM算法。

特别地，E步骤执行模块402计算关于跟踪器的运动x_t的更好的 $Q^{\′}\left(x_t\right)=\underset{i=1}{\overset{M}{\mathrm{\Π}}}{Q^{\′}}_i\left(x_{i,t}\right)$ 以最大化E(a_t，Q(x_t))。进一步地，M步骤执行模块404找到更好的关联a_t′＝a′_1，t，a′_2，t，...，a′_M，t}以最大化E(a_t，Q′(x_t))。

在E步骤中，求取等式(15)中的目标关于Q_i(x_i，t)的偏导数。进一步地，应用每一Q_i(x_i，t)必须为正确概率分布的约束，即，

${\∫}_{x_{i,t}}{Q}_i\left(x_{i,t}\right){\mathrm{dx}}_{i,t}=1$

可以实施该约束，其给出每一跟踪器i的E步骤更新等式为

$Q_i^{\′}\left(x_{i,t}\right)\∝p\left(z_{a_{i,t},t}\right|x_{i,t})p\left(x_{i,t}\right|Z^{t-1})---\left(16\right)$

在此情况下，用来过滤x_i，t的测量数据z_ai，t，t以关联变量a_i，t为条件，该关联变量a_i，t从后面的M步骤中估计。可以看到，上述E步骤更新由M个独立的更新等式组成，其中每一等式用于一单个的跟踪器。如果假定等式(10)中的联合运动预测模型p(x_t|Z_t-1)和等式(11)中的似然模型p(Z_t|a_t，x_t)本质上为高斯的，那么可以直接应用卡尔曼滤波器(Kalmanfilter)计算等式(16)中的E步骤。

在M步骤中，在从E步骤给出已经更新的Q′(x_t)的情况下，确定关联变量a_t＝{a_1，t，a_2，t，...，a_M，t}的更新的集合以增加目的(objective)。

$a_t^{\′}=\underset{a_t}{\arg \max }\underset{(i,j)\∈E}{\mathrm{\Σ}}\log \mathrm{\ψ}(a_{i,t},a_{j,t})$

$+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\∫}_{x_{i,t}}{Q}_i^{\′}\left(x_{i,t}\right)\log p\left(z_{a_{i,t},t}\right|x_{i,t}){\mathrm{dx}}_{i,t}---\left(17\right)$

以下两项被定义：

$f_{i,j}(a_{i,t},a_{j,t})=\mathrm{\ψ}(a_{i,t},a_{j,t})$

$g_i\left(a_{i,t}\right)=\exp \left\{{\∫}_{x_{i,t}}{Q}_i^{\′}\left(x_{i,t}\right)\log p\left(z_{a_{i,t},t}\right|x_{i,t})d{x}_{i,t}\right\}---\left(18\right)$

它们分别是(a_i，t，a_j，t)和a_i， t的函数。等式(17)可以接着被写成

$a_t^{\′}=\underset{a_t}{\arg \max }\underset{(i,j)\∈E}{\mathrm{\Π}}{f}_{i,j}(a_{i,t},a_{j,t})\underset{i=1}{\overset{M}{\mathrm{\Π}}}{g}_i\left(a_{i,t}\right)---\left(19\right)$

值{a_1，t，a_2，t，...，a_M，t}来自离散值集合，因而f_i，j(a_i，t，a_j，t)和g_i(a_i，t)都可以在M步骤优化之前计算。等式(18)中所包括的积分计算可以通过假定Q_i(x_i，t)为高斯的而被解析地计算。进一步地，等式(19)可以通过例如多重图切割算法、最大积置信传播算法等的算法来求解。最大积置信传播(BP)算法及其变体以它们的分布式的和并行的计算范例而闻名，并且将分布式计算给与M步骤。

根据本发明的一个实施例，为了即使当目标被部分地遮蔽也跟踪目标，我们考虑目标的K部分分解。通过收集对应部分的训练数据训练K部分探测器来探测该K个部分。让我们考虑这样的情况，其中目标被分成三个部分，头肩、躯干和腿(K＝3)。那么，跟踪器的数据关联变量由K个部分形成，即a_i，t＝{a_i，1，t，a_i，2，t，...，a_i，K，t}，其中每一个a_i，k，t，k∈K描述了将来自对应的部分探测器的部分探测分配到跟踪器i的关联。该跟踪器的运动状态变量是x_i，t。以x_i，t和数据关联变量a_i，t为条件，似然函数p(z_ai，t，t|x_i，t)可以表示为

$p\left(z_{a_{i,t},t}\right|x_{i,t})=\underset{k=1}{\overset{K}{\mathrm{\Π}}}p\left(z_{a_{i,k,t},t}\right|x_{i,t})---\left(20\right)$

进一步地，关联先验概率p(a_t)可以表示为

$p\left(a_t\right)=\frac{1}{Z}\underset{(i,j)\∈E}{\mathrm{\Π}}\underset{k=1}{\overset{K}{\mathrm{\Π}}}\mathrm{\ψ}(a_{i,k,t},a_{j,k,t})---\left(21\right)$

因而，在K部分分解的情况下，可以进行K个图表优化以同时获得最优的部分关联a′_i，t＝{a′_i，1，t，a′_i，2，t，...，a′_i，K，t}。

根据本发明的另一个实施例，跟踪器i可以用在3维(3D)空间中并且每一个3D跟踪器的运动状态变量包含深度信息。例如，令x_i，t＜x_j，t表示跟踪器i比跟踪器j更接近于照相机的运动假设并且令存在四个返回的探测Z_t＝{z_1，t，...，z_4，t}。以x_i，t＜x_j，t为条件，根据探测是否被正面跟踪器i的投影覆盖，该四个探测被分拆成 $Z_t^1=\{z_{1,t},z_{2,t},z_{3,t}\}$ 和 $Z_t^2=\left\{z_{4,t}\right\}.$ 在这种情况下，除了共同的约束{a_i，t＝a_j，t≠0}，由于运动假设为x_i，t＜x_j，t，所有具有a_j，t＝4的配置是不能接受的。由于涉及的非线性而可以用粒子滤波器来运行跟踪器。因而，变化的概率Q_i(x_i，t)将由加权粒子集合来表示，并且先前所讨论的所有积分计算将用求和表示来替代。

E步骤则可以写为

$Q_i^{\′}\left(x_{i,t}\right)\∝$

$\underset{j\∈N\left(i\right)}{\mathrm{\Π}}\exp \left\{{\∫}_{x_{j,t}}{Q}_j\left(x_{j,t}\right)\log p(a_{i,t}^{\′},a_{j,t}^{\′}|x_{i,t},x_{j,t}){\mathrm{dx}}_{j,t}\right\}$

$\×p\left(z_{a_{i,t},t}\right|x_{i,t}){\∫}_{x_{i,t-1}}p\left(x_{i,t}\right|x_{i,t-1})p\left(x_{i,t-1}\right|Z^{t-1}){\mathrm{dx}}_{i,t-1}$

$i\∈\{1,...,M\}---\left(22\right)$

其中Q_i(x_i，t)的更新要将每一相邻跟踪器的Q_j(x_j，t)考虑进去。M步骤目的保持相同，然而，预计算f_i，j(a_i，t，a_j，t)的方式被修改为

$f_{i,j}(a_{i,t},a_{j,t})$

$=\exp \left\{{\∫}_{x_{i,t},x_{j,t}}{Q}_i^{\′}\left(x_{i,t}\right)Q_j^{\′}\left(x_{j,t}\right)p(a_{i,t},a_{j,t}|x_{i,t},x_{j,t}){\mathrm{dx}}_{i,t}{\mathrm{dx}}_{j,t}\right\}---\left(23\right)$

其中需要关于成对跟踪器(x_i，t，x_j，t)的运动求值的积分以预计算f_i，j(a_i，t，a_j，t)。

图5A、5B和5C示出了根据本发明的不同实施例连续的帧中的跟踪器和目标之间的关联。图5A是应用到一帧的变分EM算法的输出并且包括与它们在帧中的对应目标一起的跟踪器502a、502b、502c和502d。跟踪器用方形表示，而每一目标用其中具有十字形的圆表示。如图5A所示，每一跟踪器跟随一个目标。因而，跟踪器502a、502b、502c和502d每一个关联于该帧中存在的不同目标。图5B示出了从视频监视照相机接收到的下一帧。从图5B可以看出，每一个目标已从其先前的位置移开。然而，每一个跟踪器仍维持与其对应目标的关联。图5C示出将变分EM算法应用到图5B中所示帧的输出。如所示出的，跟踪器也离开了它们的先前位置并且正跟随它们的对应目标。对于从视频监视照相机接收的每一帧继续该过程。

图6是示出根据本发明不同实施例的多目标跟踪方法的流程图。在步骤602，在视频帧中探测将被跟踪的多个目标。该多个目标的探测由探测模块执行并且被提供到跟踪模块。跟踪模块包括多个跟踪器。

在步骤604，多个跟踪器中的每一个计算其运动状态变量。运动状态可以指任何目标属性，例如目标位置、速度、尺寸等。运动状态变量在变分期望最大化(EM)算法的E步骤中计算。

在步骤606，多个跟踪器中的每一个在变分EM算法的M步骤中计算其数据关联变量。当计算其数据关联变量时，多个跟踪器中的每一个也通知其它跟踪器关于其对数据关联变量的当前估计。其它跟踪器基于所接收的信息更新它们的数据关联变量。

在步骤608，多个跟踪器中的每一个在变分EM算法的帮助下跟踪其在给定帧中的对应目标。

图7A和7B是说明根据本发明另一个实施例的多目标跟踪方法的流程图。在步骤702中，分配一组跟踪器跟踪在帧中探测到的多个目标。在步骤704，接收下一帧。

在步骤706，确定在所接收的帧中是否有任何未关联的测量。换句话说，检查是否有任何没有关联于任何跟踪器的目标。

在步骤708，如果在所接收的帧中存在未关联的测量，初始化新的跟踪器作为临时跟踪器。然而，如果没有探测到未关联的测量，不初始化新的跟踪器并且该过程在步骤714继续。

在步骤710，确定临时跟踪器的数据关联是否对于预定数量的帧正确。在步骤712，如果数据关联被确定为正确，将临时跟踪器标记为建立的跟踪器。然而，如果数据关联不正确，在步骤718终止临时跟踪器。

在步骤714，对于每一个建立的跟踪器，确定对于选定数量的帧是否存在与其对应目标的正确数据关联。如果存在正确的数据关联，过程继续并且在步骤716继续跟踪目标。然而，如果正确的数据关联不存在，在步骤718终止所建立的跟踪器。

这样，本发明提供了多目标跟踪的方法和系统。用变分期望最大化(EM)算法计算多个跟踪器的运动状态变量和数据关联变量。该多个跟踪器基于所计算的运动状态变量和数据关联变量来跟踪它们的对应目标。运动状态变量和数据关联变量都以分布式的方式来计算，因而减少了计算复杂性。

计算机科学领域的技术人员将可以容易地将如同所述地创作的软件与适当的通用目的或特定目的计算机硬件例如微处理器结合，以构成具体化本发明的实施例的计算机系统或计算机子系统。根据本发明实施例的装置可以是一个或多个处理系统，所述一个或多个处理系统包括但不限于中央处理单元(CPU)、存储器、储存设备、通信链路和设备、服务器、I/O设备，或一个或多个处理系统的任何子组件，所述一个或多个处理系统包括包含了本发明的实施例的软件、固件、硬件或它们的任何子集或结合。

本发明一个实施例的计算机程序产品可在计算机系统上执行，用于使计算机系统执行包括本发明的图像过滤方法的过滤图像的方法。计算机系统包括微处理器、输入设备、显示单元和到因特网或者例如以太网、内联网的网络的接口。微处理器连接到通信总线。计算机还包括存储器。存储器可以包括随机存取存储器(RAM)和只读存储器(ROM)。计算机系统进一步包括储存设备。储存设备可以是硬盘驱动器或可移动存储驱动器，例如软盘驱动器、光盘驱动器等。储存设备也可以是用于加载计算机程序或其它指令到计算机系统的其它类似装置。计算机系统还包括通信单元。通信单元允许计算机通过I/O接口连接到其它数据库以及因特网。通信单元允许来自其它数据库的数据的传送和接收。通信单元可以包括调制解调器、以太网卡、或能够使计算机系统连接到数据库和例如LAN、MAN、WAN和因特网的网络的任何类似设备。计算机系统通过输入设备使用户的输入便利，该输入设备可通过I/O接口接入系统。各种模块也可以是硬件单元的形式。

计算机系统执行存储在一个或多个储存元件中的一组指令以处理输入数据。该组指令可以是程序指令工具。储存元件也可以按需要保存数据或其它信息。储存元件可以是信息源或存在于处理机器中的物理存储元件的形式。

该组指令可以包括指示处理机器执行特定任务的各种的命令，所述特定任务例如构成本发明的方法的实施例的步骤。该组指令可以是软件程序的形式。进一步地，软件可以是独立程序的集合、更大程序的程序模块、或程序模块的一部分的形式。软件还可以包括面向对象编程形式的模块化编程。处理机器对输入数据的处理可以响应于用户命令、先前处理的结果或另一处理机器产生的请求。

尽管这里只示例说明和描述了本发明的特定特性，然而所属领域技术人员可以作出很多修改和改变。因此，应当理解，所附权利要求书意图是覆盖处于本发明的真实精神范围内的所有这种修改和改变。

尽管已经结合仅有限数量的实施例详细描述了本发明，但是应当容易理解，本发明不限于这些所披露的实施例。而是，可以修改本发明以包括到此为止所没有描述过、但是与本发明的精神和范围相应的任何数量的变化、变更、替代或等价配置等。此外，尽管本发明的不同实施例已经被描述，应当理解，本发明的多个方面可以只包括所描述实施例的一些。相应地，本发明将不被视为由之前的描述限定，而是仅由所附权利要求书的范围限定。

元件列表

100   环境

102   目标

104   显示器

200   分布式跟踪系统

202   输入模块

204   帧

206   探测和跟踪模块

208   显示器

210   探测模块

212   跟踪模块

302   关联变量

400   跟踪器

402   E步骤执行模块

404   M步骤执行模块

502   跟踪器

602   探测目标

604   计算跟踪器的运动状态

606   计算跟踪器的数据关联

608   跟踪所探测的目标

702   分配一组跟踪器

704   接收下一帧

706   确定未关联的测量

708   初始化新的跟踪器

710   检查对于M个连续帧的正确数据关联

712   跟踪器被标记为建立的跟踪器

714   检查对于N个连续帧的正确数据关联

716   跟踪所探测的目标

718   终止跟踪器

Claims (8)

1.一种在监视系统中使用变分期望最大化(EM)算法的多个目标(102)分布式跟踪的方法，该监视系统包括跟踪相应的多个目标(102)的多个跟踪器(502)，该方法包括：

估计(604)该多个跟踪器(502)中的每一个的运动状态变量，该估计在变分EM算法的E步骤中执行；

根据基于图的离散优化算法估计(606)该多个跟踪器(502)中的每一个的数据关联变量(302)，其中在变分EM算法的M步骤中作为最大后验概率(MAP)估计来估计该多个跟踪器(502)中的每一个的数据关联变量(302)；以及

基于该多个跟踪器(502)中的每一个的运动状态变量和数据关联变量(302)跟踪(608)该多个目标(102)。

2.如权利要求1所述的方法，进一步包括初始化(708)该多个跟踪器(502)以跟踪该多个目标(102)，其中该多个跟踪器(502)和该多个目标(102)之间的关联基于一对一映射。

3.如权利要求1所述的方法，其中在变分EM算法的E步骤中作为概率分布函数估计该多个跟踪器(502)中的每一个的运动状态变量。

4.如权利要求1所述的方法，其中变分EM算法的E步骤和M步骤重复预定次数，以在预定范围之内收敛运动状态变量和数据关联变量(302)的值。

5.一种分布式跟踪系统(200)，用于在监视系统中使用变分期望最大化(EM)算法的多个目标(102)的分布式跟踪，该系统包括：

跟踪模块(212)，包括用于跟踪相应的多个目标(102)的多个跟踪器(502)，该多个跟踪器(502)中的每一个与运动状态变量和数据关联变量(302)关联；

其中，该多个跟踪器(502)中的每一个在变分EM算法的E步骤中估计运动状态变量；以及

其中，该多个跟踪器(502)中的每一个根据基于图的离散优化式子表示估计数据关联变量(302)，其中在变分EM算法的M步骤中作为最大后验概率(MAP)估计来估计该多个跟踪器(502)中的每一个的数据关联变量(302)。

6.如权利要求5所述的分布式跟踪系统(200)，其中跟踪模块(212)初始化该多个跟踪器(502)以跟踪该多个目标(102)，其中该多个跟踪器(502)和该多个目标(102)之间的关联基于一对一映射。

7.如权利要求5所述的分布式跟踪系统(200)，其中在变分EM算法的E步骤中作为概率分布估计该多个跟踪器(502)中的每一个的运动状态变量。

8.如权利要求5所述的分布式跟踪系统(200)，其中变分EM算法的E步骤和M步骤重复预定次数，以在预定范围之内收敛运动状态变量和数据关联变量(302)的值。

Images