CN106910205A - 一种基于随机有限集滤波器耦合的多目标跟踪方法 - Google Patents

Abstract

本发明中提出的一种基于随机有限集滤波器耦合的多目标跟踪方法，其主要内容包括：鲁棒多伯努利(RMB)滤波器、广义标签多伯努利(GLMB)过滤器、增强的GLMB滤波器、多目标跟踪器，其过程为，在未知杂波率情况下，利用GLMB过滤器作主跟踪器来产生轨迹参数，而一步式的RMB过滤器基于所提供的轨迹参数以及轨迹存在概率，修改未知杂波率，然后将RMB滤波器估计的杂波率送入GLMB滤波器，从而实现鲁棒的在线视觉多目标跟踪。本发明突破了对未知杂波率进行滤波的同时不能跟踪识别不同目标的局限，设计了一个多目标跟踪器产生各目标独立轨迹，并在运行中估计未知杂波率，能有效地适应真实场景，实现鲁棒的多目标跟踪性能。

Description

一种基于随机有限集滤波器耦合的多目标跟踪方法

技术领域

本发明涉及多目标跟踪领域，尤其是涉及了一种基于随机有限集滤波器耦合的多目标跟踪方法。

背景技术

多目标跟踪常用于智能视频监控、交通以及汽车的自动驾驶和辅助驾驶等领域，在不需要认为干预的情况下，实现对视频场景中多个目标进行自动跟踪。具体地在智能视频监控领域，可以在复杂视频中跟踪多个目标人物。除此之外，应用于汽车辅助驾驶时，多目标跟踪可以对汽车捕捉视频中多个行人进行跟踪实现有效避让。虽然多目标跟踪是许多应用中的基本问题，已有丰富的研究成果，却仍然远远没能达到实际使用的目的。

本发明提出了一种基于随机有限集滤波器耦合的多目标跟踪方法，通过共享参数将两个随机有限集(RFS)滤波器耦合实现鲁棒的跟踪性能。具体地，在未知杂波率情况下，利用广义标签多伯努利(GLMB)过滤器作主跟踪器来产生轨迹参数，而一步式的鲁棒多伯努利(RMB)滤波器基于所提供的轨迹参数(位置的平均值和协方差)以及GLMB滤波器先前时间步长的轨迹存在概率，修改未知杂波率，然后，将一步式的RMB滤波器估计的杂波率送入GLMB滤波器，从而实现鲁棒的在线视觉多目标跟踪。本发明突破了对未知杂波率进行滤波的同时不能跟踪识别不同目标的局限，设计了一个多目标跟踪器产生各目标独立轨迹，并在运行中估计未知杂波率，能有效地适应真实场景，实现鲁棒的多目标跟踪性能。

发明内容

针对现有方法不能有效解决未知杂波率情况下的问题，本发明的目的在于提供一种基于随机有限集滤波器耦合的多目标跟踪方法，设计了一个多目标跟踪器产生各目标独立轨迹，并在运行中估计未知杂波率，能有效地适应真实场景，实现鲁棒的多目标跟踪性能。

为解决上述问题，本发明提供一种基于随机有限集滤波器耦合的多目标跟踪方法，其主要内容包括：

(一)鲁棒多伯努利(RMB)滤波器；

(二)广义标签多伯努利(GLMB)过滤器；

(三)增强的GLMB滤波器；

(四)多目标跟踪器。

其中，所述的鲁棒多伯努利(RMB)滤波器，多伯努利滤波器参数化多目标的后验密度，通过使用一组伯努利参数其中r⁽ⁱ⁾和p⁽ⁱ⁾表示在M个伯努利分量中的存在概率和状态密度，将用来扩展状态空间的多伯努利滤波器递归称为鲁棒多伯努利(RMB)滤波器。

进一步地，所述的后验密度，若多伯努利形式在k-1时刻的后验多目标密度给定为那么预测强度由后面的一组多伯努利分量近似而得，一组预测伯努利分量是新生分量和存活分量的联合，新生的伯努利分量因为考虑视觉场景的入口区域如图像边界，而被选择了一个先验，存活分量通过下式计算：

其中p_S，u，k是对应时间k的存活概率，是由实际目标或由u表示的杂波指定的状态转移密度；

如果在k时刻，预测的多目标密度是多伯努利形式，那么更新的多伯努利密度就可近似为

由遗留分量以及测量更新分量组成。

进一步地，所述的遗留分量和测量更新分量，遗留分量下标为L，测量更新分量下标为U，两者由下列等式(3)计算而得：

其中p_D，u，k是状态相关的检测概率，g_u，k(z，|x)是测量似然函数。

其中，所述的广义标签多伯努利(GLMB)过滤器，提供了一种具有唯一标签的多目标贝叶斯滤波器的解决方案，在带标签的多目标跟踪中，k时刻下目标的状态被定义为其中表示在k时刻(包括在k之前出现的先验)目标的标签空间，注意由给定，其中表示在k时刻出现的目标的标签空间(并且与不相交)，因为设计GLMB时没有考虑杂波目标，因此，不引入标签u；

假设在k时刻有N_k个实际目标，标记为多目标跟踪中， 其中表示的有限子集空间，用|X|表示X的基数(元素的数量)，由表示X的标签集{l(x，l)∈X}，此处由于标签是唯一的，所以不会出现两个目标带相同的标签，即因此称为独特的标签指示。

在GLMB中，后验密度采用广义标签多伯努利的形式：

给定了后验多目标密度后，就可计算出k时刻的预测多目标密度以及更新的多目标密度。

进一步地，所述的预测多目标密度，在假定k时刻后验密度采用形式(4)表征后，可由下式计算出k时刻的预测多目标密度：

其中，

其中c是轨迹假设的索引，L是标签集的实例，I是来自先前时间步长的轨迹标签。

进一步地，所述的更新的多目标密度，在假定k时刻后验密度采用形式(4)表征后，可由下式计算出k时刻更新的多目标密度：

其中Θ_k是θ的映射空间：使得θ(i)＝θ(i′)＞0意味着i＝i’，并且

其中表示杂波密度，λ_c是被假定为先验的杂波率。

其中，所述的增强的GLMB滤波器，是一种新的RFS滤波器，称为增强的广义标签多伯努利(GLMB)滤波器，即增强的GLMB滤波器，同时结合了RMB过滤器和GLMB过滤器，具体地，GLMB过滤器被用作主跟踪器来产生轨迹参数，而一步式的RMB过滤器则是基于所提供的轨迹参数(位置的平均值和协方差)以及GLMB滤波器先前时间步长的轨迹存在概率，修改未知杂波率，然后，将一步式的RMB滤波器估计的杂波率送入GLMB滤波器，让杂波模型增强跟踪结果的准确性，除此之外，还采用了线性高斯模型来实现增强的GLMB滤波器。

进一步地，所述的线性高斯模型，在增强的GLMB滤波中跟踪参数是一组高斯参数，即表示物体运动状态的均值和协方差矩阵，因此，通过使用卡尔曼滤波器来实现增强的GLMB滤波器，一旦跟踪器被初始化，GLMB滤波器就可得到状态均值，协方差矩阵和轨迹存在概率。此外，轨迹存在概率r^(l)通过从GLMB密度枚举轨迹假设权重获得，为其中I和ξ是来自先前时间步长的轨迹标签和数据关联映射，而所计算的轨迹存在概率r^(l)作为轨迹存在概率r的初始值用于等式(1)中，然后，通过杂波目标数量的EAP估计得到杂波率：

其中是杂波目标的存在概率，p_D，0，k是杂波目标的检测概率。

其中，所述的多目标跟踪器，基于无杂波参数调谐的RFS滤波器，即未知杂波率情况下，通过GLMB滤波器用于轨迹估计，产生各个目标的独立轨迹，并在运行中利用一步式的RMB滤波器估计未知杂波率，通过交换参数将二者耦合实现鲁棒的在线视觉多目标跟踪。

附图说明

图1是本发明一种基于随机有限集滤波器耦合的多目标跟踪方法的系统流程图。

图2是本发明一种基于随机有限集滤波器耦合的多目标跟踪方法增强的GLMB滤波器的工作原理方框图。

图3是本发明一种基于随机有限集滤波器耦合的多目标跟踪方法的多目标跟踪效果图。

图4是本发明一种基于随机有限集滤波器耦合的多目标跟踪方法的多目标跟踪流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于随机有限集滤波器耦合的多目标跟踪方法的系统流程图。主要包括鲁棒多伯努利(RMB)滤波器、广义标签多伯努利(GLMB)过滤器、增强的GLMB滤波器、多目标跟踪器。

其中，所述的鲁棒多伯努利(RMB)滤波器，多伯努利滤波器参数化多目标的后验密度，通过使用一组伯努利参数其中r⁽ⁱ⁾和p⁽ⁱ⁾表示在M个伯努利分量中的存在概率和状态密度，将用来扩展状态空间的多伯努利滤波器递归称为鲁棒多伯努利(RMB)滤波器。

若多伯努利形式在k-1时刻的后验多目标密度给定为那么预测强度由后面的一组多伯努利分量近似而得，一组预测伯努利分量是新生分量和存活分量的联合，新生的伯努利分量因为考虑视觉场景的入口区域如图像边界，而被选择了一个先验，存活分量通过下式计算：

其中p_S，u，k是对应时间k的存活概率，是由实际目标或由u表示的杂波指定的状态转移密度；

如果在k时刻，预测的多目标密度是多伯努利形式，那么更新的多伯努利密度就可近似为

由下标为L的遗留分量以及下标为U的测量更新分量组成，二者由下列等式(3)计算而得：

其中p_D，u，k是状态相关的检测概率，g_u，k(z，|x)是测量似然函数。

其中，所述的广义标签多伯努利(GLMB)过滤器，提供了一种具有唯一标签的多目标贝叶斯滤波器的解决方案，在带标签的多目标跟踪中，k时刻下目标的状态被定义为其中表示在k时刻(包括在k之前出现的先验)目标的标签空间，注意由给定，其中表示在k时刻出现的目标的标签空间(并且与不相交)，因为设计GLMB时没有考虑杂波目标，因此，不引入标签u。

假设在k时刻有N_k个实际目标，标记为多目标跟踪中， 其中表示的有限子集空间，用|X|表示X的基数(元素的数量)，由表示X的标签集{l(x，l)∈X}，此处由于标签是唯一的，所以不会出现两个目标带相同的标签，即因此称为独特的标签指示。

在GLMB中，后验密度采用广义标签多伯努利的形式：

给定了后验多目标密度后，就可计算出k时刻的预测多目标密度：

其中，

其中c是轨迹假设的索引，L是标签集的实例，I是来自先前时间步长的轨迹标签。

此外，可计算k时刻更新的多目标密度：

其中Θ_k是θ的映射空间：使得θ(i)＝θ(i′)＞0意味着i＝i’，并且

其中表示杂波密度，λ_c是被假定为先验的杂波率。

其中，所述的增强的GLMB滤波器，是一种新的RFS滤波器，称为增强的广义标签多伯努利(GLMB)滤波器，即增强的GLMB滤波器，同时结合了RMB过滤器和GLMB过滤器，具体地，GLMB过滤器被用作主跟踪器来产生轨迹参数，而一步式的RMB过滤器则是基于所提供的轨迹参数(位置的平均值和协方差)以及GLMB滤波器先前时间步长的轨迹存在概率，修改未知杂波率，然后，将一步式的RMB滤波器估计的杂波率送入GLMB滤波器，让杂波模型增强跟踪结果的准确性，除此之外，还采用了线性高斯模型来实现增强的GLMB滤波器。

在增强的GLMB滤波中跟踪参数是一组高斯参数，即表示物体运动状态的均值和协方差矩阵，因此，通过使用卡尔曼滤波器来实现增强的GLMB滤波器，一旦跟踪器被初始化，GLMB滤波器就可得到状态均值，协方差矩阵和轨迹存在概率。此外，轨迹存在概率r^(l)通过从GLMB密度枚举轨迹假设权重获得，为其中I和ξ是来自先前时间步长的轨迹标签和数据关联映射，而所计算的轨迹存在概率r^(l)作为轨迹存在概率r的初始值用于等式(1)中，然后，通过杂波目标数量的EAP估计得到杂波率：

其中是杂波目标的存在概率，p_D，0，k是杂波目标的检测概率。

其中，所述的多目标跟踪器，基于无杂波参数调谐的RFS滤波器，即未知杂波率情况下，通过GLMB滤波器用于轨迹估计，产生各个目标的独立轨迹，并在运行中利用一步式的RMB滤波器估计未知杂波率，通过交换参数将二者耦合实现鲁棒的在线视觉多目标跟踪。

图2是本发明一种基于随机有限集滤波器耦合的多目标跟踪方法的增强的GLMB滤波器的工作原理方框图。表征了GLMB滤波器和一步式的RMB滤波器之间的关系，GLMB过滤器被用作主跟踪器来产生轨迹参数，而一步式的RMB过滤器则是基于所提供的轨迹参数(位置的平均值和协方差)以及GLMB滤波器先前时间步长的轨迹存在概率，修改未知杂波率，然后，将一步式的RMB滤波器估计的杂波率送入GLMB滤波器，让杂波模型增强跟踪结果的准确性。

图3是本发明一种基于随机有限集滤波器耦合的多目标跟踪方法的多目标跟踪效果对比图。在活细胞显微成像数据进行细胞迁移分析中，分别采用本方法(右)与当前最先进的多假设跟踪(MHT)方法(左)，对二者的跟踪效果进行对比，图中所示为通过两种方法重建的细胞轨迹。与MHT相比，所提出的增强的GLMB表现出更可靠的跟踪结果。因为跟踪器有效地管理随时间变化的杂波信息并保持相关轨迹，GLMB跟踪器产生的错误跟踪以及不完整的碎片跟踪明显少于MHT。

图4是本发明一种基于随机有限集滤波器耦合的多目标跟踪方法的多目标跟踪流程图。利用GLMB过滤器作主跟踪器来产生轨迹参数，而一步式的RMB过滤器基于所提供的轨迹参数(位置的平均值和协方差)以及GLMB滤波器先前时间步长的轨迹存在概率，修改未知杂波率，然后，将一步式的RMB滤波器估计的杂波率送入GLMB滤波器，从而实现鲁棒的在线视觉多目标跟踪。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于随机有限集滤波器耦合的多目标跟踪方法，其特征在于，主要包括鲁棒多伯努利(RMB)滤波器(一)；广义标签多伯努利(GLMB)过滤器(二)；增强的GLMB滤波器(三)；多目标跟踪器(四)。

2.基于权利要求书1所述的鲁棒多伯努利(RMB)滤波器(一)，其特征在于，多伯努利滤波器参数化多目标的后验密度，通过使用一组伯努利参数其中r⁽ⁱ⁾和p⁽ⁱ⁾表示在M个伯努利分量中的存在概率和状态密度，将用来扩展状态空间的多伯努利滤波器递归称为鲁棒多伯努利(RMB)滤波器。

3.基于权利要求书2所述的后验密度，其特征在于，若多伯努利形式在k-1时刻的后验多目标密度给定为那么预测强度由后面的一组多伯努利分量近似而得，一组预测伯努利分量是新生分量和存活分量的联合，新生的伯努利分量因为考虑视觉场景的入口区域如图像边界，而被选择了一个先验，存活分量通过下式计算：

其中p_S，u，k是对应时间k的存活概率，是由实际目标或由u表示的杂波指定的状态转移密度；

如果在k时刻，预测的多目标密度是多伯努利形式，那么更新的多伯努利密度就可近似为

${\left\{(r_{L,k}^{\left(i\right)},p_{L,u,k}^{\left(i\right)})\right\}}_{i=1}^{M_{k|k-1}}\∪{\left\{\left(r_{U,k}\right(z),p_{U,u,k}(\·;z\left)\right)\right\}}_{z\∈Z_k}---\left(2\right)$

由遗留分量以及测量更新分量组成。

4.基于权利要求书3所述的遗留分量和测量更新分量，其特征在于，遗留分量下标为L，测量更新分量下标为U，两者由下列等式(3)计算而得：

$\begin{array}{c}{r}_{L,k}^{\left(i\right)}={\mathrm{\&Sigma;}}_{u=0,1}{r}_{L,u,k}^{\left(i\right)},r_{L,u,k}^{\left(i\right)}=\frac{r_{k|k-1}^{\left(i\right)}<p_{u,k|k-1}^{\left(i\right)},1-p_{D,u,k}>}{1-r_{k|k-1}^{\left(i\right)}{\mathrm{\&Sigma;}}_{u^{\&prime;}=0,1}<p_{u^{\&prime;},k|k-1}^{\left(i\right)},1-p_{D,u^{\&prime;},k}>},\\ p_{L,u,k}^{\left(i\right)}\left(x\right)=\frac{\left(1-p_{D,u^{\&prime;},k}\right)p_{u,k|k-1}^{\left(i\right)}\left(x\right)}{{\mathrm{\&Sigma;}}_{u^{\&prime;}=0,1}<p_{u^{\&prime;},k|k-1}^{\left(i\right)},1-p_{D,u^{\&prime;},k}>},r_{U,k}\left(z\right)={\mathrm{\&Sigma;}}_{u=0,1}{r}_{U,u,k}\left(z\right),\\ r_{U,u,k}\left(z\right)=\frac{{\mathrm{\&Sigma;}}_{i=1}^{M_{k|k-1}}\frac{r_{k|k-1}^{\left(i\right)}\left(1-r_{k|k-1}^{\left(i\right)}\right)<p_{u,k|k-1}^{\left(i\right)},g_{u,k}\left(z,|\&CenterDot;\right)p_{D,u,k}>}{{\left(1-r_{k|k-1}^{\left(i\right)}{\mathrm{\&Sigma;}}_{u^{\&prime;}=0,1}<p_{u^{\&prime;}=0,1}^{\left(i\right)},1-p_{D,u^{\&prime;},k}>\right)}^2}}{{\mathrm{\&Sigma;}}_{i=1}^{M_{k|k-1}}\frac{r_{k|k-1}^{\left(i\right)}{\mathrm{\&Sigma;}}_{u^{\&prime;}=0,1}<p_{u,k|k-1}^{\left(i\right)},g_{u^{\&prime;},k}\left(z,|\&CenterDot;\right)p_{D,u^{\&prime;},k}>}{1-r_{k|k-1}^{\left(i\right)}{\mathrm{\&Sigma;}}_{u^{\&prime;}=0,1}<p_{u^{\&prime;},k|k-1}^{\left(i\right)},1-p_{D,u^{\&prime;},k}>}},\end{array}---\left(3\right)$

$p_{U,u,k}(x;z)=\frac{{\mathrm{\&Sigma;}}_{i=1}^{M_{k|k-1}}\frac{r_{k|k-1}^{\left(i\right)}}{1-r_{k|k-1}^{\left(i\right)}}{p}_{u,k|k-1}^{\left(i\right)}\left(x\right)g_{u,k}(z,|x)\&CenterDot;p_{D,u,k}}{{\mathrm{\&Sigma;}}_{u^{\&prime;}=0,1}{\mathrm{\&Sigma;}}_{i=1}^{M_{k|k-1}}\frac{r_{k|k-1}^{\left(i\right)}}{1-r_{k|k-1}^{\left(i\right)}}<p_{u^{\&prime;},k|k-1}^{\left(i\right)},g_{u^{\&prime;},k}\left(z,|\&CenterDot;\right)p_{D,u^{\&prime;},k}>}$

其中p_D，u，k是状态相关的检测概率，g_u，k(z，|x)是测量似然函数。

5.基于权利要求书1所述的广义标签多伯努利(GLMB)过滤器(二)，其特征在于，提供了一种具有唯一标签的多目标贝叶斯滤波器的解决方案，在带标签的多目标跟踪中，k时刻下目标的状态被定义为其中表示在k时刻(包括在k之前出现的先验)目标的标签空间，注意由给定，其中表示在k时刻出现的目标的标签空间(并且与不相交)，因为设计GLMB时没有考虑杂波目标，因此，不引入标签u；

假设在k时刻有N_k个实际目标，标记为多目标跟踪中， 其中表示的有限子集空间，用|X|表示X的基数(元素的数量)，由表示X的标签集此处由于标签是唯一的，所以不会出现两个目标带相同的标签，即因此称为独特的标签指示；

在GLMB中，后验密度采用广义标签多伯努利的形式：

给定了后验多目标密度后，就可计算出k时刻的预测多目标密度以及更新的多目标密度。

6.基于权利要求书5所述的预测多目标密度，其特征在于，在假定k时刻后验密度采用形式(4)表征后，可由下式计算出k时刻的预测多目标密度：

其中

其中c是轨迹假设的索引，L是标签集的实例，I是来自先前时间步长的轨迹标签。

7.基于权利要求书5所述的更新的多目标密度，其特征在于，在假定k时刻后验密度采用形式(4)表征后，可由下式计算出k时刻更新的多目标密度：

其中Θ_k是θ的映射空间：使得θ(i)＝θ(i′)＞0意味着i＝i’，并且

其中表示杂波密度，λ_c是被假定为先验的杂波率。

8.基于权利要求书1所述的增强的GLMB滤波器(三)，其特征在于，是一种新的随机有限集(RFS)滤波器，称为增强的广义标签多伯努利(GLMB)滤波器，即增强的GLMB滤波器，同时结合了RMB过滤器和GLMB过滤器，具体地，GLMB过滤器被用作主跟踪器来产生轨迹参数，而一步式的RMB过滤器则是基于所提供的轨迹参数(位置的平均值和协方差)以及GLMB滤波器先前时间步长的轨迹存在概率，修改未知杂波率，然后，将一步式的RMB滤波器估计的杂波率送入GLMB滤波器，让杂波模型增强跟踪结果的准确性，除此之外，还采用了线性高斯模型来实现增强的GLMB滤波器。

9.基于权利要求书8所述的线性高斯模型，其特征在于，在增强的GLMB滤波中跟踪参数是一组高斯参数，即表示物体运动状态的均值和协方差矩阵，因此，通过使用卡尔曼滤波器来实现增强的GLMB滤波器，一旦跟踪器被初始化，GLMB滤波器就可得到状态均值，协方差矩阵和轨迹存在概率，此外，轨迹存在概率通过从GLMB密度枚举轨迹假设权重获得，为其中I和ξ是来自先前时间步长的轨迹标签和数据关联映射，而所计算的轨迹存在概率作为轨迹存在概率r的初始值用于等式(1)中，然后，通过杂波目标数量的EAP估计得到杂波率：

其中是杂波目标的存在概率，p_D，o，k是杂波目标的检测概率。

10.基于权利要求书1所述的多目标跟踪器(四)，其特征在于，基于无杂波参数调谐的RFS滤波器，即未知杂波率情况下，通过GLMB滤波器用于轨迹估计，产生各个目标的独立轨迹，并在运行中利用一步式的RMB滤波器估计未知杂波率，通过交换参数将二者耦合实现鲁棒的在线视觉多目标跟踪。