CN104732559A - 一种基于rgb-d数据的多目标检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于RGB-D数据的多目标检测与跟踪方法，其内容是：有效的融合彩色图像信息和深度信息对运动目标进行检测；将多目标检测的结果带入到RJMCMC粒子滤波算法的观测似然模型中，同时，构建合理的状态转移模型；通过定义合理的可逆跳动作和相应的建议分布，来实现对多目标的跟踪。本发明通过融合RGB图像和深度图像的信息来对多目标进行检测，降低漏检率和误检率.利用RJMCMC粒子滤波算法实现多目标跟踪，通过设定合理的可逆跳动作，选择相应的建议分布，不但可以解决多目标之间的遮挡和交互，还可以处理多目标数目发生变化的问题。

Description

一种基于RGB-D数据的多目标检测与跟踪方法

技术领域

本发明涉及一种多目标检测与跟踪技术方法，特别涉及一种基于RGB-D数据的多目标检测与跟踪方法。

背景技术

多目标检测是多目标跟踪的基础，如果单独在彩色图像中检测多个运动目标，很容易造成漏检和误检，比如：当目标与背景的颜色十分相近时，会造成漏检；当多个目标前后遮挡时，会被误检成一个目标。如果可以融合深度信息中的多目标检测结果，就可以在很大程度上提高目标检测的准确率，为多目标跟踪提供更有利的前提条件。

在复杂的视频监控环境中，运动目标之间会发生遮挡、碰撞等，运动目标的数目也会不断变化。一些传统的多目标跟踪方法不能很好的解决这些问题，如：多假设跟踪(Multiple Hypothesis Tracking，MHT)和联合概率分布滤波器(Joint Probabilistic DataAssociation Filter，JPDAF),无法解决多目标之间的交互问题。马尔科夫链蒙特卡洛(Markov Chain Monte Carlo，MCMC)粒子滤波算法虽然可以很好的解决多目标之间的交互问题，但是只能跟踪固定数目的目标。

多目标检测与跟踪技术是计算机视觉领域的关键问题之一，在视频监控，机器人导航，智能交通、驾驶员辅助系统等领域都有着广泛的应用。随着RGB-D摄像机技术的发展，尤其是Kinect传感器的推出，使得同时获得高质量的彩色图像和深度图像成为现实。深度信息可以改善多目标检测与跟踪的性能，但如何有效地融合彩色图像信息和深度信息进行多目标检测，并且在检测的基础上实现多目标跟踪仍然是一项具有挑战性的研究课题。

发明内容

本发明克服了现有技术中的缺点，提供一种基于RGB-D数据的多目标检测与跟踪方法。

为了解决上述存在的技术问题，本发明是通过以下技术方案实现的：

一种基于RGB-D数据的多目标检测与跟踪方法，其内容包括如下步骤：

一、有效的融合彩色图像信息和深度信息对运动目标进行检测；选取RGB图像和深度图像的HOG直方图作为检测目标的特征，分类器选用支持向量机(Support Vector Machine，SVM)，检测策略选用滑动窗口搜索；

将基于RGB图像的检测结果和基于深度图像的检测结果有效的融合起来，构建鲁棒性更强的多目标检测算法：

令矩阵表示RGB-D数据中的任意一帧，其中，表示RGB图像，表示深度图像；表示基于RGB图像做目标检测时分类器的输出，h^D(I_t)表示基于深度图像做目标检测时分类器的输出；将分类器的输出h^R(I_t)和h^D(I_t)映射为概率p(Y_t|X_t,θ_R)和p(Y_t|X_t,θ_D)：

其中，f_R和f_D分别表示基于RGB图像和深度图像的映射函数，θ_R和θ_D分别表示分类器的参数，表示t时刻多目标的隐藏状态变量，表示第i个目标在3维空间中的位置和速度，Y_t＝{Y₁,Y₂,…,Y_t}表示t时刻得到的一系列多目标的观测值；

将融合RGB图像和深度信息的多目标检测结果表示为概率：

p(Y_t|X_t,θ)＝k_R(I_t)p(Y_t|X_t,q_R)+k_D(I_t)p(Y_t|X_t,θ_D)

式中：k_R(I_t)＝1-k_D(I_t)，k_R(I_t)和k_D(I_t)分别表示给基于RGB图像和深度图像的检测赋于的权重；当深度信息中的无效点数越多，k_D(I_t)越小，k_R(I_t)越大；

由贝叶斯理论可知：

p(X_t|Y_t)∝p(Y_t|X_t)∫p(X_t|X_t-1)p(X_t-1|Y_t-1)dX_t-1

其中：p(Y_t|X_t)表示观测似然模型，p(X_t|X_t-1)表示连续两帧的状态转移模型；第t帧目标的最佳状态值可以通过最大后验概率估计得到，即：

$\widehat{X_t}=\underset{X_t}{\arg \max }p\left(X_t\right|Y_t);$

二、将多目标检测的结果带入到RJMCMC粒子滤波算法的观测似然模型中，同时，构建合理的状态转移模型；

1、观测似然模型

为了更好的衡量目标的有效性，将RGB图像和深度图像的目标检测结果有效的结合起来构建观测似然方程；

2、状态转移模型

状态转移模型的构建考虑两个方面的影响因素：t时刻目标的存在概率p_Exist(X_t|X_t-1)；运动的平滑性p_Motion(X_t|X_t-1)：将状态转移模型定义为：

p(X_t|X_t-1)＝p_Exist(X_t|X_t-1)p_Motion(X_t|X_t-1)

$p_{\mathrm{Exist}}\left(X_t\right|X_{t-1})=\underset{i}{\mathrm{\Π}}{p}_{\mathrm{Exist}}\left(X_t^i\right|X_{t-1}^i)$

式中：i表示第i个目标；

运动先验p_Motion(X_t|X_t-1)能够描述为：

$p_{\mathrm{Motion}}\left(X_t\right|X_{t-1})=\underset{i}{\mathrm{\Π}}{p}_{\mathrm{Motion}}\left(X_t^i\right|X_{t-1}^i)$

这里假设服从高斯分布，

即： $p_{\mathrm{Motion}}\left(X_t^i\right|X_{t-1}^i)=N(X_t^i;X_{t-1}^i,\mathrm{\Ψ})$

式中，Ψ是一个对角矩阵；

三、通过定义合理的可逆跳动作和相应的建议分布，来实现对多目标的跟踪；

1、RJMCMC粒子滤波算法

RJMCMC通过定义多种可以互逆的运动类型来实现马尔科夫链中抽样维数的变化也是可逆的；

在贝叶斯框架中，目标跟踪的问题被归结为最大后验概率估计问题，用RJMCMC粒子滤波算法估计后验概率p(X_t|Y_t)，t时刻的后验概率可以用一系列马尔科夫链离散抽样来近似表示：

$p\left(X_t\right|Y_t)\≈{\left\{X_t^j\right\}}_{j=1}^N$

式中N为抽样总数，为第j个抽样；如果给定t-1时刻的一系列采样，t时刻的后验概率可以估计为：

$p\left(X_t\right|Y_t)\∝p\left(Y_t\right|X_t)\underset{j}{\mathrm{\Σ}}p\left(X_t\right|X_{t-1}^j);$

2、建议分布

在RJMCMC粒子滤波算法中，通过定义可逆跳的运动模式，在每次抽样前，选择一种运动模式，按照每种运动模式的建议分布产生一个候选状态进行迭代；这里定义5种运动模式，它们分别为：Leave和Stay，Add和Delete，Update；每种运动模式对应的建议分布其中，为根据建议分布产生的新抽样；

5种运动模式的建议分布为：

Leave：如果一个目标离开监控场景，则建议把该目标从目标集合中去除；假设有N_L个在前一帧中出现而在本帧中未出现的目标，则以均匀概率随机选择一个目标L，将其去除；如果N_L＝0，则建议分布为0，即：Leave动作的建议分布为：

$q_L(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_L},\mathrm{if}& N_L\≠0\\ 0,\mathrm{if}& N_L=0\end{array}\right.;$

Stay：是Leave的可逆动作，假设有N_S个未在本帧中出现且已经从X_t中删除的目标集合中以均匀分布的概率随机选择一个目标S，重新加入到目标集合中；根据状态转移模型和观测似然模型的混合模型来构建建议分布，这样会提高采样过程的鲁棒性；Stay动作的建议分布为：

$q_S(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_S}\·\frac{1}{2}[p\left(X_t^i\right|X_{t-1}^i)+p\left(Y_t^i\right|X_t^i)],\mathrm{if}& N_S\≠0\\ 0,\mathrm{if}& N_S=0\end{array}\right.;$

Add：当检测到一个新的目标时，则建议加入到目标集合；假设有N_A个检测到的新目标，则根据均匀分布选择一个目标A加入到目标集合；Add动作的建议分布为：

$q_A(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_A},\mathrm{if}& N_A\≠0\\ 0,\mathrm{if}& N_A=0\end{array}\right.;$

Delete：是Add的可逆动作，从N_D个已经检测到的并且已经在目标集合中的目标以概率随机选择一个去除；Delete动作的建议分布为：

$q_D(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_D},\mathrm{if}& N_D\≠0\\ 0,\mathrm{if}& N_D=0\end{array}\right.;$

Update：Update动作是根据建议分布给目标分配一个新的位置，一个Update动作可以和另外一个Update动作互为可逆动作Update动作的建议分布为：

$q_U(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_U}N(X_t^{i(j+1)},{\mathrm{\ω}}_U),\mathrm{if}& N_U\≠0\\ 0,\mathrm{if}& N_U=0\end{array}\right.$

式中，表示目标i更新的状态，w_U表示随机噪声，N(·)表示高斯分布函数；

根据Metropolis-Hastings算法，一个新的抽样的接受率为：

$a=\min (1,\frac{p\left(Y_t\right|X_t^{j+1})q_L(X_t^j,X_t^{j+1})}{p\left(Y_t\right|X_t^j)q_L(X_t^{j+1},X_t^j)}).$

由于采用上述技术方案，本发明提供的一种基于RGB-D数据的多目标检测与跟踪方法与现有技术相比，具有这样的有益效果：

本发明通过分析现有的多目标检测与跟踪技术存在的问题，提出了一种基于RGB-D数据的多目标检测与跟踪方法，通过融合RGB图像和深度图像的信息来对多目标进行检测，降低漏检率和误检率。利用RJMCMC粒子滤波算法实现多目标跟踪，通过设定合理的可逆跳动作，选择相应的建议分布，不但可以解决多目标之间的遮挡和交互，还可以处理多目标数目发生变化的问题。实验结果表明：本发明提出的基于RGB-D数据的多目标检测与跟踪方法，在多目标之间发生遮挡、光照变化、数目变化时，能够稳定地跟踪多目标，具有较高的准确性和较强的鲁棒性，降低了丢失率和误判率。

附图说明

图1是本发明的流程图；

图2是表示测试视频1的多目标跟踪结果组图；

图3是表示测试视频1中目标3对应的RGB图像、深度图像、RGB图像的HOG直方图、深度图像的HOG直方图；

图4是表示测试视频2的多目标跟踪结果组图；

图5是表示测试视频2中目标5对应的RGB图像、深度图像、RGB图像的HOG直方图、深度图像的HOG直方图；

图6是表示测试视频3的多目标跟踪结果组图；

图7是表示测试视频3中目标4对应的RGB图像、深度图像、RGB图像的HOG直方图、深度图像的HOG直方图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明实施例的实现基于windows 8.1操作系统，采用VisualStudio 2013和OpenCV 3.0作为软件平台，计算机配置为Intel(R)Core(TM)i7-4712MQ CPU@2.30GHz，8.00GB内存，64位操作系 统。

本发明的一种基于RGB-D数据的多目标检测与跟踪方法，其流程图如图1所示，首先，有效的融合彩色图像信息和深度信息对运动目标进行检测；然后，将多目标检测的结果带入到RJMCMC粒子滤波算法的观测似然模型中，同时，构建合理的状态转移模型；最后，通过定义合理的可逆跳动作和相应的建议分布，来实现对多目标的跟踪。实验结果表明，本发明提出的方法在多目标之间发生遮挡、光照变化、数目变化时，能够稳定地跟踪多目标，具有较高的准确性和较强的鲁棒性。

本发明方法具体步骤如下：

1.基于RGB图像和深度信息融合的多目标检测算法

一般来说，目标检测包括三个关键问题：特征，分类器和检测策略，颜色、形状、纹理、梯度等是较常用的特征，本发明选取RGB图像和深度图像的HOG直方图作为检测目标的特征。分类器选用支持向量机(Support Vector Machine，SVM)；检测策略选用滑动窗口搜索。针对测试视频1的如图3(a)所示的RGB图像和如图3(b)所示的深度图像的HOG直方图如图3(c)和(d)所示，针对测试视频2的如图5(a)所示的RGB图像和如图5(b)所示的深度图像的HOG直方图如图5(c)和(d)，针对测试视频3的如图7(a)所示的RGB图像和如图7(b)所示的深度图像的HOG直方图如图图7(c)和(d)所示。

由于RGB图像中会时常因为目标和背景颜色接近等原因造成对目标的漏检，Kinect产生的深度图像中也会有一些无效区域，如果仅是分别在RGB图像和深度图像中独立的检测目标，必然会影响目标检测结果的准确性；受到混合专家(Mixture of Experts，ME)结构的启发，我们将基于RGB图像的检测结果和基于深度图像的检测结果有效的融合起来，构建鲁棒性更强的多目标检测算法。

令矩阵表示RGB-D数据中的任意一帧，其中，表示RGB图像，表示深度图像；h^R(I_t)表示基于RGB图像做目标检测时分类器的输出，h^D(I_t)表示基于深度图像做目标检测时分类器的输出；为了不失一般性，将分类器的输出h^R(I_t)和h^D(I_t)映射为概率p(Y_t|X_t,θ_R)和p(Y_t|X_t,θ_D)：

其中，f_R和f_D分别表示基于RGB图像和深度图像的映射函数，θ_R和θ_D分别表示分类器的参数，表示t时刻多目标的隐藏状态变量，表示第i个目标在3维空间中的位置和速度；Y_t＝{Y₁,Y₂,…,Y_t}表示t时刻得到的一系列多目标的观测值；

我们可以将融合RGB图像和深度信息的多目标检测结果表示为概率：

p(Y_t|X_t,θ)＝k_R(I_t)p(Y_t|X_t,θ_R)+k_D(I_t)p(Y_t|X_t,θ_D)    (3)

式(3)中，k_R(I_t)＝1-k_D(I_t)，k_R(I_t)和k_D(I_t)分别表示给基于RGB图像和深度图像的检测赋于的权重；当深度信息中的无效点数越多，k_D(I_t)越小，k_R(I_t)越大；

2.贝叶斯最大后验概率估计

多目标跟踪问题可以看作是隐马尔科夫模型中隐藏状态变量的贝叶斯最大后验概率估计问题；即：在第t帧得到一系列的观测图像Y_t＝{Y₁,Y₂,…,Y_t}，利用贝叶斯最大后验概率理论估计隐藏状态变量X_t；

由贝叶斯理论可知：

p(X_t|Y_t)∝p(Y_t|X_t)∫p(X_t|X_t-1)p(X_t-1|Y_t-1)dX_t-1  (4)

其中，p(Y_t|X_t)表示观测似然模型，p(X_t|X_t-1)表示连续两帧的状态转移模型；第t帧目标的最佳状态值可以通过最大后验概率估计得到，即：

$\widehat{X_t}=\underset{X_t}{\arg \max }p\left(X_t\right|Y_t)---\left(5\right)$

2.1观测似然模型

为了更好的衡量目标的有效性，将RGB图像和深度图像的目标检测结果有效的结合起来构建观测似然方程，具体方法如公式(3)所示；

2.2状态转移模型

状态转移模型的构建考虑两个方面的影响因素：

1.t时刻目标的存在概率p_Exist(X_t|X_t-1)；

2.运动的平滑性p_Motion(X_t|X_t-1)；状态转移模型定义为：

p(X_t|X_t-1)＝p_Exist(X_t|X_t-1)p_Motion(X_t|X_t-1)  (6)

$p_{\mathrm{Exist}}\left(X_t\right|X_{t-1})=\underset{i}{\mathrm{\Π}}{p}_{\mathrm{Exist}}\left(X_t^i\right|X_{t-1}^i)---\left(7\right)$

式中，i表示第i个目标；

运动先验p_Motion(X_t|X_t-1)可以描述为：

$p_{\mathrm{Motion}}\left(X_t\right|X_{t-1})=\underset{i}{\mathrm{\Π}}{p}_{\mathrm{Motion}}\left(X_t^i\right|X_{t-1}^i)---\left(9\right)$

本文假设服从高斯分布，

即： $p_{\mathrm{Motion}}\left(X_t^i\right|X_{t-1}^i)=N(X_t^i;X_{t-1}^i,\mathrm{\Ψ})---\left(10\right)$

式中，Ψ是一个对角矩阵；

3基于RJMCMC的多目标跟踪算法

3.1RJMCMC粒子滤波算法

在多目标跟踪的问题当中，目标会随机的进入和离开，当目标的数目发生变化时，传统的MCMC算法就变得无能为力了；RJMCMC粒子滤波算法是MCMC算法的改进算法，能够解决状态空间维数可变的问题；RJMCMC通过定义多种可以互逆的运动类型来实现马尔科夫链中抽样维数的变化也是可逆的；

在贝叶斯框架中，目标跟踪的问题被归结为最大后验概率估计问题，我们用RJMCMC粒子滤波算法估计后验概率p(X_t|Y_t)，t时刻的后验概率可以用一系列马尔科夫链离散抽样来近似表示：

$p\left(X_t\right|Y_t)\≈{\left\{X_t^j\right\}}_{j=1}^N---\left(11\right)$

式中N为抽样总数，为第j个抽样；如果给定t-1时刻的一系列采样，t时刻的后验概率可以估计为：

$p\left(X_t\right|Y_t)\∝p\left(Y_t\right|X_t)\underset{j}{\mathrm{\Σ}}p\left(X_t\right|X_{t-1}^j)---\left(12\right)$

3.2建议分布

在RJMCMC粒子滤波算法中，Metropolis-Hastings原则已经不能直接应用了，可以通过定义可逆跳的运动模式，在每次抽样前，选择一种运动模式，按照每种运动模式的建议分布产生一个候选状态，进行迭代；

本发明定义5种运动模式，分别为：Leave和Stay，Add和Delete，Update；下面具体阐述每种运动模式对应的建议分布其中，为根据建议分布产生的新抽样；下面分别介绍5种运动模式的建议分布为：

Leave：如果一个目标离开监控场景，则建议把该目标从目标集合中去除；假设有N_L个在前一帧中出现而在本帧中未出现的目标，则以均匀概率随机选择一个目标L，将其去除；如果N_L＝0，则建议分布为0，即：Leave动作的建议分布为：

$q_L(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_L},\mathrm{if}& N_L\≠0\\ 0,\mathrm{if}& N_L=0\end{array}\right.---\underset{}{}\left(13\right)$

Stay：是Leave的可逆动作，假设有N_S个未在本帧中出现且已经从X_t中删除的目标集合中以均匀分布的概率随机选择一个目标S，重新加入到目标集合中；本发明；是根据状态转移模型和观测似然模型的混合模型来构建建议分布，这样会提高采样过程的鲁棒性；Stay动作的建议分布为：

$q_S(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_S}\·\frac{1}{2}[p\left(X_t^i\right|X_{t-1}^i)+p\left(Y_t^i\right|X_t^i)],\mathrm{if}& N_S\≠0\\ 0,\mathrm{if}& N_S=0\end{array}\right.---\left(14\right)$

Add：当检测到一个新的目标时，则建议加入到目标集合；假设有N_A个检测到的新目标，则根据均匀分布选择一个目标A加入到目标集合；Add动作的建议分布为：

$q_A(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_A},\mathrm{if}& N_A\≠0\\ 0,\mathrm{if}& N_A=0\end{array}\right.---\left(15\right)$

Delete：是Add的可逆动作，从N_D个已经检测到的并且已经在目标集合中的目标以概率随机选择一个去除；Delete动作的建议分布为：

$q_D(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_D},\mathrm{if}& N_D\≠0\\ 0,\mathrm{if}& N_D=0\end{array}\right.---\left(16\right)$

Update：Update动作是根据建议分布给目标分配一个新的位置，一个Update动作可以和另外一个Update动作互为可逆动作；Update动作的建议分布为：

$q_U(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_U}N(X_t^{i(j+1)},{\mathrm{\ω}}_U),\mathrm{if}& N_U\≠0\\ 0,\mathrm{if}& N_U=0\end{array}\right.---\left(17\right)$

式中，表示目标i更新的状态，ω_U表示随机噪声，N(·)表示高斯分布函数；

根据Metropolis-Hastings算法，一个新的抽样的接受率为：

$a=\min (1,\frac{p\left(Y_t\right|X_t^{j+1})q_L(X_t^j,X_t^{j+1})}{p\left(Y_t\right|X_t^j)q_L(X_t^{j+1},X_t^j)})---\left(18\right).$

为了说明本文提出的基于RGB-D数据的多目标检测与跟踪算法的准确性和鲁棒性，我们采用Kinect在不同环境下拍摄的多组公共测试视频数据集进行实验，这里只列举其中3组测试视频的多目标跟踪结果，用不同颜色的矩形跟踪框来表示对不同目标的跟踪，分别如图2，图4和图6所示。其中测试视频1中的多目标数目发生变化，测试视频2中的多目标之间发生遮挡，测试视频3中的目标数目多，运动模式复杂，同时也发生遮挡。从实验结果可以看出本发明方法具有良好的鲁棒性和较高的准确率。评价多目标跟踪的性能一般采用以下4个指标：多目标跟踪准确率MOTA(Multiple Object TrackingAccuracy)，多目标跟踪精确度MOTP(multiple object trackingprecision)，缺失率FNR(False Negative Ratio)，误判率FPR(FalsePositive Ratio)。为了说明本文算法的优势，选用与Spinello L,Arras K.O.People Detection in RGB-D Data[C].(IEEE International Conferenceon Intelligent Robots and Systems,Germany,2011,3838-3843)中的算法做对比，测试数据采用RGB-D People Dataset，对比结果见表1.

表1本文算法与文献[2]算法性能指标对比

算法	MOTA	MOTP	FNR	FPR
					本文算法	91.9％	92.4％	9.4％	4.3％
文献[2]	71.8％	73.7％	20.0％	7.7％

Claims (1)

1.一种基于RGB-D数据的多目标检测与跟踪方法，其特征在于该方法内容包括如下步骤：

一、有效的融合彩色图像信息和深度信息对运动目标进行检测；选取RGB图像和深度图像的HOG直方图作为检测目标的特征，分类器选用支持向量机，检测策略选用滑动窗口搜索；

将基于RGB图像的检测结果和基于深度图像的检测结果有效的融合起来，构建鲁棒性更强的多目标检测算法：

令矩阵表示RGB-D数据中的任意一帧，其中，表示RGB图像，表示深度图像；h^R(I_t)表示基于RGB图像做目标检测时分类器的输出，h^D(I_t)表示基于深度图像做目标检测时分类器的输出；将分类器的输出h^R(I_t)和h^D(I_t)映射为概率p(Y_t|X_t,θ_R)和p(Y_t|X_t,θ_D)：

其中，f_R和f_D分别表示基于RGB图像和深度图像的映射函数，θ_R和θ_D分别表示分类器的参数，表示t时刻多目标的隐藏状态变量，表示第i个目标在3维空间中的位置和速度，Y_t＝{Y₁,Y₂,…,Y_t}表示t时刻得到的一系列多目标的观测值；

将融合RGB图像和深度信息的多目标检测结果表示为概率：

p(Y_t|X_t,θ)＝k_R(I_t)p(Y_t|X_t,θ_R)+k_D(I_t)p(Y_t|X_t,θ_D)

式中：k_R(I_t)＝1-k_D(I_t)，k_R(I_t)和k_D(I_t)分别表示给基于RGB图像和深度图像的检测赋于的权重；当深度信息中的无效点数越多，k_D(I_t)越小，k_R(I_t)越大；

由贝叶斯理论可知：

p(X_t|Y_t)∝p(Y_t|X_t)∫p(X_t|X_t-1)p(X_t-1|Y_t-1)dX_t-1

其中：p(Y_t|X_t)表示观测似然模型，p(X_t|X_t-1)表示连续两帧的状态转移模型；第t帧目标的最佳状态值可以通过最大后验概率估计得到，即：

${\hat{X}}_t=\underset{X_t}{\arg \max }p\left(X_t\right|Y_t);$

二、将多目标检测的结果带入到RJMCMC粒子滤波算法的观测似然模型中，同时，构建合理的状态转移模型；

1、观测似然模型

为了更好的衡量目标的有效性，将RGB图像和深度图像的目标检测结果有效的结合起来构建观测似然方程；

2、状态转移模型

状态转移模型的构建考虑两个方面的影响因素：t时刻目标的存在概率p_Exist(X_t|X_t-1)；运动的平滑性p_Motion(X_t|X_t-1)：将状态转移模型定义为：

p(X_t|X_t-1)＝p_Exist(X_t|X_t-1)p_Motion(X_t|X_t-1)

$p_{\mathrm{Exist}}\left(X_t\right|X_{t-1})=\underset{i}{\mathrm{\Π}}{p}_{\mathrm{Exist}}\left(X_t^i\right|X_{t-1}^i)$

式中：_i表示第_i个目标；

运动先验p_Motion(X_t|X_t-1)能够描述为：

$p_{\mathrm{Motion}}\left(X_t\right|X_{t-1})=\underset{i}{\mathrm{\Π}}{p}_{\mathrm{Motion}}\left(X_t^i\right|X_{t-1}^i)$

这里假设服从高斯分布，

即： $p_{\mathrm{Motion}}\left(X_t^i\right|X_{t-1}^i)=N(X_t^i;X_{t-1}^i,\mathrm{\Ψ})$

式中，Ψ是一个对角矩阵；

三、通过定义合理的可逆跳动作和相应的建议分布，来实现对多目标的跟踪；

1、RJMCMC粒子滤波算法

RJMCMC通过定义多种可以互逆的运动类型来实现马尔科夫链中抽样维数的变化也是可逆的；

在贝叶斯框架中，目标跟踪的问题被归结为最大后验概率估计问题，用RJMCMC粒子滤波算法估计后验概率p(X_t|Y_t)，t时刻的后验概率可以用一系列马尔科夫链离散抽样来近似表示：

$p\left(X_t\right|Y_t)\≈{\left\{X_t^j\right\}}_{j=1}^N$

式中N为抽样总数，为第j个抽样；如果给定t-1时刻的一系列采样，t时刻的后验概率可以估计为：

$p\left(X_t\right|Y_t)\∝p\left(Y_t\right|X_t)\underset{j}{\mathrm{\Σ}}p\left(X_t\right|X_{t-1}^j);$

2、建议分布

在RJMCMC粒子滤波算法中，通过定义可逆跳的运动模式，在每次抽样前，选择一种运动模式，按照每种运动模式的建议分布产生一个候选状态进行迭代；这里定义5种运动模式，它们分别为：Leave和Stay，Add和Delete，Update；每种运动模式对应的建议分布其中，为根据建议分布产生的新抽样；

5种运动模式的建议分布为：

Leave：如果一个目标离开监控场景，则建议把该目标从目标集合中去除；假设有N_L个在前一帧中出现而在本帧中未出现的目标，则以均匀概率随机选择一个目标L，将其去除；如果N_L＝0，则建议分布为0，即：Leave动作的建议分布为：

$q_L(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_L},& \mathrm{if}{N}_L\≠0\\ 0,& \mathrm{if}{N}_L=0\end{array}\right.;$

Stay：是Leave的可逆动作，假设有N_S个未在本帧中出现且已经从X_t中删除的目标集合中以均匀分布的概率随机选择一个目标S，重新加入到目标集合中；根据状态转移模型和观测似然模型的混合模型来构建建议分布，这样会提高采样过程的鲁棒性；Stay动作的建议分布为：

$q_S(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_S}\·\frac{1}{2}[p\left(X_t^i\right|X_{t-1}^i)+p\left(Y_t^i\right|X_t^i)],& \mathrm{if}{N}_S\≠0\\ 0,& \mathrm{if}{N}_S=0\end{array}\right.;$

Add：当检测到一个新的目标时，则建议加入到目标集合；假设有N_A个检测到的新目标，则根据均匀分布选择一个目标A加入到目标集合；Add动作的建议分布为：

$q_A(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_A},& \mathrm{if}{N}_A\≠0\\ 0,& \mathrm{if}{N}_A=0\end{array}\right.;$

Delete：是Add的可逆动作，从N_D个已经检测到的并且已经在目标集合中的目标以概率随机选择一个去除；Delete动作的建议分布为：

$q_D(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_D},& \mathrm{if}{N}_D\≠0\\ 0,& \mathrm{if}{N}_D=0\end{array}\right.;$

Update：Update动作是根据建议分布给目标分配一个新的位置，一个Update动作可以和另外一个Update动作互为可逆动作Update动作的建议分布为：

$q_U(X_t^{j+1},X_t^j)=\left\{\begin{array}{cc}\frac{1}{N_U}N(X_t^{i(j+1)},{\mathrm{\ω}}_U),& \mathrm{if}{N}_U\≠0\\ 0,& \mathrm{if}{N}_U=0\end{array}\right.$

式中，表示目标i更新的状态，ω_U表示随机噪声，N(·)表示高斯分布函数；

根据Metropolis-Hastings算法，一个新的抽样的接受率为：

$a=\min (1,\frac{p\left(Y_t\right|X_t^{j+1})q_L(X_t^j,X_t^{j+1})}{p\left(Y_t\right|X_t^j)q_L(X_t^{j+1},X_t^j)}).$