CN103020989B - 一种基于在线场景特征聚类的多视角目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于在线场景特征聚类的多视角目标跟踪方法，首先，利用在线聚类方法计算每个视角的前景似然图，同时进行背景模型的在线更新；其次，将各视角的前景似然图映射到场景中的参考平面栈中，从而获得3D目标占位似然分布场信息；最后，基于3D粒子滤波算法对场景中目标进行实时跟踪，定位出目标的运动轨迹，同时求出目标尺寸、形状的变化，从而完成多目标的立体跟踪。本发明的对实际场景进行动态估计和更新，解决了传统背景建模无法真实模拟场景变化的问题；同时，选取场景中的参考平面栈作为特征空间进行信息融合，有助于遮挡等复杂情况的处理；此外，3D粒子滤波算法的提出大大加速了目标跟踪的实时性、准确性和鲁棒性。

Description

一种基于在线场景特征聚类的多视角目标跟踪方法

技术领域

本发明涉及一种在多视角复杂遮挡情况下，对场景中运动目标进行可靠及实时性跟踪的方法，属于计算机视觉技术领域。

背景技术

基于多视角(Multi-view)的目标跟踪在智能机器人视觉信息处理系统、无人驾驶车辆导航系统、无人机协同对地侦查系统、公共安全智能监控系统等领域具有广泛的应用。然而复杂环境中的多视角目标跟踪由于受到遮挡、目标外观变化、光照变化等影响，使得跟踪面临巨大的困难。

目前提出的多视角目标跟踪方法大致分为两类：基于图像空间的方法和基于融合空间的方法。

其中，基于图像空间的方法是在各个视角图像上进行目标检测，然后联合各视角检测结果，运用几何、颜色、纹理和形状等信息，通过匹配实现目标对应。比如，可首先利用目标特征将前景分割出来，然后用贪婪搜索算法进行遮挡情况下的多视角目标跟踪；或者首先融合目标的外观和运动特征，然后采用卡尔曼滤波从水平和俯视两个角度对目标进行跟踪；还可利用递归贝叶斯估计处理遮挡情况下的多视角目标跟踪问题，在给定目标状态和先验假设的情况下，一旦遮挡发生，将生成多遮挡假设，并通过一个分离-合并策略予以验证；又或者可以利用隐马尔科夫过程和粒子滤波对目标协同跟踪等等。此类方法为了跟踪目标，在各个视角的二维图像空间中对目标进行建模。然而，当目标部分被遮挡时，目标颜色、形状、运动等特征的有效性大大降低；当目标被全部遮挡时，利用这些特征进行跟踪很可能发生错误，因而难以应用在复杂遮挡情况下。

而基于融合空间的方法则是近年来新出现的思路，该类方法不在各个视角的二维图像上检测目标，而是先融合多视角信息，然后在融合空间中进行目标检测和跟踪。譬如，将多视角信息通过单应性变换统一折算到其中一个视角中，在该视角中进行融合，然后利用上下文知识跟踪目标；或者采用单应性占位约束和可靠几何构造来融合多视角信息，并通过在场景参考平面上定位目标来处理遮挡问题；还可将地平面占位图估计和动态规划相结合，利用目标生成模型计算每个位置的占位概率，将此概率和颜色-运动模型相结合，用Viterbi算法跟踪多个目标等等。

公开号CN102243765A基于多相机的多目标定位跟踪方法及系统，所提出的方法属于基于融合空间的方法，但其提出的基于码本的背景减除法无法处理实际场景下背景的动态变化，当背景中包含摆动树叶或变化光照时，其检测结果会出现较大偏差。同时，其信息融合是在选定的其中一个视角中进行的，这会造成部分信息的损失，削弱其处理复杂遮挡情况的能力。其提出的最短路径跟踪算法过于简单，有可能在目标距离太近时造成跟错目标或跟踪发散。

公开号CN101739690A多相机协同运动目标检测方法，也属于基于融合空间的方法，其使用混合高斯模型的背景差法对前景进行提取，同样无法对背景的动态变化进行处理。另外，虽然其选择在多个水平的投影约束平面上处理各视角信息的融合，但是其提出的连乘融合方法，没有考虑目标的高度时变性等因素。同时，该方法最后提出的二值化阈值方法检测目标的位置过于简单和理想化，在复杂情况容易造成误检测。

SaadM.Khan等人在2009年IEEETransactionsonPatternAnalysisandMachineIntelligence上发表论文“TrackingMultipleOccludingPeoplebyLocalizingonMultipleScenePlanes”，其背景建模方法是混合高斯模型，同样存在无法对动态背景自适应估计的问题；其次，其信息融合是在某一选定的视角中进行，会造成遮挡信息的损失；最后，其选用的图割检测跟踪方法计算量无法满足实时处理的需要。

总之，现有的多视角目标跟踪方法，特别是基于融合空间的方法，其存在的诸多局限性主要表现在：

(1)缺乏有效针对遮挡等复杂场景多视角目标建模方法。对研究对象进行建模时，要么未能对其进行精确的描述，要么建立的模型过于复杂，增加了后续处理的难度和复杂度；

(2)未能处理好融合空间的选择和构建问题。不管是单一视角融合或是在单一参考平面融合信息都会造成部分有用信息的损失，使得实际环境下复杂的遮挡问题不能得到很好的解决；

(3)缺乏有效的多视角目标跟踪器。现有的多视角跟踪方法要么过于简单，没有考虑复杂遮挡情况下场景具有高度时变性、不确定性和混杂性的因素，要么过于复杂，无法满足实时性要求。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于在线场景特征聚类的多视角目标跟踪方法。该方法可以有效抑制复杂环境中遮挡、目标外观变化、光照变化等变化对目标跟踪的不利影响，提高跟踪精度，同时满足实时应用的要求。

技术方案：一种基于在线场景特征聚类的多视角目标跟踪方法，包括如下步骤：

(1)步骤一：以地平面基准，选取与地平面平行且等间距的若干虚拟参考平面，组成参考平面栈(stack)。同时，计算各摄像机视角到每个虚拟参考平面的映射矩阵。利用在线聚类方法计算每个视角的前景似然图。若像素值(颜色或灰度)与已有背景类不相似，则创建一个新的类；若像素值与已有背景类相似，则将像素值更新到已有类中；而当类长期未得到更新，则会动态删除该类。

某视角图像中任意点p＝(x,y)处的像素值记为I(x,y)，任意点p处的背景聚类总数记为N_p，该点p处第i个背景聚类表示为C_i，将类C_i的背景聚类中心像素值记为v_i(x,y)，任意点p第i个背景聚类C_i包含的元素个数记为首先进行初始化，提取一帧图像，将任意点p＝(x,y)的背景聚类数初始设置为N_p＝1，任意点p＝(x,y)的背景聚类中心初始设置为初始帧图像对应点p＝(x,y)的像素值I(x,y)。下面进行模型在线更新，包括创建、更新和删除背景类。对于每一个最新的待测图像帧，首先计算任意点p的像素值I(x,y)与各聚类中心的像素值差

D_p,i＝|I(x,y)-v_i(x,y)|其中i∈[0,N_p)

并求出所有差值中最小值Dmin_p,i，判断其是否满足Dmin_p,i＞r，其中r是类半径，根据像素概率密度分布图的峰值点自适应调节。若满足Dmin_p,i＞r，则表明点p与所有聚类都不相似，则要创建一个新类来记录点p。令新类为第m个类C_m，则创建过程如下：

v_m(x,y)＝I(x,y)

$N_{p,C_m}=1$

N_p＝N_p+1

若不满足Dmin_p,i＞r，则说明在现有聚类中找到与点p相近的聚类，因此将点p的像素值I(x,y)更新到最近的聚类，设为C_k，类C_k的中心和元素个数更新为：

$v_k(x,y)=\frac{N_{p,C_k}\×v_k(x,y)+I(x,y)}{N_{p,C_k}+1}$

$N_{p,C_k}=N_{p,C_k}+1$

同时，聚类的权重也需要更新，权重表示一个类在背景模型中的重要性，其受聚类包含元素个数和聚类更新时间影响。令代表第i个聚类C_i的权重：

$w_{C_i}=\frac{w_{C_i}^{\′}+w_{C_i}^{\′\′}}{2}$

其中分量代表每个聚类的数量权重，元素越多其值越大；分量代表每个聚类的时间权重，更新时间越长，其值越小。

$w_{C_i}^{\′}=\frac{N_{p,C_i}}{\underset{i=1}{\overset{N_p}{\Σ}}{N}_{p,C_i}},w_{C_i}^{\′\′}=\exp (-{\left(\frac{{\mathrm{\ΔT}}_p}{N_{p,C_i}}\right)}^2),$ 其中ΔT_p为该类的更新时间

根据权重值来淘汰过期的聚类，当时，认为该聚类已过期，即将该聚类删除，其中β为系统自适应调制的系数M为相邻帧数，F_j为第j帧前景像素数，N为一帧总像素数。

则利用非参数密度估计方法，可以得到待测像素值I(x,y)属于前景的概率：

$p\left(I\right(x,y\left)\right)=1-\underset{i=1}{\overset{N_p}{\mathrm{\Σ}}}\frac{w_i}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}\exp (-\frac{{\left(I\right(x,y)-v_i(x,y\left)\right)}^2}{2{\mathrm{\σ}}^2})$

由此，可以得到n个视角的前景似然图设为Ψ₁,Ψ₂,…,Ψ_n。

(2)步骤二：将各视角的前景似然图映射到场景中的参考平面栈(stack)。选定场景中地面为参考平面π₀，同时在地平面的法线方向上，设与其平行且等间距的若干虚拟参考平面为π₁,π₂,…,π_M-1，这M个平面共同组成参考平面栈(stack)。通过参考平面中标志点和视角中具体像素位置的对应关系计算各视角到参考平面π₀的映射关系，得到映射矩阵使其中p_π0和p_i分别代表特征点在平面π₀和第i个视角的位置。

通过映射关系将第i个视角的前景似然图Ψ_i映射到参考平面π₀，映射后的结果为目标占位似然信息，用表示。然后将n个视角的前景似然图都进行上述映射，并进行融合最后得到总的目标占位似然融合图，其代表目标在参考平面π₀每个像素点占位的可能性。利用同样方法可以得到n个视角在其它虚拟参考平面π_j,j∈[1,L)上的目标占位似然融合图ψ^πj。由此，将获得的参考平面栈上各目标占位似然融合图ψ^πj按照法线方向排列成3D目标占位似然分布场：Ω＝[ψ^π0；ψ^π1；ψ^π2；…；ψ^π(L-1)]。

(3)步骤三：基于3D粒子滤波算法对场景中目标进行实时跟踪。由上述方法，在连续t帧时间里，可以得到融合后的场景3D目标占位似然分布场Ω₁,Ω₂,Ω₃,…,Ω_t，由此再构造“时-空目标占位似然网格”我们的目的就是在这个4D网格中实时跟踪出目标运动的轨迹。在初始网格节点中可以用阈值分割的方式将初始出现的目标占位点集检测出来，并计算出目标的质心初始位置，同时估算出目标尺寸、形状等数据，为后续的跟踪提供初始参数。从第2个网格节点开始利用3D粒子滤波算法对目标的运动轨迹进行实时跟踪，算法步骤为：

a)从先验参考分布p(x₀)中抽取N个粒子其中向量x＝(x₁,x₂,x₃)^T，表示目标质心在场景3D空间中的位置；

b)序贯重要性采样，根据采样N个新粒子计算粒子权值 ${\tilde{w}}_k^{\left(i\right)}=w_{k-1}^{\left(i\right)}\frac{p\left(z_k\right|x_k^{\left(i\right)})p\left(x_k^{\left(i\right)}\right|x_{k-1}^{\left(i\right)})}{q\left(x_k^{\left(i\right)}\right|x_{0:k-1}^{\left(i\right)},z_{1:k})};$ 归一化粒子权值 $w_k^{\left(i\right)}=\frac{{\tilde{w}}_k^{\left(i\right)}}{\underset{j=1}{\overset{N}{\Σ}}{\tilde{w}}_k^{\left(j\right)}};$

c)重采样，计算有效粒子个数如果N_eff＜N_th，则增加有效粒子个数，删减无效粒子；

d)状态估计， ${\hat{x}}_k=\underset{i=1}{\overset{N}{\Σ}}{w}_k^{\left(i\right)}{x}_k^{\left(i\right)}.$

这样即可经过迭代，求出每个时间节点的目标状态估计将其串联便可得到目标的运动轨迹，同时求出目标尺寸、形状的变化，从而完成多目标的立体跟踪。

本发明采用上述技术方案，具有以下有益效果：

(1)本发明的方法利用在线聚类方法进行背景建模，可以对实际场景进行动态估计和更新，背景模型随光照、背景波动(如树叶摆动)等变化实时调整，解决了传统背景建模无法真实模拟场景变化的问题；

(2)本方法选取场景中的参考平面栈作为特征空间进行信息融合，相比将信息融合到单一视角或单一参考平面，使占位信息更完整地反映目标的立体信息，有助于处理复杂遮挡下目标具有形变、跳跃性等情况；

(3)3D粒子滤波算法的提出，和上述参考平面栈完美结合，大大加速了目标跟踪的实时性、准确性和鲁棒性。

附图说明

图1为本发明实施例的流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，进一步的详细描述如下：

首先，进行系统初始化工作，包括流程图中的前两个步骤。

(1)选定场景中地面为参考平面π₀，同时在地平面的法线方向上，选取与其平行且等间距的若干虚拟参考平面为π₁,π₂,…,π_M-1，这M个平面共同构建参考平面栈(stack)。

(2)通过参考平面中标志点和视角中具体像素位置的对应关系计算第i视角到参考平面π_j的映射关系，得到映射矩阵使其中p_πj和p_i分别代表特征点在平面π_j和第i个视角的位置。

接着，是本发明提出方法的核心部分，即对n个通道(视角)视频图像进行协同处理，主要包括下面(3)-(5)三个步骤，以进行场景中多目标的实时跟踪。

(3)利用在线聚类方法计算每个视角的前景似然图。计算任意点p的像素值I(x,y)与各背景聚类中心的距离D_p,i＝|I(x,y)-v_i(x,y)|，再根据距离判断该点是否属于已有聚类。若属于已有聚类，则更新类中心和元素个数为

$v_k(x,y)=\frac{N_{p,C_k}\×v_k(x,y)+I(x,y)}{N_{p,C_k}+1},N_{p,C_k}=N_{p,C_k}+1$

若不属于已有聚类，则为其添加第m个类C_m，该类中心和元素个数分别设置为v_m(x,y)＝I(x,y)和点p处的聚类总数更新为N_p＝N_p+1。

然后，更新聚类的权重，第i个聚类C_i的权重为两个分量的平均：其中分量代表每个聚类的数量权重，元素越多其值越大；分量代表每个聚类的时间权重，更新时间越长，其值越小。

$w_{C_i}^{\′}=\frac{N_{p,C_i}}{\underset{i=1}{\overset{N_p}{\Σ}}{N}_{p,C_i}},w_{C_i}^{\′\′}=\exp (-{\left(\frac{{\mathrm{\ΔT}}_p}{N_{p,C_i}}\right)}^2),$ 其中ΔT_p为该类的更新时间

接着，根据权重值来淘汰过期的聚类，当时，认为该聚类已过期，即将该聚类删除，其中β为系统自适应调制的系数M为相邻帧数，F_j为第j帧前景像素数，N为一帧总像素数。

最后，根据非参数密度估计，可以得到待测像素值I(x,y)属于前景的概率：

$p\left(I\right(x,y\left)\right)=1-\underset{i=1}{\overset{N_p}{\mathrm{\Σ}}}\frac{w_i}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}\exp (-\frac{{\left(I\right(x,y)-v_i(x,y\left)\right)}^2}{2{\mathrm{\σ}}^2})$

由此，可以得到n个视角的前景似然图设为Ψ₁,Ψ₂,…,Ψ_n。

(4)将各视角的前景似然图映射到场景中的参考平面栈(stack)，以构建3D目标占位似然分布场。

通过映射关系将第i个视角的前景似然图Ψ_i映射到参考平面π_j，映射后的结果为目标占位似然信息，用表示。将n个视角的前景似然图都进行上述映射，并在每个虚拟参考平面上进行融合最后得到总的目标占位似然融合图，其代表目标在参考平面π_j每个像素点占位的可能性。将获得的参考平面栈上各目标占位似然融合图ψ^πj按照法线方向排列成3D目标占位似然分布场：Ω＝[ψ^π0；ψ^π1；ψ^π2；…；ψ^π(L-1)]。

(5)基于3D粒子滤波算法对场景中目标进行实时跟踪。由上述方法，在连续t帧时间里，可以得到融合后的场景3D目标占位似然分布场Ω₁,Ω₂,Ω₃,…,Ω_t，由此再构造“时-空目标占位似然网格”在初始网格节点中可以用阈值分割的方式将初始出现的目标占位点集检测出来，并计算出目标的质心初始位置，同时估算出目标尺寸、形状等数据，为后续的跟踪提供初始参数。从第2个网格节点开始利用3D粒子滤波算法对目标的运动轨迹进行实时跟踪。设向量x＝(x₁,x₂,x₃)^T，表示目标质心在场景3D空间中的位置。则3D粒子滤波跟踪的迭代步骤为：

a)从先验参考分布p(x₀)中抽取N个粒子

b)序贯重要性采样，根据采样N个新粒子计算粒子权值 ${\tilde{w}}_k^{\left(i\right)}=w_{k-1}^{\left(i\right)}\frac{p\left(z_k\right|x_k^{\left(i\right)})p\left(x_k^{\left(i\right)}\right|x_{k-1}^{\left(i\right)})}{q\left(x_k^{\left(i\right)}\right|x_{0:k-1}^{\left(i\right)},z_{1:k})};$ 归一化粒子权值 $w_k^{\left(i\right)}=\frac{{\tilde{w}}_k^{\left(i\right)}}{\underset{j=1}{\overset{N}{\Σ}}{\tilde{w}}_k^{\left(j\right)}};$

c)重采样，计算有效粒子个数如果N_eff＜N_th，则增加有效粒子个数，删减无效粒子；

d)状态估计， ${\hat{x}}_k=\underset{i=1}{\overset{N}{\Σ}}{w}_k^{\left(i\right)}{x}_k^{\left(i\right)}.$

经过上述迭代，求出每个时间节点的目标状态估计将其串联便可得到目标的运动轨迹，同时求出目标尺寸、形状的变化，从而完成多目标的立体跟踪。

Claims (2)

1.一种基于在线场景特征聚类的多视角目标跟踪方法，其特征在于，包括如下步骤：

首先，以地平面基准，选取与地平面平行且等间距的若干虚拟参考平面，组成参考平面栈，同时，计算各摄像机视角到每个虚拟参考平面的映射矩阵；

其次，利用在线聚类方法计算每个摄像机视角的前景似然图；

再次，将各摄像机视角的前景似然图映射到场景中的参考平面栈，构建3D目标占位似然分布场；

最后，基于3D粒子滤波算法对场景中目标进行实时跟踪；

利用在线聚类方法计算每个摄像机视角的前景似然图，其操作过程如下：某视角图像中任意点p＝(x,y)处的像素值记为I(x,y)，任意点p处的背景聚类总数记为N_p，该点p处第i个背景聚类表示为C_i，将类C_i的背景聚类中心像素值记为v_i(x,y)，任意点p第i个背景聚类C_i包含的元素个数记为首先进行初始化，提取一帧图像，将任意点p＝(x,y)的背景聚类数初始设置为N_p＝1，任意点p＝(x,y)的背景聚类中心初始设置为初始帧图像对应点p＝(x,y)的像素值I(x,y)，再进行模型在线更新，包括创建、更新和删除背景类；对于每一个最新的待测图像帧，计算任意点p的像素值I(x,y)与各背景聚类中心的像素值差：

D_p,i＝|I(x,y)-v_i(x,y)|其中i∈[0,N_p)

并求出所有差值中最小值Dmin_p,i，判断其是否满足Dmin_p,i＞r，其中r是类半径，根据像素概率密度分布图的峰值点自适应调节；若满足Dmin_p,i＞r，则表明点p与所有聚类都不相似，则要创建一个新类来记录点p；令新类为第m个类C_m，则创建过程如下：

v_m(x,y)＝I(x,y)

N_p＝N_p+1

若不满足Dmin_p,i＞r，则说明在现有聚类中找到与点p相近的聚类，因此将点p的像素值I(x,y)更新到最近的聚类，设为C_k，类C_k的中心和元素个数更新为：

同时，聚类的权重也需要更新，权重表示一个类在背景模型中的重要性，其受聚类包含元素个数和聚类更新时间影响；令代表第i个聚类C_i的权重：

其中分量代表每个聚类的数量权重，元素越多其值越大；分量代表每个聚类的时间权重，更新时间越长，其值越小；

其中ΔT_p为该类的更新时间

根据权重值来淘汰过期的聚类，当时，认为该聚类已过期，即将该聚类删除，其中β为系统自适应调制的系数M为相邻帧数，F_j为第j帧前景像素数，N为一帧总像素数；则利用非参数密度估计方法，得到待测像素值I(x,y)属于前景的概率：

由此，得到n个视角的前景似然图设为Ψ₁,Ψ₂,…,Ψ_n；

构建3D目标占位似然分布场，其操作过程如下：

通过参考平面中标志点和视角中具体像素位置的对应关系计算第i视角到参考平面π_j的映射关系，得到映射矩阵使其中p_πj和p_i分别代表特征点在平面π_j和第i个视角的位置；

通过映射关系将第i个视角的前景似然图Ψ_i映射到参考平面π_j，映射后的结果为目标占位似然信息，用表示；将n个视角的前景似然图都进行上述映射，并在每个虚拟参考平面上进行融合最后得到总的目标占位似然融合图，其代表目标在参考平面π_j每个像素点占位的可能性；将获得的参考平面栈上各目标占位似然融合图ψ^πj按照法线方向排列成3D目标占位似然分布场：Ω＝[ψ^π0；ψ^π1；ψ^π2；…；ψ^π(L-1)]。

2.根据权利要求1所述的基于在线场景特征聚类的多视角目标跟踪方法，其特征在于，基于3D粒子滤波算法对场景中目标进行实时跟踪，其操作过程如下：

在连续t帧时间里，得到融合后的场景3D目标占位似然分布场Ω₁,Ω₂,Ω₃,…,Ω_t，由此再构造时-空目标占位似然网格在初始网格节点中用阈值分割的方式将初始出现的目标占位点集检测出来，并计算出目标的质心初始位置，同时估算出目标尺寸、形状数据，为后续的跟踪提供初始参数；从第2个网格节点开始利用3D粒子滤波算法对目标的运动轨迹进行实时跟踪；设向量x＝(x₁,x₂,x₃)^T，表示目标质心在场景3D空间中的位置；则3D粒子滤波跟踪的迭代步骤为：

a)从先验参考分布p(x₀)中抽取N个粒子

b)序贯重要性采样，根据采样N个新粒子计算粒子权值归一化粒子权值

c)重采样，计算有效粒子个数如果N_eff＜N_th，则增加有效粒子个数，删减无效粒子；

d)状态估计，

经过上述迭代，求出每个时间节点的目标状态估计将其串联便得到目标的运动轨迹，同时求出目标尺寸、形状的变化，从而完成多目标的立体跟踪。