CN104899894A - 一种采用多台摄像机进行运动目标跟踪的方法 - Google Patents

Abstract

本发明提出了一种采用多台摄像机进行运动目标跟踪的方法。本发明在一般的单摄像机目标跟踪方法的基础上，采用多摄像机多个视角同时跟踪同一个区域的运动目标，利用多视角对单一视角发生遮挡的目标加以区分并定位。首先确定各个摄像机图像中公共平面区域作为各个摄像机图像的主平面，并计算主平面之间的单应性矩阵，然后以其中目标遮挡权重最大的摄像机图像的主平面为映射主平面，其余摄像机图像针对该映射主平面进行单应性映射。利用单应性关系，通过其余摄像机图像中的目标跟踪信息获得遮挡权重最大的目标的跟踪信息。本发明克服了存在遮挡情况下目标跟踪失败的问题，提高了目标跟踪的准确率。

Description

一种采用多台摄像机进行运动目标跟踪的方法

技术领域

本发明属于目标跟踪技术领域，具体涉及一种采用多台摄像机进行运动目标跟踪的方法。 

背景技术

常用的运动目标跟踪的方法有mean-shift算法、卡尔曼滤波器和粒子滤波器等，其中粒子滤波器常用来跟踪各种复杂性运动目标。一般来讲，对于单个摄像机监控视频中的独立运动目标的跟踪已经取得了很好的效果，但是当运动目标过多或目标频繁受到遮挡干扰时，这些常用的目标跟踪方法的跟踪效果都会受到影响。此时，可以考虑采用多台摄像机进行辅助跟踪。 

发明内容

本发明提出一种采用多台摄像机进行运动目标跟踪的方法，解决了因单个摄像机监控视角受限，发生运动目标受到遮挡而造成跟踪质量下降的问题。 

为了解决上述技术问题，本发明提供一种采用多台摄像机进行运动目标跟踪的方法，包括以下步骤： 

步骤一：使用最少三台摄像机从多角度监控运动目标A，以每台摄像机图像中的公共平面区域为主平面，在每个摄像机图像的主平面内选择四个或四个以上的点，采用归一化互相关算法对两两摄像机主平面内的每个点对进行精确匹配获得匹配点对，根据匹配点对计算每台摄像机图像中主平面之间的单应性关系； 

步骤二：采用混合高斯目标提取技术分别获取运动目标A在每台摄像机视频中的目标A_i的目标序列i表示摄像机台号，N为摄像机数量,k为当前帧序号，K为视频序列总帧数，同时获得目标A_i在各自摄像机图像中的最高点位置及目标A_i的宽度W_i；采用粒子滤波器分别对每台摄像机中的运动目标A_i进行跟踪处理，获得目标A_i的跟踪位置X_i(x_i,y_i)，x_i和y_i是目标A_i在摄像机图像中的坐标； 

步骤三：计算目标A在每台摄像机视频中A_i的遮挡权重w_i，选择遮挡权重w_i最大的目标A_m所在的第m台摄像机图像的主平面作为映射主平面，将除第m台摄像机以外的摄 像机图像单应映射到该映射主平面，根据其余摄像机图像中目标A_i≠m的位置信息对遮挡权重w_i最大的目标A_m进行位置定位。 

发明原理： 

多台摄像机采用不同的角度跟踪同一块区域，就可以通过角度差异区别运动目标与遮挡物体，发生遮挡的摄像机视频的跟踪信息可以通过其余摄像机与发生遮挡的摄像机之间的映射关系进行辅助跟踪。摄像机之间可以通过单应映射进行关联。单应映射是平面图像之间的映射关系，因此，摄像机图像平面之间不存在单应性关系，而对于每个摄像机图像平面，其中的地面部分近似为一个平面，因此每台摄像机图像平面的地面部分之间存在单应性关系，其相互间的单应矩阵采用各个摄像机公共地面区域的匹配点对进行计算。 

本发明与现有技术相比，其显著优点在于，本发明采用了多台摄像机多视角监控运动目标，利用摄像机图像中主平面的单应性关系，不发生遮挡的摄像机的目标跟踪结果对发生遮挡的摄像机的目标进行辅助跟踪，克服了单视角无法区分遮挡目标的弊端，解决了运动目标受遮挡而造成跟踪效果差的问题，提高了跟踪质量。 

附图说明

图1本发明方法流程图。 

图2是本发明实验步骤一中采用NCC算法进行精度匹配的效果图。其中，图2(a)是摄像机C₁与摄像机C₂中主平面上的精度点匹配效果图，图2(b)是摄像机C₁与摄像机C₃中主平面上的精度点匹配效果图。 

图3是本发明实验步骤三中所述的映射过程，其中图3(a)是摄像机C₁的图像，图3(b)是摄像机C₃的图像，图3(c)是摄像机C₂的图像，图3(d)是以摄像机C₁的图像主平面为映射主平面，将摄像机C₁与摄像机C₃的图像单应投影到映射主平面上的效果图，目标A的中轴线在映射主平面相较于点O。 

图4是最终的跟踪效果图，其中图4(a)是仅使用摄像机C₁监控运动目标，采用粒子滤波器获得的跟踪目标效果图，图4(b)是采用本发明，采用摄像机C₁与摄像机C₃对摄像机C₁中的目标进行辅助跟踪的效果图。 

具体实施方式

如图1所示，本发明一种采用多台摄像机进行运动目标跟踪的方法，包括以下步骤： 

步骤一：使用最少三台摄像机从多角度监控运动目标A，以每台摄像机图像中的公共平面区域为主平面，公共平面区域可以是每台摄像机图像中相同的地面、平面背景等区域，在每个摄像机图像的主平面内选择四个或四个以上的点，采用归一化互相关算法对两两摄像机主平面内的每个点对进行精确匹配获得匹配点对，根据匹配点对计算每台摄像机图像中主平面之间的单应性关系。 

本步骤所述归一化互相关算法（NCC）可以参见文献一（孙卜郊,周东华.基于NCC的快速匹配算法[J].传感器与微系统.2007.26(9).）。 

步骤二：采用混合高斯目标提取技术分别获取运动目标A在每台摄像机视频中的目标A_i的目标序列i表示摄像机台号，N为摄像机数量,k为当前帧序号，K为视频序列总帧数，同时获得目标A_i在各自摄像机图像中的最高点位置及目标A_i的宽度W_i；采用粒子滤波器分别对每台摄像机中的运动目标A_i进行跟踪处理，获得目标A_i的跟踪位置X_i(x_i,y_i)，x_i和y_i是目标A_i在摄像机图像中的坐标； 

所述混合高斯目标提取技术详见文献二（Chris Stauffer,Grimson,W.E.L.Adaptive background mixture models for real-time tracking[C].Fort Collins,CO:Computer Vision and Pattern Recognition,1999：1063-6919.）。 

所述粒子滤波器详见文献三（王然冉.基于粒子滤波器的人体目标跟踪[J].计算机应用与软件.vol.25,no.12,2008.）。 

步骤三：计算目标A在每台摄像机视频中A_i的遮挡权重w_i，选择遮挡权重w_i最大的目标A_m所在的第m台摄像机图像的主平面作为映射主平面，将除第m台摄像机以外的摄像机图像单应映射到该映射主平面，根据其余摄像机图像中目标A_i≠m的位置信息对遮挡权重w_i最大的目标A_m进行位置定位。 

进一步，所述步骤一中，选择四个或四个以上的点的方法为：先在任意一台摄像机图像的主平面中选择四个或四个以上的点，然后在其余摄像机图像的主平面中选择与前述点的世界坐标系位置相同的点。 

进一步，所述步骤一中，根据匹配点对计算每台摄像机图像中主平面之间的单应性关系的计算方法如公式（1）所示， 

X_i＝H_ijX_j  （1） 

式（1）中，X_i与X_j分别是第i台摄像机与第j台摄像机中的一组匹配点对，H_ij是第i台摄像机与第j台摄像机图像中主平面之间的单应性矩阵。 

步骤三中，所述目标A_i在每台摄像机视频中的遮挡权重w_i的计算方法如下： 

目标A_i的遮挡权重w_i受到两部分因素影响，一个因素是目标A_i的相对大小w_i1，另一个因素是目标A在第k帧视频图像中的像素总数与在前L帧像素总数之间的变化率总和w_i2，即w_i＝w_i1+w_i2， 

其中，w_i1的计算方式如公式（2）所示， 

w_i1＝α(p_i-p)  （2） 

式（2）中，p是目标A在当前帧各个摄像机视频图像中的像素总数p_i的均值，α为影响因子，用来控制w_i1的数量级； 

w_i2的计算方式如公式（3）所示， 

$w_{i2}=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}(p_i^{\left(k\right)}-p_i^{(k-l)})/l---\left(3\right)$

式（3）中，l＝1,2,...,L，L≥2。 

步骤三中，所述根据其余摄像机图像中目标A_i≠m的位置信息对遮挡权重w_i最大的目标A_m进行位置定位的计算过程如下： 

1.1以第m台摄像机图像的主平面为映射主平面，将其余摄像机图像单应映射到映射主平面，不同摄像机中的目标A_i在映射主平面上相互重合，且目标A_i的中轴线将相交于映射主平面上的一点O，将点O经过反向单应映射至其余摄像机图像，得到点O在其余摄像机图像中的位置O_i,i≠m，该位置O_i,i≠m即为目标A_i在各自对应的摄像机图像中的最低点位置，根据该最低点位置和步骤二获得的目标A_i的最高点位置确定其余摄像机图像中目标A_i的高度H_i；目标A_i将被确定在高为H_i、宽为W_i的矩形内，i≠m,i＝1,2,...N； 

1.2计算除目标A_m外其余目标A_i的粒子滤波器跟踪位置X_i(x_i,y_i)在上述矩形内的位置比例，计算方式如公式（4）所示， 

$\left\{\begin{array}{c}{r}_{\mathrm{ix}}=\frac{x_i}{W_i}\\ r_{\mathrm{iy}}=\frac{y_i}{H_i}\end{array}\right.---\left(4\right)$

式（4）中，r_ix为宽度比，r_iy为高度比； 

1.3计算目标A_m的跟踪位置在矩形内的比例，计算方式如公式（5）所示， 

$\left\{\begin{array}{c}{r}_{\mathrm{mx}}=\underset{l=1,l\≠m}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{ix}}{\mathrm{\λ}}_i\\ r_{\mathrm{my}}=\underset{l=1,l\≠m}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{iy}}{\mathrm{\λ}}_i\end{array}\right.---\left(5\right)$

式（5）中，r_mx为宽度比，r_my为高度比，

1.4如公式（6）所示，计算遮挡权重w_i最大的目标A_m的跟踪位置X_m(x_m,y_m)， 

$\left\{\begin{array}{c}{x}_m=r_{\mathrm{mx}}{W}_m\\ y_m=r_{\mathrm{my}}{H}_m\end{array}\right.---\left(6\right)$

式（6）中，H_m是目标A_m的高度，结合步骤二获得的目标A_m最高点位置与映射主平面交点O的位置确定；W_m为在步骤二获得的目标A_m的宽度。 

本发明可以通过以下实验结果进一步说明： 

以三台摄像机C₁、C₂和C₃以三视角监控运动人体目标为例，以地面作为主平面，首先确定三台摄像机图像中主平面之间的单应性关系，然后采用粒子滤波器分别对每个摄像机监控视频中的同一个运动目标进行跟踪，计算每台摄像机监控视频中同一个运动目标的目标遮挡权重，选择目标遮挡权重最大的图像中的主平面作为映射主平面，其余摄像机图像针对该映射主平面进行单应映射，通过其余摄像机中的目标跟踪信息对遮挡目标进行辅助跟踪，获取当前遮挡权重最大的目标的跟踪信息。 

步骤一，计算各个摄像机图像中主平面之间的单应性关系。具体步骤如下： 

在各个摄像机图像的主平面的公共区域内，手动选择四个点，先在某一台摄像机的图像的主平面中选择四个点，然后在其余摄像机图像的主平面中选择与这些点所在的世界坐标系中位置相同的点。针对两两摄像机图像中的每对近似匹配点对，采用10×10的窗口提取出待配准区域，以其中一幅图像中的点为基准，利用公式（7） 

$R(u,v)=\frac{\underset{i=1}{\overset{N1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N2}{\mathrm{\Σ}}}(x_{i+u,j+v}\·y_{\mathrm{ij}})}{{\left[\underset{i=1}{\overset{N1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N2}{\mathrm{\Σ}}}\right(x_{i=u,j=v}^2]}^{1/2}{\left[\underset{i=1}{\overset{N1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N2}{\mathrm{\Σ}}}\right(y_{\mathrm{ij}}^2]}^{1/2}}---\left(7\right)$

在待配准区域中找到其最佳匹配点，实现对两两摄像机之间的四组匹配点对进行精确匹配。精确匹配效果如图2所示，其中图2(a)是摄像机C₁与摄像机C₂中主平面上的精度点匹配，图2(b)是摄像机C₁与摄像机C₃中主平面上的精度点匹配。利用获取的匹配点对根据公式X_i＝H_ijX_j计算两两摄像机图像平面中主平面之间的单应性矩阵。 

步骤二，采用混合高斯目标提取技术分别获取各个摄像机中的运动目标A_i在各自摄像机图像中的最高点位置及目标A_i的宽度W_i；采用粒子滤波器分别对每台摄像机中的运动目标A_i进行跟踪处理，获得目标A_i的跟踪位置X_i(x_i,y_i)。 

步骤三，计算运动目标遮挡权重，具体方法如下： 

计算当前帧三台摄像机视频图像中的同一目标A的像素总数p_i的均值p，目标A_i的相对大小w_i1＝α(p_i-p)，α用来调整w_i1的数量级。 

计算当前帧像素总数与前L帧像素总数之间的变化率总和其中，为第i台摄像机第k帧视频图像中目标的像素总数。 

目标A_i的遮挡权重w_i＝w_i1+w_i2。选择目标遮挡权重最大的摄像机M的图像中的主平面作为映射主平面。 

计算遮挡目标的跟踪位置信息，具体步骤如下： 

设遮挡权重最大的运动目标所在的摄像机为C₁，其余摄像机分别为C₂、C₃，以C₁中的图像的主平面为映射主平面，其余两台摄像机图像利用公式X_i＝H_ijX_j，向映射主平面进行单应性映射。映射结果如合图3所示，其中图3(a)是摄像机C₁的图像，图3(b)是摄像机C₃的图像，图3(c)是摄像机C₂的图像，图3(d)是以摄像机C₁的图像主平面为映射主平面，将摄像机C₁与摄像机C₃的图像单应投影到映射主平面上的效果图，目标A的中轴线在映射主平面相较于点O。如图3(d)所示，轴线l₁、l₂和l₃分别为各个摄像机中的目标中轴线，轴线l₁、l₂和l₃分别相交于映射主平面上的一点，标记为O点，O点经过反向单应映射到各个摄像机图像中，可以确定其在摄像机C₂、摄像机C₃图像中的位置为O₂、O₃，结合混合高斯目标提取得到的目标图像最高点，可以确定C₂、C₃中目标A的高度 为H₂和H₃。人体A被确定在高宽为H_i、W_i的矩形内，i＝1,2,3，其中W_i为混合高斯目标提取得到的目标图像的宽度。根据步骤二获得的摄像机C₂和摄像机C₃中的目标跟踪位置X_2A和X_3A，计算其在对应矩形内的位置比例： 

$\left\{\begin{array}{cc}\begin{array}{c}{r}_{2x}=\frac{x_2}{W_2}\\ r_{2y}=\frac{y_2}{H_2}\end{array}& \left\{\begin{array}{c}{r}_{3x}=\frac{x_3}{W_3}\\ r_{3y}=\frac{y_3}{H_3}\end{array}\right.\end{array}\right.$

计算摄像机C₁中目标跟踪位置在矩形内的比例： 

$\left\{\begin{array}{c}{r}_{1x}=r_{2x}{\mathrm{\λ}}_2+r_{3x}{\mathrm{\λ}}_3\\ r_{1y}=r_{2y}{\mathrm{\λ}}_2+r_{3y}{\mathrm{\λ}}_3\end{array}\right.$

其中则可获得摄像机C₁中的遮挡目标A的跟踪位置

针对运动人体视频，最后采用粒子滤波器对单摄像机跟踪方法与本发明方法分别进行了仿真实验。最终的跟踪效果图如图4所示，其中图4(a)是仅使用摄像机C₁监控运动目标，采用粒子滤波器获得的跟踪目标效果图，可以看出由于遮挡严重，仅可以跟踪一个目标，造成跟踪失败，图4(b)是采用本发明方法，采用摄像机C₁与摄像机C₃对摄像机C₁中的目标进行辅助跟踪的效果图，可以看出由于摄像机C₂和摄像机C₃对遮挡目标进行了辅助跟踪，在摄像机C₁中可以跟踪到两个目标。本发明方法克服了遮挡情况下目标跟踪质量低的弊端，提高了运动目标跟踪质量。 

采用粒子滤波器对单摄像机跟踪方法与本发明方法分别进行了仿真实验的误跟踪帧数比例统计如表一所示。从表一可见采用单个摄像机进行跟踪，跟踪质量比较差，而采用三台摄像机辅助跟踪，跟踪质量得到了明显的提高。 

表一仅采用粒子滤波器和本发明方法进行目标跟踪的质量统计表 

总帧数	仅粒子滤波的误跟踪帧数	本发明的误跟踪帧数
			200	43.5%	9.5%
500	36.2%	7.6%

Claims (4)

1.一种采用多台摄像机进行运动目标跟踪的方法，其特征在于，包括以下步骤：

步骤一：使用最少三台摄像机从多角度监控运动目标A，以每台摄像机图像中的公共平面区域为主平面，在每个摄像机图像的主平面内选择四个或四个以上的点，采用归一化互相关算法对两两摄像机主平面内的每个点对进行精确匹配获得匹配点对，根据匹配点对计算每台摄像机图像中主平面之间的单应性关系；

步骤二：采用混合高斯目标提取技术分别获取运动目标A在每台摄像机视频中的目标A_i的目标序列i表示摄像机台号，N为摄像机数量,k为当前帧序号，K为视频序列总帧数，同时获得目标A_i在各自摄像机图像中的最高点位置及目标A_i的宽度W_i；采用粒子滤波器分别对每台摄像机中的运动目标A_i进行跟踪处理，获得目标A_i的跟踪位置X_i(x_i,y_i)，x_i和y_i是目标A_i在摄像机图像中的坐标；

步骤三：计算目标A在每台摄像机视频中A_i的遮挡权重w_i，选择遮挡权重w_i最大的目标A_m所在的第m台摄像机图像的主平面作为映射主平面，将除第m台摄像机以外的摄像机图像单应映射到该映射主平面，根据其余摄像机图像中目标A_i≠m的位置信息对遮挡权重w_i最大的目标A_m进行位置定位。

2.如权利要求1所述的采用多台摄像机进行运动目标跟踪的方法，其特征在于，步骤一中，所述选择四个或四个以上的点的方法为：先在任意一台摄像机图像的主平面中选择四个或四个以上的点，然后在其余摄像机图像的主平面中选择与前述点所在世界坐标系位置相同的点；

所述根据匹配点对计算每台摄像机图像中主平面之间的单应性关系的计算方法如公式（1）所示，

X_i＝H_ijX_j  （1）

式（1）中，X_i与X_j分别是第i台摄像机与第j台摄像机中的一组匹配点对，H_ij是第i台摄像机与第j台摄像机图像中主平面之间的单应性矩阵。

3.如权利要求1所述的采用多台摄像机进行运动目标跟踪的方法，其特征在于，所述步骤三中，目标A_i在每台摄像机视频中的遮挡权重w_i的计算方法如公式（2）所示，

w_i＝w_i1+w_i2  （2）

式（2）中，w_i1是A_i的相对大小，w_i1的计算方式如公式（3）所示，

w_i1＝α(p_i-p)  （3）

式（3）中，p是目标A在当前帧各个摄像机视频图像中的像素总数p_i的均值，α为影响因子，用来控制w_i1的数量级；

式（2）中，w_i2是目标A在第k帧视频图像中的像素总数与在前L帧像素总数之间的变化率总和w_i2，w_i2的计算方式如公式（4）所示，

$w_{i2}=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}(p_i^{\left(k\right)}-p_i^{(k-l)})/l---\left(4\right)$

式（4）中，l＝1,2,...,L，L≥2。

4.如权利要求1所述的采用多台摄像机进行运动目标跟踪的方法，其特征在于，根据其余摄像机图像中目标A_i≠m的位置信息对遮挡权重w_i最大的目标A_m进行位置定位的计算过程如下：

4.1以第m台摄像机图像的主平面为映射主平面，将其余摄像机图像单应映射到映射主平面，目标A_i的中轴线将相交于映射主平面上的一点O，将点O经过反向单应映射至其余摄像机图像，得到点O在其余摄像机图像中的位置O_i,i≠m，该位置O_i,i≠m即为目标A_i在各自对应的摄像机图像中的最低点位置，根据该最低点位置和步骤二获得的目标A_i的最高点位置确定其余摄像机图像中目标A_i的高度H_i；目标A_i将被确定在高为H_i、宽为W_i的矩形内，i≠m,i＝1,2,...N；

4.2计算除目标A_m外其余目标A_i的粒子滤波器跟踪位置X_i(x_i,y_i)坐标值与宽度W_i和度H_i的比例，计算方式如公式（5）所示，

$\left\{\begin{array}{c}{r}_{\mathrm{ix}}=\frac{x_i}{W_i}\\ r_{\mathrm{iy}}=\frac{y_i}{H_i}\end{array}\right.---\left(5\right)$

式（5）中，r_ix为宽度比，r_iy为高度比；

4.3计算目标A_m的跟踪位置与宽度W_i和度H_i的比例，计算方式如公式（6）所示，

$\left\{\begin{array}{c}{r}_{\mathrm{mx}}=\underset{l=1,l\≠m}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{ix}}{\mathrm{\λ}}_i\\ r_{\mathrm{my}}=\underset{l=1,l\≠m}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{iy}}{\mathrm{\λ}}_i\end{array}\right.---\left(6\right)$

式（6）中，r_mx为宽度比，r_my为高度比，

4.4如公式（7）所示，计算遮挡权重w_i最大的目标A_m的跟踪位置X_m(x_m,y_m)，

$\left\{\begin{array}{c}{x}_m=r_{\mathrm{mx}}{W}_m\\ y_m=r_{\mathrm{my}}{H}_m\end{array}\right.---\left(7\right)$

式（7）中，H_m是目标A_m的高度，结合步骤二获得的目标A_m最高点位置与映射主平面交点O的位置确定；W_m为在步骤二获得的目标A_m的宽度。