CN103700106A - 一种基于分布式摄像机的多视角运动目标统计与定位方法 - Google Patents

Abstract

本发明提出一种基于分布式摄像机的多视角运动目标统计与定位方法。在两个以上的摄像机拍摄的图像平面中确定一幅基准图像，其他图像为非基准图像，找出基准图像与每幅非基准图像之间的单应矩阵；从每一台摄像机拍摄的图像中将运动目标从场景中分割出来，获得每一台摄像机拍摄的运动目标的二值图；通过连通域的寻找将每一幅二值图中的不相连的运动目标分离开；将代表运动目标的目标主轴线通过单应矩阵映射到基准图像平面中，寻找出基准图像中到每条目标主轴线距离之和最短的像素点，该像素点的位置坐标即为运动目标的定位点。本发明解决了单一摄像机情况下由于遮挡或者目标相连造成的漏检问题。

Description

一种基于分布式摄像机的多视角运动目标统计与定位方法

技术领域

本发明属于数字图像处理与模式识别领域，具体涉及一种基于分布式摄像机的多视角运动目标统计与定位方法。

背景技术

近年来，由于直观、明了等特点，视频监控被广泛用来对各种环境、场所和区域进行实时监控，比如地铁站、飞机场和超市等人流量较大的场所。但是，单一摄像机获取的视场范围有限，只能从某一个视角观察到目标；而且所拍摄的场景往往是复杂，目标在视场内运动的时候很容易被场景内的物体遮挡，这就会造成目标的丢失，从而发生漏检现象。再者，当场景内的目标较多时，目标与目标会相隔很近，这时检测出来的目标将会是连在一起的，导致两个目标合为一个，这时只通过运动目标的检测来进行人数统计就会造成漏检。

论文《多摄像机协同的行人检测技术研究》（曾成斌）中提出了一种地面三维重建的方法，该方法先将拍摄的场景地面进行三维重建，然后对地面进行网格离散化处理，每个网格用一个圆柱体表示，并假设每个圆柱体包含一个目标，最后对圆柱体内是否包含目标进行确认。但是实际中人在视场内的远近不同，会造成拍摄到的人的大小、高低不同，从而可能导致每个圆柱体内包含的是同一个目标，造成多检现象。

论文《基于多摄像机的人体运动跟踪与分析》（孙洛）中提出将每台摄像机拍摄到目标通过地面与摄像机之间的投影关系投影到地面，将所用投影的交点作为目标的定位点。但是，由于目标在视场内是面型目标，而非线性，因此需要通过最优估计的方法确定定位点，这会增大定位点寻找的计算量。

发明内容

本发明提出一种基于分布式摄像机的多视角运动目标统计与定位方法,解决了单一摄像机情况下由于遮挡或者目标相连造成的漏检问题。

为了解决上述技术问题，本发明提供一种基于分布式摄像机的多视角运动目标统计与定位方法，包括以下步骤：

第一步、在两个以上的摄像机拍摄的图像平面中确定一幅基准图像，其他图像为非基准图像，找出基准图像与每幅非基准图像之间的单应矩阵；

第二步、从每一台摄像机拍摄的图像中将运动目标从场景中分割出来，获得每一台摄像机拍摄的运动目标的二值图；

第三步、通过连通域的寻找将每一幅二值图中的不相连的运动目标分离开；

第四步、将代表运动目标的目标主轴线通过单应矩阵映射到基准图像平面中，寻找出基准图像中到每条目标主轴线距离之和最短的像素点，该像素点的位置坐标即为运动目标的定位点，所述运动目标的目标主轴线通过每个连通域最小方框四个角点的坐标确定。

本发明与现有技术相比，其显著优点在于：（1）能够有效的克服传统单一摄像机由于遮挡致使目标丢失而造成的漏检现象，并且不会受到场景内因运动目标距离摄像机远近不同而产生的运动目标大小不同的影响；（2）能较为准确的定位出目标所在的位置；（3）采用了寻找到每条目标主轴线距离最近之和最短的一个像素点作为定位点，而不是通过最优估计去寻找，因此计算量较小。

附图说明

图1是本发明方法流程图。

图2是本发明仿真实验中三台摄像机从不同角度对同一场景所拍摄到的图像；其中，图2（a）是第一台摄像机拍摄的场景图像，图2（b）是第二台摄像机拍摄的场景图像，图2（c）和图2（d）是第三台摄像机拍摄的同一幅场景图像，在图2（c）中标示了穿黑色衣服的运动目标的运动目标主轴线，图2（d）标示了穿白色衣服的运动目标主轴线。

图3是本发明仿真实验获得的最终检测结果图，其中，图3（a）为穿白色衣服的运动目标的定位结果，图3（b）为穿黑色衣服的运动目标的定位结果。

具体实施方式

如图1所示，一种基于分布式摄像机的多视角运动目标统计与定位方法，包括以下步骤：

第一步、在两个以上的摄像机拍摄的图像平面中确定一幅基准图像，其他图像为非基准图像，找出基准图像与每幅非基准图像之间的单应矩阵。具体过程为：

1.1使用SAD算法寻找出基准图像与每幅非基准图像之间的匹配点，计算方式如公式（1）所示，

$(x_m,y_m)=\underset{(x_1,y_1)\∈S}{\min }\left(\underset{(i,j)\∈U}{\mathrm{\Σ}}\right|I_1(x_p+i,y_p+j)-I_2(x_1+i,y_1+j)\left|\right)---\left(1\right)$

式（1）中，U表示窗口大小，(x_p,y_p)表示基准图像中待匹配点的坐标值，(x₁,y₁)表示某一非基准图像中候选匹配点的坐标值，I₁(x_p+i,y_p+j)表示基准图像中(x_p+i,y_p+j)位置的像素点的像素值，I₂(x₁+i,y₁+j)表示某一非基准图像中(x₁+i,y₁+j)位置的像素点的像素值，(x_m,y_m)表示在某一非基准图像中找到的匹配点的坐标值，S为在某一非基准图像中定义的搜索范围；

2.2根据每幅非基准图像的匹配点计算基准图像与每幅非基准图像的单应矩阵，计算方式如公式（2）所示，

$\left[\begin{array}{c}{x}_p\\ y_p\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_m\\ y_m\\ 1\end{array}\right]---\left(2\right)$

式（2）中，H表示单应矩阵。

第二步、从每一台摄像机拍摄的图像中将运动目标从场景中分割出来，获得每一台摄像机拍摄的运动目标的二值图。

目前将运动目标从场景中分割出来的主流方法有帧差法、光流法、单高斯模型等，本发明采用混合高斯背景模型进行运动目标分割，混合高斯背景模型如公式(3)所示,

$P\left(x\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{weight}\left(k\right)\×f(x;u_k;{\mathrm{\σ}}_k)---\left(3\right)$

式(3)中，f(x;u_k;σ_k)是均值为u_k、标准差为σ_k的高斯分布，weight(k)为第k个高斯分布的权重，k为所用高斯分布的个数，具体计算过程为:

2.1初始化每个高斯分布的权重weight(i,t,k)、均值μ(i,t,k)和方差σ²(i,t,k)，且满足k个高斯分布权重weight(i,t,k)的和为1；i表示需要更新的高斯分布所模拟的像素点，t表示当前帧图像；

2.2根据每幅图像中每个像素点的像素值对每个高斯分布的权重weight(i,t,k)、均值μ(i,t,k)和方差σ²(i,t,k)进行更新，更新过程具体为：

2.2.1当|I(x,y)-μ(i,t-1,k)|＜2.5σ(i,t-1,k)成立时，其中，I(x,y)为像素点(x,y)的像素值，i表示位置为(x,y)的像素点，μ(i,t-1,k)表示前一帧图像的该像素点的第k个高斯分布的均值，t-1表示前一帧图像，则进行如下更新：

更新权重：weight(i,t,k)＝(1-α)×weight(i,t-1,k)+α，其中，α表示更新速度，α根据实际效果取值；

更新均值：μ(i,t,k)＝(1-α)×μ(i,t-1,k)+α×imagedata，其中imagedata表示当前帧的像素值；

更新方差：σ²(i,t,k)＝(1-α)×σ²(i,t-1,k)+α×(imagedata-μ(i,t,k))²；

2.2.2当|I(x,y)-μ(i,t-1,k)|＜2.5σ(i,t-1,k)不成立时，该像素点不符合该高斯分布，则仅对该高斯分布的权重weight(i,t,k)按照公式（4）进行更新，均值μ(i,t,k)和方差σ²(i,t,k)不进行更新，

weight(i,t,k)＝(1-α)×weight(i,t-1,k)    (4)

2.3将k个高斯分布按照各自对应的方差σ(i,t,k)除以权重weight(i,t,k)的值的大小，即按σ(i,t,k)/weight(i,t,k)所得值的大小，从大到小进行排序，选择σ(i,t,k)/weight(i,t,k)所得值为最大时对应的高斯分布作为背景分布，该高斯分布的均值作为背景模型的像素值，获得背景图像；

2.4、将当前帧与背景帧做差，判断对应像素值之间的差值是否大于阈值，大于阈值则判定为运动目标，否则为背景，从而获得运动目标的二值图，计算方式如公式（5）所示，

|imageframe(x,y)-imageback(x,y)|＞threshold    (5)

式(5)中，imageframe(x,y)表示当前帧图像坐标为(x,y)的像素点的像素值，imageback(x,y)表示背景图像坐标为(x,y)的像素点的像素值。

第三步、通过连通域的寻找将每一幅二值图中的不相连的运动目标分离开，具体过程为：

对获得的运动目标的二值图逐行扫描，找到每一行第一个不为0的点，记下该点的位置(i,j)，其中i表示该点所在行，j表示该点所在列，然后对该点所在行在i-k₁到i+k₂范围内进行扫描，其中k₁，k₂根据实际情况确定，如果找到有不为0的点，则判定该行在连通域内，然后再对上一行以相同方式进行扫描，直到扫描的某一行全为0，则该全为0的行为连通域的上限，记下该行位置n₁；用相同的方法扫描确定出连通域的下限位置n₂；同时，对该点所在列在j-l₁到j+l₂范围内进行扫描，其中l₁，l₂根据据实际情况确定，如果找到有不为0的点，则判定该列在连通域内，然后再对左边一列以相同方式进行扫描，直到扫描的某一列全为0，该全为0的列即为连通域的左限，记下该列位置m₁；用相同的方法扫描确定出连通域的右限位置m₂，从而确定出能框住该连通域的最小方框，并确定该最小方框的四个角点的坐标(n₁,m₁)，(n₁,m₂)，(n₂,m₁)，(n₂,m₂)。

第四步、将代表运动目标的目标主轴线通过单应矩阵映射到基准图像平面中，寻找出基准图像中到每条目标主轴线距离之和最短的像素点，该像素点位置坐标即为运动目标的定位点，

所述运动目标的目标主轴线通过每个连通域最小方框四个角点的坐标获得，即目标主轴线的起点坐标为 $(n_1,\frac{m_1+m_2}{2}),$ 终点坐标为 $(n_2,\frac{m_1+m_2}{2});$

根据单应矩阵将每一幅非基准图像中的目标主轴线映射到基准图像平面上的计算方式如公式（6）所示，

$\left[\begin{array}{c}{x}_d\\ y_d\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_h\\ y_h\\ 1\end{array}\right]---\left(6\right)$

式(6)中,(x_d,y_d)表示非基准图像中的目标主轴线映射到基准图像中后的坐标，(x_h,y_h)表示第h个非基准图像中目标主轴线上的像素点的坐标；

计算基准图像中每个像素点到基准图像中每条运动目标主轴线距离的方式如公式(7)所示，

${\mathrm{dis}\tan \mathrm{ce}}_i(x_t,y_t)=\frac{|A_i{x}_t+B_i{y}_t+C|}{\sqrt{{A_i}^2+{B_i}^2}}---\left(7\right)$

式(7)中，A_ix_t+B_iy_t+C是第i条运动目标主轴线在基准图像中的直线方程，(x_t,y_t)为基准图像中在所有运动目标主轴线中最大端点坐标和最小端点坐标所构成的区域内的像素点的坐标，distance_i(x_t,y_t)表示(x_t,y_t)点到第i条运动目标主轴线的距离；

将根据公式(7)计算出的每个像素点到每条运动目标主轴线的距离根据公式(8)相加，找到距离和最小的像素点的位置坐标，作为代表该目标的定位点。公式(8)如下所示：

$(x_s,y_s)=\min \left(\underset{i=2}{\overset{n}{\mathrm{\Σ}}}{\mathrm{dis}\tan \mathrm{ce}}_i(x_t,y_t)\right)---\left(8\right)$

式(8)中，(x_s,y_s)为在基准图像中运动目标的定位点，n表示在基准图像中目标主轴线的条数。

在基准图像中将会得到最终结果，所有运动目标的定位点在基准图像中用一个白色点表示出来，该点代表了目标的位置，所有白色点的个数代表了目标的数量。

本发明有益效果通过以下仿真实验进一步说明：

实验环境：三台摄像机采用是basler工业相机，其位置随意摆放，程序运行环境是在win7系统下，在vs2010软件上运行。

三台摄像机从不同角度对同一场景所拍摄到的图像如图2所示，图中黑色线段表示运动目标主轴线，其中，图2（a）是第一台摄像机拍摄的场景图像，图2（b）是第二台摄像机拍摄的场景图像，图2（c）和图2（d）是第三台摄像机拍摄的同一幅场景图像，为了表示清楚，在图2（c）中标示了穿黑色衣服的运动目标的运动目标主轴线，图2（d）标示了穿白色衣服的运动目标主轴线；实验中确定图2（a）为基准图，图2（b）、图2（c）、图2（d）为非基准图。

经过计算单应矩阵，运动目标分割，分离不相连的运动目标，找目标主轴线，将非基准图像中的目标主轴线通过单应矩阵映射到基准图像中这一系列步骤最终得到图3所示的运动目标定位结果。为了清除的表示，将每个运动目标的定位结果分别用一张图表示，图3（a）为穿白色衣服的运动目标的定位结果，图3（b）为穿黑色衣服的运动目标的定位结果。图3中相交的黑色线段代表非基准图像中的目标主轴线经过映射后在基准图像中的位置，通过寻找出到每条目标主轴线距离之和最短的像素点，即标示为白色的点，该白色点的位置就代表定位出的目标位置的定位点。

Claims (5)

1.一种基于分布式摄像机的多视角运动目标统计与定位方法，其特征在于，包括以下步骤：

第一步、在两个以上的摄像机拍摄的图像平面中确定一幅基准图像，其他图像为非基准图像，找出基准图像与每幅非基准图像之间的单应矩阵；

第二步、从每一台摄像机拍摄的图像中将运动目标从场景中分割出来，获得每一台摄像机拍摄的运动目标的二值图；

第三步、通过连通域的寻找将每一幅二值图中的不相连的运动目标分离开；

第四步、将代表运动目标的目标主轴线通过单应矩阵映射到基准图像平面中，寻找出基准图像中到每条目标主轴线距离之和最短的像素点，该像素点的位置坐标即为运动目标的定位点，所述运动目标的目标主轴线通过每个连通域最小方框四个角点的坐标确定。

2.如权利要求1所述的基于分布式摄像机的多视角运动目标统计与定位方法，其特征在于，所述步骤一的计算过程为：

2.1使用SAD算法寻找出基准图像与每幅非基准图像之间的匹配点，计算方式如公式（1）所示，

$(x_m,y_m)=\underset{(x_1,y_1)\∈S}{\min }\left(\underset{(i,j)\∈U}{\mathrm{\Σ}}\right|I_1(x_p+i,y_p+j)-I_2(x_1+i,y_1+j)\left|\right)---\left(1\right)$

式（1）中，U表示窗口大小，(x_p,y_p)表示基准图像中待匹配点的坐标值，(x₁,y₁)表示某一非基准图像中候选匹配点的坐标值，I₁(x_p+i,y_p+j)表示基准图像中(x_p+i,y_p+j)位置的像素点的像素值，I₂(x₁+i,y₁+j)表示某一非基准图像中(x₁+i,y₁+j)位置的像素点的像素值，(x_m,y_m)表示在某一非基准图像中找到的匹配点的坐标值，S为在某一非基准图像中定义的搜索范围；

2.2根据每幅非基准图像的匹配点计算基准图像与每幅非基准图像的单应矩阵，计算方式如公式（2）所示，

$\left[\begin{array}{c}{x}_p\\ y_p\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_m\\ y_m\\ 1\end{array}\right]---\left(2\right)$

式（2）中，H表示单应矩阵。

3.如权利要求1所述的基于分布式摄像机的多视角运动目标统计与定位方法，其特征在于，所述步骤二中采用如公式（3）所示的混合高斯背景模型进行运动目标分割，

$P\left(x\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{weight}\left(k\right)\×f(x;u_k;{\mathrm{\σ}}_k)---\left(3\right)$

式(3)中，f(x;u_k;σ_k)是均值为u_k、标准差为σ_k的高斯分布，weight(k)为第k个高斯分布的权重，k为所用高斯分布的个数，具体计算过程为：

3.1初始化每个高斯分布的权重weight(i,t,k)、均值μ(i,t,k)和方差σ²(i,t,k)，且满足k个高斯分布权重weight(i,t,k)的和为1；i表示需要更新的高斯分布所模拟的像素点，t表示当前帧图像；

3.2根据每幅图像中每个像素点的像素值对每个高斯分布的权重weight(i,t,k)、均值μ(i,t,k)和方差σ²(i,t,k)进行更新，更新过程具体为：

3.2.1当|I(x,y)-μ(i,t-1,k)|＜2.5σ(i,t-1,k)成立时，其中，I(x,y)为像素点(x,y)的像素值，i表示位置为(x,y)的像素点，μ(i,t-1,k)表示前一帧图像的该像素点的第k个高斯分布的均值，t-1表示前一帧图像，则进行如下更新：

更新权重：weight(i,t,k)＝(1-α)×weight(i,t-1,k)+α，其中，α表示更新速度，α根据实际效果取值；

更新均值：μ(i,t,k)＝(1-α)×μ(i,t-1,k)+α×imagedata，其中imagedata表示当前帧的像素值；

更新方差：σ²(i,t,k)＝(1-α)×σ²(i,t-1,k)+α×(imagedata-μ(i,t,k))²；

3.2.2当|I(x,y)-μ(i,t-1,k)|＜2.5σ(i,t-1,k)不成立时，该像素点不符合该高斯分布，则仅对该高斯分布的权重weight(i,t,k)按照公式（4）进行更新，均值μ(i,t,k)和方差σ²(i,t,k)不进行更新，

weight(i,t,k)＝(1-α)×weight(i,t-1,k)    (4)

3.3将k个高斯分布按照各自对应的方差σ(i,t,k)除以权重weight(i,t,k)的值的大小，即按σ(i,t,k)/weight(i,t,k)所得值的大小，从大到小进行排序，选择σ(i,t,k)/weight(i,t,k)所得值为最大时对应的高斯分布作为背景分布，该高斯分布的均值作为背景模型的像素值，获得背景图像；

3.4、将当前帧与背景帧做差，判断对应像素值之间的差值是否大于阈值，大于阈值则判定为运动目标，否则为背景，从而获得运动目标的二值图，计算方式如公式（5）所示，

|imageframe(x,y)-imageback(x,y)|＞threshold    (5)

式(5)中，imageframe(x,y)表示当前帧图像坐标为(x,y)的像素点的像素值，imageback(x,y)表示背景图像坐标为(x,y)的像素点的像素值。

4.如权利要求1所述的基于分布式摄像机的多视角运动目标统计与定位方法，其特征在于，所述步骤三的计算过程为：

对获得的运动目标的二值图逐行扫描，找到每一行第一个不为0的点，记下该点的位置(i,j)，其中i表示该点所在行，j表示该点所在列，然后对该点所在行在i-k₁到i+k₂范围内进行扫描，其中k₁，k₂根据实际情况确定，如果找到有不为0的点，则判定该行在连通域内，然后再对上一行以相同方式进行扫描，直到扫描的某一行全为0，则该全为0的行为连通域的上限，记下该行位置n₁；用相同的方法扫描确定出连通域的下限位置n₂；同时，对该点所在列在j-l₁到j+l₂范围内进行扫描，其中l₁，l₂根据据实际情况确定，如果找到有不为0的点，则判定该列在连通域内，然后再对左边一列以相同方式进行扫描，直到扫描的某一列全为0，该全为0的列即为连通域的左限，记下该列位置m₁；用相同的方法扫描确定出连通域的右限位置m₂，从而确定出能框住该连通域的最小方框，并确定该最小方框的四个角点的坐标(n₁,m₁)，(n₁,m₂)，(n₂,m₁)，(n₂,m₂)。

5.如权利要求1所述的基于分布式摄像机的多视角运动目标统计与定位方法，其特征在于，所述步骤四中，

所述运动目标的目标主轴线通过每个连通域最小方框四个角点的坐标获得，即目标主轴线的起点坐标为 $(n_1,\frac{m_1+m_2}{2}),$ 终点坐标为 $(n_2,\frac{m_1+m_2}{2});$

根据单应矩阵将每一幅非基准图像中的目标主轴线映射到基准图像平面上的计算方式如公式（6）所示，

$\left[\begin{array}{c}{x}_d\\ y_d\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_h\\ y_h\\ 1\end{array}\right]---\left(6\right)$

式(6)中,(x_d,y_d)表示非基准图像中的目标主轴线映射到基准图像中后的坐标，(x_h,y_h)表示第h个非基准图像中目标主轴线上的像素点的坐标；

所述基准图像中每个像素点到基准图像中每条运动目标主轴线距离的计算方式如公式(7)所示，

${\mathrm{dis}\tan \mathrm{ce}}_i(x_t,y_t)=\frac{|A_i{x}_t+B_i{y}_t+C|}{\sqrt{{A_i}^2+{B_i}^2}}---\left(7\right)$

式(7)中，A_ix_t+B_iy_t+C是第i条运动目标主轴线在基准图像中的直线方程，(x_t,y_t)为基准图像中在所有运动目标主轴线中最大端点坐标和最小端点坐标所构成的区域内的像素点的坐标，distance_i(x_t,y_t)表示(x_t,y_t)点到第i条运动目标主轴线的距离。

Images