CN102289822A - 一种多摄像机协同跟踪运动目标的方法 - Google Patents

Abstract

本发明公开了一种多摄像机协同跟踪运动目标的方法，即建立一套有效的多摄像机智能监控系统，实现对某一场景进行全景监控。包括以下步骤：步骤一，运动目标检测与分割；步骤二，对运动目标进行跟踪；步骤三，多摄像机协同最终确定运动目标运动轨迹，从而实现全景监控。本发明主要解决了单摄像机监控范围有限的问题。

Description

一种多摄像机协同跟踪运动目标的方法

技术领域

本发明涉及视频监控技术领域，特别是一种多摄像机协同跟踪运动目标的方法。

背景技术

伴随着视频监控系统的普及，多摄像机智能视频监控技术得到了广泛的研究和应用，例如在银行、大型商场、机场等均需要多摄像机进行多物体跟踪、监控，而视频监控中的运动目标检测分割、运动目标跟踪和多摄像机协同技术，成为了计算机视觉领域研究的热点。但是目前大部分多摄像机监控系统仍然被当做一个简单的单摄像机的集合，并没有从中获得更多有效的信息。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种多摄像机协同跟踪运动目标的方法，建立一套有效的多摄像机智能监控系统，通过不同摄像机场景中的关联，获得物体在整个监控环境下的连续轨迹，从而实现对某一场景进行全景监控。

为了解决上述技术问题，本发明公开了一种多摄像机协同跟踪运动目标的方法，包括以下步骤：

步骤一，运动目标检测与分割：基于动态矩阵的自适应背景更新算法，对运动目标进行检测，再利用形态学处理和标记算法实现运动分割；

步骤二，运动目标跟踪：基于改进的Mean Shift(均值偏移)算法确定最佳搜索框位置，从而对运动目标进行跟踪；

步骤三，多摄像机协同最终确定运动轨迹：通过计算场边界线，在多摄像机中建立同一物体运动轨迹的关联，最终实现全景监控。

本发明中，优选地，所述步骤一包括以下步骤：

步骤(11)，建立动态矩阵区分运动目标与背景；包括在动态背景更新算法之上引入动态矩阵，调整参数以降低噪声对帧差的干扰

步骤(12)，利用形态学中的腐蚀、膨胀等操作对单个摄像机拍摄的图像进行处理；包括形态学图像处理中的开闭操作来去除噪点干扰

步骤(13)，利用区域标记算法进行运动目标与背景的分割；包括对二值图像内n连通区域进行标记操作求得所要区域的数目，寻找运动目标

本发明中，优选地，所述步骤二包括以下步骤：

步骤(21)，运用Mean Shift(均值偏移)算法计算每次目标框的重心；包括采用目标的颜色信息作为目标特征信息，利用一些常用的多变量核函数对目标模板进行搜索与跟踪

步骤(22)，利用基于彩色直方图的反向投影法建立跟踪物体的颜色色相分布模型；包括将RGB模型转换到HSV模型，通过运动物体H分量的概率分布图搜索物体特征模型，再将其映射回所要观测的图像中去

步骤(23)，判别目标框与颜色色相分布特征是否相似，如果符合则停止迭代计算并最终确定最佳搜索框位置；

本发明中，优选地，所述步骤三包括以下步骤：

步骤(31)，确定单摄像机三维场边界线；包括定义摄像机所覆盖的四棱锥空间与地平面相交所得的平面四条边为图像中足迹的实际边界

步骤(32)，检测场边界线，确定存在目标物体的摄像机集合；包括判断一台摄像机中呈现的物体是否在另一台摄像机的视野中

步骤(33)，通过三维边界场对跟踪物体的约束条件，正确匹配摄像机集合中的运动目标；包括采用候选物体与场边界线的最短距离作为约束条件，来从集合中已存在的物体中寻找出正确匹配的物体

有益效果：本发明解决了单摄像机场景覆盖有限的问题，通过建立不同摄像机场景中的关联，采用多摄像机协同对运动目标进行跟踪，提供一个完整的运动信息，从而达到全景监控的效果。另外多摄像机协同监控在面对遮挡问题时较单摄像机能有更强的鲁棒性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明方法简化流程图。

图2是自适应背景法示意图。

图3是基于色彩直方图的均值偏移算法的流程图。

图4是摄像机视野示意图。

图5a和图5b是检测场边界线示意图。

图6是多目标检测场边界线示意图。

具体实施方式：

本发明硬件部分由多个视频拍摄装置、运算处理装置和显示装置组成，核心思路是利用视频图像的三维特征点分面，网格化各面的特征点并绘制相应纹理并判断各面间的连通性，应用纹理延伸技术面内“空洞”和面面间“缝隙”，最后完成三维图像渲染，并显示自由视角的3D目标。

如图1所示，本发明公开了一种多摄像机协同跟踪运动目标的方法，包括以下步骤：

步骤一，运动目标检测与分割：基于动态矩阵的自适应背景更新算法，对运动目标进行检测，再利用形态学处理和标记算法实现运动分割；

所述步骤一包括以下步骤：

步骤(11)，建立动态矩阵区分运动目标与背景；

引入运动矩阵：

I(t)为t时刻的图像；

I(t-γ)为t-γ时刻的图像；

F(t)为I(t)与I(t-γ)的二值化后的差值图像；

D(t)为t时刻动态矩阵。

则有如下关系：

$D_{i,j}\left(t\right)=\left\{\begin{array}{cc}{D}_{i,j}(t-1)-1& F_{i,j}\left(t\right)=0,D_{i,j}(t-1)\≠0\\ \mathrm{\λ}& F_{i,j}\left(t\right)\≠0\end{array}\right.---\left(2.2\right)$

γ代表间隔时间，γ越大，越不容易产生重影。T_f是一个阈值，来判断在t时刻某点是否有运动，T_f越大，则帧差结果受噪声的干扰就越小，但可能会丢失实际运动物体信息。λ指示如果该点在一段时间内没有什么变化，则将其视为背景信息，λ越大，对物体的慢速检测越有效。

可见动态矩阵D(t)可以表示物体的短时间内物体的颜色变化，而只有在短时间内时期内没有发生很大变化的点(D_i，j(t)＝0的点)才会被当作背景参预更新。更新方式如下。

B_i，j(t)＝α·I_i，j(t)+(1-α)·B_i，j(t-1)(2.3)

其中α代表当前帧在更新背景时所占据的权重，α越大，背景更新速度就越快。

步骤(12)，利用形态学中的腐蚀、膨胀等操作对单个摄像机拍摄的图像进行处理；

A，B为Z²中的集合，

为空集，A被结构元素B的腐蚀定义为

A被B腐蚀的结果为所有使B被x平移后包含于A的点x的集合。

A被结构元素B的膨胀的定义为：

其中，B′是结构元素B关于原点的映射。A被B膨胀是被所有x平移后于A至少有一个非零公共元素。

使用结构元素B对A进行开操作，表示为A°B，定义为：

可见，用B对A进行开操作就是用B对A腐蚀，然后用B对结果进行膨胀。

使用结构元素B对A进行闭操作，表示为A·B，定义为：

步骤(13)，利用区域标记算法进行运动目标与背景的分割。

在二值图像f中，相互联结的黑像素的集合成为一个(黑)区域。本程序通过对图像f内每个区域进行标记操作(标号)，求得区域的数目。由于处理前的f是二值的，像素要么为0(黑)，要么为255(白)，所以处理后每个像素的值即为其所处理区域的区域标号(1，2，3，…)。连接性c(＝4)或(＝8)由用户决定。

步骤二，运动目标跟踪：基于改进的均值偏移算法确定最佳搜索框位置，从而对运动目标进行跟踪；

所述步骤二包括以下步骤：

步骤(21)，运用Mean shift算法计算每次目标框的重心；

设

是观测的目标模板区域的像素位置^[10]，且目标模板的中心坐标为0，定义一个核函数k(x)，它的作用是给目标模板区域的像素设置不同权值，让离模板中心较近的像素点对统计的特征信息有较大影响，而较远的像素点则对统计特征值影响较小。加权后的目标模板像素在进行密度估计时提高了搜索和跟踪能力，增强了鲁棒性。

我们令R²→{1...m}为

图像处的灰度值搜引函数，即

表示了位置坐标

处于映射于特征空间中的特征值。目标模型中各个特征值得概率密度计算如公式所示

$q_u=C{\mathrm{\Σ}}_{i=1}^{n}k\left({\left|\right|x_i^{*}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i^{*}\right)-u],---\left(3.1\right)$

其中δ(·)是Delta函数，

的作用是判断目标区域中像素点

在特征空间化的对应值

是否为u，若是则为0。C为标准化常量系数，使得

因此

$C=\frac{1}{{\mathrm{\Σ}}_{i=1}^{n}k\left({\left|\right|x_i^{*}\left|\right|}^2\right)}---\left(3.2\right)$

候选目标区域中观测值用

表示，当前图像帧的中心为y。通过尺度为h的核函数，图像灰度特征u＝1，...，m的候选目标为基础，其颜色概率函数可以表示为：

$p_u\left(y\right)=C_h{\mathrm{\Σ}}_{i=1}^{n_k}k\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u],---\left(3.3\right)$

这里，常数C_h并不依赖y的选择，因为y也是x_i中的一员，他使得

则

$C=\frac{1}{{\mathrm{\Σ}}_{i=1}^{n_h}k\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)}---\left(3.4\right)$

步骤(22)，利用基于彩色直方图的方向投影法建立跟踪物体的颜色色相分布模型；

采集的视频信息都是采用的RGB颜色模型，但是该颜色模型对光照(亮度)影响较为敏锐，不适于利用它进行被跟踪物体的特征提取，所以我们需要把视频信息由RGB转换为HSV模型。

RGB与HSV转换公式：

V＝max(R，G，B)，(3.10)

$S=\left\{\begin{array}{c}(V-\min (R,G,B))*\frac{255}{v}\mathrm{if}(V\≠0)\\ 0\end{array}\right.---\left(3.11\right)$

$H=\left\{\begin{array}{c}(G-B)*\frac{60}{s}\mathrm{if}(V=R)\\ 180-(B-G)*\frac{60}{s}\mathrm{if}(V=G)\\ 240+(R-G)*\frac{60}{s}\mathrm{if}(V=R)\end{array}\right.,---\left(3.12\right)$

if(H＜0)thenH＝H+360

步骤(23)，判别目标框与颜色色相分布特征是否相似，如果符合则停止迭代计算并最终确定最佳搜索框位置。

具体操作如下：

①由运动物体的分割检测得到初始Mean shift搜索窗口，并计算得到窗口的中心(x′，y′)和大小(m，n)。

②计算被搜索的窗口的重心。

在二维离散的概率分布图像里，我们可以用窗口的零阶矩M₀₀和一阶矩M₀₁、M₁₀间的关系得到窗口的质心，具体过程如下：

1)计算出窗口的零阶矩和一阶矩

$M_{00}=\underset{x=0}{\overset{m}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}I(x,y)$

$M_{10}={\mathrm{\Σ}}_{x=0}^m{\mathrm{\Σ}}_{y=0}^{n}x\·I(x,y)---\left(3.12\right)$

$M_{01}=\underset{x=0}{\overset{m}{\mathrm{\Σ}}}\underset{y=0}{\overset{n}{\mathrm{\Σ}}}y\·I(x,y)$

I(x，y)表示坐标(x，y)的像素值，由于对该图像运用了反向投影方法，所以实际这里的像素质是原颜色的概率值。

2)计算出目标窗口重心

$x_C=\frac{M_{10}}{M_{00}},$ $y_C=\frac{M_{01}}{M_{00}},---\left(3.13\right)$

③调整窗口的中心(x′，y′)到窗口重心(x_C，y_C)，计算出所移动的距离d：

$d=\sqrt{{(x_C-x^{\′})}^2+{(y_C-y^{\′})}^2},---\left(3.14\right)$

④判断距离d是否已经小于某设定的阈值，如果成功小于设定阈值，说明窗口中心达到了汇聚效果，算法结束，已经找到最优位置，否则转第5步。

⑤判断寻找最优位置是否已经达到一定次数，如果达到，同样迭代完毕，认为找到最优位置，否则转第2步。

步骤三，多摄像机协同最终确定运动轨迹：通过计算场边界线，在多摄像机中建立同一物体运动轨迹的关联，最终实现全景监控。

本发明中，优选地，所述步骤三包括以下步骤：

步骤(31)，确定单摄像机三维场边界线；

定义第i个摄像机的图像为Cⁱ(x，y)。Cⁱ的覆盖范围在空间上实际是一个四棱锥，它的顶点是摄像机的投影中心，在图像平面上的四条边分别为x＝0，x＝x_max，y＝0，y＝y_max。定义S是这图像平面上四条边的集合，用小写s表示这四条边的任意一条。地平面与四棱锥相交所得四条边即为图像中足迹的实际边界，称之为三维场边界线(如图4所示)。

步骤(32)，检测场边界线，确定存在目标物体的摄像机集合；

如图5a所示，一个人刚刚从摄像机C²左侧进入C²范围，立即检测摄像机C¹范围内是否有目标出现，如果C¹范围内仅仅有一个目标，那么我们可以认为他们是同一目标，并可以在C¹视野范围内确定L^2，y＝0上的一点。同样，根据图5b所描述的情况，同样可以再确定L^2，y＝0上的一点。

步骤(33)，通过三维边界场对跟踪物体的约束条件，正确匹配摄像机集合中的运动目标。

如果在Cⁱ中发现一个新物体从图像边缘s进入图像，那么与之相关的同一物体会在C^j中的场边界线

被看见。更多的，该相关运动的方向也可以由函数

表示，它由负数变为正数。

依据这个约束条件，我们可以列出可能的关联物体的候选名单。在绝大数情况下，依据这个约束条件足以消除可能的误匹配并找出真正的同一物体的匹配情况。这种情况下，对于Cⁱ中的观测就可以进行依据与C^j关联的观测进行连续跟踪标记了。实际上，我们可以运用C^j中的候选物体与场边界线

最短距离作为约束条件。

$O_m^i\↔O_n^j\mathrm{if}\arg \min D(L_j^{i,s},O_p^i),\∀j\∈C_i\left(m\right)---\left(4.2\right)$

其中p是C^j中物体的标记，函数D(L，O)返回物体O与直线L的距离。

如果场景存在不止一个物体时，当其中一个物体穿过场边界线，那么在另外一个摄像机范围内的所有物体都会被认为是穿过场边界线的候选目标。然而错误的匹配目标会随机的分散在场边界线的两边，而正确的关联候选目标会集中在一条直线上。因此我们可以采用Hough变换(霍夫变换)和RANSAC(随机抽样一致性)算法结合来拟合出正确的场边界线，从而正确匹配运动目标，如图6所示。

Claims (4)

1.一种多摄像机协同跟踪运动目标的方法，其特征在于包括以下步骤：

步骤一，运动目标检测与分割：基于动态矩阵的自适应背景更新算法，对运动目标进行检测，再利用形态学处理和标记算法实现运动分割；

步骤二，运动目标跟踪：基于改进的均值偏移算法确定最佳搜索框位置，从而对运动目标进行跟踪；

步骤三，多摄像机协同最终确定运动轨迹：通过计算场边界线，在多摄像机中建立同一物体运动轨迹的关联，最终实现全景监控。

2.根据权利要求1所述的一种多摄像机协同跟踪运动目标的方法，其特征在于，所述步骤一包括以下步骤：

步骤(11)，建立动态矩阵区分运动目标与背景；

步骤(12)，利用形态学中的腐蚀、膨胀等操作对单个摄像机拍摄的图像进行处理；

步骤(13)，利用区域标记算法进行运动目标与背景的分割。

3.根据权利要求2所述的一种多摄像机协同跟踪运动目标的方法，其特征在于，所述步骤二包括以下步骤：

步骤(21)，运用均值偏移算法计算每次目标框的重心；

步骤(22)，利用基于彩色直方图的方向投影法建立跟踪物体的颜色色相分布模型；

步骤(23)，判别目标框与颜色色相分布特征是否相似，如果符合则停止迭代计算并最终确定最佳搜索框位置。

4.根据权利要求3所述的一种多摄像机协同跟踪运动目标的方法，其特征在于，所述步骤三包括以下步骤：

步骤(31)，确定单摄像机三维场边界线；

步骤(32)，检测场边界线，确定存在目标物体的摄像机集合；

步骤(33)，通过三维边界场对跟踪物体的约束条件，正确匹配摄像机集合中的运动目标。

Images