CN102006461A - 摄像机联合跟踪检测系统 - Google Patents

Abstract

本发明提供一种多台PTZ摄像机联合跟踪检测系统，其包括多台PTZ摄像机、摄像机预标定模块、PTZ驱动模块、目标检测跟踪模块、目标信息链更新模块以及服务器。摄像机预标定模块对多个摄像机进行预标定，目标检测跟踪模块对目标进行检测跟踪并将跟踪信息通过目标信息链更新模块发送给服务器，服务器通知PTZ驱动模块调整PTZ摄像机的参数连续跟踪目标。

Description

摄像机联合跟踪检测系统

【技术领域】

本发明涉及监控领域，特别是关于一种利用多台PTZ摄像机联合跟踪检测系统。

【背景技术】

平移倾斜变焦(Pan，Tilt，Zoom，简称PTZ)摄像机因为其具有可变视角和可变焦能力，已经得到越来越广泛的应用。但在目前的监控领域，通常是一台摄像机只负责自己所监视的区域，而每台PTZ摄像机虽然可以移动，但监视范围还是有限的，当一个运动目标离开一个PTZ的监控范围进入另一台PTZ的监控范围时，现有的监控系统无法实现联合连续跟踪检测。

【发明内容】

本发明的目的在于提供一种多台摄像机联合跟踪检测系统。

为达成前述目的，本发明一种摄像机联合跟踪检测系统，其包括：

至少两台摄像机，其用于采集视频画面；每一摄像机包括目标检测跟踪模块，用于对运动目标进行检测与跟踪；

摄像机预标定模块，用于对摄像机进行标定；

服务器，接受各摄像机的目标检测跟踪模块检测的目标信息，将各摄像机检测的目标对应联立并通知驱动模块驱动各摄像机对运动目标跟踪。

进一步地，前述对摄像机进行标定采用的是经纬球状坐标系作为公共坐标系，采用多组基础矩阵的方法进行估计。

进一步地，前述目标检测跟踪模块进一步包括：

视频输入模块，用于将采集的影像数字化；

图像预处理模块，对图像进行滤波、降噪、灰度变换、二值化预处理；

背景模块，获取图像中的背景模型并对背景模型进行更新；

运动目标检测模块，检测输入图像中的运动目标；

目标跟踪模块，跟踪运动目标并记录其运动轨迹。

进一步地，所述背景模块是采用基于高斯统计模型的建模方法建立背景模型的，在视频序列图像中，每个像素点的灰度值是符合高斯分布的，因此可以计算：

${\mathrm{\μ}}_n(x,y)=\frac{1-n}{n}{\mathrm{\μ}}_{n-1}(x,y)+\frac{1}{n}{f}_n(x,y)$

${\mathrm{\σ}}_n^2(x,y)=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(f_n(x,y)-{\mathrm{\μ}}_{n-1}(x,y))}^2$

μ_n(x，y)和σ_n(x，y)分别表示前n帧图像的(x，y)点的均值和均方差，可以利用有限帧图像建立一个背景模型：

$B_0(x,y)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{f}_{\mathrm{ik}}(x,y)$

其中f_ik(x，y)满足|f_ik(x，y)-μ_n(x，y)|≤βσ_n(x，y)，β是一个预先设定的常量，帧数较多时，可设置为1。

进一步地，所述背景模块首先利用当前帧与前一帧进行帧差，当两帧相差后某像素点灰度值大于某个阈值时，就判断为前景点，否则为背景点，对检测出运动前景区域点背景保留，而对被判断为背景区域采用下面的公式进行更新；

B_k(x，y)＝αB_k-1(x，y)+(1-α)f_k(x，y)

B_k(x，y)为第k帧时刻的背景模型，其中0≤α≤1为更新速率，表示背景模型的更新快慢。

进一步地，所述运动目标检测模块首先将当前收入图像分别与背景图象及前一帧图像相减得到差分图象，使用阈值化方法对两幅差分图像分别进行二值化处理；然后，使用数学形态学方法对两幅二值化图像进行滤波处理，填充前景区域中的空洞，同时去除面积较小的孤立区域、非连通区域，只保留连通区域的面积大于给定阈值的连通部分；最后，对上述两幅滤波后的二值化图像进行逻辑与操作，并对运算后的图像进行数学形态学滤波处理，得到最终的运动检测结果；得到运动检测结果后，按照背景差分法的更新模式对非运动区域进行更新；使用更新的背景模型B_k(x，y)对当前帧进行背景差分，大于某一阈值T的图像点即为运动目标的点，

$M(x,y)=\left\{\begin{array}{c}1,|B_{k-1}(x,y)-f_k(x,y)|>T\\ 0,,|B_{k-1}(x,y)-f_k(x,y)|\≤T\end{array}\right.$

M是运动区域分割的二值图矩阵，M(x，y)＝1表示运动前景区域，M(x，y)＝0表示背景区域。

进一步地，所述各摄像机的目标检测跟踪模块检测的目标信息包括运动目标的参数编号分类，所述服务器将各摄像机检测的同一目标的参数编号分类对应联立，进行全区域视频目标跟踪。

进一步地，所述各摄像机的目标检测跟踪模块检测的目标信息包括运动目标的位置，所述运动目标进入两台摄像机的公共视场中或即将进从一台摄像机的视场中进入另一台摄像机的视场中时，服务器控制所述另一台摄像机进行跟踪。

进一步地，所述摄像机为平移倾斜变焦(PTZ)摄像机。

进一步地，所述各摄像机与服务器通过无线或有限网络进行联系。

本发明的基于多台PTZ摄像机联合跟踪检测系统，通过两个或更多台PYZ摄像机组成一个联合跟踪检测系统，具有更大范围的巡视能力，可以协同实现立体视觉的优势。每台PTZ摄像机可以单独进行目标检测和跟踪任务，也可以联合跟踪，特别对特定目标，可以调节两台摄像机获取立体信息，并通过事先的摄像机标定，确定目标的精确位置和形状大小参数。并且，PTZ摄像机联动还有获取全景图像、近景高分辨率图像以及场景深度信息等优势。采用终端处理，平台协调的方式使得处理速度较高，能够满足实时性要求，提高跟踪效率，便于应用到实时跟踪场景中。

【附图说明】

图1是本发明的多台摄像机联合跟踪检测系统的结构框图。

图2是本发明的多台摄像机联合跟踪检测系统的目标跟踪检测模块的结构框图。

图3是本发明的多台摄像机联合跟踪检测系统的运动目标检测模块的工作流程示意图。

图4是本发明的多台摄像机联合跟踪检测应用示意图。

【具体实施方式】

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

请参阅图1所示，其显示本发明的多台摄像机联合跟踪检测系统100的结构框图。如图所示，本发明的多台摄像机联合跟踪检测系统100，其包括：摄像机预标定模块1、若干台摄像装置2、目标检测跟踪模块3、目标信息链更新模块4、服务器5以及摄像机驱动模块6。

摄像机预标定模块1用于对各个摄像装置2(摄像机)进行标定，根据摄像机预先标定，可以得到该目标的立体视觉。对于多目PTZ摄像跟踪检测系统标定，主要包括两部分，单目摄像机标定和双目或多目摄像机公共坐标系的建立。传统的固定摄像机标定，一般要通过估计摄像机架设位置或者利用标定物来计算摄像机间关系来确定。PTZ摄像机参数会随着移动进行改变，因此本发明采用经纬球状坐标系作为公共坐标系，采用多组基础矩阵的方法进行估计，而且不需要标定物。

单目摄像机参数标定摄像机模型如下：

$\tilde{x}=\mathrm{KRX},K=\left[\begin{array}{ccc}f& 0& u_0\\ & f& v_0\\ & & 1\end{array}\right]$

其中，x，X分别为图像坐标和世界坐标。f为焦距。主点u₀，v₀可以用Zoom中心代替。分别进行Zoom中心估计，内参矩阵估计和旋转矩阵估计。

双目或多目参数标定可以使用现有的双PTZ摄像机系统的标定的方法，此处不再详细介绍。

每一台摄像装置2对应有一个目标检测跟踪模块3，用于对目标进行检测和跟踪。如图2所示，本发明的目标检测跟踪模块3进一步包括视频输入模块31、图像预处理模块32、背景创建及更新模块33、运动目标检测模块34以及目标跟踪模块35。

视频采集模块31的主要功能是利用摄像头采集影像并数字化。通过系统初始化，对系统中的参数进行设定，如每秒采集图像的帧数，图像二值化的阈值等。由图像采集系统将CCD摄像机摄取的监控区域的运动目标(例如行驶车辆或行人等)的视频图像按序列连续捕捉下来并经A/D转换、数字化后存入帧存储器中。

图像预处理模块32用于对图像进行预处理，因为动态采集的图像存在模糊，噪声干扰等问题，首先需做滤波、降噪、灰度变换、二值化等预处理。

背景创建及更新模块33用于创建背景从而区分出背景和前景，并根据背景变化情况对背景进行更新。背景图像的获取最简单的方法是在场景没有运动目标的情况下进行，但是在实际应用中能够无法满足这种要求，诸如银行等场所的监控，很难保证视频场景中没有运动的人员出现，所以需要一种能够在场景中存在运动目标的情况下获取背景图像的方法，本发明采用基于高斯统计模型的建模方法。

在视频序列图像中，每个像素点的灰度值是符合高斯分布的，因此可以计算：

${\mathrm{\μ}}_n(x,y)=\frac{1-n}{n}{\mathrm{\μ}}_{n-1}(x,y)+\frac{1}{n}{f}_n(x,y)$

${\mathrm{\σ}}_n^2(x,y)=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(f_n(x,y)-{\mathrm{\μ}}_{n-1}(x,y))}^2$

μ_n(x，y)和σ_n(x，y)分别表示前n帧图像的(x，y)点的均值和均方差。可以利用有限帧图像建立一个背景模型：

$B_0(x,y)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{f}_{\mathrm{ik}}(x,y)$

f_ik(x，y)满足|f_ik(x，y)-μ_n(x，y)|≤βσ_n(x，y)，β是一个预先设定的常量，帧数较多时，可设置为1。

随着光照等的改变，背景模型必须进行及时更新。本发明采用更新策略是，首先利用当前帧与前一帧进行帧差，当两帧相差后某像素点灰度值大于某个阈值时，就判断为前景点，否则为背景点，对检测出运动前景区域点背景保留，而对被判断为背景区域采用下面的公式进行更新。

B_k(x，y)＝αB_k-1(x，y)+(1-α)f_k(x，y)

B_k(x，y)为第k帧时刻的背景模型，其中0≤α≤1为更新速率，表示背景模型的更新快慢。

运动目标检测模块34的主要功能是检测输入图像中的运动目标，目前常用运动检测算法实现，比如光流法、帧间差分法、背景差分法等等。本发明提出一种快速有效、运算复杂度小的运动检测方法，适合于集成在嵌入式系统中。

如图3所示，本发明的运动目标检测模块34对于当前输入图像，首先将其分别与背景图象及前一帧图像相减得到差分图象，使用阈值化方法对两幅差分图像分别进行二值化处理。然后，使用数学形态学方法(比如膨胀运算、腐蚀运算、开运算、关运算等)对两幅二值化图像进行滤波处理，填充前景区域中的空洞，同时去除面积较小的孤立区域、非连通区域，只保留连通区域的面积大于给定阈值的连通部分。最后，对上述两幅滤波后的二值化图像进行逻辑与操作，并对运算后的图像进行数学形态学滤波处理，得到最终的运动检测结果。得到运动检测结果后，按照背景差分法的更新模式对非运动区域进行更新。使用更新的背景模型B_k(x，y)对当前帧进行背景差分，大于某一阈值T的图像点即为运动目标的点。

$M(x,y)=\left\{\begin{array}{c}1,|B_{k-1}(x,y)-f_k(x,y)|>T\\ 0,,|B_{k-1}(x,y)-f_k(x,y)|\≤T\end{array}\right.$

M是运动区域分割的二值图矩阵，M(x，y)＝1表示运动前景区域，M(x，y)＝0表示背景区域。

目标跟踪模块35的主要功能是在连续的视频流中识别出检测到的物体，并记录其运动轨迹。考虑到嵌入式系统的处理能力，本发明较佳的实施方式为使用运算复杂度较小的特征匹配方法、均值偏移方法等，粒子滤波算法则不宜采用。

每一台摄像装置2的目标检测跟踪模块3在对目标进行检测和跟踪后，将检测跟踪的结果通过目标信息链更新模块4进行更新，并将更新后的目标数据传送给服务器5。

服务器将5其中一个摄像装置2，根据目标序列中运动目标参数编号分类等交给另一摄像装置2，这样将前一个摄像装置2和后一个摄像装置2检测出的目标对应联立，其中将两个摄像装置的检测出的同一目标进行联立的方法可以是然后服务器5控制摄像装置驱动模块6驱动摄像装置2进行跟踪，同时得到全区域视频目标跟踪检测的目的。

请参阅图4所示，其显示本发明的多台摄像机联合跟踪检测的具体应用的示意图。如图所示，在本发明的一个实施例中，假定一座大厦或仓库四周装有四台PTZ摄像机，彼此之间由IP网络(有线网络或无线网络)进行联系，公用同一个服务器平台对各自图像进行处理，假设图中行人沿着红色虚线轨迹进行移动，在图中的下方部分，首先由摄像机1对行人进行跟踪检测，摄像机1检测得到目标行人位置，并驱动PTZ摄像机使得行人处于画面中心，当行人进入摄像机1、2的公共视场中或即将进入摄像机2的视场中，服务器中心控制驱动摄像机2进行跟踪，同时将摄像机1根据目标序列中行人参数编号分类等交给摄像机2，和摄像机2本身检测出的目标对应联立，得到全区域视频目标跟踪检测的目的；同时，在两台摄像机同时跟踪情况下，根据摄像机预先标定，可以得到该目标的立体视觉。

本发明的基于多台PTZ摄像机联合跟踪检测系统，通过两个或更多台PYZ摄像机组成一个联合跟踪检测系统，具有更大范围的巡视能力，可以协同实现立体视觉的优势。每台PTZ摄像机可以单独进行目标检测和跟踪任务，也可以联合跟踪，特别对特定目标，可以调节两台摄像机获取立体信息，并通过事先的摄像机标定，确定目标的精确位置和形状大小参数。并且，PTZ摄像机联动还有获取全景图像、近景高分辨率图像以及场景深度信息等优势。采用终端处理，平台协调的方式使得处理速度较高，能够满足实时性要求，提高跟踪效率，便于应用到实时跟踪场景中。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (10)

1.一种摄像机联合跟踪检测系统，其包括：

至少两台摄像机，其用于采集视频画面；每一摄像机包括目标检测跟踪模块，用于对运动目标进行检测与跟踪；

摄像机预标定模块，用于对摄像机进行标定；

服务器，接受各摄像机的目标检测跟踪模块检测的目标信息，将各摄像机检测的目标对应联立并通知驱动模块驱动各摄像机对运动目标跟踪。

2.如权利要求1所述的摄像机联合跟踪检测系统，其特征在于：前述对摄像机进行标定采用的是经纬球状坐标系作为公共坐标系，采用多组基础矩阵的方法进行估计。

3.如权利要求1所述的摄像机联合跟踪检测系统，其特征在于：前述目标检测跟踪模块进一步包括：

视频输入模块，用于将采集的影像数字化；

图像预处理模块，对图像进行滤波、降噪、灰度变换、二值化预处理；

背景模块，获取图像中的背景模型并对背景模型进行更新；

运动目标检测模块，检测输入图像中的运动目标；

目标跟踪模块，跟踪运动目标并记录其运动轨迹。

4.如权利要求3所述的摄像机联合跟踪检测系统，其特征在于：所述背景模块是采用基于高斯统计模型的建模方法建立背景模型的，在视频序列图像中，每个像素点的灰度值是符合高斯分布的，因此可以计算：

${\mathrm{\μ}}_n(x,y)=\frac{1-n}{n}{\mathrm{\μ}}_{n-1}(x,y)+\frac{1}{n}{f}_n(x,y)$

${\mathrm{\σ}}_n^2(x,y)=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(f_n(x,y)-{\mathrm{\μ}}_{n-1}(x,y))}^2$

μ_n(x，y)和σ_n(x，y)分别表示前n帧图像的(x，y)点的均值和均方差，可以利用有限帧图像建立一个背景模型：

$B_0(x,y)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{f}_{\mathrm{ik}}(x,y)$

其中f_ik(x，y)满足|f_ik(x，y)-μ_n(x，y)|≤βσ_n(x，y)，β是一个预先设定的常量，帧数较多时，可设置为1。

5.如权利要求3所述的摄像机联合跟踪检测系统，其特征在于：所述背景模块首先利用当前帧与前一帧进行帧差，当两帧相差后某像素点灰度值大于某个阈值时，就判断为前景点，否则为背景点，对检测出运动前景区域点背景保留，而对被判断为背景区域采用下面的公式进行更新；

B_k(x，y)＝αB_k-1(x，y)+(1-α)f_k(x，y)

B_k(x，y)为第k帧时刻的背景模型，其中0≤α≤1为更新速率，表示背景模型的更新快慢。

6.如权利要求3所述的摄像机联合跟踪检测系统，其特征在于：所述运动目标检测模块首先将当前收入图像分别与背景图象及前一帧图像相减得到差分图象，使用阈值化方法对两幅差分图像分别进行二值化处理；然后，使用数学形态学方法对两幅二值化图像进行滤波处理，填充前景区域中的空洞，同时去除面积较小的孤立区域、非连通区域，只保留连通区域的面积大于给定阈值的连通部分；最后，对上述两幅滤波后的二值化图像进行逻辑与操作，并对运算后的图像进行数学形态学滤波处理，得到最终的运动检测结果；得到运动检测结果后，按照背景差分法的更新模式对非运动区域进行更新；使用更新的背景模型B_k(x，y)对当前帧进行背景差分，大于某一阈值T的图像点即为运动目标的点，

$M(x,y)=\left\{\begin{array}{c}1,|B_{k-1}(x,y)-f_k(x,y)|>T\\ 0,,|B_{k-1}(x,y)-f_k(x,y)|\≤T\end{array}\right.$

M是运动区域分割的二值图矩阵，M(x，y)＝1表示运动前景区域，M(x，y)＝0表示背景区域。

7.如权利要求1所述的摄像机联合跟踪检测系统，其特征在于：所述各摄像机的目标检测跟踪模块检测的目标信息包括运动目标的参数编号分类，所述服务器将各摄像机检测的同一目标的参数编号分类对应联立，进行全区域视频目标跟踪。

8.如权利要求1所述的摄像机联合跟踪检测系统，其特征在于：所述各摄像机的目标检测跟踪模块检测的目标信息包括运动目标的位置，所述运动目标进入两台摄像机的公共视场中或即将进从一台摄像机的视场中进入另一台摄像机的视场中时，服务器控制所述另一台摄像机进行跟踪。

9.如权利要求1所述的摄像机联合跟踪检测系统，其特征在于：所述摄像机为平移倾斜变焦(PTZ)摄像机。

10.如权利要求1所述的摄像机联合跟踪检测系统，其特征在于：所述各摄像机与服务器通过无线或有限网络进行联系。

Images