CN101277429A - 监控中多路视频信息融合处理与显示的方法和系统 - Google Patents

Abstract

本发明公开了一种监控中多路视频信息融合处理与显示的方法和系统。该方法包括下列步骤：在初始化时，根据各路视频视野和电子地图视野的标定点，确定每一路视频的局部图像坐标系到全局地图坐标系的坐标变换关系；根据其各路视频图像数据的像素信息，实现对运动目标的检测和跟踪以及在此基础上的各种高层信息提取，实现对同一目标在整个监控场景的不同视野中的传递；定时获取运动目标位置和其他信息，将其从局部图像坐标系变换到全局电子地图坐标系中，并融合到全局电子地图中的二维平面图中将目标显示出来。其使得人们可以更直观的了解到整个监控区域的全局状况。

Description

监控中多路视频信息融合处理与显示的方法和系统

技术领域

本发明涉及视频监控和视频图像分析领域，特别是涉及到一种监控中多路视频信息融合处理与显示方法和系统。

背景技术

目前在我国以及其它国家，视频监控技术目前已被普遍使用在交通场景(如道路、铁路等)、军事设施、重点安防场所(如重要国家机关、银行等)、大型公共场所(如商场、火车站、机场、医院、学校等)等各种场所。传统的视频监控系统基本上都是由监控摄像机或监控摄像机阵列及视频录像设备构成，其主要作用仅仅是对监控区域进行视频录像以供日后分析时使用。这种系统的重要缺点在于其无法真正实现对监控场景的实时分析和监控，当安全威胁升级时，这类系统将无法满足人们对安全的需求。因此，人们在传统的视频监控基础上发展了智能视频监控技术。

智能视频监控技术指的是在传统视频监控的基础上，使用计算机或其它设备(如嵌入式设备)实现对监控视频的自动分析和理解，对视频中的物体进行检测、跟踪、分类、识别，以及对检测跟踪的目标的行为和事件作出判断。作为一种超越传统视频监控方法的新兴技术，智能视频监控技术将拓展视频监控的应用领域，在日常生活中有着广阔的应用场景。

目前人们已经开发出运动目标检测和跟踪(提取其运动轨迹)、目标分类(如交通场景中的人、车分类)、异常行为检测(如翻墙行为检测、禁区报警等)、车流量或人流量统计等各种具体的智能视频监控技术及应用。但在以往的视频监控系统中，各路摄像机的视频信息被独立处理，并将监控信息(如运动轨迹，目标类型等)显示在各摄像机单独的场景中，这种方式只能反映所在局部区域的情况，不能获取全景的情况，依然在多种方面无法满足需求。

发明内容

本发明的所要解决的问题是提供一种监控中多路视频信息融合处理与显示方法和系统，其中各路视频分析子系统，对其各路视频图像数据中的目标进行自动分析，而监控中多路视频信息融合处理与显示系统对各路分析结果进行信息融合和过滤，并汇总显示到全局电子地图，使得人们可以更直观的了解到整个监控区域的全局状况。

为实现本发明目的而提供的一种监控中多路视频信息融合处理与显示方法，包括若干视频分析子系统和一个全局电子地图信息融合机制，各视频分析子系统分别有其视野，而全局电子地图包含所有子系统的视频视野，其处理过程包括下列步骤：

步骤A，在初始化时根据用户为各路视频指定的标定点或自动定标方法确定每一路视频的局部图像坐标系到全局地图坐标系的坐标变换关系；

步骤B，根据传送过来的视频图像的像素信息，检测出该视频图像中各像素在场景背景和运动目标间的归属情况，然后从检测结果中提取出各运动目标的位置和形状信息；

步骤C，根据各分视野的视频图像中的运动目标信息，对所述运动目标进行跟踪并更新局部跟踪目标和全局跟踪目标，并通过全局信息融合机制实现目标在不同分视野间的传递，即当目标从一个分视野移动到另一个分视野中时实现对它的连续跟踪；

步骤D，根据多路视频中更新后的局部跟踪目标，以及更新后的全局跟踪目标，将在各分视野中检测到的并正在跟踪的目标的位置信息从局部图像坐标系变换到全局地图坐标系中，根据需求对目标进行过滤后，在全局电子地图上标识出来。

所述步骤B可以包括下列步骤：

步骤B1，当有一帧视频图像数据到达时，使用基于像素级分析的背景建模和前景检测算法，检测该帧图像中的每一个像素是属于运动目标还是背景，得到以检测结果矩阵的形式存储的检测结果；

步骤B2，对检测结果矩阵进行形态学滤波；

步骤B3，通过从检测结果矩阵中提取八连通分量及边缘提取的方法得到运动目标的位置和形状信息，并将这些信息保存起来以便可以随时查询。

所述步骤B3之后还可以包括下列步骤：

步骤B4，根据运动目标的信息对局部视野视频的图像数据进行更新，将运动目标叠加显示到局部视野的视频上去。

所述步骤B1中，在一帧视频图像数据到达时，可以先进行下列处理步骤：

对每一帧图像进行降采样；

并在步骤B2中，对检测结果进行形态学滤波后，根据降采样率对所有的计算结果中与坐标相关的数据进行插值重建。

所述步骤C可以包括下列步骤：

步骤C1，以检测出的一路视频中的每一个目标作为输入，在该路视频的局部运动目标列表中，查找与当前局部跟踪目标列表中被跟踪的局部跟踪目标对应的匹配度最大且大于设定阈值的运动目标；

步骤C2，若找到，则认为该局部运动目标正在该路视频中被跟踪，更新该局部运动目标在局部跟踪目标列表和全局跟踪目标列表中的对应的局部跟踪目标信息和全局跟踪目标信息；

步骤C3，若没找到，则进一步在全局跟踪目标列表中寻找与其匹配度大于特定阀值的最佳匹配的运动目标；

步骤C4，若找到，则认为该运动目标是一个来自其它视频的已被跟踪过的运动目标，此时将该运动目标添加到当前路目标单元的局部跟踪目标列表中从而实现目标在不同分视野间的传递，更新该运动目标在全局跟踪目标列表中对应的信息；

步骤C5，若还是没有找到，则认为该运动目标是一个第一次进入整个监控区域的目标，此时则同时将该运动目标添加到当前路局部跟踪目标列表和全局跟踪目标列表中去。

所述步骤C5之后还可以包括下列步骤：

步骤C6，根据各分视野的视频图像的图素信息和从中检测到的运动目标信息，结合局部跟踪目标列表和全局跟踪目标列表中的目标轨迹信息，提取并保存各种高层目标信息。

所述步骤C6之后还可以包括以下步骤：

若发现局部跟踪目标列表中一目标超过设定时间在任何一路视频中都没有出现，则认为该目标已移出了该路摄像机的视场范围，并将该目标从局部跟踪目标列表中删除；

若发现全局跟踪目标列表中一运动目标超过设定时间在任何一路视频中都没有出现，则认为该目标已经移出监控区域或彻底丢失，并将该目标从全局跟踪目标列表中删除。

所述步骤D可以包括下列步骤：

步骤D1，将在各分视野中检测到的并正在跟踪的的目标的位置信息从局部图像坐标系变换到全局地图坐标系中；

步骤D2，从整个监控区域中检测到的并正在跟踪的目标中选择一组符合要求的目标，即实现对目标的过滤；

步骤D3，将步骤D2中选择出的目标与根据需求选择出的关于该目标的信息，一起在全局电子地图的二维平面图显示出来。

所述步骤D中，还包括下列步骤：

在全局电子地图中，根据目标的性质和预设需求，选择性地突出显示危险或可能危险的目标；或者

在全局电子地图中，根据目标的性质和预设需求，选择性地突出显示感兴趣的目标；或者

在全局电子地图中，根据目标的性质和预设需求，选择性地显示目标的相关信息；或者

在全局电子地图中，选择不同的颜色或图标显示不同类型的目标。

所述步骤C中，还包括下列步骤：

根据目标的颜色、形状、大小、类别、运动方向、运动速度进行关联跟踪；或者

根据全局融合机制，实现目标在不同分视野间的运动信息传递。

所述坐标变换是通过投影变换方法实现的。

为实现本发明目的还提供一种监控中多路视频信息融合处理与显示系统，包括若干视频分析子系统和一个全局电子地图信息融合机制，各视频分析子系统分别有其视野，而全局电子地图包含所有子系统的视频视野，还包括至少一个检测单元，至少一个跟踪单元，以及映射单元，其中：

所述检测单元，用于根据传送过来的视频图像的像素信息，检测出该视频图像中各像素在场景背景和运动目标间的归属情况，然后从检测结果矩阵中检测出运动目标的位置和形状；

所述跟踪单元，用于根据多路视频图像中检测到的运动目标的信息，跟踪并更新局部跟踪目标，以及全局跟踪目标；

所述映射单元，用于根据多路视频中更新后的各个局部跟踪目标，以及更新后各个全局跟踪目标，将局部跟踪目标的位置从局部图像坐标系变换到全局地图坐标系中，得到它在全局电子地图坐标系中的位置。

所述的监控中多路视频信息融合处理与显示系统，还可以包括存储单元，用于存储局部跟踪目标列表中的全部局部跟踪目标的信息，全局跟踪目标列表中的全局跟踪目标的信息，以及每一路传送过来的视频图像检测结果及运动目标的信息。

所述的监控中多路视频信息融合处理与显示系统，还可以包括局部显示单元和全局显示单元，其中：

所述局部显示单元，用于根据运动目标的信息对局部电子地图的图像数据进行更新，将运动目标叠加显示到局部分视野的视频上去；

所述全局显示单元，用于将过滤后的全局跟踪目标及其指定信息在全局电子地图中的二维平面图中显示出来。

所述的监控中多路视频信息融合处理与显示系统还可以包括至少一个视频源。

所述运动目标的信息包括图像信息中的运动目标的像素信息，以及运动目标的位置和形状信息。

本发明的有益效果是：本发明的监控中多路视频信息融合处理与显示方法和系统，实现将从分布在大范围中不同区域的摄像机获取的监控信息进行融合汇总并及时显示到二维全景监控地图上的功能，其用传输视频监控跟踪结果的方式有效地取得高压缩比的监控视频数据传输，并提供从局部到全局的智能化视频监控信息融合，为智能化安防监控的指挥调度提供了一个直观有效显示界面，进一步提升了智能视频监控系统的能力与整体指挥能力。

附图说明

图1为本发明监控中多路视频信息融合处理与显示方法流程图；

图2为本发明实施例局部图像坐标系到全局地图坐标系的投影变换示意图；

图3为图1中步骤S200具体过程流程图；

图4为图1中步骤S300具体过程流程图；

图5为本发明监控中多路视频信息融合处理与显示系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的监控中多路视频信息融合处理与显示方法和系统进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的监控中多路视频信息融合处理与显示方法和系统，通过将从各监控场景获得的智能视频监控信息汇总到一个全局视野(监控区域平面地图)中的方法和系统，使得人们可以更直观的了解到整个监控区域的全局状况。

下面详细描述本发明的监控中多路视频信息融合处理与显示方法，如图1所示，包括若干视频分析子系统和一个全局电子地图信息融合机制，各视频分析子系统分别有其视野，而全局电子地图包含所有子系统的视频视野，其处理过程包括下列步骤：

步骤S100，在初始化时，用手工或自动的方式根据用户为各路视频指定的标定点或自动定标方法确定每一路视频的局部图像坐标系到全局地图坐标系的坐标变换关系。

在本发明实施例中，使用从局部图像坐标系到全局地图坐标系的变换方法为投影变换方法，其计算公式见式(1)，为投影变换计算公式。其中，x、y是局部图像坐标系中的坐标，X、Y是变换后的全局地图坐标系中的坐标，a～h是8个变换参数。要确定这样一组变换参数，需要用户在局部图像坐标系和全局地图坐标系中各选择四个相互对应的标定点(x1，y1)～(x4，y4)和(X1，Y1)～(X4，Y4)代入式(1)，通过解该方程组得到参数a～h。

$\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\frac{\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& 1\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]}{\left[\begin{array}{ccc}g& h& 1\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]}$ 式(1)

但需要特别说明的是，在本发明中，式(1)中投影变换并不是唯一可用的变换关系方法。本领域的普通技术人员可以根据具体情况，进行从一个二维坐标系到另一个二维坐标系的变换(包括线性别和非线性的)，其可以用式(2)表示。其中，X、Y、x、y的意义与式(1)相同，函数F表示具体变换关系，其表达式、参数个数可以根据具体情况确定。

$\left[\begin{array}{c}X\\ Y\end{array}\right]=F\left(\left[\begin{array}{c}x\\ y\end{array}\right]\right)$ 式(2)

具体地，所述的每一路视频的局部图像坐标系到全局地图坐标系的坐标变换关系，可以利用透视投影法或者仿射变换法实现。

如图2所示，是本发明实施例中使用的坐标变换方法——投影变换法的示意图，其将每一路视频的局部图像坐标系变换到全局地图坐标系中。

其中，考虑到监控区域一般都是一块平面区域，从局部图像坐标系到全局地图坐标系的变换问题可以简化为视角变换问题，即：对同一块平面区域，在不同的视角下(如监控摄像机的视角和垂直向下的地图视角)成像后，通过一个像平面上某一点的坐标计算出该点在另一个像平面上对应的坐标值。

透视变换是解决这种问题常用的一个数学方法，该变换的特点有两个：

1)一个像平面上的直线变换到另一个像平面上仍是直线；

2)与仿射变换(另一种常用的坐标变换方法)不同，投影变换是一种非线性变换，一个像平面上线段的比例分点并不一定是另一个像平面上对应线段的同比例分点——这一条特性较仿射变换的线性而言更符合人们的实际经验。

较佳地，在本发明中，用户通过在监控地图上选取一个四边形区域(如一段矩形的路面区域)，并在监控视频中选取其对应的四边形区域的方法确定一组从该路视频到监控地图的投影变换参数。

步骤S200，各路视频分析子系统，根据传送过来的视频图像的像素信息，检测出该视频图像中各像素在场景背景和运动目标间的归属情况，然后从检测结果中提取出各运动目标的位置和形状信息。

运动目标的信息，包括了图像信息中的运动目标的像素信息(包括颜色、大小、形状等)，以及运动目标的位置信息。通过检测出视频图像中的运动目标，以及该运动目标的位置情况，就可以对局部视频的图像数据进行更新。

一般地，视频监控过程中，由多路视频同时进行监控，每次接收一路视频的一帧图像。根据传输过来的当前帧视频图像数据的像素信息，检测其中的每一个像素是属于运动目标还是背景，以检测结果矩阵的形式存储检测结果；然后从检测结果矩阵中进一步检测出各运动目标在图像中的位置和形状，用运动目标外接矩形形心的坐标表示运动目标的位置，保存到局部运动目标列表中，并根据运动目标信息对当前帧图像数据进行更新，以便可以将它们叠加显示到向用户显示的视频图像上去。

如图3所示，步骤S200具体包括如下步骤：

步骤S210，当有一帧视频图像数据到达时，使用混合高斯模型或者其它基于像素级分析的背景建模和前景检测算法，检测该帧图像中的每一个像素是属于运动目标还是背景，得到以检测结果矩阵的形式存储的检测结果；

在本发明中，由于涉及到同时处理多路视频，若直接检测提取，则对资源(这里主要指计算机资源)的消耗必然将数倍于单路处理的情况，进而使系统难以达到实时。

因此，考虑到在本发明中只对运动目标的位置、大小和大致的形状感兴趣，而并不要求检测出运动目标的精确轮廓，因此，在通过混合高斯模型进行背景建模和运动目标检测前，首先对输入的图像进行降采样，即每一帧图像在被处理前首先被进行了一次降采样，在完成处理后再通过插值的方法获得图像中每一个像素的实际归属情况，识别其是属于运动目标还是背景。

经过这一设置后，运动目标检测的性能没有发生可察觉的下降，但效率却大为提高，从而使得整个系统可以满足实时处理的要求。

每当有一帧视频图像数据到达时，使用混合高斯模型实现背景建模和运动目标检测，检测降采样后的该帧图像中的每一个像素是属于运动目标还是背景。

根据当前的背景模型状态从降采样后的当前视频图像数据中中检测识别出哪些像素属于运动目标、哪些像素属于相对静止不变的背景等像素信息。

在本实施例中，在目标检测方面，采用混合高斯模型(Gaussian MixtureModel，GMM)算法进行检测识别。

混合高斯模型算法是在智能视频监控领域使用十分广泛的背景建模和运动目标检测方法，对该方法的详细描述可参见《Adaptive background mixturemodels for real-time tracking》(Chris Stauffer、W.E.L Grimson著)。其是一种实时处理算法，一般而言，是对视频图像的每一个象素点建立混合的高斯模型，每增加一帧图像，该模型动态更新，同时，当新增加的象素点值(灰度值)在高斯均值的一定域值范围内时认为是运动目标，否则认为是背景。

步骤S220，对检测结果矩阵进行形态学滤波，并根据步骤S210中的降采样率对所有的计算结果中与坐标相关的数据进行插值重建；

所述的与坐标相关的数据可以为目标位置、目标大小、目标形状等数据。

同时，为抑制由于非高斯分布图像噪声带来的误检(主要表现为在实际上没有运行目标的图像区域有像素被检测成属于运动目标)，该单元在从检测结果矩阵(即存储图像中每一个像素归属情况的矩阵)中提取运动目标位置信息之前首先对它进行了一次形态学滤波。

形态学滤波方法属于数字图像处理领域的基本算法，对该方法的详细描述见参考文献《数字图像处理》，Rafael C.Gonzalez等著阮秋琦等译。因此，在本发明中不再一一详细描述。

检测结果矩阵，是存储图像中每一个像素归属情况的矩阵。如果输入的原始视频尺寸为M*N像素，步骤S210中的降采样率为d，则这里的矩阵是一个M/d*N/d矩阵。该矩阵中各元素的值只有两种可能，即1或0，若第R行、第C列处的元素为1，表示原视频帧中第R*d行～第(R+1)*d-1行、第C*d列～第(C+1)*d-1这一小块正方形区域中的像素属于运动目标，反之则为背景。

步骤S230，通过从根据步骤S210中的降采样率插值重建后的检测结果矩阵中提取八连通分量及边缘提取的方法得到运动目标的位置和形状信息，并将这些信息保存起来以便可以随时查询。

同样地，八连通分量方法属于数字图像处理领域的基本算法，对该方法的详细描述见参考文献《数字图像处理》，Rafael C.Gonzalez等著阮秋琦等译。因此，在本发明中不再一一详细描述。

利用混合高斯模型方法能够用来检测原始视频帧中各像素的归属状态(即属于运动目标还是背景)，其直接输出结果为检测结果矩阵。再根据检测结果矩阵，提取八连通分量的结果，得到输入的视频帧中所有运动目标的位置，即用运动目标外接矩形形心(在局部图像坐标系中)的坐标表示运动目标的位置。同时，也可以提取到其它的目标信息，包括运动目标的位置、大小、颜色直方图等信息。

较佳地，为进一步抑制图像噪声的影响，本发明对运动目标尺寸设置了阀值，只有面积大于该值的运动目标的信息才会被保存到局部运动目标列表中去。

较佳地，所述步骤S200还包括下列步骤：

步骤S240，根据运动目标的信息对局部视野视频的图像数据进行更新，将运动目标叠加显示到局部视野的视频上去。

在本发明实施例中，对相应的显示图像进行更新是通过直接修改传入的视频帧缓冲区中的图像数据实现的。在本发明实施例中，将视频图像数据显示到局部电子地图的视频图像上，使用了由Microsoft DirectX(主要是DirectShow和DirectDraw)提供的支持。其相关方法对本领域的技术人员而言是显而易见的，这里便不再一一赘述。

步骤S300，所述全局电子地图信息融合机制，根据各分视野的视频图像中的运动目标信息，对它们进行跟踪并更新局部跟踪目标和全局跟踪目标，并通过全局信息融合机制实现目标在不同分视野间的传递，即当目标从一个分视野移动到另一个分视野中时实现对它的连续跟踪。

在系统中存在多个实例，每一个实例对应于一路视频。

其中，每一路视频还对应着一张局部跟踪目标列表，其中存储着所跟踪的全部局部跟踪目标的信息。其中，目标的信息包括运动目标的视频图像的像素信息(包括颜色、大小等)，以及运动目标的位置信息等。本发明中，根据传送来的多个视频图像的运动目标的信息，以该传送来的多个视频图像的运动目标的信息为跟踪特征，跟踪并更新局部跟踪目标列表中的局部跟踪目标的信息。

与此同时，整个视频监控系统还维护着一个全局跟踪目标列表，其中存储的是用运动目标颜色直方图表示的当前视频监控系统负责的整个监控区域中中正在跟踪的所有目标。

设置全局跟踪目标列表，存储用运动目标颜色直方图表示的当前视频监控系统在整个监控区域中正在跟踪的所有目标。

为实现鲁棒(Robust)的目标跟踪，本发明实施例的跟踪同时使用了目标的位置信息和颜色信息作为跟踪特征，前者用于每一路视频内的局部目标跟踪；后者则是为了实现运动目标在多个视场中的传递，即当目标离开一个分视野并进入另一个分视野时，可以实现对目标的连续跟踪，从而达到对目标的全局跟踪。

根据目标的颜色、形状、大小、类别、运动方向、运动速度进行关联跟踪；或者根据全局融合机制，实现目标在不同分视野间的运动信息传递。

本发明的监控中多路视频信息融合处理与显示方法，在一路视频内对运动目标的跟踪，多路视频相互之间通过一套合作方法实现了运动目标跟踪在多个摄像机间的传递，实现全局运动目标的跟踪。

如图4所示，所述步骤S300，具体包括如下步骤：

步骤S310，以检测出的一路视频中的每一个目标作为输入，在该路视频的局部运动目标列表中，查找与当前局部跟踪目标列表中被跟踪的局部跟踪目标对应的匹配度最大且大于设定阈值的运动目标；

如果在当前帧中共检测到的N个运动目标中；而局部跟踪目标列表中有M个正在被跟踪的局部跟踪目标，则建立N*M矩阵。其中，该矩阵中第R行、第C列处的元素存储的是第R个运动目标的位置和第C个局部跟踪目标的位置的欧氏距离。完成对该矩阵中所有元素的计算后，逐一计算矩阵中所有元素与同行、同列其它元素的关系，当发现第R行、第C列处的元素同时在第R行和第C列的所有元素中最小、且该值小于一个预设的阈值时，认为第R个运动目标和第C个局部跟踪目标是同一个目标，此时就可以利用第R个运动目标的位置和颜色对第C个局部跟踪目标和相应的在全局跟踪列表中的信息进行更新。

步骤S320，若找到，则认为该局部运动目标正在该路视频中被跟踪，更新该局部运动目标在局部跟踪目标列表和全局跟踪目标列表中的对应的局部跟踪目标信息和全局跟踪目标信息；

步骤S330，若没找到，则进一步在全局跟踪目标列表中寻找与其匹配度大于特定阀值的最佳匹配的运动目标；

如果在当前帧中检测到的所有运动目标中，有N个是尚未在局部跟踪目标列表中找到相应局部跟踪目标的运动目标；而全局跟踪目标列表中有M个正在被跟踪的全局跟踪目标，则建立N*M矩阵。其中，该矩阵中第R行、第C列处的元素存储的是第R个运动目标和第C个全局跟踪目标颜色直方图的欧氏距离。完成对该矩阵中所有元素的计算后，逐一计算矩阵中所有元素与同行、同列其它元素的关系，当发现第R行、第C列处的元素同时在第R行和第C列的所有元素中最小、且该值小于一个预设的阈值时，认为第R个运动目标和第C个全局跟踪目标是同一个目标，此时利用第R个运动目标的信息对第C个全局跟踪目标进行更新，并添加新的局部跟踪目标信息到当前路视频对应的局部跟踪目标列表中。

步骤S340，若找到，则认为该运动目标是一个来自其它视频的已被跟踪过的运动目标，此时将该运动目标添加到当前路目标单元的局部跟踪目标列表中从而实现目标在不同分视野间的传递，更新该运动目标在全局跟踪目标列表中对应的信息；

步骤S350，若还是没有找到，则认为该运动目标是一个第一次进入整个监控区域的目标，此时则同时将该运动目标添加到当前路局部跟踪目标列表和全局跟踪目标列表中去。

步骤S360，根据各分视野的视频图像的图素信息和从中检测到的运动目标信息，结合局部跟踪目标列表和全局跟踪目标列表中的目标轨迹信息，提取并保存目标速度、目标类型等各种高层目标信息。

较佳地，为防止误跟踪发生，若发现局部跟踪目标列表中一目标超过设定时间在任何一路视频中都没有出现，则认为该目标已移出了该路摄像机的视场范围，并将该目标从局部跟踪目标列表中删除；

若发现全局跟踪目标列表中某一运动目标超过一定时间在任何一路视频中都没有出现，则认为该目标已经移出监控区域或彻底丢失，并将该目标从全局跟踪目标列表中删除。

步骤S400，所述全局电子地图信息融合机制，根据多路视频中更新后的局部跟踪目标，以及更新后的全局跟踪目标，将在各分视野中检测到的并正在跟踪的目标的位置信息从局部图像坐标系变换到全局地图坐标系中，根据需求对目标进行过滤后，在全局电子地图上标识出来。

所述二维平面图是整个监控区域的全局电子地图。

所述步骤D中，在全局电子地图中，根据目标的性质和预设需求，选择性地突出显示危险或可能危险的目标；或者

在全局电子地图中，根据目标的性质和预设需求，选择性地突出显示感兴趣的目标；或者

在全局电子地图中，根据目标的性质和预设需求，选择性地显示目标的相关信息；或者

在全局电子地图中，选择不同的颜色或图标显示不同类型的目标。

所述步骤S400具体包括下列步骤：

步骤S410，将在各分视野中检测到的并正在跟踪的的目标的位置信息从局部图像坐标系变换到全局地图坐标系中；

步骤S420，从整个监控区域中检测到的并正在跟踪的目标中选择一组符合要求的目标，即实现对目标的过滤；

步骤S430，将步骤S420中选择出的目标与根据需求选择出的关于该目标的信息，一起在全局电子地图的二维平面图显示出来。

在本发明实施例中，在全局电子地图中将全局跟踪目标的视频图像显示出来，与步骤S250相同，也使用了由Microsoft DirectX(主要是DirectShow和DirectDraw)提供的技术方法，因此，这里不再一一详细复述。

与本发明的监控中多路视频信息融合处理与显示方法相对应，如图5所示，本发明还提供了一种监控中多路视频信息融合处理与显示系统，该系统通过包括若干视频分析子系统和一个全局电子地图信息融合机制。各子系统的视频分别有其各自的视野，而全局电子地图包含所有子系统的视频视野，还包括多个检测单元52，多个跟踪单元53，存储单元54和映射单元55，以及局部显示单元56和全局显示单元57。

所述检测单元52，用于根据传送过来的视频图像的像素信息，检测出该视频图像中各像素在场景背景和运动目标间的归属情况，然后从检测结果矩阵中检测出运动目标的位置和形状。

所述跟踪单元53，用于根据多路视频图像中检测到的运动目标的信息，跟踪并更新存储单元54中的局部跟踪目标列表的局部跟踪目标，以及存储单元54中的全局跟踪目标列表的全局跟踪目标。

所述存储单元54，用于存储局部跟踪目标列表中的全部局部跟踪目标中的信息，全局跟踪目标列表的全局跟踪目标的信息，以及每一路传送过来的视频图像检测结果及运动目标的信息。

所述映射单元55，用于根据多路视频中更新后的各个局部跟踪目标，以及更新后各个全局跟踪目标，将局部跟踪目标的位置从局部图像坐标系变换到全局地图坐标系中，得到它在全局电子地图坐标系中的位置。

所述局部显示单元56，用于根据运动目标的信息对局部电子地图的图像数据进行更新，将运动目标叠加显示到局部分视野的视频上去。

所述全局显示单元57，用于将过滤后的全局跟踪目标及其指定信息在全局电子地图中的二维平面图中显示出来。

所述的运动目标的信息包括了图像信息中的运动目标的像素信息(包括颜色、大小等)，以及运动目标的位置信息。

较佳地，为实现电子地图处理，本发明的监控中多路视频信息融合处理与显示系统，还包括多个视频源51。

较佳地，本发明实施例使用四路分辨率为320×240像素实时采集的监控视频或网络上即时播放的流媒体作为视频源。

较佳地，系统采用多路实时采集到的普通监控视频作为视频源。

本发明的监控中多路视频信息融合处理与显示系统，采用与监控中多路视频信息融合处理与显示方法相同的方法过程处理该多路视频图像，并实现运动目标的检测，跟踪局部跟踪目标和全局跟踪目标。因此，在这里不再一一详细描述。

通过结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本领域的技术人员而言是显而易见的。

本发明的监控中多路视频信息融合处理与显示方法和系统，为了获取大范围场景的全局监控信息，将监控系统中多路的智能视频监控信息进行融合，并输出到一个视野中显示。其实现将从分布在大范围中不同区域的摄像机获取的监控信息进行融合汇总并及时显示到二维全景监控地图上的功能，其用传输视频监控跟踪结果的方式有效地取得高压缩比的监控视频数据传输，并提供从局部到全局的智能化视频监控信息融合，为智能化安防监控的指挥调度提供了一个直观有效显示界面，进一步提升了智能视频监控系统的能力与整体指挥能力。

以上对本发明的具体实施例进行了描述和说明，这些实施例应被认为其只是示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行解释。

Claims (16)

1. 一种监控中多路视频信息融合处理与显示方法，其特征在于，包括若干视频分析子系统和一个全局电子地图信息融合机制，各视频分析子系统分别有其视野，而全局电子地图包含所有子系统的视频视野，其处理过程包括下列步骤：

步骤A，在初始化时根据用户为各路视频指定的标定点或自动定标方法确定每一路视频的局部图像坐标系到全局地图坐标系的坐标变换关系；

步骤B，根据传送过来的视频图像的像素信息，检测出该视频图像中各像素在场景背景和运动目标间的归属情况，然后从检测结果中提取出各运动目标的位置和形状信息；

步骤C，根据各分视野的视频图像中的运动目标信息，对所述运动目标进行跟踪并更新局部跟踪目标和全局跟踪目标，并通过全局信息融合机制实现目标在不同分视野间的传递；

步骤D，根据多路视频中更新后的局部跟踪目标，以及更新后的全局跟踪目标，将在各分视野中检测到的并正在跟踪的目标的位置信息从局部图像坐标系变换到全局地图坐标系中，根据需求对目标进行过滤后，在全局电子地图上标识出来。

2. 根据权利要求1所述的监控中多路视频信息融合处理与显示方法，其特征在于，所述步骤B中，包括下列步骤：

步骤B1，当有一帧视频图像数据到达时，使用基于像素级分析的背景建模和前景检测算法，检测该帧图像中的每一个像素是属于运动目标还是背景，得到以检测结果矩阵的形式存储的检测结果；

步骤B2，对检测结果矩阵进行形态学滤波；

步骤B3，通过从检测结果矩阵中提取八连通分量及边缘提取的方法得到运动目标的位置和形状信息，并将这些信息保存起来以便可以随时查询。

3. 根据权利要求2所述的监控中多路视频信息融合处理与显示方法，其特征在于，所述步骤B3之后还包括下列步骤：

步骤B4，根据运动目标的信息对局部视野视频的图像数据进行更新，将运动目标叠加显示到局部视野的视频上去。

4. 根据权利要求2所述的监控中多路视频信息融合处理与显示方法，其特征在于，所述B1中，在一帧视频图像数据到达时，先进行下列处理步骤：

对每一帧图像进行降采样；

并在步骤B2中，对检测结果进行形态学滤波后，根据降采样率对所有的计算结果中与坐标相关的数据进行插值重建。

5. 根据权利要求1所述的监控中多路视频信息融合处理与显示方法，其特征在于，所述步骤C包括下列步骤：

步骤C1，以检测出的一路视频中的每一个目标作为输入，在该路视频的局部运动目标列表中，查找与当前局部跟踪目标列表中被跟踪的局部跟踪目标对应的匹配度最大且大于设定阈值的运动目标；

步骤C2，若找到，则认为该局部运动目标正在该路视频中被跟踪，更新该局部运动目标在局部跟踪目标列表和全局跟踪目标列表中的对应的局部跟踪目标信息和全局跟踪目标信息；

步骤C3，若没找到，则进一步在全局跟踪目标列表中寻找与其匹配度大于特定阀值的最佳匹配的运动目标；

步骤C4，若找到，则认为该运动目标是一个来自其它视频的已被跟踪过的运动目标，此时将该运动目标添加到当前路目标单元的局部跟踪目标列表中从而实现目标在不同分视野间的传递，更新该运动目标在全局跟踪目标列表中对应的信息；

步骤C5，若还是没有找到，则认为该运动目标是一个第一次进入整个监控区域的目标，此时则同时将该运动目标添加到当前路局部跟踪目标列表和全局跟踪目标列表中去。

6. 根据权利要求5所述监控中多路视频信息融合处理与显示方法，其特征在于，所述步骤C5之后还包括下列步骤：

步骤C6，根据各分视野的视频图像的图素信息和从中检测到的运动目标信息，结合局部跟踪目标列表和全局跟踪目标列表中的目标轨迹信息，提取并保存各种高层目标信息。

7. 根据权利要求6所述的监控中多路视频信息融合处理与显示方法，其特征在于，所述步骤C6之后进一步包括下列步骤：

若发现局部跟踪目标列表中一目标超过设定时间在任何一路视频中都没有出现，则认为该目标已移出了该路摄像机的视场范围，并将该目标从局部跟踪目标列表中删除；

若发现全局跟踪目标列表中一运动目标超过设定时间在任何一路视频中都没有出现，则认为该目标已经移出监控区域或彻底丢失，并将该目标从全局跟踪目标列表中删除。

8. 根据权利要求1所述的监控中多路视频信息融合处理与显示方法，其特征在于，所述步骤D包括下列步骤：

步骤D1，将在各分视野中检测到的并正在跟踪的的目标的位置信息从局部图像坐标系变换到全局地图坐标系中；

步骤D2，从整个监控区域中检测到的并正在跟踪的目标中选择一组符合要求的目标，即实现对目标的过滤；

步骤D3，将步骤D2中选择出的目标与根据需求选择出的关于该目标的信息，一起在全局电子地图的二维平面图显示出来。

9. 根据权利要求1或8所述的监控中多路视频信息融合处理与显示方法，其特征在于，所述步骤D中，还包括下列步骤：

在全局电子地图中，根据目标的性质和预设需求，选择性地突出显示危险或可能危险的目标；或者

在全局电子地图中，根据目标的性质和预设需求，选择性地突出显示感兴趣的目标；或者

在全局电子地图中，根据目标的性质和预设需求，选择性地显示目标的相关信息；或者

在全局电子地图中，选择不同的颜色或图标显示不同类型的目标。

10. 根据权利要求1所述的监控中多路视频信息融合处理与显示方法，其特征在于，所述步骤C中，还包括下列步骤：

根据目标的颜色、形状、大小、类别、运动方向、运动速度进行关联跟踪；或者

根据全局融合机制，实现目标在不同分视野间的运动信息传递。

11. 根据权利要求1所述的监控中多路视频信息融合处理与显示方法，其特征在于，所述坐标变换是通过投影变换方法实现的。

12. 一种监控中多路视频信息融合处理与显示系统，其特征在于，包括若干视频分析子系统和一个全局电子地图信息融合机制，各视频分析子系统分别有其视野，而全局电子地图包含所有子系统的视频视野，还包括至少一个检测单元，至少一个跟踪单元，以及映射单元，其中：

所述检测单元，用于根据传送过来的视频图像的像素信息，检测出该视频图像中各像素在场景背景和运动目标间的归属情况，然后从检测结果矩阵中检测出运动目标的位置和形状；

所述跟踪单元，用于根据多路视频图像中检测到的运动目标的信息，跟踪并更新局部跟踪目标，以及全局跟踪目标；

所述映射单元，用于根据多路视频中更新后的各个局部跟踪目标，以及更新后各个全局跟踪目标，将局部跟踪目标的位置从局部图像坐标系变换到全局地图坐标系中，得到它在全局电子地图坐标系中的位置。

13. 根据权利要求12所述的监控中多路视频信息融合处理与显示系统，其特征在于，还包括存储单元，用于存储局部跟踪目标列表中的全部局部跟踪目标的信息，全局跟踪目标列表中的全局跟踪目标的信息，以及每一路传送过来的视频图像检测结果及运动目标的信息。

14. 根据权利要求12或13所述的监控中多路视频信息融合处理与显示系统，其特征在于，还包括局部显示单元和全局显示单元，其中：

所述局部显示单元，用于根据运动目标的信息对局部电子地图的图像数据进行更新，将运动目标叠加显示到局部分视野的视频上去；

所述全局显示单元，用于将过滤后的全局跟踪目标及其指定信息在全局电子地图中的二维平面图中显示出来。

15. 根据权利要求14所述的监控中多路视频信息融合处理与显示系统，其特征在于，还包括至少一个视频源。

16. 根据权利要求12或13所述的监控中多路视频信息融合处理与显示系统，其特征在于，所述运动目标的信息包括图像信息中的运动目标的像素信息，以及运动目标的位置信息。

Images