CN105979203A - 一种多摄像机协同监控方法及装置 - Google Patents

Abstract

本发明的实施方式提供了一种多摄像机协同监控方法和装置。该多摄像机协同监控方法包括：将监控现场的多台摄像机组合成多个摄像机组合；获取每个摄像机组合在每个采集周期采集的多帧二维影像图，并对每帧二维影像图进行前景提取和投影，得到三维前景图像；将同一采集时刻各个摄像机组合的三维前景图像进行融合处理形成三维融合前景图；根据各个采集时刻的三维融合前景图，以及真实世界中的点在各个采集时刻的三维融合前景图中所对应位置的变化情况，确定目标对象及其空间分布特征和运行分布特征；判断是否有目标情景出现。本发明充分利用了监控现场的三维空间信息，即使在光照较差、大视野、远距离监控中也能得到较好的监测结果。

Description

一种多摄像机协同监控方法及装置

技术领域

本发明的实施方式涉及智能监控领域，更具体地，本发明的实施方式涉及一种多摄像机协同监控方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

用于设备和人员安全的智能监控研究领域中，异常模式的发现和分析一直以来都是一个重点研究的方向，并且有着广泛的应用前景。然而要实现对真实场景下人员和物体的实时准确检测，并判断其行为存在着诸多的挑战，不规律的自然条件下光照变化、摄像机部署的视角的影响、远距离带来的分辨率降低等都是影响准确检测的不利因素。

基于摄像机来检测场景异常进行报警，主流的方法主要是基于对摄像机获得的彩色或灰度的二维图像信息进行异常模式的检测。其中一大类是基于人的检测和跟踪的方法，这种方法通过单人的检测和跟踪来实现，其能够粗略地计算得到人在二维图像坐标系中的轨迹，以最终的多人的轨迹分析来进行异常事件的分析，这一方法通常只适合于低密度、中近距离的场景，在真实场景中，杂乱的背景，人与人之间的遮挡，以及光照的变化通常会使得检测跟踪算法失效，从而无法给出准确的结果。再有一类是基于底层特征的方法，这种方法一般先通过建立场景的背景模型，然后利用背景减除法提取场景中的前景，之后提取前景区域的特征，例如前景区域轮廓、纹理、前景的时域特征等作为输入，采用训练的方法进行异常事件的检测，其效果的好坏也受制于环境中光照的变化，图像的分辨率以及事件距离摄像机的远近等因素。

目前已有利用深度信息来进行异常监控的方法，这种方法多是基于主动光，可以精准地获取小范围的深度值(一般范围为1～8米)，可用于室内监控。

发明内容

但是，目前已有的利用深度信息来进行异常监控的方法，存在受室外光照的影响大、工作距离小、视场角小等缺点，无法用于室外的大范围、大广角和远距离的异常监控。

为此，本发明提供了一种多摄像机协同监控方法和装置，用于克服现的监控方法在室外大范围、大广角、远距离的异常监控中受限的问题。

在本发明实施方法的第一方面中，提供了一种多摄像机协同监控方法，包括：

步骤A，按照至少两台摄像机组成一个摄像机组合的方式，将部署于监控现场的多台摄像机组合成多个摄像机组合；

步骤B，获取每个摄像机组合在每个采集周期采集的二维影像图，并对当前摄像机组合在当前采集周期中依次采集的多帧二维影像图进行步骤B1～步骤B3的处理；

步骤B1，对所述多帧二维影像图提取前景，得到多个二维前景图像；将所述多个二维前景图像投影至三维空间中，得到多个三维前景图像；其中，当前采集周期的各个采集时刻、所述多帧二维影像图、所述多个二维前景图像和所述多个三维前景图像具有一一对应的关系；

步骤B2，计算真实世界中的点在所述多个二维前景图像中所对应位置的变化情况；其中，所述真实世界中的点为所述二维前景图像中的每个二维前景点在真实世界中对应的点；所述二维前景点为所述二维前景图像中的像素点；

步骤B3，根据真实世界中的点在所述多个二维前景图像中所对应位置的变化情况，以及根据所述二维前景图像与所述三维前景图像之间的对应关系，计算真实世界中的点在所述多个三维前景图像中所对应位置的变化情况；

步骤C，针对当前采集周期的各个采集时刻，按照将对应于真实世界中相同点的全部三维前景点融合成为一个三维融合前景点的规则，将同一采集时刻所述监控现场各个摄像机组合对应的三维前景图像中的三维前景点进行融合处理，将融合后得到的全部三维融合前景点组合在一起，形成该采集时刻的三维融合前景图；其中，所述三维前景点为所述三维前景图像的体素点；

步骤D，根据真实世界中的点在所述多个三维前景图像中所对应位置的变化情况，以及根据每个三维融合前景点与融合成每个三维融合前景点的各个三维前景点的对应关系，计算真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况；

步骤E，根据当前采集周期的各个采集时刻的多个三维融合前景图，以及真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定目标对象，以及确定所述目标对象的空间分布特征和运行分布特征；

步骤F，根据所述目标对象的空间分布特征和运行分布特征，判断是否有目标情景出现；

步骤G，输出判断结果，并在有目标情景出现时报警。

在本发明实施方法的第二方面中，提供了一种多摄像机协同监控装置，包括：

摄像机划分模块，用于按照至少两台摄像机组成一个摄像机组合的方式，将部署于监控现场的多台摄像机组合成多个摄像机组合；

影像图获取模块，用于获取每个摄像机组合在每个采集周期采集的二维影像图；

图像处理模块，用于对当前摄像机组合在当前采集周期中依次采集的多帧二维影像图进行图像处理；

所述图像处理模块进一步包括：

第一图像处理模块，用于对所述多帧二维影像图提取前景，得到多个二维前景图像；

第二图像处理模块，用于将所述多个二维前景图像投影至三维空间中，得到多个三维前景图像；其中，当前采集周期的各个采集时刻、所述多帧二维影像图、所述多个二维前景图像和所述多个三维前景图像具有一一对应的关系；

第三图像处理模块，用于计算真实世界中的点在所述多个二维前景图像中所对应位置的变化情况；其中，所述真实世界中的点为所述二维前景图像中的每个二维前景点在真实世界中对应的点；所述二维前景点为所述二维前景图像中的像素点；

第四图像处理模块，用于根据真实世界中的点在所述多个二维前景图像中所对应位置的变化情况，以及根据所述二维前景图像与所述三维前景图像之间的对应关系，计算真实世界中的点在所述多个三维前景图像中所对应位置的变化情况；

融合处理模块，用于针对当前采集周期的各个采集时刻，按照将对应于真实世界中相同点的全部三维前景点融合成为一个三维融合前景点的规则，将同一采集时刻所述监控现场各个摄像机组合对应的三维前景图像中的三维前景点进行融合处理，将融合后得到的全部三维融合前景点组合在一起，形成该采集时刻的三维融合前景图；其中，所述三维前景点为所述三维前景图像的体素点；

位移计算模块，用于根据真实世界中的点在所述多个三维前景图像中所对应位置的变化情况，以及根据每个三维融合前景点与融合成每个三维融合前景点的各个三维前景点的对应关系，计算真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况；

目标搜索模块，用于根据当前采集周期的各个采集时刻的多个三维融合前景图，以及真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定目标对象，以及确定所述目标对象的空间分布特征和运行分布特征；

判断模块，用于根据所述目标对象的空间分布特征和运行分布特征，判断是否有目标情景出现；

输出模块，用于输出判断结果，并在有目标情景出现时报警。

借助于上述技术方案，本发明协同地利用了监控现场所有摄像机采集的图像，充分利用了所拍摄场景的三维空间信息，较之现有的方法，即使在光照较差、大广角和远距离的大范围场景中，本发明也可给出更加准确的检测结果，提高了室外监测的检测精度和鲁棒性，尤其适用于巡逻人员少、气候条件差的监控领域。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1为本发明应用于油气井设备安全监控场景的示意图；

图2为本发明提供的多摄像机协同监控方法的流程示意图；

图3为对一个摄像机组合在各个采集时刻采集的二维影像图进行图像处理得到二维前景图像和三维前景图像的示意图；

图4为将同一采集时刻各个摄像机组合的三维前景图像融合成为三维融合前景图的示意图；

图5为多摄像机协同监控装置的输入、输出示意图；

图6为多摄像机协同监控装置的结构框图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

需要说明的是，本文中所称的术语“二维前景点”是指二维前景图像的像素点，术语“三维前景点”是指三维前景图像的体素点。

根据本发明的实施方式，提出了一种多摄像机协同监控方法和装置。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明充分利用已有的多路摄像机实时监控场景内的异常情况。首先，将监控现场的摄像机两两组合得到多个摄像机组合，实时获取每个摄像机组合采集的二维影像图。其次，对每个摄像机组合采集的二维影像图依次执行计算二维深度图、提取二维前景点并投影得到三维前景点、计算三维前景光流等处理；然后，对所有摄像机组合的三维前景点云进行融合处理得到三维融合前景点云；根据三维融合前景点云和三维前景光流得到鸟瞰图和三维融合前景光流；最后，对鸟瞰图和三维融合前景光流进行模板匹配、模式分类等处理，判断并输出目标情景。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

图1所示描述了本发明应用于油气井设备安全监控场景的一个示意，即通过油气井现场已经部署好的多台摄像机(摄像机a，摄像机b，摄像机c和摄像机d)来监控油气井设备和人员。在多台摄像机的监控范围内，人员和设备被实时监控起来，一旦有异常行为发生，可进行报警。这里异常行为包括但不限于有人打架、有人奔跑、有人偷盗油气井设备、有人放置物品到油气井设备、有人进入不该进入的区域、有人摔倒、有人持有危险的物品(砍刀、长刀)等。

需要说明的是，图1只是示意性给出了本发明的一种应用场景，本发明并不仅限于应用于图1所示的场景，本领域技术人员应理解的是，本发明还可以应用于其他任何监控场景，例如物流仓库监管、部队边防监控等等。

示例性方法

下面结合图1的应用场景，参考图2来描述本发明提供的多摄像机协同监控方法。

需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

如图2所示，本发明提供的多摄像机协同监控方法包括：

步骤S1，按照至少两台摄像机组成一个摄像机组合的方式，将部署于监控现场的多台摄像机组合成多个摄像机组合；

步骤S2，获取每个摄像机组合在每个采集周期采集的二维影像图，并对当前摄像机组合在当前采集周期中依次采集的多帧二维影像图进行步骤S21～步骤S23的处理；

步骤S21，对所述多帧二维影像图提取前景，得到多个二维前景图像；将所述多个二维前景图像投影至三维空间中，得到多个三维前景图像；其中，当前采集周期的各个采集时刻、所述多帧二维影像图、所述多个二维前景图像和所述多个三维前景图像具有一一对应的关系；

步骤S22，计算真实世界中的点在所述多个二维前景图像中所对应位置的变化情况；其中，所述真实世界中的点为所述二维前景图像中的每个二维前景点在真实世界中对应的点；所述二维前景点为所述二维前景图像中的像素点；

步骤S23，根据真实世界中的点在所述多个二维前景图像中所对应位置的变化情况，以及所述二维前景图像与所述三维前景图像之间的对应关系，计算真实世界中的点在所述多个三维前景图像中所对应位置的变化情况；

步骤S3，针对当前采集周期的各个采集时刻，按照将对应于真实世界中相同点的全部三维前景点融合成为一个三维融合前景点的规则，将同一采集时刻所述监控现场各个摄像机组合对应的三维前景图像中的三维前景点进行融合处理，将融合后得到的全部三维融合前景点组合在一起，形成该采集时刻的三维融合前景图；其中，所述三维前景点为所述三维前景图像的体素点；

步骤S4，根据真实世界中的点在所述多个三维前景图像中所对应位置的变化情况，以及根据每个三维融合前景点与融合成每个三维融合前景点的各个三维前景点的对应关系，计算真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况；

步骤S5，根据当前采集周期的各个采集时刻的多个三维融合前景图，以及真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定目标对象，以及确定所述目标对象的空间分布特征和运行分布特征；

步骤S6，根据所述目标对象的空间分布特征和运行分布特征，判断是否有目标情景出现；

步骤S7，输出判断结果，并在有目标情景出现时报警。

以下通过图3～图4所示的图像处理过程来介绍图1所示的多摄像机协同监控方法。

假设监控现场共有Z1、Z2、Z3三个摄像机组合，当前采集周期的各个采集时刻分别为T1、T2、T3。

如图3所示，摄像机组合Z1在采集时刻T1、T2、T3依次采集二维影像图，对这3帧二维影像图分别提取前景，得到3个相应的二维前景图像，再将这3个二维前景图像投影到三维空间中，得到3个相应的三维前景图像。其中，将二维前景图像投影到三维空间中得到三维前景图像的具体过程是：将二维前景图像中的每个二维前景点投影至三维空间中得到三维前景点，所有二维前景点对应的三维前景点组合在一起就形成了三维前景图像。三维前景图像实际上是一种点云，其对应的是二维前景图像在真实世界中所对应的物体。

对于真实世界中的点P和点Q，其在采集时刻T1的二维前景图像中的位置分别为P1和Q1，在该时刻的三维前景图像中的位置分别为P1’和Q1’；在采集时刻T2的二维前景图像中的位置分别为P2和Q2，在该时刻的三维前景图像中的位置分别为P2’和Q2’；在采集时刻T3的二维前景图像中的位置分别为P3和Q3，在该时刻的三维前景图像中的位置分别为P3’和Q3’。

根据P1、P2、P3的位置，可以计算出真实世界中的点P在各个采集时刻的二维前景图像中所对应位置的变化情况，这种变化情况可以用二维向量表示；根据Q1、Q2、Q3的位置，可以计算出真实世界中的点Q在各个采集时刻的二维前景图像中所对应位置的变化情况，这种变化情况可以用二维向量表示。

根据P1、P1’的对应关系，P2、P2’的对应关系，以及二维向量可以确定真实世界中的点P在采集时刻T1和T2的三维前景图像中所对应位置的变化情况，即确定三维向量类似的，根据P2、P2’的对应关系，P3、P3’的对应关系，以及二维向量可以确定真实世界中的点P在采集时刻T2和T3的三维前景图像中所对应位置的变化情况，即确定三维向量综合以上，即可确定真实世界中的点P在各个采集时刻的三维前景图像中所对应位置的变化情况。同理，可以确定真实世界中的点Q在各个采集时刻的三维前景图像中所对应位置的变化情况。

如图4所示，在采集时刻T1，真实世界中的点X和点Y在摄像机组合Z1的三维前景图像中所对应的位置分别为X-Z1-T1和Y-Z1-T1，在摄像机组合Z2的三维前景图像中所对应的位置分别为X-Z2-T1，Y-Z2-T1，在摄像机组合Z3的三维前景图像中所对应的位置分别为X-Z3-T1，Y-Z3-T1。在该采集时刻T1，将对应于真实世界中的点X的全部三维前景点融合成为一个三维融合前景点，记为将对应于真实世界中的点Y的全部三维前景点融合成为一个三维融合前景点，记为类似于和这种的全部三维融合前景点组成了该采集时刻T1的三维融合前景图。

类似的，在采集时刻T2，真实世界中的点X和点Y在摄像机组合Z1的三维前景图像中所对应的位置分别为X-Z1-T2和Y-Z1-T2，在摄像机组合Z2的三维前景图像中所对应的位置分别为X-Z2-T2，Y-Z2-T2，在摄像机组合Z3的三维前景图像中所对应的位置分别为X-Z3-T2，Y-Z3-T2。在该采集时刻T2，将对应于真实世界中的点X的全部三维前景点融合成为一个三维融合前景点，记为将对应于真实世界中的点Y的全部三维前景点融合成为一个三维融合前景点，记为类似于和这种的全部三维融合前景点组成了该采集时刻T1的三维融合前景图。

类似的，在采集时刻T3，真实世界中的点X和点Y在摄像机组合Z1的三维前景图像中所对应的位置分别为X-Z1-T3和Y-Z1-T3，在摄像机组合Z2的三维前景图像中所对应的位置分别为X-Z2-T3，Y-Z2-T3，在摄像机组合Z3的三维前景图像中所对应的位置分别为X-Z3-T3，Y-Z3-T3。在该采集时刻T3，将对应于真实世界中的点X的全部三维前景点融合成为一个三维融合前景点，记为将对应于真实世界中的点Y的全部三维前景点融合成为一个三维融合前景点，记为类似于和这种的全部三维融合前景点组成了该采集时刻T1的三维融合前景图。

结合图3和图4可知，三维前景点X-Z1-T1、X-Z1-T2、X-Z1-T3之间的关系与三维前景点P1’、P2’、P3’之间的关系一致。根据前面的说明已经计算出真实世界中的点P在采集时刻T1、T2和T3的三维前景图像中所对应位置的变化情况，即三维向量 也就是说，此处的三维前景点X-Z1-T1、X-Z1-T2、X-Z1-T3所在位置的变化情况可以被计算出来，记为三维向量

同样的，三维前景点X-Z2-T1、X-Z2-T2、X-Z2-T3所在位置的变化情况也可以被计算出来，记为三维向量

同样的，三维前景点X-Z3-T1、X-Z3-T2、X-Z3-T3所在位置的变化情况也可以被计算出来，记为三维向量

在采集时刻T1，真实世界中的点X对应于三维前景点X-Z1-T1、X-Z2-T1、X-Z3-T1；在采集时刻T2，真实世界中的点X对应于三维前景点X-Z1-T2、X-Z2-T2、X-Z3-T2；在采集时刻T3，真实世界中的点X对应于三维前景点X-Z1-T3、X-Z2-T3、X-Z3-T3；

根据三维融合前景点与三维前景点X-Z1-T1、X-Z2-T1、X-Z3-T1之间的对应关系，与三维前景点X-Z1-T2、X-Z2-T2、X-Z3-T2之间的对应关系，与三维前景点X-Z1-T3、X-Z2-T3、X-Z3-T3之间的对应关系，以及根据三维向量 就可以计算出三维融合前景点所在位置的变化情况，可以用三维向量表示，即真实世界中的点X在各个采集时刻的三维融合前景图中所对应位置的变化情况。

本发明协同地利用了监控现场所有摄像机采集的图像，充分利用了所拍摄场景的三维空间信息，即使在光照较差、大广角和远距离的大范围场景中，也可给出更加准确的检测结果，提高了室外监测的检测精度和鲁棒性，尤其适用于巡逻人员少、气候条件差的监控领域，例如油田井作业现场、物流仓库监管、部队边防监控等领域。

结合图3～图4，分别对本方法中的每个步骤进行详细介绍。

步骤S1，按照至少两台摄像机组成一个摄像机组合的方式，将部署于监控现场的多台摄像机组合成多个摄像机组合。

本步骤中形成摄像机组合的目的是利用摄像机组合中各台摄像机所采集的影像来计算所拍摄场景的深度值。

具体实施时，可选地，可以将监控现场的摄像机两两分组形成若干摄像机组合。摄像机组合中的两个摄像机所采集的两路二维影像图分别相当于人的双眼所看到的二维影像，可用于计算深度值，即二维影像图中的像素点在真实世界中所对应的点(所拍摄场景中物体表面上的点)到摄像机的距离。

基于人眼的三维视觉原理，要向利用摄像机组合中的两个摄像机所采集的二维影像图计算深度值，这就要求位于同一摄像机组合中的两个摄像机所覆盖的场景需要存在一定的交集。一般情况下，位置临近的摄像机所覆盖的场景会存在交集，基于这点考虑，具体实施时可以将监控现场任意两个位置相距小于一预设距离的摄像机组成一个摄像机组合。例如图1中的四台摄像机a、b、c、d，根据其装设位置配对，最后得到三个摄像机组合(a,b),(b,c),(c,d)。

本步骤可以利用远程终端单元(Remote Terminal Unit，RTU)获取每台摄像机基于网络时间协议(Network Time Protocol，NTP)所采集的图像帧，即二维影像图。

根据摄像机功能的不同，所采集的二维影像图可能是灰度图像，也可能是彩色图像(如RGB彩色图像)。

在实际监控现场，各个摄像机的型号、参数等可能不同，拍摄得到的图像也可能大小、形状不一，考虑到这一点，具体实施时，本发明还可以对各个摄像机采集的二维影像图进行畸变校正和对齐处理。例如，本步骤可以采用基于棋盘格的方法得到各个摄像机的畸变矩阵、摄像机内参和外参，并基于得到的各个摄像机的畸变矩阵、内参和外参对相应摄像机采集的二维影像图进行畸变矫正和对齐处理，具体实现可参考OpenCV(Open SourceComputer Vision Library)提供的方法，本文不再赘述。

步骤S2，获取每个摄像机组合在每个采集周期采集的二维影像图，并对当前摄像机组合在当前采集周期中依次采集的多帧二维影像图进行步骤S21～步骤S23的图像处理：

步骤S21，对所述多帧二维影像图提取前景，得到多个二维前景图像；将所述多个二维前景图像投影至三维空间中，得到多个三维前景图像；其中，当前采集周期的各个采集时刻、所述多帧二维影像图、所述多个二维前景图像和所述多个三维前景图像具有一一对应的关系。

具体的，本步骤在完成对二维影像图提取前景的过程时，可以采用先进行背景建模(例如是静态背景建模或者混合高斯背景建模等方法)，然后利用背景减除的方法。

具体的，本步骤在完成将二维前景图像投影至三维空间中得到三维前景图像的过程时，需要考虑摄像机成像的二维空间与真实世界的三维空间之间的转换关系。

可选地，步骤S21中可以按照步骤S211～步骤S215的过程将二维前景图像投影至三维空间中：

步骤S211，在二维前景图像对应的二维影像图中，确定每个二维前景点的二维坐标；

步骤S212，在二维前景图像对应的二维深度图中，确定每个二维前景点的深度值。其中，二维深度图与摄像机采集的二维影像图采用相同的坐标轴，对于具有相同坐标的像素点来说，二维影像图中的像素值是该像素点的影像信息，而二维深度图中的像素值是该像素点在真实世界中对应的点到摄像机的距离(即深度值)。

在计算深度值时，可以采用传统的块匹配、动态规划法、图割法、半全局匹配等方法。可选地，本发明也可以采用如下方法计算深度值：首先，根据传统视差计算方法得到初始视差；然后，对二维影像图中的所有像素构建图模型，其中图模型的结点为像素的视差值，图模型的边为像素之间的相似度量；最后，像素的视差值通过图模型中的多次迭代传播来达到全局的最优，根据摄像机的外参和内参将视差信息转换为深度值。

步骤S213，根据二维前景点的二维坐标和深度值，将二维前景点投影到摄像机坐标系中。其中，该摄像机坐标系是指摄像机组合中采集该二维深度图(从中提取该二维前景图像)的摄像机的坐标系。

摄像机坐标系是和观察者密切相关的坐标系。摄像机坐标系类似于二维影像图的坐标系，差别在于摄像机坐标系处于三维空间中，而二维影像图的坐标系在二维空间里。摄像机坐标系的三个坐标轴中，其中两个分别与二维影像图的两个坐标轴平行，另外一个是垂直于二维影像图。摄像机坐标系的原点为二维影像图的中心。

可选地，本步骤可以采用如下公式完成将二维前景点投影到摄像机坐标系的投影过程：

$\left\{\begin{array}{c}{U}_C=(u-c_u)*z/f_u\\ V_C=(v-c_v)*z/f_v\\ Z_C=z\end{array}\right.$

其中，(u,v)是二维前景点的二维坐标，分别对应于二维影像图的两坐标轴；z是二维前景点的深度值；c_u和c_v是二维影像图的中心坐标；f_u和f_v分别是采集该帧二维影像图的摄像机在所述两坐标轴方向的焦距；U_C、V_C、Z_C是二维前景点在摄像机坐标系中的投影点的坐标。

步骤S214，将二维前景点在摄像机坐标系中的投影点继续投影到世界坐标系中，将在世界坐标系中得到的投影点确定为三维前景点。

由于不同摄像机安放的位置、高度、角度等各有不同，为了在监控现场描述不同摄像机的绝对位置和相对位置，采用世界坐标系来描述每个摄像机的位置、高度、角度。摄像机坐标系与世界坐标系之间可以用旋转变换矩阵和平移变换矩阵来转换。

可选地，本步骤可以采用如下公式完成将二维前景点在摄像机坐标系中的投影点继续投影到世界坐标系中：

$\left[\begin{array}{c}{U}_W\\ V_W\\ Z_W\end{array}\right]=R\left[\begin{array}{c}{U}_C\\ V_C\\ Z_C\end{array}\right]+T$

其中，(U_W,V_W,Z_W)是三维前景点的三维坐标，R、T分别表示采集该帧二维影像图的该台摄像机的摄像机坐标系相对于世界坐标系的旋转变换矩阵和平移变换矩阵。

为了完成上述过程，需要确定每个摄像机的摄像机坐标系相对于世界坐标系的旋转变换矩阵和平移变换矩阵。

可选地，步骤S214可以采用步骤S2141～步骤S2145的过程确定旋转变换矩阵和平移变换矩阵：

步骤S2141，将二维影像图中用于显示地面的点确定为地面点。

具体的，本步骤是将二维影像图中表示的影像信息为地面的点确定为地面点。

步骤S2142，在二维影像图中确定所有地面点的二维坐标，并在该帧二维影像图对应的二维深度图中确定所有地面点的深度值。

假设二维影像图中某一地面点的二维坐标为(u’,v’)，由于二维影像图及其对应的二维深度图是采用相同的坐标轴，因此，二维深度图中坐标为(u’,v’)的点的像素值(z’)即为该地面点的深度值。

具体实施时，如果摄像机组合所获取的二维影像图在某些位置纹理不够清楚，则计算深度值时可能是失败的，也就是不能得出这些位置的深度值。本步骤中所确定的地面点如果属于这种情况，则舍弃该地面点。

步骤S2143，利用所有地面点的二维坐标及其深度值进行三维平面拟合。

步骤S2144，将拟合得到的面积最大的平面所对应的函数中的参数确定为采集该帧二维影像图的摄像机组合的部署参数。

其中，部署参数反映了摄像机的安装位置、高度和角度等情况。

具体的，本步骤利用所有地面点的二维坐标及其深度值进行三维平面拟合时，受计算误差的影响，可能会得到面积大小不等的多个三维平面，其中，面积最大的三维平面最有可能对应于真实世界中的地面。摄像机所拍摄的真实世界中的地面能够反映出摄像机的安装位置、高度和角度等情况，而三维平面的函数参数则反映了三维平面的属性，因此，该面积最大的三维平面(对应于真实世界中的地面)所对应的函数中的参数(反映了真实世界中的地面的属性)能够反映摄像机的安装位置、高度和角度，从而可以将三维平面的函数参数确定为该摄像机组合的部署参数。

假设拟合得到的最大平面对应的函数为Ax+By+Cz+D＝0，其中x、y、z为变量，A、B、C、D为参数，则参数A、B、C、D为该摄像机组合的部署参数。

具体实施时，本步骤可以采用开源的PCL(Point Cloud Library，参考网站http://pointclouds.org/)所公开的三维平面拟合方法。

需要说明的是，本发明对采用的三维平面拟合方法不作限定，即以上说明仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，选择其它任何的三维平面拟合方法均应包含在本发明的保护范围之内，例如最小二乘法或者基于梯度下降等方法。

步骤S2145，以世界坐标系为基准，对所述部署参数进行标定计算，得到采集该帧二维影像图的摄像机组合的旋转变换矩阵和平移变换矩阵。

步骤S215，将二维前景图像中全部二维前景点对应的三维前景点组成三维前景图像。

事实上，三维前景图像是一种点云，这种点云对应的是二维前景图像在真实世界中所对应的物体。因此，步骤S215实际上是将点云数据集合形成点云的过程。

步骤S22，计算真实世界中的点在当前摄像机组合在当前采集周期采集的多个二维前景图像中所对应位置的变化情况。其中，所述真实世界中的点为每个二维前景图像中的每个二维前景点在真实世界中对应的点。

具体的，真实世界中的点在这多帧二维前景图像中所对应位置的变化情况可以通过对这多帧二维前景图像计算光流来得到。

光流是指空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达。在本发明中，光流是指真实世界中物体表面上的点的运动速度在摄像机采集的二维影像图上的表达，当真实世界中物体表面上的点被限制为是二维前景图像中的二维前景点在真实世界中对应的点时，光流就是指真实世界中物体表面上的点的运动速度在不同采集时刻的二维前景图像上的表达。

因此，本步骤可以通过对这多个二维前景图像计算光流，得到真实世界中的点(每个二维前景图像中的每个二维前景点在真实世界中对应的点)在这多个二维前景图像中所对应位置的变化情况。

可选地，本步骤在实现对当前摄像机组合在当前采集周期采集的多个二维前景图像计算光流这一过程时，可以首先对这多个二维前景图像对应的多帧二维影像图计算稠密光流，然后利用这多个二维前景图像对稠密光流进行过滤处理。

具体的，本步骤可以采用Lucas–Kanade方法对多个二维影像图计算稠密光流，考虑到计算速度，还可以使用GPU(Graphics Processing Unit，图形处理器)来进行加速。其中，利用二维前景图像对稠密光流进行过滤处理，是为了去除每个二维影像图中背景部分(二维前景图像以外的部分)的光流信息，这里采用的过滤处理可以是高斯滤波、均值滤波或中值滤波等处理方式。

步骤S23，根据真实世界中的点在所述多个二维前景图像中所对应位置的变化情况，以及根据所述二维前景图像与所述三维前景图像之间的对应关系，计算真实世界中的点在所述多个三维前景图像中所对应位置的变化情况。

需要说明的是，对当前摄像机组合在当前采集周期中依次采集的多帧二维影像图进行步骤S21～步骤S23的图像处理过程时，为了确定真实世界中的点在各个采集时刻的二维前景图像和三维前景图像中所对应的位置，较佳的，这多帧二维影像图是由当前摄像机组合中的同一台摄像机采集的，以保证这多帧二维影像图所覆盖的场景尽量为同一场景，从而有利于在各个采集时刻的二维前景图像和三维前景图像中找到真实世界中的同一点。事实上，当每个摄像机组合是由地理位置相近的多台摄像机组合形成时，即便这多帧二维影像图是由当前摄像机组合中的不同摄像机采集的，这多帧二维影像图所覆盖的场景也是存在一定的交集的，也有利于在各个采集时刻的二维前景图像和三维前景图像中找到真实世界中的同一点。

步骤S3，针对当前采集周期的各个采集时刻，按照将对应于真实世界中相同点的全部三维前景点融合成为一个三维融合前景点的规则，将同一采集时刻所述监控现场各个摄像机组合对应的三维前景图像中的三维前景点进行融合处理，将融合后得到的全部三维融合前景点组合在一起，形成该采集时刻的三维融合前景图。

由于单个摄像机组合所拍摄的场景并不能完全覆盖整个监控现场，为了得到整个监控现场的三维场景信息，本步骤将所有摄像机组合所拍摄的场景集成在一起，具体的手段是将同一采集时刻各个摄像机组合的三维前景图像融合在一起。

具体实施时，步骤S3可以按照步骤S31～步骤S34的过程进行：

步骤S31，依次将当前采集周期的各个采集时刻作为当前采集时刻，依次选取每个摄像机组合，依次选取在当前采集时刻当前选取的摄像机组合对应的三维前景图像中的每个三维前景点作为当前三维前景点。

步骤S32，判断在当前采集时刻所述监控现场其他摄像机组合对应的三维前景图像中，是否存在与当前三维前景点对应于真实世界中的同一个点的三维前景点。

具体的，该步骤在判断两个三维前景点是否对应于真实世界中的同一个点时，是根据这两个三维前景点在世界坐标系中的欧式距离是否小于一给定的阈值判断的，当小于该阈值时，判断这两个三维前景点是对应于真实世界中的同一个点，否则判断不是对应于真实世界中的同一个点。

具体实施时，也可以将两个三维前景点的颜色差异与欧式距离进行加权计算，然后判断计算结果是否小于一给定的阈值，当小于该阈值时，判断这两个三维前景点是对应于真实世界中的同一个点，否则判断不是对应于真实世界中的同一个点。

步骤S33，如果不存在，则将当前三维前景点确定为三维融合前景点；如果存在，则按照如下公式将对应于真实世界中的同一个点的全部三维前景点融合成为一个三维融合前景点：

$\left[\begin{array}{c}U\\ V\\ Z\end{array}\right]=\underset{n=1}{\overset{N}{\Σ}}\left[\begin{array}{c}{U}_{Wn}\\ V_{Wn}\\ Z_{Wn}\end{array}\right]*{\mathrm{weight}}_n$

${\mathrm{weight}}_n=\frac{{\mathrm{dist}}_n}{\underset{n=1}{\overset{N}{\Σ}}{\mathrm{dist}}_n}$

其中，U、V、Z是三维融合前景点的三维坐标，分别对应于世界坐标系的三个坐标轴；将对应于真实世界中的同一个点的各个三维前景点确定为待融合点，N是对应于真实世界中的同一个点的全部待融合点的个数；n是待融合点的序号；(U_Wn,V_Wn,Z_Wn)是序号为n的待融合点的三维坐标；weight_n是序号为n的待融合点的权重；dist_n是序号为n的待融合点到自身对应的摄像机组合的中心坐标的距离；其中，摄像机组合的中心坐标为摄像机组合的各个摄像机的装设位置在世界坐标系中的各个投影点的中心对称点的坐标。

当每个摄像机组合是由两个摄像机组成时，摄像机组合的中心坐标为摄像机组合中这两个摄像机的装设位置在世界坐标系中的两个投影点的中点的坐标。

例如，对应于真实世界中的同一个点的两个三维前景点分别记为待融合点A和B，其中，待融合点A来自摄像机组合(a,b)，待融合点B来自摄像机组合(b,c)，摄像机组合(a,b)的中心坐标为(U₁,V₁,Z₁)，摄像机组合(b,c)的中心坐标为(U₂,V₂,Z₂)，待融合点A的三维坐标为(U_W1,V_W1,Z_W1)，待融合点B的三维坐标为(U_W2,V_W2,Z_W2)，待融合点A到摄像机组合(a,b)的中心坐标之间的距离为dist₁，待融合点B到摄像机组合(b,c)的中心坐标之间的距离为dist₂，则有：

${\mathrm{dist}}_1=\sqrt{{(U_{W1}-U_1)}^2+{(V_{W1}-V_1)}^2+{(Z_{W1}-Z_1)}^2}$

${\mathrm{dist}}_2=\sqrt{{(U_{W2}-U_2)}^2+{(V_{W2}-V_2)}^2+{(Z_{W2}-Z_2)}^2}$

待融合点A的权重为weight₁，待融合点B的权重为weight₂，则有：

${\mathrm{weight}}_1=\frac{{\mathrm{dist}}_1}{{\mathrm{dist}}_1+{\mathrm{dist}}_2}$

${\mathrm{weight}}_2=\frac{{\mathrm{dist}}_2}{{\mathrm{dist}}_1+{\mathrm{dist}}_2}$

步骤S34，将全部的三维融合前景点组成当前采集时刻对应的三维融合前景图。

步骤S4，根据真实世界中的点在所述多个三维前景图像中所对应位置的变化情况，以及根据每个三维融合前景点与融合成每个三维融合前景点的各个三维前景点的对应关系，计算真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况。

步骤S5，根据当前采集周期的各个采集时刻的多个三维融合前景图，以及真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定目标对象和所述目标对象的空间分布特征和运行分布特征。

具体的，步骤S5可以按照步骤S51-a～步骤S57-a的过程进行：

步骤S51-a，依次选取当前采集周期的各个采集时刻的三维融合前景图。

步骤S52-a，将当前选取的三维融合前景图所在的三维空间划分为若干三维子空间，统计以下各项信息中的一种或多种：每个三维子空间中包含的所有三维融合前景点的数量；每个三维子空间中包含的所有三维融合前景点呈现的最多的颜色信息；每个三维子空间中包含的所有三维融合前景点的最大高度。

具体的，本步骤可以是利用具有预设尺寸大小的长方体(bins)对当前选取的三维融合前景图所在的三维空间进行划分。

具体实施时，为了方便后续利用统计结果，可以将统计结果以直方图的形式表示出来，即横坐标为每个三维子空间的三维坐标数据，纵坐标为统计数据。

步骤S53-a，根据统计结果，将满足聚类条件的三维子空间中包含的所有三维融合前景点聚集形成三维融合前景块。

其中，所述聚类条件为空间距离小于第一预设阈值，且统计数据的差值小于第二预设阈值。也就是说，满足聚类条件的三维子空间必须是空间距离小于第一预设阈值且统计数据的差值小于第二预设阈值的三维子空间。

具体的，本步骤将满足聚类条件的三维子空间中包含的所有三维融合前景点聚集形成三维融合前景块时，可以采用聚类操作的方法，例如连通域分析，均值漂移算法等。

步骤S54-a，在世界坐标系中对形成的三维融合前景块进行模板匹配，判断所述三维融合前景块是否为目标对象。

具体的，可以先根据目标对象设计相应的模板，然后利用这些模板对三维融合前景块进行匹配，当匹配成功时，确定三维融合前景块为目标对象。

具体实施时，本步骤可根据监控现场的特点，确定目标对象，例如对于油气井监控现场，可以将人、车、人群等作为目标对象。

步骤S55-a，当确定所述三维融合前景块为目标对象时，根据真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定当前采集周期中不同采集时刻的三维融合前景图像中，聚集形成所述目标对象的每个三维融合前景点及与其对应于真实世界中的相同点的其他三维融合前景点的三维坐标变化情况，并据此确定在当前采集周期的各个采集时刻所述目标对象的位置及位移情况。

步骤S56-a，将在当前采集周期的各个采集时刻所述目标对象的位置确定为所述目标对象的空间分布特征。

步骤S57-a，将在当前采集周期的各个采集时刻所述目标对象的位移情况确定为所述目标对象的运行分布特征。

具体的，目标对象的运行分布特征包括但不限于目标对象的运动幅值、方向及加速度等信息。

上述过程是在世界坐标系中对形成的三维融合前景块进行模板匹配，这种模板匹配方法由于是在三维空间进行的，会涉及较大的运算量，耗时较长，为了减少运算量，提升运算速度，可选地，本步骤还可以将三维融合前景图投影至二维平面上得到融合前景投影图，然后在二维空间中进行模板匹配，具体的，步骤S5还可以按照步骤S51-b～步骤S58-b的过程进行：

步骤S51-b，依次选取当前采集周期的各个采集时刻的三维融合前景图。

步骤S52-b，将当前选取的三维融合前景图中的每个三维融合前景点投影至一二维平面中，得到融合前景投影点；将当前选取的三维融合前景图中的全部三维融合前景点对应的融合前景投影点组合在一起，得到融合前景投影图。

本步骤可以是投影至水平面上，也可以是投影至铅垂面上。

步骤S53-b，将所述融合前景投影图所在的二维空间划分为若干二维子空间，统计以下各项信息中的一种或多种：每个二维子空间中包含的融合前景投影点的数量；每个二维子空间中包含的所有融合前景投影点呈现的最多的颜色信息；每个二维子空间中包含的所有融合前景投影点的最大高度。

步骤S54-b，根据统计结果，将满足聚类条件的二维子空间中包含的所有融合前景投影点聚集形成二维融合前景块；其中，所述聚类条件为空间距离小于第一预设阈值，且统计数据的差值小于第二预设阈值。

步骤S55-b，在所述二维空间中对形成的二维融合前景块进行模板匹配，判断所述二维融合前景块是否为目标对象。

步骤S56-b，当确定所述二维融合前景块为目标对象时，根据真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定当前采集周期中不同采集时刻的三维融合前景图像对应的融合前景投影图中，聚集形成所述目标对象的每个融合前景投影点及与其对应于真实世界中的相同点的其他融合前景投影点的二维坐标变化情况，并据此确定在当前采集周期的各个采集时刻所述目标对象的位置及位移情况。

步骤S57-b，将在当前采集周期的各个采集时刻所述目标对象的位置确定为所述目标对象的空间分布特征。

步骤S58-b，将在当前采集周期的各个采集时刻所述目标对象的位移情况确定为所述目标对象的运行分布特征。

步骤S6，根据目标对象的空间分布特征和运行分布特征，判断是否有目标情景出现。

具体实施时，可根据监控现场的特点，确定目标情景，例如对于油气井监控现场，可以将是否有人入侵、有人移除物体、有人丢弃物体、有人奔跑、有人打架等作为目标情景。

具体的，本步骤可以先对所述目标对象的空间分布特征和运行分布特征进行模式分类；然后，根据模式分类的结果判断是否有目标情景出现。

本步骤所采用的模式分类方法可以是基于多分类器完成，例如随机森林，利用其直接完成特征到多类别的映射，也可以基于多个单分类器来完成，例如多个SVM(SupportVector Machine，支持向量机)分类器，例如某个SVM分类器来进行打架检测，其将打架作为正例，其他情境作为负例，以此完成打架分类器的训练，以此类推。

例如，基于随机森林进行多异常类型的判定的示意图，将目标对象的空间分布特征和运动分布特征作为输入，通过样本的学习，确定多个树的模型，基于多个树模型来进行预测和加权投票，得到当前检测的空间分布特征或运动分布特征对应的异常类型。

步骤S7，输出判断结果，并在有目标情景出现时报警。

具体的，为了方便监控人员及时了解监控现场的情况，本发明可以通过显示或发声等方式直接输出判断结果，也可以通过网络将判断结果上传至网络平台中，供连接该网络平台的计算机或移动终端(例如手机、便携式笔记本电脑等)浏览。

应当注意，尽管在附图中以特定顺序描述了本发明多摄像机协同监控方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

示例性装置

在介绍了本发明提供的多摄像机协同监控方法之后，接下来，参考图5～图6介绍本发明提供的多摄像机协同监控装置。

如图5所示为该多摄像机协同监控装置的输入、输出示意图。其中，输入是监控现场所有摄像机采集的二维影像图，输出是检测到的目标情景(例如有人入侵、打架、奔跑、盗窃等异常情况)和报警信息。

具体实施本发明时，该多摄像机协同监控装置可以通过RTU(RemoteTerminalUnit，远程终端单元)监测和控制监控现场的所有摄像机，其中，这些摄像机均是基于NTP协议采集图像的。

如图6所示为该多摄像机协同监控装置的结构框图，该多摄像机协同监控装置包括：

摄像机划分模块601，用于按照至少两台摄像机组成一个摄像机组合的方式，将部署于监控现场的多台摄像机组合成多个摄像机组合；

影像图获取模块602，用于获取每个摄像机组合在每个采集周期采集的二维影像图；

图像处理模块603，用于对当前摄像机组合在当前采集周期中依次采集的多帧二维影像图进行图像处理；

所述图像处理模块603进一步包括：

第一图像处理模块604，用于对所述多帧二维影像图提取前景，得到多个二维前景图像；

第二图像处理模块605，用于将所述多个二维前景图像投影至三维空间中，得到多个三维前景图像；其中，当前采集周期的各个采集时刻、所述多帧二维影像图、所述多个二维前景图像和所述多个三维前景图像具有一一对应的关系；

第三图像处理模块606，用于计算真实世界中的点在所述多个二维前景图像中所对应位置的变化情况；其中，所述真实世界中的点为所述二维前景图像中的每个二维前景点在真实世界中对应的点；所述二维前景点为所述二维前景图像中的像素点；

第四图像处理模块607，用于根据真实世界中的点在所述多个二维前景图像中所对应位置的变化情况，以及根据所述二维前景图像与所述三维前景图像之间的对应关系，计算真实世界中的点在所述多个三维前景图像中所对应位置的变化情况；

融合处理模块608，用于针对当前采集周期的各个采集时刻，按照将对应于真实世界中相同点的全部三维前景点融合成为一个三维融合前景点的规则，将同一采集时刻所述监控现场各个摄像机组合对应的三维前景图像中的三维前景点进行融合处理，将融合后得到的全部三维融合前景点组合在一起，形成该采集时刻的三维融合前景图；其中，所述三维前景点为所述三维前景图像的体素点；

位移计算模块609，用于根据真实世界中的点在所述多个三维前景图像中所对应位置的变化情况，以及根据每个三维融合前景点与融合成每个三维融合前景点的各个三维前景点的对应关系，计算真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况；

目标搜索模块610，用于根据当前采集周期的各个采集时刻的多个三维融合前景图，以及真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定目标对象，以及确定所述目标对象的空间分布特征和运行分布特征；

判断模块611，用于根据所述目标对象的空间分布特征和运行分布特征，判断是否有目标情景出现；

输出模块612，用于输出判断结果，并在有目标情景出现时报警。

第二图像处理模块605，进一步包括：二维坐标计算子模块、深度值计算子模块、第一投影子模块、第二投影子模块和三维前景点云处理子模块。

二维坐标计算子模块，用于在所述二维前景图像对应的二维影像图中，确定每个二维前景点的二维坐标；

深度值计算子模块，用于在所述二维前景图像对应的二维深度图中，确定每个二维前景点的深度值；其中，所述二维深度图是利用当前摄像机组合中各台摄像机同时采集的二维影像图计算的所述对应的二维影像图中各个像素点的深度值形成；

第一投影子模块，用于根据所述二维前景点的二维坐标和深度值，将所述二维前景点投影到摄像机坐标系中；

第二投影子模块，用于将所述二维前景点在所述摄像机坐标系中的投影点继续投影到世界坐标系中，将在世界坐标系中得到的投影点确定为所述三维前景点；

三维前景点云处理子模块，用于将所述二维前景图像中全部二维前景点对应的三维前景点组成所述三维前景图像。

第二图像处理模块606是通过对所述多个二维前景图像计算光流，得到真实世界中的点在所述多个二维前景图像中所对应位置的变化情况。

融合处理模块608，进一步包括：第一轮询子模块、查找子模块、第一融合子模块、第二融合子模块和三维融合前景点云处理子模块。

第一轮询子模块，用于依次将当前采集周期的各个采集时刻作为当前采集时刻，依次选取每个摄像机组合，依次选取在当前采集时刻当前选取的摄像机组合对应的三维前景图像中的每个三维前景点作为当前三维前景点；

查找子模块，用于判断在当前采集时刻所述监控现场其他摄像机组合对应的三维前景图像中，是否存在与当前三维前景点对应于真实世界中的同一个点的三维前景点；当判断为不存在时，触发第一融合子模块；当判断为存在时，触发第二融合子模块；

第一融合子模块，用于将当前三维前景点确定为三维融合前景点；

第二融合子模块，用于按照如下公式将对应于真实世界中的同一个点的全部三维前景点融合成为一个三维融合前景点：

$\left[\begin{array}{c}U\\ V\\ Z\end{array}\right]=\underset{n=1}{\overset{N}{\Σ}}\left[\begin{array}{c}{U}_{Wn}\\ V_{Wn}\\ Z_{Wn}\end{array}\right]*{\mathrm{weight}}_n$

${\mathrm{weight}}_n=\frac{{\mathrm{dist}}_n}{\underset{n=1}{\overset{N}{\Σ}}{\mathrm{dist}}_n}$

其中，U、V、Z是三维融合前景点的三维坐标，分别对应于世界坐标系的三个坐标轴；将对应于真实世界中的同一个点的各个三维前景点确定为待融合点，N是对应于真实世界中的同一个点的全部待融合点的个数；n是待融合点的序号；(U_Wn,V_Wn,Z_Wn)是序号为n的待融合点的三维坐标；weight_n是序号为n的待融合点的权重；dist_n是序号为n的待融合点到自身对应的摄像机组合的中心坐标的距离；其中，摄像机组合的中心坐标为摄像机组合的各个摄像机的装设位置在世界坐标系中的各个投影点的中心对称点的坐标；

三维融合前景点云处理子模块，用于将全部的三维融合前景点组成当前采集时刻对应的三维融合前景图。

在一种实施例中，目标搜索模块610进一步包括：第二轮询子模块、三维子空间划分子模块、三维聚类处理子模块、三维模板匹配子模块、三维位置及位移计算子模块、三维空间特征计算子模块和三维运行特征计算子模块。

第二轮询子模块，用于依次选取当前采集周期的各个采集时刻的三维融合前景图；

三维子空间划分子模块，用于将当前选取的三维融合前景图所在的三维空间划分为若干三维子空间，统计以下各项信息中的一种或多种：每个三维子空间中包含的所有三维融合前景点的数量；每个三维子空间中包含的所有三维融合前景点呈现的最多的颜色信息；每个三维子空间中包含的所有三维融合前景点的最大高度；

三维聚类处理子模块，用于根据统计结果，将满足聚类条件的三维子空间中包含的所有三维融合前景点聚集形成三维融合前景块；其中，所述聚类条件为空间距离小于第一预设阈值，且统计数据的差值小于第二预设阈值；

三维模板匹配子模块，用于在世界坐标系中对形成的三维融合前景块进行模板匹配，判断所述三维融合前景块是否为目标对象；

三维位置及位移计算子模块，用于当确定所述三维融合前景块为目标对象时，根据真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定当前采集周期中不同采集时刻的三维融合前景图像中，聚集形成所述目标对象的每个三维融合前景点及与其对应于真实世界中的相同点的其他三维融合前景点的三维坐标变化情况，并据此确定在当前采集周期的各个采集时刻所述目标对象的位置及位移情况；

三维空间特征计算子模块，用于将在当前采集周期的各个采集时刻所述目标对象的位置确定为所述目标对象的空间分布特征；

三维运行特征计算子模块，用于将在当前采集周期的各个采集时刻所述目标对象的位移情况确定为所述目标对象的运行分布特征。

在另一种实施例中，目标搜索模块610进一步包括：第三轮询子模块、二维投影子模块、二维子空间划分子模块、二维聚类处理子模块、二维模板匹配子模块、二维位置及位移计算子模块、二维空间特征计算子模块和二维运行特征计算子模块。

第三轮询子模块，用于依次选取当前采集周期的各个采集时刻的三维融合前景图；

二维投影子模块，用于将当前选取的三维融合前景图中的每个三维融合前景点投影至一二维平面中，得到融合前景投影点；将当前选取的三维融合前景图中的全部三维融合前景点对应的融合前景投影点组合在一起，得到融合前景投影图；

二维子空间划分子模块，用于将所述融合前景投影图所在的二维空间划分为若干二维子空间，统计以下各项信息中的一种或多种：每个二维子空间中包含的融合前景投影点的数量；每个二维子空间中包含的所有融合前景投影点呈现的最多的颜色信息；每个二维子空间中包含的所有融合前景投影点的最大高度；

二维聚类处理子模块，用于根据统计结果，将满足聚类条件的二维子空间中包含的所有融合前景投影点聚集形成二维融合前景块；其中，所述聚类条件为空间距离小于第一预设阈值，且统计数据的差值小于第二预设阈值；

二维模板匹配子模块，用于在所述二维空间中对形成的二维融合前景块进行模板匹配，判断所述二维融合前景块是否为目标对象；

二维位置及位移计算子模块，用于当确定所述二维融合前景块为目标对象时，根据真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定当前采集周期中不同采集时刻的三维融合前景图像对应的融合前景投影图中，聚集形成所述目标对象的每个融合前景投影点及与其对应于真实世界中的相同点的其他融合前景投影点的二维坐标变化情况，并据此确定在当前采集周期的各个采集时刻所述目标对象的位置及位移情况；

二维空间特征计算子模块，用于将在当前采集周期的各个采集时刻所述目标对象的位置确定为所述目标对象的空间分布特征；

二维运行特征计算子模块，用于将在当前采集周期的各个采集时刻所述目标对象的位移情况确定为所述目标对象的运行分布特征。

判断模块611进一步包括：模式分类处理子模块和模式分类判断子模块。

模式分类处理子模块，用于对所述目标对象的空间分布特征和运行分布特征进行模式分类；

模式分类判断子模块，用于根据模式分类的结果判断是否有目标情景出现。

摄像机划分模块601是将在所述监控现场装设位置相距小于一预设距离的任意两台摄像机组成一个摄像机组合。

图像处理模块603对当前摄像机组合在当前采集周期中依次采集的多帧二维影像图进行图像处理时，这多帧二维影像图是由当前摄像机组合中的同一台摄像机所采集。

在本发明提供的多摄像机协同监控装置中，摄像机采集的二维影像图可以是灰度图像或彩色图像。

本发明提供的多摄像机协同监控装置与多摄像机协同监控方法基于相同的发明思想实现，其具体实施方式可参照前述对多摄像机协同监控方法的介绍，此处不再赘述。

应当注意，尽管在上文详细描述中提及了多摄像机协同监控装置的若干单元或子单元，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元，或装置都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

Claims (20)

1.一种多摄像机协同监控方法，其特征在于，包括：

步骤A，按照至少两台摄像机组成一个摄像机组合的方式，将部署于监控现场的多台摄像机组合成多个摄像机组合；

步骤B，获取每个摄像机组合在每个采集周期采集的二维影像图，并对当前摄像机组合在当前采集周期中依次采集的多帧二维影像图进行步骤B1～步骤B3的处理；

步骤B1，对所述多帧二维影像图提取前景，得到多个二维前景图像；将所述多个二维前景图像投影至三维空间中，得到多个三维前景图像；其中，当前采集周期的各个采集时刻、所述多帧二维影像图、所述多个二维前景图像和所述多个三维前景图像具有一一对应的关系；

步骤B2，计算真实世界中的点在所述多个二维前景图像中所对应位置的变化情况；其中，所述真实世界中的点为所述二维前景图像中的每个二维前景点在真实世界中对应的点；所述二维前景点为所述二维前景图像中的像素点；

步骤B3，根据真实世界中的点在所述多个二维前景图像中所对应位置的变化情况，以及根据所述二维前景图像与所述三维前景图像之间的对应关系，计算真实世界中的点在所述多个三维前景图像中所对应位置的变化情况；

步骤C，针对当前采集周期的各个采集时刻，按照将对应于真实世界中相同点的全部三维前景点融合成为一个三维融合前景点的规则，将同一采集时刻所述监控现场各个摄像机组合对应的三维前景图像中的三维前景点进行融合处理，将融合后得到的全部三维融合前景点组合在一起，形成该采集时刻的三维融合前景图；其中，所述三维前景点为所述三维前景图像的体素点；

步骤D，根据真实世界中的点在所述多个三维前景图像中所对应位置的变化情况，以及根据每个三维融合前景点与融合成每个三维融合前景点的各个三维前景点的对应关系，计算真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况；

步骤E，根据当前采集周期的各个采集时刻的多个三维融合前景图，以及真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定目标对象，以及确定所述目标对象的空间分布特征和运行分布特征；

步骤F，根据所述目标对象的空间分布特征和运行分布特征，判断是否有目标情景出现；

步骤G，输出判断结果，并在有目标情景出现时报警。

2.根据权利要求1所述的多摄像机协同监控方法，其特征在于，所述的步骤B1，将所述多个二维前景图像投影至三维空间中，得到多个三维前景图像，包括：

在所述二维前景图像对应的二维影像图中，确定每个二维前景点的二维坐标；

在所述二维前景图像对应的二维深度图中，确定每个二维前景点的深度值；其中，所述二维深度图是利用当前摄像机组合中各台摄像机同时采集的二维影像图计算的所述对应的二维影像图中各个像素点的深度值形成；

根据所述二维前景点的二维坐标和深度值，将所述二维前景点投影到摄像机坐标系中；

将所述二维前景点在所述摄像机坐标系中的投影点继续投影到世界坐标系中，将在世界坐标系中得到的投影点确定为所述三维前景点；

将所述二维前景图像中全部二维前景点对应的三维前景点组成所述三维前景图像。

3.根据权利要求2所述的多摄像机协同监控方法，其特征在于，所述步骤B2是通过对所述多个二维前景图像计算光流，得到真实世界中的点在所述多个二维前景图像中所对应位置的变化情况。

4.根据权利要求3所述的多摄像机协同监控方法，其特征在于，所述步骤C，包括：

步骤C1，依次将当前采集周期的各个采集时刻作为当前采集时刻，依次选取每个摄像机组合，依次选取在当前采集时刻当前选取的摄像机组合对应的三维前景图像中的每个三维前景点作为当前三维前景点；

步骤C2，判断在当前采集时刻所述监控现场其他摄像机组合对应的三维前景图像中，是否存在与当前三维前景点对应于真实世界中的同一个点的三维前景点；

步骤C3，如果不存在，则将当前三维前景点确定为三维融合前景点；如果存在，则按照如下公式将对应于真实世界中的同一个点的全部三维前景点融合成为一个三维融合前景点：

$\left[\begin{array}{c}U\\ V\\ Z\end{array}\right]=\underset{n=1}{\overset{N}{\Σ}}\left[\begin{array}{c}{U}_{Wn}\\ V_{Wn}\\ Z_{Wn}\end{array}\right]*{\mathrm{weight}}_n$

${\mathrm{weight}}_n=\frac{{\mathrm{dist}}_n}{\underset{n=1}{\overset{N}{\Σ}}{\mathrm{dist}}_n}$

其中，U、V、Z是三维融合前景点的三维坐标，分别对应于世界坐标系的三个坐标轴；将对应于真实世界中的同一个点的各个三维前景点确定为待融合点，N是对应于真实世界中的同一个点的全部待融合点的个数；n是待融合点的序号；(U_Wn,V_Wn,Z_Wn)是序号为n的待融合点的三维坐标；weight_n是序号为n的待融合点的权重；dist_n是序号为n的待融合点到自身对应的摄像机组合的中心坐标的距离；其中，摄像机组合的中心坐标为摄像机组合的各个摄像机的装设位置在世界坐标系中的各个投影点的中心对称点的坐标；

步骤C4，将全部的三维融合前景点组成当前采集时刻对应的三维融合前景图。

5.根据权利要求4所述的多摄像机协同监控方法，其特征在于，所述步骤E，包括：

步骤E1，依次选取当前采集周期的各个采集时刻的三维融合前景图；

步骤E2，将当前选取的三维融合前景图所在的三维空间划分为若干三维子空间，统计以下各项信息中的一种或多种：每个三维子空间中包含的所有三维融合前景点的数量；每个三维子空间中包含的所有三维融合前景点呈现的最多的颜色信息；每个三维子空间中包含的所有三维融合前景点的最大高度；

步骤E3，根据统计结果，将满足聚类条件的三维子空间中包含的所有三维融合前景点聚集形成三维融合前景块；其中，所述聚类条件为空间距离小于第一预设阈值，且统计数据的差值小于第二预设阈值；

步骤E4，在世界坐标系中对形成的三维融合前景块进行模板匹配，判断所述三维融合前景块是否为目标对象；

步骤E5，当确定所述三维融合前景块为目标对象时，根据真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定当前采集周期中不同采集时刻的三维融合前景图像中，聚集形成所述目标对象的每个三维融合前景点及与其对应于真实世界中的相同点的其他三维融合前景点的三维坐标变化情况，并据此确定在当前采集周期的各个采集时刻所述目标对象的位置及位移情况；

步骤E6，将在当前采集周期的各个采集时刻所述目标对象的位置确定为所述目标对象的空间分布特征；

步骤E7，将在当前采集周期的各个采集时刻所述目标对象的位移情况确定为所述目标对象的运行分布特征。

6.根据权利要求4所述的多摄像机协同监控方法，其特征在于，所述步骤E，包括：

步骤E1，依次选取当前采集周期的各个采集时刻的三维融合前景图；

步骤E2，将当前选取的三维融合前景图中的每个三维融合前景点投影至一二维平面中，得到融合前景投影点；将当前选取的三维融合前景图中的全部三维融合前景点对应的融合前景投影点组合在一起，得到融合前景投影图；

步骤E3，将所述融合前景投影图所在的二维空间划分为若干二维子空间，统计以下各项信息中的一种或多种：每个二维子空间中包含的融合前景投影点的数量；每个二维子空间中包含的所有融合前景投影点呈现的最多的颜色信息；每个二维子空间中包含的所有融合前景投影点的最大高度；

步骤E4，根据统计结果，将满足聚类条件的二维子空间中包含的所有融合前景投影点聚集形成二维融合前景块；其中，所述聚类条件为空间距离小于第一预设阈值，且统计数据的差值小于第二预设阈值；

步骤E5，在所述二维空间中对形成的二维融合前景块进行模板匹配，判断所述二维融合前景块是否为目标对象；

步骤E6，当确定所述二维融合前景块为目标对象时，根据真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定当前采集周期中不同采集时刻的三维融合前景图像对应的融合前景投影图中，聚集形成所述目标对象的每个融合前景投影点及与其对应于真实世界中的相同点的其他融合前景投影点的二维坐标变化情况，并据此确定在当前采集周期的各个采集时刻所述目标对象的位置及位移情况；

步骤E7，将在当前采集周期的各个采集时刻所述目标对象的位置确定为所述目标对象的空间分布特征；

步骤E8，将在当前采集周期的各个采集时刻所述目标对象的位移情况确定为所述目标对象的运行分布特征。

7.根据权利要求5或6所述的多摄像机协同监控方法，其特征在于，所述步骤F，包括：

对所述目标对象的空间分布特征和运行分布特征进行模式分类；

根据模式分类的结果判断是否有目标情景出现。

8.根据权利要求1所述的多摄像机协同监控方法，其特征在于，所述的步骤A是将在所述监控现场装设位置相距小于一预设距离的任意两台摄像机组成一个摄像机组合。

9.根据权利要求1所述的多摄像机协同监控方法，其特征在于，所述的步骤B中，所述多帧二维影像图是由当前摄像机组合中的同一台摄像机所采集。

10.根据权利要求1所述的多摄像机协同监控方法，其特征在于，所述的二维影像图为灰度图像或彩色图像。

11.一种多摄像机协同监控装置，其特征在于，包括：

摄像机划分模块，用于按照至少两台摄像机组成一个摄像机组合的方式，将部署于监控现场的多台摄像机组合成多个摄像机组合；

影像图获取模块，用于获取每个摄像机组合在每个采集周期采集的二维影像图；

图像处理模块，用于对当前摄像机组合在当前采集周期中依次采集的多帧二维影像图进行图像处理；

所述图像处理模块进一步包括：

第一图像处理模块，用于对所述多帧二维影像图提取前景，得到多个二维前景图像；

第二图像处理模块，用于将所述多个二维前景图像投影至三维空间中，得到多个三维前景图像；其中，当前采集周期的各个采集时刻、所述多帧二维影像图、所述多个二维前景图像和所述多个三维前景图像具有一一对应的关系；

第三图像处理模块，用于计算真实世界中的点在所述多个二维前景图像中所对应位置的变化情况；其中，所述真实世界中的点为所述二维前景图像中的每个二维前景点在真实世界中对应的点；所述二维前景点为所述二维前景图像中的像素点；

第四图像处理模块，用于根据真实世界中的点在所述多个二维前景图像中所对应位置的变化情况，以及根据所述二维前景图像与所述三维前景图像之间的对应关系，计算真实世界中的点在所述多个三维前景图像中所对应位置的变化情况；

融合处理模块，用于针对当前采集周期的各个采集时刻，按照将对应于真实世界中相同点的全部三维前景点融合成为一个三维融合前景点的规则，将同一采集时刻所述监控现场各个摄像机组合对应的三维前景图像中的三维前景点进行融合处理，将融合后得到的全部三维融合前景点组合在一起，形成该采集时刻的三维融合前景图；其中，所述三维前景点为所述三维前景图像的体素点；

位移计算模块，用于根据真实世界中的点在所述多个三维前景图像中所对应位置的变化情况，以及根据每个三维融合前景点与融合成每个三维融合前景点的各个三维前景点的对应关系，计算真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况；

目标搜索模块，用于根据当前采集周期的各个采集时刻的多个三维融合前景图，以及真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定目标对象，以及确定所述目标对象的空间分布特征和运行分布特征；

判断模块，用于根据所述目标对象的空间分布特征和运行分布特征，判断是否有目标情景出现；

输出模块，用于输出判断结果，并在有目标情景出现时报警。

12.根据权利要求11所述的多摄像机协同监控装置，其特征在于，所述第二图像处理模块，进一步包括：

二维坐标计算子模块，用于在所述二维前景图像对应的二维影像图中，确定每个二维前景点的二维坐标；

深度值计算子模块，用于在所述二维前景图像对应的二维深度图中，确定每个二维前景点的深度值；其中，所述二维深度图是利用当前摄像机组合中各台摄像机同时采集的二维影像图计算的所述对应的二维影像图中各个像素点的深度值形成；

第一投影子模块，用于根据所述二维前景点的二维坐标和深度值，将所述二维前景点投影到摄像机坐标系中；

第二投影子模块，用于将所述二维前景点在所述摄像机坐标系中的投影点继续投影到世界坐标系中，将在世界坐标系中得到的投影点确定为所述三维前景点；

三维前景点云处理子模块，用于将所述二维前景图像中全部二维前景点对应的三维前景点组成所述三维前景图像。

13.根据权利要求12所述的多摄像机协同监控装置，其特征在于，所述第三图像处理模块是通过对所述多个二维前景图像计算光流，得到真实世界中的点在所述多个二维前景图像中所对应位置的变化情况。

14.根据权利要求13所述的多摄像机协同监控装置，其特征在于，所述融合处理模块，进一步包括：

第一轮询子模块，用于依次将当前采集周期的各个采集时刻作为当前采集时刻，依次选取每个摄像机组合，依次选取在当前采集时刻当前选取的摄像机组合对应的三维前景图像中的每个三维前景点作为当前三维前景点；

查找子模块，用于判断在当前采集时刻所述监控现场其他摄像机组合对应的三维前景图像中，是否存在与当前三维前景点对应于真实世界中的同一个点的三维前景点；当判断为不存在时，触发第一融合子模块；当判断为存在时，触发第二融合子模块；

第一融合子模块，用于将当前三维前景点确定为三维融合前景点；

第二融合子模块，用于按照如下公式将对应于真实世界中的同一个点的全部三维前景点融合成为一个三维融合前景点：

$\left[\begin{array}{c}U\\ V\\ Z\end{array}\right]=\underset{n=1}{\overset{N}{\Σ}}\left[\begin{array}{c}{U}_{Wn}\\ V_{Wn}\\ Z_{Wn}\end{array}\right]*{\mathrm{weight}}_n$

${\mathrm{weight}}_n=\frac{{\mathrm{dist}}_n}{\underset{n=1}{\overset{N}{\Σ}}{\mathrm{dist}}_n}$

其中，U、V、Z是三维融合前景点的三维坐标，分别对应于世界坐标系的三个坐标轴；将对应于真实世界中的同一个点的各个三维前景点确定为待融合点，N是对应于真实世界中的同一个点的全部待融合点的个数；n是待融合点的序号；(U_Wn,V_Wn,Z_Wn)是序号为n的待融合点的三维坐标；weight_n是序号为n的待融合点的权重；dist_n是序号为n的待融合点到自身对应的摄像机组合的中心坐标的距离；其中，摄像机组合的中心坐标为摄像机组合的各个摄像机的装设位置在世界坐标系中的各个投影点的中心对称点的坐标；

三维融合前景点云处理子模块，用于将全部的三维融合前景点组成当前采集时刻对应的三维融合前景图。

15.根据权利要求14所述的多摄像机协同监控装置，其特征在于，所述目标搜索模块，进一步包括：

第二轮询子模块，用于依次选取当前采集周期的各个采集时刻的三维融合前景图；

三维子空间划分子模块，用于将当前选取的三维融合前景图所在的三维空间划分为若干三维子空间，统计以下各项信息中的一种或多种：每个三维子空间中包含的所有三维融合前景点的数量；每个三维子空间中包含的所有三维融合前景点呈现的最多的颜色信息；每个三维子空间中包含的所有三维融合前景点的最大高度；

三维聚类处理子模块，用于根据统计结果，将满足聚类条件的三维子空间中包含的所有三维融合前景点聚集形成三维融合前景块；其中，所述聚类条件为空间距离小于第一预设阈值，且统计数据的差值小于第二预设阈值；

三维模板匹配子模块，用于在世界坐标系中对形成的三维融合前景块进行模板匹配，判断所述三维融合前景块是否为目标对象；

三维位置及位移计算子模块，用于当确定所述三维融合前景块为目标对象时，根据真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定当前采集周期中不同采集时刻的三维融合前景图像中，聚集形成所述目标对象的每个三维融合前景点及与其对应于真实世界中的相同点的其他三维融合前景点的三维坐标变化情况，并据此确定在当前采集周期的各个采集时刻所述目标对象的位置及位移情况；

三维空间特征计算子模块，用于将在当前采集周期的各个采集时刻所述目标对象的位置确定为所述目标对象的空间分布特征；

三维运行特征计算子模块，用于将在当前采集周期的各个采集时刻所述目标对象的位移情况确定为所述目标对象的运行分布特征。

16.根据权利要求14所述的多摄像机协同监控装置，其特征在于，所述目标搜索模块，进一步包括：

第三轮询子模块，用于依次选取当前采集周期的各个采集时刻的三维融合前景图；

二维投影子模块，用于将当前选取的三维融合前景图中的每个三维融合前景点投影至一二维平面中，得到融合前景投影点；将当前选取的三维融合前景图中的全部三维融合前景点对应的融合前景投影点组合在一起，得到融合前景投影图；

二维子空间划分子模块，用于将所述融合前景投影图所在的二维空间划分为若干二维子空间，统计以下各项信息中的一种或多种：每个二维子空间中包含的融合前景投影点的数量；每个二维子空间中包含的所有融合前景投影点呈现的最多的颜色信息；每个二维子空间中包含的所有融合前景投影点的最大高度；

二维聚类处理子模块，用于根据统计结果，将满足聚类条件的二维子空间中包含的所有融合前景投影点聚集形成二维融合前景块；其中，所述聚类条件为空间距离小于第一预设阈值，且统计数据的差值小于第二预设阈值；

二维模板匹配子模块，用于在所述二维空间中对形成的二维融合前景块进行模板匹配，判断所述二维融合前景块是否为目标对象；

二维位置及位移计算子模块，用于当确定所述二维融合前景块为目标对象时，根据真实世界中的点在当前采集周期的各个采集时刻的多个三维融合前景图中所对应位置的变化情况，确定当前采集周期中不同采集时刻的三维融合前景图像对应的融合前景投影图中，聚集形成所述目标对象的每个融合前景投影点及与其对应于真实世界中的相同点的其他融合前景投影点的二维坐标变化情况，并据此确定在当前采集周期的各个采集时刻所述目标对象的位置及位移情况；

二维空间特征计算子模块，用于将在当前采集周期的各个采集时刻所述目标对象的位置确定为所述目标对象的空间分布特征；

二维运行特征计算子模块，用于将在当前采集周期的各个采集时刻所述目标对象的位移情况确定为所述目标对象的运行分布特征。

17.根据权利要求15或16所述的多摄像机协同监控装置，其特征在于，所述判断模块进一步包括：

模式分类处理子模块，用于对所述目标对象的空间分布特征和运行分布特征进行模式分类；

模式分类判断子模块，用于根据模式分类的结果判断是否有目标情景出现。

18.根据权利要求11所述的多摄像机协同监控装置，其特征在于，所述摄像机划分模块是将在所述监控现场装设位置相距小于一预设距离的任意两台摄像机组成一个摄像机组合。

19.根据权利要求11所述的多摄像机协同监控装置，其特征在于，所述图像处理模块对当前摄像机组合在当前采集周期中依次采集的多帧二维影像图进行图像处理时，所述多帧二维影像图是由当前摄像机组合中的同一台摄像机所采集。

20.根据权利要求11所述的多摄像机协同监控装置，其特征在于，所述的二维影像图为灰度图像或彩色图像。