CN1976445A - 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法 - Google Patents

Abstract

一种基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法，涉及视频监控及跟踪技术领域；该系统包括设有至少二个以上全景摄像头的立体视频全景摄像机模块，用于形成数字图像序列的图像采集模块，用于进行运算处理生成各目标的三维控制信号的图像处理模块，分别连接跟踪摄像机模块、手动控制器、监控中心的数据通信与控制模块，设有一个以上跟踪摄像机的用于分别监控跟踪各异常或运动目标的跟踪摄像机模块；其跟踪方法包括对数字图像序列进行运动目标检测与分割算法、多运动目标提取算法和目标三维位置信息融合算法；本发明能实现分别跟踪监控多个不同目标，能缩小对目标位置的跟踪偏差，能得到清晰完整的跟踪目标图像。

Description

基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法

技术领域

本发明涉及视频监控及跟踪技术，特别是涉及一种采用双镜头摄像机或两个摄像机获得其视野范围内监控目标的三维立体信息，在全景监控的同时，能够智能判断检测多个异常或运动目标并动态地控制跟踪摄像机对目标分别进行跟踪及自适应缩放的监控系统技术。

背景技术

随着技术进步和国际形势变化，监控系统智能化成为必然发展趋势。安防监控系统在安全、交通、金融、能源、通讯等重要场所是必不可少的，其中视频监控系统的目的就是为了及时发现和报告监控场景中出现的异常情况或运动目标并将其记录保存为相应的视频图像，以便于进行实时处理及事后查证。但是传统的视频监控系统缺乏对异常情况的响应及运动目标的跟踪功能，只能依赖人为判断和手动跟踪，对于全天实时监控或监控场景较多的情况，仅采用人为控制监控系统的方式显然是不能满足要求的。因而，需要开发出能够实时动态响应并跟踪异常或运动目标的智能监控系统。

刘成刚、苏剑波和马红雨的名为《异常目标自动发现及跟踪摄像机系统》(专利号03116154.5)的中国发明专利中提出了一种能够自动发现视野中的异常目标、对其自动跟踪、摄像机镜头自动改变放大倍数的保安监控系统。在跟踪精度要求不高的条件下，这套系统能够初步实现对单一异常或运动目标的自动跟踪。该系统主要存在三个缺陷：一、从原理的角度分析，系统采用单一的全景摄像机，仅能获得异常或运动目标中心点在摄像机投影平面的二维位置信息，无法确定目标相对于摄像机的距离信息，即深度位置信息，该系统实质上跟踪的是目标在摄像机投影平面的二维投影，而非三维空间中目标本身。计算可知，当目标与摄像机距离越近，该系统对目标位置的跟踪偏差就越大，而当偏差超过一定范围，跟踪摄像机的图像中将失去所跟踪的目标存在而使跟踪失去意义。这个缺陷属于系统的原理性缺陷，实用过程中无法避免。二、由该专利的权力要求书中的第3点可大体知道，该系统的异常和运动检测算法采用了简单序列帧间差分，然后对差分图像进行二值化和去噪声处理，从而获得相关运动信息。这种算法实时性强，但是对于某些不连贯运动区域和孤立运动区域的检测存在一定偏差，造成运动目标投影的中心位置坐标出现误差。三、从实用性的角度，该系统仅能对单一异常或运动目标进行检测跟踪，在出现多个运动目标的情况下，专利中并未提及系统将如何处理并如何跟踪。而实际应用中经常会遇到多个运动目标同时出现在监控视野中的情况。

与上面提到的发明专利在底层技术构架方面相比，曾文斌的中国发明专利申请《具有多摄像机的智能跟踪监控系统》(专利申请号200410016455.9)虽然提出了解决多个运动目标检测与跟踪的技术构想，但是在其他底层技术构架上两者大致相同。同时，在该专利申请书中，只能了解到采用多个摄像机对多个运动目标进行跟踪的技术解决构想，而并未提及实现该专利必须使用的运动检测算法、多运动目标分割方法以及跟踪摄像机的控制方法等具体实施办法，因而无法得知该申请具体的优势和缺点。但是从原理上说，该专利申请亦无法避免上一段提及的第一个缺陷。

监控场景中经常会有同时出现多个运动目标或某个单一目标分裂为多个目标的情况，为了及时处理和事后查证，监控系统不仅需要掌握全景视频信息，而且需要对各个目标进行实时跟踪监控，同时根据目标的大小智能调整跟踪摄像机镜头放大倍数，获得更加清晰的目标图像。现有的监控系统还无法实现，在全景监控的同时，兼顾对多个异常或运动目标分别实时并精确定位跟踪监控的功能。

发明内容

针对上述现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种能实现分别跟踪监控多个不同目标的，对目标位置的跟踪偏差小的，能得到清晰完整的跟踪目标图像的基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法。

为了解决上述技术问题，本发明所提供的一种基于立体视频动态跟踪的多摄像机监控系统，包括立体视频全景摄像机模块、图像采集模块、图像处理模块、数据通信与控制模块、跟踪摄像机模块，其特征在于：

立体视频全景摄像机模块输出端分别连接视频监控设备和图像采集模块，设有至少二个以上全景摄像头，将拍摄到的监控场景生成视频数据信号分别输出至视频监控设备和图像采集模块；

图像采集模块输出端连接图像处理模块，用于对视频数据信号进行相应处理形成数字图像序列并输出至图像处理模块；

图像处理模块连接数据通信与控制模块，用于对数字图像序列进行包括运动目标检测与分割算法、目标三维位置信息融合算法的运算处理，生成各目标的包含三维运动与位置信息的下行控制信号用以控制跟踪摄像机模块；并根据数据通信与控制模块输入的上行反馈信号对下行控制信号进行校正，而后将经过校正的下行控制信号传送至数据通信与控制模块；

数据通信与控制模块分别连接跟踪摄像机模块、手动控制器、监控中心，根据相应的通信标准和协议分别接收和发送下行控制信号与上行反馈信号，即分别接收由图像处理模块发来的下行控制信号和由跟踪摄像机模块发送的上行反馈信号，并根据相应的通信标准和协议，分别将下行控制信号发送至跟踪摄像机模块以及将上行反馈信号发送至图像处理模块；

跟踪摄像机模块，设有一个以上的跟踪摄像机，用于根据下行控制信号的要求对相应的异常或运动目标进行动态跟踪监控，并将跟踪监控视频数据直接输出至视频监控设备，同时将跟踪摄像机的位置信息形成上行反馈信号发送至数据通信与控制模块；

图像处理模块、数据通信与控制模块和跟踪摄像机模块构成一个闭环控制系统。

进一步地，所述立体视频全景摄像机模块的基本设备包括双镜头摄像机或两个摄像机，其中一个镜头或摄像机为主镜头或主摄像机，另一个镜头或摄像机为辅助镜头或辅助摄像机；两个镜头或两个摄像机的视频数据信号需同步传送至图像采集模块，主镜头或主摄像机的视频数据信号需直接输出，而辅助镜头或辅助摄像机的视频数据信号可根据实际需要选择是否直接输出。主镜头或主摄像机的视频数据经采集和处理后形成的视频信息，以辅助镜头或辅助摄像机提供的相对视频信息为条件，可获得全景的相应立体视频信息，即获得异常或运动目标在监控场景中精确的三维位置坐标。

进一步地，所述立体视频全景摄像机模块中加入视频数据压缩、传输、解压设备以及红外设备等外围设备，以便实现远程监控或其他特定条件的监控。

进一步地，所述数据通信与控制模块设有手动控制信号优先的功能；本发明与手动控制跟踪摄像机的监控系统可以智能兼容；即当发现有手动控制跟踪摄像机的控制信号发出时，数据通信与控制模块自动阻断与图像处理模块之间的下行控制信号，将跟踪摄像机的控制权交由手动控制；当手动控制终止后，跟踪摄像机自动回至初始预置位置，数据通信与控制模块自动恢复下行控制信号的通信状态，跟踪摄像机接受下行控制信号的控制。

进一步地，所述跟踪摄像机模块根据下行控制信号的要求，各个跟踪摄像机分别跟踪在监控全景中不同的异常或运动目标并根据目标大小自适应调节镜头的缩放倍数，将跟踪监控视频数据直接输出至监视器、视频存储设备等相应的视频监控设备，同时将跟踪摄像机的位置信息形成上行反馈信号发送至数据通信与控制模块；当异常或运动目标移动出全景监控范围，或者异常或运动目标一定时间间隔内在全景监控范围没有变化或运动，跟踪摄像机将自动回至初始预置位置等待下行控制信号。

进一步地，所述视频监控设备包括监视器、视频存储设备等视频监控设备；立体全景视频数据信号、跟踪监控视频数据信号分别输出至监视器、视频存储设备等相应的视频监控设备。

进一步地，所述数据通信与控制模块可向监控中心发送相应的控制信号用以实时触发或控制报警系统、视频存储系统以及其他相关系统，并接收手动控制跟踪摄像机的控制信号。

进一步地，所述跟踪摄像机模块能根据手动控制信号的要求进行相应的动作。

图像采集模块、图像处理模块与数据通信与控制模块的具体技术架构和具体实施方式可以是多样的、多途径的，但是所实现的基本功能同上述的各个模块基本功能是相同的、一致的。

为了解决上述技术问题，本发明所提供的一种基于立体视频动态跟踪的方法，其特征在于，方法的流程如下：

1)读取缓冲区中主摄像机的灰度图像序列，通过运动目标检测与分割算法获取各个运动目标在图像中的运动区域；转向3)；

2)读取缓冲区中辅助摄像机的灰度图像序列，通过运动目标检测与分割算法获取各个运动目标在图像中的运动区域；

3)根据主摄像机和辅助摄像机中的各个目标在图像中的运动区域采用目标三维位置信息融合算法计算出各个运动目标在监控场景中的立体三维坐标；

4)结合由数据通信与控制模块发送的上行反馈信号计算出对应的跟踪摄像机的运动参数；

5)根据跟踪摄像机的控制协议生成下行控制控制信号经串口发送至数据通信与控制模块。

进一步地，所述步骤1)、2)中运动目标检测与分割算法的基本流程：

a)取实时采集的灰度图像序列中时间上相关的连续两帧，对当前帧图像与上一帧图像进行帧间差分运算；

b)然后将生成的灰度差分图像进行二值化处理，将包含异常或运动目标的区域中的各象素点标记为1，其余标记为0，并去除孤立点噪声；

c)根据二值图像中是否存在包含标记为1的区域检测是否存在需要跟踪的目标；若没有包含标记为1的区域则流程返回至算法起始点a)进行循环检测；若存在包含标记为1的区域则表明监控场景内有异常或运动目标存在；

d)采用尺寸滤波器去除小区域或运动干扰噪声；

e)从二值图像中分割出包含标记为1的区域作为投影图像中相应目标的运动区域。其中二值化处理中的灰度阈值决定了运动检测的灵敏度，设置的灰度阈值过小则对于差分图像中的噪声敏感，过大则运动检测比较迟钝，故具体设置值需根据实际监控场景而定。

进一步地，所述步骤1)、2)中完成运动目标检测与分割算法后，再采用多运动目标提取算法合并提取完整的运动区域以及获得各个运动区域在投影片面内的相应投影坐标。

进一步地，所述步骤1)、2)中多运动目标提取算法的基本流程：

a)对分割出来的运动区域采用区域生长算法；

b)对生成的独立矩形区域采用自适应吸引域合并算法；

c)根据最终生成的各个矩形位置次序与大小标定并映射各个运动目标，各个矩形的边长与镜头缩放的倍数成反比；

d)计算所标定目标在相应投影平面内的二维位置信息即可获得各个运动目标的二维投影坐标。

进一步地，所述步骤3)中目标三维位置信息融合算法的基本流程：

a)形成主摄像机中的投影目标与辅助摄像机中的投影目标一一对应的关系；

b)经计算获得各个异常或运动目标在监控场景中的立体三维坐标；

c)根据跟踪摄像机与两个摄像机组成的立体视频全景摄像机之间的位置关系，以及跟踪摄像机的运动性能参数，可计算出跟踪摄像机为了跟踪异常或运动目标所需的运动参数；

d)根据收到的包含跟踪摄像机实时位置信息的上行反馈信号，对计算出的运动参数进行实时校正，生成经反馈的运动参数校正后的下行控制信号发送至数据通信与控制模块。

本发明的基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法的有益效果是：能够实时响应监控场景中的异常或运动，解决了传统视频监控系统存在的相应问题。在兼顾全景监控的同时，可根据多个异常或运动目标的三维立体信息对其进行智能化的实时跟踪与缩放，并能够增强异常或运动目标的视频图像信息，极大地提高了监控系统的功效和性能。由于采用的是目标的三维立体信息，因而可对目标精确定位，克服了采用二维投影信息进行目标跟踪所产生的系统误差，从根本上提高了对目标跟踪的精确性。所使用的多摄像机系统可同时对多个异常或运动目标进行跟踪，解决了以往系统仅能对单一目标而无法对多个目标进行跟踪的问题。同时，开创性地提出了对多个异常或运动目标进行跟踪的相应具体解决方法，对视频监控系统中多目标跟踪的问题具有指导性的意义。本发明技术先进方法新颖，但对实施设备并无苛刻要求，因此具有广泛的应用前景。

附图说明

图1为本发明实施例的逻辑模块和系统构架示意图；

图2为本发明实施例的设备和工作原理示意图；

图3为本发明实施例中两个摄像机获得立体视频信息的工作原理示意图；

图4为本发明实施例中实现图像采集模块的逻辑流程图；

图5为本发明实施例中实现图像处理模块功能的算法结构流程图；

图5a为本发明实施例中图像处理模块的运动目标检测与分割算法流程图；

图5b为本发明实施例中图像处理模块的多运动目标提取算法流程图；

图5c为本发明实施例中图像处理模块的目标三维位置信息融合算法流程图；

图6为本发明实施例中实现数据通信与控制模块功能的逻辑电路图；

图7为本发明实施例中采用高速球形摄像机作为跟踪摄像机的结构示意图。

具体实施方式

以下结合附图说明对本发明的实施例作进一步详细描述，但本实施例并不用于限制本发明，凡是采用本发明的相似结构、方法及其相似变化，均应列入本发明的保护范围。

实现本发明基于立体视频动态跟踪的多摄像机监控系统的具体方式方法可以是多样的、多途径的，例如，可采用基于视频服务器系统的方式实现本发明，也可采用基于嵌入式系统的方式来实现，各具体实施方法都有其自身的优势和特点，而具体采用何种实施方法需要根据监控系统的实际情况和要求来确定。

本发明实施例提供了采用基于视频服务器系统的方式实现本发明的，其对于相应的嵌入式系统实施方法也有一定的借鉴价值。以下结合附图对本发明提出的具体实施例作进一步描述。

参见图1所示，本发明实施例的基于立体视频动态跟踪的多摄像机监控系统的系统架构：由立体视频全景摄像机模块、图像采集模块、图像处理模块、数据通信与控制模块、跟踪摄像机模块构成；立体视频全景摄像机模块输出端分别连接监视器、视频存储设备等相应的视频监控设备和图像采集模块，设有至少二个以上全景摄像头，将拍摄到的监控场景生成视频数据信号分别输出至监视器、视频存储设备等相应的视频监控设备和图像采集模块；图像采集模块输出端连接图像处理模块，用于对视频数据信号进行相应处理形成数字图像序列并输出至图像处理模块；图像处理模块连接数据通信与控制模块，通过对数字图像序列进行一系列的运算处理生成包含三维运动与位置信息的下行控制信号用以控制跟踪摄像机模块；并根据数据通信与控制模块输入的上行反馈信号对下行控制信号进行校正，而后将经过校正的下行控制信号传送至数据通信与控制模块；数据通信与控制模块分别连接跟踪摄像机模块、手动控制器、监控中心，根据相应的通信标准和协议接收和发送下行控制信号与上行反馈信号，同时可向监控中心发送相应的控制信号用以实时触发或控制报警系统、视频存储系统以及其他相关系统，并接收手动控制跟踪摄像机的控制信号；跟踪摄像机模块根据下行控制信号的要求对相应的异常或运动目标进行动态跟踪监控，并将跟踪监控视频数据直接输出至监视器、视频存储设备等相应的视频监控设备，同时将跟踪摄像机的位置信息形成上行反馈信号发送至数据通信与控制模块，或根据手动控制信号的要求进行相应的动作；图像处理模块、数据通信与控制模块和跟踪摄像机模块构成一个闭环控制系统。

参见图2所示，本发明实施例的基于立体视频动态跟踪的多摄像机监控系统的设备和工作原理：立体视频全景摄像机模块采用了两个型号相同的具有广角镜头的模拟摄像机，输出为PAL制式标准电视信号。其中一个摄像机作为主摄像机，不仅需要将监控的视频数据信号输出至图像采集模块，而且要直接输出至监视器、视频存储设备等相应的视频监控设备。另一个摄像机作为辅助摄像机，只需要将监控的视频数据信号送至图像采集模块。根据立体成像原理，在主摄像机和辅助摄像机的共同作用下，可获得立体视频全景监控区域内相关目标的立体三维位置信息。本发明具体实施方法采用基于视频服务器系统的方式，所谓视频服务器系统是指能够实时高效运算和处理大量视频图像数据，并具有相应输入输出功能的PC机或服务器。图像采集模块采用了两块大恒公司生产的DH-CG300图像采集卡，该图像采集卡为带有SDK开发包的PCI卡，可直接插入视频服务器中使用。图像采集卡将主摄像机和辅助摄像机输入的标准电视信号进行采集转化为8bit灰度数字图像序列，将该数字图像序列送入图像处理模块。图像处理模块的功能由Intel Pentium4为核心处理器的视频服务器完成，其操作系统采用Windows XP，模块中的图像处理算法主要使用C语言编写。图像处理模块中的具体算法包括运动目标检测与分割算法、多运动目标提取算法、目标三维位置信息融合算法。经过以上算法的处理和计算可获得各目标的三维位置信息并生成相应的下行控制信号，同时，作为图像处理模块的视频服务器通过串口接收数据通信与控制模块发来的上行反馈信号，对生成的下行控制信号进行校正，最终通过串口将经过校正的下行控制信号发送到数据通信与控制模块。数据通信与控制模块是控制信号处理与交换的中心，采用单片机配合相应的RS485转换芯片来完成各个控制信号的发送与接收。跟踪摄像机模块由多个跟踪摄像机组成，跟踪摄像机采用具有PTZ功能的高速球形摄像机，型号为艾立克公司生成的DR-E588型高速球形摄像机，其RS485端口分别接收和发送相应的下行控制信号和上行反馈信号，下行控制信号控制高速球形摄像机实时跟踪异常或运动目标，根据高速球形摄像机中水平步进电机和垂直步进电机的脉冲计数可获得摄像机实时的运动与位置信息并形成上行反馈信号。这样，通过数据通信与控制模块的作用，就可以实现上行反馈信号中高速球形摄像机实时的运动与位置信息对下行控制信号中目标三维位置信息的反馈控制，从而精确跟踪异常或运动目标。

参见图3所示，本发明实施例的基于立体视频动态跟踪的多摄像机监控系统中两个摄像机获得目标立体视频信息的原理方法：在系统安装过程中，主摄像机与辅助摄像机须平行且在同一水平面上，两摄像机之间的距离B根据安装位置确定，投影平面的位置可根据实际情况预先设定，故投影平面与摄像机的距离D是可知的。当目标模型点A位于监控场景内时，主摄像机投影距离xl和辅助摄像机投影距离xr可由相应图像中目标投影位置获得。根据以上已知量和平面几何方法，可以求得目标模型点A的相应空间位置坐标(x，y，z)。因此，可通过两个摄像机立体成像的方式，获得异常或运动目标在监控场景中的立体三维位置信息。

参见图4所示，本发明实施例的基于立体视频动态跟踪的多摄像机监控系统中采用图像采集卡实现图像采集模块功能的具体方法：本发明具体实施方法采用了基于视频服务器的方式，因而图像采集模块使用了直接插入视频服务器的两块PCI图像采集卡来实现该功能，主摄像机的PAL制式标准电视信号经图像采集卡(型号为DH-CG300)转换为8bit灰度图像序列，并输入视频服务器的内存缓冲区中以供后端处理，辅助摄像机的PAL制式标准电视信号经图像采集卡(型号为DH-CG300)转换为8bit灰度图像序列，并输入视频服务器。图像采集卡DH-CG300提供了SDK开发包，可通过调用相应函数实现实时图像采集功能。

参见图5所示本发明实施例的基于立体视频动态跟踪的多摄像机监控系统中图像处理模块功能的算法流程。图像处理模块是本发明的技术核心部分，具体实施方法采用视频服务器实现该模块的功能。视频服务器CPU为Intel Pentium4，主频为3.3G，I/O端具有两个串口，操作系统采用Windows XP系统，算法软件采用C语言编程实现。算法流程如下：

1)读取缓冲区中主摄像机的灰度图像序列，通过运动目标检测与分割算法获取各个运动目标在图像中的运动区域；

2)采用多运动目标提取算法合并提取完整的运动区域以及获得各个运动区域在投影片面内的中心点坐标；转向5)；

3)读取缓冲区中辅助摄像机的灰度图像序列，通过运动目标检测与分割算法获取各个运动目标在图像中的运动区域；

4)采用多运动目标提取算法合并提取完整的运动区域以及获得各个运动区域在投影片面内的中心点坐标；

5)根据主摄像机和辅助摄像机中的各个中心点投影坐标采用目标三维位置信息融合算法计算出各个运动目标中心点在监控场景中的立体三维坐标，

6)结合由数据通信与控制模块发送的上行反馈信号计算出对应的高速球形摄像机的水平、俯仰和镜头缩放等运动参数，

7)根据高速球形摄像机的控制协议生成下行控制控制信号经串口发送至数据通信与控制模块。

图5a是运动目标检测与分割算法的基本流程图。运动目标检测与分割算法的目的是检测监控图像中是否含有异常或运动目标并将相关的区域从图像中分割出来：1)读取实时采集的灰度图像序列中时间上相关的连续两帧，对当前帧图像与上一帧图像进行帧间差分运算；2)然后将生成的灰度差分图像进行二值化处理，将包含异常或运动目标的区域中的各象素点标记为1，其余标记为0，并去除孤立点噪声；3)根据二值图像中是否存在包含标记为1的区域检测是否存在需要跟踪的目标；若没有包含标记为1的区域则流程返回至算法起始点1)进行循环检测；若存在包含标记为1的区域则表明监控场景内有异常或运动目标存在；4)算法采用尺寸滤波器去除小区域或运动干扰噪声；5)从二值图像中分割出包含标记为1的区域作为投影图像中相应目标的运动区域。其中二值化处理中的灰度阈值决定了运动检测的灵敏度，设置的灰度阈值过小则对于差分图像中的噪声敏感，过大则运动检测比较迟钝，故具体设置值需根据实际监控场景而定。

图5b是多运动目标提取算法的基本流程图。多运动目标提取算法的目的是提取并获得各个目标在投影平面内投影的位置信息和中心点坐标。一般情况下，由运动目标检测与分割算法获得的目标运动区域是不规则不完善的，故不能完全包含相应的运动目标，无法取得运动目标的位置信息，需通过多运动目标提取算法才能获得相应的位置信息和中心点坐标。1)对分割出来的运动区域采用区域生长算法；区域生长法就是：a1)对独立的连通区域进行标记；a2)获取各独立的连通区域的坐标值，以矩形方式进行区域生长与填充从而形成矩形区域，并将该矩形区域作为新的独立的连通区域；a3)重复步骤a1)，直到标记数不再变化。2)然后，对生成的独立矩形区域采用自适应吸引域合并算法。自适应吸引域合并算法就是：b1)计算各独立矩形区域的边长；b2)设置吸引力参数k，在原来的各独立矩形区域的基础上建立包含吸引域的独立矩形区域，包含吸引域的矩形的边长由吸引力参数k与原来的各独立矩形边长共同确定，当包含吸引域的矩形与邻接包含吸引域的矩形存在区域重合时，将相应的各原来的矩形区域合并为一个新的矩形区域并取代原来的矩形区域；b3)重复步骤b1)，直到没有原来的矩形区域可被新的矩形区域取代。其中吸引力参数k需根据实际监控情况确定。3)最后，根据最终生成的各个矩形中心点坐标大小次序标定并映射各个运动目标，各个矩形的边长与镜头缩放的倍数成反比；4)中心点坐标即为目标中心在相应投影平面内的二维位置信息。

图5c为目标三维位置信息融合算法的基本流程图。目标三维位置信息融合算法的目的是根据由主摄像机和辅助摄像机获得的目标中心在相应投影平面内的二维位置信息计算出目标中心在监控场景中相对的立体三维位置信息。1)首先，根据空间投影的知识可知，主摄像机获得的目标在投影平面上的空间位置与次序同辅助摄像机中的相比具有相似性，因而通过空间位置比对方法，可形成主摄像机中的投影目标与辅助摄像机中的投影目标一一对应的关系；2)然后，将各对应投影目标的中心点位置通过平面几何运算，计算出目标的空间中心点位置信息；图3为该计算方法的基本原理；其中D、B、xl和xr为已知量，求解未知量x和z可通过简单的相似三角形方法计算出来，同理，对于目标在y轴上的坐标可采用相同计算方法。最终，可计算获得各个异常或运动目标的中心点在监控场景中的立体三维坐标；3)在获得异常或运动目标中心点的立体三维坐标后，根据高速球形摄像机与两个摄像机组成的立体视频全景摄像机之间的位置关系，以及高速球形摄像机的运动性能参数，可计算出高速球形摄像机为了跟踪异常或运动目标中心点所需的水平运动参数与俯仰运动参数；4)根据收到的包含高速球形摄像机实时位置信息的上行反馈信号，对计算出的运动参数进行实时校正；再按照高速球形摄像机的通信控制协议，将校正后的运动参数生成下行控制信号发送至数据通信与控制模块。

图6为本发明实施例中实现数据通信与控制模块功能的逻辑电路图。采用了两个MCS-51单片机系统分别处理下行控制信号和上行反馈信号，其中处理下行控制信号的单片机系统还负责处理手动控制信号。两个单片机系统的主要作用是对上下行信号进行时序逻辑控制以配合图像处理模块对跟踪摄像机模块闭环控制的有效性与实时性，以及判断信号的优先级并根据优先级的顺序发送相应信号。图6中空心箭头为RS232信号，实心箭头为RS485信号；图6中所示单片机系统包含外部RAM、供电电源等部分，属于单片机基本控制单元，这里不再详述。对于考虑到高速球形摄像机的通信协议传输为RS485模式以及相关控制信号的有效传输距离，对于输入和输出到数据通信与控制模块的信号都采用RS485传输模式，而其内部数据传输采用RS232模式。因而，使用了5个RS485转RS232芯片，即MAX485芯片，来完成各种控制信号传输模式的转换。下行控制信号单片机系统控制算法为：首先，判断输入信号的优先级，手动控制信号优先级大于下行控制信号。检测手动控制信号，若发现有手动控制信号输入，则挂起下行控制信号输入通道并终止正在执行的延时等待程序，将手动控制信号直接输出至跟踪摄像机，此时跟踪摄像机只接收手动控制而不受图像处理模块的自动控制，当手动控制信号结束，执行延时等待程序并检测手动控制信号，延时时间由用户预先设置，下行控制信号输出通道仍处于挂起状态，当延时等待程序结束，发送跟踪摄像机复位控制信号并打开下行控制信号输入通道接收下行控制信号输入，返回到检测手动控制信号。其次，若无手动控制信号，检测下行控制信号输出通道，若下行控制信号输出通道忙，则挂起下行控制信号输入通道，直到下行控制信号输出通道空闲再打开下行控制信号输入通道接收输入信号，并将该输入信号放入下行控制信号输出通道，若下行控制信号输出通道在一定时间内处于空闲状态，则对跟踪摄像机发送复位控制信号使其返回预置位置。上行反馈信号单片机系统控制算法为：检测信号输出通道，若信号输出通道忙，则挂起输入通道，直到信号输出通道空闲才打开输入通道接收输入信号，并将该输入信号放入输出通道。需要说明的是，输出到跟踪摄像机的下行控制信号被分为两路，一路进入跟踪摄像机，另一路送至控制中心用以实时触发或控制报警系统、视频存储系统以及其他相关系统。

图7为本发明实施例中采用高速球形摄像机作为跟踪摄像机的结构示意图。高速球形摄像机采用水平步进电机和俯仰步进电机控制其摄像机的姿态，同时其摄像机为一体化摄像机，根据控制协议输入相应的运动参数信息就可实现对高速球形摄像机水平与俯仰运动及镜头缩放的精确控制，同时根据两个步进电机的脉冲计数和相应的传动比，可获得当前时刻高速球形摄像机相对于起始点的水平与俯仰位置信息。因此，可通过下行控制信号控制高速球形摄像机运动，实现对异常与运动目标的自动实时跟踪，并将当前时刻高速球形摄像机的相应位置信息作为上行反馈信号，对下行控制信号进行反馈控制，实现对跟踪目标的精确定位。另外，下行控制信号中包含由图像处理模块所获得的目标大小，根据目标大小可自动调节一体化摄像机镜头的缩放，达到获得目标详细图像特征与运动状态的目的。

本发明的监控系统各模块的计算机硬件可以用台式计算机、服务器，也可以用单板机、单片机以及可编程微处理器等，是本领域技术人员都知道的常识，本说明书不再一一描述。

Claims (13)

1、一种基于立体视频动态跟踪的多摄像机监控系统，包括立体视频全景摄像机模块、图像采集模块、图像处理模块、数据通信与控制模块、跟踪摄像机模块，其特征在于：

立体视频全景摄像机模块输出端分别连接视频监控设备和图像采集模块，设有至少二个以上全景摄像头，将拍摄到的监控场景生成视频数据信号分别输出至监视器、视频存储设备等相应的视频监控设备和图像采集模块；

图像采集模块输出端连接图像处理模块，用于对视频数据信号进行相应处理形成数字图像序列并输出至图像处理模块；

图像处理模块连接数据通信与控制模块，用于对数字图像序列进行包括运动目标检测与分割算法、目标三维位置信息融合算法的运算处理，生成各目标的包含三维运动与位置信息的下行控制信号用以控制跟踪摄像机模块；并根据数据通信与控制模块输入的上行反馈信号对下行控制信号进行校正，而后将经过校正的下行控制信号传送至数据通信与控制模块；

数据通信与控制模块分别连接跟踪摄像机模块、手动控制器、监控中心，根据相应的通信标准和协议分别接收和发送下行控制信号与上行反馈信号；

跟踪摄像机模块，设有一个以上的跟踪摄像机，用于根据下行控制信号的要求对相应的异常或运动目标进行动态跟踪监控，并将跟踪监控视频数据直接输出至视频监控设备，同时将跟踪摄像机的位置信息形成上行反馈信号发送至数据通信与控制模块；

图像处理模块、数据通信与控制模块和跟踪摄像机模块构成一个闭环控制系统。

2、根据权利要求1所述的多摄像机监控系统，其特征在于，所述立体视频全景摄像机模块的基本设备包括双镜头摄像机或两个摄像机，其中一个镜头或摄像机为主镜头或主摄像机，另一个镜头或摄像机为辅助镜头或辅助摄像机；两个镜头或两个摄像机的视频数据信号需同步传送至图像采集模块，主镜头或主摄像机的视频数据信号需直接输出，而辅助镜头或辅助摄像机的视频数据信号可根据实际需要选择是否直接输出。

3、根据权利要求1所述的多摄像机监控系统，其特征在于，所述立体视频全景摄像机模块中加入视频数据压缩、传输、解压设备以及红外设备等外围设备，以便实现远程监控或其他特定条件的监控。

4、根据权利要求1所述的多摄像机监控系统，其特征在于，所述数据通信与控制模块设有手动控制信号优先的功能。

5、根据权利要求1所述的多摄像机监控系统，其特征在于，所述跟踪摄像机模块根据下行控制信号的要求，各个跟踪摄像机分别跟踪在监控全景中不同的异常或运动目标并根据目标大小自适应调节镜头的缩放倍数，将跟踪监控视频数据直接输出至视频监控设备，同时将跟踪摄像机的位置信息形成上行反馈信号发送至数据通信与控制模块；当异常或运动目标移动出全景监控范围，或者异常或运动目标一定时间间隔内在全景监控范围没有变化或运动，跟踪摄像机将自动回至初始预置位置等待下行控制信号。

6、根据权利要求1所述的多摄像机监控系统，其特征在于，所述跟踪摄像机模块能根据手动控制信号的要求进行动作。

7、根据权利要求1所述的多摄像机监控系统，其特征在于，所述视频监控设备包括监视器、视频存储设备；立体全景视频数据信号、跟踪监控视频数据信号分别输出至监视器、视频存储设备。

8、根据权利要求1所述的多摄像机监控系统，其特征在于，所述数据通信与控制模块可向监控中心发送相应的控制信号用以实时触发或控制报警系统、视频存储系统以及其他相关系统，并接收手动控制跟踪摄像机的控制信号。

9、一种权利要求1所述的多摄像机监控系统的跟踪方法，其特征在于，方法的流程如下：

1)读取缓冲区中主摄像机的灰度图像序列，通过运动目标检测与分割算法获取各个运动目标在图像中的运动区域；转向3)；

2)读取缓冲区中辅助摄像机的灰度图像序列，通过运动目标检测与分割算法获取各个运动目标在图像中的运动区域；

3)根据主摄像机和辅助摄像机中的各个目标在图像中的运动区域采用目标三维位置信息融合算法计算出各个运动目标在监控场景中的立体三维坐标；

4)结合由数据通信与控制模块发送的上行反馈信号计算出对应的跟踪摄像机的运动参数；

5)根据跟踪摄像机的控制协议生成下行控制控制信号经串口发送至数据通信与控制模块。

10、根据权利要求9所述的跟踪方法，其特征在于，所述步骤1)、2)中运动目标检测与分割算法的基本流程：

1)读取实时采集的灰度图像序列中时间上相关的连续两帧，对当前帧图像与上一帧图像进行帧间差分运算；

2)然后将生成的灰度差分图像进行二值化处理，将包含异常或运动目标的区域中的各象素点标记为1，其余标记为0，并去除孤立点噪声；

3)根据二值图像中是否存在包含标记为1的区域检测是否存在需要跟踪的目标；若没有包含标记为1的区域则流程返回至本算法起始点1)进行循环检测；若存在包含标记为1的区域则表明监控场景内有异常或运动目标存在；

4)采用尺寸滤波器去除小区域或运动干扰噪声；

5)从二值图像中分割出包含标记为1的区域作为投影图像中相应目标的运动区域。其中二值化处理中的灰度阈值决定了运动检测的灵敏度，设置的灰度阈值过小则对于差分图像中的噪声敏感，过大则运动检测比较迟钝，故具体设置值需根据实际监控场景而定。

11、根据权利要求9所述的跟踪方法，其特征在于，所述步骤1)、2)中完成运动目标检测与分割算法后，再采用多运动目标提取算法合并提取完整的运动区域以及获得各个运动区域在投影片面内的相应投影坐标。

12、根据权利要求11所述的跟踪方法，其特征在于，所述步骤1)、2)中多运动目标提取算法的基本流程：

1)对分割出来的运动区域采用区域生长算法；

2)对生成的独立矩形区域采用自适应吸引域合并算法；

3)根据最终生成的各个矩形位置次序与大小标定并映射各个运动目标，各个矩形的边长与镜头缩放的倍数成反比；

4)计算所标定目标在相应投影平面内的二维位置信息即可获得各个运动目标的二维投影坐标。

13、根据权利要求9所述的跟踪方法，其特征在于，所述步骤3)中目标三维位置信息融合算法的基本流程：

1)形成主摄像机中的投影目标与辅助摄像机中的投影目标一一对应的关系；

2)经计算获得各个异常或运动目标在监控场景中的立体三维坐标；

3)根据跟踪摄像机与两个摄像机组成的立体视频全景摄像机之间的位置关系，以及跟踪摄像机的运动性能参数，可计算出跟踪摄像机为了跟踪异常或运动目标所需的运动参数；

4)根据收到的包含跟踪摄像机实时位置信息的上行反馈信号，对计算出的运动参数进行实时校正，生成经反馈的运动参数校正后的下行控制信号发送至数据通信与控制模块。

Images