CN101646067B - 数字化全空间智能监控系统及方法 - Google Patents

Abstract

本发明提供数字化全空间智能视频监控系统和方法。其中系统包括现场监控装置、设备管理模块、全空间监控信息融合模块、全空间智能监控模块、数据库管理模块和监控服务接口。方法包括提取现场监控数据；根据三维空间场景模型和现场监控数据在三维空间场景模型中的映射关系融合现场监控数据，形成全空间监控数据，并根据全空间监控数据建立全空间动态监控视图；根据预设告警规则和监控目标特征库分析全空间监控数据；向用户终端设备提供全空间动态监控视图。本发明将全空间监控信息融合到三维空间模型中，并能获取监控目标的全空间运动信息，便于掌握监控目标的全局运动轨迹和空间位置信息，有助提高处理突发事件决策的有效性和准确性。

Description

数字化全空间智能监控系统及方法

技术领域

本发明属于计算机工具领域，特别是涉及数字化全空间智能监控系统及方法。 

背景技术

一直以来，监控系统在安全管理方面都有着广泛的应用，例如银行，社区，街道等等。随着网络技术、通信技术、微电子技术和计算机视觉的不断发展，视频监控系统的应用逐步由简单的单点集中式二维监控向复杂的分布式、立体化监控发展。 

传统的监控系统大多是简单地在特定区域安装摄像头，将影像传到监控室，监控人员观察监控区的情况，对异常情况做出反应。在实际应用过程中，这类监控系统存的最大缺陷是，监控人员的注意力有限，不可能及时监控到所有异常情况，这样也就失去了监控的意义。 

此外，传统的监控系统大多是将每个摄像头的视频单独显示，在摄像头较多情况下，对整个监控区难以把握，当目标物从一个摄像头的监控区域进入到另一个摄像头的监控区域，会给监控带来不便，而且这种情况下监控人员难以整体把握监控区域的情况，不利于其对异常情况做出迅速而准确的判断。 

发明内容

本发明目的在于针对现有技术的不足，提供数字化全空间智能监控系统及方法。 

本发明的数字化全空间智能监控系统技术方案包括现场监控装置、设备管理模块、全空间监控信息融合模块、全空间智能监控模块、数据库管理模块和监控服务接口； 

所述现场监控装置，用于从监控区获取现场监控数据； 

所述设备管理模块，用于从现场监控装置提取现场监控数据，并送入全空间监控信息融合模块； 

所述全空间监控信息融合模块，用于基于现场监控数据和空间模型数据进行全空间信息融合处理，获得全空间监控数据；在全空间智能监控模块取得监控结果时，根据监控结果融合更新全空间监控数据；并根据全空间监控数据建立全空间动态监控视图； 

所述全空间智能监控模块，用于根据全空间监控信息，对全空间监控信息融合模块所得全空间监控数据进行监控； 

所述数据库管理模块，用于存放现场监控数据、空间模型数据和全空间监控信息；所述空间 模型数据包括根据监控区建立的三维空间场景模型和现场监控数据在三维空间场景模型中的映射关系，所述全空间监控信息包括预设告警规则和监控目标特征数据组成的监控目标特征库； 

所述监控服务接口，用于连接用户终端设备，从而向用户提供全空间动态监控视图； 

其中，现场监控装置与设备管理模块连接，全空间监控信息融合模块与全空间智能监控模块和监控服务接口分别连接，数据库管理模块与全空间监控信息融合模块和全空间智能监控模块分别相连。 

而且，所述现场监控装置包括四种监控设备类型，包括分布在监控区中的一个或以上提供现场视频监控数据的监控摄像头、一个或以上提供现场音频监控数据的语音设备、一个或以上提供现场报警数据的报警器和一个或以上提供现场定位数据的定位设备；所述现场监控数据包括现场视频监控数据、现场音频监控数据、现场报警数据和现场定位数据； 

所述设备管理模块，包括通过网络与视频预处理单元、音频预处理单元、报警预处理单元、定位预处理单元分别对应连接的视频设备管理单元、音频设备管理单元、报警设备管理单元和定位设备管理单元；所述视频设备管理单元与所有监控摄像头连接，用于从监控摄像头提取现场视频监控数据后送到视频预处理单元；所述音频设备管理单元与所有语音设备连接，用于从语音设备提取现场音频监控数据后送到音频预处理单元；所述报警设备管理单元与所有报警器连接，用于从报警器提取现场报警数据后送到报警设备预处理单元；所述定位设备管理单元与所有定位设备连接，用于从定位设备提取现场定位数据后送到定位预处理单元； 

所述全空间监控信息融合模块，包括融合控制单元、全空间监控信息融合单元、视频预处理单元、音频预处理单元、报警预处理单元、定位预处理单元和空间模型预处理单元；融合控制单元用于根据用户终端设备所提出的监控服务需求对融合进行控制，其输出的控制信号送往全空间监控信息融合单元；全空间监控信息融合单元用于对预处理后的所有现场监控数据进行全空间信息融合处理得到全空间监控数据，根据全空间监控数据建立全空间动态监控视图；视频预处理单元用于对现场视频监控数据进行预处理，音频预处理单元用于对现场音频监控数据进行预处理，报警预处理单元用于对现场报警数据进行预处理，定位预处理单元用于对现场定位数据进行预处理；空间模型预处理单元用于从数据库管理模块的空间信息数据库单元提取三维空间场景模型；视频预处理单元、音频预处理单元、报警预处理单元和定位预处理单元所得预处理结果输出到数据库管理模块； 

所述全空间智能监控模块，包括告警规则管理单元、监控目标特征库管理单元、全空间目标识别与跟踪单元；告警规则管理单元用于管理预设告警规则；监控目标特征库管理单元用于管理监控目标特征数据；空间监控信息融合单元所得全空间监控数据输出到全空间目标识别与跟踪单元，全空间目标识别与跟踪单元用于提取预设告警规则和监控目标特征库中的监控目标特征数据，并根据监控目标特征数据搜索、识别监控目标并进行全空间跟踪，根据监控目标是否触发预设告警规则判断是否告警； 

所述数据库管理模块，包括视频数据库单元、音频数据库单元、报警信息数据库单元、定位信息数据库单元、空间信息数据库单元和警务信息数据库单元；视频数据库单元通用于存放视频预处理单元所得预处理后现场视频监控数据，音频数据库单元通用于存放音频预处理单元所得预处理后现场音频监控数据，报警信息数据库单元用于存放报警预处理单元预处理后现场报警数据，定位信息数据库单元用于存放定位预处理单元所得预处理后现场定位数据；空间信息数据库单元用于存放空间模型数据；警务信息数据库单元用于存放全空间监控信息； 

所述监控服务接口，包括网络接口和数据编码单元，网络接口用于实现全空间监控信息融合模块与用户终端设备的连接，空间监控信息融合单元所得全空间动态监控视图通过该网络接口送入数据编码单元；数据编码单元用于根据用户终端设备的设备类型对全空间动态监控视图进行编码，编码结果经网络接口送往用户终端设备。 

本发明还提供了一种相应的数字化全空间智能监控方法，包括以下具体步骤： 

步骤1，提取现场监控数据； 

步骤2，根据三维空间场景模型和现场监控数据在三维空间场景模型中的映射关系融合现场监控数据，形成全空间监控数据，并根据全空间监控数据建立全空间动态监控视图； 

步骤3，根据预设告警规则和监控目标特征库分析全空间监控数据， 

包括根据监控目标特征库在空间场景中识别特征匹配的监控目标，提取监控目标的相应全空间监控数据，进行实时跟踪；当监控目标触发预设告警规则时，进行告警； 

步骤4，向用户终端设备提供全空间动态监控视图。 

而且，进行步骤1前，提供接收用户终端设备所提出监控服务需求的步骤，所述监控服务需求包括用户请求对具体监控区域进行监控、请求监控所使用的监控设备类型、对面向用户所提供服务的服务质量要求、设定用于指定预设告警规则的告警级别及从监控目标特征库中选择预定监控目标。 

而且，在对用户提出的监控服务需求进行分析后提取现场监控数据，即通过用户所请求具体监控区域和请求监控所使用的监控设备类型，请求相关的现场监控装置所得现场监控数据，并根据服务质量需求进行预处理； 

提取三维空间场景模型中的用户所请求具体监控区域部分，即为三维空间场景子模型； 

基于预处理后的现场监控数据和三维空间场景子模型进行融合，构成全空间监控数据，建立全空间动态监控视图； 

面向用户终端设备类型，对全空间动态监控视图进行相应的编码和处理，向用户终端设备提供全空间动态监控视图。 

而且，所述服务质量要求包括以下三种要求， 

(6.1)视频质量要求，包括对视频帧率、视频分辨率、视频亮度和视频对比度的要求； 

根据服务质量要求对所提取现场监控数据进行预处理的具体实现方式，包括根据服务质量要求中的视频质量要求调整现场视频监控数据的视频质量； 

所述对现场视频监控数据调整视频质量的具体方式包括如下操作， 

根据用户所请求具体监控区域裁剪视频区域，根据视频分辨率要求调整视频； 

根据视频亮度和视频对比度要求，计算视频亮度参数和视频对比度参数，并根据视频亮度参数和对比度参数，执行归一化操作； 

根据视频帧率要求，设置视频帧率，在视频帧中加入融合时间戳，建立融合同步机制； 

(6.2)音频质量要求，包括对音频采样率、比特率和音量的要求；根据服务质量要求中的音频质量要求对所提取现场监控数据进行预处理的具体实现方式为，根据音频采样率、比特率和音量调整现场音频监控数据的音频质量； 

(6.3)三维空间场景模型粒度要求，用于提取三维空间场景子模型时，按照该粒度要求进行提取。 

而且，所述基于预处理后的现场监控数据和三维空间场景子模型进行融合，具体实现方式如下， 

(7.1)对现场视频监控数据进行融合： 

所述现场视频监控数据，通过用户所请求具体监控区域相关的监控摄像头获取； 

融合包括将各监控摄像头所拍摄到的视频画面进行匹配和拼接，将匹配和拼接结果再与三维空间场景子模型进行融合； 

(7.2)对现场音频监控数据进行融合： 

所述现场音频监控数据，通过用户所请求具体监控区域相关的语音设备获取； 

融合包括通过这些相关的语音设备在用户终端设备和监控现场之间建立语音连接，并存储语音连接所交流的音频内容；在三维空间场景子模型中标定上述相关的语音设备在监控区现场的位置； 

(7.3)对现场报警数据进行融合： 

所述现场报警数据，通过用户所请求具体监控区域相关的报警器获取； 

融合包括在三维空间场景子模型中标定上述相关的报警器在监控区现场的位置，并显示报警器所发出报警提示的类型； 

(7.4)对现场定位数据进行融合： 

所述现场定位数据，通过用户所请求具体监控区域相关的定位设备获取； 

融合包括在三维空间场景子模型中标定上述相关的定位设备在监控区现场的位置，并显示定位设备的设备类型。 

而且，步骤3具体方式实现如下， 

步骤31，根据监控服务需求中用户设定的告警级别，读取该告警级别相应的预设告警规则； 

根据监控服务需求中用户设定的预定监控目标，从监控目标特征库中提取相应监控目标特征数据； 

步骤32，从全空间监控数据中搜索预定监控目标，搜索方式是与监控目标特征库中提取的监控目标特征数据进行匹配，匹配成功则表示在监控区现场中出现与预定监控目标符合的监控目标，记录监控目标的空间信息并存入目标空间信息列表；所述空间信息包括监控目标在当前所处的具体监控区域和空间位置坐标； 

步骤33，在三维空间场景子模型中标定该监控目标在监控区现场中的位置，并标记监控目标的空间运动轨迹； 

步骤34，根据监控目标在监控区现场中的当前位置和位置变化情况分析监控目标的行为状态，判断该监控目标的行为状态是否触发步骤31读取的预设告警规则，若触发则发出告警信息。 

而且，所述从全空间监控数据中搜索预定监控目标，分为目标信息列表初始化和在有限区域内的目标识别和跟踪， 

所述初始化目标空间信息列表，具体实现方式如下， 

步骤a1，获取三维空间场景模型当前视口中的现场监控视频，对现场监控设备所提供现场监控视频提取特征，计算特征匹配度；若特征匹配度大于预设的目标特征相似度阀值，则 搜索预定监控目标成功，执行步骤a3，否则执行步骤a2。 

步骤a2，跳转到下一视口，继续执行步骤a1。 

步骤a3，若搜索预定监控目标成功，则判断出现与预定监控目标符合的监控目标，用该监控目标的空间信息更新目标空间信息列表； 

目标空间信息列表初始化后，采用下述步骤进行有限区域内的目标识别和跟踪， 

步骤b1，从监控目标的空间信息中得到监控目标的最近一次空间位置坐标，根据该空间位置坐标查找候选区域，将查找所得候选区域加入跟踪区域列表。 

步骤b2，遍历跟踪区域列表，在列表中每条记录对应的现场监控视频中搜索监控目标，若搜索目标成功，记录该监控目标的空间信息； 

步骤b3，用本次搜索出来监控目标的空间信息更新目标空间信息列表。而且，步骤b1中查找候选区域按以下规则实现， 

规则1，该监控目标最近一次出现的监控区域，作为候选区域之一，并称该监控区域为当前区域； 

规则2，若监控目标沿某一方向移动，则以当前区域为基准，根据移动方向，计算其相邻区域，选取若干相邻区域作为候选区域； 

规则3，若该候选区域已经存在于跟踪区域列表中，则舍弃该候选区域。 

本发明将现场监控数据融合到三维空间场景模型中，从而可以建立各独立监控点间的逻辑关系，实现了由过去基于各离散点的点监控到集成的立体监控的转变。将真实的现场监控数据融合显示到一个统一的、虚拟的三维空间场景模型中，有利于更加直观的展示监控区现场的复杂状况，同时可以提供对某个监控目标的全空间运动信息，便于掌握监控目标的全局运动轨迹和全局行为状态，为处理突发事件时决策的正确性和有效性提供科学、有效依据。因此，本发明具有以下优点： 

第一，能将多源现场监控数据融合到一个三维空间场景模型中，提供监控区的全空间监控动态视图；第二，能够从监控区的全空间监控动态视图中，提取监控目标的相应全空间监控数据，实现对监控目标的全空间跟踪和监控；第三，能动态设置或载入告警规则和预定监控目标的特征信息，实现自动分析和告警功能；第四，面向用户终端设备，提供设备自适应监控服务。 

附图说明

图1为本发明实施例的系统结构图； 

图2为本发明实施例的方法流程图； 

图3为本发明实施例的智能告警处理流程图； 

图4为本发明实施例的目标识别处理流程图； 

图5为本发明实施例的目标跟踪处理流程图。 

具体实施方式

本发明所提供数字化全空间智能监控系统的结构可参见图1：该系统包括现场监控装置、设备管理模块、全空间监控信息融合模块、全空间智能监控模块、数据库管理模块和监控服务接口； 

所述现场监控装置，用于从监控区获取现场监控数据； 

所述设备管理模块，用于从现场监控装置提取现场监控数据，并送入全空间监控信息融合模块； 

所述全空间监控信息融合模块，用于基于现场监控数据和空间模型数据进行全空间信息融合处理，获得全空间监控数据；在全空间智能监控模块取得监控结果时，根据监控结果融合更新全空间监控数据；并根据全空间监控数据建立全空间动态监控视图； 

所述全空间智能监控模块，用于根据全空间监控信息，对全空间监控信息融合模块所得全空间监控数据进行监控， 

所述数据库管理模块，用于存放现场监控数据、空间模型数据和全空间监控信息；所述空间模型数据包括根据监控区建立的三维空间场景模型和现场监控数据在三维空间场景模型中的映射关系，所述全空间监控信息包括预设告警规则和监控目标特征数据组成的监控目标特征库； 

所述监控服务接口，用于连接用户终端设备，从而向用户提供根据全空间监控数据建立的全空间动态监控视图； 

其中，现场监控装置与设备管理模块连接，全空间监控信息融合模块与全空间智能监控模块和监控服务接口分别连接，数据库管理模块与全空间监控信息融合模块和全空间智能监控模块分别相连。具体实施时，现场监控装置可以采用分布在监控区现场的多种类监控设备，而且在监控区较大的情况下往往需要多个监控设备。可由设备管理模块对各监控设备进行管理，以便识别现场监控数据来源；当各监控设备的数据格式不一致时，也可由设备管理模块进行统一编码处理后再送往全空间监控信息融合模块。因为现场监控数据往往数据量巨大，数据库管理模块可以为全空间监控信息融合模块缓存现场监控数据，在全空间监控信息融合模块进行具体融合时提供其所需现场监控数据。全空间监控信息融合模块融合所得全空间监控数据送往全空间智能监控模块以供智能监控，全空间智能监控模块所得监控结果则返回全空间监控信息融合模块参与融合，这样是为了能够通过监控服务接口向用户终端设备提供包含了监控结果的实时信息。比如在道路监控区中识别出监控目标(人或车)时，通过监控结果的反馈融合，可以在呈现给用户的全空间动态监控视图中着重显示监控目标的位置信息和运动轨迹；若监控目标触发告警规则(如人或车走过警戒线时)，在显示位置信息和运动轨迹的基础上，还可特别标定触发告警规则的监控对象，突出显示告警提示信息。设备管理模块可以设置在监控现场附近的服务器中；全空间监控信息融合模块、全空间智能监控模块和监控服务接口可以设置在远程监控中心的服务器中。本领域技术人员采用计算机软件技术进行模块化设计，即可实现设备管理模块、全空间监控信息融合模块、全空间智能监控模块和监控服务接口。因此现场监控装置和设置设备管理模块的服务器之间、设备管理模块的服务器与远程监控中心的服务器之间可以建立网络连接以便传输现场监控数据，用户终端设备也只需通过网络连接远程监控中心就可不限地点接受监控服务。具体网络连接属于成熟的计算机网络技术，本发明不予赘述。 

相应地，数字化全空间智能监控方法包括以下具体步骤： 

步骤1，提取现场监控数据； 

步骤2，根据三维空间场景模型和现场监控数据在三维空间场景模型中的映射关系融合现场监控数据，形成全空间监控数据，并根据全空间监控数据建立全空间动态监控视图； 

步骤3，根据预设告警规则和监控目标特征库分析全空间监控数据， 

包括根据监控目标特征库在空间场景中识别特征匹配的监控目标，提取监控目标的相应全空间监控数据，进行实时跟踪；当监控目标触发预设告警规则时，进行告警； 

步骤4，向用户终端设备提供全空间动态监控视图。 

利用本发明所提供数字化全空间智能监控系统，可以方便地实现上述数字化全空间智能监控方法。在步骤3中识别出监控目标时，还可将所得监控结果与步骤2所得全空间监控数据进一步融合，更新全空间监控数据后再进行步骤4，向用户终端设备提供展现监控结果的全空间动态监控视图。那么可以在用户终端设备显示的全空间动态监控视图中即时反应该监控目标。 

为了能够准确向用户展现立体监控信息，需要掌握现场监控数据在三维空间场景模型中的映射关系，以便将各现场监控装置获取的现场监控数据按照三维空间场景模型进行融合。 现场监控数据在三维空间场景模型中的映射关系，主要由现场监控装置在监控区中的位置决定。但是一般摄像头还可以设定拍摄角度，并且相邻的摄像头所拍摄视频画面可能重合。因此为了使融合结果达到最佳视觉效果，需要确定现场监控数据在三维空间场景模型中的映射关系，也可称为各现场监控装置在三维空间场景模型中的空间映射信息。这种空间映射信息包括各现场监控装置在监控区中所处的位置，以及各现场监控装置负责为三维空间场景模型中具体哪个部分提供现场监控数据。具体实施时可以事先为各现场监控装置分配负责的具体位置，也可通过对各现场监控装置进行自动匹配确定适合负责的具体位置，从而确定各现场监控装置所得现场监控数据分别在三维空间场景模型中的映射关系。自动匹配只需进行一次即可，之后即可按所得映射关系直接进行融合。 

为了实现全面监控，本发明提出现场监控装置可包括四种监控设备类型，如图1所示实施例：所述现场监控装置包括四种监控设备类型，包括分布在监控区中的一个或以上提供现场视频监控数据的监控摄像头、一个或以上提供现场音频监控数据的语音设备、一个或以上提供现场报警数据的报警器和一个或以上提供现场定位数据的定位设备。因此，现场监控数据包括现场视频监控数据、现场音频监控数据、现场报警数据和现场定位数据这四类数据。具体实施时，也可以只采用一类关键设备，即摄像头。摄像头可以为普通摄像头和红外摄像头，即使在夜晚也能够提供现场视频监控信息，实现监控。语音设备一般可以采用麦克风。报警器可以是多种类型的，例如烟气报警器、声响报警器等。定位设备则可采用GPS等导航设备。这些现场监控装置并非要求是固定态分别在监控区现场中，例如监控摄像头可以设定不同拍摄角度，语音设备和定位设备可以由进入监控区现场的人员佩戴。除了视频和报警信息的监视外，还可以通过语音设备建立与现场语音的连接、通过导航设备指挥现场内人员移动，起到综合作用。 

在监控区存在大量现场监控装置的情况下，同时提取所有现场监控装置的现场监控数据进行融合会需要大量计算资源，难以达到实时监控需求。而另一方面，用户终端设备可能处理能力不足，无法直接根据全空间监控数据展示全面的信息。因此，本发明提出根据用户终端设备所提出的监控服务需求对现场监控数据进行融合，具体处理手段包括只从用户感兴趣的具体监控区域、监控设备类型提取现场监控数据而不是提取整个监控区中所有监控设备的现场监控数据；根据用户所期望的服务质量要求对从现场监控装置提取的现场监控数据进行预处理。这样可以有效减少数据量。 

相应地，设备管理模块包括视频设备管理单元、音频设备管理单元、报警设备管理单元 和定位设备管理单元；所述视频设备管理单元与所有监控摄像头连接，用于从监控摄像头提取现场视频监控数据后送到视频预处理单元；所述音频设备管理单元与所有语音设备连接，用于从语音设备提取现场音频监控数据后送到音频预处理单元；所述报警设备管理单元与所有报警器连接，用于从报警器提取现场报警数据后送到报警设备预处理单元；所述定位设备管理单元与所有定位设备连接，用于从定位设备提取现场定位数据后送到定位预处理单元。全空间监控信息融合模块则包括融合控制单元、全空间监控信息融合单元、视频预处理单元、音频预处理单元、报警预处理单元、空间模型预处理单元；融合控制单元用于根据用户终端设备所提出的监控服务需求对融合进行控制的，控制信号送往全空间监控信息融合单元；全空间监控信息融合单元用于对预处理后的所有现场监控数据进行全空间信息融合处理，形成全空间监控数据，根据全空间监控数据建立全空间动态监控视图，全空间监控数据和全空间动态监控视图分别输出到全空间智能监控模块和监控服务接口；视频预处理单元用于对监控摄像头所提供现场视频监控数据进行预处理，音频预处理单元用于对语音设备所提供现场音频监控数据进行预处理，报警预处理单元用于对报警器所提供现场报警数据进行预处理，空间模型预处理单元用于对定位设备所提供现场定位数据进行预处理。 

所述全空间智能监控模块，包括告警规则管理单元、监控目标特征库管理单元、全空间目标识别与跟踪单元；告警规则管理单元用于管理预设告警规则；监控目标特征库管理单元用于管理监控目标特征数据；全空间目标识别与跟踪单元用于提取监控目标特征库中的监控目标特征数据，并根据监控目标特征数据搜索、识别监控目标并进行全空间跟踪。全空间目标识别与跟踪单元还可用于提取预设告警规则，实现从当监控目标触发预设告警规则时进行告警。用户终端设备提出的监控服务需求可以包括设定用于指定预设告警规则的告警级别，及从监控目标特征库中选择预定监控目标。用户只需在监控目标特征库中挑选一些监控目标特征数据，就能选择预定监控目标，从而把根据监控目标特征库匹配识别监控目标的任务缩小为识别预定监控目标，通过针对性处理提高识别效率。监控目标特征库管理单元提供删除、修改、添加监控目标特征库中的监控目标特征数据等管理功能，也可用于支持用户选择预定监控目标。现有告警技术中，在设定告警方案时，都会设定多级告警级别，每个告警级别对应数条具体的预设告警规则。因此可以通过告警规则管理单元支持用户设定告警级别。告警规则管理单元提供删除、修改、添加预设告警规则等管理功能，也可用于支持用户选择告警级别。用户选择预定监控目标和告警级别时，告警规则管理单元和监控目标特征库管理单元需从数据库管理模块的警务信息数据库单元提取相关信息。 

所述数据库管理模块，包括视频数据库单元、音频数据库单元、报警信息数据库单元、定位信息数据库单元、空间信息数据库单元和警务信息数据库单元；视频数据库单元通用于存放视频预处理单元所得预处理后现场视频监控数据，音频数据库单元通用于存放音频预处理单元所得预处理后现场音频监控数据，报警信息数据库单元用于存放报警预处理单元预处理后现场报警数据，定位信息数据库单元用于存放定位预处理单元所得预处理后现场定位数据。空间信息数据库单元用于存放空间模型数据；警务信息数据库单元用于存放全空间监控信息，即预设告警规则和监控目标特征数据组成的监控目标特征库。 

具体单元间的连接是相应的：设备管理模块的视频设备管理单元、音频设备管理单元、报警设备管理单元和定位设备管理单元与全空间监控信息融合模块的视频预处理单元、音频预处理单元、报警预处理单元、定位预处理单元分别对应连接。视频预处理单元、音频预处理单元、报警预处理单元、空间模型预处理单元所得预处理结果分别输出到数据库管理模块的视频数据库单元、音频数据库单元、空间信息数据库单元和警务信息数据库单元，全空间监控信息融合单元进行融合需要时从数据库管理模块的相应单元调用预处理后的所有现场监控数据。 

所述监控服务接口，包括网络接口和数据编码单元，网络接口用于实现全空间监控信息融合模块与用户终端设备的连接，空间监控信息融合单元所得全空间动态监控视图通过该网络接口送入数据编码单元；数据编码单元用于根据用户终端设备的设备类型对全空间动态监控视图进行编码，编码结果经网络接口送往用户终端设备。监控服务接口可以在用户终端设备提出监控服务需求时，自动识别用户终端设备的设备类型。 

相应地，数字化全空间智能监控方法可以在进行步骤1前，提供接收用户终端设备所提出监控服务需求的步骤，所述监控服务需求包括用户请求对监控区中的具体监控区域进行监控、请求监控所使用的监控设备类型、对面向用户所提供服务的服务质量要求、设定用于指定预设告警规则的告警级别及从监控目标特征库中选择预定监控目标。 

在这种针对性提取现场监控数据的情况下，融合处理也只需针对相应局部：因此只需读取三维空间场景模型中与用户所请求具体监控区域相应的部分，称为三维空间场景子模型。本发明提供了进一步技术方案： 

在对用户提出的监控服务需求进行分析后提取现场监控数据，即通过用户所请求具体监控区域和请求监控所使用的监控设备类型，请求相关的现场监控装置所得现场监控数据，并根据服务质量需求进行预处理； 

提取三维空间场景模型中与用户所请求具体监控区域相应的部分，这种局部具体区域的模型可称为三维空间场景子模型，具体实施时只从空间信息数据库单元提取三维空间场景子模型而不是完整三维空间场景模型可以减少数据通信处理负担； 

基于预处理后的现场监控数据和三维空间场景子模型进行融合，构成全空间监控数据，建立全空间动态监控视图； 

面向用户终端设备类型，对全空间动态监控视图进行相应的编码和处理，向用户终端设备提供全空间动态监控视图。 

预处理按照服务质量要求进行，本发明建议服务质量要求包括以下三种要求， 

(1)视频质量要求，包括对视频帧率、视频分辨率、视频亮度和视频对比度的要求；根据服务质量要求对所提取现场监控数据进行预处理的具体实现方式，包括根据服务质量要求中的视频质量要求调整现场视频监控数据的视频质量； 

所述对现场视频监控数据调整视频质量的具体方式包括如下操作， 

根据用户所请求具体监控区域裁剪视频区域，根据视频分辨率要求调整视频； 

根据视频亮度和视频对比度要求，计算视频亮度参数和视频对比度参数，并根据视频亮度参数和对比度参数，执行归一化操作； 

根据视频帧率要求，设置视频帧率，在视频帧中加入融合时间戳，建立融合同步机制； 

(2)音频质量要求，包括对音频采样率、比特率和音量的要求；根据服务质量要求中的音频质量要求对所提取现场监控数据进行预处理的具体实现方式为，根据音频采样率、比特率和音量调整现场音频监控数据的音频质量； 

(3)三维空间场景模型粒度要求，用于在根据现场监控数据需求提取三维空间场景模型中与用户所请求具体监控区域相应的部分(即提取三维空间场景子模型)时，按照该粒度要求进行提取。 

基于预处理后的现场监控数据和三维空间场景子模型进行融合，是对现场视频监控数据、现场音频监控数据、现场报警数据和现场定位数据分别进行融合，融合结果构成全空间监控数据，可以采用如下具体融合方式。 

(1)对现场视频监控数据进行融合： 

所述现场视频监控数据，通过用户所请求具体监控区域相关的监控摄像头获取； 

融合包括将各监控摄像头所拍摄到的视频画面进行匹配和拼接，将匹配和拼接结果再与三维空间场景子模型进行融合； 

(2)对现场音频监控数据进行融合： 

所述现场音频监控数据，通过用户所请求具体监控区域相关的语音设备获取； 

融合包括通过这些相关的语音设备在用户终端设备和监控现场之间建立语音连接，并存储语音连接所交流的音频内容；在三维空间场景子模型中标定上述相关的语音设备在监控区现场的位置； 

(3)对现场报警数据进行融合： 

所述现场报警数据，通过用户所请求具体监控区域相关的报警器获取； 

融合包括在三维空间场景子模型中标定上述相关的报警器在监控区现场的位置，并显示报警器所发出报警提示的类型； 

(4)对现场定位数据进行融合： 

所述现场定位数据，通过用户所请求具体监控区域相关的定位设备获取； 

融合包括在三维空间场景子模型中标定上述相关的定位设备在监控区现场的位置，并显示定位设备的设备类型。 

当然，具体融合工作和用户的数据需求有关，例如用户请求监控所使用的监控设备类型只有监控摄像头，就无需对现场音频监控数据、现场报警数据和现场定位数据进行融合了。 

另一方面，用户设定了告警级别和预定监控目标后，数字化全空间智能监控方法中特征匹配和触发告警判断的工作量都会大幅度减少，步骤3可以采用如下具体方式： 

步骤31，根据监控服务需求中用户设定的告警级别，读取该告警级别相应的预设告警规则； 

根据监控服务需求中用户设定的预定监控目标，从监控目标特征库中提取相应监控目标特征数据； 

步骤32，从全空间监控数据中搜索预定监控目标，搜索方式是与监控目标特征库中提取的监控目标特征数据进行匹配，匹配成功则表示在监控区现场中出现与预定监控目标符合的监控目标； 

步骤33，在三维空间场景子模型中标定该监控目标在监控区现场中的位置，并标记监控目标的空间运动轨迹； 

步骤34，根据监控目标在监控区现场中的当前位置和位置变化情况分析监控目标的行为状态，判断该监控目标的行为状态是否触发步骤31读取的预设告警规则，若触发则发出告警信息。 

本发明提供在全空间智能监控系统基础上实现全空间智能视频监控的实施例，具体说明如下： 

如图2所示，在本实施例中，系统接收用户终端设备提出的监控服务需求，对现场监控数据进行融合，得到全空间监控数据。所述全空间监控数据有别于传统的离散点监控数据，它能提供空间连续的监控数据，更好的把握监控目标的全局运动轨迹与所处空间位置。下面详细描述全空间智能视频监控处理步骤： 

步骤S100，在初始化时，接收用户终端设备提出的监控服务需求。 

在本实施例中，用户终端设备可以是任何可接入网络、具有显示功能的设备，允许设备向系统发送简单的监控控制命令，以提出监控服务需求。用户终端设备一般可采用计算机，PDA等。具体实施时，也可以采用显示功能强大的设备配合其他交互设备实现用户终端，例如大面积显示的投影设备、立体显示设备等。 

用户终端设备接入系统后，用户可根据具体需要发出监控服务需求，其中可以包括请求对具体监控区域进行监控，即在三维空间场景模型中只选择用户感兴趣的部分；请求监控所使用的监控设备类型，可以指定只需要监控摄像头提供视频监控，或者还需要利用语音设备建立语音连接等；所提供服务的服务质量要求，比如可以要求所提供全空间动态监控视图的清晰度，以便适合于用户终端设备图像处理能力不足的情况；设定预设告警规则中的告警级别及从监控目标特征库中选择预定监控目标，这样可以通过描述安全级别和监控侧重点具体设定监控任务，方便有效。数字化全空间智能监控系统与用户终端设备操之间可由监控服务接口实现双向通信，与监控服务需求有关的通信内容包括：将用户所请求具体监控区域和请求监控所使用的监控设备类型转发到融合控制单元，由融合控制单元向设备管理模块发出从相关的现场监控装置提取现场监控数据的控制命令；将用户所请求具体监控区域和三维空间场景模型粒度要求发送到空间模型预处理单元，以便空间模型预处理单元从空间信息数据库单元提取三维空间场景子模型；将服务质量需求中的视频质量要求和音频质量要求分别发送到视频预处理单元、音频预处理单元，以便进行预处理工作；用户设定告警级别及预定监控目标后保存到全空间目标识别与跟踪单元，以便全空间目标识别与跟踪单元执行自动识别跟踪及告警时，从警务信息数据库单元调用与告警级别对应的预设告警规则及预定监控目标的特征数据。 

步骤S200，识别发送监控服务需求的用户终端设备的设备类型，分析监控服务需求，向设备管理模块请求现场监控数据，向数据库管理模块请求包含监控区域的最小三维空间场景子模型和现场监控数据的空间映射信息。 

设备类型用于描述用户终端设备的网络特性、显示特性以及设备标识。其中网络特征可 以包括网络类别、使用的网络协议、最大网络带宽；显示特性可以包括显示区域分辨率、支持的数据类型等；设备标识用于系统识别服务请求来源。分析监控服务需求可以得到完成本次服务的数据需求和服务质量需求，决定融合处理获得全空间监控数据的数据来源和数据预处理调整方式。完成本次服务的数据需求和服务质量需求可被统称为全空间监控服务需求。 

本实施例中，步骤S200包括如下步骤： 

步骤S210，接收到监控服务需求后，记录服务终端设备的设备标识，提取监控服务需求的服务请求内容。 

步骤S220，根据服务请求内容，分析服务质量要求。 

所述服务质量包括视频质量、音频质量、全空间场景粒度；视频质量要求，包括对视频帧率、视频分辨率、视频亮度和视频对比度的要求；所述音频质量包括音频采样率、音量；所述全空间场景模粒度包括模型细节度、模型纹理级别、模型渲染效果以及初始视口位置信息。初始视口位置信息用于提供观察三维空间场景模型的初始角度。 

步骤S230，根据用户所请求具体监控区域，分析现场监控的数据需求。 

本实施例中，三维空间场景模型由一个或多个监控区域构成，一个监控区域可对应一个或多个现场监控设备，相应地三维空间场景模型可被分为三维空间场景子模型。本实施例中，一个监控区域对应一个全空间场景子模型，在一次服务中，只读入包含用户所请求监控区域的相关全空间场景子模型，减小系统开销。 

当用户选中某个监控区域，系统将从该域采集现场监控数据，融合处理后交由监控服务接口发送给用户终端设备。确定完成本次服务所需要的全空间场景子模型和相应现场监控设备列表，可以准确采集所需的现场监控数据并进行融合。 

系统中有大量的现场监控设备，如果同时采集所有现场监控设备的数据，会极大的消耗系统计算资源和网络资源。在本实施例中，系统仅从现场监控设备列表中的设备采集现场监控数据，可以避免上述问题。本实施例中，根据用户所请求监控区中的具体监控区域，对照监控区的现场监控设备位置分布信息，确定现场监控设备列表。所述现场监控设备列表是完成本次服务所需的现场监控设备的信息集合，现场监控设备列表中的一条记录包括了一个现场监控设备标识(为每个现场监控设备分配的ID)和一份针对该现场监控设备的数据需求规格。本次服务所需的现场监控数据来源于上述列表中的现场监控设备。 

步骤S240，根据步骤S230分析所得现场监控的数据需求，即现场监控设备列表的记载内容，向设备管理模块请求现场监控数据。 

步骤S250，向数据库管理模块请求三维空间场景模型的数据，具体来说，只需请求用户所请求具体监控区域的相应全空间场景子模型的数据。 

步骤S300，设备管理模块收到对现场监控数据的请求后，向现场监控设备请求数据，等待现场监控设备回传数据，并根据数据需求规格提取有效的现场监控数据，最后通过网络发送到全空间监控信息融合模块。 

一般来说，现场监控数据的原始数据量非常大，因此本实施例中为了减小网络负载，在获取原始的现场监控数据后，根据数据需求规格，对原始数据进行处理，提取有效数据作为融合数据源。 

步骤S400，接收并缓冲现场监控数据，进行数据预处理，处理后的现场监控数据交由数据库管理模块存储和管理。 

本实施例中，为了达到良好的视觉效果，对各摄像头所拍摄视频的图像亮度和对比度统一为全局亮度参数和对比度参数，视频预处理过程包括：根据三维空间场景模型中视频的渲染位置裁剪视频图像，调整图像分辨率；计算图像亮度参数和对比度参数，根据前一帧的全局亮度参数和对比度参数，执行归一化操作，用归一化后的亮度参数和对比度参数更新全局亮度参数和对比度参数；根据渲染帧率要求，为每一帧视频图像加入渲染时间戳，建立渲染同步机制。 

步骤S500，读取三维空间场景模型的数据，将现场视频监控数据、现场音频监控数据、现场报警数据和现场定位数据进行融合，得到全空间监控数据。 

本实施例中，步骤S500的融合可以包括如下步骤： 

步骤S510，读入本次监控服务需求和现场监控数据。 

本实施例中，根据监控服务需求读取三维空间场景模型的数据，根据全空间场景模粒度要求设置初始视口位置信息，设置监控漫游方式，设置模型渲染效果。 

步骤S520，读取现场视频监控数据在三维空间场景模型中的空间映射信息，将现场视频监控数据与三维空间场景子模型融合。 

本实施例中，根据空间映射信息将现场视频监控数据与三维空间场景子模型融合，其中空间映射信息在服务过程中具有不变性，即该信息初始化后，将被存储在空间信息数据库单元中，可多次使用。所述空间映射信息可以影响现场监控数据在三维空间场景模型中的显示效果。 

步骤S530，现场音频监控数据融合。 

本实施例中，现场音频监控数据包括从现场监控摄像头采集的语音信息、监控现场人员携带的语音设备传回的语音信息等。所述融合包括建立语音连接以便用户与监控现场人员通话，以及在三维空间场景子模型中标定语音设备的空间位置和语音设备的工作状态。 

步骤S540，现场报警数据融合。 

本实施例中，现场报警数据是现场报警设备发回的即时报警信息。所述融合包括在三维空间场景子模型中标定报警位置，突出显示报警提示信息。 

步骤S550，现场定位数据融合。 

本实施例中，现场定位数据包括监控现场人员携带的定位设备发回的定位信息。所述融合包括在三维空间场景子模型中标定现场定位设备的空间位置。 

步骤S600，智能分析全空间监控数据，识别特定目标，提取全空间运动信息并进行跟踪和告警操作，将识别、跟踪和告警所得监控结果与全空间监控数据进行融合。 

图3是本发明中智能监控特点目标部分的处理流程图。本实施例以全空间监控数据中的现场视频监控数据部份为基础，结合数字图像处理算法进行监控目标识别和跟踪，然后在此基础上提取识别出的监控目标的全空间运动信息，依据预设告警规则自动生成告警信息。步骤S600处理过程可以包括下列步骤： 

步骤S610，根据监控服务需求读取预设告警规则和监控目标特征库。 

监控目标特征库是待监控目标的特征数据集合，它包含待监控目标的颜色特征、轮廓特征和大小特征。用户可以直接利用已存在监控目标特征库中的特征数据选择预定监控目标。 

步骤S620，读取当前所有监控目标的空间信息，更新目标空间信息列表。设置目标空间信息列表，是为了记录监控目标的空间信息，简称目标空间信息。目标空间信息包括监控目标在当前所处的具体监控区域和空间位置坐标。为了便于实现跟踪，监控目标下一时刻可能出的一个或以上具体监控区域，构成跟踪区域列表。若目标空间信息列表为空，说明目前还没有发现任何预定监控目标，则执行步骤S630；否则说明已经识别出了监控目标，直接执行步骤S640； 

步骤S630，对所有全空间监控数据搜索监控目标，记录监控目标空间位置，更新目标空间信息列表。 

搜索监控目标主要是对全空间监控数据中现场监控视频部份的图像识别处理，获取三维空间场景模型的当前视口位置信息后，在视口范围内的现场监控视频中提取颜色特征和轮廓特征，查找与预定监控目标匹配度最大且大于相似度阈值的目标； 

首次执行时，三维空间场景模型的当前视口位置信息就是初始视口位置信息；并且目标空间信息列表为空，即此时系统不知道预定监控目标的具体位置，也不知道预定监控目标可能出现的监控区域，这就需要在全部全空间监控数据中搜索预定监控目标。具体实施时，为了缩小搜索范围，可以允许用户通过鼠标指定搜索范围，支持在有限范围内目标的自动搜索。步骤S630实现自动搜索方式如图4所示，包括以下步骤： 

步骤S631，获取三维空间场景模型当前视口中的现场监控视频，对现场监控设备所提供现场监控视频提取颜色特征和轮廓特征，计算特征匹配度。 

从现场监控视频提取特征可采用空间目标特征提取算法实现。空间目标特征提取算法是一种提取局部特征的现有算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。 

求取现场监控视频中某个局部对象的特征与预定监控目标的特征数据之间的特征匹配度。特征匹配度＝实际匹配点数/最大匹配点数，其中实际匹配点数为空间目标特征提取算法在目标图像上运行一次所得的匹配点数量；最大匹配点数为在本轮搜索中，实际匹配点数的最大值。若特征匹配度满足预设的目标特征相似度阀值，则搜索预定监控目标成功，判定该对象就是预定监控目标，执行步骤S633，否则执行步骤S632。 

步骤S632，若搜索预定监控目标失败，跳转到下一视口，继续执行步骤S631。 

当在当前视口中没有发现预定监控目标时，说明预定监控目标不在当前视野范围内，此时移动视口，相当于改变视野范围。在本实施例中，通过移动当前视口，达到在新的视野范围搜索预定监控目标的目的。 

若遍历全部现场视频监控数据后，还是没有发现预定监控目标，有两种可能情况：一是预定监控目标没有出现；一是预定监控目标出现了，但是没有检测出来。具体实施时，对于情况一可以停止目标搜索，对于情况二则可通过降低目标特征相似度阈值来解决。 

步骤S633，若搜索预定监控目标成功，则判断出现与预定监控目标符合的监控目标，用该监控目标的空间信息更新目标空间信息列表。 

本发明实施例中，上述步骤S630仅执行一次，用来初始化目标信息列表，起到初始识别监控目标的任务。步骤S640则是不断识别，寻找监控目标新的空间信息，因此为了完成跟踪监控目标的任务，需要循环执行该步骤。进行步骤S630初始识别监控目标时，需要在所有现场视频监控数据中进行搜索，搜索范围是整个三维空间场景子模型。而步骤S640中，在图像 搜索之前，对搜索区域进行预测，只在下一时刻可能出的一个或以上具体监控区域范围内搜索，从而提高了搜索效率。 

步骤S640，在目标空间信息列表提供的监控目标下一时刻可能出现的一个或以上具体监控区域内搜索监控目标，记录监控目标的空间信息，更新目标空间信息列表。 

监控目标下一时刻可能出现的一个或以上具体监控区域可称为候选区域。如图5所示，步骤S640实现在全空间监控数据中搜索监控目标的下一次出现位置，包括如下步骤： 

步骤S641，从之前搜索得到监控目标的空间信息中得到监控目标的最近一次空间位置坐标，根据该空间位置坐标查找候选区域，将查找所得候选区域加入跟踪区域列表。 

一般地，目标的运动具有连续性。因此本发明实施例在对监控目标的跟踪过程中，监控目标的跟踪区域列表内容通过如下规则查找： 

规则1，该监控目标最近一次出现的监控区域，作为候选区域之一，并称该监控区域为当前区域； 

规则2，若监控目标沿某一方向移动，则以当前区域为基准，根据移动方向，计算其相邻区域，选取若干相邻区域作为候选区域； 

规则3，若该候选区域已经存在于跟踪区域列表中，则舍弃该候选区域。 

设置规则1，是因为监控目标仍旧在当前具体区域活动的可能性通常很大。设置规则3，是为了避免重复设置候选区域。 

步骤S642，读入跟踪区域列表的一条候选区域记录，在该候选区域的现场监控视频中提取目标颜色特征和轮廓特征，计算特征匹配度，若特征匹配度大于目标特征相似度阈值，则认为识别出该目标即为监控目标，记录该监控目标的空间信息。逐条取出跟踪区域列表的记录进行特征提取和匹配，直到跟踪区域列表为空。 

步骤S643，用本次搜索出来监控目标的空间信息更新目标空间信息列表。 

本发明实施例中，记录所有特征匹配度大于相似度阈值之目标的空间信息，构成疑似监控目标列表。列表中疑似监控目标按特征匹配度由高到低排列。对于单个目标跟踪，每次从疑似监控目标列表中取出第一条记录更新目标空间信息列表。对多目标跟踪，每次用疑似监控目标列表中的所有记录，更新目标空间信息列表。 

步骤S650，根据监控目标的空间信息得到监控目标的运动轨迹和行为状态，即监控目标的全空间运动信息。 

所述全空间运动信息包括监控目标的所处位置、运动轨迹和运动速度。具体实施时，目 标空间信息中的空间位置坐标表示识别监控目标的所处位置；不断跟踪监控目标的位置就能得到运动轨迹，根据运动轨迹的变换就能得到监控目标的运动速度。监控目标的行为状态通过监控目标的所处位置和运动速度体现。 

步骤S660，通过融合全空间监控数据，在三维空间场景模型中标定监控目标。 

本发明实施例中，监控目标的标定包括在全空间动态监控视图中显示监控目标的所处位置和运动轨迹。 

步骤S670，根据步骤S630所得监控目标的行为状态，判断该监控目标的行为状态是否触发步骤S600读取的预设告警规则，若触发则发出告警信息。因为并不是监控目标都会触发告警，所以可以通过融合着重标定出触发告警的监控目标，突出显示告警提示信息，融合过程与对现场报警数据进行融合类似。 

Claims (9)

1.数字化全空间智能监控系统，其特征在于：包括现场监控装置、设备管理模块、全空间监控信息融合模块、全空间智能监控模块、数据库管理模块和监控服务接口；

所述现场监控装置，用于从监控区获取现场监控数据；

所述设备管理模块，用于从现场监控装置提取现场监控数据，并送入全空间监控信息融合模块；

所述全空间监控信息融合模块，用于基于现场监控数据和空间模型数据进行全空间信息融合处理，获得全空间监控数据；在全空间智能监控模块取得监控结果时，根据监控结果融合更新全空间监控数据；并根据全空间监控数据建立全空间动态监控视图；

所述全空间智能监控模块，用于根据全空间监控信息，对全空间监控信息融合模块所得全空间监控数据进行监控；

所述数据库管理模块，用于存放现场监控数据、空间模型数据和全空间监控信息；所述空间模型数据包括根据监控区建立的三维空间场景模型和现场监控数据在三维空间场景模型中的映射关系，所述全空间监控信息包括预设告警规则和监控目标特征数据组成的监控目标特征库；

所述监控服务接口，用于连接用户终端设备，从而向用户提供全空间动态监控视图；

其中，现场监控装置与设备管理模块连接，全空间监控信息融合模块与全空间智能监控模块和监控服务接口分别连接，数据库管理模块与全空间监控信息融合模块相连。

2.根据权利要求1所述的数字化全空间智能监控系统，其特征在于：

所述现场监控装置包括四种监控设备类型，包括分布在监控区中的一个或一个以上提供现场视频监控数据的监控摄像头、一个或一个以上提供现场音频监控数据的语音设备、一个或一个以上提供现场报警数据的报警器和一个或一个以上提供现场定位数据的定位设备；所述现场监控数据包括现场视频监控数据、现场音频监控数据、现场报警数据和现场定位数据；

所述设备管理模块，包括与视频预处理单元、音频预处理单元、报警预处理单元、定位预处理单元分别对应连接的视频设备管理单元、音频设备管理单元、报警设备管理单元和定位设备管理单元；所述视频设备管理单元与所有监控摄像头连接，用于从监控摄像头提取现场视频监控数据后送到视频预处理单元；所述音频设备管理单元与所有语音设备连接，用于从语音设备提取现场音频监控数据后送到音频预处理单元；所述报警设备管理单元与所有报警器连接，用于从报警器提取现场报警数据后送到报警设备预处理单元；所述定位设备管理单元与所有定位设备连接，用于从定位设备提取现场定位数据后送到定位预处理单元；

所述全空间监控信息融合模块，包括融合控制单元、全空间监控信息融合单元、视频预处理单元、音频预处理单元、报警预处理单元、定位预处理单元和空间模型预处理单元；融合控制单元用于根据用户终端设备所提出的监控服务需求对融合进行控制，其输出的控制信号送往全空间监控信息融合单元；全空间监控信息融合单元用于对预处理后的所有现场监控数据进行全空间信息融合处理得到全空间监控数据，根据全空间监控数据建立全空间动态监控视图；视频预处理单元用于对现场视频监控数据进行预处理，音频预处理单元用于对现场音频监控数据进行预处理，报警预处理单元用于对现场报警数据进行预处理，定位预处理单元用于对现场定位数据进行预处理；空间模型预处理单元用于从数据库管理模块的空间信息数据库单元提取三维空间场景模型；视频预处理单元、音频预处理单元、报警预处理单元和定位预处理单元所得预处理结果输出到数据库管理模块；

所述全空间智能监控模块，包括告警规则管理单元、监控目标特征库管理单元、全空间目标识别与跟踪单元；告警规则管理单元用于管理预设告警规则；监控目标特征库管理单元用于管理监控目标特征数据；空间监控信息融合单元所得全空间监控数据输出到全空间目标识别与跟踪单元，全空间目标识别与跟踪单元用于提取预设告警规则和监控目标特征库中的监控目标特征数据，并根据监控目标特征数据搜索、识别监控目标并进行全空间跟踪，根据监控目标是否触发预设告警规则判断是否告警；

所述数据库管理模块，包括视频数据库单元、音频数据库单元、报警信息数据库单元、定位信息数据库单元、空间信息数据库单元和警务信息数据库单元；视频数据库单元通用于存放视频预处理单元所得预处理后现场视频监控数据，音频数据库单元通用于存放音频预处理单元所得预处理后现场音频监控数据，报警信息数据库单元用于存放报警预处理单元预处理后现场报警数据，定位信息数据库单元用于存放定位预处理单元所得预处理后现场定位数据；空间信息数据库单元用于存放空间模型数据；警务信息数据库单元用于存放全空间监控信息；

所述监控服务接口，包括网络接口和数据编码单元，网络接口用于实现全空间监控信息融合模块与用户终端设备的连接，空间监控信息融合单元所得全空间动态监控视图通过该网络接口送入数据编码单元；数据编码单元用于根据用户终端设备的设备类型对全空间动态监控视图进行编码，编码结果经网络接口送往用户终端设备。

3.一种数字化全空间智能监控方法，其特征在于包括以下具体步骤：

步骤1，提取现场监控数据；

进行步骤1前，提供接收用户终端设备所提出监控服务需求的步骤，所述监控服务需求包括用户请求对具体监控区域进行监控、请求监控所使用的监控设备类型、对面向用户所提供服务的服务质量要求、设定用于指定预设告警规则的告警级别及从监控目标特征库中选择预定监控目标；

步骤2，根据三维空间场景模型和现场监控数据在三维空间场景模型中的映射关系融合现场监控数据，形成全空间监控数据，并根据全空间监控数据建立全空间动态监控视图；

步骤3，根据预设告警规则和监控目标特征库分析全空间监控数据，

包括根据监控目标特征库在空间场景中识别特征匹配的监控目标，提取监控目标的相应全空间监控数据，进行实时跟踪；当监控目标触发预设告警规则时，进行告警；

步骤4，向用户终端设备提供全空间动态监控视图。

4.根据权利要求3所述的数字化全空间智能监控方法，其特征在于：在对用户提出的监控服务需求进行分析后提取现场监控数据，即通过用户所请求具体监控区域和请求监控所使用的监控设备类型，请求相关的现场监控装置所得现场监控数据，并根据服务质量需求进行预处理；

提取三维空间场景模型中的用户所请求具体监控区域部分，即为三维空间场景子模型；

基于预处理后的现场监控数据和三维空间场景子模型进行融合，构成全空间监控数据，建立全空间动态监控视图；

面向用户终端设备类型，对全空间动态监控视图进行相应的编码和处理，向用户终端设备提供全空间动态监控视图。

5.根据权利要求4所述的数字化全空间智能监控方法，其特征在于：所述服务质量要求包括以下三种要求，

(6.1)视频质量要求，包括对视频帧率、视频分辨率、视频亮度和视频对比度的要求；根据服务质量要求对所提取现场监控数据进行预处理的具体实现方式，包括根据服务质量要求中的视频质量要求调整现场视频监控数据的视频质量；

所述根据服务质量要求中的视频质量要求对现场视频监控数据调整视频质量的具体方式包括如下操作，

根据用户所请求具体监控区域裁剪视频区域，根据视频分辨率要求调整视频；

根据视频亮度和视频对比度要求，计算视频亮度参数和视频对比度参数，并根据视频亮度参数和对比度参数，执行归一化操作；

根据视频帧率要求，设置视频帧率，在视频帧中加入融合时间戳，建立融合同步机制；

(6.2)音频质量要求，包括对音频采样率、比特率和音量的要求；根据服务质量要求中的音频质量要求对所提取现场监控数据进行预处理的具体实现方式为，根据音频采样率、比特率和音量调整现场音频监控数据的音频质量；

(6.3)三维空间场景模型粒度要求，用于提取三维空间场景子模型时，按照该粒度要求进行提取。

6.根据权利要求4所述的数字化全空间智能监控方法，其特征在于：所述基于预处理后的现场监控数据和三维空间场景子模型进行融合，具体实现方式如下，

(7.1)对现场视频监控数据进行融合：

所述现场视频监控数据，通过用户所请求具体监控区域相关的监控摄像头获取；

融合包括将各监控摄像头所拍摄到的视频画面进行匹配和拼接，将匹配和拼接结果再与三维空间场景子模型进行融合；

(7.2)对现场音频监控数据进行融合：

所述现场音频监控数据，通过用户所请求具体监控区域相关的语音设备获取；

融合包括通过这些相关的语音设备在用户终端设备和监控现场之间建立语音连接，并存储语音连接所交流的音频内容；在三维空间场景子模型中标定上述相关的语音设备在监控区现场的位置；

(7.3)对现场报警数据进行融合：

所述现场报警数据，通过用户所请求具体监控区域相关的报警器获取；

融合包括在三维空间场景子模型中标定上述相关的报警器在监控区现场的位置，并显示报警器所发出报警提示的类型；

(7.4)对现场定位数据进行融合：

所述现场定位数据，通过用户所请求具体监控区域相关的定位设备获取；

融合包括在三维空间场景子模型中标定上述相关的定位设备在监控区现场的位置，并显示定位设备的设备类型。

7.根据权利要求3或4或5或6所述的数字化全空间智能监控方法，其特征在于：步骤3具体方式实现如下，

步骤31，根据监控服务需求中用户设定的告警级别，读取该告警级别相应的预设告警规则；根据监控服务需求中用户设定的预定监控目标，从监控目标特征库中提取相应监控目标特征数据；

步骤32，从全空间监控数据中搜索预定监控目标，搜索方式是与监控目标特征库中提取的监控目标特征数据进行匹配，匹配成功则表示在监控区现场中出现与预定监控目标符合的监控目标，记录监控目标的空间信息并存入目标空间信息列表；所述空间信息包括监控目标在当前所处的具体监控区域和空间位置坐标；

步骤33，在三维空间场景子模型中标定该监控目标在监控区现场中的位置，并标记监控目标的空间运动轨迹；

步骤34，根据监控目标在监控区现场中的当前位置和位置变化情况分析监控目标的行为状态，判断该监控目标的行为状态是否触发步骤31读取的预设告警规则，若触发则发出告警信息。

8.根据权利要求7所述的数字化全空间智能监控方法，其特征在于：所述从全空间监控数据中搜索预定监控目标，分为目标空间信息列表初始化和在有限区域内的目标识别和跟踪，

所述目标空间信息列表初始化，具体实现方式如下，

步骤a1，获取三维空间场景模型当前视口中的现场监控视频，对现场监控设备所提供现场监控视频提取特征，计算特征匹配度；若特征匹配度大于预设的目标特征相似度阀值，则搜索预定监控目标成功，执行步骤a3，否则执行步骤a2；

步骤a2，跳转到下一视口，继续执行步骤a1；

步骤a3，若搜索预定监控目标成功，则判断出现与预定监控目标符合的监控目标，用该监控目标的空间信息更新目标空间信息列表；

目标空间信息列表初始化后，采用下述步骤进行有限区域内的目标识别和跟踪，

步骤b1，从监控目标的空间信息中得到监控目标的最近一次空间位置坐标，根据该空间位置坐标查找候选区域，将查找所得候选区域加入跟踪区域列表；

步骤b2，遍历跟踪区域列表，在列表中每条记录对应的现场监控视频中搜索监控目标，若搜索目标成功，记录该监控目标的空间信息；

步骤b3，用本次搜索出来监控目标的空间信息更新目标空间信息列表。

9.根据权利要求8所述的数字化全空间智能监控方法，其特征在于：步骤b1中查找候选区域按以下规则实现，

规则1，该监控目标最近一次出现的监控区域，作为候选区域之一，并称该监控区域为当前区域；

规则2，若监控目标沿某一方向移动，则以当前区域为基准，根据移动方向，计算其相邻区域，选取若干相邻区域作为候选区域；

规则3，若该候选区域已经存在于跟踪区域列表中，则舍弃该候选区域。

Images