CN106791613A - 一种基于3dgis和视频相结合的智能监控系统 - Google Patents

Abstract

本发明公开了一种基于3DGIS和视频相结合的智能监控系统，包括前端采集设备、后端存储与数据接口、监控显示设备和嵌入式视频服务器；前端采集设备于获取监控过程中的视频和图像，主要包括固定摄像机、车载移动摄像机及遥控无人机摄像机；后端存储与数据接口通过分级存储管理的方式将不经常访问的数据按制定策略自动迁移到带库、盘库的大容量离线介质中，在RAID磁盘阵列中保留少量的热门数据；监控显示设备采用前端采集设备及中控设备进行控制显示，包括对图像、声音信号进行记录、对画面分割切换，以及对云台、镜头控制；嵌入式视频服务器通过压缩、处理视音频数据，将数据进行编码并完成网络传输。

Description

一种基于3DGIS和视频相结合的智能监控系统

技术领域

本发明属于GIS和智能监控领域，尤其涉及一种基于3DGIS和视频相结合的智能监控系统。

背景技术

随着城市化进程的加速发展，城市人口急剧增加，城市交通面临严峻考验，智能监控视频在公安、交通、校园等涉及安全的场所将有着越来越广泛的应用。目前的视频监控系统只是传输图像，无法做到真正的智能分析。智能监控系统这将是智慧城市的重要组成部分，其集多种视频传感器、4G及宽带传输、图像处理、智能识别、摄影测量和3DGIS(三维地理信息系统，3D-Geographic Information System)等技术于一体，实现人、车、场景等目标的实时识别，为智慧城市建设中遇到的交通拥堵、环境污染及灾害预警等一系列问题提供智能分析和科学决策。

发明内容

本发明旨在提供一种将3DGIS和视频相结合，达到高效监管、科学分析、智能决策的智能监控系统。

实现本发明目的的方案是：一种基于3DGIS和视频相结合的智能监控系统，

包括前端采集设备、后端存储与数据接口、监控显示设备和嵌入式视频服务器；

所述前端采集设备与互联网连接，用于获取监控过程中的视频和图像，并感知视频中物体的当前位置，前端采集设备的种类包括固定摄像机、车载移动摄像机及遥控无人机摄像机；

所述后端存储与数据接口通过分级存储管理的方式将不经常访问的数据按制定策略自动迁移到带库、盘库的大容量离线介质中，在RAID(Redundant Arrays ofIndependent Disks，磁盘阵列)中保留少量的热门数据；存放在磁带等介质上的数据系统会根据使用频率迁回RAID中，反之亦然。数据接口：通过以太网接口可以方便实现IP组网，实现数据传输；

所述监控显示设备采用前端采集设备及中控设备进行控制显示，包括对图像、声音信号进行记录、对画面分割切换，以及对云台、镜头控制；

所述嵌入式视频服务器通过压缩、处理视音频数据，将数据进行编码并完成网络传输。

本发明系统执行如下步骤：

步骤1-1，通过组合的前端采集设备获取待监控区域的视频、图像及大量空间点云数据；

步骤1-2，将LiAir无人机实时、动态、大量采集的高精度、高密度的空间点云数据，经过激光雷达数据处理软件进行航迹解算、数据生成，快速建立3DGIS数据模型；

步骤1-3，通过基于无人摄像机采集设备开发的视频数据提取及生成模块，提取道路网络、房屋模型、水系范围、视频范围内的人及车辆等监控信息，并将其按图层形式添加至3DGIS数据模型之中；

步骤1-4，将目前监控区域的监控视频及提取信息的进行压缩，快速上传至嵌入式视频服务器；

步骤1-5，将监控视频数据与3DGIS数据模型进行融合显示；

步骤1-6，提取监控视频特征信息，实现对视频内容进行辅助检索的功能。

本发明所述前端采集设备将视频监控和地理信息进行融合，在目标位置、3DGIS数据模型以及视频时间之间建立映射关系，并以数据接口的形式呈现在3DGIS地图之中。

本发明所述监控显示设备中包括智能监控定位程序模块，智能监控定位程序模块控制遥控无人机摄像机、车载移动摄像机根据固定摄像机中的坐标信息对视频中目标的位置进行定位，包括如下步骤：

步骤2-1，采集区域内所有的运动图像序列，并对目标检测区域提取监控区域内的运动前景目标影像、运动前景目标时空坐标及3D背景模型；

步骤2-2，通过改进自适应的背景相减模型提取出两台摄像机的视频帧内差，确定视频像素坐标，其中改进自适应的背景相减模型的公式描述如下：

其中，B(x1,y1)为重建的背景图像，x1和y1为视频像素的纵横向坐标，f_k+i(x1,y1)为第k+i帧图像，k为起始运算帧号，i＝0,1,2,…,m-1，m为重建背景模型所使用的图像序列帧数，背景画面中每个像素点的值就是该点在这m帧图像画面值的均值B(x1,y1)；

步骤2-3，根据目标、两台及以上摄像机的方位角、距离，采用前方交会测量方法计算目标当前的位置，并将坐标的表空间、数字文件和控制文件存储至空间数据库；

步骤2-4，结合LiAir无人机快速建立3DGIS数据模型，对视频内的空间实体进行可视化表达和空间分析。

本发明所述嵌入式视频服务器执行如下步骤：

步骤3-1，采集监控区域内所有摄像机的工作状态信息及视频信息，工作状态信息包括摄像机本身位置参数、姿态信息，视频信息包括人、车、场景目标的信息；

步骤3-2，根据两个及以上的视频检测得到监控区域内目标信号，采用摄影测量技术公式对目标进行定位；

像点a在像空间坐标系中的坐标为(x2，y2，-f)，此处的x2，y2分别为该相片横纵向坐标，f为摄影相机的焦距，而在像空间辅助坐标系中的坐标为(X，Y，Z)，其中R是一个3*3的正交矩阵，φ、ω、к为相片主轴分别与X、Y、Z的夹角；

步骤3-3，将上述步骤获取的定位的信息形成的定位坐标及轨迹作为输入信息，将目标特征与视频中的位置及其轨迹进行匹配；若匹配成功，表示已经确定目标的定位信息，用滤波算法对目标的轨迹进行跟踪，并将识别进行记录至嵌入式视频服务器中，执行步骤3-4；若匹配失败，表示视频中没有目标，目标进入了视频监控的盲区，返回步骤2-1，继续监测目标的位置轨迹信息；

步骤3-4，在3DGIS地图中显示所有摄像机的点位信息。

本系统通过将基于3DGIS的仿真序列和实际视频序列将多源视频进行融合并增强现实。

本系统通过对视频进行智能压缩，然后进行模式识别、知识挖掘、智能推理等分析从大量数据中发现有价值的信息。

所述监控区域视频信息模块还用于根据不同的车速控制视频播放的速度以及内容，根据不同的需要切换无人机、固定摄像机以及车载摄像机的视频。

所述智能监控视频显示程序模块还用于在摄像机盲区情况下实现在3DGIS地图中的目标轨迹预测分析。

本发明具体涉及一种基于多种视频设备感知目标位置，对目标进行检测和查询，在视频的盲区中预测目标的轨迹以及根据不同的需求切换无人机、车载以及固定摄像机的视频，利用大数据的分析方式对需要监控区域进行分析，从而给使用者提供智能的分析和科学的决策合理的智能监控系统。

有益效果：本发明基于智慧城市的信息共享，通过物联网传感设备采集视频及其他数据信息，监控区域范围内的背景信息、人员流动及车辆行驶等监控区域状态信息，通过对多种摄像设备的视频序列进行模型计算获取人、车、场景等目标的定位信息，实现视频信息与3DGIS模型之间信息的融合，能够进一步发挥这两种信息的价值，实现该视频监控系统具备识别、定位、轨迹跟踪等功能于一体，从而提高定位及跟踪的准确度，减轻了大数据处理的精度。

通过综合考虑多种视频设备采集监控区域范围内的背景信息、人员流动及车辆行驶等监控区域状态信息，通过对多种摄像设备的视频序列进行模型计算获取人、车、场景等目标的定位信息，实现视频信息与3DGIS模型之间信息的融合，能够进一步发挥这两种信息的价值，实现该视频监控系统具备识别、定位、轨迹跟踪等功能于一体，从而提高定位及跟踪的准确度，减轻了大数据处理的精度。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明实施例的基于3DGIS和视频相结合的智能监控系统结构示意图；

图2是本发明实施例的智慧监控系统进行作业的流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。本发明系统包括前端采集设备、后端存储与数据接口、监控显示设备和嵌入式视频服务器；

所述前端采集设备与互联网连接，用于获取监控过程中的视频和图像，并感知视频中物体的当前位置，前端采集设备的种类包括固定摄像机、车载移动摄像机及遥控无人机摄像机；

所述后端存储与数据接口通过分级存储管理的方式将不经常访问的数据按制定策略自动迁移到带库、盘库的大容量离线介质中，在RAID(Redundant Arrays ofIndependent Disks，磁盘阵列)中保留少量的热门数据；存放在磁带等介质上的数据系统会根据使用频率迁回RAID中，反之亦然。数据接口：通过以太网接口可以方便实现IP组网，实现数据传输；

所述监控显示设备采用前端采集设备及中控设备进行控制显示，包括对图像、声音信号进行记录、对画面分割切换，以及对云台、镜头控制；

所述嵌入式视频服务器通过压缩、处理视音频数据，将数据进行编码并完成网络传输。

本发明系统执行如下步骤：

步骤1-1，通过组合的前端采集设备获取待监控区域的视频、图像及大量空间点云数据；

步骤1-2，将LiAir无人机实时、动态、大量采集的高精度、高密度的空间点云数据，经过激光雷达数据处理软件进行航迹解算、数据生成，快速建立3DGIS数据模型；

步骤1-3，通过基于无人摄像机采集设备开发的视频数据提取及生成模块，提取道路网络、房屋模型、水系范围、视频范围内的人及车辆等监控信息，并将其按图层形式添加至3DGIS数据模型之中；

步骤1-4，将目前监控区域的监控视频及提取信息的进行压缩，快速上传至嵌入式视频服务器；

步骤1-5，将监控视频数据与3DGIS数据模型进行融合显示；

步骤1-6，提取监控视频特征信息，实现对视频内容进行辅助检索的功能。

本发明所述前端采集设备将视频监控和地理信息进行融合，在目标位置、3DGIS数据模型以及视频时间之间建立映射关系，并以数据接口的形式呈现在3DGIS地图之中。

本发明所述监控显示设备中包括智能监控定位程序模块，智能监控定位程序模块控制遥控无人机摄像机、车载移动摄像机根据固定摄像机中的坐标信息对视频中目标的位置进行定位，包括如下步骤：

步骤2-1，采集区域内所有的运动图像序列，并对目标检测区域提取监控区域内的运动前景目标影像、运动前景目标时空坐标及3D背景模型；

步骤2-2，通过改进自适应的背景相减模型提取出两台摄像机的视频帧内差，确定视频像素坐标，其中改进自适应的背景相减模型的公式描述如下：

其中，B(x1,y1)为重建的背景图像，x1和y1为视频像素的纵横向坐标，f_k+i(x1,y1)为第k+i帧图像，k为起始运算帧号，i＝0,1,2,…,m-1，m为重建背景模型所使用的图像序列帧数，背景画面中每个像素点的值就是该点在这m帧图像画面值的均值B(x1,y1)；

步骤2-3，根据目标、两台及以上摄像机的方位角、距离，采用前方交会测量方法计算目标当前的位置，并将坐标的表空间、数字文件和控制文件存储至空间数据库；

步骤2-4，结合LiAir无人机快速建立3DGIS数据模型，对视频内的空间实体进行可视化表达和空间分析。

本发明所述嵌入式视频服务器执行如下步骤：

步骤3-1，采集监控区域内所有摄像机的工作状态信息及视频信息，工作状态信息包括摄像机本身位置参数、姿态信息，视频信息包括人、车、场景目标的信息；

步骤3-2，根据两个及以上的视频检测得到监控区域内目标信号，采用摄影测量技术公式对目标进行定位；

像点a在像空间坐标系中的坐标为(x2，y2，-f)，此处的x2，y2分别为该相片横纵向坐标，f为摄影相机的焦距，而在像空间辅助坐标系中的坐标为(X，Y，Z)，其中R是一个3*3的正交矩阵，φ、ω、к为相片主轴分别与X、Y、Z的夹角；

步骤3-3，将上述步骤获取的定位的信息形成的定位坐标及轨迹作为输入信息，将目标特征与视频中的位置及其轨迹进行匹配；若匹配成功，表示已经确定目标的定位信息，用滤波算法对目标的轨迹进行跟踪，并将识别进行记录至嵌入式视频服务器中，执行步骤3-4；若匹配失败，表示视频中没有目标，目标进入了视频监控的盲区，返回步骤2-1，继续监测目标的位置轨迹信息；

步骤3-4，在3DGIS地图中显示所有摄像机的点位信息。

图1图示出了基于3DGIS和视频相结合的智能监控系统200的各个组件。在某些情况下，组件可以是硬件组件、软件组件、或硬件和软件的组合。某些组件可以是应用层软件，而其他组件可以是操作系统层组件。在某些情况下，一个组件到另一个组件的连接可以是紧密连接，其中两个或更多个组件在单个硬件平台上操作。在其它情况下，连接可以通过跨长距离的网络连接来形成。各实施例可以使用不同的硬件、软件、以及互联体系结构来实现所描述的功能。

基于3DGIS和视频相结合的智能监控系统200可以与互联网连接的前端采集设备、后端存储与数据接口、监控显示设备和嵌入式视频服务器组成。采用多种监控方式结合3DGIS使其能够对视频中的目标进行定位、识别分析，对其轨迹进行记录和对视频盲区中目标轨迹进行预测，从而改进视频监控的方式从而提高监控管理的效率。

基于3DGIS和视频相结合的智能监控系统200包括一组或者两组以上的固定摄像机248、遥控无人摄像机250、车载移动摄像机采集设备252、广域网246、网关244、局域网242、数据库服务器228和视频服务器202。视频采集设备采集监控区域范围内承载量信息，通过广域网246至系统网关244。网关244将视频信息在局域网242中广播，此信息将被存储在业务数据库236，并被3DGIS224存储在机器可读介质中。多种视频采集设备监测当前工作状态后通过同样的采集方式存储在业务数据库236，同时被智能监控视频显示程序224存储在机器可读介质中。

视频服务器202可以是管理员在其上管理一个或多个视频自动监控系统的设备。视频服务器202可表示典型的计算机设备，诸如具有硬件组成216和软件218的台式计算机或服务器。在一些实施例中，视频服务器202可以是膝上型计算机、上网本计算机、平板电脑、移动电话、手持个人数字助理、游戏控制台、网络设备、或其他计算设备。

视频服务器202所示出的体系和结构可代表具有硬件和软件组件的典型的系统结构；然而，其它体系结构可用于实现分布式数据库系统的一些或全部。

硬件组件204可以包括处理器208、随机存取存储器210、以及非易失性存储206。硬件组件204还可以包括网络接口212和用户接口214。

软件组件218可以包括操作系统220，消息分发模块222，3DGIS模块224，用户界面226。

消息分发模块222可以是通过约定格式消息、邮件、短信、即时聊天工具向用户终端设备发送消息的程序。

3DGIS模块程序224接收多种视频采集设备信息，调用业务数据库236，为用户界面226提供所需数据并接收来自用户界面226的消息，可以调用消息分发模块222。

用户界面226可以是用于人机交互的界面；可以是一个或者多个界面；管理员可以通过此界面向包括3DGIS模块224在内的多个程序发送指令；可以接收来自于3DGIS模块224的消息；可以为管理员展示本系统运行统计数据等。

数据库服务器228包括与视频服务器202类似的配置，数据库服务器228包括硬件230、软件组建232、操作系统234、业务数据库236和区域当前信息240。业务数据库236用于存储视频自动监控系统的业务数据。

在一个实例中，业务数据包括摄像机的位置参数、摄像机编号信息、安装时间、视频容量、视频品牌、监控者信息、视频区域内历史行驶轨迹、工作计划、用户登录信息、消息分发程序222的消息、历史工作信息等。业务数据还可以存储在硬件组件230中的内存中，以便快速调取。

区域视频信息240可以存储区域当前视频监控信息的模块，包括移动目标信息，在一个实例中，3DGIS模块程序通过区域视频信息叠加在当前用户所在位置。

如图2所示，视频服务器228进行视频后期处理的流程，并将信息汇总于视频服务器：

步骤104采集监控区域内所有摄像机的工作状态信息及视频信息，工作状态信息包括摄像机本身位置参数、姿态等信息，视频信息包括人、车、场景等目标的信息；

步骤106通过两个及以上的视频检测到监控区域内目标信号；

步骤108采用前面所提到的近景摄影测量技术算法对目标进行定位；

步骤110将电子定位的信息形成的定位坐标及轨迹作为输入信息，将其特征与视频中目标特征提取的位置及其轨迹进行匹配；

步骤112若是匹配成功，表示已经确定目标的定位信息，用滤波算法对目标的轨迹进行跟踪，并将识别进行记录至分布式视频服务器中；

步骤114如果视频中没有目标，说明目标进入了视频监控的盲区，流程返回到步骤1，继续监测目标的位置轨迹信息；

步骤116判断是否在摄像机监控的盲区之内；

步骤118在3DGIS地图中显示摄像机的点位信息，方便根据空间位置进行调取；

步骤120根据用户所在的位置、速度、姿态等信息调整播放视频的内容及速度；

最后，在视频服务器中存储的信息留有接口，供后期资源共享、信息挖掘等使用。

本发明提供了一种基于3DGIS和视频相结合的智能监控系统，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种基于3DGIS和视频相结合的智能监控系统，其特征在于，包括前端采集设备、后端存储与数据接口、监控显示设备和嵌入式视频服务器；

所述前端采集设备与互联网连接，用于获取监控过程中的视频和图像，并感知视频中物体的当前位置，前端采集设备的种类包括固定摄像机、车载移动摄像机及遥控无人机摄像机；

所述后端存储与数据接口通过分级存储管理的方式将不经常访问的数据按制定策略自动迁移到带库、盘库的离线介质中，在RAID磁盘阵列中保留热门数据；

所述监控显示设备采用前端采集设备及中控设备进行控制显示，包括对图像、声音信号进行记录、对画面分割切换，以及对云台、镜头控制；

所述嵌入式视频服务器通过压缩、处理视音频数据，将数据进行编码并完成网络传输。

2.根据权利要求1所述的系统，其特征在于，系统执行如下步骤：

步骤1-1，通过组合的前端采集设备获取待监控区域的视频、图像及空间点云数据；

步骤1-2，将空间点云数据通过激光雷达数据处理软件进行航迹解算、数据生成，建立3DGIS数据模型；

步骤1-3，通过基于无人摄像机采集设备开发的视频数据提取及生成模块，提取道路网络、房屋模型、水系范围、视频范围内的人及车辆的监控信息，并将其按图层形式添加至3DGIS数据模型之中；

步骤1-4，将目前监控区域的监控视频及提取信息的进行压缩，快速上传至嵌入式视频服务器；

步骤1-5，将监控视频数据与3DGIS数据模型进行融合显示；

步骤1-6，提取监控视频特征信息，实现对视频内容进行辅助检索的功能。

3.根据权利要求2所述的系统，其特征在于，所述前端采集设备将视频监控和地理信息进行融合，在目标位置、3DGIS数据模型以及视频时间之间建立映射关系，并以数据接口的形式呈现在3DGIS数据模型之中。

4.根据权利要求3所述的系统，其特征在于，所述监控显示设备中包括智能监控定位程序模块，智能监控定位程序模块控制遥控无人机摄像机、车载移动摄像机根据固定摄像机中的坐标信息对视频中目标的位置进行定位，包括如下步骤：

步骤2-1，采集区域内所有的运动图像序列，并对目标检测区域提取监控区域内的运动前景目标影像、运动前景目标时空坐标及3D背景模型；

步骤2-2，通过改进自适应的背景相减模型提取出两台摄像机的视频帧内差，确定视频像素坐标，其中改进自适应的背景相减模型的公式描述如下：

$B(x1,y1)=\frac{1}{m}\left(f_k\right(x1,y1)+f_{k+1}(x1,y1)+f_{k+2}(x1,y1)+...+f_{k+m-2}(x1,y1\left)\right)$

其中，B(x1,y1)为重建的背景图像，x1和y1为视频像素的纵横向坐标，f_k+i(x1,y1)为第k+i帧图像，k为起始运算帧号，i＝0,1,2,…,m-1，m为重建背景模型所使用的图像序列帧数，背景画面中每个像素点的值就是该点在这m帧图像画面值的均值B(x1,y1)；

步骤2-3，根据目标、两台及以上摄像机的方位角、距离，采用前方交会测量方法计算目标当前的位置，并将坐标的表空间、数字文件和控制文件存储至空间数据库；

步骤2-4，结合3DGIS数据模型，对视频内的空间实体进行可视化表达和空间分析。

5.根据权利要求4所述的系统，其特征在于，所述嵌入式视频服务器执行如下步骤：

步骤3-1，采集监控区域内所有摄像机的工作状态信息及视频信息，工作状态信息包括摄像机本身位置参数、姿态信息，视频信息包括人、车、场景目标的信息；

步骤3-2，根据两个及以上的视频检测得到监控区域内目标信号，采用摄影测量技术公式对目标进行定位；

像点a在像空间坐标系中的坐标为(x2，y2，-f)，此处的x2，y2分别为该相片横纵向坐标，f为摄影相机的焦距，而在像空间辅助坐标系中的坐标为(X，Y，Z)，其中R是一个3*3的正交矩阵，φ、ω、к为相片主轴分别与X、Y、Z的夹角；

步骤3-3，将获取的定位的信息形成的定位坐标及轨迹作为输入信息，将目标特征与视频中的位置及其轨迹进行匹配；若匹配成功，表示已经确定目标的定位信息，用滤波算法对目标的轨迹进行跟踪，并将识别进行记录至嵌入式视频服务器中，执行步骤3-4；若匹配失败，表示视频中没有目标，目标进入了视频监控的盲区，返回步骤3-1，继续监测目标的位置轨迹信息；

步骤3-4，在3DGIS数据模型中显示所有摄像机的点位信息。