CN110379010A

CN110379010A - 基于视频融合的三维地理信息可视化方法及系统

Info

Publication number: CN110379010A
Application number: CN201910554448.0A
Authority: CN
Inventors: 桑新柱; 白惠熔; 邢树军; 管延鑫; 李远航; 苏腾辉; 龚梦雪; 王葵如; 颜玢玢; 苑金辉
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2019-06-25
Filing date: 2019-06-25
Publication date: 2019-10-25

Abstract

本发明实施例提供一种基于视频融合的三维地理信息可视化方法及系统，所述方法包括：获取实时监控视频数据；构建2D‑3D GIS系统；通过仿真在所述2D‑3D GIS系统中的小飞机飞行场景构建3D虚拟场景；将所述实时监控视频数据融合到所述3D虚拟场景中。本发明实施例提供的基于视频融合的三维地理信息可视化方法及系统，将视频采集模块获取的实时视频，与三维场景信息、地理空间信息融合在一起进行渲染、显示，达到一种增强现实的效果。并且，利用开发引擎来构建自己的GIS系统，既可以节省开发时间、节约成本，又可以为后面的融合提供便利。

Description

基于视频融合的三维地理信息可视化方法及系统

技术领域

本发明涉及三维显示技术领域，尤其涉及一种基于视频融合的三维地理信息可视化方法及系统。

背景技术

GIS应用越来越广泛，对三维的呼声也随之越来越高，像地质、矿业勘探都已经开始使用三维GIS来开发所需应用。目前，还没有通用的三维应用平台。随之二维GIS及其相关技术的发展与成熟，以及显示对三维的需求越来越强烈，对三维GIS的研究和发展已经加快了步伐。

三维GIS面临的挑战如下：三维GIS不仅仅只有某一种技术支持，是多种技术的协同支撑，面临着诸多挑战：

1、三维数据的实时获取：实现三维GIS表达非常困难，由于三维GIS数据采样率很低，无法像二维地图那样准确的描述，容易出现偏差。同时，三维GIS属性对于二维来说，并不是线性增长的，且其复杂性使得几乎无法准确描述。因此，二维的数据模型在三维中是不可用的，三维数据实时获取尤为关键。

2、海量数据存储和分析：三维数据量相比二维数据量更是指数级增长，快速处理海量数据是一个巨大的问题。除提升硬件性能外，更需要高效的数据模型和高并行多线程处理和分析技术。

3、三维GIS数据模型：空间数据库是GIS的核心和基石，三维亦如此。而要建立三维空间数据库，必须首先建立准确的空间数据模型，否则根本无法实现三维GIS的客观描述。

4、三维GIS决策：智能决策是GIS的高级应用，在二维中以显示其能力的不足，目前仍很难实现，只能做一些简单的数据库操作，无法实现智能决策。在三维GIS中，同样面临着这个问题。

三维GIS优势在于对空间信息更加形象生动的表现形式，其目的是使用户更容易完成对空间信息的认知。三维GIS涉及到很多支撑技术和研究领域，重点在于空间数据的分析处理。目前准三维平台一样在发挥强大的作用，支持专业的应用。三维GIS开始向空间决策支持系统方向发展，对智慧城市中的主动聚焦决策服务提供强大的技术支持。当前GIS和实时视频的融合大都是利用组件式GIS进行二次开发，若独立开发自己的GIS系统，虽然能为融合提供便利，但会花费很多的时间、财力和人力。

发明内容

本发明实施例的目的是提供一种克服上述问题或者至少部分地解决上述问题的基于视频融合的三维地理信息可视化方法及系统。

为了解决上述技术问题，一方面，本发明实施例提供一种基于视频融合的三维地理信息可视化方法，包括：

获取实时监控视频数据；

构建2D-3D GIS系统；

通过仿真在所述2D-3D GIS系统中的小飞机飞行场景构建3D虚拟场景；

将所述实时监控视频数据融合到所述3D虚拟场景中。

进一步地，所述获取实时监控视频数据，具体包括：

构建九宫格视频；

根据rtsp实时传输流协议利用UMP插件获取实时监控视频数据。

进一步地，所述构建2D-3D GIS系统，具体包括：

通过API接口从第三方在线地图中获取2D GIS数据，以及三维地形的DEM数据；

将所述2D GIS数据与图形插件数据进行融合，得到3D GIS数据；

将所述2D GIS数据、所述3D GIS数据以及所述图形插件数据进行融合，得到所述2D-3D GIS系统。

进一步地，所述图形插件数据包含地面高程数据和卫星遥感影像数据。

另一方面，本发明实施例提供一种基于视频融合的三维地理信息可视化系统，包括：

视频采集模块，用于获取实时监控视频数据；

2D-3D GIS构建模块，用于构建2D-3D GIS系统；

三维虚拟场景模块，用于通过仿真在所述2D-3D GIS系统中的小飞机飞行场景构建3D虚拟场景；

融合模块，用于将所述实时监控视频数据融合到所述3D虚拟场景中。

进一步地，所述视频采集模块具体用于：

构建九宫格视频；

根据rtsp实时传输流协议利用UMP插件获取实时监控视频数据。

进一步地，所述2D-3D GIS构建模块具体用于：

将所述2D GIS数据与图形插件数据进行融合，得到3D GIS数据；

再一方面，本发明实施例提供一种电子设备，包括：存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述方法的步骤。

又一方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述方法的步骤。

本发明实施例提供的基于视频融合的三维地理信息可视化方法及系统，将视频采集模块获取的实时视频，与三维场景信息、地理空间信息融合在一起进行渲染、显示，达到一种增强现实的效果。并且，利用开发引擎来构建自己的GIS系统，既可以节省开发时间、节约成本，又可以为后面的融合提供便利。

附图说明

图1为本发明实施例提供的基于视频融合的三维地理信息可视化方法示意图；

图2为本发明实施例提供的RTSP视频流采集分析示意图；

图3为本发明实施例提供的基于视频融合的三维地理信息可视化系统示意图；

图4为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

近年来，空间信息的展示不再只局限于二维展示，用三维方式来展示空间信息，已经成为新的发展趋势。同时，当今的空间基础信息应用也不再只面向局部和少数人群，而是成为涉及居民生活、政府管理、商业娱乐等众多方面的大众型网络应用，构筑三维的地理空间信息展示系统，已经成为一股不可逆转的潮流。

而实时视频则是另外一个有着重要意义的资源，它可以提供实时突发事件时的直接决策支持，以及重点地段的实时监控，在民防和社会治安监控方面有着非常重要的意义。现如今，已经有越来越多的部门在实践中，将重点地段视频实时查看引入到三维地理信息系统中去。

三维GIS和视频监控的无缝结合的技术突破点在于：三维场景与二维视频点位的无缝融合，在三维场景中视频点附近弹出视频，同时播放多路视频，引入P2P调度模式确保视频流畅播放，良好的视频操作与控制界面，以及向全市可共享视频的操作与管理。

随着计算机科学技术的发展和GIS应用的不断深入，在很多领域如地质、矿山、环境、海洋、气象、数字城市等，二维地理信息系统已不能满足人们的需求，取而代之的是空间的、立体的三维GIS。进入20世纪90年代后，三维可视化与虚拟现实技术的迅猛发展使得建立三维GIS成为可能，而“数字地球”对建立三维GIS也提出了更为迫切的要求。三维GIS不仅能表达空间对象间的平面关系和垂向关系，而且也能对其进行三维空间分析和操作，向用户立体展现地理空间现象，给人以更真实的感受。

由于三维GIS的复杂性和涉及领域的广泛性，需要实现真正意义上的三维地理信息可视化，面临着一些应用方面的需求：

(1)海量数据的存储和快速处理。由于数据量庞大，海量数据需要分布存储技术，可以采用云计算的分布式存储技术保证数据量的可靠性和可用性。云计算可以同时满足大量用户的需求，并行地为大量用户提供服务，并且具有高吞吐率和高传输率。

(2)空间数据模型的合理选择。由于3D-GIS的应用领域不尽相同，各领域对3D-GIS的功能需求差别甚大，寻找一种适合于所有领域的3D空间数据模型是不现实的，不可能研制出一个通用的3D-GIS系统。各专业领域可以根据其具体的专业需求，选择适当的数据模型，开发出适合于其需求的专业3D-GIS。根据上述应用需求，主要有以下两个方面的发展趋势。一方面，随着3D-GIS的发展已经出现了4D-GIS，即在三维的基础上增加了时间维。如自然灾害会造成局部地址条件剧烈变化，需要将时间数据与3D模型相结合，形成时间-空间的4D-GIS。例如地质学家评价某时刻的所有地质条件或某时间段内的平均地质条件，就可以考虑时间数据与3D模型的结合，形成4D的空间-时间GIS模型。另一方面，随着网络技术的发展，3D-GIS不仅局限于单机，而更多的应用于网络，使得更多的用户通过Internet突破空间限制，共享地球空间的各种信息。

三维GIS优势在于对空间信息更加形象生动的表现形式，其目的是使用户更容易完成对空间信息的认知。三维GIS涉及到很多支撑技术和研究领域，重点在于空间数据的分析处理。目前准三维平台一样在发挥强大的作用，支持专业的应用。三维GIS开始向空间决策支持系统方向发展，对智慧城市中的主动聚焦决策服务提供强大的技术支持。

下面对实施例中涉及的技术名词进行解释：

1、三维可视化：三维可视化是用于显示描述和理解地下及地面诸多地质现象特征的一种工具，广泛应用于地质和地球物理学的所有领域。三维可视是描绘和理解模型的一种手段，是数据体的一种表征形式，并非模拟技术。

2、虚拟显示技术：虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

3、视频融合：视频融合技术是虚拟现实技术的一个分支，也可以说是虚拟现实的一个发展阶段。视频融合技术指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。

4、纹理映射：又称纹理贴图，是将纹理空间中的纹理像素映射到屏幕空间中的像素的过程。简单来说，就是把一幅图像贴到三维物体的表面上来增强真实感，可以和光照计算、图像混合等技术结合起来形成许多非常漂亮的效果。

5、GIS：它是一种特定的十分重要的空间信息系统。它是在计算机硬、软件系统支持下，对整个或部分地球表层(包括大气层)空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述的技术系统。

图1为本发明实施例提供的基于视频融合的三维地理信息可视化方法示意图，如图1所示，本发明实施例提供一种基于视频融合的三维地理信息可视化方法，其执行主体为基于视频融合的三维地理信息可视化系统，该方法包括：

步骤S101、获取实时监控视频数据。

具体来说，首先构建九宫格视频显示模块，然后，根据rtsp实时传输流协议利用UMP插件实现监控视频的显示。图2为本发明实施例提供的RTSP视频流采集分析示意图，如图2所示，rtsp实时传输流协议支持的操作如下：

(1)从媒体服务器上检索媒体：用户可通过HTTP或其它方法提交一个演示描述。如演示是组播，演示式就包含用于连续媒体的的组播地址和端口。如演示仅通过单播发送给用户，用户为了安全应提供目的地址。

(2)媒体服务器邀请进入会议：媒体服务器可被邀请参加正进行的会议，或回放媒体，或记录其中一部分，或全部。这种模式在分布式教育应用上很有用，会议中几方可轮流按远程控制按钮。

(3)将媒体加到现成讲座中：如服务器告诉用户可获得附加媒体内容，对现场讲座显得尤其有用。如HTTP/1.1中类似，RTSP请求可由代理、通道与缓存处理。

步骤S102、构建2D-3D GIS系统。

具体来说，利用了插件进行实时调用第三方在线地图的api来实时的呈现三维地形的DEM数据，以及获取2D GIS数据，第三方在线地图可以为bing maps或者Google maps。同时通过采集地理信息的位置来显示经纬度，通过仿真三维地形下的小飞机飞行场景并采集航拍画面进行显示。

要创建三维地形，首先需要在本系统中来为用户创建一个带地理参考的、现实影像的、精确的三维数据场景，同时还需要地面高程数据和高分辨率的卫星遥感影像数据等图形插件数据作为支撑。其次，要在本系统中来进行三维地形文件的网络形式的发布。可以分为两大步骤：

1、数据处理过程：下载高分辨率卫星影像，并保证其进行影像拼接、几何校正、生成正射影像DOM。必要时还需进行卫星影像的波段组合、分辨率融合以及影像数据的调色处理，另外还需要生成关注区域的Shp多边形文件，并且其图形要素要相互独立。

2、在本系统的显示过程：设置工程参数，坐标投影等信息；设置每个图层的显示比例，显示状态等；加入区域Shp文件叠加于影像之上，切割出影像显示区域；并进行羽化处理，形成良好的过度。

步骤S103、通过仿真在所述2D-3D GIS系统中的小飞机飞行场景构建3D虚拟场景。

具体来说，在构建好2D-3D GIS系统后，将从2D-3D GIS系统中获取的数据导入3DMAX的三维模型，编写脚本实现三维动态可视化漫游浏览，构建出3D虚拟场景。

步骤S104、将所述实时监控视频数据融合到所述3D虚拟场景中。

具体来说，通过对监控视频数据流提取视频帧并将其投射到三维空间场景里，实现视频数据与三维场景内数据的全时空立体融合，改变了地图应用智能静态展示的传统模式，将部署在不同地理位置的多路实时监控视频与监控区域的三维模型进行配准融合，实现监控区域整体安全态势的实时全局掌控。

统一视频图像与三维虚拟场景的坐标变换，通过纹理投影的方法将视频帧进行投射到三维场景中，实现视频图像的融合。

本发明实施例提供的基于视频融合的三维地理信息可视化方法，将视频采集模块获取的实时视频，与三维场景信息、地理空间信息融合在一起进行渲染、显示，达到一种增强现实的效果。并且，利用开发引擎来构建自己的GIS系统，既可以节省开发时间、节约成本，又可以为后面的融合提供便利。

基于上述任一实施例，进一步地，所述获取实时监控视频数据，具体包括：

构建九宫格视频；

根据rtsp实时传输流协议利用UMP插件获取实时监控视频数据。

具体来说，获取实时监控视频数据的具体步骤如下：

首先，构建九宫格视频显示模块，然后，根据rtsp实时传输流协议利用UMP插件实现监控视频的显示。

rtsp实时传输流协议支持的操作如下：

基于上述任一实施例，进一步地，所述构建2D-3D GIS系统，具体包括：

将所述2D GIS数据与图形插件数据进行融合，得到3D GIS数据；

具体来说，构建2D-3D GIS系统的具体步骤如下：

首先，通过API接口从第三方在线地图中获取2D GIS数据，以及三维地形的DEM数据。第三方在线地图可以为bing maps或者Google maps。

然后，将2D GIS数据与图形插件数据进行融合，得到3D GIS数据。

最后，再将2D GIS数据、3D GIS数据以及图形插件数据进行融合，得到所述2D-3DGIS系统。

基于上述任一实施例，进一步地，所述图形插件数据包含地面高程数据和卫星遥感影像数据。

具体来说，本发明实施例中的图形插件数据包括地面高程数据和高分辨率的卫星遥感影像数据等。

通过融合图形插件数据，使2D-3D GIS系统更具有真实感，提升了用户体验。

基于上述任一实施例，图3为本发明实施例提供的基于视频融合的三维地理信息可视化系统示意图，如图3所示，本发明实施例提供一种基于视频融合的三维地理信息可视化系统，包括视频采集模块301、2D-3D GIS构建模块302、三维虚拟场景模块303和融合模块304，其中：

视频采集模块301用于获取实时监控视频数据；2D-3D GIS构建模块302用于构建2D-3D GIS系统；三维虚拟场景模块303用于通过仿真在所述2D-3D GIS系统中的小飞机飞行场景构建3D虚拟场景；融合模块304用于将所述实时监控视频数据融合到所述3D虚拟场景中。

基于上述任一实施例，进一步地，所述视频采集模块具体用于：

构建九宫格视频；

根据rtsp实时传输流协议利用UMP插件获取实时监控视频数据。

基于上述任一实施例，进一步地，所述2D-3D GIS构建模块具体用于：

将所述2D GIS数据与图形插件数据进行融合，得到3D GIS数据；

本发明实施例提供一种基于视频融合的三维地理信息可视化系统，用于执行上述任一实施例中所述的方法，通过本实施例提供的系统执行上述某一实施例中所述的方法的具体步骤与上述相应实施例相同，此处不再赘述。

本发明实施例提供的基于视频融合的三维地理信息可视化系统，将视频采集模块获取的实时视频，与三维场景信息、地理空间信息融合在一起进行渲染、显示，达到一种增强现实的效果。并且，利用开发引擎来构建自己的GIS系统，既可以节省开发时间、节约成本，又可以为后面的融合提供便利。

图4为本发明实施例提供的电子设备的结构示意图，如图4所示，所述设备包括：处理器(processor)401、存储器(memory)402、总线403，以及存储在存储器上并可在处理器上运行的计算机程序。

其中，处理器401和存储器402通过总线403完成相互间的通信；

处理器401用于调用并执行存储器402中的计算机程序，以执行上述各方法实施例中的步骤，例如包括：

获取实时监控视频数据；

构建2D-3D GIS系统；

将所述实时监控视频数据融合到所述3D虚拟场景中。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例中的步骤，例如包括：

获取实时监控视频数据；

构建2D-3D GIS系统；

将所述实时监控视频数据融合到所述3D虚拟场景中。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述各方法实施例中的步骤，例如包括：

获取实时监控视频数据；

构建2D-3D GIS系统；

将所述实时监控视频数据融合到所述3D虚拟场景中。

以上所描述的装置及设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于视频融合的三维地理信息可视化方法，其特征在于，包括：

获取实时监控视频数据；

构建2D-3D GIS系统；

将所述实时监控视频数据融合到所述3D虚拟场景中。

2.根据权利要求1所述的基于视频融合的三维地理信息可视化方法，其特征在于，所述获取实时监控视频数据，具体包括：

构建九宫格视频；

根据rtsp实时传输流协议利用UMP插件获取实时监控视频数据。

3.根据权利要求1所述的基于视频融合的三维地理信息可视化方法，其特征在于，所述构建2D-3D GIS系统，具体包括：

将所述2D GIS数据与图形插件数据进行融合，得到3D GIS数据；

将所述2D GIS数据、所述3D GIS数据以及所述图形插件数据进行融合，得到所述2D-3DGIS系统。

4.根据权利要求3所述的基于视频融合的三维地理信息可视化方法，其特征在于，所述图形插件数据包含地面高程数据和卫星遥感影像数据。

5.一种基于视频融合的三维地理信息可视化系统，其特征在于，包括：

视频采集模块，用于获取实时监控视频数据；

2D-3D GIS构建模块，用于构建2D-3D GIS系统；

6.根据权利要求5所述的基于视频融合的三维地理信息可视化系统，其特征在于，所述视频采集模块具体用于：

构建九宫格视频；

根据rtsp实时传输流协议利用UMP插件获取实时监控视频数据。

7.根据权利要求5所述的基于视频融合的三维地理信息可视化系统，其特征在于，所述2D-3D GIS构建模块具体用于：

将所述2D GIS数据与图形插件数据进行融合，得到3D GIS数据；

8.根据权利要求7所述的基于视频融合的三维地理信息可视化系统，其特征在于，所述图形插件数据包含地面高程数据和卫星遥感影像数据。

9.一种电子设备，包括存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至4任一项所述基于视频融合的三维地理信息可视化方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至4任一所述基于视频融合的三维地理信息可视化方法的步骤。