CN108133044B

CN108133044B - 基于属性分离的空间大数据三维可视化方法及平台

Info

Publication number: CN108133044B
Application number: CN201810029143.3A
Authority: CN
Inventors: 徐焕祥; 杨晓冬; 梁斯东
Original assignee: Suprevision Remote Sensing Information Technology Beijing Co ltd
Current assignee: Suprevision Remote Sensing Information Technology Beijing Co ltd
Priority date: 2018-01-12
Filing date: 2018-01-12
Publication date: 2020-10-02
Anticipated expiration: 2038-01-12
Also published as: CN108133044A

Abstract

本发明公开了基于属性分离的空间大数据三维可视化方法及平台。本发明的基于属性分离的空间大数据三维可视化方法，建立了空间大数据三维可视化平台。通过矢量数据瓦片块的服务方式较好的控制了一次性进入三维渲染循环的数据总量；通过数据预处理优化策略，减轻了三维渲染时对于数据转换的CPU等计算机资源消耗；通过渲染图元数据模型优化策略，对场景中活动结点所表示的数据瓦片块进行可见性判定，只反馈数据实体对象的矢量拓扑结构信息，较好的平衡了空间大数据数据吞吐量与三维渲染帧率的问题。同时，为了能够在可视化场景中满足业务数据交互和分析的需要，采用嵌入式空间数据库缓存数据的解决方案，做到数据分离。

Description

基于属性分离的空间大数据三维可视化方法及平台

技术领域

本发明涉及空间大数据三维可视化，尤其涉及基于属性分离的空间大数据三维可视化方法及平台。

背景技术

空间数据库指的是地理信息系统在计算机物理存储介质上存储的与应用相关的地理空间数据的总和，一般是以一系列特定结构的文件的形式组织在存储介质之上的。空间数据库的研究始于20世纪70年代的地图制图与遥感图像处理领域，其目的是为了有效地利用卫星遥感资源迅速绘制出各种经济专题地图。由于传统的关系数据库在空间数据的表示、存储、管理、检索上存在许多缺陷，从而形成了空间数据库这一数据库研究领域。而传统数据库系统只针对简单对象，无法有效的支持如图形、图像等复杂对象。

空间大数据，是大数据与空间数据库的融合体。随着空间大数据的不断增长和三维地理信息可视化技术的不断发展，对于空间大数据信息可视化的要求日益提高。空间大数据中隐含了方方面面的信息，这是空间大数据信息的价值所在，因此在可视化实现中除了要求能够完成海量数据的高效可视化外，同时要求能够及时、快速、准确的反馈空间大数据的背后的信息量。

在三维地理信息可视化中，存在两类空间大数据：一类是以栅格数据为基础的作为地球表面材质展现的空间大数据，其渲染逻辑相对成熟；另一类是以矢量数据作为球上业务载体的空间大数据，因其拓扑结构信息的复杂性和附加属性信息的不确定性，其展现效果并不理想。

矢量空间大数据可视化，首先应该能够应对海量数据的快速可视化表达，其在空间大数据三维可视化平台上通过点、曲线、多边形等表达其拓扑结构信息，而其他空间大数据附加的信息内容，通常是通过弹窗、联动联合的方式进行可视化表达。

传统的矢量空间大数据的可视化表达，如图1所示，是将矢量空间大数据中的各个数据体内容进行颗粒度划分，并将单个数据体的内容抽象成面向对象数据模型。新建矢量空间大数据对象渲染逻辑，对各个对象抽象其匹配的图元渲染模型，其本质是将所有信息内容调度到计算机内存中，进行空间大数据的可视化表达。该方案将可视化对象的显示与隐藏逻辑，交予底层三维渲染引擎来处理——通过背面剔除、遮挡等逻辑，判断图元内容是否在三维引擎的视窗体内，如果存在于视窗体内，则进行显示，否则隐藏。对于与用户交互操作的矢量空间数据对象，通过高亮显示逻辑执行三维地理信息平台可视化，并在空间数据详细信息展示体系中进行其他附加信息的展示。该种方案能够正确的表达矢量空间大数据中独立个体的信息内容，然而随着数据量的激增，矢量空间大数据三维可视化平台所消耗的系统资源急剧上升，势必将造成整体系统的卡顿，严重降低系统的最终用户体验。

矢量空间大数据流模式可视化表达，如图2所示，是在传统矢量空间大数据可视化表达方案的基础之上，增加了可视化数据调度线程，能够通过三维引擎视窗口的范围(一般会对视窗口当前范围做一定的延伸)，将要执行可视化逻辑的矢量空间大数据对象进行可视化对象模型数据实例化，根据渲染逻辑，对各个对象抽象其匹配的图元渲染模型，进行空间大数据的可视化表达。三维引擎渲染主线程负责执行三维地理信息球的可视化逻辑，每个空间大数据图层对应着独立的数据调度线程，每一次三维视窗体的变动，都要求数据调度线程重新组织本图层的渲染数据集合，然后交予三维引擎渲染主线程进行渲染。对于与用户交互操作的矢量空间数据对象，通过高亮显示逻辑执行三维地理信息平台可视化，并在空间数据详细信息展示体系中进行其他附加信息的展示。该方案在一定程度上，减少了基础三维地理信息平台渲染时维持的对象总量，有利于提高三维基础地理信息平台可视化的渲染效率。但随着空间大数据内容的不断增大，以及空间大数据类别(通常被划分为数据图层)的增多，也会降低底层三维渲染引擎的渲染效率。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了基于属性分离的空间大数据三维可视化方法。

为了解决以上技术问题，本发明采用的技术方案是：基于属性分离的空间大数据三维可视化方法，包括以下步骤：

(1)数据预处理：对矢量空间大数据进行切片，制作多层多级瓦片金字塔结构的矢量切片数据组织模型，通过数据瓦片块的服务方式供空间大数据三维可视化平台使用；

(2)数据调取：建立数据渲染引擎和数据调度引擎，持续执行以下的消息循环：

①数据判定：随着场景相机视点的变动，利用数据渲染引擎对场景中活动结点所表示的数据瓦片块进行可见性判定；如果该数据瓦片块于视窗体域之内可见，并且该结点所包含的数据瓦片块不在数据池缓冲区缓存之中，则执行请求数据,进入步骤②；如果该数据瓦片块可见，并且该结点所包含的数据瓦片块存在于数据池缓冲区缓存中，则直接从缓存中调度,进入步骤④；如果该数据瓦片块不可见，则跳过继而执行下个循环；

②请求数据：数据调度引擎读取数据瓦片载入请求缓冲区的非缓存数据瓦片的参数，从数据瓦片服务处进行数据调度；

③数据反馈：数据调度引擎从数据瓦片服务处得到数据瓦片块的数据反馈，并提交到数据池缓冲区；

④数据提取：数据调度引擎对数据池缓冲区的数据瓦片块的拓扑数据进行提取，只反馈数据实体对象的矢量拓扑结构信息；

⑤数据缓冲池在每次数据缓存时，将其拓扑结构信息换成三维渲染引擎所能识别的最优化的图元结构数据模型；在数据缓冲池中的数据记录上增加优化后的图元结构数据模型字段；

(3)数据渲染：利用渲染引擎对步骤(2)调取的数据进行渲染，并最终实现数据对象的三维可视化。

进一步地，步骤(1)中，矢量空间大数据切片的过程，采用Web墨卡托投影的方式。

进一步地，步骤(2)中，②请求数据采用数据优先调度策略，以坐标范围中心瓦片块起始，根据逆时针由内向外进行建立数据片调度优先级，从数据瓦片服务处进行数据调度。

进一步地，步骤(2)中，②请求数据通过多工作线程机制，从数据瓦片服务处进行数据调度。

进一步地，步骤(3)中，以一个瓦片数据块中同类图元结构数据模型的所有数据，划分成一个数据Mesh，通过渲染开始——数据Mesh构建——渲染结束的逻辑过程，完成一次渲染操作。

进一步地，步骤(3)中，渲染引擎将渲染后的模型数据送至图形处理器进行绘制，实现数据对象的三维可视化。

进一步地，步骤(2)中，⑤数据缓冲池在数据缓存时，采用四叉树空间索引策略。

进一步地，本发明的内容还包括按上述方法建立的空间大数据三维可视化平台。

进一步地，该空间大数据三维可视化平台，还包括属性维护信息查询附加线程，所述属性维护信息查询附加线程由属性维护引擎执行查询分析属性信息数据功能。属性维护信息查询附加线程也可以由数据调度引擎负责。

进一步地，用于三维可视化的矢量拓扑结构信息数据与用于查询分析的属性信息数据之间以数据空间索引方式相连接。

本发明的基于属性分离的空间大数据三维可视化方法，建立了空间大数据三维可视化平台。通过数据瓦片块的服务方式较好的控制了一次性进入三维渲染循环的数据总量；通过数据预处理优化策略，减轻了三维渲染时对于数据转换的CPU等计算机资源消耗；通过图元数据模型优化策略，对场景中活动结点所表示的数据瓦片块进行可见性判定，只反馈数据实体对象的矢量拓扑结构信息，较好的平衡了空间大数据数据吞吐量与三维渲染帧率的问题。同时，为了能够在可视化场景中满足业务数据交互和分析的需要，采用嵌入式空间数据库缓存数据的解决方案，做到数据分离。

本发明借鉴影像数据的处理方式，对于矢量数据在执行可视化逻辑之前执行数据预处理工作，对矢量数据源执行矢量切片数据组织模型制作，通过矢量瓦片服务方式供空间大数据三维可视化平台使用，达到控制可视化空间数据量的目的。

数据调取和渲染采用数据计算和数据调度双引擎的运行机制，计算引擎角色由三维渲染引擎充当，负责场景LOD的计算，活动结点的可见性判定，并且将最终需要绘制的模型数据送至GPU去绘制；而数据调度引擎则专门负责数据请求的处理和数据的读取和丢弃。在两个数据处理引擎之间采用互斥机制的逻辑锁以达到同步运行，协同工作的目的。

在可视化表达时只调度用于可视化的空间拓扑信息，将极大的降低三维地理可视化平台对于计算机资源的消耗。

每次三维渲染引擎的帧循环，也会对视窗体内数据内容进行分组。在每次帧循环中，该渲染过程的调度数量越少，则空间大数据三维可视化平台的渲染效率越高，该数值一般平衡在30-60帧左右为最佳。本发明以一个瓦片数据块中同类图元结构数据模型的所有数据，划分成一个数据Mesh，在帧循环中，对该组数据执行一次渲染操作，以维持空间大数据三维可视化平台始终在一个高速的运转状态。

在空间大数据三维可视化平台上，能够实现数据对象模型的高效可视化，只是平台的基本功能。数据可视化并非应用的终点，数据可视化之后应当能够提供用户更深层次的数据应用，如数据拾取，数据分析，数据推演等等。因此数据可视化之后，应当提供与其相匹配的多维属性信息内容。本发明建立了两条主要的逻辑工作线程：空间拓扑数据渲染主线程(由三维渲染主线程充当)和属性维护信息查询附加线程，两个工作线程通过矢量空间索引建立后台数据模型之间的连接。

附图说明

图1为传统空间大数据可视化表达模式图。

图2为空间大数据流模式可视化表达模式图。

图3为瓦片数据处理逻辑示意图。

图4为矢量瓦片服务终端呈现效果图。

图5为四叉树划分索引区域示意图.

图6为四叉树的内部结构示意图。

图7为空间大数据三维可视化平台的逻辑模型示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本实施例提供一种空间大数据三维可视化平台，可以实现基于属性分离的空间大数据三维可视化。

1.数据预处理

为了建立空间大数据三维可视化平台，首先对矢空间大数据进行矢量瓦片服务的预处理。

栅格空间数据瓦片服务(Tile Map Service)，是一种基于瓦片组织数据的网络地图服务，他以可计算规则的瓦片为单位组织地图数据。在网络终端执行业务应用时，通过瓦片划分规则计算出瓦片索引，以索引参数值向网络服务中心请求调度数据，以该种形式实现对于局部地图数据的精准快速调度访问。传统的空间数据瓦片服务(Tile MapService)，依据一定的数学规则，把空间大数据按照Web墨卡托投影执行坐标投影转换，根据其坐标体系执行层、行、列的坐标匹配关系。通常按照约定俗成的多级固定比例尺，从每层空间数据的左下角开始，自左至右，自上而下的顺序(或者从左下角开始，自左至右，自下而上的顺序)切割成相同大小的数据瓦片，以四叉树方式划分出多层的瓦片矩阵，构成空间数据的多层多级瓦片金字塔结构。该过程称之为空间数据切图，是对于空间数据在三维地理信息可视化的预处理过程。

矢量空间数据瓦片服务(Tile Feature Service)，类似于传统的空间数据瓦片服务，遵循同样的逻辑思路，其目的是减少网络数据的传输量，从而缩短网络的响应时间，最终达到提高终端用户体验的目的。和栅格切片一样的思路，以金字塔的方式切割矢量数据，只不过切割的不是栅格图片，而是矢量数据的描述性文件，目前矢量切片主要有以下三种格式：GeoJSON，TopoJSON和MapbBox Vector Tile(MVT)。

为了建立瓦片服务的通用性，在矢量空间大数据切图过程中，我们采用了Web墨卡托投影，用以保证地图数据切片的一致性，从而实现客户端三维空间坐标到行列体系结构值到大地坐标的快速转换。

Web墨卡托投影的公式与标准的球面墨卡托投影一样，实质上是将球面墨卡托投影公式运用于椭球面坐标的投影计算方法。该投影坐标的大地基准面(Datum)是WGS84椭球体，球面墨卡托投影公式选用WGS84椭球体的长半轴半径，即6378137米。相比于墨卡托投影(球面或椭球面)在任意点各向长度比相等，沿直线方位不变的特性，只相当于近似的椭球面墨卡托。

从数学公式来看，假设墨卡托投影的坐标系原点为(0，λ₀)，表示X轴为赤道，Y轴则在经度为λ₀处垂直于赤道。墨卡托投影的地图坐标(x，y)计算公式如下：

x＝R(λ-λ₀) (1)

其中，R是球体的半径，

λ是经度(弧度)，

φ是纬度(弧度)。

类球体(spheroid，也有时候叫做ellipsoid of revolution)的地图坐标(x，y)如下：

x＝a(λ-λ₀) (3)

其中，a是椭球体的长半轴，

e是椭球体的第一偏心率，

b是椭球体的短半径。

2.数据请求

如图3所示，在空间大数据三维可视化平台，建立数据渲染引擎和数据调度引擎，并执行如下数据请求的消息循环：

①数据判定：在空间大数据三维可视化平台的相机漫游过程之中，随着场景相机视点的变动，场景中活动结点所表示的数据瓦片块首先进行可见性判定，如果该数据瓦片块位于视窗体域之内且可见，并且该结点所包含的网格数据瓦片块不在数据池缓冲区缓存之中，则执行请求数据(进入步骤②)；如果该数据瓦片块可见，并且该结点所包含的数据瓦片块存在于数据池缓冲区缓存中，则直接从缓存中调度(进入步骤④)；如果该数据瓦片块不可见，则跳过继而执行下个循环。

②请求数据：数据调度引擎读取数据瓦片载入请求缓冲区的非缓存数据瓦片的参数，通过数据优先调度策略(采用坐标范围中心瓦片块起始，根据逆时针由内向外进行建立数据片调度优先级的策略)，通过多工作线程(默认数据调度线程数为8)机制，从数据瓦片服务处进行数据调度，等待数据反馈后，交予负责I/O的线程进行处理。

对于虽然为活动结点，但不可见的数据瓦片块，不载入内存，又由于每次装载的数据都是代表某一块的批数据，因此可以减小数据调度粒度，节省系统资源的耗费。

整个运行时刻采用数据计算和数据调度双引擎的运行机制，计算引擎角色由三维渲染引擎充当，负责场景LOD的计算，活动结点的可见性判定，并且将最终需要绘制的模型数据送至GPU去绘制；而数据调度引擎则专门负责数据请求的处理和数据的读取和丢弃。在两个数据处理引擎之间采用互斥机制的逻辑锁以达到同步运行，协同工作的目的。

3.优化三维渲染引擎图元结构

通过研究发现，空间大数据来源于地理信息系统中对于矢量数据的描述，包括了空间信息和属性信息两个部分的内容。从空间大数据拓扑关系表现形式上来看，空间大数据就是点、线、面，以及多点、多线、多面的集合体，在三维地理可视化平台上多侧重于展示其空间信息部分，即便有属性信息部分的展示，也只是其某一类属性信息在空间信息表达上的叠加，并不需要将空间大数据单体的全部信息纳入到计算机内存中，如果在可视化表达时只调度用于可视化的空间拓扑信息，将极大的降低三维地理可视化平台对于计算机资源的消耗。

具体地，如图3所示，在空间大数据三维可视化平台中，对于数据调度引擎从数据瓦片服务处得到数据瓦片块的数据反馈，进行如下操作：③数据反馈：每次数据渲染引擎的数据请求，通过数据池缓冲区逻辑处理之后，④数据提取：数据调度引擎提取反馈数据实体对象的矢量拓扑结构信息，也就是数据实体的关联的Geometry字段数据信息。⑤数据缓冲池在每次数据缓存时，需要将其拓扑结构信息(Geometry字段)转换成三维渲染引擎所能识别的最优化的图元结构数据模型[包括点(POINTS)，直线(LINES)，多段直线(LINE_STRIP)，封闭直线(LINE_LOOP)，三角形(TRIANGLES)，多段三角形(TRIANGLE_STRIP)，三角扇面(TRIANGLE_FAN)，四边形(QUADS)，多段四边形(QUAD_STRIP)，多边形(POLYGON)等类型结构]，在数据缓存池中的数据记录上增加优化后的图元结构数据模型字段。每次三维渲染引擎的帧循环所需要的数据，便是优化后的图元结构模型字段内容。

(3)数据渲染：每次三维渲染引擎的帧循环，也会对视窗体内数据内容进行分组，通过渲染开始(RenderBegin)——数据Mesh构建——渲染结束(RenderEnd)的逻辑过程来完成。在每次帧循环中，该渲染过程的调度数量越少，则空间大数据三维可视化平台的渲染效率越高，该数值一般平衡在30-60帧左右为最佳。在“基于属性分离的空间大数据三维可视化逻辑模型”中，我们选择以一个瓦片数据块中同类图元结构数据模型的所有数据，划分成一个数据Mesh，在帧循环中，对该组数据执行一次渲染操作，以维持空间大数据三维可视化平台始终在一个高速的运转状态。

渲染引擎将渲染后的模型数据送至图形处理器进行绘制，实现数据对象的三维可视化。该空间大数据三维可视化平台的服务终端呈现效果如图4所示。在该幅矢量瓦片数据可视化效果图中包含了不同颜色填充标识的陆地多边形矢量、水系/水域多边形矢量、植被多边形矢量、城市道路线矢量和小路矢量线数据图层，图中的网格灰线代表的是瓦片的边界。

4.数据缓存

如图5所示，在我们建立的空间四叉树索引中，每个节点表示覆盖了部分进行索引的空间的外包围边界框，根节点覆盖了整个索引区域。每个节点要么是叶节点，没有孩子。要么是内部节点，有四个孩子，每个孩子对应将区域沿两根轴对半分得到的四个象限中的一个。四叉树空间索引结构如图6所示，将数据插入四叉树时从根节点开始，判断你的数据点属于哪个象限。递归到相应的节点，重复步骤，直到到达叶节点，然后将该点加入节点的索引点列表中。如果列表中的元素个数超出了预设的最大数目，则将节点分裂，将其中的索引点移动到相应的子节点中去。

如图6所示的四叉树的内部结构，查询四叉树时从根节点开始，检查每个子节点看是否与查询的区域相交。如果是，则递归进入该子节点。当到达叶节点时，检查点列表中的每一个项看是否与查询区域相交，如果是则返回此项，通过如上空间索引的方式，可以快速匹配三维可视化场景的可视化对象的属性内容。

5.矢量空间数据属性信息匹配

在空间大数据三维可视化平台上，能够实现数据对象模型的高效可视化，只是平台的基本功能。数据可视化并非应用的终点，数据可视化之后应当能够提供用户更深层次的数据应用，如数据拾取，数据分析，数据推演等等。因此数据可视化之后，应当提供与其相匹配的多维属性信息内容。

为此，如图7所示，我们的空间大数据三维可视化平台，在空间拓扑数据渲染主线程之外，还有属性维护信息查询附加线程，两个工作线程通过矢量空间索引建立后台数据模型之间的连接，属性维护信息查询附加线程可以由属性维护引擎或数据调度引擎负责。

在数据缓存池数据结构中，以数据空间索引方式建立起用于三维可视化的矢量拓扑结构信息数据和用于查询分析的属性信息数据之间的联系。

为了保持瓦片数据结构与数据缓存矢量数据结构的一致性，我们在对矢量数据进行缓存优化处理时，采用相同的四叉树空间索引策略，这样能显著提高属性数据的匹配效率。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims

1.基于属性分离的空间大数据三维可视化方法，其特征在于，包括以下步骤：

⑤数据缓冲池在数据缓存时，将其拓扑结构信息换成三维渲染引擎所能识别的最优化的图元结构数据模型；在数据缓冲池中的数据记录上增加优化后的图元结构数据模型字段；

2.根据权利要求1所述的基于属性分离的空间大数据三维可视化方法，其特征在于：所述步骤(1)中，矢量空间大数据切片过程，采用Web墨卡托投影的方式。

3.根据权利要求1所述的基于属性分离的空间大数据三维可视化方法，其特征在于：所述步骤(2)中，②请求数据采用数据优先调度策略，以坐标范围中心瓦片块起始，根据逆时针由内向外进行建立数据片调度优先级，从数据瓦片服务处进行数据调度。

4.根据权利要求1所述的基于属性分离的空间大数据三维可视化方法，其特征在于：所述步骤(2)中，②请求数据通过多工作线程机制，从数据瓦片服务处进行数据调度。

5.根据权利要求1所述的基于属性分离的空间大数据三维可视化方法，其特征在于：所述步骤(3)中，以一个瓦片数据块中同类图元结构数据模型的所有数据，划分成一个数据Mesh，通过渲染开始——数据Mesh构建——渲染结束的逻辑过程，完成一次渲染操作。

6.根据权利要求1所述的基于属性分离的空间大数据三维可视化方法，其特征在于：所述步骤(3)中，渲染引擎将渲染后的模型数据送至图形处理器进行绘制，实现数据对象的三维可视化。

7.根据权利要求1所述的基于属性分离的空间大数据三维可视化方法，其特征在于：所述步骤(2)中，⑤数据缓冲池在数据缓存时，采用四叉树空间索引策略。

8.按权利要求1所述的基于属性分离的空间大数据三维可视化方法建立空间大数据三维可视化平台。

9.根据权利要求8所述的空间大数据三维可视化平台，其特征在于：它还包括属性维护信息查询附加线程，所述属性维护信息查询附加线程由属性维护引擎执行查询分析属性信息数据功能。

10.根据权利要求9所述的空间大数据三维可视化平台，其特征在于：用于三维可视化的矢量拓扑结构信息数据与用于查询分析的属性信息数据之间以数据空间索引方式相连接。