CN116467540A - 一种基于HBase的海量空间数据快速可视化方法 - Google Patents

Abstract

本发明公开了一种基于HBase的海量空间数据快速可视化方法，对空间数据降维处理，构建聚合分类存储模型，行键RowKey分布式空间索引设计，完成数据存储与查询；对海量建筑矢量数据进行顾及建筑物空间分布的抽稀，并对抽稀后的建筑数据构建顾及建筑特征的稠稀矢量瓦片数据集；最后根据比例尺和倾斜视角设置，加载浏览视角内建筑物体块模型，并应用WebGL的多层次多细节渲染。本发明的方法通过创新设计分布式存储机制，克服了海量数据存储、查询效率低的局限，通过创新数据抽稀方法和矢量瓦片构建方法，克服了建筑物体块模型数据在Web端渲染与调用传输的局限，实现了千万级建筑物体块模型自动化分级渲染，海量建筑物模型无需预先缓存切片即可达到秒级渲染。

Description

一种基于HBase的海量空间数据快速可视化方法

技术领域

本申请涉及地理信息数据处理领域，尤其涉及一种基于HBase的海量空间数据快速可视化方法。

背景技术

近年来，随着对地观测、卫星遥感、生态评估、国土监管逐渐向宏观、动态、精细化方向发展，基础地理信息数据的更新速度与精度要求越来越高，因而形成了海量的多时期、高精度地理信息数据。传统的空间数据库在数据量增长至一定程度之后会出现无法运行等问题，无法满足海量空间数据的存储管理和快速检索。近些年大数据领域也涌现了许多分布式数据库，但在实际使用过程中，海量空间数据多条件查询性能低下，尤其空间查询效率不太理想，无法满足实际复杂应用场景的性能需求。

现有前端渲染海量三维空间数据会存在Web端渲染与调用传输的局限，地图场景中小比例尺和倾斜视角越大时，浏览视角范围越大，地图渲染引擎需要加载大量远处地表上的建筑物体块模型数据，大数据量的体块数据的网络传输也受限于网络宽带大小，在浏览器端调用过程中出现数据获取、数据传输、加载慢等问题，浏览器加载大量体块数据会导致严重卡顿，用户的界面体验差。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于HBase的海量空间数据快速可视化方法，以解决海量数据展示过程中存在的难以兼顾质量与速度的问题。

为实现上述技术目的，本发明采用如下方案：

一种基于HBase的海量空间数据快速可视化方法，包括：

将建筑物矢量数据存储至HBase分布式数据库，并建立空间索引和行键索引；

对不同层级的矢量数据按照建筑物特征抽稀，包括：

a. 将建筑物按数量和对居民生活重要性划分类别并按照类别重要性等级排序；

b. 对各类别建筑物按照建筑面积排序并按照百分比划分，将建筑物按照面积重要度等级排序；

c. 建立类别属性和面积重要度等级的映射表，在层级降低时，按照重要度等级保留地物信息；

构建不同层级的瓦片切割网格，将矢量数据映射至各层级切割网格；

以建筑物面为地面，按照建筑物高度，生成三维建筑物体块模型，并可视化显示。

作为一种优选的实施方式，数据存储时，将建筑物按照行政区划横向切割成多个子表Region，根据数据相关性程度存储到不同节点服务器上，相关性高的数据存储至同一服务器。

作为一种优选的实施方式，所述建立空间索引包括构建建筑物最小包围盒，再对最小包围盒创建空间索引，所述构建建筑物最小包围盒包括：

对各建筑物面构建轴向包围盒，分别计算轴向包围盒的边长差，筛选出边长差大于 n 的包围盒，对筛选出的包围盒采用方向包围盒取代原本的轴向包围盒。

作为一种优选的实施方式，对分区ID、建筑物最小包围盒的空间索引编码、建筑物类型、楼层属性、要素ID进行组合计算，作为行键索引；优选将分区ID、建筑物最小包围盒的空间索引编码、建筑物类型、楼层属性、要素ID拼接后的数据进行哈希运算，生成的字符串写入行键索引字段。

作为一种优选的实施方式，类别重要性等级和面积重要度等级的级别数量相同。

作为一种优选的实施方式，所述映射表为二维表形式，每个单元格数值为类别重要性等级和面积重要度等级组成的数值。

作为一种优选的实施方式，二维表横向数据表征的面积重要度等级相同，类别重要性等级递减；纵向数据类别重要性等级相同，面积重要性等级递减；

层级变化时，沿二维表对角线方向保留/舍去建筑物，相邻层级保留/舍去的差别建筑物类别重要性等级、面积重要性等级之和相同。

作为一种优选的实施方式，所述建筑物的类别包括居民小区，对于居民小区类建筑物，对不同层级的矢量数据按照建筑物特征抽稀后，对每一层级中面积排序在后m的居民小区进行剔除，所述m为预设百分数。

作为一种优选的实施方式，每个层级的瓦片数目为，n为层级序号；并使用KD树对瓦片建立索引。

作为一种优选的实施方式，各层级的瓦片切割网格构建方式如下：

从第一层级开始，先做平行于横坐标方向的横向线，将研究区域划分为两个空间内建筑物体积相等的子空间，对每个子空间利用平行于纵轴的纵向线分割为两个区域内建筑物体积相等的子区域，使4个子区域内建筑物体积相等；

对第二层级，采用同样的方式将4个子区域进一步分割为16个子区域，以此类推，完成全部层级的瓦片切割网格。

作为一种优选的实施方式，生成三维建筑物体块模型后，根据比例尺和倾斜视角设置，加载浏览视角内建筑物体块模型，并采用WebGL的多层次多细节渲染实现可视化。

本发明针对建筑物类空间数据地块众多、数据节点众多等特征，提供一种基于HBase的海量空间数据快速可视化方法。通过对空间数据降维处理，构建聚合分类存储模型，行键RowKey分布式空间索引设计，完成对海量数据的高效存储与查询；针对建筑物重要度等级不一和空间分布不均匀的特点，设计数据抽稀方法和矢量瓦片构建方法，减少了前后端传输的数据量，提升了数据加载效率，根据比例尺和倾斜视角设置，加载浏览视角内建筑物体块模型，并基于WebGL的多层次多细节渲染，提高了建筑物体块模型在浏览器端的渲染效率，在浏览器端实时渲染出互动性强的全省建筑物体块模型场景地图。本发明的方法克服了海量数据存储、查询效率低的缺陷；通过创新数据抽稀方法和矢量瓦片构建方法，克服了建筑物体块模型数据在Web端渲染与调用传输的局限，实现了千万级建筑物体块模型自动化分级渲染，海量建筑物模型无需预先缓存切片即可达到秒级渲染，实现了空间数据中的建筑数据在web端的大尺度快速展示。

附图说明

图1是不同层级地图展示时根据重要度等级对建筑物的保存情况。

图2是各层级瓦片网格切割原理示意图。

实施方式

下面以江苏省千万级建筑物体块模型数据为实例，对本发明的技术方案进行进一步阐述。

本发明所述的快速可视化方法包括如下步骤：

S1、基于分布式框架构建海量数据分布式存储。

S11、定义数据的分块大小和数据备份策略。

设置Hadoop分布式存储数据块大小影响数据寻址时间和磁盘传输时间，根据现有的分布式大数据环境和磁盘传输效率，将数据分块设置为128M。考虑跨虚拟机、跨机架、跨机器，以规避虚拟机、服务器本身以及电源、网络等可能造成的故障，我们采用1备3的备份策略。

S12、将空间数据存储到HBase分布式数据库。

将全省建筑物矢量数据导入到HBase数据库中，按照键值对的形式对全省建筑物矢量数据进行组织存储，键值对数据文件存放在基于Hadoop分布式文件系统中。首先将全省建筑物按照行政区划横向切割成多个子表Region，根据数据相关性程度存储到不同节点服务器上，相关性高的数据存储到一个服务器上，便于后续检索。数据相关性根据建筑物所属行政区划、类别、所属小区来定义，例如同一区划、同一小区、同一类别的建筑物相关度高，将其存储在一个节点上，可减少跨节点查询耗时和I/O读写操作。

每个建筑物数据分成不同列的集合，每列存储为一个键值对，空间数据的空间信息存为一个键值对，多个属性存为多个键值对。即使同一行键值对可能存在于不同的文件中，但在读取的时候，将会按需合并在一起返回给客户端。

S13、对建筑物数据进行转换处理。

按照XZ-Order曲线对建筑物数据进行降维处理，RowKey每条记录的唯一值，Value存储空间信息和属性信息，转成一维空间进行编码，空间信息按照WKT格式存为单独的列族，重要的属性字段如建筑物类别、建筑物楼层作为检索字段，单独为一列存储，其他字段聚合为一个列族存储。这样既降低数据冗余，也提高了数据检索效率，减少了空间数据与属性数据的关联时间。

S2、HBase分布式空间数据索引创建。

S21、构建建筑物最小包围盒，使用规则最小包围盒代替建筑物面的不规则多边形可以在后续空间索引编码过程中大幅提升检索效率。首先基于各建筑物面构建轴向包围盒，分别计算轴向包围盒的边长差，对于边长差大于n的包围体进行筛选，从而得到绝大部分狭长条状的建筑物面，对这部分建筑物面重新采用方向包围盒进行代替，有效提升了该类建筑物的空间索引编码精确度，进一步提升了总体数据的编码效率。

轴向包围盒的边长差通常是指轴向包围盒本身的边长差值，可以筛出部分狭长条状的建筑物面，以提高空间索引编码精确度，避免建筑误查。

另一种可选的实施方式是计算轴向包围盒对角线长度与建筑面最短对角线长度的差值，可以更准确的筛出狭长条状的建筑物面，但同样的提高了计算复杂度，在数据量较小时可采用这一计算方式。

S22、对全省建筑物数据构建空间索引。基于多级格网的思想，将全省范围按照四叉树递归分解成更小的格网，形成多分辨率的格网体系，每个格网表示的经纬度范围拥有相同的编码。将建筑物最小包围盒落入到适应级别的格网中，利用GeoHash对该格网进行二进制编码，将得到的二进制编码转换成字符串，形成要素的空间索引编码。按照这种索引生成算法对全省建筑物构建空间索引。

S23、构建全省建筑物RowKey索引。将分区ID、空间索引编码、建筑物类型、楼层属性和要素ID拼接后的数据进行哈希运算，生成的字符串写入RowKey索引字段，从而构建成全省建筑物的分布式空间索引，通过索引查询检索极大地提高了数据访问效率。

此处楼层属性信息即楼层的层数（如1楼、2楼）；数据分区后，主节点会通过元数据表记录某一个要素位于哪个分区上，每个分区均有个唯一ID，可以通过分区ID找到对应的分区表，其中每一个要素都有一个要素ID，此处的要素指代的是某一建筑。

S3、目前对于省级瓦片地图多采用0-20级的层级配置，在不同层级中需对矢量数据进行顾及建筑物特征的抽稀，以避免原始数据在小比例尺地图上出现分布密集以及信息压盖等问题。具体包括以下步骤：

S31、根据索引确定每个建筑物的类别，并根据对居民服务的重要性以及各类别建筑的数量综合排序为：行政机关、学校、医疗机构、居住小区、公司企业、综合体育中心、金融机构、通讯、旅游休闲场所以及娱乐购物场所共十个大类别，其重要度等级从1-10递减，即行政机关重要度等级为1，娱乐购物场所重要度等级为10。

S32、计算十个类别中各单体建筑物面积，对排序前10%的建筑物（按照面积从大→小排序），重要度等级为1，面积排名，排序10%-20%的建筑物，重要度等级为2，以此类推直至排序90%-100%的建筑物，重要度等级为10。

S33、建立类别属性和面积重要度等级的映射表（X,Y），对海量矢量建筑面实现二维的重要度等级排序，在层级逐级降低的同时，每个类别中的重要地物信息会被优先保留，并且可保证各类别建筑物在不同层级的地图显示中均会出现，其中不同层级地图展示时根据重要度等级对建筑物的保存情况如说明图1所示。

图1中数值的小数点左边和右边分别指类别的重要度和面积的重要度，例如图1中1.1代表该建筑物为某行政机关且该建筑物的面积在所有行政机关建筑物面积大小中排序前10%。

S34、在上述抽稀之后，本发明对于聚集密集的居民小区进行再次抽稀，对每一层级居民建筑面积排序在30%之后的建筑物面进行剔除，即在地图显示页面中，对各层级的居民建筑物均只保留面积占比前70%的部分。

该阈值（30%）由多次试验进行确定。

S4、在矢量数据的空间坐标系下构建顾及建筑物空间分布的不同层级的切割网格，并将矢量数据集映射至各层级切割网格，从而完成各层级抽稀矢量瓦片的构建，具体包括如下步骤。

S41、确定各层次的瓦片数量；矢量瓦片的层级表示瓦片地图的比例尺参数。目前对于江苏省千万级建筑物瓦片地图多采用0-20级的层级配置，在瓦片构建时每一个层级的瓦片数目由其层级确定。如果瓦片层级为n，则第n层级瓦片数目为4^n。

S42、根据矢量数据坐标系确定各层级切割网格；考虑到建筑物的空间分布密度和高度均会影响后续建筑模型前端加载和渲染的效率，因此，本发明考虑以建筑物体积（面积*高度）为测算因素更符合实际。建筑物面矢量数据在给定坐标系中构成了一个二维平面，本发明首先计算实验区域内建筑物的体积，然后建立平行于坐标轴的纵横分界线将平面分为若干子区域，使每个子区域内的建筑物体积相等，下面为第一层级瓦片切割网格的制作为实例。

本发明在矢量数据构成的二维平面上以平行于横轴的横向线作为起始分割方向，该横向线可将实验区域分为子空间d1和d2（其中d1和d2区域内的建筑物体积相等）。并将d1和d2作为新的集合以平行于纵轴的纵向线进行分割，可分为d11、d12、d21、d22区域（四个区域内的建筑物体积相等），自此完成第一层级切割网格的创建。以此类推，完成全部层级的瓦片切割网格，其中切割网格原理如图2所示。

S43、对矢量数据进行切割，形成顾及建筑要素空间分布的稠稀矢量瓦片。将空间坐标系下的数据集映射投影至切割网格内，然后按照切割网格所覆盖的范围对不同实际展示范围的数据集进行切割，从而形成若干行和列具有指定空间参考和范围的矢量瓦片。

S5、从二维平面数据到三维体块模型数据，数据结构变得更加复杂，数据量也成倍增加。尤其在小比例尺下镜头高度较高或者地球俯视角越大时，浏览视角范围越大，地图渲染引擎需要加载大量远处地表上的建筑物体块模型数据，因此利用抽稀后的矢量瓦片数据，基于WebGL的多层次多细节渲染，提高了建筑物体块模型在浏览器端的渲染效率，从而实现浏览器中快速实时渲染出互动性强的全省建筑体块场景地图。

S51、以建筑物面为地面，按照建筑物高度，生成三维建筑物体块模型。

S52、在地图浏览场景，根据视点高度、俯视角实时计算地图显示区域，根据计算出的视角范围计算出要显示的建筑物体块要素，对于距离视点较远的地理要素，用户并不关心要素细节，加载大量建筑物体块模型数据会浪费GPU资源，因此对即将要加载显示的建筑物按照高度进一步过滤，避免加载不必要的建筑物体块模型数据，提高了地图渲染效率。

S53、浏览器利用WebGL实时渲染建筑物体块模型，通过GPU上的着色器对建筑物体块模型的颜色、透明度、阴影等参数进行计算，实现建筑物体块模型的高效渲染。

Claims (10)

1.一种基于HBase的海量空间数据快速可视化方法，其特征在于，包括：

将建筑物矢量数据存储至HBase分布式数据库，并建立空间索引和行键索引；

对不同层级的矢量数据按照建筑物特征抽稀，包括：

a. 将建筑物按数量和对居民生活重要性划分类别并按照类别重要性等级排序；

b. 对各类别建筑物按照建筑面积排序并按照百分比划分，将建筑物按照面积重要度等级排序；

c. 建立类别属性和面积重要度等级的映射表，在层级降低时，按照重要度等级保留地物信息；

构建不同层级的瓦片切割网格，将矢量数据映射至各层级切割网格；

以建筑物面为地面，按照建筑物高度，生成三维建筑物体块模型，并可视化显示。

2.根据权利要求1所述的方法，其特征在于，数据存储时，将建筑物按照行政区划横向切割成多个子表Region，根据数据相关性程度存储到不同节点服务器上，相关性高的数据存储至同一服务器。

3.根据权利要求1所述的方法，其特征在于，所述建立空间索引包括构建建筑物最小包围盒，再对最小包围盒创建空间索引，所述构建建筑物最小包围盒包括：

对各建筑物面构建轴向包围盒，分别计算轴向包围盒的边长差，筛选出边长差大于n的包围盒，对筛选出的包围盒采用方向包围盒取代原本的轴向包围盒。

4.根据权利要求3所述的方法，其特征在于，对分区ID、建筑物最小包围盒的空间索引编码、建筑物类型、楼层属性、要素ID进行组合计算，作为行键索引；优选将分区ID、建筑物最小包围盒的空间索引编码、建筑物类型、楼层属性、要素ID拼接后的数据进行哈希运算，生成的字符串写入行键索引字段。

5.根据权利要求1所述的方法，其特征在于，类别重要性等级和面积重要度等级的级别数量相同；所述映射表为二维表形式，每个单元格数值为类别重要性等级和面积重要度等级组成的数值。

6.根据权利要求5所述的方法，其特征在于，二维表横向数据表征的面积重要度等级相同，类别重要性等级递减；纵向数据类别重要性等级相同，面积重要性等级递减；

层级变化时，沿二维表对角线方向保留/舍去建筑物，相邻层级保留/舍去的差别建筑物类别重要性等级、面积重要性等级之和相同。

7.根据权利要求1所述的方法，其特征在于，所述建筑物的类别包括居民小区，对于居民小区类建筑物，对不同层级的矢量数据按照建筑物特征抽稀后，对每一层级中面积排序在后m的居民小区进行剔除，所述m为预设百分数。

8.根据权利要求1所述的方法，其特征在于，每个层级的瓦片数目为，n为层级序号；并使用KD树对瓦片建立索引。

9.根据权利要求1所述的方法，其特征在于，各层级的瓦片切割网格构建方式如下：

从第一层级开始，先做平行于横坐标方向的横向线，将研究区域划分为两个空间内建筑物体积相等的子空间，对每个子空间利用平行于纵轴的纵向线分割为两个区域内建筑物体积相等的子区域，使4个子区域内建筑物体积相等；

对第二层级，采用同样的方式将4个子区域进一步分割为16个子区域，以此类推，完成全部层级的瓦片切割网格。

10.根据权利要求1所述的方法，其特征在于，生成三维建筑物体块模型后，根据比例尺和倾斜视角设置，加载浏览视角内建筑物体块模型，并采用WebGL的多层次多细节渲染实现可视化。