CN110110158A - 一种三维网格数据的存储空间划分方法及系统 - Google Patents

Abstract

本发明公开了一种三维网格数据的存储空间划分方法及系统。所述方法将海量的三维网格数据根据分块编号和分片编号划分为分散的、空间相连的小数据，分别存储在不同的逻辑存储单元中，使得在硬件资源有限的条件下，更高效的利用硬件资源的存储和计算能力，实现数据的分布式存储和并行计算。采用本发明方法对三维网格数据进行合理的划分和存储，能够最大化的挖掘硬件有限的存储资源和计算单元，提高硬件资源的利用率，同时提高空间数据的存储能力以及空间分析的效率。

Description

一种三维网格数据的存储空间划分方法及系统

技术领域

本发明涉及三维网格数据划分技术领域，特别是涉及一种三维网格数据的存储空间划分方法及系统。

背景技术

随着科学技术的不断进步及电脑软硬件的发展，人们对地上、地下资源的认知不断丰富，三维数据的格式也越来越多样化，对数据的精细化要求也越来越高，数据的实用性要求也越来越强。传统的结构数据不能很好的满足日益增长的发掘分析要求，网格数据由于其既可以满足查看的精细化，又可以满足分析的实用性，因此使用越来越广泛。然而在精细度提高和实用性增强的需求下，网格数据的数据量也必然会根据需求的增高而水涨船高，但是在数据存储方面，单个硬件设备的性能有限，不可能无限制的根据数据存储需求的增长而增长，不管是从数据存储方面还是计算方面，硬件设备的存储空间都将成为瓶颈。

目前国际上针对数据量的增大造成硬件设备面临的存储和计算性能的瓶颈，主要解决方法有两种：一种是采用传统型的数据库存储结构，即MPP(大massivelyparallelprocessing，大规模并行处理)架构进行网格数据存储；第二种是采用新型的分布式文件系统架构，比如Hadoop(一种由Apache基金会所开发的分布式系统基础架构)生态圈所采用的结构进行网格数据存储。这两种方法都能够并且已经很好的被应用在不同的行业，尤其电商行业，但针对空间数据，尤其地理信息行业的三维网格数据，其性能并不高，也不能充分利用各个硬件设备的物理计算单元进行存储。由此可以看出，最大化的使用现有的有限硬件存储资源，和最大化使用现有的有限的计算单元，是处理海量数据的关键点。因此随着三维数据尤其三维网格数据的兴起，针对其海量的特点，必然要以现有资源利用最大化为终极目标而进行数据划分，以提高现有资源的效率。

目前针对地理信息空间数据的查询分析，一般采用hash(哈希)分片策略对数据进行分片及存储。但hash(哈希)分片方法不是针对空间数据的有效分片方法，当面对海量的三维网格数据的查询分析时，hash(哈希)方法虽然可以利用硬件资源进行存储，但不能充分利用已有的计算资源，在资源利用率方面尚有不足。

发明内容

本发明的目的是提供一种三维网格数据的存储空间划分方法及系统，以解决现有数据分片方法资源利用率低的问题。

为实现上述目的，本发明提供了如下方案：

一种三维网格数据的存储空间划分方法，所述方法包括：

获取多个三维网格数据在空间坐标系下的多个位置坐标；

根据多个所述位置坐标确定多个所述三维网格数据的分块编号；

根据所述分块编号确定所述三维网格数据的分片编号；

根据所述分片编号将所述三维网格数据分配至不同的逻辑存储单元进行存储。

可选的，所述获取多个三维网格数据在空间坐标系下的多个位置坐标，具体包括：

根据所述三维网格数据的空间位置信息，以X方向上由左到右排序、Y方向由前到后排序、Z方向上由上到下排序的规则建立所述空间坐标系；

获取所述三维网格数据在空间坐标系的X轴、Y轴和Z轴三个方向上的坐标值作为所述三维网格数据的位置坐标(i，j，k)。

可选的，所述根据多个所述位置坐标确定多个所述三维网格数据的分块编号，具体包括：

分别获取所述空间坐标系的X轴、Y轴和Z轴方向的分块大小i_block_size、j_block_size和k_block_size；

分别采用公式I＝i/i_block_size、J＝j/j_block_size、K＝k/k_block_size确定所述三维网格数据的分块编号(I，J，K)。

可选的，所述根据所述分块编号确定所述三维网格数据的分片编号，具体包括：

根据所述分块编号(I，J，K)，按照如下规则确定所述三维网格数据的分片编号：

若(I％4＝＝0)，则确定所述三维网格数据的分片编号为(J％(S)+1)；

若(I％4＝＝2)，则确定所述三维网格数据的分片编号为(N-(J％(S)))；

若(I％4＝＝1)，则确定所述三维网格数据的分片编号为((J％(S)+1)+N)；

若(I％4＝＝3)，则确定所述三维网格数据的分片编号为((N-(J％(S)))+N)；其中N为逻辑存储单元个数的1/2；S＝min{J，N}。

一种三维网格数据的存储空间划分系统，所述系统包括：

位置坐标获取模块，用于获取多个三维网格数据在空间坐标系下的多个位置坐标；

分块编号确定模块，用于根据多个所述位置坐标确定多个所述三维网格数据的分块编号；

分片编号确定模块，用于根据所述分块编号确定所述三维网格数据的分片编号；

数据划分存储模块，用于根据所述分片编号将所述三维网格数据分配至不同的逻辑存储单元进行存储。

可选的，所述位置坐标获取模块具体包括：

空间坐标系建立单元，用于根据所述三维网格数据的空间位置信息，以X方向上由左到右排序、Y方向由前到后排序、Z方向上由上到下排序的规则建立所述空间坐标系；

位置坐标确定单元，用于获取所述三维网格数据在空间坐标系的X轴、Y轴和Z轴三个方向上的坐标值作为所述三维网格数据的位置坐标(i，j，k)。

可选的，所述分块编号确定模块具体包括：

分块大小确定单元，用于获取所述空间坐标系的X轴、Y轴和Z轴方向的分块大小i_block_size、j_block_size和k_block_size；

分块编号确定单元，用于分别采用公式I＝i/i_block_size、J＝j/j_block_size、K＝k/k_block_size确定所述三维网格数据的分块编号(I，J，K)。

可选的，所述分片编号确定模块具体包括：

分片编号确定单元，用于根据所述分块编号(I，J，K)，按照如下规则确定所述三维网格数据的分片编号：

若(I％4＝＝0)，则确定所述三维网格数据的分片编号为(J％(S)+1)；

若(I％4＝＝2)，则确定所述三维网格数据的分片编号为(N-(J％(S)))；

若(I％4＝＝1)，则确定所述三维网格数据的分片编号为((J％(S)+1)+N)；

若(I％4＝＝3)，则确定所述三维网格数据的分片编号为((N-(J％(S)))+N)；其中N为逻辑存储单元个数的1/2；S＝min{J，N}。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供一种三维网格数据的存储空间划分方法及系统，所述方法将很大数据量的三维网格数据根据分块编号和分片编号划分为分散的、空间相连的小数据，分别存储在不同的逻辑存储单元中，以实现在现有有限的硬件资源下进行分布式存储和并行计算，有效利用现有的硬件资源的存储和计算能力。采用本发明方法对三维网格数据进行合理的划分和存储，能够最大化的使用现有的有限硬件存储资源和有限的计算单元，提高现有硬件资源的利用率，并提高空间数据的存储以及空间分析的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的三维网格数据的存储空间划分方法的方法流程图；

图2为本发明提供的三维网格数据的存储空间划分系统的系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种三维网格数据的存储空间划分方法及系统，以解决现有数据分片方法资源利用率低的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明提供的三维网格数据的存储空间划分方法的方法流程图。参见图1，本发明提供的三维网格数据的存储空间划分方法具体包括：

步骤101：获取多个三维网格数据在空间坐标系下的多个位置坐标。

根据所述三维网格数据的空间位置信息，按照空间直角坐标系为基准，以X轴正方向从左到右排序，Y轴正方向从前到后排序，Z轴正方向从上到下排序的规则建立所述空间坐标系，将三维网格数据进行X、Y、Z三个方向上的位置标识，标识位置用自然数字表示，数字大小从0开始逐渐变大，获得所述三维网格数据在空间坐标系的X轴、Y轴和Z轴三个方向上的坐标值作为所述三维网格数据的位置坐标(i，j，k)。

在实际应用中，可以根据多个所述三维网格数据建立网格模型，并建立所述网格模型的外包盒，网格模型的外包盒是指能够将所有网格模型包含在内的最小的正立方体，外包盒范围的计算方法如下：将第一个网格数据点的位置作为外包盒的起始值，然后依次遍历其他的网格的顶点坐标，如果顶点坐标的x值(y值，z值)不在外包盒的范围内，则外扩外包盒值到达能够更好包含该网格的最小的范围，直到所有网格被包含进来，得到所述网格模型的外包盒范围。

将所述网格模型的外包盒的左上角设定为原始点，对网格模型的外包盒根据网格模型的位置进行划分，确定网格模型中各三维网格数据的位置坐标，具体为：

将网格模型的X轴方向的小网格，根据其外包盒划分网格的数字进行标识，用i表示；

将网格模型的Y轴方向的小网格，根据其外包盒划分网格的数字进行标识，用j表示；

将网格模型的Z轴方向的小网格，根据其外包盒划分网格的数字进行标识，用k表示；

最终所述网格模型的一个网格用位置坐标(i，j，k)唯一标识，所述网格模型的一个网格即对应一个所述三维网格数据。

步骤102：根据多个所述位置坐标确定多个所述三维网格数据的分块编号。

本发明对所述网格模型进行空间划分时分为两个层次，逻辑划分和物理划分。逻辑划分采用的规则为令单个逻辑存储单元(用分块表示)尽量的大，物理划分采用的划分规则为令相邻的块尽量分散到不同的物理单元(用分片表示)。根据逻辑划分所采用的规则，确定划分的分块的大小；根据物理划分所采用的规则中的物理单元个数确定分片个数。

在存储空间方面，因为单个物理逻辑单元(例如电脑磁盘)的存储空间是有限的，因此可以考虑利用多个电脑存放数据量大的三维网格数据；而一个数据必须拆开才能放到多个电脑上，因此本发明采用分块和分片方式划分三维网格数据的存储空间。在计算能力方面，电脑的中央处理器(CPU，Central ProcessingUnit)和内存有限，而且一个CPU跑的不仅是一个任务，所以要计算每个CPU能够承担的运算能力，若CPU内存太小，而分块太大，会导致数据输入、输出时间比较长，效率低下，因此本发明根据逻辑划分所采用的规则、实际的分析需求、以及逻辑存储单元的性能来确定分块大小。

根据逻辑划分所采用的规则，通过测试需求功能，找到能够满足用户需求的分块大小作为单个分块大小的标准。考虑扇区是磁盘上最基本的逻辑存储单元，每扇区的基本容量为4096B的整数倍，所以逻辑存储单元尽量为4K的整数倍，X轴、Y轴和Z轴方向的分块的大小根据实际网格模型的形状进行设置，且分别用i_block_size、j_block_size和k_block_size表示。X轴、Y轴和Z轴方向上的分块大小可以相同，也可以不同。例如测试得到X轴、Y轴和Z轴方向的分块大小分别为128、128、128的大小时，硬件运行正常，且单个需求功能能够满足需求，则确定X轴、Y轴和Z轴方向的分块大小i_block_size、j_block_size和k_block_size均为128。

根据所述分块大小对整个网格模型进行划分，并以自然数字进行编号标识，各个网格的分块编号用(I，J，K)表示，其中：

I的计算方式为当前网格的X方向上的坐标i除以X方向上的块的大小，计算公式如下：

I＝i/i_block_size；

J的计算方法为当前网格的Y方向上的坐标j除以Y方向上的块的大小，计算公式如下：

J＝j/j_block_size；

K的计算方法为当前网格的Z方向上的坐标k除以Z方向上的块的大小，计算公式如下：

K＝k/k_block_size。

由此就确定了各个网格对应的所述三维网格数据的分块编号(I，J，K)。

步骤103：根据所述分块编号确定所述三维网格数据的分片编号。

根据上述分块的唯一标识(I，J，K)，以及分片的个数及轮旋规则将三维网格数据轮旋分配到对应的分片，即确定各个网格的分片编号，根据分片编号将网格数据分配至对应的逻辑存储单元。其中分片个数根据实际情况确定，如当前存在2N个逻辑单元可以存放数据，则设分片个数为2N。

本发明采用的所述轮旋规则为根据X、Y方向轮旋，Z方向不参与轮旋，具体过程如下：

(1)计算分片个数的1/2，记为N；

(2)取J和N中的最小值记为S，即S＝min{J，N}；

(3)将块的唯一标识(I，J，K)根据如下规则进行分片编号:

如果(I％4＝＝0)，则分片编号为(J％(S)+1)；

如果(I％4＝＝2)，则分片编号为(N-(J％(S)))；

如果(I％4＝＝1)，则分片编号为((J％(S)+1)+N)；

如果(I％4＝＝3)，则分片编号为((N-(J％(S)))+N)；

其中“％”为取余符号，“I％4＝＝0”表示I对4取余，余数为0，“J％(S)+1”表示J对S取余然后加1。“如果(I％4＝＝0)，则分片编号为(J％(S)+1)”的意思就是I对4取余，如果余数为0，则分片编号为J对S取余然后加1。同理，“如果(I％4＝＝2)，则分片编号为(N-(J％(S)))”的意思是I对4取余，如果余数为2，则分片编号为N减去J对S取余的值，以此类推。

步骤104：根据所述分片编号将所述三维网格数据分配至不同的逻辑存储单元进行存储。

根据所述分片编号将所述三维网格数据对应分配到不同的物理逻辑单元进行存储。例如假设有4台电脑，每个电脑空间只有1G，如果有一份4G的三维网格数据，则将所述三维网格数据划分为四片存储到4台电脑中。预先为4台电脑编号，然后根据各台电脑磁盘大小确定分块大小，根据分块大小和分片个数确定分片编号，最后根据所述分片编号将所述三维网格数据分配至编号一致的电脑磁盘中进行存储。

本发明建立一种三维网格数据的存储空间划分方法，将很大数据量的三维网格数据划分为分散的空间相连的小数据存储到不同的逻辑单元中，以实现在现有有限的硬件资源下进行存储和并行计算，有效的利用了现有硬件资源的存储和计算能力。采用本发明所提供的三维网格数据的存储空间划分方法能够将三维网格数据分散的存放在存储空间小的物理磁盘上，聚合了所有硬件资源的能力，并且可以利用各个物理节点的计算资源进行数据运算，因此降低了数据存储成本和计算成本，有效利用了零散的存储空间和计算能力，降低单个硬件资源的存储负载和计算压力，避免了大量低配置硬件资源的闲置，实现了有限的存储资源和计算单元的最大化利用。

基于本发明提供的存储空间划分方法，本发明还提供一种三维网格数据的存储空间划分系统，参见图2，所述系统包括：

位置坐标获取模块201，用于获取多个三维网格数据在空间坐标系下的多个位置坐标；

分块编号确定模块202，用于根据多个所述位置坐标确定多个所述三维网格数据的分块编号；

分片编号确定模块203，用于根据所述分块编号确定所述三维网格数据的分片编号；

数据划分存储模块204，用于根据所述分片编号将所述三维网格数据分配至不同的逻辑存储单元进行存储。

其中，所述位置坐标获取模块201具体包括：

空间坐标系建立单元，用于根据所述三维网格数据的空间位置信息，以X方向上由左到右排序、Y方向由前到后排序、Z方向上由上到下排序的规则建立所述空间坐标系；

位置坐标确定单元，用于获取所述三维网格数据在空间坐标系的X轴、Y轴和Z轴三个方向上的坐标值作为所述三维网格数据的位置坐标(i，j，k)。

所述分块编号确定模块202具体包括：

分块大小确定单元，用于获取所述空间坐标系的X轴、Y轴和Z轴方向的分块大小i_block_size、j_block_size和k_block_size；

分块编号确定单元，用于分别采用公式I＝i/i_block_size、J＝j/j_block_size、K＝k/k_block_size确定所述三维网格数据的分块编号(I，J，K)。

所述分片编号确定模块203具体包括：

分片编号确定单元，用于根据所述分块编号(I，J，K)，按照如下规则确定所述三维网格数据的分片编号：

若(I％4＝＝0)，则确定所述三维网格数据的分片编号为(J％(S)+1)；

若(I％4＝＝2)，则确定所述三维网格数据的分片编号为(N-(J％(S)))；

若(I％4＝＝1)，则确定所述三维网格数据的分片编号为((J％(S)+1)+N)；

若(I％4＝＝3)，则确定所述三维网格数据的分片编号为((N-(J％(S)))+N)；其中N为逻辑存储单元个数的1/2；S＝min{J，N}。

本发明提供了一种三维网格数据的存储空间划分方法及系统，当单个存储硬件设备不给力、单个硬件设备计算能力不足、并且有多个硬件设备在空闲时，就可以搭建集群，充分利用零散的存储设备和计算单元存储数据量较大的三维网格数据。使用本发明提供的三维网格数据的存储空间划分方法，既可以保证三维网格数据在各个集群上存储负载均衡，又能保证空间分析算法的并行计算，对划分的单个逻辑层次的逻辑块单独进行空间分析，再将结果汇总，实现了单个物理单元不能实现的功能，同时又提高了单个物理单元的计算效率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种三维网格数据的存储空间划分方法，其特征在于，所述方法包括：

获取多个三维网格数据在空间坐标系下的多个位置坐标；

根据多个所述位置坐标确定多个所述三维网格数据的分块编号；

根据所述分块编号确定所述三维网格数据的分片编号；

根据所述分片编号将所述三维网格数据分配至不同的逻辑存储单元进行存储。

2.根据权利要求1所述的三维网格数据的存储空间划分方法，其特征在于，所述获取多个三维网格数据在空间坐标系下的多个位置坐标，具体包括：

根据所述三维网格数据的空间位置信息，以X方向上由左到右排序、Y方向由前到后排序、Z方向上由上到下排序的规则建立所述空间坐标系；

获取所述三维网格数据在空间坐标系的X轴、Y轴和Z轴三个方向上的坐标值作为所述三维网格数据的位置坐标(i，j，k)。

3.根据权利要求2所述的三维网格数据的存储空间划分方法，其特征在于，所述根据多个所述位置坐标确定多个所述三维网格数据的分块编号，具体包括：

分别获取所述空间坐标系的X轴、Y轴和Z轴方向的分块大小i_block_size、j_block_size和k_block_size；

分别采用公式I＝i/i_block_size、J＝j/j_block_size、K＝k/k_block_size确定所述三维网格数据的分块编号(I，J，K)。

4.根据权利要求3所述的三维网格数据的存储空间划分方法，其特征在于，所述根据所述分块编号确定所述三维网格数据的分片编号，具体包括：

根据所述分块编号(I，J，K)，按照如下规则确定所述三维网格数据的分片编号：

若(I％4＝＝0)，则确定所述三维网格数据的分片编号为(J％(S)+1)；

若(I％4＝＝2)，则确定所述三维网格数据的分片编号为(N-(J％(S)))；

若(I％4＝＝1)，则确定所述三维网格数据的分片编号为((J％(S)+1)+N)；

若(I％4＝＝3)，则确定所述三维网格数据的分片编号为((N-(J％(S)))+N)；其中N为逻辑存储单元个数的1/2；S＝min{J，N}。

5.一种三维网格数据的存储空间划分系统，其特征在于，所述系统包括：

位置坐标获取模块，用于获取多个三维网格数据在空间坐标系下的多个位置坐标；

分块编号确定模块，用于根据多个所述位置坐标确定多个所述三维网格数据的分块编号；

分片编号确定模块，用于根据所述分块编号确定所述三维网格数据的分片编号；

数据划分存储模块，用于根据所述分片编号将所述三维网格数据分配至不同的逻辑存储单元进行存储。

6.根据权利要求5所述的三维网格数据的存储空间划分系统，其特征在于，所述位置坐标获取模块具体包括：

空间坐标系建立单元，用于根据所述三维网格数据的空间位置信息，以X方向上由左到右排序、Y方向由前到后排序、Z方向上由上到下排序的规则建立所述空间坐标系；

位置坐标确定单元，用于获取所述三维网格数据在空间坐标系的X轴、Y轴和Z轴三个方向上的坐标值作为所述三维网格数据的位置坐标(i，j，k)。

7.根据权利要求6所述的三维网格数据的存储空间划分系统，其特征在于，所述分块编号确定模块具体包括：

分块大小确定单元，用于获取所述空间坐标系的X轴、Y轴和Z轴方向的分块大小i_block_size、j_block_size和k_block_size；

分块编号确定单元，用于分别采用公式I＝i/i_block_size、J＝j/j_block_size、K＝k/k_block_size确定所述三维网格数据的分块编号(I，J，K)。

8.根据权利要求7所述的三维网格数据的存储空间划分系统，其特征在于，所述分片编号确定模块具体包括：

分片编号确定单元，用于根据所述分块编号(I，J，K)，按照如下规则确定所述三维网格数据的分片编号：

若(I％4＝＝0)，则确定所述三维网格数据的分片编号为(J％(S)+1)；

若(I％4＝＝2)，则确定所述三维网格数据的分片编号为(N-(J％(S)))；

若(I％4＝＝1)，则确定所述三维网格数据的分片编号为((J％(S)+1)+N)；

若(I％4＝＝3)，则确定所述三维网格数据的分片编号为((N-(J％(S)))+N)；其中N为逻辑存储单元个数的1/2；S＝min{J，N}。