CN111696206A - 一种区域地质数据融合一体化存储管理及综合利用系统 - Google Patents

Abstract

一种区域地质数据融合一体化存储管理及综合利用系统，其包括：地质数据提取及地质数据预处理模块，地质表层建模模块，服务器，地质数据库，查询模块等，用于对三维地质模型过程中的数据进行查询，利用写缓存机制，有效提升海量小文件包的写入吞吐，还利用分布式的写缓存结构可以使得所有的分布节点都可以参与到文件的缓存和合并过程当中，加速文件的合并和后续的处理查询操作，还可以有效地减少存储量，有效地提高了效率。

Description

一种区域地质数据融合一体化存储管理及综合利用系统

技术领域

本发明涉及地质勘探处理技术领域，具体涉及一种区域地质数据融合一体化存储管理及综合利用系统。

背景技术

三维地学建模是由勘探地质学、数学地质、地球物理、矿山测量、矿井地质、GIS、图形图像学、科学可视化等学科交叉形成的一门新型学科，是对复杂的地质现象经过抽象化处理后，通过复杂的建模算法模拟出地质模型数据，用三维可视化的方式最终表达地下的地质情况。过去的十几年中，国内外众多学者对三维地学建模从理论上进行了较深入的研究，提出了多种三维地学空间模型或建模方法。从三维建模方法的基本元素来看，可以分为基于面表示的模型、基于体元的模型和混合数据模型。

目前，地质建模一般流程包括三个阶段，即“专业数据源处理—结构建模—三维应用”，这种建模方式称为地质地学“静态建模”。由于地质静态建模中的交互建模先要将建模区分割成多个建模单元分别建模，最后合并成整个结构模型，这样会造成建模数据量大、分块手动交互建模、投入人员多、建模周期长、模型更新困难等问题。并且数据一致性及完整性无法保证(原始专业模型与建模成果模型分离)。而建模完成后，其需要根据精确的测量或者地质的变化进行更新，而自动建模方式，则是自动或半自动的将数据量比较小、地质复杂度比较低的源数据构建为结构模型，其适应于建模源数据量比较小、可处理的地质复杂度低的建模场景，一般无法进行更新，需要采取全部模型重新建模。并且，现有的三维地质模型建模过程大都基于建模区域的钻孔数据，对于其建模区域的表层结构并未进行处理。

数据是信息系统的核心，是信息系统发挥作用的基础。然而在三维地质体建模过程中，能够用于建模的数据已经成为瓶颈问题。三维地质数据是地质体三维建模与可视化表达的基础必须建立行之有效的地质数据库。地质勘测人员通过地质数据库可以更好地识别、管理和分析海量、抽象的地质体各种数据为分析、挖掘出三维地质环境中的地质体信息以及观察地质体的结构特征、分布趋势、储量计算等工作做充分的准备，提高指导矿山生产与管理的效率。

发明内容

本发明的目的在于克服现有技术的不足，提供一种区域地质数据融合一体化存储管理及综合利用系统，利用写缓存机制，有效提升海量小文件包的写入吞吐，还利用分布式的写缓存结构可以使得所有的分布节点都可以参与到文件的缓存和合并过程当中，加速文件的合并和后续的处理查询操作，还可以有效地减少存储量，有效地提高了效率。

本发明提供了一种区域地质数据融合一体化存储管理及综合利用系统，其包括：

地质数据提取及地质数据预处理模块，用于获取地质区域的钻孔数据，将钻孔数据按照钻孔的类别编号和钻孔数据容量进行分类；在同一类钻孔数据中，选择这类中的标准钻孔数据，计算这类中的其他钻孔数据与标准钻孔数据的异同值，将标准钻孔数据和异同值按照预设的格式存储于服务器中；

地质表层建模模块，其包括表层数据获取模块，用于获取地质区域表层的表层数据，表层数据为深度数据和拍摄数据；

服务器，用于存储钻孔数据和表层数据，其包括第一缓存装置和第二缓存装置；

其中，第一缓存装置包括缓存处理模块、缓存器和存储器，具体的：

缓存处理模块，用于将同一类钻孔数据设置为小文件包写操作进缓存器；

缓存器，用于将小文件包缓存在内存后，小文件包将根据不同的查询，进行相应的小文件包合并操作，合并成为大的钻孔数据文件包之后，传输至存储器；

存储器，用于存储大的钻孔数据文件包；

其中，第二缓存装置也包括缓存处理模块、缓存器和存储器，具体的：

缓存处理模块，用于将深度数据和拍摄数据按照预设文件容量设置为多个小文件包写操作进缓存器；

缓存器，用于将多个小文件包分别缓存在内存后，多个小文件包将根据不同的查询，进行相应的小文件包合并操作，合并成为大的表层数据文件包之后，传输至存储器；

存储器，用于存储大的表层数据文件包；

系统还包括：

地质数据库，用于转录来自服务器中存储的钻孔数据和表层数据；

查询模块，用于对三维地质模型过程中的数据进行查询。

进一步地，还包括三维空间数据场构建模块，其包括：

插值模块，用于利用空间插值与拟合算法对地质数据库中经过稀疏采样得到的离散地预处理的钻孔数据进行插值处理；

空间数据场构建模块，用于断和预测地质体信息的分布趋势，构建三维规则空间数据场。

进一步地，还包括地质区域建模模块，其包括：

提取模块，用于基于隐式算法对三维规则数据场中的地质体进行等值面提取，得到由无数小三角片面组成的地质矿体等值面；

建模模块，用于基于地质矿体等值面转换得到多个建模点，基于建模点构建地质区域模型。

进一步地，地质表层建模模块还包括：

转换模块，用于获取的地质区域表层的深度数据和拍摄数据，转换得到多个表层建模点，同时确定地质区域表层和表层建模点的位置；

表层建模模块，用于基于地质区域表层和表层建模点的位置，构建地质表层模型。

进一步地，表层数据获取模块获取拍摄数据时，通过在拍摄视频时采用第一帧率和第一分辨率，拍摄图像采用十分之一的第一帧率以及大于第一分辨率的第二分辨率，并且拍摄图像在拍摄视频的同一周期内进行。

进一步地，还包括三维模型构建模块，用于将构建的地质区域模型和构建的地质表层模型进行融合，完成三维地质模型的构建。

本发明的区域地质数据融合一体化存储管理及综合利用系统，可以实现：

1)首次将写缓存机制应用于地质数据融合一体化存储管理及综合利用系统中，有效提升海量小文件包的写入吞吐。同时，设计了并行文件合并操作，通过并行的结构来进行文件的组织，并进行并行的写合并操作，可以有效提升小文件包的写吞吐。此外，还利用分布式的写缓存结构可以使得所有的分布节点都可以参与到文件的缓存和合并过程当中，加速文件的合并操作。

2)可以有效地减少存储量，使得在相同的存储空间下，在不提高成本和更换设备的情况下实际增大了存储数据量。对于后期服务器端大批量的数据进行的查询传输，计算处理以及建模等过程则因为数据的简化和减量，处理则变的相对简单，运行速度更高，分散式的处理方式有效地减轻了服务器端的负担，有效地提高了效率；

3)既保证了可以有高分辨率的超清图像，也可以满足实时的视频传输的要求，传输时，二者可以采用两个传输通道进行传输，从而提高效率，节约传输资源。此外，高清图像的处理不需要进行过多的后期算法来处理，因此有解决了显示处理一端进行后期的处理，处理数据量大且算法复杂的问题，从而可以更快和准确的去建立表层建模点。

附图说明

图1为区域地质数据融合一体化存储管理及综合利用系统结构示意图。

具体实施方式

下面详细说明本发明的具体实施，有必要在此指出的是，以下实施只是用于本发明的进一步说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出的一些非本质的改进和调整，仍然属于本发明的保护范围。

本发明提供了一种区域地质数据融合一体化存储管理及综合利用系统，如图1所示，其为区域地质数据融合一体化存储管理及综合利用系统的结构示意图，下面对区域地质数据融合一体化存储管理及综合利用系统进行具体地介绍。

本发明提供了一种区域地质数据融合一体化存储管理及综合利用系统，其包括：

地质数据提取及地质数据预处理模块，用于：

获取地质区域的钻孔数据，将钻孔数据按照钻孔的类别编号和钻孔数据容量进行分类，其中在进行分类的过程中，按照类别编号和钻孔数据容量具有一致性(根据实际的情况，按照其数据的类似性进行选择)的数据分为一类；

那么，在进行了分类的基础上，在同一类钻孔数据中，选择这类中的标准钻孔数据，计算这类中的其他钻孔数据与标准钻孔数据的异同值(例如差值)，将标准钻孔数据和异同值按照预设的格式存储于服务器中。由于在同一类钻孔数据中，异同值的数据量小，因此可以有效地减少存储量，使得在相同的存储空间下，在不提高成本和更换设备的情况下实际增大了存储数据量。此处，需要说明的是，将钻孔数据按照钻孔的类别编号和钻孔数据容量进行分类的时候，每一类中的钻孔数据不宜过多，例如5-8个即可，数据过多会对分类过程提高数据的处理负担，并且虽然前期对钻孔数据进行了分类，异同计算等处理，提高了此过程的数据计算量，但是这些计算的过程都是较为简单的计算，数据处理速度很快，而后存储的数量较小，对于后期服务器端大批量的数据进行的查询传输，计算处理以及建模等过程则因为数据的简化和减量，处理则变的相对简单，运行速度更高，因此这种分散式的处理方式有效地减轻了服务器端的负担，有效地提高了效率。

服务器，用于存储钻孔数据；其中服务器包括第一缓存装置，第一缓存装置包括缓存处理模块、缓存器和存储器，其中：

缓存处理模块，用于将同一类钻孔数据设置为小文件包写操作进缓存器；

缓存器，用于将小文件包缓存在内存后，小文件包将根据不同的查询，进行相应的小文件包合并操作，合并成为大的钻孔数据文件包之后，传输至存储器；

存储器，用于存储大的钻孔数据文件包。

写缓存机制可以有效提升海量小文件包的写入吞吐。设计并行文件合并操作，通过并行的结构来进行文件的组织，并进行并行的写合并操作，可以有效提升小文件包的写吞吐。此外，利用分布式的写缓存结构可以使得所有的分布节点都可以参与到文件的缓存和合并过程当中，加速文件的合并操作。

地质数据库，用于转录来自服务器中存储的钻孔数据。

由于地质空间在三维空间中为连续变化，然而，获取的钻孔数据是一些离散且少量的数据，需要对这些数据进行预处理，从而提取出用于进行地质体三维建模的相关数据，例如进行坐标系统一、数据转换等操作，在二维和三维的空间上对数据进行空间标注等；

因此系统还包括三维空间数据场构建模块，包括插值模块，用于利用空间插值与拟合算法对地质数据库中经过稀疏采样得到的离散地预处理的钻孔数据进行插值处理；以及空间数据场构建模块，用于断和预测地质体信息的分布趋势，构建三维规则空间数据场；

系统还包括地质区域建模模块，包括：提取模块，用于基于隐式算法对三维规则数据场中的地质体进行等值面提取，得到由无数小三角片面组成的地质矿体等值面；建模模块，用于基于地质矿体等值面转换得到多个建模点，基于建模点构建地质区域模型。

系统还包括地质表层建模模块，具体的地质表层建模模块包括：表层数据获取模块，用于获取地质区域表层的深度数据和拍摄数据，其中深度数据和图片数据可以是在地质区域的上空采集，例如通过航空测量的方式得到。此处需要说明的是，拍摄数据的获取通常是通过高清摄像头获得，然而高清的图片和视频虽然具有高的清晰度，但是其数据量大，受到软件和硬件的性能影响，如果要实时传输视频和图片，则需要降低拍摄的分辨率，在视频中截取图片的方式，使得数据量减小，从而满足传输的需要，但是这样就需要显示处理一端进行后期的处理，处理数据量大且算法复杂。基于此，本发明通过在拍摄数据时，通过在拍摄视频时采用第一帧率和第一分辨率，拍摄图像采用十分之一的第一帧率以及大于第一分辨率的第二分辨率，并且拍摄图像在拍摄视频的同一周期内进行，即在同一个周期内拍摄图像和拍摄视频穿插进行，例如拍摄视频采用30帧/s，拍摄图像采用3帧/s，且拍摄图像采用超高清的分辨率拍摄，拍摄视频采用相对较低的分辨率拍摄，这样既保证了可以有高分辨率的超清图像，也可以满足实时的视频传输的要求，传输时，二者可以采用两个传输通道进行传输，从而提高效率，节约传输资源。此外，高清图像的处理不需要进行过多的后期算法来处理，因此有解决了显示处理一端进行后期的处理，处理数据量大且算法复杂的问题，从而可以更快和准确的去建立表层建模点；

同样的，服务器还用于存储表层数据；服务器还包括第二缓存装置，第二缓存装置包括缓存处理模块、缓存器和存储器，其中：缓存处理模块，用于将深度数据和拍摄数据按照预设文件容量设置为多个小文件包写操作进缓存器；

缓存器，用于将多个小文件包分别缓存在内存后，多个小文件包将根据不同的查询，进行相应的小文件包合并操作，合并成为大的表层数据文件包之后，传输至存储器；存储器，用于存储大的表层数据文件包。

地质表层建模模块还包括：转换模块，用于获取的地质区域表层的深度数据和拍摄数据，转换得到多个表层建模点，同时确定地质区域表层和表层建模点的位置；表层建模模块，用于基于地质区域表层和表层建模点的位置，构建地质表层模型，其中具体地模型构建时，可以通过利用表层建模点获取对应的表层面的角度信息，例如倾斜角度，倾斜方向等，从而基于此来构建地质表层模型。

系统还包括三维模型构建模块，用于将构建的地质区域模型和构建的地质表层模型进行融合，完成三维地质模型的构建。

查询模块，用于对三维地质模型过程中的数据进行查询。

尽管为了说明的目的，已描述了本发明的示例性实施方式，但是本领域的技术人员将理解，不脱离所附权利要求中公开的发明的范围和精神的情况下，可以在形式和细节上进行各种修改、添加和替换等的改变，而所有这些改变都应属于本发明所附权利要求的保护范围，并且本发明要求保护的产品各个部门和方法中的各个步骤，可以以任意组合的形式组合在一起。因此，对本发明中所公开的实施方式的描述并非为了限制本发明的范围，而是用于描述本发明。相应地，本发明的范围不受以上实施方式的限制，而是由权利要求或其等同物进行限定。

Claims (6)

1.一种区域地质数据融合一体化存储管理及综合利用系统，其特征在于，系统包括：

地质数据提取及地质数据预处理模块，用于获取地质区域的钻孔数据，将钻孔数据按照钻孔的类别编号和钻孔数据容量进行分类；在同一类钻孔数据中，选择这类中的标准钻孔数据，计算这类中的其他钻孔数据与标准钻孔数据的异同值，将标准钻孔数据和异同值按照预设的格式存储于服务器中；

地质表层建模模块，其包括表层数据获取模块，用于获取地质区域表层的表层数据，表层数据为深度数据和拍摄数据；

服务器，用于存储钻孔数据和表层数据，其包括第一缓存装置和第二缓存装置；

其中，第一缓存装置包括缓存处理模块、缓存器和存储器，具体的：

缓存处理模块，用于将同一类钻孔数据设置为小文件包写操作进缓存器；

缓存器，用于将小文件包缓存在内存后，小文件包将根据不同的查询，进行相应的小文件包合并操作，合并成为大的钻孔数据文件包之后，传输至存储器；

存储器，用于存储大的钻孔数据文件包；

其中，第二缓存装置也包括缓存处理模块、缓存器和存储器，具体的：

缓存处理模块，用于将深度数据和拍摄数据按照预设文件容量设置为多个小文件包写操作进缓存器；

缓存器，用于将多个小文件包分别缓存在内存后，多个小文件包将根据不同的查询，进行相应的小文件包合并操作，合并成为大的表层数据文件包之后，传输至存储器；

存储器，用于存储大的表层数据文件包；

系统还包括：

地质数据库，用于转录来自服务器中存储的钻孔数据和表层数据；

查询模块，用于对三维地质模型过程中的数据进行查询。

2.如权利要求1所述的系统，其特征在于：还包括三维空间数据场构建模块，其包括：

插值模块，用于利用空间插值与拟合算法对地质数据库中经过稀疏采样得到的离散地预处理的钻孔数据进行插值处理；

空间数据场构建模块，用于断和预测地质体信息的分布趋势，构建三维规则空间数据场。

3.如权利要求2所述的系统，其特征在于：还包括地质区域建模模块，其包括：

提取模块，用于基于隐式算法对三维规则数据场中的地质体进行等值面提取，得到由无数小三角片面组成的地质矿体等值面；

建模模块，用于基于地质矿体等值面转换得到多个建模点，基于建模点构建地质区域模型。

4.如权利要求3所述的系统，其特征在于：地质表层建模模块还包括：

转换模块，用于获取的地质区域表层的深度数据和拍摄数据，转换得到多个表层建模点，同时确定地质区域表层和表层建模点的位置；

表层建模模块，用于基于地质区域表层和表层建模点的位置，构建地质表层模型。

5.如权利要求4所述的系统，其特征在于：表层数据获取模块获取拍摄数据时，通过在拍摄视频时采用第一帧率和第一分辨率，拍摄图像采用十分之一的第一帧率以及大于第一分辨率的第二分辨率，并且拍摄图像在拍摄视频的同一周期内进行。

6.如权利要求6所述的系统，其特征在于：还包括三维模型构建模块，用于将构建的地质区域模型和构建的地质表层模型进行融合，完成三维地质模型的构建。

Images