CN108984598A - 一种关系型地质数据库与NoSQL的融合方法及系统 - Google Patents

Abstract

一种关系型地质数据库与NoSQL的融合方法与系统，包含结构获取步骤、数据存储步骤以及数据检索步骤。先获取设计好的非结构化数据的NoSQL存储结构，依据该存储结构设计关系型连接表；然后依据设计的非结构化数据的存储结构将非结构化数据存储至NoSQL，同时获取所述非结构化数据内部要素的索引信息，并把非结构化数据内部要素的索引信息存储至关系型连接表中；检索时采用SQL方式从关系型连接表中检索相应的非结构化数据的索引信息，依据索引信息获得非结构化数据的要素信息或对应的非结构化数据。本发明既发挥了NoSQL对非结构化数据灵活自由的管理功能，又利用了关系型数据库的强大检索功能，从而使既含有大量结构化数据，又含有大量非机构化数据的地质数据，管理更加方便、高效。

Description

一种关系型地质数据库与NoSQL的融合方法及系统

技术领域

本发明属于大数据管理领域，尤其是数据库管理技术方面，更具体地说是涉及一种关系型地质数据库与NoSQL的融合方法及系统。

背景技术

关系型数据库，是建立在关系模型基础上的数据库，是由多个具有一定关联关系的二维行列表组成的数据库。由于二维表结构的关系模型在逻辑上易于理解，具有坚实的数学基础，而且可以保持数据的一致性；通用的SQL语言使得关系型数据库的操作、维护和各类复杂查询的实现都非常方便；关系模型的SQL把计算机与人类认知很好地衔接起来，是一种方便的数据交互语言。因而，关系型数据库是目前数据管理的主流数据库，尤其是针对结构化数据，关系型数据库是结构化数据库的典型代表。

但是，地质数据中含有大量的非结构化数据，如大量的地质报告、大量的地质图件等等，这些非结构化数据中往往含有十分丰富的数据和信息，而关系型数据库一般采用索引表或大字段存储的方式管理这些非结构化数据，这种管理方式无法对包含在非结构数据内部的大量信息进行有效管理。

NoSQL(Not Only SQL)，泛指非关系型的数据库，采用Key-Value模型等非二维关系模型存储数据。一般不需要预定义数据模式和表结构，数据中的每条记录都可以有不同的属性和格式。无共享架构，可以将数据划分后存储在多个服务器上。具有弹性可扩展性，可以在系统运行的时候，动态增加或者删除结点，数据可以自动迁移。

在地质领域，非结构化数据占有很大的比例，而关系型数据库对非结构化数据的管理很不理想，NoSQL一般适用于数据模型比较简单，需要很高的灵活性，对数据库性能要求较高，不需要高度的数据一致性，对于给定键值(key)，比较容易映射复杂值(Value)的环境。这种特性可以较好地实现地质数据中非结构化数据内部信息的有效管理。

关系型数据库在数据一致性、规范性和高效检索等方面具有很大的优势，可高效管理各类结构化数据；NoSQL在灵活性、自由性等方面具有很大的优势，可方便深入到段落层面或图元层面，对非结构化数据的管理具有明显的优势。因而，目前地质数据的管理可以采用关系型数据库管理结构化数据，如SQL server数据库，Oracle数据库等；采用NoSQL管理非结构化数据，如MongoDB、HBase或Redis等数据库。但是这两种数据库怎样有效地集成或融合，目前并没有一个成熟的方案。

发明内容

本发明要解决的技术问题在于，针对现有技术中还没有将关系型数据库与NoSQL进行有效集成或者融合的技术缺陷，提供一种关系型地质数据库与NoSQL的融合方法及系统。

根据本发明的其中一方面，本发明为解决其技术问题，提供了一种关系型地质数据库与NoSQL的融合方法，该方法包含如下步骤：

结构获取步骤：

S11、获取设计好的非结构化数据的NoSQL存储结构；

S12、依据该存储结构建立非结构化数据的索引信息连接表结构，形成关系型连接表；

数据存储步骤：

S21、接收非结构化数据的存储指令，开始存储数据；

S22、依据所述NoSQL存储结构，将所述非结构化数据存储至NoSQL；

S23、获取所述非结构化数据的内部要素的索引信息，将所述要素的索引信息存储至关系型连接表中；

数据检索步骤：

S31、接收数据检索指令，开始数据检索；

S32、采用SQL方式从所述关系型连接表中检索相应的要素的索引信息，依据索引信息获得非结构化数据的要素信息或索引信息对应的非结构化数据。

进一步地，在本发明的关系型地质数据库与NoSQL的融合方法中，所述索引信息包含所述非结构化数据的内部要素在NoSQL中的NoSQL唯一性ID、要素隶属关系以及存储位置。

进一步地，在本发明的关系型地质数据库与NoSQL的融合方法中，所述关系型连接表是一种非结构化数据中各类要素的索引表，其中的字段是依据非结构化数据在NoSQL中的存储特征来选择的，用以指明非结构化数据中各类要素的隶属关系和存储位置。

根据本发明的另一方面，本发明为解决其技术问题，还提供了一种关系型地质数据库与NoSQL的融合系统，

包含如下结构获取模块、数据存储模块以及数据检索模块；

结构获取模块包含：

NoSQL存储结构获取子模块，用于获取设计好的非结构化数据的NoSQL存储结构；

连接表结构设计子模块，用于依据该存储结构建立非结构化数据内部要素的索引信息连接表结构，形成关系型连接表；

数据存储模块包含：

存储指令接收子模块，用于接收非结构化数据的存储指令，开始存储数据；

NoSQL存储子模块，用于依据所述NoSQL存储结构，将所述非结构化数据存储至NoSQL；

连接表存储子模块，用于获取所述非结构化数据的要素的索引信息，将所述要素的索引信息存储至关系型连接表中；

数据检索模块包含：

检索指令接收子模块，用于接收数据检索指令，开始数据检索；

SQL检索子模块，用于采用SQL方式从所述关系型连接表中检索相应的要素的索引信息，依据索引信息获得非结构化数据的要素信息或索引信息对应的非结构化数据。

进一步地，在本发明的关系型地质数据库与NoSQL的融合系统中，所述索引信息包含所述非结构化数据的内部要素在NoSQL中的NoSQL唯一性ID、要素隶属关系以及存储位置。

进一步地，在本发明的关系型地质数据库与NoSQL的融合系统中，所述非结构化数据为图形文件，所述索引信息包含：图形文件名、图层名、图元名、NoSQL唯一性ID以及存储位置；或，

进一步地，在本发明的关系型地质数据库与NoSQL的融合系统中，所述关系型连接表是一种非结构化数据中各类要素的索引表，其中的字段是依据非结构化数据在NoSQL中的存储特征来选择的，用以指明非结构化数据中各类要素的隶属关系和存储位置。

本发明提出的技术可以把关系型数据库和NoSQL有效地融合起来，既可以充分发挥NoSQL对非结构化数据灵活自由的管理功能，又可以充分利用关系型数据库的强大检索功能，从而使既含有大量结构化数据，又含有大量非机构化数据的地质大数据管理更加方便、高效，为地质大数据等的管理、分析、挖掘提供更好的支持与服务。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的关系型地质数据库与NoSQL的融合方法的流程图；

图2是本发明的NoSQL存储结构说明图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

参考图1，其为本发明的关系型地质数据库与NoSQL的融合方法的流程图，该方法包含如下结构获取步骤、数据存储步骤以及数据检索步骤。

其中，结构获取步骤包括：

S11、获取设计好的非结构化数据的NoSQL存储结构；

S12、依据该存储结构建立非结构化数据内部要素的索引信息连接表结构，形成关系型连接表。

如针对地质图图元在NoSQL中的存储特点，设计一个含有索引信息为“图形文件名、图层名、图元名、NoSQL唯一性ID、存储位置”等字段的结构化数据表(关系型连接表)，其他类型的非结构化数据的处理方法类似，如针对文档类段落在NoSQL中的存储特点，该文档段落层面的数据表可以设计为一个含有类似“文件名、段落序号、段落中出现的词、该词的词频、NoSQL唯一性ID、存储位置”等字段作为索引信息的结构化数据表。

数据存储步骤包含下述的步骤S21-S23。

S21、接收非结构化数据的存储指令，开始存储数据。

S22、依据所述NoSQL存储结构，将所述非结构化数据存储至NoSQL。

S23、获取所述非结构化数据的要素的索引信息，将所述要素的索引信息存储至关系型连接表中。索引信息根据下述的关系型连接表的不同可能有所不同，但是至少包括非结构化数据的内部要素在NoSQL中的NoSQL唯一性ID、要素隶属关系以及存储位置。关系型连接表是一种非结构化数据中各类要素的索引表，其中的字段是依据非结构化数据在NoSQL中的存储特征来选择的，用以指明非结构化数据中各类要素的隶属关系和存储位置。所述关系型连接表中的内容是非结构化数据在NoSQL中存储时，同时把连接表中需要的非结构化数据中各类要素的隶属关系和存储位置存放进来。

非结构化数据在NoSQL中存储为NoSQL“文档”时，同时把索引信息信息存进对应的连接表中，可以得到图件类非结构化数据的图元数据记录表、文档类非结构化数据的段落信息记录表等。

数据检索步骤包含下述的步骤S31-S32。

S31、接收数据检索指令，开始数据检索。

S32、采用SQL方式从所述关系型连接表中检索相应的要素的索引信息，依据索引信息获得非结构化数据的要素信息或索引信息对应的非结构化数据。由于连接表的存在，可以通过关系型数据库的强大检索功能，得到该要素的NoSQL唯一性ID和存储位置，从而快速获得大量非结构化数据内部是否含有某个要素信息，或某个要素信息包含在大量非结构化数据中的哪个数据的哪一部分。

下面以GIS中通用的.shp图形文件、NoSQL中的MongoDB和关系型数据库中的SQLServer为例，对本发明的具体实施方式作进一步地描述。其他非结构化数据的处理方式类似。

地质图是地质领域一种典型的非结构化数据，目前打开、编辑地质图的软件，如Auto CAD、Arc GIS、Map GIS等，都只能对一张地质图或一个工程进行操作，无法进行跨图或跨工程操作。在长期的地质工作过程中，会积累大量的地质图件，每张地质图中都可能包含多个图层，每个图层都可能含有多个图元。即地质工作中会产生大量地质图，每张地质图都可能含有丰富的数据和信息。目前关系型数据库很难在图元层面对这些地质数据或信息进行高效管理，非结构化数据库(NoSQL)可以从图元层面对这些数据进行管理，关系型数据库与NoSQL的具体融合方法包含如下几个步骤：

步骤1：设计一个关系型数据表，即本发明中的连接表。连接表含有这样几个字段：图形文件名、图层名、图元名、NoSQL唯一性ID、存储位置(字段的设置可依据实际需要进行修改)。

步骤2：采用NoSQL对图形文件进行存储时，存储的“文档”(类似结构化数据库中的记录)结构如图2所示。在把图形文件存储为NoSQL“文档”的同时，也把该图中所有图元的索引信息写入关系型连接表中。

步骤3：依据步骤2，通过NoSQL对大量非结构化图形文件进行存储，关系型连接表中也会存储大量图件中大量图元的索引信息。

步骤4：要确定大量图形文件中是否含有某个图元，或者需要确定某个图元存储在某个具体的图形文件中，可利用关系型数据库的强大检索功能，从连接表中进行快速检索。

步骤5：依据步骤4，可以快速得到需要检索的图元是否存在，如存在，则可以快速得到该图元对应的图形文件名及其存储位置。

步骤6：通过获得的图形文件名及其存储位置，可以打开该图形文件，得到相关的详细信息。

通过以上6个步骤，就实现了结构化数据库和NoSQL的有效融合。

本发明的实施例提供的技术方案带来的有益效果是：本发明的关系型地质数据库与NoSQL的融合方法，在一定程度上克服了关系型数据库与NoSQL不能兼容的问题，使得这两类数据库既可以统一管理，又可以同时发挥两者的优势，从而使既含有大量结构化数据，又含有大量非结构化数据的地质大数据管理更加方便高效。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。如本发明的上述实施例中，是以地质矢量图作为非结构化数据来进行说明本发明的方法流程，但是本发明不限于此，任何其他的非结构化数据采用本发明的上述原理方法来实现，均应该属于本发明的保护范围。

Claims (8)

1.一种关系型地质数据库与NoSQL的融合方法，其特征在于，包含如下步骤：

结构获取步骤：

S11、获取设计好的非结构化数据的NoSQL存储结构；

S12、依据该存储结构建立非结构化数据内部要素的索引信息连接表结构，形成关系型连接表；

数据存储步骤：

S21、接收非结构化数据的存储指令，开始存储数据；

S22、依据所述NoSQL存储结构，将所述非结构化数据存储至NoSQL；

S23、获取所述非结构化数据内部要素的索引信息，将所述要素的索引信息存储至关系型连接表中；

数据检索步骤：

S31、接收数据检索指令，开始数据检索；

S32、采用SQL方式从所述关系型连接表中检索相应的要素的索引信息，依据索引信息获得非结构化数据的要素信息或索引信息对应的非结构化数据。

2.根据权利要求1所述的关系型地质数据库与NoSQL的融合方法，其特征在于，

所述索引信息包含所述非结构化数据的内部要素在NoSQL中的NoSQL唯一性ID、存储位置以及要素的隶属关系。

3.根据权利要求2所述的关系型地质数据库与NoSQL的融合方法，其特征在于，所述非结构化数据为图形文件，所述索引信息包含：图形文件名、图层名、图元名、NoSQL唯一性ID以及存储位置；或，

所述非结构化数据为文档文件，所述索引信息包含：文件名、段落序号、段落中出现的词、该词的词频、NoSQL唯一性ID、存储位置。

4.根据权利要求1所述的关系型地质数据库与NoSQL的融合方法，其特征在于，所述关系型连接表是一种非结构化数据中各类要素的索引表，其中的字段是依据非结构化数据在NoSQL中的存储特征来选择的，用以指明非结构化数据中各类要素的隶属关系和存储位置。

5.一种关系型地质数据库与NoSQL的融合系统，其特征在于，包含如下结构获取模块、数据存储模块以及数据检索模块；

结构获取模块包含：

NoSQL存储结构获取子模块，用于获取设计好的非结构化数据的NoSQL存储结构；

连接表结构设计子模块，用于依据该存储结构建立非结构化数据内部要素的索引信息连接表结构，形成关系型连接表；

数据存储模块包含：

存储指令接收子模块，用于接收非结构化数据的存储指令，开始存储数据；

NoSQL存储子模块，用于依据所述NoSQL存储结构，将所述非结构化数据存储至NoSQL；

连接表存储子模块，用于获取所述非结构化数据的要素的索引信息，将所述要素的索引信息存储至关系型连接表中；

数据检索模块包含：

检索指令接收子模块，用于接收数据检索指令，开始数据检索；

SQL检索子模块，用于采用SQL方式从所述关系型连接表中检索相应的要素的索引信息，依据索引信息获得非结构化数据的要素信息或索引信息对应的非结构化数据。

6.根据权利要求5所述的关系型地质数据库与NoSQL的融合系统，其特征在于，

所述索引信息包含所述非结构化数据的内部要素在NoSQL中的NoSQL唯一性ID、要素隶属关系以及存储位置。

7.根据权利要求6所述的关系型地质数据库与NoSQL的融合系统，其特征在于，所述非结构化数据为图形文件，所述索引信息包含：图形文件名、图层名、图元名、NoSQL唯一性ID以及存储位置；或，

所述非结构化数据为文档文件，所述索引信息包含：文件名、段落序号、段落中出现的词、该词的词频、NoSQL唯一性ID、存储位置。

8.根据权利要求5所述的关系型地质数据库与NoSQL的融合系统，其特征在于，所述关系型连接表是一种非结构化数据中各类要素的索引表，其中的字段是依据非结构化数据在NoSQL中的存储特征来选择的，用以指明非结构化数据中各类要素的隶属关系和存储位置。