CN105868411B - 一种非关系型与关系型数据库一体化数据查询方法与系统 - Google Patents

Abstract

本发明公开了一种非关系型与关系型数据库一体化数据查询方法与系统，该方法包括S1：通过统一查询接口将查询语句输入到查询语句解析模块；S2：查询语句解析模块对查询语句进行解析后送至查询语句执行模块；步骤S3：查询语句执行模块将查询语句发送到内存数据库中进行数据查询，如果存在查询数据，转步骤S5；如果不存在，转下一步；S4：将在底层存储模块中得到的查询结果通过模型转换和数据迁移模块处理后的查询结果发送到内存数据库中进行保存，转步骤S3；S5：查询语句执行模块将查询结果通过统一查询接口发送给应用程序。本发明能够为上层应用程序屏蔽底层复杂的存储环境，实现了统一的数据访问接口。

Description

一种非关系型与关系型数据库一体化数据查询方法与系统

技术领域

本发明属于电子信息技术领域，尤其涉及一种非关系型与关系型数据库一体化数据查询方法与系统。

背景技术

由于大数据时代的到来，传统的关系型数据库在许多的应用场景下出现了性能的瓶颈，因此非关系型数据库越来越受到人们的重视。这种情况下，许多的企业开始选择使用非关系型数据库，但是关系型数据库由于其强大的关系、语义表达能力依然无法替代，因此企业面临着混合数据库的场景。在数据访问方面，关系型与非关系型数据库提供了不同的数据访问接口，对于技术人员来说很不方便。虽然现在市场上已经有一些SQL语句翻译软件，支持用户通过SQL语句来访问非关系型数据库，但是依然无法实现为关系型与非关系型数据库之间异构表的连接查询。

发明内容

本发明的目的之一在于提供一种非关系型与关系型数据库一体化数据查询方法与系统，以解决现有混合数据库场景下，非关系型与关系型数据库数据访问接口不一致、异构表无法进行连接查询的问题。

本发明的发明目的是通过下述技术方案来实现的：

本发明提供了一种非关系型与关系型数据库一体化数据查询方法，包括如下步骤：

步骤S1：应用程序通过统一查询接口将查询语句输入到查询语句解析模块；

步骤S2：查询语句解析模块对接收到的查询语句进行解析，并将解析后的查询语句发送至查询语句执行模块；

步骤S3：查询语句执行模块将步骤S2中得到的解析后的查询语句发送到内存数据库中进行数据查询，判断内存数据库中是否存在需要查询的数据，如果存在，转步骤S6；如果不存在，进行下一步操作；

步骤S4：查询语句执行模块将步骤S2中得到的解析后的查询语句发送到底层存储模块中进行数据查询操作，并将查询结果发送到模型转换和数据迁移模块；

步骤S5：模型转换和数据迁移模块对查询结果进行模型转换和数据迁移，并将模型转换和数据迁移后的查询结果发送到内存数据库中进行保存，转步骤S3；

步骤S6：将步骤S3中在内存数据库中查询得到的查询结果发送给统一查询接口；

步骤S7：统一查询接口将步骤S6得到的查询结果发送给应用程序。

进一步的，所述步骤S2：查询语句解析模块对接收到的查询语句进行解析，并将解析后的查询语句发送至查询语句执行模块的步骤中，还包括如下步骤：

步骤S2.1：统一查询接口将接收到的查询语句发送到数据表管理模块；

步骤S2.2：所述数据表管理模块接收到查询语句后，将底层存储模块中数据表的存储信息发送到所述查询语句解析模块；

步骤S2.3：所述查询语句解析模块结合所述数据表存储信息对查询语句进行解析。

进一步的，所述步骤S2.3中对查询语句进行解析后得到查询语句片段，每一个所述查询语句片段对应一个底层存储模块中的数据库。

进一步的，步骤S4中：查询语句执行模块将步骤S2中得到的解析后的查询语句发送到底层存储模块中进行数据查询操作的步骤，还包括如下步骤：

查询语句执行模块将步骤S2中得到的解析后的查询语句发送到底层存储模块中的查询语句翻译模块，所述查询语句翻译模块将所述解析后的查询语句翻译为底层存储模块中的数据库可以识别的查询语言。

进一步的，所述步骤S5：所述模型转换和数据迁移后的查询结果发送到内存数据库中以二维表的形式进行保存。

进一步的，所述步骤S5中将模型转换和数据迁移后的查询结果发送到内存数据库中进行保存后，所述数据表管理模块对内存数据库中的数据表存储信息进行更新处理。

进一步的，所述查询语句为SQL查询语句。

本发明还提供了一种非关系型与关系型数据库一体化数据查询系统，包括统一查询接口、查询语句解析模块、查询语句执行模块、底层存储模块、模型转换和数据迁移模块和内存数据库；所述统一查询接口通过所述查询语句解析模块连接所述查询语句执行模块，所述查询语句执行模块连接所述底层存储模块和内存数据库，所述底层存储模块通过所述模型转换和数据迁移模块连接所述内存数据库；

所述统一查询接口，用于将查询语句输入到所述查询语句解析模块；

查询语句解析模块，用于对接收到的查询语句进行解析，并将解析后的查询语句发送至查询语句执行模块；

查询语句执行模块，用于将解析后的查询语句发送到内存数据库中进行数据查询，判断内存数据库中是否存在需要查询的数据，如果存在，则将查询结果发送给统一查询接口；如果不存在，则将得到的解析后的查询语句发送到底层存储模块中进行数据查询；

底层存储模块，用于存储关系型数据库和非关系型数据库；

模型转换和数据迁移模块，用于对查询结果进行模型转换和数据迁移；

内存数据库，用于存储模型转换和数据迁移后的查询结果。

进一步的，本发明提供的一种非关系型与关系型数据库一体化数据查询系统，还包括数据表管理模块，所述数据表管理模块连接所述统一查询接口和查询语句解析模块；

所述数据表管理模块用于存储所述底层存储模块中数据库上保存的数据表和内存数据库上保存的数据，同时用于接收所述统一查询接口发送的查询语句，并将底层存储模块中数据表的存储信息发送给所述查询语句解析模块。

进一步的，所述底层存储模块中包括查询语句翻译模块，所述查询语句翻译模块连接所述查询语句解析模块；

所述查询语句翻译模块用于将接收到的解析后的查询语句翻译为底层存储模块中的数据库可以识别的查询语言。

本发明的有益效果：本发明提供的一种非关系型与关系型数据库一体化查询方法与系统能够为上层应用程序屏蔽底层复杂的存储环境，实现了统一的数据访问接口；并且本发明的内存数据库具有缓存作用，可以显著提高读取数据的性能。

附图说明

图1为本发明所述的一种非关系型与关系型数据库一体化数据查询系统模块图。

图2为本发明所述的一种非关系型与关系型数据库一体化数据查询方法流程图。

图3为本发明所述的查询语句解析模块对接收到的查询语句进行解析的方法流程图。

具体实施方式

下文将结合具体实施方式详细描述本发明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。

本发明提供的一种非关系型与关系型数据库一体化数据查询系统，包括统一查询接口1、查询语句解析模块2、查询语句执行模块3、底层存储模块5、模型转换和数据迁移模块6和内存数据库4；统一查询接口1通过查询语句解析模块2连接查询语句执行模块3，查询语句执行模块3连接底层存储模块5和内存数据库4，底层存储模块5通过模型转换和数据迁移模块6连接内存数据库4；

统一查询接口1，用于将查询语句输入到查询语句解析模块2；

查询语句解析模块2，用于对接收到的查询语句进行解析，并将解析后的查询语句发送至查询语句执行模块3；

查询语句执行模块3，用于将解析后的查询语句发送到内存数据库4中进行数据查询，判断内存数据库4中是否存在需要查询的数据，如果存在，则将查询结果发送给统一查询接口1；如果不存在，则将得到的解析后的查询语句发送到底层存储模块5中进行数据查询；

底层存储模块5，用于存储关系型数据库和非关系型数据库；

模型转换和数据迁移模块6，用于对查询结果进行模型转换和数据迁移；

内存数据库4，用于存储模型转换和数据迁移后的查询结果。

本发明提供的一种非关系型与关系型数据库一体化数据查询系统还包括数据表管理模块7，数据表管理模块7连接统一查询接口1和查询语句解析模块2；

数据表管理模块7用于对底层存储模块5中的数据表存储信息进行更新，同时用于接收统一查询接口1发送的查询语句，并将底层存储模块5中的数据表存储信息发送给查询语句解析模块2。

本发明提供的一种非关系型与关系型数据库一体化数据查询系统还包括查询语句翻译模块8，查询语句翻译模块8连接查询语句解析模块2和底层存储模块5；

查询语句翻译模块8用于将解析后的查询语句翻译为目标数据库可以识别的查询语言。

本发明还提供了一种非关系型与关系型数据库一体化数据查询方法，包括如下步骤：

步骤S1：应用程序通过统一查询接口1将查询语句输入到查询语句解析模块2。

步骤S2：查询语句解析模块2对接收到的查询语句进行解析，并将解析后的查询语句发送至查询语句执行模块3。

步骤S2中还包括如下步骤：

步骤S2.1：统一查询接口1将接收到的查询语句发送到数据表管理模块7；

步骤S2.2：数据表管理模块7将底层存储模块5中的数据表存储信息发送到查询语句解析模块2；

步骤S2.3：查询语句解析模块2结合数据表存储信息对查询语句进行解析。对查询语句进行解析后得到查询语句片段，每一个查询语句片段对应一个底层存储模块5中的数据库。

步骤S3：查询语句执行模块3将步骤S2中得到的解析后的查询语句发送到内存数据库4中进行数据查询，判断内存数据库4中是否存在需要查询的数据，如果存在，转步骤S6；如果不存在，进行下一步操作。

内存数据库4分为关系型和键值型两种，本发明采用的是关系型内存数据库。内存数据库4的特点是提供了方便的访问接口、灵活性高、存取超速度快、具有较高的数据和程序独立性。内层数据库中存储的内容类似于关系型数据库中的视图。非关系型和关系型数据库中的异构表，都会通过模型转换和数据迁移的操作转换成内存数据库4中的同构表，并在内层数据库中实现异构表之间的连接操作。此外，本发明的内存数据库4还起到了缓存的作用，用户查询的数据在一定的时间内会保存在内层数据库中，如果用户再次执行相同的操作，可以直接从内存数据库4中快速读取数据而不需要再去访问底层存储模块5。

步骤S4：查询语句执行模块3将步骤S2中得到的解析后的查询语句发送到底层存储模块5中进行数据查询操作，并将查询结果发送到模型转换和数据迁移模块6。

底层存储模块5是用户的实际的数据存储方案，可以包含纷繁复杂的存储环境。用户可以根据自己的需求选择合适的数据库来存储数据，比如在社交网络中用Mysql数据库来存储用户信息，用Neo4j数据库来存储用户间的好友关系。总体上底层存储模块5包括关系型数据库和非关系型数据库。

模型转换和数据迁移模块6的主要功能是将用户需要查询的数据从底层存储模块5中迁移到内存数据库4中，并以二维表的形式保存。源数据库是底层存储模块5中的非关系型和关系型数据库，目标数据库是内存数据库4。数据模型的转换可以采用三元组的方法将键值对都转换成二维表的形式，数据迁移可以利用Kettle、MetaModel等现有的etl工具实现。

步骤S5：模型转换和数据迁移模块6对查询结果进行模型转换和数据迁移，并将模型转换和数据迁移后的查询结果发送到内存数据库4中进行保存。

模型转换和数据迁移后的查询结果发送到内存数据库4中以二维表的形式进行保存。同时数据表管理模块7对内存数据库4中的数据表存储信息进行更新处理。

步骤S6：将步骤S3中在内存数据库4中查询得到的查询结果发送给统一查询接口1。

步骤S7：统一查询接口1将步骤S6得到的查询结果发送给应用程序。

进一步的，上述步骤S4中：查询语句执行模块3将步骤S2中得到的解析后的查询语句发送到底层存储模块5中进行数据查询操作的步骤，还包括如下步骤：

查询语句执行模块3将步骤S2中得到的解析后的查询语句发送到底层存储模块5中的查询语句翻译模块8，查询语句翻译模块8将解析后的查询语句翻译为底层存储模块5中的数据库可以识别的查询语言。

实施例1

一种非关系型与关系型数据库一体化数据查询方法包括如下步骤：

步骤(1):应用程序通过统一查询接口1将SQL查询语句输入到查询语句解析模块2和数据表管理模块7。

步骤(2)：数据表管理模块7接收到SQL查询语句后，将底层存储模块5中的数据表存储信息发送到查询语句解析模块2。

步骤(3)：查询语句解析模块2根据底层存储模块5中的数据表存储信息对接收到的SQL查询语句进行解析，得到SQL查询语句片段，并将SQL查询语句片段发送至查询语句执行模块3。

查询语句解析模块2能够根据数据表管理模块7提供的存储信息可以解析出每一个SQL查询语句片段处理的具体是哪一些数据表，这些数据表保存于哪一个数据库。

步骤(4)：查询语句执行模块3将解析后的SQL查询语句片段发送到内存数据库4中进行数据查询，如果在内存数据库4中得到查询结果，转步骤(9)；如果在内存数据库4中没有得到查询结果，进行下一步操作。

查询语句解析模块2能够解析出包含join、union等连接查询的SQL查询语句片段，该SQL查询语句片段用于分发到内存数据库4上等待执行。

步骤(5)：查询语句执行模块3将SQL查询语句片段发送到底层存储模块5中的查询语句翻译模块8，查询语句翻译模块8将SQL查询语句片段翻译成底层存储模块5中的数据库可以识别的查询语言。

步骤(6)：查询语句执行模块3利用翻译后的SQL查询语句片段在底层存储模块5中进行数据查询操作，并将查询结果发送到模型转换和数据迁移模块6。

步骤(7)：模型转换和数据迁移模块6对查询结果进行模型转换和数据迁移，并将模型转换和数据迁移后的查询结果发送到内存数据库4中进行保存。

步骤(8)：数据表管理模块7对内存数据库4中的数据表存储信息进行更新处理，转步骤(4)。

步骤(9)：将步骤(4)中在内存数据库4中查询得到的查询结果发送给统一查询接口1。

步骤(10)：统一查询接口1将上一步得到的查询结果发送给应用程序。

本发明提出的一种支持非关系型与关系型数据库一体化查询方法与系统能够为上层应用程序屏蔽底层复杂的存储环境，实现了一体化的数据查询。应用程序通过利用本发明可以对不同数据库之间的异构表进行统一的访问，对于应用程序来说可以完全忽略底层使用了什么存储方案，只需要通过统一的接口来访问数据。

当然应意识到，虽然通过本发明的示例已经进行了前面的描述，但是对本发明做出的将对本领域的技术人员显而易见的这样和其他的改进及改变应认为落入如本文提出的本发明宽广范围内。因此，尽管本发明已经参照了优选的实施方式进行描述，但是，其意并不是使具新颖性的设备由此而受到限制，相反，其旨在包括符合上述公开部分、权利要求的广阔范围之内的各种改进和等同修改。

Claims (9)

1.一种非关系型与关系型数据库一体化数据查询方法，其特征在于，包括如下步骤：

步骤S1：应用程序通过统一查询接口将查询语句输入到查询语句解析模块；

步骤S2：查询语句解析模块对接收到的查询语句进行解析，并将解析后的查询语句发送至查询语句执行模块；

步骤S3：查询语句执行模块将步骤S2中得到的解析后的查询语句发送到内存数据库中进行数据查询，判断内存数据库中是否存在需要查询的数据，如果存在，转步骤S6；如果不存在，进行下一步操作；

步骤S4：查询语句执行模块将步骤S2中得到的解析后的查询语句发送到底层存储模块中进行数据查询，并将查询结果发送到模型转换和数据迁移模块；

步骤S5：模型转换和数据迁移模块对查询结果进行模型转换和数据迁移，并将模型转换和数据迁移后的查询结果发送到内存数据库中进行保存，转步骤S3；

步骤S6：查询语句执行模块将步骤S3中在内存数据库中查询得到的查询结果发送给统一查询接口；

步骤S7：统一查询接口将步骤S6得到的查询结果发送给应用程序；

所述步骤S2：查询语句解析模块对接收到的查询语句进行解析，并将解析后的查询语句发送至查询语句执行模块的步骤中，还包括如下步骤：

步骤S2.1：统一查询接口将接收到的查询语句发送到数据表管理模块；

步骤S2.2：所述数据表管理模块接收到查询语句后，将底层存储模块中数据表的存储信息发送到所述查询语句解析模块；

步骤S2.3：所述查询语句解析模块结合所述数据表的存储信息对查询语句进行解析。

2.如权利要求1所述的一种非关系型与关系型数据库一体化数据查询方法，其特征在于，所述步骤S2.3中对查询语句进行解析后得到查询语句片段，每一个所述查询语句片段对应一个底层存储模块中的数据库。

3.如权利要求1所述的一种非关系型与关系型数据库一体化数据查询方法，其特征在于，步骤S4中：查询语句执行模块将步骤S2中得到的解析后的查询语句发送到底层存储模块中进行数据查询操作的步骤，还包括如下步骤：

查询语句执行模块将步骤S2中得到的解析后的查询语句发送到底层存储模块中的查询语句翻译模块，所述查询语句翻译模块将所述解析后的查询语句翻译为底层存储模块中的数据库可以识别的查询语言。

4.如权利要求1所述的一种非关系型与关系型数据库一体化数据查询方法，其特征在于，所述步骤S5：所述模型转换和数据迁移后的查询结果发送到内存数据库中以二维表的形式进行保存。

5.如权利要求4所述的一种非关系型与关系型数据库一体化数据查询方法，其特征在于，所述步骤S5中将模型转换和数据迁移后的查询结果发送到内存数据库中进行保存后，所述数据表管理模块对内存数据库中的数据表存储信息进行更新处理。

6.如权利要求5所述的一种非关系型与关系型数据库一体化数据查询方法，其特征在于，所述查询语句为SQL语句。

7.一种非关系型与关系型数据库一体化数据查询系统，其特征在于，包括统一查询接口、查询语句解析模块、查询语句执行模块、底层存储模块、模型转换和数据迁移模块和内存数据库；所述统一查询接口通过所述查询语句解析模块连接所述查询语句执行模块，所述查询语句执行模块连接所述底层存储模块和内存数据库，所述底层存储模块通过所述模型转换和数据迁移模块连接所述内存数据库；

所述统一查询接口，用于将查询语句输入到所述查询语句解析模块；

查询语句解析模块，用于对接收到的查询语句进行解析，并将解析后的查询语句发送至查询语句执行模块；

查询语句执行模块，用于将解析后的查询语句发送到内存数据库中进行数据查询，判断内存数据库中是否存在需要查询的数据，如果存在，则将查询结果发送给统一查询接口；如果不存在，则将得到的解析后的查询语句发送到底层存储模块中进行数据查询；

底层存储模块，用于存储关系型数据库和非关系型数据库；

模型转换和数据迁移模块，用于对查询结果进行模型转换和数据迁移；

内存数据库，用于存储模型转换和数据迁移后的查询结果。

8.如权利要求7所述的一种非关系型与关系型数据库一体化数据查询系统，其特征在于，还包括数据表管理模块，所述数据表管理模块连接所述统一查询接口和查询语句解析模块；

所述数据表管理模块用于存储所述底层存储模块中数据库上保存的数据表和内存数据库上保存的数据，同时用于接收所述统一查询接口发送的查询语句，并将底层存储模块中数据表的存储信息发送给所述查询语句解析模块。

9.如权利要求8所述的一种非关系型与关系型数据库一体化数据查询系统，其特征在于，所述底层存储模块中包括查询语句翻译模块，所述查询语句翻译模块连接所述查询语句解析模块；

所述查询语句翻译模块用于将接收到的解析后的查询语句翻译为底层存储模块中的数据库可以识别的查询语言。