CN102902777A

CN102902777A - 跨数据源查询装置和跨数据源查询方法

Info

Publication number: CN102902777A
Application number: CN2012103709415A
Authority: CN
Inventors: 边传猛
Original assignee: Yonyou Software Co Ltd
Current assignee: Yonyou Software Co Ltd
Priority date: 2012-09-28
Filing date: 2012-09-28
Publication date: 2013-01-30
Anticipated expiration: 2032-09-28
Also published as: CN102902777B

Abstract

本发明提供了一种跨数据源查询装置，包括：主数据源选择模块102，在多个数据库中选择一个数据库作为主数据源；第一查询模块104，在所述多个数据库中除所述主数据源的其他数据库进行数据查询，得到查询结果数据；数据获取模块，将所述其他数据库的查询结果数据获取到所述主数据源中；第二查询模块，在主数据源中进行数据查询，得到最终查询结果数据。相应地，本发明还提供了一种跨数据源查询方法。通过本发明的技术方案，使企业在做跨数据源查询时，能够拥有一套建设成本低、建设周期短，查询数据量大、数据逻辑结构多样、通用性强的轻量级技术方案，保证企业可以高效的解决大数据量及应用服务器压力过大的问题。

Description

跨数据源查询装置和跨数据源查询方法

技术领域

本发明涉及数据查询领域，具体而言，涉及一种跨数据源查询装置和跨数据源查询方法。

背景技术

随着企业信息化应用的深入，企业内部的信息系统由早期的部门单一业务系统慢慢发展到多业务系统共存。同时，管理层需要的报表数据往往是综合性较强的数据，我们往往难以从单一业务系统取得所有相关数据，此时，我们就需要从不同业务系统中查询数据，再把这些不同来源的数据经过加工处理，组织在同一张报表中。从技术角度来说，每个业务系统对应一个数据源，多业务系统的查询，即是跨数据源查询。

针对跨数据源查询问题，现有以下方案：

1、系统集成。

该方案是在企业内部建设系统集成平台，使各业务系统实现互联互通，且实现数据的抽取、加载。抽取数据到统一的数据仓库中，再在此基础上实现综合的查询分析。

该方案属于重量级方案，企业投入建设成本较高、建设周期较长。如果只是针对上述做跨业务系统综合性报表而言，过于重量级。

2、连接不同数据源，分别加载数据到内存，处理加工后，组织成完整报表。

该方案适用于数据量较小、且数据处理逻辑较简单的情况。而对于综合性分析报表，其涉及的原始数据量往往较大。所以该方案并不具有通用性。

因此，需要一种新的技术方案，使企业在做跨数据源查询时，能够拥有一套建设成本低、建设周期短，查询数据量大、数据逻辑结构多样、通用性强的轻量级技术方案，保证企业可以高效的解决大数据量及应用服务器压力过大的问题。

发明内容

本发明所要解决的技术问题在于，提供一种新的技术方案，使企业在做跨数据源查询时，能够拥有一套建设成本低、建设周期短，查询数据量大、数据逻辑结构多样、通用性强的轻量级技术方案，保证企业可以高效的解决大数据量及应用服务器压力过大的问题。

有鉴于此，本发明提出了一种跨数据源查询装置，包括：主数据源选择模块，在多个数据库中选择一个数据库作为主数据源；第一查询模块，在所述多个数据库中除所述主数据源的其他数据库进行数据查询，得到查询结果数据；数据获取模块，将所述其他数据库的查询结果数据获取到所述主数据源中；第二查询模块，在主数据源中进行数据查询，得到最终查询结果数据。应用此技术方案，我们首先设定一个主数据源，然后循环的把从其他数据源查询出来的数据复制到主数据源，最后统一从主数据源查询数据。通过这种方式，我们就不用自己实现标准的数据处理逻辑，充分利用数据库来进行数据处理，已有的数据库可以对各自存储的大量原始数据进行高效的查询，最后需将其他数据库得到的少量结果数据汇总进行最终查询，即可得到最终需要的结果数据，整个过程中，各个数据库分摊了处理压力，在主数据源上进行的最终查询压力减轻，实现了对大量原始数据的高效查询，且充分利用了现有的数据库，不需要进行过长时间、过高成本的建设。

在上述技术方案中，优选地，还包括：数据库连接模块，对于所述其他数据库中与所述主数据源类型相同的第一数据库，通过数据库直连方式，连接所述第一数据库与所述主数据源，以及对于所述其他数据库中与所述主数据源类型不同的第二数据库，按特定类型接口连接所述第二数据库与所述主数据源。在此技术方案中，对比源数据源与目标数据源的数据库类型是否相同，提供了两种数据连接方式：源与目标数据库类型相同时，使用数据库直连方式；源与目标数据库类型不同时，使用特定类型的连接方式，比如JDBC方式，保证了各个数据库的结果数据都可以顺利汇总到主数据源上。

在本技术方案中，数据库直连方式是指，在数据库层面，利用数据库本身机制，建立同类型数据库间的连接，以实现数据的复制。这种方式利用数据库本身机制，不会占用应用服务器的内存。同时，相对于JDBC方式，在处理大数据量时更高效。并且，考虑到企业信息化的现实，基于建设成本以及维护方便考虑，企业往往倾向于在建设多业务系统时使用相同类型的数据库，这就给数据库直连方式提供了更大的发挥空间。

在上述技术方案中，优选地，还包括：所述数据获取模块为所述主数据源与所述第一数据库建立远程连接，通过所述远程连接获取所述第一数据库的查询结果数据，以及在所述主数据源上创建临时表，在所述临时表中插入所述第二数据库的查询结果数据。应用此技术方案，在其他数据库与主数据源完成连接后，提供了供主数据源获取了除所述主数据源以外的其他数据库的查询结果数据的方案。

在上述技术方案中，优选地，还包括：数据清理模块，在得到所述最终查询结果数据后，删除所述远程连接和所述临时表。应用此技术方案，把数据查询的中间过程产生的临时结构都清理干净，为数据库节省了很大的空间。

在上述技术方案中，优选地，还包括：所述主数据源选择模块根据所述多个数据库的数据量大小，从所述多个数据库中选择一个数据库作为所述主数据源。在此技术方案中，根据多个数据库的数据量大小，从中选择一个数据库作为所述主数据源，尽量保证需复制的数据总量最小，由此来减少数据源复制过程中的数据传输压力。

本发明还提供了一种跨数据源查询方法，包括：步骤202，在多个数据库中选择一个数据库作为主数据源；步骤204，在所述多个数据库中除所述主数据源的其他数据库进行数据查询，得到查询结果数据；步骤206，将所述其他数据库的查询结果数据获取到所述主数据源中；步骤208，在主数据源中进行数据查询，得到最终查询结果数据。在此技术方案中，我们首先设定一个主数据源，然后循环把从其他数据源查询出来的数据复制到主数据源，最后统一从主数据源查询数据。通过这种方式，我们就不用自己实现标准的数据处理逻辑，充分利用数据库来进行数据处理，已有的数据库可以对各自存储的大量原始数据进行高效的查询，最后需将其他数据库得到的少量结果数据汇总进行最终查询，即可得到最终需要的结果数据，整个过程中，各个数据库分摊了处理压力，在主数据源上进行的最终查询压力减轻，实现了对大量原始数据的高效查询，且充分利用了现有的数据库，不需要进行过长时间、过高成本的建设。

在上述技术方案中，优选地，在所述步骤206之前，还包括：对于所述其他数据库中与所述主数据源类型相同的第一数据库，通过数据库直连方式，连接所述第一数据库与所述主数据源；对于所述其他数据库中与所述主数据源类型不同的第二数据库，按特定类型接口连接所述第二数据库与所述主数据源。在此技术方案中，对比源数据源与目标数据源的数据库类型是否相同，提供了两种数据连接方式。源与目标数据库类型相同时，使用数据库直连方式；源与目标数据库类型不同时，使用特定类型的连接方式，比如JDBC方式，保证了各个数据库的结果数据都可以顺利汇总到主数据源上。

在上述技术方案中，优选地，所述步骤206包括：为所述主数据源与所述第一数据库建立远程连接，通过所述远程连接获取所述第一数据库的查询结果数据；在所述主数据源上创建临时表，在所述临时表中插入所述第二数据库的查询结果数据。应用此技术方案，在其他数据库与主数据源完成连接后，提供了供主数据源获取了除所述主数据源以外的其他数据库的查询结果数据的方案。

在上述技术方案中，优选地，还包括：在得到所述最终查询结果数据后，删除所述远程连接和所述临时表。应用此技术方案，把数据查询的中间过程产生的临时结构都清理干净，为数据库节省了很大的空间。

在上述技术方案中，优选地，所述步骤202包括：根据所述多个数据库的数据量大小，从所述多个数据库中选择一个数据库作为所述主数据源。在此技术方案中，根据多个数据库的数据量大小，从中选择一个数据库作为所述主数据源，尽量保证需复制的数据总量最小，由此来减少数据源复制过程中的数据传输压力。

附图说明

图1示出了根据本发明的实施例的跨数据源查询装置的框图；

图2示出了根据本发明的实施例的跨数据源查询方法的流程图；

图3示出了根据本发明的实施例的跨数据源查询的流程图；

图4示出了根据本发明的实施例的数据复制的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的跨数据源查询装置的框图。

如图1所示，本发明的实施例的跨数据源查询装置100包括：主数据源选择模块102，在多个数据库中选择一个数据库作为主数据源；第一查询模块104，在所述多个数据库中除所述主数据源的其他数据库进行数据查询，得到查询结果数据；数据获取模块106，将所述其他数据库的查询结果数据获取到所述主数据源中；第二查询模块108，在主数据源中进行数据查询，得到最终查询结果数据。应用此技术方案，我们首先设定一个主数据源，然后循环把从其他数据源查询出来的数据复制到主数据源，最后统一从主数据源查询数据。通过这种方式，我们就不用自己实现标准的数据处理逻辑，充分利用数据库来进行数据处理，已有的数据库可以对各自存储的大量原始数据进行高效的查询，最后需将其他数据库得到的少量结果数据汇总进行最终查询，即可得到最终需要的结果数据，整个过程中，各个数据库分摊了处理压力，在主数据源上进行的最终查询压力减轻，实现了对大量原始数据的高效查询，且充分利用了现有的数据库，不需要进行过长时间、过高成本的建设。

在上述技术方案中，还包括：数据库连接模块110，对于所述其他数据库中与所述主数据源类型相同的第一数据库，通过数据库直连方式，连接所述第一数据库与所述主数据源，以及对于所述其他数据库中与所述主数据源类型不同的第二数据库，按特定类型接口连接所述第二数据库与所述主数据源。在此技术方案中，对比源数据源与目标数据源的数据库类型是否相同，提供了两种数据连接方式。源与目标数据库类型相同时，使用数据库直连方式；源与目标数据库类型不同时，使用特定类型的连接方式，比如JDBC方式，保证了各个数据库的结果数据都可以顺利汇总到主数据源上。

在上述技术方案中，还包括：所述数据获取模块106为所述主数据源与所述第一数据库建立远程连接，通过所述远程连接获取所述第一数据库的查询结果数据，以及在所述主数据源上创建临时表，在所述临时表中插入所述第二数据库的查询结果数据。应用此技术方案，在其他数据库与主数据源完成连接后，提供了供主数据源获取了除所述主数据源以外的其他数据库的查询结果数据的方案。

在上述技术方案中，还包括：数据清理模块112，在得到所述最终查询结果数据后，删除所述远程连接和所述临时表。应用此技术方案，把数据查询的中间过程产生的临时结构都清理干净，为数据库节省了很大的空间。

在上述技术方案中，还包括：所述主数据源选择模块102根据所述多个数据库的数据量大小，从所述多个数据库中选择一个数据库作为所述主数据源。在此技术方案中，根据多个数据库的数据量大小，从中选择一个数据库作为所述主数据源，尽量保证需复制的数据总量最小，由此来减少数据源复制过程中的数据传输压力。

图2示出了根据本发明的实施例的跨数据源查询方法的流程图。

如图2所示，本发明的实施例的跨数据源查询方法包括：步骤202，在多个数据库中选择一个数据库作为主数据源；步骤204，在所述多个数据库中除所述主数据源的其他数据库进行数据查询，得到查询结果数据；步骤206，将所述其他数据库的查询结果数据获取到所述主数据源中；步骤208，在主数据源中进行数据查询，得到最终查询结果数据。应用此技术方案，我们首先设定一个主数据源，然后循环把从其他数据源查询出来的数据复制到主数据源，最后统一从主数据源查询数据。通过这种方式，我们就不用自己实现标准的数据处理逻辑，充分利用数据库来进行数据处理，已有的数据库可以对各自存储的大量原始数据进行高效的查询，最后需将其他数据库得到的少量结果数据汇总进行最终查询，即可得到最终需要的结果数据，整个过程中，各个数据库分摊了处理压力，在主数据源上进行的最终查询压力减轻，实现了对大量原始数据的高效查询，且充分利用了现有的数据库，不需要进行过长时间、过高成本的建设。

在上述技术方案中，在所述步骤206之前，还包括：对于所述其他数据库中与所述主数据源类型相同的第一数据库，通过数据库直连方式，连接所述第一数据库与所述主数据源；对于所述其他数据库中与所述主数据源类型不同的第二数据库，按特定类型接口连接所述第二数据库与所述主数据源。在此技术方案中，对比源数据源与目标数据源的数据库类型是否相同，提供了两种数据连接方式。源与目标数据库类型相同时，使用数据库直连方式；源与目标数据库类型不同时，使用特定类型的连接方式，比如JDBC方式，保证了各个数据库的结果数据都可以顺利汇总到主数据源上。

在上述技术方案中，所述步骤206包括：为所述主数据源与所述第一数据库建立远程连接，通过所述远程连接获取所述第一数据库的查询结果数据；在所述主数据源上创建临时表，在所述临时表中插入所述第二数据库的查询结果数据。应用此技术方案，在其他数据库与主数据源完成连接后，提供了供主数据源获取了除所述主数据源以外的其他数据库的查询结果数据的方案。

在上述技术方案中，还包括：在得到所述最终查询结果数据后，删除所述远程连接和所述临时表。应用此技术方案，把数据查询的中间过程产生的临时结构都清理干净，为数据库节省了很大的空间。

在上述技术方案中，所述步骤202包括：根据所述多个数据库的数据量大小，从所述多个数据库中选择一个数据库作为所述主数据源。在此技术方案中，根据多个数据库的数据量大小，从中选择一个数据库作为所述主数据源，尽量保证需复制的数据总量最小，由此来减少数据源复制过程中的数据传输压力。

跨数据源查询数据，我们很难直接通过一条sql语句来完成。在本方案中，我们是通过把每个数据源查询出的数据先复制到指定的同一数据源，再在此数据源上执行最终查询来获得最终数据。

图3示出了根据本发明的实施例的跨数据源查询的流程图。

如图3所示，跨数据源查询的总体流程如下：

步骤302，选定主数据源，进入步骤304。

步骤304，在主数据源以外的数据源n上执行第n次查询，获取数据，进入步骤306。

步骤306，把结果数据复制到主数据源，进入步骤308。

步骤308，查看是否还有数据源没有处理，如果还有数据源没有处理，返回步骤304，n的值增加1；如果所有数据源都已经处理完，进入步骤310。

步骤310，在主数据源上执行最终查询，获取最终查询结果数据。进入步骤312。

步骤312，利用最终结果数据进行报表展现，进入步骤314。

步骤314，清理中间过程产生的临时结构，例如：临时表、远程连接等。

图4示出了根据本发明的实施例的数据复制的流程图。

如图4所示，实现数据复制的流程如下：

步骤402，取得源数据源以及目标数据源的数据库类型。进入步骤404。

步骤404，比较源与目标的数据库类型是否相同。如果相同，进入步骤414，如果不同，进入步骤406。源与目标数据库类型不同时，使用通用的JDBC方式；源与目标数据库类型相同时，使用数据库直连方式。

下面对数据库直连和JDBC方式的流程分别说明。

步骤406，与数据源建立JDBC连接，执行对应查询。

步骤408，根据结果数据的源数据，在主数据源上创建临时表。

步骤410，对大数据量进行分批次获得数据，依次插入主数据源上相应临时表。

步骤412，检查数据是否已全部取得。如果数据没有全部取得，进入步骤410；如果数据已经全部取得，进入步骤426。

步骤414，采用数据库直连方式。

步骤416，判断数据库类型。如果数据库类型为ORACLE，进入步骤418，如果数据库类型为DB2，进入步骤420，如果数据库类型为SQLServer，进入步骤422。

步骤418，ORACLE通过DBLink方式建立远程数据库连接。

Oracle：提供DBLink方式建立远程数据库连接，其语法如下：

CREATE DATABASE LINK数据库链接名CONNECT TO用户名IDENTIFIED BY密码USING‘本地配置的数据的实例名’

然后就可用标示表名数据库链接名来指代远程数据库上的表，像使用本地表一样来使用这些远程表。

步骤420，DB2通过联邦数据库技术连接远程数据库。DB2：提供联邦数据库技术来建立远程数据库连接，其创建步骤有：安装用于数据源的包装器、标识数据源、为远程表定义别名等。

步骤422，SQL Server通过存储过程sp_addlinkedserver创建链接服务器。SQL Server：提供存储过程方式来建立远程数据库连接。其语法如下：

sp_addlinkedserver

[server=]'server',

[srvproduct=]'product_name',

[provider=]'provider_name',

[datasrc=]'data_source',

[location=]'location',

[provstr=]'provider_string',

[catalog=]'catalog'

步骤424，采用Insert into..Select语法实现数据复制。

步骤426，数据复制结束。

采用数据库直连方式，数据库直连方式在大数据量下效率优势明显，并且其充分利用数据库端的性能，对应用服务器基本无压力。

以上结合附图详细说明了本发明的技术方案。在本方案中，跨数据源复制数据是关键点，尤其是其中采用数据库本身机制，在数据库层面进行同类型数据库间的数据复制，高效的解决了大数据量及应用服务器压力过大问题。在企业实际的信息化应用中，不同业务系统往往使用相同类型数据库的现实，更增大了该方案的使用效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种跨数据源查询装置，其特征在于，包括：

主数据源选择模块，在多个数据库中选择一个数据库作为主数据源；

第一查询模块，在所述多个数据库中除所述主数据源的其他数据库进行数据查询，得到查询结果数据；

数据获取模块，将所述其他数据库的查询结果数据获取到所述主数据源中；

第二查询模块，在所述主数据源中进行数据查询，得到最终查询结果数据。

2.根据权利要求1所述的跨数据源查询装置，其特征在于，还包括：

数据库连接模块，对于所述其他数据库中与所述主数据源类型相同的第一数据库，通过数据库直连方式，连接所述第一数据库与所述主数据源，以及对于所述其他数据库中与所述主数据源类型不同的第二数据库，按特定类型接口连接所述第二数据库与所述主数据源。

3.根据权利要求2所述的跨数据源查询装置，其特征在于，所述数据获取模块为所述主数据源与所述第一数据库建立远程连接，通过所述远程连接获取所述第一数据库的查询结果数据，以及在所述主数据源上创建临时表，在所述临时表中插入所述第二数据库的查询结果数据。

4.根据权利要求3所述的跨数据源查询装置，其特征在于，还包括：

数据清理模块，在得到所述最终查询结果数据后，删除所述远程连接和所述临时表。

5.根据权利要求1至4中任一项所述的跨数据源查询装置，其特征在于，所述主数据源选择模块根据所述多个数据库的数据量大小，从所述多个数据库中选择一个数据库作为所述主数据源。

6.一种跨数据源查询方法，其特征在于，包括：

步骤202，在多个数据库中选择一个数据库作为主数据源；

步骤204，在所述多个数据库中除所述主数据源的其他数据库进行数据查询，得到查询结果数据；

步骤206，将所述其他数据库的查询结果数据获取到所述主数据源中；

步骤208，在所述主数据源中进行数据查询，得到最终查询结果数据。

7.根据权利要求6所述的跨数据源查询方法，其特征在于，在所述步骤206之前，还包括：

对于所述其他数据库中与所述主数据源类型相同的第一数据库，通过数据库直连方式，连接所述第一数据库与所述主数据源；

对于所述其他数据库中与所述主数据源类型不同的第二数据库，按特定类型接口连接所述第二数据库与所述主数据源。

8.根据权利要求7所述的跨数据源查询方法，其特征在于，所述步骤206包括：

为所述主数据源与所述第一数据库建立远程连接，通过所述远程连接获取所述第一数据库的查询结果数据；

在所述主数据源上创建临时表，在所述临时表中插入所述第二数据库的查询结果数据。

9.根据权利要求8所述的跨数据源查询方法，其特征在于，还包括：

在得到所述最终查询结果数据后，删除所述远程连接和所述临时表。

10.根据权利要求6至9中任一项所述的跨数据源查询方法，其特征在于，所述步骤202包括：

根据所述多个数据库的数据量大小，从所述多个数据库中选择一个数据库作为所述主数据源。