CN106951442A - 一种异构数据库间的数据交互方法及装置 - Google Patents

Abstract

本发明提供一种异构数据库间的数据交互方法及装置，所述方法包括：根据预设的抽取规则，抽取并导出关系型数据库中待转换数据；接收所述待转换数据，并将所述待转换数据转换为非关系型数据库能够识别的目标数据；将转换后的所述目标数据加载至所述非关系型数据库。从而使得目标数据能够以key‑value的形式通过加载接口，加载至非关系型数据库Gemfire中，实现Greenplum数据库与Gemfire数据库之间的数据共享；并且在转换过程中提高转换的时效性，保证目标数据的完整性及准确性。

Description

一种异构数据库间的数据交互方法及装置

技术领域

本发明涉及计算机数据处理技术领域，具体涉及一种异构数据库间的数据交互方法及装置。

背景技术

异构数据库系统是相关的多个数据库系统的集合，包括关系型数据库和非关系型数据库的集合。异构数据库系统可以实现数据的共享和透明访问，每个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的DBMS。异构数据库的各个组成部分具有自身的自治性，实现数据共享的同时，每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。

传统数据库(关系型数据库)间的数据交换一般使用常用的ETL工具即可实现数据交换，或者使用数据库自带的数据导入、导出功能实现数据交换。

Gemfire数据库属于非传统数据库(非关系型数据库)，其中存放的为<key-value>形式的java对象，而其自带的import、export操作的文件仅自身可以识别，无法导入或导出常规的文本文件。

在实现关系型数据库与非关系型数据库之间的数据交互时，现有的ETL工具及数据库所自带导入、导出功能均不能支持关系型数据库Greenplum与存放java对象的非关系型数据库Gemfire的数据交换，也就是说，关系型数据库不能将其内的数据与非关系型数据库中的数据进行交互。

另外，现有数据管理系统要求满足对大数据量计算和多用户高并发查询处理，因此，在关系型数据库与非关系数据库之间进行数据交互，数据交互的时效性要求也相对较高。

如何提供一种异构数据库间的数据交互方法，并且能够保证时效性成为本领域技术人员需要解决的技术问题。

发明内容

本发明提供一种异构数据库间的数据交互方法，以解决现有技术中关系型数据库中的数据不能与所述非关系型数据库进行共享的问题。

本发明提供一种异构数据库间的数据交互方法，包括：

根据预设的抽取规则，抽取并导出关系型数据库中待转换数据；

接收所述待转换数据，并将所述待转换数据转换为非关系型数据库能够识别的目标数据；

将转换后的所述目标数据加载至所述非关系型数据库。

优选的，在将所述待转换数据转换为非关系型数据库能够识别的目标数据之前，包括：

根据预定的清洗规则对所述待转换数据进行清洗。

优选的，所述预定的清洗规则为过滤所述待转换数据中的每一字段中存在的空格和/或无法识别的字符。

优选的，所述预设的抽取规则为根据实际需要提取的数据为参考范围。

优选的，所述抽取并导出关系型数据库中待转换数据所述导出具体为，将所述待转换数据以一条数据一行的模式导出。

优选的，接收所述待转换数据，并将所述待转换数据转换为非关系型数据库能够识别的目标数据包括：

为所述待转换数据设置分隔符；

根据所述分隔符，将所述待转换数据以批处理的形式进行转换。

优选的，所述根据所述分隔符，将所述待转换数据以批处理的形式进行转换，包括：

根据所述待转换数据大小设置所述批处理的行数，并对每一行所述待转换数据进行转换；

将转换后的所述目标数据进行存储。

优选的，所述将转换后的所述目标数据加载至所述非关系型数据库具体为，将所述目标数据通过加载接口加载到所述非关系型数据库中。

优选的，所述关系型数据库为Greenplum数据库，所述非关系型数据库为Gemfire数据库。

本发明还提供一种异构数据库间的数据交互装置，包括：

抽取导出单元，用于根据预设的抽取规则，抽取并导出关系型数据库中的待转换数据；

转换单元，用于接收所述待转换数据，并将所述待转换数据转换为非关系型数据库能够识别的目标数据；

加载单元，用于将转换后的所述目标数据加载至所述非关系型数据库。

优选的，清洗单元，所述清洗单元用于在所述转换单元转换数据之前，根据预定的清洗规则对所述待转换数据进行清洗。

优选的，所述转换单元包括：

分隔符设置单元，用于为所述待转换数据设置分隔符；

批处理单元，用于根据所述分隔符，将所述待转换数据以批处理的形式进行转换。

优选的，所述批处理单元包括：

行数设置单元，用于根据所述待转换数据大小设置所述批处理的行数，并对每一行所述待转换数据进行转换；

存储单元，用于将转换后的所述目标数据进行存储。

本发明提供的一种异构数据库间的数据交互方法，能够抽取所述关系型数据库Greenplum中的数据作为待转换数据，并将所述待转换数据导出，通过对导出所述待转换数据采用批处理形式进行转换，将所述待转换数据转换成能够被所述Gemfire数据库可识别的目标数据，并将转换后的目标数据存储在map集合中，从而使得目标数据能够以key-value的形式通过加载接口，加载至非关系型数据库Gemfire中，实现Greenplum数据库与Gemfire数据库之间的数据共享；并且在转换过程中提高转换的时效性，保证目标数据的完整性及准确性。

附图说明

为了更清楚地说明本发明实施例和现有技术中的技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种异构数据库间的数据交互方法的流程图；

图2是本发明提供的一种异构数据库间的数据交互装置的结构示意图。

具体实施方式

下面将接合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1所示，图1是本发明提供的一种异构数据库间的数据交互方法的流程图。本发明提供一种异构数据库间的数据交互方法包括：

步骤S101：根据预设的抽取规则，抽取并导出关系型数据库中的待转换数据。

在该步骤S101中，所述抽取规则可以是根据实际需要提取的数据为参考范围，将需要转换的数据从关系型数据库中抽取并导出，为数据转换做准备。对于关系型数据库中数据的抽取可以根据不同的需要采用不同的抽取方式，例如：全量抽取或增量抽取；其中全量抽取类似于数据迁移或数据复制，其将数据源中的表或视图的数据原封不动的从数据库中抽取出来。增量抽取指抽取自上次抽取以来数据库中要抽取的表中新增、修改的数据。

所述抽取的方式可以通过关键字或者时间戳等抽取要获得数据，将抽取的数据作为待转换的数据，可以理解是，抽取数据还可以通过关系型数据库中数据的属性值进行抽取。

在该步骤的实施中，所述抽取的数据作为待转换数据可以采用以一条数据一行的模式导出，在本实施中，所述待转换数据可以是指定字段格式的txt文件，excel文件或xml文件等。

所述关系型数据库也可以称为传统型数据库，指二维表格模型，因而一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。关系型数据库强调维护数据的完整性、一致性。当前主流的关系型数据库有Oracle、DB2、PostgreSQL、Microsoft SQLServer、Microsoft Access、MySQL、浪潮K-DB等。在本实施中的关系型数据库主要采用的是Greenplum数据库，所述Greenplum数据库的特点主要就是查询速度快，数据装载速度快，批量DML处理快；而且性能可以随着硬件的添加，呈线性增加，拥有非常良好的可扩展性。因此，它主要适用于面向分析的应用。

步骤S102：接收所述待转换数据，并将所述待转换数据转换为非关系型数据库能够识别的目标数据。

在该步骤S102中，所述待转换数据采用多线程批处理的形式进行转换，将所述待转换数据转换为指定java对象，从而使得转换后的目标数据能够被所述非关系型数据库识别并处理。

在本实施中，所述非关系型数据库可以为Gemfire数据库，Gemfire数据库属于非传统数据库。所述Gemfire数据库是一个位于应用集群和后端数据源之间的高性能、分布式的操作数据(operational data)管理基础架构。所述Gemfire提供低延迟、高吞吐量的数据共享和事件分发，充分利用网络中的内存和磁盘资源，形成一个实时的数据网格。在所述Gemfire数据库中存放的为key-value形式的java对象，因此，所述待转换数据需要转为以key-value形式的java对象，构成目标数据，从而便于所述Gemfire数据库的识别。

为提高待转换数据转换的时效性，在对接收的所述待转换数据进行转换前，包括：

为所述待转换数据设置分隔符；

根据所述分隔符，将所述待转换数据以批处理的形式进行转换。

对导出待转换数据进行转换处理时，需要所述待转换数据进行逐行读取，按照设定的分隔符对待转换数据进行划分，依据所述分隔符对每一行数据处理，转换成指定的对象，使用批处理的方式对待转换数据进行转换，并将转换后的目标数据存储到map集合中。

为便于进行批处理，本实施中还可以根据待转换数据的情况(例如：大小、长度等信息)设置每次批处理的行数，将每批指定个数的目标数据对象存入到map集合中。

所述map集合提供一个更通用的元素存储方法，map集合用于存储元素对(称作“键”和“值”，即：key-value)，其中每个键映射到一个值。

采用多线程批处理的方式，能够保证数据转换的时效性。

在上述转换过程中，分隔符设置能够满足与待转换数据的区分即可，避免分隔符与待转换数据中的内容发生冲突，对每一行的分隔符需要设定相同的分隔符。

在本实施中，所述分隔符的设定可以通过在每个字段内容完结和下一个字段内容开始中间以分隔符隔开。从Greenplum数据库中抽取的待转换数据能够进行相应的字段控制和分隔符控制。

可以理解的是，对所述待转换数据还包括子数据，以分隔符划分时，包括对待转换数据的子数据进行划分；子数据的顺序可以根据需要自定义，即：通过对子数据的自定义设置分隔符，在转换所述子数据时，根据所述子数据的排列顺序进行转化。

需要说明的是，本实施中，所述分隔符可以采用自定义的形式。

为保证转换后目标数据更为准确，在导出待转换数据后，由于所述待转换数据中可能存在无法识别的字符和/或空格等，在对所述待转换数据进行转换前，需要对所述待转换数据进行清洗处理，因此，在将所述待转换数据转换为非关系型数据库能够识别的目标数据之前包括：根据预定的清洗规则对所述待转换数据进行清洗的步骤。

在本实施中，所述预定的清洗规则是过滤所述待转换数据中的每一字段中存在的空格和/或无法识别的字符。具体的清洗过程可以是，删除所述待转换数据中每一个字段中存在的空格和/或无法识别的字符等，或者对某些异常信息或数据进行跳过处理。

因此，所述清洗过程不会对字段内容造成实质改变，从而提高数据进入非关系型数据库Gemfire的成功率，需要说明的是，因为清洗后的数据进入到非关系型数据库Gemfire中，数据为key-value形式，该形式的数据无顺序，但仍然能够保证数据的完整性。

步骤S103：将转换后的所述目标数据加载至所述非关系型数据库。

在所述步骤S103中，转换后的所述目标数据存储于map集合中，所述map集合通过使用putall接口，将所述目标数据存放到Gemfire数据库中。

本发明提供的一种异构数据库间的数据交互方法，能够抽取所述关系型数据库Greenplum中的数据作为待转换数据，并将所述待转换数据导出，通过对导出所述待转换数据进行批处理转换，并将转后的目标数据存储在map集合中，从而使得目标数据能够以key-value的形式供非关系型数据库Gemfire识别，实现Greenplum数据库与Gemfire数据库之间的数据共享。

以上是对发明提供的一种异构数据库间的数据交互方法进行的详细说明，针对上述异构数据库件数据交换的方法本发明还提供一种异构数据库件数据交互的装置，该装置与所述方法相应，因此对所述异构数据库间的数据交互装置的描述仅为示意性的，具体可参考方法步骤的描述。

请参考图2所示，图2是本发明提供的一种异构数据库间的数据交互装置的结构示意图。

本发明提供的一种异构数据库间的数据交互装置包括：

抽取导出单元201，用于根据预设的抽取规则，抽取并导出关系型数据库中的待转换数据。

转换单元202，用于接收所述待转换数据，并将所述待转换数据转换为非关系型数据库能够识别的目标数据。

所述转换单元202包括：

分隔符设置单元，用于为所述待转换数据设置分隔符；

批处理单元，用于根据所述分隔符，将所述待转换数据以批处理的形式进行转换。

在本实施中，所述批处理单元包括：行数设置单元和存储单元；

其中，所述行数设置单元用于根据所述待转换数据大小设置所述批处理的行数，并对每一行所述待转换数据进行转换。

所述存储单元，用于将转换后的所述目标数据进行存储。

加载单元203，用于将转换后的所述目标数据加载至所述非关系型数据库。

为保证转换后目标数据的成功率及准确性，本发明提供的异构数据库间的数据交互装置还包括：

清洗单元，所述清洗单元用于在所述转换单元转换数据之前，根据预定的清洗规则对所述待转换数据进行清洗。

以上所述仅为本发明提供的一种异构数据库间的数据交互方法的优选实施方式，并不构成对本发明保护范围的限定。该实施例中的部件数量并不局限于实施例中所采用的方式，任何在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (13)

1.一种异构数据库间的数据交互方法，其特征在于，包括：

根据预设的抽取规则，抽取并导出关系型数据库中待转换数据；

接收所述待转换数据，并将所述待转换数据转换为非关系型数据库能够识别的目标数据；

将转换后的所述目标数据加载至所述非关系型数据库。

2.根据权利要求1所述的异构数据库间的数据交互方法，其特征在于，在将所述待转换数据转换为非关系型数据库能够识别的目标数据之前，包括：

根据预定的清洗规则对所述待转换数据进行清洗。

3.根据权利要求2所述的异构数据库间的数据交互方法，其特征在于，所述预定的清洗规则为过滤所述待转换数据中的每一字段中存在的空格和/或无法识别的字符。

4.根据权利要求1所述的异构数据库间的数据交互方法，其特征在于，所述预设的抽取规则为根据实际需要提取的数据为参考范围。

5.根据权利要求1所述的异构数据库间的数据交互方法，其特征在于，所述抽取并导出关系型数据库中待转换数据所述导出具体为，将所述待转换数据以一条数据一行的模式导出。

6.根据权利要求1所述的异构数据库间的数据交互方法，其特征在于，接收所述待转换数据，并将所述待转换数据转换为非关系型数据库能够识别的目标数据包括：

为所述待转换数据设置分隔符；

根据所述分隔符，将所述待转换数据以批处理的形式进行转换。

7.根据权利要求6所述的异构数据库间的数据交互方法，其特征在于，所述根据所述分隔符，将所述待转换数据以批处理的形式进行转换，包括：

根据所述待转换数据大小设置所述批处理的行数，并对每一行所述待转换数据进行转换；

将转换后的所述目标数据进行存储。

8.根据权利要求1所述的异构数据库间的数据交互方法，其特征在于，所述将转换后的所述目标数据加载至所述非关系型数据库具体为，将所述目标数据通过加载接口加载到所述非关系型数据库中。

9.根据权利要求1至8任意一项所述的异构数据库间的数据交互方法，其特征在于，所述关系型数据库为Greenplum数据库，所述非关系型数据库为Gemfire数据库。

10.一种异构数据库间的数据交互装置，其特征在于，包括：

抽取导出单元，用于根据预设的抽取规则，抽取并导出关系型数据库中的待转换数据；

转换单元，用于接收所述待转换数据，并将所述待转换数据转换为非关系型数据库能够识别的目标数据；

加载单元，用于将转换后的所述目标数据加载至所述非关系型数据库。

11.根据权利要求10所述的异构数据库间的数据交互装置，其特征在于，包括：清洗单元，所述清洗单元用于在所述转换单元转换数据之前，根据预定的清洗规则对所述待转换数据进行清洗。

12.根据权利要求10所述的异构数据库间的数据交互装置，其特征在于，所述转换单元包括：

分隔符设置单元，用于为所述待转换数据设置分隔符；

批处理单元，用于根据所述分隔符，将所述待转换数据以批处理的形式进行转换。

13.根据权利要求12所述的异构数据库间的数据交互装置，其特征在于，所述批处理单元包括：

行数设置单元，用于根据所述待转换数据大小设置所述批处理的行数，并对每一行所述待转换数据进行转换；

存储单元，用于将转换后的所述目标数据进行存储。