CN111858760A - 一种异构数据库的数据处理方法及装置 - Google Patents

Abstract

本发明提供一种异构数据库的数据处理方法及装置，所述方法包括：接收数据处理请求，所述数据处理请求包括字段信息和表信息；解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；生成至少一个数据搬运任务和一个数据处理任务；执行所述至少一个数据搬运任务；对所述目标数据库执行所述数据处理任务，获得数据处理结果。所述装置用于执行上述方法。本发明实施例提供的异构数据库的数据处理方法及装置，提高了数据处理效率。

Description

一种异构数据库的数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种异构数据库的数据处理方法及装置。

背景技术

在企业级大数据平台中，存储着各类业务的海量数据，按照业务领域分布在多个不同类型的数据库中。

为了支撑日益复杂的交易场景，业务侧经常需要对多个异构数据库进行数据查询，获得多个异构数据库中的数据进行综合分析，但由于异构数据库具有不同的数据结构，现有技术中多个异构数据库查询，通常面临两大技术难题。第一，对于复杂业务应用的系统内部，包含多样的查询场景，既涉及关系型数据库如MySQL或Oracle，又涉及大数据产品如Hive或MPP，同时维护管理各类数据库产品增加了应用的运维难度；第二，不同的数据库产品具有不同的系统架构和数据结构，数据在异构数据库和数据库集群之间无法自如流通，对于企业用户跨数据库探索数据价值带来阻碍。

因此，如何提出一种异构数据库的数据处理方法，实现对异构数据库的统一查询成为本领域需要解决的重要课题。

发明内容

针对现有技术中的问题，本发明实施例提供一种异构数据库的数据处理方法及装置，能够至少部分地解决现有技术中存在的问题。

一方面，本发明提出一种异构数据库的数据处理方法，包括：

接收数据处理请求，所述数据处理请求包括字段信息和表信息；

解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；

生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；

执行所述至少一个数据搬运任务；

对所述目标数据库执行所述数据处理任务，获得数据处理结果。

另一方面，本发明提供一种异构数据库的数据处理装置，包括：

接收模块，用于接收数据处理请求，所述数据处理请求包括字段信息和表信息；

解析模块，用于解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；

生成模块，用于生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；

第一执行模块，用于执行所述至少一个数据搬运任务；

第二执行模块，用于对所述目标数据库执行所述数据处理任务，获得数据处理结果。

再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述异构数据库的数据处理方法的步骤。

又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述异构数据库的数据处理方法的步骤。

本发明实施例提供的异构数据库的数据处理方法及装置，接收包括字段信息的数据处理请求，解析数据处理请求，并生成至少一个数据搬运任务和一个数据处理任务，执行至少一个数据搬运任务，数据搬运任务用于从源数据库抽取字段信息对应的数据到目标数据库，对目标数据库执行所述数据处理任务，并获得数据处理结果，由于将源数据库的相关数据集中到目标数据库进行处理，实现了对各个异构数据库的数据的统一处理，提高了数据处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明一实施例提供的异构数据库的数据处理方法的流程示意图。

图2是本发明另一实施例提供的异构数据库的数据处理方法的流程示意图。

图3是本发明又一实施例提供的异构数据库的数据处理方法的流程示意图。

图4是本发明再一实施例提供的异构数据库的数据处理方法的流程示意图。

图5是本发明一实施例提供的服务器的结构示意图。

图6是本发明一实施例提供的异构数据库的数据处理装置的结构示意图。

图7是本发明另一实施例提供的异构数据库的数据处理装置的结构示意图。

图8是本发明再一实施例提供的异构数据库的数据处理装置的结构示意图。

图9是本发明又一实施例提供的异构数据库的数据处理装置的结构示意图。

图10是本发明一实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1是本发明一实施例提供的异构数据库的数据处理方法的流程示意图，如图1所示，本发明实施例提供的异构数据库的数据处理方法，包括：

S101、接收数据处理请求，所述数据处理请求包括字段信息和表信息；

具体地，客户终端向服务器发送数据处理请求，所述数据处理请求包括字段信息和表信息，所述服务器会接收所述数据处理请求。其中，所述数据处理请求用于进行数据查询或者数据更新。当所述数据处理请求用于进行数据查询时，所述字段信息包括用于进行查询的字段。当所述数据处理请求用于进行数据更新时，所述字段信息包括需要更新的字段以及对应的更新数据。所述字段可以是数据库中数据表中的字段。所述表信息包括与所述字段信息相关的数据表，根据实际需要进行设置，本发明实施例不做限定。所述客户终端包括但不限于台式机、笔记本电脑等电子设备。本发明实施例提供的异构数据库的数据处理方法的执行主体包括但不限于服务器。

S102、解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；

具体地，所述服务器在接收到所述数据处理请求之后，会解析所述数据处理请求，获得所述字段信息和所述表信息，然后根据表信息包括的数据表确定数据表对应的元数据，再根据元数据查询获得所述元数据对应的至少两个异构数据库，将所述元数据对应的至少两个异构数据库作为所述数据处理请求对应的至少两个异构数据库。从所述至少两个异构数据库中选择一个数据库作为目标数据库，其余的数据库作为源数据库。其中，所述元数据与数据库的对应关系是预设的。所述元数据包括但不限于表列表、表名、字段列表、视图信息、行数、磁盘目录信息等。所述目标数据库可以是从所述至少两个异构数据库中随机选择的，也可以选择一个数据量最大的数据库作为所述目标数据库，根据实际需要进行设置，本发明实施例不做限定。

S103、生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；

具体地，所述服务器为每个源数据库生成一个数据搬运任务，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，并基于所述数据处理请求生成一个数据处理任务，如果所述数据处理请求用于进行数据查询，那么生成的数据处理任务用于进行所述字段信息查询，如果所述数据处理请求用于数据更新，那么生成的数据处理任务用于进行所述字段信息更新。其中，所述源数据库与所述数据搬运任务一一对应。所述字段信息对应的数据是指所述字段信息包括的字段在数据表中对应的数据。

S104、执行所述至少一个数据搬运任务；

具体地，所述服务器在生成所述至少一个数据搬运任务之后，会执行所述至少一个数据搬运任务，从每个数据搬运任务对应的源数据库抽取所述字段信息对应的数据到目标数据库，在所述字段信息对应的数据从源数据库抽取到所述目标数据库的过程中，会将所述字段信息对应的数据转化成所述目标数据库能够识别的数据。数据搬运任务的目的是将各个源数据库中的所述字段信息对应的数据，集中到目标数据库进行统一处理。可以理解的是，当数据搬运任务有多个时，可以并行处理所述数据搬运任务，以提高数据搬运任务的执行效率。

S105、对所述目标数据库执行所述数据处理任务，获得数据处理结果。

具体地，所述服务器在执行完成所述至少一个数据搬运任务之后，各个源数据库中的所述字段信息对应的数据都集中到了所述目标数据库，所述服务器会对所述目标数据库执行所述数据处理任务。当所述数据处理任务用于进行数据查询时，所述服务器可以在所述目标数据库对来自各个源数据库和所述目标数据库的所述字段信息对应的数据进行统一查询，获得的查询结果作为所述数据处理结果。当所述数据处理任务用于进行数据更新时，所述服务器可以在所述目标数据库统一对来自各个源数据库和所述目标数据库的所述字段信息对应的数据进行更新，然后将所述字段信息对应的更新数据同步到各个源数据库，将更新结果作为所述数据处理结果。所述服务器在获得所述数据处理结果之后，可以将所述数据处理结果返回给所述客户终端。

本发明实施例提供的异构数据库的数据处理方法，接收包括字段信息的数据处理请求，解析数据处理请求，并生成至少一个数据搬运任务和一个数据处理任务，执行至少一个数据搬运任务，数据搬运任务用于从源数据库抽取字段信息对应的数据到目标数据库，对目标数据库执行所述数据处理任务，并获得数据处理结果，由于将源数据库的相关数据集中到目标数据库进行处理，实现了对各个异构数据库的数据的统一处理，提高了数据处理效率。

图2是本发明另一实施例提供的异构数据库的数据处理方法的流程示意图，如图2所示，在上述各实施例的基础上，进一步地，所述执行所述至少一个数据搬运任务包括：

S1031、根据所述源数据库的表结构信息在所述源数据库创建临时表并抽取所述字段信息对应数据到所述临时表中；

具体地，所述服务器可以与所述源数据库建立连接，从所述源数据库获得所述源数据库的表结构信息，然后根据所述源数据库的表结构信息在所述源数据库创建临时表，所述临时表与所述源数据库的数据表具有相同的表结构。在创建所述临时表之后，所述服务器会从所述源数据库中抽取所述字段信息对应的数据存储到所述临时表中。

S1032、将所述临时表中的字段信息对应的数据拷贝到中转目录并转化为所述目标数据库识别的数据；

具体地，由于所述源数据库和所述目标数据库的异构特性，无法直接将所述源数据库的数据直接导入到所述目标数据库。所述服务器在抽取所述字段信息对应的数据到所述临时表中之后，会将所述临时表中的字段信息对应的数据拷贝到中转目录缓存，并转化为所述目标数据库识别的数据。

S1033、根据所述源数据库的表结构信息在所述目标数据库创建目标表，并从所述中转目录将转化后的所述字段信息对应的数据拷贝到所述目标表中。

具体地，所述服务器可以与所述目标数据库建立连接，然后根据所述源数据库的表结构信息在所述目标数据库中创建目标表，所述目标表与所述源数据库的数据表具有相同的表结构，所述目标表能够被所述目标数据库所识别。在创建所述目标表之后，所述服务器从所述中转目录中将转化后的所述字段信息对应的数据拷贝到所述目标表中。在执行完所有的数据搬运任务之后，各个源数据库的所述字段信息对应数据就集中到了所述目标数据库中，并能够被所述目标数据库所识别。

图3是本发明又一实施例提供的异构数据库的数据处理方法的流程示意图，如图3所示，在上述各实施例的基础上，进一步地，所述将所述临时表中的字段信息对应的数据拷贝到中转目录包括：

S10321、若判断获知所述字段信息对应的数据的大小大于预设值，则将所述字段信息对应数据切分为多个小于等于所述预设值的分片数据；

具体地，所述服务器在向所述中转目标拷贝所述字段信息对应的数据之前，可以获得所述字段信息对应的数据的大小，然后将所述字段信息对应的数据的大小与预设值进行比较，如果所述字段信息对应的数据的大小大于所述预设值，那么可以将所述字段信息对应数据切分为多个分片数据，每个分片数据的大小小于等于所述预设值。其中，所述预设值根据实际经验进行设置，例如设置为128MB，本发明实施例不做限定。

S10322、将所述多个分片数据拷贝到所述中转目录。

具体地，所述服务器在将所述字段信息对应的数据切分为多个分片数据之后，将所述多个分片数据拷贝到所述中转目录。其中，为了提高数据传输效率，可以并行拷贝所述多个分片数据。

图4是本发明再一实施例提供的异构数据库的数据处理方法的流程示意图，如图4所示，在上述各实施例的基础上，进一步地，所述对所述目标数据库执行所述数据处理任务包括：

S1051、根据所述字段信息在所述目标数据库更新所述字段信息对应的数据；

具体地，当所述数据处理任务用于进行数据更新时，所述字段信息包括需要更新的字段以及对应的更新数据，所述服务器会根据所述字段信息在所述目标数据库更新所述字段信息对应的数据，即根据所述字段信息包括的需要更新的字段以及对应的更新数据，对来自各个源数据库和所述目标数据库的所述字段信息对应的数据进行更新，使各个字段对应的数据变更为各个字段对应的更新数据，获得更新后的所述字段信息对应的数据。

S1052、将更新后的所述字段信息对应的数据同步到所述至少一个数据搬运任务对应的源数据库中。

具体地，所述服务器在更新完成所述字段信息对应的数据之后，还需要将更新后的所述字段信息对应的数据同步到所述至少一个数据搬运任务对应的源数据库中。所述服务器可以从所述目标数据库中获取每个源数据库对应的目标表，将更新后的所述字段信息对应的数据从每个源数据库对应的目标表拷贝到所述中转目录中每个源数据库对应的临时表中，并转化为所述源数据库能够识别的数据，然后将转化后的临时表中更新后的所述字段信息对应的数据拷贝到每个源数据库中，并更新每个源数据库中所述字段信息对应的数据。

图5是本发明一实施例提供的服务器的结构示意图，如图5所示，本发明实施例提供的服务器包括接收模块1、解析模块2、执行模块3、数据搬运模块4、数据传输模块5和数据目录管理模块6，其中：

所述接收模块1分别与解析模块2和数据传输模块5相连，解析模块2分别与执行模块3、数据搬运模块4和数据目录管理模块6相连，执行模块3与数据传输模块5相连。

接收模块1用于接收客户终端发送的数据处理请求，并将所述数据处理请求发送给解析模块2。所述数据处理请求包括字段信息，所述数据处理请求可以分为数据查询请求和数据更新请求。所述数据处理请求可以以SQL语句的形式发送给解析模块2。接收模块1还可以接收数据传输模块5返回的数据处理结果，并将所述数据处理结果发送所述客户终端，所述数据处理结果可以分为数据查询结果和数据更新结果两种。

解析模块2用于解析所述数据处理请求，获得字段信息和表信息。解析模块2根据所述表信息可以确定所述表信息对应的元数据信息，数据目录管理模块6预先存储元数据与数据库的对应关系，解析模块2根据元数据信息包括的元数据以及元数据与数据库的对应关系，可以获得元数据对应的数据库。如果所述元数据信息对应的数据库中有至少两个异构数据库时，从所述至少两个异构数据库中选择一个数据库作为目标数据库，其余的数据库作为源数据库。

解析模块2还用于生成至少一个数据搬运任务和一个数据处理任务。为每个源数据库生成一个数据搬运任务，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，目的是将不同源数据库的数据集中至目标数据库进行处理。所述数据处理任务用于进行所述字段信息查询或者更新。数据搬运任务由数据搬运模块4执行，数据处理任务由执行模块3执行。

数据搬运模块4用于执行所述至少一个数据搬运任务，可以处理大数据量规模的数据搬运。所述数据搬运任务可以包括源数据表、源数据库、源数据集群、目标数据表、目标数据库、目标数据集群、导出的字段列表、谓词过滤条件等信息。所述导出的字段列表即搬运涉及的字段信息为源数据表的全量字段中的一部分，谓词过滤条件表示搬运涉及的数据符合谓词过滤条件的行数，导出的字段列表和谓词过滤条件能够减少搬运的数据量，提高搬运效率。通过数据搬运任务解决了不同类型的数据库数据无法融合的问题。由于数据在不同类型的数据库存储的码制和数据结构有所区别，因此从源数据库导出后的数据无法直接被目标数据库所识别，必须进行数据转化处理。具体的，将从源数据库导出的数据以文件形式先到中间目录暂存，将从源数据库导出的数据转化处理为目标数据库可识别的数据文件，再导入到目标数据库中。当从源数据库导出的数据量较大时，将从源数据库导出的数据切分成若干个分片数据，可分布式存储于多台中转服务器的多个中转目录中。可以将数据搬运任务进一步细分为多个子搬运任务，每个子搬运任务负责分片数据的搬运。多个子搬运任务可并行处理，以提高数据搬运效率。当最后一个子搬运任务结束，整个数据搬运任务才算结束。

执行模块3用于执行数据处理任务，获得数据处理结果。所述数据处理任务可以包括待执行的SQL语句和所述目标数据库的连接信息，所述目标数据库的连接信息可以包括数据库类别、数据库驱动名、数据库URL、用户名、密码、数据库服务器IP端口、数据库实例名和数据库字符集等。执行模块3通过所述目标数据库的连接信息连接所述目标数据库，对来自于各个源数据库和所述目标数据库的所述字段信息对应的数据执行所述待执行的SQL语句。如果待执行的SQL语句为查询语句(Select)，那么获得查询结果；如果待执行的SQL语句为更新语句(Update/Insert/Delete/Create)，那么获得更新结果，所述更新结果可以包括更新影响的行数。

数据传输模块5用于将数据处理结果返回给接收模块1。当数据处理结果的记录数为千万级甚至亿级时，为了提升数据在网络中的传输效率，在遍历数据处理结果返回数据时，可以将数据行组织成数据组，一数据组包含固定行数的数据，一次传输一数据组的数据量，由此节省网络资源，缩短传输时间。

数据目录管理模块6用于管理和维护元数据与数据库的对应关系。所述元数据即描述数据信息的数据，元数据可以包括但不限于表列表、表名、字段列表、视图信息、行数、磁盘目录信息等。

本发明实施例提供的服务器，解决了异构数据库查询的难题，提供高效快速的数据查询功能。并具有如下优点：

(1)支持异构数据库多表关联的复杂查询处理，封装了异构数据库的数据搬运融合的复杂操作细节，对用户透明，显著优化了操作流程。

(2)支持大数据量的数据库跨库多表关联查询，解决了单服务器内存无法存放全量查询数据的问题，以分布式数据搬运的方式解决数据中转落地。

(3)提供统一的客户端查询接口以及基于SQL标准的数据操作文本语言，降低了用户的使用门槛。用户只需根据需求灵活编写查询命令，系统快速将查询结果返回给用户，用户体验性佳。

图6是本发明一实施例提供的异构数据库的数据处理装置的结构示意图，如图6所示，本发明实施例提供的异构数据库的数据处理装置包括接收模块601、解析模块602、生成模块603、第一执行模块604和第二执行模块605，其中：

接收模块601用于接收数据处理请求，所述数据处理请求包括字段信息和表信息；解析模块602用于解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；生成模块603用于生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；第一执行模块604用于执行所述至少一个数据搬运任务；第二执行模块605用于对所述目标数据库执行所述数据处理任务，获得数据处理结果。

具体地，客户终端向接收模块601发送数据处理请求，所述数据处理请求包括字段信息和表信息，接收模块601会接收所述数据处理请求。其中，所述数据处理请求用于进行数据查询或者数据更新。当所述数据处理请求用于进行数据查询时，所述字段信息包括用于进行查询的字段。当所述数据处理请求用于进行数据更新时，所述字段信息包括需要更新的字段以及对应的更新数据。所述字段可以是数据库中数据表中的字段。所述表信息包括与所述字段信息相关的数据表，根据实际需要进行设置，本发明实施例不做限定。所述客户终端包括但不限于台式机、笔记本电脑等电子设备。

在接收到所述数据处理请求之后，解析模块602会解析所述数据处理请求，获得所述字段信息和所述表信息，然后根据表信息包括的数据表确定数据表对应的元数据，再根据元数据查询获得所述元数据对应的至少两个异构数据库，将所述元数据对应的至少两个异构数据库作为所述数据处理请求对应的至少两个异构数据库。从所述至少两个异构数据库中选择一个数据库作为目标数据库，其余的数据库作为源数据库。其中，所述元数据与数据库的对应关系是预设的。所述元数据包括但不限于表列表、表名、字段列表、视图信息、行数、磁盘目录信息等。所述目标数据库可以是从所述至少两个异构数据库中随机选择的，也可以选择一个数据量最大的数据库作为所述目标数据库，根据实际需要进行设置，本发明实施例不做限定。

生成模块603为每个源数据库生成一个数据搬运任务，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，并基于所述数据处理请求生成一个数据处理任务，如果所述数据处理请求用于进行数据查询，那么生成的数据处理任务用于进行所述字段信息查询，如果所述数据处理请求用于数据更新，那么生成的数据处理任务用于进行所述字段信息更新。其中，所述源数据库与所述数据搬运任务一一对应。所述字段信息对应的数据是指所述字段信息包括的字段在数据表中对应的数据。

在生成所述至少一个数据搬运任务之后，第一执行模块604会执行所述至少一个数据搬运任务，从每个数据搬运任务对应的源数据库抽取所述字段信息对应的数据到目标数据库，在所述字段信息对应的数据从源数据库抽取到所述目标数据库的过程中，会将所述字段信息对应的数据转化成所述目标数据库能够识别的数据。数据搬运任务的目的是将各个源数据库中的所述字段信息对应的数据，集中到目标数据库进行统一处理。可以理解的是，当数据搬运任务有多个时，可以并行处理所述数据搬运任务，以提高数据搬运任务的执行效率。

在执行完成所述至少一个数据搬运任务之后，各个源数据库中的所述字段信息对应的数据都集中到了所述目标数据库，第二执行模块605会对所述目标数据库执行所述数据处理任务。当所述数据处理任务用于进行数据查询时，第二执行模块605可以在所述目标数据库对来自各个源数据库和所述目标数据库的所述字段信息对应的数据进行统一查询，获得的查询结果作为所述数据处理结果。当所述数据处理任务用于进行数据更新时，第二执行模块605可以在所述目标数据库统一对来自各个源数据库和所述目标数据库的所述字段信息对应的数据进行更新，然后将所述字段信息对应的更新数据同步到各个源数据库，将更新结果作为所述数据处理结果。第二执行模块605在获得所述数据处理结果之后，可以将所述数据处理结果返回给所述客户终端。

本发明实施例提供的异构数据库的数据处理装置，接收包括字段信息的数据处理请求，解析数据处理请求，并生成至少一个数据搬运任务和一个数据处理任务，执行至少一个数据搬运任务，数据搬运任务用于从源数据库抽取字段信息对应的数据到目标数据库，对目标数据库执行所述数据处理任务，并获得数据处理结果，由于将源数据库的相关数据集中到目标数据库进行处理，实现了对各个异构数据库的数据的统一处理，提高了数据处理效率。

图7是本发明另一实施例提供的异构数据库的数据处理装置的结构示意图，如图7所示，在上述各实施例的基础上，进一步地，第一执行模块604包括第一创建单元6041、转化单元6042和第二创建单元6043，其中：

第一创建单元6041用于根据所述源数据库的表结构信息在所述源数据库创建临时表并抽取所述字段信息对应数据到所述临时表中；转化单元6042用于将所述临时表中的字段信息对应的数据拷贝到中转目录并转化为所述目标数据库识别的数据；第二创建单元6043用于根据所述源数据库的表结构信息在所述目标数据库创建目标表，并从所述中转目录将转化后的所述字段信息对应的数据拷贝到所述目标表中。

具体地，第一创建单元6041可以与所述源数据库建立连接，从所述源数据库获得所述源数据库的表结构信息，然后根据所述源数据库的表结构信息在所述源数据库创建临时表，所述临时表与所述源数据库的数据表具有相同的表结构。在创建所述临时表之后，第一创建单元6041会从所述源数据库中抽取所述字段信息对应的数据存储到所述临时表中。

由于所述源数据库和所述目标数据库的异构特性，无法直接将所述源数据库的数据直接导入到所述目标数据库。转化单元6042在抽取所述字段信息对应的数据到所述临时表中之后，会将所述临时表中的字段信息对应的数据拷贝到中转目录缓存，并转化为所述目标数据库识别的数据。

第二创建单元6043可以与所述目标数据库建立连接，然后根据所述源数据库的表结构信息在所述目标数据库中创建目标表，所述目标表与所述源数据库的数据表具有相同的表结构，所述目标表能够被所述目标数据库所识别。在创建所述目标表之后，第二创建单元6043从所述中转目录中将转化后的所述字段信息对应的数据拷贝到所述目标表中。在执行完所有的数据搬运任务之后，各个源数据库的所述字段信息对应数据就集中到了所述目标数据库中，并能够被所述目标数据库所识别。

图8是本发明再一实施例提供的异构数据库的数据处理装置的结构示意图，如图8所示，在上述各实施例的基础上，进一步地，转化单元6042包括切分子单元60421和拷贝子单元60422，其中：

切分子单元60421用于在判断获知所述字段信息对应的数据的大小大于预设值之后，将所述字段信息对应数据切分为多个小于等于所述预设值的分片数据；拷贝子单元60422用于将所述多个分片数据拷贝到所述中转目录。

具体地，在向所述中转目标拷贝所述字段信息对应的数据之前，切分子单元60421可以获得所述字段信息对应的数据的大小，然后将所述字段信息对应的数据的大小与预设值进行比较，如果所述字段信息对应的数据的大小大于所述预设值，那么可以将所述字段信息对应数据切分为多个分片数据，每个分片数据的大小小于等于所述预设值。其中，所述预设值根据实际经验进行设置，例如设置为128MB，本发明实施例不做限定。

在将所述字段信息对应的数据切分为多个分片数据之后，拷贝子单元60422将所述多个分片数据拷贝到所述中转目录。其中，为了提高数据传输效率，可以并行拷贝所述多个分片数据。

图9是本发明又一实施例提供的异构数据库的数据处理装置的结构示意图，如图9所示，在上述各实施例的基础上，进一步地，第二执行模块605包括更新单元6051和同步单元6052，其中：

更新单元6051用于根据所述字段信息在所述目标数据库更新所述字段信息对应的数据；同步单元6052用于将更新后的所述字段信息对应的数据同步到所述至少一个数据搬运任务对应的源数据库中。

具体地，当所述数据处理任务用于进行数据更新时，所述字段信息包括需要更新的字段以及对应的更新数据，更新单元6051会根据所述字段信息在所述目标数据库更新所述字段信息对应的数据，即根据所述字段信息包括的需要更新的字段以及对应的更新数据，对来自各个源数据库和所述目标数据库的所述字段信息对应的数据进行更新，使各个字段对应的数据变更为各个字段对应的更新数据，获得更新后的所述字段信息对应的数据。

在更新完成所述字段信息对应的数据之后，还需要将更新后的所述字段信息对应的数据同步到所述至少一个数据搬运任务对应的源数据库中。同步单元6052可以从所述目标数据库中获取每个源数据库对应的目标表，将更新后的所述字段信息对应的数据从每个源数据库对应的目标表拷贝到所述中转目录中每个源数据库对应的临时表中，并转化为所述源数据库能够识别的数据，然后将转化后的临时表中更新后的所述字段信息对应的数据拷贝到每个源数据库中，并更新每个源数据库中所述字段信息对应的数据。

本发明实施例提供的装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。

图10是本发明一实施例提供的电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1001、通信接口(Communications Interface)1002、存储器(memory)1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信。处理器1001可以调用存储器1003中的逻辑指令，以执行如下方法：接收数据处理请求，所述数据处理请求包括字段信息和表信息；解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；执行所述至少一个数据搬运任务；对所述目标数据库执行所述数据处理任务，获得数据处理结果。

此外，上述的存储器1003中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：接收数据处理请求，所述数据处理请求包括字段信息和表信息；解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；执行所述至少一个数据搬运任务；对所述目标数据库执行所述数据处理任务，获得数据处理结果。

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：接收数据处理请求，所述数据处理请求包括字段信息和表信息；解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；执行所述至少一个数据搬运任务；对所述目标数据库执行所述数据处理任务，获得数据处理结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种异构数据库的数据处理方法，其特征在于，包括：

接收数据处理请求，所述数据处理请求包括字段信息和表信息；

解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；

生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；

执行所述至少一个数据搬运任务；

对所述目标数据库执行所述数据处理任务，获得数据处理结果。

2.根据权利要求1所述的方法，其特征在于，所述执行所述至少一个数据搬运任务包括：

根据所述源数据库的表结构信息在所述源数据库创建临时表并抽取所述字段信息对应数据到所述临时表中；

将所述临时表中的字段信息对应的数据拷贝到中转目录并转化为所述目标数据库识别的数据；

根据所述源数据库的表结构信息在所述目标数据库创建目标表，并从所述中转目录将转化后的所述字段信息对应的数据拷贝到所述目标表中。

3.根据权利要求2所述的方法，其特征在于，所述将所述临时表中的字段信息对应的数据拷贝到中转目录包括：

若判断获知所述字段信息对应的数据的大小大于预设值，则将所述字段信息对应数据切分为多个小于等于所述预设值的分片数据；

将所述多个分片数据拷贝到所述中转目录。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述目标数据库执行所述数据处理任务包括：

根据所述字段信息在所述目标数据库更新所述字段信息对应的数据；

将更新后的所述字段信息对应的数据同步到所述至少一个数据搬运任务对应的源数据库中。

5.一种异构数据库的数据处理装置，其特征在于，包括：

接收模块，用于接收数据处理请求，所述数据处理请求包括字段信息和表信息；

解析模块，用于解析所述数据处理请求获得所述字段信息和所述表信息，并基于所述表信息获得所述数据处理请求对应的至少两个异构数据库，将所述至少两个异构数据库中的一个数据库作为目标数据库，其余数据库作为源数据库；

生成模块，用于生成至少一个数据搬运任务和一个数据处理任务；其中，所述数据搬运任务用于从源数据库抽取所述字段信息对应的数据到目标数据库，所述数据处理任务用于进行所述字段信息查询或者更新，所述源数据库与所述数据搬运任务一一对应；

第一执行模块，用于执行所述至少一个数据搬运任务；

第二执行模块，用于对所述目标数据库执行所述数据处理任务，获得数据处理结果。

6.根据权利要求5所述的装置，其特征在于，所述第一执行模块包括：

第一创建单元，用于根据所述源数据库的表结构信息在所述源数据库创建临时表并抽取所述字段信息对应数据到所述临时表中；

转化单元，用于将所述临时表中的字段信息对应的数据拷贝到中转目录并转化为所述目标数据库识别的数据；

第二创建单元，用于根据所述源数据库的表结构信息在所述目标数据库创建目标表，并从所述中转目录将转化后的所述字段信息对应的数据拷贝到所述目标表中。

7.根据权利要求6所述的装置，其特征在于，所述转化单元包括：

切分子单元，用于在判断获知所述字段信息对应的数据的大小大于预设值之后，将所述字段信息对应数据切分为多个小于等于所述预设值的分片数据；

拷贝子单元，用于将所述多个分片数据拷贝到所述中转目录。

8.根据权利要求5至7任一项所述的装置，其特征在于，所述第二执行模块包括：

更新单元，用于根据所述字段信息在所述目标数据库更新所述字段信息对应的数据；

同步单元，用于将更新后的所述字段信息对应的数据同步到所述至少一个数据搬运任务对应的源数据库中。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。

Images