CN109657002A - 一种多表批量数据同步方法、装置及设备 - Google Patents

Abstract

本发明公开了一种多表批量数据同步方法、装置、设备及计算机可读存储介质，该方法包括：确定需实现数据同步的数据库为源数据库，需将所述源数据库的数据同步至的数据库为目的数据库；确定外界选取的所述源数据库中多个需要实现数据同步的表均为源表，创建多个与所述源表一一对应的数据同步模型；利用多个所述数据同步模型将各自对应的源表的数据均同步至所述目的数据库中，实现多表批量数据同步。从而在确定出需要实现数据同步的多个源表后，即可自动创建出多个数据同步模型并实现多个源表的数据同步，通过这种多表批量数据同步的方式大大提高了数据同步速度，减少了数据同步所需时间。

Description

一种多表批量数据同步方法、装置及设备

技术领域

本发明涉及数据库技术领域，更具体地说，涉及一种多表批量数据同步方法、装置、设备及计算机可读存储介质。

背景技术

在数据库中实现数据同步的对象通常为数据库表(简称表)。在实现表的同步时，通常需要由工作人员选取需要实现数据同步的表为源表，需要将源表的数据同步至的表为目的表；然后创建一个与源表对应的数据同步模型，将源表及数据表的信息分别填写到预先创建的数据同步模型的配置项中，进而手动控制数据同步模型工作，将源表的数据同步至目的表中。但是在需要实现数据库中多个表的同步时，采用上述显然实现数据同步的速度较慢、需要时间较长。

综上所述，现有技术中实现多个表的数据同步的技术方案存在数据同步速度较慢、需要时间较长的问题。

发明内容

本发明的目的是提供一种多表批量数据同步方法、装置、设备及计算机可读存储介质，能够解决现有技术中实现多个表的数据同步的技术方案存在数据同步速度较慢、需要时间较长的问题。

为了实现上述目的，本发明提供如下技术方案：

一种多表批量数据同步方法，包括：

确定需实现数据同步的数据库为源数据库，需将所述源数据库的数据同步至的数据库为目的数据库；

确定外界选取的所述源数据库中多个需要实现数据同步的表均为源表，创建多个与所述源表一一对应的数据同步模型；

利用多个所述数据同步模型将各自对应的源表的数据均同步至所述目的数据库中，实现多表批量数据同步。

优选的，确定源表之后，还包括：

读取所述源表的表结构并输出，接收外界输入的结构反馈信息，如果所述结构反馈信息为确认信息，则无需对所述源表的表结构进行修改，否则，则基于所述结构反馈信息对所述源表的表结构进行修改。

优选的，利用多个所述数据同步模型将各自对应的源表数据均同步至所述目的数据库中，包括：

读取源数据库信息、源表信息、源表表结构信息及目的数据库信息，并分别填充至对应的数据同步模型的配置项；

控制所述数据同步模型工作，以指示所述数据同步模型在所述目的数据库中创建多个与所述源表一一对应的、具有所述源表结构的目的表，并将所述源表的数据分别同步至对应的所述目的表中。

优选的，确定源数据库及目的数据库，包括：

显示源数据库配置界面及目的数据库配置界面，并确定外界在所述源数据块配置界面中选取的数据库为源数据库，在所述目的数据库配置界面中选取的数据库为目的数据库。

优选的，利用多个所述数据同步模型将各自对应的源表数据均同步至所述目的数据库中之后，还包括：

将完成多表批量数据同步的信息发送至管理终端。

一种多表批量数据同步装置，包括：

确定模块，用于：确定需实现数据同步的数据库为源数据库，需将所述源数据库的数据同步至的数据库为目的数据库；

创建模块，用于：确定外界选取的所述源数据库中多个需要实现数据同步的表均为源表，创建多个与所述源表一一对应的数据同步模型；

同步模块，用于：利用多个所述数据同步模型将各自对应的源表的数据均同步至所述目的数据库中，实现多表批量数据同步。

优选的，还包括：

结构设置模块，用于：确定源表之后，读取所述源表的表结构并输出，接收外界输入的结构反馈信息，如果所述结构反馈信息为确认信息，则无需对所述源表的表结构进行修改，否则，则基于所述结构反馈信息对所述源表的表结构进行修改。

优选的，所述同步模块包括：

同步单元，用于：读取源数据库信息、源表信息、源表表结构信息及目的数据库信息，并分别填充至对应的数据同步模型的配置项；控制所述数据同步模型工作，以指示所述数据同步模型在所述目的数据库中创建多个与所述源表一一对应的、具有所述源表结构的目的表，并将所述源表的数据分别同步至对应的所述目的表中。

一种多表批量数据同步设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一项所述多表批量数据同步方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述多表批量数据同步方法的步骤。

本发明提供了一种多表批量数据同步方法、装置、设备及计算机可读存储介质，其中，该方法包括：确定需实现数据同步的数据库为源数据库，需将所述源数据库的数据同步至的数据库为目的数据库；确定外界选取的所述源数据库中多个需要实现数据同步的表均为源表，创建多个与所述源表一一对应的数据同步模型；利用多个所述数据同步模型将各自对应的源表的数据均同步至所述目的数据库中，实现多表批量数据同步。本申请公开的技术方案中，在由外界选取出源数据库中需要实现数据同步的多个表为源表后，自动创建多个与源表一一对应的数据同步模型，并利用多个数据同步模型实现对应源表的数据至目的数据库的同步。从而不同于现有技术中需要工作人员手动创建与每个源表对应的数据同步模型并手动控制其工作，而是在确定出需要实现数据同步的多个源表后，即可自动创建出多个数据同步模型并实现多个源表的数据同步，从而通过这种多表批量数据同步的方式大大提高了数据同步速度，减少了数据同步所需时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种多表批量数据同步方法的流程图；

图2为本发明实施例提供的一种多表批量数据同步方法中确定源数据库的示例界面；

图3为本发明实施例提供的一种多表批量数据同步方法中确定源表的示例界面；

图4为本发明实施例提供的一种多表批量数据同步方法中表结构修改界面示例图；

图5为本发明实施例提供的一种多表批量数据同步方法的具体实现图；

图6为本发明实施例提供的一种多表批量数据同步装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种多表批量数据同步方法的流程图，可以包括：

S11：确定需实现数据同步的数据库为源数据库，需将源数据库的数据同步至的数据库为目的数据库。

需要说明的是，本发明实施例提供的一种多表批量数据同步方法的执行主语可以为对应的多表批量数据同步装置。其中，任一需要实现数据同步的数据库均可以作为源数据库，对应的需将源数据库的数据同步至的数据库则为目的数据库，以在确定出源数据库及目的数据库后，实现对应数据的同步。

S12：确定外界选取的源数据库中多个需要实现数据同步的表均为源表，创建多个与源表一一对应的数据同步模型。

确定出源数据库后，可以向外界显示源表选取界面，该源表选取界面中可以包括源数据库包含的各个表的标识及与标识一一对应的选取按钮，进而在外界按下选取按钮后则可以确定选取按钮对应标识所属的表为源表，当然也可以根据实际需要进行其他设定，均在本发明的保护范围之内。确定出外界选取的表为源表后，自动创建与源表一一对应的数据同步模型，以利用数据同步模型实现对应源表的数据同步；其中，数据同步模型可以与现有技术中的数据同步模型相同，也可以为根据实际需要设置的其他能够实现数据同步的模型，均在本发明的保护范围之内。

S13：利用多个数据同步模型将各自对应的源表的数据均同步至目的数据库中，实现多表批量数据同步。

控制多个数据同步模型工作，以利用这多个数据同步模型以一一对应的关系将多个源表的数据同步至目的数据库中，实现多表批量数据同步。其中，控制多个数据同步模型工作可以是在外界发送控制指令时实现的，也可以设置于多表批量数据同步装置中设置有监控程序，该监控程序在监控到创建好数据同步模型、能够利用数据同步模型实现数据同步时发送控制指令实现的，还可以根据实际需要进行其他设定，均在本发明的保护范围之内。而控制多个数据同步模型工作，可以是控制多个数据同步模型同时工作，以通过这种并发进行数据同步的方式大大提高数据同步效率。

本申请公开的技术方案中，在由外界选取出源数据库中需要实现数据同步的多个表为源表后，自动创建多个与源表一一对应的数据同步模型，并利用多个数据同步模型实现对应源表的数据至目的数据库的同步。从而不同于现有技术中需要工作人员手动创建与每个源表对应的数据同步模型并手动控制其工作，而是在确定出需要实现数据同步的多个源表后，即可自动创建出多个数据同步模型并实现多个源表的数据同步，从而通过这种多表批量数据同步的方式大大提高了数据同步速度，减少了数据同步所需时间。

本发明实施例提供的一种多表批量数据同步方法，确定源表之后，还可以包括：

读取源表的表结构并输出，接收外界输入的结构反馈信息，如果结构反馈信息为确认信息，则无需对源表的表结构进行修改，否则，则基于结构反馈信息对源表的表结构进行修改。

需要说明的是，将源表的表结构进行输出具体可以是将源表的表结构进行展示，并且可以向外界输入表结构修改界面，而外界输入结构反馈信息即可以通过在该表结构修改界面上修改表结构参数实现，如果表结构修改界面上表结构参数未改变，则结构反馈信息为确认信息，否则，则基于改变的表结构参数修改表结构即可。其中，表结构及表结构参数与现有技术中对应概念的含义相同，在此不再赘述。另外，在将源表的数据同步至目的数据源的过程中，可以先在目的数据源中创建与源表一一对应的且与源表表结构相同的表为目的表，因此通过上述方式实现对源表表结构的修改或确认，也即为实现对目的表结构的修改或确认，从而使得源表及目的表更加符合实际需求。

本发明实施例提供的一种多表批量数据同步方法，利用多个数据同步模型将各自对应的源表数据均同步至目的数据库中，可以包括：

读取源数据库信息、源表信息、源表表结构信息及目的数据库信息，并分别填充至对应的数据同步模型的配置项；

控制数据同步模型工作，以指示数据同步模型在目的数据库中创建多个与源表一一对应的、具有源表结构的目的表，并将源表的数据分别同步至对应的目的表中。

需要说明的是，将源数据库信息、源表信息、源表表结构信息及目的数据库信息自动填充至数据同步模型的配置项，从而使得数据同步模型在实现数据同步操作时能够定位到源数据、源表及目的数据库，并且在创建目的表时能够基于源表表结构信息进行创建，进而保证数据同步的顺利实现。另外，源数据库信息、源表信息及目的数据库信息可以包括对应数据库或表的标识、属性等，源表表结构信息可以包括对应表结构的表结构参数等，具体可根据实际需要设定。

本发明实施例提供的一种多表批量数据同步方法，确定源数据库及目的数据库，可以包括：

显示源数据库配置界面及目的数据库配置界面，并确定外界在源数据块配置界面中选取的数据库为源数据库，在目的数据库配置界面中选取的数据库为目的数据库。

需要说明的是，实现源数据库及目的数据库的确定可以通过源数据库配置界面及目的数据库配置界面实现，其中，源数据库配置界面及目的数据库配置界面均可以包括各个数据库标识及与标识一一对应的选取按钮，从而在外界按下选取按钮时确定该选取按钮对应标识所属的数据库为源数据库或者目的数据库；也可以设置填入数据库相关信息的位置，并且在该位置设置下拉菜单，下拉菜单中包含各个数据库的标识，也在外界选定某一标识后确定对应数据库为源数据库或目的数据库；还可以设置成如图2所示的界面，此时对应源表选取界面可以如图3所示，表结构修改界面可以如图4所示；等；均在本发明的保护范围之内。由此无需工作人员通过编程实现源数据库及目的数据库的确定，而是通过界面配置即可完成，大大减少了工作人员的工作量及工作难度。

本发明实施例提供的一种多表批量数据同步方法，利用多个数据同步模型将各自对应的源表数据均同步至目的数据库中之后，还可以包括：

将完成多表批量数据同步的信息发送至管理终端。

将完成多表批量数据同步的信息发送至预先设定的、与工作人员对应的管理终端，能够使得工作人员及时获知数据同步情况，进而实现对应操作，便于工作人员的工作展开。

另外需要说明的是，本发明实施例提供的一种多表批量数据同步方法可以基于InforSuite ESB开发工具实现，该开发工具简单易用、弹性易扩展，支持JDBC、JMS、Http/s、Socket、FTP等标准通讯协议和消息格式，支持Oracle、MySql、MS SqlServer、DB2等关系型数据库和HDFS、Hive、HBase等分布式数据库，能够松耦合集成分布式异构系统，可以灵活地应对不断增加的应用集成需求，InforSuite ESB开发工具内置数据、大数据、服务、路由、协议、转换等构件，通过简单拖拽配置搭建模型即可实现服务集成和数据集成。因此有利于实现本发明实施例公开的技术方案。如图5所示，其中，数据源即为源数据库，数据库表即为源表，数据库表结构即为源表表结构，在开发工具中执行本发明实施例提供的一种多表批量数据同步方法可以包括：调用createDS()方法确定源数据库，并在确定源数据库完成后，调用queryTables()方法查询源数据库中的源表，查询成功后，调用queryStructures()方法查询源数据库中源表的表结构，查询成功后，调用createModel()创建数据同步模型，分别调用getDS()、getTables()、getStructures()方法获取源数据库信息、源表信息、源表表结构信息并配置到配置项当中，完成数据同步模型的成功创建，以利用数据同步模型实现对应源表的数据同步。可见，本申请公开的技术方案无需编程，直接通过相关配置即可完成，便于用户快速实现多表批量数据同步。

本发明实施例还提供了一种多表批量数据同步装置，如图6所示，可以包括：

确定模块11，用于：确定需实现数据同步的数据库为源数据库，需将源数据库的数据同步至的数据库为目的数据库；

创建模块12，用于：确定外界选取的源数据库中多个需要实现数据同步的表均为源表，创建多个与源表一一对应的数据同步模型；

同步模块13，用于：利用多个数据同步模型将各自对应的源表的数据均同步至目的数据库中，实现多表批量数据同步。

本发明实施例提供的一种多表批量数据同步装置，还可以包括：

结构设置模块，用于：确定源表之后，读取源表的表结构并输出，接收外界输入的结构反馈信息，如果结构反馈信息为确认信息，则无需对源表的表结构进行修改，否则，则基于结构反馈信息对源表的表结构进行修改。

本发明实施例提供的一种多表批量数据同步装置，同步模块可以包括：

同步单元，用于：读取源数据库信息、源表信息、源表表结构信息及目的数据库信息，并分别填充至对应的数据同步模型的配置项；控制数据同步模型工作，以指示数据同步模型在目的数据库中创建多个与源表一一对应的、具有源表结构的目的表，并将源表的数据分别同步至对应的目的表中。

本发明实施例提供的一种多表批量数据同步装置，确定模块可以包括：

确定单元，用于：显示源数据库配置界面及目的数据库配置界面，并确定外界在源数据块配置界面中选取的数据库为源数据库，在目的数据库配置界面中选取的数据库为目的数据库。

本发明实施例提供的一种多表批量数据同步装置，还可以包括：

发送模块，用于：利用多个数据同步模型将各自对应的源表数据均同步至目的数据库中之后，将完成多表批量数据同步的信息发送至管理终端。

本发明实施例还提供了一种多表批量数据同步设备，可以包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上任一项多表批量数据同步方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任一项多表批量数据同步方法的步骤。

需要说明的是，本发明实施例提供的一种多表批量数据同步装置、设备及计算机可读存储介质中相关部分的说明请参见本发明实施例提供的一种多表批量数据同步方法中对应部分的详细说明，在此不再赘述。另外本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种多表批量数据同步方法，其特征在于，包括：

确定需实现数据同步的数据库为源数据库，需将所述源数据库的数据同步至的数据库为目的数据库；

确定外界选取的所述源数据库中多个需要实现数据同步的表均为源表，创建多个与所述源表一一对应的数据同步模型；

利用多个所述数据同步模型将各自对应的源表的数据均同步至所述目的数据库中，实现多表批量数据同步。

2.根据权利要求1所述的方法，其特征在于，确定源表之后，还包括：

读取所述源表的表结构并输出，接收外界输入的结构反馈信息，如果所述结构反馈信息为确认信息，则无需对所述源表的表结构进行修改，否则，则基于所述结构反馈信息对所述源表的表结构进行修改。

3.根据权利要求2所述的方法，其特征在于，利用多个所述数据同步模型将各自对应的源表数据均同步至所述目的数据库中，包括：

读取源数据库信息、源表信息、源表表结构信息及目的数据库信息，并分别填充至对应的数据同步模型的配置项；

控制所述数据同步模型工作，以指示所述数据同步模型在所述目的数据库中创建多个与所述源表一一对应的、具有所述源表结构的目的表，并将所述源表的数据分别同步至对应的所述目的表中。

4.根据权利要求3所述的方法，其特征在于，确定源数据库及目的数据库，包括：

显示源数据库配置界面及目的数据库配置界面，并确定外界在所述源数据块配置界面中选取的数据库为源数据库，在所述目的数据库配置界面中选取的数据库为目的数据库。

5.根据权利要求4所述的方法，其特征在于，利用多个所述数据同步模型将各自对应的源表数据均同步至所述目的数据库中之后，还包括：

将完成多表批量数据同步的信息发送至管理终端。

6.一种多表批量数据同步装置，其特征在于，包括：

确定模块，用于：确定需实现数据同步的数据库为源数据库，需将所述源数据库的数据同步至的数据库为目的数据库；

创建模块，用于：确定外界选取的所述源数据库中多个需要实现数据同步的表均为源表，创建多个与所述源表一一对应的数据同步模型；

同步模块，用于：利用多个所述数据同步模型将各自对应的源表的数据均同步至所述目的数据库中，实现多表批量数据同步。

7.根据权利要求6所述的装置，其特征在于，还包括：

结构设置模块，用于：确定源表之后，读取所述源表的表结构并输出，接收外界输入的结构反馈信息，如果所述结构反馈信息为确认信息，则无需对所述源表的表结构进行修改，否则，则基于所述结构反馈信息对所述源表的表结构进行修改。

8.根据权利要求7所述的装置，其特征在于，所述同步模块包括：

同步单元，用于：读取源数据库信息、源表信息、源表表结构信息及目的数据库信息，并分别填充至对应的数据同步模型的配置项；控制所述数据同步模型工作，以指示所述数据同步模型在所述目的数据库中创建多个与所述源表一一对应的、具有所述源表结构的目的表，并将所述源表的数据分别同步至对应的所述目的表中。

9.一种多表批量数据同步设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述多表批量数据同步方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述多表批量数据同步方法的步骤。