CN110909071A

CN110909071A - 数据同步方法、装置以及系统

Info

Publication number: CN110909071A
Application number: CN201811082527.8A
Authority: CN
Inventors: 陈焕君
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2018-09-17
Filing date: 2018-09-17
Publication date: 2020-03-24

Abstract

本发明公开了一种数据同步方法、装置以及系统，基于同步配置文件从源数据库中获取源表的数据项内容，并定位目标数据库中的目标表；并在将数据项内容同步至目标表的过程中，通过在目标表中插入数据来源数据项以及将数据来源标识作为数据项内容在数据来源数据项下对应的内容，实现自动为所同步的数据添加数据来源，从而达到进行数据来源层级统计的目的。

Description

数据同步方法、装置以及系统

技术领域

本发明涉及数据同步技术领域，更具体地说，涉及一种数据同步方法、装置以及系统。

背景技术

同一企业往往有很多负责不同业务功能的业务系统，而每个业务系统所产生的数据往往会存储于各自的数据库中。随着综合业务的发展，数据库之间就有同步数据的需要。

现阶段，将源数据库中源表的数据同步至目标数据库中目标表的过程中，并不会对所同步的数据做处理，因此目标表中的数据就缺少数据来源，从而无法对目标表中的数据进行数据来源层级的统计。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据同步方法、装置及系统，技术方案如下：

一种数据同步方法，包括：

获取同步配置文件；其中，所述同步配置文件中至少包括源数据库标识、源表标识、目标数据库标识、目标表标识和数据来源标识，所述数据来源标识与所述源数据库标识和所述源表标识相关联；

确定所述源数据库标识所对应的源数据库，并获取所述源数据库中所述源表标识所对应的源表的数据项内容；

确定所述目标数据库标识所对应的目标数据库，并在所述目标数据库中查找所述目标表标识所对应的目标表；

在查找到所述目标表的情况下，判断所述目标表中是否存在数据来源数据项；

若否，则在所述目标表中插入所述数据来源数据项，并在将所述数据项内容同步至所述目标表的过程中，将所述数据来源标识作为所述数据项内容在所述数据来源数据项下对应的内容。

优选的，在所述同步配置文件还包括源数据库账户信息和目标数据库账户信息的情况下，所述获取所述源数据库中所述源表标识所对应的源表的数据项内容之前，所述方法还包括：

向所述源数据库发送所述源数据库账户信息，并在接收到所述源数据库基于所述源数据库账户信息所反馈的用于表征源数据库账户登录成功的第一响应信息时，执行所述获取所述源数据库中所述源表标识所对应的源表的数据项内容，这一步骤；

所述在所述目标数据库中查找所述目标表标识所对应的目标表之前，所述方法还包括：

向所述目标数据库发送所述目标数据库账户信息，并在接收到所述目标数据库基于所述目标数据库账户信息所反馈的用于表征目标数据库账户登录成功的第二响应信息时，执行所述在所述目标数据库中查找所述目标表标识所对应的目标表，这一步骤。

优选的，所述确定所述目标数据库标识所对应的目标数据库之前，所述方法还包括：

显示所述数据项内容；

响应用户输入的数据项选择指令，以从所述数据项内容中选取待同步的目标数据项内容。

优选的，所述方法还包括：

在未查找到所述目标表的情况下，在所述目标数据库中建立所述目标表；

在所述目标表中插入所述数据来源数据项，并在将所述数据项内容同步至所述目标表的过程中，将所述数据来源标识作为所述数据项内容在所述数据来源数据项下的内容。

优选的，所述在所述目标表中插入所述数据来源数据项之后，所述方法还包括：

将所述目标表中历史数据项内容在所述数据源来源数据项下的内容设置为空值。

一种数据同步装置，包括：

获取模块，用于获取同步配置文件；其中，所述同步配置文件中至少包括源数据库标识、源表标识、目标数据库标识、目标表标识和数据来源标识，所述数据来源标识与所述源数据库标识和所述源表标识相关联；

第一确定模块，用于确定所述源数据库标识所对应的源数据库，并获取所述源数据库中所述源表标识所对应的源表的数据项内容；

第二确定模块，用于确定所述目标数据库标识所对应的目标数据库，并在所述目标数据库中查找所述目标表标识所对应的目标表；

判断模块，用于在查找到所述目标表的情况下，判断所述目标表中是否存在数据来源数据项；若否，则触发同步模块；

所述同步模块，用于在所述目标表中插入所述数据来源数据项，并在将所述数据项内容同步至所述目标表的过程中，将所述数据来源标识作为所述数据项内容在所述数据来源数据项下对应的内容。

优选的，所述装置还包括：

显示模块，用于显示所述数据项内容；

响应模块，用于响应用户输入的数据项选择指令，以从所述数据项内容中选取待同步的目标数据项内容。

一种数据同步系统，包括：前文任意一项所述的数据同步装置以及与所述数据同步装置建立通信连接的至少一个数据库。

一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行前文任意一项所述的数据同步方法。

一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行前文任意一项所述的数据同步方法。

借由上述技术方案，本发明提供的数据同步方法、装置以及系统，基于同步配置文件从源数据库中获取源表的数据项内容，并定位目标数据库中的目标表；并在将数据项内容同步至目标表的过程中，通过在目标表中插入数据来源数据项以及将数据来源标识作为数据项内容在数据来源数据项下对应的内容，实现自动为所同步的数据添加数据来源，从而达到进行数据来源层级统计的目的。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了数据同步方法的方法流程图；

图2示出了数据同步方法的另一方法流程图；

图3示出了数据同步方法的再一方法流程图；

图4示出了数据同步装置的结构示意图；

图5示出了数据同步系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种数据同步方法，该方法可以应用于服务器，服务器与数据库建立通信连接，该方法的方法流程图如图1所示，包括如下步骤：

S10，获取同步配置文件；其中，同步配置文件中至少包括源数据库标识、源表标识、目标数据库标识、目标表标识和数据来源标识，数据来源标识与源数据库标识和源表标识相关联。

本实施例中，源数据库标识可以是源数据库的名称、简称和地址中的任意一个或多个，可以唯一标志该源数据库即可，本实施例对此不做限定。目标数据库标识可以是目标数据库的名称、简称、地址中的任意一个或多个，可以唯一标志该目标数据库即可，本实施例对此不做限定。

相应的，源表标识可以是源表名称、简称和编号中的任意一个或多个，可以唯一标志该源表即可，本实施例对此不做限定。目标表标识可以是目标表名称、简称、编号中的任意一个或多个，可以唯一标志该目标表即可，本实施例对此不做限定。

而数据来源标识可以为源数据库标识、还可以为源表标识，当然，还可以为表征源数据库标识和源表标识的其他符号，本实施例对此不做限定，可以根据实际需要进行设置。

S20，确定源数据库标识所对应的源数据库，并获取源数据库中源表标识所对应的源表的数据项内容。

在执行步骤S20的过程中，可以利用源数据库标识和源表标识从源数据库中查找源表，并将源表中的数据项内容作为待同步的内容。当然，如果需要同步源表中的部分数据项内容，则可以在同步配置文件中设置目标数据项内容，从而从源表中获取目标数据项下的数据项内容。

S30，确定目标数据库标识所对应的目标数据库，并在目标数据库中查找目标表标识所对应的目标表。

在执行步骤S30的过程中，可以利用目标数据库标识和目标表标识从目标数据库中定位目标表。

S40，在查找到目标表的情况下，判断目标表中是否存在数据来源数据项；若否，则执行步骤S50。

在执行步骤S40的过程中，如果为首次同步，则目标表中可能不存在数据来源数据项，此时需要在目标表中插入数据来源数据项。反之，如果非首次同步，则在目标表中已经存在数据来源数据项，此时直接同步数据项内容，并在同步过程中，将数据来源标识作为数据项内容在数据来源数据项下的内容。

S50，在目标表中插入数据来源数据项，并在将数据项内容同步至目标表的过程中，将数据来源标识作为数据项内容在数据来源数据项下对应的内容。

而如果没有查找到目标表，则在目标数据库中建立目标表；在目标表中插入数据来源数据项，并在将数据项内容同步至目标表的过程中，将数据来源标识作为数据项内容在数据来源数据项下的内容。

为方便理解，以如下应用场景为例进行说明：

经步骤S10和步骤S20获取到表1所示源表的数据项内容，并且此时数据来源标识为“数据来源1”：

列1	列2	列3
			张三	汉	男
李四	汉	女

表1

经步骤S30获取到表2所示的目标表：

列1	列2	列3
			李四	回	男
王五	朝鲜	女

表2

经步骤S40可以判定表2中并不存在数据来源数据项，则经步骤S50，在表2中插入数据来源数据项得到表3所示的目标表；进一步，再将表1所示出的数据项内容同步至表3，并为数据项内容添加数据来源得到表4所示出的目标表。

列1	列2	列3	数据来源
				李四	回	男
王五	朝鲜	女

表3

列1	列2	列3	数据来源
				李四	回	男
王五	朝鲜	女
				张三	汉	男	数据来源1
李四	汉	女	数据来源1

表4

而在其他一种实施例中，为保证目标表的可观性，在图1所示出数据同步方法的基础上，还包括如下步骤，方法流程图如图2所示：

S60，将目标表中历史数据项内容在数据源来源数据项下的内容设置为空值。

继续以上述应用场景为例，经步骤S60对表4进行处理，可以得到表5所示出的目标表：

列1	列2	列3	数据来源
				李四	回	男	NULL
王五	朝鲜	女	NULL
				张三	汉	男	数据来源1
李四	汉	女	数据来源1

表5

在其他一些实施例中，为提高人机交互程度，在图1所示出数据同步方法的基础上，还包括如下步骤：

S70，显示数据项内容。

S80，响应用户输入的数据项选择指令，以从数据项内容中选取待同步的目标数据项内容。

此时，后续步骤中则相应同步所述目标数据项内容，并在将数据来源标识作为所述目标数据项内容在数据来源数据项下的内容。

在其他一些实施例中，为保证数据同步的安全性，在图1所示出数据同步方法的基础上，还提供另一种数据同步方法，该方法的方法流程图如图3所示：

S101，获取同步配置文件；其中，同步配置文件中至少包括源数据库标识、源表标识、目标数据库标识、目标表标识和数据来源标识，数据来源标识与源数据库标识和源表标识相关联；同步配置文件还包括源数据库账户信息和目标数据库账户信息。

本实施例中，源数据库账户信息可以包括源数据库的账户名和密码，还可以包括源数据库的其他用户信息，比如用户名、用户手机号码等等。

同上，目标数据库账户信息可以包括目标数据库的账户名和密码，还可以包括目标数据库的其他用户信息，比如用户名、用户手机号码等等。

S201，确定源数据库标识所对应的源数据库，向源数据库发送源数据库账户信息，并在接收到源数据库基于源数据库账户信息所反馈的用于表征源数据库账户登录成功的第一响应信息时，获取源数据库中源表标识所对应的源表的数据项内容。

S301，确定目标数据库标识所对应的目标数据库，向目标数据库发送目标数据库账户信息，并在接收到目标数据库基于目标数据库账户信息所反馈的用于表征目标数据库账户登录成功的第二响应信息时，在目标数据库中查找目标表标识所对应的目标表。

本发明实施例提供的数据同步方法，基于同步配置文件从源数据库中获取源表的数据项内容，并定位目标数据库中的目标表；并在将数据项内容同步至目标表的过程中，通过在目标表中插入数据来源数据项以及将数据来源标识作为数据项内容在数据来源数据项下对应的内容，实现自动为所同步的数据添加数据来源，从而达到进行数据来源层级统计的目的。

基于上述实施例所提供的数据同步方法，本发明实施例则对应提供执行上述数据同步方法的装置，该装置的结构示意图如图4所示，包括：

获取模块10，用于获取同步配置文件；其中，同步配置文件中至少包括源数据库标识、源表标识、目标数据库标识、目标表标识和数据来源标识，数据来源标识与源数据库标识和源表标识相关联。

第一确定模块20，用于确定源数据库标识所对应的源数据库，并获取源数据库中源表标识所对应的源表的数据项内容。

第二确定模块30，用于确定目标数据库标识所对应的目标数据库，并在目标数据库中查找目标表标识所对应的目标表。

判断模块40，用于在查找到目标表的情况下，判断目标表中是否存在数据来源数据项；若否，则触发同步模块50。

同步模块50，用于在目标表中插入数据来源数据项，并在将数据项内容同步至目标表的过程中，将数据来源标识作为数据项内容在数据来源数据项下对应的内容。

可选的，装置还包括：

显示模块，用于显示数据项内容；

响应模块，用于响应用户输入的数据项选择指令，以从数据项内容中选取待同步的目标数据项内容。

本发明实施例提供的数据同步装置，基于同步配置文件从源数据库中获取源表的数据项内容，并定位目标数据库中的目标表；并在将数据项内容同步至目标表的过程中，通过在目标表中插入数据来源数据项以及将数据来源标识作为数据项内容在数据来源数据项下对应的内容，实现自动为所同步的数据添加数据来源，从而达到进行数据来源层级统计的目的。

基于上述实施例提供的数据同步方法以及数据同步装置，本发明实施例还提供一种数据同步系统，该系统的结构示意图如图5所示，包括：数据同步装置1以及与数据同步装置建立通信连接的至少一个数据库2。

所述数据同步装置包括处理器和存储器，上述获取模块、第一确定模块、第二确定模块、判断模块和同步模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来自动为所同步的数据添加数据来源(本发明的目的)。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据同步方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据同步方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

其中，在所述同步配置文件还包括源数据库账户信息和目标数据库账户信息的情况下，所述获取所述源数据库中所述源表标识所对应的源表的数据项内容之前，所述方法还包括：

其中，所述确定所述目标数据库标识所对应的目标数据库之前，所述方法还包括：

显示所述数据项内容；

其中，所述方法还包括：

其中，所述在所述目标表中插入所述数据来源数据项之后，所述方法还包括：

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

显示所述数据项内容；

其中，所述方法还包括：

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种数据同步方法，其特征在于，包括：

在查找到所述目标表的情况下，判断所述目标表中是否存在用于表征数据来源的数据来源数据项；

2.根据权利要求1所述的方法，其特征在于，在所述同步配置文件还包括源数据库账户信息和目标数据库账户信息的情况下，所述获取所述源数据库中所述源表标识所对应的源表的数据项内容之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述确定所述目标数据库标识所对应的目标数据库之前，所述方法还包括：

显示所述数据项内容；

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述目标表中插入所述数据来源数据项，并在将所述数据项内容同步至所述目标表的过程中，将所述数据来源标识作为所述数据项内容在所述数据来源数据项下对应的内容。

5.根据权利要求1所述的方法，其特征在于，所述在所述目标表中插入所述数据来源数据项之后，所述方法还包括：

6.一种数据同步装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

显示模块，用于显示所述数据项内容；

8.一种数据同步系统，其特征在于，包括：权利要求6或7任意一项所述的数据同步装置以及与所述数据同步装置建立通信连接的至少一个数据库。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的数据同步方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的数据同步方法。