CN105338051B - 一种数据同步方法及设备 - Google Patents

Abstract

本申请公开了一种数据同步方法，根据预设的合并优化比例值将当前时刻累计生成时间已达预设时间阈值的数据同步任务分为多个任务组，随后分别确定用于批量同步所述多个任务组的第一时长以及用于同步在所述第一时长中同步失败的数据同步任务的第二时长，最终根据第一、第二时长在批量同步时间段以及全局补偿时间段内进行合并数据同步。实现了针对海量数据的快速同步，有效地保障了数据同步过程的一致性要求。

Description

一种数据同步方法及设备

技术领域

本发明涉及通信技术领域，特别涉及一种数据同步方法。本发明同时还涉及一种数据同步设备。

背景技术

在目前的支付交易系统中，数据需要在多处保持同步和最终一致性。以用户请求为例，其会随着交易支付等过程的进行在不同维度产生和更新用户信息和全局信息，例如用户支付习惯、银行卡支付校验结果等，这些信息需要同步到各业务域二次使用，而各业务根据某些规则部署在不同的区域或城市进行处理的。因此，当业务的主数据库(DB,Database)数据有变更后，需同步到其他各类存储上，且保证数据同步的最终一致性，以使业务可连续运行。

发明人在实现本发明的过程中发现，虽然目前通常都采用IBM Web Sphere MQ技术为SOA提供可靠的消息传递以及提供数据同步，然而该技术从成本上已经无法适配如今支付系统中海量的业务请求，无法深度整合并支持数据运营快速发展的业务和量级。

发明内容

本发明提供了一种数据同步方法，通过时间片的任务合并机制实现海量的业务请求处理，该方法包括以下步骤：

获取当前时刻累计生成时间已达预设时间阈值的数据同步任务；

根据所述数据同步任务的数量以及预设的合并优化比例值，将所述数据同步任务分为多个任务组；

根据各所述任务组中所包含的数据同步任务的数量以及网络时间参数，分别确定用于批量同步所述多个任务组的第一时长以及用于同步在所述第一时长中同步失败的数据同步任务的第二时长；

在与所述第一时长对应的批量同步时间段内分别将所述多个任务组内的数据同步任务进行合并数据同步；

当所述批量同步时间段结束，在与所述第二时长对应的全局补偿时间段内将在所述批量同步时间段内同步失败的数据同步任务进行合并数据同步。

相应地，本发明还提出了一种数据同步设备，包括：

任务获取模块，用于获取当前时刻累计生成时间已达预设时间阈值的数据同步任务；

任务划分模块，用于根据所述数据同步任务的数量以及预设的合并优化比例值，将所述数据同步任务分为多个任务组；

时长确定模块，用于根据各所述任务组中所包含的数据同步任务的数量以及网络时间参数，分别确定用于批量同步所述多个任务组的第一时长以及用于同步在所述第一时长中同步失败的数据同步任务的第二时长；

第一同步模块，用于在与所述第一时长对应的批量同步时间段内分别将所述多个任务组内的数据同步任务进行合并数据同步；

第二同步模块，用于在当所述批量同步时间段结束，在与所述第二时长对应的全局补偿时间段内将在所述批量同步时间段内同步失败的数据同步任务进行合并数据同步。

由此可见，通过应用以上技术方案，根据预设的合并优化比例值将当前时刻累计生成时间已达预设时间阈值的数据同步任务分为多个任务组，随后分别确定用于批量同步所述多个任务组的第一时长以及用于同步在所述第一时长中同步失败的数据同步任务的第二时长，最终根据第一、第二时长在批量同步时间段以及全局补偿时间段内进行合并数据同步。实现了针对海量数据的快速同步，有效地保障了数据同步过程的一致性要求。

附图说明

图1为为本申请提出的一种数据同步方法的流程示意图；

图2为本申请具体实施例中异地数据同步的概况示意图；

图3为本申请具体实施例中数据同步基础逻辑的流程示意图；

图4为本申请具体实施例中当同步异常时的数据同步补偿流程示意图；

图5为本申请具体实施例中各数据对应的时间段示意；

图6为应用了本申请具体实施例的数据同步方法的效果示意图；

图7为本申请提出了一种数据同步设备的结构示意图。

具体实施方式

如背景技术所述，随着全站技术架构的发展,数据层架构也随着演进，为了使数据业务能够同时在多个区域进行开展，同时部署设备在多个城市以及提升容量和容灾能力，如何确保数据在不同区域间有效的利用网络传输到达数据最终一致性是本发明要解决的技术问题。

如图1所示，为本申请提出的一种数据同步方法的流程示意图，包括以下步骤：

S101，获取当前时刻累计生成时间已达预设时间阈值的数据同步任务。

S102，根据所述数据同步任务的数量以及预设的合并优化比例值，将所述数据同步任务分为多个任务组。

具体地，本步骤通过根据η＝1-(1/n)确定合并数量，其中η为所述合并优化比例值，n为所述合并数量；

在确定出合并数量之后，本步骤继续将所述合并数量作为各所述任务组中所包含的数据同步任务的数量，将所述数据同步任务分为多个任务组。

S103，根据各所述任务组中所包含的数据同步任务的数量以及网络时间参数，分别确定用于批量同步所述多个任务组的第一时长以及用于同步在所述第一时长中同步失败的数据同步任务的第二时长。

基于在S102中所得到的合并数量n，本步骤进一步结合网络时间参数确定用于同步的第一时长和第二时长，其中网络时间参数包含单个数据同步任务执行时间t_n、跨区域网络响应时间以及TPS(Transaction Per Second，每秒事务处理量)。具体地，本步骤首先通过根据t₁＝n/TPS确定第一时长t₁，随后再根据t₂＝n*t_n+ε确定第二时长t₂，其中，ε为跨区域网络响应时间，该时间值为异地部署场景下不同区域之间数据及指令的传输时间，在确定第二时长时需要包括该时间值以对跨区域传输进行时间补偿。

S104，在与所述第一时长对应的批量同步时间段内分别将所述多个任务组内的数据同步任务进行合并数据同步。

在该步骤中，首先从所述多个任务组中选择尚未进行合并数据同步的任务组，然后根据与所述任务组内的数据同步任务对应的业务数据操作，生成同库持久化一致性流水，所述同库持久化一致性流水用于标记所述业务数据操作具有数据同步需求，同时，将所述业务数据操作先后进行同区同步以及异地同步，以使所述业务数据操作被分别同步至本地数据库以及异地数据库，最后，删除与已同步成功的业务数据操作对应的同库持久化一致性流水。

S105，当所述批量同步时间段结束，在与所述第二时长对应的全局补偿时间段内将在所述批量同步时间段内同步失败的数据同步任务进行合并数据同步。

在S104结束后，该步骤先查找并获取当前遗留的同库持久化一致性流水；再确定与所述遗留的同库持久化一致性流水对应的业务数据操作；在确认将所述与所述遗留的同库持久化一致性流水对应的业务数据操作先后进行同区数据补偿处理以及异地数据补偿处理后，即删除所述遗留的同库持久化一致性流水。

为了进一步阐述本发明的技术思想，现结合如图2所示具体的应用场景进行说明。在应用于该数据同步概况示意图的本发明具体实施例中，所采取的数据同步基础逻辑如下：

业务操作中利用原子性(数据库事务)的保存记录(即“同库持久化一致性流水”)，用于标记有数据同步的需求。当数据同步完成，删除该条记录，以标识数据同步完成。具体执行流程如图3所示。相应地，当同步异常，有全局的程序统一做数据同步补偿，其对应的补偿流程如图4所示。

然而，当上述流程应用在异地部署的条件下时，异地部署将会对数据同步基础逻辑产生约束：首先，在异地部署的场景下，跨城的网络响应时间将从纳秒单位增大到几十毫秒级别，可能导致全局补偿误将还在正常数据同步的做异常补偿；同时，跨城的网络带宽、IO能力有限，如果频繁、每次都做网络请求，网络资源极为可能成为瓶颈；此外，跨城的网络异常将比原来同城的发生概率更为明显。

针对以上限制，本申请具体实施例基于时间片提出了相应的优化方案，用以满足数据同步的时效性要求。在此需要指出的是，对于资金等关键业务数据，本申请将在业务操作后立即进行数据同步，但该类关键业务的数量相对于总体任务数量来说非常少，因此以下具体实施例中的方案以大部分普通任务为对象进行说明：

如图5所示，为本申请具体实施例中各数据对应的时间段示意图，对于单个数据而言，该数据在产生后的一段时间(即静默时间段)内将不会被采取任何的操作，相应地，系统也同时在静默时间段内积累同步数据任务。所以静默时间段的长度，影响着合并多少任务，以减少网络的压力，本领域技术人员可以根据实际情况酌情设置，这些都在本申请的保护范围之内。

到达某个时刻时，系统将在该时刻静默时间段结束的所有数据作为同步任务进行合并。其中，合并优化比例的公式为：1-(1/合并数量)，批量同步时间段公式为：合并数量/TPS(Transaction Per Second，每秒事务处理量)。结合这2个公式进行合并后，实际操作的实例如图6所示，其中的曲线为优化比例，实线则为静默时间段，TPS参数取15，结果如下：

合并数量为10个，优化效果已到达90％，后续合并数量的增加时优化效果较稳定；带入的TPS参数在合并数量在13～15时和优化效果线重合，即需要1秒(t1)积累到较理想的合并任务数量。在此条件下批量的进行数据同步能够减少网络IO，合并任务能提高业务数据在网络包的占比，更有效的使用网络带宽。

在异地部署的场景下，跨城的网络响应时间将从纳秒单位增大到几十毫秒级别，对于更为频繁的跨城网络异常，网络响应时间将从纳秒单位增大到几十毫秒级别，需要避开批量同步任务正常运行的时间段。为了能够使同步错误的任务重新进行同步，在积累多个任务合并同步的情况下所需要的时间公式为：

合并任务数量*单个任务执行时间+跨城网络时间。

以上述TPS参数为15，跨城网络时间为30ms，单个任务执行时间为20ms为参数，在合并数量在13～15为目标的情况下，执行完该量级的合并数据同步，需3.1秒，即需要留出长度为3.1秒的全局补偿时间段，以避免和正常的合并任务冲突。

为达到以上目的，本申请同时还提出了一种数据同步设备，如图7所示，包括：

任务获取模块710，用于获取当前时刻累计生成时间已达预设时间阈值的数据同步任务；

任务划分模块720，用于根据所述数据同步任务的数量以及预设的合并优化比例值，将所述数据同步任务分为多个任务组；

时长确定模块730，用于根据各所述任务组中所包含的数据同步任务的数量以及网络时间参数，分别确定用于批量同步所述多个任务组的第一时长以及用于同步在所述第一时长中同步失败的数据同步任务的第二时长；

第一同步模块740，用于在与所述第一时长对应的批量同步时间段内分别将所述多个任务组内的数据同步任务进行合并数据同步；

第二同步模块750，用于在当所述批量同步时间段结束，在与所述第二时长对应的全局补偿时间段内将在所述批量同步时间段内同步失败的数据同步任务进行合并数据同步。

在具体的实现场景中，所述划分模块720具体用于：

根据η＝1-(1/n)确定合并数量，其中η为所述合并优化比例值，n为所述合并数量；将所述合并数量作为各所述任务组中所包含的数据同步任务的数量，将所述数据同步任务分为多个任务组。

在具体的实现场景中，所述网络时间参数包括单个数据同步任务执行时间t_n、跨区域网络响应时间以及每秒事务处理量TPS，，所述时长确定模块630具体用于：

根据t₁＝n/TPS确定所述第一时长，其中t₁为所述第一时长；

根据t₂＝n*t_n+ε确定所述第二时长，其中t₂为所述第二时长，ε为所述跨区域网络响应时间。

在具体的实现场景中，所述第一同步模块740具体用于：

从所述多个任务组中选择尚未进行合并数据同步的任务组；

根据与所述任务组内的数据同步任务对应的业务数据操作，生成同库持久化一致性流水，所述同库持久化一致性流水用于标记所述业务数据操作具有数据同步需求；

将所述业务数据操作先后进行同区同步以及异地同步，以使所述业务数据操作被分别同步至本地数据库以及异地数据库；

删除与已同步成功的业务数据操作对应的同库持久化一致性流水。

在具体的实现场景中，所述第二同步模块750具体用于：

查找并获取当前遗留的同库持久化一致性流水；

确定与所述遗留的同库持久化一致性流水对应的业务数据操作；

将所述与所述遗留的同库持久化一致性流水对应的业务数据操作先后进行同区数据补偿处理以及异地数据补偿处理；

删除所述遗留的同库持久化一致性流水。

通过应用以上技术方案，根据预设的合并优化比例值将当前时刻累计生成时间已达预设时间阈值的数据同步任务分为多个任务组，随后分别确定用于批量同步所述多个任务组的第一时长以及用于同步在所述第一时长中同步失败的数据同步任务的第二时长，最终根据第一、第二时长在批量同步时间段以及全局补偿时间段内进行合并数据同步。实现了针对海量数据的快速同步，有效地保障了数据同步过程的一致性要求。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (6)

1.一种数据同步方法，其特征在于，包括：

获取当前时刻累计生成时间已达预设时间阈值的数据同步任务；

根据所述数据同步任务的数量以及预设的合并优化比例值，将所述数据同步任务分为多个任务组；

根据各所述任务组中所包含的数据同步任务的数量以及网络时间参数，分别确定用于批量同步所述多个任务组的第一时长以及用于同步在所述第一时长中同步失败的数据同步任务的第二时长；

在与所述第一时长对应的批量同步时间段内分别将所述多个任务组内的数据同步任务进行合并数据同步；

当所述批量同步时间段结束，在与所述第二时长对应的全局补偿时间段内将在所述批量同步时间段内同步失败的数据同步任务进行合并数据同步；

其中，根据所述数据同步任务的数量以及预设的合并优化比例值，将所述数据同步任务分为多个任务组，具体为：

根据η＝1-(1/n)确定合并数量，其中η为所述合并优化比例值，n为所述合并数量；

将所述合并数量作为各所述任务组中所包含的数据同步任务的数量，将所述数据同步任务分为多个任务组；

所述网络时间参数包括单个数据同步任务执行时间t_n、跨区域网络响应时间以及每秒事务处理量TPS，根据各所述任务组中所包含的数据同步任务的数量以及网络时间参数，分别确定用于批量同步所述多个任务组的第一时长以及用于同步在所述第一时长中同步失败的数据同步任务的第二时长，具体为：

根据t₁＝n/TPS确定所述第一时长，其中t₁为所述第一时长；

根据t₂＝n*t_n+ε确定所述第二时长，其中t₂为所述第二时长，ε为所述跨区域网络响应时间。

2.如权利要求1所述的方法，其特征在于，在与所述第一时长对应的批量同步时间段内分别将所述多个任务组内的数据同步任务进行合并数据同步，具体为：

从所述多个任务组中选择尚未进行合并数据同步的任务组；

根据与所述任务组内的数据同步任务对应的业务数据操作，生成同库持久化一致性流水，所述同库持久化一致性流水用于标记所述业务数据操作具有数据同步需求；

将所述业务数据操作先后进行同区同步以及异地同步，以使所述业务数据操作被分别同步至本地数据库以及异地数据库；

删除与已同步成功的业务数据操作对应的同库持久化一致性流水。

3.如权利要求1所述的方法，其特征在于，在与所述第二时长对应的全局补偿时间段内将在所述批量同步时间段内同步失败的数据同步任务进行合并数据同步，具体为：

查找并获取当前遗留的同库持久化一致性流水；

确定与所述遗留的同库持久化一致性流水对应的业务数据操作；

将所述与所述遗留的同库持久化一致性流水对应的业务数据操作先后进行同区数据补偿处理以及异地数据补偿处理；

删除所述遗留的同库持久化一致性流水。

4.一种数据同步设备，其特征在于，包括：

任务获取模块，用于获取当前时刻累计生成时间已达预设时间阈值的数据同步任务；

任务划分模块，用于根据所述数据同步任务的数量以及预设的合并优化比例值，将所述数据同步任务分为多个任务组；

时长确定模块，用于根据各所述任务组中所包含的数据同步任务的数量以及网络时间参数，分别确定用于批量同步所述多个任务组的第一时长以及用于同步在所述第一时长中同步失败的数据同步任务的第二时长；

第一同步模块，用于在与所述第一时长对应的批量同步时间段内分别将所述多个任务组内的数据同步任务进行合并数据同步；

第二同步模块，用于在当所述批量同步时间段结束，在与所述第二时长对应的全局补偿时间段内将在所述批量同步时间段内同步失败的数据同步任务进行合并数据同步；

其中，所述划分模块具体用于：

根据η＝1-(1/n)确定合并数量，其中η为所述合并优化比例值，n为所述合并数量；

将所述合并数量作为各所述任务组中所包含的数据同步任务的数量，将所述数据同步任务分为多个任务组。

所述网络时间参数包括单个数据同步任务执行时间t_n、跨区域网络响应时间以及每秒事务处理量TPS，所述时长确定模块具体用于：

根据t₁＝n/TPS确定所述第一时长，其中t₁为所述第一时长；

根据t₂＝n*t_n+ε确定所述第二时长，其中t₂为所述第二时长，ε为所述跨区域网络响应时间。

5.如权利要求4所述的数据同步设备，其特征在于，所述第一同步模块具体用于：

从所述多个任务组中选择尚未进行合并数据同步的任务组；

根据与所述任务组内的数据同步任务对应的业务数据操作，生成同库持久化一致性流水，所述同库持久化一致性流水用于标记所述业务数据操作具有数据同步需求；

将所述业务数据操作先后进行同区同步以及异地同步，以使所述业务数据操作被分别同步至本地数据库以及异地数据库；

删除与已同步成功的业务数据操作对应的同库持久化一致性流水。

6.如权利要求4所述的数据同步设备，其特征在于，所述第二同步模块具体用于：

查找并获取当前遗留的同库持久化一致性流水；

确定与所述遗留的同库持久化一致性流水对应的业务数据操作；

将所述与所述遗留的同库持久化一致性流水对应的业务数据操作先后进行同区数据补偿处理以及异地数据补偿处理；

删除所述遗留的同库持久化一致性流水。