CN104111957A - 一种分布式事务同步的方法及系统 - Google Patents

Abstract

本申请提供一种分布式事务同步的方法及系统，其中该分布式事务同步的方法包括：将待同步的分布式事务的多个子事务分别从多个源数据库向对应的多个目标数据库同步，并将子事务标识汇总表从源标识数据库向目标标识数据库同步，其中，所述多个子事务分别包含所述多个子事务的实体以及与所述多个子事务相对应的多个子事务标识条目，并且所述子事务标识汇总表包含所述多个子事务标识条目；以及基于所述目标标识数据库的所述子事务标识汇总表，确定所述多个子事务在所述多个目标数据库中存在以完成所述分布式事务同步。通过采用本申请的技术方案，能够对分布式事务进行同步，并保证所述分布式事务同步的一致性。

Description

一种分布式事务同步的方法及系统

技术领域

本申请涉及互联网领域，尤其涉及一种分布式事务同步的方法及系统。

背景技术

随着网络技术的发展，网络中不同业务系统间存在着越来越多的信息交互，存在一类事务，要求对在物理上处于不同数据库中的数据的操作需要保证其在同一个事务中，例如，电子商务、网站账号注册、微博、论坛发言等等，采用分布式事务的解决方案可以保证这类事务的相关操作在同一个事务中，例如，用户通过网络购买某种商品，就可能涉及到订单系统和支付系统，或者更多的业务系统，可以对不同系统之间相互关联的事务要进行分布式事务处理来完成。但是，如果事务的相关数据需要同步至其他数据服务器，并且被该数据服务器的应用所使用，就需要这些在物理上分布于不同数据库中的数据保证一致性，即，同一事务的数据需要同时同步到目标数据库，才能被目标数据服务器的应用所使用。例如，某地包含多个数据库的机房的推广数据需要同步至异地的机房，并且被该异地机房中的应用所使用，就需要使这些物理上分布在不同数据库中的分布式事务的数据在异地机房的数据库中保证一致性。

目前，已有能够使发生在同一数据库中的事务在跨机房同步过程中仍然保证事务一致性的同步技术，例如，单点事务跨机房一致性同步，能够实现在物理上发生在同一个数据库中的事务，能够在跨机房同步过程中仍然保证事务的一致性。

然而，对于分布式事务，现有的技术方案只实现了对分布式事务本身的支持，例如，用来处理分布式事务的XA规范，当从数据库中获取某个最终的数据，但是这个数据涉及多个数据库，需要采用分布式的方式分别获得，XA规范采用两阶段提交解决了这个问题，使得跨数据库平台或消息中间件的分布式事务支持成为了可能。但是，现有技术中并没有实现在物理上跨多台数据库服务器的分布式事务在同步后的一致性支持。

发明内容

本申请的主要目的在于提供一种分布式事务同步的方法及系统，以解决现有技术存在的分布式事务的一致性同步的问题，其中：本申请提供的一种分布式事务同步的方法，包括：将待同步的分布式事务的多个子事务（T1,T2,…,Tn）分别从多个源数据库（DB1，DB2，DB3，…，DBn）向对应的多个目标数据库（DB1′，DB2′，DB3′，…，DBn′）同步，并将子事务标识汇总表从源标识数据库向目标标识数据库同步，其中，所述多个子事务分别包含所述多个子事务的实体（TB1,TB2,…,TBn）以及与所述多个子事务相对应的多个子事务标识条目（Tid1,Tid2,…,Tidn），并且所述子事务标识汇总表包含所述多个子事务标识条目；以及基于所述目标标识数据库的所述子事务标识汇总表，确定所述多个子事务在所述多个目标数据库中存在以完成所述分布式事务同步。

根据本申请的实施例，在该方法中，在所述分布式事务执行过程中，在每个子事务提交到所述源数据库的同时在子事务中写入一条记录作为子事务标识条目，同时将每个子事务标识条目写入所述源标识数据库的子事务标识汇总表中。

根据本申请的实施例，在该方法中，基于所述目标标识数据库的所述子事务标识汇总表，确定所述多个子事务在所述多个目标数据库中存在以完成所述分布式事务同步，包括：确定所述目标标识数据库的每一子事务标识条目是否在对应的目标数据库存在；当确定所有子事务标识条目都在对应的目标数据库存在时，确定所述分布式事务同步完成。

根据本申请的实施例，在该方法中，还包括：当确定任一子事务标识条目在对应的目标数据库中存在时，在所述子事务标识条目内添加同步成功标记；确定所述目标标识数据库的每一子事务标识条目是否带有所述同步成功标记；当确定所述目标标识数据库的所有子事务标识条目都带有所述同步成功标记时，确定所述分布式事务同步完成。

根据本申请的实施例，在该方法中，还包括：当确定所述目标标识数据库中任一子事务标识条目未带有所述同步成功标记时，确定所述子事务标识条目是否在对应的目标数据库中存在；如果所述子事务标识条目在对应的目标数据库中存在，则在所述子事务标识条目内添加同步成功标记。

在本申请的另一方面中，提供一种分布式事务同步的系统，包括：多个源数据库（DB1，DB2，DB3，…，DBn），源标识数据库、同步装置、以及多个目标数据库（DB1′，DB2′，DB3′，…，DBn′），目标标识数据库，其中：所述多个源数据库，用于存储待同步的分布式事务的多个子事务（T1,T2,T3,…,Tn），其中所述多个子事务分别包含所述多个子事务的实体（TB1,TB2,…,TBn）以及与所述多个子事务相对应的多个子事务标识条目（Tid1,Tid2,…,Tidn）；所述标识数据库，用于存储子事务标识汇总表，其中所述子事务标识汇总表包含所述多个子事务标识条目；所述同步装置，包括同步模块和检测模块，其中：所述同步模块用于将所述多个子事务从所述源数据库向所述目标数据库同步，并将所述子事务标识汇总表从所述源标识数据库向目标标识数据库同步；并且所述检测模块用于基于所述目标标识数据库的所述子事务标识汇总表，确定所述多个子事务在所述多个目标数据库中存在以完成所述分布式事务同步。

根据本申请的实施例，在该系统中，所述检测模块还包括：第一确定模块，用于确定所述目标标识数据库的每一子事务标识条目是否在对应的目标数据库存在；当确定所有子事务标识条目都在对应的目标数据库存在时，确定所述分布式事务同步完成。

根据本申请的实施例，在该系统中，所述检测模块还包括：标记模块，用于当确定任一子事务标识条目在对应的目标数据库中存在时，在所述子事务标识条目内添加同步成功标记；第二确定模块，用于确定所述目标标识数据库的每一子事务标识条目是否带有所述同步成功标记；当确定所述目标标识数据库的所有子事务标识条目都带有所述同步成功标记时，确定所述分布式事务同步完成。

根据本申请的实施例，在该系统中，所述第一确定模块还用于当确定所述目标标识数据库中任一子事务标识条目未带有所述同步成功标记时，确定所述子事务标识条目是否在对应的目标数据库中存在；所述标记模块进一步用于如果所述子事务标识条目在对应的目标数据库中存在，则在所述子事务标识条目内添加同步成功标记。

与现有技术相比，根据本申请的技术方案，能够对分布式事务进行同步，并保证所述分布式事务同步的一致性。通过在进行所述分布式事务的同步后，确定目标标识数据库中的子事务标识条目是否在所述子事务标识条目所对应的子事务的目标数据库中存在，即保证所述分布式事务的每个子事务都同步成功，以确定所述分布式事务同步的一致性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例涉及的分布式事务同步的方法的流程图；

图2是本申请实施例的对分布式事务进行同步的示意图；

图3是图1中的步骤S102的具体流程图；

图4是图1中的步骤S102的优选实施例的具体流程图；以及

图5是本申请实施例涉及的分布式事务同步系统的框图。

具体实施方式

本申请的主要思想在于，进行分布式事务的同步，并在同步后确定目标标识数据库中的子事务标识条目是否在所述子事务标识条目所对应的子事务的目标数据库中存在，以保证所述分布式事务同步的一致性。

为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。

根据本申请的实施例，提供了一种分布式事务同步的方法。参考图1，图1是本申请实施例的流程图，如图1所示，在步骤S101中，将待同步的分布式事务的多个子事务（T1,T2,…,Tn）分别从多个源数据库（DB1，DB2，DB3，…，DBn）向对应的多个目标数据库（DB1′，DB2′，DB3′，…，DBn′）同步，并将子事务标识汇总表从源标识数据库向目标标识数据库同步，其中，所述多个子事务分别包含所述多个子事务的实体（TB1,TB2,…,TBn）以及与所述多个子事务相对应的多个子事务标识条目（Tid1,Tid2,…,Tidn），并且所述子事务标识汇总表包含所述多个子事务标识条目。

在步骤S102中，基于所述目标标识数据库的所述子事务标识汇总表，确定所述多个子事务在所述多个目标数据库中存在以完成所述分布式事务同步。

在进行分布式事务的同步之前，还可以包括：在所述分布式事务执行过程中，在每个子事务提交到所述源数据库的同时在子事务中写入一条记录作为子事务标识条目，同时将每个子事务标识条目写入所述源标识数据库的子事务标识汇总表中。

在这个过程中，在子事务中写入一条记录作为所述子事务的标识条目，相当于为每个子事务建立了子事务影像，并且将子事务标识条目写入源数据库的子事务标识汇总表中，后续在进行了所述分布式事务的同步后，可以通过对同步至目标标识数据库中的子事务标识汇总表中的子事务标识条目是否在对应的目标数据库中存在进行确定，已确定所述子事务标识条目所对应的子事务是否同步成功。

图2是本申请实施例的对分布式事务进行同步的示意图，如图2所示，在实际应用中，在步骤S101中进行分布式事务同步时，在将所述分布式事务的多个子事务T1,T2,…,Tn从源数据库DB1，DB2，DB3，…，DBn同步至目标数据库DB1′，DB2′，DB3′，…，DBn′的同时，将源标识数据库中的子事务标识汇总表也同步到目标标识数据库中，由于源标识数据库向目标标识数据库的同步为单个数据库事务的同步，能够保证子事务标识汇总表在同步前后的一致性，因此，在步骤S102中，在源标识数据库将子事务标识汇总表同步到目标标识数据库后，检验目标标识数据库的子事务标识汇总表中的多个子事务标识条目Tid1,Tid2,…,Tidn是否在对应的多个目标数据库DB1′，DB2′，DB3′，…，DBn′中存在，如果存在，即可确定该条子事务同步完毕，当确定所有子事务标识条目都在对应的目标数据库存在时，说明所有子事务都已经从源数据库DB1，DB2，DB3，…，DBn同步至目标数据库DB1′，DB2′，DB3′，…，DBn′，即可确定所述分布式事务同步完成。

图3为图1中的步骤S102的详细流程图，如图3所示，在步骤S301处，确定所述目标标识数据库的每一子事务标识条目是否在对应的目标数据库存在。

当确定任一子事务标识条目在对应的目标数据库中存在时，则可以知晓所述子事务标识条目所对应的子事务已经同步成功。

可选地，当确定任一子事务标识条目在对应的目标数据库中存在时，例如可以在所述子事务标识条目内添加同步成功标记，以标记所述子事务标识条目已经确定在对应的目标数据库中存在，也就是标记所述子事务标识条目所对应的子事务已经同步成功。在添加了同步成功标记之后，确定所述目标标识数据库的每一子事务标识条目是否都带有所述同步成功标记，只需对未带有所述同步成功标记的子事务标识条目进行检测，确定其是否在对应的目标数据库中存在，以确定所对应的子事务是否在对应的目标数据库中同步成功。

这里需要指出的是，除了添加标记以确定子事务是否同步完成的这一方式之外，也可以采用其他方式来确定子事务同步完成。

在步骤S302处，当确定所有子事务标识条目都在对应的目标数据库存在时，确定所述分布式事务同步完成。具体而言，当确定所有子事务标识条目在对应的目标数据库中存在时，则可以知晓所有子事务标识条目所对应的所有子事务都已经同步成功，从而可以确定所述分布式事务同步完成。

图4为步骤S102的一个可选详细流程图。如图4所示，首先，在步骤S401中，确定所述目标标识数据库的每一子事务标识条目是否在对应的目标数据库存在，以确定所述子事务标识条目所对应的子事务是否已经成功同步到对应的目标数据库中。

在步骤S402中，当确定任一子事务标识条目在对应的目标数据库中存在时，在所述子事务标识条目内添加同步成功标记，以标记所述子事务标识条目所对应的子事务已经同步成功。

可选地，在确定了所有子事务标识条目是否在对应的目标数据库存在，并且为同步成功的子事务添加了所述同步成功标记之后，在步骤S403中，确定所述目标标识数据库的每一子事务标识条目是否带有所述同步成功标记。

当确定所述目标标识数据库中任一子事务标识条目未带有所述同步成功标记时，在步骤S404中，确定所述子事务标识条目是否在对应的目标数据库中存在。

如果所述子事务标识条目在对应的目标数据库中存在，则步骤S405中，为所述子事务标识条目内添加同步成功标记，标记所述子事务标识条目所对应的子事务已经同步成功，并返回到步骤S403，确定所述目标标识数据库的每一子事务标识条目是否带有所述同步成功标记。

步骤S406，当确定所述目标标识数据库的所有子事务标识条目都带有所述同步成功标记时，确定所述分布式事务同步完成。

在上述的实施例中所采取的执行方式是，先确定所述目标标识数据库的每一子事务标识条目是否在对应的目标数据库存在，并且为已经在对应目标数据库中存在（同步成功）的子事务标识条目添加同步成功标记，当目标标识数据库中的所有的子事务标识条目都进行了一次检测后，再确定所述目标标识数据库的每一子事务标识条目是否带有所述同步成功标记。

当然，也可以不执行步骤S401与步骤S402，直接进行步骤S403～S406,即，先在步骤S403中，确定所述目标标识数据库的每一子事务标识条目是否带有所述同步成功标记。当确定所述目标标识数据库中任一子事务标识条目未带有所述同步成功标记时，在步骤S404中，确定所述子事务标识条目是否在对应的目标数据库中存在。如果所述子事务标识条目在对应的目标数据库中存在，则在步骤S405中，为所述子事务标识条目内添加同步成功标记，以标记所述子事务标识条目所对应的子事务已经同步成功。在实际应用中，以这种方式执行，显然在第一轮的检测中是没有带有同步成功标记的子事务标识条目的，因此在第一轮的检测中，每检测一个子事务标识条目，即要对所述子事务标识条目是否在对应的目标数据库中存在进行一次检测，并且对已经在对应目标数据库中存在的标识条目添加同步成功标记，一轮检测后，返回到步骤S403，直到确定所述目标标识数据库的所有子事务标识条目都带有所述同步成功标记时，在步骤S406中确定所述分布式事务同步完成。采用这种方式也能实现与本申请实施例同样的效果。

当然，也可以采取上述两种执行方式之外的其他的顺序执行，例如同步执行步骤S402和步骤S403，也可以实现与上述实施例同样的效果。

图5是本申请的一种分布式事务同步系统100的框图，如图5所示，所述分布式同步系统包括：多个源数据库（DB1，DB2，DB3，…，DBn）、源标识数据库50、同步装置60、多个目标数据库（DB1′，DB2′，DB3′，…，DBn′）、以及目标标识数据库70。

多个源数据库（DB1，DB2，DB3，…，DBn）可以用于存储待同步的分布式事务的多个子事务（T1,T2,T3，…,），其中所述多个子事务分别包含所述多个子事务的实体以及与所述多个子事务相对应的多个子事务标识条目（Tid1,Tid2,…,Tidn）。

源标识数据库50可以用于存储子事务标识汇总表51，其中所述子事务标识汇总表51包含所述多个子事务标识条目。

同步装置60可以包括同步模块61和检测模块62。其中，所述同步模块61可以用于将所述多个子事务从所述源数据库向所述目标数据库同步，并将所述子事务标识汇总表从所述源标识数据库50向目标标识数据库70同步。所述检测模块62可以用于基于所述目标标识数据库70的所述子事务标识汇总表71，确定所述多个子事务在所述多个目标数据库中存在以完成所述分布式事务同步。

所述检测模块62还可以包括第一确定模块621，该模块621可以用于确定所述目标标识数据库的每一子事务标识条目是否在对应的目标数据库存在；当确定所有子事务标识条目都在对应的目标数据库存在时，确定所述分布式事务同步完成。

所述检测模块62还可以包括标记模块622以及第二确定模块623。其中，标记模块622可以用于当确定任一子事务标识条目在对应的目标数据库中存在时，在所述子事务标识条目内添加同步成功标记。第二确定模块623可以用于确定所述目标标识数据库的每一子事务标识条目是否带有所述同步成功标记；当确定所述目标标识数据库的所有子事务标识条目都带有所述同步成功标记时，确定所述分布式事务同步完成。

所述第一确定模块621还可以用于当确定所述目标标识数据库中任一子事务标识条目未带有所述同步成功标记时，确定所述子事务标识条目是否在对应的目标数据库中存在。

所述标记模块622可以进一步用于如果所述子事务标识条目在对应的目标数据库中存在，则在所述子事务标识条目内添加同步成功标记。

本申请的方法的具体实施与系统100所包括的各个模块的具体实施是相对应的，可以相互参照，为了不模糊本申请，在此省略对系统100的具体细节进行描述。

应当注意，尽管在上文描述中提及了系统的若干模块或子模块，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块或单元。一般地，程序模块或单元可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。一般来说，程序模块或单元可以由软件、硬件或两者的结合来实现。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块或单元可以位于包括存储设备在内的本地和远程计算机存储介质中。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其主要思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种分布式事务同步的方法，其特征在于，包括：

将待同步的分布式事务的多个子事务（T1,T2,…,Tn）分别从多个源数据库（DB1，DB2，DB3，…，DBn）向对应的多个目标数据库（DB1′，DB2′，DB3′，…，DBn′）同步，并将子事务标识汇总表从源标识数据库向目标标识数据库同步，其中，所述多个子事务分别包含所述多个子事务的实体（TB1,TB2,…,TBn）以及与所述多个子事务相对应的多个子事务标识条目（Tid1,Tid2,…,Tidn），并且所述子事务标识汇总表包含所述多个子事务标识条目；以及

基于所述目标标识数据库的所述子事务标识汇总表，确定所述多个子事务在所述多个目标数据库中存在以完成所述分布式事务同步。

2.根据权利要求1所述的方法，其特征在于，在所述分布式事务执行过程中，在每个子事务提交到所述源数据库的同时在子事务中写入一条记录作为子事务标识条目，同时将每个子事务标识条目写入所述源标识数据库的子事务标识汇总表中。

3.根据权利要求1或2所述的方法，其特征在于，基于所述目标标识数据库的所述子事务标识汇总表，确定所述多个子事务在所述多个目标数据库中存在以完成所述分布式事务同步，包括：

确定所述目标标识数据库的每一子事务标识条目是否在对应的目标数据库存在；

当确定所有子事务标识条目都在对应的目标数据库存在时，确定所述分布式事务同步完成。

4.根据权利要求3所述的方法，其特征在于，还包括：

当确定任一子事务标识条目在对应的目标数据库中存在时，在所述子事务标识条目内添加同步成功标记；

确定所述目标标识数据库的每一子事务标识条目是否带有所述同步成功标记；

当确定所述目标标识数据库的所有子事务标识条目都带有所述同步成功标记时，确定所述分布式事务同步完成。

5.根据权利要求4所述的方法，其特征在于，还包括：

当确定所述目标标识数据库中任一子事务标识条目未带有所述同步成功标记时，确定所述子事务标识条目是否在对应的目标数据库中存在；

如果所述子事务标识条目在对应的目标数据库中存在，则在所述子事务标识条目内添加同步成功标记。

6.一种分布式事务同步系统，其特征在于，包括：多个源数据库（DB1，DB2，DB3，…，DBn），源标识数据库、同步装置、以及多个目标数据库（DB1′，DB2′，DB3′，…，DBn′），目标标识数据库，其中：

所述多个源数据库，用于存储待同步的分布式事务的多个子事务（T1,T2,T3,…,Tn），其中所述多个子事务分别包含所述多个子事务的实体（TB1,TB2,…,TBn）以及与所述多个子事务相对应的多个子事务标识条目（Tid1,Tid2,…,Tidn）；

所述标识数据库，用于存储子事务标识汇总表，其中所述子事务标识汇总表包含所述多个子事务标识条目；

所述同步装置，包括同步模块和检测模块，其中：

所述同步模块用于将所述多个子事务从所述源数据库向所述目标数据库同步，并将所述子事务标识汇总表从所述源标识数据库向目标标识数据库同步；并且

所述检测模块用于基于所述目标标识数据库的所述子事务标识汇总表，确定所述多个子事务在所述多个目标数据库中存在以完成所述分布式事务同步。

7.根据权利要求6所述的系统，其特征在于，所述检测模块还包括：

第一确定模块，用于确定所述目标标识数据库的每一子事务标识条目是否在对应的目标数据库存在；当确定所有子事务标识条目都在对应的目标数据库存在时，确定所述分布式事务同步完成。

8.根据权利要求7所述的系统，其特征在于，所述检测模块还包括：

标记模块，用于当确定任一子事务标识条目在对应的目标数据库中存在时，在所述子事务标识条目内添加同步成功标记；

第二确定模块，用于确定所述目标标识数据库的每一子事务标识条目是否带有所述同步成功标记；当确定所述目标标识数据库的所有子事务标识条目都带有所述同步成功标记时，确定所述分布式事务同步完成。

9.根据权利要求8所述的系统，其特征在于，

所述第一确定模块还用于当确定所述目标标识数据库中任一子事务标识条目未带有所述同步成功标记时，确定所述子事务标识条目是否在对应的目标数据库中存在；

所述标记模块进一步用于如果所述子事务标识条目在对应的目标数据库中存在，则在所述子事务标识条目内添加同步成功标记。