CN111309746A - 异步并行数据同步方法及装置 - Google Patents

Abstract

本发明实施例提供一种异步并行数据同步方法及装置，属于计算机技术领域。所述方法包括：从缓存队列中读取业务信息发生变化的业务流程的标识；根据所述业务流程的标识确定所述业务流程的配置信息，其中所述配置信息包括与所述业务流程对应的数据表的信息，所述数据表的信息包括数据表的标识；针对与所述业务流程对应的每个所述数据表，并行对所述数据表中的数据进行更新；判断每个所述数据表中的数据是否均更新成功；以及在每个所述数据表中的数据均更新成功的情况下，确定数据同步完成。其能够提升异步并行数据同步的效率、保证数据原子性、提升存储数据的可控性、减少脏数据，并且能够实时监控到每个数据表的更新进程，确保数据同步的完成。

Description

异步并行数据同步方法及装置

技术领域

本发明涉及计算机技术领域，具体地涉及一种异步并行数据同步方法及装置。

背景技术

通常在一些业务流程中，会涉及需要异步并行存储数据的情况。上游设备和下游设备是进行异步并行存储数据的两端，上游设备数据变化的时候，需要下游设备同步更新变化的数据。相关技术中，主要通过以下方式来基于上游设备中数据的变化，更新下游设备数据库中的数据。

下游设备主动从上游设备获取所有变化的数据，根据数据解析规则，解析数据，最终存储到数据库中。在实际运行过程中，本申请发明人发现，这种方式具有以下的缺点：(1)涉及到需要在多张数据表中写入数据的时候，如果数据量较大，这种方式将非常耗时且处理速度慢，影响数据的及时性；(2)难以保证数据原子性，且逻辑复杂。

发明内容

本发明实施例的目的是提供一种异步并行数据同步方法及装置，用于解决或至少部分解决上述技术问题。

为了实现上述目的，本发明实施例提供一种异步并行数据同步方法，所述方法包括：从缓存队列中读取业务信息发生变化的业务流程的标识；根据所述业务流程的标识确定所述业务流程的配置信息，其中所述配置信息包括与所述业务流程对应的数据表的信息，所述数据表的信息包括数据表的标识；针对与所述业务流程对应的每个所述数据表，并行执行以下步骤来对所述数据表中的数据进行更新：获取所述业务流程中变化的所述业务信息；从所述业务信息中解析出所述数据表需要的数据；以及基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新；判断每个所述数据表中的数据是否均更新成功；以及在每个所述数据表中的数据均更新成功的情况下，确定数据同步完成。

可选的，所述基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新包括：使用所述数据表的标识查询所述数据表；响应于查询到所述数据表，将所述数据表中与所述业务流程的标识对应的原始数据标识为无效数据；针对所述业务流程的标识向所述数据表中写入解析出的所述数据表需要的数据；判断解析出的所述数据表需要的数据是否写入成功；以及在写入成功的情况下，在所述缓存队列中记录关于所述数据表的第一数据写入结果，所述第一数据写入结果指示数据写入成功。

可选的，所述基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新还包括：在写入不成功的情况下，将所述数据表中标识为无效数据的所述原始数据标识为有效数据；判断写入不成功的次数是否达到预设次数；在没有达到所述预设次数的情况下，再次对所述数据表中的数据进行更新；以及在达到所述预设次数的情况下，在所述缓存队列中记录关于所述数据表的第二数据写入结果，所述第二数据写入结果指示数据写入失败。

可选的，所述判断每个所述数据表中的数据是否均更新成功包括：根据所述缓存队列中记录的关于所述数据表的数据写入结果来判断每个所述数据表中的数据是否均更新成功。

可选的，所述方法还包括：在每个所述数据表中的数据均更新成功的情况下，删除每个所述数据表中标识为无效数据的所述原始数据。

可选的，所述方法还包括：在至少一个所述数据表中的数据更新失败的情况下，将每个所述数据表中针对所述业务流程的标识的数据回退为原始数据。

可选的，所述方法还包括：在所述缓存队列中删除针对所述业务流程存储的信息。

可选的，所述获取所述业务流程中变化的所述业务信息包括：生成包括所述业务流程的标识的业务信息请求；发送所述请求；以及接收响应于所述请求的所述业务流程中变化的所述业务信息。

相应的，本发明实施例还提供一种异步并行数据同步装置，所述装置包括：读取模块，用于从缓存队列中读取业务信息发生变化的业务流程的标识；第一确定模块，用于根据所述业务流程的标识确定所述业务流程的配置信息，其中所述配置信息包括与所述业务流程对应的数据表的信息，所述数据表的信息包括数据表的标识；更新模块，用于针对与所述业务流程对应的每个所述数据表，并行执行以下步骤来对所述数据表中的数据进行更新：获取所述业务流程中变化的所述业务信息；从所述业务信息中解析出所述数据表需要的数据；以及基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新；判断模块，用于判断每个所述数据表中的数据是否均更新成功；第二确定模块，用于在每个所述数据表中的数据均更新成功的情况下，确定数据同步完成。

可选的，所述更新模块基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新包括：使用所述数据表的标识查询所述数据表；响应于查询到所述数据表，将所述数据表中与所述业务流程的标识对应的原始数据标识为无效数据；针对所述业务流程的标识向所述数据表中写入解析出的所述数据表需要的数据；判断解析出的所述数据表需要的数据是否写入成功；以及在写入成功的情况下，在所述缓存队列中记录关于所述数据表的第一数据写入结果，所述第一数据写入结果指示数据写入成功。

可选的，所述更新模块基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新还包括：在写入不成功的情况下，将所述数据表中标识为无效数据的所述原始数据标识为有效数据；判断写入不成功的次数是否达到预设次数；在没有达到所述预设次数的情况下，再次对所述数据表中的数据进行更新；以及在达到所述预设次数的情况下，在所述缓存队列中记录关于所述数据表的第二数据写入结果，所述第二数据写入结果指示数据写入失败。

可选的，所述判断模块用于根据以下步骤判断每个所述数据表中的数据是否均更新成功包括：根据所述缓存队列中记录的关于所述数据表的数据写入结果来判断每个所述数据表中的数据是否均更新成功。

可选的，所述装置还包括：第一删除模块，用于在每个所述数据表中的数据均更新成功的情况下，删除每个所述数据表中标识为无效数据的所述原始数据。

可选的，所述装置还包括：回退模块，用于在至少一个所述数据表中的数据更新失败的情况下，将每个所述数据表中针对所述业务流程的标识的数据回退为原始数据。

可选的，所述装置还包括：第二删除模块，用于在所述缓存队列中删除针对所述业务流程存储的信息。

可选的，所述更新模块用于根据以下步骤获取所述业务流程中变化的所述业务信息：生成包括所述业务流程的标识的业务信息请求；发送所述请求；以及接收响应于所述请求的所述业务流程中变化的所述业务信息。

相应的，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的异步并行数据同步方法。

相应的，本发明实施例还提供一种电子设备，所述电子设备包括至少一个处理器、与处理器连接的至少一个存储器、以及总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述的异步并行数据同步方法。

通过上述技术方案，针对业务信息发生变化的业务流程，获取业务流程对应的每个数据表，分别针对每个数据表，从发生变化的业务信息中解析出数据表需要的数据，使用解析出的数据对数据表中的数据进行更新，在每个数据表中的数据均更新成功的情况下，确定数据同步完成，这一方面提升了异步并行数据同步的效率、保证数据原子性、提升存储数据的可控性、减少脏数据，另一方面，数据表之间的更新进程相互不影响且能够实时监控到每个数据表的更新进程，确保数据同步的完成。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1示出了根据本发明一实施例的异步并行数据同步方法的流程示意图；

图2示出了根据本发明一实施例的对数据表中的数据进行更新的流程示意图；

图3示出了根据本发明又一实施例的异步并行数据同步方法的流程示意图；

图4示出了根据本发明一实施例的异步并行数据同步装置的结构框图；

图5示出了根据本发明又一实施例的异步并行数据同步装置的结构框图；以及

图6示出了根据本发明一实施例的电子设备的结构框图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

图1示出了根据本发明一实施例的异步并行数据同步方法的流程示意图。如图1所示，本发明实施例提供一种异步并行数据同步方法，该方法可以由下游设备来执行，所述下游设备例如可以是用于存储数据的数据库服务器等。本发明实施例提供的异步并行数据同步方法可以是用于需要异步并行存储数据的情况，所述方法可以包括步骤S110至步骤S150。

在步骤S110，从缓存队列中读取业务信息发生变化的业务流程的标识。

在某个业务流程的业务信息发生变化的情况下，上游设备可以将该业务流程的标识发送至缓存队列中。本发明实施例中所述的业务流程可以是任何涉及到数据入库的业务流程，所述业务流程例如可以是关于房屋购买的流程。上游设备可以是对接用户或者工作人员的设备。上游设备和下游设备是进行异步并行存储数据的两端，上游设备数据变化的时候，需要下游设备同步更新变化的数据。

下游设备例如可以实时监听缓存队列，一旦缓存队列中存储了业务流程的标识，就从缓存队列中读取业务流程的标识。在一些情况下，缓存队列中可能存储有多个业务流程的标识，则下游设备例如可以按照缓存队列中业务流程的标识存入的时间先后顺序来执行数据同步，具体的，可以在关于一个业务流程的数据同步过程执行完成后，再从缓存队列中读取下一个业务流程的标识。

在步骤S120，根据所述业务流程的标识确定所述业务流程的配置信息。

在一些可选情况下，下游设备中可以存储有配置信息列表，所述配置信息列表中存储有每一业务流程的标识和对应的业务流程的配置信息。使用业务流程的标识查询配置信息列表，就可以得到业务流程的配置信息。

在一些可选情况下，根据业务流程的标识可以确定出业务流程的类型，例如业务流程的标识中的某些特定字段可以指示业务流程的类型。属于同一类型的业务流程可以具有相同的配置信息。举例而言，关于房屋购买的业务流程通常会涉及到四种类型的业务流程：全款、商业贷款、公积金贷款、组合贷款。相同类型的业务流程所涉及到的环节基本相同，因此，可以根据业务流程的类型来确定业务流程的配置信息。

本发明实施例中，业务流程的配置信息包括与业务流程对应的数据表的信息。每个业务流程或者每种类型的业务流程可能需要一个或多个数据表来存储信息。例如，所述数据表例如可以包括用于存储业务流程当前状态的数据表、用于存储业务流程所有历史状态信息的数据表、用于存储备件信息的数据表，所述备件信息例如可以包括身份证号码、联系方式等信息。每个数据表可以存储关于多个业务流程的标识和对应的信息。

数据表的标识可以能够唯一表征所述数据表的信息，例如可以是数据表的名称等。

在步骤S130，针对与所述业务流程对应的每个所述数据表，并行执行步骤S132至步骤S136来对所述数据表中的数据进行更新。例如，下游设备可以针对每个数据表，启用一个主进程，以确保针对每个数据表的步骤S132至步骤S136可以被同步执行。

在步骤S132，获取所述业务流程中变化的所述业务信息。

例如，下游设备可以生成包括所述业务流程的标识的业务信息的请求，然后将该请求发送至上游设备。上游设备收到该请求之后，从中解析出业务流程的标识。然后根据该业务流程的标识查询到该业务流程中变化的业务信息，将变化的业务信息发送至下游设备。下游设备接收所述业务流程发生变化的业务信息。

下游设备可以在执行步骤S132时生成所述请求以获取变化的业务信息，也就是说，每个主进程中均会生成一个请求，并均会获取到相同的变化的业务信息。

在步骤S134，从所述业务信息中解析出所述数据表需要的数据。

不同的数据表需要的数据不一样。例如用于存储业务流程当前状态的数据表需要的业务流程状态变化的数据，例如，从面签已完成变化到了批贷完成。用于存储备件信息的数据表需要的是关于身份证号码、联系方式等变化的数据。用于存储业务流程所有历史状态信息的数据表需要的是历史状态变化的数据，例如批贷金额、放款日期等数据。

在步骤S136，基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新。

例如，可以首先使用数据表的标识从数据库中查询所述数据表，查询出所述数据表之后，可以使用业务流程的标识从所述数据表中查询出与业务流程的标识对应的数据，然后使用解析出的数据对与业务流程的标识对应的数据进行更新。

在步骤S140，判断每个所述数据表中的数据是否均更新成功。

例如，每个主进程在数据表中的数据更新成功后，可以在缓存队列中记录写入结果以指示所述数据表写入成功。下游设备可以轮训检查缓存队列中的关于每个数据表的写入结果。

在至少一个数据表中的数据更新失败的情况下，可以确定数据同步失败。

在步骤S150，在每个所述数据表中的数据均更新成功的情况下，确定数据同步完成。

如果下游设备轮训检查到关于每个数据表的写入结果均指示数据表写入成功，则可以确定针对所述业务流程的数据同步完成。

通过本发明实施例提供的异步并行数据同步方法，针对业务信息发生变化的业务流程，取业务流程对应的每个数据表，分别针对每个数据表，从发生变化的业务信息中解析出数据表需要的数据，使用解析出的数据对数据表中的数据进行更新，在每个数据表中的数据均更新成功的情况下，确定数据同步完成，这一方面提升了异步并行数据同步的效率、保证数据原子性、提升存储数据的可控性、减少脏数据，另一方面，数据表之间的更新进程相互不影响且能够实时监控到每个数据表的更新进程，确保数据同步的完成。

图2示出了根据本发明一实施例的对数据表中的数据进行更新的流程示意图。如图2所示，针对与业务信息发生变化的业务流程对应的每个数据表，每个主进程可以执行步骤S202至步骤S224来对数据表中的数据进行更新。

在步骤S202，获取所述业务流程中变化的所述业务信息。

例如，下游设备可以生成包括所述业务流程的标识的业务信息的请求，然后将该请求发送至上游设备。上游设备收到该请求之后，从中解析出业务流程的标识。然后根据该业务流程的标识查询到该业务流程中变化的业务信息，将变化的业务信息发送至下游设备。下游设备接收响应于所述请求的所述业务流程发生变化的业务信息。

下游设备可以在执行步骤S202时生成所述请求以获取变化的业务信息，也就是说，每个主进程中均会生成一个请求，并均会获取到相同的变化的业务信息。

在步骤S204，从所述业务信息中解析出所述数据表需要的数据。

不同的数据表需要的数据不一样。例如用于存储业务流程当前状态的数据表需要的业务流程状态变化的数据，例如，从面签已完成变化到了批贷完成。用于存储备件信息的数据表需要的是关于身份证号码、联系方式等变化的数据。用于存储业务流程所有历史状态信息的数据表需要的是历史状态变化的数据，例如批贷金额、放款日期等数据。

在步骤S206，使用所述数据表的标识查询所述数据表。

在步骤S208，响应于查询到所述数据表，将所述数据表中与所述业务流程的标识对应的原始数据标识为无效数据。例如，可以首先使用业务流程的标识在数据表中查询出与业务流程的标识对应的所述原始数据，然后将查询出的原始数据标识为无效数据，其中原始数据的原状态为有效数据。

在步骤S210，针对所述业务流程的标识向所述数据表中写入解析出的所述数据表需要的数据。也就是说，解析出的数据表需要的数据写入所述数据表，并将其与所述业务流程的标识关联起来。

在步骤S212，判断解析出的所述数据表需要的数据是否写入成功。在一些情况下，由于处理失败或服务器宕机等原因，可能导致数据写入失败。

在步骤S214，在写入成功的情况下，在所述缓存队列中记录关于所述数据表的第一数据写入结果，所述第一数据写入结果指示所述数据表数据写入成功。在缓存队列中记录数据写入结果，可以方便下游设备从缓存队列中轮训检查数据表的数据写入结果。

在步骤S216，在写入不成功的情况下，将所述数据表中标识为无效数据的所述原始数据标识为有效数据。例如，在写入不成功的情况下，可以根据业务流程的标识从数据表中重新查询所述原始数据，然后将原始数据的状态从无效数据更改为有效数据。

在步骤S218，判断写入不成功的次数是否达到预设次数。所述预设次数可以根据需要设置为任意合适的值，例如，所述预设次数可以是3次、5次等。

在没有达到所述预设次数的情况下，再次对所述数据表中的数据进行更新。如果当前在所述数据表中针对所述业务流程的标识的数据写入不成功的次数还没有达到所述预设次数，则可以返回从步骤S202开始再次执行对所述数据表中的数据进行更新。

在步骤S220，在达到所述预设次数的情况下，在所述缓存队列中记录关于所述数据表的第二数据写入结果，所述第二数据写入结果指示数据写入失败。在缓存队列中记录数据写入结果，可以方便下游设备从缓存队列中轮训检查数据表的数据写入结果。可选的，在达到所述预设次数的情况下，下游设备还可以执行报警通知，以通知用户数据存储失败，从而方便用户及时对检查并消除故障。

步骤S206至步骤S220对应于结合图1所述的异步并行数据同步方法中的步骤S136，即步骤S136的执行过程可以包括步骤S206至步骤S220。

在数据表中的数据写入不成功的情况下，执行重试机制，可以确保数据被最大可能性的写入至数据表中。

图3示出了根据本发明又一实施例的异步并行数据同步方法的流程示意图。图3中是以业务流程对应的数据表包括3个数据表为例进行说明的，所述3个数据表可以分别为数据表t1、数据表t2和数据表t3。如图3所示，本发明实施例提供的异步并行数据同步方法可以包括步骤S302至步骤S320。

在步骤S302，从缓存队列中读取业务信息发生变化的业务流程的标识。

在某个业务流程的业务信息发生变化的情况下，上游设备可以将该业务流程的标识发送至缓存队列中。本发明实施例中所述的业务流程可以是任何涉及到数据入库的业务流程，所述业务流程例如可以是关于房屋购买的流程。上游设备可以是对接用户或者工作人员的设备。

下游设备例如可以实时监听缓存队列，一旦缓存队列中存储了业务流程的标识，就从缓存队列中读取业务流程的标识。在一些情况下，缓存队列中可能存储有多个业务流程的标识，则下游设备例如可以按照缓存队列中业务流程的标识存入的时间先后顺序来执行数据同步，具体的，可以在关于一个业务流程的数据同步过程执行完成后，再从缓存队列中读取下一个业务流程的标识。

在步骤S304，根据所述业务流程的标识确定所述业务流程的配置信息。

在一些可选情况下，下游设备中可以存储有配置信息列表，所述配置信息列表中存储有每一业务流程的标识和对应的业务流程的配置信息。使用业务流程的标识查询配置信息列表，就可以得到业务流程的配置信息。

在一些可选情况下，根据业务流程的标识可以确定出业务流程的类型，例如业务流程的标识中的某些特定字段可以指示业务流程的类型。属于同一类型的业务流程可以具有相同的配置信息。举例而言，关于房屋购买的业务流程通常会涉及到四种类型的业务流程：全款、商业贷款、公积金贷款、组合贷款。相同类型的业务流程所涉及到的环节基本相同，因此，可以根据业务流程的类型来确定业务流程的配置信息。

本发明实施例中，业务流程的配置信息包括与业务流程对应的数据表的信息。每个业务流程或者每种类型的业务流程可能需要一个或多个数据表来存储信息。例如，所述数据表例如可以包括用于存储业务流程当前状态的数据表、用于存储业务流程所有历史状态信息的数据表、用于存储备件信息的数据表，所述备件信息例如可以包括身份证号码、联系方式等信息。每个数据表可以存储关于多个业务流程的标识和对应的信息。

数据表的标识可以能够唯一表征所述数据表的信息，例如可以是数据表的名称等。在本发明实施例中，与业务流程的ID对应的数据表可以为3个数据表，所述3个数据表可以分别为数据表t1、数据表t2和数据表t3。

在步骤S306，对所述数据表t1中的数据进行更新。其具体更新流程可以参考图2描述的数据更新流程，这里将不再赘述。

在步骤S308，对所述数据表t2中的数据进行更新。其具体更新流程可以参考图2描述的数据更新流程，这里将不再赘述。

在步骤S310，对所述数据表t3中的数据进行更新。其具体更新流程可以参考图2描述的数据更新流程，这里将不再赘述。步骤S306、步骤S308和步骤S310可以是3个同时执行的主进程。

在步骤S312，判断每个所述数据表中的数据是否均更新成功。

例如，可以根据缓存队列中记录的关于每个数据表的数据写入结果来判断每个数据表中的数据是否均更新成功。在每个所述数据表中的数据均更新成功的情况下，可以执行步骤S314和步骤S316。在至少一个数据表中的数据更新不成功的情况下，可以执行步骤S318。

在步骤S314，在每个所述数据表中的数据均更新成功的情况下，确定数据同步完成。

在步骤S316，删除每个所述数据表中标识为无效数据的所述原始数据。

在每个数据表均更新成功的情况下，删除数据表中标识为无效数据的所述原始数据可以减少不必要的数据空间。

在步骤S318，在至少一个所述数据表中的数据更新失败的情况下，将每个所述数据表中针对所述业务流程的标识的数据回退为原始数据。

针对数据更新失败的数据表，由于已将数据表中的原始数据的状态从无效数据更改为有效数据，即已经回退到原始数据，因此，在步骤S318，可以从数据库中轮训检查出数据更新成功的数据表的标识，然后根据数据表的标识查询这些数据表，在数据表中删除针对所述业务流程的标识新写入的数据，并将与所述业务流程的标识对应的原始数据的状态从无效数据更改为有效数据，以使所述数据表中针对所述业务流程的标识的数据回退为原始数据。

在至少一个数据表中的数据更新失败的情况下，将每个数据表中针对所述业务流程的标识的数据回退为原始数据，可以保证数据的原子性。

在步骤S320，在所述缓存队列中删除针对所述业务流程存储的信息。

不论所述业务流程中发生变化的业务信息在下游设备中是否更新成功，在针对所述业务流程执行完数据同步的过程之后，可以在缓存队列中删除针对业务流程存储的信息，例如业务流程的标识、数据写入结果等，从减少数据缓冲中不必要的数据空间。

通过本发明实施例提供的异步并行数据同步方法，针对业务信息发生变化的业务流程，可以对所述业务流程对应的每个数据表并行执行数据更新，从而提升数据同步的效率、保证数据原子性、提升存储数据的可控性、减少脏数据。

图4示出了根据本发明一实施例的异步并行数据同步装置的结构框图。如图4所示，本发明实施例提供了一种异步并行数据同步装置，

所述装置可以包括：读取模块410，用于从缓存队列中读取业务信息发生变化的业务流程的标识；第一确定模块420，用于根据所述业务流程的标识确定所述业务流程的配置信息，其中所述配置信息包括与所述业务流程对应的数据表的信息，所述数据表的信息包括数据表的标识；更新模块430，用于针对与所述业务流程对应的每个所述数据表，并行执行以下步骤来对所述数据表中的数据进行更新：获取所述业务流程中变化的所述业务信息；从所述业务信息中解析出所述数据表需要的数据；以及基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新；判断模块440，用于判断每个所述数据表中的数据是否均更新成功；第二确定模块450，用于在每个所述数据表中的数据均更新成功的情况下，确定数据同步完成。

在一些可选实施例中，更新模块430可以生成包括所述业务流程的标识的业务信息的请求，然后通过通信模块将该请求发送至上游设备。上游设备收到该请求之后，从中解析出业务流程的标识。然后根据该业务流程的标识查询到该业务流程中变化的业务信息，将变化的业务信息发送至下游设备。更新模块430通过通信模块接收响应于所述请求的所述业务流程中变化的业务信息。

在一些可选实施例中，判断模块440可以根据所述缓存队列中记录的关于所述数据表的数据写入结果来判断每个所述数据表中的数据是否均更新成功。

通过本发明实施例提供的异步并行数据同步装置，针对业务信息发生变化的业务流程，可以对所述业务流程对应的每个数据表并行执行数据更新，从而提升数据同步的效率、保证数据原子性、提升存储数据的可控性、减少脏数据。

在一些可选实施例中，所述更新模块430基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新还包括：使用所述数据表的标识查询所述数据表；响应于查询到所述数据表，将所述数据表中与所述业务流程的标识对应的原始数据标识为无效数据；针对所述业务流程的标识向所述数据表中写入解析出的所述数据表需要的数据；判断解析出的所述数据表需要的数据是否写入成功；在写入成功的情况下，在所述缓存队列中记录关于所述数据表的第一数据写入结果，所述第一数据写入结果指示数据写入成功。

在写入不成功的情况下，更新模块430用于：将所述数据表中标识为无效数据的所述原始数据标识为有效数据；判断写入不成功的次数是否达到预设次数；在没有达到所述预设次数的情况下，再次对所述数据表中的数据进行更新；在达到所述预设次数的情况下，在所述缓存队列中记录关于所述数据表的第二数据写入结果，所述第二数据写入结果指示数据写入失败。在数据表中的数据写入不成功的情况下，执行重试机制，可以确保数据被最大可能性的写入至数据表中。

更新模块430针对与所述业务流程对应的每个所述数据表，并行对数据表中的数据进行更新的具体执行过程可以参考上文结合图2所描述的过程，这里将不再赘述。

图5示出了根据本发明又一实施例的异步并行数据同步装置的结构框图。如图5所示，在一些可选实施例中，本发明实施例提供的异步并行数据同步装置进一步可以包括：第一删除模块460，用于在每个所述数据表中的数据均更新成功的情况下，删除每个所述数据表中标识为无效数据的所述原始数据。在每个数据表均更新成功的情况下，删除数据表中标识为无效数据的所述原始数据可以减少不必要的数据空间。

进一步参考图5，在一些可选实施例中，本发明实施例提供的异步并行数据同步装置还可以包括：回退模块470，用于在至少一个所述数据表中的数据更新失败的情况下，将每个所述数据表中针对所述业务流程的标识的数据回退为原始数据。在至少一个数据表中的数据更新失败的情况下，将每个数据表中针对所述业务流程的标识的数据回退为原始数据，可以保证数据的原子性。

进一步参考图5，在一些可选实施例中，本发明实施例提供的异步并行数据同步装置还可以包括：第二删除模块480，用于在所述缓存队列中删除针对所述业务流程存储的信息。不论所述业务流程中发生变化的业务信息在下游设备中是否更新成功，在针对所述业务流程执行完数据同步的过程之后，可以在缓存队列中删除针对业务流程存储的信息，例如业务流程的标识、数据写入结果等，从减少数据缓冲中不必要的数据空间。

本发明实施例提供的异步并行数据同步装置的具体工作原理及益处与上述本发明实施例提供的异步并行数据同步方法的具体工作原理及益处相同，这里将不再赘述。

所述异步并行数据同步装置包括处理器和存储器，上述各模块均可作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来执行根据本发明任意实施例所述的异步并行数据同步方法。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据本发明任意实施例所述的异步并行数据同步方法。

本发明实施例提供了一种电子设备，如图6所示，电子设备60包括至少一个处理器601、以及与处理器601连接的至少一个存储器602、总线603；其中，处理器601、存储器602通过总线603完成相互间的通信；处理器601用于调用存储器602中的程序指令，以执行根据本发明任意实施例所述的异步并行数据同步方法。本发明实施例的电子设备可以是服务器、PC、PAD、手机等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种异步并行数据同步方法，其特征在于，所述方法包括：

从缓存队列中读取业务信息发生变化的业务流程的标识；

根据所述业务流程的标识确定所述业务流程的配置信息，其中所述配置信息包括与所述业务流程对应的数据表的信息，所述数据表的信息包括数据表的标识；

针对与所述业务流程对应的每个所述数据表，并行执行以下步骤来对所述数据表中的数据进行更新：

获取所述业务流程中变化的所述业务信息；

从所述业务信息中解析出所述数据表需要的数据；以及

基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新；

判断每个所述数据表中的数据是否均更新成功；以及

在每个所述数据表中的数据均更新成功的情况下，确定数据同步完成。

2.根据权利要求1所述的方法，其特征在于，所述基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新包括：

使用所述数据表的标识查询所述数据表；

响应于查询到所述数据表，将所述数据表中与所述业务流程的标识对应的原始数据标识为无效数据；

针对所述业务流程的标识向所述数据表中写入解析出的所述数据表需要的数据；

判断解析出的所述数据表需要的数据是否写入成功；以及

在写入成功的情况下，在所述缓存队列中记录关于所述数据表的第一数据写入结果，所述第一数据写入结果指示数据写入成功。

3.根据权利要求2所述的方法，其特征在于，所述基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新还包括：

在写入不成功的情况下，将所述数据表中标识为无效数据的所述原始数据标识为有效数据；

判断写入不成功的次数是否达到预设次数；

在没有达到所述预设次数的情况下，再次对所述数据表中的数据进行更新；以及

在达到所述预设次数的情况下，在所述缓存队列中记录关于所述数据表的第二数据写入结果，所述第二数据写入结果指示数据写入失败。

4.根据权利要求3所述的方法，其特征在于，所述判断每个所述数据表中的数据是否均更新成功包括：

根据所述缓存队列中记录的关于所述数据表的数据写入结果来判断每个所述数据表中的数据是否均更新成功。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在每个所述数据表中的数据均更新成功的情况下，删除每个所述数据表中标识为无效数据的所述原始数据。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在至少一个所述数据表中的数据更新失败的情况下，将每个所述数据表中针对所述业务流程的标识的数据回退为原始数据。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

在所述缓存队列中删除针对所述业务流程存储的信息。

8.根据权利要求1所述的方法，其特征在于，所述获取所述业务流程中变化的所述业务信息包括：

生成包括所述业务流程的标识的业务信息请求；

发送所述请求；以及

接收响应于所述请求的所述业务流程中变化的所述业务信息。

9.一种异步并行数据同步装置，其特征在于，所述装置包括：

读取模块，用于从缓存队列中读取业务信息发生变化的业务流程的标识；

第一确定模块，用于根据所述业务流程的标识确定所述业务流程的配置信息，其中所述配置信息包括与所述业务流程对应的数据表的信息，所述数据表的信息包括数据表的标识；

更新模块，用于针对与所述业务流程对应的每个所述数据表，并行执行以下步骤来对所述数据表中的数据进行更新：

获取所述业务流程中变化的所述业务信息；

从所述业务信息中解析出所述数据表需要的数据；以及

基于所述数据表的标识和所述业务流程的标识使用解析出的所述数据表需要的数据对所述数据表中的数据进行更新；

判断模块，用于判断每个所述数据表中的数据是否均更新成功；

第二确定模块，用于在每个所述数据表中的数据均更新成功的情况下，确定数据同步完成。

10.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至8中任一项所述的异步并行数据同步方法。

Images