CN114595237A - 数据双写方法及装置 - Google Patents

Abstract

本发明提供了一种数据双写方法及装置，适用于大数据技术领域，该方法包括：在接收到写请求后，将数据写入单元数据库，将写入的数据的状态标记为待同步；在接收到单元数据库反馈的写入成功通知后，将数据的关系数据写入网关路由信息缓存；在接收到网关路由信息缓存反馈的写入成功通知后，将关系数据写入网关路由信息表，且不等待网关路由信息数据库反馈；通过异步进程查询单元数据库中状态为待同步的数据对应的关系数据是否在网关路由信息表中写成功；若写成功，更新单元数据库中数据的状态；若未写成功，将关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态。本发明可以提高数据双写的效率和成功率。

Description

数据双写方法及装置

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据双写方法及装置。

背景技术

在分布式系统中，由于数据按照某一种维度分散在多个单元数据库，不可避免的，在交易服务入口处，需要有网关路由信息来告诉交易数据在哪个单元数据库。例如，银行系统通常按照客户号为中心进行分单元，即客户号及同一客户号下的其他实体比如账号、卡号都要分到同一个单元，那么就需要在网关路由信息中维护客户号与帐号，或者客户号与卡号的对应关系，这样才能保证账号交易或者卡号交易才能在入口处判断出来该去哪个单元。

从而也引出这样一个问题：当有新的账号、卡号产生或者有账号、卡号逻辑删除时，需要同步在网关路由中维护客户号与帐号，或者客户号与卡号的对应关系。通常网关路由信息在全量数据库(缓存)，而实体客户号、卡号、账号在单元数据库，这样就需要同时操作不同的数据库并且需要都成功，这样就会造成大量的分布式事物，从而降低并发性，导致效率低下。

发明内容

本发明实施例提出一种数据双写方法，用以实现数据双写，提高数据双写的效率和成功率，该方法包括：

在接收到写请求后，将数据写入单元数据库，将写入的数据的状态标记为待同步；

在接收到单元数据库反馈的写入成功通知后，将数据的关系数据写入网关路由信息缓存；

在接收到网关路由信息缓存反馈的写入成功通知后，将数据的关系数据写入网关路由信息数据库中的网关路由信息表，且不等待网关路由信息数据库反馈；

通过异步进程查询单元数据库中状态为待同步的数据对应的关系数据是否在网关路由信息表中写成功；

若写成功，更新单元数据库中数据的状态为已更新；

若未写成功，将数据的关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态为已更新。

本发明实施例提出一种数据双写装置，用以实现数据双写，提高数据双写的效率和成功率，该装置包括：

写入单元数据库模块，用于在接收到写请求后，将数据写入单元数据库，将写入的数据的状态标记为待同步；

写入缓存模块，用于在接收到单元数据库反馈的写入成功通知后，将数据的关系数据写入网关路由信息缓存；

写入网关路由信息数据库模块，用于在接收到网关路由信息缓存反馈的写入成功通知后，将数据的关系数据写入网关路由信息数据库中的网关路由信息表，且不等待网关路由信息数据库反馈；

数据写成功查询模块，用于通过异步进程查询单元数据库中状态为待同步的数据对应的关系数据是否在网关路由信息表中写成功；若写成功，更新单元数据库中数据的状态为已更新；若未写成功，将数据的关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态为已更新。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据双写方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据双写方法。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述数据双写方法。

在本发明实施例中，在接收到写请求后，将数据写入单元数据库，将写入的数据的状态标记为待同步；在接收到单元数据库反馈的写入成功通知后，将数据的关系数据写入网关路由信息缓存；在接收到网关路由信息缓存反馈的写入成功通知后，将数据的关系数据写入网关路由信息数据库中的网关路由信息表，且不等待网关路由信息数据库反馈；通过异步进程查询单元数据库中状态为待同步的数据对应的关系数据是否在网关路由信息表中写成功；若写成功，更新单元数据库中数据的状态为已更新；若未写成功，将数据的关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态为已更新。在上述过程中，在写单元数据库信息的同时也写网关路由信息缓存，再写网关路由信息数据库，但不等待网关路由信息数据库反馈，而是通过异步进程来查询网关路由信息表是否写成功，如果写成功则不做处理，如果没写成功则将数据的关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态为已更新。这样就避免了大量的分布式事物，提高了数据双写的效率；同时，对于写网关路由信息表不成功这种小概率事件，通过异步进程的方式补偿来确保成功，提高了数据双写成功率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中数据双写方法的流程图一；

图2为本发明实施例中数据双写方法的流程图二；

图3为本发明实施例中在数据双写时对读请求的处理流程；

图4为本发明实施例中在数据双写时对更新请求的处理流程一；

图5为本发明实施例中在数据双写时对更新请求的处理流程二；

图6为本发明实施例中异步进程的流程图；

图7为本发明实施例中数据双写装置的示意图一；

图8为本发明实施例中数据双写装置的示意图二；

图9为本发明实施例中计算机设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

图1为本发明实施例中数据双写方法的流程图一，如图1所示，该方法包括：

步骤101，在接收到写请求后，将数据写入单元数据库，将写入的数据的状态标记为待同步；

步骤102，在接收到单元数据库反馈的写入成功通知后，将数据的关系数据写入网关路由信息缓存；

步骤103，在接收到网关路由信息缓存反馈的写入成功通知后，将数据的关系数据写入网关路由信息数据库中的网关路由信息表，且不等待网关路由信息数据库反馈；

步骤104，通过异步进程查询单元数据库中状态为待同步的数据对应的关系数据是否在网关路由信息表中写成功；

步骤105，若写成功，更新单元数据库中数据的状态为已更新；

步骤106，若未写成功，将数据的关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态为已更新。

在本发明实施例中，在写单元数据库信息的同时也写网关路由信息缓存，再写网关路由信息数据库，但不等待网关路由信息数据库反馈，而是通过异步进程来查询网关路由信息表是否写成功，如果写成功则不做处理，如果没写成功则将数据的关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态为已更新。这样就避免了大量的分布式事物，提高了数据双写的效率；同时，对于写网关路由信息表不成功这种小概率事件，通过异步进程的方式补偿来确保成功，提高了数据双写成功率。

图2为本发明实施例中数据双写方法的流程图二，包括了步骤101和步骤103的内容，且在此基础上加入了报错处理。涉及的是在接收到写请求后的处理过程。其中，在写关系数据中，先将关系数据插入网关路由信息缓存，再插入网关路由信息表。

在一实施例中，所述方法还包括：

在接收到删除请求后，将删除请求中的数据在网关路由信息表对应的关系数据打标为不使用，且不在网关路由信息数据库中进行删除。

通常情况下，应该限制客户、账户、卡等涉及网关路由信息表的关系数据只有逻辑打标删除，没有物理删除，即将删除请求中的数据在网关路由信息表对应的关系数据打标为不使用，且不在网关路由信息数据库中进行删除。

在一实施例中，所述方法还包括：

在接收到读请求时，读取读请求中的数据在网关路由信息缓存中对应的关系数据，若网关路由信息缓存中没有所述对应的关系数据，读取网关路由信息表，并将网关路由信息表所述对应的关系数据放入网关路由信息缓存；

在接收到更新请求时，基于更新请求中的数据对应的关系数据的类型，进行更新操作。

图3为本发明实施例中在数据双写时对读请求的处理流程，其中，读请求的原则是先从网络路由信息缓存中读取。

在一实施例中，基于更新请求中的数据对应的关系数据的类型，进行更新操作，包括：

若网关路由信息缓存中存储的关系数据满足第一条件，基于更新请求中的数据对应的关系数据，更新网关路由信息缓存，然后更新网关路由信息表；所述第一条件为关系数据为键值与数据值结构，且在预设时长内收到的读请求的数量大于第一阈值，且在预设时长内收到的更新请求的数量小于第二阈值：

若网关路由信息缓存中存储的关系数据满足第二条件，删除网关路由信息缓存中更新请求中的数据对应的关系数据的历史数据，基于更新请求中的数据对应的关系数据，更新网关路由信息表；所述第二条件在预设时长内收到的更新请求的数量大于第三阈值。

图4为本发明实施例中在数据双写时对更新请求的处理流程一，对应的是第一条件，图5为本发明实施例中在数据双写时对更新请求的处理流程二，对应的是第二条件。也就是，在第一条件下，先更新网关路由信息缓存，再更新网关路由信息数据库中的网关路由信息表。在第二条件下，采用懒加载思想，即只是先删除网关路由信息缓存中的关系数据，再更新网关路由信息数据库中的网关路由信息表，避免频繁更新缓存的无意义的代价。在上述第二条件中，在预设时长内收到的更新请求可以是简单数据，也可以是无价值数据，无价值数据是不常用的但是需要经过复杂计算的数据。

在一实施例中，所述方法还包括：

若网关路由信息缓存中存储的关系数据满足第二条件，将接收到的读请求与更新请求串行执行。

在上述实施例中，串行执行可确保高并发情况下网关路由信息缓存和网关路由信息数据库中的关系数据的一致性。

图6为本发明实施例中异步进程的流程图，在一实施例中，通过异步进程查询单元数据库中状态为待同步的数据对应的关系数据是否在网关路由信息表中写成功，包括：

轮询提取单元数据库中状态为待同步的数据的键值；

通过键值查询对应的关系数据在网关路由信息表是否写成功。

综上所述，在本发明实施例提出的方法中，在写单元数据库信息的同时也写网关路由信息缓存，再写网关路由信息数据库，但不等待网关路由信息数据库反馈，而是通过异步进程来查询网关路由信息表是否写成功，如果写成功则不做处理，如果没写成功则将数据的关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态为已更新。这样就避免了大量的分布式事物，提高了数据双写的效率；同时，对于写网关路由信息表不成功这种小概率事件，通过异步进程的方式补偿来确保成功，提高了数据双写成功率。另外，在第二条件下，采用懒加载思想，即只是先删除网关路由信息缓存中的关系数据，再更新网关路由信息数据库中的网关路由信息表，避免频繁更新缓存的无意义的代价，且读请求和写请求的串行执行可确保高并发情况下网关路由信息缓存和网关路由信息数据库中的关系数据的一致性。

本发明实施例中还提供了一种数据双写装置，如下面的实施例所述。由于该装置解决问题的原理与数据双写方法相似，因此该装置的实施可以参见数据双写方法的实施，重复之处不再赘述。

图7为本发明实施例中数据双写装置的示意图一，包括：

写入单元数据库模块701，用于在接收到写请求后，将数据写入单元数据库，将写入的数据的状态标记为待同步；

写入缓存模块702，用于在接收到单元数据库反馈的写入成功通知后，将数据的关系数据写入网关路由信息缓存；

写入网关路由信息数据库模块703，用于在接收到网关路由信息缓存反馈的写入成功通知后，将数据的关系数据写入网关路由信息数据库中的网关路由信息表，且不等待网关路由信息数据库反馈；

数据写成功查询模块704，用于通过异步进程查询单元数据库中状态为待同步的数据对应的关系数据是否在网关路由信息表中写成功；若写成功，更新单元数据库中数据的状态为已更新；若未写成功，将数据的关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态为已更新。

在一实施例中，数据写成功查询模块具体用于：

轮询提取单元数据库中状态为待同步的数据的键值；

通过键值查询对应的关系数据在网关路由信息表是否写成功。

图8为本发明实施例中数据双写装置的示意图二，在一实施例中，所述装置还包括请求处理模块801，用于：

在接收到删除请求后，将删除请求中的数据在网关路由信息表对应的关系数据打标为不使用，且不在网关路由信息数据库中进行删除。

在一实施例中，请求处理模块还用于：

在接收到读请求时，读取读请求中的数据在网关路由信息缓存中对应的关系数据，若网关路由信息缓存中没有所述对应的关系数据，读取网关路由信息表，并将网关路由信息表所述对应的关系数据放入网关路由信息缓存；

在接收到更新请求时，基于更新请求中的数据对应的关系数据的类型，进行更新操作

在一实施例中，请求处理模块还用于：

若网关路由信息缓存中存储的关系数据满足第一条件，基于更新请求中的数据对应的关系数据，更新网关路由信息缓存，然后更新网关路由信息表；所述第一条件为关系数据为键值与数据值结构，且在预设时长内收到的读请求的数量大于第一阈值，且在预设时长内收到的更新请求的数量小于第二阈值：

若网关路由信息缓存中存储的关系数据满足第二条件，删除网关路由信息缓存中更新请求中的数据对应的关系数据的历史数据，基于更新请求中的数据对应的关系数据，更新网关路由信息表；所述第二条件在预设时长内收到的更新请求的数量大于第三阈值。

综上所述，在本发明实施例提出的装置中，在写单元数据库信息的同时也写网关路由信息缓存，再写网关路由信息数据库，但不等待网关路由信息数据库反馈，而是通过异步进程来查询网关路由信息表是否写成功，如果写成功则不做处理，如果没写成功则将数据的关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态为已更新。这样就避免了大量的分布式事物，提高了数据双写的效率；同时，对于写网关路由信息表不成功这种小概率事件，通过异步进程的方式补偿来确保成功，提高了数据双写成功率。另外，在第二条件下，采用懒加载思想，即只是先删除网关路由信息缓存中的关系数据，再更新网关路由信息数据库中的网关路由信息表，避免频繁更新缓存的无意义的代价，且读请求和写请求的串行执行可确保高并发情况下网关路由信息缓存和网关路由信息数据库中的关系数据的一致性。

本发明实施例还提供一种计算机设备，图9为本发明实施例中计算机设备的示意图，所述计算机设备900包括存储器910、处理器920及存储在存储器910上并可在处理器920上运行的计算机程序930，所述处理器920执行所述计算机程序930时实现上述数据双写方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据双写方法。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述数据双写方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序业务系统。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序业务系统的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序业务系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种数据双写方法，其特征在于，包括：

在接收到写请求后，将数据写入单元数据库，将写入的数据的状态标记为待同步；

在接收到单元数据库反馈的写入成功通知后，将数据的关系数据写入网关路由信息缓存；

在接收到网关路由信息缓存反馈的写入成功通知后，将数据的关系数据写入网关路由信息数据库中的网关路由信息表，且不等待网关路由信息数据库反馈；

通过异步进程查询单元数据库中状态为待同步的数据对应的关系数据是否在网关路由信息表中写成功；

若写成功，更新单元数据库中数据的状态为已更新；

若未写成功，将数据的关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态为已更新。

2.如权利要求1所述的方法，其特征在于，通过异步进程查询单元数据库中状态为待同步的数据对应的关系数据是否在网关路由信息表中写成功，包括：

轮询提取单元数据库中状态为待同步的数据的键值；

通过键值查询对应的关系数据在网关路由信息表是否写成功。

3.如权利要求1所述的方法，其特征在于，还包括：

在接收到删除请求后，将删除请求中的数据在网关路由信息表对应的关系数据打标为不使用，且不在网关路由信息数据库中进行删除。

4.如权利要求1所述的方法，其特征在于，还包括：

在接收到读请求时，读取读请求中的数据在网关路由信息缓存中对应的关系数据，若网关路由信息缓存中没有所述对应的关系数据，读取网关路由信息表，并将网关路由信息表所述对应的关系数据放入网关路由信息缓存；

在接收到更新请求时，基于更新请求中的数据对应的关系数据的类型，进行更新操作。

5.如权利要求4所述的方法，其特征在于，基于更新请求中的数据对应的关系数据的类型，进行更新操作，包括：

若网关路由信息缓存中存储的关系数据满足第一条件，基于更新请求中的数据对应的关系数据，更新网关路由信息缓存，然后更新网关路由信息表；所述第一条件为关系数据为键值与数据值结构，且在预设时长内收到的读请求的数量大于第一阈值，且在预设时长内收到的更新请求的数量小于第二阈值：

若网关路由信息缓存中存储的关系数据满足第二条件，删除网关路由信息缓存中更新请求中的数据对应的关系数据的历史数据，基于更新请求中的数据对应的关系数据，更新网关路由信息表；所述第二条件在预设时长内收到的更新请求的数量大于第三阈值。

6.如权利要求4所述的方法，其特征在于，还包括：

若网关路由信息缓存中存储的关系数据满足第二条件，将接收到的读请求与更新请求串行执行。

7.一种数据双写装置，其特征在于，包括：

写入单元数据库模块，用于在接收到写请求后，将数据写入单元数据库，将写入的数据的状态标记为待同步；

写入缓存模块，用于在接收到单元数据库反馈的写入成功通知后，将数据的关系数据写入网关路由信息缓存；

写入网关路由信息数据库模块，用于在接收到网关路由信息缓存反馈的写入成功通知后，将数据的关系数据写入网关路由信息数据库中的网关路由信息表，且不等待网关路由信息数据库反馈；

数据写成功查询模块，用于通过异步进程查询单元数据库中状态为待同步的数据对应的关系数据是否在网关路由信息表中写成功；若写成功，更新单元数据库中数据的状态为已更新；若未写成功，将数据的关系数据补充写入网关路由信息表，在补充写成功时，更新单元数据库中数据的状态为已更新。

8.如权利要求7所述的装置，其特征在于，数据写成功查询模块具体用于：

轮询提取单元数据库中状态为待同步的数据的键值；

通过键值查询对应的关系数据在网关路由信息表是否写成功。

9.如权利要求7所述的装置，其特征在于，还包括请求处理模块，用于：

在接收到删除请求后，将删除请求中的数据在网关路由信息表对应的关系数据打标为不使用，且不在网关路由信息数据库中进行删除。

10.如权利要求9所述的装置，其特征在于，请求处理模块还用于：

在接收到读请求时，读取读请求中的数据在网关路由信息缓存中对应的关系数据，若网关路由信息缓存中没有所述对应的关系数据，读取网关路由信息表，并将网关路由信息表所述对应的关系数据放入网关路由信息缓存；

在接收到更新请求时，基于更新请求中的数据对应的关系数据的类型，进行更新操作。

11.如权利要求10所述的装置，其特征在于，请求处理模块还用于：

若网关路由信息缓存中存储的关系数据满足第一条件，基于更新请求中的数据对应的关系数据，更新网关路由信息缓存，然后更新网关路由信息表；所述第一条件为关系数据为键值与数据值结构，且在预设时长内收到的读请求的数量大于第一阈值，且在预设时长内收到的更新请求的数量小于第二阈值：

若网关路由信息缓存中存储的关系数据满足第二条件，删除网关路由信息缓存中更新请求中的数据对应的关系数据的历史数据，基于更新请求中的数据对应的关系数据，更新网关路由信息表；所述第二条件在预设时长内收到的更新请求的数量大于第三阈值。

12.如权利要求10所述的装置，其特征在于，请求处理模块还用于：

若网关路由信息缓存中存储的关系数据满足第二条件，将接收到的读请求与更新请求串行执行。

13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法。

Images