CN112419018A

CN112419018A - 分布式环境下的通用数据对账方法、服务器及存储介质

Info

Publication number: CN112419018A
Application number: CN202010003626.3A
Authority: CN
Inventors: 李健; 梁俊; 朱杰
Original assignee: Shanghai Bilibili Technology Co Ltd
Current assignee: Shanghai Bilibili Technology Co Ltd
Priority date: 2020-01-03
Filing date: 2020-01-03
Publication date: 2021-02-26
Anticipated expiration: 2040-01-03
Also published as: CN112419018B

Abstract

本发明涉及一种分布式环境下的通用数据对账方法、服务器及存储介质，属于互联网技术领域。该方法首先实时将数据变更记录并推送至数据总线；消费该数据变更记录启动对账，并从数据变更记录过滤出待对账数据；进而构建对账任务及对账脚本；执行对账脚本产生对账结果，并进一步可以根据对账结果实现修复回调。由此一方面实现了将对账方法与业务的解耦合，可将其应用于分布式环境中任何的数据对账，另一方面该方法的实时性更强，数据准确度更高，用户体验也更好。

Description

分布式环境下的通用数据对账方法、服务器及存储介质

技术领域

本发明涉及互联网技术领域，特别涉及分布式系统的数据处理技术领域，具体是指一种分布式环境下的通用数据对账方法、服务器及存储介质。

背景技术

在分布式环境下，整个系统根据业务被拆分到多个服务中，而每个服务又会同时存在多个服务实例。实例与实例、服务与服务之间的通信也有可能存在调用失败的场景，所以整个分布式系统或多或少都会存在数据不一致的问题。

以电商业务举例，整个电商业务平台作为一个采用分布式的大系统，其根据应用被拆分为商城、订单、库存、支付、物流等多个服务。可能存在如下不一致的场景：

1.订单已创建但库存未扣除，造成超卖；

2.订单已取消但货款未退回；

3.仓库已经发货，但订单状态没有改变；

4.订单已经取消但优惠券等没有退还用户；等等。

这些场景均由于各服务间的数据不一致造成，会直接影响用户的正常使用，甚至导致用户投诉，乃至系统整体数据混乱。

所以如何保障每个服务间数据的一致性，是所有分布式系统都需要解决的问题。

目前主流的解决方案是，通过每个服务实现业务补偿，或使用离线对账来保障数据的最终一致性。但这些方案都会与业务强耦合，且离线对账实时性较差，无法及时的发现问题。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种可与业务解耦合，实时性强，用户体验更好的分布式环境下的通用数据对账方法、服务器及存储介质。

分布式环境至少包括第一数据系统与第二数据系统。为了实现上述的目的，本发明的分布式环境下的通用数据对账方法包括：

获取所述的第一数据系统的数据变更记录并推送至数据总线；

根据所述的数据变更记录获取待对账数据；

根据所述待对账数据获取对账任务，该对账任务包括对账脚本；

执行所述的对账脚本，将所述的待对账数据与所述的第二数据系统中对应的数据进行比对，产生对账结果。

该分布式环境下的通用数据对账方法中，所述的根据所述的数据变更记录获取待对账数据，具体为：

利用预设的规则，将所述的触发数据中符合规则的数据作为所述的待对账数据。

该分布式环境下的通用数据对账方法中，所述的根据所述待对账数据获取对账任务，具体包括：

根据所述待对账数据获取设定的对账任务；

获取该对账任务包括的对账脚本；

根据所述的对账脚本创建对账任务缓存。

该分布式环境下的通用数据对账方法中，在所述的根据所述的对账脚本创建对账任务缓存之后，还包括：

根据所述对账脚本内的延时时间确定该对账任务是否需要延时；

若不需要延时，则进入所述的执行所述的对账脚本的步骤；

若需要延时，则将所述的对账任务放入延时队列，当延时过后，从所述的延时队列获取所述的对账任务，并进入所述的执行所述的对账脚本的步骤。

该分布式环境下的通用数据对账方法中，所述的执行所述的对账脚本，将所述的待对账数据与所述的第二数据系统进行比对，产生对账结果，具体包括：

检查所述的对账脚本是否为最新的版本，若是，则进入下一步骤；若否，则更新所述的对账脚本后进入下一步骤；

该分布式环境下的通用数据对账方法中，该方法在所述的执行所述的对账脚本，将所述的待对账数据与所述的第二数据系统中对应的数据进行比对，产生对账结果之后，还包括以下步骤：

根据所述的对账任务中的任务配置确定是否需要修复回调，若是，则进入下一步骤；若否，则结束本方法；

根据所述的对账结果和所述的任务配置进行修复回调。

根据所述的对账任务中的任务配置确定是否需要通知，若是，则进入下一步骤；若否，则结束本方法；

将所述的对账结果根据所述的任务配置进行通知。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述的分布式环境下的通用数据对账方法。

本发明还提供一种分布式环境下的通用数据对账服务器，该通用数据对账服务器通过数据总线连接第一数据系统与第二数据系统，该通用数据对账服务器包括处理器和存储器，所述的存储器存储有计算机程序，所述的计算机程序被所述的处理器执行时，该通用数据对账服务器通过与所述的第一数据系统及所述的第二数据系统进行数据交互实现权利要求1至8中任一项所述的分布式环境下的通用数据对账方法。

采用了该发明的分布式环境下的通用数据对账方法、服务器及存储介质，其首先实时将数据变更记录并推送至数据总线；消费该数据变更记录启动对账，并从数据变更记录过滤出待对账数据；进而构建对账任务及对账脚本；执行对账脚本产生对账结果，并进一步可以根据对账结果实现修复回调。由此一方面实现了将对账方法与业务的解耦合，可将其应用于分布式环境中任何的数据对账，另一方面该方法的实时性更强，数据准确度更高，用户体验也更好。

附图说明

图1为本发明的分布式环境下的通用数据对账方法的步骤流程图；

图2为本发明的分布式环境下的通用数据对账服务器的功能模块结构示意图；

图3为利用本发明的通用数据对账方法实现两个系统间对账的流程示意图；

图4为利用本发明的通用数据对账方法创建对账任务的用户界面示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。

请参阅图1所示，为本发明的分布式环境下的通用数据对账方法的步骤流程图。

在一种实施方式中，所述的分布式环境至少包括第一数据系统与第二数据系统，该分布式环境下的通用数据对账方法包括：

(1)获取所述的第一数据系统的数据变更记录并推送至数据总线；

(2)根据所述的数据变更记录获取待对账数据；

(3)根据所述待对账数据获取对账任务，该对账任务包括对账脚本；

(4)执行所述的对账脚本，将所述的待对账数据与所述的第二数据系统中对应的数据进行比对，产生对账结果。

其中，所述的步骤(1)获取所述的第一数据系统的数据变更记录并推送至数据总线，具体为：

使用canal监听binlog，实时获取所述的第一数据系统的数据变更记录，并作为触发数据推送至数据总线中。

所述的的步骤(2)根据所述的数据变更记录获取待对账数据，具体为：

利用预设的规则，将所述的触发数据中符合规则的数据作为所述的待对账数据。预设的规则一般为一个时间段内，如一小时或一周之内的数据变更记录等等，时间段根据数据变更记录对应的时间标签确定。

所述的步骤(3)根据所述待对账数据获取对账任务，具体包括：

根据所述待对账数据获取设定的对账任务；

获取该对账任务包括的对账脚本；

根据所述的对账脚本创建对账任务缓存。

相应的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述的分布式环境下的通用数据对账方法。

本发明还提供一种分布式环境下的通用数据对账服务器及一种计算机可读存储介质。该通用数据对账服务器通过数据总线连接第一数据系统与第二数据系统。该通用数据对账服务器包括处理器和存储器，所述的存储器即为所述的计算机可读存储介质，其上存储有计算机程序。当所述的计算机程序被所述的处理器执行时，该通用数据对账服务器通过与所述的第一数据系统及所述的第二数据系统进行数据交互以实现权上述实施方式中的分布式环境下的通用数据对账方法。

其中，所述的分布式环境下的通用数据对账服务器的功能模块，如图2所示，包括：

前置过滤器，用以从所述数据总线获取所述的第一数据系统的数据变更记录，并利用预设的规则过滤所述的数据变更记录，获取待对账数据；

任务构造器，用以获取包括对账脚本的对账任务；

执行器，用以执行所述的对账脚本，将所述的待对账数据与所述的第二数据系统第二数据系统进行比对，产生对账结果。

利用该实施方式的分布式环境下的通用数据对账方法及系统，可以实现高并发、近实时的对账，有效解决分布式环境下数据不一致的问题；同时，使用脚本实现业务对账逻辑，与业务解耦合，使得本发明的方案更加通用。对于不同的业务，对账逻辑被封装到对账脚本中，不需要依赖具体的业务是如何实现的，不同的业务仅需编写不同的脚本，而无需改变整体的对账流程。

在一种优选的实施方式中，在所述的根据所述的对账脚本创建对账任务缓存之后，还包括：

若不需要延时，则进入所述的执行所述的对账脚本的步骤；

通过该实施方式的方法可以实现对账延时的可配置，以满足不同的对账实时性要求。

在另一种优选的实施方式中，所述的步骤(4)执行所述的对账脚本，将所述的待对账数据与所述的第二数据系统第二数据系统进行比对，产生对账结果，具体包括：

通过该实施方式的方法可以实现对于对账脚本的实时更新。

在可选的实施方式中，该方法在所述的步骤(4)执行所述的对账脚本，将所述的待对账数据与所述的第二数据系统中对应的数据进行比对，产生对账结果之后，还包括以下步骤：

根据所述的对账结果和所述的任务配置进行修复回调。

通过进行修复回调，从而利用对账结果进行数据修复，保证各数据系统间数据的一致性。

以及根据所述的对账任务中的任务配置确定是否需要通知，若是，则进入下一步骤；若否，则结束本方法；

将所述的对账结果根据所述的任务配置进行通知。

相应的，本发明的分布式环境下的通用数据对账系统，可以还包括：结果处理器，用以根据所述的对账任务和所述的对账结果进行修复回调及对账结果的通知。

利用该更优选的实施方式的方法及系统，可以支持预警通知与接口回调，自动修复数据不一致问题。

在实际应用中，本发明的分布式环境下的通用数据对账系统主要包括：由过滤脚本作为触发条件的前置过滤器；获取解析脚本、创建对账任务的任务构造器；执行脚本、输出对账结果的核心执行器；以及处理对账结果的结果处理器。

对账脚本为用户自行编写并保存到对账系统数据库中，用户创建对账任务的用户界面示意图。用户可以配置脚本触发的条件，配置脚本延迟的时间，选择是否需要修复回调并配置相关接口，以及配置邮件、微信预警通知的接收人。

以下通过具体实施例说明本发明的分布式环境下的通用数据对账方法的实现过程。

实施例1

以网购平台的订单系统和库存系统之间的对账为例。订单系统为第一数据系统，库存系统为第二数据系统。

利用本发明实现两个系统间对账的主要流程如图3所示，包括以下步骤：

1.使用canal实时获取订单系统(第一数据系统)的数据变更记录，并将该数据变更推送到databus中，作为对账系统的触发数据；

2.对账系统消费databus中的触发数据(订单系统的数据变更记录)，触发对账系统开始对账流程，首先对账系统的前置过滤器检查redis中缓存的前置过滤器版本号，如果缓存中的前置过滤器版本号与对账系统中的前置过滤器的版本号不一致，则说明前置过滤器版本不正确，转入步骤3；否则，则说明前置过滤器的版本正确，进入步骤4；

3.对账系统读取该对账系统的数据库，更新前置过滤器版本为最新版本，并将更新的过滤器版本号同步至redis中；

4.前置过滤器检查触发数据是否满足过滤条件，过滤器支持变更表、数据库操作类型(如：insert\update\delete)以及指定字段特殊值(如：status为NEW)的过滤。用户可以设置需要过滤的条件，如status＝NEW，在databus的触发数据被消费时，会根据用户设置的过滤条件，检查该消息是否满足条件，如果满足过滤器条件，则说明触发数据中的订单系统的数据变更记录是需要对账的数据，进而转入步骤5；否则，结束流程；使用前置过滤器可以过滤掉不满足脚本触发的数据，以减少进入后续流程的对账任务，从而减少后续延迟队列和执行脚本的次数，提高系统的整体性能；

5.任务构造器检查任务redis中缓存的任务构造器版本号，如果缓存中的任务构造器版本号与系统中的任务构造器的版本号不一致，则转步骤6；若二者一致，则转步骤7；

6.对账系统读取该对账系统的数据库，更新对账任务为最新版本，并将更新的对账任务版本号同步至redis中；

7.判断是否存在任务缓存，如果不存在，转步骤8；如果存在，转步骤9；

8.对账系统解析对账任务中的对账脚本，创建对账任务缓存；

9.获取触发数据可以执行的脚本；

12.核心执行器检查redis缓存中的对账脚本版本号，如果对账系统中的对账脚本版本号与缓存中的账脚本版本号不一致，转步骤13；若二者一致，转步骤14；

13.对账系统读取该对账系统的数据库中的对账脚本，更新对账脚本为最新版本，并将更新的对账脚本版本号同步至redis中；

14.执行对账脚本，将需要对账的数据于第二数据系统(库存系统)做比对，获得并输出对账结果。

通过该实施例可以实现高并发、近实时的分布式系统之间的对账；同时，使用上述流程的整体对账逻辑，与订单系统和库存系统的业务逻辑并不相关，实现对账系统与业务系统的解耦合，使得本发明的方案更加通用。对于不同的业务，对账逻辑被封装到对账脚本中，不需要依赖具体的业务是如何实现的，不同的业务仅需编写不同的脚本，而无需改变整体的对账流程。

实施例2

与实施例1的区别在于，步骤9与步骤12之间还包括以下内容：

9.获取触发数据可以执行的脚本，并读取延迟时间，如果延迟时间大于零，转步骤10；否则，转步骤12；

10.将对账任务放入rabbit mq的延迟队列中；

11.经过延迟时间之后，对账系统从rabbit mq延迟队列中获取延迟之后的对账任务。

利用该实施例实现对账延时的可配置。

实施例3

与实施例1和2的区别在于，步骤14之后还可以包括以下内容：

14.执行对账脚本，输出对账结果，如果对账结果需要处理，转步骤15；否则，结束；

15.结果处理器处理对账结果，如果对账结果需要修复回调，转步骤16；若不需要，转步骤17；

16.读取对账任务中的任务配置，回调修复接口，记录回调的地址，请求和响应；

17.如果对账结果需要预警，转步骤18；否则，转步骤19；

18.读取任务配置，异步聚合推送邮件、微信通知；

19.将对账结果插入该对账系统的数据库；

20.结束对账任务，如果databus中存在未对账的触发数据，转步骤2；否则，转入步骤1。

该实施例实现了基于对账结果的预警通知与接口回调，自动修复数据不一致问题。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims

1.一种分布式环境下的通用数据对账方法，其特征在于，所述的分布式环境至少包括第一数据系统与第二数据系统，该通用数据对账方法包括：

根据所述的数据变更记录获取待对账数据；

2.根据权利要求1所述的分布式环境下的通用数据对账方法，其特征在于，所述的根据所述的数据变更记录获取待对账数据，具体为：

3.根据权利要求2所述的分布式环境下的通用数据对账方法，其特征在于，所述的根据所述待对账数据获取对账任务，具体包括：

根据所述待对账数据获取设定的对账任务；

获取该对账任务包括的对账脚本；

根据所述的对账脚本创建对账任务缓存。

4.根据权利要求3所述的分布式环境下的通用数据对账方法，其特征在于，在所述的根据所述的对账脚本创建对账任务缓存之后，还包括：

若不需要延时，则进入所述的执行所述的对账脚本的步骤；

5.根据权利要求4所述的分布式环境下的通用数据对账方法，其特征在于，所述的执行所述的对账脚本，将所述的待对账数据与所述的第二数据系统中对应的数据进行比对，产生对账结果，具体包括：

6.根据权利要求1所述的分布式环境下的通用数据对账方法，其特征在于，该方法在所述的执行所述的对账脚本，将所述的待对账数据与所述的第二数据系统中对应的数据进行比对，产生对账结果之后，还包括以下步骤：

根据所述的对账结果和所述的任务配置进行修复回调。

7.根据权利要求1所述的分布式环境下的通用数据对账方法，其特征在于，该方法在所述的执行所述的对账脚本，将所述的待对账数据与所述的第二数据系统中对应的数据进行比对，产生对账结果之后，还包括以下步骤：

将所述的对账结果根据所述的任务配置进行通知。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1至8中任一项所述的分布式环境下的通用数据对账方法。

9.一种分布式环境下的通用数据对账服务器，其特征在于，该通用数据对账服务器通过数据总线连接第一数据系统与第二数据系统，该通用数据对账服务器包括处理器和存储器，所述的存储器存储有计算机程序，所述的计算机程序被所述的处理器执行时，该通用数据对账服务器通过与所述的第一数据系统及所述的第二数据系统进行数据交互实现权利要求1至8中任一项所述的分布式环境下的通用数据对账方法。