CN113269554A - 数据对比方法、系统以及存储介质 - Google Patents

Abstract

本发明涉及计算机执行的数据对比技术，其提供了一种数据对比方法、系统以及存储介质，可用于对交易数据的一致性进行对比。在本发明的实施方式中，数据对比方法包括：将来自各个渠道的客户端的实时数据记录至第一数据库中；触发各个渠道的用于进行数据对比的对比任务；根据渠道编号、资源数量向资源控制器申请资源；根据申请得到的资源，执行各个渠道的对比任务。

Description

数据对比方法、系统以及存储介质

技术领域

本发明涉及计算机执行的数据对比技术，更为具体而言，涉及数据对比方法、系统以及存储介质。

背景技术

在消费金融的业务中，包含大量的资金往来，为保障资金往来的安全、合法、一致，经常需要对每一笔交易进行检查。

在建设成消费金融信息化系统后，虽然每一笔交易都有记录，但是在基于分布式的系统架构中，无法保证事务的强一致性，同时由于对接了多个第三方公司，交易结果非常可能因为第三方公司的原因发生变更。因此，需要对每天的交易数据，做一个全局的一致性对比校验，输出结果供业务使用。

发明内容

本发明提供了一种数据对比方法、系统以及存储介质，可用于对交易数据的一致性进行对比。

一方面，本发明实施方式的数据对比方法包括：将来自各个渠道的客户端的实时数据记录至第一数据库中；触发各个渠道的用于进行数据对比的对比任务；根据渠道编号、资源数量向资源控制器申请资源；根据申请得到的资源，执行各个渠道的对比任务。

在本发明的一些实施方式中，对于所述对比任务，维护有包含以下信息的记录：渠道编号、执行日期、执行状态、数据条数、创建时间、更新时间；对于各个渠道，维护有渠道配置信息，所述渠道配置信息包括渠道编号、处理完成时间、对比维度。

在本发明的一些实施方式中，所述数据对比方法还包括：根据各渠道的处理完成时间解析出完成所需时间，通过完成所需时间减去当前时间得到剩余时间；根据各渠道的剩余时间，按照升序，对于每个渠道执行以下步骤：

记录对比任务的执行状态和交易数；获取历史单日最大交易数，通过该历史单日最大交易数减去记录的交易数得到申请资源数，然后执行所述根据渠道编号、资源数量向资源控制器申请资源的处理；相对于其他渠道的对比任务，异步执行本渠道的对比任务。

在本发明的一些实施方式中，计算到剩余时间不足以完成下一渠道的对比任务时，进行告警处理，并将剩余的资源全部分配给该对比任务，直至分配的资源满足所述资源数量时启动该对比任务。

在本发明的一些实施方式中，申请资源时，所述资源控制器根据渠道编号、对比维度从第一数据库获取数据；通过获取的数据的字节大小乘以申请的资源数量来估算数据块大小；根据估算的数据块大小从资源列表中扣减资源并锁住整个资源列表，并返回可用资源的ID，解锁该资源列表；其中，所述资源列表包含可用资源的ID和资源大小。

在本发明的一些实施方式中，根据申请得到的资源，执行各个渠道的对比任务，包括：通过数据收集器根据可用资源的ID从所述第一数据库抽取数据到该ID对应的存储资源，并解析出相应渠道的对比规则，输出Key(键)、Value(值)；通过数据对比器对相同Key的Value进行比较，生成比较结果，并记录到第二数据库中。

在本发明的一些实施方式中，根据申请得到的资源，执行各个渠道的对比任务，包括：数据收集器根据对比维度输出Key(键)、Value(值)；数据对比器根据Key对比Value，输出差异。

另一方面，本发明实施方式提供了一种数据对比系统，其包括：实时数据收集器，其将来自各个渠道的客户端的实时数据记录至第一数据库中；任务触发器，其触发各个渠道的用于进行数据对比的对比任务；任务协调器，其根据渠道编号、资源数量向资源控制器申请资源，并根据申请得到的资源，协调各个渠道的对比任务的执行。

在本发明的一些实施方式中，对于所述对比任务，维护有包含以下信息的记录：渠道编号、执行日期、执行状态、数据条数、创建时间、更新时间；对于各个渠道，维护有渠道配置信息，所述渠道配置信息包括渠道编号、处理完成时间、对比维度。

在本发明的一些实施方式中，所述任务协调器执行的处理还包括：根据各渠道的处理完成时间解析出完成所需时间，通过完成所需时间减去当前时间得到剩余时间；根据各渠道的剩余时间，按照升序，对于每个渠道执行以下步骤：

记录对比任务的执行状态和交易数；

获取历史单日最大交易数，通过该历史单日最大交易数减去记录的交易数得到申请资源数，然后执行所述根据渠道编号、资源数量向资源控制器申请资源的处理；

相对于其他渠道的对比任务，异步执行本渠道的对比任务。

在本发明的一些实施方式中，计算到剩余时间不足以完成下一渠道的对比任务时，进行告警处理，并将剩余的资源全部分配给该对比任务，直至分配的资源满足所述资源数量时启动该对比任务。

在本发明的一些实施方式中，所述数据对比系统还包括所述资源控制器，所述资源控制器执行的处理包括：根据渠道编号、对比维度从第一数据库获取数据；通过获取的数据的字节大小乘以申请的资源数量来估算数据块大小；根据估算的数据块大小从资源列表中扣减资源并锁住整个资源列表，并返回可用资源的ID，解锁该资源列表；其中，所述资源列表包含可用资源的ID和资源大小。

在本发明的一些实施方式中，各个渠道的对比任务的执行包括：通过数据收集器根据可用资源的ID从所述第一数据库抽取数据到该ID对应的存储资源，并解析出相应渠道的对比规则，输出Key、Value；通过数据对比器对相同Key的Value进行比较，生成比较结果，并记录到第二数据库中。

在本发明的一些实施方式中，各个渠道的对比任务的执行包括：数据收集器根据对比维度输出Key、Value；数据对比器根据Key对比Value，输出差异。

再一方面，本发明实施方式提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以执行本发明任意一个实施方式所述的方法。

实施本发明具有以下优点：

本发明实施方式对应各个交易渠道设置相应的对比任务来执行交易数据的对比，并且，根据渠道编号、资源数量向资源控制器申请资源，根据申请得到的资源，执行各个渠道的对比任务，由此可以根据资源弹性伸缩，提高系统可靠性。

此外，通过实时数据收集器直接保存实时数据，后续由资源触发器调度触发，解决外部原因导致的交易结果变更问题，解决无界数据的处理。通过任务协调器记录任务执行状态、交易数，以便通过历史数据进行分析、预估申请资源，同时避免任务重复执行。通过资源控制器提高系统可靠性。渠道配置信息增加了“对比维度”，数据收集器根据“对比维度”输出键Key、Value，数据对比器根据Key对比Value，输出差异，实现各个渠道定制化对比规则。

本发明实施方式的各个方面、特征、优点等将在下文结合附图进行具体描述。根据以下结合附图的具体描述，本发明的上述方面、特征、优点等将会变得更加清楚。

附图说明

图1是根据本发明实施方式的数据对比方法的流程示意图；

图2是根据本发明实施方式的数据对比系统的架构示意图；

图3示出了本发明实施方式的任务协调器的处理过程的示例；

图4示出了本发明实施方式的资源控制器的处理过程的示例。

具体实施方式

为了便于理解本发明技术方案的各个方面、特征以及优点，下面结合附图对本发明进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。

图1示出了根据本发明实施方式的数据对比方法的示例。本发明实施方式的数据对比方法包括：

S101，将来自各个渠道的客户端的实时数据记录至第一数据库中，其中，所述实时数据可以包括交易数据，所述交易数据可以包括交易金额、交易时间、交易账户等；S102，触发各个渠道的用于进行数据对比的对比任务；S103，根据渠道编号、资源数量向资源控制器申请资源；S104，根据申请得到的资源，执行各个渠道的对比任务，以校验交易数据的一致性。

在本发明的一些实施方式中，对于所述对比任务，维护有包含以下信息的记录：渠道编号、执行日期、执行状态、数据条数、创建时间、更新时间；对于各个渠道，维护有渠道配置信息，所述渠道配置信息包括渠道编号、处理完成时间、对比维度。

在本发明的一些实施方式中，所述数据对比方法还包括以下处理：

根据各渠道的处理完成时间解析出完成所需时间，通过完成所需时间减去当前时间得到剩余时间；

根据各渠道的剩余时间，按照升序，对于每个渠道执行以下步骤：记录对比任务的执行状态和交易数；获取历史单日最大交易数，通过该历史单日最大交易数减去记录的交易数得到申请资源数，然后执行S103所述的根据渠道编号、资源数量向资源控制器申请资源的处理；相对于其他渠道的对比任务，异步执行本渠道的对比任务。

在本发明的可选实施方式中，计算到剩余时间不足以完成下一渠道的对比任务时，进行告警处理，并将剩余的资源全部分配给该对比任务，直至分配的资源满足所述资源数量时启动该对比任务。例如，计算到剩余时间不足以完成剩余任务，则紧急邮件(或短信或微信或语音等)告警，同时开启强占模式，即：该任务强制占用资源，有多少占用多少，直到满足申请资源数，启动对比任务。

在本发明的一些实施方式中，申请资源时，所述资源控制器根据渠道编号、对比维度从第一数据库获取数据；通过获取的数据的字节大小乘以申请的资源数量来估算数据块大小；根据估算的数据块大小从资源列表中扣减资源并锁住整个资源列表，并返回可用资源的ID，解锁该资源列表；其中，所述资源列表包含可用资源的ID和资源大小。例如，所述资源控制器监控服务器内存、Redis(Remote Dictionary Server，远程字典服务)、数据库等，并维护资源列表(其包括内存及其大小、Redis及其大小、数据库及其大小)，按照存储介质处理速度的降序分配服务器资源，尽可能提高对比效率，避免由于服务器内存的原因导致的对比任务执行失败。

在本发明的一些实施方式中，在S104中，根据申请得到的资源，执行各个渠道的对比任务，包括：通过数据收集器根据可用资源的ID从所述第一数据库抽取数据到该ID对应的存储资源，并解析出相应渠道的对比规则，输出Key、Value；通过数据对比器对相同的Key的Value进行比较，生成比较结果，并记录到第二数据库中。例如，在不同的存储资源中数据对比器使用不同的命令(如：在内存中使用java命令对比，在Redis使用redis命令对比，在MySql数据库使用sql命令进行对比等)对相同Key的Value进行比较，并记录到第二数据库。

在本发明一种实施方式中，所述第二数据库与所述第一数据库不同。在本发明的可选实施方式中，所述第二数据库与所述第一数据库可以相同。

在本发明的一些实施方式中，在S104中，根据申请得到的资源，执行各个渠道的对比任务，包括：数据收集器根据对比维度输出键Key、值Value；数据对比器根据Key对比Value，输出差异，实现各个渠道定制化对比规则。

图2示出了本发明实施方式提供的一种数据对比系统的示例。所述数据对比系统包括：实时数据收集器201，其将来自各个渠道的客户端的实时数据记录至第一数据库中；任务触发器202，其触发各个渠道的用于进行数据对比的对比任务；任务协调器203，其根据渠道编号、资源数量向资源控制器204申请资源，并根据申请得到的资源，协调各个渠道的对比任务的执行。在本发明的实施方式中，对应于各个渠道，通过数据收集器205和数据对比器206来执行对比任务。

在本发明的一些实施方式中，实时数据收集器201将客户端实时请求数据直接记录到数据库(第一数据库)中。任务触发器202，例如XXL-JOB(一种分布式任务调度平台)调度触发对比任务，任务协调器203判断各个渠道对比任务执行状态，避免重复执行。任务协调器203根据渠道编号、资源数量向资源控制器204申请硬件资源，资源控制器204根据当前硬件信息(内存、Redis、数据库(第三数据库))返回可用的资源ID。资源申请成功，数据收集器205根据资源ID抽取数据到对应的存储介质，并解析出相应渠道的对比规则，输出Key、Value，由数据对比器206对相同Key的Value进行比较，生成对比结果记录到数据库(第二数据库)。资源申请失败，则对比任务进入等待队列，等待重新进入任务协调器203。

在本发明实施方式中，为了简要，图2中采用一个框示出了数据库，实际上，上述第一数据库、第二数据库和第三数据库可以不是同一个数据库。

在本发明的一些实施方式中，对于所述对比任务，维护有包含以下信息的记录：渠道编号、执行日期、执行状态、数据条数、创建时间、更新时间；对于各个渠道，维护有渠道配置信息，所述渠道配置信息包括渠道编号、处理完成时间、对比维度。如图3所示，所述任务协调器203执行的处理可以包括：根据各渠道的“处理完成时间”(cron表达式)解析出完成所需时间(TW)，获取剩余时间(TS)，其中，TS＝TW-当前时间(单位：秒)，例如，渠道A的TS为7200秒，渠道B的TS为2400秒，渠道C的TS为3600秒；按照TS升序(例如，渠道B、渠道C、渠道A)，对各个渠道串行循环执行以下步骤，例如，先对渠道B执行以下步骤，然后对渠道C执行以下步骤，再对渠道A执行以下步骤，并照此循环。所述步骤包括：

1.记录对比任务的执行状态和交易数。具体而言，如果任务已存在，执行状态为处理中，则跳过处理下一个渠道；执行状态为失败，则使用乐观锁更新状态为处理中，获取交易数(CJY)，执行下一步。

2.获取历史单日最大交易数(CZD)，计算申请资源数(CZY)，其中CZY＝CZD-CJY，向资源控制器204申请资源，即执行所述根据渠道编号、资源数量向资源控制器申请资源的处理。申请失败则该对比任务进入等待队列(根据TS排序，TS越靠前)，申请成功则执行下一步。

3.相对于其他渠道的对比任务，异步执行本渠道的对比任务。具体而言，各个渠道的数据收集器205异步执行数据收集，收集的数据交由数据对比器206进行处理。

在本发明的一些实施方式中，计算到TS不足以完成剩余任务，则紧急邮件告警，同时开启强占模式，即：该任务强制占用资源，有多少占用多少，直到满足CZY，启动对比任务。

在本发明的一些实施方式中，所述数据对比系统还包括所述资源控制器204，如图4所示，资源控制器维护着一个资源列表，申请资源时，根据“渠道编号”、“对比维度”去数据库获取一条数据，估算数据块大小(S)，S＝单条数据字节大小*申请资源数(或历史单日交易最大数)，单位：字节，根据S执行扣减操作。例如，在图4中，从左到右寻找S≤Value的Key，扣减Value，返回扣减成功的Key。每次一笔资源申请都会锁住(Lock)整个资源列表，直到返回申请结果，以避免多线程下超额申请，导致内存溢出。在本发明的一些实施方式中，所述资源控制器204执行的处理包括：根据渠道编号、对比维度从第一数据库获取数据；通过获取的数据的字节大小乘以申请的资源数量来估算数据块大小；根据估算的数据块大小从资源列表中扣减资源并锁住整个资源列表，并返回可用资源的ID，解锁该资源列表；其中，所述资源列表包含可用资源的ID和资源大小。

在本发明的一些实施方式中，各个渠道的对比任务的执行包括：通过数据收集器根据可用资源的ID从所述第一数据库抽取数据到该ID对应的存储资源，并解析出相应渠道的对比规则，输出Key、Value；通过数据对比器对相同Key的Value进行比较，生成比较结果，并记录到第二数据库中。在本发明的一些实施方式中，各个渠道的对比任务的执行包括：数据收集器根据对比维度输出键Key、值Value；数据对比器根据Key对比Value，输出差异。

在一种实施方式中，渠道A对比规则：银行、账务的交易金额一致；渠道B对比规则：平台、银行、账务的交易金额、交易时间一致。

假设渠道A和渠道B存在以下3条交易数据：

1、平台系统(PT)，交易编号JY001，金额100元，交易时间20210427

2、银行流水(YH)，交易编号JY001，金额100元，交易时间20210428

3、核心账务(ZW)，交易编号JY001，金额90元，交易时间20210428

数据收集器解析渠道A对比规则输出2条数据：

1、Key：YH_ZW_JY001，Value：100.00

2、Key：YH_ZW_JY001，Value：90.00

数据收集器解析渠道B对比规则输出4条数据：

1、Key：PT_YH_JY001，Value：100.00_20210427

2、Key：PT_YH_JY001，Value：100.00_20210428

3、Key：YH_ZW_JY001，Value：100.00_20210428

4、Key：YH_ZW_JY001，Value：90.00_20210428

对于以上数据，数据对比器按照相同的Key对比Value来进行数据对比。

以上对本发明实施方式的方法、系统进行了详细说明。应当指出的是，本文各个实施方式所述的方法、处理可以通过编程并存储在计算机可读存储介质上。因此，本发明实施方式还涉及一种计算机可读存储介质，其上存储有计算机可读指令或程序，所述计算机可读指令或程序由一个或多个处理器执行以进行上文任意一个实施方式或实施例所述的方法的处理、操作或步骤。由此可见，本发明实施方式所述的方法可以通过计算机设备实现，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可读指令或程序，所述计算机可读指令或程序由一个或多个所述处理器执行以进行上文任意一个实施方式或实施例所述的方法的处理、操作或步骤。

本领技术人员应当理解，以上所公开的仅为本发明的实施方式而已，当然不能以此来限定本发明之权利范围，依本发明实施方式所作的等同变化，仍属本发明权利要求所涵盖的范围。

Claims (15)

1.一种数据对比方法，其特征在于，包括：

将来自各个渠道的客户端的实时数据记录至第一数据库中；

触发各个渠道的用于进行数据对比的对比任务；

根据渠道编号、资源数量向资源控制器申请资源；

根据申请得到的资源，执行各个渠道的对比任务。

2.如权利要求1所述的数据对比方法，其特征在于，

对于所述对比任务，维护有包含以下信息的记录：渠道编号、执行日期、执行状态、数据条数、创建时间、更新时间；

对于各个渠道，维护有渠道配置信息，所述渠道配置信息包括渠道编号、处理完成时间、对比维度。

3.如权利要求2所述的数据对比方法，其特征在于，还包括：

根据各渠道的处理完成时间解析出完成所需时间，通过完成所需时间减去当前时间得到剩余时间；

根据各渠道的剩余时间，按照升序，对于每个渠道执行以下步骤：

记录对比任务的执行状态和交易数；

获取历史单日最大交易数，通过该历史单日最大交易数减去记录的交易数得到申请资源数，然后执行所述根据渠道编号、资源数量向资源控制器申请资源的处理；

相对于其他渠道的对比任务，异步执行本渠道的对比任务。

4.如权利要求3所述的数据对比方法，其特征在于，计算到剩余时间不足以完成下一渠道的对比任务时，进行告警处理，并将剩余的资源全部分配给该对比任务，直至分配的资源满足所述资源数量时启动该对比任务。

5.如权利要求2所述的数据对比方法，其特征在于，申请资源时，所述资源控制器根据渠道编号、对比维度从第一数据库获取数据；

通过获取的数据的字节大小乘以申请的资源数量来估算数据块大小；

根据估算的数据块大小从资源列表中扣减资源并锁住整个资源列表，并返回可用资源的ID，解锁该资源列表；其中，所述资源列表包含可用资源的ID和资源大小。

6.如权利要求5所述的数据对比方法，其特征在于，根据申请得到的资源，执行各个渠道的对比任务，包括：

通过数据收集器根据可用资源的ID从所述第一数据库抽取数据到该ID对应的存储资源，并解析出相应渠道的对比规则，输出键Key、值Value；

通过数据对比器对相同Key的Value进行比较，生成比较结果，并记录到第二数据库中。

7.如权利要求2所述的数据对比方法，其特征在于，根据申请得到的资源，执行各个渠道的对比任务，包括：

数据收集器根据对比维度输出键Key、值Value，

数据对比器根据Key对比Value，输出差异。

8.一种数据对比系统，其特征在于，包括：

实时数据收集器，其将来自各个渠道的客户端的实时数据记录至第一数据库中；

任务触发器，其触发各个渠道的用于进行数据对比的对比任务；

任务协调器，其根据渠道编号、资源数量向资源控制器申请资源，并根据申请得到的资源，协调各个渠道的对比任务的执行。

9.如权利要求8所述的数据对比系统，其特征在于，

对于所述对比任务，维护有包含以下信息的记录：渠道编号、执行日期、执行状态、数据条数、创建时间、更新时间；

对于各个渠道，维护有渠道配置信息，所述渠道配置信息包括渠道编号、处理完成时间、对比维度。

10.如权利要求9所述的数据对比系统，其特征在于，所述任务协调器执行的处理还包括：

根据各渠道的处理完成时间解析出完成所需时间，通过完成所需时间减去当前时间得到剩余时间；

根据各渠道的剩余时间，按照升序，对于每个渠道执行以下步骤：

记录对比任务的执行状态和交易数；

获取历史单日最大交易数，通过该历史单日最大交易数减去记录的交易数得到申请资源数，然后执行所述根据渠道编号、资源数量向资源控制器申请资源的处理；

相对于其他渠道的对比任务，异步执行本渠道的对比任务。

11.如权利要求10所述的数据对比系统，其特征在于，计算到剩余时间不足以完成下一渠道的对比任务时，进行告警处理，并将剩余的资源全部分配给该对比任务，直至分配的资源满足所述资源数量时启动该对比任务。

12.如权利要求9所述的数据对比系统，其特征在于，还包括所述资源控制器，所述资源控制器执行的处理包括：

根据渠道编号、对比维度从第一数据库获取数据；

通过获取的数据的字节大小乘以申请的资源数量来估算数据块大小；

根据估算的数据块大小从资源列表中扣减资源并锁住整个资源列表，并返回可用资源的ID，解锁该资源列表；其中，所述资源列表包含可用资源的ID和资源大小。

13.如权利要求12所述的数据对比系统，其特征在于，各个渠道的对比任务的执行包括：

通过数据收集器根据可用资源的ID从所述第一数据库抽取数据到该ID对应的存储资源，并解析出相应渠道的对比规则，输出键Key、值Value；通过数据对比器对相同Key的Value进行比较，生成比较结果，并记录到第二数据库中。

14.如权利要求9所述的数据对比系统，其特征在于，各个渠道的对比任务的执行包括：

数据收集器根据对比维度输出键Key、值Value，

数据对比器根据Key对比Value，输出差异。

15.一种计算机可读存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令可被处理器执行以执行权利要求1至7中任意一项所述的方法。

Images