CN113254357A

CN113254357A - 一种数据处理方法、装置、电子设备及存储介质

Info

Publication number: CN113254357A
Application number: CN202110811409.1A
Authority: CN
Inventors: 朱辉
Original assignee: Guowang Xiongan Finance Technology Group Co ltd; State Grid Huitong Jincai Beijing Information Technology Co ltd; State Grid Corp of China SGCC; State Grid E Commerce Co Ltd
Current assignee: Guowang Xiongan Finance Technology Group Co ltd; State Grid Huitong Jincai Beijing Information Technology Co ltd; State Grid Corp of China SGCC; State Grid E Commerce Co Ltd
Priority date: 2021-07-19
Filing date: 2021-07-19
Publication date: 2021-08-13

Abstract

本发明提供一种数据处理方法、装置、电子设备及存储介质，获取目标数据生成任务对应的目标数据变动信息，其中，目标数据变动信息是基于变更数据获取工具CDC从测试数据库中获取的发生数据变化的日志信息生成的；基于目标聚合分析配置规则，对目标数据变动信息进行聚合分析，得到并展示汇总信息；若接收到数据恢复指令，响应数据恢复指令，确定与目标数据变动信息存在数据流转关系的至少一个数据表，分别利用每个数据表的备用表对数据表进行数据恢复。本发明可以解决现有技术通过测试人员手动对测试数据进行一一校验以及手动将测试数据重置为初始状态的方式，不仅需要花费测试人员大量的工作时间，并且容易出现测试数据校验不准确的问题。

Description

一种数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

在测试过程中，第一步通常是创建测试数据，可以生成单条测试数据或者生成批量测试数据，现今主要通过数据工厂来生成测试数据。

由于在现有技术中数据工厂只负责测试数据的生成，所以在通过数据工厂获取到测试数据后，在测试过程中需要通过测试人员手动对测试数据进行一一校验来判断测试数据是否发生变化，若测试数据发生变化，进一步判断测试数据是否符合预期，在不符合预期的情况下，将测试数据重置为初始状态。

但是，现有这种通过测试人员手动对测试数据进行一一校验以及手动将测试数据重置为初始状态的方式，不仅需要花费测试人员大量的工作时间，并且容易出现测试数据校验不准确。

发明内容

有鉴于此，本发明提供一种数据处理方法、装置、电子设备及存储介质，以解决现有技术通过测试人员手动对测试数据进行一一校验以及手动将测试数据重置为初始状态的方式，不仅需要花费测试人员大量的工作时间，并且容易出现测试数据校验不准确的问题。

本发明第一方面公开一种数据处理方法，应用于测试平台，所述方法包括：

获取目标数据生成任务对应的目标数据变动信息，其中，所述目标数据变动信息是基于变更数据获取工具CDC从测试数据库中获取的发生数据变化的日志信息生成的，所述发生数据变化的日志信息是基于目标数据生成任务生成的；

基于目标聚合分析配置规则，对所述目标数据变动信息进行聚合分析，得到并展示汇总信息，其中，所述目标聚合分析配置规则是与所述目标数据生成任务匹配的聚合分析配置规则；

若接收到数据恢复指令，响应所述数据恢复指令，确定与所述目标数据变动信息存在数据流转关系的至少一个数据表，分别利用每个所述数据表的备用表对所述数据表进行数据恢复；其中，所述数据表的备用表是在所述数据生成任务中添加所述数据表时备份得到，其中，所述数据恢复指令是测试人员在确定展示的所述汇总信息不符合预期的情况下发送的。

可选的，所述获取目标数据生成任务对应的目标数据变动信息之前，所述方法还包括：

利用所述变更数据获取工具CDC从测试数据库中获取发生数据变化的日志信息，并将基于所述发生数据变化的日志信息生成的数据变动信息传输至消息队列中间件。

可选的，所述获取目标数据生成任务对应的目标数据变动信息，包括：

响应监控开始指令，从所述消息队列中间件中，获取与所述监控开始指令指示所述目标数据生成任务对应的目标数据变动信息，直至接收到监控停止指令为止。

可选的，所述基于目标聚合分析配置规则，对所述目标数据变动信息进行聚合分析，得到并展示汇总信息，包括：

确定与所述目标数据生成任务匹配的目标聚合分析配置规则，所述目标聚合分析配置规则至少包括目标数据表、目标字段，以及目标操作类型；

从所述目标数据变动信息中，获取与所述目标数据表、目标字段，以及所述目标操作类型对应的变动信息；

对与所述目标数据表、目标字段，以及所述目标操作类型对应的变动信息，进行数据归类汇总，得到汇总信息，并将所述汇总信息进行展示。

本发明第二方面公开一种数据处理装置，应用于测试平台，所述装置包括：

第一获取单元，用于获取目标数据生成任务对应的目标数据变动信息，其中，所述目标数据变动信息是基于变更数据获取工具CDC从测试数据库中获取的发生数据变化的日志信息生成的，所述发生数据变化的日志信息是基于目标数据生成任务生成的；

聚合分析单元，用于基于目标聚合分析配置规则，对所述目标数据变动信息进行聚合分析，得到并展示汇总信息，其中，所述目标聚合分析配置规则是与所述目标数据生成任务匹配的聚合分析配置规则；

数据恢复单元，用于若接收到数据恢复指令，响应所述数据恢复指令，确定与所述目标数据变动信息存在数据流转关系的至少一个数据表，分别利用每个所述数据表的备用表对所述数据表进行数据恢复；其中，所述数据表的备用表是在所述数据生成任务中添加所述数据表时备份得到，其中，所述数据恢复指令是测试人员在确定展示的所述汇总信息存在不符合预期的情况下发送的。

可选的，所述装置还包括：

第二获取单元，用于利用所述变更数据获取工具CDC从测试数据库中获取发生数据变化的日志信息，并将基于所述发生数据变化的日志信息生成的数据变动信息传输至消息队列中间件。

可选的，所述第一获取单元，包括：

第三获取单元，用于响应监控开始指令，从所述消息队列中间件中，获取与所述监控开始指令指示所述目标数据生成任务对应的目标数据变动信息，直至接收到监控停止指令为止。

可选的，所述聚合分析单元，包括：

确定单元，用于确定与所述目标数据生成任务匹配的目标聚合分析配置规则，所述目标聚合分析配置规则至少包括目标数据表、目标字段，以及目标操作类型；

第四获取单元，用于从所述目标数据变动信息中，获取与所述目标数据表、目标字段，以及所述目标操作类型对应的变动信息；

归类汇总单元，用于对与所述目标数据表、目标字段，以及所述目标操作类型对应的变动信息，进行数据归类汇总，得到汇总信息，并将所述汇总信息进行展示。

本发明第三方面公开一种电子设备，包括：处理器以及存储器，处理器以及存储器通过通信总线相连；其中，处理器，用于调用并执行存储器中存储的程序；存储器，用于存储程序，程序用于实现如上述本发明第一方面公开的数据处理方法。

本发明第四方面公开一种计算机可读存储介质，计算机可读存储介质中存储有计算机可执行指令，计算机可执行指令用于执行如上述本发明第一方面公开的数据处理方法。

本发明提供一种数据处理方法、装置、电子设备及存储介质，通过变更数据获取工具CDC可以直接从测试数据库中获取发生数据变化的日志信息，并根据获取的发生数据变化的日志信息生成数据变动信息，其中，发生数据变化的日志信息是基于预先设置的数据生成任务生成的，以便在进行数据聚合分析时，可以直接获取目标数据生成任务对应的目标数据变动信息，无需测试人员手动对测试数据进行一一校验，来获取发生数据变化的日志信息，不仅可以避免出现校验不准的情况，还可以减少测试人员的工作时间；在获取到目标数据变动信息后，可以基于预先设置的与目标数据生成任务对应的目标聚合分析配置规则，对目标数据变动信息进行聚合分析，得到汇总信息，并将得到的汇总信息进行展示，以便测试人员在确定展示的所述汇总信息存不符合预期的情况发送数据恢复指令，响应数据恢复指令，确定与数据变动信息存在数据流转关系的至少一个数据表，分别利用每个所述数据表的备用表对所述数据表进行数据恢复，无需测试人员手动将测试数据重置为初始状态，即对测试数据进行数据恢复，进而减少测试人员的工作时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种测试平台的结构示意图；

图2为本发明实施例提供的一种数据处理方法的流程示意图；

图3为本发明实施例提供的一种数据处理装置的结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本发明公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本发明公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

为了便于理解本发明的技术方案，下面对本发明中出现的技术术语进行说明：

CDC：变更数据获取工具（Change Data Capture，CDC），一类监测并捕获数据库的变动（包括数据或数据表的插入，更新，删除等），将这些变更按发生的顺序完整记录下来，写入到消息队列中间件中以供其他服务进行订阅及消费的工具。

消息队列中间件：一种系统内部通信的核心组件。

数据流转关系：一次业务请求引发的所有数据库表变化的有序串联集合。

参见图1，示出了本发明实施例提供的一种测试平台的结构示意图。该测试平台100包括数据工厂模块101、抽数提取模块102、监控配置模块103、聚合分析模块104、数据恢复模块105以及交互展示模块106。

参见图2，示出本发明实施例提供的一种数据处理方法的流程示意图，该数据处理方法应用于如图1所示的测试平台，该数据处理方法具体包括以下步骤：

S201：利用变更数据获取工具CDC从测试数据库中获取发生数据变化的日志信息，并将基于发生数据变化的日志信息生成的数据变动信息传输至消息队列中间件，其中，数据变化的日志信息是基于数据生成任务生成的。

在具体执行步骤S201的过程中，测试人员可以通过数据工厂模块中的数据工厂创建单条或者批量生成数据的数据生成任务，以及将数据生成任务与通过该数据生成任务生成的日志信息进行关联；在通过点击所创建的数据生成任务生成相应的日志信息后，可以将生成的日志信息存储测试数据库中。

利用抽数提取模块中的变更数据获取工具CDC，从测试数据库直接获取发生了数据变化的日志信息，依据获取到的发生数据变化的日志信息中数据变化明细生成数据变化信息。并将生成的数据变化信息存储消息队列中间件中。

需要说明的是，日志信息中包括数据表、操作类型和多个字段。其中，数据表可以为流水表、签约表等等；操作类型可以为更新、删除、修改、新增等等；字段可以支付状态字段、扣款状态等等。

进一步的，在本申请实施例中，在执行数据生成任务之前，还可以为数据生成任务中涉及的数据表，添加与该数据表存在数据流转关系的至少一个数据表和对应的备用表，以便在执行该数据生成任务生成相应的日志信息的同时，对该数据生成任务涉及的数据表进行备份。

例如，数据生成任务中涉及的表为流水表，则与流水表存在数据流转关系的表可以为签约表。

S202：从消息队列中间件中，获取目标数据生成任务对应的目标数据变动信息。

在步骤S202中，针对每个数据生成任务，测试人员可以通过监控配置模块设置与该数据生成任务对应的监控任务和相应的聚合分析配置规则。

需要说明的是，聚合分析配置规则包括目标数据表、目标字段，以及目标操作类型。

在具体执行步骤S202的过程中，聚合分析模块当接收到测试人员通过点击与目标数据生成任务相应的监控任务发送的监控开始指令时，响应接收到监控开始指令，从消息队列中间件中，获取与该监控开始指令指示的目标数据生成任务对应的目标数据变动信息，直至接收到测试人员通过点击监控结束按钮发送的监控结束指令为止。

需要说明的是，测试人员还可以通过触发器发动监控开始指令。

S203：基于目标聚合分析配置规则，对目标数据变动信息进行聚合分析，得到并展示汇总信息，其中，目标聚合分析配置规则是与目标数据生成任务匹配的聚合分析配置规则。

在具体执行步骤S203的过程中，聚合分析模块在获取到目标数据生成任务相应的数据变动信息后，获取与监控开始指令指示的目标数据生成任务对应的聚合分析配置规则（为了便于区分，将目标数据生成任务对应的聚合分析配置规则称为目标聚合分析配置规则）。

从目标数据变动信息中，获取与目标聚合分析配置规则中的目标数据表、目标字段，以及目标操作类型对应的变动信息，并对获取的与目标聚合分析配置规则中的目标数据表、目标字段，以及目标操作类型对应的变动信息进行数据归类汇总，得到汇总信息，并将得到的汇总信息进行展示，以便测试人员查看。

S204：若接收到数据恢复指令，响应数据恢复指令，确定与目标数据变动信息存在数据流转关系的至少一个数据表，分别利用每个数据表的备用表对数据表进行数据恢复；其中，数据表的备用表是在数据生成任务中添加数据表时备份得到，其中，数据恢复指令是测试人员在确定展示的汇总信息存在不符合预期的情况下发送的。

在具体执行步骤S204的过程中，基于目标聚合分析配置规则，对目标数据变动信息进行聚合分析，得到并展示汇总信息后，测试人员可以通过查看展示汇总信息，并将该汇总信息与数据生成任务对应的测试结果进行比对，若汇总信息与数据生成任务对应的测试结果偏差较大，可以确定得到的汇总信息不符合预期。

在确定得到的汇总信息不符合预期的情况下，测试人员可以通过点击数据恢复按钮来发送数据恢复指令，数据恢复模块在接收到数据恢复指令的情况下，确定与目标数据变动信息中涉及的数据表存在数据流转关系的至少一个数据表，并获取每个数据表对应的备份表，以便利用每个数据表对应的备份表对相应的数据表进行备份。

在本申请实施例中，若测试人员确定得到的汇总信息符合预期的情况下，则不发送数据恢复执行，数据恢复模块在预设时间内，若没有接收到数据恢复指令，则自动删除与目标数据变动信息存在数据流转关系的每个数据表对应的备份表。

本发明提供一种数据处理方法，通过变更数据获取工具CDC可以直接从测试数据库中获取发生数据变化的日志信息，并根据获取的发生数据变化的日志信息生成数据变动信息，其中，发生数据变化的日志信息是基于预先设置的数据生成任务生成的，以便在进行数据聚合分析时，可以直接获取目标数据生成任务对应的目标数据变动信息，无需测试人员手动对测试数据进行一一校验，来获取发生数据变化的日志信息，不仅可以避免出现校验不准的情况，还可以减少测试人员的工作时间；在获取到目标数据变动信息后，可以基于预先设置的与目标数据生成任务对应的目标聚合分析配置规则，对目标数据变动信息进行聚合分析，得到汇总信息，并将得到的汇总信息进行展示，以便测试人员在确定展示的汇总信息存不符合预期的情况发送数据恢复指令，响应数据恢复指令，确定与数据变动信息存在数据流转关系的至少一个数据表，分别利用每个数据表的备用表对数据表进行数据恢复，无需测试人员手动将测试数据重置为初始状态，即对测试数据进行数据恢复，进而减少测试人员的工作时间。

基于本申请实施例公开的数据处理方法，本申请实施例还对应公开了一种数据处理装置，如图3所示，该数据处理装置包括：

第一获取单元31，用于获取目标数据生成任务对应的目标数据变动信息，其中，目标数据变动信息是基于变更数据获取工具CDC从测试数据库中获取的发生数据变化的日志信息生成的，发生数据变化的日志信息是基于目标数据生成任务生成的；

聚合分析单元32，用于基于目标聚合分析配置规则，对目标数据变动信息进行聚合分析，得到并展示汇总信息，其中，目标聚合分析配置规则是与目标数据生成任务匹配的聚合分析配置规则；

数据恢复单元33，用于若接收到数据恢复指令，响应数据恢复指令，确定与目标数据变动信息存在数据流转关系的至少一个数据表，分别利用每个数据表的备用表对数据表进行数据恢复；其中，数据表的备用表是在所述数据生成任务中添加数据表时备份得到，其中，数据恢复指令是测试人员在确定展示的汇总信息存在不符合预期的情况下发送的。

上述本发明实施例公开的数据处理装置中各个单元具体的原理和执行过程，与上述本发明实施例公开的数据处理方法相同，可参见上述本发明实施例公开的数据处理方法中相应的部分，这里不再进行赘述。

本发明提供一种数据处理装置，通过变更数据获取工具CDC可以直接从测试数据库中获取发生数据变化的日志信息，并根据获取的发生数据变化的日志信息生成数据变动信息，其中，发生数据变化的日志信息是基于预先设置的数据生成任务生成的，以便在进行数据聚合分析时，可以直接获取目标数据生成任务对应的目标数据变动信息，无需测试人员手动对测试数据进行一一校验，来获取发生数据变化的日志信息，不仅可以避免出现校验不准的情况，还可以减少测试人员的工作时间；在获取到目标数据变动信息后，可以基于预先设置的与目标数据生成任务对应的目标聚合分析配置规则，对目标数据变动信息进行聚合分析，得到汇总信息，并将得到的汇总信息进行展示，以便测试人员在确定展示的汇总信息存不符合预期的情况发送数据恢复指令，响应数据恢复指令，确定与数据变动信息存在数据流转关系的至少一个数据表，分别利用每个数据表的备用表对数据表进行数据恢复，无需测试人员手动将测试数据重置为初始状态，即对测试数据进行数据恢复，进而减少测试人员的工作时间。

进一步的，本发明提供的数据处理装置，还包括：

第二获取单元，用于利用变更数据获取工具CDC从测试数据库中获取发生数据变化的日志信息，并将基于发生数据变化的日志信息生成的数据变动信息传输至消息队列中间件。

可选的，第一获取单元，包括：

第三获取单元，用于响应监控开始指令，从消息队列中间件中，获取与监控开始指令指示目标数据生成任务对应的目标数据变动信息，直至接收到监控停止指令为止。

可选的，聚合分析单元，包括：

确定单元，用于确定与目标数据生成任务匹配的目标聚合分析配置规则，目标聚合分析配置规则至少包括目标数据表、目标字段，以及目标操作类型；

第四获取单元，用于从目标数据变动信息中，获取与目标数据表、目标字段，以及目标操作类型对应的变动信息；

归类汇总单元，用于对与目标数据表、目标字段，以及目标操作类型对应的变动信息，进行数据归类汇总，得到汇总信息，并将汇总信息进行展示。

本申请实施例提供了一种电子设备，如图4所示，电子设备包括处理器401和存储器402，存储器402用于存储数据处理的程序代码和数据，处理器401用于调用存储器中的程序指令执行实现如上述实施例中数据处理方法所示的步骤。

本申请实施例提供了一种存储介质，存储介质包括存储程序，其中，在程序运行时控制存储介质所在设备执行上述实施例示出的数据处理方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种数据处理方法，其特征在于，应用于测试平台，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取目标数据生成任务对应的目标数据变动信息之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述获取目标数据生成任务对应的目标数据变动信息，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于目标聚合分析配置规则，对所述目标数据变动信息进行聚合分析，得到并展示汇总信息，包括：

5.一种数据处理装置，其特征在于，应用于测试平台，所述装置包括：

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

7.根据权利要求6所述的装置，其特征在于，所述第一获取单元，包括：

8.根据权利要求5所述的装置，其特征在于，所述聚合分析单元，包括：

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储数据处理的程序代码和数据，所述处理器用于调用所述存储器中的程序指令执行如权利要求1-4中任一所述的一种数据处理方法。

10.一种存储介质，其特征在于，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-4中任一所述的一种数据处理方法。