CN115827452A - 一种数据加工类型测试系统、方法、存储介质及设备 - Google Patents

Abstract

本申请涉及一种数据加工类型测试系统，所述系统包括：通过数据造数模块接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；建立批次运行模块与所述数据造数模块的连接，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；数据探查模块调用查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；数通过据核对模块将获取所述加工数据，并将所述加工数据与所述源数据进行比对。相比现有技术，本发明能够适用于大数据类非关系型数据库的数据分析，及海量型数据处理，有效地解决了大数据测试数据难的问题，满足了实际应用需求。

Description

一种数据加工类型测试系统、方法、存储介质及设备

技术领域

本申请涉及数据自动化测试技术领域，特别是涉及一种数据加工类型测试系统、方法、存储介质及终端设备。

背景技术

随着大数据技术蓬勃发展，企业通过数据分析获取有价值的信息的需求与日俱增，开发的数据分析程序多，涉分析数据库组件、源数据场景和类型杂，测试的工作量也是越来越大。现有的自动化测试工具是基于关系型数据库和明确的业务场景处理，而实现的自动化开发。因此，只支持固定数据输入、明确的结果数据输出检核的功能，无法满足非固定的数据输入、不确定的结果输出数据的核对。

发明内容

基于此，有必要针对上述技术问题，提供一种能够适用于大数据类非关系型数据库的数据分析，及海量型数据处理的数据加工类型测试系统、方法、存储介质及终端设备。

本发明实施例提供了一种数据加工类型测试系统，所述系统包括：

数据造数模块，用于接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；

批次运行模块，用于建立与所述数据造数模块的连接，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；

数据探查模块，用于通过查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；

数据核对模块，用于将获取所述加工数据，并将所述加工数据与所述源数据进行比对。

进一步地，所述造数数据包括表格造数数据、以及非表格造数数据；其中，所述表格造数数据包括Hive数据库、Kafka数据库、dat数据库、关系型数据库、以及非关系型数据库的造数数据，所述非表格造数数据包括Hbase数据库、ES数据库、以及Redis数据库的造数数据。

进一步地，数据造数模块，具体包括：

表格型造数单元，用于配置需要造数的表结构，建立表与表、表与加工批次之间的关联，同时生成符合hadoop集群租户权限的数据；

非表格型造数单元，用于配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系。

进一步地，建立表与表之间的关联，具体包括：

对每张表的字段规则进行配置；其中，进行配置的字段规则包括主键、唯一键、以及数据生成规则，所述数据生成规则包括生成NULL值、随机地址、随机金额、自增日期、自增小数、自增整数、借记卡或贷记卡号、常量、随机日期、随机邮箱、枚举值、随机身份证号、随机手机号、随机名字、随机小数、随机整数、随机字符串、以及复合规则；

维护表与表之间的关联，在表的字段规则配置页面，对需要与其他表进行关联的字段配置关联规则，从而建立两个表之间通过该字段的关联关系；所述关联关系包括表内关联、表间关联、以及多表间关联，且表间关联规则包括通过字段直接关联、枚举关联、字段截取关联、算术运算关联、以及日期关联；

维护造数要求，选择刚维护的需求，进入查看表中，录入造数模式、造数数量、存储位置、以及数据日期。

进一步地，配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系，具体包括：

维护样例报文，对所述维护样例报文进行解析，并将解析样例报文的格式作为模拟数据生成的结构，完成数据生成格式的配置；

根据造数类型配置主键或者字段的生成规则；

选择造数的目标存储组件，并根据所目标存储组件的要求配置相应的样例报文信息与造数规则的关系。

进一步地，所述Hive数据库所对应的表结构包括库表名、字段分区、租户名称、Hdfs路径和文件类型，所述表结构新增字段的字段信息包括字段名、字段类型、长度、序号、以及主键。

进一步地，所述批次运行信息包括批次执行顺序、执行日期、执行频率、以及执行信息；其中，所述执行信息包括执行序号、独立批次、执行环境、启动时间、批次日期、以及执行频率。

本发明的另一实施例提出一种数据加工类型测试方法，所述方法包括以下步骤：

接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；

建立与所述造数数据与批次运行信息的关联关系，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；

通过查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；

将获取所述加工数据，并将所述加工数据与所述源数据进行比对。

本发明的另一个实施例还提出一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上所述的数据加工类型测试方法。

本发明的另一个实施例还提出一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的数据加工类型测试方法。

上述数据加工类型测试系统，通过数据造数模块接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；建立批次运行模块与所述数据造数模块的连接，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；数据探查模块调用查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；数通过据核对模块将获取所述加工数据，并将所述加工数据与所述源数据进行比对。相比现有技术，本发明能够适用于大数据类非关系型数据库的数据分析，及海量型数据处理，有效地解决了大数据测试数据难的问题，满足了实际应用需求。

附图说明

图1为本发明实施例提供的数据加工类型测试系统的结构框图；

图2为图1中数据造数模块的结构框图；

图3为本发明实施例提供的数据加工类型测试方法的一种流程示意图；

图4为本发明实施例提供的终端设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在此需要说明的是，针对现有应用于数据测试的自动化测试工具均是基于关系型数据库和明确的业务场景处理，而实现的自动化开发，并不适用于大数据类非关系型数据库的数据分析，及海量型数据处理。本发明通过建立数据加工类型测试系统与关联平台的连接，获取数据表结构、字段码值等信息生成标准的测试数据，实现在测试环境模拟贴合生产的客户信息、交易明细等；通过安全协议远程登录的方式对接hadoop集群，根据hadoop提供的配置连接常用数据存储组件，将生成的标准的测试数据写入到目标存储组件，实现各类组件造数功能；造数方式和数据文件生成方式多样性，支持手工导入数据和系统自动匹配规则生成数据，支持数据存放位置根据测试需求调整；贯穿测试数据模拟、程序运行、模拟数据和加工结果数据对比，数据对比不仅支持精准校验，也支持多组规则同时验证。

如图1所示，本发明实施例提供的数据加工类型测试系统，所述系统包括数据造数模块、批次运行模块、数据探查模块、以及数据核对模块。

其中，可通过http协议建立所述数据加工类型测试系统与关联平台的关联关系，且所述关联平台包括跑批平台、元数据信息平台、大数据平台、抽数平台、关系型数据库及非关系型数据库。具体的，所述数据造数模块的输入端与所述元数据信息平台的输出端连接(如接口连接)，所述数据造数模块的输出端与所述关系型数据库和非关系型数据库的输入端连接(如Jdbc连接、通过协议远程登录)，所述批次运行模块的输入端与大数据平台的输入端连接(如远程连接)，所述批次运行模块的输出端与跑批平台的输入端连接(如接口调用)，所述数据探查模块的输出端与所述关系型数据库和非关系型数据库的输入端连接(如Jdbc连接、通过协议远程登录)。

数据造数模块21，用于接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据。

其中，本发明的数据造数模块(造数组件)，支持hadoop集群常用数据库组件的造数，dat文件、table格式、key_value格式、json格式的数据自动生成，符合hadoop集群表的租户权限隔离规范。所述造数数据包括表格造数数据、以及非表格造数数据。其中，所述表格造数数据包括Hive数据库、Kafka数据库、dat数据库、关系型数据库、以及非关系型数据库的造数数据，所述非表格造数数据包括Hbase数据库、ES数据库、以及Redis数据库的造数数据。

进一步地，如图2所示，数据造数模块21包括表格型造数单元211及非表格型造数单元212

所述表格型造数单元211，用于配置需要造数的表结构，建立表与表、表与加工批次之间的关联，同时生成符合hadoop集群租户权限的数据。

如上所述，所述表格型造数单元211通过表结构维护、需求表维护、案例集维护完成造数功能，支持表内关联造数、表间关联造数，同时系统生成的数据符合hadoop集群租户权限隔离的规范。

1)表结构维护：目的是配置需要造数的表结构。新增一张表，填写表名；如果是Hive表，填写库表名、字段分区、租户名称、Hdfs路径和文件类型；如果是其他类型表，只填写表名即可。在新增的表中，新增字段，并设置字段信息，包括字段名、字段类型、长度、序号、主键等；支持从存储元数据信息的系统(DAMA)自动拉取表结构和字段信息，减少手工操作。

2)需求表维护：目的是建立表与表之间的关联。新增一单需求，把相关的表引入到该需求中，从而建立这些表在这单需求中的关联关系(不同需求会用到同一张表，而且对该表的造数要求不一样，所以要先把相关的表引入到同一张需求中进行关联，就不会影响该表在其他需求中的造数要求)。这里的表，是从表结构维护中已维护表结构的表清单中引用过来的。

建立表与表之间的关联，具体包括：

首先，对每张表的字段规则进行配置；其中，进行配置的字段规则包括主键、唯一键、以及数据生成规则，所述数据生成规则包括生成NULL值、随机地址、随机金额、自增日期、自增小数、自增整数、借记卡或贷记卡号、常量、随机日期、随机邮箱、枚举值、随机身份证号、随机手机号、随机名字、随机小数、随机整数、随机字符串、以及复合规则(规则组合拼接)。

然后，维护表与表之间的关联，在表的字段规则配置页面，对需要与其他表进行关联的字段配置关联规则，从而建立两个表之间通过该字段的关联关系；所述关联关系包括表内关联、表间关联、以及多表间关联，且表间关联规则包括通过字段直接关联(默认)、枚举关联、字段截取关联、算术运算关联、以及日期关联；不配置时，默认表之间没有关联，数据按照各自字段规则生成；配置关联规则时，数据会按照关联关系生成。

最后，维护造数要求，选择刚维护的需求，进入查看表中，录入造数模式、造数数量、存储位置、以及数据日期。其中记录数量指造数条数；造数模式指生成的数据存储位置，支持生成data文件或table格式下载到本地、存储到ETL、导入Hive数据库；数据存储到ETL，需要输入ETL路径，同时支持生成结束文件；数据日期指生成数据的日期(涉及分区数据或文件时，需要配置跑批日期)。

3)案例集维护：目的是建立表与加工批次之间的关联关系。新增一个案例集，在案例集中“自动造数模块”引入需求表维护的需求和表，在“批次”模块引入加工批次的流程包\脚本名称，此时已建立表－流程包\脚本之间的关系，执行案例时，可以根据配置的规则自动造数和跑批。

4)租户权限规范：为了实现数据隔离和数据安全，Hadoop集群中的每张表都归属一个租户，该租户对这张表有查询、修改、删除权限，其他租户无任何权限，如果其他租户需要访问这张表，可申请相应权限。本发明在造数时，实现了用每张表所属的租户进行造数到数据库中，符合hadoop集群表租户权限隔离的规范。

非表格型造数单元212，用于配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系。

其中，非表格造数主要是Key_value类型数据或者json格式数据。简单三步实现数据模拟。

配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系，具体包括：

1)数据结构维护：目的是配置数据生成格式。首先维护样例报文，对所述维护样例报文进行解析，并将解析样例报文的格式作为模拟数据生成的结构，完成数据生成格式的配置。

2)规则配置维护：目的是配置字段数据生成规则。根据造数类型配置主键或者字段的生成规则。Key_value类型的存储组件需要维护主键字段规则和配置造数字段映射关系；json类型存储组件只需要配置造数字段的映射关系。

3)业务场景维护：目的是建立样例报文与造数规则的关系。首先选择造数的目标存储组件，然后根据所目标存储组件的要求配置相应的样例报文信息与造数规则的关系。可以理解的，通过选择造数的目标存储组件，根据组件要求配置相应的样例报文信息和规则信息，从而实现了业务场景维护。

批次运行模块22，用于建立与所述数据造数模块的连接，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据。

其中，所述批次运行信息包括批次执行顺序、执行日期、执行频率、以及执行信息；其中，所述执行信息包括执行序号、独立批次、执行环境、启动时间、批次日期、以及执行频率。

具体的，在数据造数模块中的“案例集维护”中已建立造数的表和加工批次之间的关联关系，这里需要维护批次执行顺序、执行日期和执行频率。

在案例集维护中的批次运行模块，配置批次执行信息，可配置信息：

执行序号，指批次执行顺序，用数字排序(0、1、2、3...)，0优先级最高；

独立批次，指该批次独立跑某一天的数据，自己配置批次日期，一般用于月批。

执行环境，指批次执行的环境，例如开发环境、测试环境。

启动时间，指批次开始执行的时间，可以马上开始执行，也可以设定时间执行。

批次日期，指批次执行日期，结合造数日期；可以比系统日期早，也可以比系统日期晚。

执行频率，指该案例中批次多久执行一次，可以每天执行(预设批次日期)，也可以按周、按月执行。

批次权限，Hadoop集群中运行的批次有对应租户，这里执行批次时，会使用每个批次所属租户来执行，符合hadoop集群批次租户权限隔离的规范。

数据探查模块23，用于通过查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据。

可以理解的，将数据库中的数据，通过查询脚本查询出来后，下载到本地进行分析探查，用于对加工的结果表分析。

数据核对模块24，用于将获取所述加工数据，并将所述加工数据与所述源数据进行比对。

可以理解的，通过查询脚分别查询源表数据(源表数据)和结果表数据，自动对两份数据进行比对，核查加工结果是否与预期一致。

例如：加工后对源表数据的查询脚本为：

SELECT字段1，字段2，trim(字段3)as字段3，trim(字段4)as字段4，trim(字段5)as字段5

FROM表1WHERE BATCH_DATE＝'@day(-1,'yyyyMMdd')'

AND字段3！＝”AND字段4＝'1'AND字段5＝'1'；

加工后对结果表数据的查询脚本为：

SELECT*

FROM表2where batch_date＝'@day(-1,'yyyyMMdd')'and字段6＝'1'。

在此还需要说明的是，本发明在便捷批量数据测试的同时满足企业数据中台管理规范。支持固定数据输入、明确的结果数据输出检核的功能，也可满足非固定的数据输入、不确定的结果输出数据的核对。支持基于关系型数据库和明确的业务场景处理，也适用于大数据类非关系型数据库的数据分析，及海量型数据处理。

结合大数据的加工流程和测试流程，通过自动造数－自动跑批－核对结果核查，实现大数据的加工过程全流程自动化测试。

1)造数：hadoop集群常用数据库组件造数，支持dat文件、table格式、key_value格式、jason格式的数据自动生成。用户只需要在界面选择需要维护的数据库类型，配置需要输入的数据值，系统会自动生成数据在对应的数据库。同时系统生成的数据符合hadoop集群租户权限隔离的规范。

2)批次运行：兼容批次并行和批次串行测试的需求，支持按需维护批次启动清单和批次启动时间，支持hadoop集群租户权限隔离的要求运行程序。

3)数据探查：查询hive数据库的数据并生成对应的数据excel表。

4)数据核对：输入多组HQL查询命令，将查询的结果数据进行一致性比对。

在效率上，本发明结合了企业表数据管理系统，减少了测试数据准备的手工操作步骤，字段数据生成规则适配提高了测试数据生成效率；造数和系统根据规则自动生成正常和异常的数据，有效地解决了大数据测试数据难的问题；多种数据库组件集成在同一个工具，便捷造数的同时降低了测试操作的门槛，提高了测试效率。

在质量提升上，造数、程序运行、数据探查和数据检核流程化，让测试人员不用切换与不同的服务器系统，利用更多的时间关注于测试结果复核，数据探查功能让测试人员可视化多维度对测试环境数据进行分析，提高了测试质量。

上述数据加工类型测试系统，通过数据造数模块接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；建立批次运行模块与所述数据造数模块的连接，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；数据探查模块调用查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；数通过据核对模块将获取所述加工数据，并将所述加工数据与所述源数据进行比对。相比现有技术，本发明能够适用于大数据类非关系型数据库的数据分析，及海量型数据处理，有效地解决了大数据测试数据难的问题，满足了实际应用需求。

需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器作为执行主体为例进行说明。

请参阅图3，本发明提供还提供了一种数据加工类型测试方法，所述方法包括步骤S11至步骤S13：

步骤S11，接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据。

所述造数数据包括表格造数数据、以及非表格造数数据；其中，所述表格造数数据包括Hive数据库、Kafka数据库、dat数据库、关系型数据库、以及非关系型数据库的造数数据，所述非表格造数数据包括Hbase数据库、ES数据库、以及Redis数据库的造数数据。

进一步地，进行表格型造数时，配置需要造数的表结构，建立表与表、表与加工批次之间的关联，同时生成符合hadoop集群租户权限的数据；

建立表与表之间的关联，具体包括：

对每张表的字段规则进行配置；其中，进行配置的字段规则包括主键、唯一键、以及数据生成规则，所述数据生成规则包括生成NULL值、随机地址、随机金额、自增日期、自增小数、自增整数、借记卡或贷记卡号、常量、随机日期、随机邮箱、枚举值、随机身份证号、随机手机号、随机名字、随机小数、随机整数、随机字符串、以及复合规则；

维护表与表之间的关联，在表的字段规则配置页面，对需要与其他表进行关联的字段配置关联规则，从而建立两个表之间通过该字段的关联关系；所述关联关系包括表内关联、表间关联、以及多表间关联，且表间关联规则包括通过字段直接关联、枚举关联、字段截取关联、算术运算关联、以及日期关联；

维护造数要求，选择刚维护的需求，进入查看表中，录入造数模式、造数数量、存储位置、以及数据日期。

所述Hive数据库所对应的表结构包括库表名、字段分区、租户名称、Hdfs路径和文件类型，所述表结构新增字段的字段信息包括字段名、字段类型、长度、序号、以及主键。

进一步地，进行非表格型造数时，配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系。

配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系，具体包括：

维护样例报文，对所述维护样例报文进行解析，并将解析样例报文的格式作为模拟数据生成的结构，完成数据生成格式的配置；

根据造数类型配置主键或者字段的生成规则；

选择造数的目标存储组件，并根据所目标存储组件的要求配置相应的样例报文信息与造数规则的关系。

步骤S12，建立与所述造数数据与批次运行信息的关联关系，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据。

所述批次运行信息包括批次执行顺序、执行日期、执行频率、以及执行信息；其中，所述执行信息包括执行序号、独立批次、执行环境、启动时间、批次日期、以及执行频率。

步骤S13，通过查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据。

步骤S14，将获取所述加工数据，并将所述加工数据与所述源数据进行比对。

本发明实施例所提供的数据加工类型测试方法，接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；建立与所述造数数据与批次运行信息的关联关系，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；通过查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；将获取所述加工数据，并将所述加工数据与所述源数据进行比对。相比现有技术，本发明能够适用于大数据类非关系型数据库的数据分析，及海量型数据处理，有效地解决了大数据测试数据难的问题，满足了实际应用需求。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上所述的数据加工类型测试方法。

本发明实施例还提供了一种终端设备，参见图4所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的数据加工类型测试方法。

优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、······)，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器也可以是任何常规的处理器，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。

所述存储器主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(SmartMedia Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。

需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图4结构框图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

综上，本发明提供的数据加工类型测试系统、方法、存储介质及终端设备，通过数据造数模块接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；建立批次运行模块与所述数据造数模块的连接，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；数据探查模块调用查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；数通过据核对模块将获取所述加工数据，并将所述加工数据与所述源数据进行比对。相比现有技术，本发明能够适用于大数据类非关系型数据库的数据分析，及海量型数据处理，有效地解决了大数据测试数据难的问题，满足了实际应用需求。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种数据加工类型测试系统，其特征在于，所述系统包括：

数据造数模块，用于接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；

批次运行模块，用于建立与所述数据造数模块的连接，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；

数据探查模块，用于通过查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；

数据核对模块，用于将获取所述加工数据，并将所述加工数据与所述源数据进行比对。

2.根据权利要求1所述的数据加工类型测试系统，其特征在于，所述造数数据包括表格造数数据、以及非表格造数数据；其中，所述表格造数数据包括Hive数据库、Kafka数据库、dat数据库、关系型数据库、以及非关系型数据库的造数数据，所述非表格造数数据包括Hbase数据库、ES数据库、以及Redis数据库的造数数据。

3.根据权利要求2所述的数据加工类型测试系统，其特征在于，数据造数模块，具体包括：

表格型造数单元，用于配置需要造数的表结构，建立表与表、表与加工批次之间的关联，同时生成符合hadoop集群租户权限的数据；

非表格型造数单元，用于配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系。

4.根据权利要求3所述的数据加工类型测试系统，其特征在于，建立表与表之间的关联，具体包括：

对每张表的字段规则进行配置；其中，进行配置的字段规则包括主键、唯一键、以及数据生成规则，所述数据生成规则包括生成NULL值、随机地址、随机金额、自增日期、自增小数、自增整数、借记卡或贷记卡号、常量、随机日期、随机邮箱、枚举值、随机身份证号、随机手机号、随机名字、随机小数、随机整数、随机字符串、以及复合规则；

维护表与表之间的关联，在表的字段规则配置页面，对需要与其他表进行关联的字段配置关联规则，从而建立两个表之间通过该字段的关联关系；所述关联关系包括表内关联、表间关联、以及多表间关联，且表间关联规则包括通过字段直接关联、枚举关联、字段截取关联、算术运算关联、以及日期关联；

维护造数要求，选择刚维护的需求，进入查看表中，录入造数模式、造数数量、存储位置、以及数据日期。

5.根据权利要求3所述的数据加工类型测试系统，其特征在于，配置数据生成格式、以及字段数据生成规则，并建立数据生成格式与造数规则的关系，具体包括：

维护样例报文，对所述维护样例报文进行解析，并将解析样例报文的格式作为模拟数据生成的结构，完成数据生成格式的配置；

根据造数类型配置主键或者字段的生成规则；

选择造数的目标存储组件，并根据所目标存储组件的要求配置相应的样例报文信息与造数规则的关系。

6.根据权利要求4所述的数据加工类型测试系统，其特征在于，所述Hive数据库所对应的表结构包括库表名、字段分区、租户名称、Hdfs路径和文件类型，所述表结构新增字段的字段信息包括字段名、字段类型、长度、序号、以及主键。

7.根据权利要求1所述的数据加工类型测试系统，其特征在于，所述批次运行信息包括批次执行顺序、执行日期、执行频率、以及执行信息；其中，所述执行信息包括执行序号、独立批次、执行环境、启动时间、批次日期、以及执行频率。

8.一种数据加工类型测试方法，其特征在于，所述方法包括以下步骤：

接收关联平台所输入的测试数据，并根据所述测试数据中所携带数据的类型进行数据造数，得到造数数据；

建立与所述造数数据与批次运行信息的关联关系，并根据批次运行信息对所述造数数据进行批次加工，得到加工数据；

通过查询脚本对所述测试数据所对应的造数数据进行探查，得到源数据；

将获取所述加工数据，并将所述加工数据与所述源数据进行比对。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求8所述的数据加工类型测试方法。

10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求8所述的数据加工类型测试方法。

Images