CN112100066B - 一种数据指标准确性的校验方法及自动化测试工具 - Google Patents

Abstract

本发明公开了一种数据指标准确性的校验方法及自动化测试工具。本发明具体步骤如下：1.在PG数据库中初始化创建测试用例表、用例执行结果表以及日志记录表；2.配置用例；3.执行用例；4.对比结果一致性：分别执行被测指标查询SQL和对照SQL，将两方结果进行对比；5.将对比结果保存到用例执行结果表中，并标识是否通过校验；6.异常日志写表记录：跳过执行SQL时遇到的错误，并将异常捕获并存储到日志记录表中，本发明提高工具的容错能力，且便于用户查看异常。同时，本方法及工具可保存历史用例，便于进行指标的自动化回归测试，极大地提升数据测试的工作效率。

Description

一种数据指标准确性的校验方法及自动化测试工具

技术领域

本发明属于信息技术领域，具体涉及一种数据指标准确性的校验方法及自动化测试工具。

背景技术

“大数据”时代的到来，对社会和人类的发展产生了不容忽视的影响，越来越多的行业向数据驱动转变，数据成为了“新”的生产力。从衣食住行到娱教医养，数据已经渗透到我们生活和工作的方方面面。依托于大数据发展的机器学习、人工智能等技术的热度更是居高不下。在这个数据信息爆炸式增长时代，快速的数据采集和精准的数据挖掘为高效的数据应用提供了必要条件；那么如何保证软件产品数据的准确性，是作为数据挖掘人员和测试人员需要关注的重点。

大数据产业发展迅速，但是相对来说对大数据测试的探索才刚刚开始。目前大数据的测试体系还没有形成，测试方法也还有所欠缺。本发明是从数据测试过程中总结经验和方法，对指标校验的部分整理出一种数据指标准确性的校验方法，并提供了相应的自动化测试工具，较大地提升了数据测试的效率，为大数据测试的体系的发展添砖加瓦。

发明内容

本发明的目的在于提升数据测试的效率，弥补现有数据测试方法的不足，提出并开发一种数据指标准确性校验方法及自动化测试工具，具体发明内容如下。

一种数据指标准确性的校验方法，具体实现步骤如下：

步骤1：在PG库中创建测试用例表、用例执行结果表以及日志记录表，分别用于存储测试用例数据、测试结果信息以及用例执行异常日志；

表结构具体如下：

测试用例表：用例id、项目名称、提测版本、测试层名、测试表名、分区、被测指标名、被测指标查询SQL、对照表名、对照SQL、用例状态、用例创建时间、用例更新用户、用例更新时间等字段；

用例执行结果表：项目名称、测试版本号、用例id、被测指标名、数据条数(指标结果不同的数据行数)、是否测试通过等字段；其中用例id为该结果表的外键，对应测试用例表中的用例id字段；

日志记录表：用例id、错误日志、测试版本号、创建时间、执行状态等字段；其中用例id为该日志表的外键，对应测试用例表中的用例id字段；

步骤2：在测试用例表中根据需要配置测试用例数据；具体根据指标计算的逻辑，编写被测指标查询SQL和对照SQL，并配置到测试用例数据中；

步骤3：根据用户传入的参数拼接查询语句，然后根据拼接查询语句读取用例表中的测试用例数据并存储到Dataframe中，其中Dataframe是一个缓存数据集合；例如：

SELECT ID(用例id),PROJECT_NAME(项目名称),OPER_VERSION(提测版本),SCHEMA_NAME(测试层名),TABLE_NAME(测试表名),TEST_PARTITION_NAME(分区),TEST_INDEX_NAME(被测指标名),COMPARE_TABLE_NAME(对照表名),STATUS,

TEST_SQL(被测指标查询SQL),

COMPARE_SQL(对照SQL)

FROM TEST_CASE_TABLE

其中TEST_CASE_TABLE为测试用例表名，TEST_SQL为被测指标查询SQL，COMPARE_SQL为对照SQL。

步骤4：根据用例id循环每一条测试用例数据，针对循环的当前测试用例数据，将被测指标查询SQL和对照SQL中的进行替换；具体根据用户传入的扩展参数键值对进行替换，例如：

EXTENDPARAMS‘PARAM1:VALUE1,PARAM2:VALUE2’；

其中，EXTENDPARAMS指代用户通过命令行传入的扩展参数；

PARAM1:VALUE1分别指代被测指标查询SQL和对照SQL中需要进行替换的参数名以及对应的参数值；

步骤5：通过分别执行被测指标查询SQL和对照SQL读取HIVE数据库中的被测数据，并分别将查询结果存储到Dataframe中；被测指标查询SQL和对照SQL均由用户自定义，例如：

被测指标查询SQL：

SELECT FIELD_NAMES1,INDEX_NAME1

FROM SCHEMA_NAME1.TABLE_NAME1

WHERE FIELD_NAME1＝${PARAM_NAME}

对照SQL：

SELECT FIELD_NAMES2,INDEX_NAME2

FROM SCHEMA_NAME2.TABLE_NAME2

WHERE FIELD_NAME2＝${PARAM_NAME}

其中SCHEMA_NAME1和SCHEMA_NAME2为用例数据中测试层名内容；TABLE_NAME1和TABLE_NAME2为用例数据中测试表名内容；FIELD_NAMES1和FIELD_NAMES2为用例数据中字段名的内容；INDEX_NAME1和INDEX_NAME2为用例数据中指标字段名的内容；“${}”为定义的占位符格式，存在则说明用户需要自定义传参；PARAM_NAME为用户传入参数的参数名，在执行用例过程中，会将该参数名替换成对应的值，然后进行查询；查询完毕后，将两个SQL的结果进行对比，一致则测试通过。

步骤6：对比步骤5中两个查询结果的一致性，得出最终测试结论，使用is_pass字段(即用例执行结果表中的是否通过字段)标识该指标是否测试通过；使用is_pass字段标识测试结果：1为测试通过，0为测试未通过，-1表示该用例执行异常；即如果两个查询结果一致，则is_pass字段标识为1；如果两个查询结果不一致，则is_pass字段标识为0；如果查询过程出现报错，则is_pass字段标识为-1；

步骤7：在关键步骤打印日志，关键步骤包括：

①获取执行时输入的参数，并进行校验；

②从测试用例表中读取需要执行的用例数据；

③根据用例id循环每一条测试用例数据，替换被测指标查询SQL和对照SQL的扩展参数；

④分别执行用例数据中的被测指标查询SQL和对照SQL；

⑤对比被测指标查询SQL查询结果和对照SQL查询结果的一致性；

⑥存储测试结果；

⑦捕获异常日志；

⑧执行完成提示；

步骤8：存储测试结果：将测试结果存储在用例执行结果表中；步骤9：捕获异常日志：跳过执行过程中的异常，并捕获异常日志存储到日志记录表中，status为Ture表示用例执行报错，status为False表示用例执行正常。

步骤10：用户可在用例执行结果表中查看测试结果；

步骤11：用户可在日志记录表中查看执行失败的用例日志。

本发明自动化测试工具的技术架构可分为7大模块：读取用例模块、循环用例模块、替换参数模块、执行SQL模块、对比结果模块、存储结果模块、存储日志模块。

所述的读取用例模块，通过查询语句将测试用例表中相关的测试用例内容读取到Dataframe中；

所述的循环用例模块，根据用例id，循环获取读取用例模块Dataframe中每个用例的信息；

所述的替换参数模块，根据用户自定义传入的参数EXTEND_PARAMS，对循环用例模块获取到的用例信息中，被测指标查询SQL和对照SQL内容中的参数名进行正则匹配的替换；

所述的执行SQL模块，将替换参数模块中的被测指标查询SQL和对照SQL分别执行，并得到相应的查询结果并存储到Dataframe中；

所述的结果对比模块，将执行SQL模块中，执行被测指标查询SQL得到的Dataframe，与执行对照SQL得到的Dataframe进行对比，输出不一致的数据条数，若数据条数为0则该指标测试通过，否则测试不通过；

所述的结果存储模块，将结果对比模块中，指标不一致的数据条数、用例id、是否通过等信息存储到PG数据库的用例执行结果表中；

所述的日志存储模块，将执行SQL模块中的用例执行异常信息进行捕获，并将异常信息、用例id等数据存储到PG数据库的日志记录表中。

进一步的，本发明自动化测试工具的执行方法如下：

执行方式1：通过命令行调用，执行某一条或者多条测试用例；

执行方式2：通过shell脚本，执行全部测试用例；

执行方式3：通过使用附加自定义配置文件，在执行时读取自定义配置文件所配置的内容，例如，自定义配置文件可支持筛选执行某一条或多条测试用例；

执行方式4：通过读取PG库的测试结果，可支持仅执行上一次测试未通过的用例。

进一步的，本发明自动化测试工具的日志存储机制如下：

日志存储1：执行结束后所有日志存储在log文件中，用户可自行查看，能够显示共执行用例的数量、执行成功及失败的数量等信息。

日志存储2：执行结束后，执行异常的用例日志存储在日志记录表中，主要记录用例执行时抛出的异常，方便用户查看并进行用例修改更新。

本发明有益效果：

本发明通过梳理、总结大数据测试方法，提出一种整表结构相关的数据异常值测试的数据测试方法，并对数据异常情况进行分类，编写适用于每种异常类型的校验程序，开发出一种整表结构相关的数据异常值测试的自动化测试工具。完善大数据测试体系，有利于提升数据测试效率。

附图说明

图1是本发明实施例测试对象的数据存储结构及测试用例表、用例执行结果表、日志记录表的配置结构；

图2是本发明实施例采用该数据指标准确性校验方法及自动化测试工具的具体流程图。

附表说明

表1是本发明实施例采用该数据指标准确性校验方法及自动化测试工具的测试用例表；

表2是本发明实施例采用该数据指标准确性校验方法及自动化测试工具的用例执行结果表。

表3是本发明实施例采用该数据指标准确性校验方法及自动化测试工具的日志记录表；

具体实施方式

下面结合附图、附表对本发明进行详细描述，使得本发明的目的和结果更加明显。本实例是从实际数据测试情况出发，编写指标测试用例，并使用自动化测试工具，达到检验数据指标的准确性的测试目的。

如图2所示，一种数据指标准确性校验方法，实现步骤如下：

步骤1：在PG库中创建测试用例表、用例执行结果表以及日志记录表；测试对象的数据存储结构及测试用例表、用例执行结果表、日志记录表的配置架构如图1所示；

步骤2：在测试用例表中配置测试用例数据，具体用例配置实施示例见表1；

表1

以表1中id为1的用例进行说明：

project_name(项目名称)为项目001；

schema_name(测试层名)为SCHEMA_NAME；

table_name(测试表名)为TABLE1；

test_index_name(被测指标名)为INDEX1；

test_sql(被测指标查询SQL)为

SELECT FIELD_NAMES,TEST_INDEX_NAME

FROM SCHEMA_NAME.TABLE_NAME

WHERE FIELD_NAME＝${PARAM_NAME}；

compare_sql(对照SQL)为

SELECT FIELD_NAMES,COMPARE_INDEX_NAME

FROM SCHEMA_NAME.TABLE_NAME

WHERE FIELD_NAME＝${PARAM_NAME}；

status(用例状态)为1，标识该用例启用；

步骤3：通过自动化测试工具执行数据指标准确性的校验用例，内部逻辑如图2所示。流程具体如下：

①读取用例表中的测试用例数据并存储到Dataframe中；通过根据用户传入的参数拼接查询语句进行用例的获取，查询语句示例如下：

SELECT ID,PROJECT_NAME,OPER_VERSION,SCHEMA_NAME,

TEST_TABLE_NAME，TEST_PARTITION_NAME，TEST_DIM_NAME，

TEST_INDEX_NAME，COMPARE_TABLE_NAME，COMPARE_INDEX_NAME，

STATUS，

TEST_SQL AS TEST CASE_SQL，

COMPARE_SQL AS COMPARE_CASE_SQL

FROM TEST_CASE_TABLE

②根据用例id，循环每一条测试用例数据，并分别将被测指标查询SQL和对照SQL中的参数进行替换；

③通过分别执行被测指标查询SQL和对照SQL读取HIVE数据库中的被测数据，并分别将查询结果存储到Dataframe中，具体SQL示例如下：

被测指标查询SQL示例：

SELECT FIELD_NAMES1，INDEX_NAME1

FROM SCHEMA_NAME1.TABLE_NAME1

WHERE FIELD_NAME1＝${PARAM_NAME}

对照SQL示例：

SELECT FIELD_NAMES2，INDEX_NAME2

FROM SCHEMA_NAME2.TABLE_NAME2

WHERE FIELD_NAME2＝${PARAM_NAME}

④对比③中两个结果的一致性，得出最终测试结论，使用is_pass字段标识该指标是否测试通过；

表2

id	case_id	test_index_name	different_nums	is_pass	created_time
						4fdb60a0-882c-45e1-8cd4-497b841ebd51	1	INDEX1	0	1	2020/8/12 21:19
cc8cc557-b14a-4107-9930-edb8c55ff168	2	INDEX2		-1	2020/8/12 21:19
						dfafdb82-3c63-4127-b269-618f4bc2f107	3	INDEX3	10	0	2020/8/12 21:19
Offc4faf-88cc-4f7a-99e7-209ff855e954	4	INDEX4	20	0	2020/8/12 21:19
						79883572-f860-44c7-a927-fdc197f60989	5	INDEX5	0	1	2020/8/12 21:19

以表2中case_id为1的用例进行说明：

id(用例执行结果表的唯一键，存储结果数据时自动生成)为4fdb60a0-882c-45e1-8cd4-497b841ebd51；

case_id(外键，对应测试用例表中的用例id字段)为1；

test_index_name(被测指标名)为INDEX1；

different_nums(数据条数)为0；

is_pass(是否测试通过)为1，表示测试通过；

created_time(用例执行时间)为2020/8/1221:19:28；

⑤在关键步骤打印日志，具体关键步骤如发明内容的步骤7所述：

⑥存储测试结果：将测试结果存储在用例执行结果表中，使用is_pass字段标识测试结果；

⑦捕获异常日志：跳过执行过程中的异常，并捕获错误日志存储到日志记录表中，status为Ture表示用例执行报错，status为False表示用例执行正常。

表3

以表3中case_id为1的用例进行说明：

case_id(外键，对应测试用例表中的用例id字段)为1；

error_log(错误日志)为

org.apache.spark.sql.catalyst.parser.ParseException:

Found duplicate keys'temp_target_product'.(line 1,pos 0)

＝＝SQL＝＝

SELECT FIELD_NAMES,COMPARE_INDEX_NAME

^^^；

batch_number(测试版本号)为V-test；

created_time(用例执行时间)为2020/8/1221:19:28；

status(执行状态)为FALSE，表示用例执行报错；

步骤4：自动化测试用例jar上传到测试服务器，使用执行脚本进行用例执行,执行脚本示例：

bash run.sh--checkType IndexCalculationTwoTableCase--extendParams"PARAM1:VALUE1,PARAM2:VALUE2"

执行过程中，可查看关键步骤打印的日志；

步骤5：用户可在用例执行结果表中查看测试结果；表2为使用本发明的自动化测试工具执行测试实施例后，用例执行结果表数据；其中is_pass为1，表示该条用例测试通过；is_pass为0，表示该条用例测试未通过；is_pass为-1，表示该条用例执行失败。

步骤6：用户可在日志记录表中查看执行失败的用例日志；表3为使用本发明的自动化测试工具执行测试实施例后，用例执行结果表数据；其中status为Ture表示用例执行报错，status为False表示用例执行正常。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方案实施本发明。因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护范围。

Claims (5)

1.一种数据指标准确性的校验方法，其特征在于步骤如下：

步骤1：在PG库中创建测试用例表、用例执行结果表以及日志记录表，分别用于存储测试用例数据、测试结果信息以及用例执行异常日志；

步骤2：在测试用例表中根据需要配置测试用例数据；

步骤3：根据用户传入的参数拼接查询语句，然后根据拼接查询语句读取用例表中的测试用例数据并存储到Dataframe中，其中Dataframe是一个缓存数据集合；

步骤4：根据用例id循环每一条测试用例数据，针对循环的当前测试用例数据，将被测指标查询SQL和对照SQL中的进行替换；具体根据用户传入的扩展参数键值对进行替换，

步骤5：通过分别执行被测指标查询SQL和对照SQL读取HIVE数据库中的被测数据，并分别将查询结果存储到Dataframe中；被测指标查询SQL和对照SQL均由用户根据需求自定义；

步骤6：对比步骤5中两个查询结果的一致性，得出最终测试结论，使用is_pass字段标识该指标是否测试通过；

步骤7：在关键步骤打印日志

步骤8：存储测试结果：将测试结果存储在用例执行结果表中；

步骤9：捕获异常日志：跳过执行过程中的异常，并捕获异常日志存储到日志记录表中，status为Ture表示用例执行报错，status为False表示用例执行正常；

步骤10：用户在用例执行结果表中查看测试结果；

步骤11：用户在日志记录表中查看执行失败的用例日志。

2.根据权利要求1所述的一种数据指标准确性的校验方法，其特征在于步骤1具体表结构具体如下：

测试用例表：用例id、项目名称、提测版本、测试层名、测试表名、分区、被测指标名、被测指标查询SQL、对照表名、对照SQL、用例状态、用例创建时间、用例更新用户、用例更新时间的字段；

用例执行结果表：项目名称、测试版本号、用例id、被测指标名、数据条数、是否测试通过的字段；其中用例id为该结果表的外键，对应测试用例表中的用例id字段；

日志记录表：用例id、错误日志、测试版本号、创建时间、执行状态的字段；其中用例id为该日志表的外键，对应测试用例表中的用例id字段。

3.根据权利要求1或2所述的一种数据指标准确性的校验方法，其特征在于步骤6使用is_pass字段标识测试结果如下：1为测试通过，0为测试未通过，-1表示该用例执行异常；即如果两个查询结果一致，则is_pass字段标识为1；如果两个查询结果不一致，则is_pass字段标识为0；如果查询过程出现报错，则is_pass字段标识为-1。

4.根据权利要求3所述的一种数据指标准确性的校验方法，其特征在于步骤7所述的关键步骤包括：

①获取执行时输入的参数，并进行校验；

②从测试用例表中读取需要执行的用例数据；

③根据用例id循环每一条测试用例数据，替换被测指标查询SQL和对照SQL的扩展参数；

④分别执行用例数据中的被测指标查询SQL和对照SQL；

⑤对比被测指标查询SQL查询结果和对照SQL查询结果的一致性；

⑥存储测试结果；

⑦捕获异常日志；

⑧执行完成提示。

5.根据权利要求4所述的一种数据指标准确性的校验方法，其特征在于该校验方法过程中涉及的自动化测试工具包括读取用例模块、循环用例模块、替换参数模块、执行SQL模块、结果对比模块、存储结果模块、存储日志模块；

所述的读取用例模块，通过查询语句将测试用例表中相关的测试用例内容读取到Dataframe中；

所述的循环用例模块，根据用例id，循环获取读取用例模块Dataframe中每个用例的信息；

所述的替换参数模块，根据用户自定义传入的参数EXTEND_PARAMS，对循环用例模块获取到的用例信息中，被测指标查询SQL和对照SQL内容中的参数名进行正则匹配的替换；

所述的执行SQL模块，将替换参数模块中的被测指标查询SQL和对照SQL分别执行，并得到相应的查询结果并存储到Dataframe中；

所述的结果对比模块，将执行SQL模块中，执行被测指标查询SQL得到的Dataframe，与执行对照SQL得到的Dataframe进行对比，输出不一致的数据条数，若数据条数为0则该指标测试通过，否则测试不通过；

所述的结果存储模块，将结果对比模块中，指标不一致的数据条数、用例id、是否通过的信息存储到PG数据库的用例执行结果表中；

所述的日志存储模块，将执行SQL模块中的用例执行异常信息进行捕获，并将异常信息、用例id的数据存储到PG数据库的日志记录表中。

Images