CN115080389A - 提升指标统计效率的测试系统、方法、设备及存储介质 - Google Patents

提升指标统计效率的测试系统、方法、设备及存储介质 Download PDF

Info

Publication number
CN115080389A
CN115080389A CN202210653016.7A CN202210653016A CN115080389A CN 115080389 A CN115080389 A CN 115080389A CN 202210653016 A CN202210653016 A CN 202210653016A CN 115080389 A CN115080389 A CN 115080389A
Authority
CN
China
Prior art keywords
test
interface
index
file
sql
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210653016.7A
Other languages
English (en)
Inventor
陈燕芹
顾文
张道钰
吕俊垒
刘晓疆
陈晓
刘青
战嘉馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Civil Aviation Cares Co ltd
Original Assignee
Qingdao Civil Aviation Cares Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Civil Aviation Cares Co ltd filed Critical Qingdao Civil Aviation Cares Co ltd
Priority to CN202210653016.7A priority Critical patent/CN115080389A/zh
Publication of CN115080389A publication Critical patent/CN115080389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control

Abstract

本发明涉及一种提升指标统计效率的测试系统、方法、设备及存储介质，包括配置管理模块、测试用例管理模块、测试脚本管理模块、测试执行管理模块和测试报告管理模块，通过在配置文件中根据被测应用系统的实际环境设置应用环境变量和数据库环境变量；添加测试用例、编写测试脚本和执行测试，最后生成测试报告。本发明的优点是：通过建立接口和SQL语句的自动映射，批量比对接口数据和SQL计算数据的一致性，验证指标逻辑的正确性。系统发版时全自动执行，通过定制的报告全面呈现测试结果，充分解决巨量数据人工统计的耗时和不准确性，显著提升测试的效率和质量。

Description

提升指标统计效率的测试系统、方法、设备及存储介质
技术领域
本发明涉及一种提升指标统计效率的全自动化测试系统、方法、设备及存储介质，属于软件测试领域。
背景技术
为了给用户更好的展示全场景、全流程、全要素的数据和信息，数据可视化系统越来越普遍。对于软件测试来说，产品上的每一个数据都是一个重要的指标测试点，当系统存在大量指标展示时，每一个页面都有N个数据需要验证其正确性，如果单纯通过人工计算并逐一比对，每一页指标验证都需要大量的时间。当上线测试或回归测试时，耗费的测试时间越长，测试的进度将越难保障，测试的质量也会因为测试的不完整性而大幅下降。一种自动化测试方法，基于可视化系统的特点，既能保证测试进度，又能保证测试的完整性和准确性，这将是提高测试质量的关键。
因此，寻找一种易回归、复用性强、省时高效的自动化测试方法来解决指标统计问题是本次发明研究的课题。
发明内容
本发明的目的在于解决系统指标统计难的问题，提供一种提升指标统计效率的全自动化测试方法。当被测系统存在大量指标展示时，每一个页面都有N个数据需要验证其正确性，如果每次测试或回归测试都手动计算和验证，这就会耗费大量的时间和精力，导致测试成本增高，测试效率降低。
为克服现有技术的缺陷，本发明提供一种提升指标统计效率的全自动化测试系统、方法、设备及存储介质，本发明的技术方案是：
一种提升指标统计效率的全自动化测试系统，其特征在于，包括
配置管理模块，用于在配置文件中根据被测应用系统的实际环境设置应用环境变量和数据库环境变量；
测试用例管理模块，用于通过接口yaml文件、指标yaml文件和SQL file文件的对应，实现对测试数据的关联和数据驱动；
测试脚本管理模块，用于数据库的调用以及接口的调用与校验，根据数据库查询指标结果和接口返回指标结果，校验每个测试用例中指标数据的正确性，得到校验结果；
测试执行管理模块，通过Jenkins服务器来实现自动化测试脚本的自动执行；
测试报告管理模块，用于通过allure报告组件来统计和分析测试报告。
所述的被测应用系统的应用环境变量包括域名、ip地址和消息头信息，被测应用系统的数据库环境变量包括实例名、用户名和密码信息。
在所述的接口yaml文件中设置被测系统的url、ip地址、SQL file文件路径、请求方法和对应的请求参数信息；在指标yaml文件中设置被测系统的测试指标；在SQL file文件中添加被测系统的测试指标的SQL逻辑查询语句；在指标yaml文件中编写测试用例，添加测试数据，设置与SQL语句的对应关系。
所述的测试用例对应接口脚本，通过两个yaml文件和一个SQL file文件实现用例与脚本的多对一关系，具体为：所述的两个yaml文件分别为一个接口yaml和一个指标yaml，通过两个yaml文件实现接口与指标字段的一对多的映射关系，即一个接口对应多个指标的映射关系；指标yaml文件和SQL file文件实现接口用例与SQL语句的一对一的映射关系，即指标yaml文件中的每个指标用例与SQL file文件中每个sql是一一对应关系。
每个测试脚本中包括接口调用、数据库调用和校验，其中接口调用是通过requests方法调用接口，获取接口返回的信息，然后根据指标yaml文件中测试用例对应的指标名key获取接口返回信息中对应的value值；数据库调用包括打开数据库、执行SQLfile文件中sql语句进行查询、返回查询结果并保存、关闭数据库操作；校验是把接口返回value值与数据库返回查询结果进行对比，如果两者数据一致，返回测试成功结果，否则返回测试失败结果；
一种提升指标统计效率的全自动化测试方法，具体步骤如下：
S1、在配置文件中根据被测应用系统的实际环境设置应用环境变量和数据库环境变量；
S2、添加测试用例，在接口yaml文件中设置被测系统的url、ip地址、SQL file文件路径、请求方法和对应的请求参数信息，在指标yaml文件中设置被测系统的测试指标，一个接口包括多个测试指标，在SQL file文件中添加被测系统的测试指标的SQL逻辑查询语句；在指标yaml文件中编写测试用例，添加测试数据，设置与SQL语句的对应关系；
S3、编写测试脚本，每个测试脚本中包括接口调用、数据库调用和校验，其中接口调用是通过requests方法调用接口，获取接口返回的信息，然后根据指标yaml文件中测试用例对应的指标名key获取接口返回信息中对应的value值；数据库调用包括打开数据库、执行SQL file文件中sql语句进行查询、返回查询结果并保存、关闭数据库操作；校验是把接口返回value值与数据库返回查询结果进行对比，如果两者数据一致，返回测试成功结果，否则返回测试失败结果；
S4、执行测试，通过Jenkins服务器部署来自动执行测试脚本，设置系统发版时触发执行；当测试通过时，版本进入下一阶段，否则版本被打回；
S5、生成测试报告，通过allure报告组件生成从多个维度分析和展示测试结果。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现提升指标统计效率的全自动化测试方法的步骤。
一种计算机存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现提升指标统计效率的全自动化测试方法的步骤。
一种计算机程序产品，其特征在于，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行提升指标统计效率的全自动化测试方法。
本发明的优点是：通过建立接口和SQL语句的自动映射，批量比对接口数据和SQL计算数据的一致性，验证指标逻辑的正确性。系统发版时全自动执行，通过定制的报告全面呈现测试结果，充分解决巨量数据人工统计的耗时和不准确性，显著提升测试的效率和质量。
通过针对指标统计的自动化测试，大大提高了测试效率，降低了测试成本，测试人员只需关注指标的逻辑正确性，无需因为测试进度难以取舍测试范围，导致漏测或多测。本发明在测试流程中作为重要的测试门禁，显著提高发版频率和版本稳定性，极大的保障了系统的上线质量。
附图说明
图1是本发明方法的流程示意图。
图2是本发明测试用例映射关系图。
图3是本发明的系统框图。
图4是本发明提供的一种计算机设备结构示意图。
具体实施方式
下面结合具体实施例来进一步描述本发明，本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的，并不对本发明的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换，但这些修改和替换均落入本发明的保护范围内。
参见图1至图4，本发明涉及一种提升指标统计效率的全自动化测试系统，包括
配置管理模块11，用于在配置文件中根据被测应用系统的实际环境设置应用环境变量和数据库环境变量，如被测系统的域名、ip地址和消息头信息，数据库实例名、IP地址、用户名和密码等信息；
测试用例管理模块12，用于通过接口yaml文件、指标yaml文件和SQL file文件的对应关系，实现对测试数据的关联和数据驱动；
在接口yaml文件中设置被测系统的url、ip地址、SQL file文件路径、请求方法和对应的请求参数信息，在指标yaml文件中设置被测系统的测试指标，在SQL file文件中添加被测系统的测试指标的SQL逻辑查询语句；在接口yaml文件中每一个接口对应指标yaml文件中的多个测试指标/用例，在指标yaml文件中的测试用例与SQL file文件中sql语句设置一对一的映射关系；
测试脚本管理模块13，用于数据库的execute调用、接口的request调用及结果校验，根据数据库查询指标结果和接口返回指标结果，校验每个测试用例中指标数据的正确性，得到校验结果；
测试执行管理模块14，通过Jenkins服务器来实现自动化测试脚本的自动执行；
测试报告管理模块15，用于通过allure报告组件来统计和分析测试报告。
所述的被测应用系统的应用环境变量包括域名、ip地址和消息头信息，被测应用系统的数据库环境变量包括实例名、用户名和密码信息。
在所述的接口yaml文件中设置被测系统的url、ip地址、SQL file文件路径、请求方法和对应的请求参数信息；在指标yaml文件中设置被测系统的测试指标；在SQL file文件中添加被测系统的测试指标的SQL逻辑查询语句；在指标yaml文件中编写测试用例，添加测试数据，设置与SQL语句的对应关系。
所述的测试用例对应接口脚本，通过两个yaml文件和一个SQL file文件实现用例与脚本的多对一关系，具体为：所述的两个yaml文件分别为一个接口yaml和一个指标yaml，通过两个yaml文件实现接口与指标字段的一对多的映射关系，即一个接口对应多个指标的映射关系；指标yaml文件和SQL file文件实现接口用例与SQL语句的一对一的映射关系，即指标yaml文件中的每个指标用例与SQL file文件中每个sql是一一对应关系。
每个测试脚本中包括接口调用、数据库调用和校验，其中接口调用是通过requests方法调用接口，获取接口返回的信息，然后根据指标yaml文件中测试用例对应的指标名key获取接口返回信息中对应的value值；数据库调用包括打开数据库、执行SQLfile文件中sql语句进行查询、返回查询结果并保存、关闭数据库操作；校验是把接口返回value值与数据库返回查询结果进行对比，如果两者数据一致，返回测试成功结果，否则返回测试失败结果。
一种提升指标统计效率的全自动化测试方法，具体步骤如下：
S1、在配置文件中根据被测应用系统的实际环境设置应用环境变量和数据库环境变量；
S2、添加测试用例，在接口yaml文件中设置被测系统的url、ip地址、SQL file文件路径、请求方法和对应的请求参数信息，在指标yaml文件中设置被测系统的测试指标，一个接口包括多个测试指标，在SQL file文件中添加被测系统的测试指标的SQL逻辑查询语句；在指标yaml文件中编写测试用例，添加测试数据，设置与SQL语句一一对应关系；
S3、编写测试脚本，每个测试脚本中包括接口调用、数据库调用和校验，其中接口调用是通过requests方法调用接口，获取接口返回的信息，然后根据指标yaml文件中测试用例对应的指标名key获取接口返回信息中对应的value值；数据库调用包括打开数据库、执行SQL file文件中sql语句进行查询、返回查询结果并保存、关闭数据库操作；校验是把接口返回value值与数据库返回查询结果进行对比，如果两者数据一致，返回测试成功结果，否则返回测试失败结果；
S4、执行测试，通过Jenkins服务器部署来自动执行测试脚本，设置系统发版时触发执行；当测试通过时，版本进入下一阶段，否则版本被打回；
S5、生成测试报告，通过allure生成从多个维度分析和展示测试结果。
本发明涉及一种计算机设备1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，所述处理器执行所述计算机程序时实现提升指标统计效率的全自动化测试方法的步骤。
本发明还涉及一种计算机存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现提升指标统计效率的全自动化测试方法的步骤。
本发明还涉及一种计算机程序产品，其特征在于，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述如所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种提升指标统计效率的全自动化测试系统，其特征在于，包括
配置管理模块，用于在配置文件中根据被测应用系统的实际环境设置应用环境变量和数据库环境变量；
测试用例管理模块，用于通过接口yaml文件、指标yaml文件和SQL file文件的对应，实现对测试数据的关联和数据驱动；
测试脚本管理模块，用于数据库的调用以及接口的调用与校验，根据数据库查询指标结果和接口返回指标结果，校验每个测试用例中指标数据的正确性，得到校验结果；
测试执行管理模块，通过Jenkins服务器来实现自动化测试脚本的自动执行；
测试报告管理模块，用于通过allure报告组件来统计和分析测试报告。
2.根据权利要求1所述的一种提升指标统计效率的全自动化测试系统，其特征在于，所述的被测应用系统的应用环境变量包括域名、ip地址和消息头信息，被测应用系统的数据库环境变量包括实例名、用户名和密码信息。
3.根据权利要求1所述的一种提升指标统计效率的全自动化测试系统，其特征在于，在所述的接口yaml文件中设置被测系统的url、ip地址、SQL file文件路径、请求方法和对应的请求参数信息；在指标yaml文件中设置被测系统的测试指标；在SQL file文件中添加被测系统的测试指标的SQL逻辑查询语句；在指标yaml文件中编写测试用例，添加测试数据，设置与SQL语句的对应关系。
4.根据权利要求3所述的一种提升指标统计效率的全自动化测试系统，其特征在于，所述的测试用例对应接口脚本，通过两个yaml文件和一个SQL file文件实现用例与脚本的多对一关系，具体为：所述的两个yaml文件分别为一个接口yaml和一个指标yaml，通过两个yaml文件实现接口与指标字段的一对多的映射关系，即一个接口对应多个指标的映射关系；指标yaml文件和SQL file文件实现接口用例与SQL语句的一对一的映射关系，即指标yaml文件中的每个指标用例与SQL file文件中每个sql是一一对应关系。
5.根据权利要求3所述的一种提升指标统计效率的全自动化测试系统，其特征在于，每个测试脚本中包括接口调用、数据库调用和校验，其中接口调用是通过requests方法调用接口，获取接口返回的信息，然后根据指标yaml文件中测试用例对应的指标名key获取接口返回信息中对应的value值；数据库调用包括打开数据库、执行SQL file文件中sql语句进行查询、返回查询结果并保存、关闭数据库操作；校验是把接口返回value值与数据库返回查询结果进行对比，如果两者数据一致，返回测试成功结果，否则返回测试失败结果。
6.一种提升指标统计效率的全自动化测试方法，具体步骤如下：
S1、在配置文件中根据被测应用系统的实际环境设置应用环境变量和数据库环境变量；
S2、添加测试用例，在接口yaml文件中设置被测系统的url、ip地址、SQL file文件路径、请求方法和对应的请求参数信息，在指标yaml文件中设置被测系统的测试指标，一个接口包括多个测试指标，在SQL file文件中添加被测系统的测试指标的SQL逻辑查询语句；在指标yaml文件中编写测试用例，添加测试数据，设置与SQL语句的对应关系；
S3、编写测试脚本，每个测试脚本中包括接口调用、数据库调用和校验，其中接口调用是通过requests方法调用接口，获取接口返回的信息，然后根据指标yaml文件中测试用例对应的指标名key获取接口返回信息中对应的value值；数据库调用包括打开数据库、执行SQL file文件中sql语句进行查询、返回查询结果并保存、关闭数据库操作；校验是把接口返回value值与数据库返回查询结果进行对比，如果两者数据一致，返回测试成功结果，否则返回测试失败结果；
S4、执行测试，通过Jenkins服务器部署来自动执行测试脚本，设置系统发版时触发执行；当测试通过时，版本进入下一阶段，否则版本被打回；
S5、生成测试报告，通过allure报告组件生成从多个维度分析和展示测试结果。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6所述方法的步骤。
8.一种计算机存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求6所述方法的步骤。
9.一种计算机程序产品，其特征在于，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述如权利要求6所述的方法。
CN202210653016.7A 2022-06-09 2022-06-09 提升指标统计效率的测试系统、方法、设备及存储介质 Pending CN115080389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210653016.7A CN115080389A (zh) 2022-06-09 2022-06-09 提升指标统计效率的测试系统、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210653016.7A CN115080389A (zh) 2022-06-09 2022-06-09 提升指标统计效率的测试系统、方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115080389A true CN115080389A (zh) 2022-09-20

Family

ID=83250504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210653016.7A Pending CN115080389A (zh) 2022-06-09 2022-06-09 提升指标统计效率的测试系统、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115080389A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116467189A (zh) * 2023-03-31 2023-07-21 青岛民航凯亚系统集成有限公司 接口调用完成性能压测及全链路数据监控的方法和系统
CN116909936A (zh) * 2023-09-13 2023-10-20 深圳市智慧城市科技发展集团有限公司 大数据自动化测试方法、设备及可读存储介质
CN116909936B (zh) * 2023-09-13 2024-05-14 深圳市智慧城市科技发展集团有限公司 大数据自动化测试方法、设备及可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116467189A (zh) * 2023-03-31 2023-07-21 青岛民航凯亚系统集成有限公司 接口调用完成性能压测及全链路数据监控的方法和系统
CN116467189B (zh) * 2023-03-31 2023-12-05 青岛民航凯亚系统集成有限公司 接口调用完成性能压测及全链路数据监控的方法和系统
CN116909936A (zh) * 2023-09-13 2023-10-20 深圳市智慧城市科技发展集团有限公司 大数据自动化测试方法、设备及可读存储介质
CN116909936B (zh) * 2023-09-13 2024-05-14 深圳市智慧城市科技发展集团有限公司 大数据自动化测试方法、设备及可读存储介质

Similar Documents

Publication Publication Date Title
Tramontana et al. Automated functional testing of mobile applications: a systematic mapping study
CN102122265B (zh) 一种计算机软件测试结果的验证方法及系统
Padgham et al. Model-based test oracle generation for automated unit testing of agent systems
CN110716870B (zh) 服务的自动化测试方法及装置
CN101241467A (zh) 一种面向Web应用的自动化白盒测试系统及方法
CN102053906A (zh) 用于收集程序运行时信息的系统和方法
CN108509344B (zh) 日切跑批测试方法、设备及可读存储介质
CN112286806A (zh) 自动化测试方法、装置、存储介质及电子设备
CN112433948A (zh) 一种基于网络数据分析的仿真测试系统及方法
CN113238930A (zh) 软件系统的测试方法、装置、终端设备和存储介质
CN115080389A (zh) 提升指标统计效率的测试系统、方法、设备及存储介质
CN111459814A (zh) 自动化测试用例生成方法、装置及电子设备
CN117493188A (zh) 接口测试方法及装置、电子设备及存储介质
CN111897721B (zh) 一种api接口的自动化测试方法及存储介质
CN115794639B (zh) 基于流程的可视化测试及可视化仿真模拟测试系统和方法
CN115248782B (zh) 一种自动化测试方法、装置及计算机设备
CN116467188A (zh) 一种多环境场景下的通用本地复现系统和方法
Ereiz Automating Web Application Testing Using Katalon Studio
CN110941830B (zh) 一种漏洞数据处理方法和装置
CN114297961A (zh) 一种芯片测试用例处理方法及相关装置
CN113835999A (zh) 一种基于工作流的分布式异构处理系统的测试方法
Costa et al. Taxonomy of performance testing tools: A systematic literature review
CN111813665A (zh) 一种基于python的大数据平台接口数据测试方法和系统
Bicevskis et al. Data quality model-based testing of information systems
CN113176995B (zh) 基于测试场景的接口测试方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination