CN116909904A - 一种基于大流量高并发条件下的软件功能自动化测试方法 - Google Patents

一种基于大流量高并发条件下的软件功能自动化测试方法 Download PDF

Info

Publication number
CN116909904A
CN116909904A CN202310896345.9A CN202310896345A CN116909904A CN 116909904 A CN116909904 A CN 116909904A CN 202310896345 A CN202310896345 A CN 202310896345A CN 116909904 A CN116909904 A CN 116909904A
Authority
CN
China
Prior art keywords
test
software
performance
testing
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310896345.9A
Other languages
English (en)
Inventor
杨晓军
曹檀
史星富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Lidong Software Development Co ltd
Original Assignee
Hefei Lidong Software Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Lidong Software Development Co ltd filed Critical Hefei Lidong Software Development Co ltd
Priority to CN202310896345.9A priority Critical patent/CN116909904A/zh
Publication of CN116909904A publication Critical patent/CN116909904A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3696—Methods or tools to render software testable
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及软件测试技术领域，且公开了一种基于大流量高并发条件下的软件功能自动化测试方法，包括软件功能测试自动化系统、软件性能测试自动化系统、测试作业调度控制系统、测试数据看板及报表系统。该基于大流量高并发条件下的软件功能自动化测试方法，支持现有多种独立的工具、技术的集成，友好的可视化的操作界面设计，极大提高了软件系统的测试工作的效率，保证了软件的开发和运维质量，支持现有多种独立的工具、技术的集成，友好的可视化的操作界面设计，极大提高了软件系统的测试工作的效率，保证了软件的开发和运维质量。

Description

一种基于大流量高并发条件下的软件功能自动化测试方法
技术领域
本发明涉及软件测试技术领域，具体为一种基于大流量高并发条件下的软件功能自动化测试方法。
背景技术
目前的软件系统在测试时，一般会分为软件功能测试和软件性能测试两部分，对于较大系统则会由不同的团队来实施各自的测试工作。比如说基于B/S(浏览器/服务器)，或B/C/S(浏览器/客户端/服务器)架构的软件系统，功能测试部分专注于B或C端的功能是否正确，以验证功能代码的正确性，但不能保证S端的性能情况。而性能测试部分，一般则是跳过B或C端用户界面(代码)，直接调用S端提供的接口(API)来实施压力测试，以获取S端硬件资源(如中央处理器、内存、硬盘、网络等)使用情况，验证各种压力下的S端代码的性能优良度。
这种分离的测试方式，会给系统的正常使用，带来潜在的风险，因为上述的两种测试路径，都没有涵盖大用户流量下的软件功能体验测试。在用户大流量情况下，S端虽然还在运行(没有宕机)，但前端的用户使用体验已变得很差，典型的像页面显示(渲染)时间变长、超时、显示错误、死页面等，造成用户操作困难甚至完全不能操作等情况，这表明软件系统此时已不能正常工作，为此本申请现提出一种基于大流量高并发条件下的软件功能自动化测试方法。
发明内容
本发明提供如下技术方案：一种基于大流量高并发条件下的软件功能自动化测试方法，包括软件功能测试自动化系统、软件性能测试自动化系统、测试作业调度控制系统、测试数据看板及报表系统，具体测试方法如下：
S1、开始测试
S2、测试作业调度控制系统命令软件性能测试自动化系统开始启动性能测试作业；
S3、软件性能测试自动化系统收集检查监测点数据；
S4、测试作业调度控制系统判断是否超过性能阈值；
否，则再次进行步骤S3；
是，则进行下一步骤S5；
S5、测试作业调度控制系统命令软件功能测试自动化系统启动功能测试作业；
S6、软件功能测试自动化系统逐条执行功能测试脚本，收集测试结果；
S7、软件功能测试自动化系统根据测试结果判断测试是否通过
是，则再次进行步骤S6；
否，则进入下一步骤S8；
S8、测试作业调度控制系统由规则决定是否结束测试；
否，则再次进行步骤S6；
是，则进入下一步骤S9；
S9、测试作业调度控制系统结束性能测试作业和功能测试作业。
优选的，所述软件功能测试自动化系统：负责功能测试脚本生成，TA工具集成，脚本运行，结果收集，功能点定义与监测，数据交换，结果比较等所有功能测试所需工作；要求TA脚本支持跨机，跨平台运行。
优选的，所述软件性能测试自动化系统：负责性能测试脚本管理，工具集成，脚本运行，被测对象性能参数收集、检测，性能监测点定义、检测管理，数据交换，日志管理的工作。
优选的，所述测试作业调度控制系统：负责功能测试作业，与性能测试作业的调度、检测，功能测试功能点与性能测试监测点的逻辑处理，被测对象的性能数据接收兼容接口，向外提供接口，供第三方(如CI/CD等)调度/触发/停止测试作业。
优选的，所述测试数据看板及报表系统：负责功能测试系统、性能测试系统运行测试数据的收集，整理、存储、实时监控与数据展示，同时根据不同需要生成各类测试数据报表，另外，可根据功能测试功能点和性能测试监测点的报警定义，通过自身提供的对外接口，发送报警信息给第三方。
优选的，在实施本系统中，需对各类数据对象、元素进行准确定义，包含测试作业，被测对象，性能监测点，功能测试点；
-测试作业：
<Job>
<Id>…</Id>
<Name>…</Name>
<Description>…</Description>
<Type>Performance/Function</Type>
</Job>
-性能监测点：
<P-point>
<Point Name></Point Name>
<Type>CPU/Mem/Disk/Network</Type>
<Threshold></Threshold>
<Machine IP></Machine IP>
<Machine Name></Machine Name>
<MAC Addr></MAC Addr>
<Job Id></Job Id>
</P-point>
-功能测试点：
<F-point>
<Point Name></Point Name>
<Platform Type></Platform Type>
<Value></Value>
<Response Time></Response Time>
</F-point>。
-被测对象：
<T-object>
<Id>…</Id>
<Name>…</Name>
<Description>…</Description>
<Host>…</Host>
<Type>Direct/Prometheus/…</Type>
<Collectorurl>…</Collectorurl>
</T-object>
与现有技术相比，本发明提供了一种基于大流量高并发条件下的软件功能自动化测试方法，具备以下有益效果：
1、该基于大流量高并发条件下的软件功能自动化测试方法，支持跨机器、跨平台(包括台式机、手机)测试，该自动化测试方法支持基于GUI的软件功能测试，该方法可以协调、操作软件的性能测试和功能测试的节奏和步骤，测试过程可视化，易于用户监控测试过程，各类数据分析报表有助于发现异常的发现与定位，由于是跨系统平台(Linux、Windows等)设计的自动化解决方案，支持现有多种独立的工具、技术的集成，友好的可视化的操作界面设计，极大提高了软件系统的测试工作的效率，保证了软件的开发和运维质量。
附图说明
图1为本发明完整作业工作流程示意图；
图2为本发明软件功能测试自动化系统示意图；
图3为本发明软件性能测试自动化系统示意图；
图4为本发明测试作业调度控制系统示意图；
图5为本发明测试数据看板及报表系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图，一种基于大流量高并发条件下的软件功能自动化测试方法，包括软件功能测试自动化系统、软件性能测试自动化系统、测试作业调度控制系统、测试数据看板及报表系统，具体测试方法如下：
S1、开始测试
S2、测试作业调度控制系统命令软件性能测试自动化系统开始启动性能测试作业；
S3、软件性能测试自动化系统收集检查监测点数据；
S4、测试作业调度控制系统判断是否超过性能阈值；
否，则再次进行步骤S3；
是，则进行下一步骤S5；
S5、测试作业调度控制系统命令软件功能测试自动化系统启动功能测试作业；
S6、软件功能测试自动化系统逐条执行功能测试脚本，收集测试结果；
S7、软件功能测试自动化系统根据测试结果判断测试是否通过
是，则再次进行步骤S6；
否，则进入下一步骤S8；
S8、测试作业调度控制系统由规则决定是否结束测试；
否，则再次进行步骤S6；
是，则进入下一步骤S9；
S9、测试作业调度控制系统结束性能测试作业和功能测试作业。
进一步的，所述软件功能测试自动化系统：负责功能测试脚本生成，TA工具集成，脚本运行，结果收集，功能点定义与监测，数据交换，结果比较等所有功能测试所需工作；要求TA脚本支持跨机，跨平台运行。
进一步的，所述软件性能测试自动化系统：负责性能测试脚本管理，工具集成，脚本运行，被测对象性能参数收集、检测，性能监测点定义、检测管理，数据交换，日志管理的工作。
进一步的，所述测试作业调度控制系统：负责功能测试作业，与性能测试作业的调度、检测，功能测试功能点与性能测试监测点的逻辑处理，被测对象的性能数据接收,向外提供接口，供第三方(如CI/CD等)调度/触发/停止测试作业。
进一步的，所述测试数据看板及报表系统：负责功能测试系统、性能测试系统运行测试数据的收集，整理、存储、实时监控与数据展示，同时根据不同需要生成各类测试数据报表，另外，可根据功能测试功能点和性能测试监测点的报警定义，通过自身提供的对外接口，发送报警信息给第三方。
进一步的，在实施本系统中，需对各类数据对象、元素进行准确定义，包含测试作业，被测对象，性能监测点，功能测试点；
-测试作业：
<Job>
<Id>…</Id>
<Name>…</Name>
<Description>…</Description>
<Type>Performance/Function</Type>
</Job>
-性能监测点：
<P-point>
<Point Name></Point Name>
<Type>CPU/Mem/Disk/Network</Type>
<Threshold></Threshold>
<Machine IP></Machine IP>
<Machine Name></Machine Name>
<MAC Addr></MAC Addr>
<Job Id></Job Id>
</P-point>
-功能测试点：
<F-point>
<Point Name></Point Name>
<Platform Type></Platform Type>
<Value></Value>
<Response Time></Response Time>
</F-point>。
-被测对象：
<T-server>
<Id>…</Id>
<Name>…</Name>
<Description>…</Description>
<Host>…</Host>
<Type>Direct/Prometheus/…</Type>
<Collectorurl>…</Collectorurl>
</T-server>
工作原理：该自动化测试方法是跨系统平台设计的自动化解决方案，支持现有多种独立的工具、技术的集成，友好的可视化的操作界面设计，极大提高了软件系统的测试工作的效率，保证了软件的开发和运维质量；
该基于大流量高并发条件下的软件功能自动化测试方法，由软件功能测试自动化系统、软件性能测试自动化系统、测试作业调度控制系统和测试数据看板及报表系统四个子系统组成，它们在作业调度控制系统的协调下工作，有序完成设定工作，工作流程和过程中的实时数据结果，可通过数据展板实时展示出来；在作业调度系统中，可以自动或手动启动或停止正在进行的测试作业；该方法可以协调、操作软件的性能测试和功能测试的节奏和步骤，测试过程可视化，易于用户监控测试过程，各类数据分析报表有助于发现异常的发现与定位。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于大流量高并发条件下的软件功能自动化测试方法，其特征在于，包括软件功能测试自动化系统、软件性能测试自动化系统、测试作业调度控制系统、测试数据看板及报表系统，具体测试方法如下：
S1、开始测试
S2、测试作业调度控制系统命令软件性能测试自动化系统开始启动性能测试作业；
S3、软件性能测试自动化系统收集检查监测点数据；
S4、测试作业调度控制系统判断是否超过性能阈值；
否，则再次进行步骤S3；
是，则进行下一步骤S5；
S5、测试作业调度控制系统命令软件功能测试自动化系统启动功能测试作业；
S6、软件功能测试自动化系统逐条执行功能测试脚本，收集测试结果；
S7、软件功能测试自动化系统根据测试结果判断测试是否通过
是，则再次进行步骤S6；
否，则进入下一步骤S8；
S8、测试作业调度控制系统由规则决定是否结束测试；
否，则再次进行步骤S6；
是，则进入下一步骤S9；
S9、测试作业调度控制系统结束性能测试作业和功能测试作业。
2.根据权利要求1所述的一种基于大流量高并发条件下的软件功能自动化测试方法，其特征在于：所述软件功能测试自动化系统：负责功能测试脚本生成，TA工具集成，脚本运行，结果收集，功能点定义与监测，数据交换，结果比较等所有功能测试所需工作；要求TA脚本支持跨机，跨平台运行。
3.根据权利要求1所述的一种基于大流量高并发条件下的软件功能自动化测试方法，其特征在于：所述软件性能测试自动化系统：负责性能测试脚本管理，工具集成，脚本运行，被测对象性能参数收集、检测，性能监测点定义、检测管理，数据交换，日志管理的工作。
4.根据权利要求1所述的一种基于大流量高并发条件下的软件功能自动化测试方法，其特征在于：所述测试作业调度控制系统：负责功能测试作业，与性能测试作业的调度、检测，功能测试功能点与性能测试监测点的逻辑处理，被测对象的性能数据接收兼容接口，向外提供接口，供第三方(如CI/CD等)调度/触发/停止测试作业。
5.根据权利要求1所述的一种基于大流量高并发条件下的软件功能自动化测试方法，其特征在于：所述测试数据看板及报表系统：负责功能测试系统、性能测试系统运行测试数据的收集，整理、存储、实时监控与数据展示，同时根据不同需要生成各类测试数据报表，另外，可根据功能测试功能点和性能测试监测点的报警定义，通过自身提供的对外接口，发送报警信息给第三方。
6.根据权利要求1所述的一种基于大流量高并发条件下的软件功能自动化测试方法，其特征在于：在实施本系统中，需对各类数据对象、元素进行准确定义，包含测试作业，被测对象，性能监测点，功能测试点。
CN202310896345.9A 2023-07-20 2023-07-20 一种基于大流量高并发条件下的软件功能自动化测试方法 Pending CN116909904A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310896345.9A CN116909904A (zh) 2023-07-20 2023-07-20 一种基于大流量高并发条件下的软件功能自动化测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310896345.9A CN116909904A (zh) 2023-07-20 2023-07-20 一种基于大流量高并发条件下的软件功能自动化测试方法

Publications (1)

Publication Number Publication Date
CN116909904A true CN116909904A (zh) 2023-10-20

Family

ID=88350731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310896345.9A Pending CN116909904A (zh) 2023-07-20 2023-07-20 一种基于大流量高并发条件下的软件功能自动化测试方法

Country Status (1)

Country Link
CN (1) CN116909904A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117785643A (zh) * 2024-02-23 2024-03-29 广州飞进信息科技有限公司 一种软件开发用性能测试平台

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117785643A (zh) * 2024-02-23 2024-03-29 广州飞进信息科技有限公司 一种软件开发用性能测试平台
CN117785643B (zh) * 2024-02-23 2024-05-14 广州飞进信息科技有限公司 一种软件开发用性能测试平台

Similar Documents

Publication Publication Date Title
CN108683562B (zh) 异常检测定位方法、装置、计算机设备及存储介质
CN107341098B (zh) 软件性能测试方法、平台、设备及存储介质
CN107967209B (zh) 一种检测前端网页代码中错误的方法、检测设备及服务器
WO2020237877A1 (zh) 日志监控方法、装置、终端与存储介质
CN111209166B (zh) 一种面向b/s架构业务系统的自动巡检系统
CN116909904A (zh) 一种基于大流量高并发条件下的软件功能自动化测试方法
CN111506470A (zh) 浏览器错误检测和告警方法、装置、设备及存储介质
CN116954624B (zh) 基于软件开发包的编译方法、软件开发系统及服务器
CN114048099A (zh) Java应用监控方法及装置、存储介质及电子设备
CN112269697B (zh) 一种设备存储性能测试方法、系统及相关装置
CN116738091A (zh) 页面监控方法、装置、电子设备及存储介质
CN110232013B (zh) 测试方法、装置以及控制器和介质
CN115248782B (zh) 一种自动化测试方法、装置及计算机设备
CN111124818A (zh) 一种扩展器Expander的监控方法、装置及设备
CN115827373A (zh) 应用程序崩溃类问题的记录及定位方法、系统、终端设备及存储介质
CN110134559B (zh) 一种bmc故障检测方法、系统及相关组件
CN111722997B (zh) 自动化测试的异常检测方法及计算机可读存储介质
CN110674197A (zh) 一种业务操作的可视化配置与抓取系统
CN113238901A (zh) 多设备的自动化测试方法及装置、存储介质、计算机设备
CN111679943A (zh) 一种服务器测试系统
CN112433942A (zh) 基于人工智能模型的软件自动化测试方法、装置和系统
CN112187527A (zh) 微服务的异常定位方法、装置、电子设备及可读存储介质
CN113704088B (zh) 一种进程追溯方法、进程追溯系统及相关装置
CN116841863A (zh) 性能数据的监控系统、方法、装置及电子设备
CN112346897B (zh) 一种处理计算机故障的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination