CN117331846A - 一种基于互联网软件开发运行测试管理系统 - Google Patents
一种基于互联网软件开发运行测试管理系统 Download PDFInfo
- Publication number
- CN117331846A CN117331846A CN202311619736.2A CN202311619736A CN117331846A CN 117331846 A CN117331846 A CN 117331846A CN 202311619736 A CN202311619736 A CN 202311619736A CN 117331846 A CN117331846 A CN 117331846A
- Authority
- CN
- China
- Prior art keywords
- target software
- test
- software
- network
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 237
- 238000011156 evaluation Methods 0.000 claims abstract description 112
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000012797 qualification Methods 0.000 claims abstract description 26
- 238000011161 development Methods 0.000 claims description 42
- 230000005540 biological transmission Effects 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 238000011084 recovery Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 5
- 238000011056 performance test Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3676—Test management for coverage analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及互联网软件开发测试技术领域，涉及一种基于互联网软件开发运行测试管理系统，通过设置软件性能测试模块、软件设备运行性能评价模块、软件网络运行性能评价模块、软件服务器处理能力评价模块、软件开发运行测试合格判定模块和云数据库，本发明综合目标软件的设备运行性能评价系数、网络运行性能评价系数和服务器处理能力评价系数，判定目标软件开发运行测试是否合格，多样化测试场景结合细致性测试指标分析，实现互联网软件开发运行的科学准确性测试，为互联网软件的开发和测试提供了更多的信息和指导，以确保软件在不同条件下都能够表现出色，从而有助于提高互联网软件的质量、可靠性和用户满意度。
Description
技术领域
本发明涉及互联网软件开发测试技术领域，具体而言，涉及一种基于互联网软件开发运行测试管理系统。
背景技术
在当今数字化时代，互联网软件的开发和运行测试变得日益重要。随着互联网用户数量的不断增加，用户对软件性能、稳定性和安全性的需求也在不断提高。为了确保互联网软件的质量，开发团队需要进行全面的测试和管理，开发一种基于互联网的软件开发运行测试管理系统成为了迫切需求。
现有针对互联网的软件开发运行测试管理系统已能够利用先进的性能监测和分析工具进行软件测试，提高测试效率的同时保障测试数据采纳的可靠性，在一定程度上满足现有要求，但仍存在局限性，其具体表现在：1、现有技术缺乏具有针对性的全方面测试，多设置单一化测试场景，例如在互联网软件网络性能测试层面基于单一网络运行条件或者单一数据传输行为考量互联网软件的网络运行性能，在互联网软件客户端性能测试层面基于多类客户端设备的单一测试用例或者单一客户端设备的多个测试用例，测试场景建设的片面化浅显化使得测试结果可能无法覆盖真实世界中各种网络状况和设备类型下软件的表现情况，进而不具有较高的可信度，影响到后续的互联网软件开发质量保障。
2、现有技术缺乏细致性的深层次测试指标分析，尽管现有技术能够从客户端设备、网络条件以及服务器对互联网软件进行性能测试，但针对各方面的性能测试指标并不能做到全面分析，例如忽略互联网软件在客户端设备的资源利用是否合理，可能会导致互联网软件在某些设备上资源占用严重，影响到客户端设备的正常使用，忽略互联网软件处理器错误请求处理能力评估，无法全面了解互联网软件在面对错误请求时的处理能力和稳定性，不利于互联网软件性能的全面了解，从而无法进行全面的测试合格判断。
发明内容
为了克服背景技术中的缺点，本发明实施例提供了一种基于互联网软件开发运行测试管理系统，能够有效解决上述背景技术中涉及的问题。
本发明的目的可以通过以下技术方案来实现：一种基于互联网软件开发运行测试管理系统，包括：软件性能测试模块，用于分别对目标软件进行客户端测试、网络测试和服务器测试，获取目标软件的客户端测试表现指标、网络测试表现指标和服务器测试表现指标。
软件设备运行性能评价模块，用于根据目标软件的客户端测试表现指标，分析目标软件的设备运行性能评价系数。
软件网络运行性能评价模块，用于根据目标软件的网络测试表现指标，分析目标软件的网络运行性能评价系数。
软件服务器处理能力评价模块，用于根据目标软件的服务器测试表现指标，分析目标软件的服务器处理能力评价系数。
软件开发运行测试合格判定模块，用于结合目标软件的设备运行性能评价系数、网络运行性能评价系数和服务器处理能力评价系数，判定目标软件开发运行测试是否合格，并进行反馈。
云数据库，用于存储目标软件的客户端测试期望指标、网络测试期望指标和服务器测试期望指标，其中客户端测试期望指标包括目标软件启动时长允许阈值、执行目标软件测试用例的帧速率、交互响应时长、页面加载时长的合理阈值以及各类客户端设备运行目标软件的资源利用率合理范围，网络测试期望指标包括目标软件在各类网络运行条件下传输单位千字节、单位千兆字节数据的网络传输效能指数合理阈值，服务器测试期望指标包括目标软件处理器的错误请求的类别分辨正确率、识别时长和恢复时长的合理阈值、预期并发连接数阈值。
优选地，所述对目标软件进行客户端测试的具体过程为：设置固定网络运行条件，设计目标软件各测试用例，包括各常规用例和各边界用例，利用设备仿真工具模拟各类客户端设备，在各类客户端设备启动目标软件并执行目标软件各测试用例，记录各类客户端设备在固定网络运行条件下执行目标软件各测试用例的性能表现。
优选地，所述对目标软件进行网络测试的具体过程为：设置固定客户端设备，利用网络模拟工具模拟目标软件各网络运行条件，包括3G网络、4G网络、Wifi网络和高延迟网络，在各网络运行条件下分别执行单位千字节和单位千兆字节的数据传输行为，记录固定客户端设备中目标软件在各网络运行条件下的数据传输表现。
优选地，所述对目标软件进行服务器测试的具体过程为：设置固定客户端设备和固定网络运行条件，编写自动化测试脚本模拟多并发用户访问服务器，在测试脚本中，为各并发用户构造其对应请求类型，包含正常请求、非严重错误请求和严重错误请求，在目标软件的固定负载模型中按照设定速度不断增加并发用户数量直至处理器请求超时，记录目标软件在测试过程中的处理器表现。
优选地，所述客户端测试表现指标包括各类客户端设备启动目标软件时长、执行目标软件各测试用例的帧速率、最大交互响应时长、平均页面加载时长、CPU利用率、内存使用量和电池消耗占比。
所述网络测试表现指标包括目标软件在各类网络运行条件下传输单位千字节、单位千兆字节数据的网络吞吐量、延迟时长、数据的丢失率和错误率。
所述服务器测试表现指标包括目标软件处理器的最大并发连接数、错误请求的类别分辨正确率、最大的识别时长和恢复时长、各目标并发用户请求的负载分配量。
优选地，所述分析目标软件的设备运行性能评价系数，包括：提取客户端测试表现指标中各类客户端设备启动目标软件时长、执行目标软件各测试用例的帧速率/>、最大交互响应时长/>和平均页面加载时长/>，其中/>为各类客户端设备的编号，/>，为目标软件各测试用例的编号，/>。
提取云数据库中存储的客户端测试期望指标中目标软件启动时长允许阈值、执行目标软件测试用例的帧速率、交互响应时长、页面加载时长的合理阈值，分别记为。
计算各类客户端设备运行目标软件的用户界面体验评估指数，，其中/>为自然常数。
提取客户端测试表现指标中各类客户端设备执行目标软件各测试用例的CPU利用率、内存使用量/>和电池消耗占比/>，分析各类客户端设备执行目标软件各测试用例的资源利用率/>，根据测试用例的类型，将其进一步筛分为各类客户端设备执行目标软件各常规用例和各边界用例的资源利用率，分别记为/>，其中/>为目标软件各常规用例的编号，/>，/>为目标软件各边界用例的编号，/>，提取云数据库中存储的客户端测试期望指标中各类客户端设备运行目标软件的资源利用率合理范围，获取各类客户端设备运行目标软件的参照资源利用率/>，计算各类客户端设备运行目标软件的资源利用合理评估指数/>，/>，其中/>分别为目标软件常规用例、边界用例的数量，/>为预设的第/>类客户端设备运行目标软件的资源利用率合理偏差阈值，/>为第/>类客户端设备执行目标软件第/>个常规用例的资源利用率。
由公式得到目标软件的设备运行性能评价系数，其中/>为客户端设备类别数量。
优选地，所述各类客户端设备执行目标软件各测试用例的资源利用率的计算公式为：。
优选地，所述分析目标软件的网络运行性能评价系数，包括：提取网络测试表现指标中目标软件在各类网络运行条件下传输单位千字节数据的网络吞吐量、延迟时长、数据的丢失率和错误率，分别记为，/>为各类网络运行条件的编号，，由公式/>得到目标软件在各类网络运行条件下传输单位千字节数据的网络传输能效指数。
同理计算目标软件在各类网络运行条件下传输单位千兆字节数据的网络传输能效指数。
提取云数据库中存储的网络测试期望指标中目标软件在各类网络运行条件下传输单位千字节、单位千兆字节数据的网络传输效能指数合理阈值，分别记为。
设置各类网络运行条件的网络运行性能影响权重，分析目标软件的网络运行性能评价系数/>，其计算公式为：/>。
优选地，所述分析目标软件的服务器处理能力评价系数，包括：提取服务器测试表现指标中目标软件处理器的错误请求的类别分辨正确率、最大的识别时长/>和恢复时长，结合云数据库存储的服务器测试预期指标中目标软件处理器的错误请求的类别分辨正确率、识别时长和恢复时长的合理阈值，分别记为/>，计算目标软件处理器的错误请求处理能力指数/>，/>。
提取服务器测试表现指标中目标软件的最大并发连接数和各目标并发用户请求的负载分配量/>，其中/>为各目标并发用户的编号，/>，结合云数据库存储的服务器测试预期指标中目标软件的预期并发连接数阈值/>，计算目标软件的服务器处理能力评价系数/>，/>，其中/>为第/>个目标并发用户请求的负载分配量。
优选地，所述目标软件开发运行测试是否合格的判定过程为：由公式得到目标软件的开发运行测试合格评价系数，其中为预设的目标软件的设备运行性能评价系数、网络运行性能评价系数、服务器处理能力评价系数对应权重占比，将目标软件的开发运行测试合格评价系数与预设的软件开发运行测试合格评价系数合理阈值进行比对，若其大于或等于预设的软件开发运行测试合格评价系数合理阈值，判定目标软件开发运行测试合格，反之判定不合格。
相对于现有技术，本发明的实施例至少具有如下优点或有益效果：（1）本发明通过设置各类客户端设备在固定网络运行条件下执行目标软件各测试用例的测试场景，从各类客户端设备运行目标软件的用户界面体验评估指数和资源利用合理评估指数两方面，综合分析目标软件的设备运行性能评价系数，弥补现有技术在互联网软件的客户端设备测试层面场景设置单一数据分析浅显的缺点，为目标软件开发运行测试合格性判定提供可靠数据支撑。
（2）本发明通过记录固定客户端设备中目标软件在各网络运行条件下的数据传输表现，分析目标软件在各类网络运行条件下传输单位千字节数据、单位千兆字节数据的网络传输能效指数，综合考量目标软件的网络运行性能评价系数，使得目标软件的网络性能评价变得更具体化和可量化，有助于开发人员更好地了解目标软件在不同数据传输情况下的表现。
（3）本发明通过在目标软件的固定负载模型中按照设定速度不断增加并发用户数量直至处理器请求超时，记录目标软件在测试过程中的处理器表现，且各并发用户有着对应请求类型，从而评估目标软件处理器的错误请求处理能力、并存兼容能力和负载分配能力，完善现有技术在这一层面的缺失，全面分析目标软件的服务器处理能力评价系数，更真实地反映目标软件在高负载且存在错误请求的情况下的表现，为软件处理器的开发和优化提供了更为全面、准确的性能评价方法。
（4）本发明结合目标软件的设备运行性能评价系数、网络运行性能评价系数和服务器处理能力评价系数，判定目标软件开发运行测试是否合格，提供了一种更全面、综合的方法来评估目标软件的性能，并为开发和测试阶段提供了更多的信息和指导，以确保软件在不同条件下都能够表现出色，从而有助于提高软件的质量、可靠性和用户满意度。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明的模块连接示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，本发明提供一种基于互联网软件开发运行测试管理系统，包括：软件性能测试模块、软件设备运行性能评价模块、软件网络运行性能评价模块、软件服务器处理能力评价模块、软件开发运行测试合格判定模块和云数据库。
所述软件性能测试模块分别与软件设备运行性能评价模块、软件网络运行性能评价模块、软件服务器处理能力评价模块连接，软件设备运行性能评价模块、软件网络运行性能评价模块、软件服务器处理能力评价模块均与软件开发运行测试合格判定模块连接，且软件设备运行性能评价模块、软件网络运行性能评价模块、软件服务器处理能力评价模块均与云数据库连接。
所述软件性能测试模块，用于分别对目标软件进行客户端测试、网络测试和服务器测试，获取目标软件的客户端测试表现指标、网络测试表现指标和服务器测试表现指标。
具体地，所述对目标软件进行客户端测试的具体过程为：设置固定网络运行条件，设计目标软件各测试用例，包括各常规用例和各边界用例，利用设备仿真工具模拟各类客户端设备，在各类客户端设备启动目标软件并执行目标软件各测试用例，记录各类客户端设备在固定网络运行条件下执行目标软件各测试用例的性能表现。
需要说明的是，测试用例是测试过程中的具体实例，用于验证软件功能是否按照预期进行，是测试计划的一部分，描述了测试所需的输入、预期行为和预期输出，其中常规用例是针对软件功能的基本和典型测试场景，通常覆盖常见的用户操作和预期结果，而边界用例则涉及对软件的极端条件进行测试。
示例性地，对于一电子商务网站，其一常规用例可以是用户登录并浏览产品，将一产品添加到购物车，然后进行结账，其一边界用例可以是用户在购物车中添加大量产品，其加购数量可能远远超出常规购物习惯。
具体地，所述对目标软件进行网络测试的具体过程为：设置固定客户端设备，利用网络模拟工具模拟目标软件各网络运行条件，包括3G网络、4G网络、Wifi网络和高延迟网络，在各网络运行条件下分别执行单位千字节和单位千兆字节的数据传输行为，记录固定客户端设备中目标软件在各网络运行条件下的数据传输表现。
具体地，所述对目标软件进行服务器测试的具体过程为：设置固定客户端设备和固定网络运行条件，编写自动化测试脚本模拟多并发用户访问服务器，在测试脚本中，为各并发用户构造其对应请求类型，包含正常请求、非严重错误请求和严重错误请求，在目标软件的固定负载模型中按照设定速度不断增加并发用户数量直至处理器请求超时，记录目标软件在测试过程中的处理器表现。
具体地，所述客户端测试表现指标包括各类客户端设备启动目标软件时长、执行目标软件各测试用例的帧速率、最大交互响应时长、平均页面加载时长、CPU利用率、内存使用量和电池消耗占比。
需要说明的是，上述客户端测试表现指标内各参数均可通过第三方专业客户端性能测试工具监测获取，通过记录各类客户端设备针对目标软件启动开始时间戳和启动完成时间戳，将二者时间戳作差得到各类客户端设备启动目标软件时长，特别说明的是，上述各类客户端设备执行目标软件各测试用例的电池消耗占比可通过记录各测试用例执行前后电池电量，得出各测试用例执行消耗电量，与满电电量进行比对得出。
所述网络测试表现指标包括目标软件在各类网络运行条件下传输单位千字节、单位千兆字节数据的网络吞吐量、延迟时长、数据的丢失率和错误率。
需要说明的是，上述网络测试表现指标内各参数均可通过第三方专业网络性能测试工具监测获取。
所述服务器测试表现指标包括目标软件处理器的最大并发连接数、错误请求的类别分辨正确率、最大的识别时长和恢复时长、各目标并发用户请求的负载分配量。
需要说明的是，上述服务器测试表现指标内各参数均可通过第三方专业服务器性能测试工具监测获取，其中最大并发连接数指的是在目标软件的固定负载模型中按照设定速度不断增加并发用户数量直至处理器请求超时的测试过程中，直至目标软件处理器请求超时前一时间点的并发用户数量，由于一个并发用户设定一个请求，所以此时的并发用户数量相当于目标软件处理器的最大并发连接数量，本发明可以将二者的数量进行相同表示，并且将目标软件处理器请求超时前一时间点的各并发用户记为各目标并发用户。
所述软件设备运行性能评价模块，用于根据目标软件的客户端测试表现指标，分析目标软件的设备运行性能评价系数。
具体地，所述分析目标软件的设备运行性能评价系数，包括：提取客户端测试表现指标中各类客户端设备启动目标软件时长、执行目标软件各测试用例的帧速率/>、最大交互响应时长/>和平均页面加载时长/>，其中/>为各类客户端设备的编号，/>，为目标软件各测试用例的编号，/>。
提取云数据库中存储的客户端测试期望指标中目标软件启动时长允许阈值、执行目标软件测试用例的帧速率、交互响应时长、页面加载时长的合理阈值，分别记为。
计算各类客户端设备运行目标软件的用户界面体验评估指数，，其中/>为自然常数。
提取客户端测试表现指标中各类客户端设备执行目标软件各测试用例的CPU利用率、内存使用量/>和电池消耗占比/>，分析各类客户端设备执行目标软件各测试用例的资源利用率/>，根据测试用例的类型，将其进一步筛分为各类客户端设备执行目标软件各常规用例和各边界用例的资源利用率，分别记为/>，其中/>为目标软件各常规用例的编号，/>，/>为目标软件各边界用例的编号，/>，提取云数据库中存储的客户端测试期望指标中各类客户端设备运行目标软件的资源利用率合理范围，获取各类客户端设备运行目标软件的参照资源利用率/>，计算各类客户端设备运行目标软件的资源利用合理评估指数/>，/>，其中/>分别为目标软件常规用例、边界用例的数量，/>为预设的第/>类客户端设备运行目标软件的资源利用率合理偏差阈值，/>为第/>类客户端设备执行目标软件第/>个常规用例的资源利用率。
由公式得到目标软件的设备运行性能评价系数，其中/>为客户端设备类别数量。
本发明实施例通过设置各类客户端设备在固定网络运行条件下执行目标软件各测试用例的测试场景，从各类客户端设备运行目标软件的用户界面体验评估指数和资源利用合理评估指数两方面，综合分析目标软件的设备运行性能评价系数，弥补现有技术在互联网软件的客户端设备测试层面场景设置单一数据分析浅显的缺点，为目标软件开发运行测试合格性判定提供可靠数据支撑。
具体地，所述各类客户端设备执行目标软件各测试用例的资源利用率的计算公式为：。
所述软件网络运行性能评价模块，用于根据目标软件的网络测试表现指标，分析目标软件的网络运行性能评价系数。
具体地，所述分析目标软件的网络运行性能评价系数，包括：提取网络测试表现指标中目标软件在各类网络运行条件下传输单位千字节数据的网络吞吐量、延迟时长、数据的丢失率和错误率，分别记为，/>为各类网络运行条件的编号，，由公式/>得到目标软件在各类网络运行条件下传输单位千字节数据的网络传输能效指数。
同理计算目标软件在各类网络运行条件下传输单位千兆字节数据的网络传输能效指数。
提取云数据库中存储的网络测试期望指标中目标软件在各类网络运行条件下传输单位千字节、单位千兆字节数据的网络传输效能指数合理阈值，分别记为。
设置各类网络运行条件的网络运行性能影响权重，分析目标软件的网络运行性能评价系数/>，其计算公式为：/>。
需要说明的是，上述各类网络运行条件的网络运行性能影响权重的设置是依据不同网络条件下的数据传输性能来进行调整的，综合考虑网络质量和性能表现的因素。通常当网络质量较高、网络速度较快时，数据传输性能更为出色。
示例性地，设置各类网络运行条件的网络运行性能影响权重可以为：Wifi网络：0.4；4G网络：0.3；3G网络：0.2；高延迟网络：0.1。
本发明实施例通过记录固定客户端设备中目标软件在各网络运行条件下的数据传输表现，分析目标软件在各类网络运行条件下传输单位千字节数据、单位千兆字节数据的网络传输能效指数，综合考量目标软件的网络运行性能评价系数，使得目标软件的网络性能评价变得更具体化和可量化，有助于开发人员更好地了解目标软件在不同数据传输情况下的表现。
所述软件服务器处理能力评价模块，用于根据目标软件的服务器测试表现指标，分析目标软件的服务器处理能力评价系数。
具体地，所述分析目标软件的服务器处理能力评价系数，包括：提取服务器测试表现指标中目标软件处理器的错误请求的类别分辨正确率、最大的识别时长/>和恢复时长，结合云数据库存储的服务器测试预期指标中目标软件处理器的错误请求的类别分辨正确率、识别时长和恢复时长的合理阈值，分别记为/>，计算目标软件处理器的错误请求处理能力指数/>，/>。
提取服务器测试表现指标中目标软件的最大并发连接数和各目标并发用户请求的负载分配量/>，其中/>为各目标并发用户的编号，/>，结合云数据库存储的服务器测试预期指标中目标软件的预期并发连接数阈值/>，计算目标软件的服务器处理能力评价系数/>，/>，其中/>为第/>个目标并发用户请求的负载分配量。
本发明实施例通过在目标软件的固定负载模型中按照设定速度不断增加并发用户数量直至处理器请求超时，记录目标软件在测试过程中的处理器表现，且各并发用户有着对应请求类型，从而评估目标软件处理器的错误请求处理能力、并存兼容能力和负载分配能力，完善现有技术在这一层面的缺失，全面分析目标软件的服务器处理能力评价系数，更真实地反映目标软件在高负载且存在错误请求的情况下的表现，为软件处理器的开发和优化提供了更为全面、准确的性能评价方法。
所述软件开发运行测试合格判定模块，用于结合目标软件的设备运行性能评价系数、网络运行性能评价系数和服务器处理能力评价系数，判定目标软件开发运行测试是否合格，并进行反馈。
具体地，所述目标软件开发运行测试是否合格的判定过程为：由公式得到目标软件的开发运行测试合格评价系数，其中为预设的目标软件的设备运行性能评价系数、网络运行性能评价系数、服务器处理能力评价系数对应权重占比，将目标软件的开发运行测试合格评价系数与预设的软件开发运行测试合格评价系数合理阈值进行比对，若其大于或等于预设的软件开发运行测试合格评价系数合理阈值，判定目标软件开发运行测试合格，反之判定不合格。
需要说明的是，上述反馈工作的具体开展为将目标软件的设备运行性能评价系数、网络运行性能评价系数和服务器处理能力评价系数的分析指标、分析结果以及开发运行测试合格评价系数生成测试报告反馈至测试团队或者开发人员，既用于目标软件测试的合格性判定，又作为目标软件的性能优化指导，帮助开发人员有针对性地进行优化工作。
本发明实施例结合目标软件的设备运行性能评价系数、网络运行性能评价系数和服务器处理能力评价系数，判定目标软件开发运行测试是否合格，提供了一种更全面、综合的方法来评估目标软件的性能，并为开发和测试阶段提供了更多的信息和指导，以确保软件在不同条件下都能够表现出色，从而有助于提高软件的质量、可靠性和用户满意度。
所述云数据库，用于存储目标软件的客户端测试期望指标、网络测试期望指标和服务器测试期望指标，其中客户端测试期望指标包括目标软件启动时长允许阈值、执行目标软件测试用例的帧速率、交互响应时长、页面加载时长的合理阈值以及各类客户端设备运行目标软件的资源利用率合理范围，网络测试期望指标包括目标软件在各类网络运行条件下传输单位千字节、单位千兆字节数据的网络传输效能指数合理阈值，服务器测试期望指标包括目标软件处理器的错误请求的类别分辨正确率、识别时长和恢复时长的合理阈值、预期并发连接数阈值。
需要说明的是，上述云数据库中存储的目标软件的客户端测试期望指标、网络测试期望指标和服务器测试期望指标是由专业测试团队以及软件开发团队在软件开发运行测试前共同确定的。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本发明所定义的范围，均应属于本发明的保护范围。
Claims (10)
1.一种基于互联网软件开发运行测试管理系统，其特征在于，该系统包括：
软件性能测试模块，用于分别对目标软件进行客户端测试、网络测试和服务器测试，获取目标软件的客户端测试表现指标、网络测试表现指标和服务器测试表现指标；
软件设备运行性能评价模块，用于根据目标软件的客户端测试表现指标，分析目标软件的设备运行性能评价系数；
软件网络运行性能评价模块，用于根据目标软件的网络测试表现指标，分析目标软件的网络运行性能评价系数；
软件服务器处理能力评价模块，用于根据目标软件的服务器测试表现指标，分析目标软件的服务器处理能力评价系数；
软件开发运行测试合格判定模块，用于结合目标软件的设备运行性能评价系数、网络运行性能评价系数和服务器处理能力评价系数，判定目标软件开发运行测试是否合格，并进行反馈；
云数据库，用于存储目标软件的客户端测试期望指标、网络测试期望指标和服务器测试期望指标，其中客户端测试期望指标包括目标软件启动时长允许阈值、执行目标软件测试用例的帧速率、交互响应时长、页面加载时长的合理阈值以及各类客户端设备运行目标软件的资源利用率合理范围，网络测试期望指标包括目标软件在各类网络运行条件下传输单位千字节、单位千兆字节数据的网络传输效能指数合理阈值，服务器测试期望指标包括目标软件处理器的错误请求的类别分辨正确率、识别时长和恢复时长的合理阈值、预期并发连接数阈值。
2.根据权利要求1所述的一种基于互联网软件开发运行测试管理系统，其特征在于：所述对目标软件进行客户端测试的具体过程为：设置固定网络运行条件，设计目标软件各测试用例，包括各常规用例和各边界用例，利用设备仿真工具模拟各类客户端设备，在各类客户端设备启动目标软件并执行目标软件各测试用例，记录各类客户端设备在固定网络运行条件下执行目标软件各测试用例的性能表现。
3.根据权利要求1所述的一种基于互联网软件开发运行测试管理系统，其特征在于：所述对目标软件进行网络测试的具体过程为：设置固定客户端设备，利用网络模拟工具模拟目标软件各网络运行条件，包括3G网络、4G网络、Wifi网络和高延迟网络，在各网络运行条件下分别执行单位千字节和单位千兆字节的数据传输行为，记录固定客户端设备中目标软件在各网络运行条件下的数据传输表现。
4.根据权利要求1所述的一种基于互联网软件开发运行测试管理系统，其特征在于：所述对目标软件进行服务器测试的具体过程为：设置固定客户端设备和固定网络运行条件，编写自动化测试脚本模拟多并发用户访问服务器，在测试脚本中，为各并发用户构造其对应请求类型，包含正常请求、非严重错误请求和严重错误请求，在目标软件的固定负载模型中按照设定速度不断增加并发用户数量直至处理器请求超时，记录目标软件在测试过程中的处理器表现。
5.根据权利要求1所述的一种基于互联网软件开发运行测试管理系统，其特征在于：所述客户端测试表现指标包括各类客户端设备启动目标软件时长、执行目标软件各测试用例的帧速率、最大交互响应时长、平均页面加载时长、CPU利用率、内存使用量和电池消耗占比；
所述网络测试表现指标包括目标软件在各类网络运行条件下传输单位千字节、单位千兆字节数据的网络吞吐量、延迟时长、数据的丢失率和错误率；
所述服务器测试表现指标包括目标软件处理器的最大并发连接数、错误请求的类别分辨正确率、最大的识别时长和恢复时长、各目标并发用户请求的负载分配量。
6.根据权利要求5所述的一种基于互联网软件开发运行测试管理系统，其特征在于：所述分析目标软件的设备运行性能评价系数，包括：提取客户端测试表现指标中各类客户端设备启动目标软件时长、执行目标软件各测试用例的帧速率/>、最大交互响应时长/>和平均页面加载时长/>，其中/>为各类客户端设备的编号，/>，/>为目标软件各测试用例的编号，/>；
提取云数据库中存储的客户端测试期望指标中目标软件启动时长允许阈值、执行目标软件测试用例的帧速率、交互响应时长、页面加载时长的合理阈值，分别记为；
计算各类客户端设备运行目标软件的用户界面体验评估指数，，其中/>为自然常数；
提取客户端测试表现指标中各类客户端设备执行目标软件各测试用例的CPU利用率、内存使用量/>和电池消耗占比/>，分析各类客户端设备执行目标软件各测试用例的资源利用率/>，根据测试用例的类型，将其进一步筛分为各类客户端设备执行目标软件各常规用例和各边界用例的资源利用率，分别记为/>，其中/>为目标软件各常规用例的编号，，/>为目标软件各边界用例的编号，/>，提取云数据库中存储的客户端测试期望指标中各类客户端设备运行目标软件的资源利用率合理范围，获取各类客户端设备运行目标软件的参照资源利用率/>，计算各类客户端设备运行目标软件的资源利用合理评估指数/>，/>，其中/>分别为目标软件常规用例、边界用例的数量，/>为预设的第/>类客户端设备运行目标软件的资源利用率合理偏差阈值，/>为第/>类客户端设备执行目标软件第/>个常规用例的资源利用率；
由公式得到目标软件的设备运行性能评价系数，其中/>为客户端设备类别数量。
7.根据权利要求6所述的一种基于互联网软件开发运行测试管理系统，其特征在于：所述各类客户端设备执行目标软件各测试用例的资源利用率的计算公式为：
。
8.根据权利要求6所述的一种基于互联网软件开发运行测试管理系统，其特征在于：所述分析目标软件的网络运行性能评价系数，包括：提取网络测试表现指标中目标软件在各类网络运行条件下传输单位千字节数据的网络吞吐量、延迟时长、数据的丢失率和错误率，分别记为，/>为各类网络运行条件的编号，/>，由公式得到目标软件在各类网络运行条件下传输单位千字节数据的网络传输能效指数；
同理计算目标软件在各类网络运行条件下传输单位千兆字节数据的网络传输能效指数；
提取云数据库中存储的网络测试期望指标中目标软件在各类网络运行条件下传输单位千字节、单位千兆字节数据的网络传输效能指数合理阈值，分别记为；
设置各类网络运行条件的网络运行性能影响权重，分析目标软件的网络运行性能评价系数/>，其计算公式为：/>。
9.根据权利要求8所述的一种基于互联网软件开发运行测试管理系统，其特征在于：所述分析目标软件的服务器处理能力评价系数，包括：提取服务器测试表现指标中目标软件处理器的错误请求的类别分辨正确率、最大的识别时长/>和恢复时长/>，结合云数据库存储的服务器测试预期指标中目标软件处理器的错误请求的类别分辨正确率、识别时长和恢复时长的合理阈值，分别记为/>，计算目标软件处理器的错误请求处理能力指数/>，/>；
提取服务器测试表现指标中目标软件的最大并发连接数和各目标并发用户请求的负载分配量/>，其中/>为各目标并发用户的编号，/>，结合云数据库存储的服务器测试预期指标中目标软件的预期并发连接数阈值/>，计算目标软件的服务器处理能力评价系数/>，/>，其中/>为第/>个目标并发用户请求的负载分配量。
10.根据权利要求8所述的一种基于互联网软件开发运行测试管理系统，其特征在于：所述目标软件开发运行测试是否合格的判定过程为：由公式得到目标软件的开发运行测试合格评价系数，其中/>为预设的目标软件的设备运行性能评价系数、网络运行性能评价系数、服务器处理能力评价系数对应权重占比，将目标软件的开发运行测试合格评价系数与预设的软件开发运行测试合格评价系数合理阈值进行比对，若其大于或等于预设的软件开发运行测试合格评价系数合理阈值，判定目标软件开发运行测试合格，反之判定不合格。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311619736.2A CN117331846B (zh) | 2023-11-30 | 2023-11-30 | 一种基于互联网软件开发运行测试管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311619736.2A CN117331846B (zh) | 2023-11-30 | 2023-11-30 | 一种基于互联网软件开发运行测试管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117331846A true CN117331846A (zh) | 2024-01-02 |
| CN117331846B CN117331846B (zh) | 2024-03-08 |
Family
ID=89277672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311619736.2A Active CN117331846B (zh) | 2023-11-30 | 2023-11-30 | 一种基于互联网软件开发运行测试管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117331846B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117785643A (zh) * | 2024-02-23 | 2024-03-29 | 广州飞进信息科技有限公司 | 一种软件开发用性能测试平台 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10187495A (ja) * | 1996-12-26 | 1998-07-21 | Nec Corp | 高負荷エミュレーション性能評価方法とその装置 |
| CN107992401A (zh) * | 2017-11-29 | 2018-05-04 | 平安科技（深圳）有限公司 | 性能测试评价方法、装置、终端设备及存储介质 |
| US20190041457A1 (en) * | 2018-03-12 | 2019-02-07 | GAVS Technologies Pvt. Ltd. | Method and system of determining application health in an information technology environment |
| CN110737591A (zh) * | 2019-09-16 | 2020-01-31 | 腾讯音乐娱乐科技（深圳）有限公司 | 网页性能评估方法、装置、服务器及存储介质 |
| CN111444107A (zh) * | 2020-04-10 | 2020-07-24 | 山东理工职业学院 | 软件评估方法及装置 |
| CN111897703A (zh) * | 2019-05-05 | 2020-11-06 | 北京神州泰岳软件股份有限公司 | 一种网站性能评价方法和装置 |
| CN112905484A (zh) * | 2021-03-25 | 2021-06-04 | 兴业数字金融服务（上海）股份有限公司 | 一种自适应闭环性能测试方法、系统及介质 |
| CN114416474A (zh) * | 2021-12-30 | 2022-04-29 | 格美安(北京)信息技术有限公司 | 一种系统应用健康度评分方法及存储介质 |
| CN115629953A (zh) * | 2022-12-22 | 2023-01-20 | 北京太极信息系统技术有限公司 | 一种适用于国产基础软硬件环境的性能基准评估方法 |
| CN117056218A (zh) * | 2023-08-14 | 2023-11-14 | 平安银行股份有限公司 | 测试管理方法、平台、介质和设备 |
-
2023
- 2023-11-30 CN CN202311619736.2A patent/CN117331846B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10187495A (ja) * | 1996-12-26 | 1998-07-21 | Nec Corp | 高負荷エミュレーション性能評価方法とその装置 |
| CN107992401A (zh) * | 2017-11-29 | 2018-05-04 | 平安科技（深圳）有限公司 | 性能测试评价方法、装置、终端设备及存储介质 |
| US20190041457A1 (en) * | 2018-03-12 | 2019-02-07 | GAVS Technologies Pvt. Ltd. | Method and system of determining application health in an information technology environment |
| CN111897703A (zh) * | 2019-05-05 | 2020-11-06 | 北京神州泰岳软件股份有限公司 | 一种网站性能评价方法和装置 |
| CN110737591A (zh) * | 2019-09-16 | 2020-01-31 | 腾讯音乐娱乐科技（深圳）有限公司 | 网页性能评估方法、装置、服务器及存储介质 |
| CN111444107A (zh) * | 2020-04-10 | 2020-07-24 | 山东理工职业学院 | 软件评估方法及装置 |
| CN112905484A (zh) * | 2021-03-25 | 2021-06-04 | 兴业数字金融服务（上海）股份有限公司 | 一种自适应闭环性能测试方法、系统及介质 |
| CN114416474A (zh) * | 2021-12-30 | 2022-04-29 | 格美安(北京)信息技术有限公司 | 一种系统应用健康度评分方法及存储介质 |
| CN115629953A (zh) * | 2022-12-22 | 2023-01-20 | 北京太极信息系统技术有限公司 | 一种适用于国产基础软硬件环境的性能基准评估方法 |
| CN117056218A (zh) * | 2023-08-14 | 2023-11-14 | 平安银行股份有限公司 | 测试管理方法、平台、介质和设备 |
Non-Patent Citations (4)
| Title |
|---|
| 中国软件评测中心测试中心: ""软件测试"专题系列之二——性能:软件测试的重中之重", 中国计算机用户, no. 31, pages 42 - 43 * |
| 中国软件评测中心测试中心: ""软件测试"专题系列之二――性能:软件测试的重中之重", 中国计算机用户, no. 31, pages 42 - 43 * |
| 刘荷花;: "Web系统性能测试及工具优化", 电脑开发与应用, no. 09 * |
| 王于;: "Web服务性能测试模型的研究", 电脑知识与技术, no. 09 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117785643A (zh) * | 2024-02-23 | 2024-03-29 | 广州飞进信息科技有限公司 | 一种软件开发用性能测试平台 |
| CN117785643B (zh) * | 2024-02-23 | 2024-05-14 | 广州飞进信息科技有限公司 | 一种软件开发用性能测试平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117331846B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107341098B (zh) | 软件性能测试方法、平台、设备及存储介质 | |
| US5303166A (en) | Method and system for automated network benchmark performance analysis | |
| EP2572294B1 (en) | System and method for sql performance assurance services | |
| CN117331846B (zh) | 一种基于互联网软件开发运行测试管理系统 | |
| WO2013049853A1 (en) | Analytics driven development | |
| US10360140B2 (en) | Production sampling for determining code coverage | |
| US10467590B2 (en) | Business process optimization and problem resolution | |
| CN113127356A (zh) | 压测方法、装置、电子设备及存储介质 | |
| US8903999B2 (en) | Method and system for calculating and charting website performance | |
| CN114355094B (zh) | 基于多源信息的产品可靠性薄弱环节综合评估方法和装置 | |
| CN116682479A (zh) | 一种企业级固态硬盘时延指标的测试方法及测试系统 | |
| CN112764794A (zh) | 一种开源软件信息管理系统和方法 | |
| CN112948262A (zh) | 一种系统测试方法、装置、计算机设备和存储介质 | |
| CN102546235A (zh) | 云计算环境下面向web应用的性能诊断方法和系统 | |
| Strodl et al. | The DELOS testbed for choosing a digital preservation strategy | |
| CN115248782B (zh) | 一种自动化测试方法、装置及计算机设备 | |
| CN114238048B (zh) | 一种Web前端性能自动化测试方法及系统 | |
| CN113032998B (zh) | 医疗器械寿命评估方法和装置 | |
| CN109669829A (zh) | 一种基于bmc的诊断调试方法、装置及服务器 | |
| CN113791980A (zh) | 测试用例的转化分析方法、装置、设备及存储介质 | |
| CN111949504A (zh) | 一种压力测试方法、装置及介质 | |
| CN116737554B (zh) | 一种基于大数据的智能分析处理系统及方法 | |
| CN111400174B (zh) | 数据源的应用效能的确定方法、装置和服务器 | |
| CN112799956B (zh) | 资产识别能力测试方法、装置及系统装置 | |
| CN113238966B (zh) | 报表平台前端测试方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |