CN116382987A - 性能测试方法、装置、处理器及机器可读存储介质 - Google Patents
性能测试方法、装置、处理器及机器可读存储介质 Download PDFInfo
- Publication number
- CN116382987A CN116382987A CN202310168653.XA CN202310168653A CN116382987A CN 116382987 A CN116382987 A CN 116382987A CN 202310168653 A CN202310168653 A CN 202310168653A CN 116382987 A CN116382987 A CN 116382987A
- Authority
- CN
- China
- Prior art keywords
- test
- performance
- regression
- feedback result
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011056 performance test Methods 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 264
- 230000007547 defect Effects 0.000 claims abstract description 38
- 238000013515 script Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2273—Test methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2205—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
- G06F11/2236—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested to test CPU or processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
本发明实施例提供一种性能测试方法、装置、处理器及机器可读存储介质，属于计算机技术领域领域。性能测试方法包括：获取执行性能测试的反馈结果，根据反馈结果和预设性能标准确定指标阈值，根据性能测试对应的性能测试需求信息和指标阈值生成回归测试用例，基于回归测试用例执行回归测试，并确定回归测试结果，在回归测试结果超出指标阈值的情况下，基于回归测试用例和回归测试结果生成回归缺陷信息，通过自动生成回归测试用例，在系统代码更新或首次性能测试缺陷修复后直接通过回归测试用例进行回归测试，减少测试信息的重复导入并对测试结果进行自动化判断，有效的提升了性能测试的工作效率。
Description
技术领域
本发明涉及计算机技术领域，具体地涉及一种性能测试方法、装置、处理器及机器可读存储介质。
背景技术
随着互联网的发展，各类软件系统用户量越来越多，系统的架构越来越复杂。因软件系统没有经过性能测试或者性能测试不充分而引发系统响应迟缓甚至宕机的问题比比皆是。通过性能测试快速确定系统的性能、稳定性、横向/纵向扩展能力情况，需要从终端用户应用、系统架构设计、硬件配置等多个维度分析可能存在的性能瓶颈的业务。在常规技术中，性能测试脚本在执行测试完成后就被废弃，属于“一次性用品”，但每次系统的代码、配置、环境、数据量的变化都会影响到系统的性能，通过某一次的性能测试结果并不能确定系统的终身，需要根据系统变化及时对系统的性能进行测试，而每次性能测试均需重新导入测试脚本并对测试结果进行跟踪，性能测试的工作效率较低。
发明内容
针对现有技术中的上述不足，本发明实施例的目的是提供一种性能测试方法、装置、处理器及机器可读存储介质。
为了实现上述目的，本发明第一方面提供一种性能测试方法，包括：
获取执行性能测试的反馈结果；
根据反馈结果和预设性能标准确定指标阈值；
根据性能测试对应的性能测试需求信息和指标阈值生成回归测试用例；
基于回归测试用例执行回归测试，并确定回归测试结果；
在回归测试结果超出指标阈值的情况下，基于回归测试用例和回归测试结果生成回归缺陷信息。
在本发明实施例中，根据反馈结果和预设性能标准确定指标阈值，包括：
在反馈结果不符合预设性能标准的情况下，获取输入的指定阈值；
将指定阈值作为指标阈值。
在本发明实施例中，根据反馈结果和预设性能标准确定指标阈值，包括：
在反馈结果符合预设性能标准的情况下，将反馈结果作为指标阈值。
在本发明实施例中，基于回归测试用例执行回归测试，包括：
获取回归测试用例的触发条件，其中，触发条件包括定时触发或指令触发；
在满足触发条件的情况下，基于回归测试用例执行回归测试。
在本发明实施例中，获取执行性能测试的反馈结果，包括：
获取性能测试需求信息；
基于性能测试需求信息对应的测试场景确定分布式执行节点；
将性能测试需求信息中的测试数据发送至分布式执行节点，以使分布式执行节点基于测试数据执行性能测试；
接收分布式执行节点发送的执行性能测试的反馈结果。
在本发明实施例中，获取执行性能测试的反馈结果的步骤之后，还包括：
在反馈结果不符合预设性能标准的情况下，基于性能测试对应的性能测试需求信息和反馈结果生成测试缺陷信息。
在本发明实施例中，获取执行性能测试的反馈结果的步骤之后，还包括：
基于反馈结果、预设性能标准以及预设报告模板生成并输出测试报告。
本发明第二方面提供一种性能测试装置，包括：
性能测试模块，用于获取执行性能测试的反馈结果；
阈值确定模块，用于根据反馈结果和预设性能标准确定指标阈值；
回归用例生成模块，用于根据性能测试对应的性能测试需求信息和指标阈值生成回归测试用例；
回归测试模块，用于基于回归测试用例执行回归测试，并确定回归测试结果；
回归缺陷确定模块，用于在回归测试结果超出指标阈值的情况下，基于回归测试用例和回归测试结果生成回归缺陷信息。
本发明第三方面提供一种处理器，被配置成执行如上述实施例所述的性能测试方法。
本发明第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行如上述实施例所述的性能测试方法。
通过上述技术方案，获取执行性能测试的反馈结果，根据反馈结果和预设性能标准确定指标阈值，根据性能测试对应的性能测试需求信息和指标阈值生成回归测试用例，基于回归测试用例执行回归测试，并确定回归测试结果，在回归测试结果超出指标阈值的情况下，基于回归测试用例和回归测试结果生成回归缺陷信息，通过自动生成回归测试用例，在系统代码更新或首次性能测试缺陷修复后直接通过回归测试用例进行回归测试，减少测试信息的重复导入并对测试结果进行自动化判断，有效的提升了性能测试的工作效率。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1为根据本发明一实施例的性能测试方法的流程示意图；
图2为根据本发明一实施例的性能测试应用示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
图1为根据本发明一实施例的性能测试方法的流程示意图。如图1所示，在本发明实施例中，提供了一种性能测试方法，以该方法应用于处理器为例进行说明，该方法可以包括以下步骤：
步骤S100，获取执行性能测试的反馈结果；
本实施例中，需要说明的是，性能测试用于快速确定系统的稳定性、横向/纵向拓展能力情况等，可以从终端用户应用、系统架构设计以及硬件配置等多个维度分析可能存在的性能瓶颈的业务。性能测试通常通过执行测试脚本，对系统的一个或多个维度的性能进行性能校验，通过测试脚本可以得到系统该单个或多个维度下的指标值。该指标值即为该次性能测试的反馈结果。例如，在对系统的CPU(CentralProcessingUnit，中央处理器)使用率维度进行性能测试时，反馈结果为针对CPU使用率进行性能测试的测试脚本执行后得到的指标值，如：75％。在得到性能测试的反馈结果后，可以基于该反馈结果对该性能测试对应的校验维度进行性能判断。
具体地，获取执行性能测试的反馈结果，包括：
步骤a，获取性能测试需求信息；
步骤b，基于性能测试需求信息对应的测试场景确定分布式执行节点；
步骤c，将性能测试需求信息中的测试数据发送至分布式执行节点，以使分布式执行节点基于测试数据执行性能测试；
步骤d，接收所述分布式执行节点发送的执行所述性能测试的反馈结果。
在对系统性能执行性能测试时，需要从终端用户应用、系统架构设计、硬件配置等多个维度分析可能存在的性能瓶颈的业务。若在单台服务机执行，则会受限于硬件资源，能模拟的用户数是有限的。而若通过多台服务器进行分布式部署虽然能解决模拟的用户数量问题，但长期占用多台服务器资源，资源利用率低下。本实施例中，为快速、灵活、低成本的搭建性能测试环境通过Kubernetes(容器集群管理系统)架构实现对测试环境的搭建。Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes提供了应用部署、规划、更新、维护的一种机制。分布式执行节点包括kubernetes架构部署的节点，例如调度节点和工作节点。基于kubernetes架构部署调度节点和工作节点。调度节点包括Kubernetes集群中负责整个集群的管理和控制的节点，例如Master节点，所有的命令都经由调度节点处理。工作节点包括Kubernetes集群的工作负载节点，例如Slave节点。调度节点可以基于实际工作任务为工作节点分配工作，实现对测试资源的合理调度。
需要说明的是，针对不同的测试场景对应预设有不同的性能测试需求信息，性能测试需求信息可以根据实际应用场景进行适应性调整。性能测试需求信息包括测试脚本、插件以及测试数据等测试信息。基于性能测试需求信息可以确定性能测试的测试场景、测试脚本、并发值、持续时间以及持续执行次数等信息。不同的测试场景中的测试数据并不一致，所需要的测试资源也不尽相同，在获取到性能测试需求信息后，根据该性能测试需求信息对应的测试场景实现对Kubernetes集群中的分布式执行节点进行确定，具体可以包括确定一个调度节点和至少一个工作节点。工作节点的数量可以根据每次测试场景所需的测试资源灵活确定。具体地，分布式执行节点基于测试数据执行性能测试可以包括建立任务执行容器，搭建测试环境，对该测试环境进行初始化，调度节点基于测试场景将动态的获取的测试数据分发至各个工作节点，各个工作节点按照测试数据中的测试信息组织性能测试，并生成反馈结果发送至处理器。进一步地，为实现测试资源的动态调度，在完成测试任务后，任务执行容器可自动销毁，以实现测试资源的自动回收，作为其他或下一次性能测试的测试资源。
通过Kubernetes架构搭建测试环境，合理管理测试资源，自动编排部署性能测试环境，搭建成本低，扩容快捷简单。
在一个实施例中，获取执行性能测试的反馈结果的步骤之后，还包括：
步骤e，在反馈结果不符合预设性能标准的情况下，基于性能测试对应的性能测试需求信息和反馈结果生成测试缺陷信息。
需要说明的是，在得到性能测试的反馈结果后，基于该反馈结果对该性能测试对应的校验维度进行性能判断的方式为通过预设性能标准对反馈结果是否合格进行校验。预设性能标准可以为基于产品需求或产品标准等参考信息确定的标准值。只有在性能测试的反馈结果符合该预设性能标准的情况下，才可确定该性能测试对应的校验维度相关的系统业务未发现性能问题。若反馈结果不符合预设性能标准，则表明此次性能测试对应的校验维度相关的系统业务存在性能问题，需要进行反馈，以使开发人员基于该性能问题进行整改。性能问题的反馈通过测试缺陷信息进行反馈，在一实施例中，处理器可将该测试缺陷信息发送至搭载有缺陷管理软件的设备中，以使该缺陷管理软件生成缺陷表单。测试缺陷信息包括执行性能测试的测试场景、测试脚本、并发值、持续时间以及持续执行次数等测试信息和执行该性能测试的反馈结果，该测试缺陷信息基于性能测试需求信息和反馈结果生成。
通过预设性能标准实现对反馈结果的智能化判断，减少人工判断的人力成本，降低人为判断可能存在的误差，通过自动生成测试缺陷信息，提升对系统性能缺陷管理的工作效率。
在一个实施例中，获取执行性能测试的反馈结果的步骤之后，还包括：
步骤f，基于反馈结果、预设性能标准以及预设报告模板生成并输出测试报告。
需要说明的是，预设报告模板包括测试报告的整体框架和实际测试参数的空缺，可根据实际报告需求进行适应性调整，在得到性能测试的反馈结果后，可以基于该反馈结果与预设性能标准对实际测试参数的空缺进行自动化填充，生成该性能测试对应的测试报告。
参考图2，在一应用场景中，首次执行性能测试可以定制性能测试需求信息例如性能脚本、指测试场景对应的相关场景节点、并发数据等；设置预设性能标准，例如性能阈值，设置当前性能测试的执行时间或者触发执行的相关条件。通过包括处理器的性能测试平台初始化分布式性能测试环境；把脚本、数据以及插件等发送到动态的分布式执行节点，例如，Master节点基于测试场景将脚本分发至各个Slave节点，各个Slave节点按照脚本发送请求至被测系统服务，并获取该被测系统服务的响应结果返回至Master节点。性能测试平台在测试完成后自动销毁测试环境，回收资源，并收集测试相关结果，生成报告。性能测试平台在性能测试存在缺陷时，自动录入缺陷单至Bug(缺陷)管理软件，并将测试结果反馈给用户。
步骤S200，根据反馈结果和预设性能标准确定指标阈值；
需要说明的是，在进行性能测试时，通常通过测试脚本利用测试软件或测试工具等途径实现对系统某一维度功能的模拟应用，得到的反馈结果通常为一个功能参数，并不能直接反映该功能参数是否合格，需要测试人员进一步结合该反馈结果与预设性能标准进行判断。例如，进行CPU使用率的测试时，反馈结果为80％，无法直接确定80％是否为合格，需要预设性能标准进一步进行判断，如预设性能标准为0％-75％时，才可以确定反馈结果为80％的CPU使用率为不合格。本实施例中，通过设置指标阈值实现对性能测试结果的自动化判断。
步骤S300，根据性能测试对应的性能测试需求信息和指标阈值生成回归测试用例；
需要说明的是，回归测试包括在对系统进行首次性能测试后，由于系统代码更新或周期性设定等触发的持续测试，该回归测试可以实现系统代码更新的性能验证或对首次性能测试缺陷修复后的性能验证。回归测试用例为进行回归测试的基础，包括测试内容以及期望结果。具体地，测试内容根据性能测试对应的性能测试需求信息进行确定，例如，测试场景、测试脚本、并发值、持续时间以及持续执行次数等；期望结果为指标阈值。预设性能标准为大范围的参考标准，并未具体针对到实际的应用场景，在首次进行性能测试时，为对测试场景进行模拟，得到的反馈结果更加贴合实际应用场景，在反馈结果满足预设性能标准时，基于反馈结果确定指标阈值，以使得期望结果更加贴合实际应用场景。通过首次的性能测试对应的性能测试需求信息和指标阈值生成回归测试用例，在系统代码更新或首次性能测试缺陷修复后可直接通过回归测试用例确定性能测试需求信息，无需重复导入，且通过指标阈值对测试结果进行自动化判断，无需进一步通过测试人员进行判断工作，有效提升性能测试的工作效率。
步骤S400，基于回归测试用例执行回归测试，并确定回归测试结果；
步骤S500，在回归测试结果超出指标阈值的情况下，基于回归测试用例和回归测试结果生成回归缺陷信息。
需要说明的是，回归测试结果为基于回归测试用例中的测试内容执行性能测试后得到的实际测试结果，将该回归测试结果与回归测试用例中的指标阈值进行比较，在该回归测试结果未超出指标阈值的情况下，可确定该回归测试的测试结果合格，在该回归测试结果超出指标阈值的情况下，基于回归测试用例和回归测试结果生成回归缺陷信息。本实施例中，处理器将回归缺陷信息发送至搭载有缺陷管理软件的设备中，以使该缺陷管理软件生成缺陷表单。回归缺陷信息包括执行回归测试的回归测试用例中包括测试场景、测试脚本、并发值、持续时间以及持续执行次数等测试信息、指标阈值以及执行该回归测试时实际的回归测试结果。
上述性能测试方法，获取执行性能测试的反馈结果，根据反馈结果和预设性能标准确定指标阈值，根据性能测试对应的性能测试需求信息和指标阈值生成回归测试用例，基于回归测试用例执行回归测试，并确定回归测试结果，在回归测试结果超出指标阈值的情况下，基于回归测试用例和回归测试结果生成回归缺陷信息，通过自动生成回归测试用例，在系统代码更新或首次性能测试缺陷修复后直接通过回归测试用例进行回归测试，减少测试信息的重复导入并对测试结果进行自动化判断，有效的提升了性能测试的工作效率。
在一个实施例中，根据反馈结果和预设性能标准确定指标阈值，包括：
步骤g，在反馈结果不符合预设性能标准的情况下，获取输入的指定阈值；
步骤h，将指定阈值作为指标阈值。
本实施例中，需要说明的是，指标阈值作为回归测试用例中的期望结果，用于对回归测试的测试结果是否合格进行参考。反馈结果为首次进行性能测试时的测试结果，反映在一定的测试场景下系统某一维度的性能情况，在反馈结果不符合预设性能标准时，说明在当前测试场景下该系统某一维度的性能存在一定的问题，此时的反馈结果不合格，不具备作为回归测试用例中的期望结果的标准。指定阈值为测试人员根据测试经验基于预设性能标准和测试场景确定的贴合当前测试场景的标准值，用于作为回归测试用例中的期望结果的标准。
通过指定阈值提升对指定阈值进行适应性调整，确保回归测试用例的实用性和有效性。
在一个实施例中，根据反馈结果和预设性能标准确定指标阈值，包括：
步骤i，在反馈结果符合预设性能标准的情况下，将反馈结果作为指标阈值。
本实施例中，需要说明的是，在反馈结果符合预设性能标准时，说明在当前测试场景下该系统某一维度的性能未发现问题，此时的反馈结果合格，可以作为回归测试用例中的期望结果的标准值。且该反馈结果为基于当前测试场景对应的测试值，更加贴合当前测试场景。
可以理解的是，回归测试用例中的期望结果并不一定是固定不变的，可以基于多次性能测试的合格率、代码变更程度等进行调整。
通过符合测试场景的反馈结果作为指标阈值，确保回归测试用例的适用性。
在一个实施例中，基于回归测试用例执行回归测试，包括：
步骤j，获取回归测试用例的触发条件，其中，触发条件包括定时触发或指令触发；
步骤k，在满足触发条件的情况下，基于回归测试用例执行回归测试。
本实施例中，需要说明的是，生成回归测试用例时将同步设定该回归测试用例的触发条件，以在满足该触发条件的情况下使用该回归测试用例执行回归测试。具体地，触发条件可以包括定时触发，例如，设定固定测试周期，满足测试周期对应的时间条件时，触发回归测试；触发条件还可以包括指令触发，例如，通过测试人员输入测试指令触发回归测试；触发条件还可以包括基于系统代码更新或首次性能测试缺陷修复等条件。
通过回归测试用例的触发条件，实现回归测试的自动化进行，减少对系统的人工维护成本，减少手动操作，进一步提升进行性能测试的工作效率。
本发明实施例提供了一种性能测试装置，包括：
性能测试模块，用于获取执行性能测试的反馈结果；
阈值确定模块，用于根据反馈结果和预设性能标准确定指标阈值；
回归用例生成模块，用于根据性能测试对应的性能测试需求信息和指标阈值生成回归测试用例；
回归测试模块，用于基于回归测试用例执行回归测试，并确定回归测试结果；
回归缺陷确定模块，用于在回归测试结果超出指标阈值的情况下，基于回归测试用例和回归测试结果生成回归缺陷信息。
所述性能测试装置包括处理器和存储器，上述性能测试模块、阈值确定模块、回归用例生成模块、回归测试模块和回归缺陷确定模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提升性能测试的工作效率。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)，存储器包括至少一个存储芯片。
本申请实施例提供的性能测试装置能够实现图1的方法实施例中性能测试方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述性能测试方法。
本发明实施例提供了一种机器可读存储介质，其上存储有程序，该程序被处理器执行时实现所述性能测试方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种性能测试方法，其特征在于，包括：
获取执行性能测试的反馈结果；
根据所述反馈结果和预设性能标准确定指标阈值；
根据所述性能测试对应的性能测试需求信息和所述指标阈值生成回归测试用例；
基于所述回归测试用例执行回归测试，并确定回归测试结果；
在所述回归测试结果超出所述指标阈值的情况下，基于所述回归测试用例和所述回归测试结果生成回归缺陷信息。
2.根据权利要求1所述的性能测试方法，其特征在于，所述根据所述反馈结果和预设性能标准确定指标阈值，包括：
在所述反馈结果不符合预设性能标准的情况下，获取输入的指定阈值；
将所述指定阈值作为指标阈值。
3.根据权利要求1所述的性能测试方法，其特征在于，所述根据所述反馈结果和预设性能标准确定指标阈值，包括：
在所述反馈结果符合预设性能标准的情况下，将所述反馈结果作为指标阈值。
4.根据权利要求1所述的性能测试方法，其特征在于，所述基于所述回归测试用例执行回归测试，包括：
获取所述回归测试用例的触发条件，其中，所述触发条件包括定时触发或指令触发；
在满足所述触发条件的情况下，基于所述回归测试用例执行回归测试。
5.根据权利要求1所述的性能测试方法，其特征在于，所述获取执行性能测试的反馈结果，包括：
获取性能测试需求信息；
基于所述性能测试需求信息对应的测试场景确定分布式执行节点；
将所述性能测试需求信息中的测试数据发送至所述分布式执行节点，以使所述分布式执行节点基于所述测试数据执行性能测试；
接收所述分布式执行节点发送的执行所述性能测试的反馈结果。
6.根据权利要求1所述的性能测试方法，其特征在于，所述获取执行性能测试的反馈结果的步骤之后，还包括：
在所述反馈结果不符合预设性能标准的情况下，基于所述性能测试对应的性能测试需求信息和所述反馈结果生成测试缺陷信息。
7.根据权利要求1所述的性能测试方法，其特征在于，所述获取执行性能测试的反馈结果的步骤之后，还包括：
基于所述反馈结果、预设性能标准以及预设报告模板生成并输出测试报告。
8.一种性能测试装置，其特征在于，包括：
性能测试模块，用于获取执行性能测试的反馈结果；
阈值确定模块，用于根据所述反馈结果和预设性能标准确定指标阈值；
回归用例生成模块，用于根据所述性能测试对应的性能测试需求信息和所述指标阈值生成回归测试用例；
回归测试模块，用于基于所述回归测试用例执行回归测试，并确定回归测试结果；
回归缺陷确定模块，用于在所述回归测试结果超出所述指标阈值的情况下，基于所述回归测试用例和所述回归测试结果生成回归缺陷信息。
9.一种处理器，其特征在于，被配置成执行根据权利要求1至7任意一项所述的性能测试方法。
10.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行如权利要求1至7任意一项所述的性能测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310168653.XA CN116382987A (zh) | 2023-02-27 | 2023-02-27 | 性能测试方法、装置、处理器及机器可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310168653.XA CN116382987A (zh) | 2023-02-27 | 2023-02-27 | 性能测试方法、装置、处理器及机器可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116382987A true CN116382987A (zh) | 2023-07-04 |
Family
ID=86968346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310168653.XA Pending CN116382987A (zh) | 2023-02-27 | 2023-02-27 | 性能测试方法、装置、处理器及机器可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116382987A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116932413A (zh) * | 2023-09-14 | 2023-10-24 | 深圳市智慧城市科技发展集团有限公司 | 测试任务的缺陷处理方法、缺陷处理装置及存储介质 |
-
2023
- 2023-02-27 CN CN202310168653.XA patent/CN116382987A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116932413A (zh) * | 2023-09-14 | 2023-10-24 | 深圳市智慧城市科技发展集团有限公司 | 测试任务的缺陷处理方法、缺陷处理装置及存储介质 |
| CN116932413B (zh) * | 2023-09-14 | 2023-12-19 | 深圳市智慧城市科技发展集团有限公司 | 测试任务的缺陷处理方法、缺陷处理装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020253347A1 (zh) | 一种容器集群管理方法、装置及系统 | |
| US8630836B2 (en) | Predicting system performance and capacity using software module performance statistics | |
| CN107590075B (zh) | 一种软件测试方法及装置 | |
| US20050204333A1 (en) | Integrated system-of-systems modeling environment and related methods | |
| CN116382987A (zh) | 性能测试方法、装置、处理器及机器可读存储介质 | |
| CN114356577A (zh) | 一种系统容量预估方法以及装置 | |
| Tertilt et al. | Generic performance prediction for ERP and SOA applications | |
| US11108638B1 (en) | Health monitoring of automatically deployed and managed network pipelines | |
| CN115860143A (zh) | 算子模型生成方法、装置和设备 | |
| CN110597710B (zh) | 测试覆盖率统计方法、装置、计算机设备及存储介质 | |
| US8443073B2 (en) | Automated performance prediction for service-oriented architectures | |
| CN104298589B (zh) | 一种性能测试方法和设备 | |
| US20180060452A1 (en) | System and Method for Generating System Testing Data | |
| WO2019222941A1 (zh) | 用于评估应用部署的方法、设备、计算机程序产品和可读介质 | |
| Bosse et al. | Predicting availability and response times of IT services | |
| CN116225911A (zh) | 一种可观测性平台的功能测试方法及装置 | |
| CN114625611B (zh) | 一种量子计算环境的监控方法、设备及存储介质 | |
| Lehrig et al. | Performance prototyping with protocom in a virtualised environment: A case study | |
| CN107305524B (zh) | 压力测试方法及系统 | |
| Svorobej et al. | Towards automated data-driven model creation for cloud computing simulation | |
| CN114385498A (zh) | 性能测试方法、系统、计算机设备及可读存储介质 | |
| CN115794529B (zh) | 云环境下的存储故障模拟方法、装置、设备及存储介质 | |
| CN117151281B (zh) | 一种装备备品备件方案的优化方法、装置以及相关设备 | |
| CN112422308A (zh) | 一种实现运维监控的方法及装置 | |
| US10871913B1 (en) | Method and system for processing data in a replication system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |