CN112905484A - 一种自适应闭环性能测试方法、系统及介质 - Google Patents

一种自适应闭环性能测试方法、系统及介质 Download PDF

Info

Publication number
CN112905484A
CN112905484A CN202110321910.XA CN202110321910A CN112905484A CN 112905484 A CN112905484 A CN 112905484A CN 202110321910 A CN202110321910 A CN 202110321910A CN 112905484 A CN112905484 A CN 112905484A
Authority
CN
China
Prior art keywords
pressure
triggering
value
resource
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110321910.XA
Other languages
English (en)
Other versions
CN112905484B (zh
Inventor
贺子宸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CIB Fintech Services Shanghai Co Ltd
Original Assignee
CIB Fintech Services Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CIB Fintech Services Shanghai Co Ltd filed Critical CIB Fintech Services Shanghai Co Ltd
Priority to CN202110321910.XA priority Critical patent/CN112905484B/zh
Publication of CN112905484A publication Critical patent/CN112905484A/zh
Application granted granted Critical
Publication of CN112905484B publication Critical patent/CN112905484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种自适应闭环性能测试方法、系统及介质，涉及计算机应用技术领域，该方法包括：性能指标监控决策步骤：实时监控记录被测系统各项性能指标及资源使用情况；压力决策调整步骤：基于性能指标及资源使用情况，控制加压装置调整压力；异常信息记录步骤：当判断指标异常时触发异常信息记录操作，记录系统异常日志等信息；资源清理处理步骤：根据各项资源指标进行分析，当达到设定的清理阈值时，触发相关资源清理操作。本发明能够通过指标监测值自适应调整输入压力等参数，在指标异常时自动记录相关日志等信息，同时监测硬盘存储等资源使用情况，及时自动执行备份清理等操作，有效减少性能测试中的人工成本，缩短测试周期，提高测试效率。

Description

一种自适应闭环性能测试方法、系统及介质
技术领域
本发明涉及计算机应用技术领域，具体地，涉及一种自适应闭环性能测试方法、系统及介质。
背景技术
性能测试在软件的质量保证中起着重要的作用，它包括的测试内容丰富多样。中国软件评测中心将性能测试概括为三个方面：应用在客户端性能的测试、应用在网络上性能的测试和应用在服务器端性能的测试。性能测试作为测试领域一个重要的组成部分，越来越为广大的系统建设者和使用者所重视。往往一些系统在功能上完全负荷需求和设计需求，但因为某些局部的性能问题没有全面的测试到就仓促上线，导致系统的重大故障，最终功败垂成。所以，性能测试与功能测试同样需要在系统上线前有一个全面的完整的测试，杜绝系统可能发生的问题。名词解释，时间迟滞值是控制压力决策调整生效的延迟时间，排除瞬时采集值抖动等对压力决策的影响。
公开号为CN101625658A的中国发明专利，公开了一种软件系统性能测试方法，包括(1)确定测试点和系统性能容量；(2)记录初始状态下某场景组合中各测试点的测试数据；(3)逐步加压，记录测试点在不同压力状态下的测试数据；(4)得出测试点性能变化情况；(5)获得性能恶化测试点；(6)对恶化测试点加压，若加压过程中系统性能符合设计要求，则继续(7)；若不符合要求，则进行相应记录，转入(8)；(7)对恶化测试点进行更大容量压力测试；(8)减小压力，使系统回退至初始状态；(9)若回退后系统正常，则选择一种新的场景组合，转入(2)；若回退后系统不正常，则进行记录，结束测试。
针对上述现有技术，现有的测试方法没有实时监测记录各项性能指标的使用情况，且没有同时考虑迟滞因素，无法更好的在满足相应条件时对压力策略进行调整。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种自适应闭环性能测试方法、系统及介质，能够克服上述存在的问题。
根据本发明提供的一种自适应闭环性能测试方法、系统及介质，所述方案如下：
第一方面，提供了一种自适应闭环性能测试方法，所述方法包括：
性能指标监控决策步骤：实时监控记录被测系统各项性能指标及资源使用情况；
压力决策调整步骤：基于各项性能指标及资源使用情况，控制加压装置调整压力；
异常信息记录步骤：根据各项性能指标进行分析，当判断异常时，触发异常信息记录操作，记录系统异常日志在内的相关信息；
资源清理处理步骤：根据所述各项资源指标进行分析，当达到设定的清理阈值时，自动触发相关资源清理操作。
优选的，所述压力决策调整步骤包括：
根据预设的加权因子进行计算，计算数值为R；
设定压力阈值，将计算数值R和压力阈值进行比较，同时考虑相关影响因素，满足触发条件时，触发压力策略调整操作，控制加压装置调整压力。
优选的，所述压力决策调整步骤中的相关影响因素为时间迟滞值，包括：t1和t2，分别作用于压力决策调整步骤，且分别表示计算数值R＞压力阈值时期，以及计算数值R＜压力阈值时期；
当ta＞t1时，ta为计算数值R＞压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间ta＜t1时，保持当前压力策略不变；
t2同理，当tb＞t2时，tb为计算数值R＜压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间tb＜t2时，保持当前压力策略不变。
优选的，所述异常信息记录步骤中的异常信息记录操作包括记录系统异常日志。
第二方面，提供了一种自适应闭环性能测试系统，所述系统包括：
性能指标监控决策模块：实时监控记录被测系统各项性能指标及资源使用情况；
压力决策调整模块：基于各项性能指标及资源使用情况，控制加压装置调整压力；
异常信息记录模块：根据各项性能指标进行分析，当判断异常时，触发异常信息记录操作，记录系统异常日志在内的相关信息；
资源清理处理模块：根据所述各项资源指标进行分析，当达到设定的清理阈值时，自动触发相关资源清理操作。
优选的，所述压力决策调整模块包括：
根据预设的加权因子进行计算，计算数值为R；
设定压力阈值，将计算数值R和压力阈值进行比较，同时考虑相关影响因素，满足触发条件时，触发压力策略调整操作，控制加压装置调整压力。
优选的，所述压力决策调整模块中的相关影响因素为时间迟滞值，包括：t1和t2，分别作用于压力决策调整模块，且分别表示计算数值R＞压力阈值时期，以及计算数值R＜压力阈值时期；
当ta＞t1时，ta为计算数值R＞压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间ta＜t1时，保持当前压力策略不变；
t2同理，当tb＞t2时，tb为计算数值R＜压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间tb＜t2时，保持当前压力策略不变。
优选的，所述异常信息记录模块中的异常信息记录操作包括记录系统异常日志。
与现有技术相比，本发明具有如下的有益效果：
1、对系统性能全面指标进行实时监测，根据监测情况自适应调整压力输入；
2、自适应策略可配置化，可根据不同系统情况调整；
3、指标异常时自动记录相关日志等信息，提供分析辅助报告；
4、监测硬盘存储等资源使用情况，及时自动执行备份清理等操作。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明整体结构示意图；
图2为本发明性能测试指标例举示意图；
图3为压力测试调整示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种自适应闭环性能测试方法，参照图1和图2所示，包括以下步骤：
性能指标监控决策步骤：实时监控记录被测系统各项性能指标及资源使用情况。
压力决策调整步骤：基于各项性能指标及资源使用情况，控制加压装置调整压力。
异常信息记录步骤：根据各项性能指标进行分析，当判断异常时，触发异常信息记录操作，记录系统异常日志在内的相关信息；
资源清理处理步骤：根据所述各项资源指标进行分析，当达到设定的清理阈值时，自动触发相关资源清理操作。
其中，压力决策调整步骤包括：根据预设的加权因子进行计算，计算数值为R；
设定压力阈值，将计算数值R和压力阈值进行比较，同时考虑相关影响因素，满足触发条件时，触发压力策略调整操作，控制加压装置调整压力。
参照图3所示，压力决策调整步骤中的相关影响因素为时间迟滞值，时间迟滞值是控制压力决策调整生效的延迟时间，排除瞬时采集值抖动等对压力决策的影响。本发明采用两个时间迟滞值t1和t2，分别应用于R＞预设阈值的延迟及R＜预设阈值的延迟。
时间迟滞值t1和t2，分别作用于压力决策调整步骤，且分别表示计算数值R＞压力阈值时期，以及计算数值R＜压力阈值时期；
当ta＞t1时，ta为计算数值R＞压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间ta＜t1时，保持当前压力策略不变；
t2同理，当tb＞t2时，tb为计算数值R＜压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间tb＜t2时，保持当前压力策略不变。
接下来，对本发明进行更为具体的说明。
自适应闭环性能测试方法总体包括：性能指标监控决策步骤、压力决策调整步骤、异常信息记录步骤以及资源清理处理步骤，各步骤内容如下：
参照图1和图2所示，在性能指标监控决策步骤中需要实时监控记录被测系统各项性能指标及资源使用情况。在压力决策调整步骤中，需要根据预设的加权因子进行计算，计算数值为R，同时再设定一个压力阈值，将计算数值R和设定的压力阈值进行比较，同时需要考虑时间迟滞值因素，满足一定的触发条件时，开始触发压力策略调整操作，控制加压装置调整压力。
其中，参照图1和图3所示，时间迟滞值具体包括：t1和t2，分别作用于压力决策调整步骤，且分别表示计算数值R＞压力阈值时期，以及计算数值R＜压力阈值时期。
当ta＞t1时，ta为计算数值R＞压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间ta＜t1时，保持当前压力策略不变；
t2同理，当tb＞t2时，tb为计算数值R＜压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间tb＜t2时，保持当前压力策略不变。
预设的加权因子参数及对应压力策略可以根据项目实际情况进行设置调整，例如对于响应时间要求高的系统，可以对该加权因子设置较高的权重，提升压力策略对该加权因子值变化的敏感程度，允许设置单一因子值监测。
在异常信息记录步骤中，通过对各项性能指标进行分析，在出现判断异常时，以及触发异常信息记录操作，记录系统异常日志等信息。
最后，在资源清理处理步骤当中，据各项资源指标进行分析，当达到设定的清理阈值时，自动触发相关资源清理操作。
本发明实施例提供了一种自适应闭环性能测试方法，将性能测试输入和指标监控评估结合，通过指标监测值自适应调整输入压力等参数，指标异常时自动记录相关日志等信息，同时监测硬盘存储等资源使用情况，及时自动执行备份清理等操作。借助本发明方法和装置，有效减少性能测试中的人工成本，缩短测试周期，提高测试效率。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种自适应闭环性能测试方法，其特征在于，包括：
性能指标监控决策步骤：实时监控记录被测系统各项性能指标及资源使用情况；
压力决策调整步骤：基于各项性能指标及资源使用情况，控制加压装置调整压力；
异常信息记录步骤：根据各项性能指标进行分析，当判断异常时，触发异常信息记录操作，记录系统异常日志在内的相关信息；
资源清理处理步骤：根据所述各项资源指标进行分析，当达到设定的清理阈值时，自动触发相关资源清理操作。
2.根据权利要求1所述的自适应闭环性能测试方法，其特征在于，所述压力决策调整步骤包括：
根据预设的加权因子进行计算，计算数值为R；
设定压力阈值，将计算数值R和压力阈值进行比较，同时考虑相关影响因素，满足触发条件时，触发压力策略调整操作，控制加压装置调整压力。
3.根据权利要求2所述的自适应闭环性能测试方法，其特征在于，所述压力决策调整步骤中的相关影响因素为时间迟滞值，包括：t1和t2，分别作用于压力决策调整步骤，且分别表示计算数值R＞压力阈值时期，以及计算数值R＜压力阈值时期；
当ta＞t1时，ta为计算数值R＞压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间ta＜t1时，保持当前压力策略不变；
t2同理，当tb>t2时，tb为计算数值R＜压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间tb＜t2时，保持当前压力策略不变。
4.根据权利要求1所述的自适应闭环性能测试方法，其特征在于，所述异常信息记录步骤中的异常信息记录操作包括记录系统异常日志。
5.一种自适应闭环性能测试系统，其特征在于，包括：
性能指标监控决策模块：实时监控记录被测系统各项性能指标及资源使用情况；
压力决策调整模块：基于各项性能指标及资源使用情况，控制加压装置调整压力；
异常信息记录模块：根据各项性能指标进行分析，当判断异常时，触发异常信息记录操作，记录系统异常日志在内的相关信息；
资源清理处理模块：根据所述各项资源指标进行分析，当达到设定的清理阈值时，自动触发相关资源清理操作。
6.根据权利要求5所述的自适应闭环性能测试系统，其特征在于，所述压力决策调整模块包括：
根据预设的加权因子进行计算，计算数值为R；
设定压力阈值，将计算数值R和压力阈值进行比较，同时考虑相关影响因素，满足触发条件时，触发压力策略调整操作，控制加压装置调整压力。
7.根据权利要求6所述的自适应闭环性能测试系统，其特征在于，所述压力决策调整模块中的相关影响因素为时间迟滞值，包括：t1和t2，分别作用于压力决策调整模块，且分别表示计算数值R＞压力阈值时期，以及计算数值R＜压力阈值时期；
当ta＞t1时，ta为计算数值R＞压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间ta＜t1时，保持当前压力策略不变；
t2同理，当tb>t2时，tb为计算数值R＜压力阈值的持续时间，触发对应压力策略调整方案，当该持续时间tb＜t2时，保持当前压力策略不变。
8.根据权利要求5所述的自适应闭环性能测试系统，其特征在于，所述异常信息记录模块中的异常信息记录操作包括记录系统异常日志。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
CN202110321910.XA 2021-03-25 2021-03-25 一种自适应闭环性能测试方法、系统及介质 Active CN112905484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110321910.XA CN112905484B (zh) 2021-03-25 2021-03-25 一种自适应闭环性能测试方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110321910.XA CN112905484B (zh) 2021-03-25 2021-03-25 一种自适应闭环性能测试方法、系统及介质

Publications (2)

Publication Number Publication Date
CN112905484A true CN112905484A (zh) 2021-06-04
CN112905484B CN112905484B (zh) 2023-12-19

Family

ID=76106504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110321910.XA Active CN112905484B (zh) 2021-03-25 2021-03-25 一种自适应闭环性能测试方法、系统及介质

Country Status (1)

Country Link
CN (1) CN112905484B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331846A (zh) * 2023-11-30 2024-01-02 河北雄安尚世嘉科技有限公司 一种基于互联网软件开发运行测试管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080234869A1 (en) * 2007-03-20 2008-09-25 Kenzo Yonezawa Remote Performance Monitor and Remote Performance Monitoring Method
CN101625658A (zh) * 2009-08-04 2010-01-13 卓望信息技术(北京)有限公司西城分公司 一种软件系统性能测试方法
US20100065155A1 (en) * 2005-05-30 2010-03-18 John Deere Forestry Oy System for measuring the performance of a forest machine
CN106909487A (zh) * 2017-01-18 2017-06-30 北京盛世全景科技股份有限公司 应用于信息系统的预警方法及装置
CN112115029A (zh) * 2020-09-28 2020-12-22 中国银行股份有限公司 性能测试方法及装置、计算机设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100065155A1 (en) * 2005-05-30 2010-03-18 John Deere Forestry Oy System for measuring the performance of a forest machine
US20080234869A1 (en) * 2007-03-20 2008-09-25 Kenzo Yonezawa Remote Performance Monitor and Remote Performance Monitoring Method
CN101625658A (zh) * 2009-08-04 2010-01-13 卓望信息技术(北京)有限公司西城分公司 一种软件系统性能测试方法
CN106909487A (zh) * 2017-01-18 2017-06-30 北京盛世全景科技股份有限公司 应用于信息系统的预警方法及装置
CN112115029A (zh) * 2020-09-28 2020-12-22 中国银行股份有限公司 性能测试方法及装置、计算机设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YOUNGGYOUN MOON等: "Cedos: A Network Architecture and Programming Abstraction for Delay-Tolerant Mobile Apps", 《IEEE/ACM TRANSACTIONS ON NETWORKING》, pages 646 - 661 *
吴和生: "云计算环境中多核多进程负载均衡技术的研究与应用", 《中国博士学位论文全文数据库 信息科技辑》, pages 139 - 12 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331846A (zh) * 2023-11-30 2024-01-02 河北雄安尚世嘉科技有限公司 一种基于互联网软件开发运行测试管理系统
CN117331846B (zh) * 2023-11-30 2024-03-08 河北雄安尚世嘉科技有限公司 一种基于互联网软件开发运行测试管理系统

Also Published As

Publication number Publication date
CN112905484B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
US9632875B2 (en) Automated and self-adjusting data protection driven by business and data activity events
CN110413227B (zh) 一种硬盘设备的剩余使用寿命在线预测方法和系统
US20050154576A1 (en) Policy simulator for analyzing autonomic system management policy of a computer system
US8122158B1 (en) Method for improving I/O performance of host systems by applying future time interval policies when using external storage systems
CN101593146B (zh) 页面自动化测试方法和装置
CN110677480B (zh) 一种节点健康管理方法、装置和计算机可读存储介质
US10289464B1 (en) Robust event prediction
JP2008059102A (ja) コンピュータ資源監視プログラム
CN112905484B (zh) 一种自适应闭环性能测试方法、系统及介质
CN115470059A (zh) 一种磁盘检测方法、装置、设备及存储介质
CN115269319A (zh) 一种ceph分布式计算机故障诊断方法
CN116414661B (zh) 分布式存储的固态硬盘处理方法和装置
CN110716826B (zh) 一种云盘升级、调度方法及云主机、调度装置和系统
JP2002152204A (ja) ネットワーク監視装置と方法およびネットワーク監視プログラム
US8799701B2 (en) Systems and methods of providing high availability of telecommunications systems and devices
CN117519052B (zh) 基于电子气体生产制造系统的故障分析方法及系统
KR101763394B1 (ko) 스트리밍 데이터 고속처리시스템을 모니터링하는 모니터링장치 및 그 방법
CN111427842B (zh) 一种分布式文件系统优化的方法和设备
CN116225801A (zh) Cpu可靠性测试方法及装置
US12099738B2 (en) Method and apparatus for adaptively managing data disk capacity, electronic device, and storage medium
CN116594571B (zh) 一种存储故障修复方法、系统、设备及介质
KR101872827B1 (ko) 입출력 기록을 문맥에 따라 범주화하는 컴퓨터의 장애 발생 추정 장치 및 그 방법
US20230143343A1 (en) Method and system for regular testing of datacenter hardware
CN115827597A (zh) 数据管理方法、装置、电子设备及介质
CN118606093A (zh) 一种故障分析方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant