CN109426593A - 自动评估系统性能的方法和装置 - Google Patents

Abstract

本发明实施例公开了一种自动评估系统性能的方法和装置，涉及计算机技术领域。其中，该方法包括：根据当前周期的测试执行请求对被测系统进行压力测试；监控被测系统在所述当前周期的性能指标结果数据；在判断所述当前周期的性能指标结果数据未出现瓶颈的情况下，根据预先设置的下一周期的并发用户数的配置值生成下一周期的测试执行请求。通过以上方法，能够在无需人工干预的情况下自主分析是否需要进行下一周期的压力测试，以及自主地确定压力测试的并发用户数，提高了性能测试的工作效率，降低了人力成本。

Description

自动评估系统性能的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种自动评估系统性能的方法和装置。

背景技术

随着互联网服务的发展，越来越多的人选择通过网络购买商品、分享信息、进行活动宣传等，这对提供互联网服务的应用系统提出了巨大的挑战。判断应用系统是否能够满足用户需求、是否能够满足公司运营发展需求，就需要对应用系统进行专业的性能测试。

在现有技术中，测试人员可以借助LoadRunner、Jmeter等性能测试工具，以及Nagios、nmon、linux命令等监控工具对被测系统进行压力测试。然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

第一、在现有的性能测试中，测试人员往往需要根据经验反复进行多次压力测试工作，而在每次压力测试之前都需要人为地修改压力测试参数，导致性能测试的工作效率较低、人力成本较高。

第二、在现有的性能测试中，测试人员往往需要根据专业技术、测试经验等人为地判断系统的性能瓶颈点。这对测试人员的技术水平以及测试经验的要求很高。

发明内容

有鉴于此，本发明实施例提供一种自动评估系统性能的方法和装置，以提高性能测试的工作效率，降低人力成本。同时，能够降低对测试人员技术水平及测试经验的要求，帮助非专业测试人员快速获取专业的系统性能评估结果。

为实现上述目的，根据本发明实施例的一个方面，提供了一种自动评估系统性能的方法。

本发明实施例的自动评估系统性能的方法包括：根据当前周期的测试执行请求对被测系统进行压力测试；监控被测系统在所述当前周期的性能指标结果数据；在判断所述当前周期的性能指标结果数据未出现瓶颈的情况下，根据预先设置的下一周期的并发用户数的配置值生成下一周期的测试执行请求。

可选地，所述预先设置的下一周期的并发用户数的配置值满足：

User(i+1)＝User(i)+User_STEP；

其中，User(i+1)表示第i+1个周期的并发用户数的配置值，User(i)表示第i个周期的并发用户数的配置值，User_STEP表示预设的并发用户数的增加步长值。

可选地，所述方法还包括：在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，自动记录瓶颈点信息。

可选地，所述方法还包括：在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，根据并发用户数与出现瓶颈的性能指标的曲线方程计算最大并发用户数；将计算得到的最大并发用户数作为下一周期的并发用户数的配置值，以生成下一周期的测试执行请求。

可选地，所述方法还包括：在所述将计算得到的最大并发用户数作为下一周期的并发用户数的配置值，以生成下一周期的测试执行请求的步骤之后，根据所述下一周期的测试执行请求对被测系统进行所述下一周期的压力测试；之后，将监控获取的所述下一周期的性能指标结果数据与所述最大并发用户数对应的性能指标的计算值进行比较，以验证所述下一周期的性能指标结果数据是否在预设的误差范围内；在所述下一周期的性能指标结果数据在预设的误差范围内的情况下，生成停止测试的反馈指示。

可选地，所述方法还包括：在所述下一周期的性能指标结果数据不在预设的误差范围内的情况下，对所述下一周期的性能指标结果数据是否出现瓶颈进行判断。

可选地，所述性能指标包括：系统吞吐量、响应时间。

为实现上述目的，根据本发明实施例的另一方面，提供了一种自动评估系统性能的装置。

本发明实施例的自动评估系统性能的装置包括：Web应用模块，用于向压力生成模块发送当前周期的测试执行请求；压力生成模块，用于根据所述当前周期的测试执行请求对被测系统进行压力测试；监控模块，用于监控被测系统在所述当前周期的性能指标结果数据；分析和反馈模块，用于在判断所述当前周期的性能指标结果数据未出现瓶颈的情况下，将预先设置的下一周期的并发用户数的配置值发送至Web应用模块；所述Web应用模块，还用于根据所述预先设置的下一周期的并发用户数的配置值生成下一周期的测试执行请求。

可选地，所述预先设置的下一周期的并发用户数的配置值满足：

User(i+1)＝User(i)+User_STEP；

其中，User(i+1)表示第i+1个周期的并发用户数的配置值，User(i)表示第i个周期的并发用户数的配置值，User_STEP表示预设的并发用户数的增加步长值。

可选地，所述分析和反馈模块还用于：在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，自动记录瓶颈点信息。

可选地，所述分析和反馈模块还用于：在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，根据并发用户数与出现瓶颈的性能指标的曲线方程计算最大并发用户数，将计算得到的最大并发用户数作为下一周期的并发用户数的配置值发送至Web应用模块；所述Web应用模块还用于：根据所述最大并发用户数生成下一周期的测试执行请求。

可选地，在所述Web应用模块根据所述最大并发用户数生成下一周期的测试执行请求之后，所述压力生成模块还用于：根据所述下一周期的测试执行请求对被测系统进行所述下一周期的压力测试；所述分析和反馈模块还用于：将监控获取的所述下一周期的性能指标结果数据与所述最大并发用户数对应的性能指标的计算值进行比较，以验证所述下一周期的性能指标结果数据是否在预设的误差范围内；在所述下一周期的性能指标结果数据在预设的误差范围内的情况下，生成停止测试的反馈指示，并将所述反馈指示发送至Web应用模块。

可选地，所述分析和反馈模块还用于：在所述下一周期的性能指标结果数据不在预设的误差范围内的情况下，对所述下一周期的性能指标结果数据是否出现瓶颈进行判断。

可选地，所述性能指标包括：系统吞吐量、响应时间。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种服务器。

本发明实施例的服务器，包括：一个或多个处理器；以及，存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的自动评估系统性能的方法。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机可读介质。

本发明实施例的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的自动评估系统性能的方法。

上述发明中的一个实施例具有如下优点或有益效果：本发明实施例中的自动评估系统性能的方法包括以下步骤：根据当前周期的测试执行请求对被测系统进行压力测试；监控被测系统在所述当前周期的性能指标结果数据；在判断所述当前周期的性能指标结果数据未出现瓶颈的情况下，根据预先设置的下一周期的并发用户数的配置值生成下一周期的测试执行请求。通过以上步骤，能够在无需人工干预的情况下自主分析是否需要进行下一周期的压力测试，以及自主地确定压力测试的并发用户数。这样一来，提高了性能测试的工作效率，降低了人力成本。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明一个实施例的自动评估系统性能的方法的主要步骤示意图；

图2是根据本发明另一实施例的自动评估系统性能的方法的主要步骤示意图；

图3是根据本发明一个实施例的自动评估系统性能的装置的主要模块示意图；

图4是根据本发明另一实施例的自动评估系统性能的装置的主要模块示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以相互组合。

图1是根据本发明一个实施例的自动评估系统性能的方法的主要步骤示意图。如图1所示，本发明实施例的自动评估系统性能的方法主要包括以下步骤：

步骤S101、根据当前周期的测试执行请求对被测系统进行压力测试。

示例性的，所述测试执行请求包括：压力测试的脚本、并发用户数、以及压力测试的执行时间。示例性的，所述被测系统可以是应用服务器、数据库服务器、中间件、网关等。

步骤S102、监控被测系统在所述当前周期的性能指标结果数据。

示例性的，所述性能指标包括以下至少一项：系统吞吐量、响应时间、CPU使用率、内存使用率、IO使用率、网络使用率等。所述性能指标结果数据包括以下至少一项：系统吞吐量的检测值、响应时间的检测值、CPU使用率的检测值、内存使用率的检测值、IO(输入输出)使用率的检测值、网络使用率的检测值等。

步骤S103、判断所述当前周期的性能指标结果数据是否出现瓶颈。在判断所述当前周期的性能指标结果数据未出现瓶颈的情况下，执行步骤S104；在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，执行步骤S105。

示例性的，判断所述当前周期的系统吞吐量是否出现瓶颈具体为：将所述当前周期(比如第i周期)的系统吞吐量的检测值与上一周期(比如第i-1周期)的系统吞吐量的检测值进行比较；如果所述当前周期的系统吞吐量的检测值小于上一周期的系统吞吐量的检测值，认为系统吞吐量出现瓶颈；否则，认为系统吞吐量未出现瓶颈。

示例性的，判断所述当前周期的响应时间是否出现瓶颈具体为：将所述当前周期(比如第i周期)的响应时间的检测值与预设的响应时间的阈值进行比较；如果所述当前周期的响应时间的检测值大于阈值，认为响应时间出现瓶颈；否则，认为响应时间未出现瓶颈。

示例性的，判断所述当前周期的CPU使用率是否出现瓶颈具体为：

将所述当前周期(比如第i周期)的CPU使用率的检测值与预设的CPU使用率的阈值进行比较；如果所述当前周期的CPU使用率的检测值大于阈值，认为CPU使用率出现瓶颈；否则，认为CPU使用率未出现瓶颈。

步骤S104、根据预先设置的下一周期的并发用户数的配置值生成下一周期的测试执行请求。在生成下一周期的测试执行请求之后，即可根据所述下一周期的测试执行请求自动进行压力测试。

示例性的，所述预先设置的下一周期的并发用户数的配置值满足：

User(i+1)＝User(i)+User_STEP；

其中，User(i+1)表示第i+1个周期的并发用户数的配置值，User(i)表示第i个周期的并发用户数的配置值，User_STEP表示预设的并发用户数的增加步长值。

可理解的是，以上对于所述预先设置的下一周期的并发用户数的配置值的示例性说明并不构成对本发明的限制。在不影响本发明实施的情况下，本领域技术人员可根据需要预先设置所述下一周期的并发用户数的配置值。

步骤S105、自动记录瓶颈点信息。

具体实施时，可以通过设置标签的方式自动对瓶颈点信息进行记录。例如，当系统吞吐量出现瓶颈时，可自动将标签“isNeck”的属性值设为true，将标签“tpsNeck”的属性值设为true；当响应时间出现瓶颈时，可自动将标签“isNeck”的属性值设为true，将标签“rtNeck”的属性值设为true。

根据本发明实施例的方法，能够在无需人工干预的情况下自主分析是否出现瓶颈、是否需要进行下一周期的压力测试，以及自主地确定压力测试的并发用户数。这样一来，提高了系统性能测试的工作效率，降低了人力成本。另外，与现有人为判断系统性能瓶颈点的方式相比，本发明通过在系统出现瓶颈时自动记录瓶颈点信息，大大降低了对测试人员技术水平及测试经验的要求。

图2是根据本发明另一实施例的自动评估系统性能的方法的主要步骤示意图。如图2所示，本发明实施例的自动评估系统性能的方法主要包括以下步骤：

步骤S201、根据当前周期的测试执行请求对被测系统进行压力测试。

步骤S202、监控被测系统在所述当前周期的性能指标结果数据。

示例性的，所述性能指标包括以下至少一项：系统吞吐量、响应时间、CPU使用率、内存使用率、IO使用率、网络使用率等。

步骤S203、判断所述当前周期的性能指标结果数据是否出现瓶颈。在判断所述当前周期的性能指标结果数据未出现瓶颈的情况下，执行步骤S204；在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，执行步骤S205、步骤S206、步骤S207和步骤S208。

下面结合一具体示例对步骤S203进行详细说明。在该具体示例中，监控的性能指标包括：系统吞吐量、响应时间和CPU使用率，步骤S203具体包括：

步骤一、判断所述当前周期的系统吞吐量的检测值是否小于上一周期的系统吞吐量的检测值。如果所述当前周期的系统吞吐量的检测值小于上一周期的系统吞吐量的检测值，认为系统吞吐量出现瓶颈，进而执行步骤S205；否则，认为系统吞吐量未出现瓶颈，进而执行步骤二。

步骤二、判断所述当前周期的响应时间的检测值是否大于预设的响应时间的阈值。如果所述当前周期的响应时间的检测值大于预设的响应时间的阈值，认为响应时间出现瓶颈，进而执行步骤S205；否则，认为响应时间未出现瓶颈，进而执行步骤三。

步骤三、判断所述当前周期的CPU使用率的检测值是否大于预设的CPU使用率的阈值。如果所述当前周期的CPU使用率的检测值大于预设的CPU使用率的阈值，认为CPU使用率出现瓶颈，进而执行步骤S205；否则，认为CPU使用率未出现瓶颈。在判断所述当前周期的系统吞吐量、响应时间、CPU使用率均未出现瓶颈时，进入步骤S204。

可理解的是，以上对于步骤S203的示例性说明并不构成对本发明的限制。在不影响本发明实施的情况下，本领域技术人员可以调整步骤一至三的执行顺序、或者修改监控的性能指标等。比如，将监控的性能指标修改为：系统吞吐量、响应时间、网络使用率。

步骤S204、根据预先设置的下一周期的并发用户数的配置值生成下一周期的测试执行请求。

步骤S205、自动记录瓶颈点信息。关于如何自动记录瓶颈点信息，可参考图1所示实施例中相应的示例性说明。

进一步，在本发明实施例中，在步骤S205之后，继续执行步骤S206。在另一实施例中，在根据步骤S203判断被测系统出现瓶颈之后，也可以先执行步骤S206、再执行步骤S205。

步骤S206、计算最大并发用户数，将计算得到的最大并发用户数作为下一周期的并发用户数的配置值，以生成下一周期的测试执行请求。

其中，最大并发用户数可理解为系统性能指标瓶颈点对应的并发用户数的计算值。具体实施时，可以先根据并发用户数与出现瓶颈的性能指标的曲线方程计算最大并发用户数。然后，将计算得到的最大并发用户数作为下一周期的并发用户数的配置值，并根据所述下一周期的并发用户数的配置值生成下一周期的测试执行请求。

示例性的，当系统吞吐量出现瓶颈时，步骤S206具体包括：先根据各个周期的并发用户数的值和系统吞吐量的检测值，构建并发用户数与系统吞吐量的曲线方程；对该曲线方程求导，获得曲线方程的极大值点的信息，具体包括：系统最大吞吐量、以及系统最大吞吐量对应的并发用户数的值。在具体实施时，考虑到通过曲线方程计算得到的并发用户数的值可能为小数，所以在得到系统最大吞吐量对应的并发用户数的值以后，还要对其向下取整，以得到为整数的最大并发用户数。然后，将所述最大并发用户数作为下一周期的并发用户数的配置值，以生成下一周期的测试执行请求。

示例性的，当响应时间出现瓶颈时，步骤S206具体包括：先根据各个周期的并发用户数的值和响应时间的检测值，构建并发用户数与响应时间的曲线方程；根据该曲线方程计算响应时间等于预设阈值处的并发用户数的值，再对该并发用户数的值向下取整，以得到为整数的最大并发用户数；然后，将所述最大并发用户数作为下一周期的并发用户数的配置值，以生成下一周期的测试执行请求。

示例性的，当CPU使用率出现瓶颈时，步骤S206具体包括：先根据各个周期的并发用户数的值和CPU使用率的检测值，构建并发用户数与CPU使用率的曲线方程；根据该曲线方程计算CPU使用率等于预设阈值处的并发用户数的值，再对该并发用户数的值向下取整，以得到为整数的最大并发用户数；然后，将所述最大并发用户数作为下一周期的并发用户数的配置值，以生成下一周期的测试执行请求。

进一步，在本发明实施例中，在步骤S206之后，该自动评估系统性能的方法还包括：根据所述下一周期的测试执行请求对被测系统进行压力测试；监控被测系统在所述下一周期的性能指标结果数据。在获取下一周期的性能指标结果数据之后，执行步骤S207、步骤S208。

步骤S207、将监控获取的所述下一周期的性能指标结果数据与所述最大并发用户数对应的性能指标的计算值进行比较。

步骤S208、验证所述下一周期的性能指标结果数据是否在预设的误差范围内。如果所述下一周期的性能指标结果数据在预设的误差范围内，执行步骤S209；否则，执行步骤S210。

下面结合一具体示例对步骤S208进行详细说明。在该具体示例中，监控的性能指标结果数据包括：系统吞吐量的检测值、响应时间的检测值和CPU使用率的检测值。在该具体示例中，当根据步骤S203判断得知系统吞吐量出现瓶颈时，步骤S208包括：根据如下公式计算Δtps；

其中，tps(i+1)表示所述下一周期的系统吞吐量的检测值，f([user])表示最大并发用户数对应的系统吞吐量，user表示通过求导获得的系统最大吞吐量对应的并发用户数的值，[user]表示对user进行向下取整。如果Δtps小于预设的误差值ΔTPS，认为所述下一周期的性能指标结果数据在预设的误差范围内，进而执行步骤S209；否则，执行步骤S210。其中，ΔTPS的值可以根据经验、业务需求等进行设定。比如，ΔTPS可以取0.05。

又比如，在该具体示例中，当根据步骤S203判断得知响应时间出现瓶颈时，步骤S208包括：根据如下公式计算Δrt；

其中，rt(i+1)表示所述下一周期的响应时间的检测值，RT表示预设的响应时间的阈值。如果Δrt小于预设的误差值ΔRT，认为所述下一周期的性能指标结果数据在预设的误差范围内，进而执行步骤S209；否则，执行步骤S210。其中，ΔRT的值可以根据经验、业务需求等进行设定。比如，ΔRT可以取0.05。

又比如，在该具体示例中，当根据步骤S203判断得知CPU使用率出现瓶颈时，步骤S208包括：根据如下公式计算Δw；

其中，w(i+1)表示所述下一周期的CPU使用率的检测值，W₀表示预设的CPU使用率的阈值。如果Δw小于预设的误差值ΔW，认为所述下一周期的性能指标结果数据在预设的误差范围内，进而执行步骤S209；否则，执行步骤S210。其中，ΔW的值可以根据经验、业务需求等进行设定。比如，ΔW可以取0.05。

另外，在具体实施时，除了验证出现瓶颈的性能指标结果数据在预设的误差范围内，步骤S208还可以包括：验证其他性能指标的结果数据未出现瓶颈。例如，当根据步骤S203判断得知系统吞吐量出现瓶颈时，步骤S208包括：验证下一周期的系统吞吐量的结果数据是否在误差范围内，验证下一周期的响应时间的结果数据、下一周期的CPU使用率的结果数据未出现瓶颈。如果所述下一周期的系统吞吐量的结果数据在预设的误差范围内，且所述下一周期的响应时间的结果数据、所述下一周期的CPU使用率的结果数据未出现瓶颈，则执行步骤S209；否则，执行步骤S210。

步骤S209、生成停止测试的反馈指示。

其中，所述停止测试的反馈指示用于指示停止对被测系统进行压力测试。在结束测试之后，还可以将自动记录的瓶颈点信息、每个周期监控的性能指标结果数据等信息展示给用户。

步骤S210、对所述下一周期的性能指标结果数据是否出现瓶颈进行判断。

在本发明实施例中，通过步骤S201至步骤S205，能够在无需人工干预的情况下自主分析是否出现瓶颈、是否需要进行下一周期的压力测试，以及自主地确定压力测试的并发用户数。这样一来，提高了系统性能测试的工作效率，降低了人力成本。进一步，在步骤S206至S208中，通过求取性能指标与并发用户数的曲线方程，并根据曲线方程计算系统的瓶颈点、以及系统瓶颈点对应的最大并发用户数，提高了系统瓶颈点定位的准确性；通过对计算得到的系统瓶颈点作进一步的测试验证，提高了系统瓶颈点定位的可靠性。

图3是根据本发明一个实施例的自动评估系统性能的装置的主要模块示意图。如图3所示，本发明实施例的自动评估系统性能的装置300包括：Web应用模块301、压力生成模块302、监控模块303、分析和反馈模块304。

Web应用模块301，用于向压力生成模块302发送当前周期的测试执行请求。示例性的，所述测试执行请求包括：压力测试的脚本、并发用户数、以及压力测试的执行时间。

压力生成模块302，用于根据所述当前周期的测试执行请求对被测系统进行压力测试。示例性的，所述被测系统可以是应用服务器、数据库服务器、中间件、网关等。其中，对被测系统进行压力测试可理解为：模拟用户或外部系统对被测系统进行访问。

监控模块303，用于监控被测系统在所述当前周期的性能指标结果数据。

示例性的，所述性能指标包括以下至少一项：系统吞吐量、响应时间、CPU使用率、内存使用率、IO使用率、网络使用率等。例如，在一具体实施例中，性能指标包括：系统吞吐量、响应时间和CPU使用率。在该具体实施例中，监控模块可以通过监控压力生成模块获取被测系统的系统吞吐量和响应时间的检测值，通过监控被测系统获取CPU使用率的检测值。或者，监控模块也可通过监控被测系统获取系统吞吐量、响应时间以及CPU使用率的检测值。

分析和反馈模块304，用于在判断所述当前周期的性能指标结果数据未出现瓶颈的情况下，将预先设置的下一周期的并发用户数的配置值发送至Web应用模块301。Web应用模块301，还用于根据所述预先设置的下一周期的并发用户数的配置值生成下一周期的测试执行请求。

示例性的，分析和反馈模块304判断所述当前周期的系统吞吐量是否出现瓶颈具体为：将所述当前周期(比如第i周期)的系统吞吐量的检测值与上一周期(比如第i-1周期)的系统吞吐量的检测值进行比较；如果所述当前周期的系统吞吐量的检测值小于上一周期的系统吞吐量的检测值，认为系统吞吐量出现瓶颈；否则，认为系统吞吐量未出现瓶颈。

示例性的，分析和反馈模块304判断所述当前周期的响应时间是否出现瓶颈具体为：将所述当前周期(比如第i周期)的响应时间的检测值与预设的响应时间的阈值进行比较；如果所述当前周期的响应时间的检测值大于阈值，认为响应时间出现瓶颈；否则，认为响应时间未出现瓶颈。

示例性的，所述预先设置的下一周期的并发用户数的配置值满足：

User(i+1)＝User(i)+User_STEP；

其中，User(i+1)表示第i+1个周期的并发用户数的配置值，User(i)表示第i个周期的并发用户数的配置值，User_STEP表示预设的并发用户数的增加步长值。

进一步，在本发明实施例中，分析和反馈模块304还用于：在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，自动记录瓶颈点信息。

示例性的，分析和反馈模块304可以通过设置标签的方式自动对瓶颈点信息进行记录。例如，当系统吞吐量出现瓶颈时，分析和反馈模块304将标签“isNeck”的属性值设为true，将标签“tpsNeck”的属性值设为true；当响应时间出现瓶颈时，分析和反馈模块304将标签“isNeck”的属性值设为true，将标签“rtNeck”的属性值设为true。

根据本发明实施例的装置，能够在无需人工干预的情况下自主分析是否出现瓶颈、是否需要进行下一周期的压力测试，以及自主地确定压力测试的并发用户数。这样一来，提高了系统性能测试的工作效率，降低了人力成本。另外，与现有人为判断系统性能瓶颈点的方式相比，本发明实施例在系统出现瓶颈时通过分析和反馈模块自动记录瓶颈点信息，大大降低了对测试人员技术水平及测试经验的要求。

图4是根据本发明另一实施例的自动评估系统性能的装置的主要模块示意图。如图4所示，本发明实施例的自动评估系统性能的装置400包括：Web应用模块401、压力生成模块402、监控模块403、分析和反馈模块404。

在本发明实施例中，Web应用模块401用于配置压力测试所需的测试脚本、测试参数等，控制压力生成模块的测试执行和停止。Web应用模块401还用于接收分析和反馈模块404发送的反馈信息，并根据反馈信息决定是否进行下一周期的压力测试。另外，Web应用模块401还可以用于向用户展示每个周期的性能测试结果等。压力生成模块402用于在Web应用模块的控制下对被测系统进行压力测试、以及停止压力测试。监控模块403用于监控被测系统在每个压力测试周期中的性能指标结果数据。分析和反馈模块404用于接收监控模块403收集的每个压力测试周期的性能结果数据，并通过数据分析、处理生成反馈信息，以指示Web应用模块生成继续进行测试的控制指令或者停止测试的控制指令。

下面对本发明实施例的自动评估系统性能的装置400的各个组成模块进行详细介绍。其中，Web应用模块401，用于向压力生成模块402发送当前周期的测试执行请求。示例性的，所述测试执行请求包括：压力测试的脚本、并发用户数、以及压力测试的执行时间。

压力生成模块402，用于根据所述当前周期的测试执行请求对被测系统进行压力测试。

监控模块403，用于监控被测系统在所述当前周期的性能指标结果数据。示例性的，所述性能指标包括以下至少一项：系统吞吐量、响应时间、CPU使用率、内存使用率、IO使用率、网络使用率等。

分析和反馈模块404包括：瓶颈分析单元4041、反馈单元4044。其中，瓶颈分析单元4041用于判断所述当前周期的性能指标结果数据是否出现瓶颈。在判断所述当前周期的性能指标结果数据未出现瓶颈的情况下，反馈单元4044用于将预先设置的下一周期的并发用户数的配置值发送至Web应用模块401。之后，Web应用模块401根据所述预先设置的下一周期的并发用户数的配置值生成下一周期的测试执行请求。在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，瓶颈分析单元4041还用于自动记录瓶颈点信息。关于如何自动记录瓶颈点信息，可参考图3所示实施例中相应的示例性说明。

进一步，在本发明实施例中，分析和反馈模块404还包括：曲线分析单元4042、验证比较单元4043。在判断所述当前周期的性能指标结果数据出现瓶颈以后，除了由瓶颈分析单元4041自动记录瓶颈点信息，还需启用曲线分析单元4042以及验证比较单元4043的功能。其中，曲线分析单元4042用于根据并发用户数与性能指标的曲线方程计算最大并发用户数，并将计算得到的最大并发用户数作为下一周期的并发用户数的配置值发送至Web应用模块401。

示例性的，当判断系统吞吐量出现瓶颈时，曲线分析单元4042具体用于：先根据各个周期的并发用户数的值和系统吞吐量的检测值，构建并发用户数与系统吞吐量的曲线方程；对该曲线方程求导，获得系统最大吞吐量、以及系统最大吞吐量对应的并发用户数的值，再对系统最大吞吐量对应的并发用户数的值向下取整，以得到最大并发用户数；然后，将所述最大并发用户数作为下一周期的并发用户数的配置值发送至Web应用模块401。

示例性的，当判断响应时间出现瓶颈时，曲线分析单元4042具体用于：先根据各个周期的并发用户数的值和响应时间的检测值，构建并发用户数与响应时间的曲线方程；根据该曲线方程计算响应时间等于预设阈值处的并发用户数的值，再对该并发用户数的值向下取整，以得到最大并发用户数；然后，将所述最大并发用户数作为下一周期的并发用户数的配置值发送至Web应用模块401。

在曲线分析单元4042将最大并发用户数发送至Web应用模块401之后，Web应用模块401生成所述下一周期的测试执行请求，并将其发送至压力生成模块402；压力生成模块402根据所述下一周期的测试执行请求对被测系统进行压力测试；监控模块403监控被测系统在所述下一周期的性能指标结果数据，并将其发送至分析和反馈模块404。

验证比较单元4043，用于将所述下一周期的性能指标结果数据与所述最大并发用户数对应的性能指标的计算值进行比较，进而验证所述下一周期的性能指标结果数据是否在预设的误差范围内。如果验证比较单元4043判断所述下一周期的性能指标结果数据在预设的误差范围内，则由反馈单元4044生成停止测试的反馈指示，并将该反馈指示发送至Web应用模块401。否则，由瓶颈分析单元4041对所述下一周期的性能指标结果数据是否出现瓶颈进行判断。

根据本发明实施例的装置，能够在无需人工干预的情况下自主分析是否出现瓶颈、是否需要进行下一周期的压力测试，以及自主地确定压力测试的并发用户数。这样一来，提高了系统性能测试的工作效率，降低了人力成本。进一步，通过分析和反馈模块求取性能指标与并发用户数的曲线方程，并根据曲线方程计算系统的瓶颈点、以及系统瓶颈点对应的最大并发用户数，提高了系统瓶颈点定位的准确性；通过分析和反馈模块对计算得到的系统瓶颈点作进一步的测试验证，提高了系统瓶颈点定位的可靠性。

图5示出了可以应用本发明实施例的自动评估系统性能的方法或自动评估系统性能的装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互。设终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的浏览器提供支持的后台管理服务器。后台管理服务器可以对接收到的数据修改、查询等请求进行处理，并将处理结果反馈给终端设备。

需要说明的是，本发明实施例所提供的自动评估系统性能的方法一般由服务器505执行，相应地，自动评估系统性能的装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图6示出了适于用来实现本发明实施例的服务器的计算机系统600的结构示意图。图6示出的计算机系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括Web应用模块、压力生成模块、监控模块、分析和反馈模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，Web应用模块还可以被描述为“向压力生成模块发送测试执行请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以下流程：根据当前周期的测试执行请求对被测系统进行压力测试；监控被测系统在所述当前周期的性能指标结果数据；在判断所述当前周期的性能指标结果数据未出现瓶颈的情况下，根据预先设置的下一周期的并发用户数的配置值生成下一周期的测试执行请求。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (16)

1.一种自动评估系统性能的方法，其特征在于，所述方法包括：

根据当前周期的测试执行请求对被测系统进行压力测试；

监控被测系统在所述当前周期的性能指标结果数据；

在判断所述当前周期的性能指标结果数据未出现瓶颈的情况下，根据预先设置的下一周期的并发用户数的配置值生成下一周期的测试执行请求。

2.根据权利要求1所述的方法，其特征在于，所述预先设置的下一周期的并发用户数的配置值满足：

User(i+1)＝User(i)+User_STEP；

其中，User(i+1)表示第i+1个周期的并发用户数的配置值，User(i)表示第i个周期的并发用户数的配置值，User_STEP表示预设的并发用户数的增加步长值。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，自动记录瓶颈点信息。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，根据并发用户数与出现瓶颈的性能指标的曲线方程计算最大并发用户数；将计算得到的最大并发用户数作为下一周期的并发用户数的配置值，以生成下一周期的测试执行请求。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述将计算得到的最大并发用户数作为下一周期的并发用户数的配置值，以生成下一周期的测试执行请求的步骤之后，根据所述下一周期的测试执行请求对被测系统进行所述下一周期的压力测试；之后，将监控获取的所述下一周期的性能指标结果数据与所述最大并发用户数对应的性能指标的计算值进行比较，以验证所述下一周期的性能指标结果数据是否在预设的误差范围内；在所述下一周期的性能指标结果数据在预设的误差范围内的情况下，生成停止测试的反馈指示。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在所述下一周期的性能指标结果数据不在预设的误差范围内的情况下，对所述下一周期的性能指标结果数据是否出现瓶颈进行判断。

7.根据权利要求1至5任一所述的方法，其特征在于，所述性能指标包括：系统吞吐量、响应时间。

8.一种自动评估系统性能的装置，其特征在于，所述装置包括：

Web应用模块，用于向压力生成模块发送当前周期的测试执行请求；

压力生成模块，用于根据所述当前周期的测试执行请求对被测系统进行压力测试；

监控模块，用于监控被测系统在所述当前周期的性能指标结果数据；

分析和反馈模块，用于在判断所述当前周期的性能指标结果数据未出现瓶颈的情况下，将预先设置的下一周期的并发用户数的配置值发送至Web应用模块；

所述Web应用模块，还用于根据所述预先设置的下一周期的并发用户数的配置值生成下一周期的测试执行请求。

9.根据权利要求8所述的装置，其特征在于，所述预先设置的下一周期的并发用户数的配置值满足：

User(i+1)＝User(i)+User_STEP；

其中，User(i+1)表示第i+1个周期的并发用户数的配置值，User(i)表示第i个周期的并发用户数的配置值，User_STEP表示预设的并发用户数的增加步长值。

10.根据权利要求8所述的装置，其特征在于，所述分析和反馈模块还用于：

在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，自动记录瓶颈点信息。

11.根据权利要求10所述的装置，其特征在于，所述分析和反馈模块还用于：

在判断所述当前周期的性能指标结果数据出现瓶颈的情况下，根据并发用户数与出现瓶颈的性能指标的曲线方程计算最大并发用户数，将计算得到的最大并发用户数作为下一周期的并发用户数的配置值发送至Web应用模块；

所述Web应用模块还用于：根据所述最大并发用户数生成下一周期的测试执行请求。

12.根据权利要求11所述的装置，其特征在于，在所述Web应用模块根据所述最大并发用户数生成下一周期的测试执行请求之后，

所述压力生成模块还用于：根据所述下一周期的测试执行请求对被测系统进行所述下一周期的压力测试；

所述分析和反馈模块还用于：将监控获取的所述下一周期的性能指标结果数据与所述最大并发用户数对应的性能指标的计算值进行比较，以验证所述下一周期的性能指标结果数据是否在预设的误差范围内；在所述下一周期的性能指标结果数据在预设的误差范围内的情况下，生成停止测试的反馈指示，并将所述反馈指示发送至Web应用模块。

13.根据权利要求12所述的装置，其特征在于，所述分析和反馈模块还用于：

在所述下一周期的性能指标结果数据不在预设的误差范围内的情况下，对所述下一周期的性能指标结果数据是否出现瓶颈进行判断。

14.根据权利要求8至13任一所述的装置，其特征在于，所述性能指标包括：系统吞吐量和响应时间。

15.一种服务器，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一所述的方法。

16.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一所述的方法。