CN112350878A - 一种压力测试系统 - Google Patents

Abstract

本发明公开了一种压力测试系统，包括：数据采集系统，用于采集业务系统在不同流量状态下的性能指标数据；训练预测系统，用于获取从业务系统中采集的性能指标数据，将所述性能指标数据标定为正样本数据和负样本数据后输入到性能测试模型中进行训练学习，以使所述性能测试模型能够输出业务系统运行状态预测结果；压力流量确定系统，用于基于性能测试模型输出的业务系统运行状态预测结果，调整压力测试流量值，直至确定业务系统的性能极限状态；压力流量构造系统，用于基于所述压力测试流量值构造对应的压力测试流量，将所述压力测试流量作用于所述业务系统。能够实现系统性能在无人值守情况下的自动化测试，测试准确度高、反馈精准。

Description

一种压力测试系统

技术领域

本发明涉及测试技术领域，特别涉及一种压力测试系统。

背景技术

随着互联网技术的发展，网络购物已经越来越受到青睐，用户使用app或浏览器访问购物网站进行网络购物时，其搜索、查看商品、查看购物车、浏览商品、点击广告等用户行为以及媒体的广告植入、商品展示等行为都需要使用网站系统资源，为网站的核心服务引擎添加一定的负载，尤其是当有大型促销活动时，用户行为数量大量增加，很可能造成网站系统负荷过重，不能正常运行。

为了保证用户行为流量增大时购物网站系统的正常运行，则需要了解网站在高负荷情况下的运转情况，使网站在用户行为流量增大时不会出现服务异常、宕机等异常情况，因此，测试网站系统在高负荷场景下的性能和能够承受的流量压力是很有必要的，通过压力测试也能够对大流量用户行为情况下可能发生的问题进行及时的应对。

传统压力测试需要人工操作，如手动触发系统流量压力实现模拟大流量用户行为，人工监控在压力触发后的系统性能指标等线上数据，并人工对照系统正常运行数据和当前线上数据，当系统过载或者异常时，比如反馈时间过高，超时率增加等情况，需要人工确认后进行压力调整，最终手动调整压力流量得到最优解。可见，现有的系统性能测试方式，需要大量的人工操作，人力资源成本比较高，且操作麻烦、自动化程度低；且无法及时发现系统性能细微变化，系统性能测试准确率和反馈精准度都比较低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种压力测试系统。

本发明实施例提供一种压力测试系统，包括：

数据采集系统，用于采集业务系统在不同流量状态下的性能指标数据；

训练预测系统，用于获取从业务系统中采集的性能指标数据，将所述性能指标数据标定为正样本数据和负样本数据后输入到性能测试模型中进行训练学习，以使所述性能测试模型能够输出业务系统运行状态预测结果；

压力控制系统，用于基于性能测试模型输出的业务系统运行状态预测结果，调整压力测试流量值，直至确定业务系统的性能极限状态；

流量构造系统，用于基于所述压力测试流量值构造对应的压力测试流量，将所述压力测试流量作用于所述业务系统。

在一些可选的实施例中，所述流量构造系统，包括：数据智能构造系统和模拟调度系统；

所述数据智能构造系统，用于基于压力流量确定系统确定的压力测试流量值，构造符合业务系统要求的相应数量的用户行为请求；

所述模拟调度系统，用于根据数据智能构造系统构造的用户行为请求，模拟相应的用户行为作用于业务系统。

在一些可选的实施例中，所述模拟调度系统，包括调度子系统和压测服务器集群；

所述调度子系统，用于根据预设的用户行为模拟策略和压测服务器分配策略，为所述用户行为数据中包括的各用户行为分配压测服务器集群中的服务器；

所述压测服务器集群中包括的各服务器，分别用于模拟分配的用户行为作用于业务系统。

在一些可选的实施例中，所述训练预测系统，还用于：

获取从业务系统中采集的性能指标数据之后，对所述性能指标数据进行归一化处理和/或去噪处理；

对处理后的性能指标数据中包括的性能指标进行重新组合和向量化处理，得到包括多维向量化处理后的性能指标数据。

在一些可选的实施例中，所述训练预测系统对所述性能指标数据进行归一化处理和去噪处理，包括：

确定性能指标数据中每个性能指标的归一化量纲，根据所述归一化量纲，将每条性能指标数据记录中的各性能指标值转换到指定数量级范围内；和/或

针对每个性能指标，计算各条性能指标数据记录中所述性能指标的均值和方差，根据得到的均值和方差对各条性能指标数据记录的该项性能指标进行过滤，去除偏差大于指定条件的性能指标数据记录。

在一些可选的实施例中，所述训练预测系统对处理后的性能指标数据中包括的性能指标进行重新组合和向量化处理，得到多维向量化处理后的性能指标数据，包括：

从性能指标数据中选择性能指标进行重新组合，得到至少一项组合性能指标；

针对每条性能指标数据记录，将其包括的性能指标和得到的组合性能指标中的每一项作为向量化处理的一个维度，得到多位维向量化处理后的性能指标数据。

在一些可选的实施例中，所述训练预测系统用于将所述性能指标数据标定为正样本数据和负样本数据，包括：

所述训练预测系统根据业务系统正常运行时各性能指标的正常范围，将性能指标数据中各性能指标均在正常范围内的性能指标数据记录标记为正样本数据，将性能指标数据中有任一项性能指标不在正常范围内的性能指标数据记录标记为负样本数据。

在一些可选的实施例中，所述训练预测系统将所述性能指标数据标定为正样本数据和负样本数据后输入到性能测试模型中进行训练学习，以使所述性能测试模型能够输出业务系统运行状态预测结果，包括：

所述训练预测系统根据输入的正样本数据和负样本数据中包括的性能指标数据记录，分别预测各性能指标数据记录对应的业务系统运行状态，并分别统计所述正样本数据和负样本数据对应的业务系统运行状态预测结果的准确率是否符合要求，若不符合要求，获取下一批性能指标数据继续进行训练学习，直至得到预测准确率符合要求的性能测试模型。

在一些可选的实施例中，所述压力控制系统，用于基于性能测试模型输出的业务系统运行状态预测结果，调整压力测试流量值，直至确定业务系统的性能极限状态，包括：

性能测试模型输出的业务系统运行状态预测结果为业务系统运行状态正常时，按照设定的加压规则增加压力测试流量值，直至业务系统运行状态出现异常，确定业务系统的性能极限状态；或

性能测试模型输出的业务系统运行状态预测结果为业务系统运行状态正常时，按照设定的加压规则增加压力测试流量值，直至业务系统运行状态出现异常，按照设定的减压规则减少压力测试流量值，直至业务系统运行状态恢复正常，返回按照设定的加压规则增加压力测试流量值的步骤，重复上述过程设定次数后，确定业务系统的性能极限状态。

在一些可选的实施例中，所述压力控制系统，还用于：

在业务系统运行状态首次出现异常之后，按照设定的减压规则减少压力测试流量值的过程中，若业务系统出现性能指标波动幅度大于设定阈值的情况，则使用均值漂移算法确定性能指标波动大于设定阈值的异常点对应的性能指标值和性能指标均值之间的距离偏移，若距离偏移增大，认为系统达到性能极限。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的压力测试系统，通过训练预测系统对数据采集系统采集的业务系统在不同流量状态下的性能指标数据进行训练学习，获得预测准确率符合要求的性能测试模型，通过性能测试模型预测业务系统运行状态是否正常，由压力控制系统根据业务系统运行状态预测结果调整压力测试流量值，并通过流量构造系统构造压力测试流量作用于业务系统，直至确定业务系统的性能极限状态，实现了业务系统压力流量调整、不同流量压力下业务系统性能指标数据采集、性能预测模型的训练学习以及对业务系统运行状态的预估等系统性能测试的各个环节均能自动化执行，无需人工参与，从而实现无人值守的自动化的业务系统性能测试，降低了人力资源成本，且能及时监控到系统性能细微变化，系统性能测试准确率和反馈精准度都得到大大提高。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例一中压力测试系统的结构示意图；

图2为本发明实施例一中压力测试系统的一种具体架构图；

图3为本发明实施例二中性能测试模型训练方法的流程图；

图4为本发明实施例二中性能测试模型训练方法的一种具体实现流程图；

图5为本发明实施例二中性能测试模型训练的原理框图；

图6为本发明实施例三中加压测试方法的流程图；

图7为本发明实施例三中加压测试方法的一种具体实现流程图；

图8为本发明实施例三中无人值守的性能测试方案用例图；

图9为本发明实施例三中无人值守的性能测试逻辑图；

图10为本发明实施例三中爬山算法的原理示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中系统压力测试(也称为压测)需要人工干预，操作麻烦，自动化程度地、测试准度低等问题，本发明实施例提供一种压力测试系统，基于有监督训练算法训练性能测试模型，基于性能测试模型的预测结果确定业务系统运行状态，并基于业务系统运行状态调整压力测试流量值，构建相应的压力测试流量作用于业务系统，通过不断加压的方式获取系统性能极限状态，实现无人值守的性能测试，降低了人力资源成本，且能及时监控到系统性能细微变化，系统性能测试准确率和反馈精准度都得到大大提高。

实施例一

本发明实施例一提供的压力测试系统，其结构如图1所示，包括：

数据采集系统1，用于采集业务系统5在不同流量状态下的性能指标数据；

训练预测系统2，用于获取从业务系统5中采集的性能指标数据，将性能指标数据标定为正样本数据和负样本数据后输入到性能测试模型中进行训练学习，以使性能测试模型能够输出业务系统运行状态预测结果；

压力控制系统3，用于基于性能测试模型输出的业务系统5运行状态预测结果，调整压力测试流量值，直至确定业务系统5的性能极限状态；

流量构造系统4，用于基于压力控制系统3提供的压力测试流量值构造对应的压力测试流量，将压力测试流量作用于业务系统5。

上述系统中，在模型训练时，需要标记正负样本，通过正负样本的学习，实现使性能测试模型能够输出业务系统运行状态预测结果，在加压预测时，可选的，可以不需要标记正负样本，只需要根据采集的性能指标数据输入性能测试模型，输出业务系统运行状态预测结果，然后压力控制系统3可以基于性能测试模型输出的业务系统5运行状态预测结果，调整压力测试流量值

该压力测试系统的一种具体架构如图2所示。

上述压力测试系统中包括的数据采集系统1可以从业务系统中采集不同流量状态下实时产生的性能指标数据，从而得到不同流量状态下的业务系统的各性能指标的值，并可以将得到的性能指标数据存储在数据库(DB)中，也可以将采集到的性能指标数据展示给用户。

如图2所示的，压测执行人员可以通过acp压测平台页面监控压测过程中的流量和性能指标变化情况，数据采集系统可以采集用户行为数据，并存储在数据库(DB)中，也可以将性能指标数据展示到acp压测平台页面，比如，展示采集到的用户行为数据的统计结果。

上述压力测试系统中包括的训练预测系统2，用于性能测试模型的训练。

获取从业务系统5中采集的性能指标数据后，可以对性能指标数据进行处理后用于性能测试模型的训练。具体的，训练预测系统2还用于获取从业务系统5中采集的性能指标数据后，获取从业务系统中采集的性能指标数据之后，对所述性能指标数据进行归一化处理和/或去噪处理；以及对处理后的性能指标数据中包括的性能指标进行重新组合和向量化处理，得到包括多维向量化处理后的性能指标数据。

其中，训练预测系统对性能指标数据进行归一化处理和/或去噪处理，包括：

确定性能指标数据中每个性能指标的归一化量纲，根据所述归一化量纲，将每条性能指标数据记录中的各性能指标值转换到指定数量级范围内；和/或

针对每个性能指标，计算各条性能指标数据记录中性能指标的均值和方差，根据得到的均值和方差对各条性能指标数据记录的该项性能指标进行过滤，去除偏差大于指定条件的性能指标数据记录。

其中，训练预测系统对处理后的性能指标数据中包括的性能指标进行重新组合和向量化处理，得到多维向量化处理后的性能指标数据，包括：从性能指标数据中选择性能指标进行重新组合，得到至少一项组合性能指标；针对每条性能指标数据记录，将其包括的性能指标和得到的组合性能指标中的每一项作为向量化处理的一个维度，得到多位维向量化处理后的性能指标数据。

其中，训练预测系统用于将所述性能指标数据标定为正样本数据和负样本数据，包括：训练预测系统根据业务系统正常运行时各性能指标的正常范围，将性能数据中各性能指标均在正常范围内的性能指标数据记录标记为正样本数据，将性能指标数据中有任一项性能指标不在正常范围内的性能指标数据记录标记为负样本数据。

其中，训练预测系统将所述性能指标数据标定为正样本数据和负样本数据后输入到性能测试模型中进行训练学习，以使所述性能测试模型能够输出业务系统运行状态预测结果，包括：

训练预测系统根据输入的正样本数据和负样本数据中包括的性能指标数据记录，分别预测各性能指标数据记录对应的业务系统运行状态，并分别统计所述正样本数据和负样本数据对应的业务系统运行状态预测结果的准确率是否符合要求，若不符合要求，获取下一批性能指标数据继续进行训练学习，直至得到预测准确率符合要求的性能测试模型。

训练预测系统的功能参见图2所示的模型训练流部分，在数据收集后，经过样本归一化、样本去噪、单维样本转换多维样本、有监督分类后进行负样本预测、经过落袋率(即准确率)计算，得到可固化的性能训练模型。

上述压力测试系统中包括的压力控制系统3，用于基于性能测试模型输出的业务系统运行状态预测结果，调整压力测试流量值，直至确定业务系统的性能极限状态。例如可以基于爬山算法进行加压测试，可以选择下列方式之一：

方式一：一直加压直至系统异常确定业务系统的性能极限状态。

性能测试模型输出的业务系统运行状态预测结果为业务系统运行状态正常时，按照设定的加压规则增加压力测试流量值，直至业务系统运行状态出现异常，确定业务系统的性能极限状态。

方式二：通过多次加压减压，确定业务系统的性能极限状态。

性能测试模型输出的业务系统运行状态预测结果为业务系统运行状态正常时，按照设定的加压规则增加压力测试流量值，直至业务系统运行状态出现异常，按照设定的减压规则减少压力测试流量值，直至业务系统运行状态恢复正常，返回按照设定的加压规则增加压力测试流量值的步骤，重复上述过程设定次数后，确定业务系统的性能极限状态。

压力控制系统3，还用于在业务系统运行状态首次出现异常之后，按照设定的减压规则减少压力测试流量值的过程中，若业务系统出现性能指标波动幅度大于设定阈值的情况，则使用均值漂移算法确定性能指标波动大于设定阈值的异常点对应的性能指标值和性能指标均值之间的距离偏移，若距离偏移增大，认为系统达到性能极限。从而实现加压减压过程中系统性能指标波动较大的情况下的异常处理。

压力控制系统3的功能参见图2所示的无人值守的智能压测流部分，包括监控指标的归一化，指标的向量化后进行模型预测、根据预测结果调整流量，以及均值明显漂移时的减少流量处理，以及调用异常检测模块来实现异常点检测等过程。通过模型和算法智能完成压测，做到无人值守压测，和以往需要多人手动看守压测相比，大大提高了效率，其中调用异常检测模块可以执行基于历史均值的异常点检测、样本归一化计算马氏距离、基于摸高(kmeans)算法的异常点检测算法等方式，实现异常点检测。

上述压力测试系统中包括的流量构造系统4，包括：数据智能构造系统和模拟调度系统；其中，

数据智能构造系统，用于基于压力流量确定系统确定的压力测试流量值，构造符合业务系统要求的相应数量的用户行为请求；

模拟调度系统，用于根据数据智能构造系统构造的用户行为请求，模拟相应的用户行为作用于业务系统。

模拟调度系统可以包括调度子系统和压测服务器集群；

所述调度子系统，用于根据预设的用户行为模拟策略和压测服务器分配策略，为所述用户行为数据中包括的各用户行为分配压测服务器集群中的服务器；

压测服务器集群中包括的各服务器，分别用于模拟分配的用户行为作用于业务系统。

流量构造系统4的功能参见图2中数据智能构造系统和模拟调度系统部分。可以构造用户的真实数据，比如用户浏览网站上展示的商品，构建用户cookie等相关信息，通过服务器集群模拟用户行为。

其中，数据智能构造系统摒弃了以往人工手写构造数据的弊端，利用大数据学习可以极大提高数据的覆盖率，覆盖更多的引擎逻辑。数据智能构造系统可以通过语料库、分词、贝叶斯分析、词频统计、创建词云、生成有权重的热点请求(query)等步骤构造用户行为请求，也可以基于语义和数据挖掘从海量数据中学习并拟合出线上请求，还可以通过map-reduce离线任务获取亿万级线上真实用户请求数据。并进行持久化存储，将数据存储到数十台万兆机器搭建的hdfs存储系统中。

模拟调度系统可以从存储系统中主动拉取数据，并通过压测服务器集群(图2中的一组服务器图表部分)模拟用户行为，实现模拟相应数量的压力测试流量，模拟服务器集群可以根据收集到的用户行为统计结果，模拟用户行为，比如需要模拟几千万的用户行为。可以通过调度系统根据采集到的用户行为数据统计结果，比如现在流量是五千万，在模拟相应数量的用户行为。在进行模拟时，基于一定的规则和策略进行模拟，比如：同机房优先策略，贪心策略、负载均衡策略等等，以同机房优先策略为例，比如对于A城市的用户，则用A城市对应的服务器进行模拟。

模拟调度系统可以在进行用户行为模拟时通过真实的服务器进行模拟，比如调度子系统(图2中中间带M标记的方块部分)可以实现模拟流量的调度，并将调度信息写到zk。调度子系统使用的用户行为模拟策略可以包括同机房优先策略、贪心策略、负载均衡策略等，调度子系统使用的压测服务器分配策略可以包括根据不同压测类型智能分配压测机型等分配策略。调度系统还支持各种调度算法插件自动装载(plug in)。压测服务器集群还可以通过agent获取任务。

本发明实施例提供的压力测试系统，是一种基于有监督训练算法调控的无人值守压测技术，基于预先训练的性能测试模型，实现自动化的系统性能测试，通过爬山算法自动调整施加在被测系统的用户流量，不断增加系统压力，获取系统极限状态。该性能测试方法可以通过性能测试平台(acp)实现，上述压测是指系统压力测试和性能测试，测试系统在不同压力下的性能状态，下面通过具体的实施例分别描述性能测试模型的训练和加压测试的具体实现流程。

实施例二

本发明实施例二提供一种性能测试模型训练方法，其流程如图3所示，包括如下步骤：

步骤S101：获取业务系统的性能指标数据作为样本数据。

获取业务系统在不同流量下的性能指标数据作为样本数据，性能指标数据中包括系统在不同用户行为流量时对应的业务系统的性能指标值。

收集系统运行时产生的性能指标数据，得到系统环境下的性能指标数据样本，比如在不同的用户行为流量(即用户流量)下系统的反馈时间(rt)、每秒请求数(qps)、超时率(timeout)、各个模块间请求成功率(succrate)、带宽(bytes)等性能指标。

步骤S102：对样本数据进行分类。

对样本数据进行分类，可以基于设定规则对样本数据进行打标，标记处正样本和负样本。

比如，某一样本记录的一个性能指标(即一个维度)：反馈时间超过某个阈值，则打标为负样本，成功率下降到某个阈值以下打标为负样本，各个指标都在正常区间范围内打标为正样本，如对rt超过200ms的样本记录标记为负样本，即打标：FLAG＝-1，对rt在100～200ms以内的样本标记为正样本，即打标FLAG＝1。

步骤S103：将分类后的样本数据输入性能测试模型中进行训练学习，输出业务系统运行状态预测结果。

样本数据构造完成后，基于样本数据进行建模操作，可以调用算法库进行建模，例如调用tensorflow的算法库以及基于python实现的随机森林的算法库进行建模。然后将样本数据输入模型中，基于样本数据业务系统运行状态预测结果，比如正样本数据输出的业务系统运行状态预测结果是否为正常状态，负样本数据输出的业务系统运行状态预测结果是否为异常状态，并将基于算法库，判定预测结果的准确性。

步骤S104：判断预测准确率是否符合要求。若是，执行步骤S106；若否，执行步骤S105。

算法库基于给入的参数和样本生成二进制索引/二叉树存储结构，同时对产出的模型用各种样本验证，计算模型评估指标(area under the curve，AUC)，获取AUC符合要求的模型。AUC可以是落袋率或说准确率，通过AUC判断模型预测的准确度是否符合要求。

例如对分类后的样本数据，在有m个正样本，n个负样本的样本数据集里，一共有m*n对样本，统计该m*n对样本里，正样本的预测准确的概率和负样本预测准确的概率的个数可以作为正样本和负样本各自的AUC。这里可以调用算法库函数：model＝train(sampleList)sampleList即为样本列表，Model即为返回的二进制模型。通过调用的算法库函数计算AUC。

步骤S105：对性能测试模型进行参数调整，并获取下一批样本数据返回步骤S102继续进行训练学习。

若模型的AUC不符合要求，则需要继续迭代训练，通过多批样本的多次迭代训练，获取到AUC符合要求的模型。

步骤S106：将性能测试模型固化存储。

通过多批次样本循环训练性能测试模型，直至准确率符合要求时，将性能测试模型固化存储。

本发明实施例提供的性能测试模型构建方法，基于系统的历史性能指标数据进行学习训练获得可固化的性能测试模型，通过对多批样本的学习，调整模型参数，获得系统性能指标预测准确率符合要求的性能测试模型，用于系统性能测试，以便实现无人值守的自动化系统性能测试。

上述性能测试模型的训练的一种实现方式如图4所示，其原理框图参见图5所示，包括如下步骤：

步骤S201：获取系统性能指标数据作为样本数据。

参见图5所示的，数据收集pipeline(批量读取hbase)，即通过数据收集设备收集用户行为数据，并存储到数据库中，当需要时，可以从数据库(DB)中批量读取。可以线上监控数据收集任务。

步骤S202：对样本数据进行去噪处理。

可选的，获取到样本数据后，可以对样本数据进行过滤，过滤掉异常的样本数据，也称之为样本去噪处理，比如去掉系统抖动的性能指标数据，去掉-1数据等等。参见图5中所示的样本去噪pipeline，实现对异常样本和无效样本的剔除。

样本数据去噪处理，可以使用一定的规则进行去噪处理，例如通过一定的算法过滤掉偏差比较大的数据。比如，针对每个系统性能指标，计算各条样本记录中该项系统性能指标的均值和方差，根据得到的均值和方差对各条样本记录的该项系统性能指标进行过滤，去除偏差大于指定条件的样本记录。

具体可以遍历每一条样本数据的每一个性能指标，并计算各性能指标的均值以及方差，对于偏差过大的样本进行过滤，不纳入到模型训练当中，排除异常数据影响。如正常反馈时间rt约为100毫秒，对于反馈时间小于10毫秒以及大于500毫秒以外的样本数据进行过滤，因为这些数据不能真正反映系统状态。

步骤S203：对样本数据进行归一化处理。

归一化处理是将样本的量纲进行归一化，确定样本数据中每个系统性性能指标的归一化量纲，根据归一化量纲，将每条样本记录中的各系统性能指标值转换到指定数量级范围内。该步骤实现统一样本的数据区间，参见图5所示的样本归一化pipeline，实现归一化量纲，统一数据区间。

比如，带宽数量级为亿万级别，而反馈时间数量级为毫秒，需将将这些数值统一到一个数量级，保证各个样本数据各维度的取值范围相近，如带宽的绝对值为1500000B，反馈时间绝对值为0.1s，归一化为带宽绝对值:1500M，反馈时间绝对值100ms，此时两数值的数量级相近。

上述步骤S102的去噪处理和步骤S103的归一化处理均为可选步骤，可以两个处理均执行，也可以只执行其中之一，且当两个处理均执行时，其执行顺序不分先后，可以同时执行。

步骤S204：对处理后的样本数据中包括的性能指标进行重新组合。

从样本数据中选择系统性能指标进行重新组合，得到至少一项组合性能指标，该过程可以称之为样本转换，样本转化可以组合出新的样本维度，得到组合样本数据；参见图5所示的单一样本转化多维样本pipeline，例如可以组合反馈时间rt和每秒请求数qps，也可以组合带宽和成功率。

比如服务的反应时间和返回带宽组合为新的一维样本，当服务反应时间较大时，返回带宽也较大，因此二者有强关联性，并将二者通过计算整合成一个样本，如反应时间为100ms，返回带宽100M，构建新的一维样本sample1＝100ms/100M＝1ms/M；若该样本大幅度偏离此预估值，则说明系统出现异常。

该步骤实现对现有样本数据中已有维度的数据进行组合，产生新的组合维度数据。

步骤S205：对重新组合后的样本数据进行向量化处理，得到多维向量化处理后的样本数据。

针对每条样本记录，将其包括的系统性能指标和得到的组合性能指标中的每一项作为向量化处理的一个维度，得到多位量化处理后的样本数据。该步骤实现将样本数据中的各维度数据进行向量化转换，得到样本数据的序列化向量表达，比如，在序列化向量表达中，每个性能指标，包括组合性能指标和单一性能指标，对应向量中的一个维度数据。参见图5中所示的样本向量序列化pipeline，例如将一百多维样本序列化成向量。

步骤S206：对样本数据进行分类。

参见图5中所示的有监督分类pipeline，通过规则将样本分类为正样本和负样本。

步骤S207：将分类后的样本数据输入性能测试模型中进行训练学习，输出业务系统运行状态预测结果。

参见图5中所示的，核心模型训练pipeline和模型训练流。将亿万级别的样本数据灌入模型中，并生成基于的dnn/rrnn/随机森林等的性能预测模型，同时生成实体索引文件，使用模型进行测试，并使用负样本预测pipeline进行预测。

步骤S208：判断预测准确率是否符合要求。若是，执行步骤S210；若否，执行步骤S209。

参见图5中所示的计算auc/落袋率计算pipeline，计算模型的预测准确率。

步骤S209：对性能测试模型进行参数调整，并获取下一批样本数据返回步骤S202继续进行训练学习。

参见图5所示的，若auc不合格，则进行参数调整，并继续下一批次的样本训练。

步骤S210：将性能测试模型固化存储。

该步骤实现模型持久化处理，对于auc符合预期的对应模型，会持久化存储，将该二进制模型存储到分布式系统hdfs中，并在无人值守的压测流中进行实时预估。

参见图5所示的，若auc合格，则进入model dump环节，对模型进行固化。

实施例三

本发明实施例三提供一种加压测试方法，其流程如图6所示，包括如下步骤：

步骤S301：按照设定规则调整施加到业务系统的压力测试流量值。

通过压力控制系统调整施加到业务系统的压力测试流量值，通过流量构造系统模拟用户行为，实现被测试的业务系统流量加压，可以按照预定规则控制加压的程度。

步骤S302：基于压力测试流量值构造对应的压力测试流量，将压力测试流量作用于业务系统。

步骤S303：获取业务系统在不同流量状态下的性能指标数据。

步骤S304：性能测试模型基于获取的性能指标数据预测业务系统运行状态是否正常。

若是，执行步骤S305；若否，执行步骤S306。

步骤S305：按照设定规则增加用户行为流量，并返回继续执行步骤S302。

步骤S306：确定系统的性能极限状态。

本实施例基于爬山算法实现，找到系统性能极限状态，即在系统性能参数正常的情况下，不断增加系统流量压力，直至系统性能出现异常，确定系统的性能极限状态。

本实施例中，使用爬山算法的自动极限探测技术实现系统性能测试，运用爬山算法，同时实时调用模型进行预估当前系统状态，当模型反馈正常时，继续爬山加压操作，当模型异常反馈时，到达顶点。

当性能指标出现异常漂移现象时，使用漂移算法的异常点检测技术进行处理。即在系统峰值时，系统性能指标出现大幅度波动，使用均值漂移算法过滤异常点，保证无人值守的压测流正常稳定。

本发明实施例提供的性能测试方法，通过预先训练好的性能测试模型对系统性能进行模拟测试，并能够控制施加到业务系统的用户行为流量，改变系统承受的压力，测试业务系统在不同压力下的系统性能指标是否能够保持稳定和正常，获取系统出现性能指标异常的极限状态，从而实现对系统性能的自动化测试，不需要人工干预，既能实现自动化的系统压力和性能测试，无需人工值守，降低了人力资源成本，且能及时监控到系统性能细微变化，系统性能测试准确率和反馈精准度都得到大大提高。

上述加压测试方法的一种具体实现过程如图7所示，包括如下步骤：

步骤S401：按照设定规则调整施加到业务系统的压力测试流量值。

步骤S302：基于压力测试流量值构造对应的压力测试流量，将压力测试流量作用于业务系统。

步骤S403：获取业务系统在不同流量状态下的性能指标数据。

步骤S404：对系统性能预测数据进行归一化处理和/或去噪处理。

步骤S405：对处理后的性能指标数据中包括的性能指标进行重新组合和向量化处理，得到多维向量化处理后的性能指标数据。

步骤S406：性能测试模型基于获取的性能指标数据预测业务系统运行状态是否正常。

若是，执行步骤S407；若否，执行步骤S408。

步骤S407：按照设定规则增加的用户行为流量，并返回继续执行步骤S402。

步骤S408：重复次数是否达到设定阈值；若否，执行步骤S409；若是执行步骤S410。

步骤S409：按照设定规则减少用户行为流量，并返回继续执行步骤S402。

步骤S410：确定系统的性能极限状态。

上述步骤S408和409所执行的循环过程，实现了有任意一个系统性能指标异常之后，按照设定规则减少施加到业务系统的用户行为流量，直至系统性能指标恢复至正常范围内后，继续按照设定规则增加施加到业务系统的用户行为流量，直至有任意一个系统性能指标出现异常，重复上述过程设定次数后，再确定业务系统的性能极限状态。

如图8所示为，无人值守的性能测试的一个方案用例，基于自动极限探索方案探测系统极限状态。用户(例如用户)可以在acp平台上触发测试任务-基于有监督训练算法调控的无人值守压测服务，服务会调用爬山算法和性能测试模型实现压测。整体压测流程使用爬山算法，如图中1.1，调用爬上算法，如图中1.2调用性能测试模型(预估模型)。当有异常时，使用均值漂移算法检测异常点，如图中所示的1.3调用均值漂移算法。测试过程最终得到系统极限，如图中1.4得到被压测服务的系统极限。

本实施例中，无人值守的性能测试逻辑如图9所示，使用爬山算法调度整体压测流程，通过性能测试模型预估当前系统性能指标是否正常，若系统性能指标正常，遵循爬山算法执行爬山流程，若系统性能指标不正常，调用kmeans算法、均值漂移算法计算异常点空间距离，爬山算法执行下山流程，并调用性能测试模型预估当前系统性能指标是否正常，当系统恢复正常后继续执行爬山流程，若系统依然不正常，则认为达到系统极限，任务结束。整个测试逻辑中，调用爬山算法并通过模型预估当前系统状态，爬到第一个山顶后，下降压力之后再进行爬山增加压力操作，当再次达到山顶时，即模型预测达到极限，即认定为系统极限，此时任务结束。

使用基于爬山算法调控的自动极限探测技术控制测试系统中施加的用户流量压力，运用爬山算法，同时实时调用python算法库载入上述训练完成的二进制模型，并将当前系统的实时监控数据经过上述转换变成样本格式，调用算法库的模型预测算法，并将样本格式的数据作为输入参数，拿到模型的预估预测结果，当模型反馈正常时，继续爬山加压操作，当模型反馈异常时，说明有系统性能指标已经异常，不能再继续进行爬山加压操作，该点即为顶点。爬山算法的实现流程参照图10所示，横轴为时间，纵轴为压力(qps)，通过控制压力(qps)测量出系统极限，分为预热阶段、爬坡阶段，到达模型预测极限后的小幅调整阶段(即局部最优解后小幅下山，小幅爬山阶段)，并通过尝试摸高(kmeans)算法保证没有大幅度均偏移，直至达到最优解，即系统极限，压测停止。其中，如压力测试某系统，压力从10000qps开始加压，每五分钟加压步长为5000qps，每次增加压力前使用模型预估系统当前状态，当模型反馈系统正常时，加压5000qps，开启爬山模式，当模型反馈系统异常时，进入下山模式，即减少5000qps。即得到局部最优解，系统恢复正常后，继续开启爬山模式，当模型再次反馈系统异常时，认定该点即为山顶，即系统极限，停止压力，压测结束。

可选的，可以使用漂移算法的异常点检测技术检测异常点，在首次有任意一个系统性能指标数据预测值出现异常之后，按照设定规则减少或增加系统性能预测数据中包括的用户行为流量的过程中，若出现系统性能指标大幅波动的情况，则使用均值漂移算法确定性能指标大幅波动的异常点对应的系统性能指标值和系统性能指标均值之间的距离偏移，若距离偏移增大，认为系统达到性能极限。

具体的，在系统峰值时，系统指标出现大幅度波动，模型预估auc出现下降，代表预估准确率下降，使用均值漂移算法检验当前系统是否正常，保证无人值守的压测流正常稳定。如当前系统反应时间、带宽、超时率都有大幅度波动，此时模型预估可能不准确，因此在系统山顶使用了均值漂移算法，计算离群点，即异常点到均值点间的空间距离，如果距离增大，即指标偏离较大时则代表当前系统指标较历史趋势已经有大幅度波动，到达极限。

本发明实施例提供的上述系统和方法，提供了一种基于有监督学习的建模技术和基于算法调控的压测流程，将性能指标数据样本化特征化后进行有监督训练的建模流程和算法调控的性能压测流程，做到了单链路压测，全链路压测无人值守，且随着样本数数量增加，预估准确率会得到更大程度的提升。其中，建模流程中还可以借助tensorflow等服务构建dnn、rnn大规模模型，使得模型预估更准确，反馈更加精准，同时对于系统微小异常也能及时发现。还可以借助更多的异常点检测算法和流控算法。

除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (10)

1.一种压力测试系统，其特征在于，包括：

数据采集系统，用于采集业务系统在不同流量状态下的性能指标数据；

训练预测系统，用于获取从业务系统中采集的性能指标数据，将所述性能指标数据标定为正样本数据和负样本数据后输入到性能测试模型中进行训练学习，以使所述性能测试模型能够输出业务系统运行状态预测结果；

压力控制系统，用于基于性能测试模型输出的业务系统运行状态预测结果，调整压力测试流量值，直至确定业务系统的性能极限状态；

流量构造系统，用于基于所述压力测试流量值构造对应的压力测试流量，将所述压力测试流量作用于所述业务系统。

2.如权利要求1所述的系统，其特征在于，所述流量构造系统，包括：数据智能构造系统和模拟调度系统；

所述数据智能构造系统，用于基于压力流量确定系统确定的压力测试流量值，构造符合业务系统要求的相应数量的用户行为请求；

所述模拟调度系统，用于根据数据智能构造系统构造的用户行为请求，模拟相应的用户行为作用于业务系统。

3.如权利要求2所述的系统，其特征在于，所述模拟调度系统，包括调度子系统和压测服务器集群；

所述调度子系统，用于根据预设的用户行为模拟策略和压测服务器分配策略，为所述用户行为数据中包括的各用户行为分配压测服务器集群中的服务器；

所述压测服务器集群中包括的各服务器，分别用于模拟分配的用户行为作用于业务系统。

4.如权利要求1所述的系统，其特征在于，所述训练预测系统，还用于：

获取从业务系统中采集的性能指标数据之后，对所述性能指标数据进行归一化处理和/或去噪处理；

对处理后的性能指标数据中包括的性能指标进行重新组合和向量化处理，得到包括多维向量化处理后的性能指标数据。

5.如权利要求4所述的系统，其特征在于，所述训练预测系统对所述性能指标数据进行归一化处理和去噪处理，包括：

确定性能指标数据中每个性能指标的归一化量纲，根据所述归一化量纲，将每条性能指标数据记录中的各性能指标值转换到指定数量级范围内；和/或

针对每个性能指标，计算各条性能指标数据记录中所述性能指标的均值和方差，根据得到的均值和方差对各条性能指标数据记录的该项性能指标进行过滤，去除偏差大于指定条件的性能指标数据记录。

6.如权利要求4所述的系统，其特征在于，所述训练预测系统对处理后的性能指标数据中包括的性能指标进行重新组合和向量化处理，得到多维向量化处理后的性能指标数据，包括：

从性能指标数据中选择性能指标进行重新组合，得到至少一项组合性能指标；

针对每条性能指标数据记录，将其包括的性能指标和得到的组合性能指标中的每一项作为向量化处理的一个维度，得到多位维向量化处理后的性能指标数据。

7.如权利要求1所述的系统，其特征在于，所述训练预测系统用于将所述性能指标数据标定为正样本数据和负样本数据，包括：

所述训练预测系统根据业务系统正常运行时各性能指标的正常范围，将性能指标数据中各性能指标均在正常范围内的性能指标数据记录标记为正样本数据，将性能指标数据中有任一项性能指标不在正常范围内的性能指标数据记录标记为负样本数据。

8.如权利要求1所述的系统，其特征在于，所述训练预测系统将所述性能指标数据标定为正样本数据和负样本数据后输入到性能测试模型中进行训练学习，以使所述性能测试模型能够输出业务系统运行状态预测结果，包括：

所述训练预测系统根据输入的正样本数据和负样本数据中包括的性能指标数据记录，分别预测各性能指标数据记录对应的业务系统运行状态，并分别统计所述正样本数据和负样本数据对应的业务系统运行状态预测结果的准确率是否符合要求，若不符合要求，获取下一批性能指标数据继续进行训练学习，直至得到预测准确率符合要求的性能测试模型。

9.如权利要求1-8任一所述的系统，其特征在于，所述压力控制系统，用于基于性能测试模型输出的业务系统运行状态预测结果，调整压力测试流量值，直至确定业务系统的性能极限状态，包括：

性能测试模型输出的业务系统运行状态预测结果为业务系统运行状态正常时，按照设定的加压规则增加压力测试流量值，直至业务系统运行状态出现异常，确定业务系统的性能极限状态；或

性能测试模型输出的业务系统运行状态预测结果为业务系统运行状态正常时，按照设定的加压规则增加压力测试流量值，直至业务系统运行状态出现异常，按照设定的减压规则减少压力测试流量值，直至业务系统运行状态恢复正常，返回按照设定的加压规则增加压力测试流量值的步骤，重复上述过程设定次数后，确定业务系统的性能极限状态。

10.如权利要求9所述的系统，其特征在于，所述压力控制系统，还用于：

在业务系统运行状态首次出现异常之后，按照设定的减压规则减少压力测试流量值的过程中，若业务系统出现性能指标波动幅度大于设定阈值的情况，则使用均值漂移算法确定性能指标波动大于设定阈值的异常点对应的性能指标值和性能指标均值之间的距离偏移，若距离偏移增大，认为系统达到性能极限。

Images