CN111783040A - 一种服务性能稳定性测试评估的方法及装置 - Google Patents
一种服务性能稳定性测试评估的方法及装置 Download PDFInfo
- Publication number
- CN111783040A CN111783040A CN202010630476.9A CN202010630476A CN111783040A CN 111783040 A CN111783040 A CN 111783040A CN 202010630476 A CN202010630476 A CN 202010630476A CN 111783040 A CN111783040 A CN 111783040A
- Authority
- CN
- China
- Prior art keywords
- prediction model
- performance data
- service performance
- test
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013112 stability test Methods 0.000 title claims abstract description 51
- 238000011156 evaluation Methods 0.000 title claims description 26
- 238000011056 performance test Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims description 66
- 230000006870 function Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 11
- 238000012502 risk assessment Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000002045 lasting effect Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012430 stability testing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013097 stability assessment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2273—Test methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种服务性能稳定性测试评估的方法及装置，该方法包括获取服务性能测试持续预设时间后的实际性能数据以及预测模型预测的预测性能数据，按照预设时间间隔将所述预测性能数据和所述实际性能数据输入到所述预测模型的损失函数中，确定出所述预测模型的准确率，若预测模型的准确率高于预设阈值且服务性能测试的持续时间大于第一时间，则使用预测模型预测服务性能测试的预设时段内的预测性能数据，并对所述服务性能测试进行评估。通过使用准确率高的预测性能数据进行服务性能稳定性测试，可以极大的缩短稳定性测试的测试时间，提高稳定性测试的效率。
Description
技术领域
本发明涉及金融科技(Fintech)领域，尤其涉及一种服务性能稳定性测试评估的方法及装置。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。在金融领域的系统稳定性测试的过程中，服务性能测试是一个重要的问题。
服务稳定性测试(可靠性测试)每次需要12小时以上时间来生成测试数据，测试人员根据长时间的服务处理吞吐量、响应时间、CPU占用率、内存占用率、网络IO等判断测试是否通过。方案每次压测均需12小时以上，面对更快的开发节奏，测试成为需求实现过程中的瓶颈。同时，很多项目管理场景不支持长时间测试，导致版本缺少稳定性评估。
发明内容
本发明提供了一种服务性能稳定性测试评估的方法及装置，可以节省稳定性测试的时间，加快系统开发进程。
第一方面，本发明提供了一种服务性能稳定性测试评估的方法，包括：
获取服务性能测试持续预设时间后的实际性能数据以及预测模型预测的所述服务性能测试的预测性能数据；所述预测模型是对服务性能稳定性测试的历史性能数据进行训练学习得到的；
按照预设时间间隔将所述预测性能数据和所述实际性能数据输入到所述预测模型的损失函数中，确定出所述预测模型的准确率；
若所述预测模型的准确率高于预设阈值且服务性能测试的持续时间大于第一时间，则使用所述预测模型预测所述服务性能测试的预设时段内的预测性能数据；并对所述服务性能测试进行评估。
上述技术方案中，通过使用准确率高的预测性能数据进行服务性能稳定性测试，可以极大的缩短稳定性测试的测试时间，提高稳定性测试的效率。
可选的，所述对服务性能稳定性测试的历史性能数据进行训练学习得到所述预测模型，包括：
获取所述服务性能稳定性测试的历史性能数据；
将所述历史性能数据进行归一化处理，得到归一化后的数据序列；
将所述归一化后的数据序列划分为训练集和测试集；
依据所述训练集和所述测试集对预设的门控循环单元模型进行训练学习，得到所述预测模型。
上述技术方案中，通过对历史性能数据进行训练学习，可以得到能够预测服务性能测试的数据的预测模型。
可选的，所述依据所述训练集和所述测试集对预设的门控循环单元模型进行训练学习，得到所述预测模型，包括：
将所述训练集输入到所述预设的门控循环单元模型中进行前向传播，得到预测值；
根据所述预测值和所述测试集使用均方差损失函数对所述预设的门控循环单元模型进行评估，确定出所述损失函数对参数的更新梯度；
根据所述损失函数对参数的更新梯度对所述预设的门控循环单元模型进行反向传播；继续下一轮训练，直到所述预设的门控循环单元模型收敛，得到所述预测模型。
上述技术方案中，通过训练集和测试集对预设的门控循环单元模型进行训练学习，可以加快预测模型的训练过程，提供训练效率。
可选的，所述将所述训练集输入到所述预设的门控循环单元模型中进行前向传播，得到预测值，包括：
将所述训练集中的每条数据序列输入到所述预设的门控循环单元模型中，根据所述预设的门控循环单元模型的重置门对所述每条数据序列进行重置，得到重置后的数据；
使用双曲正切激活函数将所述重置后的数据及其对应的数据序列进行缩放，得到当前时刻的状态；
使用所述预设的门控循环单元模型的更新门对所述当前时刻的状态进行更新，得到向下一节点传递的隐藏状态；
根据所述向下一节点传递的隐藏状态，得到所述预测值。
上述技术方案中，由于预设的门控循环单元模型中的重置门和更新门的计算，节省了确定预测值的时间，进一步的加快了模型训练的效率。
可选的，所述对所述服务性能测试进行评估，包括：
根据所述预设时段内的预测性能数据进行趋势分析，得到所述预设时段内的预测性能数据对应的趋势；将所述预设时段内的预测性能数据对应的趋势输入到稳定性风险评估规则引擎中，得到所述服务性能稳定性测试评估的风险。
上述技术方案中，通过将预测性能数据对应的趋势输入到稳定性风险评估规则引擎中，可以实现自动评估服务性能稳定性测试的风险。
可选的，所述方法还包括：
若所述预测模型的准确率低于所述预设阈值且服务性能测试的持续时间小于所述第一时间，则进行下一预设时间间隔对所述预测模型的评估；
若所述预测模型的准确率低于所述预设阈值且所述服务性能测试的持续时间大于第二时间，则确定无法对所述预测模型进行评估。
可选的，性能数据包括服务性能数据和硬件性能数据；
所述服务性能数据包括TPS、响应时间、错误率、并发数、实例数；
所述应急性能数据包括CPU占用率、内存占用率、硬盘读写率、网络速率。
第二方面，本发明实施例提供一种服务性能稳定性测试评估的装置，包括：
获取单元，用于获取服务性能测试持续预设时间后的实际性能数据以及预测模型预测的所述服务性能测试的预测性能数据；所述预测模型是对服务性能稳定性测试的历史性能数据进行训练学习得到的；
处理单元，用于按照预设时间间隔将所述预测性能数据和所述实际性能数据输入到所述预测模型的损失函数中，确定出所述预测模型的准确率；若所述预测模型的准确率高于预设阈值且服务性能测试的持续时间大于第一时间，则使用所述预测模型预测所述服务性能测试的预设时段内的预测性能数据；并对所述服务性能测试进行评估。
可选的，所述处理单元具体用于：
获取所述服务性能稳定性测试的历史性能数据；
将所述历史性能数据进行归一化处理，得到归一化后的数据序列；
将所述归一化后的数据序列划分为训练集和测试集；
依据所述训练集和所述测试集对预设的门控循环单元模型进行训练学习，得到所述预测模型。
可选的，所述处理单元具体用于：
将所述训练集输入到所述预设的门控循环单元模型中进行前向传播，得到预测值；
根据所述预测值和所述测试集使用均方差损失函数对所述预设的门控循环单元模型进行评估，确定出所述损失函数对参数的更新梯度；
根据所述损失函数对参数的更新梯度对所述预设的门控循环单元模型进行反向传播；继续下一轮训练，直到所述预设的门控循环单元模型收敛，得到所述预测模型。
可选的，所述处理单元具体用于：
将所述训练集中的每条数据序列输入到所述预设的门控循环单元模型中，根据所述预设的门控循环单元模型的重置门对所述每条数据序列进行重置，得到重置后的数据；
使用双曲正切激活函数将所述重置后的数据及其对应的数据序列进行缩放，得到当前时刻的状态；
使用所述预设的门控循环单元模型的更新门对所述当前时刻的状态进行更新，得到向下一节点传递的隐藏状态；
根据所述向下一节点传递的隐藏状态，得到所述预测值。
可选的，所述处理单元具体用于：
根据所述预设时段内的预测性能数据进行趋势分析，得到所述预设时段内的预测性能数据对应的趋势；将所述预设时段内的预测性能数据对应的趋势输入到稳定性风险评估规则引擎中，得到所述服务性能稳定性测试评估的风险。
可选的，所述处理单元还用于：
若所述预测模型的准确率低于所述预设阈值且服务性能测试的持续时间小于所述第一时间，则进行下一预设时间间隔对所述预测模型的评估；
若所述预测模型的准确率低于所述预设阈值且所述服务性能测试的持续时间大于第二时间，则确定无法对所述预测模型进行评估。
可选的，性能数据包括服务性能数据和硬件性能数据；
所述服务性能数据包括TPS、响应时间、错误率、并发数、实例数；
所述应急性能数据包括CPU占用率、内存占用率、硬盘读写率、网络速率。
第三方面，本发明提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行上述第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行上述第一方面所述的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图；
图2为本发明实施例提供的一种服务性能稳定性测试评估的方法的流程示意图；
图3为本发明实施例提供的一种服务性能稳定性测试评估的方法的流程示意图；
图4为本发明实施例提供的一种服务性能稳定性测试评估的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种系统架构。如图1所示，该系统架构可以为服务器100，包括处理器110、通信接口120和存储器130。
其中，通信接口120用于与kubernetes(开源容器编排引擎)平台进行通信，收发该kubernetes平台传输的信息，实现通信。
处理器110是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
基于上述描述，图2示例性的示出了本发明实施例提供的一种服务性能稳定性测试评估的方法的流程，该流程可以由一种服务性能稳定性测试评估的装置执行。
如图2所示，该流程具体步骤包括：
步骤201，获取服务性能测试持续预设时间后的实际性能数据以及预测模型预测的所述服务性能测试的预测性能数据。
在本发明实施例中，在开始进行服务性能测试之前，需要先训练预测模型。
具体的，可以先获取服务性能稳定性测试的历史性能数据，然后将历史性能数据进行归一化处理，得到归一化后的数据序列，最后将归一化后的数据序列划分为训练集和测试集，依据训练集和测试集对预设的门控循环单元(Gated Recurrent Unit，GRU)模型进行训练学习，得到该预测模型。其中，在进行训练学习时，可以先将训练集输入到预设的门控循环单元模型中进行前向传播，得到预测值。根据预测值和测试集使用均方差损失函数对预设的门控循环单元模型进行评估，确定出损失函数对参数的更新梯度。最后根据损失函数对参数的更新梯度对预设的门控循环单元模型进行反向传播；直到预设的门控循环单元模型收敛，得到预测模型。其中，在确定预测值的过程中，可以先将训练集中的每条数据序列输入到预设的门控循环单元模型中，根据预设的门控循环单元模型的重置门对每条数据序列进行重置，得到重置后的数据，然后使用双曲正切激活函数将重置后的数据及其对应的数据序列进行缩放，得到当前时刻的状态，最后使用预设的门控循环单元模型的更新门对当前时刻的状态进行更新，得到向下一节点传递的隐藏状态，进而可以根据向下一节点传递的隐藏状态，得到预测值。
举例来说，首先使用Kubernetes平台Prometheus(开源监控系统)收集历史服务稳定性测试相关的性能数据，服务性能数据包括：TPS(Transaction Per Second，单位时间处理量)、响应时间、错误率、并发数、实例数；硬件性能数据包括：CPU占用率、内存占用数、硬盘读写率、网络速率。将数据做归一化处理，映射到区间[0,1]范围内。TPS、响应时间、并发数等数据使用归一化公式x′i＝(xi-xmin)/(xmax-xmin)处理，其中，xi为待归一化处理的数据序列，xmin为待处理的数据序列中最大值，xmax为待处理的数据序列中最小值。数据序列分为训练集和测试集。
在本发明实施中，GRU神经网络模型设置重置门(reset gate)r和更新门(updategate)z，用于遗忘与更新上一节点训练步骤产生的数据。
在进行训练时，重置门和更新门的输入为当前节点的输入xt和上一节点传递下来的隐藏状态(hidden state)ht-1,ht-1包含了之前节点的相关信息。在使用训练集进行前向传播时的前向传播公式为：zt＝σ(Wz·[ht-1,xt])，rt＝σ(Wr·[ht-1,xt])。其中，σ为sigmoid激活函数，Wz、Wr为权重参数，ht-1表示t-1时刻的状态信息，xt表示t时刻的输入信息。更新门zt越接近1代表记忆下来的数据越多，接近0表示遗忘的越多。
通过重置门得到重置后的数据rt·ht-1，经过tanh激活函数将数据缩放到(-1,1)，得出h′t＝τanh(W·[rt·ht-1,xt])。h′t主要包含了xt数据，相当于选择记忆了当前时刻的状态。下一步进入更新记忆阶段，使用更新门，ht＝z·ht-1+(1-z)·h′t。该ht表示为向下一节点传递的隐藏状态，依据该向下一节点传递的隐藏状态，可以得到模型的输出值，也就是预测值yt＝σ(W0·ht)。其中，各公式中的[]表示两个向量矩阵相连，·表示两个向量矩阵的乘积。
在训练的过程中，每轮训练都需要使用均方误差(Mean Squared Error)损失函数
评估训练阶段GRU模型对训练数据的拟合程度。其中，N表示训练数据数量，yi表示第i条数据的标签，即为真实值，y′i为GRU预测值。J(w)越小，模型评估预测精确度越高。
其中，可以选择ADAM(Adaptive Moment Estimation，自适应矩估计)训练优化器，计算均方差损失函数J(w)对参数w的梯度gt，
首先，计算梯度的指数移动平均数(一阶矩)，m0初始化为0。mt＝β1·mt-1+(1-β1)·gt，β1系数为指数衰减率，控制动量与当前梯度的权重分配，值为0.9。然后，计算梯度平方的指数移动平均数(二阶矩)，v0初始化为0。
β2系数为指数衰减率，控制之前梯度平方的影响情况，值为0.999。因为m0＝0，导致mt在训练初期接近0，所以需要对mt进行偏差校正处理，公式
同样的，vt校正逻辑为
根据上述梯度的指数移动平均数和梯度评分的指数移动平均数，可以实现J(w)模型的反向传播，即对J(w)模型参数w的更新，其中更新逻辑可以为：
学习率ɑ设置为0.001，∈取值1E-8以避免分母为0。对J(w)模型参数w的更新完成之后，就可以继续下一轮训练，直到模型收敛，得到预测模型。在本发明实施例中通过使用ADAM优化器确定出的梯度对J(w)模型中的参数进行更新，可以加快模型的收敛速度，提高模型训练的效率。
使用基于上述训练过程训练得到的预测模型进行预测，可以得到服务性能测试的预测性能数据，即在预测模型中输入预测时间，可以得到对应预测时间的预测性能数据。
本发明实施例中的服务性能测试的实际性能数据是指对服务性能进行压测时实际产生的性能数据。即持续预设时间后的数据，该预设时间可以依据经验设置。
步骤202，按照预设时间间隔将所述预测性能数据和所述实际性能数据输入到所述预测模型的损失函数中，确定出所述预测模型的准确率。
当得到预测性能数据和实际性能数据后，就可以按照预设时间间隔对预测模型进行评估，来评估预测模型的准确率。
该预设时间间隔可以依据经验设置，例如可以为5分钟。也就是说，5分钟评估一次准确率，将预测性能数据和实际性能数据通过损失函数进行对比，得到预测模型的准确率，只有预测模型的准确率大于预设阈值才能确定该预测模型是稳定的。
步骤203，若所述预测模型的准确率高于预设阈值且服务性能测试的持续时间大于第一时间，则使用所述预测模型预测所述服务性能测试的预设时段内的预测性能数据，并对服务性能测试进行评估。
在本发明实施例中，该预设阈值可以依据经验设置，该预设阈值即为上述预测模型训练过程中的损失函数评估时使用的拟合度阈值。第一时间可以依据经验设置，例如第一时间可以设置为10分钟。当预测模型的准确率高于预设阈值且服务性能测试的持续时间大于第一时间时，表明该预测模型可以实现准确的预测，即可以使用该预测模型预测该服务性能测试的预设时段内的预测数据。该预设时段可以依据经验设置，一般是稳定性测试的时间，例如可以为12小时，相当于直接预测12小时的数据进行稳定性测试评估。该第一时间相当于对预测模型的准确率进行评估的最短的评估时间，大于该第一时间才能表明对预测模型的准确率的评估是有效的。
若预测模型的准确率低于预设阈值且服务性能测试的持续时间小于第一时间，则表明该预测模型的准确率不高，需要持续进行评估，因此，继续下一预设时间间隔的对预测模型的评估，相当于每间隔该预设时间间隔即对预测模型评估一次，直到准确率大于预设阈值或持续时间大于第二时间为止。也就是说，当预测模型的准确率低于预设阈值且服务性能测试的持续时间大于第二时间时，就可以确定无法对预测模型进行评估，需要增加第二时间。该第二时间可以依据经验设置，该第二时间大于该最小评估时间。该第二时间相当于对预测模型的准确率进行评估的最长的评估时间，超过该第二时间时预测模型的准确率还是低于预设阈值，表明该预测模型的准确率评估失败。
当得到预设时段内的预测性能数据之后，就可以根据该预设时段内的预测性能数据进行趋势分析，得到该预设时段内的预测性能数据对应的趋势；将该预设时段内的预测性能数据对应的趋势输入到稳定性风险评估规则引擎中，得到所述服务性能稳定性测试评估的风险。
也就是说，当得到预设时段内的预测性能数据之后，就可以进行趋势分析，即将预设时段内的预测性能数据按照时间的先后顺序来绘制趋势曲线，得到预测性能数据对应的趋势，例如可以是CPU趋势、内存趋势、磁盘IO趋势、网络IO趋势、FPS趋势、开发时间、测试时间、并发数等输入参数，将这些输入参数输入至风险评估规则引擎中，就可以输出高、中、低等多级风险，即得到服务性能稳定性测试评估的风险。
为了更好的解释本发明实施例，下面将在具体的实施场景下来描述上述服务性能稳定性测试评估的过程。
如图3所示的流程，该流程具体包括：
步骤301，构建服务性能序列化数据(包括CPU、内存、网络IO、服务吞吐量、响应时间等)，对数据进行归一化处理。
步骤302，使用训练集，基于GRU模型，设置损失函数、重置门、更新门等对初始模型进行训练。
模型训练的过程已在上述实施例中详细描述，不再赘述。
步骤303，判断初始模型的拟合度是否达到拟合度阈值，若是，则转入步骤304，若否，则转入步骤302，继续进行模型训练。
步骤304，确定正式预测模型。
拟合度达到拟合度阈值时，可以确定该初始模型训练完成，得到正式的预测模型。
步骤305，开始稳定性测试，持续10分钟。
对服务性能进行稳定性测试，并持续10分钟。
步骤306，将预测值与实际值对比，每5分钟间隔评估准确率。
在持续10中之后，就可以将通过预测模型得到的预测值与从kubernetes平台得到的实际值进行对比，每间隔5分钟就进行一次预测模型评估，评估预测模型的准确率。
步骤307，判断持续时间是否大于预设第一时间且准确率高于设定阈值，若是，则转入步骤308，若否，则转入步骤311。
步骤308，输出预测12小时性能数据。
使用预测模型输出预测12小时的性能数据。
步骤309，稳定性测试风险度评估规则处理。
将性能数据进行稳定性测试风险度评估规则处理，得到性能数据对应的趋势。
步骤310，(高/中/低)风险评估测试报告。
将性能数据对应的趋势输入到风险评估规则引擎中，就可以得到风险评估测试报告，其中，风险可以包括高/中/低等多种等级。
步骤311，判断持续时间是否大于第二时间，若是，则转入步骤312，否则，转入步骤306。
步骤312，无法评估，需增加第二时间。
当大于第二时间时，准确率还是低于预设阈值，则表明在该第二时间内无法完成评估，需要增加该第二时间。
本发明实施例表明，获取服务性能测试持续预设时间后的实际性能数据以及预测模型预测的预测性能数据，按照预设时间间隔将所述预测性能数据和所述实际性能数据输入到所述预测模型的损失函数中，确定出所述预测模型的准确率，若预测模型的准确率高于预设阈值且服务性能测试的持续时间大于第一时间，则使用预测模型预测服务性能测试的预设时段内的预测性能数据，并对所述服务性能测试进行评估。通过使用准确率高的预测性能数据进行服务性能稳定性测试，可以极大的缩短稳定性测试的测试时间，提高稳定性测试的效率。
基于相同的技术构思，图4示例性的示出了本发明实施例提供的一种服务性能稳定性测试评估的装置的结构示意图，该装置可以执行服务性能稳定性测试评估的流程。
如图4所示，该装置具体包括：
获取单元401，用于获取服务性能测试持续预设时间后的实际性能数据以及预测模型预测的所述服务性能测试的预测性能数据；所述预测模型是对服务性能稳定性测试的历史性能数据进行训练学习得到的；
处理单元402，用于按照预设时间间隔将所述预测性能数据和所述实际性能数据输入到所述预测模型的损失函数中，确定出所述预测模型的准确率；若所述预测模型的准确率高于预设阈值且服务性能测试的持续时间大于第一时间，则使用所述预测模型预测所述服务性能测试的预设时段内的预测性能数据；并对所述服务性能测试进行评估。
可选的，所述处理单元402具体用于：
获取所述服务性能稳定性测试的历史性能数据；
将所述历史性能数据进行归一化处理，得到归一化后的数据序列；
将所述归一化后的数据序列划分为训练集和测试集；
依据所述训练集和所述测试集对预设的门控循环单元模型进行训练学习，得到所述预测模型。
可选的，所述处理单元402具体用于：
将所述训练集输入到所述预设的门控循环单元模型中进行前向传播，得到预测值；
根据所述预测值和所述测试集使用均方差损失函数对所述预设的门控循环单元模型进行评估，确定出所述损失函数对参数的更新梯度；
根据所述损失函数对参数的更新梯度对所述预设的门控循环单元模型进行反向传播；继续下一轮训练，直到所述预设的门控循环单元模型收敛，得到所述预测模型。
可选的，所述处理单元402具体用于：
将所述训练集中的每条数据序列输入到所述预设的门控循环单元模型中，根据所述预设的门控循环单元模型的重置门对所述每条数据序列进行重置，得到重置后的数据；
使用双曲正切激活函数将所述重置后的数据及其对应的数据序列进行缩放，得到当前时刻的状态；
使用所述预设的门控循环单元模型的更新门对所述当前时刻的状态进行更新，得到向下一节点传递的隐藏状态；
根据所述向下一节点传递的隐藏状态，得到所述预测值。
可选的，所述处理单元402具体用于：
根据所述预设时段内的预测性能数据进行趋势分析，得到所述预设时段内的预测性能数据对应的趋势；将所述预设时段内的预测性能数据对应的趋势输入到稳定性风险评估规则引擎中，得到所述服务性能稳定性测试评估的风险。
可选的，所述处理单元402还用于：
若所述预测模型的准确率低于所述预设阈值且服务性能测试的持续时间小于所述第一时间，则进行下一预设时间间隔对所述预测模型的评估；
若所述预测模型的准确率低于所述预设阈值且所述服务性能测试的持续时间大于第二时间，则确定无法对所述预测模型进行评估。
可选的，性能数据包括服务性能数据和硬件性能数据；
所述服务性能数据包括TPS、响应时间、错误率、并发数、实例数；
所述应急性能数据包括CPU占用率、内存占用率、硬盘读写率、网络速率。
基于相同的技术构思，本发明实施例提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行上述服务性能稳定性测试评估的方法。
基于相同的技术构思，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行上述服务性能稳定性测试评估的方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种服务性能稳定性测试评估的方法，其特征在于，包括：
获取服务性能测试持续预设时间后的实际性能数据以及预测模型预测的所述服务性能测试的预测性能数据；所述预测模型是对服务性能稳定性测试的历史性能数据进行训练学习得到的；
按照预设时间间隔将所述预测性能数据和所述实际性能数据输入到所述预测模型的损失函数中，确定出所述预测模型的准确率；
若所述预测模型的准确率高于预设阈值且服务性能测试的持续时间大于第一时间，则使用所述预测模型预测所述服务性能测试的预设时段内的预测性能数据；并对所述服务性能测试进行评估。
2.如权利要求1所述的方法，其特征在于，所述对服务性能稳定性测试的历史性能数据进行训练学习得到所述预测模型，包括：
获取所述服务性能稳定性测试的历史性能数据；
将所述历史性能数据进行归一化处理，得到归一化后的数据序列；
将所述归一化后的数据序列划分为训练集和测试集；
依据所述训练集和所述测试集对预设的门控循环单元模型进行训练学习，得到所述预测模型。
3.如权利要求2所述的方法，其特征在于，所述依据所述训练集和所述测试集对预设的门控循环单元模型进行训练学习，得到所述预测模型，包括：
将所述训练集输入到所述预设的门控循环单元模型中进行前向传播，得到预测值；
根据所述预测值和所述测试集使用均方差损失函数对所述预设的门控循环单元模型进行评估，确定出所述损失函数对参数的更新梯度；
根据所述损失函数对参数的更新梯度对所述预设的门控循环单元模型进行反向传播；继续下一轮训练，直到所述预设的门控循环单元模型收敛，得到所述预测模型。
4.如权利要求3所述的方法，其特征在于，所述将所述训练集输入到所述预设的门控循环单元模型中进行前向传播，得到预测值，包括：
将所述训练集中的每条数据序列输入到所述预设的门控循环单元模型中，根据所述预设的门控循环单元模型的重置门对所述每条数据序列进行重置，得到重置后的数据；
使用双曲正切激活函数将所述重置后的数据及其对应的数据序列进行缩放，得到当前时刻的状态；
使用所述预设的门控循环单元模型的更新门对所述当前时刻的状态进行更新，得到向下一节点传递的隐藏状态；
根据所述向下一节点传递的隐藏状态，得到所述预测值。
5.如权利要求1所述的方法，其特征在于，所述对所述服务性能测试进行评估，包括：
根据所述预设时段内的预测性能数据进行趋势分析，得到所述预设时段内的预测性能数据对应的趋势；将所述预设时段内的预测性能数据对应的趋势输入到稳定性风险评估规则引擎中，得到所述服务性能稳定性测试评估的风险。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
若所述预测模型的准确率低于所述预设阈值且服务性能测试的持续时间小于所述第一时间，则进行下一预设时间间隔对所述预测模型的评估；
若所述预测模型的准确率低于所述预设阈值且所述服务性能测试的持续时间大于第二时间，则确定无法对所述预测模型进行评估。
7.如权利要求1至6任一项所述的方法，其特征在于，性能数据包括服务性能数据和硬件性能数据；
所述服务性能数据包括TPS、响应时间、错误率、并发数、实例数；
所述应急性能数据包括CPU占用率、内存占用率、硬盘读写率、网络速率。
8.一种服务性能稳定性测试评估的装置，其特征在于，包括：
获取单元，用于获取服务性能测试持续预设时间后的实际性能数据以及预测模型预测的所述服务性能测试的预测性能数据；所述预测模型是对服务性能稳定性测试的历史性能数据进行训练学习得到的；
处理单元，用于按照预设时间间隔将所述预测性能数据和所述实际性能数据输入到所述预测模型的损失函数中，确定出所述预测模型的准确率；若所述预测模型的准确率高于预设阈值且服务性能测试的持续时间大于第一时间，则使用所述预测模型预测所述服务性能测试的预设时段内的预测性能数据；并对所述服务性能测试进行评估。
9.一种计算设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010630476.9A CN111783040A (zh) | 2020-06-30 | 2020-06-30 | 一种服务性能稳定性测试评估的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010630476.9A CN111783040A (zh) | 2020-06-30 | 2020-06-30 | 一种服务性能稳定性测试评估的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111783040A true CN111783040A (zh) | 2020-10-16 |
Family
ID=72758154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010630476.9A Pending CN111783040A (zh) | 2020-06-30 | 2020-06-30 | 一种服务性能稳定性测试评估的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111783040A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272157A (zh) * | 2018-09-12 | 2019-01-25 | 中交信息技术国家工程实验室有限公司 | 一种基于门控神经网络的高速公路交通流参数预测方法及系统 |
| CN110598854A (zh) * | 2019-09-20 | 2019-12-20 | 国网福建省电力有限公司 | 一种基于gru模型的台区线损率预测方法 |
| CN110619420A (zh) * | 2019-07-31 | 2019-12-27 | 广东工业大学 | 一种基于Attention-GRU的短期住宅负荷预测方法 |
| CN110766070A (zh) * | 2019-10-22 | 2020-02-07 | 北京威信通信息技术股份有限公司 | 一种基于循环自编码器的稀少信号识别方法及装置 |
| CN110879874A (zh) * | 2019-11-15 | 2020-03-13 | 北京工业大学 | 一种天文大数据光变曲线异常检测方法 |
| CN111193256A (zh) * | 2020-01-07 | 2020-05-22 | 上海电力大学 | 基于变分模态分解和门控循环单元的电力负荷预测方法 |
-
2020
- 2020-06-30 CN CN202010630476.9A patent/CN111783040A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272157A (zh) * | 2018-09-12 | 2019-01-25 | 中交信息技术国家工程实验室有限公司 | 一种基于门控神经网络的高速公路交通流参数预测方法及系统 |
| CN110619420A (zh) * | 2019-07-31 | 2019-12-27 | 广东工业大学 | 一种基于Attention-GRU的短期住宅负荷预测方法 |
| CN110598854A (zh) * | 2019-09-20 | 2019-12-20 | 国网福建省电力有限公司 | 一种基于gru模型的台区线损率预测方法 |
| CN110766070A (zh) * | 2019-10-22 | 2020-02-07 | 北京威信通信息技术股份有限公司 | 一种基于循环自编码器的稀少信号识别方法及装置 |
| CN110879874A (zh) * | 2019-11-15 | 2020-03-13 | 北京工业大学 | 一种天文大数据光变曲线异常检测方法 |
| CN111193256A (zh) * | 2020-01-07 | 2020-05-22 | 上海电力大学 | 基于变分模态分解和门控循环单元的电力负荷预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111124840B (zh) | 业务运维中告警的预测方法、装置与电子设备 | |
| KR102242516B1 (ko) | 복수의 기계 학습 태스크에 대해 기계 학습 모델들을 훈련 | |
| US11650968B2 (en) | Systems and methods for predictive early stopping in neural network training | |
| CN110795246A (zh) | 资源利用率的预测方法及装置 | |
| CN113031983B (zh) | 一种基于深度强化学习的软件智能升级方法及装置 | |
| KR20220026804A (ko) | 역강화학습 기반 배달 수단 탐지 장치 및 방법 | |
| CN106897178A (zh) | 一种基于极限学习机的慢盘检测方法及系统 | |
| US20230367934A1 (en) | Method and apparatus for constructing vehicle dynamics model and method and apparatus for predicting vehicle state information | |
| CN113646776A (zh) | 在机器学习模型训练中使用滞后梯度 | |
| CN111277710A (zh) | 话务量预测方法、系统、计算机设备及存储介质 | |
| CN109271957A (zh) | 人脸性别识别方法以及装置 | |
| CN116627773B (zh) | 产销差统计平台系统的异常分析方法及系统 | |
| CN111783040A (zh) | 一种服务性能稳定性测试评估的方法及装置 | |
| WO2021068249A1 (zh) | 运行时硬件模拟仿真方法、装置、设备及存储介质 | |
| CN115630985A (zh) | 预测消费时间的方法以及装置 | |
| CN110826695A (zh) | 数据处理方法、装置和计算机可读存储介质 | |
| CN114360641B (zh) | 一种基于变分贝叶斯的基因调控网络结构辨识方法 | |
| CN113822441B (zh) | 决策模型训练方法、装置、终端设备及存储介质 | |
| CN110147306A (zh) | 一种考虑关联失效的容错软件可靠性及性能评估方法 | |
| CN112801558B (zh) | 一种工艺参数调节动作决策模型的优化方法以及装置 | |
| CN112242959B (zh) | 微服务限流控制方法、装置、设备及计算机存储介质 | |
| CN112070283A (zh) | 一种基于机器学习的服务器运行健康度预测方法及系统 | |
| CN112085584A (zh) | 企业信用违约概率计算方法及系统 | |
| EP4170562A1 (en) | Determining a measure of subject similarity | |
| CN115688893B (zh) | 内存调度方法及装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |