CN116610534B - 一种基于Kubernetes集群资源的改进预测性弹性伸缩方法 - Google Patents
一种基于Kubernetes集群资源的改进预测性弹性伸缩方法 Download PDFInfo
- Publication number
- CN116610534B CN116610534B CN202310877248.5A CN202310877248A CN116610534B CN 116610534 B CN116610534 B CN 116610534B CN 202310877248 A CN202310877248 A CN 202310877248A CN 116610534 B CN116610534 B CN 116610534B
- Authority
- CN
- China
- Prior art keywords
- refers
- resource
- cluster
- training
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000005540 biological transmission Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 34
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于Kubernetes集群资源的改进预测性弹性伸缩方法，所述方法包括：获取实时集群资源时序数据并对数据进行预处理，构造成训练集资源矩阵和测试集资源矩阵；引入特征提取神经网络进行特征提取，得到资源特征向量；构建H‑GBDT模型，利用训练集资源特征向量进行训练；计算集群资源相关性系数和集群资源权重系数；通过H‑GBDT模型预测未来1分钟资源时间序列数据；构建弹性伸缩评分指标Score，计算未来1分钟资源时间序列数据弹性伸缩评分指标，根据伸缩规则对集群容器调度单元pod进行弹性伸缩容。通过上述方法，本发明提前感知并对集群容器调度单元pod进行弹性伸缩容，提高集群负载能力。
Description
技术领域
本发明涉及云计算与分布式弹性伸缩领域，具体是基于Kubernetes的一种改进的预测性弹性伸缩方法。
背景技术
Kubernetes是一种开源容器编排系统，能够自动部署、扩展和管理容器化的应用程序。Kubernetes能够通过HPA特性根据需要自动增加或减少副本的数量来维持应用程序所需的性能水平，但现有的HPA策略在响应式服务方向存在明显的不足，不能够及时的增加或者减少容器，会导致服务延迟，服务不可用或中断等情况。
公开号为CN114637650A，名称为一种基于Kubernetes集群的弹性伸缩方法，提出基于CNN-LSTM混合网络，根据历史指标值预测未来工作负载，通过当前指标值与预测指标值之差的绝对值与设定阈值进行比较，大于或等于设定阈值，则进行扩缩容，同时设定计时器用于避免当前扩缩容操作与前一次的扩缩容操作发生冲突。
公开号为CN115774605A，名称为Kubernetes的预测式弹性伸缩方法及系统，提出EEMD-CNN- BIGRU组合预测模型，通过当前时刻之前的预设时间内的负载量信息，获取下一个滑动窗口的HTTP请求量，根据下一个滑动窗口的HTTP请求量计算下一个滑动窗口的期望的Pod副本数量，根据期望的Pod副本数量对当前应用的Pod副本数量进行弹性伸缩。
上述现有技术虽然对资源的负载均衡做出了应对的方案，但是不同资源在系统中的权重系数是不同的，人为自定义权重存在一定的误差，通过计算得出的权重可以更好的反应负载均衡情况。所以本发明提出了一种基于Kubernetes集群资源的改进预测性弹性伸缩方法。
发明内容
本发明主要解决的技术问题是提供一种基于Kubernetes集群资源的改进预测性弹性伸缩方法，能够解决弹性伸缩延迟高和单一权重指标无法反映系负载均衡情况的问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于Kubernetes集群资源的改进预测性弹性伸缩方法，所述方法包括：
S100：通过Prometheus监控工具实时获取集群资源时序数据并进行数据预处理；
S200：将预处理后的集群资源时序数据划分为资源时序训练数据和资源时序测试数据，并构造成训练集资源矩阵和测试集资源矩阵；
S300：引入特征提取神经网络对所述训练集资源矩阵和测试集资源矩阵进行特征提取，得到训练集资源特征向量和测试集资源特征向量；
S400：构建H-GBDT模型，使用所述训练集资源特征向量进行训练模型，用于预测未来1分钟资源时间序列数据；
S500：根据所述训练集资源时序数据计算集群资源相关性系数；
S600：根据所述集群资源相关性系数计算集群资源权重系数；
S700：通过所述H-GBDT模型对所述集群资源时序数据进行预测，获得未来1分钟资源时间序列数据；
S800：根据所述集群资源权重系数构造弹性伸缩评分指标Score，计算所述未来1分钟资源时间序列数据的弹性伸缩评分指标，根据伸缩规则对集群容器调度单元pod进行弹性伸缩容；
所述弹性伸缩评分指标Score，计算公式为：
；
其中，是指当前CPU使用量，/>是指当前磁盘I/O操作耗费时间，/>是指当前内存使用量，/>是指当前网络传输速率，/>是指CPU使用量的权重系数，/>是指磁盘I/O所需时间权重系数，/>是指内存的权重系数，/>是指网络传输速率权重系数，/>是指在训练集中CPU使用量最大值，/>是指在训练集中磁盘I/O所需时间最大值，/>是指在训练集中内存使用量最大值，/>是指在训练集中网络传输速率的最大值；
所述伸缩规则，是指通过判断未来1分钟资源时间序列数据的弹性伸缩评分指标与临界值的大小对pod进行弹性伸缩容；若，则定义为扩容状态并增加pod个数对pod进行扩容，若/>，则定义为缩容状态并减少pod个数对pod进行缩容，若，定义为稳定状态则不对pod进行伸缩容。
进一步地，所述集群资源时序数据包括：CPU使用量、磁盘I/O操作耗费时间、内存使用量、网络传输速率；
所述训练集资源矩阵和测试集资源矩阵，表示为：
；
其中，是指内存使用量数值， />是指CPU使用量数值，/>是指磁盘i/o消耗时间数值， />是指网络传输速率数值，n是指资源时序训练数据的个数；
所述特征提取神经网络由两个卷积层和两个池化层组成，并且连接一个全连接层作为输出，其中，两个卷积层的卷积核均为4×4，两个池化层的卷积核均为2×2。
进一步地，所述H-GBDT模型，计算公式为：
；
其中，是指H-GBDT算法，x是指输入样本，/>是指模型参数，/>是指分类回归树；/>是指树的权重，/>，M为分类回归树的数量。
进一步地，所述训练H-GBDT模型，包括：
S410：初始化第一个弱学习器 ；
S420：建立M棵分类回归树，计算每个输入样本第m轮迭代对应的残差；
S430：利用CART回归树拟合样本残差数据得到第m轮迭代对应的叶子节点区域/>；
S440：引入树的权重，通过拟合残差公式计算所述叶子节点区域/>的拟合值；
S450：通过交叉验证方式对所述树的权重持续训练调优；
S460：更新强学习器；
S470：采用所述测试集资源特征向量检验模型性能；
所述弱学习器 公式为：
；
其中，x为输入样本，y为输出空间，是指平方误差损失函数，c为损失函数最小的分类器，/>，N为训练集特征向量个数；
所述第m轮迭代对应的残差，计算公式为：
；
其中，是指第m轮迭代中第i个样本的残差，/>是指第m-1轮迭代后H-GBDT模型的预测值，/>是指H-GBDT模型的预测值；
所述拟合残差计算公式，计算公式为：
；
其中，是指第m轮迭代中第j棵树的拟合值, />是指树的权重，/>是指平方误差损失函数，c是指损失函数最小的分类器，/>是指第m棵回归树对应的叶子节点区域；
所述强学习器，公式为：
；
其中，，/> 是指第m棵分类回归树叶子节点的个数，/>是指第m-1轮迭代后模型的预测值，/>表示样本x是否属于第m棵树中第j个叶子节点。
进一步地，所述集群资源相关性系数，计算公式为：
；
其中，指不同集群资源之间的相关性系数，/>和/>指不同集群资源的数值， />和/>指不同集群资源的样本平均值。
进一步地，所述集群资源权重系数，计算公式为：
；
其中，是指不同集群资源的权重系数，/>是指第i个不同集群资源之间的相关性系数，n是指集群资源相关性系数的资源个数。
本发明的有益效果是：
1．本发明提供的一种基于Kubernetes集群资源的改进预测性弹性伸缩方法采用特征提取神经网络和H-GBDT算法对实时时间序列进行预测，减少数据维度，使得预测效果出众。
2．本发明提供的一种基于Kubernetes集群资源的改进预测性弹性伸缩方法对多指标进行分析并且计算资源权重，综合得出一个评分指标，能够更全面反应负载均衡情况，避免了在大量请求时系统反应过慢，网络延迟等问题。
附图说明
图1是一种基于Kubernetes集群资源的改进预测性弹性伸缩方法的流程图。
图2是一种基于Kubernetes集群资源的改进预测性弹性伸缩方法的H-GBDT模型训练流程图。
图3是一种基于Kubernetes集群资源的改进预测性弹性伸缩方法的伸缩规则流程图。
图4是一种基于Kubernetes集群资源的改进预测性弹性伸缩方法的流程示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1、图2、图3和图4，本发明实施例包括：
如图1和图4所示，一种基于Kubernetes集群资源的改进预测性弹性伸缩方法，其特征在于，所述方法包括：
S100：通过Prometheus监控工具实时获取集群资源时序数据并进行数据预处理；
所述集群资源时序数据包括：CPU使用量、磁盘I/O操作耗费时间、内存使用量、网络传输速率；
S200：将预处理后的集群资源时序数据划分为资源时序训练数据和资源时序测试数据，并构造成训练集资源矩阵和测试集资源矩阵。
进一步地，所述训练集资源矩阵和测试集资源矩阵，表示为：
；
其中，是指内存使用量数值， />是指CPU使用量数值，/>是指磁盘i/o消耗时间数值， />是指网络传输速率数值，n是指资源时序训练数据的个数。
S300：引入特征提取神经网络对所述训练集资源矩阵和测试集资源矩阵进行特征提取，得到训练集资源特征向量和测试集资源特征向量。
进一步地，所述特征提取卷积神经网络由两个卷积层和两个池化层组成，并且连接一个全连接层作为输出，其中，两个卷积层的卷积核均为4×4，两个池化层的卷积核均为2×2。
S400：构建H-GBDT模型，使用所述训练集资源特征向量进行训练模型，用于预测未来1分钟资源时间序列数据。
进一步地，所述H-GBDT模型，计算公式为：
；
其中，是指H-GBDT算法，x是指输入样本，/>是指模型参数，/>是指分类回归树；/>是指树的权重，/>，M为分类回归树的数量。
进一步地，参照图2所述训练H-GBDT模型，包括：
S410：初始化第一个弱学习器 ；
S420：建立M棵分类回归树，计算每个输入样本第m轮迭代对应的残差；
S430：利用CART回归树拟合样本残差数据得到第m轮迭代对应的叶子节点区域/>；
S440：引入树的权重，通过拟合残差公式计算所述叶子节点区域/>的拟合值；
S450：通过交叉验证方式对所述树的权重持续训练调优；
S460：更新强学习器；
S470：采用所述测试集资源特征向量检验模型性能；
所述弱学习器 公式为：
；
其中，x为输入样本，y为输出空间，是指平方误差损失函数，c为损失函数最小的分类器，/>，N为训练集特征向量个数；
所述第m轮迭代对应的残差，计算公式为：
；
其中，是指第m轮迭代中第i个样本的残差，/>是指第m-1轮迭代后H-GBDT模型的预测值，/>是指H-GBDT模型的预测值；
所述拟合残差计算公式，计算公式为：
；
其中，是指第m轮迭代中第j棵树的拟合值, />是指树的权重，/>是指平方误差损失函数，c是指损失函数最小的分类器，/>是指第m棵回归树对应的叶子节点区域；
所述强学习器，公式为：
；
其中，，/> 是指第m棵分类回归树叶子节点的个数，/>是指第m-1轮迭代后模型的预测值，/>表示样本x是否属于第m棵树中第j个叶子节点。
S500：根据所述训练集资源时序数据计算集群资源相关性系数。
进一步地，所述集群资源相关性系数，计算公式为：
；
其中，指不同集群资源之间的相关性系数，/>和/>指不同集群资源的数值， />和/>指不同集群资源的样本平均值。
S600：根据所述集群资源相关性系数计算集群资源权重系数。
进一步地，所述集群资源权重系数，计算公式为：
；
其中，是指不同集群资源的权重系数，/>是指第i个不同集群资源之间的相关性系数，n是指集群资源相关性系数的资源个数。
S700：通过所述H-GBDT模型对所述集群资源时序数据进行预测，获得未来1分钟资源时间序列数据；
S800：根据所述集群资源权重系数构造弹性伸缩评分指标Score，计算所述未来1分钟资源时间序列数据的弹性伸缩评分指标，根据伸缩规则对集群容器调度单元pod进行弹性伸缩容；
所述弹性伸缩评分指标Score，计算公式为：
；
其中，是指当前CPU使用量，/>是指当前磁盘I/O操作耗费时间，/>是指当前内存使用量，/>是指当前网络传输速率，/>是指CPU使用量的权重系数，/>是指磁盘I/O所需时间权重系数，/>是指内存的权重系数，/>是指网络传输速率权重系数，/>是指在训练集中CPU使用量最大值，/>是指在训练集中磁盘I/O所需时间最大值，/>是指在训练集中内存使用量最大值，/>是指在训练集中网络传输速率的最大值。
所述临界值是指通过计算集群资源利用率分类，计算三类利用率所对应的资源时间序列数据的弹性伸缩评分指标Score所得出，计算集群资源利用率，计算公式为：
；
其中，是指当前CPU使用量，/>是指当前磁盘I/O操作耗费时间，/>是指当前内存使用量，/>是指当前网络传输速率，/>是指CPU使用量的权重系数，/>是指磁盘I/O所需时间权重系数，/>是指内存的权重系数，/>是指网络传输速率权重系，/>是指集群资源CPU临界负载量，/>是指磁盘I/O所需时间能临界负载量，/>是指内存临界负载量，/>是指网络传输速率最大负载量；
当集群资源利用率小于等于阈值0.3时，属于低利用率，大于阈值0.3，小于等于阈值0.6时属于中等利用率，大于阈值0.6时，属于高利用率；分别将三类利用率所对应的集群资源使用量以及集群资源权重系数代入弹性伸缩评分指标Score计算得出三类利用率所对应的弹性伸缩评分指标Score临界值，可以得出当利用率大于0.6时，，定义为扩充状态，利用率小于等于0.3时，/>，定义为缩容状态，利用率大于0.3小于等于0.6时，/>，则定义为稳定状态。
参照图3，所述伸缩规则，是指通过判断所述未来1分钟资源时间序列数据的Score与临界值的大小对pod进行弹性伸缩容；是指通过判断未来1分钟资源时间序列数据的弹性伸缩评分指标与临界值的大小对pod进行弹性伸缩容；若，则定义为扩充状态并增加pod个数对pod进行扩容，若/>，则定义为缩容状态并减少pod个数对pod进行缩容，若/>，定义为稳定状态则不对pod进行伸缩容。
以下结合实施例1对本发明的特征和性能作进一步的详细描述。
S100：通过Prometheus监控工具实时获取集群资源时序数据并进行数据预处理；
通过Prometheus监控工具实时获取集群资源时序数据部分数据如下：
S200：将预处理后的集群资源时序数据划分为资源时序训练数据和资源时序测试数据，并构造成训练集资源矩阵和测试集资源矩阵；
S300：引入特征提取神经网络对所述训练集资源矩阵和测试集资源矩阵进行特征提取，得到训练集资源特征向量和测试集资源特征向量；
S400：构建H-GBDT模型，使用所述训练集资源特征向量进行训练模型，用于预测未来1分钟资源时间序列数据；
S500：根据所述训练集资源时序数据计算集群资源相关性系数；
所述资源相关性系数计算结果如下：
S600：根据所述集群资源相关性系数计算集群资源权重系数；
所述集群资源权重系数计算结果分别为： CPU使用量的权重系数0.42，磁盘I/O所需时间权重系数0.4975，内存的权重系数0.35，网络传输速率权重系数0.4425；
S700：通过所述H-GBDT模型对所述集群资源时序数据进行预测，获得未来1分钟资源时间序列数据；
所述未来1分钟资源时间序列数据部分如下：
S800：根据所述集群资源权重系数构造弹性伸缩评分指标Score，计算所述未来1分钟资源时间序列数据的弹性伸缩评分指标，根据伸缩规则对集群容器调度单元pod进行弹性伸缩容；
所述未来1分钟资源时间序列数据的弹性伸缩评分指标，结果如下：
本发明的实施例1中根据未来1分钟资源时间序列数据的弹性伸缩评分指标可以得出在未来1分钟内弹性伸缩评分指标均大于0.8，定义为扩充状态，需要增加pod个数对pod进行扩容。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (3)
1.一种基于Kubernetes集群资源的改进预测性弹性伸缩方法，其特征在于，包括：
S100：通过Prometheus监控工具实时获取集群资源时序数据并进行数据预处理；
S200：将预处理后的集群资源时序数据划分为训练集资源时序数据和测试集资源时序数据，并构造成训练集资源矩阵和测试集资源矩阵；
S300：引入特征提取神经网络对所述训练集资源矩阵和测试集资源矩阵进行特征提取，得到训练集资源特征向量和测试集资源特征向量；
S400：构建H-GBDT模型，使用所述训练集资源特征向量进行训练模型，用于预测未来1分钟资源时间序列数据；
S500：根据所述训练集资源时序数据计算集群资源相关性系数；
S600：根据所述集群资源相关性系数计算集群资源权重系数；
S700：通过所述H-GBDT模型对所述集群资源时序数据进行预测，获得未来1分钟资源时间序列数据；
S800：根据所述集群资源权重系数构造弹性伸缩评分指标Score，计算所述未来1分钟资源时间序列数据的弹性伸缩评分指标，根据伸缩规则对集群容器调度单元pod进行弹性伸缩容；
所述H-GBDT模型，计算公式为：
其中，F(x,w)是指H-GBDT算法，x是指输入样本，wm是指模型参数，hm是指分类回归树；αm是指树的权重，m＝1,2,3,……M，M为分类回归树的数量；
所述集群资源相关性系数，计算公式为：
其中，Correl(G,H)指不同集群资源之间的相关性系数，g和h指不同集群资源的数值，和/>指不同集群资源的样本平均值；
所述集群资源权重系数，计算公式为：
其中，Weight(x)是指不同集群资源的权重系数，Ci是指第i个不同集群资源之间的相关性系数，n是指集群资源相关性系数的资源个数；
所述弹性伸缩评分指标Score，计算公式为：
其中，α是指当前CPU使用量，β是指当前磁盘I/O操作耗费时间，γ是指当前内存使用量，δ是指当前网络传输速率，Wα是指CPU使用量的权重系数，Wβ是指磁盘I/O所需时间权重系数，Wγ是指内存的权重系数，Wδ是指网络传输速率权重系数，αmax是指在训练集中CPU使用量最大值，βmax是指在训练集中磁盘I/O所需时间最大值，δmax是指在训练集中内存使用量最大值，γmax是指在训练集中网络传输速率的最大值；
所述伸缩规则，是指通过判断未来1分钟资源时间序列数据的弹性伸缩评分指标与临界值的大小对pod进行弹性伸缩容；若Score>0.8，则定义为扩充状态并增加pod个数对pod进行扩容，若Score<0.6，则定义为缩容状态并减少pod个数对pod进行缩容，若0.6≤Score≤0.8，定义为稳定状态则不对pod进行伸缩容。
2.如权利要求1所述的一种基于Kubernetes集群资源的改进预测性弹性伸缩方法，其特征在于，所述集群资源时序数据包括：CPU使用量、磁盘I/O操作耗费时间、内存使用量、网络传输速率；
所述训练集资源矩阵和测试集资源矩阵，表示为：
其中，an是指内存使用量数值，bn是指CPU使用量数值，cn是指磁盘i/o消耗时间数值，dn是指网络传输速率数值，n是指资源时序训练数据的个数；
所述特征提取神经网络由两个卷积层和两个池化层组成，并且连接一个全连接层作为输出，其中，两个卷积层的卷积核均为4×4，两个池化层的卷积核均为2×2。
3.如权利要求1所述的一种基于Kubernetes集群资源的改进预测性弹性伸缩方法，其特征在于，所述训练H-GBDT模型，包括：
S410：初始化第一个弱学习器F0(x)；
S420：建立M棵分类回归树，计算每个输入样本第m轮迭代对应的残差；
S430：利用CART回归树拟合样本残差数据(xi,rm,i)得到第m轮迭代对应的叶子节点区域Rm,j；
S440：引入树的权重αm，通过拟合残差公式计算所述叶子节点区域Rm,j的拟合值；
S450：通过交叉验证方式对所述树的权重αm持续训练调优；
S460：更新强学习器Fm(x)；
S470：采用所述测试集资源特征向量检验模型性能；
所述弱学习器F0(x)公式为：
其中，x为输入样本，y为输出空间，L(yi,c)是指平方误差损失函数，c为损失函数最小的分类器，i＝1,2,3,……N，N为训练集特征向量个数；
所述第m轮迭代对应的残差，计算公式为：
其中，rm,i是指第m轮迭代中第i个样本的残差，Fm-1(x)是指第m-1轮迭代后H-GBDT模型的预测值，F(x)是指H-GBDT模型的预测值；
所述拟合残差计算公式，计算公式为：
其中，cm,j是指第m轮迭代中第j棵树的拟合值,αm是指树的权重，L(yi,F0(xi)是指平方误差损失函数，c是指损失函数最小的分类器，Rm,j是指第m棵回归树对应的叶子节点区域；
所述强学习器Fm(x)，公式为：
其中，j＝1,2,3…jm，jm是指第m棵分类回归树叶子节点的个数，Fm-1(x)是指第m-1轮迭代后模型的预测值，I(x∈Rm,j))表示样本x是否属于第m棵树中第j个叶子节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310877248.5A CN116610534B (zh) | 2023-07-18 | 2023-07-18 | 一种基于Kubernetes集群资源的改进预测性弹性伸缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310877248.5A CN116610534B (zh) | 2023-07-18 | 2023-07-18 | 一种基于Kubernetes集群资源的改进预测性弹性伸缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116610534A CN116610534A (zh) | 2023-08-18 |
| CN116610534B true CN116610534B (zh) | 2023-10-03 |
Family
ID=87682151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310877248.5A Active CN116610534B (zh) | 2023-07-18 | 2023-07-18 | 一种基于Kubernetes集群资源的改进预测性弹性伸缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116610534B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2018101523A4 (en) * | 2018-10-14 | 2018-11-15 | Gao, Zhuolun Mr | A personal credit scoring model based on machine learning method |
| CN108874542A (zh) * | 2018-06-07 | 2018-11-23 | 桂林电子科技大学 | 基于神经网络的Kubernetes调度优化方法 |
| CN110825520A (zh) * | 2019-10-18 | 2020-02-21 | 山东省计算中心（国家超级计算济南中心） | 一种实现资源高效利用的集群极速弹性伸缩方法 |
| CN113296947A (zh) * | 2021-05-24 | 2021-08-24 | 中山大学 | 基于改进XGBoost模型的资源需求预测方法 |
| CN113806018A (zh) * | 2021-09-13 | 2021-12-17 | 北京计算机技术及应用研究所 | 基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法 |
| CN113886095A (zh) * | 2021-12-08 | 2022-01-04 | 北京广通优云科技股份有限公司 | 一种基于模糊推理与强化学习结合的容器内存弹性伸缩方法 |
| CN114064326A (zh) * | 2021-11-29 | 2022-02-18 | 中国平安人寿保险股份有限公司 | 微服务请求的处理方法、装置、计算机设备及存储介质 |
| CN115267585A (zh) * | 2022-06-22 | 2022-11-01 | 国网浙江省电力有限公司嘉兴供电公司 | 基于梯度增强决策树的改进单粒子电化学模型建模方法 |
| CN115454569A (zh) * | 2022-08-31 | 2022-12-09 | 联想(北京)有限公司 | 一种资源负载数据的处理方法、装置及存储介质 |
| CN115469974A (zh) * | 2022-11-03 | 2022-12-13 | 成都盛思睿信息技术有限公司 | 资源受限状态下的Kubernetes Pod弹性扩缩容方法 |
| CN115545533A (zh) * | 2022-10-26 | 2022-12-30 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备、介质及产品 |
| CN116244069A (zh) * | 2022-12-26 | 2023-06-09 | 中国电信股份有限公司 | 一种扩缩容方法、装置、电子设备和可读存储介质 |
-
2023
- 2023-07-18 CN CN202310877248.5A patent/CN116610534B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108874542A (zh) * | 2018-06-07 | 2018-11-23 | 桂林电子科技大学 | 基于神经网络的Kubernetes调度优化方法 |
| AU2018101523A4 (en) * | 2018-10-14 | 2018-11-15 | Gao, Zhuolun Mr | A personal credit scoring model based on machine learning method |
| CN110825520A (zh) * | 2019-10-18 | 2020-02-21 | 山东省计算中心（国家超级计算济南中心） | 一种实现资源高效利用的集群极速弹性伸缩方法 |
| CN113296947A (zh) * | 2021-05-24 | 2021-08-24 | 中山大学 | 基于改进XGBoost模型的资源需求预测方法 |
| CN113806018A (zh) * | 2021-09-13 | 2021-12-17 | 北京计算机技术及应用研究所 | 基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法 |
| CN114064326A (zh) * | 2021-11-29 | 2022-02-18 | 中国平安人寿保险股份有限公司 | 微服务请求的处理方法、装置、计算机设备及存储介质 |
| CN113886095A (zh) * | 2021-12-08 | 2022-01-04 | 北京广通优云科技股份有限公司 | 一种基于模糊推理与强化学习结合的容器内存弹性伸缩方法 |
| CN115267585A (zh) * | 2022-06-22 | 2022-11-01 | 国网浙江省电力有限公司嘉兴供电公司 | 基于梯度增强决策树的改进单粒子电化学模型建模方法 |
| CN115454569A (zh) * | 2022-08-31 | 2022-12-09 | 联想(北京)有限公司 | 一种资源负载数据的处理方法、装置及存储介质 |
| CN115545533A (zh) * | 2022-10-26 | 2022-12-30 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备、介质及产品 |
| CN115469974A (zh) * | 2022-11-03 | 2022-12-13 | 成都盛思睿信息技术有限公司 | 资源受限状态下的Kubernetes Pod弹性扩缩容方法 |
| CN116244069A (zh) * | 2022-12-26 | 2023-06-09 | 中国电信股份有限公司 | 一种扩缩容方法、装置、电子设备和可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于云平台的弹性Web集群扩缩容机制的研究;王晓钰;吴伟明;谷勇浩;;软件;第38卷(第11期);24-28页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116610534A (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107944648B (zh) | 一种大型船舶航速油耗率预测方法 | |
| US20220230048A1 (en) | Neural Architecture Scaling For Hardware Accelerators | |
| CN110531996B (zh) | 一种多微云环境下基于粒子群优化的计算任务卸载方法 | |
| CN111047078B (zh) | 交通特征预测方法、系统及存储介质 | |
| CN110781595B (zh) | 能源使用效率pue的预测方法、装置、终端及介质 | |
| Shi et al. | Artificial bee colony Based Bayesian Regularization Artificial Neural Network approach to model transient flammable cloud dispersion in congested area | |
| CN113852432A (zh) | 基于rcs-gru模型的频谱预测感知方法 | |
| CN112766496B (zh) | 基于强化学习的深度学习模型安全性保障压缩方法与装置 | |
| CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
| CN113065013A (zh) | 图像标注模型训练和图像标注方法、系统、设备及介质 | |
| CN114490065A (zh) | 一种负载预测方法、装置及设备 | |
| CN114936708A (zh) | 基于边云协同任务卸载的故障诊断优化方法及电子设备 | |
| CN117217280A (zh) | 神经网络模型优化方法、装置及计算设备 | |
| CN114239799A (zh) | 一种高效目标检测方法、设备、介质和系统 | |
| CN112561119B (zh) | 一种使用arima-rnn组合模型的云服务器资源性能预测方法 | |
| CN116610534B (zh) | 一种基于Kubernetes集群资源的改进预测性弹性伸缩方法 | |
| US20220044109A1 (en) | Quantization-aware training of quantized neural networks | |
| CN116823586A (zh) | 遥感图像处理方法、装置、设备和介质 | |
| CN117217282A (zh) | 一种面向深度行人搜索模型的结构化剪枝方法 | |
| CN111144473A (zh) | 训练集构建方法、装置、电子设备及计算机可读存储介质 | |
| Chakrabarty | Optimizing closed-loop performance with data from similar systems: A Bayesian meta-learning approach | |
| CN116185568A (zh) | 一种容器扩容方法、装置、电子设备及存储介质 | |
| CN113869614B (zh) | 一种基于时空图卷积的行人流早期预测方法 | |
| CN115905546A (zh) | 基于阻变存储器的图卷积网络文献识别装置与方法 | |
| US20220114479A1 (en) | Systems and methods for automatic mixed-precision quantization search |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |