CN114389953A - 一种基于流量预测的Kubernetes容器动态扩缩容方法及系统 - Google Patents
一种基于流量预测的Kubernetes容器动态扩缩容方法及系统 Download PDFInfo
- Publication number
- CN114389953A CN114389953A CN202111658300.5A CN202111658300A CN114389953A CN 114389953 A CN114389953 A CN 114389953A CN 202111658300 A CN202111658300 A CN 202111658300A CN 114389953 A CN114389953 A CN 114389953A
- Authority
- CN
- China
- Prior art keywords
- flow
- training
- request data
- model
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008602 contraction Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 60
- 230000015654 memory Effects 0.000 claims abstract description 25
- 230000009467 reduction Effects 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 7
- 238000010801 machine learning Methods 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
- H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0876—Aspects of the degree of configuration automation
- H04L41/0886—Fully automatic configuration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Environmental & Geological Engineering (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于流量预测的Kubernetes容器动态扩缩容方法，涉及信息技术领域，解决现有的扩缩容机制反应不够迅速的技术问题，方法包括：获取Pod所属Deployment的流量请求数据；搭建生成对抗网络模型GAN、长短期记忆模型LSTM；根据流量请求数据对生成对抗网络模型GAN进行训练得到流量增强模块，流量增强模块输出流量增强数据；根据流量请求数据、流量增强数据对长短期记忆模型LSTM进行训练得到流量预测模块；流量预测模块根据当前的流量请求数据对未来一段时间内Deployment的流量请求进行预测，并输出预测值；根据预测值，结合自动扩缩容配置，通过apiserver对相应的Pod执行扩缩容操作。本发明还公开了一种基于流量预测的Kubernetes容器动态扩缩容系统。
Description
技术领域
本发明涉及信息技术领域，更具体地说，它涉及一种基于流量预测的Kubernetes容器动态扩缩容方法及系统。
背景技术
微服务是现阶段热门的互联网应用架构风格；一个单体应用程序可以被拆分成多个小的独立单元，每个单元提供一个单一且定义明确的功能，他们之间使用同步或者异步技术进行通信。软件容器非常适合微服务领域，可有效简化微服务的部署和运行时管理。目前，最流行的云原生容器编排框架是Kubernetes，它可以自动化容器配置、管理和通信。云计算最受重视的方面之一是向上或者向下扩展的能力。在Kubernetes平台上，容器的扩缩容可以由系统自动执行或者管理员手动执行。
由于云中负载的动态特性，对Pod进行自动扩缩容是具有挑战的。
Kubernetes提供了两种截然不同的Pod扩缩容机制，分别是水平伸缩(HPA)和垂直伸缩(VPA)。默认情况下，HPA和VPA都测量Pod的CPU使用率，使用基于阈值的策略来进行Pod的扩缩容，当测量到的Pod的指标超过阈值时，才能触发自动扩缩容机制。然而，Kubernetes没有提供更为有效地策略来实现对延迟敏感的应用程序进行扩缩容，在业务突发性较强的时间段，现有的扩缩容机制反应不够迅速。需要更加智能和精细化的自动扩缩容技术来适应当前业务突发性强的复杂云原生环境。
作为人工智能的最重要领域，机器学习算法在近年来得到快速发展，并且在人脸识别、智能推算等领域取得了大量的应用成果。目前机器学习算法正广泛应用到流量分析中，在训练机器学习模型实现流量预测等任务中，应用流量请求数据是最为关键的一部分，如果数据量较小，容易造成模型过拟合、降低模型泛化能力，以致于模型无法获取流量请求数据的分布规律，难以实现流量的预测。为了提高机器学习应用在Kubernetes云平台的效果，大量且高质量的应用流量请求数据是不可或缺的。然而在现实中，应用实时流量的存储有限，业务的变动也使保存下的流量请求数据有效性难以保证。
发明内容
本发明要解决的技术问题是针对现有技术的上述不足，本发明的目的一是提供一种基于流量预测的Kubernetes容器动态扩缩容方法，以应对业务请求的突发性，避免在业务量激增时出现的扩容不及时问题。
本发明的目的二是提供一种基于流量预测的Kubernetes容器动态扩缩容系统，以应对业务请求的突发性，避免在业务量激增时出现的扩容不及时问题。
为了实现上述目的一，本发明提供一种基于流量预测的Kubernetes容器动态扩缩容方法，包括：
步骤S1.获取Pod所属Deployment的流量请求数据；
步骤S2.搭建生成对抗网络模型GAN、长短期记忆模型LSTM，并确定所述生成对抗网络模型GAN及长短期记忆模型LSTM的神经网络的超参数；
步骤S3.根据所述流量请求数据对所述生成对抗网络模型GAN进行训练得到流量增强模块，所述流量增强模块输出流量增强数据；
步骤S4.根据所述流量请求数据、流量增强数据对所述长短期记忆模型LSTM进行训练得到流量预测模块；
步骤S5.所述流量预测模块根据当前的流量请求数据对未来一段时间内Deployment的流量请求进行预测，并输出预测值；
步骤S6.根据未来一段时间的预测值，结合自动扩缩容配置，通过apiserver对相应的Pod执行扩缩容操作。
作为进一步地改进，在步骤S1中，通过在Kubernetes集群中运行流量请求数据采集组件，来获取需要进行自动扩缩容的Pod所对应Deployment的流量请求数据；或者，通过监控组件Prometheus获取到该Deployment的历史流量请求数据。
进一步地，在步骤S2中，所述超参数包括激活函数种类、神经网络层数、神经元节点数、学习率。
进一步地，在步骤S2中，根据Deployment的流量请求数据情况和需要实现的预测精度来确定生成对抗网络模型GAN及长短期记忆模型LSTM的输入/输出维度。
进一步地，在步骤S3中，先将所述流量请求数据进行归一化处理，然后对所述生成对抗网络模型GAN进行训练。
进一步地，步骤S3包括：
步骤S31.从归一化处理后的流量请求数据中随机取出一定量的训练样本；
步骤S32.首先根据训练样本训练生成对抗网络模型GAN中的判别模型，需要保持生成对抗网络模型GAN中的生成模型的网络参数不变，对判别模型进行预设次数k次的训练；根据梯度下降算法更新判别模型的神经网络参数；
步骤S33.训练k次判别模型后，保持判别模型的网络参数不变，训练一次生成模型；根据梯度下降法更新生成模型的神经网络参数；
步骤S34.重复步骤S31～步骤S33，直到判别模型和生成模型均收敛，得到流量增强模块；
步骤S35.利用流量增强模块输出不同时段增强的流量增强数据；
步骤S36.根据均值或方差指标将流量增强数据和真实的流量请求数据进行比较来评估流量增强数据的有效性；如果有效性达标，则完成对流量增强模块的训练。
进一步地，将归一化处理后的流量请求数据与流量增强数据合并作为所述长短期记忆模型LSTM的训练数据。
进一步地，步骤S4包括：
步骤S41.从所述训练数据中随机取出一定量的训练样本，剩下的为测试集；
步骤S42.通过步骤S41中的训练样本训练所述长短期记忆模型LSTM，使所述长短期记忆模型LSTM的神经网络收敛，得到流量预测模块；
步骤S43.在测试集上验证流量预测模块的预测效果；如果能进行有效预测，则完成对流量预测模块的训练。
进一步地，在步骤S6中，自动扩缩容配置可以根据需要进行调整，配置条件应基于流量预测制定。
为了实现上述目的二，本发明提供一种基于流量预测的Kubernetes容器动态扩缩容系统，包括：
流量数据监控收集组件，用于获取并保存Deployment的流量请求数据；
流量预测组件，用于根据上述的Kubernetes容器动态扩缩容方法，通过所述流量请求数据对生成对抗网络模型GAN进行训练得到流量增强模块，所述流量增强模块输出流量增强数据；通过所述流量请求数据、流量增强数据对长短期记忆模型LSTM进行训练得到流量预测模块；所述流量预测模块根据当前的流量请求数据对未来一段时间内Deployment的流量请求进行预测，并输出预测值；
基于流量预测的Pod自动扩缩容组件，用于根据未来一段时间的预测值，结合自动扩缩容配置，通过apiserver对相应的Pod执行扩缩容操作。
有益效果
本发明与现有技术相比，具有的优点为：
本发明通过搭建生成对抗网络模型GAN、长短期记忆模型LSTM，根据流量请求数据训练生成对抗网络模型GAN得到流量增强模块，流量增强模块输出流量增强数据，从而获得大量的训练数据；再通过流量请求数据、流量增强数据对长短期记忆模型LSTM进行训练得到流量预测模块，可以有效解决因流量请求数据过少、流量特征不充分引起的LSTM预测模型在测试集上泛化能力差、预测效果不好的问题；通过流量预测模块可以对未来一段时间内的Deployment流量进行有效预测；基于预测流量，可以对Pod进行提前扩缩容，避免因为突发的流量请求造成短时间的响应时间延长问题。
附图说明
图1为生成对抗网络(GAN)与长短期记忆模型(LSTM)相结合的部署(Deployment)流量预测算法示意图；
图2为基于流量预测的Kubernetes容器动态扩缩容系统结构示意图。
具体实施方式
下面结合附图中的具体实施例对本发明做进一步的说明。
参阅图1、2，一种基于流量预测的Kubernetes容器动态扩缩容方法，包括：
步骤S1.获取Pod所属Deployment的流量请求数据，可以通过在Kubernetes集群中运行流量请求数据采集组件，来获取需要进行自动扩缩容的Pod所对应Deployment的流量请求数据；或者，通过监控组件Prometheus获取到该Deployment的历史流量请求数据；
步骤S2.搭建生成对抗网络模型GAN、长短期记忆模型LSTM，并确定生成对抗网络模型GAN及长短期记忆模型LSTM的神经网络的超参数，超参数包括激活函数种类、神经网络层数、神经元节点数、学习率，或其他相关的参数，根据Deployment的流量请求数据情况和需要实现的预测精度来确定生成对抗网络模型GAN及长短期记忆模型LSTM的输入/输出维度；
步骤S3.根据流量请求数据对生成对抗网络模型GAN进行训练得到流量增强模块，流量增强模块输出流量增强数据，从而获得大量的训练数据，用于解决因流量请求数据过少、流量特征不充分引起的LSTM预测模型在测试集上泛化能力差、预测效果不好的问题；
步骤S4.根据流量请求数据、流量增强数据对长短期记忆模型LSTM进行训练得到流量预测模块；
步骤S5.流量预测模块根据当前的流量请求数据对未来一段时间内Deployment的流量请求进行预测，并输出预测值；
步骤S6.根据未来一段时间的预测值，结合自动扩缩容配置，通过apiserver对相应的Pod执行扩缩容操作，自动扩缩容配置可以根据需要进行调整，配置条件应基于流量预测制定，例如：未来x小时内，Deployment流量最大值达到y则将Pod扩容至n个。
在步骤S3中，先将流量请求数据进行归一化处理，然后对生成对抗网络模型GAN进行训练。步骤S3包括：
步骤S31.从归一化处理后的流量请求数据中随机取出一定量的训练样本；
步骤S32.首先根据训练样本训练生成对抗网络模型GAN中的判别模型，需要保持生成对抗网络模型GAN中的生成模型的网络参数不变，对判别模型进行预设次数k次的训练；根据梯度下降算法更新判别模型的神经网络参数；
步骤S33.训练k次判别模型后，保持判别模型的网络参数不变，训练一次生成模型；根据梯度下降法更新生成模型的神经网络参数；
步骤S34.重复步骤S31～步骤S33，直到判别模型和生成模型均收敛，得到流量增强模块；
步骤S35.利用流量增强模块输出不同时段增强的流量增强数据；
步骤S36.根据均值或方差指标将流量增强数据和真实的流量请求数据进行比较来评估流量增强数据的有效性；如果有效性达标，则完成对流量增强模块的训练。
在步骤S4中，将归一化处理后的流量请求数据与流量增强数据合并作为长短期记忆模型LSTM的训练数据。步骤S4包括：
步骤S41.从训练数据中随机取出一定量的训练样本，剩下的为测试集；
步骤S42.通过步骤S41中的训练样本训练长短期记忆模型LSTM，使长短期记忆模型LSTM的神经网络收敛，得到流量预测模块；
步骤S43.在测试集上验证流量预测模块的预测效果；如果能进行有效预测，则完成对流量预测模块的训练。
一种基于流量预测的Kubernetes容器动态扩缩容系统，包括：
流量数据监控收集组件，用于获取并保存Deployment的流量请求数据；
流量预测组件，用于根据上述的Kubernetes容器动态扩缩容方法，通过流量请求数据对生成对抗网络模型GAN进行训练得到流量增强模块，流量增强模块输出流量增强数据；通过流量请求数据、流量增强数据对长短期记忆模型LSTM进行训练得到流量预测模块；流量预测模块根据当前的流量请求数据对未来一段时间内Deployment的流量请求进行预测，并输出预测值；
基于流量预测的Pod自动扩缩容组件，用于根据未来一段时间的预测值，结合自动扩缩容配置，通过apiserver对相应的Pod执行扩缩容操作。
由于云中负载的动态特性，对Pod进行自动扩缩容是具有挑战的。
Kubernetes提供了两种截然不同的Pod扩缩容机制，分别是水平伸缩(HPA)和垂直伸缩(VPA)。默认情况下，HPA和VPA都测量Pod的CPU使用率，使用基于阈值的策略来进行Pod的扩缩容，当测量到的Pod的指标超过阈值时，才能触发自动扩缩容机制。然而，Kubernetes没有提供更为有效地策略来实现对延迟敏感的应用程序进行扩缩容，在业务突发性较强的时间段，现有的扩缩容机制反应不够迅速。需要更加智能和精细化的自动扩缩容技术来适应当前业务突发性强的复杂云原生环境。
本发明中训练得到的流量增强模块、流量预测模块，可以对未来一段时间内的Deployment流量进行有效预测；基于预测流量，可以对Pod进行提前扩缩容，避免因为突发的流量请求造成短时间的响应时间延长问题。
此外，针对流量预测中数据量较小，容易造成模型过拟合、降低模型泛化能力的问题，利用的流量增强模块也可以有效解决。
以上仅是本发明的优选实施方式，应当指出对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些都不会影响本发明实施的效果和专利的实用性。
Claims (10)
1.一种基于流量预测的Kubernetes容器动态扩缩容方法，其特征在于，包括：
步骤S1.获取Pod所属Deployment的流量请求数据；
步骤S2.搭建生成对抗网络模型GAN、长短期记忆模型LSTM，并确定所述生成对抗网络模型GAN及长短期记忆模型LSTM的神经网络的超参数；
步骤S3.根据所述流量请求数据对所述生成对抗网络模型GAN进行训练得到流量增强模块，所述流量增强模块输出流量增强数据；
步骤S4.根据所述流量请求数据、流量增强数据对所述长短期记忆模型LSTM进行训练得到流量预测模块；
步骤S5.所述流量预测模块根据当前的流量请求数据对未来一段时间内Deployment的流量请求进行预测，并输出预测值；
步骤S6.根据未来一段时间的预测值，结合自动扩缩容配置，通过apiserver对相应的Pod执行扩缩容操作。
2.根据权利要求1所述的一种基于流量预测的Kubernetes容器动态扩缩容方法，其特征在于，在步骤S1中，通过在Kubernetes集群中运行流量请求数据采集组件，来获取需要进行自动扩缩容的Pod所对应Deployment的流量请求数据；或者，通过监控组件Prometheus获取到该Deployment的历史流量请求数据。
3.根据权利要求1所述的一种基于流量预测的Kubernetes容器动态扩缩容方法，其特征在于，在步骤S2中，所述超参数包括激活函数种类、神经网络层数、神经元节点数、学习率。
4.根据权利要求1所述的一种基于流量预测的Kubernetes容器动态扩缩容方法，其特征在于，在步骤S2中，根据Deployment的流量请求数据情况和需要实现的预测精度来确定生成对抗网络模型GAN及长短期记忆模型LSTM的输入/输出维度。
5.根据权利要求1所述的一种基于流量预测的Kubernetes容器动态扩缩容方法，其特征在于，在步骤S3中，先将所述流量请求数据进行归一化处理，然后对所述生成对抗网络模型GAN进行训练。
6.根据权利要求5所述的一种基于流量预测的Kubernetes容器动态扩缩容方法，其特征在于，步骤S3包括：
步骤S31.从归一化处理后的流量请求数据中随机取出一定量的训练样本；
步骤S32.首先根据训练样本训练生成对抗网络模型GAN中的判别模型，需要保持生成对抗网络模型GAN中的生成模型的网络参数不变，对判别模型进行预设次数k次的训练；根据梯度下降算法更新判别模型的神经网络参数；
步骤S33.训练k次判别模型后，保持判别模型的网络参数不变，训练一次生成模型；根据梯度下降法更新生成模型的神经网络参数；
步骤S34.重复步骤S31～步骤S33，直到判别模型和生成模型均收敛，得到流量增强模块；
步骤S35.利用流量增强模块输出不同时段增强的流量增强数据；
步骤S36.根据均值或方差指标将流量增强数据和真实的流量请求数据进行比较来评估流量增强数据的有效性；如果有效性达标，则完成对流量增强模块的训练。
7.根据权利要求5所述的一种基于流量预测的Kubernetes容器动态扩缩容方法，其特征在于，将归一化处理后的流量请求数据与流量增强数据合并作为所述长短期记忆模型LSTM的训练数据。
8.根据权利要求7所述的一种基于流量预测的Kubernetes容器动态扩缩容方法，其特征在于，步骤S4包括：
步骤S41.从所述训练数据中随机取出一定量的训练样本，剩下的为测试集；
步骤S42.通过步骤S41中的训练样本训练所述长短期记忆模型LSTM，使所述长短期记忆模型LSTM的神经网络收敛，得到流量预测模块；
步骤S43.在测试集上验证流量预测模块的预测效果；如果能进行有效预测，则完成对流量预测模块的训练。
9.根据权利要求1所述的一种基于流量预测的Kubernetes容器动态扩缩容方法，其特征在于，在步骤S6中，自动扩缩容配置可以根据需要进行调整，配置条件应基于流量预测制定。
10.一种基于流量预测的Kubernetes容器动态扩缩容系统，其特征在于，包括：
流量数据监控收集组件，用于获取并保存Deployment的流量请求数据；
流量预测组件，用于根据权利要求1-9任一项所述的Kubernetes容器动态扩缩容方法，通过所述流量请求数据对生成对抗网络模型GAN进行训练得到流量增强模块，所述流量增强模块输出流量增强数据；通过所述流量请求数据、流量增强数据对长短期记忆模型LSTM进行训练得到流量预测模块；所述流量预测模块根据当前的流量请求数据对未来一段时间内Deployment的流量请求进行预测，并输出预测值；
基于流量预测的Pod自动扩缩容组件，用于根据未来一段时间的预测值，结合自动扩缩容配置，通过apiserver对相应的Pod执行扩缩容操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111658300.5A CN114389953B (zh) | 2021-12-30 | 2021-12-30 | 一种基于流量预测的Kubernetes容器动态扩缩容方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111658300.5A CN114389953B (zh) | 2021-12-30 | 2021-12-30 | 一种基于流量预测的Kubernetes容器动态扩缩容方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114389953A true CN114389953A (zh) | 2022-04-22 |
| CN114389953B CN114389953B (zh) | 2024-03-19 |
Family
ID=81199196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111658300.5A Active CN114389953B (zh) | 2021-12-30 | 2021-12-30 | 一种基于流量预测的Kubernetes容器动态扩缩容方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114389953B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115051920A (zh) * | 2022-06-02 | 2022-09-13 | 北京邮电大学 | 一种能力开放架构下nfv能力网元扩容的方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108874542A (zh) * | 2018-06-07 | 2018-11-23 | 桂林电子科技大学 | 基于神经网络的Kubernetes调度优化方法 |
| CN111026409A (zh) * | 2019-10-28 | 2020-04-17 | 烽火通信科技股份有限公司 | 一种自动监控方法、装置、终端设备及计算机存储介质 |
| CN112685153A (zh) * | 2020-12-25 | 2021-04-20 | 广州奇盾信息技术有限公司 | 微服务调度方法、装置以及电子设备 |
| US20210304068A1 (en) * | 2020-03-24 | 2021-09-30 | Quanta Computer Inc. | Data processing system and data processing method |
| US11194483B1 (en) * | 2020-06-05 | 2021-12-07 | Vmware, Inc. | Enriching a storage provider with container orchestrator metadata in a virtualized computing system |
-
2021
- 2021-12-30 CN CN202111658300.5A patent/CN114389953B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108874542A (zh) * | 2018-06-07 | 2018-11-23 | 桂林电子科技大学 | 基于神经网络的Kubernetes调度优化方法 |
| CN111026409A (zh) * | 2019-10-28 | 2020-04-17 | 烽火通信科技股份有限公司 | 一种自动监控方法、装置、终端设备及计算机存储介质 |
| US20210304068A1 (en) * | 2020-03-24 | 2021-09-30 | Quanta Computer Inc. | Data processing system and data processing method |
| US11194483B1 (en) * | 2020-06-05 | 2021-12-07 | Vmware, Inc. | Enriching a storage provider with container orchestrator metadata in a virtualized computing system |
| CN112685153A (zh) * | 2020-12-25 | 2021-04-20 | 广州奇盾信息技术有限公司 | 微服务调度方法、装置以及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| H.M.B. PRIYABHASHANA，K. P. N. JAYASENA: "Data Analytics with Deep Neural Networks in Fog Computing Using TensorFlow and Google Cloud Platform", Retrieved from the Internet <URL:10.1109/ICIIS47346.2019.9063284> * |
| 马航: "基于Kubernetes的容器云平台资源动态调度的研究与实现", CNKI, no. 2020, pages 27 - 30 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115051920A (zh) * | 2022-06-02 | 2022-09-13 | 北京邮电大学 | 一种能力开放架构下nfv能力网元扩容的方法和系统 |
| CN115051920B (zh) * | 2022-06-02 | 2023-07-18 | 北京邮电大学 | 一种能力开放架构下nfv能力网元扩容的方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114389953B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210097453A1 (en) | Method for quantile probabilistic short-term power load ensemble forecasting, electronic device and storage medium | |
| CN109558975B (zh) | 一种电力负荷概率密度多种预测结果的集成方法 | |
| CN114297036B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN110188919A (zh) | 一种基于长短期记忆网络的负荷预测方法 | |
| CN111461463A (zh) | 一种基于tcn-bp的短期负荷预测方法、系统及设备 | |
| CN104036328A (zh) | 自适应风电功率预测系统及预测方法 | |
| CN113746696A (zh) | 网络流量预测方法、设备、存储介质及装置 | |
| CN116739172B (zh) | 一种基于爬坡识别的海上风电功率超短期预测方法及装置 | |
| CN114202243A (zh) | 一种基于随机森林的工程项目管理风险预警方法及系统 | |
| CN117744916A (zh) | 储能容量的预测方法、装置、计算机设备及可读存储介质 | |
| CN115965177A (zh) | 基于注意力机制改进的自回归误差补偿风电功率预测方法 | |
| Li et al. | GMM-HMM-based medium-and long-term multi-wind farm correlated power output time series generation method | |
| CN114389953B (zh) | 一种基于流量预测的Kubernetes容器动态扩缩容方法及系统 | |
| CN117395253A (zh) | 一种负载均衡方法、装置、设备及其存储介质 | |
| CN114625654A (zh) | 一种测试方法及其相关设备 | |
| CN117332900A (zh) | 一种3d建模输出的新能源小时间尺度功率预测方法 | |
| CN116010228B (zh) | 面向网络安全扫描的时间预估方法及装置 | |
| CN117332896A (zh) | 多层集成学习的新能源小时间尺度功率预测方法及系统 | |
| CN116627773A (zh) | 产销差统计平台系统的异常分析方法及系统 | |
| CN116415722A (zh) | 一种光伏发电量预测方法 | |
| CN116610416A (zh) | 基于Kubernetes的负载预测型弹性伸缩系统及方法 | |
| CN116566840A (zh) | 一种基于经验小波变换和组合模型的容器云资源预测方法 | |
| CN113779116B (zh) | 对象排序方法、相关设备及介质 | |
| CN115935212A (zh) | 一种基于纵向趋势预测的可调节负荷聚类方法及系统 | |
| CN114463978A (zh) | 一种基于轨道交通信息处理终端的数据监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |