CN116302509A - 一种基于CNN-Transformer的云服务器动态负载优化方法及装置 - Google Patents

一种基于CNN-Transformer的云服务器动态负载优化方法及装置 Download PDF

Info

Publication number
CN116302509A
CN116302509A CN202310181380.2A CN202310181380A CN116302509A CN 116302509 A CN116302509 A CN 116302509A CN 202310181380 A CN202310181380 A CN 202310181380A CN 116302509 A CN116302509 A CN 116302509A
Authority
CN
China
Prior art keywords
resource
resources
cnn
layer
cloud server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310181380.2A
Other languages
English (en)
Inventor
王文亮
马吉顺
韩鹏
刘识灏
赵斌
郑茜文
赵森
陆佩佩
陈琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cssc Zhejiang Ocean Technology Co ltd
Original Assignee
Cssc Zhejiang Ocean Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cssc Zhejiang Ocean Technology Co ltd filed Critical Cssc Zhejiang Ocean Technology Co ltd
Priority to CN202310181380.2A priority Critical patent/CN116302509A/zh
Publication of CN116302509A publication Critical patent/CN116302509A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于CNN‑Transformer的云服务器动态负载优化方法及装置。为了克服现有的云服务负载均衡技术只有当任务请求到达时才进行决策，无法及时在工作负载更改时提供合适的资源，也增加了用户请求的响应时间的问题；本发明首先能够提取多元数据中的不同特征之间的关系并根据周期性数据对未来的用户资源请求做出预测。在此基础上，基于用户资源请求对云计算资源进行动态调整，同时结合当前服务器的计算资源状态来计算云服务器的响应优先级，通过响应优先级来对下一个时刻的客户工作进行分配。避免了计算资源不足以及计算资源浪费的情况，有效的减少了用户请求到达时才进行优先级计算产生的时延。

Description

一种基于CNN-Transformer的云服务器动态负载优化方法及 装置
技术领域
本发明涉及一种负载均衡领域，尤其涉及一种基于CNN-Transformer的云服务器动态负载优化方法。
背景技术
近年来，随着移动互联网的发展，手机、平板等终端用户急剧增加，随之而来的是互联网任务请求连接数的剧增。云计算通过虚拟化技术，给用户带来了弹性的、按需获取的计算资源以及基础服务设施，是一种提高服务器资源利用率的重要手段。
云计算上的负载均衡方法指的是将用户请求的工作负载动态的分配在各个节点上，使得各个节点资源不会被忽略或者未被充分利用，减少了计算资源的浪费。同时，由于负载均衡技术将用户请求分配到了最优节点上进行，也在一定程度上提高了用户体验并减少了节点出现饥饿或者过载状态的情况。
随着云平台的长期运行，云服务器自身的负载情况都会产生较大的差异。当前的动态负载均衡机制通过实时的服务器运行状态来计算对应的实时权重，通过权重对当前的任务进行分配。同时，为了减少资源的浪费或者不足，云服务平台也需要根据资源的请求情况适当的增加或者删减服务器资源。然而，只有当任务请求到达时才进行决策，这可能无法及时在工作负载更改时提供合适的资源，也增加了用户请求的响应时间。
例如，一种在中国专利文献上公开的“基于SDN的云服务器负载均衡方法及装置”，其公告号CN105391797A，方法包括：获取云服务器集群中各服务器的状态信息，服务器的状态信息包括服务器的负载；根据各服务器的负载，确定云服务器集群的负载总和；判断云服务器集群的负载总和是否大于第一预设阈值；若大于第一预设阈值，则根据负载总和与第一预设阈值之差启动新的服务器；若不大于第一预设阈值，则判断负载总和是否小于第二预设阈值；若小于第二预设阈值，则根据负载总和与第二预设阈值之差关闭部分服务器。能够实现云服务器的动态负载均衡，避免有大量数据访问时云服务器的处理速度变慢，提高了云服务器的处理效率。但是该方案只有当任务请求到达时才进行决策，无法及时在工作负载更改时提供合适的资源，也增加了用户请求的响应时间。
发明内容
本发明主要解决现有的云服务负载均衡技术只有当任务请求到达时才进行决策，无法及时在工作负载更改时提供合适的资源，也增加了用户请求的响应时间的问题；提供一种基于CNN-Transformer的云服务器动态负载优化方法，首先能够提取多元数据中的不同特征之间的关系并根据周期性数据对未来的用户资源请求做出预测。在此基础上，基于用户资源请求对云计算资源进行动态调整，同时结合当前服务器的计算资源状态来计算云服务器的响应优先级，通过响应优先级来对下一个时刻的客户工作进行分配。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
一种基于CNN-Transformer的云服务器动态负载优化方法，包括以下步骤：
S1：根据云服务的计算资源进行历史训练数据收集，将历史训练数据进行归一化处理；
S2：采用滑动窗口将历史数据序列化，构成时间序列的训练数据；
S3：初始化CNN-Transformer模型，利用初始化后的CNN网络对训练数据进行特征提取，并将提取的特征信息送入Transformer网络进行训练；
S4：将服务器数据送入训练好的CNN-Transformer模型中，经过运算后获得长期预测结果和短期预测结果；
S5：通过长期预测结果结合服务器状态对未来一段时间内的云服务资源进行动态调整；根据短期预测结果结合服务器状态，计算服务器的响应优先级来对下一个时刻的客户请求进行分配，完成对云服务的动态负载均衡。
本方案使用CNN来提取多维数据之间的局部特征以及关联性，并使用Transformer模型来提取时间序列数据上的全局特征，能及时在工作负载更改时提供合适的资源。基于长时间预测对下个时间段内的资源配置进行动态调整，避免了计算资源不足以及计算资源浪费的情况。基于短期预测对下个时间段内的服务器响应优先级作出预测，有效的减少了用户请求到达时才进行优先级计算产生的时延。
作为优选，所述历史训练数据包括服务器的计算资源，计算资源包括但不限于CPU、内存、网络带宽和存储IO。
作为优选，所述的归一化处理过程为：
Figure BDA0004102463000000021
其中，x为收集到的历史数据；
x*为归一化后的数据；
xmin为数据的最小值；
xmax为数据的最大值。
数据进行归一化来消除量纲的影响。
作为优选，所述的CNN-Transformer模型包括卷积神经网络、Transformer网络以及全连接网络层；
其中，卷积神经网络通过卷积层对服务器的历史训练数据进行卷积运算提取局部特征；通过池化层对卷积层进行采样；经过Dropout层后将输出的结果作为Transformer网络的输入特征；
Transformer网络包括encoder-decoder框架；Decoder的输出连接全连接网络层，全连接网络层的输出表示下一个时刻用户对于资源的请求。
作为优选，在encoder-decoder框架中，encoder包括文本嵌入层、位置编码层以及若干个编码器；
每个编码器层由两个子层连接结构组成：
第一个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接；第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接；
decoder的解码器层由三个子层连接结构组成：
第一个子层连接结构包括一个带掩码的多头自注意力子层和规范化层以及一个残差连接；第二个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接；第三个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接。
作为优选，CNN-Transformer模型的损失函数为Huber损失函数，公式如下：
Figure BDA0004102463000000031
其中，y为样本的真实值，f(x)为对应样本的预测值，δ为Huber损失参数。
Huber损失结合了MSE和MAE的优点，对异常点的检测更加鲁棒。通过不断的迭代，减少Huber损失，能够得到一个对用户请求资源进行预测的CNN-Transformer模型。
作为优选，长期预测和短期预测的具体过程为：
通过Δt+λ时间段内的用户请求资源信息来对下个Δt+λ时间段内的资源请求作出预测，λ为可调整时间；
下个Δt+λ时间段内对资源需求评价为：
Kall＝Knext+Krest
其中，Knext为下个Δt+λ时间段内的预测请求；
Krest为当前用户对资源的占用；
通过当前的计算资源R计算下个时间段内对的各个计算资源的利用率Ruti，
当下个时间段内的Ruti中有任意资源的利用率大于第一额定阈值，则认为该资源属于资源缺乏状态，在下个时间段内进行扩充；
当下个时间段内的Ruti中存在若干资源利用率小于第二额定阈值，且不存在资源缺乏状态，则认为该资源处于浪费状态，在下个时间段内进行减少。
长期预测是指对接下来较长时间内用户资源请求的预测，目的是对下一个时间段内的云服务资源进行动态配置，以节约资源或者满足资源请求；短期预测是指对短期内的用户资源请求进行预测，目的是对服务器的响应优先级进行动态配置，来进行下个时段内的动态负载。
作为优选，响应优先级p通过以下公式计算：
Figure BDA0004102463000000041
其中，ai为第i种资源的加权系数；
qi为各个资源的配额；
ri为各个资源的利用率；
Q为资源种类。
一种基于CNN-Transformer的云服务器动态负载优化装置，包括：
获取模块，被配置为对于任意一个进程，周期性获取该进程的运行占用资源，包括所占用CPU资源、内存资源、网络带宽资源和存储IO资源；
预测模块，被配置为对于任意一个服务，基于对服务运行占用资源的时序信息对该服务所涉及的运行占用资源进行长期和短期预测；
调度模块，被配置为响应于服务的运行状态数据满足负载均衡条件，对CPU、内存、网络带宽和存储IO计算资源进行调度分配。
作为优选，所述的CPU资源是指设备上与该进程建立绑定关系的各CPU所提供的性能百分比与该CPU所能达到的最大运算频率之乘积的总和；所述的内存资源是指设备上与该进程建立绑定关系的各内存占用空间的总和；所述的网络带宽资源是指设备上与该进程建立绑定关系的各网卡占用带宽的总和；所述的存储IO资源是指设备上与该进程建立绑定关系的各存储设备占用吞吐量的总和。
本发明的有益效果是：
1.使用CNN来提取多维数据之间的局部特征以及关联性，并使用Transformer模型来提取时间序列数据上的全局特征，能及时在工作负载更改时提供合适的资源。
2.基于长时间预测对下个时间段内的资源配置进行动态调整，避免了计算资源不足以及计算资源浪费的情况。
3.基于短期预测对下个时间段内的服务器响应优先级作出预测，有效的减少了用户请求到达时才进行优先级计算产生的时延。
附图说明
图1是本发明的CNN-Transformer模型训练流程图。
图2是本发明的Transformer结构图。
图3是本发明的动态负载均衡的流程图。
图4是本发明的动态负载均衡的装置连接框图。
图中，100.获取模块，200.预测模块，300.调度模块。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
本实施例的一种基于CNN-Transformer的云服务器动态负载优化方法，包括以下步骤：
S1：根据云服务能够提供的计算资源进行历史数据收集，将历史数据进行归一化来消除量纲的影响。
历史训练数据包括服务器的计算资源，计算资源包括但不限于CPU、内存、网络带宽和存储IO。在本实施例中为CUP计算资源。
设资源种类为Q，则所有计算资源可表示为R＝{q1，q2，q3，...，qQ}。
由于用户的需求可以抽象成对计算资源的请求，则用户需求可以表示为：
an＝{an，q|1≤q≤Q}
其中，an，q表示用户n对资源q的请求，则有某时刻对资源的总需求为：
Figure BDA0004102463000000051
具体表示为K＝{k1，k2，k3，...，kQ}。
由于云服务配置信息会影响用户对请求资源的考量，因此将历史数据中的云服务配置信息也作为特征。最终得到的训练数据为历史资源需求以及对应的云服务器配置数据，并将数据进行归一化来消除量纲的影响。
通过获取模块，根据云CPU计算资源进行历史数据收集，得到的训练数据为历史资源需求以及对应的云服务器配置数据，并将数据进行归一化来消除量纲的影响。
训练过程如图1所示：
步骤S101：通过日志文件获取历史记录中用户对云服务器的资源需求情况以及当时的服务器配置信息作为历史训练数据；
步骤S102：对收集到的数据进行归一化处理，得到所需的训练样本数据集。
数据归一化的表达式为：
Figure BDA0004102463000000061
其中，x为收集到的历史数据；
x*为归一化后的数据；
xmin为数据的最小值；
xmax为数据的最大值。
S2：采用滑动窗口技术将数据序列化，构成时间序列数据。
通过不同的滑动窗口时间跨度，可以实现对不同时间跨度内的数据进行预测。
S3：初始化CNN-Transformer模型，利用初始化后的CNN网络对训练数据进行特征提取，并将提取的特征信息送入Transformer网络进行训练，获取到拥有对下个时间T的资源总需求有预测能力的CNN-Transformer模型。
CNN-Transformer模型包括卷积神经网络、Transformer网络以及全连接网络层。其中：卷积神经网络通过卷积层对服务器历史训练数据进行卷积运算进行局部特征提取；通过池化层对卷积层进行采样来减少网络的计算量以及参数个数；使用Dropout层防止过拟合然后将输出的结果作为Transformer网络的输入特征。
Transformer网络包括encoder-decoder框架；Transformer网络具体结构如图2所示，具体的组成为：
在encoder-decoder框架中，encoder包括文本嵌入层、位置编码层以及若干个编码器。
每个编码器层由两个子层连接结构组成：
第一个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接；第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接。
decoder的结构与encoder类似，只是在解码器结构上有所区别，解码器层由三个子层连接结构组成：
第一个子层连接结构包括一个带掩码的多头自注意力子层和规范化层以及一个残差连接；第二个子层连接结构包括一个多头注意力子层(编码器到解码器)和规范化层以及一个残差连接；第三个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接。
得到decoder的输出后将会连接一个全连接网络层，全连接网络层的输出表示下一个时刻用户对于资源的总请求。
在本实施例中，模型的迭代次数为300，训练批次为32，使用Adam优化器，学习率为0.001。损失函数为Huber损失函数，公式如下：
Figure BDA0004102463000000071
其中，y为样本的真实值，f(x)为对应样本的预测值，δ为Huber损失参数。
Huber损失结合了MSE和MAE的优点，对异常点的检测更加鲁棒。通过不断的迭代，减少Huber损失，能够得到一个对用户请求资源进行预测的CNN-Transformer模型。
S4：将数据送入训练好的CNN-Transformer模型中，经过运算后给出预测结果。
预测数据包括对长期预测和短期预测，长期预测是指对接下来较长时间内用户资源请求的预测，目的是对下一个时间段内的云服务资源进行动态配置，以节约资源或者满足资源请求。短期预测是指对短期内的用户资源请求进行预测，目的是对服务器的响应优先级进行动态配置，来进行下个时段内的动态负载。本实施例中的“长期”和“短期”根据实际需求设置。
S5：通过长期预测结果结合服务器状态对未来一段时间内的云服务资源进行增加或者减少；根据短期预测结果结合服务器状态，计算云服务器的响应优先级来对下一个时刻的客户工作进行分配，完成对云服务的动态负载均衡。
图3所示，具体的处理过程为：
设实例准备时间平均为Δt，则需要通过Δt+λ内的用户请求资源信息来对下个时间Δt+λ内的资源请求作出预测，λ为可调整时间，用于满足不同实例的准备时间需求。
设下个时间段内的预测请求为Knext，当前用户对资源的占用为Krest，则下个时间段内对资源需求评价为：
Kall＝Knext+Krest
通过当前的计算资源R计算下个时间段内对的各个计算资源的利用率Ruti，当下个时间段内的Ruti中有任意资源的利用率大于85％，则认为该资源属于资源缺乏状态，在下个时间段内进行实例的扩充；当下个时间段内的Ruti中有多个资源利用率小于15％，且不存在资源缺乏状态，则认为资源处于浪费状态，在下个时间段内进行适当的实例减少。
短时间预测要求对下一个时刻的用户请求作出预测，通过预测结果结合当前服务器状态对服务器响应优先级作出动态调整，以减少用户请求到达时才进行计算的时延。
本实施例中的响应优先级p通过以下公式计算：
Figure BDA0004102463000000081
其中，ai为第i种资源的加权系数；
qi为各个资源的配额；
ri为各个资源的利用率；
Q为资源种类。
通过设定的响应优先级对下个到达的请求进行转发，对用户的请求做出响应。
长期预测结果被导入调度模块进行云CPU资源的总体分配，具体包括：
将每个服务的长期预测结果进行滤波，防止频繁的资源变动；
将各个服务的预测结果与实际可用资源进行比对，如果预测结果大于实际可用资源，按比例对计算资源进行分配，防止某个服务出现优先挤占的问题。
本实施例使用CNN来提取多维数据之间的局部特征以及关联性，并使用Transformer模型来提取时间序列数据上的全局特征。基于长时间预测对下个时间段内的资源配置进行动态调整，避免了计算资源不足以及计算资源浪费的情况。基于短期预测对下个时间段内的服务器响应优先级作出预测，有效的减少了用户请求到达时才进行优先级计算产生的时延。
实施例二：
本实施例的一种基于CNN-Transformer的云服务器动态负载优化装置，如图4所示，包括获取模块100、预测模块200和调度模块300。
获取模块100被配置为对于任意一个进程，周期性获取该进程的运行占用资源，包括所占用CPU资源、内存资源、网络带宽资源和存储IO资源。
其中，CPU资源是指设备上与该进程建立绑定关系的各CPU所提供的性能百分比与该CPU所能达到的最大运算频率之乘积的总和；内存资源是指设备上与该进程建立绑定关系的各内存占用空间的总和；网络带宽资源是指设备上与该进程建立绑定关系的各网卡占用带宽的总和；存储IO资源是指设备上与该进程建立绑定关系的各存储设备占用吞吐量的总和。
预测模块200被配置为对于任意一个服务，使用实施一的基于CNN-Transformer的云服务器动态负载优化方法，基于对服务运行占用资源的时序信息对该服务所涉及的运行占用资源进行长期和短期预测。服务由若干进程组成，服务运行占用资源的时序信息由获取模块100获得。
调度模块300被配置为响应于服务的运行状态数据满足负载均衡条件，对CPU、内存、网络带宽和存储IO计算资源进行调度分配。
应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (10)

1.一种基于CNN-Transformer的云服务器动态负载优化方法，其特征在于，包括以下步骤：
S1：根据云服务的计算资源进行历史训练数据收集，将历史训练数据进行归一化处理；
S2：采用滑动窗口将历史数据序列化，构成时间序列的训练数据；
S3：初始化CNN-Transformer模型，利用初始化后的CNN网络对训练数据进行特征提取，并将提取的特征信息送入Transformer网络进行训练；
S4：将服务器数据送入训练好的CNN-Transformer模型中，经过运算后获得长期预测结果和短期预测结果；
S5：通过长期预测结果结合服务器状态对未来一段时间内的云服务资源进行动态调整；根据短期预测结果结合服务器状态，计算服务器的响应优先级来对下一个时刻的客户请求进行分配，完成对云服务的动态负载均衡。
2.根据权利要求1所述的一种基于CNN-Transformer的云服务器动态负载优化方法，其特征在于，所述历史训练数据包括服务器的计算资源，计算资源包括但不限于CPU、内存、网络带宽和存储IO。
3.根据权利要求1或2所述的一种基于CNN-Transformer的云服务器动态负载优化方法，其特征在于，所述的归一化处理过程为：
Figure FDA0004102462990000011
其中，x为收集到的历史数据；
x*为归一化后的数据；
xmin为数据的最小值；
xmax为数据的最大值。
4.根据权利要求1所述的一种基于CNN-Transformer的云服务器动态负载优化方法，其特征在于，所述的CNN-Transformer模型包括卷积神经网络、Transformer网络以及全连接网络层；其中，卷积神经网络通过卷积层对服务器的历史训练数据进行卷积运算提取局部特征；通过池化层对卷积层进行采样；经过Dropout层后将输出的结果作为Transformer网络的输入特征；
Transformer网络包括encoder-decoder框架；Decoder的输出连接全连接网络层，全连接网络层的输出表示下一个时刻用户对于资源的请求。
5.根据权利要求4所述的一种基于CNN-Transformer的云服务器动态负载优化方法，其特征在于，在encoder-decoder框架中，encoder包括文本嵌入层、位置编码层以及若干个编码器；每个编码器层由两个子层连接结构组成：
第一个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接；第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接；
decoder的解码器层由三个子层连接结构组成：
第一个子层连接结构包括一个带掩码的多头自注意力子层和规范化层以及一个残差连接；第二个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接；第三个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接。
6.根据权利要求1或4或5所述的一种基于CNN-Transformer的云服务器动态负载优化方法，其特征在于，CNN-Transformer模型的损失函数为Huber损失函数，公式如下：
Figure FDA0004102462990000021
其中，y为样本的真实值，f(x)为对应样本的预测值，δ为Huber损失参数。
7.根据权利要求1所述的一种基于CNN-Transformer的云服务器动态负载优化方法，其特征在于，长期预测和短期预测的具体过程为：
通过Δt+λ时间段内的用户请求资源信息来对下个Δt+λ时间段内的资源请求作出预测，λ为可调整时间；
下个Δt+λ时间段内对资源需求评价为：
Kall＝Knext+Krest
其中，Knext为下个Δt+λ时间段内的预测请求；
Krest为当前用户对资源的占用；
通过当前的计算资源R计算下个时间段内对的各个计算资源的利用率Ruti，
当下个时间段内的Ruti中有任意资源的利用率大于第一额定阈值，则认为该资源属于资源缺乏状态，在下个时间段内进行扩充；
当下个时间段内的Ruti中存在若干资源利用率小于第二额定阈值，且不存在资源缺乏状态，则认为该资源处于浪费状态，在下个时间段内进行减少。
8.根据权利要求1或7所述的一种基于CNN-Transformer的云服务器动态负载优化方法，其特征在于，响应优先级p通过以下公式计算：
Figure FDA0004102462990000031
其中，ai为第i种资源的加权系数；
qi为各个资源的配额；
ri为各个资源的利用率；
Q为资源种类。
9.一种基于CNN-Transformer的云服务器动态负载优化装置，采用如权利要求1-8中任意一项所述的一种基于CNN-Transformer的云服务器动态负载优化方法，其特征在于，包括：
获取模块，被配置为对于任意一个进程，周期性获取该进程的运行占用资源，包括所占用CPU资源、内存资源、网络带宽资源和存储IO资源；
预测模块，被配置为对于任意一个服务，基于对服务运行占用资源的时序信息对该服务所涉及的运行占用资源进行长期和短期预测；
调度模块，被配置为响应于服务的运行状态数据满足负载均衡条件，对CPU、内存、网络带宽和存储IO计算资源进行调度分配。
10.如权利要求9所述的一种基于CNN-Transformer的云服务器动态负载优化装置，其特征在于，所述的CPU资源是指设备上与该进程建立绑定关系的各CPU所提供的性能百分比与该CPU所能达到的最大运算频率之乘积的总和；所述的内存资源是指设备上与该进程建立绑定关系的各内存占用空间的总和；所述的网络带宽资源是指设备上与该进程建立绑定关系的各网卡占用带宽的总和；所述的存储IO资源是指设备上与该进程建立绑定关系的各存储设备占用吞吐量的总和。
CN202310181380.2A 2023-02-21 2023-02-21 一种基于CNN-Transformer的云服务器动态负载优化方法及装置 Pending CN116302509A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310181380.2A CN116302509A (zh) 2023-02-21 2023-02-21 一种基于CNN-Transformer的云服务器动态负载优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310181380.2A CN116302509A (zh) 2023-02-21 2023-02-21 一种基于CNN-Transformer的云服务器动态负载优化方法及装置

Publications (1)

Publication Number Publication Date
CN116302509A true CN116302509A (zh) 2023-06-23

Family

ID=86791777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310181380.2A Pending CN116302509A (zh) 2023-02-21 2023-02-21 一种基于CNN-Transformer的云服务器动态负载优化方法及装置

Country Status (1)

Country Link
CN (1) CN116302509A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117290099A (zh) * 2023-09-22 2023-12-26 深圳市金证科技股份有限公司 一种云平台的计算资源调整方法及装置
CN117331677A (zh) * 2023-12-01 2024-01-02 深圳市芯科云科技有限公司 基于任务负载监控的双芯片自由控制方法及系统
CN117608863A (zh) * 2024-01-23 2024-02-27 聊城市洛溪信息科技有限公司 基于智能资源分配的云计算任务跟踪处理方法及系统
CN117666963A (zh) * 2023-12-13 2024-03-08 湖南承希科技有限公司 一种cpu云计算平台的数据io加速方法
CN117768469A (zh) * 2024-02-22 2024-03-26 广州宇中网络科技有限公司 一种基于大数据的云服务管理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945548A (zh) * 2014-04-29 2014-07-23 西安电子科技大学 一种c-ran网络中的资源分配系统及任务/业务调度方法
CN104253865A (zh) * 2014-09-18 2014-12-31 华南理工大学 一种混合型桌面云服务平台的两级管理方法
CN109032800A (zh) * 2018-07-26 2018-12-18 郑州云海信息技术有限公司 一种负载均衡调度方法、负载均衡器、服务器及系统
CN113064700A (zh) * 2021-04-30 2021-07-02 中国工商银行股份有限公司 容器部署方法及装置
CN114611792A (zh) * 2022-03-11 2022-06-10 南通大学 一种基于混合CNN-Transformer模型的大气臭氧浓度预测方法
CN115242797A (zh) * 2022-06-17 2022-10-25 西北大学 一种面向微服务架构的客户端负载均衡方法及系统
US20220413943A1 (en) * 2021-06-23 2022-12-29 Intel Corporation Apparatus, articles of manufacture, and methods for managing processing units

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945548A (zh) * 2014-04-29 2014-07-23 西安电子科技大学 一种c-ran网络中的资源分配系统及任务/业务调度方法
CN104253865A (zh) * 2014-09-18 2014-12-31 华南理工大学 一种混合型桌面云服务平台的两级管理方法
CN109032800A (zh) * 2018-07-26 2018-12-18 郑州云海信息技术有限公司 一种负载均衡调度方法、负载均衡器、服务器及系统
CN113064700A (zh) * 2021-04-30 2021-07-02 中国工商银行股份有限公司 容器部署方法及装置
US20220413943A1 (en) * 2021-06-23 2022-12-29 Intel Corporation Apparatus, articles of manufacture, and methods for managing processing units
CN114611792A (zh) * 2022-03-11 2022-06-10 南通大学 一种基于混合CNN-Transformer模型的大气臭氧浓度预测方法
CN115242797A (zh) * 2022-06-17 2022-10-25 西北大学 一种面向微服务架构的客户端负载均衡方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
琚心怡;: "基于深层双向Transformer编码器的早期谣言检测", 信息通信, no. 05 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117290099A (zh) * 2023-09-22 2023-12-26 深圳市金证科技股份有限公司 一种云平台的计算资源调整方法及装置
CN117290099B (zh) * 2023-09-22 2024-05-31 深圳市金证科技股份有限公司 一种云平台的计算资源调整方法及装置
CN117331677A (zh) * 2023-12-01 2024-01-02 深圳市芯科云科技有限公司 基于任务负载监控的双芯片自由控制方法及系统
CN117331677B (zh) * 2023-12-01 2024-02-23 深圳市芯科云科技有限公司 基于任务负载监控的双芯片自由控制方法及系统
CN117666963A (zh) * 2023-12-13 2024-03-08 湖南承希科技有限公司 一种cpu云计算平台的数据io加速方法
CN117608863A (zh) * 2024-01-23 2024-02-27 聊城市洛溪信息科技有限公司 基于智能资源分配的云计算任务跟踪处理方法及系统
CN117608863B (zh) * 2024-01-23 2024-04-23 聊城市洛溪信息科技有限公司 基于智能资源分配的云计算任务跟踪处理方法及系统
CN117768469A (zh) * 2024-02-22 2024-03-26 广州宇中网络科技有限公司 一种基于大数据的云服务管理方法及系统
CN117768469B (zh) * 2024-02-22 2024-06-07 广州宇中网络科技有限公司 一种基于大数据的云服务管理方法及系统

Similar Documents

Publication Publication Date Title
CN116302509A (zh) 一种基于CNN-Transformer的云服务器动态负载优化方法及装置
CN113242568B (zh) 一种不确定网络环境中的任务卸载和资源分配方法
CN113515351B (zh) 一种基于能耗与QoS协同优化的资源调度实现方法
CN111163143B (zh) 一种面向移动边缘计算的低时延任务卸载方法
CN108415777A (zh) 一种基于聚类特征提取的云计算集群任务负载预测方法
CN113286329B (zh) 基于移动边缘计算的通信和计算资源联合优化方法
CN106775949B (zh) 感知复合应用特征与网络带宽的虚拟机在线迁移优化方法
CN112087504A (zh) 一种基于工作负载特性的动态负载均衡的方法及装置
CN115878227B (zh) 一种基于人群分类的边缘计算任务卸载方法
CN114885388B (zh) 联合rss预测的多业务类型自适应切换判决方法
CN116886619A (zh) 一种基于线性回归算法的负载均衡方法及装置
CN114064261A (zh) 基于工业边缘计算系统的多维异构资源量化方法及装置
CN114741200A (zh) 面向数据中台的计算资源分配方法、装置及电子设备
CN113676357A (zh) 面向电力物联网中边缘数据处理的决策方法及其应用
CN116483585B (zh) 一种基于边缘计算的多服务预部署方法
CN116760722A (zh) 一种存储辅助mec任务卸载系统及资源调度方法
CN112084034A (zh) 一种基于边缘平台层调节系数的mct调度方法
CN115858155A (zh) 一种算力网络平台的应用资源动态扩缩容方法及装置
CN117076882A (zh) 一种云服务资源动态预测管理方法
CN111580943A (zh) 一种面向低时延边缘计算中多跳卸载的任务调度方法
CN116302578A (zh) 一种QoS约束的流应用延迟确保方法及系统
CN115577805A (zh) 数据训练的资源动态协同方法和系统
CN116109058A (zh) 一种基于深度强化学习的变电站巡视管理方法和装置
Lili et al. A Markov chain based resource prediction in computational grid
CN111539863A (zh) 一种基于多源任务线的智能城市运行的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination