CN110389820B - 一种基于v-TGRU模型进行资源预测的私有云任务调度方法 - Google Patents

一种基于v-TGRU模型进行资源预测的私有云任务调度方法 Download PDF

Info

Publication number
CN110389820B
CN110389820B CN201910576026.3A CN201910576026A CN110389820B CN 110389820 B CN110389820 B CN 110389820B CN 201910576026 A CN201910576026 A CN 201910576026A CN 110389820 B CN110389820 B CN 110389820B
Authority
CN
China
Prior art keywords
resource
model
matrix
tgru
resource pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910576026.3A
Other languages
English (en)
Other versions
CN110389820A (zh
Inventor
常晓洁
徐锋
王佶
张华�
向艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910576026.3A priority Critical patent/CN110389820B/zh
Publication of CN110389820A publication Critical patent/CN110389820A/zh
Application granted granted Critical
Publication of CN110389820B publication Critical patent/CN110389820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

针对私有云环境中存在的大量异构计算节点以及资源池间频繁调度资源产生的计算成本、网络传输成本等问题,本发明提出了一种基于v‑TGRU模型进行资源预测的私有云任务调度方法,通过统计历史记录以及结合当前工作负载下不同任务的先验资源使用(如CPU,内存等消耗),并根据工作负载特性、主机特征和同一资源池中任务之间的亲和性情况,预测多任务的资源占用,进行多目标任务优化调度,实验结果表明与传统调度算法相比,通过人工智能算法可以以可接受的精度预测系统行为,并且与精确的或近似的调度器组合能够将任务分配给主机,从而在执行任务的收益、服务质量和功耗之间取得平衡。

Description

一种基于v-TGRU模型进行资源预测的私有云任务调度方法
技术领域
本发明涉及私有云资源预测及调度领域,尤其涉及一种基于v-TGRU模型进行资源预测的私有云任务调度方法。
背景技术
云计算是一种通过可配置的网络、存储、服务器、应用软件、服务等计算资源共享池进行计算,按需分配和付费的服务模型。云计算环境下的资源分配和调度是云计算服务中最基础也是最核心的的研究问题之一,随着云计算技术的不断发展和计算机的更新迭代,云环境也越来越复杂,这种情况下的任务调度算法须在机器选择过程中根据机器负载性能或任务应用行为、故障表现、能源效率、亲和性等等因素,确定最优调度方案。而机器学习是根据过去的经验创建模型的能力,因此需要机器学习组件来提高复杂决策的准确性和有效性,以优化调度算法。
人工智能学习算法在预测领域应用以及云计算调度算法研究有很多,Modellingrelational statistics with Bayes Nets、Advances in artificial neural networks,machine learning,and computational intelligence提出了将经典模型,如决策树、支持向量机和神经网络等机器学习算法在云计算等特定的不同场景中的应用,经试验证实具有可行性。Modeling Machine Health Using Gated Recurrent Units with EntityEmbeddings and K-Means Clustering建议使用强化学习算法管理权力和资源分配。这些在云计算资源调度中的应用都是基于单因素进行训练,但在实际调度过程中需要要求许多考虑因素,包括精度、训练时间、参数数量、特性数量和变量之间的关系等。A DynamicConfiguration Model for Power-efficient Virtualized Server Clusters提出了虚拟化服务器集群中电源优化的动态配置方法,并概述了动态管理该方法的算法。GreenCloud:a New Architecture for Green Data Center对虚拟机迁移和虚拟机放置优化进行了研究,以更好地改进虚拟机放置和整合。Ttust-driven and QoS demend clusteringanalysis based cloud workflow scheduling strategies提出了基于信任驱动和Qos需求的工作流聚类分析云资源调度方法。Task scheduling scheme based on clusteringin heterogeneous cloud computing platform提出了云环境下基于分簇的云资源感知任务调度方案。这些方法都为任务调度和云资源聚类提供了有价值的借鉴,但在任务调度的过程中,存在大量闲散未被利用的计算资源,以及任务的反复调度,造成资源浪费。
发明内容
本发为了解决上述问题,在大规模日趋复杂的私有云环境下,提出了一种基于人工智能算法进行模拟训练并推演预测结果的基础下进行私有云资源调度的优化算法,构建私有云平台的智能资源预测及调度算法,建立智能资源预测和资源弹性伸缩的经验应用模型,以降低大规模私有云资源调度的运营成本及调度复杂性反复性。
本发明提出了一种基于v-TGRU模型进行资源预测的私有云任务调度优化方法,采用的技术方案为:通过统计历史记录以及结合当前工作负载下不同任务的先验资源使用(如CPU,内存等消耗),并根据工作负载特性、主机特征和同一资源池中任务之间的亲和性情况,预测多任务的资源占用情况,并根据预测结果结合任务运行现状和要求进行多目标任务优化调度。具体步骤如下:
1.采集时间段T内的应用实例占用资源时间序列数据和资源池性能时间序列数据,得到历史时间段的应用实例占用资源时间序列矩阵X和历史时间段的资源池性能时间序列矩阵Y;
2.对矩阵X和矩阵Y进行标准化处理;
3.用编码器对标准化处理后的矩阵X和矩阵Y进行编码,得到编码后的历史时间段的应用实例占用资源时间序列矩阵X′和历史时间段的资源池性能时间序列矩阵Y′;
4.建立v-TGRU模型,采用步骤3所述的矩阵X′和矩阵Y′分别对v-TGRU模型进行训练,得到应用实例模型和资源池性能模型;
5.采集实时运行的应用实例占用资源时间序列数据和实时运行的资源池性能时间序列数据,根据步骤4所述的应用实例模型和资源池性能模型,得到未来时间段的预测应用实例占用资源时间序列矩阵
Figure GDA0003083777450000021
和未来时间段的预测资源池性能时间序列矩阵
Figure GDA0003083777450000022
6.将步骤5所述的矩阵
Figure GDA0003083777450000023
和矩阵
Figure GDA0003083777450000024
作为调度算法的增量输入进行资源任务调度。
进一步的,所述步骤1具体如下:
以步长t采集时间段T内的n个应用实例占用资源时间序列数据和m个资源池性能时间序列数据,共T/t个采集点,得到历史时间段的应用实例占用资源时间序列矩阵X,X=[x1,...xi,...xp]和历史时间段的资源池性能时间序列矩阵Y,Y=[y1,...yi,...yq],其中xi为第i个占用资源参数向量,yi为第i个资源池性能参数向量,X∈RnT/t×p,Y∈RmT/t×q
进一步的,步骤2所述标准化处理的计算公式如下:
Figure GDA0003083777450000031
其中,rij表示第i个资源池的第j个参数,r′jmin表示第j个参数标准化的最小值,r′jmax表示第j个参数标准化的最大值,
Figure GDA0003083777450000032
表示第j个参数的平均值,Sj表示第j个参数的标准差。
进一步的,所述步骤3具体如下:
采用编码器对标准化后的矩阵X和标准化后的矩阵Y进行编码,得到编码后的历史时间段的应用实例占用资源时间序列矩阵X′,X′=[x′1,...x′i,...x′p]和历史时间段的资源池性能时间序列矩阵Y′,Y′=[y′1,...y′i,...y′q];所述编码器使用tanh激活函数,公式如下:
X′=f(x)=tanh(WXX+bX)
Y′=f(y)=tanh(WYY+bY)
其中,其中,tanh(·)表示双曲正切函数计算,WX、WY表示可训练的权重矩阵,bX、bY表示可训练的偏差矢量。
进一步的,所述步骤4具体如下:
建立v-TGRU模型一,将矩阵X′随机分为训练数据集X′1和预测数据集X′2,使用X′1对v-TGRU模型一进行训练,得到应用实例模型;建立v-TGRU模型二,将矩阵Y′随机分为训练数据集Y′1和预测数据集Y′2,使用Y′1对v-TGRU模型二进行训练,得到资源池性能模型;
所述v-TGRU模型一和v-TGRU模型二均使用SGD梯度下降优化算法更新权重和偏差,权重设计如下:
Figure GDA0003083777450000041
其中wk表示迭代权值,j、k表示随机时间步长参数总量,T表示参数总量;
分别使用X′2和Y′2对应用实例模型和资源池性能模型进行测试,将测试结果与标签数据进行方差和偏差分析,根据测试结果对应用实例模型和资源池性能模型的参数进行迭代优化。
进一步的,所述步骤5具体为:采集实时运行的n个应用实例占用资源时间序列数据和实时运行的m个资源池性能时间序列数据分别作为应用实例模型和资源池性能模型的输入,设定未来时间段
Figure GDA0003083777450000042
和资源需求,得到未来时间段
Figure GDA0003083777450000043
的预测应用实例占用资源时间序列矩阵
Figure GDA0003083777450000044
和未来时间段
Figure GDA0003083777450000045
的预测资源池性能时间序列矩阵
Figure GDA0003083777450000046
本发明与现有技术相比具有如下优点:经实验测试证明此方法通过对大量历史数据的采集、训练、建模、分析,更为精确的预测未来时效内的用用实例占用资源状况、运行状态以及资源池被占用情况,通过结合更准确的预测结果和实时采集到的状态数据进行综合分析调度,更有效地完成了应用实例对资源的预判选择,从而减少了调度时间,避免了应用实例的反复调度次数,节省了云资源的强制占用和反复调度消耗的调度资源及带宽,使应用任务更稳定运行,提升了用户满意度。
附图说明
图1 V-TGRU的结构示意图;
图2私有云平台的分层架构与调度模型示意图;
图3机器学习算法模型示意图;
图4基于机器学习的预测调度算法和系统架构示意图。
具体实施方式
实验硬件环境为华为RH2288V3,CPU规格E5-2680V4*2,56核,内存128GB和384GB,硬盘规格800G[ssd]*12和6T[sata,7200rpm]*12,共96台服务器。本发明基于OpenStack的技术架构,构建私有云平台的智能资源预测及调度算法,建立智能资源预测和资源弹性伸缩的经验应用模型,构建不同场景的智能运维算法和应用模型。
系统前端是私有云管平台的核心,是为开发人员、测试人员、运维人员和IT管理人员提供面向服务交付的云资源自服务管理工具。通过该平台的服务门户和服务目录,用户可以申请用于开发、测试和生产的计算资源和存储资源,构建类生产环境、编译代码、测试代码和部署应用。系统后端采用OpenStack Ocata,主要分为控制节点和存储计算融合节点。控制节点是OpenStack的中枢,新组建的管理端都配置在控制节点上。存储计算融合节点又叫资源节点,主要提供了分布式的计算能力和基于Ceph的存储空间,除了大量的用户数据和信息存放在资源节点外,资源节点也作为缓存,为Glance镜像提供临时存放空间。
本发明建立的v-TGRU模型如图1所示,由于GRU算法存在两个问题:一是需要多个手动经验来预处理网络数据包,二是内存使用率高。因此,在本方法中引入了变量门控递归单元变量w。变量w和变量激活意味着变量w中的权重和激活功能与GRU相同,但v-TGRU中的权重w和激活功能是二值化的。此外,v-TGRU使用编码器进行自动预处理。而编码器是输入数据的压缩,通常比原始输入提供更规整的输入表示,以降低内存占用率,解决GRU算法存在的两个问题。
本发明基于的私有云平台的分层架构与调度模型如图2所示。云平台系统通过执行APP任务为用户提供服务,APP被部署在VM节点中,APP可以看做任务。任务调度就是选择哪个VM节点来执行APP,而执行APP需要特定的资源,通过VM为设定APP所需资源额度,再通过调度来分配资源,以满足用户SLA(Service-Level Agreement,服务等级协议)要求。虚拟机资源分配就是为VM分配PM资源,使需求得到满足,达到QoS(Quality of Service,服务质量)要求或避免故障发生,从而满足用户SLA。可以为VM分配不同资源大小,由不同的QoS,可以实现QoS控制,任务调度问题转化为虚拟机资源分配问题。
本发明涉及的机器学习算法模型如图3所示,根据采集应用实例的负载数据、物理机、虚拟机资源状态数据,并进行编码处理,形成样例标记数据集,通过编程设计的学习算法v-TGRU对采集并编码处理后的数据集进行训练并建立资源占用状态模型,再通过输入实时采集到的样例未标记数据集进行权重迭代和调参,最终输出解码后的预测时间段内数据形成在线未打标签数据集。
整体预测调度算法和系统架构的示意图如图4,主要包括资源预测子系统和资源调度子系统两个系统模块,预测系统和调度系统的算法框架都是基于控制器模块进行匹配调用,其中智能资源预测子系统是接收底层云平台系统和应用实例的负载预测请求,调用智能资源预测处理算法,完成负载预测,并向智能资源调度子系统输出预测结果数据集。资源调度子系统接收底层云平台的调度决策请求,调用资源调度算法资源池的算法进行决策,并将调度结果输出。
下面对本发明的具体实施步骤做进一步阐述和说明。
第一步:以步长t采集时间段T内的n个应用实例占用资源时间序列数据和m个资源池性能时间序列数据,共T/t个采集点,得到历史时间段的应用实例占用资源时间序列矩阵X,X=[x1,...xi,...xp]和历史时间段的资源池性能时间序列矩阵Y,Y=[y1,...yi,...yq],其中xi为第i个占用资源参数向量,yi为第i个资源池性能参数向量,X∈RnT/t×p,Y∈RmT/t×q
第二步:对历史时间段的应用实例占用资源时间序列矩阵X和资源池性能时间序列矩阵Y进行标准化处理,消除量纲对数据的影响,将r′jmin、r′jmax迭代入标准化公式
Figure GDA0003083777450000061
进行优化,所述标准化处理的计算公式如下:
Figure GDA0003083777450000062
其中,rij表示第i个资源池的第j个参数,r′jmin表示第j个参数标准化的最小值,r′jmax表示第j个参数标准化的最大值,
Figure GDA0003083777450000063
表示第j个参数的平均值,Sj表示第j个参数的标准差
第三步:采用编码器对标准化处理后的矩阵X和标准化处理后的矩阵Y进行编码,得到编码后的历史时间段的应用实例占用资源时间序列矩阵X′,X′=[x′1,...x′i,...x′p]和历史时间段的资源池性能时间序列矩阵Y′,Y′=[y′1,...y′i,...y′h];所述编码器使用tanh激活函数,公式如下:
X′=f(x)=tanh(WXX+bX)
Y′=f(y)=tanh(WYY+bY)
其中,其中,tanh(·)表示激活函数,WX表示n×p矩阵,WY表示m×q矩阵,bX表示n×1偏差矢量,bY表示m×1偏差矢量。
第四步:建立v-TGRU模型一,将矩阵X′随机分为训练数据集X′1和预测数据集X′2,使用X′1对v-TGRU模型一进行训练,得到应用实例模型;建立v-TGRU模型二,将矩阵Y′随机分为训练数据集Y′1和预测数据集Y′2,使用Y′1对v-TGRU模型二进行训练,得到资源池性能模型;
所述v-TGRU模型一和v-TGRU模型二均使用SGD梯度下降优化算法更新权重,为了突出中间局部特征的影响,权重设计如下:
Figure GDA0003083777450000071
其中wk表示迭代权值,j、k表示随机时间步长参数总量,T表示参数总量;
分别使用X′2和Y′2对应用实例模型和资源池性能模型进行测试,将测试结果与标签数据进行方差和偏差分析,公式如下;
var(x)=E[(f(x;d)-E(f(x;d))2)]
bias2(x)=(E(f(x;d))-y)
其中var(x)表示矢量x的方差,bias2(x)表示矢量x的偏差,f(x;d)表示矢量x在训练集d上的预测值,E(f(x;d))表示矢量x在训练集d上的期望预测值,y表示矢量x的实际记录值。
第五步:采集实时运行的n个应用实例占用资源时间序列数据和实时运行的m个资源池性能时间序列数据分别作为应用实例模型和资源池性能模型的输入,设定未来时间段
Figure GDA0003083777450000072
和资源需求,得到未来时间段
Figure GDA0003083777450000073
的预测应用实例占用资源时间序列矩阵
Figure GDA0003083777450000074
和未来时间段
Figure GDA0003083777450000075
的预测资源池性能时间序列矩阵
Figure GDA0003083777450000076
第六步:将未来时间段
Figure GDA0003083777450000077
的预测应用实例占用资源时间序列矩阵
Figure GDA0003083777450000078
和未来时间段
Figure GDA0003083777450000079
的预测资源池性能时间序列矩阵
Figure GDA00030837774500000710
作为调度算法的增量输入进行资源任务调度,根据m个资源池的资源总量,可用资源量进行聚类排序,同时根据所有应用任务的时间优先级、资源需求量、应用亲和性进行分类排序,根据分类排序的优先级进行多目标任务调度,最终输出实例Ti调度在资源池Rj上执行:<Ti,Rj,CRjk>,其中Ti表示第i个应用实例,Rj表示第j个资源池,CRjk表示第j个资源池属于第k个私有云资源聚类。
以上所述,仅为本发明的优选实施方式,但本发明的保护范围并不局限于此,对于任何熟悉本技术领域的技术人员来说,在本发明提出的技术范围内,可轻易想到变化或者替代,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种基于v-TGRU模型进行资源预测的私有云任务调度方法,其特征在于包括如下步骤:
(1)采集时间段T内的应用实例占用资源时间序列数据和资源池性能时间序列数据,得到历史时间段的应用实例占用资源时间序列矩阵X和历史时间段的资源池性能时间序列矩阵Y;
(2)对矩阵X和矩阵Y进行标准化处理;
(3)用编码器对标准化处理后的矩阵X和矩阵Y进行编码,得到编码后的历史时间段的应用实例占用资源时间序列矩阵X′和历史时间段的资源池性能时间序列矩阵Y′;
(4)建立v-TGRU模型,采用步骤(3)所述的矩阵X′和矩阵Y′分别对v-TGRU模型进行训练,得到应用实例模型和资源池性能模型;所述步骤(4)具体如下:
建立v-TGRU模型一,将矩阵X′随机分为训练数据集X′1和预测数据集X′2,使用X′1对v-TGRU模型一进行训练,得到应用实例模型;建立v-TGRU模型二,将矩阵Y′随机分为训练数据集Y′1和预测数据集Y′2,使用Y′1对v-TGRU模型二进行训练,得到资源池性能模型;
所述v-TGRU模型一和v-TGRU模型二均使用SGD梯度下降优化算法更新权重和偏差,权重设计如下:
Figure FDA0003083777440000011
其中wk表示迭代权值,j、k表示随机时间步长参数总量,T表示参数总量;
分别使用X′2和Y′2对应用实例模型和资源池性能模型进行测试,将测试结果与标签数据进行方差和偏差分析,根据测试结果对应用实例模型和资源池性能模型的参数进行迭代优化;
(5)采集实时运行的应用实例占用资源时间序列数据和实时运行的资源池性能时间序列数据,根据步骤(4)所述的应用实例模型和资源池性能模型,得到未来时间段的预测应用实例占用资源时间序列矩阵
Figure FDA0003083777440000012
和未来时间段的预测资源池性能时间序列矩阵
Figure FDA0003083777440000013
(6)将步骤(5)所述的矩阵
Figure FDA0003083777440000014
和矩阵
Figure FDA0003083777440000015
作为调度算法的增量输入进行资源任务调度。
2.如权利要求1所述的基于v-TGRU模型进行资源预测的私有云任务调度方法,其特征在于所述步骤(1)具体如下:
以步长t采集时间段T内的n个应用实例占用资源时间序列数据和m个资源池性能时间序列数据,共T/t个采集点,得到历史时间段的应用实例占用资源时间序列矩阵X,X=[x1,…xi,…xp]和历史时间段的资源池性能时间序列矩阵Y,Y=[y1,…yi,…yq],其中xi为第i个占用资源参数向量,yi为第i个资源池性能参数向量,X∈RnT/t×p,Y∈RmT/t×q
3.如权利要求1所述的基于v-TGRU模型进行资源预测的私有云任务调度方法,其特征在于步骤(2)所述标准化处理的计算公式如下:
Figure FDA0003083777440000021
其中,rij表示第i个资源池的第j个参数,r′jmin表示第j个参数标准化的最小值,r′jmax表示第j个参数标准化的最大值,
Figure FDA0003083777440000022
表示第j个参数的平均值,Sj表示第j个参数的标准差。
4.如权利要求1所述的基于v-TGRU模型进行资源预测的私有云任务调度方法,其特征在于所述步骤(3)具体如下:
采用编码器对标准化后的矩阵X和标准化后的矩阵Y进行编码,得到编码后的历史时间段的应用实例占用资源时间序列矩阵X′,X′=[x′1,…x′i,…x′p]和历史时间段的资源池性能时间序列矩阵Y′,Y′=[y′1,…y′i,…y′q];所述编码器使用tanh激活函数,公式如下:
X′=f(x)=tanh(WXX+bX)
Y′=f(y)=tanh(WYY+bY)
其中,其中,tanh(·)表示双曲正切函数计算,WX、WY表示可训练的权重矩阵,bX、bY表示可训练的偏差矢量。
5.如权利要求1所述的基于v-TGRU模型进行资源预测的私有云任务调度方法,其特征在于所述步骤(5)具体为:采集实时运行的n个应用实例占用资源时间序列数据和实时运行的m个资源池性能时间序列数据分别作为应用实例模型和资源池性能模型的输入,设定未来时间段
Figure FDA0003083777440000031
和资源需求,得到未来时间段
Figure FDA0003083777440000032
的预测应用实例占用资源时间序列矩阵
Figure FDA0003083777440000033
和未来时间段
Figure FDA0003083777440000034
的预测资源池性能时间序列矩阵
Figure FDA0003083777440000035
CN201910576026.3A 2019-06-28 2019-06-28 一种基于v-TGRU模型进行资源预测的私有云任务调度方法 Active CN110389820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910576026.3A CN110389820B (zh) 2019-06-28 2019-06-28 一种基于v-TGRU模型进行资源预测的私有云任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910576026.3A CN110389820B (zh) 2019-06-28 2019-06-28 一种基于v-TGRU模型进行资源预测的私有云任务调度方法

Publications (2)

Publication Number Publication Date
CN110389820A CN110389820A (zh) 2019-10-29
CN110389820B true CN110389820B (zh) 2021-09-24

Family

ID=68285976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910576026.3A Active CN110389820B (zh) 2019-06-28 2019-06-28 一种基于v-TGRU模型进行资源预测的私有云任务调度方法

Country Status (1)

Country Link
CN (1) CN110389820B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176830B (zh) * 2019-12-03 2024-04-26 先进新星技术(新加坡)控股有限公司 信息流的分配方法、装置及服务器系统
CN111143059B (zh) * 2019-12-17 2023-10-20 天津大学 改进的Kubernetes资源调度方法
CN111651276B (zh) * 2020-06-04 2024-07-02 杭州海康威视系统技术有限公司 一种调度方法、装置及电子设备
CN112527448A (zh) * 2020-08-31 2021-03-19 中国银联股份有限公司 基于openstack的动态负载调整方法及其系统
CN112561119B (zh) * 2020-10-29 2023-05-30 西安理工大学 一种使用arima-rnn组合模型的云服务器资源性能预测方法
CN112328914B (zh) * 2020-11-06 2024-06-21 辽宁工程技术大学 一种基于时空众包工人行为预测的任务分配方法
CN112559147B (zh) * 2020-12-08 2024-04-19 和美(深圳)信息技术股份有限公司 基于gpu占用资源特点的动态匹配方法、系统和设备
CN113515382B (zh) * 2021-07-22 2024-04-09 中移(杭州)信息技术有限公司 云资源的分配方法、装置、电子设备及存储介质
CN114629959B (zh) * 2022-03-22 2023-11-17 北方工业大学 一种云环境中上下文感知的IoT服务调度策略方法
CN114648258B (zh) * 2022-05-23 2022-08-12 江苏金融租赁股份有限公司 基于融资租赁业务系统的任务调度方法及系统
CN116541154B (zh) * 2023-07-07 2024-05-03 暨南大学 一种面向智慧医疗的个性化应用调度方法和装置
CN117194053B (zh) * 2023-11-06 2024-08-09 北京宏数科技有限公司 一种基于大数据的云管理方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659248B1 (en) * 2016-01-19 2017-05-23 International Business Machines Corporation Machine learning and training a computer-implemented neural network to retrieve semantically equivalent questions using hybrid in-memory representations
CN106126507B (zh) * 2016-06-22 2019-08-09 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统
KR101882906B1 (ko) * 2017-01-17 2018-07-27 경북대학교 산학협력단 복수 문단 텍스트의 추상적 요약문 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
CN108170529A (zh) * 2017-12-26 2018-06-15 北京工业大学 一种基于长短期记忆网络的云数据中心负载预测方法
CN109787855A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 基于马尔可夫链和时间序列模型的服务器负载预测方法及系统

Also Published As

Publication number Publication date
CN110389820A (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
CN110389820B (zh) 一种基于v-TGRU模型进行资源预测的私有云任务调度方法
Abd Elaziz et al. Advanced optimization technique for scheduling IoT tasks in cloud-fog computing environments
Imteaj et al. Federated learning for resource-constrained iot devices: Panoramas and state of the art
TWI620075B (zh) 用於雲端巨量資料運算架構之伺服器及其雲端運算資源最佳化方法
CN106020715B (zh) 存储池容量管理
CN104317658B (zh) 一种基于MapReduce的负载自适应任务调度方法
CN104951425B (zh) 一种基于深度学习的云服务性能自适应动作类型选择方法
CN109324875B (zh) 一种基于强化学习的数据中心服务器功耗管理与优化方法
CN107404523A (zh) 云平台自适应资源调度系统和方法
CN105373432B (zh) 一种基于虚拟资源状态预测的云计算资源调度方法
Yu et al. Integrating clustering and learning for improved workload prediction in the cloud
CN112685153A (zh) 微服务调度方法、装置以及电子设备
CN103593323A (zh) 一种MapReduce任务资源配置参数的机器学习方法
CN106600058A (zh) 一种制造云服务QoS的组合预测方法
US20230145025A1 (en) Modeling cloud inefficiencies using domain-specific templates
CN118069380B (zh) 一种算力资源处理方法
CN109445903A (zh) 基于QoS特征发现的云计算节能调度实现方法
CN108132840A (zh) 一种分布式系统中的资源调度方法及装置
CN109558248A (zh) 一种用于确定面向海洋模式计算的资源分配参数的方法及系统
CN117349026B (zh) 一种用于aigc模型训练的分布式算力调度系统
Yang et al. Design of kubernetes scheduling strategy based on LSTM and grey model
CN117130888A (zh) 基于历史数据和机器学习的服务器自动调优方法及系统
CN111988412A (zh) 一种多租户服务资源需求智能预测系统及方法
CN116962532A (zh) 集群任务调度方法、装置、计算机设备及存储介质
Yu [Retracted] Research on Optimization Strategy of Task Scheduling Software Based on Genetic Algorithm in Cloud Computing Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant