CN109445903B - 基于QoS特征发现的云计算节能调度实现方法 - Google Patents

基于QoS特征发现的云计算节能调度实现方法 Download PDF

Info

Publication number
CN109445903B
CN109445903B CN201811063205.9A CN201811063205A CN109445903B CN 109445903 B CN109445903 B CN 109445903B CN 201811063205 A CN201811063205 A CN 201811063205A CN 109445903 B CN109445903 B CN 109445903B
Authority
CN
China
Prior art keywords
qos
scheduling
data center
cloud computing
automatic encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811063205.9A
Other languages
English (en)
Other versions
CN109445903A (zh
Inventor
刘发贵
王彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201811063205.9A priority Critical patent/CN109445903B/zh
Publication of CN109445903A publication Critical patent/CN109445903A/zh
Application granted granted Critical
Publication of CN109445903B publication Critical patent/CN109445903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于QoS特征发现的云计算节能调度实现方法。本发明通过堆叠降噪自动编码器对数据中心负载日志信息的QoS特征进行重构，得到与QoS特征强相关的特征向量；并通过有监督学习的分类器对输入信息的特征状态进行相似度比对，在调度评估机中筛选出与QoS优化呈正相关关系的主机队列，并在虚拟机调度模块中进行资源的迁移整合等操作，最后连接监督学习等分类器计算损失函数。本发明专注于对数据中心中网络流量历史数据以及各物理机负载信息进行分析，并挖掘出与QoS指标关联度较高的特征进行资源的迁移调度工作，最终达到保障数据中心的服务质量并且降低其能耗的目标。

Description

基于QoS特征发现的云计算节能调度实现方法
技术领域
本发明属于云计算节能调度领域，具体涉及基于QoS特征发现的云计算节能调度实现方法。
背景技术
随着云计算技术的日益普及以及数据密集型服务的激增，各国组织及众多IT公司都在促进数据中心的建设工作。数据中心的建立能够更好地为企业和公众提供可以随时访问共享的可配置系统资源池甚至更高级别的服务，并通过互联网以最少的管理成本快速供应给用户使用。而由于数据中心数量与规模的激增，大量的电力消耗和能源消耗已经成为各国面临的一大严峻挑战。据统计显示，目前数据中心的耗电量大约占据了全球发电量的3％，并占温室气体排放量的2％，这相当于全球整个航空业的碳排放量。事实上,全球数据中心在2017年消耗的500TWh电量已经大于法国的整体电量消耗(450TWh)。显然，对数据中心进行节能优化对于云服务提供商而言具有重大的意义，并且还将为环境可持续性发展做出重大的贡献。
从用户端来看，云服务提供商提供的服务水平协议(SLA)通常是用户满意度的关键因素之一，SLA通常指定了与性能相关的服务质量(QoS)属性，如响应时间和可用性等；而对于云服务提供商而言，应该在保障用户服务质量的前提下尽可能地减少数据中心的能耗开销，以降低运营的成本。因此，在数据中心提供高质量和低成本的云服务之间存在着两个挑战。首先服务提供商必须要确保满足严格的QoS标准，该QoS代表着用户与服务之间的服务性能。其次，为了降低运营成本必须将数据中心的能耗开销控制在一个较低的水平。而云计算系统是由数千个服务器集群组成的大型数据中心，其复杂程度不言而喻，为此需要设计更为合理有效的资源调度模型来保障数据的无障碍传输以及复杂网络的稳定性。
发明内容
为了更加智能有效地在复杂网络环境下提升数据中心的QoS指标并保障其能耗水平，本发明公开了基于QoS特征发现的云计算节能调度实现方法。
本发明的目的至少通过如下技术方案之一实现。
基于QoS特征发现的云计算节能调度实现方法，其将云计算的节能流程抽象为QoS特征重构、特征状态比对、调度评估和虚拟机调度四个模块；该方法包括以下步骤：步骤(1)通过堆叠降噪自动编码器对数据中心负载日志信息的QoS特征进行重构；
步骤(2)通过多PM(物理机,Power Machine)协同的增强学习方法对输入信息的特征状态进行相似度比对；
步骤(3)在调度评估机中筛选出与QoS优化呈正相关关系的主机队列，在虚拟机调度模块中进行资源的迁移整合操作。
进一步地，骤(1)中所述的堆叠降噪自动编码器是指对普通自动编码器结构的网络进行堆叠与加噪的处理，加噪的过程是对自动编码器网络中的输入层信息添加泊松噪声，通过泊松噪声增强自动编码器模型的鲁棒性，提升其学习特征的能力。
进一步地，添加的泊松噪声具体是指符合泊松分布的噪声模型，是一个在当前云环境中以泊松分布进行建模，描述数据中心的服务器在设定时间内收到的云任务请求数量概率分布的噪声模型。
进一步地，所述堆叠的处理是指将当前自动编码器结构的输出编码连接到给下一层的输入层之中，因为单层自动编码器结构中的输出层一般不具备实质的意义，本发明更关心的只是输入层到隐藏层的编码变换，通过该种方式将上述自动编码器连接在一起称之为堆叠处理，获得新的特征表达。
进一步地，步骤(1)中所述的QoS特征重构指的具体是利用堆叠降噪自动编码器对数据中心的负载日志信息中的QoS特征进行新的提取、构建工作；负载日志信息中的初始QoS特征将作为堆叠降噪自动编码器输入层的输入，通过编码层处理之后将会得到降维后的QoS指标强相关特征向量。
进一步地，步骤(2)中所述的多PM协同的增强学习方法具体指的是基于Q-learning的数据中心资源动态调度算法，该算法在多PM的环境下通过对增强学习模型中的Q函数进行改进，将Q函数定义为阶段的奖励值，当且仅当每个节点的策略是均衡点时，整个模型处于均衡状态。
进一步地，步骤(3)中所述的筛选出与QoS优化呈正相关关系的主机队列具体指的是在步骤(2)的基础上对各节点观测资源利用率的变化、取得的QoS值的奖励以及其余节点的决策这三个观测值；根据这三个观测值，对处于调度动作的主机队列进行优先级排序，从优先级队列中筛选出最先进行迁入迁出动作的主机，并进行虚拟资源的整合，从而提升数据中心工作时的QoS保障质量与整体能效。
与现有技术相比，本发明具有如下优点和技术效果：
本发明通过堆叠降噪自动编码器对数据中心负载日志信息的QoS特征进行重构，并通过多PM协同的增强学习方法对输入信息的特征状态进行相似度比对，在调度评估机中筛选出与QoS优化呈正相关关系的主机队列，并在虚拟机调度模块中进行资源的迁移整合等操作。本发明专注于对数据中心中网络流量历史数据以及各物理机负载信息进行分析，并挖掘出与QoS指标关联度较高的特征进行资源的迁移调度工作，最终达到保障数据中心的服务质量并且降低其能耗的目标。
附图说明
图1为数据中心云计算节能调度实现方法模块流程图。
图2为数据中心能耗组成框架图。
图3为数据中心降噪自动编码器的框架图。
图4为数据中心堆叠降噪自动编码器的QoS特征重构实验结果图。
图5为数据中心使用SDAQ方法的数据中心能耗与QoS指标实验结果对比图。
具体实施方式
为了使本发明的技术方案及优点更加清楚明白，以下结合附图，进行进一步的详细说明，但本发明的实施和保护不限于此，需指出的是，以下内容和附图若有未特别详细说明之过程或符号(字母)，均是本领域技术人员可参照现有技术实现或理解的。
图1是本实例中基于QoS特征发现的云计算节能调度实现方法的模块流程图，其将云计算的节能流程抽象为QoS特征重构、特征状态比对、调度评估和虚拟机调度四个模块。
图2是本实例中数据中心(Data center)能耗组成框架图，主要分为计算机技术能耗(PowertoIT)与非计算机技术能耗(Power to non-IT)两部分。其中IT能耗(ITEquipment)是本发明节能调度方法的核心优化目标。下面将对非IT能耗与IT能耗进行阐述。
非IT能耗主要由数据中心的基础设施(InfrastructureFacilities)产生的能耗组成，分别为：
1)照明系统(Lighting)：主要指照明电源及配电箱的能源消耗。在电子信息系统机房设计规范中对数据中心的照明要求有着规范的定义，对于数据中心主机房及辅助区等不同区域的照明有着不同的要求。
2)冷却系统(CoolingSystem)：主要是指为了保证数据中心内的服务器等IT基础设施能够保持正常运行而需要的冷却量。主要通过电制冷设备来为IT设备进行降温冷却，此处将需要大量的电能供给与消耗。
3)电源功率调节与转换(Power Conditioning,Power Conversion)：主要指数据中心AC转DC电源的转换开销与损耗。
4)不间断电源(UPS，Uninterruptible Power Supply)：主要指UPS备用电源的能耗开销。UPS电源能保证数据中心的设备能够在市电出问题的情况下仍能维持正常的工作。
5)开关装置(SwitchGear)：主要指机柜与配电箱等开关装置切换启动时的能耗开销。
IT能耗主要由数据中心服务器(Servers)的功耗、数据、网络传输(Networks)的能耗开销以及存储系统(Storage)的能耗开销组成。其中服务器的开销也是本节能调度方法的核心优化目标。
本实例中面向数据中心的堆叠降噪自动编码器的实现过程如下。
降噪自动编码器在编码-解码(Encoder-Decoder)的过程中实现了对数据中心负载日志信息中QoS特征的提取(如图3所示)，(I1,I2,I3,…,It)为输入特征信息，(x1,x2,x3,…,xt)为输入层信息，bx为网络的偏置；
Figure BDA0001797646480000041
为隐藏层编码后的向量，
Figure BDA0001797646480000042
为网络的偏置；
Figure BDA0001797646480000043
为输出层重构后的信息，
Figure BDA0001797646480000044
为重构后的特征。它解决了负载信息特征输入向量维度过高的问题，能大幅减少后续特征向量计算的时间开销。通过添加泊松噪声增强编码器的鲁棒性、重构误差控制的方法来保证降维后的特征向量能够反映原始负载日志信息输入向量的主要特征。
堆叠自动编码器使用负载日志中的特征向量信息作为输入层信息,，并在编码层通过激活函数的作用在隐藏层得到编码后的向量y，最后在解码器的作用下,在输出层得到重构的向量z，如下所示：
y＝fθ(x)＝s(Wx+b)
z＝gθ(y)＝s(W′y+b′)
fθ(x)与gθ(y)分别为编码结果y与重构结果z的函数表达式，其中上式中s为非线性函
数,θ＝{W,b}为编码层参数，θ′＝{W′,b′}为解码层参数。W为权重矩阵,W′是W的转置,即W′＝WT，b和b′是网络的偏置值。
为使降维后的输出向量z能够最大程度反映出原始输入向量x的主要QoS特征,因此需要优化最小化编码器重构带来的误差E,从而得到最优参数θ*和θ′,如下所示：
Figure BDA0001797646480000045
堆叠降噪自动编码器是在堆叠自动编码器基础上做的改进，本发明通过对负载日志原始输入向量中添加泊松噪声，使得编码器能够学习到更为鲁棒的特征。泊松噪声是一种符合泊松分布的噪声模型，泊松分布适合描述在单位时间内随机事件发生的次数的概率分布。而在数据中心资源调度的环境中，服务器在一定时间内收到的服务请求次数与云任务到达的次数顺序具有一定的不确定性，这种不确定性造成了负载日志中任务类别倾向信息以及QoS等特征信息的遮盖，因此对输入层信息添加泊松噪声，可以使得堆叠降噪自动编码器更健壮。
除了常规的编码阶段和解码阶段外，堆叠降噪自动编码器在编码之前先对数据信息进行随机的损坏处理，而损坏处理的主要功能就是向原始输入数据中加入噪声或随机的将输入数据中某些维度上的数据值置0。具体的损坏处理过程如下所示：
Xc＝random(size,corruptedlevel)·X
其中random()产生于X具有相同大小的矩阵，且该矩阵以概率corruptedlevel取值为0，以概率1-corruptedlevel取值为1。获得损坏处理过的数据之后，降噪自动编码器在损坏处理过的数据上执行编码阶段和解码阶段。解码阶段的形式不变，在计算损失函数的时候，仍然是比较编码器的输出与原始数据之间的差异，即损失函数的形式也没有发生变化。
数据中心云任务调度中的泊松噪声的确定过程如下。
堆叠降噪自动编码器本身的目的并不是为了降噪，而是使用这种技术来学习到鲁棒性更好的特征，即从数据中提取出更有用的特征来表示数据。降噪稀疏自动编码器是具有单个隐层的人工神经网络，可以作为堆叠降噪稀疏自动编码器的基本构件来构建多层的人工神经网络。如图2所示，使用反向传播算法来一次性训练多层神经网络都很难得到理想的训练效果。堆叠降噪自动编码器的两点主要不同在于，一是在每一层的训练之前都要添加泊松噪声处理，二是使用加入稀疏性约束的损失函数来计算损失值进而优化参数。堆叠自动编码器具有深度网络强大的表达能力。而且，堆叠自动编码器可以捕获关于输入数据的层次化的特征或者部分整体的分解特征。自动编码器中的更高层则可以学习到更高阶的特征。
泊松噪声即为符合泊松分布的噪声模型，泊松分布一般用于描述单位时间内随机事件发生次数的概率分布情况。在当前云环境中，泊松分布适用于描述数据中心的服务器在一定时间内收到的云任务请求的次数。
在一个云计算平台中，在很短的时间段Δt内，假设一个新的云任务到达的概率为λΔt，λ为一常量。如果Δt足够小，在Δt时间内到达两个或者两个以上的任务的概率可忽略不计。
假设将调度周期间隙(t,2t]分割为n个子时间片，每个子时间片长度为t/n。进一步假设在给定的时间片内任务的到达与其他时间片内的任务到达是彼此独立的。那么当n足够大时，试验成功的概率为p＝λt/n。由此可知，在n个大小为t/n的时间段内有k个任务到达的概率约为：
Figure BDA0001797646480000051
其中b为求得的概率值，k代表云任务的数量，且k∈[0,+∞)。
当且仅当
Figure BDA0001797646480000052
非常小时，每个子时间片内到达的云任务个数超过1的概率才可以忽略，此时上述假设才是合理的。故对上述公式取n的极限值，令n→∞，可得：
Figure BDA0001797646480000061
泊松噪声的概率分布模型f(k；α)，如下公式所示：
Figure BDA0001797646480000062
其中α＝λt，k为云任务数量，e为自然常数。
本实例中基于Q-learning的数据中心资源动态调度算法的实现过程如下。
现实环境中面临的均为多PM环境下的资源动态调度问题。传统的单PM环境Q-learning算法通常采用贪婪策略，该策略仅考虑了节点自身的决策，并没有考虑其它节点对数据中心状态的制约与影响。而在多PM的环境时，由于各个节点间互相牵制的关系，贪婪策略已经无法满足环境的要求。在此我们对强化学习的Q函数进行了改进，通过设计合理的Q函数来使数据中心的资源分布达到更优的状态。其中，强化学习Q-learning算法函数的学习规则公式定义如下所示：
Figure BDA0001797646480000063
其中Q(st,at)代表在时刻t旧的Q值,st为t时刻的状态，at为t时刻所采取的动作，δ为常量。βt代表调度间隙t的学习速率,且βt∈(0,1)。βt越小，Q值的更新就越慢；βt越大，Q值的更新就越快。[r+δmaxa′Q(s′t+a′t)-Q(st,at)]是通过Bellman最优性方程学习到的新的Q值。
通过上述学习规则学习到新的Q值之后，通过该Q值可以计算得到最优的选择策略。由于在资源调度的初始阶段，也就是Q-Table中每个Q值都为0时，Q学习策略没有任何的历史经验可以利用。在此需要面对探索/利用两种决策之间的权衡。在此使用ε-greedy策略进行动作的选取：
1)设定一个探索速率ε，初始化为1。将ε设为随机采用的步长。在初始阶段探索速率会处于最大值，因为Q-table内的值是未知的。较大的ε意味着，学习策略会随机选择动作(Action)进行大量的探索。
2)随机生成一个算子σ。如果σ>ε，则我们将会执行利用决策；如果σ≤ε，则我们将会继续执行探索决策。
3)在t时刻选取动作at执行，并根据输出的状态st和奖励r对Q函数Q(st,at)进行更新
在数据中心资源调度周期中，各个物理节点资源使用状态将会被汇总，由此可得资源利用状态向量s，以及各个节点的接受云任务到来的资源利用率预测值P。之后，数据中心中的物理节点会根据Q值和各PM的资源利用率预测P，计算在状态st下各PM需要调度的概率P(st,at)。最终调度算法会根据调度概率P(st,at)选择一个PM执行虚拟机迁移调度操作。
虚拟机迁移调度动作执行完成后，算法需要统计资源利用率变化值、QoS的奖励值等指标对Q值进行更新。探索速率ε被初始化为1，随着Q学习算法的推进，旧的Q值所占权重比会逐渐升高，整个Q学习算法会逐渐趋近于收敛。
实施例
本实例使用了Google trace的数据集用于模拟能效管理系统培训的工作量。这些数据由Google发布，在29天的时间内提供了来自超过12,500台机器的集群级监控数据。由于整个集群在系统类型和容量方面都是异构的，因此本实例决定选择由6732台机器组成的最大均匀集进行实验。值得注意的是，跟踪机器的容量由Google规范化。由于超大尺寸的Google跟踪(超过39GB的压缩数据)，我们选择上述均匀子集的一些随机部分进行实验。每个部分由24小时的记录组成。该部分的总大小超过2.26GB。为了便于介绍，将测量的最大长度缩放到1个小时。本实例也使用这个持续时间作为监视窗口的长度。
图4是使用堆叠降噪自动编码器对原始输入数据进行重构之后的结果。图中的点代表着原始输入数据中存在的噪声值，从图中可以看出，使用堆叠降噪自动编码器对输入数据进行降噪降维处理后，仍然能够保留原始数据中重要特征的信息，而无噪声的方法将会在特征预处理模块学习到较多的噪声，对后续的调度结果的性能带来较大的干扰。与此同时，使用堆叠降噪自动编码器方法还将输入数据的维度压缩到一个较低的水平，使得计算量大大降低。
图5为使用改进后的Q-learning算法与其余几种算法在运行四种不同的数据集的实验结果。从服务水平协议违反率(SLAV)的指标上来看，我们提出的堆叠降噪Q学习(SDAQ)算法的SLA违反率最低，相比优化后的灰色模型调度方法(OGM(1,1))提升了约5％，比最小迁移(MM-IQR)算法提升了10％，在自回归移动平均-冈波茨(ARIMA-Gompertz)方法基础上提升了约1-1.5％；总耗时(Time)处于中等水平；但从能耗(Energy)的指标上来看，比ARIMA-Gompertz方法减少了整个平台约18％的能耗。并且SDAQ算法大幅降低了资源调度过程虚拟机的总迁移(Migration)次数。本方法采用了动态变化的学习速率。在学习初始阶段，调度的选择更注重未知策略的探索；当经过充分的训练后，调度的选择更依赖既有的经验，相比现有算法实验结果更稳定，QoS及能耗优化效果都能得到更好的保障。

Claims (4)

1.基于QoS特征发现的云计算节能调度实现方法，其特点在于将云计算的节能流程抽象为QoS特征重构、特征状态比对、调度评估和虚拟机调度四个模块；该方法包括以下步骤：
步骤(1)通过堆叠降噪自动编码器对数据中心负载日志信息的QoS特征进行重构；所述的堆叠降噪自动编码器是指对普通自动编码器结构的网络进行堆叠与加噪的处理，加噪的过程是对自动编码器网络中的输入层信息添加泊松噪声，通过泊松噪声增强自动编码器模型的鲁棒性，提升其学习特征的能力；添加的泊松噪声具体是指符合泊松分布的噪声模型，是一个在当前云环境中以泊松分布进行建模，描述数据中心的服务器在设定时间内收到的云任务请求数量概率分布的噪声模型；
步骤(2)通过多PM协同的增强学习方法对输入信息的特征状态进行相似度比对；
步骤(3)在调度评估机中筛选出与QoS优化呈正相关关系的主机队列，在虚拟机调度模块中进行资源的迁移整合操作，所述的筛选出与QoS优化呈正相关关系的主机队列具体指的是在步骤(2)的基础上对各节点观测资源利用率的变化、取得的QoS值的奖励以及其余节点的决策这三个观测值；根据这三个观测值，对处于调度动作的主机队列进行优先级排序，从优先级队列中筛选出最先进行迁入迁出动作的主机，并进行虚拟资源的整合，从而提升数据中心工作时的QoS保障质量与整体能效。
2.根据权利要求1所述的基于QoS特征发现的云计算节能调度实现方法，其特征在于所述堆叠的处理是指将当前自动编码器结构的输出编码连接到给下一层的输入层之中，通过该种方式将上述自动编码器连接在一起称之为堆叠处理，获得新的特征表达。
3.根据权利要求1所述的基于QoS特征发现的云计算节能调度实现方法，其特征在于步骤(1)中所述的QoS特征重构指的具体是利用堆叠降噪自动编码器对数据中心的负载日志信息中的QoS特征进行新的提取、构建工作；负载日志信息中的初始QoS特征将作为堆叠降噪自动编码器输入层的输入，通过编码层处理之后将会得到降维后的QoS指标强相关特征向量。
4.根据权利要求1所述的基于QoS特征发现的云计算节能调度实现方法，其特征在于步骤(2)中所述的多PM协同的增强学习方法具体指的是基于Q-learning的数据中心资源动态调度算法，该算法在多PM的环境下通过对增强学习模型中的Q函数进行改进，将Q函数定义为阶段的奖励值，当且仅当每个节点的策略是均衡点时，整个模型处于均衡状态。
CN201811063205.9A 2018-09-12 2018-09-12 基于QoS特征发现的云计算节能调度实现方法 Active CN109445903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811063205.9A CN109445903B (zh) 2018-09-12 2018-09-12 基于QoS特征发现的云计算节能调度实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811063205.9A CN109445903B (zh) 2018-09-12 2018-09-12 基于QoS特征发现的云计算节能调度实现方法

Publications (2)

Publication Number Publication Date
CN109445903A CN109445903A (zh) 2019-03-08
CN109445903B true CN109445903B (zh) 2022-03-29

Family

ID=65532795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811063205.9A Active CN109445903B (zh) 2018-09-12 2018-09-12 基于QoS特征发现的云计算节能调度实现方法

Country Status (1)

Country Link
CN (1) CN109445903B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308734B (zh) * 2020-10-27 2024-01-05 中国科学院信息工程研究所 It设备非it能耗的计量、费用分摊方法及电子装置
CN113590902B (zh) * 2021-08-13 2022-07-12 郑州大学 基于大数据的恶性血液病个性化的信息支持系统
CN113515351B (zh) * 2021-09-07 2022-03-29 华南理工大学 一种基于能耗与QoS协同优化的资源调度实现方法
CN113722076B (zh) * 2021-10-29 2022-03-29 华南理工大学 基于QoS和能耗协同优化的实时工作流调度方法
CN115331796B (zh) * 2022-10-17 2022-12-27 中科厚立信息技术(成都)有限公司 基于强化学习的病床资源配置优化方法、系统及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103383655A (zh) * 2012-01-13 2013-11-06 埃森哲环球服务有限公司 用于在qos感知云中管理合并的工作负载的性能干扰模型
CN104199736A (zh) * 2014-06-30 2014-12-10 浙江大学苏州工业技术研究院 云环境下的数据中心节能方法
CN106899660A (zh) * 2017-01-26 2017-06-27 华南理工大学 基于滚动灰色预测模型的云数据中心节能调度实现方法
CN107426772A (zh) * 2017-07-04 2017-12-01 北京邮电大学 一种基于q学习的动态竞争窗口调整方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679863B (zh) * 2015-02-28 2018-05-04 武汉烽火众智数字技术有限责任公司 一种基于深度学习的以图搜图方法和系统
US20160378545A1 (en) * 2015-05-10 2016-12-29 Apl Software Inc. Methods and architecture for enhanced computer performance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103383655A (zh) * 2012-01-13 2013-11-06 埃森哲环球服务有限公司 用于在qos感知云中管理合并的工作负载的性能干扰模型
CN104199736A (zh) * 2014-06-30 2014-12-10 浙江大学苏州工业技术研究院 云环境下的数据中心节能方法
CN106899660A (zh) * 2017-01-26 2017-06-27 华南理工大学 基于滚动灰色预测模型的云数据中心节能调度实现方法
CN107426772A (zh) * 2017-07-04 2017-12-01 北京邮电大学 一种基于q学习的动态竞争窗口调整方法、装置及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Extracting and Composing Robust Features with Denoising Autoencoders;Vincent P ,et al.;《Machine Learning, Proceedings of the Twenty-Fifth International Conference (ICML 2008)》;20080609;1-16 *
云数据中心绿色节能需求的虚拟机负载均衡技术研究;彭成磊;《中国博士学位论文全文数据库信息科技辑（月刊）》;20170215(第02期);I137-6 *

Also Published As

Publication number Publication date
CN109445903A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109445903B (zh) 基于QoS特征发现的云计算节能调度实现方法
Masdari et al. A survey and classification of the workload forecasting methods in cloud computing
Askarizade Haghighi et al. An energy-efficient dynamic resource management approach based on clustering and meta-heuristic algorithms in cloud computing IaaS platforms: Energy efficient dynamic cloud resource management
Li et al. Learning-based power prediction for data centre operations via deep neural networks
Xu et al. A novel artificial bee colony approach of live virtual machine migration policy using Bayes theorem
Xu et al. Resource pre-allocation algorithms for low-energy task scheduling of cloud computing
Nagothu et al. Ultra low energy cloud computing using adaptive load prediction
Iturriaga et al. Multiobjective evolutionary algorithms for energy and service level scheduling in a federation of distributed datacenters
Zhou et al. IECL: an intelligent energy consumption model for cloud manufacturing
Shen et al. Host load prediction with bi-directional long short-term memory in cloud computing
Wang et al. Cloud workload analytics for real-time prediction of user request patterns
Saxena et al. Workload forecasting and resource management models based on machine learning for cloud computing environments
Liu et al. Proactive resilient day-ahead unit commitment with cloud computing data centers
Zhang et al. Dependent task offloading with energy‐latency tradeoff in mobile edge computing
Zhan et al. Cell traffic prediction based on convolutional neural network for software‐defined ultra‐dense visible light communication networks
Wang et al. An energy and data locality aware bi-level multiobjective task scheduling model based on mapreduce for cloud computing
Li et al. ECDX: Energy consumption prediction model based on distance correlation and XGBoost for edge data center
Liang et al. Reliability-aware task processing and offloading for data-intensive applications in edge computing
Rasouli et al. Virtual machine placement in cloud systems using learning automata
Loukopoulos et al. A pareto-efficient algorithm for data stream processing at network edges
Wang et al. Enabling energy-efficient and reliable neural network via neuron-level voltage scaling
Kim et al. FedGPO: Heterogeneity-Aware Global Parameter optimization for Efficient Federated Learning
Ren et al. Smig-rl: An evolutionary migration framework for cloud services based on deep reinforcement learning
Arabas Modeling and simulation of hierarchical task allocation system for energy-aware HPC clouds
Yan et al. A stochastic virtual machine placement algorithm for energy-efficient cyber-physical cloud systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant