CN115934333A - 基于历史数据感知的云计算资源调度方法及调度系统 - Google Patents
基于历史数据感知的云计算资源调度方法及调度系统 Download PDFInfo
- Publication number
- CN115934333A CN115934333A CN202211596881.9A CN202211596881A CN115934333A CN 115934333 A CN115934333 A CN 115934333A CN 202211596881 A CN202211596881 A CN 202211596881A CN 115934333 A CN115934333 A CN 115934333A
- Authority
- CN
- China
- Prior art keywords
- cloud computing
- resource scheduling
- historical data
- computing resource
- optimal solution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000008447 perception Effects 0.000 title claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 63
- 230000002068 genetic effect Effects 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 14
- 239000002245 particle Substances 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000035772 mutation Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于历史数据感知的云计算资源调度方法及调度系统，调度方法包括：基于云计算控制平台的资源调度相关历史数据，获取预处理相关数据；基于预处理相关数据，对卷积神经网络模型进行训练；基于训练后的卷积神经网络模型，预测云计算资源；按照恰当的粒度对云计算资源进行默认粒度的任务划分，确定云计算资源调度的所有任务及任务数量；基于所有任务，获取遗传算法的最优解；基于遗传算法的最优解，获取最优计算资源调度方案。通过将改进的遗传算法和粒子群算法相结合，加速云计算资源调度方法的收敛过程，同时能够综合全局和局部搜索的优点，即能够缩短了任务调度完成时间，进而提高了云计算资源利用率。
Description
技术领域
本发明涉及云计算技术领域，尤其涉及一种基于历史数据感知的云计算资源调度方法及调度系统。
背景技术
当前互联网规模迅速增长，互联网需要处理的业务量急剧膨胀，单一计算平台已经不能满足人们对于计算服务质量的需求，于是云计算技术应运而生。云计算技术结合了分布式计算等技术的技术优势，其核心在于针对大量密集的算力需要，进行资源的统一调配，实现资源的有效、充分利用。云计算的核心技术是资源调度和管理，故其效率的高低对于云计算的质量有着直接的影响。于是，在云计算技术迅速发展的背景下，如何实现最优的资源调度和管理策略，实现资源的充分利用，是目前亟待解决的问题。
研究云计算资源调度策略的目标，就是寻求一种多约束、多目标优化问题的解决方案，即在一定的约束下，通过使用节点虚拟化手段和有效的资源调度策略，来提高云计算资源的利用率，进而提升云服务提供商的经济效益，最终可以在服务质量、资源分布、用户需求和计费模式等方面，提升服务用户的质量。
目前，已有很多应用广泛的作业调度算法，但是这些资源调度算法在实际应用场景下仍然存在着一些严重缺陷，不能在算力资源需求密集的现状下，满足用户对云计算的服务质量要求。
为了在一定程度上避免目前遇到的不足和缺陷，近年来，国内外专家、学者针对云计算资源调度问题进行了深入研究，并产出了一系列优秀的成果。目前，针对云计算资源调度问题，主流方法主要包括经典算法改进及多种经典算法结合两种研究思路，其部分方法在资源调度方面上具有很大的提升，但是方法的性能没能很好地得到优化，且容易陷入局部最优；或者虽然进行全局搜索但输出结果准确性较差。
因此，有必要开发一种基于历史数据感知的云计算资源调度方法及调度系统，不仅能够缩短任务调度完成时间，又能够提高云计算资源利用率。
发明内容
本发明旨在解决现有技术或相关技术中存在的技术问题之一。
为此本发明提出了一种基于历史数据感知的云计算资源调度方法及调度系统。
有鉴于此，本发明的一方面提出了一种基于历史数据感知的云计算资源调度方法，所述云计算资源调度方法包括以下步骤：
基于云计算控制平台的资源调度相关历史数据，获取预处理相关数据；
基于所述预处理相关数据，对卷积神经网络模型进行训练；
基于训练后的所述卷积神经网络模型，预测云计算资源；
按照恰当的粒度对所述云计算资源进行默认粒度的任务划分，确定所述云计算资源调度的所有任务及任务数量；
基于所述所有任务，获取遗传算法的最优解；
基于遗传算法的所述最优解，获取最优计算资源调度方案。
进一步地，所述预处理相关数据包括：对所述资源调度相关历史数据进行缺失值插样补齐和/或时间戳转换，获取基于所述时间序列的初始云计算资源。
进一步地，利用所述时间序列的所述初始云计算资源对所述卷积神经网络模型进行训练，得到训练后的所述卷积神经网络模型。
进一步地，所述卷积神经网络模型包括三层卷积神经网络层，分别为第一特征提取层、第二特征提取层和第三特层提取层，所述预处理相关数据通过输入模块输入后依次经过所述第一特征提取层、所述第二特征提取层和所述第三特层提取层进行特征提取，最终经过所述第三提取层提取后的特征通过输出模块输出。
进一步地，将所述所有任务输入改进的遗传算法中，获取遗传算法的所述最优解。
进一步地，判断所述最优解是否满足终止条件，如果满足，则将所述最优解作为粒子群算法的初始输入，获取最优计算资源调度方案，否则，重新获取最优解；
其中，所述终止条件包括：完成了预先给定的进化迭代次数、粒子群中的最优个体在连续若干次迭代后没有改进或平均适应度在连续若干次迭代后基本没有改进，以及最优解小于给定的阈值。
进一步地，所述改进的遗传算法包括：
改进的编码方式、改进的适应度函数和改进的算子选择、交叉以及变异方法。
进一步地，所述改进的适应度函数为：。
其中，sum(dk)表示任务分配到第K个物理设备上需要花费的总时间，t表示进化的代数，c,α,β表示需要调整的常数，一般c＝0.5,α＝β＝2；gk表示约束条件，即任务分配到第K个物理设备上需要花费的总时间与约束标准之间的误差。
本发明的又一方面提出了一种基于历史数据感知的云计算资源调度系统，，所述云计算资源调度系统包括：
预处理模块，基于云计算控制平台的资源调度相关历史数据，获取预处理相关数据；
训练模块，基于所述预处理相关数据，对卷积神经网络模型进行训练；
预测模块，基于训练后的所述卷积神经网络模型，预测云计算资源；
任务划分模块，按照恰当的粒度对所述云计算资源进行默认粒度的任务划分，确定所述云计算资源调度的所有任务及任务数量；
最优解模块，基于所述所有任务，获取遗传算法的最优解；
计算资源调度方案模块，基于遗传算法的所述最优解，获取最优计算资源调度方案。
本发明的再一方面提出了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现所述的基于历史数据感知的云计算资源调度方法。
本发明提供的技术方案可以包括以下有益效果：
通过将改进的遗传算法和粒子群算法相结合，加速云计算资源调度方法收敛过程，同时能够综合全局和局部搜索的优点，即能够缩短了任务调度完成时间，进而提高了云计算资源利用率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明的基于历史数据感知的云计算资源调度方法的步骤流程图；
图2a示出了现有技术与本申请云计算资源调度算法的任务完成情况的对比图；
图2b示出了现有方法与本申请方法的种群收敛对比图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
实施例1
图1示出了根据本发明的基于历史数据感知的云计算资源调度方法的步骤流程图。
如图1所示，本实施例提供了一种基于历史数据感知的云计算资源调度方法，该云计算资源调度方法包括以下步骤：
步骤1，基于云计算控制平台的资源调度相关历史数据，获取预处理相关数据；
步骤2，基于预处理相关数据，对卷积神经网络模型进行训练；
步骤3，基于训练后的卷积神经网络模型，预测云计算资源；
步骤4，按照恰当的粒度对云计算资源进行默认粒度的任务划分，确定云计算资源调度的所有任务及任务数量；
步骤5，基于所有任务，获取遗传算法的最优解；
步骤6，基于遗传算法的最优解，获取最优计算资源调度方案。
通过将改进的遗传算法和粒子群算法相结合，加速云计算资源调度方法的收敛过程，同时能够综合全局和局部搜索的优点，减少了盲目搜索的时间，故缩短了方法执行时间，即能够缩短了任务调度完成时间，也就是能够使云计算资源调度方法更快收敛，进而提高了云计算资源利用率。
需要说明的是，步骤1中资源调度相关历史数指的是云计算控制平台接收到的、批次的、与时间相关的资源请求数量、预计所占内存以及预计处理时间的数据，通常从云计算平台相关记录日志或统计数据中获取；步骤3中，基于预处理相关数据，预测下一时刻的资源请求信息(数量、大小等)，为该批次的资源请求，预先分配资源(计算资源)节点(无节点即为资源)，后续的在步骤中，是在已经预先分配资源的基础上，进行分配和调度(由于所需内存不同和运行时间不同，需要一种优化的调度方案；在本实施例中，步骤2和步骤3中，以预处理后的相关数据每前32条数据预测后4条数据，对卷积神经网络模型进行训练(每36条历史数据为一个数据块，其中前32为自变量，后4条为因变量，训练过程即为计算自变量与因变量之间的函数映射关系)，在训练好的卷积神经网络模型中输入历史数据的最后32条数据，以对未来的4云次计算资源需求进行预测；步骤4中，实际请求的计算资源(预测的云计算资源的实际情况)，也就是本发明主要操作分为两步：预测和调度(先预测，提前预支计算资源，最后根据实际请求，进行分配调度)，对任务进行逻辑结构上的划分，并非在物理结构上进行切割，由于云计算资源是分布式的，所以需要将请求的计算资源调度、分配到不同的物理设备上，计算完成后再集成到一起(分布式计算的原理)，即所述的任务划分，即按照请求资源的逻辑，在不影响最终结果的前提下，按照云计算资源利用率最大化的前提下，将逻辑分割的请求资源进行分配调度，其中，恰当的粒度指的是用户偏好相关的划分方式或无其它因素影响的平均划分方式；步骤6中，将对云计算资源任务的粒度进行划分，作为改进的遗传算法的初始输入，算法输出的最优解作为粒子群算法的初始输入，输出为任务被分配到的位置，最终得到最优的资源调度方案。
本申请，基于改进的遗传算法和粒子群算法混合优化算法进行云计算资源调度策略进行研究，结合了目前主流的两种研究策略，集成了两种算法全局搜索和局部搜索的能力，兼顾了云计算资源调度效果和算法性能，解决了目前云计算领域存在的调度效率不高和负载不均衡的问题。
进一步地，预处理相关数据包括：对资源调度相关历史数据进行缺失值插样补齐和/或时间戳转换，获取基于时间序列的初始云计算资源。
其中，对获取的资源调度相关历史数据进行预处理操作，由于历史数据记录、采集过程中，有可能产生缺失，以及具有其特有的时间表示方法，预测是基于时间序列的，所以需要考虑时间戳的正确性，而进行数据对齐(以一天预测一小时，类似需要切割一天的数据附带一小时的数据)，属于本领域的公知常识：对于缺失的数据，拟合其附近的数据之后，可算得该点数据，因为是时间上连续；时间戳转换就是将事件类型的数据转换为时间戳类型(整数，得以连续)。
需要说明的是，该步骤就为了使得数据具有连续性，才能更好地提取历史数据中的变动特征，能更好地实现预测。
进一步地，利用时间序列的初始云计算资源调度历史数据对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型。
其中，时间序列，即数据会随着时间而具有变化的规律，这是固有特征。
进一步地，卷积神经网络模型包括：三层卷积神经网络层，分别为第一特征提取层、第二特征提取层和第三特层提取层，所述预处理相关数据通过输入模块输入后依次经过所述第一特征提取层、所述第二特征提取层和所述第三特层提取层进行特征提取，最终经过第三提取层提取后的特征通过输出模块输出。
需要说明的是，本实施例采用三层结构，输出模块只输出第三层提取的特征，第三层输入的是第二层提取的特征，第二层输入的是第一层提取的特征。其优势在于三层卷积神经网络层结构不深不浅，如果太深容易参数爆炸过拟合，如果太浅特征提取效果不好。
进一步地，将所有任务输入改进的遗传算法中，获取遗传算法的最优解。
需要说明的是，主要改进适应度函数，能够加速本申请云计算资源调度方法的收敛速度，即能够缩短了任务调度完成时间，进而提高了云计算资源利用率。
其中，判断最优解是否满足终止条件，如果满足，则将最优解作为粒子群算法的初始输入，获取最优计算资源调度方案，否则，重新获取最优解；
其中，终止条件包括：完成了预先给定的进化迭代次数、粒子群中的最优个体在连续若干次迭代后没有改进或平均适应度在连续若干次迭代后基本没有改进，以及最优解小于给定的阈值。
进一步地，改进的遗传算法包括：
改进的编码方式、改进的适应度函数和改进的算子选择、交叉以及变异方法。
需要说明的是，综合所有改进的方法，即改进的编码方式、改进的适应度函数和改进的算子选择、交叉以及变异方法，统称为改进的遗传算法。
其中，改进的编码方式将传统的二进制编码改进为实数编码，消除了二进制编码带来的Hamming距离问题，并使遗传算法更加接近问题空间。
需要说明的是，二进制存在着连续函数离散化时的映射误差，不连续，不便于开发针对问题的专门知识的遗传运算算子，传统十进制编码解决了所述问题。
改进的适应度函数相比于传统的适应度函数，引入动态惩罚函数，对于不符合约束条件的个体，给出一个小的适应值，改进的适应度函数公式为：
其中，sum(dk)表示任务分配到第K个物理设备上需要花费的总时间，t表示进化的代数，c,α,β表示需要调整的常数，一般c＝0.5,α＝β＝2；gk表示约束条件，即任务分配到第K个物理设备上需要花费的总时间与约束标准之间的误差。
改进的算子选择为采用比例模型的方法进行算子选择，假设种群大小为N，其中个体i的适应度为fi，其被选择的概率Pi表示为：
需要说明的是，fi为适应度，上面公式(1)求得。改进的算子选择是一种回放式的随机采样方法，基于的是适者生存的思想，相较于其他，具有一定的随机性，与问题空间相符(所需的云计算资源即是时序连续也是随机的(既具备时间连续的特征，也具备随机离散的特点))。
采用算术交叉方式进行算子交叉，交叉操作可以表示为：
式中，i,j＝1,2,3……,[N/2],γ为区间[0,1]上均匀分布的随机数。
需要说明的是，与编码方式对应，因为采用了实数编码，所以可以使用算术交叉方式，α＝γ。
因为本文采用实数编码的方式，故采用非均匀变异算子，假设变异个体为W＝[W1,W2,…Wk,…WL]T，以概率Pm在Wk位置进行变异，变异后的公式为：
式中，Wk的取值变动范围为(Wkmin，Wkmax)，t表示进化代数，α表示在区间(0,1)上均匀分布的随机数，Δ(t,x)表示在区间[0,x]上非均匀分布的随机数，表达式为：
式中，β取值为区间[0,1]内的随机数，T为最大化进化代数。
需要说明的是，公式(5)描述了公式(4)中Δ公式的计算方法，。L是上述变异个体的数量，b表示的是确定非均匀度的参数，通常取2-5，采用非均匀变异算子，能够防止种群在进化的早期停滞，实现种群多样化，在一定程度上提高了算法的收敛。
首先，由于改进了编码，使得建立的云计算资源调度算法更加接近解决的问题空间，基于此引入了与之相关的算子选择、交叉和变异方法；算子选择方法是由于需要考虑问题空间的随机性，所以选择该方法；改进的适应度函数，加入了基于设备物理状态的考虑，即由于物理设备已投入使用的时间等物理因素，会影响理论上的资源调度情况，所以引入了动态惩罚函数，以对不同的物理设备的实际调度情况进行动态调整。
遗传算法的输入是上述预测的结果，遗传算法得到的是经过全局搜索但是效果并不好的解，再输入到粒子群方法中，在已经进行过全局搜索的解，再进行局部搜索，取得局部最优解，即为全局最优解。
实施例2
本实施例提供了一种基于历史数据感知的云计算资源调度系统，该云计算资源调度系统包括：
预处理模块，基于云计算控制平台的资源调度相关历史数据，获取预处理相关数据；
训练模块，基于预处理相关数据，对卷积神经网络模型进行训练；
预测模块，基于训练后的卷积神经网络模型，预测云计算资源；
任务划分模块，按照恰当的粒度对云计算资源进行默认粒度的任务划分，确定云计算资源调度的所有任务及任务数量；
最优解模块，基于所有任务，获取遗传算法的最优解；
计算资源调度方案模块，基于遗传算法的最优解，获取最优计算资源调度方案。
本申请，基于改进的遗传算法和粒子群算法混合优化算法进行云计算资源调度策略进行研究，结合了目前主流的两种研究策略，集成了两种算法全局搜索和局部搜索的能力，兼顾了云计算资源调度效果和算法性能，解决了目前云计算领域存在的调度效率不高和负载不均衡的问题。
实施例3
本实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现实施例1中的基于历史数据感知的云计算资源调度方法。
对比例
图2a示出了现有技术与本申请云计算资源调度算法的任务完成情况的对比图；图2b示出了现有方法与本申请方法的种群收敛对比图。
如图2a和图2b所示，GA代表现有技术，GA-PSO代表本申请的云计算资源调度方法。本申请的运行效率更快，针对大规模任务数量，调度效率更高。其中，图2a能够看出本申请的云计算资源调度方法针对大数据量任务，具有更优的效果；图2b能够看出本申请具有更快的瘦脸效果，也即随着迭代完成，运行时间趋于平缓，表示收敛，但是传统方法时间长，则表明中途的进化方向出现了偏差，导致进化路径变长，最终导致调度效率不高。本发明对比了本发明所提供的混合优化算法与现有技术的其他算法，随着算法迭代次数增加，改进的的算法较快地实现收敛，而传统的遗传算法适应值异常，导致进化方向出现偏差。
综上，改进的混合优化调度算法得到了一种改进的云计算资源调度策略，克服了传统算法的缺点，既缩短了任务调度完成时间，又提高了云计算资源利用率。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能步骤。
最后应当说明的是：以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:本领域技术人员阅读本发明后依然可对发明的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在发明待批的权利要求保护范围之内。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种基于历史数据感知的云计算资源调度方法，其特征在于，所述云计算资源调度方法包括以下步骤：
基于云计算控制平台的资源调度相关历史数据，获取预处理相关数据；
基于所述预处理相关数据，对卷积神经网络模型进行训练；
基于训练后的所述卷积神经网络模型，预测云计算资源；
按照恰当的粒度对所述云计算资源进行默认粒度的任务划分，确定所述云计算资源调度的所有任务及任务数量；
基于所述所有任务，获取遗传算法的最优解；
基于遗传算法的所述最优解，获取最优计算资源调度方案。
2.根据权利要求1所述的基于历史数据感知的云计算资源调度方法，其特征在于，所述预处理相关数据包括：对所述资源调度相关历史数据进行缺失值插样补齐和/或时间戳转换，获取基于时间序列的初始云计算资源。
3.根据权利要求2所述的基于历史数据感知的云计算资源调度方法，其特征在于，利用所述时间序列的所述初始云计算资源对所述卷积神经网络模型进行训练，得到训练后的所述卷积神经网络模型。
4.根据权利要求3所述的基于历史数据感知的云计算资源调度方法，其特征在于，所述卷积神经网络模型包括三层卷积神经网络层，分别为第一特征提取层、第二特征提取层和第三特层提取层，所述预处理相关数据通过输入模块输入后依次经过所述第一特征提取层、所述第二特征提取层和所述第三特层提取层进行特征提取，最终经过所述第三提取层提取后的特征通过输出模块输出。
5.根据权利要求1所述的基于历史数据感知的云计算资源调度方法，其特征在于，将所述所有任务输入改进的遗传算法中，获取遗传算法的所述最优解。
6.根据权利要求5所述的基于历史数据感知的云计算资源调度方法，其特征在于，判断所述最优解是否满足终止条件，如果满足，则将所述最优解作为粒子群算法的初始输入，获取最优计算资源调度方案，否则，重新获取最优解；
其中，所述终止条件包括：完成了预先给定的进化迭代次数、粒子群中的最优个体在连续若干次迭代后没有改进或平均适应度在连续若干次迭代后基本没有改进，以及最优解小于给定的阈值。
7.根据权利要求5所述的基于历史数据感知的云计算资源调度方法，其特征在于，所述改进的遗传算法包括：
改进的编码方式、改进的适应度函数和改进的算子选择、交叉以及变异方法。
8.根据权利要求7所述的基于历史数据感知的云计算资源调度方法，其特征在于，所述改进的适应度函数为：
其中，sum(dk)表示任务分配到第K个物理设备上需要花费的总时间，t表示进化的代数，c,α,β表示需要调整的常数，一般c＝0.5,α＝β＝2；gk表示约束条件，即任务分配到第K个物理设备上需要花费的总时间与约束标准之间的误差。
9.一种基于历史数据感知的云计算资源调度系统，其特征在于，所述云计算资源调度系统包括：
预处理模块，基于云计算控制平台的资源调度相关历史数据，获取预处理相关数据；
训练模块，基于所述预处理相关数据，对卷积神经网络模型进行训练；
预测模块，基于训练后的所述卷积神经网络模型，预测云计算资源；
任务划分模块，按照恰当的粒度对所述云计算资源进行默认粒度的任务划分，确定所述云计算资源调度的所有任务及任务数量；
最优解模块，基于所述所有任务，获取遗传算法的最优解；
计算资源调度方案模块，基于遗传算法的所述最优解，获取最优计算资源调度方案。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于历史数据感知的云计算资源调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211596881.9A CN115934333A (zh) | 2022-12-12 | 2022-12-12 | 基于历史数据感知的云计算资源调度方法及调度系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211596881.9A CN115934333A (zh) | 2022-12-12 | 2022-12-12 | 基于历史数据感知的云计算资源调度方法及调度系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115934333A true CN115934333A (zh) | 2023-04-07 |
Family
ID=86553516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211596881.9A Pending CN115934333A (zh) | 2022-12-12 | 2022-12-12 | 基于历史数据感知的云计算资源调度方法及调度系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115934333A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116820784A (zh) * | 2023-08-30 | 2023-09-29 | 杭州谐云科技有限公司 | 一种面向推理任务QoS的GPU实时调度方法及系统 |
| CN117032936A (zh) * | 2023-09-28 | 2023-11-10 | 之江实验室 | 一种数据调度方法、装置和计算机设备 |
| CN117130790A (zh) * | 2023-10-23 | 2023-11-28 | 云南蓝队云计算有限公司 | 一种云计算资源池动态调度方法 |
| CN117272838A (zh) * | 2023-11-17 | 2023-12-22 | 恒海云技术集团有限公司 | 一种政务大数据平台数据采集优化方法 |
| CN117608809A (zh) * | 2024-01-18 | 2024-02-27 | 中国电子科技集团公司第十五研究所 | 基于梯度提升决策树的多任务计划进度预测系统 |
| CN118396048A (zh) * | 2024-06-28 | 2024-07-26 | 山东海量信息技术研究院 | 分布式训练系统、方法及设备、介质和计算机程序产品 |
-
2022
- 2022-12-12 CN CN202211596881.9A patent/CN115934333A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116820784A (zh) * | 2023-08-30 | 2023-09-29 | 杭州谐云科技有限公司 | 一种面向推理任务QoS的GPU实时调度方法及系统 |
| CN116820784B (zh) * | 2023-08-30 | 2023-11-07 | 杭州谐云科技有限公司 | 一种面向推理任务QoS的GPU实时调度方法及系统 |
| CN117032936A (zh) * | 2023-09-28 | 2023-11-10 | 之江实验室 | 一种数据调度方法、装置和计算机设备 |
| CN117032936B (zh) * | 2023-09-28 | 2024-02-06 | 之江实验室 | 一种数据调度方法、装置和计算机设备 |
| CN117130790A (zh) * | 2023-10-23 | 2023-11-28 | 云南蓝队云计算有限公司 | 一种云计算资源池动态调度方法 |
| CN117130790B (zh) * | 2023-10-23 | 2023-12-29 | 云南蓝队云计算有限公司 | 一种云计算资源池动态调度方法 |
| CN117272838A (zh) * | 2023-11-17 | 2023-12-22 | 恒海云技术集团有限公司 | 一种政务大数据平台数据采集优化方法 |
| CN117272838B (zh) * | 2023-11-17 | 2024-02-02 | 恒海云技术集团有限公司 | 一种政务大数据平台数据采集优化方法 |
| CN117608809A (zh) * | 2024-01-18 | 2024-02-27 | 中国电子科技集团公司第十五研究所 | 基于梯度提升决策树的多任务计划进度预测系统 |
| CN118396048A (zh) * | 2024-06-28 | 2024-07-26 | 山东海量信息技术研究院 | 分布式训练系统、方法及设备、介质和计算机程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115934333A (zh) | 基于历史数据感知的云计算资源调度方法及调度系统 | |
| CN107888669B (zh) | 一种基于深度学习神经网络的大规模资源调度系统及方法 | |
| Liu et al. | A reinforcement learning-based resource allocation scheme for cloud robotics | |
| CN109271015B (zh) | 一种降低大规模分布式机器学习系统能耗的方法 | |
| CN111722910B (zh) | 一种云作业调度及资源配置的方法 | |
| CN103036974A (zh) | 基于隐马尔可夫模型的云计算资源调度方法和系统 | |
| CN113742089B (zh) | 异构资源中神经网络计算任务的分配方法、装置和设备 | |
| CN111611062A (zh) | 云边协同分层计算方法及云边协同分层计算系统 | |
| CN117076882A (zh) | 一种云服务资源动态预测管理方法 | |
| CN113810954A (zh) | 基于流量预测与深度强化学习的虚拟资源动态扩缩容方法 | |
| CN111176784A (zh) | 一种基于极限学习机和蚁群系统的虚拟机整合方法 | |
| CN113902116A (zh) | 一种面向深度学习模型推理批处理优化方法与系统 | |
| CN115543626A (zh) | 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法 | |
| CN115480882A (zh) | 一种分布式边缘云资源调度方法及系统 | |
| CN116050540A (zh) | 一种基于联合双维度用户调度的自适应联邦边缘学习方法 | |
| CN111199316A (zh) | 一种基于执行时间评估的云雾协同计算电网调度方法 | |
| CN113139639B (zh) | 一种基于mombi面向智慧城市应用多目标计算迁移方法和装置 | |
| CN106936905B (zh) | 基于openstack的Nova组件虚拟机的调度方法及其调度系统 | |
| CN117472506A (zh) | 一种预测式容器化边缘应用自动伸缩器及方法 | |
| CN116302578B (zh) | 一种QoS约束的流应用延迟确保方法及系统 | |
| CN113242304A (zh) | 边缘侧多能源数据采集调度控制方法、装置、设备和介质 | |
| CN116302404B (zh) | 面向资源解耦合数据中心的服务器无感知计算调度方法 | |
| CN113157344B (zh) | 移动边缘计算环境下基于drl的能耗感知任务卸载方法 | |
| Liu et al. | Computation offloading and task scheduling with fault-tolerance for minimizing redundancy in edge computing | |
| CN112598112A (zh) | 一种基于图神经网络的资源调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |