CN112948115B - 一种基于极限学习机的云工作流调度器压力预测方法 - Google Patents
一种基于极限学习机的云工作流调度器压力预测方法 Download PDFInfo
- Publication number
- CN112948115B CN112948115B CN202110232396.2A CN202110232396A CN112948115B CN 112948115 B CN112948115 B CN 112948115B CN 202110232396 A CN202110232396 A CN 202110232396A CN 112948115 B CN112948115 B CN 112948115B
- Authority
- CN
- China
- Prior art keywords
- scheduler
- pressure
- matrix
- component
- cloud workflow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于极限学习机的云工作流调度器压力预测方法,通过将调度器CPU时间片占有率、内存占用率作为调度器压力参数,以调度器压力参数作为输入,以对应的调度器在达到满载前还能接收工作流的数量作为标签,建立训练样本集;采用该训练样本集完成对云工作流调度器压力预测模型的训练,以调度器压力预测模型预测调度器在达到满载状态之前预计还可接收工作流的数量,在一定程度上能够满足云工作流在调度问题上调度器压力预测的需要,为相关调度问题中压力评估和可接受工作流数量提供了新的方法。
Description
技术领域
本发明属于云工作流调度技术领域,具体涉及一种基于极限学习机的云工作流调度器压力预测方法。
背景技术
云工作流调度问题是云平台与云计算中的核心技术之一,近几年来,云平台与云计算的发展有巨大的进步,对各领域产生了不同程度的影响。云计算具有超大规模、虚拟化、按需服务、高可靠和高伸缩性等优势,云计算是一种集中式大数据处理,云平台像一个庞大的资源池,采用云技术能够完成容器的迁移,通过云平台能够高效地完成各种科研工作。相比于边缘计算,云平台有更好的延展性和安全保障,可靠性更强。云工作流是在云计算环境下工作流管理系统的一种新的应用。云工作流中的系统调度问题则是云计算中的核心问题之一,在云平台和云计算调度器模块的开发测试过程中,经常会出现调度器压力过大但控制器依然分配给各子调度器工作流的情况,这会导致调度器CPU时间片占有率过大或内存占用过多并最终使运行失败,出现“卡死”等情况。
发明内容
有鉴于此,本发明提供了一种基于极限学习机的云工作流调度器压力预测方法,实现了小样本情况下对云工作流调度器能够接收工作流数量的预测。
本发明提供的一种基于极限学习机的云工作流调度器压力预测方法,包括以下步骤:
步骤1、将云工作流调度器的内存占用率、CPU时间片占有率、已接收工作流数量及已接收子任务数量作为调度器压力数据;以所述调度器压力数据作为输入,以对应的调度器在达到满载前还能接收工作流的数量作为标签构建训练样本集;
步骤2、建立基于极限学习机的云工作流调度器压力预测模型,如下式所示:
Hβ=Y (1)
其中,H为隐藏层节点的输出,β为输出权值,Y为云工作流期望输出矩阵,N为样本个数,L为隐含层节点的个数,g(x)为激活函数,Si为所述云工作流调度器压力预测模型的输入,Wi=[wi1,wi1,...,win]T为输入到隐藏层节点之间的输入权值矩阵,bi为第i个隐藏节点的偏置,Wi和bi生成后保持不变;βi为隐藏层到输出之间的输出权值矩阵;
步骤3、采用所述步骤1生成的所述训练样本集完成对所述基于极限学习机的云工作流调度器压力预测模型的训练;
步骤4、使用中,将待预测的调度器压力数据输入所述步骤3训练得到的基于极限学习机的云工作流调度器压力预测模型,得到所述待预测调度器在达到满载状态之前预计还可接收工作流的数量。
进一步地,所述步骤1中所述训练样本集的构建包括:将所述调度器压力数据进行归一化预处理形成压力值特征向量,由所述压力值特征向量与其对应的标签构建训练样本数据集。
进一步地,所述训练样本集的构建包括以下步骤:
步骤3.1、采集特征数据形成云工作流调度所涉及的调度器压力数据集合{Xi,Xi∈R,i=1,2,...,N},其中,N为调度器的总数,i为调度器的编号;Xi为第i调度器的压力值特征向量Xi=[X1i,X2i,X3i,X4i]T,X1i为第一分量是调度器压力占用率,X2i为第二分量是调度器CPU时间片占有率,X3i为第三分量是调度器已接收的工作流数量;X4i为第四分量是调度器已接收的子任务数量;
步骤3.2、选取N个调度器的压力值特征向量中的最大第一分量max(X1)、最小第一分量min(X1),采用公式(3)计算得到N个第一分量的取值:
选取N个调度器的压力值特征向量中的最大第二分量max(X2)、最小第二分量min(X2),采用公式(4)计算得到N个第二分量的取值:
选取N个调度器的压力值特征向量中的最大第三分量max(X3)、最小第三分量min(X3),采用公式(5)计算得到N个第三分量的取值:
选取N个调度器的压力值特征向量中的最大第四分量max(X4)、最小第四分量min(X4),采用公式(6)计算得到N个第四分量的取值:
由所述压力值特征矩阵及与其对应的标签构成所述训练样本集:
进一步地,所述步骤3中采用所述步骤1生成的所述训练样本集完成对所述基于极限学习机的云工作流调度器压力预测模型的训练时,采用基于求Moore-Penrose广义逆的方法求解隐含层节点的输出权值矩阵。
进一步地,所述采用基于求Moore-Penrose广义逆的方法求解隐含层节点的输出权值矩阵,包括以下步骤:
训练所述基于极限学习机的云工作流调度器压力预测模型,得到如下最小化代价函数:
对H进行满秩分解,即H=LR,其中,L为列满秩矩阵,R为行满秩矩阵,再利用公式(7)和(8)求解β矩阵;
H+=RH(RRH)-1(LHL)-1LH (7)
其中,H+表示H矩阵的广义逆。
有益效果:
本发明通过将调度器CPU时间片占有率、内存占用率作为调度器压力参数,以调度器压力参数作为输入,以对应的调度器在达到满载前还能接收工作流的数量作为标签,建立训练样本集;采用该训练样本集完成对云工作流调度器压力预测模型的训练,以调度器压力预测模型预测调度器在达到满载状态之前预计还可接收工作流的数量,在一定程度上能够满足云工作流在调度问题上调度器压力预测的需要,为相关调度问题中压力评估和可接受工作流数量提供了新的方法;同时,本发明利用单层神经网络的机器学习方法极限学习机建立云工作流调度器压力预测模型,有效地提高了计算效率和预测调度器接收工作流能力准确率。
具体实施方式
下面列举实施例,对本发明进行详细描述。
本发明提供了一种基于极限学习机的云工作流调度器压力预测方法,其基本思想是:通过实验使云工作流调度器尽量达到满载并得到调度器工作特征初始数据集,从初始数据集中筛选出合理的数据集,并对数据集中与压力相关的参数进行预处理,完成不同类型数据的标记,完成训练样本的构建,训练样本为{Xi,Yi|Xi∈R,Yi∈R,i=1,2,...,N},其中Xi是模型的输入,i为调度器的序号;Yi是模型的输出,此处代表的是达到满载时剩余可以接收工作流的数量;N是样本总数,利用归一化处理得到压力特征,采用调度器压力指标数据和工作流数量数据作为训练样本的特征与对应标签形成的数据集输入极限学习机模型建立极限学习机的云工作流调度器压力预测模型,在此基础上,求取隐含层节点的输出权值矩阵,从而完成对极限学习机模型的训练。
本发明中,云工作流调度器压力为工作流调度器已接收的工作流占用该调度器资源的程度,主要采用以下两个指标进行描述:内存占用率及CPU时间片占有率。当云工作流调度器接收到的工作流数量达到一定限度后,就会导致调度器的内存或CPU过载,这种情况被称为超过了云工作流调度器的压力限度。
本发明提供的一种基于极限学习机的云工作流调度器压力预测方法,具体步骤如下:
步骤1、在云工作流随机实验中,采集各调度器的内存占用率、CPU时间片占有率、已接收工作流数量、已接收子任务数量等调度器压力数据,以及处于上述状态的调度器在达到满载前还能接收工作流数量,形成调度器压力数据;对调度器压力数据进行归一化预处理后,从中提取出调度器压力值的特征向量,由调度器压力值特征向量与其对应的标签构建训练样本数据集。
步骤1.1、收集调度器压力数据。
采集调度器Xi,形成调度器压力数据集合{Xi,Xi∈R,i=1,2,...,N},其中,N是调度器的总数,i是调度器的编号。调度器Xi为四元数组,表示为:Xi=[X1i,X2i,X3i,X4i]T,X1i为调度器Xi的第一个分量,代表调度器压力占用率,即用已使用内存与与分配内存的比值;X2i为调度器Xi的第二个的分量,代表CPU时间片占有率;X3i为调度器Xi的第三个分量,代表调度器Xi已接收的工作流数量;X4i为调度器Xi的第四个分量,代表调度器Xi已接收的子任务数量。
步骤1.2、采用公式(1)得到调度器Xi的第一个分量的最大值max(X1):
max(X1)=max{X11,X12,...,X1N} (1)
采用公式(2)计算调度器Xi的第一个分量的最小值min(X1):
min(X1)=min{X11,X12,...,X1N} (2)
步骤1.3、遍历{X1i,X1i∈R,i=1,2,...,N}中的所有输入Xi,采用公式(3)计算得到N个第一分量数据:
选取N个调度器的压力值特征向量中的最大第二分量max(X2)、最小第二分量min(X2),采用公式(4)计算得到N个第二分量的取值:
选取N个调度器的压力值特征向量中的最大第三分量max(X3)、最小第三分量min(X3),采用公式(5)计算得到N个第三分量的取值:
选取N个调度器的压力值特征向量中的最大第四分量max(X4)、最小第四分量min(X4),采用公式(6)计算得到N个第四分量的取值:
由上述一维特征矩阵构成包含N个调度器压力特征向量的调度器压力特征矩阵:
由调度器的调度器压力特征矩阵及与其对应的标签构成机器学习模型的训练样本集,训练样本集为如下公式所示:
步骤2、建立基于极限学习机的云工作流调度器压力预测模型,如公式(7)和(8)所示:
Hβ=Y (7)
其中,H为隐藏层节点的输出,β为输出权值,Y为云工作流期望输出矩阵,N为样本个数,L为隐含层节点的个数,g(x)为激活函数,Si为极限学习机学习模型的输入数据,Wi=[wi1,wi1,...,win]T为输入到隐藏层节点之间的输入权值矩阵,bi为第i个隐藏节点的偏置,Wi和bi生成后保持不变;βi为隐藏层到输出之间的输出权值矩阵。
步骤3、采用步骤1生成的训练样本集对基于极限学习机的云工作流调度器压力预测模型进行训练,本发明采用基于求Moore-Penrose广义逆的方法求解隐含层节点的输出权值矩阵,完成基于极限学习机的云工作流调度器压力预测模型的训练。
本实验将获取的样本数据集按一定比例划分成两个部分,一部分用于模型的训练,剩下一部分用于测试;利用极限学习机模型的训练得到隐藏层到输出之间的输出权值矩阵后,利用测试部分的样本数据集进行测试。后期可以不断通过测试更新数据集得到更新的模型,加入到调度器中进行实际预测。
步骤4、使用中,采用本发明提出的数据预处理方法对待预测的调度器压力数据进行处理,得到待预测的调度器压力的特征向量,将调度器压力的特征向量输入到训练得到的基于极限学习机的调度器压力预测模型中,得到待预测调度器在达到满载状态之前预计还可接收工作流的数量。
本发明的步骤3中使用的采用基于求Moore-Penrose广义逆的方法求解隐含层节点的输出权值矩阵,具体包括如下步骤:
步骤3.1、训练单隐藏层神经网络,得到最小化代价函数:
求解隐含层节点的输出权值矩阵的方法有很多种,利用梯度下降法也可以求解隐含层节点的输出权值矩阵,这里选择使用一种可以较为精准求解广义逆的方法来使代价函数最小。对H进行满秩分解,即H=LR,其中,L为列满秩矩阵,R为行满秩矩阵,再利用公式(9)和(10)求出β矩阵。
H+=RH(RRH)-1(LHL)-1LH (9)
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于极限学习机的云工作流调度器压力预测方法,其特征在于,包括以下步骤:
步骤1、将云工作流调度器的内存占用率、CPU时间片占有率、已接收工作流数量及已接收子任务数量作为调度器压力数据;以所述调度器压力数据作为输入,以对应的调度器在达到满载前还能接收工作流的数量作为标签构建训练样本集;
步骤2、建立基于极限学习机的云工作流调度器压力预测模型,如下式所示:
Hβ=Y(1)
其中,H为隐藏层节点的输出,β为输出权值,Y为云工作流期望输出矩阵,N为样本个数,L为隐含层节点的个数,g(x)为激活函数,Si为所述云工作流调度器压力预测模型的输入,Wi=[wi1,wi1,...,win]T为输入到隐藏层节点之间的输入权值矩阵,bi为第i个隐藏节点的偏置,Wi和bi生成后保持不变;βi为隐藏层到输出之间的输出权值矩阵;
步骤3、采用所述步骤1生成的所述训练样本集完成对所述基于极限学习机的云工作流调度器压力预测模型的训练;
步骤4、使用中,将待预测的调度器压力数据输入所述步骤3训练得到的基于极限学习机的云工作流调度器压力预测模型,得到所述待预测调度器在达到满载状态之前预计还可接收工作流的数量;
所述步骤1中所述训练样本集的构建包括:将所述调度器压力数据进行归一化预处理形成压力值特征向量,由所述压力值特征向量与其对应的标签构建训练样本数据集;
所述训练样本集的构建包括以下步骤:
步骤3.1、采集特征数据形成云工作流调度所涉及的调度器压力数据集合{Xi,Xi∈R,i=1,2,...,N},其中,N为调度器的总数,i为调度器的编号;Xi为第i调度器的压力值特征向量Xi=[X1i,X2i,X3i,X4i]T,X1i为第一分量是调度器压力占用率,X2i为第二分量是调度器CPU时间片占有率,X3i为第三分量是调度器已接收的工作流数量;X4i为第四分量是调度器已接收的子任务数量;
步骤3.2、选取N个调度器的压力值特征向量中的最大第一分量max(X1)、最小第一分量min(X1),采用公式(3)计算得到N个第一分量的取值:
选取N个调度器的压力值特征向量中的最大第二分量max(X2)、最小第二分量min(X2),采用公式(4)计算得到N个第二分量的取值:
选取N个调度器的压力值特征向量中的最大第三分量max(X3)、最小第三分量min(X3),采用公式(5)计算得到N个第三分量的取值:
选取N个调度器的压力值特征向量中的最大第四分量max(X4)、最小第四分量min(X4),采用公式(6)计算得到N个第四分量的取值:
由所述压力值特征矩阵及与其对应的标签构成所述训练样本集:
2.根据权利要求1所述的云工作流调度器压力预测方法,其特征在于,所述步骤3中采用所述步骤1生成的所述训练样本集完成对所述基于极限学习机的云工作流调度器压力预测模型的训练时,采用基于求Moore-Penrose广义逆的方法求解隐含层节点的输出权值矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110232396.2A CN112948115B (zh) | 2021-03-01 | 2021-03-01 | 一种基于极限学习机的云工作流调度器压力预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110232396.2A CN112948115B (zh) | 2021-03-01 | 2021-03-01 | 一种基于极限学习机的云工作流调度器压力预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112948115A CN112948115A (zh) | 2021-06-11 |
CN112948115B true CN112948115B (zh) | 2022-12-06 |
Family
ID=76247266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110232396.2A Active CN112948115B (zh) | 2021-03-01 | 2021-03-01 | 一种基于极限学习机的云工作流调度器压力预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112948115B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379397B (zh) * | 2021-07-16 | 2023-09-22 | 北京华博创科科技股份有限公司 | 一种基于机器学习的云工作流架智能管理与调度系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109324953A (zh) * | 2018-10-11 | 2019-02-12 | 北京理工大学 | 一种虚拟机能耗预测方法 |
CN109981749A (zh) * | 2019-01-30 | 2019-07-05 | 北京理工大学 | 一种基于极限梯度提升的云工作流任务执行时间预测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9672064B2 (en) * | 2015-07-13 | 2017-06-06 | Palo Alto Research Center Incorporated | Dynamically adaptive, resource aware system and method for scheduling |
-
2021
- 2021-03-01 CN CN202110232396.2A patent/CN112948115B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109324953A (zh) * | 2018-10-11 | 2019-02-12 | 北京理工大学 | 一种虚拟机能耗预测方法 |
CN109981749A (zh) * | 2019-01-30 | 2019-07-05 | 北京理工大学 | 一种基于极限梯度提升的云工作流任务执行时间预测方法 |
Non-Patent Citations (2)
Title |
---|
《基于SSA-ELM的超短期风功率预测及其并网调度》;韩婧;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20210131;C042-1492 * |
面向云计算的分布式机器学习任务调度算法研究;孟彬彬等;《西安文理学院学报(自然科学版)》;20200115(第01期);第51-54页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112948115A (zh) | 2021-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110489223B (zh) | 一种异构集群中任务调度方法、装置及电子设备 | |
CN105550323B (zh) | 一种分布式数据库负载均衡预测方法和预测分析器 | |
Gramacy et al. | Adaptive design and analysis of supercomputer experiments | |
CN110390345B (zh) | 一种基于云平台的大数据集群自适应资源调度方法 | |
CN105929690B (zh) | 一种基于分解多目标进化算法的柔性车间鲁棒调度方法 | |
CN110389820A (zh) | 一种基于v-TGRU模型进行资源预测的私有云任务调度方法 | |
CN106600058A (zh) | 一种制造云服务QoS的组合预测方法 | |
CN108573021A (zh) | 一种动态数据的综合价值评估方法 | |
CN113283547B (zh) | 一种基于多任务深度学习的最优潮流计算方法 | |
CN107908536A (zh) | Cpu‑gpu异构环境中对gpu应用的性能评估方法及系统 | |
CN116340006A (zh) | 一种基于深度学习的算力资源空闲预测方法和存储介质 | |
CN112948115B (zh) | 一种基于极限学习机的云工作流调度器压力预测方法 | |
CN114490065A (zh) | 一种负载预测方法、装置及设备 | |
CN113886080A (zh) | 高性能集群任务调度方法、装置、电子设备及存储介质 | |
CN115271227A (zh) | 云环境下的资源调度方法 | |
CN115184193A (zh) | 线缆的自动化测试方法、装置、设备及存储介质 | |
CN111047406A (zh) | 一种电信套餐推荐方法、装置、存储介质和设备 | |
CN106897199A (zh) | 一种基于大数据处理框架共有特征的批作业执行时间预测方法 | |
CN112070307A (zh) | 一种区域内能源负荷量的预测方法及装置 | |
Talaslioglu | A new genetic algorithm methodology for design optimization of truss structures: bipopulation-based genetic algorithm with enhanced interval search | |
Puliafito et al. | Systems Modelling: Methodologies and Tools | |
CN115756804A (zh) | 一种用于混合hpc集群场景下的多元资源需求预测方法和系统 | |
Bharti et al. | Specifying CPU Requirements for HPC Applications via ML Techniques | |
Toporkov et al. | Machine learning for job-flow online scheduling and resources allocation in distributed computing | |
CN118051318A (zh) | 一种基于超级算力的调度方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |