CN109492774A - 一种基于深度学习的云资源调度方法 - Google Patents

Abstract

一种基于深度学习的云资源调度方法包括离线训练和在线预测两个阶段。离线训练阶段：在集群节点中，采样云主机资源信息和用户历史需求信息；对采样数据进行清洗并进行规范化处理；构建分类器模型以及打分器模型，并制作分类器数据集和打分器数据集；分类器模型用于预选符合用户请求的云主机资源，打分器模型用于选择对用户请求的匹配度最高的云主机资源；分别训练分类器模型和打分器模型；在线预测阶段：建立分类器调度数据集和打分器调度数据集；将分类器调度数据集输入训练完成的分类器模型对符合用户当前请求的云主机资源进行预选；将打分器调度数据集输入训练完成的打分器模型选择出对用户请求的匹配度最高的云主机资源。

Description

一种基于深度学习的云资源调度方法

技术领域

本发明涉及基于kubernetes云环境下合理调度计算节点资源并最大化使用资源，尤其是在主机资源无法预期评估的条件下，借助深度学习算法构建智能调度模型。

背景技术

目前对于传统的云主机资源调度算法，对容器或者虚拟机的资源调度是整个平台稳定运行的关键，同时使得资源充分发挥最大能效，能否合理调度资源并对资源动态伸缩也是调度算法需要考虑的指标。

云主机调度器是整个平台集群管理系统的核心，负责收集，分析集群管理系统中节点的资源使用情况，并以此为依据进行节点调度。调度策略主要分为两个阶段：预选和优选。其中预选阶段负责调度哪些节点可用，优选阶段则是筛选出最适合的节点。

传统的调度方法属于静态资源调度，在用户服务调度的初期完成资源的分配，运行期间一般不做动态伸缩等，不能很好解决复杂的资源分配问题，具有一定的被动性，同时无法预知平台所需的预期节点资源。结合深度学习的新型算法不仅能够对节点资源进行调度，充分考虑整个云计算环境下资源使用情况，网络I/O等约束，借助人工智能手段，动态评估系统资源，实现智能调度，做到资源优化，动态伸缩，降低功耗等。

发明内容

为了解决上述传统方法对资源的静态调度，无法扩展等问题，本发明提出了一种基于深度学习的云主机智能调度方法，实现资源的动态伸缩和提前规划等。本方法将智能调度模型的训练过程分为两个阶段：分类器模型和打分器模型的训练。分为两个阶段训练的主要目的是在已经满足用户资源要求的基础之上进行优选，同时避免模型训练数据集维度过大导致的训练无法收敛或者收敛速度过慢。

具体技术方案如下：

1.数据采样：在集群节点中，采样云主机资源信息和用户历史需求信息，其中，云主机资源信息包含但不仅限于：剩余CPU核心数目，剩余内存大小，已使用端口号，以及剩余磁盘空间大小；用户历史需求信息包含但不仅限于：用户历史请求CPU核心数目，用户历史请求内存大小，用户历史请求的端口号，以及用户历史请求磁盘空间大小；

2.对采样数据进行清洗并进行规范化处理；此处所述数据清洗及规范化处理方法采用业内常规处理方法。

3.构建分类器模型以及打分器模型，并制作分类器数据集和打分器数据集；所述的分类器模型以及打分器模型均基于神经网络模型；所述的分类器模型用于预选符合用户请求的云主机资源，所述的打分器模型用于选择对用户请求的匹配度最高的云主机资源，其中分类器数据集包括云主机资源信息，用户历史需求信息，以及标签Label₁，标签Label₁用于表示云主机资源信息是否满足用户历史需求；打分器数据集包括经分类器模型预选之后的满足用户历史请求的云主机资源信息中CPU和内存两个字段，用户历史需求信息中CPU和内存两个字段，以及标签Label₂，标签Label₂用于代表云主机资源对用户请求信息的匹配度；

4.分别训练分类器模型和打分器模型，将分类器数据集分为分类器训练集和分类器验证集，首先通过分类器训练集对分类器模型进行训练，然后用分类器验证集对训练后的分类器模型进行验证，如果分类器模型的预选结果正确率大于阈值A时，分类器模型完成训练，否则，分类器模型继续训练，直到分类器模型的预选结果正确率大于设定阈值A，A大于0.95即可，考虑到实际样本数量可以做适当调整；打分器模型的训练方法与分类器模型训练方法一样，区别仅在于采用打分器数据集，所述的打分器数据集分为打分器训练集和打分器验证集，即首先通过打分器训练集对打分器模型进行训练，然后用打分器验证集对训练后的打分器模型进行验证，如果打分器模型的预选结果正确率大于阈值A时，打分器模型完成训练，否则，打分器模型继续训练，直到打分器模型的预选结果正确率大于设定阈值A，A大于 0.95即可，考虑到实际样本数量可以做适当调整；

分类器模型利用神经网络模型对平台所有的调度节点进行二分类，可调度节点和不可调度节点。其中可调度节点是满足用户资源需求，可以被调度为用户主机的运行环境，不可调度节点则不满足资源需求，不能被调度为用户主机运行环境；

其次根据分类器模型的数据输出，标记出可用节点，利用打分器模型对可用节点进行打分，此阶段主要实现对可用主机的资源负载和整体性能进行评估，得出评分较高的云主机，分配给用户使用，使得用户最终选取合适的节点运行，又能够对整个集群主机实现资源均衡。

5.完成对当前用户需求信息进行云资源调度，具体包括：

5.1)建立分类器调度数据集和打分器调度数据集，其中分类器调度数据集包括云主机资源信息、用户当前需求信息，以及用于表示云主机资源信息是否满足用户当前需求的标签构成；打分器调度数据集包括经分类器模型预选之后的满足用户当前请求的云主机资源信息中CPU和内存两个字段，用户当前需求信息中CPU和内存两个字段，以及用于代表云主机资源对用户请求信息的匹配度的标签构成；

5.2)将分类器调度数据集输入训练完成的分类器模型对符合用户当前请求的云主机资源进行预选；

5.3)将打分器调度数据集输入训练完成的打分器模型选择出对用户请求的匹配度最高的云主机资源。

步骤3)所属的标签Label₁的计算公式如下：

分类器数据收集的字段信息如下：

nodeport:云主机中是否存在用户请求的端口，若存在，则直接采集该端口，否则，随机端口即可。

nodecup：云主机中空闲的CPU资源数量

nodedisk：云主机中空闲的磁盘数量

nodememory：云主机中空闲的内存大小

nodelabel：云主机的标识

request port：请求的端口号

requestcpu：请求的cpu数量

requestmemory：请求的内存大小

requestlable：请求的云主机标识

使用有监督学习方式，其中node中所有资源为空闲可用的资源，不包含已经分配出去的资源；label字段的取值方式依据请求数据相对与云主机中采集到的数据，满足用户请求即可取值为1，否则为0处理。

步骤3)所属的标签Label₂的计算公式如下：

此阶段根据分类阶段获取到的可用的主机节点，若存在多个可用主机则进入对主机打分阶段，根据以下信息对主机进行打分，反馈打分高的机器。

此阶段的目的主要是在所有符合需求的云主机中获取性能最优主机，均衡主机之间的资源负载，避免出现资源过剩或过度使用。

此阶段的训练主要是依据上一阶段输出的可用主机，针对CPU，内存资源进行处理，并对每一可用资源打标记Label₂。

Label₂的计算公式如下：

Label₂＝10-|Fraction_M-Fraction_N|*10

其中，Fraction_M＝request_M/capacity_M,

Fraction _N＝request_N/capacity_N,

request为用户请求资源量，capacity为主机当前可用资源量，M代表 CPU，N代表内存。

上述计算过程主要为避免CPU，内存消耗不均衡的情形。

步骤3)中所述的神经网络模型包括一层输入层，三层隐藏层，一层输出层。

分类器模型和打分器模型采用但不局限于三层神经网络结构，模型设计不属于发明点。当训练不能满足要求时可增加神经网络层数或训练次数。

有益效果

传统的云主机调度方法在资源监控是在资源消耗超过某个阈值的情况下进行报警，该机制具有一定局限性，在资源调度机制方面缺乏灵活性方面存在云主机资源动态伸缩，智能决策的不足，相比传统调度方法，本调度方法基于人工智能的深度学习方法构建云主机调度中心，具有以下优势：

1)不定期根据用户使用规则更新智能调度模块，使其更符合实际生产环境的需要

2)调度云主机资源更加智能高效且合理灵活进行资源的配置，在资源存在瓶颈之前出发资源的动态调度和实例的自动伸缩，提升资源的利用率，增加调度的灵活性。

3)同时智能调度中心可以预测未来一段时间内资源的使用消耗情况，提前对云主机资源做出合理的规划。

附图说明

附图1：方法流程图；

附图2：云主机智能调度方法模型训练流程图；

附图3：云主机资源智能调度流程图。

具体实施方式

智能调度模型的训练过程分为两个阶段：分类器模型和打分器模型的训练。分为两个阶段训练的主要目的是在已经满足用户资源要求的基础之上进行优选，同时避免模型训练数据集维度过大导致的训练无法收敛或者收敛速度过慢。

1)数据采样

获取平台节点调度日志，采样云主机资源信息和用户历史需求信息，云主机资源信息包含但不仅限于：剩余CPU核心数目，剩余内存大小，已使用端口号，以及剩余磁盘空间大小；用户历史需求信息包含但不仅限于：用户历史请求CPU核心数目，用户历史请求内存大小，用户历史请求的端口号，以及用户历史请求磁盘空间大小；

2)对采样数据进行清洗并进行规范化处理；

步骤一：数据清洗，包括异常值，缺失值处理。

对于缺失值处理，使用均值填充：寻找与缺失值变量相关性最大的那个变量把数据分成几个组，然后分别计算每个组的均值，然后把均值填入缺失的位置作为它的值，如果找不到相关性较好的变量，也可以统计变量已有数据的均值，然后把它填入缺失位置。

异常值处理方式同缺失值。

步骤二：数据规范化，标准化方法是将变量的每个值与其平均值之差除以该变量的标准差，无量纲化后变量的平均值为0，标准差为1。

3)构建分类器模型以及打分器模型，并制作分类器数据集和打分器数据集；

分类器模型和打分器模型均基于循环神经网络模型，构建三层循环神经网络结构，输入层，隐藏层1：接收输入层的数据，隐藏层2：接收隐藏层1输出，隐藏层3：接收隐藏层2的输出，输出层：接收隐藏层3的的输出。模型设计不属于发明点。

分类器数据集包括云主机资源信息，用户历史需求信息，以及标签 Label₁，标签Label₁用于表示云主机资源信息是否满足用户历史需求；分类器数据收集的字段信息如下：

nodeport:云主机中是否存在用户请求的端口，若存在，则直接采集该端口，否则，随机端口即可。

nodecpu：云主机中空闲的CPU资源数量

nodedisk：云主机中空闲的磁盘数量

nodememory：云主机中空闲的内存大小

nodelabel：云主机的标识

requestport：请求的端口号

requestcpu：请求的cpu数量

requestmemory：请求的内存大小

requestlable：请求的云主机标识

使用有监督学习方式，其中node中所有资源为空闲可用的资源，不包含已经分配出去的资源；label₁字段的取值方式依据请求数据相对与云主机中采集到的数据，满足用户请求即可取值为1，否则为0处理。最终，分类器数据集样例如下：

nodeport

nodecpu

nodedisk

nodememory

nodelabel

requestport

requestcpu

requestmemory

requestlable

Label<sub>1</sub>

打分器数据集包括经分类器模型预选之后的满足用户历史请求的云主机资源信息中CPU和内存两个字段，用户历史需求信息中CPU和内存两个字段，以及标签Label₂，标签Label₂的计算公式如下：

Label₂＝10-|Fraction_M-Fraction_N|*10

其中，Fraction_M＝request_M/capacity_M,

Fraction_N＝request_N/capacity_N,

request为用户请求资源量，capacity为云主机当前可用资源量，M代表 CPU，N代表内存。最终，打分器数据集样例如下：

nodecpu

nodememory

nodelabel

requestcpu

requestmemory

requestlable

Label<sub>2</sub>

Label₂计算示例如下：

假如cpu剩余为100，用户请求cpu为10，则Fraction_M为0.1，而内存剩余资源不多，假如为20，申请10，则Fraction_N为0.5，这样由于CPU和内存使用不均衡，此节点的得分为10-|0.1-0.5|*10＝6分。假如CPU和内存资源比较均衡，例如两者都为0.5，那么代入公式，则得分为10分。

4)分别训练分类器模型和打分器模型，分类器和打分器数据集分为训练集和验证集，比例为训练集70％，验证集30％。

依据上述步骤构建好的模型，使用TensorFlow深度学习平台进行模型训练。训练阶段分为两个阶段：

阶段一、分类器的训练

基于TensorFlow学习平台提供的算法接口，输入为分类器训练集数据，训练一定次数后，使用验证集验证模型效果。直到分类器模型的预选结果正确率大于设定阈值A，A大于0.95即可，考虑到实际样本数量可以做适当调整，效果不理想情况下可以适当增减隐藏层神经元数量或者增加训练次数。

阶段二、打分器的训练

打分器训练过程同上，输入为打分器数据集。

上述训练中，根据验证集验证模型的收敛效果，直到打分器模型的预选结果正确率大于设定阈值A，A大于0.95即可，考虑到实际样本数量可以做适当调整，效果不理想情况下可以适当增减隐藏层神经元数量或者增加训练次数。

模型达到满意效果后，结束训练，输出模型。流程图见附图2。

5)在线预测，完成对当前用户需求信息进行云资源调度，具体流程如下：

S1:获取云主机可用资源信息，接收用户提交的资源请求文件，比如.json, 或者.yaml，解析用户的资源请求得到资源类型信息和资源相关的描述信息。

S2:判断用户的请求的资源信息是否指定云主机，若是，则执行S3，否则执行S4。

S3:根据用户指定的节点信息，按照调度流程直接选取指定的计算节点进行资源分配。

S4:提交用户的当前需求和收集的云主机资源信息，进入在线预测模型，筛选出符合用户需求的节点服务器，按照各个符合要求的节点服务器的资源和用户需求信息进行评判，得分最高的服务器即为最优的服务器。

本发明中结合当前人工智能方法解决了传统云主机调度方法中不足之处，按照上述方式，模拟实验采集了30000条实验数据，训练调度模型，在验证过程中，有85％以上的请求被正确调度到云主机上运行，实现了对云主机资源的正确调度。通过模拟实验验证，本方法具有可行性，可实施，并可推广使用。

Claims (4)

1.一种基于深度学习的云资源调度方法，其特征在于包括以下步骤：

(1)数据采样：在集群节点中，采样云主机资源信息和用户历史需求信息，其中，云主机资源信息包含但不仅限于：剩余CPU核心数目，剩余内存大小，已使用端口号，以及剩余磁盘空间大小；用户历史需求信息包含但不仅限于：用户历史请求CPU核心数目，用户历史请求内存大小，用户历史请求的端口号，以及用户历史请求磁盘空间大小；

(2)对采样数据进行清洗并进行规范化处理；

(3)构建分类器模型以及打分器模型，并制作分类器数据集和打分器数据集；所述的分类器模型以及打分器模型均基于神经网络模型；所述的分类器模型用于预选符合用户请求的云主机资源，所述的打分器模型用于选择对用户请求的匹配度最高的云主机资源，其中分类器数据集包括云主机资源信息，用户历史需求信息，以及标签Label₁，标签Label₁用于表示云主机资源信息是否满足用户历史需求；打分器数据集包括经分类器模型预选之后的满足用户历史请求的云主机资源信息中CPU和内存两个字段，用户历史需求信息中CPU和内存两个字段，以及标签Label₂，标签Label₂用于代表云主机资源对用户请求信息的匹配度；

(4)分别训练分类器模型和打分器模型，将分类器数据集分为分类器训练集和分类器验证集，首先通过分类器训练集对分类器模型进行训练，然后用分类器验证集对训练后的分类器模型进行验证，如果分类器模型的预选结果正确率大于阈值A时，分类器模型完成训练，否则，分类器模型继续训练，直到分类器模型的预选结果正确率大于设定阈值A；打分器模型的训练方法与分类器模型训练方法一样，区别仅在于采用打分器数据集，所述的打分器数据集分为打分器训练集和打分器验证集；

(5)完成对当前用户需求信息进行云资源调度，具体包括：

5.1)建立分类器调度数据集和打分器调度数据集，其中分类器调度数据集包括云主机资源信息、用户当前需求信息，以及用于表示云主机资源信息是否满足用户当前需求的标签构成；打分器调度数据集包括经分类器模型预选之后的满足用户当前请求的云主机资源信息中CPU和内存两个字段，用户当前需求信息中CPU和内存两个字段，以及用于代表云主机资源对用户请求信息的匹配度的标签构成；

5.2)将分类器调度数据集输入训练完成的分类器模型对符合用户当前请求的云主机资源进行预选；

5.3)将打分器调度数据集输入训练完成的打分器模型选择出对用户请求的匹配度最高的云主机资源。

2.根据权利要求1所述的一种基于深度学习的云主机资源调度方法，其特征在于：步骤3)所述的标签Label₁的取值方式如下：

分类器数据收集的字段信息如下：

nodeport:云主机中是否存在用户请求的端口，若存在，则直接采集该端口，否则，随机端口即可。

nodecup：云主机中空闲的CPU资源数量

nodedisk：云主机中空闲的磁盘数量

nodememory：云主机中空闲的内存大小

nodelabel：云主机的标识

request port：请求的端口号

requestcpu：请求的cpu数量

requestmemory：请求的内存大小

requestlable：请求的云主机标识

使用有监督学习方式，其中node中所有资源为空闲可用的资源，不包含已经分配出去的资源；label₁字段的取值方式依据请求数据相对与云主机中采集到的数据，满足用户请求即可取值为1，否则为0处理。

3.根据权利要求1所述的一种基于深度学习的云资源调度方法，其特征在于：

步骤3)所属的标签Label₂的计算公式如下：

Label₂＝10-|Fraction_M-Fraction_N|*10

其中，Fraction_M＝request_M/capacity_M,

Fraction_N＝request_N/capacity_N,

request为用户请求资源量，capacity为云主机当前可用资源量，M代表CPU，N代表内存。

4.根据权利要求1所述的一种基于深度学习的云资源调度方法，其特征在于：

步骤3)中所述的神经网络模型包括一层输入层，三层隐藏层，一层输出层。