CN108037993B - 基于大数据和深度学习神经网络的云计算调度方法及系统 - Google Patents

Abstract

本发明公开了一种基于大数据和深度学习神经网络的云计算调度方法及系统，方法包括：获取需调度的云任务类型T、需调度的T类型云任务的数量M以及拟调度到的云资源候选类型；从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录；根据检索出的所有过去调度记录，采用深度学习神经网络预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量；根据预测的结果完成云计算调度。本发明基于过去能力大数据和深度学习神经网络，通过过去不同类型的云任务调度到不同云资源上时对云资源的占用情况这一客观事实来进行预测，更加准确，调度效率更高。本发明可广泛应用于云计算领域。

Description

基于大数据和深度学习神经网络的云计算调度方法及系统

技术领域

本发明涉及云计算领域，尤其是一种基于大数据和深度学习神经网络的云计算调度方法及系统。

背景技术

当前，云计算技术可谓是计算机服务领域最热门的话题之一。大到行业的领袖企业，如IBM、Google，小到一些私人企业，甚至一些乐于追求新技术的技术人员，都在部署或研究云计算，希望通过云计算来巩固或提升自己在行业的地位。云计算环境中采用虚拟化技术，将服务器整体虚拟化为一个数据资源池，由于数据资源种类多、规模大，因此云计算数据资源调度成为云计算研究的热点之一。

进行云计算调度时，最重要的是在调度之前预测一个云任务调度到某类云资源上去会占用多少云资源，以作为调度的依据。现有的云计算调度基本上都采用了预估式，通过预估某个云计算任务占用的云资源量(包括计算、内存、外存、网络等资源)和剩余云资源量进行调度。现有技术的这种预估方式一般是根据任务类型对占用的云资源量进行粗略估计的，但这种粗略估计并未结合过去对云资源的实际占用情况进行预测，往往是不准确的，导致基于此的调度也不一定能最大程度地利用云资源，调度效率不高。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种准确和调度效率高的基于大数据和深度学习神经网络的云计算调度方法及系统。

本发明所采取的第一技术方案是：

基于大数据和深度学习神经网络的云计算调度方法，包括以下步骤：

获取需调度的云任务类型T、需调度的T类型云任务的数量M以及拟调度到的云资源候选类型；

从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录，所述过去能力大数据库存储有过去每次调度中不同类型的云任务调度到不同类型的云资源上时云任务的类型、T类型云任务的数量、云资源候选类型及候选类型云资源的占用数量；

根据检索出的所有过去调度记录，采用深度学习神经网络预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量；

根据预测的结果完成云计算调度。

进一步，所述从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录这一步骤，具体包括以下步骤：

A、判断从T类型的云任务调度到候选类型中任一类型的云资源上的所有过去调度记录的个数是否等于0，若是，则执行步骤B，反之，则执行步骤C；

B、向用户发送关于T类型的云任务是否能在候选类型中执行的询问信息，并根据用户返回的反馈结果执行相应的操作：如果用户返回肯定的反馈，则继续执行步骤C；如果用户返回否定的反馈，则表明该候选类型的云资源的预测占用量为无穷大，此时结束对该候选类型的云资源的预测操作；

C、判断从T类型的云任务调度到候选类型的云资源上的所有过去调度记录的个数是否小于第一预设阈值，若是，则从过去能力大数据库中检索出从与T类型匹配度符合第二预设条件的类型的云任务调度到与候选类型匹配度符合第三预设条件的类型的云资源上的所有过去调度记录作为检索出的所有过去调度记录；反之，则从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录作为检索出的所有过去调度记录。

进一步，所述根据检索出的所有过去调度记录，采用深度学习神经网络预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量这一步骤，具体包括：

初始化预设深度学习神经网络，使得预设深度学习神经网络的输入节点能以T类型云任务的数量作为输入，并使输出节点能以占用候选类型云资源的数量作为输出；

将检索出的每个过去调度记录按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练；

将需调度的T类型云任务的数量M作为训练后的预设深度学习神经网络的输入，并将训练后的预设深度学习神经网络计算得到的输出作为预测出的调度数量M的T类型云任务到候选类型云资源时会占用候选类型云资源的数量。

进一步，所述将检索出的每个过去调度记录按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练这一步骤，具体包括：

将检索出的每个过去调度记录按照时间先后顺序进行排序，所述检索出的每个过去调度记录包括云任务类型T以及对应的日期及时间k，T类型云任务的数量，云资源候选类型以及占用候选类型云资源的数量；

按照排序的先后依次将每个过去调度记录中T类型云任务的数量作为训练输入数据，对预设深度学习神经网络进行无监督训练；

按照排序的先后依次将每个过去调度记录中T类型云任务的数量作为训练输入数据，占用候选类型云资源的数量作为训练输出数据，对预设深度学习神经网络进行有监督训练。

进一步，所述根据预测的结果完成云计算调度这一步骤，具体包括：

将预测的调度数量M的T类型的云任务到具有剩余云资源的每一候选类型云资源时会占用该每一候选类型云资源的数量作为调度数量M的T类型云任务到该每一候选类型云资源时会占用该每一候选类型云资源的数量，并输出给云计算调度系统；

云计算调度系统根据预测的结果从所有候选类型云资源中选择一个类型云资源进行调度。

进一步，所述云计算调度系统根据预测的结果从所有候选类型云资源中选择一个类型云资源进行调度这一步骤，具体包括：

获取每一候选类型云资源的剩余资源量和单位成本；

判断T类型云任务是否可以拆分并调度到不同云资源，若是，则执行下一步骤，反之，则从所有候选类型云资源中选择一个剩余资源量大于或等于预测占用数量且总成本最低的一个类型云资源进行调度，其中，预测占用数量等于预测的数量M的T类型云任务占用候选类型云资源的数量，总成本＝预测占用数量×单位成本；

令剩余数量M’的初始值为M，从所有尚未被调度的候选类型云资源中选择有剩余资源量且单位成本最低的候选类型云资源，如果选择的候选类型的剩余预测占用量小于等于剩余资源量，则将数量M’的T类型云任务全部调度给该候选类型云资源；如果选择的候选类型的剩余预测占用量大于剩余资源量，则从数量M’的T类型云任务中拆分出M’×(剩余资源量/剩余预测占用数量)数量的T类型云任务调度给该候选类型云资源，并将M’更新为M’×(1-剩余资源量/剩余预测占用数量)，然后重新在尚未被调度的候选类型云资源中进行候选类型云资源选择，直至剩余资源量大于剩余预测占用数量，其中，剩余预测占用数量＝预测占用数量×(M’/M)，预测占用数量等于预测的数量M的T类型云任务占用候选类型云资源的数量。

进一步，还包括以下步骤：

在数量M的T类型云任务被调度且运行完成后，获取数量M的T类型云任务实际占用的被调度的候选类型云资源的数量，并存入过去能力大数据库。

本发明所采取的第二技术方案是：

基于大数据和深度学习神经网络的云计算调度系统，包括以下模块：

获取模块，用于获取需调度的云任务类型T、需调度的T类型云任务的数量M以及拟调度到的云资源候选类型；

检索模块，用于从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录，所述过去能力大数据库存储有过去每次调度中不同类型的云任务调度到不同类型的云资源上时云任务的类型、T类型云任务的数量、云资源候选类型及候选类型云资源的占用数量；

预测模块，用于根据检索出的所有过去调度记录，采用深度学习神经网络预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量；

调度模块，用于根据预测的结果完成云计算调度。

进一步，所述预测模块包括：

初始化单元，用于初始化预设深度学习神经网络，使得预设深度学习神经网络的输入节点能以T类型云任务的数量作为输入，并使输出节点能以占用候选类型云资源的数量作为输出；

排序与训练单元，用于将检索出的每个过去调度记录按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练；

预测输出单元，用于将需调度的T类型云任务的数量M作为训练后的预设深度学习神经网络的输入，并将训练后的预设深度学习神经网络计算得到的输出作为预测出的调度数量M的T类型云任务到候选类型云资源时会占用候选类型云资源的数量。

本发明所采取的第三技术方案是：

基于大数据和深度学习神经网络的云计算调度系统，包括：

存储器，用于存放程序；

处理器，用于加载所述程序以执行如第一技术方案所述的基于大数据和深度学习神经网络的云计算调度方法。

本发明的有益效果是：本发明基于大数据和深度学习神经网络的云计算调度方法及系统，从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录，并根据检索出的所有过去调度记录，采用深度学习神经网络预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量，基于过去能力大数据和深度学习神经网络，通过过去不同类型的云任务调度到不同云资源上时对云资源的占用情况这一客观事实，来对调度任务中相应类型的云任务调度到相应类型云资源时将会占用的资源状况进行预测，与现有粗略估计的预估式预测方式相比，更加准确，使得基于本发明的预测结果的调度能最大程度地利用云资源，调度效率更高。

附图说明

图1为本发明基于大数据和深度学习神经网络的云计算调度方法的整体流程图；

图2为本发明的一种具体实施例的实现流程图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。

如图1所示，本发明基于大数据和深度学习神经网络的云计算调度方法，包括以下步骤：

获取需调度的云任务类型T、需调度的T类型云任务的数量M以及拟调度到的云资源候选类型；

从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录，所述过去能力大数据库存储有过去每次调度中不同类型的云任务调度到不同类型的云资源上时云任务的类型、T类型云任务的数量、云资源候选类型及候选类型云资源的占用数量；

根据检索出的所有过去调度记录，采用深度学习神经网络预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量；

根据预测的结果完成云计算调度。

本发明拟调度到的云资源候选类型至少一个，可以是1种类型或多种备选类型。

与传统云计算调度基于任务类型的预估式预测方式不同的是，本发明通过深度学习神经网络结合历史能力数据库的数据来预测一个云任务调度到某类云资源上会占用多少云资源。也就是说，本发明通过过去不同类型的云任务调度到不同云资源上时对云资源的占用情况，来对调度任务中相应类型的云任务调度到相应类型云资源时将会占用的资源状况进行预测。由于过去不同类型的云任务调度到不同云资源上时对云资源的占用情况是客观事实，所以基于这种客观事实做出的预测也更可靠和可信。

进一步作为优选的实施方式，所述从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录这一步骤，具体包括以下步骤：

A、判断从T类型的云任务调度到候选类型中任一类型的云资源上的所有过去调度记录的个数是否等于0，若是，则执行步骤B，反之，则执行步骤C；

B、向用户发送关于T类型的云任务是否能在候选类型中执行的询问信息，并根据用户返回的反馈结果执行相应的操作：如果用户返回肯定的反馈(即T类型的云任务能在该候选类型中执行)，则继续执行步骤C；如果用户返回否定的反馈(即T类型的云任务不能在该候选类型中执行)，则表明该候选类型的云资源的预测占用量为无穷大，此时结束对该候选类型的云资源的预测操作；

C、判断从T类型的云任务调度到候选类型的云资源上的所有过去调度记录的个数是否小于第一预设阈值，若是，则从过去能力大数据库中检索出从与T类型匹配度符合第二预设条件的类型的云任务调度到与候选类型匹配度符合第三预设条件的类型的云资源上的所有过去调度记录作为检索出的所有过去调度记录；反之，则从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录作为检索出的所有过去调度记录。

本发明通过第一预设阈值、第二预设条件和第三预设条件确保了有足够的数据训练预设深度学习神经网络，更加可靠和全面。其中，第二预设条件可预先设定，如设置为“任务名称匹配”，此时与T类型匹配度符合第二预设条件的类型可以是任务名称与T类型的相同但任务版本号不一致的类型。第三预设条件可预先设定，如设置为“资源名称匹配”，此时与候选类型匹配度符合第三预设条件的类型可以是资源名称与候选类型的相同但资源版本号不一致的类型。

进一步作为优选的实施方式，所述根据检索出的所有过去调度记录，采用深度学习神经网络预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量这一步骤，具体包括：

初始化预设深度学习神经网络，使得预设深度学习神经网络的输入节点能以T类型云任务的数量作为输入，并使输出节点能以占用候选类型云资源的数量作为输出；

将检索出的每个过去调度记录按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练；

将需调度的T类型云任务的数量M作为训练后的预设深度学习神经网络的输入，并将训练后的预设深度学习神经网络计算得到的输出作为预测出的调度数量M的T类型云任务到候选类型云资源时会占用候选类型云资源的数量。

因为越是接近调度的当前时间(即最近时间)的训练数据，对云计算调度预测的参考价值越大，所以本发明需要按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练，这样做的好处是使得越是最近时间的训练数据越是最后对深度学习神经网络进行训练，也就说，本发明令最近时间的训练数据对训练后的深度学习神经网络的影响更大，从而使得训练后的深度学习神经网络更能反映出最近的训练数据的特征。

进一步作为优选的实施方式，所述将检索出的每个过去调度记录按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练这一步骤，具体包括：

将检索出的每个过去调度记录按照时间先后顺序进行排序，所述检索出的每个过去调度记录包括云任务类型T以及对应的日期及时间k，T类型云任务的数量，云资源候选类型以及占用候选类型云资源的数量；

按照排序的先后依次将每个过去调度记录中T类型云任务的数量作为训练输入数据，对预设深度学习神经网络进行无监督训练；

按照排序的先后依次将每个过去调度记录中T类型云任务的数量作为训练输入数据，占用候选类型云资源的数量作为训练输出数据，对预设深度学习神经网络进行有监督训练。

其中，无监督训练和有监督训练可沿用现有深度学习神经网络的无监督训练和有监督训练的方法。

进一步作为优选的实施方式，所述根据预测的结果完成云计算调度这一步骤，具体包括：

将预测的调度数量M的T类型的云任务到具有剩余云资源的每一候选类型云资源时会占用该每一候选类型云资源的数量作为调度数量M的T类型云任务到该每一候选类型云资源时会占用该每一候选类型云资源的数量，并输出给云计算调度系统；

云计算调度系统根据预测的结果从所有候选类型云资源中选择一个类型云资源进行调度。

进一步作为优选的实施方式，所述云计算调度系统根据预测的结果从所有候选类型云资源中选择一个类型云资源进行调度这一步骤，具体包括：

获取每一候选类型云资源的剩余资源量和单位成本；

判断T类型云任务是否可以拆分并调度到不同云资源，若是，则执行下一步骤，反之，则从所有候选类型云资源中选择一个剩余资源量大于或等于预测占用数量且总成本最低的一个类型云资源进行调度，其中，预测占用数量等于预测的数量M的T类型云任务占用候选类型云资源的数量，总成本＝预测占用数量×单位成本；

令剩余数量M’的初始值为M，从所有尚未被调度的候选类型云资源中选择有剩余资源量且单位成本最低的候选类型云资源，如果选择的候选类型的剩余预测占用量小于等于剩余资源量，则将数量M’的T类型云任务全部调度给该候选类型云资源；如果选择的候选类型的剩余预测占用量大于剩余资源量，则从数量M’的T类型云任务中拆分出M’×(剩余资源量/剩余预测占用数量)数量的T类型云任务调度给该候选类型云资源，并将M’更新为M’×(1-剩余资源量/剩余预测占用数量)，然后重新在尚未被调度的候选类型云资源中进行候选类型云资源选择，直至剩余资源量大于剩余预测占用数量，其中，剩余预测占用数量＝预测占用数量×(M’/M)，预测占用数量等于预测的数量M的T类型云任务占用候选类型云资源的数量。

其中，每类候选云资源类型云资源的总成本＝该类候选类型云资源的预测占用数量×单位成本。

进一步作为优选的实施方式，还包括以下步骤：

在数量M的T类型云任务被调度且运行完成后，获取数量M的T类型云任务实际占用的被调度的候选类型云资源的数量，并存入过去能力大数据库。

在云计算调度完成后，本发明通过将实际占用的候选类型云资源的数量存入过去能力大数据库来修正和不断更新实际占用的候选类型云资源的数量，使得预测结果更加准确和可靠。

与图1的方法相对应，本发明基于大数据和深度学习神经网络的云计算调度系统，包括以下模块：

获取模块，用于获取需调度的云任务类型T、需调度的T类型云任务的数量M以及拟调度到的云资源候选类型；

检索模块，用于从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录，所述过去能力大数据库存储有过去每次调度中不同类型的云任务调度到不同类型的云资源上时云任务的类型、T类型云任务的数量、云资源候选类型及候选类型云资源的占用数量；

预测模块，用于根据检索出的所有过去调度记录，采用深度学习神经网络预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量；

调度模块，用于根据预测的结果完成云计算调度。

进一步作为优选的实施方式，所述预测模块包括：

初始化单元，用于初始化预设深度学习神经网络，使得预设深度学习神经网络的输入节点能以T类型云任务的数量作为输入，并使输出节点能以占用候选类型云资源的数量作为输出；

排序与训练单元，用于将检索出的每个过去调度记录按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练；

预测输出单元，用于将需调度的T类型云任务的数量M作为训练后的预设深度学习神经网络的输入，并将训练后的预设深度学习神经网络计算得到的输出作为预测出的调度数量M的T类型云任务到候选类型云资源时会占用候选类型云资源的数量。

与图1的方法相对应，本发明基于大数据和深度学习神经网络的云计算调度系统，包括：

存储器，用于存放程序；

处理器，用于加载所述程序以执行如本发明所述的基于大数据和深度学习神经网络的云计算调度方法。

如图2所示，本发明云计算调度方案的一种具体实施例的具体实现步骤S1-S6如下：

S1、将过去每次调度中不同类型的云任务调度到不同类型的云资源上时云任务的类型及数量、云资源的类型及占用数量存入过去能力大数据库。

其中，过去能力大数据库用于存储的过去能力大数据。过去能力大数据，是指云调度的当前时间(即需进行云调度预测的时间)之前的云调度记录。云调度记录包括调度日期及时间、云任务类型、T类型云任务的数量、云资源候选类型和占用候选类型云资源的数量等。例如，过去能力大数据包括：

日期及时间1，云任务类型T11，T类型云任务的数量M11，云资源候选类型R11，占用候选类型云资源的数量N11；

日期及时间2，云任务类型T21，T类型云任务的数量M21，云资源候选类型R21，占用候选类型云资源的数量N21；

日期及时间3，云任务类型T31，T类型云任务的数量M31，云资源候选类型R31，占用候选类型云资源的数量N31；

……

S2、获取需调度的云任务类型T、需调度的T类型云任务的数量M及拟调度到的每一云资源候选类型。

本具体实施例拟调度到的云资源类型至少一个，可以是1种类型或多种备选类型，云资源候选类型可用变量R表示。

S3、从过去能力大数据库中检索出所有从T类型的云任务调度到候选类型的云资源上的所有调度记录。

此步骤可进一步细分为：

A、判断从T类型的云任务调度到候选类型中任一类型的云资源上的所有过去调度记录的个数是否等于0，若是，则执行步骤B，反之，则执行步骤C；

B、向用户发送关于T类型的云任务是否能在候选类型中执行的询问信息，并根据用户返回的反馈结果执行相应的操作：如果用户返回肯定的反馈，则继续执行步骤C；如果用户返回否定的反馈，则表明该候选类型的云资源的预测占用量为无穷大，此时结束对该候选类型的云资源的预测操作；

C、判断从T类型的云任务调度到候选类型的云资源上的所有过去调度记录的个数是否小于第一预设阈值，若是，则从过去能力大数据库中检索出从与T类型匹配度符合第二预设条件的类型的云任务调度到与候选类型匹配度符合第三预设条件的类型的云资源上的所有过去调度记录作为检索出的所有过去调度记录；反之，则从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录作为检索出的所有过去调度记录。

例如，从过去能力大数据库中检索出所有从T类型的云任务调度到候选类型的云资源上的所有调度记录包括：

日期及时间k1，云任务类型T，T类型云任务的数量M1，云资源候选类型，占用候选类型云资源的数量N1；

日期及时间k2，云任务类型T，T类型云任务的数量M2，云资源候选类型，占用候选类型云资源的数量N2；

日期及时间k3，云任务类型T，T类型云任务的数量M3，云资源候选类型，占用候选类型云资源的数量N3；

……

而如果从T类型的云任务调度到候选类型的云资源上的所有调度记录的个数小于第一预设阈值，则检索出从与T类型匹配度大于符合第二预设条件的类型的云任务调度到与候选类型匹配度大于符合第三预设条件的类型的云资源上的所有调度记录，这样做的目的是确保有足够的数据训练预设深度学习神经网络。其中，与T类型匹配度大于符合第二预设条件的类型，是指，例如T类型是“打开OFFICE2007”，第二预设条件为任务名称匹配，那么类型“打开OFFICE2003”属于与T类型匹配度符合第二预设条件的类型，因为二者的任务名称“打开OFFICE”是匹配的，只是任务版本号不一致。与候选类型匹配度符合第三预设条件的类型，是指，例如候选类型是“Windows 2003”，第三预设条件为资源名称匹配，那么类型“Windows 2008”属于与候选类型匹配度符合第三预设条件的类型，因为二者的资源名称“Windows”是匹配的，只是资源版本号不一致。

S4、根据检索出来的每个调度记录中云任务的数量及云资源的占用情况，来预测调度数量M的T类型云任务到候选类型云资源时会占用候选类型云资源的数量。

步骤S4可进一步细分为：

S41、初始化预设深度学习神经网络，使得该预设深度学习神经网络的输入节点能接受T类型云任务的数量作为输入，并使得输入节点能接受候选类型云资源的数量作为输出。

S42、将检索出来的每个调度记录按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练。

例如，将检索出来的每个调度记录按照时间先后顺序进行排序后得到：

日期及时间k3，云任务类型T，T类型云任务的数量3，云资源候选类型，占用候选类型云资源的数量3；

日期及时间k1，云任务类型T，T类型云任务的数量1，云资源候选类型，占用候选类型云资源的数量1；

日期及时间k2，云任务类型T，T类型云任务的数量2，云资源候选类型，占用候选类型云资源的数量2；

……

训练时，首先进行如下无监督训练：

T类型云任务的数量3作为训练输入数据，对预设深度学习神经网络进行无监督训练；

T类型云任务的数量1作为训练输入数据，对预设深度学习神经网络进行无监督训练；

T类型云任务的数量2作为训练输入数据，对预设深度学习神经网络进行无监督训练；

……

接着进行如下有监督训练：

T类型云任务的数量3作为训练输入数据，占用候选类型云资源的数量3作为训练预期输出数据，对预设深度学习神经网络进行有监督训练；

T类型云任务的数量1作为训练输入数据，占用候选类型云资源的数量1作为训练预期输出数据，对预设深度学习神经网络进行有监督训练；

T类型云任务的数量2作为训练输入数据，占用候选类型云资源的数量2作为训练预期输出数据，对预设深度学习神经网络进行有监督训练；

……

因为越是最近的训练数据，对调度预测的参考价值越大，所以本具体实施例需要按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练，这样做的好处是：越是最近时间的训练数据越是最后对深度学习神经网络进行训练，也就是说令最近时间的训练数据对训练后的深度学习神经网络的影响更大，从而使得训练后的深度学习神经网络更能反映出最近的训练数据的特征。

S43、将需调度的云任务数量M作为训练后的预设深度学习神经网络的输入，并将训练后的预设深度学习神经网络计算得到的输出作为预测出的云资源的占用数量。

S5、将预测出的每一候选类型云资源对应的占用数量作为调度相同数量的类型T云任务到该候选类型云资源时会占用该候选类型云资源的数量输出给云计算调度系统，云计算调度系统根据预测的结果从所有候选类型云资源中选择一个类型云资源进行调度。

例如，有m个候选类型R，第1个类型的R记为R-1，其对应的预测占用数量记为N-1；第2个类型的R记为R-2，其对应的预测占用数量为N-2，依此类推。

则输出给云计算调度系统的预测结果为：

对应R-1的N-1，对应R-2的N-2，…，对应R-m的N-m。

此时步骤S5中云计算调度系统从所有候选类型云资源中选择一种候选类型云资源进行调度这一过程，可具体细分为以下步骤：

S511、获取每一候选类型云资源的剩余资源量STk和单位成本CTk；

S512、判断T类型云任务是否可以拆分并调度到不同云资源，如果不可以则执行步骤S513，否则可以执行步骤S514；

S513、从所有候选类型云资源中选择一个剩余资源量大于或等于预测占用数量(预测占用数量等于步骤S4预测出的T类型云任务占用候选类型云资源的数量)且总成本最低的一个类型云资源进行调度。

例如：

对应R-1的N-1，R-1的剩余资源量为STk-1、单位成本为CTk-1

对应R-2的N-2，R-2的剩余资源量为STk-2、单位成本为CTk-2

…

对应R-m的N-m，R-1的剩余资源量为STk-m、单位成本为CTk-m

如果N-1≤STk-1，则计算选择R-1的总成本N-1×CTk-1，否则不考虑对R-1的选择；

如果N-2≤STk-2，则计算选择R-2的总成本N-2×CTk-2，否则不考虑对R-2的选择；

…

如果N-m≤STk-m，则计算选择R-m的总成本N-m×CTk-m，否则不考虑对R-m的选择；

然后从所有计算的总成本中选出总成本最低的一个类型的云资源进行调度。

S514、令剩余数量M’初始值为M，从所有尚未被调度的候选类型云资源中选择有剩余资源量且单位成本最低的候选类型云资源，如果选择的候选类型云资源的剩余预测占用量(其中，剩余预测占用数量＝预测占用数量×(M’/M))小于等于相应的剩余资源量，则将数量M’的T类型云任务全部调度到该候选类型云资源，如果选择的候选类型云资源的剩余预测占用数量大于相应的剩余资源量，则从数量M’的T类型云任务中拆分出(M’×(剩余资源量/剩余预测占用数量))数量的T类型云任务调度到该候选类型云资源，并将M’更新为(M’×(1-剩余资源量/剩余预测占用数量))，重复这个步骤直至剩余资源量大于剩余预测占用数量。

例如：

对应R-1的N-1，R-1的剩余资源量为STk-1、单位成本为CTk-1

对应R-2的N-2，R-2的剩余资源量为STk-2、单位成本为CTk-2

…

对应R-m的N-m，R-1的剩余资源量为STk-m、单位成本为CTk-m

按照单位成本从低到高排序

令M’＝M

如果N-2≤STk-2，则将数量M’的T类型云任务全部调度到R-2类型云资源；

如果N-2>STk-2，则从数量M’的T类型云任务中拆分出(M’×(STk-2/N-2))数量的T类型云任务调度到R-2类型云资源，并将M’更新为(M’×(1-STk-2/N-2))；接下来对R-3对应的N-3进行类似处理，依此类推。

本具体实施例通过步骤S514的这种拆分可以实现将数量M的T类型云任务调度到的多个候选类型云资源时的总成本最低。

S6、在数量M的T类型云任务被调度且运行完成后，获取数量M的类型T云任务实际占用的被调度的候选类型云资源的数量，并存入过去能力大数据库。

本具体实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，本具体实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

本发明一种基于大数据和深度学习神经网络的云计算调度方法及系统，具有以下优点：

(1)基于过去能力大数据和深度学习神经网络，通过过去不同类型的云任务调度到不同云资源上时对云资源的占用情况这一客观事实，来对调度任务中相应类型的云任务调度到相应类型云资源时将会占用的资源状况进行预测，与现有粗略估计的预估式预测方式相比，更加准确，使得基于本发明的预测结果的调度能最大程度地利用云资源，调度效率更高。

(2)通过第一预设阈值、第二预设条件和第三预设条件确保了有足够的数据训练预设深度学习神经网络，更加可靠和全面。

(3)训练前先将检索出的每个过去调度记录按照时间先后顺序进行排序，令最近时间的训练数据对训练后的深度学习神经网络的影响更大，从而使得训练后的深度学习神经网络更能反映出最近的训练数据的特征，更加准确和可靠。

(4)在云计算调度完成后，本发明通过将实际占用的云资源的数量存入过去能力大数据库来修正和不断更新实际占用的云资源数量，使得预测结果更加准确和可靠。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.基于大数据和深度学习神经网络的云计算调度方法，其特征在于：包括以下步骤：

获取需调度的云任务类型T、需调度的T类型云任务的数量M以及拟调度到的云资源候选类型；

从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录，所述过去能力大数据库存储有过去每次调度中不同类型的云任务调度到不同类型的云资源上时云任务的类型、T类型云任务的数量、云资源候选类型及候选类型云资源的占用数量；

根据检索出的所有过去调度记录，采用深度学习神经网络预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量；

根据预测的结果完成云计算调度；

所述根据预测的结果完成云计算调度这一步骤，具体包括：

将预测的调度数量M的T类型的云任务到具有剩余云资源的每一候选类型云资源时会占用该每一候选类型云资源的数量作为调度数量M的T类型云任务到该每一候选类型云资源时会占用该每一候选类型云资源的数量，并输出给云计算调度系统；

云计算调度系统根据预测的结果从所有候选类型云资源中选择一个类型云资源进行调度；

所述云计算调度系统根据预测的结果从所有候选类型云资源中选择一个类型云资源进行调度这一步骤，具体包括：

获取每一候选类型云资源的剩余资源量和单位成本；

判断T类型云任务是否可以拆分并调度到不同云资源，若是，则执行下一步骤，反之，则从所有候选类型云资源中选择一个剩余资源量大于或等于预测占用数量且总成本最低的一个类型云资源进行调度，其中，预测占用数量等于预测的数量M的T类型云任务占用候选类型云资源的数量，总成本＝预测占用数量×单位成本；

令剩余数量M’的初始值为M，从所有尚未被调度的候选类型云资源中选择有剩余资源量且单位成本最低的候选类型云资源，如果选择的候选类型的剩余预测占用量小于等于剩余资源量，则将数量M’的T类型云任务全部调度给该候选类型云资源；如果选择的候选类型的剩余预测占用量大于剩余资源量，则从数量M’的T类型云任务中拆分出M’×(剩余资源量/剩余预测占用数量)数量的T类型云任务调度给该候选类型云资源，并将M’更新为M’×(1-剩余资源量/剩余预测占用数量)，然后重新在尚未被调度的候选类型云资源中进行候选类型云资源选择，直至剩余资源量大于剩余预测占用数量，其中，剩余预测占用数量＝预测占用数量×(M’/M)，预测占用数量等于预测的数量M的T类型云任务占用候选类型云资源的数量。

2.根据权利要求1所述的基于大数据和深度学习神经网络的云计算调度方法，其特征在于：所述从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录这一步骤，具体包括以下步骤：

A、判断从T类型的云任务调度到候选类型中任一类型的云资源上的所有过去调度记录的个数是否等于0，若是，则执行步骤B，反之，则执行步骤C；

B、向用户发送关于T类型的云任务是否能在候选类型中执行的询问信息，并根据用户返回的反馈结果执行相应的操作：如果用户返回肯定的反馈，则继续执行步骤C；如果用户返回否定的反馈，则表明该候选类型的云资源的预测占用量为无穷大，此时结束对该候选类型的云资源的预测操作；

C、判断从T类型的云任务调度到候选类型的云资源上的所有过去调度记录的个数是否小于第一预设阈值，若是，则从过去能力大数据库中检索出从与T类型匹配度符合第二预设条件的类型的云任务调度到与候选类型匹配度符合第三预设条件的类型的云资源上的所有过去调度记录作为检索出的所有过去调度记录；反之，则从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录作为检索出的所有过去调度记录。

3.根据权利要求1所述的基于大数据和深度学习神经网络的云计算调度方法，其特征在于：所述根据检索出的所有过去调度记录，采用深度学习神经网络预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量这一步骤，具体包括：

初始化预设深度学习神经网络，使得预设深度学习神经网络的输入节点能以T类型云任务的数量作为输入，并使输出节点能以占用候选类型云资源的数量作为输出；

将检索出的每个过去调度记录按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练；

将需调度的T类型云任务的数量M作为训练后的预设深度学习神经网络的输入，并将训练后的预设深度学习神经网络计算得到的输出作为预测出的调度数量M的T类型云任务到候选类型云资源时会占用候选类型云资源的数量。

4.根据权利要求3所述的基于大数据和深度学习神经网络的云计算调度方法，其特征在于：所述将检索出的每个过去调度记录按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练这一步骤，具体包括：

将检索出的每个过去调度记录按照时间先后顺序进行排序，所述检索出的每个过去调度记录包括云任务类型T以及对应的日期及时间k，T类型云任务的数量，云资源候选类型以及占用候选类型云资源的数量；

按照排序的先后依次将每个过去调度记录中T类型云任务的数量作为训练输入数据，对预设深度学习神经网络进行无监督训练；

按照排序的先后依次将每个过去调度记录中T类型云任务的数量作为训练输入数据，占用候选类型云资源的数量作为训练输出数据，对预设深度学习神经网络进行有监督训练。

5.根据权利要求1所述的基于大数据和深度学习神经网络的云计算调度方法，其特征在于：还包括以下步骤：

在数量M的T类型云任务被调度且运行完成后，获取数量M的T类型云任务实际占用的被调度的候选类型云资源的数量，并存入过去能力大数据库。

6.基于大数据和深度学习神经网络的云计算调度系统，其特征在于：包括以下模块：

获取模块，用于获取需调度的云任务类型T、需调度的T类型云任务的数量M以及拟调度到的云资源候选类型；

检索模块，用于从过去能力大数据库中检索出所有从类型T的云任务调度到候选类型的云资源上的所有过去调度记录，所述过去能力大数据库存储有过去每次调度中不同类型的云任务调度到不同类型的云资源上时云任务的类型、T类型云任务的数量、云资源候选类型及候选类型云资源的占用数量；

预测模块，用于根据检索出的所有过去调度记录，采用深度学习神经网络预测调度数量M的T类型云任务到候选类型的云资源时会占用候选类型云资源的数量；

调度模块，用于根据预测的结果完成云计算调度；

所述调度模块根据预测的结果完成云计算调度，具体包括：

将预测的调度数量M的T类型的云任务到具有剩余云资源的每一候选类型云资源时会占用该每一候选类型云资源的数量作为调度数量M的T类型云任务到该每一候选类型云资源时会占用该每一候选类型云资源的数量，并输出给云计算调度系统；

云计算调度系统根据预测的结果从所有候选类型云资源中选择一个类型云资源进行调度；

所述云计算调度系统根据预测的结果从所有候选类型云资源中选择一个类型云资源进行调度，具体包括：

获取每一候选类型云资源的剩余资源量和单位成本；

判断T类型云任务是否可以拆分并调度到不同云资源，若是，则执行下一步骤，反之，则从所有候选类型云资源中选择一个剩余资源量大于或等于预测占用数量且总成本最低的一个类型云资源进行调度，其中，预测占用数量等于预测的数量M的T类型云任务占用候选类型云资源的数量，总成本＝预测占用数量×单位成本；

令剩余数量M’的初始值为M，从所有尚未被调度的候选类型云资源中选择有剩余资源量且单位成本最低的候选类型云资源，如果选择的候选类型的剩余预测占用量小于等于剩余资源量，则将数量M’的T类型云任务全部调度给该候选类型云资源；如果选择的候选类型的剩余预测占用量大于剩余资源量，则从数量M’的T类型云任务中拆分出M’×(剩余资源量/剩余预测占用数量)数量的T类型云任务调度给该候选类型云资源，并将M’更新为M’×(1-剩余资源量/剩余预测占用数量)，然后重新在尚未被调度的候选类型云资源中进行候选类型云资源选择，直至剩余资源量大于剩余预测占用数量，其中，剩余预测占用数量＝预测占用数量×(M’/M)，预测占用数量等于预测的数量M的T类型云任务占用候选类型云资源的数量。

7.根据权利要求6所述的基于大数据和深度学习神经网络的云计算调度系统，其特征在于：所述预测模块包括：

初始化单元，用于初始化预设深度学习神经网络，使得预设深度学习神经网络的输入节点能以T类型云任务的数量作为输入，并使输出节点能以占用候选类型云资源的数量作为输出；

排序与训练单元，用于将检索出的每个过去调度记录按照时间先后顺序进行排序，并按照排序的先后依次作为训练数据对预设深度学习神经网络进行训练；

预测输出单元，用于将需调度的T类型云任务的数量M作为训练后的预设深度学习神经网络的输入，并将训练后的预设深度学习神经网络计算得到的输出作为预测出的调度数量M的T类型云任务到候选类型云资源时会占用候选类型云资源的数量。

8.基于大数据和深度学习神经网络的云计算调度系统，其特征在于：包括：

存储器，用于存放程序；

处理器，用于加载所述程序以执行如权利要求1-5任一项所述的基于大数据和深度学习神经网络的云计算调度方法。

Images