CN102833289B - 一种分布式云计算资源组织和任务分配方法 - Google Patents

Abstract

本发明公开了一种分布式云计算资源组织和任务分配方法，该方法中，云计算资源被组织为若干自治的簇，每个簇由一个簇首节点和若干个资源节点构成，簇首节点是系统启动初始化时采用分布式簇首选举法产生，资源节点根据与簇首节点的通信选择加入不同的簇；系统运行时，簇首节点动态调整簇大小；每个簇内采用最佳分配任务法和任务迁移法进行节点上的任务分配。本发明方法在保证系统性能的前提下，实现整个簇内资源的最优化，在降低系统管理复杂性的前提下，提高了系统灵活性和可扩展性，为大规模、大范围的云计算应用提供了保证。

Description

一种分布式云计算资源组织和任务分配方法

技术领域

本发明属于大规模分布式云计算信息技术领域，具体涉及一种分布式云计算资源组织和任务分配方法。

背景技术

云计算是一种新型的商业计算模式，它通过对大量计算机构成的资源池进行统一调配，使各种不同的应用能够按需获取处理器、存储空间等各种计算资源。云计算将传统基于桌面的任务处理转化为基于网络的任务处理，使得计算资源能够像商品一样在互联网上进行流通，用户可以以极低的成本获得较高的计算能力，而不再需要购买并维护昂贵的软硬件设备。

云计算能够将计算分布在大量的分布式计算机上，而非本地计算机或单一远程服务器中，这样，企业就能够将资源切换到需要的应用上，根据需求访问计算机和存储系统，应用提供者无需为繁琐的计算资源管理而烦恼，从而能够更加专注于自己的业务逻辑。这种业务逻辑与计算资源的分离大大的降低了企业信息化的复杂度。更重要的是，云计算带来的服务整合与按需供给大大提高了当前计算资源的利用率，降低服务的能耗量，并且有效屏蔽计算资源的出错问题。

由于云计算的核心就是资源，因此资源的组织和分配是云计算技术要解决的一个重要问题，其效率直接影响整个云计算服务的质量。因此，对云计算资源管理的研究也由来已久。

UCBerkeley开发的Ganglia是一个面向分布式计算系统的资源和负载监测系统。Ganglia包括若干组件，这些组件效率很高，分别负责系统监控、数据收集和指标显示等工作。Ganglia采用树形结构，并对搜集的信息进行集中管理，然后通过UDP多播或者TCP连接发布资源和负载信息。集中的管理会导致系统的扩展性较差，从而无法适应云计算大规模动态的数据信息管理。另外，Ganglia使用RRD(RoundRobinDatabase)数据库，能够在一定程度上简化海量监控历史数据的处理，但是Ganglia使用它却会造成性能上的瓶颈，尤其是在对数据进行归档合并的时候，会造成瞬间磁盘的访问量提高，对云计算系统干扰较大。

Supermon是由美国洛斯阿拉莫斯国家高级计算实验室开发的一套高速集群监控系统。它强调低扰动、高采样率，并且提供从单一处理器到多处理器的支持。Supermon在结构上分为三个层次，底层是每个结点上的监控信息收集程序，用来收集结点状态信息；中间层是一个数据集中器，它的任务是汇总来自每个mon的数据并处理来自上层的数据请求事例；最上层是应用客户端或者顶层数据集中器，用来进行显示或是再次数据汇总这种层次结构使得Supermon有较好的可扩展性。但是因为仍旧采用集中式管理，所以当节点规模变大时性能会呈线性下降，同时Supermon也是系统中的单一失效点，使系统可靠性下降。

发明内容

本发明针对现有的云计算系统集中式资源调度方法的灵活性以及可扩展性等缺陷，提出了一种分布式云计算资源组织和任务分配方法。

实现上述发明目的的技术方案为，一种分布式云计算资源组织和任务分配方法，云计算资源被组织为若干自治的簇，每个簇由一个簇首节点和若干个资源节点构成，簇首节点是系统启动初始化时采用分布式簇首选举法产生，资源节点根据与簇首节点的通信选择加入不同的簇；系统运行时，簇首节点动态调整簇大小；每个簇内采用最佳分配任务法和任务迁移法进行节点上的任务分配。

所述分布式簇首选举法的步骤为：(1)确定簇大小期望值参数CSize和簇大小容许范围参数CRange，从而确定一个簇的资源节点个数范围在CSize-CRange和CSize+CRange之间；(2)每个资源节点选取一个介于0到1之间的随机数，如果该随机数大于1/CSize，则该节点成为簇首节点，否则为普通资源节点。

所述资源节点根据与簇首的通信选择加入不同的簇的步骤为：(1)资源节点广播1类请求加入数据包，该数据包仅针对簇首节点，簇首节点在收到该数据包后，返回一个应答数据包，其中包含其簇内尚可容许加入的节点个数；(2)步骤(1)的资源节点在收到应答数据包之后，按照信号强度开始查询第一个尚可容许加入的节点个数大于0的簇，如果找到则加入该簇；否则，广播2类请求加入数据包，该数据包针对一般资源节点，收到该数据包的节点将该数据包转发给其簇首节点，然后簇首节点返回一个应答数据包，该数据包中包含该节点到簇首节点的跳数和其簇内尚可容许加入的节点个数，广播2类请求加入数据包的资源节点在收到应答数据包之后，选择跳数最少且尚可容许加入的节点个数大于0的簇加入，如果仍然找不到符合条件的簇，则该资源节点升级为簇首节点。

所述簇首节点动态调整簇大小包括簇分割和簇解散，簇分割的方法步骤为：(1)簇首节点统计簇内的资源节点个数，若资源节点个数大于CSize+CRange，则簇分割开始，否则不进行簇分割；(2)簇分割开始后，首先簇首节点发起广播，资源节点上报其统计的平均信号强度，簇首节点选择平均信号强度最大的资源节点作为新簇的簇首，并广播给所有簇内资源节点；(3)簇内资源节点根据信号强度重新选择簇首节点，完成簇分割。簇解散的方法步骤为：(1)簇首节点统计簇内的资源节点个数，若资源节点个数小于CSize-CRange，则簇解散开始，否则不进行簇解散；(2)首先簇首节点发起广播，簇内资源节点在收到这个广播数据包之后便各自启动加入不同的簇的方法，完成簇解散。

每个簇内采用的最佳分配任务法为，资源节点接收到一个任务之后，向簇内所有资源节点广播该任务所需要的处理器个数，资源节点分别计算分配此任务后剩余的处理器数目，簇首节点选择一个剩余处理器数目最小的资源节点，并将任务分配给此资源节点。

每个簇内采用的任务迁移法步骤为：(1)簇首节点向簇内所有资源节点发出汇报要求数据包，资源节点发回各自的处理器以及任务分配情况；(2)簇首节点开始计算迁移方案，对于每一个节点的处理器占用最少的任务拿出，放入一个任务池中，再将节点按照剩余任务所占处理器个数排序，接下来按从小到大的顺序依次将各节点的任务使用最佳分配任务法进行分配，如果某任务无法分配就保持其在原有的节点上；(3)将任务池中的任务按照所占处理器从大到小的顺序使用最佳分配任务法进行分配。

本发明的方法将云计算的资源划分为很多自治的簇，通过簇首选举法选出相应的簇首节点，簇首节点对簇内的节点资源进行一定的管理；另外，该方法中还对簇进行动态的调整，根据簇的大小实现簇的自发分割和合并；对于簇内任务的分配，提出了一种能耗最小化的任务分配方法，该方法以能耗为优化目标，在保证系统的性能的前提下，实现整个簇内资源的最优化。本发明所涉及的方法，均采用分布式的方式，因此不需要一个统一的资源管理服务器，在降低系统管理复杂性的前提下，提高了系统灵活性和可扩展性，为大规模、大范围的云计算应用提供了保证。

附图说明

图1是云计算资源的簇结构图；

图2是资源节点加入不同簇的流程图；

图3是簇分割的流程图；

图4是最佳分配任务法流程图；

图5是任务迁移法流程图；

图中，A1、A2、A3代表不同的簇，H1、H2、H3代表不同簇的簇首节点，N表示云资源节点。

具体实施方式

为便于本发明技术方案的理解，下面结合具体的实施方式进行介绍。如图1是本发明所述分布式云计算资源组织和任务分配方法中的节点资源簇结构图。如图，云计算资源被组织为若干自治的簇，图中所示的实施例用A1、A2、A3表示了3个簇，每个簇由一个簇首节点和若干个资源节点N构成，图中的3个簇首节点是H1、H2和H3，簇的个数不局限于实施例所表示的3个簇。每个簇首节点是系统启动初始化时采用分布式簇首选举法产生，分布式簇首选举法的步骤为：(1)确定簇大小期望值参数CSize和簇大小容许范围参数CRange，从而确定一个簇的资源节点个数范围在CSize-CRange和CSize+CRange之间；(2)每个资源节点选取一个介于0到1之间的随机数，如果该随机数大于1/CSize，则该节点成为簇首节点，否则为普通资源节点。

簇首节点产生后，资源节点根据与簇首节点的通信选择加入不同的簇，其具体方法如图2所示，(1)资源节点广播1类请求加入数据包，该数据包仅针对簇首节点，簇首节点在收到该数据包后，返回一个应答数据包，其中包含其簇内尚可容许加入的节点个数；(2)步骤(1)的资源节点在收到应答数据包之后，按照信号强度开始查询第一个尚可容许加入的节点个数大于0的簇，如果找到则加入该簇；否则，广播2类请求加入数据包，该数据包针对一般资源节点，收到该数据包的节点将该数据包转发给其簇首节点，然后簇首节点返回一个应答数据包，该数据包中包含该节点到簇首节点的跳数和其簇内尚可容许加入的节点个数，广播2类请求加入数据包的资源节点在收到应答数据包之后，选择跳数最少且尚可容许加入的节点个数大于0的簇加入，如果仍然找不到符合条件的簇，则该资源节点升级为簇首节点。

系统运行时，簇首节点动态调整簇大小，调整的方法包括簇分割和簇解散，簇分割的方法流程如图3，(1)簇首节点统计簇内的资源节点个数，若资源节点个数大于CSize+CRange，则簇分割开始，否则不进行簇分割；(2)簇分割开始后，首先簇首节点发起广播，资源节点上报其统计的平均信号强度，簇首节点选择平均信号强度最大的资源节点作为新簇的簇首，并广播给所有簇内资源节点；(3)簇内资源节点根据信号强度重新选择簇首节点，完成簇分割。簇解散的方法为：(1)簇首节点统计簇内的资源节点个数，若资源节点个数小于CSize-CRange，则簇解散开始，否则不进行簇解散；(2)首先簇首节点发起广播，簇内资源节点在收到这个广播数据包之后便各自启动加入不同的簇的方法，完成簇解散。

每个簇内采用最佳分配任务法和任务迁移法进行节点上的任务分配，如图4是最佳分配任务法流程图，资源节点接收到一个任务之后，向簇内所有资源节点广播该任务所需要的处理器个数，资源节点分别计算分配此任务后剩余的处理器数目，簇首节点选择一个剩余处理器数目最小的资源节点，并将任务分配给此资源节点；任务迁移法流程如图5所示，(1)簇首节点向簇内所有资源节点发出汇报要求数据包，资源节点发回各自的处理器以及任务分配情况；(2)簇首节点开始计算迁移方案，对于每一个节点的处理器占用最少的任务拿出，放入一个任务池中，再将节点按照剩余任务所占处理器个数排序，接下来按从小到大的顺序依次将各节点的任务使用最佳分配任务法进行分配，如果某任务无法分配就保持其在原有的节点上；(3)将任务池中的任务按照所占处理器从大到小的顺序使用最佳分配任务法进行分配。

本发明所提出的分布式的云计算系统资源组织与任务分配方法，从分簇到簇内资源管理提供了一系列的分布式方法。同现有方法相比，该方法在簇管理方面提供了完全分布式的解决方案，提高了资源管理的灵活性和可扩展性，并减少了人工参与，提高了系统管理的效率。在簇内任务分配方面，针对系统能耗为目标进行了优化，提供了一种基于最佳分配的任务分配方法，另外，还提供了一种定期执行的任务迁移方法，这两种方法在保证系统运行效率额前提下，降低了系统的能耗。本发明对现有云计算系统的资源组合和任务分配从扩展性和能耗方面进行了较大的提升，从而为大规模、大范围的云计算的应用提供了保证。

以上所述，为本发明的较佳实施案例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (5)

1.一种分布式云计算资源组织和任务分配方法，其特征在于，云计算资源被组织为若干自治的簇，每个簇由一个簇首节点和若干个资源节点构成，簇首节点是系统启动初始化时采用分布式簇首选举法产生，资源节点根据与簇首节点的通信选择加入不同的簇；系统运行时，簇首节点动态调整簇大小；每个簇内采用最佳分配任务法和任务迁移法进行节点上的任务分配；上述分布式簇首选举法的步骤为：(1)确定簇大小期望值参数CSize和簇大小容许范围参数CRange，从而确定一个簇的资源节点个数范围在CSize-CRange和CSize+CRange之间；(2)每个资源节点选取一个介于0到1之间的随机数，如果该随机数大于1/CSize，则该节点成为簇首节点，否则为普通资源节点；每个簇内采用的最佳分配任务法为：资源节点接收到一个任务之后，向簇内所有资源节点广播该任务所需要的处理器个数，资源节点分别计算分配此任务后剩余的处理器数目，簇首节点选择一个剩余处理器数目最小的资源节点，并将任务分配给此资源节点；每个簇内采用的任务迁移法步骤为：(1)簇首节点向簇内所有资源节点发出汇报要求数据包，资源节点发回各自的处理器以及任务分配情况；(2)簇首节点开始计算迁移方案，对于每一个节点的处理器占用最少的任务拿出，放入一个任务池中，再将节点按照剩余任务所占处理器个数排序，接下来按从小到大的顺序依次将各节点的任务使用最佳分配任务法进行分配，如果某任务无法分配就保持其在原有的节点上；(3)将任务池中的任务按照所占处理器从大到小的顺序使用最佳分配任务法进行分配。

2.根据权利要求1所述的分布式云计算资源组织和任务分配方法，其特征在于，资源节点根据与簇首的通信选择加入不同的簇的步骤为：

(1)资源节点广播1类请求加入数据包，该数据包仅针对簇首节点，簇首节点在收到该数据包后，返回一个应答数据包，其中包含其簇内尚可容许加入的节点个数；

(2)步骤(1)的资源节点在收到应答数据包之后，按照信号强度开始查询第一个尚可容许加入的节点个数大于0的簇，如果找到则加入该簇；否则，广播2类请求加入数据包，该数据包针对一般资源节点，收到该数据包的节点将该数据包转发给其簇首节点，然后簇首节点返回一个应答数据包，该数据包中包含该节点到簇首节点的跳数和其簇内尚可容许加入的节点个数，广播2类请求加入数据包的资源节点在收到应答数据包之后，选择跳数最少且尚可容许加入的节点个数大于0的簇加入，如果仍然找不到符合条件的簇，则该资源节点升级为簇首节点。

3.根据权利要求1或2所述的分布式云计算资源组织和任务分配方法，其特征在于，簇首节点动态调整簇大小包括簇分割和簇解散。

4.根据权利要求3所述的分布式云计算资源组织和任务分配方法，其特征在于，簇分割的方法步骤为：

(1)簇首节点统计簇内的资源节点个数，若资源节点个数大于CSize+CRange，则簇分割开始，否则不进行簇分割；

(2)簇分割开始后，首先簇首节点发起广播，资源节点上报其统计的平均信号强度，簇首节点选择平均信号强度最大的资源节点作为新簇的簇首，并广播给所有簇内资源节点；

(3)簇内资源节点根据信号强度重新选择簇首节点，完成簇分割。

5.根据权利要求3所述的分布式云计算资源组织和任务分配方法，其特征在于，簇解散的方法步骤为：

(1)簇首节点统计簇内的资源节点个数，若资源节点个数小于CSize－CRange，则簇解散开始，否则不进行簇解散；

(2)首先簇首节点发起广播，簇内资源节点在收到这个广播数据包之后便各自启动加入不同的簇的方法，完成簇解散。