CN105721545B - 一种多层次集群管理实现方法 - Google Patents

Abstract

本发明公开了一种多层次集群管理实现方法，该方法包括：将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点；利用选择出来的所有节点组成一个新的呈环状链路的集群，将所述新的呈环状链路的集群作为一级集群；将任务下发给所述一级集群，由所述一级集群进行资源调度和任务下发调度，将所述任务分配给一个二级集群。该方法实现解决资源阻塞问题，提升访问速度。

Description

一种多层次集群管理实现方法

技术领域

本发明涉及集群管理技术领域，特别是涉及一种多层次集群管理实现方法。

背景技术

目前，随着计算机技术和网络技术的快速发展，集群系统以其强大的运算能力和健壮的容错机制让其逐步成为计算机行业的焦点。集群应用可以运行在上千台普通的服务器上，伴随着业务增长和集群节点数量的增长，需要承担着普通的小型集群中不存在的高问题触发率和节点管理麻烦等问题。图1为传统的集群模式，通过corosync达成一个通用的集群环状链路，传统集群方法有许多局限性，如有数据共享，则要求数据必须在共享的存储资源上等。当大型集群集体访问该共享资源时会造成资源阻塞和达不到预期的访问速度。

发明内容

本发明的目的是提供一种多层次集群管理实现方法，以实现解决资源阻塞问题，提升访问速度。

为解决上述技术问题，本发明提供一种多层次集群管理实现方法，包括：

将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点；

利用选择出来的所有节点组成一个新的呈环状链路的集群，将所述新的呈环状链路的集群作为一级集群；

将任务下发给所述一级集群，由所述一级集群进行资源调度和任务下发调度，将所述任务分配给一个二级集群。

优选的，所述将所述任务分配给一个二级集群之后，还包括：

由接收任务的二级集群进行资源调度，将任务分配给二级集群中的一个节点来执行。

优选的，每个二级集群内的所有节点均共享所有的共享资源。

优选的，每个二级集群挂载相同的资源池。

优选的，所述方法还包括：

当所述一级集群中的一个节点出现故障时，从故障的节点所在的二级集群中，选择出除了故障的节点之外的任意一个节点替代所述故障的节点，成为所述一级集群中的节点。

优选的，所述将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点之前，还包括：

修改集群管理工具corosync，使corosync适应于多个独立的环状结构的集群管理通信网络；其中，所述集群管理通信网络分为一级集群环状网络和二级业务环状网络。

优选的，所述将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点，包括：

通过二级业务环状网络组成多个正常通信业务的集群，将所述正常通信业务的集群作为二级集群，从每个二级集群节点中选择一个节点。

优选的，所述利用选择出来的所有节点组成一个新的呈环状链路的集群，将所述新的呈环状链路的集群作为一级集群，包括：

利用选择出来的所有节点创建一级集群环状网络，将选择出来的所有节点组成一级集群，在所述一级集群节点中布置集群资源统计和业务偏向的信息。

优选的，所述将任务下发给所述一级集群，由所述一级集群进行资源调度和任务下发调度，将所述任务分配给一个二级集群，包括：

运行集群管理，发送任务到一级集群的节点中，一级集群将所述任务从一级集群环状网络中转发到二级集群的业务网络中，发送给一个二级集群。

本发明所提供的一种多层次集群管理实现方法，将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点；利用选择出来的所有节点组成一个新的呈环状链路的集群，将所述新的呈环状链路的集群作为一级集群；将任务下发给所述一级集群，由所述一级集群进行资源调度和任务下发调度，将所述任务分配给一个二级集群。可见，集群不再是传统的集群模式，有了一级集群和二级集群，一级集群中的每个节点为二级集群中的节点，任务由一级集群转发至二级集群，如此一级集群管理二级集群，任务在二级集群中执行，由二级集群承担任务，减小了多任务并发时集群管理节点的业务负载和集群中业务迁移时集群中大型数据传输时网络拥塞问题，实现解决资源阻塞问题，提升访问速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为传统的集群模式；

图2为本发明所提供的一种多层次集群管理实现方法的流程图；

图3为新的集群组合模式。

具体实施方式

本发明的核心是提供一种多层次集群管理实现方法，以实现解决资源阻塞问题，提升访问速度。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图2，图2为本发明所提供的一种多层次集群管理实现方法的流程图，该方法包括：

S11：将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点；

S12：利用选择出来的所有节点组成一个新的呈环状链路的集群，将新的呈环状链路的集群作为一级集群；

S13：将任务下发给一级集群，由一级集群进行资源调度和任务下发调度，将任务分配给一个二级集群。

可见，集群不再是传统的集群模式，有了一级集群和二级集群，一级集群中的每个节点为二级集群中的节点，任务由一级集群转发至二级集群，如此一级集群管理二级集群，任务在二级集群中执行，由二级集群承担任务，减小了多任务并发时集群管理节点的业务负载和集群中业务迁移时集群中大型数据传输时网络拥塞问题，该方法实现解决资源阻塞问题，提升访问速度。

图1为传统的集群模式，通过corosync达成一个通用的集群换装链路，由主机A、主机B、主机C和主机D组成一个环状链路。图3为新的集群组合方式，即本发明中的集群组合方式，以多个小型的旧式的集群组成一个新的一级集群，限定一级集群中的工作内容，在二级集群中进行业务逻辑操作，在一级集群中进行初次的业务分配和资源判断。图3中，从4个环状链路的集群中分别选取了一个主机即节点，在由主机A1、主机A2、主机A3、主机A4组成的环状链路的集群中选取了主机A1，在由主机B1、主机B2、主机B3、主机B4组成的环状链路的集群中选取了主机B1，在由主机C1、主机C2、主机C3、主机C4组成的环状链路的集群中选取了主机C1，在由主机D1、主机D2、主机D3、主机D4组成的环状链路的集群中选取了主机D1，利用选择出来的主机A1、主机B1、主机C1、主机D1组成一个新的呈环状链路的集群，将由主机A1、主机B1、主机C1、主机D1组成呈环状链路的集群作为一级集群，将由主机A1、主机A2、主机A3、主机A4组成的环状链路的集群作为二级集群，将由主机B1、主机B2、主机B3、主机B4组成的环状链路的集群作为二级集群，将由主机C1、主机C2、主机C3、主机C4组成的环状链路的集群作为二级集群，将由主机D1、主机D2、主机D3、主机D4组成的环状链路的集群作为二级集群，图1和图3中出现的主机指代节点，即指代集群中的节点。

需要说明的是，呈环状链路的集群的个数不一定是4个，可以为2个，3个等等，数目可以自由设定，大于等于2即可。且文中出现的主机指代节点，即指代集群中的节点。

具体的，将任务分配给一个二级集群之后，由接收任务的二级集群进行资源调度，将任务分配给二级集群中的一个节点来执行。如此，利用层次化管理，在二级集群中自主的进行资源调配和任务迁移等功用，一级集群转发任务，任务承担在二级集群中，任务分配给二级集群中的一个节点来执行，这样任务对应的业务可以在二级集群中动态迁移也可跨二级集群迁移，增加任务的高可靠性。由于采用一级集群和二级集群，相对于过去传统集群管理的情况下增强了小型机群的可扩展性和精简了主逻辑业务的复杂性，同时提高了集群业务的高可靠性，减小了多任务并发时集群管理节点的业务负载和集群中业务迁移时集群中大型数据传输时网络拥塞问题。

其中，每个二级集群内的所有节点均共享所有的共享资源。每个二级集群挂载相同的资源池。

二级集群作为一个小的资源约束域和DRS域，集群内节点共享所有的共享资源，即挂载相同的资源池，二级集群节点个数不能超过共享资源最高性能支持最大节点个数，同时，需要在其它二级集群中一个节点或几个节点挂载此共享资源，当出现小概率事件整个二级集群挂掉时候由于有共享式存储挂载在其他主机上直接可以在其它主机上启动该资源。

当一级集群中的一个节点出现故障时，从故障的节点所在的二级集群中，选择出除了故障的节点之外的任意一个节点替代故障的节点，成为一级集群中的节点。

由于二级集群和一级集群都是以corosync作为集群成员管理软件，因此都是一个一主多备的集群模型，因此不用担心具体的节点丢失问题，所有节点都能接受到集群中所有的任务通知，一个主节点作为一个判断域和决策域，当主节点挂掉时候都能很快的选择出另外一个主节点来作为判断和决策节点。二级集群中成员可以随着主机的减少而减少，但是作为一级集群，除非是二级集群所有节点都挂机或者是退出一级集群外，都需要维持着集群节点的个数，因此一个二级集群中作为一级集群节点的主机挂掉时，需要快速的从二级集群中选择出一台主机作为一个替补的一级集群节点弥补集群中节点丢失问题，然后进行集群消息同步，恢复正常的集群状态。

详细的，选取部分主机作为二级集群组成成员，此二级集群可以作为一个小型的集群活动即旧时定义的集群组合，如图1，承担小型的集群服务。在此集群中利用corosync形成一个集群通信环路，达到一个一主多备的冗余集群，对外提供集群服务。

以上述的二级集群形成一个新的集群，在二级集群中选取一个或者多个集群节点，组成一个新的集群，即修改corosync的环状链路的组成，让集群可以形成两个或者是多个冗余的集群环，此环状链路为一个一级集群负责任务下发和调度，由于该集群节点属于一个二级集群，因此一级集群不承担任务，仅作一个任务下发转发工作，具体任务调度在二级集群里边进行。

在组成一级集群的节点中存在着所有的二级集群中资源的计量域，一级集群依据该计量域内容进行首次资源调度和任务下发调度；在任务分配给某个二级集群时，二级集群内部再进行第二次的资源调度和任务确认是哪台主机进行任务处理。

进一步的，上述方法中，将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点之前，修改集群管理工具corosync，使corosync适应于多个独立的环状结构的集群管理通信网络；其中，集群管理通信网络分为一级集群环状网络和二级业务环状网络。

将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点的过程具体为：通过二级业务环状网络组成多个正常通信业务的集群，将正常通信业务的集群作为二级集群，从每个二级集群节点中选择一个节点。

利用选择出来的所有节点组成一个新的呈环状链路的集群，将新的呈环状链路的集群作为一级集群的过程具体为：利用选择出来的所有节点创建一级集群环状网络，将选择出来的所有节点组成一级集群，在一级集群节点中布置集群资源统计和业务偏向的信息。

将任务下发给一级集群，由一级集群进行资源调度和任务下发调度，将任务分配给一个二级集群的过程具体为：运行集群管理，发送任务到一级集群的节点中，一级集群将任务从一级集群环状网络中转发到二级集群的业务网络中，发送给一个二级集群。

本发明中有一级集群和二级集群，即由多个层次集群组成，一级集群作为任务分配根节点，作为资源统计和动态调整需求分布的决策者。减小网络资源消耗表现为二级集群内部进行迁移和HA不影响一级集群中的业务，HA为高可用性集群。本发明是基于已有的集群管理技术的一种增强改进，解决传统集群的共享资源并发访问限制和大量并发需求阻塞问题。具体的，创建多级集群，以二级集群为一级集群的计算节点，整合化固定主机功用和提高一级集群节点的计算能力，减小大型集群内部的迁移、HA的内部网络资源或其他资源的消耗，避免影响大型集群中网络问题。固化固定主机功用表现为在特定的主机组成的二级集群中进行动态的DRS，避免对主机有特殊需求的应用迁移到其它主机中。二级集群是一个由地位均等的多个主机所组成的一个计算资源的集合，作为一个资源限定域和迁移负载均衡优先域存在，作为一个弱限定组合，在内部进行DRS保证高可用性。本发明扩展了高效能小型集群的适用范围，同时能够提高大型集群管理的效率；小型化和粒度化具体业务运行的资源域，更加有利于资源调度；可以使用小型机群使用的软件，避免购买大型集群使用的特有软件和硬件，节省大型集群布置的资金消耗；可以利用小型集群的高效性，提供更优质的服务；可以跨二级集群进行资源迁移和HA，大大提高了业务的高可用性。

本方法中，主要通过任务多级分割，和多级资源自适配原则调节业务的分配问题，同时通过小型内部决策节省多业务逻辑时造成的业务阻塞问题。通过corosync集群通信系统，达到一主多备的状况，避免集群中主节点挂掉时不能正常的提供集群服务。同时通过corosync对集群成员的监控，达到链路问题的监控，避免成员列表中成员丢失时造成的不必要的损失。通过多个小集群达到任务的分流，一般任务在一级集群中根据小集群的资源组成和任务需求分配给合理的小集群处理，在小集群内部在进行具体业务的具体主机偏好量的设置。当集群业务进行迁移时首先选择的是小集群里边的主机进行迁移，不影响一级集群中的决策问题。实施方式中

实施过程中，首先修改集群管理工具corosync，使之适应于多个独立的环状结构的集群管理通信软件，即分为一级集群环状网络和二级业务环状网络，通过二级业务环状网络组成正常的通信业务集群，布置业务下分和资源管理软件来进行具体的业务分配工作和资源评估分配工作。

其次选择二级集群节点中主机，创建一级集群环状网络，在此一级集群节点中布置集群资源统计和业务偏向等特性具体信息，一级集群以此作为业务划分依据，例如可以仿pacemaker资源管理中进行一个资源分数的评级，然后根据分数来进行业务分配。

最后运行集群管理，发送业务到一级集群的节点中，一级集群根据选择出来的master节点来依据各个节点提供的资源信息来进行业务的推送，即一级集群环状网络中消息转发到二级集群的业务网络中；二级集群通过自己各个主机的特点和资源拥有属性来判断决定业务在哪台主机上运行。

综上，本发明所提供的一种多层次集群管理实现方法，将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点；利用选择出来的所有节点组成一个新的呈环状链路的集群，将新的呈环状链路的集群作为一级集群；将任务下发给一级集群，由一级集群进行资源调度和任务下发调度，将任务分配给一个二级集群。可见，集群不再是传统的集群模式，有了一级集群和二级集群，一级集群中的每个节点为二级集群中的节点，任务由一级集群转发至二级集群，如此一级集群管理二级集群，任务在二级集群中执行，由二级集群承担任务，减小了多任务并发时集群管理节点的业务负载和集群中业务迁移时集群中大型数据传输时网络拥塞问题，实现解决资源阻塞问题，提升访问速度。

以上对本发明所提供的一种多层次集群管理实现方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种多层次集群管理实现方法，其特征在于，包括：

将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点；

利用选择出来的所有节点组成一个新的呈环状链路的集群，将所述新的呈环状链路的集群作为一级集群；

将任务下发给所述一级集群，由所述一级集群进行资源调度和任务下发调度，将所述任务分配给一个二级集群，所述二级集群执行任务。

2.如权利要求1所述的方法，其特征在于，所述将所述任务分配给一个二级集群之后，还包括：

由接收任务的二级集群进行资源调度，将任务分配给二级集群中的一个节点来执行。

3.如权利要求1所述的方法，其特征在于，每个二级集群内的所有节点均共享所有的共享资源。

4.如权利要求3所述的方法，其特征在于，每个二级集群挂载相同的资源池。

5.如权利要求1所述的方法，其特征在于，还包括：

当所述一级集群中的一个节点出现故障时，从故障的节点所在的二级集群中，选择出除了故障的节点之外的任意一个节点替代所述故障的节点，成为所述一级集群中的节点。

6.如权利要求2所述的方法，其特征在于，所述将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点之前，还包括：

修改集群管理工具corosync，使corosync适应于多个独立的环状结构的集群管理通信网络；其中，所述集群管理通信网络分为一级集群环状网络和二级业务环状网络。

7.如权利要求6所述的方法，其特征在于，所述将每个呈环状链路的集群作为二级集群，从每个二级集群中选择出一个节点，包括：

通过二级业务环状网络组成多个正常通信业务的集群，将所述正常通信业务的集群作为二级集群，从每个二级集群节点中选择一个节点。

8.如权利要求6所述的方法，其特征在于，所述利用选择出来的所有节点组成一个新的呈环状链路的集群，将所述新的呈环状链路的集群作为一级集群，包括：

利用选择出来的所有节点创建一级集群环状网络，将选择出来的所有节点组成一级集群，在所述一级集群节点中布置集群资源统计和业务偏向的信息。

9.如权利要求6所述的方法，其特征在于，所述将任务下发给所述一级集群，由所述一级集群进行资源调度和任务下发调度，将所述任务分配给一个二级集群，包括：

运行集群管理，发送任务到一级集群的节点中，一级集群将所述任务从一级集群环状网络中转发到二级集群的业务网络中，发送给一个二级集群。