CN106603696A - 一种基于超融合基础框架的高可用系统 - Google Patents

Abstract

本发明公开了一种基于超融合基础构架的高可用系统，涉及云计算领域，包括至少三个超融合节点；超融合节点包含控制节点和计算节点；控制节点上部署有第一高可用管理模块、第一插件模块、第一类数据库服务模块和第二类虚拟计算层服务组模块；计算节点上部署有第二插件模块、第三类高可用管理服务模块和第四类虚拟计算层服务组模块；第一插件模块和第二插件模块基于第一高可用管理模块，管理高可用系统。在本发明中，当以最少物理节点(3个)组成的超融合集群式，服务的高可用依然能够很好地实现。同时，超融合节点包含两种角色，系统的各项服务被细分为四类并控制，避免隔离粒度过大，当一类服务出现问题，不影响同节点其它服务的运行。

Description

一种基于超融合基础框架的高可用系统

技术领域

本发明涉及云计算领域，特别是涉及一种基于超融合基础构架的高可用系统。

背景技术

超融合是云计算的一个新分支，主要关注于虚拟计算、分布式存储与虚拟网络的融合，定位于实现私有云平台；目前超融合集群以最少3个物理节点组成，每个节点都处于对等的地位，集群扩展以节点线性扩展的方式扩展；

但目前在实际生产环境中，当以最少物理节点(3个)组成超融合集群时，服务的高可用性难以实现,通常需要至少5个物理节点；在少于5个物理节点的部署下一般不采用高可用方案；

另外，传统的高可用方案中，对故障节点的隔离一般采用通过IPMI控制物理节点关机，从而达到隔离效果，隔离粒度为节点级别；由于节点级别粒度这种隔离方案对于本发明自主设计的超融合基础架构并不合适，需要对其调整；

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于超融合基础构架的高可用系统；旨在解决现有技术当以最少物理节点(3个)组成超融合集群时，服务的高可用性难以实现的问题，同时，还解决现有技术的服务控制的隔离粒度是以节点为级别，当一个服务出现问题，造成整个节点不可用的问题。

为实现上述目的，本发明提供了一种基于超融合基础构架的高可用系统，包括至少三个超融合节点；

所述超融合节点包含一部署在物理节点上的计算节点和一部署在虚拟机节点上的控制节点，所述计算节点上还用于运行有虚拟机实例；

所述控制节点上部署有第一高可用管理模块和第一插件模块，所述计算节点上部署有第二插件模块；

所述控制节点上还部署有第一类数据库服务模块和第二类虚拟计算层服务组模块，所述计算计算节点上还部署有第三类高可用管理服务模块和第四类虚拟计算层服务组模块；所述第一高可用管理模块通过第三类高可用管理服务模块与第四类虚拟计算层服务组模块通信连接；

所述第一高可用管理模块用于管理集群所有资源；

所述第一插件模块基于所述第一高可用管理模块，生成所述控制节点的运行状态，控制所述第一类数据库服务模块、第二类虚拟计算层服务组模块或第一高可用管理模块的开启或关闭，并控制所述虚拟机实例的重建；

所述第二插件模块生成所述计算节点的运行状态，并控制所述第三类高可用管理服务模块和第四类虚拟计算层服务组模块的开启或关闭。

在该技术方案中，当以最少物理节点(3个)组成的超融合集群式，服务的高可用依然能够很好地实现，提高系统稳定性和效率。在该技术方案中，超融合节点包含两种角色(控制节点和计算节点)，系统的各项服务被细分为四类，并控制其开启和关闭，避免隔离粒度过大，当一类服务出现问题，不影响同节点其它服务的运行。在该技术方案中，通过第一插件模块、第二插件模块、第三类高可用服务模块以及第一高可用管理模块对集群资源进行管理，实现高可用的超融合集群系统，提高系统效率。

进一步而言，所述第一插件模块被配置为：

1a)、启动时，检查正常关机标志；若所述正常关机标志存在，则清除所述正常关机标志，启动所述第一高可用管理模块，进入监控状态；若所述正常关机标志不存在，则进入待机状态；

1b)、处于所述监控状态时，定期监控所述第一高可用管理模块是否因出现错误处于阻塞状态，若有，则清除阻塞标记，控制所述第一高可用管理模块重新探测服务运行状态，重回正常工作状态；

1c)、处于所述监控状态时，定期监控所述计算节点是否退出集群；若监控出连续N分钟有所述计算节点处于退出集群状态，在进入疏散处理状态；所述N≥2；

1d)、处于所述监控状态时，定期监控当前控制节点是否出现网络故障；若监控出连续M分钟当前控制节点处于网络故障状态，则关闭所述第一高可用管理模块，关闭运行在当前控制节点上的所述第一类数据库服务模块和所述第二类虚拟计算层服务组模块，进入待机状态；所述M≥2；

1e)、处于所述监控状态时，定期查看是否有暂停疏散标志；若有暂停疏散标志，检查系统时间是否已超过暂停疏散标志内记录的时间；若已超时，则清除暂停疏散标志；

1f)、处于所述疏散处理状态时，由当前运行所述第二类虚拟计算层服务组模块的获取新退出的计算节点列表，禁用列表节点上的第三类高可用管理服务模块；若无暂停疏散标志，则获取列表节点上运行的用户虚拟机实例列表，使用户虚拟机实例在正常的计算节点上重建；最终重新进入监控状态；

1g)、处于所述待机状态时，不进行任何操作；

1h)、关闭时，若所述第一插件模块处于非待机状态时，在所述第一插件模块关闭前，设置正常关机标志；若所述第一插件模块处于待机状态时，则检查是否有复位标志；若有复位标志时，在所述第一插件模块关闭前，清除复位标志，设置正常关机标志；若无复位标志，所述第一插件模块在操作系统关闭时直接关闭；

1i)、所述第一插件模块收到操作系统的用户复位操作时，设置复位标志。

在该技术方案中，给出了第一插件模块具体工作方式，通过第一插件模块对系统资源进行管理和维护，提高系统效率。

在一具体实施例中，所述第二插件模块被配置为：

2a)、启动时，检查正常关机标志；若正常关机标志存在，则清除正常关机标志，启动第三类高可用管理服务模块，进入控制检测状态；若正常关机标志不存在，则进入待机状态；

2b)、处于所述控制检测状态时，查看当前集群的所述控制节点的数量；若所述控制节点数量小于3，则开启本计算节点上的控制节点虚拟机；查看当前计算节点拥有的用户虚拟机实例在数据库中的实际运行位置；若实际运行位置不在当前计算节点，则第二插件模块删除该用户虚拟机实例；最后进入监控状态；

2c)、处于所述监控状态时，定期监控当前计算节点是否出现服务异常或网络异常；若监控出连续L分钟当前计算节点出现服务异常或网络异常，则关闭当前计算节点上的所述第三类高可用管理服务模块和第四类虚拟计算层服务组模块，以及关闭当前计算节点上的所有用户虚拟机实例；然后进入待机状态；所述L≥2；

2d)、处于待机状态时，不进行任何操作；

2e)、关闭时，若所述第二插件模块处于非待机状态时，在所述第二插件模块关闭前，设置正常关机标志；若所述第二插件模块处于待机状态时，则检查是否有复位标志；若有复位标志时，在所述第二插件模块关闭前，清除复位标志，设置正常关机标志；若无复位标志，所述第二插件模块在操作系统关闭时直接关闭；

2f)、所述第二插件模块收到操作系统的用户复位操作时，设置复位标志。

在该技术方案中，给出了第二插件模块具体工作方式，通过第二插件模块对系统资源进行管理和维护，提高系统效率。

在一具体实施例中，所述第一高可用管理模块是基于pacemaker集群资源管理器，所述第三类高可用管理服务模块包含有pacemaker-remote服务。

在该技术方案中，通过pacemaker集群资源管理器、pacemaker-remote服务起到对系统资源的调配，控制各个模块的开启和关闭，达到高可用系统的目的。

在一具体实施例中，所述第二类虚拟计算层服务组模块包含虚拟IP地址服务、消息队列服务(RabbitMQ)、Openstack的Nova计算服务、Glance镜像服务和Cinder块存储服务。

在该技术方案中，将虚拟IP地址服务、消息队列服务(RabbitMQ)、Openstack的Nova计算服务、Glance镜像服务和Cinder块存储服务划分到第二类虚拟计算层服务组模块，并对第二类虚拟计算层服务组模块进行处理和控制，提高系统效率。

在一具体实施例中，所述第四类虚拟计算层服务组模块包含Openstack的Nova-Compute计算服务、Nova-Network网络接入服务。

在该技术方案中，将Openstack的Nova-Compute计算服务、Nova-Network网络接入服务划分到第四类虚拟计算层服务组模块，并对第四类虚拟计算层服务组模块进行处理和控制，提高系统效率。

在一具体实施例中，所述第一类数据库服务模块以Active/Active的模式运行于所有控制节点上；所述第二类虚拟计算层服务组模块同一时间内只在一个控制节点上运行，其它控制节点不运行此类服务；所述第三类高可用管理服务模块，以Active/Active的模式运行于所有所述计算节点上，用于向所述控制节点标识运行服务的计算节点正常工作；所述第四类虚拟计算层服务组模块以Active/Active的模式运行于所有所述计算节点上。

在该技术方案中，第一类数据库服务模块能够同时在各个控制节点上正常服务，第二类虚拟计算层服务组模块同一时间内只在一个控制节点上运行，第三类高可用管理服务模块和第四类虚拟计算层服务组模块也同时运行在各个节点上。即按照各项服务的类型，控制其运行位置，将隔离粒度按这四类进行控制，避免当一个服务出现问题造成整个节点不可用，提高系统稳定性和性能。

在一具体实施例中，所述第三类高可用管理服务模块可运行于所有计算节点，并作为资源映射到所述控制节点上运行。

在该技术方案中是通过第二类虚拟计算层服务组模块控制第三类高可用管理服务模块，将第三类高可用管理服务模块作为资源，方便资源调配，提高系统效率。

在一具体实施例中，所述第一插件模块随操作系统启动而启动，随操作系统关闭而关闭；所述第二插件模块要随操作系统启动而启动，随操作系统关闭而关闭，以便第一插件模块和第二插件模块管理集群系统。

本发明的有益效果是：当以最少物理节点(3个)组成的超融合集群式，服务的高可用依然能够很好地实现，提高系统稳定性和效率。同时，超融合节点包含两种角色(控制节点和计算节点)，系统的各项服务被细分为四类，并控制其开启和关闭，避免隔离粒度过大，当一类服务出现问题，不影响同节点其它服务的运行。此外，通过第一插件模块、第二插件模块以及第一高可用管理模块对集群资源进行管理，实现高可用的超融合集群系统，提高系统效率。

附图说明

图1是超融合基础架构的结构示意图；

图2是一实施方式的基于超融合基础构架的高可用系统的系统框图；

图3是一实施方式的超融合集群的结构示意图；

图4是一实施方式的超融合集群的节点1在正常关机后的结构图；

图5是一实施方式的超融合集群的节点1在重新开机后的结构图；

图6是一实施方式的超融合集群的节点1在异常停电后的结构图；

图7是一实施方式的超融合集群的节点1在故障排除重启后的结构图；

图8是一实施方式的超融合集群的节点1在服务异常后的结构图；

图9是一实施方式的超融合集群的节点1在网络异常后的结构图；

图10是一实施方式的超融合集群的节点1在网络异常重连后的结构图；

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

本发明针对自主设计的超融合架构，以OpenStack、CEPH两种开源平台作为虚拟计算层和分布式存储层为建设工具，提出的高可用实施方案，可以在最少3个物理节点的部署下实现虚拟计算层的服务高可用，从而提高高可用构架的适用范围；本发明提出的高可用方案的隔离粒度可降至资源组级别，通过插件服务的方法仅关闭故障服务所在的资源组，减少因一个服务的故障对整个节点其它服务的影响；

如图1-10所示，在本实施例中，超融合基础架构是基于X86标准服务器实现，但不限于在X86标准服务器上实现；在其他实施例中，可在其他类型的服务器上实现。如图1所示，整个超融合架构分为3层，从下往上分别是虚拟网络层101、虚拟存储层102和虚拟计算层103；虚拟网络层101以NFV和SDN为建设工具，虚拟存储层102以CEPH为建设工具，虚拟计算层103以OpenStack为建设工具；本发明的高可用实施方案应用于上述架构的虚拟计算层103中；

如图2所示，在本发明一实施例中，提供一种基于超融合基础构架的高可用系统，包括至少三个超融合节点；

所述超融合节点包含一部署在物理节点上的计算节点202和一部署在虚拟机节点上的控制节点201，所述计算节点202上还用于运行有虚拟机实例203，受Openstack管理；

所述控制节点201上部署有第一高可用管理模块2012和第一插件模块2011，所述计算节点202上部署有第二插件模块2021；

所述控制节点201上还部署有第一类数据库服务模块2013和第二类虚拟计算层服务组模块2014，所述计算计算节点202上还部署有第三类高可用管理服务模块2022和第四类虚拟计算层服务组模块2023；所述第一高可用管理模块2012通过第三类高可用管理服务模块2022与第四类虚拟计算层服务组模块2023通信连接；

所述第一高可用管理模块2012用于管理集群所有资源；

所述第一插件模块2011基于所述第一高可用管理模块2012，生成所述控制节点201的运行状态，控制所述第一类数据库服务模块2013、第二类虚拟计算层服务组模块2014或第一高可用管理模块2012的开启或关闭，并控制所述虚拟机实例203的重建；

所述第二插件模块2021生成所述计算节点202的运行状态，并控制所述第三类高可用管理服务模块2022和第四类虚拟计算层服务组模块2023的开启或关闭。

值得一提的是，第一高可用管理模块2012是用于管理集群的所有资源，其形式是多样的。在本实施例中，优选地，所述第一高可用管理模块2012是基于pacemaker集群资源管理器，所述第三类高可用管理服务模块2022包含有pacemaker-remote服务。

第一插件模块2011是高可用系统的守护进程程序，配合Pacemaker执行相关操作，从而达到高可用特性。第一插件模块2011随操作系统启动而启动，随操作系统关闭而关闭。当在操作系统运行的过程中第一插件模块2011意外关闭，操作系统自动重新启动第一插件模块2011。第一插件模块2011运行在所有控制节点201上。同一时间内只有一个第一插件模块2011运行。

在本实施例中，所述第一插件模块2011被配置为：

1a)、启动时，检查正常关机标志；若所述正常关机标志存在，则清除所述正常关机标志，启动所述第一高可用管理模块2012，进入监控状态；若所述正常关机标志不存在，则进入待机状态；

1b)、处于所述监控状态时，定期监控所述第一高可用管理模块2012是否因出现错误处于阻塞状态，若有，则清除阻塞标记，控制所述第一高可用管理模块2012重新探测服务运行状态，重回正常工作状态；

1c)、处于所述监控状态时，定期监控所述计算节点202是否退出集群；若监控出连续N分钟有所述计算节点202处于退出集群状态，在进入疏散处理状态；所述N≥2；

1d)、处于所述监控状态时，定期监控当前控制节点201是否出现网络故障；若监控出连续M分钟当前控制节点201处于网络故障状态，则关闭所述第一高可用管理模块2012，关闭运行在当前控制节点201上的所述第一类数据库服务模块2013和所述第二类虚拟计算层服务组模块2014，进入待机状态；所述M≥2；

1e)、处于所述监控状态时，定期查看是否有暂停疏散标志；若有暂停疏散标志，检查系统时间是否已超过暂停疏散标志内记录的时间；若已超时，则清除暂停疏散标志；

1f)、处于所述疏散处理状态时，由当前运行所述第二类虚拟计算层服务组模块2014的获取新退出的计算节点202列表，禁用列表节点上的第三类高可用管理服务模块2022；若无暂停疏散标志，则获取列表节点上运行的用户虚拟机实例203列表，使用户虚拟机实例203在正常的计算节点202上重建；最终重新进入监控状态；

1g)、处于所述待机状态时，不进行任何操作；

1h)、关闭时，若所述第一插件模块2011处于非待机状态时，在所述第一插件模块2011关闭前，设置正常关机标志；若所述第一插件模块2011处于待机状态时，则检查是否有复位标志；若有复位标志时，在所述第一插件模块2011关闭前，清除复位标志，设置正常关机标志；若无复位标志，所述第一插件模块2011在操作系统关闭时直接关闭；

1i)、所述第一插件模块2011收到操作系统的用户复位操作时，设置复位标志。

第二插件模块2021是高可用系统的守护进程程序，配合Pacemaker执行相关操作，从而达到高可用特性。第二插件模块2021随操作系统启动而启动，随操作系统关闭而关闭。当在操作系统运行的过程中第二插件模块2021意外关闭，操作系统自动重新启动第二插件模块2021。第二插件模块2021运行在所有计算节点202上，且所有计算节点202同时运行一个第二插件模块2021。

在本实施例中，所述第二插件模块2021被配置为：

2a)、启动时，检查正常关机标志；若正常关机标志存在，则清除正常关机标志，启动第三类高可用管理服务模块2022，进入控制检测状态；若正常关机标志不存在，则进入待机状态；

2b)、处于所述控制检测状态时，查看当前集群的所述控制节点201的数量；若所述控制节点201数量小于3，则开启本计算节点上的控制节点虚拟机；查看当前计算节点202拥有的用户虚拟机实例203在数据库中的实际运行位置；若实际运行位置不在当前计算节点202，则第二插件模块2021删除该用户虚拟机实例203；最后进入监控状态；

2c)、处于所述监控状态时，定期监控当前计算节点202是否出现服务异常或网络异常；若监控出连续L分钟当前计算节点202出现服务异常或网络异常，则关闭当前计算节点202上的所述第三类高可用管理服务模块2022和第四类虚拟计算层服务组模块2023，以及关闭当前计算节点202上的所有用户虚拟机实例203；然后进入待机状态；所述L≥2；

2d)、处于待机状态时，不进行任何操作；

2e)、关闭时，若所述第二插件模块2021处于非待机状态时，在所述第二插件模块2021关闭前，设置正常关机标志；若所述第二插件模块2021处于待机状态时，则检查是否有复位标志；若有复位标志时，在所述第二插件模块2021关闭前，清除复位标志，设置正常关机标志；若无复位标志，所述第二插件模块2021在操作系统关闭时直接关闭；

2f)、所述第二插件模块2021收到操作系统的用户复位操作时，设置复位标志。

值得一提的是，本发明提出的高可用系统对第一类数据库服务模块2013、第二类虚拟计算层服务组模块2014、第三类高可用管理服务模块2022和第四类虚拟计算层服务组模块2023有一定的依赖约束。

运行顺序约束：当资源启动时，需要按规定的顺序依次启动：首先启动第一类数据库服务模块2013，第二启动第二类虚拟计算层服务组模块2014，第三启动第三类高可用管理服务模块2022，最后启动第四类虚拟计算层服务组模块2023。当资源正常关闭时，需要以相反的顺序依次关闭。

运行位置约束：第一类数据库服务模块2013可运行于所有控制节点201，不可运行在计算节点202；第二类虚拟计算层服务组模块2014可运行于所有控制节点201，不可运行在计算节点202；第三类高可用管理服务模块2022可运行于所有计算节点202，映射到控制节点201上运行。第四类虚拟计算层服务组模块2023可运行于所有计算节点202，不可运行在控制节点201。

资源共置约束：第三类服务要与第二类服务运行在同一节点。

特别说明，运行位置约束中的第三类服务，Pacemaker_remote服务实际运行在计算节点202上，但对于控制节点201来说，Pacemaker_remote标记计算节点202作为一种特殊资源，运行在控制节点201上。因此第三类服务对于控制节点201来说是一种资源，对于第四类服务来说，是运行第四类服务的节点。

本发明提出的高可用方案利用Pacemaker定义上述四类服务的资源、运行要求和依赖约束，使服务受Pacemaker管理。

此外，对本发明相关标志进行说明：在本实施例中，正常关机标志是一个存储在任意指定目录下的一个空文件，当文件存在时说明上一次系统关机属于正常关机。该标志由插件服务设定与清除。复位标志是一个存储在任意指定目录下的一个空文件，当文件存在时说明当前控制节点201已排除故障。该标志由插件服务设定与清除。暂停疏散标志是一个存储在任意指定目录下的一个文件，文件内部存储一个超时时间。当文件存在且系统时间未到达超时时间时，说明当前集群若有计算节点202退出，也不对该计算节点202上的用户虚拟机实例203进行重建。该标志由人为设定，由第一插件模块清除。在其他实施例中，可以采用其他形式作为标记，例如设置变量进行存储。

此外，本发明提出的高可用方案使用Pacemaker集群资源管理器，需要设置法定投票功能，防止脑裂。即正常的控制节点201数要大于总控制节点201数的一半才可以启动规定的资源和服务，否则不启动规定的资源和服务。

在本实施例中，所述第二类虚拟计算层服务组模块2014包含虚拟IP地址服务、消息队列服务(RabbitMQ)、Openstack的Nova计算服务、Glance镜像服务和Cinder块存储服务。

在本实施例中，所述第四类虚拟计算层服务组模块2023包含Openstack的Nova-Compute计算服务、Nova-Network网络接入服务。

在本实施例中，所述第一类数据库服务模块2013以Active/Active的模式运行于所有控制节点201上；所述第二类虚拟计算层服务组模块2014同一时间内只在一个控制节点201上运行，其它控制节点201不运行此类服务；所述第三类高可用管理服务模块2022，以Active/Active的模式运行于所有所述计算节点202上，用于向所述控制节点201标识运行服务的计算节点202正常工作；所述第四类虚拟计算层服务组模块2023以Active/Active的模式运行于所有所述计算节点202上。

在本实施例中，所述第三类高可用管理服务模块2022可运行于所有计算节点202，并作为资源映射到所述控制节点201上运行。

值得一提的是，由于本发明提供的高可用构架已经发生调整，本发明还对现有节点级别的隔离粒度进行重新调整，提高了现有技术的隔离粒度，避免节点级别的隔离造成本构架一个服务器发生故障而影响同一节点的其它正常服务的工作；因为本发明针对的超融合基础架构，一个超融合节点包含了两种角色的节点，是多层服务共同运行的场所，节点级别的隔离会造成因为一个服务有问题就影响同一节点所有正常的服务也不能工作。

在本实施例中，所述第一插件模块随操作系统启动而启动，随操作系统关闭而关闭；所述第二插件模块要随操作系统启动而启动，随操作系统关闭而关闭。

下面以3个物理节点形成的最小超融合集群为例，针对正常关机、异常停电、服务异常和网络异常四种情况说明本发明提出的高可用方案的可行性。图3为最小超融合集群正常运行时的服务分布图。所有控制节点均启动第一类服务，只有控制节点1启动第二类服务。所有计算节点均启动第三类服务和第四类服务。所有计算节点均包含一个用户虚拟机实例。为方便说明，当前集群状态称为集群初始状态。

(1)正常关机：从集群初始状态开始，以关闭计算节点1为例进行说明。

1、关机前用户通过网页管理平台决定是否对用户虚拟机进行关机前迁移。(此例不迁移)。

2、关机前用户通过网页管理平台对所有控制节点设置暂停疏散标志。

3、用户通过网页管理平台对计算节点1下达关机命令。

4、计算节点1接到关机命令后，关闭控制节点1和用户虚拟机实例1。

5、第一插件模块在控制节点1上设置正常关机命令，第二插件模块在计算节点1上设置正常关机命令。

6、控制节点1正常关机。

7、计算节点1正常关机。

8、Pacemaker检测到控制节点1和计算节点1离线。将第二类服务迁移到控制节点2上继续运行。

9、结束。

结束后集群服务状态如图4所示。

(2)当计算节点1重新开机时，会经过以下过程：

1、计算节点1开机，第二插件模块启动。

2、第二插件模块检查正常关机标志存在，清除正常关机标志。启动第三类服务。第二插件模块进入控制检测状态。

3、第三类服务启动后，由控制节点2上的Pacemaker服务启动计算节点1的第四类服务。

4、第二插件模块查看当前集群控制节点数量小于3，开启本节点上的控制节点虚拟机。查看当前计算节点1拥有的用户虚拟机实例在数据库中的实际运行位置为计算节点1，用户虚拟机实例1自动交由Openstack控制。第二插件模块进入监控状态。

5、控制节点1启动后，第一插件模块启动。检查正常开机标志存在，清除正常关机标志。启动控制节点1上的Pacemaker服务。

6、第一插件模块进入监控状态。控制节点1上的Pacemaker服务按照资源服务定义开启控制节点1上的第一类服务。

7、结束。

结束后集群服务状态如图5所示。

(3)异常停电：从集群初始状态开始，以计算节点1异常停电为例进行说明。

1、计算节点1突然异常停电，计算节点1和位于计算节点1上的控制节点1同时被关闭，处于关机状态。

2、集群Pacemaker检测出计算节点1和控制节点1离线，将第二类服务迁移到控制节点2上运行。

3、控制节点2上的第一插件模块连续5分钟监控出有计算节点1离线，进入疏散处理状态。

4、控制节点2上的第一插件模块获取到新离线的计算节点为计算节点1，禁用计算节点1上的第三类服务。

5、控制节点2上的第一插件模块检查没有暂停疏散标志，获取计算节点1上的用户虚拟机实例列表，列表上有用户虚拟机实例1。

6、控制节点2上的第一插件模块调用Openstack的命令对用户虚拟机实例1在计算节点2或计算节点3上进行重建。(此例假设选择在计算节点2上重建)。

7、用户虚拟机在计算节点2上重建完成后，第一插件模块重新进入监控状态。

8、结束。

结束后集群服务的状态如图6所示：

(4)当计算节点1排除故障重新开启时，会经历以下过程：

1、计算节点1开机，第二插件模块启动。

2、第二插件模块检查正常关机标志不存在，进入待机状态。

3、维护人员排查确保计算节点1的操作系统没问题后，向第二插件模块发送USR1信号设置复位标志。

4、维护人员向计算节点1下达重新启动命令。

5、计算节点1收到重启命令后，第二插件模块清除复位标志，设置正常关机标志。

6、计算节点1重新启动。

7、计算节点1启动后，第二插件模块启动。

8、第二插件模块检查正常关机标志存在，清除正常关机标志，启动第三类服务，进入控制检测状态。

9、第三类服务启动后，由控制节点2上的Pacemaker服务启动计算节点1的第四类服务。

10、第二插件模块查看当前集群控制节点的数量小于3，开启本节点上的控制节点1虚拟机。查看当前计算节点1拥有的用户虚拟机实例1在数据库中的实际运行位置为计算节点2，第二插件模块删除计算节点1上的用户虚拟机实例1。进入监控状态。

11、控制节点1启动后，第一插件模块启动。检查正常开机标志不存在，进入待机状态。

12、维护人员排查确保控制节点1的操作系统没问题后，向第一插件模块发送USR1信号设置复位标志。

13、维护人员向控制节点1下达重新启动命令。

14、控制节点1收到重启命令后，第一插件模块清除复位标志，设置正常关机标志。

15、控制节点1重新启动。

16、控制节点1启动后，第一插件模块启动。检查正常开机标志存在，清除正常关机标志，启动Pacemaker服务，进入监控状态。控制节点1上的Pacemaker服务按照资源服务定义开启控制节点1上的第一类服务。

17、结束。

结束后集群服务状态如图7所示。

(5)服务异常：从集群初始状态开始，以控制节点1上的第二类服务异常为例进行说明。

1、控制节点1上的第二类服务出现异常自动关闭。

2、集群Pacemaker检测出控制节点1上的第二类服务出现异常，并处于关闭状态。尝试对控制节点1上的第二类服务重新启动3次。(此例假设控制节点1上的第二类服务重新启动3次仍不能正常服务)。

3、集群Pacemaker禁用控制节点1上的第二类服务。在控制节点2启动第二类服务。(此例假设迁移服务时选择迁移到控制节点2)。

4、结束。

结束后集群服务状态如图8所示。

特别说明，当维护人员对控制节点1的故障进行排除后，服务运行位置维持不变。

(6)网络异常：

从集群初始状态开始，以计算节点1出现网络断开为例进行说明。

1、计算节点1的网络断开，控制节点1的网络也被断开。

2、控制节点1上的Pacemaker因为法定投票不足，防脑裂功能开启，关闭控制节点1上的第一类服务和经二类服务。计算节点1上因为网络断开，第三类服务把第四类服务关闭。

3、控制节点1上的第一插件模块监控出连续3分钟控制节点1处于网络故障状态，关闭Pacemaker服务。第一插件模块进入待机状态。

4、计算节点1上的第二插件模块监控出连接3分钟计算节点1出现服务异常或网络异常，关闭计算节点1上第三类服务和第四类服务，以及关闭计算节点1上的用户虚拟机实例1。然后进入待机状态。

5、集群Pacemaker检测出控制节点1和计算节点1离线，将第二类服务迁移到控制节点2上运行。

6、控制节点2上的第一插件模块连续5分钟监控出有计算节点1离线，进入疏散处理状态。

7、控制节点2上的第一插件模块获取到新离线的计算节点为计算节点1，禁用计算节点1上的第三类服务。

8、控制节点2上的第一插件模块检查没有暂停疏散标志，获取计算节点1上的用户虚拟机实例列表，列表上有用户虚拟机实例1。

9、控制节点2上的第一插件模块调用Openstack的命令对用户虚拟机实例1在计算节点2或计算节点3上进行重建。(此例假设选择在计算节点2上重建)。

10、用户虚拟机在计算节点2上重建完成后，第一插件模块重新进入监控状态。

11、结束。

结束后集群服务的状态如图9所示：

(7)当计算节点1排除网络故障后重新加入集群，会经历以下过程：

1、维护人员向第二插件模块发送USR1信号设置复位标志。向第一插件模块发送USR1信号设置复位标志。

2、维护人员向控制节点1下达关机命令。

3、第一插件模块在控制节点1上清除复位标志，设置正常关机命令后关机。

4、维护人员向计算节点1下达重新启动命令。

5、计算节点1收到重启命令后，第二插件模块清除复位标志，设置正常关机标志后重启。

6、计算节点1启动后，第二插件模块启动。

7、第二插件模块检查正常关机标志存在，清除正常关机标志，启动第三类服务，进入控制检测状态。

8、第三类服务启动后，由控制节点2上的Pacemaker服务启动计算节点1的第四类服务。

9、第二插件模块查看当前集群控制节点的数量小于3，开启本节点上的控制节点1虚拟机。查看当前计算节点1拥有的用户虚拟机实例1在数据库中的实际运行位置为计算节点2，第二插件模块删除计算节点1上的用户虚拟机实例1。进入监控状态。

10、控制节点1启动后，第一插件模块启动。

11、检查正常开机标志存在，清除正常关机标志，启动Pacemaker服务，进入监控状态。控制节点1上的Pacemaker服务按照资源服务定义开启控制节点1上的第一类服务。

12、结束。

结束后集群服务状态如图10所示。

以上详细描述了本发明的较佳具体实施例；应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化；因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种基于超融合基础构架的高可用系统，其特征在于：包括至少三个超融合节点；

所述超融合节点包含一部署在物理节点上的计算节点和一部署在虚拟机节点上的控制节点，所述计算节点上还用于运行有虚拟机实例；

所述控制节点上部署有第一高可用管理模块和第一插件模块，所述计算节点上部署有第二插件模块；

所述控制节点上还部署有第一类数据库服务模块和第二类虚拟计算层服务组模块，所述计算计算节点上还部署有第三类高可用管理服务模块和第四类虚拟计算层服务组模块；所述第一高可用管理模块通过第三类高可用管理服务模块与第四类虚拟计算层服务组模块通信连接；

所述第一高可用管理模块用于管理集群所有资源；

所述第一插件模块基于所述第一高可用管理模块，生成所述控制节点的运行状态，控制所述第一类数据库服务模块、第二类虚拟计算层服务组模块或第一高可用管理模块的开启或关闭，并控制所述虚拟机实例的重建；

所述第二插件模块生成所述计算节点的运行状态，并控制所述第三类高可用管理服务模块和第四类虚拟计算层服务组模块的开启或关闭。

2.如权利要求1所述的一种基于超融合基础构架的高可用系统，其特征在于，所述第一插件模块被配置为：

1a)、启动时，检查正常关机标志；若所述正常关机标志存在，则清除所述正常关机标志，启动所述第一高可用管理模块，进入监控状态；若所述正常关机标志不存在，则进入待机状态；

1b)、处于所述监控状态时，定期监控所述第一高可用管理模块是否因出现错误处于阻塞状态，若有，则清除阻塞标记，控制所述第一高可用管理模块重新探测服务运行状态，重回正常工作状态；

1c)、处于所述监控状态时，定期监控所述计算节点是否退出集群；若监控出连续N分钟有所述计算节点处于退出集群状态，在进入疏散处理状态；所述N≥2；

1d)、处于所述监控状态时，定期监控当前控制节点是否出现网络故障；若监控出连续M分钟当前控制节点处于网络故障状态，则关闭所述第一高可用管理模块，关闭运行在当前控制节点上的所述第一类数据库服务模块和所述第二类虚拟计算层服务组模块，进入待机状态；所述M≥2；

1e)、处于所述监控状态时，定期查看是否有暂停疏散标志；若有暂停疏散标志，检查系统时间是否已超过暂停疏散标志内记录的时间；若已超时，则清除暂停疏散标志；

1f)、处于所述疏散处理状态时，由当前运行所述第二类虚拟计算层服务组模块的获取新退出的计算节点列表，禁用列表节点上的第三类高可用管理服务模块；若无暂停疏散标志，则获取列表节点上运行的用户虚拟机实例列表，使用户虚拟机实例在正常的计算节点上重建；最终重新进入监控状态；

1g)、处于所述待机状态时，不进行任何操作；

1h)、关闭时，若所述第一插件模块处于非待机状态时，在所述第一插件模块关闭前，设置正常关机标志；若所述第一插件模块处于待机状态时，则检查是否有复位标志；若有复位标志时，在所述第一插件模块关闭前，清除复位标志，设置正常关机标志；若无复位标志，所述第一插件模块在操作系统关闭时直接关闭；

1i)、所述第一插件模块收到操作系统的用户复位操作时，设置复位标志。

3.如权利要求1所述的一种基于超融合基础构架的高可用系统，其特征在于，所述第二插件模块被配置为：

2a)、启动时，检查正常关机标志；若正常关机标志存在，则清除正常关机标志，启动第三类高可用管理服务模块，进入控制检测状态；若正常关机标志不存在，则进入待机状态；

2b)、处于所述控制检测状态时，查看当前集群的所述控制节点的数量；若所述控制节点数量小于3，则开启本计算节点上的控制节点虚拟机；查看当前计算节点拥有的用户虚拟机实例在数据库中的实际运行位置；若实际运行位置不在当前计算节点，则第二插件模块删除该用户虚拟机实例；最后进入监控状态；

2c)、处于所述监控状态时，定期监控当前计算节点是否出现服务异常或网络异常；若监控出连续L分钟当前计算节点出现服务异常或网络异常，则关闭当前计算节点上的所述第三类高可用管理服务模块和第四类虚拟计算层服务组模块，以及关闭当前计算节点上的所有用户虚拟机实例；然后进入待机状态；所述L≥2；

2d)、处于待机状态时，不进行任何操作；

2e)、关闭时，若所述第二插件模块处于非待机状态时，在所述第二插件模块关闭前，设置正常关机标志；若所述第二插件模块处于待机状态时，则检查是否有复位标志；若有复位标志时，在所述第二插件模块关闭前，清除复位标志，设置正常关机标志；若无复位标志，所述第二插件模块在操作系统关闭时直接关闭；

2f)、所述第二插件模块收到操作系统的用户复位操作时，设置复位标志。

4.如权利要求1所述的一种基于超融合基础构架的高可用系统，其特征在于：所述第一高可用管理模块是基于pacemaker集群资源管理器，所述第三类高可用管理服务模块包含有pacemaker-remote服务。

5.如权利要求1所述的一种基于超融合基础构架的高可用系统，其特征在于：所述第二类虚拟计算层服务组模块包含虚拟IP地址服务、消息队列服务(RabbitMQ)、Openstack的Nova计算服务、Glance镜像服务和Cinder块存储服务。

6.如权利要求1所述的一种基于超融合基础构架的高可用系统，其特征在于：所述第四类虚拟计算层服务组模块包含Openstack的Nova-Compute计算服务、Nova-Network网络接入服务。

7.如权利要求1所述的一种基于超融合基础构架的高可用系统，其特征在于：所述第一类数据库服务模块以Active/Active的模式运行于所有控制节点上；所述第二类虚拟计算层服务组模块同一时间内只在一个控制节点上运行，其它控制节点不运行此类服务；所述第三类高可用管理服务模块，以Active/Active的模式运行于所有所述计算节点上，用于向所述控制节点标识运行服务的计算节点正常工作；所述第四类虚拟计算层服务组模块以Active/Active的模式运行于所有所述计算节点上。

8.如权利要求1所述的一种基于超融合基础构架的高可用系统，其特征在于：所述第三类高可用管理服务模块可运行于所有计算节点，并作为资源映射到所述控制节点上运行。

9.如权利要求1所述的一种基于超融合基础构架的高可用系统，其特征在于：所述第一插件模块随操作系统启动而启动，随操作系统关闭而关闭；所述第二插件模块要随操作系统启动而启动，随操作系统关闭而关闭。