CN104679717B - 集群弹性部署的方法和管理系统 - Google Patents

Abstract

本发明提供了集群弹性部署的方法和管理系统。根据本发明的方法和管理系统，能够动态部署和管理的弹性计算框架的集群。所述方法包括：定义集群的基本信息；从由拟用于生成集群的机器所组成的资源池中，选择拟用于生成所述集群的机器；选择将用于所述机器的软件的版本并修改所述机器的配置信息；选择所述机器要部署的服务进程；以及根据所述机器中所包括的检测脚本，对所述机器进行环境正确性检查，其中，如果所述环境正确性检查通过，则从云存储获取对所述机器进行配置的镜像文件，以及在所述机器上启用所述要部署的服务进程。

Description

集群弹性部署的方法和管理系统

技术领域

本发明涉及计算机技术领域，特别地涉及分布式系统中的集群弹性部署的方法和管理系统。

背景技术

为了应对海量数据存储，越来越多的企业采用诸如HBase的开源数据库。然而，作为分布式系统，对于HBase的集群部署和运维非常麻烦，比如对现有集群进行扩容或剔除出现软硬件故障的机器的情况下，要依赖于运维人员的手工操作。这些操作不仅具有重复性，极易出错，而且随着集群个数和集群自身规模的增加，使得难以通过手工操作对其进行管理。

为简化诸如HBase的集群管理操作，业界也出现了一些管理工具，比如ClouderaManager和Ambari。在部署集群时，用户仅需选定好HBase所依赖的软件包版本，通过工具界面配置每个机器的角色，对HBase、Zookeeper和Hadoop的配置进行调整，而具体的集群部署操作则由这些管理工具完成。

即便如上所述的管理工具来实现集群管理操作，仍存在以下弊端：管理工具由于商业授权而存在诸多限制，比如Cloudera Manager限制集群规模小于100机器节点；不便于多集群管理，管理工具均是针对一个集群的安装和管理，而难以对多个集群的弹性增减机器等；缺乏审计追踪，对生产环境中的机器的操作没有做必要的记录，无法帮助用户在出现问题时追查原因及责任人。

发明内容

有鉴于此，本发明提供一种集群弹性部署的方法和管理系统，通过引入资源池，将所有拟用于集群部署的机器放入资源池内，能够简化对现有资源池和集群的维护管理。

为实现上述目的，根据本发明的一个方面，提供了一种集群弹性部署的方法。

本发明的集群弹性部署的方法包括步骤：定义集群的基本信息；从由拟用于生成集群的机器所组成的资源池中，选择拟用于生成所述集群的机器；选择将用于所述机器的软件的版本并修改所述机器的配置信息；选择所述机器要部署的服务进程；以及根据所述机器中所包括的检测脚本，对所述机器进行环境正确性检查，其中，如果所述环境正确性检查通过，则从云存储获取对所述机器进行配置的镜像文件，以及在所述机器上启用所述要部署的服务进程。

可选地，所述定义集群的基本信息包括：定义所述集群的集群名称、集群机器类型、使用有效期和集群规模。

可选地，所述对所述机器进行环境正确性检查包括：对所述机器的操作系统版本、JDK版本、主机名、防火墙、时间同步配置中的一项或多项进行检查。

可选地，本发明的集群弹性部署的方法进一步包括向所述集群添加机器的步骤，所述步骤包括：从所述资源池中选择空闲的机器并且指定在其上要部署的服务进程；以及根据所述机器中所包括的检测脚本，对所述机器进行环境正确性检查，其中，如果所述环境正确性检查通过，则从所述云存储获取对所述机器进行配置的镜像文件，对所述机器的配置进行更新，以及启用所述要部署的服务进程。

可选地，本发明的集群弹性部署的方法进一步包括向所述集群动态删除机器的步骤，所述步骤包括：选择需要停止的机器并且停止部署在其上的服务进程；以及根据所述机器中所包括的检测脚本，对所述集群工作状态进行检测，其中，如果所述集群能够工作正常，则将所述机器的配置信息重置为初始状态。

可选地，本发明的集群弹性部署的方法进一步包括对所述集群进行动态修改配置的步骤，所述步骤包括：对欲对其进行配置项修改的机器的原配置项进行备份；修改所述机器的要更改的配置项；以及根据所述机器中所包括的检测脚本，对修改后的配置项的合法性进行审查，其中，如果所述配置项的合法性的审查通过，则所述修改后的配置项被推送到所述机器。

根据本发明的另一方面，提供了一种集群弹性部署的管理系统，包括中心管理服务器；由拟用于生成集群的机器所组成的资源池；以及由所述中心管理服务器，根据本发明的集群弹性部署的方法所部署的集群。

可选地，所述资源池中的拟用于生成集群的机器能够与所述中心管理服务器协同来完成接收命令和回送响应消息的相关操作。

可选地，所述资源池中的拟用于生成集群的机器包括检测脚本

可选地，所述中心管理服务器还用于获取所述机器的所属集群、机器工作状态以及机器类型。

可选地，所述中心管理服务器记录所述集群和所述资源池的操作日志。

根据本发明的技术方案，通过在集群部署中引入资源池，而将所有拟用于集群部署的机器放入资源池内，提供了能够动态管理的弹性计算框架的集群。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是用于描述本发明的集群弹性部署的管理系统的示意图；

图2A-2D是用于描述本发明的集群弹性部署的方法的示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。为了便于描述，以HBase为例做出以下具体说明，然而本领域普通技术人员应当认识到，本发明的方法和管理系统并不限于HBase，而是可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是用于描述本发明的集群弹性部署的管理系统的示意图。如下将参考图1描述本发明的集群弹性部署的管理系统的工作机制。

如图1所示，与现有技术的集群管理系统相同，本发明的集群弹性部署的管理系统包括中心管理服务器10、集群20、云存储30、数据库40。云存储30用于存放功能资源文件，例如Hadoop、Zookeeper、HBase镜像文件文件和配置文件。数据库40用于存放机器、集群等相关元数据信息以及状态维护信息。集群20包括多台机器并且用于处理来自接入业务应用的任务。中心管理服务器10读取存放在云存储30和数据库40中的文件和信息，根据该文件和信息维护集群20中机器的列表信息，以获取机器所属集群、机器工作状态和机器来源，进而对集群20进行配置维护、镜像文件管理、机器管理、安全控制操作。与现有技术的集群管理系统的不同之处在于，本发明的集群弹性部署的管理系统中的集群20是通过弹性方案所部署的集群，并且该集群弹性部署的管理系统还包括由拟用于生成集群的机器所组成的资源池50，中心管理服务器10还负责维护资源池50中机器。中心管理服务器10可通过各种通信协议与集群20和资源池50中机器通信，例如通过TCP/IP协议。

资源池50中的每台机器都能够与中心管理服务器10协同来完成接收命令和回送响应消息的相关操作。可选地，资源池50中的每台机器可以安装有用于与中心管理服务器10协同来完成接收命令和回送响应消息的相关操作的HAgent。资源池50中的每台机器可以包括用于完成机器环境正确性检查以及相关服务是否正常运行的检查的检测脚本。上述环境正确性检查包括但不限于对于操作系统版本、JDK版本、主机名、防火墙、时间同步配置的检查。上述相关服务包括但不限于远程存储(RS)和数据节点(Datanode)服务进程。

中心管理服务器10还负责维护资源池50中的机器的列表信息，获取机器所属集群、机器工作状态以及机器类型(实体机或虚拟机)，以防止机器被重复部署到多个集群中。在资源池50中每台机器上安装HAgent后，将在中心管理服务器10中对每台机器进行注册。

对于已创建的集群20，如果需要动态添加机器，则通过中心管理服务器10从资源池50的机器中挑选一台或几台加入集群，然后启用拟部署在所选机器上的服务进程；如果集群20中的机器存在空闲情况，则通过中心管理服务器10将部分空闲的机器释放回资源池50。

当接入业务应用需要接入集群20时，业务的使用方获取对应的使用的集群的配置信息，然后发送给该接入业务应用，使其可以通过诸如HBase应用程序编程接口(API)的接口访问集群20，同时可以在中心管理服务器10中记录集群20的关联接入业务应用。

另外，当HAgent进行的诸如修改ulimit、hosts需要root权限的操作时，通过中心管理服务器10对允许root权限操作进行审批，仅当审批通过后才能进行操作。对于权限审批，优选的方式是将root用户名和密码放入HAgent配置文件中，通过中心管理服务器10做操作的时候基于root用户名和密码做权限验证以及日志记录，由此能够追踪操作人员并且防止恶意操作，为用户提供了必要的审计追踪。

图2A-2D是用于描述本发明的集群弹性部署的方法的示意图。本发明的集群弹性部署的方法的核心流程包括创建集群、集群动态添加机器、集群动态删除机器、集群动态修改配置，如下将参考图2A-2D对其逐一进行描述。

图2A是根据本发明实施例的创建集群的方法的示意图。根据本发明实施例的创建集群的方法可以包括：定义集群的基本信息，该基本信息包括集群名称、集群机器类型(实体机或虚拟机)、使用有效期和集群规模；从由拟用于生成集群的机器所组成的资源池中，选择拟用于生成集群的机器；选择将用于机器的诸如Hadoop、HBase、Zookeeper的软件的版本并修改机器的配置信息；选择每个机器要部署的服务进程；根据机器中所包括的检测脚本，对机器进行环境正确性检查；如果检查通过，则从云存储获取对机器进行配置的镜像文件，通过HAgent启用要部署的服务进程。可选地，如果检查未通过，则将该机器留在资源池中；或重复上述选择将用于机器的软件的版本并修改机器的配置信息，选择要部署的服务进程，以及对机器进行环境正确性检查的步骤。

图2B是根据本发明实施例的集群动态添加机器的方法的示意图。根据本发明实施例的集群动态添加机器的方法可以包括：从资源池中选择一台空闲的机器并且指定其上要部署的服务进程；根据机器中所包括的检测脚本，对该机器进行环境正确性检查；如果检查通过，则从云存储获取对该机器进行配置的镜像文件，对其配置进行更新，启用要部署的服务进程。可选地，如果检查未通过，则对该机器重复环境正确性检查的步骤；或从资源池中另外选择一台空闲的机器，并重复上述步骤。

图2C是根据本发明实施例的集群动态删除机器的方法的示意图。根据本发明实施例的集群动态删除机器的方法可以包括：通过中心管理服务器的界面，选择需要停止的机器并且停止部署在其上的服务进程；根据该机器中所包括的检测脚本，对集群工作状态进行检测；如果集群能够工作正常，则将该机器的配置信息重置为初始状态，以使其配置信息返回到被放入到资源池时的状态，由此完成该机器归入资源池的操作。可选地，如果集群不能工作正常，则重新启用该机器上的被停止的服务进程。

图2D是根据本发明实施例的集群动态修改配置的方法的示意图。根据本发明实施例的集群动态修改配置的方法可以包括：对欲对其进行配置项修改的机器的原配置项进行备份；通过中心管理服务器的界面，修改要更改的配置项；根据该机器中所包括的检测脚本，对修改后的配置项的合法性进行审查；如果审查通过，则修改后的配置项被推送到该机器。可选地，如果审查未通过，则在该机器中用备份的原配置项覆盖修改后的配置项。

根据本发明实施例的技术方案，通过在集群部署中引入资源池，而将所有拟用于集群部署的机器放入资源池内，提供了能够动态管理的弹性计算框架的集群，其能够实现可扩展性强、可维护性强、资源利用率高以及人力成本低的效果。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和设备的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来开发出的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种集群弹性部署的方法，其特征在于，所述集群的机器为实体机或虚拟机，所述方法包括步骤：

定义集群的基本信息；

从由拟用于生成集群的机器所组成的资源池中，选择拟用于生成所述集群的机器；

选择将用于所述机器的软件的版本并修改所述机器的配置信息；

选择拟部署在所述机器上的服务进程；以及

根据所述机器中所包括的检测脚本，对所述机器进行环境正确性检查，其中，如果所述环境正确性检查通过，则从云存储获取对所述机器进行配置的镜像文件，以及在所述机器上启用所述拟部署在所述机器上的服务进程；以及，

所述方法进一步包括对所述集群进行动态修改配置的步骤，所述步骤包括：

对欲对其进行配置项修改的机器的原配置项进行备份；

修改所述机器的要更改的配置项；

根据所述机器中所包括的检测脚本，对修改后的配置项的合法性进行审查，其中，如果所述配置项的合法性的审查通过，则所述修改后的配置项被推送到所述机器。

2.根据权利要求1所述的方法，其特征在于，所述定义集群的基本信息包括：定义所述集群的集群名称、集群机器类型、使用有效期和集群规模。

3.根据权利要求1所述的方法，其特征在于，所述对所述机器进行环境正确性检查包括：对所述机器的操作系统版本、JDK版本、主机名、防火墙、时间同步配置中的一项或多项进行检查。

4.根据权利要求1所述的方法，其特征在于，进一步包括向所述集群添加机器的步骤，所述步骤包括：

从所述资源池中选择空闲的机器并且指定在其上要部署的服务进程；以及

根据所述机器中所包括的检测脚本，对所述机器进行环境正确性检查，其中，如果所述环境正确性检查通过，则从所述云存储获取对所述机器进行配置的镜像文件，对所述机器的配置进行更新，以及启用所述拟部署在所述机器上的服务进程。

5.根据权利要求1所述的方法，其特征在于，进一步包括向所述集群动态删除机器的步骤，所述步骤包括：

选择需要停止的机器并且停止部署在其上的服务进程；以及

根据所述机器中所包括的检测脚本，对所述集群工作状态进行检测，其中，如果所述集群能够工作正常，则将所述机器的配置信息重置为初始状态。

6.一种集群弹性部署的管理系统，其特征在于，包括：

中心管理服务器；

云存储；

数据库；

由拟用于生成集群的机器所组成的资源池；以及

由所述中心管理服务器，根据权利要求1-5中任意一项所述的方法所部署的集群。

7.根据权利要求6所述的管理系统，其特征在于，所述资源池中的拟用于生成集群的机器能够与所述中心管理服务器协同来完成接收命令和回送响应消息的相关操作。

8.根据权利要求6所述的管理系统，其特征在于，所述资源池中的拟用于生成集群的机器包括检测脚本。

9.根据权利要求6所述的管理系统，其特征在于，所述中心管理服务器还用于获取所述机器的所属集群、机器工作状态以及机器类型。

10.根据权利要求6所述的管理系统，其特征在于，所述中心管理服务器记录所述集群和所述资源池的操作日志。