CN109104318A - 用于实现集群自适应部署的方法、基于云平台的自适应部署大数据集群的部署方法及系统 - Google Patents

Abstract

本发明公开一种用于实现集群自适应部署的方法，包括如下步骤：在部署虚拟机集群的主节点时，加载配置文件；获取主节点所在的隔离网络内的集群信息；根据配置文件和集群信息识别并标记虚拟机集群内的所有从节点；根据配置文件对标记的所有从节点进行配置信息的更新。还提供了一种用于实现集群自适应部署的脚本文件，基于云平台的自适应部署大数据集群的部署方法和系统。根据本发明提供的方法和系统，可以满足个性化服务器资源租赁或实验室多集群资源的需求，使得云服务提供商能将物理网络设备抽象成虚拟的网络设备提供给客户，并允许每个租户创建自己的虚拟网络，结合客户或团体的需求，对虚拟网络进行个性化管理。

Description

用于实现集群自适应部署的方法、基于云平台的自适应部署 大数据集群的部署方法及系统

技术领域

本发明涉及云数据技术领域，特别是一种用于实现集群自适应部署的方法、基于云平台的自适应部署大数据集群的部署方法及系统。

背景技术

随着云计算技术的快速发展，对虚拟网络资源的个性化要求越来越高。对资源提供商而言，虚拟网络的基本需求是:允许私有云网络中多Hadoop集群共存，即在同一套物理网络环境中，支持创建多套具备独立服务模型、拓扑和IP地址空间的Hadoop集群虚拟网络。而从客户的角度来看，不仅要求能够创建一套独立的虚拟网络，在其中运行业务，而且要求确保客户数据的隔离的稳定性，保证数据不会由于动态资源分配而产生资源冲突。

目前可以通过OpenStack的Sahare快速搭建Hadoop集群。但是存在版本兼容的问题，以及集群的配置信息应用繁琐的问题。

发明内容

本发明为了解决上述问题，满足个性化服务器资源租赁或实验室多集群资源的需求，使得云服务提供商能将物理网络设备抽象成虚拟的网络设备提供给客户，并允许每个租户创建自己的虚拟网络，结合客户或团体的需求虚拟机资源，获得多个Hadoop云平台集群环境，对虚拟网络进行个性化管理，提供了一种用于实现集群自适应部署的方法及基于云平台的多集群自适应部署方法和系统。并且通过本发明可以实现动态扩容、删减集群或节点，实时动态更改，更新集群配置的功能，完成自适应性的部署。

根据本发明的一个方面，提供了一种用于实现集群自适应部署的方法，包括如下步骤：在部署虚拟机集群的主节点时，加载配置文件；根据配置文件识别并标记虚拟机集群内的所有从节点；根据配置文件对标记的从节点进行配置信息的更新。由此，可以通过布置主节点和从节点方便该隔离网络内的部署管理，对于在主节点上加载配置文件，可以方便后续的个性化管理，根据配置文件对标记的从节点进行更新实现了更新集群配置的功能，有利于用户创建自己所需要的虚拟网络。

在一些实施方式中，配置文件包含从节点与主节点的端口映射规则，根据配置文件识别并标记虚拟机集群内的所有从节点包括：获取主节点所在的隔离网络内的集群信息；根据集群信息和配置文件中的映射规则识别并记录虚拟机集群内的所有从节点。由此，可以通过配置文件的端口映射规则，实现从节点的标识，保证了在同一隔离网络内，主从节点的对应关系，防止在数据传输的过程中发生误传等现象。

在一些实施方式中，根据配置文件对标记的所有从节点进行配置信息的更新包括如下步骤：与虚拟机集群内的所有从节点建立通信连接；根据配置文件生成各个从节点的自定义配置文件；将自定义配置文件分别传输至相应的从节点进行配置文件的替换。由此，可以通过配置文件对各个从节点的配置文件进行更新和替换，防止误传等操作，有效的提高了配置文件的更新效率，有利于用户自定义对其进行更改。

在一些实施方式中，与虚拟机集群内的所有从节点建立通信连接包括：监测各个从节点的SSH服务的启动情况，在检测到SSH服务启动时对从节点建立SSH通信，并通过密钥的方式，实现SSH免密登陆。由此，通过SSH通信进行传输的方式可以达到安全传输的目的。

在一些实施方式中，上述方法的自定义配置文件包括大数据集群配置文件、新的hosts文件和新的slave文件，根据配置文件对标记的所有从节点进行配置信息的更新还包括：在自定义配置文件传输完成后，通过SSH通信执行自定义配置文件，以更新各个从节点的hostname。由此，可以根据SSH通信执行从节点的自定义配置文件，更新各个节点的hostname，不但实现了对集群的配置信息的自适应更新，还能够自动完成集群的部署。

在一些实施方式中，上述的方法还包括：对隔离网络内的集群信息进行实时监测；根据监测结果判断虚拟机集群的变化，并对变化进行响应。由此，可以通过不同的变化做出的响应实现动态扩容、删减集群或节点，实时动态更改，更新集群配置的功能，完成自适应性的部署，为用户提供自定义的个性化集群。

在一些实施方式中，根据监测结果判断所述虚拟机集群的变化，并对变化进行响应包括：根据监测到的集群信息和配置文件识别隔离网络内的从节点，当识别到隔离网络内的从节点变化时，生成集群配置文件更新文件；将更新文件同步至从节点，并重新启动从节点。由此，可以通过对虚拟机集群的变化的监控，及时更新集群的从节点的配置文件，有利于实现自适应性的部署，根据用户的需求灵活操作。

根据本发明的另一个方面，提供了一种用于实现集群自适应部署的脚本文件，包括程序指令，程序指令能够被处理器执行以实现上述的方法。由此，可以通过该脚本文件实现配置上述方法中的模板。方便对后续的自定义管理。

根据本发明的另一个方面，提供了一种基于云平台的自适应部署大数据集群的部署方法，包括如下步骤：在虚拟机模板文件中的主节点虚拟机模板中配置上述脚本文件；根据虚拟机模板在隔离网络内创建虚拟机集群；部署虚拟机集群的主节点，并启动脚本文件。由此，可以在虚拟机模板上配置脚本文件，通过该脚本文件的运行实现控制整个集群的操作功能，并将该脚本文件只配置在主节点上，有利于对其它从节点进行管理。完成自适应性的部署，为用户提供自定义的个性化集群。

根据本发明的另一个方面，提供了一种基于云平台的多集群自适应部署系统，包括：模板获取模块，用于获取虚拟机模板和脚本文件，和根据虚拟机模板和脚本文件生成主节点虚拟机模板；集群创建模块，用于根据虚拟机模板和主节点虚拟机模板在隔离网络内创建虚拟机集群；部署模块，用于部署虚拟机集群的主节点，并启动脚本文件，实现对虚拟机集群的自动部署。由此，可以通过该系统的模板获取模块部署主节点虚拟机和其上配置的脚本文件。通过集群创建模块和部署模块实现动态扩容、删减集群或节点，实时动态更改，更新集群配置的功能，完成自适应性的部署。

附图说明

图1为本发明一实施方式的用于实现集群自适应部署的方法流程图；

图2为本发明另一实施方式的用于实现集群自适应部署的方法流程图；

图3为本发明一实施方式的用于实现集群自适应部署的脚本文件结构图；

图4为本发明一实施方式的基于云平台的自适应部署大数据集群的部署方法流程图；

图5为本发明一实施方式的基于云平台的多集群自适应部署系统框图。

具体实施方式

下面结合附图对本发明作进一步详细的说明。

下文所提到的具体实施方式，均是基于CloudStack平台实现，CloudStack是一个开源的具有高可用性及扩展性的云计算平台，同时是一个开源云计算解决方案，可以加速高伸缩性的公共和私有云(IaaS)的部署、管理、配置。使用CloudStack作为基础，数据中心操作者可以快速方便的通过现存基础架构创建云服务。在CloudStack下创建虚拟机集群环境，通常是在CloudStack云平台搭建完成后，由用户上传虚拟机模板，CloudStack云平台根据上传的系统虚拟机模板，自动创建两个系统虚拟机并运行，分别为控制台代理虚拟机(Console proxyVM),简称CPVM；二级存储虚拟机(Secondary Storage VM),简称SSVM。而在添加实例虚拟机前，CloudStack云平台系统会首先创建来宾网络，以实现网络隔离。其中，创建来宾网络，是根据当前的网络情况自动创建虚拟路由vRouter，以满足实例虚拟机的网络需求，每个来宾网络(客户网络)对应至少一个vRouter。在一个多台计算机部署的集群中，路由器是必不可少的网络设备，vRouter在云平台中实现几乎所有虚拟网络功能，比如：DHCP、DNS服务、NAT、防火墙功能、端口转发、负载均衡、VPN功能等等。

因此，在CloudStack平台下搭建虚拟机集群的方式一般实现为：在搭建完CloudStack平台后，创建对应的路由虚拟机，然后将新建的主节点虚拟机的mac地址和IP配置到路由虚拟机，创建携带网卡的虚拟机信息和vlan接口，由此创建隔离网络(即CloudStack的来宾网络)。在隔离网络内，根据上传的虚拟机模板生成虚拟机集群，即创建虚拟机集群。由于虚拟机集群由一个主节点虚拟机和若干个从节点虚拟机组成，因此，在创建完虚拟机集群后要进行主节点和从节点的部署。本发明提供的技术方案，在部署主节点时，通过识别集群内的从节点可以实现仅需在主节点进行一次部署，即达到集群的自适应部署的效果，并且能够实现集群的自定义配置。同时由于本发明的技术方案是在CloudStack云平台下实现了集群自适应部署，因而不存在版本兼容的问题，避免了通过OpenStack的Sahare快速搭建Hadoop集群存在的版本兼容问题。

图1示意性地显示了根据本发明一实施方式的用于实现集群自适应部署的方法流程图。如图1所示：

步骤S101：在部署虚拟机集群的主节点时，加载配置文件。具体实现为：在创建完虚拟机集群后，进行主节点部署时，通过调用CloudStack提供的接口，从相应位置自动获取由用户上传的配置文件，其中，用户上传的配置文件中记载了根据用户需求定义的集群配置信息，例如可以是包括：CloudStack的API认证信息，域、集群ID，Hadoop集群内节点端口映射规则，Hadoop用户定义的配置文件模板以及参数信息，以及用户自定义的配置文件模板等。

步骤S102：获取主节点所在的隔离网络内的集群信息。具体实现为：当获取配置文件后，会利用CloudStack云平台系统提供的调用接口(即提供的API)，通过vlan接口获取主节点所在的隔离网络内的集群信息，该集群信息包括隔离网络(来宾网络)的IP信息以及各虚拟机的信息，其中虚拟机的信息至少包括虚拟机的端口信息。

步骤S103：根据配置文件和集群信息识别并标记虚拟机集群内的所有从节点。在加载了配置文件并获取到了集群信息后，就可以根据配置文件内部的配置信息与上步获取的集群信息，将主节点虚拟机和从节点虚拟机进行区分，从而识别并标记出虚拟集群内的从节点，具体实现为：将集群信息中的虚拟机的端口信息与配置文件中的端口映射规则信息进行匹配，当匹配结果为端口信息符合端口映射规则时，就将该虚拟机确定为当前主节点的从节点，并将该虚拟机的信息记录和标记为从节点。通过该方法对获取到的所有集群信息进行匹配就可以将在同一隔离网络的所有从节点虚拟机进行识别、标记。

步骤S104：根据配置文件对标记的所有从节点进行配置信息的更新。在识别出所有的从节点后，首先会根据配置文件中的信息，例如根据集群ID、Hadoop用户定义的配置文件模板以及参数信息、以及用户自定义的配置文件模板，生成与各个从节点适配的从节点自定义配置文件信息。之后，会根据与虚拟机集群内的所有从节点建立的通信连接，将生成的各个从节点的自定义配置文件信息传输给相应的从节点，以实现对从节点的配置更新。其中，与虚拟机集群内的所有从节点建立的通信连接可以为SSH通信连接，建立通信连接的实现方式，具体可以为：通过设定的时间间隔例如500ms向从节点发送创建ssh会话的请求，以根据从节点的反馈来确认其SSH服务是否准备就绪(即是否启动)，当检测到从节点的SSH服务启动时(例如收到正常的请求反馈消息时)，就与该从节点建立SSH通信，并通过密钥的方式，实现SSH免密登陆。其中。SSH服务为现有技术，建立连接和免密登陆均可以参照现有技术实现，故在此不再赘述。

其中，生成各从节点的自定义配置文件的实现方式例如可以为在配置文件中有用户需求的主从节点的个数信息、格式信息等，根据配置文件中用户的需求部分信息，生成各个从节点对应的自定义配置文件，该自定义配置文件可以为相同文件，也可以根据不同的从节点编号包括对应其编号的自定义配置文件，将生成的自定义配置文件分别通过SSH通信传输至相应的从节点，将从节点之前的配置文件替换为新的自定义配置文件。自定义配置文件包括大数据集群配置文件、新的hosts文件和新的slave文件等，

在自定义配置文件传输完成后，通过SSH通信执行自定义配置文件，从而更新各个从节点的hostname。

这样就满足了个性化服务器资源租赁或实验室多集群资源的需求，使得云服务提供商能将物理网络设备抽象成虚拟的网络设备提供给客户，并允许每个租户创建自己的虚拟网络，获得多个Hadoop云平台集群环境，对虚拟网络进行个性化管理。

图2示意性地显示了根据本发明一实施方式的用于实现集群自适应部署的方法流程图。如图2所示：

步骤S201至步骤S204的具体实现方式可以参照步骤S101至步骤S104。

步骤S205：对隔离网络内的集群信息进行实时监测。具体实现为：通过Cloudstack提供的虚拟监视器即提供的调用接口(也就是提供的调用API)，实时获取集群信息，并对获取到的集群信息进行甄别，并在甄别到变化时进行响应，以实现实时监测。其中，实时获取集群信息可以实现为:设置一独立的线程，根据预设的时间间隔，利用Cloudstack提供的API每隔预定的时间间隔(例如间隔N*1000ms)就获取集群信息。。

步骤S206：根据监测结果判断虚拟机集群的变化，并对变化进行响应。在获取到集群信息后，对实时获取的集群信息进行甄别，就可以实现对集群变化的监测，并在监测到变化时，进行相应处理。该过程可以实现为：根据获取到的集群信息中的各虚拟机的端口信息与配置文件中的端口映射规则的匹配情况，甄别Slave节点，如果发现节点有所增减，则生成新的集群配置文件(Master,Salve,Hosts,用户自定义配置)，并将属于从节点的配置文件信息同步至Slave节点，并重启从节点。由此，可以实现根据集群变化进行自适应集群部署，能够自动监测变化和自适应部署，有极好的适应性。

为了实现自动化部署，在具体实现中，可以通过编程的方式，将上述方法实现为程序指令，并将该程序指令生成为脚本文件，这样在具体应用时，通过启动和执行脚本文件就可以完成上述方法过程，其中，图3示意性地显示了本发明一实施方式的用于实现集群自适应部署的脚本文件结构图；如图3所示，

该脚本文件3包括程序指令301，程序指令301能够被处理器执行以实现图1和图2的方法。通过脚本文件3的方式存储可以执行的程序指令301，可以方便后续根据用户的需求进行更改。不仅有较好的实用性还有极高的灵活性。

图4为本发明一实施方式的基于云平台的自适应部署大数据集群的部署方法流程图；如图4所示，包括如下步骤：

步骤S401：在虚拟机模板文件中的主节点虚拟机模板中配置脚本文件。具体实现为：在创建完CloudStack平台后，根据用户需求在虚拟机模板中添加图3所示的脚本文件，该脚本文件可以根据需求进行更改，一般以嵌入在模板中的形式保存。

步骤S402：根据虚拟机模板在隔离网络内创建虚拟机集群。具体实现为：获取虚拟机模板后就会在隔离网络中创建虚拟机集群，一个CloudStack平台上可以有多个隔离网络，通过不同的隔离网络，满足不同用户的需求，根据嵌入有脚本文件虚拟机模板和无嵌入脚本文件的虚拟机模板生成两种虚拟机，一种为主节点虚拟机和另一种为从节点虚拟机，通过这两种虚拟机构建成虚拟机集群。

步骤S403：部署虚拟机集群的主节点，并启动脚本文件。具体实现为：在构建虚拟机集群后，需要首先虚拟机集群进行主节点的部署，由于脚本文件被嵌入到了用于创建主节点虚拟机的虚拟机模板中，因而在部署时，只需要启动执行脚本文件，例如通过./sbin/start-master.sh指令启动脚本，就可以实现按照脚本文件中预存的程序指令执行上述方法部分的自适应部署过程，完成主从节点的配置部署，其中上述方法部分的具体实现方式可以参照图1和图2。这样就实现了自动部署配置，非常方便。而部署完毕后，就可以提供给用户所需求虚拟机资源，获得多个Hadoop云平台集群环境，并可以通过对配置文件的自定义更新和配置，实现对虚拟网络进行个性化管理，还可以通过对集群的实时监测，实现自适应部署。

图5为本发明一实施方式的基于云平台的多集群自适应部署系统框图。如图5所示，该系统包括模板获取模块5、集群创建模块6和部署模块7，模板获取模块5用于获取虚拟机模板和脚本文件，和根据虚拟机模板和脚本文件生成主节点虚拟机模板。集群创建模块6用于根据虚拟机模板和主节点虚拟机模板在隔离网络内创建虚拟机集群。部署模块8用于部署虚拟机集群的主节点，并启动脚本文件，实现对虚拟机集群的自动部署。当用户提供了一种部署方案后，就会按照该方案为用户定制相应的脚本文件和虚拟机模板，将该脚本文件和虚拟机模板通过模板获取模块5上传生成嵌有脚本文件主节点虚拟机模板和一般性的从节点虚拟机模板。将这两种模板通过集群创建模块9生成主节点虚拟机和从节点虚拟机，通过虚拟机模板生成虚拟机的过程可以参照现有技术。通过主节点虚拟机和从节点虚拟机构建虚拟机集群，之后通过部署模块8在主节点虚拟机上部署该虚拟机集群的配置文件，通过图1所示的方法对主从节点虚拟机通过SSH通信的方式实现自定义配置文件的更新，并通过图2的方式实现对集群内变化的实时监测，由此在Cloudstack平台下为用户提供了多集群的自适应部署实现方案。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.用于实现集群自适应部署的方法，其特征在于，包括：

在部署虚拟机集群的主节点时，加载配置文件；

根据所述配置文件识别并标记所述虚拟机集群内的所有从节点；

根据所述配置文件对标记的从节点进行配置信息的更新。

2.根据权利要求1所述的方法，其特征在于，所述配置文件包含从节点与主节点的端口映射规则，所述根据所述配置文件识别并标记所述虚拟机集群内的所有从节点包括：

获取主节点所在的隔离网络内的集群信息；

根据所述集群信息和配置文件中的映射规则识别并记录所述虚拟机集群内的所有从节点。

3.根据权利要求2所述的方法，其特征在于，所述根据所述配置文件对标记的所有从节点进行配置信息的更新包括如下步骤：

与所述虚拟机集群内的所有从节点建立通信连接；

根据所述配置文件生成各个从节点的自定义配置文件；

将所述自定义配置文件分别传输至相应的从节点进行配置文件的替换。

4.根据权利要求3所述的方法，其特征在于，所述与所述虚拟机集群内的所有从节点建立通信连接包括：

监测各个从节点的SSH服务的启动情况，在检测到SSH服务启动时对所述从节点建立SSH通信，并通过密钥的方式，实现SSH免密登陆。

5.根据权利要求4所述的方法，其特征在于，所述自定义配置文件包括大数据集群配置文件、新的hosts文件和新的slave文件，所述根据所述配置文件对标记的所有从节点进行配置信息的更新还包括：

在所述自定义配置文件传输完成后，通过所述SSH通信执行所述自定义配置文件，以更新各个从节点的hostname。

6.根据权利要求1至5任一项所述的方法，其特征在于，还包括：

对所述隔离网络内的集群信息进行实时监测；

根据监测结果判断所述虚拟机集群的变化，并对所述变化进行响应。

7.根据权利要求6所述的方法，其特征在于，所述根据监测结果判断所述虚拟机集群的变化，并对所述变化进行响应包括：

根据监测到的集群信息和所述配置文件识别所述隔离网络内的从节点，当识别到所述隔离网络内的从节点变化时，生成集群配置文件更新文件；

将所述更新文件同步至所述从节点，并重新启动所述从节点。

8.一种用于实现集群自适应部署的脚本文件，其特征在于，包括程序指令，所述程序指令能够被处理器执行以实现权利要求1至7任一项所述的方法。

9.基于云平台的自适应部署大数据集群的部署方法，其特征在于，包括如下步骤：

在虚拟机模板文件中的主节点虚拟机模板中配置权利要求8所述的脚本文件；

根据虚拟机模板在隔离网络内创建虚拟机集群；

部署虚拟机集群的主节点，并启动所述脚本文件。

10.基于云平台的多集群自适应部署系统，其特征在于，包括：

模板获取模块，用于获取虚拟机模板和脚本文件，和根据所述虚拟机模板和脚本文件生成主节点虚拟机模板；

集群创建模块，用于根据虚拟机模板和主节点虚拟机模板在隔离网络内创建虚拟机集群；

部署模块，用于部署虚拟机集群的主节点，并启动所述脚本文件，实现对所述虚拟机集群的自动部署。