CN111163173A - 集群配置方法、装置、服务器及可读存储介质 - Google Patents

Abstract

本申请提供一种集群配置方法、装置、服务器及可读存储介质。方法包括：在任一节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息；接收网络系统中其他节点基于探测信息响应的应答信息，其他节点为至少一个启动集群管理服务组件的节点；根据本节点的第一待配置信息、探测到的其他节点的第二待配置信息及本节点中的大数据组件与网络系统中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，第一配置文件和第二配置文件用于建立本节点与其他节点的相同类型的大数据组件的集群，第二配置文件为其他节点生成的与其他节点的大数据组件对应的配置文件。方案能够降低集群配置的难度，提高集群配置的效率。

Description

集群配置方法、装置、服务器及可读存储介质

技术领域

本发明涉及大数据集群技术领域，具体而言，涉及一种集群配置方法、装置、服务器及可读存储介质。

背景技术

随着信息技术的发展，大数据技术已经深入到各行各业，在一些小的企业中，设备的硬件资源有限，用户需要尽可能少的硬件服务器资源完成最大的数据管理计算要求，因此存在大量存储和计算服务器资源复用的场景，在一台服务器资源上存在多个大数据组件同时运行，多台服务器的相关组件自成一个集群。目前，大数据集群在配置过程中，通常需要管理人员逐个对服务器信息的收集及逐个进行配置，以构建集群。在这配置过程对管理人员的技术要求较高，需要管理人员掌握大数据平台的部署方法，配置方法，使得集群部署配置的难度大、配置的效率低。

发明内容

本申请提供一种集群配置方法、装置、服务器及可读存储介质，能够改善集群部署配置的难度大、效率低的问题。

为了实现上述目的，本申请实施例所提供的技术方案如下所示：

第一方面，本申请实施例提供一种集群配置方法，所述方法包括：

在任一节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息，所述探测信息包括所述本节点的第一待配置信息；

接收所述网络系统中其他节点基于所述探测信息响应的应答信息，所述应答信息包括第二待配置信息；其中，所述其他节点为至少一个启动所述集群管理服务组件的节点，所述第二待配置信息包括所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；

根据所述第一待配置信息、第二待配置信息及本节点中的大数据组件与所述网络系统中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，所述第一配置文件和第二配置文件用于建立所述本节点与其他节点的相同类型的大数据组件的集群，所述第二配置文件为所述其他节点生成的与所述其他节点的大数据组件对应的配置文件。

在上述实施方式中，网络系统中的节点在安装有集群管理服务组件及大数据组件后，通过启动集群管理服务组件便可以使得网络系统中的节点自动收集各节点的待配置信息，以便于自动生成与大数据组件对应的配置文件，从而有利于降低集群配置的难度，提高集群配置的效率。

结合第一方面，在一些可选的实施方式中，所述方法还包括：

接收所述网络系统中除去自身节点之外的其他节点公告的所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；

基于所述本节点获取到的信息集合，生成与所述本节点的大数据组件对应的新的第一配置文件以更新所述第一配置文件，所述信息集合包括所述本节点收集到的所有待配置信息。

在上述的实施方式中，本节点可以自动接收网络系统中的其他节点的待配置信息，并完成配置文件的更新，以与其他节点形成集群，有利于提高集群配置的效率。

结合第一方面，在一些可选的实施方式中，所述方法还包括：

向所述网络系统中的节点公告本节点获取到的信息集合，以使接收到所述信息集合的节点生成并更新与自身的大数据组件对应的配置文件，所述信息集合包括本节点收集到的所有待配置信息。

在上述的实施方式中，本节点可以将自身收集到的所有待配置信息发送至网络系统中的其他节点，有利于其他节点基于本节点发送的第一信息集合生成相应的配置文件，以更新集群部署。

结合第一方面，在一些可选的实施方式中，在所有节点的集群管理服务组件完成启动后，所述方法还包括：

判断所述本节点收集到的所有待配置信息形成的第一信息集合与所述网络系统中其他节点公告的所述其他节点收集到的所有待配置信息形成的第二信息集合是否相同；

当所述第一信息集合与所述第二信息集合不相同时，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息。

在上述的实施方式中，通过对异常的节点进行仲裁，有利于提高节点获取的待配置信息的可靠性，从而有利于提高集群配置的可靠性。

结合第一方面，在一些可选的实施方式中，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息，包括：

向所述网络系统中除去本节点之外的每个节点发送仲裁请求；

接收所述每个节点根据所述仲裁请求返回的所述每个节点收集的所有待配置信息形成的信息集合；

当与所述第一信息集合相同的信息集合的数量与总的信息集合的数量的占比小于或等于指定阈值，且与所述第二信息集合相同的信息集合的数量与总的信息集合的数量的占比大于所述指定阈值时，将所述第一信息集合更新为所述第二信息集合。

在上述的实施方式中，本节点收集到的第一信息集合若出现异常，通常为遗漏了节点的待配置信息或收集了多余的节点的待配置信息，可以通过新增节点的待配置信息或删除节点的待配置信息，使得修复后的第一信息集合正常，进而有利于提高集群配置的可靠性。

第二方面，本申请实施例还提供一种集群配置装置，应用于任一节点，所述装置包括：

探测单元，用于所在节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息，所述探测信息包括所述本节点的第一待配置信息；

接收单元，用于接收所述网络系统中其他节点基于所述探测信息响应的应答信息，所述应答信息包括第二待配置信息；其中，所述其他节点为至少一个启动所述集群管理服务组件的节点，所述第二待配置信息包括所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；

配置生成单元，用于根据所述第一待配置信息、第二待配置信息及本节点中的大数据组件与所述网络系统中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，所述第一配置文件和第二配置文件用于建立所述本节点与其他节点的相同类型的大数据组件的集群，所述第二配置文件为所述其他节点生成的与所述其他节点的大数据组件对应的配置文件。

结合第二方面，在一些可选的实施方式中，所述接收单元，还用于接收所述网络系统中除去自身节点之外的其他节点公告的所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；

所述配置生成单元，还用于基于所述本节点获取到的信息集合，生成与所述本节点的大数据组件对应的新的第一配置文件以更新所述第一配置文件，所述信息集合包括所述本节点收集到的所有待配置信息。

结合第二方面，在一些可选的实施方式中，所述装置还包括公告单元，用于：

向所述网络系统中的节点公告本节点获取到的信息集合，以使接收到所述信息集合的节点生成并更新与自身的大数据组件对应的配置文件，所述信息集合包括本节点收集到的所有待配置信息。

结合第二方面，在一些可选的实施方式中，在所有节点的集群管理服务组件完成启动后，所述装置还包括：

判断单元，用于判断所述本节点收集到的所有待配置信息形成的第一信息集合与所述网络系统中其他节点公告的所述其他节点收集到的所有待配置信息形成的第二信息集合是否相同；

仲裁单元，用于当所述第一信息集合与所述第二信息集合不相同时，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息。

结合第二方面，在一些可选的实施方式中，所述仲裁单元还用于：

向所述网络系统中除去本节点之外的每个节点发送仲裁请求；

接收所述每个节点根据所述仲裁请求返回的所述每个节点收集的所有待配置信息形成的信息集合；

当与所述第一信息集合相同的信息集合的数量与总的信息集合的数量的占比小于或等于指定阈值，且与所述第二信息集合相同的信息集合的数量与总的信息集合的数量的占比大于所述指定阈值时，将所述第一信息集合更新为所述第二信息集合。

第三方面，本申请实施例还提供一种服务器，所述服务器包括相互耦合的处理器、存储器，所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述服务器执行上述的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的网络系统的通信连接示意图。

图2为本申请实施例提供的集群配置方法的流程示意图之一。

图3为本申请实施例提供的集群配置方法的流程示意图之二。

图4为本申请实施例提供的集群配置装置的功能框图。

图标：10-网络系统；11-第一节点；12-第二节点；13-第三节点；100-集群配置装置；110-探测单元；120-接收单元；130-配置生成单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

下面结合附图，对本申请实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，本申请实施例提供一种网络系统10，网络系统10包括多个节点，多个节点可以用于形成大数据集群。其中，网络系统10中的节点的数量可以根据实际情况进行设置。例如，节点数量可以为两个或更多的数量。另外，节点指服务器(或称为集群节点)，可以用于提供存储、运算服务。可理解地，网络系统10包括多个服务器，每个服务器可以作为形成大数据集群中的一个节点。每个服务器之间的身份可以对等，即，服务器之间具有相同的管理、服务权限。

网络系统10中的节点在配置集群之前，可以由管理人员对网络系统10中的每个节点安装集群管理服务组件及大数据组件。大数据组件可以用于作为大数据集群对外提供存储、运算服务的组件。其中，每个节点所安装的大数据组件的数量可以根据实际情况进行设置，可以为一个或多个。例如，每个节点安装的大数据组件可以包括zookeeper组件、kafka组件、hadoop组件等大数据组件。

集群管理服务组件可以用于配置大数据集群，可以为大数据组件生成相应的配置文件，例如，可以为zookeeper组件生成zookeeper配置文件，为kafka组件生成kafka配置文件，为hadoop组件生成hadoop配置文件。当然，集群管理服务组件还可以包括其他组件。例如，资源管理组件及配置管理组件等，这里不再赘述。其中，资源管理组件可以对集群的存储资源、运算资源进行管理。配置管理组件可以用于对大数据组件的配置文件进行管理(例如更新配置文件或删除配置文件)。

Zookeeper组件可以用于作为一个资源管理库，对节点进行协调、通信、失败处理、节点损坏的处理等，是一个无中心设计，主节点通过选举产生。

Kafka组件可以作为分布式发布-订阅消息系统，是一种快速、可扩展的、设计内在为分布式的，分区的和可复制的提交日志服务。Kafka易于向外扩展，同时为发布和订阅提供高吞吐量。

hadoop组件可以包括HDFS(Hadoop Distributed File System，分布式文件存储系统)组件、MAPREDUCE(分布式的计算)组件、YARN(资源调度)组件。

可理解地，zookeeper组件、kafka组件、hadoop组件其工作原理为本领域技术人员所熟知，这里不再赘述。

本申请实施例还提供一种服务器，该服务器可以包括相互耦合的处理模块、存储模块。存储模块内存储有计算机程序，当计算机程序被处理模块执行时，可以使得服务模块执行下述的集群配置方法。

请参照图2，本申请实施例还提供一种集群配置方法，可以应用于上述网络系统10中的启动了集群管理服务组件的任意一节点，另外，每个节点安装有集群管理服务组件及大数据组件。方法可以包括步骤S210至步骤S230。

下面将对图2所示的方法的各步骤进行详细阐述，如下：

步骤S210，在任一节点的集群管理服务组件启动时，向本节点所在网络系统10发送探测信息，所述探测信息包括所述本节点的第一待配置信息。

在本实施例中，当需要进行集群部署时，管理人员可以为网络系统10中的每个节点安装集群管理服务组件及大数据组件，并启动集群管理服务组件。启动了集群管理服务组件的节点便可以自动向网络中的其他节点发送探测信息。由于不确定网络系统10中有哪些节点，可以通过获取自身的IP地址确定所在子网，然后向子网中的地址发送探测信息。

其中，第一待配置信息指本节点自身的待配置信息，包括但不限于本节点自身的硬件参数、自身的大数据组件所包括的服务组件、大数据组件的ID(Identity Document，身份标识号)等，可以根据实际情况进行确定。硬件参数包括但不限于节点自身的CPU型号参数、内存型号、内存大小、接口信息等。

另外，为了便于区分各个节点预先安装的大数据组件，本节点可以称为第一节点11，对于除本节点之外的网络系统10中其他节点可以统称为为第二节点12，因此第二节点12至少为一个，可以为多个。本节点中的所有大数据组件可以称为第一大数据组件，第二节点12中的所有大数据组件可以称为第二大数据组件。例如，第一大数据组件所包括的服务组件可以是但不限于上述的zookeeper组件、kafka组件、hadoop组件等大数据组件。可理解地，接收到第一探测信息的节点便可以从第一探测信息中获取到第一节点11的第一待配置信息。

步骤S220，接收所述网络系统10中其他节点基于所述探测信息响应的应答信息，所述应答信息包括第二待配置信息；其中，所述其他节点为至少一个启动所述集群管理服务组件的节点，所述第二待配置信息包括所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息。

管理人员在启动本节点集群管理服务组件之后，会陆续启动其他节点的集群管理服务组件。启动了集群管理服务组件的节点在接收到探测信息后，可以通过节点自身的集群管理服务组件自动响应该探测信息。例如，第二节点12为响应该探测信息的节点，则第二节点12可以根据探测信息向第一节点11发送应答信息。该应答信息可以包括第二节点12的第二待配置信息。第二待配置信息可以包括第二节点12自身的待配置信息，另外，第二待配置信息还可以包括第二节点12收集的其他节点的待配置信息。其中，每个节点自身的待配置信息，其包括的内容与第一节点11的待配置信息相类似，这里不再赘述。

当第一节点11接收到应答信息后，便可以从应答信息中提取出第二节点12的第二待配置信息。另外，第二节点12在接收到探测信息后，也可以从探测信息中提取出第一节点11的第一待配置信息。

步骤S230，根据所述第一待配置信息、第二待配置信息及本节点中的大数据组件与所述网络系统10中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，所述第一配置文件和第二配置文件用于建立所述本节点与其他节点的相同类型的大数据组件的集群，所述第二配置文件为所述其他节点生成的与所述其他节点的大数据组件对应的配置文件。

可理解地，当第一节点11收集到第二节点12的第二待配置信息后，便可以根据第一节点11自身的第一待配置信息、第二待配置信息，结合第一节点11中安装的第一大数据组件与网络系统10中的其他大数据组件之间的依赖关系，通过第一节点11自身的集群管理服务组件自动生成第一配置文件。同样地，第二节点12也可以根据第一待配置信息、第二待配置信息，结合第二节点12中安装的第二大数据组件与网络系统10中的其他大数据组件之间的依赖关系，通过第二节点12自身的集群管理服务组件自动生成第二配置文件。

基于此，则网络系统10中第一节点11和一个或多个第二节点12建立集群。此时，若网络系统10中第二节点12已经处于一个集群中，则第一节点11通过和第二节点12建立集群，得到新的集群。集群可理解为形成集群中的各个节点的存储资源、运算资源可以复用。所建立的集群为基于每个节点中相同类型的大数据组件而建立的集群。

其中，相同类型的大数据组件指在各个节点中名称相同的大数据组件。例如，第一节点11中的zookeeper组件与第二节点12中的zookeeper组件为相同类型的大数据组件。而第一节点11中的zookeeper组件与第二节点12中的kafka组件不是相同类型的大数据组件。

另外，组件之间的依赖关系可以根据实际情况进行确定。例如，在大数据集群中，zookeeper组件为基础的集群组件，kafka组件依赖于zookeeper组件才能正常运行，以实现kafka组件相应的功能作用。hadoop组件依赖于zookeeper组件才能正常运行，以实现hadoop组件的功能作用。

基于上述设计，网络系统10中的节点在安装有集群管理服务组件及大数据组件后，通过启动集群管理服务组件便可以使得网络系统10中的节点自动收集各节点的待配置信息，以便于自动生成与大数据组件对应的配置文件，进而完成集群的部署。在部署过程中，管理人员仅需对每个节点安装集群管理服务组件及大数据组件并启动集群管理服务组件即可，无需掌握集群部署的其他知识，从而有利于降低集群配置的难度，简化集群部署的人工操作流程，提高集群配置的效率。

请参照图3，作为一种可选的实施方式，方法还可以包括：

步骤S240，接收所述网络系统10中除去自身节点之外的其他节点公告的所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；

步骤S250，基于所述本节点获取到的信息集合，生成与所述本节点的大数据组件对应的新的第一配置文件以更新所述第一配置文件，所述信息集合包括所述本节点收集到的所有待配置信息。

可理解地，信息集合包括本节点收集到的所有待配置信息以及本节点自身的待配置信息。本节点除了可以接收到其他节点自身的待配置信息外，还可以接收其他节点已探测到的节点的待配置信息。其中，其他节点已探测到的节点的待配置信息可以添加在其他节点发送的应答信息中，或添加在其他节点发送的探测信息中。

基于此，本节点可以快速获取到网络系统10中的所有节点的待配置信息，以便于根据所有待配置信息，结合待配置信息对应的节点的大数据组件，生成新的配置文件进行集群部署的更新。

例如，在完成第二节点12的集群配置后，方法还可以包括步骤A、步骤B，以基于新增的第三节点13进行配置文件的更新。

步骤A，接收所述网络系统10中的第三节点13基于所述探测信息响应的应答信息，所述应答信息包括所述第三节点13的第三待配置信息，所述第三配置信息包括第三节点13自身的待配置信息及所述第三节点13已探测到的节点的待配置信息；

步骤B，根据所述第一待配置信息、所述第二待配置信息、所述第三待配置信息及本节点中的大数据组件与所述网络系统10中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的新的第一配置文件，并为所述本节点中的第一大数据组件、所述第二节点12中的第二大数据组件、第三节点13中的第三大数据组件中相同类型的大数据组件创建集群。

当管理人员开启了第三节点13的集群管理服务组件后，第三节点13可以接收其他节点发送的探测信息。另外，第三节点13也可以向网络系统10中的其他节点发送探测信息，同时，也可以根据接收到的探测信息向发出该探测信息的节点响应应答信息。

例如，第三节点13可以基于第一节点11发出的探测信息进行响应，以向第一节点11发送第二应答信息。第三节点13发送的探测信息或响应的应答信息包括第三节点13自身的第三待配置信息。第三待配置信息即为第三节点13自身的待配置信息，该待配置信息所包括的内容与第一待配置信息相类似，这里不再赘述。

若网络系统10中只开启了第一节点11至第三节点13的集群管理服务组件，当第一节点11获取到第一待配置信息、第二待配置信息、第三待配置信息后，便可以基于第一待配置信息、所述第二待配置信息、所述第三待配置信息，结合第一节点11、第二节点12、第三节点13各自安装的大数据组件之间的依赖关系，通过集群管理服务组件自动生成新的配置文件。同样地，第二节点12、第三节点13也可以生成相应的配置文件以更新自身的配置文件。

三个节点各自更新完配置文件后，三个节点中的大数据组件便可以通过配置文件自动形成如图1所示集群。此时，第一节点11、第二节点12、第三节点13便以三节点模式形成集群，可以实现三节点之间的集群。

若网络系统10中除了开启第一节点11至第三节点13的集群管理服务组件之外，还开启了其他节点的集群管理服务组件，则开启了的集群管理服务组件的节点可以相互收集各自的待配置信息，并根据网络系统10中开启了集群管理服务组件的各个节点中的所有大数据组件之前的依赖关系生成与自身的大数据对应的配置文件。

作为一种可选的实施方式，方法还可以包括：向所述网络系统10中的节点公告本节点获取到的信息集合，以使接收到所述信息集合的节点生成并更新与自身的大数据组件对应的配置文件，所述信息集合包括本节点收集到的所有待配置信息。

可理解地，本节点除了可以向系统中的节点发送自身的待配置信息外，还可以公告本节点所获取到的节点的待配置信息的信息集合。其公告方式可以为：本节点每隔预设时长公告一次自身所收集到的第一信息集合，第一信息集合中，包括本节点自身的待配置信息及收集到的所有其他节点的待配置信息的集合。其预设时长可以根据实际情况进行设置，例如，为1秒、10秒等时长。基于此，有利于网络系统10中的节点快速同步所收集到节点的待配置信息，避免节点遗漏了节点的待配置信息。

另外，收到第一信息集合的节点，可以通过自身的集群管理服务组件自动生成并更新与自身的配置文件，以完成集群部署的更新。

作为一种可选的实施方式，在所有节点的集群管理服务组件完成启动后，方法还可以包括：判断所述本节点收集到的所有待配置信息形成的第一信息集合与所述网络系统10中其他节点公告的所述其他节点收集到的所有待配置信息形成的第二信息集合是否相同；当所述第一信息集合与所述第二信息集合不相同时，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息。

在本实施例中，当第一信息集合与第二信息集合所包含的待配置信息不相同时，则表示其中一个信息集合中的待配置信息的数量较多，另一个信息集合中的待配置信息的数量较少。其中，待配置信息的数量指以一个节点的待配置信息作为一个数量单元，比如，两个节点各自的待配置信息的数量便为2。

可理解地，每个节点可以对自身的信息集合中的待配置信息进行分析处理，判断当前的信息集合中的待配置信息是否存在多余的待配置信息或遗漏的待配置信息。若存在多余节点的待配置信息，则删除多余的节点的待配置信息，若存在遗漏的节点的待配置信息，则新增所遗漏的节点的待配置信息，以满足集群部署的需求。

其中，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息，可以包括：

向所述网络系统10中除去本节点之外的每个节点发送仲裁请求；接收所述每个节点根据所述仲裁请求返回的所述每个节点收集的所有待配置信息形成的信息集合；当与所述第一信息集合相同的信息集合的数量与总的信息集合的数量的占比小于或等于指定阈值，且与所述第二信息集合相同的信息集合的数量与总的信息集合的数量的占比大于所述指定阈值时，将所述第一信息集合更新为所述第二信息集合。

在本实施例中，指定阈值可以根据实际情况进行设置，例如为大于50％的一个数值，比如为60％、70％等。

当与第一信息集合相同的信息集合的数量与总的信息集合的数量的占比小于或等于指定阈值，且与第二信息集合相同的信息集合的数量与总的信息集合的数量的占比大于指定阈值时，则表示第一信息集合为存在异常的信息集合，此时，可以以第二信息集合作为第一信息集合的修复标准，将第一信息集合更新为第二信息集合。例如，第一信息集合与第二信息集合相比，若存在多出的节点的待配置信息，则删除多出的节点的待配置信息，若存在遗漏的节点的待配置信息，则新增所遗漏的节点的待配置信息，以满足集群部署的需求。基于此，网络系统10中的节点可以自动对可疑节点进行仲裁与修复，有利于提高部署的集群的灵活性及可靠性。

作为一种可选的实施方式，若发送公告的节点如果发现网络系统10中的一个或多个节点无法发送公告，可以向网络系统10中的所有节点发起仲裁，其仲裁的处理过程与上述的仲裁处理过程相类似，这里不再赘述。

为了便于理解集群配置的实现流程，下面将基于图1所示的网络系统10对集群配置方法的流程进行举例阐述，如下：

第一步，管理人员为每个节点安装大数据组件，同时安装集群管理服务组件；

第二步，管理人员启动其中一个节点的集群管理服务组件，该节点可以称为节点A(本节点，或第一节点11)；

第三步，节点A的集群管理服务组件识别本机的硬件参数，包括本机CUP参数、内存参数，本机部署的大数据组件(如kafka、zookeeper、hadoop等组件)；

第四步，节点A的集群管理服务组件根据本机的硬件参数、本机的大数据组件，生成本机的待配置信息(例如：生成zookeeper的ID，hadoop可使用的CPU、内存等)；

第五步，节点A的集群管理服务组件获取本机的网络通信IP地址，进行网络探测，向开启集群管理服务组件的节点发送探测信息，其中探测信息包括为节点A的待配置信息，比如，包括节点A的硬件参数、大数据组件类型等)；

第六步，若节点A的集群管理服务组件探测失败没有收到任何相应，按照单机模式对节点生成配置文件；

管理人员在启动节点A过程中会启动节点B(第二节点12)，节点B的集群管理服务组件按同样模式启动，收集本机信息，进行网络探测，向开启集群管理服务组件的节点发送探测信息，该探测信息包括节点B的待配置信息；

若节点A收到节点B的节点的应答信息，该应答信息包括节点B的待配置信息，或者节点B收到节点A的探测信息，该探测信息包括节点A的待配置信息；

第七步，节点A以两节点模式，按照组件依赖关系，为大数据组件生成相应的配置文件，节点B按照同样的模式配置本机的大数据组件，并生成相应的配置文件；

第八步，节点C(第三节点13)的集群管理服务组件按同样模式启动，收集本机信息，进行网络探测，向开启集群管理服务组件的节点发送探测信息，该探测信息包括节点C的待配置信息；

第九步，节点A和节点B均可以从节点C发出的探测信息中获取到节点C的待配置信息，另外，节点A会将新获取到的节点C数据向已知节点B发送“新增节点”，节点B也会向节点A发送“新增节点”，同样地，节点A还可以将已知的所有节点(节点A、节点B)的待配置信息返回给节点C，节点B也会将已知的所有节点(节点A、节点B)的待配置信息返回给节点C；

第十步，节点C将融合节点A和节点B返回的待配置信息，节点A、节点B、节点C将按照三节点模式进行各组件的配置重新生成，以更新各自的配置文件；

第十一步，节点的集群管理服务组件可以不停地收到集群的节点的待配置信息的变化消息，并为各节点中的大数据组件建立集群。

例如，所有节点包括五个节点，其地址为192.168.1.1-192.168.1.5，假设，集群zookeeper组件对应的节点为(192.168.1.1、192.168.1.2、192.168.1.3)，集群kafka组件对应的节点为(192.168.1.3、192.168.1.4、192.168.1.5)，集群hadoop组件对应的节点为(192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4、192.168.1.5)。其中zookeeper集群为基础的集群，kafka集群依赖zookeeper集群，hadoop集群依赖zookeeper集群；zookeeper组件可以根据节点个数自动为每个节点生成ID，并根据实际情况选取出zookeeper节点个数以及用于部署zookeeper的节点；当前节点如果被选取为zookeeper部署节点则开始zookeeper集群配置。kafka集群同理，并使用zookeeper的部署计算结果生成kafka的配置文件。hadoop集群可以根据实际情况选取NN(NameNode，命名节点)、JN(JournalNode，日志节点)、DN(DataNode，数据节点)等，并进行配置，且根据zookeeper的部署计算结果生成hadoop中的zookeeper配置文件。

管理人员还可以启动其他节点，启动逻辑及集群与节点C相同。当所有节点启动完毕后，集群管理服务组件定时进行本机所知集群节点的信息发送“已知节点公告”。当每个节点收到其它节点的公告信息后，检查本节点已知集群信息与收到的公告信息是否一致。如果当前节点收集到的待配置信息的数量多于或少于公告的待配置信息的数量，则向本节点已知的节点发送“仲裁请求”。

收到“仲裁请求”的节点会尝试去访问被仲裁的节点，根据访问结果返回仲裁结果。例如，根据仲裁策略(例如：当前节点的待配置信息的数量与网络系统10中超过三分之二的节点收集到的待配置信息相同，则可以无需进行待配置信息的更改；若当前节点的待配置信息的数量少于网络系统10中超过三分之二的节点收集到的待配置信息的数量，则当前节点需要新增节点的待配置信息；若当前节点的待配置信息的数量多于网络系统10中超过三分之二的节点收集到的待配置信息的数量，则当前节点需要删除多出的节点的待配置信息)确认是否新增节点或删除节点的待配置信息，以更新集群的配置文件，并返回公告原始节点。当然，发送公告的节点如果发现一个或多个节点无法发送公告，则同样向网络系统10发起仲裁。

需要说明的是，管理人员在对每个节点安装完集群管理服务组件及大数据组件后，若要进行集群的部署，便会启动每个节点所安装的集群管理服务组件。启动了集群管理服务组件的节点的身份对等，即，各个节点的功能作用相同或类似，比如具有如第一节点11相同或类似的功能作用，可以执行如第一节点11所执行的步骤S210至步骤S250所示的内容。

请参照图4，本申请实施例还提供一种集群配置装置100，应用于网络系统10中启动了集群管理服务组件的任意一节点，每个所述节点安装有集群管理服务组件及大数据组件。集群配置装置100包括至少一个可以软件或固件(Firmware)的形式存储于存储模块中或固化在数据交换服务器操作系统(Operating System，OS)中的软件功能模块，可以用于执行或实现上述的集群配置方法中的各步骤。例如，集群配置装置100可以包括探测单元110、接收单元120及配置生成单元130。

探测单元110，用于在所在节点的集群管理服务组件启动时，向本节点所在网络系统10发送探测信息，所述探测信息包括所述本节点的第一待配置信息。

接收单元120，用于接收所述网络系统10中其他节点基于所述探测信息响应的应答信息，所述应答信息包括第二待配置信息；其中，所述其他节点为至少一个启动所述集群管理服务组件的节点，所述第二待配置信息包括所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息。

配置生成单元130，用于根据所述第一待配置信息、第二待配置信息及本节点中的大数据组件与所述网络系统10中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，所述第一配置文件和第二配置文件用于建立所述本节点与其他节点的相同类型的大数据组件的集群，所述第二配置文件为所述其他节点生成的与所述其他节点的大数据组件对应的配置文件。

可选地，所述接收单元120，还用于接收所述网络系统10中除去自身节点之外的其他节点公告的所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；所述配置生成单元130，还用于基于所述本节点获取到的信息集合，生成与所述本节点的大数据组件对应的新的第一配置文件以更新所述第一配置文件，所述信息集合包括所述本节点收集到的所有待配置信息。

可选地，所述集群配置装置100还可以包括公告单元，用于：向所述网络系统10中的节点公告本节点获取到的信息集合，以使接收到所述信息集合的节点生成并更新与自身的大数据组件对应的配置文件，所述信息集合包括本节点收集到的所有待配置信息。

可选地，所述集群配置装置100还可以包括判断单元及仲裁单元。在所有节点的集群管理服务组件完成启动后，判断单元，用于判断所述本节点收集到的所有待配置信息形成的第一信息集合与所述网络系统10中其他节点公告的所述其他节点收集到的所有待配置信息形成的第二信息集合是否相同。仲裁单元，用于当所述第一信息集合与所述第二信息集合不相同时，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息。

可选地仲裁单元还用于：向所述网络系统10中除去本节点之外的每个节点发送仲裁请求；接收所述每个节点根据所述仲裁请求返回的所述每个节点收集的所有待配置信息形成的信息集合；当与所述第一信息集合相同的信息集合的数量与总的信息集合的数量的占比小于或等于指定阈值，且与所述第二信息集合相同的信息集合的数量与总的信息集合的数量的占比大于所述指定阈值时，将所述第一信息集合更新为所述第二信息集合。

需要说明的是，服务器中的处理模块、存储模块、通信模块各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

处理模块可以是一种集成电路芯片，具有信号的处理能力。上述处理模块可以是通用处理器。例如，该处理器可以是中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processing，DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。

存储模块可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块可以用于存储集群管理服务组件、大数据组件等。当然，存储模块还可以用于存储程序，处理模块在接收到执行指令后，执行该程序。

通信模块用于通过服务器与网络系统10中的其他服务器的通信连接，以配置形成大数据集群，并通过网络收发数据。

另外，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的服务器、集群配置装置100的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。

本申请实施例还提供一种计算机可读存储介质。可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的集群配置方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

综上所述，本申请提供一种集群配置方法、装置、服务器及可读存储介质。方法包括：在任一节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息，探测信息包括本节点的第一待配置信息；接收网络系统中其他节点基于探测信息响应的应答信息，应答信息包括第二待配置信息；其中，其他节点为至少一个启动集群管理服务组件的节点，第二待配置信息包括其他节点自身的待配置信息及其他节点已探测到的节点的待配置信息；根据第一待配置信息、第二待配置信息及本节点中的大数据组件与网络系统中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，第一配置文件和第二配置文件用于建立本节点与其他节点的相同类型的大数据组件的集群，第二配置文件为其他节点生成的与其他节点的大数据组件对应的配置文件。

在本方案中，网络系统中的节点在安装有集群管理服务组件及大数据组件后，通过启动集群管理服务组件便可以使得网络系统中的节点自动收集各节点的待配置信息，以便于自动生成与大数据组件对应的配置文件，从而有利于降低集群配置的难度，提高集群配置的效率。

在本申请所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种集群配置方法，其特征在于，所述方法包括：

在任一节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息，所述探测信息包括所述本节点的第一待配置信息；

接收所述网络系统中其他节点基于所述探测信息响应的应答信息，所述应答信息包括第二待配置信息；其中，所述其他节点为至少一个启动所述集群管理服务组件的节点，所述第二待配置信息包括所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；

根据所述第一待配置信息、第二待配置信息及本节点中的大数据组件与所述网络系统中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，所述第一配置文件和第二配置文件用于建立所述本节点与其他节点的相同类型的大数据组件的集群，所述第二配置文件为所述其他节点生成的与所述其他节点的大数据组件对应的配置文件。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述网络系统中除去自身节点之外的其他节点公告的所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；

基于所述本节点获取到的信息集合，生成与所述本节点的大数据组件对应的新的第一配置文件以更新所述第一配置文件，所述信息集合包括所述本节点收集到的所有待配置信息。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

向所述网络系统中的节点公告本节点获取到的信息集合，以使接收到所述信息集合的节点生成并更新与自身的大数据组件对应的配置文件，所述信息集合包括本节点收集到的所有待配置信息。

4.根据权利要求1所述的方法，其特征在于，在所有节点的集群管理服务组件完成启动后，所述方法还包括：

判断所述本节点收集到的所有待配置信息形成的第一信息集合与所述网络系统中其他节点公告的所述其他节点收集到的所有待配置信息形成的第二信息集合是否相同；

当所述第一信息集合与所述第二信息集合不相同时，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息。

5.根据权利要求4所述的方法，其特征在于，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息，包括：

向所述网络系统中除去本节点之外的每个节点发送仲裁请求；

接收所述每个节点根据所述仲裁请求返回的所述每个节点收集的所有待配置信息形成的信息集合；

当与所述第一信息集合相同的信息集合的数量与总的信息集合的数量的占比小于或等于指定阈值，且与所述第二信息集合相同的信息集合的数量与总的信息集合的数量的占比大于所述指定阈值时，将所述第一信息集合更新为所述第二信息集合。

6.一种集群配置装置，其特征在于，应用于任一节点，所述装置包括：

探测单元，用于在所在节点的集群管理服务组件启动时，向本节点所在网络系统发送探测信息，所述探测信息包括所述本节点的第一待配置信息；

接收单元，用于接收所述网络系统中其他节点基于所述探测信息响应的应答信息，所述应答信息包括第二待配置信息；其中，所述其他节点为至少一个启动所述集群管理服务组件的节点，所述第二待配置信息包括所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；

配置生成单元，用于根据所述第一待配置信息、第二待配置信息及本节点中的大数据组件与所述网络系统中的其他大数据组件的依赖关系，生成与本节点大数据组件对应的第一配置文件，所述第一配置文件和第二配置文件用于建立所述本节点与其他节点的相同类型的大数据组件的集群，所述第二配置文件为所述其他节点生成的与所述其他节点的大数据组件对应的配置文件。

7.根据权利要求6所述的装置，其特征在于，所述接收单元，还用于接收所述网络系统中除去自身节点之外的其他节点公告的所述其他节点自身的待配置信息及所述其他节点已探测到的节点的待配置信息；

所述配置生成单元，还用于基于所述本节点获取到的信息集合，生成与所述本节点的大数据组件对应的新的第一配置文件以更新所述第一配置文件，所述信息集合包括所述本节点收集到的所有待配置信息。

8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括公告单元，用于：

向所述网络系统中的节点公告本节点获取到的信息集合，以使接收到所述信息集合的节点生成并更新与自身的大数据组件对应的配置文件，所述信息集合包括本节点收集到的所有待配置信息。

9.根据权利要求6所述的装置，其特征在于，在所有节点的集群管理服务组件完成启动后，所述装置还包括：

判断单元，用于判断所述本节点收集到的所有待配置信息形成的第一信息集合与所述网络系统中其他节点公告的所述其他节点收集到的所有待配置信息形成的第二信息集合是否相同；

仲裁单元，用于当所述第一信息集合与所述第二信息集合不相同时，根据仲裁策略在所述第一信息集合中新增节点的待配置信息或从所述第一信息集合中删除节点的待配置信息。

10.根据权利要求9所述的装置，其特征在于，所述仲裁单元还用于：

向所述网络系统中除去本节点之外的每个节点发送仲裁请求；

接收所述每个节点根据所述仲裁请求返回的所述每个节点收集的所有待配置信息形成的信息集合；

当与所述第一信息集合相同的信息集合的数量与总的信息集合的数量的占比小于或等于指定阈值，且与所述第二信息集合相同的信息集合的数量与总的信息集合的数量的占比大于所述指定阈值时，将所述第一信息集合更新为所述第二信息集合。

11.一种服务器，其特征在于，所述服务器包括相互耦合的处理器、存储器，所述存储器内存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述服务器执行如权利要求1-5中任意一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-5中任意一项所述的方法。

Images