CN104754016A - 对等网络中节点集群实现方法、装置及系统 - Google Patents

Abstract

本发明公开了一种对等网络中节点集群实现方法、装置及系统，用以实现对等网络集群部署时主节点的自动推举，降低集群部署的复杂度，提高集群部署的效率。该方法为：集群中的任意节点获取具有相同的集群标识的各节点的状态信息，所述状态信息包括节点的标识和性能参数；根据获取的各节点的性能参数以及自身的性能参数确定主节点。

Description

对等网络中节点集群实现方法、装置及系统

技术领域

本发明涉及网络技术领域，尤其涉及一种对等网络中节点集群实现方法、装置及系统。

背景技术

传统的网络（web）产品在实现分布式部署（又称集群部署）时，一般采用以下两种部署过程：

第一种集群部署过程如下：

首先，安装并启动主节点；

其次，依次安装并启动从节点，并在安装从节点时，在从节点上配置主节点的相关信息，例如，主节点的网络协议（IP）地址、端口号等。

第二种集群部署过程如下：

依次安装各个节点，在全部安装完成后，人为指定一个节点作为主节点，并修改各个从节点的配置文件，或者是通过各个从节点的配置界面进行相关设置，重启各从节点。

由此可见，现有的集群部署过程中，需要人为指定主节点和从节点，并且需要手动配置或修改主节点和从节点的配置信息。

并且，一旦主节点出现故障被挂起，所有的从节点将无法正常进行状态和数据的同步，导致所有节点的应用程序无法正常工作。

因此，如何实现对等网络集群部署时主节点的自动推举，降低集群部署的实现复杂度，提高集群部署的运行效率，成为有待解决的问题。

发明内容

本发明提供一种对等网络中节点集群实现方法、装置及系统，用以实现对等网络集群部署时主节点的自动推举，降低集群部署的复杂度，提高集群部署的效率。

本发明实施例提供的具体技术方案如下：

一种对等网络中节点集群实现方法，所述集群中的各节点运行于至少一个服务器上，包括：

集群中的任意节点获取具有相同的集群标识的各节点的状态信息，所述状态信息包括节点的标识和性能参数；

根据获取的各节点的性能参数以及自身的性能参数确定主节点。

一种对等网络中节点集群实现装置，包括：

获取模块，用于获取具有相同的集群标识的各节点的状态信息，所述状态信息包括节点的标识和性能参数；

确定模块，用于根据获取的各节点的性能参数以及自身的性能参数确定主节点。

一种对等网络中节点集群系统，包括：一个以上运行于至少一个服务器上的节点；

任一节点，用于获取具有相同的集群标识的各节点的状态信息，所述状态信息包括节点的标识和性能参数，根据获取的各节点的性能参数以及自身的性能参数确定主节点；

其它各节点，用于向所述节点发送自身的状态信息。

基于上述技术方案，本发明实施例中，集群中任意一节点获取同一集群中的其它各节点的标识及其性能参数，根据获取的各节点的性能参数以及自身的性能参数确定主节点，从而能够实现对等网络集群部署时主节点的自动推举，降低集群部署的复杂度，提高集群部署的效率。

附图说明

图1为本发明实施例中集群实现的方法流程示意图；

图2a为本发明实施例中单节点的搜索系统示意图；

图2b为本发明实施例中加入一个节点的搜索系统示意图；

图2c为本发明实施例中加入多个节点的搜索系统示意图；

图2d为本发明实施例中从节点故障的搜索系统示意图；

图2e为本发明实施例中主节点故障的搜索系统示意图；

图3为本发明实施例中节点结构示意图。

具体实施方式

为了实现对网络集群部署时主节点的自动推举，降低集群部署的复杂度，提高集群部署的效率，本发明实施例提供了一种对等网络中节点集群实现方法、设备及系统。

下面结合附图对本发明优选的实施方式进行详细说明。

以下实施例中，集群中的各节点运行于至少一个服务器上，优选地，每个节点运行于一个独立的服务器上。其中，若一个服务器上运行多个节点，则该多个节点对应的端口号各不相同。

以下实施例中，节点的动作实质为由该节点所运行的服务器执行。

其中，集群中每个节点具有唯一标识，集群中包含有一个主节点和若干从节点，本发明实施例中，除主节点外的各节点均为从节点，各节点均可提供相同的功能，以避免单点故障。

以下实施例中，集群中的各节点采用对等连接（Peer to Peer，P2P，也称对等网络），每个节点都具有相同的能力。

如附图1所示，本发明实施例中，提供了一种对等网络中节点集群实现方法，该集群部署实现方法的具体过程如下：

步骤101：集群中的任意节点获取具有相同的集群标识的各节点的状态信息，所述状态信息包括节点的标识和性能参数。

本发明实施例中，每个节点在安装时指定其所属的集群，在该节点上设置所属集群的集群标识。

一个具体实施中，获取具有相同的集群标识的各节点的状态信息，具体过程为：

节点发送携带有集群标识的第一广播消息；并接收具有相同的集群标识的各节点返回的第一响应消息，该第一响应消息中携带有自身的标识以及性能参数。

优选地，集群中的各节点的IP地址属于同一网段，以便于广播消息。

步骤102：根据获取的各节点的性能参数以及自身的性能参数确定主节点。

其中，主节点负责广播集群中各节点的状态信息、发现新加入的节点。

具体实施中，在集群中加入新的节点时，需要配置该节点的集群标识。

在一个具体实施中，集群中的任一节点根据获取的各节点的性能参数以及自身的性能参数确定主节点后，还包括：

接收主节点按照设定周期发送的、携带集群标识的第二广播消息；

确定第二广播消息中携带的集群标识与自身的集群标识相同后，向主节点返回携带自身标识及性能参数的第二响应消息，由主节点根据第二响应消息建立节点列表，该节点列表中包括返回第二响应消息的各节点的标识及其性能参数；

以及接收主节点发送的携带节点列表的第三广播消息，并在本地保存节点列表。

较佳地，第二响应消息中还包括节点的IP地址、端口号等。

较佳地，节点列表中还包括节点的IP地址、端口号、是否为主节点的指示信息、节点是否为可用状态的指示信息、节点当前是否为可用状态的指示信息的更新时间等。

优选地，以节点的网络协议（IP）地址和端口号的组合作为节点的标识。

在一个较佳地实施中，主节点建立节点后，若发现新的节点加入该集群，对节点列表进行更新和维护，具体过程如下：

主节点按照设定周期发送携带集群标识的第二广播消息；

在接收具有该集群标识的节点返回的携带自身标识及性能参数的第二响应消息后，确定本地保存的节点列表中不包括第二响应消息中携带的节点的标识时，将该第二响应消息中携带的节点的标识及其性能参数加入节点列表；

并发送携带更新后的节点列表的第三广播消息，由各节点在接收该第三广播消息后更新本地保存的节点列表。

在另一个较佳地实施中，主节点建立节点列表后，若发现节点故障，对节点列表进行维护，具体过程如下：

主节点按照设定周期发送携带集群标识的第二广播消息；

在超过设定时长未接收到节点返回的第二响应消息时，在节点列表中增加该节点不可用的状态标识；

并发送携带修改后的节点列表的第三广播消息，由各节点在接收第三广播消息后更新本地保存的节点列表。

其中，还可以是主节点按照设定周期发送携带集群标识的第二广播消息，在连续超过设定次数未接收到某节点返回的第二响应消息时，初步确定该节点不可用。较佳地，在连续超过设定次数未接收到某节点返回的第二响应消息时，采用Socket通信向该节点发送验证请求，如果超过设定时长未接收到响应，则确定该节点故障，处于不可用状态。

其中，从节点在主节点故障时，推举新的主节点。

在一个具体实施中，节点若在设定时长内未接收到主节点发送的消息，重新获取具有相同的集群标识的其它各节点的状态信息，以及根据重新获取的各节点的性能参数以及自身的性能参数确定主节点。

其中，节点的性能参数可以是节点的点播响应时间，该响应时间越短，节点的性能越佳，将响应时间最短的节点推举为主节点。在节点的性能参数相同，可随机选择一个节点作为主节点，也可以按照设定的规则选择一个节点作为主节点。

例如，在节点的点播响应时间相同时，选择标识较小的节点作为主节点。

在一个具体实施中，若集群仅有一个处于可用状态的节点，则启用单节点模式，即将该节点作为主节点。

优选地，在集群中有新的节点加入时，主节点按照设定周期发送携带集群标识的第二广播消息，在接收该新的节点返回的携带自身标识及性能参数的第二响应消息时，还接收到该新的节点返回的指定为节点为主节点的指示信息，将主节点更新为新的节点；

或者是，比较当前的主节点和该新的节点的性能参数，若该新的节点的性能参数较优，则将主节点更新为新的节点，否则，维持当前的主节点不变。

具体实施中，主节点通过套接字(socket)通信，多线程并行扫描同一网段内指定端口下具有同一集群标识的节点，获得最新节点状态清单。其中，线程为程序中一个单一的顺序控制流程，在单个程序中同时运行多个线程完成不同的工作，称为多线程。

以下通过一个具体实施例对本发明实施例所提供的集群部署方法进行举例说明。

该具体实施例以搜索应用集群的部署为例，具体部署过程如下：

如附图2a所示，假设该集群仅有一个节点1，该节点1为主节点，即仅从该单一的节点返回搜索结果；

如附图2b所示，节点1通过同一网段内广播发现新加入的具有相同的集群标识的节点2，获取该节点2的性能参数，对比后将节点2确定为新的主节点，节点2更新节点列表，并通知节点1；

如附图2c所示，节点2通过同一网段内广播发现新加入的具有相同的集群标识的多个节点，该集群中有n个节点分担搜索请求，节点2获取各节点的性能参数，比较后确定节点2的性能参数最优，保持节点2为主节点；

如附图2d所示，作为主节点的节点2定时发送广播消息，各从节点接收该广播消息，并返回携带自身状态信息的响应消息，节点2根据接收的响应消息对本地保存的节点列表中相应的节点的状态进行更新；

节点2查询本地保存的节点列表发现节点m的状态信息超过设定时长未进行更新，向节点m发送验证请求，超过设定时长未收到应答消息，节点2将服务器列表中节点m标为不可用状态，并通过广播消息发送更新后的节点列表，由各从节点接收该更新后的节点列表并更新本地保存的节点列表；

如附图2e所示，节点1超过设定时长未接收到主节点发送的广播消息，确定作为主节点的节点2故障；节点1发送广播消息以获取具有同一集群标识的各节点的性能参数，并对比获取的各节点的性能参数，选择性能最优的节点m作为主节点，新的主节点重新建立节点列表并通知给集群内的各个处于可用状态的节点更新。

基于相同的原理，本发明实施例中还提供了一种对等网络中节点集群实现装置，该装置的具体实施可参见上述方法的描述，重复之处不再赘述，如附图3所示，该装置主要包括：

获取模块301，用于获取具有相同的集群标识的各节点的状态信息，所述状态信息包括节点的标识和性能参数；

确定模块302，用于根据获取的各节点的性能参数以及自身的性能参数确定主节点。

其中，获取模块具体用于：

发送携带有所述集群标识的第一广播消息；

以及接收其它各服务器返回的第一响应消息，所述第一响应消息由具有所述集群标识的节点返回，所述第一响应消息中携带有自身的标识以及性能参数。

其中，确定模块还用于：

接收所述主节点按照设定周期发送携带所述集群标识的第二广播消息；

确定所述第二广播消息中携带的集群标识与自身的集群标识相同后，向所述主节点返回携带自身标识及性能参数的第二响应消息，由所述主节点根据所述第二响应消息建立节点列表，所述节点列表中包括返回所述第二响应消息的各节点的标识及其性能参数；

以及接收所述主节点发送的携带所述节点列表的第三广播消息，并保存所述节点列表。

较佳地，获取模块还用于：

若所述节点在设定时长内未接收到所述主节点发送的消息，重新获取具有相同的集群标识的其它各节点的状态信息，以及根据重新获取的各节点的性能参数以及自身的性能参数确定主节点。

基于相同的原理，本发明实施例中还提供了一种对等网络中节点集群系统，该系统的具体实施可参见上述方法部分的描述，重复之处不再赘述，该系统包括一个以上运行于至少一个服务器上的节点；

其中，任一节点，用于获取具有相同的集群标识的各节点的状态信息，所述状态信息包括节点的标识和性能参数，根据获取的各节点的性能参数以及自身的性能参数确定主节点；

其它各节点，用于向节点发送自身的状态信息。

较佳地，以上各实施例中，各节点之间采用套接字（socket）通信，socket为一个通信链的句柄，网络上的主机一般运行有多个服务程序，每个服务程序提供多种服务，每种服务都对应打开一个socket，并绑定到一个端口上，也就是说不同的端口对应不同的服务。

基于上述技术方案，本发明实施例中，集群中任意一节点获取同一集群中的其它各节点的标识及其性能参数，根据获取的各节点的性能参数以及自身的性能参数确定主节点，从而能够实现对等网络集群部署时主节点的自动推举；

其中，在初始配置节点时仅需配置该节点的集群标识即可，省去了现有技术中繁杂的配置过程，降低了集群部署的复杂度，提高了集群部署的效率，降低了集群部署和维护的成本。

并且，本发明实施例中，主节点通过定时发送广播消息，获取各节点的状态信息建立并维护节点列表，能够发现新加入的节点，并且能够发现发生故障的节点。

同时，任一节点根据接收的定时发送的广播消息向主节点返回响应消息，能够及时发现主节点故障，并能够在主节点故障时重新推举新的主节点。

其次，采用P2P单播和广播技术，能够高效、准确的检测到同网段内的节点，通过socket通信，提高了节点之间数据通信的安全性和稳定性，采用多线程机制并发扫描机制，极大程度上加快了节点发现的速度。并且，能够支持传统的分布式部署方式，提高了系统的兼容性。

因此，本发明实施例能够实现集群的自动部署、自动运行和自动维护，提高了集群部署的效率，降低了集群部署的复杂度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种对等网络中节点集群实现方法，所述集群中的各节点运行于至少一个服务器上，其特征在于，包括：

集群中的任意节点获取具有相同的集群标识的各节点的状态信息，所述状态信息包括节点的标识和性能参数；

根据获取的各节点的性能参数以及自身的性能参数确定主节点。

2.如权利要求1所述的方法，其特征在于，获取具有相同的集群标识的各节点的状态信息，包括：

所述节点发送携带有所述集群标识的第一广播消息；

以及接收其它各节点返回的第一响应消息，所述第一响应消息由具有所述集群标识的节点返回，所述第一响应消息中携带有自身的标识以及性能参数。

3.如权利要求2所述的方法，其特征在于，根据获取的各节点的性能参数以及自身的性能参数确定主节点后，还包括：

接收所述主节点按照设定周期发送携带所述集群标识的第二广播消息；

确定所述第二广播消息中携带的集群标识与自身的集群标识相同后，向所述主节点返回携带自身标识及性能参数的第二响应消息，由所述主节点根据所述第二响应消息建立节点列表，所述节点列表中包括返回所述第二响应消息的各节点的标识及其性能参数；

以及接收所述主节点发送的携带所述节点列表的第三广播消息，并保存所述节点列表。

4.如权利要求3所述的方法，其特征在于，所述主节点建立节点列表并接收所述第二响应消息后，还包括：

确定本地保存的节点列表中不包括所述第二响应消息中携带的节点的标识时，将所述第二响应消息中携带的节点的标识及其性能参数加入所述节点列表；

并发送携带所述节点列表的第三广播消息，由各节点在接收所述第三广播消息后更新本地保存的节点列表。

5.如权利要求4所述的方法，其特征在于，所述主节点建立节点列表后，还包括：

在超过设定时长未接收到所述节点返回的第二响应消息时，在所述节点列表中增加所述节点不可用的状态标识；

并发送携带修改后的所述节点列表的第三广播消息，由各节点在接收所述第三广播消息后更新本地保存的所述节点列表。

6.如权利要求1-5任一项所述的方法，其特征在于，根据获取的各节点的性能参数以及自身的性能参数确定主节点后，还包括：

所述节点若在设定时长内未接收到所述主节点发送的消息，重新获取具有相同的集群标识的其它各节点的状态信息，以及根据重新获取的各节点的性能参数以及自身的性能参数确定主节点。

7.一种对等网络中节点集群实现装置，其特征在于，包括：

获取模块，用于获取具有相同的集群标识的各节点的状态信息，所述状态信息包括节点的标识和性能参数；

确定模块，用于根据获取的各节点的性能参数以及自身的性能参数确定主节点。

8.如权利要求7所述的装置，其特征在于，所述获取模块具体用于：

发送携带有所述集群标识的第一广播消息；

以及接收其它各服务器返回的第一响应消息，所述第一响应消息由具有所述集群标识的节点返回，所述第一响应消息中携带有自身的标识以及性能参数。

9.如权利要求8所述的装置，其特征在于，所述确定模块还用于：

接收所述主节点按照设定周期发送携带所述集群标识的第二广播消息；

确定所述第二广播消息中携带的集群标识与自身的集群标识相同后，向所述主节点返回携带自身标识及性能参数的第二响应消息，由所述主节点根据所述第二响应消息建立节点列表，所述节点列表中包括返回所述第二响应消息的各节点的标识及其性能参数；

以及接收所述主节点发送的携带所述节点列表的第三广播消息，并保存所述节点列表。

10.如权利要求7、8或9所述的装置，其特征在于，所述获取模块还用于：

若所述节点在设定时长内未接收到所述主节点发送的消息，重新获取具有相同的集群标识的其它各节点的状态信息，以及根据重新获取的各节点的性能参数以及自身的性能参数确定主节点。

11.一种对等网络中节点集群系统，其特征在于，包括：一个以上运行于至少一个服务器上的节点；

任一节点，用于获取具有相同的集群标识的各节点的状态信息，所述状态信息包括节点的标识和性能参数，根据获取的各节点的性能参数以及自身的性能参数确定主节点；

其它各节点，用于向所述节点发送自身的状态信息。