CN103051720B - Hadoop集群内部节点通信方法、设备及系统 - Google Patents

Abstract

本申请公开了一种Hadoop集群内部节点通信方法、设备及系统。所述方法如下步骤：接收第一网段内的第一节点所发送的请求命令，其中，请求命令用于向具有第一节点所需数据的节点请求数据；给第一节点分配第一公网地址，以供第一节点根据第一公网地址接入公网；向第二网段内的控制服务器发送所述请求命令，以供第二网段内的控制服务器向第二网段内的所有节点广播所述请求命令，从而查找到具有第一节点所需数据的第二节点，并给第二节点分配第二公网地址，使第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。能够提高数据处理的速度，降低数据传输的风险。

Description

Hadoop集群内部节点通信方法、设备及系统

技术领域

本申请涉及云计算领域，特别是涉及Hadoop集群内部节点通信方法、设备及系统。

背景技术

Hadoop是一个用于运行大型应用程序在廉价硬件设备所构成的大型集群上的框架。例如，可将多个家用的计算机构建成一个Hadoop集群，每个家用的计算机作为Hadoop集群中的一个节点。Hadoop中实现了谷歌(Google)的Map/Reduce算法，能够将应用程序通过Map算法划分成多个工作单元，在节点能够负载的前提下，每个工作单元可以映射到集群中的任何一个节点上执行，然后通过Reduce算法将各个工作单元运算出来的结果通过预定的规约合成，从而实现分布式数据处理，提高数据处理能力。

由于Hadoop是将一个应用程序分解成多个工作单元映射到不同的节点中进行计算，而不同节点中的工作单元是关联的，所以不同的节点之间必然涉及到大量的数据通信。为了构建Hadoop集群，其中一个很重要的方面就是构建一个良好的集群内节点通信的机制。而Hadoop集群很大，集群的节点可能位于多个不同的私网网段内。例如，可能有5个节点位于192.168.0.1至192.168.255.255的私网网段内，有15个节点位于192.169.0.1至192.169.255.255的私网网段内……。对于位于同一私网网段内的节点，节点之间是具有直接的网络连接关系的，所以很容易实现通信，但是，对于位于不同私网网段的节点，节点之间的网络是隔离的，所以比私网网段内的节点之间的通信实现起来较为复杂。

现有技术提供了一种位于不同私网网段的节点的Hadoop集群内部节点通信方法，如图1所示，网段A包括节点A1、节点A2以及节点A3，网段B包括节点B1、节点B2以及节点B3。当节点A1需要向节点B1请求数据时，节点A1将请求命令向代理服务器110发送，代理服务器110将请求命令向节点B1发送。节点B1在收到请求后将数据向代理服务器110发送，代理服务器110将数据向节点A1发送。当节点A2需要向节点B2请求数据时，节点A2将请求命令向代理服务器110发送，代理服务器110将请求命令向节点B2发送。节点B2在收到请求后将数据向代理服务器110发送，代理服务器110将数据向节点A2发送。当节点A3需要向节点B3请求数据时，过程同样类似。

显然而见，由于节点A1、节点A2以及节点A3发送请求命令和接收数据都必须经过代理服务器110，而代理服务器110的处理能力是有限的，数据通常是万亿(Terabyte，TB)级别的，所以，当节点A1、节点A2以及节点A3同时发出请求命令时，将会发生拥塞，造成整体数据处理速度的下降。而且，如果代理服务器110发生故障，则利用代理服务器110进行通信的节点A1、节点A2以及节点A3均无法与节点B1、节点B2以及节点B3进行通信。

发明内容

本申请主要解决的技术问题是提供Hadoop集群内部节点通信方法、设备及系统，能够提高数据处理的速度，降低数据传输的风险。

为解决上述技术问题，本申请第一方面提供一种Hadoop集群内部节点通信方法，包括如下步骤：第一网段内的控制服务器接收第一网段内的第一节点所发送的请求命令，其中，所述请求命令用于向具有所述第一节点所需数据的节点请求数据，所述第一网段内的控制服务器内预先存储了多个公网地址；给所述第一节点分配第一公网地址，以供所述第一节点根据所述第一公网地址接入公网；向第二网段内的控制服务器发送所述请求命令，以供所述第二网段内的控制服务器向第二网段内的所有节点广播所述请求命令，从而查找到具有所述第一节点所需数据的第二节点，并给所述第二节点分配第二公网地址，使所述第二节点根据所述第二公网地址接入公网，利用所述公网与所述第一节点建立数据通信链路进行通信；其中，所述第二网段内的控制服务器内预先存储了多个公网地址。

结合第一方面，本申请第一方面的第一种可能的实施方式中，所述接收第一网段内的第一节点所发送的请求命令的步骤之后，包括如下步骤：根据排队情况判断是否处理所述第一节点所发送的请求命令；如果轮到处理所述第一节点所发送的请求命令，则执行所述给所述第一节点分配第一公网地址的步骤。

结合第一方面，本申请第一方面的第二种可能的实施方式中，所述向第二网段内的控制服务器发送所述请求命令的步骤包括：将所述第一公网地址封装到所述请求命令中，以向所述第二网段内的控制服务器发送所述请求命令。

结合第一方面，本申请第一方面的第三种可能的实施方式中，所述方法还包括：在所述第一节点与所述第二节点通信完毕后，接收所述第一节点所发送的报告完成消息，从而释放所述第一公网地址。

为解决上述技术问题，本申请第二方面提供一种Hadoop集群内部节点通信方法，包括如下步骤：第二网段内的控制服务器接收第一网段内的控制服务器所发送的请求命令，其中，所述第一网段内的控制服务器内预先存储了多个公网地址；所述第二网段内的控制服务器内预先存储了多个公网地址；所述请求命令包含所述第一网段内的控制服务器向第一网段内的第一节点分配的第一公网地址；所述第一节点根据所述第一公网地址接入公网；向第二网段内的所有节点广播所述请求命令，从而查找到具有所述第一节点所需数据的第二节点；给所述第二节点分配第二公网地址，使所述第二节点根据所述第二公网地址接入公网，并利用所述公网与所述第一节点建立数据通信链路进行通信。

结合第二方面，本申请第二方面的第一种可能的实施方式中，所述接收第一网段内的控制服务器所发送的请求命令的步骤之后，包括如下步骤：根据排队情况判断是否处理所述第一网段内的控制服务器所发送的所述请求命令。

结合第二方面，本申请第二方面的第二种可能的实施方式中，在所述第一节点与所述第二节点通信完毕后，接收所述第二节点所发送的报告完成消息，从而释放所述第二公网地址。

为解决上述技术问题，本申请第三方面提供一种Hadoop集群内部节点通信的控制服务器，设置于发送请求命令以请求数据的网段，所述控制服务器内预先存储了多个公网地址，包括：接收模块、分配模块以及发送模块，所述接收模块用于接收第一网段内的第一节点所发送的请求命令，其中，所述请求命令用于向具有所述第一节点所需数据的节点请求数据，所述接收模块将所述请求命令向所述发送模块发送；所述分配模块用于给所述第一节点分配第一公网地址，以供所述第一节点根据所述第一公网地址接入公网；所述发送模块用于接收所述请求命令，向第二网段内的控制服务器发送所述请求命令，以供所述第二网段内的控制服务器向第二网段内的所有节点广播所述请求命令，从而查找到具有所述第一节点所需数据的第二节点，并给所述第二节点分配第二公网地址，使所述第二节点根据所述第二公网地址接入公网，利用所述公网与所述第一节点建立数据通信链路进行通信；其中，所述第二网段内的控制服务器内预先存储了多个公网地址。

结合第三方面，本申请第三方面的第一种可能的实施方式中，所述控制服务器还包括判断模块，所述判断模块用于根据排队情况判断是否处理所述第一节点所发送的请求命令，使得在轮到处理所述第一节点所发送的请求命令时，给所述第一节点分配第一公网地址。

结合第三方面，本申请第三方面的第二种可能的实施方式中，所述控制服务器还包括封装模块，所述封装模块用于将所述第一公网地址封装到所述请求命令中，以向所述第二网段内的控制服务器发送所述请求命令。

结合第三方面，本申请第三方面的第三种可能的实施方式中，所述接收模块还用于在所述第一节点与所述第二节点通信完毕后，接收所述第一节点所发送的报告完成消息，从而释放所述第一公网地址。

为解决上述技术问题，本申请第四方面提供一种Hadoop集群内部节点通信的控制服务器，所述控制服务器内预先存储了多个公网地址，设置于接收请求命令以提供数据的网段，包括：接收模块、广播模块以及分配模块，所述接收模块用于接收第一网段内的控制服务器所发送的请求命令，其中，所述请求命令包含所述第一网段内的控制服务器向第一网段内的第一节点分配的第一公网地址；所述第一节点根据所述第一公网地址接入公网，所述接收模块向所述广播模块发送所述请求命令；所述广播模块用于接收所述请求命令，向第二网段内的所有节点广播所述请求命令，从而查找到具有所述第一节点所需数据的第二节点；所述分配模块用于给所述第二节点分配第二公网地址，使所述第二节点根据所述第二公网地址接入公网，并利用所述公网与所述第一节点建立数据通信链路进行通信；其中，所述第二网段内的控制服务器内预先存储了多个公网地址。

结合第四方面，本申请第四方面的第一种可能的实施方式中，所述控制服务器还包括判断模块，所述判断模块用于根据排队情况判断是否处理所述第一网段内的控制服务器所发送的所述请求命令，使得在轮到处理所述第一网段内的控制服务器所发送的所述请求命令时，向第二网段内的所有节点广播所述请求命令。

结合第四方面，本申请第四方面的第二种可能的实施方式中，所述接收模块还用于在所述第一节点与所述第二节点通信完毕后，接收所述第二节点所发送的报告完成消息，从而释放所述第二公网地址。

为解决上述技术问题，本申请第五方面提供一种Hadoop集群内部节点通信系统，包括至少两个网段，以发送请求命令以请求数据的网段为第一网段，以接收请求命令以提供数据的网段为第二网段，第一网段与第二网段之间能够进行通信，第一网段包括至少一个第一控制服务器和多个节点，第二网段包括至少一个第二控制服务器和多个节点，其中，所述第一控制服务器将所述第一网段内的节点与公网隔离，所述第二控制服务器内预先存储了多个公网地址，所述第一控制服务器为如上述任一项所述的控制服务器。

结合第五方面，本申请第五方面的第一种可能的实施方式中，所述第二控制服务器为如上述任一项所述的控制服务器。

上述方案，通过给位于不同私网网段的两个节点分别赋予不同的公网地址，使得这两个节点分别根据被赋予的公网地址接入到公网，利用公网的资源在两者之间建立直接的数据通信链路进行数据传输。由于公网包括多个可传输数据的节点，能够生成多个数据链路，当集群内的多个节点同时发出请求命令时，发出请求命令的节点会分别与拥有请求数据的节点之间建立起多条不同的链路进行数据通信，从而提高了数据处理速度。而且，多个节点之间的链路基本上是独立的，即使其中一个链路出现了故障，不影响其他链路的正常工作，从而降低数据传输的风险。

附图说明

图1是现有技术Hadoop集群内部节点通信系统的结构示意图；

图2是本申请Hadoop集群内部节点通信系统一实施方式的结构示意图；

图3是本申请Hadoop集群内部节点通信系统另一实施方式的结构示意图；

图4是本申请Hadoop集群内部节点通信方法一实施方式的流程图；

图5是本申请Hadoop集群内部节点通信方法另一实施方式的流程图；

图6是本申请Hadoop集群内部节点通信方法再一实施方式的流程图；

图7是本申请Hadoop集群内部节点通信方法又一实施方式的流程图；

图8是本申请控制服务器一实施方式的结构示意图；

图9是本申请控制服务器另一实施方式的结构示意图；

图10是本申请控制服务器再一实施方式的结构示意图；

图11是本申请控制服务器又一实施方式的结构示意图；

图12是本申请控制服务器又再一实施方式的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施方式中也可以实现本申请。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

参阅图2，图2是本申请Hadoop集群内部节点通信系统一实施方式的结构示意图。本实施方式的Hadoop集群内部节点通信系统包括至少两个私网网段，网段A以及网段B。网段A包括第一控制服务器210以及节点A1、节点A2、节点A3。网段B包括第二控制服务器230以及节点B1、节点B2、节点B3。

第一控制服务器210以及节点A1、节点A2、节点A3都位于私网网段A内，都具有直接的物理连接关系，所以，第一控制服务器210以及节点A1、节点A2、节点A3之间均可以直接进行通信。同样地，第二控制服务器230以及节点B1、节点B2、节点B3都位于私网网段B内，都具有直接的物理连接关系，所以，第二控制服务器230以及节点B1、节点B2、节点B3之间均可以直接进行通信。

第一控制服务器210将节点A1、节点A2、节点A3与公网220隔离，使得节点A1、节点A2以及节点A3可向公网220中的任一节点提出链接请求，但是，公网220中的任一节点都不可以直接访问节点A1、节点A2以及节点A3。同样地，第二控制服务器230将节点B1、节点B2、节点B3与公网220隔离，使得节点B1、节点B2以及节点B3可向公网220中的任一节点提出链接请求，但是，公网220中的任一节点都不可以直接访问节点B1、节点B2以及节点B3。

第一控制服务器210分配到一个公网地址，第一控制服务器210根据分配到的公网地址接入到公网220。同样地，第二控制服务器230分配到一个公网地址，第二控制服务器230根据分配到公网地址接入到公网220。由于公网220之间的节点互相之间都可以自由访问，所以，第一控制服务器210与第二控制服务器230可以通过公网220自由访问。

第一控制服务器210内预先存储了多个公网地址，当网段A内的节点需要与网段A外的节点进行通信，例如，网段A内的节点A1需要与公网220内的任一个节点或网段B内的任一个节点进行通信时，第一控制服务器210可将其中一个公网地址分配给节点A1，使得节点A1根据分配到的公网地址接入到公网220。同样地，第二控制服务器230内预先存储了多个公网地址，当网段B内的节点需要与网段B外的节点进行通信，例如，网段B内的节点B1需要与公网220内的任一个节点或网段A内的任一个节点进行通信时，第二控制服务器230可将其中一个公网地址分配给节点B1，使得节点B1根据分配到的公网地址接入到公网220。

具体的工作过程如下：网段A中的节点A1需要向网段A外的节点请求数据时，节点A1向第一控制服务器210发出请求命令。其中，请求命令中包含了节点A1的信息。第一控制服务器210接收到请求命令后，将存储在本地的其中一个公网地址分配给节点A1，使得节点A1根据分配到的公网地址接入到公网220。然后，第一控制服务器210将分配给节点A1的公网地址封装到请求命令中，利用公网220将请求命令向第二控制服务器230发送。第二控制服务器230将接收到的请求命令向网段B内的所有属于集群的节点进行广播。网段B中的节点B1存储有请求的数据，所以，节点B1在接收到请求命令后，向第二控制服务器230进行反馈。第二控制服务器230接收到反馈后，将存储在本地的其中一个公网地址分配给节点B1，使得节点B1根据分配到的公网地址接入到公网220。在节点A1和节点B1都接入到公网220后，由于公网220之间的节点互相之间都可以自由访问，所以，节点B1根据节点A1的信息和分配给节点A1的公网地址主动向节点A1发起链接请求，建立一条数据通信链路(如图2中实线箭头所示)，并进行数据传输。如果在节点A1与节点B1进行数据传输时，网段A中的节点A3需要向网段A外的节点请求数据，则第一控制服务器210将存储在本地的另一个公网地址(除了已分配给节点A1外的其它任何一个公网地址)分配给节点A3，第二控制服务器230将存储在本地的另一个公网地址(除了已分配给节点B1外的其它任何一个公网地址)分配给节点B3，从而在节点A3与节点B3之间建立另一条数据通信链路(如图2中虚线箭头所示)，并进行数据传输。

在节点A1与节点B1之间的数据传输完毕后，节点A1向第一控制服务器210报告完成消息。第一控制服务器210释放分配给节点A1的公网地址；节点B1向第二控制服务器230报告完成消息。第二控制服务器230释放分配给节点B1的公网地址。在节点A3与节点B3之间的数据传输完毕后，节点A3向第一控制服务器210报告完成消息。第一控制服务器210释放分配给节点A3的公网地址；节点B3向第二控制服务器230报告完成消息。第二控制服务器230释放分配给节点B3的公网地址。

可以理解的是，文中假定节点A1的请求的数据存储在网段B的节点B1中，在实际情况下，如果在网段B中查找不到请求数据，则系统会向下一个网段继续查找，直到查找到相应的请求数据，或遍历所有的网段都查找不到相应的请求数据从而结束查找。

上述方案，通过给位于网段A中的节点A1和网段B中的节点B1分别赋予不同的公网地址，使得这两个节点分别根据被赋予的公网地址接入到公网220，利用公网220的资源在两者之间建立一条直接的数据通信链路进行数据传输。而在节点A1和节点B1进行数据传输时，节点A3和节点B3利用公网220的资源在两者之间建立另一条直接的数据通信链路进行数据传输，使得节点A1与节点B1之间的数据通信链路独立于节点A3和节点B3之间的数据通信链路，从而提高数据处理的速度。而且，两条数据通信链路基本上是独立的，即使其中一个数据通信链路出现了故障，不影响其他数据通信链路的正常工作，从而降低数据传输的风险。

参阅图3，图3是本申请Hadoop集群内部节点通信系统另一实施方式的结构示意图。与上一实施方式的不同之处在于，两条数据通信链路并非完全独立，而是共用公网220中的一个网络节点。可以理解的是，当数据通信链路增多时，不同的数据通信链路之间共用的网络节点在大部份情况下是不同的，例如，第一条数据通信链路与第二条数据通信链路可能共用公网220的第一个网络节点，第二条数据通信链路与第三条数据通信链路可能共用公网220的第二个网络节点，而第四条数据通信链路与第一条数据通信链路可能共用公网220的第三个网络节点，……。系统能实现将负载和风险分摊在公网220的多个网络节点上，所以，同样能够实现提高数据处理的速度和降低数据传输的风险。

参阅图4，图4是本申请Hadoop集群内部节点通信方法一实施方式的流程图。本实施方式的Hadoop集群内部节点通信方法包括如下步骤：

S401：第一控制服务器接收第一网段内的第一节点所发送的请求命令，其中，请求命令用于向具有第一节点所需数据的节点请求数据。

当第一网段内的第一节点需要向第一网段外的节点请求数据时，第一节点向第一控制服务器发出请求命令。第一控制服务器接收第一网段内的第一节点所发送的请求命令。

S402：第一控制服务器给第一节点分配第一公网地址。

在接收到第一节点所发送的请求命令后，第一控制服务器把预先存储在本地的第一公网地址分配给第一节点。第一节点接收到第一公网地址后，根据第一公网地址接入公网。

S403：第一控制服务器向第二网段内的第二控制服务器发送请求命令。

在分配完第一公网地址后，第一控制服务器向第二网段内的第二控制服务器发送请求命令。第二网段内的第二控制服务器在接收到请求命令后，向第二网段内的所有节点广播请求命令，从而查找到具有第一节点所需数据的第二节点。然后，第二控制服务器给第二节点分配第二公网地址，使第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。

参阅图5，图5是本申请Hadoop集群内部节点通信方法另一实施方式的流程图。本实施方式的Hadoop集群内部节点通信方法包括如下步骤：

S501：第一控制服务器接收第一网段内的第一节点所发送的请求命令。

当第一网段内的第一节点需要向第一网段外的节点请求数据时，第一节点向第一控制服务器发出请求命令。其中，请求命令包含了第一节点的信息。第一控制服务器接收第一网段内的第一节点所发送的请求命令。

S502：第一控制服务器根据排队情况判断是否处理第一节点所发送的请求命令。

第一控制服务器在接收到第一节点所发送的请求命令后，将所述请求命令进行队列。第一控制服务器根据排队情况判断是否处理第一节点所发送的请求命令，如果轮到处理第一节点所发送的请求命令，进入步骤S503；如果没有轮到处理第一节点所发送的请求命令，返回步骤S502继续等待第一控制服务器处理第一节点所发送的请求命令。

S503：第一控制服务器给第一节点分配第一公网地址。

第一控制服务器内部预先存储了多个公网地址。如果轮到处理第一节点所发送的请求命令，第一控制服务器从本地存储的多个公网地址中选择其中一个公网地址作为第一公网地址分配给第一节点。第一节点在获得第一公网地址后，根据第一公网地址接入到公网。

S504：第一控制服务器将第一公网地址封装到请求命令中。

在给第一节点分配完公网地址后，第一控制服务器将第一公网地址封装到请求命令中。

S505：第一控制服务器向第二网段内的第二控制服务器发送请求命令。

第一控制服务器以及第二控制服务器都已经接入到公网，所以第一控制服务器与第二控制服务器之间可以自由访问。在封装完毕后，第一控制服务器向第二网段内的第二控制服务器发送请求命令。第二网段内的第二控制服务器在接收到请求命令后，向第二网段内的所有节点广播请求命令，从而查找到具有第一节点所需数据的第二节点。当然，为了提供效率，所述的所有节点也可以指第二网段内属于Hadoop集群的所有节点。然后，第二控制服务器给第二节点分配第二公网地址，使第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。

S506：第一控制服务器接收第一节点所发送的报告完成消息，从而释放第一公网地址。

在第一节点与第二节点通信完毕后，第一节点将向第一控制服务器发送报告完成消息，以通知第一控制服务器通信完毕。第一控制服务器接收第一节点所发送的报告完成消息后，释放第一公网地址，以供给下一个需要进行通信的节点所使用。同样地，在第一节点与第二节点通信完毕后，第二节点将向第二控制服务器发送报告完成消息，以通知第二控制服务器通信完毕。第二控制服务器接收第二节点所发送的报告完成消息后，释放第二公网地址，以供给下一个需要进行通信的节点所使用。

参阅图6，图6是本申请Hadoop集群内部节点通信方法再一实施方式的流程图。本实施方式的Hadoop集群内部节点通信方法包括如下步骤：

S601：第二控制服务器接收第一网段内的第一控制服务器所发送的请求命令。

当第一网段内的第一节点需要向第一网段外的节点请求数据时，第一节点向第一控制服务器发出请求命令。第一控制服务器接收第一网段内的第一节点所发送的请求命令。在接收到第一节点所发送的请求命令后，第一控制服务器把预先存储在本地的第一公网地址分配给第一节点。第一节点接收到第一公网地址后，根据第一公网地址接入公网。在分配完第一公网地址后，第一控制服务器向第二网段内的第二控制服务器发送请求命令。所述请求命令包含第一网段内的第一控制服务器向第一网段内的第一节点分配的第一公网地址。第二控制服务器接收第一网段内的第一控制服务器所发送的请求命令。

S602：第二控制服务器向第二网段内的所有节点广播请求命令。

第二控制服务器在接收到请求命令后，向第二网段内的所有节点广播请求命令。当然，为了提高效率，所述的所有节点也可以指第二网段内属于Hadoop集群的所有节点。第二网段内的节点在接收到广播后，查询自身是否具有请求命令所请求的数据。假设第二网段内的第二节点具有请求命令所请求的数据，则第二控制服务器查找到具有第一节点所需数据的第二节点，然后，第二节点向第二控制服务器进行反馈。

S603：第二控制服务器给第二节点分配第二公网地址。

第二控制服务器预先在本地存储有多个公网地址。在接收到反馈后，第二控制服务器从多个公网地址中选择其中一个公网地址作为第二公网地址分配给第二节点。第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。

参阅图7，图7是本申请Hadoop集群内部节点通信方法又一实施方式的流程图。本实施方式的Hadoop集群内部节点通信方法包括如下步骤：

S701：第二控制服务器接收第一网段内的控制服务器所发送的请求命令。

当第一网段内的第一节点需要向第一网段外的节点请求数据时，第一节点向第一控制服务器发出请求命令。第一控制服务器接收第一网段内的第一节点所发送的请求命令。在接收到第一节点所发送的请求命令后，第一控制服务器把预先存储在本地的第一公网地址分配给第一节点。第一节点接收到第一公网地址后，根据第一公网地址接入公网。在分配完第一公网地址后，第一控制服务器向第二网段内的第二控制服务器发送请求命令。第二控制服务器接收第一网段内的第一控制服务器所发送的请求命令。

S702：第二控制服务器根据排队情况判断是否处理第一网段内的控制服务器所发送的请求命令。

第二控制服务器在接收到第一控制服务器所发送的请求命令后，将所述请求命令队列。第二控制服务器根据排队情况判断是否处理第一网段内的第一控制服务器所发送的请求命令，如果轮到处理第一控制服务器所发送的请求命令，进入步骤S703；如果没有轮到处理第一控制服务器所发送的请求命令，返回步骤S702，继续等待第二控制服务器处理第一网段内的第一控制服务器所发送的请求命令。

S703：第二控制服务器向第二网段内的所有节点广播请求命令。

第二控制服务器在接收到请求命令后，向第二网段内的所有节点广播请求命令。当然，为了提高效率，所述的所有节点也可以指第二网段内属于Hadoop集群的所有节点。第二网段内的节点在接收到广播后，查询自身是否具有请求命令所请求的数据。假设第二网段内的第二节点具有请求命令所请求的数据，则第二控制服务器查找到具有第一节点所需数据的第二节点，然后，第二节点向第二控制服务器进行反馈。

S704：第二控制服务器用于给第二节点分配第二公网地址。

第二控制服务器预先在本地存储有多个公网地址。在接收到反馈后，第二控制服务器从多个公网地址中选择其中一个公网地址作为第二公网地址分配给第二节点。第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。

S705：第二控制服务器接收第二节点所发送的报告完成消息，从而释放第二公网地址。

在第一节点与第二节点通信完毕后，第二节点将向第二控制服务器发送报告完成消息，以通知第二控制服务器通信完毕。第二控制服务器接收第二节点所发送的报告完成消息后，释放第二公网地址，以供给下一个需要进行通信的节点所使用。同样地，在第一节点与第二节点通信完毕后，第一节点将向第一控制服务器发送报告完成消息，以通知第一控制服务器通信完毕。第一控制服务器接收第一节点所发送的报告完成消息后，释放第一公网地址，以供给下一个需要进行通信的节点所使用。

参阅图8，图8是本申请控制服务器一实施方式的结构示意图。本实施方式的控制服务器设置于发送请求命令以请求数据的网段，包括：接收模块801、分配模块802以及发送模块803。

接收模块801用于接收第一网段内的第一节点所发送的请求命令，其中，请求命令用于向具有第一节点所需数据的节点请求数据。比如，当第一网段内的第一节点需要向第一网段外的节点请求数据时，第一节点向第一控制服务器发出请求命令。接收模块801接收第一网段内的第一节点所发送的请求命令。接收模块801将请求命令向发送模块803发送。

分配模块802用于给第一节点分配第一公网地址，以供第一节点根据第一公网地址接入公网。比如，在接收到第一节点所发送的请求命令后，第一控制服务器把预先存储在本地的第一公网地址分配给第一节点。第一节点接收到第一公网地址后，分配模块802根据第一公网地址接入公网。

发送模块803用于接收请求命令，向第二网段内的控制服务器发送请求命令，以供第二网段内的控制服务器向第二网段内的所有节点广播请求命令，从而查找到具有第一节点所需数据的第二节点，并给第二节点分配第二公网地址，使第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。比如，在分配完第一公网地址后，发送模块803向第二网段内的第二控制服务器发送请求命令。第二网段内的第二控制服务器在接收到请求命令后，向第二网段内的所有节点广播请求命令，从而查找到具有第一节点所需数据的第二节点。然后，第二控制服务器给第二节点分配第二公网地址，使第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。

参阅图9，图9是本申请控制服务器另一实施方式的结构示意图。本实施方式的控制服务器设置于发送请求命令以请求数据的网段，包括：接收模块901、判断模块902、分配模块903、封装模块904以及发送模块905。

接收模块901用于接收第一网段内的第一节点所发送的请求命令。比如，当第一网段内的第一节点需要向第一网段外的节点请求数据时，第一节点向第一控制服务器发出请求命令。其中，请求命令包含了第一节点的信息。接收模块901接收第一网段内的第一节点所发送的请求命令。

判断模块902用于根据排队情况判断是否处理第一节点所发送的请求命令。比如，第一控制服务器在接收到第一节点所发送的请求命令后，将所述请求命令进行队列。判断模块902根据排队情况判断是否处理第一节点所发送的请求命令。

分配模块903用于给第一节点分配第一公网地址。比如，第一控制服务器内部预先存储了多个公网地址。如果轮到处理第一节点所发送的请求命令，分配模块903从本地存储的多个公网地址中选择其中一个公网地址作为第一公网地址分配给第一节点。第一节点在获得第一公网地址后，根据第一公网地址接入到公网。

封装模块904用于将第一公网地址封装到请求命令中。比如，在给第一节点分配完公网地址后，封装模块904将第一公网地址封装到请求命令中。

发送模块905用于向第二网段内的第二控制服务器发送请求命令。比如，第一控制服务器以及第二控制服务器都已经接入到公网，所以第一控制服务器与第二控制服务器之间可以自由访问。在封装完毕后，发送模块905向第二网段内的第二控制服务器发送请求命令。第二网段内的第二控制服务器在接收到请求命令后，向第二网段内的所有节点广播请求命令，从而查找到具有第一节点所需数据的第二节点。当然，为了提供效率，所述的所有节点也可以指第二网段内属于Hadoop集群的所有节点。然后，第二控制服务器给第二节点分配第二公网地址，使第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。

可以理解地，为了释放占用的资源，接收模块901还用于在第一节点与第二节点通信完毕后，接收第一节点所发送的报告完成消息，从而释放第一公网地址。

参阅图10，图10是本申请控制服务器再一实施方式的结构示意图。本实施方式的控制服务器设置于接收请求命令以提供数据的网段，包括：接收模块1001、判断模块1002、广播模块1003以及分配模块1004。

接收模块1001用于接收第一网段内的控制服务器所发送的请求命令，其中，所述请求命令包含所述第一网段内的控制服务器向第一网段内的第一节点分配的第一公网地址；所述第一节点根据所述第一公网地址接入公网。所述请求命令用于向具有第一节点所需数据的节点请求数据。比如，当第一网段内的第一节点需要向第一网段外的节点请求数据时，第一节点向第一控制服务器发出请求命令。第一控制服务器接收第一网段内的第一节点所发送的请求命令。在接收到第一节点所发送的请求命令后，第一控制服务器把预先存储在本地的第一公网地址分配给第一节点。第一节点接收到第一公网地址后，根据第一公网地址接入公网。在分配完第一公网地址后，第一控制服务器向第二网段内的第二控制服务器发送请求命令。接收模块1001向广播模块1003发送请求命令。

判断模块1002用于根据排队情况判断是否处理第一网段内的控制服务器所发送的请求命令，使得在轮到处理第一网段内的控制服务器所发送的请求命令时，向第二网段内的所有节点广播所述请求命令；在还没轮到处理第一网段内的控制服务器所发送的请求命令时，继续等待处理第一网段内的控制服务器所发送的所述请求命令。

广播模块1003用于接收请求命令，向第二网段内的所有节点广播请求命令，从而查找到具有第一节点所需数据的第二节点。比如，在接收到请求命令后，广播模块1003向第二网段内的所有节点广播请求命令。当然，为了提高效率，所述的所有节点也可以指第二网段内属于Hadoop集群的所有节点。第二网段内的节点在接收到广播后，查询自身是否具有请求命令所请求的数据。假设第二网段内的第二节点具有请求命令所请求的数据，则第二控制服务器查找到具有第一节点所需数据的第二节点，然后，第二节点向第二控制服务器进行反馈。

分配模块1004用于给第二节点分配第二公网地址，使第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。比如，第二控制服务器预先在本地存储有多个公网地址。在接收到反馈后，分配模块1004从多个公网地址中选择其中一个公网地址作为第二公网地址分配给第二节点。第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。

可以理解地，为了释放占用的资源，接收模块1001还用于在第一节点与第二节点通信完毕后，接收第二节点所发送的报告完成消息，从而释放第二公网地址。

参阅图11，图11是本申请控制服务器又一实施方式的结构示意图。本实施方式的控制服务器设置于发送请求命令以请求数据的网段，包括：接收机1101、处理器1102以及发送机1103。处理器1102分别耦接接收机1101以及发送机1103。

接收机1101用于接收第一网段内的第一节点所发送的请求命令，其中，请求命令用于向具有第一节点所需数据的节点请求数据。比如，当第一网段内的第一节点需要向第一网段外的节点请求数据时，第一节点向第一控制服务器发出请求命令。接收机1101接收第一网段内的第一节点所发送的请求命令。

处理器1102用于接收请求命令，根据排队情况判断是否处理第一节点所发送的请求命令，给第一节点分配第一公网地址，以供第一节点根据第一公网地址接入公网，并将第一公网地址封装到请求命令中。比如，在接收到第一节点所发送的请求命令后，处理器1102将所述请求命令进行队列。处理器1102根据排队情况判断是否处理第一节点所发送的请求命令。第一控制服务器内部预先存储了多个公网地址。如果轮到处理第一节点所发送的请求命令，处理器1102从本地存储的多个公网地址中选择其中一个公网地址作为第一公网地址分配给第一节点。第一节点在获得第一公网地址后，根据第一公网地址接入到公网。在给第一节点分配完公网地址后，处理器1102将第一公网地址封装到请求命令中。

发送机1103用于向第二网段内的第二控制服务器发送请求命令。比如，第一控制服务器以及第二控制服务器都已经接入到公网，所以第一控制服务器与第二控制服务器之间可以自由访问。在封装完毕后，发送机1103向第二网段内的第二控制服务器发送请求命令。第二网段内的第二控制服务器在接收到请求命令后，向第二网段内的所有节点广播请求命令，从而查找到具有第一节点所需数据的第二节点。当然，为了提供效率，所述的所有节点也可以指第二网段内属于Hadoop集群的所有节点。然后，第二控制服务器给第二节点分配第二公网地址，使第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。

可以理解地，为了释放占用的资源，接收机1101还用于在第一节点与第二节点通信完毕后，接收第一节点所发送的报告完成消息，从而释放第一公网地址。

参阅图12，图12是本申请控制服务器又再一实施方式的结构示意图。本实施方式的控制服务器设置于接收请求命令以提供数据的网段，包括：接收机1201、处理器1202以及发送机1203。处理器1202分别耦接接收机1201以及发送机1203。

接收机1201用于接收第一网段内的第一控制服务器所发送的请求命令。比如，当第一网段内的第一节点需要向第一网段外的节点请求数据时，第一节点向第一控制服务器发出请求命令。第一控制服务器接收第一网段内的第一节点所发送的请求命令。在接收到第一节点所发送的请求命令后，第一控制服务器把预先存储在本地的第一公网地址分配给第一节点。第一节点接收到第一公网地址后，根据第一公网地址接入公网。在分配完第一公网地址后，第一控制服务器向第二网段内的第二控制服务器发送请求命令。所述请求命令包含第一网段内的第一控制服务器向第一网段内的第一节点分配的第一公网地址。接收机1201接收第一网段内的第一控制服务器所发送的请求命令。

处理器1202用于根据排队情况判断是否处理第一网段内的控制服务器所发送的请求命令，使得在轮到处理第一网段内的控制服务器所发送的请求命令时，调用发送机1203向第二网段内的所有节点广播所述请求命令；在还没轮到处理第一网段内的控制服务器所发送的请求命令时，继续等待处理第一网段内的控制服务器所发送的所述请求命令。

发送机1203用于接收请求命令，向第二网段内的所有节点广播请求命令，从而查找到具有第一节点所需数据的第二节点。比如，在接收到请求命令后，发送机1203向第二网段内的所有节点广播请求命令。当然，为了提高效率，所述的所有节点也可以指第二网段内属于Hadoop集群的所有节点。第二网段内的节点在接收到广播后，查询自身是否具有请求命令所请求的数据。假设第二网段内的第二节点具有请求命令所请求的数据，则第二控制服务器查找到具有第一节点所需数据的第二节点，然后，第二节点向第二控制服务器进行反馈。

处理器1202还用于给第二节点分配第二公网地址，使第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。比如，第二控制服务器预先在本地存储有多个公网地址。在接收到反馈后，处理器1202从多个公网地址中选择其中一个公网地址作为第二公网地址分配给第二节点。第二节点根据第二公网地址接入公网，利用公网与第一节点建立数据通信链路进行通信。

可以理解地，为了释放占用的资源，接收机1201还用于在第一节点与第二节点通信完毕后，接收第二节点所发送的报告完成消息，从而释放第二公网地址。

基于上述第一控制服务器以及第二控制服务器，本申请还提出了一种Hadoop集群内部节点通信系统，包括至少两个网段，以发送请求命令以请求数据的网段为第一网段，以接收请求命令以提供数据的网段为第二网段，第一网段与第二网段之间能够进行通信，第一网段包括至少一个第一控制服务器和多个节点，第二网段包括至少一个第二控制服务器和多个节点。具体请参阅图2及相关描述，此处不一一赘述。

在本申请所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (16)

1.一种Hadoop集群内部节点通信方法，其特征在于，包括如下步骤：

第一网段内的控制服务器接收第一网段内的第一节点所发送的请求命令，其中，所述请求命令用于向具有所述第一节点所需数据的节点请求数据，所述第一网段内的控制服务器内预先存储了多个公网地址；

给所述第一节点分配第一公网地址，以供所述第一节点根据所述第一公网地址接入公网；

向第二网段内的控制服务器发送所述请求命令，以供所述第二网段内的控制服务器向第二网段内的所有节点广播所述请求命令，从而查找到具有所述第一节点所需数据的第二节点，并给所述第二节点分配第二公网地址，使所述第二节点根据所述第二公网地址接入公网，利用所述公网与所述第一节点建立数据通信链路进行通信；其中，所述第二网段内的控制服务器内预先存储了多个公网地址。

2.根据权利要求1所述的方法，其特征在于，所述第一网段内的控制服务器接收第一网段内的第一节点所发送的请求命令的步骤之后，包括如下步骤：

根据排队情况判断是否处理所述第一节点所发送的请求命令；

如果轮到处理所述第一节点所发送的请求命令，则执行所述给所述第一节点分配第一公网地址的步骤。

3.根据权利要求1所述的方法，其特征在于，所述向第二网段内的控制服务器发送所述请求命令的步骤包括：

将所述第一公网地址封装到所述请求命令中，以向所述第二网段内的控制服务器发送所述请求命令。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一节点与所述第二节点通信完毕后，接收所述第一节点所发送的报告完成消息，从而释放所述第一公网地址。

5.一种Hadoop集群内部节点通信方法，其特征在于，包括如下步骤：

第二网段内的控制服务器接收第一网段内的控制服务器所发送的请求命令，其中，所述第一网段内的控制服务器内预先存储了多个公网地址；所述第二网段内的控制服务器内预先存储了多个公网地址；所述请求命令包含所述第一网段内的控制服务器向第一网段内的第一节点分配的第一公网地址；所述第一节点根据所述第一公网地址接入公网；

向第二网段内的所有节点广播所述请求命令，从而查找到具有所述第一节点所需数据的第二节点；

给所述第二节点分配第二公网地址，使所述第二节点根据所述第二公网地址接入公网，并利用所述公网与所述第一节点建立数据通信链路进行通信。

6.根据权利要求5所述的方法，其特征在于，所述第二网段内的控制服务器接收第一网段内的控制服务器所发送的请求命令的步骤之后，包括如下步骤：

根据排队情况判断是否处理所述第一网段内的控制服务器所发送的所述请求命令；

如果轮到处理所述第一网段内的控制服务器所发送的所述请求命令，则向第二网段内的所有节点广播所述请求命令。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在所述第一节点与所述第二节点通信完毕后，接收所述第二节点所发送的报告完成消息，从而释放所述第二公网地址。

8.一种Hadoop集群内部节点通信的控制服务器，其特征在于，设置于发送请求命令以请求数据的网段，所述控制服务器内预先存储了多个公网地址，包括：接收模块、分配模块以及发送模块，

所述接收模块用于接收第一网段内的第一节点所发送的请求命令，其中，所述请求命令用于向具有所述第一节点所需数据的节点请求数据，所述接收模块将所述请求命令向所述发送模块发送；

所述分配模块用于给所述第一节点分配第一公网地址，以供所述第一节点根据所述第一公网地址接入公网；

所述发送模块用于接收所述请求命令，向第二网段内的控制服务器发送所述请求命令，以供所述第二网段内的控制服务器向第二网段内的所有节点广播所述请求命令，从而查找到具有所述第一节点所需数据的第二节点，并给所述第二节点分配第二公网地址，使所述第二节点根据所述第二公网地址接入公网，利用所述公网与所述第一节点建立数据通信链路进行通信；其中，所述第二网段内的控制服务器内预先存储了多个公网地址。

9.根据权利要求8所述的控制服务器，其特征在于，所述控制服务器还包括判断模块，所述判断模块用于根据排队情况判断是否处理所述第一节点所发送的请求命令，使得在轮到处理所述第一节点所发送的请求命令时，给所述第一节点分配第一公网地址。

10.根据权利要求8所述的控制服务器，其特征在于，所述控制服务器还包括封装模块，所述封装模块用于将所述第一公网地址封装到所述请求命令中，以向所述第二网段内的控制服务器发送所述请求命令。

11.根据权利要求8所述的控制服务器，其特征在于，所述接收模块还用于在所述第一节点与所述第二节点通信完毕后，接收所述第一节点所发送的报告完成消息，从而释放所述第一公网地址。

12.一种Hadoop集群内部节点通信的控制服务器，其特征在于，设置于接收请求命令以提供数据的网段，所述控制服务器内预先存储了多个公网地址，包括：接收模块、广播模块以及分配模块，

所述接收模块用于接收第一网段内的控制服务器所发送的请求命令，其中，所述第一网段内的控制服务器内预先存储了多个公网地址；所述请求命令包含所述第一网段内的控制服务器向第一网段内的第一节点分配的第一公网地址；所述第一节点根据所述第一公网地址接入公网，所述接收模块向所述广播模块发送所述请求命令；

所述广播模块用于接收所述请求命令，向第二网段内的所有节点广播所述请求命令，从而查找到具有所述第一节点所需数据的第二节点；

所述分配模块用于给所述第二节点分配第二公网地址，使所述第二节点根据所述第二公网地址接入公网，并利用所述公网与所述第一节点建立数据通信链路进行通信。

13.根据权利要求12所述的控制服务器，其特征在于，所述控制服务器还包括判断模块，所述判断模块用于根据排队情况判断是否处理所述第一网段内的控制服务器所发送的所述请求命令，使得在轮到处理所述第一网段内的控制服务器所发送的所述请求命令时，向第二网段内的所有节点广播所述请求命令。

14.根据权利要求12所述的控制服务器，其特征在于，所述接收模块还用于在所述第一节点与所述第二节点通信完毕后，接收所述第二节点所发送的报告完成消息，从而释放所述第二公网地址。

15.一种Hadoop集群内部节点通信系统，其特征在于，包括至少两个网段，以发送请求命令以请求数据的网段为第一网段，以接收请求命令以提供数据的网段为第二网段，第一网段与第二网段之间能够进行通信，第一网段包括至少一个第一控制服务器和多个节点，第二网段包括至少一个第二控制服务器和多个节点，其中，所述第一控制服务器内预先存储了多个公网地址，所述第二控制服务器内预先存储了多个公网地址，所述第一控制服务器为如权利要求8-11任一权利要求所述的控制服务器。

16.根据权利要求15所述的通信系统，其特征在于，所述第二控制服务器为如权利要求12-14任一权利要求所述的控制服务器。