CN101505306A - 一种分布式系统中的节点间可靠通信方法 - Google Patents

Abstract

一种分布式系统中的节点间可靠通信方法，涉及网络通信领域，其具体步骤为：步骤1，为每个节点配置两块网卡；步骤2，建立双链路：当任意两个节点需要通信前，先通过链路控制消息建立可用的逻辑链接并协商相关数据；步骤3，备份式通信：当A链路正常时，任意两个节点间的通信都通过A链路传递；当A链路出现问题或拥塞时，自动切换至B链路上传递；当链路中没有需要传输的用户数据时，定时发送心跳消息确保链路始终可用；否则，通过IPC消息传递节点间的用户数据。本发明所述的分布式系统中的节点间可靠通信方法，在UDP协议上，利用其优点，设计可靠通信机制，用于分布式系统节点间通信，实现了消息的可靠传输，保证节点间通信的质量。

Description

一种分布式系统中的节点间可靠通信方法

技术领域

本发明涉及网络通信领域，具体的说是一种分布式系统中的节点间可靠通信方法。

背景技术

分布式系统一般采用多主机方式，每个主机称为一个节点，它们协同工作完成任务，节点间采用网络通信方式，可以分离部署。为保证系统的运行，节点间有大量的数据需要交换，这些消息的长度不大，但对实时性要求高，通信也必须是可靠传输。

目前主要的IP(Internet Protocol，网际协议)通信协议有TCP(Transmission Control Protocol，传输控制协议)和UDP(UserDatagram Protocol，用户数据报协议)两种。TCP提供一种面向连接的、可靠的字节流服务，似乎很适合成为节点间的通信方式，但TCP对用户数据必须顺序发送，比如用户数据A、B、C需要依次发送，如果B因为某些原因没有发送，则TCP会不断重新发送B，而不会发送C，这对于实时数据较多的节点间通信过于严格，此外TCP链路建立(三次握手)和数据交换(每个数据包都有确认消息)的开销较大，不适合用于大量短消息的发送。而UDP提供的是无连接的、不可靠的数据传送方式，是一种尽力而为的数据交付服务，它比较简单，发送数据的开销小，而且没有顺序要求，因而比较适合快速大量的实时数据交互，但UDP是一个不可靠的协议，它发送的消息没有确认，用户并不知道消息是否被正确的发送到目的地址。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种分布式系统中的节点间可靠通信方法，在UDP协议上，利用其优点，设计可靠通信机制，用于分布式系统节点间通信，实现了消息的可靠传输，保证节点间通信的质量。

为达到以上目的，本发明采取的技术方案是：

一种分布式系统中的节点间可靠通信方法，其特征在于：其具体步骤为：

步骤1，为每个节点配置两块网卡：两块网卡分别是网络接口A和网络接口B，它们有不同的IP地址，均可提供至其它节点的通信路径；

步骤2，建立网络接口间的双链路：当任意两个节点需要通信前，先通过链路控制消息建立可用的逻辑链接，并协商相关数据；任意一个节点上的网络接口A只与其它节点上的网络接口A通信，构成A链路；任意一个节点上的网络接口B只与其它节点上的网络接口B通信，构成B链路；所说的通信采用UDP方式，固定端口，这样每个节点与任意一个其它节点都有两条网络链路连接；

步骤3，备份式通信：当A链路正常时，任意两个节点间的通信都通过A链路传递；当A链路出现问题或者出现拥塞时，通信自动切换至B链路上传递；当链路中没有需要传输的用户数据时，定时发送心跳消息确保链路始终可用；当链路中有需要传输的用户数据时，通过IPC消息传递节点间的用户数据，IPC消息的最大长度是固定不变的，在一条IPC消息中可以包含多条用户数据，如果用户数据大于IPC消息的用户数据部分，则需要对用户数据进行拆分。

在上述技术方案的基础上，链路控制消息、心跳消息和IPC消息均采用相同的消息格式，所说的消息格式由消息头字段和消息体字段组成；

消息头字段包括6项，分别为消息类型、乱序标志、源节点信息、目的节点信息、发送消息序号、应答消息序号；消息类型用于区分该消息的类型；

链路控制消息的消息体字段包括9项，分别是链路控制类型、链路控制时间S1、IPC消息发送时间S2、重传IPC消息时间S3、IPC确认时间S4、消息长度值S5、滑动窗口值S6、最大重传次数S7、丢失心跳消息的最大次数S8；链路控制类型用于区分链路控制消息的具体类型；

心跳消息的消息体字段为空；

IPC消息的消息体字段为用户数据；

步骤2中所说的协商相关数据是指协商S1到S8，节点间除了协商具体取值大小，还应当协商这些值的取值范围，以便于双方协商时调整。

在上述技术方案的基础上，消息类型取值为1时为链路控制消息，取值为2时为心跳消息，取值为3时为IPC消息；链路控制类型取值为1时为链路建立请求SetupRequest，取值为2时为链路建立请求回应SetupReply，取值为3时为链路建立请求回应确认SetupReplyAck。

本发明所述的分布式系统中的节点间可靠通信方法，具有以下优点：

1、在UDP上实现了消息的可靠传输，保证节点间通信的质量。

2、通过链路控制消息和心跳消息，用户层可以较好地控制链路状态。

3、消息的确认通过消息中的应答消息序号字段实现，没有专门的确认消息，节省链路流量。如果链路中始终发送IPC消息，则链路利用率可达100％。

附图说明

本发明有如下附图：

图1是链路建立消息图。

图2是普通IPC消息交换图。

图3是IPC消息编号的滑动窗口示例图。

图4是IPC消息超时重传示意图。

图5是IPC消息乱序重传示意图。

图中KeepAlive表示心跳消息，src表示消息头中发送消息序号，ack表示消息头中应答消息序号，out-of-order＝true表示乱序标志字段置位。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本发明公开了一种分布式系统中的节点间可靠通信方法，其具体步骤为：

步骤1，为每个节点配置两块网卡：两块网卡分别是网络接口A和网络接口B，它们有不同的IP地址，均可提供至其它节点的通信路径；

步骤2，建立网络接口间的双链路：当任意两个节点需要通信前，先通过链路控制消息建立可用的逻辑链接，并协商相关数据；任意一个节点上的网络接口A只与其它节点上的网络接口A通信，构成A链路；任意一个节点上的网络接口B只与其它节点上的网络接口B通信，构成B链路；所说的通信采用UDP方式，固定端口，这样每个节点与任意一个其它节点都有两条网络链路连接；

步骤3，备份式通信：当A链路正常时，任意两个节点间的通信都通过A链路传递；当A链路出现问题或者出现拥塞时，通信自动切换至B链路上传递；当链路中没有需要传输的用户数据时，定时发送心跳消息确保链路始终可用；当链路中有需要传输的用户数据时，通过IPC消息传递节点间的用户数据，IPC消息的最大长度是固定不变的，在一条IPC消息中可以包含多条用户数据，如果用户数据大于IPC消息的用户数据部分，则需要对用户数据进行拆分。

在上述技术方案的基础上，链路控制消息、心跳消息和IPC消息均采用相同的消息格式，所说的消息格式由消息头字段和消息体字段组成；消息头字段包括6项，分别为消息类型、乱序标志、源节点信息、目的节点信息、发送消息序号、应答消息序号；消息类型用于区分该消息的类型；链路控制消息的消息体字段包括9项，分别是链路控制类型、链路控制时间S1、IPC消息发送时间S2、重传IPC消息时间S3、IPC确认时间S4、消息长度值S5、滑动窗口值S6、最大重传次数S7、丢失心跳消息的最大次数S8；链路控制类型用于区分链路控制消息的具体类型；心跳消息的消息体字段为空；IPC消息的消息体字段为用户数据；步骤2中所说的协商相关数据是指协商S1到S8，节点间除了协商具体取值大小，还应当协商这些值的取值范围，以便于双方协商时调整。

在上述技术方案的基础上，消息类型取值为1时为链路控制消息，取值为2时为心跳消息，取值为3时为IPC消息；链路控制类型取值为1时为链路建立请求SetupRequest，取值为2时为链路建立请求回应SetupReply，取值为3时为链路建立请求回应确认SetupReplyAck。

如上述技术方案所述，本发明为保证节点的网络接口可靠，采用1+1备份方式，每个节点配置有两块网卡，分别是网络接口A和网络接口B，它们有不同的IP地址，均可提供至其它系统节点的通信路径。节点上的网络接口A只与其它所有节点的网络接口A通信，而网络接口B也只与其它所有节点的网络接口B通信。通信采用UDP方式，固定端口，这样每个节点与任何其它节点都有两条网络链路连接，称为A链路和B链路。一般的通信在A链路上，当出现问题或者拥塞时，可以切换至B链路上通信。

节点间传递的消息有链路控制、心跳和IPC三种，采用相同的消息格式，消息格式如下所示，其中，1到6为消息头字段，7为消息体字段：

1、消息类型。可以定义链路控制消息值为1，心跳消息值为2，IPC消息值为3。

2、乱序标志。指示接收消息的节点节点接收到了一个乱序的IPC消息。

3、源节点信息。指明发送消息节点的编号、名称、类型等内容。

4、目的节点信息。指明接收消息节点的编号、名称、类型等内容。

5、发送消息序号。指明发送节点最后发送IPC消息的序号。

6、应答消息序号。指明期待收到下一个IPC消息的序号，比如，该值为5，则序号为4以及4以前的IPC消息都已经收到。该字段表示对接收节点已发送消息的确认。

7、消息体部分。链路控制消息中该部分为链路控制内容，IPC消息中该部分为用户数据，心跳消息中该部分为空。

链路控制消息的消息体含有如下字段：

1、链路控制类型。取值有，SetupRequest(链路建立请求)为1，SetupReply(链路建立请求回应)为2，SetupReplyAck(链路建立请求回应确认)为3。

2、S1，链路控制时间，指示发送链路控制消息和心跳消息的等待时间。

3、S2，IPC消息发送时间，指示发送IPC信息等待的时间。

4、S3，重传IPC消息时间，指示没有收到IPC确认重发IPC的间隔时间，该值不应该比S1小，一般来说该值应该等于节点间消息往返时间。

5、S4，IPC确认时间，指示接收节点发送确认的等待时间，一般为2*S1。

6、S5，消息长度值，指示节点间传递消息的最大长度，一般应该与网络中的最大传输单元(MTU，maximum Transmission unit)接近，但不应大于MTU，以避免消息分段负荷。

7、S6，滑动窗口值，指示在没有收到确认时可以发送的最大IPC消息数目，也是消息序号的最大值。

8、S7，最大重传次数，指示IPC消息允许的最大重传次数。

9、S8，丢失心跳消息的最大次数。链路没有IPC消息时，中每隔S1应该收到一条心跳消息，当没有收到心跳消息的次数达到S8时，该链路将变为不可用。

S1到S8是链路建立时节点间协商的数据，节点间除了协商具体取值大小，还应当协商这些值的取值范围，以便于双方协商时调整。

链路控制、心跳和IPC三种消息的功用如下：

1、链路控制消息，用于节点间建立可用的逻辑链接，并协商相关数据。

2、心跳消息，当可用的链路上没有用户数据传输时，将定时发送该消息，确保链路始终可用。该消息的用户数据部分为空。

3、IPC(Inter-process communications)消息，传递的是节点间的用户数据，它的最大长度应该是确定的，在一条IPC消息中可以包含多条用户数据，如果用户数据大于IPC消息的用户数据部分，用户考虑拆分以适应IPC消息的长度。

步骤2中，节点间通过发送SetupRequest、SetupReply和SetupReplyAck这三种链路控制消息来建立链路并协商S1到S8数据，其中SetupRequest是链路建立请求，SetupReply是对SetupRequest的回应，SetupReplyAck是对SetupReply的确认，图1说明了链路建立的步骤。链路建立后状态始终保持可用，直到出现以下情况任意一种：该链路被设置为不可用；超过IPC消息的最大重传次数S7；达到规定的丢失心跳消息的最大次数S8。

一旦链路状态变为可用，心跳消息和IPC消息将在节点间发送。当链路上有IPC消息时，心跳消息将不会被发送。如果链路上没有出现IPC消息的时间超过链路控制时间S1，心跳消息将会被发送，并每隔S1时间发送一次。

用户数据将被打包到IPC消息的消息体中，当IPC消息大小达到消息长度值S5时，或者IPC发送间隔时间超过IPC消息发送时间S2时，这条IPC消息将被发送出去。所有没有被确认的IPC消息都将被缓存起来。IPC没有被确认的时间超过IPC确认时间S4时，这条IPC消息将会被重新发送，如果重传次数超过最大重传次数S7时，这条链路将的状态将变为不可用。图2说明了IPC消息交换的情况，图4说明了IPC消息重传的情况。

对IPC消息进行编号发送，通过消息头中的发送消息序号字段指明发送节点发送IPC消息的序号，通过应答消息序号字段指明期待收到下一个IPC消息的序号，也就是对该序号以前的IPC消息进行确认。编号的方式采用滑动窗口模式，图3对此进行了说明。当发送的IPC消息数目达到滑动窗口值S6而没有一条消息被确认时，新的IPC消息将不能被发送，只有当对方节点发来消息对本节点发送的消息进行了确认后，新的IPC消息才可以发送，确认几条就可以新发送几条。

网络通信中常常存在丢包的情况。当节点1收到节点2发来的IPC消息后，将会把消息中的发送消息序号字段与上次收到的节点2消息的序号进行比较，要求是循序增长，如果序号出现跳跃，表示中间有消息没有收到，消息丢失了，此时节点1发送回节点2的消息中乱序标志字段将会被置位，应答消息序号字段不变，节点2就会知道出现乱序情况，它将把所有没有收到确认的IPC消息重新发送一遍，而节点1将会把开始收到的消息丢弃，因为还会收到节点2重新发来的这条消息。图5说明了IPC消息乱序的情况。

以下结合附图，对本发明所述的方法的具体步骤详细说明：

节点间通过发送链路控制消息来建立链路，只有链路状态变为可用，心跳消息和IPC消息才能在节点间发送。下面结合图1说明链路建立的步骤：

1、节点A初始化后，发现需要与节点B建立链路，因此开始向节点B发送SetupRequest消息，并携带本地的S1到S8参数。如果节点B没有回应，这每隔S1时间重发一次，其中src#1表示节点A自己的消息序号为1，ack#0表示节点A最近一次对节点B消息回复的序号。

2、节点B收到SetupRequest消息，从中获得节点A的S1到S8参数，然后与自己的值比较，取最小值作为本次通信的参数，在给节点A的SetupReply中携带这些值，其中src#1表示节点B自己的消息序号为1，ack#1表示节点B对节点A发过来的消息的回应。

3、节点A收到SetupReply后，得到协商的S1到S8参数并保存，发出SetupReplyAck消息，并标识链路可用其中src#1表示节点A自己的消息序号为1，ack#1表示节点A收到节点B发的SetupReply的响应。

4、节点B收到SetupReplyAck，保存协商后的S1到S8参数并标识链路可用。此时链路已经建立，在S1时间后，双方互发心跳消息KeepAlive，确保链路始终可用。

本发明需要对IPC消息进行编号发送，编号的方式采用滑动窗口模式，窗口的大小由滑动窗口值S6参数决定。下面结合图3对此举例进行说明：

‘F’表示前指针，‘R’表示后指针，R根据发送IPC的编号移动，F根据收到消息的应答消息序号移动。图3中滑动窗口的大小为8。

a是初始设置。

b表示编号为0、1、2的IPC消息已经被发送出去，下一条要发送的消息编号为3，因此R指针向前移动到3。

c表示收到一条消息，其应答消息序号为3，也就是说对方已经收到0、1、2消息，因此F指针向前移动到2。

d表示编号为3、4、5、6、7、0的IPC消息已经发送出去，下一条要发送的消息编号为1，因此R指针向前移动的1。

e表示收到一条消息，其应答消息序号为5，也就是说对方已经收到3、4消息，因此F指针向前移动到4。

IPC消息的传递如图2所示，图2说明了节点A、B之间互相传递消息的示例，当IPC由节点A发送给节点B时，如果节点B没有IPC消息需要发送，则定期发送的心跳消息(keepalive)就会对节点A的消息进行确认；如果节点B有IPC消息需要发送，则其中的应答消息序号字段对节点A的消息进行确认。其中IPC[src#1，ack#1]表示节点A给节点B发送IPC消息，src#1表示节点A消息序号为1，ack#1表示期待收到下一个由节点B发送的消息编号为1，KeepAlive[src#1，ack#2]表示节点B收到节点A发送的IPC消息确认，src#1表示节点B消息序号为1，ack#2表示节点B期待收到下一个IPC消息序号为2，序号为1和1以前的IPC消息都收到了(后面的指令以此类推)。

图4说明了IPC消息超时重传的一个示例，节点A向节点B发送的编号为3的IPC消息在S3时间后还没有收到确认，因此该消息被重新发送，其后已经发送的编号为4的消息也被重新发送，节点B并不是因为链路断了而没有收到消息，而是因为发送的确认还没有到达节点A就发生了S3超时，当节点A收到确认后，后面重传被取消，节点B收到了两次编号为3、4的消息，它会把第二次收到的消息丢弃。(每条指令说明如前述对图2的解释)

图5说明了IPC消息乱序重传的一个示例，节点A向节点B发送的编号为3的IPC消息丢失，节点B跳过3收到的编号为4的消息，发现出现乱序情况，因此节点B在发送给节点A的消息中将乱序标志置位(out-of-order＝true)，并丢弃编号为4的消息，节点A收到消息知道乱序情况后，马上将还没有收到确认的消息重传一遍，而不是等到S3超时再重传。(每条指令说明如前述对图2的解释)。

Claims (3)

1.一种分布式系统中的节点间可靠通信方法，其特征在于：其具体步骤为：

步骤1，为每个节点配置两块网卡：两块网卡分别是网络接口A和网络接口B，它们有不同的IP地址，均可提供至其它节点的通信路径；

步骤2，建立网络接口间的双链路：当任意两个节点需要通信前，先通过链路控制消息建立可用的逻辑链接，并协商相关数据；任意一个节点上的网络接口A只与其它节点上的网络接口A通信，构成A链路；任意一个节点上的网络接口B只与其它节点上的网络接口B通信，构成B链路；所说的通信采用UDP方式，固定端口，这样每个节点与任意一个其它节点都有两条网络链路连接；

步骤3，备份式通信：当A链路正常时，任意两个节点间的通信都通过A链路传递；当A链路出现问题或者出现拥塞时，通信自动切换至B链路上传递；当链路中没有需要传输的用户数据时，定时发送心跳消息确保链路始终可用；当链路中有需要传输的用户数据时，通过IPC消息传递节点间的用户数据，IPC消息的最大长度是固定不变的，在一条IPC消息中可以包含多条用户数据，如果用户数据大于IPC消息的用户数据部分，则需要对用户数据进行拆分。

2.如权利要求1所述的分布式系统中的节点间可靠通信方法，其特征在于：链路控制消息、心跳消息和IPC消息均采用相同的消息格式，所说的消息格式由消息头字段和消息体字段组成；

消息头字段包括6项，分别为消息类型、乱序标志、源节点信息、目的节点信息、发送消息序号、应答消息序号；消息类型用于区分该消息的类型；

链路控制消息的消息体字段包括9项，分别是链路控制类型、链路控制时间S1、IPC消息发送时间S2、重传IPC消息时间S3、IPC确认时间S4、消息长度值S5、滑动窗口值S6、最大重传次数S7、丢失心跳消息的最大次数S8；链路控制类型用于区分链路控制消息的具体类型；

心跳消息的消息体字段为空；

IPC消息的消息体字段为用户数据；

步骤2中所说的协商相关数据是指协商S1到S8，节点间除了协商具体取值大小，还应当协商这些值的取值范围，以便于双方协商时调整。

3.如权利要求2所述的分布式系统中的节点间可靠通信方法，其特征在于：消息类型取值为1时为链路控制消息，取值为2时为心跳消息，取值为3时为IPC消息；链路控制类型取值为1时为链路建立请求SetupRequest，取值为2时为链路建立请求回应SetupReply，取值为3时为链路建立请求回应确认SetupReplyAck。

Images