CN103281247B

CN103281247B - 一种数据中心网络的通用路由方法及系统

Info

Publication number: CN103281247B
Application number: CN201310169008.6A
Authority: CN
Inventors: 孙延涛; 刘强; 程静; 刘彬; 宋晓丽; 王领强
Original assignee: ZTE Corp; Beijing Jiaotong University
Current assignee: ZTE Corp; Beijing Jiaotong University
Priority date: 2013-05-09
Filing date: 2013-05-09
Publication date: 2016-06-15
Anticipated expiration: 2033-05-09
Also published as: CN103281247A; WO2014180332A1

Abstract

本发明涉及一种数据中心网络的通用路由方法及系统，包括：链路和邻居检测，检测所连接的链路和邻接的邻居路由器，并将检测结果保存到邻接设备表中；设备训练，路由器把自己广播出去，并学习网络中的其他路由器，结果保存在全网设备表中；链路故障推导，根据学习到的路由器推导出邻居路由器和所关联的链路故障，将结果保存到邻接设备表和全网链路故障表中；链路故障训练，路由器把自己的链路故障广播出去，并学习网络中的其他链路故障，结果保存到全网链路故障表中；构建基础路由表和规避路由表；查询路由表。相对于现有技术而言，本发明提出的通用路由方法及系统更为简单、高效，并具备良好的故障处理能力。

Description

一种数据中心网络的通用路由方法及系统

技术领域

本发明涉及一种路由方法及系统，具体为一种数据中心网络的通用路由方法及系统。

背景技术

数据中心是企业各种应用服务的提供中心，是数据运算、交换和存储的中心。它结合了先进的网络技术和存储技术，承载了网络中80%以上的服务请求和数据存储量，为客户业务体系的健康运转提供服务和运行平台。

随着数据中心规模的日益扩大，现有的树形网络拓扑架构在网络核心层不可避免的会出现带宽瓶颈问题，导致网络在传输延迟、传输效率等方面整体性能的下降。为了解决网络核心层带宽通信瓶颈问题，目前已提出了多种新的网络拓扑结构，比如胖树（Fat-tree）结构、多分支胖树网络拓扑结构、交换式矩阵网络结构（MatrixDCN）和BCube网络结构等，并针对这些网络结构提出了不同的路由方法。

将来的大型数据中心会由多个异构网络组成，每个网络可以采用不同的网络结构，多种网络结构共存在一个数据中心中。考虑到经济性，网络中的每个路由器最好可以支持各种网络架构和路由协议，就像现在的路由器可以支持RIP、OSPF等多种路由协议一样。由于上述网络架构及其路由方法之间的差异非常大，这些路由方法之间的兼容性很差，因此同时支持这些路由方法需要大量的开发工作。另外，这些路由方法在处理网络故障方面都比较复杂，效率相对较低。

发明内容

本发明根据数据中心网络一般都具有规则的拓扑结构这一特点，提出了一个通用的路由方法和路由系统，称为故障规避路由方法及故障规模路由系统。故障规避路由方法及系统可以适用于各种具有规则拓扑的数据中心网络，应用于数据中心网络的路由器或具有路由功能的交换机上面。该路由方法及系统解决了目前各种类型的数据中心网络的路由方法之间兼容性差的问题。

本发明解决其技术问题所采用的技术方案是：数据中心网络的通用路由方法，包含以下步骤：

步骤1）链路和邻居检测步骤，路由器发送和接收Hello报文，检测所连接的链路和邻接的邻居路由器；路由器A从端口收到路由器B发送过来的Hello报文，则路由器A可以知道路由器B为其邻接设备，且可以知道端口所连接的链路为活动链路；检测到的邻接设备和活动链路保存在邻接设备表中；

步骤2）设备训练步骤，每个路由器把自己通过设备通告报文（DA）以广播方式发送出去；当收到一条DA报文，首先比较全网设备表是否包含了该路由器，如果没有包含该路由器，则把该路由器插入到全网设备表，并把该报文向除入端口外的所有端口转发出去；如果已包含该路由器，则直接丢弃该报文。

步骤3）链路故障推导步骤，根据学习到的路由器推导出邻居路由器和所关联的故障链路，将结果保存到邻接设备表和全网链路故障表中；

步骤4）链路故障训练步骤，路由器把自己的链路故障封装到一条链路故障通告报文中广播出去，并根据接收到的报文学习网络中的其他链路故障，结果保存到其全网链路故障表中；

步骤5）构建基础路由表和故障路由表；

步骤6）查询路由表；

所述步骤3）进一步包含：把每个路由器的位置编码到其IP地址中，进而根据路由器的IP地址判断两个路由器是否邻接；通过比较全网设备表和邻接设备表推导出所有不可测邻居路由器，对于每一个不可测邻居路由器，进而可以推断出该不可测邻居路由器与当前路由器之间存在一条故障链路。

所述步骤4）进一步包含：当收到一条链路故障通告报文时，首先比较全网链路故障表是否包含了该链路故障；如果没有包含该链路故障，则把该链路故障插入到全网链路故障表，并把该报文向除入端口外的所有端口转发出去；如果已包含该链路故障，则直接丢弃该报文。

所述步骤5）进一步包含：

构建基础路由表步骤，利用网络所具有的规则拓扑结构，在不需要获取全网拓扑信息的情况下，计算出到达网络任意目的地址所需要经过的路径，再结合邻接设备表，构建出基础路由表；

构建故障路由表步骤，利用全网链路故障表，结合规则的网络拓扑结构，计算出所在路由器所有经过故障链路的路由条目，组成规避路由表。

所述步骤6）进一步包含：首先以发送数据包的目的地址作为查询条件查询基础路由表，采用最长匹配的原则，查询出一组满足匹配目的地址的路由条目，组成候选路由列表；以发送数据包的目的地址作为查询条件查询规避路由表，所有匹配上的路由条目（不限于最长匹配，只要匹配上即可）组成规避路由列表；候选路由列表减去规避路由列表组成可应用路由列表；从可应用路由列表里选择任一个地址作为下一跳把该数据包发送出去，如果可应用路由列表为空，则丢弃该数据包。

一种数据中心网络的通用路由系统，其特征在于包含：

链路和邻居路由器检测步骤模块，路由器发送和接收Hello报文，检测所连接的链路和邻接的邻居路由器；路由器A从端口收到路由器B发送过来的Hello报文，则路由器A可以知道路由器B为其邻接设备，且可以知道端口所连接的链路为活动链路；检测到的邻接设备和活动链路保存在邻接设备表中；

设备训练模块，每个路由器把自己通过设备通告报文（DA）以广播方式发送出去；当收到一条DA报文，首先比较全网设备表是否包含了该路由器，如果没有包含该路由器，则把该路由器插入到全网设备表，并把该报文向除入端口外的所有端口转发出去；如果已包含该路由器，则直接丢弃该报文。

链路故障推导模块，根据学习到的路由器推导出邻居路由器和所关联的故障链路，将结果保存到邻接设备表和全网链路故障表中；

链路故障训练模块，路由器把自己的链路故障封装到一条链路故障通告报文中广播出去，并根据接收到的报文学习网络中的其他链路故障，结果保存到全网链路故障表中；

构建基础路由表模块和故障路由表模块；

查询路由表模块；

所述链路故障推导模块，把每个路由器的位置编码到其IP地址中，进而根据路由器的IP地址判断两个路由器是否邻接；通过比较全网设备表和邻接设备表推导出所有不可测邻居路由器，对于每一个不可测邻居路由器，进而可以推断出该不可测邻居路由器与当前路由器之间存在一条故障链路。

所述链路故障训练模块，当收到一条链路故障通告报文时，首先比较全网链路故障表是否包含了该链路故障；如果没有包含该链路故障，则把该链路故障插入到全网链路故障表，并把该报文向除入端口外的所有端口转发出去；如果已包含该链路故障，则直接丢弃该报文。

所述构建基础路由表模块，利用网络所具有的规则拓扑结构，在不需要获取全网拓扑信息的情况下，计算出到达网络任意目的地址所需要经过的路径，再结合邻接设备表，构建出基础路由表。

所述构建故障路由表模块，利用全网链路故障表，结合规则的网络拓扑结构，计算出所在路由器所有经过故障链路的路由条目，组成规避路由表。利用规避路由表把包含故障链路的路由路径从基础路由表模块计算出来的候选路由路径中排除出去；

所述查询路由表模块，首先以发送数据包的目的地址作为查询条件查询基础路由表，采用最长匹配的原则，查询出一组满足匹配目的地址的路由条目，组成候选路由列表；以发送数据包的目的地址作为查询条件查询规避路由表，所有匹配上的路由条目组成规避路由列表；候选路由列表减去规避路由列表组成可应用路由列表；从可应用路由列表里选择任一个地址作为下一跳把该数据包发送出去，如果可应用路由列表为空，则丢弃该数据包。

主要数据结构列表

故障规避路由方法及系统需要在每个路由器维护如下多个数据表：

邻接设备表：用来存储所在路由器的邻接路由器及所关联的链路，主要表项包括设备ID、设备IP地址、端口号、链路状态和更新时间。

全网设备表：用来存储整个网络内的所有路由器，主要表项包括设备ID、设备IP地址、设备类型、设备状态和更新时间。

全网链路故障表：用来存储整个网络中的所有链路故障，主要表项包括编号、路由器1的IP地址、路由器2的IP地址和更新时间。

基础路由表：用来存储候选的路由路线，主要表项包括目的子网地址/子网掩码、下一跳地址、所属接口和时间戳。

规避路由表：用来存储需要规避的路由路线，主要表项包括目的子网地址/子网掩码、下一跳地址、所属接口和时间戳。

主要协议报文列表

故障规避路由方法及系统需要在路由器之间发送如下协议报文:

Hello报文：用来相邻的路由器之间学习邻接关系和所关联的链路，主要字段包括路由协议版本号、消息类型、路由器ID、路由器IP和时间戳。

设备通告报文(DA)：路由器通过该报文向网络中其他路由器通告自身。主要字段包括路由协议版本号、消息类型、消息类型、路由器ID、路由器IP和时间戳。

链路故障通告(LFA)：用来在路由器之间通告新检测到的链路故障。主要字段包括路由协议版本号、消息类型、路由器1的IP地址、路由器2的IP地址、故障状态和时间戳。

相对于现有技术而言，本发明提出的故障规避路由方法及系统更为简单、高效，并具备良好的故障处理能力。

附图说明

图1是本发明路由方法总体框架；

图2是本发明所举例的由4端口交换机组成的胖树网络。

具体实施方式

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分。

由于本发明所提出故障规避路由方法及系统适用于任何具有规则拓扑结构的数据中心网络，在这里我们以一种新型数据中心网络结构—胖树结构（Fat-tree）为例说明如何应用本发明。

胖树采用具有路由功能的第三层交换机进行组网，该网络结构共分4层，最顶层为核心层，第二层为汇聚层，第三层边缘层，最底层是服务器层。胖树结构中，一组k/2个聚合层交换机和一组k/2个边缘层交换机构成一个独立的pod，网络中总共有k个pod。每个pod中，聚合层与边缘层的交换机两两互连，每个边缘层交换机的剩余k/2个端口用来连接k/2台服务器，每个聚合层交换机的剩余k/2个端口依次连接k/2台核心层交换机（共k2/4台）。图2给出了k=4时的胖树结构示意图。

在胖树结构中，我们采用如下编址方案为每个交换机和服务器分配一个IP地址：

汇聚交换机的IP地址设置为：10.pod.0.id。其中pod为所在pod的编号，从左到右分别为1到N。id为汇聚交换机在pod中的编号，从左到右分别为1到N/2。

边缘交换机的IP地址设置为：10.pod.id.1。其中pod同样为所在pod的编号，id为边缘交换机在pod中的编号，从左到右分别为1到N/2。

核心交换机的IP地址设置为：10.0.i.j。i和j表示该交换机是第j个用来连接每个pod中第i个汇聚交换机的核心交换机，i和j取值范围均为1到N/2。

服务器的IP地址设置为：10.pod.switch.id。pod为该服务器所在pod的编号，switch为该服务器所连接的边缘交换机的编号，同一个边缘交换机下的服务器组成一个子网，id表示该服务器在所在子网中的编号，取值从2到N/2+1。

故障规避路由方法及系统要求每个交换机都要部署一个故障规避路由方法路由部件，该部件由链路和邻居检测模块、设备训练模块、链路故障推导模块、链路故障训练模块、构建基础路由表模块、构建规避路由表模块、查询路由表模块总计7个模块构成。其中链路和邻居检测模块、设备训练模块、链路故障推导模块、链路故障训练模块的工作过程已经在发明内容部分表述的非常清楚，下面我们通过示例阐明构建基础路由表模块、构建规避路由表模块和查询路由表模块的工作过程。

构建基础路由表模块的工作过程

利用拓扑的规则性，每个交换机知道如何转发数据包。当边缘交换机收到一个数据包时，首先判断该数据包的目的地址是否位于该交换机所在子网。如果是，则直接通过二层交换把数据包发送到目的节点。否则，该交换机把数据包转发给该pod内任意一个汇聚交换机。当汇聚交换机收到一个数据包时，该交换机首先判断数据包的目的地址是否位于其所在pod内。如果是，交换机转发数据包到相应的边缘交换机。否则，交换机转发数据包到任意一个相连的核心交换机。如果核心交换机收到一个数据包，该交换机则将数据包转发至目的pod内的汇聚交换机。

上述转发策略很容易通过基础路由表进行表达。边缘交换机（比如10.1.1.1）的基础路由表由如下条目组成：

Destination/MaskNextHop

10.0.0.0/255.0.0.010.1.0.1

10.0.0.0/255.0.0.010.1.0.2

汇聚交换机（比如10.1.0.1）的基础路由表由如下条目组成：

核心交换机（比如10.0.1.1）的基础路由表由如下条目组成：

构建规避路由表模块工作过程

规避路由表的路由条目和链路故障的位置有关。在胖树中，链路可以根据其位置分为三类：（1）服务器和边缘交换机之间的链路；（2）边缘交换机和汇聚交换机之间的链路；（3）汇聚交换机和核心交换机之间的链路。第一类的链路发生故障只会影响到相关服务器的通信，对交换机的路由表没有影响。下面讨论第二和第三种类型的链路发生故障对路由表的影响：

1）边缘交换机和汇聚交换机之间的链路发生故障

假设边缘交换机10.1.2.1（A）和汇聚交换机10.1.0.1（B）之间的链路发生了故障，可能会经过该链路的通信可以分为三种情况：

源节点位于A所在子网，目的节点位于其他子网的所有通信。这种情况只会影响到A的路由表。由于该链路是节点A的直连链路，当节点A检测到A和B之间链路中断后，A只需要在基础路由表中把下一跳地址为B的所有路由条目删除即可，不需要在规避路由表中添加路由条目。

目的节点位于A所在子网，源节点位于A所在pod其他子网的通信。这种情况会影响到A所在pod内除A外的所有边缘交换机的路由。当某一边缘交换机（假设为10.1.1.1）训练到A到B链路中断后，需要在其规避路由表中增加一个条目：

Destination/MaskNextHop

10.1.2.0/255.255.255.010.1.0.1

目的节点为A所在子网，源节点位于其他pod的通信。这种情况会影响到其他pod内所有边缘交换机的路由。当某一边缘交换机（假设为10.3.1.1）训练到A和B之间的链路中断后，因为所有经过10.3.0.1到A的路由必然会经过A和B之间的链路，所以10.3.1.1需要在其规避路由表中增加一个条目：

Destination/MaskNextHop

10.1.2.0/255.255.255.010.3.0.1

2）汇聚交换机和核心交换机之间的链路故障

假设汇聚交换机10.1.0.1（A）和核心交换机10.0.1.2（B）之间的链路发生了故障，可能会经过该链路的通信分为2种情况：

源节点位于A所在pod1，目的节点位于其他pod的通信。这种情况下只会影响到A的路由。由于该链路是节点A的直连链路，当节点A检测到A和B之间的链路中断后，A只需要在基础路由表中把下一跳地址为B的所有路由条目删除即可，不需要在规避路由表中添加路由条目。

目的节点位于A所在pod1，源节点位于其他pod的通信。这种情况下会影响到其他pod内汇聚交换机的路由。当某一汇聚交换机（比如10.3.0.1）训练到该链路中断后，因为所有经过10.0.1.2到A所在pod1的路由必然会经过该链路，所以10.3.0.1需要在其规避路由表中增加一个条目：

Destination/MaskNextHop

10.1.0.0/255.255.0.010.0.1.2

路由决策过程

故障规避路由方法通过查询基础路由表和规避路由表进行路由决策。我们以10.3.1.3(源节点)和10.1.2.2（目的节点）之间的通信过程为例说明故障规避路由方法的路由决策过程。假设：节点10.3.1.1和10.3.0.2及节点10.1.0.1和10.0.1.2的链路发生了故障。路由过程如下：

Step1:源节点10.3.1.3发送数据包到他的缺省路由10.3.1.1。

Step2:节点10.3.1.1进行路由。

计算候选路由列表

节点10.3.1.1查询其基础路由表，匹配到如下路由条目：

Destination/MaskNextHop

10.0.0.0/255.0.0.010.3.0.1

其候选路由列表={10.3.0.1}

计算规避路由列表

因为该节点的规避路由表为空，因此规避路由列表也为空。

计算可应用路由列表

候选路由列表减去规避路由列表为可应用路由列表，因此：

可应用路由列表={10.3.0.1}

转发数据包到节点10.3.0.1

Step3:节点10.3.0.1的路由过程

计算候选路由列表

节点10.3.0.1查询其基础路由表，匹配到如下路由条目：

Destination/MaskNextHop

10.1.0.0/255.255.0.010.0.1.1

10.1.0.0/255.255.0.010.0.1.2

候选路由列表={10.0.1.1,10.0.1.2}

计算规避路由列表

节点10.3.0.1查询其规避路由表，匹配到如下路由条目：

Destination/MaskNextHop

10.1.0.0/255.255.0.010.0.1.2

规避路由列表={10.0.1.2}

计算可应用路由列表

候选路由列表减去规避路由列表为可应用路由列表，因此：

可应用路由列表={10.0.1.1}

转发数据包到节点10.0.1.1

Step4:节点10.0.1.1通过查询路由表转发数据包到10.1.0.1。

Step5:节点10.1.0.1通过查询路由表转发数据包到10.1.2.1。

Step6:节点10.1.2.1通过二层交换转发数据包到目的节点10.1.2.2。

本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种数据中心网络的通用路由方法，其特征在于包含以下步骤：

步骤1)链路和邻居检测步骤，路由器发送和接收Hello报文，检测所连接的链路和邻接的邻居路由器；路由器A从端口收到路由器B发送过来的Hello报文，则路由器A可以知道路由器B为其邻接设备，且可以知道端口所连接的链路为活动链路；检测到的邻接设备和活动链路保存在邻接设备表中；

步骤2)设备训练步骤，路由器把自己通过设备通告报文以广播方式发送出去；当收到一条设备通告报文，首先比较全网设备表是否包含了该路由器，如果没有包含该路由器，则把该路由器插入到全网设备表，并把该报文向除入端口外的所有端口转发出去；如果已包含该路由器，则直接丢弃该报文；

步骤3)链路故障推导步骤，根据学习到的路由器推导出邻居路由器和所关联的链路故障，将结果保存到邻接设备表和全网链路故障表中；

步骤4)链路故障训练步骤，路由器把自己的链路故障封装到一条链路故障通告报文中广播出去，并根据接收到的报文学习网络中的其他链路故障，结果保存到全网链路故障表中；

步骤5)构建基础路由表和规避路由表；

步骤6)查询路由表；

所述步骤3)进一步包含：把每个路由器的位置编码到其IP地址中，进而根据路由器的IP地址判断两个路由器是否邻接；通过比较全网设备表和邻接设备表推导出所有不可测邻居路由器，对于每一个不可测邻居路由器，进而推断出该不可测邻居路由器与当前路由器之间存在一条故障链路；

所述步骤4)进一步包含：当收到一条链路故障通告报文时，首先比较全网链路故障表是否包含了该链路故障；如果没有包含该链路故障，则把该链路故障插入到全网链路故障表，并把该报文向除入端口外的所有端口转发出去；如果已包含该链路故障，则直接丢弃该报文；

所述步骤5)进一步包含：

构建规避路由表步骤，利用全网链路故障表，结合规则的网络拓扑结构，计算出所在路由器所有经过故障链路的路由条目，组成规避路由表；

所述步骤6)进一步包含：首先以发送数据包的目的地址作为查询条件查询基础路由表，采用最长匹配的原则，查询出一组满足匹配目的地址的路由条目，组成候选路由列表；以发送数据包的目的地址作为查询条件查询规避路由表，所有匹配上的路由条目组成规避路由列表；候选路由列表减去规避路由列表组成可应用路由列表；从可应用路由列表里选择任一个地址作为下一跳把该数据包发送出去；如果可应用路由列表为空，则丢弃该数据包。

2.一种数据中心网络的通用路由系统，其特征在于包含：

链路和邻居检测模块，路由器发送和接收Hello报文，检测所连接的链路和邻接的邻居路由器，并将检测结果保存到邻接设备表中；

设备训练模块，路由器把自己通过设备通告报文以广播方式发送出去；当收到一条设备通告报文，首先比较全网设备表是否包含了该路由器，如果没有包含该路由器，则把该路由器插入到全网设备表，并把该报文向除入端口外的所有端口转发出去；如果已包含该路由器，则直接丢弃该报文；

链路故障训练模块，路由器把自己的链路故障封装到一条链路故障通告报文广播出去，并根据接收到的报文学习网络中的其他链路故障，结果保存到全网链路故障表中；

构建基础路由表模块和故障路由表模块；

查询路由表模块；

所述链路故障推导模块进一步包含：把每个路由器的位置编码到其IP地址中，进而根据路由器的IP地址判断两个路由器是否邻接；通过比较全网设备表和邻接设备表推导出所有不可测邻居路由器，对于每一个不可测邻居路由器，进而推断出该不可测邻居路由器与当前路由器之间存在一条故障链路；

所述链路故障推导模块进一步包含：当收到一条链路故障通告报文时，首先比较全网链路故障表是否包含了该链路故障；如果没有包含该链路故障，则把该链路故障插入到全网链路故障表，并把该报文向除入端口外的所有端口转发出去；如果已包含该链路故障，则直接丢弃该报文；

构建基础路由表模块，利用网络所具有的规则拓扑结构，在不需要获取全网拓扑信息的情况下，计算出到达网络任意目的地址所需要经过的路径，再结合邻接设备表，构建出基础路由表；

构建故障路由表模块，利用全网链路故障表，结合规则的网络拓扑结构，计算出所在路由器所有经过故障链路的路由条目，组成规避路由表；

查询路由表模块进一步包含：首先以发送数据包的目的地址作为查询条件查询基础路由表，采用最长匹配的原则，查询出一组满足匹配目的地址的路由条目，组成候选路由列表；以发送数据包的目的地址作为查询条件查询规避路由表，所有匹配上的路由条目组成规避路由列表；候选路由列表减去规避路由列表组成可应用路由列表；从可应用路由列表里选择任一个地址作为下一跳把该数据包发送出去；如果可应用路由列表为空，则丢弃该数据包。