CN104767681A - 一种容忍错误连线的数据中心网络路由方法 - Google Patents

Abstract

本发明提出了一种容忍错误连线的数据中心网络路由方法，包括如下步骤：构造Fat-Tree数据中心网络拓扑结构；配置集中式控制器，集中式控制器与Fat-Tree数据中心网络拓扑结构中的每台服务器或交换机通信；进行Fat-Tree数据中心网络拓扑结构的物理网络和逻辑网络的映射，获取物理拓扑信息；集中式控制器收集每台交换机通过各自端口可以到达的边缘层交换机的列表信息，为每台交换机生成对应的目的边缘层交换机列表；集中式控制器根据生成的目的边缘层交换机列表为每台交换机计算并安装对应的到达各边缘层交换机的路由表项。本发明具有高效地利用网络资源和提升网络吞吐量的双重优点。

Description

一种容忍错误连线的数据中心网络路由方法

技术领域

本发明涉及数据中心网络技术领域，特别涉及一种容忍错误连线的数据中心网络路由方法。

背景技术

为了解决传统树型拓扑存在可扩展性差、单点失效、超额订购比较大等缺点，最近几年业界提出了很多“富连接”拓扑，例如Fat-Tree,VL2等等。这些新型拓扑的一个显著特点是引入的丰富的链路资源。但这同时又引入了一个新的问题。随着网络规模的不断增加，在搭建物理网络时，连线的复杂度也相应地增加。以Fat-Tree网络为例，用48口的交换机搭建的数据中心网络，总共包含27648台服务器，总共的链路数量为82944条。可想而知，通过工程人员搭建这样规模的物理网络时，不可避免会产生错误连线。这些错误连线会造成物理网络与逻辑网络的不一致，导致网络配置错误，甚至发生通信错误。目前未发现有类似的可以容忍错误连线的数据中心网络路由协议。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种容忍错误连线的数据中心网络路由方法，该方法无需修改服务器和交换机硬件，并且能够充分地利用数据中心网络中包括错误连线在内的丰富的链路资源，实现无环路路由，提高网络吞吐量。

为了实现上述目的，本发明的实施例提供一种容忍错误连线的数据中心网络路由方法，包括如下步骤：

步骤S1，构造Fat-Tree数据中心网络拓扑结构，包括如下步骤：

步骤S11，配置多台交换机，其中，所述多台交换机包括：边缘层交换机、聚集层交换机和核心层交换机，其中，所述边缘层交换机、聚集层交换机和核心层交换机的层次级别依次提高，设每台所述交换机的端口数量为K，则所述边缘层交换机和聚集层交换机的数量分别为K²/2，所述核心层交换机的数量为K²/4；

步骤S12，配置多台服务器，其中，将所述多台服务器、边缘层交换机和聚集层交换机划分为K个集群，每个集群中的服务器、边缘层交换机和聚集层交换机的数量分别为：K²/4、K/2和K/2，并且设置在连线正确的情况下，每个集群中，每台所述边缘层交换机使用K/2个端口与K/2台所述服务器相连，剩余K/2个端口与该集群中的K/2台聚集层交换机相连，每台服务器与一台所述边缘层交换机相连，所述聚集层交换机剩余的K/2个端口与K²/4台核心层交换机相连以设置每台所述核心层交换机与每个集群仅一个连接；

步骤S2，配置集中式控制器，其中，所述集中式控制器与所述Fat-Tree数据中心网络拓扑结构中的每台所述服务器或交换机通信；

步骤S3，进行所述Fat-Tree数据中心网络拓扑结构的物理网络和逻辑网络的映射，获取物理拓扑信息；

步骤S4，所述集中式控制器收集每台所述交换机通过各自端口可以到达的所述边缘层交换机的列表信息，为每台所述交换机生成对应的目的边缘层交换机列表，其中，每台所述交换机的目的边缘层交换机列表中的元素格式为{i,{IP1,IP2,…,IPm}}。其中，i为该交换机本地端口的索引，集合{IP1,IP2,…,IPm}表示通过该端口可以到达的目的边缘层交换机的列表；

步骤S5，所述集中式控制器根据生成的目的边缘层交换机列表为每台所述交换机计算并安装对应的到达各边缘层交换机的路由表项。

根据本发明实施例的容忍错误连线的数据中心网络路由方法，根据软件定义网络的工作机制，由一台集中式的控制器为全网路由器计算并安装路由表项，充分利用网络中的错误连线，实现无环路路由。本发明具有高效地利用网络资源和提升网络吞吐量的双重优点。

进一步，所述Fat-Tree数据中心网络拓扑结构采用同构交换机。

进一步，所述步骤S4包括如下步骤：

所述集中式控制器按照如下顺序收集每台所述交换机到各自对应的所述边缘层交换机的列表信息：

步骤S41，每台所述聚集层交换机扫描所述边缘层交换机邻居，所述集中式控制器记录每个本地端口能够到达的边缘层交换机列表；

步骤S42，每台所述核心层交换机扫描所述聚集层交换机邻居，所述集中式控制器记录每个本地端口能够到达的边缘层交换机列表；

步骤S43，每台所述聚集层交换机扫描所述核心层交换机邻居，所述集中式控制器更新每个本地端口能够到达的边缘层交换机列表；

步骤S44，每台所述边缘层交换机扫描所述聚集层交换机邻居，所述集中式控制器更新每个本地端口能够到达的边缘层交换机列表。

进一步，所述步骤S41包括如下步骤：所述集中式控制器扫描每台所述聚集层交换机的邻居，当发现邻居是边缘层交换机时，则记录每个本地端口能够到达的边缘层交换机列表，包括连接该邻居的本地端口索引，以及该边缘层交换机的IP地址。

进一步，所述步骤S42包括如下步骤：所述集中式控制器扫描每台所述核心层交换机的邻居，当发现邻居是聚集层交换机，则记录每个本地端口能够到达的边缘层交换机列表，包括连接该邻居的本地端口索引，以及该聚集层交换机所有端口对应的可达目的边缘层交换机的IP地址的合集。

进一步，所述步骤S43包括如下步骤：所述集中式控制器再次扫描所述聚集层交换机的邻居，当发现邻居是核心层交换机，则设置除去所述核心层交换机与该聚集层交换机相连端口外的其它端口的目的边缘层交换机集合的合集，更新该聚集层交换机的列表，包括连接该邻居的本地端口索引，以及除去所述核心层交换机与该聚集层交换机相连端口外的其它端口的目的边缘层交换机的IP地址的合集。

进一步，所述步骤S44包括如下步骤：所述集中式控制器再次扫描所述边缘层交换机的邻居，当发现邻居是聚集层交换机，则设置除去所述聚集层交换机与该边缘层交换机相连端口外的其它端口的目的边缘层交换机集合的合集，更新该边缘层交换机的列表，包括连接该邻居的本地端口索引，以及除去所述聚集层交换机与该边缘层交换机相连端口外的其它端口的目的边缘层交换机的IP地址的合集。

进一步，所述目的边缘层交换机的IP地址为每个目的边缘层交换机的第一个端口的IP地址。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的容忍错误连线的数据中心网络路由方法的流程图；

图2为根据本发明实施例的集中式控制器收集每台交换机到各自对应的边缘层交换机的列表信息的流程图；

图3为根据本发明实施例的存在错误连线的Fat-Tree网络拓扑图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提出一种容忍错误连线的数据中心网络路由(Miswiring Tolerant Routing，MTR)协议，提出该方法的思路在于：错误连线可能导致路由出现环路，甚至通信错误的情况，其根本原因是上一跳无法预知下一跳是否能够正确到达目的地。因此，本发明可以通过分析物理网络信息获得可达信息，然后根据这些信息计算路由信息，从而能够保证路由无环路。

如图1所示，本发明实施例的容忍错误连线的数据中心网络路由MTR(MiswiringTolerant Routing)方法，包括如下步骤：

步骤S1，构造Fat-Tree数据中心网络拓扑结构，包括如下步骤：

步骤S11，配置多台交换机。在本发明的一个实施例中，Fat-Tree数据中心网络拓扑结构采用同构交换机。其中，多台交换机包括：边缘层交换机、聚集层交换机和核心层交换机。边缘层交换机、聚集层交换机和核心层交换机的层次级别依次提高，设每台交换机的端口数量为K，整个网络中包含5K²/4台交换机，则边缘层交换机和聚集层交换机的数量分别为K²/2，核心层交换机的数量为K²/4。

步骤S12，配置多台服务器，设每台交换机的端口数量为K，则整个网络服务器的数量是K³/4。

其中，将多台服务器、边缘层交换机和聚集层交换机划分为K个集群，每个集群中的服务器、边缘层交换机和聚集层交换机的数量分别为：K²/4、K/2和K/2，并且设置在连线正确的情况下，每个集群中，每台边缘层交换机使用K/2个端口与K/2台服务器相连，剩余K/2个端口与该集群中的K/2台聚集层交换机相连，每一台服务器只与一台边缘层交换机相连。聚集层交换机剩余的K/2个端口与K²/4台核心层交换机相连以设置每台核心层交换机与每个集群有且只有一个连接。

但网络中可能存在错误连线，即使存在错误连线也确保每个交换机的端口都被使用。

综上，在搭建物理数据中心网络时，通常使用基于机架的方式。在该搭建方式指导下，连接在同一交换机下的服务器被放置在同一机架里，然后将该交换机放置在该机架顶部，所有服务器通过机架内的内置网线进行连接。对应于Fat-Tree拓扑结构，位于机架顶部的交换机即为边缘层交换机，因为只有边缘层交换机与服务器直接相连。因此，可以假设服务器与边缘层交换机之间没有错误连线。

由于假设服务器与边缘层交换机之间没有错误连线，因此只要报文到达与目的服务器直接连接的边缘层交换机，即目的边缘层交换机，则该报文肯定可以正确递交给目的服务器。在数据中心网络中，服务器的数量远远大于边缘层交换机的数量。以48阶Fat-Tree网络为例，该网络中总共有27648台服务器，而边缘层交换机的数量仅为1152台。因此，为了减少路由表项的数量，本发明在后续步骤中为交换机计算路由表项时，目的地址使用边缘层交换机的IP地址。由于边缘层交换机含有多个端口，每个端口都配置有IP地址，本发明统一使用第一个端口的IP地址唯一标识一台边缘层交换机。

步骤S2，配置集中式控制器(controller)，其中，集中式控制器与Fat-Tree数据中心网络拓扑结构中的每台服务器或交换机通信。即，该集中式控制器可以与网络中任意一台服务器或交换机通信。

步骤S3，进行Fat-Tree数据中心网络拓扑结构的物理网络和逻辑网络的映射，获取物理拓扑信息。

在本发明的一个实施例中，物理拓扑信息包括每个交换机的类型、每类交换机的索引等。

步骤S4，在集中式控制器为各交换机计算路由表项前，集中式控制器收集每台交换机通过各自端口可以到达的边缘层交换机的列表信息，为每台交换机生成对应的目的边缘层交换机列表，这样能够防止发生通信错误。其中，集中式控制器为每台交换机维护一个目的边缘层交换机列表，每台交换机的目的边缘层交换机列表中的元素格式为{i,{IP1,IP2,…,IPm}}。其中，i为该交换机本地端口的索引，集合{IP1,IP2,…,IPm}表示通过该端口可以到达的目的边缘层交换机的列表。每台交换机按照以下顺序生成上述列表。

如图2所示，集中式控制器按照如下顺序收集每台交换机到各自对应的边缘层交换机的列表信息：

首先初始状态下，每台交换机对应的目的边缘层交换机列表信息为空。

步骤S41，每台所述聚集层交换机扫描所述边缘层交换机邻居，集中式控制器记录每个本地端口能够到达的边缘层交换机列表。

在步骤S41中，集中式控制器扫描每台聚集层交换机的邻居，当发现邻居是边缘层交换机时，则记录每个本地端口能够到达的边缘层交换机列表，包括连接该邻居的本地端口索引，以及该边缘层交换机的IP地址。

参考图3，以K＝4为例，其中E1～E8为边缘层交换机，A1～A8为聚集层交换机，C1～C4为核心层交换机，S1～S16为服务器，0～3为交换机转发端口的索引值，实线为正确的连线，虚线为错误的连线。

设集中式控制器扫描聚集层交换机A1的邻居，可以发现其本地端口0和1连接的邻居均是边缘层交换机。因此，当扫描到本地端口0时，A1的列表更新为{{0,{E1}}}。需要说明的是，为了表示方便，这里使用交换机的名称表示其相应的IP地址。

相应地，集中式控制器扫描完扫描到本地端口1时，A1的列表更新为{{0,{E1}},{1,{E2}}}。对所有聚集层交换机实施以上操作。

步骤S42，每台核心层交换机扫描聚集层交换机邻居，集中式控制器记录每个本地端口能够到达的边缘层交换机列表。

在步骤S42中，集中式控制器扫描每台核心层交换机的邻居，当发现邻居是聚集层交换机，则记录每个本地端口能够到达的边缘层交换机列表，包括连接该邻居的本地端口索引，以及该聚集层交换机所有端口对应的可达目的边缘层交换机的IP地址的合集。

参考图3，以核心层交换机C1为例，其通过端口0连接至聚集层交换机A1，而A1当前的列表内容为{{0,{E1}},{1,{E2}}}。因此，当扫描到端口0时，C1的列表被更新为{{0,{E1,E2}}}，其中{E1,E2}是A1所有端口对应的边缘层交换机地址的合集。对C1的其它端口扫描后，最终得到其列表信息为{{0,{E1,E2}},{1,{E2,E3}},{2,{E5,E6}},{3,{E7,E8}}}。对所有核心层交换机的所有端口实施以上操作。

步骤S43，每台聚集层交换机扫描核心层交换机邻居，集中式控制器更新每个本地端口能够到达的边缘层交换机列表。

在步骤S43中，集中式控制器再次扫描聚集层交换机的邻居，当发现邻居是核心层交换机，则设置除去核心层交换机与该聚集层交换机相连端口外的其它端口的目的边缘层交换机集合的合集，更新该聚集层交换机的列表，包括连接该邻居的本地端口索引，以及除去核心层交换机与该聚集层交换机相连端口外的其它端口的目的边缘层交换机的IP地址的合集。

参考图3，聚集层交换机A1通过端口2连接至C1的端口0，则用C1除去端口0外的其它端口(端口1、2和3)对应的目的边缘层交换机集合的合集更新A1的列表。更新后的结果是A1端口2对应的目的边缘层交换机集合为{E2,E3,E5,E6,E7,E8}。排除端口0的原因是，该端口对应的目的边缘层交换机集合是由A1在步骤S42提供的。如果这里将该集合也处理的话，会造成路由产生环路。对所有聚集层交换机的所有端口实施以上操作。

步骤S44，每台边缘层交换机扫描聚集层交换机邻居，集中式控制器更新每个本地端口能够到达的边缘层交换机列表。

在步骤S44中，集中式控制器再次扫描边缘层交换机的邻居，当发现邻居是聚集层交换机，则设置除去聚集层交换机与该边缘层交换机相连端口外的其它端口的目的边缘层交换机集合的合集，更新该边缘层交换机的列表，包括连接该邻居的本地端口索引，以及除去聚集层交换机与该边缘层交换机相连端口外的其它端口的目的边缘层交换机的IP地址的合集。排除聚集层交换机与该边缘层交换机相连端口的目的边缘层交换机集合的原因与上一步类似，防止路由出现环路。

步骤S5，集中式控制器根据生成的目的边缘层交换机列表为每台交换机计算并安装对应的到达各边缘层交换机的路由表项。

通过上述五步操作，集中式控制器可以为每一台交换机计算出从每个端口可以到达的边缘层交换机的列表。基于该目的边缘层交换机列表，集中式控制器可以计算出每台交换机的路由表项。在进行路由计算时，对于到达某一边缘层交换机有多个端口的情况，从可选的端口中选择最短路径相应的端口。如果最短路径对应有多个端口，则随机选择一个。

上述步骤中目的地址使用边缘层交换机的IP地址。由于边缘层交换机含有多个端口，每个端口都配置有IP地址，本发明统一使用第一个端口的IP地址唯一标识一台边缘层交换机。

由于路由表项中使用的是边缘层交换机的IP地址，而从服务器发出的报文中的目的端IP地址是目的服务器的IP地址，需要使用IP封装对报文进行处理：当与源服务器直接相连的边缘层交换机，即源边缘层交换机接收到报文时，它将询问集中式控制器相应的目的边缘层交换机的IP地址。在得到回复后，源边缘层交换机对原始报文进行IP封装。在目的边缘层交换机接收到封装的报文后，对该报文进行解封装，并将原始报文发送给目的服务器。

本发明建立了一个Fat-Tree拓扑，以K＝32为例，每台交换机的端口数量为32。假设网络中同时有10000条流传输数据，每条流传输64MB数据。流的源服务器和目的服务器随机选择。分别设置网络中错误连线占所有连线的百分比为5％、10％、15％和20％。实验结果显示，当网络中错误连线所占的百分比分别为5％、10％、15％和20％时，本发明相较于ECMP((Equal-Cost Multipath Routing，等价多路径)，能够将流的完成时间分别缩短2.5％、5.43％、8.74％和11.66％。实验结果表明，本发明能够更有效地利用链路资源(包括连接错误的链路)，防止通信错误，提高网络吞吐量。

本发明实施例的容忍错误连线的数据中心网络路由方法，根据软件定义网络的工作机制，由一台集中式的控制器为全网路由器计算并安装路由表项，充分利用网络中的错误连线，实现无环路路由。本发明具有高效地利用网络资源和提升网络吞吐量的双重优点。

相较于传统的路由协议均不能使用发生错误的连线，不能够高效地利用链路资源，本发明根据物理网络计算路由表，在路由计算过程中，不排除错误连线。本发明的优点在于：无需修改服务器和交换机硬件，并且能够充分地利用数据中心网络中包括错误连线在内的丰富的链路资源，实现无环路路由，提高网络吞吐量。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

Claims (8)

1.一种容忍错误连线的数据中心网络路由方法，其特征在于，包括如下步骤：

步骤S1，构造Fat-Tree数据中心网络拓扑结构，包括如下步骤：

步骤S11，配置多台交换机，其中，所述多台交换机包括：边缘层交换机、聚集层交换机和核心层交换机，其中，所述边缘层交换机、聚集层交换机和核心层交换机的层次级别依次提高，设每台所述交换机的端口数量为K，则所述边缘层交换机和聚集层交换机的数量分别为K²/2，所述核心层交换机的数量为K²/4；

步骤S12，配置多台服务器，其中，将所述多台服务器、边缘层交换机和聚集层交换机划分为K个集群，每个集群中的服务器、边缘层交换机和聚集层交换机的数量分别为：K²/4、K/2和K/2，并且设置在连线正确的情况下，每个集群中，每台所述边缘层交换机使用K/2个端口与K/2台所述服务器相连，剩余K/2个端口与该集群中的K/2台聚集层交换机相连，每台服务器与一台所述边缘层交换机相连，所述聚集层交换机剩余的K/2个端口与K²/4台核心层交换机相连以设置每台所述核心层交换机与每个集群仅一个连接；

步骤S2，配置集中式控制器，其中，所述集中式控制器与所述Fat-Tree数据中心网络拓扑结构中的每台所述服务器或交换机通信；

步骤S3，进行所述Fat-Tree数据中心网络拓扑结构的物理网络和逻辑网络的映射，获取物理拓扑信息；

步骤S4，所述集中式控制器收集每台所述交换机通过各自端口可以到达的所述边缘层交换机的列表信息，为每台所述交换机生成对应的目的边缘层交换机列表，其中，每台所述交换机的目的边缘层交换机列表中的元素格式为{i,{IP1,IP2,…,IPm}}，其中，i为该交换机本地端口的索引，集合{IP1,IP2,…,IPm}表示通过该端口可以到达的目的边缘层交换机的列表；

步骤S5，所述集中式控制器根据生成的目的边缘层交换机列表为每台所述交换机计算并安装对应的到达各边缘层交换机的路由表项。

2.如权利要求1所述的容忍错误连线的数据中心网络路由方法，其特征在于，所述Fat-Tree数据中心网络拓扑结构采用同构交换机。

3.如权利要求1所述的容忍错误连线的数据中心网络路由方法，其特征在于，所述步骤S4包括如下步骤：

所述集中式控制器按照如下顺序收集每台所述交换机到各自对应的所述边缘层交换机的列表信息：

步骤S41，每台所述聚集层交换机扫描所述边缘层交换机邻居，所述集中式控制器记录每个本地端口能够到达的边缘层交换机列表；

步骤S42，每台所述核心层交换机扫描所述聚集层交换机邻居，所述集中式控制器记录每个本地端口能够到达的边缘层交换机列表；

步骤S43，每台所述聚集层交换机扫描所述核心层交换机邻居，所述集中式控制器更新每个本地端口能够到达的边缘层交换机列表；

步骤S44，每台所述边缘层交换机扫描所述聚集层交换机邻居，所述集中式控制器更新每个本地端口能够到达的边缘层交换机列表。

4.如权利要求3所述的容忍错误连线的数据中心网络路由方法，其特征在于，所述步骤S41包括如下步骤：所述集中式控制器扫描每台所述聚集层交换机的邻居，当发现邻居是边缘层交换机时，则记录每个本地端口能够到达的边缘层交换机列表，包括连接该邻居的本地端口索引，以及该边缘层交换机的IP地址。

5.如权利要求3所述的容忍错误连线的数据中心网络路由方法，其特征在于，所述步骤S42包括如下步骤：所述集中式控制器扫描每台所述核心层交换机的邻居，当发现邻居是聚集层交换机，则记录每个本地端口能够到达的边缘层交换机列表，包括连接该邻居的本地端口索引，以及该聚集层交换机所有端口对应的可达目的边缘层交换机的IP地址的合集。

6.如权利要求3所述的容忍错误连线的数据中心网络路由方法，其特征在于，所述步骤S43包括如下步骤：所述集中式控制器再次扫描所述聚集层交换机的邻居，当发现邻居是核心层交换机，则设置除去所述核心层交换机与该聚集层交换机相连端口外的其它端口的目的边缘层交换机集合的合集，更新该聚集层交换机的列表，包括连接该邻居的本地端口索引，以及除去所述核心层交换机与该聚集层交换机相连端口外的其它端口的目的边缘层交换机的IP地址的合集。

7.如权利要求3所述的容忍错误连线的数据中心网络路由方法，其特征在于，所述步骤S44包括如下步骤：所述集中式控制器再次扫描所述边缘层交换机的邻居，当发现邻居是聚集层交换机，则设置除去所述聚集层交换机与该边缘层交换机相连端口外的其它端口的目的边缘层交换机集合的合集，更新该边缘层交换机的列表，包括连接该邻居的本地端口索引，以及除去所述聚集层交换机与该边缘层交换机相连端口外的其它端口的目的边缘层交换机的IP地址的合集。

8.如权利要求4-7任一项所述的容忍错误连线的数据中心网络路由方法，其特征在于，所述目的边缘层交换机的IP地址为每个目的边缘层交换机的第一个端口的IP地址。