CN102075394A

CN102075394A - 基于P2i互连结构的数据中心

Info

Publication number: CN102075394A
Application number: CN2011100084501A
Authority: CN
Inventors: 张小平; 吴建平; 段武清; 赵有健
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2011-01-14
Filing date: 2011-01-14
Publication date: 2011-05-25
Anticipated expiration: 2031-01-14
Also published as: CN102075394B

Abstract

基于P2i循环移数互连结构的数据中心属于数据中心技术领域，其特征在于，是一种基于M个主机、N个交换机、由δ+1种以P2i循环移数方式连接的数据中心，δ值由2^δ≤N＜2^δ+1决定，用2ⁱ表示一种连接方式，i表示其序号，i∈[0，δ]且为整数，交换机的接口总数p满足：k为每台交换机相连的最大主机数，在此结构上，用特征路由路径确定交换机的位置，用特征值确定主机的位置。本发明提供了一种利用多个性能、体积和交换容量相同的交换机实现的一种数据中心，且具有良好的主机数量和数据通信带宽可扩展性、以及较好的容错性能。

Description

基于P2i互连结构的数据中心

技术领域

基于P2i互连结构的数据中心属于数据中心技术领域。

背景技术

近年来，数据中心成为许多关键技术的支撑平台，如云计算、虚拟化、ERP等众多领域和关键技术需要数据中心作为支撑平台。许多重要的公司都开发和使用数据中心，最著名的是Google，它采用数据中心支持搜索引擎所需的各种业务。一个数据中心(data center，简称DC)是由一台或多台主机组成的能提供一种或多种功能的集合体。通常，它是一个所谓的“服务器群”，可以包括成百上千，甚至上万台主机，这些主机被连接起来共同对外提供各种服务，如搜索、存储、网站式服务、电子邮件服务、事物处理(例如：信用检查，信用卡事务处理等等)、基于Web的广告业务布置等。

一个数据中心的设计需要综合考虑多种因素。主要包括主机之间的互连结构(包括接口数、扩展性、容错性、路径多样性和交换容量等)，系统的价格、冷却方式、能耗、重量、安全性和装载方式等等。设计的主要驱动力为用户需求、技术趋势、部署限制因素、可操作性和价格。目前数据中心的设计是一个快速发展的领域。Google提出的海上数据中心(water-based data center)主要考虑成本、冷却、能耗和安全性，其最大优势是可以随时转移，利用海水发电和冷却。此外，Google提出的集装箱数据中心(data center in a box)能够有效提高计算和存储服务的性能，它能够在一个集装箱盒子里部署1000多台服务器。采用这种结构，能够提高数据中心的移动性、提高冷却效率和推进数据中心设计模块化。

本文提出的基于P2i结构的数据中心针对主机互连的拓扑结构进行定义。

一个数据中心的拓扑结构一般为两层或三层的交换机或路由器组成的树形结构，两层结构如图1，三层结构如图2。三层结构的DC设计如下：有一个作为树根的核心层，一个位于中间的聚合层和一个作为树叶的边缘层。两层结构的DC设计通常只有核心层和边缘层。一般而言层数越多，可以聚合的主机数目越多，二层结构的设计方式一般能支持数千台主机，而三层结构可以支持数万台主机。目前的大型数据中心追求的目标一般是能支持数万台主机，因此，采用的结构以三层和多层为主。

目前提出的DC结构中，重要的有：

Fat Tree结构。该结构把一些商用(价格相对较低且通用)的低端交换机以一种fat-tree的结构组织在一起，如图3，实现成千上万台主机的互连。该结构的一个重要特点在于能够用低端商用交换机获得互连主机对带宽的需求。

BCube结构。BCube结构是一种以主机为中心的结构，如图4，该结构中，具有多个网络接口的主机连接到多层的商用非机架方式的小型交换机上，主机不仅作为终端，而且还彼此充当中继节点的功能，图4(4a)表示k层的BCube结构，图4(4b)表示1层的BCube结构。BCube结构通过加速1对1、1对多等模式的数据流量为多对多模式的数据流量提供高容量的网络带宽来满足各种高强度带宽需求的应用。另外，这种结构具有非常好的容错能力，随着主机和交换机失效率的上升，该结构能表现出较少的性能下降。该结构能与TCP/IP实现无缝集成，在软件和硬件上都较易实现。

DCell结构。DCell结构是一种采用递归方式定义的结构，如图5，该图表示主机数为4时DCell₁的结构。该结构中，一个高层次的DCell结构由众多低层次的DCell结构采用全连接的方式构成。随着节点度的增长，DCell以2的指数方式扩展。DCell结构具有非常强的容错能力，没有单点失效问题，分布式容错路由协议使得在某些关键路径缺失或者节点失效的情况下仍保持近似的最短路径优先能力。DCell结构能提供比通常的树形结构更高的网络容量。

基于P2i结构的数据中心的优点在于能够采用低成本的商业交换机以1级的方式实现众多主机的互连，具有非常好的扩展性，扩展粒度小，结构对称，而且随着连接规模的扩大，交换机之间的互连带宽具有线性增加的特征。

发明内容

本发明的主体在于提出一种具有新型连接结构的数据中心。其交换组织基于一种循环移数互连结构实现，本发明称该结构为P2i互连结构，该结构能够使众多主机(处理器、服务器、盘整等)按照P2i连接规则集合在一起，形成一个大规模可利用的数据中心。本发明能有效解决成本、带宽、容量和可扩展性等数据中心需面临的重要问题。本发明的主要内容如下：

1、基于P2i循环移数互连结构的数据中心，其特征在于，是一种基于M台主机、N台交换机、由δ+1种以P2i循环移数方式连接的数据中心，其中N台交换机的编号为0，1，...，N-1，且用二进制数表示，i表示所述交换机之间连接方式的序号，用2ⁱ表示一种连接方式，i∈[0，δ]且为整数，δ值是由2^δ≤N＜2^δ+1决定的整数，δ+1是基于P2i循环移数互连结构的连接方式的总数，对于给定的连接方式i，将编号为j的交换机，j∈[0，N-1]，与编号为(j+2ⁱ)modN的交换机进行连接，表示为：

i＝0，2ⁱ＝1，将编号为j的交换机与编号为(j+1)modN的交换机进行连接，并称这些链路为0维链路；

i＝1，2ⁱ＝2，将编号为j的交换机与编号为(j+2)modN的交换机进行连接，并称这些链路为1维链路；

i＝2，2ⁱ＝4，将编号为j的交换机与编号为(j+4)modN的交换机进行连接，并称这些链路为2维链路；

...

i＝δ，2ⁱ＝2^δ，将编号为j的交换机与编号为(j+2^δ)modN的交换机进行连接，并称这些链路为δ维链路；

所述交换机与主机之间的连接方式为：

M台主机分为N组，每组分配1台交换机，每台主机只与一台交换机连接，每台交换机能连接的最大主机数等于每台所述交换机的外部接口数，k≥1，对给定的主机数M，下式成立：N≤M≤kN，为保证每台交换机至少能连接一台主机，则需要满足下列关系：

为保证每台交换机最多能连接k台主机，则必须满足下列关系：

其中p为交换机的内部接口数；

所述的交换机中设有：

外连接口模块、数据汇集模块、路由计算模块、数据缓冲队列存储模块、交换模块、调度模块、操作系统和路由管理模块、出口转发模块和内连接口模块，其中：

外连接口模块，设有外连接口；

数据汇集模块，各数据输入端与所述外连接口模块的各数据输出端相连；

路由计算模块，数据输入端与所述数据汇集模块的各数据输出端相连；

数据缓冲队列存储模块，各数据输入端与所述路由计算模块的各数据输出端相连；

交换模块，各数据输入端分别与所述数据缓冲队列存储模块各数据输出端相连；

调度模块，分别与所述数据缓冲队列存储模块、所述交换结构模块互连；

操作系统和路由管理模块，与所述路由计算模块、所述调度模块互连；

内连接口模块，与所述交换结构模块互连，还设有供交换机之间连接的内连接口；

所述路由计算模块，设有用于转发数据包时在各交换机之间、及各交换机和主机间寻找路径的分段特征路径路由算法，用一个二进制数序列表示数据包的转发路径，称之为特征路径序列，由序列长度为

的特征路径路由算法路由和序列长度为

的特征值路由连接而成，分别用于各交换机之间的路由计算和各交换机与对应各主机间的路由计算，用所述特征路径路由的二进制数作为目的主机的特征，供转发数据包用，所述特征路径序列中特征的计算公式为[((b-a)+N)mod N]₂，其中b和a表示交换机的编号，特征中值为1的数代表了从交换机a到交换机b的路径，其中当第i位为1时表示第i跳使用2ⁱ维的链路作为路径。

2、所述主机为处理器、服务器、盘阵、FLASH存储器、移动存储介质中的任何一种。

3、所述链路接口是光接口或电接口。

4、所述交换机与交换机之间的链路是单向或双向，单向连接方式用内部输出或内部输入接口，双向连接方式用内部连接接口。

本发明具有以下特点：

1.扩展性好，扩展方式灵活，扩展粒度小，能实现热扩展，能支持大规模主机互连。例如，当采用32口交换机，每台交换机上连接8台主机的情况下，能实现8×2¹²＝32768台主机的互连，当每台交换机上连接4台主机的情况下，能实现65536台主机的互连。采用48口交换机，主机互连数目可到达数百万台。

2.多条路径有利于实现流量均衡，容错性强。P2i的交换机互连结构中，当出现某些交换机或者某些链路故障时，可以借助多条其它路径实现容错和流量均衡。两外，由于每台交换机上的主机数量有一定的灵活性，方便替换。

3.结构对称，连接直观，易实现。结构对称有利于降低在其上进行各种应用软件系统开发的难度；将通常的核心层、聚合层和边缘层融为一层的结构模式，简化了设计，有利于交换机和主机的正确连接；

4.构建或更新成本低。该结构的交换机可以采用低成本的交换机构成，因此可在设计初期增加一定量的冗余接口，当需要升级时，仅需增加主机数量，而无需改变交换机的连接结构；另外，该结构中每台交换机都能与主机互连，交换机的利用率较高。

5.所述结构中的连接主机与交换机、交换机与交换机之间的链路可以采用单向，也可采用双向，链路接口可采用光接口或电接口，根据实际需要选择。

附图说明

图1：2层连接方式的数据中心结构：1：核心层交换机，2：边缘层交换机，3：主机。

图2：3层连接方式的数据中心结构：1：核心层交换机，2：汇集层交换机，3：边缘层交换机，4：主机。

图3：Fat Tree结构的数据中心：1：交换机，2：主机。

图4：BCube结构的数据中心：1：交换机，2：主机，(4a)：交换机接口数为n的BCube_k结构，(4b)：交换机接口数为4的BCube₁结构。

图5：DCell₁结构的数据中心：1：交换机，2：主机。

图6：基于P2i互连结构的数据中心交换机结构示意图。

图7：具有9台交换机，36台主机的基于P2i互连结构的数据中心拓扑结构示意图。

图8：交换机邻居节点示意图。

图9：含有9台交换机、每台交换机上连接4台主机的基于P2i互连结构的数据中心的交换机和主机编号示意图：(9a)整体结构图，(9b)交换机连接主机详图。

图10：P2i互连结构的交换容量随交换机规模增长变化曲线图：带菱形的曲线：P2i容量增长曲线，带圆圈的曲线：2D-Torus容量增长曲线，带星型的曲线：3D-Torus容量增长曲线，。

图11：基于P2i互连结构的数据中心以单机方式扩展示意图，(11a)：扩展前结构，(11b)扩展后结构，100：扩展增加的主机。

图12：基于P2i互连结构的数据中心以小组方式扩展示意图，(12a)：扩展前结构，(12b)：扩展后结构：1001：扩展增加的交换机。

图13：特征路径序列构成示意图。

图14：分段特征路径路由算法实现过程示意图，(14a)：计算特征值并发送数据包，(14b)：

根据特征值转发数据包。

图15：交换机模块。

具体实施方式

该数据中心结构中包括两种连接实体，一种是交换机，一种是主机，本发明供了众多交换机之间、交换机与主机之间的连接方式。

交换机之间的连接方式为：

对于给定的交换机数目N，决定连接方式总数的δ由N按下式确定：

2^δ≤N＜2^δ+1

交换机之间的连接方式根据由δ确定的i值决定，i∈[0，δ]且为整数，用0，1，...，N-1对节点进行编号，该δ+1种连接方式为：对给定的i，将编号为j(j∈[0，N-1]，下同)的节点与编号为(j+2ⁱ)modN的节点进行连接。具体为：

i＝0，2ⁱ＝1，将j与(j+1)modN进行连接；

i＝1，2ⁱ＝2，将j与(j+2)modN进行连接；

i＝2，2ⁱ＝4，将j与(j+4)modN进行连接；

......

依此类推。

交换机和主机之间的连接方式为：

M台主机分为N组，每组分配1台交换机，每台主机只与一台交换机连接，每台交换机可以连接0至k台主机，但要求交换机的外连接口数至少为1，即k≥1，连接链路均为双向，各交换机上的主机数可以相同，也可以不同，但有相同的上界k。交换机和主机之间的连接关系不影响交换机之间连接的拓扑结构。通常，要求各交换机上连接的主机数相同，以保持主机位置的绝对对称性。对给定的主机数M，所需要的交换机数目由下式决定：

N≤M≤kN，k表示每台交换机可以连接的最大主机数；但极端情况下可以有N＞M，表示有些交换机上没有连接主机。

为保证每台交换机至少能连接一台主机，交换机接口数(包括内连，外连接口数之和)如果用p表示，则必须满足下列关系：

如果每台交换机最多可连接k台主机，则p满足：

所述的N台交换机的构成方式为：

包括两种接口，外连接口(主机接口)和内连接口(交换机之间的连接接口)。每台交换机包括下列模块：

外连接口模块，设有外连接口；

数据汇集模块，各数据输入端与外连接口的数据输出端相连；

路由计算模块，数据输入端与数据汇集模块的输出端相连；

数据缓冲队列存储模块，数据输入端与路由计算模块的数据输出端相连；

操作系统和路由管理模块，与路由计算和调度模块互连，对路由计算模块和调度模块进行管理和控制；

交换模块，与内连接口模块互连，与调度模块互连，同时，该交换模块的输入数据端与数据缓冲队列存储模块的数据输出端相连；

调度模块，与数据缓冲队列存储模块、交换模块和操作系统和路由管理模块互连；

出口转发模块，数据输入端与交换模块的数据输出端相连，数据输出端与外连接口模块的数据输入端相连；

内连接口模块，该模块与交换模块互连，设有内连接口。

本发明还包括一种基于P2i结构的，用于转发数据包时在众多交换机和主机间寻找路径的路由算法，取名为分段特征路径路由算法。该算法的特点在于：

将数据包的转发路径用一个二进制数序列表示，称之为特征路径序列，该序列分为两段：第一段采用特征路径路由算法路由，序列长度为

第二段采用特征值路由，序列长度为

特征路径路由算法的特点在于：

在P2i结构中，对于两台编号分别为a和b的交换机，从a到b的某条路径可以由维度严格递减的若干i维链路序列组成，i维链路出现在该序列中当且仅当二进制数[((b-a)+N)modN]₂中的第i位为1，其中N为交换机总数，本发明中称该二进制数为特征路径的特征。每个数据包进入交换结构后，根据本交换机和目的交换机编号计算特征，根据特征中值为1的相应维度的链路转发到目的交换机。

特征值路由的特点在于：

根据该特征值序列组成的二进制数作为目的主机的编号，将数据包转发给该主机。

所述交换机间的连接方式可以采用光接口(如光纤配线盒)实现，也可以采用电接口(如RJ-45等)实现。

本发明是一种使数据中心在任一规模下均保持对称性的结构；

是一种能使主机实现以单机方式扩展和小组方式扩展的数据中心结构；

是一种能使数据带宽实现线性扩展的数据中心结构；

是一种能实现动态扩展的数据中心结构；

是一种具备路径多样性和能实现数据流量均衡的数据中心结构。

本发明的其特征还在于：

所述数据中心的互连结构由若干台交换机互连构成，为了表述上方便，下面将交换机简称为SN(switch node)。SN上包括外连接口和内连接口，外连接口实现SN与主机的连接，实现和主机之间的数据收发，内连接口实现SN之间的连接，实现不同交换机之间的数据转发。SN内部实现数据的路由计算、缓冲和数据转发等功能。SN的构成如图6所示。

本发明构成的数据中心结构，SN的台数可以是任意多台，每台SN上连接的主机台数也可以是任意多台，如图7所示，该图中，交换机和主机的编号均采用二进制表示，标有0000、0001、0010、…、1000编号的方框表示SN，台数为9，与每台SN连接的主机用标有H的方框表示，台数均为4。

本发明所指的数据中心结构是由若干台SN和若干台主机构成的，假设包含N台SN，则SN的编号为SN₀，SN₁，...，SN_N-1，所有图示中的编号都以2进制表示。

SN的接口分为外连接口和内连接口，外连接口用于连接主机，内连接口用于连接其他SN。内连接口数必须为偶数，表示为2(δ+1)。任何一台编号为i的SN都与其他2(δ+1)台SN相连，其编号分别为

(k＝0，1，2，...，δ)，如图8所示。该图中，编号为0000的交换机的邻居节点共有6台，粗线相连交换机为其邻居。

假设每台SN上含有的外连接口数目为k，则该SN上总共可以连接k台主机，主机的编号为0，1，2，...，k-1，每台SN上连接的主机各自独立编号，如图9所示，编号如上述均采用二进制数表示。图中序号为0101的交换机(序号为5，图9中采用顺时针方式标注)上连接了4台主机(已标注)，其编号分别为00、01、10、11。

本发明所指的主机可以是处理器、服务器、盘阵、FLASH存储设备、移动存储设备等类似的网络实体。

P2i互连结构在随交换机数目不断增加的扩展过程中，其内部互连结构交换容量线性增长，即内部数据链路带宽保持线性增长，如图10所示。

本发明可以实现单主机方式扩展、小组方式扩展，扩展后仍保持对称性。这里所指的小组是任意一台交换机所连接的主机的全体。两种扩展方式为：

以单主机方式扩展时，交换机上必须存在冗余的接口，扩展方式如图11所示，该图中，编号为0000的交换机上增加了一台主机，该主机被编为100号。经过扩展，由于数据中心中交换机之间的拓扑关系没有发生改变，因此，整体上仍保持对称性。

以小组方式扩展时，数据中心中增加一台交换机，被扩展的主机连接到该交换机上，如图12所示，该图中，增加编号为1001的交换机，并在该交换机上连接4台主机，编号分别为00、01、10、11。扩展后，所有SN之间的连接关系仍然保持对称性。

分段特征路径路由算法。特征路径序列为一个二进制串，如图13所示，包括特征路由路径和特征值。其长度跟数据中心的交换机数N和每台交换机可连接的主机台数k有关。若用l表示其长度，则

分段特征路径路由算法的实现过程如图14所示。该图中，图14(14a)表示特征路径序列的计算，当一个数据包进入一台交换机后，交换机根据数据包的目的地址计算该特征序列并存于数据包中(设数据包中已经预留了特征序列的存储字段)，然后发送该数据包。图14(14b)表示特征路径序列的使用，当一台交换机收到一个数据包后，它首先查看特征序列，然后判断特征路由路径字段中所有值为1的i维链路是否走完。若走完，则查看特征值字段，根据特征值字段将数据包转发给相应主机；否则继续转发，并标注刚走过的链路为已走过状态。

SN外部结构如图15所示。

Claims

1.基于P2i循环移数互连结构的数据中心，其特征在于是一种基于M台主机、N台交换机、由δ+1种以P2i循环移数方式连接的数据中心，其中N台交换机的编号为0，1，...，N-1，且用二进制数表示，i表示所述交换机之间连接方式的序号，用2ⁱ表示一种连接方式，i∈[0，δ]且为整数，δ值是由2^δ≤N＜2^δ+1决定的整数，δ+1是基于P2i循环移数互连结构的连接方式的总数，对于给定的连接方式i，将编号为j的交换机，j∈[0，N-1]，与编号为(j+2ⁱ)modN的交换机进行连接，表示为：

i＝0，2ⁱ＝1，将编号为j的交换机与编号为(j+1)modN的交换机进行连接，并称这

些链路为0维链路；

i＝1，2ⁱ＝2，将编号为j的交换机与编号为(j+2)modN的交换机进行连接，并称

这些链路为1维链路；

i＝2，2ⁱ＝4，将编号为j的交换机与编号为(j+4)modN的交换机进行连接，并称

这些链路为2维链路；

...

所述交换机与主机之间的连接方式为：

其中p为交换机的内部接口数；

所述的交换机中设有：

外连接口模块，设有外连接口；

所述路由计算模块，设有用于转发数据包时在各交换机和主机间寻找路径的分段特征路径路由算法，用一个二进制数序列表示数据包的转发路径，称之为特征路径序列，由序列长度为

的特征路径路由算法路由和序列长度为的特征值路由连接而成，分别用于各交换机之间的路由计算和各交换机与对应各主机间的路由计算，用所述特征路径路由的二进制数作为目的主机的特征，供转发数据包用，所述特征路径序列中特征的计算公式为[((b-a)+N)mod N]₂，其中b和a表示交换机的编号，特征中值为1的数代表了从交换机a到交换机b的路径，其中当第i位为1时表示第i跳使用2ⁱ维的链路作为路径。

2.根据权利要求1所述的基于P2i循环移数互连结构的数据中心，其特征在于，所述主机为处理器、服务器、盘阵、FLASH存储器、移动存储介质中的任何一种。

3.根据权利要求1所述的基于P2i循环移数互连结构的数据中心，其特征在于，所述链路接口是光接口或电接口。

4.根据权利要求1所述的基于P2i循环移数互连结构的数据中心，其特征在于，所述交换机与交换机之间的链路是单向或双向，单向连接方式用内部输出、输入接口，双向连接方式用内部连接接口。