CN110224945A - 一种基于图的数据中心模块互联方法 - Google Patents

一种基于图的数据中心模块互联方法 Download PDF

Info

Publication number
CN110224945A
CN110224945A CN201910498502.4A CN201910498502A CN110224945A CN 110224945 A CN110224945 A CN 110224945A CN 201910498502 A CN201910498502 A CN 201910498502A CN 110224945 A CN110224945 A CN 110224945A
Authority
CN
China
Prior art keywords
module
interconnection structure
intermodule
interconnection
data center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910498502.4A
Other languages
English (en)
Inventor
莫毓昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910498502.4A priority Critical patent/CN110224945A/zh
Publication of CN110224945A publication Critical patent/CN110224945A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H04L45/125—Shortest path evaluation based on throughput or bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/28—Routing or path finding of packets in data switching networks using route fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1042—Peer-to-peer [P2P] networks using topology management mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于图的数据中心模块互联方法，包括如下步骤：建立中心结构：使用服务器作为结构中心建立网络结构，建立模块内互连结构：采用层次图作为模块内互连结构，并对模块内互连结构进行内编号，建立模块间互连结构：采用常量度数图作为模块间的互连结构。该基于图的数据中心模块互联方法，结构设置合理，功能性强，要求模块间的互连和路由与模块内部无关，模块内部能够提供足够的空闲端口用于更大规模的网络互连，模块之间有足够的链路，合理分配模块提供的端口,使端口的使用率较为平均,确保当通信的源端和目的端过于密集的情况下,流量能够被分流至不同的端口上。

Description

一种基于图的数据中心模块互联方法
技术领域
本发明涉及信息工程领域，具体为一种基于图的数据中心模块互联方法。
背景技术
随着IT建设成本和用户需求的增长,越来越多的大型网络服务业由于模块化数据中心(modulardatacenter,简称MDC)的模块内、外结构可以分开设计, 因此极大地降低了超大规模数据中心构建和维护的复杂度.然而,当前对于数据中心网络结构的研究主要集中在单个数据中心网络的大规模构造以及MDC 的模块内互连结构,而对于模块间应采用什么样的互连方式以支持超大规模数据中心构建的研究较少，如何设计模块之间的互连结构是一个极其困难的问题,原因主要有以下3点：
1.高带宽需求：数据中心需要支撑许多带宽密集型的应用,如分布式文件系统、分布式执行引擎以及一些在线数据密集型应用,这些典型应用往往需要在上千个模块中的成千上万台服务器上处理数据,因此,一个好的设计方案应确保在各种互连设置下模块间均具备较高的通信容量。
2.平缓的性能下降：目前提出的数据中心网络普遍采用廉价的商业硬件搭建而成,由于集装箱内的设备是工厂预制的,空间和操作上的限制使其出现故障不易在线维护,因此,模块间互连网络的设计不仅应具有高容错特性,还应确保网络设备出现故障时网络容量不会迅速下降。
3.灵活、可持续的扩展性：随着数据中心网络承载的数据量不断增长, 数据中心的规模持续扩大,不可避免地需要对数据中心网络进行增量部署.因此,不仅要求MDC网络具有可持续、可扩展能力,还要尽量减少扩展过程中对已有结构的影响。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于图的数据中心模块互联方法，解决了在现有技术中，通信容量不足、容错特性不佳和不同结构之间影响程度较大的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于图的数据中心模块互联方法，包括如下步骤：
S1、建立中心结构：使用服务器作为结构中心建立网络结构。
S2、建立模块内互连结构：采用层次图作为模块内互连结构，并对模块内互连结构进行内编号。
S3、建立模块间互连结构：采用常量度数图作为模块间的互连结构，并对模块间互连结构进行外编号。
S4、结构组合：将中心结构与每个模块间互连结构连接，根据步骤S2内编号和步骤S3的外编号通过模块间互连结构未被使用的交换机预留的高速端口将单个模块内互连结构连接，随后生成每个模块内互连结构的总编号。
S5、互联结构测试：使用中心结构向随机总编号的模块内互连结构发送测试信号，模块内互连结构收到测试信号后发送反馈信号发送至中心结构，通过测试信号的发送量与反馈信号的收集量的比值计算当前互联结构连接情况。
优选的，在步骤S2中，使用16位二进制数字为模块内互连结构编号，从而生成内编号。
优选的，在步骤S3中，使用8位二进制数字为模块间互连结构编号，从而生成外编号。
优选的，在步骤S4中，交换机仅作为交叉结构连接模块内部和模块之间的服务器，每个交换机提供1一个高速端口作为模块内互连结构对外连接的端口。
优选的，在步骤S4中，总编号的生成规则为对应的模块间互连结构的编号(外编号)加上模块内互连结构的编号(内编号)，即一个24位二级制数字作为总编号。
(三)有益效果
本发明提供了一种基于图的数据中心模块互联方法，具备以下有益效果：
该基于图的数据中心模块互联方法，与现有技术相比，本发明的有益效果是：本发明结构设置合理，功能性强，具有以下优点：
1.互联网络将模块看作黑盒以适应各类模块内互连结构,因此，要求模块间的互连和路由与模块内部无关；
2.模块内部能够提供足够的空闲端口用于更大规模的网络互连,
提供可持续扩展能力；
3.模块之间有足够的链路,以提高网络的容量和可靠性；
4.合理分配模块提供的端口,使端口的使用率较为平均,确保当通信的源端和目的端过于密集的情况下,流量能够被分流至不同的端口上,从而达到均衡流量、减少热点的目的。
附图说明
图1为2层直径为2的互联结构示意图；
图2为基于图的互联网络模块间通信聚合瓶颈吞吐量数据图；
图3和图4均为基于图的互联网络与MDCube互联网络性能数据比较图；
具体实施方式
所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于图的数据中心模块互联方法，包括如下步骤：
S1、建立中心结构：使用服务器作为结构中心建立网络结构。
S2、建立模块内互连结构：采用层次图作为模块内互连结构，并对模块内互连结构进行内编号(使用16位二进制数字为模块内互连结构编号，从而生成内编号)。
S3、建立模块间互连结构：采用常量度数图作为模块间的互连结构，并对模块间互连结构进行外编号(使用8位二进制数字为模块间互连结构编号，从而生成外编号)。
S4、结构组合：将中心结构与每个模块间互连结构连接，根据步骤S2内编号和步骤S3的外编号通过模块间互连结构未被使用的交换机预留的高速端口将单个模块内互连结构连接，随后生成每个模块内互连结构的总编号(交换机仅作为交叉结构连接模块内部和模块之间的服务器，每个交换机提供1 一个高速端口作为模块内互连结构对外连接的端口，总编号的生成规则为对应的模块间互连结构的编号(外编号)加上模块内互连结构的编号(内编号)，即一个24位二级制数字作为总编号)。
S5、互联结构测试：使用中心结构向随机总编号的模块内互连结构发送测试信号，模块内互连结构收到测试信号后发送反馈信号发送至中心结构，通过测试信号的发送量与反馈信号的收集量的比值计算当前互联结构连接情况。
有益效果验证实验流程：
实验一：
测试不同规模基于图的互联网络模块间通信聚合瓶颈吞吐量数据。该实验模拟MapReduce的reduce过程,即每个reducer从所有mapper中取回数据, 产生一个all-to-all的流量模式.在该流量模式下,当服务器/交换机的失效率从0％达到20％时,观察2个模块间通信时网络的聚合瓶颈吞吐量的变化情况. 假设模块内部普通链路的速率为1Gbps,而不同模块间高速链路的速率为10Gbps。
从图2中可以看出：单个模块的大小(采用参数t的值表示)越大,基于图的互联网络中2个模块之间的聚合瓶颈吞吐量越大.因为当服务器的网络端口数一定时,单个模块中交换机的数量随规模的增大而增加,因此能够提供给模块间的通信链路也随之增多.与此同时,随着链路故障率的上升,网络的性能始终是平缓下降的,这是因为网络的模块内部和模块之间均存在多条并行路径,因此任意一对服务器间存在多条富连接,在网络失效的情况下,冗余的通信路径确保任意两台服务器间总有一条连通的链路.根据聚合瓶颈吞吐量还可以算出每台服务器实际获得的吞吐量,以规模为2304为例,当链路失效率为0时,2个模块间(共64台服务器)的最大聚合瓶颈吞吐量为45.304。因此, 在网卡线速为1Gbps的条件下,每台服务器实际获得的吞吐量为0.71Gbps。
实验二：
在目前提出的模块间互连结构中,Wu等采用的MDCube结构拥有最优聚合瓶颈吞吐量性能,因此,第2个实验比较单个模块规模相同、网络规模不同的基于图的互联网络和MDCube互联网络中2个模块间通信的聚合瓶颈吞吐量。
从图3和图4中看出,针对不同的互联网络规模，即不同的模块大小(采用参数t的值表示)和网络中总服务器数量(采用参数N的值表示)，基于图的互联网络的聚合瓶颈吞吐量大于MDCube互联网络。同时,随着网络失效率的增加,基于图的互联网络的性能下降更为平缓。
综上所述，该基于图的数据中心模块互联方法，结构设置合理，功能性强，具有以下优点：
1.DC网络将模块看作黑盒以适应各类模块内互连结构,因此，要求模块间的互连和路由与模块内部无关；
2.模块内部能够提供足够的空闲端口用于更大规模的网络互连,
提供可持续扩展能力；
3.模块之间有足够的链路,以提高网络的容量和可靠性；
4.合理分配模块提供的端口,使端口的使用率较为平均,确保当通信的源端和目的端过于密集的情况下,流量能够被分流至不同的端口上,从而达到均衡流量、减少热点的目的。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于图的数据中心模块互联方法，其特征在于，包括如下步骤：
S1、建立中心结构：使用服务器作为结构中心建立网络结构；
S2、建立模块内互连结构：采用层次图作为模块内互连结构，并对模块内互连结构进行内编号；
S3、建立模块间互连结构：采用常量度数图作为模块间的互连结构，并对模块间互连结构进行外编号；
S4、结构组合：将中心结构与每个模块间互连结构连接，根据步骤S2内编号和步骤S3的外编号通过模块间互连结构未被使用的交换机预留的高速端口将单个模块内互连结构连接，随后生成每个模块内互连结构的总编号；
S5、互联结构测试：使用中心结构向随机总编号的模块内互连结构发送测试信号，模块内互连结构收到测试信号后发送反馈信号发送至中心结构，通过测试信号的发送量与反馈信号的收集量的比值计算当前互联结构连接情况。
2.根据权利要求1所述的一种基于图的数据中心模块互联方法，其特征在于：在步骤S2中，使用16位二进制数字为模块内互连结构编号，从而生成内编号。
3.根据权利要求1所述的一种基于图的数据中心模块互联方法，其特征在于：在步骤S3中，使用8位二进制数字为模块间互连结构编号，从而生成外编号。
4.根据权利要求1所述的一种基于图的数据中心模块互联方法，其特征在于：在步骤S4中，交换机仅作为交叉结构连接模块内部和模块之间的服务器，每个交换机提供1一个高速端口作为模块内互连结构对外连接的端口。
5.根据权利要求1所述的一种基于图的数据中心模块互联方法，其特征在于：在步骤S4中，总编号的生成规则为对应的模块间互连结构的编号(外编号)加上模块内互连结构的编号(内编号)，即一个24位二级制数字作为总编号。
CN201910498502.4A 2019-06-10 2019-06-10 一种基于图的数据中心模块互联方法 Pending CN110224945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910498502.4A CN110224945A (zh) 2019-06-10 2019-06-10 一种基于图的数据中心模块互联方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910498502.4A CN110224945A (zh) 2019-06-10 2019-06-10 一种基于图的数据中心模块互联方法

Publications (1)

Publication Number Publication Date
CN110224945A true CN110224945A (zh) 2019-09-10

Family

ID=67816211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910498502.4A Pending CN110224945A (zh) 2019-06-10 2019-06-10 一种基于图的数据中心模块互联方法

Country Status (1)

Country Link
CN (1) CN110224945A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510404A (zh) * 2011-11-21 2012-06-20 中国人民解放军国防科学技术大学 数据中心的一种无损持续可扩展互联结构
CN104243527A (zh) * 2013-06-20 2014-12-24 华为技术有限公司 数据同步方法、数据同步装置及分布式系统
CN105847391A (zh) * 2016-04-25 2016-08-10 云南电网有限责任公司昆明供电局 一种分布式云数据中心结构

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510404A (zh) * 2011-11-21 2012-06-20 中国人民解放军国防科学技术大学 数据中心的一种无损持续可扩展互联结构
CN104243527A (zh) * 2013-06-20 2014-12-24 华为技术有限公司 数据同步方法、数据同步装置及分布式系统
CN105847391A (zh) * 2016-04-25 2016-08-10 云南电网有限责任公司昆明供电局 一种分布式云数据中心结构

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陆菲菲 等: ""一种构建超大规模数据中心的模块化网络结构"", 《软件学报》 *
陆菲菲 等: ""面向大规模数据中心的常量度数互连网络研究"", 《计算机研究与发展》 *

Similar Documents

Publication Publication Date Title
CN103222236B (zh) 网络中继系统和通信装置
CN101753455B (zh) 转发方法及装置
CN111193971B (zh) 一种面向机器学习的分布式计算互连网络系统及通信方法
CN103036792A (zh) 一种最大化最小公平多数据流传输调度方法
CN106506625A (zh) 四控服务器及四控服务器通信方法
CN104579949A (zh) 网络中继系统以及交换机装置
CN110932920B (zh) 一种网络拓扑结构
Liu et al. PSNet: Reconfigurable network topology design for accelerating parameter server architecture based distributed machine learning
CN105743816A (zh) 一种链路聚合方法及装置
CN107592218B (zh) 一种数据中心网络结构的构建方法
Feng et al. Criso: An incremental scalable and cost-effective network architecture for data centers
CN110224945A (zh) 一种基于图的数据中心模块互联方法
CN102461068A (zh) 建模设备和方法
Wu et al. Say no to rack boundaries: Towards a reconfigurable pod-centric dcn architecture
CN1165145C (zh) 一种大容量可扩展分组交换网络结构
CN203851159U (zh) 一种智能汇聚千兆交换机
CN112217652A (zh) 一种基于中心通信模式的网络拓扑装置及方法
CN102845042A (zh) 一种应用层多个活动物理接口的带宽聚集系统及方法
CN106603443B (zh) 一种在集群服务器系统中进行数据交换的方法
Thamarakuzhi et al. 2-dilated flattened butterfly: A nonblocking switching topology for high-radix networks
Dai et al. Optree: An efficient algorithm for all-gather operation in optical interconnect systems
Castillo A comprehensive DCell network topology model for a data center
Li et al. FlexNet: A optical switching architecture for optical data center networks
CN108932151A (zh) 一种混合虚拟数据中心高效映射方法
Wang et al. MNDM: MEMS-based N-dimensional modular hybrid data center network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190910