CN104580527A - 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法 - Google Patents

一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法 Download PDF

Info

Publication number
CN104580527A
CN104580527A CN201510055010.XA CN201510055010A CN104580527A CN 104580527 A CN104580527 A CN 104580527A CN 201510055010 A CN201510055010 A CN 201510055010A CN 104580527 A CN104580527 A CN 104580527A
Authority
CN
China
Prior art keywords
high speed
module
node
pcie
speed connector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510055010.XA
Other languages
English (en)
Other versions
CN104580527B (zh
Inventor
王辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201510055010.XA priority Critical patent/CN104580527B/zh
Publication of CN104580527A publication Critical patent/CN104580527A/zh
Application granted granted Critical
Publication of CN104580527B publication Critical patent/CN104580527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供一种面向云服务器应用的多I/O高密度多节点服务器系统设计方法，系统架构由计算节点、系统中背板、I/O模块、电源组成。系统可最多可支持20个节点，每个计算节点都是一个独立的计算单元。I/O模块是一种可插拔的外设模块，最多可支持5个。每个I/O模组内配有2块I/O板，每个I/O板上有2个PCIE插槽，可外插PCIE卡，I/O板通过高速连接器与系统中背板相连。发明为云服务器体系结构的模块化提供了一种高效可行的实现方法，必将广泛地用于未来的云服务器架构设计中。

Description

一种面向云服务器应用的多I/O高密度多节点服务器系统设计方法
技术领域
本发明涉及云服务器技术领域,具体地说是一种面向云服务器应用的多I/O高密度多节点服务器系统设计方法。
背景技术
为了便于描述，这里以刀片服务器系统的IB应用为例，具体说明这种多I/O高密度多节点服务器系统架构的设计方法。
刀片服务器是一种高密度、具有高集成度形态的服务器，广泛应用于高性能计算能领域。进行大规模的并行计算，需要服务器节点与节点，以及服务器之间的互联。InfiniBand是一种支持多并发链接的“转换线缆”技术，解决了服务器端的连接问题，用于服务器与服务器，服务器和存储设备以及服务器和网络之间的通信。现在市场上的产品，IB应用主要基于FDR技术。EDR是下一代的infiniband技术。它相比于现在的FDR，整体传输速率由56Gb/s提升到100Gb/s，单个数据链路的传输速率由14Gb/s提升到25Gb/s，对应匹配的PCIE由PCIE3.0 X8提高到PCIE3.0 X16 。技术的提升对服务器系统提出了更高的要求，具备PCIE X16的环境是EDR技术的应用前提。同时，由于刀片服务器系统是计算节点高密度集成系统，设计还需要考虑如何实现多节点同时外接PCIE设备的集成架构问题。
发明内容
本发明的目的是提供一种面向云服务器应用的多I/O高密度多节点服务器系统设计方法。
本发明的目的是按以下方式实现的，系统包括服务器计算节点、背板、高速连接器和I/O模块，其特征在于，具体设计步骤如下：
1）中背板两侧设置有高速连接器，高速连接器通过数据线与服务器计算节点和I/O模块相连，中背板上的高速连接器的数目为20组，上下各有10组高速连接器，分别对应于系统中的20个计算节点；
2）高速连接器布线为6X12结构，总共72组差分对，对于每个单独的高速连接器，连线分为三组，在背板两侧高速连接器重叠的区域，节点上的信号走线通过高速连接器后直接与I/O模块相连，称为正交，在其他区域，节点上的信号走线到达高速连接器后，需要经由背板上的中转走线后，才能到达I/O模块，称为非正交，与服务器节点相连的高速连接器部分划分为三个区域：1/3是正交的，1/3用于 USB, 100M, 1G以太网和杂线，另外的1/3是非正交的，上下两层正交和非正交层都分布着X4的IB信号和X8的PCIE信号；
3）中背板设置有多I/O高密度服务器架构系统，整个系统机箱具有8U空间，最多可支持20个计算节点，计算节点在机箱内分布在上下两排排列，每排10个计算节点，中背板的一侧连接计算节点，另外一侧连接I/O模块；
4）在每个计算节点处，由处理单元发出PCIE X16 信号，PCIE信号到达连接器，被分成两路X8信号，分别经过高速连接器的正交区和非正交区，I/O模块有两个端口，一路PCIE X8信号正交直连到后面的一个I/O端口，另一路经由中背板非正交连到另外一个端口，通过正交与非正交两个PCIE X8组合的方式，计算节点与I/O模块PCIE X16的正交与非正交连接，实现了I/O模块和服务器节点之间的相互独立，同时支持X16的PCIE走线，满足了新一代Infiniband的技术要求。
本发明的有益效果是：整机柜云服务器面向海量数据的存储和处理，它以标准机柜为设计单位，可灵活支持计算、存储等各类服务器节点。同时兼容标准机架式网络交换机，统一对搭载服务器节点进行供电、散热和管理。设计的最终目标是实现模块化，根据具体业务需求配置资源。图4为整机柜云服务器的架构图。这种结构能够实现集中供电、集中散热、集中管理，具有更高的散热效率和电源转换效率。可以简化机房部署，方便维护。同时采用整机柜交付，可以提高交付效率，满足互联网大规模的部署需求。这种多I/O高密度多节点的服务器架构系统在空间上把功能模块从服务器节点上分离出来，可以提高空间利用率，符合整机柜云服务器的设计要求。
本发明体系架构创新之处在于通过巧妙的中背板布线设计，在原有X4的连接器层补充X8的信号，通过正交和非正交区组成X16信号，实现I/O功能模块的高密度集成和完全独立。
系统架构由计算节点、系统中背板、I/O模块、电源组成。系统可最多可支持20个节点，每个计算节点都是一个独立的计算单元。I/O模块是一种可插拔的外设模块，最多可支持5个。每个I/O模组内配有2块I/O 板，每个I/O板上有2个PCIE插槽，可外插PCIE卡，I/O板通过高速连接器与系统中背板相连。本发明为云服务器体系结构的模块化提供了一种高效可行的实现方法，必将广泛地用于未来的云服务器架构设计中。
附图说明
图1 是中背板连接器分布图；
图2 是高速连接器信号排布图；
图3 是基于新型中背板的多I/O高密度服务器架构；
图4 是整机柜云服务器系统架构图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
图1是系统中背板连接器分布图。背板两侧都布有连接器。实线部分表示服务器节点一侧的连接器，与节点相连；虚线部分表示I/O模块一侧的连接器，与I/O模块相连。中背板上连接器的数目为20组，上下各有10组，分别对应于系统中的20个计算节点。
图2为每个连接器上的信号排布图。高速连接器布线为6X12结构，总共72组差分对。对于每个单独的连接器，连线分为三组。在背板两侧连接器重叠的区域，节点上的信号走线通过连接器后直接与I/O模块相连，称为正交。在其他区域，节点上的信号走线到达连接器后，需要经由背板上的中转走线后，才能到达I/O模块，称为非正交。如图2，与服务器节点相连的连接器部分可以划分为三个区域：1/3是正交的，1/3用于 USB, 100M, 1G以太网和杂线，另外的1/3是非正交的。上下两层正交和非正交层都分布着X4的IB信号和X8的PCIE信号。
基于以上中背板，设计了如图3所示的多I/O高密度服务器架构系统。整个系统机箱具有8U空间，最多可支持20个计算节点。节点在机箱内分布在上下两排排列，每排10个节点。中背板的一侧连接计算节点，另外一侧连接I/O模块。
在每个节点处，由处理单元发出PCIE X16 信号。PCIE信号到达连接器，被分成两路X8信号，分别经过高速连接器的正交区和非正交区。I/O模块有两个端口。一路PCIE X8信号正交直连到后面的一个I/O端口，另一路经由中背板非正交连到另外一个端口。通过这种正交与非正交两个PCIE X8组合的方式，实现了节点与I/O模块PCIE X16的连接。这样实现了I/O模块和服务器节点之间的相互独立。同时支持X16的PCIE走线，满足了新一代Infiniband的技术要求。
这种多I/O高密度多节点的服务器架构系统在空间上把功能模块从服务器节点上分离出来，可以提高空间利用率，符合整机柜云服务器的设计要求。
整机柜云服务器面向海量数据的存储和处理，它以标准机柜为设计单位，可灵活支持计算、存储等各类服务器节点。同时兼容标准机架式网络交换机，统一对搭载服务器节点进行供电、散热和管理。设计的最终目标是实现模块化，根据具体业务需求配置资源。
图4为整机柜云服务器的架构图。这种结构能够实现集中供电、集中散热、集中管理，具有更高的散热效率和电源转换效率。可以简化机房部署，方便维护。同时采用整机柜交付，可以提高交付效率，满足互联网大规模的部署需求。
本发明为云服务器体系结构的模块化提供了一种高效可行的实现方法，必将广泛地用于未来的云服务器架构设计中。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种面向云服务器应用的多I/O高密度多节点服务器系统设计方法, 系统包括服务器计算节点、中背板、高速连接器和I/O模块，其特征在于，具体设计步骤如下：
1）中背板两侧设置有高速连接器，高速连接器通过数据线与服务器计算节点和I/O模块相连，中背板上的高速连接器的数目为20组，上下各有10组高速连接器，分别对应于系统中的20个计算节点；
2）高速连接器布线为6X12结构，总共72组差分对，对于每个单独的高速连接器，连线分为三组，在背板两侧高速连接器重叠的区域，节点上的信号走线通过高速连接器后直接与I/O模块相连，称为正交，在其他区域，节点上的信号走线到达高速连接器后，需要经由背板上的中转走线后，才能到达I/O模块，称为非正交，与服务器节点相连的高速连接器部分划分为三个区域：1/3是正交的，1/3用于 USB, 100M, 1G以太网和杂线，另外的1/3是非正交的，上下两层正交和非正交层都分布着X4的IB信号和X8的PCIE信号；
3）中背板设置有多I/O高密度服务器架构系统，整个系统机箱具有8U空间，最多可支持20个计算节点，计算节点在机箱内分布在上下两排排列，每排10个计算节点，中背板的一侧连接计算节点，另外一侧连接I/O模块；
4）在每个计算节点处，由处理单元发出PCIE X16 信号，PCIE信号到达连接器，被分成两路X8信号，分别经过高速连接器的正交区和非正交区，I/O模块有两个端口，一路PCIE X8信号正交直连到后面的一个I/O端口，另一路经由中背板非正交连到另外一个端口，通过正交与非正交两个PCIE X8组合的方式，计算节点与I/O模块PCIE X16的正交与非正交连接，实现了I/O模块和服务器节点之间的相互独立，同时支持X16的PCIE走线，满足了新一代Infiniband的技术要求。
CN201510055010.XA 2015-02-03 2015-02-03 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法 Active CN104580527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510055010.XA CN104580527B (zh) 2015-02-03 2015-02-03 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510055010.XA CN104580527B (zh) 2015-02-03 2015-02-03 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法

Publications (2)

Publication Number Publication Date
CN104580527A true CN104580527A (zh) 2015-04-29
CN104580527B CN104580527B (zh) 2017-11-21

Family

ID=53095684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510055010.XA Active CN104580527B (zh) 2015-02-03 2015-02-03 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法

Country Status (1)

Country Link
CN (1) CN104580527B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951251A (zh) * 2015-05-29 2015-09-30 浪潮电子信息产业股份有限公司 一种融合架构的云服务器系统架构
CN105259979A (zh) * 2015-09-28 2016-01-20 浪潮(北京)电子信息产业有限公司 一种混插刀片服务器
CN105956659A (zh) * 2016-05-11 2016-09-21 北京比特大陆科技有限公司 数据处理装置和系统、服务器
CN109698845A (zh) * 2017-10-20 2019-04-30 华为技术有限公司 数据传输的方法、服务器、卸载卡及存储介质
CN111651293A (zh) * 2020-05-08 2020-09-11 中国电子科技集团公司第十五研究所 一种微融合架构分布式系统及构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495819A (zh) * 2011-11-18 2012-06-13 浪潮电子信息产业股份有限公司 三分之一正交实现刀片服务高速总线si优化和冗余的方法
US20130288525A1 (en) * 2012-04-26 2013-10-31 Tyco Electronics Corporation Receptacle assembly for a midplane connector system
CN204044726U (zh) * 2014-08-27 2014-12-24 浪潮电子信息产业股份有限公司 一种基于正交连接器的低尺寸刀片服务器背板

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495819A (zh) * 2011-11-18 2012-06-13 浪潮电子信息产业股份有限公司 三分之一正交实现刀片服务高速总线si优化和冗余的方法
US20130288525A1 (en) * 2012-04-26 2013-10-31 Tyco Electronics Corporation Receptacle assembly for a midplane connector system
CN204044726U (zh) * 2014-08-27 2014-12-24 浪潮电子信息产业股份有限公司 一种基于正交连接器的低尺寸刀片服务器背板

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951251A (zh) * 2015-05-29 2015-09-30 浪潮电子信息产业股份有限公司 一种融合架构的云服务器系统架构
CN104951251B (zh) * 2015-05-29 2018-02-23 浪潮电子信息产业股份有限公司 一种融合架构的云服务器系统
CN105259979A (zh) * 2015-09-28 2016-01-20 浪潮(北京)电子信息产业有限公司 一种混插刀片服务器
CN105956659A (zh) * 2016-05-11 2016-09-21 北京比特大陆科技有限公司 数据处理装置和系统、服务器
CN109698845A (zh) * 2017-10-20 2019-04-30 华为技术有限公司 数据传输的方法、服务器、卸载卡及存储介质
CN109698845B (zh) * 2017-10-20 2020-10-09 华为技术有限公司 数据传输的方法、服务器、卸载卡及存储介质
CN111651293A (zh) * 2020-05-08 2020-09-11 中国电子科技集团公司第十五研究所 一种微融合架构分布式系统及构建方法
CN111651293B (zh) * 2020-05-08 2022-12-23 中国电子科技集团公司第十五研究所 一种微融合架构分布式系统及构建方法

Also Published As

Publication number Publication date
CN104580527B (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
EP3284218B1 (en) Switch network architecture
US11200104B2 (en) Technolgies for millimeter wave rack interconnects
AU2018200155B2 (en) Method And Apparatus To Manage The Direct Interconnect Switch Wiring And Growth In Computer Networks
US8270830B2 (en) Optical network for cluster computing
US8103137B2 (en) Optical network for cluster computing
US20130156425A1 (en) Optical Network for Cluster Computing
CN104580527A (zh) 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法
GB2524140A (en) Computer system with groups of processor boards
US9609782B2 (en) Rack assembly structure
CN109315079A (zh) 用于机架架构的技术
CN106155959A (zh) 数据传输方法及数据传输系统
US11100040B2 (en) Modular remote direct memory access interfaces
Schares et al. Optics in future data center networks
US20150254201A1 (en) Standard pci express add-in card form factor multi ports network interface controller supporting multi dimensional network topologies
CN105100234B (zh) 一种云服务器互联系统
CN107430574A (zh) 用于分析系统的io、处理和存储器带宽的优化的方法和装置
JP2021185497A (ja) 再構成可能なサーバー及びそれを有するサーバーラック
CN107480094A (zh) 一种融合架构的池化服务器系统架构
US9753881B2 (en) FPGA based ATCA (Advanced Telecommunications Computing Architecture) platform
US11055252B1 (en) Modular hardware acceleration device
CN105577752A (zh) 一种用于融合架构服务器的管理系统
CN108183872B (zh) 交换机系统及其构建方法
CN102799708B (zh) 应用于电磁仿真的gpu高性能计算平台装置
CN104063023A (zh) 一种Grantley平台的主板
CN209248518U (zh) 一种固态硬盘扩展板卡及服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant