CN104580527B - 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法 - Google Patents
一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法 Download PDFInfo
- Publication number
- CN104580527B CN104580527B CN201510055010.XA CN201510055010A CN104580527B CN 104580527 B CN104580527 B CN 104580527B CN 201510055010 A CN201510055010 A CN 201510055010A CN 104580527 B CN104580527 B CN 104580527B
- Authority
- CN
- China
- Prior art keywords
- high speed
- modules
- dorsulum
- node
- speed connector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013461 design Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims abstract description 11
- 230000000631 nonopiate Effects 0.000 claims description 15
- 238000012546 transfer Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
Abstract
本发明提供一种面向云服务器应用的多I/O高密度多节点服务器系统设计方法，系统架构由计算节点、系统中背板、I/O模块、电源组成。系统可最多可支持20个节点，每个计算节点都是一个独立的计算单元。I/O模块是一种可插拔的外设模块，最多可支持5个。每个I/O模组内配有2块I/O 板，每个I/O板上有2个PCIE插槽，可外插PCIE卡，I/O板通过高速连接器与系统中背板相连。本发明为云服务器体系结构的模块化提供了一种高效可行的实现方法，必将广泛地用于未来的云服务器架构设计中。
Description
技术领域
本发明涉及云服务器技术领域,具体地说是一种面向云服务器应用的多I/O高密度多节点服务器系统设计方法。
背景技术
为了便于描述，这里以刀片服务器系统的IB应用为例，具体说明这种多I/O高密度多节点服务器系统架构的设计方法。
刀片服务器是一种高密度、具有高集成度形态的服务器，广泛应用于高性能计算能领域。进行大规模的并行计算，需要服务器节点与节点，以及服务器之间的互联。InfiniBand是一种支持多并发链接的“转换线缆”技术，解决了服务器端的连接问题，用于服务器与服务器，服务器和存储设备以及服务器和网络之间的通信。现在市场上的产品，IB应用主要基于FDR技术。EDR是下一代的infiniband技术。它相比于现在的FDR，整体传输速率由56Gb/s提升到100Gb/s，单个数据链路的传输速率由14Gb/s提升到25Gb/s，对应匹配的PCIE由PCIE3.0 X8提高到PCIE3.0 X16 。技术的提升对服务器系统提出了更高的要求，具备PCIE X16的环境是EDR技术的应用前提。同时，由于刀片服务器系统是计算节点高密度集成系统，设计还需要考虑如何实现多节点同时外接PCIE设备的集成架构问题。
发明内容
本发明的目的是提供一种面向云服务器应用的多I/O高密度多节点服务器系统设计方法。
本发明的目的是按以下方式实现的，系统包括服务器计算节点、背板、高速连接器和I/O模块，其特征在于，具体设计步骤如下：
1）中背板两侧设置有高速连接器，高速连接器通过数据线与服务器计算节点和I/O模块相连，中背板上的高速连接器的数目为20组，上下各有10组高速连接器，分别对应于系统中的20个计算节点；
2）高速连接器布线为6X12结构，总共72组差分对，对于每个单独的高速连接器，连线分为三组，在背板两侧高速连接器重叠的区域，节点上的信号走线通过高速连接器后直接与I/O模块相连，称为正交，在其他区域，节点上的信号走线到达高速连接器后，需要经由背板上的中转走线后，才能到达I/O模块，称为非正交，与服务器节点相连的高速连接器部分划分为三个区域：1/3是正交的，1/3用于 USB, 100M, 1G以太网和杂线，另外的1/3是非正交的，上下两层正交和非正交层都分布着X4的IB信号和X8的PCIE信号；
3）中背板设置有多I/O高密度服务器架构系统，整个系统机箱具有8U空间，最多可支持20个计算节点，计算节点在机箱内分布在上下两排排列，每排10个计算节点，中背板的一侧连接计算节点，另外一侧连接I/O模块；
4）在每个计算节点处，由处理单元发出PCIE X16 信号，PCIE信号到达连接器，被分成两路X8信号，分别经过高速连接器的正交区和非正交区，I/O模块有两个端口，一路PCIE X8信号正交直连到后面的一个I/O端口，另一路经由中背板非正交连到另外一个端口，通过正交与非正交两个PCIE X8组合的方式，计算节点与I/O模块PCIE X16的正交与非正交连接，实现了I/O模块和服务器节点之间的相互独立，同时支持X16的PCIE走线，满足了新一代Infiniband的技术要求。
本发明的有益效果是：整机柜云服务器面向海量数据的存储和处理，它以标准机柜为设计单位，可灵活支持计算、存储等各类服务器节点。同时兼容标准机架式网络交换机，统一对搭载服务器节点进行供电、散热和管理。设计的最终目标是实现模块化，根据具体业务需求配置资源。图4为整机柜云服务器的架构图。这种结构能够实现集中供电、集中散热、集中管理，具有更高的散热效率和电源转换效率。可以简化机房部署，方便维护。同时采用整机柜交付，可以提高交付效率，满足互联网大规模的部署需求。这种多I/O高密度多节点的服务器架构系统在空间上把功能模块从服务器节点上分离出来，可以提高空间利用率，符合整机柜云服务器的设计要求。
本发明体系架构创新之处在于通过巧妙的中背板布线设计，在原有X4的连接器层补充X8的信号，通过正交和非正交区组成X16信号，实现I/O功能模块的高密度集成和完全独立。
系统架构由计算节点、系统中背板、I/O模块、电源组成。系统可最多可支持20个节点，每个计算节点都是一个独立的计算单元。I/O模块是一种可插拔的外设模块，最多可支持5个。每个I/O模组内配有2块I/O 板，每个I/O板上有2个PCIE插槽，可外插PCIE卡，I/O板通过高速连接器与系统中背板相连。本发明为云服务器体系结构的模块化提供了一种高效可行的实现方法，必将广泛地用于未来的云服务器架构设计中。
附图说明
图1 是中背板连接器分布图；
图2 是高速连接器信号排布图；
图3 是基于新型中背板的多I/O高密度服务器架构；
图4 是整机柜云服务器系统架构图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
图1是系统中背板连接器分布图。背板两侧都布有连接器。实线部分表示服务器节点一侧的连接器，与节点相连；虚线部分表示I/O模块一侧的连接器，与I/O模块相连。中背板上连接器的数目为20组，上下各有10组，分别对应于系统中的20个计算节点。
图2为每个连接器上的信号排布图。高速连接器布线为6X12结构，总共72组差分对。对于每个单独的连接器，连线分为三组。在背板两侧连接器重叠的区域，节点上的信号走线通过连接器后直接与I/O模块相连，称为正交。在其他区域，节点上的信号走线到达连接器后，需要经由背板上的中转走线后，才能到达I/O模块，称为非正交。如图2，与服务器节点相连的连接器部分可以划分为三个区域：1/3是正交的，1/3用于 USB, 100M, 1G以太网和杂线，另外的1/3是非正交的。上下两层正交和非正交层都分布着X4的IB信号和X8的PCIE信号。
基于以上中背板，设计了如图3所示的多I/O高密度服务器架构系统。整个系统机箱具有8U空间，最多可支持20个计算节点。节点在机箱内分布在上下两排排列，每排10个节点。中背板的一侧连接计算节点，另外一侧连接I/O模块。
在每个节点处，由处理单元发出PCIE X16 信号。PCIE信号到达连接器，被分成两路X8信号，分别经过高速连接器的正交区和非正交区。I/O模块有两个端口。一路PCIE X8信号正交直连到后面的一个I/O端口，另一路经由中背板非正交连到另外一个端口。通过这种正交与非正交两个PCIE X8组合的方式，实现了节点与I/O模块PCIE X16的连接。这样实现了I/O模块和服务器节点之间的相互独立。同时支持X16的PCIE走线，满足了新一代Infiniband的技术要求。
这种多I/O高密度多节点的服务器架构系统在空间上把功能模块从服务器节点上分离出来，可以提高空间利用率，符合整机柜云服务器的设计要求。
整机柜云服务器面向海量数据的存储和处理，它以标准机柜为设计单位，可灵活支持计算、存储等各类服务器节点。同时兼容标准机架式网络交换机，统一对搭载服务器节点进行供电、散热和管理。设计的最终目标是实现模块化，根据具体业务需求配置资源。
图4为整机柜云服务器的架构图。这种结构能够实现集中供电、集中散热、集中管理，具有更高的散热效率和电源转换效率。可以简化机房部署，方便维护。同时采用整机柜交付，可以提高交付效率，满足互联网大规模的部署需求。
本发明为云服务器体系结构的模块化提供了一种高效可行的实现方法，必将广泛地用于未来的云服务器架构设计中。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (1)
1.一种面向云服务器应用的多I/O高密度多节点服务器系统设计方法, 系统包括计算节点、中背板、高速连接器和I/O模块，其特征在于，具体设计如下：
1）中背板两侧设置有高速连接器，高速连接器通过数据线与计算节点和I/O模块相连，中背板上的高速连接器的数目为20组，上下两排各有10组高速连接器，分别对应于系统中的20个计算节点；
2）在中背板两侧高速连接器重叠的区域，计算节点上的信号走线通过高速连接器后直接与I/O模块相连，称为正交，在其他区域，计算节点上的信号走线到达高速连接器后，需要经由中背板上的中转走线后，才能到达I/O模块，称为非正交，与计算节点相连的高速连接器分为三个区域：上部1/3区域是正交的，中部1/3区域是非正交的，下部1/3区域是非正交的，上部1/3区域和下部1/3区域都分布着X4的IB信号和X8的PCIE信号；
3）整个系统机箱最多支持20个计算节点，计算节点在机箱内分布在上下两排排列，每排10个计算节点，中背板的一侧连接计算节点，另外一侧连接I/O模块；
4）每个计算节点发出PCIE X16 信号，PCIE X16信号到达高速连接器，被分成两路PCIEX8信号，分别经过高速连接器的正交区和非正交区，I/O模块有两个端口，一路PCIE X8信号正交直连到一个I/O端口，另一路经由中背板非正交连到另外一个I/O端口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510055010.XA CN104580527B (zh) | 2015-02-03 | 2015-02-03 | 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510055010.XA CN104580527B (zh) | 2015-02-03 | 2015-02-03 | 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104580527A CN104580527A (zh) | 2015-04-29 |
| CN104580527B true CN104580527B (zh) | 2017-11-21 |
Family
ID=53095684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510055010.XA Active CN104580527B (zh) | 2015-02-03 | 2015-02-03 | 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104580527B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104951251B (zh) * | 2015-05-29 | 2018-02-23 | 浪潮电子信息产业股份有限公司 | 一种融合架构的云服务器系统 |
| CN105259979A (zh) * | 2015-09-28 | 2016-01-20 | 浪潮(北京)电子信息产业有限公司 | 一种混插刀片服务器 |
| CN105956659B (zh) * | 2016-05-11 | 2019-11-22 | 北京比特大陆科技有限公司 | 数据处理装置和系统、服务器 |
| CN109698845B (zh) * | 2017-10-20 | 2020-10-09 | 华为技术有限公司 | 数据传输的方法、服务器、卸载卡及存储介质 |
| CN111651293B (zh) * | 2020-05-08 | 2022-12-23 | 中国电子科技集团公司第十五研究所 | 一种微融合架构分布式系统及构建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102495819A (zh) * | 2011-11-18 | 2012-06-13 | 浪潮电子信息产业股份有限公司 | 三分之一正交实现刀片服务高速总线si优化和冗余的方法 |
| CN204044726U (zh) * | 2014-08-27 | 2014-12-24 | 浪潮电子信息产业股份有限公司 | 一种基于正交连接器的低尺寸刀片服务器背板 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8992252B2 (en) * | 2012-04-26 | 2015-03-31 | Tyco Electronics Corporation | Receptacle assembly for a midplane connector system |
-
2015
- 2015-02-03 CN CN201510055010.XA patent/CN104580527B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102495819A (zh) * | 2011-11-18 | 2012-06-13 | 浪潮电子信息产业股份有限公司 | 三分之一正交实现刀片服务高速总线si优化和冗余的方法 |
| CN204044726U (zh) * | 2014-08-27 | 2014-12-24 | 浪潮电子信息产业股份有限公司 | 一种基于正交连接器的低尺寸刀片服务器背板 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104580527A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104580527B (zh) | 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法 | |
| Chen et al. | The features, hardware, and architectures of data center networks: A survey | |
| US20220107741A1 (en) | Technolgies for millimeter wave rack interconnects | |
| CN109417518B (zh) | 用于在双模交换环境中处理分组的技术 | |
| AU2018200155B2 (en) | Method And Apparatus To Manage The Direct Interconnect Switch Wiring And Growth In Computer Networks | |
| US8103137B2 (en) | Optical network for cluster computing | |
| US8270830B2 (en) | Optical network for cluster computing | |
| US20130156425A1 (en) | Optical Network for Cluster Computing | |
| US9876735B2 (en) | Performance and power optimized computer system architectures and methods leveraging power optimized tree fabric interconnect | |
| CN106155959A (zh) | 数据传输方法及数据传输系统 | |
| EP2549388A1 (en) | Computer system | |
| TW201444453A (zh) | 架組成件結構 | |
| WO2012135361A1 (en) | Network transpose box and switch operation based on backplane ethernet | |
| CN102929363B (zh) | 一种高密度刀片服务器的设计方法 | |
| CN102866980A (zh) | 用于多核微处理器片上互连网络的网络通信胞元 | |
| CN105099776A (zh) | 云服务器的管理系统 | |
| CN105100234A (zh) | 一种云服务器互联系统 | |
| CN104679714A (zh) | 一种基于atca架构的超级计算机集群 | |
| US11055252B1 (en) | Modular hardware acceleration device | |
| CN104460890A (zh) | 一种高扩展性1u服务器机箱 | |
| CN104615201A (zh) | 一种集中管理存储系统架构 | |
| CN108090011A (zh) | 一种SAS Switch控制器扩展架构及设计方法 | |
| CN105577752A (zh) | 一种用于融合架构服务器的管理系统 | |
| WO2016086700A1 (zh) | 一种机架及通讯方法 | |
| CN104579786A (zh) | 一种基于融合和2D Torus网络拓扑架构的服务器设计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |