CN1901530A - 一种服务器系统 - Google Patents
一种服务器系统 Download PDFInfo
- Publication number
- CN1901530A CN1901530A CN 200510036202 CN200510036202A CN1901530A CN 1901530 A CN1901530 A CN 1901530A CN 200510036202 CN200510036202 CN 200510036202 CN 200510036202 A CN200510036202 A CN 200510036202A CN 1901530 A CN1901530 A CN 1901530A
- Authority
- CN
- China
- Prior art keywords
- plate
- processor
- server system
- backboard
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 11
- 238000013461 design Methods 0.000 description 8
- 238000009434 installation Methods 0.000 description 5
- 238000002955 isolation Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 108010028984 3-isopropylmalate dehydratase Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101100498823 Caenorhabditis elegans ddr-2 gene Proteins 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 102220064848 rs747251132 Human genes 0.000 description 1
- 102220066023 rs76776637 Human genes 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Hardware Redundancy (AREA)
- Multi Processors (AREA)
Abstract
本发明适用于计算机通信领域，提供了一种服务器系统，所述服务器系统包括多块处理器板、多块IO板、背板以及至少一块交换网板；所述处理器板、IO板以及交换网板分别通过串/并变换接口与背板连接；所述处理器板、IO板分别通过高速串行接口与交换网板连接。本发明提供的服务器系统通过与背板独立的交换网板实现了系统中处理器板之间的互连通信，便于系统的安装、维护、升级以及故障隔离和诊断。同时，系统可以采用无源背板，提高了背板的可靠性，降低了背板的设计难度。
Description
技术领域
本发明属于计算机通信领域，尤其涉及一种高性能服务器系统。
背景技术
传统的高性能服务器在系统架构的设计上受到当时技术条件的限制，为了提高系统的性能，高性能服务器内部各模块之间互连的带宽都尽可能大，时延都尽可能小。由于目前高速串行传输技术还不是很成熟，为了实现系统内部各模块间互连的高带宽和低时延的要求，现有高性能服务器内部模块之间互连一般都采用高速、高带宽的并行总线方式来实现。这些并行总线的特点是工作频率高而且总线的线宽很大，因此在电气特性方面就需要系统中各模块之间的耦合度比较紧密，以减少高速并行总线的传输距离。
图1示出了HP公司的Superdome高性能服务器的系统结构，Superdome服务器在逻辑功能上主要包括XBC模块、CELL模块和IO模块三种类型的模块。CELL模块是处理器模块，每个CELL模块主要包含4个处理器插座(CPUsockets)、内存模块以及CELL控制器。XBC模块是交换单元模块，多个XBC模块组成Superdome服务器的交换互连网络，CELL模块通过交换互连网络来实现与其它CELL模块之间的通信和数据交互。I/O模块主要提供系统对外接口。CELL模块上的CELL控制器通过72bits 500Mhz的并行总线连接到XBC模块上。两套冗余备份的XBC模块直接安放在背板上，两个不同机柜的背板之间的交换网络直接通过柔性电缆连接。
在Superdome服务器中，CELL模块通过CELL控制器经交换网络进行相互通信，CELL控制器与交换网络之间的通信端口是高速并行总线。由于受高速并行总线技术上的限制，交换网络直接在背板上提供，导致背板和交换网络之间联系过于紧密，就给背板和交换网的安装、维护、升级以及故障隔离和诊断带来很大不便。同时，由于系统背板要采用有源背板，降低了背板的可靠性，增加了背板的设计难度。
图2示出了SUN公司的高端服务器产品SUN Fire E25K/E20K系列的服务器系统的结构。系统主要包括18块CPU(Central Processor Unit，中央处理器)/内存板、18块I/O(Input/Output，输入/输出)板以及一个SUN FirePlane背板。每个CPU/内存板主要包括4个处理器，每个处理器外接8个DIMM(Dual-Inline-Memory-Modules，双列直插式存储模块)条。每个I/O板主要包括PCI(Peripheral Component Interconnect，外部设备互连)控制器和PCI插卡。SUN FirePlane背板主要包括3个18×18的交换网，分别用于实现各个单板之间的地址、响应以及数据交换。SUN FirePlane背板同CPU/内存板和I/O板之间通过一个扩展板相连，扩展板主要提供一个3×3的交换网络，用于实现在CPU/内存板、I/O板和一个FirePlane中的交换网端口之间的数据传送。FirePlane背板上的3个18×18的交换网络主要由板内的20个ASIC(Application-SpecificIntegrated Circuit，专用集成电路)芯片来完成。18×18交换网络的每个端口的位宽是256bits，工作频率是150MHz。
由于3个18×18的交换网络直接由背板上的20个ASIC芯片来提供，所以系统的交换网络不能实现热插拔功能。同时，由于背板上集成了太多器件，不仅要提供交换网络的功能，还要提供18块单板的接插件，给背板的设计带来很大的难度。同时给系统的安装、维护以及系统故障定位和隔离都来很大不便。另外，系统需要采用有源背板，降低了背板的可靠性，增加了背板的设计难度。
综上所述，在现有技术中，由于服务器系统的交换网络由背板提供，对系统的安装、维护、升级以及故障隔离和诊断造成了很大不便。同时，系统需要采用有源背板，降低了背板的可靠性，增加了背板的设计难度。
发明内容
本发明的目的在于解决现有技术中存在的由于服务器系统的交换网络由背板提供，不便于系统的安装、维护、升级以及故障隔离和诊断，以及系统需要采用有源背板，降低了背板的可靠性，增加了背板的设计难度等问题。
为了实现发明目的，本发明提供了一种服务器系统，所述服务器系统包括多块处理器板、多块IO板、背板以及至少一块交换网板；所述处理器板、IO板以及交换网板分别通过串/并变换接口与背板连接；所述处理器板、IO板分别通过高速串行接口与交换网板连接。
所述服务器系统包括两块交换网板，所述交换网板之间通过以太网接口连接。
所述背板为无源背板。
所述处理器板进一步包括：
多个处理器插座；
通过内存接口与所述处理器插座连接的多个内存模块；
通过CPU总线与所述多个处理器插座连接的节点控制器；
通过IO总线与所述处理器插座连接，以及通过传统总线与所述节点控制器连接的多个IO桥片；以及
通过传统总线与所述IO桥片连接的本地IO设备。
所述IO板进一步包括：
多个IO控制器，所述IO控制器对外提供IO接口；
通过传统总线与所述多个IO控制器连接的IO桥片；以及
通过传统总线与所述IO桥片连接的节点控制器。
所述交换网板进一步包括：
多个交换芯片，所述交换芯片之间通过高速并行总线连接，对外提供串/并变换接口。
本发明提供的服务器系统通过与背板独立的交换网板实现了系统中处理器板之间的互连通信，便于系统的安装、维护、升级以及故障隔离和诊断。同时，系统可以采用无源背板，提高了背板的可靠性，降低了背板的设计难度。
附图说明
图1是现有技术中的一种服务器系统的结构图；
图2是现有技术中的另外一种服务器系统的结构图；
图3是本发明提供的一个实施例中的服务器系统的结构图；
图4是本发明提供的另外一个实施例中的服务器系统的结构图；
图5是本发明提供的服务器系统中处理器板的结构图；
图6是本发明提供的服务器系统中IO板的结构图；
图7是本发明提供的服务器系统中交换网板的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明通过与背板独立的交换网板来实现系统中处理器板之间的互连网络。
作为本发明的一个实施例，如图3所示，系统主要包括多块处理器板、多块IO板、一块交换网板和一块背板。处理器板、IO板、交换网板都统一安装在背板上，通过SerDes(串/并变换)接口与背板通信。由于背板不提供交换网络，其实现的功能集中在信号互连以及提供单板接插件等方面，因此可以采用无源背板来实现。
系统通过交换网板实现处理器板之间的互连通信，以及处理器板和IO板之间的相互通信。交换网板实现一个n×n端口的交换网络，交换网络的每个端口在物理上包括多个高速SerDes接口，分别实现NUMA(Non Uniform MemoryAccess，非一致存储器访问)Link(连接)功能和IO Link功能。
每个处理器板对外提供多路高速串行SerDes接口，连接到交换网板的一个交换端口上，与其它处理器板或IO板之间进行通信。
IO板主要提供系统的IO设备，不同的IO板提供不同的IO控制器和对外I/O接口。同处理器板一样，IO板也通过高速串行SerDes接口连接到交换网板的一个交换端口上，与处理器板之间进行通信。
作为本发明的另外一个实施例，如图4所示，为了提高系统的稳定性，系统采用两个独立的实现冗余备份功能的交换网板来完成系统中处理器板之间以及处理器板与IO板之间的互连通信，两块交换网板之间可以通过以太网接口GE(Gigabit Ethernet，千兆以大网)连接。
图5示出了处理器板的结构，包括多个处理器插座(CPU socket)、多个内存模块(Memory)、多个IO桥片、节点控制器(Node Controller)以及单板管理控制器(BMC，Board Management Controller)、电源模块和时钟模块。
处理器插座用来放置处理器(CPU，Central Processor Unit)。每个处理器插座外接多个DIMM条，多个DIMM条组成内存模块，内存模块与处理器插座之间通过DDR(Double Data Rate，双倍数据速率)或DDR-2等内存接口来连接。
节点控制器与各个处理器插座之间通过实现Cache(高速缓存)一致性协议的CPU对外总线(CPU Bus)来连接，与IO桥片之间通过PCI、PCI-X或PCI-E等传统IO总线来连接。节点控制器与背板之间的NUMA Link和IO Link在物理上通过SerDes接口来连接。
节点控制器主要用来实现两个功能，第一是完成多处理器之间的NUMA互连，实现不同处理器板的处理器之间的Cache一致性协议；第二是实现处理器板的IO总线与SerDes(串/并变换)接口转换功能，以实现处理器板和IO板之间的互连。
IO桥片主要实现处理器HOST接口与PCI、PCI-express等标准IO总线之间的转换。本地IO设备，如硬盘、USB(Universal Serial Bus，通用串行总线)、串/并口、BIOS(Basic Input/Output System，基本输入输出系统)等通过传统IO总线(Legacy Bus)与IO桥片相连，实现与处理器之间的通信。
如图6所示，IO板主要包括节点控制器、IO桥片、IO控制器以及单板管理控制器、电源模块和时钟模块。
节点控制器和IO桥片之间通过PCI-E、PCI等传统IO总线来连接。IO桥片和各个不同的IO控制器之间也是通过传统IO总线来连接，不同的IO控制器提供对外不同的IO接口，如存储接口SATA(Serial ATA，串行ATA)、FC(Fiber Channel，光纤通道)或SCSI(Small Computer System Interface，小型计算机系统接口)等，以及网络接口GE等。
为了减少设计工作量，IO板采用的节点控制器和处理器板的节点控制器相同，由于IO板不需要对外提供NUMA Link，同时为了减少单板功耗，因此在IO板上使用节点控制器时需要禁用节点控制器对外的NUMA Link接口。
如图7所示，交换网板主要由多片ASIC交换芯片组成，各个交换芯片之间通过高速并行总线(High Speed Parallel Bus)来互连，每个交换芯片对外提供多个串行Serdes接口，不同的Serdes接口通过运载不同的协议数据来实现NUMA Link功能和IO Link功能。
在本发明中，处理器板、IO板以及交换网板均采用独立的单板管理控制器(BMC，Board Management Controller)、电源模块以及时钟模块。单板管理控制器是板级设备管理模块，主要用来获取单板主要模块运行状态信息以及单板温度和电压信息以及控制单板上下电操作。各单板的单板管理控制器通过标准的IPMI(Intelligent Platform Management Interface，智能平台管理接口)接口通过背板将各单板的设备运行状态信息输出到系统的设备管理系统(图中未示出)中。电源模块用来提供单板的电源信号，时钟模块用来提供单板运行需要的时钟信号。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1、一种服务器系统，其特征在于，所述服务器系统包括多块处理器板、多块IO板、背板以及至少一块交换网板；所述处理器板、IO板以及交换网板分别通过串/并变换接口与背板连接；所述处理器板、IO板分别通过高速串行接口与交换网板连接。
2、如权利要求1所述的服务器系统，其特征在于，所述服务器系统包括两块交换网板，所述交换网板之间通过以太网接口连接。
3、如权利要求1所述的服务器系统，其特征在于，所述背板为无源背板。
4、如权利要求1所述的服务器系统，其特征在于，所述处理器板进一步包括：
多个处理器插座；
通过内存接口与所述处理器插座连接的多个内存模块；
通过CPU总线与所述多个处理器插座连接的节点控制器；
通过IO总线与所述处理器插座连接，以及通过传统总线与所述节点控制器连接的多个IO桥片；以及
通过传统总线与所述IO桥片连接的本地IO设备。
5、如权利要求1所述的服务器系统，其特征在于，所述IO板进一步包括：
多个IO控制器，所述IO控制器对外提供IO接口；
通过传统总线与所述多个IO控制器连接的IO桥片；以及
通过传统总线与所述IO桥片连接的节点控制器。
6、如权利要求1所述的服务器系统，其特征在于，所述交换网板进一步包括：
多个交换芯片，所述交换芯片之间通过高速并行总线连接，对外提供串/并变换接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2005100362022A CN1901530B (zh) | 2005-07-24 | 2005-07-24 | 一种服务器系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2005100362022A CN1901530B (zh) | 2005-07-24 | 2005-07-24 | 一种服务器系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1901530A true CN1901530A (zh) | 2007-01-24 |
| CN1901530B CN1901530B (zh) | 2010-06-09 |
Family
ID=37657271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2005100362022A Expired - Fee Related CN1901530B (zh) | 2005-07-24 | 2005-07-24 | 一种服务器系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1901530B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872213A (zh) * | 2010-04-19 | 2010-10-27 | 浪潮电子信息产业股份有限公司 | 一种基于qpi链接架构的组合式服务器主板设计方法 |
| CN101419486B (zh) * | 2008-11-28 | 2012-01-04 | 成都市华为赛门铁克科技有限公司 | 双机服务器系统及系统背板 |
| CN102710423A (zh) * | 2012-05-14 | 2012-10-03 | 中兴通讯股份有限公司 | 一种atca背板 |
| CN101247235B (zh) * | 2008-03-20 | 2012-12-19 | 中兴通讯股份有限公司 | 机架式设备及其主控模块和子模块 |
| CN104090797A (zh) * | 2014-07-08 | 2014-10-08 | 杭州华三通信技术有限公司 | 一种网板升级方法及网络设备 |
| CN104317364A (zh) * | 2014-11-17 | 2015-01-28 | 浪潮电子信息产业股份有限公司 | 一种采用无源背板的多路服务器架构 |
| CN104750581A (zh) * | 2015-04-01 | 2015-07-01 | 浪潮电子信息产业股份有限公司 | 一种冗余互连的内存共享的服务器系统 |
| CN107122268A (zh) * | 2017-05-19 | 2017-09-01 | 郑州云海信息技术有限公司 | 一种基于numa多物理层分区处理系统 |
| WO2019085849A1 (zh) * | 2017-11-06 | 2019-05-09 | 中兴通讯股份有限公司 | 一种存储设备及存储系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5472347A (en) * | 1993-09-17 | 1995-12-05 | Allen-Bradley Company, Inc. | System for interconnecting I/O modules for data communications over a common backplane |
| CN1167307C (zh) * | 2001-04-30 | 2004-09-15 | 华为技术有限公司 | 采用背板高速串行线传输多路电路数据的方法 |
| CN1521642A (zh) * | 2003-01-30 | 2004-08-18 | 德胜科技股份有限公司 | 一种机箱型网络管理介质转换器装置及其内部资料传输的方法 |
| CN1585560A (zh) * | 2004-06-04 | 2005-02-23 | 武汉海博光技术有限公司 | 可扩展的光电混合光纤网络背板系统 |
-
2005
- 2005-07-24 CN CN2005100362022A patent/CN1901530B/zh not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101247235B (zh) * | 2008-03-20 | 2012-12-19 | 中兴通讯股份有限公司 | 机架式设备及其主控模块和子模块 |
| CN101419486B (zh) * | 2008-11-28 | 2012-01-04 | 成都市华为赛门铁克科技有限公司 | 双机服务器系统及系统背板 |
| CN101872213A (zh) * | 2010-04-19 | 2010-10-27 | 浪潮电子信息产业股份有限公司 | 一种基于qpi链接架构的组合式服务器主板设计方法 |
| US9454191B2 (en) | 2012-05-14 | 2016-09-27 | Zte Corporation | ATCA backplane |
| CN102710423A (zh) * | 2012-05-14 | 2012-10-03 | 中兴通讯股份有限公司 | 一种atca背板 |
| WO2013170681A1 (zh) * | 2012-05-14 | 2013-11-21 | 中兴通讯股份有限公司 | 一种atca背板 |
| CN104090797B (zh) * | 2014-07-08 | 2017-06-23 | 新华三技术有限公司 | 一种网板升级方法及网络设备 |
| CN104090797A (zh) * | 2014-07-08 | 2014-10-08 | 杭州华三通信技术有限公司 | 一种网板升级方法及网络设备 |
| CN104317364A (zh) * | 2014-11-17 | 2015-01-28 | 浪潮电子信息产业股份有限公司 | 一种采用无源背板的多路服务器架构 |
| CN104750581A (zh) * | 2015-04-01 | 2015-07-01 | 浪潮电子信息产业股份有限公司 | 一种冗余互连的内存共享的服务器系统 |
| CN107122268A (zh) * | 2017-05-19 | 2017-09-01 | 郑州云海信息技术有限公司 | 一种基于numa多物理层分区处理系统 |
| CN107122268B (zh) * | 2017-05-19 | 2020-03-10 | 郑州云海信息技术有限公司 | 一种基于numa多物理层分区处理系统 |
| WO2019085849A1 (zh) * | 2017-11-06 | 2019-05-09 | 中兴通讯股份有限公司 | 一种存储设备及存储系统 |
| CN109753460A (zh) * | 2017-11-06 | 2019-05-14 | 中兴通讯股份有限公司 | 一种存储设备及存储系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1901530B (zh) | 2010-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1901530B (zh) | 一种服务器系统 | |
| CN1812693B (zh) | 一种双总线接口电路板组件及其装配方法 | |
| US20120047302A1 (en) | Storage system | |
| KR20020041281A (ko) | 네트워크 스위치가 내장된 고밀도 멀티 서버 시스템 | |
| CN202870800U (zh) | 一种嵌入式大容量网络存储控制模块 | |
| CN1262935C (zh) | 计算机、辅助竖板卡和计算机系统 | |
| CN109033009A (zh) | 一种支持通用和机柜型服务器的电路板及系统 | |
| CN103036958A (zh) | 一种服务器集群高速存储系统 | |
| CN100541387C (zh) | 一种基于Opteron处理器的服务器系统 | |
| CN101894055A (zh) | 一种具有冗余功能的刀片主板接口的实现方法 | |
| CN211149445U (zh) | 一种高速数据处理平台 | |
| CN112347033A (zh) | 一种基于vpx架构的多单元服务器实现方法 | |
| CN115481068B (zh) | 服务器及数据中心 | |
| CN213276461U (zh) | 一种双路服务器主板及服务器 | |
| CN215835409U (zh) | 一种万兆单光口以太网适配器 | |
| CN213276462U (zh) | 双路服务器主板及双路服务器 | |
| CN115268581A (zh) | 一种高性能计算力的ai边缘服务器系统架构 | |
| US7111066B2 (en) | Method of operating a storage device | |
| US7228338B2 (en) | Multi-service platform module | |
| CN113840489A (zh) | 一种基于混合架构的刀片计算机系统 | |
| CN113268445A (zh) | 一种基于vpx架构的国产双控混合存储控制模块实现方法 | |
| CN217847021U (zh) | 一种高性能计算力的ai边缘服务器系统架构 | |
| CN214256754U (zh) | 一种用于容错计算机数据同步的pcb连接板模块 | |
| Kwon et al. | Microserver architecture with high-speed interconnected network | |
| CN110022255A (zh) | 基于混合通讯网络数据交换的模块化泛在电力物联网平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100609 |