CN111273742B

CN111273742B - 一种基于正交构架的高密度服务模块化系统

Info

Publication number: CN111273742B
Application number: CN201911224936.1A
Authority: CN
Inventors: 陈嘉琪; 罗先林
Original assignee: Shenzhen Time Communication Technology Co ltd
Current assignee: Shenzhen Time Communication Technology Co ltd
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2022-04-12
Anticipated expiration: 2039-12-04
Also published as: CN111273742A

Abstract

本发明公开了一种基于正交构架的高密度服务模块化系统，包括单板系统，物理接口上，底板由前面板接口、背板接口、以及板内的板对板夹层连接器接口、存储接口连接器构成，板内主要包含双25GE端口PCIE网卡芯片XXV710、4端口千兆PHY芯片88E1543、VGA显卡SM750、CPLD、IPMC、时钟BUFFER以及电源转换电路，此基于正交构架的高密度服务模块化系统，通过CPU子卡模块化设计提升产品可靠性并缩短研发周期，精简的模块接口设计具有广泛的适用性，小巧的外形即保证了高密度布局，又给接口板预留了足够的扩展空间。

Description

一种基于正交构架的高密度服务模块化系统

技术领域

本发明涉及电信运营商和企业级客户在通信和服务器方面应用技术领域，具体为一种基于正交构架的高密度服务模块化系统。

背景技术

随着互联网、移动互联网的高速发展，各种互联网+的应用层出不穷，对网络的和带宽需求不断上升，骨干网络和城域网络等都已经以100Gbps的光传输，是网络互联的主流。同时，网络互联接口的标准也在不断进步，按照100G→400G→800G的速率演进，对网络处理平台提出更高的要求。

由于传统的通信设备结构不能适应这种高带宽的处理，因此，近年来各通信设备厂家在逐步推广正交架构的通信设备。正交架构是指在通信设备中由机箱，以及一组前方横置的业务板卡，和一组后方纵置的交换板卡组成。每一片横置的业务板卡和每一片纵置的交换板卡之间都有100-400Gbps的连接，通过正交连接器实现互联。

目前，通信设备厂家虽然都使用正交架构，但在机械结构、板卡尺寸、连接方式、电源等各方面都采用私有的标准，因此各厂家的板卡不能通用。同时，为应对大带宽的流量处理，各实现了正交架构的厂家迫切希望在自有结构中使用符合自家规格的x86服务器刀片。

然而，部分厂家在实现符合自家规格的x86服务器刀片过程中存在如下困难：

1、不具备x86服务器设计经验

2、因厂家正交架构的私有特性，无法使用标准的通用服务器

3、服务器在正交架构上实现大带宽的挑战。

现有应用对服务器的高密度需求越来越大，传统的2S服务器已经无法满足需求；大型服务器研发周期长，且客户需求存在差异化，急需缩短研发周期。为此，我们提出一种基于正交构架的高密度服务模块化系统。

发明内容

本发明的目的在于提供一种基于正交构架的高密度服务模块化系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：我们提出了一种底板+子卡的解决方案，来支持不同厂家快速设计实现正交x86服务器刀片。具体方案是：

1、设计一种统一的双路x86处理器的服务器子卡，将各类信号通过子卡与底板之间的连接器引出来

2、为各正交厂家设计不同的正交底板，底板上可以承载1-4个服务器子卡，并在底板上通过高性能网卡芯片来实现与正交交换板之间的大带宽通信。

与现有技术相比，本发明的有益效果是：

1、本发明通过CPU子卡模块化设计提升产品可靠性并缩短研发周期。

2、本发明精简的模块接口设计具有广泛的适用性。

3、本发明小巧的外形即保证了高密度布局，又给接口板预留了足够的扩展空间

附图说明

图1为单板硬件原理框图；

图2为220pin夹层连接器PLUG(底板端)结构示意图；

图3为COMEXPRESSTYPE7引脚定义概览图；

图4为XXV710-AM2电路功能框图；

图5为88E1543应用框图；

图6为系统时钟框图；

图7为系统SMBUS框图；

图8为系统电源框图；

图9为业务板底板电源和复位时序图；

图10为底板引脚定义与规范定义对比图1；

图11为底板引脚定义与规范定义对比图2；

图12为颜色标识说明图；

图13为底板关键接口设计用途说明图；

图14为位子板连接器引脚设计说明图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种技术方案：一种基于正交构架的高密度服务模块化系统，包括单板系统，单板系统框图如图1所示，物理接口上，底板由前面板接口、背板接口、以及板内的板对板夹层连接器接口、存储接口连接器构成，板内主要包含双25GE端口PCIE网卡芯片XXV710、4端口千兆PHY芯片88E1543、VGA显卡SM750、CPLD、IPMC、时钟BUFFER以及电源转换电路；

底板板内设计支持安装两块处理子板，其中Module0为主模块，两个模块需独立运行操作系统，底板为这两个模块设计各自的外设接口和LOM，外围电路重复并且相对独立；

机箱通过背板电源连接器为底板提供两路冗余-48V直流电源，底板将两路-48V合一，由2个隔离DC-DC电源模块转换为2路独立12V电源，分别为Module0及其底板外围电路、Module1及其对应底板外围电路供电；

板内时钟电路主要有PCIE100M参考时钟，时钟源由子板连接器各引出的一路时钟，通过底板BUFFER芯片扇出到PCIE设备，XXV710网卡156.25M时钟由底板内晶振+BUFFER芯片产生；

从子板连接器各引出4路PCIEGEN3X8接口分别到4个XXV710，每个XXV710各出2路25GBASE-KR接口到背板连接器，底板为两个模块的千兆MAC接口各设计一个4-PORTPHY，PHY型号是MARVELL88E1543，其中1个PORT出前面板RJ45，1个PORT用于这两个PHY之间互联，另外两个PORT到背板跟管理板连接；

从子板连接器各引出2路PCIEX2信号到板内M.2连接器，其中PCIEX2的lane0可以复用为SATA3信号，M.2连接器可以安装支持SATA协议或者NVME协议的SSD；

设计两颗SM750显卡芯片，主机接口为PCIEGEN1X1，由2个子板连接器分别引出，VGA显示信号连接至前面板D-SUB连接器；

从子板各引出1路USB3.0和USB2.0信号到前面板的USB3.0TYPE-A连接器；

底板内设计CPLD电路，用于控制上电时序、IO扩展和接口协议转换，设计基于LPC1778芯片的标准IPMC电路，用于子板CPU通信，板内温度、电压传感器信息收集，机箱管理板通信；

底板前面板设计RJ45接口形式的RS232调试串口，用于两个子卡模块CPUconsole，IPMCconsole，面板还设计指示灯接口和复位按键接口。

底板上用于跟子板对接的连接器采用COMExpress标准连接器——两个220pin底板端连接器插头(PLUG)，可选支持5mm(默认)或8mm配对高度的插头，这两种高度的连接器的PCBFootprint是相同的。

子板引脚定义部分兼容COMEXPRESS3.0标准TYPE7，TYPE7引脚定义包含32个PCIELANE、2个SATA、4X10GE/1GE串行接口和4个USB3.04个USB2.0等高速接口，基本上满足子板设计需求。

在TYPE7连接器引脚定义基础上，结合子板定义，本底板引脚定义做了如下修改：

1)TYPE7连接器引脚定义中32个PCIELANE中[15:0]不支持X16或者两个X8模式，这16个LANE中部分支持PCIEGEN3，并且信号被分配到了两个连接器上，设计将这个X16重定义到一个连接器上，LANE按序排列，以便于LAYOUT；

2)TYPE7连接器引脚定义中4个USB3/2接口去掉2个；

3)增加一个X4PCIE接口信号定义；

4)GBE接口信号定义修改为了IOBUS总线接口。

底板引脚定义详见图10和图11，备注如图12，设计用途如图13。

原则上底板设计除兼容2S子板外，还可以满足标准TYPE7模块上电，但下列接口功能无法正常使用，并且可能造成一些系统异常，因此只在一定程度上兼容标准TYPE7模块：

1)PCIELANE[15:0]，T7模块和底板定义顺序不一致，运行时模块PCIE总线可能出现异常；

2)底板的PCIELANE5与T7模块的USB2接口2&3冲突，运行时底板的PCIE设备无法正常工作，模块的USB接口可能出现异常；

3)T7模块的PCIELANE6&7与底板的定义(PCHPCIE或NC)冲突，运行时PCIE总线可能出现异常；

4)T7模块USB3.0接口2和3定义与底板定义(定义为PCHPCIE或NC)冲突，运行时模块的USB接口可能出现异常；

5)模块GBE接口信号定义与底板IOBUS总线定义冲突，底板CPLD与模块无IOBUS通信，底板可能需要为T7标准模块单独编程CPLD，此外，运行时模块的GBE无法正常工作。

底板未使用NCSI接口。

底板设计一颗CPLD，型号是LCMXO3LF-4300C-5BG400C，主要实现如下功能：

1)底板和子板上电时序控制，状态和中断查询；底板板内电源、网卡、子板等芯片或电路模块的使能、开关机、复位等控制信号、PWROK、中断、异常等状态信号都连接至CPLD，

2)系统指示灯的控制；

3)底板CPLD与子板CPU通信(LPC总线)

4)底板CPLD与子板CPLD通信；

5)与IPMC的通讯接口；

6)底板硬件版本等信息获取；

7)子板UART口转发。

IPMC采用LPC1778芯片，LPC1778是一款高性能、低成本的32位处理器，基于ARMCortex-M3内核，IPMC设计根据《ATCA单板IPMC模块硬件方案设计V1.0》，采用通用的IPMC电路，实现通用的IPMC功能，具体如下所示，

1)双冗余的IPMB-0管理总线；

2)单板热插板缓上电电路由IPMC模块控制，支持A、B两路电源输入有电、无电、欠压、过压监测等功能；

3)热插拔接口，如Handle开关和蓝色LED指示灯；

4)IPMC与FPGA/CPLD通讯，控制FPGA/CPLD的开电和关电，并通过FPGA/CPLD获取每个电源的工作状态信息，检测主要电源电压的实时值，并记录电源电压的异常信息输出到串口并保存在NVRAM中；

5)禁止/使能E-Keying连接的控制接口；

6)温度和电压传感器对刀片的健康状态进行监视；

7)前面板FRU状态和报警LED指示灯；

8)基于UART的调试接口；

9)基于UART的与CPU通信接口；

10)基于SMBus与PCHME通信接口；

11)板位地址检测功能。

XXV710-AM2是一款双端口1/10/25G以太网控制器芯片，支持面向云和企业数据中心的英特尔虚拟化技术。

XXV710-AM2通过PCIEGEN3X8连接到CPU上，通过2个25GEPort接口支持外部网络接口，支持SMBUS、NCSI、SPIFLASH、GPIO、MDIO、I2C、LED指示灯等接口。

XXV710-AM2提供2个25GE以太网接口，支持25GBASE-KR、25GBASE-CR，通过自协商速率可以自动下滑到10GBASE-KR及10BASE-CR。

XXV710-AM2设计指南明确说明XXV710跟XL710、82599等产品引脚定义不同，即便他们的PCBFootprint是相同的，XXV710电路设计参考不支持向下兼容XL710及82599等芯片，因此，本板设计支持XXV710-AM2芯片。

88E1543千兆以太网收发器是一个包含四个独立千兆以太网收发器的物理层器件，每个收发器为1000BASE-T，100BASE-TX和10BASE-T标准执行所有物理层功能。

88E1543支持四路SGMII到铜缆，支持自动媒体检测功能，主要特点和优点如下：

·支持IEEE802.3az；

·局域网唤醒(WoL)；

·集成开关稳压器；

·先进的虚拟电缆测试仪(VCT^TM)；

·带EPAD的14mmx20mm128引脚LQFP封装。

底板板内关键器件CPLD，IPMC，XXV710，88E1543，SM750等需要外部时钟源，设计时钟框图如图8所示。

底板系统电源框图如图10所示，底板通过背板-48VDC两路冗余供电，通过板内输入模块PIM4710，合成为1路48VDC，同时输出1路3.3V管理电源，通过两个48VDC转12VDC隔离DC-DC模块输出两路12V，P12V_V0和P12V_V1，再通过底板内电压转换电路为各个芯片提供所需电压，

3.3V管理电源P3V3_MGMT为底板IPMC、CPLD供电。

P12V_V0为子板模块0提供电源、P12V_V1为子板模块1提供电源；P12V_V0/1为子板唯一供电电源，P12V_V0/1还为模块对应底板上的外围芯片接口电路供电。

子板功耗较高，本板设计12V电源供电方式通过板对线连接器+线缆方式，连接器标准定义的12Vpin仍预留接12V设计，P12V_V0/1作为模块SB电源(实际由IPMC控制开启)，底板为模块不设计5VSB。

底板5.0V电源P5V0由P12V_V0降压转换得到，为SB电源，为底板的USB接口、VGA接口、VR芯片、MOSFET提供电源。

底板3.3V电源有P3V3、P3V3_M0、P3V3_M1，P3V3由P12V_V0降压转换得到，P3V3是SB电源，为88E1543供电；P3V3_M0，P3V3_M1设计为模块的Main电源。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于正交构架的高密度服务模块化系统，其特征在于：包括单板系统，物理接口上，底板由前面板接口、背板接口、以及板内的板对板夹层连接器接口、存储接口连接器构成，板内包含双25GE端口PCIE网卡芯片XXV710、4端口千兆PHY芯片88E1543、VGA显卡SM750、CPLD、IPMC、时钟BUFFER以及电源转换电路；

底板板内设计支持安装两块模板，其中Module0为主模块，Module1为副模块，两个模块需独立运行操作系统，底板为这两个模块设计各自的外设接口和LOM，外围电路重复并且相对独立；

板内时钟电路有PCIE100M参考时钟，时钟源由子板连接器各引出的一路时钟，通过底板BUFFER芯片扇出到PCIE设备，XXV710网卡156.25M时钟由底板内晶振+BUFFER芯片产生；

从子板连接器各引出4路PCIEGEN3X8接口分别到4个XXV710，XXV710-AM2是一款双端口1/10/25G以太网控制器芯片，每个XXV710各出2路25GBASE-KR接口到背板连接器，底板为两个模块的千兆MAC接口各设计一个4-PORTPHY，PHY型号是MARVELL88E1543，其中1个PORT出前面板接口，该接口为RJ45，RJ45是布线系统中信息插座连接器的一种，用于提供串接口，1个PORT用于这两个PHY之间互联，另外两个PORT到背板跟管理板连接；

从子板连接器各引出2路PCIEX2信号到板内M.2连接器，PCIEX2的lane0复用为SATA3信号，其中lane0为PCIE通道，用于高速串行点对点双通道高带宽传输，M.2连接器安装支持SATA协议或者NVME协议的SSD；

2.根据权利要求1所述的一种基于正交构架的高密度服务模块化系统，其特征在于：底板上用于跟子板对接的连接器采用COMExpress标准连接器。

3.根据权利要求1所述的一种基于正交构架的高密度服务模块化系统，其特征在于：底板设计一颗CPLD，型号是LCMXO3LF-4300C-5BG400C。

4.根据权利要求1所述的一种基于正交构架的高密度服务模块化系统，其特征在于：IPMC采用LPC1778芯片。

5.根据权利要求1所述的一种基于正交构架的高密度服务模块化系统，其特征在于：XXV710-AM2是一款双端口1/10/25G以太网控制器芯片，支持面向云和企业数据中心的英特尔虚拟化技术。

6.根据权利要求1所述的一种基于正交构架的高密度服务模块化系统，其特征在于：88E1543千兆以太网收发器是一个包含四个独立千兆以太网收发器的物理层器件，每个收发器为1000BASE-T，100BASE-TX和10BASE-T标准执行所有物理层功能。

7.根据权利要求1所述的一种基于正交构架的高密度服务模块化系统，其特征在于：设置底板板内关键器件CPLD、IPMC、XXV710、88E1543、SM750需要的外部时钟源。

8.根据权利要求1所述的一种基于正交构架的高密度服务模块化系统，其特征在于：底板通过背板-48VDC两路冗余供电，通过板内输入模块PIM4710，合成为1路48VDC，同时输出1路3.3V管理电源。