CN107908586A

CN107908586A - 一种nvme硬盘存储结构及其实现方法

Info

Publication number: CN107908586A
Application number: CN201711406457.2A
Authority: CN
Inventors: 游正
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-12-22
Filing date: 2017-12-22
Publication date: 2018-04-13

Abstract

本发明公开了一种NVME硬盘存储结构及其实现方法，包括PCIE Switch卡，该PCIE Switch卡提供上行通道、下行通道，上行通道提供16通道的PCIE连接通道，下行通道提供48通道的PCIE连接通道，即下行通道接1‑12个NVME硬盘；NVME背板，通过下行通道与PCIE Switch卡相连接，且该NVME背板上连接两个PCIE Switch卡，即NVME背板上连接2‑24个NVME硬盘；主板，通过上行通道与PCIE Switch卡相连接。本发明的一种NVME硬盘存储结构及其实现方法与现有技术相比，能够实现支持24口NVME硬盘的配置，在原有方案的基础上缩减成本，本发明可用于通用服务器上，有效提高产品的存储容量，实用性强，适用范围广泛，易于推广。

Description

一种NVME硬盘存储结构及其实现方法

技术领域

本发明涉及服务器存储技术领域，具体地说是一种实用性强的NVME硬盘存储结构及其实现方法。

背景技术

随着存储技术的发展，存储硬盘从SAS/SATA到现在的SAS/SATA/NVME，其中NVME直接使用X4 PCIE信号，理论上能够提供32Gbps的速率，会大幅提高存储设备的读写速率。而现在随着NVME硬盘的推出，存储市场上对多NVME配置也有相关的需求。

现有技术中，在不改变主板的结构前提下，始终无法实现支持24个NVME硬盘的配置，仅能实现低于24个的配置，比如在最新的双路服务器NF5280M5中，配置有两个CPU，两个CPU理论上能够提供X96 PCIE Gen3 Lane，但是由于其他的设备通过PCIE SLOT连接到CPU上，需要使用部分的PCIE Lane。因此，要支持24个NVME硬盘总共X96 PCIE Lane的配置，在现有的设计中是无法实现的。

而CPU直连24个NVME硬盘时，NVME硬盘会使用两个CPU所有的PCIE接口，导致主板无法连接其他PCIE设备，并且还需要重新设计主板来支持这种配置，会带来较大的成本。

基于此，亟需一种不改变主板结构基础上，实现支持24个NVME硬盘甚至更多NVME硬盘的技术。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强的NVME硬盘存储结构及其实现方法。

一种NVME硬盘存储结构，包括,

PCIE Switch卡，该PCIE Switch卡提供上行通道、下行通道，上行通道提供16通道的PCIE 连接通道，下行通道提供48通道的 PCIE连接通道，即下行通道接1-12个NVME硬盘；

NVME背板，通过下行通道与PCIE Switch卡相连接，且该NVME背板上连接两个PCIESwitch卡，即NVME背板上连接2-24个NVME硬盘；

主板，通过上行通道与PCIE Switch卡相连接。

所述PCIE Switch卡上配置有PCIE金手指、Oculink接口、背板接口，其中PCIE金手指为PCIE X16金手指并通过上行通道来连接主板，Oculink接口采用六个X8 Oculink接口并通过下行通道来连接NVME背板。

所述PCIE Switch卡中还配置有Switch芯片，该Switch芯片与PCIE金手指、Oculink接口、背板接口均连接，在Switch芯片上配置有三种时钟拓扑：H-Clock、D-Clock、S-Clock，其中在上行通道中Switch芯片通过时钟H-Clock连接PCIE金手指，该H-Clock支持展频时钟SSC；在下行通道中Switch芯片通过时钟D-Clock与Oculink接口相连接。

所述PCIE Switch卡内部配置有SPI Flash、JTAG接口、温度传感器、UART接口以及连接背板接口的供电接口，该SPI Flash、JTAG接口、温度传感器、UART接口、供电接口均连接到Switch芯片。

所述NVME背板上配置十二个Oculink接口来连接两张PCIE Switch卡的Oculink接口，该NVME背板上配置有24个SSF8369接口连接Oculink接口，所述SSF8369接口用于连接NVME硬盘，即该NVME背板上可连接24个NVME硬盘；在NVME背板上还配置有背板接口来连接PCIE Switch卡上的背板接口。

所述主板上配置两个X24 PCIE插槽，两张X24连接卡插接在该X24 PCIE插槽上，每张X24连接卡各接出一个X16 PCIE插槽和一个X8 PCIE插槽，其中每个X16 PCIE插槽用于连接一张PCIE Switch卡的PCIE金手指。

一种NVME硬盘存储结构的实现方法，其实现过程为：

一、设计PCIE Switch卡，该PCIE Switch卡提供上行通道、下行通道，上行通道提供16通道的 PCIE 连接通道，下行通道提供48通道的 PCIE连接通道，即下行通道接1-12个NVME硬盘；

二、使用两张相同的PCIE Switch卡，上行通道接入主板，下行通道接入NVME背板；

三、NVME背板连接2-24个NVME硬盘，从而实现主板与NVME硬盘的连接。

所述步骤一中的PCIE Switch卡上配置有Switch芯片、PCIE金手指、Oculink接口、背板接口，其中PCIE金手指为PCIE X16金手指并通过上行通道来连接主板，Oculink接口采用六个X8 Oculink接口并通过下行通道来连接NVME背板，PCIE金手指、Oculink接口、背板接口均连接至Switch芯片。

所述步骤二中的NVME背板上配置十二个Oculink接口来连接两张PCIE Switch卡的Oculink接口，该NVME背板上的每六个Oculink接口可连接12个NVME硬盘，即该NVME背板上可连接24个NVME硬盘；在NVME背板上还配置有背板接口来连接PCIE Switch卡上的背板接口。

在步骤二中用于连接PCIE Switch卡的主板上配置两个X24 PCIE插槽，两张X24连接卡插接在该X24 PCIE插槽上，每张X24连接卡各接出一个X16 PCIE插槽和一个X8 PCIE插槽，其中每个X16 PCIE插槽用于连接一张PCIE Switch卡的PCIE金手指。

本发明的一种NVME硬盘存储结构及其实现方法和现有技术相比，具有以下有益效果：

本发明的一种NVME硬盘存储结构及其实现方法，能够实现支持24口NVME硬盘的配置，在原有方案的基础上缩减成本，本发明可用于通用服务器上，有效提高产品的存储容量，通过进行PCIE Switch卡的设计以及和主板、24NVME背板的互联，可支持24NVME的配置；实用性强，适用范围广泛，易于推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

附图1为NVME硬盘存储结构示意图。

附图2为PCIE Switch卡拓扑示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的方案，下面结合具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如附图1、图2所示，一种NVME硬盘存储结构，包括,

PCIE Switch卡，该PCIE Switch卡提供上行通道、下行通道，上行通道提供16通道的PCIE 连接通道，下行通道提供48通道的 PCIE连接通道，即下行通道可接最多12个NVME硬盘；

主板，通过上行通道与PCIE Switch卡相连接。

在实际使用时，主板可采用现有的NF5280M5主板，该主板上配置有两个X24 PCIESLOT，只需重新设计PCIE Switch卡和24 NVME背板；而考虑到通用性及硬盘的性能,设计能够支持12 NVME硬盘的PCIE Switch卡。

主板上的两个X24 PCIE SLOT接上两个X24 连接卡，这两张X24 连接卡各接出一个X16 PCIE Slot和一个X8 PCIE Slot。而两张PCIE Switch卡接到两个X24 连接卡的X16PCIE Slot上。

对于PCIE Switch卡，其上行接到主板上，和CPU通过X16 PCIE信号进行通信；而下行总共有X48 PCIE Lane，能够连接12个NVME硬盘，将这X48 PCIE Lane通过6个X8 Oculink接口以及Cable，送到24口NVME背板上。最后24口NVME背板上连接24个NVME硬盘。这样就可以实现24NVME的配置。

一种NVME硬盘存储结构的实现方法，通过PCIE信号的扩展技术，在降低NVME硬盘部分性能的条件下，使用PCIE Switch板卡来进行PCIE信号的扩展。PCIE Switch板卡上行能够支持X16 PCIE Lane个数，下行能够支持X48 PCIE Lane个数，即下行可以接12个NVME硬盘；使用两张相同的PCIE Switch卡，下行可以提供X96 PCIE Lane个数，即可以接24个NVME硬盘。

其实现过程为：

一、设计PCIE Switch卡，该PCIE Switch卡提供上行通道、下行通道，上行通道提供16通道的 PCIE 连接通道，下行通道提供48通道的 PCIE连接通道，即下行通道可接1-12个NVME硬盘；

三、NVME背板可连接24个NVME硬盘，从而实现主板与NVME硬盘的连接。

主板提供两个PCIE X24的SLOT，经过X24 连接卡的转接，提供一个X16标准PCIESlot和一个X8 标准PCIE Slot；两张PCIE Switch卡分别接到X16标准的PCIE Slot上，因此两张PCIE Switch卡的上行带宽为X16 PCIE Gen3，其下行为X48 PCIE Lane，下行高速信号部分通过6个X8 Oculink接口、Cable，和24口NVME背板进行对接。PCIE Switch卡下行的低速信号部分和Power通过自定义接口以及Cable，连接到24口NVME背板上。24口NVME背板上提供24个8639接口，用于连接NVME硬盘。

所述步骤二中的NVME背板上配置十二个Oculink接口来连接两张PCIE Switch卡的Oculink接口，该NVME背板上配置有24个SSF8369接口连接Oculink接口，所述SSF8369接口用于连接NVME硬盘，即该NVME背板上可连接24个NVME硬盘；在NVME背板上还配置有背板接口来连接PCIE Switch卡上的背板接口，该背板接口用于实现电源输入。

PCIE Switch卡的实现包括时钟拓扑、I2C拓扑、高速PCIE信号、电源时序等部分。高速PCIE信号部分为：上行X16 PCIE Lane，下行X48 PCIE Lane；时钟拓扑：PCIE Switch包含三种时钟，分别为H-Clock、D-Clock、S-Clock；电源时序：PCIE Switch卡的PCIE Switch芯片具有一定的Power上电时序。

PCIE Switch卡的拓扑，如图2所示，其中Switch芯片可采用型号为PM8534/PM8544的芯片。

PCIE Switch卡内部具有三种Clock，其中H-Clock：连接上行HOST，支持SSC（展频时钟）；D-Clock：给PCIE Switch芯片Core使用，不能支持SSC；S-Clock：给下行Device使用。本设计中使用H-Clock和D-clock，下行Device使用和D-Clock同源的时钟。

PCIE Switch卡内部除开Clock拓扑，Switch芯片还需要对Device进行管理以及收集板卡内部的温度等信息。

PCIE Switch卡内部还有SPI Flash、UART接口、JTAG接口、RST线路等，共同组成PCIE Switch卡的最小系统。而为了能够读取芯片内部温度，在PCIE Switch卡上添加了温度传感器；为了实现NVME硬盘的点灯功能，从PCIE Switch芯片引出I2C接口，给24口NVME背板控制点灯。并且为了方便NF5280M5主板的BMC读取PCIE Switch板卡内部的信息，PCIESwitch卡上接一组I2C到主板上。

最后，设计完成的PCIE Switch卡包含以下信号：

上行高速X16 PCIE信号；

上行高速PCIE Clock；

下行X48 PCIE 信号；

下行3个Clock信号；

下行VPP点灯、PE_RST，板卡内部FRU、温度Sensor等I2C信号。

除了以上的关键信号，PCIE Switch卡内部还有SPI Flash、JTAG、温度传感器、Power线路，最终组成PCIE Switch卡。在主板以及24NVME背板已经完成的情况下，支持24NVME硬盘的配置得以实现。

由此，本文提出的一种支持24块NVME硬盘存储结构的设计方法得以实现。

以上所述仅为本发明的较佳实施例，本发明的专利保护范围包括但不限于上述具体实施方式，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的专利保护范围之内。

通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种NVME硬盘存储结构，其特征在于，包括,

主板，通过上行通道与PCIE Switch卡相连接。

2.根据权利要求1所述的一种NVME硬盘存储结构，其特征在于，所述PCIE Switch卡上配置有PCIE金手指、Oculink接口、背板接口，其中PCIE金手指为PCIE X16金手指并通过上行通道来连接主板，Oculink接口采用六个X8 Oculink接口并通过下行通道来连接NVME背板。

3.根据权利要求2所述的一种NVME硬盘存储结构，其特征在于，所述PCIE Switch卡中还配置有Switch芯片，该Switch芯片与PCIE金手指、Oculink接口、背板接口均连接，在Switch芯片上配置有三种时钟拓扑：H-Clock、D-Clock、S-Clock，其中在上行通道中Switch芯片通过时钟H-Clock连接PCIE金手指，该H-Clock支持展频时钟SSC；在下行通道中Switch芯片通过时钟D-Clock与Oculink接口相连接。

4.根据权利要求2所述的一种NVME硬盘存储结构，其特征在于，所述PCIE Switch卡内部配置有SPI Flash、JTAG接口、温度传感器、UART接口以及连接背板接口的供电接口，该SPI Flash、JTAG接口、温度传感器、UART接口、供电接口均连接到Switch芯片。

5.根据权利要求2所述的一种NVME硬盘存储结构，其特征在于，所述NVME背板上配置十二个Oculink接口来连接两张PCIE Switch卡的Oculink接口，该NVME背板上配置有24个SSF8369接口连接Oculink接口，所述SSF8369接口用于连接NVME硬盘，即该NVME背板上可连接24个NVME硬盘；在NVME背板上还配置有背板接口来连接PCIE Switch卡上的背板接口。

6.根据权利要求2-5任一所述的一种NVME硬盘存储结构，其特征在于，所述主板上配置两个X24 PCIE插槽，两张X24连接卡插接在该X24 PCIE插槽上，每张X24连接卡各接出一个X16 PCIE插槽和一个X8 PCIE插槽，其中每个X16 PCIE插槽用于连接一张PCIE Switch卡的PCIE金手指。

7.一种NVME硬盘存储结构的实现方法，其特征在于，其实现过程为：

8.根据权利要求7所述的一种NVME硬盘存储结构的实现方法，其特征在于，所述步骤一中的PCIE Switch卡上配置有Switch芯片、PCIE金手指、Oculink接口、背板接口，其中PCIE金手指为PCIE X16金手指并通过上行通道来连接主板，Oculink接口采用六个X8 Oculink接口并通过下行通道来连接NVME背板，PCIE金手指、Oculink接口、背板接口均连接至Switch芯片。

9.根据权利要求8所述的一种NVME硬盘存储结构的实现方法，其特征在于，所述步骤二中的NVME背板上配置十二个Oculink接口来连接两张PCIE Switch卡的Oculink接口，该NVME背板上的每六个Oculink接口可连接12个NVME硬盘，即该NVME背板上可连接24个NVME硬盘；在NVME背板上还配置有背板接口来连接PCIE Switch卡上的背板接口。

10.根据权利要求8所述的一种NVME硬盘存储结构的实现方法，其特征在于，在步骤二中用于连接PCIE Switch卡的主板上配置两个X24 PCIE插槽，两张X24连接卡插接在该X24PCIE插槽上，每张X24连接卡各接出一个X16 PCIE插槽和一个X8 PCIE插槽，其中每个X16PCIE插槽用于连接一张PCIE Switch卡的PCIE金手指。