CN115509981A - 一种存储服务器及其PCIe扩展系统 - Google Patents

一种存储服务器及其PCIe扩展系统 Download PDF

Info

Publication number
CN115509981A
CN115509981A CN202211373382.3A CN202211373382A CN115509981A CN 115509981 A CN115509981 A CN 115509981A CN 202211373382 A CN202211373382 A CN 202211373382A CN 115509981 A CN115509981 A CN 115509981A
Authority
CN
China
Prior art keywords
pcie
pcie expansion
expansion card
mainboard
card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211373382.3A
Other languages
English (en)
Inventor
邱连兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202211373382.3A priority Critical patent/CN115509981A/zh
Publication of CN115509981A publication Critical patent/CN115509981A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4063Device-to-bus coupling
    • G06F13/4068Electrical coupling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/42Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026PCI express

Abstract

本申请公开了一种存储服务器及其PCIe扩展系统,应用于板卡架构技术领域,包括:用于连接PCIe设备的背板;用于进行接口扩展的第一PCIe扩展卡,第一PCIe扩展卡插接在背板的卡槽中,并且,第一PCIe扩展卡通过布线与主板连接。应用本申请的技术方案,所需要的布线数量大幅降低,也就使得本申请的方案需要耗费更小的空间进行线路布置,进而增大了硬盘的存放空间,提高了存储密度,并且所需要的布线数量降低时,也有利于系统的散热。

Description

一种存储服务器及其PCIe扩展系统
技术领域
本发明涉及板卡架构技术领域,特别是涉及一种存储服务器及其PCIe扩展系统。
背景技术
随着云计算的持续发展,互联网运营商服务器对于高速存储业务的需求也越来越普遍,尤其是面向企业的快存储业务,采用SAS(Serial Attached SCSI,串行SCSI)/SATA(Serial Advanced Technology Attachment,串行ATA)接口的硬盘已经无法满足业务场景,要求使用NVMe(Non Volatile Memory Host Controller Interface SpecificationExpress,非易失性内存主机控制器接口规范)等采用PCIe(Peripheral ComponentInterconnect Express,高速串行计算机扩展总线标准)协议的高速存储设备。
对于这种采用PCIe协议的存储服务器,以x4带宽的NVMe硬盘为例,每支持一个NVMe硬盘,需要的线缆数量,即cable数量便是支持SAS/SATA硬盘的4倍,因此采用NVMe硬盘时,cable走线是面临的一个问题。
同时,对于高速大容量的存储业务场景,由于主板插槽的限制,会引入PCIeSwitch芯片,以进行接口的扩展。并且,为了保证存储速率,设计时需要设置一定的收敛比来保证存储速率,即PCIe Switch芯片所支持的最大硬盘数量会存在限制,使得背板上连接的硬盘较多时,对于PCIe Switch芯片的数量也会有一定要求。
可参阅图1,为目前的一种通过PCIe Switch芯片进行主板与硬盘背板连接的连接结构示意图,例如硬盘背板上需要设置20个x4带宽的PCIe4.0的NVMe盘,则一共需要x80的PCIe4.0 lanes,如果收敛比设置为1:2.5的收敛比,则上行需要x32的PCIe4.0 lanes,因此,图1中,需要使用2个x16的PCIe4.0 Switch标卡,即图1中的Switch0和Switch1,Switch0和Switch1与硬盘背板之间,一共需要x80 lanes cable实现连接。
cable数量较多时,需要耗费较大的空间进行走线的布置,也就压缩了硬盘的存放空间,降低了存储密度,并且cable数量较多时,也不利于系统的散热。
综上所述,如何有效地提高存储密度,保障系统的散热情况,是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种存储服务器及其PCIe扩展系统,以有效地提高存储密度,保障系统的散热情况。
为解决上述技术问题,本发明提供如下技术方案:
一种PCIe扩展系统,包括:
用于连接PCIe设备的背板;
用于进行接口扩展的第一PCIe扩展卡,所述第一PCIe扩展卡插接在所述背板的卡槽中,并且,所述第一PCIe扩展卡通过布线与主板连接。
优选的,所述第一PCIe扩展卡与所述主板之间的通信协议为具有第一传输速率的第一PCIe协议,所述第一PCIe扩展卡与所述背板之间的通信协议为具有第二传输速率的第二PCIe协议;
其中,所述第一传输速率高于所述第二传输速率。
优选的,所述第一PCIe协议为PCIe5.0,所述第二PCIe协议为PCIe4.0,PCIe3.0,PCIe2.0以及PCIe1.0中的任意1种。
优选的,还包括:用于进行接口扩展的K张目标PCIe扩展卡;K为正整数;
针对K张目标PCIe扩展卡中的任意1张目标PCIe扩展卡,所述目标PCIe扩展卡插接在所述背板的卡槽中,并且,所述目标PCIe扩展卡通过布线与主板连接。
优选的,所述第一PCIe扩展卡为PCIe标卡,K张目标PCIe扩展卡均为PCIe标卡。
优选的,所述第一PCIe扩展卡还用于:
获取用于反映所述背板所连接的PCIe设备的健康状况的健康日志,当接收到日志读取指令时,向预设的对外端口发送所述健康日志。
优选的,所述第一PCIe扩展卡还用于:
当根据所述健康日志确定出所述背板所连接的任意PCIe设备出现故障时,按照故障等级对出现故障的所述PCIe设备的故障指示灯进行相应的显示控制。
优选的,所述背板所连接的PCIe设备中包括N个硬盘;所述第一PCIe扩展卡还用于:
进行N个硬盘的盘序识别,以验证硬盘序号与背板上的物理槽编号是否顺序一致;N为不小于2的正整数;
如果不一致,向设置在所述主板上的主机输出第一提示信息。
优选的,所述第一PCIe扩展卡通过布线与所述主板上的连接器连接,或者,所述第一PCIe扩展卡的布线焊接在所述主板的相应端口上。
优选的,所述背板上设有 PCIe 插槽,PCIe扩展系统还包括:
插接在所述背板上的PCIe 插槽中,用于挂载多个硬盘的硬盘转接板。
优选的,所述背板所连接的PCIe设备包括硬盘和GPU。
优选的,所述第一PCIe扩展卡还用于:
检测自身与所述主板之间的通信状态,以及自身与所述背板之间的通信状态;
当检测出自身与所述主板之间的通信状态异常时,和/或者检测出自身与所述背板之间的通信状态异常时。
优选的,所述检测自身与所述主板之间的通信状态,包括:
检测自身与所述主板之间的通信带宽是否达到预设的第一带宽阈值;
如果否,则确定自身与所述主板之间的通信状态异常。
优选的,所述第一PCIe扩展卡还用于:
在检测出自身与所述主板之间的通信带宽未达到所述第一带宽阈值之后,判断自身与所述主板之间的通信带宽是否达到预设的第二带宽阈值;
如果达到所述第二带宽阈值,则确定自身与所述主板之间的通信降级;
如果未达到所述第二带宽阈值,则确定自身与所述主板之间的通信中断;
其中,所述第二带宽阈值低于所述第一带宽阈值。
一种存储服务器,包括如上述所述的PCIe扩展系统。
应用本发明实施例所提供的技术方案,设置了一种PCIe扩展系统,包括:用于连接PCIe设备的背板;用于进行接口扩展的第一PCIe扩展卡,第一PCIe扩展卡插接在背板的卡槽中,并且,第一PCIe扩展卡通过布线与主板连接。
可以看出,本申请的方案中,将第一PCIe扩展卡从主板端移动到了背板端。具体的,第一PCIe扩展卡与背板不是由cable互联,而是板板对插,即第一PCIe扩展卡插接在背板的卡槽中,相应的,第一PCIe扩展卡与主板的板板插接变为了cable连接,即第一PCIe扩展卡通过布线与主板连接。这样的方案虽然增加了从第一PCIe扩展卡到主板之间的布线,但由于第一PCIe扩展卡插接在背板的卡槽中,因此,不再需要进行第一PCIe扩展卡与背板之间的布线,而第一PCIe扩展卡与背板之间的布线数量,远多于第一PCIe扩展卡与主板之间的布线数量,因此应用本申请的方案之后,整体上仍然会减小大量的布线数量。而由于所需要的布线数量大幅降低,也就使得本申请的方案需要耗费更小的空间进行线路布置,进而增大了硬盘的存放空间,提高了存储密度,并且所需要的布线数量降低时,也有利于系统的散热。
综上所述,本申请的方案通过降低了布线数量,可以有效地提高存储密度,保障系统的散热情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为传统的一种通过PCIe Switch芯片进行主板与硬盘背板连接的连接结构示意图;
图2为本发明中一种PCIe扩展系统的结构示意图;
图3为本发明一种具体实施方式中的PCIe扩展系统的结构示意图;
图4为本发明另一种具体实施方式中的PCIe扩展系统的结构示意图;
图5为本发明又一种具体实施方式中的PCIe扩展系统的结构示意图。
具体实施方式
本发明的核心是提供一种PCIe扩展系统,通过降低了布线数量,可以有效地提高存储密度,保障系统的散热情况。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
请参考图2,图2为本发明中一种PCIe扩展系统的结构示意图,该PCIe扩展系统可以包括:
用于连接PCIe设备的背板10;
用于进行接口扩展的第一PCIe扩展卡20,第一PCIe扩展卡20插接在背板10的卡槽中,并且,第一PCIe扩展卡20通过布线与主板连接。
具体的,背板10上可以布置PCIe设备,具体所布置的PCIe设备数量以及类型均可以根据实际需要进行设定和调整,并不影响本发明的实施,只要背板10能够提供相应的PCIe设备所需要的插槽即可。
第一PCIe扩展卡20也即PCIe Switch,通常可以为PCIe Switch芯片的形式,如上文的描述,由于主板接口数量的限制,实际应用中,会引入PCIe Switch芯片,以进行接口的扩展。
本申请的方案中,第一PCIe扩展卡20的具体类型可以根据需要进行设定和调整。
由于本申请的方案中,将第一PCIe扩展卡20从主板端移动到了背板10端,因此,本申请的第一PCIe扩展卡20是插接在背板10的卡槽中,且通过布线与主板连接。
也即本申请的方案实现了第一PCIe扩展卡20与背板10的板板对插,而第一PCIe扩展卡20与主板之间则由传统的板板插接变为了cable连接。并且可以理解的是,为了实现本申请的方案,应当进行主板,背板10以及第一PCIe扩展卡20的设计,使得背板10上要设置有用于插接第一PCIe扩展卡20的卡槽,相应的,对于第一PCIe扩展卡20的接口设计,也需要使其能够插入背板10的该卡槽中,且能够通过布线连接至主板,而主板则需要能够通过布线连接至第一PCIe扩展卡20。
可以看出,由于将第一PCIe扩展卡20从主板端移动到了背板10端,虽然增加了从第一PCIe扩展卡20到主板之间的布线,但是不再需要进行第一PCIe扩展卡20与背板10之间的布线,而第一PCIe扩展卡20与背板10之间的布线数量,远多于第一PCIe扩展卡20与主板之间的布线数量,因此本申请的方案在整体上仍然会减小大量的cable连接,从而增大硬盘的存放空间,提高存储密度,便于进行系统的散热。
在本发明的一种具体实施方式中,还可以包括:用于进行接口扩展的K张目标PCIe扩展卡21;K为正整数;
针对K张目标PCIe扩展卡21中的任意1张目标PCIe扩展卡21,目标PCIe扩展卡21插接在背板10的卡槽中,并且,目标PCIe扩展卡21通过布线与主板连接。
具体的,在实际应用中,为了保证存储速率,设计时需要设置一定的收敛比来保证存储速率,即PCIe Switch芯片所支持的最大硬盘数量会存在限制。因此,在部分场合中,当背板10上连接的硬盘数量较多时,仅使用本申请的第一PCIe扩展卡20,可能会无法满足的收敛比的要求。
因此,该种实施方式中,还可以设置用于进行接口扩展的K张目标PCIe扩展卡21。
与第一PCIe扩展卡20类似,针对K张目标PCIe扩展卡21中的任意1张目标PCIe扩展卡21,该目标PCIe扩展卡21也是插接在背板10的卡槽中,并且,该目标PCIe扩展卡21通过布线与主板连接,以降低整体所需要的布线数量。例如本申请后续图3的实施方式中,便是设置了1张目标PCIe扩展卡21。
进一步的,在实际应用中,考虑到PCIe Switch芯片通常需要比较大的散热器,因此,本申请的方案中,第一PCIe扩展卡20可以设置为PCIe标卡,同样的,K张目标PCIe扩展卡21也均可以设置为PCIe标卡。此外,使用PCIe标卡也有利于扩大方案的应用场合,即实际应用中,可以较为方便地将本申请的方案应用至大部分场合中。
目前常用的PCIe标卡有×16 lanes,以及×8 lanes等,例如图3的实施方式中,便使用的是×16 lanes的PCIe标卡,即1个PCIe标卡与主板之间需要布置16根导线。
可参阅图3,为本发明一种具体实施方式中的PCIe扩展系统的结构示意图。图3中,仍然是以背板10上需要设置20个x4带宽的PCIe4.0的NVMe盘为例。
NVMe是一个逻辑设备接口规范,它是与AHCI类似的、基于设备逻辑接口的总线传输协议规范,用于访问通过PCIe总线附加的非易失性存储器介质,例如采用闪存的固态硬盘驱动器。NVM代表非易失性存储器,这是固态硬盘的常见的闪存形式。此规范主要是为基于闪存的存储设备提供一个低延时、内部并发化的原生界面规范,也为现代CPU、计算机平台及相关应用提供原生存储并发化的支持,令主机硬件和软件可以充分利用固态存储设备的并行化存储能力。相比此前机械硬盘驱动器时代的AHCI,NVMe降低了I/O操作等待时间、提升同一时间内的操作数、更大容量的操作队列等。依托于PCIe总线,NVMe设备可适用于各种支持PCIe总线的物理插槽上,包括标准尺寸的PCIe扩展卡(一般是4个PCIe通道),可以采用U.2物理连接界面的2.5英寸/3.5英寸标准尺寸固态硬盘驱动器、SATA Express总线(兼容于PCIe)的设备、M.2规格扩展卡等。
由于图3中背板10上需要设置20个x4带宽的PCIe4.0的NVMe盘,因此,这20个NVMe盘一共需要x80 PCIe4.0 lanes,收敛比同样是设置为1:2.5的话,则上行需要x32的PCIe4.0 lanes,也就是说,PCIe扩展卡与主板之间,需要x32 lanes的cable实现连接。图3中设置了第一PCIe扩展卡20以及1张目标PCIe扩展卡21,且二者均为x16的PCIe标卡。可以看出,相较于图1中需要x80 PCIe4.0 lanes的方案,图3中只需要x32的PCIe4.0 lanes。
在本发明的一种具体实施方式中,第一PCIe扩展卡20与主板之间的通信协议为具有第一传输速率的第一PCIe协议,第一PCIe扩展卡20与背板10之间的通信协议为具有第二传输速率的第二PCIe协议;
其中,第一传输速率高于第二传输速率。
该种实施方式考虑到,收敛比不仅受到布线数量的影响,还会受到线路的传输速率的影响。由于目前的下行传输通常采用PCIe 4.0或者更低版本的PCIe传输协议,因此,该种实施方式考虑到,对于第一PCIe扩展卡20与主板之间,可以采用更高传输速率的PCIe协议,来进一步降低布线数量。
可参阅图4,为本发明另一种具体实施方式中的PCIe扩展系统的结构示意图。第一PCIe协议通常可以为PCIe5.0,第二PCIe协议例如可以为PCIe4.0。PCIe5.0与PCIe4.0采用的都是128b/130b编码方式,但是PCIe5.0的传输速率为32GT/s,PCIe4.0的传输速率为16GT/s,即PCIe5.0的传输速率是PCIe4.0的传输速率的2倍。因此,图4的实施方式中,可以使用x16的PCIe5.0 lanes,替代图3中的x32的PCIe4.0 lanes,使得布线数量降低了一半。图4中,速率收敛比为1:2.5。
可以看出,该种实施方式中,第一PCIe扩展卡20与主板之间的通信协议采用具有较高传输速率的第一PCIe协议时,在保障收敛比的前提下,可以降低所需要的PCIe扩展卡的数量,也可以降低布线数量,因此也就有利于进一步优化系统的散热以及存储密度。
如上文的描述,第一PCIe协议为具有较高传输速率的PCIe协议,考虑到目前最高传输速率的PCIe协议为PCIe5.0,因此,在本发明的实际应用中,第一PCIe协议通常可以为PCIe5.0。而由于PCIe协议是向下兼容的,因此,第二PCIe协议可以为PCIe4.0,PCIe3.0,PCIe2.0以及PCIe1.0中的任意1种。当然,目前的应用中,由于大多数硬盘支持PCIe4.0,因此,第二PCIe协议通常可以为PCIe4.0。
在本发明的一种具体实施方式中,第一PCIe扩展卡20通过布线与主板上的连接器连接,或者,第一PCIe扩展卡20的布线焊接在主板的相应端口上。
本申请的方案中,第一PCIe扩展卡20需要通过布线与主板连接,如上文的描述,由于第一PCIe扩展卡20与主板之间由传统的板板插接变为了cable连接,因此,需要进行主板以及第一PCIe扩展卡20的设计,使得第一PCIe扩展卡20能够通过布线与主板连接。
该种实施方式中,考虑到一种简单的连接方式是第一PCIe扩展卡20的布线直接焊接在主板的相应端口上,当然,这样的方案的缺点是灵活性较差,即无法方便地取下第一PCIe扩展卡20,通常会应用在无需频繁插拔第一PCIe扩展卡20的场合中。
另一种可采取的方案是通过连接器实现连接,即第一PCIe扩展卡20通过布线与主板上的连接器连接,可参阅图5,为本发明又一种具体实施方式中的PCIe扩展系统的结构示意图。在图5的实施方式中,例如主板可以选取为Gen5主板,第一PCIe扩展卡20可以是Gen5PCIe Switch,使得第一PCIe扩展卡20与主板之间支持PCIe5.0。并且图5的实施方式中,主板上设置了2个连接器,即图5中2个X8 mcio,以支持第一PCIe扩展卡20与主板之间的x16的PCIe5.0 lanes。
由于第一PCIe扩展卡20通过布线与主板上的连接器连接,因此灵活性较高,即在需要时,第一PCIe扩展卡20可以随时插拔,实际应用中较为常用的也是该种实施方式。
在本发明的一种具体实施方式中,第一PCIe扩展卡20还可以用于:
获取用于反映背板10所连接的PCIe设备的健康状况的健康日志,当接收到日志读取指令时,向预设的对外端口发送健康日志。
该种实施方式考虑到,第一PCIe扩展卡20还可以获取用于反映背板10所连接的PCIe设备的健康状况的健康日志,例如通过与操作系统的通信,实现健康日志的获取。而接收到日志读取指令时,便可以向预设的对外端口发送健康日志,该种实施方式,使得工作人员直接通过第一PCIe扩展卡20,便可以读取到背板10所连接的PCIe设备的健康日志,有利于增强工作人员相关工作的灵活性。
进一步的,在本发明的一种具体实施方式中,第一PCIe扩展卡20还可以用于:
当根据健康日志确定出背板10所连接的任意PCIe设备出现故障时,按照故障等级对出现故障的PCIe设备的故障指示灯进行相应的显示控制。
该种实施方式中,考虑到第一PCIe扩展卡20可以获取用于反映背板10所连接的PCIe设备的健康状况的健康日志,因此,可以利用第一PCIe扩展卡20对健康日志进行简单的分析识别,从而确定出背板10所连接的各个PCIe设备各自的工作状态。
而当根据健康日志确定出背板10所连接的任意PCIe设备出现故障时,可以按照故障等级,对该PCIe设备的故障指示灯进行相应的显示控制。例如该PCIe设备未插入时,故障指示灯不亮。该PCIe设备插入背板10之后且正常工作时,故障指示灯为绿色。该PCIe设备出现第一等级故障时,例如通信速率较慢时,故障指示灯为蓝色,该PCIe设备出现更高的第二等级故障时,例如通信中断、链路报错时,故障指示灯为红色。
由于该种实施方式中,第一PCIe扩展卡20可以按照故障等级,对出现故障的PCIe设备的故障指示灯进行相应的显示控制,也就有利于协助工作人员进行故障PCIe设备的定位,并且使得工作人员通过观察故障PCIe设备的故障指示灯,便可以初步地了解该PCIe设备的故障情况,进而采取相应的措施。
在本发明的一种具体实施方式中,背板10所连接的PCIe设备中包括N个硬盘;第一PCIe扩展卡20还用于:
进行N个硬盘的盘序识别,以验证硬盘序号与背板10上的物理槽编号是否顺序一致;N为不小于2的正整数。
如果不一致,向设置在主板上的主机输出第一提示信息。
背板10上设置有用于连接硬盘的物理槽编号,即Slot0至SlotN,在实际应用中,通常会要求硬盘序号与背板10上的物理槽编号保持顺序一致。以图3为例,即NVMe0硬盘通常需要插入Slot0,相应的,NVMe1硬盘至NVMe19硬盘,依次插入Slot1至Slot19。
而在部分场合中,可能出现乱序的情况,例如,NVMe0硬盘插入Slot0之后,Slot1被空置了,NVMe1硬盘至NVME18硬盘,依次插入Slot2至Slot19,NVMe19硬盘最后再插入Slot1。为了避免乱序对于系统造成的影响,该种实施方式中,第一PCIe扩展卡20会进行N个硬盘的盘序识别,以验证硬盘序号与背板10上的物理槽编号是否顺序一致。如果不一致,可以向设置在主板上的主机输出第一提示信息,以便工作人员在主机系统上进行调整,或者进行硬盘重新插卡,以使得硬盘序号与背板10上的物理槽编号顺序一致。
在本发明的一种具体实施方式中,背板10所连接的PCIe设备包括硬盘和GPU。
在实际应用中,背板10所连接的PCIe设备通常为硬盘,例如上文中描述的NVMe硬盘。而该种实施方式中,考虑到本申请的背板10也可以支持同时连接硬盘之外的其他PCIe设备,以提高方案的灵活性,例如背板10所连接的PCIe设备可以包括硬盘和GPU(GraphicsProcessing Unit,图形处理器)。当然,其他具体实施方式中,背板10上还可以根据实际需要,支持同时连接硬盘,GPU之外的其他PCIe设备,并不影响本发明的实施。
在本发明的一种具体实施方式中,背板10上设有 PCIe 插槽,PCIe扩展系统还包括:
插接在背板10上的PCIe 插槽中,用于挂载多个硬盘的硬盘转接板。
该种实施方式中,通过将硬盘转接板插接在背板10上的PCIe 插槽中,由硬盘转接板挂载多个硬盘,使得本申请的方案中,背板10可以挂载更多的硬盘。
在本发明的一种具体实施方式中,第一PCIe扩展卡20还可以用于:
检测自身与主板之间的通信状态,以及自身与背板10之间的通信状态;
当检测出自身与主板之间的通信状态异常时,和/或者检测出自身与背板10之间的通信状态异常时,向设置在主板上的主机输出通信异常提示信息。
该种实施方式考虑到,还可以利用第一PCIe扩展卡20进行通信状态的检测,即由第一PCIe扩展卡20检测自身与主板之间的通信状态,以及自身与背板10之间的通信状态。
可以理解的是,具体的检测项目可以根据需要进行设定和调整,当自身与主板之间的通信的任一检测项异常时,便可以确定自身与主板之间的通信状态异常,同样的,当自身与背板10之间的通信的任一检测项异常时,便可以确定自身与背板10之间的通信状态异常。
无论是检测出自身与主板之间的通信状态异常时,还是检测出自身与背板10之间的通信状态异常时,均会向设置在主板上的主机输出通信异常提示信息。
在本发明的一种具体实施方式中,检测自身与主板之间的通信状态,包括:
检测自身与主板之间的通信带宽是否达到预设的第一带宽阈值;
如果否,则确定自身与主板之间的通信状态异常。
如上文的描述,进行通信状态异常的检测时,具体的检测项目可以根据需要进行设定和调整,例如带宽的检测,收发包的检测等等。
而该种实施方式中,考虑到实际应用中,出现地较多的异常情况是带宽异常,因此,第一PCIe扩展卡20检测自身与主板之间的通信状态时,可以具体进行带宽检测,即检测第一PCIe扩展卡20自身与主板之间的通信带宽是否达到预设的第一带宽阈值。
如果达到了第一带宽阈值,说明带宽正常,反之,如果未达到第一带宽阈值,说明带宽不正常,便可以确定自身与主板之间的通信状态异常,进而向设置在主板上的主机输出通信异常提示信息,例如,输出的通信异常提示信息中可以携带有具体的通信异常检测信息,例如包括检测出的具体带宽值。
进一步的,在本发明的一种具体实施方式中,第一PCIe扩展卡20还可以用于:
在检测出自身与主板之间的通信带宽未达到第一带宽阈值之后,判断自身与主板之间的通信带宽是否达到预设的第二带宽阈值;
如果达到第二带宽阈值,则确定自身与主板之间的通信降级;
如果未达到第二带宽阈值,则确定自身与主板之间的通信中断;
其中,第二带宽阈值低于第一带宽阈值。
该种实施方式考虑到,当检测出第一PCIe扩展卡20自身与主板之间的通信带宽未达到预设的第一带宽阈值时,可以进一步地进行区分,以便协助工作人员后续的异常状态修复工作。
具体的,第一PCIe扩展卡20在检测出自身与主板之间的通信带宽未达到第一带宽阈值之后,可以进一步地判断自身与主板之间的通信带宽是否达到预设的第二带宽阈值,如果达到了第二带宽阈值,说明虽然带宽不是正常状态,但仍然有一定的带宽,这通常是通信降级导致的,即此时第一PCIe扩展卡20会确定自身与主板之间的通信降级,例如第一PCIe扩展卡20与主板之间的通信由PCIe5.0降级为了PCIe4.0。
相应的,当判断出自身与主板之间的通信带宽也未达到预设的第二带宽阈值时,说明带宽已经降至很低的水平,则可以视为自身与主板之间的通信中断。当然,即便视为自身与主板之间的通信中断,第一PCIe扩展卡20仍然会尝试向设置在主板上的主机输出通信异常提示信息,因为在部分场合中,虽然带宽低于第二带宽阈值,但第一PCIe扩展卡20仍然可以成功地将通信异常提示信息发送至主机。
应用本发明实施例所提供的PCIe扩展系统,包括:用于连接PCIe设备的背板10;用于进行接口扩展的第一PCIe扩展卡20,第一PCIe扩展卡20插接在背板10的卡槽中,并且,第一PCIe扩展卡20通过布线与主板连接。
可以看出,本申请的方案中,将第一PCIe扩展卡20从主板端移动到了背板10端。具体的,第一PCIe扩展卡20与背板10不是由cable互联,而是板板对插,即第一PCIe扩展卡20插接在背板10的卡槽中,相应的,第一PCIe扩展卡20与主板的板板插接变为了cable连接,即第一PCIe扩展卡20通过布线与主板连接。这样的方案虽然增加了从第一PCIe扩展卡20到主板之间的布线,但由于第一PCIe扩展卡20插接在背板10的卡槽中,因此,不再需要进行第一PCIe扩展卡20与背板10之间的布线,而第一PCIe扩展卡20与背板10之间的布线数量,远多于第一PCIe扩展卡20与主板之间的布线数量,因此应用本申请的方案之后,整体上仍然会减小大量的布线数量。而由于所需要的布线数量大幅降低,也就使得本申请的方案需要耗费更小的空间进行线路布置,进而增大了硬盘的存放空间,提高了存储密度,并且所需要的布线数量降低时,也有利于系统的散热。
综上所述,本申请的方案通过降低了布线数量,可以有效地提高存储密度,保障系统的散热情况。
相应于上面的PCIe扩展系统的实施例,本发明实施例还提供了一种存储服务器,可与上文相互对应参照,该存储服务器可以包括如上述任一实施例中的PCIe扩展系统。
具体的,该PCIe扩展系统可以,包括:
用于连接PCIe设备的背板;
用于进行接口扩展的第一PCIe扩展卡,所述第一PCIe扩展卡插接在所述背板的卡槽中,并且,所述第一PCIe扩展卡通过布线与主板连接。
在本发明的一种具体实施方式中,所述第一PCIe扩展卡与所述主板之间的通信协议为具有第一传输速率的第一PCIe协议,所述第一PCIe扩展卡与所述背板之间的通信协议为具有第二传输速率的第二PCIe协议;
其中,所述第一传输速率高于所述第二传输速率。
在本发明的一种具体实施方式中,所述第一PCIe协议为PCIe5.0,所述第二PCIe协议为PCIe4.0,PCIe3.0,PCIe2.0以及PCIe1.0中的任意1种。
在本发明的一种具体实施方式中,还包括:用于进行接口扩展的K张目标PCIe扩展卡;K为正整数;
针对K张目标PCIe扩展卡中的任意1张目标PCIe扩展卡,所述目标PCIe扩展卡插接在所述背板的卡槽中,并且,所述目标PCIe扩展卡通过布线与主板连接。
在本发明的一种具体实施方式中,所述第一PCIe扩展卡为PCIe标卡,K张目标PCIe扩展卡均为PCIe标卡。
在本发明的一种具体实施方式中,所述第一PCIe扩展卡还用于:
获取用于反映所述背板所连接的PCIe设备的健康状况的健康日志,当接收到日志读取指令时,向预设的对外端口发送所述健康日志。
在本发明的一种具体实施方式中,所述第一PCIe扩展卡还用于:
当根据所述健康日志确定出所述背板所连接的任意PCIe设备出现故障时,按照故障等级对出现故障的所述PCIe设备的故障指示灯进行相应的显示控制。
在本发明的一种具体实施方式中,所述背板所连接的PCIe设备中包括N个硬盘;所述第一PCIe扩展卡还用于:
进行N个硬盘的盘序识别,以验证硬盘序号与背板上的物理槽编号是否顺序一致;N为不小于2的正整数。
如果不一致,向设置在所述主板上的主机输出第一提示信息。
在本发明的一种具体实施方式中,所述第一PCIe扩展卡通过布线与所述主板上的连接器连接,或者,所述第一PCIe扩展卡的布线焊接在所述主板的相应端口上。
在本发明的一种具体实施方式中,所述背板上设有 PCIe 插槽,PCIe扩展系统还包括:
插接在所述背板上的PCIe 插槽中,用于挂载多个硬盘的硬盘转接板。
在本发明的一种具体实施方式中,所述背板所连接的PCIe设备包括硬盘和GPU。
在本发明的一种具体实施方式中,所述第一PCIe扩展卡还用于:
检测自身与所述主板之间的通信状态,以及自身与所述背板之间的通信状态;
当检测出自身与所述主板之间的通信状态异常时,和/或者检测出自身与所述背板之间的通信状态异常时。
在本发明的一种具体实施方式中,所述检测自身与所述主板之间的通信状态,包括:
检测自身与所述主板之间的通信带宽是否达到预设的第一带宽阈值;
如果否,则确定自身与所述主板之间的通信状态异常。
在本发明的一种具体实施方式中,所述第一PCIe扩展卡还用于:
在检测出自身与所述主板之间的通信带宽未达到所述第一带宽阈值之后,判断自身与所述主板之间的通信带宽是否达到预设的第二带宽阈值;
如果达到所述第二带宽阈值,则确定自身与所述主板之间的通信降级;
如果未达到所述第二带宽阈值,则确定自身与所述主板之间的通信中断;
其中,所述第二带宽阈值低于所述第一带宽阈值。
应用本发明实施例所提供的存储服务器,该存储服务器包括PCIe扩展系统,PCIe扩展系统可以包括:用于连接PCIe设备的背板;用于进行接口扩展的第一PCIe扩展卡,第一PCIe扩展卡插接在背板的卡槽中,并且,第一PCIe扩展卡通过布线与主板连接。
可以看出,本申请的方案中,将第一PCIe扩展卡从主板端移动到了背板端。具体的,第一PCIe扩展卡与背板不是由cable互联,而是板板对插,即第一PCIe扩展卡插接在背板的卡槽中,相应的,第一PCIe扩展卡与主板的板板插接变为了cable连接,即第一PCIe扩展卡通过布线与主板连接。这样的方案虽然增加了从第一PCIe扩展卡到主板之间的布线,但由于第一PCIe扩展卡插接在背板的卡槽中,因此,不再需要进行第一PCIe扩展卡与背板之间的布线,而第一PCIe扩展卡与背板之间的布线数量,远多于第一PCIe扩展卡与主板之间的布线数量,因此应用本申请的方案之后,整体上仍然会减小大量的布线数量。而由于所需要的布线数量大幅降低,也就使得本申请的方案需要耗费更小的空间进行线路布置,进而增大了硬盘的存放空间,提高了存储密度,并且所需要的布线数量降低时,也有利于系统的散热。综上所述,本申请的方案通过降低了布线数量,可以有效地提高存储密度,保障系统的散热情况。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的存储服务器而言,由于其与实施例公开的PCIe扩展系统相对应,所以描述的比较简单,相关之处参见PCIe扩展系统部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明的保护范围内。

Claims (15)

1.一种PCIe扩展系统,其特征在于,包括:
用于连接PCIe设备的背板;
用于进行接口扩展的第一PCIe扩展卡,所述第一PCIe扩展卡插接在所述背板的卡槽中,并且,所述第一PCIe扩展卡通过布线与主板连接。
2.根据权利要求1所述的PCIe扩展系统,其特征在于,所述第一PCIe扩展卡与所述主板之间的通信协议为具有第一传输速率的第一PCIe协议,所述第一PCIe扩展卡与所述背板之间的通信协议为具有第二传输速率的第二PCIe协议;
其中,所述第一传输速率高于所述第二传输速率。
3.根据权利要求2所述的PCIe扩展系统,其特征在于,所述第一PCIe协议为PCIe5.0,所述第二PCIe协议为PCIe4.0,PCIe3.0,PCIe2.0以及PCIe1.0中的任意1种。
4.根据权利要求1所述的PCIe扩展系统,其特征在于,还包括:用于进行接口扩展的K张目标PCIe扩展卡;K为正整数;
针对K张目标PCIe扩展卡中的任意1张目标PCIe扩展卡,所述目标PCIe扩展卡插接在所述背板的卡槽中,并且,所述目标PCIe扩展卡通过布线与主板连接。
5.根据权利要求4所述的PCIe扩展系统,其特征在于,所述第一PCIe扩展卡为PCIe标卡,K张目标PCIe扩展卡均为PCIe标卡。
6.根据权利要求1所述的PCIe扩展系统,其特征在于,所述第一PCIe扩展卡还用于:
获取用于反映所述背板所连接的PCIe设备的健康状况的健康日志,当接收到日志读取指令时,向预设的对外端口发送所述健康日志。
7.根据权利要求6所述的PCIe扩展系统,其特征在于,所述第一PCIe扩展卡还用于:
当根据所述健康日志确定出所述背板所连接的任意PCIe设备出现故障时,按照故障等级对出现故障的所述PCIe设备的故障指示灯进行相应的显示控制。
8.根据权利要求1所述的PCIe扩展系统,其特征在于,所述背板所连接的PCIe设备中包括N个硬盘;所述第一PCIe扩展卡还用于:
进行N个硬盘的盘序识别,以验证硬盘序号与背板上的物理槽编号是否顺序一致;N为不小于2的正整数;
如果不一致,向设置在所述主板上的主机输出第一提示信息。
9.根据权利要求1所述的PCIe扩展系统,其特征在于,所述第一PCIe扩展卡通过布线与所述主板上的连接器连接,或者,所述第一PCIe扩展卡的布线焊接在所述主板的相应端口上。
10.根据权利要求1所述的PCIe扩展系统,其特征在于,所述背板上设有 PCIe 插槽,PCIe扩展系统还包括:
插接在所述背板上的PCIe 插槽中,用于挂载多个硬盘的硬盘转接板。
11.根据权利要求1所述的PCIe扩展系统,其特征在于,所述背板所连接的PCIe设备包括硬盘和GPU。
12.根据权利要求1至11任一项所述的PCIe扩展系统,其特征在于,所述第一PCIe扩展卡还用于:
检测自身与所述主板之间的通信状态,以及自身与所述背板之间的通信状态;
当检测出自身与所述主板之间的通信状态异常时,和/或者检测出自身与所述背板之间的通信状态异常时。
13.根据权利要求12所述的PCIe扩展系统,其特征在于,所述检测自身与所述主板之间的通信状态,包括:
检测自身与所述主板之间的通信带宽是否达到预设的第一带宽阈值;
如果否,则确定自身与所述主板之间的通信状态异常。
14.根据权利要求13所述的PCIe扩展系统,其特征在于,所述第一PCIe扩展卡还用于:
在检测出自身与所述主板之间的通信带宽未达到所述第一带宽阈值之后,判断自身与所述主板之间的通信带宽是否达到预设的第二带宽阈值;
如果达到所述第二带宽阈值,则确定自身与所述主板之间的通信降级;
如果未达到所述第二带宽阈值,则确定自身与所述主板之间的通信中断;
其中,所述第二带宽阈值低于所述第一带宽阈值。
15.一种存储服务器,其特征在于,包括如权利要求1至14任一项所述的PCIe扩展系统。
CN202211373382.3A 2022-11-04 2022-11-04 一种存储服务器及其PCIe扩展系统 Pending CN115509981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211373382.3A CN115509981A (zh) 2022-11-04 2022-11-04 一种存储服务器及其PCIe扩展系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211373382.3A CN115509981A (zh) 2022-11-04 2022-11-04 一种存储服务器及其PCIe扩展系统

Publications (1)

Publication Number Publication Date
CN115509981A true CN115509981A (zh) 2022-12-23

Family

ID=84511752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211373382.3A Pending CN115509981A (zh) 2022-11-04 2022-11-04 一种存储服务器及其PCIe扩展系统

Country Status (1)

Country Link
CN (1) CN115509981A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207650802U (zh) * 2018-01-09 2018-07-24 郑州云海信息技术有限公司 一种具有扩展功能的服务器系统
CN108664440A (zh) * 2018-06-01 2018-10-16 金石泰诚集团有限公司 接口服务器和机箱
CN109062829A (zh) * 2018-07-24 2018-12-21 广东浪潮大数据研究有限公司 一种硬盘扩展设备
CN208848136U (zh) * 2018-09-14 2019-05-10 贵州浪潮英信科技有限公司 一种m.2硬盘扩展卡
CN109933554A (zh) * 2019-03-20 2019-06-25 浪潮商用机器有限公司 一种基于GPU服务器的NVMe硬盘扩展装置
CN114003528A (zh) * 2021-09-28 2022-02-01 苏州浪潮智能科技有限公司 Ocp转接卡、转接系统及转接方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207650802U (zh) * 2018-01-09 2018-07-24 郑州云海信息技术有限公司 一种具有扩展功能的服务器系统
CN108664440A (zh) * 2018-06-01 2018-10-16 金石泰诚集团有限公司 接口服务器和机箱
CN109062829A (zh) * 2018-07-24 2018-12-21 广东浪潮大数据研究有限公司 一种硬盘扩展设备
CN208848136U (zh) * 2018-09-14 2019-05-10 贵州浪潮英信科技有限公司 一种m.2硬盘扩展卡
CN109933554A (zh) * 2019-03-20 2019-06-25 浪潮商用机器有限公司 一种基于GPU服务器的NVMe硬盘扩展装置
CN114003528A (zh) * 2021-09-28 2022-02-01 苏州浪潮智能科技有限公司 Ocp转接卡、转接系统及转接方法

Similar Documents

Publication Publication Date Title
CN1245687C (zh) 测试usb端口的方法及其装置
US6018810A (en) Fault-tolerant interconnection means in a computer system
US6295565B1 (en) RAID controller card coupled via first and second edge connectors to the system bus and on-board SCSI controller respectfully
US7490176B2 (en) Serial attached SCSI backplane and detection system thereof
CN213365380U (zh) 一种服务器主板及服务器
US6757774B1 (en) High-availability, highly-redundant storage system enclosure
TWI754183B (zh) 硬碟背板管理裝置
CN101661453B (zh) 刀片服务器中识别刀片序号的方法
CN113849045B (zh) 一种背板以及计算机设备
CN1223053C (zh) 板卡在位检测方法
CN115167629A (zh) 一种双路服务器cpu主板
CN111176913A (zh) 一种检测服务器中Cable Port的电路和方法
US11596073B2 (en) Electronic equipment that provides multi-function slots
CN114443531A (zh) 一种服务器PCIe端口自动配置的系统、方法
CN114003528A (zh) Ocp转接卡、转接系统及转接方法
US7178054B2 (en) Frame validation
CN100414526C (zh) 自动调整总线宽度的方法及装置
CN115509981A (zh) 一种存储服务器及其PCIe扩展系统
CN112000535A (zh) 一种基于SAS Expander卡的硬盘异常识别方法及处理方法
CN115729872A (zh) 一种计算设备及pcie线缆连接的检测方法
CN213365438U (zh) 一种双路服务器主板及服务器
US11625354B2 (en) Circuit structure with automatic PCIe link configuration adjustment and method thereof
CN111930580A (zh) 一种rk3399主板多usb端口测试方法
CN107704403B (zh) 一种优化主背板信号传输的装置及方法
CN102331912B (zh) 一种用于在主机上连接多个硬盘的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221223

RJ01 Rejection of invention patent application after publication