CN210776403U - 一种兼容GPUDirect存储方式的服务器架构 - Google Patents
一种兼容GPUDirect存储方式的服务器架构 Download PDFInfo
- Publication number
- CN210776403U CN210776403U CN201922215701.8U CN201922215701U CN210776403U CN 210776403 U CN210776403 U CN 210776403U CN 201922215701 U CN201922215701 U CN 201922215701U CN 210776403 U CN210776403 U CN 210776403U
- Authority
- CN
- China
- Prior art keywords
- pcie
- board
- cpu
- storage
- x8slim
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 101710176296 Switch 2 Proteins 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Abstract
本实用新型实施例公开了一种兼容GPUDirect存储方式的服务器架构，包括存储背板、CPU板、PCIe桥接板和GPU板；所述CPU板通过PCIe连接器连接所述存储背板，所述GPU板包括PCIe Switch和GPU，所述PCIe桥接板连接CPU板和PCIe Switch，所述PCIe Switch分别连接GPU和所述存储背板。本实用新型架构在现有方案的基础上，通过PCIe Switch各出PCIe x4到存储背板的方式，支持GPUDirect存储方式，GPU内存访问NVMe中存储资料不需要经过CPU，有效提升存储设备资料到GPU内存的吞吐速率；同时既支持GPU通过CPU访问NVMe存储设备的方式，也支持GPUDirect存储方式，根据应用需要灵活配置。
Description
技术领域
本实用新型涉及服务器硬件架构技术领域,具体地说是一种兼容GPUDirect存储方式的服务器架构。
背景技术
将资料从存储器加载到GPU(Graphics Processing Uni，图形处理器)，通常由CPU负责。如图1所示，资料从NVMe磁盘传输到GPU内存的标准路径，是使用系统内存中的反弹缓冲区(Bounce Buffer)，也就是额外的数据拷贝。随着AI以及高性能计算的资料集规模不断增加，这成为了硬件效能的瓶颈。应用程序加载资料花费的时间越来越长，进而影响了应用程序的效能。尤其是End to End架构，会因为缓慢的IO速率使得运算速度日益提升的GPU无法发挥出最大性能。
如图2所示，目前的AI服务器方案中，以2路8GPU为例，采用传统的CPU通过PCIe直出的方式，两颗CPU通过四颗PCIe Switch连接8颗GPU，CPU与每颗PCIe Switch之间、PCIeSwitch与每颗GPU之间，均通过一组PCIe x16连接，同时每颗PCIe Switch各出一组PCIex16连接IB卡。每颗CPU各出4组PCIe x4分别连接4颗NVMe盘。
现有两路8GPU AI服务器，采用传统的CPU直出NVMe存储设备的方式，主要存在以下缺点：GPU完全依赖于CPU访问系统存储设备的方式，这会造成IO瓶颈，且无法兼容GPUDirect存储，无法根据应用需求灵活配置存储方式。
实用新型内容
本实用新型实施例中提供了一种兼容GPUDirect存储方式的服务器架构，以解决现有技术中GPU依赖CPU访问存储设备，造成IO瓶颈，且配置存储不灵活的问题。
为了解决上述技术问题，本实用新型实施例公开了如下技术方案：
本实用新型提供了一种兼容GPUDirect存储方式的服务器架构，包括存储背板、CPU板、PCIe桥接板和GPU板；所述CPU板通过PCIe连接器连接所述存储背板，所述GPU板包括PCIe Switch和GPU，所述PCIe桥接板连接CPU板和PCIe Switch，所述PCIe Switch分别连接GPU和所述存储背板。
进一步地，所述存储背板包括NVMe盘连接器和PCIe Slimline连接器，所述NVMe盘连接器连接PCIe Slimline连接器。
进一步地，所述CPU板包括CPU、若干PCIe Slimline连接器和CPU板高密连接器，所述CPU通过PCIe x16连接所述CPU板高密连接器，所述CPU通过PCIex4连接PCIe Slimline连接器。
进一步地，所述CPU包括两颗，为CPU1和CPU2；PCIe Slimline连接器包括8个PCIex8 Slimline连接器，分别为第一PCIe x8 Slimline连接器、第二PCIe x8Slimline连接器、第三PCIe x8 Slimline连接器、第四PCIe x8 Slimline连接器、第五PCIe x8 Slimline连接器、第六PCIe x8 Slimline连接器、第七PCIe x8Slimline连接器和第八PCIe x8Slimline连接器；CPU板高密连接器包括3个；每个CPU各出两组PCIe x16信号连接CPU板高密连接器，每个CPU各出4组PCIe x4信号连接4个PCIe x8 Slimline连接器，与CPU连接的PCIe x8 Slimline连接器靠近存储背板方向。
进一步地，所述服务器架构包括3个PCIe桥接板，分别为第一PCIe桥接板、第二PCIe桥接板和第三PCIe桥接板，每个PCIe桥接板包括两个桥接板高密连接器。
进一步地，所述GPU板还包括GPU板高密连接器，所述GPU包括8颗，所述PCIeSwitch包括4颗，每颗PCIe Switch各出两组PCIe x4通过PCIe桥接板连接到CPU板4个PCIex8 Slimline连接器。
进一步地，所述第一PCIe桥接板用于CPU1的一组PCIex16信号与PCIe Switch1的连接，以及PCIe Switch1和PCIe Switch2各出的PCIe x4信号与CPU板上第五、第六两个PCIe x8 Slimline连接器的连接；所述第二PCIe桥接板用于CPU1的另一组PCIe x16信号与PCIe Switch2的连接，以及CPU2的一组PCIe x16信号与PCIe Switch3的连接；所述第三PCIe桥接板用于CPU2的另一组PCIe x16信号与PCIe Swicth4的连接,以及PCIe Switch3和PCIe Switch4各出的PCIe x4信号与CPU板上的第七、第八PCIe x8 Slimline连接器的连接。
实用新型内容中提供的效果仅仅是实施例的效果，而不是实用新型所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本实用新型的架构在现有方案的基础上，通过PCIe Switch各出PCIe x4到存储背板的方式，支持GPUDirect存储方式，GPU内存访问NVMe中存储资料不需要经过CPU，有效提升存储设备资料到GPU内存的吞吐速率；同时既支持GPU通过CPU访问NVMe存储设备的方式，也支持GPUDirect存储方式，根据应用需要，灵活配置。
附图说明
为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中GPU加载NVMe资料的结构示意图；
图2是现有技术的服务器架构示意图；
图3是GPUDirect存储的结构示意图；
图4是本实用新型所述服务器架构的结构示意图；
图5是本实用新型所述服务器架构各组成部件的结构示意图；
图中，1存储背板、11PCIe x8 Slimline连接器、2CPU板、21CPU板高密连接器、3PCIe桥接板、31第一高密连接器、32第二高密连接器、4GPU板、41GPU板高密连接器。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本实用新型进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本实用新型的不同结构。为了简化本实用新型的公开，下文中对特定例子的部件和设置进行描述。此外，本实用新型可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本实用新型省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本实用新型。
如图3所示，NVIDIA发展的GPUDirect存储技术，使用DMA(Direct Memory Access直接内存存取)技术为远端或者是本地存储(比如NVMe或者NVMe over Fabric)和GPU内存之间建立一个直接传输资料的路径，将存储设备中的资料直接放到GPU内存中，避免使用反弹缓冲区，这能有效减轻CPU IO的瓶颈，提升IO频宽和传输资料的效率。
通常情况下，通用服务器会将NVMe存储设备直接通过PCIe挂在CPU下。随着AI应用需求的不断增加，CPU+GPU异构服务器的需求量也在急速增长，提升AI服务器的各方面性能成为一个课题。随着应用场景对AI服务器性能的要求越来越高，传统的GPU通过CPU从系统存储设备中加载资料的方式逐渐成为瓶颈，采用GPUDirect存储技术也成为了突破的方向。基于此，本实用新型以下实施例提出了一种兼容GPUDirect存储的服务器硬件设计方案，同时支持CPU直出、GPUDirect存储、以及两种方式混合使用的存储方式，使得服务器可根据应用需求灵活地选择存储方式。
如图4、5所示，本实用新型兼容GPUDirect存储方式的服务器架构包括存储背板1、CPU板2、PCIe桥接板3和GPU板4；CPU板2通过PCIe连接器连接存储背板1，GPU板4包括PCIeSwitch和GPU，PCIe桥接板3连接CPU板和PCIe Switch，PCIe Switch分别GPU和存储背板1。
以下实施例以2路2GPU的架构进行说明。
存储背板1包括NVMe盘连接器和PCIe Slimline连接器2，具体包括8个NVMe盘连接器和4个PCIe x8 Slimline连接器。每个PCIe x8 Slimline连接器各出两组PCIe x4信号到两个NVMe盘连接器上，从而每个NVMe盘连接器均连接一个个PCIe x8 Slimline连接器。
CPU板2包括CPU、若干PCIe Slimline连接器和CPU板高密连接器21，CPU通过PCIex16连接CPU板高密连接器11，CPU通过PCIex4连接PCIe Slimline连接器。
CPU包括CPU1和CPU2；PCIe Slimline连接器包括8个PCIe x8 Slimline连接器，分别为第一PCIe x8 Slimline连接器、第二PCIe x8 Slimline连接器、第三PCIe x8Slimline连接器、第四PCIe x8 Slimline连接器、第五PCIe x8
Slimline连接器、第六PCIe x8 Slimline连接器、第七PCIe x8 Slimline连接器和第八PCIe x8 Slimline连接器，图5中8个PCIe x8 Slimline连接器分别用①②③④⑤⑥⑦⑧进行区别标记。CPU板高密连接器21包括3个，每个CPU板高密连接器可以通过64对差分信号。每个CPU各出两组PCIe x16信号连接CPU板高密连接器，用于连接GPU板4上的4个PCIeSwitch。同时每个CPU各出4组PCIe x4信号连接4个PCIe x8 Slimline连接器，即图中标记的①②③④PCIe x8 Slimline连接器，如CPU1出4组PCIe x4信号分别连接①②PCIe x8Slimline连接器，如CPU2出4组PCIe x4信号分别连接③④PCIe x8 Slimline连接器。与CPU连接的PCIe x8 Slimline连接器靠近存储背板方向。①②③④PCIe x8 Slimline连接器通过Slimline线缆连接存储背板1上的PCIe x8 Slimline连接器，从而实现CPU通过PCIe直出NVMe盘的存储方式。
本实施例的服务器架构包括3个PCIe桥接板3，分别为第一PCIe桥接板、第二PCIe桥接板和第三PCIe桥接板，图5中分别用①②③进行了区别标记，每个PCIe桥接板包括两个桥接板高密连接器：第一高密连接器31和第二高密连接器32。第一高密连接器31和第二高密连接器32均可以通过64组差分信号。PCIe桥接板通过桥接板高密连接器来完成CPU板和GPU板之间PCIe信号的互联。
第一PCIe桥接板用于CPU1的一组PCIex16信号与PCIe Switch1的连接，以及PCIeSwitch1和PCIe Switch2各出的PCIe x4信号与CPU板上第五、第六两个PCIe x8 Slimline连接器的连接；所述第二PCIe桥接板用于CPU1的另一组PCIe x16信号与PCIe Switch2的连接，以及CPU2的一组PCIe x16信号与PCIe Switch3的连接；所述第三PCIe桥接板用于CPU2的另一组PCIe x16信号与PCIe Swicth4的连接,以及PCIe Switch3和PCIe Switch4各出的PCIe x4信号与CPU板上的第七、第八PCIe x8 Slimline连接器的连接。通过Slimline线缆将⑤⑥⑦⑧四个PCIe x8Slimline连接器上的信号接到存储背板上的四个PCIe x8Slimline连接器上，实现GPUDirect存储方式。
GPU板4还包括GPU板高密连接器41，GPU包括8颗，PCIe Switch包括4颗，每颗PCIeSwitch各有一组来自CPU的PCIe x16信号，并且各出两组PCIe x16信号到两颗GPU。同时4颗PCIe Switch各出两组PCIe x4通过PCIe桥接板连接到CPU板⑤⑥⑦⑧四个PCIe x8Slimline连接器上，以实现GPUDirect存储方式。
基于上述实施例，本实用新型根据需求灵活配置存储方式，支持三种存储设备配置方式：
NVMe全部由CPU直出：由与①②③④四个PCIe x8 Slimline连接器连接的线路实现；
NVMe全部由PCIe Switch直出，支持GPUDirect存储方式：由与⑤⑥⑦⑧四个PCIex8 Slimline连接器连接的线路实现；
NVMe全部由PCIe Switch直出，支持GPUDirect存储方式：由以上两种方式的结合实现。
以上所述只是本实用新型的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本实用新型的保护范围。
Claims (7)
1.一种兼容GPUDirect存储方式的服务器架构，其特征是，包括存储背板、CPU板、PCIe桥接板和GPU板；所述CPU板通过PCIe连接器连接所述存储背板，所述GPU板包括PCIeSwitch和GPU，所述PCIe桥接板连接CPU板和PCIe Switch，所述PCIe Switch分别连接GPU和所述存储背板。
2.根据权利要求1所述的兼容GPUDirect存储方式的服务器架构，其特征是，所述存储背板包括NVMe盘连接器和PCIe Slimline连接器，所述NVMe盘连接器连接PCIe Slimline连接器。
3.根据权利要求2所述的兼容GPUDirect存储方式的服务器架构，其特征是，所述CPU板包括CPU、若干PCIe Slimline连接器和CPU板高密连接器，所述CPU通过PCIe x16连接所述CPU板高密连接器，所述CPU通过PCIex4连接PCIe Slimline连接器。
4.根据权利要求3所述的兼容GPUDirect存储方式的服务器架构，其特征是，所述CPU包括两颗，为CPU1和CPU2；PCIe Slimline连接器包括8个PCIe x8Slimline连接器，分别为第一PCIe x8 Slimline连接器、第二PCIe x8 Slimline连接器、第三PCIe x8 Slimline连接器、第四PCIe x8 Slimline连接器、第五PCIe x8 Slimline连接器、第六PCIe x8 Slimline连接器、第七PCIe x8 Slimline连接器和第八PCIe x8 Slimline连接器；CPU板高密连接器包括3个；每个CPU各出两组PCIe x16信号连接CPU板高密连接器，每个CPU各出4组PCIe x4信号连接4个PCIe x8 Slimline连接器，与CPU连接的PCIe x8 Slimline连接器靠近存储背板方向。
5.根据权利要求3所述的兼容GPUDirect存储方式的服务器架构，其特征是，所述服务器架构包括3个PCIe桥接板，分别为第一PCIe桥接板、第二PCIe桥接板和第三PCIe桥接板，每个PCIe桥接板包括两个桥接板高密连接器。
6.根据权利要求5所述的兼容GPUDirect存储方式的服务器架构，其特征是，所述GPU板还包括GPU板高密连接器，所述GPU包括8颗，所述PCIe Switch包括4颗，每颗PCIe Switch各出两组PCIe x4通过PCIe桥接板连接到CPU板4个PCIe x8Slimline连接器。
7.根据权利要求6所述的兼容GPUDirect存储方式的服务器架构，其特征是，所述第一PCIe桥接板用于CPU1的一组PCIex16信号与PCIe Switch1的连接，以及PCIe Switch1和PCIe Switch2各出的PCIe x4信号与CPU板上第五、第六两个PCIe x8 Slimline连接器的连接；所述第二PCIe桥接板用于CPU1的另一组PCIe x16信号与PCIe Switch2的连接，以及CPU2的一组PCIe x16信号与PCIe Switch3的连接；所述第三PCIe桥接板用于CPU2的另一组PCIe x16信号与PCIe Swicth4的连接,以及PCIe Switch3和PCIe Switch4各出的PCIe x4信号与CPU板上的第七、第八PCIe x8 Slimline连接器的连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201922215701.8U CN210776403U (zh) | 2019-12-11 | 2019-12-11 | 一种兼容GPUDirect存储方式的服务器架构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201922215701.8U CN210776403U (zh) | 2019-12-11 | 2019-12-11 | 一种兼容GPUDirect存储方式的服务器架构 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN210776403U true CN210776403U (zh) | 2020-06-16 |
Family
ID=71046118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201922215701.8U Active CN210776403U (zh) | 2019-12-11 | 2019-12-11 | 一种兼容GPUDirect存储方式的服务器架构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN210776403U (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112286292A (zh) * | 2020-09-28 | 2021-01-29 | 苏州浪潮智能科技有限公司 | 一种支持8gpu的服务器机箱及架构设计的方法 |
| WO2022021298A1 (en) * | 2020-07-31 | 2022-02-03 | Nvidia Corporation | Multi-format graphics processing unit docking board |
-
2019
- 2019-12-11 CN CN201922215701.8U patent/CN210776403U/zh active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022021298A1 (en) * | 2020-07-31 | 2022-02-03 | Nvidia Corporation | Multi-format graphics processing unit docking board |
| CN112286292A (zh) * | 2020-09-28 | 2021-01-29 | 苏州浪潮智能科技有限公司 | 一种支持8gpu的服务器机箱及架构设计的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271335B (zh) | 一种多通道数据源ddr缓存的fpga实现方法 | |
| CN210776403U (zh) | 一种兼容GPUDirect存储方式的服务器架构 | |
| CN113835487B (zh) | 一种实现高密度服务器内存池扩充的系统及方法 | |
| CN112306924A (zh) | 一种数据交互方法、装置、系统及可读存储介质 | |
| CN109933554A (zh) | 一种基于GPU服务器的NVMe硬盘扩展装置 | |
| CN212135411U (zh) | 一种io模组及ocp转接板 | |
| CN107748726B (zh) | 一种gpu箱 | |
| CN211427336U (zh) | 一种嵌入式vpx计算模块 | |
| CN113849045B (zh) | 一种背板以及计算机设备 | |
| CN210776468U (zh) | 一种实现32Ruler SSD存储的系统架构 | |
| CN112948316A (zh) | 一种基于网络互联的ai边缘计算一体机架构 | |
| CN107992437A (zh) | 一种支持双控模式的硬盘背板连接方法、系统及连接线缆 | |
| CN206363303U (zh) | 一种基于vpx结构的cpu模块 | |
| CN213276462U (zh) | 双路服务器主板及双路服务器 | |
| JP2008529134A (ja) | 携帯電話および他の携帯型機器用の低電力半導体ストレージコントローラ | |
| CN113703535B (zh) | 多节点服务器与ocp卡的连接配置方法、系统 | |
| CN109753459A (zh) | 一种大容量数据记录器 | |
| CN210129223U (zh) | 一种raid转接板和实现raid的系统 | |
| CN209928341U (zh) | 一种支持4张显卡的服务器平衡装置 | |
| CN209248518U (zh) | 一种固态硬盘扩展板卡及服务器 | |
| CN204189089U (zh) | 一种服务器 | |
| CN210466253U (zh) | 一种具备高密度gpu扩展能力的服务器 | |
| CN114328308B (zh) | 一种硬盘背板及服务器 | |
| CN111984584A (zh) | 基于国产飞腾高性能处理器的可变节点 | |
| CN216014148U (zh) | 一种服务器和服务器背板 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant |