CN110069436A - 热插拔控制电路及相关存储服务器系统 - Google Patents

Abstract

一种热插拔控制电路，用来检测一NVMe存储器模块的操作状态，以产生一检测报告至一存储服务器，其中该检测报告指示一热移除事件及一热新增事件中的至少一者。当该NVMe存储器模块中的至少一NVMe硬盘被移除时，表示有热移除事件发生，因此该热插拔控制电路可通过该检测报告来回报热移除事件给该存储服务器。此外，当有新的NVMe硬盘新增到该NVMe存储器模块时，表示有热新增事件发生，因此该热插拔控制电路可通过该检测报告来回报热新增事件给该存储服务器。

Description

热插拔控制电路及相关存储服务器系统

技术领域

本发明是指一种热插拔控制电路及相关存储服务器系统，特别涉及一种用于非易失性存储器传输硬盘的热插拔控制电路及相关存储服务器系统。

背景技术

开放硬件计划(Open Compute Project，OCP)是以开放硬件架构设计为目标的开源标准组织，其致力于研发高效率的大型数据中心硬件设计，用来简化系统操作、提升系统可靠度以及维护、改善能源效率并降低电源消耗。开放硬件计划对存储服务器系统(storage server system)制定了模块化的硬件设计规格。因此，当有新的控制芯片、硬盘(例如，硬盘(Hard DiskDrive，HDD)、固态硬盘(Solid State Drive，SSD))、服务器卡、硬盘控制卡以及相关功能元件上市时，工程人员可直接从存储服务器系统取下旧模块并更换新模块，再搭配相关固件更新程序，即可进行系统升级。

目前市面上的存储服务器系统，多半使用序列连接小型计算机系统接口(SerialAttached Small Computer System Interface，又称Serial Attached SCSI，简称SAS)或序列先进技术附件(Serial Advanced Technology Attachment，SATA)接口等传输接口。然而，有越来越多的系统使用非易失性存储器传输(Non-Volatile Memory Express，简称NVMe)及周边组件互连传输(Peripheral Component Interconnect Express，简称PCIe)等传输接口的硬盘。

在实际应用中，存储服务器系统的中央处理器(或服务器)无法直接读取SAS/SATA硬盘的数据，因此需额外建置SAS控制器来间接读取数据；反之，中央处理器可通过PCIe接口来直接读取NVMe硬盘的数据。因此，当系统建置的存储器或硬盘的数量越多，相较于使用SAS/SATA硬盘，使用NVMe硬盘可大幅减少数据读取的递延(latency)时间，以提高中央处理器的数据处理效能及读写速度。此外，NVMe硬盘的信号频宽比SAS/SATA硬盘宽，NVMe硬盘的消耗功率比SAS/SATA硬盘低，也不会有SAS/SATA硬盘的坏轨现象发生。如此可预期，未来NVMe硬盘会慢慢地取代SAS/SATA硬盘。

进一步地，若欲在存储服务器系统增加NVMe存储器模块(包含多个NVMe硬盘)，则需将扩展卡(Add in card)安装在服务器主机板上，并通过扩展卡上的重定时器(Re-timer)加强PCIe信号强度，再由外接线缆传递PCIe信号到NVMe存储器模块。

然而，申请人注意到上述架构的缺失是无法进行热插拔(Hot swap)，例如重定时器及外接线缆都不具备热插拔控制功能，导致工程人员在进行与NVMe硬盘或整台模块有关的系统升级与维修时，需先关闭存储服务器系统后才可进行相关工作。因此，确实有必要设计一种用于NVMe硬盘的热插拔控制电路及相关存储服务器系统，让使用NVMe硬盘的存储服务器系统具备便利的操作性及维护性。

发明内容

因此，本发明的主要目的即在于提供一种用于非易失性存储器传输硬盘的热插拔控制电路及相关存储服务器系统。

本发明公开一种热插拔控制电路，用于一存储服务器系统，包含一第一控制器、一周边组件互连传输(Peripheral Component Interconnect Express，简称PCIe)扩展器以及一第二控制器。该第一控制器用来检测该存储服务器系统的一非易失性存储器传输(Non-Volatile Memory Express，简称NVMe)存储器模块的一热移除事件及一热新增事件中的至少一者，以产生一第一控制信号。该PCIe扩展器耦接于该第一控制器，用来根据该第一控制信号，产生一检测报告至该存储服务器系统的一中央处理器，以回报该热移除事件及该热新增事件中的至少一者，并产生一第二控制信号，其中该第一控制信号、该检测报告及该第二控制信号指示该热移除事件及该热新增事件中的至少一者。该第二控制器耦接于该PCIe扩展器及该NVMe存储器模块，用来当该第二控制信号指示该热移除事件，产生一禁止读写信号至该NVMe存储器模块，以及当该第二控制信号指示该热新增事件时，产生一启动读写信号至该NVMe存储器模块。

本发明还公开一种存储服务器系统，包含上述热插拔控制电路、一NVMe存储器模块以及一中央处理器(或一存储服务器)。该热插拔控制电路可检测NVMe存储器模块的操作状态，以产生一检测报告至该中央处理器，其中该检测报告指示一热移除事件及一热新增事件中的至少一者。当该NVMe存储器模块中的至少一NVMe硬盘被移除时，表示有热移除事件发生，因此该热插拔控制电路可通过该检测报告来回报热移除事件给该中央处理器。此外，当有新的NVMe硬盘新增到该NVMe存储器模块时，表示有热新增事件发生，因此该热插拔控制电路可通过该检测报告来回报热新增事件给该中央处理器。

因此，本发明的存储服务器系统可在开机的状态下进行热插拔，如此可提供便利的操作性及维护性。

附图说明

图1为本发明实施例一存储服务器系统的示意图。

图2为本发明实施例图1的存储服务器系统的功能方框图。

图3为本发明实施例一热插拔控制流程的流程图。

附图标记说明：

1 存储服务器系统

10 中央处理器

11 提升卡

12 扩展卡

13 外接线缆

14 NVMe存储器模块

14_1～14_N、14_X、14_Y NVMe硬盘

15 主机板

16 基板

CON1、CON2、CON3、CON4 连接器

120 热插拔控制电路

20 PCIe扩展器

21 第一控制器

22 第二控制器

D_RPT 检测报告

H_RMV 热移除事件

H_ADD 热新增事件

CTRL1 第一控制信号

CTRL2 第二控制信号

RW 读写信号

FBD_RW 禁止读写信号

ACT_RW 启动读写信号

3 流程

30、31、32、33、34、35 步骤

具体实施方式

图1为本发明实施例一存储服务器系统1的示意图。存储服务器系统1包含一中央处理器(或一存储服务器)10、一提升卡(riser card)11、一扩展卡(switch card)12、一外接线缆13、一非易失性存储器传输(Non-VolatileMemory Express，简称NVMe)存储器模块14以及一主机板15。主机板15设置有中央处理器10及一连接器CON1。提升卡11包含一连接器CON2。扩展卡12包含一基板16、一连接器CON3及一热插拔控制电路120，其中基板16设置有连接器CON2及热插拔控制电路120。NVMe存储器模块14包含多个NVMe硬盘14_1～14_N及一连接器CON4。

提升卡11可插入连接器CON1来连接到主机板15，并通过主机板15连接到中央处理器10。扩展卡12可插入连接器CON2来连接到提升卡11，并通过提升卡11及主机板15连接到中央处理器10。外接线缆13可插入连接器CON3来连接到扩展卡12，以及插入连接器CON4来连接到NVMe存储器模块14。简言之，提升卡11用来连接中央处理器10与扩展卡12，而外接线缆13用来连接扩展卡12与NVMe存储器模块14。于一实施例中，扩展卡12可整合于主机板15，让扩展卡12的热插拔控制电路120可直接连接到中央处理器10，并让外接线缆13连接主机板15及NVMe存储器模块14，如此可减少信号转接时造成的衰减程度。

热插拔控制电路120可检测NVMe存储器模块14的操作状态，以产生一检测报告D_RPT至中央处理器10，其中检测报告D_RPT指示一热移除事件H_RMV及一热新增事件H_ADD中的至少一者。当NVMe硬盘14_1～14_N中的至少一者(例如NVMe硬盘14_X)被移除时，表示有热移除事件H_RMV发生，因此热插拔控制电路120可通过检测报告D_RPT来回报热移除事件H_RMV给中央处理器10。此外，当有新的NVMe硬盘14_Y新增到NVMe存储器模块14时，表示有热新增事件H_ADD发生，因此热插拔控制电路120可通过检测报告D_RPT来回报热新增事件H_ADD给中央处理器10。

中央处理器10可通过周边组件互连传输(Peripheral Component InterconnectExpress，简称PCIe)传输接口，产生读写信号RW(包含一数据信号及一时钟信号)，并通过提升卡11、扩展卡12及外接线缆13，将读写信号RW传送到NVMe存储器模块14，以读取、写入或更新NVMe硬盘14_1～14_N的数据。

假设NVMe硬盘14_1～14_N中的NVMe硬盘14_X被移除时，中央处理器10可根据检测报告D_RPT指示的热移除事件H_RMV，停止读取NVMe硬盘14_X的数据。例如，中央处理器10可根据热移除事件H_RMV，停止传送有关NVMe硬盘14_X的读写信号RW，以停止数据读写。另一方面，假设NVMe硬盘14_Y新增到NVMe存储器模块14时，中央处理器10可根据检测报告D_RPT指示的热新增事件H_ADD，对NVMe硬盘14_Y进行配置(configuration)程序以读取NVMe硬盘14_Y的数据。例如，中央处理器10可根据热新增事件H_ADD，传送有关NVMe硬盘14_Y的读写信号RW，以进行数据读取、写入或更新。

如此一来，存储服务器系统1可在开机的状态下，将NVMe硬盘14_X替换为NVMe硬盘14_Y，以进行热插拔，如此可提供便利的操作性及维护性。于一实施例中，工程人员可移除NVMe存储器模块14，以同时移除所有的NVMe硬盘14_1～14_N，再连接新的NVMe存储器模块，以进行批次热插拔，如此可进一步提升更换效率。

图2为本发明实施例存储服务器系统1的功能方框图。于本实施例中，提升卡11未绘于图2。热插拔控制电路120(或扩展卡12)包含一PCIe扩展器20、一第一控制器21、一第二控制器22以及连接器CON3。NVMe存储器模块14包含连接器CON4及NVMe硬盘14_1～14_N，其中外接线缆13可插入连接器CON3及连接器CON4，以连接扩展卡12及NVMe存储器模块14。

第一控制器21耦接于PCIe扩展器20及连接器CON3，用来检测热移除事件H_RMV及热新增事件H_ADD中的至少一者，以产生一第一控制信号CTRL1至PCIe扩展器20。PCIe扩展器20耦接于中央处理器10、第一控制器21、第二控制器22及连接器CON3，用来根据第一控制信号CTRL1，产生检测报告D_RPT至中央处理器，并产生一第二控制信号CTRL2至第二控制器22。第二控制器22耦接于PCIe扩展器20及连接器CON3，用来根据第二控制信号CTRL2，产生一禁止读写信号FBD_RW或一启动读写信号ACT_RW至连接器CON3，以将禁止读写信号FBD_RW或启动读写信号ACT_RW传递至NVMe存储器模块14。

假设NVMe硬盘14_1～14_N中的NVMe硬盘14_X被移除时，第一控制器21可产生第一控制信号CTRL1至PCIe扩展器20，以指示NVMe硬盘14_X已被移除；接着，PCIe扩展器20根据第一控制信号CTRL1来产生检测报告D_RPT至中央处理器10，让中央处理器10停止读取NVMe硬盘14_X的数据。此外，PCIe扩展器20根据第一控制信号CTRL1来产生第二控制信号CTRL2至第二控制器22，以指示NVMe硬盘14_X已被移除；接着，第二控制器22可根据第二控制信号CTRL2来产生禁止读写信号FBD_RW，以禁止传送NVMe硬盘14_X的相关读写信号RW到NVMe存储器模块14。于一实施例中，第一控制信号CTRL1、第二控制信号CTRL2及禁止读写信号FBD_RW指示被移除的NVMe硬盘14_X的硬件识别。

另一方面，假设NVMe硬盘14_Y新增到NVMe存储器模块14时，第一控制器21可产生第一控制信号CTRL1至PCIe扩展器20，以指示已新增NVMe硬盘14_Y；接着，PCIe扩展器20根据第一控制信号CTRL1来产生检测报告D_RPT至中央处理器10，以通报有新的NVMe硬盘14_Y。此外，PCIe扩展器20根据第一控制信号CTRL1来产生第二控制信号CTRL2至第二控制器22，以指示已新增NVMe硬盘14_Y；接着，第二控制器22可根据第二控制信号CTRL2来产生启动读写信号ACT_RW，以启动传送NVMe硬盘14_Y的相关读写信号RW到NVMe存储器模块14。于一实施例中，第一控制信号CTRL1、第二控制信号CTRL2及启动读写信号ACT_RW指示新增的NVMe硬盘14_Y的硬件识别。

简言之，热插拔控制电路120(或PCIe扩展器20)可作为中央处理器10与NVMe存储器模块14信号控制接口，用来回报热移除及热新增事件给中央处理器10，并同时控制传送到NVMe存储器模块14的读写信号RW。

如此一来，存储服务器系统1可在开机的状态下，将NVMe硬盘14_X替换为NVMe硬盘14_Y，以进行热插拔，如此可提供便利的操作性及维护性。

上述关于热插拔控制电路120(或PCIe扩展器20)的操作方式可归纳为一热插拔控制流程3。如图3所示，热插拔控制流程3包含以下步骤。

步骤30：开始。

步骤31：检测一NVMe存储器模块的一热移除事件或一热新增事件，以产生一检测报告至一中央处理器。

步骤32：判断该检测报告为该热移除事件或该热新增事件，若为热移除事件，进行步骤33；若为热新增事件，进行步骤34。

步骤33：产生一禁止读写信号至该NVMe存储器模块，以禁止读写对应于该热移除事件的NVMe硬盘的数据。

步骤34：产生一启动读写信号至该NVMe存储器模块，以启动读写对应于该热新增事件的NVMe硬盘的数据。

步骤35：结束。

关于热插拔控制流程3的详细操作方式可参考图1及图2的相关说明，于此不赘述。

综上所述，本发明的热插拔控制电路(或PCIe扩展器)可作为中央处理器(即服务器)与NVMe存储器模块信号控制接口，用来回报热移除及热新增事件给中央处理器，并同时控制传送到NVMe存储器模块的读写信号。如此一来，本发明的存储服务器系统可在开机的状态下进行热插拔，如此可提供便利的操作性及维护性。

以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，均应属本发明的涵盖范围。

Claims (13)

1.一种热插拔控制电路，用于一存储服务器系统，包含：

一第一控制器，用来检测该存储服务器系统的一非易失性存储器传输存储器模块的一热移除事件及一热新增事件中的至少一者，以产生一第一控制信号，其中“非易失性存储器传输”简称为NVMe；

一周边组件互连传输扩展器，耦接于该第一控制器，用来根据该第一控制信号，产生一检测报告至该存储服务器系统的一中央处理器，以回报该热移除事件及该热新增事件中的至少一者，并产生一第二控制信号，其中该第一控制信号、该检测报告及该第二控制信号指示该热移除事件及该热新增事件中的至少一者，其中“周边组件互连传输”简称为PCIe；以及

一第二控制器，耦接于该PCIe扩展器及该NVMe存储器模块，用来当该第二控制信号指示该热移除事件，产生一禁止读写信号至该NVMe存储器模块，以及当该第二控制信号指示该热新增事件时，产生一启动读写信号至该NVMe存储器模块。

2.如权利要求1所述的热插拔控制电路，其中该NVMe存储器模块包含多个NVMe硬盘，当该第一控制器检测所述多个NVMe硬盘的一第一NVMe硬盘被移除时，该第一控制器产生该第一控制信号至该PCIe扩展器，以指示该第一NVMe硬盘已被移除，且该第一控制信号、该第二控制信号及该禁止读写信号指示该第一NVMe硬盘的一第一硬件识别。

3.如权利要求1所述的热插拔控制电路，其中当该第一控制器检测一第二NVMe硬盘新增到该NVMe存储器模块时，该第一控制器产生该第二控制信号至该PCIe扩展器，以指示该第二NVMe硬盘已新增，且该第一控制信号、该第二控制信号及该启动读写信号指示该第二NVMe硬盘的一第二硬件识别。

4.如权利要求1所述的热插拔控制电路，其中该中央处理器通过一PCIe传输接口，产生一读写信号至该PCIe扩展器，以及通过该PCIe扩展器传送该读写信号至该NVMe存储器模块，以读取该NVMe存储器模块包含的多个NVMe硬盘中的至少一者的数据。

5.如权利要求4所述的热插拔控制电路，其还包含一连接器，用来连接该存储服务器系统的一外接线缆，且该外接线缆用来连接该热插拔控制电路及该NVMe存储器模块，以及传递该读写信号、该禁止读写信号及该启动读写信号至该NVMe存储器模块。

6.如权利要求5所述的热插拔控制电路，其中该第一控制器及该第二控制器耦接于该连接器，以通过该连接器连接到该NVMe存储器模块。

7.一种存储服务器系统，包含：

一非易失性存储器传输存储器模块，其中“非易失性存储器传输”简称为NVMe；

一中央处理器；以及

一热插拔控制电路，耦接于该NVMe存储器模块及该中央处理器，包含：

一第一控制器，用来检测该NVMe存储器模块的一热移除事件及一热新增事件中的至少一者，以产生一第一控制信号；

一周边组件互连传输扩展器，耦接于该第一控制器，用来根据该第一控制信号，产生一检测报告至该中央处理器，以回报该热移除事件及该热新增事件中的至少一者，并产生一第二控制信号，其中该第一控制信号、该检测报告及该第二控制信号指示该热移除事件及该热新增事件中的至少一者，其中“周边组件互连传输”简称为PCIe；以及

一第二控制器，耦接于该PCIe扩展器及该NVMe存储器模块，用来当该第二控制信号指示该热移除事件，产生一禁止读写信号至该NVMe存储器模块，以及当该第二控制信号指示该热新增事件时，产生一启动读写信号至该NVMe存储器模块。

8.如权利要求7所述的存储服务器系统，其中该NVMe存储器模块包含多个NVMe硬盘，当该第一控制器检测所述多个NVMe硬盘的一第一NVMe硬盘被移除时，该第一控制器产生该第一控制信号至该PCIe扩展器，以指示该第一NVMe硬盘已被移除，且该第一控制信号、该第二控制信号及该禁止读写信号指示该第一NVMe硬盘的一第一硬件识别。

9.如权利要求7所述的存储服务器系统，其中当该第一控制器检测一第二NVMe硬盘新增到该NVMe存储器模块时，该第一控制器产生该第二控制信号至该PCIe扩展器，以指示该第二NVMe硬盘已新增，且该第一控制信号、该第二控制信号及该启动读写信号指示该第二NVMe硬盘的一第二硬件识别。

10.如权利要求7所述的存储服务器系统，其还包含：

一主机板，设置有该中央处理器及一第一连接器；

一提升卡，包含一第一基板及一第二连接器，其中该提升卡插入该第一连接器来连接到该主机板；

一扩展卡，包含一第二基板及一第三连接器，其中该第二基板设置有该热插拔控制电路及该第二连接器，且该扩展卡插入该第二连接器来连接到该提升卡，并通过该提升卡及该主机板连接到该中央处理器；以及

一外接线缆，其中该外接线缆插入该第三连接器来连接到该扩展卡，以及用来连接该热插拔控制电路及该NVMe存储器模块。

11.如权利要求7所述的存储服务器系统，其中该中央处理器通过一PCIe传输接口，产生一读写信号至该PCIe扩展器，以及通过该PCIe扩展器传送该读写信号至该NVMe存储器模块，以读取该NVMe存储器模块包含的多个NVMe硬盘中的至少一者的数据。

12.如权利要求11所述的存储服务器系统，其中该热插拔控制电路另用来传递该读写信号、该禁止读写信号及该启动读写信号至该NVMe存储器模块。

13.如权利要求7所述的存储服务器系统，其中该第一控制器及该第二控制器耦接于一第三连接器，以通过该第三连接器连接到该NVMe存储器模块。