CN111857576B - 一种以太网管理的存储系统 - Google Patents

Abstract

本发明提出了一种以太网管理的存储系统，该系统包括：RAID控制器、第一存储模块、第二存储模块、供电模块、可编辑逻辑芯片、PHY控制器和以太网连接器；其中可编辑逻辑芯片与RAID控制器相连，用于将RAID控制器的配置信息通过可编辑逻辑芯片的逻辑转换发送至存储模块；RAID控制器的固件信息可通过两个路径发送至存储模块；PHY控制器分别与可编辑逻辑芯片和以太网连接器相连，用于实现可编辑逻辑芯片和以太网的通信。本发明采用将可编辑逻辑芯片与RAID控制器互联，通过逻辑设计实现以太网传输、待机状态下固件信息加载、故障信息记录和上传等功能，提升存储RAID控制器的固件升级安全性和速率。

Description

一种以太网管理的存储系统

技术领域

本发明属于存储系统技术领域，特别涉及一种以太网管理的存储系统。

背景技术

伴随着互联网的快速发展，云计算技术的不断兴起，网上业务量不断增加。面对服务器技术变革日新月异的变化，如何提供更好的数据保护和安全一直以来都是重要技术难题。通过主板上的PCIe槽位扩展来灵活配置标准RAID/SAS存储卡，可以支持硬件RAID功能。硬件RAID可以极大节省服务器系统CPU和操作系统的资源，从而使服务器的性能获得很大的提高。当前RAID存储卡作为服务器拓扑中承上启下的重要节点，正在发挥着越来越重要的作用。RAID技术主要有以下三个基本功能：通过对磁盘上的数据进行条带化，实现对数据成块存取，减少磁盘的机械寻道时间，提高了数据存取速度；通过对一个阵列中的几块磁盘同时读取，减少了磁盘的机械寻道时间，提高数据存取速度；通过镜像或者存储奇偶校验信息的方式，实现了对数据的冗余保护。但是，存储卡如果出现挂死问题，作为存储卡上的CPU，无法将故障信息记录并通过已有的通道及时上报；待机状态下，BMC如何访问状态信息、存储RAID控制器的固件升级等，受限于当前存储卡的硬件拓扑，尚无法很好解决。

如图1给出了现有技术中存储卡的结构示意图，RAID控制器作为一个PCIe从设备，接受并执行来自系统CPU的命令。同时申请占用PCIe中断，代表SCSI硬盘子系统向系统提出中断请求，请求占用PCIe总线，返回对系统命令的响应，例如输送SCSI硬盘上的数据。作为RAID卡的控制器，通过执行Flash中的Firmware，控制SCSI控制器、DDR Cache以及NAND，来实现RAID卡的功能。运作流程如下：步骤1，初始化RAID卡寄存器；步骤2读取NVRAM的上次RAID参数，与硬盘实际信息进行比较，显示结果；步骤3，发送配置提示，响应主机系统命令进入配置界面；步骤4，提供配置菜单，将用户提供的RAID卡参数、RAID参数存入NVRAM；步骤5，根据RAID参数，通过SCSI控制器对硬盘进行初始化写操作；步骤6，完成配置；步骤7，等待主机系统发出读写操作指令等。

现在技术的缺点为：存储卡如果出现挂死问题，作为存储卡上的CPU，无法将故障信息记录并通过已有的通道及时上报；同时，RAID配置信息、诊断信息(如LOG记录)作为重要参数会记录在NVRAM中，无法上传给主机系统帮助维护人员确认当前存储卡状态和问题主因，只能强制掉电重启尝试并复现问题现象；待机状态下，RAID控制器不工作，BMC无法访问存储卡的RAID配置信息和状态；存储RAID控制器的固件升级往往依赖于开机状态下带内(In-Band)方式，BMC over I2C的方式虽然可行，但是需要BMC接口支持，且I2C传输速率极低，且并不安全。

发明内容

为了解决上述技术问题，本发明提出了一种以太网管理的存储系统，采用可编辑逻辑芯片与RAID控制器互联。实现当存储卡在出现挂死问题时，实现故障信息记录上报和诊断信息备份上传；待机状态下，BMC可访问RAID配置信息和状态信息。

为实现上述目的，本发明采用以下技术方案：

一种以太网管理的存储系统，包括RAID控制器、第一存储模块、第二存储模块和供电模块，所述存储系统还包括可编辑逻辑芯片、PHY控制器(物理层接口控制芯片)和以太网连接器；

所述可编辑逻辑芯片与RAID控制器相连，用于将RAID控制器的配置信息通过可编辑逻辑芯片的逻辑转换发送至第一存储模块；或者将位于第一存储模块中的配置信息返回至RAID控制器；所述RAID控制器的固件信息通过第一路径或者第二路径发送至第二存储模块；所述位于第二存储模块中的固件信息通过第一路径返回RAID控制器；所述第一路径为所述固件信息从RAID控制器，通过可编辑逻辑芯片的逻辑转换发送至第二存储模块；所述第二路径为所述固件信息从以太网连接器，依次经过解帧和可编辑逻辑芯片的逻辑转换发送至第二存储模块；

所述PHY控制器分别与可编辑逻辑芯片和以太网连接器相连，用于实现可编辑逻辑芯片和以太网的通信。

进一步的，在所述存储卡出现卡死时，所述可编辑逻辑芯片将故障时间和故障信息存入状态寄存器，将所述故障信息通过第三路径上报至主机；

所述第三路径为状态寄存器依次通过可编辑逻辑芯片的逻辑转发和帧处理单元的组帧方式将所述故障信息通过以太网连接器上报至主机。

进一步的，所述第一存储模块为NVRAM模块；所述第二存储模块为FLASH模块。

进一步的，所述可编辑逻辑芯片包括接口单元和计算逻辑单元；

所述接口单元包括SPI0传输接口、SPI1固件接口、I2C管理接口、存储设备读写接口、电源接口和以太网接口；其中存储设备读写接口包括NVRAM读写接口和FLASH读写接口；

所述计算逻辑单元包括状态机控制单元、Buffer缓存、Clock发生器、帧处理单元、状态寄存器和看门狗；

所述状态机控制单元分别通过Buffer缓存与SPI0传输接口、SPI1固件接口相连；所述状态机控制单元还分别与I2C管理接口、存储设备读写接口、电源接口和状态寄存器相连；所述状态机控制单元通过帧处理单元与以太网接口相连；所述看门狗与SPI0传输接口相连。

进一步的，所述可编辑逻辑芯片还通过与供电模块相连；所述供电模块采用AUX。

进一步的，所述可编辑逻辑芯片与RAID控制器相连，用于将RAID控制器的配置信息通过可编辑逻辑芯片的逻辑转换发送至第一存储模块；或者将位于第一存储模块中的配置信息返回至RAID控制器包括：

RAID控制器的配置信息依次经过SPI0传输接口、Buffer缓存和状态机控制单元发送至NVRAM读写接口，从而写入NVRAM；

位于NVRAM中的配置信息依次通过NVRAM读写接口、状态机控制单元返回Buffer缓存，然后经过SPI0传输接口返回RAID控制器。

进一步的，BMC通过I2C管理接口读取所述存储卡位于寄存器的状态信息；其中状态信息包括：固件版本、存储卡资产信息和以太网管理状态。

进一步的，所述RAID控制器的固件信息通过第一路径发送至第二存储模块包括：

所述固件信息从RAID控制器，依次通过SPI1接口、Buffer缓存、和状态机控制单元发送至FLASH读写接口，从而写入FLASH。

进一步的，所述RAID控制器的固件信息通过第二路径发送至第二存储模块包括：

所述RAID控制器的的固件信息从太网连接器，依次经过帧处理单元的解帧和可编辑逻辑芯片的逻辑转换经过FLASH读写接口发送至FLASH中。

进一步的，在所述存储卡出现卡死时，所述可编辑逻辑芯片将故障时间和故障信息存入状态寄存器，将所述故障信息通过第三路径上报至主机系统包括：

当存储卡出现卡死时，看门狗获取存储卡故障并记录故障时刻以及故障状态信息存储在状态寄存器中，并将故障前最后一次日志存入NVRAM；所述可编辑逻辑芯片接收从以太网连接器发送的主机系统管理信息，通过帧处理单元识别所述管理信息，以此判断出现故障后待执行的操作；

将NVRAM中的最后一次日志通过由NVRAM接口提取至状态机控制单元，以及将状态寄存器中的故障状态信息提取至状态机控制单元，所述状态机控制单元通过帧处理单元的组帧，然后通过以太网接口发送至主机系统。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明提出了一种以太网管理的存储系统，该系统包括：RAID控制器、第一存储模块、第二存储模块和供电模块，其中，存储系统还包括可编辑逻辑芯片、PHY控制器和以太网连接器；可编辑逻辑芯片与RAID控制器相连，用于将RAID控制器的配置信息通过可编辑逻辑芯片的逻辑转换发送至第一存储模块；或者将位于第一存储模块中的配置信息返回至RAID控制器。RAID控制器的固件信息通过第一路径或者第二路径发送至第二存储模块；位于第二存储模块中的固件信息通过第一路径返回RAID控制器；其中，第一路径为所述固件信息从RAID控制器，通过可编辑逻辑芯片的逻辑转换发送至第二存储模块；第二路径为所述固件信息从以太网连接器，依次经过解帧和可编辑逻辑芯片的逻辑转换发送至第二存储模块；PHY控制器分别与可编辑逻辑芯片和以太网连接器相连，用于实现可编辑逻辑芯片和以太网的通信。在存储卡出现卡死时，所述可编辑逻辑芯片将故障时间和故障信息存入状态寄存器，将所述故障信息通过第三路径上报至主机；其中，第三路径为状态寄存器依次通过可编辑逻辑芯片的逻辑转发和帧处理单元的组帧方式将所述故障信息通过以太网连接器上报至主机。本发明采用将可编辑逻辑芯片与RAID控制器互联。可编辑逻辑芯片采用AUX供电，在系统待机状态下RAID控制器不工作的情况下，可编辑逻辑芯片依然可以正常运行。相对于现有技术中，本发明增加可编辑逻辑芯片、PHY控制器和以太网连接器三个模块，以太网连接器连接的以太网作为本发明的一个管理接口，用于实现管理信息上报/下发、固件升级、故障信息抓取等工作，通过可编辑逻辑芯片的逻辑设计实现以太网传输、待机状态下固件信息加载、故障信息记录和上传等功能。提升存储RAID控制器的固件升级安全性和速率等。

附图说明

如图1为现有技术中存储卡的结构示意图；

如图2为本发明实施例1一种以太网管理的存储系统结构示意图；

如图3为本发明实施例1一种以太网管理的存储系统中可编辑逻辑芯片逻辑实现示意图；

如图4为本发明实施例1一种以太网管理的存储系统在系统不上电时工作流程图；

如图5为本发明实施例1一种以太网管理的存储系统在系统开机上电后工作流程图；

如图6为本发明实施例1一种以太网管理的存储系统在出现宕机时工作流程图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

实施例1

本发明实施例1提出了一种以太网管理的存储系统，如图2为本发明实施例1一种以太网管理的存储系统结构示意图。该系统包括RAID控制器(RAID Controller)、可编辑逻辑芯片(FPGA)、PHY控制器(物理层接口控制芯片)和以太网连接器(Ethernet channel)、供电单元(Power Circuit)，以及第一存储模块和第二存储模块。本发明实施例1中可可编辑逻辑信息采用FPGA进行说明，本发明保护的范围不局限于实施例1，采用PCLD等也可以实现。

其中，RAID控制器与可编辑逻辑芯片(FPGA)通过SPIO接口和SPI1接口互相；RAID控制器还分别与NAND、DRAM、SAS channel、金手指(PCIE Golden finger)相连。

FPGA分别通过SPI与NVRAM、FLASH相连；FPGA通过PHY控制器(PHY Controller)与以太网接口(Ethernet channel)相连，供电单元(Power Circuit)为可编辑逻辑芯片提供AUX供电，在系统待机RAID控制器不工作的情况下，可编辑逻辑芯片依然可以正常运行。FPGA还通过SMBUS与金手指(PCIE Golden finger)相连。通过FPGA的逻辑设计实现以太网传输、待机状态下固件信息加载、故障信息记录和上传等功能。

本发明中，用于将RAID控制器的配置信息通过FPGA的逻辑转换发送至第一存储模块；或者将位于第一存储模块中的配置信息返回至RAID控制器；

RAID控制器的固件信息通过第一路径或者第二路径发送至第二存储模块；位于第二存储模块中的固件信息通过第一路径返回RAID控制器；第一路径为固件信息从RAID控制器，通过FPGA的逻辑转换发送至第二存储模块；第二路径为固件信息从以太网连接器，依次经过解帧和可编辑逻辑芯片的逻辑转换发送至第二存储模块；其中第一存储模块为NVRAM模块；第二存储模块为FLASH模块。

PHY控制器分别与可编辑逻辑芯片和以太网连接器相连，用于实现FPGA和以太网的通信。

在存储卡出现卡死时，FPGA将故障时间和故障信息存入状态寄存器，将故障信息通过第三路径上报至主机；其中第三路径为状态寄存器依次通过FPGA的逻辑转发和帧处理单元的组帧方式将故障信息通过以太网连接器上报至主机。

如图3为本发明实施例1一种以太网管理的存储系统中可编辑逻辑芯片(FPGA)逻辑实现示意图。可编辑逻辑芯片内部根据实际功能可以划分为如上图几个单元。接口单元包括了SPI0/1接口(即SPI0 Transfer Interface和SPI1Firmware Interface)、I2C管理接口(I2C Management Interface)、NVRAM读写接口(NVME Interface)、Flash读写接口(Flash Interface)、GPIO电源控制接口(GPIO Power Controller)、以太网网络接口(Ethernet Interface)等。计算和逻辑单元包括了状态机控制(State Machine Control)、Buffer缓存(Buffer)、Clock发生器(Clock Generator)、帧处理单元(Frame Process)、状态寄存器(State Register)、看门狗(Watchdog)等。

在存储系统正常工作时，RAID控制器的配置信息依次经过SPI0传输接口、Buffer缓存和状态机控制单元发送至NVRAM读写接口，从而写入NVRAM；

RAID控制器的固件信息从RAID控制器，依次通过SPI1接口、Buffer缓存、和状态机控制单元发送至FLASH读写接口，从而写入FLASH。

BMC通过I2C管理接口读取所述存储卡位于寄存器的状态信息；其中状态信息包括：固件版本、存储卡资产信息和以太网管理状态。

当存储系统卡死或者待机不工作时，WatchDog判断存储卡已挂死会记录下故障时刻和故障状态信息，并存储在状态寄存器中，并将最近一次诊断日志刷新到NVRAM中，然后可编辑逻辑芯片等待以太网接口发来的管理信息，通过帧处理单元识别主机系统从以太网接口发送的管理信息，来判断下一步要执行的任务。

如果需要将NVRAM中的诊断日志或者状态寄存器中的故障信息上传，则先由NVRAM接口或者状态寄存器提取相关信息到状态机控制单元，然后通过帧处理单元的组帧，通过以太网口发送到主机系统。

如图6给出了本发明实施例1一种以太网管理的存储系统在出现宕机时工作流程图。

在步骤S601中，RAID控制器挂死，系统宕机或者CORE供电断开等故障。

在步骤S602中，RAID控制器无法工作，固件无法运行。

在步骤S603中，看门狗识别到RAID控制器固件无法工作。

在步骤S604中，状态机控制单元通过以太网接口发送故障告警信息中断响应。

在步骤S605中，机箱外系统识别到告警信息命令后，发起故障告警信息采集命令。然后同时执行步骤S606和步骤S607。

在步骤S606中，状态机控制单元将RAVAM中的实时诊断日志，通过组帧发送给系统应用层。

在步骤S607中，状态机控制单元提取寄存器中的故障状态信息，通过组帧发送给系统应用层。

在步骤S608中，系统应用层收到故障数据后通过人工或者算法分析，采取相应策略，如DC重启或者PCIE复位等操作。

在步骤S609中，通过以太网口发给FPGA执行PCIE复位等操作。

本发明中，RAID控制器的固件信息通过第二路径发送至第二存储模块，详细为：RAID控制器的的固件信息从太网连接器，依次经过帧处理单元的解帧和可编辑逻辑芯片的逻辑转换经过FLASH读写接口发送至FLASH中。当系统上电后，FPGA控制电源时序依次上电完成，然后固件可以通过Flash接口、状态机单元、Buffer、SPI1固件接口加载到RAID控制器中。

如图4给出了本发明实施例1一种以太网管理的存储系统在系统不上电时工作流程图。

在步骤S401中，系统不上电。

在步骤S402中，AUX给FPGA供电，FPGA上电初始化完成，NVRAM和FLASH上电完成。在步骤S402执行完之后，一路执行步骤S403至步骤S407，另外一路执行步骤S408至S412。

在步骤403中，主板BMC可通过SMBUS抓取存储卡资产信息和状态信息。

在步骤S404中，I2C管理接口接收到SMBUS指令。

在步骤S405中，状态机控制单元识别SMBUS指令并调用状态寄存器值。

在步骤S406中，返回状态寄存器中状态信息或者资产管理信息到I2C管理接口。

在步骤S407中，经过SMBUS发送至BMC。

在步骤S408中，PHY控制器初始化，与机箱外系统应用层建立网络连接完成。

在步骤S409中，如果需要，机箱外系统应用层发起存储系统RAID固件升级指令。

在步骤S410中，RAID控制器固件或者FPGA固件传递到以太网接口；

在步骤S411中，经过帧处理单元的解帧和校验，由状态机控制单元，发送至FlASH接口。

在步骤S412中，写入FlASH中。

如图5为本发明实施例1一种以太网管理的存储系统在系统开机上电后工作流程图。

在步骤S501中，系统开机上电。

在步骤S502中，core供电，FPGA控制存储系统上电时序完成。

在步骤S503中，RAID控制器、DDR和NAND等初始化上电。

在步骤S504中，FPGA将FLASH中的RAID固件通过FLASH接口读出来，通过状态控制单元发送至缓存buffer。然后执行步骤S505或者步骤S509。

在步骤S505中，经过SPI1固件接口加载到RAID控制器上。

在步骤S506中，RAID控制器运行固件程序。

在步骤S507中，RAID控制器将实时诊断日志经过SPIO传输接口传递到缓存buffer。

在步骤S508中，通过状态机控制单元将诊断日志通过NVRAM接口记录到NVRAM中。

在步骤S509中，FPGA将NVRAM中的RAID配置信息通过NVRAM接口读取出来通过状态控制单元发送至缓存buffer。

在步骤S510中，经过SPI0固件接口加载到RAID控制器上。

在步骤S511中，RAID控制器加载RAID配置信息。然后执行步骤S507和步骤S508。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种以太网管理的存储系统，包括RAID控制器、第一存储模块、第二存储模块和供电模块，其特征在于，所述存储系统还包括可编辑逻辑芯片、PHY控制器和以太网连接器；

所述可编辑逻辑芯片与RAID控制器相连，用于将 RAID控制器的配置信息通过可编辑逻辑芯片的逻辑转换发送至第一存储模块；或者将位于第一存储模块中的配置信息返回至RAID控制器；所述RAID控制器的固件信息通过第一路径或者第二路径发送至第二存储模块；所述位于第二存储模块中的固件信息通过第一路径返回RAID控制器；所述第一路径为所述固件信息从RAID控制器，通过可编辑逻辑芯片的逻辑转换发送至第二存储模块；所述第二路径为所述固件信息从以太网连接器，依次经过解帧和可编辑逻辑芯片的逻辑转换发送至第二存储模块；

所述PHY控制器分别与可编辑逻辑芯片和以太网连接器相连，用于实现可编辑逻辑芯片和以太网的通信；

在存储卡出现卡死时，所述可编辑逻辑芯片将故障时间和故障信息存入状态寄存器，将所述故障信息通过第三路径上报至主机；所述第三路径为状态寄存器依次通过可编辑逻辑芯片的逻辑转发和帧处理单元的组帧方式将所述故障信息通过以太网连接器上报至主机。

2.根据权利要求1所述的一种以太网管理的存储系统，其特征在于，所述第一存储模块为NVRAM模块；所述第二存储模块为FLASH模块。

3.根据权利要求1所述的一种以太网管理的存储系统，其特征在于，所述可编辑逻辑芯片包括接口单元和计算逻辑单元；

所述接口单元包括SPI0传输接口、SPI1固件接口、I2C管理接口、存储设备读写接口、电源接口和以太网接口；其中存储设备读写接口包括NVRAM读写接口和FLASH读写接口；

所述计算逻辑单元包括状态机控制单元、Buffer缓存、Clock发生器、帧处理单元、状态寄存器和看门狗；

所述状态机控制单元分别通过Buffer缓存与SPI0传输接口、SPI1固件接口相连；所述状态机控制单元还分别与I2C管理接口、存储设备读写接口、电源接口和状态寄存器相连；所述状态机控制单元通过帧处理单元与以太网接口相连；所述看门狗与SPI0传输接口相连。

4.根据权利要求3所述的一种以太网管理的存储系统，其特征在于，所述可编辑逻辑芯片还通过与供电模块相连；所述供电模块采用AUX。

5.根据权利要求3所述的一种以太网管理的存储系统，其特征在于，所述可编辑逻辑芯片与RAID控制器相连，用于将 RAID控制器的配置信息通过可编辑逻辑芯片的逻辑转换发送至第一存储模块；或者将位于第一存储模块中的配置信息返回至RAID控制器包括：

RAID控制器的配置信息依次经过SPI0传输接口、Buffer缓存和状态机控制单元发送至NVRAM读写接口，从而写入NVRAM；

位于NVRAM中的配置信息依次通过NVRAM读写接口、状态机控制单元返回Buffer缓存，然后经过SPI0传输接口返回RAID控制器。

6.根据权利要求5所述的一种以太网管理的存储系统，其特征在于，BMC通过I2C管理接口读取所述存储卡位于寄存器的状态信息；其中状态信息包括：固件版本、存储卡资产信息和以太网管理状态。

7.根据权利要求3所述的一种以太网管理的存储系统，其特征在于，所述RAID控制器的固件信息通过第一路径发送至第二存储模块包括：

所述固件信息从RAID控制器，依次通过SPI1接口、Buffer缓存、和状态机控制单元发送至FLASH读写接口，从而写入FLASH。

8.根据权利要求3所述的一种以太网管理的存储系统，其特征在于，所述RAID控制器的固件信息通过第二路径发送至第二存储模块包括：

所述RAID控制器的固件信息从太网连接器，依次经过帧处理单元的解帧和可编辑逻辑芯片的逻辑转换经过FLASH读写接口发送至FLASH中。

9.根据权利要求2所述的一种以太网管理的存储系统，其特征在于，在所述存储卡出现卡死时，所述可编辑逻辑芯片将故障时间和故障信息存入状态寄存器，将所述故障信息通过第三路径上报至主机系统包括：

当存储卡出现卡死时，看门狗获取存储卡故障并记录故障时刻以及故障状态信息存储在状态寄存器中，并将故障前最后一次日志存入NVRAM；所述可编辑逻辑芯片接收从以太网连接器发送的主机系统管理信息，通过帧处理单元识别所述管理信息，以此判断出现故障后待执行的操作；

将NVRAM中的最后一次日志通过由NVRAM接口提取至状态机控制单元，以及将状态寄存器中的故障状态信息提取至状态机控制单元，所述状态机控制单元通过帧处理单元的组帧，然后通过以太网接口发送至主机系统。

Images