CN112333283B - 自主高端存储阵列系统架构 - Google Patents

Abstract

本发明提供了一种自主高端存储阵列系统架构，应用于包括客户端、控制器和硬盘的系统中，架构包括：NVMe固态存储硬盘模块，用于使控制器通过NVMe over TCP协议访问远端的NVMe设备；NVMe over TCP模块，用于使控制器通过TCP网络访问远端的NVMe设备；对象存储服务模块，用于进行对象数据的自主数据复制、数据恢复、数据迁移；数据交互模块，用于提供存储池和对象的创建、删除操作接口；监控模块，用于与向客户端和/或对象存储服务建立交互，并向客户端和/或对象存储服务提供更新的集群表。从而有效地提高了面对海量数据冲击时对数据的快速存储，并提供纠删码、多冗余等机制保障数据的准确性。

Description

自主高端存储阵列系统架构

技术领域

本发明涉及存储架构技术领域，具体地，涉及自主高端存储阵列系统架构。

背景技术

随着信息化建设，物联网广泛应用于战场感知、智能控制等领域。也因此产生了海量的半结构化、非结构化的数据。

经过对现有技术的检索，申请号为CN201510573603.5，名称为“一种基于全共享交换的存储架构系统”，该系统包括：至少一个主机适配模块；至少两个主机交换设备；每个主机适配模块均与所有的主机交换设备相连；所有的主机适配模块与所有的主机交换设备构成主机层；至少两个控制器；至少两个控制器交换设备；每个控制器均与所有的控制器交换设备相连；所有的控制器与所有的控制器交换设备构成控制器层；至少两个存储交换设备；每个存储交换设备均与所有的控制器相连；至少一个磁盘；所有的存储交换设备与所有的磁盘构成存储层。该系统实现降低系统的延时，提升系统的读写性能，提高系统的可靠性。但是，这种架构方式受到IO性能尤其是网络传输带宽、硬盘读写速度的限制，难以满足海量数据处理的高效应用需求。

因此，如何最大可能地发挥基础硬件的优势，开发出适应国产软硬件平台的优质存储系统成为存储领域亟需解决的问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种自主高端存储阵列系统架构。

根据本发明提供的一种自主高端存储阵列系统架构，应用于包括客户端、控制器和硬盘的系统中，所述架构包括：

NVMe固态存储硬盘模块，用于使所述控制器通过NVMe over TCP协议访问远端的NVMe设备，并进行数据的存取操作；

NVMe over TCP模块，用于使所述控制器和所述硬盘解耦，以使得所述控制器通过TCP网络访问远端的NVMe设备；

对象存储服务模块，用于进行对象数据的自主数据复制、数据恢复、数据迁移；

数据交互模块，用于提供存储池的创建、删除操作接口，以及对象的创建、删除、读写操作接口；

监控模块，用于通过监控器与向客户端和/或对象存储服务建立交互，并向客户端和/或对象存储服务提供更新的集群表。

可选地，所述NVMe固态存储硬盘模块包括：通过总线通信连接的前端控制模块、传输控制模块、后端控制模块以及CPU外围接口；其中：

所述前端控制模块，用于提供与主机建立高速通信的接口；

所述传输控制模块，用于进行数据通路的控制仲裁以及数据缓存管理；

所述后端控制模块，用于执行CPU对flash芯片的控制以及后端数据的传输、控制。

可选地，所述总线采用AXI总线架构。

可选地，所述CPU外围接口包括：

看门狗定时器，用于执行定时状态监控；

SPI控制器，用于执行对芯片外SPI设备的控制器及Firmware的在线更新；

UART模块，用于执行CPU在线调试和状态输出；

GPIO模块，用于执行CPU和芯片外的接口、器件的控制和状态交互；

ROM，用于执行CPU上电启动的bootloader程序。

可选地，所述NVMe over TCP模块包括：

TOE网卡驱动模块，用于通过旁路内核的TCP/IP协议栈实现协议加速；

NVMe核心模块，用于生成NVMe设备节点，并执行NVMe设备的读写操作；

NVMe-Fabrics模块，用于定义协议接口，以及对NVMeoF的相关扩展；

NVMeTCP协议的实现模块，用于分别实现主机和客户端侧的NVMeTCP功能。

可选地，所述对象存储服务模块的静态类包括：

类OSD和类OSDService，用于处理一个对象存储服务节点层面的工作；

类PG，用于处理PG相关的状态维护以及实现PG层面的基本功能；

类ReplicatedPG，用于在PG基础上执行PG内的数据读写以及数据恢复相关的操作；

类PGBackend，用于把数据以事务的形式同步到一个PG层面；

类SnapMapper，用于额外保存对象和对象的快照信息。

可选地，所述对象存储服务模块还用于：

执行对象存储服务之间的互相通信，通过心跳进行互相监控；

当任一对象存储服务故障时，出现故障的对象存储服务会被集群中其他对象存储服务捕获，并将故障信息上报至所述监控模块。

可选地，所述对象存储服务模块还用于构建点对点传播对象存储服务拓扑，以执行对象存储服务与客户端、以及对象存储服务之间相互学习。

可选地，所述数据交互模块还用于：完成对象的地址计算、请求的封装，以及请求的发送。

可选地，所述监控模块中的监控器构成监控集群，所述监控集群通过Paxos算法保证数据的一致性。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的自主高端存储阵列系统架构，有效地提高了面对海量数据冲击时对数据的快速存储，并提供纠删码、多冗余等机制保障数据的准确性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的自主高端存储阵列系统架构款图；

图2为本发明实施例提供的自主高端存储阵列系统的应用场景示意图；

图3为本发明实施例提供的NVMe固态存储控制器的结构示意图；

图4为本实施例提供的NVMe over TCP的实现原理示意图；

图5为本实施例提供的对象存储服务模块的静态类图；

图6为本实施例提供的数据交互的架构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明实施例提供的自主高端存储阵列系统架构款图；如图1所示，包括客户端、控制器和硬盘，在该架构中还包括：NVMe(Non-Volatile Memory express，非易失性存储系统)固态存储硬盘模块，用于使控制器通过NVMe over TCP(Transmission ControlProtocol，传输控制协议)访问远端的NVMe设备，并进行数据的存取操作；NVMe over TCP模块，用于使控制器和硬盘解耦，以使得控制器通过TCP网络访问远端的NVMe设备；对象存储服务模块，用于进行对象数据的自主数据复制、数据恢复、数据迁移；数据交互模块，用于提供存储池的创建、删除操作接口，以及对象的创建、删除、读写操作接口；监控模块，用于通过监控器与向客户端和/或对象存储服务建立交互，并向客户端和/或对象存储服务提供更新的集群表。

本实施例中，NVMe可为当前和将来的NVM技术提供高带宽和低延迟的存储访问。控制器通过NVMe over TCP协议访问远端的NVMe设备，进行数据的存取操作，是数据实际存储的位置。NVMe协议最大化固态非易失性存储器的I/O表现和速度。

图2为本发明实施例提供的自主高端存储阵列系统的应用场景示意图，如图2所示，第1应用程序服务器、第2应用程序服务器、第3应用程序服务器、...、第n应用程序服务器构成了客户端集群，40GbE网络下的第1交换机、第2交换机，以及FC网络下的第1交换机、第2交换机构成集群的交换网络，分布式节点1、分布式节点2、分布式节点3、…、分布式节点n-1、分布式节点n包含了控制器集群以及硬盘集群(也即存储单元集群)。

示例性的，本实施例中，NVMe固态存储硬盘模块包括：通过总线通信连接的前端控制模块、传输控制模块、后端控制模块以及CPU(Central Processing Unit/Processor，中央处理器)外围接口；其中：前端控制模块，用于提供与主机建立高速通信的接口；传输控制模块，用于进行数据通路的控制仲裁以及数据缓存管理；后端控制模块，用于执行CPU对flash芯片的控制以及后端数据的传输、控制。

可选地，CPU外围接口包括：看门狗定时器，用于执行定时状态监控；SPI(SerialPeripheral Interface，串行外设接口)控制器，用于执行对芯片外SPI设备的控制器及Firmware(固化软件)的在线更新；UART(Universal Asynchronous Receiver/Transmitter，通用异步收发传输器)模块，用于执行CPU在线调试和状态输出；GPIO(General-purpose input/output，通用型之输入输出)模块，用于执行CPU和芯片外的接口、器件的控制和状态交互；ROM(Read Only Memory image，只读存储器镜像)，用于执行CPU上电启动的bootloader程序(在操作系统内核运行之前运行的一段小程序。通过这段小程序，我们可以初始化硬件设备、建立内存空间的映射图，从而将系统的软硬件环境带到一个合适的状态，以便为最终调用操作系统内核准备好正确的环境)。

具体地，图3为本发明实施例提供的NVMe固态存储控制器的结构示意图，如图3所示，包括前端控制部分，传输控制部分和后端控制部分以及CPU(Central ProcessingUnit/Processor，中央处理器)外围接口部分。前端控制部分主要用于和主机之间的高速接口部分，传输控制部分是整个控制器内数据通路的控制仲裁和缓存管理机制，后端控制部分主要用于CPU对flash芯片的控制以及后端数据的传输与控制。CPU其他外围接口，主要包括WatchDog(看门狗)，Timer(定时器)用于CPU的一些定时状态监控；SPI(SerialPeripheral Interface，串行外设接口)控制器，对芯片外SPI设备的控制器及Firmware(固化软件)的在线更新；UART(Universal Asynchronous Receiver/Transmitter，通用异步收发传输器)模块，CPU在线调试和状态输出；GPIO(General-purpose input/output，通用型之输入输出)模块，用于CPU和芯片外的一些接口及器件的控制和状态交互；ROM(Read OnlyMemory image，只读存储器镜像)用于CPU上电启动的bootloader。

可选地，上述实施例中的总线可以采用AXI(Advanced eXtensible Interface，高级可扩展接口)总线架构。

示例性的，本实施例中，NVMe over TCP模块包括：TOE(TCP Offload Engine，TCP卸载引擎)网卡驱动模块，用于通过旁路内核的TCP/IP协议栈实现协议加速；NVMe核心模块，用于生成NVMe设备节点，并执行NVMe设备的读写操作；NVMe-Fabrics模块，用于定义协议接口，以及对NVMeoF(NVMe over Fabrics，一种基于NVMe架构的协议，包括命令集和排队接口)的相关扩展；NVMeTCP协议的实现模块，用于分别实现主机和客户端侧的NVMeTCP功能。

图4为本实施例提供的NVMe over TCP的实现原理示意图，TOE网卡驱动，能够bypass内核的TCP/IP协议栈实现协议加速功能。NVMe-Core/NVMeT-Core(NVMe核心模块)，用于生成块设备节点，实现设备读写等功能。用户层应用可以通过标准的块设备对下层的NVMe、NVMeoF设备进行读写访问。NVMe-Fabrics用于定义协议接口以及对NVMeoF的相关扩展，以支持在其他互连模块(例如，以太网，InfiniBand，光纤通道)上的操作。NVMe-TCP/NVMeT-TCP(NVMeTCP协议的实现模块)，分别实现主机(NVMe-TCP)和目标(NVMet-TCP)侧的NVMeTCP功能。

本实施例中，NVMe over TCP模块，将控制器与硬盘解耦，使控制器通过TCP网络就可以访问远端的NVMe设备。当某一控制器故障时，其管理的硬盘可以由其他在线控制器接管，降低数据迁移量，减少故障恢复时间。

示例性的，本实施例中的对象存储服务模块，是集群的基本存储单元，每个对象存储服务高度自治，数据复制、数据恢复、数据迁移等都由对象存储服务自主进行而无须中心控制器干预；对象存储服务之间互相通信，通过心跳监控彼此，当某对象存储服务故障时会被集群其他对象存储服务捕获并将故障信息上报至监控模块；通过对象存储服务与客户端、以及对象存储服务之间相互学习和点对点传播对象存储服务拓扑，本系统能够快速进行故障切换和恢复，并最大程度保证对外提供不中断的存储服务。

可选地，对象存储服务模块的静态类包括：类OSD(Object Storage Daemons，对象存储服务)和类OSDService(OSD服务)，用于处理一个对象存储服务节点层面的工作；类PG(Placement Group，归置组)，用于处理PG相关的状态维护以及实现PG层面的基本功能；类ReplicatedPG(复制PG)，用于在PG基础上执行PG内的数据读写以及数据恢复相关的操作；类PGBackend(PG后端)，用于把数据以事务的形式同步到一个PG层面；类SnapMapper(快照)，用于额外保存对象和对象的快照信息。

图5为本实施例提供的对象存储服务模块的静态类图，如图5所示，类OSD和类OSDService是核心类，处理一个OSD节点层面的工作。类PG处理PG相关的状态维护以及实现PG层面的基本功能。其核心功能是用boost库的statechart状态机来实现的PG状态转换。类ReplicatedPG继承了类PG，在其基础上实现了PG内的数据读写以及数据恢复相关的操作。类PGBackend的主要功能是把数据以事务的形式同步到一个PG其他从OSD节点上。类SnapMapper额外保存对象和对象的快照信息，在对象的属性里保存了相关的快照信息。这里保存的快照信息为冗余信息，用于数据效验。

可选地，对象存储服务模块还用于：执行对象存储服务之间的互相通信，通过心跳进行互相监控；当任一对象存储服务故障时，出现故障的对象存储服务会被集群中其他对象存储服务捕获，并将故障信息上报至监控模块。

可选地，对象存储服务模块还用于构建点对点传播对象存储服务拓扑，以执行对象存储服务与客户端、以及对象存储服务之间相互学习。

可选地，数据交互模块还用于：完成对象的地址计算、请求的封装，以及请求的发送。

图6为本实施例提供的数据交互的架构示意图，如图6所示，在最上层是类RadosClient(Librados的核心管理类)，用于处理整个系统层面以及pool(存储池)层面的管理。类Ioctxlmpl用于实现单个pool层的对象读写等操作。OSDC(OSD client模块的简称)模块实现了请求的封装和通过网络模块发送请求的逻辑，其核心类Objecter完成对象的地址计算、消息的发送等工作。RadosClient通过RadosClient的成员函数，可以实现如下功能：1)网络连接，2)pool的同步和异步创建，3)pool的同步和异步删除，4)查找pool和列举pool，5)获取pool和系统的信息，6)命令处理，7)创建Ioctxlmpl对象。OSDC是客户端比较底层的模块，其核心在于封装操作数据，计算对象的地址，发送请求和处理超时。

本实施例中，数据交互模块作为存储系统访问的接口库，它提供了存储池的创建、删除、对象的创建、删除、读写等基本操作接口，同时完成请求的封装和发送，其核心类完成对象的地址计算、消息的发送等工作。

可选地，监控模块中的监控器构成监控集群，监控集群通过Paxos算法保证数据的一致性。

本实施例中，监控模块，主要负责维护和传播集群表的权威副本。监控器采用主从方式协同工作，客户端或对象存储服务只与集群主监控器进行交互，以索取或者请求更新集群表。当主监控器故障无法继续提供服务时，集群发起选举，从活跃的监控器中选出新的主监控器向外提供服务。监控器集群之间通过Paxos算法保障自身的高可靠性和分布式一致性。

需要说明的是，监控器是一个独立部署的进程。通过组成监控集群来保证自己的高可用。监控集群通过Paxos算法实现了自己数据的一致性。它提供了整个存储系统的节点信息等全局的配置信息。其中，集群表中保存了整个系统架构的全局信息，该信息可以包括：包括集群的fsID(文件系统标识)、所有Monitor(监控器)的地址和端口、current epoch(当前版本号)、OSD拓扑(所有OSD的列表，和OSD的状态等)、MDS(Metadata Server，元数据服务器)拓扑(所有的MDS的列表和状态)。

本实施例，可以基于国产申威处理器的全闪阵列建立自主高端存储阵列系统架构，并提供了良好的可扩展性、高效的数据存储能力、精确的数据校验能力、稳定的系统运行能力，最大程度地保障了数据的可靠存放和快速利用。此外，还为存储系统提供高性能、高可靠处理器和高安全操作系统。从而能够自主掌握核心技术，摆脱受制于人的局面，提高信息安全防护能力。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (3)

1.一种自主高端存储阵列系统架构，其特征在于，应用于包括客户端、控制器和硬盘的系统中，所述架构包括：

NVMe固态存储硬盘模块，用于使所述控制器通过NVMe over TCP协议访问远端的NVMe设备，并进行数据的存取操作；

NVMe over TCP模块，用于使所述控制器和所述NVMe固态存储硬盘模块解耦，以使得所述控制器通过TCP网络访问远端的NVMe设备；

对象存储服务模块，用于进行对象数据的自主数据复制、数据恢复、数据迁移；

数据交互模块，用于提供存储池的创建、删除操作接口，以及对象的创建、删除、读写操作接口；

监控模块，用于通过监控器与向客户端和/或对象存储服务模块建立交互，并向客户端和/或对象存储服务模块提供更新的集群表；

所述NVMe固态存储硬盘模块包括：通过总线通信连接的前端控制模块、传输控制模块、后端控制模块以及CPU外围接口；其中：

所述前端控制模块，用于提供与控制器建立高速通信的接口；

所述传输控制模块，用于进行数据通路的控制仲裁以及数据缓存管理；

所述后端控制模块，用于执行CPU对flash芯片的控制以及后端数据的传输、控制；

所述对象存储服务模块的静态类包括：

类OSD和类OSDService，用于处理一个对象存储服务节点层面的工作；

类PG，用于处理PG相关的状态维护以及实现PG层面的基本功能；

类ReplicatedPG，用于在PG基础上执行PG内的数据读写以及数据恢复相关的操作；

类PGBackend，用于把数据以事务的形式同步到一个PG层面；

类SnapMapper，用于额外保存对象和对象的快照信息；

所述NVMe over TCP模块包括：

TOE网卡驱动模块，用于通过旁路内核的TCP/IP协议栈实现协议加速；

NVMe核心模块，用于生成NVMe设备节点，并执行NVMe设备的读写操作；

NVMe-Fabrics模块，用于定义协议接口，以及对NVMeoF的相关扩展；

NVMeTCP协议的实现模块，用于分别实现控制器和客户端侧的NVMeTCP功能；

所述对象存储服务模块还用于：

执行对象存储服务模块之间的互相通信，通过心跳进行互相监控；

当任一对象存储服务模块故障时，出现故障的对象存储服务模块会被集群中其他对象存储服务模块捕获，并将故障信息上报至所述监控模块；

所述对象存储服务模块还用于构建点对点传播对象存储服务拓扑，以执行对象存储服务模块与客户端、以及对象存储服务模块之间相互学习；

所述数据交互模块还用于：完成对象的地址计算、请求的封装，以及请求的发送；

所述监控模块中的监控器构成监控集群，所述监控集群通过Paxos算法保证数据的一致性。

2.根据权利要求1所述的自主高端存储阵列系统架构，其特征在于，所述总线采用AXI总线架构。

3.根据权利要求1所述的自主高端存储阵列系统架构，其特征在于，所述CPU外围接口包括：

看门狗定时器，用于执行定时状态监控；

SPI控制器，用于执行对芯片外SPI设备的控制器及Firmware的在线更新；

UART模块，用于执行CPU在线调试和状态输出；

GPIO模块，用于执行CPU和芯片外的接口、器件的控制和状态交互；

ROM，用于执行CPU上电启动的bootloader程序。

Images