CN103634350B - 一种存储系统及其实现方法 - Google Patents

Abstract

本申请公开了一种存储系统及其实现方法，通过应用本申请实施例的技术方案，基于计算节点调度和处理，利用高速互联设备，充分发挥存储节点中所内置的SSD的巨大性能优势，通过普通的PC服务器构建高性能、高可用性的开放性存储系统，从而，用成本相对低廉和开放的PC服务器替换昂贵和封闭的存储设备，摆脱对高端、封闭而昂贵的存储设备的依赖，达到降低成本，提高存储系统开放性和可扩展性的目的。

Description

一种存储系统及其实现方法

技术领域

本申请涉及网络技术领域，特别是涉及一种存储系统及其实现方法。

背景技术

数据库必须使用存储设备，传统的存储设备采用磁盘，为了满足数据库高性能的要求，需要配置大量的磁盘以及缓存，并通过SAN(Storage Area Network and SANProtocols，存储区域网络及其协议)网络与主机连接。

SAN是一种高速网络或子网络，提供在计算机与存储系统之间的数据传输。存储设备是指一张或多张用以存储计算机数据的磁盘设备。一个SAN网络由负责网络连接的通信结构、负责组织连接的管理层、存储部件以及计算机系统构成，从而保证数据传输的安全性和力度。

在实现本申请的过程中，发明人发现现有技术至少存在如下问题：

存储对可靠性和可用性的要求非常高，结构复杂，系统庞大，必须由专业的厂商生产，高端存储几乎被国外厂商所占据，所有的存储设备都是封闭系统，核心技术都由国外厂商垄断。用户只能作为黑盒子来使用，甚至磁盘都只能通过专业厂商来更换。这些原因都造成存储设备非常昂贵。

发明内容

本申请实施例提供一种存储系统及其实现方法，解决在现有技术中存储系统只能通过封闭系统来实现，开放性差，成本高昂的问题。

为达到上述目的，本申请实施例一方面提供了一种存储系统的实现方法，至少包括以下步骤：

计算节点根据当前系统中所包括的多个存储节点所对应的全部存储资源的当前使用状况，确定对当前数据进行存储的存储资源；

所述计算节点通过高速互联设备，将所述当前数据发送给所确定的存储资源对应的存储节点进行存储；

其中，各所述存储节点分别为内置了SSD的PC服务器，所述存储资源具体为各所述存储节点中所内置的所述SSD的存储资源。

优选的，所述计算节点根据当前系统中所包括的多个存储节点所对应的全部存储资源当前的使用状况，确定对当前数据进行存储的存储资源，具体包括：

所述计算节点根据当前系统的分布式RAID存储方案，确定当前空闲的存储资源，其中，所述当前空闲的存储资源具体为当前系统中所包括的多个存储节点所对应的全部空闲资源；

所述计算节点根据当前数据所需要占用的存储资源，按照相应的选择策略，选择存储所述当前数据的存储资源，并确定所选择的存储资源所对应的SSD，及其所处的存储节点。

优选的，所述当前系统的分布式RAID存储方案，具体通过以下方式来实现：

将当前系统中的所有SSD按照所处的存储节点进行分组；

将不同的存储节点两两对应做RAID 1，生成镜像；

各存储节点将自身的存储资源状态上报给所述计算节点，生成相应的镜像盘，并将所有存储节点的镜像盘整合为一个RAID 0，作为所述系统当前的全部存储资源。

优选的，所述计算节点通过高速互联设备，将所述当前数据发送给所确定的存储资源对应的存储节点进行存储，具体包括：

所述计算节点通过Infiniband高速网络，将所述当前数据发送给所确定的存储资源对应的存储节点；

所述存储节点将所述当前数据存储到相应的SSD中。

优选的，所述计算节点通过高速互联设备，将所述当前数据发送给所确定的存储资源对应的存储节点进行存储之后，还包括：

将所述当前数据存储到与所述SSD互为镜像的SSD中；

根据存储资源状态的变化，相应的存储节点更新自身的存储资源的状态，上报给所述计算节点，更新相应的镜像盘中的存储资源状态，使所述计算节点获取所述系统更新后的存储资源状态。

另一方面，本申请实施例还提供了一种存储系统，包括计算节点、高速互联设备，以及多个存储节点，其中：

所述计算节点，用于根据当前系统中所包括的多个存储节点所对应的全部存储资源的当前使用状况，确定对当前数据进行存储的存储资源，并通过高速互联设备，将所述当前数据发送给所确定的存储资源对应的存储节点进行存储；

所述高速互联设备，用于在所述计算节点和各所述存储节点之间进行数据传输；

所述存储节点，用于存储所述计算节点所发送的数据；

其中，所述存储节点具体为内置了SSD的PC服务器，所述存储资源具体为各所述存储节点中所内置的所述SSD的存储资源。

优选的，所述计算节点，具体用于：

根据当前系统的分布式RAID存储方案，确定当前空闲的存储资源，其中，所述当前空闲的存储资源具体为当前系统中所包括的多个存储节点所对应的全部空闲资源；

根据当前数据所需要占用的存储资源，按照相应的选择策略，选择存储所述当前数据的存储资源，并确定所选择的存储资源所对应的SSD，及其所处的存储节点。

优选的，所述当前系统的分布式RAID存储方案，具体通过以下方式来实现：

将当前系统中的所有SSD按照所处的存储节点进行分组；

将不同的存储节点两两对应做RAID 1，生成镜像；

各存储节点将自身的存储资源状态上报给所述计算节点，生成相应的镜像盘，并将所有存储节点的镜像盘整合为一个RAID 0，作为所述系统当前的全部存储资源。

优选的，所述高速互联设备，具体为Infiniband高速网络；

所述存储节点，具体用于将通过所述Infiniband高速网络接收到的所述计算节点所发送的数据存储到自身所内置的相应的SSD中。

优选的，所述存储节点，还用于：

在完成自身SSD对当前数据的存储之后，将所述当前数据存储到与所述SSD互为镜像的SSD中；

根据存储资源状态的变化，相应的存储节点更新自身的存储资源的状态，上报给所述计算节点，更新相应的镜像盘中的存储资源状态，使所述计算节点获取所述系统更新后的存储资源状态。

与现有技术相比，本申请实施例所提出的技术方案具有以下优点：

通过应用本申请实施例的技术方案，基于计算节点调度和处理，利用高速互联设备，充分发挥存储节点中所内置的SSD的巨大性能优势，通过普通的PC服务器构建高性能、高可用性的开放性存储系统，从而，用成本相对低廉和开放的PC服务器替换昂贵和封闭的存储设备，摆脱对高端、封闭而昂贵的存储设备的依赖，达到降低成本，提高存储系统开放性和可扩展性的目的。

附图说明

图1为本申请实施例提供的一种存储系统的实现方法的流程示意图；

图2为本申请实施例提供的一种具体应用场景下的存储系统的结构示意图；

图3为本申请实施例提供的一种应用分布式RAID实现方案的场景下的存储系统的结构示意图；

图4为本申请实施例提供的一种管理系统的结构示意图。

具体实施方式

如背景技术所述，现有的存储设备都是封闭系统，核心技术都由少量的专业设备厂商垄断。用户只能作为黑盒子来使用，甚至磁盘都只能通过专业厂商来更换。这些原因都造成存储设备非常昂贵。

为了解决这样的问题，本申请提出了一种利用内置SSD(Solid State Disk，固态硬盘)的PC(Personal Computer，个人电脑)服务器搭建高性能存储的方案，用廉价和开放的PC服务器替代昂贵和封闭的高端存储设备，从而节约成本。

SSD是新一代存储设备，具备非常高的随机读写性能，甚至一块SSD就可以达到原来一套存储的性能。SSD采用SATA(Serial Advanced Technology Attachment，串行高级技术附件，即一种基于行业标准的串行硬件驱动器接口)或者PCIe(Peripheral ComponentInterconnect Express，快捷外设互联标准)等标准接口，可以直接插在PC服务器上使用。PC服务器和SSD属于开放系统，各厂家遵循相同的工业标准，用户可以自由选择，不被垄断厂家所绑架。

IOPS(Input/Output Operations Per Second，每秒进行读写操作的次数)是衡量存储的重要指标，单块磁盘的IOPS为160，为了提升IOPS，存储会配置大量的磁盘和缓存，现有的许多高端磁盘存储设备就是这样处理的，但是，单块SSD的IOPS就可以实现可以达到这样的效果。因此，如果用内置SSD的PC服务器，同样可以轻松达到高端磁盘存储设备的性能。

而另一方面，传统的存储设备是封闭系统，用户买来的是一个黑盒子，而且价格昂贵，而PC服务器属于开放系统，用户可以自由选择厂商，并且，SSD随着技术不断成熟，价格也在快速下降。

基于以上的考虑，本申请实施例所提出的技术方案利用内置SSD的普通PC服务器构建高性能、高可用性的存储设备，从而，替换昂贵和封闭的磁盘存储，达到降低成本，提高存储系统开放性和可扩展性的目的。

如图1所示，为本申请实施例提供的一种存储系统的实现方法的流程示意图，包括：

步骤S101、计算节点根据当前系统中所包括的多个存储节点所对应的全部存储资源的当前使用状况，确定对当前数据进行存储的存储资源。

在具体的处理场景中，本步骤的处理过程具体如下：

所述计算节点根据当前系统的分布式RAID存储方案，确定当前空闲的存储资源，其中，所述当前空闲的存储资源具体为当前系统中所包括的多个存储节点所对应的全部空闲资源。

所述计算节点根据当前数据所需要占用的存储资源，按照相应的选择策略，选择存储所述当前数据的存储资源，并确定所选择的存储资源所对应的SSD，及其所处的存储节点。

需要说明的是，这里所提及的根据选择策略进行存储资源的选择，主要是考虑到上述处理过程中的空闲资源可能分布在多个不同的存储节点中，因此，可能处于数据存储连续性的考虑，会优先选择单一存储节点，或单一SSD上具有足够空闲资源的存储节点来进行当前数据的存储，当然，也可以依据其他因素进行选择，比如，各存储节点当前的负载情况，各存储节点的空闲资源比例等，这样的变化并不会影响本申请的保护范围。

进一步的，上述的当前系统的分布式RAID存储方案，具体通过以下方式来实现：

(1)将当前系统中的所有SSD按照所处的存储节点进行分组。

这样处理的原因在于处于同一个存储节点中的SSD往往具有相同的工作环境，其物理硬件的工作状态也相类似，所以，可以在同一个分组中进行统一管理。

(2)将不同的存储节点两两对应做RAID 1，生成镜像。

通过这样的处理，将相同的数据分别存储在了不同的存储节点的SSD中，因此，不会因为单个存储节点或单个SSD的故障，导致系统中的数据丢失，影响存储系统的正常运行。

(3)各存储节点将自身的存储资源状态上报给所述计算节点，生成相应的镜像盘，并将所有存储节点的镜像盘整合为一个RAID 0，作为所述系统当前的全部存储资源。

通过这样的处理，在计算节点看来，当前系统中所包括的多个存储节点中的资源就被整合成了一个大的整体存储系统，从而，可以对存储资源进行统一的调度和管理。

步骤S102、所述计算节点通过高速互联设备，将所述当前数据发送给所确定的存储资源对应的存储节点进行存储。

其中，各所述存储节点分别为内置了SSD的PC服务器，所述存储资源具体为各所述存储节点中所内置的所述SSD的存储资源。

在具体的处理场景中，本步骤的处理过程具体如下：

所述计算节点通过Infiniband高速网络，将所述当前数据发送给所确定的存储资源对应的存储节点，所述存储节点将所述当前数据存储到相应的SSD中。

需要说明的是，对应前述的分布式RAID存储方案，在本步骤完成后，还需要进行以下处理：

首先，将所述当前数据存储到与所述SSD互为镜像的SSD中，即保证互为镜像的两个存储节点之间的数据和存储资源状态同步更新。

然后，根据存储资源状态的变化，相应的存储节点更新自身的存储资源的状态，上报给所述计算节点，更新相应的镜像盘中的存储资源状态，使所述计算节点获取所述系统更新后的存储资源状态，从而，在计算节点侧，实现对系统当前存储资源状态的及时更新，为后续数据存储过程提供更为准确的判断依据。

与现有技术相比，本申请实施例所提出的技术方案具有以下优点：

通过应用本申请实施例的技术方案，基于计算节点调度和处理，利用高速互联设备，充分发挥存储节点中所内置的SSD的巨大性能优势，通过普通的PC服务器构建高性能、高可用性的开放性存储系统，从而，用成本相对低廉和开放的PC服务器替换昂贵和封闭的存储设备，摆脱对高端、封闭而昂贵的存储设备的依赖，达到降低成本，提高存储系统开放性和可扩展性的目的。

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图2所示，为本申请实施例提供的一种具体应用场景下的存储系统的结构示意图，该存储系统利用多台内置SSD的PC服务器构建高性能存储系统，具体的，该存储系统由三部分设备组成：存储节点，计算节点和高速互联设备。

1、存储节点。

用于提供数据存储服务，在实际应用中可以采用内置SSD存储的PC服务器，如DellR510服务器(2CPU，24G内存)，服务器内置ioDrive Duo(640G×2)SSD存储。

基于上述配置，单个的存储节点可以提供超过50000的IOPS，IO延迟小于100us。

2、计算节点。

采用分布式RAID技术，整合存储节点的存储资源，并控制数据存储过程，同时，运行数据库软件，要求较强的计算能力，如Dell R910服务器(4CPU，48G内存)。

3、高速互联设备。

在具体的应用场景中，可以采用Infiniband交换机，将存储节点和计算节点互联，提供高吞吐低延迟的网络互联。

进一步的，可以采用iSER(iSCSI Extensions for RDMA)协议，利用RDMA(RemoteDirect Memory Access，远程内存直接读取)技术可以大大降低延迟和CPU利用率，IO延迟为1us，可以将存储节点的存储能力几乎无损的输出到计算节点。

需要进一步说明的是，上述的分布式RAID技术是本申请实施例所提出的技术方案中的一项优选的技术方案，通过该方案，可以实现更加完善的存储效果，实现更高的存储可靠性。

该技术的核心内容在于，通过网络设备将不同的存储节点的整合起来，实现分布式RAID功能，以保证任何单一存储节点损坏，都不会丢失数据或者影响系统运行。

分布式RAID与传统RAID的区别在于，传统RAID是以磁盘为存储单元建立RAID，而分布式RAID以存储节点为存储单元建立RAID，分布式RAID必须将数据的不同拷贝分布在不同的存储节点上，从而，防止单一节点损坏造成数据丢失。

如图3所示，为本申请实施例提供的一种应用分布式RAID实现方案的场景下的存储系统的结构示意图。

首先，将系统中所有的SSD按照存储节点分组，即存储节点1中的各SSD处于一个分组，存储节点2中的各SSD处于一个分组，依此类推。

然后，将不同存储节点两两对应做RAID 1(镜像)，保证数据的不同拷贝分布在不同的存储节点上。例如存储节点1和存储节点2两两对应，其所包含的SSD分别做了RAID 1。

最后，对各存储节点的镜像盘做RAID 0(条带)，从而，将不同存储节点整合为一个大的存储系统，并且，将IO压力分布在不同存储节点上，实现分布式RAID 10(镜像+条带)的功能。

通过上述方案所建立的存储系统具有以下特点：

高性能：SSD可以提供远超磁盘存储的能力，每个存储节点可以提供50000以上的IOPS，而且Infiniband可以保证存储能力被无损的输出到计算节点。

高可用性：整个系统无单点故障，包括计算节点，存储节点和网络节点，都有冗余保护，任何单一节点故障，不会影响系统运行或者导致数据丢失。

可扩展：系统采用分布式结构，扩展只需要简单增加存储节点数量，就可以线性提升系统的处理能力。

与现有技术相比，本申请实施例所提出的技术方案具有以下优点：

通过应用本申请实施例的技术方案，基于计算节点调度和处理，利用高速互联设备，充分发挥存储节点中所内置的SSD的巨大性能优势，通过普通的PC服务器构建高性能、高可用性的开放性存储系统，从而，用成本相对低廉和开放的PC服务器替换昂贵和封闭的存储设备，摆脱对高端、封闭而昂贵的存储设备的依赖，达到降低成本，提高存储系统开放性和可扩展性的目的。

为了实现上述的技术方案，本申请实施例提供了一种存储系统，其结构示意图如图4所示，包括计算节点41、高速互联设备42，以及多个存储节点43，其中：

所述计算节点41，用于根据当前系统中所包括的多个存储节点所对应的全部存储资源的当前使用状况，确定对当前数据进行存储的存储资源，并通过高速互联设备，将所述当前数据发送给所确定的存储资源对应的存储节点进行存储；

所述高速互联设备42，用于在所述计算节点41和各所述存储节点之间进行数据传输；

所述存储节点43，用于存储所述计算节点41所发送的数据；

其中，所述存储节点43具体为内置了SSD的PC服务器，所述存储资源具体为各所述存储节点43中所内置的所述SSD的存储资源。

优选的，所述计算节点41，具体用于：

根据当前系统的分布式RAID存储方案，确定当前空闲的存储资源，其中，所述当前空闲的存储资源具体为当前系统中所包括的多个存储节点43所对应的全部空闲资源；

根据当前数据所需要占用的存储资源，按照相应的选择策略，选择存储所述当前数据的存储资源，并确定所选择的存储资源所对应的SSD，及其所处的存储节点43。

优选的，所述当前系统的分布式RAID存储方案，具体通过以下方式来实现：

将当前系统中的所有SSD按照所处的存储节点43进行分组；

将不同的存储节点43两两对应做RAID 1，生成镜像；

各存储节点43将自身的存储资源状态上报给所述计算节点41，生成相应的镜像盘，并将所有存储节点43的镜像盘整合为一个RAID 0，作为所述系统当前的全部存储资源。

优选的，所述高速互联设备42，具体为Infiniband高速网络；

所述存储节点43，具体用于将通过所述Infiniband高速网络接收到的所述计算节点41所发送的数据存储到自身所内置的相应的SSD中。

优选的，所述存储节点43，还用于：

在完成自身SSD对当前数据的存储之后，将所述当前数据存储到与所述SSD互为镜像的SSD中；

根据存储资源状态的变化，相应的存储节点43更新自身的存储资源的状态，上报给所述计算节点41，更新相应的镜像盘中的存储资源状态，使所述计算节点41获取所述系统更新后的存储资源状态。

与现有技术相比，本申请实施例所提出的技术方案具有以下优点：

通过应用本申请实施例的技术方案，基于计算节点调度和处理，利用高速互联设备，充分发挥存储节点中所内置的SSD的巨大性能优势，通过普通的PC服务器构建高性能、高可用性的开放性存储系统，从而，用成本相对低廉和开放的PC服务器替换昂贵和封闭的存储设备，摆脱对高端、封闭而昂贵的存储设备的依赖，达到降低成本，提高存储系统开放性和可扩展性的目的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本申请的保护范围。

Claims (10)

1.一种存储系统的实现方法，其特征在于，至少包括以下步骤：

计算节点根据当前系统中所包括的多个存储节点所对应的全部存储资源的当前使用状况，确定对当前数据进行存储的存储资源；

所述计算节点通过高速互联设备，将所述当前数据发送给所确定的存储资源对应的存储节点进行存储；

其中，各所述存储节点分别为内置了SSD的PC服务器，所述存储资源具体为各所述存储节点中所内置的所述SSD的存储资源。

2.如权利要求1所述的方法，其特征在于，所述计算节点根据当前系统中所包括的多个存储节点所对应的全部存储资源当前的使用状况，确定对当前数据进行存储的存储资源，具体包括：

所述计算节点根据当前系统的分布式RAID存储方案，确定当前空闲的存储资源，其中，所述当前空闲的存储资源具体为当前系统中所包括的多个存储节点所对应的全部空闲资源；

所述计算节点根据当前数据所需要占用的存储资源，按照相应的选择策略，选择存储所述当前数据的存储资源，并确定所选择的存储资源所对应的SSD，及其所处的存储节点。

3.如权利要求2所述的方法，其特征在于，所述当前系统的分布式RAID存储方案，具体通过以下方式来实现：

将当前系统中的所有SSD按照所处的存储节点进行分组；

将不同的存储节点两两对应做RAID 1，生成镜像；

各存储节点将自身的存储资源状态上报给所述计算节点，生成相应的镜像盘，并将所有存储节点的镜像盘整合为一个RAID 0，作为所述系统当前的全部存储资源。

4.如权利要求2所述的方法，其特征在于，所述计算节点通过高速互联设备，将所述当前数据发送给所确定的存储资源对应的存储节点进行存储，具体包括：

所述计算节点通过Infiniband高速网络，将所述当前数据发送给所确定的存储资源对应的存储节点；

所述存储节点将所述当前数据存储到相应的SSD中。

5.如权利要求3或4所述的方法，其特征在于，所述计算节点通过高速互联设备，将所述当前数据发送给所确定的存储资源对应的存储节点进行存储之后，还包括：

将所述当前数据存储到与所述SSD互为镜像的SSD中；

根据存储资源状态的变化，相应的存储节点更新自身的存储资源的状态，上报给所述计算节点，更新相应的镜像盘中的存储资源状态，使所述计算节点获取所述系统更新后的存储资源状态。

6.一种存储系统，其特征在于，包括计算节点、高速互联设备，以及多个存储节点，其中：

所述计算节点，用于根据当前系统中所包括的多个存储节点所对应的全部存储资源的当前使用状况，确定对当前数据进行存储的存储资源，并通过高速互联设备，将所述当前数据发送给所确定的存储资源对应的存储节点进行存储；

所述高速互联设备，用于在所述计算节点和各所述存储节点之间进行数据传输；

所述存储节点，用于存储所述计算节点所发送的数据；

其中，所述存储节点具体为内置了SSD的PC服务器，所述存储资源具体为各所述存储节点中所内置的所述SSD的存储资源。

7.如权利要求6所述的存储系统，其特征在于，所述计算节点，具体用于：

根据当前系统的分布式RAID存储方案，确定当前空闲的存储资源，其中，所述当前空闲的存储资源具体为当前系统中所包括的多个存储节点所对应的全部空闲资源；

根据当前数据所需要占用的存储资源，按照相应的选择策略，选择存储所述当前数据的存储资源，并确定所选择的存储资源所对应的SSD，及其所处的存储节点。

8.如权利要求7所述的存储系统，其特征在于，所述当前系统的分布式RAID存储方案，具体通过以下方式来实现：

将当前系统中的所有SSD按照所处的存储节点进行分组；

将不同的存储节点两两对应做RAID 1，生成镜像；

各存储节点将自身的存储资源状态上报给所述计算节点，生成相应的镜像盘，并将所有存储节点的镜像盘整合为一个RAID 0，作为所述系统当前的全部存储资源。

9.如权利要求7所述的存储系统，其特征在于，

所述高速互联设备，具体为Infiniband高速网络；

所述存储节点，具体用于将通过所述Infiniband高速网络接收到的所述计算节点所发送的数据存储到自身所内置的相应的SSD中。

10.如权利要求8或9所述的存储系统，其特征在于，所述存储节点，还用于：

在完成自身SSD对当前数据的存储之后，将所述当前数据存储到与所述SSD互为镜像的SSD中；

根据存储资源状态的变化，相应的存储节点更新自身的存储资源的状态，上报给所述计算节点，更新相应的镜像盘中的存储资源状态，使所述计算节点获取所述系统更新后的存储资源状态。