CN109739440B - 分布式共享存储方法、存储介质、电子设备及系统 - Google Patents

Abstract

本发明公开了一种分布式共享存储方法、存储介质、电子设备及系统，涉及互联网技术领域，该方法包括：将多个存储设备配置成一个网络存储单元；将网络存储单元划分为多个预设大小的存储池，各存储池包括多个预设大小的虚拟磁盘；根据待分配应用的存储需求，向待分配应用分配至少一个虚拟磁盘；当待分配应用增加存储空间时，向待分配应用增配虚拟磁盘。本发明根据应用的实际存储需求进行存储空间的分配，实现存储空间的有效利用，避免造成存储资源的浪费。

Description

分布式共享存储方法、存储介质、电子设备及系统

技术领域

本发明涉及互联网技术领域，具体涉及一种分布式共享存储方法、存储介质、电子设备及系统。

背景技术

随着云存储云计算的发展，分布式存储系统，诸如Ceph系统，提供了对象、块、和文件存储功能，具有高可靠性、简单管理、高伸缩性的特点；

Ceph系统以普通硬件和智能守护进程作为支撑点，Ceph系统的存储集群组织起了大量节点，它们之间靠相互通讯来复制数据、并动态地重分布数据；

但现阶段的分布式存储系统中，磁盘使用率较低，无法充分利用存储设备；

因此，急需一种新的分布式共享存储方法解决上述问题。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种分布式共享存储方法、存储介质、电子设备及系统,根据应用的实际存储需求进行存储空间的分配，实现存储空间的有效利用，避免造成存储资源的浪费。

为达到以上目的，本发明采取的技术方案是：

第一方面，本发明提供一种分布式共享存储方法，其包括以下步骤：

将多个存储设备配置成一个网络存储单元；

将所述网络存储单元划分为多个预设大小的存储池，各所述存储池包括多个预设大小的虚拟磁盘；

根据待分配应用的存储需求，向待分配应用分配至少一个所述虚拟磁盘；

当所述待分配应用增加存储空间时，向所述待分配应用增配所述虚拟磁盘。

其中，各所述存储池的各所述虚拟磁盘的存储大小之和不大于各所述存储单元的存储大小。

在上述技术方案的基础上，所述方法包括以下步骤：

根据所述待分配应用的存储需求，调节各所述存储池的存储大小；

其中，各所述存储池的存储大小之和等于与各所述存储单元之和的存储大小。

在上述技术方案的基础上，所述方法包括以下步骤：

根据所述待分配应用的存储需求，调节各所述存储池内的各所述虚拟磁盘的存储大小；

其中，各所述虚拟磁盘的存储大小之和等于与其对应的所述存储池的存储大小。

在上述技术方案的基础上，所述方法包括以下步骤：

当需要新增存储单元时，在所述网络存储单元创建至少一个与所述新增存储单元对应的新增存储池，各所述新增存储池包括多个新增虚拟磁盘。

第二方面，本发明还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的分布式共享存储方法。

第三方面，本发明还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的分布式共享存储方法。

第四方面，本发明还提供一种分布式共享存储系统，其包括：

多个存储单元，所述存储单元为实体存储设备；

网络存储创建单元，其用于将各所述存储单元配置成一网络存储单元；

存储池创建单元，其用于将所述网络存储单元划分为多个存储池，各所述存储池包括多个虚拟磁盘，并预先向各所述存储池以及所述虚拟磁盘设定存储大小；

虚拟磁盘分配单元，其用于根据待分配应用的存储需求，向待分配应用分配至少一个所述虚拟磁盘；

虚拟磁盘增配单元，其用于当所述待分配应用增加存储空间时，向所述待分配应用增配所述虚拟磁盘；

其中，各所述存储池的各所述虚拟磁盘的存储大小之和不大于各所述存储单元的存储大小。

在上述技术方案的基础上，所述系统还包括：

存储池调节单元，其用于根据所述待分配应用的存储需求，调节各所述存储池的存储大小；

其中，各所述存储池的存储大小之和等于与各所述存储单元之和的存储大小。

在上述技术方案的基础上，所述系统还包括：

虚拟磁盘调节单元，其用于根据所述待分配应用的存储需求，调节各所述存储池内的各所述虚拟磁盘的存储大小；

其中，各所述虚拟磁盘的存储大小之和等于与其对应的所述存储池的存储大小。

在上述技术方案的基础上，所述系统还包括：

存储池新增单元，其用于当需要新增存储单元时，在所述网络存储单元创建至少一个与所述新增存储单元对应的新增存储池，各所述新增存储池包括多个新增虚拟磁盘。

与现有技术相比，本发明的优点在于：

本发明根据应用的实际存储需求进行存储空间的分配，实现存储空间的有效利用，避免造成存储资源的浪费。

附图说明

图1为本发明实施例一提供的一种分布式共享存储方法的步骤流程图；

图2为本发明实施例一提供的一种分布式共享存储方法的具体实施状态图；

图3为本发明实施例一提供的一种分布式共享存储方法在增加新增存储单元时的具体实施状态图；

图4为本发明实施例二提供的一种分布式共享存储系统的结构框图；

图5为本发明实施例四提供的一种分布式共享存储系统电子设备的结构框图；

图中：1、存储单元；2、网络存储创建单元；3、存储池创建单元；4、虚拟磁盘分配单元；5、虚拟磁盘增配单元；6、存储池调节单元；7、虚拟磁盘调节单元；8、存储池新增单元。

具体实施方式

术语解释：

Ceph：一种分布式文件系统，Ceph生态系统架构可以划分为四部分：Clients，即客户端(数据用户)；

Cmds，即Metadata server cluster，元数据服务器(缓存和同步分布式元数据)；

Cosd，Object storage cluster，对象存储集群(将数据和元数据作为对象存储，执行其他关键职能)；

Cmon，Cluster monitors，集群监视器(执行监视功能)。

RBD：RBD是用DVD装载的BD光盘的称呼，即RBD的概念，所谓RBD，是Real Blu-rayDisc的简称。

Disk：磁盘。

pg：pg文件格式是程序框图的保存文件，可以用其来编辑程序框图。

OSD：Object Storage Device，对象存储设备，提供存储资源。

以下结合附图对本发明的实施例作进一步详细说明。

本发明实施例提供一种分布式共享存储方法、存储介质、电子设备及系统，根据存储设备组成网络存储单元，并基于网络存储单元，根据应用的实际存储需求进行存储空间的分配，实现存储空间的有效利用，避免造成存储资源的浪费。

为达到上述技术效果，本申请的总体思路如下：

一种分布式共享存储方法，其包括以下步骤：

S1、将多个存储设备配置成一个网络存储单元；

S2、将所述网络存储单元划分为多个预设大小的存储池，各所述存储池包括多个预设大小的虚拟磁盘；

S3、根据待分配应用的存储需求，向待分配应用分配至少一个所述虚拟磁盘；

S4、当所述待分配应用增加存储空间时，向所述待分配应用增配所述虚拟磁盘。

实施例一

参见图1、2、3所示，本发明实施例提供一种分布式共享存储方法，包括以下步骤：

S1、将多个存储设备配置成一个网络存储单元；

S2、将网络存储单元划分为多个预设大小的存储池，各存储池包括多个预设大小的虚拟磁盘；

S3、根据待分配应用的存储需求，向待分配应用分配至少一个虚拟磁盘；

S4、当待分配应用增加存储空间时，向待分配应用增配虚拟磁盘。

其中，各存储池的各虚拟磁盘的存储大小之和不大于各存储单元的存储大小。

本发明实施例中，存储设备为实体存储装置，即诸如硬盘、存储器等存储介质，

利用多个存储设备组成一个网络存储单元；

而后再将网络存储单元划分为多个预设大小的存储池，各存储池包括多个预设大小的虚拟磁盘；

当需要对待分配应用分配存储空间时，则根据待分配应用的存储需求，向待分配应用分配至少一个虚拟磁盘；

而当后续待分配应用的存储需求发生改变，需要增加存储空间时，向待分配应用增配虚拟磁盘。

本发明实施例中，根据存储设备组成网络存储单元，并基于网络存储单元，根据应用的实际存储需求进行存储空间的分配，实现存储空间的有效利用，避免造成存储资源的浪费。

本发明实施例中，方法包括以下步骤：

根据待分配应用的存储需求，调节各存储池的存储大小；

其中，各存储池的存储大小之和等于与各存储单元之和的存储大小。

本发明实施例中，方法包括以下步骤：

根据待分配应用的存储需求，调节各存储池内的各虚拟磁盘的存储大小；

其中，各虚拟磁盘的存储大小之和等于与其对应的存储池的存储大小。

本发明实施例中，方法包括以下步骤：

当需要新增存储单元时，在网络存储单元创建至少一个与新增存储单元对应的新增存储池，各新增存储池包括多个新增虚拟磁盘。

另外，本发明实施例中，还包括以下步骤：

当需要为待分配应用更换虚拟磁盘时，首先将与待分配应用对应的存储数据进行存储；

删除原虚拟磁盘；

增加进行更换的替换虚拟磁盘，并将对应的存储数据存储到替换虚拟磁盘中。

需要说明的是，本发明实施例在进行具体实施时，具体可以利用Ceph系统进行实施，本分布式共享存储方法的具体实施状态图如图2所示；

具体步骤如下：

A1、将多个存储设备通过Ceph服务端配置成网络云存储单元；

A2、在网络云存储单元的基础上创建若干存储池，总存储为存储介质的最大存储；

A3、在服务端为待分配应用创建存储池需要的若干RBD；

A4、Ceph客户端和待分配应用部署在一起，使用当前待分配应用存储池的RBD；

A5、待分配应用在该存储池的RBD实现存储的负载均衡；

A6、各个待分配应用配置网络存储的最大存储能力，共享使用云存储；

A7、Ceph服务端动态扩容和收缩存储介质；

A8、待分配应用动态扩容和收缩存储池RBD的个数。

其中，在步骤A1中，通过Ceph服务端实现远端存储介质的池化，将多个存储设备作为一个大的网络云存储；

在步骤A2和A3中，在网络存储的基础上创建每个待分配应用对应的存储池，并为不同的待分配应用创建对应的RBD分组，方便管理和待分配应用使用；

在步骤A4和A5中，待分配应用和Ceph客户端安装部署在一起，使用为该待分配应用创建好的RBD分组，并实现存储的负载均衡。

而在步骤A6中，各个待分配应用共享使用存储池的最大存储能力，服务器端通过待分配应用实际创建object的大小和个数来计算实际存储，待分配应用通过虚拟磁盘的位置偏移来计算自己的存储，而object即存储对象。

在步骤A7中，Ceph服务端具备动态扩容和收缩存储介质的能力，包括单台设备的伸缩和单个磁盘的伸缩。

在步骤A8中，待分配应用具备在Ceph客户端对应的RBD分组上实现动态的伸缩能力，实现动态增加和减少RBD的个数。

在本发明实施例中，以5台存储设备为例，每台存储设备为20块1T的disk，总共100T存储；

首先，该100T存储组成一个远端云存储介质，创建两个存储池，分别标记为SSPOOL和ATSPOOL；

然后，每个存储池创建10个RBD，每个RBD的存储大小均为1T，两个存储池最大存储均为100T，两个应用服务竞争共享该100T的网络存储。

当SSPOOL存储池使用超过50T，ATSPOOL存储只要不超过50T，流媒体服务器依然可以使用剩余的存储资源，止到两者存储总和达到总存储的最大值。

当需要增加新的存储设备时，Ceph服务端动态扩容存储设备，以扩容2台存储设备为例，每台存储设备包括10块磁盘，每块4T，总共新扩容80T存储；

在新扩容的存储介质创建一个新的NEWPOOL，总共创建20个RBD，每个RBD4T存储；

流服务应用动态增加10个新的RBD，缓存应用服务动态增加10个新的RBD，分别都来自NEWPOOL；

流服务应用动态剔除SSPOOL中的一个RBD，缓存应用服务动态剔除ATSPOOL中的一个RBD，此时，应用通过自身的复制功能，将丢失的内容做自动恢复处理。

具体的，应用存储文件A，该文件按照存储大小被应用切分为5个分片，分别存储于5个RBD逻辑存储上，每个分片被分为4个对象；每个对象都对应一个逻辑存储存在于一个pg文件上，每个pg文件包含多个逻辑存储，而每个对象对应的逻辑pg文件映射到多个物理存储OSD上，从而该文件通过对象存储被分散在多个OSD上存储。

基于同一发明构思，本申请提供了实施例一对应的分布式共享存储系统的实施例，详见实施例二

实施例二

如图4所示，本发明第二实施例提供了一种分布式共享存储系统，其包括：

多个存储单元1，存储单元为实体存储设备；

网络存储创建单元2，其用于将各存储单元配置成一网络存储单元；

存储池创建单元3，其用于将网络存储单元划分为多个存储池，各存储池包括多个虚拟磁盘，并预先向各存储池以及虚拟磁盘设定存储大小；

虚拟磁盘分配单元4，其用于根据待分配应用的存储需求，向待分配应用分配至少一个虚拟磁盘；

虚拟磁盘增配单元5，其用于当待分配应用增加存储空间时，向待分配应用增配虚拟磁盘；

其中，各存储池的各虚拟磁盘的存储大小之和不大于各存储单元的存储大小。

本发明实施例中，存储设备为实体存储装置，即诸如硬盘、存储器等存储介质，

利用多个存储设备组成一个网络存储单元；

而后再将网络存储单元划分为多个预设大小的存储池，各存储池包括多个预设大小的虚拟磁盘；

当需要对待分配应用分配存储空间时，则根据待分配应用的存储需求，向待分配应用分配至少一个虚拟磁盘；

而当后续待分配应用的存储需求发生改变，需要增加存储空间时，向待分配应用增配虚拟磁盘。

本发明实施例中，根据存储设备组成网络存储单元，并基于网络存储单元，根据应用的实际存储需求进行存储空间的分配，实现存储空间的有效利用，避免造成存储资源的浪费。

本发明实施例中，系统还包括：

存储池调节单元6，其用于根据待分配应用的存储需求，调节各存储池的存储大小；

其中，各存储池的存储大小之和等于与各存储单元之和的存储大小。

本发明实施例中，系统还包括：

虚拟磁盘调节单元7，其用于根据待分配应用的存储需求，调节各存储池内的各虚拟磁盘的存储大小；

其中，各虚拟磁盘的存储大小之和等于与其对应的存储池的存储大小。

本发明实施例中，系统还包括：

存储池新增单元8，其用于当需要新增存储单元时，在网络存储单元创建至少一个与新增存储单元对应的新增存储池，各新增存储池包括多个新增虚拟磁盘。

基于同一发明构思，本申请提供了实施例一对应的存储介质的实施例，详见实施例三

实施例三

本发明第三实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现第一实施例中的所有方法步骤或部分方法步骤。

本发明实现上述第一实施例中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

基于同一发明构思，本申请提供了实施例一对应的电子设备的实施例，详见实施例四

实施例四

如图5所示，本发明第四实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现第一实施例中的所有方法步骤或部分方法步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种分布式共享存储方法，其特征在于，其包括以下步骤：

将多个存储设备配置成一个网络存储单元；

将所述网络存储单元划分为多个预设大小的存储池，各所述存储池包括多个预设大小的虚拟磁盘；

根据待分配应用的存储需求，向待分配应用分配至少一个所述虚拟磁盘；

当所述待分配应用增加存储空间时，向所述待分配应用增配所述虚拟磁盘；其中，

所述方法还包括以下步骤：

当需要为待分配应用更换虚拟磁盘时，首先将与待分配应用对应的存储数据进行存储；

删除原虚拟磁盘；

增加进行更换的替换虚拟磁盘，并将对应的存储数据存储到替换虚拟磁盘中；

所述存储设备为实体存储装置。

2.如权利要求1所述的方法，其特征在于，所述方法包括以下步骤：

根据所述待分配应用的存储需求，调节各所述存储池的存储大小；

其中，各所述存储池的存储大小之和等于与各所述存储单元之和的存储大小。

3.如权利要求1所述的方法，其特征在于，所述方法包括以下步骤：

根据所述待分配应用的存储需求，调节各所述存储池内的各所述虚拟磁盘的存储大小；

其中，各所述虚拟磁盘的存储大小之和等于与其对应的所述存储池的存储大小。

4.如权利要求1所述的方法，其特征在于，所述方法包括以下步骤：

当需要新增存储单元时，在所述网络存储单元创建至少一个与所述新增存储单元对应的新增存储池，各所述新增存储池包括多个新增虚拟磁盘。

5.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至4任一项所述的方法。

6.一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的方法。

7.一种分布式共享存储系统，其特征在于，其包括：

多个存储单元，所述存储单元为实体存储设备；

网络存储创建单元，其用于将各所述存储单元配置成一网络存储单元；

存储池创建单元，其用于将所述网络存储单元划分为多个存储池，各所述存储池包括多个虚拟磁盘，并预先向各所述存储池以及所述虚拟磁盘设定存储大小；

虚拟磁盘分配单元，其用于根据待分配应用的存储需求，向待分配应用分配至少一个所述虚拟磁盘；

虚拟磁盘增配单元，其用于当所述待分配应用增加存储空间时，向所述待分配应用增配所述虚拟磁盘；

所述虚拟磁盘分配单元还用于当需要为待分配应用更换虚拟磁盘时，首先将与待分配应用对应的存储数据进行存储，并删除原虚拟磁盘，进而增加进行更换的替换虚拟磁盘，并将对应的存储数据存储到替换虚拟磁盘中。

8.如权利要求7所述的系统，其特征在于，所述系统还包括：

存储池调节单元，其用于根据所述待分配应用的存储需求，调节各所述存储池的存储大小。

9.如权利要求7所述的系统，其特征在于，所述系统还包括：

虚拟磁盘调节单元，其用于根据所述待分配应用的存储需求，调节各所述存储池内的各所述虚拟磁盘的存储大小。

10.如权利要求7所述的系统，其特征在于，所述系统还包括：

存储池新增单元，其用于当需要新增存储单元时，在所述网络存储单元创建至少一个与所述新增存储单元对应的新增存储池，各所述新增存储池包括多个新增虚拟磁盘。

Images