CN109445713A - 一种元数据卷的存储状态记录方法、系统及相关组件 - Google Patents

Abstract

本申请公开了一种元数据卷的存储状态记录方法，所述应用于全闪存储系统，所述存储状态记录方法包括：将元数据卷平均划分为多个存储空间，并创建用于描述每一所述存储空间的存储状态的位图；当接收到下刷指令时，以所述预设字节长度为粒度顺序将所述下刷指令对应的元数据下刷至所述元数据卷的存储空间；根据每一所述存储空间的存储状态更新所述位图的目标字节，以便记录所述元数据卷的存储状态。本方法能够准确的记录全闪存储系统的元数据卷的存储状态。本申请还公开了一种元数据卷的存储状态记录系统、一种计算机可读存储介质及一种电子设备，具有以上有益效果。

Description

一种元数据卷的存储状态记录方法、系统及相关组件

技术领域

本申请涉及数据存储技术领域，特别涉及一种元数据卷的存储状态记录方法、系统、一种计算机可读存储介质及一种电子设备。

背景技术

随着磁盘技术的推进，SSD(Solid State Disk，固态硬盘)越来越普遍，SSD盘较传统的硬盘比较，其容量和访问速度都比传统硬盘有很大的提高。但SSD硬盘的读写方式与传统硬盘有很大的不通，因此为了最大化的可以利用SSD盘的性能优势，很多厂商都开始做全闪(SSA)存储系统的研究，SSA存储系统要求后端磁盘全部是SSD磁盘。

根据SSD盘的读写特性，SSA需要操作大量的元数据，元数据的落盘操作是元数据操作的重要一环，目前尚不存在针对全闪存储系统的元数据卷的存储状态记录方案。

因此，如何准确的记录全闪存储系统的元数据卷的存储状态是本领域技术人员目前需要解决的技术问题。

申请内容

本申请的目的是提供一种元数据卷的存储状态记录方法、系统、一种计算机可读存储介质及一种电子设备，能够准确的记录全闪存储系统的元数据卷的存储状态。

为解决上述技术问题，本申请提供一种元数据卷的存储状态记录方法，应用于全闪存储系统，该记录方法包括：

将元数据卷平均划分为多个存储空间，并创建用于描述每一所述存储空间的存储状态的位图；其中，所述存储空间大小为预设字节长度，所述位图包括与每一所述存储空间唯一对应的预设数量个字节；

当接收到下刷指令时，以所述预设字节长度为粒度将所述下刷指令对应的元数据下刷至所述元数据卷的存储空间；

根据每一所述存储空间的存储状态更新所述位图的目标字节，以便记录所述元数据卷的存储状态。

可选的，还包括：

创建第一全局链表、第二全局链表和第三全局链表；其中，所述第一全局链表用于记录未刷写元数据的存储空间的位置信息，所述第二全局链表用于记录已刷写元数据的存储空间的位置信息，所述第三全局链表用于记录正在刷写元数据的存储空间的位置信息。

可选的，在根据每一所述存储空间的存储状态更新所述位图的目标字节之后，还包括：

根据所述位图的字节变化信息更新所述第一全局链表和所述第二全局链表。

可选的，以所述预设字节长度为粒度将所述下刷指令对应的元数据下刷至所述元数据卷的存储空间，包括：

根据所述第一全局链表确定目标存储空间的位置信息，以所述预设字节长度为粒度将所述下刷指令对应的元数据下刷至所述目标存储空间。

可选的，在以所述预设字节长度为粒度将所述下刷指令对应的元数据下刷至所述目标存储空间之后，还包括：

更新所述第三全局链表。

可选的，在将元数据卷平均划分为多个存储空间之前，还包括：

以预设比例将目标卷划分为数据卷和所述元数据卷；其中，所述数据卷用于下刷数据。

可选的，还包括：

当检测到所述元数据卷的可用存储空间小于预设值时，将所述数据卷中的预设空间大小存储空间设置为新的元数据卷。

本申请还提供了一种元数据卷的存储状态记录系统，应用于全闪存储系统，该记录系统包括：

位图创建模块，用于将元数据卷平均划分为多个存储空间，并创建用于描述每一所述存储空间的存储状态的位图；其中，所述存储空间大小为预设字节长度，所述位图包括与每一所述存储空间唯一对应的预设数量个字节；

下刷模块，用于当接收到下刷指令时，以所述预设字节长度为粒度将所述下刷指令对应的元数据下刷至所述元数据卷的存储空间；

状态记录模块，用于根据每一所述存储空间的存储状态更新所述位图的目标字节，以便记录所述元数据卷的存储状态。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述元数据卷的存储状态记录方法执行的步骤。

本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述元数据卷的存储状态记录方法执行的步骤。

本申请提供了一种元数据卷的存储状态记录方法，应用于全闪存储系统，该记录方法包括：将元数据卷平均划分为多个存储空间，并创建用于描述每一所述存储空间的存储状态的位图；其中，所述存储空间大小为预设字节长度，所述位图包括与每一所述存储空间唯一对应的预设数量个字节；当接收到下刷指令时，以所述预设字节长度为粒度顺序(即，依次)将所述下刷指令对应的元数据下刷至所述元数据卷的存储空间；根据每一所述存储空间的存储状态更新所述位图的目标字节，以便记录所述元数据卷的存储状态。

本申请通过将元数据卷平均划分为预设字节长度的存储空间，以便在下刷元数据时以预设字节长度为粒度顺序下刷元数据至每一存储空间。进一步，本申请还创建描述每一存储空间的存储状态的位图，位图包括多个字节，每一存储空间均有唯一与其对应的预设数量个字节，当某一存储空间的存储状态改变后可以通过更新改变存储空间对应的位图中的相应字节实现元数据卷的存储状态记录。因此，本申请能够准确的记录全闪存储系统的元数据卷的存储状态。本申请同时还提供了一种元数据卷的存储状态记录系统、一种计算机可读存储介质和一种电子设备，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种元数据卷的存储状态记录方法的流程图；

图2为LSA卷在全闪存储系统中的位置示意图；

图3为本申请实施例所提供的一种目标数据卷的划分方法的流程图；

图4为本申请实施例所提供的一种元数据卷的存储状态记录系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面请参见图1，图1为本申请实施例所提供的一种元数据卷的存储状态记录方法的流程图。

具体步骤可以包括：

S101：将元数据卷平均划分为多个存储空间，并创建用于描述每一所述存储空间的存储状态的位图；

其中，上述提到的存储空间大小为预设字节长度，所述位图包括与每一所述存储空间唯一对应的预设数量个字节。全闪存储系统为后端磁盘全部是固态硬盘构成的存储系统，根据固态硬盘的读写特性，全闪存储系统需要操作大量的元数据，元数据的落盘操作是元数据操作的重要一环。本实施例默认，在元数据和磁盘之间存在用于管理元数据下刷流程的数据管理层，该数据管理层可以为LSA层(即Log Struct Architecture元数据下层)，本实施例的执行主体可以为LSA层，用于排列grain和下刷grain到对应的vdisk(虚拟磁盘)。

LSA卷为全闪存储系统的新增模块，位于精简卷管理、重删、压缩之下，VG层之上。请参见图2，图2为LSA卷在全闪存储系统中的位置示意图，图2中ThinLun为精简卷，VG(Volume Group)意为卷组，Cdisk为磁盘。在全闪系统中，由于固态硬盘自身的特点，数据的写入方式将不再是通常的覆盖写方式，而是采用追加写方式，即无论新旧数据写入，其都将顺序写入到新的位置(而不是采用覆盖原位置的方式)。因此为了满足该功能设计的需要，全闪系统中可以新加入的LSA卷模块的设计。

需要说明的是，在全刷存储系统中不仅只有元数据需要进行下刷，还存在下刷数据的需求，因此本实施例在S101之前可以存在对卷(如LSA卷)进行区域划分的操作。具体的，在全闪系统中，Pool的数据和产生的元数据都将保存到Pool中，但数据与元数据具有不同的特点，相比较于数据的读写，元数据的读写会更加频繁。为区分数据与元数据的处理，LSA卷对于数据和主要元数据的采用区分存放的方式，将数据和元数据分别写入到数据卷(如数据LSA卷)和元数据卷(如元数据LSA卷)中，从而实现数据与元数据分隔。数据卷负责管理Pool的大部分空间，用于存放上层模块下发的数据，元数据卷负责管理Pool的剩余空间，用于集中存放运行过程中产生的元数据。数据卷和元数据卷的空间均采用自精简的分配方式，但同时又要优先保证元数据的使用，即初始分配时，数据卷会占用大部分的Pool空间，但当出现元数据卷的空间不足时，可向数据LSA卷申请部分可用空间，从而保证元数据信息的安全。

本步骤的目的在于建立位图与元数据卷的对应关系，首先将元数据卷平均划分为多个存储空间，需要说明的是本步骤中每一存储空间的大小均为预设字节长度，当需要进行元数据下刷时本实施例也是以预设字节长度为粒度进行下刷。也就是说，本步骤中对元数据卷进行平均划分的依据为下刷元数据的粒度。通常情况下，下刷元数据的过称为：当缓存中的元数据的大小达到某个预设值时，将固定大小的元数据一次性下刷至元数据卷，而不是当产生一条元数据时就下刷一条元数据。

本实施例可以在CSM端(集群端)创建位图(bitmap)，根据元数据卷的大小就可以创建相应大小的位图，位图中包括与每一所述存储空间唯一对应的预设数量个字节。例如元数据卷包括存储空间A、存储空间B和存储空间C，位图中的第1-2位与存储空间A对应，位图中的第3-4位与存储空间B对应，位图中的第5-6位与存储空间C对应，设00代表可用，01代表正在下刷，11代表已下刷满(即落盘)，当存储空间A已下刷满、存储空间B正在下刷，存储空间C还没下刷时，位图的1-6位为110100。

可以理解的是，每一存储空间在位图上都存在有与其唯一对应的预设数量的字节，一般的存储空间的存储状态包括可用、正在使用和不可用三种，因此预设数量应大于或等于2。

S102：当接收到下刷指令时，以所述预设字节长度为粒度顺序将所述下刷指令对应的元数据下刷至所述元数据卷的存储空间；

其中，本步骤默认存在当缓存池中的元数据占用的存储空间达到预设字节长度时，生成下刷指令，以便以预设字节长度为粒度进行元数据下刷操作。需要说明的是，由于本实施例应用于全闪存储系统，因此在下刷元数据时，需要进行顺序下刷。

S103：根据每一所述存储空间的存储状态更新所述位图的目标字节，以便记录所述元数据卷的存储状态。

其中，本步骤默认存在检测存储空间的存储状态的操作，以便根据检测到的存储状态变化信息更新位图的目标字节。继续以S101说明部分举出的例子进行说明，在接收到下刷指令之前，存储空间A已下刷满、存储空间B没下刷时，存储空间C还没下刷时，位图的1-6位为110000，当接收到下刷指令后下刷的元数据仅足够存储在存储空间B中，此时检测到存储空间B的存储状态发生了变化，因此更新位图中与存储状态发生变化的存储空间对应的目标字节，更新位图的目标字节后，位图的1-6位为111100。

作为一种优选的实施方式，本实施例还可以存在建立关于描述可用存储空间位置信息的第一全局链表、描述已经下刷完毕的存储空间位置信息的第二全局链表和描述正在下刷的存储空间位置信息的第三全局链表。具体过程如下：

创建第一全局链表、第二全局链表和第三全局链表；其中，所述第一全局链表用于记录未刷写元数据的存储空间的位置信息，所述第二全局链表用于记录已刷写元数据的存储空间的位置信息，所述第三全局链表用于记录正在刷写元数据的存储空间的位置信息。

在根据每一所述存储空间的存储状态更新所述位图的目标字节之后，根据所述位图的字节变化信息更新所述第一全局链表和所述第二全局链表。

在创建第一全局链表和第二全局链表的前提下，S102中以所述预设字节长度为粒度顺序将所述下刷指令对应的元数据下刷至所述元数据卷的存储空间的相关操作可以具体为：

根据所述第一全局链表确定目标存储空间的位置信息，以所述预设字节长度为粒度顺序将所述下刷指令对应的元数据下刷至所述目标存储空间。

当然，在以所述预设字节长度为粒度顺序将所述下刷指令对应的元数据下刷至所述目标存储空间之后，还包括更新所述第三全局链表。

本实施例通过将元数据卷平均划分为预设字节长度的存储空间，以便在下刷元数据时以预设字节长度为粒度顺序下刷元数据至每一存储空间。进一步，本实施例还创建描述每一存储空间的存储状态的位图，位图包括多个字节，每一存储空间均有唯一与其对应的预设数量个字节，当某一存储空间的存储状态改变后可以通过更新改变存储空间对应的位图中的相应字节实现元数据卷的存储状态记录。因此，本实施例能够准确的记录全闪存储系统的元数据卷的存储状态。

请参见图3，图3为本申请实施例所提供的一种目标数据卷的划分方法的流程图，作为对于图1对应的实施例的补充，在S101之前还可以存在如图2所示的划分数据卷和元数据卷的操作，具体步骤可以包括：

S201：以预设比例将目标卷划分为数据卷和所述元数据卷；其中，所述数据卷用于下刷数据。

S202：当检测到所述元数据卷的可用存储空间小于预设值时，将所述数据卷中的预设空间大小存储空间设置为新的元数据卷。

下面通过在实际应用中的实施例说明上述实施例描述的流程，在该实际应用中的实施例中将上述实施例中提到的预设字节长度设置为grain(元数据B+Tree节点)的大小，具体为8K。

步骤1、创建数据卷和元数据卷，元数据卷的大小和数据卷成一定比例，按经验该比值可以为10:1，元数据卷与数据卷都为精简卷，当元数据卷空间不够时会向数据卷申请空间做扩容操作，此时数据卷会做缩容操作。

步骤2、在CSM端创建Bitmap，用Bitmap的两个bit表示元数据卷上每一个grain的状态，根据LSA卷的大小即可创建相应大小的Bitmap，CSM端为集群端，两个node都可以感知Bitmap的变化。

步骤3、根据表示grain的状态，创建两个全局链表，分别是free_list(即第一全局链表)、flushed_list(即第二全局链表)。

步骤4、异步检索整个Bitmap中各bit的值，根据其值分别将相应的bit位放到步骤3中的两个list。

步骤5、元数据落盘到LSA时，从free_list中顺序取的相应的grain，并将其对应的grain的bit值设置为using。

步骤6、grain落盘同为异步操作，当grain成功落盘，则将相应的grain对应的Bitmap位置写入flushed_list。将Bitmap对应的值从using状态设置为flushed。

步骤7、元数据模块顺序修改flushed_list中对应的Bitmap位的值，从flushed该为free。

本实际应用中的实施例主要描述了新增LSA元数据卷的处理过程，该流程中主要新建一个bitmap来描述整个LSA卷，通过异步查询Bitmap中各bit的状态，并且建立三个链表，实时表征LSA元数据卷各grain的状态，加快元数据的处理流程。由CSM端创建bitmap，创建完成后两个node都可以看到其状态。元数据卷和数据卷均为自精简卷，数据卷可以分配额外的空间给元数据卷。异步查询维护多个链表，用于实时表征元数据卷的状态。

请参见图4，图4为本申请实施例所提供的一种元数据卷的存储状态记录系统的结构示意图；

该系统可以包括：

位图创建模块100，用于将元数据卷平均划分为多个存储空间，并创建用于描述每一所述存储空间的存储状态的位图；其中，所述存储空间大小为预设字节长度，所述位图包括与每一所述存储空间唯一对应的预设数量个字节；

下刷模块200，用于当接收到下刷指令时，以所述预设字节长度为粒度顺序将所述下刷指令对应的元数据下刷至所述元数据卷的存储空间；

状态记录模块300，用于根据每一所述存储空间的存储状态更新所述位图的目标字节，以便记录所述元数据卷的存储状态。

本实施例通过将元数据卷平均划分为预设字节长度的存储空间，以便在下刷元数据时以预设字节长度为粒度顺序下刷元数据至每一存储空间。进一步，本实施例还创建描述每一存储空间的存储状态的位图，位图包括多个字节，每一存储空间均有唯一与其对应的预设数量个字节，当某一存储空间的存储状态改变后可以通过更新改变存储空间对应的位图中的相应字节实现元数据卷的存储状态记录。因此，本实施例能够准确的记录全闪存储系统的元数据卷的存储状态。

进一步的，还包括：

链表创建模块，用于创建第一全局链表、第二全局链表和第三全局链表；其中，所述第一全局链表用于记录未刷写元数据的存储空间的位置信息，所述第二全局链表用于记录已刷写元数据的存储空间的位置信息，所述第三全局链表用于记录正在刷写元数据的存储空间的位置信息。

进一步的，还包括：

第一更新模块，用于根据所述位图的字节变化信息更新所述第一全局链表和所述第二全局链表。

进一步的，下刷模块200具体为用于根据所述第一全局链表确定目标存储空间的位置信息，以所述预设字节长度为粒度顺序将所述下刷指令对应的元数据下刷至所述目标存储空间的模块。

可选的，还包括：

第二更新模块，用于更新所述第三全局链表。

进一步的，还包括：

目标卷划分模块，用于以预设比例将目标卷划分为数据卷和所述元数据卷；其中，所述数据卷用于下刷数据。

进一步的，还包括：

扩容模块，用于当检测到所述元数据卷的可用存储空间小于预设值时，将所述数据卷中的预设空间大小存储空间设置为新的元数据卷。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种元数据卷的存储状态记录方法，其特征在于，应用于全闪存储系统，所述存储状态记录方法包括：

将元数据卷平均划分为多个存储空间，并创建用于描述每一所述存储空间的存储状态的位图；其中，所述存储空间大小为预设字节长度，所述位图包括与每一所述存储空间唯一对应的预设数量个字节；

当接收到下刷指令时，以所述预设字节长度为粒度将所述下刷指令对应的元数据下刷至所述元数据卷的存储空间；

根据每一所述存储空间的存储状态更新所述位图的目标字节，以便记录所述元数据卷的存储状态。

2.根据权利要求1所述存储状态记录方法，其特征在于，还包括：

创建第一全局链表、第二全局链表和第三全局链表；其中，所述第一全局链表用于记录未刷写元数据的存储空间的位置信息，所述第二全局链表用于记录已刷写元数据的存储空间的位置信息，所述第三全局链表用于记录正在刷写元数据的存储空间的位置信息。

3.根据权利要求2所述存储状态记录方法，其特征在于，在根据每一所述存储空间的存储状态更新所述位图的目标字节之后，还包括：

根据所述位图的字节变化信息更新所述第一全局链表和所述第二全局链表。

4.根据权利要求2所述存储状态记录方法，其特征在于，以所述预设字节长度为粒度将所述下刷指令对应的元数据下刷至所述元数据卷的存储空间，包括：

根据所述第一全局链表确定目标存储空间的位置信息，以所述预设字节长度为粒度将所述下刷指令对应的元数据下刷至所述目标存储空间。

5.根据权利要求4所述存储状态记录方法，其特征在于，在以所述预设字节长度为粒度将所述下刷指令对应的元数据下刷至所述目标存储空间之后，还包括：

更新所述第三全局链表。

6.根据权利要求1所述存储状态记录方法，其特征在于，在将元数据卷平均划分为多个存储空间之前，还包括：

以预设比例将目标卷划分为数据卷和所述元数据卷；其中，所述数据卷用于下刷数据。

7.根据权利要求6所述存储状态记录方法，其特征在于，还包括：

当检测到所述元数据卷的可用存储空间小于预设值时，将所述数据卷中的预设空间大小存储空间设置为新的元数据卷。

8.一种元数据卷的存储状态记录系统，其特征在于，应用于全闪存储系统，所述存储状态记录系统包括：

位图创建模块，用于将元数据卷平均划分为多个存储空间，并创建用于描述每一所述存储空间的存储状态的位图；其中，所述存储空间大小为预设字节长度，所述位图包括与每一所述存储空间唯一对应的预设数量个字节；

下刷模块，用于当接收到下刷指令时，以所述预设字节长度为粒度将所述下刷指令对应的元数据下刷至所述元数据卷的存储空间；

状态记录模块，用于根据每一所述存储空间的存储状态更新所述位图的目标字节，以便记录所述元数据卷的存储状态。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述元数据卷的存储状态记录方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述元数据卷的存储状态记录方法的步骤。