CN105718217A - 一种精简配置存储池数据一致性维护的方法及装置 - Google Patents

Abstract

本发明公开了一种精简配置存储池数据一致性维护的方法及装置，包括：接收数据空间修改指令；根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改，并对超级块中的元数据版本号进行修改；将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间。可见，在本实施例中，在根据修改指令对映射树中的逻辑卷空间映射信息进行修改时，同时将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息备份至日志空间，以备在系统掉电时，通过备份的日志数据恢复数据，解决系统掉电造成元数据和数据丢失问题，并且存储池中的日志存储数据量极小，对系统性能影响低。

Description

一种精简配置存储池数据一致性维护的方法及装置

技术领域

本发明涉及计算机数据保护和存储领域，更具体地说，涉及一种精简配置存储池数据一致性维护的方法及装置。

背景技术

当前计算机存储数据方式多样，本地磁盘存储、存储区域网络SAN(StorageAreaNetwork)、网络附加存储NAS(NetworkAttachedStorage)、直连存储(DirectAttachedStorage)等，在计算机系统或存储系统中，一块或多块磁盘被虚拟化为存储池，再划分逻辑卷提供给客户端或上层文件系统使用。逻辑卷一般在创建时就分配了物理空间，而只有应用写入数据，存放了应用数据的空间才是真正有用的，空闲的物理空间分配了却没有有效数据，也不能为其他逻辑卷使用。为了提高存储空间利用率，存储行业发展了自动精简配置存储特性，即逻辑卷在创建时不分配物理空间，或只分配部分空间，当应用写入数据时若未分配空间则实时分配物理空间进行存储。精简配置存储池用元数据记录逻辑卷逻辑空间及其物理空间位置，为了提高性能，运行时一般元数据在内存中相应存放和处理，累积一定更新量后再写入存储介质，从而发生系统掉电时可能会丢失一部分元数据，进而丢失部分数据。

因此，如何避免由于系统掉电造成元数据和数据丢失，是本领域人员需要解决的问题。

发明内容

本发明的目的在于提供一种精简配置存储池数据一致性维护的方法及装置，以避免由于系统掉电造成元数据和数据的丢失。

为实现上述目的，本发明实施例提供了如下技术方案：

一种精简配置存储池数据一致性维护的方法，包括：

接收数据空间修改指令；

根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改，并对超级块中的元数据版本号进行修改；

将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间。

优选的，对超级块中的元数据版本号进行修改，包括：

将超级块中的元数据版本号加一。

优选的，所述修改指令至少包括增加指令、删除指令和数据迁移指令中的一个。

优选的，若所述修改指令为增加指令，则所述接收数据空间修改指令之后还包括：

将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；

若不存在，则执行根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改的步骤；

若所述修改指令为删除修改指令或者数据迁移修改指令，则所述接收数据空间修改指令之后，还包括：

将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；

若存在，则执行根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改的步骤。

优选的，将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间之后，还包括：

在存储池重启时，判断所述存储池中元数据版本号信息是否小于所述日志空间中存储的元数据版本号信息；

若是，则确定所述存储池缺少的元数据版本号信息；

从所述日志空间中获取与所述存储池缺少的元数据版本号信息相对应的逻辑卷空间映射信息及修改指令类型信息，并对所述存储池进行修复。

一种精简配置存储池数据一致性维护的装置，包括：

接收模块，用于接收数据空间修改指令；

逻辑卷空间映射信息修改模块，用于根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改；

元数据版本号信息修改模块，用于对超级块中的元数据版本号进行修改；

保存模块，用于将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间。

优选的，所述元数据版本号信息修改模块为将超级块中的元数据版本号加一的模块。

优选的，所述接收模块包括如下单元中的至少一个：

第一接收单元，用于接收数据空间增加指令；

第二接收单元，用于接收数据空间删除指令；

第三接收单元，用于接收数据空间数据迁移指令。

优选的，所述装置还包括：

第一查询模块，用于当所述修改指令为增加指令时，将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；若不存在，则触发所述逻辑卷空间映射信息修改模块；

第二查询模块，用于当所述修改指令为删除修改指令或者数据迁移修改指令时，将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；若存在，则触发所述逻辑卷空间映射信息修改模块。

优选的，所述装置还包括：

判断模块，用于在存储池重启时，判断所述存储池中元数据版本号信息是否小于所述日志空间中存储的元数据版本号信息；

若是，则触发修复模块；

所述修复模块，用于确定所述存储池缺少的元数据版本号信息，从所述日志空间中获取与所述存储池缺少的元数据版本号信息相对应的逻辑卷空间映射信息及修改指令类型信息，并对所述存储池进行修复。

通过以上方案可知，本发明实施例提供的一种精简配置存储池数据一致性维护的方法及装置，包括：接收数据空间修改指令；根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改，并对超级块中的元数据版本号进行修改；将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间。

可见，在本实施例中，在根据修改指令对映射树中的逻辑卷空间映射信息进行修改时，同时将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息备份至日志空间，以备在系统掉电时，通过备份的日志数据恢复数据，解决系统掉电造成元数据和数据丢失问题，并且存储池中的日志存储数据量极小，对系统性能影响低。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种精简配置存储池数据一致性维护的方法流程示意图；

图2为本发明实施例公开的逻辑卷数据映射结构示意图；

图3为本发明实施例公开的增加映射信息操作的元数据示意图；

图4为本发明实施例公开的增加映射信息操作的日志结构示意图；

图5为本发明实施例公开的一种精简配置存储池数据一致性维护的装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种精简配置存储池数据一致性维护的方法及装置，以避免由于系统掉电造成元数据和数据的丢失。

参见图1，本发明实施例提供的一种精简配置存储池数据一致性维护的方法，包括：

S101、接收数据空间修改指令；

具体的，在本实施例中的精简配置存储池由元数据空间、日志空间和数据空间组成。

1、元数据空间存放元数据，记录存储池和逻辑卷信息和空间使用情况，尤其使用B+TREE结构记录逻辑卷空间映射信息，即逻辑卷的逻辑区段及其物理区段，B+TREE键值包括逻辑卷标识(ID,Identifier)、逻辑地址；节点数据为物理区段，包括：磁盘标识、物理扇区号、长度。参见图2，元数据空间还包括一个超级块100，记录存储池总体情况如总体容量、可用容量等，包含：根节点指针101字段和元数据版本号102字段；其中，根节点指针指向逻辑卷映射空间映射信息的B+TREE的根节点的存储地址，元数据版本号记录元数据版本，初始值为0。并且参见图2，103为B+TREE的根节点，104为B+TREE的叶子节点，105为叶子节点1个映射记录。其中映射记录中分别记录了：LV_ID逻辑卷标识、LV_Loff逻辑地址偏移量、PhysOff物理地址、Len该段数据空间长度。

2、日志空间用于存放执行修改指令的操作的日志，并用于启动时恢复元数据保证元数据完整。

3、数据空间则用于存放用户数据。

其中，所述修改指令至少包括增加指令、删除指令和数据迁移指令中的一个。

具体的，元数据记录逻辑卷空间映射信息的B+TREE记为“映射树”，“映射树”存储在存储池的存储介质上，同时内存中缓存有部分节点的内容，节点增加、删除、数据迁移操作首先在内存中进行，采用自顶向下复制修改节点的方式。其中“映射树”自顶向下复制修改节点的方式具体为：

假设要增加、删除或数据迁移的映射信息所在的叶子节点为“目标节点”，

(1)根据查找键值从“映射树”的根节点向下查找“目标节点”，对于第N层查找定位到的节点(记[N,A])，在内存中分配一个新的节点(记[N,A'])；

(2)复制[N,A]的内容到[N,A']上，并在存储池元数据空间中分配一个对应的节点存储空间；

(3)将上一层分配复制的新节点[N-1,A']中指向[N,A]的节点存储空间地址值改为指向[N,A']的存储空间地址；

(4)继续查找下一层直到叶子节点，每层都按步骤1到3处理。

具体的参见图3，说明了增加映射信息的“映射树”变化，201和202即为本次复制的新节点。

S102、根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改，并对超级块中的元数据版本号进行修改；其中，对超级块中的元数据版本号进行修改为将超级块中的元数据版本号加一；

其中，若所述修改指令为增加指令，则所述接收数据空间修改指令之后还包括：

将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；

若不存在，则执行根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改的步骤；

若所述修改指令为删除修改指令或者数据迁移修改指令，则所述接收数据空间修改指令之后，还包括：

将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；

若存在，则执行根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改的步骤。

具体的，若数据空间修改指令为增加指令，即增加物理空间的指令，则流程如下：

(1)首先根据写数据的起始地址作为键值中的逻辑地址，查询该逻辑卷的“映射树”中是否存在该逻辑区段的物理区段，以此判断该逻辑区段是否已分配物理空间；

(2)若已分配则将数据写到对应物理区段上后应答完成；

(3)若未分配空间，从存储池分配一个物理区段，将映射信息增加到“映射树”中，并将超级块中“元数据版本号”增1；

(4)在日志空间中记录新分配数据空间操作及其结果信息，包括：元数据版本号、操作类型(增加)和逻辑卷空间映射信息；其中逻辑卷空间映射信息包括：逻辑卷标识、逻辑区段及其对应的物理区段，例如参见图4中的203即为新增日志，其中，MetaVer为元数据版本号，在本实施例中本次操作的元数据版本号为81，Type：add代表本次操作类型为增加，LV_ID为逻辑卷标识、LV_Loff为逻辑地址偏移量、PhysOff为物理地址、Len为该段数据空间长度。

(5)将用户数据写入新分配的物理区段上后应答完成。

若数据空间修改指令为删除指令，即删除物理空间，则流程如下：

(1)首先根据写数据的起始地址作为键值中的逻辑地址，查询该逻辑卷的“映射树”中是否存在该逻辑区段的物理区段，以此判断该逻辑区段是否已分配物理空间；

(2)若未分配则则应答完成；

(3)若已分配空间，将映射信息从“映射树”中删除，并将超级块中“元数据版本号”增1；

(4)在日志空间中记录新分配数据空间操作及其结果信息，包括：元数据版本号、操作类型(删除)和逻辑卷空间映射信息；其中逻辑卷空间映射信息包括：逻辑卷标识、逻辑区段及其对应的物理区段；

(5)应答完成。

若存储池检测到读写负载分布不均衡时，则可以下发数据迁移指令，将逻辑卷的数据进行迁移，则流程如下：

(1)首先根据写数据的起始地址作为键值中的逻辑地址，查询该逻辑卷的“映射树”中是否存在该逻辑区段的物理区段，以此判断该逻辑区段是否已分配物理空间；

(2)若未分配则则应答完成；

(3)若已分配空间，根据负载均衡策略从存储池分配一个新的物理区段，修改映射信息中物理区段为新的物理区段，并将超级块中“元数据版本号”增1；

(4)将原物理区段的数据拷贝到新的物理区段；

(5)在日志空间中记录新分配数据空间操作及其结果信息，包括：元数据版本号、操作类型(迁移)和逻辑卷空间映射信息；其中逻辑卷空间映射信息包括：逻辑卷标识、逻辑区段及其对应的迁移前物理区段和迁移后对应的物理区段；

(6)应答完成。

S103、将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间。

具体的，内存中元数据定期或根据元数据变更次数和占用内存量将元数据从内存刷写到存储池的元数据空间，刷写流程为：

(1)将“映射树”按所述增加、删除、数据迁移操作变化的节点写回到存储介质；

(2)将超级块写回到存储介质；

(3)回收“映射树”按所述增加、删除、数据迁移操作中被替换的节点空间。

优选的，将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间之后，还包括：

在存储池重启时，判断所述存储池中元数据版本号信息是否小于所述日志空间中存储的元数据版本号信息；

若是，则确定所述存储池缺少的元数据版本号信息；

从所述日志空间中获取与所述存储池缺少的元数据版本号信息相对应的逻辑卷空间映射信息及修改指令类型信息，并对所述存储池进行修复。

具体的，当存储池重新启动时，可以根据元数据和日志内容进行元数据修复，处理流程如下：

(1)按记录的先后顺序检查日志每个记录项的元数据版本号，与元数据超级块的“元数据版本号”比较；

(2)若日志记录项的元数据版本大于元数据超级块的“元数据版本号”，则根据日志进行修复。其中，对于操作类型为“增加”，对日志记录指定的逻辑卷标识、逻辑区段向“映射树”增加映射为日志记录的物理区段；对于操作类型为“删除”，则从“映射树”中删除日志记录指定的逻辑卷的逻辑区段；对于操作类型为“数据迁移”，则将日志记录指定的逻辑卷的逻辑区段的物理区段修改为日志记录指定的迁移后的物理区段。

本发明实施例提供的一种精简配置存储池数据一致性维护的方法，包括：接收数据空间修改指令；根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改，并对超级块中的元数据版本号进行修改；将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间。可见，本发明通过B+TREE结构的“映射树”及其增加、删除、数据迁移规则，以及日志记录，实现存储池精简配置特性，在经历系统掉电、失效(除存储介质外)后可完整恢复逻辑卷的映射信息，避免用户数据丢失，适用于单控、双控和多控存储系统。并且本发明实现的精简配置存储池存储日志量小(每个操作日志存储量约为88字节，远小于“映射树”变更和需写回的元数据量，也远小于用户数据量)，并可在处理映射信息的多个操作(增加、删除、修改)后集中写入日志，降低上层应用层对逻辑卷读写性能的影响。

下面对本发明实施例提供的数据一致性维护的装置进行介绍，下文描述的数据一致性维护的装置与上文描述的数据一致性维护的方法可以相互参照。

参见图5，本发明实施例提供的一种精简配置存储池数据一致性维护的装置，包括：

接收模块10，用于接收数据空间修改指令；

其中，所述接收模块10包括如下单元中的至少一个：第一接收单元，用于接收数据空间增加指令；第二接收单元，用于接收数据空间删除指令；第三接收单元，用于接收数据空间数据迁移指令。

逻辑卷空间映射信息修改模块20，用于根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改；

元数据版本号信息修改模块30，用于对超级块中的元数据版本号进行修改；

其中，所述元数据版本号信息修改模块30为将超级块中的元数据版本号加一的模块。

保存模块40，用于将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间。

基于上述实施例，本装置还包括：

第一查询模块，用于当所述修改指令为增加指令时，将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；若不存在，则触发所述逻辑卷空间映射信息修改模块；

第二查询模块，用于当所述修改指令为删除修改指令或者数据迁移修改指令时，将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；若存在，则触发所述逻辑卷空间映射信息修改模块。

基于上述实施例，所述装置还包括：

判断模块，用于在存储池重启时，判断所述存储池中元数据版本号信息是否小于所述日志空间中存储的元数据版本号信息；

若是，则触发修复模块；

所述修复模块，用于确定所述存储池缺少的元数据版本号信息，从所述日志空间中获取与所述存储池缺少的元数据版本号信息相对应的逻辑卷空间映射信息及修改指令类型信息，并对所述存储池进行修复。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种精简配置存储池数据一致性维护的方法，其特征在于，包括：

接收数据空间修改指令；

根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改，并对超级块中的元数据版本号进行修改；

将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间。

2.根据权利要求1所述的方法，其特征在于，对超级块中的元数据版本号进行修改，包括：

将超级块中的元数据版本号加一。

3.根据权利要求2所述的方法，其特征在于，所述修改指令至少包括增加指令、删除指令和数据迁移指令中的一个。

4.根据权利要求3所述的方法，其特征在于，若所述修改指令为增加指令，则所述接收数据空间修改指令之后还包括：

将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；

若不存在，则执行根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改的步骤；

若所述修改指令为删除修改指令或者数据迁移修改指令，则所述接收数据空间修改指令之后，还包括：

将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；

若存在，则执行根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改的步骤。

5.根据权利要求1-4中任意一项所述的方法，其特征在于，将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间之后，还包括：

在存储池重启时，判断所述存储池中元数据版本号信息是否小于所述日志空间中存储的元数据版本号信息；

若是，则确定所述存储池缺少的元数据版本号信息；

从所述日志空间中获取与所述存储池缺少的元数据版本号信息相对应的逻辑卷空间映射信息及修改指令类型信息，并对所述存储池进行修复。

6.一种精简配置存储池数据一致性维护的装置，其特征在于，包括：

接收模块，用于接收数据空间修改指令；

逻辑卷空间映射信息修改模块，用于根据所述修改指令对映射树中的逻辑卷空间映射信息进行修改；

元数据版本号信息修改模块，用于对超级块中的元数据版本号进行修改；

保存模块，用于将超级块中的元数据版本号信息、修改后的逻辑卷空间映射信息及修改指令类型信息保存至日志空间。

7.根据权利要求6所述的装置，其特征在于，所述元数据版本号信息修改模块为将超级块中的元数据版本号加一的模块。

8.根据权利要求7所述的装置，其特征在于，所述接收模块包括如下单元中的至少一个：

第一接收单元，用于接收数据空间增加指令；

第二接收单元，用于接收数据空间删除指令；

第三接收单元，用于接收数据空间数据迁移指令。

9.根据权利要求8所述的方法，其特征在于，还包括：

第一查询模块，用于当所述修改指令为增加指令时，将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；若不存在，则触发所述逻辑卷空间映射信息修改模块；

第二查询模块，用于当所述修改指令为删除修改指令或者数据迁移修改指令时，将写数据的起始地址作为键值中的逻辑地址，查询所述映射树中是否存在所述逻辑地址的物理区段；若存在，则触发所述逻辑卷空间映射信息修改模块。

10.根据权利要求6-9中任意一项所述的装置，其特征在于，所述装置还包括：

判断模块，用于在存储池重启时，判断所述存储池中元数据版本号信息是否小于所述日志空间中存储的元数据版本号信息；

若是，则触发修复模块；

所述修复模块，用于确定所述存储池缺少的元数据版本号信息，从所述日志空间中获取与所述存储池缺少的元数据版本号信息相对应的逻辑卷空间映射信息及修改指令类型信息，并对所述存储池进行修复。