CN104133970A - 一种数据空间管理方法及装置 - Google Patents

Abstract

本发明提供一种数据空间管理方法及装置，该方法包括：根据待管理的数据块的个数、叶子节点和非叶子节点的存储容量来构建位图树，每个叶子节点能存储N个元素，依次存储N个块号连续的数据块的状态信息；每个非叶子节点能存储M个元素，依次存储M个下一级叶子节点或非叶子节点所在数据块的块号；当任一级所需的非叶子节点的数量大于或等于2，则构建上一级非叶子节点；利用所述位图树对用户数据空间进行管理。本发明通过位图树本身的结构特性，相比二叉树树的阶数更小，能表示的数据空间更大；位图树中非叶子节点仅存取下一级节点的块号，使得查找数据块直接定位，速度快。

Description

一种数据空间管理方法及装置

技术领域

本发明涉及计算机领域，尤其涉及一种适用于高端存储系统下非连续块存储的数据空间管理方法。

背景技术

从“9.11事件”之后大量的企业因为数据丢失而宣告破产可以看出数据的重要地位。存储系统的出现，尤其是高端存储系统的出现使得数据存储变得专业化，存储系统可以为用户提供更高性能、可用性和可靠性的数据存储功能。高端存储系统软件自底向上由基础操作系统、核心IO(输入输出)处理子系统、高可用监控子系统、管理子系统四部分组成，其中核心IO处理子系统又分为存储池层、缓存层、IO调度和数据复制层、存储协议服务层。通过层次化和模块化设计，隔离各层内部处理逻辑和业务，为实现系统可靠性和可扩展性提供良好基础。

其中，核心IO处理子系统的各个模块均需要和磁盘数据打交道，而磁盘数据包括用户数据和元数据，数据操作包括数据分配、读写及回收。对于数据操作，一个重要前提就是有效标识哪些数据块是空闲的，哪些数据块是非空闲的。传统地，表示磁盘数据空间是否可用的方法为位图(Bitmap)，位图在磁盘上的组织方式包括线性位图和位图二叉树。但是这两种方法各有利弊：

线性位图：查找快，不利于扩展，只能存储连续数据块的数据空间使用情况。

位图二叉树：利于扩展，可以存储非连续数据块的数据空间使用情况，但查找速度慢，并且存储空间及查找速度受限于树的阶数。

发明内容

本发明要解决的技术问题是提供一种数据空间管理方法及装置，以提高磁盘数据响应速度，减少元数据空间管理的复杂性。

为了解决上述技术问题，本发明提供了一种数据空间管理方法，包括：

根据待管理的数据块的个数、叶子节点和非叶子节点的存储容量来构建位图树，每个叶子节点能存储N个元素，依次存储N个块号连续的数据块的状态信息；每个非叶子节点能存储M个元素，依次存储M个下一级叶子节点或非叶子节点所在数据块的块号；当任一级所需的非叶子节点的数量大于或等于2，则构建上一级非叶子节点；

利用所述位图树对用户数据空间进行管理。

进一步地，上述方法还具有下面特点：

所述利用所述位图树对用户数据空间进行管理，包括：

当查询第P个数据块的状态信息时，通过所述位图树查找第个叶子节点的第(P-T)％N个元素存储的数据块的状态信息；其中，表示对(P-T)除以N的结果向上取整，％表示取余，T为待管理的数据块的块数偏移量，P＞T≥0。

进一步地，上述方法还具有下面特点：所述利用所述位图树对用户数据空间进行管理，包括：

当对第Q个数据块进行修改时，选择空闲的第R个数据块存储第Q个数据块的数据；

将所述叶子节点中第Q个数据块对应的元素存储的状态信息置为空闲，将所述叶子节点中第R个数据块对应的元素存储的状态信息置为非空闲，将所述非叶子节点中存储的块号Q均改为R。

进一步地，上述方法还具有下面特点：所述利用所述位图树对用户数据空间进行管理，包括：

当扩容S个数据块时，如已有的叶子节点足于存储该S个数据块的状态信息，则在已有的叶子节点中剩余的元素中依次写入该S个数据块的状态信息；如已有的叶子节点不足于存储该S个数据块的状态信息，则申请新叶子节点，在已有的叶子节点的剩余元素中和新叶子节点中依次写入该S个数据块的状态信息。

为了解决上述问题，本发明还提供了一种数据空间管理装置，其中，包括：

构建模块，用于根据待管理的数据块的个数、叶子节点和非叶子节点的存储容量来构建位图树，每个叶子节点能存储N个元素，依次存储N个块号连续的数据块的状态信息；每个非叶子节点能存储M个元素，依次存储M个下一级叶子节点或非叶子节点所在数据块的块号；当任一级所需的非叶子节点的数量大于等于2，则构建上一级非叶子节点；

管理模块，用于利用所述位图树对用户数据空间进行管理。

进一步地，上述装置还具有下面特点：所述管理模块利用所述位图树对用户数据空间进行管理是指：

所述管理模块当查询第P个数据块的状态信息时，通过所述位图树查找第个叶子节点的第(P-T)％N个元素存储的数据块的状态信息；其中，表示对(P-T)除以N的结果向上取整，％表示取余，T为待管理的数据块的块数偏移量，P＞T≥0。

进一步地，上述装置还具有下面特点：所述管理模块利用所述位图树对用户数据空间进行管理是指：

所述管理模块当对第Q个数据块进行修改时，选择空闲的第R个数据块存储第Q个数据块的数据；将所述叶子节点中第Q个数据块对应的元素存储的状态信息置为空闲，将所述叶子节点中第R个数据块对应的元素存储的状态信息置为非空闲，将所述非叶子节点中存储的第Q个数据块的块号均改为第R个数据块的块号。

进一步地，上述装置还具有下面特点：所述管理模块利用所述位图树对用户数据空间进行管理是指：

所述管理模块当扩容S个数据块时，如已有的叶子节点足于存储该S个数据块的状态信息，则在已有的叶子节点中剩余的元素中依次写入该S个数据块的状态信息；如已有的叶子节点不足于存储该S个数据块的状态信息，则申请新叶子节点，在已有的叶子节点的剩余元素中和新叶子节点中依次写入该S个数据块的状态信息。

综上，本发明提供一种数据空间管理方法及装置，通过位图树本身的结构特性，相比二叉树树的阶数更小，能表示的数据空间更大；位图树中非叶子节点仅存取下一级节点的块号，使得查找数据块直接定位，速度快。

附图说明

图1为本发明实施例的一种数据空间管理方法的流程图；

图2为元数据空间管理的示意图；

图3为本发明实施例的用户数据空间管理的示意图；

图4为本发明实施例的一种数据空间管理装置的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1为本发明实施例的一种数据空间管理方法的流程图，如图1所示，可以包括：

步骤11、根据待管理的数据块的个数、叶子节点和非叶子节点的存储容量来构建位图树，每个叶子节点能存储N个元素，依次存储N个块号连续的数据块的状态信息；每个非叶子节点能存储M个元素，依次存储M个下一级叶子节点或非叶子节点所在数据块的块号；当任一级所需的非叶子节点的数量大于或等于2，则构建上一级非叶子节点；

步骤12、利用所述位图树对用户数据空间进行管理。

步骤12中，利用所述位图树对用户数据空间进行管理可以包括：

当查询第P个数据块的状态信息时，通过所述位图树查找第个叶子节点的第(P-T)％N个元素存储的数据块的状态信息；其中，表示对(P-T)除以N的结果向上取整，％表示取余，T为待管理的数据块的块数偏移量，P＞T≥0。

当对第Q个数据块进行修改时，选择空闲的第R个数据块存储第Q个数据块的数据；将所述叶子节点中第Q个数据块对应的元素存储的状态信息置为空闲，将所述叶子节点中第R个数据块对应的元素存储的状态信息置为非空闲，将所述非叶子节点中存储的块号Q均改为R。

当扩容S个数据块时，如已有的叶子节点足于存储该S个数据块的状态信息，则在已有的叶子节点中剩余的元素中依次写入该S个数据块的状态信息；如已有的叶子节点不足于存储该S个数据块的状态信息，则申请新叶子节点，在已有的叶子节点的剩余元素中和新叶子节点中依次写入该S个数据块的状态信息。

根据具体的部署方式，空间管理针对元数据空间及用户数据空间两种类型的空间采取不同策略进行管理。

由于元数据本身数据量不大，且要进行ROW(Redirect On Write，写时重定向)操作，故在其空间管理上使用机制较为简单，采用直接映射的方式。如图2所示，元数据索引块中的每个索引节点都指向一个位图块，位图块中的每一位都标识着所对应的数据块是否被使用，使用ROW的方式进行直接映射。因此根据位图块大小和位图块个数可以计算出能表示的元数据空间大小。

由于用户数据空间中数据量比较大，且当数据存储不够时需要引入额外空间存储并对存储数据进行管理，因此本实施例采用位图树的方法进行数据空间管理，有易于扩展和查找数据。

本实施例中，位图树是个多叉满树，位图树的一级节点代表根节点，根节点记录了二级节点的数据块号。依次地，二级节点存取三级节点的数据块号，直到叶子节点，其中只有叶子节点记录了位图数据，非叶子节点只是记录索引(即数据块的块号)。树中的非叶子节点块保存下一级非叶子节点或叶子节点的块号，便于直接定位到数据chunk(块)所在的位置，降低叶子节点的查找速度。例如想获取某个数据块是否为空闲块，可以根据已知数据块号，从位图树根节点开始比较该数据块号所在的区间，逐层向下直到叶子节点。

如图3所示，整个位图树是个满树，非叶子节点(node)均存储的是位图树的索引，叶子节点(leaf)存储数据本身。查找某个节点是否空闲与以下元素有关：leaf存储元素的个数、node存储元素的个数以及树的深度。例如，本例中对1～99数据块进行空间管理，leaf可以存储20个元素，1个元素代表1个数据块的位图，node可以存储4个元素，则表示99个数据块是否空闲，用个leaf即可，这5个leaf作为树的倒数第一层。由于1个node需要4个元素，因此5个node需要上层的2个node表示，以此类推由下至上可以构建出该树。

查找某个节点是否空闲，也是根据块号、leaf元素个数、node元素个数以及深度查找。例如查找第22个数据块是否使用，表示第22个数据在第2个leaf上，22％20表明在该leaf上的第几个元素，之后根据树的深度以及node元素个数便可以定位出leaf在位图树的位置，从而可以在磁盘上获取第22块是非空闲的。由于根据块号是直接算出，所以查找是直接定位的，查找速度快。

上述实施例是从块号为1开始管理的，当然也可以从块号不是1的数据块开始管理，可以有个块数偏移量，例如从块号为5的数据块开始管理，则块数偏移量为4。如要查找第22块的状态信息，则查找第个叶子节点的第(22-4)％20个元素存储的数据块的状态信息，即可。

本实施例中，只有叶子节点块才保存具体的位图数与据。位图树存储于元数据空间中，调用元数据空间管理的相关接口进行块的分配与释放。同样，位图树也使用COW(Copy On Write，写时拷贝)的方式进行操作，从改变的叶子节点逐级向上进行拷贝复制操作，最终更新空间管理的位图树根节点。

例如，当要对第2块数据修改时，将块2由非空闲置为空闲，先用一个空闲块(例如块11)存储块2之前的数据，再将块2数据进行修改。这个过程中既需要将块11由空闲置为非空闲，又需要将块2替换成块11，将块2替换成块11的操作自底向上进行修改。COW操作保证了位图数据的一致性。

在本实施例中，当前表示存放的数据块编号是从1～99，如果在使用的过程中发现当前存储容量不够，需要进行扩容，要使用190以后的数据块，则需要将原来的位图树进行扩展，消耗一些空闲块表示leaf的位图数据，并自底向上，自左向右构建，直到形成满树。其中在非连续块的扩展中，填充的非连续节点均置为非空闲，如本例是100～189块，这些块不可以进行修改，也可以对表示100～189块的元素的设置标志位，表示100～189块数据块不可修改。

当扩容位图数据存储190号的数据块时只需要申请一个节点，存取190号块号并插入到树中即可。而对于线性位图，当位图空间不足时，需要将原来的先回收再重新分配新的连续的数据块并刷写位图数据映射关系。

本实施例中，引入了位图树的概念，位图树与传统的线性位图和位图二叉树相比，可以在不回收已有存储空间的基础上进行动态扩展，根据待查找的数据块号进行直接定位快速查找，减少了元数据空间管理的复杂性，降低磁盘碎片的产生，提高磁盘数据响应速度。

图4为本发明实施例的一种数据空间管理装置的示意图，如图4所示，本实施例的装置包括：

构建模块，用于根据待管理的数据块的个数、叶子节点和非叶子节点的存储容量来构建位图树，每个叶子节点能存储N个元素，依次存储N个块号连续的数据块的状态信息；每个非叶子节点能存储M个元素，依次存储M个下一级叶子节点或非叶子节点所在数据块的块号；当任一级所需的非叶子节点的数量大于或等于2，则构建上一级非叶子节点；

管理模块，用于利用所述位图树对用户数据空间进行管理。

在一优选实施例中，所述管理模块利用所述位图树对用户数据空间进行管理是指：当查询第P个数据块的状态信息时，通过所述位图树查找第个叶子节点的第(P-T)％N个元素存储的数据块的状态信息；其中，表示对(P-T)除以N的结果向上取整，％表示取余，T为待管理的数据块的块数偏移量，P＞T≥0。

在一优选实施例中，所述管理模块利用所述位图树对用户数据空间进行管理是指：当对第Q个数据块进行修改时，选择空闲的第R个数据块存储第Q个数据块的数据；将所述叶子节点中第Q个数据块对应的元素存储的状态信息置为空闲，将所述叶子节点中第R个数据块对应的元素存储的状态信息置为非空闲，将所述非叶子节点中存储的块号Q均改为R。

在一优选实施例中，所述管理模块利用所述位图树对用户数据空间进行管理是指：当扩容S个数据块时，如已有的叶子节点足于存储该S个数据块的状态信息，则在已有的叶子节点中剩余的元素中依次写入该S个数据块的状态信息；如已有的叶子节点不足于存储该S个数据块的状态信息，则申请新叶子节点，在已有的叶子节点的剩余元素中和新叶子节点中依次写入该S个数据块的状态信息。

本实施例通过多层索引与叶子数据的方式管理数据空间，一方面使得查找速度快，一方面非叶子节点不存放数据本身，只存储数据块的索引，减少存储容量。由于在扩容时，线性位图需要将原来的存储数据删除再重建新的存储数据，这样会有磁盘的回收和再分配操作，而本实施例的位图树不需要对已有存储数据删除，直接将新的扩容数据添加到原有组织里即可，所以降低磁盘碎片的产生。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上仅为本发明的优选实施例，当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种数据空间管理方法，包括：

根据待管理的数据块的个数、叶子节点和非叶子节点的存储容量来构建位图树，每个叶子节点能存储N个元素，依次存储N个块号连续的数据块的状态信息；每个非叶子节点能存储M个元素，依次存储M个下一级叶子节点或非叶子节点所在数据块的块号；当任一级所需的非叶子节点的数量大于或等于2，则构建上一级非叶子节点；

利用所述位图树对用户数据空间进行管理。

2.如权利要求1所述的方法，其特征在于：所述利用所述位图树对用户数据空间进行管理，包括：

当查询第P个数据块的状态信息时，通过所述位图树查找第个叶子节点的第(P-T)％N个元素存储的数据块的状态信息；其中，表示对(P-T)除以N的结果向上取整，％表示取余，T为待管理的数据块的块数偏移量，P＞T≥0。

3.如权利要求1所述的方法，其特征在于：所述利用所述位图树对用户数据空间进行管理，包括：

当对第Q个数据块进行修改时，选择空闲的第R个数据块存储第Q个数据块的数据；

将所述叶子节点中第Q个数据块对应的元素存储的状态信息置为空闲，将所述叶子节点中第R个数据块对应的元素存储的状态信息置为非空闲，将所述非叶子节点中存储的块号Q均改为R。

4.如权利要求1所述的方法，其特征在于：所述利用所述位图树对用户数据空间进行管理，包括：

当扩容S个数据块时，如已有的叶子节点足于存储该S个数据块的状态信息，则在已有的叶子节点中剩余的元素中依次写入该S个数据块的状态信息；如已有的叶子节点不足于存储该S个数据块的状态信息，则申请新叶子节点，在已有的叶子节点的剩余元素中和新叶子节点中依次写入该S个数据块的状态信息。

5.一种数据空间管理装置，其特征在于，包括：

构建模块，用于根据待管理的数据块的个数、叶子节点和非叶子节点的存储容量来构建位图树，每个叶子节点能存储N个元素，依次存储N个块号连续的数据块的状态信息；每个非叶子节点能存储M个元素，依次存储M个下一级叶子节点或非叶子节点所在数据块的块号；当任一级所需的非叶子节点的数量大于等于2，则构建上一级非叶子节点；

管理模块，用于利用所述位图树对用户数据空间进行管理。

6.如权利要求5所述的装置，其特征在于，所述管理模块利用所述位图树对用户数据空间进行管理是指：

所述管理模块当查询第P个数据块的状态信息时，通过所述位图树查找第个叶子节点的第(P-T)％N个元素存储的数据块的状态信息；其中，表示对(P-T)除以N的结果向上取整，％表示取余，T为待管理的数据块的块数偏移量，P＞T≥0。

7.如权利要求5所述的装置，其特征在于，所述管理模块利用所述位图树对用户数据空间进行管理是指：

所述管理模块当对第Q个数据块进行修改时，选择空闲的第R个数据块存储第Q个数据块的数据；将所述叶子节点中第Q个数据块对应的元素存储的状态信息置为空闲，将所述叶子节点中第R个数据块对应的元素存储的状态信息置为非空闲，将所述非叶子节点中存储的第Q个数据块的块号均改为第R个数据块的块号。

8.如权利要求5所述的装置，其特征在于，所述管理模块利用所述位图树对用户数据空间进行管理是指：

所述管理模块当扩容S个数据块时，如已有的叶子节点足于存储该S个数据块的状态信息，则在已有的叶子节点中剩余的元素中依次写入该S个数据块的状态信息；如已有的叶子节点不足于存储该S个数据块的状态信息，则申请新叶子节点，在已有的叶子节点的剩余元素中和新叶子节点中依次写入该S个数据块的状态信息。