CN104731905A - 一种精简存储池缩容方法 - Google Patents

一种精简存储池缩容方法 Download PDF

Info

Publication number
CN104731905A
CN104731905A CN201510129144.1A CN201510129144A CN104731905A CN 104731905 A CN104731905 A CN 104731905A CN 201510129144 A CN201510129144 A CN 201510129144A CN 104731905 A CN104731905 A CN 104731905A
Authority
CN
China
Prior art keywords
metadata
migration
data
storage pool
reduction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510129144.1A
Other languages
English (en)
Inventor
赵静
周耀辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Group Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201510129144.1A priority Critical patent/CN104731905A/zh
Publication of CN104731905A publication Critical patent/CN104731905A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees

Abstract

本发明公开一种精简存储池缩容方法,涉及数据存储技术，通过对精简池先迁移数据，并更新元数据空间信息，后迁移元数据数据信息，通过复制迁移重建元数据B+Tree节点，确保精简池数据和元数据信息完整性；该精简存储池缩容方法包括迁移数据和迁移元数据两个步骤。该精简存储池缩容方法克服了精简存储池在缩容移除物理存储设备时易丢失数据和元数据的缺陷，能够确保数据和元数据信息的完整性，提高精简存储池操作的可靠性。

Description

一种精简存储池缩容方法
技术领域
本发明涉及数据存储技术，具体的说就是一种精简存储池缩容方法。
背景技术
随着互联网数据量的爆发式增长，对存储系统的容量和性能有了更高要求，为了提高存储系统磁盘存储利用率，避免存储资源浪费，提出了一种自动精简配置技术，可有效的利用存储资源。
自动精简配置技术利用“写时分配”策略，通过改变存储系统的资源按需分配，能够提高磁盘存储空间利用率，在提高存储系统性能的同时达到降低存储系统的部署成本和节约资源的目的。具有自动精简配置功能的存储池简称精简池，精简池在结构上分为数据区和元数据区，数据区用于存储数据。元数据区包括了存储池超级块，元数据位图，数据位图，逻辑卷信息等，对自精简存储池组织管理者。
精简池是由若干个物理设备pv组织而成，每个pv上都有部分元数据区和部分数据区。每个pv上的元数据即可组织成存储池完整的元数据区，每个pv上的数据即可组织成存储池完整的数据区。
精简池的缩容是通过在存储池中减少pv设备进行缩容。这样就牵扯到了一个问题，移除的pv设备上的元数据和数据都可能丢失。
发明内容
本发明针对现有技术存在的不足之处，提出了一种精简存储池缩容方法，特别涉及高端磁盘阵列中精简池元数据和数据迁移方法。
本发明所述一种精简存储池缩容方法，解决上述技术问题采用的技术方案如下：该精简存储池缩容方法通过对精简池先迁移数据，并更新元数据空间信息，后迁移元数据数据信息，通过复制迁移重建元数据B+Tree节点，确保精简池数据和元数据信息完整性；该精简存储池缩容方法包括迁移数据和迁移元数据两个步骤。
优选的，所述迁移数据是指，将位于要移除物理设备pv上的数据块迁移到其他pv上，并采用逐个数据块迁移机制。
优选的，所述逐个数据块迁移机制包括，从其他物理设备pv上分配数据块，进行更新元数据区域上的数据空间位图、映射逻辑卷信息，并使用hash链表组织多个锁，控制迁移数据块的并发读写操作。
优选的，所述迁移元数据是指，迁移要移除物理设备pv的元数据空间的有效数据块到其他pv元数据预留空间中。
优选的，所述迁移元数据采用复制迁移的方式。
优选的，所述复制迁移的方式是指，遍历各个元数据信息B+Tree节点，根据叶子节点重新构建新的元数据B+Tree节点，即复制源节点信息，并从其他物理设备pv元数据预留空间中分配空闲数据块，新建B+Tree节点，并插入复制而得B+Tree节点。
本发明的一种精简存储池缩容方法与现有技术相比具有的有益效果是：通过该精简存储池缩容方法进行先迁移数据，并更新元数据空间信息，后迁移元数据数据信息，通过复制迁移重建元数据B+Tree节点，克服了精简存储池在缩容移除物理存储设备时易丢失数据和元数据的缺陷，能够确保数据和元数据信息的完整性，提高精简存储池操作的可靠性以及数据的完整性，提高产品在市场上的竞争力。
附图说明
附图1为精简池组织方式示意图；
附图2为所述精简存储池缩容方法的操作图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参考附图，对本发明所述一种精简存储池缩容方法进一步详细说明。
精简池在缩容移除物理存储设备时，易丢失数据和元数据，本发明所述一种精简存储池缩容方法,通过对精简池先迁移数据，并更新元数据空间信息，后迁移元数据数据信息，通过复制迁移重建元数据B+Tree节点，可确保精简池数据和元数据信息完整性。通过该精简池缩容的方法，可有效的解决精简池在缩容移除pv设备的时候，丢失元数据和数据的问题。
精简存储池由多块物理设备pv组成，每个pv加入到精简池中，被划分为数据区和元数据区，如附图1所示。元数据区包含：
1)  精简池的超级块，每个pv上的超级块信息相同；
2)  元数据空间位图使用B+Tree管理，由每个pv上的元数据位图空间组成；
3)  数据空间位图也使用B+Tree管理，由每个pv上的数据位图空间组成；
4)  逻辑卷信息和逻辑卷映射信息空间，根据逻辑卷的ID和逻辑卷的映射块组成的2阶B+Tree来管理。
实施例：
本实施例所述一种精简存储池缩容方法,其具体包括迁移数据和迁移元数据两个步骤。
所述迁移数据这一步骤具体是指，将位于要移除物理设备pv上的数据块迁移到其他pv上，将采用逐个数据块迁移的机制：
1)  从其他物理设备pv上分配数据块；
2)  迁移数据，包括更新元数据区域上的数据空间位图、映射逻辑卷信息；
3)  使用hash链表组织多个锁，控制迁移数据块的并发读写操作。
所述迁移元数据这一步骤具体是指，迁移要移除物理设备pv的元数据空间的有效数据块到其他pv元数据预留空间中。为了可靠性，采用复制迁移的方式。遍历各个元数据信息B+Tree节点，根据叶子节点重新构建新的元数据B+Tree节点。即复制源节点信息，并从其他物理设备pv元数据预留空间中分配空闲数据块，新建B+Tree节点，并插入复制而得B+Tree节点。
下面以精简池含有3块物理设备pv为例，来说明本实施例所述精简存储池缩容方法的实施操作过程，如附图2所示。
精简存储池由3块物理设备pv（RAID）组成，每个RAID加入到精简池中，被划分为数据区和元数据区，元数据区存储包含：存储池的超级块，每个RAID上的超级块信息相同；元数据空间位图使用B+Tree管理，由每个RAID上的元数据位图空间组成。数据空间位图也使用B+Tree管理，由每个RAID上的数据位图空间组成。逻辑卷信息和逻辑卷映射信息空间，根据逻辑卷的ID和逻辑卷的映射块组成的2阶B+Tree来管理。
移除物理设备pv3的操作过程如下：
当移除操作之前，先在pv1和pv2上分配数据空间，将pv3上的有效数据块迁移过去，并更新逻辑卷映射信息B+Tree叶子节点，和数据空间位图B+Tree信息。
元数据空间由多个pv组成。在移除pv之前，需要重新建立新的元数据空间位图B+Tree、数据空间位图B+Tree、逻辑卷信息B+Tree。建立的操作采用复制迁移的方式：遍历每棵树的叶子节点，在pv1和pv2上分配数据块，重新建立新的B+Tree，将遍历的叶子节点复制，并插入到新的B+Tree中。
经过以上操作，通过本实施例所述精简存储池缩容方法，在精简池的缩容过程中，保证了数据空间和元数据空间数据不丢失，以保证了数据的一致性，可有效的解决精简存储池在缩容中数据迁移的完整性，提高精简存储池的功能需求。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (6)

1.一种精简存储池缩容方法，其特征在于，通过对精简池先迁移数据，并更新元数据空间信息，后迁移元数据数据信息，通过复制迁移重建元数据B+Tree节点，确保精简池数据和元数据信息完整性；该精简存储池缩容方法包括迁移数据和迁移元数据两个步骤。
2.根据权利要求1所述一种精简存储池缩容方法，其特征在于，所述迁移数据是指，将位于要移除物理设备pv上的数据块迁移到其他pv上，并采用逐个数据块迁移机制。
3.根据权利要求2所述一种精简存储池缩容方法，其特征在于，所述逐个数据块迁移机制包括，从其他物理设备pv上分配数据块，进行更新元数据区域上的数据空间位图、映射逻辑卷信息，并使用hash链表组织多个锁，控制迁移数据块的并发读写操作。
4.根据权利要求1所述一种精简存储池缩容方法，其特征在于，所述迁移元数据是指，迁移要移除物理设备pv的元数据空间的有效数据块到其他pv元数据预留空间中。
5.根据权利要求4所述一种精简存储池缩容方法，其特征在于，所述迁移元数据采用复制迁移的方式。
6.根据权利要求5所述一种精简存储池缩容方法，其特征在于，所述复制迁移的方式是指，遍历各个元数据信息B+Tree节点，根据叶子节点重新构建新的元数据B+Tree节点，即复制源节点信息，并从其他物理设备pv元数据预留空间中分配空闲数据块，新建B+Tree节点，并插入复制而得B+Tree节点。
CN201510129144.1A 2015-03-24 2015-03-24 一种精简存储池缩容方法 Pending CN104731905A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510129144.1A CN104731905A (zh) 2015-03-24 2015-03-24 一种精简存储池缩容方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510129144.1A CN104731905A (zh) 2015-03-24 2015-03-24 一种精简存储池缩容方法

Publications (1)

Publication Number Publication Date
CN104731905A true CN104731905A (zh) 2015-06-24

Family

ID=53455792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510129144.1A Pending CN104731905A (zh) 2015-03-24 2015-03-24 一种精简存储池缩容方法

Country Status (1)

Country Link
CN (1) CN104731905A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535087A (zh) * 2021-07-13 2021-10-22 咪咕互动娱乐有限公司 数据迁移过程中的数据处理方法、服务器及存储系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030023811A1 (en) * 2001-07-27 2003-01-30 Chang-Soo Kim Method for managing logical volume in order to support dynamic online resizing and software raid
CN102915340A (zh) * 2012-02-29 2013-02-06 浙江工商大学 一种扩展的基于b+树对象文件系统
CN103365744A (zh) * 2012-04-04 2013-10-23 国际商业机器公司 用于混合元数据图像备份和备份的系统和方法
CN103744875A (zh) * 2013-12-19 2014-04-23 记忆科技(深圳)有限公司 基于文件系统的数据快速迁移方法及系统
CN104317742A (zh) * 2014-11-17 2015-01-28 浪潮电子信息产业股份有限公司 一种优化空间管理的自动精简配置方法
CN104331478A (zh) * 2014-11-05 2015-02-04 浪潮电子信息产业股份有限公司 一种自精简存储系统数据一致性管理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030023811A1 (en) * 2001-07-27 2003-01-30 Chang-Soo Kim Method for managing logical volume in order to support dynamic online resizing and software raid
CN102915340A (zh) * 2012-02-29 2013-02-06 浙江工商大学 一种扩展的基于b+树对象文件系统
CN103365744A (zh) * 2012-04-04 2013-10-23 国际商业机器公司 用于混合元数据图像备份和备份的系统和方法
CN103744875A (zh) * 2013-12-19 2014-04-23 记忆科技(深圳)有限公司 基于文件系统的数据快速迁移方法及系统
CN104331478A (zh) * 2014-11-05 2015-02-04 浪潮电子信息产业股份有限公司 一种自精简存储系统数据一致性管理方法
CN104317742A (zh) * 2014-11-17 2015-01-28 浪潮电子信息产业股份有限公司 一种优化空间管理的自动精简配置方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535087A (zh) * 2021-07-13 2021-10-22 咪咕互动娱乐有限公司 数据迁移过程中的数据处理方法、服务器及存储系统
CN113535087B (zh) * 2021-07-13 2023-10-17 咪咕互动娱乐有限公司 数据迁移过程中的数据处理方法、服务器及存储系统

Similar Documents

Publication Publication Date Title
CN103970585B (zh) 创建虚拟机的方法及装置
CN104484283B (zh) 一种降低固态硬盘写放大的方法
CN103164490B (zh) 一种不固定长度数据的高效存储实现方法和装置
CN103473277B (zh) 文件系统的快照方法和装置
CN102591789B (zh) 存储空间回收方法及装置
CN105159915A (zh) 可动态适应的lsm树合并方法及系统
CN104298681B (zh) 一种数据存储方法及装置
CN102332029A (zh) 一种基于Hadoop的海量可归类小文件关联存储方法
DE112020003277T5 (de) Erzeugen von tags für die datenzuweisung
CN103455433B (zh) 内存管理方法及系统
US10997153B2 (en) Transaction encoding and transaction persistence according to type of persistent storage
CN103593477A (zh) 一种哈希数据库的配置方法和装置
CN104331478A (zh) 一种自精简存储系统数据一致性管理方法
CN106569738A (zh) 一种删除级联快照的方法及装置
CN103268270B (zh) 快照的管理方法和装置
US20160357673A1 (en) Method of maintaining data consistency
CN103218305B (zh) 存储空间的分配方法
CN104615594A (zh) 一种数据更新方法及装置
US10372605B2 (en) Generational garbage collector for trees under multi-version concurrency control
US20180239791A1 (en) Bitmap-based storage space management system and methods thereof
CN104268097B (zh) 一种元数据处理方法及系统
CN104572492A (zh) 一种烧录数据到fat32分区的方法和装置
CN106155917A (zh) 内存管理方法及装置
CN103064843B (zh) 数据处理装置和数据处理方法
CN101826055B (zh) 一种用于Linux系统数据缓存分配的管理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150624