CN103020201A - 一种存储系统自动精简配置存储池及组织管理的方法 - Google Patents
一种存储系统自动精简配置存储池及组织管理的方法 Download PDFInfo
- Publication number
- CN103020201A CN103020201A CN2012105167327A CN201210516732A CN103020201A CN 103020201 A CN103020201 A CN 103020201A CN 2012105167327 A CN2012105167327 A CN 2012105167327A CN 201210516732 A CN201210516732 A CN 201210516732A CN 103020201 A CN103020201 A CN 103020201A
- Authority
- CN
- China
- Prior art keywords
- metadata
- storage pool
- information
- equipment
- data equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种存储系统自动精简配置存储池及组织管理的方法通常用于存储系统中,旨在提供一种对自动精简配置存储池空间进行管理和操作的系统架构。采用该系统架构,可以有效组织管理存储池空间,实现存储池与精简卷的关联。本发明能够有效的、精确地组织管理存储池空间,方便使用者操作存储池空间。
Description
技术领域
本发明涉及计算机应用技术领域, 具体地说是一种存储系统自动精简配置存储池及组织管理的方法。
背景技术
自动精简配置存储方案能够给操作系统提供大容量的虚拟驱动器。这种技术的核心是“欺骗”。如图1所示,简单的说,实际的物理存储设备可能并没有这么多,而让操作系统认为有这么大的存储空间。因此,自动精简配置就需要用一个存储池来给虚拟驱动器(也可以称之为精简卷)提供可用的存储空间,而这个存储池空间就必须进行准确的组织管理,才能保证自动精简配置正常的运行。否则,操作系统因为被“欺骗”,而使用了不该使用的存储空间,将造成不可估量的严重问题。
自动精简配置能够实现精简的空间分配,也就是说,只有在需要分配存储空间的时候才会将实际的存储池空间分配出去,这种按需分配是自动精简配置的实质。
自动精简配置包括存储池和精简卷,他们都是按照块来划分设备空间的。其中存储池空间是占用实际物理空间,而精简卷就是通过“欺骗”提供给操作系统的虚拟驱动器,并不真实的占用实际物理空间。一个存储池可以对应多个精简卷,而每一个精简卷都可以大于或者小于存储池空间容量。
在这里的按需分配就是当精简卷需要存储空间时,才会向存储池申请存储空间。我们采用存储池元数据信息来记录存储池的信息,存储池会根据存储池空间元数据信息管理并提供存储空间给精简卷使用。因此,存储池空间元数据信息需要被精确的记录保存和组织管理,才能够准确的向精简卷提供存储空间,保证自动精简配置正常运行。
因此,自动精简配置存储池组织管理急需解决两方面问题,一个是存储池元数据信息如何存储,一般来说,对于块设备会将设备的元数据信息保存在该设备的某一个位置(一般来说是开头部分),而我们将采用存储池元数据信息与存储池设备分开的存储方式来存储存储池元数据信息;另一个是存储池元数据信息如何组织管理,包括存储池空间如何组织管理,存储池空间与精简卷空间如何关联等。
通过该系统架构,能够实现自动精简设备存储池的组织管理,存储池元数据信息的独立存储,保证存储池元数据信息的安全。
本发明能够有效组织管理存储池空间,通过组织存储池元数据信息,使用者可以方便的操作存储池空间。
发明内容
本发明的目的是提供一种存储系统自动精简配置存储池及组织管理的方法。
本发明的目的是按以下方式实现的,将存储池元数据信息单独存储在元数据设备中,让存储池独占存储池设备,将存储池设备称为数据设备,重新定义存储池元数据信息为包含元数据设备信息和数据设备信息的存储池元数据;这样,该系统包括:(1)存储池元数据管理模块;(2)存储池元数据组织模块;(3)元数据设备映射模块;(4)数据设备映射模块;其中:
存储池元数据管理模块(1),提供分配、删除、插入、查找、提交的操作存储池元数据的方法;
存储池元数据组织模块(2),提供存储池元数据的组织形式,存储池元数据采用B+树的组织形式,存储池元数据采用自定义的两阶B+树结构来组织,其中,第一阶为所有精简卷ID组成的B+树结构,第二阶为精简卷ID对应的精简卷映射的块组成的B+树结构,存储池元数据B+树的根用root表示;
元数据设备映射模块(3),提供元数据设备块分配、删除和映射的功能,元数据设备中需要存储元数据设备的元数据信息和数据设备的元数据信息,因此,当精简卷要从存储池中申请存储空间,就等于是从数据设备中分配空间时,数据设备也会向元数据设备申请存储其元数据信息的空间,这时就需要元数据设备完成相应的分配和映射操作,提供块给数据设备元数据信息存储使用,并根据分配和映射信息更新元数据,如果数据设备需要删除相应的元数据信息,元数据设备会删除对应的块,并将元数据更新;
数据设备映射模块(4),提供数据设备块分配、删除和映射的功能,数据设备就是存储池空间,对于精简卷申请的空间都需要从这里提供,数据设备分配块给精简卷使用,将数据设备元数据信息保存在元数据设备中,并根据分配和映射信息更新存储池元数据,当精简卷删除块时,数据设备也会删除对应的块,更新自身的元数据,并将元数据信息更新至存储池元数据;
具体步骤如下:
1)当使用者调用存储池元数据管理模块分配操作时,会调用数据设备映射模块(4)在数据设备中分配新的块,并将分配和映射的信息保存在数据设备元数据中;
2)当使用者调存储池元数据管理模块(1)删除操作时,会首先调用数据设备映射模块(4)删除数据设备中相应的块,并将数据设备元数据信息更新,然后调用存储池元数据组织模块(2)在存储池元数据的B+树中删除对应的块的信息;
3)当使用者调存储池元数据管理模块(1)插入操作时,会调用存储池元数据组织模块(2)将该块的信息插入到存储池元数据的B+树中;
4)当使用者调存储池元数据管理模块(1)查找操作时,会调用存储池元数据组织模块(2),在存储池元数据的B+树中查找该块的信息;
5)当使用者调存储池元数据管理模块(1)提交操作时,会提交数据设备映射模块(4)的数据设备元数据信息,会提交元数据设备映射模块(3)的元数据设备元数据信息,会将存储池元数据组织模块(2)的存储池元数据信息刷写至元数据设备中,即真正刷写到磁盘上;
6)数据设备映射模块(4)分配或者删除块时,会适时调用元数据设备映射模块(3)分配或者删除数据设备元数据在元数据设备中的块。
本发明的有益效果是:
实现自动精简配置存储池的组织管理,对外提供操作存储池的接口,方便其他模块操作存储池,完成对于存储池元数据的妥善组织管理保存。因此采用这种系统架构,能够高效,准确,安全的完成自动精简配置存储池组织管理工作。
附图说明
图1是传统配置示意图;
图2是自动精简配置示意图;
图3是存储池元数据与数据设备和元数据设备的元数据关系图;
图4是存储池元数据组织存放示意图;
图5是存储池组织管理流程示意图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
在存储池空间中,存储池元数据信息需要组织管理存储池空间中每一个数据块,而且还要有数据结构来描述存储池和精简卷的关联等,这就需要大量的元数据来管理这些内容。因此为了使存储池空间不被大量的元数据占据,同时也是为了保证存储池元数据信息的安全,我们将存储池元数据信息单独存储在一个设备中,我们称之为元数据设备,这样存储池就可以独占存储池设备了,我们将存储池设备称为数据设备。这样一来,如附图2,我们重新定义存储池元数据信息为包含元数据设备信息和数据设备信息的存储池元数据。
该系统包括:(1)存储池元数据管理模块;(2)存储池元数据组织模块;(3)元数据设备映射模块;(4)数据设备映射模块;
模块(1)存储池元数据管理模块,提供分配、删除、插入、查找、提交等操作存储池元数据的方法;
模块(2)存储池元数据组织模块,提供存储池元数据的组织形式。存储池元数据采用B+树的组织形式。存储池元数据采用自定义的两阶B+树结构来组织,其中,第一阶为所有精简卷ID组成的B+树结构,第二阶为精简卷ID对应的精简卷映射的块组成的B+树结构,存储池元数据B+树的根用root表示;
元数据设备映射模块(3),提供元数据设备块分配、删除和映射的功能。元数据设备中需要存储元数据设备的元数据信息和数据设备的元数据信息,因此,当精简卷要从存储池中申请存储空间,就等于是从数据设备中分配空间时,数据设备也会向元数据设备申请存储其元数据信息的空间,这时就需要元数据设备完成相应的分配和映射操作,提供块给数据设备元数据信息存储使用,并根据分配和映射信息更新元数据。如果数据设备需要删除相应的元数据信息,元数据设备会删除对应的块,并将元数据更新;
数据设备映射模块(4),提供数据设备块分配、删除和映射的功能。数据设备就是存储池空间,对于精简卷申请的空间都需要从这里提供。数据设备分配块给精简卷使用,将数据设备元数据信息保存在元数据设备中,并根据分配和映射信息更新存储池元数据。当精简卷删除块时,数据设备也会删除对应的块,更新自身的元数据,并将元数据信息更新至存储池元数据。
具体步骤如下:
1)当使用者调用存储池元数据管理模块分配操作时,会调用数据设备映射模块(4)在数据设备中分配新的块,并将分配和映射的信息保存在数据设备元数据中;
2)当使用者调存储池元数据管理模块(1)删除操作时,会首先调用数据设备映射模块(4)删除数据设备中相应的块,并将数据设备元数据信息更新,然后调用存储池元数据组织模块(2)在存储池元数据的B+树中删除对应的块的信息;
3)当使用者调存储池元数据管理模块(1)插入操作时,会调用存储池元数据组织模块(2)将该块的信息插入到存储池元数据的B+树中;
4)当使用者调存储池元数据管理模块(1)查找操作时,会调用存储池元数据组织模块(2),在存储池元数据的B+树中查找该块的信息;
5)当使用者调存储池元数据管理模块(1)提交操作时,会提交数据设备映射模块(4)的数据设备元数据信息,会提交元数据设备映射模块(3)的元数据设备元数据信息,会将存储池元数据组织模块(2)的存储池元数据信息刷写至元数据设备中,即真正刷写到磁盘上;
6)数据设备映射模块(4)分配或者删除块时,会适时调用元数据设备映射模块(3)分配或者删除数据设备元数据在元数据设备中的块。
实施例
对本发明的内容以一个具体实例来描述实现这一体系结构的过程。
本发明实施方案非常简单,只需要在LINUX内核中安装自动精简配置软件并加入本发明的系统模块程序即可。
根据本发明,自动精简配置存储池组织管理系统能够对外提供存储池元数据管理操作的接口,其他模块可以直接调用这些接口,完成存储池元数据的组织管理。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。
Claims (1)
1.一种存储系统自动精简配置存储池及组织管理的方法, 其特征在于将存储池元数据信息单独存储在元数据设备中,让存储池独占存储池设备,将存储池设备称为数据设备,重新定义存储池元数据信息为包含元数据设备信息和数据设备信息的存储池元数据;这样,该系统包括:(1)存储池元数据管理模块;(2)存储池元数据组织模块;(3)元数据设备映射模块;(4)数据设备映射模块;其中:
存储池元数据管理模块(1),提供分配、删除、插入、查找、提交的操作存储池元数据的方法;
存储池元数据组织模块(2),提供存储池元数据的组织形式,存储池元数据采用B+树的组织形式,存储池元数据采用自定义的两阶B+树结构来组织,其中,第一阶为所有精简卷ID组成的B+树结构,第二阶为精简卷ID对应的精简卷映射的块组成的B+树结构,存储池元数据B+树的根用root表示;
元数据设备映射模块(3),提供元数据设备块分配、删除和映射的功能,元数据设备中需要存储元数据设备的元数据信息和数据设备的元数据信息,因此,当精简卷要从存储池中申请存储空间,就等于是从数据设备中分配空间时,数据设备也会向元数据设备申请存储其元数据信息的空间,这时就需要元数据设备完成相应的分配和映射操作,提供块给数据设备元数据信息存储使用,并根据分配和映射信息更新元数据,如果数据设备需要删除相应的元数据信息,元数据设备会删除对应的块,并将元数据更新;
数据设备映射模块(4),提供数据设备块分配、删除和映射的功能,数据设备就是存储池空间,对于精简卷申请的空间都需要从这里提供,数据设备分配块给精简卷使用,将数据设备元数据信息保存在元数据设备中,并根据分配和映射信息更新存储池元数据,当精简卷删除块时,数据设备也会删除对应的块,更新自身的元数据,并将元数据信息更新至存储池元数据;
具体步骤如下:
1)当使用者调用存储池元数据管理模块分配操作时,会调用数据设备映射模块(4)在数据设备中分配新的块,并将分配和映射的信息保存在数据设备元数据中;
2)当使用者调存储池元数据管理模块(1)删除操作时,会首先调用数据设备映射模块(4)删除数据设备中相应的块,并将数据设备元数据信息更新,然后调用存储池元数据组织模块(2)在存储池元数据的B+树中删除对应的块的信息;
3)当使用者调存储池元数据管理模块(1)插入操作时,会调用存储池元数据组织模块(2)将该块的信息插入到存储池元数据的B+树中;
4)当使用者调存储池元数据管理模块(1)查找操作时,会调用存储池元数据组织模块(2),在存储池元数据的B+树中查找该块的信息;
5)当使用者调存储池元数据管理模块(1)提交操作时,会提交数据设备映射模块(4)的数据设备元数据信息,会提交元数据设备映射模块(3)的元数据设备元数据信息,会将存储池元数据组织模块(2)的存储池元数据信息刷写至元数据设备中,即真正刷写到磁盘上;
6)数据设备映射模块(4)分配或者删除块时,会适时调用元数据设备映射模块(3)分配或者删除数据设备元数据在元数据设备中的块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210516732.7A CN103020201B (zh) | 2012-12-06 | 2012-12-06 | 一种存储系统自动精简配置存储池及组织管理的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210516732.7A CN103020201B (zh) | 2012-12-06 | 2012-12-06 | 一种存储系统自动精简配置存储池及组织管理的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103020201A true CN103020201A (zh) | 2013-04-03 |
CN103020201B CN103020201B (zh) | 2016-09-07 |
Family
ID=47968805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210516732.7A Active CN103020201B (zh) | 2012-12-06 | 2012-12-06 | 一种存储系统自动精简配置存储池及组织管理的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103020201B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514249A (zh) * | 2013-06-20 | 2014-01-15 | 易乐天 | 一种数据自精简方法和系统及存储装置 |
CN103744622A (zh) * | 2014-01-10 | 2014-04-23 | 浪潮电子信息产业股份有限公司 | 一种实现存储系统自动精简配置异步全额分配的方法 |
CN104331478A (zh) * | 2014-11-05 | 2015-02-04 | 浪潮电子信息产业股份有限公司 | 一种自精简存储系统数据一致性管理方法 |
CN105718217A (zh) * | 2016-01-18 | 2016-06-29 | 浪潮(北京)电子信息产业有限公司 | 一种精简配置存储池数据一致性维护的方法及装置 |
CN110134340A (zh) * | 2019-05-23 | 2019-08-16 | 苏州浪潮智能科技有限公司 | 一种元数据更新的方法、装置、设备以及存储介质 |
CN113419672A (zh) * | 2021-06-04 | 2021-09-21 | 济南浪潮数据技术有限公司 | 一种存储容量管理方法、系统及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100318739A1 (en) * | 2007-08-09 | 2010-12-16 | Hitachi, Ltd. | Management method for a virtual volume across a plurality of storages |
CN102483683A (zh) * | 2009-12-24 | 2012-05-30 | 株式会社日立制作所 | 提供虚拟卷的存储系统 |
CN102598019A (zh) * | 2009-09-09 | 2012-07-18 | 弗森-艾奥公司 | 用于分配存储的设备、系统和方法 |
CN102651009A (zh) * | 2011-02-28 | 2012-08-29 | 国际商业机器公司 | 一种存储系统中检索数据的方法和设备 |
-
2012
- 2012-12-06 CN CN201210516732.7A patent/CN103020201B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100318739A1 (en) * | 2007-08-09 | 2010-12-16 | Hitachi, Ltd. | Management method for a virtual volume across a plurality of storages |
CN102598019A (zh) * | 2009-09-09 | 2012-07-18 | 弗森-艾奥公司 | 用于分配存储的设备、系统和方法 |
CN102483683A (zh) * | 2009-12-24 | 2012-05-30 | 株式会社日立制作所 | 提供虚拟卷的存储系统 |
CN102651009A (zh) * | 2011-02-28 | 2012-08-29 | 国际商业机器公司 | 一种存储系统中检索数据的方法和设备 |
Non-Patent Citations (1)
Title |
---|
邱红飞: "存储的自动精简配置技术应用研究", 《电信科学》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514249A (zh) * | 2013-06-20 | 2014-01-15 | 易乐天 | 一种数据自精简方法和系统及存储装置 |
CN103514249B (zh) * | 2013-06-20 | 2016-12-28 | 易乐天 | 一种数据自精简方法和系统及存储装置 |
CN103744622A (zh) * | 2014-01-10 | 2014-04-23 | 浪潮电子信息产业股份有限公司 | 一种实现存储系统自动精简配置异步全额分配的方法 |
CN103744622B (zh) * | 2014-01-10 | 2017-10-13 | 浪潮电子信息产业股份有限公司 | 一种实现存储系统自动精简配置异步全额分配的方法 |
CN104331478A (zh) * | 2014-11-05 | 2015-02-04 | 浪潮电子信息产业股份有限公司 | 一种自精简存储系统数据一致性管理方法 |
CN104331478B (zh) * | 2014-11-05 | 2017-09-22 | 浪潮电子信息产业股份有限公司 | 一种自精简存储系统数据一致性管理方法 |
CN105718217A (zh) * | 2016-01-18 | 2016-06-29 | 浪潮(北京)电子信息产业有限公司 | 一种精简配置存储池数据一致性维护的方法及装置 |
CN105718217B (zh) * | 2016-01-18 | 2018-10-30 | 浪潮(北京)电子信息产业有限公司 | 一种精简配置存储池数据一致性维护的方法及装置 |
CN110134340A (zh) * | 2019-05-23 | 2019-08-16 | 苏州浪潮智能科技有限公司 | 一种元数据更新的方法、装置、设备以及存储介质 |
CN110134340B (zh) * | 2019-05-23 | 2020-03-06 | 苏州浪潮智能科技有限公司 | 一种元数据更新的方法、装置、设备以及存储介质 |
CN113419672A (zh) * | 2021-06-04 | 2021-09-21 | 济南浪潮数据技术有限公司 | 一种存储容量管理方法、系统及存储介质 |
CN113419672B (zh) * | 2021-06-04 | 2023-06-13 | 济南浪潮数据技术有限公司 | 一种存储容量管理方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103020201B (zh) | 2016-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103020201A (zh) | 一种存储系统自动精简配置存储池及组织管理的方法 | |
US9842136B2 (en) | Database management system, computer, and database management method | |
CN102255962B (zh) | 一种分布式存储方法、装置和系统 | |
CN104317742B (zh) | 一种优化空间管理的自动精简配置方法 | |
CN103514249B (zh) | 一种数据自精简方法和系统及存储装置 | |
CN105190567B (zh) | 用于管理存储系统快照的系统和方法 | |
CN109799951A (zh) | 使用分布式的和虚拟的命名空间管理的按需存储供应 | |
US8892847B2 (en) | Volume management and page allocation method | |
US20090210464A1 (en) | Storage management system and method thereof | |
US20080016121A1 (en) | Method, an apparatus and a system for managing a snapshot storage pool | |
CN104407935B (zh) | 快照回滚方法和存储设备 | |
CN106681842A (zh) | 一种多进程系统中共享内存的管理方法及装置 | |
CN104272242B (zh) | 创建加密存储体 | |
CN106708423A (zh) | 多模存储管理系统 | |
US9760292B2 (en) | Storage system and storage control method | |
JP2006099763A5 (zh) | ||
CN102968279A (zh) | 一种存储系统自动精简配置的方法 | |
CN105808157A (zh) | 存储架构的创建方法、存储访问方法和存储系统 | |
CN109101185A (zh) | 固态存储设备及其写命令和读命令处理方法 | |
CN104317734A (zh) | 一种适用于slab的内存分配方法及装置 | |
CN103106150A (zh) | 一种实现存储系统自动精简配置和精简分配的方法 | |
EP3103039B1 (en) | System and method for an efficient database storage model based on sparse files | |
GB2602948A (en) | Virtual memory metadata management | |
CN109308269A (zh) | 一种内存管理方法及装置 | |
CN102200930A (zh) | 同步变量映射方法及装置、同步变量释放方法及同步变量删除方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |