CN111007985B - 一种存储系统空间回收的兼容处理方法、系统及设备 - Google Patents

一种存储系统空间回收的兼容处理方法、系统及设备 Download PDF

Info

Publication number
CN111007985B
CN111007985B CN201911052313.0A CN201911052313A CN111007985B CN 111007985 B CN111007985 B CN 111007985B CN 201911052313 A CN201911052313 A CN 201911052313A CN 111007985 B CN111007985 B CN 111007985B
Authority
CN
China
Prior art keywords
volume
space
disk
storage system
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911052313.0A
Other languages
English (en)
Other versions
CN111007985A (zh
Inventor
赵书龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201911052313.0A priority Critical patent/CN111007985B/zh
Publication of CN111007985A publication Critical patent/CN111007985A/zh
Priority to PCT/CN2020/093085 priority patent/WO2021082422A1/zh
Application granted granted Critical
Publication of CN111007985B publication Critical patent/CN111007985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket

Abstract

本发明提出的一种存储系统空间回收的兼容处理方法、系统及设备,包括:主机IO同时向存储系统内的精简卷和普通卷执行写入操作,通过unmap IO写入时,按预设删除策略删除精简卷的元数据,进行空间回收,并对普通卷写入全零IO,完成落盘。本发明能够极大的提高系统的存储空间利用率,使后端SSD存储资源发挥最大读写效率,提升系统性能。并且能扩展传统存储产品的功能,提升产品竞争力。

Description

一种存储系统空间回收的兼容处理方法、系统及设备
技术领域
本发明涉及存储系统技术领域,更具体的说是涉及一种存储系统空间回收的兼容处理方法、系统及设备。
背景技术
随着用户数据量的不断增大,对存储空间的需求不断提高,提高存储空间的利用率是众多产品需要解决的问题。自动精简配置的实现原则是从一个精简存储池中按需提供存储空间给用户使用,自动精简配置,相对于传统非精简配置,无需提前分配用不到的磁盘容量所以存储利用率更高。传统的Thin LUN没有空间回收功能,随着空间的不断分配会导致存储空间耗尽。因此,精简卷的空间回收功能就必不可少,当删除Thin LUN中的文件时,可以通过主机unmap指令实现空间回收,从而实现存储端空间的反复利用,极大提升存储空间的利用率。
同时对于后端磁盘介质为SSD的全闪存储系统,由于NAND flash的读写特点,空间回收操作对提升性能和空间利用率是必不可少的功能。
传统存储系统(HDD机械盘)不会考虑空间回收功能,但随着从传统存储系统到混闪/全闪存储系统的迭代,随着数据量的爆发式增长,空间回收的需求也愈发突出,实现空间回收也绕不开兼容策略。如何有效发挥传统和全闪存储系统的空间回收能力。让传统存储功能性增强,让全闪系统存储效率得到提高,是我们亟待解决的问题。
发明内容
针对以上问题,本发明的目的在于提供一种存储系统空间回收的兼容处理方法、系统及设备,可以有效发挥传统和全闪存储系统的空间回收能力。让传统存储功能性增强,让全闪系统存储效率得到提高。
本发明为实现上述目的,通过以下技术方案实现:一种存储系统空间回收的兼容处理方法,包括:
主机IO同时向存储系统内的精简卷和普通卷执行写入操作,通过unmap IO写入时,按预设删除策略删除精简卷的元数据,进行空间回收,并对普通卷写入全零IO,完成落盘;
将普通卷中已写入的数据同步到精简卷时,加入全零IO检测机制,将普通卷中落盘的全零IO进行识别。
进一步,还包括:
在数据迁移和拷贝同步时,按照unmap IO的场景进行处理。
进一步,所述预设删除策略包括:
所述存储系统采用机械盘和SSD磁盘,机械盘采用精简卷和普通卷,SSD磁盘采用精简卷;
机械盘不需要在删除时进行擦写操作,删除数据块时,直接删除该数据块对应的元数据;同时将该元数据对应的实际物理地址,进行回收,加入unused链表,用于回收利用;
SSD磁盘删除数据块时需要擦写NAND Flash,在删除数据块时,先将元数据标记为deleting;然后通过后台垃圾回收模块,通过trim异步擦写SSD,用于空间回收。
进一步,所述普通卷内没有维护的元数据,普通卷的空间通过LBA到PBA映射关系预先分配,当普通卷接收到operating-copde为op_unmap IO时,将其作为全零数据写入后端磁盘。
进一步,所述机械盘内的普通卷,在删除操作之前,通过设置grainSize空间确定回收粒度。
相应的,本发明还公开了一种存储系统空间回收的兼容处理系统,包括:删除操作单元,用于主机IO同时向存储系统内的精简卷和普通卷执行写入操作,通过unmap IO写入时,按预设策略删除精简卷的元数据,进行空间回收,并对普通卷写入全零IO,完成落盘;
全零IO识别单元,用于将普通卷中已写入的数据同步到精简卷时,加入全零IO检测机制,将普通卷中落盘的全零IO进行识别。
进一步,还包括:
数据处理单元,用于在数据迁移和拷贝同步时,按照unmap IO的场景进行处理。
相应的,本发明还公开了一种存储系统空间回收的兼容处理设备,包括:存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上文任一项所述存储系统空间回收的兼容处理方法步骤。
对比现有技术,本发明有益效果在于:本发明提供了一种存储系统空间回收的兼容处理方法、系统及设备,实现了传统/混闪/全闪存储系统使用相同的软件版本,同时支持传统机械盘和SSD存储盘,系统设计的复杂性大大提高。本发明的空间回收功能,基于具有自动精简配置功能的精简卷,利用精简卷的元数据管理和空间管理能力实现数据的空间回收;由于全闪和传统精简卷的元数据管理不同,本发明明确了空间回收的兼容策略。
本发明能够极大的提高系统的存储空间利用率,使后端SSD存储资源发挥最大读写效率,提升系统性能。并且能扩展传统存储产品的功能,提升产品竞争力。
由此可见,本发明与现有技术相比,具有突出的实质性特点和显著的进步,其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
附图1是本发明的方法示意图。
附图2是本发明的预设删除测量的方法示意图。
附图3是本发明的系统结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做出说明。
如图1所示的一种存储系统空间回收的兼容处理方法,包括:
主机IO同时向存储系统内的精简卷和普通卷执行写入操作,通过unmap IO写入时,按预设删除策略删除精简卷的元数据,进行空间回收,并对普通卷写入全零IO,完成落盘;
将普通卷中已写入的数据同步到精简卷时,加入全零IO检测机制,将普通卷中落盘的全零IO进行识别。
在数据迁移和拷贝同步时,按照unmap IO的场景进行处理。
如图2所示,所述预设删除策略包括:
存储系统采用机械盘和SSD磁盘,机械盘采用精简卷和普通卷,SSD磁盘采用精简卷。普通卷内没有维护的元数据,普通卷的空间通过LBA到PBA映射关系预先分配,当普通卷接收到operating-copde为op_unmap IO时,将其作为全零数据写入后端磁盘。机械盘内的普通卷,在删除操作之前,通过设置grainSize空间确定回收粒度。
机械盘不需要在删除时进行擦写操作,删除数据块时,直接删除该数据块对应的元数据;同时将该元数据对应的实际物理地址,进行回收,加入unused链表,用于回收利用。
SSD磁盘删除数据块时需要擦写NAND Flash,在删除数据块时,先将元数据标记为deleting;然后通过后台垃圾回收模块,通过trim异步擦写SSD,用于空间回收。
由此可见,空间回收可以通过精简卷的元数据管理实现,unmap IO处理时需要将对应数据块元数据删除,普通池仅删除元数据,而全闪精简池则根据SSD的特性需求,需要先将元数据删除,通过后台任务将磁盘上的数据进行trim擦除。同时,存储空间回收支持兼容存储的卷拷贝服务特性,能有效实现数据迁移和备份过程中的空间回收功能。
相应的,如图3所示,本发明还公开了一种存储系统空间回收的兼容处理系统,包括:
删除操作单元,用于主机IO同时向存储系统内的精简卷和普通卷执行写入操作,通过unmap IO写入时,按预设策略删除精简卷的元数据,进行空间回收,并对普通卷写入全零IO,完成落盘。
全零IO识别单元,用于将普通卷中已写入的数据同步到精简卷时,加入全零IO检测机制,将普通卷中落盘的全零IO进行识别。
数据处理单元,用于在数据迁移和拷贝同步时,按照unmap IO的场景进行处理。
相应的,本发明还公开了一种存储系统空间回收的兼容处理设备,包括:存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上文任一项所述存储系统空间回收的兼容处理方法步骤。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,包括若干指令用以使得一台计算机终端(可以是个人计算机,服务器,或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于终端实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统、系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。
同理,在本发明各个实施例中的各处理单元可以集成在一个功能模块中,也可以是各个处理单元物理存在,也可以两个或两个以上处理单元集成在一个功能模块中。
结合附图和具体实施例,对本发明作进一步说明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所限定的范围。

Claims (4)

1.一种存储系统空间回收的兼容处理方法,其特征在于,包括:
主机IO同时向存储系统内的精简卷和普通卷执行写入操作,通过unmap IO写入时,按预设删除策略删除精简卷的元数据,进行空间回收,并对普通卷写入全零IO,完成落盘;
将普通卷中已写入的数据同步到精简卷时,加入全零IO检测机制,将普通卷中落盘的全零IO进行识别;
在数据迁移和拷贝同步时,按照unmap IO的场景进行处理;
所述预设删除策略包括:
所述存储系统采用机械盘和SSD磁盘,机械盘采用精简卷和普通卷,SSD磁盘采用精简卷;
机械盘不需要在删除时进行擦写操作,删除数据块时,直接删除该数据块对应的元数据;同时将该元数据对应的实际物理地址,进行回收,加入unused链表,用于回收利用;
SSD磁盘删除数据块时需要擦写NAND Flash,在删除数据块时,先将元数据标记为deleting;然后通过后台垃圾回收模块,通过trim异步擦写SSD,用于空间回收。
2.根据权利要求1所述的存储系统空间回收的兼容处理方法,其特征在于,所述普通卷内没有维护的元数据,普通卷的空间通过LBA到PBA映射关系预先分配,当普通卷接收到operating-copde为op_unmap IO时,将其作为全零数据写入后端磁盘。
3.根据权利要求1所述的存储系统空间回收的兼容处理方法,其特征在于,所述机械盘内的普通卷,在删除操作之前,通过设置grainSize空间确定回收粒度。
4.一种存储系统空间回收的兼容处理设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至3任一项所述存储系统空间回收的兼容处理方法步骤。
CN201911052313.0A 2019-10-31 2019-10-31 一种存储系统空间回收的兼容处理方法、系统及设备 Active CN111007985B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911052313.0A CN111007985B (zh) 2019-10-31 2019-10-31 一种存储系统空间回收的兼容处理方法、系统及设备
PCT/CN2020/093085 WO2021082422A1 (zh) 2019-10-31 2020-05-29 一种存储系统空间回收的兼容处理方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911052313.0A CN111007985B (zh) 2019-10-31 2019-10-31 一种存储系统空间回收的兼容处理方法、系统及设备

Publications (2)

Publication Number Publication Date
CN111007985A CN111007985A (zh) 2020-04-14
CN111007985B true CN111007985B (zh) 2021-10-22

Family

ID=70111862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911052313.0A Active CN111007985B (zh) 2019-10-31 2019-10-31 一种存储系统空间回收的兼容处理方法、系统及设备

Country Status (2)

Country Link
CN (1) CN111007985B (zh)
WO (1) WO2021082422A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111007985B (zh) * 2019-10-31 2021-10-22 苏州浪潮智能科技有限公司 一种存储系统空间回收的兼容处理方法、系统及设备
CN111813344B (zh) * 2020-07-16 2022-06-17 济南浪潮数据技术有限公司 一种远程复制中io的处理方法、装置、设备及存储介质
CN112162701B (zh) * 2020-09-18 2023-12-22 北京浪潮数据技术有限公司 一种存储空间回收方法、装置、设备及计算机存储介质
CN115757192A (zh) * 2021-09-03 2023-03-07 华为技术有限公司 一种存储块的回收方法以及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984641A (zh) * 2014-05-22 2014-08-13 华为技术有限公司 一种基于精简配置技术的存储空间回收方法及其装置
CN104536816A (zh) * 2014-12-17 2015-04-22 中电科华云信息技术有限公司 提高虚拟机迁移效率的方法
CN105579950A (zh) * 2013-07-02 2016-05-11 日立数据系统工程英国有限公司 用于虚拟化文件系统的迁移的方法和装置、用于虚拟化文件系统的迁移的数据存储系统以及用于在数据存储系统中使用的文件服务器
WO2016171738A1 (en) * 2015-04-23 2016-10-27 Hewlett Packard Enterprise Development Lp Storage reclamation in a thin provisioned storage device
CN108363552A (zh) * 2018-01-31 2018-08-03 华为技术有限公司 虚拟机磁盘空间回收方法和系统
CN109388347A (zh) * 2018-10-15 2019-02-26 郑州云海信息技术有限公司 一种数据迁移方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146574A (ja) * 2006-12-13 2008-06-26 Hitachi Ltd 記憶制御装置及び記憶制御方法
US20090077327A1 (en) * 2007-09-18 2009-03-19 Junichi Hara Method and apparatus for enabling a NAS system to utilize thin provisioning
US8856471B2 (en) * 2012-12-05 2014-10-07 Infinidat Ltd. System, method and a non-transitory computer readable medium for creating a warranted snapshot
JP6160173B2 (ja) * 2013-03-28 2017-07-12 富士通株式会社 ストレージ装置、割当解放制御方法及び割当解放制御プログラム
US9128746B2 (en) * 2013-03-29 2015-09-08 Vmware, Inc. Asynchronous unmap of thinly provisioned storage for virtual machines
JP6142860B2 (ja) * 2014-11-05 2017-06-07 日本電気株式会社 ディスクアレイ装置、ディスク制御装置、ソリッドステートドライブ、ディスク制御方法、及びそのためのプログラム
CN107122131B (zh) * 2017-04-18 2020-08-14 杭州宏杉科技股份有限公司 自动精简配置的方法及装置
US10754556B2 (en) * 2017-06-27 2020-08-25 International Business Machines Corporation Prioritization of virtual volumes to take offline in a thin provisioning system
CN111007985B (zh) * 2019-10-31 2021-10-22 苏州浪潮智能科技有限公司 一种存储系统空间回收的兼容处理方法、系统及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105579950A (zh) * 2013-07-02 2016-05-11 日立数据系统工程英国有限公司 用于虚拟化文件系统的迁移的方法和装置、用于虚拟化文件系统的迁移的数据存储系统以及用于在数据存储系统中使用的文件服务器
CN103984641A (zh) * 2014-05-22 2014-08-13 华为技术有限公司 一种基于精简配置技术的存储空间回收方法及其装置
CN104536816A (zh) * 2014-12-17 2015-04-22 中电科华云信息技术有限公司 提高虚拟机迁移效率的方法
WO2016171738A1 (en) * 2015-04-23 2016-10-27 Hewlett Packard Enterprise Development Lp Storage reclamation in a thin provisioned storage device
CN108363552A (zh) * 2018-01-31 2018-08-03 华为技术有限公司 虚拟机磁盘空间回收方法和系统
CN109388347A (zh) * 2018-10-15 2019-02-26 郑州云海信息技术有限公司 一种数据迁移方法及装置

Also Published As

Publication number Publication date
CN111007985A (zh) 2020-04-14
WO2021082422A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
CN111007985B (zh) 一种存储系统空间回收的兼容处理方法、系统及设备
US8762627B2 (en) Memory logical defragmentation during garbage collection
US20180341407A1 (en) Storage system, information processing system and method for controlling nonvolatile memory
US9582416B2 (en) Data erasing method, memory control circuit unit and memory storage apparatus
CN108021510A (zh) 操作对多重名称空间进行管理的存储装置的方法
US11354236B2 (en) Garbage collection method for data storage device
KR20110119408A (ko) 데이터 저장 장치 및 그것의 동작 방법
CN103608866A (zh) 用于闪存存储器的数据擦除方法及装置
CN103761053A (zh) 一种数据处理方法和装置
TW201706848A (zh) 有效資料合併方法、記憶體控制器與記憶體儲存裝置
CN103995855A (zh) 存储数据的方法和装置
CN103955433A (zh) 盖瓦磁记录硬盘、盖瓦磁记录硬盘写数据的方法及装置
US20120089765A1 (en) Method for performing automatic boundary alignment and related non-volatile memory device
CN116257460B (zh) 基于固态硬盘的Trim命令处理方法及固态硬盘
CN103389941B (zh) 存储器格式化方法、存储器控制器及存储器存储装置
WO2023124423A1 (zh) 一种存储空间分配方法、装置、终端设备及存储介质
CN106205707A (zh) 存储器装置
CN103064926A (zh) 数据处理方法和装置
US11775209B2 (en) Controller and operation method thereof
CN114527936A (zh) 一种服务器高性能磁盘分布式存储方法及装置
CN109002265B (zh) 一种数据处理的方法以及相关装置
CN106201326A (zh) 信息处理装置
CN112783420A (zh) 数据删除与垃圾回收方法、设备、系统及存储介质
CN106205708A (zh) 高速缓冲存储器装置
CN111324287A (zh) 一种存储器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant