CN111949222A - 一种全闪磁盘阵列中垃圾回收中数据迁移的方法 - Google Patents

一种全闪磁盘阵列中垃圾回收中数据迁移的方法 Download PDF

Info

Publication number
CN111949222A
CN111949222A CN202010985434.7A CN202010985434A CN111949222A CN 111949222 A CN111949222 A CN 111949222A CN 202010985434 A CN202010985434 A CN 202010985434A CN 111949222 A CN111949222 A CN 111949222A
Authority
CN
China
Prior art keywords
data
pba
full
module
garbage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010985434.7A
Other languages
English (en)
Other versions
CN111949222B (zh
Inventor
孙京本
李佩
刘如意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010985434.7A priority Critical patent/CN111949222B/zh
Publication of CN111949222A publication Critical patent/CN111949222A/zh
Application granted granted Critical
Publication of CN111949222B publication Critical patent/CN111949222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种全闪磁盘阵列中垃圾回收中数据迁移的方法，在全闪磁盘阵列中，垃圾回收对无效数据的数据存储区域进行迁移和回收，对数据IO的存储采用的随机IO合并成为顺序IO的方式，按照顺序读取区域中翼展方向大小的数据块，获取数据的PBA并且记录，通过元数据模块进行PBA与LBA的范围查询，选取数据，然后调用模块进行数据迁移，调用元数据查询模块依次对数据中的PBA进行查询，并记录PBA上记录的所有LBA数据，调用元数据模块对LBA与PBA映射关系进行映射关系修改，检查当前共轭是否是区域的最后一个共轭，该发明针对通过分批获取待回收区域的共轭，实现进行垃圾回收中数据迁移。

Description

一种全闪磁盘阵列中垃圾回收中数据迁移的方法
技术领域
本发明涉及全闪磁盘阵列中垃圾回收中数据迁移技术领域，具体为一全闪磁盘阵列中垃圾回收中数据迁移的方法。
背景技术
全闪存阵列是完全由固态存储介质(通常是NAND闪存)构成的独立的存储阵列或设备，这些系统是用于增强可能包含磁盘阵列的环境的性能，或者用于取代所有传统的硬盘存储阵列。
但是，固态存储阵列开不能实现传统阵列那样的高扩展性，并且相对昂贵的SSD使得全闪存阵列只适用于高IOPS应用环境，而非通用存储。但是，由于其在高性能方面的优势，全闪存阵列一定会在绝大多数企业级环境中找到一席之地。
全闪存，在存储子系统中用固态硬盘(SSD)或其他闪存介质代替传统硬盘(HDD)。最显而易见的特性在于它的高IOPS。通常而言，单一脚本中，全闪存阵列可以提供50到100万IOPS，延迟在1毫秒以下。
闪存介质的威力通过一组数据可以看得非常清晰，通过在普通存储阵列中增加一个薄片的闪存，如占总容量2％到5％的比例，那么平均的IOPS值就可以加倍，读延迟可以从10毫秒减少到3到5毫秒。虽然闪存介质价格不菲，但10％到20％的价格增加换来两倍的性能提升，还是有赚翻了的感觉。
存储池
是由一个或多个MDisk组成的，一个或多个MDisk被划分为相同大小的extent数据块存放在存储池中的，再由这些extent组成全闪精简池所独有的日志卷，日志卷之上为存储池对外提供的精简卷。
主机IO
对于存储系统来说，主机通过客户端或者其他工具往存储系统上读写数据是产生的数据流量就是称为是主机IO。
数据迁移：
在软件层面，认为存储系统中的数据存储基本单元为区域，当区域中的无效数据过多时，系统会对该区域中的有效数据进行迁移，有效数据迁移到新的区域之后，会对原区域进行清0操作，已释放更多的空间。
垃圾回收
SSD页不能被复写。如果页中的数据必须更新，新版本必须写到空页中，而保存之前版本数据的页被标记为stale。当块被stale页充满后，其需要在能够再写入之前进行擦除。
SSD控制器中的垃圾回收进程确保“stale”的页被擦除并变为“free”状态，使得进来的写入命令可以访问这个页。闪存粒不能覆盖现有数据，所以SSD上，当前无效的数据仍然保留在硬盘上，这样的话就会产生大量的失效数据，也称为数据垃圾。为了提升SSD的利用效率，这时候就该“垃圾回收”。
发明内容
针对上述存在的技术问题，本发明的目的是：提出了一种通过分批获取待回收区域的共轭，实现进行垃圾回收中数据迁移，降低全闪磁盘阵列中数据存储的压力，从而避免大量数据的丢失的元数据处理方法，以解决上述背景技术中提出的问题。
本发明的技术解决方案是这样实现的：一种全闪磁盘阵列中垃圾回收中数据迁移的方法，在全闪磁盘阵列中，垃圾回收作为一个独立的模块，对无效数据存储区域进行迁移和回收，在全闪磁盘阵列中，对数据IO的存储采用的随机IO合并成为顺序IO的方式，垃圾回收获取到区域之后，按照顺序读取区域中翼展方向大小的数据块，获取数据的PBA并且记录，通过元数据模块进行PBA与LBA的范围查询，选取数据，然后调用模块进行数据迁移，调用元数据查询模块依次对数据中的PBA进行查询，并记录PBA上记录的所有LBA数据，调用元数据模块对LBA与PBA映射关系进行映射关系修改，检查当前共轭是否是区域的最后一个共轭。
优选的，所述在全闪磁盘阵列的垃圾数据回收中，垃圾数据回收作为一个独立的模块，对无效数据的数据存储区域进行迁移和回收。
优选的，所述全闪磁盘阵列中对数据IO的存储采用的随机IO合并成为顺序IO的方式，以区域为单位进存储，区域由LSA进行分配使用。
优选的，所述全闪磁盘阵列中垃圾回收中数据迁移的时候：先对数据垃圾进行回收，数据垃圾回收获取到区域之后，首先按照顺序读取区域中翼展方向大小的数据块；解析获取的数据块，从中获取数据的PBA并记录下获取的PBA数据；通过元数据模块进行PBA与LBA的范围查询，查询所有的PBA是否存在LBA；如果存在LBA，继续查询并且记录每个PBA上的LBA个数；按照垃圾回收强度的配置，选取数据，然后调用模块进行数据迁移；迁移完成之后，继续迁移目标区域；然后依次对数据中的PBA调用元数据查询模块，记录PBA上记录的所有的LBA个数；调用元数据模块对LBA与PBA映射关系进行映射关系修改；当检查当前共轭不是区域的最后一个共轭，继续进行数据迁移，如果检查当前共轭是区域的最后一个共轭，迁移完成。
一种全闪磁盘阵列，包括SSD存储，存储池，主机IO，数据迁移模块以及垃圾回收，所述垃圾回收进行数据迁移时，执行垃圾回收中数据迁移的方法。
由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
本发明通过分批获取待回收区域的共轭，实现进行垃圾回收中数据迁移，降低全闪磁盘阵列中数据存储的压力，从而避免大量数据的丢失。
附图说明
下面结合附图对本发明技术方案作进一步说明：
附图1为全闪磁盘阵列中垃圾回收中数据迁移的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种全闪磁盘阵列中垃圾回收中数据迁移的方法，在全闪磁盘阵列中，垃圾回收作为一个独立的模块，对无效数据存储区域进行迁移和回收，在全闪磁盘阵列中，对数据IO的存储采用的随机IO合并成为顺序IO的方式，垃圾回收获取到区域之后，按照顺序读取区域中翼展方向大小的数据块，获取数据的PBA并且记录，通过元数据模块进行PBA与LBA的范围查询，选取数据，然后调用模块进行数据迁移，调用元数据查询模块依次对数据中的PBA进行查询，并记录PBA上记录的所有LBA数据，调用元数据模块对LBA与PBA映射关系进行映射关系修改，检查当前共轭是否是区域的最后一个共轭。
在全闪磁盘阵列的垃圾数据回收中，垃圾数据回收作为一个独立的模块，对无效数据的数据存储区域进行迁移和回收。
全闪磁盘阵列，包括SSD存储，存储池，主机IO，数据迁移模块以及垃圾回收，所述垃圾回收进行数据迁移时，执行垃圾回收中数据迁移的方法。
全闪磁盘阵列中对数据IO的存储采用的随机IO合并成为顺序IO的方式，以区域为单位进存储，区域由LSA进行分配使用，Block使用之后，会被监控block的无效率，满足被迁移的条件后会进入垃圾回收的迁移流程。
全闪磁盘阵列中垃圾回收中数据迁移的时候，先对数据垃圾进行回收，数据垃圾回收获取到区域之后，首先按照顺序读取区域中翼展方向大小的数据块。
解析获取的数据块，从中获取数据的PBA并记录下获取的PBA数据，通过元数据模块进行PBA与LBA的范围查询，查询所有的PBA是否存在LBA，如果存在LBA，继续查询并且记录每个PBA上的LBA个数，按照垃圾回收强度的配置，选取数据，然后调用模块进行数据迁移，迁移完成之后，继续迁移目标区域。
然后依次对数据中的PBA调用元数据查询模块，记录PBA上记录的所有的LBA个数，调用元数据模块对LBA与PBA映射关系进行映射关系修改，当检查当前共轭不是区域的最后一个共轭，继续进行数据迁移，如果检查当前共轭是区域的最后一个共轭，迁移完成。
该发明通过分批获取待回收区域的共轭，实现进行垃圾回收中数据迁移，降低全闪磁盘阵列中数据存储的压力，从而避免大量数据的丢失。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种全闪磁盘阵列中垃圾回收中数据迁移的方法，其特征在于：在全闪磁盘阵列中，垃圾回收作为一个独立的模块，对无效数据存储区域进行迁移和回收，在全闪磁盘阵列中，对数据IO的存储采用的随机IO合并成为顺序IO的方式，垃圾回收获取到区域之后，按照顺序读取区域中翼展方向大小的数据块，获取数据的PBA并且记录，通过元数据模块进行PBA与LBA的范围查询，选取数据，然后调用模块进行数据迁移，调用元数据查询模块依次对数据中的PBA进行查询，并记录PBA上记录的所有LBA数据，调用元数据模块对LBA与PBA映射关系进行映射关系修改，检查当前共轭是否是区域的最后一个共轭。
2.根据权利要求1所述的一种全闪磁盘阵列中垃圾回收中数据迁移的方法，其特征在于：所述在全闪磁盘阵列的垃圾数据回收中，垃圾数据回收作为一个独立的模块，对无效数据的数据存储区域进行迁移和回收。
3.根据权利要求1所述的一种全闪磁盘阵列中垃圾回收中数据迁移的方法，其特征在于：所述全闪磁盘阵列中对数据IO的存储采用的随机IO合并成为顺序IO的方式，以区域为单位进存储，区域由LSA进行分配使用。
4.根据权利要求1所述的一种全闪磁盘阵列中垃圾回收中数据迁移的方法，其特征在于：所述全闪磁盘阵列中垃圾回收中数据迁移的时候：先对数据垃圾进行回收，数据垃圾回收获取到区域之后，首先按照顺序读取区域中翼展方向大小的数据块；解析获取的数据块，从中获取数据的PBA并记录下获取的PBA数据；通过元数据模块进行PBA与LBA的范围查询，查询所有的PBA是否存在LBA；如果存在LBA，继续查询并且记录每个PBA上的LBA个数；按照垃圾回收强度的配置，选取数据，然后调用模块进行数据迁移；迁移完成之后，继续迁移目标区域；然后依次对数据中的PBA调用元数据查询模块，记录PBA上记录的所有的LBA个数；调用元数据模块对LBA与PBA映射关系进行映射关系修改；当检查当前共轭不是区域的最后一个共轭，继续进行数据迁移，如果检查当前共轭是区域的最后一个共轭，迁移完成。
5.一种全闪磁盘阵列，包括SSD存储，存储池，主机IO，数据迁移模块以及垃圾回收，其特征在于：所述垃圾回收进行数据迁移时，执行权利要求1－4中任一项所述的方法。
CN202010985434.7A 2020-09-18 2020-09-18 一种全闪磁盘阵列中垃圾回收中数据迁移的方法 Active CN111949222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010985434.7A CN111949222B (zh) 2020-09-18 2020-09-18 一种全闪磁盘阵列中垃圾回收中数据迁移的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010985434.7A CN111949222B (zh) 2020-09-18 2020-09-18 一种全闪磁盘阵列中垃圾回收中数据迁移的方法

Publications (2)

Publication Number Publication Date
CN111949222A true CN111949222A (zh) 2020-11-17
CN111949222B CN111949222B (zh) 2022-09-20

Family

ID=73356266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010985434.7A Active CN111949222B (zh) 2020-09-18 2020-09-18 一种全闪磁盘阵列中垃圾回收中数据迁移的方法

Country Status (1)

Country Link
CN (1) CN111949222B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190469A (zh) * 2021-05-13 2021-07-30 合肥康芯威存储技术有限公司 一种存储器、数据写入方法及存储系统
CN115904264A (zh) * 2023-03-13 2023-04-04 浪潮电子信息产业股份有限公司 一种存储系统中块的垃圾数据回收方法、装置以及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284237A (zh) * 2018-09-26 2019-01-29 郑州云海信息技术有限公司 一种全闪存储阵列中的垃圾回收方法及系统
CN109683830A (zh) * 2019-01-08 2019-04-26 郑州云海信息技术有限公司 一种全闪存列阵的数据写入方法、系统及相关组件
CN111124258A (zh) * 2018-10-31 2020-05-08 深信服科技股份有限公司 全闪存阵列的数据存储方法、装置、设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284237A (zh) * 2018-09-26 2019-01-29 郑州云海信息技术有限公司 一种全闪存储阵列中的垃圾回收方法及系统
CN111124258A (zh) * 2018-10-31 2020-05-08 深信服科技股份有限公司 全闪存阵列的数据存储方法、装置、设备及可读存储介质
CN109683830A (zh) * 2019-01-08 2019-04-26 郑州云海信息技术有限公司 一种全闪存列阵的数据写入方法、系统及相关组件

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190469A (zh) * 2021-05-13 2021-07-30 合肥康芯威存储技术有限公司 一种存储器、数据写入方法及存储系统
CN115904264A (zh) * 2023-03-13 2023-04-04 浪潮电子信息产业股份有限公司 一种存储系统中块的垃圾数据回收方法、装置以及介质
CN115904264B (zh) * 2023-03-13 2023-06-13 浪潮电子信息产业股份有限公司 一种存储系统中块的垃圾数据回收方法、装置以及介质

Also Published As

Publication number Publication date
CN111949222B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
US10303600B2 (en) Method and storage device for collecting garbage data
KR101937521B1 (ko) 데이터 저장 시스템들을 위한 동적 오버프로비저닝
EP2646919B1 (en) Transaction log recovery
US8626987B2 (en) Flash memory system and defragmentation method
KR101606453B1 (ko) 비휘발성 데이터 저장 장치의 읽기 및 쓰기 성능 향상 방법
JP6224253B2 (ja) フラッシュメモリ内に記憶されたデータの推測的プリフェッチ
KR101678868B1 (ko) 플래시 주소 변환 장치 및 그 방법
CN108595110B (zh) 一种利用Nand特性提高读性能的方法及固态硬盘
US11321229B2 (en) System controller and system garbage collection method
CN112882650B (zh) 数据储存装置以及非挥发式存储器控制方法
CN111949222B (zh) 一种全闪磁盘阵列中垃圾回收中数据迁移的方法
CN110515550B (zh) 一种sata固态硬盘冷热数据分离的方法及其装置
JP6139711B2 (ja) 情報処理装置
CN112306974A (zh) 一种数据处理方法、装置、设备及存储介质
US11307979B2 (en) Data storage device and non-volatile memory control method
EP3671423B1 (en) Data access method and storage array
CN114356246B (zh) Ssd内部数据的存储管理方法、装置、存储介质及ssd设备
CN106844229B (zh) 固态硬盘固件映射表的组织方法、系统及装置
CN114036079A (zh) 映射表压缩方法、系统、存储器控制器、固态硬盘及数据读取方法
CN111026678B (zh) 基于固态硬盘的缓存设计方法、装置及计算机设备
CN115203079A (zh) 一种将数据写入固态硬盘的方法
CN116483263A (zh) 一种存储系统的存储设备、存储系统
CN114625318A (zh) 应用于固态硬盘的数据写入方法、装置、设备
CN111338846B (zh) 一种基于多核恢复l2p表的方法和装置
Kim et al. Advil: A pain reliever for the storage performance of mobile devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant