CN112306404A - 一种瓦记录磁盘数据布局方法、系统及相关设备 - Google Patents
一种瓦记录磁盘数据布局方法、系统及相关设备 Download PDFInfo
- Publication number
- CN112306404A CN112306404A CN202011077287.XA CN202011077287A CN112306404A CN 112306404 A CN112306404 A CN 112306404A CN 202011077287 A CN202011077287 A CN 202011077287A CN 112306404 A CN112306404 A CN 112306404A
- Authority
- CN
- China
- Prior art keywords
- data
- partition
- tile
- recording disk
- magnetic medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005192 partition Methods 0.000 claims abstract description 128
- 238000013508 migration Methods 0.000 claims abstract description 42
- 230000005012 migration Effects 0.000 claims abstract description 42
- 230000003068 static effect Effects 0.000 claims abstract description 38
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 description 12
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0676—Magnetic disk device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明公开了一种瓦记录磁盘数据布局方法、系统及相关设备，第一步，瓦记录磁盘中数据统计模块根据写数据的逻辑地址计算要写入的瓦记录分区，统计磁介质缓存中所述瓦记录分区的数据块的数量；第二步，若检测到瓦记录磁盘磁介质缓存写满，则瓦记录磁盘将部分写数据从磁介质缓存迁移到对应的瓦记录分区，并选择一个动态分区和静态分区进行数据迁移；第三步，瓦记录磁盘进行动态分区和静态分区数据迁移后，将磁介质缓存中已迁移出的数据标记为无效数据。通过上述方式，本发明能够通过对动态分区和静态分区的缓存替换策略，减少了DM‑SMR drive的数据迁移，提高了DM‑SMR drive的性能。
Description
技术领域
本发明涉及数据存储领域，特别是涉及一种瓦记录磁盘数据布局方法、系统及相关设备。
背景技术
当今时代，大数据的出现对存储容量的增长带来了很大的挑战。磁盘存储由于具备大容量、低成本的优势，仍将在存储系统中占据重要地位。受超顺磁效应的影响，传统磁盘的面密度即将达到极限，而瓦记录(shingled magnetic recording，SMR)技术能够在传统磁盘的基础上以较小成本实现磁盘面密度的增长，从而保证磁盘容量的增长。DM-SMRdrive是瓦记录磁盘的一种，其内部存储空间划分为磁介质缓存和成百上千个瓦记录分区(shingled zone)，瓦记录分区是瓦记录磁盘中一段逻辑地址连续的存储空间。对于瓦记录分区的管理通常有动态映射方式、静态映射方式和混合映射方式三种，动态映射方式是指数据写入任一瓦记录分区时总是采用动态映射方式写入，这会造成元数据量过大；静态映射方式是将数据总是以静态映射方式写入，这会造成写性能下降，而混合映射方式则结合了前两种映射方式的优点，将部分瓦记录分区采用动态映射方式管理，其余瓦记录分区采用静态映射方式管理。在当前的DM-SMR drive中，磁介质缓存采用日志写方式管理，而对于采用了混合映射方式管理瓦记录分区的方案，当DM-SMR drive接收到数据后，只是将属于静态瓦记录分区(简称静态分区)的数据先写到磁介质缓存中，而将属于动态瓦记录分区(简称动态分区)的数据直接写入动态分区，造成了过多的数据迁移，从而造成DM-SMRdrive性能下降。
发明内容
本发明主要解决的技术问题是提供一种瓦记录磁盘数据布局方法，能够将属于动态分区和静态分区的数据都写入磁介质缓存，并进行数据替换，减少了DM-SMR drive的数据迁移，提高了DM-SMR drive的性能。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种瓦记录磁盘数据布局方法，包括以下步骤：
S100，瓦记录磁盘中数据统计模块根据写数据的逻辑地址计算要写入的瓦记录分区，统计磁介质缓存中所述瓦记录分区的数据块的数量；
S200，若所述瓦记录磁盘检测到磁介质缓存写满，则瓦记录磁盘将部分写数据从磁介质缓存迁移到对应的瓦记录分区，并写入瓦记录分区中动态分区和静态分区进行数据迁移；
S300，瓦记录磁盘进行动态分区和静态分区数据迁移后，将磁介质缓存中已迁移出的数据标记为无效数据。
进一步，所述S200步骤中，所述瓦记录磁盘首先选择所述动态分区进行数据迁移，所述动态分区进行数据迁移后选择所述静态分区进行数据迁移。
进一步，所述动态分区进行数据迁移时，包括以下步骤：
S201，瓦记录磁盘根据瓦记录分区的数据块的数量对磁介质缓存中缓存数据的所有动态分区进行降序排序，瓦记录磁盘选择降序排序中瓦记录分区的数据块的数量最大的高地址的分区进行缓存数据替换；所述缓存数据替换包括瓦记录磁盘判断磁介质缓存中待迁移的数据块的数据是否满足特定关系，若满足特定关系，则直接写入所述高地址的分区，若不满足特定关系，则进入下一步骤；
S202，瓦记录磁盘对动态分区降序排序中高地址的分区，将高地址的分区中有效数据读出，和磁介质缓存中的待迁移数据合并，然后写回所述高地址的分区。
进一步，所述S201步骤中，所述特定关系包括降序排序中高地址的分区的数据量小于瓦记录分区存储的数据块的数量的四分之一和降序排序中高地址的分区的数据量加上瓦记录分区的数据块的数量不大于瓦记录分区存储的数据块的数量的二分之一。
进一步，所述静态分区进行数据迁移时，包括以下步骤：
S211，瓦记录磁盘根据磁介质缓存中的数据的逻辑地址，计算对应的静态分区在迁移过程中所应读出的数据块的数量；
S212，瓦记录磁盘将所述数据块的数量进行升序排序，选择所述数据块的数量最小的静态分区进行数据迁移。
一种瓦记录磁盘数据布局系统，包括：数据统计模块、负载监控模块、数据迁移模块、数据标记模块；所述数据统计模块根据写数据的逻辑地址计算要写入的瓦记录分区；所述数据统计模块统计磁介质缓存中该瓦记录分区的数据块的数量；所述负载监控模块负责检测到瓦记录磁盘磁介质缓存是否写满；所述数据标记模块将已迁移出的数据标记为无效数据。
进一步，所述数据迁移模块包括动态分区数据迁移模块与静态分区数据迁移模块。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的步骤。
一种电子设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述任一项步骤。
本发明的有益效果是：本发明在DM-SMR drive中，将属于动态分区和静态分区的数据都写入磁介质缓存，当磁介质缓存写满时，分别选择一个动态分区和静态分区进行缓存数据替换，并分别设计了针对动态分区和静态分区的缓存替换策略，减少了DM-SMRdrive的数据迁移，提高了DM-SMR drive的性能。
附图说明
图1是本发明一种瓦记录磁盘数据布局方法一较佳实施例的流程图；
图2是本发明一种瓦记录磁盘数据布局系统架构图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1和图2，本发明实施例包括：
一种瓦记录磁盘数据布局方法，包括以下步骤：
S100，瓦记录磁盘中数据统计模块根据写数据的逻辑地址计算其要写入的瓦记录分区，统计磁介质缓存中该瓦记录分区的数据块的数量cached_block_count；
S200，若所述瓦记录磁盘检测到磁介质缓存写满，则瓦记录磁盘将部分写数据从磁介质缓存迁移到对应的瓦记录分区，并写入瓦记录分区中动态分区和静态分区进行数据迁移；所述瓦记录磁盘首先选择动态分区进行数据迁移，其次选择静态分区进行数据迁移；
S300，瓦记录磁盘进行动态分区和静态分区数据迁移后，将磁介质缓存中已迁移出的数据标记为无效数据。
所述S200步骤中，所述动态分区数据迁移时，包括以下步骤：
S201，瓦记录磁盘对于在磁介质缓存中存在缓存数据的所有动态分区，根据cached_block_count进行降序排序，选择cached_block_count最大的高地址的半个分区进行缓存数据替换，所述缓存数据替换包括判断磁介质缓存中待迁移的数据块的数据量cached_block_count是否满足(half_zone_valid_block_count<zone_block_count/4)&&
(half_zone_valid_block_count+cached_block_count<＝zone_block_count/2)，若满足，则直接写入该动态分区，若满足，则进入202；
S202，瓦记录磁盘对于动态分区中高地址的半个分区，将动态分区中高地址的半个分区的有效数据读出，和磁介质缓存中的待迁移数据合并，然后写回该动态分区中高地址的半个分区。
所述S200步骤中，所述静态分区数据迁移时，包括以下步骤：
S211，瓦记录磁盘对于磁介质缓存中的数据所属的所有静态分区，根据磁介质缓存中的数据的逻辑地址，计算对应的静态分区在迁移过程中所应读出的数据块的数量zone_read_block_count。
S212，将S211中所有的zone_read_block_count进行升序排序，选择zone_read_block_count最小的静态分区进行数据迁移。
其中，瓦记录分区能够存储的数据块的数量记为zone_block_count，高逻辑地址的半个瓦记录分区的有效数据量记为half_zone_valid_block_count，对于静态分区，将数据从磁介质缓存迁移到静态分区过程中需要读取的静态分区的数据块的数量，记为zone_read_block_count。
见图2，基于与前述实施例中一种瓦记录磁盘数据布局方法同样的发明构思，本说明书实施例还提供一种瓦记录磁盘数据布局系统，包括：数据统计模块、负载监控模块、数据迁移模块、数据标记模块；所述数据统计模块根据写数据的逻辑地址计算其要写入的瓦记录分区，统计磁介质缓存中该瓦记录分区的数据块的数量cached_block_count；所述负载监控模块负责检测到瓦记录磁盘磁介质缓存是否写满；所述数据迁移模块包括动态分区数据迁移模块与静态分区数据迁移模块；所述数据标记模块将已迁移出的数据标记为无效数据。
本实施例中还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例中还提供了一种电子设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种瓦记录磁盘数据布局方法，其特征在于，包括以下步骤：
S100，瓦记录磁盘中数据统计模块根据写数据的逻辑地址计算要写入的瓦记录分区，统计磁介质缓存中所述瓦记录分区的数据块的数量；
S200，若所述瓦记录磁盘检测到磁介质缓存写满，则瓦记录磁盘将部分写数据从磁介质缓存迁移到对应的瓦记录分区，并写入瓦记录分区中动态分区和静态分区进行数据迁移；
S300，瓦记录磁盘进行动态分区和静态分区数据迁移后，将磁介质缓存中已迁移出的数据标记为无效数据。
2.根据权利要求1所述的一种瓦记录磁盘数据布局方法，其特征在于：所述S200步骤中，所述瓦记录磁盘首先选择所述动态分区进行数据迁移，所述动态分区进行数据迁移后选择所述静态分区进行数据迁移。
3.根据权利要求2所述的一种瓦记录磁盘数据布局方法，其特征在于：所述动态分区进行数据迁移时，包括以下步骤：
S201，瓦记录磁盘根据瓦记录分区的数据块的数量对磁介质缓存中缓存数据的所有动态分区进行降序排序，瓦记录磁盘选择降序排序中瓦记录分区的数据块的数量最大的高地址的分区进行缓存数据替换；所述缓存数据替换包括瓦记录磁盘判断磁介质缓存中待迁移的数据块的数据是否满足特定关系，若满足特定关系，则直接写入所述高地址的分区，若不满足特定关系，则进入下一步骤；
S202，瓦记录磁盘对动态分区降序排序中高地址的分区，将高地址的分区中有效数据读出，和磁介质缓存中的待迁移数据合并，然后写回所述高地址的分区。
4.根据权利要求3所述的一种瓦记录磁盘数据布局方法，其特征在于：所述S201步骤中，所述特定关系包括降序排序中高地址的分区的数据量小于瓦记录分区存储的数据块的数量的四分之一和降序排序中高地址的分区的数据量加上瓦记录分区的数据块的数量不大于瓦记录分区存储的数据块的数量的二分之一。
5.根据权利要求2所述的一种瓦记录磁盘数据布局方法，其特征在于：所述静态分区进行数据迁移时，包括以下步骤：
S211，瓦记录磁盘根据磁介质缓存中的数据的逻辑地址，计算对应的静态分区在迁移过程中所应读出的数据块的数量；
S212，瓦记录磁盘将所述数据块的数量进行升序排序，选择所述数据块的数量最小的静态分区进行数据迁移。
6.一种瓦记录磁盘数据布局系统，其特征在于，包括：数据统计模块、负载监控模块、数据迁移模块、数据标记模块；所述数据统计模块根据写数据的逻辑地址计算要写入的瓦记录分区；所述数据统计模块统计磁介质缓存中该瓦记录分区的数据块的数量；所述负载监控模块负责检测到瓦记录磁盘磁介质缓存是否写满；所述数据标记模块将已迁移出的数据标记为无效数据。
7.根据权利要求6所述的一种瓦记录磁盘数据布局系统，其特征在于：所述数据迁移模块包括动态分区数据迁移模块与静态分区数据迁移模块。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现上述权利要求1到5任一项所述的方法的步骤。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述权利要求1到5任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011077287.XA CN112306404B (zh) | 2020-10-10 | 2020-10-10 | 一种瓦记录磁盘数据布局方法、系统及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011077287.XA CN112306404B (zh) | 2020-10-10 | 2020-10-10 | 一种瓦记录磁盘数据布局方法、系统及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112306404A true CN112306404A (zh) | 2021-02-02 |
| CN112306404B CN112306404B (zh) | 2022-09-20 |
Family
ID=74489560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011077287.XA Active CN112306404B (zh) | 2020-10-10 | 2020-10-10 | 一种瓦记录磁盘数据布局方法、系统及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112306404B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113946286A (zh) * | 2021-08-17 | 2022-01-18 | 丝路信息港云计算科技有限公司 | 一种云节点块级缓存方法，存储装置及服务器 |
| CN115543221A (zh) * | 2022-11-29 | 2022-12-30 | 苏州浪潮智能科技有限公司 | 固态硬盘的数据迁移方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999428A (zh) * | 2012-11-01 | 2013-03-27 | 华中科技大学 | 一种瓦记录磁盘的四级编址方法 |
| CN108804019A (zh) * | 2017-04-27 | 2018-11-13 | 华为技术有限公司 | 一种数据存储方法及装置 |
| CN109710184A (zh) * | 2018-12-19 | 2019-05-03 | 中国人民解放军国防科技大学 | 瓦记录磁盘感知的分层式混合存储方法及系统 |
| CN111400204A (zh) * | 2020-02-29 | 2020-07-10 | 苏州浪潮智能科技有限公司 | 一种固态盘缓存方法、系统及相关设备 |
-
2020
- 2020-10-10 CN CN202011077287.XA patent/CN112306404B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999428A (zh) * | 2012-11-01 | 2013-03-27 | 华中科技大学 | 一种瓦记录磁盘的四级编址方法 |
| CN108804019A (zh) * | 2017-04-27 | 2018-11-13 | 华为技术有限公司 | 一种数据存储方法及装置 |
| CN109710184A (zh) * | 2018-12-19 | 2019-05-03 | 中国人民解放军国防科技大学 | 瓦记录磁盘感知的分层式混合存储方法及系统 |
| CN111400204A (zh) * | 2020-02-29 | 2020-07-10 | 苏州浪潮智能科技有限公司 | 一种固态盘缓存方法、系统及相关设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113946286A (zh) * | 2021-08-17 | 2022-01-18 | 丝路信息港云计算科技有限公司 | 一种云节点块级缓存方法，存储装置及服务器 |
| CN115543221A (zh) * | 2022-11-29 | 2022-12-30 | 苏州浪潮智能科技有限公司 | 固态硬盘的数据迁移方法、装置、电子设备及存储介质 |
| CN115543221B (zh) * | 2022-11-29 | 2023-03-14 | 苏州浪潮智能科技有限公司 | 固态硬盘的数据迁移方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112306404B (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109783020B (zh) | 一种基于ssd-smr混合键值存储系统的垃圾回收方法 | |
| EP3869316B1 (en) | Hybrid storage | |
| CN106548789A (zh) | 用于操作叠瓦式磁记录设备的方法和装置 | |
| CN111400204B (zh) | 一种固态盘缓存方法、系统及相关设备 | |
| CN112306404B (zh) | 一种瓦记录磁盘数据布局方法、系统及相关设备 | |
| CN103077121B (zh) | 一种闪存存储设备中数据管理的方法及装置 | |
| JP2007280068A (ja) | フラッシュメモリ装置及びフラッシュメモリへのアクセス方法 | |
| CN107003809A (zh) | 一种存储设备存储数据的方法及存储设备 | |
| CN108733306A (zh) | 一种文件合并方法及装置 | |
| CN104598386B (zh) | 通过追踪和利用二级映射索引重复利用固态驱动器块 | |
| CN108804019A (zh) | 一种数据存储方法及装置 | |
| CN104268099A (zh) | 一种管理数据读写的方法及装置 | |
| CN102520885B (zh) | 一种混合硬盘的数据管理系统 | |
| US8868853B2 (en) | Data processing device, data recording method and data recording program | |
| CN108563586A (zh) | 一种分离固态盘中垃圾回收数据与用户数据的方法 | |
| CN111078143B (zh) | 基于段映射进行数据布局和调度的混合存储方法及系统 | |
| JP6642495B2 (ja) | ストレージ管理システム | |
| KR101191650B1 (ko) | 낸드 플래시 메모리에서 데이터의 주소를 사상시키는 장치 및 방법 | |
| CN103176753B (zh) | 存储设备及其数据管理方法 | |
| CN102779017B (zh) | 一种固态盘中数据缓存区的控制方法 | |
| JP2004517399A (ja) | フラグメンテーションを減少させるための方法及びシステム | |
| JP2007272721A (ja) | ストレージ装置及びその制御方法 | |
| CN113126921B (zh) | 一种提高固态盘内3d闪存芯片写性能的优化方法 | |
| KR20110070656A (ko) | 플래시 메모리의 데이터 처리 방법 및 장치 | |
| KR100859989B1 (ko) | 플래시 메모리의 공간정보 관리장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |