CN105138286A - 一种在磁盘文件系统中混合利用ssd和smr硬盘的方法 - Google Patents
一种在磁盘文件系统中混合利用ssd和smr硬盘的方法 Download PDFInfo
- Publication number
- CN105138286A CN105138286A CN201510490892.2A CN201510490892A CN105138286A CN 105138286 A CN105138286 A CN 105138286A CN 201510490892 A CN201510490892 A CN 201510490892A CN 105138286 A CN105138286 A CN 105138286A
- Authority
- CN
- China
- Prior art keywords
- hard disk
- ssd
- smr
- file system
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种在磁盘文件系统中混合利用SSD和SMR硬盘的方法，其特点是包括以下步骤：在SSD硬盘中建立SMR硬盘描述表，从而构成SSD硬盘与SMR硬盘的映射关系；文件系统对待写入数据分配数据块；文件系统根据数据块分配的结果，分别将已分配的数据分别写入到SSD硬盘和SMR硬盘中；更新SMR硬盘描述表的事务组信息，完成一个写数据循环。本发明将文件系统的数据分为经常需要修改的部分和数据部分，利用SSD硬盘来存储经常变化的部分，以提高访问效率，例如元数据；而SMR硬盘来存储文件的数据块，由于SSD存储了大部分的随机修改，这样就大大降低了系统的碎片率，提高了存储的效率与性能。
Description
技术领域
本发明属于磁盘存储技术领域，尤其涉及一种在磁盘文件系统中混合利用SSD和SMR硬盘的方法。
背景技术
随着硬盘技术的发展，单碟磁盘的容量迅速增长，单位磁盘面积的容量目前已经逼近了理论上限。传统磁盘在记录数据时，是把数据写到不重叠的平行的磁道上的，磁道之间有一定间距。叠瓦式磁记录(SMR)技术是一种提高磁盘存储密度的技术，其在写入新的磁道时会覆盖一部分的已有磁道，这样已有磁道就会变窄，从而提高了数据存储密度。
叠瓦式磁记录(SMR)技术虽然提高了存储密度，限制数据只能顺序写入，对于随机读写只能先读入数据、修改，然后再整块顺序写入，这样就需要磁盘的固件或操作系统有能力管理数据的写入。根据写入的管理方式，目前SMR硬盘写入技术主要包括以下二类：host-managed(操作系统管理写入)，device-managed(磁盘管理写入，对操作系统透明)。对于device-managed类型的磁盘，由于操作系统并不知道磁盘的不同，导致写入的速率不稳定。而对于host-managed类型的磁盘，数据的写入是由操作系统来管理的磁盘不处理数据覆盖的问题，这样就需要修改操作系统或应用程序访问磁盘的传统方式，导致处理方式复杂。
针对上述问题，目前主要采用日志文件系统来解决：所有数据都是顺序写入，对于删除的数据，文件系统定期进行碎片回收；在碎片回收过程中系统读入整块数据，修改合并后顺序写入整块数据，由应用固态硬盘(SSD)作为缓存来进行碎片整理。虽然日志文件系统的设计是所有数据都是顺序写入的，但还是有写信息需要随机修改，这样不可避免地要经常对SMR硬盘进行碎片整理。
发明内容
本发明的目的在于克服现有技术的不足，提供一种设计合理、整体磁盘存储效率高且易于实现的在磁盘文件系统中混合利用SSD和SMR硬盘的方法。
本发明解决其技术问题是采取以下技术方案实现的：
一种在磁盘文件系统中混合利用SSD和SMR硬盘的方法，包括以下步骤：
步骤1：在SSD硬盘中建立SMR硬盘描述表，从而构成SSD硬盘与SMR硬盘的映射关系；
步骤2：文件系统对待写入数据分配数据块；
步骤3：文件系统根据数据块分配的结果，将已分配的数据分别写入到SSD硬盘和SMR硬盘中；
步骤4：更新SMR硬盘描述表的事务组信息，完成一个写数据循环。
而且，SSD硬盘与SMR硬盘的映射关系包括：一个SSD硬盘与一个SMR硬盘的映射关系，或者一个SSD硬盘与多个SMR硬盘的映射关系。
而且，所述SMR硬盘描述表包括如下信息：硬盘GUID或序列号、SMR硬盘容量、已分配数据块列表和事务组信息。
而且，所述已分配数据块列表为一个可变长度的数据结构，每个可分配数据块列表对应SMR硬盘的分配表。
而且，所述分配文件系统对待写入的数据块进行分配方法为：SSD硬盘存储SMR硬盘描述表和文件系统元数据，SMR硬盘顺序分配文件数据信息。
而且，在步骤4后还包括定期对SMR硬盘的碎片整理步骤，定期对SMR硬盘的碎片整理的具体方法为：定期扫描SSD硬盘存储的信息，并与对应的SMR硬盘相对应，检查已分配数据块信息，如果碎片化达到一定程度则进行碎片整理；在碎片整理过程中，可以SSD硬盘做为碎片整理的缓存，读出SMR的碎片数据，合并之后再顺序写入新的数据块，之后释放碎片数据块。
本发明的优点和积极效果是：
本发明将SSD与SMR配合使用，将文件系统的数据分为经常需要修改的部分和数据部分，利用SSD硬盘来存储经常变化的部分，以提高访问效率，例如元数据；而SMR硬盘来存储文件的数据块。整体文件系统的写入类似日志文件系统的事务写入以保证数据一致性，这种方式的数据都是顺序写入的，不修改已有数据，定时做碎片整理；由于SSD存储了大部分的随机修改，这样就大大降低了系统的碎片率，提高了存储的效率与性能。
附图说明
图1是本发明在初始化时SSD和SMR硬盘的数据结构示意图；
图2是本发明在数据分配时数据存放的位置及关系示意图。
具体实施方式
以下结合附图对本发明实施例做进一步详述：
一种在磁盘文件系统中混合利用SSD和SMR硬盘的方法，包括以下步骤：
步骤1：在SSD硬盘中建立SMR硬盘描述表，从而构成SSD硬盘与SMR硬盘的映射关系。
在本步骤中建立的SSD硬盘与SMR硬盘的映射关系，可以是一个SMR硬盘对应一个SSD硬盘，也可以是多个SMR硬盘对应一个SSD硬盘。这样文件系统可以在一个SSD硬盘中存储系统所有SMR硬盘的状态信息。
如图1所示，在一个SSD硬盘中建立SMR硬盘描述表，每个SMR硬盘描述表存储了每个SMR硬盘的如下信息，包括：
(1)硬盘GUID或序列号：用于存储文件系统中所包含的SMR硬盘的信息，从而将SSD中的信息和SMR硬盘相对应。
(2)SMR硬盘容量。
(3)已分配数据块列表：该数据结构是一个可变长度的数据结构，已分配数据块列表对应SMR硬盘的分配表，根据实现方式，可以将SMR硬盘分成多个区，每个区对应一个可分配数据块列表。
(4)事务组信息：用于存储日志文件系统的日志状态。
步骤2：文件系统对待写入数据分配数据块。
本发明在分配数据块时将文件系统元数据(如文件数据位置)和SMR硬盘描述表等经常改变的数据在SSD硬盘中分配，而将文件数据信息在SMR硬盘中分配。如图2所示，文件分配系统将待写入数据块中的文件元数据(如数据块位置)及SMR硬盘描述表等信息的数据块在SSD硬盘中分配，文件数据信息在SMR中分配，并保证对SMR硬盘的顺序写入，同时SMR硬盘的已分配数据也写入SSD硬盘。
步骤3：文件系统根据数据块分配的结果，分别将已分配的数据分别写入到SSD硬盘和SMR硬盘中。
本步骤的具体写入方法为常规处理方法，在此不再详述。
步骤4：更新SMR硬盘描述表的事务组信息，完成一个写数据循环。
在本磁盘文件系统使用过程中，SMR硬盘也会产生一定的磁盘碎片，也需要对SMR硬盘进行碎片整理，具体整理过程为：
定期扫描SSD硬盘存储的信息，并与对应的SMR硬盘相对应。检查已分配数据块信息，如果碎片化达到一定程度则进行碎片整理。在碎片整理过程中，可以SSD硬盘做为碎片整理的缓存，读出SMR的碎片数据，合并之后再顺序写入新的数据块，之后释放碎片数据块。
在本磁盘文件系统使用过程中，如果要对SSD硬盘数据进行删除，其数据删除过程与数据写入过程一样，区别在于没有文件数据信息的写入，只有文件元数据的修改。
其他未进行说明的硬盘操作方法均属于常规技术，在此不再进行详述。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
Claims (6)
1.一种在磁盘文件系统中混合利用SSD和SMR硬盘的方法，其特征在于包括以下步骤：
步骤1：在SSD硬盘中建立SMR硬盘描述表，从而构成SSD硬盘与SMR硬盘的映射关系；
步骤2：文件系统对待写入数据分配数据块；
步骤3：文件系统根据数据块分配的结果，将已分配的数据分别写入到SSD硬盘和SMR硬盘中；
步骤4：更新SMR硬盘描述表的事务组信息，完成一个写数据循环。
2.根据权利要求1所述的一种在磁盘文件系统中混合利用SSD和SMR硬盘的方法，其特征在于：所述SSD硬盘与SMR硬盘的映射关系包括：一个SSD硬盘与一个SMR硬盘的映射关系，或者一个SSD硬盘与多个SMR硬盘的映射关系。
3.根据权利要求1所述的一种在磁盘文件系统中混合利用SSD和SMR硬盘的方法，其特征在于：所述SMR硬盘描述表包括如下信息：硬盘GUID或序列号、SMR硬盘容量、已分配数据块列表和事务组信息。
4.根据权利要求3所述的一种在磁盘文件系统中混合利用SSD和SMR硬盘的方法，其特征在于：所述已分配数据块列表为一个可变长度的数据结构，每个可分配数据块列表对应SMR硬盘的分配表。
5.根据权利要求1所述的一种在磁盘文件系统中混合利用SSD和SMR硬盘的方法，其特征在于：所述分配文件系统对待写入的数据块进行分配方法为：SSD硬盘存储SMR硬盘描述表和文件系统元数据，SMR硬盘顺序分配文件数据信息。
6.根据权利要求1至5任一项所述的一种在磁盘文件系统中混合利用SSD和SMR硬盘的方法，其特征在于：在步骤4后还包括定期对SMR硬盘的碎片整理步骤，定期对SMR硬盘的碎片整理的具体方法为：定期扫描SSD硬盘存储的信息，并与对应的SMR硬盘相对应，检查已分配数据块信息，如果碎片化达到一定程度则进行碎片整理；在碎片整理过程中，可以SSD硬盘做为碎片整理的缓存，读出SMR的碎片数据，合并之后再顺序写入新的数据块，之后释放碎片数据块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510490892.2A CN105138286A (zh) | 2015-08-11 | 2015-08-11 | 一种在磁盘文件系统中混合利用ssd和smr硬盘的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510490892.2A CN105138286A (zh) | 2015-08-11 | 2015-08-11 | 一种在磁盘文件系统中混合利用ssd和smr硬盘的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105138286A true CN105138286A (zh) | 2015-12-09 |
Family
ID=54723647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510490892.2A Pending CN105138286A (zh) | 2015-08-11 | 2015-08-11 | 一种在磁盘文件系统中混合利用ssd和smr硬盘的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105138286A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106201355A (zh) * | 2016-07-12 | 2016-12-07 | 腾讯科技（深圳）有限公司 | 数据处理方法和装置以及存储系统 |
| CN106599236A (zh) * | 2016-12-20 | 2017-04-26 | 北海市云盛科技有限公司 | 一种文件系统的元数据存储方法和装置 |
| CN106980471A (zh) * | 2017-03-27 | 2017-07-25 | 联想(北京)有限公司 | 一种提高智能设备的硬盘写入性能的方法及装置 |
| CN109558084A (zh) * | 2018-11-29 | 2019-04-02 | 文华学院 | 一种数据处理方法以及相关设备 |
| CN109669621A (zh) * | 2017-10-13 | 2019-04-23 | 杭州海康威视系统技术有限公司 | 一种文件管理方法、文件管理系统、电子设备及存储介质 |
| CN109710184A (zh) * | 2018-12-19 | 2019-05-03 | 中国人民解放军国防科技大学 | 瓦记录磁盘感知的分层式混合存储方法及系统 |
| CN109753224A (zh) * | 2017-11-03 | 2019-05-14 | 浙江宇视科技有限公司 | 存储结构及存储结构配置方法 |
| CN109783020A (zh) * | 2018-12-28 | 2019-05-21 | 西安交通大学 | 一种基于ssd-smr混合键值存储系统的垃圾回收方法 |
| US10423364B2 (en) | 2017-11-09 | 2019-09-24 | International Business Machines Corporation | Shingled magnetic recording drive mapping using non-volatile random access memory for persistent updates |
| CN110663019A (zh) * | 2017-05-26 | 2020-01-07 | 微软技术许可有限责任公司 | 用于叠瓦式磁记录(smr)的文件系统 |
| CN111722797A (zh) * | 2020-05-18 | 2020-09-29 | 西安交通大学 | 面向ssd与ha-smr混合存储系统数据管理方法、存储介质及设备 |
| CN113467723A (zh) * | 2021-07-26 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种数据存储方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130268718A1 (en) * | 2012-04-09 | 2013-10-10 | Hitachi Global Storage Technologies Netherlands B.V. | Implementing remapping command with indirection update for indirected storage |
| CN103354093A (zh) * | 2011-12-28 | 2013-10-16 | Hgst荷兰有限公司 | 用于盘驱动器中的叠瓦式磁记录的系统、方法和设备 |
| CN104536903A (zh) * | 2014-12-25 | 2015-04-22 | 华中科技大学 | 一种按数据属性分类存放的混合存储方法及系统 |
-
2015
- 2015-08-11 CN CN201510490892.2A patent/CN105138286A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103354093A (zh) * | 2011-12-28 | 2013-10-16 | Hgst荷兰有限公司 | 用于盘驱动器中的叠瓦式磁记录的系统、方法和设备 |
| US20130268718A1 (en) * | 2012-04-09 | 2013-10-10 | Hitachi Global Storage Technologies Netherlands B.V. | Implementing remapping command with indirection update for indirected storage |
| CN104536903A (zh) * | 2014-12-25 | 2015-04-22 | 华中科技大学 | 一种按数据属性分类存放的混合存储方法及系统 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106201355B (zh) * | 2016-07-12 | 2018-12-11 | 腾讯科技（深圳）有限公司 | 数据处理方法和装置以及存储系统 |
| CN106201355A (zh) * | 2016-07-12 | 2016-12-07 | 腾讯科技（深圳）有限公司 | 数据处理方法和装置以及存储系统 |
| CN106599236A (zh) * | 2016-12-20 | 2017-04-26 | 北海市云盛科技有限公司 | 一种文件系统的元数据存储方法和装置 |
| CN106980471A (zh) * | 2017-03-27 | 2017-07-25 | 联想(北京)有限公司 | 一种提高智能设备的硬盘写入性能的方法及装置 |
| CN106980471B (zh) * | 2017-03-27 | 2020-08-25 | 联想(北京)有限公司 | 一种提高智能设备的硬盘写入性能的方法及装置 |
| CN110663019A (zh) * | 2017-05-26 | 2020-01-07 | 微软技术许可有限责任公司 | 用于叠瓦式磁记录(smr)的文件系统 |
| CN110663019B (zh) * | 2017-05-26 | 2023-11-14 | 微软技术许可有限责任公司 | 用于叠瓦式磁记录(smr)的文件系统 |
| CN109669621A (zh) * | 2017-10-13 | 2019-04-23 | 杭州海康威视系统技术有限公司 | 一种文件管理方法、文件管理系统、电子设备及存储介质 |
| CN109753224A (zh) * | 2017-11-03 | 2019-05-14 | 浙江宇视科技有限公司 | 存储结构及存储结构配置方法 |
| US10423364B2 (en) | 2017-11-09 | 2019-09-24 | International Business Machines Corporation | Shingled magnetic recording drive mapping using non-volatile random access memory for persistent updates |
| CN109558084B (zh) * | 2018-11-29 | 2021-08-17 | 文华学院 | 一种数据处理方法以及相关设备 |
| CN109558084A (zh) * | 2018-11-29 | 2019-04-02 | 文华学院 | 一种数据处理方法以及相关设备 |
| CN109710184A (zh) * | 2018-12-19 | 2019-05-03 | 中国人民解放军国防科技大学 | 瓦记录磁盘感知的分层式混合存储方法及系统 |
| CN109710184B (zh) * | 2018-12-19 | 2022-02-18 | 中国人民解放军国防科技大学 | 瓦记录磁盘感知的分层式混合存储方法及系统 |
| CN109783020A (zh) * | 2018-12-28 | 2019-05-21 | 西安交通大学 | 一种基于ssd-smr混合键值存储系统的垃圾回收方法 |
| CN111722797B (zh) * | 2020-05-18 | 2021-06-29 | 西安交通大学 | 面向ssd与ha-smr混合存储系统数据管理方法、存储介质及设备 |
| CN111722797A (zh) * | 2020-05-18 | 2020-09-29 | 西安交通大学 | 面向ssd与ha-smr混合存储系统数据管理方法、存储介质及设备 |
| CN113467723A (zh) * | 2021-07-26 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种数据存储方法、装置、设备及介质 |
| CN113467723B (zh) * | 2021-07-26 | 2024-06-07 | 浙江大华技术股份有限公司 | 一种数据存储方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105138286A (zh) | 一种在磁盘文件系统中混合利用ssd和smr硬盘的方法 | |
| He et al. | {SMaRT}: An Approach to Shingled Magnetic Recording Translation | |
| CN103049397B (zh) | 一种基于相变存储器的固态硬盘内部缓存管理方法及系统 | |
| CN106548789B (zh) | 用于操作叠瓦式磁记录设备的方法和装置 | |
| US8909887B1 (en) | Selective defragmentation based on IO hot spots | |
| US8725946B2 (en) | Mass storage system and method of using hard disk, solid-state media, PCIe edge connector, and raid controller | |
| CN103186350B (zh) | 混合存储系统及热点数据块的迁移方法 | |
| CN102841851B (zh) | 闪存管理方法和闪存设备 | |
| CN104317742B (zh) | 一种优化空间管理的自动精简配置方法 | |
| CN102023810B (zh) | 一种写数据的方法、装置以及廉价冗余磁盘阵列 | |
| CN102163175B (zh) | 一种基于局部性分析的混合地址映射方法 | |
| WO2020038186A1 (zh) | 数据迁移方法、装置及存储设备 | |
| CN103838853A (zh) | 一种基于不同存储介质的混合文件系统 | |
| US20060218347A1 (en) | Memory card | |
| CN101488153A (zh) | 嵌入式Linux下大容量闪存文件系统的实现方法 | |
| CN107239526B (zh) | 文件系统实现方法、碎片整理方法、操作位置定位方法 | |
| CN105335098A (zh) | 一种基于存储级内存的日志文件系统性能提高方法 | |
| WO2021082422A1 (zh) | 一种存储系统空间回收的兼容处理方法、系统及设备 | |
| CN104346357A (zh) | 一种嵌入式终端的文件存取方法及系统 | |
| CN103645862B (zh) | 一种磁盘阵列初始化性能提升方法 | |
| CN103514249A (zh) | 一种数据自精简方法和系统及存储装置 | |
| CN106354658B (zh) | 一种降低混合映射算法中映射表内存资源占用的方法 | |
| CN101510332B (zh) | 一种智能卡中存储空间的管理方法和装置 | |
| CN108089825B (zh) | 一种基于分布式集群的存储系统 | |
| CN105159842A (zh) | 存储系统数据写时拷贝的处理方法和处理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151209 |