CN101789016A - 一种提高文件系统有效存储容量的方法及装置 - Google Patents
一种提高文件系统有效存储容量的方法及装置 Download PDFInfo
- Publication number
- CN101789016A CN101789016A CN201010109185A CN201010109185A CN101789016A CN 101789016 A CN101789016 A CN 101789016A CN 201010109185 A CN201010109185 A CN 201010109185A CN 201010109185 A CN201010109185 A CN 201010109185A CN 101789016 A CN101789016 A CN 101789016A
- Authority
- CN
- China
- Prior art keywords
- data
- file system
- compression
- access feature
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013144 data compression Methods 0.000 claims abstract description 47
- 238000007906 compression Methods 0.000 claims description 38
- 230000006835 compression Effects 0.000 claims description 38
- 238000012544 monitoring process Methods 0.000 claims description 18
- 230000006837 decompression Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种提高文件系统有效存储容量的方法及装置，该方法包括：监控文件系统数据的存取特征；将文件系统数据的存取特征与一预设的存取特征与数据压缩策略的对应关系进行匹配，根据匹配出的数据压缩策略对文件系统数据进行压缩处理。该方法能够在不损失文件系统性能的情况下，有效提高文件系统存储容量。
Description
技术领域
本发明涉及计算机以及网络信息技术领域，具体涉及一种提高文件系统有效存储容量的方法及装置。
背景技术
随着技术的进步，文件系统的存储容量越来越大，但是需要存储的数据量增长却更快。因此文件系统普遍具备压缩技术。
传统支持压缩的文件系统架构如图1所示，但是这种普通的压缩技术对所有的数据都进行压缩，反而可能导致系统性能的下降。而数据分级存储技术不仅需要增加额外的硬件设备及配套软件工具，还可能导致数据在各级存储介质上频繁的移动，且并未解决有效存储容量的问题。
发明内容
本发明要解决的技术问题是，提出一种提高文件系统有效存储容量的方法及装置，对数据进行针对性的压缩，在不损失文件系统性能的情况下，有效提高文件系统存储容量。
为了解决上述技术问题，本发明提出了一种提高文件系统有效存储容量的方法，包括：
监控文件系统数据的存取特征；
将文件系统数据的存取特征与一预设的存取特征与数据压缩策略的对应关系进行匹配，根据匹配出的数据压缩策略对文件系统数据进行压缩处理。
进一步地，上述方法还可具有以下特点：
所述存取特征至少包括文件系统数据在单位时间内的存取频度。
进一步地，上述方法还可具有以下特点：
所述数据压缩策略是压缩比例和/或压缩算法。
进一步地，上述方法还可具有以下特点：
所述数据压缩策略是压缩比例；
所述预设的存取特征与数据压缩策略的对应关系是，存储频度越低的数据对应越高的压缩比例。
进一步地，上述方法还可具有以下特点：
所述提高文件系统有效存储容量的方法适用于集群文件系统，以及普通文件系统。
为了解决上述技术问题，本发明还提出了一种提高文件系统有效存储容量的装置，包括数据存取特征监控模块和动态调度模块，其中：
所述数据存取特征监控模块，用以监测文件系统数据的存取特征；
所述动态调度模块，用以将所述数据存取特征监控模块监测到的存取特征与一预设的存取特征与数据压缩策略的对应关系进行匹配，得到一数据压缩策略。
进一步地，上述装置还可具有以下特点：
所述存取特征至少包括文件系统数据在单位时间内的存取频度。
进一步地，上述装置还可具有以下特点：
所述数据压缩策略是压缩比例和/或压缩算法。
进一步地，上述装置还可具有以下特点：
所述数据压缩策略是压缩比例；
所述预设的存取特征与数据压缩策略的对应关系是，存储频度越低的数据对应越高的压缩比例。
进一步地，上述装置还可具有以下特点：
还包括数据压缩模块和数据解压缩模块，其中：
所述数据压缩模块，用以根据所述动态调度模块匹配出的数据压缩策略进行数据压缩处理，将压缩后的数据块写入物理存储介质，并擦除原始数据；
所述数据解压缩模块，用以根据所述动态调度模块匹配出的数据压缩策略，对采用该数据压缩策略压缩后的数据进行解压缩处理后提供给上层文件系统。
本发明提出的一种提高文件系统有效存储容量的方法及装置，在传统文件系统压缩技术的基础上进行了改进，与现有技术相比具有如下优点：
无需增加硬件购置成本，即可大大提高现有物理介质的有效存储容量；
根据存取特征进行数据压缩，在提高有效存储容量的同时，也保证了文件系统的响应性能；
可以根据用户设定策略，动态改变压缩比例。
附图说明
图1是传统支持压缩的文件系统架构示意图；
图2是本发明实施例一种提高文件系统有效存储容量的方法流程图；
图3是本发明实施例一种提高文件系统有效存储容量的装置方框图；
图4是本发明实施例一种提高文件系统有效存储容量的文件系统架构示意图。
具体实施方式
下面将结合附图来详细说明本发明实施方案。
参见图2，该图示出了本发明实施例一种提高文件系统有效存储容量的方法，包括如下步骤：
步骤S201：监控文件系统数据的存取特征；
所述存取特征可以是，文件系统数据在单位时间内的存取频度，例如一周之内存取的次数。所述存取特征也可以是单位时间内的存储频度与应用条件的结合等。
步骤S202：将文件系统数据的存取特征与一预设的存取特征与数据压缩策略的对应关系进行匹配，根据匹配出的数据压缩策略对文件系统数据进行压缩处理。
所述预设的存取特征与数据压缩策略的对应关系可以根据用户需要设定。例如，所述存取特征可以是单位时间内的存储频度，所述数据压缩策略可以是压缩比例，所述预设的存取特征与数据压缩策略的对应关系可以设置为存储频度越低的数据对应越高的压缩比例，这样，根据存储频度可以对长期不用的数据进行高压缩比的压缩，而对频繁存取的数据则可不予以压缩处理等。再例如，所述存取特征是单位时间内的存储频度与应用条件的结合，所述数据压缩策略可以是压缩算法。
在对数据进行压缩处理之后，将其写入物理存储介质，同时擦除原始数据。
上述方法既适用于集群文件系统，也适用于普通文件系统。用户可以根据其对性能和存储空间的需求，动态配置和调度数据压缩策略，使文件系统在满足用户性能需求的情况下，尽可能的提高压缩比例，提高物理存储空间利用率。
为了实现上述方法，本发明实施例还提供了一种提高文件系统有效存储容量的装置，如图3所示，包括数据压缩模块、数据解压缩模块、数据存取特征监控模块、动态调度模块，其中：
所述数据存取特征监控模块，用以监测文件系统数据的存取特征。所述存取特征可以是，文件系统数据在单位时间内的存取频度，例如一周之内存取的次数，或者，也可以是单位时间内的存储频度与应用条件的结合等。其为动态调度模块提供决策支持。
所述动态调度模块，用以将所述数据存取特征监控模块监测到的存取特征与一预设的存取特征与数据压缩策略的对应关系进行匹配，得到一数据压缩策略；
所述预设的存取特征与数据压缩策略的对应关系可以根据用户需要设定。例如，所述存取特征可以是单位时间内的存储频度，所述数据压缩策略可以是压缩比例，所述预设的存取特征与数据压缩策略的对应关系可以设置为存储频度越低的数据对应越高的压缩比例，这样，根据存储频度可以对长期不用的数据进行高压缩比的压缩，而对频繁存取的数据则可不予以压缩处理等。再例如，所述存取特征是单位时间内的存储频度与应用条件的结合，所述数据压缩策略可以是压缩算法。
所述数据压缩模块，用以对上层文件系统提供标准的数据写接口，并根据所述动态调度模块匹配出的数据压缩策略进行数据压缩处理，将压缩后的数据块写入物理存储介质，并擦除原始数据。
所述数据解压缩模块，用以对上层文件系统提供标准的数据读接口，根据所述动态调度模块匹配出的数据压缩策略，将采用该数据压缩策略压缩后的数据进行解压缩处理，将其还原为正常数据后提供给上层文件系统。
参见图4，该图示出了本发明实施例一种提高文件系统有效存储容量的文件系统架构，其与图1示出的统支持压缩的文件系统架构的主要区别在于，增加了数据存取特征监控模块和动态调度模块，动态调度模块提供用户设置接口，用户可根据需要对其设置，由数据存取特征监控模块监测文件系统数据的存取特征，由动态调度模块根据文件系统数据的存取特征，进行灵活调度，对具有不同存取特征的数据采用不同的压缩处理手段，使文件系统在满足用户性能需求的情况下，尽可能的提高压缩比例，提高物理存储空间利用率。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种提高文件系统有效存储容量的方法，其特征在于，包括：
监控文件系统数据的存取特征；
将文件系统数据的存取特征与一预设的存取特征与数据压缩策略的对应关系进行匹配，根据匹配出的数据压缩策略对文件系统数据进行压缩处理。
2.如权利要求1所述的方法，其特征在于：
所述存取特征至少包括文件系统数据在单位时间内的存取频度。
3.如权利要求2所述的方法，其特征在于：
所述数据压缩策略是压缩比例和/或压缩算法。
4.如权利要求2所述的方法，其特征在于：
所述数据压缩策略是压缩比例；
所述预设的存取特征与数据压缩策略的对应关系是，存储频度越低的数据对应越高的压缩比例。
5.如权利要求1所述的方法，其特征在于：
所述提高文件系统有效存储容量的方法适用于集群文件系统，以及普通文件系统。
6.一种提高文件系统有效存储容量的装置，其特征在于，包括数据存取特征监控模块和动态调度模块，其中：
所述数据存取特征监控模块，用以监测文件系统数据的存取特征；
所述动态调度模块，用以将所述数据存取特征监控模块监测到的存取特征与一预设的存取特征与数据压缩策略的对应关系进行匹配，得到一数据压缩策略。
7.如权利要求6所述的装置，其特征在于：
所述存取特征至少包括文件系统数据在单位时间内的存取频度。
8.如权利要求7所述的装置，其特征在于：
所述数据压缩策略是压缩比例和/或压缩算法。
9.如权利要求7所述的装置，其特征在于：
所述数据压缩策略是压缩比例；
所述预设的存取特征与数据压缩策略的对应关系是，存储频度越低的数据对应越高的压缩比例。
10.如权利要求6-9中任何一项所述的装置，其特征在于，还包括数据压缩模块和数据解压缩模块，其中：
所述数据压缩模块，用以根据所述动态调度模块匹配出的数据压缩策略进行数据压缩处理，将压缩后的数据块写入物理存储介质，并擦除原始数据；
所述数据解压缩模块，用以根据所述动态调度模块匹配出的数据压缩策略，对采用该数据压缩策略压缩后的数据进行解压缩处理后提供给上层文件系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010109185A CN101789016A (zh) | 2010-02-08 | 2010-02-08 | 一种提高文件系统有效存储容量的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010109185A CN101789016A (zh) | 2010-02-08 | 2010-02-08 | 一种提高文件系统有效存储容量的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101789016A true CN101789016A (zh) | 2010-07-28 |
Family
ID=42532230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010109185A Pending CN101789016A (zh) | 2010-02-08 | 2010-02-08 | 一种提高文件系统有效存储容量的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101789016A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102929783A (zh) * | 2012-10-25 | 2013-02-13 | 华为技术有限公司 | 一种数据存储的方法、装置和系统 |
| CN104008153A (zh) * | 2014-05-21 | 2014-08-27 | 浪潮(北京)电子信息产业有限公司 | 一种面向大数据处理的数据处理方法和装置 |
| CN105045846A (zh) * | 2015-06-30 | 2015-11-11 | 广东欧珀移动通信有限公司 | 一种图像的存储方法及终端 |
| CN108243022A (zh) * | 2016-12-23 | 2018-07-03 | 中国移动通信有限公司研究院 | 一种网络服务消息传输方法、装置、终端及服务器 |
-
2010
- 2010-02-08 CN CN201010109185A patent/CN101789016A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102929783A (zh) * | 2012-10-25 | 2013-02-13 | 华为技术有限公司 | 一种数据存储的方法、装置和系统 |
| CN102929783B (zh) * | 2012-10-25 | 2015-12-02 | 华为技术有限公司 | 一种数据存储的方法、装置和系统 |
| CN104008153A (zh) * | 2014-05-21 | 2014-08-27 | 浪潮(北京)电子信息产业有限公司 | 一种面向大数据处理的数据处理方法和装置 |
| CN104008153B (zh) * | 2014-05-21 | 2017-09-26 | 浪潮(北京)电子信息产业有限公司 | 一种面向大数据处理的数据处理方法和装置 |
| CN105045846A (zh) * | 2015-06-30 | 2015-11-11 | 广东欧珀移动通信有限公司 | 一种图像的存储方法及终端 |
| CN108243022A (zh) * | 2016-12-23 | 2018-07-03 | 中国移动通信有限公司研究院 | 一种网络服务消息传输方法、装置、终端及服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104281528B (zh) | 一种数据存储方法及装置 | |
| US20080222380A1 (en) | System and method for dynamic memory allocation | |
| CN106484331A (zh) | 一种数据处理方法、装置及闪存设备 | |
| CN101526923A (zh) | 一种数据处理方法、装置和闪存存储系统 | |
| CN101320348A (zh) | 一种嵌入式系统的日志功能实现方法 | |
| CN103516369A (zh) | 一种自适应数据压缩和解压缩的方法和系统及存储装置 | |
| CN103049216B (zh) | 固态硬盘及其数据处理方法、系统 | |
| US9632562B2 (en) | Systems and methods for reducing volatile memory standby power in a portable computing device | |
| WO2016048599A1 (en) | Caching technologies employing data compression | |
| WO2014188528A1 (ja) | メモリ装置、計算機システム及びメモリ装置の制御方法 | |
| US20160364176A1 (en) | Method for Storing Data and Device Thereof | |
| CN101789016A (zh) | 一种提高文件系统有效存储容量的方法及装置 | |
| CN102981970B (zh) | 闪存管理方法和系统 | |
| CN103473266A (zh) | 固态硬盘及其删除重复数据的方法 | |
| CN106575273A (zh) | 用于扩展片上系统的存储器的系统和方法 | |
| CN102243615B (zh) | 一种支持音视频帧存储的内存缓冲管理方法 | |
| CN101964205B (zh) | 基于固态硬盘的ecc模块动态复用系统及方法 | |
| CN109416662A (zh) | 使用存储使用率环的选择性闪存压缩/解压缩 | |
| JP6309621B2 (ja) | メモリシステムにおける電力消費を節約するためのシステムおよび方法 | |
| JP2017502539A (ja) | マルチユーザの省電力コードブックの最適化を実現するためのシステムおよび方法 | |
| CN103324586A (zh) | 动态自适应缓存系统 | |
| CN109445719B (zh) | 一种数据存储方法及装置 | |
| CN111143239A (zh) | 一种智能电表的冻结电量数据压缩存储方法和解压方法 | |
| WO2011048400A1 (en) | Memory interface compression | |
| CN101957729A (zh) | 逻辑块变换方法及基于该方法兼容用户读写的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100728 |