CN106777342A - 一种基于可靠性的高性能文件系统混合节能存储系统及方法 - Google Patents

一种基于可靠性的高性能文件系统混合节能存储系统及方法 Download PDF

Info

Publication number
CN106777342A
CN106777342A CN201710027909.XA CN201710027909A CN106777342A CN 106777342 A CN106777342 A CN 106777342A CN 201710027909 A CN201710027909 A CN 201710027909A CN 106777342 A CN106777342 A CN 106777342A
Authority
CN
China
Prior art keywords
data
cold
cold data
file
file system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710027909.XA
Other languages
English (en)
Inventor
肖肇宇
殷树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN201710027909.XA priority Critical patent/CN106777342A/zh
Publication of CN106777342A publication Critical patent/CN106777342A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于可靠性的高性能文件系统混合节能存储系统和方法：包括中间层文件系统模块、热数据高速存储模块以及冷数据存储模块；本发明节能存储框架采用并行条块化的方式存储数据，保证了文件系统的高性能及高可靠性；同时能够对数据文件的访问量进行分类归纳为热数据、冷数据，并将访问率较高的热数据存入读写性能较高的数据存储模块，将访问率较低的冷数据存入读写性能一般的数据存储模块，在冷数据不被访问的时候关闭冷数据存储模块实现节能。该框架应用于访问率较为集中于部分数据的服务器及数据中心中时，可以获得很好的节能效果。

Description

一种基于可靠性的高性能文件系统混合节能存储系统及方法
技术领域
本发明涉及一种混合节能存储框架，尤其是涉及一种基于可靠性的高性能文件系统混合节能存储系统及方法。
背景技术
名词解释：
PLFS文件系统：一款开源的并行检查点存储文件系统系统，本设计内使用的是根据其源码自力开发的文件系统。
PVFS文件系统：一款提供RIAD-0系统结构的并行文件存储系统。
随着科技的不断发展和技术的不断进步，硬件性能的不断提升，并行存储系统的性能也日新月异，尤其是并行存储系统的存取效率更是出类拔萃。但是并行存储系统性能的不断升级，并行的系统的规模的不断扩大，一些之前没有被关注的问题也渐渐浮现出来。其中，以并行存储系统的节能与可靠性的冲突问题尤为突出。
磁盘所消费的能源仍然占有现代系统中一个突出的能源使用部分。在Web服务器中，磁盘通常占有24％的能源使用；而在proxy服务器则占有高达77％的比重。在一个典型的数据中心，存储设备能够占据高达27％的电能消耗。也有研究证明，有效的节能策略能够可观的降低磁盘能源消耗。但是，节能技术对系统的可靠性或多或少都有一定的影响，系统的可靠性的降低意味着系统更易于产生问题。因此，为了保证系统的可靠性需要在节能与可靠性之间达成最优的平衡，在实现节能的同时将对系统的可靠性造成的影响降到最低成了许多研究者致力的目标。
同时，由于固态硬盘生产成本的逐渐降低，具有高随机读写性能及低能耗的固态硬盘在存储领域的竞争力随之增强，因此固态硬盘渐渐开始普及于日常生活中。然而，由于固态硬盘仍然较高的价格极其受可擦写次数限制的寿命原因，完全使用固态硬盘搭建的大型服务器和数据中心将耗费庞大的资金。因此，与其单纯地将机械硬盘替换为固态硬盘搭建服务器或数据中心，研究者们正致力于寻找将两者互补平衡其性能，可靠性以及存储成本的方法。
发明内容
本发明所要解决的技术问题，就是提供一种基于可靠性的高性能文件系统混合节能存储系统及方法，用于高性能文件系统基于可靠性的I/O读写性能优化及在此基础上实现节能，适用于服务器及数据中心的节能工作，在数据重复访问率较高的情况下有较好的效果。
解决上述技术问题，本发明采用的技术方案如下：
一种基于可靠性的高性能文件系统混合节能存储系统，其特征是：包括中间层文件系统和数据存储单元，所述数据存储单元包括热数据高速存储模块以及冷数据存储模块；
所述的中间层文件系统包括定向模块，所述定向模块包括分类判断单元；所述分类判断单元用于对数据的访问率进行分类判断并将数据分类为访问率较高的热数据和访问率较低的冷数据；
热数据高速存储模块用于存储热数据，冷数据存储模块用于储存冷数据。
进一步的改进，所述定向模块包括动态分类单元，所述动态分类单元用于根据数据的访问率重新划分热数据和冷数据。
进一步的改进，所述中间层文件系统包括节能控制单元；所述节能控制单元用于计算冷数据带宽使用率RC，并根据冷数据带宽使用率RC决定冷数据存储模块处于休眠模式或活动模式。
进一步的改进，所述热数据高速存储模块包括第一PVFS文件系统以及并行的数块固态硬盘；第一PVFS文件系统用于接收中间层文件系统的热数据的读/写请求；固态硬盘负责将写入第一PVFS文件系统的数据条块化地保存，以及并行地满足读取数据的请求；
所述冷数据存储模块包括第二PVFS文件系统以及并行的数块机械硬盘；第二PVFS文件系统用于接收中间层文件系统的冷数据的读/写请求；机械硬盘负责将写入第二PVFS文件系统的数据条块化地保存，以及并行地满足读取数据的请求。
进一步的改进，所述热数据高速存储模块为热数据服务器，所述冷数据存储模块为冷数据服务器。
进一步的改进，所述中间层文件系统包括PLFS文件系统，中间层文件系统分别与热数据高速存储模块以及冷数据存储模块相连接，连接方式为将中间层文件系统中的PLFS文件系统的数据存储后端设置为PVFS文件系统。
进一步的改进，所述中间层文件系统还包括权限模块：负责保存及维护各个用户对文件的权限信息，用户访问的时候判断用户是否有权限；
读写模块：负责处理用户的文件读写请求；
存储模块：根据读写模块处理的读写请求存储文件数据；
索引模块：负责维护用户存入文件数据的索引，方便处理读取操作时快速定位请求的文件。
一种基于可靠性的高性能文件系统混合节能存储方法，包括如下步骤：
步骤一、分类判断单元用于对数据的访问率进行分类判断并将数据分类为访问率较高的热数据和访问率较低的冷数据，具体步骤如下：
1)分析日志文件，对每个文件，记录一段时间T内被访问的次数n；
2)将每个文件一段时间T1内被访问的次数由高到低排序；
3)计算出一段时间T1内每个文件的访问频率R，R＝该文件被访问计数n/所有文件被访问总计数N；
4)将访问频率R大于10％的文件分类为热数据，存入固态硬盘服务器，将访问频率R小于或等于10％的文件分类为冷数据，存入机械硬盘服务器；
步骤二、动态分类单元根据数据的访问率重新划分热数据和冷数据，具体步骤如下：
设定访问率阀值O，对于冷数据，若一段时间T2内访问次数计数高于阀值O，则将数据从冷数据移入热数据存储服务器；对于热数据，若一段时间T2内访问计数低于阀值O，则将热数据移入冷数据存储服务器；
步骤三、节能控制单元计算冷数据带宽使用率RC，并根据冷数据带宽使用率RC决定冷数据存储模块处于休眠模式或活动模式，具体步骤如下：
Ⅰ.计算冷数据服务器的服务带宽BC，BC＝冷数据服务器硬盘数a*单块硬盘带宽b；
Ⅱ.冷数据服务器开启时，持续计算冷数据带宽使用率RC，RC＝当前访问流量w/冷数据服务器带宽BC，并对其进行持续判断；
Ⅲ.若经过一段时间T3，冷数据服务器的带宽使用率RC始终小于等于5％，则将冷数据服务器转入休眠模式，并记录期间对冷数据服务器的访问请求，当记录的访问请求数达到次数C，则将冷数据服务器转入活动模式响应累积的请求。
进一步的改进，T1为86400*i秒，i为正整数，表示天数，一般i≤30(O为5％～10％；T2为3600～10800秒；T3为1200～2400秒；C为10～30。
进一步的改进，包括如下步骤：
一、用户访问的时候判断用户是否有权限，有权限则允许进行访问操作；
二、接收用户的文件读写请求；
三、根据读写请求存储文件数据并存储文件数据的索引；
四、将文件数据划分为热数据和冷数据，并分别储存。
本发明中的热数据高速存储模块中的PVFS文件系统下留有增加固态硬盘的扩展空间，可以根据实际需要，通过调整PVFS文件系统的设置可以实现PVFS文件系统下固态硬盘的增加或减少。
本发明中的冷数据存储模块中的PVFS文件系统下留有增加机械硬盘的扩展空间，可以根据实际需要，通过调整PVFS文件系统的设置可以实现PVFS文件系统下机械硬盘的增加或减少。
本发明中的中间层文件系统模块具备节能功能，它统计一段时间内中间层文件系统对冷数据存储模块的读写操作请求数，当一定时间内对冷数据存储模块没有访问时，控制冷数据存储模块关闭从而节约能耗。
本发明优点：
一、对冷数据存储模块的访问数较低的时间段，能够实现关闭冷数据存储模块实现节能。
二、在实现节能的同时，通过热数据高速存储模块中及冷数据存储模块中的两个PVFS文件系统实现了数据的并行存储，保证了系统的可靠性。
三、实现了固态硬盘与机械硬盘的混合存储架构，通过根据两种硬盘的不同特性对数据进行优化分布，提升了整体文件系统的读写性能。
四、热数据高速存储模块中及冷数据存储模块下的存储硬盘有较高的可扩展性，能够根据实际需要配置存储模块下的硬盘数量。
五、将热数据写入热数据存储模块下PVFS文件系统下的固态硬盘中，能够减少对固态硬盘的擦写次数，增加文件系统的寿命及可靠性。
六、本框架使用了中间层文件系统，因此对用户透明并提供了很好的可移植性及易修改性，能够避免对文件系统的修改对操作系统造成不良影响。
附图说明
图1是本发明的组成结构图；
图2是中间层文件系统模块的组成结构图。
具体实施方式
下面结合附图对本发明作进一步的说明。
如图1所示，本发明的基于可靠性的高性能文件系统混合节能存储系统实施例，包括中间层文件系统模块、热数据高速存储模块及冷数据存储模块。
如图2所示，中间层文件系统模块按照数据走向包括权限模块、读写模块、存储模块和定向模块；存储模块连接有索引模块。
所述的中间层文件系统模块主要由PLFS文件系统组成，同时定向模块包含了对数据的访问率进行分类判断的算法及节能算法，将数据分类为访问率较高的热数据和访问率较低的冷数据。当一个读/写请求到达中间层文件系统模块时，模块将请求分类为对热数据的请求和对冷数据的请求，分别传给热数据高速存储模块及冷数据存储模块；
所述的热数据高速存储模块主要由一个PVFS文件系统以及其下并行的数块固态硬盘组成。模块中的PVFS文件系统负责接收来自中间层文件系统模块的读/写请求，而模块中的固态硬盘负责将写入PVFS文件系统的数据条块化地保存，以及并行地满足读取数据的请求，保证系统的可靠性；
所述的冷数据存储模块主要由另一个PVFS文件系统以及其下并行的数块机械硬盘组成。同热数据高速存储模块相似，模块中的PVFS文件系统负责接收来自中间层文件系统的读/写请求，而模块中的机械硬盘负责将写入PVFS文件系统条块化地保存以及并行的满足读取数据的请求，保证系统的可靠性。
所述的中间层文件系统模块分别与热数据高速存储模块以及冷数据存储模块相连接，连接方式为将中间层文件系统模块中的PLFS文件系统的数据存储后端设置为热数据高速存储模块中的PVFS文件系统以及冷数据存储模块中的PVFS文件系统。
同时，所述的中间层文件系统中的节能算法模块将记录对冷数据存储模块发送的读写请求，当一段时间内对冷数据存储模块的读写请求为零时，将对冷数据存储模块实行节能策略。因此，在读写请求负载较低的时间段，本发明能够实现节能。
具体的：
分类算法如下：
a.静态分类：
分析日志文件，对每个文件，记录一段时间T1内被访问的次数n；
将每个文件一段时间T1内被访问的次数由高到低排序；
计算出一段时间T1内每个文件的访问频率R，R＝该文件被访问计数n/所有文件被访问总计数N；
访问率大于10％的数据分类为热数据，存入固态硬盘服务器，其余的存入机械硬盘服务器
T1优选设置为：86400秒
b.动态分类：
设定阀值O，对于冷数据，若一段时间T2内访问次数计数高于阀值O，则将数据从冷数据移入热数据存储服务器；相对的，对于热数据，若一段时间内访问计数低于阀值O，则将热数据移入冷数据存储服务器。
O优选设置为5％，T2优选设置为：7200秒
节能算法：
a.计算冷数据服务器的服务带宽BC，BC＝服务器硬盘数a*单块硬盘带宽b
b.冷数据服务器开启时，持续计算冷数据带宽使用率RC，RC＝当前访问流量w/冷数据服务器带宽BC，并对其进行持续判断
c.若经过一段时间T3，冷数据服务器的带宽使用率RC始终小于等于5％，则将冷数据服务器转入休眠模式，并记录期间对冷数据服务器的访问请求，当记录的访问请求数达到次数C，则将冷数据服务器转入活动模式响应累积的请求
其中T3优选设置为：1800秒，C优选设置为20。
由于对系统进行节能模式编辑需要对系统内核进行代码修改并重新编译，是一个精细的工作并需要操作系相关的专统知识，同时也伴随着很高的风险，一个细小的错误可能导致整个操作系统的可靠性降低，因此在底层文件系统之上引入一个中间层文件系统作为代替进行修改。
中间层文件系统的优势主要体现在，第一，代码量相对于底层文件系统几何级别的小，便于编辑和修改，不需要对底层文件系统进行额外的修改，消去了修改底层文件系统的潜在风险；第二，中间层文件系统对用户和底层文件系统都有良好的透明性；第三，便于在不同系统环境下进行实装。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种基于可靠性的高性能文件系统混合节能存储系统，其特征是：包括中间层文件系统和数据存储单元，所述数据存储单元包括热数据高速存储模块以及冷数据存储模块；
所述的中间层文件系统包括定向模块，所述定向模块包括分类判断单元；所述分类判断单元用于对数据的访问率进行分类判断并将数据分类为访问率较高的热数据和访问率较低的冷数据；
热数据高速存储模块用于存储热数据，冷数据存储模块用于储存冷数据。
2.根据权利要求1所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述定向模块包括动态分类单元，所述动态分类单元用于根据数据的访问率重新划分热数据和冷数据。
3.根据权利要求1所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述中间层文件系统包括节能控制单元；所述节能控制单元用于计算冷数据带宽使用率RC，并根据冷数据带宽使用率RC决定冷数据存储模块处于休眠模式或活动模式。
4.根据权利要求1所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述热数据高速存储模块包括第一PVFS文件系统以及并行的数块固态硬盘；第一PVFS文件系统用于接收中间层文件系统的热数据的读/写请求；固态硬盘负责将写入第一PVFS文件系统的数据条块化地保存，以及并行地满足读取数据的请求；
所述冷数据存储模块包括第二PVFS文件系统以及并行的数块机械硬盘；第二PVFS文件系统用于接收中间层文件系统的冷数据的读/写请求；机械硬盘负责将写入第二PVFS文件系统的数据条块化地保存，以及并行地满足读取数据的请求。
5.根据权利要求4所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述热数据高速存储模块为热数据服务器，所述冷数据存储模块为冷数据服务器。
6.根据权利要求4所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述中间层文件系统包括PLFS文件系统，中间层文件系统分别与热数据高速存储模块以及冷数据存储模块相连接，连接方式为将中间层文件系统中的PLFS文件系统的数据存储后端设置为PVFS文件系统。
7.根据权利要求1所述的基于可靠性的高性能文件系统混合节能存储系统，其特征是：所述中间层文件系统还包括权限模块：负责保存及维护各个用户对文件的权限信息，用户访问的时候判断用户是否有权限；
读写模块：负责处理用户的文件读写请求；
存储模块：根据读写模块处理的读写请求存储文件数据；
索引模块：负责维护用户存入文件数据的索引，方便处理读取操作时快速定位请求的文件。
8.一种基于可靠性的高性能文件系统混合节能存储方法，其特征是：包括如下步骤：
步骤一、分类判断单元用于对数据的访问率进行分类判断并将数据分类为访问率较高的热数据和访问率较低的冷数据，具体步骤如下：
1)分析日志文件，对每个文件，记录一段时间T1内被访问的次数n；
2)将每个文件一段时间T1内被访问的次数由高到低排序；
3)计算出一段时间T1内每个文件的访问频率R，R＝该文件被访问计数n/所有文件被访问总计数N；
4)将访问频率R大于10％的文件分类为热数据，存入固态硬盘服务器，将访问频率R小于或等于10％的文件分类为冷数据，存入机械硬盘服务器；
步骤二、动态分类单元根据数据的访问率重新划分热数据和冷数据，具体步骤如下：
设定访问率阀值O，对于冷数据，若一段时间T2内访问率高于阀值O，则将数据从冷数据移入热数据存储服务器；对于热数据，若一段时间T2内访问率低于阀值O，则将热数据移入冷数据存储服务器；
步骤三、节能控制单元计算冷数据带宽使用率RC，并根据冷数据带宽使用率RC决定冷数据存储模块处于休眠模式或活动模式，具体步骤如下：
Ⅰ.计算冷数据服务器的服务带宽BC，BC＝冷数据服务器硬盘数a*单块硬盘带宽b；
Ⅱ.冷数据服务器开启时，持续计算冷数据带宽使用率RC，RC＝当前访问流量w/冷数据服务器带宽BC，并对其进行持续判断；
Ⅲ.若经过一段时间T3，冷数据服务器的带宽使用率RC始终小于等于5％，则将冷数据服务器转入休眠模式，并记录期间对冷数据服务器的访问请求，当记录的访问请求数达到次数C，则将冷数据服务器转入活动模式响应累积的请求。
9.根据权利要求8所述的基于可靠性的高性能文件系统混合节能存储方法，其特征是：T1为86400*i秒，i为正整数；O为5％～10％；T2为3600～10800秒；T3为1200～2400秒；C为10～30。
10.根据权利要求8所述的基于可靠性的高性能文件系统混合节能存储方法，其特征是：包括如下步骤：
一、用户访问的时候判断用户是否有权限，有权限则允许进行访问操作；
二、接收用户的文件读写请求；
三、根据读写请求存储文件数据并存储文件数据的索引；
四、将文件数据划分为热数据和冷数据，并分别储存。
CN201710027909.XA 2017-01-16 2017-01-16 一种基于可靠性的高性能文件系统混合节能存储系统及方法 Pending CN106777342A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710027909.XA CN106777342A (zh) 2017-01-16 2017-01-16 一种基于可靠性的高性能文件系统混合节能存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710027909.XA CN106777342A (zh) 2017-01-16 2017-01-16 一种基于可靠性的高性能文件系统混合节能存储系统及方法

Publications (1)

Publication Number Publication Date
CN106777342A true CN106777342A (zh) 2017-05-31

Family

ID=58946669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710027909.XA Pending CN106777342A (zh) 2017-01-16 2017-01-16 一种基于可靠性的高性能文件系统混合节能存储系统及方法

Country Status (1)

Country Link
CN (1) CN106777342A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807796A (zh) * 2017-11-17 2018-03-16 北京联想超融合科技有限公司 一种基于超融合存储系统的数据分层方法、终端及系统
CN107844269A (zh) * 2017-10-17 2018-03-27 华中科技大学 一种基于一致性哈希的分层混合存储系统及方法
CN107908367A (zh) * 2017-11-16 2018-04-13 郑州云海信息技术有限公司 存储系统中数据存储的方法、装置、设备及存储介质
CN107968818A (zh) * 2017-11-17 2018-04-27 北京联想超融合科技有限公司 数据的存储方法、装置及服务器集群
CN108304304A (zh) * 2018-01-03 2018-07-20 珠海金山网络游戏科技有限公司 一种统计程序访问文件次数和耗时的方法及装置
CN108519862A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 区块链系统的存储方法、装置、系统和存储介质
CN108829341A (zh) * 2018-05-03 2018-11-16 上海科技大学 一种基于混合存储系统的数据管理方法
CN109491618A (zh) * 2018-11-20 2019-03-19 上海科技大学 基于混合存储的数据管理系统、方法、终端及介质
CN111104048A (zh) * 2018-10-26 2020-05-05 华为技术有限公司 一种数据处理方法及分布式存储系统
CN112506433A (zh) * 2020-12-08 2021-03-16 大连金华录数码科技有限公司 一种数据分类存储方法、装置及系统
CN113176857A (zh) * 2021-04-30 2021-07-27 康键信息技术（深圳）有限公司 海量小文件存取优化方法、装置、设备及存储介质
CN116166691A (zh) * 2023-04-21 2023-05-26 中国科学院合肥物质科学研究院 一种基于数据划分的数据归档系统、方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662459A (zh) * 2012-04-22 2012-09-12 复旦大学 利用固态硬盘与机械硬盘混合存储减少服务器能源消耗的方法
CN103186350A (zh) * 2011-12-31 2013-07-03 北京快网科技有限公司 混合存储系统及热点数据块的迁移方法
CN103616944A (zh) * 2013-10-18 2014-03-05 杭州电子科技大学 云存储系统中基于预判性绿色数据分类策略的降耗方法
CN104272272A (zh) * 2012-03-07 2015-01-07 网络装置公司 混合储存集合去除重复
CN204595827U (zh) * 2015-05-12 2015-08-26 浙江诸暨奇创电子科技有限公司 一种高性能混合硬盘
US9250812B2 (en) * 2012-04-25 2016-02-02 International Business Machines Corporation Leveraging a hybrid infrastructure for dynamic memory allocation and persistent file storage

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186350A (zh) * 2011-12-31 2013-07-03 北京快网科技有限公司 混合存储系统及热点数据块的迁移方法
CN104272272A (zh) * 2012-03-07 2015-01-07 网络装置公司 混合储存集合去除重复
CN102662459A (zh) * 2012-04-22 2012-09-12 复旦大学 利用固态硬盘与机械硬盘混合存储减少服务器能源消耗的方法
US9250812B2 (en) * 2012-04-25 2016-02-02 International Business Machines Corporation Leveraging a hybrid infrastructure for dynamic memory allocation and persistent file storage
CN103616944A (zh) * 2013-10-18 2014-03-05 杭州电子科技大学 云存储系统中基于预判性绿色数据分类策略的降耗方法
CN204595827U (zh) * 2015-05-12 2015-08-26 浙江诸暨奇创电子科技有限公司 一种高性能混合硬盘

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHU YIN ET.AL.: "RESS: A Reliable Energy-Efficient Storage System", 《2016 IEEE 22ND INTERNATIONAL CONFERENCE ON PARALLEL AND DISTRIBUTED SYSTEMS》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844269B (zh) * 2017-10-17 2020-06-02 华中科技大学 一种基于一致性哈希的分层混合存储系统
CN107844269A (zh) * 2017-10-17 2018-03-27 华中科技大学 一种基于一致性哈希的分层混合存储系统及方法
CN107908367A (zh) * 2017-11-16 2018-04-13 郑州云海信息技术有限公司 存储系统中数据存储的方法、装置、设备及存储介质
CN107968818A (zh) * 2017-11-17 2018-04-27 北京联想超融合科技有限公司 数据的存储方法、装置及服务器集群
CN107807796A (zh) * 2017-11-17 2018-03-16 北京联想超融合科技有限公司 一种基于超融合存储系统的数据分层方法、终端及系统
CN107968818B (zh) * 2017-11-17 2021-06-04 北京联想超融合科技有限公司 数据的存储方法、装置及服务器集群
CN107807796B (zh) * 2017-11-17 2021-03-05 北京联想超融合科技有限公司 一种基于超融合存储系统的数据分层方法、终端及系统
CN108304304A (zh) * 2018-01-03 2018-07-20 珠海金山网络游戏科技有限公司 一种统计程序访问文件次数和耗时的方法及装置
CN108519862A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 区块链系统的存储方法、装置、系统和存储介质
CN108829341A (zh) * 2018-05-03 2018-11-16 上海科技大学 一种基于混合存储系统的数据管理方法
CN108829341B (zh) * 2018-05-03 2021-09-07 上海科技大学 一种基于混合存储系统的数据管理方法
CN111104048A (zh) * 2018-10-26 2020-05-05 华为技术有限公司 一种数据处理方法及分布式存储系统
CN111104048B (zh) * 2018-10-26 2021-02-12 华为技术有限公司 一种数据处理方法及分布式存储系统
US11662925B2 (en) 2018-10-26 2023-05-30 Huawei Cloud Computing Technologies Co., Ltd. Data processing method and distributed storage system
WO2020103506A1 (zh) * 2018-11-20 2020-05-28 上海科技大学 基于混合存储的数据管理系统、方法、终端及介质
CN109491618A (zh) * 2018-11-20 2019-03-19 上海科技大学 基于混合存储的数据管理系统、方法、终端及介质
US11741053B2 (en) 2018-11-20 2023-08-29 Shanghaitech University Data management system, method, terminal and medium based on hybrid storage
CN112506433A (zh) * 2020-12-08 2021-03-16 大连金华录数码科技有限公司 一种数据分类存储方法、装置及系统
CN113176857A (zh) * 2021-04-30 2021-07-27 康键信息技术（深圳）有限公司 海量小文件存取优化方法、装置、设备及存储介质
WO2022228458A1 (zh) * 2021-04-30 2022-11-03 康键信息技术（深圳）有限公司 海量小文件存取优化方法、装置、设备及存储介质
CN116166691A (zh) * 2023-04-21 2023-05-26 中国科学院合肥物质科学研究院 一种基于数据划分的数据归档系统、方法、装置及设备

Similar Documents

Publication Publication Date Title
CN106777342A (zh) 一种基于可靠性的高性能文件系统混合节能存储系统及方法
CN101236530B (zh) 高速缓存替换策略的动态选择方法
US10558395B2 (en) Memory system including a nonvolatile memory and a volatile memory, and processing method using the memory system
US8595463B2 (en) Memory architecture with policy based data storage
CN101443726B (zh) 包括具有闪存接口的硬盘驱动器的自适应存储系统
CN102012791A (zh) 基于Flash的数据存储PCIE板卡
US8214596B2 (en) Apparatus and method for segmented cache utilization
US8856442B2 (en) Method for volume management
CN102637147A (zh) 利用固态硬盘作为计算机写缓存的存储系统以及相应的管理调度方法
CN110532200B (zh) 一种基于混合内存架构的内存系统
US9075606B2 (en) Storage apparatus and method of determining device to be activated
CN104156432A (zh) 一种文件访问方法
Kargar et al. Extending the lifetime of NVM: challenges and opportunities
CN101859282B (zh) 基于双重跟踪的虚拟化平台的磁盘页面换入的方法
CN107766002A (zh) 一种基于混合存储设备的虚拟混合文件系统
CN110659305A (zh) 基于非易失存储系统的高性能关系型数据库服务
Behnam et al. Redcache: reduced dram caching
CN105608014B (zh) 一种使用mram的存储设备
Micheloni et al. Hybrid storage systems
CN105404471A (zh) 一种分布式云存储高速缓存层实现方法
CN111880900A (zh) 一种面向超融合设备的近数据处理系统的设计方法
CN111880739A (zh) 一种面向超融合设备的近数据处理系统
Kim et al. Exploiting flash memory for reducing disk power consumption in portable media players
CN113435109B (zh) 一种混合ssd的性能与寿命的优化方法
Knyaginin Towards Large-Capacity and Cost-Effective Main Memories

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication