CN109491618A - 基于混合存储的数据管理系统、方法、终端及介质 - Google Patents

基于混合存储的数据管理系统、方法、终端及介质 Download PDF

Info

Publication number
CN109491618A
CN109491618A CN201811383927.2A CN201811383927A CN109491618A CN 109491618 A CN109491618 A CN 109491618A CN 201811383927 A CN201811383927 A CN 201811383927A CN 109491618 A CN109491618 A CN 109491618A
Authority
CN
China
Prior art keywords
data
file system
cold
dsc
backend
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811383927.2A
Other languages
English (en)
Inventor
殷树
邓通亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201811383927.2A priority Critical patent/CN109491618A/zh
Publication of CN109491618A publication Critical patent/CN109491618A/zh
Priority to PCT/CN2019/102033 priority patent/WO2020103506A1/zh
Priority to US17/144,094 priority patent/US11741053B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1847—File system types specifically adapted to static storage, e.g. adapted to flash memory or SSD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/119—Details of migration of file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Software Systems (AREA)

Abstract

本申请提供基于混合存储的数据管理系统、方法、终端及介质，其中，所述数据管理系统包括：第一文件系统挂载模块，用于挂载至少一用户态文件系统；第二文件系统挂载模块，用于基于所述用户态文件系统挂载至少两个相互独立的后端文件系统，以分别用于存放热数据和冷数据；数据标记模块，用于标记用户数据请求以对用户数据请求中的数据的冷热属性进行标签；文件系统选择模块，用于根据数据的冷热属性对数据进行存入对应的后端文件系统和/或从对应的后端文件系统中取出的管理操作。本申请达到了显著的节能效果，且保证了存储系统的可靠性，且没有损坏数据的一致性。

Description

基于混合存储的数据管理系统、方法、终端及介质
技术领域
本申请涉及数据处理技术领域，特别是涉及基于混合存储的数据管理系统、方法、终端及介质。
背景技术
随着国内信息化建设的深入和移动互联网的发展，个人和企业所产生的数据量也越来越大，这也催生了许多公有或私有的云存储中心，例如企业网内部的私有云，落户贵州的苹果公司iCould数据中心等。但是越来越多的迹象表明，数据中心的能量消耗中超过27％是被存储设备所使用的。随着数据中心存储容量的急剧上升，存储设备所消耗的能量也在不断的增加。为了减少存储设备的能耗，达到经济和环境的双重优势，优化数据管理系统是非常必要的。
传统的文件存储系统，主要是依靠调整机械磁盘(Hard Disk Drive)的转速或挂起不在使用的机械磁盘，以达到节能的目的。但是经常性的启停机械磁盘或改变其转速，会严重影响它的寿命，对于数据的可靠性也十分不利。
随着固态硬盘(Solid State Drive)的出现，存储系统也开始将固态硬盘纳入其中。由于固态硬盘具有较高的随机读写性能以及低功耗的特点，这也为存储系统的发展提出了新的设计理念。文件存储系统开始依据存储介质进行层次化的划分，将热点数据存储在固态硬盘上，将不常使用的数据(即冷数据)存放在机械磁盘上，不仅能够达到对热点数据快速读写的要求，也能够达到一定程度的节能效果，这就是所谓的混合存储系统。不过不同的存储介质的引入，对文件系统的管理提出了更高的要求，也带来了对于数据分布均衡以及数据一致性的挑战。
但是，传统的混合存储系统对于磁盘的寿命的影响比较显著，频繁地启停机械磁盘会导致磁盘状态不稳定，减少磁盘寿命，严重的情况会导致数据丢失。
申请内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供基于混合存储的数据管理系统、方法、终端及介质，用于解决现有技术中磁盘状态不稳定，磁盘寿命短等问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种基于混合存储的数据管理系统，其包括：第一文件系统挂载模块，用于挂载至少一用户态文件系统；第二文件系统挂载模块，用于基于所述用户态文件系统挂载至少两个相互独立的后端文件系统，以分别用于存放热数据和冷数据；数据标记模块，用于标记用户数据请求以对用户数据请求中的数据的冷热属性进行标签；文件系统选择模块，用于根据数据的冷热属性对数据进行存入对应的后端文件系统和/或从对应的后端文件系统中取出的管理操作。
在本申请第一方面的一些实施方式中，所述数据标记模块标记用户数据请求的方式包括：根据用户配置信息和/或数据特征，定义写数据请求中的数据的冷热属性；根据用户配置信息和/或系统记录，定义读数据请求中的数据的冷热属性。
在本申请第一方面的一些实施方式中，所述数据标记模块用于将待写入的全部数据统一标记为热数据或冷数据；所述文件系统选择模块用于将不符合访问频率条件的写入数据从当前冷热属性的后端文件系统迁移至另一冷热属性的后端文件系统。
在本申请第一方面的一些实施方式中，所述数据标记模块用于将待写入的全部数据统一标记为热数据；所述文件系统选择模块用于将所述数据标记模块标记的热数据存放至热数据后端文件系统中，且记录所述热数据后端文件系统中的数据的访问频率；所述数据标记模块还用于将访问频率落入第一预设阈值范围的数据标记为冷数据；所述文件系统选择模块用于将所述数据标记模块标记的冷数据迁移至冷数据后端文件系统中。
在本申请第一方面的一些实施方式中，所述文件系统选择模块迁移数据的方式包括：将访问频率落入第一预设阈值范围的数据从热数据后端文件系统中剪切至冷数据后端文件系统中；或者，将访问频率落入第一预设阈值范围的数据从热数据后端文件系统中复制至冷数据后端文件系统中。
在本申请第一方面的一些实施方式中，所述数据标记模块用于将待写入的全部数据统一标记为冷数据；所述文件系统选择模块用于将所述数据标记模块标记的冷数据存放至冷数据后端文件系统中，且记录所述热数据后端文件系统中的数据的访问频率；所述数据标记模块还用于将访问频率落入第二预设阈值范围的数据标记为热数据；所述文件系统选择模块用于将所述数据标记模块标记的热数据迁移至热数据后端文件系统中。
在本申请第一方面的一些实施方式中，所述文件系统选择模块迁移数据的方式包括：将访问频率落入第二预设阈值范围的数据从热数据后端文件系统中剪切至热数据后端文件系统中；或者，将访问频率落入第二预设阈值范围的数据从热数据后端文件系统中复制至热数据后端文件系统中。
在本申请第一方面的一些实施方式中，所述后端文件系统包括热数据后端文件系统和冷数据后端文件系统；其中，所述热数据后端文件系统和冷数据后端文件系统均为PVFS；所述热数据后端文件系统管理的节点的存储介质包括固态硬盘；所述冷数据后端文件系统管理的节点的存储介质包括机械磁盘。
为实现上述目的及其他相关目的，本申请的第二方面提供一种基于混合存储的数据管理方法，其包括：挂载至少一用户态文件系统；基于所述用户态文件系统挂载至少两个相互独立的后端文件系统，以分别用于存放热数据和冷数据；标记用户数据请求以定义用户数据请求中数据的冷热属性，并根据数据的冷热属性对数据进行存入对应的后端文件系统或从对应的后端文件系统中取出的管理操作。
为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述数据管理方法。
为实现上述目的及其他相关目的，本申请的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述数据管理方法。
如上所述，本申请的基于混合存储的数据管理系统、方法、终端及介质，具有以下有益效果：
1)达到了显著的节能效果：通过对底层分布式文件系统所在节点的操作，例如待机或临时关机，可以显著地降低数据中心的能耗。平均一台存储节点的功率在400W左右，通过待机或者临时关机的方式，可以将此节点的功率降低到50W(待机)或0W(关机)。
2)保证了存储系统的可靠性：通过挂载不同的底层分布式文件系统，由于每个分布式系统相互独立，不会因为数据的迁移或某部分数据的损坏而影响整个存储系统的可靠性。
3)确保了数据的一致性：本申请只会对数据进行分类、数据整理及数据重分布，这些功能以中间件的形式实现，用户可以选择不使用该功能；数据存放落盘到存储介质的过程，都交给所挂载的底层分布式文件系统进行处理。所以此申请并不会损坏数据的一致性。
附图说明
图1显示为本申请一实施例中基于混合存储的数据管理系统的示意图。
图2显示为本申请一实施例中基于混合存储的数据管理方法的流程示意图。
图3显示为本申请一实施例中电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
混合存储系统是一种将热数据存储在固态硬盘上而将不常使用的冷数据存放在机械磁盘上的存储系统，混合存储系统不仅能够达到对热点数据快速读写的要求，也能够达到一定程度的节能效果。但是，现有的技术中使用的混合存储系统，会因频繁地启停机械磁盘而导致磁盘状态不稳定，减少磁盘寿命，严重的情况会导致数据丢失。
鉴于上述存在于现有技术中的问题，本申请提出一种基于混合存储的数据管理系统。所述数据管理系统挂载有用户态文件系统，并在用户态文件系统上挂载有相互独立的用于存放热数据的后端文件系统以及用于存放冷数据的后端文件系统；此外，所述数据管理系统还设有用于对数据的冷热属性进行标记的数据标记模块，还设有用于根据数据的冷热属性选择相应的后端文件系统的文件系统选择模块，从而在实现并行与分布式存储系统的高性能低功耗的基础上，满足数据一致性要求。
为了能够清楚描述本申请的基于混合存储的数据管理系统，现结合图1展示的系统示意图进行详细说明。如图1所示，所述基于混合存储的数据管理系统包括第一文件系统挂载模块11、第二文件系统挂载模块12、数据标记模块13以及文件系统选择模块14。
所述第一文件系统挂载模块11用于挂载至少一用户态文件系统111。本实施例中，所说第一文件系统挂载模块11利用FUSE工具(Filesystem in Userspace)在系统中挂载一个用户态文件系统，用于管理用户的POSIX I/O请求。所述用户态文件系统是一种实现在用户空间的文件系统框架，通过FUSE内核模块的支持，使用者只需根据FUSE提供的接口实现具体的文件操作即可实现一个文件系统。传统环境下，用户或应用程序调用标准POSIX接口之后，操作系统会切换到内核态，并执行相关的系统调用对这些请求进行处理，而FUSE可以将该请求从内核态再度调度到用户态中进行处理。使用FUSE的优势在于其支持新设计的文件系统在不修改操作系统内核代码的基础上，仅通过用户态即可参与传统文件系统的相关操作，简化了新型文件系统的设计复杂度。同时增加了开发者的自主性，减少了对于内核的改动，对于维护系统稳定性非常有好处。
所述第二文件系统挂载模块12用于基于所述用户态文件系统111挂载至少两个相互独立的后端文件系统，以分别用于存放热数据和冷数据。
在一实施例中，所述第二文件系统挂载模块12利用PLFS(Parallel Log-structured File System)的multi-backend功能对多存储后端支持，在所述用户态文件系统中挂载多个后端并行文件系统，以实现用户态的混合存储系统。本实施例中利用PLFS在所述用户态文件系统中挂载两个相互独立的后端并行文件系统，其中一个后端存储系统用于存放热数据(hot data)，定义为热数据后端文件系统121，另一个后端存储系统用于存放冷数据(cold data)，定义为冷数据后端文件系统122。需要说明的是，本申请仅对数据进行分类、重新组织和再分布操作，并为相应数据选定后端存储系统，而文件的实际管理操作并不是本申请所关注的，其通常是由底层文件系统完成。
本申请所涉的基于混合存储的数据管理系统方案可通过API接口支持如Lustre、PVFS和Ceph等现有常见并行文件系统。优选的，本申请采用PVFS(Parallel Virtual FileSystem)作为后端并行文件系统，即所述热数据后端文件系统和冷数据后端文件系统均为PVFS。PVFS被设计用于大规模的集群计算，专注于高性能地访问大型数据集，提供类似于RAID-0的数据管理。
其中，热数据后端文件系统是由SSD固态硬盘123组成的高速低功耗并行文件系统，即热数据后端文件系统管理的节点的存储介质为固态硬盘；冷数据后端文件系统是由传统的HDD机械磁盘124组成的大容量低成本并行文件系统，即冷数据后端文件系统管理的节点的存储介质为机械磁盘。因此，这样设计的并行文件系统能够平衡存储系统I/O性能和功耗，另外考虑到固态盘和磁盘的寿命差别，该设计同时考虑了存储系统的可靠性问题，且两个系统之间互不干扰，系统之间仅通过局域网进行通信。
值得注意的是，本申请提供一种对用户和底层系统透明的中间层实现方案，利用用户态文件系统FUSE，将本申请所涉的后端并行文件系统挂载于有成熟并行文件系统之上，在用户态管理POSIX数据请求。该方案在不修改应用程度代码和文件系统内核代码的前提下实现了数据的管理，具有较强的兼容性和可一致性。
所述数据标记模块13用于标记用户数据请求以定义用户数据请求中数据的冷热属性。本实施例中，本申请在用户层文件系统中提供所述数据标记模块13，用于对数据请求进行标签以定义数据的冷热属性。例如，当写数据请求进入系统时，所述数据标记模块13根据用户配置和/或数据特征来定义写数据请求中数据的冷热属性，从而为该数据打上相应的冷热标签。所述文件系统选择模块14根据数据的冷热标签将该数据存入相应的后端文件系统中。当读数据请求进入系统时，所述数据标记模块13根据用户配置信息和/或系统记录定义读数据请求中数据的冷热属性，从而为该数据打上相应的冷热标签。所述文件系统选择模块14根据数据的冷热标签将数据从相应的后端文件系统中取出，并交付给此读数据请求。
值得注意的是，本申请的数据重分布功能是基于PLFS(Parallel Log-structuredFile System)实现的，该功能根据调用请求的应用进程ID(PID)将数据块顺序进行重新进行排布，确保属于冷热数据部分能够分发至对应的底层文件系统上，有利于数据的读写和管理效率。
优选的，所述数据标记模块13根据用户配置信息对写数据请求和读数据请求进行标签，即用户对数据的冷热属性定义具有最高的优先级，对于I/O请求的判断，首先根据用户的定义来判断冷热属性，若无相关定义信息，则通过如下方式来定义：所述数据标记模块13将待写入的全部数据统一标记为热数据或冷数据；所述文件系统选择模块14将不符合访问频率条件的写入数据从当前冷热属性的后端文件系统迁移至另一冷热属性的后端文件系统。由于冷数据后端文件系统和热数据后端文件系统优选由两个PVFS并行文件系统独立管理，故数据迁移过程可简化为数据的复制过程，非常简单高效，其具体可被解释为如下两种方式。
方式一：所述数据标记模块13将待写入的全部数据统一标记为热数据，由文件系统选择模块14将数据存放在所述热数据后端文件系统中，同时记录这些数据的访问频率。所述文件系统选择模块14基于缓存淘汰算法将访问频率落入第一预设阈值范围的数据标记为冷数据。例如，设定一预设频率，将访问频率低于该预设频率的数据定义为不常被访问的数据，故在本实施例中可被定义为冷数据。需说明的是，所述第一预设阈值范围的设定可由用户设定，也可由过往的经验值得出，本申请对此不作限定。
所述缓存淘汰算法是指利用一定的淘汰机制将不符合要求的数据淘汰掉，例如：LRU(Least Recently Used)最近最少淘汰算法，将最近被使用最少的数据标记为冷数据；或者LFU(Least Frequently Used)最低频率淘汰算法，将最低频率的数据标记为冷数据等等。需说明，如何在热数据中淘汰掉冷数据的技术手段并不是本申请所关注的，在本领域技术人员普遍掌握的技术水准和通常知晓的知识中，凡是能够在热数据中将冷数据淘汰的手段均可应用于本申请中。
在一实施例中，所述文件系统选择模块14迁移数据的方式包括：将访问频率落入第一预设阈值范围的数据从热数据后端文件系统中复制至冷数据后端文件系统中，也即，所有数据存储在所述冷数据后端文件系统中，热数据后端文件系统作为缓存使用；或者，将访问频率落入第一预设阈值范围的数据从热数据后端文件系统中剪切至冷数据后端文件系统中，也即，所有数据在系统中只存在一份。
方式二：所述数据标记模块13将待写入的全部数据统一标记为冷数据，由文件系统选择模块14将所述数据标记模块标记的冷数据存放至冷数据后端文件系统中，且记录所述热数据后端文件系统中的数据的访问频率。所述文件系统选择模块14将访问频率落入第二预设阈值范围的数据标记为热数据；所述文件系统选择模块用于将所述数据标记模块标记的热数据迁移至热数据后端文件系统中。例如，设定一预设频率，将访问频率高于或等于该预设频率的数据定义为经常被访问的数据，故在本实施例中可被定义为热数据。所述第二预设阈值范围的设定可由用户设定，也可由过往的经验值得出，本申请对此不作限定。
在一实施例中，所述文件系统选择模块14迁移数据的方式包括：将访问频率落入第二预设阈值范围的数据从热数据后端文件系统中复制至热数据后端文件系统中，所有数据存储在所述冷数据后端存储系统中，热数据后端文件系统作为缓存使用；或者，将访问频率落入第二预设阈值范围的数据从热数据后端文件系统中剪切至热数据后端文件系统中，也即，所有数据在系统中只存在一份。
通过上述数据迁移方式，本申请的数据管理系统能够有效达到节能效果。具体而言，当冷数据访问的频率不断减少，大部分用户访问命中热数据后端系统，选择将冷数据节点进行待机处理，达到节能的目的；当访问请求命中热数据，则将冷数据节点从待机状态启动，并响应请求。因此，本申请通过对底层分布式文件系统所在节点的操作，例如待机或临时关机，可以显著地降低数据中心的能耗。平均一台存储节点的功率在400W左右，通过待机或者临时关机的方式，可以将此节点的功率降低到50W(待机)或0W(关机)。
为进一步便于本领域技术人员理解本申请的基于混合存储的数据管理系统，下文将通过一具体实施例中的打开文件、写数据、读数据、关闭文件、后台操作及节能管理等多个操作过程来阐述本申请的数据管理系统的工作流程及原理。
打开文件操作包括步骤A01～步骤A10的各个步骤。
步骤A01：调用open接口打开一个文件。
步骤A02：通过FUSE将此调用转发至本申请重载的用户层文件系统。
步骤A03：查询此文件是否存在map<filename,fd>中；若存在，增加使用次数，并跳转至步骤A10。
步骤A04：通过数据标记模块判断数据为热数据还是冷数据。
步骤A05：通过文件系统选择模块将数据存入对应的后端文件系统中。
步骤A06：通过PVFS提供的API，查询文件是否存在。
步骤A07：通过PVFS提供的API，查询文件权限。
步骤A08：获得文件描述符fd。
步骤A09：文件描述符保存在本申请的用户层文件系统的内存区域，使用map<filename,fd>保存文件名和文件描述符的映射，并增加使用次数。
步骤A10：返回文件描述符fd。
写数据操作包括步骤B01～步骤B05的各个步骤。
步骤B01：调用write接口向一个文件描述符所对应文件中写数据。
步骤B02：通过FUSE将此调用转发至本申请重载的用户层文件系统。
步骤B03：记录此文件的写频率。
步骤B04：通过PVFS提供的API向后端系统中写数据。
步骤B05：写操作完成，返回写入字节数。
读数据操作包括步骤C01～步骤C05的各个步骤。
步骤C01：调用read接口从一个文件描述符所对应文件中读数据。
步骤C02：通过FUSE将此调用转发至本申请重载的用户层文件系统。
步骤C03：记录此文件的读频率。
步骤C04：通过PVFS提供的API从后端系统中读数据。
步骤C05：读操作完成，返回读取的数据。
关闭文件操作包括步骤D01～步骤D07的各个步骤。
步骤D01：调用read接口从一个文件描述符所对应文件中读数据。
步骤D02：通过FUSE将此调用转发至本申请重载的用户层文件系统。
步骤D03：查询此文件是否在map<filename,fd>中，若存在，跳转至步骤D04，若不存在则跳转至步骤D07。
步骤D04：减去此fd使用次数。
步骤D05：或使用次数为零，跳转至步骤D06，若不为零则跳转至步骤D07。
步骤D06：通过PVFS提供的API，关闭此fd所指向的文件。
步骤D07：返回。
后台操作包括步骤E01～步骤E05的各个步骤。
步骤E01：根据文件的访问频率，判断文件此时处于冷热的哪种状态。
步骤E02：若数据由冷变热，调用本申请的copy命令，将数据从冷数据后端系统中拷贝到热数据后端系统中，在根据配置信息，选择是否删除冷数据后端系统中的数据。
步骤E03：若数据由热变冷，调用本申请的copy命令，将数据从热数据后端系统中拷贝到冷数据后端系统中，并删除热数据后端系统中的数据。
步骤E04：因为冷热数据存储有两种方案，选择冷热数据会有不同。
步骤E05：当按照上文中的方式一进行数据迁移时，即初始数据都放在热数据后端文件系统中，尽量选择少的数据转移到冷数据后端文件系统中，提高命中率，但又要保证热数据后端文件系统的容量充足，防止因为容量达到阈值而再次选择最冷的热数据迁移到冷数据后端系统中的情况。当按照上文中的方式二进行数据迁移时，即初始数据都放在冷数据后端文件系统中，尽量选择更多的数据转移到热数据后端文件系统中，提高命中率，但又要保证热数据后端文件系统的容量充足，防止因为容量达到阈值而产生再次把刚迁移到热数据后端系统中的数据再迁移回冷数据后端系统中的情况发生。
节能管理操作包括步骤F01～步骤F02的各个步骤。
步骤F01：当冷数据访问的频率不断减少，大部分用户访问命中热数据后端系统，选择将冷数据节点进行待机处理，达到节能的目的。
步骤F02：当访问请求命中热数据，则将冷数据节点从待机状态启动，并响应请求。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，文件系统选择模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上文件系统选择模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图2所示，展示本申请一实施例中基于混合存储的数据管理方法的流程示意图。所述数据管理方法具体包括步骤S21，步骤S22以及步骤S23。
步骤S21：挂载至少一用户态文件系统。
步骤S22：基于所述用户态文件系统挂载至少两个相互独立的后端文件系统，以分别用于存放热数据和冷数据。
步骤S23：标记用户数据请求以定义用户数据请求中数据的冷热属性，并根据数据的冷热属性对数据进行存入对应的后端文件系统或从对应的后端文件系统中取出的管理操作。
需要说明的是，所述基于混合存储的数据管理方法的实施方式与上文中基于混合存储的数据管理系统的实施方式类似，故不再赘述。
本申请再提供一种计算机可读写存储介质，其上存储有用户奖章分配的计算机程序，所述数据管理的计算机程序被处理器执行时实现上述数据管理的方法的步骤。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
于本申请提供的实施例中，所述计算机可读写存储介质可以包括只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
如图3所示，展示本申请实施例提供的再一种电子终端的结构示意图。本实施例提供的电子终端包括：处理器31和存储器32；存储器32和处理器31通过系统总线通信连接，存储器32用于存储计算机程序，处理器31用于运行计算机程序，使电子终端执行如上基于混合存储的数据管理方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本申请提供的基于混合存储的数据管理系统、方法、终端及介质，利用FUSE，在系统中挂载一个用于管理用户的POSIX数据请求的用户态文件系统；利用PLFS所提供的multi-backend功能，在一个用户态文件系统中挂载两个后端并行文件系统；由数据标记模块对用户的POSIX数据请求进行打标签；由文件系统选择模块根据数据标记模块对数据所打的标签进行操作。本申请达到了显著的节能效果，且保证了存储系统的可靠性，且没有损坏数据的一致性。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (11)

1.一种基于混合存储的数据管理系统，其特征在于，包括：
第一文件系统挂载模块，用于挂载至少一用户态文件系统；
第二文件系统挂载模块，用于基于所述用户态文件系统挂载至少两个相互独立的后端文件系统，以分别用于存放热数据和冷数据；
数据标记模块，用于标记用户数据请求以对用户数据请求中的数据的冷热属性进行标签；
文件系统选择模块，用于根据数据的冷热属性对数据进行存入对应的后端文件系统和/或从对应的后端文件系统中取出的管理操作。
2.根据权利要求1所述的基于混合存储的数据管理系统，其特征在于，所述数据标记模块标记用户数据请求的方式包括：
根据用户配置信息和/或数据特征，定义写数据请求中的数据的冷热属性；
根据用户配置信息和/或系统记录，定义读数据请求中的数据的冷热属性。
3.根据权利要求1所述的基于混合存储的数据管理系统，其特征在于，包括：
所述数据标记模块用于将待写入的全部数据统一标记为热数据或冷数据；
所述文件系统选择模块用于将不符合访问频率条件的写入数据从当前冷热属性的后端文件系统迁移至另一冷热属性的后端文件系统。
4.根据权利要求3所述的基于混合存储的数据管理系统，其特征在于，包括：
所述数据标记模块用于将待写入的全部数据统一标记为热数据；
所述文件系统选择模块用于将所述数据标记模块标记的热数据存放至热数据后端文件系统中，且记录所述热数据后端文件系统中的数据的访问频率；
所述数据标记模块还用于将访问频率落入第一预设阈值范围的数据标记为冷数据；所述文件系统选择模块用于将所述数据标记模块标记的冷数据迁移至冷数据后端文件系统中。
5.根据权利要求4所述的基于混合存储的数据管理系统，所述文件系统选择模块迁移数据的方式包括：
将访问频率落入第一预设阈值范围的数据从热数据后端文件系统中剪切至冷数据后端文件系统中；或者
将访问频率落入第一预设阈值范围的数据从热数据后端文件系统中复制至冷数据后端文件系统中。
6.根据权利要求3所述的基于混合存储的数据管理系统，其特征在于，包括：
所述数据标记模块用于将待写入的全部数据统一标记为冷数据；
所述文件系统选择模块用于将所述数据标记模块标记的冷数据存放至冷数据后端文件系统中，且记录所述热数据后端文件系统中的数据的访问频率；
所述数据标记模块还用于将访问频率落入第二预设阈值范围的数据标记为热数据；所述文件系统选择模块用于将所述数据标记模块标记的热数据迁移至热数据后端文件系统中。
7.根据权利要求6所述的基于混合存储的数据管理系统，所述文件系统选择模块迁移数据的方式包括：
将访问频率落入第二预设阈值范围的数据从热数据后端文件系统中剪切至热数据后端文件系统中；或者
将访问频率落入第二预设阈值范围的数据从热数据后端文件系统中复制至热数据后端文件系统中。
8.根据权利要求1所述的基于混合存储的数据管理系统，其特征在于，所述后端文件系统包括热数据后端文件系统和冷数据后端文件系统；其中，所述热数据后端文件系统和冷数据后端文件系统均为PVFS；所述热数据后端文件系统管理的节点的存储介质包括固态硬盘；
所述冷数据后端文件系统管理的节点的存储介质包括机械磁盘。
9.一种基于混合存储的数据管理方法，其特征在于，包括：
挂载至少一用户态文件系统；
基于所述用户态文件系统挂载至少两个相互独立的后端文件系统，以分别用于存放热数据和冷数据；
标记用户数据请求以定义用户数据请求中数据的冷热属性，并根据数据的冷热属性对数据进行存入对应的后端文件系统或从对应的后端文件系统中取出的管理操作。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求9所述的基于混合存储的数据管理方法。
11.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求9所述的基于混合存储的数据管理方法。
CN201811383927.2A 2018-11-20 2018-11-20 基于混合存储的数据管理系统、方法、终端及介质 Pending CN109491618A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811383927.2A CN109491618A (zh) 2018-11-20 2018-11-20 基于混合存储的数据管理系统、方法、终端及介质
PCT/CN2019/102033 WO2020103506A1 (zh) 2018-11-20 2019-08-22 基于混合存储的数据管理系统、方法、终端及介质
US17/144,094 US11741053B2 (en) 2018-11-20 2021-01-07 Data management system, method, terminal and medium based on hybrid storage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811383927.2A CN109491618A (zh) 2018-11-20 2018-11-20 基于混合存储的数据管理系统、方法、终端及介质

Publications (1)

Publication Number Publication Date
CN109491618A true CN109491618A (zh) 2019-03-19

Family

ID=65696348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811383927.2A Pending CN109491618A (zh) 2018-11-20 2018-11-20 基于混合存储的数据管理系统、方法、终端及介质

Country Status (3)

Country Link
US (1) US11741053B2 (zh)
CN (1) CN109491618A (zh)
WO (1) WO2020103506A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857737A (zh) * 2019-01-03 2019-06-07 平安科技（深圳）有限公司 一种冷热数据存储方法及装置、电子设备
CN110865992A (zh) * 2019-10-30 2020-03-06 腾讯云计算（北京）有限责任公司 一种检索库管理方法、检索方法、装置及介质
CN111008233A (zh) * 2019-11-24 2020-04-14 浪潮电子信息产业股份有限公司 一种kv数据库的访问方法、装置及设备
CN111125032A (zh) * 2019-12-24 2020-05-08 天地伟业技术有限公司 一种流式存储和文件存储并存的实现方法
CN111176896A (zh) * 2019-12-28 2020-05-19 华为技术有限公司 文件备份方法、装置及终端设备
WO2020103506A1 (zh) * 2018-11-20 2020-05-28 上海科技大学 基于混合存储的数据管理系统、方法、终端及介质
CN111741106A (zh) * 2020-06-19 2020-10-02 星辰天合（北京）数据科技有限公司 基于文件存储系统的文件归档方法及装置、电子设备
CN111796776A (zh) * 2020-07-08 2020-10-20 深圳忆联信息系统有限公司 基于用户自定义或需求分析的存储方法、装置、设备及介质
CN111831222A (zh) * 2020-06-15 2020-10-27 新浪网技术(中国)有限公司 一种分布式对象存储方法及系统
CN112328571A (zh) * 2020-11-25 2021-02-05 创新奇智(重庆)科技有限公司 对象存储方法、装置及通信设备、存储介质
CN112416861A (zh) * 2020-11-26 2021-02-26 武汉锂钠氪锶科技有限公司 一种实现自适应缩简业务支撑操作系统的装置及方法
CN112699142A (zh) * 2020-12-29 2021-04-23 平安普惠企业管理有限公司 冷热数据处理方法、装置、电子设备及存储介质
CN112860660A (zh) * 2021-01-19 2021-05-28 奥特酷智能科技(南京)有限公司 rosbag文件信息的统一管理方法
CN112883005A (zh) * 2019-11-29 2021-06-01 阿里巴巴集团控股有限公司 数据访问的方法、装置、系统、存储介质和终端
CN112926206A (zh) * 2021-02-25 2021-06-08 北京工业大学 一种基于工业流程背景的工作流引擎缓存淘汰方法
CN113391764A (zh) * 2021-06-09 2021-09-14 北京沃东天骏信息技术有限公司 一种信息处理方法及装置、存储介质
CN113835615A (zh) * 2020-09-17 2021-12-24 北京焱融科技有限公司 一种基于分布式文件存储的智能分层方法和系统
CN113900597A (zh) * 2021-11-30 2022-01-07 深圳市安信达存储技术有限公司 一种数据存储方法、系统、设备及存储介质
CN114297172A (zh) * 2022-01-04 2022-04-08 北京乐讯科技有限公司 一种基于云原生的分布式文件系统
CN114860726A (zh) * 2022-04-29 2022-08-05 北京永信至诚科技股份有限公司 数据库存储冷热分离方法、装置、设备及可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308058B1 (en) * 2021-01-04 2022-04-19 International Business Machines Corporation Building and using combined multi-type sub-indices to search NoSQL databases
US11902597B2 (en) * 2021-02-09 2024-02-13 Netflix, Inc. Media aware content placement
CN114442952A (zh) * 2022-01-25 2022-05-06 浙江大华技术股份有限公司 冷数据的迁移方法、装置、存储介质及电子装置
CN115033187B (zh) * 2022-08-10 2022-11-08 蓝深远望科技股份有限公司 一种基于大数据的分析管理方法
CN118113774A (zh) * 2022-11-23 2024-05-31 华为云计算技术有限公司 一种数据库重分布的方法、系统、设备集群及存储介质
CN115857831A (zh) * 2022-12-30 2023-03-28 福建省电子政务建设运营有限公司 一种基于光电磁混合分级存储的医疗影像管理系统及方法
CN118708561A (zh) * 2023-03-16 2024-09-27 华为云计算技术有限公司 数据存储的方法、装置以及计算设备
CN117762906B (zh) * 2024-02-22 2024-05-03 北京凌云雀科技有限公司 一种基于Redis的冷热数据分离方法及系统
CN118568778A (zh) * 2024-07-31 2024-08-30 深圳市一航网络信息技术有限公司 一种基于分布式架构的数据存储方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777342A (zh) * 2017-01-16 2017-05-31 湖南大学 一种基于可靠性的高性能文件系统混合节能存储系统及方法
CN106990915A (zh) * 2017-02-27 2017-07-28 北京航空航天大学 一种基于存储介质类型和加权配额的存储资源管理方法
CN107172168A (zh) * 2017-05-27 2017-09-15 郑州云海信息技术有限公司 一种混合云存储数据迁移方法及系统
CN108829341A (zh) * 2018-05-03 2018-11-16 上海科技大学 一种基于混合存储系统的数据管理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058943A1 (en) * 2003-11-10 2007-03-15 Disclive, Inc. System, method and apparatus for rapid mass production of content-inclusive physical media
US20140169536A1 (en) * 2005-04-20 2014-06-19 Macromedia, Inc. Integration of telephone audio into electronic meeting archives
US20090083338A1 (en) * 2007-09-21 2009-03-26 Microsoft Corporation Synchronization of electronic postings
CN101287107B (zh) * 2008-05-29 2010-10-13 腾讯科技（深圳）有限公司 媒体文件的点播方法、系统和设备
US9645996B1 (en) * 2010-03-25 2017-05-09 Open Invention Network Llc Method and device for automatically generating a tag from a conversation in a social networking website
US10146816B2 (en) * 2014-10-10 2018-12-04 International Business Machines Corporation Technology for providing content of a publish-subscribe topic tree
US10719779B1 (en) * 2015-12-30 2020-07-21 Intelligent Automation, Inc. System and means for generating synthetic social media data
CN108021408B (zh) * 2016-11-01 2021-01-29 阿里巴巴集团控股有限公司 升级方法及装置
US11550833B2 (en) * 2017-10-24 2023-01-10 University Of Louisiana At Lafayette Architecture for semantic search over encrypted data in the cloud
EP3788512A4 (en) * 2017-12-30 2022-03-09 Target Brands, Inc. HIERARCHICAL, PARALLEL MODELS FOR REAL-TIME EXTRACTING HIGH VALUE INFORMATION FROM DATA STREAMS AND THE ASSOCIATED CREATION SYSTEM AND METHOD
CN109491618A (zh) * 2018-11-20 2019-03-19 上海科技大学 基于混合存储的数据管理系统、方法、终端及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777342A (zh) * 2017-01-16 2017-05-31 湖南大学 一种基于可靠性的高性能文件系统混合节能存储系统及方法
CN106990915A (zh) * 2017-02-27 2017-07-28 北京航空航天大学 一种基于存储介质类型和加权配额的存储资源管理方法
CN107172168A (zh) * 2017-05-27 2017-09-15 郑州云海信息技术有限公司 一种混合云存储数据迁移方法及系统
CN108829341A (zh) * 2018-05-03 2018-11-16 上海科技大学 一种基于混合存储系统的数据管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHU YIN 等: "RESS：A Reliable Energy-Efficient Storage System", 《2016 IEEE 22ND INTERNATIONAL CONFERENCE ON PARALLEL AND DISTRIBUTED SYSTEM》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020103506A1 (zh) * 2018-11-20 2020-05-28 上海科技大学 基于混合存储的数据管理系统、方法、终端及介质
CN109857737B (zh) * 2019-01-03 2024-04-16 平安科技（深圳）有限公司 一种冷热数据存储方法及装置、电子设备
CN109857737A (zh) * 2019-01-03 2019-06-07 平安科技（深圳）有限公司 一种冷热数据存储方法及装置、电子设备
CN110865992A (zh) * 2019-10-30 2020-03-06 腾讯云计算（北京）有限责任公司 一种检索库管理方法、检索方法、装置及介质
CN111008233A (zh) * 2019-11-24 2020-04-14 浪潮电子信息产业股份有限公司 一种kv数据库的访问方法、装置及设备
CN112883005A (zh) * 2019-11-29 2021-06-01 阿里巴巴集团控股有限公司 数据访问的方法、装置、系统、存储介质和终端
CN111125032A (zh) * 2019-12-24 2020-05-08 天地伟业技术有限公司 一种流式存储和文件存储并存的实现方法
CN111125032B (zh) * 2019-12-24 2023-09-19 天地伟业技术有限公司 一种流式存储和文件存储并存的实现方法
WO2021129151A1 (zh) * 2019-12-28 2021-07-01 华为技术有限公司 文件备份方法、装置及终端设备
CN111176896A (zh) * 2019-12-28 2020-05-19 华为技术有限公司 文件备份方法、装置及终端设备
CN111831222A (zh) * 2020-06-15 2020-10-27 新浪网技术(中国)有限公司 一种分布式对象存储方法及系统
CN111831222B (zh) * 2020-06-15 2024-06-04 新浪技术（中国）有限公司 一种分布式对象存储方法及系统
CN111741106A (zh) * 2020-06-19 2020-10-02 星辰天合（北京）数据科技有限公司 基于文件存储系统的文件归档方法及装置、电子设备
CN111796776A (zh) * 2020-07-08 2020-10-20 深圳忆联信息系统有限公司 基于用户自定义或需求分析的存储方法、装置、设备及介质
CN113835615A (zh) * 2020-09-17 2021-12-24 北京焱融科技有限公司 一种基于分布式文件存储的智能分层方法和系统
CN112328571A (zh) * 2020-11-25 2021-02-05 创新奇智(重庆)科技有限公司 对象存储方法、装置及通信设备、存储介质
CN112416861A (zh) * 2020-11-26 2021-02-26 武汉锂钠氪锶科技有限公司 一种实现自适应缩简业务支撑操作系统的装置及方法
CN112416861B (zh) * 2020-11-26 2023-12-22 武汉锂钠氪锶科技有限公司 一种实现自适应缩简业务支撑操作系统的装置及方法
CN112699142A (zh) * 2020-12-29 2021-04-23 平安普惠企业管理有限公司 冷热数据处理方法、装置、电子设备及存储介质
CN112860660A (zh) * 2021-01-19 2021-05-28 奥特酷智能科技(南京)有限公司 rosbag文件信息的统一管理方法
CN112926206A (zh) * 2021-02-25 2021-06-08 北京工业大学 一种基于工业流程背景的工作流引擎缓存淘汰方法
CN112926206B (zh) * 2021-02-25 2024-04-26 北京工业大学 一种基于工业流程背景的工作流引擎缓存淘汰方法
WO2022257615A1 (zh) * 2021-06-09 2022-12-15 北京沃东天骏信息技术有限公司 一种信息处理方法及装置、存储介质
CN113391764A (zh) * 2021-06-09 2021-09-14 北京沃东天骏信息技术有限公司 一种信息处理方法及装置、存储介质
CN113900597A (zh) * 2021-11-30 2022-01-07 深圳市安信达存储技术有限公司 一种数据存储方法、系统、设备及存储介质
CN114297172B (zh) * 2022-01-04 2022-07-12 北京乐讯科技有限公司 一种基于云原生的分布式文件系统
CN114297172A (zh) * 2022-01-04 2022-04-08 北京乐讯科技有限公司 一种基于云原生的分布式文件系统
CN114860726A (zh) * 2022-04-29 2022-08-05 北京永信至诚科技股份有限公司 数据库存储冷热分离方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
WO2020103506A1 (zh) 2020-05-28
US11741053B2 (en) 2023-08-29
US20210133157A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
CN109491618A (zh) 基于混合存储的数据管理系统、方法、终端及介质
Kaushik et al. Evaluation and analysis of greenhdfs: A self-adaptive, energy-conserving variant of the hadoop distributed file system
Andersen et al. FAWN: A fast array of wimpy nodes
Rivoire et al. JouleSort: a balanced energy-efficiency benchmark
CN108829341B (zh) 一种基于混合存储系统的数据管理方法
Kaushik et al. Lightning: self-adaptive, energy-conserving, multi-zoned, commodity green cloud storage system
US8776066B2 (en) Managing task execution on accelerators
CN103336849B (zh) 一种数据库检索系统中提高检索速度的方法及装置
US20090228893A1 (en) Dynamic Heat and Power Optimization of Resource Pools
EP3040865B1 (en) Database management system and computer system
JP2006293981A (ja) データベース格納方法、および、データベース格納システム
CN104410666B (zh) 云计算下实现异构存储资源管理的方法及系统
CN104360724B (zh) 一种基于作业调度的刀片服务器的散热方法
US9075606B2 (en) Storage apparatus and method of determining device to be activated
Arora et al. A survey: ICT enabled energy efficiency techniques for big data applications
CN106898368A (zh) 光盘库开关控制装置、方法、设备及光盘式数据中心
CN106020720A (zh) 一种Smart Rack节点IO性能优化的方法
CN109840247B (zh) 文件系统及数据布局方法
Ge et al. Hintstor: A framework to study i/o hints in heterogeneous storage
CN100383721C (zh) 一种异构双系统总线的对象存储控制器
CN118152434A (zh) 数据管理方法及计算设备
CN104484136B (zh) 一种可支撑高并发内存数据的方法
CN103942013B (zh) 一种arm平台下高速读写与大容量存储系统及其工作方法
CN104391947B (zh) 海量gis数据实时处理方法及系统
Chen et al. CacheRAID: An efficient adaptive write cache policy to conserve RAID disk array energy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190319

RJ01 Rejection of invention patent application after publication