CN107122140A - 一种基于元数据信息的文件智能存储方法 - Google Patents

一种基于元数据信息的文件智能存储方法 Download PDF

Info

Publication number
CN107122140A
CN107122140A CN201710301998.2A CN201710301998A CN107122140A CN 107122140 A CN107122140 A CN 107122140A CN 201710301998 A CN201710301998 A CN 201710301998A CN 107122140 A CN107122140 A CN 107122140A
Authority
CN
China
Prior art keywords
file
metadata information
storage
blocks
snapshot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710301998.2A
Other languages
English (en)
Inventor
王志华
吴丙涛
徐艳秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710301998.2A priority Critical patent/CN107122140A/zh
Publication of CN107122140A publication Critical patent/CN107122140A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明特别涉及一种基于元数据信息的文件智能存储方法。该基于元数据信息的文件智能存储方法，客户端把文件条带化为数据块时，在每个文件数据块增加4K的元数据信息，元数据信息包括时间戳、读次数和所属文件；存储系统通过这些元数据信息完成快照、数据缓存和文件智能落盘功能，并可以根据需要进一步增加元数据信息用于其他功能，通过牺牲一定的存储空间，满足存储的其他功能。该基于元数据信息的文件智能存储方法，通过增加在文件条带时在文件块信息中增加元数据信息时间戳、读次数和所属文件，实现了文件智能存储。

Description

一种基于元数据信息的文件智能存储方法
技术领域
本发明涉及存储软件的磁盘故障模拟测试技术领域，特别涉及一种基于元数据信息的文件智能存储方法。
背景技术
分布式存储系统是当前云计算、云存储等云技术环境下一个不可或缺的组件。随着数据信息的爆炸式增长，对存储系统的功能要求越来越高。基于文件的的快照、热点数据的访问速度、存储的读写带宽、时延等都有一定要求。
针对上述要求，本发明设计了一种基于元数据信息的文件智能存储方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于元数据信息的文件智能存储方法。
本发明是通过如下技术方案实现的：
一种基于元数据信息的文件智能存储方法，其特征在于：客户端把文件条带化为数据块时，在每个文件数据块增加4K的元数据信息，元数据信息包括时间戳、读次数和所属文件；存储系统通过这些元数据信息完成快照、数据缓存和文件智能落盘功能，并可以根据需要进一步增加元数据信息用于其他功能，通过牺牲一定的存储空间，满足存储的其他功能。
所述时间戳用于基于文件的快照信息，当需要基于文件做快照时，只需要记录当前时间即可；对于文件新增内容正常存储，对于覆盖写需要进行新增写，并通过时间戳来区分。
所述读次数用于存储系统判断数据冷热程度，系统通过读次数判断是否需要缓存以及系统是否缓存老化。
所述所属文件用于系统判断文件块应该落到哪个盘，在不影响系统的存储容量平衡的情况下，尽可能保证文件能够顺序写入磁盘，减少磁盘随机读写。
所述基于元数据信息的文件智能存储方法，包括以下步骤：
（1）客户端在对文件条带时，文件块预留4K空间，并填写文件块的生成时间以及所属文件；
（2）客户端根据存储系统综合存储容量平衡和文件存储连续性发送数据块信息到存储系统；
（3）存储系统根据所属文件，顺序存放文件块内容；
（4）当系统对该文件做快照后，文件的所有新增内容以及覆盖写内容都存着新的物理存储上；对文件快照回滚时，根据数据块时间戳直接删除新增内容即可；
（5）当系统一定时间内对某个文件块的访问次数到达一个设定值时，系统自动把对应文件块内容放入到读写性能高的缓存中。
本发明的有益效果是：该基于元数据信息的文件智能存储方法，通过增加在文件条带时在文件块信息中增加元数据信息时间戳、读次数和所属文件，实现了文件智能存储。
附图说明
附图1为本发明基于元数据信息的文件智能存储方法示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图和实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该基于元数据信息的文件智能存储方法，客户端把文件条带化为数据块时，在每个文件数据块增加4K的元数据信息，元数据信息包括时间戳、读次数和所属文件；存储系统通过这些元数据信息完成快照、数据缓存和文件智能落盘功能，并可以根据需要进一步增加元数据信息用于其他功能，通过牺牲一定的存储空间，满足存储的其他功能。
所述时间戳用于基于文件的快照信息，当需要基于文件做快照时，只需要记录当前时间即可；对于文件新增内容正常存储，对于覆盖写需要进行新增写，并通过时间戳来区分。
所述读次数用于存储系统判断数据冷热程度，系统通过读次数判断是否需要缓存以及系统是否缓存老化。
所述所属文件用于系统判断文件块应该落到哪个盘，在不影响系统的存储容量平衡的情况下，尽可能保证文件能够顺序写入磁盘，减少磁盘随机读写。
该基于元数据信息的文件智能存储方法，包括以下步骤：
（1）客户端在对文件条带时，文件块预留4K空间，并填写文件块的生成时间以及所属文件；
（2）客户端根据存储系统综合存储容量平衡和文件存储连续性发送数据块信息到存储系统；
（3）存储系统根据所属文件，顺序存放文件块内容；
（4）当系统对该文件做快照后，文件的所有新增内容以及覆盖写内容都存着新的物理存储上；对文件快照回滚时，根据数据块时间戳直接删除新增内容即可；
（5）当系统一定时间内对某个文件块的访问次数到达一个设定值时，系统自动把对应文件块内容放入到读写性能高的缓存中。
下面以文件A和文件B为例说明。对于一次具体文件A和文件B每个文件条带化出2个文件块，在每个文件块的前端预留4K的信息用于保存元数据时间戳、读次数、所属文件信息。对于文件A的数据在不影响存储容量平衡的情况下存储到了一块磁盘，对于文件B的数据存储到了一块磁盘上。
当对文件B的数据块1读的比较频繁时，文件B的数据块1会缓存到高速缓存的存储中，当对文件A做了快照后，文件A的新增数据写入到另外一个存储中，对于覆盖写的文件块1’也写入到新的存储中，时间戳保留为新的时间戳。

Claims (5)

1.一种基于元数据信息的文件智能存储方法，其特征在于：客户端把文件条带化为数据块时，在每个文件数据块增加4K的元数据信息，元数据信息包括时间戳、读次数和所属文件；存储系统通过这些元数据信息完成快照、数据缓存和文件智能落盘功能，并可以根据需要进一步增加元数据信息用于其他功能，通过牺牲一定的存储空间，满足存储的其他功能。
2.根据权利要求1所述的基于元数据信息的文件智能存储方法，其特征在于：所述时间戳用于基于文件的快照信息，当需要基于文件做快照时，只需要记录当前时间即可；对于文件新增内容正常存储，对于覆盖写需要进行新增写，并通过时间戳来区分。
3.根据权利要求1所述的基于元数据信息的文件智能存储方法，其特征在于：所述读次数用于存储系统判断数据冷热程度，系统通过读次数判断是否需要缓存以及系统是否缓存老化。
4.根据权利要求1所述的基于元数据信息的文件智能存储方法，其特征在于：所述所属文件用于系统判断文件块应该落到哪个盘，在不影响系统的存储容量平衡的情况下，尽可能保证文件能够顺序写入磁盘，减少磁盘随机读写。
5.根据权利要求1-4任意一项所述的基于元数据信息的文件智能存储方法，其特征在于，包括以下步骤：
（1）客户端在对文件条带时，文件块预留4K空间，并填写文件块的生成时间以及所属文件；
（2）客户端根据存储系统综合存储容量平衡和文件存储连续性发送数据块信息到存储系统；
（3）存储系统根据所属文件，顺序存放文件块内容；
（4）当系统对该文件做快照后，文件的所有新增内容以及覆盖写内容都存着新的物理存储上；对文件快照回滚时，根据数据块时间戳直接删除新增内容即可；
（5）当系统一定时间内对某个文件块的访问次数到达一个设定值时，系统自动把对应文件块内容放入到读写性能高的缓存中。
CN201710301998.2A 2017-05-02 2017-05-02 一种基于元数据信息的文件智能存储方法 Pending CN107122140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710301998.2A CN107122140A (zh) 2017-05-02 2017-05-02 一种基于元数据信息的文件智能存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710301998.2A CN107122140A (zh) 2017-05-02 2017-05-02 一种基于元数据信息的文件智能存储方法

Publications (1)

Publication Number Publication Date
CN107122140A true CN107122140A (zh) 2017-09-01

Family

ID=59726635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710301998.2A Pending CN107122140A (zh) 2017-05-02 2017-05-02 一种基于元数据信息的文件智能存储方法

Country Status (1)

Country Link
CN (1) CN107122140A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018897A (zh) * 2018-01-09 2019-07-16 阿里巴巴集团控股有限公司 数据处理方法、装置及计算设备
CN113806389A (zh) * 2021-09-22 2021-12-17 未鲲(上海)科技服务有限公司 一种数据处理方法、装置、计算设备与存储介质
CN114297172A (zh) * 2022-01-04 2022-04-08 北京乐讯科技有限公司 一种基于云原生的分布式文件系统
CN117076417A (zh) * 2023-10-16 2023-11-17 苏州元脑智能科技有限公司 一种文件快照实现方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855239A (zh) * 2011-06-28 2013-01-02 清华大学 一种分布式地理文件系统
WO2013122387A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
CN103473277A (zh) * 2013-08-27 2013-12-25 华为技术有限公司 文件系统的快照方法和装置
CN103559139A (zh) * 2013-10-23 2014-02-05 华为技术有限公司 一种数据存储方法及装置
CN103914516A (zh) * 2014-02-25 2014-07-09 深圳市中博科创信息技术有限公司 一种存储系统分层管理的方法与系统
CN104933133A (zh) * 2015-06-12 2015-09-23 中国科学院计算技术研究所 分布式文件系统中的元数据快照存储和访问方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855239A (zh) * 2011-06-28 2013-01-02 清华大学 一种分布式地理文件系统
WO2013122387A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
CN103473277A (zh) * 2013-08-27 2013-12-25 华为技术有限公司 文件系统的快照方法和装置
CN103559139A (zh) * 2013-10-23 2014-02-05 华为技术有限公司 一种数据存储方法及装置
CN103914516A (zh) * 2014-02-25 2014-07-09 深圳市中博科创信息技术有限公司 一种存储系统分层管理的方法与系统
CN104933133A (zh) * 2015-06-12 2015-09-23 中国科学院计算技术研究所 分布式文件系统中的元数据快照存储和访问方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018897A (zh) * 2018-01-09 2019-07-16 阿里巴巴集团控股有限公司 数据处理方法、装置及计算设备
WO2019137321A1 (zh) * 2018-01-09 2019-07-18 阿里巴巴集团控股有限公司 数据处理方法、装置及计算设备
US11354050B2 (en) 2018-01-09 2022-06-07 Alibaba Group Holding Limited Data processing method, apparatus, and computing device
CN113806389A (zh) * 2021-09-22 2021-12-17 未鲲(上海)科技服务有限公司 一种数据处理方法、装置、计算设备与存储介质
CN114297172A (zh) * 2022-01-04 2022-04-08 北京乐讯科技有限公司 一种基于云原生的分布式文件系统
CN114297172B (zh) * 2022-01-04 2022-07-12 北京乐讯科技有限公司 一种基于云原生的分布式文件系统
CN117076417A (zh) * 2023-10-16 2023-11-17 苏州元脑智能科技有限公司 一种文件快照实现方法、装置、计算机设备及存储介质
CN117076417B (zh) * 2023-10-16 2024-02-06 苏州元脑智能科技有限公司 一种文件快照实现方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN107203345B (zh) 一种多副本存储快速校验一致性方法及其装置
CN105183839A (zh) 一种基于Hadoop的小文件分级索引的存储优化方法
US10248556B2 (en) Forward-only paged data storage management where virtual cursor moves in only one direction from header of a session to data field of the session
CN107122140A (zh) 一种基于元数据信息的文件智能存储方法
US11232073B2 (en) Method and apparatus for file compaction in key-value store system
US20160140054A1 (en) Method and system for determining fifo cache size
CN107436725A (zh) 一种数据写、读方法、装置及分布式对象存储集群
CN104111804A (zh) 一种分布式文件系统
CN103399823B (zh) 业务数据的存储方法、设备和系统
CN111930316B (zh) 一种内容分发网络的缓存读写系统和方法
CN104238962A (zh) 向缓存中写入数据的方法及装置
CN108021717B (zh) 一种轻量级嵌入式文件系统的实现方法
US20120117297A1 (en) Storage tiering with minimal use of dram memory for header overhead
CN113296696A (zh) 一种数据的访问方法、计算设备及存储介质
CN104092670A (zh) 网络缓存服务器处理文件的方法及处理缓存文件的设备
CN102456076A (zh) 海量片段数据汇聚的系统和方法
CN103605630A (zh) 一种虚拟服务器系统及其数据读写方法
CN112995257B (zh) 基于云存储架构的缓存扩容方法、装置以及存储介质
CN103793468A (zh) 数据存储方法和装置以及数据读取方法和装置
Chen et al. Low‐overhead inline deduplication for persistent memory
CN107506466A (zh) 一种小文件存储方法及系统
CN107423425A (zh) 一种对k/v格式的数据快速存储和查询方法
CN113553325A (zh) 一种对象存储系统中聚合对象的同步方法和系统
CN111158606B (zh) 存储方法、装置、计算机设备和存储介质
CN103176753B (zh) 存储设备及其数据管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170901