CN103778149A - 文件系统及其对文件进行存储管理的方法 - Google Patents

文件系统及其对文件进行存储管理的方法 Download PDF

Info

Publication number
CN103778149A
CN103778149A CN201210407136.5A CN201210407136A CN103778149A CN 103778149 A CN103778149 A CN 103778149A CN 201210407136 A CN201210407136 A CN 201210407136A CN 103778149 A CN103778149 A CN 103778149A
Authority
CN
China
Prior art keywords
file
reference value
data volume
storage space
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210407136.5A
Other languages
English (en)
Inventor
赵大勇
伍海君
王磊
李锐
阙太富
杨绍鹏
邹永强
董乘宇
张书鑫
刘畅
陈晓东
张银锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210407136.5A priority Critical patent/CN103778149A/zh
Publication of CN103778149A publication Critical patent/CN103778149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1727Details of free space management performed by the file system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1724Details of de-fragmentation performed by the file system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文件系统对文件进行存储管理的方法,所述方法包括以下步骤:与客户端通信并接收所述客户端发送的文件;获知从客户端接收的所述文件的数据量;将所述数据量与预定参考值进行比较并根据所述数据量动态地为所述文件分配存储空间;提供可供分配的所述存储空间并将所述文件存储到所述存储空间中。本发明还公开了一种文件系统。本发明可以兼顾文件系统中作为存储文件的载体的磁盘的使用效率和使用寿命,减少文件系统中存储空间的浪费,减少文件系统中的磁盘碎片,降低磁头在读取文件时的移动次数以及提高文件系统中作为文件存储载体的磁盘的可用性。

Description

文件系统及其对文件进行存储管理的方法
【技术领域】
本发明涉及文件存储技术领域,特别涉及一种文件系统及其对文件进行存储管理的方法。
【背景技术】
目前,主流的文件系统有GFS(Google File System,谷歌文件系统)和HDFS(Hadoop Distributed File System,分布式文件系统)这两种。
这两种文件系统对文件进行存储管理的技术方案如下:根据文件的数据量划分成多个区块(Chunk),然后将文件以区块的形式存储起来。
在上述两种文件系统中,GFS针对文件所切分的区块的大小都是固定的,即,不论文件的数据量为多少,都一律划分成大小固定的区块,然后再将之存储,但是,如果文件的数据量小于区块的大小,则上述技术方案将会浪费很多存储空间;而HDFS所划分的区块是自定义的,即,先将文件的数据量与区块的大小进行比较,若文件的数据量大于区块的大小,则将该文件划分成若干区块,对于最后一个区块则按照剩余文件的实际大小来划分,若文件的数据量小于区块的大小,则按照文件的实际数据量划分区块来存储,但是,这种技术方案会产生非常多的磁盘碎片,即,文件会存储在很多磁盘碎片上,在读取文件时,磁头的移动次数会大幅增加,使得文件的读取速度变慢,同时磁盘也容易发生故障,磁盘的可用性降低。
故,有必要提出一种新的技术方案,以解决上述技术问题。
【发明内容】
本发明的一个目的在于提供一种文件系统对文件进行存储管理的方法,其能减少文件系统中存储空间的浪费,减少文件系统中的磁盘碎片,降低磁头在读取文件时的移动次数以及提高文件系统中作为文件存储载体的磁盘的可用性。。
为解决上述问题,本发明提供了一种文件系统对文件进行存储管理的方法,所述方法包括以下步骤:与客户端通信并接收所述客户端发送的文件;获知从客户端接收的所述文件的数据量;将所述数据量与预定参考值进行比较并根据所述数据量动态地为所述文件分配存储空间;提供可供分配的所述存储空间并将所述文件存储到所述存储空间中。
在上述文件系统对文件进行存储管理的方法中,所述预定参考值至少包括第一参考值和第二参考值,所述第一参考值和所述第二参考值均为与所述存储空间的容量相关的数值,所述第一参考值等于所述第二参考值的预定整数的倍数。
在上述文件系统对文件进行存储管理的方法中,所述方法还包括以下步骤:获知所述文件的所述数据量;将所述数据量与第一参考值和第二参考值进行比较并生成比较结果;根据所述比较结果为所述文件分配所述存储空间,所述存储空间以所述第一参考值和所述第二参考值为单位。
在上述文件系统对文件进行存储管理的方法中,所述方法还包括以下步骤:判断在所述文件的接收过程中所述数据量是否增加,并在所述数据量增加了的情况下获知所述文件的数据增加量,以及在所述分配模块为所述文件分配存储空间的过程中根据所述数据增加量对所述数据量进行更新。
在上述文件系统对文件进行存储管理的方法中,所述方法还包括以下步骤:若所述比较结果为所述数据量按个位数向上取整后的值等于所述第一参考值的第一整数倍与所述第二参考值的第二整数倍之和,所述第二整数小于所述预定整数,为所述文件分配第一整数个第一区块和一个第二区块,所述第一区块的容量等于所述第一参考值,所述第二区块的容量等于所述第二参考值的第二整数倍;若所述比较结果为所述数据量按个位数向上取整后的值等于所述第二参考值的第三整数倍,所述第三整数小于所述预定整数,为所述文件分配一个第三区块,所述第三区块的容量等于所述第二参考值的第三整数倍;若所述比较结果为所述数据量按个位数向上取整后的值等于所述第二参考值的一倍,为所述文件分配一个第四区块,所述第四区块的容量等于所述第二参考值的一倍。
在上述文件系统对文件进行存储管理的方法中,所述方法还包括以下步骤:登记所述文件的存储状态并生成文件存储状态信息;根据所述文件存储状态信息生成存储空间剩余容量信息;根据所述存储空间剩余容量信息为所述文件分配所述存储空间。
本发明的另一个目的在于提供一种文件系统,其能减少文件系统中存储空间的浪费,减少文件系统中的磁盘碎片,降低磁头在读取文件时的移动次数以及提高文件系统中作为文件存储载体的磁盘的可用性。
为解决上述问题,本发明提供了一种文件系统,包括:通信模块,用于与客户端通信并接收所述客户端发送的文件;文件存储管理模块,用于获知所述通信模块从所述客户端接收的所述文件的数据量,并用于将所述数据量与预定参考值进行比较,以及用于根据所述数据量动态地为所述文件分配存储空间;存储模块,用于为所述文件存储管理模块提供可供分配的所述存储空间并将所述文件存储到所述存储空间中。
在上述文件系统中,所述预定参考值至少包括第一参考值和第二参考值,所述第一参考值和所述第二参考值均为与所述存储空间的容量相关的数值,所述第一参考值等于所述第二参考值的预定整数的倍数。
在上述文件系统中,所述文件存储管理模块包括:数据量获知模块,用于获知所述文件的所述数据量;比较模块,用于将所述数据量与第一参考值和第二参考值进行比较并生成比较结果;分配模块,用于根据所述比较结果为所述文件分配所述存储空间,所述存储空间以所述第一参考值和所述第二参考值为单位。
在上述文件系统中,所述数据量获知模块还用于判断在所述文件的接收过程中所述数据量是否增加,并用于在所述数据量增加了的情况下获知所述文件的数据增加量,以及用于在所述分配模块为所述文件分配存储空间的过程中根据所述数据增加量对所述数据量进行更新。
在上述文件系统中,若所述比较结果为所述数据量按个位数向上取整后的值等于所述第一参考值的第一整数倍与所述第二参考值的第二整数倍之和,所述第二整数小于所述预定整数,所述分配模块还用于为所述文件分配第一整数个第一区块和一个第二区块,所述第一区块的容量等于所述第一参考值,所述第二区块的容量等于所述第二参考值的第二整数倍;若所述比较结果为所述数据量按个位数向上取整后的值等于所述第二参考值的第三整数倍,所述第三整数小于所述预定整数,所述分配模块还用于为所述文件分配一个第三区块,所述第三区块的容量等于所述第二参考值的第三整数倍;若所述比较结果为所述数据量按个位数向上取整后的值等于所述第二参考值的一倍,所述分配模块还用于为所述文件分配一个第四区块,所述第四区块的容量等于所述第二参考值的一倍。
在上述文件系统中,所述文件存储管理模块还用于对所述存储空间进行管理,所述文件存储管理模块还包括:登记模块,用于登记所述文件的存储状态并生成文件存储状态信息;存储空间管理模块,用于根据所述文件存储状态信息生成存储空间剩余容量信息;所述分配模块还用于根据所述存储空间剩余容量信息为所述文件分配所述存储空间。
相对现有技术,本发明减少了文件系统中存储空间的浪费,减少了文件系统中的磁盘碎片,降低了磁头在读取文件时的移动次数以及提高了文件系统中作为文件存储载体的磁盘的可用性。此外,本发明可以适应文件的数据量动态地变化这一状况,进一步地,本发明可以动态地为文件分配存储空间。
为让本发明的上述内容能更明显易懂,下文特举优选实施例,并配合所附图式,作详细说明如下:
【附图说明】
图1为本发明的文件系统的框图;
图2为图1中文件存储管理模块的框图;
图3和图4为本发明的文件系统对文件进行存储管理的方法的流程图。
【具体实施方式】
以下各实施例的说明是参考附加的图式,用以例示本发明可用以实施的特定实施例。
本发明要解决的技术问题是减少文件系统中存储空间的浪费,以及减少文件系统中的磁盘碎片,降低磁头在读取文件时的移动次数,提高文件系统中作为文件存储载体的磁盘的可用性。为解决上述技术问题,本发明的技术方案为:获知文件系统要存储的文件的数据量,根据该数据量按照一定的方式为要存储的文件划分区块,即,存储空间,该方式为把文件的数据量向上取整,即,可以是按个位数、十位数、小数点后的十分位等等方式向上取整,然后将取整后的数据量优先按照较大的区块来划分,直到剩余的数据量不能继续按照较大的区块来划分为止,而剩余的数据量则作为另一个区块,因此,可以提高文件系统中作为文件存储载体的磁盘的使用效率,此外,由于将文件的数据量向上取整再将文件划分区块,因此可以减少磁盘碎片,从而可以提高文件系统中作为文件存储载体的磁盘的使用寿命。
参考图1和图2,图1为本发明的文件系统的框图,图2为图1中文件存储管理模块102的框图。本发明的文件系统包括通信模块101、文件存储管理模块102和存储模块103,通信模块101电性连接文件存储管理模块102,文件存储管理模块102电性连接存储模块103。其中,通信模块101用于与客户端通信并接收客户端发送的文件。文件存储管理模块102用于获知通信模块101从客户端接收的文件的数据量,并用于将数据量与预定参考值进行比较,以及用于根据所获知的数据量动态地为文件分配存储空间并对存储空间进行管理,该预定参考值至少包括第一参考值和第二参考值,第一参考值和第二参考值均为与该存储空间的容量相关的数值,第一参考值等于第二参考值的预定整数的倍数。存储模块103用于为文件存储管理模块102提供可供文件存储管理模块102分配的存储空间并将文件存储到存储空间中。
本发明的文件存储管理模块包括数据量获知模块1021、比较模块1022和分配模块1023。数据量获知模块1021电性连接比较模块1022和通信模块1012,分配模块1023电性连接比较模块1022、存储模块103和通信模块101。其中,数据量获知模块1021用于获知文件的数据量,数据量获知模块1021可以通过对从客户端接收的请求信息进行解析来获知文件的数据量。比较模块1022用于将数据量与第一参考值和第二参考值进行比较并生成比较结果。分配模块1023用于根据比较结果为文件分配存储空间,存储空间可以以第一参考值和第二参考值为单位。
若比较结果为数据量按个位数向上取整后的值等于第一参考值的第一整数倍与第二参考值的第二整数倍之和,第二整数小于该预定整数,分配模块1023还用于为文件分配第一整数个第一区块和一个第二区块,第一区块的容量等于第一参考值,第二区块的容量等于第二参考值的第二整数倍。这种情况为文件的数据量大于第一区块的容量(第一参考值)的情况,本发明的文件系统将所接收的文件优先地按照第一区块来划分,在剩余数据量不能划分为第一区块时再按照该剩余数据量来划分第二区块。在上述将文件划分为第一区块和第二区块的过程中将文件存储到存储模块103中。
若比较结果为数据量按个位数向上取整后的值等于第二参考值的第三整数倍,第三整数小于预定整数,分配模块1023还用于为文件分配一个第三区块,第三区块的容量等于第二参考值的第三整数倍。这种情况为文件的数据量小于第一区块的容量(第一参考值)的情况,本发明的文件系统将所接收的文件按照其数据量按个位数向上取整后的值来划分第三区块。在上述将文件划分成第三区块的过程中将文件存储到存储模块103中。
若比较结果为数据量按个位数向上取整后的值等于第二参考值的一倍,分配模块1023还用于为文件分配一个第四区块,第四区块的容量等于第二参考值的一倍。这种情况为文件的数据量小于第二区块的容量(第二参考值)的情况,本发明的文件系统将所接收的文件按照第二参考值来划分区块,作为第四区块。在上述将文件划分为第四区块的过程中将文件存储到存储模块1023中。
因此,上述技术方案可以兼顾文件系统中作为存储文件的载体的磁盘的使用效率和使用寿命。
此外,在实践中,存在以下这样一种情况:本发明的文件系统所接收的文件的数据量是动态变化的,即,文件系统所接收的文件的数据量可能会不断地增加。因此,为了适应这种情况,本发明的文件系统需要对处于接收过程中的文件的数据量进行实时监控,为了实现这一目的,本发明的文件系统的数据量获知模块1021还用于充当监控文件的数据量是否变化的角色。具体地,数据量获知模块1021还用于判断在文件的接收过程中文件的数据量是否增加,并用于在该数据量增加了的情况下获知文件的数据增加量,以及用于在分配模块1023为文件分配存储空间的过程中根据数据增加量对数据量进行更新。更新后的数据量将提供给比较模块1022,比较模块1022将更新后的数据量再次与第一参考值和第二参考值进行比较,然后分配模块1023按照上述方式来为文件动态地分配存储空间。
此外,为了使客户端从存储模块中顺利地和快速的读取所存储的文件,因此,有必要对存储模块103中的存储空间进行管理,为了实现此目的,本发明的文件存储管理模块102还包括登记模块1025,登记模块1025与分配模块1023电性连接。其中,登记模块1025用于登记文件的存储状态并生成文件存储状态信息,该文件存储状态信息记录了所存储的文件的存储位置、区块信息等等。
此外,为了使分配模块1023为文件分配恰当的存储空间,本发明的文件存储管理模块102还包括存储空间管理模块1024,存储空间管理模块1024与分配模块1023和存储模块103电性连接。存储空间管理模块102用于根据文件存储状态信息生成存储空间剩余容量信息,存储空间剩余容量信息用来提供给分配模块1023作参考用途。分配模块1023还用于根据存储空间剩余容量信息为文件分配存储空间。
作为一个例子,在本发明的装置中,上述第一参考值为64MB(Megabyte,兆字节),上述第二参考值为1MB,第一参考值等于第二参考值的64倍,本发明的装置动态地为文件分配从1MB到64MB的区块,即,存储空间,该区块最大是64MB,最小是1MB,并且该区块的实际大小是1MB的整数倍,即,该区块的实际大小可以是1MB,2MB,......,64MB等64种情况,本发明的装置首先会根据所接收到的文件的实际大小将该文件分配若干个64MB的区块,然后将剩余的未分配区块的文件根据其数据量向上取整后的值分配区块,如果所接收到的文件的实际大小小于64MB,则直接根据其数据量向上取整后的值分配区块。例如,若文件的数据量为65.5MB,65.5MB=64MB+1.5MB,则本发明的装置将该文件分配大小分别为64MB和2MB的区块;而若文件的数据量为1.5MB,则本发明的装置将该文件分配大小为2MB的区块,如此类推。此外,对于数据量在不断增加的文件,本发明的装置动态地根据该文件的实际大小扩充最后一个区块的大小。
在本发明的装置中,上述第一参考值也可以为128M,上述第二参考值也可以为2M,第一参考值等于第二参考值的64倍,诸如此类等等。
参考图3和图4,图3和图4为本发明的文件系统对文件进行存储管理的方法的流程图。本发明的文件系统对文件进行存储管理的方法由文件系统执行。
在步骤301,通信模块101与客户端通信并接收客户端发送的文件。
在步骤302至步骤310,文件存储管理模块102获知从客户端接收的文件的数据量并将数据量与预定参考值进行比较,以及根据所获知的数据量动态地为文件分配存储空间,该预定参考值至少包括第一参考值和第二参考值,第一参考值和第二参考值均为与该存储空间的容量相关的数值,第一参考值等于第二参考值的预定整数的倍数。具体地,在步骤302,数据量获知模块1021获知文件的数据量,数据量获知模块1021可以通过对从客户端接收的请求信息进行解析来获知文件的数据量。在步骤303,比较模块1022将数据量与第一参考值和第二参考值进行比较并生成比较结果。
在步骤304至步骤309,分配模块1023根据比较结果为文件分配存储空间,存储空间可以以第一参考值和第二参考值为单位。具体地,在步骤304,分配模块1023判断该比较结果是否属于第一种情况,即,数据量按个位数向上取整后的值是否等于第一参考值的第一整数倍与第二参考值的第二整数倍之和,其中,第二整数小于该预定整数,若是,则进入步骤305,否则,进入步骤306。在步骤305,分配模块1023为文件分配第一整数个第一区块和一个第二区块,第一区块的容量等于第一参考值,第二区块的容量等于第二参考值的第二整数倍。这种情况为文件的数据量大于第一区块的容量(第一参考值)的情况,本发明的文件系统将所接收的文件优先地按照第一区块来划分,在剩余数据量不能划分为第一区块时再按照该剩余数据量来划分第二区块。在上述将文件划分为第一区块和第二区块的过程中将文件存储到存储模块103中。在步骤306,分配模块1023判断该比较结果是否属于第二种情况,即,数据量按个位数向上取整后的值是否等于第二参考值的第三整数倍,其中,第三整数小于预定整数,若是,则进入步骤307,否则,进入步骤308。在步骤307,分配模块1023为文件分配一个第三区块,第三区块的容量等于第二参考值的第三整数倍。这种情况为文件的数据量小于第一区块的容量(第一参考值)的情况,本发明的文件系统将所接收的文件按照其数据量按个位数向上取整后的值来划分第三区块。在上述将文件划分成第三区块的过程中将文件存储到存储模块103中。在步骤308,分配模块1023判断该比较结果是否属于第三种情况,即,数据量按个位数向上取整后的值是否等于第二参考值的一倍,若是,则进入步骤309,否则,进入步骤310。在步骤309,分配模块1023为文件分配一个第四区块,第四区块的容量等于第二参考值的一倍。这种情况为文件的数据量小于第二区块的容量(第二参考值)的情况,本发明的文件系统将所接收的文件按照第二参考值来划分区块,作为第四区块。在上述将文件划分为第四区块的过程中将文件存储到存储模块1023中。这样,可以兼顾文件系统中作为存储文件的载体的磁盘的使用效率和使用寿命。
在步骤310,数据量获知模块1021判断在文件的接收过程中文件的数据量是否增加,若是,则返回到步骤302,即,获知文件的数据增加量,以及在分配模块1023为文件分配存储空间的过程中根据数据增加量对数据量进行更新,更新后的数据量将提供给比较模块1022,若文件的数据量没有增加,则进入步骤311。由于利用数据量获知模块1021对处于接收过程中的文件的数据量进行实时监控,因此可以适应文件的数据量动态地变化这一状况,在文件的数据量增加了的情况下及时地和动态地获知要提供存储空间的数据量,进一步地,本发明的文件系统可以动态地为文件分配存储空间。
在步骤311,存储模块103为文件存储管理模块102提供可供文件存储管理模块102分配的存储空间并将文件存储到存储空间中。在步骤312,分配模块1023判断文件是否已经存储完毕,若是,则进如步骤313,否则,返回到步骤303。
在步骤313至步骤314,文件存储管理模块102对存储空间进行管理。具体地,在步骤313,登记模块1025登记文件的存储状态并生成文件存储状态信息,该文件存储状态信息记录了所存储的文件的存储位置、区块信息等等。这样,有利于使客户端从存储模块中顺利地和快速的获取所存储的文件。在步骤314,存储空间管理模块102根据文件存储状态信息生成存储空间剩余容量信息,存储空间剩余容量信息用来提供给分配模块1023作参考用途。这样,有利于使分配模块1023为文件分配恰当的存储空间。
此外,在步骤304至步骤309中,分配模块1023还根据存储空间剩余容量信息为文件分配存储空间。
作为一个例子,在本发明的方法中,上述第一参考值为64MB,上述第二参考值为1MB,第一参考值等于第二参考值的64倍,本发明的方法动态地为文件分配从1MB到64MB的区块,即,存储空间,该区块最大是64MB,最小是1MB,并且该区块的实际大小是1MB的整数倍,即,该区块的实际大小可以是1MB,2MB,......64MB等64种情况,本发明的方法首先会根据所接收到的文件的实际大小将该文件分配若干个64MB的区块,然后将剩余的未分配区块的文件根据其数据量向上取整的值分配区块,如果所接收到的文件的实际大小小于64MB,则直接根据其数据量向上取整后的值分配区块。例如,若文件的数据量为65.5MB,65.5MB=64MB+1.5MB,则本发明的方法将该文件分配大小分别为64MB和2MB的区块;而若文件的数据量为1.5MB,则本发明的方法将该文件分配大小为2MB的区块,如此类推。此外,对于数据量在不断增加的文件,本发明的方法动态地根据该文件的实际大小扩充最后一个区块的大小。
在本发明的方法中,上述第一参考值也可以为128M,上述第二参考值也可以为2M,第一参考值等于第二参考值的64倍,诸如此类。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。

Claims (12)

1.一种文件系统对文件进行存储管理的方法,其特征在于,所述方法包括以下步骤:
与客户端通信并接收所述客户端发送的文件;
获知从客户端接收的所述文件的数据量;
将所述数据量与预定参考值进行比较并根据所述数据量动态地为所述文件分配存储空间;
提供可供分配的所述存储空间并将所述文件存储到所述存储空间中。
2.根据权利要求1所述的文件系统对文件进行存储管理的方法,其特征在于,所述预定参考值至少包括第一参考值和第二参考值,所述第一参考值和所述第二参考值均为与所述存储空间的容量相关的数值,所述第一参考值等于所述第二参考值的预定整数的倍数。
3.根据权利要求1所述的文件系统对文件进行存储管理的方法,其特征在于,所述方法还包括以下步骤:
获知所述文件的所述数据量;
将所述数据量与第一参考值和第二参考值进行比较并生成比较结果;
根据所述比较结果为所述文件分配所述存储空间,所述存储空间以所述第一参考值和所述第二参考值为单位。
4.根据权利要求3所述的文件系统对文件进行存储管理的方法,其特征在于,所述方法还包括以下步骤:
判断在所述文件的接收过程中所述数据量是否增加,并在所述数据量增加了的情况下获知所述文件的数据增加量,以及在为所述文件分配存储空间的过程中根据所述数据增加量对所述数据量进行更新。
5.根据权利要求3或4所述的文件系统对文件进行存储管理的方法,其特征在于,所述方法还包括以下步骤:
若所述比较结果为所述数据量按个位数向上取整后的值等于所述第一参考值的第一整数倍与所述第二参考值的第二整数倍之和,所述第二整数小于所述预定整数,为所述文件分配第一整数个第一区块和一个第二区块,所述第一区块的容量等于所述第一参考值,所述第二区块的容量等于所述第二参考值的第二整数倍;
若所述比较结果为所述数据量按个位数向上取整后的值等于所述第二参考值的第三整数倍,所述第三整数小于所述预定整数,为所述文件分配一个第三区块,所述第三区块的容量等于所述第二参考值的第三整数倍;
若所述比较结果为所述数据量按个位数向上取整后的值等于所述第二参考值的一倍,为所述文件分配一个第四区块,所述第四区块的容量等于所述第二参考值的一倍。
6.根据权利要求3所述的文件系统对文件进行存储管理的方法,其特征在于,所述方法还包括以下步骤:
登记所述文件的存储状态并生成文件存储状态信息;
根据所述文件存储状态信息生成存储空间剩余容量信息;
根据所述存储空间剩余容量信息为所述文件分配所述存储空间。
7.一种文件系统,其特征在于,包括:
通信模块,用于与客户端通信并接收所述客户端发送的文件;
文件存储管理模块,用于获知所述通信模块从所述客户端接收的所述文件的数据量,并用于将所述数据量与预定参考值进行比较,以及用于根据所述数据量动态地为所述文件分配存储空间;
存储模块,用于为所述文件存储管理模块提供可供分配的所述存储空间并将所述文件存储到所述存储空间中。
8.根据权利要求7所述的文件系统,其特征在于,所述预定参考值至少包括第一参考值和第二参考值,所述第一参考值和所述第二参考值均为与所述存储空间的容量相关的数值,所述第一参考值等于所述第二参考值的预定整数的倍数。
9.根据权利要求7所述的文件系统,其特征在于,所述文件存储管理模块包括:
数据量获知模块,用于获知所述文件的所述数据量;
比较模块,用于将所述数据量与第一参考值和第二参考值进行比较并生成比较结果;
分配模块,用于根据所述比较结果为所述文件分配所述存储空间,所述存储空间以所述第一参考值和所述第二参考值为单位。
10.根据权利要求9所述的文件系统,其特征在于,所述数据量获知模块还用于判断在所述文件的接收过程中所述数据量是否增加,并用于在所述数据量增加了的情况下获知所述文件的数据增加量,以及用于在所述分配模块为所述文件分配存储空间的过程中根据所述数据增加量对所述数据量进行更新。
11.根据权利要求9或10所述的文件系统,其特征在于,若所述比较结果为所述数据量按个位数向上取整后的值等于所述第一参考值的第一整数倍与所述第二参考值的第二整数倍之和,所述第二整数小于所述预定整数,所述分配模块还用于为所述文件分配第一整数个第一区块和一个第二区块,所述第一区块的容量等于所述第一参考值,所述第二区块的容量等于所述第二参考值的第二整数倍;
若所述比较结果为所述数据量按个位数向上取整后的值等于所述第二参考值的第三整数倍,所述第三整数小于所述预定整数,所述分配模块还用于为所述文件分配一个第三区块,所述第三区块的容量等于所述第二参考值的第三整数倍;
若所述比较结果为所述数据量按个位数向上取整后的值等于所述第二参考值的一倍,所述分配模块还用于为所述文件分配一个第四区块,所述第四区块的容量等于所述第二参考值的一倍。
12.根据权利要求9所述的文件系统,其特征在于,所述文件存储管理模块还用于对所述存储空间进行管理,
所述文件存储管理模块还包括:
登记模块,用于登记所述文件的存储状态并生成文件存储状态信息;
存储空间管理模块,用于根据所述文件存储状态信息生成存储空间剩余容量信息;
所述分配模块还用于根据所述存储空间剩余容量信息为所述文件分配所述存储空间。
CN201210407136.5A 2012-10-23 2012-10-23 文件系统及其对文件进行存储管理的方法 Pending CN103778149A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210407136.5A CN103778149A (zh) 2012-10-23 2012-10-23 文件系统及其对文件进行存储管理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210407136.5A CN103778149A (zh) 2012-10-23 2012-10-23 文件系统及其对文件进行存储管理的方法

Publications (1)

Publication Number Publication Date
CN103778149A true CN103778149A (zh) 2014-05-07

Family

ID=50570392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210407136.5A Pending CN103778149A (zh) 2012-10-23 2012-10-23 文件系统及其对文件进行存储管理的方法

Country Status (1)

Country Link
CN (1) CN103778149A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170053487A (ko) * 2015-11-06 2017-05-16 에스케이하이닉스 주식회사 메모리 장치 및 이의 동작 방법
CN107632791A (zh) * 2017-10-10 2018-01-26 郑州云海信息技术有限公司 一种存储空间的分配方法及系统
CN108701080A (zh) * 2015-12-21 2018-10-23 内存技术有限责任公司 使用参考值确保存储设备动作有效
CN109408231A (zh) * 2018-10-11 2019-03-01 北京中电华大电子设计有限责任公司 一种有效管理多应用卡存储空间的方法
CN110516795A (zh) * 2019-08-28 2019-11-29 北京达佳互联信息技术有限公司 一种为模型变量分配处理器的方法、装置及电子设备
CN111190867A (zh) * 2019-12-27 2020-05-22 柏科数据技术(深圳)股份有限公司 一种用于文件存储的存储分层系统
CN111931028A (zh) * 2020-08-18 2020-11-13 北京微步在线科技有限公司 一种基于k8s的监控系统及监控方法
CN113094374A (zh) * 2021-04-27 2021-07-09 广州炒米信息科技有限公司 分布式存储和检索方法、装置及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832525A (en) * 1996-06-24 1998-11-03 Sun Microsystems, Inc. Disk fragmentation reduction using file allocation tables
CN101515253A (zh) * 2008-02-19 2009-08-26 联发科技(合肥)有限公司 将文件写入存储介质与从存储介质读取文件的装置及方法
CN102096722A (zh) * 2011-03-21 2011-06-15 成都市华为赛门铁克科技有限公司 文件存储方法和装置
CN102508902A (zh) * 2011-11-08 2012-06-20 西安电子科技大学 云存储系统中可变分块大小的块数据分块方法
CN102541869A (zh) * 2010-12-07 2012-07-04 腾讯科技(深圳)有限公司 写入文件的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832525A (en) * 1996-06-24 1998-11-03 Sun Microsystems, Inc. Disk fragmentation reduction using file allocation tables
CN101515253A (zh) * 2008-02-19 2009-08-26 联发科技(合肥)有限公司 将文件写入存储介质与从存储介质读取文件的装置及方法
CN102541869A (zh) * 2010-12-07 2012-07-04 腾讯科技(深圳)有限公司 写入文件的方法和装置
CN102096722A (zh) * 2011-03-21 2011-06-15 成都市华为赛门铁克科技有限公司 文件存储方法和装置
CN102508902A (zh) * 2011-11-08 2012-06-20 西安电子科技大学 云存储系统中可变分块大小的块数据分块方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170053487A (ko) * 2015-11-06 2017-05-16 에스케이하이닉스 주식회사 메모리 장치 및 이의 동작 방법
CN106683698A (zh) * 2015-11-06 2017-05-17 爱思开海力士有限公司 存储器件及其操作方法
KR102468992B1 (ko) * 2015-11-06 2022-11-22 에스케이하이닉스 주식회사 메모리 장치 및 이의 동작 방법
CN108701080A (zh) * 2015-12-21 2018-10-23 内存技术有限责任公司 使用参考值确保存储设备动作有效
CN107632791A (zh) * 2017-10-10 2018-01-26 郑州云海信息技术有限公司 一种存储空间的分配方法及系统
CN109408231A (zh) * 2018-10-11 2019-03-01 北京中电华大电子设计有限责任公司 一种有效管理多应用卡存储空间的方法
CN110516795A (zh) * 2019-08-28 2019-11-29 北京达佳互联信息技术有限公司 一种为模型变量分配处理器的方法、装置及电子设备
CN110516795B (zh) * 2019-08-28 2022-05-10 北京达佳互联信息技术有限公司 一种为模型变量分配处理器的方法、装置及电子设备
CN111190867A (zh) * 2019-12-27 2020-05-22 柏科数据技术(深圳)股份有限公司 一种用于文件存储的存储分层系统
CN111931028A (zh) * 2020-08-18 2020-11-13 北京微步在线科技有限公司 一种基于k8s的监控系统及监控方法
CN113094374A (zh) * 2021-04-27 2021-07-09 广州炒米信息科技有限公司 分布式存储和检索方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN103778149A (zh) 文件系统及其对文件进行存储管理的方法
CN102650931B (zh) 一种写入数据的方法及系统
US10102118B2 (en) Memory system and non-transitory computer readable recording medium
EP2921963A1 (en) Memory recycling method and device
EP2933733A1 (en) Data processing method and device in distributed file storage system
CN102520887A (zh) 一种应用于云计算的存储空间配置与管理方法
CN103095806B (zh) 一种面向大电网的实时数据库系统的负载均衡管理系统
CN103078965B (zh) 虚拟机的ip地址管理方法
CN102449607A (zh) 具有多个闪存封装的存储系统
CN105190567A (zh) 用于管理存储系统快照的系统和方法
CN104407933A (zh) 一种数据的备份方法及装置
CN102982182A (zh) 一种数据存储规划方法及装置
CN104731799A (zh) 内存数据库管理装置
CN106844108A (zh) 一种数据存储方法、服务器以及存储系统
CN101373445A (zh) 一种内存调度方法及装置
CN101226553A (zh) 一种嵌入式数据库变长字段存储的实现方法及装置
WO2016115920A1 (zh) 存储管理方法、装置及流媒体系统
CN103778120A (zh) 全局文件标识生成方法、生成装置及相应的分布式文件系统
CN105389376A (zh) 基于连续块的无碎片化多媒体数据存储方法及系统
CN103116475A (zh) 一种自动精简配置扩容的方法
CN103617024B (zh) 一种并发数据处理方法、装置和系统
CN102708063A (zh) 磁盘空间管理方法及装置
CN108132759A (zh) 一种文件系统中管理数据的方法和装置
US20170003890A1 (en) Device, program, recording medium, and method for extending service life of memory
CN102520879B (zh) 基于优先级的文件信息存储方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140507