CN111741107B - 基于文件存储系统的分层方法及装置、电子设备 - Google Patents
基于文件存储系统的分层方法及装置、电子设备 Download PDFInfo
- Publication number
- CN111741107B CN111741107B CN202010567725.4A CN202010567725A CN111741107B CN 111741107 B CN111741107 B CN 111741107B CN 202010567725 A CN202010567725 A CN 202010567725A CN 111741107 B CN111741107 B CN 111741107B
- Authority
- CN
- China
- Prior art keywords
- file
- storage
- determining
- layering
- directory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于文件存储系统的分层方法及装置、电子设备。其中,该方法包括:确定文件存储系统的文件存储区;遍历文件存储区中所有文件,得到文件信息,其中,文件信息至少包括:文件目录和每个文件被访问的时间点;基于每个文件被访问的时间点,确定文件目录下每个文件的访问属性;基于访问属性,将文件目录下的各个文件加载至对应的目标存储层。本发明解决了相关技术中对存储介质进行分层存储,存储服务器存储逻辑复杂,且分层容易出错的技术问题。
Description
技术领域
本发明涉及文件处理技术领域,具体而言,涉及一种基于文件存储系统的分层方法及装置、电子设备。
背景技术
相关技术中,分层存储已成为了一种常见的存储方法,它将数据存储在具有不同特性(如性能、成本和容量)的存储介质上,不同的存储介质被分配到不同的层次结构中。
当前的分层存储存在很大的弊端,由于分层存储导致存储成本大大增加,而相关部门需要保证存储成本在预算范围内运行;同时,当前在进行分层存储时,往往是通过技术人员进行手动归类分层,采用手动进行存储分层的方式,不仅效率低,且耗费技术人员的大量时间;而如果采用管理系统进行自动分层,虽然可以提升存储效率,减少总体成本,但是当前的分层存储技术,往往需要提前进行数据精细化归类、分析,理论上数据越精细越好,但是精细化处理数据后,会增加追踪统计操作给控制器带来的负担。
而且,当前的分层存储技术中,由于是对存储介质进行分层,不仅逻辑复杂,且容易受到存储介质的变动干扰,分层容易出错的情况。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于文件存储系统的分层方法及装置、电子设备,以至少解决相关技术中对存储介质进行分层存储,存储服务器存储逻辑复杂,且分层容易出错的技术问题。
根据本发明实施例的一个方面,提供了一种基于文件存储系统的分层方法,包括:确定文件存储系统的文件存储区;遍历文件存储区中所有文件,得到文件信息,其中,所述文件信息至少包括:文件目录和每个文件被访问的时间点;基于每个文件被访问的时间点,确定所述文件目录下每个文件的访问属性;基于所述访问属性,将所述文件目录下的各个文件加载至对应的目标存储层。
可选地,基于每个文件被访问的时间点,确定所述文件目录下每个文件的访问属性的步骤,包括:基于每个文件被访问的时间点和当前时间点,确定文件未访问的间隔时长;在所述文件未访问的间隔时长大于第一预设时间段且小于第二预设时间段时,确定所述文件的访问属性为第一属性;在所述文件未访问的间隔时长大于第二预设时间段时,确定所述文件的访问属性为第二属性。
可选地,基于所述访问属性,将所述文件目录下的各个文件加载至对应的目标存储层的步骤,包括:在所述访问属性为第一属性时,将所述文件加载至第一目标存储层;在所述访问属性为第二属性时,将所述文件加载至第二目标存储层,其中,所述第二目标存储层的文件访问频率低于所述第一目标存储层。
可选地,在将所述文件目录下的各个文件加载至对应的目标存储层之后,所述分层方法还包括:若文件加载完毕,确定每个文件的元数据信息和文件链接信息;保存所述元数据信息在所述文件存储区中,并保存所述文件链接信息至目标应用下的文件挂载盘中。
可选地,在将所述文件目录下的各个文件加载至对应的目标存储层之后,所述分层方法还包括:接收文件删除指令;基于所述文件删除指令,将目标存储层中的所有文件删除;在所述目标存储层中的文件都删除后,注销所述目标存储层。
可选地,所述分层方法的应用环境包括下述至少之一:网络连接式存储NAS环境、分布式文件系统DFS环境、对象存储系统OSS环境。
根据本发明实施例的另一方面,还提供了一种基于文件存储系统的分层装置,包括:第一确定单元,用于确定文件存储系统的文件存储区;遍历单元,用于遍历文件存储区中所有文件,得到文件信息,其中,所述文件信息至少包括:文件目录和每个文件被访问的时间点;第二确定单元,用于基于每个文件被访问的时间点,确定所述文件目录下每个文件的访问属性;加载单元,用于基于所述访问属性,将所述文件目录下的各个文件加载至对应的目标存储层。
可选地,所述第二确定单元包括:第一确定模块,用于基于每个文件被访问的时间点和当前时间点,确定文件未访问的间隔时长;第二确定模块,用于在所述文件未访问的间隔时长大于第一预设时间段且小于第二预设时间段时,确定所述文件的访问属性为第一属性;第三确定模块,用于在所述文件未访问的间隔时长大于第二预设时间段时,确定所述文件的访问属性为第二属性。
可选地,所述加载单元包括:第一加载模块,用于在所述访问属性为第一属性时,将所述文件加载至第一目标存储层;第二加载模块,用于在所述访问属性为第二属性时,将所述文件加载至第二目标存储层,其中,所述第二目标存储层的文件访问频率低于所述第一目标存储层。
可选地,所述分层装置还包括:第四确定模块,用于在将所述文件目录下的各个文件加载至对应的目标存储层之后,若文件加载完毕,确定每个文件的元数据信息和文件链接信息;保存模块,用于保存所述元数据信息在所述文件存储区中,并保存所述文件链接信息至目标应用下的文件挂载盘中。
可选地,所述分层装置还包括:接收模块,用于在将所述文件目录下的各个文件加载至对应的目标存储层之后,接收文件删除指令;删除模块,用于基于所述文件删除指令,将目标存储层中的所有文件删除;注销模块,用于在所述目标存储层中的文件都删除后,注销所述目标存储层。
可选地,所述分层方法的应用环境包括下述至少之一:网络连接式存储NAS环境、分布式文件系统DFS环境、对象存储系统OSS环境。
根据本发明实施例的另一方面,还提供了一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的基于文件存储系统的分层方法。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的基于文件存储系统的分层方法。
本发明实施例中,在对文件进行分层时,先确定文件存储系统的文件存储区,然后遍历文件存储区中所有文件,得到文件信息,其中,文件信息至少包括:文件目录和每个文件被访问的时间点,基于每个文件被访问的时间点,确定文件目录下每个文件的访问属性,最后基于访问属性,将文件目录下的各个文件加载至对应的目标存储层。在该实施例中,可以在客户端纯用户态的实现文件存储分层,以文件为粒度,基于文件访问时长,对文件进行透明归档(基于透明归档技术,在存储客户端纯用户态的实现存储分层,减少存储服务端的处理逻辑),实现数据分层,由于是以文件为粒度进行存储分层,因此可降低存储服务器的数据压力,提高分层准确度,从而解决相关技术中对存储介质进行分层存储,存储服务器存储逻辑复杂,且分层容易出错的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的基于文件存储系统的分层方法的流程图;
图2是根据本发明实施例的一种可选的基于文件存储系统的分层装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于本领域技术人员理解本发明,下面对本发明各实施例中涉及的部分术语或者名词做出解释:
NAS,Network Attached Storage,网络连接式存储。随着业务的持续运行,NAS存储中的数据不停增长,为了保持NAS存储的高性能以及存储空间,需要将NAS存储中长期没有使用的文件,归档到较低端或者性价比更高的存储上,把更快更稳定的NAS存储空间让给热门数据。
本发明下述实施例,应用于以分层存储技术为主体的服务器中,基于透明归档技术,在存储客户端采用纯用户态的方式实现存储分层;而在服务端,以文件为粒度,将存储服务器中长期没有访问的文件,归档到较低端或者性价比更高的存储模块,实现数据分层,存储服务端只需要处理常规的读写请求即可,降低出错的可能性。
根据本发明实施例,提供了一种基于文件存储系统的分层方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种可选的基于文件存储系统的分层方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,确定文件存储系统的文件存储区;
步骤S104,遍历文件存储区中所有文件,得到文件信息,其中,文件信息至少包括:文件目录和每个文件被访问的时间点;
步骤S106,基于每个文件被访问的时间点,确定文件目录下每个文件的访问属性;
步骤S108,基于访问属性,将文件目录下的各个文件加载至对应的目标存储层。
通过上述步骤,可以在对文件进行分层时,先确定文件存储系统的文件存储区,然后遍历文件存储区中所有文件,得到文件信息,其中,文件信息至少包括:文件目录和每个文件被访问的时间点,基于每个文件被访问的时间点,确定文件目录下每个文件的访问属性,最后基于访问属性,将文件目录下的各个文件加载至对应的目标存储层。在该实施例中,可以在客户端纯用户态的实现文件存储分层,以文件为粒度,基于文件访问时长,对文件进行透明归档(基于透明归档技术,在存储客户端纯用户态的实现存储分层,减少存储服务端的处理逻辑),实现数据分层,由于是以文件为粒度进行存储分层,因此可降低存储服务器的数据压力,提高分层准确度,从而解决相关技术中对存储介质进行分层存储,存储服务器存储逻辑复杂,且分层容易出错的技术问题。
本发明实施例涉及的分层方法的应用环境包括下述至少之一:网络连接式存储NAS环境、分布式文件系统DFS环境(如lusterfs等提供的NAS业务)、对象存储系统OSS环境(如nfs-ganesha提供的nfs服务),可以进行NAS分层。通过将长期没有访问的文件,透明归档到较低端或者性价比更高的存储,实现数据分层。
本发明实施例的应用软件可以为容灾软件,基于透明归档技术,以容灾软件定期归档的方式,在存储客户端纯用户态的实现存储分层,这样存储服务端只需要处理常规的读写请求即可,降低出错的可能性。
下面结合上述各步骤详细说明本发明。
步骤S102,确定文件存储系统的文件存储区。
在本发明实施例中,文件存储系统可以为NAS系统,在文件存储系统中设置文件存储区,存储多个文件,该文件的类型包括但不限于:word文件、excel文件、视频文件、程序文件。
步骤S104,遍历文件存储区中所有文件,得到文件信息,其中,文件信息至少包括:文件目录和每个文件被访问的时间点。
例如,编译NAS存储中遍历的readdir(读目录)以及stat(先确定是文件/目录,在确定为目录的情况下,对应读取目录下各个文件),从而得到文件目录和文件被访问的时间点。
步骤S106,基于每个文件被访问的时间点,确定文件目录下每个文件的访问属性。
可选的,基于每个文件被访问的时间点,确定文件目录下每个文件的访问属性的步骤,包括:基于每个文件被访问的时间点和当前时间点,确定文件未访问的间隔时长;在文件未访问的间隔时长大于第一预设时间段且小于第二预设时间段时,确定文件的访问属性为第一属性;在文件未访问的间隔时长大于第二预设时间段时,确定文件的访问属性为第二属性。
上述第一属性可以理解为热属性,第二属性为冷属性。按照文件历史最近一次的被访问时间和当前时间点,统计超出各个时间段未访问的文件,然后根据未访问的文件的未访问时长,对文件进行透明归档。
当分层存储方式往往分类为如下几种数据,第一种,关键业务数据,这类数据总是需要存储在最高层的存储中,因为它需要支持高速应用程序——可能支持客户事务,访问数据的延迟可能会导致组织失去某些业务,或对盈利能力产生负面影响,对于此类数据来说,性能是最重要的,该数据通常采用闪存或基于3D Xpoint技术的固态硬盘(SSD)进行存储。第二种,热数据,这类数据需要较高级别的分层存储,因为它经常用于CRM、ERP甚至电子邮件等应用,并且需要用于企业的日常运行,在此类存储层中,性能很重要,但是成本也是一个考虑因素。第三种,温数据,此类包括较早的数据,如超过几天的电子邮件或已完成事务的数据。这类数据的访问频率相对较低,但仍然要保证在需要时可以访问,在这个存储层中,最重要的考虑因素是成本,但是受制于最低的性能阈值。第四种,冷数据,这类数据可能永远不会再被访问,但需要将其存档并保留,以符合监管或其他法律要求,或者只是因为它可能在未来某个不确定的时间具有某种价值——可能用于大数据分析。理想情况下,冷数据适合于可接受分钟或小时访问时间的最低层次的分层存储,而低成本是最重要的考虑因素。
本申请重点对上述热数据、温数据、冷数据进行中低端分层存储。
上述第一预设时间段和第二预设时间段可以自行设置,根据分层存储的要求,自行设置分层时的属性间隔时间,例如,设置第一预设时间段为一年,第二预设时间段为两年。
步骤S108,基于访问属性,将文件目录下的各个文件加载至对应的目标存储层。
可选的,基于访问属性,将文件目录下的各个文件加载至对应的目标存储层的步骤,包括:在访问属性为第一属性时,将文件加载至第一目标存储层;在访问属性为第二属性时,将文件加载至第二目标存储层,其中,第二目标存储层的文件访问频率低于第一目标存储层。
第一目标存储层,可以理解为中端存储层,第二目标存储层可以理解为低端存储层。
另一种可选的,在将文件目录下的各个文件加载至对应的目标存储层之后,分层方法还包括:若文件加载完毕,确定每个文件的元数据信息和文件链接信息;保存元数据信息在文件存储区中,并保存文件链接信息至目标应用下的文件挂载盘中。
即在原文件存储系统中,保留文件的元数据信息,创建软链接到第一目标存储层下对应的文件,例如:如果是Windows应用则创建快捷方式到X盘里对应的文件;如果是Linux应用,则创建软链接到/drs目录下对应的文件。这样,对于应用来说,依然访问文件存储系统挂载点的文件,应用无需修改逻辑。
对于应用来说,虽然file真实的数据在中低端文件存储系里,但是应用仍然可以如常的访问文件file1,应用无需做修改即可访问已经归档到各个分层的数据,而且业务APP无需修改任何逻辑。
另一种可选的,在将文件目录下的各个文件加载至对应的目标存储层之后,分层方法还包括:接收文件删除指令;基于文件删除指令,将目标存储层中的所有文件删除;在目标存储层中的文件都删除后,注销目标存储层。
本发明实施例,可以在分层后,采用多层级的NAS存储,可以随意的添加或者删除某层,实现分层动态扩展。
通过上述技术方案,可以将遍历出的文件按照未访问时长进行分层归档,通过透明归档技术,由容灾软件在存储客户端纯用户态的实现存储分层,减少存储服务端的处理逻辑。
图2是根据本发明实施例的一种可选的基于文件存储系统的分层装置的示意图,如图2所示,该分层装置可以包括:第一确定单元21、遍历单元23、第二确定单元25、加载单元27,其中,
第一确定单元21,用于确定文件存储系统的文件存储区;
遍历单元23,用于遍历文件存储区中所有文件,得到文件信息,其中,文件信息至少包括:文件目录和每个文件被访问的时间点;
第二确定单元25,用于基于每个文件被访问的时间点,确定文件目录下每个文件的访问属性;
加载单元27,用于基于访问属性,将文件目录下的各个文件加载至对应的目标存储层。
上述基于文件存储系统的分层装置,可以在对文件进行分层时,先通过第一确定单元21确定文件存储系统的文件存储区,然后通过遍历单元23遍历文件存储区中所有文件,得到文件信息,其中,文件信息至少包括:文件目录和每个文件被访问的时间点,通过第二确定单元25基于每个文件被访问的时间点,确定文件目录下每个文件的访问属性,最后通过加载单元27基于访问属性,将文件目录下的各个文件加载至对应的目标存储层。在该实施例中,可以在客户端纯用户态的实现文件存储分层,以文件为粒度,基于文件访问时长,对文件进行透明归档(基于透明归档技术,在存储客户端纯用户态的实现存储分层,减少存储服务端的处理逻辑),实现数据分层,由于是以文件为粒度进行存储分层,因此可降低存储服务器的数据压力,提高分层准确度,从而解决相关技术中对存储介质进行分层存储,存储服务器存储逻辑复杂,且分层容易出错的技术问题。
可选的,第二确定单元包括:第一确定模块,用于基于每个文件被访问的时间点和当前时间点,确定文件未访问的间隔时长;第二确定模块,用于在文件未访问的间隔时长大于第一预设时间段且小于第二预设时间段时,确定文件的访问属性为第一属性;第三确定模块,用于在文件未访问的间隔时长大于第二预设时间段时,确定文件的访问属性为第二属性。
另一种可选的,加载单元包括:第一加载模块,用于在访问属性为第一属性时,将文件加载至第一目标存储层;第二加载模块,用于在访问属性为第二属性时,将文件加载至第二目标存储层,其中,第二目标存储层的文件访问频率低于第一目标存储层。
可选的,分层装置还包括:第四确定模块,用于在将文件目录下的各个文件加载至对应的目标存储层之后,若文件加载完毕,确定每个文件的元数据信息和文件链接信息;保存模块,用于保存元数据信息在文件存储区中,并保存文件链接信息至目标应用下的文件挂载盘中。
在本发明实施例中,分层装置还包括:接收模块,用于在将文件目录下的各个文件加载至对应的目标存储层之后,接收文件删除指令;删除模块,用于基于文件删除指令,将目标存储层中的所有文件删除;注销模块,用于在目标存储层中的文件都删除后,注销目标存储层。
可选的,分层方法的应用环境包括下述至少之一:网络连接式存储NAS环境、分布式文件系统DFS环境、对象存储系统OSS环境。
根据本发明实施例的另一方面,还提供了一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述任意一项的基于文件存储系统的分层方法。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的计算机程序,其中,在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的基于文件存储系统的分层方法。
上述的基于文件存储系统的分层装置还可以包括处理器和存储器,上述第一确定单元21、遍历单元23、第二确定单元25、加载单元27等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来基于访问属性,将文件目录下的各个文件加载至对应的目标存储层。
上述存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:确定文件存储系统的文件存储区;遍历文件存储区中所有文件,得到文件信息,其中,文件信息至少包括:文件目录和每个文件被访问的时间点;基于每个文件被访问的时间点,确定文件目录下每个文件的访问属性;基于访问属性,将文件目录下的各个文件加载至对应的目标存储层。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于文件存储系统的分层方法,其特征在于,包括:
确定文件存储系统的文件存储区;
遍历文件存储区中所有文件,得到文件信息,其中,所述文件信息至少包括:
文件目录和每个文件被访问的时间点;
基于每个文件被访问的时间点,确定所述文件目录下每个文件的访问属性;
基于所述访问属性,将所述文件目录下的各个文件加载至对应的目标存储层,以文件为粒度进行存储分层;
在将所述文件目录下的各个文件加载至对应的目标存储层之后,若文件加载完毕,确定每个文件的元数据信息和文件链接信息;保存所述元数据信息在所述文件存储区中,并保存所述文件链接信息至目标应用下的文件挂载盘中,对于Windows应用则创建快捷方式到文件挂载盘里对应的文件;对于Linux应用,则创建软链接到/drs目录下对应的文件。
2.根据权利要求1所述的分层方法,其特征在于,基于每个文件被访问的时间点,确定所述文件目录下每个文件的访问属性的步骤,包括:
基于每个文件被访问的时间点和当前时间点,确定文件未访问的间隔时长;
在所述文件未访问的间隔时长大于第一预设时间段且小于第二预设时间段时,确定所述文件的访问属性为第一属性;
在所述文件未访问的间隔时长大于第二预设时间段时,确定所述文件的访问属性为第二属性。
3.根据权利要求2所述的分层方法,其特征在于,基于所述访问属性,将所述文件目录下的各个文件加载至对应的目标存储层的步骤,包括:
在所述访问属性为第一属性时,将所述文件加载至第一目标存储层;
在所述访问属性为第二属性时,将所述文件加载至第二目标存储层,其中,所述第二目标存储层的文件访问频率低于所述第一目标存储层。
4.根据权利要求1所述的分层方法,其特征在于,在将所述文件目录下的各个文件加载至对应的目标存储层之后,所述分层方法还包括:
接收文件删除指令;
基于所述文件删除指令,将目标存储层中的所有文件删除;
在所述目标存储层中的文件都删除后,注销所述目标存储层。
5.根据权利要求1至4中任意一项所述的分层方法,其特征在于,所述分层方法的应用环境包括下述至少之一:网络连接式存储NAS环境、分布式文件系统DFS环境、对象存储系统OSS环境。
6.一种基于文件存储系统的分层装置,其特征在于,包括:
第一确定单元,用于确定文件存储系统的文件存储区;
遍历单元,用于遍历文件存储区中所有文件,得到文件信息,其中,所述文件信息至少包括:文件目录和每个文件被访问的时间点;
第二确定单元,用于基于每个文件被访问的时间点,确定所述文件目录下每个文件的访问属性;
加载单元,用于基于所述访问属性,将所述文件目录下的各个文件加载至对应的目标存储层,以文件为粒度进行存储分层;
所述分层装置还包括:第四确定模块,用于在将所述文件目录下的各个文件加载至对应的目标存储层之后,若文件加载完毕,确定每个文件的元数据信息和文件链接信息;保存模块,用于保存所述元数据信息在所述文件存储区中,并保存所述文件链接信息至目标应用下的文件挂载盘中,对于Windows应用则创建快捷方式到文件挂载盘里对应的文件;对于Linux应用,则创建软链接到/drs目录下对应的文件。
7.根据权利要求6所述的分层装置,其特征在于,所述第二确定单元包括:
第一确定模块,用于基于每个文件被访问的时间点和当前时间点,确定文件未访问的间隔时长;
第二确定模块,用于在所述文件未访问的间隔时长大于第一预设时间段且小于第二预设时间段时,确定所述文件的访问属性为第一属性;
第三确定模块,用于在所述文件未访问的间隔时长大于第二预设时间段时,确定所述文件的访问属性为第二属性。
8.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至5中任意一项所述的基于文件存储系统的分层方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至5中任意一项所述的基于文件存储系统的分层方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010567725.4A CN111741107B (zh) | 2020-06-19 | 2020-06-19 | 基于文件存储系统的分层方法及装置、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010567725.4A CN111741107B (zh) | 2020-06-19 | 2020-06-19 | 基于文件存储系统的分层方法及装置、电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111741107A CN111741107A (zh) | 2020-10-02 |
CN111741107B true CN111741107B (zh) | 2023-08-04 |
Family
ID=72651827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010567725.4A Active CN111741107B (zh) | 2020-06-19 | 2020-06-19 | 基于文件存储系统的分层方法及装置、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111741107B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112667154A (zh) * | 2020-12-22 | 2021-04-16 | 平安科技(深圳)有限公司 | 分层方法、系统、电子设备及计算机可读存储介质 |
CN115098466A (zh) * | 2022-07-18 | 2022-09-23 | 重庆紫光华山智安科技有限公司 | 元数据管理方法、装置、存储节点及可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104333458A (zh) * | 2013-07-23 | 2015-02-04 | 上海斐讯数据通信技术有限公司 | 路由器存储设备的查看管理方法及其媒体文件打开方法 |
CN106406765A (zh) * | 2016-09-22 | 2017-02-15 | 江苏赞奇科技股份有限公司 | 基于文件链接的异构分布式存储系统及其文件管理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7574435B2 (en) * | 2006-05-03 | 2009-08-11 | International Business Machines Corporation | Hierarchical storage management of metadata |
EP2542985A1 (en) * | 2010-03-01 | 2013-01-09 | Hitachi, Ltd. | File level hierarchical storage management system, method, and apparatus |
CN103914516B (zh) * | 2014-02-25 | 2017-09-08 | 深圳市中博科创信息技术有限公司 | 一种存储系统分层管理的方法与系统 |
US20160210306A1 (en) * | 2015-01-15 | 2016-07-21 | Commvault Systems, Inc. | Managing structured data in a data storage system |
CN107870916A (zh) * | 2016-09-23 | 2018-04-03 | 伊姆西Ip控股有限责任公司 | 存储管理方法及设备 |
US10372371B2 (en) * | 2017-09-14 | 2019-08-06 | International Business Machines Corporation | Dynamic data relocation using cloud based ranks |
CN111158613B (zh) * | 2020-04-07 | 2020-07-31 | 上海飞旗网络技术股份有限公司 | 基于访问热度的数据块存储方法、装置及存储设备 |
-
2020
- 2020-06-19 CN CN202010567725.4A patent/CN111741107B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104333458A (zh) * | 2013-07-23 | 2015-02-04 | 上海斐讯数据通信技术有限公司 | 路由器存储设备的查看管理方法及其媒体文件打开方法 |
CN106406765A (zh) * | 2016-09-22 | 2017-02-15 | 江苏赞奇科技股份有限公司 | 基于文件链接的异构分布式存储系统及其文件管理方法 |
Non-Patent Citations (1)
Title |
---|
T-Archive:基于分级存储的信息生命周期管理系统;熊伟伟;汪东升;;计算机工程与设计(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111741107A (zh) | 2020-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110554834B (zh) | 文件系统数据访问方法和文件系统 | |
Kwon et al. | Strata: A cross media file system | |
US20180150640A1 (en) | Policy aware unified file system | |
CN104679661B (zh) | 混合存储的控制方法及混合存储系统 | |
US8515911B1 (en) | Methods and apparatus for managing multiple point in time copies in a file system | |
JP4648723B2 (ja) | データ価値に基づく階層型ストレージ管理の為の方法と装置 | |
US20160283501A1 (en) | Posix-compatible file system, method of creating a file list and storage device | |
US8756199B2 (en) | File level hierarchical storage management system, method, and apparatus | |
CN104408091B (zh) | 分布式文件系统的数据存储方法及系统 | |
JP4977565B2 (ja) | アクセス制御リストを用いてファイルへのアクセスを制御するアクセスコントローラ | |
US8055622B1 (en) | Immutable data containers in tiered storage hierarchies | |
US9519653B2 (en) | Techniques for efficiently enforcing resource quotas in a multi-tenant cloud storage system | |
US20070083482A1 (en) | Multiple quality of service file system | |
CN109804359A (zh) | 用于将数据回写到存储设备的系统和方法 | |
US20170286707A1 (en) | Unified file and object storage architecture for clustered file systems | |
CN111741107B (zh) | 基于文件存储系统的分层方法及装置、电子设备 | |
KR20110091421A (ko) | QoS 기반 스토리지 계층화 및 이송을 제공하는 방법, 컴퓨터 프로그램 제품 및 스토리지 시스템 | |
US9383936B1 (en) | Percent quotas for deduplication storage appliance | |
US20120005233A1 (en) | Computer system and recording medium | |
CN113568582B (zh) | 数据管理方法、装置和存储设备 | |
US11175846B2 (en) | Data co-location in a hierarchical storage management (HSM) system | |
CN106326229A (zh) | 一种嵌入式系统的文件存储方法和装置 | |
CN109947373A (zh) | 一种数据处理方法和装置 | |
CN102253985B (zh) | 一种文件系统数据的管理方法及系统 | |
US8046391B2 (en) | Storage apparatus and its file control method and storage system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100094 101, floors 1-5, building 7, courtyard 3, fengxiu Middle Road, Haidian District, Beijing Applicant after: Beijing Xingchen Tianhe Technology Co.,Ltd. Address before: 100097 room 806-1, block B, zone 2, Jinyuan times shopping center, indigo factory, Haidian District, Beijing Applicant before: XSKY BEIJING DATA TECHNOLOGY Corp.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |