CN115309701A - 一种分布式文件系统的文件迁移方法、装置及介质 - Google Patents

一种分布式文件系统的文件迁移方法、装置及介质 Download PDF

Info

Publication number
CN115309701A
CN115309701A CN202211048204.3A CN202211048204A CN115309701A CN 115309701 A CN115309701 A CN 115309701A CN 202211048204 A CN202211048204 A CN 202211048204A CN 115309701 A CN115309701 A CN 115309701A
Authority
CN
China
Prior art keywords
file
time
fast
slow
pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211048204.3A
Other languages
English (en)
Inventor
张其万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202211048204.3A priority Critical patent/CN115309701A/zh
Publication of CN115309701A publication Critical patent/CN115309701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/119—Details of migration of file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式文件系统的文件迁移方法、装置及介质，涉及分布式文件系统领域，为了在用户需要使用文件的时候将文件迁移至快速池，不使用的时候及时将文件迁移回慢速池，本申请提供预先设置好文件时间标志及大于时间策略和小于时间策略，若文件时间标志满足大于时间策略，将当前文件加入慢索引表，并根据慢索引表中记录的文件信息将文件从快速池迁移至慢速池，若文件时间标志满足需要时间策略，将当前文件加入快索引表，并根据快索引表中记录的文件信息将文件从慢速池迁移至快速池，保证了文件在用户需要时能快速迁移回快速池，在用户不需要使用文件时，迁移回慢速池，实现了文件分级回迁功能，提升了批量操作文件性能。

Description

一种分布式文件系统的文件迁移方法、装置及介质
技术领域
本申请涉及分布式文件系统领域，特别是涉及一种分布式文件系统的文件迁移方法、装置及介质。
背景技术
分布式文件系统(Distributed File System，DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为一台计算机)相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。通常在一个分布式存储系统中配置由数据读写速度快的存储硬盘(例如：固态硬盘)组成的快速池、以及由成本低的普通存储硬盘组成的慢速池，当前的分布式文件系统中已经实现了文件分级迁移方法，即将文件从快速池迁移到慢速池，该种方法既具有较好的性能，又可以降低了成本，以此保证快速池的空间不会被占满能够继续写入新数据。
但是在文件迁移到慢速池中之后，如果用户期望在使用时或是一段时间之后，将文件从慢速池迁移到快速池中。目前现有的分级迁移方法无法满足需求。
由此可见，如何在用户需要使用文件的时候迁移至快速池，不使用的时候及时迁移回慢速池，是本领域人员亟待解决的技术问题。
发明内容
本申请的目的是提供一种分布式文件系统的文件迁移方法，在用户需要使用文件的时候将文件迁移至快速池，不使用的时候及时将文件迁移回慢速池。
为解决上述技术问题，本申请提供一种分布式文件系统的文件迁移方法，包括：
设置文件时间标志及大于时间策略和小于时间策略；其中，大于时间策略为当前文件的文件时间标志全部大于对应的预设时间阈值，表征用户目前不需要操作该文件，小于时间策略为当前文件的文件时间标志不全部大于对应的预设时间阈值，表征用户目前需要操作该文件；
根据文件的文件时间标志判断其满足的时间策略；
若文件时间标志满足大于时间策略，将当前文件加入慢索引表；
若文件时间标志满足小于时间策略，将当前文件加入快索引表；
将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池。
优选地，上述分布式文件系统的文件迁移方法中，文件时间标志包括文件创建时间、文件数据最后修改时间、文件元数据最后修改时间、文件最后访问时间。
优选地，上述分布式文件系统的文件迁移方法中，对应地，大于时间策略为文件创建时间大于文件创建时间阈值、且文件数据最后修改时间大于文件数据最后修改时间阈值、且文件元数据最后修改时间大于文件元数据最后修改时间阈值、且文件最后访问时间大于文件最后访问时间阈值；
小于时间策略为文件创建时间不大于文件创建时间阈值、或文件数据最后修改时间不大于文件数据最后修改时间阈值、或文件元数据最后修改时间不大于文件元数据最后修改时间阈值、或文件最后访问时间不大于文件最后访问时间阈值。
优选地，上述分布式文件系统的文件迁移方法中，将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池，包括：
根据对应的预设周期，周期性扫描快索引表和慢索引表。
优选地，上述分布式文件系统的文件迁移方法中，根据对应的预设周期，周期性扫描快索引表和慢索引表，包括：
根据预设快扫描周期，周期性扫描快索引表；
根据预设慢扫描周期，周期性扫描慢索引表，其中预设快扫描周期小于预设慢扫描周期。
优选地，上述分布式文件系统的文件迁移方法中，设置文件时间标志及大于时间策略和小于时间策略之后，还包括：
创建一个新文件，将新文件加入快索引表，并写入快速池。
优选地，上述分布式文件系统的文件迁移方法中，还包括：
当对慢速池中的文件进行修改、访问等操作后，将当前文件加入快索引表；
当到达预设快扫描周期，将当前文件从慢速池迁移至快速池。
为解决上述技术问题，本申请还提供一种分布式文件系统的文件迁移装置，包括：
设置模块，用于设置文件时间标志及大于时间策略和小于时间策略；其中，大于时间策略为当前文件的文件时间标志全部大于对应的预设时间阈值，表征用户目前不需要操作该文件，小于时间策略为当前文件的文件时间标志不全部大于对应的预设时间阈值，表征用户目前需要操作该文件；
判断模块，用于根据文件的文件时间标志判断其满足的时间策略；
第一加入模块，用于若文件时间标志满足大于时间策略，将当前文件加入慢索引表；
第二加入模块，用于若文件时间标志满足小于时间策略，将当前文件加入快索引表；
迁移模块，用于将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池。
为解决上述技术问题，本申请还提供一种分布式文件系统的文件迁移装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现上述的分布式文件系统的文件迁移方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的分布式文件系统的文件迁移方法的步骤。
本申请所提供的分布式文件系统的文件迁移方法，包括：设置文件时间标志及大于时间策略和小于时间策略；其中，大于时间策略为当前文件的文件时间标志全部大于对应的预设时间阈值，表征用户目前不需要操作该文件，小于时间策略为当前文件的时间标志不全部大于对应的预设时间阈值，表征用户目前需要操作该文件；根据文件的文件时间标志判断其满足的时间策略；若文件时间标志满足大于时间策略，将当前文件加入慢索引表；若文件时间标志满足小于时间策略，将当前文件加入快索引表；将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池。预先设置好文件时间标志及大于时间策略和小于时间策略，若文件时间标志满足大于时间策略，将当前文件加入慢索引表，并根据慢索引表中记录的文件信息将文件从快速池迁移至慢速池，若文件时间标志满足需要时间策略，将当前文件加入快索引表，并根据快索引表中记录的文件信息将文件从慢速池迁移至快速池，保证了文件在用户需要时能快速迁移回快速池，在用户不需要使用文件时，迁移回慢速池，增加了成品性能，满足了用户需求，增强了产品竞争力。
另外，本申请还提供一种装置及介质，包括上述分布式文件系统的文件迁移方法，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种分布式文件系统的文件迁移方法的流程图；
图2为本申请实施例提供的一种分布式文件系统的文件迁移装置的结构图；
图3为本申请实施例提供的另一种分布式文件系统的文件迁移装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种分布式文件系统的文件迁移方法、装置及介质，在用户需要使用文件的时候将文件迁移至快速池，不使用的时候及时将文件迁移回慢速池。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
分布式文件系统(Distributed File System，DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为一台计算机)相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构，从而使用户访问分布在网络上的共享文件更加简便。
通常在一个分布式存储系统中配置由数据读写速度快的存储硬盘(例如：固态硬盘)组成的快速池、以及由成本低的普通存储硬盘组成的慢速池，当前的分布式文件系统中已经实现了文件分级迁移方法，即将文件从快速池迁移到慢速池，该种方法既具有较好的性能，又可以降低了成本，以此保证快速池的空间不会被占满能够继续写入新数据。但是在文件迁移到慢速池中之后，如果用户期望在使用时或是一段时间之后，将文件从慢速池迁移到快速池中。用户需求场景如下：文件先写入快速池，如果不操作该文件，一段时间后迁入慢速池，当再次操作该文件时，文件迁入快速池，如果用户一直在操作该文件，则该文件一直在快速池中，操作性能较好，当用户不再操作该文件一段时间后，文件迁移到慢速池。目前现有的分级迁移方法无法满足用户的需求。
基于上述问题，本实施例提供一种分布式文件系统的文件迁移方法，图1为本申请实施例提供的一种分布式文件系统的文件迁移方法的流程图，如图1所示，包括：
S11：设置文件时间标志及大于时间策略和小于时间策略；其中，大于时间策略为当前文件的文件时间标志全部大于对应的预设时间阈值，表征用户目前不需要操作该文件，小于时间策略为当前文件的文件时间标志不全部大于对应的预设时间阈值，表征用户目前需要操作该文件；
S12：根据文件的文件时间标志判断其满足的时间策略；
S13：若文件时间标志满足大于时间策略，将当前文件加入慢索引表；
S14：若文件时间标志满足小于时间策略，将当前文件加入快索引表；
S15：将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池。
在本实施例中，文件时间标志指的是文件创建或者使用时间标志，可以设置多个时间标志，也可以设置一个，根据实际需要设置即可。文件时间标志对应地设置有预设时间阈值，当所有的文件时间标志全部大于对应的预设时间阈值，则说明当前文件已经超过预设时间没有被使用，表征用户目前不需要操作该文件，当文件时间标志不全部大于对应的预设时间阈值，也就是至少有一个文件时间标志不大于其对应的预设时间阈值，则说明当前文件在预设时间内被使用触发过，表征用户目前需要操作该文件。本实施例也不限制预设时间阈值的具体数据，根据实际需要设置即可。另外，不同文件时间标志对应的预设时间阈值可以一致，也可以不一致，根据实际需要设置即可。
因此，步骤S12根据文件的文件时间标志判断其满足的时间策略，以判断当前用户是否需要使用该文件。可以逐个判断快速池或慢速池中的文件，也可以在文件被触发时，进行判断，也可以是在文件被创建时进行判断，根据实际需要设置即可。
若文件时间标志满足大于时间策略，将当前文件加入慢索引表，若文件时间标志满足小于时间策略，将当前文件加入快索引表。
本实施例提到的快索引表和慢索引表分别记录应当迁移至快速池和慢速池的文件，将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池。
具体地，本实施例提供一种分布式文件系统的文件迁移方法，包括：设置文件时间标志及大于时间策略和小于时间策略；其中，大于时间策略为当前文件的文件时间标志全部大于对应的预设时间阈值，表征用户目前不需要操作该文件，小于时间策略为当前文件的文件时间标志不全部大于对应的预设时间阈值，表征用户目前需要操作该文件；根据文件的文件时间标志判断其满足的时间策略；若文件时间标志满足大于时间策略，将当前文件加入慢索引表；若文件时间标志满足小于时间策略，将当前文件加入快索引表；将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池。预先设置好文件时间标志及大于时间策略和小于时间策略，若文件时间标志满足大于时间策略，将当前文件加入慢索引表，并根据慢索引表中记录的文件信息将文件从快速池迁移至慢速池，若文件时间标志满足需要时间策略，将当前文件加入快索引表，并根据快索引表中记录的文件信息将文件从慢速池迁移至快速池，保证了文件在用户需要时能快速迁移回快速池，在用户不需要使用文件时，迁移回慢速池，增加了成品性能，满足了用户需求，增强了产品竞争力。
根据上述实施例，为了准确的判断用户是否需要使用文件，并做出准确的判断以进行文件迁移，本实施例提供一种优选方案，分布式文件系统的文件迁移方法，文件时间标志包括文件创建时间、文件数据最后修改时间、文件元数据最后修改时间、文件最后访问时间。
对应地，大于时间策略为文件创建时间大于文件创建时间阈值、且文件数据最后修改时间大于文件数据最后修改时间阈值、且文件元数据最后修改时间大于文件元数据最后修改时间阈值、且文件最后访问时间大于文件最后访问时间阈值；
小于时间策略为文件创建时间不大于文件创建时间阈值、或文件数据最后修改时间不大于文件数据最后修改时间阈值、或文件元数据最后修改时间不大于文件元数据最后修改时间阈值、或文件最后访问时间不大于文件最后访问时间阈值。
在本实施例中文件创建时间指的是文件初始创建时间距离当前的时间，文件数据最后修改时间为文件的内容数据的最后修改时间距离当前的时间，文件元数据最后修改时间为文件的属性数据最后一次修改时间距离当前的时间，文件最后访问时间为用户最后一次查询或读写文件的时间距离当前的时间。文件创建时间阈值、文件数据最后修改时间阈值、文件元数据最后修改时间阈值、文件最后访问时间阈值可以相同，也可以不同，根据实际需要设置即可。
另外，虽然设置了四个文件时间标志，但可以选择其中一个或多个，作为具体的判断依据。例如，若预设时间阈值都设置为10分钟，文件最后访问时间<10分钟满足小于时间策略，或文件最后访问时间<10分钟，但文件初始创建时间>10分钟，依然满足小于时间策略。当全部的文件时间标志大于10分钟，满足大于时间策略。若文件时间标志满足大于时间策略，将当前文件加入慢索引表，并根据慢索引表中记录的文件信息将文件从快速池迁移至慢速池，若文件时间标志满足需要时间策略，将当前文件加入快索引表，并根据快索引表中记录的文件信息将文件从慢速池迁移至快速池，保证了文件在用户需要时能快速迁移回快速池，在用户不需要使用文件时，迁移回慢速池。
根据上述实施例，记录入快索引表或者慢索引表的文件需要迁移至快速池或者慢速池，为了保证文件可以快速回迁，且降低数据处理消耗，分布式文件系统的文件迁移方法，将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池，包括：
根据对应的预设周期，周期性扫描快索引表和慢索引表。
周期性扫描快索引表和慢索引表，当扫描周期到来时，根据慢索引表中记录的文件信息将文件从快速池迁移至慢速池根据快索引表中记录的文件信息将文件从慢速池迁移至快速池。
优选地，根据对应的预设周期，周期性扫描快索引表和慢索引表，包括：
根据预设快扫描周期，周期性扫描快索引表；
根据预设慢扫描周期，周期性扫描慢索引表，其中预设快扫描周期小于预设慢扫描周期。
本实施例中，快索引表和慢索引表的扫描周期不同，预设快扫描周期小于预设慢扫描周期，即快索引表的预设快扫描周期更短，更及时地将用户需要的文件迁移至快速池。
根据上述实施例，针对一种具体的实施方案，本实施例提供一种优选方法，分布式文件系统的文件迁移方法，设置文件时间标志及大于时间策略和小于时间策略之后，还包括：
创建一个新文件，将新文件加入快索引表，并写入快速池。
本实施例中，当创建一个新文件后，直接将新文件加入快索引表，并写入快速池，因为当新文件创建后，用户很大可能是需要使用到的，因此直接加入快索引表，并写入快速池即可。另外，当新文件创建后，也可以进行时间策略的判断，文件创建时间必然不大于文件创建时间阈值，因此，新文件仍然加入快索引表，并写入快速池。因此，通过本实施例提供的方法，节约数据资源，提高文件迁移效率。
根据上述实施例，针对一种具体的实施方案，本实施例提供一种优选方法，还包括：
当对慢速池中的文件进行修改、访问等操作后，将当前文件加入快索引表；
当到达预设快扫描周期，将当前文件从慢速池迁移至快速池。
本实施例中，当慢速池中对慢速池中的文件进行修改、访问等操作后，此时用户很大可能是需要使用到的，因此直接加入快索引表，当到达预设快扫描周期，将当前文件从慢速池迁移至快速池。根据时间策略，文件数据最后修改时间不大于文件数据最后修改时间阈值、文件元数据最后修改时间不大于文件元数据最后修改时间阈值、文件最后访问时间不大于文件最后访问时间阈值，因此，需要将当前文件加入快索引表。因此，通过本实施例提供的方法，节约数据资源，提高文件迁移效率。
另外，本实施例还提供一种优选方案，将当前文件从慢速池迁移至快速池之后，还包括：
当当前文件匹配大于时间策略后，将当前文件加入慢索引表；
当到达预设慢扫描周期，将当前文件从快速池迁移至慢速池。
在上述实施例中，对于分布式文件系统的文件迁移方法进行了详细描述，本申请还提供分布式文件系统的文件迁移装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
图2为本申请实施例提供的一种分布式文件系统的文件迁移装置的结构图，如图2所示，分布式文件系统的文件迁移装置，包括：
设置模块21，用于设置文件时间标志及大于时间策略和小于时间策略；其中，大于时间策略为当前文件的文件时间标志全部大于对应的预设时间阈值，表征用户目前不需要操作该文件，小于时间策略为当前文件的文件时间标志不全部大于对应的预设时间阈值，表征用户目前需要操作该文件；
判断模块22，用于根据文件的文件时间标志判断其满足的时间策略；
第一加入模块23，用于若文件时间标志满足大于时间策略，将当前文件加入慢索引表；
第二加入模块24，用于若文件时间标志满足小于时间策略，将当前文件加入快索引表；
迁移模块25，用于将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池。
具体地，设置模块21设置文件时间标志及大于时间策略和小于时间策略；其中，大于时间策略为当前文件的文件时间标志全部大于对应的预设时间阈值，表征用户目前不需要操作该文件，小于时间策略为当前文件的文件时间标志不全部大于对应的预设时间阈值，表征用户目前需要操作该文件；判断模块22根据文件的文件时间标志判断其满足的时间策略；第一加入模块23若文件时间标志满足大于时间策略，将当前文件加入慢索引表；第二加入模块24若文件时间标志满足小于时间策略，将当前文件加入快索引表；迁移模块25将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池。预先设置好文件时间标志及大于时间策略和小于时间策略，若文件时间标志满足大于时间策略，将当前文件加入慢索引表，并根据慢索引表中记录的文件信息将文件从快速池迁移至慢速池，若文件时间标志满足需要时间策略，将当前文件加入快索引表，并根据快索引表中记录的文件信息将文件从慢速池迁移至快速池，保证了文件在用户需要时能快速迁移回快速池，在用户不需要使用文件时，迁移回慢速池，增加了成品性能，满足了用户需求，增强了产品竞争力。
另外，该装置还包括：
扫描模块，用于根据对应的预设周期，周期性扫描快索引表和慢索引表。
快扫描子单元，用于根据预设快扫描周期，周期性扫描快索引表；
慢扫描子单元，用于根据预设慢扫描周期，周期性扫描慢索引表，其中预设快扫描周期小于预设慢扫描周期。
新文件创建模块，用于创建一个新文件，将新文件加入快索引表，并写入快速池。
触发设置模块，用于当对慢速池中的文件进行修改、访问等操作后，将当前文件加入快索引表；
触发迁移模块，用于当到达预设快扫描周期，将当前文件从慢速池迁移至快速池。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图3为本申请实施例提供的另一种分布式文件系统的文件迁移装置的结构图，如图3所示，分布式文件系统的文件迁移装置包括：存储器30，用于存储计算机程序；
处理器31，用于执行计算机程序时实现如上述实施例(分布式文件系统的文件迁移方法)获取用户操作习惯信息的方法的步骤。
本实施例提供的分布式文件系统的文件迁移装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器31可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器31可以采用数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器31也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器31可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器31还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器30可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器30还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器30至少用于存储以下计算机程序301，其中，该计算机程序被处理器31加载并执行之后，能够实现前述任一实施例公开的分布式文件系统的文件迁移方法的相关步骤。另外，存储器30所存储的资源还可以包括操作系统302和数据303等，存储方式可以是短暂存储或者永久存储。其中，操作系统302可以包括Windows、Unix、Linux等。数据303可以包括但不限于实现分布式文件系统的文件迁移方法所涉及到的数据等。
在一些实施例中，分布式文件系统的文件迁移装置还可包括有显示屏32、输入输出接口33、通信接口34、电源35以及通信总线36。
本领域技术人员可以理解，图3中示出的结构并不构成对分布式文件系统的文件迁移装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的分布式文件系统的文件迁移装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：分布式文件系统的文件迁移方法，包括：设置文件时间标志及大于时间策略和小于时间策略；其中，大于时间策略为当前文件的文件时间标志全部大于对应的预设时间阈值，表征用户目前不需要操作该文件，小于时间策略为当前文件的时间标志不全部大于对应的预设时间阈值，表征用户目前需要操作该文件；根据文件的文件时间标志判断其满足的时间策略；若文件时间标志满足大于时间策略，将当前文件加入慢索引表；若文件时间标志满足小于时间策略，将当前文件加入快索引表；将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池。预先设置好文件时间标志及大于时间策略和小于时间策略，若文件时间标志满足大于时间策略，将当前文件加入慢索引表，并根据慢索引表中记录的文件信息将文件从快速池迁移至慢速池，若文件时间标志满足需要时间策略，将当前文件加入快索引表，并根据快索引表中记录的文件信息将文件从慢速池迁移至快速池，保证了文件在用户需要时能快速迁移回快速池，在用户不需要使用文件时，迁移回慢速池，增加了成品性能，满足了用户需求，增强了产品竞争力。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述分布式文件系统的文件迁移方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的计算机可读存储介质，其上存储有计算机程序，当处理器执行该程序时，可实现以下方法：分布式文件系统的文件迁移方法，包括：设置文件时间标志及大于时间策略和小于时间策略；其中，大于时间策略为当前文件的文件时间标志全部大于对应的预设时间阈值，表征用户目前不需要操作该文件，小于时间策略为当前文件的时间标志不全部大于对应的预设时间阈值，表征用户目前需要操作该文件；根据文件的文件时间标志判断其满足的时间策略；若文件时间标志满足大于时间策略，将当前文件加入慢索引表；若文件时间标志满足小于时间策略，将当前文件加入快索引表；将慢索引表中记录的文件从快速池迁移至慢速池，将快索引表中记录的文件从慢速池迁移至快速池。预先设置好文件时间标志及大于时间策略和小于时间策略，若文件时间标志满足大于时间策略，将当前文件加入慢索引表，并根据慢索引表中记录的文件信息将文件从快速池迁移至慢速池，若文件时间标志满足需要时间策略，将当前文件加入快索引表，并根据快索引表中记录的文件信息将文件从慢速池迁移至快速池，保证了文件在用户需要时能快速迁移回快速池，在用户不需要使用文件时，迁移回慢速池，增加了成品性能，满足了用户需求，增强了产品竞争力
以上对本申请所提供的分布式文件系统的文件迁移方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种分布式文件系统的文件迁移方法，其特征在于，包括：
设置文件时间标志及大于时间策略和小于时间策略；其中，所述大于时间策略为当前文件的所述文件时间标志全部大于对应的预设时间阈值，所述小于时间策略为当前所述文件的所述文件时间标志不全部大于对应的所述预设时间阈值；
根据文件的所述文件时间标志判断其满足的时间策略；
若所述文件时间标志满足所述大于时间策略，将当前所述文件加入慢索引表；
若所述文件时间标志满足所述小于时间策略，将当前所述文件加入快索引表；
将所述慢索引表中记录的文件从所述快速池迁移至所述慢速池，将所述快索引表中记录的文件从所述慢速池迁移至所述快速池。
2.根据权利要求1所述的分布式文件系统的文件迁移方法，其特征在于，所述文件时间标志包括文件创建时间、文件数据最后修改时间、文件元数据最后修改时间、文件最后访问时间。
3.根据权利要求2所述的分布式文件系统的文件迁移方法，其特征在于，所述大于时间策略为所述文件创建时间大于文件创建时间阈值、且所述文件数据最后修改时间大于文件数据最后修改时间阈值、且所述文件元数据最后修改时间大于文件元数据最后修改时间阈值、且所述文件最后访问时间大于文件最后访问时间阈值；
所述小于时间策略为所述文件创建时间不大于文件创建时间阈值、或所述文件数据最后修改时间不大于文件数据最后修改时间阈值、或所述文件元数据最后修改时间不大于文件元数据最后修改时间阈值、或所述文件最后访问时间不大于文件最后访问时间阈值。
4.根据权利要求1所述的分布式文件系统的文件迁移方法，其特征在于，所述将所述慢索引表中记录的文件从所述快速池迁移至所述慢速池，将所述快索引表中记录的文件从所述慢速池迁移至所述快速池，包括：
根据对应的预设周期，周期性扫描所述快索引表和所述慢索引表。
5.根据权利要求4所述的分布式文件系统的文件迁移方法，其特征在于，所述根据对应的预设周期，周期性扫描所述快索引表和所述慢索引表，包括：
根据预设快扫描周期，周期性扫描所述快索引表；
根据预设慢扫描周期，周期性扫描所述慢索引表，其中所述预设快扫描周期小于所述预设慢扫描周期。
6.根据权利要求5所述的分布式文件系统的文件迁移方法，其特征在于，所述设置文件时间标志及大于时间策略和小于时间策略之后，还包括：
创建一个新文件，将所述新文件加入快索引表，并写入所述快速池。
7.根据权利要求6所述的分布式文件系统的文件迁移方法，其特征在于，还包括：
当对所述慢速池中的所述文件进行修改、访问等操作后，将当前所述文件加入快索引表；
当到达所述预设快扫描周期，将当前所述文件从所述慢速池迁移至所述快速池。
8.一种分布式文件系统的文件迁移装置，其特征在于，包括：
设置模块，用于设置文件时间标志及大于时间策略和小于时间策略；其中，所述大于时间策略为当前文件的所述文件时间标志全部大于对应的预设时间阈值，表征用户目前不需要操作该文件，所述小于时间策略为当前所述文件的所述文件时间标志不全部大于对应的所述预设时间阈值，表征所述用户目前需要操作该文件；
判断模块，用于根据文件的所述文件时间标志判断其满足的时间策略；
第一加入模块，用于若所述文件时间标志满足所述大于时间策略，将当前所述文件加入慢索引表；
第二加入模块，用于若所述文件时间标志满足所述小于时间策略，将当前所述文件加入快索引表；
迁移模块，用于将所述慢索引表中记录的文件从所述快速池迁移至所述慢速池，将所述快索引表中记录的文件从所述慢速池迁移至所述快速池。
9.一种分布式文件系统的文件迁移装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的分布式文件系统的文件迁移方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的分布式文件系统的文件迁移方法的步骤。
CN202211048204.3A 2022-08-30 2022-08-30 一种分布式文件系统的文件迁移方法、装置及介质 Pending CN115309701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211048204.3A CN115309701A (zh) 2022-08-30 2022-08-30 一种分布式文件系统的文件迁移方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211048204.3A CN115309701A (zh) 2022-08-30 2022-08-30 一种分布式文件系统的文件迁移方法、装置及介质

Publications (1)

Publication Number Publication Date
CN115309701A true CN115309701A (zh) 2022-11-08

Family

ID=83864502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211048204.3A Pending CN115309701A (zh) 2022-08-30 2022-08-30 一种分布式文件系统的文件迁移方法、装置及介质

Country Status (1)

Country Link
CN (1) CN115309701A (zh)

Similar Documents

Publication Publication Date Title
CN102929748B (zh) 数据备份方法及装置
CN107729558B (zh) 文件系统碎片整理的方法、系统、装置及计算机存储介质
CN108491333A (zh) 环形缓冲区的数据写入方法、装置、设备及介质
CN109804359A (zh) 用于将数据回写到存储设备的系统和方法
CN112783831B (zh) 一种文件迁移方法及装置
US20160300069A1 (en) Data sanitization
CN109558456A (zh) 一种文件迁移方法、装置、设备及可读存储介质
CN115114232A (zh) 一种历史版本对象列举方法、装置及其介质
CN115525580A (zh) 一种namespace设置方法、装置及可读存储介质
CN110688067A (zh) 一种存储系统的分层方法、装置、设备及介质
CN112000971B (zh) 一种文件权限记录方法、系统及相关装置
CN116339643B (zh) 一种磁盘阵列的格式化方法、装置、设备和介质
CN104133970A (zh) 一种数据空间管理方法及装置
CN115309701A (zh) 一种分布式文件系统的文件迁移方法、装置及介质
CN115203130A (zh) 一种分布式文件系统的文件清理方法、装置、设备及介质
CN115168259A (zh) 一种数据存取方法、装置、设备和计算机可读存储介质
CN114756523A (zh) 一种分布式存储方法、装置以及介质
CN114924911A (zh) Windows操作系统有效数据备份方法、装置、设备和存储介质
CN110262758B (zh) 一种数据存储管理方法、系统及相关设备
CN103064926A (zh) 数据处理方法和装置
CN113268437A (zh) 一种主动触发内存整理的方法与设备
CN111176571A (zh) 一种本地对象的管理方法、装置、设备及介质
CN110018985B (zh) 快照删除方法、装置及系统
CN111090633A (zh) 一种分布式文件系统的小文件聚合方法、装置及设备
KR20200053052A (ko) 스토리지 장치 및 스토리지 장치로 전송되는 데이터를 관리하는 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination