CN111095233B - 混合文件系统架构、文件存储、动态迁移及其应用 - Google Patents

混合文件系统架构、文件存储、动态迁移及其应用 Download PDF

Info

Publication number
CN111095233B
CN111095233B CN201780094545.5A CN201780094545A CN111095233B CN 111095233 B CN111095233 B CN 111095233B CN 201780094545 A CN201780094545 A CN 201780094545A CN 111095233 B CN111095233 B CN 111095233B
Authority
CN
China
Prior art keywords
file
file system
distributed file
distributed
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780094545.5A
Other languages
English (en)
Other versions
CN111095233A (zh
Inventor
钟叶青
张立冬
武永卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Tsinghua University
Original Assignee
Shenzhen Research Institute Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Tsinghua University filed Critical Shenzhen Research Institute Tsinghua University
Publication of CN111095233A publication Critical patent/CN111095233A/zh
Application granted granted Critical
Publication of CN111095233B publication Critical patent/CN111095233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/119—Details of migration of file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了混合分布式文件系统架构结构、应用的文件存储处理方法、动态迁移方法及其应用。文件存储处理方法包括:获取待存储文件的存储属性，其中，所述存储属性至少包括所述文件的大小；根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中；将所述待存储文件存储到所述确定的分布式文件系统中。进一步还包括根据预定策略对已经存储到预定存储位置的文件进行迁移。该装置根据文件特征属性智能选择文件底层存储策略；决策是否将文件进行迁移，以及迁移到哪个文件系统，以满足不同文件系统使用均衡，同时性能下降最低。通过实验对比得出本发明对文件系统I/O性能，使用均衡等综合文件性能都有较大的提升。

Description

混合文件系统架构、文件存储、动态迁移及其应用
技术领域
本发明涉及分布式文件系统技术领域，尤其涉及到混合有多个分布式文件系统的混合文件系统架构、文件存储、动态迁移及其应用。
背景技术
在分布式文件系统研究领域，针对不同的领域和应用场景，不同的研究机构和企、事业单位可能设计不同架构的分布式文件系统以满足特定需求，例如淘宝文件系统TFS满足淘宝大量图片存储优化同时满足用户存储需求、HDFS主要应用于分布式计算，针对大的数据流具有很好的处理性能、Glusterfs采用无元数据服务器思想来优化小文件存储，及涉及大量元数据的操作、而FaceBook则主要针对其存储文件大小范围，和内容需求对HDFS进行了相应的改进、Ceph致力于提出高可用的分布式文件系统，设计多个metadata server提高元数据性能。鉴于以上不同文件系统设计目标不同，导致了文件系统的通用性较差，例如HDFS对大文件的读写具有较高的性能，实验分析得出当文件大于8M时其读写性能较好，Glusterfs则对小于8M的文件具有更好的I\O表现等等。
在现有技术中，对于使用了不同文件系统应该如何进行存储才能提高存储效率，并没有相关的解决方案。
发明内容
本发明要解决的技术问题之一是：在多种高性能文件系统共存的情况下，如何充分利用各种文件系统的性能优势，将多种文件系统整合，充分利用其各自优势，提高存储效率，提升整体性能,综合处理各种情况达到文件系统整体性能最优。
为此，提出了本发明。
根据本发明的一个方面，提供了一种在包括混合有多个不同类型的分布式文件系统的混合文件系统架构中应用的文件存储处理方法，用于确定将待存储文件存放在哪个分布式文件系统中，所述文件存储处理方法包括:获取待存储文件的存储属性，其中，所述存储属性至少包括所述文件的大小；根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中；将所述待存储文件存储到所述确定的分布式文件系统中。
可选的，所述存放规则是基于训练样本集、利用人工智能学习算法学习得到的智能存放模型，所述训练样本集的每个训练样本的特征包括文件的存储属性和该文件已被确定布置于的文件系统的标签。
可选的，其中所述文件的存储属性还包括：文件的访问模式类型、访问权限大小和相关联的用户，其中访问模式类型选自下列项目之一：只读、只写、读写和执行。
可选的，所述混合文件系统架构包括元数据管理服务器，其中所述存放规则被存储于非易失性存储介质中，同时维护于元数据管理服务器内存中；以及所述存放规则是动态更新的，其中所述根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中包括：从元数据管理服务器中读取存放规则，根据读取的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中。
可选的，所述存放规则还被维护于远程备用节点中。
可选的，其中所述人工智能学习算法是决策树，所述智能存放模型是基于训练数据构造的决策树模型。
可选的，决策树模型构造中进行了包括剪枝、交叉验证的优化处理。
可选的，文件存储处理方法还包括：由元数据管理服务器接收来自客户端的从混合文件系统架构读文件或者针对其更新文件的请求；由元数据管理服务器获取待读取或更新文件的路径信息，进而得到文件的存储位置信息；元数据管理服务器将所述读取或更新文件的存放位置，返回给客户端；由客户端根据返回的存放位置与相应的分布式文件系统通信，进行实际的读操作或更新操作。
可选的，文件在所述每个分布式文件系统上的I/O性能如下经实验确定：通过实验获取所述文件在每个分布式文件系统的读吞吐率Firt和写吞吐率Fiwt，读吞吐率Firt为每秒读取文件的数据大小，写吞吐率Fiwt为每秒写文件的数据大小；计算该文件在每个分布式文件系统中的读吞吐率Firt和写吞吐率Fiwt之和作为文件在所述每个分布式文件系统上的I/O性能。
可选的，文件存储处理方法还包括：确定需要进行文件迁移的分布式文件系统；针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件和迁移目的地；对确定需要进行迁移的文件进行迁移。
可选的，所述确定需要进行文件迁移的分布式文件系统包括：计算任意两个分布式文件系统之间的使用率之差；当所述使用率之差大于预定阈值时，确定使用率较高的分布式文件系统需要进行文件迁移。
可选的，所述针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件包括：计算需要进行文件迁移的分布式文件系统中的每一文件迁移至其它分布式文件系统中的任一个上的迁移收益；基于各个文件至其它分布式文件系统上的迁移收益的排序，确定需要进行迁移的文件以及该文件的迁移目的地。
可选的，所述计算需要进行文件迁移的分布式文件系统中的每一文件迁移至其它分布式文件系统中的任一个上的迁移收益包括；称需要进行文件迁移的分布式文件系统为分布式文件系统i，所述其它分布式文件系统中的任一个为分布式文件系统j，称分布式文件系统i上的文件为文件x，获得文件x在分布式文件系统i上的读吞吐量和写吞吐量，以及预测文件x在分布式文件系统j上的读吞吐量和写吞吐量；获得文件x在分布式文件系统i上的读频率和写频率；至少基于文件x的大小、基于文件x在分布式文件系统i上的读频率和写频率、文件x在分布式文件系统i上的读吞吐量和写吞吐量以及文件x在分布式文件系统j上的读吞吐量和写吞吐量，计算文件x从分布式文件系统i迁移至分布式文件系统j的迁移收益。
可选的，基于下述公式计算文件x从分布式文件系统i迁移至分布式文件系统j的迁移收益：
diffx(DFSi,DFSj)＝(sx/Fxrt(DFSi)-sx/Fxrt(DFSj))*Fxrf+
(sx/Fxwt(DFSi)-sx/Fxwt(DFSj))*Fxwf (1)
DFSi、DFSj表示分布式文件系统i,j，Fxrt(DFSi)、Fxrt(DFSj)分别是文件x在分布式文件系统i,j中读的吞吐率，Fxwt(DFSi)、Fxwt(DFSj)是文件x在分布式文件系统i,j中写的吞吐率，吞吐率为每秒读、写文件的大小，该读写吞吐率为文件大小的函数；Fxrf、Fxwf分别是文件x在分布式文件系统i中的读频率和写频率，sx为文件系统中需要迁移的文件x的大小。
可选的，预测文件x在分布式文件系统j上的读吞吐量和写吞吐量包括：利用预定的回归模型进行预测，所述回归模型选自以下类型之一：
所述预定的回归模型是通过下述拟合过程和择优过程确定的：将文件训练数据输入到不同类型的回归模型，采用最小二乘法方式计算未知参数，拟合得到所述拟合后的不同类型的回归模型，从所述拟合后的不同类型的回归模型中选择拟合效果最好的回归模型用作预定的回归模型。
可选的，获得文件x在分布式文件系统i上的读频率和写频率包括：通过查询元数据管理服务器来得到文件x在分布式文件系统i上的读频率和写频率。
根据本发明另一方面，提供了一种在包括混合有多个不同类型的分布式文件系统的混合文件系统架构中应用的文件动态迁移方法，包括：确定需要进行文件迁移的分布式文件系统；针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件和迁移目的地；对确定需要进行迁移的文件进行迁移。
可选的，确定需要进行文件迁移的分布式文件系统包括：计算任意两个分布式文件系统之间的使用率之差；当所述使用率之差大于预定阈值时，确定使用率较高的分布式文件系统需要进行文件迁移。
可选的，针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件包括：计算需要进行文件迁移的分布式文件系统中的每一文件迁移至其它分布式文件系统中的任一个上的迁移收益；基于各个文件至其它分布式文件系统上的迁移收益的排序，确定需要进行迁移的文件以及该文件的迁移目的地。
可选的，计算需要进行文件迁移的分布式文件系统中的每一文件迁移至其它分布式文件系统中的任一个上的迁移收益包括；称需要进行文件迁移的分布式文件系统为分布式文件系统i，所述其它分布式文件系统中的任一个为分布式文件系统j，称分布式文件系统i上的文件为文件x，获得文件x在分布式文件系统i上的读吞吐量和写吞吐量，以及预测文件x在分布式文件系统j上的读吞吐量和写吞吐量；获得文件x在分布式文件系统i上的读频率和写频率；至少基于文件x的大小、基于文件x在分布式文件系统i上的读频率和写频率、文件x在分布式文件系统i上的读吞吐量和写吞吐量以及文件x在分布式文件系统j上的读吞吐量和写吞吐量，计算文件x从分布式文件系统i迁移至分布式文件系统j的迁移收益。
可选的，基于下述公式计算文件x从分布式文件系统i迁移至分布式文件系统j的迁移收益：
diffx(DFSi,DFSj)＝(sx/Fxrt(DFSi)-sx/Fxrt(DFSj))*Fxrf+
(sx/Fxwt(DFSi)-sx/Fxwt(DFSj))*Fxwf (1)
DFSi、DFSj表示分布式文件系统i,j，Fxrt(DFSi)、Fxrt(DFSj)分别是文件x在分布式文件系统i,j中读的吞吐率，Fxwt(DFSi)、Fxwt(DFSj)是文件x在分布式文件系统i,j中写的吞吐率，吞吐率为每秒读、写文件的大小，该读写吞吐率为文件大小的函数；Fxrf、Fxwf分别是文件x在分布式文件系统i中的读频率和写频率，sx为文件系统中需要迁移的文件x的大小。
可选的，预测文件x在分布式文件系统j上的读吞吐量和写吞吐量包括：
利用预定的回归模型进行预测，所述回归模型选自以下项目之一：
所述预定的回归模型是通过下述拟合过程确定的：将文件训练数据输入到不同回归模型，采用最小二乘法方式计算未知参数，求出拟合效果最好的曲线用作预定的回归模型。
可选的，获得文件x在分布式文件系统i上的读频率和写频率包括：通过查询元数据管理服务器来得到文件x在分布式文件系统i上的读频率和写频率。
根据本发明的另一方面，提供了一种文件存储处理装置，包括存储器和处理器，存储器中存储有计算机可执行指令，当所述计算机可执行指令被控制器执行时，可操作来上述文件存储处理方法。
根据本发明的另一方面，提供了一种文件迁移处理系统，包括存储器和处理器，存储器中存储有计算机可执行指令，当所述计算机可执行指令被控制器执行时，可操作来执行上述文件动态迁移方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可操作来执行上述文件存储处理方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可操作来执行上述文件动态迁移方法。
根据本发明的另一方面，提供了一种混合文件系统架构系统中的元数据管理服务器，其与客户端和多个分布式文件系统交互，元数据管理服务器维护下述预先配置的存放规则，被配置来执行下述方法：获取待存储文件的存储属性，其中，所述存储属性至少包括所述文件的大小；根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中；确定需要进行文件迁移的分布式文件系统；针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件和迁移目的地；对确定需要进行迁移的文件进行迁移。
根据本发明的另一方面，提供了一种混合文件系统架构系统，包括元数据管理服务器和多个不同类型的分布式文件系统。
利用根据本发明实施例的文件智能存储策略充分利用多种文件系统存储特征，整合多种文件系统，根据文件特征属性智能选择文件底层存储策略，以使得文件读写性能最优。
优选地，智能存放策略为决策树模型，通过前期实验获取训练数据，然后训练得决策树模型，后通过存储的文件属性做为决策树模型的输入，输出即为文件存储位置，以使文件读写特性最好。
进一步地采取文件动态迁移策略，优选地以文件系统负载均衡是文件系统的一个评价指标，根据底层不同文件系统的存储空间使用率，不同文件在不同文件系统的读写I/O，以及不同文件的读写频率决策是否将文件进行迁移，以及迁移到哪个文件系统，以满足不同文件系统使用均衡，同时性能下降最低。
通过实验对比得出本发明对不同底层文件性能都有较大的提升。
根据本发明实施例的高性能混合文件系统框架结构、文件存储处理方法、文件动态迁移方法和元数据管理服务器，通过综合利用多种分布式文件系统的性能优势，来处理各种文件存储问题，致力于完善一种通用的高性能文件系统，能应对各种类型，各种复杂环境的文件存储问题，并且都具有较高的性能。
附图说明
图1示出了根据本发明实施例的混合文件系统框架结构示意图；
图2示出了根据本发明实施例的混合文件系统框架中应用的文件存储处理方法流程图；
图3(a)-(e)示出了是示例性的智能存放策略决策树构造过程示意图；
图4示出了根据本发明一实施例的在混合文件系统架构中写文件的顺序图；
图5示出在文件已经存储于混合文件系统架构中后，客户端的文件读请求或更新请求引发的相应操作顺序图。
图6示出了根据本发明实施例的文件动态迁移方法的总体流程图；
图7示出了根据本发明实施例的实验得到的各分布式文件系统的吞吐率拟合曲线和实际曲线的比较示意图。
具体实施方式
以下描述用于公开本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
以下说明书和权利要求中使用的术语和词不限于字面的含义，而是仅由本发明人使用以使得能够清楚和一致地理解本发明。因此，对本领域技术人员很明显仅为了说明的目的而不是为了如所附权利要求和它们的等效物所定义的限制本发明的目的而提供本发明的各种实施例的以下描述。
在这里使用的术语仅用于描述各种实施例的目的且不意在限制。如在此使用的，单数形式意在也包括复数形式，除非上下文清楚地指示例外。另外将理解术语“包括”和/或“具有”当在该说明书中使用时指定所述的特征、数目、步骤、操作、组件、元件或其组合的存在，而不排除一个或多个其它特征、数目、步骤、操作、组件、元件或其组的存在或者附加。
包括技术和科学术语的在这里使用的术语具有与本领域技术人员通常理解的术语相同的含义，只要不是不同地限定该术语。应当理解在通常使用的词典中限定的术语具有与现有技术中的术语的含义一致的含义。
下面结合附图和具体实施方式对本发明作进一步详细的说明：
图1示出了根据发明实施例的混合文件系统框架1000的结构示意图，主要包含三个部分：底层存储系统1100、元数据管理服务器1200和客户端1300。图中示出底层存储系统1100包括各类型的分布式文件系统DFS-1、DFS-2……DFS-n，例如Ceph，HDFS，GlusterFs等，用于实际存储数据，对用户隐藏或者说透明的，用户并不清楚自己关心的数据存储在哪个分布式文件系统中；客户端1300供用户读写数据，提供多种常用文件系统通用接口；元数据管理服务器1200是混合文件系统框架的核心模块，根据一个实施例元数据管理服务器1200中存储智能存储决策策略1210和动态迁移策略1230，同时可以存储部分元数据1220，元数据管理服务器1200响应于客户端的文件写请求，依据文件智能存储决策策略1210，确定文件存储位置，反馈给客户端；以及元数据管理服务器1200监控各个分布式文件系统DFS-1、DFS-n的使用情况，在发生文件系统之间使用率严重不均衡时，根据文件动态迁移策略在分布式文件系统之间进行文件迁移，以维持混合式分布式文件系统之间的使用率相对均衡。
图2示出了根据本发明实施例的混合文件系统架构中应用的文件存储处理方法200的总体流程图。
如图2所示，步骤S210，获取待存储文件的存储属性，其中，所述存储属性至少包括所述文件的大小。
在一个示例中，文件的存储属性还包括：文件的访问模式类型、访问权限大小和相关联的用户，其中访问模式类型选自下列项目之一：只读、只写、读写和执行。
在一个示例中，由元数据管理服务器从客户端获得待存储问的存储属性，并将其作为元数据存储并维护于自身的存储器中，如图1所示的。
在步骤S220，根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中。
在一个示例中，存放规则是基于训练样本集、利用人工智能学习算法学习得到的智能存放模型，训练样本集的每个训练样本的特征包括文件的存储属性和该文件已被确定布置于的文件系统的标签。
在一个示例中，该文件已被确定布置于的文件系统的标签是基于该文件经实验确定的在所述每个分布式文件系统上的I/O性能来确定的，I/O性能包括读吞吐率和/或写吞吐率。
在一个示例中，考虑到元数据服务器节点失效，内存数据丢失问题，可在将存放规则例如决策树模型维护存储在内存同时，存放规则被存储于非易失性存储介质例如硬盘中。在另一示例中，出于更加安全的考虑，将存放规则是同时发送给远程备用节点。
在一个示例中，存放规则是动态更新的，例如根据一定的周期，来再次利用人工智能学习算法学习，并将新学习到的存放规则更新于元数据管理服务器，并同步更新存储于硬盘和/或远程节点中的存放规则。
在一个示例中，根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中包括：从元数据管理服务器中读取存放规则，根据读取的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中。
在一个示例中，人工智能学习算法是决策树，所述智能存放模型是基于训练数据构造的决策树模型。后续将参考附图，详细描述决策树模型的构造过程示例。
例如，结合图1的混合文件系统架构，元数据管理服务器1200基于从客户端获得的文件的存储属性，利用智能存放模型1210，确定将该文件存放在哪个分布式文件系统，并返回给客户端1300。
步骤S230，将所述待存储文件存储到所述确定的分布式文件系统中。
具体地，例如，客户端1300直接与分布式文件系统1100通讯，分布式文件系统将文件存储在所确定的具体分布式文件系统中。
通过本发明实施例的文件存储处理方法，依据预先确定的存放规则来根据文件的属性选择具体的分布式文件系统，以例如提供存储性能和效率，解决现有技术中对于使用了不同文件系统如何进行存储才能提高存储效率的技术问题。为了提高文件系统的通用性，将多种分布式文件系统进行融合，通过例如预先的机器学习获取各类型的分布式文件系统针对各种文件的性能特性，在文件存取过程中综合利用不同分布式文件系统的优势，综合提高系统性能。具体地，例如，对于不同的分布式文件系统预先得到不同属性的文件在这些分布式文件系统上进行存储时的处理属性，例如，可以得到不同大小的文件在不同分布式文件系统上的I/O性能，根据预先得到的这些知识可以建立规则，这些规则在后续存储文件的时候进行使用。
下面结合一个实施例对决策树模型的构建方法进行说明。
在描述决策树模型的构建方法之前，首先说明一下如何获取训练样本数据集。
在一个示例中，选取不同大小的文件作为实验数据，在多种分布式文件系统中实际测评，获取不同文件在不同分布式文件系统的读写吞吐率Firt、Fiwt，然后通过下述公式选择结果最大的作为训练数据标签。
dfs＝max(Firt+Fiwt)，i＝1,2…,m(m个文件系统)
在一个具体的实施例中，提取文件的存储属性，包括文件大小、访问模式、访问权限和所有者，以及得到上述经实验确定的每个文件的训练数据标签，获取如表1所示的数据作为训练数据。
表1训练数据
下面参考图3(a)到(e)给出一个简化的决策树构造过程的示例。
在图3(a)到(e)的示例中，采用了简化的训练数据形式，获取包括大小、权限、目标DFS的三元组(3-tiple)数据集，每个样本包括大小、权限、目标DFS这些特征，训练数据集如图3中的(a)所示。
然后根据信息熵最大原理选择对分类影响最大的大小作为分类节点构建图3(c)决策树，据此决策树根据大小将训练数据分成m组(文件大小分成m类)，m是大于等于2的整数，在本示例中，m＝3，图3(b)中将数据分成3组，图3(b)分别是1M、5M、9M，然后重复信息熵最大原理选择权限做为分类节点，分成3个分支如图3(d)。此时所有数据已经分类完成。最后将部分叶子结点合并构建得到图3(e)，决策树构建完成。
在一个示例中，决策树模型构造中进行一些优化处理：包括剪枝、交叉验证等。
需要说明的是，本文中，作为依据文件属性来确定所应存储的分布式文件系统的人工智能学习算法，决策树是作为优选示例提供的，但是这并非作为限制，相反，可以选择其他的人工智能学习算法，例如深度神经网络，支持向量机，最近邻学习法等等。
文件关于文件系统的操作，包括最初的存储操作(写操作)，以及后续的读取和可能的更新操作。
图4示出了根据本发明一实施例的在混合文件系统架构中写文件的顺序图。
如图4所示，在步骤S410中，客户端向元数据管理服务器发出文件写访问请求。
在步骤S420中，元数据管理服务器获取文件属性信息，
在步骤S430中，元数据管理服务器获取自身维护的决策树模型。
在步骤S440中，元数据管理服务器基于文件存储属性信息和决策树模型，获得待写入文件的存放位置。
在步骤S450中，元数据管理服务器将文件的存放位置返回给客户端。
在步骤S460中，客户端根据返回的存放位置与相应的分布式文件系统通信，进行实际的文件写操作。
图5示出在文件已经存储于混合文件系统架构中后，客户端的文件读请求或更新请求引发的相应操作顺序图。
在步骤S510中，客户端发出文件读请求或更新请求至元数据管理服务器。
在步骤S520中，元数据管理服务器从读请求或更新请求获取文件路径。
在步骤S530中，元数据管理服务器查询元数据数据库，获得要读取或更新的文件的存放位置。
在步骤S540中，元数据管理服务器将文件的存放位置反馈给客户端。
在步骤S550中，客户端根据返回的存放位置与相应的分布式文件系统通信，进行实际的文件读或更新具体操作。
在存储的过程中，随着文件存储的增加，有些分布式文件系统的存储空间的存储效率会出现下降，为了解决这个问题，在一个可选的实施方式中，还可以进行文件迁移，即将一个分布式文件系统中存储的文件迁移到另一个分布式文件系统中，通过迁移可以进一步提高系统的存储能力，促进各个分布式文件系统之间的负载均衡。
下面结合图6对该文件在分布式文件系统之间迁移的方法600的实施例进行说明。
在步骤S610中，确定需要进行文件迁移的分布式文件系统。
在一个示例中，每隔预定周期来判断是否存在需要进行文件迁移的分布式文件系统。
替代地，也可以持续地监测各个分布式文件系统的使用情况，并进行是否需要进行文件迁移的判断。
可以调研各个分布式文件系统的使用率，确定各个分布式文件系统之间的负载均衡或者说使用率均衡情况，在存在严重使用率失衡的情况时，对于使用率过高的分布式文件系统进行文件迁移，具体地，即文件迁出。
具体地，在一个示例中，确定需要进行文件迁移的分布式文件系统包括：计算任意两个分布式文件系统之间的使用率之差；当所述使用率之差大于预定阈值时，确定使用率较高的分布式文件系统需要进行文件迁移。
例如，如果分布式文件系统A使用率为90％，而分布式文件系统B的使用率仅为10％，此时显然负载严重失衡，则可以对分布式文件系统A进行文件迁出操作。
在本文中，分布式文件系统的使用率表示文件系统使用率为文件系统实际使用容量与原有容量的比值。
在步骤S620中，针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件和迁移目的地。
在一个示例中，针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件包括：计算需要进行文件迁移的分布式文件系统中的每一文件迁移至其它分布式文件系统中的任一个上的迁移收益；基于各个文件至其它分布式文件系统上的迁移收益的排序，确定需要进行迁移的文件以及该文件的迁移目的地。
在一个示例中，计算需要进行文件迁移的分布式文件系统中的每一文件迁移至其它分布式文件系统中的任一个上的迁移收益可以如下进行；
为描述方便，称需要进行文件迁移的分布式文件系统为分布式文件系统i，所述其它分布式文件系统中的任一个为分布式文件系统j，称分布式文件系统i上的文件为文件x，
获得文件x在分布式文件系统i上的读吞吐量和写吞吐量，以及预测文件x在分布式文件系统j上的读吞吐量和写吞吐量；
获得文件x在分布式文件系统i上的读频率和写频率；
至少基于文件x的大小、文件x在分布式文件系统i上的读频率和写频率、文件x在分布式文件系统i上的读吞吐量和写吞吐量以及文件x在分布式文件系统j上的读吞吐量和写吞吐量，计算文件x从分布式文件系统i迁移至分布式文件系统j的迁移收益。
在一个优选示例中，基于下述公式计算文件x从分布式文件系统i迁移至分布式文件系统j的迁移收益：
diffx(DFSi,DFSj)＝(sx/Fxrt(DFSi)-sx/Fxrt(DFSj))*Fxrf+
(sx/Fxwt(DFSi)-sx/Fxwt(DFSj))*Fxwf (1)
DFSi、DFSj表示分布式文件系统i,j，Fxrt(DFSi)、Fxrt(DFSj)分别是文件x在分布式文件系统i,j中读的吞吐率，Fxwt(DFSi)、Fxwt(DFSj)是文件x在分布式文件系统i,j中写的吞吐率，吞吐率为每秒读、写文件的大小，该读写吞吐率为文件大小的函数；Fxrf、Fxwf分别是文件x在分布式文件系统i中的读频率和写频率，sx为文件系统中需要迁移的文件x的大小。
上述公式(1)等号右侧加和的第一部分表示从文件大小(文件系统使用率层面因素)、读性能吞吐率、读频率角度考虑，将文件x从所在分布式文件系统i迁移到分布式文件系统j中获得的综合性能提升，或者说文件大小和读性能上的综合迁移收益，加和的第二部分表示从文件大小、写性能吞吐率、写频率角度考虑，将文件x从所在分布式文件系统i迁移到分布式文件系统j中获得的综合性能提升，或者说文件大小和写性能上的综合迁移收益。
公式(1)表明，一个文件大小越大、读写频率越高、该文件在分布式文件系统j上的吞吐率越大，则对分布式文件系统i而言，把该文件迁移到分布式文件系统j处的迁移收益越高。
在一个示例中，上面公式(1)中，文件x在分布式文件系统i中的读频率和写频率可以通过查询元数据管理服务器来得到。
需要说明的是，公式(1)是计算一个文件的迁移收益的优选示例，但并非作为限制，可以根据需要设计其它的计算公式。
这里，文件x在分布式文件系统i上的读吞吐量和写吞吐量可以通过例如实际观测得到，或者也可以通过预测得到，而文件x在分布式文件系统j上的读吞吐量和写吞吐量只能通过预测得到。
在一个示例中，预测文件x在一个分布式文件系统上的读吞吐量和写吞吐量可以例如利用预定的回归模型进行，所述回归模型选自以下类型之一：
表2各个回归模型的公式表达
作为示例，预定的回归模型可以通过下述拟合过程和择优过程确定：将文件训练数据输入到不同类型的回归模型公式，采用最小二乘法方式计算未知参数，拟合得到所述拟合后的不同类型的回归模型，从所述拟合后的不同类型的回归模型中选择拟合效果最好的回归模型用作预定的回归模型。
图7示出了根据本发明实施例的实验得到的各分布式文件系统的吞吐率拟合曲线和实际曲线的比较示意图。图7中横坐标为不同的文件大小，纵坐标为吞吐率。
作为实验对象的目标分布式文件系统分别是Ceph、HDFS、GlusterFs。根据实际运行结果与将文件大小代入表2所示的各个回归模型公式，通过最小二乘法计算误差，当整体误差最小时，曲线的拟合效果最好，其中分别拟合几种分布式文件系统的读写曲线，从图6中可见，HDFS write与Ceph Write、Ceph Read只要一阶拟合效果即是最佳，而其他的几种则需要高阶拟合。
表3给出了基于实验和拟合计算得到的不同分布式文件系统的吞吐率拟合曲线。表3中，如前所述，目标文件系统分别是Ceph、HDFS、GlusterFs，实验发现，HDFS write与Ceph Write、CephRead只要一阶拟合效果即是最佳，而其他的几种则需要高阶拟合。
表3目标文件系统拟合参数
/>
表4是作为示例的一种高性能混合文件系统框架实验物理环境配置示例，如下所示本实验的物理环境为了满足框架要求，主要分为客户端一个结点，底层存储服务器6个结点，以及一个元数据管理服务器结点，其中底层物理存储结点可以进行扩展，并对客户端隐藏，所有节点操作系统都是ubuntu14.04,容量都是1T容量。
表4实验物理环境
利用这样拟合得到的各个分布式文件系统的吞吐率与文件大小之间的关系曲线，就可以对于不同文件在已知文件大小的情况下，得到该文件在不同分布式文件系统上的吞吐率预测。
迁移收益排序后，即可以确定待迁移的文件，迁移收益计算的是将文件从所在文件系统迁往某个分布式文件系统获得的预期收益，这样也就确定了作为该文件迁往的目的地的分布式文件系统。
在步骤S630中，对确定需要进行迁移的文件进行迁移。
可以针对按照迁移收益排序的各个文件，从迁移收益最大的文件起依次进行文件迁移，直到文件系统使用率之差满足要求后，迁移完成。迁移过程为C-D过程，即先拷贝后删除。其中文件操作过程中加强制锁。
下面给出实现动态迁移过程的伪代码示例。
上述伪代码中，第一个for循环是判断任意两个文件系统的使用率之差，当存在两个文件系统的使用率之差大于p0时，也就是文件系统框架负载不均时，启动迁移程序，14行计算需要迁移文件系统的所有文件与其他的文件系统的迁移度，15行按照计算的迁移度进行排序。16-23行进行迁移，首先复制文件到目标文件系统，然后删除原来文件系统的文件，直到文件系统使用率之差满足条件。
经过实验，验证了对于混合文件系统，通过动态文件迁移，能够达到不同文件系统使用均衡、保证较好的读写性能吞吐率的较优综合性能。
根据本发明另一实施例，提供了一种文件存储处理系统，包括存储器和处理器，存储器中存储有计算机可执行指令，当所述计算机可执行指令被控制器执行时，可操作来上述文件存储处理方法。
根据本发明另一实施例，提供了一种文件迁移处理系统，包括存储器和处理器，存储器中存储有计算机可执行指令，当所述计算机可执行指令被控制器执行时，可操作来上述文件动态迁移方法。
根据本发明另一实施例，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可操作来执行上述文件存储处理方法。
根据本发明另一实施例，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可操作来执行上述的文件动态迁移方法。
根据本发明另一实施例，提供了一种混合文件系统架构系统中的元数据管理服务器，其与客户端和多个分布式文件系统交互，元数据管理服务器维护下述预先配置的存放规则，被配置来执行下述方法：获取待存储文件的存储属性，其中，所述存储属性至少包括所述文件的大小；根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中；确定需要进行文件迁移的分布式文件系统；针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件和迁移目的地；对确定需要进行迁移的文件进行迁移。
根据本发明另一实施例，提供了一种混合文件系统架构系统，包括上述元数据管理服务器和多个不同类型的分布式文件系统。
上述的处理器可以为一个或多个处理器，可以集中在一个物理地址或者分布在多个物理地址。该一个或多个处理器中的每一个都可以是能够执行机器可读和可执行指令的设备，例如，计算机、微处理器、微控制器、集成电路、微芯片或者任何其他计算设备。该一个或多个处理器可以耦合到在不同设备、部件和/或模块之间提供信号互联互通的通信路径。该通信路径可以使得任何数量的处理器相互通信地耦合，并且可以允许耦合到通信路径的模块以分布式计算环境操作。具体来说，每个模块可以操作为可发送和/或接收数据的节点。并且，“通信地耦合”指的是相互耦合的组成部分之间可以相互交换数据，例如以电信号、电磁信号、光信号的形式。
另外，上述存储器可以包括一个或多个存储器模块。该存储器模块可以配置为包括易失性存储器，比如静态随机存取存储器(S-RAM)和动态随机存取存储器(D-RAM)，以及非易失性存储器，比如闪存存储器、只读存储器(ROM)和可擦可编程只读存储器(EPROM)和电可擦可编程只读存储器(EEPROM)。在该存储器模块中，存储任意形式的机器可读和可执行指令以由处理器访问。该机器可读和可执行指令可以是以任何编程语言所写的逻辑或者算法，比如可直接由处理器执行的机器语言，或者可被编译或者汇编为机器可读指令并存储在存储器模块中的汇编语言、面向对象编程(OOP)语言、Javascript语言、微代码等。替代地，该机器可读和可执行指令也可以以硬件描述语言写成，比如以可编程逻辑阵列(FPGA)或者专用集成电路(ASIC)等实现的逻辑。
根据本发明实施例的高性能混合文件系统框架结构、文件存储处理方法、文件动态迁移方法和元数据管理服务器，通过综合利用多种分布式文件系统的性能优势，来处理各种文件存储问题，致力于完善一种通用的高性能文件系统，能应对各种类型，各种复杂环境的文件存储问题，并且都具有较高的性能。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离该原理下，本发明的实施方式可以有任何变形或修改。

Claims (25)

1.一种在包括混合有多个不同类型的分布式文件系统的混合文件系统架构中应用的文件存储处理方法，用于确定将待存储文件存放在哪个分布式文件系统中，所述文件存储处理方法包括:
获取待存储文件的存储属性，其中，所述存储属性至少包括所述文件的大小；
根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中；
将所述待存储文件存储到确定的分布式文件系统中，
所述存放规则是基于训练样本集、利用人工智能学习算法学习得到的智能存放模型，所述训练样本集的每个训练样本的特征包括文件的存储属性和该文件已被确定布置于的文件系统的标签，
所述混合文件系统架构包括元数据管理服务器，
其中所述存放规则被存储于非易失性存储介质中，同时维护于元数据管理服务器内存中；以及
所述存放规则是动态更新的，
其中所述根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中包括：从元数据管理服务器中读取存放规则，根据读取的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中。
2.根据权利要求1所述的文件存储处理方法，其中所述文件的存储属性还包括：
文件的访问模式、访问权限和相关联的所有者，
其中访问模式类型选自下列项目之一：只读、只写、可读写和可执行。
3.根据权利要求1的文件存储处理方法，所述存放规则还被维护于远程备用节点中。
4.根据权利要求1的文件存储处理方法，其中所述人工智能学习算法是决策树，所述智能存放模型是基于训练数据构造的决策树模型。
5.根据权利要求4所述的文件存储处理方法，其特征在于：所述决策树模型构造中进行了包括剪枝、交叉验证的优化处理。
6.根据权利要求4所述的文件存储处理方法，还包括：
由元数据管理服务器接收来自客户端的从混合文件系统架构读文件或者针对其更新文件的请求；
由元数据管理服务器获取待读取或更新文件的路径信息，进而得到文件的存储位置信息；
元数据管理服务器将所述待读取或更新文件的存放位置，返回给客户端；
由客户端根据返回的存放位置与相应的分布式文件系统通信，进行实际的读操作或更新操作。
7.根据权利要求3所述的文件存储处理方法，其特征在于，该文件已被确定布置于的文件系统的标签是基于文件在每个分布式文件系统上的I/O性能确定的，其中文件在所述每个分布式文件系统上的I/O性能如下经实验确定：
通过实验获取所述文件在每个分布式文件系统的读吞吐率Firt和写吞吐率Fiwt，读吞吐率Firt为每秒读取文件的数据大小，写吞吐率Fiwt为每秒写文件的数据大小；
计算该文件在每个分布式文件系统中的读吞吐率Firt和写吞吐率Fiwt之和作为文件在所述每个分布式文件系统上的I/O性能。
8.根据权利要求1至7中任一项所述的文件存储处理方法，其特征在于，还包括:
确定需要进行文件迁移的分布式文件系统；
针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件和迁移目的地；
对确定需要进行迁移的文件进行迁移。
9.根据权利要求8所述的文件存储处理方法，其特征在于，所述确定需要进行文件迁移的分布式文件系统包括：
计算任意两个分布式文件系统之间的使用率之差；
当所述使用率之差大于预定阈值时，确定使用率较高的分布式文件系统需要进行文件迁移。
10.根据权利要求8所述的文件存储处理方法，所述针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件包括：
计算需要进行文件迁移的分布式文件系统中的每一文件迁移至其它分布式文件系统中的任一个上的迁移收益；
基于各个文件至其它分布式文件系统上的迁移收益的排序，确定需要进行迁移的文件以及该文件的迁移目的地。
11.根据权利要求10所述的文件存储处理方法，所述计算需要进行文件迁移的分布式文件系统中的每一文件迁移至其它分布式文件系统中的任一个上的迁移收益包括；
称需要进行文件迁移的分布式文件系统为分布式文件系统i，所述其它分布式文件系统中的任一个为分布式文件系统j，称分布式文件系统i上的文件为文件x，
获得文件x在分布式文件系统i上的读吞吐量和写吞吐量，以及预测文件x在分布式文件系统j上的读吞吐量和写吞吐量；
获得文件x在分布式文件系统i上的读频率和写频率；
至少基于文件x的大小、文件x在分布式文件系统i上的读频率和写频率、文件x在分布式文件系统i上的读吞吐量和写吞吐量以及文件x在分布式文件系统j上的读吞吐量和写吞吐量，计算文件x从分布式文件系统i迁移至分布式文件系统j的迁移收益。
12.根据权利要求11所述的文件存储处理方法，其中基于下述公式计算文件x从分布式文件系统i迁移至分布式文件系统j的迁移收益：
diffx(DFSi,DFSj)＝(sx/Fxrt(DFSi)-sx/Fxrt(DFSj))*Fxrf+(sx/Fxwt(DFSi)-sx/Fxwt(DFSj))*Fxwf (1)
DFSi、DFSj表示分布式文件系统i,j，Fxrt(DFSi)、Fxrt(DFSj)分别是文件x在分布式文件系统i,j中读的吞吐率，Fxwt(DFSi)、Fxwt(DFSj)是文件x在分布式文件系统i,j中写的吞吐率，吞吐率为每秒读、写文件的大小，读写吞吐率为文件大小的函数；Fxrf、Fxwf分别是文件x在分布式文件系统i中的读频率和写频率，sx为文件系统中需要迁移的文件x的大小。
13.根据权利要求11所述的文件存储处理方法，其特征在于，预测文件x在分布式文件系统j上的读吞吐量和写吞吐量包括：
利用预定的回归模型进行预测，所述回归模型选自以下类型之一：
所述预定的回归模型是通过下述拟合过程和择优过程确定的：将文件训练数据输入到不同类型的回归模型，采用最小二乘法方式计算未知参数，拟合得到拟合后的不同类型的回归模型，从所述拟合后的不同类型的回归模型中选择拟合效果最好的回归模型用作预定的回归模型。
14.根据权利要求11所述的文件存储处理方法，获得文件x在分布式文件系统i上的读频率和写频率包括；
通过查询元数据管理服务器来得到文件x在分布式文件系统i上的读频率和写频率。
15.一种在包括混合有多个不同类型的分布式文件系统的混合文件系统架构中应用的文件动态迁移方法，包括：
确定需要进行文件迁移的分布式文件系统；
针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件和迁移目的地；
对确定需要进行迁移的文件进行迁移，
所述确定需要进行文件迁移的分布式文件系统包括：
计算任意两个分布式文件系统之间的使用率之差；
当所述使用率之差大于预定阈值时，确定使用率较高的分布式文件系统需要进行文件迁移，
所述针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件包括：
计算需要进行文件迁移的分布式文件系统中的每一文件迁移至其它分布式文件系统中的任一个上的迁移收益；
基于各个文件至其它分布式文件系统上的迁移收益的排序，确定需要进行迁移的文件以及该文件的迁移目的地。
16.根据权利要求15所述的文件动态迁移方法，所述计算需要进行文件迁移的分布式文件系统中的每一文件迁移至其它分布式文件系统中的任一个上的迁移收益包括；
称需要进行文件迁移的分布式文件系统为分布式文件系统i，所述其它分布式文件系统中的任一个为分布式文件系统j，称分布式文件系统i上的文件为文件x，
获得文件x在分布式文件系统i上的读吞吐量和写吞吐量，以及预测文件x在分布式文件系统j上的读吞吐量和写吞吐量；
获得文件x在分布式文件系统i上的读频率和写频率；
至少基于文件x的大小、文件x在分布式文件系统i上的读频率和写频率、文件x在分布式文件系统i上的读吞吐量和写吞吐量以及文件x在分布式文件系统j上的读吞吐量和写吞吐量，计算文件x从分布式文件系统i迁移至分布式文件系统j的迁移收益。
17.根据权利要求16所述的文件动态迁移方法，其中基于下述公式计算文件x从分布式文件系统i迁移至分布式文件系统j的迁移收益：
diffx(DFSi,DFSj)＝(sx/Fxrt(DFSi)-sx/Fxrt(DFSj))*Fxrf+(sx/Fxwt(DFSi)-sx/Fxwt(DFSj))*Fxwf (1)
DFSi、DFSj表示分布式文件系统i,j，Fxrt(DFSi)、Fxrt(DFSj)分别是文件x在分布式文件系统i,j中读的吞吐率，Fxwt(DFSi)、Fxwt(DFSj)是文件x在分布式文件系统i,j中写的吞吐率，吞吐率为每秒读、写文件的大小，读写吞吐率为文件大小的函数；Fxrf、Fxwf分别是文件x在分布式文件系统i中的读频率和写频率，sx为文件系统中需要迁移的文件x的大小。
18.根据权利要求15所述的文件动态迁移方法，其特征在于，预测文件x在分布式文件系统j上的读吞吐量和写吞吐量包括：
利用预定的回归模型进行预测，所述回归模型选自以下项目之一：
所述预定的回归模型是通过下述拟合过程确定的：将文件训练数据输入到不同回归模型，采用最小二乘法方式计算未知参数，求出拟合效果最好的曲线用作预定的回归模型。
19.根据权利要求15所述的文件动态迁移方法，获得文件x在分布式文件系统i上的读频率和写频率包括；
通过查询元数据管理服务器来得到文件x在分布式文件系统i上的读频率和写频率。
20.一种文件存储处理系统，包括存储器和处理器，存储器中存储有计算机可执行指令，当所述计算机可执行指令被控制器执行时，可操作来执行权利要求1-14所述的文件存储处理方法。
21.一种文件迁移处理装置，包括存储器和处理器，存储器中存储有计算机可执行指令，当所述计算机可执行指令被控制器执行时，可操作来执行权利要求15-19所述的文件动态迁移方法。
22.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可操作来执行权利要求1-14所述的文件存储处理方法。
23.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可操作来执行权利要求15-19所述的文件动态迁移方法。
24.一种混合文件系统架构系统中的元数据管理服务器，其与客户端和多个分布式文件系统交互，元数据管理服务器维护下述预先配置的存放规则，被配置来执行下述方法：
获取待存储文件的存储属性，其中，所述存储属性至少包括所述文件的大小；
根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中；
确定需要进行文件迁移的分布式文件系统；
针对需要进行文件迁移的分布式文件系统，确定该分布式文件系统上需要进行迁移的文件和迁移目的地；
对确定需要进行迁移的文件进行迁移，
所述存放规则是基于训练样本集、利用人工智能学习算法学习得到的智能存放模型，所述训练样本集的每个训练样本的特征包括文件的存储属性和该文件已被确定布置于的文件系统的标签，
所述混合文件系统架构包括元数据管理服务器，
其中所述存放规则被存储于非易失性存储介质中，同时维护于元数据管理服务器内存中；以及
所述存放规则是动态更新的，
其中所述根据预先配置的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中包括：从元数据管理服务器中读取存放规则，根据读取的存放规则和所述待存储文件的属性，确定将待存储文件存放在哪个分布式文件系统中。
25.一种混合文件系统架构系统，包括权利要求24所述的元数据管理服务器和多个不同类型的分布式文件系统。
CN201780094545.5A 2017-09-28 2017-09-28 混合文件系统架构、文件存储、动态迁移及其应用 Active CN111095233B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/103907 WO2019061132A1 (zh) 2017-09-28 2017-09-28 混合文件系统架构、文件存储、动态迁移及其应用

Publications (2)

Publication Number Publication Date
CN111095233A CN111095233A (zh) 2020-05-01
CN111095233B true CN111095233B (zh) 2023-09-26

Family

ID=65902527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780094545.5A Active CN111095233B (zh) 2017-09-28 2017-09-28 混合文件系统架构、文件存储、动态迁移及其应用

Country Status (3)

Country Link
US (1) US10810169B1 (zh)
CN (1) CN111095233B (zh)
WO (1) WO2019061132A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762504A (zh) * 2017-11-29 2021-12-07 华为技术有限公司 模型训练系统、方法和存储介质
US11409727B2 (en) * 2019-09-18 2022-08-09 International Business Machines Corporation Concurrent execution of database operations
CN111177105B (zh) * 2019-12-29 2022-03-22 浪潮电子信息产业股份有限公司 分布式文件系统的海量文件写方法、装置、系统及介质
CN111581178A (zh) * 2020-05-12 2020-08-25 国网安徽省电力有限公司信息通信分公司 一种基于深度强化学习Ceph系统性能调优策略与系统
CN112084156A (zh) * 2020-09-24 2020-12-15 中国农业银行股份有限公司上海市分行 混合存储系统及文件的自适应备份方法
CN112181951B (zh) * 2020-10-20 2022-03-25 新华三大数据技术有限公司 一种异构数据库数据迁移方法、装置及设备
CN112596675A (zh) * 2020-12-22 2021-04-02 平安银行股份有限公司 数据的多存储方法、装置、电子设备及计算机存储介质
CN113608876B (zh) * 2021-08-12 2024-03-29 中国科学技术大学 基于负载类型感知的分布式文件系统元数据负载均衡方法
CN113741823A (zh) * 2021-11-08 2021-12-03 杭州雅观科技有限公司 一种云端的混合分布式文件存储方法
US11606432B1 (en) * 2022-02-15 2023-03-14 Accenture Global Solutions Limited Cloud distributed hybrid data storage and normalization
CN115904263B (zh) * 2023-03-10 2023-05-23 浪潮电子信息产业股份有限公司 一种数据迁移方法、系统、设备及计算机可读存储介质
CN117370310B (zh) * 2023-10-19 2024-05-28 中电云计算技术有限公司 一种分布式文件系统跨集群数据增量迁移的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944124A (zh) * 2010-09-21 2011-01-12 卓望数码技术（深圳）有限公司 分布式文件系统管理方法、装置以及对应的文件系统
CN103593347A (zh) * 2012-08-14 2014-02-19 中兴通讯股份有限公司 一种均衡负载的方法及分布式数据库系统
CN103778222A (zh) * 2014-01-22 2014-05-07 浪潮(北京)电子信息产业有限公司 一种分布式文件系统存储文件的方法及系统
CN104994171A (zh) * 2015-07-15 2015-10-21 上海斐讯数据通信技术有限公司 一种分布式存储方法与系统
CN105912612A (zh) * 2016-04-06 2016-08-31 中广天择传媒股份有限公司 一种分布式文件系统及面向该系统的数据均衡分布方法
CN106233286A (zh) * 2014-04-24 2016-12-14 谷歌公司 对文件上传进行优先化的系统和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6990606B2 (en) * 2000-07-28 2006-01-24 International Business Machines Corporation Cascading failover of a data management application for shared disk file systems in loosely coupled node clusters
JP4265245B2 (ja) * 2003-03-17 2009-05-20 株式会社日立製作所 計算機システム
US7599941B2 (en) * 2005-07-25 2009-10-06 Parascale, Inc. Transparent redirection and load-balancing in a storage network
US8135763B1 (en) * 2005-09-30 2012-03-13 Emc Corporation Apparatus and method for maintaining a file system index
US20070088717A1 (en) * 2005-10-13 2007-04-19 International Business Machines Corporation Back-tracking decision tree classifier for large reference data set
US7752206B2 (en) * 2006-01-02 2010-07-06 International Business Machines Corporation Method and data processing system for managing a mass storage system
JP4939152B2 (ja) * 2006-09-13 2012-05-23 株式会社日立製作所 データ管理システム及びデータ管理方法
JP5238235B2 (ja) * 2007-12-07 2013-07-17 株式会社日立製作所 管理装置及び管理方法
CN102456049A (zh) * 2010-10-28 2012-05-16 无锡江南计算技术研究所 数据迁移方法、装置及面向对象的分布式文件系统
WO2015097757A1 (ja) * 2013-12-24 2015-07-02 株式会社日立製作所 ストレージシステム及び重複排除制御方法
US10534753B2 (en) * 2014-02-11 2020-01-14 Red Hat, Inc. Caseless file lookup in a distributed file system
US10733153B2 (en) * 2016-02-29 2020-08-04 Red Hat, Inc. Snapshot management in distributed file systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944124A (zh) * 2010-09-21 2011-01-12 卓望数码技术（深圳）有限公司 分布式文件系统管理方法、装置以及对应的文件系统
CN103593347A (zh) * 2012-08-14 2014-02-19 中兴通讯股份有限公司 一种均衡负载的方法及分布式数据库系统
CN103778222A (zh) * 2014-01-22 2014-05-07 浪潮(北京)电子信息产业有限公司 一种分布式文件系统存储文件的方法及系统
CN106233286A (zh) * 2014-04-24 2016-12-14 谷歌公司 对文件上传进行优先化的系统和方法
CN104994171A (zh) * 2015-07-15 2015-10-21 上海斐讯数据通信技术有限公司 一种分布式存储方法与系统
CN105912612A (zh) * 2016-04-06 2016-08-31 中广天择传媒股份有限公司 一种分布式文件系统及面向该系统的数据均衡分布方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于存储熵的存储负载均衡算法;周渭博;钟勇;李振东;;计算机应用(08);全文 *

Also Published As

Publication number Publication date
WO2019061132A1 (zh) 2019-04-04
US10810169B1 (en) 2020-10-20
CN111095233A (zh) 2020-05-01
US20200311035A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
CN111095233B (zh) 混合文件系统架构、文件存储、动态迁移及其应用
Rahimian et al. Ja-be-ja: A distributed algorithm for balanced graph partitioning
Tong et al. Bottleneck-aware arrangement over event-based social networks: the max-min approach
Ahmad et al. Multilevel data processing using parallel algorithms for analyzing big data in high-performance computing
CN110673951B (zh) 通用运行环境的拟态调度方法、系统及介质
Cuevas et al. A cuckoo search algorithm for multimodal optimization
CN110188210B (zh) 一种基于图正则化与模态独立的跨模态数据检索方法及系统
US9501509B2 (en) Throwaway spatial index structure for dynamic point data
Srour et al. A Water Flow‐Like Algorithm for the Travelling Salesman Problem
Ghobaei‐Arani et al. Deploying IoT services on the fog infrastructure: a graph partitioning‐based approach
Bi et al. Cloud service selection based on weighted KD tree nearest neighbor search
CN108389152B (zh) 一种图结构感知的图处理方法及装置
Jia et al. An artificial fish swarm algorithm for a multi-objective grain transportation problem
Mezni et al. Predictive service placement in cloud using deep learning and frequent subgraph mining
CN116471281A (zh) 一种考虑节点自私性的去中心化服务组合方法
Sooktip et al. Identifying preferred solutions for multi-objective optimization: application to capacitated vehicle routing problem
CN115630514A (zh) 一种无人机集群协同任务分配方法与装置
Wang et al. Multispecies coevolution particle swarm optimization based on previous search history
CN113609378B (zh) 信息推荐方法、装置、电子设备及存储介质
CN117556068B (zh) 目标索引模型的训练方法、信息检索方法及装置
Boldhaus et al. Prediction of lethal and synthetically lethal knock-outs in regulatory networks
CN116910568B (zh) 图神经网络模型的训练方法及装置、存储介质及电子装置
Jin et al. Reinforcement Learning‐Based Intelligent Task Scheduling for Large‐Scale IoT Systems
US20220101174A1 (en) Sharing and executing custom machine learning algorithms
Matsui Decentralized Constraint Optimization in Composite Observation Task Allocation to Mobile Sensor Agents

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant