CN109558082B - 分布式文件系统 - Google Patents

分布式文件系统 Download PDF

Info

Publication number
CN109558082B
CN109558082B CN201811420692.XA CN201811420692A CN109558082B CN 109558082 B CN109558082 B CN 109558082B CN 201811420692 A CN201811420692 A CN 201811420692A CN 109558082 B CN109558082 B CN 109558082B
Authority
CN
China
Prior art keywords
file
user
client
memory
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811420692.XA
Other languages
English (en)
Other versions
CN109558082A (zh
Inventor
汪东升
丁权
肖东升
佘栋柱
陈友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tydic Information Technology Co ltd
Original Assignee
Shenzhen Tydic Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tydic Information Technology Co ltd filed Critical Shenzhen Tydic Information Technology Co ltd
Priority to CN201811420692.XA priority Critical patent/CN109558082B/zh
Publication of CN109558082A publication Critical patent/CN109558082A/zh
Application granted granted Critical
Publication of CN109558082B publication Critical patent/CN109558082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明提供一种分布式文件系统。本发明的分布式文件系统在FastDFS模块的基础上增加了Redis集群，FastDFS模块的客户端获取写入文件对应的文件编码，在Redis集群中存储一文件属性，文件属性包括与写入文件对应的文件编码及写入文件的文件名称，从而在进行文件下载时，客户端依据下载文件的文件名称访问Redis集群中存储的文件属性，获取与下载文件的文件名称位于同一文件属性内的文件编码，依据获取到的文件编码对与该文件编码对应的存储器中存储的对应文件进行下载，利用FastDFS模块满足以小文件居多且需要支持追加写入的应用场景的同时，利用Redis集群实现高效的类POSIX接口，提升系统的性能。

Description

分布式文件系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种分布式文件系统。
背景技术
计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统(Distributed File System)由于支持分布式部署，且能够提供应用程序编程接口(API)供应用透明访问，可以有效解决数据的存储和管理难题，克服海量文件存取时大规模高并发访问时产生的磁盘I/O性能瓶颈。分布式文件系统将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。
常见的开源的分布式文件系统中，有的分布式文件系统支持可移植操作系统(POSIX)接口的，但不满足电信计费业务使用场景等以小文件居多且需要支持追加写入的应用场景，例如HDFS，有的分布式文件系统满足以小文件居多且需要支持追加写入的要求，但不支持POSIX接口，例如FsatDFS，需要提供同时满足以小文件居多且需要支持追加写入的应用场景及支持POSIX接口的分布式文件系统。
另外，对于分布式文件系统来说，往往涉及到诸多的访问用户，基于数据安全的考量，需要针对访问用户进行用户及权限管理以进行数据隔离，并且其实现方案需要与现行的linux下的用户及权限管理机制尽量一致，以降低用户的学习成本。
发明内容
本发明的目的在于提供一种分布式文件系统，能够在满足以小文件居多且需要支持追加写入的应用场景的基础上，提供高效的POSIX接口。
为实现上述目的，本发明提供一种分布式文件系统，包括FastDFS模块及Redis集群；
所述FastDFS模块包括与Redis集群连接的客户端、与客户端连接的第一追踪器以及与客户端及第一追踪器均连接的多个存储器组；每一存储器组均包括多个相连接的存储器；
进行文件写入时，所述客户端接收写入文件并向第一追踪器传输写入请求，所述第一追踪器在接收到写入请求后选定一存储器组中的一个存储器并产生与其选定的存储器对应的选择结果至客户端，客户端依据选择结果将文件存入第一追踪器选定的存储器中，第一追踪器选定的存储器生成与其自身以及写入文件均对应的文件编码，客户端获取该文件编码并在Redis集群中存储一文件属性，所述文件属性包括与写入文件对应的文件编码及写入文件的文件名称；
进行文件下载时，所述客户端依据下载文件的文件名称访问Redis集群中存储的文件属性，获取与下载文件的文件名称位于同一文件属性内的文件编码，依据获取到的文件编码对与该文件编码对应的存储器中存储的对应文件进行下载。
所述客户端在Redis集群中存储文件属性的同时存储与写入文件的文件名称对应的目录列表信息。
进行文件下载时，所述客户端依据待操作文件的目录列表信息访问Redis集群中存储的目录列表信息获取与待操作文件的目录列表信息对应的待操作文件的文件名称。
所述第一追踪器在接收到写入请求后选定多个存储器组中剩余容量最多的一个中的一存储器。
所述文件属性还包括可操作用户组ID、可操作用户ID以及与每一可操作用户ID对应的权限操作内容；
所述客户端接收当前用户提供的文件名称、待操作内容、当前用户的用户组ID、当前用户的用户ID时，访问Redis集群中存储的文件属性，判断当前用户的用户组ID是否为与当前用户提供的文件名称位于同一文件属性内的可操作用户组ID，若否则拒绝用户操作，若是则判断当前用户的用户ID是否为与当前用户提供的文件名称位于同一文件属性内的可操作用户ID，若否则拒绝用户操作，若是则判断待操作内容是否与当前用提供的文件名称所在的文件属性内当前用户的用户ID对应的权限操作内容一致，若否则拒绝用户操作，若是则所述客户端获取与当前用户提供的文件名称位于同一文件属性内的文件编码，依据获取到的文件编码查找与该文件编码对应的存储器中存储的对应文件作为待操作文件，允许当前用户对该待操作文件进行与待操作内容一致的操作。
所述权限操作行为为读操作、写操作及执行操作中的一种，当前用户提供的操作行为为读操作、写操作及执行操作中的一种。
所述FastDFS模块还包括第二追踪器，多个存储器组均与第二追踪器连接。
所述分布式文件系统还包括前台模块；所述前台模块包括可视化前台、与可视化前台连接的数据库管理单元，所述数据管理单元经采集接口与第二追踪器连接，所述数据管理单元与Redis集群连接；
所述可视化前台接收到文件属性修改指令后将文件属性修改指令传输至数据管理单元，所述数据管理单元依据文件属性修改指令对Redis集群中存储的相应的文件属性进行修改；
所述可视化前台接收到目录列表信息修改指令后将目录列表信息修改指令传输至数据管理单元，所述数据管理单元依据目录列表信息修改指令对Redis集群中存储的相应的目录列表信息进行修改；
所述可视化前台接收到监控指令后将监控指令传输至数据管理单元，所述数据管理单元接收到监控指令后通过第二追踪器对多个存储器组进行监控获取监控结果并传输至可视化前台，由可视化前台对监控结果进行可视化显示。
所述Redis集群包括多个相连接的Redis单元。
所述文件编码为采用Base进行编码的数据编码。
本发明的有益效果：本发明的分布式文件系统在FastDFS模块的基础上增加了Redis集群，FastDFS模块的客户端获取写入文件对应的文件编码，在Redis集群中存储一文件属性，文件属性包括与写入文件对应的文件编码及写入文件的文件名称，从而在进行文件下载时，客户端依据下载文件的文件名称访问Redis集群中存储的文件属性，获取与下载文件的文件名称位于同一文件属性内的文件编码，依据获取到的文件编码对与该文件编码对应的存储器中存储的对应文件进行下载，利用FastDFS模块满足以小文件居多且需要支持追加写入的应用场景的同时，利用Redis集群实现高效的类POSIX接口，提升系统的性能。
附图说明
为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
附图中，
图1为本发明的分布式文件系统的结构示意图。
具体实施方式
为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。
请参阅图1，本发明提供一种分布式文件系统，包括FastDFS模块10及Redis集群20。
所述FastDFS模块10包括与Redis集群20连接的客户端11、与客户端11连接的第一追踪器12以及与客户端11及第一追踪器12均连接的多个存储器组13。每一存储器组13均包括多个相连接的存储器131。
进行文件写入时，所述客户端11接收写入文件并向第一追踪器12传输写入请求，所述第一追踪器12在接收到写入请求后选定一存储器组13中的一个存储器131并产生与其选定的存储器131对应的选择结果至客户端11，客户端11依据选择结果将文件存入第一追踪器12选定的存储器131中，第一追踪器12选定的存储器131生成与其自身以及写入文件均对应的文件编码，客户端11获取该文件编码并在Redis集群20中存储一文件属性，所述文件属性包括与写入文件对应的文件编码及写入文件的文件名称。进行文件下载时，所述客户端11依据下载文件的文件名称访问Redis集群20中存储的文件属性，获取与下载文件的文件名称位于同一文件属性内的文件编码，依据获取到的文件编码对与该文件编码对应的存储器13中存储的对应文件进行下载。从而，实现利用Redis集群20对FastDFS模块10的二次封装，使得本发明的分布式文件系统具有类POSIX接口，同时FastDFS模块10能够满足以小文件居多且需要支持追加写入的应用场景，从而提升本发明的分布式文件系统的性能。
具体地，所述Redis集群20包括多个相连接的Redis单元21。
具体地，所述文件编码为采用Base64进行编码的数据编码。
具体地，所述客户端11在Redis集群20中存储文件属性的同时存储与写入文件的文件名称对应的目录列表信息。进行文件下载时，所述客户端11依据待操作文件的目录列表信息访问Redis集群20中存储的目录列表信息获取与待操作文件的目录列表信息对应的待操作文件的文件名称。从而本发明的分布式文件系统支持利用目录来下载文件。
具体地，所述第一追踪器12在接收到写入请求后选定多个存储器组13中剩余容量最多的一个中的一存储器131。
具体地，所述文件属性还包括可操作用户组ID、可操作用户ID以及与每一可操作用户ID对应的权限操作内容。所述客户端11接收当前用户提供的文件名称、待操作内容、当前用户的用户组ID、当前用户的用户ID时，访问Redis集群20中存储的文件属性，判断当前用户的用户组ID是否为与当前用户提供的文件名称位于同一文件属性内的可操作用户组ID，若否则拒绝用户操作，若是则判断当前用户的用户ID是否为与当前用户提供的文件名称位于同一文件属性内的可操作用户ID，若否则拒绝用户操作，若是则判断待操作内容是否与当前用提供的文件名称所在的文件属性内当前用户的用户ID对应的权限操作内容一致，若否则拒绝用户操作，若是则所述客户端11获取与当前用户提供的文件名称位于同一文件属性内的文件编码，依据获取到的文件编码查找与该文件编码对应的存储器13中存储的对应文件作为待操作文件，允许当前用户对该待操作文件进行与待操作内容一致的操作，从而实现用户的权限管理。
进一步地，所述权限操作行为为读操作、写操作及执行操作中的一种，当前用户提供的操作行为为读操作、写操作及执行操作中的一种。
具体地，所述文件属性还包括写入文件的文件大小、创建时间、更新时间。
具体地，所述客户端11与分布式文件系统外部的业务系统9连接，由业务系统9向客户端11传输当前用户提供的文件名称、待操作内容、当前用户的用户组ID、当前用户的用户ID。
具体地，所述FastDFS模块10还包括第二追踪器14，多个存储器组13均与第二追踪器14连接。所述分布式文件系统还包括前台模块30。所述前台模块30包括可视化前台31、与可视化前台31连接的数据库管理单元32，所述数据管理单元32经采集接口33与第二追踪器14连接，所述数据管理单元32与Redis集群20连接。所述可视化前台31接收到文件属性修改指令后将文件属性修改指令传输至数据管理单元32，所述数据管理单元32依据文件属性修改指令对Redis集群20中存储的相应的文件属性进行修改，从而利用前台模块30实现对Redis集群20中的文件属性进行修改。所述可视化前台31接收到目录列表信息修改指令后将目录列表信息修改指令传输至数据管理单元32，所述数据管理单元32依据目录列表信息修改指令对Redis集群20中存储的相应的目录列表信息进行修改，从而利用前台模块30实现对Redis集群20中存储的目录列表信息进行包括增加、删除在内的修改。所述可视化前台31接收到监控指令后将监控指令传输至数据管理单元32，所述数据管理单元32接收到监控指令后通过第二追踪器14对多个存储器组13进行监控获取监控结果并传输至可视化前台31，由可视化前台31对监控结果进行可视化显示，该监控结果可以为多个存储器组13的性能参数、客户端11向多个存储器组13进行写入及下载时的流量数据、各个存储器组13的容量数据以及多个存储器组13中存储内容的部署拓扑图。
进一步地，所述数据管理单元32通过一监控接口34与分布式文件系统外部的监控系统8进行连接，该监控系统8还连接可视化前台31，用于对分布式文件系统的工作状态进行监控。
需要说明的是，本发明的分布式文件系统在FastDFS模块的基础上增加了Redis集群，FastDFS模块的客户端获取写入文件存入的存储器生成的与写入文件及该存储器均对应的文件编码，在Redis集群中存储一文件属性，文件属性包括与写入文件对应的文件编码及写入文件的文件名称，从而在进行文件下载时，客户端依据下载文件的文件名称访问Redis集群中存储的文件属性，获取与下载文件的文件名称位于同一文件属性内的文件编码，依据获取到的文件编码对与该文件编码对应的存储器中存储的对应文件进行下载，利用Redis集群对FastDFS模块进行二次封装，使得本发明的分布式文件系统实现类POSIX接口，同时FastDFS模块也能够满足包括电信业务场景在内的以小文件居多且需要支持追加写入的应用场景，提升系统的性能。同时，还利用Redis集群存储进行权限验证的相关信息，当用户通过客户端访问本发明的分布式文件系统中，对用户的权限进行验证，在用户具有与其操作动作相应的权限时才允许用户进行操作，能够实现用户的权限管理以达到数据隔离的目的。
综上所述，本发明的分布式文件系统在FastDFS模块的基础上增加了Redis集群，FastDFS模块的客户端获取写入文件对应的文件编码，在Redis集群中存储一文件属性，文件属性包括与写入文件对应的文件编码及写入文件的文件名称，从而在进行文件下载时，客户端依据下载文件的文件名称访问Redis集群中存储的文件属性，获取与下载文件的文件名称位于同一文件属性内的文件编码，依据获取到的文件编码对与该文件编码对应的存储器中存储的对应文件进行下载，利用FastDFS模块满足以小文件居多且需要支持追加写入的应用场景的同时，利用Redis集群实现高效的类POSIX接口，提升系统的性能。
以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。

Claims (8)

1.一种分布式文件系统，其特征在于，包括FastDFS模块（10）及Redis集群（20）；
所述FastDFS模块（10）包括与Redis集群（20）连接的客户端（11）、与客户端（11）连接的第一追踪器（12）以及与客户端（11）及第一追踪器（12）均连接的多个存储器组（13）；每一存储器组（13）均包括多个相连接的存储器（131）；
进行文件写入时，所述客户端（11）接收写入文件并向第一追踪器（12）传输写入请求，所述第一追踪器（12）在接收到写入请求后选定一存储器组（13）中的一个存储器（131）并产生与其选定的存储器（131）对应的选择结果至客户端（11），客户端（11）依据选择结果将文件存入第一追踪器（12）选定的存储器（131）中，第一追踪器（12）选定的存储器（131）生成与其自身以及写入文件均对应的文件编码，客户端（11）获取该文件编码并在Redis集群（20）中存储一文件属性，所述文件属性包括与写入文件对应的文件编码及写入文件的文件名称；
进行文件下载时，所述客户端（11）依据下载文件的文件名称访问Redis集群（20）中存储的文件属性，获取与下载文件的文件名称位于同一文件属性内的文件编码，依据获取到的文件编码对与该文件编码对应的存储器（131）中存储的对应文件进行下载；
所述客户端（11）在Redis集群（20）中存储文件属性的同时存储与写入文件的文件名称对应的目录列表信息；
进行文件下载时，所述客户端（11）依据待操作文件的目录列表信息访问Redis集群（20）中存储的目录列表信息获取与待操作文件的目录列表信息对应的待操作文件的文件名称。
2.如权利要求1所述的分布式文件系统，其特征在于，所述第一追踪器（12）在接收到写入请求后选定多个存储器组（13）中剩余容量最多的一个中的一存储器（131）。
3.如权利要求1所述的分布式文件系统，其特征在于，所述文件属性还包括可操作用户组ID、可操作用户ID以及与每一可操作用户ID对应的权限操作内容；
所述客户端（11）接收当前用户提供的文件名称、待操作内容、当前用户的用户组ID、当前用户的用户ID时，访问Redis集群（20）中存储的文件属性，判断当前用户的用户组ID是否为与当前用户提供的文件名称位于同一文件属性内的可操作用户组ID，若否则拒绝用户操作，若是则判断当前用户的用户ID是否为与当前用户提供的文件名称位于同一文件属性内的可操作用户ID，若否则拒绝用户操作，若是则判断待操作内容是否与当前用提供的文件名称所在的文件属性内当前用户的用户ID对应的权限操作内容一致，若否则拒绝用户操作，若是则所述客户端（11）获取与当前用户提供的文件名称位于同一文件属性内的文件编码，依据获取到的文件编码查找与该文件编码对应的存储器（131）中存储的对应文件作为待操作文件，允许当前用户对该待操作文件进行与待操作内容一致的操作。
4.如权利要求3所述的分布式文件系统，其特征在于，所述权限操作行为为读操作、写操作及执行操作中的一种，当前用户提供的操作行为为读操作、写操作及执行操作中的一种。
5.如权利要求1所述的分布式文件系统，其特征在于，所述FastDFS模块（10）还包括第二追踪器（14），多个存储器组（13）均与第二追踪器（14）连接。
6.如权利要求5所述的分布式文件系统，其特征在于，还包括前台模块（30）；所述前台模块（30）包括可视化前台（31）、与可视化前台（31）连接的数据管理单元（32），所述数据管理单元（32）经采集接口（33）与第二追踪器（14）连接，所述数据管理单元（32）与Redis集群（20）连接；
所述可视化前台（31）接收到文件属性修改指令后将文件属性修改指令传输至数据管理单元（32），所述数据管理单元（32）依据文件属性修改指令对Redis集群（20）中存储的相应的文件属性进行修改；
所述可视化前台（31）接收到目录列表信息修改指令后将目录列表信息修改指令传输至数据管理单元（32），所述数据管理单元（32）依据目录列表信息修改指令对Redis集群（20）中存储的相应的目录列表信息进行修改；
所述可视化前台（31）接收到监控指令后将监控指令传输至数据管理单元（32），所述数据管理单元（32）接收到监控指令后通过第二追踪器（14）对多个存储器组（13）进行监控获取监控结果并传输至可视化前台（31），由可视化前台（31）对监控结果进行可视化显示。
7.如权利要求1所述的分布式文件系统，其特征在于，所述Redis集群（20）包括多个相连接的Redis单元（21）。
8.如权利要求1所述的分布式文件系统，其特征在于，所述文件编码为采用Base64进行编码的数据编码。
CN201811420692.XA 2018-11-26 2018-11-26 分布式文件系统 Active CN109558082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811420692.XA CN109558082B (zh) 2018-11-26 2018-11-26 分布式文件系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811420692.XA CN109558082B (zh) 2018-11-26 2018-11-26 分布式文件系统

Publications (2)

Publication Number Publication Date
CN109558082A CN109558082A (zh) 2019-04-02
CN109558082B true CN109558082B (zh) 2021-12-07

Family

ID=65867550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811420692.XA Active CN109558082B (zh) 2018-11-26 2018-11-26 分布式文件系统

Country Status (1)

Country Link
CN (1) CN109558082B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405020B (zh) * 2020-03-10 2023-03-31 山东汇贸电子口岸有限公司 基于消息队列和fastDFS微服务架构的异步文件导出方法及系统
CN114398324B (zh) * 2022-01-07 2023-04-11 杭州又拍云科技有限公司 一种适用于分布式存储系统的文件名编码方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788628B1 (en) * 2011-11-14 2014-07-22 Panzura, Inc. Pre-fetching data for a distributed filesystem
CN107180102A (zh) * 2017-05-25 2017-09-19 北京环境特性研究所 一种目标特性数据的存储方法和系统
CN108664547A (zh) * 2018-03-26 2018-10-16 平安科技（深圳）有限公司 电子装置、会议文件共享的方法及存储介质
CN108710550A (zh) * 2018-08-16 2018-10-26 北京易华录信息技术股份有限公司 一种用于公安交管稽查布控系统的双数据中心容灾系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681556B (zh) * 2018-04-08 2021-01-29 华中科技大学 分布式指令域数据的访问方法及其系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788628B1 (en) * 2011-11-14 2014-07-22 Panzura, Inc. Pre-fetching data for a distributed filesystem
CN107180102A (zh) * 2017-05-25 2017-09-19 北京环境特性研究所 一种目标特性数据的存储方法和系统
CN108664547A (zh) * 2018-03-26 2018-10-16 平安科技（深圳）有限公司 电子装置、会议文件共享的方法及存储介质
CN108710550A (zh) * 2018-08-16 2018-10-26 北京易华录信息技术股份有限公司 一种用于公安交管稽查布控系统的双数据中心容灾系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
廖家赵.面向城轨线网的海量小文件存储方法的研究与实现.《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》.2015,第9-13、26-28、32-36页. *
面向城轨线网的海量小文件存储方法的研究与实现;廖家赵;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20151215;第9-13、26-28、32-36页，图2-2、4-1 *

Also Published As

Publication number Publication date
CN109558082A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
KR102240557B1 (ko) 데이터 저장 방법, 장치 및 시스템
CN108287669B (zh) 数据存储方法、装置及存储介质
US11296940B2 (en) Centralized configuration data in a distributed file system
US10936553B2 (en) Intelligent file system with transparent storage tiering
JP2019517042A (ja) オフラインでのハイブリッドアプリケーションへのアクセスの提供
Zheng et al. Design a cloud storage platform for pervasive computing environments
CN102938784A (zh) 应用于分布式存储系统中的数据存储方法和系统
CN104915268A (zh) 桌面布局的存储、恢复方法及其装置、终端设备、系统
CN105027070A (zh) 卷操作的安全性
CN105339903A (zh) 恢复文件系统对象
CN103401902A (zh) 一种便携式云存储系统及方法
CN106775446A (zh) 基于固态硬盘加速的分布式文件系统小文件访问方法
CN113672175A (zh) 分布式对象存储方法、装置和设备及计算机存储介质
CN104050216A (zh) 用于定制化资源分配的文件系统管理器
WO2014159390A1 (en) Data storage volume having tiers of different storage traits
CN107451138A (zh) 一种分布式文件系统存储方法和系统
WO2014159383A2 (en) File system operation on multi-tiered volume
CN105100149A (zh) 用于管理文件的方法和系统
CN109558082B (zh) 分布式文件系统
US10057348B2 (en) Storage fabric address based data block retrieval
US11157456B2 (en) Replication of data in a distributed file system using an arbiter
CN113296891B (zh) 基于平台的多场景知识图谱处理方法及装置
KR101364356B1 (ko) 대용량 데이터 저장을 위한 심볼릭 링크를 이용한 확장 가능한 저장 방법 및 장치
CN104517067A (zh) 访问数据的方法、装置及系统
CN107832097B (zh) 数据加载方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant