CN101520805B - 一种分布式文件系统及其文件处理方法 - Google Patents

一种分布式文件系统及其文件处理方法 Download PDF

Info

Publication number
CN101520805B
CN101520805B CN2009101064118A CN200910106411A CN101520805B CN 101520805 B CN101520805 B CN 101520805B CN 2009101064118 A CN2009101064118 A CN 2009101064118A CN 200910106411 A CN200910106411 A CN 200910106411A CN 101520805 B CN101520805 B CN 101520805B
Authority
CN
China
Prior art keywords
file
node
access
metadata
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009101064118A
Other languages
English (en)
Other versions
CN101520805A (zh
Inventor
彭杰
张波
夏舰波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2009101064118A priority Critical patent/CN101520805B/zh
Publication of CN101520805A publication Critical patent/CN101520805A/zh
Priority to PCT/CN2009/075156 priority patent/WO2010108368A1/zh
Priority to US13/202,966 priority patent/US20110307534A1/en
Priority to EP09842102.7A priority patent/EP2413251A4/en
Application granted granted Critical
Publication of CN101520805B publication Critical patent/CN101520805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1834—Distributed file systems implemented based on peer-to-peer networks, e.g. gnutella
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23116—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving data replication, e.g. over plural servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式文件系统及其文件处理方法，该分布式文件系统包括至少两个文件节点，每个节点均包括元数据服务器、文件访问客户端、文件访问服务器以及存储媒介，且每个节点之间可互相访问；相应的文件处理方法为：将不同文件分散存储于各个文件节点；对于每个节点，本节点用户通过本节点的文件访问客户端先在本节点内访问所需文件的元数据/有效数据，若未在本节点内访问到，再通过文件访问客户端到其他节点上访问。本发明有效地解决了在大量用户并发访问热点数据时元数据服务器容易成为性能瓶颈的问题；并且通过数据块调度、数据块老化等文件处理方法，可以最大限度地释放了某些文件节点的存储空间，使得其利用率大大提高。

Description

一种分布式文件系统及其文件处理方法 
技术领域
本发明涉及数据存储技术领域，尤其涉及一种分布式文件系统及其文件处理方法。 
背景技术
随着互联网及多媒体产业的迅猛发展，各种存储技术及存储系统也得到了飞速发展。这些存储系统为海量的互联网信息及多媒体数据信息提供方便、快速、高效的存储及访问服务。 
目前的存储系统主要分为两种，一种是商用磁阵，如SAN(StorageArea Network，存储区域网络)，NAS(Network Attached Storage，网络附加存储)等；另一种是使用普通或商用磁盘，通过分布式文件系统对这些磁盘进行管理。商用磁阵的稳定性、可靠性、访问速度等都能得到保障，但存在成本高、可定制性差等缺点；而分布式文件系统由于大多是由厂商自主研发，且多采用普通硬盘作为存储媒介，所以在成本、可定制性、易维护性等方面都能得到保障，目前有不少厂商都采用这种方式来构建自己的存储系统。 
分布式文件系统中一般只有一个元数据服务器，负责管理整个系统中的目录/文件名以及文件数据块(根据具体实现可能不同)等元数据。客户端对文件系统的访问都涉及到对元数据的操作，即客户端与元数据服务器之间为多对一的关系，因此，元数据服务器很容易成为整个系统的性能瓶颈；在IPTV(交互式网络电视)等容易形成热点的应用场景中，大量用户同时并发访问某些内容时，此问题尤为明显。 
发明内容
本发明所要解决的技术问题是提供一种分布式文件系统，以及该分布式文件系统的文件处理方法，使得大量用户能够顺畅得同时并发地访 问存储于系统中的文件，提高整个系统的性能。 
为解决上述技术问题，本发明采用以下解决方案： 
一种分布式文件系统，包括至少两个文件节点，每个文件节点均包括元数据服务器、文件访问客户端、文件访问服务器以及存储媒介； 
所述元数据服务器，用于管理本节点所存储文件的元数据； 
所述文件访问客户端，用于为本节点用户提供调用接口，向本节点或者其他节点的元数据服务器中的元数据进行读写操作，以及根据元数据向本节点或者其他节点的文件访问服务器发送读写相应有效数据的请求； 
所述文件访问服务器，用于响应本节点或者其他节点的文件访问客户端的读写有效数据的请求，根据元数据服务器中的元数据从本节点的存储媒介中读取相应的有效数据并返回给文件访问客户端； 
所述存储媒介，用于存储本节点内所存储文件的有效数据。 
上述分布式文件系统还包括配置单元，用以配置本分布式文件系统中各个文件节点之间的依赖关系表并将其下发给各个文件节点，供文件访问客户端在本节点内未访问到所需文件的元数据/有效数据时查看，以确定所需文件所在的文件节点。 
上述分布式文件系统中，所述每个节点还包括广播单元，用于在本节点的文件访问客户端在本节点内未访问到所需文件的元数据/有效数据时，向其他节点的文件访问客户端发送广播消息，以询问对方是否存储有本节点用户所需文件，根据对方的回复确定本节点用户所需文件所在的文件节点并通知本节点的文件访问客户端。 
上述分布式文件系统中，所述元数据服务器，还用于预先设置访问热点值；并对本节点用户对未存储于本节点的文件的有效数据的访问次数进行计数，通过本节点的文件访问客户端将其中被访问次数超过所述访问热点值的有效数据从其他节点拷贝到本地再通过本节点的文件访问服务器将其写入本节点的存储媒介中，同时在本元数据服务器中创建 该有效数据相应的元数据。 
上述分布式文件系统中，所述元数据服务器，还用于预先设置访问最低值及空间利用率阈值；并对本节点用户针对存储于本节点的文件的有效数据的访问次数进行计数，在本节点的存储媒介的空间利用率超过所述空间利用率阀值时，通知本节点的存储媒介删除其中存储的被访问次数低于所述访问最低值的有效数据，同时删除本元数据服务器中被访问次数低于所述访问最低值的有效数据对应的元数据。 
一种分布式文件系统的文件处理方法，所述分布式文件系统包括至少两个文件节点，每个文件节点均包括元数据服务器、文件访问客户端、文件访问服务器、存储媒介； 
所述文件处理方法包括： 
(1)将不同文件分散存储于各个文件节点； 
(2)对于每个节点，本节点用户通过本节点的文件访问客户端先在本节点内访问所需文件的元数据/有效数据，若未在本节点内访问到所需文件的元数据/有效数据，再通过本节点文件访问客户端到其他节点上访问。 
上述文件处理方法中，所述步骤(2)之前还包括：配置本分布式文件系统中各个节点之间的依赖关系表，并将该依赖关系表下发给各个节点； 
所述步骤(2)中，对于每个节点，若本节点用户未在本节点内访问到所需文件的元数据/有效数据，则通过本节点文件访问客户端查看所述依赖关系表以确定存储所需文件的文件节点，之后通过本节点文件访问客户端直接到该节点上访问所需文件的元数据/有效数据。 
上述文件处理方法中，所述步骤(2)中，对于每个节点，若本节点用户未在本节点内访问到所需文件的元数据/有效数据，则向其他所有节点发送广播消息以询问对方是否存储有所需文件，并根据对方的回复确定本节点用户所需文件所在的文件节点，然后通过本节点文件访问客 户端直接到该节点上访问所需文件的元数据/有效数据。 
上述方法还包括： 
预先设置访问热点值； 
对于每个节点，对本节点用户通过文件访问客户端对未存储于本节点的文件的有效数据的访问次数进行计数，通过本节点的文件访问客户端将其中被访问次数超过所述访问热点值的有效数据从其他节点拷贝到本地再将其写入本节点的存储媒介中，同时在本节点的元数据服务器中创建该有效数据相应的元数据。 
上述方法还包括： 
预先设置访问最低值及空间利用率阈值； 
对于每个节点，对本节点用户针对存储于本节点的文件的有效数据的访问次数进行计数，在本节点的存储媒介的空间利用率超过所述空间利用率阀值时，删除本节点的存储媒介中存储的被访问次数低于所述访问最低值的有效数据，同时删除本节点的元数据服务器中被访问次数低于所述访问最低值的有效数据对应的元数据。 
本发明具有以下有益效果： 
与现有的具有单一元数据服务器的分布式文件系统相比，本发明所提出的具有多元数据服务器的分布式文件系统，有效地解决了在大量用户并发访问热点数据时元数据服务器容易成为性能瓶颈的问题；并且通过数据块调度、数据块老化等文件处理方法，可以最大限度地释放了某些文件节点的存储空间，使得其利用率大大提高。 
附图说明
图1是本发明的分布式文件系统架构图； 
图2是本发明的分布式文件系统的元数据的访问方法流程图； 
图3是本发明的分布式文件系统的有效数据的访问方法流程图； 
图4是本发明实施例中的分布式文件系统架构图。 
下面结合附图和实施例对本发明作进一步的详细说明： 
如图1所示，本发明所提出的分布式文件系统包括多个文件节点(根据实际情况和需要可以将文件节点分为不同层次)，每个文件节点为其所面向的用户提供整个分布式文件系统内所有文件的访问操作； 
进一步地，每个文件节点的内部结构都一致，主要包括如下几部分： 
元数据服务器：负责管理本文件节点内所存储文件的文件名、数据块存储位置等元数据；并向本节点或者其他节点的文件访问客户端提供元数据写入和查询等操作；还用于实现数据块远程调度和老化数据块处理功能； 
文件访问客户端：用于为本节点用户提供调用接口，向本节点或者其他节点的元数据服务器中的元数据进行读写操作，以及根据元数据向本节点或者其他节点的文件访问服务器发送读写相应文件的有效数据的请求； 
文件访问服务器：负责与本节点内的存储媒介进行交互，进行有效数据的读写操作；响应文件访问客户端的数据读写请求，从存储媒介上读取数据并返回给文件访问客户端或者从文件访问客户端读取数据并写入存储媒介； 
存储媒介：一般为多个普通的IDE(Integrated Drive Electronics，集成设备电路)磁盘或SATA(Serial Advanced Technology Attachment，串行高级技术附件)磁盘，用于以数据块的形式分散存储文件的有效数据(文件的有效数据，即文件的实际内容)。 
上述系统中还包括配置单元，或者每个文件节点中还包括广播单元， 
配置单元，用以配置本分布式文件系统中各个文件节点之间的依赖关系表并将其下发给各个文件节点，供文件访问客户端在本节点内未访 问到所需文件的元数据/有效数据时查看，以确定所需文件所在的文件节点；其中，依赖关系表描述了各个节点之间的依赖关系，以明确在当前节点中未查找到所需的元数据/有效数据时应该到与该当前节点具有依赖关系的另一节点上去再次查找，例如：节点A和节点B具有依赖关系，若在节点A上找不到用户所需的元数据/有效数据，则直接到节点B上查找用户所需的元数据/有效数据。 
广播单元，用于在本节点的文件访问客户端在本节点内未访问到所需文件的元数据/有效数据时，向其他节点的文件访问客户端发送广播消息，以询问对方是否存储有本节点用户所需文件，根据对方的回复确定本节点用户所需文件所在的文件节点并通知本节点的文件访问客户端。 
综上，为了解决大量用户并发访问热点数据时，元数据服务器容易成为性能瓶颈的问题，本发明的分布式文件系统应用了多元数据服务器，且将每个节点的文件访问客户端和文件访问服务器增加了远端访问功能，这样不仅达到了每个节点面向的用户可访问到本系统内所有节点上存储的文件的基本要求，还大大减少了同时并发地对同一元数据服务器进行操作的用户数量。同时，本发明的分布式文件系统中还采用了数据块远程调度技术来加快文件的访问速度，采用老化数据块处理技术来节省每个节点的存储空间，这样使得分布式文件系统更加完善。 
上述系统的文件处理方法包括：文件的分布式存储方法、文件的访问方法、数据块远端调度方法以及老化数据块的处理方法；其中， 
i)文件的分布式存储方法为： 
将所有文件分布存储于各个文件节点，且在每个文件节点内每个文件的元数据通过元数据服务器来管理，每个文件的有效数据都被分割成一定数量的数据块分散存储于存储媒介中。 
ii)文件的访问方法为：该访问方法又包括访问元数据的方法和访问有效数据的方法，其中，请参阅图2，访问元数据的方法包括以下步 骤： 
201、对于每个节点，本节点的用户向本节点的文件访问客户端发送访问文件的元数据的请求； 
202、本节点的文件访问客户端从本节点的元数据服务器中查找相应的元数据，若找到，则执行步骤204；若未找到，则执行步骤203； 
203、本节点的文件访问客户端从其他节点的元数据服务器中查找相应的元数据； 
204、本节点的文件访问客户端将所查找到的元数据显示给用户。 
请参阅图3，访问有效数据的方法包括以下步骤： 
301、对于每个节点，本节点的用户向本节点的文件访问客户端发送访问文件的有效数据的请求； 
302、本节点的文件访问客户端在接收到用户访问文件的有效数据的请求时，先从本节点的元数据服务器中查找相应的元数据，若找到，则执行步骤303；若未找到，则执行步骤304； 
303、本节点的文件访问服务器根据所查找到的元数据从本节点的存储媒介中查找相应的有效数据，若找到，则执行步骤306；若未找到，则执行步骤304； 
304、本节点的文件访问客户端从其他节点的元数据服务器中查找相应的元数据； 
305、本节点的文件访问客户端根据从其他节点的元数据服务器中查找到的元数据向该节点的文件访问服务器发送读取相应有效数据的请求，该文件访问服务器根据元数据从本地的存储媒介中查找相应的有效数据并返回给本节点的文件访问客户端； 
306、本节点的文件访问客户端将所查找到的有效数据显示给用户。 
上图2和图3所示的方法中，至于存储本节点用户要访问的文件的 文件节点，可根据配置单元预先配置的各个节点之间的依赖关系表来确定，也可通过本节点的广播单元向其他节点广播询问的方式来确定。 
iii)数据块远端调度方法： 
对于每个节点，本节点的元数据服务器预先设置访问热点值，并对本节点用户通过文件访问客户端对未存储于本节点的文件的有效数据的访问次数进行计数，在有有效数据的访问次数超过访问热点值时，通过本节点的文件访问客户端将该文件的有效数据从其他节点拷贝到本地再将其写入本节点的存储媒介中，同时在本节点的元数据服务器中创建该有效数据相应的元数据。 
iv)老化数据块的处理方法： 
对于每个节点，本节点的元数据服务器预先设置访问最低值及空间利用率阈值，并对本节点用户针对存储于本节点的文件的有效数据的访问次数进行计数，在本节点的存储媒介的空间利用率超过所述空间利用率阀值时，通知本节点的存储媒介删除其中存储的被访问次数低于访问最低值的有效数据，同时删除本元数据服务器中被访问次数低于所述访问最低值的有效数据对应的元数据。 
下面将结合本系统在IPTV业务中的实际应用场景及附图对本发明的系统架构及文件处理方法进行更详细的说明。本实施例中的分布式系统架构如图4所示，文件处理方法如下所述： 
首先，在IPTV系统中发布一个新的片源，根据IPTV系统业务配置，该片源可能只发布在中心节点或区域中心节点上，即该片源的有效数据只保存在中心节点或区域中心节点中。发布过程为：在中心节点或区域中心节点上，管理员通过调用本文件节点内的文件访问客户端进行文件写入操作，将片源数据存储在本文件节点内的存储媒介中，同时在本文件节点内的元数据服务器中创建相应的元数据，至此片源发布完成。 
然后，中心节点或区域中心节点的用户点播上述片源时，直接从本节点内就可以访问到；而边缘节点上的用户点播该片源时，由于该片源 在边缘节点上未进行过发布，因此对应文件肯定不存在，通过文件访问客户端的远端访问功能(即边缘节点的文件访问客户端访问节点或区域中心节点的文件访问服务器，通过该文件访问服务器获取存储于访问节点或区域中心节点的存储媒介中的有效数据)向中心节点或区域中心节点请求并读取该文件的有效数据。 
如果边缘节点上有大量用户都来点播该片源，即该片源所对应的元数据及有效数据在一段时间内被多次访问到，那么边缘节点的文件访问客户端在检测到该信息后，通过数据块调度将该片源对应的有效数据从中心节点或区域中心节点拷贝到边缘节点并存储在边缘节点的存储媒介中。这样，后续用户在边缘节点上点播该片源时，就可直接在边缘节点内读取到有效数据，不需要从上级节点获取。 
本实施例中，为了节省存储空间，边缘节点上的文件访问客户端还根据一定的老化策略对本节点的存储媒介上存储的有效数据进行老化处理操作。 
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。 

Claims (10)

1.一种分布式文件系统，包括至少两个文件节点，每个文件节点均包括元数据服务器、文件访问客户端、文件访问服务器以及存储媒介；
所述元数据服务器，用于管理本节点所存储文件的元数据；
所述文件访问客户端，用于为本节点用户提供调用接口，向本节点或者其他节点的元数据服务器中的元数据进行读写操作，以及根据元数据向本节点或者其他节点的文件访问服务器发送读写相应有效数据的请求；
所述文件访问服务器，用于响应本节点或者其他节点的文件访问客户端的读写有效数据的请求，根据元数据服务器中的元数据从本节点的存储媒介中读取相应的有效数据并返回给文件访问客户端；
所述存储媒介，用于存储本节点内所存储文件的有效数据。
2.如权利要求1所述的分布式文件系统，其特征在于，所述分布式文件系统还包括配置单元，用以配置本分布式文件系统中各个文件节点之间的依赖关系表并将其下发给各个文件节点，供文件访问客户端在本节点内未访问到所需文件的元数据/有效数据时查看，以确定所需文件所在的文件节点。
3.如权利要求1所述的分布式文件系统，其特征在于，所述每个节点还包括广播单元，用于在本节点的文件访问客户端在本节点内未访问到所需文件的元数据/有效数据时，向其他节点的文件访问客户端发送广播消息，以询问对方是否存储有本节点用户所需文件，根据对方的回复确定本节点用户所需文件所在的文件节点并通知本节点的文件访问客户端。
4.如权利要求1至3任一所述的分布式文件系统，其特征在于，所述元数据服务器，还用于预先设置访问热点值；并对本节点用户对未存储于本节点的文件的有效数据的访问次数进行计数，通过本节点的文件访问客户端将其中被访问次数超过所述访问热点值的有效数据从其他节点拷贝到本地再通过本节点的文件访问服务器将其写入本节点的存储媒介中，同时在本元数据服务器中创建该有效数据相应的元数据。
5.如权利要求1至3任一所述的分布式文件系统，其特征在于，所述元数据服务器，还用于预先设置访问最低值及空间利用率阈值；并对本节点用户针对存储于本节点的文件的有效数据的访问次数进行计数，在本节点的存储媒介的空间利用率超过所述空间利用率阀值时，通知本节点的存储媒介删除其中存储的被访问次数低于所述访问最低值的有效数据，同时删除本元数据服务器中被访问次数低于所述访问最低值的有效数据对应的元数据。
6.一种分布式文件系统的文件处理方法，所述分布式文件系统包括至少两个文件节点，每个文件节点均包括元数据服务器、文件访问客户端、文件访问服务器、存储媒介；
所述文件处理方法包括：
(1)将不同文件分散存储于各个文件节点；
(2)对于每个节点，本节点用户通过本节点的文件访问客户端先在本节点内访问所需文件的元数据/有效数据，若未在本节点内访问到所需文件的元数据/有效数据，再通过本节点文件访问客户端到其他节点上访问。
7.如权利要求6所述的分布式文件系统的文件处理方法，其特征在于，所述步骤(2)之前还包括：配置本分布式文件系统中各个节点之间的依赖关系表，并将该依赖关系表下发给各个节点；
所述步骤(2)中，对于每个节点，若本节点用户未在本节点内访问到所需文件的元数据/有效数据，则通过本节点文件访问客户端查看所述依赖关系表以确定存储所需文件的文件节点，之后通过本节点文件访问客户端直接到该节点上访问所需文件的元数据/有效数据。
8.如权利要求6所述的分布式文件系统的文件处理方法，其特征在于，所述步骤(2)中，对于每个节点，若本节点用户未在本节点内访问到所需文件的元数据/有效数据，则向其他所有节点发送广播消息以询问对方是否存储有所需文件，并根据对方的回复确定本节点用户所需文件所在的文件节点，然后通过本节点文件访问客户端直接到该节点上访问所需文件的元数据/有效数据。
9.如权利要求6至8任一所述的分布式文件系统的文件处理方法，其特征在于，所述方法还包括：
预先设置访问热点值；
对于每个节点，对本节点用户通过文件访问客户端对未存储于本节点的文件的有效数据的访问次数进行计数，通过本节点的文件访问客户端将其中被访问次数超过所述访问热点值的有效数据从其他节点拷贝到本地再将其写入本节点的存储媒介中，同时在本节点的元数据服务器中创建该有效数据相应的元数据。
10.如权利要求6至8任一所述的分布式文件系统的文件处理方法，其特征在于，所述方法还包括：
预先设置访问最低值及空间利用率阈值；
对于每个节点，对本节点用户针对存储于本节点的文件的有效数据的访问次数进行计数，在本节点的存储媒介的空间利用率超过所述空间利用率阀值时，删除本节点的存储媒介中存储的被访问次数低于所述访问最低值的有效数据，同时删除本节点的元数据服务器中被访问次数低于所述访问最低值的有效数据对应的元数据。
CN2009101064118A 2009-03-25 2009-03-25 一种分布式文件系统及其文件处理方法 Active CN101520805B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2009101064118A CN101520805B (zh) 2009-03-25 2009-03-25 一种分布式文件系统及其文件处理方法
PCT/CN2009/075156 WO2010108368A1 (zh) 2009-03-25 2009-11-26 支持数据块调度的分布式文件系统及其文件处理方法
US13/202,966 US20110307534A1 (en) 2009-03-25 2009-11-26 Distributed file system supporting data block dispatching and file processing method thereof
EP09842102.7A EP2413251A4 (en) 2009-03-25 2009-11-26 DISTRIBUTED FILE SYSTEM OF SUPPORTING DATA BLOCKS AND FILE WORKING PROCESSES THEREFOR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009101064118A CN101520805B (zh) 2009-03-25 2009-03-25 一种分布式文件系统及其文件处理方法

Publications (2)

Publication Number Publication Date
CN101520805A CN101520805A (zh) 2009-09-02
CN101520805B true CN101520805B (zh) 2011-05-11

Family

ID=41081394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101064118A Active CN101520805B (zh) 2009-03-25 2009-03-25 一种分布式文件系统及其文件处理方法

Country Status (4)

Country Link
US (1) US20110307534A1 (zh)
EP (1) EP2413251A4 (zh)
CN (1) CN101520805B (zh)
WO (1) WO2010108368A1 (zh)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520805B (zh) * 2009-03-25 2011-05-11 中兴通讯股份有限公司 一种分布式文件系统及其文件处理方法
CN101539873B (zh) * 2009-04-15 2011-02-09 成都市华为赛门铁克科技有限公司 数据恢复的方法、数据节点及分布式文件系统
CN101699436B (zh) * 2009-10-20 2015-09-16 中兴通讯股份有限公司 资源管理的方法、装置和系统
US8874526B2 (en) 2010-03-31 2014-10-28 Cloudera, Inc. Dynamically processing an event using an extensible data model
US9317572B2 (en) * 2010-03-31 2016-04-19 Cloudera, Inc. Configuring a system to collect and aggregate datasets
US9081888B2 (en) 2010-03-31 2015-07-14 Cloudera, Inc. Collecting and aggregating log data with fault tolerance
US9082127B2 (en) 2010-03-31 2015-07-14 Cloudera, Inc. Collecting and aggregating datasets for analysis
US9454441B2 (en) 2010-04-19 2016-09-27 Microsoft Technology Licensing, Llc Data layout for recovery and durability
US8438244B2 (en) 2010-04-19 2013-05-07 Microsoft Corporation Bandwidth-proportioned datacenters
US8533299B2 (en) 2010-04-19 2013-09-10 Microsoft Corporation Locator table and client library for datacenters
US9813529B2 (en) 2011-04-28 2017-11-07 Microsoft Technology Licensing, Llc Effective circuits in packet-switched networks
US8996611B2 (en) 2011-01-31 2015-03-31 Microsoft Technology Licensing, Llc Parallel serialization of request processing
US9170892B2 (en) 2010-04-19 2015-10-27 Microsoft Technology Licensing, Llc Server failure recovery
US8181061B2 (en) 2010-04-19 2012-05-15 Microsoft Corporation Memory management and recovery for datacenters
US8447833B2 (en) 2010-04-19 2013-05-21 Microsoft Corporation Reading and writing during cluster growth phase
CN101895564B (zh) * 2010-06-08 2014-07-16 中兴通讯股份有限公司 分布式文件系统中文件资源定位的方法、系统及装置
US8880592B2 (en) 2011-03-31 2014-11-04 Cloudera, Inc. User interface implementation for partial display update
US8843502B2 (en) 2011-06-24 2014-09-23 Microsoft Corporation Sorting a dataset of incrementally received data
CN102523279B (zh) * 2011-12-12 2015-09-23 深圳市安云信息科技有限公司 一种分布式文件系统及其热点文件存取方法
US20130159008A1 (en) * 2011-12-20 2013-06-20 First Data Corporation Systems and methods for verifying healthcare visits
CN102404411A (zh) * 2011-12-23 2012-04-04 创新科存储技术有限公司 云存储系统的数据同步方法
CN102523301A (zh) * 2011-12-26 2012-06-27 深圳市创新科信息技术有限公司 一种云存储中在客户端缓存数据的方法
CN102546623A (zh) * 2011-12-30 2012-07-04 成都市华为赛门铁克科技有限公司 加速提供互联网应用资源的方法、资源管理服务器及系统
US9128949B2 (en) 2012-01-18 2015-09-08 Cloudera, Inc. Memory allocation buffer for reduction of heap fragmentation
US9172608B2 (en) 2012-02-07 2015-10-27 Cloudera, Inc. Centralized configuration and monitoring of a distributed computing cluster
US9405692B2 (en) 2012-03-21 2016-08-02 Cloudera, Inc. Data processing performance enhancement in a distributed file system
US9338008B1 (en) 2012-04-02 2016-05-10 Cloudera, Inc. System and method for secure release of secret information over a network
US9842126B2 (en) 2012-04-20 2017-12-12 Cloudera, Inc. Automatic repair of corrupt HBases
CN102708165B (zh) * 2012-04-26 2016-04-13 华为软件技术有限公司 分布式文件系统中的文件处理方法及装置
KR101258387B1 (ko) * 2012-05-24 2013-04-30 이경아 디지털 에이징 시스템 및 그 운용방법
US8965940B2 (en) * 2012-07-20 2015-02-24 Microsoft Technology Licensing, Llc Imitation of file embedding in a document
US9778856B2 (en) 2012-08-30 2017-10-03 Microsoft Technology Licensing, Llc Block-level access to parallel storage
CN103678360A (zh) * 2012-09-13 2014-03-26 腾讯科技（深圳）有限公司 一种分布式文件系统的数据存储方法和装置
US9753954B2 (en) 2012-09-14 2017-09-05 Cloudera, Inc. Data node fencing in a distributed file system
CN103677752B (zh) * 2012-09-19 2017-02-08 腾讯科技（深圳）有限公司 基于分布式数据的并发处理方法和系统
CN102890716B (zh) * 2012-09-29 2017-08-08 南京中兴新软件有限责任公司 分布式文件系统和分布式文件系统的数据备份方法
CN103036948B (zh) * 2012-11-21 2015-12-02 北京航空航天大学 网络文件处理方法、执行节点、软件即服务SaaS平台
CN103078944B (zh) * 2013-01-08 2016-04-06 赛凡信息科技（厦门）有限公司 基于分布式对称文件系统的数据中心架构
US9342557B2 (en) 2013-03-13 2016-05-17 Cloudera, Inc. Low latency query engine for Apache Hadoop
US11422907B2 (en) 2013-08-19 2022-08-23 Microsoft Technology Licensing, Llc Disconnected operation for systems utilizing cloud storage
US10749772B1 (en) * 2013-09-16 2020-08-18 Amazon Technologies, Inc. Data reconciliation in a distributed data storage network
US9477731B2 (en) 2013-10-01 2016-10-25 Cloudera, Inc. Background format optimization for enhanced SQL-like queries in Hadoop
CN103530387A (zh) * 2013-10-22 2014-01-22 浪潮电子信息产业股份有限公司 一种hdfs针对小文件的改进方法
US9934382B2 (en) 2013-10-28 2018-04-03 Cloudera, Inc. Virtual machine image encryption
US9690671B2 (en) 2013-11-01 2017-06-27 Cloudera, Inc. Manifest-based snapshots in distributed computing environments
CN104660643A (zh) * 2013-11-25 2015-05-27 南京中兴新软件有限责任公司 请求响应方法、装置及分布式文件系统
CN103793475B (zh) * 2014-01-06 2017-06-06 无锡城市云计算中心有限公司 一种分布式文件系统数据迁移的方法
US9798631B2 (en) 2014-02-04 2017-10-24 Microsoft Technology Licensing, Llc Block storage by decoupling ordering from durability
US9274710B1 (en) 2014-03-31 2016-03-01 Amazon Technologies, Inc. Offset-based congestion control in storage systems
US9779015B1 (en) 2014-03-31 2017-10-03 Amazon Technologies, Inc. Oversubscribed storage extents with on-demand page allocation
US10264071B2 (en) 2014-03-31 2019-04-16 Amazon Technologies, Inc. Session management in distributed storage systems
US9294558B1 (en) 2014-03-31 2016-03-22 Amazon Technologies, Inc. Connection re-balancing in distributed storage systems
US9602424B1 (en) 2014-03-31 2017-03-21 Amazon Technologies, Inc. Connection balancing using attempt counts at distributed storage systems
US9495478B2 (en) 2014-03-31 2016-11-15 Amazon Technologies, Inc. Namespace management in distributed storage systems
US9772787B2 (en) 2014-03-31 2017-09-26 Amazon Technologies, Inc. File storage using variable stripe sizes
US10372685B2 (en) 2014-03-31 2019-08-06 Amazon Technologies, Inc. Scalable file storage service
US9569459B1 (en) 2014-03-31 2017-02-14 Amazon Technologies, Inc. Conditional writes at distributed storage services
US9519510B2 (en) 2014-03-31 2016-12-13 Amazon Technologies, Inc. Atomic writes for multiple-extent operations
US9449008B1 (en) 2014-03-31 2016-09-20 Amazon Technologies, Inc. Consistent object renaming in distributed systems
CN105225683B (zh) * 2014-06-18 2019-11-05 中兴通讯股份有限公司 音频播放方法及装置
CN104111804B (zh) * 2014-06-27 2017-10-31 暨南大学 一种分布式文件系统
US9747333B2 (en) 2014-10-08 2017-08-29 Cloudera, Inc. Querying operating system state on multiple machines declaratively
CN104580437A (zh) * 2014-12-30 2015-04-29 创新科存储技术（深圳）有限公司 一种云存储客户端及其高效数据访问方法
US10108624B1 (en) 2015-02-04 2018-10-23 Amazon Technologies, Inc. Concurrent directory move operations using ranking rules
US10346367B1 (en) 2015-04-30 2019-07-09 Amazon Technologies, Inc. Load shedding techniques for distributed services with persistent client connections to ensure quality of service
US9860317B1 (en) 2015-04-30 2018-01-02 Amazon Technologies, Inc. Throughput throttling for distributed file storage services with varying connection characteristics
CN105045938A (zh) * 2015-09-17 2015-11-11 浪潮(北京)电子信息产业有限公司 一种元数据并发访问方法及系统
US10474636B2 (en) 2016-03-25 2019-11-12 Amazon Technologies, Inc. Block allocation for low latency file systems
US10545927B2 (en) 2016-03-25 2020-01-28 Amazon Technologies, Inc. File system mode switching in a distributed storage service
US10140312B2 (en) 2016-03-25 2018-11-27 Amazon Technologies, Inc. Low latency distributed storage service
CN106251180A (zh) * 2016-08-12 2016-12-21 福建中金在线信息科技有限公司 一种高并发量广告投放网站的方法
CN106354433B (zh) * 2016-08-30 2019-09-10 北京航空航天大学 分布式内存存储系统的热点数据挖掘方法及装置
CN107992491A (zh) * 2016-10-26 2018-05-04 中国移动通信有限公司研究院 一种分布式文件系统、数据访问和数据存储的方法及装置
US10740015B2 (en) * 2017-04-06 2020-08-11 Apple Inc. Optimized management of file system metadata within solid state storage devices (SSDs)
CN107291876A (zh) * 2017-06-19 2017-10-24 华中科技大学 一种分布式数据管理方法
CN107609140A (zh) * 2017-09-20 2018-01-19 郑州云海信息技术有限公司 一种分布式文件系统目录文件访问的方法及装置
CN108846136A (zh) * 2018-07-09 2018-11-20 郑州云海信息技术有限公司 一种分布式集群的优化方法、装置、系统及可读存储介质
CN109302448B (zh) * 2018-08-27 2020-10-09 华为技术有限公司 一种数据处理方法及装置
CN109359096A (zh) * 2018-09-14 2019-02-19 佛山科学技术学院 一种基于区块链存储的数字资产安全共享方法及装置
CN110365783B (zh) * 2019-07-18 2022-10-21 深圳市网心科技有限公司 文件部署方法及装置、网络节点及存储介质
CN110879743B (zh) * 2019-11-20 2023-07-18 深圳市网心科技有限公司 基于边缘计算环境的任务剔除方法、设备、系统及介质
CN111212138B (zh) * 2019-12-31 2022-11-22 曙光信息产业(北京)有限公司 一种跨站点存储系统及数据信息访问方法
CN111597259B (zh) * 2020-05-12 2023-04-28 北京爱奇艺科技有限公司 数据存储系统、方法、装置、电子设备及存储介质
CN113326003B (zh) * 2021-05-25 2024-03-26 北京计算机技术及应用研究所 一种分布式存储系统元数据访问智能加速方法
CN117149708B (zh) * 2023-08-31 2024-06-04 中电云计算技术有限公司 一种文件访问方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7237027B1 (en) * 2000-11-10 2007-06-26 Agami Systems, Inc. Scalable storage system
CN100338607C (zh) * 2004-12-02 2007-09-19 中国科学院计算技术研究所 一种组织和访问分布式文件系统目录的方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4982651B2 (ja) * 2000-02-04 2012-07-25 リアルネットワークス・インコーポレイテッド 分散型メディアネットワーク及びメタデータサーバを含んだシステム
US6947434B2 (en) * 2000-11-16 2005-09-20 Telefonaktiebolaget Lm Ericsson (Publ) Subgroup multicasting in a communications network
US20020124137A1 (en) * 2001-01-29 2002-09-05 Ulrich Thomas R. Enhancing disk array performance via variable parity based load balancing
US7640582B2 (en) * 2003-04-16 2009-12-29 Silicon Graphics International Clustered filesystem for mix of trusted and untrusted nodes
US7054910B1 (en) * 2001-12-20 2006-05-30 Emc Corporation Data replication facility for distributed computing environments
US7406473B1 (en) * 2002-01-30 2008-07-29 Red Hat, Inc. Distributed file system using disk servers, lock servers and file servers
US6895413B2 (en) * 2002-03-22 2005-05-17 Network Appliance, Inc. System and method for performing an on-line check of a file system
FI20030470A0 (fi) * 2003-03-31 2003-03-31 Jorma Kullervo Romunen Pienjänniteverkon viestinsiirtojärjestelmän lähetin etäyksiköllä
US7610348B2 (en) * 2003-05-07 2009-10-27 International Business Machines Distributed file serving architecture system with metadata storage virtualization and data access at the data server connection speed
US7603442B2 (en) * 2003-06-20 2009-10-13 Microsoft Corporation Method and system for maintaining service dependency relationships in a computer system
JP4029864B2 (ja) * 2003-08-06 2008-01-09 コニカミノルタビジネステクノロジーズ株式会社 データ管理サーバ、データ管理方法、およびコンピュータプログラム
JP2005148868A (ja) * 2003-11-12 2005-06-09 Hitachi Ltd ストレージ装置におけるデータのプリフェッチ
US20050262246A1 (en) * 2004-04-19 2005-11-24 Satish Menon Systems and methods for load balancing storage and streaming media requests in a scalable, cluster-based architecture for real-time streaming
US7797333B1 (en) * 2004-06-11 2010-09-14 Seisint, Inc. System and method for returning results of a query from one or more slave nodes to one or more master nodes of a database system
US8510283B2 (en) * 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US8051425B2 (en) * 2004-10-29 2011-11-01 Emc Corporation Distributed system with asynchronous execution systems and methods
CA2590965C (en) * 2004-12-24 2016-05-03 Aspera, Inc. Bulk data transfer
US20070011214A1 (en) * 2005-07-06 2007-01-11 Venkateswararao Jujjuri Oject level adaptive allocation technique
US20080005159A1 (en) * 2006-06-28 2008-01-03 International Business Machines Corporation Method and computer program product for collection-based iterative refinement of semantic associations according to granularity
US20080005195A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Versioning synchronization for mass p2p file sharing
US8743778B2 (en) * 2006-09-06 2014-06-03 Devicescape Software, Inc. Systems and methods for obtaining network credentials
EP2062216A4 (en) * 2006-09-11 2013-01-02 Catalina Marketing Corp SYSTEM AND METHOD FOR PROVIDING SECURE ELECTRONIC COUPLINGS TO WIRELESS ACCESS POINT USERS
JP2008305021A (ja) * 2007-06-05 2008-12-18 Canon Inc 情報処理装置及びアプリケーション管理方法
US8918490B1 (en) * 2007-07-12 2014-12-23 Oracle America Inc. Locality and time based dependency relationships in clusters
WO2009032711A1 (en) * 2007-08-29 2009-03-12 Nirvanix, Inc. Policy-based file management for a storage delivery network
US20090144388A1 (en) * 2007-11-08 2009-06-04 Rna Networks, Inc. Network with distributed shared memory
KR100977159B1 (ko) * 2007-12-14 2010-08-20 한국전자통신연구원 데이터 서버 주소의 변경과 디스크 이동에 투명한 파일메타데이터 관리 방법 및 시스템
CN101520805B (zh) * 2009-03-25 2011-05-11 中兴通讯股份有限公司 一种分布式文件系统及其文件处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7237027B1 (en) * 2000-11-10 2007-06-26 Agami Systems, Inc. Scalable storage system
CN100338607C (zh) * 2004-12-02 2007-09-19 中国科学院计算技术研究所 一种组织和访问分布式文件系统目录的方法

Also Published As

Publication number Publication date
US20110307534A1 (en) 2011-12-15
EP2413251A4 (en) 2015-05-06
CN101520805A (zh) 2009-09-02
EP2413251A1 (en) 2012-02-01
WO2010108368A1 (zh) 2010-09-30

Similar Documents

Publication Publication Date Title
CN101520805B (zh) 一种分布式文件系统及其文件处理方法
CN101763437B (zh) 高速缓冲存储实现方法及装置
US8015146B2 (en) Methods and systems for assisting information processing by using storage system
US20160364407A1 (en) Method and Device for Responding to Request, and Distributed File System
KR100825721B1 (ko) 객체 기반 스토리지 시스템에서 사용자 파일 관리자 내의시간 기반 캐쉬 일관성 유지 시스템 및 방법
CN104978362B (zh) 分布式文件系统的数据迁移方法、装置及元数据服务器
CN103067461B (zh) 一种文件的元数据管理系统以及元数据管理方法
CN104679665A (zh) 一种实现分布式文件系统块存储的方法及系统
US20050021915A1 (en) Managing storage of items across a network of heterogeneous storage devices
CN109522283B (zh) 一种重复数据删除方法及系统
CN103488685B (zh) 一种基于分布式存储系统的碎片文件存储方法
TW201140430A (en) Allocating storage memory based on future use estimates
CN110603518B (zh) 复合聚合架构
CN103037004A (zh) 云存储系统操作的实现方法和装置
CN107958079A (zh) 聚合文件删除方法、系统、装置及可读存储介质
WO2020125630A1 (zh) 文件读取
CN104079600B (zh) 文件存储方法、装置、访问客户端及元数据服务器系统
US20100161585A1 (en) Asymmetric cluster filesystem
US20050193021A1 (en) Method and apparatus for unified storage of data for storage area network systems and network attached storage systems
WO2024169280A1 (zh) 元数据管理方法、装置、设备、服务器及可读存储介质
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及系统
CN102195936A (zh) 多媒体文件的存储方法及系统、读取方法及系统
CN100473023C (zh) Iptv系统冗余数据的清除方法
CN105207993A (zh) 一种cdn中数据的访问、调度方法和系统
CN116561358A (zh) 一种基于hbase的3D场景数据文件统一存储与检索方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant