CN101375241A - 集群文件系统中的有效数据管理 - Google Patents

集群文件系统中的有效数据管理 Download PDF

Info

Publication number
CN101375241A
CN101375241A CNA2007800038350A CN200780003835A CN101375241A CN 101375241 A CN101375241 A CN 101375241A CN A2007800038350 A CNA2007800038350 A CN A2007800038350A CN 200780003835 A CN200780003835 A CN 200780003835A CN 101375241 A CN101375241 A CN 101375241A
Authority
CN
China
Prior art keywords
specific data
data sets
node
stored
section point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800038350A
Other languages
English (en)
Inventor
普拉迪普·文森特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN101375241A publication Critical patent/CN101375241A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明涉及一种在集群文件系统中管理数据组的方法和系统。接收来自客户机的对存储在集群中的多个节点之一中的特定数据组执行文件系统操作的请求。通过主干交换机从第一节点取回该特定数据组并存储在第二节点的高速缓存中。对该特定数据组执行所请求的文件系统操作，并在完成所请求的操作时修改元数据以指示该特定数据组存储在所述第二节点中。该特定数据组不通过主干交换机返回到第一节点。

Description

集群文件系统中的有效数据管理
技术领域
本发明一般地涉及集群文件系统中数字信息的存储，特别地，涉及对节点间带宽的有效使用。
背景技术
集群文件系统允许多服务器使用到数据存储的独立路径访问相同的文件。一组独立节点通过主干交换机互相连接并作为一个系统一起工作。使用公共文件系统路径为用户(客户机)提供对位于系统中存储设备上的所有文件的访问。在一个集群文件系统中，每个节点都被配置成两个虚拟服务器，一个前端服务器和一个后端服务器。用元数据维护数据组在不同服务器上的位置。客户机对特定数据组的操作请求可以由集群中的任一节点接收。通过访问元数据，可以将特定的数据组定位在虚拟服务器之一上(或者如果节点没有配置虚拟服务器则在节点之一上)。然后通过接收节点将写数据典型地存储在该节点的高速缓存中。操作一完成，就将修改的数据组从高速缓存中清除，并发送到其原始位置。如果原始位置是在与接收节点不同的节点的虚拟服务器上，则须经过主干交换机传送数据组，从而消耗主干资源和带宽。
发明内容
本发明要解决的技术问题是提供一种客户机可以通过网络访问的集群文件系统。该文件系统包括多个包含在集群中的文件系统节点，包括第一节点和第二节点、将第一节点和第二节点互相连接的主干交换机以及用来标识存储数据组的节点的元数据结构。第一节点包含第一高速缓存和数据组控制器。如果特定数据组存储在第二节点上，则将数据组控制器配置为接收来自客户机对该特定数据组执行文件系统操作的请求，访问元数据结构以确定存储了特定数据组的节点，通过主干交换机从第二节点取回文件系统操作针对的特定数据组的第一部分并将该特定数据组的余下部分保留在第二节点中，将取回的第一部分存储于第一高速缓存中并在文件系统操作完成时修改元数据结构以指示至少该特定数据组的第一部分存储在第一节点中，在此该第一部分不通过主干交换机返回第二节点。
本发明还提供一种管理集群文件系统中的数据组的方法。该方法包括接收来自客户机的对存储在集群中的多个节点之一中的特定数据组执行文件系统操作的请求，通过主干交换机从第一节点取回特定数据组，将取回的特定数据组存储于第二节点的高速缓存中，执行所请求的对特定数据组的文件系统操作，并在完成所请求的操作时修改元数据以指示该特定数据组存储在第二节点中，在此该特定数据组不通过主干交换机返回第一节点。
本发明还提供适合于可编程计算机并具有用于在集群文件系统中管理数据组的计算机可读编码的计算机可读媒介的计算机程序产品。计算机可读编码包含用于以下操作的指令：接收来自客户机的对存储在集群的多个节点之一中的特定数据组执行文件系统操作的请求，通过主干交换机从第一节点取回特定数据组，将取回的特定数据组存储于第二节点的高速缓存中，对该特定数据组执行所请求的文件系统操作，并在完成所请求的操作时修改元数据以指示该特定数据组存储在第二节点中，在此该特定数据组不通过主干交换机返回第一节点。
本发明还提供多节点集群文件系统中的文件系统节点。该节点包括：通过主干交换机将该节点与至少一个第二节点互相连接的装置、高速缓存、指示存储了数据组的节点的元数据结构、接收来自客户机的对特定数据组执行文件系统操作的请求的装置、访问元数据结构以确定存储了特定数据组的节点的装置、通过主干交换机取回文件系统操作所针对的特定数据组的第一部分并在该特定数据组存储在第二节点上时将该特定数据组的余下部分保留在第二节点中的装置、将取回的第一部分存储于第一高速的装置以及在完成文件系统操作时修改元数据结构以指示至少特定数据组的第一部分存储在第一节点中的装置，在此该第一部分不通过主干交换机返回第二节点。
附图说明
图1示出了可用于实施本发明的集群文件系统的框图；
图2示出了图1所示的集群文件系统的节点的一个配置的框图；
图3A至3C示出了本发明集群文件系统一个实施例的顺序功能框图，其中整个数据组的位置从一个节点转换到另一个节点；
图4示出了图3A至3C所示的本发明实施例的方法的流程图；
图5A至5C示出了初始数据组处理的顺序功能框图，其中数据组可以被分为子组；
图6示出了图5A至5C所示的本发明实施例的方法的流程图；
图7A和7B接续图5A至5C的顺序功能框图，并解释本发明集群文件系统的实施例，其中可以在一个节点中重新组合子组；
图8示出了图7A和7B所示的本发明实施例的方法的流程图；
图9接续图5A和5B的顺序功能框图，并解释了本发明的集群文件系统的另一个实施例，其中子组的最终位置在两个节点之间分离；
图10示出了图9所示的本发明的实施例的方法的流程图；
图11A至11C接续图5A和5B的顺序功能框图并解释了本发明的一个实施例，其中在主干交换机活动降低期间子组在其原始节点位置重新组合；以及
图12示出了图11A至11C所示的本发明实施例的方法的流程图。
具体实施方式
图1示出了可用于实施本发明的集群文件系统100的框图。系统100包括客户机110和多个节点。为清楚起见，示出并描述了两个节点120和200；然而，系统100可以包括另外的节点并且本发明的范围和操作不依赖于节点的数量。主干交换机130耦接节点200和120(在此分别称为节点1和节点2)，使得数据组能够在节点200和120之间传送。
图2示出了节点1 200的一个配置的框图；值得推荐的是，其它节点也具有相同或相似的配置。节点1 200被配置为包括两个虚拟服务器:前端负荷平衡服务器202和后端数据组存储服务器204。前端服务器202接收来自客户机的文件系统请求，确定要将该请求路由到的合适的节点并决定何时以及如何清除(flush)高速缓存。后端服务器204管理数据组并为前端服务器提供锁定/租用(locking/leasing)机制。另外，节点1200包括内存高速缓存210、数据组控制器220和数据组元数据存储器230。元数据230对存储在集群文件系统100中的每个数据组标识其在虚拟服务器(如果节点是这样配置的)或在节点(如果没有使用虚拟服务器)中的位置。
现在结合图3A至3C的框图和图4的流程图来说明本发明的一个实施例的操作。当客户机110发送文件系统请求(步骤400)、例如对特定数据组的写操作时，该请求由节点200、120之一接收。为了描述的目的，假设由节点1 200接收该请求(步骤402)。写数据或修改的数据被存储在高速缓存210中(图3A；步骤404)。数据组控制器220由元数据230确定要被执行操作的特定数据的位置(步骤406)。例如，元数据230可以指示特定数据组是数据组1 122并位于节点2 120中(图3B)。
在通常的集群文件系统中，在完成所请求的操作时，高速缓存210将被清除，并且修改的数据组122将通过主干交换机130被传送到节点2 120进行存储。然而，为了降低通过主干交换机122的带宽使用，在图3A至3C所示的本发明实施例中，清除高速缓存210(步骤408)，并且将修改的数据组122存储在节点1 200中(步骤410)。更新元数据230(步骤412)以反映新的位置(图3C)。
图5A至5C以及图6相应的流程图解释了本发明另一个实施例中初始数据组的处理过程。如先前的实施例，当客户机110发送文件系统请求(步骤600)时，该请求由节点200、120之一接收。为了描述的目的，仍假设该请求被节点1200接收(步骤602)。写或修改的数据被存储在高速缓存210中(图5A；步骤604)。数据组控制器220由元数据230确定要被执行操作的数据组的位置(步骤604)。例如，元数据230可以指示特定数据组是数据组2 124并且存储在节点2 120中(图5B)。如果数据组2 124相对总共的写大小来说是较大的，则可以将其分为子组(图5C；步骤608)。例如，数据组2 124的大小可以是8GB，但是被请求的文件操作仅适合6GB。这样可以将数据组2 124分为四个在节点1 200中的高速缓存210中的子组DS-2A至DS-2D(图5C)。一旦在高速缓存210中创建了子组DS-2A至DS-2D，就可以完成所请求的文件系统操作(步骤610)。
本发明按照根据所请求的文件系统操作对子组的处理提供了若干不同的对子组的处理的替代方式。图7A和7B以及图8的流程图解释了一种这样的替代方式。在此不是将修改后的子组DS-2A至DS-2C通过主干交换机130从节点1 200传送到节点2 120，而是更有效地使用主干资源将数据组2124的子组DS-2A至DS-2D重新组合(图7A；步骤800)并将其存储在节点1 200中(步骤802)。然后更新元数据230以反映数据组2124现在存储在节点1 200中(步骤804；图7B)。
图9和图10的流程图解释了另一种替代方式。在此不是将修改的子组DS-2A至DS-2C通过主干交换机130从节点1 200传送到节点2 120(由此使用主干带宽和资源)，而是将修改的子组DS-2A至DS-2C与余下的子组DS-2D分离(步骤1000)并然后将它们从高速缓存210中清除到节点1 200中的存储器中(步骤1002)，而另一子组DS-2D则保留在节点2 120中。更新元数据230以反映子组DS-2A至DS-2C的新位置以及子组DS-2D的位置(步骤1004)。
在图11A和11B的框图以及图12的流程图描述的本发明的另一实施例中，如果子组DS-2A至DS-2C已经如图9和10所描述的存储在节点1中，则可以在主干交换机130空闲或者在降低的活动级别期间将其在节点2中与子组DS-2D重新组合(步骤1200)；即，当主干交换机130空闲或者全部主干带宽没有被使用时。这样，可以通过主干交换机130将子组DS-2A至DS-2C传送回来(图11A；步骤1202)以与余下的子组DS-2D结合(步骤1204)。然后更新元数据230以反映子组DS-2A至DS-2C的位置变化以及数据组2的重新组合(图11B；步骤1206)。
重要的是要注意，在以全功能数据处理系统的语境来描述本发明时，本领域的技术人员可以懂得，本发明的处理可以指令以及各种形式的计算机可读媒介的形式分布，并且无论实际上用来执行该分布的承载信号的媒介的特殊类型如何本发明都适用。计算机可读媒介的例子包括可记录类型的媒介例如软盘、硬盘驱动器、RAM、和CD-ROM以及传输类型的媒介例如数字的和模拟的通信链路。
对本发明的描述是为了解释和描述本发明的目的而给出的，而不是为了将本发明穷尽地或限制于所公开的形式。对本领域的技术人员许多改变和变形是明显的。所选择和描述的实施例仅是为了能够最佳地解释本发明的原理、实际的应用、以及使其他本领域的技术人员理解本发明的具有不同修改的各种实施例也能够适合于预期的特殊使用。而且，尽管上面关于方法和系统进行了描述，但是用包含在集群文件系统中管理数据组的指令的计算机程序产品也可以满足本领域的需求。

Claims (27)

1.一种集群文件系统，客户机可以通过网络访问该集群文件系统，包括：
集群中的多个文件系统节点，包括第一节点和第二节点；
主干交换机，用于将所述第一节点和所述第二节点互相连接；
元数据结构，用来标识存储了数据组的节点；并且
该第一节点包含第一高速缓存和数据组控制器，当特定数据组存储在所述第二节点上时，该数据组控制器被配置为：
接收来自客户机的对所述特定数据组执行文件系统操作的请求；
访问所述元数据结构以确定存储所述特定数据组的节点；
通过所述主干交换机从所述第二节点取回文件系统操作所针对的所述特定数据组的第一部分并将该特定数据组的余下部分保留在该第二节点中；
将取回的第一部分存储于所述第一高速缓存中；以及
在完成所述文件系统操作时修改所述元数据结构以指示所述特定数据组的至少第一部分存储在所述第一节点中。
2.根据权利要求1所述的系统，其中：所述第一部分不通过所述主干交换机返回所述第二节点。
3.根据权利要求1所述的系统，其中：
所述第一节点和第二节点各包括一个虚拟前端服务器和一个虚拟后端服务器；以及
所述元数据结构标识其上存储数据组的虚拟服务器和节点。
4.根据权利要求1所述的系统，其中，所述数据组控制器还可配置为：
在完成文件系统操作时通过所述主干交换机取回所述特定数据组的余下部分；
修改所述元数据结构以指示整个特定数据组存储在所述第一节点中；以及
将所述整个特定数据组存储在所述第一节点中。
5.根据权利要求1所述的系统，其中，所述数据组控制器还可配置为：
将所述特定数据组分为多个子组，每个子组具有这样的大小，即所述特定数据组的第一部分和余下部分分别包含至少一个子组；
修改所述元数据结构以指示包含所述第一部分的子组是存储在所述第一节点中以及包含所述余下部分的子组是存储在所述第二节点中；以及
将所述第一部分的子组存储在所述第一节点中。
6.根据权利要求5所述的系统，其中，在所述主干交换机处于降低的活动级别期间，所述数据组控制器还可配置为：
将包含所述第一部分的子组从所述第一节点通过所述主干交换机传送到所述第二节点；
将所述第一部分的至少一个子组与所述余下部分的至少一个子组组合以重组所述特定数据组；
将该重组的特定数据组存储在所述第二节点中；以及
修改所述元数据结构以指示所述特定数据组存储在所述第二节点中。
7.根据权利要求1所述的系统，其中，在所述主干交换机处于降低的活动级别期间，所述数据组控制器还可配置为：
将所述第一部分从所述第二节点通过所述主干交换机传送到所述第一节点；
将所述第一部分与所述余下部分组合以重组所述特定数据组；
将该重组的特定数据组存储在所述第一节点中；以及
修改所述元数据结构以指示该特定数据组存储在所述第一节点中。
8.一种在集群文件系统中管理数据组的方法，包括：
接收来自客户机的对存储在集群的多个节点之一中的特定数据组执行文件系统操作的请求；
通过主干交换机从第一节点取回该特定数据组；
将该取回的特定数据组存储于第二节点的高速缓存中；
对该特定数据组执行所请求的文件系统操作；以及
在完成所请求的操作时修改元数据结构以指示所述特定数据组存储在所述第二节点中。
9.根据权利要求8所述的方法，其中，所述特定数据组不通过所述主干交换机返回所述第一节点。
10.根据权利要求8所述的方法，其中：
请求对所述特定数据组的第一部分执行文件系统操作；以及
所述取回特定数据组包括通过所述主干交换机取回所述第一部分而将第二部分保留在所述第一节点中。
11.根据权利要求10所述的方法，其中，所述修改元数据包括修改元数据以指示所述特定数据组的第一部分存储在所述第二节点中并且第二部分存储在所述第一节点中。
12.根据权利要求10所述的方法，其中：
所述方法还包括将所述特定数据组分为多个子组，其中所述第一部分和所述第二部分分别包含至少一个子组；以及
所述修改元数据包括修改元数据以指示包含所述第一部分的子组存储在所述第二节点中并且包含所述第二部分的子组存储在所述第一节点中。
13.根据权利要求12所述的方法，在所述主干交换机处于降低的活动级别期间，该方法还包括：
将所述第一部分的至少一个子组通过所述主干交换机从所述第二节点传送到所述第一节点；
将所述第一部分的至少一个子组与所述第二部分的至少一个子组进行组合以重组所述特定数据组；
将该重组的特定数据组存储在所述第一节点中；以及
修改所述元数据结构以指示该特定数据组存储在所述第一节点中。
14.根据权利要求8所述的方法，在所述主干交换机处于降低的活动级别期间，该方法还包括：
将所述第一部分通过所述主干交换机从所述第二节点传送到所述第一节点；
将所述第一部分和所述第二部分进行组合以重组所述特定数据组；
将该重组的特定数据组存储在所述第一节点中；以及
修改所述元数据结构以指示所述特定数据组存储在所述第一节点中。
15.一种适合于可编程计算机的计算机可读媒介的计算机程序产品，该计算机程序产品具有用于在集群文件系统中管理数据组的计算机可读编码，该计算机可读编码包含用于以下操作的指令：
接收来自客户机的对存储在集群中的多个节点之一中的特定数据组执行文件系统操作的请求；
通过主干交换机从第一节点取回特定数据组；
将取回的特定数据组存储于第二节点的高速缓存中；
执行所请求的对特定数据组的文件系统操作；以及
在完成所请求的操作时修改元数据以指示特定数据组存储在所述第二节点中。
16.根据权利要求15所述的计算机程序产品，其中，所述特定数据组不通过所述主干交换机返回所述第一节点。
17.根据权利要求15所述的计算机程序产品，其中：
请求对所述特定数据组的第一部分执行所述文件系统操作；以及
用于取回所述特定数据组的指令包含用于通过所述主干交换机取回所述第一部分的指令，因此第二部分保留在所述第一节点中。
18.根据权利要求17所述的计算机程序产品，其中，用于所述修改元数据结构的指令包含用于修改元数据以指示所述特定数据的第一部分是存储在所述第二节点中并且第二部分是存储在所述第一节点中的指令。
19.根据权利要求17所述的计算机程序产品，其中：
所述指令还包含用于将所述特定数据组分为多个子组的指令，其中所述第一部分和所述第二部分各包含至少一个子组；以及
用来修改所述元数据的指令包含用来修改所述元数据以指示包含所述第一部分的子组是存储在所述第二节点中并且包含所述第二部分的子组是存储在所述第一节点中的指令。
20.根据权利要求19所述的计算机程序产品，在所述主干交换机处于降低的活动级期间，该计算机程序产品还包含用于以下的指令：
将所述第一部分的至少一个子组通过所述主干交换机从所述第二节点传送到所述第一节点；
将所述第一部分的至少一个子组与所述第二部分的至少一个子组组合以重组所述特定数据组；
将该重组的特定数据组存储在所述第一节点中；以及
修改所述元数据结构以指示所述特定数据组是存储在所述第一节点中。
21.根据权利要求15所述的计算机程序产品，在所述主干交换机处于降低的活动级期间，该计算机程序产品还包含用于以下的指令：
将所述第一部分通过所述主干交换机从所述第二节点传送到所述第一节点；
将所述第一部分与所述第二部分组合以重组所述特定的数据组；
将该重组的特定数据组存储在所述第一节点中；以及
修改所述元数据结构以指示所述特定数据组是存储在所述第一节点中。
22.一种多节点集群文件系统中的文件系统节点，包括：
通过主干交换机将该节点与至少一个第二节点互联的装置；
高速缓存；
元数据结构，用于指示存储了数据组的节点；
接收来自客户机的对特定数据组执行文件系统操作的请求的装置；
访问该元数据结构以确定存储了该特定数据组的节点的装置；
当所述特定数据组存储在所述第二节点上时，通过该主干交换机取回所述文件系统操作所针对的特定数据组的第一部分并将该特定数据组的余下部分存储在所述第二节点中的装置；
将取回的第一部分存储于所述第一高速缓存的装置；以及
在完成所述文件系统操作时修改所述元数据结构以指示所述特定数据组的至少第一部分存储在第一节点中的装置。
23.根据权利要求22所述的文件系统节点，其中，所述第一部分不通过所述主干交换机返回所述第二节点。
24.根据权利要求22所述的文件系统节点，还包括：
在完成所述文件系统操作时通过所述主干交换机取回所述特定数据组的余下部分的装置；
修改所述元数据结构以指示整个特定数据组是存储在所述第一节点中；以及
将整个特定数据组存储在所述第一节点中。
25.根据权利要求22所述的文件系统节点，还包括：
将所述特定数据组分为多个子组的装置，其中每个子组具有这样的大小，即所述特定数据组的第一部分和余下部分分别包含至少一个子组；
修改所述元数据结构以指示包含所述第一部分的子组存储在所述第一节点中以及包含所述余下部分的子组存储在所述第二节点中的装置；以及
将所述第一部分的子组存储在所述第一节点中的装置。
26.根据权利要求25所述的文件系统节点，还包括：
在所述主干交换机处于降低的活动级别期间，将包含所述第一部分的子组通过该主干交换机从所述第一节点传送到所述第二节点的装置；
将所述第一部分的至少一个子组与所述余下部分的至少一个子组组合以重组所述特定数据组的装置；
将重组的特定数据组存储在所述第二节点中的装置；以及
修改所述元数据结构以指示所述特定数据组是存储在所述第二节点中的装置。
27.根据权利要求22所述的文件系统节点，还包括：
在所述主干交换机处于降低的活动级别期间，将所述第一部分通过该主干交换机从第二节点传送到所述第一节点的装置；
将所述第一部分与所述余下部分进行组合以重组所述特定数据组的装置；
将所述重组的特定数据组存储在所述第一节点中的装置；以及
修改所述元数据结构以指示所述特定数据组是存储在所述第一节点中的装置。
CNA2007800038350A 2006-01-31 2007-01-03 集群文件系统中的有效数据管理 Pending CN101375241A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/343,305 2006-01-31
US11/343,305 US20070179981A1 (en) 2006-01-31 2006-01-31 Efficient data management in a cluster file system

Publications (1)

Publication Number Publication Date
CN101375241A true CN101375241A (zh) 2009-02-25

Family

ID=38323346

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800038350A Pending CN101375241A (zh) 2006-01-31 2007-01-03 集群文件系统中的有效数据管理

Country Status (4)

Country Link
US (1) US20070179981A1 (zh)
EP (1) EP1979806A1 (zh)
CN (1) CN101375241A (zh)
WO (1) WO2007088081A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591842A (zh) * 2010-12-17 2012-07-18 微软公司 在群集共享卷中的卷和文件系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101296176B (zh) * 2007-04-25 2010-12-22 阿里巴巴集团控股有限公司 一种基于群集的数据处理方法和装置
CN101188566B (zh) * 2007-12-13 2010-06-02 东软集团股份有限公司 一种集群环境下数据缓存同步的方法及系统
US8473582B2 (en) * 2009-12-16 2013-06-25 International Business Machines Corporation Disconnected file operations in a scalable multi-node file system cache for a remote cluster file system
US8495250B2 (en) 2009-12-16 2013-07-23 International Business Machines Corporation Asynchronous file operations in a scalable multi-node file system cache for a remote cluster file system
US9158788B2 (en) * 2009-12-16 2015-10-13 International Business Machines Corporation Scalable caching of remote file data in a cluster file system
US8458239B2 (en) * 2009-12-16 2013-06-04 International Business Machines Corporation Directory traversal in a scalable multi-node file system cache for a remote cluster file system
US8402106B2 (en) * 2010-04-14 2013-03-19 Red Hat, Inc. Asynchronous future based API
US8645978B2 (en) * 2011-09-02 2014-02-04 Compuverde Ab Method for data maintenance
US8886908B2 (en) 2012-06-05 2014-11-11 International Business Machines Corporation Management of multiple capacity types in storage systems
US9836419B2 (en) 2014-09-15 2017-12-05 Microsoft Technology Licensing, Llc Efficient data movement within file system volumes
US10445296B1 (en) 2014-12-05 2019-10-15 EMC IP Holding Company LLC Reading from a site cache in a distributed file system
US10423507B1 (en) 2014-12-05 2019-09-24 EMC IP Holding Company LLC Repairing a site cache in a distributed file system
US10951705B1 (en) 2014-12-05 2021-03-16 EMC IP Holding Company LLC Write leases for distributed file systems
US10452619B1 (en) 2014-12-05 2019-10-22 EMC IP Holding Company LLC Decreasing a site cache capacity in a distributed file system
US10430385B1 (en) 2014-12-05 2019-10-01 EMC IP Holding Company LLC Limited deduplication scope for distributed file systems
US10021212B1 (en) 2014-12-05 2018-07-10 EMC IP Holding Company LLC Distributed file systems on content delivery networks
US10936494B1 (en) 2014-12-05 2021-03-02 EMC IP Holding Company LLC Site cache manager for a distributed file system
WO2017019128A1 (en) * 2015-07-29 2017-02-02 Hewlett-Packard Development Company, L.P. File system metadata representations
DE102017200263A1 (de) * 2017-01-10 2018-07-12 Bayerische Motoren Werke Aktiengesellschaft Zentrale Datenablage im Bordnetz
US10839093B2 (en) 2018-04-27 2020-11-17 Nutanix, Inc. Low latency access to physical storage locations by implementing multiple levels of metadata
US10831521B2 (en) * 2018-04-27 2020-11-10 Nutanix, Inc. Efficient metadata management
WO2022002010A1 (zh) * 2020-07-02 2022-01-06 华为技术有限公司 使用中间设备对数据处理的方法、计算机系统、及中间设备
US11809709B2 (en) * 2021-03-02 2023-11-07 Red Hat, Inc. Metadata size reduction for data objects in cloud storage systems

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6615235B1 (en) * 1999-07-22 2003-09-02 International Business Machines Corporation Method and apparatus for cache coordination for multiple address spaces
ATE381191T1 (de) * 2000-10-26 2007-12-15 Prismedia Networks Inc Verfahren und system zur verwaltung von verteilten inhalten und entsprechenden metadaten
US7313614B2 (en) * 2000-11-02 2007-12-25 Sun Microsystems, Inc. Switching system
US7266556B1 (en) * 2000-12-29 2007-09-04 Intel Corporation Failover architecture for a distributed storage system
US7054927B2 (en) * 2001-01-29 2006-05-30 Adaptec, Inc. File system metadata describing server directory information
US6912669B2 (en) * 2002-02-21 2005-06-28 International Business Machines Corporation Method and apparatus for maintaining cache coherency in a storage system
US7003631B2 (en) * 2002-05-15 2006-02-21 Broadcom Corporation System having address-based intranode coherency and data-based internode coherency
US6857001B2 (en) * 2002-06-07 2005-02-15 Network Appliance, Inc. Multiple concurrent active file systems
US7139772B2 (en) * 2003-08-01 2006-11-21 Oracle International Corporation Ownership reassignment in a shared-nothing database system
US7987268B2 (en) * 2003-10-23 2011-07-26 International Business Machines Corporation Methods and systems for dynamically reconfigurable load balancing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591842A (zh) * 2010-12-17 2012-07-18 微软公司 在群集共享卷中的卷和文件系统
CN102591842B (zh) * 2010-12-17 2014-11-26 微软公司 在群集共享卷中的卷和文件系统

Also Published As

Publication number Publication date
US20070179981A1 (en) 2007-08-02
WO2007088081A1 (en) 2007-08-09
EP1979806A1 (en) 2008-10-15

Similar Documents

Publication Publication Date Title
CN101375241A (zh) 集群文件系统中的有效数据管理
US9454533B2 (en) Reducing metadata in a write-anywhere storage system
JP5765416B2 (ja) 分散ストレージシステムおよび方法
US10108654B2 (en) Workload balancing in a distributed database
CN103502926B (zh) 基于扩展区的存储架构
US20160132541A1 (en) Efficient implementations for mapreduce systems
US7092971B2 (en) Prefetch appliance server
US20160350302A1 (en) Dynamically splitting a range of a node in a distributed hash table
CN107180113B (zh) 一种大数据检索平台
US8560884B2 (en) Application recovery in a file system
CN102486752A (zh) Sas扩展器中数据预取
CN104731896A (zh) 一种数据处理方法及系统
CN103312624A (zh) 一种消息队列服务系统和方法
US20120166492A1 (en) Database transfers using constraint free data
CN102314506A (zh) 基于动态索引的分布式缓冲区管理方法
CN110109868A (zh) 用于索引文件的方法、装置和计算机程序产品
US8386741B2 (en) Method and apparatus for optimizing data allocation
KR102471966B1 (ko) 스토리지 노드 기반의 키-값 스토어를 이용하는 데이터 입출력 방법
WO2024021470A1 (zh) 一种跨区域的数据调度方法、装置、设备及存储介质
CN111680069B (zh) 数据库访问方法及装置
US10860577B2 (en) Search processing system and method for processing search requests involving data transfer amount unknown to host
CN115203133A (zh) 数据处理方法、装置、归约服务器及映射服务器
KR20160145250A (ko) 가상 머지를 지원하는 셔플 내장형 분산 스토리지 시스템 및 그 방법
CN105320460A (zh) 一种写性能优化方法、装置及存储系统
US20220413940A1 (en) Cluster computing system and operating method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090225