CN102117287A - 分布式文件系统访问方法、元数据服务器及客户端 - Google Patents

分布式文件系统访问方法、元数据服务器及客户端 Download PDF

Info

Publication number
CN102117287A
CN102117287A CN2009102441864A CN200910244186A CN102117287A CN 102117287 A CN102117287 A CN 102117287A CN 2009102441864 A CN2009102441864 A CN 2009102441864A CN 200910244186 A CN200910244186 A CN 200910244186A CN 102117287 A CN102117287 A CN 102117287A
Authority
CN
China
Prior art keywords
metadata
meta data
data server
request
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009102441864A
Other languages
English (en)
Inventor
刘镇涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Digital Technologies Chengdu Co Ltd
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CN2009102441864A priority Critical patent/CN102117287A/zh
Publication of CN102117287A publication Critical patent/CN102117287A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及一种分布式文件系统访问方法、元数据服务器及客户端，其中方法包括：元数据服务器接收客户端发送的元数据访问请求，所述元数据服务器是在元数据服务器集群中被访问次数最少的元数据服务器；根据所述元数据访问请求访问相应的元数据；更新所述元数据服务器集群中的所有元数据服务器中保存的服务器域信息中的所述元数据服务器的被访问次数。本发明实施例能够实现均匀的负载分担，在一定程度上能够避免出现某个元数据服务器成为热点时需要多个元数据服务器协同处理一个元数据访问请求的情况，从而提高了运行效率，降低了处理延时。

Description

分布式文件系统访问方法、元数据服务器及客户端
技术领域
本发明实施例涉及分布式文件系统领域，尤其涉及一种分布式文件系统访问方法、元数据服务器及客户端。
背景技术
对象存储文件系统是一种将数据通路(数据读或写)和控制通路(元数据)分离，且基于对象存储设备(Object-based Storage Device，简称：OSD)构建的分布式存储系统，例如“Lustre”系统等。该系统主要包括客户端和元数据服务器(Metadata Server，简称：MDS)。其中，多台MDS采用集群式运行模式，并将元数据根据目录树区划成若干片区，把各个片区按照一定的分区策略分别分配到各个MDS上，客户端根据已知的元数据的片区与MDS的对应关系，到相应的MDS上读取所需的元数据。然而，现有元数据的分区策略非常复杂，并且不能根据业务的繁忙程度进行动态调整，使得某些MDS可能由于事务过于繁忙而成为热点，当热点出现时，现有对象存储文件系统会将一部分事务均衡到其他MDS上，从而会造成客户端对元数据的一次访问请求需要多个MDS协同完成，降低了运行效率，并且也会增大处理延时。
发明内容
本发明实施例提供一种分布式文件系统访问方法、元数据服务器及客户端，用以解决采用元数据分区策略时造成的复杂性高、运行效率低和处理延时大的问题。
本发明实施例提供一种分布式文件系统访问方法，其中包括：
元数据服务器接收客户端发送的元数据访问请求，所述元数据服务器是在元数据服务器集群中被访问次数最少的元数据服务器；
根据所述元数据访问请求访问相应的元数据；
更新所述元数据服务器集群中的所有元数据服务器中保存的服务器域信息中的所述元数据服务器的被访问次数。
本发明另一实施例提供一种分布式文件系统访问方法，其中包括：
客户端按照预设的时间间隔，周期性地获取元数据服务器中保存的服务器域信息；
根据获取到的所述服务器域信息对所述客户端中保存的客户端域信息进行更新，所述客户端域信息包括：在元数据服务器集群中的每个元数据服务器的被访问次数；
根据所述每个元数据服务器的被访问次数，向被访问次数最少的元数据服务器发送元数据访问请求。
本发明又一实施例提供一种元数据服务器，该元数据服务器是在元数据服务器集群中，在被访问次数最少的元数据服务器，该元数据服务器包括：
请求接收模块，用于接收客户端发送的元数据访问请求；
访问模块，用于根据所述请求接收模块接收到的所述元数据访问请求访问相应的元数据；
更新模块，用于更新所述元数据服务器集群中的所有元数据服务器中保存的服务器域信息中的所述元数据服务器的被访问次数。
本发明再一实施例提供一种客户端，其中包括：
获取模块，用于按照预设的时间间隔，周期性地获取元数据服务器中保存的服务器域信息；
域信息更新模块，用于根据获取模块获取到的所述服务器域信息对所述客户端中保存的客户端域信息进行更新，所述客户端域信息包括：在元数据服务器集群中的每个元数据服务器的被访问次数；
请求发起模块，用于根据域信息更新模块更新后的客户端域信息中的所述每个元数据服务器的被访问次数，向被访问次数最小的元数据服务器发送元数据访问请求。
本发明实施例没有采用现有技术中的元数据分区策略，从而在一定程度上避免了进行元数据分区带来的复杂性。另外，由元数据服务器集群中被访问次数最少的元数据服务器处理元数据访问请求，能够实现均匀的负载分担，在一定程度上能够避免出现某个元数据服务器成为热点时需要多个元数据服务器协同处理一个元数据访问请求的情况，从而提高了运行效率，降低了处理延时，另外，元数据服务器的增减也不会影响对元数据访问请求的处理，从而减少了元数据服务器与客户端之间的偶合性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述分布式文件访问方法实施例一的流程图；
图2为本发明所述分布式文件访问方法实施例二的流程图；
图3为本发明所述分布式文件访问方法实施例三的流程图；
图4为本发明所述分布式文件访问方法实施例四的流程图；
图5为本发明所述元数据服务器实施例的结构示意图；
图6为图5中访问模块的具体结构示意图；
图7为本发明所述客户端实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明所述分布式文件访问方法实施例一的流程图，如图所示，包括如下步骤：
步骤101，元数据服务器接收客户端发送的元数据访问请求，所述元数据服务器是在元数据服务器集群中被访问次数最少的元数据服务器。
本实施例将接收到的客户端发送的元数据访问请求，分配给元数据服务器集群中被访问次数最少的元数据服务器；
该元数据服务器是在元数据服务器集群中被访问次数最少的唯一个元数据服务器，或者是在元数据服务器集群中被访问次数最少的多个元数据服务器中序号最小的一个元数据服务器；
如果是分配给元数据服务器集群中被访问次数最少的多个元数据服务器中序号最小的一个元数据服务器，则需要预先将元数据服务器集群中的所有元数据服务器编上序号。
步骤102，根据所述元数据访问请求访问相应的元数据。
步骤103，更新所述元数据服务器集群中的所有元数据服务器中保存的服务器域信息中的所述元数据服务器的被访问次数。
其中，服务器域信息是指保存在所述元数据服务器集群中的每个元数据服务器中的信息，该信息包含有每个元数据服务器的被访问次数，当一个元数据服务器接收到一个元数据访问请求后，可以将该元数据服务器的被访问次数加1，同时，当一个元数据服务器中保存的服务器域信息的被访问次数进行更新后，元数据服务器集群中的其他元数据服务器也要进行同步更新，以保持服务器域信息的一致性。
此处需要说明的是，步骤103与步骤102没有必然的顺序关系，对被访问次数进行的更新可以在访问相应的元数据之前进行，也可以在访问相应的元数据之后进行。本实施例对此并没有进行限定。
本发明实施例没有采用现有技术中的元数据分区策略，从而在一定程度上避免了进行元数据分区带来的复杂性。另外，由元数据服务器集群中被访问次数最少的元数据服务器处理元数据访问请求，能够实现均匀的负载分担，在一定程度上能够避免出现某个元数据服务器成为热点时需要多个元数据服务器协同处理一个元数据访问请求的情况，从而提高了运行效率，降低了处理延时，另外，元数据服务器的增减也不会影响对元数据访问请求的处理，从而减少了元数据服务器与客户端之间的偶合性。
图2为本发明所述分布式文件访问方法实施例二的流程图，如图所示，包括如下步骤：
步骤201，元数据服务器接收客户端发送的元数据查询(Lookup)请求，所述元数据服务器是在元数据服务器集群中，被访问次数最少的元数据服务器；
该元数据服务器是在元数据服务器集群中被访问次数最少的唯一个元数据服务器，或者是在元数据服务器集群中被访问次数最少的多个元数据服务器中序号最小的一个元数据服务器；
如果是分配给元数据服务器集群中被访问次数最少的多个元数据服务器中序号最小的一个元数据服务器，则需要预先将元数据服务器集群中的所有元数据服务器编上序号。
步骤202，在全局缓存装置中查找相应的元数据。
其中，全局缓存装置可以为固态硬盘(solid state disk，简称：SSD)。SSD是一种用固态电子存储芯片阵列而制成的硬盘磁盘，与采用磁碟扇区方式实现数据存储的磁盘相比，存取速度快，从而能够满足元数据缓存的需要；而与内存相比，断电后SSD中的数据不会丢失，从而能够保证元数据的安全。
步骤203，将查找到的元数据回复给所述客户端。
步骤204，更新所述元数据服务器集群中的所有元数据服务器中保存的服务器域信息中的所述元数据服务器的被访问次数。
通过本实施例所述方法，使元数据服务器实现了对元数据查询请求的处理，由于所有元数据均保存在全局缓存装置中，使各个元数据服务可以实现共享存储，从而能够在最大程度上减少元数据的冗余。
在实际应用中，可以在每个元数据服务器上部署基于红帽子(Red Hate)操作系统的谷歌文件系统(Google File System，简称：GFS)，使得各个MDS均能够以带内方式并发访问整个存储后端。其中，带内是指元数据服务器访问某个存储设备时不需要经过中间节点。例如，在本实施例中，元数据服务器在访问SSD时可以直接进行访问，而不需要经过其他中间节点的中转。
图3为本发明所述分布式文件访问方法实施例三的流程图，如图所示，包括如下步骤：
步骤301，元数据服务器接收客户端发送的元数据更新(Update)请求，所述元数据服务器是在元数据服务器集群中被访问次数最少的元数据服务器。
步骤302，在全局缓存装置中查找待更新元数据。
其中，全局缓存装置可以为SSD。
步骤303，当所述待更新元数据的全局锁状态为开锁状态时，根据所述元数据更新请求对所述待更新元数据进行更新。
其中，全局锁是对元数据的保护机制，当有多个元数据服务器需要对同一个元数据进行更新操作时，通过将全局锁状态设置为闭锁状态，使得在同一时刻只允许一个元数据服务器对该元数据进行更新，以避免造成数据更新混乱。当所述全局锁状态为开锁状态时表明此刻并没有其他元数据服务器正在对该元数据进行更新，因此，允许对该元数据进行更新。
另外，如果该全局锁状态为闭锁状态，则表明当前不允许对该元数据进行更新，此时，可以延迟预设时间后继续判断所述待更新元数据的全局锁状态，直至所述全局锁状态为开锁状态时，再根据所述元数据更新请求对所述待更新元数据进行更新。
步骤304，更新所述元数据服务器集群中的所有元数据服务器中保存的服务器域信息中的所述元数据服务器的被访问次数。
通过本实施例所述方法，使元数据服务器实现了对元数据更新请求的处理，由于所有元数据均保存在全局缓存装置中，使各个元数据服务可以实现共享存储，从而能够在最大程度上减少元数据的冗余。
另外，在对所述待更新元数据进行更新之后，还可以将更新后的元数据备份到磁盘阵列中。
通过将SSD中的元数据备份到磁盘阵列中，例如可以备份一份、两份或者更多份，当SSD发生故障或者SSD中的某些元数据损坏时，可以由相应的磁盘阵列临时接管SSD作为全局缓存，直到SSD恢复正常，从而可以进一步提高元数据的安全性。
此处需要说明的是，当采用上述元数据备份机制时，由于SSD的存取速度快，因此，元数据服务器需要按照访问顺序，先访问SSD，再访问磁盘阵列，以避免由于备份不及时而造成的元数据一致性错误。
图4为本发明所述分布式文件访问方法实施例四的流程图，如图所示，包括如下步骤：
步骤401，客户端按照预设的时间间隔，周期性地获取元数据服务器中保存的服务器域信息。
其中，服务器域信息是指保存在所述元数据服务器集群中的每个元数据服务器中的信息，该信息包含有每个元数据服务器的被访问次数，当一个元数据服务器接收到一个元数据访问请求后，可以将该元数据服务器的被访问次数加1，同时，当一个元数据服务器中保存的服务器域信息的被访问次数进行更新后，元数据服务器集群中的其他元数据服务器也要进行同步更新，以保持服务器域信息的一致性；
由于除了当前客户端以外，还有其他客户端向元数据服务器发送数据访问请求，也会对元数据服务器中的服务器域信息进行更新，所以当前客户端需要周期性地获取元数据服务器中保存的服务器域信息。
步骤402，根据获取到的所述服务器域信息对所述客户端中保存的客户端域信息进行更新，所述客户端域信息包括：在元数据服务器集群中的每个元数据服务器的被访问次数。
步骤403，根据所述每个元数据服务器的被访问次数，向被访问次数最少的元数据服务器发送元数据访问请求；
需要说明的是，被访问次数最少的元数据服务器可以是在元数据服务器集群中被访问次数最少的唯一个元数据服务器，或者是在元数据服务器集群中被访问次数最少的多个元数据服务器中序号最小的一个元数据服务器；
在另一个具体实施例中，该服务器域信息还可以包括元数据服务器集群中的每个元数据服务器的序号；
当被访问次数最少的元数据服务器有至少两个时，向序号最小的元数据服务器发起元数据访问请求。
本发明实施例没有采用现有技术中的元数据分区策略，从而在一定程度上避免了进行元数据分区带来的复杂性。另外，由元数据服务器集群中被访问次数最少的元数据服务器处理元数据访问请求，能够实现均匀的负载分担，在一定程度上能够避免出现某个元数据服务器成为热点时需要多个元数据服务器协同处理一个元数据访问请求的情况，从而提高了运行效率，降低了处理延时，另外，元数据服务器的增减也不会影响对元数据访问请求的处理，从而减少了元数据服务器与客户端之间的偶合性。
在上述实施例中，该元数据访问请求可以包括元数据查询请求或者元数据更新请求，当该元数据访问请求为元数据更新请求时，则由元数据服务器根据前述实施例三所述流程对相应的元数据进行更新操作；当该元数据访问请求为元数据更查询请求时，则由元数据服务器根据前述实施例二所述流程对相应的元数据进行查询操作，并可以进一步包括如下步骤：
步骤404，接收由所述元数据服务器根据所述元数据查询请求在全局缓存装置中查找到的相应的元数据。
图5为本发明所述元数据服务器实施例的结构示意图，如图所示，该元数据服务器10是在元数据服务器集群中被访问次数最少的元数据服务器，其中，该元数据服务器10包括：请求接收模块11、访问模块12及更新模块13；
请求接收模块11，用于接收客户端发送的元数据访问请求；
本实施例将接收到的客户端发送的元数据访问请求，分配给元数据服务器集群中被访问次数最少的元数据服务器；
该元数据服务器是在元数据服务器集群中被访问次数最少的唯一个元数据服务器，或者是在元数据服务器集群中被访问次数最少的多个元数据服务器中序号最小的一个元数据服务器；
如果是分配给元数据服务器集群中被访问次数最少的多个元数据服务器中序号最小的一个元数据服务器，则需要预先将元数据服务器集群中的所有元数据服务器编上序号。
访问模块12，用于根据请求接收模块11接收到的所述元数据访问请求访问相应的元数据；
更新模块13，用于更新所述元数据服务器集群中的所有元数据服务器中保存的服务器域信息中的所述元数据服务器的被访问次数。
其中，服务器域信息是指保存在所述元数据服务器集群中的每个元数据服务器中的信息，该信息包含有每个元数据服务器的被访问次数，当一个元数据服务器接收到一个元数据访问请求后，可以将该元数据服务器的被访问次数加1，同时，当一个元数据服务器中保存的服务器域信息的被访问次数进行更新后，元数据服务器集群中的其他元数据服务器也要进行同步更新，以保持服务器域信息的一致性。
本发明实施例没有采用现有技术中的元数据分区策略，从而在一定程度上避免了进行元数据分区带来的复杂性。另外，由元数据服务器集群中被访问次数最少的元数据服务器处理元数据访问请求，能够实现均匀的负载分担，在一定程度上能够避免出现某个元数据服务器成为热点时需要多个元数据服务器协同处理一个元数据访问请求的情况，从而提高了运行效率，降低了处理延时，另外，元数据服务器的增减也不会影响对元数据访问请求的处理，从而减少了元数据服务器与客户端之间的偶合性。
在上述实施例中，该数据访问请求可以包括数据查询请求或者数据更新请求；
具体地，如图6所示，访问模块12包括：元数据查询单元1201和元数据更新单元1202；
当所述元数据访问请求为元数据查询请求时，元数据查询单元1201在全局缓存装置中查找相应的元数据，将所述查找到的元数据发送给所述客户端；当所述元数据访问请求为元数据更新请求时，元数据更新单元1202在全局缓存装置中查找待更新元数据，当所述待更新元数据的全局锁状态为开锁状态时，根据所述元数据更新请求对所述待更新元数据进行更新。
图7为本发明所述客户端实施例的结构示意图，如图所示，该客户端20包括：获取模块21、域信息更新模块22及请求发起模块23；
获取模块21，用于按照预设的时间间隔，周期性地获取元数据服务器中保存的服务器域信息；
其中，服务器域信息是指保存在所述元数据服务器集群中的每个元数据服务器中的信息，该信息包含有每个元数据服务器的被访问次数，当一个元数据服务器接收到一个元数据访问请求后，可以将该元数据服务器的被访问次数加1，同时，当一个元数据服务器中保存的服务器域信息的被访问次数进行更新后，元数据服务器集群中的其他元数据服务器也要进行同步更新，以保持服务器域信息的一致性；
由于除了当前客户端以外，还有其他客户端向元数据服务器发送数据访问请求，也会对元数据服务器中的服务器域信息进行更新，所以当前客户端需要周期性地获取元数据服务器中保存的服务器域信息。
域信息更新模块22，用于根据获取模块21获取到的所述服务器域信息对所述客户端20中保存的客户端域信息进行更新，所述客户端域信息包括：在元数据服务器集群中的每个元数据服务器的被访问次数；
请求发起模块23，用于根据域信息更新模块22更新后的客户端域信息中的所述每个元数据服务器的被访问次数，向被访问次数最小的元数据服务器发送元数据访问请求；
需要说明的是，被访问次数最少的元数据服务器可以是在元数据服务器集群中被访问次数最少的唯一个元数据服务器，或者是在元数据服务器集群中被访问次数最少的多个元数据服务器中序号最小的一个元数据服务器；
在另一个具体实施例中，该服务器域信息还可以包括元数据服务器集群中的每个元数据服务器的序号；
当被访问次数最少的元数据服务器有至少两个时，向序号最小的元数据服务器发起元数据访问请求。
本发明实施例没有采用现有技术中的元数据分区策略，从而在一定程度上避免了进行元数据分区带来的复杂性。另外，由元数据服务器集群中被访问次数最少的元数据服务器处理元数据访问请求，能够实现均匀的负载分担，在一定程度上能够避免出现某个元数据服务器成为热点时需要多个元数据服务器协同处理一个元数据访问请求的情况，从而提高了运行效率，降低了处理延时，另外，元数据服务器的增减也不会影响对元数据访问请求的处理，从而减少了元数据服务器与客户端之间的偶合性。
在上述实施例中，该元数据访问请求可以是元数据查询请求或者元数据更新请求，当该元数据访问请求为元数据更新请求时，则由元数据服务器10根据前述实施例三所述流程对相应的元数据进行更新操作；当该元数据访问请求为元数据更查询请求时，则由元数据服务器10根据前述实施例二所述流程对相应的元数据进行查询操作，相应的，该客户端20中还包括元数据接收模块24，用于当所述元数据访问请求为元数据查询请求时，接收由所述元数据服务器10根据所述元数据查询请求在全局缓存装置中查找到的相应的元数据。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种分布式文件系统访问方法，其特征在于，包括：
元数据服务器接收客户端发送的元数据访问请求，所述元数据服务器是在元数据服务器集群中被访问次数最少的元数据服务器；
根据所述元数据访问请求访问相应的元数据；
更新所述元数据服务器集群中的所有元数据服务器中保存的服务器域信息中的所述元数据服务器的被访问次数。
2.根据权利要求1所述的方法，其特征在于，所述元数据访问请求包括元数据查询请求或者元数据更新请求。
3.根据权利要求1所述的方法，其特征在于，
当所述元数据访问请求为元数据查询请求时，所述根据所述元数据访问请求访问相应的元数据包括：在全局缓存装置中查找相应的元数据，将查找到的元数据发送给所述客户端；
当所述元数据访问请求为元数据更新请求时，所述根据所述元数据访问请求访问相应的元数据包括：在全局缓存装置中查找待更新元数据；当所述待更新元数据的全局锁状态为开锁状态时，根据所述元数据更新请求对所述待更新元数据进行更新。
4.一种分布式文件系统访问方法，其特征在于，包括：
客户端按照预设的时间间隔，周期性地获取元数据服务器中保存的服务器域信息；
根据获取到的所述服务器域信息对所述客户端中保存的客户端域信息进行更新，所述客户端域信息包括：在元数据服务器集群中的每个元数据服务器的被访问次数；
根据所述每个元数据服务器的被访问次数，向被访问次数最少的元数据服务器发送元数据访问请求。
5.根据权利要求4所述的分布式文件系统访问方法，其特征在于，所述元数据访问请求包括元数据查询请求或者元数据更新请求。
6.根据权利要求4所述的分布式文件系统访问方法，其特征在于，还包括：
当所述元数据访问请求为元数据查询请求时，接收由所述元数据服务器根据所述元数据查询请求在全局缓存装置中查找到的相应的元数据。
7.一种元数据服务器，其特征在于，所述元数据服务器是在元数据服务器集群中，被访问次数最少的元数据服务器，包括：
请求接收模块，用于接收客户端发送的元数据访问请求；
访问模块，用于根据所述请求接收模块接收到的所述元数据访问请求访问相应的元数据；
更新模块，用于更新所述元数据服务器集群中的所有元数据服务器中保存的服务器域信息中的所述元数据服务器的被访问次数。
8.根据权利要求7所述的元数据服务器，其特征在于，所述访问模块包括：
元数据查询单元，用于当所述元数据访问请求为元数据查询请求时，在全局缓存装置中查找相应的元数据，将所述查找到的元数据发送给所述客户端；
元数据更新单元，用于当所述元数据访问请求为元数据更新请求时，在全局缓存装置中查找待更新元数据；当所述待更新元数据的全局锁状态为开锁状态时，根据所述元数据更新请求对所述待更新元数据进行更新。
9.一种客户端，其特征在于，包括：
获取模块，用于按照预设的时间间隔，周期性地获取元数据服务器中保存的服务器域信息；
域信息更新模块，用于根据获取模块获取到的所述服务器域信息对所述客户端中保存的客户端域信息进行更新，所述客户端域信息包括：在元数据服务器集群中的每个元数据服务器的被访问次数；
请求发起模块，用于根据域信息更新模块更新后的客户端域信息中的所述每个元数据服务器的被访问次数，向被访问次数最小的元数据服务器发送元数据访问请求。
10.根据权利要求9所述的客户端，其特征在于，还包括：元数据接收模块，用于当所述元数据访问请求为元数据查询请求时，接收由所述元数据服务器根据所述元数据查询请求在全局缓存装置中查找到的相应的元数据。
CN2009102441864A 2009-12-30 2009-12-30 分布式文件系统访问方法、元数据服务器及客户端 Pending CN102117287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009102441864A CN102117287A (zh) 2009-12-30 2009-12-30 分布式文件系统访问方法、元数据服务器及客户端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102441864A CN102117287A (zh) 2009-12-30 2009-12-30 分布式文件系统访问方法、元数据服务器及客户端

Publications (1)

Publication Number Publication Date
CN102117287A true CN102117287A (zh) 2011-07-06

Family

ID=44216061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102441864A Pending CN102117287A (zh) 2009-12-30 2009-12-30 分布式文件系统访问方法、元数据服务器及客户端

Country Status (1)

Country Link
CN (1) CN102117287A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103036717A (zh) * 2012-12-12 2013-04-10 北京邮电大学 分布式数据的一致性维护系统和方法
CN103186389A (zh) * 2011-12-29 2013-07-03 中国移动通信集团浙江有限公司 一种门户服务器数据的更新方法、系统和门户服务器
CN103491152A (zh) * 2013-09-17 2014-01-01 华为数字技术（苏州）有限公司 分布式文件系统中元数据获取方法、装置及系统
CN104142953A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 元数据动态管理方法及系统
CN105739920A (zh) * 2016-01-22 2016-07-06 深圳市瑞驰信息技术有限公司 一种自动化分层存储方法及服务器
CN107135240A (zh) * 2016-02-29 2017-09-05 华为技术有限公司 一种分布式系统中命令分发方法、装置及系统
CN107239569A (zh) * 2017-06-27 2017-10-10 郑州云海信息技术有限公司 一种分布式文件系统子树存储方法及装置
CN107528924A (zh) * 2017-10-09 2017-12-29 郑州云海信息技术有限公司 一种分布式集群元数据服务部署方法及系统
CN107729435A (zh) * 2017-09-29 2018-02-23 郑州云海信息技术有限公司 分布式文件系统任务分派的方法、装置、设备和存储介质
CN108829787A (zh) * 2018-05-31 2018-11-16 郑州云海信息技术有限公司 一种元数据分布式系统
CN108874319A (zh) * 2018-06-27 2018-11-23 郑州云海信息技术有限公司 一种元数据更新方法、装置、设备及可读存储介质
CN110008246A (zh) * 2019-02-18 2019-07-12 新智云数据服务有限公司 元数据管理方法及装置
CN111049779A (zh) * 2018-10-12 2020-04-21 伊姆西Ip控股有限责任公司 信息处理方法、电子设备以及计算机程序产品
CN111488128A (zh) * 2019-12-30 2020-08-04 北京浪潮数据技术有限公司 一种元数据的更新方法、装置、设备及介质

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186389A (zh) * 2011-12-29 2013-07-03 中国移动通信集团浙江有限公司 一种门户服务器数据的更新方法、系统和门户服务器
CN103036717A (zh) * 2012-12-12 2013-04-10 北京邮电大学 分布式数据的一致性维护系统和方法
CN103036717B (zh) * 2012-12-12 2015-11-04 北京邮电大学 分布式数据的一致性维护系统和方法
CN104142953A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 元数据动态管理方法及系统
CN104142953B (zh) * 2013-05-10 2017-12-08 中国电信股份有限公司 元数据动态管理方法及系统
CN103491152A (zh) * 2013-09-17 2014-01-01 华为数字技术（苏州）有限公司 分布式文件系统中元数据获取方法、装置及系统
CN105739920A (zh) * 2016-01-22 2016-07-06 深圳市瑞驰信息技术有限公司 一种自动化分层存储方法及服务器
CN107135240A (zh) * 2016-02-29 2017-09-05 华为技术有限公司 一种分布式系统中命令分发方法、装置及系统
CN107135240B (zh) * 2016-02-29 2020-12-15 华为技术有限公司 一种分布式系统中命令分发方法、装置及系统
CN107239569A (zh) * 2017-06-27 2017-10-10 郑州云海信息技术有限公司 一种分布式文件系统子树存储方法及装置
CN107729435A (zh) * 2017-09-29 2018-02-23 郑州云海信息技术有限公司 分布式文件系统任务分派的方法、装置、设备和存储介质
CN107528924A (zh) * 2017-10-09 2017-12-29 郑州云海信息技术有限公司 一种分布式集群元数据服务部署方法及系统
CN107528924B (zh) * 2017-10-09 2021-06-25 郑州云海信息技术有限公司 一种分布式集群元数据服务部署方法及系统
CN108829787A (zh) * 2018-05-31 2018-11-16 郑州云海信息技术有限公司 一种元数据分布式系统
CN108874319A (zh) * 2018-06-27 2018-11-23 郑州云海信息技术有限公司 一种元数据更新方法、装置、设备及可读存储介质
CN108874319B (zh) * 2018-06-27 2021-06-29 郑州云海信息技术有限公司 一种元数据更新方法、装置、设备及可读存储介质
CN111049779A (zh) * 2018-10-12 2020-04-21 伊姆西Ip控股有限责任公司 信息处理方法、电子设备以及计算机程序产品
CN111049779B (zh) * 2018-10-12 2022-04-26 伊姆西Ip控股有限责任公司 信息处理方法、电子设备以及计算机可读介质
CN110008246A (zh) * 2019-02-18 2019-07-12 新智云数据服务有限公司 元数据管理方法及装置
CN111488128A (zh) * 2019-12-30 2020-08-04 北京浪潮数据技术有限公司 一种元数据的更新方法、装置、设备及介质
CN111488128B (zh) * 2019-12-30 2022-03-22 北京浪潮数据技术有限公司 一种元数据的更新方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN102117287A (zh) 分布式文件系统访问方法、元数据服务器及客户端
US10956601B2 (en) Fully managed account level blob data encryption in a distributed storage environment
CN109783438B (zh) 基于librados的分布式NFS系统及其构建方法
CN106777225B (zh) 一种数据的迁移方法和系统
JP5500257B2 (ja) ストレージシステム
CN102591970B (zh) 一种分布式键-值查询方法和查询引擎系统
US20170024315A1 (en) Efficient garbage collection for a log-structured data store
CN103780638B (zh) 数据同步方法及系统
CN101808127B (zh) 数据备份方法、系统和服务器
CN104935654A (zh) 一种服务器集群系统中的缓存方法、写入点客户端和读客户端
CN104580439B (zh) 一种云存储系统中使数据均匀分布的方法
CN113268472B (zh) 一种分布式数据存储系统及方法
CN102339283A (zh) 集群文件系统访问控制方法及集群节点
CN102662992A (zh) 一种海量小文件的存储、访问方法及装置
CN102546823A (zh) 一种云存储系统的文件存储管理系统
CN111984191A (zh) 一种支持分布式存储的多客户端缓存方法及系统
CN103037004A (zh) 云存储系统操作的实现方法和装置
CN104184812A (zh) 一种基于私有云的多点数据传输方法
US20110296422A1 (en) Switch-Aware Parallel File System
CN102982182A (zh) 一种数据存储规划方法及装置
US20150169623A1 (en) Distributed File System, File Access Method and Client Device
CN106873902B (zh) 一种文件存储系统、数据调度方法及数据节点
CN104410531A (zh) 冗余的系统架构方法
CN109669916B (zh) 一种基于cmsp和kudu的分布式对象存储架构和平台
CN105760398A (zh) 一种日志记录系统及日志记录操作方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110706