CN105302817A - 分布式文件系统管理方法和装置 - Google Patents

分布式文件系统管理方法和装置 Download PDF

Info

Publication number
CN105302817A
CN105302817A CN201410292557.7A CN201410292557A CN105302817A CN 105302817 A CN105302817 A CN 105302817A CN 201410292557 A CN201410292557 A CN 201410292557A CN 105302817 A CN105302817 A CN 105302817A
Authority
CN
China
Prior art keywords
metadata
tree
management
information
directory management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410292557.7A
Other languages
English (en)
Other versions
CN105302817B (zh
Inventor
王冲
王磊
何抗洪
王家文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING SUNING ELECTRONIC INFORMATION TECHNOLOGY Co.,Ltd.
Shenzhen yunwangwandian Technology Co.,Ltd.
Original Assignee
Suning Commerce Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Commerce Group Co Ltd filed Critical Suning Commerce Group Co Ltd
Priority to CN201410292557.7A priority Critical patent/CN105302817B/zh
Publication of CN105302817A publication Critical patent/CN105302817A/zh
Application granted granted Critical
Publication of CN105302817B publication Critical patent/CN105302817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种分布式文件系统管理方法和装置，属于云计算技术领域。该方法包括：接收目录和/或文件的创建和/或修改信息；元数据节点创建和/或修改元数据信息；元数据节点向虚拟元数据目录树模块发起变更请求；虚拟元数据目录树模块根据变更请求更新目录管理树。本发明的技术方案提高了云存储系统中文件的并发量级，可以实现在高并发下完全不影响云存储系统查询服务请求，提高存储效率和降低存储成本。

Description

分布式文件系统管理方法和装置
技术领域
本发明涉及云存储技术领域，特别涉及一种分布式文件系统管理方法和装置。
背景技术
目前的分布式文件系统乃至分布式存储领域，都涉及一个元数据管理的问题。目前通用的架构基本分为三种：集中式元数据、分组集群管理式元数据、无主散列式管理。
在集中式元数据管理中，分布式文件系统配置一或者一对服务器集中管理元数据，则对于海量并发的时候，元数据的数据访问平面势必影响系统对于目录或文件属性的访问请求，甚至超时乃至失败。
在分组集群管理式元数据中，分布式文件系统配置多个元数据服务器，组成集群对外统一服务，当海量并发的业务模型下，各集群的元数据一致性难以保证，对于集中元数据访问跳转节点太多，容易导致失败或数据错误。
在无主散列式管理中，对于分布式文件系统来自元数据的访问请求，在大并发量的业务模型下，需要轮询所有节点获取元数据再组成目录镜像对外服务，效率低下且一致性维护极其困难。
目前这三种架构，在元数据大规模并发访问的情况下，都会对分布式文件系统整体访问造成输入输出I/O瓶颈，甚至导致失败，从而降低了云存储系统的文件并发量级，降低了云存储系统进行查询服务请求的效率和增大了云存储系统的存储成本。
发明内容
针对现有技术的上述缺陷，本发明所要解决的技术问题是如何实现提高分布式文件系统的管理效率。
为实现上述目的，一方面，本发明提供一种分布式文件系统管理方法，该方法包括步骤：
接收目录和/或文件的创建和/或修改信息；
元数据节点创建和/或修改元数据信息；
元数据节点向虚拟元数据目录树模块发起变更请求；
虚拟元数据目录树模块根据变更请求更新目录管理树。
优选地，该方法还包括：
收到目录和/或文件查询请求，访问目录管理树获得查询结果。
优选地，该方法还包括：
如果当前元数据节点查的主机宕机，则启用备机接管服务，保证管理不中断。
优选地，备机接管服务后，当超过预设老化时长，主机仍无法启用，则重新构建所述目录管理树至其他备机。
优选地，所述目录管理树为目录管理B加树，且存储在内存。
优选地，该方法还包括：
如果创建和/或修改文件请求需求超过预设值，根据最近最少使用算法修改内存目录管理树。
另一发明，本发明提供一种分布式文件系统管理装置，包括：
信息接收单元，用于接收目录和/或文件的创建和/或修改信息；
信息修改单元，用于实现元数据节点创建和/或修改元数据信息；
变更请求单元，用于实现元数据节点向虚拟元数据目录树模块发起变更请求；
信息更新单元，用于实现虚拟元数据目录树模块根据变更请求更新目录管理树。
优选地，该装置还包括：
访问单元，用于收到目录和/或文件查询请求，访问目录管理树获得查询结果。
优选地，该装置还包括：
主备切换单元，用于如果当前元数据节点查的主机宕机，则启用备机接管服务，保证管理不中断。
优选地，主备切换单元进一步包括：重建单元，用于备机接管服务后，当超过预设老化时长，主机仍无法启用，则重新构建所述目录管理树至其他备机。
本发明提供的分布式系统管理方法和装置中，采用了基于分布式技术的信息集中化管理思维方法，实现了离散元数据信息的统一管理，使分布式文件系统具备提供元数据查询服务的能力，而并不占用分布式文件系统正常数据访问带宽。与现有技术相比，提高了云存储系统的文件并发量级，达到了满足高并发下完全不影响系统查询服务请求的良好支持效果，取得了高效存储和节约存储成本效果。
附图说明
图1是本发明一个实施例中的分布式文件系统管理方法的流程示意图；
图2是本发明另一个实施例中的分布式文件系统管理装置的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。
现有技术中的分布式文件系统中，采用集中式元数据管理、分组集群管理式元数据和无主散列式管理中，目前这三种架构，在元数据大规模并发访问的情况下，都会对分布式文件系统整体访问造成输入输出瓶颈，甚至导致失败。本发明提供一种基于元数据目录树镜像的分布式文件系统管理方法和装置，采用逻辑上的分布，并不需要单独的物理元数据服务器载体，可动态生成且迁移，为分布式文件系统提供目录、文件，目录树级别的元数据查询服务，而不需要轮询所有节点获取，也不占用高并发时元数据/数据的访问带宽，提高分布式系统的访问效率，进一步在云存储领域发挥集群云化的成本优势。
图1是本发明一个实施例中的分布式文件系统管理方法的流程示意图，如图1所示，该方法包括步骤：
步骤S1、接收目录和/或文件的创建和/或修改信息；
步骤S2、元数据节点创建和/或修改元数据信息；
步骤S3、元数据节点向虚拟元数据目录树单元发起变更请求；
步骤S4、虚拟元数据目录树单元根据变更请求更新目录管理树。
优选地，该方法还包括：
步骤S6、收到目录和/或文件查询请求，访问目录管理树获得查询结果。
优选地，该方法还包括：
步骤S7、如果当前元数据节点查的主机宕机，则启用备机接管服务，保证管理不中断。
优选地，备机接管服务后，当超过预设老化时长，主机仍无法启用，则重新构建所述目录管理树至其他备机。
优选地，目录管理树为目录管理B加树，且存储在内存。
优选地，如果创建和/或修改文件请求需求超过预设值，根据最近最少使用算法修改内存目录管理树
本领域相关技术人员应能理解，与本发明的方法相对应的，本发明还同时包括一种分布式文件系统管理装置，与上述方法步骤一一对应地，如图2所示，该分布式文件系统管理装置包括：信息接收单元201、信息修改单元202、变更请求单元203和信息更新单元204，其中，信息接收单元201用于接收目录和/或文件的创建和/或修改信息；信息修改单元202用于实现元数据节点创建和/或修改元数据信息；变更请求单元203用于实现元数据节点向虚拟元数据目录树模块发起变更请求；信息更新单元204用于实现虚拟元数据目录树模块根据变更请求更新目录管理树。
优选地，该分布式文件系统管理装置还包括：访问单元205，用于收到目录和/或文件查询请求，访问目录管理树获得查询结果。
优选地，该分布式文件系统管理装置还包括：主备机切换单元206，用于如果当前元数据节点查的主机宕机，则启用备机接管服务，保证管理不中断。具体地，在如果当前系统宕机时，则备机接管服务，保证查询请求不中断，且设置老化时长策略，超过时长系统构建虚拟逻辑目录树到其他节点，保证系统主备镜像单元备份。
优选地，所述变更请求单元203具体包括：
集中分散单元2031，用于集中或者分散元数据节点向虚拟元数据目录树单元发起变更请求，虚拟元数据目录树单元更新目录管理B加树，且保留至系统内存。
优选地，该分布式文件系统管理装置还包括：重建单元206，用于备机接管服务后，当超过预设老化时长，主机仍无法启用，则重新构建所述目录管理树至其他备机。
具体地，在分布式文件系统收到创建和/或修改目录和/或文件的请求后，在虚拟目录树管理模块生成和更新目录树节点信息，且更改目录树仅为系统收到目录、文件查询请求对外服务，不占用集群整体对外服务带宽，并利用系统28服务原则，20％的经常被访问的热点文件可以常驻内存，80％的冷数据常驻持久化存储，如廉价机械式硬盘，使得该系统资源利用率高。本发明中，28比例原则为较优方案，具体比例可配置。
本发明所使用的方法，采用了基于分布式技术的信息集中化管理思维方法，实现了离散元数据信息的统一管理，使系统具备提供元数据查询服务的能力，而并不占用系统正常数据访问带宽。与现有技术相比，提高了云存储系统的文件并发量级，达到了满足高并发下完全不影响系统查询服务请求的良好支持效果，取得了高效存储和节约存储成本效果。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种分布式文件系统管理方法，其特征在于，所述方法包括步骤：
接收目录和/或文件的创建和/或修改信息；
元数据节点创建和/或修改元数据信息；
元数据节点向虚拟元数据目录树模块发起变更请求；
虚拟元数据目录树模块根据变更请求更新目录管理树。
2.根据权利要求1所述的方法，其特征在于,所述方法还包括：
收到目录和/或文件查询请求，访问目录管理树获得查询结果。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果当前元数据节点查的主机宕机，则启用备机接管服务，保证管理不中断。
4.根据权利要求3所述的方法，其特征在于，备机接管服务后，当超过预设老化时长，主机仍无法启用，则重新构建所述目录管理树至其他备机。
5.根据权利要求1所述的方法，其特征在于，所述目录管理树为目录管理B加树，且存储在内存。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
如果创建和/或修改文件请求需求超过预设值，根据最近最少使用算法修改内存目录管理树。
7.一种分布式文件系统管理装置，其特征在于，包括：
信息接收单元，用于接收目录和/或文件的创建和/或修改信息；
信息修改单元，用于实现元数据节点创建和/或修改元数据信息；
变更请求单元，用于实现元数据节点向虚拟元数据目录树模块发起变更请求；
信息更新单元，用于实现虚拟元数据目录树模块根据变更请求更新目录管理树。
8.根据权利要求7所述的装置，其特征在于，还包括：
访问单元，用于收到目录和/或文件查询请求，访问目录管理树获得查询结果。
9.根据权利要求7所述的装置，其特征在于，还包括：
主备切换单元，用于如果当前元数据节点查的主机宕机，则启用备机接管服务，保证管理不中断。
10.根据权利要求7所述的装置，其特征在于，所述主备切换单元进一步包括：重建单元，用于备机接管服务后，当超过预设老化时长，主机仍无法启用，则重新构建所述目录管理树至其他备机。
CN201410292557.7A 2014-06-25 2014-06-25 分布式文件系统管理方法和装置 Active CN105302817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410292557.7A CN105302817B (zh) 2014-06-25 2014-06-25 分布式文件系统管理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410292557.7A CN105302817B (zh) 2014-06-25 2014-06-25 分布式文件系统管理方法和装置

Publications (2)

Publication Number Publication Date
CN105302817A true CN105302817A (zh) 2016-02-03
CN105302817B CN105302817B (zh) 2019-10-01

Family

ID=55200093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410292557.7A Active CN105302817B (zh) 2014-06-25 2014-06-25 分布式文件系统管理方法和装置

Country Status (1)

Country Link
CN (1) CN105302817B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144951A (zh) * 2018-08-01 2019-01-04 郑州云海信息技术有限公司 一种基于分布式文件系统的目录更新方法及元数据服务器
CN109491962A (zh) * 2018-11-06 2019-03-19 深圳市网心科技有限公司 一种文件目录树管理方法及相关装置
CN110636090A (zh) * 2018-06-22 2019-12-31 北京东土科技股份有限公司 窄带宽条件下的数据同步方法和装置
CN110691454A (zh) * 2019-09-10 2020-01-14 四川创宏电气有限公司 一种消防灯具轮询方法及应急灯具控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697526A (zh) * 2009-10-10 2010-04-21 中国科学技术大学 分布式文件系统中元数据管理的负载均衡方法及其系统
CN102136003A (zh) * 2011-03-25 2011-07-27 上海交通大学 大规模分布式存储系统
US20120123999A1 (en) * 2010-11-16 2012-05-17 Actifio, Inc. System and method for managing data with service level agreements that may specify non-uniform copying of data
CN103067461A (zh) * 2012-12-18 2013-04-24 曙光信息产业(北京)有限公司 一种文件的元数据管理系统以及元数据管理方法
US20130339297A1 (en) * 2012-06-18 2013-12-19 Actifio, Inc. System and method for efficient database record replication using different replication strategies based on the database records

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697526A (zh) * 2009-10-10 2010-04-21 中国科学技术大学 分布式文件系统中元数据管理的负载均衡方法及其系统
US20120123999A1 (en) * 2010-11-16 2012-05-17 Actifio, Inc. System and method for managing data with service level agreements that may specify non-uniform copying of data
CN102136003A (zh) * 2011-03-25 2011-07-27 上海交通大学 大规模分布式存储系统
US20130339297A1 (en) * 2012-06-18 2013-12-19 Actifio, Inc. System and method for efficient database record replication using different replication strategies based on the database records
CN103067461A (zh) * 2012-12-18 2013-04-24 曙光信息产业(北京)有限公司 一种文件的元数据管理系统以及元数据管理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636090A (zh) * 2018-06-22 2019-12-31 北京东土科技股份有限公司 窄带宽条件下的数据同步方法和装置
CN109144951A (zh) * 2018-08-01 2019-01-04 郑州云海信息技术有限公司 一种基于分布式文件系统的目录更新方法及元数据服务器
CN109491962A (zh) * 2018-11-06 2019-03-19 深圳市网心科技有限公司 一种文件目录树管理方法及相关装置
CN109491962B (zh) * 2018-11-06 2022-02-22 深圳市迅雷网络技术有限公司 一种文件目录树管理方法及相关装置
CN110691454A (zh) * 2019-09-10 2020-01-14 四川创宏电气有限公司 一种消防灯具轮询方法及应急灯具控制系统

Also Published As

Publication number Publication date
CN105302817B (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
US10394611B2 (en) Scaling computing clusters in a distributed computing system
Rao et al. Performance issues of heterogeneous hadoop clusters in cloud computing
CN105095317B (zh) 分布式数据库服务管理系统
CN110362381A (zh) Hdfs集群高可用部署方法、系统、设备及存储介质
CN102413172B (zh) 一种基于集群技术的并行数据共享装置方法和装置
CN104361030A (zh) 一种具有任务分发功能的分布式缓存架构及缓存方法
KR101670343B1 (ko) 피어투피어 데이터 복제를 위한 방법, 장치, 및 시스템 및 마스터 노드 전환을 위한 방법, 장치, 및 시스템
US20120278344A1 (en) Proximity grids for an in-memory data grid
CN103475732A (zh) 一种基于虚拟地址池的分布式文件系统数据卷部署方法
WO2019001017A1 (zh) 集群间数据迁移方法、系统、服务器及计算机存储介质
CN103595799B (zh) 一种实现分布式共享数据库的方法
US20150100826A1 (en) Fault domains on modern hardware
CN103312791A (zh) 物联网异构数据存储方法及系统
CN108319623A (zh) 一种数据重分布方法、装置及数据库集群
CN105979273A (zh) 基于大数据及云计算的智能商用电视的云监控与云运维
CN103581332A (zh) HDFS架构及HDFS架构中NameNode节点的压力分解方法
CN104050248A (zh) 一种文件存储系统及存储方法
WO2017092384A1 (zh) 一种集群数据库分布式存储的方法和装置
CN105302817A (zh) 分布式文件系统管理方法和装置
WO2019076236A1 (zh) 数据同步方法、装置、超级控制器、域控制器及存储介质
CN102693312A (zh) 一种键值库数据存储中柔性事务管理方法
CN103428288A (zh) 基于分区状态表和协调节点的副本同步方法
CN104468710A (zh) 一种混合大数据处理系统及处理方法
CN105760391A (zh) 数据动态重分布的方法、数据节点、名字节点及系统
US20160182638A1 (en) Cloud serving system and cloud serving method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190904

Address after: No. 1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing City, Jiangsu Province, 210000

Applicant after: Suning Cloud Computing Co., Ltd.

Address before: 210042 Jiangsu, Xuanwu District, Nanjing, Nanjing Road, No. 1, building No. 15

Applicant before: Yun Shang Group Plc of Suning

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210506

Address after: 518001 unit 3510-130, Luohu business center, 2028 Shennan East Road, Chengdong community, Dongmen street, Luohu District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen yunwangwandian Technology Co.,Ltd.

Patentee after: NANJING SUNING ELECTRONIC INFORMATION TECHNOLOGY Co.,Ltd.

Address before: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000

Patentee before: Suning Cloud Computing Co.,Ltd.