CN106598744A - 一种元数据集群动态子树分区方法及装置 - Google Patents

一种元数据集群动态子树分区方法及装置 Download PDF

Info

Publication number
CN106598744A
CN106598744A CN201710025126.8A CN201710025126A CN106598744A CN 106598744 A CN106598744 A CN 106598744A CN 201710025126 A CN201710025126 A CN 201710025126A CN 106598744 A CN106598744 A CN 106598744A
Authority
CN
China
Prior art keywords
metadata
newly
directory
subtree
catalogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710025126.8A
Other languages
English (en)
Inventor
张延良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710025126.8A priority Critical patent/CN106598744A/zh
Publication of CN106598744A publication Critical patent/CN106598744A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种元数据集群动态子树分区方法，包括：根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务；可见，在本方案中，首先确定态子树分区目录级别，然后在该目录级别上新建的目录会依据元数据服务个数，轮询将目录分配到元数据服务上，这样，在这些目录下IO负载就均衡到每个元数据服务上，从而实现元数据集群动态子树分区，提升元数据服务性能；本发明还公开了一种元数据集群动态子树分区装置，同样能实现上述技术效果。

Description

一种元数据集群动态子树分区方法及装置
技术领域
本发明涉及分布式文件系统领域，更具体地说，涉及一种元数据集群动态子树分区方法及装置。
背景技术
目前，在视频监控应用中，用户会为每个摄像头每天创建一个目录，然后每天将监控数据直接写到该目录下，特别是卡口图片的存储，会涉及大量的元数据操作，因此，针对：客户应用每天会新建很多目录，然后在这些目录下同时写入大量数据的这种场景，可使用元数据集群来提升元数据性能和负载均衡。目前，元数据集群性能提升和负载均衡有两种方式：元数据集群静态子树分区和元数据集群动态子树分区。元数据集群静态子树分区容易实现，就是通过子树分区命令，手动对已存在的目录进行分区，这种使用方式不友好，也不能实现负载的有效均衡。元数据集群动态子树分区是依据一定的元数据负载算法，将负载自动均衡到各元数据上，该方式很难实现，目前还没有看到具备动态子树分区的产品。
因此，如何实现元数据集群的动态子树分区，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供及一种元数据集群动态子树分区方法及装置，以实现动态的向新建的目录分配元数据服务。
为实现上述目的，本发明实施例提供了如下技术方案：
一种元数据集群动态子树分区方法，包括：
根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；
在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务。
其中，若新建的目录不属于所述动态子树分区目录级别，则直接创建目录。
其中，所述若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务，包括：
若新建的目录属于所述动态子树分区目录级别，则以轮训方式，将所述新建的目录分配至所述元数据集群中的元数据服务。
其中，所述根据目录结构确定动态子树分区目录级别，包括：
将目录结构中新建目录频率大于预定阈值的目录级别，作为所述动态子树分区目录级别。
一种元数据集群动态子树分区装置，包括：
目录级别确定模块，用于根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；
元数据服务分配模块，用于在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务。
其中，包括：
判断模块，用于判断新建的目录是否属于所述动态子树分区目录级别；
目录创建模块，用于在新建的目录不属于所述动态子树分区目录级别时，直接创建目录。
其中，所述元数据服务分配模块，以轮训方式，将所述新建的目录分配至所述元数据集群中的元数据服务。
其中，所述目录级别确定模块将目录结构中新建目录频率大于预定阈值的目录级别，作为所述动态子树分区目录级别。
通过以上方案可知，本发明实施例提供的一种元数据集群动态子树分区方法，包括：根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务；
可见，在本方案中，首先根据新建目录的频率确定态子树分区目录级别，然后在该目录级别上新建的目录会依据元数据服务个数，轮询将目录分配到元数据服务上，这样，在这些目录下IO负载就均衡到每个元数据服务上，从而实现元数据集群动态子树分区，提升元数据服务性能；本发明还公开了一种元数据集群动态子树分区装置，同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种元数据集群动态子树分区方法流程示意图；
图2为本发明实施例公开的一种具体的元数据集群动态子树分区方法流程示意图；
图3为本发明实施例公开的动态子树分区示意图；
图4为本发明实施例公开的一种元数据集群动态子树分区装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种元数据集群动态子树分区方法及装置，以实现动态的向新建的目录分配元数据服务。
参见图1，本发明实施例提供的一种元数据集群动态子树分区方法，包括：
S101、根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；
其中，所述根据目录结构确定动态子树分区目录级别，包括：
将目录结构中新建目录频率大于预定阈值的目录级别，作为所述动态子树分区目录级别。
具体的，在本实施例中，首先需要在存储系统界面中提供设置文件系统目录级别的操作界面，用户依据用户目录结构指定需要动态子树分区的目录级别。比如文件系统目录结构为/a/b/c/，/为文件系统根目录，a为1级目录，b为2级目录，c为3级目录，若将1级目录确定为动态子树分区目录级别，则设置好目录级别后，在这一级创建的目录会自动分配元数据服务，在该级目录下写入的数据直接和分配的元数据服务通信，即每个元数据服务承担属于它的负载。
S102、在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务；其中，若新建的目录不属于所述动态子树分区目录级别，则直接创建目录。
所述若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务，包括：
若新建的目录属于所述动态子树分区目录级别，则以轮训方式，将所述新建的目录分配至所述元数据集群中的元数据服务。
具体的，参见图2，为本实施例提供的具体的元数据集群动态子树分区方法，在创建目录时，若检测到创建的目录为子树分区目录，则创建时进行子树分区处理，自动向该目录分配元数据服务；若创建的目录不为子树分区目录，则直接创建，不进行子树分区处理。并且在将创建的目录分配至元数据服务时，可以以轮询的方式进行分配。
具体的，参见图3，为本实施例提供的动态子树分区示意图，若用户依据应用设置元数据集群的动态子树分区目录级别为图3中标注部分，也就是dir1的1级目录；客户端运行应用程序，进行用户数据存储。在新建目录时，检查该目录是否为动态子树分区目录，若新建目录属于dir1的1级目录，则将目录分配一个元数据服务；如果不是，直接创建目录。
需要说明的是，本方案主要针对类似视频监控中图片和录像存储应用场景提出的一种元数据集群动态子树分区。该类应用场景特征：每天按照监控摄像头个数新建对应目录，然后向这些目录中保存图片和视频数据。这类数据在几KB到几MB大小不等，摄像头数量上百个，数据存储中对元数据压力较大。
针对上述应用场景，在文件系统中部署N个元数据服务，当创建这些特征目录时，自动将目录指定到某个元数据服务上，一般使用轮询分配方式。这样，在目录下写入数据后，直接去指定元数据服务上发送IO请求，即能达到元数据压力负责均衡效果，又能实现元数据性能的线性增长。
下面对本发明实施例提供的动态子树分区装置进行介绍，下文描述的动态子树分区装置与上文描述的动态子树分区方法可以相互参照。
参见图4，本发明实施例提供的一种元数据集群动态子树分区装置，包括：
目录级别确定模块100，用于根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；
元数据服务分配模块200，用于在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务。
基于上述实施例，在本实施例中包括：
判断模块，用于判断新建的目录是否属于所述动态子树分区目录级别；
目录创建模块，用于在新建的目录不属于所述动态子树分区目录级别时，直接创建目录。
基于上述实施例，所述元数据服务分配模块，以轮训方式，将所述新建的目录分配至所述元数据集群中的元数据服务。
基于上述实施例，所述目录级别确定模块将目录结构中新建目录频率大于预定阈值的目录级别，作为所述动态子树分区目录级别。
综上可见，在本实施例提供的一种元数据集群动态子树分区实现方法：首先确定每天或定期新建目录的目录级别，然后在目录级别上创建的目录会依据元数据服务个数，轮询将目录分配到元数据服务上。这样，在这些目录下IO负载就均衡到每个元数据服务上。该方法只需用户指定好需要动态子树分区的目录级别，在实际应用中就可实现元数据集群动态子树分区。同时能线性的提升元数据服务性能。这种元数据集群动态子树分区功能可以做到存储系统管理界面中，供用户配置使用。
需要说明的是，本实施例提出了分布式文件系统中元数据集群动态子树分区实现方法，该元数据集群动态子树分区功能主要是实现客户端在海量文件操作中元数据压力负载平衡和性能提升。元数据作为分布式文件系统的一个重要角色，维护了整个文件系统的目录结构，在小文件应用场景中，对元数据和数据压力都很大。本方案从提升元数据性能角度出发，通过动态子树分区实现元数据负载均衡和性能提升。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种元数据集群动态子树分区方法，其特征在于，包括：
根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；
在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务。
2.根据权利要求1所述的元数据集群动态子树分区方法，其特征在于，若新建的目录不属于所述动态子树分区目录级别，则直接创建目录。
3.根据权利要求2所述的元数据集群动态子树分区方法，其特征在于，所述若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务，包括：
若新建的目录属于所述动态子树分区目录级别，则以轮训方式，将所述新建的目录分配至所述元数据集群中的元数据服务。
4.根据权利要求1-3中任意一项所述的元数据集群动态子树分区方法，其特征在于，所述根据目录结构确定动态子树分区目录级别，包括：
将目录结构中新建目录频率大于预定阈值的目录级别，作为所述动态子树分区目录级别。
5.一种元数据集群动态子树分区装置，其特征在于，包括：
目录级别确定模块，用于根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；
元数据服务分配模块，用于在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务。
6.根据权利要求5所述的元数据集群动态子树分区装置，其特征在于，包括：
判断模块，用于判断新建的目录是否属于所述动态子树分区目录级别；
目录创建模块，用于在新建的目录不属于所述动态子树分区目录级别时，直接创建目录。
7.根据权利要求6所述的元数据集群动态子树分区装置，其特征在于，所述元数据服务分配模块，以轮训方式，将所述新建的目录分配至所述元数据集群中的元数据服务。
8.根据权利要求5-7中任意一项所述的元数据集群动态子树分区装置，其特征在于，所述目录级别确定模块将目录结构中新建目录频率大于预定阈值的目录级别，作为所述动态子树分区目录级别。
CN201710025126.8A 2017-01-13 2017-01-13 一种元数据集群动态子树分区方法及装置 Pending CN106598744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710025126.8A CN106598744A (zh) 2017-01-13 2017-01-13 一种元数据集群动态子树分区方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710025126.8A CN106598744A (zh) 2017-01-13 2017-01-13 一种元数据集群动态子树分区方法及装置

Publications (1)

Publication Number Publication Date
CN106598744A true CN106598744A (zh) 2017-04-26

Family

ID=58585965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710025126.8A Pending CN106598744A (zh) 2017-01-13 2017-01-13 一种元数据集群动态子树分区方法及装置

Country Status (1)

Country Link
CN (1) CN106598744A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480310A (zh) * 2017-09-29 2017-12-15 郑州云海信息技术有限公司 一种元数据集群目录动态负载平衡方法及系统
CN109189341A (zh) * 2018-08-30 2019-01-11 郑州云海信息技术有限公司 分布式存储系统的目录负载均衡方法、装置、设备及介质
CN109684282A (zh) * 2018-11-23 2019-04-26 华为技术有限公司 一种构建元数据缓存的方法及装置
CN110008029A (zh) * 2019-04-12 2019-07-12 苏州浪潮智能科技有限公司 ceph元数据集群目录分配方法、系统、装置及可读存储介质
CN115952005A (zh) * 2023-02-24 2023-04-11 浪潮电子信息产业股份有限公司 一种元数据负载均衡方法、装置、设备及可读存储介质
US11645266B2 (en) 2020-08-13 2023-05-09 Red Hat, Inc. Automated pinning of file system subtrees

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153606A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method of managing metadata in asymmetric distributed file system
CN103198153A (zh) * 2013-04-25 2013-07-10 北京邮电大学 一种应用于分布式文件系统的元数据分簇管理方法和模块
CN103279568A (zh) * 2013-06-18 2013-09-04 无锡紫光存储系统有限公司 一种元数据管理系统及方法
CN103793534A (zh) * 2014-02-28 2014-05-14 苏州博纳讯动软件有限公司 分布式文件系统及均衡元数据存储和访问负载的实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153606A1 (en) * 2009-12-18 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method of managing metadata in asymmetric distributed file system
CN103198153A (zh) * 2013-04-25 2013-07-10 北京邮电大学 一种应用于分布式文件系统的元数据分簇管理方法和模块
CN103279568A (zh) * 2013-06-18 2013-09-04 无锡紫光存储系统有限公司 一种元数据管理系统及方法
CN103793534A (zh) * 2014-02-28 2014-05-14 苏州博纳讯动软件有限公司 分布式文件系统及均衡元数据存储和访问负载的实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALI RAZA BUTT: "A Peer-to-Peer Enhancement for the Network File System", 《SC "04: PROCEEDINGS OF THE 2004 ACM/IEEE CONFERENCE ON SUPERCOMPUTING》 *
熊劲: "大规模机群文件系统的关键技术研究", 《中国优秀博硕士学位论文全文数据库（博士）信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480310A (zh) * 2017-09-29 2017-12-15 郑州云海信息技术有限公司 一种元数据集群目录动态负载平衡方法及系统
CN107480310B (zh) * 2017-09-29 2020-09-04 郑州云海信息技术有限公司 一种元数据集群目录动态负载平衡方法及系统
CN109189341A (zh) * 2018-08-30 2019-01-11 郑州云海信息技术有限公司 分布式存储系统的目录负载均衡方法、装置、设备及介质
CN109189341B (zh) * 2018-08-30 2021-07-16 郑州云海信息技术有限公司 分布式存储系统的目录负载均衡方法、装置、设备及介质
CN109684282A (zh) * 2018-11-23 2019-04-26 华为技术有限公司 一种构建元数据缓存的方法及装置
CN110008029A (zh) * 2019-04-12 2019-07-12 苏州浪潮智能科技有限公司 ceph元数据集群目录分配方法、系统、装置及可读存储介质
US11645266B2 (en) 2020-08-13 2023-05-09 Red Hat, Inc. Automated pinning of file system subtrees
CN115952005A (zh) * 2023-02-24 2023-04-11 浪潮电子信息产业股份有限公司 一种元数据负载均衡方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN106598744A (zh) 一种元数据集群动态子树分区方法及装置
US20220107963A1 (en) System and method for in-place data writes to reduce fragmentation in a multidimensional database environment
US10048865B2 (en) Disk partition stitching and rebalancing using a partition table
US10394611B2 (en) Scaling computing clusters in a distributed computing system
US7865520B2 (en) Program and method for file access control in a storage system
CN102571916A (zh) 一种云存储空间的租赁软件的架构与操作方法
CN109218100A (zh) 分布式对象存储集群及其请求响应方法、系统和存储介质
CN109194711B (zh) 一种组织架构的同步方法、客户端、服务端及介质
US20100036858A1 (en) Meta file system - transparently managing storage using multiple file systems
DE102012218269A1 (de) Schnittstelle zur Verwaltung von Datenverschiebung in einem Speichersystem mit thin provisioning
CN107528924A (zh) 一种分布式集群元数据服务部署方法及系统
CN102360314A (zh) 一种数据中心资源管理系统和方法
US8965995B2 (en) Wireless storage management system
CN105007311A (zh) 一种基于云平台和云计算的资源管理系统和方法
CN104363282A (zh) 一种云计算资源调度方法及装置
CN111641671A (zh) 一种资源矩阵式弹性计算桌面云系统
JP2008204120A (ja) コンピュータシステム
CN106960011A (zh) 分布式文件系统元数据管理系统及方法
CN109783564A (zh) 支持多节点的分布式缓存方法及设备
CN110008029B (zh) ceph元数据集群目录分配方法、系统、装置及可读存储介质
CN101727503A (zh) 一种创建磁盘文件系统的方法
CN113590342B (zh) 一种云计算系统中的资源分配方法及系统
CN103412860B (zh) 数据库扩展方法、数据库扩展装置和数据库系统
CN106201921A (zh) 一种缓存分区容量的调整方法及装置
DE202021102315U1 (de) Flexibles Computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426

RJ01 Rejection of invention patent application after publication