CN107436813A - 一种元数据服务器动态负载均衡的方法及系统 - Google Patents

一种元数据服务器动态负载均衡的方法及系统 Download PDF

Info

Publication number
CN107436813A
CN107436813A CN201710655707.XA CN201710655707A CN107436813A CN 107436813 A CN107436813 A CN 107436813A CN 201710655707 A CN201710655707 A CN 201710655707A CN 107436813 A CN107436813 A CN 107436813A
Authority
CN
China
Prior art keywords
metadata
meta data
data server
resource utilization
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710655707.XA
Other languages
English (en)
Inventor
吴蜀魏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710655707.XA priority Critical patent/CN107436813A/zh
Publication of CN107436813A publication Critical patent/CN107436813A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5022—Workload threshold

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种元数据服务器动态负载均衡的方法及系统，通过检测元数据服务器集群中各元数据服务器的资源利用率；判断各所述元数据服务器对应的所述资源利用率是否大于第一阈值；若是，则向元数据管理模块发送迁移请求，将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的元数据迁移至第二元数据服务器集群中；其中，所述第一阈值为所述资源利用率的最大允许值；所述第二元数据服务器集群为所述元数据服务器集群中所述资源利用率小于所述第一阈值对应的所述元数据服务器的集群。从而实现了元数据在元数据服务器中的动态均匀分布，实现元数据服务器的动态负载均衡，提高了元数据服务器的性能。

Description

一种元数据服务器动态负载均衡的方法及系统
技术领域
本发明涉及分布式集群元数据服务器领域，特别是涉及一种元数据服务器动态负载均衡的方法及系统。
背景技术
随着互联网的发展以及互联网用户的增加，互联网中的数据也急剧膨胀。每天产生的数据量数以万计，单个计算机受内存和cpu等硬件的限制，已无法满足存储和计算要求。
海量数据存储应运而生，其中，分布式文件系统是海量存储的重要技术。分布式文件系统将数据存储在物理分散的多个存储节点上，对这些节点的资源进行统一的管理与分配，并提供用户访问文件系统的接口。通过分布式文件系统，海量数据存储系统可以轻松地存储PB级数据。分布式集群充分利用分布式的优越性，解决大数据的存储和分析问题。
分布式集群采用主从式结构，由控制节点(元数据服务器)和节点组成，它们分别具有存储元数据和数据的功能。元数据服务器管理数据的位置，以及何处存储新数据。
请参考图1，图1为现有技术中分布式集群存储系统的结构示意图。
其中，用户通过客户端发送访问数据请求，通过元数据管理模块获得数据存储的实际位置等信息，并且通过返回的元数据信息获得实际数据信息。
当存储系统中出现某个热点文件时，客户端会频繁访问该文件，从而导致被访问的元数据所在的元数据服务器负载不均衡。因此，该元数据服务器的可用性就不高。由于未能很好地处理元数据服务器的负载均衡问题，目前，现有的分布式集群存储系统的元数据存储架构上一直存在读写延迟高及可用性等性能问题。
因此，如何提供一种元数据服务器的负载均衡方案，能够使元数据服务器负载均衡，从而保证元数据服务器的性能，是本领域的技术人员目前需要解决的技术问题。
发明内容
本发明的目的是提供一种元数据服务器动态负载均衡的方法及系统，能够使元数据服务器实现动态的负载均衡，从而保证元数据服务器的性能。
为解决上述技术问题，本发明提供了如下技术方案：
一种元数据服务器动态负载均衡的方法，包括：
检测元数据服务器集群中各元数据服务器的资源利用率；
判断各所述元数据服务器对应的所述资源利用率是否大于第一阈值；
若是，则向元数据管理模块发送迁移请求，将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的元数据迁移至第二元数据服务器集群中；
其中，所述第一阈值为所述资源利用率的最大允许值；所述第二元数据服务器集群为所述元数据服务器集群中所述资源利用率小于所述第一阈值对应的所述元数据服务器的集群。
优选地，所述检测元数据服务器集群中各元数据服务器的资源利用率包括：
获取各所述元数据服务器的cpu利用率、内存利用率、IO吞吐量以及磁盘利用率；
由所述cpu利用率、所述内存利用率、所述IO吞吐量以及所述磁盘利用率和所述cpu利用率的权重、所述内存利用率的权重、所述IO吞吐量的权重以及所述磁盘利用率的权重计算得出所述资源利用率。
优选地，所述将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的元数据迁移至第二元数据服务器集群中包括：
将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的热点元数据迁移至第二元数据服务器集群中；其中，所述热点元数据为访问次数大于第二阈值的所述元数据。
优选地，所述将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的热点元数据迁移至第二元数据服务器集群中包括：
将所述资源利用率大于所述第一阈值对应的所述元数据服务器中超出第三阈值相应数量的所述热点元数据迁移至所述第二元数据服务器集群中；其中，所述第三阈值为当所述资源利用率小于所述第一阈值时，所述资源利用率对应的所述元数据服务器中的所述热点元数据的数量的最大允许值。
优选地，所述方法还包括：
所述元数据管理模块将所述元数据进行缓存。
一种元数据服务器动态负载均衡的系统，包括：
检测单元，用于检测元数据服务器集群中各元数据服务器的资源利用率；
判断单元，用于判断各所述元数据服务器对应的所述资源利用率是否大于第一阈值；
发送单元，用于在判断单元判断所述元数据服务器对应的所述资源利用率大于所述第一阈值时，向元数据管理模块发送迁移请求；
迁移单元，用于将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的元数据迁移至第二元数据服务器集群中；
其中，所述第一阈值为所述资源利用率的最大允许值；所述第二元数据服务器集群为所述元数据服务器集群中所述资源利用率小于所述第一阈值对应的所述元数据服务器的集群。
优选地，所述检测单元包括：
获取子单元，用于获取各所述元数据服务器的cpu利用率、内存利用率、IO吞吐量以及磁盘利用率；
计算子单元，用于根据所述获取子单元获取的所述cpu利用率、所述内存利用率、所述IO吞吐量以及所述磁盘利用率和所述cpu利用率的权重、所述内存利用率的权重、所述IO吞吐量的权重以及所述磁盘利用率的权重计算得出所述资源利用率。
优选地，所述迁移单元包括：
热点元数据迁移子单元，用于将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的热点元数据迁移至第二元数据服务器集群中；其中，所述热点元数据为访问次数大于第二阈值的所述元数据。
优选地，所述热点元数据迁移子单元包括：
热点元数据迁移模块，用于将所述资源利用率大于所述第一阈值对应的所述元数据服务器中超出第三阈值相应数量的所述热点元数据迁移至所述第二元数据服务器集群中；其中，所述第三阈值为当所述资源利用率小于所述第一阈值时，所述资源利用率对应的所述元数据服务器中的所述热点元数据的数量的最大允许值。
优选地，所述系统还包括：
缓存单元，用于将所述元数据进行缓存。
与现有技术相比，上述技术方案具有以下优点：
本发明提供了一种元数据服务器动态负载均衡的方法，该方法通过检测元数据服务器集群中各元数据服务器的资源利用率，判断各所述元数据服务器对应的所述资源利用率是否大于第一阈值，若所述资源利用率大于所述第一阈值，则表明该元数据服务器的负载较高。此时，向元数据管理模块发送迁移请求，将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的元数据迁移至所述资源利用率小于所述第一阈值对应的所述元数据服务器中，即第二元数据服务器集群中。其中，所述第一阈值为所述资源利用率的最大允许值。从而实现了元数据的动态分布，使资源利用率高于第一阈值的元数据服务器的负载降低，元数据服务器集群中各元数据服务器的负载较为均衡。采用该方法，使得分布式集群的元数据服务器实现了动态的负载均衡，提高了集群的元数据服务器性能。
本发明还提供了一种元数据服务器动态负载均衡的系统，包括上述方法所具有的优点，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中分布式集群存储系统的结构示意图；
图2为本发明具体实施方式一所提供的元数据服务器动态负载均衡的方法的流程图；
图3为本发明具体实施方式二所提供的元数据服务器动态负载均衡的方法的流程图；
图4为本发明具体实施方式三所提供的元数据服务器动态负载均衡的分布式集群存储系统示意图；
图5为本发明具体实施方式四所提供的元数据服务器动态负载均衡的系统的结构示意图；
图6为本发明具体实施方式五所提供的元数据服务器动态负载均衡的系统的结构示意图。
具体实施方式
本发明的核心是提供一种元数据服务器动态负载均衡的方法及系统，使得分布式集群的元数据服务器实现动态负载均衡，提高元数据服务器的性能。
为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施的限制。
请参考图2，图2为本发明具体实施方式一所提供的元数据服务器动态负载均衡的方法的流程图，该方法包括：
步骤101：检测元数据服务器集群中各元数据服务器的资源利用率；
元数据解析模块对于元数据服务器集群中的每个元数据服务器的资源利用率进行检测，根据元数据服务器的资源利用率数值的大小来对元数据服务器的负载状态进行判断。影响元数据服务器性能的一个重要原因是该元数据服务器的负载状态，当元数据服务器的负载过高时，其性能较差；元数据服务器负载较低时，其性能较好。
通过检测元数据服务器的资源利用率，来进行元数据服务器负载状态以及性能的分析，根据分析的结果可进行后续操作，从而使集群中元数据服务器的负载实现动态均衡。
具体地，元数据服务器的资源利用率可以为根据元数据服务器的各项参数及各项参数的权重计算得出的，例如，根据元数据服务器的cpu利用率、内存利用率、IO吞吐量以及磁盘利用率和cpu利用率的权重、内存利用率的权重、IO吞吐量的权重以及磁盘利用率的权重计算得出该元数据服务器的资源利用率。其中，各项参数的权重可以结合分布式文件系统的实际需求而设置。
步骤102：判断各元数据服务器对应的资源利用率是否大于第一阈值；
其中，第一阈值为元数据服务器的资源利用率的最大允许值。
检测到各元数据服务器的资源利用率后，判断资源利用率的数值是否大于第一阈值，若资源利用率大于第一阈值，则表明该资源利用率对应的元数据服务器负载较高，性能较差；若资源利用率小于第一阈值，则表明该资源利用率对应的元数据服务器的负载较低，性能较好。
步骤103：向元数据管理模块发送迁移请求，将资源利用率大于第一阈值对应的元数据服务器中的元数据迁移至第二元数据服务器集群中。
其中，第二元数据服务器集群为元数据服务器集群中资源利用率小于第一阈值对应的元数据服务器的集群。
当元数据服务器的资源利用率大于第一阈值时，表明该元数据服务器中的负载较高，为了使元数据服务器负载均衡，需要将该元数据服务器中的元数据迁出，以达到降低该元数据服务器的负载的目的。资源利用率低于第一阈值对应的元数据服务器可以作为负载较高的元数据服务器中的元数据迁出的对象。
元数据解析模块向元数据管理模块发送迁移请求，将资源利用率大于第一阈值对应的元数据服务器中的元数据迁移至第二元数据服务器中，使得集群中元数据服务器的负载均衡。
需要说明的是，负载较高的元数据服务器中的元数据可以迁出到多个负载较低的元数据服务器中。例如，负载较高的元数据服务器需要迁出五个元数据，则可以选择全部迁出到一个负载较低的元数据服务器中，或分别迁出到五个负载较低的元数据服务器中。当然，也可以选择迁出到两个、三个或四个负载较低的元数据服务器中。其中，负载较高的元数据服务器中的元数据迁出的数量可以根据该元数据服务器的资源利用率与第一阈值的大小关系而定，负载较低的元数据服务器对于迁入元数据的负荷能力也可以根据其对应的资源利用率与第一阈值的大小关系而定。
负载较高的元数据服务器中的元数据迁出之后，元数据服务器集群中的各元数据服务器的资源利用率都小于第一阈值，且较为均衡。在分布式集群存储系统的工作过程中，元数据解析模块一直对集群中的元数据服务器的资源利用率进行检测，当某个元数据服务器上的元数据被访问频繁而导致该元数据服务器的负载较高时，就将其上的元数据迁出至其他负载较低的元数据服务器中，从而实现集群中元数据服务器的动态负载均衡。
本具体实施方式提供了一种元数据服务器动态负载均衡的方法，通过检测元数据服务器集群中各元数据服务器的资源利用率，并判断各元数据服务器的资源利用率是否大于第一阈值，若资源利用率大于第一阈值，则说明该资源利用率对应的元数据服务器的负载较高，需要降低其负载。元数据解析模块向元数据管理模块发送迁移请求，将负载较高的元数据服务器上的元数据迁出至负载较低的元数据服务器中，从而实现集群中元数据服务器的动态负载均衡，提高了元数据服务器的性能，并充分利用空闲资源。
请参考图3，图3为本发明具体实施方式二所提供的元数据服务器动态负载均衡的方法的流程图，该方法包括：
步骤201：获取各元数据服务器的cpu利用率、内存利用率、IO吞吐量以及磁盘利用率；
步骤202：由cpu利用率、内存利用率、IO吞吐量以及磁盘利用率和cpu利用率的权重、内存利用率的权重、IO吞吐量的权重以及磁盘利用率的权重计算得出资源利用率；
获取各元数据服务器的cpu利用率、内存利用率、IO吞吐量以及磁盘利用率后，根据cpu利用率、内存利用率、IO吞吐量以及磁盘利用率和各项的权重计算得出各元数据服务器的资源利用率。其中，各项参数的权重为根据系统的实际需求预先设置的。例如，某个元数据服务器的cpu利用率为a、内存利用率为b、IO吞吐量为c以及磁盘利用率为d，cpu利用率的权重为0.3、内存利用率的权重为0.4、IO吞吐量的权重为0.2以及磁盘利用率的权重为0.1，那么该元数据服务器的资源利用率＝0.3*a+0.4*b+0.2*c+0.1*d。其中，元数据服务器的cpu利用率、内存利用率、IO吞吐量以及磁盘利用率的数值会随着其工作状态的变化而变化，各项参数对应的权重一般为固定不变的，上述例子中的数值只是为了表明资源利用率的计算方式，并不一定为实际取值。
步骤203：判断各元数据服务器对应的资源利用率是否大于第一阈值；
判断元数据服务器的资源利用率大于第一阈值时，表明该元数据服务器的负载较高，性能较差，需要将该元数据服务器中的元数据迁出以降低负载，此时执行步骤204；判断元数据服务器的资源利用率小于第一阈值时，表明该元数据服务器的负载较低，性能较好，可以作为负载较高的元数据服务器中元数据迁出的对象。
步骤204：向元数据管理模块发送迁移请求，将资源利用率大于第一阈值对应的元数据服务器中的热点元数据迁移至第二元数据服务器群中。
其中，第二元数据服务器集群为元数据服务器集群中资源利用率小于第一阈值对应的元数据服务器的集群；所述热点元数据为访问次数大于第二阈值的元数据。
当存储系统中出现某个热点文件时，客户端频繁访问该文件，从而出现热点元数据，可能导致该元数据所在元数据服务器负载不均衡。具体地，热点元数据为访问次数大于第二阈值的元数据，第二阈值为根据元数据服务器集群中的所有元数据的访问次数设置的参考值。例如，元数据解析模块可以对元数据集合的访问次数进行排序，将处于前25％的元数据定义为热点元数据。
热点元数据是引起元数据服务器负载不均衡的一个重要因素，因此，当某个元数据服务器的负载较高时，元数据解析模块向元数据管理模块发送迁移请求，将该负载较高的元数据服务器中的热点元数据迁出至第二元数据服务器集群中，即可有效降低该负载较高的元数据服务器的负载。
其中，负载较高的元数据服务器中需要迁出的热点元数据的数目可以根据该元数据服务器的资源利用率与第一阈值的大小关系而定，第二元数据服务器集群中负载较低的元数据服务器接收热点元数据的负荷能力也可以根据其对应的资源利用率与第一阈值的大小关系而定。当负载较高的元数据服务器中需要迁出的热点元数据数量大于一个时，该元数据服务器中的热点元数据可以迁出到多个负载较低的元数据服务器中。具体的迁移过程可以根据负载较高的元数据服务器中需要迁出的热点元数据的数量以及负载较低的元数据服务器接收热点元数据的能力而定。
本申请具体实施方式提供了一种元数据服务器动态负载均衡的方法，当元数据服务器负载较高时，将元数据服务器上的热点元数据进行迁移，有效降低了负载较高的元数据服务器的负载，提高了集群的元数据服务器性能。
在本申请其他实施例中，可以将负载较高的元数据服务器中超出第三阈值相应数量的热点元数据迁移至负载较低的第二元数据服务器集群中。其中，第三阈值为该元数据服务器的资源利用率小于第一阈值时，该元数据服务器中的热点元数据的数量的最大允许值。例如，某一元数据服务器中热点元数据的数量的最大允许值为十个，当该元数据服务器中含有十个热点元数据时，其对应的资源利用率小于第一阈值；当该元数据服务器中含有十一个热点元数据时，其对应的资源利用率大于第一阈值。因此，当该元数据服务器中的热点元数据的数量大于十个时，该元数据服务器的负载会较高，将多出十个的那部分热点元数据迁出至负载较低的元数据服务器，即可有效降低该元数据服务器的负载。
采用该方法可以有效降低负载较高的元数据服务器的负载，使元数据在考虑节点性能及负载的情况下，实现了动态分布，使该集群中元数据服务器实现动态负载均衡，提高了集群的元数据服务器性能。
请参考图4，图4为本发明具体实施方式三所提供的元数据服务器动态负载均衡的分布式集群存储系统示意图。
集群由客户端、数据节点以及元数据服务器组成，同时在元数据管理模块增添了元数据缓存功能，即在元数据管理模块中加入元数据客户端缓存模块，并在元数据服务器模块加入元数据服务器解析模块实现元数据存储的动态负载均衡。
起始状态，客户端访问元数据时，首先通过元数据管理模块中的全局映射表寻找，找到即进行元数据操作，否则根据文件目录进行哈希运算得到元数据服务器地址，并将该映射存入全局映射表中。
根据局部性原理，如果访问了同一目录下的一个文件，那么该目录下的其他文件有很大的可能被访问到。因此，每次访问元数据服务器获取元数据信息时，可以同时获取同一目录下的其他文件数据，保存到缓存区中，若缓存区满，则覆盖缓存区原有数据，从而提高了客户端查询元数据的效率。
本申请具体实施方式提供了一种元数据服务器动态负载均衡的方法，通过元数据服务器解析模块和客户端缓存模块，使得分布式集群的元数据服务器实现了动态负载均衡，提高了集群的元数据服务器性能以及存储系统的读写能力。
请参考图5，图5为本发明具体实施方式四所提供的元数据服务器动态负载均衡的系统的结构示意图，该系统包括：
检测单元301，用于检测元数据服务器集群中各元数据服务器的资源利用率；
判断单元302，用于判断各元数据服务器的资源利用率是否大于第一阈值；
其中，第一阈值为元数据服务器中资源利用率的最大允许值。
发送单元303，用于在判断单元302判断元数据服务器的资源利用率大于第一阈值时，向元数据管理模块发送迁移请求；
迁移单元304，用于将资源利用率大于第一阈值对应的元数据服务器中的元数据迁移至第二元数据服务器集群中。
其中，第二元数据服务器集群为资源利用率小于第一阈值的元数据服务器的集群。
本申请具体实施方式提供了一种元数据服务器动态负载均衡的系统，判断单元302对检测单元301检测到的各元数据服务器的资源利用率是否大于第一阈值进行判断，判断资源利用率大于第一阈值时，发送单元303向元数据管理模块发送迁移请求，迁移单元304将资源利用率大于第一阈值对应的元数据服务器中的元数据迁移至第二元数据服务器集群中。该系统实现了元数据服务器的动态负载均衡，提高了元数据服务器的性能。
需要说明的是，本具体实施方式中的元数据服务器动态负载均衡的系统中的各个单元，其工作过程请参考图2对应的具体实施方式，在此不再赘述。
请参考图6，图6为本发明具体实施方式五所提供的元数据服务器动态负载均衡的系统的结构示意图，该系统包括：
检测单元301、判断单元302、发送单元303和迁移单元304；
其中，检测单元301包括：
获取子单元3011，用于获取各元数据服务器的cpu利用率、内存利用率、IO吞吐量以及磁盘利用率；
计算子单元3012，用于根据获取子单元3011获取的cpu利用率、内存利用率、IO吞吐量以及磁盘利用率和cpu利用率的权重、内存利用率的权重、IO吞吐量的权重以及磁盘利用率的权重计算得出资源利用率。
迁移单元304包括：
热点元数据迁移子单元3041，用于将资源利用率大于第一阈值对应的元数据服务器中的热点元数据迁移至第二元数据服务器集群中。
可选地，热点元数据迁移子单元3041包括：
热点元数据迁移模块30411，用于将资源利用率大于第一阈值对应的元数据服务器中超出第三阈值相应数量的热点元数据迁移至第二元数据服务器集群中。
本申请具体实施方式提供了一种元数据服务器动态负载均衡的系统，获取子单元3011获取元数据服务器的cpu利用率、内存利用率、IO吞吐量以及磁盘利用率，计算子单元3012根据获取子单元3011获取的各项参数及各项参数的权重计算得出资源利用率，判断单元302判断资源利用率大于第一阈值时，发送单元303向元数据管理模块发送迁移请求，热点元数据迁移子单元3041将资源利用率大于第一阈值对应的元数据服务器中的热点元数据迁移至第二元数据服务器集群中。从而有效降低了负载较高的元数据服务器的负载，实现了元数据服务器的动态负载均衡，提高了元数据服务器的性能。
需要说明的是，本具体实施方式中的元数据服务器动态负载均衡的系统中的各个单元，其工作过程请参考图3对应的具体实施方式，在此不再赘述。
本发明的另一具体实施方式提供了一种元数据服务器动态负载均衡的系统，除了上述具体实施方式中提到的单元外，还包括：
缓存单元，用于缓存元数据信息。
根据局部性原理，如果访问了同一目录下的一个文件，那么该目录下的其他文件有很大的可能被访问到。因此，每次访问元数据服务器获取元数据信息时，可以同时获取同一目录下的其他文件数据，保存到缓存区中，若缓存区满，则覆盖缓存区原有数据，从而提高了客户端查询元数据的效率以及存储系统的读写能力。
需要说明的是，本具体实施方式中的元数据服务器动态负载均衡的系统中的各个单元，其工作过程请参考图4对应的具体实施方式，在此不再赘述。
以上对本发明所提供的一种元数据服务器动态负载均衡的方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种元数据服务器动态负载均衡的方法，其特征在于，包括：
检测元数据服务器集群中各元数据服务器的资源利用率；
判断各所述元数据服务器对应的所述资源利用率是否大于第一阈值；
若是，则向元数据管理模块发送迁移请求，将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的元数据迁移至第二元数据服务器集群中；
其中，所述第一阈值为所述资源利用率的最大允许值；所述第二元数据服务器集群为所述元数据服务器集群中所述资源利用率小于所述第一阈值对应的所述元数据服务器的集群。
2.根据权利要求1所述的方法，其特征在于，所述检测元数据服务器集群中各元数据服务器的资源利用率包括：
获取各所述元数据服务器的cpu利用率、内存利用率、IO吞吐量以及磁盘利用率；
由所述cpu利用率、所述内存利用率、所述IO吞吐量以及所述磁盘利用率和所述cpu利用率的权重、所述内存利用率的权重、所述IO吞吐量的权重以及所述磁盘利用率的权重计算得出所述资源利用率。
3.根据权利要求2所述的方法，其特征在于，所述将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的元数据迁移至第二元数据服务器集群中包括：
将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的热点元数据迁移至第二元数据服务器集群中；其中，所述热点元数据为访问次数大于第二阈值的所述元数据。
4.根据权利要求3所述的方法，其特征在于，所述将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的热点元数据迁移至第二元数据服务器集群中包括：
将所述资源利用率大于所述第一阈值对应的所述元数据服务器中超出第三阈值相应数量的所述热点元数据迁移至所述第二元数据服务器集群中；其中，所述第三阈值为当所述资源利用率小于所述第一阈值时，所述资源利用率对应的所述元数据服务器中的所述热点元数据的数量的最大允许值。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述方法还包括：
所述元数据管理模块将所述元数据进行缓存。
6.一种元数据服务器动态负载均衡的系统，其特征在于，包括：
检测单元，用于检测元数据服务器集群中各元数据服务器的资源利用率；
判断单元，用于判断各所述元数据服务器对应的所述资源利用率是否大于第一阈值；
发送单元，用于在判断单元判断所述元数据服务器对应的所述资源利用率大于所述第一阈值时，向元数据管理模块发送迁移请求；
迁移单元，用于将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的元数据迁移至第二元数据服务器集群中；
其中，所述第一阈值为所述资源利用率的最大允许值；所述第二元数据服务器集群为所述元数据服务器集群中所述资源利用率小于所述第一阈值对应的所述元数据服务器的集群。
7.根据权利要求6所述的系统，其特征在于，所述检测单元包括：
获取子单元，用于获取各所述元数据服务器的cpu利用率、内存利用率、IO吞吐量以及磁盘利用率；
计算子单元，用于根据所述获取子单元获取的所述cpu利用率、所述内存利用率、所述IO吞吐量以及所述磁盘利用率和所述cpu利用率的权重、所述内存利用率的权重、所述IO吞吐量的权重以及所述磁盘利用率的权重计算得出所述资源利用率。
8.根据权利要求7所述的系统，其特征在于，所述迁移单元包括：
热点元数据迁移子单元，用于将所述资源利用率大于所述第一阈值对应的所述元数据服务器中的热点元数据迁移至第二元数据服务器集群中；其中，所述热点元数据为访问次数大于第二阈值的所述元数据。
9.根据权利要求8所述的系统，其特征在于，所述热点元数据迁移子单元包括：
热点元数据迁移模块，用于将所述资源利用率大于所述第一阈值对应的所述元数据服务器中超出第三阈值相应数量的所述热点元数据迁移至所述第二元数据服务器集群中；其中，所述第三阈值为当所述资源利用率小于所述第一阈值时，所述资源利用率对应的所述元数据服务器中的所述热点元数据的数量的最大允许值。
10.根据权利要求6-9任意一项所述的系统，其特征在于，所述系统还包括：
缓存单元，用于将所述元数据进行缓存。
CN201710655707.XA 2017-08-03 2017-08-03 一种元数据服务器动态负载均衡的方法及系统 Pending CN107436813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710655707.XA CN107436813A (zh) 2017-08-03 2017-08-03 一种元数据服务器动态负载均衡的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710655707.XA CN107436813A (zh) 2017-08-03 2017-08-03 一种元数据服务器动态负载均衡的方法及系统

Publications (1)

Publication Number Publication Date
CN107436813A true CN107436813A (zh) 2017-12-05

Family

ID=60460945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710655707.XA Pending CN107436813A (zh) 2017-08-03 2017-08-03 一种元数据服务器动态负载均衡的方法及系统

Country Status (1)

Country Link
CN (1) CN107436813A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710540A (zh) * 2018-05-23 2018-10-26 深信服网络科技（深圳）有限公司 一种分布式集群中的资源调度方法、装置及设备
CN108733493A (zh) * 2018-05-25 2018-11-02 北京车和家信息技术有限公司 资源利用率的计算方法、计算装置及计算机可读存储介质
CN108900626A (zh) * 2018-07-18 2018-11-27 中国联合网络通信集团有限公司 一种云环境下数据存储方法、装置及系统
CN109032803A (zh) * 2018-08-01 2018-12-18 阿里巴巴集团控股有限公司 数据处理方法和装置、客户端
CN109922008A (zh) * 2019-03-21 2019-06-21 新华三信息安全技术有限公司 一种报文发送方法及装置
CN110399252A (zh) * 2019-07-19 2019-11-01 广东浪潮大数据研究有限公司 一种数据备份方法、装置、设备及计算机可读存储介质
CN110891183A (zh) * 2018-09-11 2020-03-17 中兴通讯股份有限公司 频道共享方法、设备和计算机可读存储介质
CN110995856A (zh) * 2019-12-16 2020-04-10 上海米哈游天命科技有限公司 一种服务器扩展的方法、装置、设备及存储介质
CN113485825A (zh) * 2021-05-25 2021-10-08 特瓦特能源科技有限公司 一种服务器负载均衡方法及相关设备
CN113760472A (zh) * 2020-06-03 2021-12-07 北京沃东天骏信息技术有限公司 推数任务调度的方法和装置
CN113923216A (zh) * 2021-09-29 2022-01-11 阿里巴巴（中国）有限公司 一种分布式集群限流系统及方法和分布式集群节点
CN114124969A (zh) * 2021-11-25 2022-03-01 广州市昊链信息科技股份有限公司 一种数据复制方法、装置、设备以及存储介质
CN114928752A (zh) * 2022-05-13 2022-08-19 中国广电广州网络股份有限公司 视频点播节目动态调整方法
CN115277710A (zh) * 2022-05-31 2022-11-01 马上消费金融股份有限公司 资源管理方法、装置、电子设备以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697168A (zh) * 2009-10-22 2010-04-21 中国科学技术大学 一种分布式文件系统动态元数据管理方法及系统
CN101697526A (zh) * 2009-10-10 2010-04-21 中国科学技术大学 分布式文件系统中元数据管理的负载均衡方法及其系统
CN102523158A (zh) * 2011-12-15 2012-06-27 杭州电子科技大学 一种基于权重的元数据服务器集群负载均衡方法
CN103036994A (zh) * 2012-12-18 2013-04-10 曙光信息产业(北京)有限公司 实现负载均衡的云存储系统
EP2702502A1 (en) * 2011-04-29 2014-03-05 Tata Consultancy Services Ltd. Archival storage and retrieval system
CN103763365A (zh) * 2014-01-16 2014-04-30 浪潮(北京)电子信息产业有限公司 一种云存储下元数据服务的负载均衡方法及系统
CN104796496A (zh) * 2015-05-12 2015-07-22 国网智能电网研究院 一种基于云存储的负载均衡计算方法
CN106161120A (zh) * 2016-10-08 2016-11-23 电子科技大学 动态均衡负载的分布式元数据管理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697526A (zh) * 2009-10-10 2010-04-21 中国科学技术大学 分布式文件系统中元数据管理的负载均衡方法及其系统
CN101697168A (zh) * 2009-10-22 2010-04-21 中国科学技术大学 一种分布式文件系统动态元数据管理方法及系统
EP2702502A1 (en) * 2011-04-29 2014-03-05 Tata Consultancy Services Ltd. Archival storage and retrieval system
CN102523158A (zh) * 2011-12-15 2012-06-27 杭州电子科技大学 一种基于权重的元数据服务器集群负载均衡方法
CN103036994A (zh) * 2012-12-18 2013-04-10 曙光信息产业(北京)有限公司 实现负载均衡的云存储系统
CN103763365A (zh) * 2014-01-16 2014-04-30 浪潮(北京)电子信息产业有限公司 一种云存储下元数据服务的负载均衡方法及系统
CN104796496A (zh) * 2015-05-12 2015-07-22 国网智能电网研究院 一种基于云存储的负载均衡计算方法
CN106161120A (zh) * 2016-10-08 2016-11-23 电子科技大学 动态均衡负载的分布式元数据管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙耀 等: "分布式文件系统元数据服务的负载均衡框架", 《软件学报》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710540A (zh) * 2018-05-23 2018-10-26 深信服网络科技（深圳）有限公司 一种分布式集群中的资源调度方法、装置及设备
CN108733493A (zh) * 2018-05-25 2018-11-02 北京车和家信息技术有限公司 资源利用率的计算方法、计算装置及计算机可读存储介质
CN108900626A (zh) * 2018-07-18 2018-11-27 中国联合网络通信集团有限公司 一种云环境下数据存储方法、装置及系统
CN109032803A (zh) * 2018-08-01 2018-12-18 阿里巴巴集团控股有限公司 数据处理方法和装置、客户端
US11233878B2 (en) 2018-08-01 2022-01-25 Advanced New Technologies Co., Ltd. Data processing method, apparatus, and client device
CN110891183A (zh) * 2018-09-11 2020-03-17 中兴通讯股份有限公司 频道共享方法、设备和计算机可读存储介质
CN109922008B (zh) * 2019-03-21 2022-06-21 新华三信息安全技术有限公司 一种报文发送方法及装置
CN109922008A (zh) * 2019-03-21 2019-06-21 新华三信息安全技术有限公司 一种报文发送方法及装置
CN110399252A (zh) * 2019-07-19 2019-11-01 广东浪潮大数据研究有限公司 一种数据备份方法、装置、设备及计算机可读存储介质
CN110995856A (zh) * 2019-12-16 2020-04-10 上海米哈游天命科技有限公司 一种服务器扩展的方法、装置、设备及存储介质
CN110995856B (zh) * 2019-12-16 2022-09-13 上海米哈游天命科技有限公司 一种服务器扩展的方法、装置、设备及存储介质
CN113760472A (zh) * 2020-06-03 2021-12-07 北京沃东天骏信息技术有限公司 推数任务调度的方法和装置
CN113485825A (zh) * 2021-05-25 2021-10-08 特瓦特能源科技有限公司 一种服务器负载均衡方法及相关设备
CN113923216A (zh) * 2021-09-29 2022-01-11 阿里巴巴（中国）有限公司 一种分布式集群限流系统及方法和分布式集群节点
CN113923216B (zh) * 2021-09-29 2023-12-15 阿里巴巴（中国）有限公司 一种分布式集群限流系统及方法和分布式集群节点
CN114124969A (zh) * 2021-11-25 2022-03-01 广州市昊链信息科技股份有限公司 一种数据复制方法、装置、设备以及存储介质
CN114928752A (zh) * 2022-05-13 2022-08-19 中国广电广州网络股份有限公司 视频点播节目动态调整方法
CN114928752B (zh) * 2022-05-13 2023-08-18 中国广电广州网络股份有限公司 视频点播节目动态调整方法
CN115277710A (zh) * 2022-05-31 2022-11-01 马上消费金融股份有限公司 资源管理方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN107436813A (zh) 一种元数据服务器动态负载均衡的方法及系统
US10581957B2 (en) Multi-level data staging for low latency data access
CN102523158B (zh) 一种基于权重的元数据服务器集群负载均衡方法
US10223431B2 (en) Data stream splitting for low-latency data access
CN104348679B (zh) 一种分桶测试的方法、装置和系统
CN103595780B (zh) 基于消重的云计算资源调度方法
CN104023088B (zh) 一种应用于分布式文件系统的存储服务器选择方法
CN108509275B (zh) 一种目录迁移方法和元数据负载均衡方法
CN107145307A (zh) 一种基于分布式存储的动态元数据优化方法和系统
CN106161120A (zh) 动态均衡负载的分布式元数据管理方法
CN112860695B (zh) 监控数据查询方法、装置、设备、存储介质及程序产品
CN103139302A (zh) 考虑负载均衡的实时副本调度方法
CN103412884B (zh) 一种异构存储介质下嵌入式数据库的管理方法
CN103077197A (zh) 一种数据存储方法装置
CN104063501B (zh) 基于hdfs的副本平衡方法
CN107426332A (zh) 一种web服务器集群的负载均衡方法及系统
CN103207920A (zh) 一种元数据并行采集系统
CN106648456A (zh) 基于用户访问量以及预测机制的动态副本文件访问方法
WO2020134364A1 (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
CN107291539A (zh) 基于资源重要程度的集群程序调度方法
CN108319652A (zh) 一种基于hdfs的电梯数据的列式文件存储系统及方法
CN109918450A (zh) 基于分析类场景下的分布式并行数据库及存储方法
CN105577806B (zh) 一种分布式缓存方法及系统
CN106326012A (zh) web应用集群缓存利用方法和系统
CN107395708A (zh) 一种处理下载请求的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171205

RJ01 Rejection of invention patent application after publication