CN106776000A - 一种分布式文件系统负载平衡实现方法 - Google Patents

一种分布式文件系统负载平衡实现方法 Download PDF

Info

Publication number
CN106776000A
CN106776000A CN201611011586.7A CN201611011586A CN106776000A CN 106776000 A CN106776000 A CN 106776000A CN 201611011586 A CN201611011586 A CN 201611011586A CN 106776000 A CN106776000 A CN 106776000A
Authority
CN
China
Prior art keywords
metadata
file system
data
storage device
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611011586.7A
Other languages
English (en)
Inventor
李雪生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201611011586.7A priority Critical patent/CN106776000A/zh
Publication of CN106776000A publication Critical patent/CN106776000A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种分布式文件系统负载平衡实现方法，该实现方法如下：依据分布式文件系统的存储设备IO负载统计，分配空闲存储设备的元数据，客户端在根据分配的元数据进行一致性哈希，实现数据IO依据IO压力分布。本发明的一种分布式文件系统负载平衡实现方法和现有技术相比，通过存储设备的IO统计，有效的调整IO压力分布；按照存储设备管理元数据分配表，有效的解决了存储设备处理延时过高的问题。

Description

一种分布式文件系统负载平衡实现方法
技术领域
本发明涉及分布式文件系统IO负载平衡技术领域，具体地说是一种分布式文件系统负载平衡实现方法。
背景技术
分布式文件系统由大量的存储设备组成，当前一般采用一致性哈希控制数据的分布，但是依据名称等原始用户信息并不能很好的控制IO请求的分布，短暂时间内IO分布不均匀，造成存储设备的IO请求不均匀，导致存储设备的处理延时过高。
尤其在小文件应用场景， 对存储设备的IOPS要求高，但带宽数据量小，IO负载不平衡，严重时可能造成个别存储设备的超时处理。
公开的相关专利文件：名称为“一种分布式B+树索引系统及构建方法”，该文件公开了“一种分布式B+树索引系统及构建方法，其特征在于：它包括主服务器、事务服务器机群、索引服务器机群和版本控制服务器；事务服务器机群包括多个事务服务器，索引服务器机群包括多台索引服务器；主服务器负责管理META数据，并对索引服务器机群进行负载平衡调度；事务服务器机群负责对分布式文件系统中索引数据访问的事务控制；索引服务器机群负责管理和读写分布式文件系统中的索引数据。本发明提出了一种细粒度、小网络流量的索引事务机制，由于本发明的事务基本操作是基于B+树的键值粒度，事务基本操作在执行时只需要传输几十个字节的B+树索引键值对，因此本发明有效地实现了并发环境下索引数据的事务功能”。
名称为“一种分布式并行计算的服务器系统及其管理方法”，该文件公开了“一种分布式并行计算的服务器系统及其管理方法，其中系统包括：客户端向分布式并行计算的服务器集群提出计算任务的服务请求；管理服务器根据客户端的服务请求将相关的数据信息分成单元数据并由分布式文件系统存储，对单元数据进行安全处理后，根据任务服务器的当前资源将安全处理过的单元数据分配给相应的任务服务器；任务服务器对分配的经安全处理的单元数据进行解安全处理后，按照指定的计算方式对解安全处理的单元数据完成相应的计算任务，得到计算结果。本发明有效地解决了集群计算的负载平衡问题以及数据传输的带宽问题以及信息安全问题”。
上述公开文件与本发明内容要解决的技术问题，采用的技术手段都不相同。
发明内容
本发明的技术任务是提供一种分布式文件系统负载平衡实现方法。
本发明的技术任务是按以下方式实现的，该实现方法如下：依据分布式文件系统的存储设备IO负载统计，分配空闲存储设备的元数据，客户端在根据分配的元数据进行一致性哈希，实现数据IO依据IO压力分布。
在分布式文件系统元数据分配过程，依据存储设备的IO统计信息，依据IO负载控制选取元数据，通过控制元数据的分配，调整系统的所有存储设备的IO分布；
操作步骤如下：
1）数据会根据元数据分布到不同的存储设备；
2）元数据分配模块依据存储设备分配元数据；
3）存储设备上送IO压力情况；
4）元数据分配模块选取IO压力轻的存储设备；
5）分配压力轻设备相关的元数据。
该方法具体操作步骤如下：
1）客户端写入请求，发送请求到元数据分配模块，申请创建元数据；
2）元数据分配模块依据设备IO压力情况，选取存储设备IO压力最轻的元数据；
3）客户端得到元数据应答，根据元数据信息通过一致性哈希算法完成数据的分布写入，将数据写入到IO压力最轻的存储设备。
本发明的一种分布式文件系统负载平衡实现方法和现有技术相比，通过存储设备的IO统计，有效的调整IO压力分布；按照存储设备管理元数据分配表，有效的解决了存储设备处理延时过高的问题。
附图说明
图1为一种分布式文件系统负载平衡实现方法的流程示意图。
具体实施方式
实施例1：
该分布式文件系统负载平衡实现方法如下：依据分布式文件系统的存储设备IO负载统计，分配空闲存储设备的元数据，客户端在根据分配的元数据进行一致性哈希，实现数据IO依据IO压力分布。
在分布式文件系统元数据分配过程，依据存储设备的IO统计信息，依据IO负载控制选取元数据，通过控制元数据的分配，调整系统的所有存储设备的IO分布；
操作步骤如下：
1）数据会根据元数据分布到不同的存储设备；
2）元数据分配模块依据存储设备分配元数据；
3）存储设备上送IO压力情况；
4）元数据分配模块选取IO压力轻的存储设备；
5）分配压力轻设备相关的元数据。
实施例2：
该分布式文件系统负载平衡实现方法具体操作步骤如下：
1）客户端写入请求，发送请求到元数据分配模块，申请创建元数据；
2）元数据分配模块依据设备IO压力情况，选取存储设备IO压力最轻的元数据；
3）客户端得到元数据应答，根据元数据信息通过一致性哈希算法完成数据的分布写入，将数据写入到IO压力最轻的存储设备。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

Claims (3)

1.一种分布式文件系统负载平衡实现方法，其特征在于，该实现方法如下：依据分布式文件系统的存储设备IO负载统计，分配空闲存储设备的元数据，客户端在根据分配的元数据进行一致性哈希，实现数据IO依据IO压力分布。
2.根据权利要求1所述的一种分布式文件系统负载平衡实现方法，其特征在于，在分布式文件系统元数据分配过程，依据存储设备的IO统计信息，依据IO负载控制选取元数据，通过控制元数据的分配，调整系统的所有存储设备的IO分布；
操作步骤如下：
1）数据会根据元数据分布到不同的存储设备；
2）元数据分配模块依据存储设备分配元数据；
3）存储设备上送IO压力情况；
4）元数据分配模块选取IO压力轻的存储设备；
5）分配压力轻设备相关的元数据。
3.根据权利要求1所述的一种分布式文件系统负载平衡实现方法，其特征在于，该方法具体操作步骤如下：
1）客户端写入请求，发送请求到元数据分配模块，申请创建元数据；
2）元数据分配模块依据设备IO压力情况，选取存储设备IO压力最轻的元数据；
3）客户端得到元数据应答，根据元数据信息通过一致性哈希算法完成数据的分布写入，将数据写入到IO压力最轻的存储设备。
CN201611011586.7A 2016-11-17 2016-11-17 一种分布式文件系统负载平衡实现方法 Pending CN106776000A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611011586.7A CN106776000A (zh) 2016-11-17 2016-11-17 一种分布式文件系统负载平衡实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611011586.7A CN106776000A (zh) 2016-11-17 2016-11-17 一种分布式文件系统负载平衡实现方法

Publications (1)

Publication Number Publication Date
CN106776000A true CN106776000A (zh) 2017-05-31

Family

ID=58969471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611011586.7A Pending CN106776000A (zh) 2016-11-17 2016-11-17 一种分布式文件系统负载平衡实现方法

Country Status (1)

Country Link
CN (1) CN106776000A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692239A (zh) * 2009-10-19 2010-04-07 浙江大学 一种分布式文件系统元数据分配方法
CN102843403A (zh) * 2011-06-23 2012-12-26 盛大计算机（上海）有限公司 基于分布式文件系统的文件处理方法、系统及客户端
CN104156381A (zh) * 2014-03-27 2014-11-19 深圳信息职业技术学院 Hadoop分布式文件系统的副本存取方法、装置和Hadoop分布式文件系统
CN105939387A (zh) * 2016-06-23 2016-09-14 中国南方电网有限责任公司 基于网省地统一调度的多级负载均衡及服务器角色切换方法
CN106131227A (zh) * 2016-08-31 2016-11-16 浪潮(北京)电子信息产业有限公司 负载平衡方法、元数据服务器系统及负载平衡系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692239A (zh) * 2009-10-19 2010-04-07 浙江大学 一种分布式文件系统元数据分配方法
CN102843403A (zh) * 2011-06-23 2012-12-26 盛大计算机（上海）有限公司 基于分布式文件系统的文件处理方法、系统及客户端
CN104156381A (zh) * 2014-03-27 2014-11-19 深圳信息职业技术学院 Hadoop分布式文件系统的副本存取方法、装置和Hadoop分布式文件系统
CN105939387A (zh) * 2016-06-23 2016-09-14 中国南方电网有限责任公司 基于网省地统一调度的多级负载均衡及服务器角色切换方法
CN106131227A (zh) * 2016-08-31 2016-11-16 浪潮(北京)电子信息产业有限公司 负载平衡方法、元数据服务器系统及负载平衡系统

Similar Documents

Publication Publication Date Title
US11762697B2 (en) Method and apparatus for scheduling resource for deep learning framework
CN111813513B (zh) 基于分布式的实时任务调度方法、装置、设备及介质
US11531493B2 (en) Request throttling in distributed storage systems
US10686724B2 (en) Distributed demand-based storage quality of service management using resource pooling
US9910708B2 (en) Promotion of calculations to cloud-based computation resources
CN103761146B (zh) 一种MapReduce动态设定slots数量的方法
US8918474B2 (en) Determining priorities for cached objects to order the transfer of modifications of cached objects based on measured network bandwidth
US8898674B2 (en) Memory databus utilization management system and computer program product
CN108989238A (zh) 一种分配业务带宽的方法以及相关设备
CN104092756A (zh) 一种基于dht机制的云存储系统的资源动态分配方法
CN105577801B (zh) 一种业务加速方法及装置
MY192336A (en) Managing transactions on blockchain networks
US9231922B2 (en) Cloud storage system, data encryption processing device and data encryption method in cloud storage system
CN105657449B (zh) 一种视频转码分配方法、装置及视频转码系统
CN105227489A (zh) 一种带宽管理方法及电子设备
CN103237037A (zh) 基于云计算架构的媒体格式转换方法和系统
CN112445857A (zh) 一种基于数据库的资源配额管理方法和装置
CN104915902A (zh) 一种基于云平台的外卖在线派送实现方法
WO2024016596A1 (zh) 容器集群调度的方法、装置、设备及存储介质
CN107220271A (zh) 一种分布式数字资源存储处理与管理的方法及系统
US10057338B2 (en) Data distribution apparatus, data distribution method, and data distribution program for parallel computing processing system
CN112749002A (zh) 一种集群资源动态管理的方法和装置
CN111435315A (zh) 分配资源的方法、装置、设备和计算机可读介质
CN109213743B (zh) 一种数据查询方法和装置
CN106776000A (zh) 一种分布式文件系统负载平衡实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531