CN102523158B - 一种基于权重的元数据服务器集群负载均衡方法 - Google Patents

一种基于权重的元数据服务器集群负载均衡方法 Download PDF

Info

Publication number
CN102523158B
CN102523158B CN201110420241.8A CN201110420241A CN102523158B CN 102523158 B CN102523158 B CN 102523158B CN 201110420241 A CN201110420241 A CN 201110420241A CN 102523158 B CN102523158 B CN 102523158B
Authority
CN
China
Prior art keywords
meta data
load
data server
server
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110420241.8A
Other languages
English (en)
Other versions
CN102523158A (zh
Inventor
徐向华
钱伟
张纪林
万健
殷昱煜
蒋从锋
任永坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201110420241.8A priority Critical patent/CN102523158B/zh
Publication of CN102523158A publication Critical patent/CN102523158A/zh
Application granted granted Critical
Publication of CN102523158B publication Critical patent/CN102523158B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于权重的元数据服务器集群负载均衡方法。元数据服务器是对象存储系统的重要组成部分，扮演管理文件系统名字空间、控制用户访问和映射文件物理存储位置的角色。本发明通过收集元数据服务并行处理的服务请求数和平均操作延时，利用最小二乘法对两者的映射关系曲线进行线性拟合，将拟合曲线斜率值的倒数作为元数据服务器的固有性能；通过对工作负载根据元数据服务器的固有性能作为权重进行按比例分配,使其支持异构元数据服务器集群。本发明方法开销小、动态调整工作负载、元数据服务器集群在设备异构情况下保持负载均衡。

Description

一种基于权重的元数据服务器集群负载均衡方法
技术领域
本发明属于网络存储中元数据服务器(MDS， MetaData Server)技术领域，特别是涉及一种基于权重的MDS集群动态负载均衡方法。
背景技术
对象存储(OBS， Object-based Storage)技术将文件数据和元数据分开存储，综合传统NAS和SAN的优点，同时具备SAN的快速访问和NAS的跨平台数据共享等优势。同时对象存储设备(OSD， Object-based Device)本身具备智能管理功能。因此OBS系统具有高性能、可扩展、高可用性和强安全性等特点。OBS系统主要由三部分组成，分别为客户端、MDS集群和OSD集群。其中MDS在对象存储系统中名字空间、控制用户访问和映射文件物理存储位置的角色。虽然单个元数据数据量很小，但涉及文件元数据的操作却非常频繁。元数据处理能力是整个对象存储系统高效运作的重要一环。以Hadoop和Lustre为代表的集中式元数据处理方案存在单点故障和性能瓶颈的问题。为了保证OBS系统元数据的处理能力，由多台MDS服务器协同合作构成MDS集群的分布式处理方案是发展方向。
为了在有限资源下最大化MDS集群元数据处理能力，防止任意MDS成为系统瓶颈，MDS之间的负载均衡就显得非常重要。MDS集群负载均衡方面的研究主要集中在数据分区和服务器性能评估两个方面。
数据分区主要研究文件系统元数据在MDS中的分布问题，主要有以NFS和Ceph为代表的目录子树分区和zFS和Lazy Hybrid为代表的Hash分布。
1.目录子树分区的优点是利用了文件访问的局部性原理，能够快速遍历文件系统。它主要可分为静态子树分区和动态子树分区。前者的设计简单，数据存储负载分布需要管理员手动指定，在负载出现变化时不能及时调整，主要适用于TB级存储规模；后者设计较为复杂，适用于PB级海量数据数据应用场景，是当前的研究热点。
2.Hash分布利用文件绝对路径或其它唯一标识来决定元数据的存放位置，该策略的优点是简单高效，客户端能够直接定位文件。而且由于它彻底散列化了文件分布，有效的避免了由于局部性访问引起单个目录集中访问。但是Hash分布在MDS数量发生改变时通常导致大量数据迁移。
服务器性能评估主要研究准确评价服务器固有性能的问题。一般而言，服务器的处理能力主要与CPU、内存、网络带宽、磁盘性能等相关。有研究者对上述影响参数进行排序，根据影响力的大小确定权重，并以一定的系数计算加权值来综合考虑设备的处理能力。但是上述“白盒”性能模型面临两个问题:一方面，不同负载类型通常会有不同负载特征，对服务器要求的侧重点也不一样；另一方面，影响因子之间存在互相制约关系，例如某个影响因子配置过低，成为性能瓶颈后，再增加其它影响因子的配置对MDS元数据处理性能提升并不明显。因此，上述方案很难准确地量化每个因子的影响力。如果权重系数选择不当，反而会影响系统性能。
发明内容
本发明的目的在于：针对已有技术没有考虑MDS集群中设备异构情况和服务器固有性能难以量化的问题，本发明提出了一种基于权重的元数据服务器集群负载均衡方法。
本发明方法利用最小二乘法并行请求数和平均操作延时的映射关系曲线进行线性拟合，并得出拟合曲线斜率用于反应MDS的固有性能，为均衡负载提供了依据；根据集群中MDS的处理能力分配对应比例的工作负载，从而使得MDS集群在设备异构情况下保持负载均衡以达到较高的整体吞吐量。实验证明本发明方法开销小、动态调整工作负载、元数据服务器集群在设备异构情况下保持负载均衡。
本发明具体步骤为：
1在元数据服务器空载状态下，通过基准测试工具mdtest测得每台元数据服务器在不同并行服务请求数下的平均操作延时。
2利用最小二乘法对步骤1中测得并行请求数和平均操作延时的映射关系曲线进行线性拟合，并得出拟合曲线斜率，然后将斜率值的倒数作为权重输入元数据服务器配置参数表。
3每台元数据服务器开启一个守护进程，对服务器处理的访问请求数计数作为参数得出服务器的当前负载，记录请求时间。
4每个心跳周期时间到时，元数据服务器通过UDP协议向集群中其它所有元数据服务器广播自己的当前负载水平和权重，并记录发送时间。
5元数据服务器接收完毕集群中其它服务器广播信息后，计算出目标负载。
6将服务器的当前其当前负载与步骤5中目标负载相减，如果差值为正并且大于阈值，则执行步骤7；如果差值为不为正并且大于阈值则转至步骤8。
7启动目录子树迁移过程,根据当前负载和目标负载的差值，选择负载和为差值的目录子树迁移到当前负载低于目标负载的元数据服务器。
8判断负载均衡任务是否结束，如果负载均衡任务结束，则任务结束；如果负载均衡任务没有结束，则返回至步骤3。
步骤3中所述服务器的当前负载由以下方法得出：
1)对元数据服务器中每个目录和文件设置对应的负载计数器，并以此衡量该文件和目录的负载。
2)当服务器处理服务请求时，与之对应的负载计数器就会增加1。
3)元数据服务器的当前负载为其所包含的所有目录和文件的负载计数器值之和。
所述计数器值会随时间呈指数型衰减。
步骤4中所述心跳周期通过元数据服务器配置参数设置。
所述目标负载的计算公式为：                                               ；其中target_loadi编号为i的服务器的目标负载，Wi编号为i的服务器的权重，Wtotal为集群中所有元数据服务器权重之和，total_load为集群中所有元数据服务器当前负载之和。
所述目录子树迁移过程，包括以下步骤：
A初始化Importer_set和Exporter_set为空，Importer_set表示当前负载低于目标负载的元数据服务器集合，Exporter_set表示当前负载大于目标负载的元数据服务器集合。
B遍历集群中所有元数据服务器节点，将每个节点的当前其当前负载与目标负载相减，如果差值为正并且大于阈值，则将该将节点归入Exporter_set；如果差值为负并且绝对值大于阈值，则将该将节点归入Importer_set。
C从步骤A所述Exporter_set中选取元数据服务器，记作MDSi，并将步骤B所述差值记为IMi。
D从Importer_set选取元数据服务器，记作MDSj，并将所述步骤B所述差值的绝对值记作IMj。
E比较步骤C所述IMi和D所述IMj，并将两者的较小值记作Pmig，在步骤C所述MDSi中选取负载值为Pmig的目录子树迁移到步骤D所述MDSj。
F更新步骤C所述IMi为IMi和步骤E所述Pmig相减的差值，更新步骤D所述IMj为IMj和步骤E所述Pmig相减的差值。
G判断是否步骤F中所述更新后的IMi小于或等于阈值，如果步骤F中所述更新后的IMi小于或等于阈值则执行H；如果步骤F中所述更新后的IMi大于阈值，则返回至步骤D。
H判断是否已经遍历完Exporter_set中所有节点，如果已经遍历完Exporter_set中所有节点，则迁移过程结束；如果没有遍历完Exporter_set中所有节点，则返回至步骤C。
所述阈值通过元数据服务器配置参数设置。
与已有技术方案相比，本发明主要的优点有：
1.根据MDS固有性能按比例分配相应工作负载，并能根据当前负载进行动态调整，支持异构MDS集群。
2.屏蔽MDS底层配置细节，避免了性能模型中量化影响因子的难题准确评估MDS的元数据处理能力。
附图说明
图1为实测并行服务请求数和平均操作延时的关系图。
图2为对象存储系统的典型框架图。
图3为是MDS集群中文件系统名字空间的分布。
图4为本发明的总体流程图。
图5为本发明的目录子树流程图。
具体实施方式
本发明方法应用于对象存储系统中，对象存储系统主要由三部分组成，分别为客户端、MDS集群和OSD集群，参看图2。OSD集群将数据和元数据作为对象存储；客户端为用户提供访问接口；元数据服务器管理文件系统名字空间（参见图3）、控制用户访问和映射文件物理存储位置，并周期性地共享各自的负载水平，当某一台MDS的负载超过集群平均值一定阀值后，将启动子树迁移，根据过载的负载选择适当的目录子树迁移到负载较轻的节点，以均衡系统负载。
本发明的总体逻辑流程如下，参见图4：
1在元数据服务器空载状态下，通过基准测试工具mdtest测得每台元数据服务器在不同并行服务请求数下的平均操作延时。
2利用最小二乘法对步骤1中测得并行请求数和平均操作延时的映射关系曲线进行线性拟合，并得出拟合曲线斜率，然后将斜率值的倒数作为权重输入元数据服务器配置参数表。图1为实测并行服务请求数和平均操作延时的关系图。从图1中可以得出：a随着客户端数量的增加，MDS的平均操作延时也呈现线性增加；b随着MDS性能增强，对应的拟合曲线斜率单调减小。
3每台元数据服务器开启一个守护进程，对服务器处理的访问请求数计数作为参数得出服务器的当前负载，记录请求时间。
4每个心跳周期时间到时，元数据服务器通过UDP协议向集群中其它所有元数据服务器广播自己的当前负载水平和权重，并记录发送时间。心跳周期通过元数据服务器配置参数设置。
5元数据服务器接收完毕集群中其它服务器广播信息后，计算出目标负载。
6将服务器的当前其当前负载与步骤5中目标负载相减，如果差值为正并且大于阈值，则执行步骤7；如果差值为不为正并且大于阈值则转至步骤8阈值通过元数据服务器配置参数设置。
7启动目录子树迁移过程,根据当前负载和目标负载的差值，选择负载和为差值的目录子树迁移到当前负载低于目标负载的元数据服务器。
8当计时周期结束时，判断负载均衡任务是否结束，如果负载均衡任务结束，则任务结束；如果负载均衡任务没有结束，则重复计算当前负载和广播服务器负载水平和的过程，即返回至步骤3。
步骤3中所述服务器的当前负载由以下方法得出：
1)对元数据服务器中每个目录和文件设置对应的负载计数器，并以此衡量该文件和目录的负载；
2)当服务器处理服务请求时，与之对应的负载计数器就会增加1；
3)元数据服务器的当前负载为其所包含的所有目录和文件的负载计数器值之和；
所述计数器计数值会随时间呈指数型衰减，衰减函数为：，其中?t为最近一次访问请求数的记录时间与当前时间的差值。
所述目标负载的计算公式为：；其中target_loadi编号为i的服务器的目标负载，Wi编号为i的服务器的权重，Wtotal为集群中所有元数据服务器权重之和，total_load为集群中所有元数据服务器当前负载之和。
图5为本发明的目录子树迁移流程，具体过程包括以下步骤：
A初始化Importer_set和Exporter_set为空，Importer_set表示当前负载低于目标负载的元数据服务器集合，Exporter_set表示当前负载大于目标负载的元数据服务器集合；
B遍历集群中所有元数据服务器节点，将每个节点的当前其当前负载与目标负载相减，如果差值为正并且大于阈值，则将该将节点归入Exporter_set；如果差值为负并且绝对值大于阈值，则将该将节点归入Importer_set；
C从步骤A所述Exporter_set中选取元数据服务器，记作MDSi，并将步骤B所述差值记为IMi；
D从Importer_set选取元数据服务器，记作MDSj，并将所述步骤B所述差值的绝对值记作IMj；
E比较步骤C所述IMi和D所述IMj，并将两者的较小值记作Pmig，在步骤C所述MDSi中选取负载值为Pmig的目录子树迁移到步骤D所述MDSj；
F更新步骤C所述IMi为IMi和步骤E所述Pmig相减的差值，更新步骤D所述IMj为IMj和步骤E所述Pmig相减的差值；
G判断是否步骤F中所述更新后的IMi小于或等于阈值，如果步骤F中所述更新后的IMi小于或等于阈值则执行H；如果步骤F中所述更新后的IMi大于阈值，则返回至步骤D；
H判断是否已经遍历完Exporter_set中所有节点，如果已经遍历完Exporter_set中所有节点，则迁移过程结束；如果没有遍历完Exporter_set中所有节点，则返回至步骤C。
由于过载节点的负载输出量和轻负载节点的引进量并非一定能一一对应，多数情况下需要多个节点协调完成上述负载迁移过过程。例如， MDSi需要输出大量负载，这时需要把过载负载分别迁移到多个轻载节点。迁移过程首先会在MDSi中搜索负载和为Pmig的目录子树，然后将转移到的轻负载节点MDSj。每个目录子树代表一定的访问负载，因此把目录子树迁移也就意味着工作负载的转移。这样每个MDS节点能够根据自身的处理能力分配到相应比例的工作负载，最终使MDS集群达到负载均衡。

Claims (6)

1.一种基于权重的元数据服务器集群负载均衡方法，其特征在于该方法包括以下步骤：
步骤1.在元数据服务器空载状态下，通过基准测试工具mdtest测得每台元数据服务器在不同并行服务请求数下的平均操作延时；
步骤2.利用最小二乘法对步骤1中并行服务请求数和平均操作延时的映射关系曲线进行线性拟合，并得出拟合曲线斜率，然后将斜率值的倒数作为权重输入元数据服务器配置参数表；
步骤3.每台元数据服务器开启一个守护进程，对服务器处理的访问请求进行计数，并把计数器值作为参数得出服务器的当前负载，记录请求时间；
步骤4.每个心跳周期时间到时，元数据服务器通过UDP协议向集群中其它所有元数据服务器广播自己的当前负载水平和权重,并记录发送时间；
步骤5.元数据服务器接收完毕集群中其它服务器广播信息后，计算出目标负载；
步骤6.将服务器的当前负载与步骤5中目标负载相减，如果差值为正并且大于阈值，则执行步骤7；如果差值不为正并且其绝对值大于阈值则转至步骤8；
步骤7.启动目录子树迁移过程,根据当前负载和目标负载的差值，选择负载和为差值的目录子树迁移到当前负载低于目标负载的元数据服务器；
步骤8.判断负载均衡任务是否结束，如果负载均衡任务结束，则任务结束；如果负载均衡任务没有结束，则返回至步骤3；
步骤3所述服务器的当前负载由以下方法得出：
1)对元数据服务器中每个目录和文件设置对应的负载计数器,并以此衡量该文件和目录的负载；
2)当服务器处理服务请求时,与之对应的负载计数器就会增加1；
3)元数据服务器的当前负载为其所包含的所有目录和文件的负载计数器值之和。
2.根据权利要求1所述的一种基于权重的元数据服务器集群负载均衡方法，其特征在于：所述计数器值会随时间呈指数型衰减。
3.根据权利要求1所述的一种基于权重的元数据服务器集群负载均衡方法，其特征在于：步骤4中所述心跳周期通过元数据服务器配置参数设置。
4.根据权利要求1所述的一种基于权重的元数据服务器集群负载均衡方法，其特征在于：
步骤5所述目标负载的计算公式为： ；其中target_loadi编号为i的服务器的目标负载，Wi编号为i的服务器的权重，Wtotal为集群中所有元数据服务器权重之和，total_load为集群中所有元数据服务器当前负载之和。
5.根据权利要求1所述的一种基于权重的元数据服务器集群负载均衡方法，其特征在于：步骤7所述目录子树迁移过程,包括以下步骤：
A.初始化Importer_set和Exporter_set为空，Importer_set表示当前负载低于目标负载的元数据服务器集合，Exporter_set表示当前负载大于目标负载的元数据服务器集合；
B.遍历集群中所有元数据服务器节点，将每个节点的当前其当前负载与目标负载相减，如果差值为正并且大于阈值，则将该节点归入Exporter_set；如果差值为负并且绝对值大于阈值，则将该节点归入Importer_set；
C.从步骤A所述Exporter_set中选取元数据服务器，记作MDSi，并将步骤B所述差值记为IMi；
D.从Importer_set选取元数据服务器，记作MDSj，并将所述步骤B所述差值的绝对值记作IMj；
E.比较步骤C所述IMi和D所述IMj，并将两者的较小值记作Pmig，在步骤C所述MDSi中选取负载值为Pmig的目录子树迁移到步骤D所述MDSj；
F.更新步骤C所述IMi为IMi和步骤E所述Pmig相减的差值，更新步骤D所述IMj为IMj和步骤E所述Pmig相减的差值；
G.判断是否步骤F中所述更新后的IMi小于或等于阈值，如果步骤F中所述更新后的IMi小于或等于阈值则执行H；如果步骤F中所述更新后的IMi大于阈值，则返回至步骤D；
H.判断是否已经遍历完Exporter_set中所有节点，如果已经遍历完Exporter_set中所有节点，则迁移过程结束；如果没有遍历完Exporter_set中所有节点，则返回至步骤C。
6.根据权利要求1或5所述的一种基于权重的元数据服务器集群负载均衡方法，其特征在于：所述阈值通过元数据服务器配置参数设置。
CN201110420241.8A 2011-12-15 2011-12-15 一种基于权重的元数据服务器集群负载均衡方法 Expired - Fee Related CN102523158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110420241.8A CN102523158B (zh) 2011-12-15 2011-12-15 一种基于权重的元数据服务器集群负载均衡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110420241.8A CN102523158B (zh) 2011-12-15 2011-12-15 一种基于权重的元数据服务器集群负载均衡方法

Publications (2)

Publication Number Publication Date
CN102523158A CN102523158A (zh) 2012-06-27
CN102523158B true CN102523158B (zh) 2014-07-09

Family

ID=46293957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110420241.8A Expired - Fee Related CN102523158B (zh) 2011-12-15 2011-12-15 一种基于权重的元数据服务器集群负载均衡方法

Country Status (1)

Country Link
CN (1) CN102523158B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016099644A1 (en) * 2014-12-19 2016-06-23 Private Machines Inc. Systems and methods for using extended hardware security modules

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731448B (zh) 2012-10-11 2017-09-26 腾讯科技（深圳）有限公司 一种压缩图片的方法和系统
WO2014082203A1 (zh) * 2012-11-27 2014-06-05 华为技术有限公司 元数据管理方法和装置
CN103294785B (zh) * 2013-05-17 2016-01-06 华中科技大学 一种基于分组的元数据服务器集群管理方法
CN104618406A (zh) * 2013-11-05 2015-05-13 镇江华扬信息科技有限公司 一种基于朴素贝叶斯分类的负载均衡算法
CN105095315B (zh) * 2014-05-23 2018-09-21 中国电信股份有限公司 动态调节哈希环节点数的方法、装置和系统
CN105991741B (zh) * 2015-03-02 2020-03-06 阿里巴巴集团控股有限公司 显示负载请求的方法、装置及网络服务器
CN106385375B (zh) * 2015-07-31 2019-12-03 北京国双科技有限公司 用于消息队列的负载均衡方法和装置
CN105389392A (zh) * 2015-12-18 2016-03-09 浪潮(北京)电子信息产业有限公司 一种元数据负载统计方法与系统
CN106874103B (zh) * 2016-12-01 2020-04-03 新华三技术有限公司 心跳实现方法及装置
US10372370B2 (en) 2017-06-21 2019-08-06 Western Digital Technologies, Inc. Metadata load distribution management
CN109218341B (zh) * 2017-06-29 2022-02-25 北京京东尚科信息技术有限公司 用于监控服务器和用于服务器的负载均衡方法和装置
CN107436813A (zh) * 2017-08-03 2017-12-05 郑州云海信息技术有限公司 一种元数据服务器动态负载均衡的方法及系统
CN107562542B (zh) * 2017-09-06 2020-04-07 腾讯科技（深圳）有限公司 分布式数据处理系统数据分区方法及装置
CN109698847A (zh) * 2017-10-23 2019-04-30 航天信息股份有限公司 一种基于请求处理时间的云存储系统均衡负载的读取方法及系统
CN107798104A (zh) * 2017-10-31 2018-03-13 郑州云海信息技术有限公司 一种目录管理方法、装置、设备及计算机可读存储介质
CN108234637A (zh) * 2017-12-29 2018-06-29 广州品唯软件有限公司 一种基于zookeeper实现负载均衡的方法和系统
US20220360517A1 (en) * 2019-07-23 2022-11-10 Micro Focus Llc Scheduling virtual users based on curve fitting
CN110580209B (zh) * 2019-07-29 2022-05-31 杭州电子科技大学 一种基于模型预测控制的云服务器弹性伸缩与性能优化方法
CN111225059A (zh) * 2020-01-10 2020-06-02 中移（杭州）信息技术有限公司 网络请求资源调度方法、装置、电子设备及存储介质
CN111382284A (zh) * 2020-03-09 2020-07-07 中国建设银行股份有限公司 Neo4j图形数据库系统、Neo4j图形数据库系统访问方法及装置
CN111666159B (zh) * 2020-06-28 2021-08-27 腾讯科技（深圳）有限公司 负载均衡控制方法和装置、存储介质及电子设备
CN114691015A (zh) * 2020-12-29 2022-07-01 华为技术有限公司 存储系统管理方法、存储系统及计算程序产品
CN113127420B (zh) * 2021-03-30 2023-03-14 山东英信计算机技术有限公司 一种元数据请求处理方法、装置、设备、介质
CN113608876B (zh) * 2021-08-12 2024-03-29 中国科学技术大学 基于负载类型感知的分布式文件系统元数据负载均衡方法
CN114466020B (zh) * 2022-01-04 2024-07-16 百果园技术(新加坡)有限公司 服务请求的处理方法、装置、设备、存储介质及程序产品
CN114780463A (zh) * 2022-03-01 2022-07-22 阿里巴巴（中国）有限公司 中断控制方法、设备、分布式系统及存储介质
CN115952005B (zh) * 2023-02-24 2023-05-30 浪潮电子信息产业股份有限公司 一种元数据负载均衡方法、装置、设备及可读存储介质
CN117459537B (zh) * 2023-12-21 2024-03-19 广州宇中网络科技有限公司 一种基于多云端的设备交互方法、设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7543060B2 (en) * 2001-02-22 2009-06-02 Fujitsu Limited Service managing apparatus for keeping service quality by automatically allocating servers of light load to heavy task
CN101582850A (zh) * 2009-06-19 2009-11-18 优万科技（北京）有限公司 一种实现负载均衡的方法和系统
CN101692239A (zh) * 2009-10-19 2010-04-07 浙江大学 一种分布式文件系统元数据分配方法
CN101697168A (zh) * 2009-10-22 2010-04-21 中国科学技术大学 一种分布式文件系统动态元数据管理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7543060B2 (en) * 2001-02-22 2009-06-02 Fujitsu Limited Service managing apparatus for keeping service quality by automatically allocating servers of light load to heavy task
CN101582850A (zh) * 2009-06-19 2009-11-18 优万科技（北京）有限公司 一种实现负载均衡的方法和系统
CN101692239A (zh) * 2009-10-19 2010-04-07 浙江大学 一种分布式文件系统元数据分配方法
CN101697168A (zh) * 2009-10-22 2010-04-21 中国科学技术大学 一种分布式文件系统动态元数据管理方法及系统

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
congfen jiang etc..Java multi threaded based parallel remote sensing image interpretation in desktop grid.《IEEE》.2010,
congfeng jiang etc..resource allocation in contending virtualized environments through VM performance modeling and feedback.《IEEE》.2011,
Java multi threaded based parallel remote sensing image interpretation in desktop grid;congfen jiang etc.;《IEEE》;20100718;第51-59页 *
resource allocation in contending virtualized environments through VM performance modeling and feedback;congfeng jiang etc.;《IEEE》;20110823;第196-203页 *
一种元数据服务器集群的负载均衡算法;王娟等;《小型微型计算机系统》;20090430;第30卷(第4期);第48-51页 *
基于虚拟机负载迁移的资源调度机制;李运发等;《华中科技大学学报》;20090930;第37卷(第9期);第45-48页 *
李运发等.基于虚拟机负载迁移的资源调度机制.《华中科技大学学报》.2009,第37卷(第9期),
游新冬.虚拟环境下基于市场机制的资源分配方法.《华中科技大学学报》.2010,第38卷(第6期),
王娟等.一种元数据服务器集群的负载均衡算法.《小型微型计算机系统》.2009,第30卷(第4期),
虚拟环境下基于市场机制的资源分配方法;游新冬;《华中科技大学学报》;20100630;第38卷(第6期);第757-760页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016099644A1 (en) * 2014-12-19 2016-06-23 Private Machines Inc. Systems and methods for using extended hardware security modules

Also Published As

Publication number Publication date
CN102523158A (zh) 2012-06-27

Similar Documents

Publication Publication Date Title
CN102523158B (zh) 一种基于权重的元数据服务器集群负载均衡方法
CN101556557B (zh) 一种基于对象存储设备的对象文件组织方法
Liao et al. Multi-dimensional index on hadoop distributed file system
US9235611B1 (en) Data growth balancing
CN103473334B (zh) 数据存储、查询方法及系统
US9026752B1 (en) Efficiently estimating compression ratio in a deduplicating file system
CN107436813A (zh) 一种元数据服务器动态负载均衡的方法及系统
CN104065568B (zh) 一种Web服务器集群的路由方法
CN107770259A (zh) 基于文件热度和节点负载的副本数量动态调整方法
Xu et al. Drop: Facilitating distributed metadata management in eb-scale storage systems
CN103294785B (zh) 一种基于分组的元数据服务器集群管理方法
CN104407879A (zh) 一种电网时序大数据并行加载方法
CN103559229A (zh) 基于MapFile的小文件管理服务SFMS系统及其使用方法
CN103646051A (zh) 一种基于列存储的大数据并行处理系统及方法
CN104572505A (zh) 一种保证海量数据缓存最终一致性的系统及方法
CN105354250A (zh) 一种面向云存储的数据存储方法及装置
CN106302659A (zh) 一种基于云存储系统中提升访问数据快速存储方法
Tu et al. An optimized cluster storage method for real-time big data in Internet of Things
CN103544300B (zh) 一种云环境下可扩展存储索引结构的实现方法
CN113608876A (zh) 基于负载类型感知的分布式文件系统元数据负载均衡方法
US20140365501A1 (en) Content distribution method and content distribution server
Lyu et al. An optimized strategy for small files storing and accessing in HDFS
Zhao et al. Dynamic replica creation strategy based on file heat and node load in hybrid cloud
CN111427920B (zh) 数据采集方法、装置、系统、计算机设备及存储介质
CN101783814A (zh) 海量存储系统的元数据存储方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140709

Termination date: 20141215

EXPY Termination of patent right or utility model