CN104270402A - 一种异构集群存储自适应数据负载的方法 - Google Patents
一种异构集群存储自适应数据负载的方法 Download PDFInfo
- Publication number
- CN104270402A CN104270402A CN201410420267.6A CN201410420267A CN104270402A CN 104270402 A CN104270402 A CN 104270402A CN 201410420267 A CN201410420267 A CN 201410420267A CN 104270402 A CN104270402 A CN 104270402A
- Authority
- CN
- China
- Prior art keywords
- load
- data
- node
- server
- heterogeneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003044 adaptive effect Effects 0.000 title abstract description 4
- 238000011068 loading method Methods 0.000 title abstract description 3
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 description 1
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种异构集群存储自适应数据负载的方法，属于计算机系统存储领域；具体步骤为：①基本的负载的均衡，在系统初建时，根据节点的最大负载能力，将数据分布在集群的各个节点上；②自适应分布式的增量负载的均衡，在系统运行时，实时地收集各个节点资源占用情况，自适应地、动态地调整数据分布情况；③采用基于权重的hash方法，在系统初建时将数据的负载大小视为相同，把异构服务器的性能作为权重，在集群之间均衡地分布数据负载；本发明适用于在高压力、高并发读写、多用户、异构的大规模分布式存储系统可以处理异构的数据负载，自适应地根据负载调整其在服务器之间的分布。
Description
技术领域
本发明涉及一种存储自适应数据负载的方法，属于计算机系统存储领域，具体地说是一种异构集群存储自适应数据负载的方法。
背景技术
存储技术的发展是伴随着计算机技术的发展而发展的，也就是说，从计算机技术诞生之日起，人们就在为追求更高性能的存储系统而努力。在过去几十年，可以说是存储技术不断创新发展的年代，特别是最近二十年，集群存储系统呈现爆发式增长的趋势，出现了包括SAN、NAS、Lustre、HDFS、Ceph等各种各样的集群存储。集群存储架构在大规模企业应用架构、互联网、物联网、大数据、高性能计算领域有着旺盛的生命力和广阔的发展前景。
然而，由于集群存储系统规模庞大，小到几十台存储服务器，大到上万台的规模，同时并发的用户数也很庞大，集群的负载均衡机制尤为重要。目前，数据的负载均衡策略不能有效地平衡数据的访问负载，而且在自适应上以及容错性上存在严重不足，特别是在异构的集群环境中，由于服务器之间的性能差距大，传统的负载均衡策略几乎是失效的。这样导致集群的利用率低效，未能发挥集群的最大性能。出于节约成本的考虑，大部分企业在构建大规模存储集群的时候，都会利用上闲置的或者以往购买的服务器，再添加新购买的服务器。这样就导致存储集群是异构的。在现有的负载均衡机制的基础上，提出一种自适应的分布式异构存储系统数据负载均衡机制就显得很必要了。
发明内容
本发明针对现有技术存在的不足和问题，提供一种异构集群存储自适应数据负载的方法，用户在初始化系统时，向所有的存储服务器发送请求，获取其当前计算能力的配置信息，将其作为存储服务器的初始权值。在系统初始化时，存储服务器的计算能力等于其硬件的配置。系统运行一段时间内，存储服务器的权值根据实时信息调整后的值存储服务器返回最新的权值配置信息。要写某条数据时，根据自适应分布式的增量负载均衡方法决定该条数据写到哪个服务器上。当集群各个服务器之间负载差别很大时，动态的转移数据，用于平衡集群的负载。
提出的具体方案是：
一种异构集群存储自适应数据负载的方法，其特征是通过整合计算资源、网络资源、存储资源、用户请求数据的情况等各种实时的信息，实现整个分布式系统的负载均衡，具体步骤为：
①基本的负载的均衡，在系统初建时，根据节点的最大负载能力，将数据分布在集群的各个节点上；
②自适应分布式的增量负载的均衡，在系统运行时，实时地收集各个节点资源占用情况，自适应地、动态地调整数据分布情况；
③采用基于权重的hash方法，在系统初建时将数据的负载大小视为相同，把异构服务器的性能作为权重，在集群之间均衡地分布数据负载。
所述的数据负载是CPU、硬盘、网络的使用情况及新能参数。
所述的步骤③根据更新的服务器性能再次使用基本的负载均衡算法重新调整负载的分布情况，使得负载能够重新公平的分布在服务器上。
本发明的有益之处是：本发明提供一种异构集群存储自适应数据负载的方法适用于在高压力、高并发读写、多用户、异构的大规模分布式存储系统可以处理异构的数据负载，自适应地根据负载调整其在服务器之间的分布；根据服务器的性能来均衡负载，在大量增加数据时，根据基本的负载均衡算法的hash特性，新增数据负载仍能够均衡的分布在服务器之间；根据实时的负载情况，自适应地调整服务器的负载。
具体实施方式
对本发明的内容以具体实例来描述实现的过程。
用户在初始化系统时，向所有的存储服务器发送请求，获取其当前计算能力的配置信息，将其作为存储服务器的初始权值。在系统初始化时，存储服务器的计算能力等于其硬件的配置。系统运行一段时间内，存储服务器的权值根据实时信息调整后的值存储服务器返回最新的权值配置信息。要写某条数据时，根据自适应分布式的增量负载均衡方法决定该条数据写到哪个服务器上。当集群各个服务器之间负载差别很大时，动态的转移数据，用于平衡集群的负载。
实施例1
一种异构集群存储自适应数据负载的方法，通过整合计算资源、网络资源、存储资源、用户请求数据的情况等各种实时的信息，实现整个分布式系统的负载均衡，具体步骤为：
①基本的负载的均衡，在系统初建时，根据节点的最大负载能力，将数据分布在集群的各个节点上；
②自适应分布式的增量负载的均衡，在系统运行时，实时地收集各个节点资源占用情况，自适应地、动态地调整数据分布情况；
③采用基于权重的hash方法，在系统初建时将数据的负载大小视为相同，把异构服务器的性能作为权重，在集群之间均衡地分布数据负载。
实施例2
一种异构集群存储自适应数据负载的方法，通过整合计算资源、网络资源、存储资源、用户请求数据的情况等各种实时的信息，实现整个分布式系统的负载均衡，具体步骤为：
①基本的负载的均衡，数据负载是CPU、硬盘、网络的使用情况及新能参数，在系统初建时，根据节点的最大负载能力，将数据分布在集群的各个节点上；
②自适应分布式的增量负载的均衡，在系统运行时，实时地收集各个节点资源占用情况，自适应地、动态地调整数据分布情况；
③采用基于权重的hash方法，在系统初建时将数据的负载大小视为相同，把异构服务器的性能作为权重，在集群之间均衡地分布数据负载。
实施例3
一种异构集群存储自适应数据负载的方法，通过整合计算资源、网络资源、存储资源、用户请求数据的情况等各种实时的信息，实现整个分布式系统的负载均衡，具体步骤为：
①基本的负载的均衡，数据负载是CPU、硬盘、网络的使用情况及新能参数，在系统初建时，根据节点的最大负载能力，将数据分布在集群的各个节点上；
②自适应分布式的增量负载的均衡，在系统运行时，实时地收集各个节点资源占用情况，自适应地、动态地调整数据分布情况；
③采用基于权重的hash方法，在系统初建时将数据的负载大小视为相同，把异构服务器的性能作为权重，在集群之间均衡地分布数据负载，根据更新的服务器性能再次使用基本的负载均衡算法重新调整负载的分布情况，使得负载能够重新公平的分布在服务器上。
Claims (3)
1.一种异构集群存储自适应数据负载的方法，其特征是通过整合计算资源、网络资源、存储资源、用户请求数据的情况等各种实时的信息，实现整个分布式系统的负载均衡，具体步骤为：
①基本的负载的均衡，在系统初建时，根据节点的最大负载能力，将数据分布在集群的各个节点上；
②自适应分布式的增量负载的均衡，在系统运行时，实时地收集各个节点资源占用情况，自适应地、动态地调整数据分布情况；
③采用基于权重的hash方法，在系统初建时将数据的负载大小视为相同，把异构服务器的性能作为权重，在集群之间均衡地分布数据负载。
2.根据权利要求1所述的一种异构集群存储自适应数据负载的方法，其特征是所述的数据负载是CPU、硬盘、网络的使用情况及新能参数。
3.根据权利要求1所述的一种异构集群存储自适应数据负载的方法，其特征是所述的步骤③根据更新的服务器性能再次使用基本的负载均衡算法重新调整负载的分布情况，使得负载能够重新公平的分布在服务器上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410420267.6A CN104270402A (zh) | 2014-08-25 | 2014-08-25 | 一种异构集群存储自适应数据负载的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410420267.6A CN104270402A (zh) | 2014-08-25 | 2014-08-25 | 一种异构集群存储自适应数据负载的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104270402A true CN104270402A (zh) | 2015-01-07 |
Family
ID=52161892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410420267.6A Pending CN104270402A (zh) | 2014-08-25 | 2014-08-25 | 一种异构集群存储自适应数据负载的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104270402A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104883394A (zh) * | 2015-04-28 | 2015-09-02 | 浙江大学 | 一种均衡服务器负载的方法和系统 |
| CN106385375A (zh) * | 2015-07-31 | 2017-02-08 | 北京国双科技有限公司 | 用于消息队列的负载均衡方法和装置 |
| CN106708815A (zh) * | 2015-07-15 | 2017-05-24 | 中兴通讯股份有限公司 | 数据处理方法、装置和系统 |
| CN106776001A (zh) * | 2016-11-14 | 2017-05-31 | 天津南大通用数据技术股份有限公司 | 一种分布式数据库集群数据的分布方法及装置 |
| CN107797758A (zh) * | 2016-09-07 | 2018-03-13 | 腾讯科技（深圳）有限公司 | 数据存储方法、数据访问方法及装置 |
| CN108089918A (zh) * | 2017-12-06 | 2018-05-29 | 华中科技大学 | 一种面向异构服务器结构的图计算负载均衡方法 |
| CN108519856A (zh) * | 2018-03-02 | 2018-09-11 | 西北大学 | 基于异构Hadoop集群环境下的数据块副本放置方法 |
| CN109284072A (zh) * | 2018-09-28 | 2019-01-29 | 北京航空航天大学 | 一种针对异构存储系统的自适应数据动态调度方法和系统 |
| US10241767B2 (en) | 2017-02-24 | 2019-03-26 | Red Hat, Inc. | Distributed function generation with shared structures |
| CN110855762A (zh) * | 2019-10-31 | 2020-02-28 | 云南电网有限责任公司信息中心 | 一种电网系统中异构集群节点的数据块分配方法 |
| CN111198649A (zh) * | 2018-11-16 | 2020-05-26 | 浙江宇视科技有限公司 | 磁盘选择方法及装置 |
| CN111782626A (zh) * | 2020-08-14 | 2020-10-16 | 工银科技有限公司 | 任务分配方法和装置、分布式系统、电子设备和介质 |
| US10924356B2 (en) | 2016-10-14 | 2021-02-16 | Tencent Technology (Shenzhen) Company Limited | Network service scheduling method and apparatus, storage medium, and program product |
| CN112905114A (zh) * | 2021-02-10 | 2021-06-04 | 山东英信计算机技术有限公司 | 一种分布式存储的性能调节方法、系统及介质 |
| CN114615277A (zh) * | 2022-03-04 | 2022-06-10 | 杭州觅恒科技有限公司 | 一种基于emq x的多集群动态扩展方法及系统 |
| CN115617279A (zh) * | 2022-12-13 | 2023-01-17 | 北京中电德瑞电子科技有限公司 | 分布式云数据的处理方法、装置及存储介质 |
-
2014
- 2014-08-25 CN CN201410420267.6A patent/CN104270402A/zh active Pending
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104883394A (zh) * | 2015-04-28 | 2015-09-02 | 浙江大学 | 一种均衡服务器负载的方法和系统 |
| CN106708815A (zh) * | 2015-07-15 | 2017-05-24 | 中兴通讯股份有限公司 | 数据处理方法、装置和系统 |
| CN106708815B (zh) * | 2015-07-15 | 2021-09-17 | 中兴通讯股份有限公司 | 数据处理方法、装置和系统 |
| CN106385375B (zh) * | 2015-07-31 | 2019-12-03 | 北京国双科技有限公司 | 用于消息队列的负载均衡方法和装置 |
| CN106385375A (zh) * | 2015-07-31 | 2017-02-08 | 北京国双科技有限公司 | 用于消息队列的负载均衡方法和装置 |
| CN107797758A (zh) * | 2016-09-07 | 2018-03-13 | 腾讯科技（深圳）有限公司 | 数据存储方法、数据访问方法及装置 |
| CN107797758B (zh) * | 2016-09-07 | 2019-07-30 | 腾讯科技（深圳）有限公司 | 数据存储方法、数据访问方法及装置 |
| US10924356B2 (en) | 2016-10-14 | 2021-02-16 | Tencent Technology (Shenzhen) Company Limited | Network service scheduling method and apparatus, storage medium, and program product |
| CN106776001A (zh) * | 2016-11-14 | 2017-05-31 | 天津南大通用数据技术股份有限公司 | 一种分布式数据库集群数据的分布方法及装置 |
| US10241767B2 (en) | 2017-02-24 | 2019-03-26 | Red Hat, Inc. | Distributed function generation with shared structures |
| CN108089918A (zh) * | 2017-12-06 | 2018-05-29 | 华中科技大学 | 一种面向异构服务器结构的图计算负载均衡方法 |
| CN108089918B (zh) * | 2017-12-06 | 2020-07-14 | 华中科技大学 | 一种面向异构服务器结构的图计算负载均衡方法 |
| CN108519856A (zh) * | 2018-03-02 | 2018-09-11 | 西北大学 | 基于异构Hadoop集群环境下的数据块副本放置方法 |
| CN108519856B (zh) * | 2018-03-02 | 2020-10-27 | 西北大学 | 基于异构Hadoop集群环境下的数据块副本放置方法 |
| CN109284072A (zh) * | 2018-09-28 | 2019-01-29 | 北京航空航天大学 | 一种针对异构存储系统的自适应数据动态调度方法和系统 |
| CN109284072B (zh) * | 2018-09-28 | 2020-06-02 | 北京航空航天大学 | 一种针对异构存储系统的自适应数据动态调度方法和系统 |
| CN111198649A (zh) * | 2018-11-16 | 2020-05-26 | 浙江宇视科技有限公司 | 磁盘选择方法及装置 |
| CN110855762A (zh) * | 2019-10-31 | 2020-02-28 | 云南电网有限责任公司信息中心 | 一种电网系统中异构集群节点的数据块分配方法 |
| CN111782626A (zh) * | 2020-08-14 | 2020-10-16 | 工银科技有限公司 | 任务分配方法和装置、分布式系统、电子设备和介质 |
| CN112905114A (zh) * | 2021-02-10 | 2021-06-04 | 山东英信计算机技术有限公司 | 一种分布式存储的性能调节方法、系统及介质 |
| CN112905114B (zh) * | 2021-02-10 | 2022-09-20 | 山东英信计算机技术有限公司 | 一种分布式存储的性能调节方法、系统及介质 |
| CN114615277A (zh) * | 2022-03-04 | 2022-06-10 | 杭州觅恒科技有限公司 | 一种基于emq x的多集群动态扩展方法及系统 |
| CN114615277B (zh) * | 2022-03-04 | 2024-01-16 | 杭州觅恒科技有限公司 | 一种基于emq x的多集群动态扩展方法及系统 |
| CN115617279A (zh) * | 2022-12-13 | 2023-01-17 | 北京中电德瑞电子科技有限公司 | 分布式云数据的处理方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104270402A (zh) | 一种异构集群存储自适应数据负载的方法 | |
| US9785472B2 (en) | Computing cluster performance simulation using a genetic algorithm solution | |
| CN111190688B (zh) | 一种面向云数据中心的Docker迁移方法及系统 | |
| US20200358710A1 (en) | Container-based mobile code offloading support system in cloud environment and offloading method thereof | |
| CN104618269B (zh) | 基于能耗要求的云系统利用率最大化资源分配方法 | |
| CN108416465B (zh) | 一种移动云环境下的工作流优化方法 | |
| CN111966453B (zh) | 一种负载均衡方法、系统、设备及存储介质 | |
| CN104834569A (zh) | 一种基于应用类型的集群资源调度方法及系统 | |
| CN104796496A (zh) | 一种基于云存储的负载均衡计算方法 | |
| CN104375897A (zh) | 基于最小相对负载不均衡度的云计算资源调度方法 | |
| CN104580503A (zh) | 一种高效动态负载均衡的处理大规模数据的系统及方法 | |
| Shahapure et al. | Virtual machine migration based load balancing for resource management and scalability in cloud environment | |
| Liang et al. | Ai on the edge: Rethinking ai-based iot applications using specialized edge architectures | |
| Chaudhary et al. | A new load balancing technique for virtual machine cloud computing environment | |
| Hu et al. | Reducing access latency in erasure coded cloud storage with local block migration | |
| Wang et al. | Fluid: Mitigating stragglers in federated learning using invariant dropout | |
| Guo | Ant colony optimization computing resource allocation algorithm based on cloud computing environment | |
| Ashalatha et al. | Dynamic load balancing methods for resource optimization in cloud computing environment | |
| CN110888713A (zh) | 一种针对异构云数据中心的可信虚拟机迁移算法 | |
| Zhao et al. | GreenCHT: A power-proportional replication scheme for consistent hashing based key value storage systems | |
| Bhagavathi et al. | Improved beetle swarm optimization algorithm for energy efficient virtual machine consolidation on cloud environment | |
| Mao et al. | A fine-grained and dynamic MapReduce task scheduling scheme for the heterogeneous cloud environment | |
| US20150263958A1 (en) | Load balancing apparatus and method | |
| Chen et al. | Minimizing virtual machine migration probability for cloud environments | |
| CN107341057A (zh) | 一种数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150107 |