CN103618804A - 一种基于性能差异的分布式键值存储系统负载均衡方法 - Google Patents
一种基于性能差异的分布式键值存储系统负载均衡方法 Download PDFInfo
- Publication number
- CN103618804A CN103618804A CN201310688202.5A CN201310688202A CN103618804A CN 103618804 A CN103618804 A CN 103618804A CN 201310688202 A CN201310688202 A CN 201310688202A CN 103618804 A CN103618804 A CN 103618804A
- Authority
- CN
- China
- Prior art keywords
- weight
- distributed
- storage system
- balancing method
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种在分布式存储系统中负载均衡的优化方法。在集群中，给所有节点设置权重，权重与计算机的性能成正比，性能好的计算机权重高，性能差的计算机权重低。在进行数据量分配时，按权重高低来分配数据量，每单位的权重分配到相同的数据量，这样就能保证权重低的计算机可以少分配一些数据量，从而达到优化负载均衡的目的,整个过程的流程如图1。
Description
技术领域
本发明涉及分布式存储领域，具体涉及一种基于性能差异的分布式键值存储系统负载均衡方法。
背景技术
近年来，在云计算和大数据的大背景下，分布式存储系统发展势头很猛，涉及领域涵盖搜索、社交、电子商务和科研等领域，与人们的生活息息相关。分布式存储系统主要优势体现在以下几个方面。
1.高并发读写
当今是一个网络时代，人们对网络资源的需求使得各个网站要根据用户个性化信息来实时生成动态页面和提供动态信息，因此数据并发负载非常高，往往要达到每秒上万次读写请求。如果使用单机存储系统，硬盘IO早已经无法承受了，因此要使用分布式存储系统。
2.海量数据高效率存储和访问
对于大型的SNS（Social Networking Services）网站，每天用户产生海量的数据，以Facebook为例，用户每天发布的动态，照片等信息都在千万级，一个月就是接近3亿条用户动态，对于单机存储系统，不仅存储效率低下，查询效率也很低，使用分布式存储系统则会极大的提高效率。
3.高可扩展性和高可用性
当一个应用系统的用户量和访问量与日俱增时，单机存储系统没有办法像网站服务器和应用服务器那样简单的通过添加更多的服务节点来扩展性能和负载能力。对于需要提供24小时不间断服务的网站来说，对单机存储系统进行升级和扩展是往往需要停机维护和数据迁移的，这对于用户体验来说是非常不好的。因此大型互联网公司都使用分布式存储系统，以满足这些方面的需求。
但是现有的分布式存储系统负载均衡策略认为所有的服务器节点都是等价的。但是在数据中心中，经常会有因计算机坏掉而更新设备的情况。目前很多公司采用廉价的普通台式机组建数据中心，而由于电脑设备更新换代较快，新加入的设备在性能上往往要优于原有设备，根据摩尔定律，计算机性能每18个月翻一番。所以可能存在因为设备更新而使得节点处理能力存在较大差异的情况。因此要提出一种新的分布式存储系统负载均衡方法。
发明内容
本发明提出了一种基于性能差异的分布式键值存储系统负载均衡方法。
在分布式存储系统中，通过加权轮询的策略来优化负载均衡。这种策略是给每一个节点设置权重，权重与计算机的性能成正比，性能好的计算机权重高，性能差的计算机权重低。在进行数据量分配时，按权重高低来分配数据量，每单位的权重分配到相同的数据量，这样就能保证权重低的计算机可以少分配一些数据量，从而达到优化负载均衡的目的，整个过程的流程如图1。
附图说明
图1是按照权重分配数据量的流程图。
具体实施方式
步骤1：
每一个节点设置一个权重，权重应该与计算机的IP地址一一对应。权重值要根据节点的性能和数据总量进行设置，不同的分布式存储系统权重值的设置是不同的。因为权重的值是有可能变化的，所以通过分布式存储系统的配置文件存储权重信息是最佳选择。
步骤2：
加载权重信息。不同的分布式存储系统配置文件的加载过程不同，但是权重信息在配置文件中是存储在一个变量中，因此只需读取该变量即可获取权重值。
步骤3：
针对不同的权重值，给分布式存储系统中每个节点分配相应的数据量。
Claims (1)
1.本发明设计了一种基于性能差异的分布式键值存储系统负载均衡方法，其特征在于分布式存储系统中，每个节点存储的数据量与该节点的性能相关。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310688202.5A CN103618804A (zh) | 2013-12-16 | 2013-12-16 | 一种基于性能差异的分布式键值存储系统负载均衡方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310688202.5A CN103618804A (zh) | 2013-12-16 | 2013-12-16 | 一种基于性能差异的分布式键值存储系统负载均衡方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103618804A true CN103618804A (zh) | 2014-03-05 |
Family
ID=50169508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310688202.5A Pending CN103618804A (zh) | 2013-12-16 | 2013-12-16 | 一种基于性能差异的分布式键值存储系统负载均衡方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103618804A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268262A (zh) * | 2014-10-10 | 2015-01-07 | 拉卡拉支付有限公司 | 一种数据查询、存储、及对存储数据的操作方法及装置 |
| CN105404546A (zh) * | 2015-11-10 | 2016-03-16 | 上海交通大学 | 基于rdma和htm的分布式并发控制方法 |
| CN105955801A (zh) * | 2015-12-21 | 2016-09-21 | 上海交通大学 | 一种基于rdma和htm的分布式乐观并发控制方法 |
| CN107577441A (zh) * | 2017-10-17 | 2018-01-12 | 郑州云海信息技术有限公司 | 一种osd慢盘处理方法、系统、装置及计算机存储介质 |
| CN112751761A (zh) * | 2020-12-28 | 2021-05-04 | 中国农业银行股份有限公司 | 交易路由的回切方法、中间系统和业务处理系统 |
| CN112905114A (zh) * | 2021-02-10 | 2021-06-04 | 山东英信计算机技术有限公司 | 一种分布式存储的性能调节方法、系统及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101984632A (zh) * | 2010-11-15 | 2011-03-09 | 中兴通讯股份有限公司 | 一种分布式缓存系统中负荷分配方法、装置及服务器 |
| CN102055650A (zh) * | 2009-10-29 | 2011-05-11 | 华为技术有限公司 | 负载均衡方法及系统和管理服务器 |
| CN102143215A (zh) * | 2011-01-20 | 2011-08-03 | 中国人民解放军理工大学 | 一种基于网络的pb级云存储系统及其处理方法 |
| CN102571991A (zh) * | 2012-03-27 | 2012-07-11 | 电子科技大学 | 基于多级映射的大规模多副本分布式存储系统及其应用方法 |
| CN102841931A (zh) * | 2012-08-03 | 2012-12-26 | 中兴通讯股份有限公司 | 分布式文件系统的存储方法及装置 |
-
2013
- 2013-12-16 CN CN201310688202.5A patent/CN103618804A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102055650A (zh) * | 2009-10-29 | 2011-05-11 | 华为技术有限公司 | 负载均衡方法及系统和管理服务器 |
| CN101984632A (zh) * | 2010-11-15 | 2011-03-09 | 中兴通讯股份有限公司 | 一种分布式缓存系统中负荷分配方法、装置及服务器 |
| CN102143215A (zh) * | 2011-01-20 | 2011-08-03 | 中国人民解放军理工大学 | 一种基于网络的pb级云存储系统及其处理方法 |
| CN102571991A (zh) * | 2012-03-27 | 2012-07-11 | 电子科技大学 | 基于多级映射的大规模多副本分布式存储系统及其应用方法 |
| CN102841931A (zh) * | 2012-08-03 | 2012-12-26 | 中兴通讯股份有限公司 | 分布式文件系统的存储方法及装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268262A (zh) * | 2014-10-10 | 2015-01-07 | 拉卡拉支付有限公司 | 一种数据查询、存储、及对存储数据的操作方法及装置 |
| CN105404546A (zh) * | 2015-11-10 | 2016-03-16 | 上海交通大学 | 基于rdma和htm的分布式并发控制方法 |
| CN105955801A (zh) * | 2015-12-21 | 2016-09-21 | 上海交通大学 | 一种基于rdma和htm的分布式乐观并发控制方法 |
| CN105955801B (zh) * | 2015-12-21 | 2018-12-18 | 上海交通大学 | 一种基于rdma和htm的分布式乐观并发控制方法 |
| CN107577441A (zh) * | 2017-10-17 | 2018-01-12 | 郑州云海信息技术有限公司 | 一种osd慢盘处理方法、系统、装置及计算机存储介质 |
| CN107577441B (zh) * | 2017-10-17 | 2020-08-21 | 苏州浪潮智能科技有限公司 | 一种osd慢盘处理方法、系统、装置及计算机存储介质 |
| CN112751761A (zh) * | 2020-12-28 | 2021-05-04 | 中国农业银行股份有限公司 | 交易路由的回切方法、中间系统和业务处理系统 |
| CN112905114A (zh) * | 2021-02-10 | 2021-06-04 | 山东英信计算机技术有限公司 | 一种分布式存储的性能调节方法、系统及介质 |
| CN112905114B (zh) * | 2021-02-10 | 2022-09-20 | 山东英信计算机技术有限公司 | 一种分布式存储的性能调节方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103618804A (zh) | 一种基于性能差异的分布式键值存储系统负载均衡方法 | |
| US8590050B2 (en) | Security compliant data storage management | |
| US9836517B2 (en) | Systems and methods for mapping and routing based on clustering | |
| US7984151B1 (en) | Determining placement of user data to optimize resource utilization for distributed systems | |
| US20130332608A1 (en) | Load balancing for distributed key-value store | |
| US9705801B2 (en) | Systems and methods for mapping and routing based on clustering | |
| CN104065568A (zh) | 一种Web服务器集群的路由方法 | |
| US10616134B1 (en) | Prioritizing resource hosts for resource placement | |
| US10684996B1 (en) | Distributing data of multiple logically independent file systems in distributed storage systems including physically partitioned disks | |
| CN106302659A (zh) | 一种基于云存储系统中提升访问数据快速存储方法 | |
| Jiao et al. | Cost optimization for online social networks on geo-distributed clouds | |
| Negru et al. | Energy efficient cloud storage service: key issues and challenges | |
| CN103905517A (zh) | 一种数据存储方法及设备 | |
| CN102932271A (zh) | 负载均衡的实现方法和装置 | |
| CN104182487A (zh) | 一种支持多种存储方式的统一存储方法 | |
| Dai et al. | Improving load balance for data-intensive computing on cloud platforms | |
| CN108108247A (zh) | 分布式图片存储服务系统和方法 | |
| Park et al. | Dynamic group‐based fault tolerance technique for reliable resource management in mobile cloud computing | |
| Li et al. | An efficient and performance-aware big data storage system | |
| Tseng et al. | Support vector machine approach for virtual machine migration in cloud data center | |
| US9898614B1 (en) | Implicit prioritization to rate-limit secondary index creation for an online table | |
| US20160117107A1 (en) | High Performance Hadoop with New Generation Instances | |
| Shabeera et al. | Bandwidth-aware data placement scheme for Hadoop | |
| Maenhaut et al. | Design of a hierarchical software-defined storage system for data-intensive multi-tenant cloud applications | |
| CN103685342A (zh) | 个人云存储数据中心和云数据存储的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140305 |