CN103905531A - 一种集群存储系统中转换节点间负载均衡方法 - Google Patents

一种集群存储系统中转换节点间负载均衡方法 Download PDF

Info

Publication number
CN103905531A
CN103905531A CN201410092388.2A CN201410092388A CN103905531A CN 103905531 A CN103905531 A CN 103905531A CN 201410092388 A CN201410092388 A CN 201410092388A CN 103905531 A CN103905531 A CN 103905531A
Authority
CN
China
Prior art keywords
dns
server
storage system
address
cluster storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410092388.2A
Other languages
English (en)
Inventor
王静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201410092388.2A priority Critical patent/CN103905531A/zh
Publication of CN103905531A publication Critical patent/CN103905531A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种集群存储系统中转换节点间负载均衡方法，涉及分布式集群存储系统领域，本发明在基于CTDB实现的集群存储系统中引入DNS服务配置，将同一域名依次解析为CTDB对外提供的虚拟IP，借助DNS的IP负载均衡机制实现自动负载均衡，这样客户端使用域名访问存储系统时，就可克服简单的IP地址访问模式下因过多客户端对同一IP地址的并发访问造成的单节点负载过大问题，均衡地使用各转换节点资源，同时DNS从服务器的配置消除了DNS服务单点故障。

Description

一种集群存储系统中转换节点间负载均衡方法
 
技术领域   
    本发明涉及分布式集群存储系统领域，具体地说是一种集群存储系统中转换节点间负载均衡方法。
背景技术
对于集群存储系统中对外提供文件访问功能的转换节点，基于Glusterfs集群共享存储可构建CTDB(Clustering TDB)服务配置实现它们间的IP Takeover，也就是我们常说的IP高可用机制，使得某一或某些转换节点发生故障时，客户仍可使用原来的IP地址进行文件访问。
 然而，实际的项目应用显示，在对转换节点的IP地址访问模式下，对某个或某些IP地址的访问很大程度上取决于用户使用IP地址的习惯；各转换节点接收的客户端请求负载的均衡只能通过人为控制，存在巨大的负载隐患，容易出现因过多客户端对同一IP地址的并发访问造成的单节点负载过高问题。
发明内容
    本发明是一种集群存储系统中转换节点间负载均衡方法，适用于分布式集群存储系统中，能够克服IP地址访问模式下可能会存在的单个转换节点负载过高问题，实现了一种可靠的转换节点间负载均衡方法。
在基于CTDB实现的集群存储系统中引入DNS服务配置，将同一域名依次解析为多个转换节点对外提供的虚拟IP，借助DNS的IP负载均衡机制实现自动负载均衡，这样客户端使用域名访问存储系统时，就可克服简单的IP地址访问模式下因过多客户端对同一IP地址的并发访问造成的单节点负载过大问题，均衡地使用各转换节点资源，同时DNS从服务器的配置消除了DNS服务单点故障。
本发明的有益效果是：
克服了简单的IP地址访问模式下因过多客户端对同一IP地址的并发访问造成的单节点负载过高问题，实现了转换节点间的负载均衡，同时从服务器的配置消除了DNS服务单点故障。
附图说明
附图1为存在外部DNS主从服务器时集群存储系统示意图；
附图2为由转换节点担任DNS主从服务器时集群存储系统示意图。
具体实施方式
    在基于CTDB实现的集群存储系统中引入DNS服务配置，使用DNS服务将同一域名依次解析为多个转换节点的对外虚拟IP地址，客户端使用域名访问存储系统，借助DNS的IP负载均衡机制实现自动负载均衡。
DNS主从服务器的选取根据应用环境而定，简单来说，分为以下两种情况：
(1) 存在可用的外部DNS主从服务器
这是最理想的情况，执行如下步骤：
a)     在DNS主服务器上将同一域名依次解析为CTDB服务提供的转换节点间虚拟IP地址；
b)    将所有客户端的DNS主、从服务器地址分别设置为该外部主、从服务器的IP地址；
然而，实际应用场景下更多的另一种情况；
(2) 缺少外部服务器支持
此时我们选取其中两个转换节点，其中一个配置为DNS主服务器，另一个节点配置为其从属服务器，这样所有的转换节点可分为三类：DNS主服务器、DNS从服务器、其它节点，其执行步骤与(1)相同，只不过主从DNS服务由转换节点实现；但这种情况下要求转换节点个数大于等于2，否则仍存在DNS服务单点故障。
以上两种配置方式下，所有客户端发起的域名解析请求由DNS服务完成，DNS服务器将接收到的域名请求依次解析为转换节点对应的虚拟IP地址，实现了转换节点间的负载均衡，同时很显然地，从服务器的配置消除了DNS服务单点故障，然而当主、从服务器同时发生异常时，即使存在可用的转换节点，用户只能通过IP地址，而不能再通过域名访问存储系统。

Claims (2)

1.一种集群存储系统中转换节点间负载均衡方法，其特征在于在基于CTDB实现的集群存储系统中引入DNS服务配置，使用DNS服务将同一域名依次解析为多个转换节点的对外虚拟IP地址，客户端使用域名访问存储系统，借助DNS的IP负载均衡机制实现自动负载均衡。
2.根据权利要求1所述的方法，其特征在于DNS主从服务器的选取根据应用环境而定，分为以下两种情况：
存在可用的外部DNS主从服务器
这是最理想的情况，执行如下步骤：
在DNS主服务器上将同一域名依次解析为CTDB服务提供的转换节点间虚拟IP地址；
将所有客户端的DNS主、从服务器地址分别设置为该外部主、从服务器的IP地址；
缺少外部服务器支持
此时选取其中两个转换节点，其中一个配置为DNS主服务器，另一个节点配置为其从属服务器，这样所有的转换节点可分为三类：DNS主服务器、DNS从服务器、其它节点，其执行步骤与(1)相同，只不过主从DNS服务由转换节点实现；但这种情况下要求转换节点个数大于等于2，否则仍存在DNS服务单点故障。
CN201410092388.2A 2014-03-14 2014-03-14 一种集群存储系统中转换节点间负载均衡方法 Pending CN103905531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410092388.2A CN103905531A (zh) 2014-03-14 2014-03-14 一种集群存储系统中转换节点间负载均衡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410092388.2A CN103905531A (zh) 2014-03-14 2014-03-14 一种集群存储系统中转换节点间负载均衡方法

Publications (1)

Publication Number Publication Date
CN103905531A true CN103905531A (zh) 2014-07-02

Family

ID=50996686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410092388.2A Pending CN103905531A (zh) 2014-03-14 2014-03-14 一种集群存储系统中转换节点间负载均衡方法

Country Status (1)

Country Link
CN (1) CN103905531A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079438A (zh) * 2014-07-18 2014-10-01 北京百度网讯科技有限公司 Dns域名管理系统和方法
CN104539660A (zh) * 2014-12-09 2015-04-22 珠海金山网络游戏科技有限公司 一种系统扩容时零数据迁移的数据分布存储方法及系统
CN105262820A (zh) * 2015-10-29 2016-01-20 浪潮电子信息产业股份有限公司 一种基于Linux操作系统的集群多机互备的方法
CN106210147A (zh) * 2016-09-13 2016-12-07 郑州云海信息技术有限公司 一种基于轮询的负载均衡方法和装置
CN107104844A (zh) * 2017-05-27 2017-08-29 郑州云海信息技术有限公司 一种ctdb迁移公共ip地址的方法及装置
CN107302600A (zh) * 2017-08-25 2017-10-27 郑州云海信息技术有限公司 一种分布式ftp服务的实现方法及装置
CN107454165A (zh) * 2017-08-04 2017-12-08 郑州云海信息技术有限公司 一种hadoop集群对ceph集群的访问方法及装置
CN107493351A (zh) * 2017-10-09 2017-12-19 郑州云海信息技术有限公司 一种客户端访问存储系统的负载均衡的方法及装置
CN107766152A (zh) * 2017-10-19 2018-03-06 郑州云海信息技术有限公司 负载均衡服务的管理方法、系统、装置及可读存储介质
CN108881512A (zh) * 2018-06-15 2018-11-23 郑州云海信息技术有限公司 Ctdb的虚拟ip均衡分配方法、装置、设备及介质
CN108989476A (zh) * 2018-06-12 2018-12-11 新华三技术有限公司 一种地址分配方法以及装置
CN109302498A (zh) * 2018-11-29 2019-02-01 杭州迪普科技股份有限公司 一种网络资源访问方法及装置
CN110502333A (zh) * 2018-05-16 2019-11-26 杭州海康威视系统技术有限公司 一种访问请求的处理方法和云存储系统
CN110569252A (zh) * 2018-05-16 2019-12-13 杭州海康威视数字技术股份有限公司 一种数据处理系统及方法
CN110830550A (zh) * 2019-09-30 2020-02-21 曙光信息产业(北京)有限公司 计算机集群及其无盘启动方法
CN111064713A (zh) * 2019-02-15 2020-04-24 腾讯科技（深圳）有限公司 一种分布式系统中的节点控制方法和相关装置
CN111314126A (zh) * 2020-02-11 2020-06-19 网宿科技股份有限公司 服务ip的部署方法及系统、监控设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115016A (zh) * 2007-08-23 2008-01-30 创新科存储技术（深圳）有限公司 一种实现应用服务器负载均衡的方法及系统
US7328237B1 (en) * 2002-07-25 2008-02-05 Cisco Technology, Inc. Technique for improving load balancing of traffic in a data network using source-side related information
CN101171821A (zh) * 2005-04-13 2008-04-30 诺基亚公司 用于使用群集的节点作为授权域名服务器的活跃负载平衡的系统、网络设备、方法和计算机程序产品
CN101699825A (zh) * 2009-10-28 2010-04-28 成都市华为赛门铁克科技有限公司 网络文件系统访问方法、装置及系统
CN102457440A (zh) * 2012-01-13 2012-05-16 华为软件技术有限公司 实现负载均衡的方法、dns服务器和客户端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7328237B1 (en) * 2002-07-25 2008-02-05 Cisco Technology, Inc. Technique for improving load balancing of traffic in a data network using source-side related information
CN101171821A (zh) * 2005-04-13 2008-04-30 诺基亚公司 用于使用群集的节点作为授权域名服务器的活跃负载平衡的系统、网络设备、方法和计算机程序产品
CN101115016A (zh) * 2007-08-23 2008-01-30 创新科存储技术（深圳）有限公司 一种实现应用服务器负载均衡的方法及系统
CN101699825A (zh) * 2009-10-28 2010-04-28 成都市华为赛门铁克科技有限公司 网络文件系统访问方法、装置及系统
CN102457440A (zh) * 2012-01-13 2012-05-16 华为软件技术有限公司 实现负载均衡的方法、dns服务器和客户端

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079438A (zh) * 2014-07-18 2014-10-01 北京百度网讯科技有限公司 Dns域名管理系统和方法
CN104539660B (zh) * 2014-12-09 2018-09-11 珠海金山网络游戏科技有限公司 一种系统扩容时零数据迁移的数据分布存储方法及系统
CN104539660A (zh) * 2014-12-09 2015-04-22 珠海金山网络游戏科技有限公司 一种系统扩容时零数据迁移的数据分布存储方法及系统
CN105262820A (zh) * 2015-10-29 2016-01-20 浪潮电子信息产业股份有限公司 一种基于Linux操作系统的集群多机互备的方法
CN106210147A (zh) * 2016-09-13 2016-12-07 郑州云海信息技术有限公司 一种基于轮询的负载均衡方法和装置
CN107104844A (zh) * 2017-05-27 2017-08-29 郑州云海信息技术有限公司 一种ctdb迁移公共ip地址的方法及装置
CN107104844B (zh) * 2017-05-27 2020-05-26 苏州浪潮智能科技有限公司 一种ctdb迁移公共ip地址的方法及装置
CN107454165A (zh) * 2017-08-04 2017-12-08 郑州云海信息技术有限公司 一种hadoop集群对ceph集群的访问方法及装置
CN107302600A (zh) * 2017-08-25 2017-10-27 郑州云海信息技术有限公司 一种分布式ftp服务的实现方法及装置
CN107493351B (zh) * 2017-10-09 2021-06-29 郑州云海信息技术有限公司 一种客户端访问存储系统的负载均衡的方法及装置
CN107493351A (zh) * 2017-10-09 2017-12-19 郑州云海信息技术有限公司 一种客户端访问存储系统的负载均衡的方法及装置
CN107766152A (zh) * 2017-10-19 2018-03-06 郑州云海信息技术有限公司 负载均衡服务的管理方法、系统、装置及可读存储介质
CN110502333A (zh) * 2018-05-16 2019-11-26 杭州海康威视系统技术有限公司 一种访问请求的处理方法和云存储系统
CN110569252A (zh) * 2018-05-16 2019-12-13 杭州海康威视数字技术股份有限公司 一种数据处理系统及方法
CN110569252B (zh) * 2018-05-16 2023-04-07 杭州海康威视数字技术股份有限公司 一种数据处理系统及方法
CN108989476A (zh) * 2018-06-12 2018-12-11 新华三技术有限公司 一种地址分配方法以及装置
CN108989476B (zh) * 2018-06-12 2021-09-07 新华三技术有限公司 一种地址分配方法以及装置
CN108881512A (zh) * 2018-06-15 2018-11-23 郑州云海信息技术有限公司 Ctdb的虚拟ip均衡分配方法、装置、设备及介质
CN108881512B (zh) * 2018-06-15 2021-06-29 郑州云海信息技术有限公司 Ctdb的虚拟ip均衡分配方法、装置、设备及介质
CN109302498A (zh) * 2018-11-29 2019-02-01 杭州迪普科技股份有限公司 一种网络资源访问方法及装置
CN109302498B (zh) * 2018-11-29 2021-03-23 杭州迪普科技股份有限公司 一种网络资源访问方法及装置
CN111064713B (zh) * 2019-02-15 2021-05-25 腾讯科技（深圳）有限公司 一种分布式系统中的节点控制方法和相关装置
CN111064713A (zh) * 2019-02-15 2020-04-24 腾讯科技（深圳）有限公司 一种分布式系统中的节点控制方法和相关装置
CN110830550A (zh) * 2019-09-30 2020-02-21 曙光信息产业(北京)有限公司 计算机集群及其无盘启动方法
CN111314126A (zh) * 2020-02-11 2020-06-19 网宿科技股份有限公司 服务ip的部署方法及系统、监控设备

Similar Documents

Publication Publication Date Title
CN103905531A (zh) 一种集群存储系统中转换节点间负载均衡方法
US10581674B2 (en) Method and apparatus for expanding high-availability server cluster
US20220124049A1 (en) Distributed fair allocation of shared resources to constituents of a cluster
CN110392084B (zh) 在分布式系统中管理地址的方法、设备和计算机程序产品
WO2014024863A1 (ja) 多階層の各ノードを考慮した負荷分散方法
CN108900651B (zh) 基于多租户环境的Kubernetes与Neutron对接方法、存储介质、设备
CN107645520B (zh) 一种负载均衡方法、装置以及系统
US10826977B2 (en) System and method for supporting asynchronous request/response in a network environment
CN104601720A (zh) 一种缓存访问控制方法及装置
US20160196073A1 (en) Memory Module Access Method and Apparatus
CN105208133A (zh) 一种服务器、负载均衡器以及服务器负载均衡方法和系统
RU2014143063A (ru) Системы и способы для разделения однонаправленных списков для выделения элементов памяти
CN110855739B (zh) 一种基于容器技术的异地及异构资源统一管理方法及系统
US10374899B2 (en) Method and device for reporting OpenFLow switch capability
CN102932389B (zh) 一种请求处理方法、装置及服务器系统
Ammar et al. Dynamic SDN controllers-switches mapping for load balancing and controller failure handling
US10887249B2 (en) Resource trees by management controller
CN112596897A (zh) 一种用于多租户隔离的方法及系统
EP2942711B1 (en) Dynamic generation of proxy connections
CN103684965A (zh) 基于虚拟设备配置的交换设备和报文转发方法
CN104168206A (zh) 适配网关负载均衡控制装置方法、装置和系统
CN102999390A (zh) 一种云计算环境下的后端资源控制方法和装置
EP2723096A1 (en) Method, system and media server for creating multicast channel
US20190158585A1 (en) Systems and Methods for Server Failover and Load Balancing
US10333837B2 (en) Virtual network switch system and method of constructing the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140702