CN106412135A - 一种提高分布式对象存储服务能力的负载均衡方法 - Google Patents

一种提高分布式对象存储服务能力的负载均衡方法 Download PDF

Info

Publication number
CN106412135A
CN106412135A CN201611153894.3A CN201611153894A CN106412135A CN 106412135 A CN106412135 A CN 106412135A CN 201611153894 A CN201611153894 A CN 201611153894A CN 106412135 A CN106412135 A CN 106412135A
Authority
CN
China
Prior art keywords
virtual machine
load
storage service
cluster
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201611153894.3A
Other languages
English (en)
Inventor
洪英标
杨松
马桂成
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201611153894.3A priority Critical patent/CN106412135A/zh
Publication of CN106412135A publication Critical patent/CN106412135A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及分布式对象存储技术领域，特指一种提高分布式对象存储服务能力的负载均衡方法。本发明基于对虚拟交换机流量和链接数的监控，实现对分布式对象存储服务集群业务负载的探测，通过增加基于虚拟机的对象存储服务的数量提高访问分布式对象存储服务能力。本发明针对传统单一基于物理服务器的对象存储服务负载能力有限，通过基于虚拟机的分布式对象存储服务集群，使用独有的负载均衡方法自动增加基于虚拟机的对象存储服务的数量来提高访问分布式对象存储服务能力；实现了分布式对象存储服务能力的弹性化；可以应用于分布式对象存储服务的负载均衡中。

Description

一种提高分布式对象存储服务能力的负载均衡方法
技术领域
本发明涉及分布式对象存储技术领域，特指一种提高分布式对象存储服务能力的负载均衡方法。
背景技术
传统的分布式对象存储服务是部署在单台物理机上，随着业务量访问的逐渐上升，会带来以下问题：
1、分布式对象存储服务存在单点故障；
2、单台部署存在性能瓶颈；
3、无法根据业务量实时调整资源，容易造成资源浪费。
为解决上述问题，需要有一种提高分布式对象存储服务能力的负载均衡方法，提高服务能力的同时提高服务稳定性及实现资源节能。
发明内容
本发明解决的技术问题在于提供一种提高分布式对象存储服务能力的负载均衡方法，解决分布式对象存储服务单点性能瓶颈、服务单点故障、资源利用率低等问题。
本发明解决上述技术问题的技术方案是：
包括如下操作步骤：
步骤1：启用分布式对象存储服务应用集群，并设置应用集群的监控阈值；
步骤2：应用集群通过云计算服务平台，创建一台分布式对象存储服务应用的虚拟机；
步骤3：采集虚拟交换机上对象存储集群虚拟机的信息；
步骤4：根据采集数据与所设置的监控阈值进行资源调配。
所述的采集虚拟交换机上对象存储集群虚拟机的信息是由虚拟机流量获取模块和虚拟机链接数获取模块运用数据流随机采样技术，实时获取虚拟交换机上分布式对象存储集群里每台虚拟机的实时流量和链接数；不断更新分布式对象存储服务集群的负载信息；
所述监控阈值是指压力量化数据，包含虚拟机流量和虚拟机链接数；
所述虚拟机流量是代表基于虚拟机的对象存储服务的负载情况；
所述虚拟机链接数是代表基于虚拟机的对象存储服务接收的请求数量。
所述的根据采集数据与所设置的监控阈值进行资源调配进一步包括：
随着集群应用的负载不断增加，应用集群的探测方法探测到整个集群的负载超过最大负荷，应用集群向云计算平台发出创建新的对象存储服务应用的虚拟机的命令，并将此虚拟机纳入运行列表，从而提高分布式对象存储服务能力；
反之，随着分布式对象存储服务集群的负载降低，每台虚拟机的负载偏低，应用集群根据同样的方法减少应用集群里的虚拟机数量；当对象存储服务应用集群里的某台虚拟机停止服务，应用集群会将服务请求指向可提供服务的虚拟机，同时将停止服务的虚拟机从运行列表里删除。
所述的对象存储服务应用集群包括有负载均衡器和提供分布式对象存储服务的虚拟机；
所述的负载均衡器在负载均衡中作为统一的前端接收所有来自客户端的请求，并根据预设的负载均衡策略将请求分发到后端提供分布式对象存储服务的虚拟机；
所述分布式对象存储服务的虚拟机，在负载均衡中作为负载的承担方，接收来自于负载均衡器分发的请求，并实际响应分布式对象存储服务的请求。
所述的探测方法通过虚拟机信息获取模块不断查询虚拟机负载信息，并将虚拟机负载信息传送给负载均衡器；
所述的探测方法进一步包括由虚拟机流量获取模块和虚拟机链接数获取模块，运用数据流随机采样技术，分别分析虚拟交换机上的流量和链接数，从而获得虚拟机流量的实时信息，并将虚拟机流量和链接数信息通过探测方法传送给负载均衡器。
所述的云计算服务平台为分布式对象存储服务集群提供虚拟机；
所述云计算服务平台进一步对外开放接口让负载均衡服务器实现对虚拟机的创建、删除、停止、启动等控制虚拟机本身的操作。
本发明使用基于虚拟机的分布式对象存储服务应用集群，解决了分布式对象存储服务单点性能瓶颈、服务单点故障、资源利用率低等问题。
附图说明
下面结合附图对本发明进一步说明：
图1是本发明基于负载均衡方法示意图；
图2是本发明服务访问的示意图。
具体实施方式
本发明的实施方式有多种，这里以云平台为例说明其中一种实现方法，如图1、2所示，具体实施过程如下：
1、启用基于虚拟机的对象存储服务集群；
3、采集虚拟交换机上对象存储集群虚拟机的信息
分布式对象存储服务负载的探测方法包含：虚拟机流量获取模块和虚拟机链接数获取模块，不断更新分布式对象存储服务集群的负载信息。虚拟机流量获取模块和虚拟机链接数获取模块运用数据流随机采样技术，实时获取虚拟交换机上分布式对象存储集群里每台虚拟机的实时流量和链接数；
4、集群根据采集数据进行资源调配
随着集群应用的负载不断增加，应用集群的探测方法探测到整个集群的负载超过最大负荷，应用集群向云计算平台发出创建新的对象存储服务应用的虚拟机的命令，并将此虚拟机纳入运行列表，从而提高分布式对象存储服务能力。反之，随着分布式对象存储服务集群的负载降低，每台虚拟机的负载偏低，应用集群根据同样的方法减少应用集群里的虚拟机数量。当对象存储服务应用集群里的某台虚拟机停止服务，应用集群会将服务请求指向可提供服务的虚拟机，同时将停止服务的虚拟机从运行列表里删除。
整个流程结束。
采集虚拟交换机上对象存储集群虚拟机的信息是由虚拟机流量获取模块和虚拟机链接数获取模块运用数据流随机采样技术，实时获取虚拟交换机上分布式对象存储集群里每台虚拟机的实时流量和链接数；不断更新分布式对象存储服务集群的负载信息；
监控阈值是指压力量化数据，包含虚拟机流量和虚拟机链接数；虚拟机流量是代表基于虚拟机的对象存储服务的负载情况；虚拟机链接数是代表基于虚拟机的对象存储服务接收的请求数量。
对象存储服务应用集群包括有负载均衡器和提供分布式对象存储服务的虚拟机；负载均衡器在负载均衡中作为统一的前端接收所有来自客户端的请求，并根据预设的负载均衡策略将请求分发到后端提供分布式对象存储服务的虚拟机；分布式对象存储服务的虚拟机，在负载均衡中作为负载的承担方，接收来自于负载均衡器分发的请求，并实际响应分布式对象存储服务的请求。
所述的探测方法通过虚拟机信息获取模块不断查询虚拟机负载信息，并将虚拟机负载信息传送给负载均衡器；探测方法进一步包括由虚拟机流量获取模块和虚拟机链接数获取模块，运用数据流随机采样技术，分别分析虚拟交换机上的流量和链接数，从而获得虚拟机流量的实时信息，并将虚拟机流量和链接数信息通过探测方法传送给负载均衡器。

Claims (8)

1.一种提高访问分布式对象存储服务能力的负载均衡方法，其特征在于：包括如下操作步骤：
步骤1：启用分布式对象存储服务应用集群，并设置应用集群的监控阈值；
步骤2：应用集群通过云计算服务平台，创建一台分布式对象存储服务应用的虚拟机；
步骤3：采集虚拟交换机上对象存储集群虚拟机的信息；
步骤4：根据采集数据与所设置的监控阈值进行资源调配。
2.根据权利要求1所述的方法，其特征在于：
所述的采集虚拟交换机上对象存储集群虚拟机的信息是由虚拟机流量获取模块和虚拟机链接数获取模块运用数据流随机采样技术，实时获取虚拟交换机上分布式对象存储集群里每台虚拟机的实时流量和链接数；不断更新分布式对象存储服务集群的负载信息；
所述监控阈值是指压力量化数据，包含虚拟机流量和虚拟机链接数；
所述虚拟机流量是代表基于虚拟机的对象存储服务的负载情况；
所述虚拟机链接数是代表基于虚拟机的对象存储服务接收的请求数量。
3.根据权利要求1所述的方法，其特征在于：
所述的根据采集数据与所设置的监控阈值进行资源调配进一步包括：
随着集群应用的负载不断增加，应用集群的探测方法探测到整个集群的负载超过最大负荷，应用集群向云计算平台发出创建新的对象存储服务应用的虚拟机的命令，并将此虚拟机纳入运行列表，从而提高分布式对象存储服务能力；
反之，随着分布式对象存储服务集群的负载降低，每台虚拟机的负载偏低，应用集群根据同样的方法减少应用集群里的虚拟机数量；当对象存储服务应用集群里的某台虚拟机停止服务，应用集群会将服务请求指向可提供服务的虚拟机，同时将停止服务的虚拟机从运行列表里删除。
4.根据权利要求2所述的方法，其特征在于：
所述的根据采集数据与所设置的监控阈值进行资源调配进一步包括：
随着集群应用的负载不断增加，应用集群的探测方法探测到整个集群的负载超过最大负荷，应用集群向云计算平台发出创建新的对象存储服务应用的虚拟机的命令，并将此虚拟机纳入运行列表，从而提高分布式对象存储服务能力；
反之，随着分布式对象存储服务集群的负载降低，每台虚拟机的负载偏低，应用集群根据同样的方法减少应用集群里的虚拟机数量；当对象存储服务应用集群里的某台虚拟机停止服务，应用集群会将服务请求指向可提供服务的虚拟机，同时将停止服务的虚拟机从运行列表里删除。
5.根据权利要求3或4所述的方法，其特征在于：所述的对象存储服务应用集群包括有负载均衡器和提供分布式对象存储服务的虚拟机；
所述的负载均衡器在负载均衡中作为统一的前端接收所有来自客户端的请求，并根据预设的负载均衡策略将请求分发到后端提供分布式对象存储服务的虚拟机；
所述分布式对象存储服务的虚拟机，在负载均衡中作为负载的承担方，接收来自于负载均衡器分发的请求，并实际响应分布式对象存储服务的请求。
6.根据权利要求3或4所述的方法，其特征在于，所述的探测方法通过虚拟机信息获取模块不断查询虚拟机负载信息，并将虚拟机负载信息传送给负载均衡器；
所述的探测方法进一步包括由虚拟机流量获取模块和虚拟机链接数获取模块，运用数据流随机采样技术，分别分析虚拟交换机上的流量和链接数，从而获得虚拟机流量的实时信息，并将虚拟机流量和链接数信息通过探测方法传送给负载均衡器。
7.根据权利要求5所述的方法，其特征在于，所述的探测方法通过虚拟机信息获取模块不断查询虚拟机负载信息，并将虚拟机负载信息传送给负载均衡器；
所述的探测方法进一步包括由虚拟机流量获取模块和虚拟机链接数获取模块，运用数据流随机采样技术，分别分析虚拟交换机上的流量和链接数，从而获得虚拟机流量的实时信息，并将虚拟机流量和链接数信息通过探测方法传送给负载均衡器。
8.根据权利要求5所述的方法，其特征在于：所述的云计算服务平台为分布式对象存储服务集群提供虚拟机；
所述云计算服务平台进一步对外开放接口让负载均衡服务器实现对虚拟机的创建、删除、停止、启动等控制虚拟机本身的操作。
CN201611153894.3A 2016-12-14 2016-12-14 一种提高分布式对象存储服务能力的负载均衡方法 Withdrawn CN106412135A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611153894.3A CN106412135A (zh) 2016-12-14 2016-12-14 一种提高分布式对象存储服务能力的负载均衡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611153894.3A CN106412135A (zh) 2016-12-14 2016-12-14 一种提高分布式对象存储服务能力的负载均衡方法

Publications (1)

Publication Number Publication Date
CN106412135A true CN106412135A (zh) 2017-02-15

Family

ID=58087582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611153894.3A Withdrawn CN106412135A (zh) 2016-12-14 2016-12-14 一种提高分布式对象存储服务能力的负载均衡方法

Country Status (1)

Country Link
CN (1) CN106412135A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231421A (zh) * 2017-05-27 2017-10-03 北京力尊信通科技股份有限公司 一种虚拟机计算能力动态调整方法、装置以及系统
CN113794634A (zh) * 2021-08-02 2021-12-14 新华三信息安全技术有限公司 一种负载分担方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646062A (zh) * 2012-03-20 2012-08-22 广东电子工业研究院有限公司 一种云计算平台应用集群弹性扩容方法
CN102833355A (zh) * 2012-09-22 2012-12-19 广东电子工业研究院有限公司 一种面向云计算的负载均衡系统及机制
CN105141691A (zh) * 2015-09-02 2015-12-09 浪潮集团有限公司 一种云计算下虚拟机集群自动扩展系统和方法
CN105159775A (zh) * 2015-08-05 2015-12-16 浪潮(北京)电子信息产业有限公司 基于负载均衡器的云计算数据中心的管理系统和管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646062A (zh) * 2012-03-20 2012-08-22 广东电子工业研究院有限公司 一种云计算平台应用集群弹性扩容方法
CN102833355A (zh) * 2012-09-22 2012-12-19 广东电子工业研究院有限公司 一种面向云计算的负载均衡系统及机制
CN105159775A (zh) * 2015-08-05 2015-12-16 浪潮(北京)电子信息产业有限公司 基于负载均衡器的云计算数据中心的管理系统和管理方法
CN105141691A (zh) * 2015-09-02 2015-12-09 浪潮集团有限公司 一种云计算下虚拟机集群自动扩展系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231421A (zh) * 2017-05-27 2017-10-03 北京力尊信通科技股份有限公司 一种虚拟机计算能力动态调整方法、装置以及系统
CN113794634A (zh) * 2021-08-02 2021-12-14 新华三信息安全技术有限公司 一种负载分担方法及设备

Similar Documents

Publication Publication Date Title
US10334034B2 (en) Virtual machine live migration method, virtual machine deployment method, server, and cluster system
CN105554102A (zh) 基于容器集群的弹性伸缩方法及其应用系统
CN104092756B (zh) 一种基于dht机制的云存储系统的资源动态分配方法
CN104301404B (zh) 一种基于虚拟机的调整业务系统资源的方法及装置
CN103338252B (zh) 一种分布式数据库并发存储虚拟请求机制的实现方法
CN102299959B (zh) 一种数据库集群系统的负载均衡实现方法和装置
CN103442030B (zh) 发送和处理业务请求信息的方法和系统以及客户端装置
CN107465765B (zh) 一种基于容器云的智能应用网关实现方法
CN106657379A (zh) 一种nginx服务器负载均衡的实现方法及系统
CN101207550A (zh) 负载均衡系统及多种业务实现负载均衡的方法
CN108924221A (zh) 分配资源的方法和装置
CN107026907A (zh) 一种负载均衡方法、负载均衡器及负载均衡系统
CN106790381A (zh) 基于加权最小连接的动态反馈负载均衡方法
CN104580018B (zh) 一种软件定义网络中带宽调整方法和装置
CN103135943A (zh) 一种多控存储系统自适应io调度方法
CN108259603A (zh) 一种负载均衡方法及装置
CN102594876A (zh) 游戏实时数据和更新数据的混合加速方法和系统
CN102629938A (zh) 对网络视频加载进行视频加速的方法和系统
CN109688229A (zh) 一种负载均衡集群下会话保持系统
CN102932271A (zh) 负载均衡的实现方法和装置
CN107835262A (zh) 一种流媒体服务器负载动态分配方法
CN107197039B (zh) 一种基于cdn的paas平台服务包分发方法及系统
CN106412135A (zh) 一种提高分布式对象存储服务能力的负载均衡方法
CN110868323B (zh) 一种带宽控制方法、装置、设备及介质
CN105872082B (zh) 基于容器集群负载均衡算法的细粒度资源响应系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20170215

WW01 Invention patent application withdrawn after publication