CN104850450B - 一种面向混合云应用的负载均衡方法及系统 - Google Patents

Abstract

本发明公开了一种面向混合云计算平台的负载均衡方法及相应的混合云负载均衡系统。针对云租户使用混合云计算IaaS(基础设施即服务)平台部署应用，解决多云环境下应用的负载均衡问题。该方法和系统使用了分层负载均衡机制，在上层通过心跳包动态收集私有云和公有云的负载状态信息和资源状态信息，调节往各个云的任务分发优先度；在下层利用云内部提供的LBaaS(负载均衡即服务)在虚拟机之间做负载均衡。同时当云应用爆发时该方案可以根据公有云的价格波动和云租户对成本预算最小化的需求选择性价比最高的公有云进行资源扩展。本发明可以帮助云租户在使用混合云时定制自己的应用需求，自动选择性价比最高的云资源使用方案。

Description

一种面向混合云应用的负载均衡方法及系统

技术领域

本发明属于新型计算机系统结构云计算领域，更具体地，涉及一种面向混合云应用的负载均衡方法与系统。

背景技术

随着云计算技术的快速发展，其应用范围越来越广，国内外互联网巨头、电信运营商和一些初创团队纷纷参与到“云”的浪潮，伴随着移动互联网的兴起，抢红包、抢车票，双十一促销等活动频频出现，云计算作为互联网后台支撑的地位已经不可或缺，可以说“云”的概念已经深入人心。

虽然使用公有云，企业可以在产品快速部署上线、搭建测试环境、减少运维开支等方面占有很大优势，但是很多企业都拥有自己的IT基础设施，他们更愿意构建自己的私有云。然而，当私有云资源不够用时，通过向额外的云进行资源扩展来减轻私有云的负载是最实际的做法，混合云的出现让用户既能享受云计算的好处又不浪费目前已有的计算设备。

思科云指数报告显示：到2018年，超过四分之三(78％)的负载将在云数据中心处理，22％的负载在传统的数据中心处理，这说明使用混合云是未来几年的必然趋势。混合云的目标是用户可以用统一的方式使用和管理私有云和公有云，使其在同一组织下提供无差异的功能。

混合云架构需要对整个系统、租户、管理员进行统一操作，自然就要求云提供商提供一个统一的云管理平台。然而，目前混合云管理并没有一个很好的解决方案，特别是没有消除负载均衡所带来的挑战，甚至在混合云平台上部署的应用，其弹性规模进一步强调了负载均衡的重要性。另外，服务等级保证(SLA)、安全性、操作敏捷性和花费可控性都是负载均衡服务所需要达到的目标。

目前市场上出现的混合云管理工具常见的有开源的ManageIQ和Red Hat基于该开源系统所开发的CloudForm。经过调研发现，这些工具虽然对多云平台进行了很好的融合和统一化管理，但在负载均衡方面的工作仍然停留于虚拟机层次，无法针对云应用爆发时对云资源做出智能调整，不能满足用户成本效益最大化的需求。例如，不同云提供商提供的IaaS虚拟机种类不同，价格也不同，如果不能选择性价比最高的虚拟机，当云应用爆发时将会给用户带来不必要的额外成本和资源浪费。

发明内容

鉴于此，本发明的目的在于解决现有混合云计算系统中存在的云应用负载均衡问题。

为实现上述目的，本发明提供了一种面向混合云应用的负载均衡方法，包括以下步骤：

(1)应用注册模块在混合云负载均衡服务器上注册云应用身份ID、网络入口、应用类型、端口号和云应用对CPU、内存、存储资源的需求信息；

(2)针对某个云应用，云注册模块在混合云负载均衡服务器上注册云应用身份ID、预算设定、虚拟IP地址(VIP)和初始化负载状态信息，并且启动云端代理模块；云端代理模块根据云应用的资源需求信息选择虚拟机实例类型，部署应用，构建虚拟机模板，利用压力测试工具得到单个虚拟机的最大处理能力并将最大处理能力发送到混合云负载均衡服务器端；

(3)任务流接收模块启动，混合云负载均衡服务器开始接收任务流，根据任务请求的类型、网络访问地址和端口号放入到相应云应用的任务请求队列中，并根据任务流的速率曲线预测任务流的到达趋势；

(4)私有云和公有云端的云端代理模块分别开始收集负载状态信息和资源状态信息，并以心跳包形式周期性发送到混合云负载均衡服务器；

(5)负载信息采集模块接收来自云端的负载状态消息，以应用-云键值对形式记录存储；

(6)功能模块中的调度算法子模块从负载信息收集模块得到的云应用负载状态信息和资源状态信息等数据，利用基于成本最小化的最小连接调度算法，计算出各个云的云优先度；

(7)功能模块中的任务转发子模块周期性从任务流队列中取出任务，并根据步骤(6)得到的该云应用下的各个云的云优先度，选择云优先度最大的云为目标进行任务转发；

(8)云端代理模块接收任务请求，将任务请求转发到虚拟机上的云应用，云应用处理任务请求；

(9)管理模块的扩容缩容子模块使用基于贪婪策略的资源分配算法，根据从任务流接收模块得到的任务流负载趋势，对每个可扩展公有云依次计算得到负载程度预测值，与用户设置的扩容缩容阈值进行比较，触发扩容缩容指令发送到相应公有云上的云端代理模块；

(10)云端代理模块接收扩容缩容指令，调用本地扩容缩容方法完成操作，并向云注册模块反馈完成结果；云注册模块接收云端代理模块完成扩容缩容的反馈信息，若执行成功则更新相应的云资源状态信息，若由于资源不够或者超出预算而失败，则将该云标识为不可扩展公有云，重新触发扩容缩容子模块，转入步骤(9)；

(11)管理模块的迁移子模块用于在加入一个新的云时，将其他云上已经部署好应用的虚拟机迁移到这个云；计费子模块用于监控和统计云应用在各个云的资源开销。

本发明还提供一种实现所述面向混合云应用的负载均衡方法的混合云负载均衡系统，针对云资源价格的动态变化性和云用户成本最小化的需求，设计了基于分层机制的混合云负载均衡系统，包括：

应用注册模块，用于在混合云负载均衡服务器上注册该云应用，注册信息包括分该云应用唯一身份ID，该云应用的资源需求参数；

云注册模块，用于在混合云负载均衡服务器上指定的云应用下注册该云的唯一身份ID，在服务器端以键值对形式记录该云的相关信息，注册完毕后调用云端代理模块启动虚拟机并部署云应用，使用压力测试获取单个虚拟机的处理能力；

任务流接收模块，用于接收来自Internet的任务请求，并预测请求趋势；

负载信息收集模块，用于接收来自云端代理模块反馈的云应用负载状态信息和资源状态信息；

功能模块，用于选择合适的云进行任务请求的转发，包含调度算法子模块和任务转发子模块；其中，调度算法子模块用于从负载信息收集模块得到云应用负载状态信息和资源状态信息数据，利用基于成本最小化的最小连接调度算法，计算出各个云的云优先度；任务转发子模块，用于周期性从任务流队列中取出任务，并根据该云应用下的各个云的云优先度，选择云优先度最大的云为目标进行任务转发；

管理模块，包含三个子模块：扩容缩容子模块、迁移子模块和计费子模块；其中扩容缩容子模块，用于调用本地扩容缩容方法完成操作，并向云注册模块反馈完成结果；迁移子模块，用于在加入一个新的云时，将其他云上已经部署好应用的虚拟机迁移到这个云；计费子模块，用于监控和统计云应用在各个云的资源开销；

云端代理模块，用于向混合云负载均衡服务器端反馈负载状态信息，接收云端命令，提供创建虚拟机、部署应用、压力测试、扩容缩容操作。

与现有技术相比，本发明具有以下有益效果：

1、通过融合多云环境，可以对云资源进行统一管理，提高资源的利用率。并且通过全局性地对任务请求进行调度，选择使用最大成本效益的计算资源，可以在保证应用性能的条件下，大大降低用户使用云的开销。

2、由于利用了现有单个云计算系统本身平台本身所提供的负载均衡即服务(LBaaS)机制，大大降低了在虚拟机层面的资源管理难度，对底层的云到底如何实现具有透明性。

3、由于采用标准Http协议和Rest API方式开发，也使得本发明的混合云负载均衡系统可以注册多种类型的应用，注册多种云，提高了其适用范围。

附图说明

图1是本发明实施例的面向混合云应用的负载均衡系统的模块图；

图2是本发明实施例的面向混合云应用的负载均衡方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，为本发明实施例的面向混合云应用的负载均衡系统，所述系统包括：

应用注册模块，用于在混合云负载均衡服务器上注册该云应用。具体地，包括分配该云应用唯一身份ID，设置该云应用的资源需求参数。

云注册模块，用于在混合云负载均衡服务器上指定的云应用下注册该云的唯一身份ID。具体地，在服务器端以键值对形式记录该云的相关信息，注册完毕后调用云端代理模块启动虚拟机并部署云应用，使用压力测试获取单个虚拟机的处理能力。

任务流接收模块，用于接收来自Internet的任务请求，并预测请求趋势。具体方法参见下文的详细描述。

负载信息收集模块，用于接收来自云端代理模块反馈的云应用负载状态信息和资源状态信息；

功能模块，该模块用于选择合适的云进行任务请求的转发，主要包含两个子模块：调度算法子模块和任务转发子模块；其中，调度算法子模块用于从负载信息收集模块得到云应用负载状态信息和资源状态信息数据，利用基于成本最小化的最小连接调度算法，计算出各个云的云优先度；任务转发子模块，用于周期性从任务流队列中取出任务，并根据该云应用下的各个云的云优先度，选择云优先度最大的云为目标进行任务转发；

管理模块，包含三个子模块：扩容缩容子模块、迁移子模块和计费子模块。用于监控云端资源状态和开销，发送扩容缩容命令，提供虚拟机迁移和对云资源的使用进行计费等功能；其中扩容缩容子模块，用于调用本地扩容缩容方法完成操作，并向云注册模块反馈完成结果；迁移子模块，用于在加入一个新的云时，将其他云上已经部署好应用的虚拟机迁移到这个云；计费子模块，用于监控和统计云应用在各个云的资源开销；

云端代理模块，用于向混合云负载均衡服务器端反馈负载状态信息，接收云端命令，提供创建虚拟机、部署应用、压力测试、扩容缩容等操作。

如图2所示，本发明实施例中的适用于混合云应用的负载均衡方法包括以下步骤：

(1)应用注册模块在混合云负载均衡服务器上注册云应用身份ID、网络入口、应用类型、端口号和云应用对CPU、内存、存储资源的需求信息；

(2)针对某个云应用，云注册模块在混合云负载均衡服务器上注册云的唯一身份ID、预算设定、虚拟IP地址(VIP)和初始化负载状态信息，并且启动云端代理模块；云端代理模块根据云应用的资源需求信息选择虚拟机实例类型，部署应用，构建虚拟机模板，利用压力测试工具得到单个虚拟机的最大处理能力并将最大处理能力发送到负载均衡服务器端；至此初始化工作完成；

(3)初始化工作完成后，任务流接收模块启动，混合云负载均衡器开始接收任务流。根据任务请求的类型、网络访问地址和端口号放入到相应云应用的任务请求队列中，并根据任务流的速率曲线预测任务流的到达趋势；

其中，所述预测任务流的到达趋势方法为局部线性回归的负载预测方法：假设在t时间段的任务到达率为X_t，根据过去k个时间段的值推测t+1时间段内的任务到达率的预测值X_t+1，具体计算过程为：

假设最近k个时间段内的实际任务到达率的值为{X_t-k+1,X_t-k+2,…,X_t}，设拟合多项式：y＝a₀+a₁x+…+a_kx^k

由最小二乘法化简后得到

令X*A＝Y,则A＝X^-*Y

由y＝f(t+1)即可计算得到t+1时间段的预测值X_t+1。

(4)私有云和公有云端的云端代理模块分别开始收集负载状态信息和资源状态信息，并以心跳包形式周期性发送到混合云负载均衡服务器；

(5)负载信息采集模块接收来自云端的负载状态消息，以应用-云键值对形式记录存储；

(6)功能模块中的调度算法子模块从负载信息收集模块得到云的负载状态信息和资源状态信息等数据，利用基于成本最小化的最小连接调度算法，计算出各个云的云优先度；具体而言，本步骤包括以下子步骤：

(6-1)云端代理模块根据用户设置的该云应用对CPU、内存、存储资源需求的参数选择合适的虚拟机，新建虚拟机模板并部署该云应用，采用压力测试方法得到该虚拟机的单位时间最大处理能力；

(6-2)令<α,β>表示一个应用-云键值对，对于一种应用α可能部署在多个公有云或私有云上；应用α在云β的负载状态信息表示为{r，R，Cost}，其中r表示当前已连接的请求数量，R表示当前在云β上的最大处理能力，Cost表示在云β上的单位时间花费，为统一计算，私有云上的花费记为1；

(6-3)由计算公式

对所有云统一计算云优先度ω，选择云优先度最大的云进行任务请求转发；

本步骤中，混合云负载均衡器模块在选择目的云进行应用请求转发时，优先选择私有云进行转发，若私有云已达到最大连接数，则ω＝0，即不会再往私有云上发送请求。根据调度算法得到的具有最大云优先度的云，其单位计算成本最低。

(7)功能模块中的任务转发子模块周期性从任务流队列中取出任务，并根据步骤(6)得到的该云应用下的各个云的云优先度，选择云优先度最大的云为目标进行任务转发；

(8)云端代理模块接收任务请求，将任务请求转发到虚拟机上的云应用，云应用处理任务请求；

(9)管理模块的扩容缩容子模块使用基于贪婪策略的资源分配算法，根据从任务流接收模块得到的任务流负载趋势，对每个可扩展公有云依次计算得到负载程度预测值，与用户设置的扩容缩容阈值进行比较，触发扩容缩容指令发送到相应公有云上的云端代理模块；

其中，所述基于贪婪策略的资源分配算法，其计算过程如下：

设置云应用的扩容阈值γ_u，缩容阈值γ_d，由计算公式

得到每个云的负载程度预测值。如果所有为真，则发出缩容指令，选择云优先度最低的公有云进行缩容；如果为真，则发出扩容指令，选择云优先度最高的可扩展公有云进行扩容。云端代理模块若完成扩容或者缩容操作，则返回完成信息到混合云负载均衡服务器；若失败则返回失败信息，混合云负载均衡服务器将当前公有云列为不可扩展公有云，重新计算得到新的可扩展公有云。

(10)云端代理模块接收扩容缩容指令，调用本地扩容缩容方法完成操作，并向云注册模块反馈完成结果；云注册模块接收云端代理模块完成扩容缩容的反馈信息，若执行成功则更新相应的云资源状态信息，若由于资源不够或者超出预算而失败，则将该云标识为不可扩展公有云，重新触发扩容缩容子模块，转入步骤(9)；

(11)管理模块的迁移子模块用于在加入一个新的云时，将其他云上已经部署好应用的虚拟机迁移到这个云；计费子模块用于监控和统计云应用在各个云的资源开销。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种面向混合云应用的负载均衡方法，其特征在于，包括以下步骤：

(1)应用注册模块在混合云负载均衡服务器上注册云应用身份ID、网络入口、应用类型、端口号和云应用对CPU、内存、存储资源的需求信息；

(2)针对某个云应用，云注册模块在混合云负载均衡服务器上注册云应用身份ID、预算设定、虚拟IP地址和初始化负载状态信息，并且启动云端代理模块；云端代理模块根据云应用的资源需求信息选择虚拟机实例类型，部署应用，构建虚拟机模板，利用压力测试工具得到单个虚拟机的最大处理能力并将最大处理能力发送到混合云负载均衡服务端；

(3)任务流接收模块启动，混合云负载均衡服务器开始接收任务流，根据任务请求的类型、网络访问地址和端口号放入到相应云应用的任务请求队列中，并根据任务流的速率曲线预测任务流的到达趋势；

(4)私有云和公有云端的云端代理模块分别开始收集负载状态信息和资源状态信息，并以心跳包形式周期性发送到混合云负载均衡服务器；

(5)负载信息采集模块接收来自云端的负载状态消息，以应用-云键值对形式记录存储；

(6)功能模块中的调度算法子模块从负载信息收集模块得到云应用负载状态信息和资源状态信息数据，利用基于成本最小化的最小连接调度算法，计算出各个云的云优先度；

(7)功能模块中的任务转发子模块周期性从任务流队列中取出任务，并根据步骤(6)得到的该云应用下的各个云的云优先度，选择云优先度最大的云为目标进行任务转发；

(8)云端代理模块接收任务请求，将任务请求转发到虚拟机上的云应用，云应用处理任务请求；

(9)管理模块的扩容缩容子模块使用基于贪婪策略的资源分配算法，根据从任务流接收模块得到的任务流负载趋势，对每个可扩展公有云依次计算得到负载程度预测值，与用户设置的扩容缩容阈值进行比较，触发扩容缩容指令发送到相应公有云上的云端代理模块；

(10)云端代理模块接收扩容缩容指令，调用本地扩容缩容方法完成操作，并向云注册模块反馈完成结果；云注册模块接收云端代理模块完成扩容缩容的反馈信息，若执行成功则更新相应的云资源状态信息，若由于资源不够或者超出预算而失败，则将相应公有云标识为不可扩展公有云，重新触发扩容缩容子模块，转入步骤(9)；

(11)管理模块的迁移子模块，在加入一个新的云时，将其他云上已经部署好应用的虚拟机迁移到这个云；计费子模块，监控和统计云应用在各个云的资源开销。

2.根据权利要求1所述的面向混合云应用的负载均衡方法，其特征在于，所述步骤(3)中，所述预测任务流的到达趋势方法为局部线性回归的负载预测方法：假设在t时间段的任务到达率为X_t，根据过去k个时间段的值推测t+1时间段内的任务到达率的预测值X_t+1，具体计算过程为：

假设最近k个时间段内的实际任务到达率的值为{X_t-k+1，X_t-k+2，…，X_t}，设拟合多项式：y＝a₀+a₁x+…+a_kx^k

由最小二乘法化简后得到

令X*A＝Y,则A＝X-*Y

由y＝f(t+1)即可计算得到t+1时间段的预测值X_t+1。

3.根据权利要求2所述的面向混合云应用的负载均衡方法，其特征在于，所述步骤(6)中，所述调度算法采用一种基于成本最小化的最小连接算法，所述云优先度是指请求转发到各个云的优选权值，所述步骤(6)调度算法的计算过程为：

(6-1)云端代理模块根据用户设置的该云应用对CPU、内存、存储资源需求的参数选择合适的虚拟机，新建虚拟机模板并部署该云应用，采用压力测试方法得到该虚拟机的单位时间最大处理能力；

(6-2)令<α,β>表示一个应用-云键值对，对于一种应用α部署在多个公有云或私有云上；应用α在云β的负载状态信息表示为{r，R，Cost}，其中r表示当前已连接的请求数量，R表示当前在云β上的最大处理能力，Cost表示在云β上的单位时间花费，为统一计算，私有云上的花费记为1；

(6-3)由计算公式

对所有云统一计算云优先度ω，选择云优先度最大的云进行任务请求转发。

4.根据权利要求3所述的面向混合云应用的负载均衡方法，其特征在于，在所述步骤(6)中，所述混合云负载均衡器模块在选择目的云进行应用请求转发时，优先选择私有云进行转发，若私有云已达到最大连接数，则ω＝0，即不会再往私有云上发送请求。

5.根据权利要求4所述的面向混合云应用的负载均衡方法，其特征在于，所述步骤(9)中，所述基于贪婪策略的资源分配算法，其计算过程如下：

设置云应用的扩容阈值γ_u，缩容阈值γ_d，由计算公式

得到每个云的负载程度预测值；如果所有为真，则发出缩容指令，选择云优先度最低的公有云进行缩容；如果为真，则发出扩容指令，选择云优先度最高的可扩展公有云进行扩容；云端代理模块若完成扩容或者缩容操作，则返回完成信息到混合云负载均衡服务器；若失败则返回失败信息，混合云负载均衡服务器将当前公有云列为不可扩展公有云，重新计算得到新的可扩展公有云。

6.一种用于实现权利要求1-5任一项所述面向混合云应用的负载均衡方法的系统，包括：

应用注册模块，用于在混合云负载均衡服务器上注册该云应用，注册信息包括分该云应用唯一身份ID，该云应用的资源需求参数；

云注册模块，用于在混合云负载均衡服务器上指定的云应用下注册该云的唯一身份ID，在服务器端以键值对形式记录该云的相关信息，注册完毕后调用云端代理模块启动虚拟机并部署云应用，使用压力测试获取单个虚拟机的处理能力；

任务流接收模块，用于接收来自Internet的任务请求，并预测请求趋势；

负载信息收集模块，用于接收来自云端代理模块反馈的云应用负载状态信息和资源状态信息；

功能模块，用于选择合适的云进行任务请求的转发，包含调度算法子模块和任务转发子模块；其中，调度算法子模块用于从负载信息收集模块得到云应用负载状态信息和资源状态信息数据，利用基于成本最小化的最小连接调度算法，计算出各个云的云优先度；任务转发子模块，用于周期性从任务流队列中取出任务，并根据该云应用下的各个云的云优先度，选择云优先度最大的云为目标进行任务转发；

管理模块，包含三个子模块：扩容缩容子模块、迁移子模块和计费子模块；其中扩容缩容子模块，用于调用本地扩容缩容方法完成操作，并向云注册模块反馈完成结果；迁移子模块，用于在加入一个新的云时，将其他云上已经部署好应用的虚拟机迁移到这个云；计费子模块，用于监控和统计云应用在各个云的资源开销；

云端代理模块，用于向混合云负载均衡服务器端反馈负载状态信息，接收云端命令，提供创建虚拟机、部署应用、压力测试、扩容缩容操作。