CN104917825A - 一种面向实时流计算平台的负载均衡方法 - Google Patents

Abstract

本发明提供一种面向实时流计算平台的负载均衡方法，在无全局会话表情况下，保持会话一致性，实现云任务数据流量均衡。适应实时流计算平台节点多和数据流量大的特点。包括以下步骤：1)当前任务节点出现过载，则寻找迁移目的节点；2)从服务表中查询指向当前任务节点的数据项集合，然后向当前任务节点询问哪些数据项可以迁移至迁移目的节点；3)当前任务节点接收询问，连接表中的不活跃连接，得到可迁移数据项集合；4)根据可迁移数据项集合建立转发表，转发在所述服务表TD同步期内收的不一致数据；5)将转发表通知给状态级调度器，状态级调度器将转发表同步给所有上游任务节点；6)所有上游任务节点完成同步，删除转发表。

Description

一种面向实时流计算平台的负载均衡方法

技术领域

本发明涉及信息技术领域，具体涉及一种面向实时流计算平台的负载均衡方法。

背景技术

随着云计算、物联网等技术的兴起，数据正以前所未有的速度不断地增长和积累，并且越来越多地以大规模、连续的流的形式出现在应用程序中，如移动互联网中的社交网络数据，电子商务领域的用户消费数据，物联网领域由传感器设备产生的实时传感数据等。

为此工业界和学术界开发了很多实时流计算平台，包括Twitter的Storm、Microsoft的TimeStream、Yahoo！的S4，以及斯坦福大学的STREAM、施乐公司的Tapestry、加州大学伯克利分校的Telegraph、布朗大学和麻省理工学院合作的Aurora，Apache的Hadoop Online等。

海量数据流的计算超出了单机的处理能力，上述流计算平台均采用集群处理流数据，必然要使用负载均衡技术提高集群的稳定性和资源利用率。然而，数据流产生速率高且不能被完全存储、数据价值与实时性紧密相关、数据流未被及时处理则永久丢失等新特性，给传统的负载均衡技术带来了新的挑战。

目前现有的负载均衡技术存在以下一些问题：

1)采用集中分发模式，仅能处理流量和后端节点有限的情况，而实时流计算平台的数据量、任务量、节点规模都超越了传统负载均衡器的处理范围；

2)采用全局会话表，因为流计算平台节点众多、流量大，如果每个节点发送数据时都向全局会话表注册询问，全局会话表很容易工作过载，成为平台瓶颈；

3)在没有全局会话表的情况下，保持会话的一致性十分困难；

发明内容

针对现有负载均衡技术存在的问题，本发明提供一种面向实时流计算平台的负载均衡方法，能在没有全局会话表的情况下，保持会话一致性，实现云任务数据流量之间的均衡。适应实时流计算平台节点多和数据流量大的特点，以提高流计算平台的稳定性和资源利用率。

本发明的目的在于提供一种面向实时流计算平台的负载均衡方法，包括以下步骤：

1)当上游任务节点中的一当前任务节点出现过载，则从下游任务节点中寻找用以分担其负载的一迁移目的节点；

2)一状态级调度器从其具有的一服务表中查询指向所述当前任务节点的一数据项集合，然后向所述当前任务节点询问哪些数据项可以迁移至迁移目的节点；

3)所述当前任务节点接收询问，查询所述当前任务节点的一连接表中的不活跃连接，得到一可迁移数据项集合；

4)所述当前任务节点根据所述可迁移数据项集合建立一转发表，用以转发在所述服务表TD同步期内收的不一致数据；

5)将所述转发表通知给所述状态级调度器，所述状态级调度器将所述转发表同步给所有上游任务节点，用以更新所述服务表；

6)所有上游任务节点完成同步，删除当前任务节点的转发表。

进一步地，所述服务表定义为数据分配矩阵TD，n×m，行表示task，列表示data：

进一步地，所述连接表定义为数据活跃矩阵D，1×m，表示数据的活跃情况：

进一步地，所述转发表定义为数据分配掩码矩阵TDM，n×m，表示矩阵变更，与TD相加，更新TD：

进一步地，步骤2)中所述数据项集合定义为：

TD_Task＝{td_ij|(i＝task4)∧(td_ij＝1)∧(td_ij∈TD)}

所述向所述当前任务节点询问哪些数据项可以迁移至迁移目的节点包括：根据当前任务节点的过载程度选择TD_Task或其子集作为询问集合。

进一步地，步骤3)中所述可迁移数据项集合定义为：

其中，TD_mig＝{td_ij|(td_ij∈TD_ask)∧(d_ij＝0)∧(d_ij∈D)}。

进一步地，步骤5)中所述状态级调度器将所述转发表同步给所有上游任务节点包括，所述状态级调度器将转发表TDM与服务表TD二者相加形成新的服务表TD_new＝TD+TMD。

进一步地，步骤5)所述同步的过程中，所述当前任务节点的转发表将后通知到的上游任务节点发来的数据项转发给迁移目的节点，保证数据分组一致性。

进一步地，所述状态级调度器在一云作业中与云任务一起创建和分发，所述当前任务节点与迁移目的节点之间的数据流通不通过状态级调度器。

通过采取上述的技术方案，本发明的方法对流计算平台进行流量级的负载均衡调度，具有以下优点：

1、本发明中的状态级调度器在云作业中随着云任务一起创建和分发，可以看做一种特殊的云任务，数据本身不经过状态级调度器，状态级调度器宕机不影响业务运行，从而提高了负载均衡方法的可用性；

2、采用分布式会话表而非全局会话表，每台后端节点存储与自身相关的局部会话表，状态级调度器根据需要询问相应的后端节点获得其需要的会话表；

3、基于后端节点的横向转发，保证前端节点在同步期内仍然能保证会话的全局一致性，只在短暂的同步期内生效，不会造成额外流量增加；

4、负载迁移算法具有理论上的稳定性，保证迁移过程负载情况不发生新的震荡。

附图说明

图1是本发明实施例中拓扑环境示意图。

图2是本发明实施例中的状态级调度器分布示意图。

图3是本发明的负载均衡模式与传统负载均衡模式对比示意图。

图4是本发明实施例中的方法实施流程示意图。

图5是本发明方法的数据结构示意图。

图6是本发明实施例中动态负载均衡系统方框图。

图7是本发明实施例中动态负载均衡闭环传递函数方框图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。

本发明的核心技术构思在于：

1、使用状态级调度器，即协调器，其只在后端节点状态变更时才发生交互，因此不存在瓶颈，同时由于数据本身不经过协调器，协调器宕机不影响业务运行，从而提高了负载均衡系统的可用性；

2、采用分布式会话表，即每台后端节点存储与自身相关的局部会话表，协调器根据需要询问相应的后端节点获得其需要的会话表；

3、基于后端节点的横向转发，保证前端节点在同步期内仍然能保证会话的全局一致性，只在短暂的同步期内生效，不会造成额外流量增加。

下面介绍本发明的面向实时流计算平台的负载均衡方法的主要原理：

如图2，本发明中的状态级调度器在云作业中随着云任务一起创建和分发，可以看做一种特殊的云任务，在云作业中负责对云任务之间的流量进行分配，使得云任务所在的节点的负载比较平均，避免由于流量过于集中某一节点造成的节点过载。

运行过程中，负载均衡器上的服务表前置到上游task，连接表后置到下游task，流量不经过负载均衡调度器，流量通过上游task上的服务表进行分发，负载均衡调度器只负责服务表项的迁移与同步，在同步期内依靠下游task之间的转发完成会话一致性。

本发明的方法主要体现为以下几个方面：

1)状态级调度器

即协调器，如图2，以程序模块的形式存在，像云任务一样运行在某台节点上，不依赖具体的硬件设备。调度器可以单独部署在1个节点上或是与云任务共用节点。每2级流水之间至少有1个调度器，多个调度器可以部署在1个节点上。数据流只在上下级task之间流动，而不经过调度器。每个调度器中包含2个单元：数据和业务逻辑，数据是指服务表TD，业务逻辑是指完成从数据项到后端节点映射的代码。调度器其只在后端节点状态变更时才发生交互。上级流水节点的云任务中包含服务表TD，连接表D存在于后端节点的云任务中，在交互时后端节点产生转发表TDM，TDM被传递给调度器，调度器更新自己和前端节点中的TD。更新过程中后端节点可能出现横向转发。

2)分布式会话表

即连接表D，每台后端节点存储与自身相关的局部会话表。需要注意的是，这里的“后端节点”是一个相对概念，是相对于其上级流水中的“前端节点”而言的。如果后端节点向下级流水发送数据，则其又是下级流水中节点的“前端节点”，这时，节点中的task除了D还包含服务表TD。协调器根据需要询问相应的后端节点获得其需要的会话表。负载的迁移是在同级节点之间流动，即从过载节点向与过载节点同级的节点转移，同级的意思是同为上游或同为下游。

3)后端节点横向转发

在某task过载时，需要将其部分流量迁移到其他节点的task上去，首先需要更新服务表TD，整个更新过程分为：调度器询问后端节点会话表、生成TDM、调度器更新自己的TD、调度器更新前端节点task中的TD，在此过程中，前端节点中的task仍然会根据TD更新之前的映射关系进行分发流量，即过载的task仍然会接收到已经被迁移出去的数据项。此时，过载task所在的后端节点需要转发这些已经被迁移出去的数据项，这一过程称为“横向转发”，以此保证前端节点在同步期内仍然能保证会话的全局一致性。这一转发过程十分短暂，不会造成额外流量增加。

下面通过具体的实施例对本发明的方法进行介绍：

实验环境

如图1所示的拓扑环境，使用三台服务器作为Zookeeper节点，负责全局状态存储并负责与其他模块通信；使用两台服务器作为Master节点，一台监控整个集群工作状态，提供故障恢复与任务迁移功能，另一台作为热备使用；使用五台服务器作为Supervisor工作节点，负责监控及控制Worker进程工作；使用一台服务器作为Client客户端，负责向集群发布命令、提交Job及可执行程序等；并使用千兆网卡与交换机提供集群网络通信。该负载均衡方法是一套程序，运行于“流水行云”实时流计算平台上，而该平台是一整套分布式系统，需要硬件支持，需要多部署在多台机器组成的集群上，该集群即为拓扑环境，而负载均衡方法的调度效果需要通过对节点负载的性能检测得到。

调度过程

通过本发明中负载均衡方法，实现将过载节点和云任务的流量分流到空闲或轻负载节点，从而使得云平台节点和云任务的流量相对均衡。

下面举例说明使用本发明进行过载节点和云任务的流量迁移过程，如下图4所示，上游Task为Task1、Task2、Task3，下游Task为Task4、Task5、Task6，要发送d1-d9数据项：

①发现Task4过载，需要在下游Task中寻找负载较轻的其他Task分担其负载；

②假设找到Task5作为迁移的目的节点，分担Task4的负载，调度器从TD中查询出当前指向Task4的数据项集合TD_Task4＝{td_ij|(i＝task4)∧(td_ij＝1)∧(td_ij∈TD)}，其中，i表示TD中task4所在的行，j表示TD中的第j列，td_ij表示某集合的元素，这些元素为分配给task4的数据项，如{d1,d2,d3,d4}。调度器可根据Task4的过载程度选择TD_Task4或其子集作为询问集合，假设TD_ask＝{d1，d2，d3}，然后调度器向Task4询问TD_ask中的哪些数据项可以迁移至Task5；

③Task4接收到询问集TD_ask，查询其连接表D中的不活跃连接，可得到可迁移数据项集合TD_mig＝{td_ij|(td_ij∈TD_ask)∧(d_ij＝0)}∧(d_ij∈D)}，其中，td_ij表示某集合的元素，该元素存在于Tdask中，又在D中对应的值为0(不活跃数据项)。假设存在d1和d2的活跃连接，则TD_mig＝{d3}，即可以将数据项d3迁移给Task5；

④Task4根据TD_mig建立转发表TDM，用以转发在上游TD同步期内收的不一致数据；其中，不活跃的数据项可能同步期间再次变得活跃，即这些数据到达下游已过载节点，而实际这些数据需要到达目的迁移节点，故称为不一致数据

⑤将TDM通知给调度器，再由调度器将TDM同步给上游所有Task，用以更新TD，二者相加形成最新的TD_new＝TD+TMD；

⑥TD同步过程中所有上游Task会有短暂的服务表不一致期，这期间Task4的转发表起作用，将后通知到的上游Task发来的数据项转发给Task5，保证负载迁移期的数据分组一致性，如，若变更过程中Task4收到d3，则转发给Task5；

⑦所有上游Task的TD完成同步，删除Task4上的TDM。

运行结果

如果下游节点的CPU或内存工作负载过载，如云任务t4所在节点，触发本发明中的负载均衡方法，根据计算规则，需要将t4的部分流量分发到轻负载的云任务t5，同时根据TDM更新TD。由于在同步期间仍会有流量传递给t4，这些数据将会被转发至t5，以此保证同一会话ID的数据全都被分发到同一节点上去，从而降低t4的工作负载，提高t5的工作负载，最终使得云平台中各个节点的工作负载趋于均衡。

Claims (9)

1.一种面向实时流计算平台的负载均衡方法，包括以下步骤：

1)当上游任务节点中的一当前任务节点出现过载，则从下游任务节点中寻找用以分担其负载的一迁移目的节点；

2)一状态级调度器从其具有的一服务表中查询指向所述当前任务节点的一数据项集合，然后向所述当前任务节点询问哪些数据项可以迁移至迁移目的节点；

3)所述当前任务节点接收询问，查询所述当前任务节点的一连接表中的不活跃连接，得到一可迁移数据项集合；

4)所述当前任务节点根据所述可迁移数据项集合建立一转发表，用以转发在所述服务表TD同步期内收的不一致数据；

5)将所述转发表通知给所述状态级调度器，所述状态级调度器将所述转发表同步给所有上游任务节点，用以更新所述服务表；

6)所有上游任务节点完成同步，删除当前任务节点的转发表。

2.如权利要求1所述的面向实时流计算平台的负载均衡方法，其特征在于，所述服务表定义为数据分配矩阵TD，n×m，行表示task，列表示data：

3.如权利要求2所述的面向实时流计算平台的负载均衡方法，其特征在于，所述连接表定义为数据活跃矩阵D，1×m，表示数据的活跃情况：

4.如权利要求3所述的面向实时流计算平台的负载均衡方法，其特征在于，所述转发表定义为数据分配掩码矩阵TDM，n×m，表示矩阵变更，与TD相加，更新TD：

5.如权利要求4所述的面向实时流计算平台的负载均衡方法，其特征在于，步骤2)中所述数据项集合定义为：

TD_Task＝{td_ij|(i＝task4)^(td_ij＝1)^(td_ij∈TD)}，

所述向所述当前任务节点询问哪些数据项可以迁移至迁移目的节点包括：根据当前任务节点的过载程度选择TD_Task或其子集作为询问集合。

6.如权利要求5所述的面向实时流计算平台的负载均衡方法，其特征在于，步骤3)中所述可迁移数据项集合定义为：

其中，TD_mig＝{td_ij|(td_ij∈TD_ask)^(d_ij＝0)^(d_ij∈D)}。

7.如权利要求6所述的面向实时流计算平台的负载均衡方法，其特征在于，步骤5)中所述状态级调度器将所述转发表同步给所有上游任务节点包括，所述状态级调度器将转发表TDM与服务表TD二者相加形成新的服务表TD_new＝TD+TMD。

8.如权利要求1所述的面向实时流计算平台的负载均衡方法，其特征在于，步骤5)所述同步的过程中，所述当前任务节点的转发表将后通知到的上游任务节点发来的数据项转发给迁移目的节点，保证数据分组一致性。

9.如权利要求1所述的面向实时流计算平台的负载均衡方法，其特征在于，所述状态级调度器在一云作业中与云任务一起创建和分发，所述当前任务节点与迁移目的节点之间的数据流通不通过状态级调度器。