CN103399789B - 分布式流计算系统中可构建的动态过载控制方法 - Google Patents

Abstract

一种使用在流计算系统中的过载控制的计算机执行方法，其考虑了处理到来的输入数据或事件的每个应用的相对重要性。该过载控制的方法还考虑了系统物理局限，例如存储器和CPU的使用。该过载控制方法首先观察每个应用的工作负荷以及到来的输入数据或事件的到达率。如果系统处于过载情况下，计算每个应用的输入数据或事件丢包率，这样当根据每个应用的丢包率舍弃未处理的输入数据或事件时，所有应用工作负荷的预计总和将是系统容量或低于系统容量。

Description

分布式流计算系统中可构建的动态过载控制方法

技术领域

本发明总的来说涉及分布式流计算中使用的信息系统。特别是，本发明涉及分布式流计算系统中的过载管理。更特别的是，本发明涉及分布式流计算系统中的过载控制方法。

背景技术

计算机网络中产生过载的根本原因是网络容量不能满足用户的需求，当发生过载时，网络处理能力显著下降，从而无法保证用户服务质量。

产生网络处理能力下降的一种具体原因与流计算有关。流计算是关于当新的数据或事件正实时输入时产生更新的计算结果的连续流。由于随着时间产生未知资源需求的新数据或事件出现的时变和零星特性，资源的提供和分配变得相当困难。在新的数据或事件的到达率超过系统容量的过载情况下，该系统缺乏在容许时间段内处理新到来的数据或事件的资源。因此，正在处理的等待时间变得不可控，损害了计算结果流的更新。

现有的计算结构和技术已经发展以解决上述问题。这样的一种结构是将计算资源分成用于处理输入数据或事件的物理或逻辑单元(节点)，并且根据分配机制将要到来的输入数据或事件分配给这些节点。该分配机制可以像单循环技术那么简单，或者可以像基于节点的一直监测的过载控制等级的智能分配那样复杂。这种结构的好处是计算处理可以并行分配和执行，并且计算资源的物理/逻辑单元可以根据实际运行时间的过载控制等级进行添加或者移除，因而实现了可量测性。这种分布式流计算系统的一个例子在以下文献中进行描述：Neumeyer等人，S4：分布式流计算平台(DistributedStreamComputingPlatform)，SantaClara，California，U.S.A.，2010，其全部内容结合在本文中作为参考。

如何有效的对网络进行过载控制，是所有网络必须解决的问题。这里的网络包括所有计算机网络，无线通信网络，包括IP多媒体系统作为提供多媒体业务的子系统以及多台计算机同时计算的“云计算”情况。过载控制是一种计算技术，作为独立于业务的非功能特征是所有业务运行时所必需的，其丢弃未处理的输入数据或事件中的某些片段，以便减小系统过载，进而减小计算结果流的可见等待时间。现有的过载控制算法包括基于预测的自适应接入控制算法和多目标接入控制算法。过载控制的一个问题是如何最有效地丢弃未处理的输入数据或事件并且仍然确保最小化与最佳计算结果的偏差。

一种过载控制的策略是一旦达到系统资源容量，则舍弃到来的输入数据或事件；例如，当用于容纳要被处理的输入数据或事件的缓冲区满时。然而，这种策略无区别地处理所有的输入数据或事件并且不考虑输入数据或事件的重要性差别。这样导致计算结果的不可预测或者精度差。此外，数据或事件丢包率不能进行调节，用于改变输入数据或事件到达率以及在运行时间中的可见处理等待时间。

另一种过载控制策略是连续监测实际处理等待时间和/或资源(诸如CPU和存储器)使用率，与预定的最佳处理等待时间和/或资源利用率进行比较，根据实际和最佳处理等待事件和/或资源利用率之间的差丢弃随意选择的未处理输入数据或事件。这种的策略的一个例子在下面的文献中进行描述：Kalyvianaki等人；OverloadManagementinDataStreamProcessingSystemswithLatencyGuarantees，斯德哥尔摩，瑞典，2012；其全部内容结合在本文中作为参考。然而，这种策略具有计算结果不可预测性或精度差的相同问题。

某些其他的过载控制策略要求系统具有输入数据使用的实际知识。这种使用可以是由用户指定的输入数据的数据查询的形式。何时丢弃和丢弃什么的决定取决于这些查询的分析，以便确定输入数据重要性的不同等级。丢弃决定的运行时间控制可由专门设计的查询来实现。例如，美国专利申请公开No.2012/027,843公开了一种控制过载控制的方法，用于排除输入到数据流管理系统中的数据处理的数据流。

这样的一种过载控制策略的另一个例子将XML查询处理应用到输入数据上，并且根据XML数据结构的图形来做出丢弃决定。该例子的细节在以下文献中公开：Wei等人的Utility-drivenLoadSheddingforXMLStreamProcessing，WorcesterPolytechnicInsitute，U.S.A.，2003；其全部内容结合在本文中作为参考。然而，这些过载控制策略的缺点是它们不灵活，并且高度地专用于应用和数据。

发明内容

当前所要求保护的发明的一个目的在于提供一种在分布式流计算系统中使用的过载控制方法，该方法有效、优化、灵活并且在计算结果精度和处理等待之间保持平衡。

另一目的在于提供这样的一种过载控制方法，其考虑处理到来的输入数据或事件的每个应用的相对重要性。当前要求保护的过载控制方法还考虑系统物理限制，诸如存储器和CPU使用。该过载控制方法首先观察每个应用的工作负荷以及将要到来的输入数据或时间的到达率。如果该系统处于过载情况，对每个应用计算输入数据或事件丢包率，这样当根据每个应用的丢包率舍弃未处理的输入数据或事件时，所有应用的工作负荷的预计的总和将为系统容量或者低于系统容量。

附图说明

本发明的实施方式将参考附图在下文中更加详细地进行描述，其中：

图1示出在二维空间中示例分布式流计算系统的系统容量线，该系统具有两个应用，在过载情况下的当前系统过载和三个目标投影点，作为辅助示出当前要求保护的过载控制方法；

图2进一步示出以增量步长正朝向目标投影点移动的当前系统过载；

图3进一步示出用于系统稳定性的修正的目标投射点，该系统稳定性具有确保概率的缓冲区溢出控制。

具体实施方式

在下面的描述中，在分布式流计算系统中使用的过载控制方法和系统作为优选示例提出。本领域技术人员应该清楚，只要不脱离本发明的范围和精神，可进行包括增加和/或替换的修正。可省略特定的细节，以便不使得本发明含糊；然而，撰写本说明书，使得本领域技术人员能够不需要进行过度的实验才能实践本文中的教导。

根据各种实施方式，该过载控制方法通过首先限定分布式流计算系统的结构来解决舍弃多少以及哪些输入数据或事件的问题，在该分布式流计算系统结构中，在一个或多个物理计算处理单元中使用多个应用，每个应用包括全部必要的计算资源，例如CPU和存储器，计算处理单元的虚拟部分，或者逻辑计算处理单元(统称为“节点”)。

每个节点运行一个或多个应用实例。在一个或多个节点中运行的应用表示为App_i。该应用App_i要求一定量的节点的计算资源，表示为C_i，用以处理到来的输入数据或事件。要由App_i处理的到来的输入数据或事件到达率是在单位时间内到达的到来的输入数据或事件的数目，用表示。那么，在运行时间内用于处理输入数据或事件的应用App_i所要求的工作负荷是正被App_i处理的输入数据或事件的实际处理率是在单位时间内处理的输入数据或事件的数目，用x_i表示。那么输入数据或事件的过载控制百分比是节点的计算容量用M_j表示。因此，可预见的过载情况可被限定为换句话说，当全部应用所需要的工作负荷的和超过了所有节点计算容量的和时，出现过载情况。

当分布式流计算系统以最大容量运行时，全部应用的实际工作负荷的和等于全部节点计算容量的和。这可以用数学表示为：Sum_i(x_i*C_i)＝Sum_j(M_j)或Sum_i(x_i*C_i)-Sum_j(M_j)＝0。数学上来说，Sum_i(x_i*C_i)-Sum_j(M_j)＝0是超平面(hyper-plane)(称作“系统容量线”)；与最小边界条件点x_i＝0一起；它们形成了多维空间中的有边界的多维形状。令P(x₁，x₂，x₃，...x_N)为多维空间中的点，并且表示运行所有应用的当前系统过载。当P(x₁，x₂，x₃，...x_N)位于系统容量线上时，所有应用的实际工作负荷的和等于全部节点计算容量的和。当P(x₁，x₂，x₃，...x_N)位于由超平面Sum_i(x_i*C_i)-Sum_j(M_j)＝0和点x_i＝0确定边界的多维形状内(位于系统容量线之下)时，所有应用的实际工作负荷的和低于所有节点计算容量的和，出现欠载情况。当P(x₁，x₂，x₃，...x_N)位于具有边界的多维形状之外(系统容量线之上)时，所有应用的实际工作负荷的和大于所有节点计算容量的和，过载情况发生。为了将实际平均处理等待时间减小为等于或者小于用户可接受的平均处理等待事件，过载控制模块用于舍弃某些输入数据或事件，并且这样做使得系统过载达到系统容量线上或系统容量线下面的目标投射点上。

图1示出在二维空间中的示例性分布式流计算系统的系统容量线，该系统具有正在经历过载情况的两个应用App₁和App₂。在该二维空间中，当前系统过载P₀位于系统容量线之上，识别出系统过载的三个目标投射点P’₁，P’₂和P’₃。P’₁通过舍弃要由App₁处理的输入数据或事件来实现，P’₃通过舍弃要由App₂处理的输入数据或事件来实现，P’₂通过舍弃要由App₁和App₂处理的输入数据或事件来实现。P’₂是最佳目标投射点，因为对于App₁和App₂的每个来说将舍弃最小数目的输入数据或事件，因此对两个应用的计算结果精度影响最小。接下来示出P’₂的数学计算：

系统容量线＝C₁*x₁+C₂*x₂-Sum_j(M_j)＝0

对于P₀(x₁[0]，x₂[0])，

P’₂(x₁[2]，x₂[2])＝(x₁[0]-C₁*(C₁*x₁[0]+C₂*x₂[0]-Sum_j(M_j))/(C₁^2+C₂^2)，X₂[0]-C₂*(C₁*x₁[0]+C₂*x₂[0]-Sum_j(M_j))/(C₁^2+C₂^2)

假设在最初过载情况下并且在过载控制开始之前，当前系统过载P₀上的应用处理率x₁[0]和x₂[0]分别是输入数据或事件的到达率和

概括来说，对于当前系统过载，P(x₁，x₂，x₃，...x_N)，最佳目标投射点P’(x’₁，x’₂，x’₃，...x’_N)可以计算为：

x’_i＝x_i-C_i*(Sum_i(C_i*x_i)-Sum_j(M_j))/Sum_i(C_i^2)。

每个应用的到来的输入数据或事件的过载控制百分比，或者丢包率为：

p_i＝(x_i-x’_i)/x_i或对于

为了最小化对应用的计算结果精度的负面影响，根据对每个应用计算的增加的过载控制百分比而增量地舍弃到达的数据或事件。该计算考虑每个应用中用于容纳未处理的到达的数据或事件的可用缓冲区。参考图2，当前系统过载P₀正逐步向目标投射点P’₂移动，这是因为要由App₁和App₂处理的到来的输入数据或事件正采用以n₁和n₂步长增加的过载控制百分比来舍弃，n₁和n₂步长的尺寸分别是：

丢弃部分和丢弃部分

概括来说，递增的丢包率丢弃部分是其中n_i是与App_i中用于容纳未处理的到来的输入数据或事件的可用缓冲区成比例的数值。

另外考虑到应用的相对重要性，该系统容量线被修正为：

Sum_i(x_i*s_i*C_i)-Sum_j(M_j)＝0，其中s_i是App_i的相对重要系数。

那么增量丢包率丢弃部分被修正为：

相对重要系数可以被预先配置，动态调节并且可根据应用和分布式流计算系统的情况在运行时间内进行更新。例如，为了增加应用的计算结果精度，其对应的相对重要系数值可被设置得更大。

假设到来的输入数据或事件的出现图形为随机高斯分布。进一步假设到达率取标准偏差r的平均值。当前系统过载P变成体积与r成比例的多维空间中的形状的中心点。该形状内部是所有可能的当前系统过载值。为了补偿某些比P高的可能的当前系统过载，系统过载的目标投射点P’可设置为系统容量线之下的某处，以确保系统稳定性，该系统稳定性具有确保的概率的缓冲区溢值控制。例如，如果P’设置在系统容量线之下1×r的距离处，那么存在缓冲区不会溢出的68％的可信度，2×r的距离处为95％的可信度，3×r的距离处为99.7％的可信度。

参考图3，当前系统过载P₀是半径为r的圆的中心。该圆区域包含了所有可能的当前系统过载值。为了确保系统稳定性具有缓冲区不会溢出的99.7％的可信度，系统过载的目标投射点P’₂设置在系统容量线之下的3×r的距离处。

根据各种实施例，一种实现当前所要求保护的发明的方法的过载控制模块监测节点的处理等待时间，并且如果任一节点显示出观察的等待时间大于预设的用户可接受的等待时间值，对于在分布式流计算系统中运行的每个应用，该过载控制模块计算系统过载的目标投射点，丢包率，以及递增丢包率丢弃部分。该目标投射点可根据确保概率的缓冲区溢出控制要求来可选地修正，并且对于每个应用确定修正后的丢包率和递增丢包率丢弃部分。每个应用以过载控制百分比来舍弃其未处理的输入数据或事件，该过载控制百分比初始等于其对应的递增丢包率丢弃部分，并且对于每个循环递增相同的丢弃部分直到在每个节点观察的平均等待时间不大于预设的用户可接受的等待时间值。

本文中所公开的实施例可采用通用或者专用的计算设备、计算机处理器、或者包括但不局限于数字信号处理器(DSP)、专用集成电路(ASIC)，现场可编程门阵列(FPGA)的电子电路，以及根据本说明书教导来构造或者编程的其他可编程逻辑设备来实现。运行在通用或专用计算设备、计算机处理器或可编程逻辑器件中的计算机指令或者软件代码容易由软件或电子领域的实践者根据本说明书的教导进行准备。

在某些实施例中，本发明包括计算机存储介质，其具有存储在其中的计算机指令或软件代码，其可用于编程计算机或者微处理器来实现本发明的任何处理。该存储介质可包括但不局限于软盘、光盘、蓝光碟，DVD，CD-ROM，磁光盘、ROM，RAM，闪存设备或者适于存储指令、代码和/或数据的任何类型的介质或设备。

为了演示和说明的目的，已经提供了本发明前面的描述。其并不旨在穷尽或者限制本发明为所公开的精确形式。许多修正和变形对于本领域的实践者来说是显而易见的。

选择和描述了这些实施例，以便最好地解释本发明的原理和其实践应用，因此使得本领域的其他人员能够理解本发明的各个实施例以及各种变形，这些变形适于所预期的特定使用。其旨在将本发明的范围设定为所附的权利要求和它们的等效物。

Claims (20)

1.一种用于在分布式流计算系统中进行过载控制的计算机执行方法，包括：

检测处理等待时间；

计算系统过载的目标投射点；

如果处理等待时间大于等待时间阈值：

基于一个或多个丢包率计算因素来计算在系统中运行的一个或多个应用的每个应用的丢包率，所述计算因素包括：

系统过载的目标投射点，

数据或事件的到达率，

数据或事件的处理率，

处理数据或事件的系统资源量，以及

系统资源容量；

通过所述一个或多个应用的每个应用的丢包率来确定过载控制百分比；

通过所述一个或多个应用的每个应用的过载控制百分比来舍弃未处理的数据或事件的一个片段；

重复该方法步骤直到处理等待时间不大于等待时间阈值为止。

2.根据权利要求1所述的方法，其中该过载控制百分比受对应应用中用于容纳未处理的输入数据或事件的可用缓冲区的限制，并且与该可用缓冲区成比例。

3.根据权利要求1所述的方法，还包括：

确定所述一个或多个应用中每个应用的递增丢包率丢弃部分，其中该递增丢包率丢弃部分是对应应用的丢包率除以一个数；

其中该过载控制百分比最初等于对应应用的递增丢包率丢弃部分，并且对于每个循环递增相同的丢弃部分。

4.根据权利要求3所述方法，其中用于除丢包率的数与对应应用中用于容纳未处理的输入数据或事件的可用缓冲区成比例。

5.根据权利要求1所述的方法，其中所述丢包率计算因素还包括在系统中运行的一个或多个应用的每个应用的相对重要性。

6.根据权利要求5所述的方法，其中通过调节对应应用的相对重要性而改变该应用的计算结果精度。

7.根据权利要求1所述的方法，其中系统过载的目标投射点计算成该系统的系统容量线上的投射点，使得在一个或多个配置参数的限制下该系统资源被最大化利用。

8.根据权利要求1所述的方法，其中根据确保概率的缓冲区溢出控制要求，将该系统过载的目标投射点计算成该系统的系统容量线之下的一定距离处的投射点。

9.根据权利要求1所述的方法，其中处理等待时间是在系统中的一个或多个节点在预定时间周期内观察的一个或多个处理等待时间的平均值。

10.根据权利要求1所述的方法，其中处理等待时间是在系统中的一个或多个节点处观察的一个或多个处理等待时间的最小值。

11.一种用于分布式流计算系统的过载控制模块，该过载控制模块构造成包括：

用于检测处理等待时间的单元；

用于计算系统过载的目标投射点的单元；

如果处理等待时间大于等待时间阈值则执行以下操作的单元：

基于一个或多个丢包率计算因素来计算在系统中运行的一个或多个应用的每个应用的丢包率，这些计算因素包括：

系统过载的目标投射点，

数据或事件的到达率，

数据或事件的处理率，

处理数据或事件的系统资源量，以及

系统资源容量；

通过所述一个或多个应用的每个应用的丢包率来确定过载控制百分比；以及

通过所述一个或多个应用的每个应用的过载控制百分比来舍弃未处理的数据或事件的一部分；以及

用于使上述三个单元重复操作直到处理等待时间不大于等待时间阈值为止的单元。

12.根据权利要求11所述的过载控制模块，其中该过载控制百分比受对应应用中用于容纳未处理的输入数据或事件的可用缓冲区的限制，并且与该可用缓冲区成比例。

13.根据权利要求11所述的过载控制模块，构造成还包括：

用于确定所述一个或多个应用中每个应用的递增丢包率丢弃部分的单元，其中该递增丢包率丢弃部分是对应应用的丢包率除以一个数；

其中该过载控制百分比最初等于对应应用的递增丢包率丢弃部分，并且对于每个循环递增相同的丢弃部分。

14.根据权利要求13所述的过载控制模块，用于除丢包率的数与对应应用中用于容纳未处理的输入数据或事件的可用缓冲区成比例。

15.根据权利要求11所述的过载控制模块，所述丢包率计算因素还包括在该系统中运行的一个或多个应用的每个应用的相对重要性。

16.根据权利要求15所述的过载控制模块，其中通过调节对应应用的相对重要性而改变该应用的计算结果精度。

17.根据权利要求11所述的过载控制模块，其中系统过载的目标投射点计算成该系统的系统容量线上的投射点，使得在一个或多个配置参数的限制下该系统资源被最大化利用。

18.根据权利要求11所述的过载控制模块，其中根据确保概率的缓冲区溢出控制要求，将该系统过载的目标投射点计算成该系统的系统容量线之下的一定距离处的投射点。

19.根据权利要求11所述的过载控制模块，其中处理等待时间是在系统中的一个或多个节点在预定时间周期内观察的一个或多个处理等待时间的平均值。

20.根据权利要求11所述的过载控制模块，其中处理等待时间是在系统中的一个或多个节点处观察的一个或多个处理等待时间的最小值。