CN103927349A - 一种流数据系统的负载评估以及过载判定方法 - Google Patents

Abstract

本发明公开了一种流数据系统的负载评估以及过载判定方法，通过量化流数据系统处理单位数据元组消耗的时间，进而动态计算评估流数据的实时负载，判断是否过载。本发明克服了现有流数据系统因数据流具有抖动、不确定等特性，其数据特性无法预测，数据率不断变化，从而造成流数据系统负载不稳定的缺陷。本发明提出的流数据系统负载的评估及系统过载判定方法，对于流数据系统性能优化具有重要的意义。值得推广应用。

Description

一种流数据系统的负载评估以及过载判定方法

技术领域

本发明涉及数据库领域，主要解决流数据系统过载的判定问题，发明了一种过载判定的方法。

背景技术

数据呈现海量、实时、多样等新特征，流数据系统在应对数据新特征与挑战中有着诸多优势：1，数据单遍扫描，不存储全部的原始数据，节省了存储资源；2，数据处理结果存储在内存中，处理与访问均在内存中进行，提高了分析与访问的时效性；3，流数据采取数据摘要表征原始数据特性，适应了数据的新特征与趋势。

数据流具有抖动、不确定等特性，其数据特性无法预测，数据率不断变化，因而造成流数据系统负载不稳定。系统负载的评估及系统过载判定对于流数据系统性能优化都有重要的意义。

发明内容

本发明所要解决的技术问题是提出了一种流数据系统的负载评估以及过载判定方法，以克服现有流数据系统的因数据特性无法预测，数据率不断变化，造成流数据系统负载不稳定的缺陷。

为了解决上述技术问题，本发明提出了一种流数据系统的负载评估以及过载判定方法，包括以下步骤：

计算流数据系统负载，所述流数据系统负载按以下公式计算：

$L=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{V}_i{L}_{\mathrm{ci}}$

其中N为输入流数据系统的数据流数目；V_i为第i条数据流的数据率，i取值区间为[1，N]；L_ci为第i条数据流对流数据系统的负载系数。

所述负载系数L_ci流数据系统处理第i条数据流中单位元组消耗的时间，i取值区间为[1，N]。负载系数由以下公式计算得到：

$L_{\mathrm{ci}}=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\left(\underset{j=1}{\overset{k-1}{\mathrm{\Π}}}{S}_j\right)C_k$

所述S_j为处理第i条数据流的第j个算子输出的结果数和输入的数据数目之间的比值，即算子的选择率。所述C_k为第k个算子处理单个数据元组消耗的时间。即，上述负载系数表征负载系数即为数据流单个元组经过的算子消耗时间的总和。

上述S_j、C_k参数都在系统启动后的一个周期内计算得到，后续的计算将算子选择率及算子处理单个数据元组消耗的时间作为常数处理。

所述第j个算子的选择率S_j由以下步骤获取：

系统启动，系统定时周期T₁，在第一个周期内统计获取参数S_k；

初始化算子j处理的数据数M_j值为0，初始化算子j输出的数据元组数N_j值为0；

每当输入算子j一个数据元组，M_j自增1；

每当算子j输出一个数据元组，N_j自增1；

定时周期T₁到达，计算算子j的选择率S_j=N_j/M_j。

所述第k个算子的C_k参数由以下步骤获取：

系统启动，系统定时周期T₁，在第一个周期内统计获取参数C_k；

初始化算子k处理的数据元组数目M_k值为0，初始化参数C_k值为0；

每当输入算子k一个数据元组，M_k自增1；

用数据元组处理结束的时间减去输入算子的时间计算处理时间t_k；

根据下式更新C_k

$C_k=\frac{C_k*(M_k-1)+t_k}{M_k};$

不断执行上述步骤，直到定时周期到达；

所述系统是否过载的动态判定方法如下：

设置定时周期T₁；

初始化每条流的数据率V_i(i取值区间为[1,N])值为0；

当数据元组到达，判断所属的数据流，并将对应的V_i自增1；

定时周期T₁到达，计算系统负载

$L=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{V}_i{L}_{\mathrm{ci}};$

比较L与T₁的大小，若L不大于T₁，系统未过载；否则，系统过载。

本发明通过量化流数据系统处理单位数据元组消耗的时间，进而动态计算评估流数据的实时负载，判断是否过载。克服了现有流数据系统因数据流具有抖动、不确定等特性，其数据特性无法预测，数据率不断变化，从而造成流数据系统负载不稳定的缺陷。本发明提出的流数据系统负载的评估及系统过载判定方法，对于流数据系统性能优化具有重要的意义。值得推广应用。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

附图1，流数据系统过载动态判定流程；

附图2，算子选择率获取具体流程；

附图3，算子处理单个数据元组消耗的时间获取具体流程；

附图4，负载系数计算流程。

具体实施方式

如图1所示，所述流数据系统过载判定方法在第一个定时周期内只获取基本的参数，从第二个周期开始动态判断是否过载。流数据系统过载判定方法步骤如下：

1.系统启动；

2.设置定时周期T1；

3.判断定时周期T1是否为系统启动的第一个周期；执行步骤4；否则执行步骤6；

4.在第1个定时周期之内，获取连续查询算子的算子选择率、算子处理单一数据元组消耗的时间；

5.若定时周期T1到达，计算流的负载系数，执行步骤9；

6.在定时周期T1之内，统计数据流的数据率；

7.若定时周期T1到达，计算系统负载L，其计算公式如下：

$L=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{V}_i{L}_{\mathrm{ci}}.$

其中N为输入流数据系统的数据流数目；V_i(i取值区间为[1，N])为第i条数据流的数据率；L_ci为第i条数据流对流数据系统的负载系数。

8.比较L与T1的大小，若L不大于T1，则系统未过载；否则，系统过载；

9.重新回到步骤2执行。

上述步骤4中算子选择率获取具体步骤如下(以算子j的S_j为例进行描述)：

401.初始化算子j处理的数据元组数M_j值为0，初始化算子j输出的数据元组数N_j值为0；

402.判断定时周期T1是否到达；

403.在定时周期T1之内，每当输入算子j一个数据元组，M_j自增1；

404.在定时周期T1之内，每当算子j输出一个数据元组，N_j自增1；

405.定时周期T₁到达，计算算子j的选择率S_j=N_j/M_j。

上述步骤5中算子处理单个数据元组消耗的时间获取具体步骤如下(以算子k处理单个数据元组消耗的时间C_k为例进行描述)：

501.初始化算子k处理的数据元组数目M_k值为0，初始化参数C_k值为0；

502.判断定时周期T1是否到达；

503.在定时周期T1之内，每当输入算子k一个数据元组，M_k自增1；

504.用数据元组处理结束的时间减去输入算子的时间计算处理时间t_k；根据下式更新C_k

$C_k=\frac{C_k*(M_k-1)+t_k}{M_k};$

505.定时周期T1到达，结束单个数据元组消耗的时间获取步骤的执行。

上述步骤6计算流的负载系数具体步骤如下：

601.针对每条数据流按照详述的步骤5获取每个查询的算子的选择率、处理单个数据元组消耗的时间参数；

602.由下式计算第i条数据流的负载系数

$L_{\mathrm{ci}}=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\left(\underset{j=1}{\overset{k-1}{\mathrm{\Π}}}{S}_j\right)C_k.$

S_j为处理第i条数据流的第j个算子输出的结果数和输入的数据数目之间的比值，即是算子的选择率。所述C_k为第k个算子处理单个数据元组消耗的时间。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种流数据系统的负载评估以及过载判定方法，其特征在于，包括以下步骤：

计算流数据系统负载，所述流数据系统负载按以下公式计算：

$L=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{V}_i{L}_{\mathrm{ci}}$

其中N为输入流数据系统的数据流数目；V_i为第i条数据流的数据率，i取值区间为[1，N]；L_ci为第i条数据流对流数据系统的负载系数；所述负载系数L_ci为流数据系统处理第i条数据流中单位元组消耗的时间，i取值区间为[1，N]；

负载系数L_ci由以下公式计算得到：

$L_{\mathrm{ci}}=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\left(\underset{j=1}{\overset{k-1}{\mathrm{\Π}}}{S}_j\right)C_k$

所述S_j为处理第i条数据流的第j个算子输出的结果数和输入的数据数目之间的比值，即算子的选择率；所述C_k为第k个算子处理单个数据元组消耗的时间；所述S_j、C_k参数都在系统启动后的一个周期内计算得到。

2.根据权利要求1所述的流数据系统的负载评估以及过载判定方法，其特征在于，所述第j个算子的S_j参数由以下步骤获取：

系统启动，系统定时周期T₁，在第一个周期内统计获取参数S_k；

初始化算子j处理的数据数M_j值为0，初始化算子j输出的数据元组数N_j值为0；

每当输入算子j一个数据元组，M_j自增1；

每当算子j输出一个数据元组，N_j自增1；

定时周期T1到达，计算算子j的选择率S_j=N_j/M_j。

3.根据权利要求2所述的流数据系统的负载评估以及过载判定方法，其特征在于，所述第k个算子的C_k参数由以下步骤获取：

系统启动，系统定时周期T₁，在第一个周期内统计获取参数C_k；

初始化算子k处理的数据元组数目M_k值为0，初始化参数C_k值为0；

每当输入算子k一个数据元组，M_k自增1；

用数据元组处理结束的时间减去输入算子的时间计算处理时间t_k；

根据下式更新C_k

$C_k=\frac{C_k*(M_k-1)+t_k}{M_k};$

不断执行上述步骤，直到定时周期到达。

4.根据权利要求3所述的流数据系统的负载评估以及过载判定方法，其特征在于，系统是否过载的动态判定方法如下：

设置定时周期T₁；

初始化每条流的数据率V_i值为0，i取值区间为[1,N]；

当数据元组到达，判断所属的数据流，并将对应的V_i自增1；

定时周期T₁到达，计算系统负载

$L=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{V}_i{L}_{\mathrm{ci}};$

比较L与T₁的大小，若L不大于T₁，系统未过载；否则，系统过载。