CN104090952A - 一种估算滑动窗口下的数据流平均值的方法与系统 - Google Patents

Abstract

本发明公开了一种估算滑动窗口下数据流平均值的方法，包括以下步骤：1初始化指数直方图，所述指数直方图把滑动窗口下的数据元素划分到不同的层次的若干个桶中，所述桶用来存储数据流中一段时间内的数据集合信息，所述信息包括数据集合中距离当前时刻最近的数据元素的时间戳和数据集合元素之和；2将数据流的信息储存在桶中，所述桶在指数直方图中的位置由时间戳决定。当有新的数据添加以及旧的数据删除时，以桶的容量为准则进行桶的合并与分解；3查询所述指数直方图，输出近似平均值。本发明还提供了相应的估算滑动窗口下数据流平均值的系统。本发明不需要保存全部历史数据，计算滑动窗口中的平均值时，不需要扫描历史数据，且误差可控。

Description

一种估算滑动窗口下的数据流平均值的方法与系统

技术领域

本发明属于数据流分析技术领域，更具体地，涉及一种估算滑动窗口下的数据流平均值的方法与系统。

背景技术

近年来，数据流分析技术被广泛应用到传感器网络通信，web服务器点击日志、网络安全监控与异常检测、通话记录、证券股票交易等领域，数据流分析已成为国内外各界研究的热点。

数据流不同于传统数据，不是存储在磁盘上的有限数据集合，而是无限的、连续的、快速的、实时的，以流的形式出现的数据集合。实际应用中，存储空间是有限的，但是数据流却是源源不断的到达。数据流的应用场景对实时性有较高要求，但是传统的静态数据挖掘往往需要多次扫描数据来获得查询结果，耗时较长。传统的数据挖掘技术不能满足动态的快速变化的数据流分析要求，数据流挖掘面临着实时性、空间性和近似性等技术挑战。

平均值的计算是数据流统计分析中的一个重要问题。但是目前的解决方法需要扫描窗口中的历史数据而且需要保存一段窗口内的全部数据，对内存和计算能力要求较高，远远不能满足源源不断到达的无限的数据流以及实时性的应用要求，所以有必要提出基于单次扫描的实时计算方法。

发明内容

为了解决现有上述的技术问题，本发明需要提供一种能够满足实时性要求的估算滑动窗口下数据流平均值的方法与系统。

为了实现上述目的，按照本发明的一个方面，提供了一种估算滑动窗口下数据流平均值的方法，包括以下步骤：

(1)、初始化指数直方图：所述指数直方图把数据元素划分到不同的层次上，每层由若干个桶组成，所述桶用来存储数据流中一段时间内的数据集合信息，所述信息包括数据集合对应的时间戳和容量，所述时间戳表示的是数据集合中距离当前时刻最近的数据的时间戳，容量表示的是数据集合中所有数据元素的和；

(2)、将数据流的信息储存在桶中：所述桶在指数直方图中的位置由时间戳决定：层数越高，所述层上的桶的时间戳越旧，层数越低，所述层上的桶的时间戳越新；所述桶的时间戳越旧，表示桶中数据元素离当前时刻越远；桶的时间戳越新，表示桶中数据元素离当前时刻越近；同一层中的桶按时间戳新旧顺序排列；随着数据的不断流入，当有新的数据添加以及旧的数据删除时，进行桶的合并与分解操作，合并分解规则以桶的容量为参考；

(3)、查询指数直方图，输出近似平均值：首先计算指数直方图中所有桶的容量之和SUM，如果指数直方图只有一层，则输出近似平均值计算公式为其中N是滑动窗口的大小；如果指数直方图不只一层，则查询时间戳最旧的桶的容量C，输出近似平均值其计算公式为其中N是滑动窗口的大小。

本方法输出的近似结果的最大相对误差为1/k，其中k是用户预定义的参数。

在本发明的一个实施例中，所述步骤(2)包括以下子步骤：

(2.1)、检查是否存在已经超过当前滑动窗口的范围的桶，如存在则从指数直方图中删除其信息；

(2.2)、从数据流中取出当前到达的数据项，根据用户自定义的精度将数据流中当前到达的数据项转换成整数值；如果转换之后的数据不等于0，则执行步骤(2.3)；如果等于0，则不必执行步骤(2.3)；

(2.3)、更新指数直方图中的桶存储的信息，按照桶的分解合并规则对指数直方图中的桶进行分解合并。

在本发明的一个实施例中，所述步骤(2.1)中检查是否存在桶已经超过当前滑动窗口的时间范围，具体的是通过检查时间戳最旧的桶的时间戳与(t+1)mod(N)是否相等，若两者相等，则表示时间戳最旧的桶超过了当前滑动窗口的时间范围，其中t为当前时刻，N为窗口的大小，其中mod表示取两个整数相除后结果的余数。

在本发明的一个实施例中，所述步骤(2.3)包括以下子步骤：

(2.3.1)、根据用户自定义的精度将数据流中当前到达的数据项转换成整数值；新建一个桶，时间戳为(t+1)mod(N)，容量为当前到达的数据项转换后的值的大小，其中t为当前时刻，N为滑动窗口的大小，将所述桶插入到指数直方图的最低层B₀中,用B_i表示指数直方图中的第i层，i从0开始计数；然后从B₀层开始逐步检查B_i层中所有桶的容量之和；

(2.3.2)、如果Bi层中所有桶的容量之和sum_i超过Bi层预定义的值Maxsum_i，则执行步骤(2.3.3)，否则不必执行剩下子步骤；Maxsum_i表示第i层允许的容量和的最大值，Maxsum_i＝(k+1)*2ⁱ，k为用户自定义的整数参数；

(2.3.3)、计算Bi层多余容量D；计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，则Bi层多余容量D的计算公式为sum_i-Minsum_i；如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，则Bi层多余容量D的计算公式为sum_i-Maxsum_i；

(2.3.4)、从B_i层时间戳最旧的桶开始一一检查进行分解合并；i增加一个单元，继续执行步骤(2.3.2)，检查B_i层所有桶的容量之和，直到完成所有层的检查。

在本发明的一个实施例中，所述步骤(2.3.4)包括以下子步骤：

(2.3.4.1)、如果B_i层的多余容量D等于B_i层中时间戳最旧的桶的容量，执行步骤(2.3.4.2)，如果B_i层的多余容量D大于B_i层中时间戳最旧的桶的容量，执行步骤(2.3.4.3)，如果B_i层的多余容量D小于B_i层中时间戳最旧的桶的容量执行步骤(2.3.4.4)；

(2.3.4.2)、将B_i层中时间戳最旧的桶插入到B_i+1层中，检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳；不必继续检查B_i层中其余的桶；

(2.3.4.3)、检查B_i层的多余容量D是否大于2ⁱ；如果D大于2ⁱ，则将B_i层时间戳最旧的桶的容量减少2ⁱ，然后将其插入到B_i+1层中，将B_i层中剩下的桶中时间戳最旧的桶的容量增加2ⁱ；检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳；重新计算B_i层的多余容量D，计算规则如步骤33中所述，然后执行步骤42进行桶的合并分解；如果B_i层的多余容量D不大于2ⁱ，则直接将B_i层中时间戳最旧的两个桶进行合并，合并后的桶的容量为两桶的容量之和，时间戳为较新的桶的时间戳；重新计算B_i层的多余容量D，计算规则如步骤33中所述，继续执行步骤42进行桶的合并分解；

(2.3.4.4)、将B_i层中时间戳最旧的桶分解成两个桶，分解后的两个桶的时间戳相同且与分解前的桶的时间戳保持一致，分解后的两个桶的容量之和等于分解前的原始桶的容量；分解后的两个桶中，其中一个桶的容量是D，将该桶插入到B_i+1层中，另外一个桶继续留在B_i层中，B_i层中其余的桶不需要继续检查；检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳。

按照本发明的另一方面，还提供了一种估算滑动窗口下数据流平均值的系统，包括指数直方图初始化模块、数据流信息储存模块以及平均值计算模块，其中：

所述指数直方图初始化模块，用于初始化指数直方图：所述指数直方图把数据元素划分到不同的层次上，每层由若干个桶组成，所述桶用来存储数据流中一段时间内的数据集合信息，所述信息包括数据集合对应的时间戳和容量，所述时间戳表示的是数据集合中距离当前时刻最近的数据的时间戳，容量表示的是数据集合中所有数据元素的和；

所述数据流信息储存模块，用于将数据流的信息储存在桶中：所述桶在指数直方图中的位置由时间戳决定：层数越高，所述层上的桶的时间戳越旧，层数越低，所述层上的桶的时间戳越新；所述桶的时间戳越旧，表示桶中数据元素离当前时刻越远；桶的时间戳越新，表示桶中数据元素离当前时刻越近；同一层中的桶按时间戳新旧顺序排列；随着数据的不断流入，当有新的数据添加以及旧的数据删除时，进行桶的合并与分解操作，合并分解规则以桶的容量为参考；

所述平均值计算模块，用于查询指数直方图，输出近似平均值：首先计算指数直方图中所有桶的容量之和SUM，如果指数直方图只有一层，则输出近似平均值计算公式为其中N是滑动窗口的大小；如果指数直方图不只一层，则查询时间戳最旧的桶的容量C，输出近似平均值其计算公式为其中N是滑动窗口的大小。

在本发明的一个实施例中，所述数据流信息储存模块包括检查子模块、转换子模块以及更新子模块，其中：

所述检查子模块，用于检查是否存在已经超过当前滑动窗口的范围的桶，如存在则从指数直方图中删除其信息；

所述转换子模块，用于从数据流中取出当前到达的数据项，根据用户自定义的精度将数据流中当前到达的数据项转换成整数值；如果转换之后的数据不等于0，则转所述更新子模块；如果等于0，则不转所述更新子模块；

所述更新子模块，用于更新指数直方图中的桶存储的信息，按照桶的分解合并规则对指数直方图中的桶进行分解合并。

在本发明的一个实施例中，所述检查子模块检查是否存在桶已经超过当前滑动窗口的时间范围，具体的是通过检查时间戳最旧的桶的时间戳与(t+1)mod(N)是否相等，若两者相等，则表示时间戳最旧的桶超过了当前滑动窗口的时间范围，其中t为当前时刻，N为窗口的大小，其中mod表示取两个整数相除后结果的余数。

在本发明的一个实施例中，所述更新子模块包括桶插入子模块、容量比较子模块、多余容量计算子模块以及分解合并子模块，其中：

所述桶插入子模块，用于根据用户自定义的精度将数据流中当前到达的数据项转换成整数值；新建一个桶，时间戳为(t+1)mod(N)，容量为当前到达的数据项转换后的值的大小，其中t为当前时刻，N为滑动窗口的大小，将所述桶插入到指数直方图的最低层B₀中,用B_i表示指数直方图中的第i层，i从0开始计数；然后从B₀层开始逐步检查B_i层中所有桶的容量之和；

所述容量比较子模块，用于如果Bi层中所有桶的容量之和sum_i超过Bi层预定义的值Maxsum_i，则转所述多余容量计算子模块，否则不必执行剩下子步骤；Maxsum_i表示第i层允许的容量和的最大值，Maxsum_i＝(k+1)*2ⁱ，k为用户自定义的整数参数；

所述多余容量计算子模块，用于计算Bi层多余容量D；计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，则Bi层多余容量D的计算公式为sum_i-Minsum_i；如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，则Bi层多余容量D的计算公式为sum_i-Maxsum_i；

所述分解合并子模块，用于从B_i层时间戳最旧的桶开始一一检查进行分解合并；i增加一个单元，并转所述容量比较子模块，检查B_i层所有桶的容量之和，直到完成所有层的检查。

在本发明的一个实施例中，所述分解合并子模块包括多余容量比较子模块、容量相等处理子模块、容量大于处理子模块以及容量小于处理子模块，其中：

所述多余容量比较子模块，用于如果B_i层的多余容量D等于B_i层中时间戳最旧的桶的容量，则转容量相等处理子模块；如果B_i层的多余容量D大于B_i层中时间戳最旧的桶的容量，则转容量大于处理子模块；如果B_i层的多余容量D小于B_i层中时间戳最旧的桶的容量，则转容量小于处理子模块；

所述容量相等处理子模块，用于将B_i层中时间戳最旧的桶插入到B_i+1层中，检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳；不必继续检查B_i层中其余的桶；

所述容量大于处理子模块，用于检查B_i层的多余容量D是否大于2ⁱ；如果D大于2ⁱ，则将B_i层时间戳最旧的桶的容量减少2ⁱ，然后将其插入到B_i+1层中，将B_i层中剩下的桶中时间戳最旧的桶的容量增加2ⁱ；检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳；重新计算B_i层的多余容量D，计算规则为计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，则Bi层多余容量D的计算公式为sum_i-Minsum_i；如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，则Bi层多余容量D的计算公式为sum_i-Maxsum_i，然后转容量相等处理子模块进行桶的合并分解；如果B_i层的多余容量D不大于2ⁱ，则直接将B_i层中时间戳最旧的两个桶进行合并，合并后的桶的容量为两桶的容量之和，时间戳为较新的桶的时间戳；重新计算B_i层的多余容量D，计算规则为计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，则Bi层多余容量D的计算公式为sum_i-Minsum_i；如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，则Bi层多余容量D的计算公式为sum_i-Maxsum_i，然后转容量相等处理子模块进行桶的合并分解；

所述容量小于处理子模块，用于将B_i层中时间戳最旧的桶分解成两个桶，分解后的两个桶的时间戳相同且与分解前的桶的时间戳保持一致，分解后的两个桶的容量之和等于分解前的原始桶的容量；分解后的两个桶中，其中一个桶的容量是D，将该桶插入到B_i+1层中，另外一个桶继续留在B_i层中，B_i层中其余的桶不需要继续检查；检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳。

本发明有益结果：与现有技术相比，本发明通过统计窗口内数据的分布特征，利用指数直方图的桶的和取代桶中包含的具体数据，从而达到减少需要保存的数据的目标；此外，还可以通过单次扫描数据流即可获得滑动窗口下的近似平均值，且误差可控，大大减少了滑动窗口内数据平均值的计算量。不仅满足了应用实时性的要求，同时降低了系统对计算机存储和计算能力的要求。

附图说明

图1是本发明一实施例中桶的示意图；

图2是本发明一实施例中指数直方图的示意图。

图3是本发明中估算滑动窗口下数据流平均值的方法示意图；

图4是本发明中将数据流的信息储存在桶中的流程图；

图5是本发明中的更新指数直方图中桶存储的信息的流程图；

图6是本发明中B_i层中桶的分解与合并的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，设滑动窗口的尺寸为N，当前时刻为t，本发明中把数据元素划分到m个层次上，即指数直方图由m层组成，每层由若干个桶组成，桶在指数直方图中的位置由时间戳决定。B₀层是最低层，B_m层为最高层。i越大，即层数越高，则第B_i层中的桶的时间戳越旧；i越小，即层数越低，则第B_i层中的桶的时间戳越新，例如第B_m层所有桶的时间戳都比第B₀层中所有桶的时间戳旧。同一层中的桶按时间戳新旧顺序有序排列。

如图2所示，当前时刻为t，指数直方图由m层组成，B₀层是最低层，B_m层为最高层，sum_i是B_i层所有桶的容量之和，sum_i不能超过预定义的值Maxsum_i,Maxsum_i＝(k+1)*2ⁱ，k为用户自定义的整数参数，i从0开始。

如图3所示，本发明中估算滑动窗口下数据流平均值的方法流程包括：

步骤301，初始化指数直方图，所述指数直方图把数据元素划分到不同的层次上，每层由若干个桶组成，所述桶用来存储数据流中小段时间内的数据集合信息，所述信息包括数据集合对应的时间戳和容量，所述时间戳表示的是数据集合中距离当前时刻最近的数据的时间戳，容量表示的是数据集合中所有数据元素的和。

步骤302，将数据流的信息储存在桶中，所述桶在指数直方图中的位置由时间戳决定。层数越高，所述层上的桶的时间戳越旧，层数越低，所述层上的桶的时间戳越新。桶的时间戳越旧，表示桶中数据元素离当前时刻越远，桶的时间戳越，表示桶中数据元素离当前时刻越近。同一层中的桶按时间戳新旧顺序排列。随着数据的不断流入，当有新的数据添加以及旧的数据删除时，进行桶的合并与分解操作，合并分解规则以桶的容量为参数。

步骤303，查询指数直方图，输出近视平均值。首先计算指数直方图中所有桶的容量之和SUM，如果指数直方图仅由一层组成，则输出近似平均值计算公式为其中N是滑动窗口的大小。如果指数直方图不只一层，则查询时间戳最旧的桶的容量C，输出近似平均值其计算公式为其中N是滑动窗口的大小。本方法输出的近似结果的最大相对误差为1/k，其中k是用户预定义的参数。

如图4所示，将将数据流的信息储存在桶中包括以下步骤：

步骤401，删除超出当前滑动窗口范围的桶的信息。检查是否存在桶已经超过当前滑动窗口的时间范围，具体的是通过检查时间戳最旧的桶的时戳与(t+1)mod(N)是否相等的方式来判断时间戳最旧的桶是否已经超过当前滑动窗口的时间范围，其中t为当前时刻，N为窗口的大小。其中mod表示取两个整数相除后结果的余数。

步骤402，判断数据流中当前到达的数据项是否需要处理。首先从数据流中取出当前到达的数据项，根据用户自定义的精度将数据流中当前到达的数据项转换成整数值。如果转换之后的数据不等于0，则需要处理当前到达的数据项，执行步骤403，如果等于0，则忽略当前到达的数据项，不必执行步骤403。

步骤403，更新指数直方图中的桶存储的信息，按照桶的分解合并规则对指数直方图中的桶进行分解合并。

如图5所示，更新指数直方图中桶存储的信息包括以下步骤：

步骤501，根据用户自定义的精度将数据流中当前到达的数据项转换成整数值。新建一个桶，时间戳为(t+1)mod(N)，容量为当前到达的数据项的值的大小，其中t为当前时刻，N为滑动窗口的大小，将所述桶插入到指数直方图的最低层B₀中,用B_i表示第i层，i从0开始计数。从B₀层开始逐步检查每层所有桶的容量之和。

步骤502，如果B_i层中所有桶的容量之和sum_i超过B_i层预定义的值Maxsum_i，则执行步骤503，否则不必执行剩下子步骤。Maxsum_i表示第i层允许的容量和的最大值，Maxsum_i＝(k+1)*2ⁱ，k为用户自定义的整数参数，i从0开始。

步骤503，计算B_i层多余容量D。计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，B_i层多余容量D的计算公式为sum_i-Minsum_i。如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，B_i层多余容量D的计算公式为sum_i-Maxsum_i。

步骤504，从B_i层时间戳最旧的桶开始一一检查，进行桶的分解合并。i增加一个单元，继续执行步骤502，检查B_i层所有桶的容量之和。

如图6所示，本发明B_i层中桶的分解与合并包括以下步骤：

步骤601，如果B_i层多余容量D等于时间戳最旧的桶的容量，执行步骤602，否则，执行步骤603。

步骤602，将时间戳最旧的桶插入到B_i+1层中，不需要继续检查B_i层中其余的桶。检查B_i+1中时间戳最新的桶的时间戳与B_i+1中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳。

步骤603，如果B_i层多余容量D大于B_i层中时间戳最旧的桶的容量，执行步骤604，否则，执行步骤607。

步骤604，检查B_i层多余容量D是否大于2ⁱ，如果D大于2ⁱ，则执行步骤605，否则执行步骤606。

步骤605，将B_i层时间戳最旧的桶的容量减少2ⁱ，然后将该桶插入到B_i+1层中，将B_i层剩下的桶中时间戳最旧的桶的容量增加2ⁱ。检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳。重新计算B_i层多余容量D，D的计算规则如步骤503中所述，继续执行步骤603进行桶的合并分解；

步骤606，将B_i层中时间戳最旧的两个桶进行合并，合并后的桶的容量为两桶的容量之和，时间戳为较新的桶的时间戳。重新计算B_i层多余容量DD，D的计算规则如步骤503中所述，继续执行步骤603进行桶的合并分解。

步骤607，将B_i层中时间戳最旧的桶分解成两个桶，分解后的两个桶的时间戳相同且与分解前的桶的时间戳保持一致，分解后的两个桶的容量不一样，分解后的两个桶的容量之和等于分解前的原始桶的容量。分解后的两个桶中，其一个桶的容量是D，将该桶插入到B_i+1层中，另外一个桶继续留在B_i层中，B_i层其余的桶不需要继续检查。检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳。

进一步地，本发明还提供了一种估算滑动窗口下数据流平均值的系统，包括指数直方图初始化模块、数据流信息储存模块以及平均值计算模块，其中：

所述指数直方图初始化模块，用于初始化指数直方图：所述指数直方图把数据元素划分到不同的层次上，每层由若干个桶组成，所述桶用来存储数据流中一段时间内的数据集合信息，所述信息包括数据集合对应的时间戳和容量，所述时间戳表示的是数据集合中距离当前时刻最近的数据的时间戳，容量表示的是数据集合中所有数据元素的和；

所述数据流信息储存模块，用于将数据流的信息储存在桶中：所述桶在指数直方图中的位置由时间戳决定：层数越高，所述层上的桶的时间戳越旧，层数越低，所述层上的桶的时间戳越新；所述桶的时间戳越旧，表示桶中数据元素离当前时刻越远；桶的时间戳越新，表示桶中数据元素离当前时刻越近；同一层中的桶按时间戳新旧顺序排列；随着数据的不断流入，当有新的数据添加以及旧的数据删除时，进行桶的合并与分解操作，合并分解规则以桶的容量为参考；

所述平均值计算模块，用于查询指数直方图，输出近似平均值：首先计算指数直方图中所有桶的容量之和SUM，如果指数直方图只有一层，则输出近似平均值计算公式为其中N是滑动窗口的大小；如果指数直方图不只一层，则查询时间戳最旧的桶的容量C，输出近似平均值其计算公式为其中N是滑动窗口的大小。

进一步地，所述数据流信息储存模块包括检查子模块、转换子模块以及更新子模块，其中：

所述检查子模块，用于检查是否存在已经超过当前滑动窗口的范围的桶，如存在则从指数直方图中删除其信息；

所述转换子模块，用于从数据流中取出当前到达的数据项，根据用户自定义的精度将数据流中当前到达的数据项转换成整数值；如果转换之后的数据不等于0，则转所述更新子模块；如果等于0，则不转所述更新子模块；

所述更新子模块，用于更新指数直方图中的桶存储的信息，按照桶的分解合并规则对指数直方图中的桶进行分解合并。

进一步地，所述检查子模块检查是否存在桶已经超过当前滑动窗口的时间范围，具体的是通过检查时间戳最旧的桶的时间戳与(t+1)mod(N)是否相等，若两者相等，则表示时间戳最旧的桶超过了当前滑动窗口的时间范围，其中t为当前时刻，N为窗口的大小，其中mod表示取两个整数相除后结果的余数。

进一步地，所述更新子模块包括桶插入子模块、容量比较子模块、多余容量计算子模块以及分解合并子模块，其中：

所述桶插入子模块，用于根据用户自定义的精度将数据流中当前到达的数据项转换成整数值；新建一个桶，时间戳为(t+1)mod(N)，容量为当前到达的数据项转换后的值的大小，其中t为当前时刻，N为滑动窗口的大小，将所述桶插入到指数直方图的最低层B₀中,用B_i表示指数直方图中的第i层，i从0开始计数；然后从B₀层开始逐步检查B_i层中所有桶的容量之和；

所述容量比较子模块，用于如果Bi层中所有桶的容量之和sum_i超过Bi层预定义的值Maxsum_i，则转所述多余容量计算子模块，否则不必执行剩下子步骤；Maxsum_i表示第i层允许的容量和的最大值，Maxsum_i＝(k+1)*2ⁱ，k为用户自定义的整数参数；

所述多余容量计算子模块，用于计算Bi层多余容量D；计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，则Bi层多余容量D的计算公式为sum_i-Minsum_i；如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，则Bi层多余容量D的计算公式为sum_i-Maxsum_i；

所述分解合并子模块，用于从B_i层时间戳最旧的桶开始一一检查进行分解合并；i增加一个单元，并转所述容量比较子模块，检查B_i层所有桶的容量之和，直到完成所有层的检查。

进一步地，所述分解合并子模块包括多余容量比较子模块、容量相等处理子模块、容量大于处理子模块以及容量小于处理子模块，其中：

所述多余容量比较子模块，用于如果B_i层的多余容量D等于B_i层中时间戳最旧的桶的容量，则转容量相等处理子模块；如果B_i层的多余容量D大于B_i层中时间戳最旧的桶的容量，则转容量大于处理子模块；如果B_i层的多余容量D小于B_i层中时间戳最旧的桶的容量，则转容量小于处理子模块；

所述容量相等处理子模块，用于将B_i层中时间戳最旧的桶插入到B_i+1层中，检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳；不必继续检查B_i层中其余的桶；

所述容量大于处理子模块，用于检查B_i层的多余容量D是否大于2ⁱ；如果D大于2ⁱ，则将B_i层时间戳最旧的桶的容量减少2ⁱ，然后将其插入到B_i+1层中，将B_i层中剩下的桶中时间戳最旧的桶的容量增加2ⁱ；检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳；重新计算B_i层的多余容量D，计算规则为计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，则Bi层多余容量D的计算公式为sum_i-Minsum_i；如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，则Bi层多余容量D的计算公式为sum_i-Maxsum_i，然后转容量相等处理子模块进行桶的合并分解；如果B_i层的多余容量D不大于2ⁱ，则直接将B_i层中时间戳最旧的两个桶进行合并，合并后的桶的容量为两桶的容量之和，时间戳为较新的桶的时间戳；重新计算B_i层的多余容量D，计算规则为计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，则Bi层多余容量D的计算公式为sum_i-Minsum_i；如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，则Bi层多余容量D的计算公式为sum_i-Maxsum_i，然后转容量相等处理子模块进行桶的合并分解；

所述容量小于处理子模块，用于将B_i层中时间戳最旧的桶分解成两个桶，分解后的两个桶的时间戳相同且与分解前的桶的时间戳保持一致，分解后的两个桶的容量之和等于分解前的原始桶的容量；分解后的两个桶中，其中一个桶的容量是D，将该桶插入到B_i+1层中，另外一个桶继续留在B_i层中，B_i层中其余的桶不需要继续检查；检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种估算滑动窗口下数据流平均值的方法，其特征在于，包括以下步骤：

(1)、初始化指数直方图：所述指数直方图把数据元素划分到不同的层次上，每层由若干个桶组成，所述桶用来存储数据流中一段时间内的数据集合信息，所述信息包括数据集合对应的时间戳和容量，所述时间戳表示的是数据集合中距离当前时刻最近的数据的时间戳，容量表示的是数据集合中所有数据元素的和；

(2)、将数据流的信息储存在桶中：所述桶在指数直方图中的位置由时间戳决定：层数越高，所述层上的桶的时间戳越旧，层数越低，所述层上的桶的时间戳越新；所述桶的时间戳越旧，表示桶中数据元素离当前时刻越远；桶的时间戳越新，表示桶中数据元素离当前时刻越近；同一层中的桶按时间戳新旧顺序排列；随着数据的不断流入，当有新的数据添加以及旧的数据删除时，进行桶的合并与分解操作，合并分解规则以桶的容量为参考；

(3)、查询指数直方图，输出近似平均值：首先计算指数直方图中所有桶的容量之和SUM，如果指数直方图只有一层，则输出近似平均值计算公式为其中N是滑动窗口的大小；如果指数直方图不只一层，则查询时间戳最旧的桶的容量C，输出近似平均值其计算公式为其中N是滑动窗口的大小。

2.如权利要求1所述的方法，其特征在于，所述步骤(2)包括以下子步骤：

(2.1)、检查是否存在已经超过当前滑动窗口的范围的桶，如存在则从指数直方图中删除其信息；

(2.2)、从数据流中取出当前到达的数据项，根据用户自定义的精度将数据流中当前到达的数据项转换成整数值；如果转换之后的数据不等于0，则执行步骤(2.3)；如果等于0，则不必执行步骤(2.3)；

(2.3)、更新指数直方图中的桶存储的信息，按照桶的分解合并规则对指数直方图中的桶进行分解合并。

3.如权利要求2所述的方法，其特征在于，所述步骤(2.1)中检查是否存在桶已经超过当前滑动窗口的时间范围，具体的是通过检查时间戳最旧的桶的时间戳与(t+1)mod(N)是否相等，若两者相等，则表示时间戳最旧的桶超过了当前滑动窗口的时间范围，其中t为当前时刻，N为窗口的大小，其中mod表示取两个整数相除后结果的余数。

4.如权利要求2或3所述的方法，其特征在于，所述步骤(2.3)包括以下子步骤：

(2.3.1)、根据用户自定义的精度将数据流中当前到达的数据项转换成整数值；新建一个桶，时间戳为(t+1)mod(N)，容量为当前到达的数据项转换后的值的大小，其中t为当前时刻，N为滑动窗口的大小，将所述桶插入到指数直方图的最低层B₀中,用B_i表示指数直方图中的第i层，i从0开始计数；然后从B₀层开始逐步检查B_i层中所有桶的容量之和；

(2.3.2)、如果Bi层中所有桶的容量之和sum_i超过Bi层预定义的值Maxsum_i，则执行步骤(2.3.3)，否则不必执行剩下子步骤；Maxsum_i表示第i层允许的容量和的最大值，Maxsum_i＝(k+1)*2ⁱ，k为用户自定义的整数参数；

(2.3.3)、计算Bi层多余容量D；计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，则Bi层多余容量D的计算公式为sum_i-Minsum_i；如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，则Bi层多余容量D的计算公式为sum_i-Maxsum_i；

(2.3.4)、从B_i层时间戳最旧的桶开始一一检查进行分解合并；i增加一个单元，继续执行步骤(2.3.2)，检查B_i层所有桶的容量之和，直到完成所有层的检查。

5.如权利要求4所述的方法，其特征在于，所述步骤(2.3.4)包括以下子步骤：

(2.3.4.1)、如果B_i层的多余容量D等于B_i层中时间戳最旧的桶的容量，执行步骤(2.3.4.2)，如果B_i层的多余容量D大于B_i层中时间戳最旧的桶的容量，执行步骤(2.3.4.3)，如果B_i层的多余容量D小于B_i层中时间戳最旧的桶的容量执行步骤(2.3.4.4)；

(2.3.4.2)、将B_i层中时间戳最旧的桶插入到B_i+1层中，检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳；不必继续检查B_i层中其余的桶；

(2.3.4.3)、检查B_i层的多余容量D是否大于2ⁱ；如果D大于2ⁱ，则将B_i层时间戳最旧的桶的容量减少2ⁱ，然后将其插入到B_i+1层中，将B_i层中剩下的桶中时间戳最旧的桶的容量增加2ⁱ；检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳；重新计算B_i层的多余容量D，计算规则如步骤(2.3.3)中所述，然后执行步骤(2.3.4.2)进行桶的合并分解；如果B_i层的多余容量D不大于2ⁱ，则直接将B_i层中时间戳最旧的两个桶进行合并，合并后的桶的容量为两桶的容量之和，时间戳为较新的桶的时间戳；重新计算B_i层的多余容量D，计算规则如步骤(2.3.3)中所述，继续执行步骤(2.3.4.2)进行桶的合并分解；

(2.3.4.4)、将B_i层中时间戳最旧的桶分解成两个桶，分解后的两个桶的时间戳相同且与分解前的桶的时间戳保持一致，分解后的两个桶的容量之和等于分解前的原始桶的容量；分解后的两个桶中，其中一个桶的容量是D，将该桶插入到B_i+1层中，另外一个桶继续留在B_i层中，B_i层中其余的桶不需要继续检查；检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳。

6.一种估算滑动窗口下数据流平均值的系统，其特征在于，包括指数直方图初始化模块、数据流信息储存模块以及平均值计算模块，其中：

所述指数直方图初始化模块，用于初始化指数直方图：所述指数直方图把数据元素划分到不同的层次上，每层由若干个桶组成，所述桶用来存储数据流中一段时间内的数据集合信息，所述信息包括数据集合对应的时间戳和容量，所述时间戳表示的是数据集合中距离当前时刻最近的数据的时间戳，容量表示的是数据集合中所有数据元素的和；

所述数据流信息储存模块，用于将数据流的信息储存在桶中：所述桶在指数直方图中的位置由时间戳决定：层数越高，所述层上的桶的时间戳越旧，层数越低，所述层上的桶的时间戳越新；所述桶的时间戳越旧，表示桶中数据元素离当前时刻越远；桶的时间戳越新，表示桶中数据元素离当前时刻越近；同一层中的桶按时间戳新旧顺序排列；随着数据的不断流入，当有新的数据添加以及旧的数据删除时，进行桶的合并与分解操作，合并分解规则以桶的容量为参考；

所述平均值计算模块，用于查询指数直方图，输出近似平均值：首先计算指数直方图中所有桶的容量之和SUM，如果指数直方图只有一层，则输出近似平均值计算公式为其中N是滑动窗口的大小；如果指数直方图不只一层，则查询时间戳最旧的桶的容量C，输出近似平均值其计算公式为其中N是滑动窗口的大小。

7.如权利要求6所述的方法，其特征在于，所述数据流信息储存模块包括检查子模块、转换子模块以及更新子模块，其中：

所述检查子模块，用于检查是否存在已经超过当前滑动窗口的范围的桶，如存在则从指数直方图中删除其信息；

所述转换子模块，用于从数据流中取出当前到达的数据项，根据用户自定义的精度将数据流中当前到达的数据项转换成整数值；如果转换之后的数据不等于0，则转所述更新子模块；如果等于0，则不转所述更新子模块；

所述更新子模块，用于更新指数直方图中的桶存储的信息，按照桶的分解合并规则对指数直方图中的桶进行分解合并。

8.如权利要求7所述的方法，其特征在于，所述检查子模块检查是否存在桶已经超过当前滑动窗口的时间范围，具体的是通过检查时间戳最旧的桶的时间戳与(t+1)mod(N)是否相等，若两者相等，则表示时间戳最旧的桶超过了当前滑动窗口的时间范围，其中t为当前时刻，N为窗口的大小，其中mod表示取两个整数相除后结果的余数。

9.如权利要求7或8所述的方法，其特征在于，所述更新子模块包括桶插入子模块、容量比较子模块、多余容量计算子模块以及分解合并子模块，其中：

所述桶插入子模块，用于根据用户自定义的精度将数据流中当前到达的数据项转换成整数值；新建一个桶，时间戳为(t+1)mod(N)，容量为当前到达的数据项转换后的值的大小，其中t为当前时刻，N为滑动窗口的大小，将所述桶插入到指数直方图的最低层B₀中,用B_i表示指数直方图中的第i层，i从0开始计数；然后从B₀层开始逐步检查B_i层中所有桶的容量之和；

所述容量比较子模块，用于如果Bi层中所有桶的容量之和sum_i超过Bi层预定义的值Maxsum_i，则转所述多余容量计算子模块，否则不必执行剩下子步骤；Maxsum_i表示第i层允许的容量和的最大值，Maxsum_i＝(k+1)*2ⁱ，k为用户自定义的整数参数；

所述多余容量计算子模块，用于计算Bi层多余容量D；计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，则Bi层多余容量D的计算公式为sum_i-Minsum_i；如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，则Bi层多余容量D的计算公式为sum_i-Maxsum_i；

所述分解合并子模块，用于从B_i层时间戳最旧的桶开始一一检查进行分解合并；i增加一个单元，并转所述容量比较子模块，检查B_i层所有桶的容量之和，直到完成所有层的检查。

10.如权利要求9所述的方法，其特征在于，所述分解合并子模块包括多余容量比较子模块、容量相等处理子模块、容量大于处理子模块以及容量小于处理子模块，其中：

所述多余容量比较子模块，用于如果B_i层的多余容量D等于B_i层中时间戳最旧的桶的容量，则转容量相等处理子模块；如果B_i层的多余容量D大于B_i层中时间戳最旧的桶的容量，则转容量大于处理子模块；如果B_i层的多余容量D小于B_i层中时间戳最旧的桶的容量，则转容量小于处理子模块；

所述容量相等处理子模块，用于将B_i层中时间戳最旧的桶插入到B_i+1层中，检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳；不必继续检查B_i层中其余的桶；

所述容量大于处理子模块，用于检查B_i层的多余容量D是否大于2ⁱ；如果D大于2i，则将B_i层时间戳最旧的桶的容量减少2ⁱ，然后将其插入到B_i+1层中，将B_i层中剩下的桶中时间戳最旧的桶的容量增加2ⁱ；检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳；重新计算B_i层的多余容量D，计算规则为计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，则Bi层多余容量D的计算公式为sum_i-Minsum_i；如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，则Bi层多余容量D的计算公式为sum_i-Maxsum_i，然后转容量相等处理子模块进行桶的合并分解；如果B_i层的多余容量D不大于2ⁱ，则直接将B_i层中时间戳最旧的两个桶进行合并，合并后的桶的容量为两桶的容量之和，时间戳为较新的桶的时间戳；重新计算B_i层的多余容量D，计算规则为计算规则是如果(sum_i-Minsum_i)mod2ⁱ⁺¹等于0，则Bi层多余容量D的计算公式为sum_i-Minsum_i；如果(sum_i-Minsum_i)mod2ⁱ⁺¹不等于0，则Bi层多余容量D的计算公式为sum_i-Maxsum_i，然后转容量相等处理子模块进行桶的合并分解；

所述容量小于处理子模块，用于将B_i层中时间戳最旧的桶分解成两个桶，分解后的两个桶的时间戳相同且与分解前的桶的时间戳保持一致，分解后的两个桶的容量之和等于分解前的原始桶的容量；分解后的两个桶中，其中一个桶的容量是D，将该桶插入到B_i+1层中，另外一个桶继续留在B_i层中，B_i层中其余的桶不需要继续检查；检查B_i+1层中时间戳最新的桶的时间戳与B_i+1层中新插入的桶的时间戳是否相同，如果相同，则将两桶合并，合并之后的容量为两桶容量之和，合并之后的桶的时间戳为原始桶的时间戳。