CN100487698C - 计算滑动窗口下数据流最大值和最小值的方法和系统 - Google Patents

Abstract

本发明是一种计算滑动窗口下数据流最大值和最小值的方法和系统，其方法将当前数据拟合一条波形曲线，计算最高波峰值或波谷值和窗口内最新数据的值，取值在两者之间，属于波形曲线下坡或上坡的数据保存为历史数据。当有新的数据添加或旧数据删除时，此数据需要与当前保存的历史数据比较就直接输出当前数据的最大值或最小值，并对保存的历史数据做相应的调整。系统包括计算最大和最小值装置、历史数据存储器、更新历史数据装置。与传统方法相比，本发明不需要保存全部历史数据，计算新最大最小值时，不需要扫描全部保存下来的历史数据。本发明能提高数据分析系统性能，适用于证券信息统计分析、网站日志内容统计分析等领域。

Description

计算滑动窗口下数据流最大值和最小值的方法和系统

技术领域

本发明属于数据分析处理领域，尤其涉及实时计算动态变化数据的最大值和最小值的方法。

背景技术

数据流的应用领域越来越广泛。数据流不同于传统关系数据，不是存储在磁盘上的有限数据集合，而是无限的、连续的、快速的、实时的，以流的形式出现的数据集合。数据流的应用场景有证券股票交易所的股票价格信息，网络监测系统与道路交通监测系统的监测数据、电信部门的通话记录数据以及互联网网站上的数据等。

对数据流的一个重要应用就是对数据流数据的查询，例如，证券交易所需要知道当前一段时间内股票价格最大和最小的是哪两只股票。但是采用传统的关系数据库的方式并不能有效的解决此问题，因为：实际应用中，存储空间是有限的，但是数据流是源源不断的到达的。对数据流的应用来说，要满足实时性的要求。传统的关系数据库技术往往需要扫描外存中的数据来获得查询结果，针对数据流系统的要求，这种实现方式不现实。传统的数据库技术不能满足持续增长和快速变化的数据流数据的查询要求。因此必须提出与数据流特点相适用的数据流数据查询方法。

最大值和最小值的计算是数据流数据查询中的一个重要问题。但是目前的解决方法需要扫描当前的全部数据，而且需要保存一段时间窗口内的全部历史数据，对计算机的内存和计算能力都要求较高，远远不能满足当前日益增长数据流量和实时性要求，有必要提出新的占有内存少和计算能力要求低的计算方法。

发明内容

为了解决现有技术需要扫描当前窗口下的全部数据，并保存当前窗口下的全部数据的不足，不能满足当前日益增长数据流量和实时性要求的问题，本发明的目的是提供一种能满足实时性要求的计算滑动窗口下数据流最大值和最小值的方法和系统。

为了实现上述目的，本发明是通过以下技术方案实现一种计算滑动窗口下数据流最大值和最小值的方法，包括步骤如下：

生成历史数据步骤：对当前滑动窗口下的数据流进行计算，生成需要保存的历史数据；

计算当前最大值或最小值步骤：当增加新数据或删除旧数据时，此数据与保存的历史数据比较计算出当前的最大值或最小值；

更新历史数据步骤：根据新数据增加或旧数据删除，更新需要保存的历史数据。

为了实现上述目的，本发明是通过以下技术方案实现一种计算滑动窗口下数据流最大值和最小值的系统，包括：计算最大和最小值装置、历史数据存储器、更新历史数据装置、数据输入端、数据输出端；计算最大和最小值装置分别与数据输入端和数据输出端连接，数据输入端即有新的数据进入滑动窗口，数据输出端即有旧的数据移出滑动窗口，也即数据增加和数据删除，计算最大和最小值装置根据历史数据存储器输入的当前的历史数据和外部数据输入端和数据输出端输入的增加数据或删除数据进行比较获得当前的最大和最小值；历史数据存储器的两个输出端分别与更新历史数据装置的输入端和计算最大和最小值装置的输入端连接，历史数据存储器提交历史数据给更新历史数据装置，并从更新历史数据装置处获得当前最新的需保持的历史数据，并将保存的历史数据提交给计算最大和最小值装置以获得当前的最大和最小值；更新历史数据装置分别与两个外部数据输入端和数据输出端连接，数据输入端和数据输出端分别是数据增加和数据删除；更新历史数据装置的输入端和输出端与历史数据存储器的输入端和输出端互连，更新历史数据装置首先从历史数据存储器处获得保存的历史数据，然后根据外部数据输入端和数据输出端是增加新数据还是删除旧数据，计算出新的需保持的历史数据，将其输出给历史数据存储器保存。

本发明有益效果：与现有技术相比，本发明通过减少需要保存的历史数据，降低系统对计算机存储和计算能力的要求，使系统能够满足当前日益增长数据流量和实时性的要求。

本发明的特点是只需要保存当前窗口下的部分历史数据，而且计算新的最大值或最小值的时候，不需要扫描全部保存下来的历史数据。

本发明计算新的最大(小)值的时候不需要扫描全部的保存下来的历史数据。使用本发明的新方法提高了数据分析系统的性能。本发明适用于证券股票信息、统计分析、网站日志内容统计分析、无线传感器网络中的各种监测数据，网络监测系统数据和互联网网站数据的统计分析等领域。

附图说明

通过以下结合附图的详细描述，本发明的上述和其它方面、特征和优点将变得更加显而易见。附图中：

图1是本发明计算滑动窗口下数据流数据的最大最小值系统原理图

图2是本发明当前滑动窗口下数据流的数据拟合的波形曲线(计算最大值情况)。

图3是本发明当前滑动窗口下数据流的数据拟合的波形曲线(计算最小值情况)。

图4是本发明中最大和最小值装置示意图

图5是本发明中历史数据装置示意图

图6是本发明中更新历史数据装置示意图

具体实施方式

下面结合附图对本发明作具体说明。应该指出，所描述的施例仅仅视为说明的目的，而不是对本发明的限制。

如图1所示，本发明的计算滑动窗口下数据流数据的最大最小值系统，图中包括：计算最大和最小值装置1、历史数据存储器2、更新历史数据装置3、数据输入端4、数据输出端5。

本发明的系统计算滑动窗口下的数据流的最大和最小值。系统首先根据当前滑动窗口下的数据输入4、数据输出5，计算当前时刻需要保存的历史数据，更新历史数据装置3根据历史数据存储器2保存的前一时刻的历史数据和当前时刻增加的新数据或删除的旧数据生成当前时刻的需保存的历史数据，更新历史数据装置3将当前时刻的需保持的历史数据输出给历史数据存储器2保存。计算最大和最小值装置1则根据从历史数据存储器2输入的历史数据和当前增加的新数据或删除的旧数据计算出当前滑动窗口下的数据流的最大和最小值。

根据本发明所述，所述步骤如下：

保存历史数据步骤：将当前窗口下的数据拟合成一条波形曲线；计算波形曲线内的最高波峰值或计算最低波谷值；计算最大值需要保存的历史数据为取值在最高波峰与最新数据的值之间的数据，而且属于波形曲线的下坡的数据；计算最小值需要保存的历史数据为取值在最低波谷与最新数据的值之间的数据，而且属于波形曲线的上坡的数据。

所述计算新数据增加后的最大值步骤包括：将新数据与历史数据比较，如果小于等于历史数据中的最大值，则最大值不变；否则最大值为新的数据。

所述计算新数据增加后的最小值步骤包括：将新数据与历史数据比较，如果大于等于历史数据中的最小值，则最小值不变；否则最小值为新的数据。

所述计算旧数据删除后的最大值步骤包括：判断旧数据是否属于保存的历史数据，不属于保存的历史数据则最大值不变，属于保存的历史数据则旧数据与历史数据比较；如果旧数据不是历史数据最大值，则最大值不变；否则计算删除此旧数据后的历史数据最大值作为当前最大值。

所述计算旧数据删除后的最小值步骤包括：判断旧数据是否属于保存的历史数据，如果不属于保存的历史数据则旧数据最小值不变，如果属于保存的历史数据，则旧数据与历史数据比较，如果旧数据不是历史数据最小值，则最小值不变；否则计算删除旧数据后的历史数据最小值作为当前最小值。

所述新数据增加后更新历史数据步骤：保存取值在最高波峰与增加的新数据之间的数据，而且属于波形曲线的下坡的数据作为历史数据；

所述新数据增加后更新历史数据步骤：保存取值在最低波谷与增加的新数据之间的数据，而且属于波形曲线的上坡的数据作为历史数据；

所述旧数据删除后更新历史数据的步骤：判断旧数据是否属于保存的历史数据，如果不属于则历史数据不变；如果属于则删除旧数据后的历史数据作为新历史数据。

如图2所示，是本发明当前滑动窗口下数据流的数据拟合的波形曲线计算最大值情况：X轴为时间轴，设数据由右侧进入滑动窗口，从左侧移出滑动窗口，当前显示的数据为滑动窗口内的所有数据，由图可知，X轴左侧数据较旧，X轴右侧数据较新，Y轴为数据的值。如图2所示，当需要计算最大值时，需要保存的历史数据只是波形曲线中加粗的部分，即只需要保存值在最高波峰和最新数据的值之间的数据，而且属于波形曲线下坡的数据。

如图3所示，是本发明当前滑动窗口下数据流的数据拟合的波形曲线计算最小值情况：X轴为时间轴，设数据由右侧进入滑动窗口，从左侧移出滑动窗口，当前显示的数据为滑动窗口内的所有数据，由图3可知，X轴左侧数据较旧，X轴右侧数据较新，Y轴为数据的值。如图所示，当需要计算最小值时，需要保存的历史数据只是波形曲线中加粗的部分，即只需要保存值在最低波谷和最新数据的值之间的数据，而且属于波形曲线上坡的数据。

图4是本发明中最大和最小值装置示意图，图中：

所述最大和最小值装置1包括：读取历史数据装置1.1、计算装置1.2；读取历史数据装置1.1读取历史数据并从保存历史数据，读取历史数据装置(1.1)向计算装置(1.2)输入历史数据和增或删的数据，计算装置(1.2)计算并输出数据和最大或最小值。

具体地，最大和最小值装置1，采用最大最小值的计算模块包括：根据输入的数据、输出的数据、保存的历史数据计算出当前的最大最小值；

图5是本发明中历史数据装置示意图，图中：

所述历史数据装置2包括，存储器2.1、提交历史数据装置2.2；存储器2.1将保存的历史数据给入提交历史数据装置2.2并输出历史数据。

具体地，历史数据装置2，采用保存历史数据模块包括：根据更新模块的输出将历史数据保存到计算机的存储器中，并在计算模块进行计算的时候负责提交历史数据给计算模块。

图6是本发明中更新历史数据装置示意图，图中：

所述更新历史数据装置3包括：数据拟合装置3.1；计算最高波峰或最低波谷装置3.2；计算保存历史数据装置3.3，数据拟合装置3.1接收当前窗口下的数据并拟合输出数据，数据拟合装置3.1与计算最高波峰或最低波谷装置3.2连接并输出最高波峰值或最低波谷值，最高波峰值或最低波谷值给入计算保存历史数据的装置3.3使之计算保存历史数据输出历史数据。

具体地，更新历史数据装置3，采用保存的历史数据更新模块包括：根据现有的保存的历史数据和输入的数据更新需要保存的历史数据；

数据连续不断得从系统左侧输入数据，并由系统右侧输出数据(即有数据被删除)，系统预先定义好计算最大或最小值的滑动窗口大小，则由计算最大或最小值模块实时的计算出当前滑动窗口下数据的最大或最小值。

根据本发明，设初始的数据序列为A＝a₁，a₂，...，a_k，a_k+1，...，a_n，即共有n个数据。之后不断有新的数据添加和旧的数据删除。

设添加的数据依次为：a_n+1，a_n+2，...，a_n+k，...；删除的数据依次为：a₁，a₂，...，a_k，...；

详细的数据处理流程如下所示：

首先介绍计算数据最大值的流程。

1.首先需要根据当前滑动窗口下的数据，计算需要保存的历史数据；生成需要保存的历史数据的步骤包括将当前窗口下的数据拟合成一条波形曲线；计算最高波峰(即最大值)的值；保存的历史数据为取值为最高波峰与滑动窗口最新数据之间的，而且属于波形曲线下坡的数据。

设当前的数据序列为A＝a₁，a₂，...，a_k，a_k+1，...，a_n，滑动窗口大小为n，数据沿时间轴从右侧输入系统，从左侧流出系统，则最左边的数据是最旧的数据，而最右边的数据是最新的数据。将当前数据拟合为一条波形曲线，如图2所示。此波形曲线会有一到几个波峰和波谷。由图可知，a′是最大波峰所在的数据，则a′是当前数据集合的最大值：A[max]＝a′.设此波形曲线的最右侧(即当前最新的数据)的所在数据为a＂，则需要保存的历史数据为两者之间标为粗线的数据，即取值在这两者之间的，而且属于波形曲线下坡的数据，可以表示为：A[history]＝{a_i|a＂<＝a_i<＝a′，a_i∈A}。

2.当新的数据输入系统，即有新的数据增加时，计算当前窗口下的最大值；更新保存的历史数据：

设新增加的数据为a_new，如果

则A[max]_new＝a_new.

其他情况下，则A[max]_new＝A[max]，即最大值不变；

3.当有数据输出系统，即旧的数据删除，计算当前窗口下的最大值：

设欲删除的旧数据为a_del，如果a_del∈A[history]，则A[max]_new＝max{a_i|a_i≠a_del，a_i∈A[history]}；

如果 $a_{\mathrm{del}}\&NotElement;A\left[\mathrm{history}\right],$ 则A[max]_new＝A[max]；

4.当新的数据输入系统，即有新的数据增加时，更新保存的历史数据

设新增加的数据为a_new，如果

，A[history]_new＝a_new。

其他情况下，则A[history]_new＝{a_i|a_new<a_i<＝a′，a_i∈A[history]}+a_new。

5.当有数据输出系统，即旧的数据删除，更新保存的历史数据。

设欲删除的旧数据为a_del，如果a_del∈A[history]，则A[history]_new＝A[history]-a_del

if $a_{\mathrm{del}}\&NotElement;A\left[\mathrm{history}\right],$ 则A[history]_new＝A[history]；

计算最小值的方法与计算最大值的方法基本相同，只需做如下修改：

1.将需要计算最高波峰的值改为最低波谷的值；

2.保存的历史数据是取值在最低波谷与滑动窗口最新数据之间的而且属于波形曲线上坡的数据；

3.其他相应的计算最大值的部分改为计算最小值即可。

最后说明：上面描述是用于实现本发明及其实施例，本发明的范围不应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。

Claims (11)

1、计算滑动窗口下数据流最大值和最小值的方法，其特征在于，步骤包括如下：

生成保存历史数据步骤：由更新历史数据装置对当前滑动窗口下的数据流进行计算，生成需要保存的历史数据，将当前窗口下的数据拟合成一条波形曲线；计算波形曲线内的最高波峰值或计算最低波谷值；计算最大值需要保存的历史数据为取值在最高波峰与最新数据的值之间的数据，而且属于波形曲线的下坡的数据；计算最小值需要保存的历史数据为取值在最低波谷与最新数据的值之间的数据，而且属于波形曲线的上坡的数据，由历史数据存储器保存历史数据；

计算当前最大值或最小值步骤：当由数据输入端增加新数据或由数据输出端删除旧数据时，此数据与保存的历史数据由计算最大和最小值装置比较计算出当前的最大值或最小值；

更新历史数据步骤：当由数据输入端增加新数据或由数据输出端删除旧数据，由更新历史数据装置更新需要保存的历史数据。

2、根据权利要求1所述的计算滑动窗口下数据流最大值和最小值的方法，其特征在于，所述计算新数据增加后的最大值步骤包括：将新数据与历史数据比较，如果小于等于历史数据中的最大值，则最大值不变；否则最大值为新的数据。

3、根据权利要求1所述的计算滑动窗口下数据流最大值和最小值的方法，其特征在于，所述计算新数据增加后的最小值步骤包括：将新数据与历史数据比较，如果大于等于历史数据中的最小值，则最小值不变；否则最小值为新的数据。

4、根据权利要求1所述的计算滑动窗口下数据流最大值和最小值的方法，其特征在于，所述计算旧数据删除后的最大值步骤包括：判断旧数据是否属于保存的历史数据，不属于保存的历史数据则最大值不变，属于保存的历史数据则旧数据与历史数据比较；如果旧数据不是历史数据最大值，则最大值不变；否则计算删除此旧数据后的历史数据最大值作为当前最大值。

5、根据权利要求1所述的计算滑动窗口下数据流最大值和最小值的方法，其特征在于，所述计算旧数据删除后的最小值步骤包括：判断旧数据是否属于保存的历史数据，如果不属于保存的历史数据则旧数据最小值不变，如果属于保存的历史数据，则旧数据与历史数据比较，如果旧数据不是历史数据最小值，则最小值不变；否则计算删除旧数据后的历史数据最小值作为当前最小值。

6、根据权利要求1所述的计算滑动窗口下数据流最大值和最小值的方法，其特征在于，所述新数据增加后更新历史数据步骤：保存取值在最高波峰与增加的新数据之间的数据，而且属于波形曲线的下坡的数据作为计算最大值所需的历史数据。

7、根据权利要求1所述的计算滑动窗口下数据流最大值和最小值的方法，其特征在于，所述新数据增加后更新历史数据步骤：保存取值在最低波谷与增加的新数据之间的数据，而且属于波形曲线的上坡的数据作为计算最小值所需的历史数据。

8、根据权利要求1所述的计算滑动窗口下数据流最大值和最小值的方法，其特征在于，所述旧数据删除后更新历史数据的步骤：判断旧数据是否属于保存的历史数据，如果不属于则历史数据不变；如果属于则删除旧数据后的历史数据作为新历史数据。

9、一种计算滑动窗口下数据流最大值和最小值的系统，其特征在于：包括：计算最大和最小值装置(1)、历史数据存储器(2)、更新历史数据装置(3)、数据输入端(4)、数据输出端(5)；计算最大和最小值装置(1)分别与数据输入端(4)和数据输出端(5)连接，新的数据由数据输入端(4)进入滑动窗口为数据增加，旧的数据由数据输出端(5)移出滑动窗口为数据删除，计算最大和最小值装置(1)根据历史数据存储器(2)输入的当前的历史数据和数据输入端(4)和数据输出端(5)输入的增加数据或输出的删除数据进行比较获得当前的最大和最小值；历史数据存储器(2)的两个输出端分别与更新历史数据装置(3)的输入端和计算最大和最小值装置(1)的输入端连接，历史数据存储器(2)提交历史数据给更新历史数据装置(3)，并从更新历史数据装置(3)处获得当前最新的需保持的历史数据，并将保存的历史数据提交给计算最大和最小值装置(1)以获得当前的最大和最小值；更新历史数据装置(3)分别与数据输入端(4)和数据输出端(5)连接；更新历史数据装置(3)的输入端和输出端分别与历史数据存储器(2)的输出端和输入端互连，更新历史数据装置(3)首先从历史数据存储器(2)处获得保存的历史数据，然后根据数据输入端(4)和数据输出端(5)是增加新数据还是删除旧数据，计算出新的需保持的历史数据，将其输出给历史数据存储器(2)保存；

所述更新历史数据装置(3)包括：数据拟合装置(3.1)、计算最高波峰或最低波谷装置(3.2)和计算保存历史数据的装置(3.3)，数据拟合装置(3.1)将保存的历史数据拟合成一条波形曲线；计算最高波峰或最低波谷装置(3.2)的输入端与数据拟合装置(3.1)输出端连接并输出最高波峰值或最低波谷值，最高波峰值或最低波谷值给入计算保存历史数据的装置(3.3)使之计算保存历史数据输出历史数据；计算最大值需要保存的历史数据为取值在最高波峰与最新数据的值之间的数据，而且属于波形曲线的下坡的数据；计算最小值需要保存的历史数据为取值在最低波谷与最新数据的值之间的数据，而且属于波形曲线的上坡的数据。

10、根据权利要求10所述的计算滑动窗口下数据流最大值和最小值的系统，其特征在于：所述最大和最小值装置(1)包括：读取历史数据装置(1.1)、计算装置(1.2)，读取历史数据装置(1.1)读取历史数据并保存历史数据，读取历史数据装置(1.1)向计算装置(1.2)输入历史数据和增或删的数据，计算装置(1.2)计算并输出最大或最小值。

11、根据权利要求10所述的计算滑动窗口下数据流最大值和最小值的系统，其特征在于：所述历史数据装置(2)，包括保存的历史数据给入存储器(2.1)；存储器(2.1)将保存的历史数据给入提交历史数据装置(2.2)并将历史数据输出。

Images