CN103207887A - 一种高效历史趋势数据存储方法 - Google Patents

Abstract

本发明公开了一种高效历史趋势数据存储方法，包括：首先采集历史趋势数据；接着人工选择过滤规则，过滤规则包括一个或一个以上相互平行排列的过滤单元，过滤单元包括一种或一种以上过滤技术的顺序组合，过滤技术是指区间过滤技术、采样值过滤技术或斜率过滤技术；最后，完成过滤后历史趋势数据的存储。过滤形式多样，使用灵活、操控简单，其结果能有效降低磁盘消耗，简化存储过程，提高存储效率和系统运行能力，保证了大容量历史数据的可靠、有效存储。

Description

一种高效历史趋势数据存储方法

技术领域

本发明涉及一种数据处理技术，特别是涉及一种高效历史趋势数据存储方法。

背景技术

数据存储是各种趋势软件的重要组成部分，采取什么样的数据存储技术对改善趋势软件的性能有着至关重要的作用。

当今社会已进入信息时代，趋势软件处理的是大容量基于时间序列的生产过程数据，高效的数据存储压缩方式，能有效提升磁盘空间的利用率。其次，对历史数据库而言，数据压缩除了可以在大容量数据应用中有效节省硬盘容量，更重要的是能大幅提升系统整体处理速度及性能，保证运行质量，缩短运行时间。

如何对海量数据进行分析、处理和存储，一直以来都是人们想要解决和改善的问题。

发明内容

鉴于上述情况，本发明旨在提供一种可有效减少大容量数据在应用中的存储空间，并可有效提高系统运行效率的基于历史趋势数据的存储方法。

本发明是通过以下技术方案来实现的：

一种高效历史趋势数据存储方法，具体步骤包括：

步骤一采集历史趋势数据。

步骤二人工选择过滤规则；所述过滤规则包括一个或一个以上相互平行排列的过滤单元，过滤单元包括一种过滤技术或一种以上过滤技术的顺序组合。其中，过滤技术是指区间过滤技术、采样值过滤技术或斜率过滤技术。

区间过滤技术是指：对于每个接收源数据进行手工区间定义，定义最大值和最小值，如采样数据大于定义最大值或小于定义最小值，则过滤掉，反之，则保留；或对于每个接收源数据进行动态区间定义，读取动态定义区间的最大值和最小值，如采样数据大于读取最大值或小于读取最小值，则过滤掉，反之，则保留。

采样值过滤技术是指：在设定的采样周期内，根据采样周期对每个接收源数据进行预处理，包括取最大值、取最小值和/或取平均值，保留预处理后的采样数据作为人工选择的规则中其他过滤技术的输入采样数据使用。采样值过滤技术中采样周期的设置精度为1ms。

斜率过滤技术是指：对于每个接收源数据进行拐点识别，即把每一个在当前采样周期获取的最新数据与上一个周期的采样值共同计算出拐点数值，如果当前采样周期的数值未达到拐点数值，则过滤掉，反之，则保留。

上述过滤过程可视为在上一个数据意境采集完毕，在下一个扫描周期结束获取的下一个采集数据时做的判断，依此过程不断进行，当获取到最新的采样值时，趋势模块根据已有逻辑对数据进行过滤。比如，当采取采样值过滤技术进行过滤时，根据设定的采样周期采集的原始数据算出采样终值，其中，最大值是选取采样周期内最大的数值；最小值是选取采样周期内最小的数值；平均值是选取采样周期内的平均值。当采取区间过滤技术进行采样值时，趋势模块把获取的采样终值与上一采样终值进行比较，差值的绝对值如果落在最大值与最小值的区间内，则判定采样值不被过滤，并录入数据库。当采取斜率过滤技术进行采样值时，趋势模块把获取的采样终值与斜率参数算出拐点，采样值小于拐点值，则过滤掉，相反则录入数据库。

步骤三完成过滤后历史趋势数据存储。

基于上述过程，本发明的技术方案本质可以以软件产品的形式体现出来，并存储在计算机软件产品的一种存储介质中，包括只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。其形式既可以是一个独立的系统，也可以是其它系统的一个子系统或模块来配合使用。

本发明所述的一种高效历史趋势数据存储方法，其有益效果包括：

(1)降低磁盘消耗

本发明只需根据采样值需要选好过滤规则，将最新的采样值与上一采样值在选定的规则下进行筛选，依次往复过滤，将过滤所得数据进行存储，抛弃无用数据，从而大大降低了磁盘空间的消耗，简化了磁盘存储过程，提高了数据存储效率。

(2)应用范围广

高效的历史趋势数据存储方法不但可以单独进行趋势设计应用，同时，还可融入其它需要处理大容量数据的系统中联合使用，既可以是一个独立系统，也可以是一个与其它系统配合使用的模块，使用灵活，组合方便，操控简单。

(3)提高系统性能

本发明根据多种过滤技术的组合对采样值进行过滤，过滤形式多样，过滤结果可靠、有效，缩小了趋势数据的存储量，有效提高了数据库的检索速度与读取速度，系统性能明显提高。

附图说明

图1为本发明的结构示意框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合具体实施方式及附图1对本发明作进一步地详细描述：

本发明所述的一种高效历史趋势数据存储方法，其中，过滤规则由四个过滤单元组成，第1过滤单元包括顺序连接的采样值过滤技术、区间过滤技术和斜率过滤技术；第2过滤单元包括顺序连接的采样值过滤技术和区间过滤技术；第3过滤单元包括顺序连接的区间过滤技术和斜率过滤技术；第4过滤单元包括顺序连接的采样值过滤技术和斜率过滤技术。其具体表现形式为基于通用软件平台或嵌入到某些专用软件中形成一个对历史趋势数据存储过滤的子系统来进行工作。而采样值过滤技术的采样周期设置为1ms。

具体历史趋势数据处理过程为：

步骤S101采集到一个新的历史趋势数值。

步骤S102人工选择过滤规则。

根据规则的选择，对历史趋势数据进行相应方式的过滤和存储。本例中，包括四组过滤单元以备选择，具体过程为：

如选择第1过滤单元，进入步骤S103，采样值过滤技术根据1ms的采样周期对首先接收到的源数据进行预处理，预处理过程包括对采样数值取最大值、取最小值和/或取平均值，并将预处理后的采样数据送入步骤S104中；步骤S104为区间过滤技术，其根据预先设定的手工分区或动态分区，定义或读取预处理后采样数据的最大值和最小值，如采样数据大于定义或读取的最大值，或者小于定义或读取的最小值，则过滤掉此类数据，反之，则保留过滤后数据，最后，保留的数据送入到步骤S105中；步骤S105为斜率过滤技术，其对每个保留数据进行拐点识别，即把每一个当前采样周期获取的最新数据与上一个周期的采样值共同计算出拐点数值，如果当前采样周期的数值未达到拐点数值，则过滤掉，反之，则保留。至此，选择后的第1过滤单元对采集数据过滤完成。

其余三个过滤单元中，各个过滤技术的具体数据处理过程同上，在此不再赘述。

如选择第2过滤单元，接收到的源数据首先进入步骤S106，进行采样值过滤技术处理，接着，进入步骤S107进行区间过滤技术处理，最后存储过滤后历史趋势数据，完成数据过滤存储过程。

如选择第3过滤单元，接收到的源数据首先进入步骤S108，进行区间过滤技术处理，接着，进入步骤S109进行斜率过滤技术处理，最后存储过滤后历史趋势数据，完成数据过滤存储过程。

如选择第4过滤单元，接收到的源数据首先进入步骤S110，进行采样值过滤技术处理，接着，进入步骤S111进行斜率过滤技术处理，最后存储过滤后历史趋势数据，完成数据过滤存储过程。

步骤S112将过滤后保留的数据录入历史趋势数据，同时，消除掉被过滤的数据，实现采集数据过滤后的有效存储。

显然，上述实施例仅是本发明的一个具体实施方式，而不是全部的实施方式。例如：上述单元的划分仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如多个单元或多个子单元结合一起组成过滤规则，或者多个单元集成到另一个系统中，成为系统的一部分进行历史数据的过滤等。故，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应属于本发明的保护范围，本发明的保护范围并不局限于此。

Claims (2)

1.一种高效历史趋势数据存储方法，其特征在于，具体步骤包括：

步骤一采集历史趋势数据；

步骤二人工选择过滤规则；所述过滤规则包括一个或一个以上相互平行排列的过滤单元；所述过滤单元包括一种过滤技术或一种以上过滤技术的顺序组合；所述过滤技术是指区间过滤技术、采样值过滤技术或斜率过滤技术；

所述区间过滤技术：对于每个接收源数据进行手工区间定义，定义最大值和最小值，如采样数据大于定义最大值或小于定义最小值，则过滤掉，反之，则保留；

或，对于每个接收源数据进行动态区间定义，读取动态定义区间的最大值和最小值，如采样数据大于读取最大值或小于读取最小值，则过滤掉，反之，则保留；

所述采样值过滤技术：设定采样周期，根据采样周期对每个接收源数据进行预处理，包括取最大值、取最小值和/或取平均值，保留预处理后的采样数据作为人工选择的规则中其他过滤技术的输入采样数据使用；

所述斜率过滤技术：对于每个接收源数据进行拐点识别，即，把每一个在当前采样周期获取的最新数据与上一个周期的采样值共同计算出拐点数值，如果当前采样周期的数值未达到拐点数值，则过滤掉，反之，则保留；

步骤三完成过滤后历史趋势数据存储。

2.根据权利要求1所述的一种高效历史趋势数据存储方法，其特征在于，所述采样值过滤技术中采样周期的设置精度为1ms。

Images