CN103414476B - 一种生产能耗实时数据压缩方法 - Google Patents

Abstract

本发明是一种生产能耗实时数据压缩方法，其特点是，包括的步骤有：读入n个连续时刻数据y(k)；计算各个时刻数据的增量Δy(k)；利用最小二乘算法对各个时刻数据增量Δy(k)进行拟合；得到各个时刻估计值计算各个时刻估计偏差ε(k)等；直到n<5，保存y(1),Δy(2)...Δy(n)。能够在保证高压缩率的前提下，保留了更多的数据信息，提高了数据的恢复精度,具有科学合理，用途广泛,数据传输效率高等优点。

Description

一种生产能耗实时数据压缩方法

技术领域

本发明涉及实时数据压缩技术领域，是一种生产能耗实时数据压缩方法。

背景技术

实时数据库在企业生产控制管理系统中得到广泛应用，由于采集时间短，数据增长速度快，占用大量存储空间。因此对实时数据库中的数据必须进行压缩存储。目前常用的实时数据压缩方法是美国OSI公司提出的旋转门方法以及各种改进方法。这些方法都是根据当前数据以及压缩阀值构成一个区域，通过判断下一个数据是否在该区域内来决定是否保存该数据点。这些方法没有考虑数据之间的内在关联。而实时数据库中的数据多是在较短的时间间隔内连续采样得到的，因此这些数据可以被看作某一物理量的一组时间序列。数据之间存在较强的时间相关性。如果能够找到各数据点之间的相关性，并利用这种相关性来估计下一时刻数据，就可以减少所需保存的数据点数，从而达到压缩的效果。

目前，中国发明专利公开号CN1786939A，名称为“实时数据压缩方法”，提出压缩过程分成四步：第一步初始化字典；第二步读入数据；第三步相邻数据相减获得差值；第四步采用LZW算法对差值压缩。该方法没有对差值数据进行自回归分析，以减少待压缩的数据量，故压缩效果有限。中国发明专利公开号CN102437854A，名称为“一种高压缩比的工业实时数据压缩方法”，提出一次读入n个数据点，采用最小二乘拟合方法拟合直线方程，依据数据点与拟合直线方程的距离是否小于给定限值来决定该点是否保存。这种方法的缺点是没有考虑数据之间的时间相关性，简单的采用直线拟合无法达到最佳的拟合效果，因此压缩效果有限。

发明内容

针对现有的实时数据压缩方法的不足，并基于1.生产能耗数据描述了企业在生产过程中水、电、气等各种能源消耗情况，其特点是单调递增；2.实时数据库中的数据是某一特定物理量连续采样得到的，采样时间多为数秒或数分钟，各采样数据之间存在着很强的时间相关性，可以按照时间序列进行分析；3.根据所采集到的生产能耗数据建立其自回归模型，利用该模型提出一种实时数据压缩方法。

本发明的目的是，提供一种压缩率高，数据信息量大，数据恢复精度高，科学合理，用途广泛，数据传输效率高的生产能耗实时数据压缩方法。

实现本发明目的所采取的技术方案是：一种生产能耗实时数据压缩方法，其特征是，它包括以下步骤：

(a)读入n个连续时刻数据y(k)，k＝1,2...n,5≤n≤100，保存y(1)；

(b)计算各个时刻数据的增量Δy(k)，即

Δy(k)＝y(k)-y(k-1)，k＝2,3...n(1)

(c)利用最小二乘算法对各个时刻数据增量Δy(k)进行拟合，如下式所示

Δy(k)＝aΔy(k-1)+bΔy(k-2),k＝4,5...n(2)

式中a,b为拟合参数，记作θ(a,b)，其最佳估计值记作

(d)将得到的最佳估计值带入公式(2)中，得到各个时刻估计值

(e)计算各个时刻估计偏差ε(k)，即

$\mathrm{\&epsiv;}\left(k\right)=|\mathrm{\&Delta;}y\left(k\right)-\mathrm{\&Delta;}\hat{y}\left(k\right)|,k=4,\mathrm{5...}n---\left(3\right)$

(f)如果某时刻估计偏差ε(k)大于给定的压缩阀值ε₀，压缩阀值ε₀为数据压缩时允许的数据最大变化范围，即不满足如下公式(4)，

ε(k)≤ε₀，k＝4,5...n(4)

且ε(i)为所有不满足公式(4)的估计偏差中最大者，即

ε(i)＝max(ε(k))，ε(k)>ε₀,k＝4,5...n,i＝4,5...n(5)

如果i≤4，那么令n＝4，否则令n＝i-1，返回(c)重新执行；

(g)如果各个时刻估计偏差ε(k)都满足公式(4)，那么保存第1个和第2个增量以及

(h)重复(a)至(g)，直到n<5，保存y(1),Δy(2)...Δy(n)。

本发明的一种用于生产能耗实时数据的压缩方法，能够在保证高压缩率的前提下，保留了更多的数据信息，提高了数据的恢复精度，具有科学合理，用途广泛，数据传输效率高等优点。

附图说明

图1某生产设备用电能耗原始数据1002个点。

图2一种用于生产能耗实时数据的压缩方法的流程图。

图3估计偏差绝对值存在大于给定压缩阀值的点，舍弃估计偏差绝对值最大的点及其后所有点，重新拟合。

图4估计偏差绝对值存在大于给定压缩阀值的点，估计偏差绝对值最大的点序数小于等于4，舍弃第5个点至第13个点，对第1个点至第4个点重新拟合。

图5所有估计偏差都小于给定压缩阀值，保存第1个、第2个数据增量及最佳估计值。

具体实施方式

下面利用附图和实施例对本发明作进一步描述。

参照图1——图5，本发明一种生产能耗实时数据压缩方法，具体实施步骤如下：

(a)读入n个连续时刻数据，n＝13，保存y(1)；

(b)按照公式(1)Δy(k)＝y(k)-y(k-1)，计算各个时刻数据的增量Δy(k)，k＝2,3...n；

(c)依据公式(2)对12个增量值Δy(k)进行最小二乘拟合，

Δy(k)＝aΔy(k-1)+bΔy(k-2),k＝4,5...n

利用最小二乘估计方法对各个时刻数据增量Δy(k)进行拟合，得到参数θ(a,b)的最佳估计值

(d)将得到的最佳估计值带入公式(2)中，得到各个时刻估计值

(e)计算各个时刻估计偏差ε(k)，即

$\mathrm{\&epsiv;}\left(k\right)=|\mathrm{\&Delta;}y\left(k\right)-\mathrm{\&Delta;}\hat{y}\left(k\right)|,k=4,\mathrm{5...}n$

(f)如图3所示，第7、第11和第13点估计偏差大于给定压缩阀值0.5，其中第11点估计偏差绝对值最大，舍弃掉第11、第12和第13点，返回(c)步骤，对第1到第10点重新拟合。

如图4所示，如果估计偏差绝对值最大的点序数小于4，那么舍弃第5个点至第13个点，返回(c)步骤，对第1个点到第4个点重新拟合。

(g)如果各个时刻估计偏差都小于给定压缩阀值，那么保存第1个增量和第2个增量以及

(h)重复(a)至(g)，直到n<5，保存y(1),Δy(2)...Δy(n)。

在不同压缩阀值下，本方法对图1所示的某生产设备用电能耗数据1002个数据点进行压缩，压缩效果如表1所示。

表1在不同压缩阀值下本方法的压缩效果比较

Claims (1)

1.一种生产能耗实时数据压缩方法，其特征是，它包括以下步骤：

(a)读入n个连续时刻数据y(k)，k＝1,2...n,5≤n≤100，保存y(1)；

(b)计算各个时刻数据的增量Δy(k)，即

Δy(k)＝y(k)-y(k-1)，k＝2,3...n(1)

(c)利用最小二乘算法对各个时刻数据增量Δy(k)进行拟合，按公式(2)

Δy(k)＝aΔy(k-1)+bΔy(k-2),k＝4,5...n(2)

式中a,b为拟合参数，记作θ(a,b)，其最佳估计值记作

(d)将得到的最佳估计值带入公式(2)中，得到各个时刻估计值

(e)计算各个时刻估计偏差ε(k)，即

$\mathrm{\&epsiv;}\left(k\right)=|\mathrm{\&Delta;}y\left(k\right)-\mathrm{\&Delta;}\hat{y}\left(k\right)|,k=4,5...n---\left(3\right)$

(f)如果某时刻估计偏差ε(k)大于给定的压缩阀值ε₀，压缩阀值ε₀为数据压缩时允许的数据最大变化范围,即不满足公式(4)，

ε(k)≤ε₀，k＝4,5...n(4)

且ε(i)为所有不满足公式(4)的估计偏差中最大者，即

ε(i)＝max(ε(k))，ε(k)>ε₀,k＝4,5...n,i＝4,5...n(5)

如果i≤4，那么令n＝4，否则令n＝i-1，返回(c)重新执行；

(g)如果各个时刻估计偏差ε(k)都满足公式(4)，那么，保存第1个和第2个增量以及

(h)重复(a)至(g)，直到n<5，保存y(1),Δy(2)...Δy(n)。