CN102664635A - 一种精度可控的自适应数据压缩方法 - Google Patents

Abstract

本发明涉及数据压缩方法技术领域，公开了一种精度可控的自适应数据压缩方法，包括下述步骤：步骤A：对数据进行旋转门压缩处理；步骤B：判断是否执行门限宽度的自适应计算调整；若是，则对门限宽度进行自适应计算调整；否则继续对下个数据进行压缩处理。本发明通过引入标准误差的反馈来逐步调整门限宽度，避免了由于人为盲目设置门限宽度值而造成压缩性能的降低，同时也免去了进行重复大量测试的过程。此外，增加了数据合法性判断和动态调整数据压缩时间窗口参数，降低了异常数据对算法性能的影响，对慢变化的稳态数据而言，自适应计算的时间间隔会动态的变化，减少无谓的计算动作，提高了压缩的性能。

Description

一种精度可控的自适应数据压缩方法

技术领域

本发明涉及数据压缩方法技术领域，主要适用于一种精度可控的自适应数据压缩方法。

背景技术

目前实时数据库已经越来越广泛的在电信、金融、电力等行业之中使用，极大的简化了大规模工业流程的控制过程，提高了管理的效率。由于工业实时数据库系统需要长期运行，必须要对大量宝贵的现场实时数据进行存储，若直接保存的话，随着系统运行时间的增长，必将占用大量的存储设备用来保存这些数据。同时由于在工业过程控制领域中大部分数据都是稳态数据，其数值变化波动比较小，完整保存就会带来很高的数据信息冗余，不仅浪费了存储设备，而且为实时数据的传输和分析都带来了巨大的困难，因此数据压缩处理技术已经成为实时数据处理的必须环节。

旋转门压缩算法拥有着简单的算法逻辑和高效的执行效率，非常符合过程工业对实时性的要求，在工业实时数据库领域中得到了广泛的运用。但是，旋转门压缩算法存在着以下的问题：

(1)参数固定，设置繁琐。在旋转门压缩算法中门限宽度是唯一可控的参数，其取值的好坏会严重影响着算法的压缩性能。目前门限宽度的设置严重依赖人为经验，为了保持压缩精度，就要对参数进行反复的测试与停机修正。

(2)自适应性低。由于实时数据带有很强的不可预测性，要求采用的在线数据压缩算法能够很好的适应数据的变化情况，使算法的压缩比和压缩误差不会因为数据的变化而产生剧烈波动。目前旋转门压缩算法的自适应性较差，加之参数固定，并不能自适应的保持压缩比和压缩误差之间的平衡。

(3)目前旋转门压缩算法并不能判断数据是否异常，而是对异常数据也采用正常的压缩流程，严重影响了算法的性能。

发明内容

本发明所要解决的技术问题是提供一种精度可控的自适应数据压缩方法，它具有通过引入标准误差的反馈，再利用对误差率的判断，逐步调整门限宽度，从而避免了由于人为盲目设置门限宽度而造成压缩性能的降低，同时也免去了工业现场为了设定合适的门限宽度而进行重复大量测试的过程的特点。

为解决上述技术问题，本发明提供了一种精度可控的自适应数据压缩方法，包括下述步骤：

步骤A：对数据进行旋转门压缩处理；

步骤B：判断是否需要执行门限宽度的自适应计算调整：

若需要执行门限宽度的自适应计算调整时，计算原数据与压缩后的数据的标准误差，根据所述标准误差计算标准误差与门限宽度之间的误差率，并根据对误差率进行的判断调整门限宽度；

若不需要执行门限宽度的自适应计算调整，则执行下一步；

步骤D：继续对下个数据进行压缩处理。

上述方案中，所述步骤B中，对门限宽度执行自适应计算调整包括下述步骤：

步骤B1：获取原始数据序列{A₁，A₂，......，A_m}，并对经压缩的数据进行解压，获取重建数据序列

步骤B2：计算出标准误差δ：

$\mathrm{\δ}=\sqrt{\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{(A_i-{\tilde{A}}_i)}^2};$

步骤B3：计算出误差率ER：

$\mathrm{ER}=\frac{\mathrm{\δ}}{E},$ 其中E为当前的门限宽度；

步骤B4：对误差率ER进行判断，从而对门限宽度E进行调整：

当0≤ER＜K_MIN时，其中K_MIN为设定的最小误差率，则对门限宽度E加δ；

当K_MIN≤ER≤K_MAX时，其中K_MAX为设定的最大误差率，则门限宽度E不变；

当K_MAX≤ER＜1时，则对门限宽度E减δ。

上述方案中，在所述步骤B中，根据设定的数据压缩时间窗口参数，判断是否需要执行门限宽度的自适应计算调整，其方法为：每压缩完一个数据，则初始化为0的数据压缩时间窗口计数器D_num自增1，当D_num等于所述设定的数据压缩时间窗口参数时，则执行门限宽度的自适应计算调整。

上述方案中，在执行完所述步骤B后，执行步骤C，即判断是否更改数据压缩时间窗口参数，包括下述步骤：

步骤C1：设定数据稳态计数器ES_num，并且将数据稳态计数器ES_num初始化为0，在所述步骤B5后，判断门限宽度是否发生改变，若发生改变，则ES_num＝0，否则ES_num自增1；

步骤C2：判断ES_num是否大于预先设定好的数据稳定阈值DT_thr，若是，则从离散整数集合

中随机取一个数，记为k，新的数据压缩时间窗口参数变为每隔(100+10*k)个数据就要进行一次参数的自适应计算，同时执行ES_num＝0；否则调整结束，执行所述步骤D。

上述方案中，所述步骤A，包括下述步骤：

步骤A1：第一个数据直接保存，并将第一个数据的信息赋予SavedData中；第二个数据的信息赋予WillSaveData和CurrentData中，并计算出斜率SP_top、SP_bot、SP_mid，斜率的计算公式如下所示：

${\mathrm{SP}}_{\mathrm{top}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}-E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{bot}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}+E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{mid}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-{\mathrm{Value}}_{\mathrm{WillSaveData}}}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{WillSaveData}}}$

式中Value_CurrentData为新的数据值，Value_SavedData为上一个已经存储的数据值，Value_WillSaveData为待保存的数据值，Time_CurrentData为新的数据的时戳，Time_SavedData为上一个已经存储的数据的时戳，Time_WillSaveData为待保存的数据时戳，E为门限宽度；第三个及以后的数据从步骤A2开始执行。

步骤A2：当第三个及以后的数据到来时，将新到来的数据的信息赋予CurrentData中，并计算出新的斜率值SP′_top、SP′_bot、SP′_mid；新的斜率的计算公式如下所示：

${\mathrm{SP}}_{\mathrm{top}}^{\′}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}-E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{bot}}^{\′}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}+E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{mid}}^{\′}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-{\mathrm{Value}}_{\mathrm{WillSaveData}}}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{WillSaveData}}}$

式中Value_CurrentData为新的数据值，Value_SavedData为上一个已经存储的数据值，Value_WillSaveData为待保存的数据值，Time_CurrentData为新的数据的时戳，Time_SavedData为上一个已经存储的数据的时戳，Time_WillSaveData为待保存的数据时戳，E为门限宽度；

步骤A3：当SP′_top小于SP_top的值时，把SP′_top的值赋给SP_top，否则保持SP_top的值不变；当SP′_bot大于SP_bot的值时，把SP′_bot的值赋给SP_bot，否则保持SP_bot的值不变；把SP′_mid的值赋给SP_mid；；

步骤A4：比较SP_top、SP_bot、SP_mid三个斜率，若满足SP_bot≤SP_mid≤SP_top时，执行步骤A5，否则执行步骤A6；

步骤A5：用新的数据CurrentData代替待保存的数据WillSaveData，转到步骤B；

步骤A6：保存WillSaveData中的数据信息，同时用待保存的数据WillSaveData代替上一个已经存储的数据SavedData，用新的数据CurrentData代替待保存的数据WillSaveData，再执行步骤B。

上述方案中，在所述步骤A前，先对需要进行压缩处理的数据进行合法性判别，包括下述步骤：

步骤一：如果满足下面的判别式，则执行下一步；否则为数据值异常的数据，更新数据标志位；

Value_MIN≤Value_CurrentData≤Value_MAX

式中Value_CurrentData为新进入缓冲区的数据值，Value_MIN为合法数据的最小值，Value_MAX为合法数据的最大值；

步骤二：若满足下面判别式，则执行步骤A，否则为时戳异常的数据，更新数据标志位；

$\frac{1}{{\mathrm{freq}}_{\mathrm{CurrentData}}}<{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{PreviousData}}<\frac{2}{{\mathrm{freq}}_{\mathrm{CurrentData}}}$

式中Time_CurrentData为新进入缓冲区的数据的时戳，Time_PreviousData为上一个数据的时戳，freq_CurrentData为数据的频率。

上述方案中，所述数据压缩时间窗口参数为压缩处理100个数据进行一次门限宽度的自适应计算。

上述方案中，数据稳定阈值DT_thr为5。

上述方案中，所述数据标志位为2bit。

本发明的有益效果在于：

本发明通过引入标准误差的反馈，再利用对误差率的判断，来逐步调整门限宽度，保证在满足设定的压缩精度的同时达到较高的压缩比，较好的解决了门限宽度的选择依赖于人为经验的问题，避免了由于盲目设置门限宽度值而造成压缩性能的降低，同时也免去了工业现场为了设定合适的门限宽度值而进行重复大量测试的过程。此外，增加了数据合法性判断和动态调整数据压缩时间窗口参数，降低了异常数据对算法性能的影响，对慢变化的稳态数据而言，自适应计算的时间间隔会动态的变化，减少无谓的计算动作，提高了压缩的性能。

附图说明

图1为本发明实施例提供的精度可控的自适应数据压缩方法的流程图。

图2为本发明实施例中对门限宽度进行自适应调整的流程图。

具体实施方式

为进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的精度可控的自适应数据压缩方法的具体实施方式及工作原理进行详细说明。

本发明实施例提供的精度可控的自适应数据压缩方法，包括下述步骤：

步骤A：对数据进行旋转门压缩处理：包括下述步骤：

步骤A1：第一个数据直接保存，并将第一个数据的信息赋予SavedData中；第二个数据的信息赋予WillSaveData和CurrentData中，并计算出斜率SP_top、SP_bot、SP_mid，斜率的计算公式如下所示：

${\mathrm{SP}}_{\mathrm{top}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}-E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{bot}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}+E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{mid}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-{\mathrm{Value}}_{\mathrm{WillSaveData}}}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{WillSaveData}}}$

式中Value_CurrentData为新的数据值，Value_SavedData为上一个已经存储的数据值，Value_WillSaveData为待保存的数据值，Time_CurrentData为新的数据的时戳，Time_SavedData为上一个已经存储的数据的时戳，Time_WillSaveData为待保存的数据时戳，E为门限宽度；

步骤A2：第三个及以后的数据到来时，将新到来的数据的信息赋予CurrentData中，计算出新的斜率值SP′_top、SP′_bot、SP′_mid；新的斜率的计算公式如下所示：

${\mathrm{SP}}_{\mathrm{top}}^{\&prime;}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}-E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{bot}}^{\&prime;}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}+E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{mid}}^{\&prime;}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-{\mathrm{Value}}_{\mathrm{WillSaveData}}}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{WillSaveData}}}$

式中Value_CurrentData为新的数据值，Value_SavedData为上一个已经存储的数据值，Value_WillSaveData为待保存的数据值，Time_CurrentData为新的数据的时戳，Time_SavedData为上一个已经存储的数据的时戳，Time_WillSaveData为待保存的数据时戳，E为门限宽度；

步骤A3：当SP′_top小于SP_top的值时，把SP′_top的值赋给SP_top，否则保持SP_top的值不变；当SP′_bot大于SP_bot的值时，把SP′_bot的值赋给SP_bot，否则保持SP_bot的值不变；把SP′_mid的值赋给SP_mid；

步骤A4：比较SP_top、SP_bot、SP_mid三个斜率，若满足SP_bot≤SP_mid≤SP_top时，执行步骤A5，否则执行步骤A6；

步骤A5：用新的数据CurrentData代替待保存的数据WillSaveData，转到步骤B；

步骤A6：保存WillSaveData中的数据信息，同时用待保存的数据WillSaveData代替上一个已经存储的数据SavedData，用新的数据CurrentData代替待保存的数据WillSaveData，再执行步骤B。

步骤B：判断是否需要执行门限宽度的自适应计算调整：

若需要执行门限宽度的自适应计算调整，则执行下述步骤：

步骤B1：获取原始数据序列{A₁，A₂，......，A_m}，并对经压缩的数据进行解压，获取重建数据序列

步骤B2：计算出标准误差δ：

$\mathrm{\&delta;}=\sqrt{\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{(A_i-{\tilde{A}}_i)}^2}$

步骤B3：计算出误差率ER：

$\mathrm{ER}=\frac{\mathrm{\&delta;}}{E},$ E为当前的门限宽度；

步骤B4：对误差率ER进行判断，从而对门限宽度E进行调整：

当0≤ER＜K_MIN时，其中K_MIN为设定的最小误差率，则对门限宽度E加δ；

当K_MIN≤ER≤K_MAX时，其中K_MAX为设定的最大误差率，则门限宽度E不变；

当K_MAX≤ER＜1时，则对门限宽度E减δ；

若不需要执行门限宽度的自适应计算调整，则执行下一步；

步骤D：继续对下个数据进行压缩处理。

优选的，在执行完步骤B后，执行步骤C，即判断是否更改数据压缩时间窗口参数，包括下述步骤：

C1：设定数据稳态计数器ES_num，且数据稳态计数器ES_num初始化为0，在步骤B5后，判断门限宽度是否发生改变，若发生改变，则ES_num＝0，否则ES_num自增1；

C2：判断ES_num是否大于预先设定的数据稳定阈值DT_thr，若是，则从离散整数集合

中随机取一个数，记为k，新的数据压缩时间窗口参数变为每隔(100+10*k)个数据就要进行一次参数的自适应计算，同时执行ES_num＝0；否则调整结束，执行步骤D。

为了降低异常数据对本发明实施例提供的算法性能的影响，在步骤A前，先对需要进行压缩处理的数据进行合法性判别：包括下述步骤：

步骤一：如果满足下面的判别式，则执行下一步；否则为数据值异常的数据，更新数据标志位；

Value_MIN≤Value_CurrentData≤Value_MAX

式中Value_CurrentData为新进入缓冲区的数据值，Value_MIN为合法数据的最小值，Value_MAX为合法数据的最大值；

步骤二：若满足下面判别式，则执行步骤A，否则为时戳异常的数据，更新数据标志位。

$\frac{1}{{\mathrm{freq}}_{\mathrm{CurrentData}}}<{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{PreviousData}}<\frac{2}{{\mathrm{freq}}_{\mathrm{CurrentData}}}$

式中Time_CurrentData为新进入缓冲区的数据的时戳，Time_PreviousData为上一个数据的时戳，freq_CurrentData为数据的频率。

优选的，在步骤B中，根据设定的数据压缩时间窗口参数，判断是否需要执行门限宽度的自适应计算调整，其方法为：每压缩完一个数据，则初始化为0的数据压缩时间窗口计数器D_num自增1，当D_num等于所述设定的数据压缩时间窗口参数时，则执行门限宽度的自适应计算调整。

由图1可知，利用本发明提供的精度可控的自适应数据压缩方法的具体步骤如下：

步骤101：初始化相关参数和临时变量：首先根据需求设定最大的误差率K_MAX和最小的误差率K_MIN，其中有0≤K_MIN＜K_MAX≤1；初始化门限宽度为E，三个斜率值SP_top、SP_bot、SP_mid均为0；设定数据压缩时间窗口参数为每压缩处理100个数据就要进行一次门限宽度的自适应计算，数据压缩时间窗口计数器D_num，初始化为0；数据稳态计数器ES_num，初始化为0，数据稳定阈值DT_thr，初始化为5；初始化三个临时变量：上一个已经存储的数据SavedData和待保存的数据WillSaveData以及新的数据CurrentData。

步骤102：数据合法性的判断：

步骤一：将新进入缓冲器的数据值Value_CurrentData与合法数据的最小值Value_MIN、合法数据的最大值Value_MAX进行比较，如果满足下面的判别式

Value_MIN≤Value_CurrentData≤Value_MAX

则表示为数据值合法的数据，并执行步骤二；否则为数据值异常的数据，更新数据标志位，并执行步骤103；

步骤二：对新进入缓冲区的数据的时戳Time_CurrentData与上一个数据的时戳Time_PreviousData的差值进行判断，若满足下面判别式，

$\frac{1}{{\mathrm{freq}}_{\mathrm{CurrentData}}}<{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{PreviousData}}<\frac{2}{{\mathrm{freq}}_{\mathrm{CurrentData}}}$

式中freq_CurrentData为数据的频率；则表示为时戳合法的数据，并执行步骤104，否则为时戳异常的数据，更新数据标志位，并执行步骤103。

步骤103：非法数据之间保存，不进行旋转门压缩，同时更改相应的数据标志位，为后续的解压提供标示，并执行步骤114。在本实施例中，数据标志位为2bit，具体含义为：00表示合法数据，01表示数据值异常的数据，10表示时戳异常的数据，11未用。

步骤104：合法数据进行旋转门压缩：对每一个新的数据均记为CurrentData，判断是否为第一个合法数据，若是则执行步骤105，否则执行步骤106。

步骤105：第一个数据直接保存，并将第一个数据的信息赋予SavedData中，执行步骤114。

步骤106：判断是否为第二个合法数据，若是则执行步骤107，否则执行步骤108。

步骤107：将第二个数据的信息赋予WillSaveData和CurrentData中，并计算出斜率SP_top、SP_bot和SP_mid，斜率的计算公式如下所示：

${\mathrm{SP}}_{\mathrm{top}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}-E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{bot}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}+E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{mid}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-{\mathrm{Value}}_{\mathrm{WillSaveData}}}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{WillSaveData}}}$

此时由于第一个数据的信息保存在SavedData中，第二个数据信息保存在WillSaveData和CurrentData中，故斜率SP_mid将等于0，再执行步骤114。

步骤108：将第三个及以后到来的数据的信息赋予CurrentData中，并计算新的斜率值SP′_top、SP′_bot、SP′_mid；

斜率的计算公式如下所示：

${\mathrm{SP}}_{\mathrm{top}}^{\&prime;}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}-E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{bot}}^{\&prime;}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}+E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{mid}}^{\&prime;}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-{\mathrm{Value}}_{\mathrm{WillSaveData}}}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{WillSaveData}}}.$

步骤109：当SP′_top小于SP_top的值时，把SP′_top的值赋给SP_top，否则保持SP_top的值不变；当SP′_bot大于SP_bot的值时，把SP′_bot的值赋给SP_bot，否则保持SP_bot的值不变；同时将SP′_mid的值赋给SP_mid；比较SP_top、SP_bot、SP_mid三个斜率值，若SP_bot≤SP_mid≤SP_top时，待保存值不用被存储，执行步骤110，否则执行步骤111；

步骤110：用CurrentData代替WillSaveData，执行步骤112。

步骤111：把WillSaveData中的数据信息进行保存，并用WillSaveData代替SavedData，同时用CurrentData代替WillSaveData。

步骤112：根据设定的数据压缩时间窗口参数，判断是否需要进行门限宽度的自适应调整。具体判断的方法是：每压缩完一个数据，D_num自增1，若D_num等于设定的数据压缩时间窗口参数，即D_num＝100，则执行步骤113，否则执行步骤114。

步骤113：进行门限宽度的自适应调整，同时将D_num初始化为0，并执行步骤114。

步骤114：判断是否还有数据需要进行旋转门压缩，若需要，则将新的数据执行步骤102，否则压缩结束。

由图2可知，本实施例的步骤113中，进行门限宽度的自适应调整包括下述步骤：

步骤201：获取原始数据序列{A₁，A₂，......，A_m}和压缩后的数据序列{A′₁，A′₂，......，A′_n}；

步骤202：对数据序列{A′₁，A′₂，......，A′_n}进行解压插值，得到重建数据序列

步骤203：计算出标准误差δ、误差率ER，计算公式如下：

$\mathrm{\&delta;}=\sqrt{\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{(A_i-{\tilde{A}}_i)}^2}$

$\mathrm{ER}=\frac{\mathrm{\&delta;}}{E};$

步骤204：判断ER、K_MIN和K_MAX之间的关系：

若0≤ER＜K_MIN，执行步骤205；

若K_MIN≤ER≤K_MAX，执行步骤206；

若K_MAX＜ER≤1，执行步骤207。

步骤205：当0≤ER＜K_MIN时，说明大量数据被存储，数据的压缩比不高，由此推出数据有较大的波动，需要增大门限宽度E，即E＝E+δ；执行步骤208。

步骤206：当K_MIN≤ER≤K_MAX时，说明误差在用户可以接受的范围内，不用调整门限宽度；执行步骤209。

步骤207：当K_MAX＜ER≤1时，说明重建数据的精度低，大量的数据没有保存，由此推出数据的波动比较小，门限宽度比较大，造成虽然有较高的压缩比，但是重建数据的误差比较大，此时应该减小门限宽度E，即E＝E-δ；执行步骤208。

步骤208：门限宽度发生改变，ES_num＝0；执行步骤210。

步骤209：门限宽度没有发生改变，ES_num自增1；执行步骤210。

步骤210：判断ES_num是否大于DT_thr，若是，则说明数据处于长时间的稳定状态，需要更改数据压缩时间窗口参数，执行步骤211，否则调整结束。

步骤211：更改数据压缩时间窗口参数，其方法是：从离散整数集合

中随机选取一个数，记为k，新的自适应计算触发条件变为每隔(100+10*k)个数据就要进行一次参数的自适应计算，同时执行ES_num＝0；调整结束。最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种精度可控的自适应数据压缩方法，其特征在于，包括下述步骤：

步骤A：对数据进行旋转门压缩处理；

步骤B：判断是否需要执行门限宽度的自适应计算调整：

若需要执行门限宽度的自适应计算调整时，计算原数据与压缩后的数据的标准误差，根据所述标准误差计算标准误差与门限宽度之间的误差率，并根据对误差率进行的判断调整门限宽度；

若不需要执行门限宽度的自适应计算调整，则执行下一步；

步骤D：继续对下个数据进行压缩处理。

2.如权利要求1所述的精度可控的自适应数据压缩方法，其特征在于，所述步骤B中，对门限宽度执行自适应计算调整包括下述步骤：

步骤B1：获取原始数据序列{A₁，A₂，......，A_m}，并对经压缩的数据进行解压，获取重建数据序列

步骤B2：计算出标准误差δ：

$\mathrm{\&delta;}=\sqrt{\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{(A_i-{\tilde{A}}_i)}^2};$

步骤B3：计算出误差率ER：

$\mathrm{ER}=\frac{\mathrm{\&delta;}}{E},$ 其中E为当前的门限宽度；

步骤B4：对误差率ER进行判断，从而对门限宽度E进行调整：

当0≤ER＜K_MIN时，其中K_MIN为设定的最小误差率，则对门限宽度E加δ；

当K_MIN≤ER≤K_MAX时，其中K_MAX为设定的最大误差率，则门限宽度E不变；

当K_MAX≤ER＜1时，则对门限宽度E减δ。

3.如权利要求1所述的精度可控的自适应数据压缩方法，其特征在于，在所述步骤B中，根据设定的数据压缩时间窗口参数，判断是否需要执行门限宽度的自适应计算调整，其方法为：每压缩完一个数据，则初始化为0的数据压缩时间窗口计数器D_num自增1，当D_num等于所述设定的数据压缩时间窗口参数时，则执行门限宽度的自适应计算调整。

4.如权利要求1、2、3中任意一项所述的精度可控的自适应数据压缩方法，其特征在于，在执行完所述步骤B后，执行步骤C，即判断是否更改数据压缩时间窗口参数，包括下述步骤：

步骤C1：设定数据稳态计数器ES_num，并且将数据稳态计数器ES_num初始化为0，在所述步骤B5后，判断门限宽度是否发生改变，若发生改变，则ES_num＝0，否则ES_num自增1；

步骤C2：判断ES_num是否大于预先设定好的数据稳定阈值DT_thr，若是，则从离散整数集合

中随机取一个数，记为k，新的数据压缩时间窗口参数变为每隔(100+10*k)个数据就要进行一次参数的自适应计算，同时执行ES_num＝0；否则调整结束，执行所述步骤D。

5.如权利要求1所述的精度可控的自适应数据压缩方法，其特征在于，所述步骤A，包括下述步骤：

步骤A1：第一个数据直接保存，并将第一个数据的信息赋予SavedData中；第二个数据的信息赋予WillSaveData和CurrentData中，并计算出斜率SP_top、SP_bot、SP_mid，斜率的计算公式如下所示：

${\mathrm{SP}}_{\mathrm{top}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}-E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{bot}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}+E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{mid}}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-{\mathrm{Value}}_{\mathrm{WillSaveData}}}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{WillSaveData}}}$

式中Value_CurrentData为新的数据值，Value_SavedData为上一个已经存储的数据值，Value_WillSaveData为待保存的数据值，Time_CurrentData为新的数据的时戳，Time_SavedData为上一个已经存储的数据的时戳，Time_WillSaveData为待保存的数据时戳，E为门限宽度；

步骤A2：当第三个及以后的数据到来时，将新到来的数据的信息赋予CurrentData中，并计算出新的斜率值SP′_top、SP′_bot、SP′_mid；新的斜率的计算公式如下所示：

${\mathrm{SP}}_{\mathrm{top}}^{\&prime;}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}-E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{bot}}^{\&prime;}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-({\mathrm{Value}}_{\mathrm{SavedData}}+E)}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{SavedData}}}$

${\mathrm{SP}}_{\mathrm{mid}}^{\&prime;}=\frac{{\mathrm{Value}}_{\mathrm{CurrentData}}-{\mathrm{Value}}_{\mathrm{WillSaveData}}}{{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{WillSaveData}}}$

式中Value_CurrentData为新的数据值，Value_SavedData为上一个已经存储的数据值，Value_WillSaveData为待保存的数据值，Time_CurrentData为新的数据的时戳，Time_SavedData为上一个已经存储的数据的时戳，Time_WillSaveData为待保存的数据时戳，E为门限宽度；

步骤A3：当SP′_top小于SP_top的值时，把SP′_top的值赋给SP_top，否则保持SP_top的值不变；当SP′_bot大于SP_bot的值时，把SP′_bot的值赋给SP_bot，否则保持SP_bot的值不变；把SP′_mid的值赋给SP_mid；；

步骤A4：比较SP_top、SP_bot、SP_mid三个斜率，若满足SP_bot≤SP_mid≤SP_top时，执行步骤A5，否则执行步骤A6；

步骤A5：用新的数据CurrentData代替待保存的数据WillSaveData，转到步骤B；

步骤A6：保存WillSaveData中的数据信息，同时用待保存的数据WillSaveData代替上一个已经存储的数据SavedData，用新的数据CurrentData代替待保存的数据WillSaveData，再执行步骤B。

6.如权利要求1或5所述的精度可控的自适应数据压缩方法，其特征在于，在所述步骤A前，先对需要进行压缩处理的数据进行合法性判别，包括下述步骤：

步骤一：如果满足下面的判别式，则执行下一步；否则为数据值异常的数据，更新数据标志位；

Value_MIN≤Value_CurrentData≤Value_MAX

式中Value_CurrentData为新进入缓冲区的数据值，Value_MIN为合法数据的最小值，Value_MAX为合法数据的最大值；

步骤二：若满足下面判别式，则执行步骤A，否则为时戳异常的数据，更新数据标志位；

$\frac{1}{{\mathrm{freq}}_{\mathrm{CurrentData}}}<{\mathrm{Time}}_{\mathrm{CurrentData}}-{\mathrm{Time}}_{\mathrm{PreviousData}}<\frac{2}{{\mathrm{freq}}_{\mathrm{CurrentData}}}$

式中Time_CurrentData为新进入缓冲区的数据的时戳，Time_PreviousData为上一个数据的时戳，freq_CurrentData为数据的频率。

7.如权利要求3所述的精度可控的自适应数据压缩方法，其特征在于，所述数据压缩时间窗口参数为压缩处理100个数据进行一次门限宽度的自适应计算。

8.如权利要求4所述的精度可控的自适应数据压缩方法，其特征在于，所述数据压缩时间窗口参数为压缩处理100个数据进行一次门限宽度的自适应计算。

9.如权利要求4所述的精度可控的自适应数据压缩方法，其特征在于，数据稳定阈值DT_thr为5。

10.如权利要求6所述的精度可控的自适应数据压缩方法，其特征在于，所述数据标志位为2bit。