CN108540136B - 一种适用于农业传感数据的压缩方法 - Google Patents

Abstract

本发明涉及一种适用于农业传感数据的压缩方法，包括：S10、数据噪声处理：设定数据的变化阀值，对于超出所述阀值的异常点进行处理，减小噪声数据的误差干扰；S20、数据压缩：通过SDT压缩算法，计算压缩区间；根据压缩区间的值计算出线性回归方程；再通过线性回归方程计算压缩值进行数据压缩，从而减少算法的压缩误差；S30、压缩精度参数调整：每次压缩完数据后，根据相邻压缩区间的压缩量，动态调整压缩精度参数，适应趋势变化；S40、使用最新的压缩参数精度，继续重复步骤S10～S40，进行下一轮的数据压缩和压缩精度参数调整，直到数据压缩结束，完成数据的压缩。本发明方法能够保证算法较低复杂度的前提下，降低压缩误差，有效提高压缩比。

Description

一种适用于农业传感数据的压缩方法

技术领域

本发明涉及数据压缩技术领域，更具体地说，涉及一种适用于农业传感数据的压缩方法。

背景技术

农业在生产过程中部署了大量的传感设备来采集数据。通过这些传感数据，可以对农作物的生产环境进行监测从而指导农作物的生产。将这些采集的数据放在数据中心，进而对农业生产环境的历史数据和实时数据进行分析。提高对农作物天气情况，气温条件，土壤湿度的关联监测能力。以便对农作物的生长进度，农产品产量做出科学的判断。这些监测数据都具采集频率高，数据量大，数据变化缓慢等特点。因此，为了确保能够存储这些海量数据，并且尽可能的降低数据的存储量，提高存储效率，需要对此类渐变式的传感数据进行数据压缩。

现有的压缩技术主要分为两大类，包括无损压缩和有损压缩。其中无损压缩的特点是压缩还原数据不失真，但是其压缩比大量低于有损压缩，而且计算量大。有基于统计概率模型，基于字典模型等无损压缩算法。但是，由于农业传感数据特点是数据量大，变化趋势缓慢，并且容许有部分数据信息损失。因此，我们采取有损压缩算法，在误差允许范围内，可以获得较高的压缩比。目前，在有损压缩算法中，由于矢量算法计算量大，信号变换法目前技术还不够成熟。现如今，大部分的实时数据库都采用旋转门趋势(swinging doortrending，SDT)压缩算法进行数据压缩。

虽然后续的研究者对该算法陆续提出了一些改进方案，并且提高了压缩性能。但是或只提高了压缩比,或者只减低了压缩误差，又或者采取了较为复杂的计算来提高压缩性能。

发明内容

本发明的目的在于克服现有技术的不足，以提高农业传感的数据压缩性能为目的，提出了一种适用于农业传感数据的改进的旋转门数据压缩方法，首先，对于数据的异常点，通过设定变化阀值做异常处理，减少异常数据的误差干扰；然后，利用线性回归线代替简单首尾相连，减小压缩误差；最后，根据相邻压缩区间的压缩量进行趋势判断，动态调整压缩精度参数E，提高整体的压缩性能。

本发明的技术方案如下：

一种适用于农业传感数据的压缩方法，包括：

S10、数据噪声处理：设定农业传感数据的变化阀值，对于超出所述阀值的异常点进行处理，减小噪声数据的误差干扰；

S20、数据压缩：通过SDT压缩算法，计算出压缩区间；根据所述压缩区间的值计算出线性回归方程，并通过线性回归方程计算出压缩值进行数据压缩，从而减少算法的压缩误差；

S30、压缩精度参数调整：每次压缩完数据后，根据相邻压缩区间的压缩量，动态调整压缩精度参数，适应趋势变化；

S40、使用最新的压缩参数精度，重复步骤S10～S40，进行下一轮的数据压缩和压缩精度参数调整，直到数据压缩结束。

优选的，步骤S10所述的数据噪声处理，包括如下步骤：

S101、设定农业传感数据的变化阀值为TS；

S102、对压缩数据进行判断，如果Δy>TS，则将当前农业传感数据采集点(t_c，y_c)的数据值y_c置为前一个采集点(t_c-1，y_c-1)的数据值y_c-1；其中，Δy表示当前农业传感数据采集点数据值y_c相对于前一个采集点数据值y_c-1的变化值。

所述的农业传感数据包括温度、湿度和土壤PH值等通过传感器采集的数据。

优选的，步骤S20所述的通过SDT压缩算法，计算出压缩区间，包括如下步骤：

S201、以(t₀，y₀)作为农业传感数据的初始点，(t_c，y_c)作为当前农业传感数据的压缩点；计算(t_c，y_c)到(t₀，y₀+E)的上斜率和(t₀，y₀-E)的下斜率，其中E表示压缩精度参数；

S202、由于上斜率的门只能往上旋转，下斜率的门只能往下旋转，因此当两扇门的内角和大于180度时，记录该节点的前一个节点(t_c-1，y_c-1)，则当前计算出的压缩区间为[t₀，t_c-1]；

S203、判断是否还有数据需要压缩，如果未压缩完毕，以上一个压缩区间末点(t_c-1,y_c-1)作为下一个压缩区间段的起始点，重复步骤S201～S203，继续进行压缩。

优选的，步骤S20所述的根据所述压缩区间的值计算出线性回归方程，并通过线性回归方程计算出压缩值进行数据压缩，包括如下步骤：

S211、如果是首次压缩，通过SDT算法，计算压缩区间[t₀，t_n]；通过线性拟合回归方程算法L(t)＝α+βt_i计算出该区间段的初始化拟合回归线L₀，将t₀代入L₀计算出压缩的初始点

存入，

为计算后的初始数据值；其中，

α为拟合回归方程的常数项，β拟合回归方程的系数，t_i为压缩区间的时间变量，y_i为时间变量t_i对应的数据值，n为当前压缩区间量(即一个压缩区间内的压缩点数，如压缩区间[t₀，t_n]中的点数为n，n即为当前压缩区间量)；

S212、如果不是首次压缩，通过SDT算法，计算压缩区间[t_k,t_k+n]_u，计算出该压缩区间段的拟合回归线L_u；利用二元一次方程求解法，计算L_u与L_u-1的交点

进行相应判断；

如果t^<t_x<t_k+n，则存入交点

否则直接存入当前压缩区间起始点(t_k，y_k)，同时更新当前压缩区间段的拟合回归线L_u为前一个压缩区间段的拟合回归线L_u-1；其中，t^表示前一个压缩区间段的起始时间；u表示当前压缩区间段处于第几个压缩区间段，k表示当前压缩区间段的起始点位置；

S213、判断是否到达当前压缩区间段的末点，如果到达末点，结束压缩；否则，重复步骤S212～S213。

优选的，步骤S30所述的压缩精度参数调整，包括如下步骤：

S301、初始化压缩精度参数E₀，根据首次压缩区间[t₀，t_n]，初始化压缩量T₀＝n，其中T₀表示初始化压缩量；

S302、根据当前压缩区间[t_k，t_k+n]_u，计算当前压缩区间的压缩量T_u＝n；根据

计算压缩系数a；其中，T_u为当前压缩区间的压缩量，T_u-1为前一个压缩区间的压缩量，u表示当前压缩区间段为第几个压缩区间段；

S303、动态调整压缩精度参数E的值：

其中，E₀为初始化压缩精度参数，a为压缩系数，[E_min，E_max]为压缩精度参数E的变化区间，E_min＝E₀/1.5，E_max＝1.5×E₀；

S304、判断是否达到压缩末点，如果没有，重复步骤S302～S304。

本发明的有益效果如下：

本发明一种适用于农业传感数据的压缩方法，首先设置数据变化阀值，减少噪声数据的干扰；其次压缩区间通过线性回归线代替简单的首尾相连，减少压缩误差；最后，通过相邻压缩区间的压缩量，自适应调整压缩精度参数，提高压缩性能。本发明方法能够保证算法较低复杂度的前提下，降低压缩误差，有效提高压缩比。

以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种适用于农业传感数据的压缩方法不局限于实施例。

附图说明

图1是本发明实施例的方法流程图；

图2是本发明实施例的SDT压缩算法的原理图；

图3是本发明实施例的仿真数据SDT/LA-SDT压缩比对比图；

图4是本发明实施例的仿真数据SDT/LA-SDT压缩误差对比图；

图5本发明实施例的实测数据SDT/LA-SDT压缩比对比图；

图6本发明实施例的实测数据SDT/LA-SDT压缩误差对比图。

具体实施方式

以下结合附图及实施例对本发明进行进一步的详细说明。

参见图1所示，本发明一种适用于农业传感数据的压缩方法，包括：

S10、数据噪声处理：设定农业传感数据的变化阀值，对于超出所述阀值的异常点进行处理，减小噪声数据的误差干扰。

具体包括如下步骤：

S101、设定农业传感数据的变化阀值为TS；

S102、对压缩数据进行判断，如果Δy>TS，则将当前农业传感数据采集点(t_c，y_c)的数据值y_c置为前一个采集点(t_c-1，y_c-1)的数据值y_c-1；其中，Δy表示当前农业传感数据采集点数据值y_c相对于前一个采集点数据值y_c-1的变化值。

所述的农业传感数据包括温度、湿度和土壤PH值等通过传感器采集的数据。

S20、数据压缩：通过SDT压缩算法，计算出压缩区间；根据所述压缩区间的值计算出线性回归方程，并通过线性回归方程计算出压缩值进行数据压缩，从而减少算法的压缩误差。

参见图2所示，为SDT压缩算法的原理图，其中b、d和f表示原始点，a、c和e表示存储点。

所述的通过SDT压缩算法，计算出压缩区间，包括如下步骤：

S201、以(t₀，y₀)作为农业传感数据的初始点，(t_c，y_c)作为当前农业传感数据的压缩点；计算(t_c，y_c)到(t₀，y₀+E)的上斜率和(t₀，y₀-E)的下斜率，其中E表示压缩精度参数；

S202、由于上斜率的门只能往上旋转，下斜率的门只能往下旋转，因此当两扇门的内角和大于180度时，记录该节点的前一个节点(t_c-1，y_c-1)，则当前计算出的压缩区间为[t₀，t_c-1]；

S203、判断是否还有数据需要压缩，如果未压缩完毕，以上一个压缩区间末点(t_c-1,y_c-1)作为下一个压缩区间段的起始点，重复步骤S201～S203，继续进行压缩。

所述的根据所述压缩区间的值计算出线性回归方程，并通过线性回归方程计算出压缩值进行数据压缩，包括如下步骤：

S211、如果是首次压缩，通过SDT算法，计算压缩区间[t₀，t_n]；通过线性拟合回归方程算法L(t)＝α+βt_i计算出该区间段的初始化拟合回归线L₀，将t₀代入L₀计算出压缩的初始点

存入，

为计算后的初始数据值；其中，

α为拟合回归方程的常数项，β拟合回归方程的系数，t_i为压缩区间的时间变量，y_i为时间变量t_i对应的数据值，n为当前压缩区间量(即一个压缩区间内的压缩点数，如压缩区间[t₀，t_n]中的点数为n，n即为当前压缩区间量)；

S212、如果不是首次压缩，通过SDT算法，计算压缩区间[t_k,t_k+n]_u，计算出该压缩区间段的拟合回归线L_u；利用二元一次方程求解法，计算L_u与L_u-1的交点

进行相应判断；

如果t^<t_x<t_k+n，则存入交点

否则直接存入当前压缩区间起始点(t_k，y_k)，同时更新当前压缩区间段的拟合回归线L_u为前一个压缩区间段的拟合回归线L_u-1；其中，t^表示前一个压缩区间段的起始时间；u表示当前压缩区间段处于第几个压缩区间段，k表示当前压缩区间段的起始点位置；

S213、判断是否到达当前压缩区间段的末点，如果到达末点，结束压缩；否则，重复步骤S212～S213。

S30、压缩精度参数调整：每次压缩完数据后，根据相邻压缩区间的压缩量，动态调整压缩精度参数，适应趋势变化。

所述的压缩精度参数调整，具体包括如下步骤：

S301、初始化压缩精度参数E₀，根据首次压缩区间[t₀，t_n]，初始化压缩量T₀＝n，其中T₀表示初始化压缩量；

S302、根据当前压缩区间[t_k，t_k+n]_u，计算当前压缩区间的压缩量T_u＝n；根据

计算压缩系数a；其中，T_u为当前压缩区间的压缩量，T_u-1为前一个压缩区间的压缩量，u表示当前压缩区间段为第几个压缩区间段；

S303、动态调整压缩精度参数E的值：

其中，E₀为初始化压缩精度参数，a为压缩系数，[E_min，E_max]为压缩精度参数E的变化区间，E_min＝E₀/1.5，E_max＝1.5×E₀；

S304、判断是否达到压缩末点，如果没有，重复步骤S302～S304。

S40、使用最新的压缩参数精度，重复步骤S10～S40，进行下一轮的数据压缩和压缩精度参数调整，直到数据压缩结束。

参见图3和图4所示，本发明实施例一的仿真数据采用正弦函数加上噪声数据的函数方式来模拟农业传感数据，具体函数表达式如下：sin(wt)+Q(t)，其中Q(t)为噪声随机函数，w为角频率，t为时间变量。为了表示本发明提出LA-SDT较于其他算法的有更优秀的压缩性能，选取角频率w＝0.25，压缩精度参数E＝0.8，采样区间[0，1024π]分别与传统的压缩算法SDT，改进的线性回归压缩算法L-SDT以及改进的自适应压缩算法A-SDT进行比较。实验结果如表1所示，根据压缩性能指标得出其压缩性能：LA-SDT>A-SDT>L-SDT>SDT；其中LA-SDT比较SDT压缩比CR提高了18.3％，而压缩误差CE提高了62.7％。

表1

为了进一步验证压缩性能，选取不同的压缩参数，将SDT与LA-SDT的压缩性能进行比较，将结果数据做成折线图。

在图3中，LA-SDT折线(实线)总是在SDT线(虚线)的上方。在图4中，LA-SDT线(实线)总是在SDT线(虚线)的下方。说明无论压缩参数选取何值，LA-SDT的压缩比总是要大于SDT的压缩比，而LA-SDT的压缩误差总是要小于SDT的压缩误差。从而可以得出，LA-SDT的压缩性能总是优于传统SDT的压缩性能。

参见图5和图6所示，本发明实施例二的真实数据来源于中国农业科学院农业环境与可持续发展研究所-河南省尉氏县物联网监控站2017-07-01到2017-10-01的农业监测数据。

实验结果如图5所示，五组数据中，LA-SDT(黑色空心柱)的压缩比都要高于SDT(黑色实心柱)的压缩比。如图6所示，五组数据中，LA-SDT(黑色空心柱)的压缩误差都要低于SDT(黑色实心柱)的压缩误差。因此实验结果表明，不仅在模拟数据中，本文提出的LA-SDT对实测数据的压缩性也高于SDT。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (4)

1.一种适用于农业传感数据的压缩方法，其特征在于，包括：

S10、数据噪声处理：设定农业传感数据的变化阀值，对于超出所述阀值的异常点进行处理，减小噪声数据的误差干扰；

S20、数据压缩：通过SDT压缩算法，计算出压缩区间；根据所述压缩区间的值计算出线性回归方程，并通过线性回归方程计算出压缩值进行数据压缩，从而减少算法的压缩误差；

S30、压缩精度参数调整：每次压缩完数据后，根据相邻压缩区间的压缩量，动态调整压缩精度参数，适应趋势变化；

S40、使用最新的压缩参数精度，重复步骤S10～S40，进行下一轮的数据压缩和压缩精度参数调整，直到数据压缩结束；

步骤S30所述的压缩精度参数调整，包括如下步骤：

S301、初始化压缩精度参数E₀，根据首次压缩区间[t₀，t_n]，初始化压缩量T₀＝n，其中T₀表示初始化压缩量；

S302、根据当前压缩区间[t_k，t_k+n]_u，计算当前压缩区间的压缩量T_u＝n；根据

计算压缩系数a；其中，T_u为当前压缩区间的压缩量，T_u-1为前一个压缩区间的压缩量，u表示当前压缩区间段为第几个压缩区间段；

S303、动态调整压缩精度参数E的值：

其中，E₀为初始化压缩精度参数，a为压缩系数，[E_min，E_max]为压缩精度参数E的变化区间，E_min＝E₀/1.5，E_max＝1.5×E₀；

S304、判断是否达到压缩末点，如果没有，重复步骤S302～S304。

2.根据权利要求1所述的适用于农业传感数据的压缩方法，其特征在于，步骤S10所述的数据噪声处理，包括如下步骤：

S101、设定农业传感数据的变化阀值为TS；

S102、对压缩数据进行判断，如果Δy>TS，则将当前农业传感数据采集点(t_c，y_c)的数据值y_c置为前一个采集点(t_c-1，y_c-1)的数据值y_c-1；其中，Δy表示当前农业传感数据采集点数据值y_c相对于前一个采集点数据值y_c-1的变化值。

3.根据权利要求1所述的适用于农业传感数据的压缩方法，其特征在于：步骤S20所述的通过SDT压缩算法，计算出压缩区间，包括如下步骤：

S201、以(t₀，y₀)作为农业传感数据的初始点，(t_c，y_c)作为当前农业传感数据的压缩点；计算(t_c，y_c)到(t₀，y₀+E)的上斜率和(t₀，y₀-E)的下斜率，其中E表示压缩精度参数；

S202、由于上斜率的门只能往上旋转，下斜率的门只能往下旋转，因此当两扇门的内角和大于180度时，记录当前农业传感数据的压缩点的前一个节点(t_c-1，y_c-1)，则当前计算出的压缩区间为[t₀，t_c-1]；

S203、判断是否还有数据需要压缩，如果未压缩完毕，以上一个压缩区间末点(t_c-1,y_c-1)作为下一个压缩区间段的起始点，重复步骤S201～S203，继续进行压缩。

4.根据权利要求3所述的适用于农业传感数据的压缩方法，其特征在于：步骤S20所述的根据所述压缩区间的值计算出线性回归方程，并通过线性回归方程计算出压缩值进行数据压缩，包括如下步骤：

S211、如果是首次压缩，通过SDT算法，计算压缩区间[t₀，t_n]；通过线性拟合回归方程算法L(t)＝α+βt_i计算出该区间段的初始化拟合回归线L₀，将t₀代入L₀计算出压缩的初始点

存入，

为计算后的初始数据值；其中，

α为拟合回归方程的常数项，β拟合回归方程的系数，t_i为压缩区间的时间变量，y_i为时间变量t_i对应的数据值，n为当前压缩区间量；

S212、如果不是首次压缩，通过SDT算法，计算压缩区间[t_k,t_k+n]_u，计算出该压缩区间段的拟合回归线L_u；利用二元一次方程求解法，计算L_u与L_u-1的交点

进行相应判断；

如果t^<t_x<t_k+n，则存入交点

否则直接存入当前压缩区间起始点(t_k，y_k)，同时更新当前压缩区间段的拟合回归线L_u为前一个压缩区间段的拟合回归线L_u-1；其中，t^表示前一个压缩区间段的起始时间；u表示当前压缩区间段处于第几个压缩区间段，k表示当前压缩区间段的起始点位置；

S213、判断是否到达当前压缩区间段的末点，如果到达末点，结束压缩；否则，重复步骤S212～S213。

Images