CN102630092A - 一种融入小波变换和主成分的农业无线传感数据流压缩方法 - Google Patents

Abstract

一种融入小波变换和主成分的农业无线传感数据流压缩方法。首先对从无线传感器提取的实时数据进行预处理，然后对经过预处理的数据进行基于小波变换的数据压缩，得到能够反应数据重要特征的小波概要，然后再应用主成分分析，进行二次压缩，最后得到压缩率很高又保留了重要数据特征的压缩数据。本发明提供一种压缩比较高、数据失真少、有效减少数据存储空间的融入小波变换和主成分的农业无线传感数据流压缩方法。

Description

一种融入小波变换和主成分的农业无线传感数据流压缩方法

技术领域

本发明涉及农业动态数据流压缩技术，尤其是一种农业无线传感数据流压缩方法。

背景技术

随着计算机、网络和通信技术的迅猛发展，许多应用领域出现了海量、高速和动态的数据，如电子商务、传感器网络、网络监测等等。这些领域中的数据常常以数据流的形式出现，如：传感器网络获得的实时数据就是典型的数据流。其主要特点为：1)数据流动态增长，长度可能无限；2)对流中的数据只能一次扫描，利用一次扫描建立数据流的近似概要结构，其后的处理只能依赖该概要结构。

精细农业是综合应用地球空间信息技术、计算机辅助决策技术、农业工程技术等现代高新技术，以获得农田“高产、优质、高效”的现代化生产模式和技术体系。其核心技术包括地理信息系统GIS、全球定位系统GPS、遥感技术RS和计算机自动控制技术。目前国内的农作物生长环境的数据采集主要是使用专用数据采集仪进行人工田间测量，再将测量数据带回实验室传输到计算机进行实验分析。对于需要长时间定时采集的数据，如温湿度、光照强度、作物生长特征等数据，则需要反复多次到田间测量，这种做法的时间成本和人力成本较高。相对发达国家来说，国内在农作物生长环境的信息采集技术方面的研究和应用都相对滞后。无线传感网络(WSN，Wireless Sensor Networks)是当前在国际上备受关注的、涉及多学科高度交叉、知识高度集成的前沿热点研究领域。它综合了传感器技术、嵌入式计算技术、现代网络及无线通信技术、分布式信息处理技术等，能够通过各类集成化的微型传感器协作地实时监测、感知和采集各种环境或监测对象的信息，该技术被我国逐渐应用于农业中。由于无线传感器网络获得的实时数据通常具有数量大、数据流量突发性高等特点，如何保存如此庞大的实时数据以及如何访问这些保存的历史数据一直是个难题。

数据压缩主要是通过去除数据间存在的冗余度或者对数据间具有相关性的数据进行二次表达，以达到减少存储资源的目的，同时丢弃的这些数据又保证在一定的误差控制中不影响对历史数据的重构，方便之后对历史数据的查询处理。目前，数据压缩的方法有很多，主要包括完全可逆的冗余度压缩和实际上不可逆的熵压缩两类。冗余度压缩常用于磁盘文件、数据通信和气象卫星云图等不允许在压缩过程中有丝毫损失的场合中。但它的压缩比通常只有几倍，远远不能满足数字视听应用的要求。在实践的数字视听设备中，差不多都采用压缩比更高、但实际有损的熵压缩技术。只要作为最终用户的人觉察不出或者能够容忍这些失真，就允许对数字音像信号进一步压缩以换取更高的编码效率。但是这些方法的压缩比不高，存储数据的空间有限，常常导致数据失真。显然，现有的数据压缩方法不能有效适用于农业无线传感数据流。

发明内容

为了克服已有现有动态数据流压缩方法的压缩比不高、数据失真度较高、存储数据空间受限的不足，本发明提供一种压缩比较高、数据失真少、有效减少数据存储空间的融入小波变换和主成分的农业无线传感数据压缩方法。

本发明解决其技术问题所采用的技术方案是：

一种融入小波变换和主成分的农业无线传感数据流压缩方法，所述压缩方法包括以下步骤：

1)数据节点阈值过滤：先将农业无线传感数据流中不断到来的数据作为第1层，即在相同的时间内到来的数据序列表示为X＝{x₁，x₂，...，x_n}，该序列由n个数据组成，假设序列中平均数据个数为n′，将这n′个数据组成为一个数据节点，则第1层的数据节点数有

其中M为数据流的总数据个数；

2)数据预处理：假设数据序列X中数据x_i的属性个数为m，如果空缺属性个数则认为该条数据流是噪声，直接过滤；反之，将空缺属性补充为所有该属性的加权平均；

3)压缩处理：将第1层每n′个数据组成的子序列进行压缩，构成第2层的一个数据节点，记该子序列为d_i，该数据节点为p_i，则p_i中保存了d_i的概要信息。随着新数据的不断到来，第2层上的数据节点不断增加，当第2层上的数据节点个数

时，将最老的p_i个数据节点进行归并，合并成第3层上的1个数据节点，并计算数据节点的概要信息，以此逐层向上，从而使得该农业无线传感数据流总是被压缩成一组分层次的数据节点，最后构造一棵能够存储小波系数的误差树；

误差树中，节点c_i对应小波系数，叶节点x_ij对应原始数据，对一给定的误差树T和T中的内节点c_k，令leaves_k表示以c_k为根的子树的叶节点集合，leftleaves_k表示c_k的左子树的叶节点集合，rightleaves_k表示c_k的右子树的叶节点集合，path_k为T中从c_k或x_ij到根的路径上全体非零系数的集合，设a_k是leftleaves_k中数据的均值，b_k是rightleaves_k中数据的均值，则c_k＝(a_k-b_k)/2，而c₁是全部数据的均值；

首先：数据流x_i＝{x_i1，x_i2，Λ，x_iq}，将x_i＝{x_i1，x_i2，Λ，x_iq}中的数据两两分对求其均值和均值与第二个数据的差值，则差值就是第2层的数据节点，也是相应的小波系数c_2k；

其次：计算误差树中第3层的小波系数。令leaves_k表示以c_k为根的子树的叶节点集合，leftleaves_k表示c_k的左子树的叶节点集合，rightleaves_k表示c_k的右子树的叶节点集合，设a_k是leftleaves_k中数据的均值，b_k是rightleaves_k中数据的均值，则c_3k＝(a_k-b_k)/2；

最后：依次继续计算，直至误差树的最高层的小波系数，它也等于全部数据的平均值；

4)小波系数的筛选：运用误差平方和：

来进行小波系数的筛选，其中D表示压缩之前的数据序列，D′表示压缩之后的数据序列，x_i是数据序列D的第i个数据，x′_i是数据序列D′的第i个数；

设对子序列x_i＝{x_i1，x_i2，Λ，x_iq}，提取得到的数据节点p_i概要信息表示成四元组

其中

t为该数据节点的时间戳，表示d中最后一个数据的到达时刻，n为d中数据个数，

为d中数据的均值；对d进行DWT变换，Γ分量中保存变换得到的r＜n个最重要的小波系数，r取使

最小的前r个，对子序列x_i进行小波变换，对小波系数进行规范化，Γ分量中保存得到的n个系数的r个绝对值最大的系数。

5)二次压缩：对上述求出的小波序列X′＝(X₁′，X₂′，...，X_p′)^T，求其协方差矩阵∑的p个特征值，并按大小顺序排列：λ₁≥λ₂≥...≥λ_p≥0，以及对应的正交单位化特征向量为e₁，e₂，...，e_p；

其次求出k个主成分 $Y_k=e_k^T{X}^{\′}=e_{k1}{X_1}^{\′}+e_{k2}{X_2}^{\′}+...+e_{\mathrm{kp}}{X_p}^{\′},k=\mathrm{1,2},...,p;$ 计算第k个主成分Y_k对总信息的贡献率

前m个主成分的累计贡献率最后依据累计贡献率确定m值，A为设定阈值，70≤A≤95，m为主成分的个数；所述{Y₁，Y₂，...，Y_m}为农业无线传感数据流压缩后得到的有效信息。

本发明的技术构思为：我们研究无线传感器获得的数据，发现这些数据都是基于时间序列的数据，这些数据具有时间属性，而且数据中存在一些冗余度，部分数据具有相关性。可以通过丢弃一些数据达到数据压缩的目的，而且只要这些被丢弃的数据在一定的误差范围内不影响过程历史数据的重构，数据压缩完全可以满足用户通过采用丢弃一些数据的方法来减少对存储资源的需求。

本发明的有益效果主要表现在：能够在保留数据主要信息的前提下大大减少数据存储空间，压缩比高、数据失真小，具有良好的实际应用价值。

附图说明

图1是一种融入小波变换和主成分的农业无线传感数据流压缩方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，一种融入小波变换和主成分的农业无线传感数据流压缩方法，包括以下步骤：

1)数据节点阈值过滤：先将数据流中不断到来的数据作为第1层，即在相同的时间内到来的数据序列表示为X＝{x₁，x₂，...，x_n}，该序列由n个数据组成，假设序列中平均数据个数为n′，将这n′个数据组成为一个数据节点，则第1层的数据节点数有

其中M为数据流的总数据个数；

2)数据预处理：对实时数据流进行噪声处理，主要是对数据序列进行空缺值处理。假设数据序列X中数据x_i的属性个数为m，如果空缺属性个数则认为该条数据流是噪声，直接过滤；反之，将空缺属性补充为所有该属性的加权平均(通常取平均值)；

3)压缩处理：将第1层每n′个数据组成的子序列进行压缩，构成第2层的一个数据节点，记该子序列为d_i，该数据节点为p_i，则p_i中保存了d_i的概要信息。随着新数据的不断到来，第2层上的数据节点不断增加，当第2层上的数据节点个数

时，将最老的p_i个数据节点进行归并，合并成第3层上的1个数据节点，并计算数据节点的概要信息，以此逐层向上，从而使得该数据流总是被压缩成一组分层次的数据节点，最后构造一棵能够存储小波系数的误差树；

误差树中，节点c_i对应小波系数，叶节点x_ij对应原始数据。对一给定的误差树T和T中的内节点c_k，令leaves_k表示以c_k为根的子树的叶节点集合，leftleaves_k表示c_k的左子树的叶节点集合，rightleaves_k表示c_k的右子树的叶节点集合，path_k为T中从c_k(或x_ij)到根的路径上全体非零系数的集合。设a_k是leftleaves_k中数据的均值，b_k是rightleaves_k中数据的均值，则c_k＝(a_k-b_k)/2，而c₁是全部数据的均值；

首先：数据流x_i＝{x_i1，x_i2，Λ，x_iq}，将x_i＝{x_i1，x_i2，Λ，x_iq}中的数据两两分对求其均值和均值与第二个数据的差值，则差值就是第2层的数据节点，也是相应的小波系数c_2k；

其次：计算误差树中第3层的小波系数。令leaves_k表示以c_k为根的子树的叶节点集合，leftleaves_k表示c_k的左子树的叶节点集合，rightleaves_k表示c_k的右子树的叶节点集合。设a_k是leftleaves_k中数据的均值，b_k是rightleaves_k中数据的均值，则c_3k＝(a_k-b_k)/2；

最后：依次继续计算，直至误差树的最高层的小波系数，它也等于全部数据的平均值；

4)小波系数的筛选：其遵循的原则，一是绝对值大的系数的缺失会对相关的数据值的重构有更大的影响；二是从误差树上易知，越接近根的系数用于重构时影响的数据越多，具有更高的重要性。运用误差平方和：来进行小波系数的筛选，其中D表示压缩之前的数据序列，D′表示压缩之后的数据序列，x_i是数据序列D的第i个数据，x′_i是数据序列D′的第i个数；

设对子序列x_i＝{x_i1，x_i2，Λ，x_iq}，提取得到的数据节点p_i概要信息表示成四元组

其中t为该数据节点的时间戳，表示d中最后一个数据的到达时刻，n为d中数据个数，

为d中数据的均值。对d进行DWT变换，Γ分量中保存变换得到的r＜n个最重要的小波系数，r取使

最小的前r个。对子序列x_i进行小波变换，对小波系数进行规范化，Γ分量中保存得到的n个系数中最重要的r个系数，因为系数重要性的衡量基于sse最小化，所以Γ中应保留r个绝对值最大的系数。

5)二次压缩：采用主成分分析方法，对小波系数序列进行二次压缩处理，得到更小的数据序列。对上述求出的小波序列X′＝(X₁′，X₂′，...，X_p′)^T，求其协方差矩阵∑的p个特征值，并按大小顺序排列：λ₁≥λ₂≥...≥λ_p≥0，以及对应的正交单位化特征向量为e₁，e₂，...，e_p；

其次求出k个主成分 $Y_k=e_k^T{X}^{\′}=e_{k1}{X_1}^{\′}+e_{k2}{X_2}^{\′}+...+e_{\mathrm{kp}}{X_p}^{\′},k=\mathrm{1,2},...,p;$ 计算第k个主成分Y_k对总信息的贡献率

前m个主成分的累计贡献率最后依据累计贡献率

确定m值(85％可以调整，通常取该值)，即主成分的个数；对{Y₁，Y₂，...，Y_m}进行操作，得到有效信息。

Claims (1)

1.一种融入小波变换和主成分的农业无线传感数据流压缩方法，其特征在于：所述压缩方法包括以下步骤：

1)数据节点阈值过滤：先将农业无线传感数据流中不断到来的数据作为第1层，即在相同的时间内到来的数据序列表示为X＝{x₁，x₂，...，x_n}，该序列由n个数据组成，假设序列中平均数据个数为n′，将这n′个数据组成为一个数据节点，则第1层的数据节点数有

其中M为数据流的总数据个数；

2)数据预处理：假设数据序列X中数据x_i的属性个数为m，如果空缺属性个数

则认为该条数据流是噪声，直接过滤；反之，将空缺属性补充为所有该属性的加权平均；

3)压缩处理：将第1层每n′个数据组成的子序列进行压缩，构成第2层的一个数据节点，记该子序列为d_i，该数据节点为p_i，则p_i中保存了d_i的概要信息。随着新数据的不断到来，第2层上的数据节点不断增加，当第2层上的数据节点个数时，将最老的p_i个数据节点进行归并，合并成第3层上的1个数据节点，并计算数据节点的概要信息，以此逐层向上，从而使得该农业无线传感数据流总是被压缩成一组分层次的数据节点，最后构造一棵能够存储小波系数的误差树；

误差树中，节点c_i对应小波系数，叶节点x_ij对应原始数据，对一给定的误差树T和T中的内节点c_k，令leaves_k表示以c_k为根的子树的叶节点集合，leftleaves_k表示c_k的左子树的叶节点集合，rightleaves_k表示c_k的右子树的叶节点集合，path_k为T中从c_k或x_ij到根的路径上全体非零系数的集合，设a_k是leftleaves_k中数据的均值，b_k是rightleaves_k中数据的均值，则c_k＝(a_k-b_k)/2，而c₁是全部数据的均值；

首先：数据流x_i＝{x_i1，x_i2，Λ，x_iq}，将x_i＝{x_i1，x_i2，Λ，x_iq}中的数据两两分对求其均值和均值与第二个数据的差值，则差值就是第2层的数据节点，也是相应的小波系数c_2k；

其次：计算误差树中第3层的小波系数。令leaves_k表示以c_k为根的子树的叶节点集合，leftleaves_k表示c_k的左子树的叶节点集合，rightleaves_k表示c_k的右子树的叶节点集合，设a_k是leftleaves_k中数据的均值，b_k是rightleaves_k中数据的均值，则c_3k＝(a_k-b_k)/2；

最后：依次继续计算，直至误差树的最高层的小波系数，它也等于全部数据的平均值；

4)小波系数的筛选：运用误差平方和：

来进行小波系数的筛选，其中D表示压缩之前的数据序列，D′表示压缩之后的数据序列，x_i是数据序列D的第i个数据，x′_i是数据序列D′的第i个数；

设对子序列x_i＝{x_i1，x_i2，Λ，x_iq}，提取得到的数据节点p_i概要信息表示成四元组

其中

t为该数据节点的时间戳，表示d中最后一个数据的到达时刻，n为d中数据个数，

为d中数据的均值；对d进行DWT变换，Γ分量中保存变换得到的r＜n个最重要的小波系数，r取使

最小的前r个，对子序列x_i进行小波变换，对小波系数进行规范化，Γ分量中保存得到的n个系数的r个绝对值最大的系数。

5)二次压缩：对上述求出的小波序列X′＝(X₁′，X₂′，...，X_p′)^T，求其协方差矩阵∑的p个特征值，并按大小顺序排列：λ₁≥λ₂≥...≥λ_p≥0，以及对应的正交单位化特征向量为e₁，e₂，...，e_p；

其次求出k个主成分 $Y_k=e_k^T{X}^{\′}=e_{k1}{X_1}^{\′}+e_{k2}{X_2}^{\′}+...+e_{\mathrm{kp}}{X_p}^{\′},k=\mathrm{1,2},...,p;$ 计算第k个主成分Y_k对总信息的贡献率

前m个主成分的累计贡献率

最后依据累计贡献率

确定m值，A为设定阈值，70≤A≤95，m为主成分的个数；所述{Y₁，Y₂，...，Y_m}为农业无线传感数据流压缩后得到的有效信息。

Images