CN102630092A - 一种融入小波变换和主成分的农业无线传感数据流压缩方法 - Google Patents
一种融入小波变换和主成分的农业无线传感数据流压缩方法 Download PDFInfo
- Publication number
- CN102630092A CN102630092A CN2012100517540A CN201210051754A CN102630092A CN 102630092 A CN102630092 A CN 102630092A CN 2012100517540 A CN2012100517540 A CN 2012100517540A CN 201210051754 A CN201210051754 A CN 201210051754A CN 102630092 A CN102630092 A CN 102630092A
- Authority
- CN
- China
- Prior art keywords
- data
- average
- sequence
- principal component
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种融入小波变换和主成分的农业无线传感数据流压缩方法。首先对从无线传感器提取的实时数据进行预处理,然后对经过预处理的数据进行基于小波变换的数据压缩,得到能够反应数据重要特征的小波概要,然后再应用主成分分析,进行二次压缩,最后得到压缩率很高又保留了重要数据特征的压缩数据。本发明提供一种压缩比较高、数据失真少、有效减少数据存储空间的融入小波变换和主成分的农业无线传感数据流压缩方法。
Description
技术领域
本发明涉及农业动态数据流压缩技术,尤其是一种农业无线传感数据流压缩方法。
背景技术
随着计算机、网络和通信技术的迅猛发展,许多应用领域出现了海量、高速和动态的数据,如电子商务、传感器网络、网络监测等等。这些领域中的数据常常以数据流的形式出现,如:传感器网络获得的实时数据就是典型的数据流。其主要特点为:1)数据流动态增长,长度可能无限;2)对流中的数据只能一次扫描,利用一次扫描建立数据流的近似概要结构,其后的处理只能依赖该概要结构。
精细农业是综合应用地球空间信息技术、计算机辅助决策技术、农业工程技术等现代高新技术,以获得农田“高产、优质、高效”的现代化生产模式和技术体系。其核心技术包括地理信息系统GIS、全球定位系统GPS、遥感技术RS和计算机自动控制技术。目前国内的农作物生长环境的数据采集主要是使用专用数据采集仪进行人工田间测量,再将测量数据带回实验室传输到计算机进行实验分析。对于需要长时间定时采集的数据,如温湿度、光照强度、作物生长特征等数据,则需要反复多次到田间测量,这种做法的时间成本和人力成本较高。相对发达国家来说,国内在农作物生长环境的信息采集技术方面的研究和应用都相对滞后。无线传感网络(WSN,Wireless Sensor Networks)是当前在国际上备受关注的、涉及多学科高度交叉、知识高度集成的前沿热点研究领域。它综合了传感器技术、嵌入式计算技术、现代网络及无线通信技术、分布式信息处理技术等,能够通过各类集成化的微型传感器协作地实时监测、感知和采集各种环境或监测对象的信息,该技术被我国逐渐应用于农业中。由于无线传感器网络获得的实时数据通常具有数量大、数据流量突发性高等特点,如何保存如此庞大的实时数据以及如何访问这些保存的历史数据一直是个难题。
数据压缩主要是通过去除数据间存在的冗余度或者对数据间具有相关性的数据进行二次表达,以达到减少存储资源的目的,同时丢弃的这些数据又保证在一定的误差控制中不影响对历史数据的重构,方便之后对历史数据的查询处理。目前,数据压缩的方法有很多,主要包括完全可逆的冗余度压缩和实际上不可逆的熵压缩两类。冗余度压缩常用于磁盘文件、数据通信和气象卫星云图等不允许在压缩过程中有丝毫损失的场合中。但它的压缩比通常只有几倍,远远不能满足数字视听应用的要求。在实践的数字视听设备中,差不多都采用压缩比更高、但实际有损的熵压缩技术。只要作为最终用户的人觉察不出或者能够容忍这些失真,就允许对数字音像信号进一步压缩以换取更高的编码效率。但是这些方法的压缩比不高,存储数据的空间有限,常常导致数据失真。显然,现有的数据压缩方法不能有效适用于农业无线传感数据流。
发明内容
为了克服已有现有动态数据流压缩方法的压缩比不高、数据失真度较高、存储数据空间受限的不足,本发明提供一种压缩比较高、数据失真少、有效减少数据存储空间的融入小波变换和主成分的农业无线传感数据压缩方法。
本发明解决其技术问题所采用的技术方案是:
一种融入小波变换和主成分的农业无线传感数据流压缩方法,所述压缩方法包括以下步骤:
1)数据节点阈值过滤:先将农业无线传感数据流中不断到来的数据作为第1层,即在相同的时间内到来的数据序列表示为X={x1,x2,...,xn},该序列由n个数据组成,假设序列中平均数据个数为n′,将这n′个数据组成为一个数据节点,则第1层的数据节点数有其中M为数据流的总数据个数;
2)数据预处理:假设数据序列X中数据xi的属性个数为m,如果空缺属性个数则认为该条数据流是噪声,直接过滤;反之,将空缺属性补充为所有该属性的加权平均;
3)压缩处理:将第1层每n′个数据组成的子序列进行压缩,构成第2层的一个数据节点,记该子序列为di,该数据节点为pi,则pi中保存了di的概要信息。随着新数据的不断到来,第2层上的数据节点不断增加,当第2层上的数据节点个数时,将最老的pi个数据节点进行归并,合并成第3层上的1个数据节点,并计算数据节点的概要信息,以此逐层向上,从而使得该农业无线传感数据流总是被压缩成一组分层次的数据节点,最后构造一棵能够存储小波系数的误差树;
误差树中,节点ci对应小波系数,叶节点xij对应原始数据,对一给定的误差树T和T中的内节点ck,令leavesk表示以ck为根的子树的叶节点集合,leftleavesk表示ck的左子树的叶节点集合,rightleavesk表示ck的右子树的叶节点集合,pathk为T中从ck或xij到根的路径上全体非零系数的集合,设ak是leftleavesk中数据的均值,bk是rightleavesk中数据的均值,则ck=(ak-bk)/2,而c1是全部数据的均值;
首先:数据流xi={xi1,xi2,Λ,xiq},将xi={xi1,xi2,Λ,xiq}中的数据两两分对求其均值和均值与第二个数据的差值,则差值就是第2层的数据节点,也是相应的小波系数c2k;
其次:计算误差树中第3层的小波系数。令leavesk表示以ck为根的子树的叶节点集合,leftleavesk表示ck的左子树的叶节点集合,rightleavesk表示ck的右子树的叶节点集合,设ak是leftleavesk中数据的均值,bk是rightleavesk中数据的均值,则c3k=(ak-bk)/2;
最后:依次继续计算,直至误差树的最高层的小波系数,它也等于全部数据的平均值;
设对子序列xi={xi1,xi2,Λ,xiq},提取得到的数据节点pi概要信息表示成四元组其中t为该数据节点的时间戳,表示d中最后一个数据的到达时刻,n为d中数据个数,为d中数据的均值;对d进行DWT变换,Γ分量中保存变换得到的r<n个最重要的小波系数,r取使最小的前r个,对子序列xi进行小波变换,对小波系数进行规范化,Γ分量中保存得到的n个系数的r个绝对值最大的系数。
5)二次压缩:对上述求出的小波序列X′=(X1′,X2′,...,Xp′)T,求其协方差矩阵∑的p个特征值,并按大小顺序排列:λ1≥λ2≥...≥λp≥0,以及对应的正交单位化特征向量为e1,e2,...,ep;
其次求出k个主成分 计算第k个主成分Yk对总信息的贡献率前m个主成分的累计贡献率最后依据累计贡献率确定m值,A为设定阈值,70≤A≤95,m为主成分的个数;所述{Y1,Y2,...,Ym}为农业无线传感数据流压缩后得到的有效信息。
本发明的技术构思为:我们研究无线传感器获得的数据,发现这些数据都是基于时间序列的数据,这些数据具有时间属性,而且数据中存在一些冗余度,部分数据具有相关性。可以通过丢弃一些数据达到数据压缩的目的,而且只要这些被丢弃的数据在一定的误差范围内不影响过程历史数据的重构,数据压缩完全可以满足用户通过采用丢弃一些数据的方法来减少对存储资源的需求。
本发明的有益效果主要表现在:能够在保留数据主要信息的前提下大大减少数据存储空间,压缩比高、数据失真小,具有良好的实际应用价值。
附图说明
图1是一种融入小波变换和主成分的农业无线传感数据流压缩方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1,一种融入小波变换和主成分的农业无线传感数据流压缩方法,包括以下步骤:
1)数据节点阈值过滤:先将数据流中不断到来的数据作为第1层,即在相同的时间内到来的数据序列表示为X={x1,x2,...,xn},该序列由n个数据组成,假设序列中平均数据个数为n′,将这n′个数据组成为一个数据节点,则第1层的数据节点数有其中M为数据流的总数据个数;
2)数据预处理:对实时数据流进行噪声处理,主要是对数据序列进行空缺值处理。假设数据序列X中数据xi的属性个数为m,如果空缺属性个数则认为该条数据流是噪声,直接过滤;反之,将空缺属性补充为所有该属性的加权平均(通常取平均值);
3)压缩处理:将第1层每n′个数据组成的子序列进行压缩,构成第2层的一个数据节点,记该子序列为di,该数据节点为pi,则pi中保存了di的概要信息。随着新数据的不断到来,第2层上的数据节点不断增加,当第2层上的数据节点个数时,将最老的pi个数据节点进行归并,合并成第3层上的1个数据节点,并计算数据节点的概要信息,以此逐层向上,从而使得该数据流总是被压缩成一组分层次的数据节点,最后构造一棵能够存储小波系数的误差树;
误差树中,节点ci对应小波系数,叶节点xij对应原始数据。对一给定的误差树T和T中的内节点ck,令leavesk表示以ck为根的子树的叶节点集合,leftleavesk表示ck的左子树的叶节点集合,rightleavesk表示ck的右子树的叶节点集合,pathk为T中从ck(或xij)到根的路径上全体非零系数的集合。设ak是leftleavesk中数据的均值,bk是rightleavesk中数据的均值,则ck=(ak-bk)/2,而c1是全部数据的均值;
首先:数据流xi={xi1,xi2,Λ,xiq},将xi={xi1,xi2,Λ,xiq}中的数据两两分对求其均值和均值与第二个数据的差值,则差值就是第2层的数据节点,也是相应的小波系数c2k;
其次:计算误差树中第3层的小波系数。令leavesk表示以ck为根的子树的叶节点集合,leftleavesk表示ck的左子树的叶节点集合,rightleavesk表示ck的右子树的叶节点集合。设ak是leftleavesk中数据的均值,bk是rightleavesk中数据的均值,则c3k=(ak-bk)/2;
最后:依次继续计算,直至误差树的最高层的小波系数,它也等于全部数据的平均值;
4)小波系数的筛选:其遵循的原则,一是绝对值大的系数的缺失会对相关的数据值的重构有更大的影响;二是从误差树上易知,越接近根的系数用于重构时影响的数据越多,具有更高的重要性。运用误差平方和:来进行小波系数的筛选,其中D表示压缩之前的数据序列,D′表示压缩之后的数据序列,xi是数据序列D的第i个数据,x′i是数据序列D′的第i个数;
设对子序列xi={xi1,xi2,Λ,xiq},提取得到的数据节点pi概要信息表示成四元组其中t为该数据节点的时间戳,表示d中最后一个数据的到达时刻,n为d中数据个数,为d中数据的均值。对d进行DWT变换,Γ分量中保存变换得到的r<n个最重要的小波系数,r取使最小的前r个。对子序列xi进行小波变换,对小波系数进行规范化,Γ分量中保存得到的n个系数中最重要的r个系数,因为系数重要性的衡量基于sse最小化,所以Γ中应保留r个绝对值最大的系数。
5)二次压缩:采用主成分分析方法,对小波系数序列进行二次压缩处理,得到更小的数据序列。对上述求出的小波序列X′=(X1′,X2′,...,Xp′)T,求其协方差矩阵∑的p个特征值,并按大小顺序排列:λ1≥λ2≥...≥λp≥0,以及对应的正交单位化特征向量为e1,e2,...,ep;
Claims (1)
1.一种融入小波变换和主成分的农业无线传感数据流压缩方法,其特征在于:所述压缩方法包括以下步骤:
1)数据节点阈值过滤:先将农业无线传感数据流中不断到来的数据作为第1层,即在相同的时间内到来的数据序列表示为X={x1,x2,...,xn},该序列由n个数据组成,假设序列中平均数据个数为n′,将这n′个数据组成为一个数据节点,则第1层的数据节点数有其中M为数据流的总数据个数;
3)压缩处理:将第1层每n′个数据组成的子序列进行压缩,构成第2层的一个数据节点,记该子序列为di,该数据节点为pi,则pi中保存了di的概要信息。随着新数据的不断到来,第2层上的数据节点不断增加,当第2层上的数据节点个数时,将最老的pi个数据节点进行归并,合并成第3层上的1个数据节点,并计算数据节点的概要信息,以此逐层向上,从而使得该农业无线传感数据流总是被压缩成一组分层次的数据节点,最后构造一棵能够存储小波系数的误差树;
误差树中,节点ci对应小波系数,叶节点xij对应原始数据,对一给定的误差树T和T中的内节点ck,令leavesk表示以ck为根的子树的叶节点集合,leftleavesk表示ck的左子树的叶节点集合,rightleavesk表示ck的右子树的叶节点集合,pathk为T中从ck或xij到根的路径上全体非零系数的集合,设ak是leftleavesk中数据的均值,bk是rightleavesk中数据的均值,则ck=(ak-bk)/2,而c1是全部数据的均值;
首先:数据流xi={xi1,xi2,Λ,xiq},将xi={xi1,xi2,Λ,xiq}中的数据两两分对求其均值和均值与第二个数据的差值,则差值就是第2层的数据节点,也是相应的小波系数c2k;
其次:计算误差树中第3层的小波系数。令leavesk表示以ck为根的子树的叶节点集合,leftleavesk表示ck的左子树的叶节点集合,rightleavesk表示ck的右子树的叶节点集合,设ak是leftleavesk中数据的均值,bk是rightleavesk中数据的均值,则c3k=(ak-bk)/2;
最后:依次继续计算,直至误差树的最高层的小波系数,它也等于全部数据的平均值;
设对子序列xi={xi1,xi2,Λ,xiq},提取得到的数据节点pi概要信息表示成四元组其中t为该数据节点的时间戳,表示d中最后一个数据的到达时刻,n为d中数据个数,为d中数据的均值;对d进行DWT变换,Γ分量中保存变换得到的r<n个最重要的小波系数,r取使最小的前r个,对子序列xi进行小波变换,对小波系数进行规范化,Γ分量中保存得到的n个系数的r个绝对值最大的系数。
5)二次压缩:对上述求出的小波序列X′=(X1′,X2′,...,Xp′)T,求其协方差矩阵∑的p个特征值,并按大小顺序排列:λ1≥λ2≥...≥λp≥0,以及对应的正交单位化特征向量为e1,e2,...,ep;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012100517540A CN102630092A (zh) | 2012-03-01 | 2012-03-01 | 一种融入小波变换和主成分的农业无线传感数据流压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012100517540A CN102630092A (zh) | 2012-03-01 | 2012-03-01 | 一种融入小波变换和主成分的农业无线传感数据流压缩方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102630092A true CN102630092A (zh) | 2012-08-08 |
Family
ID=46588225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012100517540A Pending CN102630092A (zh) | 2012-03-01 | 2012-03-01 | 一种融入小波变换和主成分的农业无线传感数据流压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102630092A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105954223A (zh) * | 2016-04-28 | 2016-09-21 | 南京富岛信息工程有限公司 | 一种提高汽油性质预测精度的方法 |
CN107038457A (zh) * | 2017-04-01 | 2017-08-11 | 北京机械设备研究所 | 一种基于主分量信噪比的遥测数据压缩批处理方法 |
CN113282552A (zh) * | 2021-06-04 | 2021-08-20 | 上海天旦网络科技发展有限公司 | 流量统计日志的相似性向量化方法及系统 |
CN117807381A (zh) * | 2024-02-23 | 2024-04-02 | 余姚市农业技术推广服务总站 | 一种农业技术推广记录数据智能管理系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101925091A (zh) * | 2010-07-29 | 2010-12-22 | 中国地质大学(武汉) | 一种基于非阈值的无线传感器网络节点数据压缩方法 |
CN102354319A (zh) * | 2011-09-23 | 2012-02-15 | 浙江工商大学 | 一种减小财政数据库储存量的方法 |
-
2012
- 2012-03-01 CN CN2012100517540A patent/CN102630092A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101925091A (zh) * | 2010-07-29 | 2010-12-22 | 中国地质大学(武汉) | 一种基于非阈值的无线传感器网络节点数据压缩方法 |
CN102354319A (zh) * | 2011-09-23 | 2012-02-15 | 浙江工商大学 | 一种减小财政数据库储存量的方法 |
Non-Patent Citations (1)
Title |
---|
蔡碧野,向军: "基于BEMD和PCA的数字图像压缩", 《计算机工程与应用》, 31 December 2011 (2011-12-31), pages 185 - 187 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105954223A (zh) * | 2016-04-28 | 2016-09-21 | 南京富岛信息工程有限公司 | 一种提高汽油性质预测精度的方法 |
CN107038457A (zh) * | 2017-04-01 | 2017-08-11 | 北京机械设备研究所 | 一种基于主分量信噪比的遥测数据压缩批处理方法 |
CN107038457B (zh) * | 2017-04-01 | 2020-01-24 | 北京机械设备研究所 | 一种基于主分量信噪比的遥测数据压缩批处理方法 |
CN113282552A (zh) * | 2021-06-04 | 2021-08-20 | 上海天旦网络科技发展有限公司 | 流量统计日志的相似性向量化方法及系统 |
CN117807381A (zh) * | 2024-02-23 | 2024-04-02 | 余姚市农业技术推广服务总站 | 一种农业技术推广记录数据智能管理系统 |
CN117807381B (zh) * | 2024-02-23 | 2024-05-24 | 余姚市农业技术推广服务总站 | 一种农业技术推广记录数据智能管理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106250899B (zh) | 一种基于分布式压缩感知wsn的柑桔病虫害监测预警方法 | |
Nhamo et al. | An assessment of groundwater use in irrigated agriculture using multi-spectral remote sensing | |
Zhao et al. | Satellite‐based Studies on Large‐Scale Vegetation Changes in China F | |
Kanagaraj et al. | Cloud-based remote environmental monitoring system with distributed WSN weather stations | |
TWI393376B (zh) | 資料傳輸方法 | |
CN103368578A (zh) | 基于压缩感知的分布式无线传感器网络节点信号采样方法 | |
CN102630092A (zh) | 一种融入小波变换和主成分的农业无线传感数据流压缩方法 | |
CN106304191A (zh) | 一种基于分簇结构无线传感器网络的数据接收方法及装置 | |
CN112836575B (zh) | 一种基于作物物候期的多时序影像水稻估产方法 | |
CN108766203B (zh) | 一种紧致极化水稻制图的方法及系统 | |
CN112304902B (zh) | 一种农作物物候的实时监测方法和装置 | |
CN106375940A (zh) | 农业感知数据稀疏向量采集与空间耦合方法 | |
CN115063326B (zh) | 基于图像压缩的红外夜视图像高效通讯方法 | |
CN113723319A (zh) | 一种基于风云卫星数据的水稻种植分布提取方法 | |
Guermazi et al. | Water irrigation management using remote sensing techniques: a case study in Central Tunisia | |
Adonsou et al. | Root connections affect radial growth of balsam poplar trees | |
CN104123740A (zh) | 一种基于压缩感知的图像重构方法 | |
CN108616720A (zh) | 一种多台站频谱监测数据压缩处理方法 | |
JP5423096B2 (ja) | 衛星画像シーンの晴天判別装置、判別方法、判別プログラム | |
CN105791190A (zh) | 多参数实时监测的数据传输方法及系统 | |
CN102354319A (zh) | 一种减小财政数据库储存量的方法 | |
CN106374936B (zh) | 一种基于压缩传感技术的电网实时控制方法 | |
Armstrong et al. | Attention-based convolutional capsules for evapotranspiration estimation at scale | |
Ali et al. | Comparative Analysis of two Remote Sensing Models Estimating Evapotranspiration of As’ Suwaiq Region | |
CN106768020B (zh) | 一种用于土地监测的电子信息化系统及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120808 |