CN109361686A - 一种减少传感器数据时间冗余的压缩方法 - Google Patents

一种减少传感器数据时间冗余的压缩方法 Download PDF

Info

Publication number
CN109361686A
CN109361686A CN201811365963.6A CN201811365963A CN109361686A CN 109361686 A CN109361686 A CN 109361686A CN 201811365963 A CN201811365963 A CN 201811365963A CN 109361686 A CN109361686 A CN 109361686A
Authority
CN
China
Prior art keywords
data
sensor
compression
bloom filter
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811365963.6A
Other languages
English (en)
Inventor
罗志勇
张柔
蔡婷
杨美美
罗蓉
韩冷
郑焕平
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201811365963.6A priority Critical patent/CN109361686A/zh
Publication of CN109361686A publication Critical patent/CN109361686A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明请求保护一种减少传感器数据时间冗余的压缩方法；主要包括以下步骤：1)通过传感器节点获取传感器信息数据；2)运用Bloom Filter算法对重复的数据信息进行删除；3)运用数据压缩算法对删减后的数据进行压缩；4)将压缩后的传感器信息传送给传感器监控管理平台；该发明对冗余的传感器信息进行有效删减，提高数据传输效率，节省带宽和能量损耗，提高传感器信息的传输效率以及传感节点的使用时长，达到智能制造中传感器的管理要求。

Description

一种减少传感器数据时间冗余的压缩方法
技术领域
本发明属于工业信息数据处理领域，具体是一种减少传感器数据时间冗余的压缩方法。
背景技术
物联网的快速发展，使得传感器的应用范围也越来越广泛，实际上传感器最早期应用可追溯到二战时期的英国雷达网络,冷战时期的声监测系统[1]，但由于信息产业的快速发展，各类产业广泛运用传感器获取信息使得传感器技术也进一步的到发展，其中最突出的即为物联网行业。行业内进行传感器部署的主要目的是通过传感节点获取数据。通过所获取到的数据，对数据进行处理后传送给服务器，以确保使用者能根据正确的数据信息做出合理的判断。但是在很多环境中由于传感器的数量庞大且大部分传感节点都是随机分布的，而且传感器节点在采集数据时都是按一定周期性进行采集。当对某一大面积区域进行监测时，由于传感节点的随机性可能会造成传感器节点在空间上的冗余，而对于单个节点来说可能会存在相邻时间点所采集的数据存在很大的相似性，这样也会造成传感器数据冗余。这样从时间与空间上如果不对所接受的数据进行处理直接传送给服务器势必会造成通信资源的浪费。由于传感器信息传输的能量供应和数据传输带宽是两大限制点，其中能量的消耗和传输的距离、传输的数据量有关系，所以为了节省带宽、减小能量消耗、提高数据安全性，需要对传感器信息数据进行压缩。
所以利用数据压缩方法对传感器数据进行压缩，正好解决了传感器数量庞大而导致的高能耗与占用带宽问题，对于推动工业领域传感器信息传输有重大意义。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种减少传感器信息的冗余，能有效提高传感器信息的传输效率，减少能量损耗的方法。本发明的技术方案如下：
一种减少传感器数据时间冗余的压缩方法，其包括以下步骤：通过传感器节点获取传感器信息数据；
2)运用改进的Bloom Filter布隆过滤器算法对重复的传感器信息数据进行删除，所述改进后的Bloom Filter布隆过滤器主要是在原有基础上降低了进行重复数据删除的错误率。
3)采用数据压缩算法对删减后的数据进行压缩；
4)将压缩后的传感器信息传送给传感器监控管理平台，通过该平台所获取的传感器数据对传感器的工作环境进行监控。
进一步的，所述步骤2)Bloom Filter算法步骤如下：
S1、初始化存储数据的hash表；
S2、将获取到的数据与已存入hash表中数据进行比较，若匹配为相同值，则删除该外来数据，若匹配为不同值，则将该值存入hash表中；
S3、重复S1到S2的过程，直到所有获取的数据信息被检测完成；
S4、对于已检测的没有重复的数据进行重新归档。
进一步的，所述采用数据压缩算法对删减后的数据进行压缩，具体包括步骤：
A1、对归档的数据集T，首先采用f＝a/T，a:单个字符出现的次数，T：整个数据集的字符个数，f代表单个字符出现的频率，计算其信息频率，即一个数据符号在整个数据集中出现的频率；
A2、将每个字符和其出现的频率放到它自身的树中形成一个根节点；
A3、将两个频率最小的字符根节点进行合并，并放入新树节点中，再对所有节点重新排序；
A4、重复A2到A3的过程，直到最后成为一棵树，即为霍夫曼树；
A5、用霍夫曼树对数据进行压缩，从最底层根节点开始沿树的叶向叶的子节点追踪进行霍夫曼编码；如果向左分叉则在当前编码末尾加0；向右时加1；直到根节点处。
A6、计算出编码后的数据集信息量T’，则其压缩比为(1-T’/T),算法结束本发明的优点及有益效果如下：
本发明综合了Bloom Filter算法与数据压缩算法，对传感器信息数据进行了有效压缩，减少了时间上节点产生的冗余，降低了传感器节点的使用能耗，节省了传输带宽。
将Bloom Filter算法与霍夫曼压缩算法结合起来应用的好处是，通过BloomFilter算法可以先降低冗余，然后通过霍夫曼压缩算法提高压缩比且为无损压缩。两种算法结合互补，同时解决冗余度与压缩比的问题。由于传统上对传感器信息数据进行压缩，一般采用两种方式，一是直接对获取的模拟信号采用切片算法进行数据压缩，或者通过汇聚算法对传感器节点处所采集数据进行数据压缩。这样解决了一般传感器数据压缩算法的降低冗余度不够和数据压缩受损的问题。
附图说明
图1是本发明提供优选实施例具体实施流程图。
图2为Bloom Filter算法流程图。
图3为数据压缩算法流程图。
图4为利用霍夫曼树进行编码示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图1所示，为本发明具体实施流程图，包括以下步骤：
1.一种减少传感器数据时间冗余的压缩方法，其主要特征是，解决传感器信息冗余，传感器信息能量消耗与带宽占用问题，其主要步骤如下：
U1、通过传感器网络节点获取传感器信息数据；
U2、运用Bloom Filter算法对重复的数据信息进行删除；
U3、运用数据压缩算法对删减后的数据进行压缩；
U4、再将压缩后的信息传送给传感器信息管理平台。
2.Bloom Filter算法如图2所示，其步骤如下：
S1、初始化存储数据的hash表；
S2、将获取到的数据与已存入hash表中数据进行比较，若匹配为相同值，则删除该外来数据，若匹配为不同值，则将该值存入hash表中；
S3、重复1到2的过程，直到所有获取的数据信息被检测完成；
S4、对于已检测的没有重复的数据进行重新归档；
3.数据压缩算法如图3所示，其步骤如下：
A1、对归档的数据集T，首先计算其信息频率。即一个数据符号在整个数据集中出现的频率；
A2、将每个字符和其出现的频率放到它自身的树中形成一个根节点；
A3、将两个频率最小的字符根节点进行合并，并放入新树节点中，再对所有节点重新排序；
A4、重复A2到A3的过程，直到最后成为一棵树，即为霍夫曼树；
A5、用霍夫曼树对数据进行压缩，从最底层根节点开始沿树的叶向叶的子节点追踪进行霍夫曼编码；如果向左分叉则在当前编码末尾加0；向右时加1；直到根节点处。
A6、计算出编码后的数据集信息量T’，则其压缩比为(1-T’/T),算法结束(以下用一个例子展示该算法)。
例：设有100000个字符的数据文件需要压缩存储。各字符在该文件中出现的频率如下：
利用霍夫曼树对其进行编码：将a、b、c、d、e、f看成是五个根节点，如图4 所示：
第一步先将f和e节点合并，如图4A所示；
第二步将c和b节点合并，如图4B所示；
第三步将d和fe节点合并，如图4C所示；
第四步将第三步所得节点fed与第二步所得节点bc合并，如图4D所示；
第五步将a节点与bcfed节点合并，如图4E所示。
通过以上步骤二叉树构造完成，如图4F所示。
根据编码规则：左0右1，如图4G所示，得到字符编码位表如表4H所示在不压缩时100000个字符若每个字符用8位表示则一共需要的存储空间为 100000*8＝800000位；
进行压缩后的数据大小为：
(45*1+(16+13+12)*3+(9+5)*4)*1000＝224000位
则压缩比为：
(1-224000/800000)*100％＝77.6％；
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种减少传感器数据时间冗余的压缩方法，其特征在于，包括以下步骤：1)通过传感器节点获取传感器信息数据；
2)运用改进的Bloom Filter布隆过滤器算法对重复的传感器信息数据进行删除，所述改进的Bloom Filter算法主要改进在；改进后的Bloom Filter布隆过滤器主要是在原有基础上降低了进行重复数据删除的错误率；
3)采用数据压缩算法对删减后的数据进行压缩；
4)将压缩后的传感器信息传送给传感器监控管理平台，通过该平台所获取的传感器数据对传感器的工作环境进行监控。
2.根据权利要求1所述的一种减少传感器数据时间冗余的压缩方法，其特征在于，所述步骤2)Bloom Filter(布隆过滤器)算法步骤如下：
S1、初始化存储数据的hash表；
S2、将获取到的数据与已存入hash表中数据进行比较，若匹配为相同值，则删除该外来数据，若匹配为不同值，则将该值存入hash表中；
S3、重复S1到S2的过程，直到所有获取的数据信息被检测完成；
S4、对于已检测的没有重复的数据进行重新归档。
3.根据权利要求2所述的一种减少传感器数据时间冗余的压缩方法，其特征在于，所述采用数据压缩算法对删减后的数据进行压缩，具体包括步骤：
A1、对归档的数据集T，首先采用f＝a/T，a:单个字符出现的次数，T：整个数据集的字符个数，f代表单个字符出现的频率，计算每个字符的其信息量，即一个数据符号在整个数据集中出现的频率；
A2、将每个字符和每个字符出现的频率放到它自身的树中；
A3、将两个频率最小的字符根节点进行合并，并放入新树节点中；
A4、重复A2到A3的过程，直到最后成为一棵树，即为霍夫曼树；
A5、用霍夫曼树对数据进行压缩，从树根开始沿树的叶向叶的子节点追踪；如果向左分叉在当前编码末尾加0；向右时加1；直到根节点处，算法结束。
4.根据权利要求3所述的一种减少传感器数据时间冗余的压缩方法，其特征在于，所述计算压缩比公式是：压缩比＝(1-T’/T)，T’:压缩后所需内存,T:压缩前所需内存。
CN201811365963.6A 2018-11-16 2018-11-16 一种减少传感器数据时间冗余的压缩方法 Pending CN109361686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811365963.6A CN109361686A (zh) 2018-11-16 2018-11-16 一种减少传感器数据时间冗余的压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811365963.6A CN109361686A (zh) 2018-11-16 2018-11-16 一种减少传感器数据时间冗余的压缩方法

Publications (1)

Publication Number Publication Date
CN109361686A true CN109361686A (zh) 2019-02-19

Family

ID=65345534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811365963.6A Pending CN109361686A (zh) 2018-11-16 2018-11-16 一种减少传感器数据时间冗余的压缩方法

Country Status (1)

Country Link
CN (1) CN109361686A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966648A (zh) * 2020-07-29 2020-11-20 国机智能技术研究院有限公司 一种工业数据的处理方法和电子设备
WO2021174839A1 (zh) * 2020-03-06 2021-09-10 平安科技（深圳）有限公司 数据压缩方法、装置及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080243012A1 (en) * 2007-03-29 2008-10-02 Nihon Kohden Corporation Method of compressing electrocardiogram data and electrocardiogram telemetry system using the same
CN102411677A (zh) * 2011-11-29 2012-04-11 福建工程学院 一种基于浮动车数据采集的预处理方法
CN103116599A (zh) * 2012-11-30 2013-05-22 浙江工商大学 一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法
CN103957582A (zh) * 2014-05-17 2014-07-30 浙江大学宁波理工学院 无线传感器网络自适应压缩方法
CN106452666A (zh) * 2016-08-01 2017-02-22 南京邮电大学 一种应用于无线传感器网络的轻量级数据压缩方法
CN106878317A (zh) * 2017-02-28 2017-06-20 北京中电普华信息技术有限公司 一种视频编解码方法及视频监控系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080243012A1 (en) * 2007-03-29 2008-10-02 Nihon Kohden Corporation Method of compressing electrocardiogram data and electrocardiogram telemetry system using the same
CN102411677A (zh) * 2011-11-29 2012-04-11 福建工程学院 一种基于浮动车数据采集的预处理方法
CN103116599A (zh) * 2012-11-30 2013-05-22 浙江工商大学 一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法
CN103957582A (zh) * 2014-05-17 2014-07-30 浙江大学宁波理工学院 无线传感器网络自适应压缩方法
CN106452666A (zh) * 2016-08-01 2017-02-22 南京邮电大学 一种应用于无线传感器网络的轻量级数据压缩方法
CN106878317A (zh) * 2017-02-28 2017-06-20 北京中电普华信息技术有限公司 一种视频编解码方法及视频监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张晶: "《多媒体信息与通信》", 31 December 2017 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174839A1 (zh) * 2020-03-06 2021-09-10 平安科技（深圳）有限公司 数据压缩方法、装置及计算机可读存储介质
CN111966648A (zh) * 2020-07-29 2020-11-20 国机智能技术研究院有限公司 一种工业数据的处理方法和电子设备
CN111966648B (zh) * 2020-07-29 2023-09-08 国机智能科技有限公司 一种工业数据的处理方法和电子设备

Similar Documents

Publication Publication Date Title
CN107390650B (zh) 一种基于物联网的数据采集系统及基于该系统的数据压缩方法
CN104424229B (zh) 一种多维度拆分的计算方法及系统
CN109165202A (zh) 一种多源异构大数据的预处理方法
CN104348490A (zh) 一种基于效果优选的组合数据压缩算法
CN105930384A (zh) 基于Hadoop体系的传感云数据存储系统及其实现方法
CN103020296B (zh) 一种高精度多维计数布鲁姆过滤器大数据处理方法
CN109361686A (zh) 一种减少传感器数据时间冗余的压缩方法
CN104008134B (zh) 基于HBase的高效存储方法及系统
CN113094346A (zh) 基于时间序列的大数据编解码方法及装置
CN107766529A (zh) 一种用于污水处理行业的海量数据存储方法
Yuanbin et al. A data compression algorithm based on adaptive Huffman code for wireless sensor networks
CN104778210A (zh) 一种微博转发树和转发森林构建方法
CN102497450B (zh) 一种基于两级体系的分布式数据压缩处理方法
CN104753626B (zh) 一种数据压缩方法、设备及系统
CN115208414A (zh) 数据压缩方法、数据压缩装置、计算机设备及存储介质
CN112905571B (zh) 一种列车轨道交通传感器数据管理方法及装置
Buddhika et al. Living on the edge: Data transmission, storage, and analytics in continuous sensing environments
CN104123102B (zh) 一种ip硬盘及其数据处理方法
CN107679127A (zh) 基于地理位置的点云信息并行提取方法及其系统
CN104301435A (zh) 分布式集群传感器的数据集群编组方法和系统
WO2021147319A1 (zh) 一种数据处理方法、装置、设备及介质
CN107818106A (zh) 一种大数据离线计算数据质量校验方法和装置
Sari et al. The implementation of timestamp, bitmap and rake algorithm on data compression and data transmission from iot to cloud
CN108829930B (zh) 三维数字化工艺设计mbd模型的轻量化方法
CN106019369B (zh) 一种改进的seg‑y文件中地震数据无损压缩算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190219

RJ01 Rejection of invention patent application after publication