CN104462524A - 一种物联网数据压缩存储方法 - Google Patents

一种物联网数据压缩存储方法 Download PDF

Info

Publication number
CN104462524A
CN104462524A CN201410808493.1A CN201410808493A CN104462524A CN 104462524 A CN104462524 A CN 104462524A CN 201410808493 A CN201410808493 A CN 201410808493A CN 104462524 A CN104462524 A CN 104462524A
Authority
CN
China
Prior art keywords
data
internet
things
file
numerical value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410808493.1A
Other languages
English (en)
Inventor
陈圣群
李静
施海柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Jiangxia University
Original Assignee
Fujian Jiangxia University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Jiangxia University filed Critical Fujian Jiangxia University
Priority to CN201410808493.1A priority Critical patent/CN104462524A/zh
Publication of CN104462524A publication Critical patent/CN104462524A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种物联网数据压缩存储方法，其包括以下步骤： S11:读入物联网数据文件，一次读若干条数据记录，其中需要检查每条记录的完整性；S12：载入系统定义的字符串常量表，形成数据字典A；S13:载入系统定义的数值取值范围表，形成数据字典B；S14:解析记录中的数据项，如果是字符串，则比对数据字典A，得到该字符串的编码；S15:解析记录中的数据项，如果是数值，则获取该数值的取值范围，对该数值做归一化处理，比对数据字典B,得到取值范围和数值的编码； S16:重复步骤S14和S15，直至压缩完成； S17：输出物联网数据压缩文件。本发明能保证良好的数据压缩比和数据压缩效果，最大限度的降低物联网数据存储要求和通信带宽要求。

Description

一种物联网数据压缩存储方法
技术领域
本发明涉及物联网数据压缩技术领域，特别是一种物联网数据压缩存储方法。
背景技术
数据压缩是为了解决IT系统的系统存储瓶颈和通信带宽瓶颈。数据压缩技术可以有效的消除各种冗余信息(时间冗余，空间冗余和知识冗余等)，来减小数据的大小，以达到节省存储空间和传输带宽的良好效果。数据压缩的实质是：将字符串从一种形式转化为另外一种形式，新的形式包含同等数据量并且数据文件显著减小。不同的应用场合，对压缩算法的特质有不同的要求。对于普通文件，一般要求无损压缩，压缩前的文件和解压后的文件必须完全一致，在实践中通用压缩算法可以担当这个角色。对于多媒体文件(声音，视频和图像)，人们可以容忍部分细节损失的类型，压缩过程中允许细节损失，专用压缩算法可以胜任这个角色，能保证压缩比和压缩效果。
数据压缩方法大体可以分为两种类型：专用数据压缩和通用数据压缩。专用数据压缩算法一般用于数据特征比较明确场合，其特点是压缩效率高，使用场合受限制。比较著名的专用数据压缩算法有：图像压缩算法(PNG/JPEG/GIF)和视频压缩算法(H264/MPEG-2/MPEG-4)等。通用数据压缩算法不假设数据特征和任何先验知识，其特点是压缩效率低，适用于各种数据类型。比较著名的通用数据压缩算法有：LZ77/LZ78/LZW,这三种算法算是业界标准。通用压缩算法的基本思想是：采用基于词典压缩技术，识别和消除数据中重复的数据。
物联网系统，一般由于分布式物联网子系统和物联网控制中心构成，其中分布式物联网子系统由大量叶节点和少量路由节点和网关节点构成。叶节点和路由节点双向通信，路由节点和网关节点双向通信，网关节点和物联网控制中心双向通信。物联网系统中的传输的数据有鲜明的数据特征，使用通用数据压缩不能保证最大的压缩比，对有限的通信带宽来说不可接受。物联网属于系统资源非常有效的网络，其中系统的存储资源和通信带宽资源非常有限，数据压缩对于突破系统硬件限制和保证系统稳定运行意义重大。
发明内容
本发明的目的是提供一种物联网数据压缩存储方法，能保证良好的数据压缩比和数据压缩效果，最大限度的降低物联网数据存储要求和通信带宽要求。
本发明采用以下方案实现：一种物联网数据压缩存储方法，其特征在于包括以下步骤：
步骤S11: 读入物联网数据文件，一次读若干条数据记录，其中需要检查每条记录的完整性；
步骤S12：载入系统定义的字符串常量表，形成数据字典A；
步骤S13:载入系统定义的数值取值范围表，形成数据字典B；
步骤S14:解析记录中的数据项，如果是字符串，则比对数据字典A，得到该字符串的编码；
步骤S15:解析记录中的数据项，如果是数值，则获取该数值的取值范围，对该数值做归一化处理，对于数据字典B,得到该取值范围和数值的编码；
步骤S16:重复步骤S14和S15，直至压缩完成；
步骤S17：输出物联网数据压缩文件。
在本发明一实施例中，还包括一解压方式，该解压方式包括以下步骤：
步骤S21：读入物联网数据压缩文件；
步骤S22：从文件中读取数据字典A,即字符串常量与编码的键值对表；
步骤S23：从文件中读取数据字典B，即数值取值范围和数值与编码的键值对表；
步骤S24：从文件中取一个编码，查表，如果该编码在数据字典A中，则恢复为字符串；
步骤S25：从文件中取一个编码，查表，如果该编码在数据字典B中，则恢复为数值；
步骤S26：重复步骤S24和S25，直至解压完成；
步骤S27：输出物联网数据文件。
本发明的核心思想是：最大限度的利用物联网系统的数据特征，针对性的设计出一种数据压缩比高，但是数据细节有损失的数据压缩方法。本发明方法简单，能保证良好的数据压缩比和数据压缩效果，最大限度的降低物联网数据存储要求和通信带宽要求。
附图说明
图1是本发明物联网数据压缩架构图。
图2是本发明物联网数据压缩算法流程图。
图3是本发明物联网数据压缩算法流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。
本发明的核心思想是：最大限度的利用物联网系统的数据特征，针对性的设计出一种数据压缩比高，但是数据细节有损失的数据压缩方法。
   对物联网数据特征的假设：物联网数据由有限个字符串常量和有限个数值组成。字符串全是来自系统定义，没有可变字符串；数值由传感器产生，并且数值范围来自系统定义；数值和传感器的对应关系来自系统定义。物联网数据并不包括物联网控制命令，即控制命令不适用该压缩算法。
物联网数据压缩算法在物联网网关节点(汇聚节点)和物联网控制中心。物联网子系统的数据，按照物联网网络协议，全部汇聚到网关节点存储，并由网关节点上传汇总数据到物联网控制中心，在网关节点实施数据压缩算法可以节省网关节点的存储空间并且减少上传的数据流量，这对移动数据流量有限的网关节点来说非常重要。物联网控制中心使用数据库存储物联网数据，历史数据备份时，也需要使用该数据压缩算法。控制中心使用该压缩方法后，数据备份文件的存储空间明显减小，对外提供数据服务时通信带宽要求明显降低。数据压缩算法部署方法如图1所示。
请参见图2，本实施例的物联网数据压缩的过程可分为以下几步：
S11：读入物联网数据文件，一次读若干条数据记录，其中需要检查每条记录的完整性。记录完整性规则，来自物联网领域知识，优选的实施方式是记录完整性规则配置文件，但不限于该方式。
S12：载入系统定义的字符串常量表，形成数据字典A。字符串常量表几种实现方式包括：(1)系统预定义;(2)动态生成，自动扩展;(3)系统预定义，当遇到未定义字符串时，自动扩展。数据字典A优选的实施方式是键值对表，键为编码，值对字符串，不同的字符串常量对于不同的键，最终由键值对构成一张键值对表格。
S13：载入系统定义的数值取值范围表，形成数据字典B。数值取值范围表的实现方式与字符串常量表实现方式类似，数据字典B的结构也与数据字典的结构类似。
S14：解析记录中的数据项，如果是字符串，则比对数据字典A，得到该字符串的编码。
S15：解析记录中的数据项，如果是数值，获取该数值的取值范围，对该数值做归一化处理，比对数据字典B，得到取值范围和数值的编码。
S16：重复步骤S14和S15，直至压缩完成。
S17：输出物联网数据压缩文件，优选的压缩文件构成方式为：数据字典A长度，数据字典A,数据字典B长度，数据字典B,物联网数据编码数据若干。
请参见图3，本发明实施例物联网数据解压的过程可分为以下几步：
步骤S21：读入物联网数据压缩文件。
步骤S22：从文件中读取数据字典A,即字符串常量与编码的键值对表。
步骤S23：从文件中读取数据字典B，即数值取值范围和数值与编码的键值对表。
步骤S24：从文件中取一个编码，查表，如果该编码在数据字典A中，则恢复为字符串。
步骤S25：从文件中取一个编码，查表，如果该编码在数据字典B中，则恢复为数值。
步骤S26：重复步骤S24和S25，直至解压完成。
步骤S27：输出物联网数据文件。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (2)

1.一种物联网数据压缩存储方法，其特征在于包括以下步骤：
步骤S11：读入物联网数据文件，一次读若干条数据记录，其中需要检查每条记录的完整性；
步骤S12：载入系统定义的字符串常量表，形成数据字典A；
步骤S13：载入系统定义的数值取值范围表，形成数据字典B；
步骤S14：解析记录中的数据项，如果是字符串，则比对数据字典A，得到该字符串的编码；
步骤S15：解析记录中的数据项，如果是数值，则获取该数值的取值范围，对该数值做归一化处理，对比数据字典B,得到取值范围和数值的编码；
步骤S16：重复步骤S14和S15，直至压缩完成；
步骤S17：输出物联网数据压缩文件。
2.根据权利要求1所述的物联网数据压缩存储方法，其特征在于：还包括一解压方式，该解压方式包括以下步骤：
步骤S21：读入物联网数据压缩文件；
步骤S22：从文件中读取数据字典A,即字符串常量与编码的键值对表；
步骤S23：从文件中读取数据字典B,即数值取值范围和数值与编码的键值对表；
步骤S24：从文件中取一个编码，查表，如果该编码在数据字典A中，则恢复为字符串；
步骤S25：从文件中取一个编码，查表，如果该编码在数据字典B中，则恢复为数值；
步骤S26：重复步骤S24和S25，直至解压完成；
步骤S27：输出物联网数据文件。
CN201410808493.1A 2014-12-24 2014-12-24 一种物联网数据压缩存储方法 Pending CN104462524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410808493.1A CN104462524A (zh) 2014-12-24 2014-12-24 一种物联网数据压缩存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410808493.1A CN104462524A (zh) 2014-12-24 2014-12-24 一种物联网数据压缩存储方法

Publications (1)

Publication Number Publication Date
CN104462524A true CN104462524A (zh) 2015-03-25

Family

ID=52908559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410808493.1A Pending CN104462524A (zh) 2014-12-24 2014-12-24 一种物联网数据压缩存储方法

Country Status (1)

Country Link
CN (1) CN104462524A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017097071A1 (zh) * 2015-12-09 2017-06-15 北京奇虎科技有限公司 数据压缩及解压的方法及装置
CN107729406A (zh) * 2017-09-25 2018-02-23 深圳达实智能股份有限公司 一种数据分类存储方法及装置
CN108062969A (zh) * 2018-01-05 2018-05-22 河北网星软件有限公司 一种体检信息流转系统及其信息流转方法
CN108304472A (zh) * 2017-12-28 2018-07-20 中国银联股份有限公司 一种数据压缩存储方法以及数据压缩存储装置
CN109389209A (zh) * 2017-08-09 2019-02-26 上海寒武纪信息科技有限公司 处理装置及处理方法
CN109478893A (zh) * 2016-07-25 2019-03-15 株式会社高速屋 数据压缩编码方法、解码方法、其装置及其程序
CN111030702A (zh) * 2019-12-27 2020-04-17 哈尔滨理工大学 一种文本压缩方法
CN114666406A (zh) * 2022-02-24 2022-06-24 国电南瑞科技股份有限公司 一种基于物模型的电力物联网数据压缩方法及装置
CN115967750A (zh) * 2021-10-09 2023-04-14 中国石油化工股份有限公司 用于随钻数据的压缩和传输方法、压缩装置和存储介质
CN116521063A (zh) * 2023-03-31 2023-08-01 北京瑞风协同科技股份有限公司 一种hdf5的试验数据高效读写方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020152219A1 (en) * 2001-04-16 2002-10-17 Singh Monmohan L. Data interexchange protocol
CN103412955A (zh) * 2013-09-01 2013-11-27 湖南人文科技学院 一种rfid数据压缩方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020152219A1 (en) * 2001-04-16 2002-10-17 Singh Monmohan L. Data interexchange protocol
CN103412955A (zh) * 2013-09-01 2013-11-27 湖南人文科技学院 一种rfid数据压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
夏秀峰等: "基于三层存储模型的RFID数据压缩存储方法", 《计算机应用》 *
陈磊: "溯源数据压缩存储研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017097071A1 (zh) * 2015-12-09 2017-06-15 北京奇虎科技有限公司 数据压缩及解压的方法及装置
CN109478893A (zh) * 2016-07-25 2019-03-15 株式会社高速屋 数据压缩编码方法、解码方法、其装置及其程序
CN109389209B (zh) * 2017-08-09 2022-03-15 上海寒武纪信息科技有限公司 处理装置及处理方法
CN109389209A (zh) * 2017-08-09 2019-02-26 上海寒武纪信息科技有限公司 处理装置及处理方法
CN107729406A (zh) * 2017-09-25 2018-02-23 深圳达实智能股份有限公司 一种数据分类存储方法及装置
CN107729406B (zh) * 2017-09-25 2020-06-02 深圳达实智能股份有限公司 一种数据分类存储方法及装置
CN108304472A (zh) * 2017-12-28 2018-07-20 中国银联股份有限公司 一种数据压缩存储方法以及数据压缩存储装置
CN108062969A (zh) * 2018-01-05 2018-05-22 河北网星软件有限公司 一种体检信息流转系统及其信息流转方法
CN111030702A (zh) * 2019-12-27 2020-04-17 哈尔滨理工大学 一种文本压缩方法
CN115967750A (zh) * 2021-10-09 2023-04-14 中国石油化工股份有限公司 用于随钻数据的压缩和传输方法、压缩装置和存储介质
CN115967750B (zh) * 2021-10-09 2024-08-30 中国石油化工股份有限公司 用于随钻数据的压缩和传输方法、压缩装置和存储介质
CN114666406A (zh) * 2022-02-24 2022-06-24 国电南瑞科技股份有限公司 一种基于物模型的电力物联网数据压缩方法及装置
CN114666406B (zh) * 2022-02-24 2023-11-21 国电南瑞科技股份有限公司 一种基于物模型的电力物联网数据压缩方法及装置
CN116521063A (zh) * 2023-03-31 2023-08-01 北京瑞风协同科技股份有限公司 一种hdf5的试验数据高效读写方法及装置
CN116521063B (zh) * 2023-03-31 2024-03-26 北京瑞风协同科技股份有限公司 一种hdf5的试验数据高效读写方法及装置

Similar Documents

Publication Publication Date Title
CN104462524A (zh) 一种物联网数据压缩存储方法
EP3560198B1 (en) Low-complexity sign prediction for video coding
US9699468B2 (en) Adaptive screen and video coding scheme
KR101118089B1 (ko) 가변장 복호화 장치 및 방법
US8942502B2 (en) Parallelization of variable length decoding
WO2018103568A1 (zh) 云桌面内容编码与解码方法及装置、系统
CN106202213B (zh) 一种fpga二进制文件压缩、解压方法及压缩、解压装置
GB2523347A (en) Encoder, decoder and method
KR102165070B1 (ko) 콘텍스트 트리를 사용한 비디오 신택스 엘리먼트들의 코딩
AU2018347343A1 (en) Binary arithmetic coding with progressive modification of adaptation parameters
US10194153B1 (en) Bin string coding based on a most probable symbol
US20030018647A1 (en) System and method for data compression using a hybrid coding scheme
US11823686B2 (en) Methods, devices and computer program products for lossless data compression and decompression
CN103428529A (zh) 一种媒体云中视频数据编码传输方法
US11870467B2 (en) Data compression method and apparatus, and computer readable storage medium
Mrewa et al. Optimizing Medical IoT Disaster Management with Data Compression
WO2022269469A1 (en) Method, apparatus and computer program product for federated learning for non independent and non identically distributed data
US9781418B1 (en) Adaptive deadzone and rate-distortion skip in video processing
WO2022183335A1 (zh) 图像编解码方法、编码器、解码器及存储介质
CN112804562B (zh) 基于片重组的视频编码方法、装置、终端及介质
Alrassan et al. Improve XML Web Services' Performance Using SOAP Compression
US9560364B2 (en) Encoding image data with quantizing and inverse-quantizing pixel values
Muthuchamy A study on various data compression types and techniques
Reddy et al. A novel approach of lossless image compression using hashing and Huffman coding
Mohamed Wireless Communication Systems: Compression and Decompression Algorithms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150325

RJ01 Rejection of invention patent application after publication