CN111211787A - 一种工业数据压缩方法、系统、存储介质及终端 - Google Patents

一种工业数据压缩方法、系统、存储介质及终端 Download PDF

Info

Publication number
CN111211787A
CN111211787A CN201910955788.4A CN201910955788A CN111211787A CN 111211787 A CN111211787 A CN 111211787A CN 201910955788 A CN201910955788 A CN 201910955788A CN 111211787 A CN111211787 A CN 111211787A
Authority
CN
China
Prior art keywords
data
wavelet coefficient
wavelet
coefficient
byte stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910955788.4A
Other languages
English (en)
Inventor
惠恩明
王懿琼
冯冰艳
江哲夫
杨小漫
李冲
杨建中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Wuhan Huazhong Numerical Control Co Ltd
Original Assignee
Huazhong University of Science and Technology
Wuhan Huazhong Numerical Control Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Wuhan Huazhong Numerical Control Co Ltd filed Critical Huazhong University of Science and Technology
Priority to CN201910955788.4A priority Critical patent/CN111211787A/zh
Publication of CN111211787A publication Critical patent/CN111211787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3068Precoding preceding compression, e.g. Burrows-Wheeler transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明属于工业大数据领域,并具体公开了一种工业数据压缩方法、系统、存储介质及终端。S100:获取用户所需的设备数据,将所述设备数据通过BWT算法进行转换,获得所述设备数据的整数字节流;S200:对所述整数字节流进行小波变换,并设计小波系数树,构建小波系数表,并将小波系数表建模过程中的参数写入模型参数表;S300:将所述小波系数表和位置掩码表引入嵌入式零树编码,生成主扫描符号表和辅扫描符号表;S400:联合所述模型参数表,对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码,输出编码后的码流;S500:将所述码流写入数控系统二维码,完成对所述设备数据的压缩。本发明的工业数据压缩方法,在数据无失真的前提下显著具备高压缩比。

Description

一种工业数据压缩方法、系统、存储介质及终端
技术领域
本发明属于工业大数据技术领域,更具体地,涉及一种工业数据压缩方法、系统、存储介质及终端。
背景技术
物联网是新一代信息技术的重要组成部分,指的是将各种信息设备与互联网结合起来而形成的一个巨大网络。目前工业设备大多通过有线网络、无线网络或移动网络来进行数据实时传输,这些工业数据传输方式存在有很大的弊端:1)由于工业环境的复杂性,有线网络、无线网络或移动网络的信号波动较大,易受环境影响而导致设备断网,那么工业数据一旦丢失便无法进行复现,数据完备性差;2)有些工业设备的硬件不支持以太网等网络接口,无法通过有线网络或无线网络实施数据采集;3)在军工领域由于信息高度安全等因素,工业设备不允许通过硬件网络接口进行数据传输。
为了解决上述问题,专利文献CN107957708A提出了一种基于二维码的数控机床远程数据采集方法及系统。该方法通过在数控装置上生成二维码来对机床数据进行本地缓存,使用移动终端扫描二维码获取数据并通过网络上传至服务器。该方法解决了由于网络信号波动而导致数据完备性差的问题,也为军工类数据采集提供了一种可实施方式。但是现有二维码技术的数据存储容量非常有限,以800×600分辨率的数控系统为例,单个二维码最优容量仅为800字节。在实际应用中,工业数据具备多类型、高频率等特点,特别是在有些应用场景中,数据采集频率可达毫秒级,现有的工业数据存储方案无法满足大容量工业数据存储的需求。
因此,为了优化机床数据二维码缓存方案,必须对二维码数据进行压缩处理,使单个二维码能够承载更多的数据。工业数据对精度要求极高,解压缩数据必须能够完全复原,并且为了能够支撑毫秒级采集频率,对压缩比提出了很高的要求。现有压缩技术主要分为有损压缩和无损压缩,其中,有损压缩的压缩率高,但数据会出现失真;无损压缩中数据可以完全复原,但压缩率低。因此,现有技术无法解决工业数据压缩所需要的无失真、高压缩比的需求。特别是,由于工业设备数据结构的复杂性,二维码所存储的数据除了数字,还包括汉字、英文字母等,数据分布杂乱、冗余性较差,这些都对工业数据压缩造成了更高的难度。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供一种工业数据压缩方法、系统、存储介质及终端,结合改进EZW算法和哈夫曼编码,在数据无失真的前提下显著具备高压缩比,解决了因工业环境的复杂性和网络的波动性带来的影响,为工业数据完备性提供强有力的保障。
为了实现上述目的,按照本发明的一个方面,提供一种工业数据压缩方法,包括如下步骤:
S100:获取用户所需的设备数据,将所述设备数据通过BWT算法进行转换,获得所述设备数据的整数字节流;
S200:对所述整数字节流进行小波变换,并设计小波系数树,构建小波系数表,并将小波系数表建模过程中的参数写入模型参数表;
S300:将所述小波系数表和位置掩码表引入嵌入式零树编码,生成主扫描符号表和辅扫描符号表;
S400:联合所述模型参数表,对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码,输出编码后的码流;
S500:将所述码流写入数控系统二维码,完成对所述设备数据的压缩。
进一步地,步骤S200包括:
S201:对所述整数字节流进行小波变换,获得小波系数表;
S202:根据所述小波系数表,设计一维小波系数树,并对小波系数表进行转换,将最左上角一个系数作为根节点,与其相关的次级高频系数作为该根节点的子节点,构建小波系数树模型。
进一步地,步骤S200中,所述一维小波系数树为二叉树结构,所述整数字节流经小波分解后得到多个分解子区间,每个分解子区间内包含高频或低频数据的子孙节点,除最后分解层和第一层外,每层任意一高频节点都有上一层级两个高频节点与之对应,最后一层父节点的每个低频系数分别与同层中高频系数对应。
进一步地,所述参数包括小波分解层数、字节流长度及初始阈值。
进一步地,所述初始阈值为:
Figure RE-GDA0002456153580000031
式中:∫(x)表示小波系数,
Figure RE-GDA0002456153580000032
表示取整。
进一步地,步骤S300包括:
S301:对所述小波系数树模型进行主扫描,并将小波系数的绝对值与初始阈值进行比较,大于的为重要系数,小于的为次要系数,重要系数按照数值的正值或负值编码为P或N;次要系数按照后续子孙节点不存在或存在重要系数编码为Z或T,并写入主扫描符号表;
S302:对步骤S301中主扫描生成的重要系数进行辅扫描,将当前系数值与阈值区间的中间值进行比较,在前端点至中间值内编为0,在中间值与后短点内编为1,并写入辅扫描符号表SL;
S303:将阈值缩小一半,重复步骤S301和步骤S302,直至阈值为1停止EZW编码。
进一步地,步骤S100中BWT算法包括:
S101:将所述设备数据进行Unicode码转换,再将Unicode码转为ASCII 码,使所述设备数据内的所有字符统一转换为数据范围为[-127,128]的整数字节流;
S102:对所述整数字节流进行循环移位,形成新的字节流,且新的字节流中相同字节的位置连续或者相邻。
进一步地,步骤S100中,所述设备数据类型为汉字、英文字母或数字中的一种或多种。
进一步地,步骤S100中,所述设备数据包括调机数据、状态数据、报警数据、寄存器数据或刀具数据中的一种或多种。
进一步地,S500中所述哈夫曼编码具体包括如下步骤:
S501:对生成的一个或多个所述主扫描符号表进行哈夫曼编码,将每个符号依照频次由小到大排序;
S502:每个符号之间插入分隔符,且重新定义频次最小字符的哈夫曼码值。
按照本发明的另一个方面,提供一种工业数据压缩系统,包括:
数据获取模块,用于采集用户所需的设备数据,将所述设备数据通过 BWT算法进行转换,获得所述设备数据的整数字节流;
小波变换模块,用于对所述整数字节流进行小波变换,并设计小波系数树,构建小波系数表,并将小波系数表建模过程中的参数写入模型参数表;
EZW模块,用于将所述小波系数表和位置掩码表引入嵌入式零树编码,生成主扫描符号表和辅扫描符号表;
哈夫曼编码模块,用于联合所述模型参数表,对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码,输出编码后的码流;
二维码生成模块,用于将所述码流写入数控系统二维码,完成对所述设备数据的压缩。
进一步地,所述数据获取模块包括:
转码模块,用于将所述设备数据进行Unicode码转换,再将Unicode 码转为ASCII码,使所述设备数据内的所有字符统一转换为整数字节流;
循环移位模块,用于对所述整数字节流进行循环移位,形成新的字节流。
进一步地,所述小波变换模块包括:
小波系数表生成模块,用于对所述整数字节流进行小波变换,获得小波系数表;
小波系数树构建模块,用于根据所述小波系数表,设计一维小波系数树,并对小波系数表进行转换,将最左上角一个系数作为根节点,与其相关的次级高频系数作为该根节点的子节点,构建小波系数树模型。
进一步地,所述EZW模块包括:
主扫描模块,用于对所述小波系数树模型进行主扫描,并将小波系数的绝对值与初始阈值T进行比较,大于T的为重要系数,小于T的为次要系数,并对主扫描结果进行编码;
辅扫描模块,用于对主扫描生成的重要系数进行辅扫描,将当前系数值与阈值区间的中间值进行比较,并进行编码。
进一步地,所述哈夫曼编码模块包括:
编码模块,用于对生成的一个或多个所述主扫描符号表进行哈夫曼编码,将每个符号依照频次由小到大排序;
分隔模块,用于对每个符号之间插入分隔符,且重新定义频次最小字符的哈夫曼码值。
按照本发明的另一个方面,提供一种存储介质,其中存储多条指令,所述指令适用于由处理器加载并执行;
S100:获取用户所需的设备数据,将所述设备数据通过BWT算法进行转换,获得所述设备数据的整数字节流;
S200:对所述整数字节流进行小波变换,并设计小波系数树,构建小波系数表,并将小波系数表建模过程中的参数写入模型参数表;
S300:将所述小波系数表和位置掩码表引入嵌入式零树编码,生成主扫描符号表和辅扫描符号表;
S400:联合所述模型参数表,对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码,输出编码后的码流;
S500:将所述码流写入数控系统二维码,完成对所述设备数据的压缩。
按照本发明的另一个方面,提供一种终端,包括处理器,用于实现各指令;以及存储介质,用于存储多条指令,所述指令适于处理器加载并执行;
S100:获取用户所需的设备数据,将所述设备数据通过BWT算法进行转换,获得所述设备数据的整数字节流;
S200:对所述整数字节流进行小波变换,并设计小波系数树,构建小波系数表,并将小波系数表建模过程中的参数写入模型参数表;
S300:将所述小波系数表和位置掩码表引入嵌入式零树编码,生成主扫描符号表和辅扫描符号表;
S400:联合所述模型参数表,对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码,输出编码后的码流;
S500:将所述码流写入数控系统二维码,完成对所述设备数据的压缩。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
1.本发明的工业数据压缩方法,结合改进EZW算法和哈夫曼编码,在数据无失真的前提下显著具备高压缩比,解决了因工业环境的复杂性和网络的波动性带来的影响,为工业数据完备性提供强有力的保障。
2.本发明的工业数据压缩方法,引入了BWT算法并对之进行改进,克服了工业数据低冗余、分布杂乱等压缩难点,不需要训练码本、预先传输和预分析数据特征等,方便迅速进行实施,使得机床数据二维码缓存方案的可操作性显著提高。
3.本发明的工业数据压缩方法,对BWT算法进行了改进,将所述设备数据进行Unicode码转换,再将Unicode码转为ASCII码,使所述设备数据内的所有字符统一转换为数据范围为[-127,128]的整数字节流,其中将汉字、符号等数据使用多字节进行表示,大大提高了汉字数据的压缩率。
4.本发明的工业数据压缩方法,通过改进的EZW编码方法,对小波变换后的数据进行主扫描,先扫描低频系数,再扫描高频系数,可跳过大量的零树根,提高数据压缩的效率,然后再对主扫描生成的重要系数进行辅扫描,逐步实现对数据的压缩,提高压缩率。
5.本发明的工业数据压缩方法,设计哈夫曼码流格式,适应EZW解码所需的小波分解层数、初始阈值、数组长度等必要信息。
附图说明
图1为本发明实施例一种工业数据压缩方法、系统、存储介质及终端的流程图;
图2为本发明实施例一种典型的小波系数树模型对比图((a)为二维最简小波系数树,(b)为一维最简小波系数树);
图3为本发明实施例一种典型的哈夫曼码流格式定义。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明实施例提供一种工业数据压缩方法、系统、存储介质及终端,主要包括以下步骤:
步骤1、获取用户所需的设备数据,将所述设备数据通过BWT算法进行数据转换,增加数据间的冗余度,对传统BWT算法的改进方式如下:
(1)先将数据进行Unicode码转换,再将Unicode码转为ASCII码,使得二维码内的所有字符可统一转换为数据范围为[-127,128]的整数字节流,其中将汉字、符号等数据使用多字节进行表示。为了更清楚的解释本发明,此处生成的字节流称为字节流A。
(2)对字节流A进行循环移位,形成新的字节流,本发明称为字节流 B。字节流B中相同字节的位置连续或者相邻,相较于字节流A,字节流B 具备更高的冗余度;
步骤2、将步骤1中的字节流B进行小波变换,对字节流B中的数据根据分辨率进行分解,比如按照空间及频率进行划分,将能量重新分配。本发明所述小波变换采用整数提升小波变换方法,将字节流B转换成小波系数表X1。
所述整数小波变换包括但不限于:S变换、S+P变换、5/3小波变换、 9/7小波变换,所述整数小波变换分为分裂、预测和更新三个步骤。以S 小波为例,S小波整数实现形式如下:
正变换:
分裂:Spilt(Sj)=(Sj-1,2k,Sj-1,2k+1);
提升:dj-1,k=Sj,2k+1-Sj,2k
更新:Sj-1,k=Sj,2k+|dj-1,k/2|;
逆变换:
Sj,2k=Sj-1,k-|dj-1,k/2|;
Sj,2k+1=dj-1,k+Sj,2k
其中,Sj表示;Sj-1,2k表示;dj-1,k表示;Sj,2k+1表示;Sj-1,k表示;
步骤3、根据步骤2中生成的所述小波系数表X1设计一维小波系数树。由于小波离散变换在多分辨率分析中,每一分解级产生的高频和低频系数在同一方向和相同空间位置上的所有小波系数的关系可用树结构来表示,即存在高一层系数同低一层系数对应的“父子”关系。零数模型是小波变换中的一种数据结构,零树的建立过程可以描述为:如果小波系数树中某个节点和它的子孙的绝对值均小于某个给定的阈值(Threshold),则由这些被认为不重要的系数组成的树为零树,该节点称为零树根,简记为“Z”。
步骤2中的字节流B经小波k(k=1,2,…)级分解后得到k+1个分解子区间,每个分解子区间内包含高频或低频数据的子孙节点,除最后分解层外,每层任意一高频节点(父节点)都有上一层级两个高频节点与之对应(除第1层外,第一层无子节点);最后一层父节点的每个低频系数分别与同层中高频系数对应,若高频部分中从左至右某系数的坐标为i,假设分解层数为k层时,高频任意一个系数点的子孙节点个数(N1w)可由如下式计算所得:
Figure RE-GDA0002456153580000091
根据上述一维小波树模型对步骤2生成的小波系数表进行重构,生成小波系数表X2。如图2所示为小波系数树模型对比图,图(a)为传统的二维最简小波系数树,图(b)为一维最简小波系数树。通过树结构构建位置掩码表,初始位置掩码表全置为“Z”,用来记录历次重要系数的位置便于辅扫描进一步精确重构值。
步骤4、将在步骤3进行一维小波系数建模过程中的参数写入模型参数表,参数包括但不限于小波分解层数、字节流B长度等。
步骤5、将步骤3输出的所述小波系数表X2和初始位置掩码表引入嵌入式零树编码,本发明实施例对传统嵌入式零树编码算法进行了改进,主要包括以下步骤:
步骤5.1、所述小波系数表X2的初始化阈值T为:
Figure RE-GDA0002456153580000101
式中:∫(x)表示所述小波系数,
Figure RE-GDA0002456153580000102
表示取整。
若所述小波系数表X2中的小波系数的绝对值大于阈值T则称其为重要系数,若小于阈值T则称为次要系数。将初始阈值T写入步骤4所述的模型参数表。
步骤5.2、扫描顺序按照先扫描低频系数,再扫描高频系数的原则,由于小波变换后的系数组成直接为低频在前,高频在后,故扫描顺序直接为顺序扫描,即直接从数组的第一个数据开始扫描,并按照上述规则对其中的小波系数表进行处理。本发明对扫描过程进行了改进:主扫描是将所述重要系数按照数值的正值或负值编为P或N,并写入主扫描符号表DL;将次要系数按照后续子孙节点存在或不存在重要系数编码为Z或T,并写入主扫描符号表DL。
步骤5.3、将步骤5.2中主扫描生成的重要系数进行辅扫描,即“0/1”判别:将当前系数值与本次阈值区间[Ti,2Ti)的中间值1.5Ti比较,在[Ti,1.5Ti) 内编为“0”,在[1.5Ti,2Ti)内编为“1”,并写入辅扫描符号表SL。
步骤5.4、输出步骤5.2生成的主扫描符号表DL和步骤5.3生成的辅扫描符号表SL。然后重新设置阈值T=T/2,重复步骤5.2和步骤5.3,直至 T=1时算法终止。
步骤6、联合步骤4所述的模型参数表,对步骤6.4所生成的一个或多个所述主扫描符号表DL进行哈夫曼编码,将每个符号依照频次由小到大排序,“P、T、N、Z”每个符号都代表一个终端节点(叶子节点),比较四种符号出现的频次,,“P、T、N、Z”各节点按照其从树根到叶子所经过路径的0或1编码。
为了适应EZW主扫描符号表和辅扫描符号表交替输出的特点,在之间插入辨识符“1111”进行分隔。“P、T、N、Z”各节点按照其从树根到叶子所经过路径的0或1编码,其中,为了与分隔符“1111”区分,将频次最小字符哈夫曼码值“111”定义为“1110”。
此外,为了适应EZW解码所需的小波分解层数、初始阈值、数组长度等必要信息,设计哈夫曼码流格式如下表1所示,其中“P、T、N、Z”对应码值为4bit,输出编码后的码流。
步骤7、将步骤6输出的码流写入数控系统二维码。
本发明实施例引入了BWT算法并对之进行改进,克服了工业数据低冗余、分布杂乱等压缩难点,不需要训练码本、预先传输和预分析数据特征等,方便迅速进行实施,使得机床数据二维码缓存方案的可操作性显著提高;另外,本发明为高频采集的工业数据提供了一种简单、高效的数据缓存备份方案,结合EZW算法和哈夫曼编码,在数据无失真的前提下显著具备高压缩比,解决了因工业环境的复杂性和网络的波动性带来的影响,给工业数据完备性提供强有力的保障,也为军工领域的工业数据采集提供了一种行之有效的实施方式。
本发明的另一个实施例提供一种工业数据压缩系统,包括:
数据获取模块,用于采集用户所需的设备数据,将所述设备数据通过 BWT算法进行转换,获得所述设备数据的整数字节流;
小波变换模块,用于对所述整数字节流进行小波变换,并设计小波系数树,构建小波系数表,并将小波系数表建模过程中的参数写入模型参数表;
EZW模块,用于将所述小波系数表和位置掩码表引入嵌入式零树编码,生成主扫描符号表和辅扫描符号表;
哈夫曼编码模块,用于联合所述模型参数表,对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码,输出编码后的码流;
二维码生成模块,用于将所述码流写入数控系统二维码,完成对所述设备数据的压缩。
进一步地,所述数据获取模块包括:
转码模块,用于将所述设备数据进行Unicode码转换,再将Unicode 码转为ASCII码,使所述设备数据内的所有字符统一转换为整数字节流;
循环移位模块,用于对所述整数字节流进行循环移位,形成新的字节流。
进一步地,所述小波变换模块包括:
小波系数表生成模块,用于对所述整数字节流进行小波变换,获得小波系数表;
小波系数树构建模块,用于根据所述小波系数表,设计一维小波系数树,并对小波系数表进行转换,将最左上角一个系数作为根节点,与其相关的次级高频系数作为该根节点的子节点,构建小波系数树模型。
进一步地,所述EZW模块包括:
主扫描模块,用于对所述小波系数树模型进行主扫描,并将小波系数的绝对值与初始阈值T进行比较,大于T的为重要系数,小于T的为次要系数,并对主扫描结果进行编码;
辅扫描模块,用于对主扫描生成的重要系数进行辅扫描,将当前系数值与阈值区间的中间值进行比较,并进行编码。
进一步地,所述哈夫曼编码模块包括:
编码模块,用于对生成的一个或多个所述主扫描符号表进行哈夫曼编码,将每个符号依照频次由小到大排序;
分隔模块,用于对每个符号之间插入分隔符,且重新定义频次最小字符的哈夫曼码值。
本发明另一个实施例提供一种数据存储设备,具体包括:
存储器及处理器;
存储器用于存储计算机程序,处理器用于执行存储器中存储的计算机程序时,可以实现如下步骤:
获取数控设备结构关系信息;
发送所述数控设备结构关系信息至关系存储层;
接收并存储所述数控设备结构关系信息,根据所述数控设备结构关系信息建立指向数据存储层的索引;
根据所述索引将所述数控设备结构关系信息中节点数据项的数值写入数据存储层对应的位置。
可以理解的是,上述说明的计算机装置中的处理器执行所述计算机程序时,也可以实现上述对应的各系统实施例中的功能,此处不再赘述。示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述存储系统中的执行过程。
所述计算机装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机装置可包括但不仅限于处理器、存储器。本领域技术人员可以理解,处理器、存储器仅仅是计算机装置的示例,并不构成对计算机装置的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述计算机装置还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor, DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述计算机装置的控制中心,利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质用于实现存储系统或者方法,其上存储有计算机程序,计算机程序被处理器执行时,处理器,可以用于执行如下步骤:
获取数控设备结构关系信息;
发送所述数控设备结构关系信息至关系存储层;
接收并存储所述数控设备结构关系信息,根据所述数控设备结构关系信息建立指向数据存储层的索引;
根据所述索引将所述数控设备结构关系信息中节点数据项的数值写入数据存储层对应的位置。
计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述存储数据方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器或者网络设备等)执行本发明各个实施例所述的方法。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (17)

1.一种工业数据压缩方法,其特征在于,包括如下步骤:
S100:获取用户所需的设备数据,将所述设备数据通过BWT算法进行转换,获得所述设备数据的整数字节流;
S200:对所述整数字节流进行小波变换,并设计小波系数树,构建小波系数表,并将小波系数表建模过程中的参数写入模型参数表;
S300:将所述小波系数表和位置掩码表引入嵌入式零树编码,生成主扫描符号表和辅扫描符号表;
S400:联合所述模型参数表,对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码,输出编码后的码流;
S500:将所述码流写入数控系统二维码,完成对所述设备数据的压缩。
2.根据权利要求1所述的一种工业数据压缩方法,其特征在于,步骤S200包括:
S201:对所述整数字节流进行小波变换,获得小波系数表;
S202:根据所述小波系数表,设计一维小波系数树,并对小波系数表进行转换,将最左上角一个系数作为根节点,与其相关的次级高频系数作为该根节点的子节点,构建小波系数树模型。
3.根据权利要求2所述的一种工业数据压缩方法,其特征在于,步骤S200中,所述一维小波系数树为二叉树结构,所述整数字节流经小波分解后得到多个分解子区间,每个分解子区间内包含高频或低频数据的子孙节点,除最后分解层和第一层外,每层任意一高频节点都有上一层级两个高频节点与之对应,最后一层父节点的每个低频系数分别与同层中高频系数对应。
4.根据权利要求1-3中任一项所述的一种工业数据压缩方法,其特征在于,所述参数包括小波分解层数、字节流长度及初始阈值。
5.根据权利要求4所述的一种工业数据压缩方法,其特征在于,所述初始阈值为:
Figure FDA0002227251550000021
式中:∫(x)表示小波系数,
Figure FDA0002227251550000022
表示取整。
6.根据权利要求1所述的一种工业数据压缩方法,其特征在于,步骤S300包括:
S301:对所述小波系数树模型进行主扫描,并将小波系数的绝对值与初始阈值进行比较,大于的为重要系数,小于的为次要系数,重要系数按照数值的正值或负值编码为P或N;次要系数按照后续子孙节点不存在或存在重要系数编码为Z或T,并写入主扫描符号表;
S302:对步骤S301中主扫描生成的重要系数进行辅扫描,将当前系数值与阈值区间的中间值进行比较,在前端点至中间值内编为0,在中间值与后短点内编为1,并写入辅扫描符号表SL;
S303:将阈值缩小一半,重复步骤S301和步骤S302,直至阈值为1停止EZW编码。
7.根据权利要求1所述的一种工业数据压缩方法,其特征在于,步骤S100中BWT算法包括:
S101:将所述设备数据进行Unicode码转换,再将Unicode码转为ASCII码,使所述设备数据内的所有字符统一转换为数据范围为[-127,128]的整数字节流;
S102:对所述整数字节流进行循环移位,形成新的字节流,且新的字节流中相同字节的位置连续或者相邻。
8.根据权利要求1或7所述的一种工业数据压缩方法,其特征在于,步骤S100中,所述设备数据类型为汉字、英文字母或数字中的一种或多种。
9.根据权利要求1或7所述的一种工业数据压缩方法,其特征在于,步骤S100中,所述设备数据包括调机数据、状态数据、报警数据、寄存器数据或刀具数据中的一种或多种。
10.根据权利要求1所述的一种工业数据压缩方法,其特征在于,S500中所述哈夫曼编码具体包括如下步骤:
S501:对生成的一个或多个所述主扫描符号表进行哈夫曼编码,将每个符号依照频次由小到大排序;
S502:每个符号之间插入分隔符,且重新定义频次最小字符的哈夫曼码值。
11.一种工业数据压缩系统,其特征在于,包括:
数据获取模块,用于采集用户所需的设备数据,将所述设备数据通过BWT算法进行转换,获得所述设备数据的整数字节流;
小波变换模块,用于对所述整数字节流进行小波变换,并设计小波系数树,构建小波系数表,并将小波系数表建模过程中的参数写入模型参数表;
EZW模块,用于将所述小波系数表和位置掩码表引入嵌入式零树编码,生成主扫描符号表和辅扫描符号表;
哈夫曼编码模块,用于联合所述模型参数表,对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码,输出编码后的码流;
二维码生成模块,用于将所述码流写入数控系统二维码,完成对所述设备数据的压缩。
12.根据权利要求11所述的一种工业数据压缩系统,其特征在于,所述数据获取模块包括:
转码模块,用于将所述设备数据进行Unicode码转换,再将Unicode码转为ASCII码,使所述设备数据内的所有字符统一转换为整数字节流;
循环移位模块,用于对所述整数字节流进行循环移位,形成新的字节流。
13.根据权利要求11所述的一种工业数据压缩系统,其特征在于,所述小波变换模块包括:
小波系数表生成模块,用于对所述整数字节流进行小波变换,获得小波系数表;
小波系数树构建模块,用于根据所述小波系数表,设计一维小波系数树,并对小波系数表进行转换,将最左上角一个系数作为根节点,与其相关的次级高频系数作为该根节点的子节点,构建小波系数树模型。
14.根据权利要求11所述的一种工业数据压缩系统,其特征在于,所述EZW模块包括:
主扫描模块,用于对所述小波系数树模型进行主扫描,并将小波系数的绝对值与初始阈值T进行比较,大于T的为重要系数,小于T的为次要系数,并对主扫描结果进行编码;
辅扫描模块,用于对主扫描生成的重要系数进行辅扫描,将当前系数值与阈值区间的中间值进行比较,并进行编码。
15.根据权利要求11所述的一种工业数据压缩系统,其特征在于,所述哈夫曼编码模块包括:
编码模块,用于对生成的一个或多个所述主扫描符号表进行哈夫曼编码,将每个符号依照频次由小到大排序;
分隔模块,用于对每个符号之间插入分隔符,且重新定义频次最小字符的哈夫曼码值。
16.一种存储介质,其中存储多条指令,所述指令适用于由处理器加载并执行;
S100:获取用户所需的设备数据,将所述设备数据通过BWT算法进行转换,获得所述设备数据的整数字节流;
S200:对所述整数字节流进行小波变换,并设计小波系数树,构建小波系数表,并将小波系数表建模过程中的参数写入模型参数表;
S300:将所述小波系数表和位置掩码表引入嵌入式零树编码,生成主扫描符号表和辅扫描符号表;
S400:联合所述模型参数表,对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码,输出编码后的码流;
S500:将所述码流写入数控系统二维码,完成对所述设备数据的压缩。
17.一种终端,包括处理器,用于实现各指令;以及存储介质,用于存储多条指令,所述指令适于处理器加载并执行;
S100:获取用户所需的设备数据,将所述设备数据通过BWT算法进行转换,获得所述设备数据的整数字节流;
S200:对所述整数字节流进行小波变换,并设计小波系数树,构建小波系数表,并将小波系数表建模过程中的参数写入模型参数表;
S300:将所述小波系数表和位置掩码表引入嵌入式零树编码,生成主扫描符号表和辅扫描符号表;
S400:联合所述模型参数表,对步骤S300生成的一个或多个主扫描符号表进行哈夫曼编码,输出编码后的码流;
S500:将所述码流写入数控系统二维码,完成对所述设备数据的压缩。
CN201910955788.4A 2019-10-09 2019-10-09 一种工业数据压缩方法、系统、存储介质及终端 Pending CN111211787A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910955788.4A CN111211787A (zh) 2019-10-09 2019-10-09 一种工业数据压缩方法、系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910955788.4A CN111211787A (zh) 2019-10-09 2019-10-09 一种工业数据压缩方法、系统、存储介质及终端

Publications (1)

Publication Number Publication Date
CN111211787A true CN111211787A (zh) 2020-05-29

Family

ID=70786962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910955788.4A Pending CN111211787A (zh) 2019-10-09 2019-10-09 一种工业数据压缩方法、系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN111211787A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637607A (zh) * 2020-12-21 2021-04-09 维沃移动通信有限公司 图像编码方法及装置
CN114726380A (zh) * 2022-06-07 2022-07-08 西南交通大学 一种监测数据无损压缩方法、装置、设备及可读存储介质
CN115883109A (zh) * 2023-02-16 2023-03-31 北京飞安航空科技有限公司 一种航空系统的数据压缩加密方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536532A (zh) * 2003-04-10 2004-10-13 中国科学院计算技术研究所 一种有效的图像压缩和加密融合的方法
US6912319B1 (en) * 1999-11-24 2005-06-28 Ge Medical Systems Information Technologies, Inc. Method and system for lossless wavelet decomposition, compression and decompression of data
CN101478311A (zh) * 2009-01-22 2009-07-08 浙江大学 bzip2压缩算法硬件加速实现方法
CN102473315A (zh) * 2009-08-20 2012-05-23 汤姆森特许公司 再次使用树结构编码和解码二元集的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912319B1 (en) * 1999-11-24 2005-06-28 Ge Medical Systems Information Technologies, Inc. Method and system for lossless wavelet decomposition, compression and decompression of data
CN1536532A (zh) * 2003-04-10 2004-10-13 中国科学院计算技术研究所 一种有效的图像压缩和加密融合的方法
CN101478311A (zh) * 2009-01-22 2009-07-08 浙江大学 bzip2压缩算法硬件加速实现方法
CN102473315A (zh) * 2009-08-20 2012-05-23 汤姆森特许公司 再次使用树结构编码和解码二元集的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曹相军: "大容量声波测井数据压缩算法研究", 《中国优秀硕士学位论文全文数据库基础科学辑》 *
詹为: "小波变换在视频图像压缩编码中的应用研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637607A (zh) * 2020-12-21 2021-04-09 维沃移动通信有限公司 图像编码方法及装置
CN114726380A (zh) * 2022-06-07 2022-07-08 西南交通大学 一种监测数据无损压缩方法、装置、设备及可读存储介质
CN115883109A (zh) * 2023-02-16 2023-03-31 北京飞安航空科技有限公司 一种航空系统的数据压缩加密方法及系统
CN115883109B (zh) * 2023-02-16 2023-05-09 北京飞安航空科技有限公司 一种航空系统的数据压缩加密方法及系统

Similar Documents

Publication Publication Date Title
US9454552B2 (en) Entropy coding and decoding using polar codes
CN111211787A (zh) 一种工业数据压缩方法、系统、存储介质及终端
CN111699696A (zh) 用于对字节流进行编码和解码的方法和设备
CN110518917B (zh) 基于Huffman编码的LZW数据压缩方法及系统
CA2452175A1 (en) Variable length coding method and variable length decoding method
US11923875B2 (en) Sorting network-based dynamic Huffman encoding method, apparatus and device
CN116506073A (zh) 一种工业计算机平台数据快速传输方法及系统
US11863799B2 (en) Image encoding method and apparatus, image decoding method and apparatus, and chip
CN112152634B (zh) 分块压缩编码方法、装置、计算机设备及可读存储介质
WO2024037091A1 (zh) 一种点云处理方法、装置及计算机设备、存储介质
WO2023241107A1 (zh) 点云处理方法、装置及计算机设备、存储介质
CN110602498B (zh) 一种自适应有限状态熵编码的方法
CN111711511B (zh) 频域数据有损压缩方法
CN104682966B (zh) 列表数据的无损压缩方法
Akimov et al. Lossless compression of color map images by context tree modeling
WO2023159820A1 (zh) 图像压缩方法、图像解压缩方法及装置
Mahmood et al. A feasible 6 bit text database compression scheme with character encoding (6BC)
CN112886967A (zh) 一种数据压缩编码处理的方法和设备
Kaur et al. An algorithm for lossless text data compression
CN114095036B (zh) 一种动态哈夫曼编码的码长生成装置
Razaq et al. Evolution and Advancement of Arithmetic Coding over Four Decades
CN114640357B (zh) 数据编码方法、设备及存储介质
US7612693B2 (en) Difference coding adaptive context model
WO2023205969A1 (zh) 点云几何信息的压缩、解压缩及点云视频编解码方法、装置
Karunakaran et al. Implementation of software compression techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200529

RJ01 Rejection of invention patent application after publication