CN111431538B - 一种嵌入式系统的数据压缩方法、系统及存储介质 - Google Patents

一种嵌入式系统的数据压缩方法、系统及存储介质 Download PDF

Info

Publication number
CN111431538B
CN111431538B CN202010201871.5A CN202010201871A CN111431538B CN 111431538 B CN111431538 B CN 111431538B CN 202010201871 A CN202010201871 A CN 202010201871A CN 111431538 B CN111431538 B CN 111431538B
Authority
CN
China
Prior art keywords
data
array
variable
preset value
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010201871.5A
Other languages
English (en)
Other versions
CN111431538A (zh
Inventor
戴阳
姚宇青
杨胜龙
张衡
樊伟
范秀梅
崔雪森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Sea Fishery Research Institute Chinese Academy of Fishery Sciences
Original Assignee
East China Sea Fishery Research Institute Chinese Academy of Fishery Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Sea Fishery Research Institute Chinese Academy of Fishery Sciences filed Critical East China Sea Fishery Research Institute Chinese Academy of Fishery Sciences
Priority to CN202010201871.5A priority Critical patent/CN111431538B/zh
Publication of CN111431538A publication Critical patent/CN111431538A/zh
Application granted granted Critical
Publication of CN111431538B publication Critical patent/CN111431538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/55Compression Theory, e.g. compression of random number, repeated compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种嵌入式系统的数据压缩方法、系统及存储介质,方法包括:将所述原始数据分为大于15的数据和小于或等于15的数据两种类型,并得到标记数组;设置标记变量,用于标记暂存变量中是否保存有效数据;将读取的原始数据根据预设值15和标记变量的进行不同情况划分并存储,直到所述原始数据压缩存储完毕,得到压缩后的数据数组;对所述标记数组按照8位进行分隔,得到待传输的标记数组,按标记数组在前,压缩后的数据数组在后的方式组成完整的压缩数组。本发明适用于嵌入式系统,计算量小,适用于在计算能力较弱的系统上做数据压缩处理。

Description

一种嵌入式系统的数据压缩方法、系统及存储介质
技术领域
本发明涉及数据压缩技术领域,特别是涉及一种嵌入式系统的数据压缩方法、系统及存储介质。
背景技术
数据压缩分为有损压缩和无损压缩。有损压缩算法通过移除在保真情形下需要大量的数据去存储的小细节,从而使文件变小。在有损压缩里,因某些必要数据的移除,不可能完全恢复原文件。有损压缩主要用来存储图像和音频文件,可以达到一个比较高的压缩率。无损压缩是指使用压缩后的数据进行重构(或者叫做还原,解压缩),重构后的数据与原来的数据完全相同,不丢失任何数据。无损数据压缩被广泛的应用于计算机领域。无损压缩算法的基本原理是:任意一个非随机文件都含有重复数据,可以用这些重复数据的出现概率进行统计建模压缩。基于它们出现的频率,配置最短的代码给最常用的数据。这些技术包括熵编码(entropy encoding),游程编码(run-length encoding),以及字典压缩。
发明于1838年的莫尔斯电码,是较早的数据压缩的实例,主要原理是把英语中常见的字母,如“e”和“T”用较短的莫尔斯电码来表示。后来,随着电脑主机在1949年开始崭露头角,克劳德·香农和罗伯特·范诺发明了香农-范诺编码,算法的主要原理是在一个数据块内为出现概率较低的符号分配较短的编码长度,从而用更短的方式来表示数据。1951年,罗伯特·范诺的学生哈夫曼发明了哈夫曼编码,这是最优的二进制编码方法。
早期香农-范诺编码和哈夫曼编码使用硬件或者硬编码来实现,直到20世纪70年代,随着互联网和在线软件存储的发展,哈夫曼编码才实现基于输入数据动态生成。后来,在1977年,Abraham Lempel和Jacob Ziv发表了开创性的LZ77算法,这是第一种利用字典对数据进行压缩的算法。更具体地,LZ77使用一个常常被称为动态词典的滑动窗口模式。在1978年,他们发布了类似的也使用词典的第二个版本LZ78算法,不同于LZ77算法,LZ78算法通过解析输入数据生成静态词典,而不是生成动态词典。随着LZ77和LZ78算法的迅速普及,两者都产生了许多变种,包括DEFLATE、LZMA、LZO、LZW、LZC算法。由于LZ78专利问题,出现了基于DEFLATE算法的gzip压缩格式和基于BWT变换的bzip2压缩格式。
以上的几种数据压缩的方法,都对算法运行的硬件条件要求较高,并且适用较大的数据,在基于嵌入式系统的传感器小规模数据压缩上应用效果不佳。例如:在远洋渔业生产中应用较多的安装于浮标上的简易声呐鱼探,是用一个字节的整数来表示回声强度。数据通过卫星通讯方式传回使用者,由于卫星通讯费用昂贵,对这类数据在浮标上进行压缩后再传送可以节省通讯费用。由于价格和功耗的限制,浮标上一般采用单片机或嵌入式系统作为主控单元,计算能力较弱,一般的数据压缩算法效果不佳。
发明内容
本发明所要解决的技术问题是提供一种嵌入式系统的数据压缩方法、系统及存储介质,能够有效压缩数据。
本发明解决其技术问题所采用的技术方案是:提供一种嵌入式系统的数据压缩方法、系统及存储介质,方法包括:
步骤(1):采集原始数据,将所述原始数据分为大于预设值的数据,和小于或等于所述预设值的数据,并进行标记,每个字节(byte)原始数据对应一个标记字节的位(bit),得到标记数组;
设置标记变量,用于标记暂存变量中是否保存有效数据,当所述暂存变量中存储有效数据时,则所述标记变量为“true”,当所述暂存变量中没有存储有效数据时,则所述标记变量为“false”;
步骤(2):依次读取数据,当读取的第一个数据大于所述预设值时,则将所述第一个数据直接存储到内存中,此时所述标记变量为“false”;当所述第一个数据小于或等于所述预设值时,则将所述第一个数据左移4位后暂存在暂存变量中,此时所述标记变量为“true”;
步骤(3):读取下一个数据,当下一个数据大于所述预设值且所述标记变量为“true”时,则将所述下一个数据的高四位数据和低四位数据通过“位与”运算截取出来;将所述高四位数据右移4位后和所述暂存变量中的数据进行“位或”运算得到一个新的字节数据,并存储到内存中,将所述低四位数据左移4位后暂存在所述暂存变量中,此时所述标记变量为“true”;
当所述下一个数据大于所述预设值且所述标记变量为“false”时,则将所述下一个数据直接存储到内存中,此时所述标记变量为“false”;
当所述下一个数据小于或等于所述预设值且所述标记变量为“true”时,则将所述下一个数据和所述暂存变量中的数据进行“位或”运算得到一个新的字节数据,并存储到内存中,此时所述标记变量为“false”;
当所述下一个数据小于或等于所述预设值且所述标记变量为“false”时,则将所述下一个数据左移4位后暂存在所述暂存变量中,此时所述标记变量为“true”;
步骤(4):重复所述步骤(3),直到所述原始数据压缩存储完毕,上述步骤存储在内存中的数据为压缩后的数据数组;
步骤(5):对所述标记数组按照8位(bit)一组进行分隔,得到待传输的标记数组,若所述待传输的标记数组不足8位,则填充0,补充至8位;
步骤(6):将所述待传输的标记数组和压缩后的数据数组组成完整的压缩数组。
所述步骤(1)中进行标记时,将大于所述预设值的原始数据用1标记,将小于或等于预设值的原始数据用0标记。
所述步骤(2)中,所述第一个小于或等于所述预设值的数据,在所述暂存变量中只保存低4位数据。
所述步骤(3)中将所述下一个数据的高四位数据和低四位数据通过“位与”运算截取出来具体为:设置二进制数据high=11110000,所述high用于选取大于所述预设值的二进制形式数据的高4位数据,设置二进制数据low=00001111,所述low用于选取大于所述预设值的二进制形式数据的低4位数据。
每个所述原始数据都是8位长度的二进制形式的整形数据。
所述预设值为15。
所述步骤(6)具体为:按所述待传输的标记数组在前,所述压缩后的数据数组在后的方式组成完整的压缩数组。
本发明说明书提供一种嵌入式系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序;所述处理器执行所述计算机程序时实现上述数据压缩方法的步骤。
本发明说明书实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述数据压缩方法的步骤。
有益效果
由于采用了上述的技术方案,本发明与现有技术相比,具有以下的优点和积极效果:本发明在数据压缩过程中主要进行了移位、位与、位或等运算,计算量小且数据压缩效果好,有效节省了存储空间,对系统硬件要求低,适用于在计算能力较弱的系统上做数据压缩处理。
附图说明
图1是本发明实施方式中数据压缩对比图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种嵌入式系统的数据压缩方法,采集原始数据,将所述原始数据分为大于预设值的数据,和小于或等于所述预设值的数据,并得到标记数组;设置标记变量,用于标记暂存变量中是否保存有效数据;依次读取数据,当读取的数据大于预设值时,则将数据直接存储到内存中;当读取的数据小于或等于预设值时,则将数据左移4位后暂存在暂存变量中;读取下一个数据,当下一个数据大于预设值且标记变量为“true”时,则将下一个数据的高四位数据和低四位数据通过“位与”运算截取出来;将高四位数据右移4位后和暂存变量中的数据进行“位或”运算得到一个新的字节数据,并存储到内存中,将低四位数据左移4位后暂存在暂存变量中;当下一个数据大于预设值且标记变量为“false”时,则将下一个数据直接存储到内存中;当下一个数据小于或等于预设值且标记变量为“true”时,则将下一个数据和暂存变量中的数据进行“位或”运算得到一个新的字节数据,并存储到内存中;当下一个数据小于或等于预设值且标记变量为“false”时,则将下一个数据左移4位后暂存在暂存变量中;重复上述步骤,直到所述原始数据压缩存储完毕,得到压缩后的数据数组;将标记数组与压缩后的数据数组组合成压缩数组。
本发明的实施方式提供一种供计算能力较弱的嵌入式系统使用的数据压缩算法,其数据压缩算法原理如下:
一、压缩后的数据由两部分组成:(1)压缩后的数据数组,将该数组中的每一个字节划分为高半字节(高4位)和低半字节(低4位),数据数组以半字节长度为单位进行操作;(2)用于标记压缩后数据原始长度的标记数组,标记数据用于标记原始数据的大小,标记数据以位为(bit)单位进行操作,每个字节(byte)由独立的8个位组成,每个位顺序对应一个原始数据,标记数组的第一个字节的最高位,对应原始数据的第一个数据,标记数组的次高位,对应原始数据的第二个数据,依次类推。如果该数据大于预设值,则将对应位置“1”,小于等于预设值,则置“0”,其位置从第一字节的最高位开始与每个原始数据一一对应。
二、对每个原始数据分为两种类型,大于预设值的数据和小于等于预设值的数据。若一个数据大于预设值,则在压缩后的数据数组中占据两个半字节的长度,并将标记数组的对应位置“1”;若小于或等于预设值,则舍弃数据的高4位,将数据的低4位保存在压缩后的数据数组中,此时数据占据半个字节,并将标记数组的对应位置“0”。
如图1所示,为本实施方式的数据压缩对比图,随机抽取5组对比数据,没有压缩之前的数据都要占据160byte空间,而通过本实施方式压缩方法计算之后,可以看出第一组和第二组数据经过压缩之后,数据量均在130byte左右,而另外三组数据经过本实施方式压缩方法计算之后,数据量均小于120byte,节约了存储空间。
本实施方式中的内容涉及5个名词概念及3个运算符,为避免混淆,先分别解释如下:
原始数据:未经压缩的原始数据。
压缩后的数据数组:用于存储压缩后的数据的数组。
标记数组:用于标识数据的特征,标记数组的每一位(bit)对应原始数据的一个数据(byte),原始数据值大于预设值,则该位为“1”;小于或等于预设值,则该位为“0”。
暂存变量:在数据压缩过程中用于暂时存储产生的中间数据。
标记变量:一个布尔变量,用于指示暂存变量中的是否保存有效数据。
“&”表示“位与”运算符号:用于数据的位与操作。
“|”表示“位或”运算符号:用于数据的位或操作。
bitshift()表示移位函数:包含两个参数,第一个参数为待处理数据,第二个参数为移位个数,取值为正数时左移,取值为负数时右移,且移入的数据位全部补零。
本实施方式的具体操作方法包括以下步骤:
(1)建立一个长度为一个字节的数据变量,用于暂存数据,称为暂存变量;建立一个对暂存数据内容进行标记的标记变量,如果暂存变量中保存有效数据,则标记变量为“true”,该暂存变量中没有保存有效数据,则标记变量为“false”。
(2)程序读取第一个原始数据,判断该数据的大小;本实施方式中选用的预设值为15,如果该数据大于15,将标记数组对应的位置“1”,并将这个数据存储在压缩后的数据数组中,此时暂存变量中没有有效数据,标记变量为“false”;如果数据小于或等于15,将标记数组对应的位置“0”,然后将该数据左移4位,然后保存在暂存变量中,并设置的标记变量为“true”。
(3)读入下一个原始数据,将该数据与“15”作比较,根据比较结果,分别执行步骤(4)或(5)。
(4)如果大于15,将标记数组对应的位置“1”;查询标记变量状态,如果为“false”,则将这个数据顺序写入压缩后的数据数组中,并保持标记变量状态为“false”;如果标志位状态为“true”,则将这次读入的原始数据通过分别与“0xF0”和“0x0F”做“位与”运算,分别取出其高4位和低4位,并将高4位数据右移4位,然后与暂存变量做“位或”运算,将原暂存变量中的4位数据和这次右移后的高4位数据合成一个完整字节,将这个完整字节存入压缩后的数据数组;将这次获得的低4位数据左移4位,写入暂存变量,并设置标记变量为“true”。
(5)如果小于等于15,将标记数组对应的位置“0”;查询标记变量状态,如果为“false”,将该数据左移4位,然后写入暂存变量中,并标记变量设置为“true”;如果标记变量状态为“true”,则将这个数据与暂存变量做“位或”运算,将原暂存变量中的高4位数据和这次获得的低4位数据合成一个完整字节,将这个完整字节存入压缩后的数据数组,并设置标记变量为“false”。
(6)返回步骤(3),重复以上步骤(3)到(5)直到原始数据处理完毕;当最后一个原始数据处理完后,如果标记变量状态为“true”,说明暂存变量中的高4位还是有效数据,将暂存变量与“0xF0”做“位与”运算,确保其低4位为零后存入压缩后的数据数组。
(7)整理标记数组,如果所用的有效标志位不是8的整数倍,在其后面补“0”,使其为完整的字节。
(8)按标记数组数据在前,压缩后的数据数组在后的方式,重新组成一个新的数组,这个数组就是本压缩算法最终得到的压缩数组。
(9)至此,完成了整个的数据压缩。
本实施方式的数据解压缩方法如下:根据已知的数据长度,将压缩数组重新分解成标记数组和压缩后的数据数组,并确定标记数组的有效位数,该位数与原始数据长度的字节数一致。按顺序读取标记数组和压缩后的数据数组,对于标记数据按位读取,如果为“1”则在压缩后的数据数组取连续的两个半字节,作为一个原始数据,如果标记数组位为“0”则在压缩后的数据数组取半个字节作为数据的低4位,并将高4位补“0”恢复为一个字节的原始数据。
优选地,本实施方式可以应用在简易声呐数据的压缩方面,具体包括以下步骤:
(1)简易声呐采集的回声数据为8位长度的无符号整型数,保存在数组a(i)中,其数值在0到255之间,水体本身回声数值较小,水中障碍物回声数值较大。首先对数据进行预处理,划分出大于15和小于15的两种数据并用“1”和“0”标记它们所在数组中的相对位置,存放在标记数组c(j)中,数组c(j)数据的每一位(bit)对应一个原始数据。暂存变量d的初值为0x00,标记变量e的初值为“false”,压缩后的数据存储在数组b(k)中。
(2)读取第一个数据。如果a(1)>00001111,则数组元素c(1)的最高位置“1”,b(1)=a(1),e=false;如果a(1)≤00001111,则数组元素c(1)的最高位置“0”,d=bitshift(a(1)&0x0F,4),e=true。
(3)读入下一个数据,将该数据与“00001111”作比较,根据比较结果,分别执行步骤(4)或(5)。
(4)若a(2)>00001111并且e=false,则数组c(j)的元素中的相应位置“1”,b(2)=a(2),e=false;若a(2)>00001111并且e=true,则数组c(j)的元素中的相应位置“1”,d=bitshift(a(2)&0xF0,-4)|d,b(1)=d,d=bitshift(a(2)&0x0F,4),e=true。
(5)若a(2)≤00001111并且e=false,则数组c(j)的元素中的相应位置“0”,d=bitshift(a(2)&0x0F,4),e=true;若a(2)≤00001111并且e=ture,则数组c(j)的元素中的相应位置“0”,d=(a(2)&0x0F)|d,b(1)=d,e=false。
(6)返回步骤(3),重复以上步骤(3)到(5)直到所有的原始数据处理完毕;如果e=true,则b(k+1)=d。
(7)整理标记数组c(j)。如果所用的有效标志位数不能被8整除,则在其后面补“0”,使其为完整的字节。
(8)按照c(j)在前,b(k)在后的方式重新组成一个新的数组,这个数组就是本压缩方法最终得到的压缩数组。
下面通过一个具体的实施例来进一步说明本发明。
(1)首先选取了一组总数为160的数据,数据数组a(i)其中1≤i≤160,该数组如表1所示。
表1原始数据数组a(i)
168 169 157 125 105 85 55 54 64 81 89 74 62 65 63 74
66 51 50 35 39 43 47 39 23 16 14 30 57 36 33 25
20 23 28 26 18 20 17 17 19 15 11 8 12 13 10 7
8 9 8 10 10 11 9 8 8 6 6 4 5 6 4 7
6 5 5 4 4 3 5 4 2 3 6 5 4 5 6 5
4 3 6 6 5 5 3 5 3 2 4 5 5 5 5 5
3 2 5 6 6 4 5 100 107 107 106 102 90 61 53 23
22 18 17 11 13 13 11 17 13 12 14 17 16 11 10 11
13 10 10 9 8 9 7 8 9 7 5 6 7 9 6 7
6 4 7 8 7 9 6 5 5 5 7 6 7 8 8 7
(2)观察表1发现当1≤i≤26时,a(i)均大于15,故将a(i)前26个数据直接存入数组b(k),1≤k≤26,e=false,数组c(j)的元素中的相应位置“1”。
(3)k=27,当i=27时,a(27)≤00001111,e=false,故数组c(j)的元素中的相应位置“0”,d=bitshift(a(27)&0x0F,4),e=true。i=28,k=27。
(4)k=27,当i=28时,a(28)>00001111,e=true,故数组c(j)的元素中的相应位置“1”,b(27)=bitshift(a(28)&0xF0,-4)|d,d=bitshift(a(28)&0x0F,4),e=true。i=29,k=28。
(5)k=28,当i=29时,a(29)>00001111,e=true,故数组c(j)的元素中的相应位置“1”,b(28)=bitshift(a(29)&0xF0,-4)|d,d=bitshift(a(29)&0x0F,4),e=true。i=30,k=29。
(6)k=29,当30≤i≤41时,a(i)>00001111,e=true,故数组c(j)的元素中的相应位置“1”,b(29)=bitshift(a(i)&0xF0,-4)|d,d=bitshift(a(i)&0x0F,4),e=true。i=i+1,k=k+1。
(7)继续执行步骤(6)的操作,直到i不满足条件。
(8)k=41,当i=42时,a(42)≤00001111,e=true,故数组c(j)的元素中的相应位置“0”,b(41)=(a(42)&0x0F)|d,e=false。i=43,k=42。
(9)k=42,当i=43时,a(43)≤00001111,e=false,则数组c(j)的元素中的相应位置“0”,d=bitshift(a(43)&0x0F,4),e=true,i=44,k=42。
(10)k=42,当i=44时,a(44)≤00001111,e=true,则数组c(j)的元素中的相应位置“0”,b(42)=(a(44)&0x0F)|d,e=false。i=45,k=43。
(11)k=43,当45≤i≤102时重复步骤(9)和(10)的操作,并将i和k的数值做相应的增加。
(12)k=72,当i=103时,a(103)≤00001111,e=false,则数组c(j)的元素中的相应位置“0”,d=bitshift(a(103)&0x0F,4),e=true。i=104,k=72。
(13)k=72,当i=104时,a(104)>00001111,e=true,故数组c(j)的元素中的相应位置“1”,b(72)=bitshift(a(104)&0xF0,-4)|d,d=bitshift(a(104)&0x0F,4),e=true。i=105,k=73。
(14)k=73,当105≤i≤115时,重复步骤(12)和(13)的操作,并将i和k的数值做相应的增加。
(15)k=84,当i=116时,a(116)≤00001111,e=true,故数组c(j)的元素中的相应位置“0”,b(84)=(a(116)&0x0F)|d,e=false。i=117,k=85。
(16)k=85,当i=117时,a(117)≤00001111,e=false,故数组c(j)的元素中的相应位置“0”,d=bitshift(a(117)&0x0F,4),e=true。i=118,k=85。
(17)k=85,当i=118时,a(118)≤00001111,e=true,故数组c(j)的元素中的相应位置“0”,b(85)=(a(118)&0x0F)|d,e=false。i=119,k=86。
(18)k=86,当i=119时,a(119)≤00001111,e=false,故数组c(j)的元素中的相应位置“0”,d=bitshift(a(119)&0x0F,4),e=true。i=120,k=86。
(19)k=86,当i=120时,a(120)>00001111,e=true,故数组c(j)的元素中的相应位置“1”,b(86)=bitshift(a(120)&0xF0,-4)|d,d=bitshift(a(120)&0x0F,4),e=true。i=121,k=87。
(20)k=87,当i=121时,a(121)≤00001111,e=true,故数组c(j)的元素中的相应位置“0”,b(87)=(a(121)&0x0F)|d,e=false。i=122,k=88。
(21)k=88,当i=122时,a(122)≤00001111,e=false,故数组c(j)的元素中的相应位置“0”,d=bitshift(a(122)&0x0F,4),e=true。i=123,k=88。
(22)k=88,当i=123时,a(123)≤00001111,e=true,故数组c(j)的元素中的相应位置“0”,b(88)=(a(123)&0x0F)|d,e=false。i=124,k=89。
(23)k=89,当i=124时,a(124)>00001111,e=false,故数组c(j)的元素中的相应位置“1”,b(89)=a(124),e=false。i=125,k=90。
(24)k=90,当i=125时,a(125)>00001111,e=false,故数组c(j)的元素中的相应位置“1”,b(90)=a(125),e=false。i=126,k=91。
(25)k=91,当126≤i≤159时,重复步骤(9)和(10)的操作,并将i和k的数值做相应的增加。
(26)k=108,当i=160时,a(160)≤00001111,e=false,故数组c(j)的元素中的相应位置“0”,b(108)=a(160)。
最后得到的压缩后的数据数组如表2所示,标记数组c(j)如表3所示。
表2压缩后的数据数组b(k)
168 169 157 125 105 85 55 54 64 81 89 74
62 65 63 74 66 51 50 35 39 43 47 39
23 16 240 240 176 96 16 144 80 112 208 176
48 80 16 16 63 184 205 167 137 138 171 152
134 100 86 71 101 84 67 84 35 101 69 101
67 102 85 53 50 69 85 85 50 86 100 112
96 240 240 224 112 176 240 80 112 112 48 27
221 176 29 206 17 16 186 189 170 152 151 137
117 103 150 118 71 135 150 85 87 103 136 7
表3标记数组c(j)
11111111 11111111
11111111 11011111
11111111 10000000
00000000 00000000
00000000 00000000
00000000 00000000
00000001 11111111
11100001 00011000
00000000 00000000
00000000 00000000
压缩前数组a(i)需要160byte的空间,压缩后的数组b(k)需要108byte的空间,加上传输数组c(j)需要的20byte空间,共128byte。
由此可见,本发明在数据压缩过程中主要进行了移位、位与、位或等运算,计算量小且数据压缩效果好,有效节省了存储空间,对系统硬件要求低,适用于低计算能力系统使用的做数据压缩处理。
本发明的第二实施方式涉及一种嵌入式系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例所述压缩数据方法的步骤。
另外,在本发明中的各功能可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (9)

1.一种嵌入式系统的数据压缩方法,其特征在于,包括:
步骤(1):采集原始数据,将所述原始数据分为大于预设值的数据,和小于或等于所述预设值的数据,并进行标记,得到标记数组;
设置标记变量,用于标记暂存变量中是否保存有效数据,当所述暂存变量中存储有效数据时,则所述标记变量为“true”,当所述暂存变量中没有存储有效数据时,则所述标记变量为“false”;
所述有效数据具体为:
当读取的第一个数据小于或等于所述预设值时,将所述第一个数据左移4位的数据;
当读取的下一个数据大于所述预设值且标记变量为“ture”时,将所述下一个数据经过“位与”运算截取出的低四位数据经过左移4位的数据;
当读取的下一个数据小于或等于所述预设值且标记变量为“false”时,将所述下一个数据经过左移4位的数据;
步骤(2):依次读取数据,当读取的第一个数据大于所述预设值时,则将所述第一个数据直接存储到内存中,此时所述标记变量为“false”;当所述第一个数据小于或等于所述预设值时,则将所述第一个数据左移4位后暂存在暂存变量中,此时所述标记变量为“true”;
步骤(3):读取下一个数据,当下一个数据大于所述预设值且所述标记变量为“true”时,则将所述下一个数据的高四位数据和低四位数据通过“位与”运算截取出来;将所述高四位数据右移4位后和所述暂存变量中的数据进行“位或”运算得到一个新的字节数据,并存储到内存中,将所述低四位数据左移4位后暂存在所述暂存变量中,此时所述标记变量为“true”;
当所述下一个数据大于所述预设值且所述标记变量为“false”时,则将所述下一个数据直接存储到内存中,此时所述标记变量为“false”;
当所述下一个数据小于或等于所述预设值且所述标记变量为“true”时,则将所述下一个数据和所述暂存变量中的数据进行“位或”运算得到一个新的字节数据,并存储到内存中,此时所述标记变量为“false”;
当所述下一个数据小于或等于所述预设值且所述标记变量为“false”时,则将所述下一个数据左移4位后暂存在所述暂存变量中,此时所述标记变量为“true”;
步骤(4):重复所述步骤(3),直到所述原始数据压缩存储完毕,得到压缩后的数据数组;
步骤(5):对所述标记数组按照8位一组进行分隔,得到待传输的标记数组,若所述待传输的标记数组不足8位,则填充0,补充至8位;
步骤(6):将所述待传输的标记数组和压缩后的数据数组组成完整的压缩数组。
2.根据权利要求1所述的嵌入式系统的数据压缩方法,其特征在于,所述步骤(1)中进行标记时,将大于所述预设值的原始数据用1标记,将小于或等于预设值的原始数据用0标记。
3.根据权利要求1所述的嵌入式系统的数据压缩方法,其特征在于,所述步骤(2)中,所述第一个小于或等于所述预设值的数据,在所述暂存变量中只保存低4位数据。
4.根据权利要求1所述的嵌入式系统的数据压缩方法,其特征在于,所述步骤(3)中将所述下一个数据的高四位数据和低四位数据通过“位与”运算截取出来具体为:设置二进制数据high=11110000,所述high用于选取大于所述预设值的二进制形式数据的高4位数据,设置二进制数据low=00001111,所述low用于选取大于所述预设值的二进制形式数据的低4位数据。
5.根据权利要求1所述的嵌入式系统的数据压缩方法,其特征在于,每个所述原始数据都是8位长度的二进制形式的整形数据。
6.根据权利要求1所述的嵌入式系统的数据压缩方法,其特征在于,所述预设值为15。
7.根据权利要求1所述的嵌入式系统的数据压缩方法,其特征在于,所述步骤(6)具体为:按所述待传输的标记数组在前,所述压缩后的数据数组在后的方式组成完整的压缩数组。
8.一种嵌入式系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述数据压缩方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1至7中任一项所述数据压缩方法的步骤。
CN202010201871.5A 2020-03-20 2020-03-20 一种嵌入式系统的数据压缩方法、系统及存储介质 Active CN111431538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010201871.5A CN111431538B (zh) 2020-03-20 2020-03-20 一种嵌入式系统的数据压缩方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010201871.5A CN111431538B (zh) 2020-03-20 2020-03-20 一种嵌入式系统的数据压缩方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111431538A CN111431538A (zh) 2020-07-17
CN111431538B true CN111431538B (zh) 2021-07-20

Family

ID=71553496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010201871.5A Active CN111431538B (zh) 2020-03-20 2020-03-20 一种嵌入式系统的数据压缩方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111431538B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888146A (zh) * 2014-03-31 2014-06-25 华为技术有限公司 一种数据压缩的方法、装置和通信设备
CN104378119A (zh) * 2014-12-09 2015-02-25 西安电子科技大学 嵌入式设备文件系统数据的快速无损压缩方法
EP2950451A1 (en) * 2014-05-28 2015-12-02 Nxp B.V. Signal-based data compression

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7737869B2 (en) * 2007-07-12 2010-06-15 Monro Donald M Symbol based data compression

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888146A (zh) * 2014-03-31 2014-06-25 华为技术有限公司 一种数据压缩的方法、装置和通信设备
EP2950451A1 (en) * 2014-05-28 2015-12-02 Nxp B.V. Signal-based data compression
CN104378119A (zh) * 2014-12-09 2015-02-25 西安电子科技大学 嵌入式设备文件系统数据的快速无损压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Data compression in an underwater acoustic image on demand syste;Dong Yangze;《2013 MTS/IEEE OCEANS - Bergen》;20131231;1-4 *
一种低功耗双重测试数据压缩方案;陈田;《电子学报》;20171231;1382-1388 *

Also Published As

Publication number Publication date
CN111431538A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
US10268380B2 (en) Methods, devices and systems for semantic-value data compression and decompression
US20090060047A1 (en) Data compression using an arbitrary-sized dictionary
US7688233B2 (en) Compression for deflate algorithm
EP3152840A1 (en) Vlsi efficient huffman encoding apparatus and method
JPH0793586B2 (ja) データ圧縮モデル選択方法及びシステム
CN104704825B (zh) 分段图像数据的无损压缩
CN112968706B (zh) 数据压缩方法、fpga芯片及fpga在线升级方法
CN110021369B (zh) 基因测序数据压缩解压方法、系统及计算机可读介质
Gupta et al. Data compression-lossless and lossy techniques
Al-Hashemi et al. A new lossless image compression technique based on Bose, Chandhuri and Hocquengham (BCH) codes
CN111431538B (zh) 一种嵌入式系统的数据压缩方法、系统及存储介质
CN105573775A (zh) Fpga配置文件加载方法和解码器
Martinez et al. Marlin: A high throughput variable-to-fixed codec using plurally parsable dictionaries
CN114791904B (zh) 布隆过滤器的持久化压缩方法及装置
CN115603758A (zh) 一种客户号压缩和解压方法及装置
EP3886324A1 (en) Compression and/or decompression of activation data
KR101549740B1 (ko) 이진 데이터의 압축 및 압축해제 방법과 장치
CN112073069B (zh) 一种适用于集成电路测试的测试向量无损压缩方法
CN112686966B (zh) 图像无损压缩方法和装置
Kaur et al. Analysis of Lossless Data Compression Techniques
Rahman et al. Text compression based on an alternative approach of run-length coding using Burrows-Wheeler transform and arithmetic coding
Matos et al. Lossy-to-lossless compression of biomedical images based on image decomposition
CN113989398A (zh) Ct数据无损压缩、解压方法、系统、电子设备及存储介质
Nahar et al. Data compression methods and analysis
CN112200301A (zh) 卷积计算装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant