CN111865324B - 数据的压缩和解压方法、装置、系统和存储装置 - Google Patents

数据的压缩和解压方法、装置、系统和存储装置 Download PDF

Info

Publication number
CN111865324B
CN111865324B CN201911143070.1A CN201911143070A CN111865324B CN 111865324 B CN111865324 B CN 111865324B CN 201911143070 A CN201911143070 A CN 201911143070A CN 111865324 B CN111865324 B CN 111865324B
Authority
CN
China
Prior art keywords
data
difference
group
processing
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911143070.1A
Other languages
English (en)
Other versions
CN111865324A (zh
Inventor
刘睿
靳丁南
罗欢
权圣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Xiaofei Finance Co Ltd
Original Assignee
Mashang Xiaofei Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Xiaofei Finance Co Ltd filed Critical Mashang Xiaofei Finance Co Ltd
Priority to CN201911143070.1A priority Critical patent/CN111865324B/zh
Publication of CN111865324A publication Critical patent/CN111865324A/zh
Application granted granted Critical
Publication of CN111865324B publication Critical patent/CN111865324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60General implementation details not specific to a particular type of compression
    • H03M7/6058Saving memory space in the encoder or decoder

Abstract

本发明公开了一种数据压缩和解压方法,包括:获取原始数据,其中,原始数据为时序连续性数据;按照时间轴对原始数据进行预设次数的逐差处理,并记录预设次数的逐差处理后得到的预设组差值数据,每次逐差处理的数据为上一次逐差处理得到的差值数据;从预设组差值数据中挑选出有效数据最少的一组差值数据,并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据;对预处理数据进行压缩,得到压缩数据。通过上述方式,在压缩与解压过程中增加预处理与后处理环节,在针对时序连续性数据的压缩过程中,可以实现信息大量复用,提高时序连续性数据的压缩比和压缩效率。

Description

数据的压缩和解压方法、装置、系统和存储装置
技术领域
本发明涉及数据压缩的技术领域,特别是涉及一种数据的压缩与解压缩方法与相关装置。
背景技术
数据压缩,就是将原始数据用最少的数码进行表示,以减小其内存;如今,数字化的多媒体信息的数据量特别庞大,如果不对其进行有效的压缩就难以得到实际的应用,现如今,常用的压缩方式是通过压缩工具直接对原始数据进行压缩。
而现有的压缩方式在对大量小波动时序数据进行压缩时,采用的压缩方法与大波动数据的压缩方法相同,都是直接对小波动时序数据进行压缩。
当对运动传感器这样每时每刻都会产生大量小波动的时序数据的设备所产生的数据直接进行压缩时,其压缩后的压缩比(Compression Ratio)较小,压缩后的数据所占存储空间较大,压缩效率较低。
发明内容
本发明提供一种数据的压缩与解压缩方法与装置,以解决现有技术中对大量连续性小波动的时序数据进行压缩后,其压缩比较小的问题。
为了解决上述技术问题,本发明提供了一种数据压缩方法,包括:获取原始数据,其中,原始数据为时序连续性数据;按照时间轴对原始数据进行预设次数的逐差处理,并记录预设次数的逐差处理后得到的预设组差值数据,每次逐差处理的数据为上一次逐差处理得到的差值数据;从预设组差值数据中挑选出有效数据最少的一组差值数据,并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据;对预处理数据进行压缩,得到压缩数据。
其中,获取到原始数据的步骤之后,按照时间轴对原始数据进行预设次数的逐差处理,记录预设次数的逐差处理后得到的预设组差值数据,每次逐差处理的数据为上一次逐差处理得到的差值数据的步骤之前还包括:判断原始数据的最大绝对值是否大于预设的缩放阈值;若是,则对原始数据进行数据缩放处理,得到原始数据对应的缩放数据;按照时间轴对原始数据进行预设次数的逐差处理包括:按照时间轴对缩放数据进行预设次数的逐差处理。
其中,对原始数据进行数据缩放处理,得到原始数据对应的缩放数据的步骤具体包括:将原始数据按照缩放比例2n进行缩放,得到缩放数据;其中,2n小于最大绝对值,且,2n +1大于最大绝对值,n为整数。
其中,按照时间轴对原始数据进行预设次数的逐差处理,并记录预设次数的逐差处理后得到的预设组差值数据,每次逐差处理的数据为上一次逐差处理得到的差值数据的步骤包括:依次按照时间轴分别计算原始数据下一个时间点与上一个时间点的差值数据,并将差值数据确定为下一个时间点的第一差值数据,以第一个时间点的原始数据为基础,记录每个时间点对应的第一差值数据,并将第一个时间点的原始数据与每个时间点对应的第一差值数据确定为第一次逐差处理的第一组差值数据;判断逐差处理的次数是否达到预设次数;如果达到预设次数,执行从预设组差值数据中挑选出有效数据最少的一组差值数据,并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据的步骤。
其中,从预设组差值数据中挑选出有效数据最少的一组差值数据,并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据的步骤包括:从预设组差值数据中挑选出包含重复数据最多的一组差值数据确定为有效数据最少的一组差值数据,并作为原始数据对应的预处理数据。
其中,原始数据为多轴传感器数据,按照时间轴对原始数据进行预设次数的逐差处理,并记录预设次数的逐差处理后得到的预设组差值数据,每次逐差处理的数据为上一次逐差处理得到的差值数据的步骤包括:按照时间轴对原始数据的每一轴传感器数据进行对应轴的预设次数的逐差处理,记录预设次数的逐差处理后得到的每一轴对应的预设组差值数据,每次逐差处理的数据为上一次对应轴逐差处理的差值数据;从预设组差值数据中挑选出有效数据最少的一组差值数据,并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据的步骤包括:分别从原始数据的每一轴对应的预设组差值数据中挑选出有效数据最少的一组差值数据,并将有效数据最少的一组差值数据确定为轴对应的预处理数据。
为解决上述技术问题,本发明还提供了一种数据解压方法,包括:获取到待解压数据;其中,待解压数据是按照时间轴对原始数据进行预设次数的逐差处理,记录预设次数的逐差处理后得到的预设组差值数据,从预设组差值数据中挑选出有效数据最少的一组差值数据,并对有效数据最少的一组差值数据压缩后得到的;对待解压数据进行解压,得到解压数据;按照时间轴利用解压数据进行预处理的逆规则对解压数据进行还原处理,得到原始数据。
为解决上述技术问题,本发明还提供了一种数据压缩装置,包括:获取模块、处理模块以及压缩模块,获取模块用于获取到原始数据,其中,原始数据为时序连续性数据;处理模块用于按照时间轴对原始数据进行预设次数的逐差处理,记录每次逐差处理后得到的预设组差值数据;从预设组差值数据中挑选出有效数据最少的一组差值数据,并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据;压缩模块用于对预处理数据进行压缩,得到压缩数据。
为解决上述技术问题,本发明还提供了一种数据解压装置,包括:获取模块、解压模块以及还原模块,获取模块用于获取到待解压数据,其中,待解压数据是按照时间轴对原始数据进行预设次数的逐差处理,记录预设次数的逐差处理后得到的预设组差值数据,从预设组差值数据中挑选出有效数据最少的一组差值数据,并对有效数据最少的一组差值数据压缩后得到的;解压模块用于对待解压数据进行解压,得到解压数据;还原模块用于按照时间轴利用解压数据进行预处理的逆规则对解压数据进行还原处理,得到原始数据。
为解决上述技术问题,本发明还提供了一种数据压缩系统,包括:处理器和存储器,存储器中存储有程序数据,处理器用于执行上述技术方案的压缩与解压方法。
为解决上述技术问题,本发明还提供了一种存储装置,存储装置存储有程序数据,程序数据能够被执行以实现上述技术方案的压缩与解压方法。
本发明的有益效果是:区别于现有技术的压缩方式,本发明通过在现有压缩方法中添加对应可逆的预处理与后处理环节,在针对时序连续数据时,可以实现信息大量复用,以提高压缩比和压缩效率,进一步地,压缩后的数据所占存储空间更小,可以提升空间利用率以及加快压缩数据的传输。
附图说明
图1是本发明提供的数据压缩方法一实施例的流程示意图;
图2是本发明提供的数据压缩方法又一实施例的流程示意图;
图3是本发明提供的数据解压方法一实施例的流程示意图;
图4是本发明提供的数据压缩装置一实施例的结构示意图;
图5是本发明提供的数据解压装置一实施例的结构示意图;
图6是本发明提供的数据压缩系统一实施例的结构示意图;
图7是本发明提供的存储装置一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,图1是本发明提供的数据压缩方法一实施例的流程示意图,本实施例的数据压缩方法包括以下步骤:
S11:获取原始数据,其中,原始数据为时序连续性数据。
时序数据是指时间序列数据,时间序列数据是统一指按时间顺序记录的数据列,而时序连续性数据则是指在一段时间内,按照一定频率持续产生的时序数据。
而近几年,随着各种运动传感器的飞速发展,将运动传感器作为智能手机或智能运动手环的基础传感器时,它们在一段时间内产生的数据越来越多,产生数据的频率也越来越高,以便于准确记录使用者的位置数据或身体数据;像这样按照时间顺序记录的连续性数据,就是时序连续性数据。
可选地,在其中的一个实施方式中,时序连续性数据可以为多媒体数据,例如:视频数据或图片数据。
可选地,时序连续性数据为多轴传感器数据,如:TAA传感器(三轴加速度计)或SAG传感器(六轴陀螺仪);当TAA传感器以60HZ的频率持续产生数据时,其在极短时间1/60秒内便会产生一组数据,每一组数据都由X轴、Y轴和Z轴数据组成,且每一秒则会按照时间顺序产生60组数据,这60组数据便是连续产生的时序数据。
在本实施例中,先获取到多个时序连续性的原始数据。
S12:按照时间轴对原始数据进行预设次数的逐差处理,并记录预设次数的逐差处理后得到的预设组差值数据,每次逐差处理的数据为上一次逐差处理得到的差值数据。
在获取了时序连续性的原始数据之后,对其按照时间轴进行预设次数的逐差处理,并记录下每次逐差处理后得到的预设组数原始数据的多组差值数据。
其中,逐差处理的具体规则为:设置迭代阈值N,也就是预设次数或预设组数;依次按照时间轴分别计算原始数据下一个时间点与上一个时间点的差值数据,并将差值数据确定为下一个时间点的第一差值数据,以第一个时间点的原始数据为基础,记录每个时间点对应的第一差值数据,并将第一个时间点的原始数据与每个时间点对应的第一差值数据确定为第一次逐差处理的第一组差值数据;再按照时间轴顺序分别计算下一个时间点的第一组差值数据与上一个时间点的第一组差值数据的差值数据,并将差值数据确定为下一个时间点的第二差值数据,以第一个时间点的原始数据为基础,记录每个时间点对应的第二差值数据,并将第一个时间点的原始数据与每个时间点对应的第二差值数据确定为第二次逐差处理的第二组差值数据。
同时,判断逐差处理的次数是否达到迭代阈值N,若逐差处理的次数没有达到迭代阈值N,则逐差处理继续进行,若逐差处理的次数达到了迭代阈值N,则逐差处理停止进行,其中,记录下每次逐差处理后得到的每组差值数据。其中,迭代阈值N为大于等于1的整数,其具体取值取决于实际应用的系统的计算力,可选地,迭代阈值N为5次、10次和100次等,在此不做限定。迭代阈值用于控制逐差处理步骤进行的次数。
以第一次逐差处理为例,按照时间轴设n组原始数据为:H1、H2、H3...Hn;Hn为第n组原始数据,按照逐差规则对其进行预处理后的差值数据为:H1、S2-1、S3-2...S[n-(n-1)];其中,H为原始数据,S为下一时间点与上一时间点之间的差值数据;H1为基础数据,不发生变化,S2-1为H2减去H1的差值;S[n-(n-1)]为Hn减去H(n-1)的差值。该过程在后续逐差处理中以上一次逐差处理所得到的差值数据为原始数据,进一步进行逐差处理。
S13:从预设组差值数据中挑选出有效数据最少的一组差值数据,并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据。
从上一步骤中记录下来的预设组差值数据中挑选出有效数据最少的一组差值数据,优选地,挑选范围还包括原始数据;其中有效数据最少的一组数据也就是包含重复数据最多的一组数据,在本实施例中,采用信息比对其定义,其中信息比是通过目标数据中有效集合个数除以原始数据中有效集合个数计算得出,有效集合个数是指数值去重后的数量统计。例如:在一组5个数据中:五个数据分别为:1、2、3、3以及3,则该组数据中的有效集合个数为3。
从原始数据的预设组数的差值数据中,挑选出信息比最小的那组数据,将其作为各个原始数据的预处理数据。
S14:对预处理数据进行压缩,得到压缩数据。
将经过预处理的数据与迭代缩放信息进行压缩,其中,压缩工具可根据实际需求任意选择,例如:Winrar和Snappy等压缩工具。
将预处理数据进行压缩后得到压缩数据,可选地,将压缩数据进行存储、上传至云端数据库或通过网络进行发送。
通过逐差处理的处理方式对时序连续性数据进行预处理再进行压缩,所获得的预处理数据中信息量较少,部分信息可以大量复用,提高了压缩效率与压缩比,进一步地,压缩后的数据所占存储空间更小,可以提升空间利用率以及加快压缩数据的传输。
请进一步参阅图2,图2是本发明提供的数据压缩方法又一实施例的流程示意图。
S21:获取到原始数据,其中,原始数据为时序连续性数据。
时序数据是指时间序列数据,时间序列数据是统一指标按时间顺序记录的数据列,而时序连续性数据则是指在一段时间内,按照一定频率持续产生的时序数据。
而近几年,随着各种运动传感器的飞速发展,将运动传感器作为智能手机或智能运动手环的基础传感器时,它们在一段时间内产生的数据越来越多,产生数据的频率也越来越高,以便于准确记录使用者的位置数据或身体数据;像这样按照时间顺序记录的连续性数据,就是时序连续性数据。
可选地,在其中的一个实施方式中,时序连续性数据可以为多媒体数据,例如:视频数据或图片数据。
可选地,时序连续性数据为多轴传感器数据,如:TAA传感器(三轴加速度计)或SAG传感器(六轴陀螺仪);当TAA传感器以60HZ的频率持续产生数据时,其在极短时间1/60秒内便会产生一组数据,每一组数据都由X轴、Y轴和Z轴数据组成,且每一秒则会按照时间顺序产生60组数据,这60组数据便是连续产生的时序数据。
在本实施例中,先获取到时序连续性的原始数据。
S22:利用预设缩放规则对原始数据进行数据缩放处理。
对原始数据进行一定比例的缩放,以将原始数据的数值的范围进行缩小;通过设置缩放阈值S对时序性的原始数据进行缩放,可选地,缩放阈值S为2到10的整数,在本实施例中缩放阈值的值取为2。
同时,由于本发明针对的是时序连续性数据,其原始数据中包括有时间轴数据以区分每一时间点的原始数据,时间轴数据在本步骤中不做任何处理,也就是说时间轴数据的缩放比例为1。计算出每组原始数据的最大绝对值,每组原始数据的最大绝对值就是将各个原始数据在数轴上所对应的点到原点0之间的距离最大的原始数据为最大绝对值,不考虑原始数据的符号,最大绝对值为非负值。
将最大绝对值与缩放阈值S进行比较,若最大绝对值小于或等于缩放阈值S,则该最大绝对值对应的那组原始数据不做处理,也就是缩放比例为1;若最大绝对值大于缩放阈值S,则该绝对值对应的那组原始数据需要进行缩放,缩放的比例为2n,其中2n小于最大绝对值,2n+1大于最大绝对值,且n为整数。其中,2n可以被所有有理数除尽,以避免缩放过程中出现无限不循环小数,导致后续解压步骤中无法将待解压的数据进行还原的情况发生。其中,将数据进行缩小还是放大根据实际应用中数据数值判断,例如:若数值为8、9.1之类的数值,则选择对数据进行缩小,若数值为10-7、2*10-5之类的数据,则需选择对数据进行放大,以缩小数据的数值范围。
在本发明的一个实施例中,以一般智能手机的TAA(三轴加速度计)传感器为例,该传感器持续产生时序连续性的原始数据,如下表所示:
表1
Figure BDA0002281475940000081
Figure BDA0002281475940000091
对表1的原始数据进行缩放处理,其中,时间轴数据不做任何处理,计算出X轴数据的最大绝对值,从表1中可以看出,X轴数据中的最大绝对值为0.4,则将X轴的最大绝对值0.4与缩放阈值2进行对比,0.4小于2,则X轴的数据不做任何处理,也就是,其缩放比例为1。
计算Y轴数据的最大绝对值,从表1中可以看出,Y轴数据中的最大绝对值为7,可以看出最大绝对值7大于缩放阈值2,则Y轴数据需要进行缩放,计算其缩放比例,2n小于7,且n为整数,取最大值,则n取2,2n=22=4,也就是Y轴数据的缩放比例为4,其中,为了缩小数据范围,在本实施例中,Y轴数据是缩小4倍也就是Y轴数据都除以4。
计算Z轴数据的最大绝对值,表1中可以看出,Z轴数据中的最大绝对值为1.5,可以看出最大绝对值1.5小于缩放阈值2,则Z轴的数据不做任何处理,也就是,其缩放比例为1。
将原始数据进行缩放后得到缩放后的原始数据,如表2所示:
表2
Figure BDA0002281475940000092
S23:按照时间轴对原始数据进行预设次数的逐差处理,并记录预设次数的逐差处理后得到的预设组差值数据,每次逐差处理的数据为上一次逐差处理得到的差值数据。
在获取了多个时序连续性的经过缩放的原始数据之后,对其按照时间轴进行预设次数的逐差处理,并记录下每次逐差处理后得到的缩放后的原始数据的每组差值数据。
其中,针对缩放后的原始数据的逐差处理的具体规则为:设置迭代阈值N,也就是预设次数或预设组数;依次按照时间轴分别计算原始数据下一个时间点与上一个时间点的差值数据,并将差值数据确定为下一个时间点的第一差值数据,以第一个时间点的原始数据为基础,记录每个时间点对应的第一差值数据,并将第一个时间点的原始数据与每个时间点对应的第一差值数据确定为第一次逐差处理的第一组差值数据;再按照时间轴顺序分别计算下一个时间点的第一组差值数据与上一个时间点的第一组差值数据的差值数据,并将差值数据确定为下一个时间点的第二差值数据,以第一个时间点的原始数据为基础,记录每个时间点对应的第二差值数据,并将第一个时间点的原始数据与每个时间点对应的第二差值数据确定为第二次逐差处理的第二组差值数据。
同时,判断逐差处理的次数是否达到迭代阈值N,若逐差处理的次数没有达到迭代阈值N,则逐差处理继续进行,若逐差处理的次数达到了迭代阈值N,则逐差处理停止进行,其中,记录下每次逐差处理后得到的差值数据。其中,迭代阈值N为大于等于1的整数,其具体取值取决于实际应用的系统的计算力,可选地,迭代阈值N为5次、10次和100次等,在此不做限定。迭代阈值用于控制逐差处理步骤进行的次数。
以第一次逐差处理为例,按照时间轴设n组原始数据为:H1、H2、H3...Hn;Hn为第n组缩放后的原始数据,按照逐差处理对其进行预处理后的差值数据为:H1、S2-1、S3- 2...S[n-(n-1)];其中,H为缩放后的原始数据,S为下一时间点与上一时间点之间的差值数据;H1为基础数据,不发生变化,S2-1为H2减去H1的差值;S[n-(n-1)]为Hn减去H(n-1)的差值。该过程在后续逐差处理中以上一次逐差处理所得到的差值数据为原始数据,进一步进行逐差处理。
以上一步骤中所列举的数据进行举例,设迭代阈值N为2,则进行完2次逐差处理的差值数据如下表所示:
表3
Figure BDA0002281475940000111
表4
Figure BDA0002281475940000112
表3中的数据为第一次逐差处理后的第一组差值数据,表4中的数据为第二次逐差处理后的第二组差值数据。第二组差值数据是在第一组差值数据的基础上进行逐差处理得来的。
S24:从预设组差值数据中挑选出有效数据最少的一组差值数据,并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据。
对所有的差值数据进行挑选,优选地,挑选范围包括缩放后的原始数据,其中有效数据最少的一组数据也就是包含重复数据最多的一组数据,在本实施例中,采用信息比对其进行定义,其中信息比是通过目标数据中有效集合个数除以原始数据中有效集合个数计算得出,有效集合个数是指数值去重后的数量统计。
以表2中的缩放后的原始数据为例计算信息比,由于目标数据为缩放后的原始数据,则该信息比的计算就是缩放后的原始数据的有效集合个数与缩放后的原始数据的有效集合个数的比值,时间轴X、Y和Z轴对应的有效数据个数下表5所示:
表5
数据维度 时间轴 X Y Z
有效集合个数 7 6 6 5
信息比 1 1 1 1
其中,以Z轴数据进行举例,表2中7个Z轴数据中有3个(-0.01),也就是有两个数据是重复的,只计算不一样的数据,也就是其有效集合个数为5。
计算出缩放后的原始数据与每一组差值数据的信息比,挑选出每一轴信息比最小的那组数据,如果同一数据在不同迭代次数的信息比相同,则选择迭代次数最小的那组数据。例如:若缩放后的原始数据中X轴数据的信息比最小,而第一组差值数据与第二组差值数据中Y轴数据的信息比相同且最小,第三组差值数据中Z轴数据信息比最小,第一组差值数据中时间轴数据的信息比最小,则最终挑选出第一组差值数据的时间轴数据与Y轴数据、缩放后的原始数据中的X轴数据以及第三组差值数据中的Z轴数据,形成预处理数据。并结合上一步骤中的缩放比例建立迭代缩放信息,以方便后续还原步骤对上述数据进行还原。上述例子的迭代缩放信息如下表所示:
表6
数据维度 时间轴 X Y Z
最优迭代批次 1 0 1 3
缩放比例 1 1 4 1
表6中的数据表示:时间轴数据不缩放,差值迭代1次;X轴数据不缩放,差值迭代0次(指缩放后的原始数据);Y轴缩放4倍,原始数据差值迭代1次;Z轴数据不缩放,差值迭代3次。
可以从上述实施例中看出,当针对时序连续性数据进行本步骤的预处理时,先对数据进行缩放,缩小数据数值范围,再进行多次逐差处理,并挑选出X轴、Y轴和Z轴信息比最小也就是信息复用最多的那组数据,以减少信息量,提高压缩效果,大大提高数据的压缩比。
S25:对预处理数据进行压缩,得到压缩数据。
将经过预处理的数据与迭代缩放信息进行压缩,其中,压缩工具可根据实际需求任意选择,例如:Winrar和Snappy等压缩工具。
将预处理数据进行压缩后得到压缩数据,可选地,将压缩数据进行存储、上传至云端数据库或通过网络进行发送。
通过数据缩放、逐差处理以及挑选信息比的处理方式对时序连续性数据进行预处理再进行压缩,所获得的预处理数据中信息量较少,部分信息可以大量复用,提高了压缩效率与压缩比,进一步地,压缩后的数据所占存储空间更小,可以提升空间利用率以及加快压缩数据的传输。
请进一步参阅图3,图3是本发明提供的数据解压方法一实施例的流程示意图。
S31:获取到待解压数据;其中,待解压数据是按照时间轴对原始数据进行预设次数的逐差处理,记录预设次数的逐差处理后得到的预设组差值数据,从预设组差值数据中挑选出有效数据最少的一组差值数据,并对有效数据最少的一组差值数据压缩后得到的。
具体的,先获取到待解压数据,该待解压数据是由上述实施例中,对原始数据进行缩放处理和预设次数的逐差处理后得到预设组数的差值数据,并从预设组数的差值数据中挑选出的有效数据最少的一组差值数据,将其确定为原始数据对应的预处理数据,并对预处理数据进行压缩得到的压缩数据,在此不再限定。
S32:对待解压数据进行解压,得到解压数据。
通过解压工具对待解压数据进行解压,其中,解压工具可根据实际需求任意选择,例如:Winrar和Snappy等解压工具,在此不作限定。
在本实施例中,解压数据与压缩前步骤中的预处理数据相同。
S33:按照时间轴利用解压数据进行预处理的逆规则对解压数据进行还原处理,得到原始数据。
以解压数据为基础,根据压缩步骤中的迭代缩放信息对解压数据分别依次进行还原,其中,先进行逐差处理的还原,其中,预设差值规则的逆规则为:当还原第n组数据时,以解压数据为基础,将第一组数据加上第n组解压数据之间所有的数据差值,以得到累加的第N组数据,用公式表示为:
Hn=H1+S(2-1)+S(3-1)+...+S[n-(n-1)]
其中,Hn表示第n组还原数据,S[n-(n-1)]表示还原数据对应的最近一组的第n组差值数据减去第n-1组差值数据的差值,也就是第n组压缩数据,同样,以上述实施例所举的对应的TAA(三轴加速度计)传感器数据为例进行还原说明,获取的第一解压数据,第一解压数据与压缩步骤中的预处理数据完全相同,先按照逐差处理的逆规则也就是Hn=H1+S(2-1)+S(3-1)+...+S[n-(n-1)]公式对解压数据进行还原处理,得到还原的缩放后的原始数据,其中每一轴的数据的迭代次数可能不一样,根据其迭代缩放信息中的迭代次数对该轴数据进行对应次数的还原处理,例如上一实施例中迭代缩放信息中Z轴数据迭代了3次,侧还原处理中对Z轴数据进行3次累加后处理,而X轴数据迭代了0次,则对X轴数据进行0层累加后处理,也就是不处理。
将还原的缩放后的原始数据再进行缩放还原处理,压缩步骤中,缩小的数据在本步骤中得到同等比例的放大,放大的数据在本步骤中得到同等比例的缩小,将本实施例中的第一组差值数据按照压缩步骤中的缩放比例进行还原,例如上一实施例中Y轴数据缩小了4倍,则还原处理中将Y轴数据放大4倍,最终获得原始数据。
通过上述方式进行解压与后处理,可以将上述实施例中压缩方法进行压缩的压缩数据完全还原成原始数据,以完善本发明提供的数据压缩方法对应的解压方式。
请进一步参阅图4,图4是本发明提供的数据压缩装置的一实施例结构示意图。
数据压缩装置包括获取模块31、处理模块32以及压缩模块33。
其中,获取模块31用于获取到原始数据;其中,原始数据为时序连续性数据。
时序数据是指时间序列数据,时间序列数据是同一统一指标按时间顺序记录的数据列,而时序连续性数据则是指在一段时间内,按照一定频率持续产生的时序数据;而按照时间顺序产生的连续性数据,就是时序连续性数据。
可选地,时序连续性数据为多媒体数据,例如:视频数据或图片数据。
可选地,时序连续性数据为多轴传感器数据,例如TAA传感器(三轴加速度计)或SAG传感器(六轴陀螺仪)。
处理模块32用于对原始数据进行一定比例的缩放,以将原始数据的数值的范围进行缩小;并通过设置缩放阈值S对时序性的原始数据进行缩放。再按照时间轴进行预设次数的逐差处理,并记录下每次逐差处理后的到的预设组数的差值数据,并从预设组数的差值数据中挑选出有效信息最少的一组差值数据,并进行压缩。
将原始数据的最大绝对值与缩放阈值S进行比较,若最大绝对值小于或等于缩放阈值S,则该最大绝对值对应的那组原始数据不做处理,也就是缩放比例为1;若最大绝对值大于缩放阈值S,则该绝对值对应的那组原始数据需要进行缩放,缩放的比例为2n,其中2n小于最大绝对值,2n+1大于最大绝对值,且n为整数。
其中,逐差处理的具体规则为:设置迭代阈值N,也就是预设次数或预设组数;依次按照时间轴分别计算原始数据下一个时间点与上一个时间点的差值数据,并将差值数据确定为下一个时间点的第一差值数据,以第一个时间点的原始数据为基础,记录每个时间点对应的第一差值数据,并将第一个时间点的原始数据与每个时间点对应的第一差值数据确定为第一次逐差处理的第一组差值数据;再按照时间轴顺序分别计算下一个时间点的第一组差值数据与上一个时间点的第一组差值数据的差值数据,并将差值数据确定为下一个时间点的第二差值数据,以第一个时间点的原始数据为基础,记录每个时间点对应的第二差值数据,并将第一个时间点的原始数据与每个时间点对应的第二差值数据确定为第二次逐差处理的第二组差值数据。
同时,处理模块32判断逐差处理的次数是否达到迭代阈值N,若逐差处理的次数没有达到迭代阈值N,则逐差处理继续进行,若逐差处理的次数达到了迭代阈值N,则逐差处理停止进行,其中,记录下每次逐差处理后得到的差值数据。其中,迭代阈值N为大于等于1的整数,其具体取值取决于实际应用的系统的计算力,可选地,迭代阈值N为5次、10次和100次等,在此不做限定。迭代阈值用于控制逐差处理步骤进行的次数。
压缩模块33用于对预处理数据进行压缩,得到压缩数据。
将经过预处理的数据进行压缩,其中,压缩工具可根据实际需求任意选择,例如:Winrar和Snappy等压缩工具。
将预处理数据进行压缩后得到压缩数据,可选地,将压缩数据进行存储、上传至云端数据库或通过网络进行发送。
通过预设次数的逐差处理对时序连续性数据进行预处理再进行压缩的方式,所获得的预处理数据中信息量较少,部分信息可以大量复用,提高了压缩效率与压缩比,进一步地,压缩后的数据所占存储空间更小,可以提升空间利用率以及加快压缩数据的传输。
请进一步参阅图5,图5是本发明提供的数据解压装置一实施例的结构示意图。
数据解压装置包括获取模块41、解压模块42以及还原模块43。
其中,获取模块41用于获取到待解压数据;其中,待解压数据是对原始数据进行缩放处理,记录预设次数的逐差处理后得到的预设组差值数据,每次逐差处理的数据为上一次逐差处理得到的差值数据,从原始数据的多预设组数的差值数据中挑选出有效数据最少的一组差值数据,并对有效数据最少的一组差值数据进行压缩后得到的。
解压模块42用于对待解压数据进行解压,得到解压数据。
解压模块42通过解压工具对待解压数据进行解压,其中,解压工具可根据实际需求任意选择,例如:Winrar和Snappy等解压工具。
在本实施例中,解压数据与压缩前步骤中的预处理数据相同。
还原模块43用于按照时间轴利用缩放处理和预设次数的逐差处理的逆规则对解压数据进行还原处理,得到原始数据。
还原模块43按照时间轴利用预设次数的逐差处理的逆规则对解压数据进行还原处理,得到原始数据,其中,逐差处理的逆规则为:当还原第n组数据时,以第一组解压数据为基础,将第一组数据加上第n组解压数据之间所有的数据差值,以得到原始的第N组数据,用公式表示为:
Hn=H1+S(2-1)+S(3-1)+...+S[n-(n-1)]
其中,Hn表示第n组还原数据,S[n-(n-1)]表示还原数据对应的最近一组的第n组差值数据减去第n-1组差值数据的差值,也就是第n组压缩数据。
将经过累加后处理的数据在进行缩放处理的逆规则进行还原,而缩放处理的逆规则就是将再压缩步骤中进行缩小的数据进行同比放大,进行放大的数据进行同等缩小,以获得原始数据。
还原模块43通过上述方式对解压数据进行还原处理,以获得与原始数据相同的最终还原数据。
基于同样的发明构思,本发明还提出了一种数据压缩系统,该数据压缩系统能够被执行以实现上述任一实施例的数据压缩方法,请参阅图6,图6是本发明提供的数据压缩系统一实施例的结构示意图,数据压缩系统包括处理器51以及存储器52。
其中存储器52用于存储原始数据、预处理数据以及压缩数据。
处理器51用于对原始数据进行数据缩放预处理,得到原始数据对应的缩放后的原始数据;再对缩放后的原始数据进行预设次数逐差处理,每次逐差处理都得到缩放后的预设组数的差值数据,并从预设组数的差值数据中进行挑选,挑选出有效数据最少的一组差值数据,并确定为预处理数据;最后将预处理完毕的预处理数据进行压缩处理。
或,处理器51用于获取到待解压数据;其中,待解压数据是按照时间轴先利用预设规则对原始数据进行缩放处理、逐差处理以及挑选处理,并进行压缩后得到的;对待解压数据进行解压,得到解压数据;按照时间轴利用预设次数的逐差处理与缩放处理的逆规则对解压数据进行还原处理,得到原始数据。
基于同样的发明构思,本发明还提出了一种存储装置,请参阅图7,图7是本发明提供的存储装置一实施例的结构示意图。存储装置60中存储有程序数据61,程序数据61可以为程序或指令。
程序数据61能够执行获取原始时序连续性数据;按照时间轴对原始数据进行数据缩放、逐差处理和数据挑选的预处理,得到原始数据对应的预处理数据;对预处理数据进行压缩,得到压缩数据。
或,程序数据61能够执行获取到待解压数据;其中,待解压数据是对原始数据进行数据缩放、逐差处理和数据挑选的预处理并进行压缩后得到的;对待解压数据进行解压,得到解压数据;按照时间轴利用缩放处理与预设次数的逐差处理的逆规则对解压数据进行还原处理,得到原始数据。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种数据压缩方法,其特征在于,所述数据压缩方法包括:
获取原始数据,其中,所述原始数据为时序连续性数据;
在所述原始数据的最大绝对值大于预设的缩放阈值的情况下,对所述原始数据进行数据缩放处理,得到所述原始数据对应的缩放数据;
按照时间轴对所述缩放数据进行预设次数的逐差处理,并记录所述预设次数的逐差处理后得到的预设组差值数据,每次逐差处理的数据为上一次逐差处理得到的差值数据;
从所述预设组差值数据中挑选出有效数据最少的一组差值数据,并将所述有效数据最少的一组差值数据确定为所述原始数据对应的预处理数据;
对所述预处理数据进行压缩,得到压缩数据。
2.根据权利要求1所述数据压缩方法,其特征在于,所述对所述原始数据进行数据缩放处理,得到所述原始数据对应的缩放数据的步骤具体包括:
将所述原始数据按照缩放比例2n进行缩放,得到所述缩放数据;其中,2n小于所述最大绝对值,且,2n+1大于所述最大绝对值,n为整数。
3.根据权利要求1所述的数据压缩方法,其特征在于,所述按照时间轴对所述原始数据进行预设次数的逐差处理,并记录所述预设次数的逐差处理后得到的预设组差值数据,所述每次逐差处理的数据为上一次逐差处理得到的差值数据的步骤包括:
依次按照所述时间轴分别计算所述原始数据下一个时间点与上一个时间点的差值数据,并将所述差值数据确定为所述下一个时间点的第一差值数据,以第一个时间点的原始数据为基础,记录每个时间点对应的第一差值数据,并将所述第一个时间点的原始数据与所述每个时间点对应的第一差值数据确定为第一次逐差处理的第一组差值数据;
判断所述逐差处理的次数是否达到所述预设次数;
如果达到所述预设次数,执行所述从所述预设组差值数据中挑选出有效数据最少的一组差值数据,并将所述有效数据最少的一组差值数据确定为所述原始数据对应的预处理数据的步骤。
4.根据权利要求1所述的数据压缩方法,其特征在于,所述从所述预设组差值数据中挑选出有效数据最少的一组差值数据,并将所述有效数据最少的一组差值数据确定为所述原始数据对应的预处理数据的步骤包括:
从所述预设组差值数据中挑选出包含重复数据最多的一组差值数据确定为所述有效数据最少的一组差值数据,并作为所述原始数据对应的预处理数据。
5.根据权利要求1~4任一项所述的数据压缩方法,其特征在于,所述原始数据为多轴传感器数据,
所述按照时间轴对所述原始数据进行预设次数的逐差处理,并记录所述预设次数的逐差处理后得到的预设组差值数据,所述每次逐差处理的数据为上一次逐差处理得到的差值数据的步骤包括:
所述按照时间轴对所述原始数据的每一轴传感器数据进行对应轴的预设次数的逐差处理,记录所述预设次数的逐差处理后得到的每一轴对应的预设组差值数据,每次逐差处理的数据为上一次对应轴逐差处理的差值数据;
所述从所述预设组差值数据中挑选出有效数据最少的一组差值数据,并将所述有效数据最少的一组差值数据确定为所述原始数据对应的预处理数据的步骤包括:
分别从所述原始数据的每一轴对应的预设组差值数据中挑选出有效数据最少的一组差值数据,并将所述有效数据最少的一组差值数据确定为所述轴对应的预处理数据。
6.一种数据解压方法,其特征在于,所述数据解压方法包括:
获取到待解压数据;其中,所述待解压数据是在原始数据的最大绝对值大于预设的缩放阈值的情况下,对所述原始数据进行数据缩放处理,得到所述原始数据对应的缩放数据,再按照时间轴对缩放数据进行预设次数的逐差处理,记录所述预设次数的逐差处理后得到的预设组差值数据,从所述预设组差值数据中挑选出有效数据最少的一组差值数据,并对所述有效数据最少的一组差值数据压缩后得到的;其中,每次逐差处理的数据为上一次逐差处理得到的差值数据;
对所述待解压数据进行解压,得到解压数据;
按照时间轴利用所述解压数据进行预处理的逆规则对所述解压数据进行还原处理,得到所述原始数据。
7.一种数据压缩装置,其特征在于,所述压缩装置包括:获取模块、处理模块以及压缩模块,
所述获取模块用于获取到原始数据,其中,原始数据为时序连续性数据;
所述处理模块用于在判断所述原始数据的最大绝对值大于预设的缩放阈值的情况下;若是,则对所述原始数据进行数据缩放处理,得到所述原始数据对应的缩放数据,按照时间轴对所述缩放数据进行预设次数的逐差处理,记录每次逐差处理后得到的预设组差值数据;从所述预设组差值数据中挑选出有效数据最少的一组差值数据,并将所述有效数据最少的一组差值数据确定为所述原始数据对应的预处理数据;其中,每次逐差处理的数据为上一次逐差处理得到的差值数据;
所述压缩模块用于对所述预处理数据进行压缩,得到压缩数据。
8.一种数据压缩系统,其特征在于,所述数据压缩系统包括:处理器和存储器,所述存储器中存储有程序数据,所述处理器用于执行如权利要求1-5任一项所述的压缩方法或权利要求6所述的数据解压方法。
9.一种存储装置,其特征在于,所述存储装置存储有程序数据,所述程序数据能够被执行以实现如权利要求1-5任一项所述的压缩方法或权利要求6所述的数据解压方法。
CN201911143070.1A 2019-11-20 2019-11-20 数据的压缩和解压方法、装置、系统和存储装置 Active CN111865324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911143070.1A CN111865324B (zh) 2019-11-20 2019-11-20 数据的压缩和解压方法、装置、系统和存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911143070.1A CN111865324B (zh) 2019-11-20 2019-11-20 数据的压缩和解压方法、装置、系统和存储装置

Publications (2)

Publication Number Publication Date
CN111865324A CN111865324A (zh) 2020-10-30
CN111865324B true CN111865324B (zh) 2021-08-24

Family

ID=72970889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911143070.1A Active CN111865324B (zh) 2019-11-20 2019-11-20 数据的压缩和解压方法、装置、系统和存储装置

Country Status (1)

Country Link
CN (1) CN111865324B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614519A (zh) * 2021-01-05 2021-04-06 中国人民解放军国防科技大学 基于时序逻辑的大数据压缩方法及复盘播放方法
CN113613289B (zh) * 2021-08-02 2024-03-22 重庆优米工业自动化设备有限公司 一种蓝牙数据传输方法、系统及通信设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530013A (zh) * 2015-12-03 2016-04-27 四川中光防雷科技股份有限公司 一种波形数据压缩方法与系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9603582B2 (en) * 2011-08-26 2017-03-28 University of Pittsburgh—of the Commonwealth System of Higher Education Contrast assisted intravascular ultrasound imaging
US10277247B1 (en) * 2018-04-11 2019-04-30 Bae Systems Information And Electronic Systems Integration Inc. Stateful compression scheme for efficient packing of kinematic data
CN109581502B (zh) * 2018-10-26 2020-09-08 中国石油天然气集团有限公司 地震勘探数据压缩方法、装置以及压缩存储结构

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530013A (zh) * 2015-12-03 2016-04-27 四川中光防雷科技股份有限公司 一种波形数据压缩方法与系统

Also Published As

Publication number Publication date
CN111865324A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111865324B (zh) 数据的压缩和解压方法、装置、系统和存储装置
CN107480770B (zh) 可调节量化位宽的神经网络量化与压缩的方法及装置
US11250108B2 (en) Matrix processing method and apparatus, and logic circuit
CN113011581B (zh) 神经网络模型压缩方法、装置、电子设备及可读存储介质
JP5079903B1 (ja) 静電容量推定方法、集積回路、及び電子機器
CN103458460B (zh) 对信号数据进行压缩和解压缩的方法和装置
Gusak et al. Automated multi-stage compression of neural networks
JPWO2005083890A1 (ja) 時系列データ次元圧縮装置
EP3637327B1 (en) Computing device and method
CN109840585B (zh) 一种面向稀疏二维卷积的运算方法和系统
CN112506879A (zh) 数据处理方法及相关设备
CN111985617B (zh) 3d卷积神经网络在神经网络处理器上的处理方法和装置
US20220223160A1 (en) Methods, devices and computer program products for lossless data compression and decompression
CN111083479A (zh) 一种视频帧预测方法、装置及终端设备
US20230267310A1 (en) Neural network processing apparatus, information processing apparatus, information processing system, electronic device, neural network processing method, and program
CN104618715A (zh) 一种获取最小率失真代价的方法及装置
JP2019047450A (ja) 圧縮処理装置、伸長処理装置、圧縮処理用プログラム、伸長処理用プログラム
CN114528810A (zh) 数据编码生成方法、装置、电子设备及存储介质
EP1406179A1 (en) Dct matrix decomposing method and dct device
CA2622842C (en) Method and system for decoding encoded images and reducing the size of said images
JP6132914B2 (ja) データ転送システム及び方法
CN110245263B (zh) 一种聚合方法、装置、电子设备及存储介质
CN111773700B (zh) 一种动画数据的处理方法和装置
Ebrahimi et al. Self-similarity in imaging 20 years after “Fractals everywhere”
CN115208413B (zh) 链式编码压缩方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant