CN105024702A - 一种面向科学计算的浮点型数据无损压缩方法 - Google Patents

Abstract

本发明公开了一种面向科学计算的浮点型数据无损压缩方法，数据压缩部分包括对浮点型数据的符号域、指数域和尾数域分别映射、分别压缩，并对压缩后的数据以二进制位为单位进行存储；解压缩部分包括由标志位获得尾数域差值的有效数据、指数差值和符号域等各部分，并根据IEEE754格式和参考数据，完整恢复出原始数据。本发明的压缩方法，是按照浮点型数据的物理含义对数据进行划分的，压缩率高；并且本发明的压缩方法没有过多的数据预测或变换算法，这样加快了数据的压缩速度。

Description

一种面向科学计算的浮点型数据无损压缩方法

技术领域

本发明属于数据处理技术领域，具体涉及一种面向科学计算的浮点型数据无损压缩方法。

背景技术

随着社会的日益发展，由科学研究(天文学、生物学、海洋学)、社交网络(facebook、QQ、人人网)、自然环境监测(暴雨、洪水、地震)等产生的数以亿计的数据呈爆炸式增长，无论在工业界还是学术界，大规模数据处理都受到火热追捧。

数据的多样性和指数级增长给数据存储和传输带来了巨大压力，严重阻碍了高性能计算在科学领域的运用和发展。数据压缩一直是人们用于解决此类问题的热点技术，寻找高效的数据压缩技术可以有效降低数据存储量和传输成本。

数据压缩按解码后的数据是否完整恢复原数据，可分为有损压缩和无损压缩。有损压缩指的是解压缩时不能精确恢复原始数据，有一定的信息损失，该方法主要用于图像、视频、音频等少量信息遗失而不会影响原有数据效果的领域。无损压缩又称为熵编码、无失真编码，其工作原理是减少或去除数据中的冗余度，且原数据可被精确恢复。

对大部分科学数据而言，任何一个微小误差都将可能引发一场灾难，所以必须采用无损压缩技术，以保证数据恢复时的完整性；同时，数据压缩速度必须十分迅速，以适应科学数据规模大、密集度高、更新快等特点。

发明内容

本发明的目的是提供一种面向科学计算的浮点型数据无损压缩方法，解决了浮点型数据压缩率低、压缩缓慢的问题。

本发明所采用的技术方案是，一种面向科学计算的浮点型数据无损压缩方法，具体按照以下步骤实施：

步骤1、对浮点型数据的符号域、指数域和尾数域分别映射、分别压缩，并对压缩后的数据以二进制位为单位进行存储；

步骤2、获得尾数域差值的有效数据、指数域差值和符号域，并根据IEEE754格式和参考数据，完整恢复出原始数据，

其中，参考数据是前一个被压缩数据。

本发明的特点还在于：

步骤1具体为：

步骤1.1、内存拷贝参考数据和被压缩数据，将其分别转换为4个字节的整数；

步骤1.2、根据IEEE754格式，提取出参考数据和被压缩数据的符号域、指数域和尾数域；

步骤1.3、保持被压缩数据的符号域值不变；

步骤1.4、采用减法运算得出被压缩数据与参考数据的指数域差值，当指数域差值的值较小时，标记相应的标志位；当指数域差值的值较大时，单独存储被压缩数据的指数域，并标记相应的标志位；

步骤1.5、采用减法运算得出被压缩数据与参考数据的尾数域差值，删除尾数域差值头部的连续冗余0，存储有效数据，同时标记有效数据的个数；

步骤1.6、采用位位相接的方式封装所有数据尾数域差值的有效数据位，并封装被压缩数据的符号域、指数域及各种标志位，即实现了数据的完全无损压缩。

步骤1.4中指数域差值的值较小为被压缩数据与参考数据的指数域差值为0，1，-1，对应的标记位为0，1，2；指数域差值的值较大为被压缩数据与参考数据的指数域差值为其他，对应的标记位为3。

步骤2具体为：

步骤2.1、根据尾数部分的标志位值确定尾数域差值的有效数据位数，并按位从尾数域的压缩数据中取出该差值；然后由IEEE754格式可知该差值头部所需的冗余0位数，并对其进行填充；最后根据参考数据的尾数值恢复出被压缩数据的尾数域；

步骤2.2、根据指数部分的标志位值，如果获得的是指数域差值，根据参考数据的指数域恢复出被压缩数据的指数域，转到步骤2.3；如果获得的是被压缩数据的指数域，直接转到步骤2.3；

步骤2.3、从压缩数据中取出被压缩数据的符号域；

步骤2.4、按照IEEE754格式，组合符号域、指数域和尾数域变成4个字节的整数，并内存映射该整数使其还原成被压缩的浮点型数据。

本发明的有益效果是：本发明一种面向科学计算的浮点型数据无损压缩方法，所采用的尾数整型法(Think Mantissa as Integer，TMI)根据浮点型数据各部分的物理含义及结构特点，对数据各部分分别映射、分别压缩，打破了传统的浮点型数据压缩方法中，强行将其按字节划分，既破坏了浮点型数据的物理含义，又使压缩率低下；再者，本发明无损压缩方法没有过多的数据预测或变换算法，从而有利于加快数据压缩速度；最后，由于任何数据在计算机中都以二进制形式表示，所以该方法的思想可推广到其它数据类型的压缩。

附图说明

图1是本发明无损压缩方法中数据压缩的实施例流程图；

图2是本发明无损压缩方法中数据解压缩的实施例流程图；

图3是本发明无损压缩方法与WinRAR、WinZIP的压缩率比较图；

如图4所示为本发明无损压缩方法与WinRAR、WinZIP的压缩和解压缩时间比较图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

一种面向科学计算的浮点型数据无损压缩方法，主要针对单精度浮点型数据，根据IEEE754格式，利用数据之间的高度密集性，设计出尾数整型化(Think Mantissa as Integer，TMI)压缩技术，具体按照以下步骤实施：

步骤1、数据压缩：对浮点型数据的符号域、指数域和尾数域分别映射、分别压缩，并对压缩后的数据以二进制位为单位进行存储，具体步骤如下：

步骤1.1、内存拷贝参考数据和被压缩数据，将其分别转换为4个字节的整数；其中，参考数据是前一个被压缩数据；

步骤1.2、根据IEEE754格式，提取出参考数据和被压缩数据的符号域、指数域和尾数域；

步骤1.3、保持被压缩数据的符号域值不变；

步骤1.4、采用减法运算得出被压缩数据与参考数据的指数域差值，由于参考数据与被压缩数据具有极大相似性，因此该差值的值较小，因而所需要存储的比特位也较少；当指数域差值的值较小即被压缩数据与参考数据的指数域差值为0，1，-1时，标记相应的标志位，对应的标记位为0，1，2；当指数域差值的值较大，即被压缩数据与参考数据的指数域差值为其他值时，单独存储被压缩数据的指数域，并标记相应的标志位，对应的标记位为3；

步骤1.5、采用减法运算得出被压缩数据与参考数据的尾数域差值，根据数据间具有极强的相似性可知，该尾数域差值头部将产生若干连续冗余0，在存储有效数据时删除这些冗余0即可达到压缩数据的效果，存储有效数据，同时标记有效数据的个数，以便解压时完整恢复原始数据；

步骤1.6、采用位位相接的方式封装所有数据尾数域差值的有效数据位，并封装被压缩数据的符号域、指数域及各种标志位，即实现了数据的完全无损压缩。

步骤2、数据的解压缩：获得尾数域差值的有效数据、指数域差值和符号域，并根据IEEE754格式和参考数据，完整恢复出原始数据，进而满足准确、实时无损的要求，具体步骤如下：

步骤2.1、根据尾数部分的标志位值确定尾数域差值的有效数据位数，并按位从尾数域的压缩数据中取出该差值；然后由IEEE754格式可知该差值头部所需的冗余0位数，并对其进行填充；最后根据参考数据的尾数值恢复出被压缩数据的尾数域；

步骤2.2、根据指数部分的标志位值可确定被压缩数据与参考数据的指数域差值或者可直接获得被压缩数据的指数域，如果获得的是指数域差值，根据参考数据的指数域恢复出被压缩数据的指数域，转到步骤2.3；如果获得的是被压缩数据的指数域，直接转到步骤2.3；

步骤2.3、从压缩数据中取出被压缩数据的符号域；

步骤2.4、按照IEEE754格式，组合符号域、指数域和尾数域变成4个字节的整数，并内存映射该整数使其还原成被压缩的浮点型数据。

下面以具体实施例说明本发明无损压缩方法的具体操作过程：

设f_t和f_t+1是前一时刻和这一时刻采集到的拥有N个元素的数据，这两个数据中都存在多个元素项，n表示元素项的个数，a_i∈f_t，i＝1,2,3.....n；b_j∈f_t+1，j＝1,2,3....n，a_i和b_j分别表示f_t和f_t+1中的元素项，由a_k压缩b_k，其中，N与n的值相等。具体实施步骤如下：

步骤1、数据压缩，流程图如图1所示：

步骤1.1、准备1bit存储b_k的符号域，命名为s_b，采用该方式可以避免数据具有单调性，只需要考虑指数部分和尾数部分；

步骤1.2、用Δe表示a_k与b_k的指数域的差值，即Δe＝e_b-e_a。在这里，用2bit表示Δe，而不是8bit，这是因为科学数据密集度高，大部分数据的指数域相同或相差1，仅有少数数据的指数域相差较大。由于2bit的Δe只能表示4种情况，所以当a_k与b_k的指数域的差值为0，1，-1时，对应的Δe分别等于0，1，2；当指数域的差值是其它情况时，Δe等于3，并额外存储1byte用于单独表示b的指数域，命名为e_b；

步骤1.3、准备1bit表示a_k与b_k的尾数域部分(m_a及m_b)谁更大，命名为l。这是因为尾数域部分的差值取的是绝对值，在解压缩时，必须区分谁大谁小，才能完整的恢复原始数据，所以该标志的存储是不可缺少的；

步骤1.4、由于单精度浮点型数据的尾数部分只有23位，而目前计算机的最小单位是字节byte，所以首先给a_k与b_k的尾数域头部填充1bit，将其扩展为24bit，以便于计算机识别及计算；然后采用内存拷贝映射尾数域部分使其变成整数；最后求出a_k与b_k的尾数域部分差值的绝对值，命名为Δm；

步骤1.5、计算Δm头部冗余零位数num₁。考虑到数据压缩的效率及计算时间，我们以2bit为单位对num₁进行计算，删除头部「num₁/2」*2位冗余零，最后只存储余下的有效数据；为了解压缩时具有可分辨性，额外用4bit标志保存有效数据的位数，命名为num。

步骤1.6、将所有的标志位s_b，Δe，l，num重新组合成一个字节，命名为mark。此处的技巧在于既充分利用了浮点型数据各部分的物理含义及每部分的密集性特点，又刚好将所有标志位组合成1byte，以便于计算机识别及后面压缩数据的封装。

步骤1.7、将获得的有效数据按位位相接的原则，封装成字符串，命名为data；

步骤1.8、返回步骤1.1直至f_t+1中所有数据被压缩完成，将所有mark组成一个数组*mark，所有由其它情况产生的e_b组成数组*e_b，所有data组成一个数组*data。

步骤2、数据解压缩，流程图如图2所示：

步骤2.1、从数组*mark中取出一个数据mark，按照移位原则分解出s_b，Δe，l，num。

步骤2.2、根据s_b值确定b_k的符号域。

步骤2.3、由Δe确定b_k的指数域与a_k的指数域的差值，若属于0，-1，1三种情况，则结合a_k的指数部分确定b_k的指数域；若属于其它情况，则从数组*e_b中取出一个字节e_b，并将其作为b_k的指数部分。

步骤2.4、由l可知道a_k与b_k的尾数域部分谁大谁小，从而可确定b_k的尾数域部分与a_k的尾数域部分的运算符号。

步骤2.5、根据num可知在数组*data中存储了多少位有效数据，采用反压缩法提取出num*2位有效数据，然后添加冗余零到这些有效数据的头部以构成23bit，从而得出a_k与b_k的尾数域差值|Δm|。

步骤2.6、根据l，确定出|Δm|实际值的大小，在结合a_k的尾数域，计算出b_k的尾数域。最后采用内存反映射的方式得出b_k的尾数域。

步骤2.7、由步骤2.1至步骤2.6即完成了浮点型数据符号域、指数域、尾数域的解压缩。通过移位等操作，将这三部分重新组合成一个新的浮点型数据，它与原始数据完全相等，没有任何bit位的丢失，也没有破坏原始数据的结构，并且方法简单高效。

步骤2.8、返回步骤2.1继续解压直至f_t+1中所有数据被解压完成。

如图3所示为本发明无损压缩方法(TMI)与WinRAR、WinZIP的压缩率比较图，由图3可以得出：对于压缩结果复杂的流体仿真数据(如图中U文件、V文件、UV文件)，本发明TMI方法取得了比常规压缩工具WinRAR和WinZIP更好的压缩效果。

如图4所示为本发明无损压缩方法(TMI)与WinRAR、WinZIP的压缩和解压缩时间比较图，由图4可以得出：本发明TMI方法对U文件、V文件、UV文件的压缩和解压缩速度比常规压缩工具WinRAR和WinZIP更快。

Claims (4)

1.一种面向科学计算的浮点型数据无损压缩方法，其特征在于，具体按照以下步骤实施：

步骤1、对浮点型数据的符号域、指数域和尾数域分别映射、分别压缩，并对压缩后的数据以二进制位为单位进行存储；

步骤2、获得尾数域差值的有效数据、指数域差值和符号域，并根据IEEE754格式和参考数据，完整恢复出原始数据，

其中，参考数据是前一个被压缩数据。

2.根据权利要求1所述的一种面向科学计算的浮点型数据无损压缩方法，其特征在于，所述步骤1具体为：

步骤1.1、内存拷贝参考数据和被压缩数据，将其分别转换为4个字节的整数；

步骤1.2、根据IEEE754格式，提取出参考数据和被压缩数据的符号域、指数域和尾数域；

步骤1.3、保持被压缩数据的符号域值不变；

步骤1.4、采用减法运算得出被压缩数据与参考数据的指数域差值，当指数域差值的值较小时，标记相应的标志位；当指数域差值的值较大时，单独存储被压缩数据的指数域，并标记相应的标志位；

步骤1.5、采用减法运算得出被压缩数据与参考数据的尾数域差值，删除尾数域差值头部的连续冗余0，存储有效数据，同时标记有效数据的个数；

步骤1.6、采用位位相接的方式封装所有数据尾数域差值的有效数据位，并封装被压缩数据的符号域、指数域及各种标志位，即实现了数据的完全无损压缩。

3.根据权利要求2所述的一种面向科学计算的浮点型数据无损压缩方法，其特征在于，所述步骤1.4中指数域差值的值较小为被压缩数据与参考数据的指数域差值为0，1，-1，对应的标记位为0，1，2；指数域差值的值较大为被压缩数据与参考数据的指数域差值为其他，对应的标记位为3。

4.根据权利要求1所述的一种面向科学计算的浮点型数据无损压缩方法，其特征在于，所述步骤2具体为：

步骤2.1、根据尾数部分的标志位值确定尾数域差值的有效数据位数，并按位从尾数域的压缩数据中取出该差值；然后由IEEE754格式可知该差值头部所需的冗余0位数，并对其进行填充；最后根据参考数据的尾数值恢复出被压缩数据的尾数域；

步骤2.2、根据指数部分的标志位值，如果获得的是指数域差值，根据参考数据的指数域恢复出被压缩数据的指数域，转到步骤2.3；如果获得的是被压缩数据的指数域，直接转到步骤2.3；

步骤2.3、从压缩数据中取出被压缩数据的符号域；

步骤2.4、按照IEEE754格式，组合符号域、指数域和尾数域变成4个字节的整数，并内存映射该整数使其还原成被压缩的浮点型数据。