CN114885035A - 无损压缩方法及装置、无损解压方法及装置 - Google Patents

Abstract

本发明提供一种无损压缩方法及装置、无损解压方法及装置，涉及图像、视频传输技术领域。所述无损压缩方法基于更新的字典概率表，获取哈夫曼码字分配表，将待上传数据的像素串全部替换为哈夫曼码字，然后对待上传数据进行无损压缩，使得图像或视频待上传数据在传输和存储时以大数据信息熵为压缩目标，降低存储空间和传输速率，提升整个网络中数据的传输能力和云存储能力。所述无损解压方法应用于无损压缩方法，所述无损压缩装置应用于无损压缩方法，所述无损解压方法应用于无损解压装置。

Description

无损压缩方法及装置、无损解压方法及装置

技术领域

本发明涉及图像、视频传输技术领域，尤其涉及一种无损压缩方法及装置、无损解压方法及装置。

背景技术

大数据时代，数据量快速增长给网络传输和存储带来巨大压力，尤其以图像或视频数据为最。为了解决这一问题，一方面需提升硬件设施，另一方面是构造具有更高压缩率的无损编码算法。

发明内容

为解决上述技术问题，本发明提供一种无损压缩方法、无损解压方法及装置，以降低数据存储空间和传输速率，提升整个网络中数据的传输能力和云存储能力。

本发明提供一种无损压缩方法，该方法包括以下步骤：

步骤1：获取待上传数据的字典概率表；

步骤2：更新所述字典概率表，以获取哈夫曼码字分配表，并对更新的所述字典概率表分配编号；

步骤3：查询所述哈夫曼码字分配表，以获取待上传数据的像素串对应的哈夫曼码字；

步骤4：将待上传数据的像素串替换为所述哈夫曼码字；

步骤5：若待上传数据的所有像素串被替换，则结束，并上传由所述哈夫

曼码字组成的序列进行无损压缩；否则，循环执行步骤2到步骤5。

优选地，所述步骤1中获取待上传数据的字典概率表，包括：

步骤1.1：获取待上传数据的字典值；

步骤1.2：获取待上传数据的字典值对应的概率值；

步骤1.3：基于所述字典值和所述概率值形成待上传数据的字典概率表。

优选地，所述待上传数据的字典值包括若干个像素串。

优选地，所述步骤2：更新所述字典概率表，以获取待上传数据的哈夫曼

码字分配表，并对更新的所述字典概率表分配编号，包括：

步骤2.1：将所述字典概率表基于各字典值对应的概率值递减排序；

步骤2.2：用0和1二进制数据分别标识概率值最小的两个字典值，并将

概率值最小的两个字典值对应的0和1二进制数据合并为一个，以更新所述字典概率表；

步骤2.3：判断所述字典概率表是否只剩下两个字典值，若否，则执行步骤2.1和步骤2.2；若是，则用0和1二进制数据标识最后剩下的两个字典值；

步骤2.4：基于更新的所述字典概率表，获取哈夫曼码字分配表，并对更新的所述字典概率表分配编号。

与现有技术相比，本发明所提供的无损压缩方法具有如下有益效果：本发明基于更新的字典概率表，获取哈夫曼码字分配表，将待上传数据的像素串全部替换为哈夫曼码字，然后对待上传数据进行无损压缩，即从二进制数据层去重复数据，可以在整个云端提供接近理论极限的压缩效果，使得图像或视频待上传数据在传输和存储时以大数据信息熵为压缩目标，因为降低了需要传输或存储数据的量，所以极大的提升了整个网络中数据存储和传输能力。

本发明还提供一种无损解压方法，该无损解压方法应用上述技术方案所述

的无损压缩方法，该无损解压方法包括以下步骤：

步骤1：根据所述编号获取哈夫曼码字分配表；

步骤2：确定所述哈夫曼码字分配表的最大码长N；

步骤3：将所述序列获取N个比特的哈夫曼码字A，查询所述哈夫曼码字

A是否存在于所述字典概率表中，若否，则最大码长N减少一个比特，重复步骤3，直到哈夫曼码字A存在于所述字典概率表中结束；

步骤4：将哈夫曼码字A替换为待上传数据的像素串；

步骤5：如果所有的哈夫曼码字都被替换成待上传数据的像素串，则无损

解压完成；否则，重复步骤2到5。

与现有技术相比，本发明所提供的无损解压方法的有益效果与上述技术方案所述无损压缩方法的有益效果相同，在此不做赘述。

本发明还提供一种无损压缩装置，该无损压缩装置包括：

字典概率表获取模块，用于获取待上传数据的字典概率表；

字典概率表更新模块，用于更新所述字典概率表，以获取哈夫曼码字分配表，并对更新的所述字典概率表分配编号；

哈夫曼码字查询模块，用于查询所述哈夫曼码字分配表，以获取待上传数据的像素串对应的哈夫曼码字；

哈夫曼码字替换模块，用于将待上传数据的像素串替换为所述哈夫曼码字。

本发明还提供一种无损解压装置，该装置包括，

哈夫曼码字分配表获取模块，用于根据字典概率表分配的编号获取哈夫曼

码字分配表；

码长确定模块，用于确定所述哈夫曼码字分配表的最大码长N；

字典概率表查询模块，用于将所述序列获取N个比特的哈夫曼码字A，

查询所述哈夫曼码字A是否存在于所述字典概率表中，若否，则最大码长N减少一个比特，重复步骤3，直到哈夫曼码字A存在于所述字典概率表中结束；

像素串替换模块，用于将哈夫曼码字A替换为待上传数据的像素串。

与现有技术相比，本发明所提供的无损压缩装置和无损解压装置的有益效果与上述技术方案所述无损压缩方法的有益效果相同，在此不做赘述。

本发明还提供一种电子设备，包括总线、收发器、存储器、处理器及存储

在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如上述任一项所述的一种无损压缩方法中的步骤。

本发明还提供另一种电子设备，包括总线、收发器、存储器、处理器及存

储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现上述任一项所述的一种无损解压方法中的步骤。

与现有技术相比，本发明所提供的两种电子设备的有益效果与上述技术方案所述无损压缩方法的有益效果相同，在此不做赘述。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的无损压缩方法的流程图；

图2示出了本发明实施例所提供的基于以太网字典概率表的系统结构图；

图3示出了本发明实施例所提供的无损解压方法的流程图；

图4示出了本发明实施例所提供的无损压缩装置的结构示意图；

图5示出了本发明实施例所提供的无损解压装置的结构示意图。

具体实施方式

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本实施例中提到的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况。“示例性的”或者“例如”等词用于表示作例子、例证或说明，旨在以具体方式呈现相关概念，不应被解释为比其他实施例或设计方案更优选或更具优势。

如图1所示，本发明实施例提供一种无损压缩方法，该无损压缩方法包括以下步骤：

步骤1：获取待上传数据的字典概率表。

需要说明的是，针对图像或视频待上传数据，图像或视频在云端存储时的字典，如RGB代表的像素，或由局部像素组成的串定义为字典值。字典值通过云数据中心存储时通过统计必然具备一个概率值，即某一字典值在已经存储数据统计时的概率。于是所有字典值概率形成的表被定义为字典概率表。

进一步地，步骤1中获取待上传数据的字典概率表，包括：

步骤1.1：获取待上传数据的字典值，所述待上传数据的字典值包括若干个像素串。

步骤1.2：获取待上传数据的字典值对应的概率值。

步骤1.3：基于字典值和概率值形成待上传数据的字典概率表。

进一步地，图2示出了本发明实施例所提供的基于以太网字典概率表的系统结构图。如图2所示，字典概率表存储于如图2所示的字典概率表服务器1中，字典概率表也可以由公共服务器或路由器负责统计和同步保存。

应理解，一般针对数据传输分为两种，一种是A传给B，一种是广播给所有人。例如，通过A或B，上载数据时统计每个字典值的概率，并上报给字典概率表服务器，字典概率表服务器综合A和B统计的概率。应理解，这里的A和B可以为路由器、边缘服务器、终端或其他网络设备等。可以理解的是，虽然图2中只给出了A和B，实际上不止A和B两个局域网。也就是，在无损压缩前，先将待压缩编码，也就是待上传数据的字节概率进行统计，然后上传给字典概率表服务器更新字典概率表。

步骤2：更新字典概率表，以获取哈夫曼码字分配表，并对更新的字典概率表分配编号。

可以理解的是，因为有可能存在很多个用户在传输数据，所以每个用户更新的字典概率表是不同的，而因为译码的时候必须是一致的字典概率表，所以本发明对更新的字典概率分配编号。

而更新字典概率表的频率可以是每天或每小时，具体由服务器系统定义更新时间，当然最坏的可能性是每次都要更新，但是每次更新将会对数据库存储和查询带来负担。

表1示出了本发明实施例所提供的基于字典概率表获取的哈夫曼码字分

配表。如表1所示，所述步骤2：更新字典概率表，以获取待上传数据的哈夫曼码字分配表，并对更新的所述字典概率表分配编号，包括：

步骤2.1：将字典概率表基于各字典值对应的概率值递减排序。

步骤2.2：用0和1二进制数据分别标识出概率值最小的两个字典值，并将概率值最小的两个字典值对应的0和1二进制数据合并为一个，于是字典概率表的字典值个数减少了1个，且字典概率表被更新了。

步骤2.3：判断字典概率表是否只剩下两个字典值，若否，则执行步骤2.1和步骤2.2；若是，则用0和1二进制数据标识最后剩下的两个字典值。

需要说明的是，字典概率表被更新之后，将更新的字典概率表基于各字典值的概率值递减排序，并用0和1分别标识出概率值最小的两个字典值，并将概率值最小的两个字典值对应的0和1二进制数据合并为一个，依次继续下去，直到字典概率表中只剩下两个字典值为止，并且用0和1二进制数据标识出最后的两个字典值。

步骤2.4：基于更新的字典概率表，获取哈夫曼码字分配表，并对更新的字典概率表分配编号。

需要说明的是，在步骤2.3中用0和1二进制数据标识出最后的两个字典值，获得更新的字典概率表，应理解，可以以周为单位更新字典概率表。然后基于更新的字典概率表，获取如表1所示哈夫曼码字分配表，并对更新的字典概率表分配编号。具体地，通过查表1可以获得字典值对应的哈夫曼码字。

表1

如表1，像素串1的概率值首先出现在排序4中被分配了一个0，然后在排序5没有分配二进制符号，最后在排序6中分配了一个1，按照上述步骤5，获得像素串1的哈夫曼码字为10。同理，像素串2在排序4中被分配了一个1，在排序6中又被分配了一个1，所以像素串2的哈夫曼码字为11。以此类推。对像素串3到像素串7分配哈夫曼码字。

步骤3：查询哈夫曼码字分配表，以获取待上传数据的像素串对应的哈夫曼码字。

需要说明的是，字典概率表服务器1综合A和B统计的概率值，A和B同步最新的字典概率表，即在某一时间段后进行更新，并分配字典概率表编号，同时查询表1给出字典值中各像素串对应的哈夫曼码字。

步骤4：将待上传数据的像素串替换为哈夫曼码字。

步骤5：若待上传数据的所有像素串被替换，则结束，并上传由哈夫曼码

字组成的序列进行无损压缩；否则，循环执行步骤2到步骤5。

与现有技术相比，本发明实施例所提供的无损压缩方法具有如下有益效果：

本发明实施例基于更新的字典概率表，获取哈夫曼码字分配表，将待上传数据的像素串全部替换为哈夫曼码字，然后对待上传数据进行无损压缩，即基于最新的字典概率表对应的哈夫曼码字进行无损压缩，并标记当前数据译码时对应的字典概率表编号。对无损压缩后的数据进行存储和传输，相对于海量数据，本发明最大的作用就是从二进制数据层去重复数据，去重主要体现在概率上，比如某个字节或二进制片段出现的概率很高，那么其相对仅仅需要很短的码字进行编码，所以就很大程度的接近当前字节或二进制片段的自信息量就很低。即从原理上进行了去重。属于碎片化存储或结构化存储数据的一种技术，因此可以在整个云端提供接近理论极限的无损压缩效果，通过降低需要传输或存储数据的量，降低整个数据的存储空间和传输速率，极大的提升整个网络中数据的传输能力和云存储能力。

如图3所示，本发明实施例还提供一种无损解压方法，该无损解压方法应

用于上述技术方案所述的无损压缩方法，该无损解压方法包括以下步骤：

步骤1：根据所述编号获取哈夫曼码字分配表；

步骤2：确定所述哈夫曼码字分配表的最大码长N；

步骤3：将所述序列获取N个比特的哈夫曼码字A，查询所述哈夫曼码字

A是否存在于所述字典概率表中，若否，则最大码长N减少一个比特，重复

步骤3，直到哈夫曼码字A存在于所述字典概率表中结束；

步骤4：将哈夫曼码字A替换为待上传数据的像素串；

步骤5：如果所有的哈夫曼码字都被替换成待上传数据的像素串，则无损

解压完成；否则，重复步骤2到5。

与现有技术相比，本发明实施例所提供的无损解压方法的有益效果与上述技术方案所述无损压缩方法的有益效果相同，在此不做赘述。

如图4所示，本发明实施例还提供一种无损压缩装置，该无损压缩装置应用于上述无损压缩方法，该无损压缩装置包括：

字典概率表获取模块10，用于获取待上传数据的字典概率表；

字典概率表更新模块20，用于更新所述字典概率表，以获取哈夫曼码字分配表，并对更新的所述字典概率表分配编号；

哈夫曼码字查询模块30，用于查询所述哈夫曼码字分配表，以获取待上传数据的像素串对应的哈夫曼码字；

哈夫曼码字替换模块40，用于将待上传数据的像素串替换为所述哈夫曼

码字。

如图5所示，本发明实施例还提供一种无损解压装置，该无损解压装置应用于上述无损解压方法，该无损解压装置包括，

哈夫曼码字分配表获取模块100，用于根据字典概率表分配的编号获取哈

夫曼码字分配表；

码长确定模块200，用于确定所述哈夫曼码字分配表的最大码长N；

字典概率表查询模块300，用于将所述序列获取N个比特的哈夫曼码字A，

查询所述哈夫曼码字A是否存在于所述字典概率表中，若否，则最大码长N减少一个比特，重复步骤3，直到哈夫曼码字A存在于所述字典概率表中结束；

像素串替换模块400，用于将哈夫曼码字A替换为待上传数据的像素串。

与现有技术相比，本发明实施例所提供的无损压缩装置和无损解压装置的有益效果与上述技术方案所述无损压缩方法的有益效果相同，在此不做赘述。

此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述一种无损压缩方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

此外，本发明实施例还提供了另一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述一种无损解压方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

此外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种无损压缩方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

此外，本发明实施例还提供另一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种无损解压方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体，是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定，计算机可读存储介质不包括暂时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。

在本申请所提供的几个实施例中，应该理解到，所披露的装置、电子设备和方法，可以通过其他的方式实现。例如，以上描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的、机械的或其他的形式连接。

所述作为分离部件说明的单元可以是或也可以不是物理上分开的，作为单元显示的部件可以是或也可以不是物理单元，既可以位于一个位置，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(包括：个人计算机、服务器、数据中心或其他网络设备)执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种无损压缩方法，其特征在于，包括以下步骤：

步骤1：获取待上传数据的字典概率表；

步骤2：更新所述字典概率表，以获取哈夫曼码字分配表，并对更新的所述字典概率表分配编号；

步骤3：查询所述哈夫曼码字分配表，以获取待上传数据的像素串对应的哈夫曼码字；

步骤4：将待上传数据的像素串替换为所述哈夫曼码字；

步骤5：若待上传数据的所有像素串被替换，则结束，并上传由

所述哈夫曼码字组成的序列进行无损压缩；否则，循环执行步骤2到步骤5。

2.根据权利要求1所述的一种无损压缩方法，其特征在于，所述步骤1中获取待上传数据的字典概率表，包括：

步骤1.1：获取待上传数据的字典值；

步骤1.2：获取待上传数据的字典值对应的概率值；

步骤1.3：基于所述字典值和所述概率值形成待上传数据的字典概率表。

3.根据权利要求2所述的一种无损压缩方法，其特征在于，

所述待上传数据的字典值包括若干个像素串。

4.根据权利要求2所述的一种无损压缩方法，其特征在于，所述步骤2：更新所述字典概率表，以获取待上传数据的哈夫曼码字分配表，并对更新的所述字典概率表分配编号，包括：

步骤2.1：将所述字典概率表基于各字典值对应的概率值递减排

序；

步骤2.2：用0和1二进制数据分别标识概率值最小的两个字典值，

并将概率值最小的两个字典值对应的0和1二进制数据合并为一个，以更新所述字典概率表；

步骤2.3：判断所述字典概率表是否只剩下两个字典值，若否，则执行步骤2.1和步骤2.2；若是，则用0和1二进制数据标识最后剩下的两个字典值；

步骤2.4：基于更新的所述字典概率表，获取哈夫曼码字分配表，并对更新的所述字典概率表分配编号。

5.一种无损解压方法，其特征在于，应用于权利要求1所述的无损压缩方法，包括以下步骤：

步骤1：根据字典概率表分配的编号获取哈夫曼码字分配表；

步骤2：确定所述哈夫曼码字分配表的最大码长N；

步骤3：将所述序列获取N个比特的哈夫曼码字A，查询所述哈

夫曼码字A是否存在于所述字典概率表中，若否，则最大码长N减少一个比特，重复步骤3，直到哈夫曼码字A存在于所述字典概率表中结束；

步骤4：将哈夫曼码字A替换为待上传数据的像素串；

步骤5：如果所有的哈夫曼码字都被替换成待上传数据的像素串，

则无损解压完成；否则，重复步骤2到5。

6.一种无损压缩装置，其特征在于，包括：

字典概率表获取模块，用于获取待上传数据的字典概率表；

字典概率表更新模块，用于更新所述字典概率表，以获取哈夫曼码字分配表，并对更新的所述字典概率表分配编号；

哈夫曼码字查询模块，用于查询所述哈夫曼码字分配表，以获取待上传数据的像素串对应的哈夫曼码字；

哈夫曼码字替换模块，用于将待上传数据的像素串替换为所述哈

夫曼码字。

7.一种无损解压装置，其特征在于，包括，

哈夫曼码字分配表获取模块，用于根据字典概率表分配的编号获

取哈夫曼码字分配表；

码长确定模块，用于确定所述哈夫曼码字分配表的最大码长N；

字典概率表查询模块，用于将所述序列获取N个比特的哈夫曼码

字A，查询所述哈夫曼码字A是否存在于所述字典概率表中，若否，则最大码长N减少一个比特，重复步骤3，直到哈夫曼码字A存在于所述字典概率表中结束；

像素串替换模块，用于将哈夫曼码字A替换为待上传数据的像素

串。

8.一种电子设备，包括总线、收发器、存储器、处理器及存储在

所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的一种无损压缩方法中的步骤。

9.一种电子设备，包括总线、收发器、存储器、处理器及存储在

所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求5中任一项所述的一种无损解压方法中的步骤。

Images