CN110460851B - 分段图像数据的无损压缩系统、方法及存储介质 - Google Patents

Abstract

公开分段图像数据的无损压缩。在一些实施例中，接收信息流，其中信息流包括元组序列并且其中元组中的每个包括对应于多个输入信道中的一个的数据元素。采用信道变换器来将数据元素重新布置成对于输出流的多个输出信道，其中输出信道具有比输入信道更高的可压缩性。存储被压缩的输出流。

Description

分段图像数据的无损压缩系统、方法及存储介质

本申请是如下发明专利申请的分案申请：

申请号：201380054188.1；申请日：2013年06月30日；发明名称：分段图像数据的无损压缩。

对其他申请的交叉引用

该申请要求于2012年8月21日提交的题为LOSSLESS COMPRESSION OF FRAGMENTEDINTEGER IMAGE DATA（分段整数图像数据的无损压缩）的美国临时专利申请号61/691,735的权益，其为了所有目的通过引用合并于此。

背景技术

计算、存储和通信介质必须应对越来越大量的数字数据。数据量的增加导致对高速传输、高容量和高吞吐量存储以及数据归档的极大需求。为了适应该数据增长，高效压缩技术已变得越来越重要。

附图说明

本发明的各种实施例在下列详细描述和附图中公开。

图1图示如何将二维图像分成多个一维片段的实施例。

图2图示如何将图像放在盘上的实施例并且图示片段和片段界限。

图3图示包括元组并且示出信道（其包括在这些元组内的某些坐标）的输入序列的实施例。

图4图示信道变换的实施例。

图5图示将像素值映射成（水平，值）形式的实施例。

图6图示阈值选择算法的实施例。

图7图示压缩过程的实施例。

图8图示1阶霍夫曼码的实施例。

图9图示执行2阶霍夫曼码的过程的实施例。

图10图示利用压缩的归档存储系统的实施例。

图11图示在硬件中实现的片段压缩算法的实施例。

具体实施方式

本发明可以采用许多方式实现，包括作为：过程；设备；系统；物质组成；计算机可读存储介质上包含的计算机程序产品；和/或处理器，例如配置成执行存储在存储器（其耦合于处理器）上和/或由该存储器提供的指令的处理器。在该说明书中，这些实现或本发明可采取的任何其他形式可称为技术。一般，公开的过程的步骤的顺序可在本发明的范围内更改。除非另外规定，例如描述为配置成执行任务的处理器或存储器等部件可实现为暂时配置成在指定时间执行任务的通用部件或被制造来执行任务的特定部件。如本文使用的，术语‘处理器’指一个或多个装置、电路和/或处理核，其配置成处理例如计算机程序指令等数据。

本发明的一个或多个实施例的详细描述在下文连同图示本发明的原理的附图一起提供。本发明连同这样的实施例描述，但本发明不限于任一个实施例。本发明的范围仅由权利要求限制并且本发明包含许多备选、修改和等同物。在下列描述中阐述许多具体细节以便提供本发明的全面理解。为了示例目的提供这些细节，并且本发明可根据权利要求实践而没有这些具体细节中的一些或全部。为了清楚起见，在与本发明有关的技术领域中已知的技术材料未被详细描述使得不会不必要地掩盖本发明。

在本文描述整数值序列的无损压缩的技术。在一些实施例中，整数值序列可代表任意图像或传感器数据的片段。

图像数据已变成主导数据类型，并且它是在数字信息世界中由各种源产生的数据的最快增长段之一。尽管例如JPEG等有损压缩技术具有许多用例，它们无法满足若干重要应用的要求，其包括医学影像（例如CT扫描图像、MRI图像等）和高清晰度电影图像。这些应用需要压缩它们的图像并且采用无损方式存储它们，这意指可以对压缩版本解压以完整地恢复原始图像而没有任何数据损失。

在数据传输和数据存储系统采用压缩方法来减少网络带宽和数据存储占用空间时，它们通常需要将数据分成片段。例如，数据传输协议通常需要将数据流分成片段以便一次传输数据包。去除重复文件系统通常需要将数据存储在相对小的单元中，例如大小固定的块或大小可变的段。

因为图像可以很大，具有可以快速压缩图像的小的片段并且实现高压缩比和更简单的硬件压缩实现的无损压缩方法，这是非常可取的。此外，片段可以使用多个计算元件（或核）或多个软件元件（或线程）或这两者来独立压缩和解压。

图1图示如何将二维图像分成多个一维片段f_i的实施例。每个片段可包括一个或多个行的一部分。图2图示如何将图像放在盘上的实施例并且图示片段和片段界限。

本文公开的无损压缩技术可用于采用无损方式高效压缩每个片段并且还可用于扩展压缩片段而不参考其他片段或元数据。

压缩算法

综览

在各种实施例中，到压缩算法的输入是k个元组的整数值序列，其源于图像或传感器数据片段。包括每个元组的第i个坐标的该值序列称为信道；可存在k个这样的信道。例如，在图像数据的情况下，每个元组可与单个像素关联。每个信道在这里是颜色分量（例如，红、绿和蓝），其中一个元组的坐标代表像素处的颜色信息。在各种实施例中，本文描述的压缩算法可用于通过利用信道内和跨信道的连续性性质而无损地对输入编码。在一些实施例中，利用连续性性质通过至少执行变换来消除信道内和跨信道的冗余并且基于数据的统计信息对所得的序列无损地编码而执行。在一些实施例中，使用可以适应于数据性质但同时需要非常少的空间来代表它所依赖的数据的性质的灵活编码方案。

图3图示包括元组并且示出信道的输入序列的实施例，所述信道包括元组内的某些坐标。例如，对于序列的第一元组，A₁、B₁和C₁中的每个对应于信道并且每个表示为整数值。例如，信道1的整数值（A₁、A₂、…A_n）可与红色分量关联，信道2的整数值（B₁、B₂、…B_n）可与绿色分量关联，并且信道3的整数值（C₁、C₂、…C_n）可与蓝色分量关联。

数据变换

在一些实施例中，在执行压缩之前执行若干变换作为预处理。一般，这些变换的目的是利用数值的冗余和连续性性质并且将它们转换成较小的值，其可以被更高效压缩。在各种实施例中，变换是可逆的，使得值的原始序列可从变换序列获得。

逐点信道变换

在一些实施例中，在逐点信道变换中，跨信道的冗余通过对单个像素的信道值应用可逆变换而消除，其中独立地对每个像素应用该变换。为了便于压缩，可选地，制成新的信道集的信道可凭借可逆变换而变换，使得该新的信道集比原始集可压缩得更好。可使用的变换的示例包括（可逆）线性变换以及位重组操作。作为后者的示例，几个信道的MSB（最高有效字节）可以分组在一起来产生新的信道以实现更高效编码。

图4图示信道变换的实施例。如在给出示例中示出的，每个整数包括两个字节，其中一个字节是最高有效字节而另一个是最低有效字节。每个原始信道可包括与相同颜色分量关联的整数。如在示例中示出的，顶部原始信道包括与红色关联的两个字节整数，中间原始信道包括与绿色关联的两个字节整数，并且底部原始信道包括与蓝色关联的两个字节整数。原始信道可被变换使得顶部变换信道包括来自原始红色信道和原始绿色信道的一系列最高有效字节，中间变换信道包括来自原始红色信道和原始绿色信道的一系列最低有效字节，而底部变换信道仍然与原始蓝色信道相同（具有它的交替最高有效字节和最低有效字节）。

在一些实施例中，潜在信道变换通过估计它们所产生的新的信道的可压缩性来评估。为了评估潜在信道变换，选择合适的函数e(x)，其估计对数值x编码所需要的位的数量。例如，

可用作对x编码所需要的位的数量的估计。

空间数据变换

在一些实施例中，在空间数据变换中，消除冗余并且信道内的连续性通过对连续像素的特定信道的值应用可逆变换而利用。

让A成为期望被压缩的特定片段中的特定（变换或未变换）信道（即，数值序列）。然后A_i代表信道A的第i个元素。

让X代表在变换后获得的序列。可以使用下列变换。

微分变换：在这里从它前面的元素扣除每个元素。从而，

对于

对于

XOR变换：在这里取每个元素和它前面的元素的XOR。从而：

对于

对于

在一些实施例中，可考虑额外变换，例如应用差分变换（二次）和其他这样的变化。

将变换值序列映射成（水平，值）对

应用各种变换，接着在每个变换信道中对值序列执行压缩。在一些实施例中，值序列（对于单个变换信道）称为“输入序列”。为了压缩输入序列，使用适应于要表示的值的统计信息的可变长度码。然后，在各种实施例中，序列的编码将包括统计信息（可变长度码可以通过解码器从其重建）的合适表示、后跟值自身的编码。然而，因为可能值的空间非常大，选择在设计可变长度码中使用的统计信息应被选择使得统计信息自身的表示未占用很多空间。为了这样做，在一些实施例中，算法使用量化方法来对数值分组。每个数值由两个分量规定：水平和值位。在一些实施例中，水平规定高阶位并且值规定低阶位。后来，在一些实施例中，算法计算序列中的水平的频率并且这用于设计可变长度码用于对水平编码。在一些实施例中，在没有编码的情况下逐字表示值位。

图5图示将像素值映射成（水平，值）形式的实施例。在给出示例中，水平是2ⁱ，并且图示对于7和13的水平和值的计算。

在一些实施例中，方案采用下列方式实现以允许将值分区成水平和值分量的灵活性和适应于不同数据源特性的能力。

挑选阈值序列

在一些实施例中，选择阈值序列：0=t₀<t₁<t₂<t₃<…t_i<t_i+1<…，并且将非负整数分区成不相交区间的集合：[t₀, t₁)、[t₁, t₂)、[t₂, t₃)…[t_i, t_i+1)…。在各种实施例中，水平分量规定值位于哪个区间[t_i, t_i+1)，并且值分量规定区间中的特定整数。此特殊情况是选择阈值使得（t_i+1- t_i）对于所有i都是2的幂的时候。在该情况下，数值v通过指示v位于的区间[t_i, t_i+1)（由水平规定）并且进一步指示差v-t_i而编码。更具体地，为了规定非负值v，要找到唯一i，使得t_i≤v<t_i+1。认为v在水平i处。现在假设

。则对于v的值位通过将v-t_i表示为b位整数而获得。注意v-t_i是在范围[0, 2^b-1]中的整数。该方案的另外的特殊情况是连续阈值具有

和

的形式的时候。在该情况下，对于区间[t_i, t_i+1)中的数字的值位简单地是b个最低有效位。注意在该特殊情况下，不一定是这样的：b的相同值适用于所有连续阈值。取下列示例：t₀=0，t₁=1，t₂=2，t₃=3，t₄=4，t₅=6，t₆=8，t₇=12…。考虑连续阈值t₃，t₄:t₃=3.2⁰，t₄=4.2⁰；在这里b=0。考虑连续阈值t₄，t₅:t₄=2.2¹，t₅=3.2¹；在这里b=1。考虑连续阈值t₅，t₆:t₅=3.2¹，t₆=4.2¹；在这里b=1。考虑连续阈值t₆，t₇:t₆=2.2²，t₇=3.2²；在这里b=2。

阈值序列：0=t₀<t₁<t₂<t₃<…t_i<t_i+1<…适应于数据。我们可以确定对于特定种类的图像或传感器数据的这些阈值并且将该预定序列应用于该种类的所有数据（数据型自适应），或我们可以自适应地确定对于我们所必须压缩的每个图像片段的阈值序列（数据实例自适应）。在前面的情况下，在样本数据上应用阈值确定算法来获得固定序列，其用于该种类的所有数据。在后面的情况下，阈值确定算法独立应用于每个片段来产生阈值以供在对该特定片段编码中使用。在这里，还必须表示为每个片段挑选的阈值序列连同片段的编码。

在一些实施例中，阈值确定算法选择阈值使得（i）每个区间[t_i, t_i+1)中值的观察分布大致上是均匀的，并且（ii）每个区间[t_i, t_i+1)中值的总观察频率是至少某一规定最小值。后面的性质确保所选的阈值的数量是相对小的，这进而控制编码成本。注意可不可能同时实现这些目标，因此可使用一些松弛。

图6图示阈值选择算法的实施例。该算法另外确保连续阈值具有形式

和

。到阈值选择算法中的输入包括数值序列、深度d和频率阈值f_t。算法以所有阈值设置成2的幂而开始。接着，考虑区间[2ⁱ, 2ⁱ⁺¹)。每个区间分成具有相等长度的两个“子”区间（也是2的幂），其对应于在阈值2ⁱ、2ⁱ⁺¹的中间添加新的阈值。产生的新区间将是[2*2^i-1, 3*2^i-1)和[3*2^i-1, 4*2^i-1)。这些区间每个进一步分成两个子区间。实施这样的划分的次数由深度d（到算法的输入）指示或直到获得具有长度1的区间。典型地，深度设置成3或4。注意如果深度太高，区间变得越来越小，并且将落入每个区间的输入序列中的数值的数量将逐步变得更小。接着，分析数值序列的样本并且对落入每个区间内的值的数量计数，从而在区间上产生频率分布。在一些情况下，期望每个区间的频率大致上相同并且此外每个区间内的元素分布大致上均匀。因为计算对于所有较小区间的频率分布，对于所有较大区间（从其创建较小区间）的频率可以通过简单地对频率求和而容易计算。消除具有非常低频率的区间可是可取的（因为它是低效的）。如果指定区间的频率低于某一阈值f_t（到算法的另一个输入），则区间与它的兄弟区间合并，使得所得的区间是它们的父代。在图6的示例中，我们以区间[2ⁱ, 2ⁱ⁺¹)开始。该父代区间分成两个子代。第一子代以再次被划分而结束，但第二子代被划分并且合并回去使得最后示出的所有区间的频率大致上相同。

输入序列的（无符号）元素使用由上文的算法确定的阈值而转换成水平。今后，描述的编码方案规定对于水平的编码。独立传送值位（通常没有编码）。

用于序列压缩的基本算法

图7图示压缩过程700的实施例。让X成为对应于特定片段中的变换信道（通过数据变换步骤获得，例如在702处）的值的序列。在704处执行阈值选择算法来为压缩算法选择阈值。X中的条目的绝对值如上文描述的那样在706处转换成水平，来产生序列X_L。将独立传送变换数组中的条目的符号。在708处使用霍夫曼码来执行X_L的编码。

对于霍夫曼码的创建存在多个可能性。一个示例技术是具有1阶码，其是使用该特定序列中的水平频率的水平上的最佳霍夫曼码。图8图示1阶霍夫曼码的实施例。

另一个方法是创建2阶霍夫曼码，其由这样的码组成，其中每个水平使用关于序列中之前的水平的信息来表示。这必须仔细进行来确保代表额外统计信息（解码器重建2阶霍夫曼码所需要的）所需要的空间未掩盖通过使用这样的码所实现的空间效益。为了在表示空间开销与改进的码的编码大小之间实现平滑权衡（以及便于找到对于该权衡的甜点），在一些实施例中，水平的集分成少量组并且对这些组中的每个创建独立霍夫曼码。进行水平的分组使得每个组中的元素的总频率大致上相等。图9图示执行2阶霍夫曼码的过程的实施例。对于前面提到的权衡的甜点通过对组数量的若干不同选择计算总编码成本（其包括表示空间开销）而找到。在一些实施例中，对于组数量的最佳值可基于要编码的值的特定序列而确定或可基于输入的代表性样本而确定。

对水平的序列编码

传送对于变换序列的水平信息所需要的编码位基于霍夫曼码而确定。

对值的序列编码

一旦已经对水平编码，在一些实施例中，逐字传送值位本身。也就是说，未对这些位进行额外编码，并且可直接传送它们（因为假设这些低阶位是随机的，这是合理的）。

对位编码来代表符号

元素的符号可必须根据变换的选择而传送。在一些实施例中，符号可以通过使它们与水平（在该情况下，如果A是可能水平，则-A也将是可能水平）组合或使用每非零符号元素一个位地独立传送它们而传送。

应用

下面是对于公开的压缩技术的应用的示例。然而，在该情景中没有什么应解释为对上文描述的实施例的限制。

存储系统

存储系统可以通过压缩它们的数据段或块而减少它们的存储占用空间。例如，文件系统典型地将具有多个数据段或数据块的每个文件存储在存储介质上以便便于存储分配和回收来减少存储分段。为了在相同物理存储容量上存储更多的数据，一些文件系统在将数据段存储在存储介质上之前压缩它们。例如GZIP或LZ等无损压缩算法可在将数据段存储到存储介质之前在它们上应用并且在从存储介质检索数据段后应用对应的解压算法。

本文描述的压缩技术可在任何存储层（例如，主、辅、备份和归档）中采用。图10图示利用这样的压缩的归档存储系统的实施例。

硬件加速器

硬件加速器（有时叫作知识产权（IP）核）指用于实现软件算法的特殊硬件支持。硬件加速器与在通用中央处理单元（CPU）上运行它们的算法相比可以实现高得多的性能和更低功耗。

对于硬件加速器的理想算法是简单且并行的，并且需要相对小的缓冲器或存储。因为每个片段需要小的数据缓冲器（例如，几千字节），描述的用于压缩的技术可高效地在硬件加速器中实现，即使图像可以很大（数百万或数十亿字节）也如此。

硬件加速器可设计成并行压缩多个片段。设计者具有在加速器中或在主CPU上运行的软件中实现多个片段的并行压缩的协调的选项。

图11图示在硬件中实现的片段压缩算法的实施例。

媒体和娱乐

在媒体和娱乐行业中，高分辨率拍摄装置用于捕捉静止和运动图片。对于在该行业中编辑、生产和渲染软件中的许多的共同设置高速缓存来自贮存（其中所有帧在个体文件中）的个体帧（在工作站中多达几千）。每个帧被有效地视为静止图像并且可以如此处理。视频捕捉的一个趋势是高清晰度捕捉。交付不一定与采集格式相同，但想法是捕捉尽可能高的分辨率并且在后期生产中下采样。视频捕捉的另一个趋势是高帧率。

在采集格式和帧率可能是最好的时，它给予多得多的自由度以在后期生产中根据需要编辑。从而，存在对于支持高分辨率和高帧率的拍摄装置的需要。通过使用原始传感器数据输出，记录介质的数据吞吐量和存储容量可以是限制因子。因此，存在以减少的吞吐量输出原始传感器数据的期望。一个技术方案是在帧上使用某一形式的无损压缩。用于上文描述的压缩的技术使得它们很好地满足以高吞吐量无损压缩个体帧的所有这些要求，并且拍摄装置或芯片制造商可以容易地以足够处理元件来创建芯片以应对非常高的数据速率。例如，压缩算法可采用与在图11中描述的相似的方式在拍摄装置芯片上实现。

高效地后处理图像和视频内容的能力对于媒体和娱乐行业是非常重要的特征。通常是这样的：图像在后处理阶段中必须经历局部编辑。然而，整个图像必须被解压以便执行这些编辑。但因为本文描述的压缩技术对图像片段而不是整个图像起作用，在未对压缩数据进行全局改变的情况下启用局部编辑。对于该特征的一些应用是剪切图像、突显图像的一部分、图片内的图片和各种其他这样的效应。本发明的另外的实施例在超过一个维度中利用数据的连续性质在若干重复步骤中处理图像，从而提高压缩。

对于本文描述的压缩的技术也可在应用的组合中使用。例如，后处理电影编辑软件系统可以在通过网络发送图像以用于备份之前压缩它们，并且备份装置可以在未来时间在不使用原始软件的情况下对图像解压。

尽管前面的实施例已经为了清楚理解的目的而相当详细地描述，本发明不限于提供的细节。存在实现本发明的许多备选方式。公开的实施例是说明性而非限制性的。

Claims (21)

1.一种系统，包括：

处理器，所述处理器配置成：

接收构成第一信道的数据的输入序列；

至少部分地基于所述第一信道的数据的至少一个变换来生成第二信道，其中至少部分地基于所述第一信道的经变换的数据的估计的可压缩性从多个变换之中选择所述至少一个变换；

通过利用可变长度码对所述第二信道进行编码来生成经压缩的输出；以及

存储器，所述存储器存储所述经压缩的输出。

2.根据权利要求1所述的系统，其中，所述可变长度码适于所述第二信道的数据元素的统计。

3.根据权利要求1所述的系统，其中，所述经压缩的输出基于根据所述第二信道的数据元素的一个或多个阈值的选择，并且至少部分地基于对应于所述第二信道的所述数据元素的值的分布和对应于所述第二信道的所述数据元素的值的频率来选择所述一个或多个阈值。

4.根据权利要求1所述的系统，其中，所述经压缩的输出基于根据所述第二信道的数据元素的一个或多个阈值的选择，并且至少部分地基于至少使用对应于所述第二信道的值的序列、深度以及频率阈值来选择所述一个或多个阈值。

5.根据权利要求1所述的系统，其中，生成所述第二信道包括执行包括差分变换的多个变换。

6.根据权利要求1所述的系统，其中，对所述第一信道的所述数据的所述至少一个变换减少或消除所述第一信道的所述数据的冗余。

7.根据权利要求1所述的系统，其中，对所述第一信道的所述数据的所述至少一个变换使用所述第一信道的数据的连续性。

8.根据权利要求1所述的系统，其中，对所述第一信道的所述数据的所述至少一个变换利用所述第一信道内的连续性属性，并且所述第二信道比所述第一信道更可压缩。

9.根据权利要求1所述的系统，其中，所述输入序列与图像的片段相关联。

10.根据权利要求9所述的系统，其中，所述片段被独立地压缩和解压缩，而不参考所述图像的其它片段。

11.根据权利要求9所述的系统，其中，所述第一信道的数据的所述至少一个变换是可逆变换，并且所述第一信道的所述数据的所述至少一个变换被独立地应用于每个像素。

12.根据权利要求1所述的系统，其中，所述至少一个变换的第一变换对应于差分变换，并且所述第二信道和所述第一信道的第一数据元素是相同的，并且所述第二信道的其余数据元素包括在所述第一信道的连续数据元素之间的差。

13.根据权利要求1所述的系统，其中，所述经压缩的输出包括所述输入序列的无损压缩。

14.根据权利要求1所述的系统，其中，所述经压缩的输出基于根据所述第二信道的数据元素的一个或多个阈值的选择，并且通过执行阈值选择过程来选择一个或多个阈值的所述选择。

15.一种方法，包括：

由一个或多个处理器接收构成第一信道的数据的输入序列；

至少部分地基于至少一个变换关于所述第一信道的数据而被执行来由一个或多个处理器生成第二信道，其中至少部分地基于所述第一信道的经变换的数据的估计的可压缩性从多个变换之中选择所述至少一个变换；

通过利用可变长度码对所述第二信道进行编码来由一个或多个处理器生成经压缩的输出；以及

存储所述经压缩的输出。

16.根据权利要求15所述的方法，其中，所述可变长度码适于所述第二信道的所述数据元素的统计。

17.根据权利要求15所述的方法，其中，所述经压缩的输出基于根据所述第二信道的数据元素的一个或多个阈值的选择，并且至少部分地基于对应于所述第二信道的所述数据元素的值的分布和对应于所述第二信道的所述数据元素的值的频率来选择所述一个或多个阈值。

18.根据权利要求15所述的方法，其中，所述生成所述第二信道包括执行包括差分变换的多个变换。

19.根据权利要求15所述的方法，其中，关于所述第一信道的所述数据而执行的所述至少一个变换利用所述第一信道内的连续性属性，并且所述第二信道比所述第一信道更可压缩。

20.根据权利要求15所述的方法，其中，关于所述第一信道的数据而执行的所述至少一个变换是可逆变换，并且在逐个像素的基础上应用所述第一信道的所述数据的所述变换。

21.一种非暂时计算机可读存储介质，其具有存储在其上的计算机指令，所述计算机指令当被执行时促使处理器用于：

如果数据构成第一信道，则接收输入序列；

至少部分地基于所述第一信道的数据的变换生成第二信道，其中至少部分地基于所述第一信道的经变换的数据的估计的可压缩性，从多个变换之中选择所述至少一个变换；

通过利用可变长度码对所述第二信道进行编码来生成经压缩的输出，所述可变长度码适于所述第二信道的数据元素的统计；以及

存储所述经压缩的输出。

Images