CN104780379B - 一种屏幕图像集合的压缩方法 - Google Patents

Abstract

本发明公开了一种屏幕图像集合的压缩方法，其能够获得更高的压缩效率。包括步骤：(1)计算每幅图像的每个图像块的哈希值；(2)通过提取图像块的哈希特征来衡量图像与图像之间的相关性；(3)对所有图像生成基于有向图的最小生成树，从而确定图像集合的预测结构；(4)对图像集合进行重新排序，确定每幅图像的4个最优的预测参考图像；(5)用步骤(4)的4个最优的预测参考图像代替HEVC标准中默认的4个参考帧来对当前图像进行预测。

Description

一种屏幕图像集合的压缩方法

技术领域

本发明属于图像处理的技术领域，具体地涉及一种屏幕图像集合的压缩方法。

背景技术

屏幕图像来源于各种各样的电子设备的屏幕桌面，与自然图像不同的是，屏幕图像通常是由文字、图形和自然图像以随机组合的方式排列而成，所以我们也称它们为混合图像。屏幕图像内容在诸多新媒体如无线展示，远程桌面和云计算等领域中的作用是举足轻重的。在当今的高分辨率显示的需求下，屏幕内容的数据量是巨大的，并不能够被当今社会的网络带宽所满足。举例来说：一个1080p分辨率且帧率为30Hz的屏幕内容视频，需要每秒传输的数据量是1492992000比特。可以看出，这个数据量是巨大的，因此，屏幕内容的压缩是十分必要的，并且其压缩效率对用户体验是十分重要的。由于屏幕图像内容的数据规模和复杂程度的急剧增长给视频图像内容的存储、处理、网络传输以及浏览带来了很大的压力，而现有的图像编码标准如基于块级别方向预测的H.264/AVC标准和HEVC帧内预测体制在编码屏幕图像时会导致残差块含有很高的能量，因此现有的编码标准并不能高效的适用于屏幕图像，因此，必须对大规模屏幕图像集合进行高效的压缩。

屏幕图像内容压缩方案的研究是近几年图像压缩领域一个新的、迅速发展的研究课题。最近HEVC将屏幕内容列为其需求的一种，并研发新的编码工具去改进其压缩效率。在HEVC及其范围拓展版本中,共有3个编码工具是为屏幕内容编码而设计。它们分别是跳过变换的编码模式，残差的差分编码模式，以及帧内图像块运动补偿模式。除HEVC标准中的屏幕内容编码工具外，还有诸多经典的屏幕内容编码方法被提出以改进HEVC等编码标准在屏幕内容的编码性能。它们可以被分为如下四类：分层的编码方法，跳过变换的编码方法，调色板的编码方法和基于字典的编码方法。

基于层的研究方法采用了一种混合光栅内容模型(MRC)。MRC模型将一副图像分为两个图像层和一个二进制算子模板。两个图像层分别用于表示前景图像层和背景图像层，二进制算子模板用于表示每个像素属于前景图像层还是背景图像层。图像层的编码主要采用的是JPEG和JPEG2000等现有的图像编码标准。二进制掩模层的编码主要采用的是JBIG和JBIG2等二进制图像编码标准。

跳过变换的编码方法的思想是通过跳过变换，而改变残差块的能量分布，C.Lan等人提出残差标量量化方案。它采用基于行的帧内预测方案，同时跳过变换过程并直接标量量化产生的残差。然而，这种方法需要改变编码标准中预测的方式，这就对其与标准的耦合度造成了破坏。

调色板的方法将一幅图像表示为基础颜色和索引图的形式。每个像素被赋给一个索引用于表示哪个基础颜色当作这个像素的重建值。基础颜色可以由颜色量化得到，并且它和索引图需要被传输到解码端。由于屏幕内容的直方图很稀疏，基于调色板的方法只需要很少的基础颜色就可以表示整个图像,因此每个索引的比特会很少，所以这类方法可以取得很高的压缩效率。

屏幕内容中有很多重复的内容，基于字典的方法正是利用了这一特征去增强屏幕内容的压缩性能。T.Lin等人的工作是将基于字典的方法嵌入现有的视频编码标准中。并且这种方案取得了很高的压缩性能。

近十年来图像集合的联合压缩方案的研究主要分为两个方面：针对高相关度图像集的压缩研究方法和针对低相关度图像集的压缩研究方法。高相关度图像集压缩方案如：基于KLT变换的压缩方案，基于最大最小差值(MMD)的压缩方案以及基于最大最小值预测(MMP)的压缩方案等等，这些方案会根据整个图像集生成一个标志信号，然后对这个标志信号和每两幅图像之间的差异进行编码压缩。针对低相关度图像集的压缩方案如：基于SIFT特征提取的压缩方案利用了图像区域的尺度和旋转不变性这一特性来衡量和处理图像之间的相关性，例如，最近Shi等人提出了一种基于特征提取的图像集合压缩方案，他们根据像素的亮度值来提取图像的局部特征从而更有效的去除图像集合之间冗余信息，同时这个方案采用了SIFT算子来衡量和提高各个图像之间的关联度。例如：给定一组图像集合，他们首先采用了一种基于SIFT的全局性变换方法来衡量图像之间的相似度，根据图像的几何结构和亮度将所有图像进行集群分类；针对每个图像类，根据图像之间的相关性来生成一个最小代价的预测结构树，最后分别对每个图像类进行压缩编码。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种屏幕图像集合的压缩方法，其能够获得更高的压缩效率。

本发明的技术解决方案是：这种屏幕图像集合的压缩方法，包括以下步骤：

(1)计算每幅图像的每个图像块的哈希值；

(2)通过提取图像块的哈希特征来衡量图像与图像之间的相关性；

(3)对所有图像生成基于有向图的最小生成树，从而确定图像集合的预测结构；

(4)对图像集合进行重新排序，确定每幅图像的4个最优的预测参考图像；

(5)用步骤(4)的4个最优的预测参考图像代替HEVC标准中默认的4个参考帧来对当前图像进行预测。

本发明计算出每个图像块的哈希值，通过提取图像块的哈希特征来衡量图像与图像之间的相关性，进而对所有图像生成一种改进的基于有向图的最小生成树，从而确定图像集合的预测结构，并且对图像集合进行重新排序，确定每幅图像的4个最优的预测参考图像，改进了HEVC标准中的RPS参考帧管理机制，用4个最优的参考图像代替HEVC标准中默认的4个参考帧来对当前图像进行预测，这样能够获得更高的压缩效率。

附图说明

图1是根据本发明的屏幕图像集合的压缩方法的一个优选实施例的流程图。

图2是根据本发明的屏幕图像集合的压缩方法的基于哈希的MST预测的结构示意图。

图3是根据本发明的屏幕图像集合的压缩方法的基于哈希的RPS预测机制的示意图。

具体实施方式

这种屏幕图像集合的压缩方法，包括以下步骤：

(1)计算每幅图像的每个图像块的哈希值；

(2)通过提取图像块的哈希特征来衡量图像与图像之间的相关性；

(3)对所有图像生成基于有向图的最小生成树，从而确定图像集合的预测结构；

(4)对图像集合进行重新排序，确定每幅图像的4个最优的预测参考图像；

(5)用步骤(4)的4个最优的预测参考图像代替HEVC标准中默认的4个参考帧来对当前图像进行预测。

本发明计算出每个图像块的哈希值，通过提取图像块的哈希特征来衡量图像与图像之间的相关性，进而对所有图像生成一种改进的基于有向图的最小生成树，从而确定图像集合的预测结构，并且对图像集合进行重新排序，确定每幅图像的4个最优的预测参考图像，改进了HEVC标准中的RPS参考帧管理机制，用4个最优的参考图像代替HEVC标准中默认的4个参考帧来对当前图像进行预测，这样能够获得更高的压缩效率。

优选地，所述步骤(1)中：

将指定图像分割成若干个8×8像素大小的图像块，通过图像块中64个像素的亮度值求出当前块的哈希值，用一个64位的二进制数H来代表当前块的哈希值，表示为公式(1)

H＝h₆₃h₆₂…h₁h₀ (1)

其中h_i是H的第i位二进制数，表示为：

其中l_i是当前块单元中以光栅扫描顺序获得的第i个像素的亮度值，A是当前块单元64个像素亮度值的平均值。

优选地，所述步骤(2)中：

所有图像总的率失真代价S通过公式(3)来表示：

其中n是图像集合中图像的数量，D_i和R_i分别代表编码当前图像的失真和所用的比特数，λ是拉格朗日系数；

通过计算两幅图像之间相同块的数量来衡量两幅图像之间的相关性，通过计算一幅图像与当前图像之间不相同块的数量来作为一幅图像来预测当前图像的预测代价，当前块的最小预测代价M表示为公式(4)

其中n是图像集合中图像的数量,s是一副图像中块单元的个数，t_ji代表在当前图像i中有t_ji个块。

优选地，所述步骤(3)中：

用一个有向图来表示图像之间的相关性，采用有向图的最小生成树算法来生成了一个原始的最小生成树，再根据最小代价原则生成改进的最小生成树，此时最优的预测结构构建完成。

优选地，所述步骤(4)包括以下分步骤：

(4.1)针对步骤(3)的改进的最小生成树，按照按层遍历的顺序对树中所有顶点所代表的图像进行排序，并以之作为编码端的图像输入顺序和图像编解码顺序；

(4.2)根据最小代价原则为当前编码图像选择最多4个与当前图像相关性最大的已编码图像来对当前图像进行预测。

优选地，所述步骤(5)中：

把步骤(4.2)的4个参考图像放入HEVC中当前帧的参考帧列表中，替代HEVC中当前帧默认的4个参考帧，并采用HEVC中帧间运动补偿机制来对屏幕图像集合进行编码。

以下具体说明本发明：

对于大规模屏幕图像集，图像与图像之间存在一定的相关性，这种相关性可以称之为空间冗余，为了达到更高的压缩效率，需要消除屏幕图像之间的空间冗余。由于屏幕图像内容往往具有很高的对比度和复杂的纹理结构，因此找出屏幕图像之间的相关性，并用适当的方法来衡量这种相关性是当前屏幕图像压缩所亟需解决的主要问题之一。

在自然图像的压缩方案中，基于像素级别的相关性分析并不适用于屏幕图像，因此从图像块的级别来建立图像与图像之间的相关性。在本发明中，给定一组图像集合，首先将每幅图像分成8×8的块单元。每个像素由亮度值(Y分量)和色度值(U和V分量)组成，其中亮度值是一个像素的决定性因素，因此根据一个块单元的所有亮度值求出一个哈希值来代表此块单元。这样，对每两幅图像，可以通过求出他们之中具有相同哈希值的块的数量来衡量这两幅图像之间的相关性，同理用两幅图像之间不同块的数量来表示他们之间的距离，然后对所有的图像生成一个改进的有向图的最小生成树，据此也就得到了所有图像的最优的预测结构，并且对图像进行重新排序。最后对每幅图像设置4个最优的参考图像，并用HEVC帧间运动补偿机制来对重排序后的图像进行压缩编码。

将本方法分为三个部分：图像块哈希值的生成，基于哈希的最小生成树预测结构的构建和基于哈希的RPS预测机制。在本文接下来的部分，对此方案进行详细的介绍。

1.图像块哈希值的生成

实验证明现有的图像压缩方法如基于特征提取的压缩方法并不能适用于屏幕图像的压缩，因此提取屏幕图像的哈希特征来构建图像与图像之间相关性。

给定一副图像，首先将其分割成若干个8×8像素大小的块，通过块中64个像素的亮度值可以求出当前块的哈希值。用一个64位的二进制数H来代表当前块的哈希值，它可以表示为：

H＝h₆₃h₆₂…h₁h₀

其中h_i是H的第i位二进制数，它可以表示为：

其中l_i是当前块单元中以光栅扫描顺序获得的第i个像素的亮度值，A是当前块单元64个像素亮度值的平均值。例如，给定一副16×16的图像，首先将图像分割为4个8×8的图像块，然后计算每个块的哈希值，以备图像之间相关性的构建。

2.基于哈希的最小生成树预测结构

为了更加高效的压缩屏幕图像集，并且以最小的预测代价和失真来压缩图像，引入了HEVC的帧间运动补偿机制。所有图像总的率失真代价S可以用如下公式来表示：

其中n是图像集合中图像的数量，D_i和R_i分别代表编码当前图像的失真和所用的比特数。λ是拉格朗日系数。

本文中，通过计算两幅图像之间相同块的数量来衡量两幅图像之间的相关性。同时通过计算一副图像与当前图像之间不相同块的数量来作为一副图像来预测当前图像的预测代价。那么当前块的最小预测代价M可以表示为：

其中n是图像集合中图像的数量,s是一副图像中块单元的个数。t_ji代表在当前图像i中有t_ji个块我们可以从图像j找到与之相似。

为了得到M的最小值，我们需要构建整个图像集合的最优的预测结构，并且，屏幕图像集合中所有图像必须重新进行排序。可以用一个有向图来表示图像之间的相关性。图3展示了基于哈希的MST预测结构的构建。

(图2的左图：有向图，边V_i∈V表示一副图像，e_i,j∈E是从V_i到V_j的权重，表示图i预测图j的代价。图2的中图：有向图的最小生成树。图2的右图：改进的最小生成树预测结构。)

如图2所示，在左边的有向图中，每个顶点均有一个出边和一个入边，这表明每幅图像有预测其他图像的代价和用其他图像来预测的代价。22我们采用了一个有向图的最小生成树算法来生成了一个原始的最小生成树，但它是包含缩点的树，此缩点包含了一个V₃-V₂的环，这并不能满足我们的要求，因此根据最小代价原则将此环展开，生成图2右所示的改进的最小树形图，此时最优的预测结构已经构建完成。可以看出，V₄和V₃的最优预测图像是V₁，V₂的最优预测图像是V₃。

3.基于哈希的RPS预测机制

如何根据这种预测结构树来消除图像间的冗余，有效对图像集合进行压缩是现在需要解决的关键为题，为此采用了一种基于哈希的RPS预测机制，它主要可以分为三部分：

第一，给定一个改进的最小生成树，按照按层遍历的顺序对树中所有顶点所代表的图像进行排序，并以之作为编码端的图像输入顺序和图像编解码顺序。

第二，为了获得更好的压缩效率，需要按层遍历最小生成树，并且根据最小代价原则为当前编码图像选择最多4个最优的预测参考图像，即选择最多4个与当前图像相关性最大的已编码图像来对当前图像进行预测。

第三，最后把4个最优的参考图像放入RPS(HEVC中当前帧的参考帧列表)中，替代HEVC中当前帧默认的4个参考帧，并采用HEVC中帧间运动补偿机制来对屏幕图像集合进行编码。

例如，给定一个9个顶点的最小生成树，图3展示了图像重排序过程，参考帧设置过程和整个RPS预测机制。

如图3所示，根据给定的最小生成树，按照图像编号(POC)对图像进行重排序：1，6，3，5，2，7，9，8，4。并将排序后的图像序列输入编码器，当第8帧是当前要编码图像时，我们将第1，6，5，2帧设置为它的最优参考帧。

在每组屏幕图像集合的实验过程中，为了保证实验结果的可信性，首先随机打乱所有图像的顺序，然后生成基于哈希的最小生成树，并据此对所有图像重新排序，生成输入序列，并为每幅图像设置最优的参考帧。最后采用HEVC的帧间运动补偿机制对所有图像压缩编码。

表1

如表1所示，与HM11.0压缩原始未排序图像之前相比，本发明的方案在Y,U,V三个分量上分别获得的BD码率增益平均为20.90％,27.55％,和25.92％。

以下再给出一个具体实施例，如图1所示，包括以下步骤：

1.给定一组同样大小的屏幕图像集合，首先对所有图像进行空间转化，得到其YCbCr空间图像。

2.将步骤1所得图像按8×8像素进行分割，每幅图像分成若干个块单元。假设为N。

3.按照每个块单元中64个像素的亮度值求出块单元的64位哈希值。用此哈希值来唯一表示此块。若两个块哈希值相同说明这两个图像块十分相似或相同，反之说明这两个图像块差异明显。

4.对于屏幕图像集合中的图像A，计算其他每一幅图像与A的相关度，如果在A中有M_AB个块能够在图像B中找到与之相似的块，那么图像B与图像A的相关度为M_AB，图像B到图像A的距离或者权重为N-M_AB。对图像集合中的所有图像操作如图像A。这样我们就建立了所有图像之间的关系。

5.根据步骤4中求得的所有图像之间的距离，建立所有图像的有向图模型，并求出有向图的最小生成树。根据最小代价原则对此最小生成树进行去环操作，生成一种优化的最小生成树预测结构。

6.根据步骤5中生成的最小生成树，按照按层遍历的顺序将所有图像进行重新排序。

7.遍历步骤5中生成的最小生成树，确定每一幅图像的4个最优的参考图像。

8.对HEVC中RPS参考帧管理机制进行改进，将步骤7中4个最优的参考图像按相关性大小顺序替换HEVC默认的4个参考图像。

9.将步骤6中生成的图像序列，用HEVC帧间运动补偿机制进行编码。我们所用到的HEVC编解码工具为HM11.0，量化参数QP被分别设置为22，27，32，37。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (6)

1.一种屏幕图像集合的压缩方法，其特征在于，包括以下步骤：

(1)计算每幅图像的每个图像块的哈希值；

(2)通过提取图像块的哈希特征来衡量图像与图像之间的相关性：对每两幅图像，通过求出他们之中具有相同哈希值的块的数量来衡量这两幅图像之间的相关性，通过计算一副图像与当前图像之间不相同块的数量来作为一副图像来预测当前图像的预测代价；

(3)对所有图像生成基于有向图的最小生成树，从而确定图像集合的预测结构：采用了一个有向图的最小生成树算法来生成了一个原始的最小生成树，根据最小代价原则将此环展开，生成改进的最小树形图，此时最优的预测结构已经构建完成；

(4)对图像集合进行重新排序，确定每幅图像的4个最优的预测参考图像，其中按照按层遍历的顺序将所有图像进行重新排序；

(5)用步骤(4)的4个最优的预测参考图像代替HEVC标准中默认的4个参考帧来对当前图像进行预测。

2.根据权利要求1所述的屏幕图像集合的压缩方法，其特征在于，所述步骤(1)中：

将指定图像分割成若干个8×8像素大小的图像块，通过图像块中64个像素的亮度值求出当前块的哈希值，用一个64位的二进制数H来代表当前块的哈希值，表示为公式(1)

H＝h₆₃h₆₂…h₁h₀ (1)

其中h_i是H的第i位二进制数，表示为：

<mrow> <msub> <mi>h</mi> <mi>i</mi> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <msub> <mi>l</mi> <mi>i</mi> </msub> <mo>&amp;GreaterEqual;</mo> <mi>A</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <msub> <mi>l</mi> <mi>i</mi> </msub> <mo>&lt;</mo> <mi>A</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

其中l_i是当前块单元中以光栅扫描顺序获得的第i个像素的亮度值，A是当前块单元64个像素亮度值的平均值。

3.根据权利要求2所述的屏幕图像集合的压缩方法，其特征在于，所述步骤(2)中：

所有图像总的率失真代价S通过公式(3)来表示：

<mrow> <mi>S</mi> <mo>=</mo> <mi>argmin</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>D</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>&amp;lambda;R</mi> <mi>i</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

其中n是图像集合中图像的数量，D_i和R_i分别代表编码当前图像的失真和所用的比特数，λ是拉格朗日系数；

通过计算两幅图像之间相同块的数量来衡量两幅图像之间的相关性：

对每两幅图像，通过求出他们之中具有相同哈希值的块的数量来衡量这两幅图像之间的相关性，通过计算一副图像与当前图像之间不相同块的数量来作为一副图像来预测当前图像的预测代价，通过计算一幅图像与当前图像之间不相同块的数量来作为一幅图像来预测当前图像的预测代价，当前块的最小预测代价M表示为公式(4)

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>M</mi> <mo>=</mo> <mi>argmin</mi> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>s</mi> <mo>-</mo> <msub> <mi>t</mi> <mrow> <mi>j</mi> <mi>i</mi> </mrow> </msub> </mrow> </mtd> <mtd> <mrow> <mn>1</mn> <mo>&amp;le;</mo> <mi>j</mi> <mo>&amp;le;</mo> <mi>n</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;NotEqual;</mo> <mi>i</mi> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

其中n是图像集合中图像的数量,s是一副图像中块单元的个数，t_ji代表在当前图像i中有t_ji个块。

4.根据权利要求3所述的屏幕图像集合的压缩方法，其特征在于，所述步骤(3)中：

用一个有向图来表示图像之间的相关性，采用有向图的最小生成树算法来生成了一个原始的最小生成树，再根据最小代价原则生成改进的最小生成树，此时最优的预测结构构建完成。

5.根据权利要求4所述的屏幕图像集合的压缩方法，其特征在于，所述步骤(4)包括以下分步骤：

(4.1)针对步骤(3)的改进的最小生成树，按照按层遍历的顺序对树中所有顶点所代表的图像进行排序，并以之作为编码端的图像输入顺序和图像编解码顺序；

(4.2)根据最小代价原则为当前编码图像选择最多4个与当前图像相关性最大的已编码图像来对当前图像进行预测。

6.根据权利要求5所述的屏幕图像集合的压缩方法，其特征在于，所述步骤(5)中：

把步骤(4.2)的4个参考图像放入HEVC中当前帧的参考帧列表中，替代HEVC中当前帧默认的4个参考帧，并采用HEVC中帧间运动补偿机制来对屏幕图像集合进行编码。