CN102047663A - 具有纹理合成的图像编码方法 - Google Patents

Abstract

本发明涉及一种使用图像和图像区域的合成技术的编码方法，该技术使用对一组补丁进行操作的合成算法，该操作以低分辨率图像作为媒介来执行，其特征在于，所述方法包括以下步骤：根据质量度量，通过与源图像的显示比较，来判定对合成图像的区域进行编码还是非编码，对于利用编码判定而合成的区域，对补丁以及低分辨率图像进行传统编码，对于利用非编码判定而合成的区域，根据传统编码方案进行编码。

Description

具有纹理合成的图像编码方法

技术领域

本发明涉及图像合成的上下文，更具体地，涉及视频压缩领域。合成方法适用于编码和解码器。

背景技术

方法在于根据纹理补丁合成图像的内容，所讨论的补丁(patch)是：

●缩减尺寸的图像块，

●从纹理的观点看，组成图像的不同区域的表示块。

此外，基于质量度量，将如此获得的合成显示与编码器侧上的源相比较，然后通过更传统的技术对并不与被判断为准则可接受的质量等级相对应的重构图像的一部分进行编码，更传统的技术例如是：

●度量应当是SSIM，

●标准编码H264-AVC。

合成算法

关于已知的合成方法，可以引用基于像素的技术，在逐一构建像素的情况下，可以引用L.-Y.Wei和M.Levoy的“Fast texture synthesis using tree-structured vector Quantization”.Proceedings of SIG-GRAPH2000(2000年7月)，479-488.[1]所开发的算法之一。

这里目的在于根据“补丁”合成大纹理区域，所述“补丁”较小但包含有关图案所需的所有信息。算法的质量在于以下事实：该合成的图像不必显示可见边界或周期性。

图1示出了算法的原理，该算法具有两个输入，即，期望尺寸的纹理补丁和图像，由噪声初始化以避免周期性。该算法在输出处返回根据纹理合成的图像。

搜索最佳像素的特性

经由标准L2“逐像素”地进行邻域的比较。因此，最小化的误差这里具有以下形式：

$\mathrm{\ϵ}=\underset{\mathrm{pixels}}{\mathrm{\Σ}}\underset{\mathrm{RGB}}{\mathrm{\Σ}}{(x_{\mathrm{synty}}-x_{\mathrm{patch}})}^2$

其中，x_synth和x_patch是当前图像和补丁所考虑的像素的每个RGB颜色的值。因此，将当前像素的邻域的每个像素与补丁中所测试的像素的邻域中和所述当前像素邻域的每个像素对应的每个像素相比较。

邻域由围绕当前像素的像素组成，邻域包括在给定尺寸[d×d]的方形中。当邻域仅包括当前图像中已经合成的像素时，被称作“因果”。因此用作当前区域中邻域的非因果部分的因果邻域仅包括噪声像素并且不利于比较。

图2示出了这种因果邻域。对于第一像素、第一行以及第一和最后列，输出图像是周期性的，因此如角(x)中第一像素及其位于图像的4个角中的邻域所示，所考虑的像素在图像的另一侧上。

多分辨率方法

穷举方法所引起的主要问题在于使合成合理大小图像所需的计算时间保持不变。该计算时间与邻域的大小相关，该多分辨率方法使得能够改善性能。文献[1]中所介绍主要构思是使用较低分辨率图像，使得5x5或3x3邻域按照一般分辨率在例如15x15邻域的纹理上扩展。为此，可以通过创建金字塔来开始，如图3所示，一个金字塔用于补丁，一个金字塔用于使用子采样滤波器合成的图像。

然后算法从最低分辨率到最高分辨率合成当前图像金字塔，如下：

●最低分辨率的图像以与一般分辨率技术的情况中相同的方式来合成。

●其他图像以相同方式来合成，其中例外的是邻域不仅包含当前分辨率的像素，而且还包含与较低分辨率的当前图像相对应的像素的邻域的像素。

●因此最后图像是根据补丁和较低分辨率图像合成的输出图像。

图4示出了多分辨率邻域。该邻域包含：级别n当前分辨率的因果邻域的像素(在左图示中以深灰示出)、包含在分辨率高于级别n+1的非因果邻域中的像素、以深灰示出的像素、以及右侧图示中以浅灰示出的中心的父像素(parent)。在该示例中，邻域包含12+9＝21个像素。

图5示出了多分辨率合成的顺序。上部图像(级别2)与第一级别(因果邻域)的合成相对应。下部图像(级别1和级别0)与第二级别(因果邻域)的合成相对应。

质量度量：SSIM

本发明的目的是：以图像压缩为目的，经由纹理补丁来合成图像，显而易见的是需要与源图像相比(在编码器侧上)，估计合成图像部分的恢复质量。这些合成基本重构技术倾向于在sse(误差平方和)类型的标准失真方面隐式引起远离原始信号的重构信号，然而，提供完全可接受的视觉显示，这里面对质量度量。当前，对于主观评价有许多工作，然而本文献涉及例如在文献Z.Wang，L.Lu，A.C Bovik，“Video quality assessment based on structural distortion measure”Signal processing image communication vol 19 n°2，pp 121-132，2004年2月中描述的被称作结构相似度(SSIM)的更大心理视觉特性的度量。

该度量由3项组成，这3项使得能够估计不一致性。SSIM公式如下：

$\mathrm{SSIM}(s,r)=\frac{(2{\mathrm{\μ}}_s{\mathrm{\μ}}_c+C_1)(2{\mathrm{\σ}}_{\mathrm{sc}}+C_2)}{({\mathrm{\μ}}_s^2+{\mathrm{\μ}}_c^2+C_1)({\mathrm{\σ}}_s^2+{\mathrm{\σ}}_c^2+C_2)}---\left(5\right)$

其中：

●μ_s：源像素的平均亮度，

●σ_s：源像素的方差，

●μ_c：合成像素的平均亮度，

●σ_c：重构像素的方差

●σ_sc：源像素和合成像素的协方差，

●c₁＝(k₁L)²，c₂＝(k₂L)²：用于在分母非常小时使除法稳定的两个变量，

●L是像素值的动态范围，因此这里256针对按照8比特编码的颜色，

●在缺省情况下，k₁＝0.01以及k₂＝0.03。

相对于图像的每个像素，将SSIM应用于图像中的每8x8块。

发明内容

本发明的一个目的是克服上述缺点。目的是一种使用图像和图像区域的合成技术的图像解码的方法，该技术使用对一组补丁进行操作的合成算法，该操作以低分辨率图像为媒介来执行，其特征在于，所述方法包括以下步骤：

-对补丁以及低分辨率图像进行解码，补丁可以来自于先前已解码的图像或者补丁可以与图像本身无关地被解码，

-根据使用这些补丁以及低分辨率图像所支持的合成算法，来重构区域，

-针对非合成编码的区域，以传统方式进行解码，如此解码的区域代替那些合成图像中可能已经被重构的区域。

根据特定实施例，合成技术是金字塔类型。

根据特定实施例，低分辨率图像具有空间可缩放性类型形式，使得将合成算法准确引导至金字塔级别，而不是最低分辨率级别。

根据特定实施例，合成算法对图像信号RVB或图像信号YUV进行操作，或仅对亮度信号Y进行操作，信号U和V经过与应用于亮度的处理相同的处理。

目的还在于一种使用图像和图像区域的合成技术的图像压缩方法，该技术使用对一组补丁进行操作的合成算法，该操作以低分辨率图像作为媒介来执行，其特征在于，所述方法包括以下步骤：

-根据质量度量，通过与源图像的显示比较，来判定对合成图像的区域进行编码还是非编码，

-对于利用编码判定而合成的区域，对补丁以及低分辨率图像进行传统编码，

-对于利用非编码判定而合成的区域，根据传统编码方案对这些区域进行编码。

根据特定实施例，合成技术是金字塔类型。

根据特定实施例，低分辨率图像具有空间可缩放性类型形式，使得将合成算法准确引导至金字塔级别而不是最低分辨率级别。

根据特定实施例，合成算法对图像信号RVB或图像信号YUV进行操作，或仅对亮度信号Y进行操作，信号U和V经过与应用于亮度的处理相同的处理。

根据特定实施例，质量度量是SSIM(结构相似度)。

本发明使用对一组补丁进行操作的合成算法，实现了要改善的图像和图像区域的合成，该操作以低分辨率图像为媒介来执行。指定的应用是视频压缩、质量度量干预，以便典型地对不良重构的图像区域进行编码，或者留下所讨论的区域。

因此，本发明的第一优点在于，经由合成算法实现一种重构图像区域的可接受视觉显示(基于质量度量)，该合成在编码器和解码器处由低分辨率的传输图像来指导，以便最后在给定视觉质量下降低比特率，反之亦然。

应当注意，该技术部需要要传输给解码器的分割卡(segmentation card)，自然地，合成算法以指导图像作为媒介对包含在不同补丁中的信息的分布进行操作。此外，合成技术的显示不理想由标准编码来校正，所述不理想区域由质量度量来检测，该度量可以是SSIM。

本发明的第二优点是表示的可缩放性，使得能够在所选分辨率下对信号进行解码。

另一优点是根据现有编码技术(例如，H.264)对低分辨率图像进行编码的可能性，因此确保与这些编码技术的后向兼容。

具体实施方式

指导合成

构思是将参考图像的子采样版本传输给分级合成算法，参考图像的子采样版本充当用于金字塔的最低分辨率的合成的指导。利用非因果邻域进行该低分辨率图像的合成。例如，选择L.Y.Wei和M.Levoy的穷举方法，该方法在于将该邻域与补丁的所有那些像素进行比较，以便确定最佳候选。

图6示出了方法的不同步骤，图6示出了指导合成的框图，那些不同步骤如下：

1)该算法以多分辨率算法中使用的高斯金字塔中的级别一样多的次数，对参考图像进行子采样。

2)然后拷贝该低分辨率图像，作为合成图像的初始化，代替在L.Y.Wei和M.Levoy的方法中所提出的初始化的白噪声。

3)将与图像的不同纹理部分相对应的多个补丁提供给算法。

4)然后将低分辨率图像与(非因果)方形邻域合成。那么，图像上计算的邻域的非因果部分在结构上依赖于子采样参考图像。穷举算法然后测试所提供的所有补丁的所有邻域。当前邻域的非因果部分然后将合成指向具有最接近于子采样图像的一部分的特性的补丁。

5)算法保留在每个合成像素所来自的补丁的存储器中。

6)对于上级别，合成技术保持不变，仅搜索先前分辨率下所存储的补丁，这是为了加速合成，然而，在方法的一个变型中，在金字塔级别下可以准确指导/包含合成算法，而不是最低分辨率级别。

考虑来自足球比赛的图像作为示例，来说明这种类型的合成。在图7中示出了这种参考图像。应当注意，该图像具有两个区域，补丁和公共图像，其中，合成应当是保持标准编码算法中通常牺牲的高频的良好方式。因此，判定将图8所示的3个输入图像传输给算法，这3个输入图像是两次子采样的版本、公共图像的一个采样，以及补丁的一个采样。

图9所示的尺寸为768x512的合成图像由该具有以下特性的算法来获得：

●当前分辨率的邻域：像素5x5

●分辨率n+1的领域：像素3x3

●金字塔级别的数目：3

关联的度量

为了测量所揭示的纹理合成是否适合于所产生的图像的区域，使用能够揭示结构显示的质量度量。

再次考虑先前示例和可能度量(SSIM)时，获得如图10所示的SSIM的映射。

可以应用多个判定模式：

-使用阈值，在使得能够区分要编码的或不要编码图像的元素的度量上应用阈值，

-引入所获得的测量与利用“标准”编码模式获得的测量的竞争。

图11示出了编码方法的一般框图。

所涉及的应用是那些与视频压缩相联系的应用。更具体地，极低和低比特率应用(例如，用于移动电话的HD)以及超分辨率(HD和+)。

Claims (9)

1.一种使用图像和图像区域的合成技术的图像解码方法，该技术使用对一组补丁进行操作的合成算法，该操作以低分辨率图像为媒介来执行，其特征在于，所述方法包括以下步骤：

-对补丁以及低分辨率图像进行解码，补丁来自于先前已解码的图像，或者补丁能够与图像本身无关地被解码，

-根据使用这些补丁以及低分辨率图像所支持的合成算法，来重构区域，

-针对非合成编码的区域，以传统方式进行解码，如此解码的区域代替那些在合成图像中可能已经被重构的区域。

2.根据权利要求1所述的方法，其特征在于，合成技术是金字塔类型。

3.根据权利要求2所述的方法，其特征在于，低分辨率图像具有空间可缩放性类型形式，以便将合成算法准确引导至金字塔级别，而不是最低分辨率级别。

4.根据权利要求1所述的方法，其特征在于，合成算法对图像信号RVB或图像信号YUV进行操作，或仅对亮度信号Y进行操作，信号U和V经过与应用于亮度的处理相同的处理。

5.一种使用图像和图像区域的合成技术的图像压缩方法，该技术使用对一组补丁进行操作的合成算法，该操作以低分辨率图像作为媒介来执行，其特征在于，所述方法包括以下步骤：

-根据质量度量，通过与源图像的显示比较，来判定对合成图像的区域进行编码还是非编码，

-对于利用编码判定而合成的区域，对补丁以及低分辨率图像进行传统编码，

-对于利用非编码判定而合成的区域，根据传统编码方案对这些区域进行编码。

6.根据权利要求5所述的方法，其特征在于，合成技术是金字塔类型。

7.根据权利要求6所述的方法，其特征在于，低分辨率图像具有空间可缩放性类型形式，以便将合成算法准确地引导至金字塔级别，而不是最低分辨率级别。

8.根据权利要求5所述的方法，其特征在于，合成算法对图像信号RVB或图像信号YUV进行操作，或仅对亮度信号Y进行操作，信号U和V经过与应用于亮度的处理相同的处理。

9.根据权利要求5所述的方法，其特征在于，质量度量是SSIM(结构相似度)质量度量。

Images