CN103314584A - 图像序列的编码方法和相应的重构方法 - Google Patents

Abstract

本发明涉及图像序列的编码方法。该编码方法包括对于当前图像的以下步骤：创建所述当前图像的概要；将所述概要编码为第一比特流；根据所述概要重构一中间图像；以及使用所述中间图像作为参考图像将当前图像编码为第二比特流。

Description

图像序列的编码方法和相应的重构方法

技术领域

本发明涉及视频编码和解码。更具体地，它涉及一种对图像序列进行编码的方法和一种对该序列进行重构的方法。它通过为较低的比特率保持相同的质量解决了对视频编码性能的改进。

背景技术

当对图像序列的图像进行编码时，已知首先在空间上或时间上预测该图像，并且编码从图像预测中生成的残留信号（residual signal）。空间预测也被称为帧内预测（intra prediction）并且时间预测也被称为帧间预测（inter prediction）。ITU-T Rec.H.264/ISO/IEC14496-10AVC视频编码标准规定了与将被编码的块的空间估算对应的帧内4x4、帧内8x8和帧内16x16三种不同的帧内预测模式。这些不同的模式可以利用不同方向的预测模式，以便建立预测块的像素。在帧内4x4和帧内8x8中，定义了九个帧内预测模式。这些模式中的八个由将被预测的块的周围的像素的一维方向外推组成。另外的预测模式（DC模式）将预测块的像素定义为可用的周围像素的平均值。

当纹理对应于单方向的导向结构、符合可用预测方向之一时，可以使用适当的方向一维预测来充分地外推这些结构。但是，在复杂的2D图案的情况下，H.264/AVC帧内预测模式无法正确地传播和预测信号。

发明内容

本发明的目的是减少现有技术中的缺点中的至少一个。本发明的目的之一是改进帧内预测的原理，并且这是通过使用基于当前图像的图像概要（summary）（例如摘要（epitome））的编码器/解码器方案，其中，图像概要间接作为参考图像使用。

因此，本发明涉及图像序列的编码方法，对于当前图像，该方法包括以下步骤：

-创建所述当前图像的概要；

-将所述概要编码为第一比特流；

-根据所述概要重构与当前图像尺寸相同的中间图像；以及

-使用所述中间图像作为参考图像将当前图像编码为第二比特流。

根据本发明的一个方面，当前图像的概要包括纹理摘要和分配映射图。

有利的是，使用固定长度编码或使用可变长度编码来对分配映射图进行编码。

有利的是，所述第二比特流按照属于视频编码标准集合的一个视频编码标准，所述视频编码标准集合包括：

-ITU-T Rec.H.264/ISO/IEC14496-10AVC视频编码标准；以及

-ISO/IEC13818-2MPEG2。

本发明还涉及重构图像序列的方法，对于当前图像，该方法包括以下步骤：

-解码当前图像的图像概要；

-根据所述概要重构中间图像；以及

-使用所述中间图像作为参考图像来重构当前图像，所述中间图像与当前图像的尺寸相同。

使用图像概要来解决通过使用二维纹理预测的方向帧内预测的问题。事实上，概要图像是由真实纹理组成，并且仅仅来自于原始图像。概要图像的主要目的是消除原始图像内的冗余并保持最能代表所述图像的纹理最相关的图案（或补丁）。由于考虑二维补丁而不是导向的单方向插值，这些模式可以为二维纹理提供更适合的预测。

附图说明

通过描述本发明的非限制性实施例，本发明的其它特征和优点将显现，将在附图的帮助下说明本发明的非限制性实施例。

-图1描绘了根据本发明的第一实施例的编码方法；

-图2描绘了根据本发明的第二实施例的编码方法；

-图3说明了根据现有技术的创建摘要并且根据所述摘要重构图像；

-图4表示根据本发明的第二实施例的编码方法的细节；

-图5表示将与由右侧图像上的白线划界的具有误差允许值ε的匹配补丁集合匹配的给定的图像块B_i；

-图6表示图初始化步骤：在左边，图像中的灰色块是由当前图当前重构的块，当前摘要EC_n初始地由单一补丁E₀表示；

-图7表示图扩展步骤；

-图8表示由原始图像（a）创建的摘要（b）以及从摘要（c）重构的图像的例子；

-图9描绘根据本发明的第一实施例的重构方法；

-图10描绘根据本发明的第二实施例的重构方法；

-图11表示根据本发明的编码设备；以及

-图12表示根据本发明的解码设备。

具体实施方式

本发明涉及图像序列的编码方法。针对所述序列的当前图像描述所述编码方法。根据本发明的编码方法使用当前图像的图像概要以便对其进行编码。本发明还涉及相应的重构方法。

图1表示根据本发明的编码方法。

在步骤20，由当前图像Icurr创建图像概要。根据一个特定实施例，所述图像概要是摘要。然而，本发明不限于这种概要。假如能够由该摘要重构图像，则可以使用任何一种概要（例如补丁字典）。

在步骤22，所述图像概要被编码为第一流F1。作为示例，使用仅帧内编码模式按照H.264标准对所述概要进行编码。根据一个变型，按照2000年3月在文件JPEG2000部分，ISO/IEC JTC1/SC29/WG1标准中定义的JPEG标准对图像概要进行编码。

在步骤24，所述图像概要被解码为解码概要。步骤24是步骤22的逆。

在步骤26，从所述解码概要中重构中间图像。

在步骤28，使用所述中间图像作为参考图像将当前图像Icurr编码为第二比特流F2。作为示例，按照H.264对当前图像进行编码。根据一个变型，按照MPEG2ISO-IEC13818视频编码标准对当前图像进行编码。可以使用通常的编码模式（帧间和帧内编码模式）。当根据帧间编码模式对当前图像的块进行编码时，对所述块和参考图像中（即，根据解码摘要重构的中间图像的图像中）的相应块之间的差进行编码。通过运动矢量或参考图像中的共位置块来在参考图像中识别所述相应块。使用参考图像的两个块，双向预测也是可能的。也被称为残差的所述差实际上是在所述块和来自参考图像的所述块的预测之间计算的预测误差。通常，首先将残差变换为诸如DCT系数的块系数。然后，将所述系数量化为块量化系数。最终，使用诸如公知的算术编码、CABAC（代表上下文自适应二进制算术编码）、CAVLC（代表上下文自适应可变长度编码）等的熵编码将所述量化系数编码为比特流。本发明并不限于用于对残差进行编码的编码类型。比特流F2是预测误差残差比特流。

根据一个变型，第一和第二比特流被多路复用为单一比特流。

图2表示根据本发明的特定实施例的编码方法，其中所述图像概要是摘要。图像的摘要是包含该图像纹理和结构特性的要素的该图像的简明表示。

在步骤20，根据当前图像Icurr创建摘要。因此，根据本特定实施例，当前图像Icurr是被分解的，即，为当前图像创建纹理摘要E和变换映射图Ф。Hoppe等人在发表在ACM SIGGRAPH2008会报上（ACMTransaction on Graphics，2008年第27卷，第3期，第1-10页）的题为“Factoring Repeated Content Within and Among Images”的文章中首次公开摘要原理。从取自当前图像的纹理片段（例如，一组图表）构建纹理摘要E。变换映射图Ф是跟踪当前图像Icurr的每个块和纹理摘要E的补丁之间的对应关系的分配映射图。图3示出Hoppe的方法。从图像I创建纹理摘要E和变换映射图Ф以使得可从匹配摘要补丁重构所有的图像块。匹配补丁也被称为变换补丁。在文献中变换映射图也被称为矢量映射图或分配映射图。使用纹理摘要E和变换映射图Ф，能够重建当前图像I'。在下文，所述摘要指代纹理摘要E和变换映射图Ф两者。图4说明摘要创建方法。然而，本发明并不限于此摘要创建方法。在文献中已经提出了其他形式的摘要。在2008年发表在Computer Vision and PatternRecognition CVPR（计算机视觉与模式识别）上的题为“Summarizing visualdata using bidirectional similarity”的文献中，Simakov等人公开了从双向相似性测量创建图像概要。他们的方法旨在满足两个要求：包含尽可能多的来自输入数据的视觉信息，同时引入尽可能少的不在所述输入数据中的新的视觉伪像（即，同时保持视觉连贯性）。

在发表在2008年2月第76卷第2期的International Jounal ofComputer Vision（计算机视觉国际杂志）上的题为“Video Epitomes”的文献中，Cheung等人公开了一种统计方法以便提取摘要。该方法是基于捕获颜色信息和某些空间图案两者的概率模型。

在步骤210，摘要构建方法包括在当前图像Icurr中找出自相似性。当前图像由此被划分为若干规则网格的块。对于当前图像Icurr中的每个块，在同一图像中搜索具有相似内容的补丁集合。即，对每个块B_i（∈块网格），确定匹配（或匹配补丁）列表L_match（B_i）={M_i,0,M_i,1..}，所述列表以给定的误差允许值ε逼近B_i。在当前实施例中，利用使用平均欧几里得距离的块匹配算法执行匹配的过程。因此，在步骤210，在当前图像中到块B_i的距离小于ε的补丁M_j,I被添加到列表L_match（B_i）。例如，该距离等于块B_i和由B_i中的像素数量划分的补丁M_j,I之间的逐像素差的绝对值。根据一个变型，该距离等于SSE（平方误差的总和），其中，所述误差是块B_i和补丁M_j,I之间的逐像素差。在整个图像中进行穷举搜索。一旦为图像块集合创建了所有的匹配列表，在步骤220建立表示所述图像块集合的新列表L'_match（M_j,l），所述图像块集合由匹配补丁M_j,l表示。注意，如图5所示，在全搜索步骤期间得到的所有匹配块M_j,l不一定与该图像的块网格对准并因此属于“像素网格”。

在步骤240，构建摘要图。为了这个目的，提取、更精确地选择纹理补丁以便构建摘要图，所有摘要图的并集组成纹理摘要E。每个摘要图表示该图像在纹理方面的特定区域。下面详细描述步骤240。

在步骤2400中，索引n被设置等于0，n是整数。

在步骤2402，初始化第一摘要图EC_n。可以使用几个候选匹配补丁来初始化摘要图。每个摘要图由最能代表尚未重构的剩余块的匹配补丁初始化。假设Y∈R^NxM表示输入图像并且假设Y'∈R^NxM表示由候选匹配补丁和先前构建的摘要图重构的图像。为了初始化一个图，使用下列基于平均平方误差（MSE）标准的最小化的选择标准：

${\mathrm{FC}}_{\mathrm{init}}=\min \left(\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}(Y_{i,j}-{Y^{\′}}_{i,j})}{\mathrm{NxM}}\right)---\left(1\right)$

所选择的标准考虑整体图像上的预测误差。该标准允许所述摘要被允许重构最大数量的块、同时最小化重构误差的纹理图案扩展。在当前实施例中，在计算图像重构误差时，将零值分配给尚未通过摘要补丁预测的图像像素。图6示出一旦选定第一摘要补丁E₀后重构的图像块。

在步骤2404，然后摘要图EC_n被来自输入图像的区域逐步增长，并且在每一次扩大摘要图时，如图7所描绘，跟踪可从图像中预测的附加块的数量。这个步骤也被称为摘要图扩展。

初始摘要图EC_n(0)对应于在初始化步骤保留的纹理补丁。摘要增长步骤首先通过确定与当前图EC_n(k)重叠并且表示其他图像块的匹配补丁集合M_j,I进行。因此，存在可用作当前摘要图的扩展的若干候选区域ΔE。对于每一个图增长候选ΔE，从列表L'_match（M_j,k）确定可被重构的补充图像块，所述列表L'_match（M_j,k）仅涉及包含像素集合ΔE的匹配补丁M_j,k。然后，得到候选图增长集合中最优的候选ΔE_opt，从而导致选出根据速率失真标准的最佳匹配。假设Y∈R^NxM表示输入图像并且假设Y'∈R^NxM表示由当前摘要E_curr和图增长候选ΔE重建的图像。注意，当前摘要E_curr由先前构建的摘要图和当前摘要图EC_n(k)组成。这个选择实际上是根据拉格朗日标准FC_ext的最小化做出的。

${\mathrm{FC}}_{\mathrm{ext}}=\min \left(D_{E_{\mathrm{curr}}+\mathrm{\ΔE}+\mathrm{\λ}*R_{E_{\mathrm{curr}}}+\mathrm{\ΔE}}\right)$ 其中， $E_{\mathrm{curr}}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{EC}}_i$

${\mathrm{\ΔE}}_{\mathrm{opt}}^k=\underset{m}{\arg \min }(\frac{\underset{i}{\overset{N}{\mathrm{\Σ}}}\underset{j}{\overset{M}{\mathrm{\Σ}}}(Y_{i,j}-{Y^{\′}}_{i,j})}{N*M}+\mathrm{\λ}*\left(\frac{E_{\mathrm{curr}}+\mathrm{\ΔE}}{N*M}\right))$

在优选实施例中，λ值被设为1000。该标准的第一项是指当通过包含在当前摘要

和增量ΔE中的纹理信息重构输入图像时的每像素的平均预测误差。在初始化步骤中，当图像像素既不被当前摘要Ecurr影响也不被增量影响时，将零值分配给所述图像像素。因此，在整个图像上而不仅仅是在重构的图像块上计算FCext。该标准的第二项对应于当构建所述摘要时的每像素速率，所述每像素速率被粗略地估计为当前摘要和其增量中的像素数量除以该图像中的像素的总数。选定局部最优增量ΔE_opt之后，当前摘要图变为：EC_n(k+1)=EC_n(k)+ΔE_opt。为由EC_n(k+1)刚刚重构的块更新分配映射图。

然后，在下一个迭代k+1期间扩展当前图，直到没有与当前图EC_n(k)重叠并且表示其他块的匹配补丁M_j,I。如果存在这种重叠补丁，则该方法在步骤2404使用EC_n(k+1)继续。当当前图无法再扩展并且当整个图像尚未由当前摘要（步骤2406）重构时，在步骤2408，索引n递增1，并且在该图像的新位置处创建另一摘要图。因此，该方法在步骤2402使用新摘要图继续，即新图在其扩展前首先被初始化。当由摘要（步骤2406）重构整个图像时，该流程结束。图8b（该摘要由9个摘要图组成）给出了纹理摘要的示例。图8a表示图像Icurr，图8b的摘要根据该图像Icurr创建。纹理摘要E包括所有摘要图EC_n的并集。对于当前图像的每个块Bi，分配映射图表示在用于其重构的补丁的纹理摘要中的位置。

一旦为图像创建了摘要，可根据纹理摘要和变换映射图重构该图像的近似。然而，由于误差允许ε，存在原始图像和重构图像之间的残余差异。因此，对于视频编码应用来说，有必要进一步对这些残余差异进行编码。回到图2，在步骤22，摘要（E，Ф）被编码为第一流F1。使用仅帧内编码器对纹理摘要E进行编码。作为示例，按照使用仅帧内编码模式的H.264标准对纹理摘要E进行编码。根据一个变型，按照JPEG标准对纹理摘要进行编码。根据另一个变型，使用同质图像（例如像素都等于128的图像）作为参考图像以帧间编码模式对纹理摘要进行编码。根据另一个变型，同时采用帧内和帧间预测模式，使用经典的编码器（例如H.264，MPEG2等）对纹理摘要进行编码。这些方法通常包括根据预测信号计算残差信号、DCT、量化和熵编码的步骤。使用固定长度编码（FLC）或可变长度编码（VLC）对变换映射图Ф进行编码。但也可使用其他编码（CABAC…）。变换映射图是矢量的映射图，也被称为矢量图。

在步骤24，解码纹理摘要E。撇开熵编码不谈，这个步骤是纹理摘要编码步骤的逆。作为示例，如果纹理摘要编码步骤包括根据预测信号计算残差信号、DCT和量化，则解码步骤24包括去量化、逆DCT和将该预测信号添加到该残差信号以便获得重构信号。

在步骤26，根据解码的纹理摘要E和根据变换映射图Ф重构中间图像。

图8c中示出根据图8b的摘要重构的中间图像的示例。在光栅扫描中处理该图像块。重构可能是在变换映射图的帮助下而识别出的补丁的简单副本。如果使用子像素重构，则进行内插。在步骤28使用中间图像作为参照图像对当前图像进行编码。作为示例，按照H.264视频编码标准对当前图像进行编码。根据一个变型，按照MPEG2视频编码标准对当前图像进行编码。可以使用通常的编码模式（帧间和帧内编码模式）。当根据帧间编码模式对当前图像的块进行编码时，则对该块和参考图像中（即，根据解码摘要重构的中间图像的图像中）的相应块之间的差进行编码。通过同样被编码的运动矢量来在参考图像中识别所述相应块。双向预测也是可能的。根据一个变型，没有运动矢量被编码，并且使用参考图像中共位置的块。该也被称为残差的差实际上是在该块和其来自参考图像的预测之间计算的预测误差。通常，首先将残差变换为诸如DCT系数的块系数。然后，将所述系数量化为块量化系数。最终，使用诸如公知的算术编码、CABAC（代表上下文自适应二进制算术编码）、CAVLC（代表上下文自适应可变长度编码）等的熵编码将所述量化系数编码为比特流。本发明并不限于用于对残差进行编码的编码类型。比特流F2是预测误差残差比特流。

根据一个变型，第一和第二比特流被多路复用为单一比特流。

根据图3的特定实施例的编码方法包括根据当前图像Icurr中给定的误差允许ε跟踪自相似性，以便例如基于简单块匹配技术来建立纹理摘要E。然后，根据取自输入图像Icurr和矢量映射图（也被称为分配映射图，这里包含了一些简单的平移参数并且跟踪输入图像的每个块和摘要的块之间的对应关系）的纹理片段构建所述摘要。

其次，根据纹理摘要和分配映射图重构中间图像。最后，使用重构的图像Irec作为帧间图像预测意义上的参考图像来对当前图像Icurr进行编码。根据特定实施例的编码方法的步骤概述如下：

1．建立当前图像Icurr的摘要（由纹理摘要和分配映射图组成），更一般地，建立Icurr的图像概要；

2．将所述摘要（纹理和映射图）编码为第一比特流；

3．根据解码的纹理摘要和映射图重构图像；

4．使用中间图像Irec作为参考图像将当前图像Icurr编码为第二比特流，以便用它作为信噪比可缩放性意义上的预测，并且

两个比特流F1和F2（一个涉及已编码摘要的纹理摘要和分配映射图，一个涉及当前图像Icurr）被最终发送到解码器或存储在诸如硬盘或DVD的存储介质上。

图9表示根据本发明的重构方法。

在步骤32，根据第一比特流F1解码出图像摘要。此步骤是步骤22中的编码方法的逆步骤。

在步骤34，所述图像概要被用于重构中间图像。此步骤与编码方法的步骤26是相同的。

在步骤36，使用所述中间图像作为参考图像重构当前图像。当根据帧间编码模式对当前图像的块进行编码时，则解码该块和参考图像中（即，根据解码的摘要重构的中间图像中）相应块之间的差。使用运动矢量来在参考图像中识别所述相应的块。使用参考图像的两个块的双向预测是可能的。根据一个变型，没有运动矢量被编码，并且使用参考图像中共位置的块。该差实际上是在该块和其来自参考图像的预测之间在编码器侧的计算的预测误差。通常，首先使用诸如公知的算术编码、CABAC、CAVLC等的熵编码从第二比特流中解码出量化系数。然后，将该量化系数去量化为诸如DCT系数的块去量化系数。该去量化系数被最终例如使用逆DCT变换为残差块。然后将该残差块添加到参考图像中的相应块。

按照一个变型，所述重构方法还包括当第一和第二比特流被多路复用时将比特流多路分解为所述第一和第二比特流的步骤30。

根据描绘在图10上的特定实施例（图10），所述图像概要是摘要。因此，步骤32包括解码纹理摘要和矢量分配映射图。

在编码器侧和解码器侧根据解码的纹理摘要和分配映射图对称地实现中间图像的图像重构，以便在重构当前图像时避免任何偏离（drift）。

图11表示根据本发明的编码设备。在第一输入端IN，编码设备ENC接收当前图像Icurr。该输入端IN被链接到IFM。模块IFM适于根据编码方法的步骤20创建当前图像Icurr的概要。该图像分解模块IFM被链接到第一编码模块ENC1。该第一编码模块ENC1适于根据编码方法的步骤22将所述概要编码为第一比特流。编码设备ENC还包括链接到所述第一编码模块ENC1的第二编码模块ENC2。该第二编码模块ENC2适于根据编码方法的步骤24、26和28将当前图像编码为第二比特流。特别地，所述第二编码模块ENC2适于解码由所述第一编码模块ENC1编码的图像概要，以根据解码的概要重构中间图像并且使用所述中间图像作为参考图像对当前图像Icurr进行编码。编码设备ENC还可以包括将所述第一和第二比特流多路复用为单一比特流或传输流的多路复用模块MUX。在这种情况下，多路复用模块被链接到单一输出端OUT。根据一个变型，多路复用模块在编码设备外部，在这种情况下，所述多路复用模块包括两个输出，一个用于所述第一比特流，一个用于所述第二比特流。

图12表示表示根据本发明的解码设备DEC。解码设备在第一输入端IN上接收比特流。该输入端被链接到多路分解模块DEMUX。所述多路分解模块DEMUX适用于将所述比特流多路分解为代表图像概要的第一比特流和代表残差（或更准确地说，代表预测误差残差）的第二比特流。根据一个变型，所述多路分解模块DEMUX在解码设备外部，在这种情况下，所述多路分解模块DEMUX包括两个输入，一个用于所述第一比特流，一个用于所述第二比特流。该解码设备DEC还包括适于根据重构方法的步骤32从第一比特流中解码图像概要的第一解码模块DEC1。它还包括链接到第一解码模块DEC1的第二解码模块DEC2。该第二解码模块适于根据重构方法的步骤34、36和38模块从所述第二比特流中重构当前图像。特别地，第二解码模块DEC2适于根据解码的概要重构中间图像并适于使用该中间图像作为参考图像重构当前图像Icurr。

与基于帧内编码的现有的方法相比，本发明具有提高率失真性能的优势。本发明的主要特征是使用图像概要来预测将被编码的当前图像，其中，所述图像概要（即，摘要）给出了重构的图像，该重构图像（正常尺寸，即，与原始图像的尺寸相同的尺寸，所述摘要根据所述原始图像创建）在视频编码器中被用作参考图像。有利地，所述重构的图像与将被编码的图像具有相同的尺寸。因此，可以使用诸如已知的“跳过模式”的高效模式来对当前图像中的块进行编码并因此减少它的编码成本。

本发明的主要目标应用是视频分发（包括压缩）以及涉及视频压缩的显示技术应用。

首先，本发明不限于用于对当前图像的计算的残差（即，块和参考图像中相应块之间的差）进行编码的编码方法。此外，该方法一点也不限于用于构建摘要（即，纹理摘要和分配映射图）的方法。实际上，根据本法的编码方法只需要得到将被编码的图像的图像概要，而无论用什么方法来创建所述概要。

Claims (6)

1.一种图像序列的编码方法，该编码方法包括对于当前图像的以下步骤：

-创建所述当前图像的概要；

-将所述概要编码为第一比特流；

所述编码方法的特征在于它还包括：

-根据所述概要重构与所述当前图像具有相同尺寸的中间图像；以及

-使用所述中间图像作为参考图像将当前图像编码为第二比特流。

2.根据权利要求1的用于编码的方法，其中，所述当前图像的概要包括纹理摘要和分配映射图。

3.根据权利要求2的方法，其中，使用固定长度编码来对所述分配映射图进行编码。

4.根据权利要求2的方法，其中，使用可变长度编码来对所述分配映射图进行编码。

5.根据权利要求1至4任一项的方法，其中，所述第二比特流按照属于视频编码标准集合的一个视频编码标准，所述视频编码标准集合包括：

-ITU-T Rec.H.264/ISO/IEC14496-10AVC视频编码标准；以及

-ISO/IEC13818-2MPEG2。

6.一种图像序列的重构方法，对于当前图像，该重构方法包括以下步骤：

-解码所述当前图像的图像概要；

所述重构方法的特征在于它还包括：

-根据所述概要重构中间图像；以及

-使用所述中间图像作为参考图像来重构所述当前图像，所述中间图像与所述当前图像的尺寸相同。

Images