CN103069798A - 用于在实施变换域估计过程中对至少一个图像进行编码和解码的方法和装置, 对应信号以及计算机程序 - Google Patents

Abstract

本发明涉及一种用于对被分解成块的至少一个图像进行编码的方法，对于至少一个当前块，实施将所述当前块从空间域变换(11)到变换域并输出变换块的步骤，所述变换块由表示所述当前块的系数集合组成，也称原始系数。根据本发明，此种方法实施用于从所述集合中选出(12)原始系数子集的步骤，对于所述子集中的至少一个原始系数，实施以下步骤：估计(13)所述原始系数，在所述变换域中输出所估计的系数；确定(14)系数残余，方式是通过将所述原始系数与所述所估算的系数相比较；以及对所述系数残余进行编码(15)。

Description

用于在实施变换域估计过程中对至少一个图像进行编码和解码的方法和装置, 对应信号以及计算机程序

1.技术领域

发明的技术领域涉及对图像或图像序列进行编码和解码，具体来说涉及对视频流进行编码和解码。

具体而言，本发明涉及使用以块表示的图像来压缩图像或图像序列。

本发明可尤其适用于(例如)JPEG类型图像编码器中实施的图像编码或适用于今日的视频编码器(MPEG、H.264等及其修订版本)或未来的编码器(ITU-T/ISO HEVC)中实施的视频编码，而且适用于对应的解码。

2.背景技术

数字图像和图像序列占据大量的存储空间，这意味着在传输这些图像时必需对这些图像进行压缩，以避免用于此传输的通信网络中的拥塞问题。实际上，用在此网络上的比特率通常是受到限制的。

目前已存在多种视频数据压缩技术。在这些技术中，H.264技术相对于属于同一图像(帧内预测)或属于前一或后一图像(帧间预测)的其他像素对当前图像的像素实施预测。

具体而言，根据此H.264技术，例如相对于通过运动补偿进行编码/解码的其他I图像、P图像或B图像(帧间预测)而言，I图像通过空间预测(帧内预测)来进行编码，P图像和B图像通过时间预测来进行编码。

为此，该等图像细分为宏块，宏块随后细分为块。每个块或宏块由帧内或帧间图像预测来进行编码。

传统上，可借助于对当前块所做的预测(被称为预测块)以及预测残余来完成当前块的编码，该预测残余对应于在当前块与预测块之间的差。此预测残余也称为残余块，其被传输到解码器中，所述解码器通过将此残余块添加到预测块中来重建当前块。

所述当前块的预测通过已重建的信息(当前图像中此前已编码/解码的块，视频编码环境中已初步编码的图像等)来实现。获得的残余块接着通过例如使用DCT(离散余弦变换)类型的变换来进行变换。接着，经变换的残余块的系数被量化，随后通过熵编码进行编码。

解码会逐个图像完成，而且对于每个图像，解码会逐个块或逐个宏块完成。针对每个(宏)块，读取流中的对应元素。残余块或与(宏)块相关的块的系数的反量化和反变换即完成。然后计算(宏)块的预测块，并通过将该预测块添加到已解码的残余块或块来重建(宏)块。

因此，根据此压缩技术，将已变换、已量化和已编码的残余块传输到解码器，以使解码器能重建原始图像。

不利的是，在此传输期间，这些残余块的某些系数可能将损坏或丢失，尤其当传输有干扰的时候。因此，在重建原始图像期间，使用这些受到损坏的残余块会导致图像质量不佳。

为了克服此问题，具体已提出在经小波变换或DCT变换的块中随机复原丢失的系数或丢失的系数的集合。因此，复原的系数能够将可接受的图像呈现给解码器。根据这些技术，在第一阶段对丢失系数的位置进行检测。随后，在第二阶段，这些系数作为邻域的函数(已重建图像中的其他系数或空间邻域)而被复原。

因此，在解码器中对系数实施复原。换言之，这些技术提出一种后处理操作，旨在重建可为解码器接受的信号。

这些复原技术的一个缺点在于：在用于解码器的资源方面，这些复原技术开销较高。实际上，解码器必须首先鉴别丢失系数的位置，然后才能开始进入复原阶段。因此，解码器必须“盲目地”继续或具有用来鉴别丢失系数的位置以能够复原该等系数的鉴别组件。

因此，需要一种全新的技术，用于对图像进行编码/解码以确保提高所重建信号的质量，同时能简化在解码器层面上所实施的处理。

3.发明内容

本发明通过以下形式提出全新的解决方案：一种用于对被细分为块的至少一个图像进行编码的方法，对于至少一个当前块，实施用于将所述当前块从空间域变换到变换域以提供变换块的步骤，所述变换块由表示所述当前块系数集合组成，所述系数集合称为原始系数。

根据本发明，所述编码方法实施用于从所述集合中选择原始系数子集的步骤，而对于所述子集中的至少一个原始系数，实施步骤如下：

-估计所述原始系数，在所述变换域中提供所估计的系数；

-确定系数残余，方式是通过将所述原始系数与所述所估计的系数进行比较；

-对所述系数残余进行编码。

因此，本发明是基于全新和创造性的编码方法，而且是基于在变换域中估计(预测)某些系数。

具体来说，当前块可以是：

-残余块，所述残余块是通过将在空间域中要编码的图像块与其预测块相比较来获得，所述预测块是通过对要编码的此图像块进行预测而获得；或者

-非残余块，即，空间域中的像素集合。

因此，如果当前块是非残余块，则本发明提出全新的编码模式，即在变换域而不是空间域中对当前块进行预测。因此，本发明可应用于(例如)静止图像的编码或MPEG2视频编码。

如果当前块是残余块，则本发明提出“双级预测”：习惯上，在空间域中完成第一预测，以“预测”要编码的块并确定残余块，随后，在变换域中完成第二预测，以“估计”残余块的某些系数并确定系数的残余。本发明可应用于(例如)H264视频编码。

虽然用于估计原始系数、确定系数残余以及对该残余进行编码的这些步骤可应用于表示当前块的系数集合，但是优选地，将所述步骤仅应用于经选定以组成该子集的特定系数。

实际上，从统计学观点来看，某些系数一旦被量化为预测模式、比特率等的函数，值就变成零。因此，不对系数进行估计能够增加处理时间，并避免了对值为非零但初始值为零的系数进行估计(在此情况下，压缩性能会受到损坏)。

此外，某些系数用作“锚”点或参考点(例如，DC系数)。换言之，通过使用这些系数的原始值，其他系数的估计得到改善。在此情况下，似乎不必对这些参考系数进行估计。

因此，所建议的解决方案提出简单的处理方法，而且因为该解决方案仅针对从表示当前块的系数集合中选出的一些系数来实施，所以仅需要少量的额外资源。

具体来说，针对变换块中的给定位置，对原始系数与估计系数之间的差(也称为系数残余)进行编码，从而实现在解码器中对通过此位置鉴别的系数能进行精确的重建。

根据本发明，相比于原始系数的编码和传输开销，系数残余的编码和传输开销较低(因为与系数残余相关的能量低于与原始系数相关的能量)，而且在传输质量相同的情况下传输比特率最为优化。

因此，本发明提出全新的编码(以及解码)技术，所述技术结合了用于复原信号的技术，所述技术的目标是减少在质量等效的前提下减少要传输的信息的数量。

可想到，相反地，在现有技术中，编码未得到修改。信号的处理仅在解码器中完成，以复原传输中损坏的信号。

根据第一实施例，选出步骤选出变换块中定位在预定位置的原始系数。

通过这种方式，解码器可立即鉴别出要重建的原始系数的位置，而且编码器不需要插入一条具体信息来指示子集中原始系数的位置。

此第一实施例对要传输的信息数量进行了限制。

根据第二实施例，选出步骤根据预定编码标准选出原始系数。

例如，此种编码标准所属的群组包括：

-传输比特率；

-传输质量；

-当前块的预测方向。

因此，子集中系数的数目和/或位置不是固定不变的，而是可根据不同标准进行改变。这些不同标准可结合使用。

例如，可根据传输比特率选出原始系数：比特率越高，组成子集的系数数目越多。相反地，当比特率降低时，许多原始系数变成零而且不需要进行传输。因此，没必要对原始系数进行选择和估计。

根据另一编码标准，原始系数进行选择时要考虑到其相邻的系数。例如，为组成子集而被选出的系数的位置取决于用于预测要编码的块的空间预测的方向。实际上，所选择的预测方向能够使表示最高频率的系数在变换块的某相同区域上(例如，水平预测方向的相同列或垂直预测方向的相同排)分组在一起。

根据此第二实施例，解码器应能重现要重建的原始系数的数目和位置。

例如，解码器已知用于空间预测的预测方向，而且可从其中推断将要进行预测的系数的位置和数目。

根据另一项实例，在编码中可插入一条信息，所述信息在表示图像的信号中指示子集中原始系数的位置。

信号的此种修改使解码器能够立即鉴别出要重建的原始系数的位置。

根据一项特定实施例，估计步骤实施以下步骤：

-将零值分配到子集中的原始系数，提供修改的变换块；

-复原修改的变换块。

因此，根据此实施例，本发明提出在编码中复原信号，从而在等效质量前提下减少要传输的信息数量。

例如，复原步骤实施用于将全变差最小化的技术。

具体来说，复原步骤实施以下细分步骤中的至少一次重复操作：

-将修改的变换块从变换域变换到空间域中，在空间域中提供修改块；

-将修改块和预测块添加到对应的空间域中，提供重建的修改块；

-在空间域中，确定所重建图像的曲率，所述重建图像包括所重建的修改块；

-更新子集的原始系数，所述更新需考虑到从空间域变换到变换域的曲率以及修改的变换块，提供新的修改的变换块。

根据一个有利变体，复原步骤根据频率的升序逐个处理所述原始系数。

通过这种方式，操作方法以表示低频震荡的原始系数的估计开始，并以表示高频震荡的原始系数的估计结束。

此变体使原始系数能按顺序进行处理，而且因此在每次重复操作中，能够从对新修改的变换块进行更完整的重建中获益。

此外，根据比特率/失真标准，该变体可获得更好的压缩结果。

在另一项实施例中，本发明涉及一种用于对被细分为块的至少一个图像进行编码的装置，所述装置包括构件，所述构件用于将当前块从空间域变换到变换域，提供由表示所述当前块的系数集合组成的变换块，所述系数集合被称为原始系数。

根据本发明，此种装置还包括：

用于从所述集合中选出原始系数的子集的构件；

用于估计所述原始系数并在所述变换域中提供所估计的系数的构件；

用于确定系数残余的构件，方式是通过将所述原始系数与所述所估计的系数进行比较；

用于对所述系数残余进行编码的构件。

此种编码器尤其适于实施本文中的上述编码方法。例如，此种编码器是JPEG类型图像编码器或H.264类型视频编码器。

当然，此编码装置可包括根据本发明的编码方法的不同特征。因此，此编码器的特征和优点与实施编码方法的那些装置相同，且不作更详细地描述。

本发明还涉及表示根据本文中的上述编码方法而编码的至少一个图像的信号。

根据本发明，此种信号携载至少一条信息，所述信息指示子集中原始系数的位置。

当然，此类信号可包括根据本发明的编码方法所涉及的不同特性。

应注意，如果解码器已知子集中原始系数的位置或原始系数的位置可由解码器重现，则没必要修改所述信号。

本发明还涉及携载本文中的上述信号的记录媒体。

本发明的另一方面涉及一种方法，所述方法用于根据本文中的上述编码方法而编码的至少一个图像进行解码。

此种方法实施用于重建至少一个由原始系数集合组成的变换块的步骤，对从所述集合中选出的原始系数子集的至少一个原始系数实施以下步骤：

-对与所述原始系数相关的系数残余进行解码；

-估计所述原始系数，在所述变换域中提供所估计的系数；

-从所述系数残余和所述所估计的系数中重建所述原始系数。

因此，本发明能够接收系数残余并重建对应的原始系数，而不是直接接收原始系数。为此，解码方法从而实施与编码时相同的估计步骤。

此解码方法的特性和优点与实施编码方法的那些特性和优点相同，且不作更详细地描述。

具体而言，此种编码方法包括在表示所述至少一个已编码的图像的信号中读取至少一条信息，所述至少一条信息指示所述子集的原始系数的位置。

通过这种方式，解码器能够立即鉴别出要重建的原始系数的位置。

在另一项实施例中，本发明涉及一种用于对通过本文中的上述编码装置而编码的至少一个图像进行解码的装置。

根据本发明，此种装置包括用于重建至少一个由原始系数的集合组成的变换块的构件，所述构件针对从所述集合中选出的原始系数子集中的至少一个原始系数实施以下构件：

-用于对与所述原始系数相关的系数残余进行解码的构件；

-用于估计所述原始系数，在所述变换域中提供所估计的系数的构件；

-用于从所述系数残余和所述所估计的系数中重建所述原始系数的构件。

此种解码器尤其适于实施本文中的上述解码方法。例如，此种解码器可以是JPEG类型图像解码器或H.264类型视频解码器。

当然，此类解码装置可包括根据本发明的解码方法的不同特性。

本发明还涉及一种计算机程序，其包括用于在处理器执行所述程序时实施本文中的上述编码方法和/或解码方法的指令。此种程序可使用任何的编程语言。此种程序可从通信网络下载和/或记录在计算机可读媒体上。

4.附图说明

通过下文对特定实施例的描述，并借助于简单的说明性而非详尽的实例以及附图，本发明的其他特征及优点将更加清楚，在这些附图中：

-图1表示根据本发明的编码期间所实施的主要步骤；

-图2示出根据图1的编码器架构的一项实例；

-图3示出大小为8x8的变换块；

-图4表示用于估计系数的算法的一项实例；

-图5表示根据本发明进行解码时所实施的主要步骤；

-图6示出根据图5的解码器架构的一项实例；

-图7和图8表示根据本发明特定实施例的编码器和解码器的简化结构。

5.具体实施方式

5.1一般原理

本发明的一般原理基于在编码和解码中，在变换域中对当前块的某些系数进行估计。应理解，此种当前块对应于非残余块或残余块，所述非残余块对应于要编码(在空间域中)的图像像素集合，所述残余块通过将空间域中要编码图像的块与其预测块相比较而获得，所述预测块通过预测此要编码的块而获得。

因此，根据本发明，如果当前块为残余块，则本发明提出变换此残余块以及预测(估计)此变换块的某些系数。通过使用与当前块所涉及的相邻像素来实施此估计，所述当前块本身可从当前的变换块系数以及从与当前的变换块相邻的块的系数中获得。

通过这种方式，编码器不必在变换的残余块进行量化和编码之后，向解码器发送变换的残余块的所有系数。实际上，编码器可仅传输变换的残余块的某些系数，然后根据具体情况，传输系数残余，该等系数残余能够在解码器中重建变换的剩余块的未传输的系数。这些系数残余通过将变换的残余块的系数(称为原始系数)与估计操作期间获得的系数相比较而获得。

因此，本发明提出双级预测，所述双级预测使得在编码器和解码器中能够对变换的残余块的某些系数进行估计，因此这些系数不需要传输到解码器(仅将对应于这些系数的系数残余传输到解码器)。因此，对信号进行更有效率的压缩，从而减少要传输的信息数量。

如果该当前块是空间域中要编码的图像块(非残余块)，则本发明提出全新的编码模式，在所述编码模式下，在变换域而不是在空间域中对该当前块进行预测。

可想到，传统上，图像或图像序列的编码由图像从空间域到变换域的变换构成，目的是修改表示信息的空间，从而将该信息最大程度地去相关并在开始量化和熵编码的操作之前使用最小数目的有意义的系数将该信息组合在一起。此种变换可以是(例如)离散余弦变换(DCT)、离散正弦变换(DST)、小波变换或其他类型的变换。

5.2编码器的工作原理

下文将描述根据本发明由编码器实施的主要步骤。

此种编码器用于(例如)实施DCT类型的变换，所述变换传统上用在图像或视频编码器中。自然，根据本发明可使用其他变换。

因此，如图1示出，此种编码器(例如，图像或视频编码器)针对至少一个当前块Bk实施以下步骤。如上示出，该当前块可以是对应于要编码的图像像素集合的非残余块，或者是通过将要编码的块与其预测块相比较而获得的残余块，所述预测块通过预测该要编码的块而获得。

在变换步骤11期间，当前块Bk从空间域变换到提供变换块Bt的变换域。此种变换块由DCT系数的集合组成，所述DCT系数表示当前块而且称为原始系数。

随后，编码器实施步骤12，用于从DCT系数的集合中选出原始系数的子集。此选出步骤12中的某些原始系数的选出能够尤其考虑到它们在变换块Bt中的位置。

接着，通过特定的方式处理从形成变换块Bt的DCT系数集合中选出的这些少量的原始系数。

更确切地说，针对该子集中的至少一个原始系数Cij，该编码器执行以下步骤：

-估计(预测)(13)原始系数Cij，在变换域中提供所估计的系数CPij；

-确定(14)系数残余ECij，方式是通过将原始系数Cij与所估计的系数CPij相比较；

-对系数残余ECij进行编码(15)。

对于不属于在选出步骤12结束时获得的子集的变换块Bt的原始系数，通过传统方式对它们进行编码。

因此，变换块Bt的编码通过仅对属于该子集的原始系数的系数残余进行编码以及通过以传统方式对其他原始系数进行编码而获得。

因此，本发明提出在编码器和解码器中预测(或估计)变换块的某些原始系数，从而避免将这些原始系数传输到解码器(根据具体情况，传输与这些原始系数有关的系数残余)。这样，通过减少编码信息的数量，使表示图像或图像序列的信号得到更有效率的压缩，同时能够重建等同的信号。实际上，如果对系数残余进行传输，开销低于对应的原始系数，因为所述系数残余所需的能量较低(如果对原始系数进行恰当预测的话)。

下文将参考图2至图4描述本发明的一项特定实施例。

具体而言，图2示出经修改用来实施本发明的H.264类型的视频编码器的架构。

此种编码器输入音频序列21并实施已参考变换T 22和参考量化Q 231的传统操作。至于H.264编码器，参考变换操作T 22实施完全的DCT变换。因此，在这些操作结束时，如图3示出产生由(K+1)x(K+1)个原始系数Cij(量化的)组成的变换块(例如，如果K＝7，则有64个原始系数，或如果K＝3，则有16个系数)，其中i对应于变换块中的行索引，j对应于变换块中的列索引，0≤i，j≤K。

如参考图1所述，针对至少一个变换块，要估计的原始系数的子集的选择(12)尤其要考虑到它们在变换块中的位置，然后对这些原始系数进行估计(13)。随后，在补偿步骤期间确定(14)系数残余，在所述补偿步骤期间，将原始系数与所估计的系数进行比较。接着，可在熵编码操作26之前实施新的量化Q步骤232。

为了具有对于编码器和解码器均可用的相同预测信息，传统上，编码器在其编码回路中结合了解码回路24。

此种解码回路24实施以下传统操作：参考反量化Q^-1241、参考反变换T^-1242、图像重建243、帧内预测244和/或帧间预测245(运动补偿)。这些操作是所属领域的技术人员熟知的，而且在H.264标准(H.264JVT-ISO/IEC14496-10AVC-ITU-TRecommendation H.264，Advanced video coding for generic audio-visual services(用于一般视听服务的高级视频编码)”，11/07/2007)中进行了更详细的描述。

根据本发明，例如此种的解码回路24还结合了在参考反变换T^-1242操作之前实施的反补偿操作31，在反补偿操作31期间，系数残余添加到所估计的系数。

通过帧内预测244和/或帧间预测245重建的视频序列21及图像使得在熵编码26中考虑到运动估计25的性能。这些运动估计25和熵编码26的操作是传统的操作，而且在上述标准H.264中有更详细的描述。

根据此实施例，确切地说，本发明涉及以下步骤：选择(12)要估计的原始系数的子集、估计(13)这些原始系数以及确定(14)与这些系数相关的系数残余，下文中将更详细地描述这些步骤。

A)要估计的系数的选择

更确切地说，选出步骤12使以下情况成为可能：

-在变换块中选出在预定位置定位的原始系数；

-或者选出遵从编码预定标准的原始系数。

换言之，该子集中原始系数(也称为要估计的系数)的数目和位置可固定或可变化。

此处将设法寻求有效率的折衷方法：如果要估计的系数地数目(即，未传输到解码器的原始系数的数目)过度地多，则图像会受到严重的损坏，以至于不能从解码器中的精确预计中获益；相反地，如果此数目太少，则所得的压缩改善将不显著。

例如，发明者认识到，含64个原始系数的8x8块上消除/预测两个原始系数可在损坏与压缩之间达到有效率的折衷，不论传输比特率如何。随后，选出步骤12将从含64个原始系数的集合中选出含两个系数的子集。

根据第一变体，变换块中要估计的系数位置在编码器和在解码器中被预先定义，例如，根据块的大小进行预先定义。

在这种情况下，编码器没有必要在表示图像或视频序列的信号中插入一条指示该子集的原始系数的位置的信息。

例如，对于JPEG类型的图像编码器，统计计算能够了解，对于8x8尺寸的变换块，最值得消除并估计的系数是图3示出的系数C01(122)和C10(121)。

选择要估计的系数也可通过编码器和解码器已知的计算方法来完成。例如，根据本发明，编码器和解码器可评估在使用中所处理的图像类型(根据具体情况，可能是之前编码的图像和当前图像的块)以确定图像类别(平滑图像、纹理图像等)并从其中推断位置，以及可能的话推断要估计的系数的数目。

根据另一项实例，编码器可使用用于要编码的块的空间预测的预测方向，并且从其中推断要预测的系数的位置和数目。例如，如果已在垂直方向上预测了要编码的块，则相关的残余块包括大多数水平模式，而变换步骤则将能量集中在第一排的系数上(包括系数C00、...、C0K)。在这种情况下，预测此第一列的系数更加明智，因为它们集中了DCT块的能量。

在第二变体中，要预测的系数的位置由编码器传输到解码器中。

因此，例如，对于上文的JPEG编码器，系数C01和C10的两个位置传输到图像的标头中。

对于视频编码器，可以传输此信息：

-在序列层面中，在这种情况下，要估计的系数对于所有图像均相同；

-在图像层面中，在这种情况下，对于所有图像块或针对所有属于相同类型的图像(例如，I类型图像、P类型图像、B类型图像等)均相同。

在设想在块层面的信令时，似乎开销很高。在这种情况下，优选地，使用一条局部信息(例如，预测方向)来修改或调节要预测的系数的位置和数目。

B)选定系数的估计

一旦获得原始系数的子集之后，编码器实施此子集系数(例如，包括该两个原始系数C01和C10)的估计13。

例如，在当前块为残余块时，估计步骤13实施以下步骤：

-将零值分配到子集中的原始系数，提供修改的变换块；

-复原修改的变换块。

根据下文所述的实施例，复原步骤(也称为调整步骤)在图像域中实施调整技术，该调整技术旨在将预测块的全变差降为最低。

下文中，将回顾用于基于全变差(即TV)的半范数调整空间域中的信号的此种技术的一般原理。

由圣·奥西(S.Osher)和露·茹丁(L.Rudin)(工业与应用数学学会(SIAM)数值分析杂志，27：919：940，1990年)提出的文献“使用震波滤波器的面向特征图像强化(Feature-oriented image enhancement using shock filters)”给出了基于此标准的复原技术的更详细描述。自然，可设想其他标准，例如，二次标准等。

TV半范数用在许多图像改善方法中，尤其用于去噪和去模糊。

令u作为空间域中的图像，并令u(x)作为位置x处的图像u的像素值。变换域中的图像u表示为α(i)(下文仅表示为α)。提出的模型包括通过在空间域的约束条件(即图像u)下α的DCT系数的复原来估计α的DCT系数的子集。

令u作为空间域中的图像，并令u(x)作为位置x处的图像u的像素值。变换域中的图像u表示为α(i)(下文仅表示为α)。提出的模型包括通过在空间域的约束条件(即图像u)下α的DCT系数的复原来估计α的DCT系数的子集。

令u(α，x)表示从α的DCT系数中获得的图像(即，对应于用于返回到空间域的反变换的图像)。

空间域中的调整约束条件包括将全变差TV最小化。

全变差TV按以下形式表达：

$\mathrm{TV}\left(u(\mathrm{\α},x)\right)={\∫}_{\mathrm{\Ω}}\left|{\▿}_{x}u(\mathrm{\α},x)\right|\mathrm{dx}$

其中

表示位置x处图像u的梯度。

为了将全变差TV最小化(min{TV(u(α，x))})，计算偏导数，方程式如下：

$\frac{\∂\mathrm{TV}\left(u(\mathrm{\α},x)\right)}{\∂\mathrm{\α}}={\∫}_{\mathrm{\Ω}}\frac{\∂\left|{\▿}_{x}u(\mathrm{\α},x)\right|}{\∂x}\mathrm{dx}---\left(2\right)$

推导之后，得：

$\frac{\∂\mathrm{TV}\left(u(\mathrm{\α},x)\right)}{\∂\mathrm{\α}}={-\∫}_{\mathrm{\Ω}}{\▿}_x\·\left[\frac{{\▿}_{x}u(\mathrm{\α},x)}{{|\▿}_{x}u(\mathrm{\α},x)|}\right]{\mathrm{\φ}}_{\mathrm{xi}}\mathrm{dx}---\left(3\right)$

其中：

φ_xi表示DCT变换核心的特征；以及

表示图像的曲率，即，空间域中标准化梯度的散度。

此方程式将在空间域中的全变差TV半范数与在变换域中的DCT系数联系起来。

针对TV(u(α，x))＝0，相关的欧拉-拉格朗日方程为

例如，对于局部最小化的搜索借助于迭代算法的梯度下降类型来实现。应注意，也可使用其他非迭代方法。

令α^TV＝DCT(curv(u))(4)表示变换域中图像u的曲率(curv)。在每次算法迭代i中，DCT系数αⁱ进行如下更新：

${\mathrm{\α}}^i={\mathrm{\α}}^{i-1}+{\mathrm{\γ}}_i{\mathrm{\α}}_i^{\mathrm{TV}}---\left(5\right)$

其中γ_i表示算法的学习步长(根据i的情况，可以是固定的或可变的)。算法的终止条件可以是迭代次数i和/或系数αⁱ-α^i-1＜ε)的稳定性。

在离散空间中曲率计算的实例尤其在陈繁昌(T.F.Chan)和金珅(J.Shen)的“用于图画中局部非纹理的数学模型“中进行描述，工业与数学应用数学学会(SIAM)(数值分析杂志，卷63，第三期，1019页至1043页，2002年)

具体来说，如果u(i，j)表示位置(i，j)处图像的像素值，则在点(i，j)处获得的曲率表示为： ${\mathrm{curv}}_{\mathrm{ij}}={\▿}_{\mathrm{ij}}\·\left(\frac{{\▿}_{\mathrm{ij}}u(i,j)}{{|\▿}_{\mathrm{ij}}u(i,j)|}\right).$

在离散空间中，可能的逼近表示为：

${\mathrm{curv}}_{\mathrm{ij}}\≈\frac{u(i+1,j)-u(i,j)}{\sqrt{{(u(i+1,j)-u(i,j))}^2+{\left(\frac{u(i+1,j-1)+u(i,j-1)-u(i,j+1)-u(i+1,j+1)}{2}\right)}^2}}+$

$\frac{u(i,j)-u(i-1,j)}{\sqrt{{(u(i,j)-u(i-1,j))}^2+{\left(\frac{u(i-1,j-1)+u(i,j-1)-u(i,j+1)-u(i-1,j+1)}{2}\right)}^2}}+$

$\frac{u(i,j-1)-u(i,j)}{\sqrt{{(u(i,j-1)-u(i,j))}^2+{\left(\frac{u(i-1,j-1)+u(i-1,j)-u(i+1,j)-u(i+1,j-1)}{2}\right)}^2}}+$

$\frac{u(i,j)-u(i,j+1)}{\sqrt{{(u(i,j)-u(i,j+1))}^2+{\left(\frac{u(i-1,j+1)+u(i-1,j)-u(i+1,j)-u(i+1,j+1)}{2}\right)}^2}}+$

下文中，根据TV半范数的信号调整的一般原理被应用到视频编码环境中。

具体而言，我们认为视频编码器实施(例如)图2示出的DCT类型的变换以及估计步骤13期间本文中上述的复原算法。

图4更具体地示出此种算法的实施方案。

在输入时，针对至少一个当前块，该算法接收：

-空间域中的预测块41，其从帧内预测操作244和/或帧间预测操作245中导出；

-变换块42，其由表示变换域中的残余块的原始系数的集合组成；

-一条信息43，其定位要估计的DCT系数(用于选择形成子集的原始系数)。

在输出时，算法在变换域中提供修改的变换块，其包括：

-在对应于属于该子集的原始系数的位置：这些系数的估计；

-在其他位置：变换域中表示残余块的原始系数，所述原始系数等同于变换块42的系数。

具体而言，复原算法实施以下步骤：

-对变换块42应用参考反量化Q^-1421；

-将零值分配(422)到变换块的原始系数Cij，所述变换块的位置通过提供修改的变换块的一条定位信息43来鉴别。换言之，在变换块中，属于该子集(例如，图3中鉴别的系数C01和C10)的原始系数设置在零；

-初始化(423)关于迭代的变量j，使得j＝0；

-修改的变换块的反变换DCT^-1(424)，在空间域中提供修改的块；

-在空间域中添加(425)修改块和预测块41，提供重建的修改块；

-确定(426)图像I_R的曲率，从而如上所述在重建的修改块所涉及的空间域中进行重建；

-根据方程式(4)确定(427)变换域中图像I_R的曲率；

-调整(428)属于该子集(在第一次迭代的初始化期间设置在零)的原始系数，提供所估计的系数Cpij，将与I_R曲率成比例的值添加到所述所估计的系数Cpij，所述I_R曲率在先前的确定步骤427期间根据本文中上述方程(5)确定。因此，获得新的修改的变换块；

-递增(429)关于迭代的变量j。

随后，进行检验(430)以查看是否已完成算法的终止迭代，例如，是否已达到最大迭代次数和/或调整的原始系数的稳定性。

如果未完成终止迭代，则该操作返回到反变换操作DCT^-1424，其被应用到来自调整步骤428的修改的变换块。

如果完成终止迭代，则来自调整步骤428的修改的变换块被量化(431)。

在估计步骤13输出时，我们因此获得修改的变换块，其由以下部分组成：

-在对应于在选出步骤12期间选出的原始系数的位置处被调整的系数；

-表示变换域中的残余块的原始系数，等同于变换块42在其他位置的系数。

该算法的有利实施方案在于迭代且分层地估计该子集的系数。因此，第一个所估计的系数将对应于子集中表示图像最低频率的系数，以此类推，一直到达到对应于最高频率的系数。在每次迭代时且一旦在系数被估计之后，对系数残余进行计算和编码，从而使用此系数来根据迭代过程估计后面的系数。因此，通过估计子集中对应于当前块的最低频率的系数而开始此实施方案。随后，对此系数的系数残余进行计算和编码，接着，对应的原始系数的值重新整合到当前块中并用于估计后面的系数。

C)确定和编码系数残余

下文将描述用于确定系数残余的步骤14。

在此步骤期间，确定变换块42的所估计的系数CPij与原始系数Cij之间的差值，所述变换块42在修改的变换块中和在变换块中位于相同位置。

因此，对于每个由子集界定的位置，获得系数残余ECij。

未估计的原始系数和由此获得的系数残余随后在参考量化操作Q232期间被量化，接着在熵编码操作23期间被编码，而非以残余块形式进行。

因此，本发明的此实施例在编码时，有意消除位置已知的那些系数(位置是预定的或或是选定的，从而选出遵从预定质量标准的原始系数)。随后，这些系数被估计(在编码器或解码器中)，从而不传输这些系数或仅传输与这些系数相关的系数残余，因而更有效率地压缩信号。

因此，就压缩性能而言，与现有的编码器(例如，H.264/AVC)相比，提出的解决方案改善了编码效率，因为要传输的信息数量小于与用于信号重建绝对相当的信息数量。

换言之，本发明提出全新的估计方法，所述估计方法在编码层面中得到结合，而现有技术尚未提出对编码进行修改。

在此提醒，现有技术仅可在解码时，根据信号改善图像质量，所述信号最初与在编码器的输出端的信号相同，但由于传输信道的原因，可能在损坏之后降级。因此，这些复原技术未考虑到在编码环境中复原的系数，但是仅限于在编码器上显示(后处理)之前重建可接受的信号。此外，在大多数复原解决方案中，编码器并不知晓丢失的系数(它们的位置)，所述编码器必须盲目地工作以重建图像或者必须具有用于鉴别丢失的系数位置的鉴别组件。

换言之，现有技术中没有一种技术提出估计或预测变换块的某些系数以减少要传输的信息的数量。

5.3表示图像或图像序列的信号

来自编码器的信号，所述信号表示根据本文中上述的编码技术编码的图像或图像序列，该信号可携载一条具体的定位信息，使得能够指示为形成子集而选出的原始系数的位置。

如上所示，可在不同层面中提供这条信息：在序列层面、图像层面以及(可能地)块层面中。

因此，这条信息可插入到携载总体序列信息的表中(例如，针对H.264编码器，在序列参数集合(SPS)的字段中)，所述信息以列表的形式插入，所述列表包括子集中要估计的N个系数Cij的位置，例如，以N个“绝对”位置的列表形式插入(对于1≤n≤N，位置n由I*k+j界定，其中i为变换块中系数的排索引，k为变换块中系数的排宽度而j为变换块中系数的列索引)。通过使用在上述H.264标准中定义的CPB(编码的模式块)类型的编码模式，也可对此信息进行编码。

应理解，当编码器和解码器使用预定位置，并且因此双方都已知该等预定位置时，可选用此信令。

5.4解码器的工作

下文将描述根据本发明由解码器实施的主要步骤。

例如，这种解码器视为与相关的编码器一样，实施DCT类型的变换。

因此，如图5示出，这种解码器(例如，图像或视频解码器)实施下文所述的步骤，所述步骤用于重建至少一个由原始系数集合组成的变换块。

针对从所述集合中选出的原始系数子集中的至少一个原始系数，实施以下步骤：

-对与所述原始系数相关的系数残余进行解码(51)；

-估计(52)所述原始系数，在变换域中提供所估计的系数；

-从系数残余和所估计的系数中重建(53)所述原始系数。

估计步骤52与编码时实施的估计步骤13相同，因此不会对估计步骤52作详细描述。

针对子集中的每个系数，重建步骤53包括将解码步骤51结束时获得的系数残余添加到对应的所估计的系数(该步骤与编码时实施的反补偿步骤31类似)。

应理解，选定的原始系数子集与在编码期间鉴别的原始系数子集相同。

为此，设想两种变体。

根据第一变体，编码器和解码器均已知要估计的系数的位置。因此，例如，对于本文中上述的JPEG编码器，解码器和编码器都已知要估计的系数的位置(针对图3示出的8x8块的C01和C10)。

在这种情况下，解码器从属于该子集的系数的预定位置中直接鉴别该等系数。

在另一项实例中，解码器已知用于对块的空间预测进行编码的空间预测方向，而且通过以与编码器相同的方式，使用此信息以从中推断要估计的系数的位置和数目。根据第二变体，解码器实施用于读取一条信息的初级步骤，所述信息指示为形成该子集而选出的原始系数的位置。

在这种情况下，解码器通过读取这条消息来鉴别属于该子集的系数。

参考图6，将更精确地描述经修改以实施本发明的H.264类型的视频解码器的架构。

给此种解码器输入的是表示根据本文中上述编码方法编码的图像或图像序列的信号，而且实施熵解码操作61。这种解码61使得能够具体地对由该信号提供的系数残余以及在编码时未估计的残余块的原始系数进行解码。

如参考图5所述，针对至少一个变换块的重建，要估计的原始系数子集的选择要尤其考虑到这些原始系数在变换块中的位置62(直接为解码器已知或从信号中提取的一条定位信息中获得)。

随后，对这些系数进行估计(52)，并通过将系数残余添加到对应的所估计的系数来重建(53)对应的原始系数。

在此步骤53结束时，获得重建的变换块。

在随后的步骤63期间，将反量化Q^-1和反变换T^-1的操作应用到重建的变换块，然后，实施图像重建64、帧内预测65和/或帧间预测66(运动补偿)的传统操作。这些操作为所属领域的技术人员所熟知，而且在上述标准H.264中对这些操作更详细地进行描述。

5.5编码器和解码器的结构

最后，参考图7和图8，提出根据本文中上述实施例中的一项实施例的分别实施编码技术和解码技术的编码器和解码器的简化结构。

例如，编码器包括：存储器71，其包括缓冲存储器M；处理单元72，其配备有(例如)处理器P而且受实施根据本发明的编码方法的计算机程序Pg 73驱动。

例如，初始化时，计算机程序73的代码指令加载到RAM中，并随后由处理单元72的处理器执行。给处理单元72输入的是至少一个要编码的图像。处理单元72的处理器根据计算机程序73的指令实施本文中上述的编码方法的步骤，以对图像进行编码。为此，除了缓冲存储器71以外，该编码器装置还包括以下构件：用于将当前块从空间域变换到变换域的构件；用于选出原始系数子集的构件；用于估计至少一个原始系数的构件；用于确定对应的系数残余的构件；以及用于对该系数残余进行编码的构件。这些构件由处理单元72的处理器驱动。

相应的解码器包括：存储器81，其包括缓冲存储器M；处理单元82，其配备有(例如)处理器P而且受实施根据本发明的解码方法的计算机程序Pg83驱动。

例如，初始化时，计算机程序83的代码指令加载到RAM中，并随后由处理单元82的处理器执行。给处理单元82输入的是表示至少一个图像的信号。处理单元82的处理器根据计算机程序83的指令实施本文中上述的解码方法的步骤，以对图像进行解码和重建。为此，除了缓冲存储器81以外，解码器包括以下构件：用于对至少一个与原始系数相关的系数残余进行解码的构件；用于估计对应的原始系数的构件；以及用于重建原始系数的构件。这些构件由处理单元82的处理器驱动。

Claims (15)

1.一种用于对被细分成块的至少一个图像进行编码的方法，对于至少一个当前块，

实施将所述当前块从空间域变换(11)变换域并提供变换块的步骤，

所述变换块由表示所述当前块的称为原始系数的系数集合组成。

其特征在于：所述编码方法实施用于从所述集合中选出(12)原始系数子集的步骤，而对于所述子集中的至少一个原始系数，实施以下步骤：

-估计(13)所述原始系数，在所述变换域中提供所估计的系数；

-确定(14)系数残余，方式是通过将所述原始系数与所述所估计的系数相比较；

-对所述系数残余进行编码(15)。

2.根据权利要求1所述的编码方法，其特征在于：所述当前块是通过将要编码的块与预测块相比较而获得的残余块，所述预测块是通过预测所述要编码的块而获得的。

3.根据权利要求1所述的编码方法，其特征在于：所述选出(12)步骤在所述变换块中选出在预定位置定位的所述原始系数。

4.根据权利要求1所述的编码方法，其特征在于：所述选出(12)步骤根据预定的编码标准选出所述原始系数。

5.根据权利要求4所述的编码方法，其特征在于，所述编码标准属于以下群组，所述群组包括：

-传输比特率；

-传输质量；

-所述当前块的预测方向。

6.根据权利要求1所述的编码方法，其特征在于：其包括用于将指示所述子集的所述原始系数的位置的至少一条信息插入到表示所述至少一个图像的信号中的步骤。

7.根据权利要求1所述的编码方法，其特征在于：所述估计(13)步骤实施以下步骤：

-将零值分配到所述子集中的所述原始系数，提供修改的变换块；

-复原所述修改的变换块。

8.根据权利要求7所述的编码方法，其特征在于：所述复原步骤实施以下细分步骤中的至少一次重复操作：

-将所述修改的变换块从所述变换域变换到所述空间域中，在所述空间域中提供修改块；

-将所述修改块和所述预测块添加到对应的空间域中，提供重建的修改块；

-在所述空间域中，确定重建图像的曲率，所述重建图像包括所述重建的修改；

-更新所述子集的所述原始系数，所述更新考虑到从所述空间域变换到所述变换域的所述曲率以及所述修改的变换块，提供新的修改的变换块。

9.根据权利要求8所述的编码方法，其特征在于：所述复原步骤根据频率的升序逐个处理所述原始系数。

10.一种用于对被细分成块的至少一个图像进行编码的装置，其包括用于将当前块从所述空间域变换(11)到变换域以提供变换块的构件，

所述变换块由表示所述当前块的称为原始系数的系数集合组成，

其特征在于：所述装置还包括：

-用于从所述集合中选出(12)原始系数子集的构件；

-用于估计(13)所述原始系数以在所述变换域中提供所估计的系数的构件；

-用于通过将所述原始系数与所述估计系数相比较来确定(14)系数残余的构件；

-用于对所述系数残余进行编码(15)的构件。

11.一种表示至少一个图像的信号，所述至少一个图像根据权利要求1所述的编码方法进行编码，其特征在于：所述信号携载至少一条指示所述子集中的所述原始系数的位置的信息。

12.一种用于对至少一个图像进行解码的方法，所述至少一个图像根据权利要求1所述的编码方法进行编码，

其特征在于：所述方法实施用于重建至少一个由原始系数的集合组成的变换块的步骤，对于从所述集合中选出的原始系数子集中的至少一个原始系数，实施以下步骤：

-对与所述原始系数相关的系数残余进行解码(51)；

-估计(52)所述原始系数，在所述变换域中提供所估计的系数；

-从所述系数残余和所述所估计的系数中重建(53)所述原始系数。

13.根据权利要求12所述的解码方法，其特征在于：其包括用于在表示所述至少一个编码图像的信号中读取至少一条指示所述子集的所述原始系数的位置的信息的步骤。

14.一种用于对至少一个图像进行解码的装置，所述至少一个图像借助于根据权利要求10所述的编码装置进行编码，

其特征在于：其包括用于重建至少一个由原始系数集合组成的变换块的构件，

对于从所述集合中选出的原始系数子集中的至少一个原始系数，实施以下构件：

-用于对与所述原始系数相关的系数残余进行解码(51)的构件；

-用于估计(52)所述原始系数以在所述变换域中提供所估计的系数的构件；

-用于从所述系数残余和所述所估计的系数中重建(53)所述原始系数的构件。

15.一种计算机程序，所述计算机程序包括用于在处理器执行此程序时，实施根据权利要求1所述的编码方法或根据权利要求12所述的解码方法的指令。

Images