CN101375609A - 适应性的编码和解码 - Google Patents

Abstract

本发明涉及一种传送图像部分的方法，该方法在编码阶段包括以下操作：分析编码上下文；适应性调整能够用于编码的预测函数群的参数；使用所选的预测函数，形成第一预测描述符；确定表示第一预测描述符和当前描述符之间的差异的残余(ε)。该方法还包括解码阶段，在解码阶段执行的操作包括：分析解码上下文；适应性调整能够用于解码的预测函数群的参数；使用所选的预测函数，形成第二预测描述符(P^*)；以及将第二预测描述符和接收的残余相结合，以传送当前描述符的解码版本(V^*)。

Description

适应性的编码和解码

本发明涉及图像编码技术。

许多图像编码器都支持帧间编码，在帧间编码中，对序列中的图像之间的移动进行估计，以相对于一个或多个先前的图像对最近的图像进行编码。

也可以不参照其它图像，而对序列中的每个图像进行编码。这种技术称为帧内编码，其利用了图像中的空间相关性。对于从编码器到解码器具有给定的传输比特率的情况，帧内编码的视频质量要比帧间编码的视频质量低，这是因为帧内编码未利用序列中的图像之间的时间相关性。

序列通常对其第一图像进行帧内编码，而对之后的图像进行帧间编码。包含在编码器的输出流中的信息指示帧内编码和帧间编码的图像，并且，对于帧间编码还指示使用哪个(哪些)参考图像。

大量现有的编码方法都通过确定称为描述符的表示信息来对当前图像部分进行编码，该描述符由与像素相关的信息(例如亮度和色度)或用于编码模式选择信息的移动向量构成。

某些上述描述符(尤其是移动向量)是可以预测的。因此，可对图像部分进行分析以获得预测的标识符，此后将该预测的标识符与当前的标识符进行比较，从而提取出表示预测标识符和当前标识符之间的差别的残余。仅需将该残余发送至解码器。

相应的解码方法适用于在本地确定预测的标识符(例如预测的移动向量)，并将其与从编码器接收的残余相结合，以获得当前描述符，从而获得当前的图像部分。

因此，在这种编码中，编码器和解码器之间的流仅包含该残余以及何处可适于使用图像参考部分。

然而，使用的预测函数有时不是最佳的函数。应用可在编码器和解码器中使用的多组预测函数能够避免这个问题。在编码器从多组函数中选择一个函数(通常是选择产生最小残余的函数)之前，先对这些函数中的每一个进行测试。

特别地，在这些描述符中，移动向量尤其由于其精度而需要高的带宽，因而应使用残余来发送。

因此，在编码器输出流中必需包括预测函数的标识符，用于使解码器能够使用正确的预测函数。

分配给预测函数的标识符的带宽是不可忽视的，并且，该带宽增加了从中获得函数的群的大小。

在Sung Deuk Kim和Jong Beom Ra于1999年8月在IEEETransactions on Image Processing，Vol.8，no.8上发表的文章中解决了这个问题，他们提出了一种用于移动向量的预测函数标识符的特殊编码系统。

因此，可利用预测函数群大小的增加来提高预测质量，但却需要为标识符分配更大的带宽。

本发明的目的在于通过提出一种编码方法和相应的解码方法来解决这个问题，其通过限制带宽的减少来产生最佳预测。

为此，本发明在于一种图像编码方法，其中对当前图像部分的编码包括以下步骤：

确定当前图像部分的当前描述符；

在可调的可用函数群中选择预测函数；

根据至少一个其它图像部分和所选的预测函数，形成当前图像部分的预测描述符；

确定表示预测描述符和当前描述符之间的差异的残余；以及

将残余添加到将送往解码器的输出流中；

所述方法的特征在于，其进一步包括：

分析编码上下文；以及

根据对编码上下文的分析，适应性调整可用函数群的至少一个参数。

本发明还包括一种对图像进行解码的方法，对当前图像部分的解码包括以下步骤：

接收包括残余的数据流；

在可调的可用预测函数群中选择预测函数；

根据至少一个其它图像部分和所选的预测函数，形成当前图像部分的预测描述符；以及

将预测描述符和残余相结合，以传送当前图像部分的当前描述符；

所述方法的特征在于，其进一步包括：

分析解码上下文；以及

根据对解码上下文的分析，适应性调整可用函数群的至少一个参数。

这些编码和解码方法形成了传送与图像部分相关的信息的方法。

因此，可用预测函数群的适应性调整不被传送，而是在编码器和解码器中独立地确定。从而，无需影响带宽就可对可用预测函数群进行优化。

根据本发明的其它特征，形成预测描述符的步骤包括应用具有能够适应性调整的参数的预测函数，适应性调整的步骤包括修改预测函数的至少一个参数，并且，某些被修改的参数不包含在将送往解码器的输出流中。

因此，为了优化预测函数而不减少数据的可用带宽，可将本发明的原理应用于具有可适应性调整的参数的函数的参数。

如果可用函数群包括不同的元素，本发明则包括在编码器中表示所选的预测函数相对于可用函数群的标识符，并将标识符添加到输出流中，可选函数群具有已经被适应性调整的参数。对称地，该标识符由解码器接收并在解码器中使用。

在这种实施中，由于标识符是相对于可用函数群而表示的，而可用函数群的参数是可根据上下文适应性调整的，因此，减小了传送标识符所需的带宽。

在特定的实施中，选择包括对可用函数群中的每个函数进行测试，并选择与这些测试相关的特定函数，以使预测函数可相互竞争。

本发明还包括执行上述方法的程序以及相应的编码器和解码器。

通过下文中对非限制性的实施例进行的描述并参照附图，本发明的其它性质和有益效果将显而易见。

图1是示出了具有视频编码器-解码器的两个通信站的示意图；

图2是本发明的视频编码器的一部分的框图；以及

图3是本发明的视频解码器的一部分的框图，其能够恢复由图2的编码器编码的图像。

本发明可应用于任何类型的图像编码，例如，对包含视频编码器4的发射机2和包含解码器8的接收机6之间的数字电视流的视频序列进行的编码。例如，发射机2包括在数字电视无线电信道上以例如DVB格式进行发送的天线，站6为个人计算机。

参照图2，下面详细描述编码器4的一部分，其将待发送的视频序列的图像流F接收作为输入。术语“图像”一般是指视频序列的元素。根据标准，其可互换地由术语“帧”替代。

在编码器4中，首先将流F存储在缓冲器10中，控制单元12确定用于缓冲器中每个当前图像部分的描述符，包括像素信息(即，亮度和色度)、移动向量以及例如帧间模式和帧内模式的编码模式。

下面仅描述对帧间编码(也就是相对于视频序列中当前图像之前的图像部分进行编码)的移动向量V的处理。然而，本发明也可用于其它类型的描述符，尤其可用于编码模式的描述符。

控制单元12连接至包括装置20的编码子系统16，装置20用于根据一个或多个先前图像部分和编码预测参数对用于当前图像部分的预测的移动向量进行预测。为了更加精确，通过将预测函数应用于其它图像部分的一个或多个移动向量，获得用于当前图像部分的预测移动向量。这些移动向量是对其它图像部分进行分析的结果。

装置20包括移动向量预测函数的数据库22，从数据库22中提取其中的一些预测函数，以形成可用的预测函数表24。

表24采用以下形式，例如：

在描述的实施方式中，表24具有可适应性调整的参数，并且尤其是其大小和容量可以变化(如下文将详细描述的那样)，因此，编码预测参数为表24的参数。

表24连接至选择器单元26，其对表24中的每个可用预测函数进行测试，用于对当前图像部分移动向量进行编码。为了更加精确，单元26将每个预测函数依次用于视频序列中当前部分之前的一个或多个图像部分，也就是，通过对先前图像部分的分析而得到的一个或多个移动向量。

随着这些测试的变化，特定的预测函数被保留以形成预测的描述符，即，预测的移动向量P。这种选择是通过在预测函数之间进行竞争以选择例如产生最小可能残余的函数而实现的。选择的预测函数通过相对于表24的标识符Id而识别，在描述的实施例中，标识符Id对应于表中的函数号。

预测的移动向量P被发送至组合器单元30，单元30还接收当前向量V并确定表示预测的描述符P和当前描述符V之间的差异的残余∈。

编码器4还包括单元32，其用于生成输出数据流Φ，并接收残余∈和其它标准信息元素，例如必须应用预测函数的图像部分的标识符。

在描述的实施例中，选择单元26还将使用的预测函数的标识符Id发送至单元32。该标识符的大小直接依赖于表24的大小，因此输出流Φ中为该标识符Id保留的带宽随着表24的大小而变化。

此外，编码子系统16还包括装置40，装置40用于随着编码上下文的变化而适应性地调整预测参数，并因此包括用于分析编码上下文的单元42。

表述“分析编码上下文”意味着对定义在其中实现编码的一般框架的各种指示符进行分析。这些指示符包括：

·链接于预测步骤的统计指示符，例如，预测函数的百分比使用或已在预测函数之间发现的差异；

·描述图像中的变化的指示符，例如，图像之间的方向梯度、区域的整体移动、活动性、帧内编码的量、帧间编码或未改变的图像或图像片段；以及

·描述传输条件的指示符，例如随传输条件或图像分辨率选择的变化的而分配的带宽。

单元44根据编码上下文分析的变化适应性地调整某些预测参数。更具体地，单元44通过在表中增加函数或将函数从表中删除来适应性调整可用预测函数表24的参数。

在描述的实施例中，由预定的规则对表24的适应性调整进行管理。这些规则的实施例如下。

根据第一规则，在这种情况下，即，图像的本地特性指示出在待编码区域上的整体移动都是规则的、并且待编码的区域包含明显的不连续性，优先级被分配给时间预测函数。通过对先前选择的用于编码图像或图像部分的移动向量值进行研究，计算该整体移动。通过将轮廓检测滤波之后得到的绝对值相加，计算不连续性。通过将时间函数加到可用预测函数的表24中，或通过去除空间函数或其它类型的函数，而支持时间函数。

在另一种情况中，如果将图像序列确定为静态，即，如果等于零的移动向量的数量超过特定阈值并且未改变的图像或图像部分的数量很大，或者如果临时预测函数的使用统计量较低，那么，适应性调整则支持表24中的空间预测函数，而不利于时间函数。

此外，如果可用函数表24中的两个预测函数在距离上接近，即，如果通过其中每个函数获得的预测之间的差别之和很小，那么，它们则不必共同存在，并将其中的一个预测函数删除。

如果发现某个预测函数很少被选择，也可将其删除。

根据另一个规则，如果在连续图像之间预测到序列的变化，则对可用预测函数表24进行重新初始化。

最后，根据另一个规则，表的大小部分地根据可用于传输的带宽确定，如果通带的大部分都可用，则允许更大的大小。类似地，表的大小的上下限也可根据所需的图像质量和/或可用带宽设置。

因此，表24的大小和容量参数适合于编码上下文，以仅保留最相关的预测函数，同时使表24保持尽可能小，从而使标识符Id尽可能小。

适应性调整的预测参数中的一部分未添加到输出流Φ中。为了更加精确，在描述的实施例中，在输出流中未描述或提及表24的任何适应性调整。

这些适应性调整是对编码上下文进行分析的结果，并因而可自发地在编码器和解码器中再生，即，不必对其进行传送。

因此，可利用适应性调整的预测函数获得对当前图像部分的描述符(尤其是移动向量)的改进的编码，而无需影响分配用于对使用的预测函数的标识符Id进行传送的带宽。这就是通过控制表24的参数而限制标识符大小的结果。

下面参照图3，详细描述接收编码器4发送的流的解码器8的一部分。

解码器8包括接收流Φ的缓冲器50和分析该流的数据(尤其是编码类型信息)的控制单元52。

控制单元52的输出被发送到解码器子系统56。以与编码器子系统相同的方式，仅参照特定描述符(帧间编码移动向量)对解码器子系统56进行描述。

解码子系统56包括用于预测当前图像部分的描述符装置60，所述描述符产生预测的移动向量P*，用于根据其它图像部分和预测参数进行解码。与在编码器子系统中一样，装置60可将预测函数应用于对其它图像部分进行分析得到的一个或多个移动向量。

装置60包括预测函数数据库62，其包含与编码器4的数据库22相同的预测函数。装置60还包括可用预测函数的表64和函数应用单元66。单元66从表64中提取待使用的特定函数，并从缓冲器50中提取图像部分，该图像部分必须应用预测函数，以传送预测的移动向量P^*。

在描述的实施方式中，可适应性调整的、表64的参数包括其大小和其容量，因此预测参数是表64的参数。

解码系统56还包括组合器单元70，其将预测的移动向量P^*和在流Φ中接收的残余∈接收为输入，并将向量V的解码版本对应的当前移动向量V^*作为输出传送。必须应用向量V^*以获得当前图像编码的解码版本。

解码子系统56进一步包括装置80，其根据解码上下文和函数的变化自发地(即，无需编码器的指令)适应性调整预测参数。

为了更加精确，装置80包括用于分析解码上下文的单元82(类似于上述的单元42)以及用于适应性调整用于解码的某些预测参数的单元84(类似于单元44)。

根据与通过编码器4中单元42实现的适应性调整相同的规则和标准，适应性调整单元82自发地修改可用预测函数表64。从而，这些适应性调整都是相同的，因此，编码器和解码器中的可用预测函数表64和24分别以相同的方式被修改，而无需发送对其适应性调整进行描述的信息。

预测函数的标识符Id(对应于表24或64中使用的函数号)足以供解码器选择和应用与编码器相同的预测函数。由于对表24和64进行的适应性调整，因此，该函数是全部可用预测函数中的最佳预测函数。

因此，这些编码器和解码器分别执行具体的编码和解码方法。

这样，为了对当前图像部分进行编码，编码首先确定当前移动向量V并分析编码上下文，这就导致了对表24的参数进行适应性调整。在此实施例中，最优化包括了根据编码上下文的变化对表24中存在的函数进行适应性调整，以仅保留最相关的函数。

然后，选择单元26则依次测试每个可用函数，以最后应用传送预测的移动向量P的预测函数。该函数由其在表24中的编号(记为Id)表示。

单元30将预测的向量P和当前向量V相结合以获得残余∈，将该残余添加到具有标识符Id的输出流Φ中。输出流中不具有描述在表24中实现的适应性调整的任何信息。

相应地，对当前图像部分解码包括接收流Φ，然后对上下文进行分析和解码并适应性地调整表64的参数。关于编码，这种适应性调整包括对表64中的函数进行适应性调整。一旦对表64进行了适应性调整，标识符Id就用来选择表中的特定预测函数，并应用其获得预测的移动向量P^*。

然后由单元70将向量P^*与接收的残余∈相结合，以获得将产生当前图像部分的解码版本的当前移动向量V^*。

编码和解码方法的结合形成了图像传输方法，包括分别在编码器和解码器中对上下文分析进行的自发的编码和解码以及预测参数适应性调整。

当然，还可设想本发明的其它实施方式。

在一个实施方式中，在编码和解码子系统中使用的预测装置包括具有可进行适应性调整的参数的一个或多个预测函数。例如，可将时间预测函数(例如中值函数)应用于更大或更小的参考区域，该区域的大小形成预测参数。以相同的方式，时间预测函数可使用倍增参数，其随着图像中发现的移动的变化而确定。这个或这些函数的参数则形成预测参数。

使用并适应性调整这些参数优化了预测函数，特别是减小了将被传送的残余∈。

如前所述，在编码器和解码器中对这些参数自发地修改，从而不必在编码器和解码器之间发送对预测函数的参数的某些适应性调整进行描述的信息。

当然，如果仅有一个预测函数可使用，例如，如果未规定预测函数之间的竞争，并且仅使用了具有可进行适应性调整的参数的单一函数，那么，不必在编码器和解码器之间传送该函数的标识符。数据流则仅包括残余和待使用的先前图像的参考。

在另一个实施方式中，对图像部分进行帧内编码，即，相对于相同图像中的其它部分相互编码。在这种情况下，为了获得当前的图像部分，同样可能使用可预测描述符，例如，应用于图像的已编码部分的移动向量。

本发明的编码器和解码器的实现可基于具有上述特征的程序。当然，同样可使用专用处理器或专用电路。

Claims (15)

1.一种对图像进行编码的方法，对当前图像部分的编码包括以下步骤：

确定所述当前图像部分的当前描述符(V)；

在可调的可用函数群(24)中选择预测函数；

根据至少一个其它图像部分和所选的预测函数，形成所述当前图像部分的预测描述符(P)；

确定表示所述预测描述符和所述当前描述符之间的差异的残余(∈)；以及

将所述残余加入到将送往解码器的输出流(Φ)中；

所述方法的特征在于，其进一步包括：

分析编码上下文；以及

根据对所述编码上下文的分析，适应性调整所述可用函数群的至少一个参数。

2.如权利要求1所述的方法，其特征在于，形成预测描述符的所述步骤包括应用具有能够适应性调整的参数的预测函数，所述适应性调整包括修改所述预测函数的至少一个参数，某些被适应性调整的参数不包含在将送往所述解码器的输出流中。

3.如权利要求1或2所述的方法，其特征在于，如果所述可用函数群包括不同的元素，所述方法则进一步包括对所选的预测函数相对于所述可用函数群的标识符(Id)进行表示，并将所述标识符(Id)添加到输出流(Φ)中，所述可用函数群具有已经被适应性调整的参数。

4.如权利要求1至3中任一项所述的方法，其特征在于，所述选择步骤包括对所述可用函数群(24)中的每个函数进行测试，并选择与所述测试相关的特定函数。

5.适用于安装在视频处理器装置(4)中的包括指令的计算机程序，当所述装置的计算单元执行所述程序时，所述指令用于执行权利要求1至4中任一项所述的视频编码方法的所述步骤。

6.一种图像编码器，包括：

用于为当前图像部分确定当前描述符(V)的装置(12)；

用于在可调的可用函数群(24)中选择预测函数的装置(26)；

预测装置(20)，其用于根据至少一个其它图像部分和所述选择的预测函数形成所述当前图像部分的预测描述符(P)；

用于确定表示所述预测描述符和所述当前描述符之间差异的残余(∈)的装置(30)；以及

用于将所述残余添加到将送往解码器(8)的输出流(Φ)中的装置(32)；

所述编码器的特征在于，其进一步包括：

用于分析编码上下文的装置(42)；以及

用于根据对所述编码上下文的分析，适应性调整所述可用函数群的至少一个参数的装置(44)。

7.如权利要求6所述的编码器，其特征在于，所述预测装置(20)包括用于应用具有能够适应性调整的参数的预测函数的单元，并且进行适应性调整的所述装置对所述预测函数的至少一个参数进行适应性调整，一些被适应性调整的参数未增加在将送往所述解码器的输出流中。

8.如权利要求6或7所述的编码器，其特征在于，其进一步包括用于对所选的预测函数相对于所述可用函数群的标识符(Id)进行表示的装置，和用于将所述标识符(Id)添加到将送往所述解码器的输出流(Φ)中的装置，所述可选函数群具有已经被适应性调整的参数。

9.一种对图像进行解码的方法，对当前图像部分的解码包括以下步骤：

接收包括残余(∈)的数据流(Φ)；

在可调的可用预测函数群(64)中选择预测函数；

根据至少一个其它图像部分和所选的预测函数，形成所述当前图像部分的预测描述符(P^*)；以及

将所述预测描述符和所述残余相结合，以传送所述当前图像部分的当前描述符(V^*)；

所述方法的特征在于，其进一步包括：

分析解码上下文；以及

根据对所述解码上下文的分析，适应性调整所述可用函数群的至少一个参数。

10.如权利要求9所述的方法，其特征在于，形成所述预测描述符的所述步骤包括应用可调预测函数，进行适应性调整的所述步骤包括适应性调整所述预测函数的至少一个参数。

11.如权利要求9或10所述的方法，其特征在于，所述方法包括接收待使用的预测函数相对于所述可用函数群的标识符(Id)，所述可用函数具有已经被适应性调整的参数。

12.适用于安装在视频处理器装置(4)中的包括指令的计算机程序，当所述装置的计算单元执行所述程序时，所述指令用于执行权利要求9至11中任一项所述的视频编码方法的所述步骤。

13.一种图像解码器(8)，包括：

用于接收包含残余(∈)的数据流(Φ)的装置(50)；

用于在可调的可用预测函数群(64)中选择预测函数的装置(64)；

预测装置(60)，其适于根据至少一个其它图像部分和所选的预测函数形成所述当前图像部分的预测描述符(P^*)；以及

用于将所述预测描述符和所述残余相结合、以传送所述当前图像部分的当前描述符(V^*)的装置(70)；

所述解码器的特征在于，其进一步包括：

用于分析解码上下文的装置(82)；以及

用于根据对所述解码上下文的分析，适应性调整所述可用函数群的至少一个参数的装置(84)。

14.如权利要求13所述的解码器，其特征在于，所述预测装置包括用于应用至少一个可调预测函数的单元，并且进行所述适应性调整的装置对所述预测函数的至少一个参数进行适应性调整。

15.一种传送图像的方法，其特征在于，所述方法包括对当前图像部分的编码阶段，所述编码阶段包括以下步骤：

确定所述当前图像部分的当前描述符(V)；

分析编码上下文；

根据对所述编码上下文的分析，适应性调整能够用于编码的、可调的预测函数群的至少一个参数；

在能够用于编码的所述可调的预测函数群(24)中选择预测函数；

根据至少一个其它图像部分和所选的用于编码的预测函数，形成所述当前图像部分的第一预测描述符(P)；

确定表示所述第一预测描述符和所述当前描述符之间的差异的残余(∈)；以及

将所述残余添加到数据流(Φ)中；

所述方法进一步包括对所述当前图像部分的解码阶段，所述解码阶段包括以下步骤：

接收包括残余(∈)的所述数据流(Φ)；

分析解码上下文；

根据对所述解码上下文的分析，适应性调整能够用于解码的可调的预测函数群的至少一个参数；

在能够用于解码的所述可调的预测函数群中选择预测函数；

根据至少一个其它图像部分和所选的用于解码的预测函数，形成所述当前图像部分的第二预测描述符(P^*)；以及

将所述第二预测描述符和接收的所述残余相结合，以传送所述当前描述符的解码版本(V^*)。

Images