CN1926876B

CN1926876B - 空间和时间可扩展编码的图像序列的编码和解码方法

Info

Publication number: CN1926876B
Application number: CN2005800062187A
Authority: CN
Inventors: 爱德华·弗朗索瓦; 吉约姆·布瓦松; 热罗姆·维耶龙; 格温耐尔·马康; 菲利普·罗伯特
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2004-03-02
Filing date: 2005-02-21
Publication date: 2012-05-09
Anticipated expiration: 2025-02-21
Also published as: JP2007535834A; EP1721471A1; WO2005086488A1; FR2867328A1; JP4986842B2; US20070171971A1; CN1926876A

Abstract

公开了一种空间和时间可扩展编码的图像序列的编码和解码方法，该方法的特征在于为运动信息所选择的分辨率和在运动补偿滤波操作期间所使用的插值滤波器的复杂性取决于解码情况，也就是为解码所选择的空间和时间分辨率和比特率或者相应的时间分解等级或这些参数的组合。应用涉及例如在因特网上的视频电话或视频传输领域中的被称为“可扩展的”视频编码器/解码器。

Description

空间和时间可扩展编码的图像序列的编码和解码方法

技术领域

本发明涉及通过采用运动补偿时间滤波进行分级时间分析，对空间和时间可扩展编码的图像序列进行视频编码和解码的方法。

背景技术

本发明的范围是基于空间和/或时间可扩展性方案(也称作“可扩展”，scalables)的视频压缩。例如这涉及包括运动补偿时间滤波的2D+t小波编码。

图1显示了可扩展编码-提取-解码系统。

源图像被发送到可扩展视频编码电路1。所获得的初始比特流经过提取器2的处理产生了提取比特流。该比特流被解码电路3解码，解码电路3在输出端提供解码视频。

可扩展性能够产生初始比特流，从该初始比特流中可以提取适配数据集(例如，流)、空间分辨率、时间频率等的二进制子流。例如，如果初始可扩展比特流从不带有任何比特流约束的25Hz、720×480象素分辨率的视频序列中产生，那么在从该比特流中提取适合的数据之后，能够获得如参数为1Mb/s、12.5Hz的360×240象素分辨率的本身可扩展的子比特流。对该提取的子比特流进行解码将产生尺寸为360×240象素的12.5Hz视频。

在现有的可扩展视频压缩方法中，采用同样的方式进行编码和解码，而不考虑如解码视频的时间分解等级、比特率、空间分辨率等操作条件。具体地，如果解码涉及图像之间的运动补偿，这种补偿会被同等地施加，而不考虑图像的尺寸或将被解码的视频的比特率。这导致了图像质量的降低，尤其在图像分辨率相对于用于运动补偿的插值滤波器的尺寸变小时。

发明内容

本发明旨在克服上述缺点。

本发明的一个目的是一种空间和时间可扩展编码的图像序列进行解码的方法，编码数据包括运动信息，所述方法包括：分级时间合成步骤，根据所述运动信息，对某一频率分解等级上的图像进行运动补偿时间滤波，或MCTF，以提供较低分解等级上的图像，其特征在于，在运动补偿时间滤波操作期间，为运动信息的使用而选择的分辨率和所使用的插值滤波器的复杂性取决于解码情况，所述解码情况也就是为解码所选择的空间和时间分辨率和比特率或者相应的时间分解等级或这些参数的组合。

根据具体的实施方式，用于运动补偿的插值滤波器的系数依赖解码情况或时间分解等级。

根据具体的实施方式，分级时间合成是使用运动补偿滤波的小波系数解码。

本发明还涉及一种对给定空间分辨率的图像序列进行时间和空间可扩展编码的方法，所述方法包括：分级时间分析步骤，根据某一频率分解等级上的图像之间的运动信息，对这些图像进行运动补偿时间滤波，或MCTF，以提供较高分解等级上的图像，其特征在于，在运动补偿时间滤波操作期间，为所述运动信息的使用而选择的分辨率和所使用的插值滤波器的复杂性取决于源图像的所述空间分辨率或相应的时间分解等级。

根据具体的实施方式，该方法包括在给定分解等级上两幅图像之间计算的运动估计步骤，以执行运动补偿，并且在该方法中，运动估计的计算精确度取决于时间分解等级或图像的所述空间分辨率。

例如，时间分析步骤是使用运动补偿滤波的小波编码操作。

本发明还涉及一种用于实现前面所述解码方法的解码器，其特征在于包括：运动配置选择电路，用于根据解码情况，确定在运动补偿中用来进行运动补偿滤波的运动分辨率和插值滤波器，所述解码情况也就是为解码所选择的空间和时间分辨率和比特率或者相应的时间分解等级或这些参数的组合。

本发明还涉及一种用于实现前面所述编码方法的编码器，其特征在于包括：运动配置选择电路，用于根据源图像的所述空间分辨率或相应的时间分解等级，确定时间分析电路用来进行运动补偿的插值滤波器。

根据具体的实施方式，该解码器的特征在于包括：运动配置选择电路，用于根据源图像的所述空间分辨率和相应的时间分解等级，确定运动估计电路计算的运动精确度。

在编码和解码过程中，运动的精确度和用于运动补偿的插值滤波器根据不同的参数(例如正在处理的时间分解等级)来适配。为了进行解码，这些滤波器在解码流的比特率下适配解码视频的空间或时间分辨率。由于这种自适应的运动补偿，改进图像的质量，降低了处理操作的复杂性。

附图说明

根据下面的描述，其它特定的特征和优点将会更清楚地显现出来。参考附图，提供了对非限制性示例的描述，其中：

图1是根据现有技术领域的编码系统，

图2是简化的编码方案，

图3是GOP的时间滤波，

图4是对两幅图像的时间滤波，

图5是解码电路，

图6是用于运动配置选择的流程图，

图7是用于运动配置选择的第二流程图。

具体实施方式

在此考虑基于2D+t小波的编码/解码方案，这种方案沿着运动轨迹进行小波分析/合成。系统对图像组或GOP进行操作。

图2描述了编码器的整体结构。

源图像被发送到时间分析电路4，时间分析电路4执行运动补偿时间分析或MCTF(MCTF是运动补偿时间滤波的首字母缩写)，以获得不同频率时间频带。图像被发送到运动估计电路7，运动估计电路7计算运动场。这些运动场被发送到“修剪”电路10，“修剪”电路10对运动估计电路所计算的运动信息进行“修剪”或简化来控制运动的成本。用这种方式简化的运动场被发送到时间分析电路来定义分析滤波器。简化的运动场也被发送到编码电路11进行编码。

时间分析的结果图像被发送到空间分析电路5，空间分析电路5对通过时间分析得到的低带宽图像和高带宽图像执行子带编码。由此得到的时空小波系数最后被熵编码器6编码。该编码器在其输出端提供与叠置的可扩展性层(在质量以及在空间和时间分辨率方面)相对应的一组二进制数据包。打包器12把这些二进制数据包和来自编码电路11的运动数据汇合在一起，以提供最终的可扩展比特流。

在不同时间分解等级上的图像被时间分析电路4发送到运动估计电路7，运动估计电路7包括第一运动配置选择电路。附图中没有示出的第一运动配置选择电路根据图像的不同分解等级定义了运动估计电路的操作条件。可选择地，一旦运动信息通过“修剪”电路10被简化，就通过模式切换电路9发送到时间分析电路。模式切换电路9用于针对给定的分解等级，通过测试如连接在当前图像和先前图像之间的象素数目，来测试运动估计的质量，并且当该运动质量不足时，可以在时间分析电路上施加内部模式编码或预测模式编码(利用随后图像而不是先前图像对当前图像进行滤波)。内部模式和预测模式之间的选择取决于如在当前图像和随后图像之间的运动估计的质量。时间分析电路包括附图中也没有示出的第二运动配置选择电路，根据图像的分解等级和/或源图像的空间分辨率来确定该时间分析中所使用的运动补偿应采用的配置。

图3以概要的方式显示了通过时间分析电路4执行的运动补偿时间滤波操作，其中对GOP使用4级分解，在本示例中GOP包括用粗线表示的16幅图像。

所使用的滤波模式被称为“提升”。不是使用针对小波编码的复杂滤波，而是使用大长度的线性滤波器，在此处的示例中，对一组16幅图像进行滤波。在已知方式中，这种滤波方法包括使用有限长度滤波器来“分解”滤波器，例如如果想对样本两个接两个地进行滤波，就使用两个有限长度滤波器。这种滤波将针对每个分解等级来更新。因此，考虑沿着运动方向对图像对进行滤波的情况。对GOP中每一对的低频和高频滤波在第一时间分解等级上分别产生了8幅低时间频率图像(t-L)和8幅高时间频率图像(t-H)。

然后，低时间频率图像根据同样的方法被再次分解。对这些图像的低通滤波产生了4幅新的低时间频率图像t-LL，对这些同样的图像的高通滤波产生了4幅高时间频率图像t-LH。第三分解等级产生了2幅低时间频率图像t-LLL和2幅高时间频率图像t-LLH。第四级也就是最后一级产生了1幅低时间频率图像t-LLLL和1幅高时间频率图像t-LLLH。

这种时间分解是5频带时间分解，因此在每个16幅图像组成的GOP中产生了1幅t-LLLL图像、1幅t-LLLH图像、2幅t-LLH图像、4幅t-LH图像和8幅t-H图像。对于下游的编码，忽略t-L、t-LL、t-LLL图像，当然也忽略初始图像，因为从它们开始分解为子带，来在每个等级产生去相关的图像。因此这种分解通过产生有用的低时间频率t-LLLL的图像(代表这组GOP的平均值，并且其中集中了能量)以及四个等级的低能量高时间频率图像(即，5个频带)，实现了新的能量分配。正是这些图像被发送到空间分析电路，在空间上分解为子带。

为了执行滤波，需要在每对将要被滤波的图像之间对于每个等级估计运动场。这是运动估计器7的功能。

对一对源图像A和B进行滤波缺省包括产生时间低频率图像L和时间高频率图像H，根据以下公式进行：

L＝(B+MC(A))/

H＝(A-MC(B))/

其中MC(I)对应于运动补偿图像I。

和数涉及低通滤波，差数涉及高通滤波。

图4简化地图示了两个相继图像A和B的时间滤波，图像A是根据时间轴和显示顺序的第一图像，滤波后产生了低频率图像L和高频率图像H。

相对于参考图像，从当前图像到参考图像来执行运动估计。对于当前图像的每个象素，在参考图像中搜索其对应的象素(如果相对应的象素存在的话)，并且向其赋予对应的运动矢量。然后，参考图像的象素可以说是被连接的。

为了得到图像L，需要对图像A进行运动补偿。该补偿是通过将A作为参考图像的图像B到图像A的运动估计实现的。因此运动和矢量被赋予图像B的每个象素。在最接近的形状因子处，L中象素的值等于图像B对应象素的亮度和赋予图像B对应象素的运动矢量所指向的图像A的象素或子象素的亮度之和。当该矢量没有指向图像A的象素时需要进行插值。这涉及参考MPEG标准根据过去参考图像的前向预测和前向矢量的计算。

为了得到图像H，需要对图像B进行运动补偿。这种补偿是通过将B作为参考图像的图像A到图像B的运动估计实现的。因此运动和矢量被赋予图像A的每个象素。在最接近的形状因子处，H中象素的值等于图像A对应象素的亮度和赋予图像A对应象素的运动矢量所指向的图像B的象素或子象素的亮度之差。当该矢量没有指向图像B的象素时需要进行插值。这涉及参考MPEG标准根据将来参考图像的后向预测和后向矢量的计算。

在实际方式中，仅从A到B或从B到A计算运动矢量场。另一运动矢量场从第一个运动矢量场推导出来，产生非连接象素，即没有被赋予运动向量并且对应于反向运动矢量场中的孔。

在实际方式中，低频图像和高频图像按照下式进行计算：

H = \frac{B - {MC}_{A &LeftArrow; B} (A)}{\sqrt{2}}

L＝.A+MC^-1 _A←B(H)

这种滤波和上述滤波等价，包括首先计算图像H。图像H是根据图像B和运动补偿图像A的点对点的差异得到的。所以，从A中的位移矢量(在从图像B到图像A进行运动估计期间所计算的运动矢量)所指的象素B中移去特定的值，如果需要的话进行插值。

然后，通过将图像A加到反向运动补偿图像H上，从图像H而不是图像B推导出来图像L。MC^-1 _A←B(H)对应于图像(H)的运动“反补偿”。所以，位于图像H中、以B到A的位移矢量为基础并指向像素A的特定值(如果需要的话进行插值)被加到A的象素，或更准确地被加到该象素亮度的标准化值。

同样的推理可以用于图像块的等级而不是象素。

例如，运动估计电路7通过块匹配来操作运动估计算法。当前块图像被关联到参考图像中搜索窗口的块，以确定与最佳相关性相对应的运动矢量。不仅对通过象素相继的水平或垂直位移所得到的搜索窗口块进行搜索，而且如果所需精确度小于象素，还对插值块进行搜索。这种插值包括计算子象素的亮度值，以生成通过小于两个象素之间距离的相继位移得到的图像块。例如，对于四分之一象素精确度，每个四分之一象素在水平方向和垂直方向都执行相关性测试。这种插值使用被称为运动估计插值滤波器的滤波器。

要进行运动补偿时间滤波的图像被发送到运动估计器7，从而能够估计两幅图像之间的运动。该电路包括第一运动配置选择电路，除了接收图像的分解等级信息之外，还接收如源图像空间分辨率的其它信息。该电路根据此等级和/或空间分辨率决定运动配置。所以，例如运动值的计算精确度取决于被处理图像的时间分解等级。当分解等级高时，精确度更低。运动估计器的插值滤波器被配置为适配运动精确度。下面给出一个配置示例。

如上所示的时间分析电路4实现了对图像时间滤波的运动补偿。这些运动补偿操作需要使用插值滤波器进行的插值操作，并且为每个分解等级提供操作。在该时间分析电路中，可以不同于第一运动配置选择电路的第二运动配置选择电路根据图像的时间分解等级，实现了适配运动的精确度和运动补偿所用插值滤波器的复杂性的处理算法，以进行运动补偿。对于第一运动配置选择电路，这些不同的适配或配置也可以取决于所处理的源图像的空间分辨率。

自然地，只包括这些配置选择电路之一的编码器也落入本发明的范围内。

图5描述了根据本发明的解码器。解码器接收到的二进制流被发送到熵解码电路13的输入端，熵解码电路13实现编码器中熵编码电路的反向操作，尤其对时空小波系数解码，并且如果需要的话，对编码模式进行解码。此二进制流被并行发送到运动解码电路14的输入端，运动解码电路14对二进制流中接收到的运动场进行解码，将解码后的结果发送到时间合成电路。熵解码电路13连接到空间合成电路15，空间合成电路15重构与不同时间子带对应的图像。来自空间合成电路的时间小波系数被发送到时间合成电路16，时间合成电路16从时间合成滤波器重构输出图像。时间合成电路包括附图中没有示出的运动配置选择电路，用于根据解码条件和/或图像解码等级，确定此时间合成中所使用的运动补偿应采用的配置。时间合成电路连接到后处理电路17，后处理电路17的输出端是解码器的输出端。例如，这涉及能够减小如块效应的伪像的后置滤波。

在编码器除了MCTF模式外还使用其它编码模式的情况下，例如内部模式和预测模式，时间滤波器切换模式被用于接收来自熵解码电路13的编码模式信息，并且将该信息发送到时间合成电路16，时间合成电路16随后实现滤波器切换。

运动配置选择电路接收比特率、分辨率、空间和时间分辨率信息和时间分解网络。从这些信息或这些信息中的一项，运动配置选择电路为时间合成选择运动补偿配置。时间合成电路根据选择的配置来适配插值滤波器。

解码器接收的二进制流比特率对应于提取比特流。可扩展编码器通常发送作为初始比特流的最高比特率，如上所述，由解码器控制的提取器提取与需要的分辨率相对应的比特流。接收到的比特率信息对解码器是可用的。

空间、时间和比特率信息定义了解码情况。该情况取决于如解码器使用的显示器、可以用来接收数据的比特率。根据这些信息和/或时间分解等级，针对插值滤波器来配置时间合成电路关于。

下面给出了运动精确度和取决于该精确度的插值滤波器的适配示例，用于编码器的运动估计操作或者是编码器或解码器的运动补偿操作：

配置	运动精确度	插值滤波器
			1	1/4象素	双线性
2	1/8象素	1/4象素使用8系数FIR插值，然后1/8象素使用双线性插值

配置滤波器2和MPEG-4部分10标准(参考ITU-T Rec.H.264ISO/IEC 14496-10 AVC)使用的滤波器非常相似。

图6示出了通过属于时间分析电路的运动配置选择电路实现的判决流程图。

在步骤20处，确定提供给编码器的源图像的分辨率是否小于QCIF格式(来自四分之一公共中间格式，并且对应于176列、120行)的分辨率。如果是肯定的，下一步执行步骤23，决定配置1。

如果是否定的，下一步执行步骤21，检查时间分解等级。如果该等级确实大于2，下一步执行步骤23，选择配置1。否则，下一步执行步骤22，决定配置2。

图7显示了用于解码器的判决流程图。

在步骤24处，确定解码器提供的与所提取的二进制流相对应的图像的分辨率是否小于QCIF格式的分辨率(176列、120行)。如果是肯定的，下一步执行步骤26，选择配置1。

如果是否定的，下一步执行步骤25，检查时间分解等级。如果该等级确实大于2，下一步执行步骤26，使用配置1。否则，下一步执行步骤27。该步骤27确定将被解码的图像的分辨率是否等于SD格式的分辨率(根据标准定义，720列、480行)，以及二进制流的比特率是否小于1.5Mb/s。如果是肯定的，下一步执行步骤26，决定配置1。

如果是否定的，下一步执行步骤28，确定将被解码的图像的分辨率是否等于CIF格式的分辨率(352列、240行)，以及比特率是否小于700kb/s。如果是肯定的，下一步执行步骤26，使用配置1。

如果是否定的，配置2被施加到时间滤波电路中。

插值滤波器可以是如8系数FIR型，FIR是有限冲击响应的首字母缩写。由于通过卷积实现滤波，因此考虑了将被计算的子象素的之前4个以及之后4个象素的亮度。

对于子象素s处于不同的位置1/4、1/2和3/4，可以使用先前类型的三种不同的插值滤波器。系数n的值通过下面的公式给出：

f (n + s) = Σ_{m = - 4}^{4} h (m) \frac{\sin π (n + s - m)}{π (n + s - m)}, 0 < s < 1 .

s是子象素的位置，s＝1/4、1/2或3/4，n是系数的个数且h(m)是衰减滤波器或汉明窗(Hamming window)。

FIR滤波器可以通过由汉明窗进行加权并对这些加权的滤波器进行截断来推导得出。

对于s＝1/4，系数是：

[-0.0110 0.0452 -0.1437 0.8950 0.2777 -0.0812 0.0233 -0.0053]

对于s＝1/2，系数是：

[-0.0053 0.0233 -0.0812 0.2777 0.8950 -0.1437 0.0452 -0.0110]

对于s＝3/4，系数是：

[-0.0105 0.0465 -0.1525 0.6165 0.6165 -0.1525 0.0465 -0.0105]

使用这些滤波器，可以对1/4、1/2和3/4象素进行插值。插值首先根据水平维度完成，然后根据垂直维度完成。通过1/4象素位置的双线性插值，接着可以执行1/8象素的插值。

上文给出的在编码器等级的适配示例可以以相同方式用于解码器等级。

通常的原则是，当以低比特率的有限图像重量来对小尺寸和高时间分解等级的图像进行操作时，使用有限的运动精确度和简单的插值滤波器。与此相反，当处理高空间分辨率、高比特率、低时间分解率的高质量图像时，使用高运动精确度和复杂的插值滤波器。该原则的理由是，当将被滤波的图像缺乏频率内容或具有有限的分辨率时，不用使用高度发展的插值滤波器或非常好的运动精确度。

本发明的应用涉及例如基于因特网的视频电话或视频传输领域中用于数据压缩/解压缩的被称为“可扩展的”视频编码器/解码器。

Claims

1.一种对空间和时间可扩展编码的图像序列进行解码的方法，编码数据包括运动信息，所述方法包括：

分级时间合成步骤(16)，根据所述运动信息，对某一时间分解等级上的图像进行运动补偿时间滤波MCTF，以提供较低时间分解等级上的图像，

其特征在于，在运动补偿时间滤波操作期间，为运动信息的使用而选择的分辨率和用于运动估计的空间插值滤波器的复杂性取决于解码情况，或者取决于相应的时间分解等级，或者取决于这些参数的组合，所述解码情况也就是为解码所选择的空间和时间分辨率和/或比特率。

2.根据权利要求1所述的方法，其特征在于，用于运动补偿的空间插值滤波器的系数的个数取决于解码情况或时间分解等级。

3.根据权利要求1所述的方法，其特征在于，分级时间合成步骤(16)是一种使用运动补偿滤波的小波系数解码。

4.一种对给定空间分辨率的图像序列进行时间和空间可扩展编码的方法，所述方法包括：

分级时间分析步骤(4)，根据某一时间分解等级上的图像之间的运动信息，对这些图像进行运动补偿时间滤波MCTF，以提供较高时间分解等级上的图像，

其特征在于，在运动补偿时间滤波操作期间，为所述运动信息的使用而选择的分辨率和用于运动估计的空间插值滤波器的复杂性取决于图像序列的所述给定空间分辨率或相应的时间分解等级。

5.根据权利要求4所述的方法，其特征在于，该方法进一步包括在给定分解等级上两幅图像之间计算的运动估计步骤(7)，其中运动估计(7)的计算精确度取决于时间分解等级或图像序列的所述给定空间分辨率。

6.根据权利要求4所述的方法，其特征在于，分级时间分析步骤(4)是一种使用运动补偿滤波的小波编码。

7.一种用于实现权利要求1所述方法的解码器，包括：

空间合成电路(15)，耦合至解码器的输入，以将图像重构为子带；

时间合成电路(16)，耦合至空间合成电路，以通过时间合成滤波器，使用运动补偿滤波，从子带重构图像，

其特征在于所述时间合成电路包括：

运动配置选择电路，用于根据解码情况，或者根据相应的时间分解等级，或者根据这些参数的组合，确定在运动补偿中用来进行运动补偿滤波的运动分辨率和空间插值滤波器，所述解码情况也就是为解码所选择的空间和时间分辨率和比特率。

8.一种用于实现权利要求4所述方法的编码器，包括：

时间分析电路(4)，对某一时间分解等级上的图像进行运动补偿时间滤波MCTF；

运动估计电路(7)，耦合至时间分析电路，以针对为了提供较高时间分解等级上的图像而进行的运动补偿滤波，给出运动信息，

其特征在于所述时间分析电路包括：

运动配置选择电路，用于根据源图像的所述空间分辨率或相应的时间分解等级，确定时间分析电路用来进行运动补偿的空间插值滤波器。

9.一种用于实现权利要求4所述方法的编码器，包括：

其特征在于所述时间分析电路包括：

运动配置选择电路，用于根据源图像的所述空间分辨率和相应的时间分解等级，确定运动估计电路计算的运动精确度。