CN1878304A

CN1878304A - 编码和解码图像序列的方法和设备

Info

Publication number: CN1878304A
Application number: CNA2006100845094A
Authority: CN
Inventors: 帕特里克·洛佩斯; 格温埃利·马康; 爱德华·弗朗索瓦
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2005-06-06
Filing date: 2006-05-25
Publication date: 2006-12-13
Anticipated expiration: 2026-05-25
Also published as: CN1878304B; FR2886787A1; US20060274958A1; JP4880373B2; US7672520B2; EP1732330A1; JP2006345521A

Abstract

本发明涉及一种用于编码N+1图像的方法，该方法包括对这些图像进行时间分析、产生一个低频图像和N个高频图像的步骤(10)。该方法还包括以下步骤：将N+1低频和高频图像的每一个划分(16)为N+1部分；交织(16)N+1低频和高频图像，以便产生N+1交织图像，使得低频图像的N+1部分被分配在N+1交织图像之间，N+1交织图像的每一个包括单个低频图像部分；以及彼此独立地编码(17)N+1交织图像，利用相同数目的比特来编码每一个交织图像。

Description

编码和解码图像序列的方法和设备

技术领域

本发明涉及一种用于使用一种编解码固定图像的方法(或者设备)来编解码图像序列的方法和设备。

背景技术

在多数编码图像序列的方法中，例如MPEG或基于t+2D小波方案(即，使用时间分析t步骤和2D空间分析步骤)的方法中，时间分析第一步骤可以减少连续图像之间的时间冗余，空间分析第二步骤可以减少空间冗余。由图1示出了这种方法。序列的每一个图像包括一个或多个成分，例如亮度成分和两个色度成分。在编码之前，通常将所谓源图像的图像序列划分为画面组(GOP)和帧组(GOF)(图2中标注为GOF₁、GOF₂和GOF₃)。编码方法的步骤10包括序列的时间分析，以便获得各种时间频带，该序列可能通过例如运动补偿时间滤波(“MCTF”)进行运动补偿，或通过根据在文献ISO/IEC 13818-2(题为“Informationtechnology-Generic coding of moving picture and associatedaudio information：Video”)定义的MPEG2标准的编码方案的预测。通常独立于每一个图像成分应用该步骤。运动补偿使用由运动估计步骤11提供的运动向量(MV)。例如，该步骤可以通过块匹配实现传统估计。这些向量被用于减少在目标位置从一个图像移动到序列中的下一个时要传送的信息量。其后，在步骤17期间编码该时间分析产生的图像。该步骤通常包括通过例如使用离散余弦变换(“DCT”)或离散小波变换(“DWT”)可以减少空间冗余的空间分析步骤12和可以编码这样获得的时间空间系数的熵编码步骤13。在复用步骤15期间，先前在步骤14期间编码的运动数据与关于时间空间系数的编码数据组合，以产生单个数据流。在熵编码步骤13不可以修改用于编码每一个图像的比特数目的情况下，则利用相同的比特数目来编码所有图像序列。不能修改用于编码每一个图像的比特数目具有降低解码之后的序列重构质量的后果。对于一些需要高重构质量的应用(例如，数字影院)，这种降低是不能忍受的。

发明内容

本发明的目的在于减少这些缺点中的至少一个。具体地，本发明使得在编码方法(或者设备)需要利用相同比特数目来编码每一个图像时，也可以提高图像重构质量。

为此，本发明涉及一种用于编码至少包括一个成分的N+i图像的方法。该方法包括所述N+1图像的时间分析步骤，对于每一个成分，产生一个低频图像和N个高频图像。该方法还包括以下步骤：

-对于每一个成分，将N+1低频和高频图像的每一个划分为N+1部分；

-对于每一个成分，交织N+1低频和高频图像，以便产生N+1交织图像序列，使得低频图像的N+1部分被分配在N+1交织图像之间，N+1交织图像的每一个包括单个低频图像部分；以及

-对于每一个成分，彼此独立地编码N+1交织图像，利用同一个比特数目来编码每一个交织图像。

优选地，编码步骤是基于JPEG2000编码标准的。

有利地，时间分析步骤包括运动补偿时间滤波。

优选地，时间滤波使用属于包括以下滤波器的组的滤波器：

-Haar类型的滤波器；以及

-Daubechies 5-7类型的滤波器。

有利地，将该方法连续地应用于至少两个N+1图像组，每一个图像被划分为由M个边界分离的N+1部分。M个边界的每一个在所述至少两个图像组之间沿给定空间方向移位。

根据特定特征，N等于1且M等于1。

优选地，在每一个图像组的开始处，在预定移位窗内使边界移位恒定数目的像素，并且如果边界离开移位窗，边界移位到移位窗的预定位置。

本发明还涉及一种用于解码按照根据本发明的编码方法而编码的图像的方法，编码图像以数据流形式出现。解码方法包括以下步骤：

-解码流或流的一部分，以便对于每一个成分，产生N+1交织图像；

-对于每一个成分，解交织N+1交织图像，以便产生一个低频图像和N个高频图像；以及

-执行N+1低频和高频图像的时间合成，以便产生N+1解码图像。

本发明还涉及一种用于编码至少包括一个成分的N+1图像的编码设备，该设备包括：模块，用于所述N+1图像的时间分析，对于每一个成分，产生一个低频图像和N个高频图像。该设备还包括：

-处理模块，用于对于每一个成分，将N+1低频和高频图像的每一个划分为N+1部分，并且交织N+1低频和高频图像，以便产生N+1交织图像序列，使得低频图像的N+1部分被分配在N+1交织图像之间，N+1交织图像的每一个包括单个低频图像部分；以及

-至少一个编码模块，用于对于每一个成分，彼此独立地编码N+1交织图像，利用同一个比特数目来编码每一个交织图像。

根据优选实施例，所述至少一个编码模块是基于JPEG2000标准的图像编码器。

本发明还涉及一种用于解码根据本发明的编码设备所编码的图像的解码设备，编码图像以数据流的形式出现。该设备包括：

-模块，用于解码流或流的一部分，以便对于每一个成分，产生N+1交织图像；

-模块，用于处理N+1交织图像，以便产生一个低频图像和N个高频图像；以及

-模块，用于N+1低频和高频图像的时间合成，以便产生N+1解码图像。

附图说明

参考附图，利用全部为非限制的有利示范实施例和实施方式模式，可以更好地理解和演示本发明，附图中：

-图1示出了根据现有技术的编码方法；

-图2示出了根据现有技术的图像序列的图像组(GOF)中的结构；

-图3示出了根据本发明的编码方法；

-图4示出了根据现有技术、结构为2个图像的GOF的图像序列的时间分析的基于小波的方法；

-图5示出了根据现有技术、结构为4个图像的GOF的图像序列的时间分析的基于小波的方法；

-图6示出了在4个图像的GOF的情况下从时间分析中产生的低频和高频图像的象限划分；

-图7示出了在4个图像的GOF的情况下从时间分析中产生的低频和高频图像的象限的交织；

-图8示出了根据另一个实施例、从4个图像的时间分析中产生的低频和高频图像的象限的交织；

-图9示出了在2个图像的GOF的情况下从时间分析中产生的低频和高频图像的两个部分的划分；

-图10示出了在2个图像的GOF的情况下从时间分析中产生的低频和高频图像的部分的交织；

-图11示出了不同GOF的两个图像部分之间的边界的移位；

-图12示出了图像序列的多GOF结构；

-图13示出了根据本发明的解码方法；

-图14示出了根据本发明的编码设备；以及

-图15示出了根据本发明的解码设备。

具体实施方式

本发明涉及一种用于编码源图像序列、产生数据流的方法，以及一种用于解码由编码方法产生的流的方法。源图像包括一个或多个成分，例如亮度成分Y和两个色度成分U和V。每一个成分可以以由像素或者每一个与值(例如亮度的值Y或色度的值U或V)相关的图像点组成的图像的形式表示。图3示出了编码方法。根据本发明的方法包括与图1所示的根据现有技术的方法类似的步骤。这些步骤具有相同的标注。在编码之前，通常将源图像序列划分为N+1图像组(GOF)(例如图2所示)。根据第一实施例，序列被划分为2个图像的GOF。

在步骤10期间，例如通过使用运动补偿时间滤波(MCTF)，时间分析每一个GOF。通常与每一个图像成分独立地应用该步骤。也可以使用非运动补偿时间滤波。可以通过传统的卷积过程或使用称为提升过程的特定过程，来执行时间滤波，提升过程包括预测和更新的连续步骤。滤波自身可以是基于小波方案的，例如Harr类型的短滤波方案或Daubechies 9-7类型的长滤波方案。通常，与空间域相同，时间小波变换由低频上的递归二值滤波组成。在给定等级的时间分解中，这样将2^p图像组变换为两个组，分别为低频和高频的2^p-1图像。根据相同的方法，再次分解这样获得的低频图像，以获得新等级的时间分解。图4示出了这样一种通过根据Harr类型的滤波方案的提升过程的2个图像(标注为A和B)的GOF的分析时间方案。在该图中，在2个等级上执行时间分解：标注为N₀的第一等级时间分解与序列的源图像A和B相对应，标注为N₁的第二分解等级与分别标注为H和L的高频和低频图像相对应。时间滤波方法包括应用高通滤波器和低通滤波器以便获得表示高时间频率的图像H和表示低时间频率的图像L。为了实现滤波，在步骤11期间，例如通过pel-recursive类型或块匹配类型的估计器，估计要滤波的每个图像对之间的运动场，并且对于每一个等级这么做。这两个滤波步骤与下面方程相对应：

其中，MC_A←B(F)与图像F的运动补偿相对应，IMC_A←B(片)与图像H的运动“解补偿”(decompensation)相对应。为了获得高频图像H，估计图像A和B之间的运动场(从B至A的运动场)。更精确地，通过图像B和运动补偿了的图像A的逐点差分，获得H。因此，从B像素中推导出特定值A(如果适当的话进行插值)，由在从图像B至图像A的运动估计期间计算出的运动矢量所指出。为了获得低频图像L，估计图像B和A之间的运动场(从A至B的运动场)。更精确地，通过将图像A添加到逆运动补偿的图像H中，从图像H中推导出图像L。因此，将H中的特定值添加到A的像素或者更精确地为像素的亮度的归一化值中(如果适当的话进行插值)，由在从图像A至图像B的运动估计期间计算的运动矢量所指出。通常，估计单个运动场，例如从B至A的运动场，另一个场例如通过第一场的直接求逆而从第一场中推导出。在尺寸大于两个图像的GOF的情况下，再次对低频图像应用滤波。更具体地，在图5中示出了在标注为A₁、B₁、A₂和B₂的4个图像的GOF的情况下的该方法。时间分析可以获得4个图像：与各个等级的时间分解(N1和N2)相对应的标注为L₃的低频图像和标注为H₁、H₂和H₃的三个高频图像。在该图中，标注为N₀的第一等级时间分解与序列的源图像相对应，标注为N₁的第二等级与标注为L₁、L₂、H₁以及H₂的图像相对应，并且标注为N₂的第三等级与标注为L₃和H₃的图像相对应。可以按照直接方式，通过产生附加分解等级，将时间分析扩展到尺寸大于4的GOF。如上所述，时间滤波方法也许不使用运动补偿。在两个图像的GOF的情况下，按照以下方式产生图像H和L：

当源图像包括多个成分(例如Y、U和V)时，与每一个成分独立地应用该步骤。因此，在两个图像的GOF的情况下，步骤10对于每个成分x产生图像L_x和图像H_x。通常，在缩放之后直接将对于亮度成分估计的运动矢量用于色度成分(例如在420格式的情况下除以两个运动矢量的成分)。

在接下来的步骤16期间，将在步骤10中获得的图像划分为由边界分离的多个部分，以便能够根据特定图样交织低频和高频图像。更精确地，在步骤10中获得的一个低频图像(例如L₃)和N个高频图像(例如在4个图像的GOF的情况下的H₁、H₂和H₃)，将这四个图像划分为N+1部分。在四个图像的GOF的情况下，将四个图像划分为在图6中标注为X_NW、X_NE、X_SW和W_SE的象限，其中X是要编码的四个图像(H₁、H₂、H₃或L₃)之一的标注。图像的交织包括产生4个新图像的顺序序列(称为交织图像)，每一个包含低频图像L₃的象限之一。有利地，如图7所示地交织图像。标注为l₁的顺序1的交织图像包括一个属于图像L₃的象限和三个属于图像H₁的象限，标注为l₂的顺序2的交织图像包括一个属于图像L₃的象限和三个属于图像H₂的象限，标注为l₃的顺序3的交织图像包括一个属于图像L₃的象限和三个属于图像H₃的象限，以及标注为l₄的顺序4的交织图像包括一个属于图像L₃、H₁、H₂和H₃的每一个的象限。根据图8所示的另一个实施例，每一个交织图像包含属于从时间滤波中产生的四个图像的每一个的象限。只要四个交织图像的每一个包含低频图像的单个象限，并且低频图像的象限分配在四个交织图像之间，可以按照任意方式交织象限。更具体地，在划分为N+1部分的一个低频图像和N个高频图像的情况下，只要N+1交织图像包含低频图像的单个部分，并且低频图像的N+1部分分配在N+1交织图像之间，可以按照任意方式交织这些部分。具体地，低频图像比高频图像包含更多的对于序列重构有用的信息，即低频图像能量大于其他图像。为了提高重构质量，因此必须按照更精确的方式编码图像。通过根据本发明的处理，利用比在同一图像中编码L₃的四个象限更多的比特数目来编码L₃的每一个象限。

根据另一个实施例，如图4所示，使用尺寸为2的GOP。如上所述，时间分析产生两个分别标注为L和H的低频和高频图像。然后将两个图像中的每一个划分为在图9中标注为X_W和X_E的两个部分，其中X是两个图像L或H之一的标注。图10表示在根据特定图样交织之后产生的分别为顺序1的l₁和顺序2的l₂的两个图像。当源图像包括多个成分时，互相交织与给定成分C相关的图像L_C和H_C。与每一个成分独立地应用该交织步骤。然而，在作为源图像的格式功能的缩放之后，交织图样必须对于所有成分是相同的。在420格式的序列的情况下，如果与亮度成分Y相关的第一交织图像(即顺序1图像)包括属于图像L_Y的宽度K像素的部分和属于图像H_Y的宽度M像素的部分，则与色度成分U相关的第一交织图像(即顺序1图像)包括属于图像L_u的宽度K/2的部分和属于图像H_u的宽度M/2的部分。对于第二交织图像(即顺序2图像)以及对于第二色度成分V，这是同样的。在尺寸大于2的GOF的情况下应用相同的过程。因此与给定成分相关的给定顺序的每一个交织图像与每一个其他成分的相同顺序的交织图像相对应，根据相同的图样交织与每一个成分相对应的相同顺序的交织图像。

优选地，可以修改各个部分之间的边界，以便减少一些模糊效应。根据特定图样，在不同GOF之间修改两个图像部分之间的边界的位置，如图11对于2个图像的GOF所示的。从初始位置开始，边界可以在新的每一个GOF处向右移位一个或多个像素，直到预定位置，然后向左移位一个或多个像素，直到初始位置，等等。根据另一个实施例，边界可以在以像素的中间列为中心的有限宽度移位窗中，向右移位恒定数目的像素。当增加了恒定数目的像素的边界的当前位置离开移位窗，则其使自身回到窗的开始处。在HD格式的图像序列的情况下，对于亮度成分，146像素的移位窗尺寸和40像素的恒定数目是非常适合的。在420格式的情况下，对于色度程度，这些值除以2。通常，对于大于2个图像的GOF，不同GOF之间的边界有移位，每一个边界沿给定空间方向移位。必须通过编码和解码方法知道移位边界的处理。为此，可以产生包括如图12所示的确定数目的GOF的多GOF结构。因此，将源图像序列划分为自身划分为GOF的多GOF。在每一个多GOF的开始处，重新初始化边界的位置。根据另一个实施例，以非周期的方式将同步信号插入在数据流中。当利用解码方法解码了同步信号时，则重新初始化了边界的位置。

再次参考图3，在步骤17期间，彼此独立地编码与给定成分相关的交织图像，使用相同的比特数目来编码每一个交织图像。步骤17通常包括可以减少图像空间冗余的空间分析步骤12和熵编码步骤13。有利地，编码步骤17是基于在文献ISO/IEC 15444-1：2002题为“Information Technology-JPEG 2000 image coding System”中描述的JPEG2000标准的，尤其是使用离散小波变换和位平面熵编码器。该方法可以获得比特范围内的目标流量。有利地，可以通过在由根据JPEG2000的编码方法产生的二进制流的报头中去除部分数据，减少流量。例如，不需要随每一个图像传输关于图像尺寸的信息，而可以对于每个GOF或者每个多GOF，例如在开始处，传输一次。在源图像包括多个成分的特定情况下，步骤17包括对于给定成分彼此独立地编码交织图像。然而，例如通过基于JPEG200的编码方法，可以一起编码与所有成分相关的对应交织图像。特别地，低频和高频图像的交织可以提高解码之后的重构质量，并因此提高编码效率。

在步骤14期间，例如通过可变长度编码方法(VLC)或者通过熵编码方法，编码在步骤11期间估计的运动矢量。

在步骤15期间，组合特别是与运动矢量相关的数据和与时间空间系数相关的数据，以便产生单个数据流。

步骤11、14和15是可选的。具体地，根据本发明，时间滤波方法可以不使用运动补偿。

本发明还涉及一种可以解码在按照根据本发明编码方法的(N+1)图像的GOF的编码期间产生的数据流的解码方法。由图13示出了该解码方法。该方法的步骤41可以在流中分离运动数据和与时间空间系数相关的数据。步骤42可以解码与时间空间系数相关的数据流部分。通常，步骤42包括熵解码步骤420和空间合成步骤421。在编码方法使用了基于JPEG2000标准的编码步骤17的情况下，同样使用基于JPEG2000的解码步骤42。该步骤可以产生N+1交织图像。该方法还包括解交织数据以便产生一个低频图像和N个高频图像的步骤43。如果数据流包括关于运动的数据，则在步骤44期间可以解码数据流以产生运动矢量。由时间合成步骤45使用这些矢量和低频与高频图像，来执行时间滤波，以便产生解码图像序列。在用于产生数据流的源图像包括多个成分的情况下，步骤43对于每个成分，产生一个低频图像和N个高频图像。

本发明还涉及一种在图14中标注为2的编码设备，包括模块21，用于对包括至少一个成分的源图像序列的时间分析，对于每一个成分产生一个低频图像和N个高频图像。该模块还可以与向其提供运动矢量的运动估计模块22相链接。在这种情况下，编码设备还包括用于编码运动矢量23的模块。该模块23可以例如根据可变长度编码或算术编码来实现编码处理。该设备2还包括处理模块24，可以将高频和低频图像划分为N+1部分，并且根据上述方法交织与低频图像相关的数据以便产生N+1交织图像的顺序序列。该设备2还包括用于编码固定图像的至少一个设备25，25自身可以包括空间分析模块250和熵编码器251。设备2还包括可以组合从编码模块23和25中产生的数据流、以便产生单个数据流的复用模块。模块22、23和26是可选的。具体地，序列的时间分析可以不使用运动补偿模块。有利地，用于编码固定图像的设备25可以是基于JPEG2000标准的，尤其是使用离散小波变换和位平面熵编码模块的。根据本发明，可以使用其他用于编码固定图像的设备。根据实施例，设备25可以一起编码与各种成分(例如Y、U和V)相关的相同顺序的交织图像。根据另一个实施例，编码设备25被用于编码与亮度成分Y相关的交织图像，而第二编码设备25被用于一起编码与色度成分U和V相关的相同顺序的交织图像。

本发明还涉及一种图15所示的解码设备3，可以解码在按照根据本发明的编码方法的(N+1)图像的GOF编码期间产生的数据流。由设备3接收的数据流被发送到解复用模块31的输入，解复用模块31可以分离与时间空间系数相关的数据和与运动矢量相关的数据。运动数据被发送到解码运动的模块32(例如熵解码设备)。其后，与时间空间系数相关的数据被发送到固定图像解码设备33，而固定图像解码设备33自身包括熵解码器330和空间合成模块331。该设备33执行编码器的固定图像编码设备25的逆操作。具体地，其重构与各个时间频带相对应的交织图像。其后，由处理模块34解交织这样解码的交织图像，以便产生一个低频图像和N个高频图像。该模块34实现编码设备2的处理模块24所实现的处理的逆处理。在用于产生设备3所接收的数据流的源图像包括多个成分的情况下，处理模块34针对每个成分产生一个低频图像和N个高频图像。其后，由模块32解码的运动矢量和从模块34中产生的低频和高频图像被发送到时间合成模块35，时间合成模块35根据时间合成滤波器，重构输出图像。可选地，时间合成电路与输出是解码器的输出的后处理(post-processing)电路相链接。这涉及可以减少诸如块效应之类的缺陷的后置滤波。在与设备2相关的编码设备不包括模块22、23和26的情况下，设备3不包括模块31和32。

当然，本发明不局限于上述示范实施例。具体地，本领域的技术人员可以在提出的实施例中引入各种变体，并且组合它们，以便从其各个优点中受益。在两个图像GOF的情况下，两个图像L和H之间的边界可以是例如水平的，而不是垂直的。

本发明的应用特别地涉及在数字摄像机领域使用的无线摄像机。

Claims

1.一种用于编码至少包括一个成分的N+1图像的方法，所述方法包括对所述N+1图像的时间分析步骤(10)，对于每一个成分，产生一个低频图像和N个高频图像，其特征在于所述方法还包括以下步骤：

-对于每一个成分，将所述N+1低频和高频图像的每一个划分(16)为N+1部分；

-对于每一个成分，交织(16)所述N+1低频和高频图像，以便产生N+1交织图像序列，使得所述低频图像的N+1部分被分配在所述N+1交织图像之间，所述N+1交织图像的每一个包括单个所述低频图像部分；以及

-对于每一个成分，彼此独立地编码(17)所述N+1交织图像，利用相同数目的比特来编码每一个所述交织图像。

2.根据权利要求1所述的方法，其中，编码步骤(17)是基于JPEG2000编码标准的。

3.根据权利要求1至2之一所述的方法，其中，时间分析步骤(10)包括运动补偿时间滤波。

4.根据权利要求5所述的方法，其中，时间滤波使用属于包括以下滤波器的组的滤波器：

-Haar类型的滤波器；以及

-Daubechies 5-7类型的滤波器。

5.根据权利要求1至4之一所述的方法，其中，将所述方法连续地应用于至少两个N+1图像组，每一个所述图像被划分为由M个边界分离的N+1部分，所述M个边界的每一个在所述至少两个图像组之间沿给定空间方向移位。

6.根据权利要求5所述的方法，其中，N等于1且M等于1。

7.根据权利要求5所述的方法，其中，在所述至少两个图像组的每一个的开始处，在预定移位窗内使所述边界移位恒定数目的像素，并且如果所述边界离开所述移位窗，所述边界移位到所述移位窗的预定位置。

8.一种用于解码根据权利要求1至7之一所述的编码方法所编码的图像的方法，编码图像以数据流形式出现，其特征在于所述方法包括以下步骤：

-解码(42)所述流或流的一部分，以便对于每一个成分，产生N+1交织图像；

-对于每一个成分，解交织(43)所述N+1交织图像，以便产生一个低频图像和N个高频图像；以及

-执行所述N+1低频和高频图像的时间合成(45)，以便产生N+1解码图像。

9.一种用于编码至少包括一个成分的N+1图像的编码设备，所述设备包括：模块(21)，用于所述N+1图像的时间分析，对于每一个成分，产生一个低频图像和N个高频图像，其特征在于所述设备还包括：

-处理模块(24)，用于对于每一个成分，将所述N+1低频和高频图像的每一个划分为N+1部分，并且交织所述N+1低频和高频图像，以便产生N+1交织图像序列，使得所述低频图像的N+1部分被分配在所述N+1交织图像之间，所述N+1交织图像的每一个包括单个所述低频图像部分；以及

-至少一个编码模块(25)，用于对于每一个成分，彼此独立地编码所述N+1交织图像，利用相同数目的比特来编码每一个所述交织图像。

10.根据权利要求9所述的编码设备，其中，所述至少一个编码模块是基于JPEG2000标准的图像编码器。

11.一种用于解码利用根据权利要求9所述的编码设备所编码的图像的解码设备，编码图像以数据流的形式出现，其特征在于所述解码设备包括：

-模块(33)，用于解码所述流或流的一部分，以便对于每一个成分，产生N+1交织图像；

-模块(34)，用于处理所述N+1交织图像，以便产生一个低频图像和N个高频图像；以及

-模块(35)，用于所述N+1低频和高频图像的时间合成，以便产生N+1解码图像。