CN1722837A - 用于可分级视频编码和解码的方法和设备 - Google Patents

用于可分级视频编码和解码的方法和设备 Download PDF

Info

Publication number
CN1722837A
CN1722837A CNA2005100828770A CN200510082877A CN1722837A CN 1722837 A CN1722837 A CN 1722837A CN A2005100828770 A CNA2005100828770 A CN A2005100828770A CN 200510082877 A CN200510082877 A CN 200510082877A CN 1722837 A CN1722837 A CN 1722837A
Authority
CN
China
Prior art keywords
frame
level
inverse
nuclears
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005100828770A
Other languages
English (en)
Inventor
韩宇镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1722837A publication Critical patent/CN1722837A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供了一种根据小波分解级通过使用具有不同系数的滤波器执行小波变换来支持空间可分级性的视频编码的方法和设备。视频编码方法包括：去除在多个输入帧内的时间和空间冗余；量化通过去除时间和空间冗余获得的变换系数；和使用量化的变换系数产生比特流，其中，根据小波分解级使用多个小波核来去除空间冗余。

Description

用于可分级视频编码和解码的方法和设备
                         技术领域
根据本发明的设备和方法涉及视频压缩，更具体地讲，涉及使用在每级具有不同系数的滤波器通过执行小波变换支持来空间域可分级性的视频编码。
                         背景技术
随着包括互联网的信息通信技术的发展，视频通信以及文本和语音通信迅速增加。传统的文本通信不能满足不同用户的需求，因此能提供不同类型信息，例如，文本、图片和音乐的多媒体服务已经增加。因为相对于其他类型的数据，多媒体数据的数量通常巨大，所以需要大容量的存储介质和用于传输的宽的带宽。因此，需要压缩编码方法传送包括文本、视频和音频的多媒体数据。例如，具有640×480分辨率的24位真彩色图像需要640×480×24位的容量，即每帧大约7.37兆比特的数据。当以每秒30帧的速度传送这样的图像时，需要221兆比特/秒的带宽。当存储基于这样图像的90分钟电影时，需要大约1200吉比特的存储空间。因此，对于传送包括文本、视频和音频的多媒体数据，压缩编码方法是必不可少的。
在这样的压缩编码方法中，数据压缩的基本原理在于去除数据冗余。数据冗余一般被定义为空间冗余、时间冗余和心理视觉冗余，其中，空间冗余是在图像中相同颜色或物体重复出现；时间冗余是在运动图像中相邻帧之间存在很少的变换或是在音频中相同的声音重复出现；心理视觉冗余是考虑到人眼视力和感知力对高频迟钝。通过去除这样的数据冗余可以压缩数据。数据压缩根据源数据是否被损失被主要地分为有损/无损压缩，根据单独帧是否被独立压缩被主要分为帧内/帧间压缩，根据压缩所需的时间是否与恢复所需时间相同被主要分为对称/非对称压缩。另外，当压缩/恢复时间延迟不超过50毫秒时，数据压缩被定义为实时压缩；当帧具有不同的分辨率时，数据压缩被定义为可分级压缩。例如，对于文本或医学数据，通常使用无损压缩。对于多媒体数据，通常使用有损压缩。同时，帧内压缩通常被用于去除空间冗余，帧间压缩通常被用于去除时间冗余。
根据传输介质传输性能不同。目前使用的传输介质具有不同的传输率。例如，超高速通信网络每秒能传输数十兆比特的数据，而移动通信网络具有每秒384千比特的传输率。在相关的技术中，视频编码方法，例如运动图片专家组(MPEG)-1、MPEG-2、H.263和H.264，通过基于运动估计和补偿的运动补偿来去除时间冗余，通过变换编码来去除空间冗余。这些方法具有满意的压缩率，但是由于它们在主要算法中使用了反射方法，所以它们不具有真实的可分级比特流的灵活性。因此，近年来，小波视频编码已经被活跃地研究。可分级性指的是对单一压缩的比特流部分解码的能力，即执行多种类型的视频再现的能力。可分级性包括表示视频分辨率的空间可分级性、表示视频质量水平的信噪比(SNR)可分级性、表示帧率的时间可分级性，及其组合物。
在可分级视频编码中，小波变换是去除空间冗余的典型技术。图1A和图1B表示了可分级视频编码的小波变换过程。
参照图1A，用低通滤波器Lx和高通滤波器Hx对帧的每一行滤波，然后该帧被下采样以产生中间图像L和H。也就是说，中间图像L是被低通滤波并在x方向上下采样后的原始帧，中间图像H是被高通滤波并在x方向上下采样后的原始帧。然后，L和H图像的各自的列用低通滤波器Ly和高通滤波器Hy被再次滤波，由二者的因子下采样以产生四个子带LL，LH，HL和HH。这四个子带被结合在一起以产生具有和原始帧相同的样本数的单个的合成图像。LL图像是被水平和垂直地低通滤波并由2的幂下采样后的原始帧。HL图像是被垂直地高通滤波、水平地低通滤波并由2的幂下采样后的原始帧。
如上所述，在小波变换中，帧被分解成4部分。和整个图像相似的四分一大小的图像(L子带)出现在帧的左上部分，从L图像中重建整个图像所需的信息(H子带)出现在其他三个部分。用同样的方法，L子带可被分解成四分一大小的LL子带和重建L图像所需的信息。
在量化后，所有基于小波的视频或图像编解码器使用相同的小波滤波器对从运动估计或原始信号中获得的剩余的信号反复执行空间小波变换以去除空间冗余来实现压缩。根据所使用的小波滤波器的类型，有不同的小波变换方法。根据系数的数目，小波滤波器，例如哈尔(Haar)、5/3、9/7和11/13滤波器具有不同的特性。确定例如哈尔、5/3、9/7或11/13小波滤波器特性的系数被称为小波核。大多数基于小波的视频/图像编解码器使用9/7小波滤波器，该滤波器以其展示的卓越性能而知名。
从9/7滤波器获得的低分辨率信号包括大量的代表对于裸眼来说几乎不可见的微观组织的高频成分，因此降低编解码器的压缩性能。另一方面，减少与低通频带相对应的微观信息的能量导致高通频带能量的紧缩，从而降低想通过集中低通频带中大部分的能量以增加压缩比的基于小波的压缩性能。在低分辨率时性能降低出现的更严重。
为解决以上问题，需要设计一种视频编码算法，该算法在不明显减少高分辨率时的性能的同时，提高在低分辨率时的性能。
                         发明内容
本发明提供一种可分级视频编码和解码的方法和设备，这种可分级视频编码和解码根据输入视频或图像的分辨率或复杂度，通过在每个级上使用不同的小波滤波器执行小波变换呈现提高的性能。
根据本发明的一方面，提供了一种视频编码方法，该方法包括：去除在多个输入的帧内的时间和空间冗余；量化通过去除时间和空间冗余获得的变换系数；和使用量化的变换系数产生比特流，其中，根据小波分解级应用多个小波核通过小波变换去除空间冗余。
根据本发明的另一方面，提供了一种视频编码器，该视频编码器包括：时间变换器，用于接收多个帧并去除在多个帧内的时间冗余；空间变换器，根据小波分解级通过使用多个小波核执行小波变换来去除空间冗余；量化器，用于量化通过去除时间和空间冗余获得的变换系数；和比特流发生器，使用量化的变换系数产生比特流。
根据本发明的另一方面，提供一种视频解码方法，该方法包括：解译接收到的比特流并提取关于编码帧的信息；量化关于编码帧的信息并获得变换系数；以与去除编码帧内冗余的顺序相反的顺序执行逆空间变换和逆时间变换并重建编码帧，其中，逆空间变换是以与应用多个小波核的顺序相反的顺序根据小波分解级使用多个小波核对变换系数执行的逆小波变换。
根据本发明的另一方面，提供一种视频解码器，该视频解码器包括：比特流解译器，用于解译接收到的比特流并提取关于编码帧的信息；逆量化器，用于将关于编码帧的信息逆量化为变换系数；逆空间变换器，以与应用多个小波核的顺序相反的顺序根据小波分解级使用多个小波核对变换系数执行逆小波变换；和逆时间变换器，用于执行逆时间变换，其中，以与去除帧内的冗余的顺序相反的顺序对变换系数执行逆空间变换和逆时间变换。
                         附图说明
通过参考附图对其示例性实施例进行详细地描述，本发明以上和其它方面将会变得更清楚，其中：
图1A和图1B示出可分级视频编码的小波变换过程；
图2示出在基于运动补偿时间滤波(MCTF)的可分级视频编码和解码中的时间分解过程；
图3示出在基于无约束MCTF(UMCTF)的可分级视频编码中的时间分解过程；
图4是根据本发明的第一示例性实施例的可分级视频编码器的方框图；
图5是根据本发明的第二示例性实施例的可分级视频编码器的方框图；
图6是根据本发明的示例性实施例的在图4或图5中显示的空间变换器的详细方框图；
图7示出根据本发明的示例性实施例的多核小波变换过程；
图8是示出根据本发明的第一示例性实施例的可分级视频编码过程的流程图；
图9是示出根据本发明的第二示例性实施例的可分级视频编码过程的流程图；
图10是根据本发明的示例性实施例的可分级视频解码器的方框图；和
图11是示出根据本发明的示例性实施例的可分级视频解码过程的流程图。
                         具体实施方式
现在将参考附图更全面地描述本发明，附图中显示本发明的实施例。
图2示出在基于运动估计时间滤波(MCTF)的可分级视频编码和解码中的时间分级过程。
参考图2，在MCTF中，对图片群(GOP)执行编码，在运动方向上对一对当前帧和参考帧进行时间滤波。
在许多用于基于小波的可分级视频编码的技术中，由Ohm提出并由Choi和Wood改进的MCTF是用于去除时间冗余和用于具有灵活的时间可分级性的视频编码的实质性技术。在MCTF中，对GOP执行编码，在运动方向上对一对当前帧和参考帧进行时间滤波。
在图2中，L帧是与帧的均值相对应的低频帧，而H帧是与帧间的差值相对应的高频帧。如图2所示，在编码过程中，在低时间级上的帧对被时间滤波，然后被分解成在较高时间级上的L帧和H帧对，L帧对被再次时间滤波且被分解为在较高时间级上的帧。编码器对在最高时间级的一个L帧和多个H帧执行小波变换并产生比特流。在附图中用阴影表示的帧是那些经受小波变换的帧。更具体地说，编码器对从低时间级到高时间级的帧执行编码。同时，解码器为重建对通过从高的级到低的级的逆小波变换获得的用阴影表示的帧执行与编码器相逆的操作。也就是说，时间级3上的L和H帧被用来重建在时间级2上的两个L帧，时间级2上的两个L帧和两个H帧被用来重建时间级1上的4个L帧。最终，时间级1上的4个L帧和这4个H帧被用来重建8个帧。这种基于MCTF的视频编码具有改进的灵活的时间可分级性的优点，但也具有例如单向运动估计和在低时间率中差的性能的缺点。已经研究和发展了许多方法用来克服这些缺点的方法。其中之一是由Turaga和Mihaela提出的无约束的MCTF(UMCTF)，将参考图3来描述。
图3示意性地示出在使用UMCTF的可分级视频编码和解码期间的时间分解。
UMCTF允许使用多个参考帧和双向滤波，因此提供了更为普通的构架。另外，在UMCTF方案中，通过适当地插入未经滤波的帧，即A-帧，非叉状分枝的时间滤波器是切实可行的。UMCTF使用A-帧代替经过滤波的L-帧，因此显著地增加了在低时间级上的图片的质量。这是因为L帧的视觉质量会因为不准确的运动估计经常被显著降低。因为许多试验结果表明：不具有帧更新操作的UMCTF提供比MCTF更好的性能，所以，不具有更新操作的UMCTF的特殊形式通常比自适应地选择低通滤波器的UMCTF的最普通形式使用的更多。
图4是根据本发明的第一示例性实施例的可分级视频编码器的方框图。
在视频序列中，可分级视频编码器接收多个帧，在逐GOP基础上压缩帧，产生比特流。为实现这个目的，可分级视频编码器包括：时间变换器410，用于去除存在于多个帧内的时间冗余；空间变换器420，用于去除空间冗余；量化器430，用于量化通过去除时间和空间冗余产生的变换系数；和比特流发生器440，用于产生包含结果量化的变换系数和其他信息的比特流。
时间变换器410包括运动估计器412和时间滤波器414，以通过对帧之间的运动补偿来执行时间滤波。运动估计器412计算在经受时间滤波的当前帧内的每一块与在参考帧内的其对应块之间的运动向量。接收关于运动向量的信息的时间滤波器414使用该信息对多个帧执行时间滤波。
空间变换器420使用小波变换以从时间冗余已被从其去除的帧即已经过时间滤波的帧内去除空间冗余。如上所述，在小波变换中，一帧被分解为四部分。和整个图像相似的四分一大小的图像(L子带)出现在帧的左上部分，根据L图像来重建整个图像所需的信息(H子带)出现在其他三个部分。用同样的方法，L子带可被分解成四分一大小的LL子带和重建L图像所需的信息。
在本示例性实施例中，当在许多小波分解级上反复执行小波变换时，根据小波分解级可使用多个小波核。在这个说明书中，根据小波分解级应用多个小波核包括在多个级中，在多于两个级上应用不同的小波核的情况，以及在每个级上应用一个不同的小波核的情况。例如，小波变换可在级1、2和3上分别用核A、B和C来执行小波变换。或者，当核B被用于级2和3上时，核A可被用在级1上。另外，当核B可被应用于级3上时，相同的核A可被应用在级1和2上。
视频编码器可包含选择在每个级上将被使用的小波核的功能，下面将参考图6详细描述。或者，小波核也可以由用户选择。
经过时间滤波后的帧被空间变换成变换系数，然后变换系数被发送到量化器430用于量化。量化器430将实际的变换系数转变成整数变换系数。基于MCTF的视频编码器使用嵌入式量化。通过对变换系数执行嵌入式量化，可分级视频编码器可减少将传送的信息量，实现信噪比(SNR)可分级性。目前使用的嵌入式量化算法有嵌入式零元树小波变换(EZW)、多级树集合分裂(SPIHT)、嵌入式零块编码(EZBC)和最优截断的嵌入式块编码(EBCOT)。
比特流发生器440产生包含编码的图像数据、从运动估计器412获得的运动向量和其他必须的信息的比特流。
可分级视频编码方法包括这样一种方法：对帧执行空间变换(即小波变换)，然后执行时间变换，该方法被称为带内可分级视频编码，将参考图5来描述。
图5是根据本发明的第二示例性实施例的可分级视频编码器的方框图。
设计的带内可分级视频编码是为了在去除空间冗余之后去除存在于组成视频序列的多个帧内的时间冗余。
参考图5，空间变换器510对每个帧执行小波变换以去除存在于帧内的空间冗余。
时间变换器520包括运动估计器522和时间滤波器524，对从其在小波域中已经去除空间冗余的帧执行时间滤波以去除时间冗余。
量化器530将量化应用于通过去除帧内的空间和时间冗余获得的变换系数。比特流发生器540将运动向量和经受量化的编码图像组合为比特流。
图6是根据本发明的示例性实施例的空间变换器(图4或图5中显示的420或510)的详细方框图。
当根据小波分解级使用多个小波核来执行小波变换时，空间变换器420或510选择将被用在每个级上的滤波器。在示例性实施例中，根据输入视频或图像的复杂度或分辨率，空间变换器420或510的滤波器选择器610选择合适的小波滤波器，并将关于所选择的滤波器的信息发送到小波变换器620和比特流发生器440或540。由于在输入图像具有高复杂度或分辨率的情况下，详细的组织信息的表示是必须的，所以在低的级上选择在低通频带中提供好的能量压缩代替平滑低通频带的核。产生较为平滑的低通频带的核可在较高的级上被使用以有效地减少微观组织信息。
例如，当在级1上使用传统的9/7滤波器时，具有较大数目的系数的核，例如11/13和13/15，或由用户设计的能提供比9/7滤波器较为平滑的低通频带的核，可在较低分辨率的级上被使用。
小波转换器620用根据接收到的滤波器信息由滤波器选择器610在每个级上选择的小波滤波器执行小波变换，并将通过小波变换创建的变换系数提供给时间变换器520或量化器430。
图7示出根据本发明的示例性实施例的多核小波变换过程。
在低通频带中减少组织信息的平滑小波核，可被用在较高的级上。例如，传统的9/7滤波器、11/13滤波器和13/15滤波器可被分别用作核1、核2和核3。尽管低通频带中的平滑程度随滤波器中的系数数目增加而增加，即便当具有相同的系数数目的滤波器被使用时，平滑程度可根据算法或变换系数的值改变。因此，在本发明中，代表核的系数不绝对地确定在低通频带中的平滑程度。
图8是示出根据本发明的第一个示例性实施例的可分级视频编码过程的流程图。
参考图8，当在操作S810中输入视频或图像时，在操作S820中，运动估计器(图4的412)和时间滤波器(图4的414)对输入视频或图像中的帧顺序地执行运动估计和时间滤波。在操作S850中，使用在操作S840中选择的小波滤波器对经过时间滤波的帧执行小波变换。在操作S860中，由小波变换产生的变换系数被量化，然后在操作S870中，该变换系数被编码为比特流。
在操作S840中，在可分级视频编码器中，可由用户或滤波器选择器(图6的610)选择小波滤波器。在操作S870中，产生包含由用户或滤波器选择器提供的关于小波核的信息的比特流。或者，当关于将被使用在每个级上的小波核的信息在编码器和解码器之间共享时，在比特流中可不包含该信息。
同时，当由在图5中显示的编码器执行可分级视频编码过程时，滤波器选择(操作S840)和小波变换(操作S850)紧随运动估计和时间滤波之后(操作S820)。
图9是示出根据本发明的第二示例性实施例的可分级视频编码过程的流程图。
图9的可分级视频编码过程的操作以与在图8中的操作相同的顺序被执行。也就是说，当在操作S910中输入图像时，运动估计和时间滤波(操作S920)、滤波器选择(操作S930)和使用选择的小波滤波器(操作S940)的小波变换被顺序执行。
在图8中显示的可分级视频编码过程中，当为每个视频序列选择将被使用在小波变换的每个级上的小波核时，使用相同的小波核执行小波变换直到视频序列的结束为止。然而，当在视频序列编码期间，图像的复杂度或分辨率发生改变时，根据本示例性实施例的可分级视频编码过程还包括自适应地改变滤波器(操作S970)。对于已经动态改变复杂度或分辨率的视频序列，将被用在每个级上的一组小波核可在逐GOP或逐场景的基础上被改变。
图10是根据本发明的示例性实施例的可分级视频解码器的方框图。
可分级视频解码器包括：比特流解译器1010，用于解译接收到的比特流并从该接收到的比特流中提取每一个部分；第一解码单元1020，用于重建由图4中显示的可分级视频编码器编码后的图像；和第二解码单元1030，用于重建由图5中显示的可分级视频编码器编码后的图像。
第一和第二解码单元1020和1030可通过硬件或软件模块来实现。在这种情况下，第一和第二解码单元1020和1030可如图10显示的被彼此分开，或集成为单一的模块。当第一和第二解码单元1020和1030被集成为单一模块时，第一和第二解码单元1020和1030以由比特流解译器1010确定的不同的顺序来执行逆冗余去除。
尽管图10中显示的可分级视频解码器重建根据不同的冗余去除顺序编码的所有图像，而其也可被设计以仅重建根据一个冗余去除顺序编码的图像。
比特流解译器1010解译输入的比特流，提取编码图像的数据(编码帧)，并确定冗余去除顺序。当时间冗余被去除然后在视频序列中空间冗余被去除时，通过第一解码单元1020来重建视频序列。另一方面，当空间冗余被去除，然后在视频序列中时间冗余被去除时，通过第二解码序列单元1030来重建视频序列。另外，比特流解译器1010解译比特流以获得关于在小波变换期间在各自的级上使用的多个小波滤波器的信息。当关于小波滤波器的信息在编码器和解码器之间共享时，该信息可不被包含在该比特流中。将描述在第一和第二解码单元1020和1030中重建视频序列的过程。
输入到第一解码单元1020中的编码帧信息通过逆量化器1022被逆量化为变换系数，然后该变换系数通过逆空间变换器1024经受逆小波变换。以与小波滤波器在每个级上被使用的顺序相反的顺序，通过使用逆小波滤波器来执行逆小波变换。逆时间变换器1026使用通过解译输入比特流获得的运动向量，对经受逆小波变换的变换系数执行逆时间变换，并重建组成视频序列的帧。
另一方面，输入到第二解码单元1030中的编码的帧信息通过逆量化器1022被逆量化为变换系数，然后该变换系数通过逆时间变换器1034经受逆时间变换。经受逆时间变换的编码帧信息被转换成空间变换的帧。逆空间变换器1036将逆空间变换应用于空间变换的帧并重建组成视频序列的帧。逆空间变换所需的关于多个小波核的信息，可从比特流解译器1010获得或在编码器和解码器之间共享。逆小波变换被用于逆空间变换。
图11是示出根据本发明的示例性实施例的可分级视频解码过程的流程图。
在第一解码单元(图10的1020)中的解码过程包括：解译比特流(操作S1110)，对编码帧信息逆量化(操作S1120)，根据滤波器信息使用滤波器执行逆小波变换(操作S1130)和执行逆时间变换(操作S1140)。另一方面，以与第一解码单元(图10的1020)中的解码过程的操作不同的顺序来执行在第二解码单元(图10的1030)中的解码过程的操作。具体地说，在第二解码单元(图10的1030)中的解码过程包括：解译比特流(操作S1110)，逆量化编码帧信息(操作S1120)，执行逆时间变换(操作S1140)和根据滤波器信息使用滤波器来执行逆小波变换(操作S1130)。
在操作S1110中，为了提取关于被用在每个级上的小波核的信息，由比特流解译器(图10的1010)来解译比特流。当关于小波核的信息在编码器和解码器之间共享时，提取操作可被省略。
在操作S1130中，根据与在小波变换期间将小波核应用在每个级上的顺序相反的顺序，使用逆小波滤波器来执行逆小波变换。如上所示，根据从比特流中提取的信息或在编码器和译码器之间共享的信息来确定该顺序。
根据本发明，在小波变换期间，在每个级上使用不同的小波核以实现具有在低分辨率时提高性能的视频编码。
虽然如上所述小波变换方法被应用于支持时间可分级性和空间可分级性两者的视频编码和解码，其中，该小波变换方法应用多个不同的小波核，即在每个级上使用不同小波滤波器，但是本领域的普通技术人员将理解，小波变换被应用到仅支持空间可分级性的视频(图像)编码和解码技术。
本领域的普通技术人员应该理解，在不脱离由下面的权利要求限定本发明的精神和范围的情况下，可以对其进行形式和细节的各种改变。因此，应该理解上面所述的示例性实施例只是为了举例说明，不能被解释为对本发明的限制。本发明的范围由所附的权利要求给出，而不由前面的描述给出，落于权利要求的范围内的所有的变化和等同物包含在其中。

Claims (29)

1、一种视频编码方法，包括：
去除多个帧内的时间和空间冗余；
量化通过去除时间和空间冗余获得的变换系数；和
使用量化的变换系数产生比特流，
其中，根据小波分级使用多个小波核，通过执行小波变换来去除空间冗余。
2、根据权利要求1所述的方法，其中，比特流包含关于多个小波核的信息。
3、根据权利要求1所述的方法，其中，多个小波核根据帧的状态改变。
4、根据权利要求3所述的方法，其中，帧的状态是帧的复杂度和分辨率中的至少一个。
5、根据权利要求1所述的方法，其中，多个小波核在较高的级上产生较平滑的低通频带。
6、根据权利要求1所述的方法，其中，多个小波核包括：级1上的9/7核，级2上的11/13核和级2上的13/15核中的至少一个和级3上的核，该核能产生和由级2上的核产生的低通频带一样平滑或比由级2上的核产生的低通频带较平滑的低通频带。
7、根据权利要求1所述的方法，其中，根据帧的状态，基于图片群基础和场景基础中的至少一个，多个小波核被自适应地改变。
8、一种视频编码器，包括：
时间变换器，用于接收多个帧并去除在多个帧内的时间冗余；
空间变换器，根据小波分解级使用多个小波核通过执行小波变换来去除空间冗余；
量化器，用于量化通过去除时间和空间冗余获得的变换系数；和
比特流发生器，使用量化的变换系数来产生比特流。
9、根据权利要求8所述的视频编码器，其中，时间变换器将从其去除时间冗余的帧提供给随后去除帧内的空间冗余并获得变换系数的空间变换器。
10、根据权利要求8所述的视频编码器，其中，空间变换器将从其已使用小波变换去除空间冗余的帧提供给随后去除帧内的时间冗余并获得变换系数的时间变换器。
11、根据权利要求8所述的视频编码器，其中，空间变换器包括：
滤波器选择器，根据小波分解级选择多个小波核；和
小波变换器，使用选择的多个小波核执行小波变换。
12、根据权利要求8所述的视频编码器，其中，多个小波核根据帧的状态改变。
13、根据权利要求12所述的视频编码器，其中，帧的状态是帧的复杂度和帧的分辨率中的至少一个。
14、根据权利要求12所述的视频编码器，其中，比特流包含关于多个小波核的信息。
15、根据权利要求8所述的视频编码器，其中，多个小波核在较高的级上产生较平滑低通频带。
16、根据权利要求8所述的视频编码器，其中，多个小波核包括：级1上的9/7核；级2上的11/13核和级2上的13/15核中的至少一个；级3上的核，产生和由级2上的核产生的低通频带一样平滑或比由级2上的核产生的低通频带较平滑的低通频带。
17、根据权利要求8所述的视频编码器，其中，根据帧的状态，基于图片群基础和场景基础中的至少一个，多个小波核被自适应地改变。
18、一种视频解码方法，包括：
解译比特流并提取关于编码帧的信息；
逆量化关于编码帧的信息并获得变换系数；
以与去除编码帧内的冗余的顺序相反的顺序执行逆空间变换和逆时间变换并重建编码帧，
其中，逆空间变换是以与应用多个小波核的顺序相反的顺序根据小波分解级使用多个小波核对变换系数执行的逆小波变换。
19、根据权利要求18所述的方法，其中，执行逆空间变换和逆时间变换包括在逆空间变换后对从变换系数获得的帧执行逆时间变换。
20、根据权利要求18所述的方法，其中，执行逆空间变换和逆时间变换包括在逆时间变换后对从变换系数获得的帧执行逆空间变换。
21、根据权利要求18所述的方法，其中，比特流包括关于多个小波核的信息。
22、根据权利要求18所述的方法，其中，多个小波核在较高的级上产生较平滑的低通频带。
23、一种视频解码器，包括：
比特流解译器，用于解译比特流并提取关于编码帧的信息；
逆量化器，用于将关于编码帧的信息逆量化为变换系数；
逆空间变换器，以与应用多个小波核的顺序相反的顺序根据小波分解级使用多个小波核对变换系数执行逆小波变换；
逆时间变换器，用于执行逆时间变换，
其中，以与去除帧内冗余的顺序相反的顺序对变换系数执行逆空间变换和逆时间变换。
24、根据权利要求23所述的视频解码器，其中，变换系数在逆空间变换之后经受逆时间变换。
25、根据权利要求23所述的视频解码器，其中，变换系数在逆时间变换之后经受逆空间变换。
26、根据权利要求23所述的视频解码器，其中，比特流包含关于多个小波核的信息。
27、根据权利要求23所述的视频解码器，其中，多个小波核在较高的级上产生较平滑的低通频带。
28、一种在其记录有计算机可读程序的记录介质，其中该程序用于运行视频编码方法，该方法包括：
去除在多个帧内的时间和空间冗余；
量化通过去除时间和空间冗余获得的变换系数；和
使用被量化的变换系数产生比特流，
其中，根据小波分解级使用多个小波核，通过执行小波变换来去除空间冗余。
29、一种在其记录有计算机可读程序的记录介质，其中该程序用于运行视频解码方法，该方法包括：
解译比特流并提取关于编码帧的信息；
量化关于编码帧的信息并获得变换系数；
以与去除编码帧内冗余的顺序相反的顺序执行逆空间变换和逆时间变换并重建编码帧，
其中，逆空间变换是以与应用多个小波核的顺序相反的顺序根据小波分解级使用多个小波核对变换系数执行的逆小波变换。
CNA2005100828770A 2004-07-14 2005-07-11 用于可分级视频编码和解码的方法和设备 Pending CN1722837A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040054816A KR100621582B1 (ko) 2004-07-14 2004-07-14 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
KR1020040054816 2004-07-14

Publications (1)

Publication Number Publication Date
CN1722837A true CN1722837A (zh) 2006-01-18

Family

ID=35599383

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005100828770A Pending CN1722837A (zh) 2004-07-14 2005-07-11 用于可分级视频编码和解码的方法和设备

Country Status (6)

Country Link
US (1) US20060013312A1 (zh)
EP (1) EP1779667A4 (zh)
KR (1) KR100621582B1 (zh)
CN (1) CN1722837A (zh)
NL (1) NL1029428C2 (zh)
WO (1) WO2006006786A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102396218A (zh) * 2009-02-19 2012-03-28 摩托罗拉移动公司 减少空间可缩放视频编码中的混叠
CN102549932A (zh) * 2009-09-17 2012-07-04 玛格通讯有限公司 用于经具有空间可缩放性网络的交换图像的方法和装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121848B2 (en) * 2005-09-08 2012-02-21 Pan Pacific Plasma Llc Bases dictionary for low complexity matching pursuits data coding and decoding
US7848584B2 (en) * 2005-09-08 2010-12-07 Monro Donald M Reduced dimension wavelet matching pursuits coding and decoding
US7813573B2 (en) * 2005-09-08 2010-10-12 Monro Donald M Data coding and decoding with replicated matching pursuits
US20070065034A1 (en) * 2005-09-08 2007-03-22 Monro Donald M Wavelet matching pursuits coding and decoding
US20070053603A1 (en) * 2005-09-08 2007-03-08 Monro Donald M Low complexity bases matching pursuits data coding and decoding
US7778476B2 (en) * 2005-10-21 2010-08-17 Maxim Integrated Products, Inc. System and method for transform coding randomization
WO2008079508A1 (en) * 2006-12-22 2008-07-03 Motorola, Inc. Method and system for adaptive coding of a video
CN104202609A (zh) * 2014-09-25 2014-12-10 深圳市云朗网络科技有限公司 一种视频编码方法及视频解码方法
US10163192B2 (en) * 2015-10-27 2018-12-25 Canon Kabushiki Kaisha Image encoding apparatus and method of controlling the same
WO2017195917A1 (ko) * 2016-05-12 2017-11-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2778324B2 (ja) * 1992-01-24 1998-07-23 日本電気株式会社 サブバンド分割方式
US6236757B1 (en) * 1998-06-18 2001-05-22 Sharp Laboratories Of America, Inc. Joint coding method for images and videos with multiple arbitrarily shaped segments or objects
KR20020015231A (ko) * 2000-08-21 2002-02-27 김영민 객체 지향형 영상 부호화 시스템 및 방법
US7260272B2 (en) * 2003-07-10 2007-08-21 Samsung Electronics Co.. Ltd. Method and apparatus for noise reduction using discrete wavelet transform

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102396218A (zh) * 2009-02-19 2012-03-28 摩托罗拉移动公司 减少空间可缩放视频编码中的混叠
CN102549932A (zh) * 2009-09-17 2012-07-04 玛格通讯有限公司 用于经具有空间可缩放性网络的交换图像的方法和装置
CN102549932B (zh) * 2009-09-17 2015-09-09 玛格通讯有限公司 用于经具有空间可缩放性网络的交换图像的方法和装置

Also Published As

Publication number Publication date
NL1029428A1 (nl) 2006-01-17
KR100621582B1 (ko) 2006-09-08
WO2006006786A1 (en) 2006-01-19
EP1779667A1 (en) 2007-05-02
KR20060005836A (ko) 2006-01-18
US20060013312A1 (en) 2006-01-19
EP1779667A4 (en) 2009-09-02
NL1029428C2 (nl) 2009-10-06

Similar Documents

Publication Publication Date Title
CN1722837A (zh) 用于可分级视频编码和解码的方法和设备
CN100466738C (zh) 使用层间滤波的视频编码和解码方法及使用该方法的设备
JP5392199B2 (ja) 画像処理装置および方法
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
JP5026965B2 (ja) ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置
KR100703744B1 (ko) 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
CN1910925A (zh) 编码和解码视频比特流的方法和装置
JP2004502358A (ja) ビデオ系列の圧縮のための符号化方法
EP1320831A2 (en) Video coding method
US20050152611A1 (en) Video/image coding method and system enabling region-of-interest
US20060013311A1 (en) Video decoding method using smoothing filter and video decoder therefor
CN101015214A (zh) 多层视频编码和解码方法以及多层视频编码器和解码器
KR100834749B1 (ko) 스케일러블 비디오 스트림 재생장치 및 그 방법
KR100834748B1 (ko) 스케일러블 비디오 스트림 재생 방법 및 장치
JP2008515328A (ja) 階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダ
CN101146227A (zh) 嵌套式渐进可伸缩性三维小波视频编码算法
Seran et al. Improved temporal filtering scheme to reduce delay and distortion fluctuation in 3-D wavelet based video coding
Huang Improved MC-EZBC structure for bitstream extraction and live streaming
CN1810040A (zh) 帧间小波视频编码方法
JP4231386B2 (ja) 解像度スケーラブル復号化方法及び装置
CN103209323A (zh) 基于k阶零树间向量的图像压缩方法
Cheng et al. Audio/video compression applications using wavelets
WO2006006796A1 (en) Temporal decomposition and inverse temporal decomposition methods for video encoding and decoding and video encoder and decoder
WO2006078107A2 (en) Fine granularity scalable video encoding and decoding method and apparatus capable of controlling deblocking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication