CN1930890A - 用于可缩放视频编码和解码的方法和设备 - Google Patents

用于可缩放视频编码和解码的方法和设备 Download PDF

Info

Publication number
CN1930890A
CN1930890A CNA2005800072653A CN200580007265A CN1930890A CN 1930890 A CN1930890 A CN 1930890A CN A2005800072653 A CNA2005800072653 A CN A2005800072653A CN 200580007265 A CN200580007265 A CN 200580007265A CN 1930890 A CN1930890 A CN 1930890A
Authority
CN
China
Prior art keywords
image
resolution
low
original
original resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800072653A
Other languages
English (en)
Inventor
车尚昌
韩宇镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1930890A publication Critical patent/CN1930890A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02B—HYDRAULIC ENGINEERING
    • E02B3/00—Engineering works in connection with control or use of streams, rivers, coasts, or other marine sites; Sealings or joints for engineering works in general
    • E02B3/04—Structures or apparatus for, or methods of, protecting banks, coasts, or harbours
    • E02B3/12—Revetment of banks, dams, watercourses, or the like, e.g. the sea-floor
    • E02B3/14—Preformed blocks or slabs for forming essentially continuous surfaces; Arrangements thereof
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02B—HYDRAULIC ENGINEERING
    • E02B3/00—Engineering works in connection with control or use of streams, rivers, coasts, or other marine sites; Sealings or joints for engineering works in general
    • E02B3/04—Structures or apparatus for, or methods of, protecting banks, coasts, or harbours
    • E02B3/12—Revetment of banks, dams, watercourses, or the like, e.g. the sea-floor
    • E02B3/129—Polyhedrons, tetrapods or similar bodies, whether or not threaded on strings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D17/00—Excavations; Bordering of excavations; Making embankments
    • E02D17/20—Securing of slopes or inclines
    • E02D17/205—Securing of slopes or inclines with modular blocks, e.g. pre-fabricated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Environmental & Geological Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Inorganic Chemistry (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供用于可缩放视频编码和解码的方法和设备。可缩放视频编码方法在每个分辨率分离地执行视频编码，并且将编码结果合并到一个分辨率级别来进行压缩。可缩放编码将具有相应图像的图像组合成单一的图像，同时提供跨越所有分辨率级别高图像质量。

Description

用于可缩放视频编码和解码的方法和设备
技术领域
本发明涉及可缩放视频编码和解码方法以及可缩放视频编码器/解码器。
背景技术
由于多媒体数据量通常很大，所以压缩编码方法是发送包含文本、视频和音频的多媒体数据所必需的。
数据压缩的基本原理在于消除数据冗余。可以通过消除在图像中重复相同颜色或对象的空间冗余、在运动图像中相邻帧之间变化很小或在音频中重复相同声音的时间冗余、或考虑到人类视力和对高频信息的不敏感察觉的心理视觉冗余来压缩数据。可以将数据压缩分类为根据元数据是否丢失的有损/无损压缩、根据是否独立地压缩单独的帧的帧内/帧间压缩和根据压缩所需的时间是否与恢复所需的时间相同的对称/非对称压缩。此外，当压缩/恢复时间延迟不超过50ms时将数据压缩定义为实时压缩，而当帧具有不同的分辨率级别时被定义为可缩放压缩。对于文本或医疗数据，通常使用无损压缩。对于多媒体数据，通常使用有损压缩。同时，通常使用帧内压缩来消除空间冗余，而通常使用帧间压缩来消除时间冗余。
近来，已经对基于小波(wavelet)可缩放视频编码进行了研究，该编码可以提供非常灵活的、可缩放的比特流。可缩放视频编码表示具有缩放性的视频编码。缩放性指示部分地解码单一压缩的比特流的能力。缩放性包括指示视频分辨率的空间缩放性、指示视频质量等级的信噪比(SNR)缩放性，指示帧速率的空间缩放性及其组合。
在用于基于小波可缩放视频编码的多种技术中，由Jens-Rainer Ohm提出并由Seung-Jong Choi和John W.Woods改进的运动补偿时间滤波(MCTF)是用于消除时间冗余和用于具有灵活的时间缩放性的视频编码的基本技术。
图1显示基于运动补偿时间滤波(MCTF)的可缩放视频编码器。
参照图1，可缩放视频编码器接收组成视频序列的多个帧并以图片组(GOP)为单元压缩帧来产生比特流。为了获得该功能，可缩放视频编码器包括时间转换单元110，用于从多个帧消除时间冗余；空间变换单元120，用于消除空间冗余；量化器130，用于量化通过消除时间和空间冗余而产生的变换系数；和比特流产生器140，用于将量化后的变换系数和其它信息组合到比特流中。
时间变换单元110包括运动估算器112和时间滤波器114以便通过补偿帧之间的运行来执行时间滤波。运动估算器112计算正在经历时间滤波的当前帧中每个块和参考帧中的对应部分(counterpart)之间的运动向量。接收关于运动向量的信息的时间滤波器114使用该信息来执行对多个帧的时间滤波。
空间变换单元120使用小波变换来从已经消除了时间冗余的帧(即经时间滤波的帧)中消除空间冗余。空间变换单元120使用小波变换从帧中消除空间冗余。在当前已知的小波变换中，将帧分解为四个部分(象限)。在帧的一个象限中出现实质上与整个图像相同的四分之一大小的图像(L图像)，而在其它三个象限中出现需要从L图像重构整个图像的信息(H图像)。以这种方式，可以将L图像分解为四分之一大小的LL图像和需要重构L图像的信息。
通过空间变换将经时间滤波的帧转换为变换系数。然后将变换系数传送到量化器130来进行量化。量化器130使用整数值系数来量化实数变换系数。基于MCTF的视频编码器使用嵌入式量化技术。通过对变换系数执行嵌入式量化，不仅可以降低要被发送的信息量而且获得信噪比(SNR)缩放性。当前使用的嵌入式量化算法被嵌入零-树(zero-tree)小波，将划分设置为分级树(SPIHT)，被嵌入零块编码(EZBC)，并且被嵌入具有最佳截断(truncation)的块编码(EBCOT)。
比特流产生器140产生包含编码过的图像数据、从运动估算器112获得的运动向量和其它必要的信息的比特流。
可缩放视频编码方法包括对帧执行空间变换(即，小波变换)，然后执行被称为频带内可缩放视频编码的时间变换。
图2显示频带内可缩放视频编码器，在其中对帧进行空间变换(小波变换)然后进行时间变换。
参照图2，频带内可缩放视频编码器被设计为在消除空间冗余之后消除在组成视频序列的多个帧中存在的时间冗余。
空间变换单元150对每帧执行小波变换以便消除帧间的空间冗余。
时间变换单元160包括运动估算器162和时间滤波器164，并且对在小波域中已经被消除了空间冗余的帧执行时间滤波以便消除时间冗余。
量化器170量化通过从帧消除空间和时间冗余而获得的变换系数。
比特流产生器180从运动向量和经历量化的编码图像中产生比特流。
图3是用于说明用于可缩放视频编码算法来消除时间冗余，同时保持时间缩放性的MCTF处理的图。
参照图3，L帧是对应于帧的平均值的低频帧，而H帧是对应于帧之间的差的高频帧。在所示的编码处理中，时间上滤波在低时间级上的帧对，然后分解为L帧对和在更高时间级上的H帧，并且将L帧对再次时间滤波，并且将帧分解为更高时间级的帧。
编码器对在最高时间级的一个L帧和H帧执行小波变换并产生比特流。由图3的阴影指示的帧是经历小波变换的帧。也就是说，以从较低级帧到较高级帧的顺序执行编码。
另一方面，解码器对由阴影指示并由从高级到低级的逆小波变换获得的帧执行与编码器相反的操作，以进行重构。在时间级3的L和H帧被用于重构在时间级2的两个L帧，而在时间级2的两个L帧和两个H帧被用于重构在时间级1的四个L帧。最后，在时间级1的四个L帧和四个H帧被用于重构八个帧。虽然基于MCTF的视频解码模式基本上提供灵活的时间缩放性，但是它有几个缺点，包括在数个出版物中描述了单向性运动估算和在低时间率的低性能。由Woo-Jin Han(本发明的共同发明人)在ISO/IEC JTC 1/SC 29/WG 11公开了出版物之一，其名称为SuccessiveTemporal Approximation and Referencing(STAR)for improving MCTF inLow End-to-end Delay Scalable Video Coding。将参照图4描述STAR。
图4是用于解释在连续时间近似和参考(referencing)(STAR)算法中的时间滤波处理的图。在图4中，‘T’帧和‘H’帧表示内编码的帧(不参考另一帧而编码的)和参考一个或多个帧编码的高频子频带。
与MCTF算法相同，STAR算法设计来消除时间冗余，同时保持在解码器端的时间缩放性。然而，都以最高到最低时间级的顺序执行STAR算法中的编码和解码处理。参照图4，以号码0、4、2、6、1、3、5和7的顺序执行编码和解码。此外，与MCTF不同，STAR具有多参考功能。当使用多参考功能时用于保持编码器和解码器端的时间缩放性的需求被定义为：
Rk＝{F(I)|(T(I)＞T(k))or((T(I)＝T(k))and(I＜＝k))}其中F(k)和T(k)分别表示具有索引k的帧及其时间级，并且k和I分别表示当前正在被编码的帧和正在被参考的帧的索引。
参照图4，可以通过参照它们自己编码帧，这对于快速改变视频序列是有效的。可以按如下执行使用STAR算法的编码和解码处理：
编码过程
1.将GOP中的第一帧编码为I帧
2.然后对在下一时间级的帧执行运动估算，接着使用由方程(1)定义的参考帧进行编码。在同一时间级中，从最左边的帧开始向最右边的帧(以从最低到最高索引帧的顺序)执行编码。
3.在编码了GOP中所有的帧之前执行步骤(2)。在完成所有GOP的编码前，继续下一GOP中帧的后续编码。
解码过程
1.解码GOP中的第一帧
2.参考先前被解码了的帧来解码在下一时间级的帧。在同一时间级中，从最左边的帧开始向向最右边的帧(以从最低到最高索引帧的顺序)执行解码。
3.在解码了GOP中所有的帧之前执行步骤(2)。在完成所有GOP的解码前，继续下一GOP中帧的后续解码。
MCTF和STAR算法设计来消除时间冗余，接着通过小波变换来消除空间冗余。将参照图5描述使用运动补偿来消除时间冗余的操作。图5是用于解释支持空间缩放性的基于小波的视频编码。
基于小波的视频编码包括通过从原始图像中减去使用一个或多个参考图像产生的引用图像(referred image)来产生剩余图像，然后对所产生的剩余图像执行小波变换和量化来获得编码图像。参照图5，支持三个空间层的基于小波的视频编码器产生包括三层编码图像的比特流和用于产生每帧的三层引用图像的信息(运动向量)。
更具体地，编码器下采样层L1的原始图像O1来产生层L2的原始图像O2。类似地，编码器下采样层L2的原始图像O2来产生层L3的原始图像O3。编码器使用用于时间上滤波原始图像O1的一个或多个参考图像来产生层L1的引用图像R1。以相同的方式。编码器分别使用用于时间滤波原始图像O2和O3的一个或多个参考d图像来产生层L1和L2的引用图像R2和R3。使用每个原始图像O1、O2和O3和每个具有时间差的参考图像之间的运动估算来从对应的原始图像O1、O2或O3产生每个引用图像R1、R2和R3。然后编码器通过从原始图像O1、O2和O3中分别减去引用图像R1、R2和R3来产生剩余图像E1、E2和E3。编码器对剩余图像E1、E2和E3执行小波变换和量化来获得具有相应层L1、L2和L3的编码图像。将具有相应层L1、L2和L3的编码图像和关于用于产生引用图像R1、R2和R3的估算值(运动向量值)的信息组合到比特流中。
接收比特流的解码器能够重构由具有期望的分辨率的图像组成的原始视频序列。即，解码器预解码比特流或接收预解码的比特流来在层L1、L2和L3间重构具有期望的分辨率的图像。然而，在基于小波的视频编码中，编码器产生包含了三层L1、L2和L3的所有编码图像数据和关于所估算出的运动向量的信息的比特流。即，由于比特流包含关于相似图像的大量冗余信息，所以降低了视频编码效率。
与产生具有关于被合并在高分辨率图像中的低分辨率图像的信息的比特流的、基于小波的视频编码器相反，设计来增加编码效率的另一视频编码器产生包含了用于创建具有最高分辨率的引用图像R1和具有最高分辨率的编码图像的信息。然而，用于得到具有相应层L1、L2和L3的引用图像R1、R2和R3的运动向量值的数值实际上是相似但不是相同的。因此，与最佳估算相比，编码器使用最高分辨率图像的运动向量来估算低分辨率图像的运动，这降低了剩余图像E2或E3的质量。特别地，该引起最低分辨率剩余图像E3的严重降低。在解码期间为剩余图像E3分配多个的比特可以解决该问题，但是导致压缩效率的降低。
同时，图2的频带内可缩放编码器可以通过对经历小波变换的图像执行运动估算和时间滤波提供高质量、低分辨率的图像。然而，由于它要求在小波域中进行时间滤波，因此频带内视频编码具有在解码器端重构的图像的质量低于上述其它技术提供的质量的问题。
在NEC公司提供的文件中公开了被开发来解决这些问题的各种方法中的一种(‘Multi-Resolution MCTF for 3D Wavelet Transformation inHighly Scalable Video’，ISO/IEC JTC1/SC29/WG11，July 2003)。根据该文件，通过使用低分辨率图像代替高分辨率低子频带，可以在最高分辨率编码图像中包含范围从最高到最低分辨率的信息。关于估算值，比特流仅包含用于获得最高分辨率引用图像的运动向量。在解码器端，使用漂移误差补偿滤波器。根据该算法，可以通过将低分辨率的图像插入在高分辨率图形中，以在高分辨率编码图像中包含很大百分比的低分辨率信息。然而，仅使用用于高分辨率的运动向量提供低于期望的性能。因此，最好具有在所有分辨率级别提供高图像质量，同时尽可能降低冗余信息的视频编码算法。
发明内容
本发明提供一种用于视频编码和解码的方法和设备，其设计来在所有分辨率级别提供高图像质量，同时降低具有每种分辨率的编码图像中的冗余。
根据本发明的一个方面，提供一种可缩放视频编码方法，包括对视频序列中的每个原始分辨率图像执行低通滤波来产生对应于原始分辨率图像的低分辨率图像，并且从原始分辨率图像和低分辨率图像中消除时间冗余来产生原始分辨率剩余图像和低分辨率剩余图像；对原始分辨率剩余图像和低分辨率剩余图像执行小波变换来分别产生原始分辨率变换图像和低分辨率变换图像，并且将低分辨率变换图像组合到原始分辨率变换图像来产生统一的原始分辨率变换图像；和量化每个统一的原始分辨率变换图像来产生编码图像数据，并且产生包含编码数据和从原始分辨率图像和低分辨率图像中消除时间冗余时获得的运动向量的比特流。
这里，最后通过使用小波9-7滤波器下采样来执行低通滤波。
所产生的低分辨率图像包括通过低通滤波每个原始分辨率图像获得的第一低分辨率图像和通过低通滤波第一低分辨率图像获得的第二低分辨率图像。这里，在从其消除时间冗余之后，将原始分辨率图像和第一以及第二低分辨率图像变换为原始分辨率变换图像和第一以及第二低分辨率变换图像，然后将其中的第一以及第二低分辨率变换图像组合在一起来产生统一的第一低分辨率变换图像，并且将原始分辨率变换图像和统一的第一低分辨率变换图像组合在一起来产生原始分辨率变换图像。
可以在每个分辨率级别执行时间冗余的消除，并且可以包括通过参考对应于一个或多个编码图像的一个或多个原始图像对每个分辨率图像执行运动估算来从图像中发现将要用在消除时间冗余中的运动向量，并且通过使用通过运动估算获得的运动向量执行运动补偿来从图像中消除时间冗余，以产生剩余图像。
可以通过对编码图像进行解码来获得对应于编码图像的参考图像。
可缩放视频编码方法还可以包括当消除了剩余图像本身的时间冗余时参考剩余图像。
根据本发明另一方面，提供一种可缩放视频编码器，包括：时间冗余消除器，用于从原始分辨率图像和对应于原始分辨率图像的低分辨率图像中的每一个消除时间冗余，并且产生原始分辨率剩余图像和低分辨率剩余图像；空间冗余消除器，用于对原始分辨率剩余图像和低分辨率剩余图像执行小波变换来分别产生原始分辨率变换图像和低分辨率变换图像，并且将低分辨率变换图像组合到原始分辨率变换图像来产生统一的原始分辨率变换图像；和量化器，用于量化每个统一的原始分辨率变换图像来产生编码图像数据；和比特流产生器，用于产生包含编码数据和从原始分辨率图像和低分辨率图像中消除时间冗余时获得的运动向量的比特流。
编码器还可以包括多个低通滤波器，用于对每个原始分辨率图像执行低通滤波来产生低分辨率图像。
所产生的低分辨率图像包括通过低通滤波每个原始分辨率图像获得的第一低分辨率图像和通过低通滤波第一低分辨率图像获得的第二低分辨率图像。这里，在时间冗余消除器从其消除时间冗余之后，由空间冗余消除器将原始分辨率图像和第一以及第二低分辨率图像变换为原始分辨率变换图像和第一以及第二低分辨率变换图像，然后将其中的第一以及第二低分辨率变换图像组合在一起来产生统一的第一低分辨率变换图像，并且将原始分辨率变换图像和统一的第一低分辨率变换图像组合在一起来产生原始分辨率变换图像。
对每个分辨率图像消除时间冗余的时间冗余消除器可以包括一个或多个运动估算器，用于通过参考对应于一个或多个编码图像的一个或多个原始图像来从图像中发现将要用在消除时间冗余中的运动向量；和一个或多个运动补偿器，用于通过使用通过运动估算获得的运动向量对每个图像执行运动补偿来产生剩余图像。
编码器还可以包括解码单元，用于通过对编码图像进行解码来重构原始图像，其中由解码单元对编码图像进行解码来获得对应于编码图像的参考图像。
时间冗余消除器还可以包括一个或多个帧内预测器，用于参考图像本身从每个图像消除时间冗余。
空间冗余消除器可以包括一个或多个小波变换单元，用于对原始分辨率剩余图像和低分辨率剩余图像执行小波变换来分别产生原始分辨率变换图像和低分辨率变换图像，和变换图像组合器，用于将低分辨率变换图像组合到原始分辨率变换图像来产生统一的原始分辨率变换图像。
根据本发明的另一方面，提供一种可缩放视频解码方法，包括：从比特流提取编码图像数据；和分离并反量化编码图像数据来产生统一的原始分辨率变换图像和与统一的原始分辨率变换图像对应的低分辨率变换图像；对每个统一的原始分辨率变换图像及其低分辨率变换图像执行逆小波变换来产生统一的原始分辨率剩余图像和低分辨率剩余图像；和使用从比特流提取到的低分辨率运动向量来对低分辨率剩余图像执行反运动补偿来重构低分辨率图像，并且使用从比特流提取到的原始分辨率运动向量来从统一的原始分辨率剩余图像中重构原始分辨率图像。
所产生的低分辨率变换图像可以包括统一的第一低分辨率变换图像和对应于统一的第一低分辨率变换图像的第二低分辨率变换图像。此外，统一的原始分辨率图像、统一的第一低分辨率变换图像和第二低分辨率变换图像经历逆小波变换来分别产生统一的原始分辨率剩余图像、统一的第一低分辨率剩余图像和第二低分辨率剩余图像，并且使用从比特流获得的第二低分辨率运动向量来对第二低分辨率剩余图像执行反运动补偿来重构第二低分辨率图像，然后使用从比特流提取到的第一分辨率运动向量来从统一的第一低分辨率剩余图像重构第一低分辨图像。
执行反运动补偿可以包括通过使用低分辨率运动向量对低分辨率剩余图像执行反运动补偿来重构低分辨率图像，使用低分辨率剩余图像从每个统一的原始分辨率剩余图像产生原始分辨率高频剩余图像，使用通过使用原始分辨率运动向量和重构的低分辨率图像反运动补偿原始分辨率而创建的引用图像来产生每个原始分辨率剩余图像，并且通过使用原始分辨率运动向量对原始分辨率剩余图像执行反运动补偿来重构原始分辨率图像。
根据本发明的又一方面，提供一种可缩放视频解码方法，包括：从比特流提取编码图像数据；和分离并反量化编码图像数据来产生原始分辨率高频变换图像和与原始分辨率高频变换图像对应的低分辨率变换图像；对每个原始分辨率高频变换图像以及低分辨率变换图像执行逆小波变换来产生原始分辨率高频剩余图像和低分辨率剩余图像；和使用从比特流提取到的低分辨率运动向量来对低分辨率剩余图像执行反运动补偿，使用重构的低分辨率图像来从原始高频剩余图像中产生原始分辨率剩余图像，并且使用从比特流提取到的原始分辨率运动向量来对原始分辨率剩余图像执行反运动补偿来重构原始分辨率图像。
根据本发明的另一方面，提供一种可缩放视频解码器，包括比特流解释器，用于解释所接收到的比特流，并且从比特流提取编码图像数据和用于原始分辨率和低分辨率级别的运动向量；反量化器，用于分离并反量化编码图像数据来产生统一的原始分辨率变换图像和与统一的原始分辨率变换图像对应的低分辨率变换图像；反空间冗余消除器，用于对每个统一的原始分辨率变换图像及其低分辨率变换图像执行逆小波变换来产生统一的原始分辨率剩余图像和低分辨率剩余图像；和反时间冗余消除器，用于使用从比特流提取到的低分辨率运动向量来对低分辨率剩余图像执行反运动补偿来重构低分辨率图像，并且使用重构的低分辨率图像和从比特流提取到的原始分辨率运动向量来从统一的原始分辨率剩余图像中重构原始分辨率图像。
反时间冗余消除器可以包括一个或多个反运动补偿器，用于使用原始分辨率或低分辨率运动向量来对每个剩余图像执行反运动补偿；一个或多个反低通滤波器，用于增加图像的分辨率级别和一个或多个低通滤波器，用于降低图像的分辨率级别。这里，将低分辨率剩余图像重构为低分辨率图像，同时将经历了反低通滤波的低分辨率剩余图像与统一的原始分辨率剩余图像相比较来产生原始分辨率高频剩余图像，将通过对通过反运动补偿原始分辨率创建的引用帧进行低通滤波而获得的原始分辨率引用图像与重构的经低通滤波的图像相比较，并且将经历了比较的图像与原始分辨率高频剩余图像组合来产生原始分辨率剩余图像，然后对其进行反运动补偿并将其重构为原始分辨率图像。
根据本发明的另一方面，提供一种可缩放视频解码器，包括：比特流解释机，用于解释所接收到的比特流，并且从比特流提取编码图像数据和用于原始分辨率和低分辨率级别的运动向量；反量化器，用于分离并反量化编码图像数据来产生原始分辨率高频变换图像和与原始分辨率高频变换图像对应的低分辨率变换图像；反空间冗余消除器，用于对每个原始分辨率高频变换图像以及低分辨率变换图像执行逆小波变换来产生原始分辨率高频剩余图像和低分辨率剩余图像；和反时间冗余消除器，用于使用低分辨率运动向量对低分辨率剩余图像执行反运动补偿来重构低分辨率图像，使用低分辨率剩余图像来从原始高频剩余图像中产生原始分辨率剩余图像，并且使用原始分辨率运动向量对原始分辨率剩余图像执行反运动补偿来重构原始分辨率图像。
附图说明
通过参照附图详细描述示例性实施例，本发明的以上和其它特征和优点将变得更加清楚，其中：
图1是基于运动补偿时间滤波(MCTF)的可缩放视频编码器的示意方框图；
图2是设计来在时间滤波之前执行小波变换的频带内可缩放视频编码器的示意方框图；
图3显示使用MCTF算法的可缩放视频编码和解码处理；
图4显示使用连续时间近似和参考(STAR)算法的可缩放视频编码和解码处理；
图5是用于解释用来支持空间缩放性的基于小波视频编码的图；
图6是示意性显示根据本发明实施例的可缩放视频编码器的配置的功能框图；
图7是显示图6中所示的S1的详细配置的方框图；
图8图解根据本发明实施例的、用于产生引用图像的各种预测模式；
图9是显示图6中所示的空间冗余消除器的详细配置的方框图；
图10是用于解释用于创建具有原始分辨率的统一的变换图像的处理的图；
图11是根据本发明第一实施例的反量化器的详细方框图；
图12是根据本发明第一实施例的反时间冗余消除器的详细方框图；
图13是显示根据本发明第一实施例的、在反量化期间将编码图像去复用为具有各个分辨率级别的图像的处理的图；
图14是显示根据本发明第一实施例的重构原始图像的过程的图；
图15是根据本发明第二实施例的反量化器的详细方框图；
图16是根据本发明第二实施例的反时间冗余消除器的详细方框图；
图17显示根据本发明第二实施例的、在反量化和反空间冗余消除之后产生高频剩余图像的处理的图；和
图18是示意性显示根据本发明实施例的可缩放视频解码器的配置的功能框图。
具体实施方式
将参照附图更加全面地描述本发明，在这些附图中示出了本发明示例性实施例。虽然将参照产生具有三个分辨率级别的比特流的视频编码模式来描述本发明，但是本发明不限于此。为了方便的缘故，本发明描述层1的最高分辨率图像、层2的中间分辨率图像和层3的最低分辨率图像的编码和解码。在示例性实施例中，将描述帧(图像)的编码和解码。
图6是示意性显示根据本发明实施例的可缩放视频编码器的配置的功能框图。
参照图6，根据本发明实施例的可缩放视频编码器使用从原始分辨率图像O1提取层2的低分辨率图像O2的低通滤波器402和从层2的低分辨率图像O2提取层3的低分辨率图像O3的低通滤波器403来获得低分辨率图像O2和O3。在所图示的实施例中，通过使用小波9-7滤波器进行下采样来执行低通滤波。
时间冗余消除器从具有各个分辨率级别的原始分辨率图像O1和低分辨率图像O2和O3中消除时间冗余以便产生具有各个分辨率级别的剩余图像E1到E3。在时间冗余消除器中的S1 410、S2 420和S3 430都具有相同的结构，并且为各个分辨率级别消除时间冗余。将在下面参照图7来描述S1 410的详细结构。
由空间冗余消除器440从具有各个分辨率级别的剩余图像E1到E3中消除空间冗余，并且组合为统一的变换图像W1。将在下面参照图9来描述空间冗余消除器440的详细结构。
量化器450量化统一的变换图像W1来创建编码图像Q1。比特流产生器455通过将经过编码输入图像获得的编码图像与经过消除时间冗余获得的用于各个分辨率级别的运动向量MV1、MV2和MV3进行组合来产生比特流。比特流包含关于编码图像(编码图像数据)、运动向量MV1、MV2和MV3的信息以及其它必要的首标信息。
同时，当在像基于运动补偿时间滤波(MCTF)的视频编码中那样消除时间冗余的同时，通过更新帧来产生低频子频带(L帧)时，在消除时间冗余时参考的图像是组成视频序列的原始图像。然而，基于非约束MCTF(UMCTF)或连续时间近似和参考(STAR)的视频编码模式不包括更新A或I帧。在这种连续编码算法中，在消除时间冗余时参考的图像可以是组成输入视频序列的原始图像或通过解码编码数据获得的图像。特别地，在后一情况下，编码和解码过程在视频编码器中形成单一循环，并且以迭代方式执行，这称为“闭循环”模式。
在消除时间冗余时在编码器端参考原始图像，而在消除反时间冗余时在解码器端参考解码图像的开循环模式中，倾向于发生漂移误差。与开循环模式相比，由于在编码器和解码器端都参考解码图像，因此闭循环模式不会经历漂移误差。应当注意的是下面将要描述的参考图像可以是原始图像(未编码图像)或通过解码编码图像获得的解码图像。
将参照图6描述闭循环模式。
参照图6，由反量化器460分离并反向地量化编码图像Q1来产生具有各个分辨率级别的变换图像W1到W3。将在下面参照图11和15描述反量化器460的详细结构。
当具有各个分辨率级别的变换图像W1到W3通过反空间冗余消除器470时，将其转换为具有各个分辨率级别的剩余图像E1到E3。由反时间冗余消除器480将具有各个分辨率级别的剩余图像E1到E3转换为具有各个分辨率级别的解码图像D1到D3。将解码图像D1到D3存储在缓冲器490中，并且将其提供来作为用于从将来的图像中消除时间冗余的参考图像。在下面将参照图12和16来描述反时间冗余消除器480的详细结构。
对于时间缩放性，以图片组(GOP)为单位执行可缩放视频编码。在常规MCTF模式中，在GOP中所有的图像上执行MCTF来产生一个低频子频带(L图像)和多个高频子频带(H图像)。在UMCTF或STAR模式中，将GOP中的一个图像编码为未经历MCTF的A-或I-图像，而参照一个或多个图像来使剩余的图像经历运动补偿来获得剩余图像。以形成图像的预定大小的块消除时间冗余。
图7是显示图6中所示的S1 410的详细配置的方框图。
参照图7，运动估算器512通过参考存储在多图像参考器511中的一个或多个图像来对输入图像O1执行运动估算，以便产生随后被提供到运动补偿器513的运动向量。运动补偿器513使用输入图像O1和所述一个或多个参考图像来创建引用帧R1。比较器515将输入图像O1与引用帧R1相比较来产生剩余图像E1。可以使用运动补偿器513中的帧间预测(inter-prediction)来获得在用于从输入图像O1导出剩余图像E1的、引用帧R1中的所有的块。另外，可以通过参考帧内预测器514中的输入图像O1执行帧内预测来获得引用帧R1中的某些或所有块。
图8图解根据本发明实施例的可以选择来用于创建引用图像的各种预测模式。
本发明的可缩放视频编码器可以仅使用与常规基于MCTF的编码器相同的前向预测、与基于UNCTF或STAR的编码器相同的后向和双向预测、或与STAR算法相同的帧内预测模式。
首先，将描述帧间预测模式的选择。
由于本发明允许参考多个图像，因此很容易执行前向、后向和双向预测。帧间预测可以采用公知的分级可变尺寸块匹配(HVSBM)算法或与所示实施例相同的固定块尺寸运动估算。当E(k，-1)、B(k，-1)和E(k，*)分别表示第k块的前向、后向和双向预测的绝对差值(SAD)的和，而B(k，-1)、B(k，+1)和B(k，*)分别表示要被分配用于量化第k块的前向、后向和双向运动向量的总比特数时，通过方程(1)定义前向、后向和双向预测模式的成本Cf、Cb和Cbi：
Cf＝E(k，-1)+λB(k，-1)，
Cb＝E(k，1)+λB(k，1)，
Cbi＝E(k，*)+λ{B(k，*)}                                    …(1)
其中λ是用于控制在运动比特和纹理(图像)比特之间的平衡的拉格朗日系数。由于在可缩放视频编码器中最终比特率是未知的，所以可以根据视频序列的特性和主要用在目标应用程序中的比特率来选择λ。可以基于使用方程(1)获得的最低成本来为每个宏块确定最佳的互估算模式。
接下来，将描述帧内预测模式的选择
在某些视频序列中，场景变化得非常迅速。在极端的情况下，可以发现与相邻帧相比没有时间冗余的帧。为了处理这种帧，采用通过用于标准混合编码器的帧内估算获得的宏块的概念。通常，由于估算漂移，开环编码解码器不能使用相邻的宏块信息。然而，混合编码解码器可以使用帧内估算模式。在本实施例中，DC预测用于执行帧内预测。在DC预测模式中，由其Y、U和V分量的DC值来帧内预测块。如果帧内预测的成本低于上述最佳帧间预测模式的成本，则选择帧内预测模式。在这种情况下，然后编码原始像素和DC值之间的差，并且编码这三个DC值之间的差来代替运动向量。
由方程(2)定义用于帧内预测模式的成本Ci：
Ci＝E(k，0)+λB(k，0)                                …(2)
其中E(k，0)是第k块的帧内预测的SAD(原始亮度值和DC值之间的差)，而B(k，0)是用于编码这三个DC值的比特总数。
如果成本Ci低于方程(1)定义的成本，则使用帧内预测模式来编码给定的块。
如上所述，空间冗余消除器440从具有各个分辨率级别的、已经被消除了时间冗余的剩余图像E1到E3中消除空间冗余，这将参考图9描述。
图9是显示空间冗余消除器440的详细方框图。
空间冗余消除器440包括对具有各个分辨率级别的剩余图像E1到E3执行逆小波变换来消除空间冗余的第一到第三小波变换单元741到743和将具有各个分辨率级别的、经历了由第一到第三小波变换单元741到743进行的小波变换的变换图像WH 1、WH 2和WL+H 3组合为一个统一的变换图像WL+H 1的复用器(MUX)745。
图10是用于解释用于创建具有原始分辨率的统一的变换图像的处理的图。
参照图10，将具有各个分辨率级别的剩余图像E1到E3经历小波变换来产生变换图像。将每个变换图像分解为一个低频变换图像L(即与未变换图像非常相似的缩小尺寸的图像)以及三个高频变换图像H。用层L3的变换图像首先替换层L2的低频变换图像来创建L2的统一的变换图像(S1)，然后用L2的统一的变换图像(S2)替换层L1的低频变换图像来创建L1的统一的变换图像(S3)。另外，可以量化L2的统一的变换图像和L1的变换图像来产生比特流，以代替创建L1的统一的变换图像。然而，由于需要编码具有空间冗余的L1的低频变换图像，因此与前一方法提供的编码效率相比，编码效率降低。
量化L1的统一的变换图像来产生编码图像，并且在比特流中包含与通过编码视频序列中多个图像获得的编码图像相关的编码图像数据。
将描述用于在解码器或闭环编码器中从编码图像中重构解码图像的处理。用于按下列顺序执行根据本发明第一实施例的解码编码图像的过程：
1.首先，从L1的编码图像Q1分离编码低频图像来获得L1的编码高频图像QH 1和L2的编码图像Q2。以相同的方式，分离L2的编码图像Q2来获得L2的编码高频图像和L3的编码图像Q3。
2.由方程(3)定义从L3的编码图像Q3(＝QL+H 3)获得L3的解码图像D3的过程：
D 3 = DQ _ IT [ Q 3 L + H ] + R 3 = E 3 L + H + R 3 - - - ( 3 )
其中DQ_IT[]是反量化函数或逆小波变换函数，并且R3是L3的引用图像，其运动是通过参考多个先前被解码的图像估算出的。
3.然后，为了获得L2的解码图像D2，使用方程(4)定义的过程来重构在编码期间由L3的变换图像W3替换L2的低频剩余图像EL 2：
E 2 L = D 3 - DOWN [ R 2 ] - - - ( 4 )
其中DOWN[]和R2分别表示下采样函数和通过参考多个先前被解码的图像来估算其运动的L2的引用图像。
由于DOWN[D2]-DOWN[R2]＝DOWN[E2]，其中DOWN[D2]是D3，并且DOWN[E2]是EL 2，因此可以使用方程(4)重构L2的低频剩余图像EL 2。
使用低频剩余图像EL 2，由方程(5)给出L2的剩余图像EL+H 2：
E 2 L + H = UP [ E 2 L ] + E 2 H - - - ( 5 )
其中UP[]表示上采样函数。最后，由方程(6)定义L2的解码图像D2：
D 2 = E 2 L + H + R 2 - - - ( 6 )
以相同的方式，可以使用方程(7)到(9)来获得L1的解码图像D1：
E 1 L = D 2 - DOWN [ R 1 ] - - - ( 7 )
由于DOWN[D1]-DOWN[R1]＝DOWN[E1]，其中DOWN[D1]是D2，并且DOWN[E1]是EL 1，因此可以使用方程(7)恢复L2的低频剩余图像EL 1。
使用低频剩余图像EL 1，由方程(8)给出L1的剩余图像EL+H 1：
E 1 L + H = UP = [ E 1 L ] + E 1 H - - - ( 8 )
最后，由方程(9)定义L1的解码图像D1：
D 1 = E 1 L + H + R 1 - - - ( 9 )
虽然在L1到L3的三个分辨率级别已经描述了图像的分辨率，但是上述方法还可以应用到具有三个或更多分辨率级别的图像上。
将参照图11到14描述根据本发明第一实施例的用于解码编码图像的处理。图11和图12分别是根据本发明第一实施例的反量化器460和反时间冗余消除器480的详细方框图。
参照图11，反量化器460包括用于将统一的编码图像分离为具有各个分辨率级别的编码图像的去复用器(DEMUX)964和用于反量化具有各个分辨率级别的编码图像的第一到第三反量化器961到963。
DEMUX 964从统一的编码图像Q分离QL+H 3，同时将QH 2+QH 1分离为QH 2和QH 1。可以从统一的编码图像Q分离QL+H 3，然后分离QH 2+QH 1。另外，在分离QH 1之后，可以将QH 2+QL+H 3分离为QH 2和QL+H 3。
将所分离的QL+H 3、QH 2和QH 1分别经历由第三、第二和第一反量化器963、962和961进行的反量化来产生L3的变换图像WL+H 3、L2的高频变换图像WH 2和L1的高频变换图像WH 1。
将关于L1、L2和L3的、具有各个分辨率级别的变换图像WH 1、WH 2和WL+H 3输入到反空间冗余消除器470来产生关于L1、L2和L3的、具有各个分辨率级别的剩余图像EH 1、EH 2和EL+H 3，然后将其输入到反时间冗余消除器480来产生关于L1、L2和L3的、具有各个分辨率级别的解码图像D1、D2和D3。
更具体的是，通过将剩余图像EL+H 3添加到引用图像R3来获得解码图像D3。将解码图像D3用于产生解码图像D2。具体地，在通过从解码图像D3中减去在下采样引用图像R2之后获得的结果来计算EL 2之后，通过将剩余图像EH 2加到通过上采样剩余图像EL 2获得的结果上来计算剩余图像EL+H 2。然后，通过将剩余图像EL+H 2加到引用图像R2来获得解码图像D2。类似地，将解码图像D2用于产生解码图像D1。即，在通过从解码图像D2中减去在下采样引用图像R1之后获得的结果来计算EL 1之后，通过将剩余图像EH 1加到通过上采样剩余图像EL 1获得的结果上来计算剩余图像EL+H 1。然后，通过将剩余图像EL+H 1加到引用图像R1来获得解码图像D1。通过使用用于L1、L2和L3的分辨率级别的运动向量执行运动估算来分别获得引用图像R1、R2和R3。以这种方式，本发明使用最高分辨率图像和用于各个分辨率级别的运动向量来提供每个分辨率的高质量图像。
图13是显示根据本发明第一实施例的将统一的编码图像分解为最低分辨率编码图像和具有更高分辨率级别的高频编码图像的反量化处理的图，并且图14是显示根据本发明第一实施例的使用解码图像D3重构原始图像，即解码图像D2的过程的图。
虽然根据本发明第一实施例，可以通过反量化处理来获得具有相应图像的编码图像，但是可能实际上很难从统一的编码图像Q分离QL+H 3，同时将剩余的QH 2+QH 1分离为QH 2和QH 1。在这种情况下，因为根据分辨率将可缩放视频流本质上地分为图像，因此可以从编码图像Q(＝Q1)获得编码图像Q2和Q3。即，根据第一实施例的方法可以应用到所产生的比特流来分离高频编码图像，而后一方法可以应用到其它普通比特流，这将在下面参照图15和16来描述。
图15和图16分别是根据本发明第二实施例的反量化器460和反时间冗余消除器470的详细方框图。
虽然很容易使用编码图像Q3获得解码图像D3，但是由于编码图像Q1和Q2中的低频分量分别源于L2和L3的编码图像，因此使用统一的编码图像Q1和Q2仅能获得与解码图像D1和D2相似的图像。因此，本实施例的基本思路是在从编码图像Q1和Q2中获得剩余图像EH 1和EH 2之后以与第一实施例描述的方式相同的方式获得解码图像D1和D2。
参照图15，反量化器460包括将统一的编码图像分离为具有各个分辨率级别的DEMUX 1369和从具有各个分辨率级别的统一的编码图像Q1到Q3产生统一的变换图像。反量化器460将统一的编码图像Q1到Q3分别转换为统一的变换图像W1到W3，然后将其转换为L1的统一的剩余图像EL +H 3+EH 2+EH 1、L2的统一的剩余图像EL+H 3+EH 2和L3的剩余图像EL+H 3。
参照图16，通过从L2的统一的剩余图像EL+H 3+EH 2减去在上采样L3的剩余图像EL+H 3之后获得的结果来获得L2的高频剩余图像EH 2。完成上采样操作以便调节分辨率。
以相同的方式，通过从L1的统一的剩余图像EL+H 3+EH 2+EH 1减去在上采样L2的统一的剩余图像EL+H 3+EH 2之后获得的结果来获得L1的高频剩余图像EH 1。可以通过第一实施例中描述的处理来获得原始图像(解码图像)。
图17显示获得高频剩余图像EH 1和EH 2的处理。
图18是示意性显示根据本发明实施例的可缩放视频解码器的配置的功能框图。参照图18，可缩放视频解码器包括比特流解释器1610，用于接收比特流并解释比特流以便提取统一的编码图像数据和关于各个分辨率级别的运动向量；反量化器1620，用于对包含在统一的编码图像数据中的统一的编码图像执行反量化来产生具有各个分辨率级别的变换图像；反空间冗余消除器1630，用于从具有各个分辨率级别的变换图像产生具有各个分辨率级别的剩余图像；和反时间冗余消除器1640，用于使用用于各个分辨率级别的运动向量通过反运动补偿来重构原始图像。
反量化器1620、反空间冗余消除器1630和反时间冗余消除器1640的详细结构和操作实质上与上述可缩放视频编码器的对应部分相同。
工业适用性
根据本发明可以将具有各个分辨率级别的图像组合为单一图像，同时提供所有分辨率级别的高图像质量，因此使能有效的视频编码，同时完全地利用了空间缩放性的优点。
在详细的描述的结论中，本领域技术人员将理解可以对优选实施例做出多种变化和修改，而实质上不背离本发明的原理。因此，所公开的本发明优选实施例被用作一般目的和说明性质，并且不意欲限制本发明。

Claims (21)

1.一种可缩放视频编码方法，包括：
对视频序列中的每个原始分辨率图像执行低通滤波来产生对应于原始分辨率图像的低分辨率图像，并且从原始分辨率图像和低分辨率图像中消除时间冗余来产生原始分辨率剩余图像和低分辨率剩余图像；
对原始分辨率剩余图像和低分辨率剩余图像执行小波变换来分别产生原始分辨率变换图像和低分辨率变换图像，并且将低分辨率变换图像组合到原始分辨率变换图像来产生统一的原始分辨率变换图像；和
量化每个统一的原始分辨率变换图像来产生编码图像数据，并且产生包含编码数据和在从原始分辨率图像和低分辨率图像中消除时间冗余的同时获得的运动向量的比特流。
2.如权利要求1所述的方法，其中通过使用小波9-7滤波器下采样来执行低通滤波。
3.如权利要求1所述的方法，其中所产生的低分辨率图像包括通过低通滤波每个原始分辨率图像获得的第一低分辨率图像和通过低通滤波第一低分辨率图像获得的第二低分辨率图像，其中，在从其消除时间冗余之后，将原始分辨率图像和第一以及第二低分辨率图像分别变换为原始分辨率变换图像和第一以及第二低分辨率变换图像，然后将其中的第一以及第二低分辨率变换图像组合在一起来产生统一的第一低分辨率变换图像，并且将原始分辨率变换图像和统一的第一低分辨率变换图像组合在一起来产生原始分辨率变换图像。
4.如权利要求1所述的方法，其中在每个分辨率级别上执行时间冗余的消除，并且包括：
通过参考对应于一个或多个编码图像的一个或多个参考图像对每个分辨率图像和低分辨率图像执行运动估算来从原始分辨率图像和低分辨率图像中发现将要用在消除时间冗余中的运动向量；和
通过使用由运动估算获得的运动向量执行运动补偿来从原始分辨率图像和低分辨率图像中消除时间冗余，以产生原始分辨率剩余图像和低分辨率剩余图像。
5.如权利要求4所述的方法，其中通过对编码图像进行解码类获得对应于编码图像的参考图像。
6.如权利要求4所述的方法，还包括当消除原始分辨率剩余图像和低分辨率剩余图像的时间冗余时参考引用图像。
7.一种可缩放视频编码器，包括：
时间冗余消除器，用于从原始分辨率图像和对应于原始分辨率图像的低分辨率图像中的每一个中消除时间冗余，并且分别产生原始分辨率剩余图像和低分辨率剩余图像；
空间冗余消除器，用于对原始分辨率剩余图像和低分辨率剩余图像执行小波变换来分别产生原始分辨率变换图像和低分辨率变换图像，并且将低分辨率变换图像组合到原始分辨率变换图像来产生统一的原始分辨率变换图像；和
量化器，用于量化每个统一的原始分辨率变换图像来产生编码图像数据；和
比特流产生器，用于产生包含编码数据和从原始分辨率图像和低分辨率图像中消除时间冗余时获得的运动向量的比特流。
8.如权利要求7所述的编码器，还包括多个低通滤波器，用于对每个原始分辨率图像执行低通滤波来产生低分辨率图像。
9.如权利要求8所述的编码器，其中所产生的低分辨率图像包括通过低通滤波每个原始分辨率图像获得的第一低分辨率图像和通过低通滤波第一低分辨率图像获得的第二低分辨率图像，其中在时间冗余消除器从其消除时间冗余之后，原始分辨率图像和第一以及第二低分辨率图像由空间冗余消除器变换为原始分辨率变换图像和第一以及第二低分辨率变换图像，然后将其中的第一以及第二低分辨率变换图像组合在一起来产生统一的第一低分辨率变换图像，并且将原始分辨率变换图像和统一的第一低分辨率变换图像组合在一起来产生原始分辨率变换图像。
10.如权利要求7所述的编码器，其中对每个原始分辨率图像和低分辨率图像消除时间冗余的时间冗余消除器包括：
一个或多个运动估算器，用于通过参考对应于一个或多个编码图像的一个或多个参考图像来从每个原始分辨率图像和低分辨率图像中发现将要用在消除时间冗余中的运动向量；和
一个或多个运动补偿器，用于通过使用由运动估算获得的运动向量对原始分辨率图像和低分辨率图像执行运动补偿来产生原始分辨率剩余图像和低分辨率剩余图像。
11.如权利要求10所述的编码器，还包括解码单元，用于通过对编码图像进行解码来重构原始图像。
12.如权利要求10所述的编码器，其中时间冗余消除器还包括一个或多个帧内预测器，用于参照参考图像从每个原始分辨率图像和低分辨率图像中消除时间冗余。
13.如权利要求7所述的编码器，其中空间冗余消除器包括一个或多个小波变换单元，用于对原始分辨率剩余图像和低分辨率剩余图像执行小波变换来分别产生原始分辨率变换图像和低分辨率变换图像，和变换图像组合器，用于将低分辨率变换图像组合到原始分辨率变换图像来产生统一的原始分辨率变换图像。
14.一种可缩放视频解码方法，包括：
从比特流提取编码图像数据，并且分离并反量化编码图像数据来产生统一的原始分辨率变换图像和与统一的原始分辨率变换图像对应的低分辨率变换图像；
对每个统一的原始分辨率变换图像及其低分辨率变换图像执行逆小波变换来产生统一的原始分辨率剩余图像和低分辨率剩余图像；和
使用从比特流提取到的低分辨率运动向量来对低分辨率剩余图像执行反运动补偿以重构低分辨率图像，并且使用从比特流提取到的原始分辨率运动向量来从统一的原始分辨率剩余图像中重构原始分辨率图像。
15.如权利要求14所述的方法，其中所产生的低分辨率变换图像包括统一的第一低分辨率变换图像和对应于统一的第一低分辨率变换图像的第二低分辨率变换图像，和
其中统一的原始分辨率图像、统一的第一低分辨率变换图像和第二低分辨率变换图像经历逆小波变换来分别产生统一的原始分辨率剩余图像、统一的第一低分辨率剩余图像和第二低分辨率剩余图像，并且使用从比特流获得的第二低分辨率运动向量来对第二低分辨率剩余图像执行反运动补偿以重构第二低分辨率图像，然后使用从比特流提取到的第一分辨率运动向量来从统一的第一低分辨率剩余图像重构第一低分辨图像。
16.如权利要求14所述的方法，其中执行反运动补偿包括：
通过使用低分辨率运动向量对低分辨率剩余图像执行反运动补偿来重构低分辨率图像；
使用低分辨率剩余图像从每个统一的原始分辨率剩余图像产生原始分辨率高频剩余图像；
使用利用原始分辨率运动向量和重构的低分辨率图像、由原始分辨率图像的反运动补偿而创建的引用图像来产生原始分辨率剩余图像；和
通过使用原始分辨率运动向量对原始分辨率剩余图像执行反运动补偿来重构原始分辨率图像。
17.一种可缩放视频解码方法，包括：
从比特流提取编码图像数据，并且分离和反量化编码图像数据来产生原始分辨率高频变换图像和与原始分辨率高频变换图像对应的低分辨率变换图像；
对每个原始分辨率高频变换图像以及对应的低分辨率变换图像执行逆小波变换来产生原始分辨率高频剩余图像和低分辨率剩余图像；和
使用从比特流提取到的低分辨率运动向量来对低分辨率剩余图像执行反运动补偿以重构低分辨率图像，使用重构的低分辨率图像来从原始高频剩余图像中产生原始分辨率剩余图像，并且使用从比特流提取到的原始分辨率运动向量来对原始分辨率剩余图像执行反运动补偿来重构原始分辨率图像。
18.一种可缩放视频解码器，包括：
比特流解释器，用于解释所接收到的比特流，并且从比特流提取编码图像数据和关于原始分辨率和低分辨率级别的运动向量；
反量化器，用于分离和反量化编码图像数据来分别产生统一的原始分辨率变换图像和与统一的原始分辨率变换图像对应的低分辨率变换图像；
反空间冗余消除器，用于对每个统一的原始分辨率变换图像及其低分辨率变换图像执行逆小波变换来产生统一的原始分辨率剩余图像和低分辨率剩余图像；和
反时间冗余消除器，用于使用从比特流提取到的低分辨率运动向量来对低分辨率剩余图像执行反运动补偿来重构低分辨率图像，并且使用重构的低分辨率图像和从比特流提取到的原始分辨率运动向量来从统一的原始分辨率剩余图像中重构原始分辨率图像。
19.如权利要求18所述的解码器，其中反时间冗余消除器包括：
一个或多个反运动补偿器，用于使用原始分辨率或低分辨率运动向量来对每个低分辨率剩余图像和统一的原始分辨率剩余图像执行反运动补偿；
一个或多个反低通滤波器，用于增加图像的分辨率级别；和
一个或多个低通滤波器，用于降低图像的分辨率级别，
其中将低分辨率剩余图像重构为低分辨率图像，同时将经历了反低通滤波的低分辨率剩余图像与统一的原始分辨率剩余图像相比较来产生原始分辨率高频剩余图像，将通过对通过反运动补偿原始分辨率创建的引用帧进行低通滤波而获得的原始分辨率引用图像与重构的经低通滤波的低分辨率图像相比较，并且与原始分辨率高频剩余图像组合来产生原始分辨率剩余图像，然后对其经历反运动补偿并将其重构为原始分辨率图像。
20.一种可缩放视频解码器，包括：
比特流解释器，用于解释所接收到的比特流，并且从比特流提取编码图像数据和用于原始分辨率和低分辨率级别的运动向量；
反量化器，用于分离和反量化编码图像数据来产生原始分辨率高频变换图像和与原始分辨率高频变换图像对应的低分辨率变换图像；
反空间冗余消除器，用于对每个原始分辨率高频变换图像以及低分辨率变换图像执行逆小波变换来产生原始分辨率高频剩余图像和低分辨率剩余图像；和
反时间冗余消除器，用于使用低分辨率运动向量对低分辨率剩余图像执行反运动补偿来重构低分辨率图像，使用低分辨率剩余图像来从原始高频剩余图像中产生原始分辨率剩余图像，并且使用原始分辨率运动向量对原始分辨率剩余图像执行反运动补偿来重构原始分辨率图像。
21.一种在其上记录有用于执行可缩放视频编码的方法的计算机可读程序的记录介质，该方法包括：
对视频序列中的每个原始分辨率图像执行低通滤波来产生对应于原始分辨率图像的低分辨率图像，并且从原始分辨率图像和低分辨率图像中消除时间冗余来产生原始分辨率剩余图像和低分辨率剩余图像；
对原始分辨率剩余图像和低分辨率剩余图像执行小波变换来分别产生原始分辨率变换图像和低分辨率变换图像，并且将低分辨率变换图像组合到原始分辨率变换图像来产生统一的原始分辨率变换图像；和
量化每个统一的原始分辨率变换图像来产生编码图像数据，并且产生包含编码数据和在从原始分辨率图像和低分辨率图像中消除时间冗余时获得的运动向量的比特流。
CNA2005800072653A 2004-01-31 2005-01-17 用于可缩放视频编码和解码的方法和设备 Pending CN1930890A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040006479A KR20050078709A (ko) 2004-01-31 2004-01-31 스케일러블 비디오 코딩방법 및 디코딩방법과 이를 위한장치
KR1020040006479 2004-01-31

Publications (1)

Publication Number Publication Date
CN1930890A true CN1930890A (zh) 2007-03-14

Family

ID=36955103

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800072653A Pending CN1930890A (zh) 2004-01-31 2005-01-17 用于可缩放视频编码和解码的方法和设备

Country Status (6)

Country Link
US (1) US20050169549A1 (zh)
EP (1) EP1709817A1 (zh)
JP (1) JP2007520150A (zh)
KR (1) KR20050078709A (zh)
CN (1) CN1930890A (zh)
WO (1) WO2005074298A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102084653B (zh) * 2007-06-29 2013-05-08 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
WO2021093620A1 (en) * 2019-11-15 2021-05-20 Huawei Technologies Co., Ltd. Method and system for high-resolution image inpainting

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244502A (ja) * 2004-02-25 2005-09-08 Pioneer Electronic Corp 光ディスク記録装置、光ディスク再生装置および多層型光ディスク
US7580461B2 (en) 2004-02-27 2009-08-25 Microsoft Corporation Barbell lifting for wavelet coding
KR100668345B1 (ko) * 2004-10-05 2007-01-12 삼성전자주식회사 움직임 보상된 계층 생성장치 및 방법
US7885341B2 (en) * 2005-10-21 2011-02-08 Cisco Technology, Inc. Spatial filtering for improving compression efficiency of motion compensated interframe coding
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
KR100825743B1 (ko) * 2005-11-15 2008-04-29 한국전자통신연구원 실시간으로 비트스트림의 공간 해상도를 변환할 수 있는스케일러블 비디오 코딩 방법 및 그 방법을 이용한 코덱
US9332274B2 (en) * 2006-07-07 2016-05-03 Microsoft Technology Licensing, Llc Spatially scalable video coding
KR101425602B1 (ko) * 2008-03-12 2014-07-31 삼성전자주식회사 영상 부호화/복호화 장치 및 그 방법
ITMI20080514A1 (it) 2008-03-27 2009-09-28 Univ Firenze Uso della oleuropeina e suoi derivati nel trattamento del diabete mellito di tipo 2 e di patologie associate a fenomeni di aggregazione di proteine
CN101710990A (zh) * 2009-11-10 2010-05-19 华为技术有限公司 视频图像编码处理、解码处理方法和装置及编解码系统
US8428364B2 (en) 2010-01-15 2013-04-23 Dolby Laboratories Licensing Corporation Edge enhancement for temporal scaling with metadata
US9602819B2 (en) * 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
IT202000006130A1 (it) 2020-03-23 2021-09-23 Giorgio Grossi Sistema e metodo per la realizzazione di fondazioni prefabbricate in acciaio da collocarsi mediante infissione

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW358296B (en) * 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
IL122299A (en) * 1997-11-25 2003-11-23 Broadcom Corp Video encoding device
US6944225B2 (en) * 2001-07-24 2005-09-13 Sharp Laboratories Of America, Inc. Resolution-scalable video compression

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102084653B (zh) * 2007-06-29 2013-05-08 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
WO2021093620A1 (en) * 2019-11-15 2021-05-20 Huawei Technologies Co., Ltd. Method and system for high-resolution image inpainting
US11501415B2 (en) 2019-11-15 2022-11-15 Huawei Technologies Co. Ltd. Method and system for high-resolution image inpainting

Also Published As

Publication number Publication date
US20050169549A1 (en) 2005-08-04
JP2007520150A (ja) 2007-07-19
KR20050078709A (ko) 2005-08-08
WO2005074298A1 (en) 2005-08-11
EP1709817A1 (en) 2006-10-11

Similar Documents

Publication Publication Date Title
CN1930890A (zh) 用于可缩放视频编码和解码的方法和设备
US20230421806A1 (en) Bit-depth scalability
JP5039142B2 (ja) 品質スケーラブルな符号化方法
KR101365597B1 (ko) 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
KR100772883B1 (ko) 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
CN108293138B (zh) 有效和可缩放帧内视频/图像编码
RU2503137C2 (ru) Способ и устройство для высокомасштабируемого внутрикадрового видеокодирования
CN104380745B (zh) 图层间与视图间自适应帧内预测方法及其装置
US20170155905A1 (en) Efficient intra video/image coding using wavelets and variable size transform coding
CN1722836A (zh) 视频编码和解码方法以及视频编码器和解码器
CN101069430A (zh) 分级多视角图像编码和解码装置及方法
US20080095235A1 (en) Method and apparatus for intra-frame spatial scalable video coding
CN1764276A (zh) 使用层间滤波的视频编码和解码方法及使用该方法的设备
CN101049026A (zh) 采用栅格运动估计和补偿的可扩展视频编码
CN1961582A (zh) 在多层结构中有效压缩运动向量的方法和装置
WO2017095506A1 (en) Efficient, compatible, and scalable intra video/image coding using wavelets and hevc coding
WO2010027637A2 (en) Skip modes for inter-layer residual video coding and decoding
CN1906945A (zh) 用于可缩放视频编码和解码的方法和装置
CN1914921A (zh) 在编码器中提供可分级性的可分级视频编码设备和方法
US20060013311A1 (en) Video decoding method using smoothing filter and video decoder therefor
JP2007184800A (ja) 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法
KR20180019510A (ko) 비디오 코딩시 오차 변환 및 역 변환 시스템들 및 방법들
CN1698386A (zh) 编码方法、解码方法、编码装置及解码装置
CN1922881A (zh) 再现可伸缩视频流的方法及设备
CN1722839A (zh) 视频编码和解码方法以及视频编码器和解码器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication