CN101015214B - 多层视频编码和解码方法以及多层视频编码器和解码器 - Google Patents

多层视频编码和解码方法以及多层视频编码器和解码器 Download PDF

Info

Publication number
CN101015214B
CN101015214B CN2005800300081A CN200580030008A CN101015214B CN 101015214 B CN101015214 B CN 101015214B CN 2005800300081 A CN2005800300081 A CN 2005800300081A CN 200580030008 A CN200580030008 A CN 200580030008A CN 101015214 B CN101015214 B CN 101015214B
Authority
CN
China
Prior art keywords
frame
video
coding
resolution
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800300081A
Other languages
English (en)
Other versions
CN101015214A (zh
Inventor
韩宇镇
李培根
车尚昌
河昊振
李教爀
李宰荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2005/002654 external-priority patent/WO2006028330A1/en
Publication of CN101015214A publication Critical patent/CN101015214A/zh
Application granted granted Critical
Publication of CN101015214B publication Critical patent/CN101015214B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了多层视频编码和解码方法、多层视频编码器以及多层视频解码器。多层视频编码方法包括：使用第一视频编码方案编码具有预定分辨率的视频帧；使用经第一视频编码方案编码的帧作为参考，使用第二视频编码方案编码具有与所述预定分辨率相同的分辨率的所述视频帧；以及生成含有经第一和第二视频编码方案编码的帧的比特流。

Description

多层视频编码和解码方法以及多层视频编码器和解码器
技术领域
符合本发明的装置和方法涉及一种多层视频编码算法，更具体来讲，涉及一种被设计来使用多个编码算法编码预定分辨率层的多层视频编码算法。
背景技术
随着包括因特网的信息通信技术的发展，视频通信以及文本和语音通信有所增加。传统的文本通信不能满足用户的各种需求，所以能够提供诸如文本、图片以及音乐等各种类型信息的多媒体服务有所增加。由于多媒体数据量通常较大，因此多媒体数据需要较大容量的存储介质以及较宽的传输带宽。例如，具有640×480分辨率的24比特真彩色图像需要每帧640×480×24比特的容量，即，大约每帧7.37兆比特(Mbits)的数据。当以30帧每秒的速率传输这个图像时，则需要221兆比特/秒(Mbits/sec)的带宽。当存储基于这样的图像的90分钟电影时，便需要大约1200吉比特(Gbits)的存储空间。因此，压缩编码方法对于传输包括文本、视频和音频的多媒体数据是必需的。
多媒体数据压缩的基本原理是去除数据冗余。换句话说，可以通过去除空间冗余、时间冗余(temporal redundancy)、或者心理视觉(mental visual)冗余来对视频数据进行压缩，其中，在空间冗余中，相同的颜色或对象在图像中重复；在时间冗余中，运动图像中的相邻帧之间存在很小的变化，或者相同的声音在音频中重复；而心理视觉冗余考虑了人类视力以及对高频的有限感知能力。
图1示出了应用视频压缩的环境。
视频数据由视频编码器110压缩。目前已知的基于离散余弦变换(DCT)的视频压缩算法有MPEG-2、MPEG-4、H.263以及H.264。近些年，已经对基于小波的可缩放的(scalable)视频编码进行了积极的研究。压缩视频数据经由网络120被发送到视频解码器130。视频解码器130解码压缩的视频数据，以便重建原始视频数据。
视频编码器110压缩原始视频数据从而不超过网络120的可用带宽，以便视频解码器130解码经压缩的数据。但是，通信带宽可能根据网络120的类型而变化。例如，以太网的可用通信带宽就不同于无线局域网(WLAN)的可用通信带宽。蜂窝通信网络可能具有非常窄的带宽。因此，对用于从同一压缩视频数据生成以各种比特速率压缩的视频数据的方法，特别是可缩放视频编码方法，进行了积极的研究。
可缩放视频编码是一种允许视频数据提供可缩放性(scalability)的视频压缩技术。可缩放性是从相同的压缩比特流以不同的分辨率、帧速率和质量生成视频序列的能力。可以使用运动补偿时间滤波(Motion CompensationTemporal filtering，MCTF )、无约束的MCTF(Unconstrained MCTF，UMCTF)、或逐步时域逼近和参考(Successive Temporal Approximation and Referencing，STAR)算法来提供时间可缩放性。而通过近年已经积极研究的小波变换算法或多层编码则可以实现空间可缩放性。使用嵌入式零树小波(EmbeddedZeroTrees Wavelet，EZW)、多级树集合分裂(Set Partitioning in HierarchicalTrees，SPIHT)、嵌入零块编码(Embedded ZeroBlock Coding，EZBC)、或者优化截断的嵌入式区块编码(Embedded Block Coding with OptimizedTruncation，EBCOT)可以获得信噪比(Signal-to-Noise，SNR)可缩放性。
图2和3例示了多层比特流结构的例子。
参考图2，多层视频编码器使用提供当前可以得到的最高编码效率的MPEG-4高级视频编码(Advanced Video Coding，AVC)来对每一层进行编码。MPEG-4 AVC算法去除帧之间的时间冗余，并使用DCT来变换得到的帧，以便进行量化。
参考图2，每一层具有至少一个不同的分辨率、帧速率和比特速率。在AVC方案中，对具有最低分辨率、最低帧速率以及最低比特速率的基础层(base layer)帧进行编码，然后使用经编码的基础层帧来对加强层(enhancement layer)进行编码。基于AVC的多层视频编码方案使用基于AVC的技术对每一层进行编码，提供高编码效率。特别是，AVC算法中使用的内部预测(intra prediction)和解块(deblocking)技术有效地去除了由于基于块的编码所导致的大多数人为失真(artifacts)。而且，针对速率失真(rate-distortion)对每一层进行了优化。但是，所生成的比特流不具有灵活的可缩放性。也就是，很难使用由多层AVC视频编码生成的比特流来提供精细粒度可缩放性(fine grain scalability，FGS)和组合可缩放性(combinedscalability)，因为可缩放性是互相依赖的。当视频数据被编码为多层时，图2所示的多层编码方案对所有层执行AVC编码。
参考图3，在使用AVC编码具有最低分辨率、最低帧速率和最低比特速率的基础层之后，通过小波编码使用经编码的基础层来对具有最高分辨率、最高帧速率和最高质量的层进行编码。
由于使用小波编码来编码具有最高分辨率、最高帧速率和最高质量的层，因此图3所示的编码方案能够提供具有完全可缩放性(full scalability)的比特流。而且，由于使用AVC编码最低分辨率层，因此视频解码器能够在最低分辨率重建具有满意质量的视频帧。
发明内容
技术问题
虽然图2所示的比特流针对速率失真而对每一层进行了优化，但是其具有较差的可缩放性，图3所示的比特流具有很好的可缩放性，但是具有低视频质量，因为除最低分辨率AVC编码层之外的所有层都是从一个经小波编码的层重建的。
技术方案
本发明提供能够提供较高编码效率和可缩放性的多层视频编码和解码方法，以及多层视频编码器和解码器。
根据本发明的一个方面，提供一种多层视频编码方法，包括：使用第一视频编码方案编码具有预定分辨率的视频帧；参照经第一视频编码方案编码的帧，使用第二视频编码方案编码具有与所述预定分辨率相同的分辨率的所述视频帧；以及生成含有经第一和第二视频编码方案编码的帧的比特流。
根据本发明的另一个方面，提供一种多层视频编码方法，包括：通过下采样视频帧生成较低分辨率视频帧；编码该较低分辨率视频帧；使用经编码的较低分辨率视频帧作为参考编码所述视频帧；以及生成含有经编码的较低分辨率视频帧和所述视频帧的比特流，其中，编码较低分辨率视频帧包括：使用第一视频编码方案编码该较低分辨率视频帧；以及参照经第一视频编码方案编码的较低分辨率帧，使用第二视频编码方案编码该较低分辨率视频帧。
根据本发明的再一个方面，提供一种多层视频编码方法，包括：(a)使用第一视频编码方案编码具有预定分辨率的视频帧；(b)参照经第一视频编码方案编码的帧，使用第二视频编码方案编码具有与所述预定分辨率相同的分辨率的所述视频帧；以及(c)生成含有所有分辨率层的经编码的帧的比特流，其中，按照从较低分辨率层到较高分辨率层的次序，对所有分辨率层递归地执行步骤(a)和步骤(b)。
根据本发明的再一个方面，提供一种多层视频编码器，包括：下采样器，下采样较高分辨率视频帧以生成较低分辨率视频帧；较低分辨率视频编码单元，编码较低分辨率视频帧；较高分辨率视频编码单元，使用经编码的较低分辨率视频帧作为参考编码较高分辨率视频帧；以及比特流生成器，生成含有经编码的较低分辨率帧和经编码的较高分辨率视频帧的比特流，其中，较低分辨率视频编码单元使用第一视频编码方案编码较低分辨率视频帧，并使用经第一视频编码方案编码的较低分辨率帧，用第二视频编码方案编码较低分辨率视频帧，由此生成经编码的较低分辨率帧。
根据本发明的再一个方面，提供一种多层解码方法，包括：从比特流提取经第一视频编码方案编码的帧和经第二视频编码方案编码的帧；使用第一视频解码方案解码经第一视频编码方案编码的帧以重建第一帧；以及使用第二视频解码方案、以与所重建的第一帧相同的分辨率、参照所重建的第一帧解码经第二视频编码方案编码的帧，以重建第二帧。
根据本发明的再一个方面，提供一种多层解码方法，包括：从比特流提取经第一视频编码方案编码的帧和经第二视频编码方案编码的帧；使用第一视频解码方案解码经第一视频编码方案编码的帧，以重建第一帧；使用第二视频解码方案、以与所重建的第一帧相同的分辨率解码经第二视频编码方案编码的帧，以重建第二帧；以及将所重建的第二帧添加到所重建的第一帧以重建视频帧。
根据本发明的另一个方面，提供一种多层视频解码方法，包括：从比特流提取经编码的较低分辨率层帧和经编码的较高分辨率层帧；解码经编码的较低分辨率层帧以重建较低分辨率层帧；以及参照所重建的较低分辨率层帧解码经编码的较高分辨率层帧，以重建较高分辨率层帧，其中，经编码的较低分辨率层帧包括经第一视频编码方案编码的帧和经第二视频编码方案编码的帧，并且其中，解码较低分辨率层帧包括：使用第一视频解码方案解码经第一视频编码方案编码的帧以重建第一帧；参照所重建的第一帧，使用第二视频解码方案解码经第二视频编码方案编码的帧以重建第二帧。
根据本发明的另一个方面，提供一种多层视频解码方法，包括：从比特流提取经编码的较低分辨率层帧和经编码的较高分辨率层帧；解码经编码的较低分辨率层帧以重建较低分辨率层帧；以及参照所重建的较低分辨率层帧解码经编码的较高分辨率层帧以重建较高分辨率层帧，其中，经编码的较低分辨率层帧包括经第一视频编码方案编码的帧和经第二视频编码方案编码的帧，并且其中，解码较低分辨率层帧包括：使用第一视频解码方案解码经第一视频编码方案编码的帧以重建第一帧；使用第二视频解码方案解码经第二视频编码方案编码的帧以重建第二帧；以及将所重建的第二帧添加到所重建的第一帧以重建较低分辨率层视频帧。
根据本发明的另一个方面，提供一种多层视频解码方法，包括：从比特流提取经编码的较低分辨率层帧和经编码的较高分辨率层帧；解码经编码的较低分辨率层帧以重建较低分辨率层帧；以及参照所重建的较低分辨率层帧解码经编码的较高分辨率层帧，以重建较高分辨率层帧，其中，经编码的较低分辨率层帧包括经第一视频编码方案编码的帧和经第二视频编码方案编码的帧，并且其中，解码较低分辨率层帧包括：使用第一视频解码方案解码经第一视频编码方案编码的帧，以重建第一帧；使用第二视频解码方案解码经第二视频编码方案编码的帧，以重建第二帧；以及将所重建的第二帧添加到所重建的第一帧以重建较低分辨率层视频帧。
根据本发明的另一个方面，提供一种多层视频解码方法，包括：从比特流提取经编码的较低分辨率层帧和经编码的较高分辨率层帧；以及解码经编码的较低分辨率层帧和经编码的较高分辨率层帧以重建视频帧，其中，每个分辨率层的经编码的帧包括经第一视频编码方案编码的帧和经第二视频编码方案编码的帧，该方法包括：使用第一视频解码方案对预定分辨率层解码经第一视频编码方案编码的帧，以重建第一帧；以及参照所重建的第一帧，使用第二视频解码方案对所述分辨率层解码经第二视频编码方案编码的帧，以重建第二帧，并且其中，按照从较低分辨率层到较高分辨率层的次序，对所有分辨率层递归地执行解码经第一视频编码方案编码的帧和解码经第二视频编码方案编码的帧。
根据本发明的另一个方面，提供一种多层视频解码方法，包括：从比特流提取经编码的较低分辨率层帧和经编码的较高分辨率层帧；以及解码经编码的较低分辨率层帧和经编码的较高分辨率层帧以重建视频帧，其中，每个分辨率层的经编码的视频帧包括经第一视频编码方案编码的帧和经第二视频编码方案编码的帧，该方法包括：使用第一视频解码方案对预定分辨率层解码经第一视频编码方案编码的帧，以重建第一帧；使用第二视频解码方案对所述分辨率层解码经第二视频编码方案编码的帧，以重建第二帧；以及将所重建的第二帧添加到所重建的第一帧，以便由此重建所述分辨率层中的视频帧，其中，按照从较低分辨率层到较高分辨率层的次序，对所有分辨率层递归地执行解码经第一视频编码方案编码的帧、解码经第二视频编码方案编码的帧、以及添加以重建视频帧。
根据本发明的另一个方面，提供一种多层视频解码器，包括：比特流解译器，其解译比特流以提取经编码的较低分辨率层帧和经编码的较高分辨率层帧；较低分辨率视频解码单元，其解码经编码的较低分辨率层帧；以及较高分辨率视频解码单元，其使用所重建的较低分辨率层帧作为参考，解码经编码的较高分辨率层帧，其中，较低分辨率视频解码单元使用第一视频解码方案解码经第一视频编码方案编码的帧，以重建第一帧，并使用第一帧，以便使用第二视频解码方案解码经第二视频编码方案编码的帧，由此重建较低分辨率层帧。
附图说明
通过参考附图对本发明的示范实施例进行详细描述，本发明的上述以及其它方面将变得更加明显，附图中：
图1示出了应用视频压缩的环境；
图2和3示出了多层视频比特流结构的例子；
图4示出了根据本发明的示范实施例的多层视频比特流的结构；
图5是根据本发明的示范实施例的多层视频编码器的框图；
图6是例示了根据本发明的示范实施例的多层视频编码处理的流程图；
图7和8例示了根据本发明的示范实施例的详细多层视频编码处理；
图9例示了在根据本发明的示范实施例的多层视频编码处理中对每一层分配比特速率的处理；
图10和11示出了根据本发明的示范实施例的多层视频比特流的结构；
图12是根据本发明的示范实施例的多层视频解码器的框图；以及
图13是例示了根据本发明的示范实施例的多层视频解码处理的流程图。
具体实施方式
本发明的方面以及实现这些方面的方法可以通过参考以下对示范实施例和附图的描述来更容易地理解。但是本发明可以用许多不同的形式来实施，而不应当被解释为限于这里所阐述的示范实施例。相反，提供这些示范实施例是为了使本公开全面和完整，并使本公开将本发明的概念充分传达给本领域技术人员，本发明仅仅由所附权利要求书来定义。说明书中相似的参考标记始终对应相似的元素。
现在将参考示出了本发明示范实施例的附图更全面地描述本发明的示范实施例。
图4示出了根据本发明的示范实施例的多层视频比特流的结构。
参考图4，通过多层视频编码生成的比特流对于每个分辨率具有两层。一层使用高级视频编码(AVC)进行编码，而另一层使用小波编码进行编码。在本说明书中，AVC编码或AVC层始终指的是采用AVC算法中的离散余弦变换(DCT)和量化的编码或层。小波编码或小波层指的是采用小波变换和嵌入式量化(embedded quantization)的编码或层。为了生成具有时间可缩放性的比特流，AVC编码方案和小波编码方案分别采用提供时间可缩放性的MCTF、UMCTF或STAR算法。
每个分辨率的AVC层保证了在时间空间质量(spatio-temporal-quality)层面的效率，而小波层保证了精细粒度可缩放性(FGS)。预解码器简单地截断(truncate)小波层比特流的一部分，以产生具有在AVC层质量与小波层质量之间的质量的比特流。相同的截断方案将被应用到多层。
例如，预解码器可以从图4所示的比特流产生具有QCIF分辨率和32到64千比特/秒(kbps)质量的比特流。为了实现这点，预解码器截断所有CIF和SD分辨率层以及每个QCIF分辨率小波层的全部或部分。
在图5中示出了生成根据本发明的示范实施例的生成多层比特流的视频编码器的例子。为了便于解释，假设该视频编码器具有用于两个分辨率层的编码单元。
图5是根据本发明的示范实施例的多层视频编码器的框图。
参考图5，多层视频编码器包括下采样器550、编码低分辨率层视频帧的AVC编码单元510和小波编码单元520、编码高分辨率层视频帧的AVC编码单元530和小波编码单元540、以及生成比特流的比特流生成器560。
更具体地讲，下采样器550下采样视频帧以产生低分辨率视频帧。
多层视频编码器对于每个分辨率层具有两个编码单元，即，AVC编码单元和小波编码单元。也就是，多层视频编码器包括用于编码低分辨率层视频帧的AVC编码单元510和小波编码单元520，以及用于编码高分辨率层视频帧的AVC编码单元530和小波编码单元540。
比特流生成器560生成含有经编码的低和高分辨率层帧的比特流。
现在将描述用于生成比特流的处理。
首先，下采样器550下采样视频帧500以产生具有该视频帧的一半分辨率的低分辨率视频帧。该低分辨率视频帧被发送到用于低分辨率层的AVC编码单元510和小波编码单元520，同时视频帧500被发送到用于高分辨率层的AVC编码单元530和小波编码单元540。
用于低分辨率层的AVC编码单元510包括去除存在于低分辨率帧中的时间冗余的时间滤波器(temporal filter)511、对其中已经去除了时间冗余的低分辨率帧执行DCT的DCT变换器512、以及量化经DCT变换的低分辨率帧的量化器513。经AVC编码的低分辨率层帧被提供用于执行对低分辨率层的小波编码。
用于低分辨率层的小波编码单元520包括使用经AVC编码的低分辨率层帧去除低分辨率帧中的时间冗余的时间滤波器521、对低分辨率帧执行小波变换的小波变换器522、以及量化经小波变换的低分辨率帧的量化器523。经小波编码的低分辨率层帧被提供用于执行对高分辨率层的AVC编码。
用于高分辨率层的AVC编码单元530包括使用经小波编码的低分辨率层帧去除存在于高分辨率帧500中的时间冗余的时间滤波器531、对其中已经去除了时间冗余的高分辨率帧执行DCT的DCT变换器532、以及量化经DCT变换的高分辨率帧的量化器533。经AVC编码的高分辨率层帧被提供用于执行对高分辨率层的小波编码。
用于高分辨率层的小波编码单元540包括使用经AVC编码的高分辨率层帧去除存在于高分辨率帧500中的时间冗余的时间滤波器541、对高分辨率帧执行小波变换的小波变换器542、以及量化经小波变换的高分辨率帧的量化器543。经小波编码的高分辨率层帧被提供用于执行对高分辨率层的小波编码。
比特流生成器560生成含有经AVC编码和小波编码的低分辨率层帧以及经AVC编码和小波编码的高分辨率层帧的比特流。该比特流含有关于经编码的帧的信息、包括序列首部(header)、图像组(group-of-pictures，GOP)首部、帧首部的首部信息、以及诸如在时间滤波期间获得的运动向量的其它信息。
该比特流由预解码器(未示出)进行预解码，并被发送到多层视频解码器。例如，预解码器可以截断比特流的高分辨率层以产生只含有经编码的低分辨率层帧的比特流，以用于具有小显示屏幕的设备，比如蜂窝电话或个人数字助理(PDA)。当网络条件较差时，预解码器还可以截断一部分比特流以产生具有低比特速率的比特流。同时，当所需要的帧速率较低时，预解码器截断比特流的一些帧以生成具有低帧速率的比特流。
图6是例示多层视频编码处理的流程图。
参考图6，在操作S610，视频帧被输入到多层视频编码器，而在操作620，多视频编码器将所输入的视频帧下采样成较低的分辨率。多视频编码器使用MPEG下采样器对输入视频帧进行下采样，因为与当前可用的小波下采样器相比较，MPEG下采样器能够产生平滑的、下采样版本(version)的低分辨率图像。但是，能够获得图像的下采样版本的任何其它滤波器也可以用于进行下采样。为了获得具有三个分辨率层的比特流，多层视频编码器利用系数(factor)2和4下采样输入的视频帧以生成一半和四分之一分辨率帧。为了获得具有四个分辨率层的比特流，多层视频编码器利用系数2、4和8下采样输入的视频帧以生成一半、四分之一、以及八分之一分辨率帧。
在操作S630，多层视频编码器对低分辨率视频帧执行AVC编码。在操作S640，该编码器使用经AVC编码的低分辨率视频帧对低分辨率视频帧执行小波编码。例如，在执行AVC编码以产生具有QCIF分辨率、15赫兹(Hz)帧速率、以及32千比特/秒(kbps)比特速率的经AVC编码的视频帧之后，该编码器使用经AVC编码的帧作为参考，执行小波编码以生成具有与经AVC编码的视频帧相同的分辨率和帧速率、以及64kbps比特速率的经小波编码的帧。
在编码低分辨率帧之后，多层视频编码器使用经编码的低分辨率帧来编码高分辨率视频帧。
更具体地讲，在操作S650，编码器对高分辨率视频帧执行AVC编码。在操作S660，编码器使用经AVC编码的高分辨率视频帧对高分辨率视频帧执行小波编码。例如，在执行AVC编码以产生具有CIF分辨率、30Hz帧速率、以及256kbps比特速率的经AVC编码的视频帧之后，编码器使用经AVC编码和小波编码的QCIF分辨率的视频帧以及经AVC编码的CIF帧作为参考，执行小波编码以生成具有CIF分辨率、30Hz帧速率、以及750kbps比特速率的经小波编码的帧。一旦对所有分辨率层执行了视频编码，在操作S670，多层视频编码器使用经编码的视频帧生成比特流。
图7和8例示了根据本发明的示范实施例的具体的多层视频编码处理的例子。虽然图7和8示出了对两个分辨率层执行视频编码，但是也可以以相同方式对三个或更多的分辨率层执行视频编码。
首先描述图7中示出的本发明的示范实施例。
多层视频编码器下采样视频帧700以生成低分辨率视频帧710，然后对低分辨率视频帧710执行AVC编码以产生将包含在比特流中的经AVC编码的低分辨率层帧。
然后，多层视频编码器解码经AVC编码的低分辨率层帧以获得经解码的帧720，并且比较经解码的帧720与低分辨率视频帧710以获得低分辨率残余帧(residual frame)730。
编码器对低分辨率残余帧730执行小波编码以生成经小波编码的低分辨率层帧，然后解码该经小波编码的低分辨率层帧以获得经解码的帧740，然后该经解码的帧740被加到经解码的帧720以获得经解码的低分辨率层视频帧750。
编码器将经解码的低分辨率层视频帧750上采样为较高分辨率，并将该上采样版本的帧760与视频帧700进行比较以获得高分辨率层帧770。对该高分辨率层帧770执行AVC编码以生成将被包含在比特流中的经AVC编码的高分辨率层帧。经AVC编码的高分辨率层帧被解码以获得经解码的帧780，并且该经解码的帧780与高分辨率层帧770进行比较，由此获得高分辨率残余帧790。
然后对高分辨率残余帧790执行小波编码以获得将被包含在比特流中的经小波编码的高分辨率层帧。
多层视频编码器最后生成含有经AVC编码和小波编码的低分辨率层帧以及经AVC编码和小波编码的高分辨率层帧的比特流。
接下来，参考图8，多层视频编码器下采样高分辨率视频帧以生成低分辨率视频帧，并对该低分辨率视频帧执行AVC编码以产生经AVC编码的低分辨率层视频帧，接着使用该经AVC编码的低分辨率层视频帧对该低分辨率视频帧执行小波编码。
更具体地讲，第N-1和第N+1低分辨率视频帧811和813被用来编码第N低分辨率视频帧812。当低分辨率视频帧811和813被用作开环(open-loop)视频编码的参考时，在解码经AVC编码的低分辨率视频帧之后重建的帧被用于闭环(closed-loop)视频编码。
在完成对低分辨率层的AVC编码之后，多层视频编码器对低分辨率层执行小波编码。多层视频编码器可以使用第N-1和第N+1低分辨率视频帧821和823，或者通过解码经AVC编码的帧而重建的帧来对第N低分辨率视频帧822进行编码。
在完成对低分辨率层的视频编码之后，编码器对高分辨率层执行视频编码。
可以使用第N-1和第N+1高分辨率层视频帧841和843、或者通过解码第N低分辨率视频帧822而重建的帧来对第N高分辨率层视频帧842执行AVC编码。在可以被用作参考之前，重建的帧被上采样以生成视频帧832。
然后，编码器使用第N-1和第N+1高分辨率层视频帧851和853、或者通过解码第N高分辨率层视频帧842而重建的帧来对第N高分辨率层视频帧852执行小波编码。
图7所示的多层视频编码处理包括在时间滤波之后的层间参考(inter-layer referencing)，而图8所示的视频编码处理包括在时间滤波期间的层间参考。当比特流中存在大量运动时，图7所示的编码处理能够提供比图8所示的处理更好的编码效率，因为帧之间的空间关系比它们之间的时间关系更密切(closer)。相反，当比特流中存在少量运动时，后者能够展现出比前者更高的编码效率，因为帧之间的时间关系比它们之间的空间关系更密切。
现在将描述为每一层分配比特速率的处理。
图9例示了在根据本发明的示范实施例的多层视频编码处理中为每一层分配比特速率的处理。为了便于解释，假设多层视频编码器支持三个不同的分辨率层，即，QCIF、CIF和SD层。
视频编码的可缩放性要求为：QCIF层930具有15Hz帧速率以及96到192kbps比特速率；CIF层920具有7.5到30Hz帧速率、192到768kbps比特速率；而SD层910具有15到60Hz帧速率以及768到3072kbps比特速率。
首先将描述对QCIF层930的视频编码。多层视频编码器对QCIF帧执行AVC编码以产生具有96kbps比特速率以及15Hz帧速率的经AVC编码的QCIF层帧。然后，编码器使用该经AVC编码的帧对QCIF帧执行小波编码以生成具有192kbps比特速率和15Hz帧速率的经小波编码的QCIF层帧。
接下来将描述对CIF层920的视频编码。
编码器对CIF帧执行AVC编码以生成具有CIF层920可用的最大帧速率30Hz的经AVC编码的CIF层帧。为了重建具有192kbps比特速率和7.5Hz帧速率的视频帧，需要经AVC编码和小波编码的QCIF层帧以及一部分经AVC编码的CIF层帧。
然后编码器对CIF帧执行小波编码以生成具有CIF层920允许的最大帧速率30Hz的经小波编码的CIF层帧。为了重建具有384到768kbps帧速率的视频帧，需要经AVC编码和小波编码的QCIF层帧、经AVC编码的CIF层帧、以及一部分经小波编码的CIF层帧。
最后将描述对SD层910的视频编码。
编码器对SD帧执行AVC编码以生成具有SD层910可用的最大帧速率60Hz的经AVC编码的SD层帧。为了重建具有768kbps比特速率和15Hz帧速率的视频帧，需要经AVC编码和小波编码的QCIF层帧、经AVC编码和小波编码的CIF层帧、以及一部分经AVC编码的SD层帧。
然后编码器对SD帧执行小波编码以生成具有SD层910允许的最大帧速率60Hz的经小波编码的SD层帧。为了重建具有1536到3072kbps帧速率的视频帧，需要经AVC编码和小波编码的QCIF层帧、经AVC编码和小波编码的CIF层帧、经AVC编码的SD层帧、以及一部分经小波编码的SD层帧。
多层视频编码可以以各种其它方式来实施。图10和11示出了根据本发明的其它示范实施例的多层视频比特流的结构。
与图4所示的比特流不同，图10所示的比特流具有只使用小波编码进行编码的SD层，因为具有较低比特速率1.5Mbps的视频帧很容易从具有高分辨率和足够的比特速率，例如，3.0Mbps的经小波编码的比特流重建。
图12是根据本发明的示范实施例的多层视频解码器的框图。为了便于解释，假设视频解码器从具有两个分辨率层的比特流重建视频帧。
参考图12，多层视频解码器包括比特流解译器1250、对经编码的低分辨率层视频帧进行解码的AVC解码单元1210和小波解码单元1220、以及对经编码的高分辨率层视频帧进行解码的AVC解码单元1230和小波解码单元1240。
比特流解译器1250从输入比特流提取经编码的高和低分辨率层帧。经编码的低分辨率层帧由经AVC编码的低分辨率层帧和经小波编码的低分辨率层帧组成，而经编码的高分辨率层帧由经AVC编码的高分辨率层帧和经小波编码的高分辨率层帧组成。
用于低分辨率层的AVC解码单元1210包括逆(inverse)量化经AVC编码的低分辨率层帧的逆量化器1211、对经逆量化的帧执行逆DCT的逆DCT变换器1212、以及对经过逆DCT的帧执行逆时间滤波的逆时间滤波器1213。
用于低分辨率层的小波解码单元1220包括使用由AVC解码单元1210重建的视频帧逆量化经小波编码的低分辨率层帧的逆量化器1221、对经逆量化的帧执行逆小波变换的逆小波变换器1222、以及对经过逆小波变换的帧执行逆时间滤波的逆时间滤波器1223。
用于高分辨率层的AVC解码单元1230包括使用由用于低分辨率层的小波解码单元1220重建的视频帧逆量化经AVC编码的高分辨率层帧的逆量化器1231、对经逆量化的帧执行逆DCT的逆DCT变换器1232、以及对经逆DCT变换的帧执行逆时间滤波的逆时间滤波器1233。
用于高分辨率层的小波解码单元1240包括使用由AVC解码单元1230重建的视频帧逆量化经小波编码的高分辨率层帧的逆量化器1241、对经逆量化的帧执行逆小波变换的逆小波变换器1242、以及对经逆小波变换的帧执行逆时间滤波的逆时间滤波器1243。
这里所使用的术语“单元”是指，但不限于，执行一定任务的软件或硬件组件，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。单元可以被有利地配置为驻留在(reside on)可寻址的存储介质上，并被配置为在一个或多个处理器上执行。因此，举例来说，单元可以包括诸如软件组件、面向对象的软件组件、类组件以及任务组件的组件、处理、函数、属性、过程、子例程、程序代码段、驱动器、固件、微代码(mrcrocode)、电路、数据、数据库、数据结构、表格、阵列、以及变量。在组件和单元中提供的功能性可以组合成更少的组件和单元，或者进一步分割成附加的组件和单元。此外，组件和单元可以实施为它们在通信系统中的一个或多个计算机上执行。
图13是例示了根据本发明的示范实施例的多层视频解码处理的流程图。
参考图13，在操作S1310，当比特流被馈送到多层视频解码器时，多层视频解码器解译该比特流，并从比特流提取经编码的高和低分辨率帧。
在提取经编码的帧之后，在操作S1320，对在经编码的帧中的经AVC编码的低分辨率层帧执行AVC解码，以解码低分辨率AVC层。通过解码低分辨率AVC层而重建的视频帧被用于解码低分辨率小波层。
在操作S1330，编码器使用通过解码低分辨率AVC层而重建的视频帧来解码低分辨率小波层。也就是，使用通过解码低分辨率AVC层而重建的视频帧对在经编码的帧中的经小波编码的低分辨率层帧执行小波解码，以便解码低分辨率小波层。通过解码低分辨率小波层而重建的视频帧被提供用于解码高分辨率AVC层。
在操作S1340，编码器使用通过解码低分辨率小波层而重建的视频帧解码高分辨率AVC层。也就是，使用通过解码低分辨率小波层而重建的视频帧对在经编码的帧中的经AVC编码的高分辨率层帧执行AVC解码，以便解码高分辨率AVC层。通过解码高分辨率AVC层而重建的视频帧被提供用于解码高分辨率小波层。
在操作S1350，编码器使用通过解码高分辨率AVC层而重建的视频帧解码高分辨率小波层。也就是，使用通过解码高分辨率AVC层而重建的视频帧对在经编码的帧中的经小波编码的高分辨率层帧执行小波解码，以便解码高分辨率小波层。
在操作S1360，在完成对所有层的解码之后，多层视频解码器使用重建的视频帧生成视频信号，然后通过显示设备进行显示。
工业应用性
如上所述，根据本发明的示范实施例的编码和解码方法允许使用多个不同的视频编码方案对预定分辨率层进行编码/解码，由此提供了很好的可缩放性和编码效率。
虽然参考本发明的示范实施例示出和描述了本发明，但是，本领域的普通技术人员应当理解，在不脱离由下面的权利要求书定义的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。例如，虽然一个分辨率层被描述为包括AVC层和小波层，但是该分辨率层还可以由使用其它编码算法的两个层组成。而且，虽然以上描述了一个分辨率层使用两个视频编码方案来编码，但是该分辨率层也可以使用三个或更多的视频编码方案来编码。

Claims (6)

1.一种多层视频编码方法，包括：
使用第一视频编码方案编码具有预定分辨率的视频帧；
参照经第一视频编码方案编码的视频帧，使用第二视频编码方案编码具有与所述预定分辨率相同的分辨率的所述视频帧；以及
生成含有所有分辨率层的经编码的视频帧的比特流，
其中，按照从较低分辨率层到较高分辨率层的次序，对所有分辨率层递归地执行所述使用第一视频编码方案的编码和所述使用第二视频编码方案的编码，
其中，所述第一视频编码方案基于高级视频编码(AVC)，而所述第二视频编码方案基于小波编码。
2.如权利要求1所述的方法，其中，所述第一和第二编码方案以相同的帧速率执行。
3.如权利要求1所述的方法，其中，使用第二视频编码方案编码所述视频帧包括：
解码所述经第一视频编码方案编码的视频帧；
获得在所述视频帧与经解码的视频帧之间的残余帧；以及
使用第二视频编码方案编码所述残余帧。
4.如权利要求1所述的方法，其中，使用第二视频编码方案编码所述视频帧包括：
解码所述经第一视频编码方案编码的视频帧；以及
使用第二视频编码方案编码所述视频帧，
其中，经解码的视频帧被用作用于在使用第二视频编码方案编码所述视频帧期间执行的时间滤波的参考。
5.一种多层视频解码方法，包括：从比特流提取经编码的较低分辨率层帧和经编码的较高分辨率层帧，并且解码所述经编码的较低分辨率层帧和所述经编码的较高分辨率层帧以重建视频帧，其中，每个分辨率层的经编码的帧包括经第一视频编码方案编码的帧和经第二视频编码方案编码的帧，所述解码包括：
使用第一视频解码方案对预定分辨率层解码经第一视频编码方案编码的帧，以重建第一帧；以及
参照所重建的第一帧，使用第二视频解码方案对所述预定分辨率层解码经第二视频编码方案编码的帧，以重建第二帧，并且
其中，按照从较低分辨率层到较高分辨率层的次序，对所有分辨率层递归地执行解码经第一视频编码方案编码的帧以及解码经第二视频编码方案编码的帧，
其中，所述第一视频编码方案和所述第一视频解码方案基于高级视频编码(AVC)，而所述第二视频编码方案和所述第二视频解码方案基于小波编码。
6.一种多层视频解码方法，包括：从比特流提取经编码的较低分辨率层帧和经编码的较高分辨率层帧，以及解码所述经编码的较低分辨率层帧和所述经编码的较高分辨率层帧以重建视频帧，其中，每个分辨率层的经编码的视频帧包括经第一视频编码方案编码的帧和经第二视频编码方案编码的帧，所述解码包括：
使用第一视频解码方案对预定分辨率层解码经第一视频编码方案编码的帧，以重建第一帧；
使用第二视频解码方案对所述预定分辨率层解码经第二视频编码方案编码的帧，以重建第二帧；以及
将所重建的第二帧添加到所重建的第一帧，由此重建在所述预定分辨率层中的视频帧，
其中，按照从较低分辨率层到较高分辨率层的次序，对所有分辨率层递归地执行解码经第一视频编码方案编码的帧、解码经第二视频编码方案编码的帧、以及添加以重建视频帧，
其中，所述第一视频编码方案和所述第一视频解码方案基于高级视频编码(AVC)，而所述第二视频编码方案和所述第二视频解码方案基于小波编码。
CN2005800300081A 2004-09-07 2005-08-13 多层视频编码和解码方法以及多层视频编码器和解码器 Expired - Fee Related CN101015214B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US60734304P 2004-09-07 2004-09-07
US60/607,343 2004-09-07
KR10-2004-0090991 2004-11-09
KR1020040090991A KR100679018B1 (ko) 2004-09-07 2004-11-09 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더
KR1020040090991 2004-11-09
PCT/KR2005/002654 WO2006028330A1 (en) 2004-09-07 2005-08-13 Multi-layer video coding and decoding methods and multi-layer video encoder and decoder

Publications (2)

Publication Number Publication Date
CN101015214A CN101015214A (zh) 2007-08-08
CN101015214B true CN101015214B (zh) 2013-02-13

Family

ID=37129109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800300081A Expired - Fee Related CN101015214B (zh) 2004-09-07 2005-08-13 多层视频编码和解码方法以及多层视频编码器和解码器

Country Status (4)

Country Link
US (1) US7933456B2 (zh)
KR (1) KR100679018B1 (zh)
CN (1) CN101015214B (zh)
HK (1) HK1103501A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2878396A1 (fr) * 2004-11-19 2006-05-26 France Telecom Procede de codage d'images codees par ondelettes a controle du debit, dispositif de codage et programme d'ordinateur corespondants
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
WO2007002974A1 (en) * 2005-06-30 2007-01-11 Promim Pty Ltd A system and method for controlling transmission and display of video
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
JP4904114B2 (ja) * 2006-08-23 2012-03-28 パナソニック株式会社 中継装置および中継方法
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US9654751B2 (en) 2006-12-21 2017-05-16 Thomson Licensing Method, apparatus and system for providing color grading for displays
US20100135419A1 (en) * 2007-06-28 2010-06-03 Thomson Licensing Method, apparatus and system for providing display device specific content over a network architecture
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
KR100997082B1 (ko) 2009-05-21 2010-11-29 (주)테슬라시스템 다해상도 동영상 코덱 방법 및 장치
DE102009039095A1 (de) * 2009-08-27 2011-03-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
US8553769B2 (en) * 2011-01-19 2013-10-08 Blackberry Limited Method and device for improved multi-layer data compression
EP2479994B1 (en) * 2011-01-19 2017-03-15 BlackBerry Limited Method and device for improved multi-layer data compression
SG2014008775A (en) * 2011-08-16 2014-04-28 Destiny Software Productions Inc Script-based video rendering
CN102523458B (zh) * 2012-01-12 2014-06-04 山东大学 一种适于高清图像视频无线传输的编解码方法
EP2642755B1 (en) 2012-03-20 2018-01-03 Dolby Laboratories Licensing Corporation Complexity scalable multilayer video coding
US9628792B2 (en) 2013-07-15 2017-04-18 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
KR102085270B1 (ko) * 2013-08-12 2020-03-05 삼성전자 주식회사 가장 작은 왜곡 값을 갖는 해상도를 선택하는 이미지 처리 방법과 상기 방법을 수행하는 장치들
US9584817B2 (en) 2014-03-31 2017-02-28 Sony Corporation Video transmission system with color prediction and method of operation thereof
EP3151562B1 (en) 2015-09-29 2020-06-17 Dolby Laboratories Licensing Corporation Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning
CN108495130B (zh) * 2017-03-21 2021-04-20 腾讯科技（深圳）有限公司 视频编码、解码方法和装置、终端、服务器和存储介质
CN108848376B (zh) * 2018-06-20 2022-03-01 腾讯科技（深圳）有限公司 视频编码、解码方法、装置和计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6233017B1 (en) 1996-09-16 2001-05-15 Microsoft Corporation Multimedia compression system with adaptive block sizes
EP0933939A4 (en) * 1997-07-18 1999-12-22 Sony Corp METHOD AND SYSTEM FOR MULTIPLEXING AN IMAGE SIGNAL, METHOD AND SYSTEM FOR DEMULTIPLEXING AN IMAGE SIGNAL, AND TRANSMISSION MEDIUM
JP3787823B2 (ja) 1997-07-31 2006-06-21 ソニー株式会社 画像処理装置および画像処理方法
JP3384299B2 (ja) 1997-10-15 2003-03-10 富士ゼロックス株式会社 画像処理装置および画像処理方法
JP4332246B2 (ja) * 1998-01-14 2009-09-16 キヤノン株式会社 画像処理装置、方法、及び記録媒体
KR100269206B1 (ko) 1998-02-21 2000-10-16 윤종용 임의 해상도 다계층 이진형상 부호화기 및 그 방법
US6292512B1 (en) 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
WO2003036978A1 (en) 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Method and apparatus for spatial scalable compression
FI114433B (fi) * 2002-01-23 2004-10-15 Nokia Corp Otossiirtymän koodaaminen videokoodauksessa
EP1501311A4 (en) 2002-04-26 2013-04-03 Nec Corp ANIMATED IMAGE TRANSFER SYSTEM, ANIMATED IMAGE ENCODING AND DECODING APPARATUS, AND ANIMATED IMAGE TRANSFER PROGRAM
US6944346B2 (en) 2002-05-28 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
AU2003279015A1 (en) * 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding

Also Published As

Publication number Publication date
HK1103501A1 (en) 2007-12-21
US7933456B2 (en) 2011-04-26
KR100679018B1 (ko) 2007-02-05
US20060114999A1 (en) 2006-06-01
CN101015214A (zh) 2007-08-08
KR20060022627A (ko) 2006-03-10

Similar Documents

Publication Publication Date Title
CN101015214B (zh) 多层视频编码和解码方法以及多层视频编码器和解码器
US8929436B2 (en) Method and apparatus for video coding, predecoding, and video decoding for video streaming service, and image filtering method
KR100596705B1 (ko) 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100679022B1 (ko) 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
KR100621581B1 (ko) 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
KR100703744B1 (ko) 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
MXPA06006107A (es) Metodo y aparato de codificacion y decodificacion escalables de video.
WO2006006764A1 (en) Video decoding method using smoothing filter and video decoder therefor
AU2004302413B2 (en) Scalable video coding method and apparatus using pre-decoder
KR100834749B1 (ko) 스케일러블 비디오 스트림 재생장치 및 그 방법
JP2007525924A (ja) ビデオストリーミングサービスのためのビデオコーディング方法とビデオエンコーディングシステム、及びビデオデコーディング方法とビデオデコーディングシステム
KR20060063619A (ko) 영상 신호의 인코딩 및 디코딩 방법
JP4660550B2 (ja) 多階層ビデオコーディングおよびデコーディング方法、ビデオエンコーダおよびデコーダ
Atta et al. An efficient layered video codec based on DCT pyramid
Cieplinski Scalable Video Coding for Flexible Multimedia Services
Su et al. A Simplified and Fast Fully Scalable Video Coding Scheme with Hierarchical-B-Picture-Like and DWT
Su et al. A Practical Coder of Fully Scalable Video over Error-Prone Network
EP1813114A1 (en) Method and apparatus for predecoding hybrid bitstream

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1103501

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1103501

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130213

Termination date: 20190813

CF01 Termination of patent right due to non-payment of annual fee