CN102144391B - 用于层间残余视频编码和解码的跳过模式 - Google Patents

用于层间残余视频编码和解码的跳过模式 Download PDF

Info

Publication number
CN102144391B
CN102144391B CN200980135105.5A CN200980135105A CN102144391B CN 102144391 B CN102144391 B CN 102144391B CN 200980135105 A CN200980135105 A CN 200980135105A CN 102144391 B CN102144391 B CN 102144391B
Authority
CN
China
Prior art keywords
skipped
passage
skip mode
residual video
skip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980135105.5A
Other languages
English (en)
Other versions
CN102144391A (zh
Inventor
C·图
S·瑞古纳萨恩
S·孙
C-L·林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102144391A publication Critical patent/CN102144391A/zh
Application granted granted Critical
Publication of CN102144391B publication Critical patent/CN102144391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation

Abstract

描述了用于对层间残余视频进行编码和解码中的跳过模式的技术和工具。例如，编码器编码层间残余视频的图像的多个宏块。对于被跳过的当前宏块，编码器从多种可用跳过模式中选定一种跳过模式，并在编码当前宏块时使用所选跳过模式。跳过模式可包括帧内跳过模式和预测运动跳过模式。对于当前宏块，对应的解码器在解码过程中选定和使用用于当前宏块的跳过模式。作为另一个示例，编码器编码层间残余视频的图像的多个通道。对于每一个通道，编码器判断是否要跳过该通道。编码器用信号通知通道跳过信息来表明哪些通道被跳过。对应的解码器解析通道跳过信息，并逐通道地判断是否要跳过相应的通道。

Description

用于层间残余视频编码和解码的跳过模式
背景
工程师使用压缩(也叫做“编码”)来降低数字视频的比特率。压缩通过将视频转换为较低的比特率形式来降低存储和传输视频的成本。解压缩(也叫做“解码”)从压缩形式重构原始视频的版本。“编解码器”是编码器/解码器系统。
当视频编码器将视频转换为较低的比特率形式时，视频编码器会降低压缩视频的质量以降低比特率。通过有选择地去除视频中的细节，编码器使视频更简单且更容易压缩，但是经压缩的视频不太忠实于原始视频。除了此基本质量/比特率折衷以外，视频的比特率还取决于视频的内容(例如，复杂性)和视频的格式。
视频信息是根据不同设备和应用的不同格式来组织的。视频格式的属性可包括颜色空间、色度采样速率、采样深度、空间分辨率和时间分辨率。通常，质量和比特率直接对于空间分辨率(例如，图像中的细节)和时间分辨率(例如，每秒图像数)而变化，更高的分辨率会导致更高的质量和更高的比特率。
在视频编码和解码应用中，常见的颜色空间包括YUV和YCbCr。Y表示视频的亮度(luma)通道，而U和V或Cb和Cr表示视频的颜色(色度)通道。除了YUV和YCbCr以外，许多其他颜色空间将视频组织为一个亮度通道和多个色度通道。色度采样速率是指视频的色度通道相对于亮度通道的采样速率。
视频图像的每一个图像元素(“像素”)都包括一个或多个采样，而每一个采样用一个或多个比特以数字方式表示。通过使用更高的采样深度，可以取得采样采样值的更大的精确度，或可以捕捉更宽的色域。例如，12比特采样值比10比特采样值或8比特采样值具有更多可能的值。作为此更高的质量的折衷，更高的采样深度趋向于增大编码和解码应用的比特率。
可缩放的视频编码和解码便于将视频传送到具有不同能力的设备。典型的可缩放的视频编码器将视频拆分为一个基层和一个或多个增强层。基层单独提供用于以较低的分辨率重构的视频的版本，可以添加增强层，以提供将提高视频质量的额外信息。某些可缩放的编码器和解码器依赖于视频的时域可缩放性。其他常见的可缩放的编码/解码方案涉及对于空间分辨率或者视频的整体编码质量的可缩放性。
当已编码的视频的比特流缺乏某一宏块的数据时，许多现有的可缩放的视频编码器和解码器对于该宏块使用跳过模式。宏块是图像中采样的一种布置，通常在不同的通道中被组织为一组采样块。跳过的宏块的定义取决于编码器和解码器。一些可缩放的视频编码器和解码器还允许整个图像在比特流中被跳过。尽管在许多情况下现有可缩放的视频编码器和解码器中的跳过模式提供可接受的性能，但是，它们没有下面所描述的技术和工具的好处和优点。
概述
概括地说，详细描述呈现了用于对层间残余视频进行编码和解码中的跳过模式的技术和工具。在许多编码和解码情况中，使用跳过模式通过有效地表示层间残余视频中的共同的值模式来帮助改善品质和/或缩小比特率。
根据此处所描述的技术和工具的第一方面，诸如编码器或解码器之类的工具处理层间残余视频的当前图像的多个宏块。对于跳过的当前宏块，该工具从多种可用跳过模式中选定一种跳过模式，并对当前宏块使用所选跳过模式。
例如，在编码过程中，编码器对层间残余视频进行编码以产生增强层比特流的一部分。对于跳过的当前宏块，编码器从多种可用跳过模式中选定一种跳过模式，并使用所选跳过模式对当前宏块进行编码。编码器评估编码的结果并判断当前宏块是否应该被跳过。在作出跳过/不跳过的判决之后，编码器在增强层比特流中用信号通知宏块跳过信息以表明跳过/不跳过的判决。或者，在解码过程中，解码器接收增强层比特流的一部分，并解码层间残余视频。解码器解析表明当前宏块是否要被跳过的宏块跳过信息。当要跳过当前宏块时，解码器从多种可用跳过模式中选定一种跳过模式，并使用所选跳过模式来解码当前宏块。
该工具可以使用推导规则来为当前跳过的宏块选定一种跳过模式。例如，该工具为图像中的一个或多个上下文宏块中的每一个确定上下文信息(诸如宏块类型)，然后基于上下文信息为当前跳过的宏块确定跳过模式。或者，该工具根据上下文宏块是否使用运动补偿来选定跳过模式。可另选地，该工具使用另一推导规则。
多种可用跳过模式可包括帧内跳过模式(根据该模式，被跳过的宏块被赋予了定义的帧内跳过值，并且不使用运动补偿)和预测运动跳过模式(根据该模式，被跳过的宏块被赋予了来自带有预测运动的运动补偿的值)。可另选地，多种可用跳过模式包括用于跳过的宏块的其他和/或额外的跳过模式。
根据此处所描述的技术和工具的第二方面，诸如编码器或解码器之类的工具处理层间残余视频的当前帧内编码图像的多个宏块。作为处理的一部分，工具为跳过的当前宏块选定和使用帧内跳过模式，将定义的帧内跳过值赋给当前宏块。层间残余视频的已编码数据的比特流包括表明当前帧内编码图像的哪些宏块被跳过的宏块跳过信息。
根据此处所描述的技术和工具的第三方面，诸如编码器或解码器之类的工具处理层间残余视频的多个通道。对于多个通道的每一个，工具判断是否跳过层间残余视频的通道。如果是，则工具将该通道作为跳过的通道来处理。否则，工具将通道作为编码的通道来处理。层间残余视频的已编码数据的比特流包括表明哪些通道被跳过的通道跳过信息。
例如，编码器对层间残余视频进行编码以产生层间残余视频的已编码数据的比特流的一部分。作为编码的一部分，编码器为层间残余视频的多个通道的每一个判断是否跳过该通道。在比特流中，编码器用信号通知表明多个通道中的哪些通道被跳过的通道跳过信息。或者，对应的解码器接收层间残余视频的已编码数据的比特流的一部分，并解码层间残余视频。作为解码的一部分，解码器从比特流解析表明多个通道中哪些是跳过的通道跳过信息，并逐通道地判断是否要跳过相应的通道。
对于多个通道的每一个，通道跳过信息可包括表明是否要跳过通道的代码。或者，通道跳过信息包括代码，该代码表明当前图像中的给定通道：(a)使用零跳过值跳过，(b)通过从参考图像复制对应的通道的值来跳过，或(c)不被跳过。或者，通道跳过信息包括表明其他和/或更多的通道跳过选项的代码。
通过下面的结合附图对本发明进行的详细描述，本发明的前述和其他目标、特点和优点将变得更加显而易见。提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图简述
图1是其中可以实现所描述的若干技术和工具的合适的计算环境的框图。
图2是其中可以实现所描述的若干技术的可缩放的视频编码工具的框图。
图3是其中可以实现所描述的若干技术的可缩放的视频解码工具的框图。
图4是用于在可缩放的视频编码或解码过程中选定层间残余视频的被跳过的宏块的跳过模式的一般化技术的流程图。
图5是示出用于推导层间残余视频中被跳过的宏块的跳过模式的示例规则的图示。
图6是示出用于层间残余视频的被跳过的宏块的示例跳过模式的导出的图示。
图7是示出根据帧内跳过模式和预测运动跳过模式重构被跳过的宏块的图示。
图8是用于用选定的用于被跳过的宏块的跳过模式编码层间残余视频的示例技术的流程图。
图9是用于用选定的用于被跳过的宏块的跳过模式解码层间残余视频的示例技术的流程图。
图10是用于判断层间残余视频的各个通道的跳过/非跳过状态的一般化技术的流程图。
图11是示出用于图像的通道的示例跳过模式的图示。
图12是用于编码具有跳过的通道的层间残余视频的示例技术的流程图。
图13是用于解码具有跳过的通道的层间残余视频的示例技术的流程图。
详细描述
本申请涉及用于对层间残余视频进行编码和解码中的跳过模式的技术和工具。具体而言，跳过模式通过允许宏块跳过模式用于帧内编码的层间残余视频内容，通过在用于层间残余视频内容的不同的宏块跳过模式之间切换，和/或通过使用用于层间残余视频内容的通道跳过模式来帮助提高对层间残余视频进行编码的效率。
例如，在一些可缩放的视频编码和解码情况下，基层编码器以比输入视频低的采样深度和色度采样速率(例如，带有8比特采样的4:2:0视频)对基层视频进行编码。通常，基层编码还产生失真。表示输入视频和基层视频的重构版本之间区别的层间残余视频包括关于更高的采样深度、更高的色度采样速率和/或更高的编码质量(例如，带有10比特采样的4:2:2视频)的细节。增强层编码器对层间残余视频进行编码。通过使用有效的跳过模式以表示层间残余视频中的共同的值模式，增强层编码器提高了速率失真性能。
增强层编码器可以使用宏块跳过模式。例如，虽然许多视频编码器对于帧间编码的视频内容具有宏块跳过模式(根据这些模式，被跳过的宏块使用预测的运动)，但是，在某些实施例中，增强层编码器对于帧内编码的层间残余视频内容使用跳过模式。帧内跳过模式解释帧内编码的内容的共同的值模式(例如，具有全部零值的宏块)。作为另一个示例，在某些实施例中，当对层间残余视频内容进行编码时增强层编码器在多种可用宏块跳过模式之间进行选择。以此方式，编码器可以通过在跳过模式之间切换来适应视频内容中的变化。当编码器和解码器在编码和解码过程中根据可用的上下文选定跳过模式时，与在比特流中用信号通知跳过模式相关联的比特率开销就能得到避免。
增强层编码器也可以使用通道跳过模式。例如，在某些实施例中，增强层编码器为层间残余视频内容的各个通道使用跳过模式。利用将被跳过的通道中的值替换为零值(或将导致被跳过的通道的零值重构的值)的通道跳过模式，编码器可以有效地解决一个通道(例如，当基层编码质量较高时的亮度通道)几乎没有或没有有意义的信息而一个或多个其他通道(例如，色度通道)具有有效值的情况。利用对于被跳过的通道中的值重复来自另一个图像的值的通道跳过模式，编码器可以有效地解决一个通道中的值不会在图像与图像之间显著变化而另一个通道中的值却会显著变化的情况。通过对于各个通道用信号通知通道跳过信息，编码器提高了速率失真性能。
此处所描述的实现方式可能有各种不同的替代方案。通过改变流程图所示出的阶段的顺序，通过拆分、重复或省略某些阶段等等，可以改变参考流程图所描述的某些技术。跳过模式的不同方面可以组合或单独地使用。不同的实施例实现一个或多个所描述的跳过模式。
此处所描述的一些技术和工具解决背景中指出的一个或多个问题。通常，给定的技术/工具不会解决所有这样的问题。相反地，鉴于编码时间、编码资源、解码时间、解码资源、可用的比特率和/或质量中的约束和折衷，给定技术/工具会提高对于特定实现或情况的性能。
I.计算环境
图1示出了其中可以实现所描述的若干技术和工具的合适的计算环境(100)的一般化示例。操作环境(100)不旨在对使用范围或功能提出任何限制，因为技术和工具可以在各种通用或专用计算环境中实现。
参考图1，计算环境(100)包括至少一个处理单元(110)和存储器(120)。在图1中，此最基本配置(130)包括在虚线内。处理单元(110)执行计算机可执行指令，并可以是现实的或虚拟的处理器。在多处理系统中，多个处理单元执行计算机可执行指令以提高处理能力。存储器(120)可以是易失性存储器(例如，寄存器、高速缓存、RAM)、非易失性存储器(例如，ROM、EEPROM、闪存等等)，或两者的某种组合。存储器(120)存储实现层间残余视频编码和/或解码的所描述的跳过模式中的一个或多个的软件(180)。
计算环境可以具有附加特征。例如，计算环境(100)包括存储器(140)、一个或多个输入设备(150)、一个或多个输出设备(160)，以及一个或多个通信连接(170)。诸如总线、控制器或网络之类的互连机制(未示出)将计算环境(100)的组件互连在一起。通常，操作系统软件(未示出)为在计算环境(100)中执行的其他软件提供操作环境，并协调计算环境(100)的各组件的活动。
存储设备(140)可以是可移动或不可移动的，并包括磁盘、磁带或磁带盒、CD-ROM、DVD，或能用于存储信息且可以在计算环境(100)内被访问的任何其他介质。存储设备(140)存储用于实现层间残余视频编码和/或解码的跳过模式的软件(180)的指令。
输入设备(150)可以是诸如键盘、鼠标、笔或轨迹球之类的触摸输入设备、语音输入设备、扫描设备、或向计算环境(100)提供输入的另一设备。对于音频或视频编码，输入设备(150)可以是声卡、视频卡、TV调谐器卡，或接受模拟或数字形式的音频或视频输入的类似的设备，或将音频或视频采样读取到计算环境(100)中的CD-ROM或CD-RW。输出设备(160)可以是显示器、打印机、扬声器、CD-写入器，或从计算环境(100)提供输出的另一设备。
通信连接(170)允许通过通信介质与另一个计算实体进行通信。通信介质在已调数据信号中传送诸如计算机可执行指令、音频或视频输入或输出之类的信息或其他数据。已调制数据信号是以在信号中编码信息的方式来设置或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括利用电气、光学、射频(RF)、红外线、声音或其他载体实现的有线或无线技术。
可以在计算机可读介质的一般上下文中来描述技术和工具。计算机可读介质是可以在计算环境内被访问的任何可用介质。作为示例而非限制，对于计算环境(100)，计算机可读介质包括存储器(120)、存储设备(140)、通信介质，以及上面各项中的任何项的组合。
可以在诸如在目标实际或虚拟处理器上的计算环境中执行的诸如程序模块中所包括的那些计算机可执行指令之类的计算机可执行指令的一般上下文中来描述技术和工具。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等等。程序模块的功能可以按需在各个实施例中进行组合或在程序模块之间拆分。程序模块的计算机可执行指令可以在本地或分布式计算环境内执行。
为了演示，详细描述使用诸如“选择”和“重构”之类的术语来描述计算环境中的计算机操作。这些术语是对于由计算机执行的操作的高级抽象，不应该与人执行的动作相混淆。与这些术语相对应的实际计算机操作随着实现不同而不同。
II.一般化编码工具
图2是可以用来实现某些所描述的技术的一般化的可缩放的视频编码工具(200)的框图。编码工具(200)接收包括输入图像(202)的视频图像序列，并产生基层比特流(248)和一个或多个增强层比特流(298)。对于基层，输出比特流的格式可以是Windows Media Video格式、SMPTE 421-M格式、MPEG-x格式(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如，H.261、H.262、H.263或H.264)，或其他格式。对于增强层，输出比特流的格式可以与基层比特流相同，或者是另一种格式。
工具(200)处理视频图像。术语“图像”一般是指源、编码的或重构的图像数据。对于逐行扫描视频，图像是逐行扫描视频帧。对于隔行扫描视频，取决于上下文，图像可以是指隔行扫描视频帧，上半帧，或下半帧。
输入图像(202)具有采样深度、色度采样速率和/或比基层编码器(220)接受的分辨率更高的分辨率的空间分辨率。例如，基层编码器(220)被配置成利用8比特采样和4:2:0色度采样速率来编码视频图像，而输入图像(202)具有10比特采样和4:2:2色度采样速率，或具有比8比特4:2:0更高的分辨率的另一种格式。可另选地，基层编码器(220)接受10比特采样、12比特采样或带有某种其他采样深度的采样，或者基层编码器(220)接受4:2:2视频、4:4:4视频或具有某种其他色度采样速率的视频。
编码工具(200)包括接受输入视频图像(202)并向基层编码器(220)输出基层视频的第一缩放器(204)。第一缩放器(204)可以降采样或以其他方式缩放输入视频图像(202)，以例如降低采样深度、空间分辨率和/或色度采样分辨率。或者，对于输入视频图像(202)的这些属性中的一个或多个，第一缩放器(204)根本不改变输入视频图像(202)。
基层编码器(220)对基层视频进行编码，并输出基层比特流(248)。另外，基层编码器(220)使输入到逆缩放器(252)的重构的基层视频可用。作为编码的一部分，基层编码器(220)通常产生输入图像(202)的重构的版本。例如，基层编码器(220)解码并缓冲重构的基层图像，用于以后的运动补偿。如此，可以从基层编码器(220)中获得重构的版本，供在可缩放的编码中进行进一步的处理。(可另选地，编码工具(200)中的基层解码器(未示出)对基层比特流(248)进行解码，以产生重构的基层视频。)
如果由于缩放而导致重构的基层视频具有与输入视频图像(202)不同的采样深度、空间分辨率、色度采样速率等等，那么，逆缩放器(252)可以上采样或以其他方式逆缩放重构的基层视频，以便它具有更高的采样深度、空间分辨率、色度采样速率等等(例如，与输入视频图像(202)相同的采样深度、空间分辨率、色度采样速率等等)。逆缩放器(252)还可以自适应地过滤重构的基层视频，以去除某些类型的伪像。另外，为在缩放过程中补偿色调映射，逆缩放器(252)可以以相同采样深度或更高的采样深度执行逆色调映射(例如，从一个色域到另一色域)。
缩放和编码输入视频的步骤通常会在输入视频和重构的基层视频之间造成某些数据损失。一般而言，层间残余视频表示重构的基层视频和输入视频之间的差异(但不一定是所有差异)。在图2的工具(200)中，微分器从输入视频的对应的采样减去重构的基层视频的采样，以产生此层间残余视频。在微分器之前，可以另外过滤输入视频。第二缩放器(254)缩放层间残余视频，以便输入到增强层视频编码器(240)。例如，第二缩放器(254)重新映射层间残余视频的采样值，以便采样值具有便于利用增强层视频编码器(240)进行有效压缩的分布。
增强层编码器(240)压缩层间残余视频，并产生增强层比特流(298)。层间残余视频中的在一给定时间的“图像”表示输入视频图像和重构的基层视频图像之间的差异，但是，仍通过示例增强层视频编码器(240)来编码为图像。编码器(240)压缩层间残余视频的帧间编码的、预测的图像和层间残余视频的帧内编码的图像。为了演示，图2示出了用于通过编码器(240)的帧内编码的内容的路径和用于帧间编码的预测的内容的路径。许多增强层编码器(240)的组件被用于压缩帧内编码的内容和帧间编码的预测的内容。通过那些组件执行的确切操作可以依据正在被压缩的信息的类型而变化。
一般而言，在增强层编码器(240)内，帧间编码的预测的内容(作为图像)根据先前重构的内容的预测(作为一个或多个其他图像，这些图像通常被称为参考图像或锚)来表示。例如，在某一给定时间的内容被作为逐行扫描的P帧或B帧，隔行扫描P半帧或B半帧，或隔行扫描的P帧或B帧编码。在编码器(240)内，预测残余是预测的信息和对应的原始增强层视频之间的差异。
如果层间残余视频(256)内容被是作为预测的图像编码的，运动估计器(258)估计宏块或层间残余视频图像的其他采样集相对于一个或多个参考图像的运动，参考图像表示先前重构的层间残余视频内容。图像存储(264)缓存重构的层间残余视频(266)作为一个或多个参考图像。当使用多个参考图像时，这多个参考图像可以来自于不同的时间方向或相同的时间方向。运动估计器(258)输出诸如运动矢量信息之类的运动信息(260)。
当形成经运动补偿的当前图像(268)时，运动补偿器(262)将运动矢量应用到重构的层间残余视频内容(266)(存为参考图像)。在经运动补偿的层间残余视频(268)的块和原始层间残余视频(256)的对应的块之间的差异(如果有的话)是该块的预测残余(270)。在稍后对层间残余视频的重构过程中，重构的预测残余被添加到经运动补偿的层间残余视频(268)，以获得更接近于原始层间残余视频(256)的重构的内容。然而，在有损压缩中，一些信息仍会从原始层间残余视频(256)中丢失。可另选地，运动估计器和运动补偿器应用另一种类型的运动估计/补偿。
频率变换器(280)将空间域视频信息转换为频率域(即频谱变换)数据。对于基于块的视频内容，频率变换器(280)对采样块或预测残余数据应用DCT、DCT的变体、或其他前向块变换，产生频率变换系数块。频率变换器(280)可以应用8×8，8×4，4×8，4×4或其他大小的频率变换。
然后，量化器(282)接着量化变换系数块。量化器(282)以逐图像地、逐宏块地或其他方式空间变化的步长对频谱数据应用非均匀的标量量化。另外，在某些情况下，量化器在层间残余视频图像的多个颜色通道之间改变量化。量化器(282)还可以应用另一种类型的量化，例如，对于至少某些频谱数据系数应用均匀或自适应量化，或在不使用频率变换的编码器系统中直接量化空间域数据。
当重构的层间残余视频图像被随后的运动估计/补偿所需要时，逆量化器(290)对已量化的频谱数据系数执行逆量化。逆频率变换器(292)执行逆频率转换，产生重构的预测残余的块(对于预测的层间残余视频内容)或采样(对于帧内编码层间残余视频内容)。如果层间残余视频(256)是经运动补偿预测的，则将重构的预测残余添加到运动补偿的预测器(268)，以形成重构的层间残余视频。图像存储(264)缓存重构的层间残余视频，用于随后的运动补偿的预测。
熵编码器(284)压缩量化器(282)的输出以及某些辅助信息(例如，量化参数值)。典型的熵编码技术包括算术编码、差分编码、霍夫曼编码、游程长度编码、LZ编码、词典编码，和以上的组合。熵编码器(284)通常针对不同种类的信息使用不同的编码技术，并可以从某一编码技术内的多个代码表中选择。
当增强层编码器(240)对层间残余视频执行帧内压缩时，编码器把它帧内压缩为帧内编码的图像，没有运动补偿。层间残余视频(256)被直接提供到频率变换器(280)、量化器(282)以及熵编码器(284)，并作为编码视频输出。帧内编码的层间残余视频的重构版本可以被缓存，以用于随后的对其他层间残余视频的运动补偿。
在某些实施例中，增强层编码器(240)对于层间残余视频(256)的图像中的被跳过的宏块使用跳过模式。例如，对于层间残余视频(256)中的帧间编码的图像中的被跳过的宏块，编码器(240)在使用帧内跳过模式和使用预测运动跳过模式之间切换。对于帧内跳过模式，编码器(240)对于被跳过的宏块使用定义的帧内跳过值。定义的帧内跳过值可以简单地是零。或者，如果在编码之前重新映射层间残余视频的值(以及在解码之后逆向重新映射)，可以如此选择定义的帧内跳过值使得帧内跳过的宏块将在值的逆向重新映射之后具有零值。对于预测运动跳过模式，编码器(240)预测被跳过的宏块的运动，并利用运动补偿器(262)确定用于被跳过的宏块的运动补偿的预测。对于层间残余视频(256)的帧内编码的图像中的被跳过的宏块，编码器(240)可以使用帧内跳过模式。在增强层比特流(298)中，编码器(240)用信号通知宏块的跳过/非跳过状态。编码器(240)可用信号通知被跳过的宏块的所选跳过模式，或编码器(240)和对应的解码器可以导出所选跳过模式而无需显式地用信号通知。示例宏块跳过模式和推导规则的细节在下面给出。或者，编码器(240)对于被跳过的宏块使用其他和/或额外的跳过模式。
在某些实施例中，增强层编码器(240)对于层间残余视频(256)的图像中的被跳过的通道使用跳过模式。例如，对于层间残余视频(256)的图像中的被跳过的通道，编码器(240)在使用零跳过模式和复制跳过模式之间切换。对于零跳过模式，编码器(240)对于被跳过的通道使用定义的零跳过值。定义的零跳过值可以简单地是零。或者，如果在编码之前重新映射层间残余视频的值(以及在解码之后逆向重新映射)，可以如此选择定义的零跳过值，以便零跳过的通道将在值的逆向重新映射之后具有零值。对于复制跳过模式，编码器(240)使用图像存储(264)中的参考图像的对应的通道的值。编码器(240)在增强层比特流(298)中用信号通知通道的跳过模式。示例通道跳过模式的细节在下面给出。或者，编码器(240)对于被跳过的通道使用其他和/或额外的跳过模式。
控制器(294)接收来自诸如运动估计器(258)、频率变换器(280)、量化器(282)、逆量化器(290)和熵编码器(284)之类的各种模块的输入。控制器(294)评估编码过程中的中间结果，例如，设置量化步长和执行速率失真性能分析，并对宏块和/或通道作出跳过模式判决。控制器(294)与其他模块一起协作，以设置和改变编码过程中的编码参数。当控制器(294)评估不同的编码参数选择时，控制器(294)可以反复执行某些阶段以评估不同的参数设置，或者控制器(294)可以联合地评估不同的编码参数。要评估的编码参数决策的树，以及对应的编码的定时，随着实现不同而不同。在某些实施例中，控制器(294)还从编码会话向导界面、从另一编码器应用接口，或其他源接收输入，以使用特定规则指定要编码的视频。
虽然图2示出了单一增强层编码器(240)，但是，层间残余视频本身可以被分离成多层残余视频，用于用单独的残余编码器来进行编码。例如，分解器使用小波分解或另一种合适的分解机制来将层间残余视频拆分为色度高通残余层和采样深度残余层，然后，由色度高通编码器和采样深度残余编码器分别对它们进行编码，以产生两个单独的增强层比特流。
编码工具(200)的第二控制器(未示出)从工具(200)的各种模块接收输入，并评估编码过程中的中间结果。控制器与各模块一起协作，以设置和改变编码过程中的编码参数。
所示出的工具(200)内的各模块之间的关系表示一般的信息流；为简单起见，未示出其他关系。具体而言，图2一般未示出辅助信息。这样的辅助信息，一旦被最终形成，就在输出比特流或辅助通道中发送。可缩放的视频编码工具的具体实施例通常使用工具(200)的变体或补充版本。取决于实现和所希望的压缩类型，可以添加、省略模块，拆分成多个模块，与其他模块相结合，和/或替换为类似的模块。在替换实施例中，带有不同的模块和/或模块的其他配置的可缩放的视频编码工具执行所描述的用于利用跳过模式编码层间残余视频的技术中的一个或多个。
III.一般化解码工具
图3是可以用来实现某些所描述的技术的一般化的可缩放的视频解码工具(300)的框图。解码工具(300)接收压缩视频信息的一个或多个比特流(包括不同的层的比特流)，并产生重构的视频(398)。对于基层视频，基层比特流(302)的格式可以是Windows Media Video格式、SMPTE 421-M格式、MPEG-x格式(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x格式(例如，H.261、H.262、H.263或H.264)，或其他格式。对于层间残余视频，增强层比特流(304)的格式可以与基层比特流(302)相同，或者它可以是另一种格式。
解码工具(300)包括接收基层比特流(302)并将重构的基层视频输出到第一逆缩放器(352)的基层解码器(320)。如果重构的基层视频具有与输出视频不同的采样深度、空间分辨率、色度采样速率等等(由于编码过程中的缩放引起)，那么第一逆缩放器(352)上采样或以其他方式逆向缩放重构的基层视频，以便它具有更高的采样深度、空间分辨率、色度采样速率等等(例如，与输出视频(398)相同的采样深度、空间分辨率、色度采样速率等等)。第一逆缩放器(352)还可以自适应地过滤重构的基层视频，以去除某些类型的伪像，并且它可以以相同采样深度或更高的采样深度执行逆色调映射。
解码工具(300)还包括用于接收增强层比特流(304)并将经过解码的层间残余视频输出到第二逆缩放器(354)的增强层解码器(340)。在增强层解码器(340)中，熵解码器(384)用于解码通过熵编码而被编码的比特流的元素。逆量化器(390)对熵解码器(384)的一些输出应用逆量化。一般而言，逆量化器(390)用于反转在编码过程中应用的量化。
逆频率变换器(392)接受逆量化器(390)的输出。逆频率变换器(392)用于通过对逆量化器(390)的输出应用逆DCT，逆DCT的变体或其他逆块变换，来产生空间域值的块。逆频率变换器(392)对于预测残余输出重构的值(370)(在帧间编码的层间残余视频内容的情况下)或采样(在帧内编码的层间残余视频内容的情况下)。
运动补偿器(362)对图像存储(364)中缓冲的先前重构的层间残余视频应用基于运动矢量信息(360)的运动，并输出经运动补偿预测的层间残余视频(368)。在对帧间编码的层间残余视频的解码中，经运动补偿预测的层间残余视频(368)与预测残余(370)组合，以形成重构的层间残余视频(366)。通过图像存储(364)缓存重构的层间残余视频(用于随后的运动补偿)，并将其从增强层解码器(340)输出到第二逆缩放器(354)。
通过使用帧内解码，解码器(340)还对帧内编码的层间残余视频进行解码。在该情况下，熵解码器(384)、逆量化器(390)、以及逆频率变换器(392)如前所述地那样操作，产生层间残余视频的采样，绕过了运动补偿。重构的层间残余视频(366)缓存在图像存储(364)中，用于未来的运动补偿。
在某些实施例中，增强层解码器(340)对于层间残余视频的图像中的被跳过的宏块使用跳过模式。例如，解码器(340)解析来自增强层比特流(304)的宏块的跳过/非跳过状态信息。对于层间残余视频中的帧间编码的图像中的被跳过的宏块，解码器(340)在使用帧内跳过模式和使用预测运动跳过模式之间切换。对于帧内跳过模式，解码器(340)对于被跳过的宏块使用定义的帧内跳过值(例如，零或在逆重新映射之后导致零值的另一个选定的值)。对于预测运动跳过模式，解码器(340)预测被跳过的宏块的运动，用运动补偿器(362)确定用于被跳过的宏块的运动补偿预测。对于层间残余视频的帧内编码图像中的被跳过的宏块，解码器(340)可以使用帧内跳过模式。解码器(340)可以解析来自比特流(304)的指出对于被跳过的宏块的跳过模式的信息，或者解码器(340)可以导出跳过模式而无需显式地用信号通知。示例宏块跳过模式和推导规则的细节在下文给出。或者，解码器(340)对于被跳过的宏块使用其他和/或额外的跳过模式。
在某些实施例中，增强层解码器(340)对于层间残余视频的图像中的被跳过的通道使用跳过模式。例如，解码器(340)解析来自增强层比特流(304)的指出通道的跳过模式的信息。例如，对于层间残余视频的图像中的被跳过的通道，解码器(340)在使用零跳过模式和复制跳过模式之间切换。对于零跳过模式，解码器(340)对于被跳过的通道使用定义的零跳过值(例如，零或在逆向重新映射之后导致零值的另一个选定的值)。对于复制跳过模式，解码器(340)使用图像存储(364)中的参考图像的对应的通道的值。示例通道跳过模式的细节在下文给出。或者，解码器(340)对于被跳过的通道使用其他和/或额外的跳过模式。
虽然图3示出了单一增强层解码器(340)，但是，层间残余视频本身可以被分离成多层(表示为多个增强层比特流)，用于利用单独的增强层解码器进行解码。给定的解码系统包括一个或多个单独的残余解码器，用于对多个增强层比特流中的一个或多个进行解码。
在某些情况下，增强层比特流中的一个或多个不存在。例如，如果比特流在传输过程中或在存储介质上损坏，可能会发生这种情况。或者，对于某些类型的播放设备或某些解码情况，由发射器或由解码工具(300)有选择地丢弃增强层比特流，以便降低比特率或降低解码复杂性。
第二逆缩放器(354)逆缩放层间残余视频。例如，第二逆缩放器(354)重新映射层间残余视频的采样值，以反转在编码过程中执行的映射。解码工具(300)将由第一逆缩放器(352)输出的重构的基层视频与从第二逆缩放器(354)输出的重构的层间残余视频(如果存在的话)组合起来，以产生重构的视频(398)供输出。如果在编码过程中通过小波分解或另一种机制分离层间残余视频的各层，则解码工具(300)可以在将所产生的层间残余视频与重构的基层视频组合之前通过使用小波合成或另一种机制将重构的残余层组合起来。
所示出的解码工具(300)内的各模块之间的关系表示解码工具(300)中的一般的信息流；为简单起见，未示出其他关系。视频解码工具的具体实施例通常使用一般化的解码工具的变体或补充版本。取决于实现和所希望的解压缩的类型，可以添加、省略解码工具的模块，拆分成多个模块，与其他模块相结合，和/或替换为类似的模块。在替换实施例中，带有不同的模块和/或模块的其他配置的解码工具执行所描述的用于利用跳过模式解码层间残余视频的技术中的一个或多个。
IV.用于层间残余视频编码和解码的宏块跳过模式
在某些实施例中，编码器和解码器使用宏块跳过模式，这些模式有效地表示在某些类型的层间残余视频内容中共同的值模式。具体而言，示例宏块跳过模式解释帧内编码的层间残余视频中的共同的模式，并为不同的跳过模式提供不同的运动补偿预测选项。
A.用于选择宏块跳过模式的一般化技术
图4示出了用于在编码或解码过程中选择宏块跳过模式的一般化技术(400)。诸如图2的可缩放的视频编码工具(200)中的增强层编码器(240)、图3的可缩放的视频解码工具(300)中的增强层解码器(340)之类的工具，或其他工具执行技术(400)。
开始时，工具选择(410)当前被跳过的宏块的跳过模式。示例选择规则和跳过模式在下文给出。或者，工具对于层间残余视频使用其他和/或额外的跳过模式或使用另一种跳过模式选择规则。然后，工具对于当前被跳过的宏块使用(420)所选跳过模式。
图4示出了对于单个被跳过的宏块进行的跳过模式选择过程。工具对于诸如层间残余视频的帧间编码的图像之类的图像中的每一个被跳过的宏块重复技术(400)。图8示出了一个示例编码技术(800)，该技术将图4的选择技术(400)包括在更大的编码过程中，该过程包括为图像中的宏块确定跳过/非跳过状态。图9示出了包括图4的选择技术(400)的示例解码技术(900)。或者，工具使用选择技术(400)作为另一个过程的一部分。
B.示例宏块跳过模式和推导规则
在许多编码和解码情况中，层间残余视频的大量的宏块是帧内编码的。除了帧内编码的图像(其只包括帧内编码的内容)以外，帧间编码的图像可包括帧内编码的区域。那些使用预测的运动的被跳过的宏块的常规定义对于帧内编码的内容不是特别有用的。此处所描述的宏块跳过模式的示例实现包括帧内跳过模式，该模式用于层间残余视频的帧内编码的图像或帧间编码的图像中的帧内编码的宏块。帧内跳过模式提供对帧内编码的图像或区域的全部零宏块进行编码的有效的方式。
示例实现还包括预测运动跳过模式，该模式用于层间残余视频的帧间编码的图像中的帧间编码的宏块。预测运动跳过模式提供对在均匀或几乎均匀运动的区域中的被跳过的宏块进行编码的有效方式。通过在帧内跳过模式和预测运动跳过模式之间进行切换，可以有效地处理具有帧内编码的区域和运动预测的区域的混合的图像。
图5示出了示例跳过模式推导规则(500)，而图6示出了将规则(500)应用于层间残余视频的当前图像中的一组宏块的示例应用(600)。根据规则(500)，编码器或解码器依据两个上下文宏块(当前被跳过的宏块上面的宏块MBtop和当前被跳过的宏块左边的宏块MBleft)的上下文信息，为当前被跳过的宏块MBcurrent选择跳过模式。如果上部邻居MBtop和左侧邻居MBleft两者都是经运动补偿的(两者都有宏块类型P)，MBcurrent的跳过模式使用运动补偿(它对于被跳过的宏块具有类型P)。否则，MBcurrent的跳过模式不使用运动补偿(它对于被跳过的宏块具有类型I)。不管怎样，当前被跳过的宏块MBcurrent在比特流中缺乏残余数据。
根据推导规则(500)的简单的“和/或”变化，如果MBtop或MBleft二者之一是经运动补偿的(类型P)，或者如果两者都是经运动补偿的(类型P)，则当前被跳过的宏块MBcurrent的跳过模式使用运动补偿(它对于被跳过的宏块具有类型P)。否则，MBcurrent的跳过模式不使用运动补偿(它对于被跳过的宏块具有类型I)。这个“和/或”变化导致更多使用预测运动跳过模式的被跳过的宏块。
图6部分地示出了层间残余视频的当前图像的宏块。跳过的(S)宏块散落在I宏块和P宏块之中。编码器或解码器遵循光栅扫描模式，以为被跳过的宏块选择跳过模式，沿着一行宏块从左到右进行，从图像的顶行到底行。应用如图5所示的推导规则(500)，第二行中间的被跳过的宏块使用预测运动跳过模式(示为SP)，而在第二行结尾处的被跳过的宏块使用帧内跳过模式(示为SI)。(应用“和/或”变化，第二行结尾处的被跳过的宏块将使用预测运动跳过模式。)在第三行，两个被跳过的宏块都使用预测运动跳过模式，该模式示出了将跳过模式指定到被跳过的宏块的级联效应。如果没有上下文宏块可用(例如，因为当前被跳过的宏块位于顶行或左列)，取决于实现方式，对于推导规则(500)，不可用的上下文宏块可以被设置为I，或者，编码器和解码器可以使用忽略不可用的上下文宏块的一不同的推导规则。
可另选地，编码器和解码器使用另一推导规则。例如，编码器和解码器使用考虑图像中的更多或更少的上下文宏块，或考虑关于图像中的块或其他区域的上下文信息的推导规则。或者，编码器和解码器考虑除宏块类型以外的上下文信息或者上下文宏块是否使用运动补偿。或者，编码器和解码器根本不使用推导规则—编码器评估不同的可能的跳过模式，并在比特流中用信号通知对于给定宏块要使用哪一种跳过模式。
如果当前被跳过的宏块MBcurrent使用运动补偿，编码器和解码器可以通过计算由诸如上部邻居MBtop和左侧的邻居MBleft之类的邻居使用的运动矢量的分量方式的中值来预测其运动。其运动矢量被考虑的邻居可以与在跳过模式选择中所考虑的邻居相同，或它们可以是不同的邻居组。运动预测对于当前被跳过的宏块MBcurrent产生运动矢量，该运动矢量又可以在确定图像中的稍后的被跳过的宏块的运动矢量时使用。或者，编码器和解码器基于对编码器和解码器可用的运动信息，以某种其他方法为当前被跳过的宏块确定运动。
图7示出了根据帧内跳过模式和预测运动跳过模式对被跳过的宏块重构。解码器使用重构的基层视频的当前图像(750)，层间残余视频的当前图像(710)和层间残余视频的参考图像(730)，来重构重构的图像的宏块。
在重构的图像(770)中，为在层间残余视频的当前图像(710)中利用帧内跳过模式(示为类型SI)重构与被跳过的宏块相对应的宏块，解码器使用了重构的基层视频的当前图像(750)的对应的宏块。在层间残余视频的当前图像(710)中，在重构之后帧内跳过的宏块具有零值—它没有运动补偿预测和残余值。在一些实现中，增强层解码器将层间残余视频的当前图像(710)中的帧内跳过的宏块的值设置为已定义的零值。在其他实现中，增强层解码器将当前图像(710)中的帧内跳过的宏块的值设置为另一个定义值，以便当前图像(710)中的帧内跳过的宏块将在逆向重新映射之后具有零值。(假设在重构之后层间残余视频中的帧内跳过的宏块的采样值为零。如果增强层解码器简单地将采样值设置为零，则逆向重新映射可能改变采样值以具有非零的值。因此，基于重新映射和逆向重新映射中所使用的参数，增强层解码器将帧内跳过的宏块的值设置为一个在逆向重新映射之后将是零的值。)
为在层间残余视频的当前图像(710)中利用预测运动跳过模式(示为类型SP)重构与被跳过的宏块相对应的宏块，解码器按照三个相邻宏块的运动矢量的中值来预测被跳过的宏块的运动矢量，然后，使用该运动矢量来从层间残余视频的参考图像(730)确定运动补偿预测。被跳过的宏块没有残余值，但是解码器将来自参考图像(730)的运动补偿预测与重构的基层视频的当前图像(750)的对应的宏块组合起来。
C.用于在编码过程中选择宏块跳过模式的示例技术
图8示出了用于在编码过程中选择宏块跳过模式的技术(800)。诸如图2的可缩放的视频编码工具(200)中的增强层编码器(240)之类的编码器或其他编码器执行技术(800)。
编码器设置(810)当前宏块的跳过/非跳过状态，并评估是否使用该状态。编码器检查(820)当前宏块是否要被跳过，如果不，将当前宏块编码(830)为非跳过。如果要跳过当前宏块，则编码器为当前宏块选择(840)跳过模式，并使用所选跳过模式对当前宏块进行编码(850)。例如，编码器使用被跳过的宏块预测运动来计算用于当前宏块的运动补偿预测(对于预测运动跳过模式)，或使用被跳过的宏块的定义的帧内跳过值(对于帧内跳过模式)。
然后，编码器检查(870)当前宏块编码是否完成。对于给定的宏块，编码器可以通过以不同的方式实际对宏块进行编码并评估结果，或者通过估计以不同的方式对宏块进行编码的效率，来检查编码宏块的一种或多种方式。一般而言，如果宏块是利用所选模式跳过的，编码器可以考虑对质量(例如，就失真而言)和/或比特率(例如，就对于用信号通知跳过信息的成本而言)的影响，如果宏块是以不同的质量级别编码的，它可以考虑对质量(例如，就失真而言)和/或比特率(例如，就用信号通知运动矢量信息、残余信息等等的成本而言)的影响。
当编码器处理完当前宏块时，编码器在比特流中用信号通知(880)当前宏块的跳过/非跳过状态。例如，编码器在比特流中在宏块级用信号通知当前宏块的跳过比特。对于非跳过宏块，编码器用信号通知跳过比特和宏块类型以及用于宏块的编码数据。或者，编码器使用另一个机制来用信号通知跳过/非跳过状态信息。例如，在找到非跳过宏块之后，编码器用信号通知一个skip_run代码来表明非跳过宏块之前的一个或多个被跳过的宏块的串。
编码器继续(890)利用图像中的下一宏块作为当前宏块，直到图像的宏块都已经被编码。编码器可以逐图像地或按照某种其他方式(例如，逐片地)重复技术(800)。
D.用于在解码过程中选择宏块跳过模式的示例技术
图9示出了用于在解码过程中选择宏块跳过模式的技术(900)。诸如图3的可缩放的视频解码工具(300)中的增强层解码器(340)之类的解码器或其他解码器执行技术(900)。
开始时，解码器获取(910)当前宏块的跳过/非跳过状态。例如，解码器解析来自比特流的对图像的一个或多个宏块的跳过/非跳过状态信息。解码器检查(920)当前宏块是否是跳过的，如果不，则将当前宏块解码(930)为非跳过的。例如，解码器使用运动补偿、残余值的重构等等，来重构当前宏块。如果当前宏块是跳过的，则解码器为当前宏块选择(940)跳过模式，并使用所选跳过模式对当前宏块进行解码(950)。例如，解码器使用被跳过的宏块的预测运动来计算用于当前宏块的运动补偿预测(对于预测运动跳过模式)，或使用被跳过的宏块的定义的帧内跳过值(对于帧内跳过模式)。
解码器继续(990)利用图像中的下一宏块作为当前宏块，直到图像的宏块都已经被解码。解码器可以逐图像地或按照某种其他方式(例如，逐片地地)重复技术(900)。
V.用于层间残余视频编码和解码的通道跳过模式
在某些实施例中，编码器和解码器使用通道跳过模式，这些模式有效地表示在某些类型的层间残余视频内容中共同的值模式。具体而言，示例通道跳过模式解决了其中在图像的一个或两个通道中图像的有效值是隔离的并且剩余通道缺乏有意义的信息的情况。示例通道跳过模式还解决其中给定通道的值在图像与图像之间没有很大变化的情况。
A.用于确定跳过/非跳过通道的一般化技术
图10示出了用于确定层间残余视频的各个通道的跳过/非跳过状态的一般化技术(1000)。诸如图2的可缩放的视频编码工具(200)中的增强层编码器(240)、图3的可缩放的视频解码工具(300)中的增强层解码器(340)之类的工具，或其他工具执行技术(1000)。
工具判断(1020)是否要跳过当前通道。如果是，则工具将通道作为跳过的通道来处理(1050)。例如，工具从多种可用通道跳过模式中选择一个通道跳过模式，并且在通道的编码或重构中使用所选通道跳过模式。示例通道跳过模式的细节在下文给出。或者，工具使用其他和/或更多的通道跳过模式。如果不跳过通道，则工具将通道作为编码的通道来处理(1030)。例如，在编码或解码过程中，工具将层间残余视频的通道中的采样值的块作为普通的块来处理。
图10示出了对于单个通道的通道跳过判断过程。工具对于层间残余视频的图像以逐通道的方式重复技术(1000)。图12示出了包括一般化技术(1000)的示例编码技术(1200)，而图13示出了包括技术(1000)的示例解码技术(1300)。或者，工具使用技术(1000)作为另一个过程的一部分。
B.示例通道跳过模式
在许多编码和解码情况下，层间残余视频的图像中的有效值被集中在一个或两个通道，而其他通道主要包括零值。例如，当基层视频被以高质量编码时，图像的亮度通道可以主要拥有零值，而色度通道包括色度采样速率残余信息的有效值。示例实现对于通道包括零跳过模式。根据零跳过模式，单个被跳过的通道的采样值被编码并重构为定义的零跳过值。
在层间残余视频中的的另一个共同的模式中，一个通道的值在图像到图像之间是相对一致的。例如，当基层视频被以低质量编码时，在低运动场景中，给定通道的值在从图像倒图像之间可以是一致的。示例实现对于通道包括复制跳过模式。根据复制跳过模式，当前图像中的单个被跳过的通道的采样值是从层间残余视频的参考图像中的对应的通道复制的。
图11示出了层间残余视频的当前图像的当前通道(1110)的示例跳过模式。当前通道(1110)是U通道，但是，也可以是亮度通道或其他色度通道。如果不跳过当前通道(1110)，则对于编码和解码，通道(1110)被拆分成块。如果在零跳过模式下跳过当前通道(1110)，则利用定义的零跳过值的采样编码和重构通道(1110)。在一些实现中，增强层解码器将层间残余视频的零跳过通道的值设置为定义的零值。在其他实现中，增强层解码器将零跳过通道的值设置为另一个定义值，以便零跳过通道在逆向重新映射之后具有零值。(假设层间残余视频中的零跳过通道的采样值在重构之后为零。如果增强层解码器简单地将采样值设置为零，则逆向重新映射可能改变采样值以具有非零的值。因此，基于重新映射和逆向重新映射中所使用的参数，增强层解码器将零跳过通道的值设置为在逆向重新映射之后将是零的值。)
如果在复制跳过模式下跳过当前通道(1110)，则将来自参考图像(1130)的对应的通道的采样值复制到当前通道。
编码器在比特流中用信号通知通道的跳过/非跳过状态，而解码器解析来自比特流的该信息。例如，在图像头部中，编码器在比特流中用信号通知三个比特，表明三个通道Y、U和V中的哪些是跳过的。
表1：对于跳过/非跳过状态的示例语法元素
如果X_CHANNEL_SKIPPED(其中，X是Y、U或V)为真，那么，在比特流中，对于通道X，无信息被编码。
可另选地，编码器在比特流中用信号通知通道的跳过/非跳过状态和跳过模式，解码器解析来自比特流的该信息。例如，在图像头部中，编码器在比特流中用信号通知三个两比特代码，其表明三个通道Y、U和V中的哪些是跳过的，以及对于任何被跳过通道，使用哪一种跳过模式。
表2：对于跳过/非跳过状态和跳过模式的示例语法元素
对于复制跳过模式，编码器可以在图像级或另一个级别中用信号通知要使用哪一个参考图像。或者，编码器和解码器对于正在被解码的当前图像使用默认参考图像，或以其他方式确定参考图像而无需显式的用信号通知。
或者，编码器和解码器对于用信号通知通道跳过信息遵循另一个语法，例如，使用可变长度代码的语法，其中对于更为常见的通道跳过选项使用较短的代码。
C.用于在编码过程中确定被跳过通道的示例技术
图12示出了用于在编码过程中确定被跳过的通道和通道跳过模式的技术(1200)。诸如图2的可缩放的视频编码工具(200)中的增强层编码器(240)之类的编码器或其他编码器执行技术(1200)。
如果通道是要跳过的，则编码器设置(1210)当前通道的跳过/非跳过状态以及通道跳过模式。编码器考虑利用不同的跳过状态和跳过模式选项编码当前通道的一种或多种方式。一般而言，编码器可以考虑以下情况对质量的影响(例如，就失真而言)：通道是利用零跳过模式跳过的情况，利用复制跳过模式跳过的情况，或不跳过的情况。编码器还可以考虑以下情况对比特率的影响(例如，就比特率而言)：通道是利用零跳过模式跳过的情况，利用复制跳过模式跳过的情况，或不跳过情况。作为简单估计，为判断是否使用零跳过模式，编码器可以将通道中的值的汇总度量与阈值比较，如果汇总度量在阈值以下，就使用零跳过模式。或者，为判断是否要使用复制跳过模式，编码器可以测定当前图像中通道的采样值和参考图像中的对应的通道的采样值之间的相似度。
如果不要跳过当前通道(1220)，则编码器设置(1230)当前通道为普通编码。如果要跳过当前通道，则编码器设置(1250)当前通道为使用设置的跳过模式来进行编码。例如，根据跳过模式，在编码过程中，编码器从参考图像中的对应的通道复制采样值(对于复制跳过模式)，或使用被跳过的通道的定义的零跳过值(对于零跳过模式)。
在比特流中编码器用信号通知(1280)当前通道的跳过/非跳过状态和跳过模式。例如，编码器使用表2所示出的语法元素来表示通道跳过信息。或者，编码器使用另一个比特流语法来表示通道跳过信息。编码器继续(1290)以图像中的下一通道作为当前通道，直到编码器判断出层间残余视频的图像的通道的跳过/非跳过状态和跳过模式。编码器可以逐图像的方式或按照某种其他方式重复技术(1200)。
D.用于在解码过程中确定被跳过的通道的示例技术
图13示出了用于在解码过程中确定被跳过的通道和通道跳过模式的技术(1300)。诸如图3的可缩放的视频解码工具(300)中的增强层解码器(340)之类的解码器或其他解码器执行技术(1300)。
如果要跳过通道，则解码器获取(1310)当前通道的跳过/非跳过状态以及通道跳过模式。例如，解码器解析使用表2所示出的语法元素表示的通道跳过信息。或者，解码器获得使用另一个比特流语法表示的通道跳过信息。
如果不要跳过当前通道(1320)，则解码器设置(1330)当前通道为普通解码。如果要跳过当前通道，则解码器使用设置的跳过模式解码(1350)当前通道。例如，根据跳过模式，解码器从参考图像中的对应的通道复制采样值(对于复制跳过模式)，或使用被跳过的通道的定义的零跳过值(对于零跳过模式)。
解码器继续(1390)以图像中的下一通道作为当前通道，直到解码器判断出层间残余视频的图像的通道的跳过/非跳过状态和跳过模式。解码器可以逐图像的方式或按照某种其他方式重复技术(1300)。
E.组合实现
在一些实现中，编码器和解码器使用通道跳过模式和宏块跳过模式。编码器和解码器遵循取决于实现方式的定义的规则集，或遵循由用信号通知的判决信息所指出的判决，以解决潜在的不一致性。例如，假设比特流在图像头部中包括通道跳过信息，且在宏块级别以逐宏块的方式包括宏块的已编码的数据。即使要跳过通道，在通道中具有一个或多个块的给定的宏块也是可以被编码的。取决于规则的实现或用信号通知的判决信息，编码器和解码器可以用编码的宏块的块改写被跳过的通道的一部分，或者编码器和解码器可以跳过编码的宏块的块。
一个示例规则集一般相对于通道跳过判决更偏爱宏块跳过判决。如果宏块是编码的，则编码器和解码器编码/解码给定通道中的宏块的块，无论通道是编码的、还是在复制跳过模式中被跳过的或是在零跳过模式中被跳过的。类似地，如果一个宏块是以预测运动跳过模式跳过的，则编码器和解码器在任一给定的通道中对该宏块的块使用预测运动跳过模式。如果一个宏块是以帧内跳过模式跳过的，则编码器和解码器在任一给定的通道中对该宏块的块使用定义的帧内跳过值。
当要跳过通道时，另一示例规则集一般相对于宏块跳过判决更偏爱通道跳过判决—即使给定宏块被编码或以将产生不同的值的方式被跳过，被跳过的通道的采样值仍保留。或者，编码器和解码器使用另一个规则集来解决宏块跳过判决和通道跳过判决之间的不一致性。
或者，编码器用信号通知判决信息，指出是否相对于宏块跳过判决更偏爱通道跳过判决；解码器解析该判决信息并在解码中应用它。例如，编码器在增强层比特流中每个通道用信号通知一个比特，以表明对于该通道是偏爱通道跳过模式还是偏爱宏块跳过模式。取决于实现方式，可以对一个序列，一组图像，一个图像地或按照某种其他方式用信号通知三个通道的三比特判决信息。或者，编码器在增强层比特流中每个宏块用信号通知一个比特，以逐宏块的方式表明是要偏爱通道跳过模式还是偏爱宏块跳过模式。
VI.替代方案
此处所描述的许多示例涉及针对可缩放的视频应用的层间残余视频的编码和解码。或者，用于宏块跳过模式或通道跳过模式的一个或多个技术用于另一应用中，例如，基层视频编码和解码。
此处所描述的对于宏块跳过模式的许多示例涉及在多个可用的跳过模式之间的选择。或者，对于帧内编码的层间残余视频内容，编码器和解码器具有单个跳过模式—帧内跳过模式。可以使用帧内跳过模式跳过帧内编码的内容中的给定宏块，或不跳过。
已经参考各实施例描述和示出了本发明的原理，应认识到，在不偏离这些原理的情况下可以在安排和细节方面修改各实施例。应该理解，此处所描述的程序、进程或方法未涉及或仅限于任何特定类型的计算环境，除非另外特别声明。根据此处所描述的原理，可以使用各种类型的的通用或专门的计算环境，或执行操作。可以以硬件实现以软件示出的实施例的元件，反之亦然。
鉴于可以应用本发明的原理的许多可能的实施例，作为本发明我们声明所有这样的实施例都在下面的权利要求书以及又等效内容的范围和精神内。

Claims (20)

1.一种处理层间残余视频的方法，所述方法包括：
处理所述层间残余视频的当前图像的多个宏块；
输出所述处理的结果；
其特征在于，对于所述多个宏块中被跳过的当前宏块，所述处理包括：
为被跳过的当前宏块选择跳过模式，其中所述跳过模式是从包括帧内跳过模式和预测运动跳过模式的多个可用跳过模式中选出的，这包括：
确定所述当前图像中在所述被跳过的当前宏块周围的一个或多个上下文宏块中的每一个上下文宏块的宏块类型；以及
基于所述一个或多个上下文宏块的宏块类型，确定所述跳过模式；以及
对所述被跳过的当前宏块，使用所选的跳过模式；以及
其中，层间残余视频的已编码数据的比特流包括宏块跳过信息，表明所述多个宏块中哪些宏块被跳过。
2.如权利要求1所述的方法，其特征在于，用于所述当前宏块的所选跳过模式是帧内跳过模式，并且其中，对所述当前宏块使用所述帧内跳过模式包括将定义的帧内跳过值赋予所述当前宏块。
3.如权利要求1所述的方法，其特征在于，用于所述当前宏块的所选跳过模式是预测运动跳过模式，并且其中，对所述当前宏块使用所述预测运动跳过模式包括将来自所述层间残余视频的参考图像的运动补偿预测的值赋予所述当前宏块。
4.如权利要求1所述的方法，其特征在于：
所述层间残余视频的已编码数据的比特流缺乏表明所述多个宏块中的那些被跳过的宏块的所选跳过模式的信息。
5.如权利要求1所述的方法，其特征在于：
为被跳过的当前宏块选择跳过模式包括，取决于所述当前图像中的所述一个或多个上下文宏块中的任何上下文宏块是否使用运动补偿，在预测运动跳过模式和帧内跳过模式之间进行选择；以及
对所述预测运动跳过模式的使用包括根据从所述一个或多个上下文宏块的运动信息导出的运动来执行运动补偿；以及
对所述帧内跳过模式的使用包括无运动补偿。
6.如权利要求1所述的方法，其特征在于，还包括：
编码所述层间残余视频以产生所述比特流的至少一部分，其中，所述编码包括所述处理所述层间残余视频的所述多个宏块，并且，其中，所述处理的结果是所述比特流的所述至少一部分。
7.如权利要求6所述的方法，其特征在于，对于被跳过的当前宏块，所述处理包括：
就速率失真性能而言，评估在所述编码过程中对被跳过的当前宏块使用所选跳过模式的结果；以及
判定当前宏块被跳过。
8.如权利要求6所述的方法，其特征在于，所述当前图像有多个通道，并且，作为对所述当前图像的所述编码的一部分，所述方法还包括：
以逐通道的方式判断是否要跳过所述当前图像的所述多个通道；以及
在所述比特流中，用信号通知表明所述多个通道中的哪些被跳过的通道跳过信息。
9.如权利要求1所述的方法，其特征在于，还包括：
接收所述比特流的至少一部分；
使用所述比特流的所述至少一部分解码所述层间残余视频，其中，所述解码包括处理所述层间残余视频的所述多个宏块，并且其中，所述处理的结果是已解码的层间残余视频；以及
将所述已解码的层间残余视频与重构的基层视频组合，以产生重构的视频供输出。
10.如权利要求9所述的方法，其特征在于，所述当前图像有多个通道，并且其中，作为对于所述当前图像的解码的一部分，所述方法还包括：
从所述比特流解析表明所述多个通道中的哪些被跳过的通道跳过信息；以及
以逐通道的方式判断是否要跳过所述当前图像的所述多个通道。
11.一种处理层间残余视频的方法，所述方法包括：
处理层间残余视频的当前帧内编码图像的多个宏块，所述当前帧内编码图像仅具有不用运动补偿编码的帧内编码的内容；以及
输出所述处理的结果；
其特征在于，对于所述多个宏块中被跳过的当前宏块，所述处理包括：
对被跳过的当前宏块，选择帧内跳过模式；以及
对被跳过的当前宏块，使用所述帧内跳过模式，包括将定义的帧内跳过值赋予被跳过的当前宏块；以及
其中，所述层间残余视频的已编码数据的比特流包括宏块跳过信息，表明当前帧内编码图像的多个宏块中哪些被跳过。
12.如权利要求11所述的方法，其特征在于，以使得所述当前帧内编码图像的任何帧内跳过的宏块用零值重构的方式来选择所述定义的帧内跳过值，所述方法还包括：
接收所述比特流的至少一部分；
使用所述比特流的所述至少一部分解码所述层间残余视频，其中，所述解码包括处理所述多个宏块，并且其中，所述处理的结果是已解码的层间残余视频；以及
将所述已解码的层间残余视频与重构的基层视频组合，以产生重构的视频供输出。
13.一种处理层间残余视频的方法，所述方法包括：
处理所述层间残余视频，所述层间残余视频根据颜色空间被组织成多个通道；以及
输出所述处理的结果；
其特征在于，对于所述多个通道中的每一个通道，所述处理包括：
判断(1020)是否要跳过所述层间残余视频的所述通道；
如果所述通道被跳过，则作为跳过的通道来处理(1040)所述通道；以及
如果所述通道不被跳过，则作为编码的通道来处理所述通道(1030)；
其中，所述层间残余视频的已编码数据的比特流包括通道跳过信息，表明所述多个通道中的哪些被跳过。
14.如权利要求13所述的方法，其特征在于，所述判断还包括，对于所述多个通道中的被跳过的一个通道，从多个可用通道跳过模式中选择一个通道跳过模式，并且其中，所述通道跳过信息还表明所选通道跳过模式。
15.如权利要求13所述的方法，其特征在于，对于当前图像中的所述多个通道中的每一个，所述通道跳过信息包括一个代码，所述代码指示出该通道(a)使用定义的零跳过值被跳过，(b)通过从参考图像复制对应的通道的值被跳过，或(c)不被跳过。
16.如权利要求13所述的方法，其特征在于，对于当前图像中的所述多个通道中的每一个，所述通道跳过信息包括单比特码，所述单比特码表明该通道被跳过还是不被跳过。
17.如权利要求13所述的方法，其特征在于，还包括：
编码所述层间残余视频以产生所述比特流的至少一部分，其中，所述编码包括处理所述层间残余视频的所述多个通道，并且其中，所述处理的结果是所述比特流的所述至少一部分。
18.如权利要求13所述的方法，其特征在于，还包括：
接收所述比特流的至少一部分；
使用所述比特流的所述至少一部分解码所述层间残余视频，其中，所述解码包括处理所述层间残余视频的所述多个通道，并且其中，所述处理的结果是已解码的层间残余视频；以及
将所述已解码的层间残余视频与重构的基层视频组合，以产生重构的视频供输出。
19.一种处理层间残余视频的系统，所述系统包括：
用于处理层间残余视频的当前帧内编码图像的多个宏块的装置，所述当前帧内编码图像仅具有不用运动补偿编码的帧内编码的内容；以及
用于输出所述处理的结果的装置；
其特征在于，对于所述多个宏块中被跳过的当前宏块，所述用于处理的装置包括：
用于对被跳过的当前宏块，选择帧内跳过模式的装置；以及
用于对被跳过的当前宏块，使用所述帧内跳过模式，包括将定义的帧内跳过值赋予被跳过的当前宏块的装置；以及
其中，所述层间残余视频的已编码数据的比特流包括宏块跳过信息，表明当前帧内编码图像的多个宏块中哪些被跳过。
20.如权利要求19所述的系统，其特征在于，以使得所述当前帧内编码图像的任何帧内跳过的宏块用零值重构的方式来选择所述定义的帧内跳过值，所述系统还包括：
用于接收所述比特流的至少一部分的装置；
用于使用所述比特流的所述至少一部分解码所述层间残余视频的装置，其中，所述解码包括处理所述多个宏块，并且其中，所述处理的结果是已解码的层间残余视频；以及
用于将所述已解码的层间残余视频与重构的基层视频组合，以产生重构的视频供输出的装置。
CN200980135105.5A 2008-09-05 2009-08-17 用于层间残余视频编码和解码的跳过模式 Active CN102144391B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/205,689 2008-09-05
US12/205,689 US8213503B2 (en) 2008-09-05 2008-09-05 Skip modes for inter-layer residual video coding and decoding
PCT/US2009/053985 WO2010027637A2 (en) 2008-09-05 2009-08-17 Skip modes for inter-layer residual video coding and decoding

Publications (2)

Publication Number Publication Date
CN102144391A CN102144391A (zh) 2011-08-03
CN102144391B true CN102144391B (zh) 2015-02-25

Family

ID=41797753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980135105.5A Active CN102144391B (zh) 2008-09-05 2009-08-17 用于层间残余视频编码和解码的跳过模式

Country Status (5)

Country Link
US (1) US8213503B2 (zh)
EP (1) EP2319241B1 (zh)
CN (1) CN102144391B (zh)
HK (1) HK1159383A1 (zh)
WO (1) WO2010027637A2 (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8954178B2 (en) 2007-09-30 2015-02-10 Optical Fusion, Inc. Synchronization and mixing of audio and video streams in network-based video conferencing call systems
US9060094B2 (en) 2007-09-30 2015-06-16 Optical Fusion, Inc. Individual adjustment of audio and video properties in network conferencing
WO2010041856A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
CN102450010A (zh) 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
EP2422520A1 (en) * 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
US8934548B2 (en) 2009-05-29 2015-01-13 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
EP2457376A4 (en) * 2009-07-20 2013-01-30 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING AND DECODING COLOR CHANNELS IN A HIERARCHICAL VIDEO ENCODING AND DECODING SYSTEM
US8861879B2 (en) * 2009-09-17 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
EP2988503A1 (en) 2010-01-14 2016-02-24 Dolby Laboratories Licensing Corporation Buffered adaptive filters
CN102792694A (zh) * 2010-02-23 2012-11-21 三星电子株式会社 在分层编码结构中对预测图像进行编码/解码的方法和装置
CN102823248B (zh) * 2010-04-08 2015-06-24 株式会社东芝 图像编码方法以及图像编码装置
KR101939699B1 (ko) * 2010-05-19 2019-01-18 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
US8902982B2 (en) * 2011-01-17 2014-12-02 Samsung Electronics Co., Ltd. Depth map coding and decoding apparatus and method
CN107623857B (zh) * 2011-04-12 2021-01-05 韩国电子通信研究院 视频编码/解码方法、设备以及生成和存储比特流的方法
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
CN108337521B (zh) 2011-06-15 2022-07-19 韩国电子通信研究院 存储由可伸缩编码方法生成的比特流的计算机记录介质
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
KR101951696B1 (ko) 2011-10-17 2019-02-25 주식회사 케이티 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치
TWI580264B (zh) * 2011-11-10 2017-04-21 Sony Corp Image processing apparatus and method
CN102547292B (zh) * 2012-02-15 2018-07-06 北京大学深圳研究生院 使用非固定参考场前向预测跳过模式的编码解码方法
US9036573B2 (en) * 2012-03-09 2015-05-19 Neocific, Inc. Multi-carrier modulation with hierarchical resource allocation
EP2642755B1 (en) * 2012-03-20 2018-01-03 Dolby Laboratories Licensing Corporation Complexity scalable multilayer video coding
EP2853096A4 (en) * 2012-05-21 2016-07-06 Mediatek Singapore Pte Ltd METHOD AND APPARATUS FOR FILTERING BETWEEN LAYERS FOR SCALABLE VIDEO CODING
WO2013181821A1 (en) * 2012-06-07 2013-12-12 Mediatek Singapore Pte. Ltd. Improved intra transform skip mode
CN104380734B (zh) * 2012-06-07 2017-09-15 寰发股份有限公司 编码以及解码视频数据的方法和装置
US9426466B2 (en) * 2012-06-22 2016-08-23 Qualcomm Incorporated Transform skip mode
JP6060394B2 (ja) * 2012-06-27 2017-01-18 インテル・コーポレーション クロスレイヤー・クロスチャネル残差予測
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
US20140044168A1 (en) * 2012-08-13 2014-02-13 Qualcomm Incorporated Device and method for scalable coding of video information
EP2901692A4 (en) * 2012-09-28 2016-04-13 Intel Corp PREDICTING SAMPLES OF INTERLAYER PIXELS
US10764592B2 (en) * 2012-09-28 2020-09-01 Intel Corporation Inter-layer residual prediction
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US9445109B2 (en) 2012-10-16 2016-09-13 Microsoft Technology Licensing, Llc Color adaptation in video coding
US20140105278A1 (en) * 2012-10-16 2014-04-17 Microsoft Corporation Color adaptation in video coding
US9247256B2 (en) * 2012-12-19 2016-01-26 Intel Corporation Prediction method using skip check module
KR102290420B1 (ko) 2013-04-05 2021-08-17 삼성전자주식회사 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10904551B2 (en) * 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
US11438609B2 (en) 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
US10003792B2 (en) 2013-05-27 2018-06-19 Microsoft Technology Licensing, Llc Video encoder for images
EP2814253B1 (en) * 2013-06-05 2015-09-16 Axis AB Method for encoding digital video data
KR102170169B1 (ko) 2013-10-14 2020-10-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
KR102318785B1 (ko) 2013-10-14 2021-10-27 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 영상 코딩 및 디코딩에 대한 기본 색상 인덱스 맵 모드의 특징
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
WO2015058397A1 (en) 2013-10-25 2015-04-30 Microsoft Technology Licensing, Llc Representing blocks with hash values in video and image coding and decoding
KR20160075705A (ko) 2013-10-25 2016-06-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩에서의 해시 기반 블록 매칭
JP6355744B2 (ja) 2014-01-03 2018-07-11 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化／デコーディングにおけるブロックベクトル予測
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
JP2017512026A (ja) 2014-03-04 2017-04-27 マイクロソフト テクノロジー ライセンシング，エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード
CN105393537B (zh) 2014-03-04 2019-08-27 微软技术许可有限责任公司 用于基于散列的块匹配的散列表构建和可用性检查
CN105556971B (zh) * 2014-03-04 2019-07-30 微软技术许可有限责任公司 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
US10291915B2 (en) * 2014-03-06 2019-05-14 Samsung Electronics Co., Ltd. Video decoding method and apparatus and video encoding method and apparatus
CN105359531B (zh) * 2014-03-17 2019-08-06 微软技术许可有限责任公司 用于针对屏幕内容编码的编码器侧判定的方法和系统
KR102311815B1 (ko) 2014-06-19 2021-10-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
US10681372B2 (en) 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
EP3195597A4 (en) * 2014-09-19 2018-02-21 Telefonaktiebolaget LM Ericsson (publ) Methods, encoders and decoders for coding of video sequences
CN115665423A (zh) 2014-09-30 2023-01-31 微软技术许可有限责任公司 用于视频编码的基于散列的编码器判定
CA2959682C (en) 2014-09-30 2022-12-06 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
KR101919015B1 (ko) * 2014-10-07 2018-11-16 삼성전자주식회사 다 시점 영상 부호화/복호화 방법 및 장치
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
WO2016123792A1 (en) 2015-02-06 2016-08-11 Microsoft Technology Licensing, Llc Skipping evaluation stages during media encoding
EP3308540B1 (en) 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
US10038917B2 (en) 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
US10136132B2 (en) 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision
US10404992B2 (en) * 2015-07-27 2019-09-03 Qualcomm Incorporated Methods and systems of restricting bi-prediction in video coding
CN106878751B (zh) * 2015-12-11 2022-01-14 北京三星通信技术研究有限公司 视频帧内编码模式的标识方法、处理方法和装置
CN106162180A (zh) * 2016-06-30 2016-11-23 北京奇艺世纪科技有限公司 一种图像编解码方法及装置
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
KR20190052893A (ko) * 2017-11-09 2019-05-17 삼성전자주식회사 뉴럴 네트워크 연산을 위한 전처리 장치 및 방법
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
PH12019000380A1 (en) * 2018-12-17 2020-09-28 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
EP4049452B1 (en) * 2019-10-25 2023-09-13 V-Nova International Limited Embedding data within transformed coefficients using bit partitioning operations
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262985A1 (en) * 2005-05-03 2006-11-23 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
US20070230575A1 (en) * 2006-04-04 2007-10-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding using extended macro-block skip mode
US20080152000A1 (en) * 2006-12-22 2008-06-26 Qualcomm Incorporated Coding mode selection using information of other coding modes

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1506554A1 (ru) 1987-10-06 1989-09-07 Предприятие П/Я А-1772 Кодер видеосигнала
USRE35910E (en) 1989-05-11 1998-09-29 Matsushita Electric Industrial Co., Ltd. Moving image signal encoding apparatus and decoding apparatus
JP3303869B2 (ja) 1990-11-30 2002-07-22 株式会社日立製作所 画像符号化方法、画像符号化装置、画像復号化方法
US5136377A (en) 1990-12-11 1992-08-04 At&T Bell Laboratories Adaptive non-linear quantizer
US5611038A (en) 1991-04-17 1997-03-11 Shaw; Venson M. Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information
US5414469A (en) 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
US5300949A (en) 1992-10-22 1994-04-05 International Business Machines Corporation Scalable digital video decompressor
KR970000683B1 (ko) 1993-05-31 1997-01-16 삼성전자 주식회사 해상도 가변 적응적 화상압축/복원방법 및 장치
US5592226A (en) 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
US5828421A (en) 1994-10-11 1998-10-27 Hitachi America, Ltd. Implementation efficient digital picture-in-picture decoding methods and apparatus
US5821986A (en) 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
US6002801A (en) 1995-04-18 1999-12-14 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by selection of IDCT method based on image characteristics
US5864637A (en) 1995-04-18 1999-01-26 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by selective reduction of spatial resolution
US5796855A (en) 1995-10-05 1998-08-18 Microsoft Corporation Polygon block matching method
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6529631B1 (en) 1996-03-29 2003-03-04 Sarnoff Corporation Apparatus and method for optimizing encoding and performing automated steerable image compression in an image coding system using a perceptual metric
JP3466032B2 (ja) 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
AR016812A1 (es) 1997-08-14 2001-08-01 Samsung Electronics Co Ltd Metodo para transmitir informacion de video comprimida, disposiciones de compresion y de grabacion de video y aparato de reproduccion de video
US6339434B1 (en) * 1997-11-24 2002-01-15 Pixelworks Image scaling circuit for fixed pixed resolution display
EP0957638A4 (en) 1997-12-01 2008-06-04 Matsushita Electric Ind Co Ltd Image data processor and variable length coder and decoder
US6239847B1 (en) * 1997-12-15 2001-05-29 Netergy Networks, Inc. Two pass multi-dimensional data scaling arrangement and method thereof
US6873368B1 (en) 1997-12-23 2005-03-29 Thomson Licensing Sa. Low noise encoding and decoding method
US6229570B1 (en) 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
US6501484B1 (en) * 1998-09-29 2002-12-31 Globalstreams, Inc. System and method for high definition video rescaling
JP2000165661A (ja) 1998-11-27 2000-06-16 Murata Mach Ltd 画像処理装置及び記録媒体
US6418166B1 (en) 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
AUPP779898A0 (en) 1998-12-18 1999-01-21 Canon Kabushiki Kaisha A method of kernel selection for image interpolation
US6259741B1 (en) * 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
FR2792798B1 (fr) * 1999-04-26 2001-05-25 Thomson Multimedia Sa Procede et dispositif de quantification pour compression video
US6678424B1 (en) 1999-11-11 2004-01-13 Tektronix, Inc. Real time human vision system behavioral modeling
US6700933B1 (en) 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
US6510177B1 (en) 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US6456663B1 (en) * 2000-03-29 2002-09-24 Matsushita Electric Industrial Co., Ltd. DCT domain down conversion system that compensates for IDCT mismatch
JP4560897B2 (ja) 2000-06-02 2010-10-13 ソニー株式会社 通信装置、通信方法及び媒体
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US7023922B1 (en) 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
KR100370076B1 (ko) 2000-07-27 2003-01-30 엘지전자 주식회사 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
WO2002013536A2 (en) 2000-08-08 2002-02-14 Koninklijke Philips Electronics N.V. Video encoding method based on a wavelet decomposition
US6937291B1 (en) 2000-08-31 2005-08-30 Intel Corporation Adaptive video scaler
US6940905B2 (en) 2000-09-22 2005-09-06 Koninklijke Philips Electronics N.V. Double-loop motion-compensation fine granular scalability
DE10048735A1 (de) 2000-09-29 2002-04-11 Bosch Gmbh Robert Verfahren zur Codierung und Decodierung von Bildsequenzen sowie Einrichtungen hierzu
JP4231620B2 (ja) 2000-10-11 2009-03-04 メディア・テック・ユーエスエイ・インコーポレーテッド 画像処理方法および装置
US20020159484A1 (en) 2000-12-05 2002-10-31 Murat Azizoglu Coding scheme using a control code map for signal transmission in optical communications networks
US7072525B1 (en) * 2001-02-16 2006-07-04 Yesvideo, Inc. Adaptive filtering of visual image using auxiliary image information
US6831947B2 (en) 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
EP1380174A1 (en) 2001-04-10 2004-01-14 Koninklijke Philips Electronics N.V. Method of encoding a sequence of frames
US7206453B2 (en) 2001-05-03 2007-04-17 Microsoft Corporation Dynamic filtering for lossy compression
US6907143B2 (en) 2001-05-16 2005-06-14 Tektronix, Inc. Adaptive spatio-temporal filter for human vision system models
US7747094B2 (en) * 2001-06-29 2010-06-29 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
EP1294196A3 (en) 2001-09-04 2004-10-27 Interuniversitair Microelektronica Centrum Vzw Method and apparatus for subband encoding and decoding
US6992725B2 (en) 2001-10-22 2006-01-31 Nec Electronics America, Inc. Video data de-interlacing using perceptually-tuned interpolation scheme
US7639739B2 (en) 2001-11-02 2009-12-29 The Regents Of The University Of California Technique to enable efficient adaptive streaming and transcoding of video and other signals
US7200275B2 (en) 2001-12-17 2007-04-03 Microsoft Corporation Skip macroblock coding
KR20040077777A (ko) 2002-01-22 2004-09-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 드리프트-없는 비디오 엔코딩 및 디코딩 방법, 및 대응장치들
US7596179B2 (en) * 2002-02-27 2009-09-29 Hewlett-Packard Development Company, L.P. Reducing the resolution of media data
US7317759B1 (en) 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
US6993078B2 (en) 2002-03-28 2006-01-31 International Business Machines Corporation Macroblock coding technique with biasing towards skip macroblock coding
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7010037B2 (en) 2002-08-06 2006-03-07 Koninklijke Philips Electronics N.V. System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
US7072394B2 (en) 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
US7379496B2 (en) 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
GB0228556D0 (en) 2002-12-06 2003-01-15 British Telecomm Video quality measurement
EP1600002A1 (en) 2003-02-25 2005-11-30 Koninklijke Philips Electronics N.V. Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions
FR2852773A1 (fr) 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US20130107938A9 (en) 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US8107535B2 (en) 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
JP4207684B2 (ja) 2003-06-27 2009-01-14 富士電機デバイステクノロジー株式会社 磁気記録媒体の製造方法、および、製造装置
JP2007519273A (ja) 2003-06-30 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーバーコンプリート・ウェーブレット符号化と循環予測写像とを用いてビデオ処理を行うシステム及び方法
WO2005002234A1 (en) 2003-06-30 2005-01-06 Koninklijke Philips Electronics, N.V. Video coding in an overcomplete wavelet domain
TWI232681B (en) 2003-08-27 2005-05-11 Mediatek Inc Method of transforming one video output format into another video output format without degrading display quality
KR100519776B1 (ko) * 2003-11-24 2005-10-07 삼성전자주식회사 영상 신호의 해상도 변환 방법 및 장치
KR100597402B1 (ko) * 2003-12-01 2006-07-06 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
JP2007513565A (ja) * 2003-12-03 2007-05-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｍｐｅｇ−２システムにおいてスケーラビリティ・サポートを向上させたシステム及び方法
CN1332563C (zh) * 2003-12-31 2007-08-15 中国科学院计算技术研究所 一种视频图像跳过宏块的编码方法
US7471845B2 (en) * 2004-01-06 2008-12-30 Sharp Laboratories Of America, Inc. De-ringing filter
US20050157791A1 (en) 2004-01-20 2005-07-21 Eastman Kodak Company System and method for video tone scale reduction
JP2005217940A (ja) 2004-01-30 2005-08-11 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
KR100596705B1 (ko) 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US20050195896A1 (en) 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
CN1939067B (zh) 2004-04-02 2011-07-20 汤姆森许可贸易公司 用于复杂度可伸缩视频编码器的方法和设备
EP1599046A1 (en) 2004-05-19 2005-11-23 THOMSON Licensing Method for coding video data of a sequence of pictures
US20050259729A1 (en) 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
WO2006001777A1 (en) 2004-06-23 2006-01-05 Agency For Science, Technology And Research Scalable video coding with grid motion estimation and compensation
KR100654436B1 (ko) 2004-07-07 2006-12-06 삼성전자주식회사 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US20060013305A1 (en) 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools
KR100621581B1 (ko) 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
US8243820B2 (en) 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
US9071847B2 (en) 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
KR20060043115A (ko) 2004-10-26 2006-05-15 엘지전자 주식회사 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
KR100888962B1 (ko) 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100888963B1 (ko) 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7801220B2 (en) 2005-01-07 2010-09-21 Microsoft Corporation In-band wavelet video coding with spatial scalability
KR100714689B1 (ko) 2005-01-21 2007-05-04 삼성전자주식회사 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
WO2006079997A2 (en) 2005-01-31 2006-08-03 Koninklijke Philips Electronics N.V. Pyramidal decomposition for multi-resolution image filtering
KR100728222B1 (ko) 2005-03-25 2007-06-13 한국전자통신연구원 공간영역에서의 완전한 스케일러빌리티를 위한 계층적 부호화/복호화 방법 및 장치
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
EP1727372A1 (en) 2005-05-27 2006-11-29 Thomson Licensing Method and apparatus for encoding and decoding video data,
WO2006129184A1 (en) 2005-06-03 2006-12-07 Nokia Corporation Residual prediction mode in scalable video coding
US7830961B2 (en) 2005-06-21 2010-11-09 Seiko Epson Corporation Motion estimation and inter-mode prediction
EP1902586B1 (en) 2005-07-11 2014-09-24 Thomson Licensing Method and apparatus for macroblock adaptive inter-layer intra texture prediction
US7216279B2 (en) 2005-07-19 2007-05-08 Lsi Logic Corporation Testing with high speed pulse generator
US20080123947A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
EP1746839A1 (en) 2005-07-22 2007-01-24 Thomson Licensing Method and apparatus for encoding video data
EP1775958A1 (en) 2005-10-14 2007-04-18 Thomson Licensing Method and apparatus for reconstructing the texture of a spatial enhancement-layer video picture
KR100772868B1 (ko) 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
US8023569B2 (en) 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US8094721B2 (en) * 2005-12-29 2012-01-10 Cisco Technology, Inc. Methods and apparatuses for selecting a mode within a compression scheme
GB0600141D0 (en) 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101416513A (zh) 2006-01-09 2009-04-22 诺基亚公司 具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置
KR100772873B1 (ko) 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
US20070274396A1 (en) 2006-05-26 2007-11-29 Ximin Zhang Complexity adaptive skip mode estimation for video encoding
WO2008004816A1 (en) 2006-07-04 2008-01-10 Electronics And Telecommunications Research Institute Scalable video encoding/decoding method and apparatus thereof
US8120660B2 (en) * 2006-07-10 2012-02-21 Freescale Semiconductor, Inc. Image data up sampling
JP4647558B2 (ja) 2006-07-27 2011-03-09 日本電信電話株式会社 映像符号化並列処理方法，映像符号化装置，映像符号化プログラムおよびその記録媒体
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US20080095235A1 (en) * 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US7983496B2 (en) * 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
US8160132B2 (en) * 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US9338475B2 (en) * 2008-04-16 2016-05-10 Intel Corporation Tone mapping for bit-depth scalable video codec

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262985A1 (en) * 2005-05-03 2006-11-23 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
US20070230575A1 (en) * 2006-04-04 2007-10-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding using extended macro-block skip mode
US20080152000A1 (en) * 2006-12-22 2008-06-26 Qualcomm Incorporated Coding mode selection using information of other coding modes

Also Published As

Publication number Publication date
EP2319241B1 (en) 2020-04-22
HK1159383A1 (zh) 2012-07-27
US20100061447A1 (en) 2010-03-11
WO2010027637A3 (en) 2010-05-14
CN102144391A (zh) 2011-08-03
EP2319241A4 (en) 2012-02-01
EP2319241A2 (en) 2011-05-11
WO2010027637A2 (en) 2010-03-11
US8213503B2 (en) 2012-07-03

Similar Documents

Publication Publication Date Title
CN102144391B (zh) 用于层间残余视频编码和解码的跳过模式
CN111837390B (zh) 用于视频编码、解码的方法和相关装置
KR100703748B1 (ko) 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
CN102057677B (zh) 用于增强层视频编码的适应性量化
CN101601300B (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
CN101336549B (zh) 基于多层的可缩放视频编码方法及装置
KR101053628B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
CN101069429B (zh) 用于多层视频编码和解码的方法和设备
CN101529911B (zh) 用于对多层比特流数据进行信号指示的方法和系统
CN102316320B (zh) 处理视频图像的方法
KR100809301B1 (ko) 엔트로피 부호화/복호화 방법 및 장치
JP2021513826A (ja) ビデオ圧縮における複数ラインのフレーム内予測のための方法および装置
CN105917650A (zh) 视频和图像编码/解码中的块向量预测
CN1633812A (zh) 视频图片的全局运动补偿
MXPA06002496A (es) Codificacion y descodificacion de plano de bit para estado de prediccion ac e informacion de tipo de codificacion de campo/marco de macrobloque.
CN101601299A (zh) 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备
CN105659606A (zh) 用于视频和图像编码和解码的基础颜色索引图模式的特征
CN113615185A (zh) 用于视频编码的方法和装置
CN113574894B (zh) 视频解码方法、视频解码器、计算机设备及介质
CN113557527A (zh) 通用视频编解码中色彩变换的方法和装置
CN115834878A (zh) 视频编码方法、装置、设备和计算机可读存储介质
KR20070075227A (ko) 플래그 부호화 방법, 플래그 복호화 방법, 및 상기 방법을이용한 장치
CN113228667A (zh) 用于视频编码的方法及装置
KR100834757B1 (ko) 엔트로피 부호화 효율을 향상시키는 방법 및 그 방법을이용한 비디오 인코더 및 비디오 디코더
AU2023202653A1 (en) Method and apparatus for reducing context models for entropy coding of transform coefficient significant flag

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1159383

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150727

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1159383

Country of ref document: HK