CN1939066B - 用于复杂度可伸缩视频解码器的方法和设备 - Google Patents

用于复杂度可伸缩视频解码器的方法和设备 Download PDF

Info

Publication number
CN1939066B
CN1939066B CN200580010305XA CN200580010305A CN1939066B CN 1939066 B CN1939066 B CN 1939066B CN 200580010305X A CN200580010305X A CN 200580010305XA CN 200580010305 A CN200580010305 A CN 200580010305A CN 1939066 B CN1939066 B CN 1939066B
Authority
CN
China
Prior art keywords
resolution
prediction
signal communication
decoder
enhancement layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200580010305XA
Other languages
English (en)
Other versions
CN1939066A (zh
Inventor
吉尔·麦克唐纳·博伊斯
亚历山德罗斯·麦克尔·图拉皮斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34964213&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1939066(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN1939066A publication Critical patent/CN1939066A/zh
Application granted granted Critical
Publication of CN1939066B publication Critical patent/CN1939066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种视频解码器、视频解码方法、视频编码器和视频编码方法。用于对图像块的视频比特流进行解码的视频解码器包括运动矢量分辨率降低器(999)和运动补偿器(960)。运动矢量分辨率降低器用于接收视频比特流中包括的解码高分辨率运动矢量，并降低高分辨率运动矢量的精度，使其与低分辨率相对应。运动补偿器与运动矢量分辨率降低器进行信号通信，使用降低精度的运动矢量，来形成运动补偿高分辨率预测。用于对可伸缩视频进行编码的视频编码器包括：运动补偿器(1190)，形成运动补偿全分辨率预测，并组合(1105)运动补偿全分辨率预测与图像块，以形成预测残差。对预测残差进行下采样(1112)，以形成低分辨率的下采样预测残差，然后对其编码(1115)。

Description

用于复杂度可伸缩视频解码器的方法和设备
本申请要求2004年4月2日提交的标题为“复杂度可伸缩视频编解码器(Complexity Scalable Video CODEC)”的美国临时专利申请No.60/558，862的优先权，将其全部内容合并在此，以作参考。本申请还与本申请同时提交的标题为“用于复杂度可伸缩视频编码器的方法和设备(Method and Apparatus for Complexity Video Encoder)”的美国专利申请No.XX/XXX，XXX相关，也将其全部内容合并在此，以作参考。
技术领域
本发明大体上涉及视频编码器和解码器(编解码器)，更具体地，涉及一种用于可伸缩复杂度视频编码和解码的设备和方法。
背景技术
人们希望广播视频应用为多种用户设备提供支持，而不会导致同时联播编码的比特率损失。视频解码是复杂的操作，复杂度取决于编码视频的分辨率。低功率便携式设备典型地具有非常严格的复杂度限制和低分辨率显示器。与不同分辨率相对应的两个或多个视频比特流的同时联播广播可以用来处理更低分辨率设备的复杂度要求，但是要求比复杂度可伸缩系统更高的总比特率。因此，需要一种解决方案，在保持高视频编码比特率效率的同时，允许使用复杂度可伸缩的编解码器。
在MPEG-2和MPEG-4标准的可伸缩性概述中，许多不同的可伸缩性方法已得到了广泛的研究和标准化，包括SNR可伸缩性、空间可伸缩性、时间可伸缩性和微粒度可伸缩性。可伸缩编码的大部分工作是以比特率可伸缩性作为目标，其中低分辨率层具有有限带宽。如图1所示，参考数字100大体上表示典型的空间可伸缩性系统。系统100包括用于接收视频序列的复杂度可伸缩视频编码器110。复杂度可伸缩视频编码器110的第一输出以信号通信的方式，与低带宽网络120以及复用器130的第一输入相连。复杂度可伸缩视频编码器110的第二输出以信号通信的方式与复用器130的第二输入相连。低带宽网络120的输出以信号通信的方式与低分辨率解码器140的输入相连。复用器130的输出以信号通信的方式与高带宽网络150的输入相连。高带宽网络150的输出以信号通信的方式与解复用器160的输入相连。解复用器160的第一输出以信号通信的方式与高分辨率解码器170的第一输入相连，解复用器160的第二输出以信号通信的方式与高分辨率解码器170的第二输入相连。可在系统100的外部使用低分辨率解码器140和高分辨率解码器170的输出。
因为解码器和解码器复杂度的显著增加，以及可伸缩编码器的编码效率典型地远低于不可伸缩编码器，所以实际中还未广泛采用可伸缩编码。
空间可伸缩编码器和解码器典型地要求高分辨率可伸缩解码器/解码器在提供常规高分辨率解码器/解码器中可能存在的功能之外，还提供附加功能。在MPEG-2空间可伸缩编码器中，对于是根据低分辨率参考图像，还是根据高分辨率参考图像来执行预测，做出决定。MPEG-2空间可伸缩解码器必须是既能够根据低分辨率参考图像来预测，又能够根据高分辨率参考图像来预测。MPEG-2空间可伸缩解码器/解码器要求两组参考图像存储器，一个针对低分辨率图像，另一个针对高分辨率图像。图2示出了根据现有技术，支持两层的低复杂度空间可伸缩编码器200的方框图。图3示出了根据现有技术，支持两层的低复杂度空间可伸缩解码器300的方框图。
参考图2，参考数字200大体上表示支持两层的空间可伸缩视频编码器。视频编码器200包括用于接收高分辨率输入视频序列的下采样器210。下采样器210以信号通信的方式与低分辨率不可伸缩编码器212相耦合，低分辨率不可伸缩编码器212以信号通信的方式与低分辨率帧存储器214相耦合。低分辨率不可伸缩编码器212输出低分辨率比特流，还以信号通信的方式与低分辨率不可伸缩解码器220相耦合。
低分辨率不可伸缩解码器220以信号通信的方式与上采样器230相耦合，上采样器230以信号通信的方式与可伸缩高分辨率编码器240相耦合。可伸缩高分辨率编码器240还接收高分辨率输入视频序列，并以信号通信的方式与高分辨率帧存储器250相耦合，并输出高分辨率可伸缩比特流。
因此，由低复杂度编码器200接收高分辨率输入视频序列，并对其进行下采样以创建低分辨率视频序列。使用不可伸缩低分辨率视频压缩编码器来对低分辨率视频序列进行编码，创建低分辨率比特流。使用不可伸缩低分辨率视频压缩解码器来对低分辨率比特流进行解码。可以在编码器内部执行这种功能。对已解码的低分辨率序列上采样，作为可伸缩高分辨率编码器的两个输入之一。可伸缩高分辨率编码器对视频进行编码，来创建高分辨率可伸缩比特流。
参考图3，参考数字300大体上表示支持两层的空间可伸缩视频解码器。视频解码器300包括用于接收低分辨率比特流的低分辨率解码器360，低分辨率解码器360以信号通信的方式与低分辨率帧存储器362相耦合，并输出低分辨率视频序列。低分辨率解码器360还以信号通信的方式与上采样器370相耦合，上采样器370以信号通信的方式与可伸缩高分辨率解码器380相耦合。
可伸缩高分辨率解码器380还以信号通信的方式与高分辨率帧存储器390相耦合。可伸缩高分辨率解码器380接收高分辨率比特流，并输出高分辨率视频序列。
因此，由低复杂度解码器300接收高分辨率可伸缩比特流和低分辨率比特流。使用不可伸缩低分辨率视频压缩解码器来解码低分辨率比特流，其中所述不可伸缩低分辨率视频压缩解码器使用低分辨率帧存储器。对已解码的低分辨率视频进行上采样，然后将其输入高分辨率可伸缩解码器。高分辨率可伸缩解码器使用高分辨率帧存储器组，并创建高分辨率输出视频序列。
参考图4，参考数字400大体上表示不可伸缩视频编码器。视频编码器400的输入以信号通信的方式与求和点(加法器或用于信号组合/比较的其它装置)410的非反相输入相连。求和点410的输出以信号通信的方式与变换器/量化器420相连。变换器/量化器420的输出以信号通信的方式与熵编码器440相连，其中熵编码器440的输出是编码器400的外部可用输出。
变换器/量化器420的输出还以信号通信的方式与逆变换/量化器450相连。逆变换/量化器450的输出以信号通信的方式与求和点(加法器或用于信号组合的其它装置)488的第一非反相输入相连。求和点488的输出以信号通信的方式与去块(deblock)滤波器460的输入相连。去块滤波器460的输出以信号通信的方式与参考图像存储器470相连。参考图像存储器470的第一输出以信号通信的方式与运动估计器480的第一输入相连。解码器400的输入还以信号通信的方式与运动估计器480的第二输入相连。运动估计器480的输出以信号通信的方式与运动补偿器490的第一输入相连。参考图像存储470的第二输出以信号通信的方式与运动补偿器490的第二输入相连。运动补偿器490的输出以信号通信的方式与求和点410的反相输入以及求和点488的第二非反相输入相连。
参考图5，参考数字500大体上表示不可伸缩视频解码器。视频解码器500包括用于接收视频序列的熵解码器510。熵解码器510的第一输出以信号通信的方式与逆量化器/变换器520的输入相连。逆量化器/变换器520的输出以信号通信的方式与求和点(加法器或用于信号组合/比较的其它装置)540的第一输入相连。
求和点540的输出以信号通信的方式与去块滤波器590相连。去块滤波器590的输出以信号通信的方式与参考图像存储器550相连。参考图像存储器550以信号通信的方式与运动补偿器560的第一输入相连。运动补偿器560的输出以信号通信的方式与求和点540的第二输入相连。熵解码器510的第二输出以信号通信的方式与运动补偿器560的第二输入相连。去块滤波器590的输出提供视频解码器500的输出。
已建议扩展H.264/MPEG AVC，以使用降低分辨率更新(ReducedResolution Update，RRU)模式。RRU模式在执行全分辨率图像的运动估计和补偿时，通过减少要编码的残差宏块(MB)的数量，来提高低比特率的编码效率。参考图6，参考数字600大体上表示降低分辨率更新(RRU)视频编码器。视频编码器600的输入以信号通信的方式与求和点(加法器或用于信号组合/比较的其它装置)610的非反相输入相连。求和点610的输出以信号通信的方式与下采样器612的输入相连。变换器/量化器620的输入以信号通信的方式与下采样器612的输入或与求和点610的输出相连。变换器/量化器620的输出以信号通信的方式与熵编码器640相连，其中熵编码器640的输出是编码器600的外部可用输出。
变换器/量化器620的输出还以信号通信的方式与逆变换器/量化器650的输入相连。逆变换器/量化器650的输出以信号通信的方式与上采样器655的输入相连。加法器(求和点或其它信号组合装置)688的第一非反相输入以信号通信的方式与逆变换器/量化器650的输出，或与上采样器655的输出相连。加法器688的输出以信号通信的方式与去块滤波器660的输入相连。去块滤波器660的输出以信号通信的方式与参考图像存储器670的输入相连。参考图像存储器670的第一输出以信号通信的方式与运动估计器680的第一输入相连。编码器600的输入还以信号通信的方式与运动估计器680的第二输入相连。运动估计器680的输出以信号通信的方式与运动补偿器690的第一输入相连。参考图像存储670的第二输出以信号通信的方式与运动补偿器690的第二输入相连。运动补偿器690的输出以信号通信的方式与求和点610的反相输入以及加法器688的第二非反相输入相连。
参考图7，参考数字700大体上表示降低分辨率更新(RRU)视频解码器。视频解码器700包括用于接收视频序列的熵解码器710。熵解码器710的输出以信号通信的方式与逆量化器/变换器720的输入相连。逆量化器/变换器720的输出以信号通信的方式与上采样器722的输入相连。上采样器722的输出以信号通信的方式与求和点(加法器或用于信号组合/比较的其它装置)740的第一输入相连。
求和点740的输出以信号通信的方式与全分辨率参考图像存储器750以及去块滤波器790相连。全分辨率参考图像存储器750以信号通信的方式与运动补偿器760相连，运动补偿器760以信号通信的方式与求和点740的第二输入相连。去块滤波器790的输出提供视频解码器700的输出。
发明内容
本发明解决了现有技术的这些和其它缺点和不利之处，其中本发明涉及一种用于可伸缩复杂度视频编码和解码的设备和方法。
根据本发明的一个实施例方案，提供一种用于解码图像块的视频比特流的方法，该方法包括步骤：对视频比特流进行解码；对解码比特流进行逆量化和逆变换，来形成预测残差；从解码视频比特流中形成运动补偿的全分辨率预测；以及将上采样的预测残差与运动补偿的全分辨率预测组合起来，获得解码图像块。
本发明的这些和其它方案、特征和优点将从以下要参考附图来阅读的范例实施例的详细描述中显而易见。
附图说明
参考以下示例图，可以更好地理解本发明，其中：
图1示出了根据现有技术的典型空间可伸缩性系统的方框图；
图2示出了根据现有技术，支持两层的空间可伸缩编码器的方框图；
图3示出了根据现有技术，支持两层的空间可伸缩解码器的方框图；
图4示出了根据现有技术，在H.264/MPEG AVC标准中使用的常规不可伸缩视频编码器的方框图；
图5示出了根据现有技术，与H.264/MPEG AVC一起使用的常规不可伸缩视频解码器的方框图；
图6示出了根据现有技术，降低分辨率更新(RRU)视频编码器的方框图；
图7示出了根据现有技术的降低分辨率更新(RRU)视频解码器的方框图；
图8示出了根据本发明原理的复杂度可伸缩性广播系统的方框图；
图9示出了根据本发明原理的低分辨率复杂度可伸缩视频解码器的方框图；
图10示出了根据本发明原理的高分辨率复杂度可伸缩视频解码器的方框图；
图11示出了根据本发明原理的复杂度可伸缩视频编码器的方框图；
图12示出了根据本发明原理的视频编码过程的流程图；
图13示出了根据本发明原理，具有空间可伸缩性的视频编码过程的流程图；
图14示出了根据本发明原理的高分辨率视频解码过程的流程图；
图15示出了根据本发明原理的低分辨率视频解码过程的流程图；以及
图16示出了根据本发明原理，具有空间可伸缩性的高分辨率视频解码过程的流程图。
具体实施方式
本发明的目的是提供一种用于可伸缩复杂度视频编码和解码的设备和方法。
本描述示出了本发明的原理。因此，应该认识到，虽然这里没有明显描述或示出，但是本领域技术人员能够设计多种配置，这些配置实现本发明的原理，并被包括在本发明的精神和范围之内。
这里所述的所有示例和条件语言用于教学目的，以帮助读者理解本发明原理和发明人所做出的用以改进现有技术的概念，并且应该认为，本发明并不限于这些具体描述的示例和条件。
此外，这里描述本发明的原理、方案和实施例的所有陈述及其特定示例，意欲涵盖其结构和功能上的等同物。另外，这些等同物包括当前已知的等同物和未来开发的等同物，即，无论结构如何，被开发来执行相同功能的任何元件。
因此，例如，本领域技术人员应该理解到，这里所呈现的方框图代表实现本发明原理的演示性电路的概念图。相似地，应该理解到，任何流程图、流程图解、状态转换图、伪代码等代表多种过程，无论是否明显示出了计算机或处理器，这些过程实质上出现在计算机可读介质中，并由计算机或处理器执行。
通过使用专用硬件和与适当软件联合而能够执行软件的硬件，可以提供图中所示的多种元件的功能。当由处理器提供时，可以由单个专用处理器、单个共享处理器或多个独立的处理器来提供功能，其中多个独立的处理器中的一些可以是共享的。此外，应该理解，确切使用术语“处理器”或“控制器”不是专指能够执行软件的硬件，而是可以隐含地、非限制性地包括数字信号处理器(“DSP”)硬件、存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。
还可以包括其它常规和/或定制的硬件。相似地，图中所示的任何开关只是概念性的。可以通过程序逻辑的操作、专用逻辑电路、程序控制和专用逻辑电路的交互，甚至手动地来执行这些开关的功能，正如根据上下文更加具体理解的一样，实施者可以选择特定技术。
在权利要求中，任何被表达为执行特定功能的装置的元件意欲涵盖执行该功能的任何方式，例如包括：a)执行该功能的电路元件的组合；或b)任何形式的软件，包括固件、微代码等，与执行该软件的适当电路相组合，以执行功能。由这些权利要求限定的本发明符合以下事实：以权利要求所称的方式，将多种所述装置提供的功能组合或合并在一起。因此，申请人认为任何可以提供这些功能的装置都是这里所示的装置的等同物。
本发明的有用之处在于，本发明在保持编码效率同时，实现了具有各种用户端点设备的广播视频系统。在不丧失一般性的情况下，考虑支持至少两个不同等级的解码器复杂度和分辨率的系统。低分辨率解码器具有较小的显示尺寸，并具有非常严格解码器复杂度限制。全分辨率解码器具有更大的显示尺寸，具有较少但仍然重要的解码器复杂度限制。
广播或组播系统传输两个比特流，具有比特率BRbase的基层和具有比特率BRenhan的增强层。可以将两个比特流复用在一起，并以单个传输流发送。参考图8，参考数字800大体上表示复杂度可伸缩性广播系统。根据本发明原理，系统800包括复杂度可伸缩视频编码器、低分辨率解码器和全分辨率解码器。复杂度可伸缩性广播系统800包括复杂度可伸缩视频编码器810。复杂度可伸缩视频编码器810的第一输出以信号通信的方式，与复用器820的第一输入相连。复杂度可伸缩视频编码器810的第二输出以信号通信的方式，与复用器820的第二输入相连。复用器820的输出以信号通信的方式，与网络830相连。网络830的输出以信号通信的方式，与第一解复用器840的输入以及第二解复用器850的输入相连。第一解复用器840的输出以信号通信的方式，与低分辨率解码器850的输入相连。第二解复用器860的第一输出以信号通信的方式，与全分辨率解码器870的第一输入相连。第二解复用器860的第二输出以信号通信的方式，与全分辨率解码器870的第二输入相连。低分辨率解码器850只处理基层比特流，而全分辨率解码器870处理基层比特流和增强层比特流。
该系统的关键目标是最小化BRbase+BRenhan。这与典型的可伸缩性系统有些不同，如图1所示，典型的可伸缩性系统还认为最小化BRbase本身也比较重要，其中，低分辨率设备通过低带宽网络相连。在复杂度可伸缩性系统800中，假设广播基层和增强层，所以基层比特流的比特率没有受到较高程度的限制。
在本发明中，在低分辨率解码器850和全分辨率解码器870中，都使用在运动估计/补偿之后形成的视频残差的编码所用的比特。在低分辨率解码器850和全分辨率解码器870中，都使用在基层比特流中传输的运动矢量(mv)，但是在全分辨率解码器870中的精度比在低分辨率解码器850中的更高。此外，在低分辨率解码器850中，以低分辨率进行运动补偿预测，而在全分辨率解码器870中，以高分辨率进行运动补偿预测。低分辨率的运动块与高分辨率的更大块相对应。因此，例如，当应用于H.264/MPEG AVC编解码器时，在低分辨率基层中使用允许的运动块大小16×16、16×8、8×16、8×8、8×4、4×8和4×4，但是这与全分辨率的更大块大小32×32、32×16、16×32、16×16、16×8、8×16和8×8相对应。
低分辨率解码器850只使用基层比特流。例如，还使用16×16宏块，传输附加的增强层比特流，以用在全分辨率解码器870中。增强层比特流包括全分辨率误差信息，要通过全分辨率运动补偿，来将全分辨率误差信息加到基层比特流的解码结果上。增强层的比特率最终可以低于基层的比特率，这与典型的空间可伸缩性情况不同，在典型的空间可伸缩性情况中，基层比特率典型地小于增强层比特率。不必要针对每一个编码宏块或帧/图像，发送全分辨率误差信号。
参考图9，参考数字900大体上表示低分辨率复杂度可伸缩视频解码器。视频解码器900包括用于接收视频序列的熵解码器910。熵解码器910的第一输出以信号通信的方式与逆量化器/变换器920的输入相连。逆量化器/变换器920的输出以信号通信的方式与求和点(加法器或用于信号组合/比较的其它装置)940的第一输入相连。
求和点940的输出以信号通信的方式与参考图像存储器950和去块滤波器990相连。参考图像存储器950以信号通信的方式与运动补偿器960的第一输入相连。运动补偿器960的输出以信号通信的方式与求和点940的第二输入相连。熵解码器910的第二输出以信号通信的方式与运动矢量(MV)分辨率降低器999的输入相连。MV分辨率降低器999的输出以信号通信的方式，与运动补偿器960的第二输入相连。去块滤波器990的输出提供视频解码器900的输出。
熵解码器910对基层比特流进行熵解码。运动矢量分辨率降低器999对运动矢量进行舍入操作，来降低运动矢量的精度，以与低分辨率相对应。其它模块与标准视频解码器中的相似，包括逆量化和逆变换、运动补偿和去块滤波器。因为运动矢量的伸缩具有非常低的复杂度，所以低分辨率可伸缩解码器900的复杂度与不可伸缩解码器的非常相似。如果在低分辨率和全分辨率之间的每一维度中的分辨率比率中使用因子2，则可以根据在系统中是选择向上舍入还是向下舍入，只通过右移或相加和右移，来实现舍入操作。
在本发明的可选实施例中，在基层中传输的运动矢量不具有较高分辨率。在这种情况下，低分辨率解码器可以与现有编码标准完全地后向兼容。但是，因为必须在增强层比特流中传输全分辨率的运动矢量的附加比特精度，所以这种系统可能具有更低的编码效率。在这种情况下，可以对增强层编码，使其与P帧相似，并且首先根据层预测对运动矢量进行差分编码(例如，相对于对应的低分辨率层mv来差分编码)，再使用空间预测对运动矢量进行差分编码(例如，相对于相邻mv或甚至相邻差分mv，来差分编码)。
参考图10，参考数字1000大体上表示高分辨率复杂度可伸缩视频解码器1000。视频解码器1000包括用于接收基层比特流的第一熵解码器1005。第一熵解码器1005的输出以信号通信的方式与第一逆量化器/变换器1010的输入相连。第一逆量化器/变换器1010的输出以信号通信的方式与上采样器1015的输入相连。上采样器1015的输出以信号通信的方式与第一求和点(加法器或用于信号组合/比较的其它装置)1020的第一输入相连。
求和点1020的输出以信号通信的方式与第二求和点(加法器或用于信号组合/比较的其它装置)1025的第一输入相连。全分辨率参考图像存储器1030的输出以信号通信的方式与运动补偿器1035的第一输入相连。熵解码器1005的第二输出以信号通信的方式与运动补偿器1035的第二输入相连。运动补偿器1035的输出以信号通信的方式与第一求和点1020的第二输入相连。
第二熵解码器1040的输入用于接收增强层比特流。第二熵解码器1040的输出以信号通信的方式与第二逆量化器/变换器1045的输入相连。第二逆量化器/变换器1045的输出以信号通信的方式与第二求和点1025的第二输入相连。
去块滤波器1050的输入以信号通信的方式，与全分辨率参考图像存储器1030的输入或与第二求和点1025的输出相连。去块滤波器1050的输出提供视频解码器1000的输出。
对基层比特流进行操作的解码器1000的部分与RRU解码器相似。在熵解码以及逆量化和逆变换之后，对残差进行上采样。将运动补偿应用于全分辨率参考图像，来形成全分辨率预测，并将上采样的残差加到预测上。如果在增强层比特流中存在全分辨率误差信号，则对其进行熵解码以及逆量化和变换，然后加到RRU重建信号上。接着，应用去块滤波器。采用跳过宏块模式，可以在宏块级上用信号通知全分辨率误差信号的存在。如果宏块被标记为跳过的，则不存在附加的误差信号，如果宏块未被标记为跳过的，则还必须传输增量(delta_quant)、编码块图案和实际残差。还可以对跳过宏块进行行程编码，来进一步提高效率。可以创建执行无方向性预测的附加帧内方向预测模式。如果跳过增强层中的宏块，虽然不执行任何附加预测可能更加高效，但是还可以通过考虑相邻宏块来推断附加预测。例如，如果H.264中所述的所有帧内预测模式可用，则也可以产生从相邻宏块的预测模式可以推导出的针对跳过的附加预测(即，最小方向预测)，然后将该附加预测加到RRU重建信号上，以产生最终预测。相似地，也可以在仍然允许传输误差信号的同时，使用可以从相邻宏块推导出其方向预测模式的附加方向帧内模式。
本结构与传统的空间可伸缩解码器的关键不同之处在于，不需要两组参考图像存储器和运动补偿单元。这种全分辨率解码器只包含全分辨率参考图像存储器，并只执行一次全分辨率上的运动补偿。相反，图3的空间可伸缩性解码器包括全分辨率和低分辨率参考图像存储器，并执行全分辨率和低分辨率的运动补偿。与传统的空间可伸缩解码器相比，这显著地缩减了针对根据本发明的全分辨率解码器的计算、存储和存储带宽。
全分辨率可伸缩解码器的解码器复杂度与相同分辨率的常规视频解码器的复杂度相似。因为在少量块上进行操作，所以针对基层比特流的逆量化和逆变换模块具有低于常规解码器的复杂度。但是，对于增强层比特流，需要附加的熵解码以及逆量化和逆变换。运动补偿和去块滤波器是解码器中计算复杂度最大的模块，它们与常规解码器中的相同。
在本发明实施例中，只有在基层中存在帧内编码(I)帧时，才发送增强层比特流的全分辨率误差信号。限制增强层的使用，只将其用于I帧，这就了针对软件实现的解码器复杂度。I帧需要的计算量一般少于P和B帧，因此，应该有空闲的CUP周期，可用于附加的熵解码以及逆量化和逆变换操作。
参考图11，参考数字1100大体上表示复杂度可伸缩视频编码器。视频编码器1100的输入以信号通信的方式与第一求和点(加法器或用于信号组合/比较的其它装置)1105的非反相输入相连。第一求和点1105的输出以信号通信的方式与下采样器1112的输入相连。下采样器1112的输出以信号通信的方式与第一变换器/量化器1115的输入相连。第一变换器/量化器1115的输出以信号通信的方式与第一熵编码器1120的输入相连，其中第一熵编码器1120的输出是针对基层比特流的解码器1100的外部可用输出。
第一变换器/量化器1115的输出还以信号通信的方式与第一逆变换器/量化器1125的输入相连。第一逆变换器/量化器1125的输出以信号通信的方式与上采样器1155的输入相连。上采样器1155的输出以信号通信的方式与第三求和点(加法器或用于信号组合/比较的其它装置)1199的第一输入相连。第三求和点1199的第一输出以信号通信的方式与第二求和点(加法器或用于信号组合/比较的其它装置)1160的第一非反相输入以及开关1191的输入相连。第三求和点1199的第二输出以信号通信的方式与第三求和点1165的第一非反相输入相连。
视频编码器1100的输入还以信号通信的方式与第二求和点1160的非反相输入相连。第二求和点1160的输出以信号通信的方式与开关1162的输入相连。开关1162的输出以信号通信的方式与第二变换器/量化器1170的输入相连。第二变换器/量化器1170的输出以信号通信的方式与第二熵编码器1175的输入相连，其中第二熵编码器1175的输出是针对增强层比特流的解码器1100的外部可用输出。第二变换器/量化器1170的输出还以信号通信的方式与第二逆变换器/量化器1180的输入相连。第二逆变换器/量化器1180的输出以信号通信的方式与第三求和点1165的第二非反相输入相连。
视频编码器1100的输入还以信号通信的方式与运动估计器1185的第一输入相连。运动估计器1185的输出以信号通信的方式与运动补偿器1190的第一输入相连。运动补偿器1190的输出以信号通信的方式与第一求和点1105的反相输入以及第三求和点1199的第二输入相连。全分辨率参考图像存储器1192的第一输出以信号通信的方式与运动估计器1185的第二输入。全分辨率参考图像存储器1192的第二输出以信号通信的方式与运动补偿器1190的第二输入相连。全分辨率参考图像存储器1192的输入以信号通信的方式与去块滤波器1195的输入相连。去块滤波器1195的输入以信号通信的方式与开关1191的输出相连。开关1191的另一输入以信号通信的方式与第三求和点1165的输出相连。
编码器1100尝试优化全分辨率视频质量，而不是低分辨率视频质量。在全分辨率视频图像上执行运动估计。在从输入图像中减去运动补偿预测之后，对预测残差进行下采样。与RRU编解码器中不同的是，将下采样应用于所有图像，从而低分辨率解码器总会有要解码的图像。对下采样的残差进行变换和量化，以及熵编码，从而形成基层比特流。应用逆量化器和逆变换，接着上采样编码残差，使其回到全分辨率。编码器可以选择是否发送针对图像或帧的增强层全分辨率误差信号。一般而言，针对所有I帧，对增强层全分辨率误差信号进行编码，并且在全分辨率输入图像减去已上采样的解码图像时，根据误差信号的幅度，针对P和B帧，可选地发送增强层全分辨率误差信号。如果要编码增强层全分辨率误差信号，则从输入全分辨率图像中减去已编码的基层上采样编码图像。然后对差值进行量化、变换和熵编码，以形成增强层比特流。增强层比特流可以看作只包括帧内编码帧。
在可选实施例中，可以进行低分辨率和全分辨率图像的联合优化。这可能要求在可伸缩编码器内部添加全低分辨率解码器模型，并且需要低分辨率参考图像存储器和附加的低分辨率运动估计模块。
可以任意使用多种不同的上采样和下采样滤波器，例如，双线性插值、零阶保持或多重延迟(muti-tap)滤波器。
在加上增强层误差信号之前，可以在全分辨率解码器和可伸缩编码器中添加附加的去块滤波器。在这种情况下，去块操作也可以考虑所使用的增强层宏块模式，即，如果跳过所有受到影响的块，则不应用附加去块操作，否则，根据是否是在残差上或是在低分辨率重建块上执行放大，来应用不同强度的滤波。
当应用于H.264/MPEG AVC时，有多种可能的方法可用于全分辨率解码器中的帧内预测。使用与H.264/MPEG AVC规范中的预测像素相同的预测像素，可以在低分辨率上应用帧内预测。可选的，可以使用另一方法，其中，在全分辨率上应用帧内预测，并在预测中使用全分辨率的大量像素。
在可选实施例中，全分辨率解码器可以决定，使用与用于基层解码的分辨率和方法相同的分辨率和方法(即，使用16×16宏块)，针对宏块执行运动补偿，然后将该宏块上采样到全分辨率。可以使用双线性或更长抽头(longer tap)滤波器，执行上采样。如果全分辨率误差信号可用，则可以加上该信号。可以通过宏块级(即，除了跳过(SKIP)模式之外，还存在RRU宏块模式和低分辨率宏块模式)上的附加发信号操作，来执行决定。这种过程在以下特定情况是需要的：由于较大的运动和纹理细节，对残差进行上采样会导致不希望的高频和伪像产生。然而，这也要求全分辨率解码器能够存储，或实时(on thefly)产生低分辨率参考。更长抽头滤波器也可能引起进一步的复杂度，虽然运动补偿是针对更小宏块来执行的这一事实对复杂度进行了部分补偿。但是，针对相同问题的第二个、更简单的可选解决方案是在最终加上全分辨率误差之前，执行全分辨率上的运动补偿，对基层残差进行熵解码、逆量化和逆变换但并不将其加到运动补偿信号上。这种方法要求对基层残差进行解码，以更新用于解码其它残差的熵上下文模型。后一解决方案可以替代低分辨率宏块模式，或作为用于编码全分辨率残差的附加模式而与之共存。
以上描述和图假设了两层可伸缩性，但是，可以将这种概念扩展到任意层数。
参考图12，参考数字1200大体上表示视频编码过程。该过程包括开始模块1205，其将控制传递给循环限制模块1210。循环限制模块1210将控制传递给决定模块1215，决定模块1215确定当前输入块是否是帧内编码的。如果当前输入块不是帧内编码的，则将控制传递给功能模块1220，功能模块1220形成当前输入块的帧内预测，并将控制传递给功能模块1230。否则，如果当前输入块是帧内编码的，则将控制传递给功能模块1225，功能模块1225形成当前输入块的运动补偿预测，并将控制传递给功能模块1230。功能模块1230从当前输入块中减去当前输入块的预测，以形成预测残差，然后将控制传递给功能模块1235。功能模块1235对预测残差进行下采样，然后将功能传递给功能模块1240。功能模块1240对下采样预测残差进行变换和量化，然后将控制传递给功能模块1245。功能模块1245对预测残差进行熵编码，然后将控制传递给功能模块1250。功能模块1250对预测残差进行逆变换和逆量化，以形成编码预测残差，并将控制传递给功能模块1255。功能模块1255对编码预测残差进行上采样，以形成上采样的编码预测残差，然后将控制传递给功能模块1260。功能模块1260将上采样的编码预测残差加到当前输入块的预测上，以形成编码图像块，然后将控制传递给循环限制模块1265。循环限制模块1265将控制传递给结束模块1270。
参考图13，参考数字1300大体上表示具有空间可伸缩性的视频编码过程。该过程包括开始模块1305，其将控制传递给循环限制模块1310。循环限制模块1310将控制传递给决定模块1315，决定模块1315确定当前输入块是否是帧内编码的。如果当前输入块不是帧内编码的，则将控制传递给功能模块1320，功能模块1320形成当前输入块的帧内预测，并将控制传递给功能模块1330。否则，如果当前输入块是帧内编码的，则将控制传递给功能模块1325，功能模块1325形成当前输入块的运动补偿预测，并将控制传递给功能模块1330。功能模块1330从当前输入块中减去当前输入块的预测，以形成基层预测残差，然后将控制传递给功能模块1335。功能模块1335对基层预测残差进行下采样，然后将功能传递给功能模块1340。功能模块1340对下采样的基层预测残差进行变换和量化，然后将控制传递给功能模块1345。功能模块1345对基层预测残差进行熵编码，然后将控制传递给功能模块1350。功能模块1350对预测残差进行逆变换和逆量化，以形成编码的基层预测残差，并将控制传递给功能模块1355。功能模块1355对编码的基层预测残差进行上采样，以形成上采样的编码基层预测残差，然后将控制传递给功能模块1360。功能模块1360将上采样的编码预测残差加到当前输入块的预测上，以形成编码基层块，然后将控制传递给功能模块1365。功能模块1365从当前输入块中减去编码基层块，以形成增强层预测残差，然后将控制传递给功能模块1370。功能模块1370对下采样的增强层预测残差进行变换和量化，然后将控制传递给功能模块1375。功能模块1375对增强层预测残差进行熵编码，然后将控制传递给功能模块1380。功能模块1380对增强层预测残差进行逆变换和逆量化，以形成编码的增强层预测残差，然后将控制传递给功能模块1385。功能模块1385加上编码的增强层块，然后将控制传递给循环限制模块1390。循环限制模块1390将控制传递给结束模块1395。
参考图14，参考数字1400大体上表示高分辨率视频解码过程。该过程包括开始模块1405，其将控制传递给循环限制模块1410。循环限制模块1410将控制传递给功能模块1415，功能模块1415对编码基层预测残差比特流进行熵解码，然后将控制传递给功能模块1420。功能模块1420对基层预测残差进行逆变换和逆量化，以形成编码基层预测残差，然后将控制传递给功能模块1425。功能模块1425对编码基层预测残差进行上采样，以形成上采样的编码基层预测残差，然后将控制传递给决定模块1430。决定模块1430确定当前输入块是否是帧内编码的。如果当前输入块不是帧内编码的，则将控制传递给功能模块1435，功能模块1435形成当前输入块的高分辨率运动补偿预测，并将控制传递给功能模块1440。否则，如果当前输入块是帧内编码的，则将控制传递给功能模块1445，功能模块1445形成当前输入块的高分辨率帧内预测，并将控制传递给功能模块1440。功能模块1440将上采样的编码预测残差加到当前输入块的预测上，以形成编码图像块，然后将控制传递给循环限制模块1450。循环限制模块1450将控制传递给结束模块1455。
参考图15，参考数字1500大体上表示低分辨率视频解码过程。该过程包括开始模块1505，其将控制传递给循环限制模块1510。循环限制模块1510将控制传递给功能模块1515，功能模块1515对编码基层预测残差比特流进行熵解码，然后将控制传递给功能模块1520。功能模块1520对基层预测残差进行逆变换和逆量化，以形成编码基层预测残差，然后将控制传递给决定模块1525。决定模块1525确定当前输入块是否是帧内编码的。如果当前输入块不是帧内编码的，则将控制传递给功能模块1530，功能模块1530对当前输入块的运动矢量进行缩放，并将控制传递给功能模块1535。否则，如果当前输入块是帧内编码的，则将控制传递给功能模块1540，功能模块1540形成当前输入块的低分辨率帧内预测，并将控制传递给功能模块1545。功能模块1535形成当前输入块的低分辨率运动补偿预测，并将控制传递给功能模块1545。功能模块1545将编码预测残差加到当前输入块的预测上，以形成编码图像块，然后将控制传递给循环限制模块1550。循环限制模块1550将控制传递给结束模块1555。
参考图16，参考数字1600大体上表示具有空间可伸缩性的高分辨率视频解码过程。该过程包括开始模块1605，其将控制传递给循环限制模块1610。循环限制模块1610将控制传递给功能模块1615，功能模块1615对编码基层预测残差比特流进行熵解码，然后将控制传递给功能模块1620。功能模块1620对基层预测残差进行逆变换和逆量化，以形成编码基层预测残差，然后将控制传递给功能模块1625。功能模块1625对编码基层预测残差进行上采样，以形成上采样的编码基层预测残差，然后将控制传递给决定模块1630。决定模块1630确定当前输入块是否是帧内编码的。如果当前输入块不是帧内编码的，则将控制传递给功能模块1635，功能模块1635形成当前输入块的高分辨率运动补偿预测，并将控制传递给功能模块1640。否则，如果当前输入块是帧内编码的，则将控制传递给功能模块1645，功能模块1645形成当前输入块的高分辨率帧内预测，并将控制传递给功能模块1640。功能模块1640将上采样的编码预测残差加到当前输入块的预测上，以形成编码图像块，然后将控制传递给功能模块1646。功能模块1646对全分辨率编码增强层预测残差比特流进行熵解码，然后将控制传递给功能模块1650。功能模块1650对全分辨率增强层预测残差进行逆变换和逆量化，以形成全分辨率编码增强层预测残差，然后将控制传递给功能模块1655。功能模块1655将编码基层图像块加到全分辨率编码增强层预测残差上，以形成编码图像块，然后将控制传递给循环限制模块1660。循环限制模块1660将控制传递给结束模块1665。
根据这里的教导，所属领域的普通技术人员可以容易地确定本发明的这些和其它特征及优点。应该理解，可以硬件、软件、固件、专用处理器或其组合等多种形式，实现本发明的教导。
最好的是，将本发明的教导实现为硬件和软件的组合。此外，优选的是，将软件实现为可在程序存储单元上确切地具体化的应用程序。可以将应用程序上载到包括任何适当结构的机器上，并由其执行。优选地，在具有例如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口等硬件的计算机平台上，实现该机器。计算机平台还可以包括操作系统和微指令代码。这里所述的多种过程和功能可以是微指令代码的一部分、或应用程序的一部分、或其任何组合，这些过程和功能可以由CPU执行。此外，可以将多种其它的外围单元与计算机平台相连，例如附加数据存储单元和打印单元。
还要理解，因为优选地以软件形式实现附图中所示的一些构成系统组件和方法，所以，取决于对本发明进行编程的方式，系统组件或过程功能模块之间的实际连接可以不同。这里给出了说明，所属领域的普通技术人员将能够设想本发明的这些和相似的实现或配置。
虽然参考附图描述了演示性的实施例，但是要理解，本发明不限于这些精确的实施例，在不背离本发明的范围或精神的前提下，所属领域的普通技术人员可以进行多种改变和修改。所有的这种改变和修改意欲被包括在所附权利要求限定的本发明的范围之内。

Claims (11)

1.一种空间可伸缩视频解码器，包括：
上采样器(1015)，用于对低分辨率预测残差进行上采样，以形成上采样的预测残差；
运动补偿器(1035)，用于形成运动补偿全分辨率预测；以及
第一加法器(1020)，与所述上采样器和所述运动补偿器进行信号通信，用于将上采样的预测残差加到运动补偿全分辨率预测上，以形成和信号；以及
第二加法器(1025)，与所述第一加法器进行信号通信，用于将全分辨率增强层误差信号加到和信号上，以形成解码块，其中全分辨率增强层误差信号是帧内编码的。
2.一种空间可伸缩视频解码器，用于对图像块的基层视频比特流和增强层视频比特流进行解码，包括：
熵解码器(1005)，用于对基层视频比特流进行解压缩；
逆量化器/逆变换器(1010)，与所述熵解码器进行信号通信，用于对基层视频比特流进行逆量化和逆变换，以形成解码的基层预测低分辨率残差；
上采样器(1015)，与所述逆量化器/逆变换器进行信号通信，用于对解码的基层预测低分辨率残差进行上采样，以形成上采样的预测残差；
运动补偿器(1035)，与所述熵解码器进行信号通信，用于形成运动补偿全分辨率预测；
第一加法器(1020)，与所述上采样器和所述运动补偿器进行信号通信，用于将运动补偿全分辨率预测加到上采样的预测残差上，以形成和信号；
另一熵解码器(1040)，用于对增强层视频比特流进行解压缩；
另一逆量化器/逆变换器(1045)，与所述另一熵解码器进行信号通信，用于对解压缩的增强层视频比特流进行逆量化和逆变换，以形成解码的增强层预测全分辨率残差；以及
第二加法器(1025)，与所述第一加法器进行信号通信，用于将解码的增强层预测全分辨率残差加到和信号上，以形成解码图像块。
3.根据权利要求2所述的空间可伸缩视频解码器，还包括：去块滤波器(1050)，与所述第二加法器进行信号通信，用于减小块失真。
4.根据权利要求3所述的空间可伸缩视频解码器，其中，所述去块滤波器(1050)响应于增强层模式信号。
5.根据权利要求3所述的空间可伸缩视频解码器，还包括：高分辨率参考图像存储器(1030)，与所述运动补偿器进行信号通信，用于存储高分辨率参考图像，以用在对基层比特流和增强层比特流的解码中。
6.根据权利要求2所述的空间可伸缩视频解码器，其中，空间可伸缩视频解码器没有低分辨率参考图像存储器。
7.一种用于空间可伸缩视频解码的方法，包括步骤：
对低分辨率预测残差进行上采样(1625)，以形成上采样的预测残差；
形成(1635)运动补偿全分辨率预测；以及
将上采样的预测残差加到运动补偿全分辨率预测上，以形成和信号；以及
将全分辨率增强层误差信号加到(1655)和信号上，以形成解码块，其中全分辨率增强层误差信号是帧内编码的。
8.一种用于对图像块的基层视频比特流和增强层视频比特流进行解码的方法，包括步骤：
对基层视频比特流进行逆量化和逆变换(1620)，以形成低分辨率预测残差；
对低分辨率预测残差进行上采样(1625)，以形成上采样的预测残差；
形成(1635，1645)全分辨率预测；
将全分辨率预测加到(1640)上采样的预测残差上，以形成和信号；
对增强层视频比特流进行逆量化和逆变换(1650)，以形成全分辨率预测残差；以及
将全分辨率预测残差加到(1655)和信号上，以形成解码图像块。
9.根据权利要求8所述的方法，还包括步骤：减小解码图像块中的块失真。
10.根据权利要求9所述的方法，其中，所述减小步骤响应于增强层模式信号。
11.根据权利要求9所述的方法，还包括步骤：存储高分辨率参考图像，以用在对基层比特流和增强层比特流的解码中。
CN200580010305XA 2004-04-02 2005-03-31 用于复杂度可伸缩视频解码器的方法和设备 Active CN1939066B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US55886204P 2004-04-02 2004-04-02
US60/558,862 2004-04-02
PCT/US2005/010436 WO2005099275A2 (en) 2004-04-02 2005-03-31 Complexity scalable video decoding

Publications (2)

Publication Number Publication Date
CN1939066A CN1939066A (zh) 2007-03-28
CN1939066B true CN1939066B (zh) 2012-05-23

Family

ID=34964213

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200580010305XA Active CN1939066B (zh) 2004-04-02 2005-03-31 用于复杂度可伸缩视频解码器的方法和设备
CN2005800103064A Active CN1939067B (zh) 2004-04-02 2005-03-31 用于复杂度可伸缩视频编码器的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2005800103064A Active CN1939067B (zh) 2004-04-02 2005-03-31 用于复杂度可伸缩视频编码器的方法和设备

Country Status (8)

Country Link
US (2) US8116376B2 (zh)
EP (2) EP1738588B1 (zh)
JP (3) JP4965429B2 (zh)
KR (2) KR101117840B1 (zh)
CN (2) CN1939066B (zh)
BR (2) BRPI0509563A (zh)
MY (2) MY147798A (zh)
WO (2) WO2005099276A2 (zh)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0509563A (pt) 2004-04-02 2007-09-25 Thomson Licensing codificação de vìdeo de complexidade escalonável
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
BRPI0515943B1 (pt) * 2004-09-29 2018-10-16 Thomson Res Funding Corporation método e aparelho para codificação e decodificação de vídeo de atualização de resolução reduzida
KR101407748B1 (ko) * 2004-10-13 2014-06-17 톰슨 라이센싱 복잡도 스케일러블 비디오 인코딩 및 디코딩을 위한 방법 및 장치
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR20060063613A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100888962B1 (ko) 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100703749B1 (ko) * 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
WO2006110890A2 (en) * 2005-04-08 2006-10-19 Sarnoff Corporation Macro-block based mixed resolution video compression system
JP2008536451A (ja) * 2005-04-14 2008-09-04 トムソン ライセンシング 空間スケーラブルビデオ符号化及び復号化向けスライス適応型動きベクトル符号化のための方法及び装置
ZA200800261B (en) * 2005-07-11 2009-08-26 Thomson Licensing Method and apparatus for macroblock adaptive inter-layer intra texture prediction
KR100725407B1 (ko) * 2005-07-21 2007-06-07 삼성전자주식회사 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
JP4565392B2 (ja) * 2005-12-22 2010-10-20 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8315308B2 (en) 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
KR20080090421A (ko) * 2006-01-31 2008-10-08 톰슨 라이센싱 비디오 인코더 및 디코더에서의 해상도가 감소한 갱신모드에 대한 제약 있는 예측 및 복잡도의 크기조정을 위한방법 및 장치
US8937997B2 (en) * 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US8155454B2 (en) * 2006-07-20 2012-04-10 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
JP4770704B2 (ja) * 2006-11-09 2011-09-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP4770711B2 (ja) * 2006-11-15 2011-09-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
KR101375663B1 (ko) * 2007-12-06 2014-04-03 삼성전자주식회사 영상을 계층적으로 부호화/복호화하는 방법 및 장치
US8155184B2 (en) * 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
WO2009155398A1 (en) * 2008-06-20 2009-12-23 Dolby Laboratories Licensing Corporation Video compression under multiple distortion constraints
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
JP4606502B2 (ja) 2008-08-07 2011-01-05 三菱電機株式会社 画像表示装置および方法
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US9479786B2 (en) 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
US9106920B2 (en) * 2009-05-05 2015-08-11 Telefonaktiebolaget L M Ericsson (Publ) Scalable video coding method, encoder and computer program
KR101255880B1 (ko) * 2009-09-21 2013-04-17 한국전자통신연구원 기저계층의 화질을 향상시키는 스케일러블 비디오 부/복호화 방법 및 장치
US20110142129A1 (en) * 2009-12-11 2011-06-16 General Instrument Corporation Mpeg video resolution reduction system
KR20110071047A (ko) * 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
US20110216821A1 (en) * 2010-03-02 2011-09-08 Samsung Electronics Co., Ltd. Method and apparatus for adaptive streaming using scalable video coding scheme
DE102010010736A1 (de) * 2010-03-09 2011-09-15 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Verfahren zur Kompression von Bilddaten
GB2479933B (en) * 2010-04-30 2016-05-25 Snell Ltd Motion estimation
KR101690253B1 (ko) * 2010-05-06 2016-12-27 삼성전자주식회사 영상 처리 장치 및 그 방법
CN103039073B (zh) * 2010-06-07 2016-09-14 数码士有限公司 编码/解码高分辨率图像的方法和执行该方法的装置
US20110317755A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. Systems and methods for highly efficient compression of video
WO2012008515A1 (ja) * 2010-07-15 2012-01-19 シャープ株式会社 復号装置、符号化装置
EA024279B1 (ru) * 2010-07-16 2016-09-30 Шарп Кабусики Кайся Видеодекодер для сокращения потребления энергии при низком разрешении с использованием данных низкого разрешения
CN102438135B (zh) * 2011-01-14 2013-12-04 展讯通信（上海）有限公司 高分辨率视频在小尺寸显示设备上的降采样解码方法及装置
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US20120275502A1 (en) 2011-04-26 2012-11-01 Fang-Yi Hsieh Apparatus for dynamically adjusting video decoding complexity, and associated method
WO2012177015A2 (ko) * 2011-06-20 2012-12-27 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
US9712847B2 (en) 2011-09-20 2017-07-18 Microsoft Technology Licensing, Llc Low-complexity remote presentation session encoder using subsampling in color conversion space
BR112014009435B1 (pt) 2011-10-19 2023-01-17 Kt Corporation Método para decodificar um sinal de vídeo tendo um bloco atual a ser decodificado com um aparelho de decodificação
WO2013106190A1 (en) * 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
US9313497B2 (en) 2012-01-25 2016-04-12 Intel Corporation Systems, methods, and computer program products for transform coefficient sub-sampling
WO2013116539A1 (en) * 2012-02-01 2013-08-08 Futurewei Technologies, Inc. Scalable video coding extensions for high efficiency video coding
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
EP2642755B1 (en) * 2012-03-20 2018-01-03 Dolby Laboratories Licensing Corporation Complexity scalable multilayer video coding
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9584805B2 (en) 2012-06-08 2017-02-28 Qualcomm Incorporated Prediction mode information downsampling in enhanced layer coding
JP6141417B2 (ja) * 2012-06-29 2017-06-07 インテル コーポレイション 係数サンプリングに基づいたスケーラブルビデオ符号化のためのシステム、方法及びコンピュータプログラム製品
CN115052159A (zh) * 2012-07-02 2022-09-13 韩国电子通信研究院 视频编码/解码方法和非暂时性计算机可读记录介质
GB2506345A (en) * 2012-09-06 2014-04-02 British Broadcasting Corp Video encoding and decoding with chrominance sub-sampling
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
WO2014047776A1 (en) 2012-09-25 2014-04-03 Intel Corporation Inter-layer sample adaptive filter parameters re-use for scalable video coding
WO2014050741A1 (ja) * 2012-09-25 2014-04-03 日本電信電話株式会社 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム
US10034013B2 (en) * 2012-12-05 2018-07-24 Intel Corporation Recovering motion vectors from lost spatial scalability layers
JP6273566B2 (ja) * 2013-04-12 2018-02-07 パナソニックＩｐマネジメント株式会社 通信システム、画像生成方法、及び通信装置
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US9577947B2 (en) * 2013-07-19 2017-02-21 Cisco Technology, Inc. System and architecture to optimize video traffic over internet protocol networks
US10516898B2 (en) 2013-10-10 2019-12-24 Intel Corporation Systems, methods, and computer program products for scalable video coding based on coefficient sampling
JP6566864B2 (ja) * 2015-12-28 2019-08-28 Kddi株式会社 ビットストリーム変換装置、ビットストリーム変換方法、配信システム及びコンピュータ可読記録媒体
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
US10291910B2 (en) 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
WO2017156669A1 (en) * 2016-03-14 2017-09-21 Mediatek Singapore Pte. Ltd. Methods for motion vector storage in video coding
US10163029B2 (en) 2016-05-20 2018-12-25 Gopro, Inc. On-camera image processing based on image luminance data
EP3301928A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Methods, devices and stream to encode global rotation motion compensated images
KR20230070062A (ko) * 2016-10-04 2023-05-19 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US10198862B2 (en) 2017-01-23 2019-02-05 Gopro, Inc. Methods and apparatus for providing rotated spherical viewpoints
CN109257605B (zh) * 2017-07-13 2021-11-19 华为技术有限公司 图像处理方法、设备及系统
CN109547784A (zh) * 2017-09-21 2019-03-29 华为技术有限公司 一种编码、解码方法及装置
WO2019146811A1 (en) * 2018-01-25 2019-08-01 Lg Electronics Inc. Video decoder and controlling method thereof
KR102460123B1 (ko) * 2018-02-02 2022-10-31 삼성전자주식회사 이미지 센서를 이용한 이미지 획득 과정에서 생성된 압축 속성을 이용하여 이미지를 압축하는 전자 장치 및 그 동작 방법
CN108848380B (zh) * 2018-06-20 2021-11-30 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
CN108833917B (zh) * 2018-06-20 2022-04-08 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
CN111010581B (zh) * 2018-12-07 2022-08-12 北京达佳互联信息技术有限公司 运动矢量信息的处理方法、装置、电子设备及存储介质
CN110572680B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频解码、编码方法和装置，存储介质与解码器、编码器
US20240340446A1 (en) * 2021-06-30 2024-10-10 Telefonaktiebolaget Lm Ericsson (Publ) Encoding resolution control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1076824A (zh) * 1992-02-21 1993-09-29 Rca汤姆森许可公司 较低分辨率的高清晰度电视接收机
US5742343A (en) * 1993-07-13 1998-04-21 Lucent Technologies Inc. Scalable encoding and decoding of high-resolution progressive video
CN1395800A (zh) * 2000-11-23 2003-02-05 皇家菲利浦电子有限公司 视频解码方法和相应的解码器
CN1973546A (zh) * 2004-03-09 2007-05-30 汤姆森研究基金公司 用于高级视频编码的降低分辨率更新模式

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04177992A (ja) * 1990-11-09 1992-06-25 Victor Co Of Japan Ltd 階層性を有する画像符号化装置
JPH07212761A (ja) * 1994-01-17 1995-08-11 Toshiba Corp 階層符号化装置及び階層復号化装置
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
JP3844844B2 (ja) * 1997-06-06 2006-11-15 富士通株式会社 動画像符号化装置及び動画像符号化方法
JPH11136683A (ja) * 1997-10-27 1999-05-21 Matsushita Electric Ind Co Ltd 映像信号符号化装置
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
JP2001008214A (ja) * 1999-06-18 2001-01-12 Matsushita Electric Ind Co Ltd 映像信号階層化符号化装置および映像信号階層化復号化装置
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US6504872B1 (en) * 2000-07-28 2003-01-07 Zenith Electronics Corporation Down-conversion decoder for interlaced video
US6931062B2 (en) * 2001-04-11 2005-08-16 Koninklijke Philips Electronics N.V. Decoding system and method for proper interpolation for motion compensation
US7170932B2 (en) * 2001-05-11 2007-01-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction and drift compensation
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US20030118097A1 (en) * 2001-12-21 2003-06-26 Koninklijke Philips Electronics N.V. System for realization of complexity scalability in a layered video coding framework
GB0228281D0 (en) * 2002-12-04 2003-01-08 Imec Inter Uni Micro Electr Coding of motion vectors produced by wavelet-domain motion estimation
JP4099823B2 (ja) * 2003-11-11 2008-06-11 オムロン株式会社 車両水没検知装置
US20050175099A1 (en) * 2004-02-06 2005-08-11 Nokia Corporation Transcoder and associated system, method and computer program product for low-complexity reduced resolution transcoding
BRPI0509563A (pt) 2004-04-02 2007-09-25 Thomson Licensing codificação de vìdeo de complexidade escalonável

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1076824A (zh) * 1992-02-21 1993-09-29 Rca汤姆森许可公司 较低分辨率的高清晰度电视接收机
US5742343A (en) * 1993-07-13 1998-04-21 Lucent Technologies Inc. Scalable encoding and decoding of high-resolution progressive video
CN1395800A (zh) * 2000-11-23 2003-02-05 皇家菲利浦电子有限公司 视频解码方法和相应的解码器
CN1973546A (zh) * 2004-03-09 2007-05-30 汤姆森研究基金公司 用于高级视频编码的降低分辨率更新模式

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Alexis Michael Tourapis, Jill Boyce.Reduced Resolution Update Mode for AdvancedVideo Coding.ITU-T Q6/SG16, document VCEG-V05, Munich, Germany.2004,正文1-9页. *
AlexisMichaelTourapis Jill Boyce.Reduced Resolution Update Mode for AdvancedVideo Coding.ITU-T Q6/SG16
Recommendation H.263: Video coding for lowbitrate communication.ITU-T DRAFT RECOMMENDATION H.263.1998,正文第129-142页. *

Also Published As

Publication number Publication date
WO2005099275A2 (en) 2005-10-20
KR101117840B1 (ko) 2012-03-15
US8213508B2 (en) 2012-07-03
JP2007532061A (ja) 2007-11-08
EP1738588A2 (en) 2007-01-03
WO2005099275A3 (en) 2006-03-16
KR101149255B1 (ko) 2012-05-25
JP4965429B2 (ja) 2012-07-04
JP2007532063A (ja) 2007-11-08
US20080304567A1 (en) 2008-12-11
WO2005099276A2 (en) 2005-10-20
BRPI0509581A8 (pt) 2018-04-03
CN1939067B (zh) 2011-07-20
KR20070007327A (ko) 2007-01-15
BRPI0509581B1 (pt) 2019-06-18
BRPI0509581A (pt) 2007-10-09
MY160489A (en) 2017-03-15
JP2012095318A (ja) 2012-05-17
CN1939066A (zh) 2007-03-28
WO2005099276A3 (en) 2006-04-27
BRPI0509563A (pt) 2007-09-25
EP1730968A2 (en) 2006-12-13
US8116376B2 (en) 2012-02-14
CN1939067A (zh) 2007-03-28
KR20070007326A (ko) 2007-01-15
JP5542786B2 (ja) 2014-07-09
US20070211798A1 (en) 2007-09-13
EP1738588B1 (en) 2018-08-15
MY147798A (en) 2013-01-31

Similar Documents

Publication Publication Date Title
CN1939066B (zh) 用于复杂度可伸缩视频解码器的方法和设备
CN101040533B (zh) 复杂性可伸缩的视频编码和解码方法和设备
CN104813667B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
CN101336549B (zh) 基于多层的可缩放视频编码方法及装置
CN101208957B (zh) 视频编码器和编码方法
CN100380973C (zh) 视频图片全局运动补偿的方法和装置
CN101467461B (zh) 基于多层的视频编码方法及其装置
KR100950743B1 (ko) 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
CN101375605A (zh) 用于实现降低分辨率更新模式的限制预测以及视频编码器和解码器中的复杂度可分级的方法和装置
CN114222122A (zh) 视频解码方法和解码器、存储介质
KR20060109290A (ko) 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램
CN103004196A (zh) 在经压缩位流中包含切换式内插滤波器系数
CN102484701A (zh) 用于空间变化残差编码的方法和设备
US20120099648A1 (en) Apparatus and Method for Decoding Picture Data
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
CN102917226A (zh) 一种基于自适应下采样与插值的帧内帧视频编码方法
CN102474616B (zh) 用于生成、解码和转码经编码的视频数据流的方法和装置
CN101395924A (zh) 利用有损内嵌压缩进行差异编码
CN102833542B (zh) 一种提高可伸缩视频编码质量增强层编码速度装置和方法
KR100832872B1 (ko) 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치
US7634009B2 (en) Method and device for picture compression using a plurality of sampling patterns
CN102316321A (zh) 利用非语法重用的视频编码器及其使用的方法
JP2011223315A (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190130

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190130

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING