CN1973546A - 用于高级视频编码的降低分辨率更新模式 - Google Patents

用于高级视频编码的降低分辨率更新模式 Download PDF

Info

Publication number
CN1973546A
CN1973546A CNA2005800140222A CN200580014022A CN1973546A CN 1973546 A CN1973546 A CN 1973546A CN A2005800140222 A CNA2005800140222 A CN A2005800140222A CN 200580014022 A CN200580014022 A CN 200580014022A CN 1973546 A CN1973546 A CN 1973546A
Authority
CN
China
Prior art keywords
prediction residual
sampling
block
image
image slices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800140222A
Other languages
English (en)
Other versions
CN1973546B (zh
Inventor
A·图拉皮斯
J·M·博伊斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Research Funding Corp
Original Assignee
Thomson Research Funding Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Research Funding Corp filed Critical Thomson Research Funding Corp
Publication of CN1973546A publication Critical patent/CN1973546A/zh
Application granted granted Critical
Publication of CN1973546B publication Critical patent/CN1973546B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供了用于为图像切片分别编码和解码视频信号数据的视频编码器、视频解码器以及相应的编码和解码方法。视频编码器包括切片预测残差向下采样器(645)，用于在变换和量化预测残差之前向下采样至少部分图像切片的预测残差。视频解码器包括预测残差向上采样器(715)，用于向上采样图像切片的预测残差。

Description

用于高级视频编码的降低分辨率更新模式
在联邦政府一级资助的研发中的政府许可权
在本发明中，美国政府具有已付款的许可，并在有限情况下有权要求专利所有人以合理的条款，如在国家标准与技术研究所颁发的项目ID合同No.2003005676B所提供的条款，发给其它人许可证。
相关申请的交叉引用
本申请要求2004年3月9日提交的、题为“用于高级视频编码的降低分辨率切片更新模式(REDUCED RESOLUTION SLICE UPDATEMODE FOR ADVANCED VIDEO CODING)”的美国临时申请No.60/551,417(代理人档案号No.PU040073)的权益，其内容通过引用全部结合在本文中。
技术领域
本发明一般涉及视频编码器和解码器，更具体地说，涉及用于高级视频编码的降低分辨率切片更新模式。
背景技术
国际电信联盟电信委员会(ITU-T)H.264(或联合视频组(JVT)或活动图像专家组(MPEG)-4高级视频编码(AVC))标准已引入几种新特征，与较老的标准如MPEG-2/4和H.263相比，它在编码效率方面获得了相当大的改进。但是，虽然H.264包括了较老标准的大部分算法特征，但有些特征被放弃和/或不再使用了。这些特征之一就是在H.263中已存在的降低分辨率更新模式的考虑。这种模式提供了增加编码画面速率同时维持足够主观质量的机会。这是通过以降低的分辨率编码图像而使用高分辨率参考执行预测而做到的，它还允许以全分辨率来重新构建最终的图像。发现这种模式在H.263中很有用，特别是在序列中有剧烈运动时，因为它允许编码器维持高的帧速率(因此有改进的时间分辨率)，而同时在静止区域也维持高的分辨率和质量。
虽然以这种模式编码的比特流的语法和以全分辨率编码的比特流基本相同，但主要区别在于，如何解释比特流中的所有模式，以及在运动补偿后如何考虑和添加残差信息。更具体地说，和全分辨率编码的画面相比，这种模式的图像具有1/4数量的宏块，而运动矢量数据分别与全分辨率画面的块尺寸32×32和16×16而不是16×16和8×8相关联。另一方面，离散余弦变换(DCT)和纹理数据与降低分辨率图像的8×8块相关联，而为了产生最终的全图像呈现，要求有向上采样过程。
虽然这种过程可能导致客观质量的下降，但这不止从因模式、运动数据以及残差的减少数量(4)而需编码的比特减少得到补偿。这在非常低比特率时特别重要，此时模式和运动数据可能比残差多得多。与客观质量相比，主观质量受损也小得多。而且，这个过程在某种程度上可以看作类似于编码前在残差数据上应用低通滤波器，但其要求传输所有模式、运动数据以及滤波的残差，因此效率较低。这种概念从未引入到H.264中，所以在概念、方法学或语法方面都不被支持。
发明内容
本发明解决了现有技术的这些和其它缺点及不利，本发明针对开发和支持一种用于高级视频编码的降低分辨率切片更新模式。本文公开的降低分辨率切片更新模式特别适用于，但不限于，H.264(或JVT，或MPEG-4 AVC)。
按照本发明的一个方面，提供一种用于编码图像切片的视频信号数据的视频编码器。视频编码器包括切片预测残差向下采样器，用于在变换和量化预测残差之前向下采样至少部分图像切片的预测残差。
按照本发明的另一方面，提供了一种用于编码图像的视频信号数据的视频编码器。该视频编码器包括宏块排序部件和切片预测残差向下采样器。宏块排序部件用于将对应于图像的宏块排列成两个或更多个切片组。切片预测残差向下采样器用于在变换和量化预测残差之前，向下采样至少部分图像切片的预测残差。切片预测残差向下采样器还用于接收所述两个或更多个切片组中的至少一组进行向下采样。
按照本发明的又一方面，提供了一种用于解码图像切片的视频信号数据的视频解码器。该视频解码器包括：预测残差向上采样器，用于向上采样图像切片的预测残差；以及加法器，用于将向上采样的预测残差加到预测的参考上。
按照本发明的再一方面，提供了一种用于编码图像切片的视频信号数据的方法，该方法包括在变换和量化预测残差之前向下采样图像切片的预测残差的步骤。
按照本发明的又一方面，提供了一种用于解码图像切片的视频信号数据的方法。该方法包括如下步骤：向上采样图像切片的预测残差，以及将向上采样的预测残差加到预测的参考上。
本发明的这些和其它方面、特征和优点，从对示范实施例的以下详细说明中可一目了然，该说明应结合附图阅读。
附图说明
按照以下示范附图可更好地理解本发明，附图包括：
图1示出按照本发明原理用于H.264的降低分辨率更新(RRU)模式中的示范宏块和子宏块分区图；
图2示出按照本发明原理用于8×8内部预测的示范采样图；
图3A和3B示出按照本发明原理分别用于块边界和用于内部位置的示范残差向上采样过程的图解；
图4A和4B示出当direct_8×8_inference_flag分别设为0和设为1时，在当前切片为降低分辨率且第一列表1参考为全分辨率的情况下用于直接模式的运动继承图；
图5示出按照本发明原理用于四分之一通用中间格式(QCIF)分辨率画面的分辨率扩展图；
图6示出按照本发明原理的示范视频编码器的方框图；
图7示出按照本发明原理的示范视频解码器的方框图；
图8示出按照本发明原理的示范编码过程的流程图；以及
图9示出按照本发明原理的示范解码过程的流程图。
具体实施方式
本发明针对用于高级视频编码的降低分辨率切片更新模式。本发明利用目前由ITU-T H.263标准支持的降低分辨率更新(RRU)模式的概念，并允许将RRU模式引入并用于新的ITU-T H.264(MPEG-4AVC/JVT)视频编码标准中。这种模式提供了既增加编码画面速率又维持足够主观质量的机会。这是通过以降低的分辨率编码图像而使用高分辨率参考执行预测而做到的。它允许以全分辨率来重新构建最终图像，并具有好的质量，虽然编码图像所需的比特率已显著降低。考虑到H.264不支持RRU模式，本发明使用几种新的和独特的工具和概念来实现其RRU。例如，在开发用于H.264的RRU时，该概念必须作改动，使之适合新标准和/或其扩展的规范。这包括新的语法元素，以及对中间(inter)和内部(intra)预测模式作某些语义和编码器/解码器结构的更改。对H.264标准所支持的其它工具/特征例如基于宏块的自适应场/帧模式的影响，在本文中也要加以说明和解决。
以下紧接着的说明示出了本发明的原理。因此可以理解，业界技术人员将能够设计出虽未在本文中明确说明或示出但可实施本发明的原理并包括在其精神和范围之内的各种配置。
本文中所有实例和所引述的条件语言旨在教学目的，以帮助读者理解本发明的原理以及发明人为发展本领域所贡献的概念，并应解释为不限于所具体引述的实例和条件。
此外，本文中引用本发明原理、方面和实施例的所有陈述，以及其具体实例，均应包含其结构和概念二者的等效物。此外，这些等效物应包括目前已知的等效物以及在将来开发的等效物，即，能实现同样功能的所开发的任何元件，无论其结构如何。
因此，例如，业界技术人员会理解，本文示出的方框图代表能实施本发明原理的说明性电路的概念视图。同样，应理解，任何流程表、流程图、状态转换图、伪代码等等都代表各种过程，它们基本上可在计算机可读介质中被表示，并因此由计算机或处理器执行，不论这种计算机或处理器是否明确示出。
附图中所示各种元件的功能可通过使用专用硬件以及能够与适当软件关联而执行软件的硬件来提供。当由处理器提供时，这些功能可由单个专用处理器、单个共享处理器或多个单独处理器(其中一些可共享)来提供。另外，明确使用术语“处理器”或“控制器”不应理解为专指能执行软件的硬件，可以隐含但不限于：数字信号处理器(DSP)硬件、用于储存软件的只读存储器(ROM)、随机存取存储器(RAM)以及非易失性存储器。
其它硬件，常规的和/或定制的，也可包括在内。同样，附图中所示的任何开关仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或甚至手动来实现，由实现员可选择的特定技术可从上下文中更具体地加以理解。
在本发明的权利要求书中，表述为用于执行指定功能的部件的任何元件应包含执行该项功能的任何途径，例如包括a)执行该项功能的电路元件组合，或b)任何形式的软件，所以包括固件、微代码等等，与用于执行该软件的适当电路组合，以执行此功能。由这些权利要求所定义的本发明归于以下事实：由各种所述部件所提供的功能均以权利要求书所要求的方式组合和联系在一起。因此申请人将能够提供这些功能的任何部件认为是本文所示那些部件的等效物。
有利的是，本发明提供了一种用于在H.264中实现降低分辨率更新(RRU)模式的设备和方法。需对有关这种新模式的编解码器的某些方面进行考虑。具体地说，需要开发一个新的切片参数(reduced_resolution_update)，根据该参数，将当前切片再分为(RRUwidth*16)×(RRUheight*16)尺寸的宏块。和H.263中不同的是，RRUwidth不必等于RRUheight。可包括附加的切片参数，更具体地说，rru_width_scale＝RRUwidth以及rru_height_scale＝RRUheight，它允许以任何所需的比例水平或垂直地降低分辨率。表2示出了按照本发明原理考虑了降低分辨率更新(RRU)的H.264切片标题语法。
可能的选项例如包括：按1水平和2垂直定标(宏块(MB)尺寸为16×32)、2垂直和1水平(MB尺寸32×16)或通常具有尺寸(rru_width_scale*16)×(rru_height_scale*16)的MB。
为了不失普遍性，所讨论的情况中RRUwidth＝RRUheight＝2且宏块尺寸为32×32。在这种情况下，所有宏块分区和子分区必须按2水平和2垂直定标。图1示出按照本发明原理在用于H.264的降低分辨率更新(RRU)模式中示范宏块分区100和子宏块分区150的图解。和H.263不同的是，在H.263中运动矢量数据必须除以2以符合标准规范，而在H.264中不必这样，且运动矢量数据可以用全分辨率/子像素(subpel)精确度编码。在这种模式中在P切片中被跳过的宏块被认为具有32×32的尺寸，而用于计算它们关联的运动数据的过程保持不变，虽然现在需要考虑32×32的邻居，而不是16×16的邻居。
本发明的另一关键区别在于，虽然是可选的，在H.264中纹理数据不必代表来自较低分辨率图像的信息。由于在H.264中的内部编码是通过考虑空间预测方法、使用4×4或16×16的块尺寸执行的，因此这可以扩展到8×8和32×32内部预测块尺寸，类似于中间预测模式。不过，预测模式仍然或多或少是相同的，虽然现在要用更多的采样来产生预测信号。图2示出了按照本发明原理用于8×8内部预测的示范采样200的图解。采样200包括采样C0-C15、X和R0-R7。例如，对于8×8垂直预测，现使用采样C0-C7，而DC预测是C0-C7和R0-R7的均值。而且，所有对角线预测还需要考虑采样C8-C15。类似的扩展可应用于32×32内部预测模式。
然后对残差数据进行向下采样，并使用在H.264中已可用的相同变换和量化过程进行编码。同样的过程应用于亮度和色度采样。在解码期间，残差数据需被向上采样。向下采样过程仅在编码器中进行，并因此不需标准化。向上采样过程必须在编码器和解码器中匹配，所以必须标准化。可以使用的可能向上采样方法包括但不限于：零阶或一阶保持，或通过考虑类似于H.263中的策略。图3A和3B示出按照本发明原理分别用于块边界和内部位置的示范残差向上采样过程300和350的图解。在图3A中，块边缘上的向上采样过程仅使用块边界内的采样来计算向上采样值。在图3B中，在块内部之内，所有最邻近的位置都可用，所以使用基于采样的相对定位的内插，例如在二维上的双线性内插来计算向上采样值。
H.264也考虑了环内去块滤波器，加到4×4块边缘。由于目前该预测过程应用于8×8及以上的块尺寸，因此该过程也被修改，以考虑8×8块边缘。但应理解，有了本文提供的本发明内容，相关领域技术人员会按照本发明原理，在维持本发明精神的同时，考虑用于所采用的块边界的这些和其它尺寸。
同一画面中的不同切片可具有不同值reduced_resolution_update、rru_width_scale和rru_height_scale。由于环内去块滤波器加在切片边界上，因此切片边界每一侧的块可能以不同的分辨率被编码。在这种情况下，对于去块滤波器参数计算，应考虑以下情况：在给定8×8边缘上两个相邻4×4正常块之间的最大量化参数(QP)值，同时去块强度现在基于两个块的非零系数的总数。
为了支持灵活宏块排序(FMO)，如画面参数集中num_slice_groups_minusl大于0所示，用降低分辨率更新模式，还有必要在画面参数集内传输一个名为reduced_resolution_update_enable的附加参数。表1示出按照本发明原理考虑了降低分辨率更新(RRU)的H.264画面参数语法。如果有FMO，且该参数未设定，则不允许使用降低分辨率模式来编码切片。另外，如果该参数已设定，则参数rru_max_width_scale和rru_max_height_scale也需被传送。需要这些参数来确保所提供的映像始终支持当前的降低分辨率宏块尺寸。这就是说，这些参数需要符合以下条件：
max_width_scale％rru_width_scale＝0，
max_height_scale％rru_heigh_scale＝0，以及
max_width_scale＞0，max_height_scale＞0。
被传送的FMO切片组映像对应于最低允许的降低分辨率，对应于rru_max_width_scale和rru_max_height_scale。注意，如果使用多个宏块分辨率，则rru_max_width_scale和rru_max_height_scale需是同一画面中所有可能分辨率的最小公倍数的倍数。
H.264中的直接模式会受到影响，取决于当前切片是否处于降低分辨率模式，或列表1参考是否处于降低分辨率模式，且当前切片不处于降低分辨率模式。对于直接模式情况，在当前画面为降低分辨率且参考画面为全分辨率时，当direct_8×8_inference_flag被启动时，借用目前在H.264中采用的类似方法。按照该方法，通过仅考虑8×8分区的对应角4×4块(角是基于块索引)来分配协同定位的分区。在我们的情况中，如果直接属于降低分辨率切片，则用于协同定位的分区的运动数据就好像direct_8×8_inference_flag被设为1那样被导出。这也可以看作是协同定位参考的运动场的向下采样。虽然并不是必要的，但如果direct_8×8_inference_flag在比特流中已经被设定，则该过程可用应用两次。该过程可以在图4A和4B中更清楚地看出，这两个图示出了当direct_8×8_inference_flag分别设为0和设为1时，在当前切片为降低分辨率且第一列表1参考为全分辨率的情况下用于直接模式的运动继承400的图解。对于当前切片不处于降低分辨率模式但其第一列表1参考处于降低分辨率模式的情况，则需要首先向上采样该降低分辨率参考的所有运动数据。可以使用零阶保持进行向上采样运动数据，这是复杂性最小的方法。其它滤波方法，例如类似于用于残差数据向上采样的过程，也可使用。
通过考虑这种模式，H.264的一些其它工具也受到影响。更具体地说，宏块自适应场帧模式(MB-AFF)现需要考虑使用32×64超宏块结构。在各个编码块残差上执行向上采样过程。如果场画面被编码，则将块编码为场残差，并因此在场中完成向上采样。同样，当使用MB-AFF时，各个块以场或帧模式编码，并且它们相应的残差分别在场或帧模式进行向上采样。
为了允许降低分辨率模式对于所有可能的分辨率都起作用，画面总是分别被垂直和水平扩展，以便总能被16*rru_height_scale和16*rru_width_scale除尽。对于rru_height_scale＝rru_width_scale＝2的实例，图像的原始分辨率为HR×VR，图像被填充到分辨率等于Hc×Vc，其中：
Hc＝((HR+31)/32)*32
Vc＝((VR+31)/32)*32
用于扩展图像分辨率的过程类似于目前H.264将画面尺寸扩展到可被16除尽所做的。图5示出了按照本发明原理用于四分之一通用中间格式(QCIF)分辨率画面500的分辨率扩展的图解。
用于QCIF分辨率画面的扩展亮度由下式给出：
RRRU(x，y)＝R(x′，y′)，
式中：
x，y＝像素域中扩展的参考画面的空间坐标，
x′，y′＝像素域中参考画面的空间坐标，
RRRU(x，y)＝在(x，y)处扩展的参考画面的像素值，
R(x′，y′)＝在(x′，y′)处参考画面的像素值，
x′＝175，如果x＞175且x＜192
   ＝x否则
y′＝143，如果y＞143且y＜160
   ＝y否则
类似方法用于扩展色度采样，但扩展到该尺寸的一半。
转向图6，示范视频编码器总体以参考编号600示出。编码器600的视频输入端在信号通信中与宏块排序器602的输入端连接。宏块排序器602的输出端在信号通信中与运动估计器605的第一输入端以及第一加法器610的第一输入端(非反相)连接。运动估计器605的第二输入端在信号通信中与画面参考存储器615的输出端连接。运动估计器605的输出端在信号通信中与运动补偿器620的第一输入端连接。运动补偿器620的第二输入端在信号通信中与画面参考存储器615的输出端连接。运动补偿器的输出端在信号通信中与第一加法器610的第二输入端(反相)、第二加法器625的第一输入端(非反相)以及可变长度编码器(VLC)695的第一输入端连接。第二加法器625的输出端在信号通信中与可选的时间处理器630的第一输入端连接。可选的时间处理器630的第二输入端在信号通信中与画面参考存储器615的另一输出端连接。可选的时间处理器630的输出端在信号通信中与环路滤波器635的输入端连接。环路滤波器635的输出端在信号通信中与画面参考存储器615的输入端连接。
第一加法器610的输出端在信号通信中与第一开关640的输入端连接。第一开关640的输出端能够在信号通信中与向下采样器645的输入端或与变换器650的输入端连接。向下采样器645的输出端在信号通信中与变换器650的输入端连接。变换器650的输出端在信号通信中与量化器655的输入端连接。量化器655的输出端在信号通信中与可变长度编码器695的输入端以及反向量化器660的输入端连接。反向量化器660的输出端在信号通信中与反向变换器665的输入端连接。反向变换器665的输出端在信号通信中与第二开关670的输入端连接。第二开关670的输出端能够在信号通信中与第二加法器625的第二输入端或与向上采样器675的输入端连接。向上采样器的输出端在信号通信中与第二加法器625的第二输入端连接。可变长度编码器695的输出端连接到编码器600的输出端。应指出，当第一开关640和第二开关670在信号通信中分别与向下采样器645和向上采样器675连接时，形成了从第一加法器610的输出端到运动补偿器620的第三输入端和到向上采样器675的输入端的信号通路。应理解，第一开关640可包括用于确定RRU模式的RRU模式确定部件。宏块排序器602将给定图像的宏块排列成切片组。
转向图7，示范视频解码器总体以参考编号700表示。解码器700的第一输入端在信号通信中与反向变换器/量化器710的输入端连接。反向变换器/量化器710的输出端在信号通信中与向上采样器715的输入端连接。向上采样器715的输出端在信号通信中与加法器720的第一输入端连接。加法器720的输出端在信号通信中与可选的空间-时间处理器725连接。空间-时间处理器的输出端在信号通信中与解码器700的输出端连接。如果没有采用空间-时间处理器725，解码器700的输出从加法器720的输出端出来。
解码器700的第二输入端在信号通信中与运动补偿器730的第一输入端连接。运动补偿器730的输出端在信号通信中与加法器720的第二输入端连接。加法器720用于组合向上采样的预测残差和预测的参考。运动补偿器730的第二输入端在信号通信中与参考缓冲器735的第一输出端连接。参考缓冲器735的第二输出端在信号通信中与空间-时间处理器725连接。参考缓冲器735的输入是解码器输出。反向变换器/量化器710输入残差比特流，并输出解码的残差。参考缓冲器735输出参考画面，且运动补偿器730输出运动补偿预测。
图7所示的解码器实现方案可以通过使用附加的处理元件，例如在编码器和解码器中的空间-时间分析，加以扩展和改进，这就允许我们去除一些通过残差向下采样和向上采样过程而引入的人为误差。
上述方法的一种改型是，允许不仅在切片级而且在宏块级使用降低分辨率。虽然这种方法可以有不同的改型，但一种方法是通过使用参考画面指示器来用信号通知分辨率改变。参考画面可与全分辨率或降低分辨率残差的传输隐式(例如奇/偶参考)或显示地(例如通过切片参数中的传输表)相关联。如果一个32×32宏块是使用降低残差编码的，则单一的编码块模式(cbp)与16个降低分辨率块的变换系数相关联，并被传输。否则，4个cbp(或单个的组合cbp)需被传输，它与64个全分辨率块相关联。注意，为使这种方法起作用，在此宏块中的所有块需以同样的分辨率被编码。这个方法要求传输一个附加表，它会提供有关定标的或不是当前参考的信息，包括定标参数，类似于目前针对加权预测所做的。
转向图8，示范视频编码过程总体以参考编号800表示。过程800包括开始框805，它将控制传送到循环限制框810。循环限制框810开始一个对于图像中当前块的循环，并将控制传送到功能框815。功能框815形成当前块的运动补偿预测，并将控制传送到功能框820。功能框820从当前宏块中减去运动补偿预测，以形成预测残差，并将控制传送到功能框825。功能框825向下采样预测残差，并将控制传送到功能框830。功能框830变换和量化向下采样的预测残差，并将控制传送到功能框835。功能框835反向变换和量化预测残差，以形成编码的预测残差，并将控制传送到功能框840。功能框840向上采样编码的预测残差，并将控制传送到功能框845。功能框845将向上采样的编码残差加到预测上，以形成编码的画面块，并将控制传送到结束循环框850。结束循环框850结束该循环，并将控制传送到结束框855。
转向图9，示范视频解码过程总体以参考编号900表示。解码过程900包括开始框905，它将控制传送到循环限制框910。循环限制框910开始一个对于图像中当前块的循环，并将控制传送到功能框915。功能框915对编码残差进行熵解码，并将控制传送到功能框920。功能框920反向变换和量化解码的残差，以形成编码残差，并将控制传送到功能框925。功能框925向上采样编码残差，并将控制传送到功能框930。功能框930将向上采样的编码残差加到预测上，以形成编码的画面块，并将控制传送到循环限制框935。循环限制框935结束该循环，并将控制传送到结束框940。
对于本发明的这些和其它特征和优点，相关领域的技术人员基于本文的内容就很容易弄清。应理解，本文的内容可以用各种形式的硬件、软件、固件、专用处理器或它们的组合来实现。
更优选的是，本发明的内容作为硬件和软件的组合来实现。此外，软件优选实现为在程序储存单元上切实实施的应用程序。应用程序可以上载到包括任何适用体系结构的机器上，并由其执行。优选的是，该机器在计算机平台上实现，该计算机平台具有诸如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)以及输入/输出(I/O)接口等硬件。计算机平台还可包括操作系统和微指令代码。本文所述的各种过程和功能可以是微指令代码的一部分，或应用程序的一部分，或它们的任何组合，可以由CPU执行。此外，可将各种其它的外设单元连接到计算机平台，例如附加的数据储存单元以及打印单元。
还应理解，由于附图中所示的一些组成系统组件和方法优选以软件来实现，因此系统组件或过程功能框之间的实际连接可能根据对本发明的编程方式而有所不同。有了本文的所述内容，相关领域的技术人员就能够想出本发明的这些和类似实现方案或配置。
虽然已结合附图对说明性实施例作了说明，但应理解，本发明并不局限于这些实施例，在不背离本发明的范围或精神的前提下，相关领域的技术人员可以在这些实施例中进行各种改变和修改。所有这些改变和修改应包括在所附权利要求书中阐述的本发明的范围之内。
  pic_parameter_set_rbsp(){   C   描述符
  pic_parameter_set_id   1   ue(v)
  seq_parameter_set_id   1   ue(v)
  entropy_coding_mode_flag   1   u(1)
  pic_order_presecnt_flag   1   u(1)
  num_slice_groups_minus1   1   ue(v)
  if(num_slice_groups_minus1＞0){
  /*考虑RRU*/
  reduced_resolution_update_enable   1   u(1)
  if(！reduced_resolution_update){
  rru_max_width_scale   1   u(v)
  ruu_max_height_scale   1   u(v)
  }
  /*降低分辨率更新参数结束*/
  slice_group_map_type   1   ue(v)
  if(slicc_group_map_type＝＝0)
  for(iGroup＝0；iGroup＜＝num_slice_groups_minus1；iGroup++)
  run_length_minus1[iGroup]   1   ue(v)
  else if(slice_group_map_type＝＝2)
  for(iGroup＝0；iGroup＜nun_slice_groups_minus1；iGroup++){
  top_left[iGroup]   1   ue(v)
  bottom_right[iGroup]   1   ue(v)
  }
  else if(slice_group_map_type＝＝3||slice_group_map_type＝＝4||slice_group_map_type＝＝5){
  slice_group_change_direction_flag   1   u(1)
  slice_group_change_rate_minus1   1   ue(v)
  }else if(slice_group_map_type＝＝6){
  pic_size_in_map_units_minus1   1   ue(v)
  for(i＝0；i＜＝pic_size_in_map_units_minus1；i++)
  slice_group_id[i]   1   u(v)
  }
  }
  num_ref_idx_10_active_minus1   1   ue(v)
  num_ref_idx_11_active_minus1   1   ue(v)
  weighted_pred_flag   1   u(1)
  weighted_bipred_idc   1   u(2)
  pic_init_qp_minus26/*相对于26*/   1   se(v)
  pic_init_qs_minus26/*相对于26*/   1   se(v)
  chroma_qp_index_offset   1   se(v)
  deblocking_filter_control_present_flag   1   u(1)
  constrained_intra_pred_flag   1   u(1)
  redundant_pic_cnt_present_flag   1   u(1)
  rbsp_trailing_bits()   1
  }
                                    表1
slice_header(){     C   描述符
first_mb_in_slice     2   ue(v)
slice_type     2   ue(v)
pic_parameter_set_id     2   ue(v)
frame_num     2   u(v)
/*降低分辨率更新参数*/
reduced_resolution update     2   u(1)
/*下面是可选的*/
if(！reduced_resolution_update){
rru_width_scale     2   u(v)
rru_height_scale     2   u(v)
}
/*降低分辨率更新参数结束*/
if(！frame_mbs_only_flag){
field_pic_flag     2   u(1)
if(field_pic_flag)
bottom_field_fiag     2   u(1)
}
if(nal_unit_type＝＝5)
idr_pic_id     2   ue(v)
if(pic_order_cnt_type＝＝0){
pic_order_cnt_lsb     2   u(v)
if(pic_order_present_flag && ！field_pic_flag)
delta_pic_order_cnt_bottom     2   se(v)
}
if(pic_order_cnt_type＝＝1 &&！delta_pic_order_always_zero_flag){
delta_pic_order_cnt[0]     2   se(v)
if(pic_order_present_flag && ！field_pic_flag)
delta_pic_order_cnt[1]     2   se(v)
}
if(redundan_pic_cnt_present_flag)
redundant_pic_cnt     2   ue(v)
if(slice_type＝＝B)
direct_spatial_mv_pred_flag     2   u(1)
if(slice_type＝＝p||slice_type＝＝SP||slice_type＝＝B){
num_ref_idx_active_override_flag     2   u(1)
if(num_ref_idx_active_override_flag){
num_ref_idx_10_active_minus1     2   ue(v)
if(slice_type＝＝B)
num_ref_idx_I1_actiye_minus1     2   ue(v)
}
}
ref_pic_list_reordering()     2
if((weighted_pred_flag &&(slice_type＝＝P||slice_type＝＝SP))||(weighted_bipred_idc＝＝1 && slice_type＝＝B))
pred_weight_table()     2
if(nal_ref_idc！＝0)
dec_ref_pic_marking()     2
if(entropy_coding_mode_flag && slice_type！＝I && slice_type！＝SI)
cabac_init_idc     2  ue(v)
slice_qp_delta     2  se(v)
if(slice_type＝＝SP||slice_type＝＝SI){
if(slice__type＝＝SP)
sp_for_switch_flag     2  u(1)
slice_qs_delta     2  se(v)
}
if(deblocking_filter_control_present_flag){
disable_deblocking_filter_idc     2  ue(v)
if(disable_deblocking_filter_idc！＝1){
slice_alpha_c0_offset_div2     2  se(v)
slice_beta_offset_div2     2  se(v)
}
}
if(nun_slice_groups_minus1＞0 &&slice_group_map_type＞＝3 && slice_group_map_type＜＝5)
slice_group_change_cycle     2  u(v)
}
                                        表2

Claims (44)

1.一种用于编码图像切片的视频信号数据的视频编码器(600)，包括：
切片预测残差向下采样器(645)，适合于选择性地与变换器(650)的输入端连接；
量化器(655)，与所述变换器(645)的输出端连接；以及
熵编码器(695)，与所述量化器(655)的输出端连接，
其中所述切片预测残差向下采样器(645)用于在变换和量化所述预测残差之前，向下采样至少部分所述图像切片的预测残差。
2.如权利要求1所述的视频编码器，其中所述图像切片包括符合国际电信联盟电信委员会(ITU-T)H.264标准的视频数据。
3.如权利要求1所述的视频编码器，其中所述切片预测残差向下采样器(645)对所述预测残差的水平方向和垂直方向施加不同的向下采样操作。
4.如权利要求1所述的视频编码器，其中在所述切片预测残差向下采样器中所使用的向下采样分辨率由所述图像切片中的参数发信号通知。
5.如权利要求1所述的视频编码器，其中所述图像切片被分成图像块，且在所述图像块的内部预测之后形成预测残差。
6.如权利要求5所述的视频编码器，其中使用8×8和32×32预测模式之一执行所述内部预测。
7.如权利要求1所述的视频编码器，其中所述图像切片被分成图像块，且在所述图像块的中间预测之后形成预测残差。
8.如权利要求1所述的视频编码器，其中所述切片预测残差向下采样器(645)仅对所述预测残差的水平方向和垂直方向之一施加向下采样操作。
9.如权利要求1所述的视频编码器，其中所述图像切片被分成宏块，且为各个宏块编码的参考索引对应于该各个宏块的所述预测残差是否将被向下采样。
10.如权利要求1所述的视频编码器，其中所述视频信号数据对应于隔行画面，所述图像切片被分成图像块，且所述切片预测残差向下采样器(645)以与所编码图像块的当前模式相同的模式之一向下采样所述预测残差，所述相同的模式是场模式和帧模式之一。
11.一种用于编码图像的视频信号数据的视频编码器，所述视频编码器包括：
宏块排序部件(602)，用于将对应于所述图像的宏块排列成至少两个切片组；以及
切片预测残差向下采样器(645)，用于在变换和量化所述预测残差之前，向下采样至少部分图像切片的预测残差，
其中所述切片预测残差向下采样器用来接收至少一个所述切片组进行向下采样。
12.一种用于解码图像切片的视频信号数据的视频解码器，所述视频解码器包括：
预测残差向上采样器(715)，用于向上采样所述图像切片的预测残差；以及
组合器(720)，用于组合向上采样的预测残差和预测的参考。
13.如权利要求12所述的视频解码器，其中所述图像切片包括符合国际电信联盟电信委员会(ITU-T)H.264标准的视频数据。
14.如权利要求12所述的视频解码器，其中所述图像切片被分成宏块，且所述视频解码器还包括降低分辨率更新(RRU)模式确定部件，所述模式确定部件在信号通信中与预测残差向上采样器连接，并对宏块级的参考索引作出响应，以确定所述视频解码器是否处于RRU模式，并且其中当前宏块的预测残差由所述预测残差向上采样器进行向上采样，以解码所述当前宏块。
15.如权利要求12所述的视频解码器，其中所述切片预测残差向上采样器(715)对所述预测残差的水平方向和垂直方向施加不同的向上采样操作。
16.如权利要求12所述的视频解码器，其中在所述切片预测残差向上采样器中所使用的向上采样分辨率由所述图像切片中的参数发信号通知。
17.如权利要求12所述的视频解码器，其中所述图像切片被分成图像块，且在所述图像块的内部预测之后形成所述预测残差。
18.如权利要求17所述的视频解码器，其中使用8×8和32×32预测模式之一执行所述内部预测。
19.如权利要求12所述的视频解码器，其中所述图像切片被分成图像块，且在所述图像块的中间预测之后形成所述预测残差。
20.如权利要求12所述的视频解码器，其中所述切片预测残差向上采样器(715)仅对所述预测残差的水平方向和垂直方向之一施加向上采样操作。
21.如权利要求12所述的视频解码器，其中所述图像切片被分成宏块，且为各个宏块编码的参考索引对应于该各个宏块的所述预测残差是否将被向上采样。
22.如权利要求12所述的视频解码器，其中所述视频信号数据对应于隔行画面，所述图像切片被分成图像块，且所述切片预测残差向上采样器(715)以与所编码图像块的当前模式相同的模式之一向上采样所述预测残差，所述相同的模式是场模式和帧模式之一。
23.一种用于编码图像切片的视频信号数据的方法，所述方法包括以下步骤：
向下采样(825)所述图像切片的预测残差；
变换(830)所述预测残差；以及
量化(830)所述预测残差，其中所述向下采样(825)的步骤在所述变换或量化步骤之前执行。
24.如权利要求23所述的方法，其中所述图像切片包括符合国际电信联盟电信委员会(ITU-T)H.264标准的视频数据。
25.如权利要求23所述的方法，其中所述向下采样步骤(825)包括以下步骤之一：分别对所述预测残差的水平方向和垂直方向施加不同的向下采样操作；或仅对所述水平方向和所述垂直方向之一施加向下采样操作。
26.如权利要求23所述的方法，其中用于所述向下采样步骤的向下采样分辨率由所述图像切片中的参数发信号通知。
27.如权利要求23所述的方法，其中所述图像切片被分成图像块，且在所述图像块的内部预测之后形成所述预测残差。
28.如权利要求27所述的方法，其中使用8×8和32×32预测模式之一执行所述内部预测。
29.如权利要求23所述的方法，其中所述图像切片被分成图像块，且在所述图像块的中间预测之后形成所述预测残差。
30.如权利要求29所述的方法，其中使用32×32宏块和32×32、32×16、16×32和16×16宏块分区或16×16、16×8、8×16和8×8子宏块分区执行所述中间预测。
31.如权利要求23所述的方法，其中所述图像切片被分成宏块，且所述方法还包括如下步骤：确定是否将基于为各个宏块编码的参考索引对该各个宏块的所述预测残差进行向下采样，所述参考索引对应于该各个宏块的所述预测残差是否将被向下采样。
32.如权利要求23所述的方法，其中所述图像切片被分成宏块，且所述方法还包括如下步骤：响应于画面参数集中的参数，灵活地排序所述宏块。
33.如权利要求23所述的方法，其中所述视频信号数据对应于隔行画面，所述图像切片被分成图像块，且所述向下采样步骤(825)以与所述图像块的当前模式相同的模式之一向下采样所述预测残差，所述相同的模式是场模式和帧模式之一。
34.一种用于解码图像切片的视频信号数据的方法，所述方法包括以下步骤：
向上采样(925)所述图像切片的预测残差；以及
组合(930)向上采样的预测残差与预测的参考。
35.如权利要求34所述的方法，其中所述图像切片包括符合国际电信联盟电信委员会(ITU-T)H.264标准的视频数据。
36.如权利要求34所述的方法，其中所述图像切片被分成宏块，且所述方法还包括如下步骤：对宏块级的参考索引作出响应，确定所述视频解码器是否处于降低分辨率更新(RRU)模式，并且其中所述向上采样步骤包括如下步骤：向上采样当前宏块的预测残差，以解码所述当前宏块。
37.如权利要求34所述的方法，其中所述向上采样步骤(925)包括以下步骤之一：分别对所述预测残差的水平方向和垂直方向施加不同的向上采样操作；或仅对所述水平方向和所述垂直方向之一施加向上采样操作。
38.如权利要求34所述的方法，其中用于所述向上采样步骤的向上采样分辨率由所述图像切片中的参数发信号通知。
39.如权利要求34所述的方法，其中所述图像切片被分成图像块，且在所述图像块的内部预测之后形成所述预测残差。
40.如权利要求39所述的方法，其中使用8×8和32×32预测模式之一执行所述内部预测。
41.如权利要求34所述的方法，其中所述图像切片被分成图像块，且在所述图像块的中间预测之后形成所述预测残差。
42.如权利要求41所述的方法，其中使用32×32宏块和32×32、32×16、16×32和16×16宏块分区或16×16、16×8、8×16和8×8子宏块分区执行所述中间预测。
43.如权利要求34所述的方法，其中所述图像切片被分成宏块，且所述方法还包括如下步骤：确定是否将基于为各个宏块编码的参考索引对该各个宏块的所述预测残差进行向上采样，所述参考索引对应于该各个宏块的所述预测残差是否将被向上采样。
44.如权利要求34所述的方法，其中所述视频信号数据对应于隔行画面，所述图像切片被分成图像块，且所述向上采样步骤以与所述图像块的当前模式相同的模式之一向上采样所述预测残差，所述相同的模式是场模式和帧模式之一。
CN2005800140222A 2004-03-09 2005-03-01 用于高级视频编码的降低分辨率更新模式 Expired - Fee Related CN1973546B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US55141704P 2004-03-09 2004-03-09
US60/551,417 2004-03-09
PCT/US2005/006453 WO2005093661A2 (en) 2004-03-09 2005-03-01 Reduced resolution update mode for advanced video coding

Publications (2)

Publication Number Publication Date
CN1973546A true CN1973546A (zh) 2007-05-30
CN1973546B CN1973546B (zh) 2010-05-12

Family

ID=34961541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800140222A Expired - Fee Related CN1973546B (zh) 2004-03-09 2005-03-01 用于高级视频编码的降低分辨率更新模式

Country Status (10)

Country Link
US (1) US20070189392A1 (zh)
EP (1) EP1730695A2 (zh)
JP (1) JP2007528675A (zh)
KR (1) KR20060134976A (zh)
CN (1) CN1973546B (zh)
AU (1) AU2005226021B2 (zh)
BR (1) BRPI0508506A (zh)
MY (2) MY142188A (zh)
WO (1) WO2005093661A2 (zh)
ZA (1) ZA200607434B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065302A (zh) * 2011-02-09 2011-05-18 复旦大学 一种基于h.264的可伸缩视频编码方法
CN1939067B (zh) * 2004-04-02 2011-07-20 汤姆森许可贸易公司 用于复杂度可伸缩视频编码器的方法和设备
CN101715124B (zh) * 2008-10-07 2013-05-08 镇江唐桥微电子有限公司 单路输入多路输出的视频编码系统及视频编码方法
CN101803387B (zh) * 2007-09-10 2014-03-19 思科技术公司 利用灵活宏块排序对任意数目的源流进行视频合成
CN107547897A (zh) * 2015-07-01 2018-01-05 联发科技股份有限公司 残值升采样装置、残值降采样装置以及电路

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060129729A1 (en) * 2004-12-10 2006-06-15 Hongjun Yuan Local bus architecture for video codec
US8391368B2 (en) * 2005-04-08 2013-03-05 Sri International Macro-block based mixed resolution video compression system
US7680047B2 (en) 2005-11-22 2010-03-16 Cisco Technology, Inc. Maximum transmission unit tuning mechanism for a real-time transport protocol stream
BRPI0706407B1 (pt) * 2006-01-09 2019-09-03 Interdigital Madison Patent Holdings método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo
KR101357982B1 (ko) 2006-01-09 2014-02-05 톰슨 라이센싱 멀티-뷰 비디오 코딩을 위한 축소 해상도 갱신 모드를제공하는 방법 및 장치
JP4747975B2 (ja) * 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
KR100882949B1 (ko) * 2006-08-17 2009-02-10 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법
BRPI0715770B1 (pt) 2006-08-25 2020-03-10 Interdigital Vc Holdings, Inc. Método, aparelho e mídia de armazenamento para particionamento com menor resolução
WO2008044637A1 (fr) 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Procédés de codage et de décodage vidéo, leur dispositif, leur programme, et le support de stockage contenant le programme
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
US9100038B2 (en) * 2007-06-29 2015-08-04 Orange Decoding function selection distributed to the decoder
JP5011138B2 (ja) * 2008-01-25 2012-08-29 株式会社日立製作所 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法
US9510016B2 (en) 2008-06-12 2016-11-29 Thomson Licensing Methods and apparatus for video coding and decoding with reduced bit-depth update mode and reduced chroma sampling update mode
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
US9204086B2 (en) * 2008-07-17 2015-12-01 Broadcom Corporation Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor
US20120076203A1 (en) * 2009-05-29 2012-03-29 Mitsubishi Electric Corporation Video encoding device, video decoding device, video encoding method, and video decoding method
KR101527085B1 (ko) * 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
CN104796717B (zh) 2009-07-01 2018-11-06 汤姆森特许公司 用于视频编码器和解码器的方法和装置
JP5604825B2 (ja) * 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
KR101418101B1 (ko) 2009-09-23 2014-07-16 에스케이 텔레콤주식회사 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
CN101710990A (zh) * 2009-11-10 2010-05-19 华为技术有限公司 视频图像编码处理、解码处理方法和装置及编解码系统
JP5605188B2 (ja) * 2010-11-24 2014-10-15 富士通株式会社 動画像符号化装置
MX2014000159A (es) 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
EP2805509A4 (en) * 2012-01-19 2015-07-29 Magnum Semiconductor Inc METHOD AND DEVICES FOR PROVIDING AN ADAPTIVE UPGRADE MODE WITH REDUCED RESOLUTION
FR2986395A1 (fr) * 2012-01-30 2013-08-02 France Telecom Codage et decodage par heritage progressif
US9491475B2 (en) 2012-03-29 2016-11-08 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
US9451258B2 (en) * 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
US9392286B2 (en) 2013-03-15 2016-07-12 Magnum Semiconductor, Inc. Apparatuses and methods for providing quantized coefficients for video encoding
US9794575B2 (en) 2013-12-18 2017-10-17 Magnum Semiconductor, Inc. Apparatuses and methods for optimizing rate-distortion costs in video encoding
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
WO2019009750A1 (en) 2017-07-05 2019-01-10 Huawei Technologies Co., Ltd APPARATUS AND METHOD FOR PANORAMIC VIDEO CODING
WO2019009490A1 (ko) 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US10986356B2 (en) 2017-07-06 2021-04-20 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
EP3744093A4 (en) * 2018-01-25 2022-01-26 LG Electronics Inc. VIDEO DECODER AND RELATED CONTROL METHOD
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US11720997B2 (en) 2018-10-19 2023-08-08 Samsung Electronics Co.. Ltd. Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
KR102525578B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR102285738B1 (ko) 2018-10-19 2021-08-05 삼성전자주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
WO2020080827A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
US11616988B2 (en) 2018-10-19 2023-03-28 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
KR102195669B1 (ko) * 2018-12-03 2020-12-28 주식회사 리메드 이미지 송신 장치
US11290734B2 (en) * 2019-01-02 2022-03-29 Tencent America LLC Adaptive picture resolution rescaling for inter-prediction and display
CN110572654B (zh) * 2019-09-27 2024-03-15 腾讯科技（深圳）有限公司 视频编码、解码方法和装置、存储介质及电子装置
KR102436512B1 (ko) 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20210056179A (ko) 2019-11-08 2021-05-18 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
KR20210067788A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
US20220159269A1 (en) * 2020-11-17 2022-05-19 Ofinno, Llc Reduced Residual Inter Prediction
US20220201307A1 (en) * 2020-12-23 2022-06-23 Tencent America LLC Method and apparatus for video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262854A (en) * 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
JP2908208B2 (ja) * 1993-11-26 1999-06-21 日本電気株式会社 画像データ圧縮方法および画像データ伸長方法
DE69406306T2 (de) * 1993-11-30 1998-01-29 Polaroid Corp Verfahren zur bildskalierung und zum filtern mit diskreter cosinustransformation
JP3210862B2 (ja) * 1996-06-27 2001-09-25 シャープ株式会社 画像符号化装置及び画像復号装置
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6141456A (en) * 1997-12-31 2000-10-31 Hitachi America, Ltd. Methods and apparatus for combining downsampling and inverse discrete cosine transform operations
JP3626686B2 (ja) * 1998-12-10 2005-03-09 松下電器産業株式会社 フィルタ演算装置
US7596179B2 (en) * 2002-02-27 2009-09-29 Hewlett-Packard Development Company, L.P. Reducing the resolution of media data

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1939067B (zh) * 2004-04-02 2011-07-20 汤姆森许可贸易公司 用于复杂度可伸缩视频编码器的方法和设备
CN1939066B (zh) * 2004-04-02 2012-05-23 汤姆森许可贸易公司 用于复杂度可伸缩视频解码器的方法和设备
CN101803387B (zh) * 2007-09-10 2014-03-19 思科技术公司 利用灵活宏块排序对任意数目的源流进行视频合成
CN101715124B (zh) * 2008-10-07 2013-05-08 镇江唐桥微电子有限公司 单路输入多路输出的视频编码系统及视频编码方法
CN102065302A (zh) * 2011-02-09 2011-05-18 复旦大学 一种基于h.264的可伸缩视频编码方法
CN102065302B (zh) * 2011-02-09 2014-07-09 复旦大学 一种基于h.264的可伸缩视频编码方法
CN107547897A (zh) * 2015-07-01 2018-01-05 联发科技股份有限公司 残值升采样装置、残值降采样装置以及电路
CN107547897B (zh) * 2015-07-01 2021-01-08 联发科技股份有限公司 残值升采样装置、残值降采样装置以及电路

Also Published As

Publication number Publication date
BRPI0508506A (pt) 2007-07-31
KR20060134976A (ko) 2006-12-28
ZA200607434B (en) 2008-08-27
WO2005093661A3 (en) 2005-12-29
AU2005226021B2 (en) 2010-05-13
EP1730695A2 (en) 2006-12-13
MY142188A (en) 2010-10-15
JP2007528675A (ja) 2007-10-11
WO2005093661A2 (en) 2005-10-06
CN1973546B (zh) 2010-05-12
MY141817A (en) 2010-06-30
AU2005226021A1 (en) 2005-10-06
US20070189392A1 (en) 2007-08-16

Similar Documents

Publication Publication Date Title
CN1973546B (zh) 用于高级视频编码的降低分辨率更新模式
RU2694013C1 (ru) Усовершенствованное кодирование с внутрикадровым предсказанием с использованием планарных представлений
JP6526869B2 (ja) ハイブリッドなビデオ符号化における予測誤差の適応符号化
CN101208957B (zh) 视频编码器和编码方法
CN101040533B (zh) 复杂性可伸缩的视频编码和解码方法和设备
CN101371584B (zh) 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
JP2022003790A (ja) 複数の隣接する量子化パラメータから量子化パラメータ予測子を決定する方法及び装置
CN102714727B (zh) 缓冲的自适应滤波器
US8311121B2 (en) Methods and apparatus for weighted prediction in scalable video encoding and decoding
CN1939067B (zh) 用于复杂度可伸缩视频编码器的方法和设备
KR101326610B1 (ko) 매크로블록 적응적 인터-층 인트라 텍스쳐 예측을 위한 방법 및 장치
US8867618B2 (en) Method and apparatus for weighted prediction for scalable video coding
EP2157799A1 (en) Interpolation filter with local adaptation based on block edges in the reference frame
KR20120126067A (ko) 비디오 인코딩 및 디코딩을 위한 적응적 템플릿 매칭 예측 방법 및 장치
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
JP2022531147A (ja) フィルタリングを用いた行列ベースイントラ予測
CN102271257A (zh) 图像处理设备和方法及程序和计算机可读介质
Gardos H. 263+: the new itu-t recommendation for video coding at low bit rates
MXPA06010217A (en) Reduced resolution update mode for advanced video coding
JP2023519939A (ja) 映像コーディングにおけるスライスタイプ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100512

Termination date: 20120301