CN105144719A - 使用一般化残差预测对视频信息进行可缩放及多视图/3d译码的装置及方法 - Google Patents

使用一般化残差预测对视频信息进行可缩放及多视图/3d译码的装置及方法 Download PDF

Info

Publication number
CN105144719A
CN105144719A CN201380068352.4A CN201380068352A CN105144719A CN 105144719 A CN105144719 A CN 105144719A CN 201380068352 A CN201380068352 A CN 201380068352A CN 105144719 A CN105144719 A CN 105144719A
Authority
CN
China
Prior art keywords
block
enhancement layer
layer
video
base layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380068352.4A
Other languages
English (en)
Inventor
李想
陈建乐
马尔塔·卡切维奇
瓦迪姆·谢廖金
濮伟
克里希纳坎斯·拉帕卡
郭立威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105144719A publication Critical patent/CN105144719A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种经配置以译码(例如，编码或解码)视频信息的设备，所述设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置以存储与基础层及增强层相关联的视频信息。所述处理器经配置以：在所述基础层与所述增强层具有不同分辨率时，通过使用上取样滤波器而对基础层参考块进行上取样；通过对所述经上取样基础层参考块进行滤波而执行运动补偿内插；基于所述经滤波的经上取样基础层参考块确定基础层残差信息；通过将加权因子应用于所述基础层残差信息而确定经加权基础层残差信息；以及基于所述经加权基础层残差信息确定增强层块。所述处理器可编码或解码所述视频信息。

Description

使用一般化残差预测对视频信息进行可缩放及多视图/3D译码的装置及方法
技术领域
本发明涉及视频译码及压缩的领域，确切地说，涉及可缩放视频译码(SVC)或多视图视频译码(MVC，3DV)。
背景技术
数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及类似装置。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧、视频帧的一部分等)可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致用于待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残差数据而编码。经帧内译码块是根据帧内译码模式及残差数据而编码。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，接着可对残差变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
发明内容
可缩放视频译码(SVC)是指其中使用基础层(BL)(有时被称作参考层(RL))及一或多个可缩放增强层(EL)的视频译码。对于SVC，基础层可携载具有基础质量水平的视频数据。所述一或多个增强层可携载额外的视频数据以支持较高的空间、时间及/或信噪(SNR)水平。可相对于先前编码的层来界定增强层。举例来说，底层可充当BL，而顶层可充当EL。中间层可充当EL或RL，或两者。举例来说，在中间的层可为在其下方的层(例如，基础层或任何介入增强层)的EL，且同时充当在其上方的一或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信息译码(例如，编码或解码)另一视图的信息(例如，运动估计、运动向量预测及/或其它冗余)。
在SVC中，可使用基础层的残差信息预测增强层或另一视图中的当前块。举例来说，如果基础层中的共置块是经帧间预测，那么可根据基础层与增强层的空间分辨率比率来对其残差进行上取样以预测增强层中的当前块。此类层间残差预测常常涉及用于对基础层参考层及经重构基础层进行上取样的上取样滤波器及用于在运动向量指向子像素位置时内插参考样本的运动补偿(MC)内插滤波器。
然而，在一些情形中，如果增强层块过小或如果上取样滤波器及/或MC内插滤波器过于复杂，那么与上取样及MC内插相关联的存储器存取要求可能会显著地增大译码复杂度。因此，在此些情形中，可通过限定残差预测及/或简化其中使用的滤波器来降低译码复杂度。通过这样做，本发明中描述的技术可降低与译码视频信息的方法相关联的计算复杂度。
本发明的系统、方法及装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。
在一个实施例中，一种经配置以译码(例如，编码或解码)视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置以存储与基础层及增强层相关联的视频信息。所述处理器经配置以：在所述基础层与所述增强层具有不同分辨率时，通过使用上取样滤波器而对基础层参考块进行上取样；通过对所述经上取样基础层参考块进行滤波而执行运动补偿内插；基于所述经滤波的经上取样基础层参考块确定基础层残差信息；通过将加权因子应用于所述基础层残差信息而确定经加权基础层残差信息；以及基于所述经加权基础层残差信息确定增强层块。由处理器使用的所述上取样滤波器可具有6个或6个以下抽头(例如，5抽头、4抽头、3抽头，等)。
在一个实施例中，所述处理器经配置以使用4抽头上取样滤波器对所述基础层参考块进行上取样，且通过使用双线性内插滤波器来执行所述运动补偿内插。在一个实施例中，所述处理器经配置以通过应用单个5抽头组合式上取样及运动补偿内插滤波器来对所述基础层参考块进行上取样且执行所述运动补偿内插。所述组合式上取样及运动补偿内插滤波器可具有用于所述增强层块的明度及色度分量两者的16个相位，且所述增强层运动向量经缩放到像素的1/16的准确度。在一个实施例中，所述处理器经配置以使用3抽头平滑滤波器、3抽头上取样滤波器及/或3抽头层间滤波器(例如，以执行平滑化、上取样或其它层间滤波)。在一个实施例中，所述处理器经配置以响应于确定启用仅明度模式而仅基于所述经加权基础层残差信息确定所述增强层块的所述明度分量，且通过使用正常时间预测来确定所述增强层块的所述色度分量。在另一实施例中，所述处理器经配置以响应于确定启用仅色度模式而仅基于所述经加权基础层残差信息确定所述增强层块的所述色度分量，且通过使用正常时间预测来确定所述增强层块的所述明度分量。
在一个实施例中，一种译码(例如，编码或解码)视频信息的方法包括：存储与基础层及增强层相关联的视频信息；使用增强层运动向量确定基础层参考块；在所述基础层与所述增强层具有不同分辨率时，通过使用具有6个或6个以下抽头的上取样滤波器而对所述基础层参考块进行上取样；通过对所述经上取样基础层参考块进行滤波而执行运动补偿内插；基于所述经滤波的经上取样基础层参考块确定基础层残差信息；通过将加权因子应用于所述基础层残差信息而确定经加权基础层残差信息；以及基于所述经加权基础层残差信息确定增强层块。
在一个实施例中，一种经配置以译码(例如，编码或解码)视频信息的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置以存储与基础层及增强层相关联的视频信息。所述处理器经配置以确定增强层块是否具有大于或等于阈值大小的大小。响应于确定所述增强层块具有大于或等于所述阈值大小的大小，所述处理器进一步经配置以：在所述基础层与所述增强层具有不同分辨率时，通过使用上取样滤波器而对基础层参考块进行上取样；通过对所述经上取样基础层参考块进行滤波而执行运动补偿内插；基于所述经滤波的经上取样基础层参考块确定基础层残差信息；通过将加权因子应用于所述基础层残差信息而确定经加权基础层残差信息；以及基于所述经加权基础层残差信息确定增强层块。
在一个实施例中，响应于确定所述增强层块具有不大于或等于所述阈值大小的大小，所述处理器仅当所述增强层块为单向预测块时才对所述增强层块执行一般化残差预测(GRP)。如下文更详细地进一步论述，GRP使用加权因子以使用各种译码技术(例如，帧间预测、层间残差预测、层间帧内预测，等)来预测所述增强层块。在另一实施例中，由所述处理器执行的所述GRP为帧内GRP(例如，帧内预测、在差域中执行的帧内预测，等)，且邻近于所述增强层块且不可用于所述帧内预测中的相邻参考样本基于所述增强层的位深度及所述帧内预测是否是在差域中执行而被替代。下文进一步更详细地论述帧内GRP。在又一实施例中，所述加权因子是从在空间上相邻或邻近于所述增强层块的块、在时间上邻近于所述增强层块所位于的当前图片的图片中的块或与所述增强层块共置的基础层块导出。或者，所述加权因子可设定为默认值，且可不针对所述增强层块用信号表示加权信息。
在一个实施例中，所述处理器经配置以将包含GRP加权信息及所述基础层的经上取样纹理图片的层间参考图片添加到参考图片列表。在另一实施例中，所述处理器经配置以通过对与基础层参考图片共置的增强层参考图片进行滤波而确定可替代存取所述基础层参考图片而存取的仿效基础层参考图片，且基于所述仿效基础层参考图片确定所述增强层块。在又一实施例中，所述处理器经配置以使用固定4抽头低通滤波器、固定3抽头低通滤波器及/或自适应滤波器对所述共置增强层参考图片进行滤波。
在一个实施例中，一种译码(例如，编码或解码)视频信息的方法包括：存储与基础层及增强层相关联的视频信息；确定增强层块是否具有大于或等于阈值大小的大小；以及响应于确定所述增强层块具有大于或等于所述阈值大小的大小而执行GRP。所述GRP可至少通过以下操作而执行：在所述基础层与所述增强层具有不同分辨率时，通过使用上取样滤波器而对基础层参考块进行上取样；通过对所述经上取样基础层参考块进行滤波而执行运动补偿内插；基于所述经滤波的经上取样基础层参考块确定基础层残差信息；通过将加权因子应用于所述基础层残差信息而确定经加权基础层残差信息；以及基于所述经加权基础层残差信息确定所述增强层块。
附图说明
图1为说明可利用根据本发明中描述的方面的技术的视频编码及解码系统的实例的框图。
图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
图4是说明在不同维度中的SVC可缩放性的概念图。
图5是说明SVC位流的实例结构的概念图。
图6是说明SVC位流中的存取单元的概念图。
图7A及7B是展示帧内预测的各种模式及方向定向的概念图。
图7C是展示使用残差预测译码的说明性视频数据块的概念图。
图8是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
图9是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
图10是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
图11是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
图12是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
图13是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
图14是说明根据本发明的一个实施例的译码视频信息的方法的流程图。
具体实施方式
本文中描述的某些实施例涉及在先进视频编解码器的情况下的针对例如HEVC(高效率视频译码)等可缩放视频译码的层间预测。更确切地说，本发明涉及用于改善HEVC的可缩放视频译码(SVC)扩展中的层间预测的性能的系统及方法。
在以下描述中，描述与某些实施例有关的H.264/AVC技术；还论述HEVC标准及相关技术。虽然本文中在HEVC及/或H.264标准的上下文中描述某些实施例，但所属领域的技术人员可了解，本文中揭示的系统及方法可适用于任何合适的视频译码标准。举例来说，本文中所揭示的实施例可适用于以下标准中的一或多者：ITU-TH.261、ISO/IECMPEG-1视觉、ITU-TH.262或ISO/IECMPEG-2视觉、ITU-TH.263、ISO/IECMPEG-4视觉及ITU-TH.264(也称作ISO/IECMPEG-4AVC),包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。
仅出于说明的目的，用包含仅两个层(例如，例如基础层等较低层级层，及例如增强层等较高层级层)的实例来描述本文中揭示的某些实施例。应理解，这些实例可适用于包含多个基础层及/或增强层的配置。此外，为了易于解释，参照某些实施例，以下揭示内容包含术语“帧”或“块”。然而，这些术语不希望是限制性的。举例来说，下文描述的技术可配合任何合适的视频单元(例如，块(例如，CU、PU、TU、宏块等)、切片、帧等)一起使用。
在许多方面，HEVC通常遵循先前视频译码标准的框架。HEVC中的预测单元不同于在某些先前视频译码标准中的预测单元(例如，宏块)。事实上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的阶层式结构替换，阶层式结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块：译码单元(CU)、预测单元(PU)及变换单元(TU)。CU可指区域分裂的基本单元。可认为CU类似于宏块的概念，但其不限定最大大小，且可允许递归分裂成四个相等大小CU以改善内容适应性。PU可认为是帧间/帧内预测的基本单元，且其可在单一PU中含有多个任意形状分区以有效地译码不规则图像图案。TU可认为是变换的基本单元。可独立于PU来对其定义；然而，其大小可能限于TU所属于的CU。块结构成三个不同概念的此分开可允许每一者根据其作用被优化，这可导致改善的译码效率。
视频译码标准
例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可由布置成水平及垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一像素通常含有明度及色度信息。在未压缩的情况下，将从图像编码器传达到图像解码器的信息的数量太过巨大以致不可能实现实时图像发射。为了减少待发射的信息量，已开发出例如JPEG、MPEG及H.263标准等数种不同压缩方法。
视频译码标准包含ITU-TH.261、ISO/IECMPEG-1视觉、ITU-TH.262或ISO/IECMPEG-2视觉、ITU-TH.263、ISO/IECMPEG-4视觉，及ITU-TH.264(也称为ISO/IECMPEG-4AVC),包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展，其全部全文以引用的方式并入。
此外，存在一种新的视频译码标准，即高效率视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。HEVC的新近草案可从http://phenix.it-sudparis.eu/jct/doc_end_user/ documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得(从2013年11月22日起)，其全文以引用的方式并入。对HEVC草案10的完全引用为布罗斯(Bross)等人的文件JCTVC-L1003，“高效率视频译码(HEVC)文本说明书草案10(HighEfficiencyVideoCoding(HEVC)TextSpecificationDraft10)”，ITU-TSG16WP3与ISO/IECJTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到2013年1月23日。
下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。实际上，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。此外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过技术方案的一或多个要素来体现本文中所揭示的任何方面。
尽管本文描述了特定方面，但这些方面的许多变化及排列落在本发明的范围内。尽管提到了优选方面之一些益处及优点，但本发明的范围不欲限于特定益处、用途或目标。实际上，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络及发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。具体实施方式及图式仅说明本发明，而不是限制由所附权利要求书及其等效物界定的本发明的范围。
附图说明若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同参考标号指示的元件。
视频译码系统
图1为说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指视频编码及视频解码。
如图1中所示，视频编解码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。目的地装置14可解码由源装置12产生的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置，包含桌上型计算机、笔记型(例如，膝上型等)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”衬垫、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车内计算机或类似者。在一些实例中，源装置12及目的地装置14可经装备以用于无线通信。
目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，信道16可包括使源装置12能够实时将经编码视频数据直接发射到目的地装置14的通信媒体。在此实例中，源装置12可根据例如无线通信协定等通信标准调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。所述通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它装备。
在另一实例中，信道16可对应于存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频数据的其它合适数字存储媒体。在另一实例中，信道16可包含存储由源装置12产生的经编码视频的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的类型的服务器。实例文件服务器包含网络服务器(例如，用于网站，等)、FTP服务器、网络附接存储(NAS)装置及本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接等)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。经编码视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。
本发明的技术不限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视发射、卫星电视发射、例如经由因特网的流式传输视频发射(例如，动态自适应HTTP流式传输(DASH)等)、用于存储于数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调制器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前俘获的视频数据的视频存档、从视频内容提供者接收视频数据的视频馈入接口及/或用于产生视频数据的计算机图形系统等源，或这些源的组合。
视频编码器20可经配置以编码所俘获的、预先俘获的或计算机产生的视频数据。可经由源装置12的输出接口22将经编码视频数据直接传输到目的地装置14。也可将经编码视频数据存储到存储媒体或文件服务器上以用于稍后由目的地装置14存取以进行解码及/或回放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由信道16接收经编码视频数据。经编码视频数据可包含由视频编码器20产生的表示所述视频数据的多种语法元素。所述语法元素可描述块及其它译码单元(例如，图片群组(GOP))的特性及/或处理。此些语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成在一起或在目的地装置14的外部。在一些实例中，目的地装置14可包含集成显示装置且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据。显示装置32可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据视频压缩标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。替代地，视频编码器20及视频解码器30可根据其它专有或业界标准来操作，所述标准例如ITU-TH.264标准(替代地被称作MPEG-4第10部分高级视频译码(AVC))，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-TH.263。
尽管图1的实例中未展示，但视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件及软件以处置对共同数据流或单独数据流中的音频及视频两者的编码。在一些实例中，如果适用的话，多路复用器-多路分用器单元可符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
再次，图1仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、经由网络流式传输或类似者。编码装置可编码数据且将数据存储到存储器，及/或解码装置可从存储器检索数据且解码数据。在许多实例中，通过并不彼此通信而是简单地编码数据到存储器及/或从存储器检索数据且解码数据的装置来执行编码及解码。
视频编码器20及视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施技术时，装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器在硬件中执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置，例如蜂窝式电话。
如上文简要提及，视频编码器20编码视频数据。视频数据可包括一或多个图片。图片中的每一者是形成视频的一部分的静态图像。在一些情况下，图片可被称为视频“帧”。当视频编码器20编码视频数据时，视频编码器20可产生位流。位流可包含形成视频数据的经译码表示的一连串位。位流可包含经译码图片及相关联的数据。经译码图片为图片的经译码表示。
为产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对所述图片执行编码操作时，视频编码器20可产生一系列经译码图片及相关联数据。所述相关联数据可包含视频参数集(VPS)、序列参数集、图片参数集、调适参数集及其它语法结构。序列参数集(SPS)可含有适用于零或零个以上图片序列的参数。图片参数集(PPS)可含有适用于零或零个以上图片的参数。调适参数集(APS)可含有适用于零个或零个以上图片的参数。APS中的参数可为比PPS中的参数更可能改变的参数。
为产生经译码图片，视频编码器20可将图片分割为大小相等的视频块。视频块可为样本的二维阵列。视频块中的每一者与树块相关联。在一些情况下，树块可称作最大译码单元(LCU)。HEVC的树块可广泛类似于例如H.264/AVC等先前标准的宏块。然而，树块不必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割来将树块的视频块分割成与CU相关联的像素块(因此名称为“树块”)。
在一些实例中，视频编码器20可将一图片分割成多个切片。所述切片中的每一者可包含整数数目个CU。在一些情况下，一切片包括整数数目个树块。在其它情况下，切片的边界可在树块内。
作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可称为“经译码切片”。
为产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包括表示树块的经编码版本的数据。
当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中的树块执行编码操作(即，编码)。举例来说，视频编码器20可按如下次序来编码切片的树块：跨越切片中的树块的最顶行从左到右进行，接着跨越树块的下一较低行从左到右进行，以此类推，直到视频编码器20已编码切片中的树块的每一者。
作为根据光栅扫描次序编码树块的结果，可已编码在特定树块的上方及左方的树块，但尚未编码在给定树块的下方及右方的树块。因此，当编码给定树块时，视频编码器20可能够存取通过编码在给定树块的上方及左方的树块而产生的信息。然而，当编码给定树块时，视频编码器20可能不能够存取通过编码在给定树块的下方及右方的树块而产生的信息。
为了产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割以将视频块划分为越来越小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子子块(sub-sub-block)，以此类推。经分割CU可为视频块被分割成与其它CU相关联的视频块的CU。未分割CU可为视频块未被分割成与其它CU相关联的视频块的CU。
位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次数。CU的视频块在形状上可为正方形。CU的视频块的大小(例如，CU的大小)范围可从8×8像素直到具有最大64×64个像素或更大的树块的视频块的大小(例如，树块的大小)。
视频编码器20可根据z扫描次序对树块的每一CU执行编码操作(例如，编码)。换句话说，视频编码器20可将左上CU、右上CU、左下CU及接着右下CU按所述次序编码。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序编码与经分割的CU的视频块的子块相关联的CU。换句话说，视频编码器20可按次序编码与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU，且接着编码与右下子块相关联的CU。
作为根据z扫描次序编码树块的CU的结果，可已编码在给定CU的上方、左上方、右上方、左方及左下方的CU。尚未编码在给定CU的右下方的CU。因此，当编码给定CU时，视频编码器20可能能够存取通过编码相邻于给定CU的一些CU而产生的信息。然而，当编码给定CU时，视频编码器20可能不能够存取通过编码相邻于给定CU的其它CU而产生的信息。
当视频编码器20编码未分割的CU时，视频编码器20可产生用于所述CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生用于CU的每一PU的经预测视频块。PU的经预测视频块可为样本块。视频编码器20可使用帧内预测或帧间预测来产生用于PU的经预测视频块。
当视频编码器20使用帧内预测来产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧内预测来产生CU的PU的经预测视频块，那么CU为经帧内预测的CU。当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可基于不同于与所述PU相关联的图片的一或多个图片的经解码样本产生所述PU的经预测视频块。如果视频编码器20使用帧间预测来产生CU的PU的预测视频块，那么所述CU为经帧间预测CU。
此外，当视频编码器20使用帧间预测来产生PU的预测视频块时，视频编码器20可产生所述PU的运动信息。用于PU的运动信息可指示所述PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为除与PU相关联的图片以外的图片。在一些情况下，PU的参考块也可称作PU的“参考样本”。视频编码器20可基于PU的参考块产生所述PU的经预测视频块。
在视频编码器20产生用于CU的一或多个PU的经预测视频块之后，视频编码器20可基于用于CU的所述PU的经预测视频块产生所述CU的残差数据。CU的残差数据可指示用于CU的PU的经预测视频块中的样本与CU的原始视频块之间的差。
此外，作为对未分割的CU执行编码操作的部分，视频编码器20可对CU的残差数据执行递归四叉树分割以将CU的残差数据分割成与CU的变换单元(TU)相关联的一或多个残差数据块(例如，残差视频块)。CU的每一TU可与不同残差视频块相关联。
视频译码器20可对与TU相关联的残差视频块应用一或多个变换以产生与TU相关联的变换系数块(例如，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。
在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化处理。量化大体上指代对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减小与变换系数中的一些或全部相关联的位深度。例如，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。
视频编码器20可使每一CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何量化与所述CU相关联的变换系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。
在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数块中的变换系数的语法元素集。视频编码器20可将例如上下文自适应二进制算术译码(CABAC)操作等熵编码操作应用于这些语法元素中的一些。还可使用例如内容自适应可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码或其它二进制算术译码等其它熵译码技术。
由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中的每一者可为含有NAL单元中的数据类型的指示及含有数据的字节的语法结构。举例来说，NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、补充增强信息(SEI)、存取单元分隔符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。
视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对所述位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语法元素。视频解码器30可基于从位流提取的语法元素重构视频数据的图片。基于语法元素重构视频数据的过程可与通过视频编码器20执行以产生语法元素的过程大体上互反。
在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生用于CU的PU的经预测视频块。此外，视频解码器30可反量化与CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行反变换以重构与CU的TU相关联的残差视频块。在产生经预测视频块且重构残差视频块之后，视频解码器30可基于经预测视频块及残差视频块重构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素重构CU的视频块。
视频编码器
图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，预测单元100可经配置以执行本发明中描述的技术中的任一者或全部。在另一实施例中，视频编码器20包含任选层间预测单元128，所述层间预测单元经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测单元100(例如，帧间预测单元121及/或帧内预测单元126)执行，在此情况下可省略层间预测单元128。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未展示)可经配置以执行本发明中描述的任何或所有技术。
出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
视频编码器20可执行视频切片内的视频块的帧内及帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。
在图2的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测单元100、残差产生单元102、变换单元104、量化单元106、反量化单元108、反变换单元110、重构单元112、滤波器单元113、经解码图片缓冲器114及熵编码单元116。预测单元100包含帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126及层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。此外，运动估计单元122与运动补偿单元124可高度集成，但出于解释的目的而在图2的实例中分开来表示。
视频编码器20可接收视频数据。视频编码器20可从各种源接收视频数据。举例来说，视频编码器20可从视频源18(图1)或另一源接收视频数据。视频数据可表示一系列图片。为编码视频数据，视频编码器20可对图片中的每一者执行编码操作。作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的部分，视频编码器20可对切片中的树块执行编码操作。
作为对树块执行编码操作的一部分，预测单元100可对树块的视频块执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测单元100可将树块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。
与CU相关联的视频块的大小范围可从8×8个样本直到最大64×64个样本或更大的树块大小。在本发明中，“N×N”及“N乘N”可互换使用来指代在垂直及水平尺寸方面的视频块的样本尺寸，例如，16×16样本或16乘16样本。一般来说，16×16视频块在垂直方向上具有十六个样本(y＝16)，且在水平方向上具有十六个样本(x＝16)。同样，N×N块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。
此外，作为对树块执行编码操作的一部分，预测单元100可产生用于所述树块的阶层式四叉树数据结构。例如，树块可对应于四叉树数据结构的根节点。如果预测单元100将树块的视频块分割成四个子块，那么根节点在所述四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测单元100将子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，其中每一者对应于与子子块中的一者相关联的CU。
四叉树数据结构的每一节点可含有用于对应树块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包含分裂旗标，所述分裂旗标指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。用于CU的语法元素可递归地定义，且可取决于CU的视频块是否分裂成子块。视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于用于对应树块的四叉树数据结构的数据。
视频编码器20可对树块中的每一未分割CU执行编码操作。当视频编码器20对未经分割CU执行编码操作时，视频编码器20产生表示未经分割CU的经编码表示的数据。
作为对CU执行编码操作的一部分，预测单元100可在CU的一或多个PU当中分割CU的视频块。视频编码器20及视频解码器30可支持各种PU大小。假定特定CU的大小为2N×2N，视频编码器20及视频解码器30可支持2N×2N或N×N的PU大小，及2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N或类似的对称PU大小的帧间预测。视频编码器20及视频解码器30还可支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。在一些实例中，预测单元100可执行几何分割以沿并不按直角与CU的视频块的侧部会合的边界在CU的PU间分割CU的视频块。
帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生用于所述PU的运动信息。运动补偿单元124可基于运动信息及除与CU相关联的图片(例如，参考图片)之外的图片的经解码样本产生PU的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可称作经帧间预测视频块。
切片可为I切片、P切片，或B切片。运动估计单元122及运动补偿单元124可取决于PU处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU是经帧内预测。因此，如果PU在I切片中，那么运动估计单元122及运动补偿单元124不对PU执行帧间预测。
如果PU在P切片中，那么含有所述PU的图片与被称作“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于其它图片的帧间预测的样本。当运动估计单元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片以找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本，例如样本块。运动估计单元122可使用多种度量来确定参考图片中的一组样本如何紧密地对应于PU的视频块中的样本。例如，运动估计单元122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定参考图片中的一组样本对应于PU的视频块中的样本的接近程度。
在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有参考块的参考图片的参考索引及指示PU与参考块之间的空间位移的运动向量。在各种实例中，运动估计单元122可以不同精确度产生运动向量。举例来说，运动估计单元122可以四分之一样本精确度、八分之一样本精确度或其它分数样本精确度产生运动向量。在分数样本精确度的情况下，参考块值可从参考图片中的整数位置样本值内插。运动估计单元122可将参考索引及运动向量作为PU的运动信息而输出。运动补偿单元124可基于由PU的运动信息识别的参考块而产生PU的经预测视频块。
如果PU处于B切片中，那么含有PU的图片可与被称作“列表0”及“清单1”的两个参考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组合相关联。
此外，如果PU在B切片中，那么运动估计单元122可对PU执行单向预测或双向预测。当运动估计单元122对PU执行单向预测时，运动估计单元122可搜索列表0或列表1的参考图片以找出用于所述PU的参考块。运动估计单元122可接着产生指示列表0或列表1中的含有参考块的参考图片的参考索引及指示PU与所述参考块之间的空间位移的运动向量。运动估计单元122可输出参考索引、预测方向指示符及运动向量作为所述PU的运动信息。预测方向指示符可指示参考索引指示列表0还是列表1中的参考图片。运动补偿单元124可基于由PU的运动信息指示的参考块来产生PU的经预测视频块。
当运动估计单元122针对PU执行双向预测时，运动估计单元122可搜索列表0中的参考图片以找到用于所述PU的参考块，且还可搜索列表1中的参考图片以找到用于所述PU的另一参考块。运动估计单元122可接着产生指示列表0及列表1中的含有参考块的参考图片的参考索引及指示所述参考块与PU之间的空间位移的运动向量。运动估计单元122可输出PU的参考索引及运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。
在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到熵编码单元116。实际上，运动估计单元122可参考另一PU的运动信息用信号表示PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实例中，运动估计单元122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示PU具有与相邻PU相同的运动信息。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU及运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量及运动向量差来确定PU的运动向量。通过在用信号表示第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能够使用较少位用信号表示第二PU的运动信息。
如以下参考图8到14进一步论述，预测单元100可经配置以通过执行图8到14中所说明的方法来译码(例如，编码或解码)PU(或任何其它增强层块或视频单元)。举例来说，帧间预测单元121(例如，经由运动估计单元122及/或运动补偿单元124)、帧内预测单元126或层间预测单元128可经配置以一起或分开来执行图8到14中所说明的方法。
作为对CU执行编码操作的部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中的其它PU的经解码样本来产生用于PU的预测数据。用于PU的预测数据可包含经预测视频块及各种语法元素。帧内预测单元126可对I切片、P切片以及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式以产生用于PU的预测数据的多个集合。当帧内预测单元126使用帧内预测模式来产生用于PU的预测数据的集合时，帧内预测单元126可在与帧内预测模式相关联的方向及/或梯度上跨PU的视频块从相邻PU的视频块扩展样本。假定对于PU、CU及树块采用从左到右、从上到下的编码次序，相邻PU可在所述PU的上方、右上方、左上方或左方。帧内预测单元126可取决于PU的大小而使用各种数目个帧内预测模式，例如33个方向性帧内预测模式。
预测单元100可从由运动补偿单元124针对PU产生的预测数据或由帧内预测单元126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测单元100基于预测数据集合的速率/失真度量来选择用于PU的预测数据。
如果预测单元100选择由帧内预测单元126产生的预测数据，那么预测单元100可用信号表示用于产生PU的预测数据的帧内预测模式，例如选定帧内预测模式。预测单元100可以各种方式用信号表示选定帧内预测模式。举例来说，有可能所选帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，预测单元100可产生用以指示选定帧内预测模式与相邻PU的帧内预测模式相同的语法元素。
如上文所论述，视频编码器20可包含层间预测单元128。层间预测单元128经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，EL中的当前块)。此预测可称作层间预测。层间预测单元128利用预测方法减少层间冗余，由此改善译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残差预测。层间帧内预测使用基础层中的共置块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。下文更详细地论述层间预测方案中的每一者。
在预测单元100选择用于CU的PU的预测数据之后，残差产生单元102可通过从CU的视频块减去CU的PU的预测视频块来产生用于CU的残差数据。CU的残差数据可包含对应于CU的视频块中的样本的不同样本分量的2D残差视频块。举例来说，残差数据可包含对应于CU的PU的经预测视频块中的样本的明度分量与CU的原始视频块中的样本的明度分量之间的差的残差视频块。此外，CU的残差数据可包含对应于CU的PU的经预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残差视频块。
预测单元100可执行四叉树分割以将CU的残差视频块分割成子块。每一未划分残差视频块可与CU的不同TU相关联。与CU的TU相关联的残差视频块的大小及位置可或可不基于与CU的PU相关联的视频块的大小及位置。被称为“残差四叉树”(RQT)的四叉树结构可包含与残差视频块中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换单元104可通过将一或多个变换应用到与CU的每一TU相关联的残差视频块而产生用于所述TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的2D矩阵。变换单元104可将各种变换应用到与TU相关联的残差视频块。举例来说，变换单元104可将离散余弦变换(DCT)、方向性变换或概念上类似的变换应用到与TU相关联的残差视频块。
在变换单元104产生与TU相关联的变换系数块之后，量化单元106可量化所述变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值而量化与CU的TU相关联的变换系数块。
视频编码器20可以各种方式使QP值与CU相关联。举例来说，视频编码器20可对与CU相关联的树块执行速率-失真分析。在速率-失真分析中，视频编码器20可通过对树块执行多次编码操作而产生所述树块的多个经译码表示。在视频编码器20产生树块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率及失真量度的树块的经译码表示中的CU相关联时，视频编码器20可用信号表示所述给定QP值与CU相关联。
反量化单元108及反变换单元110可分别将反量化及反变换应用于变换系数块以从变换系数块重构残差视频块。重构单元112可将经重构残差视频块添加到来自由预测单元100产生的一或多个经预测视频块的对应样本，以产生与TU相关联的经重构视频块。通过以此方式重构CU的每一TU的视频块，视频编码器20可重构CU的视频块。
在重构单元112重构CU的视频块之后，滤波器单元113可执行解块操作以减小与所述CU相关联的视频块中的成块假象。在执行一或多个解块操作之后，滤波器单元113可将CU的经重构视频块存储在经解码图片缓冲器114中。运动估计单元122及运动补偿单元124可使用含有经重构视频块的参考图片来对后续图片的PU执行帧间预测。此外，帧内预测单元126可使用经解码图片缓冲器114中的经重构视频块对处于与CU相同图片中的其它PU执行帧内预测。
熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收变换系数块且可从预测单元100接收语法元素。当熵编码单元116接收所述数据时,熵编码单元116可执行一或多个熵编码操作以产生经熵编码数据。举例来说，视频编码器20可对所述数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作，或另一类型的熵编码操作。熵编码单元116可输出包含经熵编码数据的位流。
作为对数据执行熵编码操作的部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，那么上下文模型可指示特定二进制数具有特定值的概率的估计。在CABAC的上下文中，术语“二进制数”用以指语法元素的二进制化版本的位。
视频解码器
图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162及/或帧内预测单元164可经配置以执行本发明中描述的技术中的任一者或全部。在一个实施例中，视频解码器30可任选地包含层间预测单元166，所述层间预测单元经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测单元152(例如，运动补偿单元162及/或帧内预测单元164)执行，在此情况下可省略层间预测单元166。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的任何或所有技术。
在图3的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码单元150、预测单元152、反量化单元154、反变换单元156、重构单元158、滤波器单元159及经解码图片缓冲器160。预测单元152包含运动补偿单元162、帧内预测单元164及层间预测单元166。在一些实例中，视频解码器30可执行与关于图2的视频编码器20描述的编码遍次大体互逆的解码遍次。在其它实例中，视频解码器30可包含较多、较少或不同的功能组件。
视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行剖析操作。作为对位流执行剖析操作的结果，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的一部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测单元152、反量化单元154、反变换单元156、重构单元158及滤波器单元159可执行重构操作，所述重构操作基于从位流提取的语法元素产生经解码视频数据。
如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEINAL单元等等。作为对位流执行剖析操作的部分，熵解码单元150可执行剖析操作，所述剖析操作从序列参数集NAL单元提取且熵解码序列参数集、从图片参数集NAL单元提取且熵解码图片参数集、从SEINAL单元提取且熵解码SEI数据等等。
此外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的部分，熵解码单元150可执行剖析操作，所述剖析操作从经译码切片NAL单元提取且熵解码经译码切片。经译码切片中的每一者可包含切片标头及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作(例如，CABAC解码操作)，以恢复切片标头。
作为从经译码切片NAL单元提取切片数据的部分，熵解码单元150可执行从切片数据中的经译码CU提取语法元素的剖析操作。所提取的语法元素可包含与变换系数块相关联的语法元素。熵解码单元150可接着对语法元素中的一些执行CABAC解码操作。
在熵解码单元150对未分割的CU执行剖析操作之后，视频解码器30可对未分割的CU执行重构操作。为对未分割的CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构与CU相关联的残差视频块。
作为对TU执行重构操作的部分，反量化单元154可反量化(例如，解量化)与TU相关联的变换系数块。反量化单元154可以类似于针对HEVC所提议或由H.264解码标准定义的反量化过程的方式来反量化变换系数块。反量化单元154可使用由视频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定逆量化单元154应用的反量化的程度。
在反量化单元154反量化变换系数块之后，反变换单元156可产生用于与变换系数块相关联的TU的残差视频块。反变换单元156可将反变换应用到变换系数块以便产生所述TU的残差视频块。举例来说，反变换单元156可将反DCT、反整数变换、反卡忽南-拉维(Karhunen-Loeve)变换(KLT)、反旋转变换、反方向性变换或另一反变换应用于变换系数块。在一些实例中，反变换单元156可基于来自视频编码器20的信令而确定适用于变换系数块的反变换。在这些实例中，反变换单元156可基于在用于与变换系数块相关联的树块的四叉树的根节点处的用信号表示的变换来确定反变换。在其它实例中，反变换单元156可从例如块大小、译码模式或类似者等一或多个译码特性推断反变换。在一些实例中，反变换单元156可应用级联的反变换。
在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而改进PU的经预测视频块。用于将用于以子样本精度进行运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据所接收的语法信息而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生经预测视频块。
如以下参考图8到14进一步论述，预测单元152可通过执行图8到14中说明的方法来译码(例如，编码或解码)PU(或任何其它增强层块或视频单元)。举例而言，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以一起或分开来执行图8到14中说明的方法。
如果PU是使用帧内预测编码，那么帧内预测单元164可执行帧内预测以产生用于PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU的帧内预测模式。位流可包含帧内预测模块164可用以确定PU的帧内预测模式的语法元素。
在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，可能有可能当前PU的帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可随后使用帧内预测模式基于在空间上相邻的PU的视频块而产生用于PU的预测数据(例如，经预测样本)。
如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，EL中的当前块)。此预测可称作层间预测。层间预测单元166利用预测方法减少层间冗余，由此改进译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测及层间残差预测。层间帧内预测使用基础层中的共置块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。下文更详细地论述层间预测方案中的每一者。
重构单元158可使用与CU的TU相关联的残差视频块以及CU的PU的经预测测视频块(例如，帧内预测数据或帧间预测数据，如果适用)来重构CU的视频块。因此，视频解码器30可基于位流中的语法元素产生经预测视频块及残差视频块，且可基于所述经预测视频块及所述残差视频块产生视频块。
在重构单元158重构CU的视频块之后，滤波器单元159可执行解块操作以减小与所述CU相关联的成块假象。在滤波器单元159执行解块操作以减少与所述CU相关联的成块假影后，视频解码器30可将CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片用于随后运动补偿、帧内预测及在显示装置(例如，图1的显示装置32)上呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测。
可缩放视频译码(SVC)的结构
图4是展示在不同维度中的实例可缩放性的概念图。如上文所论述，HEVC的可缩放视频译码扩展(SVC)允许将视频信息提供于层中。每一层可提供对应于不同可缩放性的视频信息。在HEVC中，在三个维度中启用可缩放性：时间(temporal、time)可缩放性、空间可缩放性及质量可缩放性(有时称为信噪比或SNR可缩放性)。举例来说，在时间维度中，可通过时间可缩放性(T)支持7.5Hz、15Hz、30Hz等的帧率。当支持空间可缩放性(S)时，可启用不同分辨率，例如QCIF、CIF、4CIF等。对于每一特定空间分辨率及帧率，可添加SNR(Q)层以改善图片质量。
一旦已以此种可缩放方式编码了视频内容，就可使用提取器工具根据应用要求调适实际递送的内容，所述要求可取决于例如客户端或发射信道。在图4中所示的实例中，每一立方体含有具有相同帧率(时间层级)、空间分辨率及SNR层的图片。举例来说，立方体402与404含有具有相同分辨率及SNR但具有不同帧率的图片。立方体402与406表示具有相同分辨率(例如，在相同空间层中)但具有不同SNR及帧率的图片。立方体402与408表示具有相同SNR(例如，在相同质量层中)但具有不同分辨率及帧率的图片。立方体402与410表示具有不同分辨率、帧率及SNR的图片。可通过在任何维度中添加那些立方体(图片)来实现更好的表示。当启用两个、三个或甚至更多可缩放性时，支持组合式可缩放性。举例来说，通过组合立方体402中的图片与立方体404中的图片，可实现较高帧率。通过组合立方体404中的图片与立方体406中的图片，可实现更好的SNR。
根据SVC规范，具有最低空间及质量层的图片与H.264/AVC兼容，且最低时间层级处的图片形成时间基础层，其可用较高时间层级处的图片增强。除了H.264/AVC兼容层之外，还可添加若干空间及/或SNR增强层以提供空间及/或质量可缩放性。SNR可缩放性还称为质量可缩放性。每一空间或SNR增强层自身可在时间上可缩放，时间可缩放性结构与H.264/AVC兼容层相同。对于一个空间或SNR增强层，其所取决于的较低层还称为那一特定空间或SNR增强层的基础层。
图5是展示实例可缩放视频经译码位流的概念图。在图5中所示的实例SVC译码结构中，具有最低空间及质量层的图片(层502及层504中的图片，其提供QCIF分辨率)与H.264/AVC兼容。其中，具有最低时间层级的那些图片形成时间基础层502，如图5中所示。此时间基础层(例如，层502)可用较高时间层级(例如层504)的图片增强。除了H.264/AVC兼容层之外，还可添加若干空间及/或SNR增强层以提供空间及/或质量可缩放性。举例来说，增强层可为具有与层506相同的分辨率的CIF表示。在图5中所示的实例中，层508为SNR增强层。如所述实例中所展示，每一空间或SNR增强层自身可为在时间上可缩放的，具有与H.264/AVC相容层相同的时间可缩放性结构。而且，增强层可增强空间空间分辨率及帧率两者。举例来说，层510提供4CIF增强层，其进一步将帧率从15Hz增加到30Hz。
图6是展示可缩放视频经译码位流600中的实例存取单元的概念图。如图6中所示，在一些实施例中，在SVC的上下文中，相同时间实例中的经译码切片在位流次序上是连续的且形成一个存取单元。那些SVC存取单元由此遵循可能不同于显示次序的解码次序。所述解码次序可由例如时间预测关系决定。举例来说，由用于帧0(例如，用于如图5中所说明的帧0)的所有四个层612、614、616及618组成的存取单元610可继之以由用于帧4(例如，用于图5中的帧4)的所有四个层622、624、626及628组成的存取单元620。用于帧2的存取单元630可能无序地跟在后边，至少从视频回放角度是这样。然而，在编码或解码帧2时，可使用来自帧0及4的信息，且因此可在帧2之前编码或解码帧4。用于帧0与4之间的剩余帧的存取单元640及650可跟在后边，如图6中所示。
SVC的一些功能性可从H.264/AVC继承。与先前可缩放标准相比，SVC的许多方面(例如阶层式时间可缩放性、层间预测、单环路解码及灵活输送接口)可从H.264/AVC继承。下文更详细地描述SVC的这些方面中的每一者。
可缩放视频译码(SVC)的特征
单环路解码
为了实现低复杂度解码器，在SVC中使用单环路解码。在单环路解码的情况下，可使用单个运动补偿环路来解码每一支持的层。为了实现此，仅允许针对增强层宏块使用层间帧内预测，对于增强层宏块，共置参考层信号经帧内译码。进一步需要用以对较高层进行层间预测的所有层使用受约束帧内预测(CIP)(例如，经帧内译码而不参考来自相邻经帧间译码MB的任何样本)进行译码。
层间预测
SVC引入基于纹理、残差及运动的对空间及SNR可缩放性的层间预测。可将SVC中的空间可缩放性一般化为两个层之间的任何分辨率比率。可通过粗糙粒度可缩放性(CGS)或中等粒度可缩放性(MGS)来实现SNR可缩放性。在SVC中，两个空间或CGS层属于不同相依层(由NAL单元标头中的dependency_id指示)，而两个MGS层可在相同的相依层中。一个相依层包含具有从0到较高值的quality_id的对应于质量增强层的质量层。在SVC中，利用层间预测方法来减少层间冗余，如下文所论述。
层间帧内预测：使用层间帧内预测的译码模式在SVC中称为“BL内(IntraBL)”模式。以实现单环路解码，仅在作为受约束帧内模式而译码的基础层中具有共置宏块(MB)的MB才可使用层间帧内预测模式。受约束帧内模式MB经帧内译码，而不参考来自相邻的经帧间译码MB的任何样本。
层间残差预测：如果指示(或译码)MB使用残差预测，那么用于层间预测的基础层中的共置MB必须为帧间MB，且可根据空间分辨率比率对其残差进行上取样。增强层与基础层之间的残差经译码。即，增强层的当前帧的重构等于以下各者的总和：增强层的经解量化的系数re、来自增强层的时间预测Pe，及基础层的量化归一化残差系数rb。
I ^ e = r e + P e + r b - - - ( 1 )
层间运动预测：可缩放共置基础层运动向量以产生用于增强层中的MB或MB分区的运动向量的预测值。另外，存在一种MB类型(被命名为基础模式)，其针对每一MB发送一个旗标。如果此旗标为真且对应的基础层MB不是帧内，那么运动向量、分割模式及参考索引全部从基础层导出。
HEVC中的帧内预测
对于帧内预测，使用来自邻近预测单元(PU)的先前经解码边界样本来预测当前视频单元的值。举例来说，在HEVC中，35个帧内预测模式可用，其在图7A中说明为帧内预测模式750。针对从4×4直到32×32的PU大小(例如，正方形)定义具有33个不同方向定向的方向预测。可能的预测方向756展示于图7A中。或者，还可使用平面预测752(例如，假定振幅表面，其中水平及垂直斜坡从边界导出)及DC预测754(例如，平坦表面，值匹配边界的均值)。对于色度，可明确地用信号表示水平、垂直、平面及DC预测模式，或色度预测模式可指示为与明度预测模式相同。在一个实施例中，为避免冗余信令，当前四个选择中的一者被指示且与明度预测模式相同时，改为应用Intra_Angular“34”模式。
在图7B中所示的实例中，使用图7A中所示的方向模式“29”(其方向由箭头766指示)对当前PU762进行帧内预测。在此实例中，基于经解码PU中的边界样本764中的像素或样本来预测当前PU762中的像素或样本。PU762中的像素或样本的值可计算为边界样本764中的一或多个像素或样本的加权平均值。取决于预测方向的角度，向用以预测特定像素的一或多个像素或样本中的每一者给出的权重可变化。
参考样本替代：相邻参考样本不可用于切片或图块边界处。此外，当启用损失-复原特征(例如，受约束帧内预测(CIP))时，也认为任何经帧间译码块内部的相邻参考样本不可用(例如，以避免使可能有讹误的先前经解码图片数据将错误传播到预测信号中)。尽管在H.264/MPEG-4AVC中对于此类情况仅允许Intra_DC预测模式，但HEVC允许在用相邻可用参考样本值替代不可用参考样本值(例如，在切片或图块边界处的值，或归因于经帧间译码而标记为不可用的值)之后使用其它帧内预测模式。当所有相邻样本被标记为不可用于帧内预测时，用值(1<<(BitDepthY-1))替代此类相邻样本的值，其中BitDepthY为明度信号的位深度。
用于HEVCSVC及3DV扩展的一般化残差预测
图7C说明根据一般化残差预测(GRP)模式使用共置基础层块的经帧间预测残差来预测增强层块的残差。如图7C中所说明，在GRP模式中，共置基础层块的经帧间预测残差可用以预测增强层中的当前块的残差。举例来说，此方法可应用于帧间CU及跳过模式CU。此种残差预测可用于可缩放视频译码及3D视频译码。此方法的架构展示于图7C中，其中说明单向预测的情况。
在图7C中，块744(Be)及块748(Bb)分别指示增强层图片742中的当前块及其在基础层图片746中的共置基础层块。块724(Pe0)指示通过使用运动向量706获得的对块744(Be)的时间预测。类似地，块728(Pb0)表示通过在经上取样(例如，如果必要)基础层参考图片726中使用相同运动向量706而获得的对块748(Bb)的时间预测。可通过例如计算块748与728之间的差来获得基础层块Rb0的帧间预测残差，如由以下方程式(2)所示：
Rb0＝(Bb-Pb0)(2)
考虑对于块744(Be)的时间预测724(Pe0)，可如下获得用于块744(Be)的最终单向预测P：
P＝Pe0+w·(Bb-Pb0)(3)
其中w为加权因子，其可例如采用值0、0.5或1。
在一些情况下(例如对于P帧)，方程式(3)的以下变型有时更为有效：
P＝Bb+w·(Pe0-Pb0)(4)
其中w可等于例如0.5。因此，在一个实施例中，上文列出的四个加权模式(例如，w在方程式(3)中为0、0.5或1，且w在方程式(4)中为0.5)可用于GRP模式。
在一些实施例中，在CU层级作为加权索引用信号表示加权因子w。加权索引0、1、2及3(或以不同次序)可用以分别指示w在方程式(3)中等于0、0.5及1且在方程式(4)中等于0.5的加权模式。常规CABAC模式中的截断一元码用于所述信令。在一些实施例中，加权因子w可为不同于上文列出的那些值的值。加权因子w可经选择以例如对于方程式(3)或方程式(4)最小化计算复杂度或改善译码效率。
单个MC内插GRP
当图7C的运动向量706指向子像素位置时，可在运动补偿(MC)期间将内插滤波应用于增强层图片及基础层图片两者以获得下文展示的残差(Pe0-w·Pb0)，此可显著增大译码复杂度。为降低GRP模式的计算复杂度及存储器带宽要求，可执行单个MC内插。举例来说，方程式(3)可重写为如下方程式(5)：
P＝(Pe0-w·Pb0)+w·Bb(5)
因为Pe0与Pb0共享相同运动，因此可直接将MC内插应用于增强层与基础层图片之间的差信号(Pe0-w·Pb0)以避免执行两次相同的MC内插过程。因此，由于所执行的MC内插过程的数目从二减小到一，因此计算复杂度及存储器存取两者皆得以减小。可在整个图片层级或逐块地动态产生此差信号(Pe0-w·Pb0)。
用于GRP的组合式上取样及MC内插
在一个实施例中，对于Pb0组合上取样与MC内插过程的方法可减小存储器带宽要求及计算复杂度。
在另一实施例中，上取样操作还可在下文描述的方法中执行。举例来说，如果up(·)与int(·)分别表示上取样与MC内插操作，那么方程式(3)可重写为：
P＝int(Refe0)+w·(up(Recb)-int(up(Refb0)))(6)
其中Refe0与Refb0指示在整数位置处的参考增强块及参考基础层块，Recb表示经重构的共置基础层块。在方程式(6)中，int(Refe0)、up(Recb)及(up(Refb0))分别对应于方程式(3)中的Pe0、Bb及Pb0。在一些实施例中，8抽头上取样滤波器与8抽头内插滤波器分别用于up(·)与int(·)。考虑通常用于上取样及内插的边界填补，确定方程式(6)中的项int(up(Refb0)所需的存储器存取可能相当高，因此，在那些实施例中，两个8抽头滤波器级联。
为减少存储器存取，可使用两个级联的8抽头滤波器int(up(·))与一个单个8抽头滤波器iup(·)。对于基础层参考块Refb0，基于增强层与基础层之间的分辨率比率而将增强层运动向量MVeo(例如，图7C的运动向量706)缩放到目标准确度。接着，基于经缩放MVeo而应用int(up(·))。在2x与1.5x可缩放性的情况下，常常需要用于明度分量的具有1/8像素准确度及1/6像素准确度的iup()。此外，在一些实施例中，可实施16相位组合式上取样及MC内插滤波器。
用于帧内块的一般化残差预测
GRP还可应用于帧内块。在此情况下，上文论述之方程式中的Pe0与Pb0将分别指示增强层图片与经上取样基础层图片中的当前块的帧内预测，其中两个帧内预测Pe0与Pb0的方向相同。
或者，可首先在差域中执行帧内预测，且稍后可加回基础层像素。举例来说，可首先计算经重构增强层图片Ie与基础层图片Ib之间的差分图片(we·Ie-wb·Ib)，且接着可将帧内预测直接应用于差分图片。注意，we＝1的情况对应于方程式(5)，而we＝wb对应于方程式(4)。
受约束一般化残差预测
当将GRP应用于帧间块时，可存取三个差块(Pe、Pb及Bb)以形成每一方向的预测(例如，取决于块是经单向预测还是双向预测)。此增大存储器存取的带宽，这可能减小效能及/或增大GRP模式的计算成本。因此，为缩小GRP经译码块的运动补偿期间的存储器存取带宽，若干约束可施加于此类块。
当使用固定抽头滤波器时，通过滤波器的长度确定边界填补大小。举例来说，对于8抽头上取样滤波器，填补大小在每一方向上可为7个像素。因此，当通过此类滤波器对32×32块进行上取样时，经填补块将为39×39，这将存储器存取增大约50％(39*39除以32*32)。另一方面，当通过相同滤波器对4×4块进行上取样时，经填补块将为11×11，这大于存储器存取中的七倍增大(11*11除以4*4)。因此，在特定情形中，将块的GRP限定为小于某一阈值可为有利的。
在一个实施例中，对于小于阈值大小的块停用(例如，根本不使用)或部分地停用(例如，一定程度上限制，例如仅允许单向预测块以GRP模式译码)GRP模式。阈值大小可经预定义或可在任何层级(例如序列层级、图片群组(GOP)层级、图片层级或切片层级)处在位流中用信号表示。当对于一组特定块(例如，小于8×8的双向预测块)停用GRP模式时，不需要译码用于这些块的GRP加权信息。举例来说，当仅对于小于16×16的块的单向预测允许GRP模式时，对于具有8×8大小的双向预测块无需用信号表示GRP加权索引。另一方面，对于8×8单向预测块，可用信号表示GRP加权索引。因此，当至少部分地停用GRP模式时，可相应地修改用于这些块的GRP加权信息的熵编码以反映一组减少的GRP加权索引。替代地或另外，对于停用GRP模式的块，可用信号表示GRP加权信息，但所述GRP加权信息可指示GRP模式被停用或可被限定为指示GRP模式被停用的一或多个值。
在一些情况下，对于较小块，不同的GRP加权信息(例如，GRP加权因子)仍然可能导致类似失真，但增大用于区分GRP加权信息的信令成本。因此，在一些实施例中，对于小于阈值大小的块，可减少可从中选出GRP加权因子的值的数目。举例来说，对于大于阈值大小的块(例如，32×32块)，可从值0、0.5及1中选出加权因子w，且对于小于阈值大小的块(例如，8×8块)，可从值0及1中选出加权因子w。
在另一实施例中，对于双向经帧间预测块不允许(例如，停用)GRP模式。在一些实施例中，可在预测方向之前用信号表示GRP加权索引。在此类实施例中，帧间块中的非零GRP加权索引指示所述块经单向预测，且因此无需译码指示所述块是经单向预测还是双向预测的旗标。换句话说，可移除帧间方向旗标的冗余，因为可仅用信号表示来自列表L0的单向运动向量或来自列表L1的单向运动向量(因为对于双向预测块将不用信号表示非零GRP加权索引)。移除帧间方向旗标译码中的冗余需要改变旗标编码及剖析过程。在一些实施例中，如果需要保持帧间方向旗标译码不变，那么仍可应用GRP模式，但对于双向预测块仅使用可能的两个方向中的一个方向。举例来说，如果允许用信号表示双向预测，那么可配合GRP模式仅使用来自L0的运动向量或来自L1的运动向量。待用于双向运动向量的方向的选择可至少用信号表示为在某一标头(例如图片参数集(PPS)、序列参数集(SPS)、切片)处的高层级旗标，或其可在块层级(例如最大译码单元(LCU)、译码单元(CU)，或预测单元(PU)层级)处用信号表示。
图8是说明根据本发明的实施例的用于译码视频信息的方法800的流程图。图8中所说明的步骤可由编码器(例如，如图2中所示的视频编码器)、解码器(例如，如图3中所示的视频解码器)或任何其它组件执行。为方便起见，所述步骤描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法800开始于步骤801处。在步骤805中，译码器确定当前块是否小于阈值大小。如上文所论述，阈值大小可经预定义或可以任何层级在位流中用信号表示。如果确定当前块不小于阈值大小，那么在步骤820处以GRP模式译码当前块。否则，译码器在步骤810处进一步检查当前块是否是经双向预测(例如，所述块是否具有在每一方向上的运动向量)。如果确定当前块不是经双向预测，那么在步骤820处以GRP模式译码当前块。如果确定当前块是经双向预测，那么在步骤815处，以受限GRP模式(例如，运动向量中的仅一者用于GRP模式)译码所述块或停用GRP模式且在不使用GRP的情况下译码(例如，通过使用正常时间预测)当前块。方法800在步骤825处结束。
如上文所论述，图2的视频编码器20或图3的视频解码器30的一或多个组件可用以实施本发明中所论述的技术中的任一者，例如确定当前块是否小于阈值大小或其是经双向预测还是单向预测，及以GRP模式或例如时间预测等其它模式译码当前块。
在另一实例中，如果在帧间预测方向之后用信号表示GRP加权索引，那么将仅当所述预测方向指示块经单向预测时才用信号表示GRP加权索引。对于双向预测块，在用信号表示双向预测(例如，意味着对于双向预测块停用GRP模式)而不用信号表示GRP加权索引的情况下，可推断GRP模式关闭。或者，对于双向运动向量可仍用信号表示GRP加权索引，但其可等于零，从而指示不应用GRP模式。在又一实施例中，可对于双向用信号表示任何GRP加权索引，但在双向情况中仅可使用两个可能方向中的一个方向，如上文所描述。在此类实施例中，使用L0还是L1可由旗标指示，如上文所描述。
在另一实施例中，可对于单向预测块停用或部分地停用GRP。此外，可组合以上实施例，使得对于大小低于用信号表示或预定义的阈值的双向预测或单向预测块停用或部分地停用GRP模式。
上文所论述的技术及限定还可应用于其它层间纹理预测方法，例如差域预测方法及组合预测方法。
用于帧内GRP的参考样本替代
在某些情形中，当在差域中应用帧内预测(例如，帧内GRP)时，直接进行参考样本替代可能是不利的，如上文在HEVC标准(例如，用1<<(BitDepthY-1)替代不可用值)中所论述。举例来说，对于8位视频译码，在差分图片定义为(Ie-Ib)的情况下，使用等于128的1<<(BitDepthY-1)来进行参考样本替代为低效的，因为对于帧内GRP，残差的像素值正常情况下应为零。
因此，为改善译码性能，对于帧内GRP或差域帧内预测，改为基于增强层的位深度及产生差分图片的方式来进行参考样本替代。在一个实施例中，如果增强层的位深度为BD，那么用于参考样本替代的值为：
(we-wb)·2BD-1(7)
在此类实施例中，对于8位视频译码，用于差域帧内预测中的参考样本替代的值在we＝wb＝1时等于0，且在we＝1且wb＝0.5时等于64。
在另一实施例中，参考样本替代确定为：
(we-wb)·2BD-1+C(8)
其中C为常数，例如预定义常数等。在此类实施例中，对于8位视频译码，用于差域帧内预测中的参考样本替代的值在we＝wb＝1且C＝0时等于0。在另一实例中，所述值在we＝1、wb＝0.5且C＝0时等于64。在另一实例中，所述值在we＝1、wb＝1且C＝128时等于128。
图9是说明根据本发明的实施例的用于译码视频信息的方法900的流程图。图9中所说明的步骤可由编码器(例如，如图2中所示的视频编码器)、解码器(例如，如图3中所示的视频解码器)或任何其它组件执行。为方便起见，方法900描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法900开始于块901处。在框905中，译码器确定相邻参考样本是否不可用(例如，因为相邻块是经帧间译码或因为当前块处于切片/图块边界处)。如果确定相邻参考样本并非不可用，那么译码器前进到框915，且使用帧内GRP译码当前块。如果译码器确定相邻参考样本不可用，进行在框910处，译码器基于当前层的位深度及产生差分图片的方式执行参考样本替代。举例来说，译码器可使用方程式(7)及(8)中所示的式子来确定应替换不可用参考样本的值。在执行参考样本替代之后，译码器前进到框915以在框915处使用帧内GRP译码当前块。方法900在框920处结束。
如上文所论述，图2的视频编码器20或图3的视频解码器30的一或多个组件可用以实施本发明中所论述的技术中的任一者，例如确定相邻参考样本是否不可用，基于位深度及产生差分图片的方式执行参考样本替代，及/或使用帧内GRP译码当前块。
用于GRP的组合式上取样及MC内插
下文描述的方法的实施例有利地：(1)支持大于仅2x及1.5x的可缩放性；(2)避免实际上计算成本高的具有1/6像素准确度的组合式上取样及MC内插；及/或(3)避免使用显著不同于用于BL内模式的上取样滤波器的组合式上取样及MC内插滤波器(其在实际实施方案中并不优选)。在下文的论述中，组合式上取样及MC内插滤波器可称为组合式滤波器。
增强运动向量(MV)缩放
为改善软件及硬件兼容性，可将增强层MV缩放到2-n的准确度，其中n为整数。所述缩放是基于增强层的MV准确度及增强层与基础层之间的分辨率比率。
在一个实施例中，增强层MV始终经缩放到1/16准确度。在另一实施例中，在某一层级处在位流(例如序列参数集(SPS)、图片参数集(PPS)及切片标头)中用信号表示MV缩放的准确度。
组合式滤波器的相位量化
一般来说，在运动向量准确度为2-n的情况下，具有2n个相位的滤波器组用作内插滤波器。值n可经预定义或在位流中用信号表示。基于分数相位的量化准确度确定上取样滤波器组中的滤波器数目及组合式滤波器。上取样滤波器的分数相位可取决于两层之间的空间比率。组合式滤波器的分数相位可取决于运动向量及两层之间的空间比率两者。
在一个实施例中，组合式滤波器及上取样滤波器的分数相位经量化到相同准确度。量化准确度值可为预定义值，例如1/8、1/16，等。另外或替代地，组合式滤波器与上取样滤波器的明度及色度分量两者的相位可用相同准确度量化。另外或替代地，组合式滤波器及/或上取样滤波器的相位数目可在某一层级处在位流(例如在SPS、PPS及切片标头中)中用信号表示。
可分离的组合式滤波器
如上文所提及，组合式滤波器可实施为上取样滤波器与MC内插滤波器的组合。此类设计在解码器侧可为优选的。然而，分离的上取样与MC内插滤波器有时在编码器侧可为优选的。然而，组合式滤波器可能并非始终可分离。举例来说，8抽头16相位滤波器及8抽头4相位滤波器可组合成8抽头8相位滤波器，其可产生与两个级联的滤波器相同或类似的结果。在此情况下，组合式滤波器可能不为可分离的。
在一个实施例中，使用可分离的组合式滤波器。在此类实施例中，组合式滤波器可分离成级联的上取样与MC内插滤波器。举例来说，8抽头组合式滤波器可分离成两个4抽头滤波器，其中两个级联的4抽头滤波器的响应与组合式8抽头滤波器的响应相同。以此方式，编码器可使用两个分离的滤波器，而解码器可使用组合式滤波器。
用于层间纹理预测的组合式滤波器与上取样滤波器的统一
除了组合式滤波器之外，还可使用其它上取样及内插滤波器用于可缩放视频译码(例如，SVC、SHVC)，例如用于层间纹理预测或BL内模式，及用于基础层及增强层两者的MC内插。实际上，所有这些预测工具共享相同滤波器是有利的。
在一个实施例中，用于纹理预测(BL内模式)的组合式滤波器与上取样滤波器共享相同滤波器系数。另外，当组合式滤波器与上取样滤波器具有相同相位量化准确度(如上文所描述)时，可由组合式滤波器及上取样滤波器两者使用完全相同的滤波器组。在另一实施例中，组合式滤波器与MC内插滤波器共享相同滤波器系数。或者，所有相关译码工具共享相同滤波器系数。此外，这些滤波器系数可自适应地在某一层级处在位流中(例如在SPS、PPS、调适参数集(APS)或切片标头中)用信号表示。
在一些实施例中，通过仅使用滤波器的相位的子组，相同滤波器可用于各种操作。举例来说，16相位滤波器可用于上取样及MC内插两者，其中所有16个相位用于上取样，但仅4个相位用于MC内插。
在GRP模式中用于明度及/或色度的双线性内插滤波器
为进一步减小带宽使用率，双线性MC内插滤波器可应用于明度分量、色度分量或两者。在一个实施例中，基础层块(仅明度、仅色度，或两者)首先经上取样，且接着经双线性内插(当相关运动向量指向子像素位置时)。在一个实施例中，可在一个方向(例如，x方向)上先于在另一方向(例如，y方向)上执行双线性内插。在另一实施例中，执行内插的次序调换。当双线性内插应用于经上取样基础层块时，双线性内插还可应用于增强块(仅明度、仅色度，或两者)。在一个实施例中，如果基础层及增强层块(仅明度、仅色度或两者)两者皆经双线性内插，那么单个双线性内插可直接应用于基础层块与增强层块之间的差，而非对基础层块及增强层块分开地执行内插。
在另一实施例中，上取样(例如，通过使用4抽头滤波器、6抽头滤波器、8抽头滤波器，等)与双线性MC内插滤波器组合以形成组合式上取样及MC内插滤波器。此组合式滤波器可为可分离的或不可分离的，如上文所论述。
简化的一般化残差预测
如上文所论述，在一些实施例中，使用8抽头组合式上取样及MC内插滤波器(例如，替代两个级联的8抽头滤波)以降低存储器存取要求及计算复杂度。然而，在下文描述的实施例中，可进一步降低带宽要求及信令成本(其在使用推断模式(例如合并、跳过或基础模式)时可尤其高)。
短组合式上取样及MC内插滤波器
如上文所论述，一般化残差预测(GRP)涉及在增强层运动向量指向子像素地点的情况下，对基础层参考块进行上取样(例如，用于HEVC中的8抽头上取样滤波器)及对经上取样的基础层参考块应用MC内插滤波器(例如，用于HEVC中的8抽头MC内插滤波器)。然而，应用两个级联的8抽头滤波器所需的边界填补量可能导致用于GRP的高存储器存取要求。因此，在上文所论述的实施例中的一些中，替代使用两个级联的8抽头滤波器，提议使用单个组合式8抽头滤波器用于进行上取样及MC内插两者。
在另一实施例中，4抽头上取样滤波器及双线性内插滤波器用于GRP模式。或者，可使用5抽头组合式上取样及MC内插滤波器。5抽头组合式滤波器可分离成级联的4抽头上取样滤波器及双线性内插滤波器。或者，还可使用不长于6抽头的滤波器。在另一实施例中，4抽头组合式上取样及MC内插滤波器用于GRP模式。或者，还可使用不长于6抽头的滤波器。举例来说，待用于GRP模式中的上取样及MC内插的滤波器的类型可硬译码于译码器(例如，编码器或解码器)中。
图10是说明根据本发明的实施例的用于译码视频信息的方法1000的流程图。图10中所说明的步骤可由编码器(例如，如图2中所示的视频编码器)、解码器(例如，如图3中所示的视频解码器)或任何其它组件执行。为方便起见，方法1000描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法1000开始于框1001处。在框1005中，译码器使用4抽头上取样滤波器对基础层参考块进行上取样。举例来说，译码器可使用下文表1中说明的4抽头16相位滤波器。在框1010中，译码器通过对经上取样基础层参考块应用双线性内插滤波器而执行运动补偿内插。在框1015中，译码器基于在框1010中执行的运动补偿确定基础层残差信息。在框1020中，译码器通过将加权因子w应用于基础层残差信息而确定经经加权基础层残差信息，且基于所述经加权基础层残差信息确定(例如，预测或重构)当前块。举例来说，可根据上文所论述的方程式(6)中所示的式子确定当前块。方法1000在框1025处结束。
如上文所论述，图2的视频编码器20或图3的视频解码器30的一或多个组件可用以实施本发明中所论述的技术中的任一者，例如应用4抽头上取样滤波器或双线性内插滤波器，确定基础层残差信息，及基于经加权基础层残差信息确定当前块。
在一个实施例中，可使用下文在表1中提供的4抽头16相位滤波器。其可用作上取样滤波器、MC内插滤波器或用于GRP模式的组合式滤波器。
相位 滤波器系数
0 9,46,9,0
1 10,40,14,0
2 8,40,17,-1
3 6,40,19,-1
4 4,39,22,-1
5 2,38,25,-1
6 2,36,27,-1
7 1,34,30,-1
8 0,32,32,0
9 -1,30,34,1
10 -1,27,36,2
11 -1,25,38,2
12 -1,22,39,4
13 -1,19,40,6
14 -1,17,40,8
15 0,14,40,10
表1.用于4抽头16相位滤波器的滤波器系数的实例
3抽头上取样/平滑滤波器
在一个实施例中，在SNR情况下，将3抽头平滑滤波器(其还可认为是1:1上取样滤波器)应用于GRP模式。举例来说，在一个实施例中，滤波器系数为(9,46,9)。在另一实施例中，在空间及SNR情况两者下，将3抽头上取样/层间滤波器用于GRP模式。用于此类3抽头上取样/层间滤波器的两组实例系数在下文展示于表2及3中。
相位 滤波器系数
0 9,46,9
1 7,45,12
2 5,45,14
3 3,44,17
4 2,42,20
5 1,40,23
6 0,38,26
7 0,35,29
8 0,32,32
9 0,29,35
10 1,26,37
11 1,23,40
12 2,20,42
13 3,17,44
14 3,15,46
15 4,12,48
表2.3抽头上取样/层间滤波器的实例
相位 滤波器系数
0 8,48,8
1 6,47,11
2 4,47,13
3 2,46,16
4 1,44,19
5 0,41,23
6 0,38,26
7 0,35,29
8 0,32,32
9 0,29,35
10 1,25,38
11 2,22,40
12 2,19,43
13 3,16,45
14 4,13,47
15 5,11,48
表3.3抽头上取样/层间滤波器的实例
图11是说明根据本发明的实施例的用于译码视频信息的方法1100的流程图。图11中所说明的步骤可由编码器(例如，如图2中所示的视频编码器)、解码器(例如，如图3中所示的视频解码器)或任何其它组件执行。为方便起见，方法1100描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法1100开始于框1101处。在框1105中，译码器对基础层参考块进行上取样且通过应用具有6个或6个以下抽头的组合式上取样及MC内插滤波器而执行MC内插。在一个实施例中，使用5抽头组合式上取样及MC内插滤波器。在另一实施例中，使用例如表1中所示的4抽头组合式上取样及MC内插滤波器。在又一实施例中，使用例如表2及3中所示的3抽头组合式上取样及MC内插滤波器。在框1110中，译码器基于对基础层参考块执行的上取样及MC内插确定基础层残差信息。在框1115中，将加权因子w应用于基础层残差信息且基于经加权基础层残差信息确定(例如，预测或重构)当前块。举例来说，可根据上文所论述的方程式(6)中所示的式子确定当前块。方法1100在框1120处结束。
如上文所论述，图2的视频编码器20或图3的视频解码器30的一或多个组件可用以实施本发明中所论述的技术中的任一者，例如应用组合式上取样及MC内插滤波器。
对于特定视频信号分量停用GRP
在一个实施例中，GRP仅应用于明度分量。在此类实施例中，对于色度分量停用GRP，且正常时间预测用于色度分量。在其它实施例中，GRP可应用于视频信号分量的任何组合，例如仅明度或仅色度。举例来说，在一些实施例中，GRP仅应用于色度分量。在此类实施例中，对于明度分量停用GRP，且正常时间预测用于明度分量。
在另一实施例中，通常对于指定大小范围中的块及在指定范围外的块应用GRP，GRP仅应用于视频信号分量的子组，例如仅明度或仅色度。在另一实施例中，通常对于大于阈值大小的块及小于或等于阈值大小的块应用GRP，GRP仅应用于视频信号分量的子组，例如仅明度或仅色度。大小范围或阈值大小可经预定义或可在任何层级(例如序列层级、图片群组(GOP)层级、图片层级或切片层级)处在位流中用信号表示。
图12是说明根据本发明的实施例的用于译码视频信息的方法1200的流程图。图12中所说明的步骤可由编码器(例如，如图2中所示的视频编码器)、解码器(例如，如图3中所示的视频解码器)或任何其它组件执行。为方便起见，方法1200描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法1200开始于框1201处。在框1205中，译码器确定是否启用仅色度模式。如果确定启用仅色度模式，那么译码器前进到框1220，且仅将GRP应用于色度分量且将正常时间预测应用于明度分量。如果确定未启用仅色度模式，那么译码器前进到框1210，且确定是否启用仅明度模式。如果确定启用仅明度模式，那么译码器前进到框1215且仅将GRP应用于明度分量且将正常时间预测应用于色度分量。如果确定未启用仅明度模式，那么译码器前进到框1225，且将GRP应用于所有视频分量(例如，应用于明度及色度分量两者)。方法1200在框1230处结束。
在另一实施例中，可省略或调换图12中说明的一或多个步骤。举例来说，可在确定是否启用仅色度模式之前确定是否启用仅明度模式。另外，译码器可自动地假定在启用仅明度模式的情况下，不启用仅色度模式，且反之亦然。而且，译码器可仅检查是否启用仅明度(或仅色度)模式，而不检查是否启用另一模式。
如上文所论述，图2的视频编码器20或图3的视频解码器30的一或多个组件可用以实施本发明中所论述的技术中的任一者，例如仅将GRP应用于明度分量或仅将GRP应用于色度分量。
在跳过/合并或基础模式中的推断GRP加权
当应用GRP时，加权信息在某一层级处(例如在CU层级或PU层级处)用信号表示。在一个实施例中，对于推断模式(例如，跳过/合并CU/PU)，以与导出运动信息的方式相同的方式从空间及/或时间上相邻的CU/PU复制(例如，推断)当前CU/PU的GRP加权信息。举例来说，用于当前PU的GRP加权信息可从相邻或邻近于当前PU的PU导出。在另一实例中，用于当前PU的GRP加权信息可从在时间上邻近于当前PU所位于的当前图片的图片中的PU导出。因此，在此类实施例中，GRP加权信息不针对CU/PU进行显式译码，从而导致信令成本节省。
在另一实施例中，对于推断模式，GRP加权信息设定为默认值且不针对CU/PU明确地用信号表示GRP加权信息。默认值可经预定义或在任何层级处在位流中(例如在序列参数集(SPS)、图片参数集(PPS)、调适参数集(APS)、切片标头，等)用信号表示。
在另一实施例中，对于其中从基础层导出运动信息及/或分区信息的推断模式，也从基础层导出CU/PU的GRP加权信息。当基础层为位流中的第一层(例如，HEVC兼容层)时，GRP加权信息可设定为默认值，所述默认值可经预定义或在位流中用信号表示。当基础层为另一层的增强层时，可直接从其基础层导出(例如，通过从共置基础层块或从基础层中心块或从基础层右下方块复制，或以与导出运动信息的方式相同的方式)GRP加权信息。当相关(例如，共置)基础层块经帧内译码时，可使用默认GRP加权值。此默认值可经预定义或在位流中明确地用信号表示。
在另一实施例中，当将经上取样(包含1:1上取样)基础层图片置于增强层的参考图片列表中时，GRP加权信息还可包含在新参考图片中。映射过程可与运动信息的映射相同。举例来说，可将包含GRP加权信息的新参考图片以及经上取样基础层图片添加到增强层的参考图片列表。在一个实施例中，GRP加权信息的字段可与经上取样基础层图片的相应部分相关联。因此，可以与时间运动向量预测值(TMVP)的方式相同的方式导出GRP加权信息。
图13是说明根据本发明的实施例的用于译码视频信息的方法1300的流程图。图13中所说明的步骤可由编码器(例如，如图2中所示的视频编码器)、解码器(例如，如图3中所示的视频解码器)或任何其它组件执行。为方便起见，方法1300描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法1300开始于框1301处。在框1305中，译码器确定当前块是否是以推断模式(例如，跳过CU/PU或合并CU/PU)译码。如果确定当前块不是以推断模式译码，那么译码器前进到框1315且基于预定义或用信号表示的加权因子确定当前块。如果确定当前块是以推断模式译码，那么译码器前进到框1310且从相邻块或基础层块导出GRP加权信息。在框1320中，译码器基于所导出的加权信息确定当前块。方法1300在框1325处结束。
如上文所论述，图2的视频编码器20或图3的视频解码器30的一或多个组件可用以实施本发明中所论述的技术中的任一者，例如从时间上或空间上相邻的块导出GRP加权信息。
避免存取基础层参考项
在GRP中，基础层参考项经存取(且在空间情况下经上取样)。然而，可能存在存取此类基础层参考项将不合需要的情形。在一个实施例中，以避免存取基础层参考项，通过用低通滤波器对相关(例如，共置)增强层参考项进行滤波而仿效基础层参考项。举例来说，替代存取基础层参考项，与基础层参考项共置的增强层参考项可用低通滤波器进行滤波且在执行GRP的过程中加以存取。因此，经滤波增强层参考项可“仿效”共置基础层参考，且可避免存取基础层参考项。
在一个实施例中，将固定低通滤波器应用于增强层参考项以仿效对于GRP所需要存取的任何相关(例如，共置、相邻或任何其它)经上取样基础层参考项。可在GRP中使用仿效参考项来替代经上取样基础层参考项。举例来说，可使用上文所提及的固定4抽头或3抽头滤波器来对增强层参考项进行滤波以导出仿效参考项。在另一实施例中，使用自适应滤波器来产生仿效经上取样基础层参考项。滤波器系数可在增强层的位流中(例如在PPS、APS或切片标头等中)用信号表示。
图14是说明根据本发明的实施例的用于译码视频信息的方法1400的流程图。图14中所说明的步骤可由编码器(例如，如图2中所示的视频编码器)、解码器(例如，如图3中所示的视频解码器)或任何其它组件执行。为方便起见，方法1400描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。
方法1400开始于框1401处。在框1405中，译码器通过对共置增强层参考项进行滤波而产生仿效经上取样基础层参考项。举例来说，译码器可使用上文所论述的滤波器中的任一者，例如固定低通滤波器或自适应滤波器，来产生仿效经上取样基础层参考项。在框1410中，译码器基于仿效经上取样基础层参考项确定GRP模式中的当前块而不参考基础层参考项。举例来说，可使用仿效参考项替代经上取样基础层参考项(例如，方程式(6)中所示)来预测或重构GRP模式中的当前块。方法1400在框1415处结束。
如上文所论述，图2的视频编码器20或图3的视频解码器30的一或多个组件可用以实施本发明中所论述的技术中的任一者，例如通过对共置或其它相关增强层参考项进行滤波而产生或导出仿效经上取样基础层参考项，及基于仿效参考项确定当前块。
可使用多种不同技术及技艺中的任一者来表示本文中所揭示的信息及信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示可能贯穿上述描述提及的数据、指令、命令、信息、信号、位、符号及码片。
结合本文揭示的实施例所描述的各种说明性逻辑块、模块、电路及算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的此可互换性，上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。此功能性是实施为硬件还是软件取决于特定应用及外加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但此类实施方案决策不应被解释为会造成脱离本发明的范围。
本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。所述技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机及其它装置中的应用的多种用途。被描述为模块或组件的任何特征可共同实施于集成的逻辑装置中或单独实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传达程序代码且可由计算机存取、读取及/或执行(例如，传播的信号或波)。
程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者、上述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。此外，在某些方面中，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(编解码器)中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调其经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可配合合适的软件及/或固件组合在一个编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包括如上文所描述的一或多个处理器。
已描述本发明的各种实施例。这些及其它实施例在所附权利要求书的范围内。

Claims (30)

1.一种经配置以译码视频信息的设备，所述设备包括：
存储器单元，其经配置以存储与基础层及增强层相关联的视频信息；以及
处理器，其与所述存储器单元通信，所述处理器经配置以：
使用增强层运动向量确定基础层参考块；
在所述基础层与所述增强层具有不同分辨率时，通过使用上取样滤波器而对所述基础层参考块进行上取样；
通过对所述经上取样基础层参考块进行滤波而执行运动补偿内插；
基于所述经滤波的经上取样基础层参考块确定基础层残差信息；
通过将加权因子应用于所述基础层残差信息而确定经加权基础层残差信息；以及
基于所述经加权基础层残差信息确定增强层块，
其中所述上取样滤波器具有6个或6个以下抽头。
2.根据权利要求1所述的设备，其中所述处理器经配置以使用4抽头上取样滤波器对所述基础层参考块进行上取样，且通过使用双线性内插滤波器来执行所述运动补偿内插。
3.根据权利要求1所述的设备，其中所述处理器经配置以通过应用单个5抽头组合式上取样及运动补偿内插滤波器来对所述基础层参考块进行上取样且执行所述运动补偿内插。
4.根据权利要求3所述的设备，其中所述组合式上取样及运动补偿内插滤波器具有用于所述增强层块的明度及色度分量两者的16个相位。
5.根据权利要求4所述的设备，其中所述增强层运动向量经缩放到像素的1/16的准确度。
6.根据权利要求1所述的设备，其中所述处理器进一步经配置以使用3抽头平滑滤波器、3抽头上取样滤波器及3抽头层间滤波器来执行平滑化、上取样或其它层间滤波。
7.根据权利要求1所述的设备，其中所述处理器经配置以：
响应于确定启用仅明度模式而基于所述经加权基础层残差信息仅确定所述增强层块的所述明度分量，且通过使用正常时间预测来确定所述增强层块的所述色度分量；以及
响应于确定启用色度模式而仅基于所述经加权基础层残差信息仅确定所述增强层块的所述色度分量，且通过使用正常时间预测来确定所述增强层块的所述明度分量。
8.一种译码视频信息的方法，所述方法包括：
存储与基础层及增强层相关联的视频信息；
使用增强层运动向量确定基础层参考块；
在所述基础层与所述增强层具有不同分辨率时，通过使用具有6个或6个以下抽头的上取样滤波器而对所述基础层参考块进行上取样；
通过对所述经上取样基础层参考块进行滤波而执行运动补偿内插；
基于所述经滤波的经上取样基础层参考块确定基础层残差信息；
通过将加权因子应用于所述基础层残差信息而确定经加权基础层残差信息；以及
基于所述经加权基础层残差信息确定增强层块。
9.根据权利要求8所述的方法，其中所述上取样滤波器为4抽头上取样滤波器，且所述运动补偿内插是通过使用双线性内插滤波器而执行。
10.根据权利要求8所述的方法，其中所述上取样及所述运动补偿内插是通过应用单个5抽头组合式上取样及运动补偿内插滤波器一起执行。
11.根据权利要求10所述的方法，其中所述组合式上取样及运动补偿内插滤波器具有用于所述增强层块的明度及色度分量两者的16个相位。
12.根据权利要求11所述的方法，其中所述增强层运动向量经缩放到像素的1/16的准确度。
13.根据权利要求8所述的方法，其进一步包括使用3抽头平滑滤波器、3抽头上取样滤波器及3抽头层间滤波器中的至少一者来执行平滑化、上取样或其它层间滤波。
14.根据权利要求8所述的方法，其中所述确定所述增强层块的步骤包括：
响应于确定启用仅明度模式而基于所述经加权基础层残差信息仅确定所述增强层块的所述明度分量，且通过使用正常时间预测来确定所述增强层块的所述色度分量；以及
响应于确定启用仅色度模式而基于所述经加权基础层残差信息仅确定所述增强层块的所述色度分量，且通过使用正常时间预测来确定所述增强层块的所述明度分量。
15.一种经配置以译码视频信息的设备，所述设备包括：
存储器单元，其经配置以存储与基础层及增强层相关联的视频信息；以及
处理器，其与所述存储器单元通信，所述处理器经配置以：
确定增强层块是否具有大于或等于阈值大小的大小；以及
响应于确定所述增强层块具有大于或等于所述阈值大小的大小，至少通过以下操作而执行一般化残差预测GRP：
在所述基础层与所述增强层具有不同分辨率时，通过使用上取样滤波器而对基础层参考块进行上取样；
通过对所述经上取样基础层参考块进行滤波而执行运动补偿内插；
基于所述经滤波的经上取样基础层参考块确定基础层残差信息；
通过将加权因子应用于所述基础层残差信息而确定经加权基础层残差信息；以及
基于所述经加权基础层残差信息确定所述增强层块。
16.根据权利要求15所述的设备，其中所述处理器响应于确定所述增强层块具有不大于或等于所述阈值大小的大小而仅当所述增强层块为单向预测块时才对所述增强层块执行GRP。
17.根据权利要求15所述的设备，其中由所述处理器执行的所述GRP包含帧内预测，且邻近于所述增强层块且不可用于所述帧内预测中的相邻参考样本是基于所述增强层的位深度及所述帧内预测是否是在差域中执行而被替代。
18.根据权利要求15所述的设备，其中所述加权因子是从在空间上相邻或邻近于所述增强层块的块、在时间上邻近于所述增强层块所位于的当前图片的图片中的块或与所述增强层块共置的基础层块导出。
19.根据权利要求15所述的设备，其中所述加权因子设定为默认值，且不针对所述增强层块用信号表示加权信息。
20.根据权利要求15所述的设备，其中所述处理器经配置以将包含GRP加权信息及所述基础层的经上取样纹理图片的层间参考图片添加到参考图片列表。
21.根据权利要求15所述的设备，其中所述处理器经配置以通过对与基础层参考图片共置的增强层参考图片进行滤波而确定可替代存取所述基础层参考图片而存取的仿效基础层参考图片，且基于所述仿效基础层参考图片确定所述增强层块。
22.根据权利要求21所述的设备，其中所述处理器经配置以使用固定4抽头低通滤波器、固定3抽头低通滤波器及自适应滤波器中的至少一者对所述共置增强层参考图片进行滤波。
23.一种译码视频信息的方法，所述设备包括：
存储与基础层及增强层相关联的视频信息；
确定增强层块是否具有大于或等于阈值大小的大小；以及
响应于确定所述增强层块具有大于或等于所述阈值大小的大小，至少通过以下操作而执行一般化残差预测GRP：
在所述基础层与所述增强层具有不同分辨率时，通过使用上取样滤波器而对基础层参考块进行上取样；
通过对所述经上取样基础层参考块进行滤波而执行运动补偿内插；
基于所述经滤波的经上取样基础层参考块确定基础层残差信息；
通过将加权因子应用于所述基础层残差信息而确定经加权基础层残差信息；以及
基于所述经加权基础层残差信息确定所述增强层块。
24.根据权利要求23所述的方法，其进一步包括响应于确定所述增强层块具有不大于或等于所述阈值大小的大小而仅当所述增强层块为单向预测块时才对所述增强层块执行GRP。
25.根据权利要求23所述的方法，其中所执行的所述GRP包含帧内预测，且邻近于所述增强层块且不可用于所述帧内预测中的相邻参考样本是基于所述增强层的位深度及所述帧内预测是否是在差域中执行而被替代。
26.根据权利要求23所述的方法，其中所述加权因子是从在空间上相邻或邻近于所述增强层块的块、在时间上邻近于所述增强层块所位于的当前图片的图片中的块或与所述增强层块共置的基础层块导出。
27.根据权利要求23所述的方法，其中所述加权因子设定为默认值，且不针对所述增强层块用信号表示加权信息。
28.根据权利要求23所述的方法，其进一步包括将包含GRP加权信息及所述基础层的经上取样纹理图片的层间参考图片添加到参考图片列表。
29.根据权利要求23所述的方法，其进一步包括：
通过对与基础层参考图片共置的共置增强层参考图片进行滤波而确定可替代存取所述基础层参考图片而存取的仿效基础层参考图片；以及
基于所述仿效基础层参考图片确定所述增强层块。
30.根据权利要求29所述的方法，其中所述共置增强层参考图片是使用固定4抽头低通滤波器、固定3抽头低通滤波器及自适应滤波器中的至少一者而滤波。
CN201380068352.4A 2012-12-28 2013-12-23 使用一般化残差预测对视频信息进行可缩放及多视图/3d译码的装置及方法 Pending CN105144719A (zh)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201261747028P 2012-12-28 2012-12-28
US201261747113P 2012-12-28 2012-12-28
US61/747,113 2012-12-28
US61/747,028 2012-12-28
US201361748245P 2013-01-02 2013-01-02
US61/748,245 2013-01-02
US201361751794P 2013-01-11 2013-01-11
US61/751,794 2013-01-11
US201361758723P 2013-01-30 2013-01-30
US61/758,723 2013-01-30
US201361790200P 2013-03-15 2013-03-15
US61/790,200 2013-03-15
US14/137,101 2013-12-20
US14/137,101 US9357211B2 (en) 2012-12-28 2013-12-20 Device and method for scalable and multiview/3D coding of video information
PCT/US2013/077435 WO2014105799A2 (en) 2012-12-28 2013-12-23 Device and method for scalable and multiview/3d coding of video information

Publications (1)

Publication Number Publication Date
CN105144719A true CN105144719A (zh) 2015-12-09

Family

ID=51017171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380068352.4A Pending CN105144719A (zh) 2012-12-28 2013-12-23 使用一般化残差预测对视频信息进行可缩放及多视图/3d译码的装置及方法

Country Status (5)

Country Link
US (1) US9357211B2 (zh)
EP (1) EP2939428A2 (zh)
JP (1) JP6231128B2 (zh)
CN (1) CN105144719A (zh)
WO (1) WO2014105799A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108702518A (zh) * 2016-02-17 2018-10-23 高通股份有限公司 在分层高效视频译码文件格式中的位流结尾网络抽象层单元的处理和对高效视频译码和分层高效视频译码频块播放轨的改善
CN109417619A (zh) * 2016-04-29 2019-03-01 英迪股份有限公司 用于编码/解码视频信号的方法和设备
CN109417629A (zh) * 2016-07-12 2019-03-01 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
CN109891890A (zh) * 2016-09-07 2019-06-14 高通股份有限公司 视频译码中基于子pu的双向运动补偿
CN111416983A (zh) * 2020-04-07 2020-07-14 清华大学深圳国际研究生院 基于成像相关的多焦距光场视频帧内预测方法和装置
CN114556937A (zh) * 2019-10-05 2022-05-27 北京字节跳动网络技术有限公司 用于色度混合遮罩生成的下采样滤波器类型

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
JP6175505B2 (ja) 2012-09-28 2017-08-02 ヴィド スケール インコーポレイテッド ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
GB2509704B (en) * 2013-01-04 2016-06-01 Canon Kk Method and device for processing prediction information for encoding or decoding at least part of an image
US20140254681A1 (en) * 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
JP6360154B2 (ja) * 2013-04-05 2018-07-18 ヴィド スケール インコーポレイテッド 多重レイヤビデオコーディングに対するインターレイヤ基準画像エンハンスメント
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
WO2015168581A1 (en) * 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference layer and scaled reference layer offsets for scalable video coding
CN107027339A (zh) * 2014-05-06 2017-08-08 联发科技股份有限公司 确定调整大小的参考帧的参考块的位置的视频处理方法和相关视频处理装置
EP3284259A1 (en) 2015-04-17 2018-02-21 VID SCALE, Inc. Chroma enhancement filtering for high dynamic range video coding
KR102341872B1 (ko) * 2015-06-12 2021-12-23 삼성디스플레이 주식회사 영상의 부호화, 복호화 방법 및 장치
WO2017007989A1 (en) * 2015-07-08 2017-01-12 Vid Scale, Inc. Enhanced chroma coding using cross plane filtering
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
JP6921870B2 (ja) * 2016-05-24 2021-08-18 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像復号方法、画像符号化方法及び記録媒体
US10616583B2 (en) * 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
KR102383106B1 (ko) * 2016-07-05 2022-04-06 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180042899A (ko) * 2016-10-19 2018-04-27 디지털인사이트 주식회사 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
US10992939B2 (en) * 2017-10-23 2021-04-27 Google Llc Directional intra-prediction coding
CN112913243A (zh) * 2018-11-21 2021-06-04 华为技术有限公司 帧内预测方法及设备
CN113170170A (zh) * 2018-11-22 2021-07-23 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的混合方法
WO2020125628A1 (en) * 2018-12-17 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Shape dependent interpolation filter
US11159822B2 (en) * 2019-07-11 2021-10-26 Qualcomm Incorporated Intra-prediction according to virtual boundaries for video coding
BR112022005469A2 (pt) * 2019-09-24 2022-06-14 Huawei Tech Co Ltd Codificador, decodificador e métodos correspondentes

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060126962A1 (en) * 2001-03-26 2006-06-15 Sharp Laboratories Of America, Inc. Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
CN101336549A (zh) * 2005-11-29 2008-12-31 三星电子株式会社 基于多层的可缩放视频编码方法及装置
CN101523922A (zh) * 2006-10-13 2009-09-02 高通股份有限公司 具有用于经运动补偿预测的自适应滤波的视频编码
CN101755458A (zh) * 2006-07-11 2010-06-23 诺基亚公司 可缩放视频编码
CN102842123A (zh) * 2012-07-12 2012-12-26 南京理工大学 图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
JP3881943B2 (ja) * 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
JP4733939B2 (ja) * 2004-01-08 2011-07-27 パナソニック株式会社 信号復号化装置及び信号復号化方法
US20060012719A1 (en) * 2004-07-12 2006-01-19 Nokia Corporation System and method for motion prediction in scalable video coding
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR100888962B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US8289370B2 (en) * 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
US8867618B2 (en) * 2005-07-22 2014-10-21 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
EP1809041A1 (en) * 2006-01-11 2007-07-18 Mitsubishi Electric Information Technology Centre Europe B.V. Error concealement for scalable video coding
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
EP2106666B1 (en) * 2007-01-08 2019-06-12 Nokia Technologies Oy Improved inter-layer prediction for extended spatial scalability in video coding
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
EP2119236A1 (en) * 2007-03-15 2009-11-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
US8737474B2 (en) * 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
KR101355975B1 (ko) * 2010-10-19 2014-01-29 한국전자통신연구원 스케일러블 위성방송의 적응적 재생장치 및 방법
US9843801B2 (en) * 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
JP6278900B2 (ja) * 2012-12-26 2018-02-14 シャープ株式会社 画像復号装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060126962A1 (en) * 2001-03-26 2006-06-15 Sharp Laboratories Of America, Inc. Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
CN101336549A (zh) * 2005-11-29 2008-12-31 三星电子株式会社 基于多层的可缩放视频编码方法及装置
CN101755458A (zh) * 2006-07-11 2010-06-23 诺基亚公司 可缩放视频编码
CN101523922A (zh) * 2006-10-13 2009-09-02 高通股份有限公司 具有用于经运动补偿预测的自适应滤波的视频编码
EP1933564A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding video data using adaptive prediction order for spatial and bit depth prediction
CN102842123A (zh) * 2012-07-12 2012-12-26 南京理工大学 图像上采样中边缘清晰度提升的稀疏域残差补偿修正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN ET AL.: "Description of scalable video coding technology proposal by Qualcomm (configuration 2)", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 11TH MEETING》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108702518B (zh) * 2016-02-17 2020-12-18 高通股份有限公司 用于处理视频数据的方法、设备及计算机可读媒体
CN108702518A (zh) * 2016-02-17 2018-10-23 高通股份有限公司 在分层高效视频译码文件格式中的位流结尾网络抽象层单元的处理和对高效视频译码和分层高效视频译码频块播放轨的改善
CN109417619A (zh) * 2016-04-29 2019-03-01 英迪股份有限公司 用于编码/解码视频信号的方法和设备
US11785244B2 (en) 2016-04-29 2023-10-10 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding video signal
US11297343B2 (en) 2016-04-29 2022-04-05 Intellectual Discovery Co.. Ltd. Method and apparatus for encoding/decoding video signal
CN109417619B (zh) * 2016-04-29 2022-04-19 英迪股份有限公司 用于编码/解码视频信号的方法以及视频信号的传送方法
CN109417629A (zh) * 2016-07-12 2019-03-01 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
CN109417629B (zh) * 2016-07-12 2023-07-14 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
CN109891890B (zh) * 2016-09-07 2023-06-16 高通股份有限公司 用于解码视频数据的方法、编码视频数据的方法及相关设备
CN109891890A (zh) * 2016-09-07 2019-06-14 高通股份有限公司 视频译码中基于子pu的双向运动补偿
CN114556937A (zh) * 2019-10-05 2022-05-27 北京字节跳动网络技术有限公司 用于色度混合遮罩生成的下采样滤波器类型
CN111416983B (zh) * 2020-04-07 2022-03-15 清华大学深圳国际研究生院 基于成像相关的多焦距光场视频帧内预测方法和装置
CN111416983A (zh) * 2020-04-07 2020-07-14 清华大学深圳国际研究生院 基于成像相关的多焦距光场视频帧内预测方法和装置

Also Published As

Publication number Publication date
JP2016506683A (ja) 2016-03-03
EP2939428A2 (en) 2015-11-04
JP6231128B2 (ja) 2017-11-15
US20140185680A1 (en) 2014-07-03
WO2014105799A2 (en) 2014-07-03
US9357211B2 (en) 2016-05-31
WO2014105799A3 (en) 2015-07-23

Similar Documents

Publication Publication Date Title
CN105144719A (zh) 使用一般化残差预测对视频信息进行可缩放及多视图/3d译码的装置及方法
CN106576171B (zh) 一种对视频数据进行编码、解码的方法以及装置
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN105637880B (zh) 用于视频信息的可缩放译码的装置和方法
CN105556967B (zh) 用于视频信息的可缩放译码的装置和方法
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN104396243B (zh) 用于视频压缩的自适应上取样滤波器
CN106105209B (zh) 多层视频编解码器的级别定义
CN105009590B (zh) 用于视频信息的可缩放译码的装置和方法
CN105379286A (zh) 跨层的图片分割的位流限制
CN105009587A (zh) 用于视频译码的并行处理
CN104838651A (zh) 可缩放及多视角视频译码中的高级残差预测
CN105284113A (zh) 分量间滤波
CN105556969A (zh) 视频译码中使用视差向量的块识别
CN104620576A (zh) 可缩放视频译码中的替代变换
CN104718752A (zh) 在可缩放视频译码中减少取样相位信息的发信
CN104584550A (zh) 用于可缩放视频译码的帧内预测改善
CN104704833A (zh) 多视图或3维视频译码中的高级视图间残差预测
CN105009586A (zh) 多视图或3维视频译码中的视图间残余预测
CN104685883A (zh) 用于3d视频的经视图间预测运动向量
CN105580374B (zh) 一种对多层视频数据进行编解码的方法、视频解码设备及存储媒体
CN104471942A (zh) 重新使用参数集用于视频译码
CN105052142A (zh) 仅高级语法shvc中的一般化残余预测及其信令和管理
CN105052153B (zh) 用于视频信息的可缩放译码的装置和方法
CN105075258A (zh) 针对具有不同纵横比的空间可缩放性的层间参考图片建构

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20190326