CN105025997A - 针对位深度可缩放视频译码使用样本自适应调整的层间预测 - Google Patents

Abstract

一种根据某些方面的用于对视频数据进行译码的设备包含存储器单元和与所述存储器单元通信的处理器。所述存储器单元存储视频数据。所述视频数据可包含包括具有较低位深度的样本的基础层，以及包括具有较高位深度的样本的增强层。所述处理器基于所述基础层中的样本的值预测所述增强层中的样本的值。由所述处理器执行的所述预测包含将预备映射应用于所述基础层样本以获得预备预测，以及随后将自适应调整应用于所述预备预测以获得经改善预测。用于所述自适应调整的参数可取决于基础层样本的所述值和分布。所述处理器可编码或解码所述视频数据。

Description

针对位深度可缩放视频译码使用样本自适应调整的层间预测

技术领域

本发明大体涉及视频译码和压缩的领域，且更明确地说涉及用于可缩放视频译码(SVC)中的层间预测的技术。

背景技术

数字视频能力可并入到广范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施此类视频译码技术而更有效率地发射、接收、编码、解码和/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频帧、视频帧的一部分等)可分割成视频块，视频块也可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测导致待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据而编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而导致残余变换系数，接着可对残余变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。

一些基于块的视频译码和压缩可使用可缩放技术。可缩放视频译码(SVC)是指其中使用基础层(BL)(有时被称作参考层(RL))和一或多个可缩放增强层(EL)的视频译码。对于SVC来说，基础层可携载具有基础质量水平的视频数据。所述一或多个增强层可携载额外的视频数据以支持较高的空间、时间和/或信噪SNR水平。可相对于先前编码的层来界定增强层。举例来说，底层可充当BL，而顶层可充当EL。中间层可充当EL或RL，或两者。举例来说，在中间的层可为在其下方的层(例如，基础层或任何介入增强层)的EL，且同时充当在其上方的一或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信息对另一视图的信息(例如，运动估计、运动向量预测和/或其它冗余)进行译码(例如，编码或解码)。在一些情况下，可以比增强层的发射更可靠的方式来发射基础层。用于SVC的技术还可使用层间预测来减小或移除基础层与增强层之间的冗余。层间预测从对应基础层块产生经预测增强层块。增强层块可使用从基础层产生的经预测块连同指示经预测块与待译码块之间的差的残余数据来译码。此残余数据，类似于与空间预测和时间预测相关联的残余数据，可经变换、经量化和经熵编码。

发明内容

在专业生产环境中使用高动态范围(HDR)序列，且可再现10位或更高内容的高质量显示可用。一种表示和分布此些HDR内容的方式是利用单一层编码器产生位流。举例来说，可利用例如HEVC或H.264/AVC(例如，在高10简档中)等单一层编码器编码10位内容。在此情况下，仅10位显示将能够再现经解码内容，而传统8位显示将需要将10位内容下变频到8位(其仍然需要具备10位能力的解码器)。传统8位解码器将不能够解码10位位流。在此实例中，如果8位和10位显示器两者均需要访问相同HDR视频内容，那么HDR视频内容可在单独位流(例如，8位位流和10位位流)中同时联播以用于所述两个显示。然而，此些具有高带宽要求，因为两个位流中可存在大量冗余信息。

或者，可缩放位流可由可缩放编码器产生。可缩放解码器可能够解码来自可缩放位流的10位视频内容，而8位解码器可解码8位基础层，同时忽略增强层中包含的信息(例如，用于从8位变成10位的信息)。或者，位于服务器侧或网络内部的位流提取器(例如)可从可缩放位流提取8位基础层。

因此，通过使用SVC来产生含有可由传统解码器(例如，8位)解码以产生具有较低位深度(例如，8位)的视频内容的基础层以及可由可缩放解码器解码以产生更高位深度视频内容(例如，10位)的一或多个增强层的可缩放位流，可提供与传统解码器的向后相容性，且与同时联播单独位流相比可减少带宽要求，借此改进译码效率和性能。因此，本发明中描述的技术可减小计算复杂性，改进译码效率，和/或改进与编码视频信息的方法相关联的总体译码性能。

本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。

本发明的一个方面提供一种经配置以对视频数据进行译码的设备。所述设备包括经配置以存储视频数据的存储器单元。所述视频数据可包括基础层和增强层。所述基础层包括具有特定位深度的视频样本(也被称作像素)。所述增强层包括具有比基础层中的视频样本高的位深度的样本。基础层和增强层两者中的样本可分组到视频块中，且基础层中的视频块将大体对应于增强层中的一或多个视频块，但块的尺寸可在每一层内以及不同层之间变化。

所述设备进一步包括与存储器单元通信的处理器，所述处理器经配置以基于与基础层相关联的视频样本确定针对增强层的经预测视频样本。所述处理器可通过首先将预备映射函数应用于来自基础层的视频样本以确定预备预测且随后将自适应调整应用于所述预备预测以确定经改进的预测而确定针对增强层的经预测视频样本。处理器可针对基础层样本的不同类别应用不同自适应调整。

在一些实施例中，所述预备映射函数可包括非线性数学函数，其通过计算基础层样本的例如对数或求幂而将基础层样本映射到经预测增强层样本。在其它实施例中，所述预备映射函数可完全不使用，或可仅仅使用基础层样本作为增强层样本的预备预测。在一些实施例中，所述自适应调整可包括将所述预备预测进行乘法运算以便确定经改进预测的比率或系数。另外或替代地，所述调整可包括添加到预备预测以便确定经改进预测的偏移量。在一些实施例中，自适应调整可取决于例如个别样本的强度范围或邻近样本的样式等类别。

在一些实施例中，基础层样本的位深度可为8位，且增强层样本的位深度可为10位。可基于基础层样本和/或视频数据中的其它样本的一或多个亮度或色度值而向基础层样本指派一或多个类别。

本发明的另一方面提供一种用于对视频数据进行译码的方法。所述方法包括基于与视频数据的基础层相关联的样本确定增强层的经预测样本。可通过首先将预备映射函数应用于来自基础层的视频样本以确定预备预测且随后将自适应调整应用于预备预测以确定经改进预测而确定增强层的经预测视频样本。可针对基础层样本的不同类别不同自适应调整。

本发明的另一方面提供一种包括代码的非暂时性计算机可读媒体，所述代码在执行时致使一设备基于与视频数据的基础层相关联的样本确定增强层的经预测样本。所述设备可经编程以通过首先将预备映射函数应用于来自基础层的视频样本以确定预备预测且随后将自适应调整应用于所述预备预测以确定经改进预测而确定增强层的经预测视频样本。所述设备可经配置以针对基础层样本的不同类别应用不同自适应调整。

本发明的另一方面提供一种对视频数据进行译码的视频译码装置。所述装置包含用于基于与视频数据的基础层相关联的视频样本确定增强层的经预测视频样本的装置。所述装置可包含用于将预备映射函数应用于来自基础层的视频样本以确定预备预测的装置，以及用于将自适应调整应用于预备预测以确定经改进预测的装置。所述装置可针对基础层样本的不同类别应用不同自适应调整。

所揭示的设备、方法、计算机可读媒体和装置还可包含用以通过以下操作确定针对基础层样本的各种类别的自适应调整的组件、步骤、模块或功能性：执行计算以使与通过将自适应调整应用于基础层样本而产生的经预测样本相关联的误差或失真的一或多个量度最小化。所述误差的量度可包含例如平均误差、均方误差或任一者的计算上有效的近似。

附图和以下描述中陈述一或多个实例的细节。其它特征、目标和优点将从描述内容和图式以及从权利要求书中显而易见。

附图说明

图1为说明可利用根据本发明中描述的方面的技术的视频编码和解码系统的实例的框图。

图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。

图4为说明可利用根据本发明中描述的方面的技术的实例可缩放视频编码器的框图。

图5为说明可利用根据本发明中描述的方面的技术的可缩放视频解码器的实例的框图。

图6为说明根据本发明的方面用于确定具有比对应基础层样本高的位深度的增强层样本的预测的实例方法的流程图。

具体实施方式

本文中描述的某些实施例涉及在先进视频编解码器的情况下的针对例如HEVC(高效率视频译码)等可缩放视频译码的层间预测。更确切地说，本发明涉及用于在HEVC的可缩放视频译码(SVC)扩展中的层间预测的经改进性能的系统和方法。

在以下描述中，描述与某些实施例有关的H.264/AVC技术；还论述HEVC标准和相关技术。虽然本文中在HEVC和/或H.264标准和情况下描述某些实施例，但所属领域的一般技术人员可了解，本文中揭示的系统和方法可适用于任何合适的视频译码标准。举例来说，本文中所揭示的实施例可适用于以下标准中的一或多者:ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2视觉、ITU-T H.263、ISO/IECMPEG-4视觉和ITU-T H.264(也称作ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。

在许多方面，HEVC通常遵循先前视频译码标准的框架。HEVC中的预测的单元不同于在某些先前视频译码标准中的预测单元(例如，宏块)。实际上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的阶层式结构替换，阶层式结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块，例如译码单位(CU)、预测单元(PU)和变换单元(TU)。CU可指区分裂的基本单元。可考虑CU类似于宏块的概念，但其不限制最大大小，且可允许递归分裂成四个相等大小CU来改进内容适应性。可将PU考虑为帧间/帧内预测的基本单元，且其可在单一PU中含有多个任意形状分区以有效地译码不规则图像样式。可将TU考虑为变换的基本单元。可独立于PU来对其定义；然而，其大小可能限于TU属于的CU。块结构如此分离成三个不同概念可允许每一者根据其作用被优化，这可导致改进的译码效率。

仅出于说明的目的，用包含仅两个层(例如，比如基础层等较低层级层，和比如增强层等较高层级层)的实例来描述本文中揭示的某些实施例。应理解，这些实例可适用于包含多个基础层和/或增强层的配置。此外，为了易于解释，参照某些实施例，以下揭示内容包含术语“帧”或“块”。然而，这些术语不意图具有限制性。举例来说，下文描述的技术可供任何合适的视频单元(例如，块(例如，CU、PU、TU、宏块等)、切片、帧等)使用。

视频译码标准

例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一像素通常含有亮度和色度信息。在未压缩的情况下，将从图像编码器传达到图像解码器的信息的数量太过巨大以致不可能实现实时图像发射。为了减少待发射的信息量，已开发出例如JPEG、MPEG和H.263标准等若干不同压缩方法。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉，和ITU-T H.264(也称为ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展，其全部全文以引用的方式并入。

此外，一种新的视频译码标准，即高效率视频译码(HEVC)，正由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发。HEVC的最新草案可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/ 12_Geneva/wg11/JCTVC-L1003-v34.zip获得(截至2013年11月22日)，其全文以引用的方式并入。对HEVC草案10的完全引用为Bross等人的文件JCTVC-L1003，“高效率视频译码(HEVC)文本说明书草案10”，ITU-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日至2013年1月23日。

下文参考附图更充分地描述新颖系统、设备和方法的各个方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。实际上，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备和方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用作为本文中所阐述的本发明的各种方面的补充或替代的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过技术方案的一或多个要素来体现本文中所揭示的任何方面。

尽管本文描述了特定方面，但这些方面的许多变化和排列落在本发明的范围内。尽管提及了优选方面的一些益处和优点，但本发明的范围并不希望限于特定益处、用途或目标。实际上本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。详细描述和图式仅说明本发明，而不具有限制性，本发明的范围由所附权利要求书及其等效物界定。

附图说明实例。附图中由参考数字指示的元件对应于在以下描述中由相同参考数字指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”等)开始的元件未必暗示所述元件具有特定次序。实际上，此些序数词仅用于指代相同或类似类型的不同元件。

视频译码系统

图1为说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指视频编码和视频解码。

如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。目的地装置14可对由源装置12产生的经编码的视频数据进行解码。源装置12和目的地装置14可包括广范围的装置，包含台式计算机、笔记本(例如，膝上型等)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机(in-carcomputer)或其类似者。在一些实例中，源装置12和目的地装置14可经装备以用于无线通信。

目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，信道16可包括使得源装置12能够实时将经编码的视频数据直接发射到目的地装置14的通信媒体。在此实例中，源装置12可根据通信标准(例如无线通信协议)来调制经编码的视频数据，且可将经调制视频数据发射到目的地装置14。通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它设备。

在另一实例中，信道16可对应于存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取所述存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频数据的其它合适的数字存储媒体。在另一实例中，信道16可包含文件服务器或存储由源装置12产生的经编码视频的另一中间存储装置。在此实例中，目的地装置14可经由串流或下载而存取存储在文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可为能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置14的服务器类型。实例文件服务器包含网络服务器(例如，用于网站等)、FTP服务器、网络附接存储(NAS)装置，和本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)来存取经编码的视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接等)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。经编码视频数据从文件服务器的发射可为串流发射、下载发射或两者的组合。

本发明的技术不限于无线应用或设置。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、例如经由因特网的串流视频发射(例如，HTTP动态自适应串流(DASH)等)、用于存储于数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频串流视频重放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前俘获的视频数据的视频存档、从视频内容提供者接收视频数据的视频馈入接口和/或用于产生视频数据的计算机图形系统等源，或此些源的组合。

视频编码器20可经配置以对所俘获的、预先俘获的或计算机产生的视频数据进行编码。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。还可将经编码视频数据存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码和/或重放。

在图1的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由信道16接收经编码视频数据。经编码的视频数据可包含由视频编码器20产生的表示视频数据的多种语法元素。所述语法元素可描述块和其它译码单位(例如，图片群组(GOP))的特性和/或处理。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码视频数据包含在一起。

显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据。显示装置32可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30可根据视频压缩标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准操作，所述标准例如ITU-T H.264标准，或者被称作MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。

尽管图1的实例中未展示，但视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件和软件以处置对共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

再次，图1仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设置(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、经由网络串流，或其类似者。编码装置可编码数据且将数据存储到存储器，且/或解码装置可从存储器检索数据且解码数据。在许多实例中，通过并不彼此通信而是简单地编码数据到存储器和/或从存储器检索数据且解码数据的装置执行编码和解码。

视频编码器20和视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施技术时，装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器在硬件中执行指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的一部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。

如上文简要提及，视频编码器20对视频数据进行编码。视频数据可包括一或多个图片。图片中的每一者为形成视频的一部分的静态图像。在一些情况下，图片可被称为视频“帧”。当视频编码器20对视频数据进行编码时，视频编码器20可产生位流。位流可包含形成视频数据的经译码表示的位序列。位流可包含经译码图片和相关联数据。经译码图片为图片的经译码表示。

为产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对所述图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数据。所述相关联数据可包含视频参数集(VPS)、序列参数集、图片参数集、自适应参数集和其它语法结构。序列参数集(SPS)可含有适用于零或更多个图片序列的参数。图片参数集(PPS)可含有适用于零或更多个图片的参数。自适应参数集(APS)可含有适用于零或更多个图片的参数。APS中的参数可为比PPS中的参数更可能改变的参数。

为产生经译码图片，视频编码器20可将图片分割为大小相等的视频块。视频块可为样本的二维阵列。视频块中的每一者与树块相关联。在一些情况下，树块可被称作最大译码单元(LCU)。HEVC的树块可大致类似于例如H.264/AVC等前述标准的宏块。然而，树块不必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割将树块的视频块分割成与CU相关联的视频块(因此名称为“树块”)。

在一些实例中，视频编码器20可将一图片分割成多个切片。所述切片中的每一者可包含整数数目个CU。在一些情况下，一切片包括整数数目个树块。在其它情况下，切片的边界可在树块内。

作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称为“经译码切片”。

为产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包括表示树块的经编码版本的数据。

当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中的树块执行编码操作(即，编码)。举例来说，视频编码器20可按如下次序来编码切片的树块：跨越切片中的树块的最顶行从左到右进行，接着跨越树块的下一较低行从左到右进行，以此类推，直到视频编码器20已编码切片中的树块的每一者。

作为根据光栅扫描次序编码树块的结果，可已编码在特定树块的左上方的树块，但尚未编码在给定树块的右下方的树块。因此，当编码给定树块时，视频编码器20可能够存取通过编码在给定树块的左上方的树块而产生的信息。然而，当编码给定树块时，视频编码器20可能不能够存取通过编码在给定树块的右下方的树块而产生的信息。

为了产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割以将视频块划分为越来越小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子子块，以此类推。分割的CU可为视频块被分割成与其它CU相关联的视频块的CU。未分割CU可为视频块未被分割成与其它CU相关联的视频块的CU。

位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次数。CU的视频块在形状上可为正方形。CU的视频块的大小(例如，CU的大小)范围可从8×8像素直到具有最大64×64个像素或更大的树块的视频块的大小(例如，树块的大小)。

视频编码器20可根据z扫描次序对树块的每一CU执行编码操作(即，编码)。换句话说，视频编码器20可按所述次序编码左上CU、右上CU、左下CU和接着右下CU。当视频编码器20对经分割的CU执行编码操作时，视频编码器20可根据z扫描次序编码与经分割的CU的视频块的子块相关联的CU。换句话说，视频编码器20可按所述次序编码与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU，且接着编码与右下子块相关联的CU。

作为根据z扫描次序编码树块的CU的结果，可已编码在给定CU的上方、左上方、右上方、左侧和左下方的CU。尚未编码在给定CU的右下方的CU。因此，当编码给定CU时，视频编码器20可能够存取通过编码邻接给定CU的一些CU而产生的信息。然而，当编码给定CU时，视频编码器20可能不能够存取通过编码邻接给定CU的其它CU而产生的信息。

当视频编码器20编码未分割的CU时，视频编码器20可产生用于所述CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生用于CU的每一PU的经预测视频块。PU的经预测视频块可为样本块。视频编码器20可使用帧内预测或帧间预测来产生用于PU的经预测视频块。

当视频编码器20使用帧内预测来产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧内预测来产生CU的PU的经预测视频块，那么CU为经帧内预测的CU。当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可基于不同于与所述PU相关联的图片的一或多个图片的经解码样本产生所述PU的经预测视频块。如果视频编码器20使用帧间预测来产生CU的PU的经预测视频块，那么所述CU为经帧间预测CU。

此外，当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可产生所述PU的运动信息。用于PU的运动信息可指示所述PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为除与PU相关联的图片以外的图片。在一些情况下，PU的参考块也可被称作PU的“参考样本”。视频编码器20可基于PU的参考块产生所述PU的经预测视频块。

在视频编码器20产生用于CU的一或多个PU的经预测视频块之后，视频编码器20可基于用于CU的所述PU的所述经预测视频块产生所述CU的残余数据。用于CU的残余数据可指示用于CU的PU的经预测视频块与CU的原始视频块中的样本之间的差异。

此外，作为对未经分割的CU执行编码操作的一部分，视频编码器20可对所述CU的残余数据执行递归四叉树分割，以将所述CU的残余数据分割成与所述CU的变换单元(TU)相关联的残余数据的一或多个块(即，残余视频块)。CU的每一TU可与不同残余视频块相关联。

视频译码器20可对与TU相关联的残余视频块应用一或多个变换以产生与TU相关联的变换系数块(例如，变换系数的块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。

在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化过程。量化大体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减小与变换系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。

视频编码器20可使每一CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何量化与所述CU相关联的变换系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。

在视频编码器20量化变换系数块之后，视频编码器20可产生表示经量化变换系数块中的变换系数的语法元素集。视频编码器20可将例如上下文自适应性二进制算术译码(CABAC)操作等熵编码操作应用于这些语法元素中的一些。也可使用例如内容自适应性可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码或其它二进制算术译码等其它熵译码技术。

由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中的每一者可为含有NAL单元中的数据类型的指示和含有所述数据的字节的语法结构。举例来说，NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、补充增强信息(SEI)、存取单元分隔符、填充数据或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。

视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从所述位流提取语法元素。视频解码器30可基于从位流提取的语法元素重建视频数据的图片。基于语法元素重建视频数据的过程可与由视频编码器20执行以产生语法元素的过程大体上互逆。

在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生用于CU的PU的经预测视频块。另外，视频解码器30可逆量化与CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行逆变换以重建与CU的TU相关联的残余视频块。在产生经预测视频块且重建残余视频块之后，视频解码器30可基于经预测视频块和残余视频块重建CU的视频块。以此方式，视频解码器30可基于位流中的语法元素重建CU的视频块。

视频编码器

图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20可经配置以执行本发明的技术中的任一者或全部。作为一个实例，预测单元100可经配置以执行本发明中描述的技术中的任一者或全部。在另一实施例中，视频编码器20包括任选层间预测单元128，其经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测单元100(例如，帧间预测单元121和/或帧内预测单元126)执行，在此情况下可省略层间预测单元128。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。如下文参看图6进一步论述，视频编码器20的一或多个组件可经配置以执行图6中说明的方法。举例来说，帧间预测单元121(例如，经由运动估计单元122和/或运动补偿单元124)、帧内预测单元126或层间预测单元128可经配置以一起或单独执行图6中说明的方法。

在一些情况下，视频编码器20可被认为是与图4中展示的视频编码器400(下文论述)相同，但相应图式中强调视频编码器的不同方面。具体来说，图1的视频编码器20的说明大体关注关于基于块的编码的特征，而图4中的视频编码器400的说明更确切地说关注关于可缩放视频译码和具有增加的位深度的EL样本的层间预测的特征。在一些实例中，本发明中描述的技术可在视频编码器20和视频编码器400的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。

视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。

在图2的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测单元100、残余产生单元102、变换单元104、量化单元106、逆量化单元108、逆变换单元110、重建单元112、滤波器单元113、经解码图片缓冲器114和熵编码单元116。预测单元100包含帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126和层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。此外，运动估计单元122与运动补偿单元124可高度集成，但出于解释的目的而在图2的实例中分开来表示。

视频编码器20可接收视频数据。视频编码器20可接收来自各种源的视频数据。举例来说，视频编码器20可从视频源18(图1)或另一源接收视频数据。视频数据可表示一系列图片。为编码视频数据，视频编码器20可对图片中的每一者执行编码操作。作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的一部分，视频编码器20可对切片中的树块执行编码操作。

作为对树块执行编码操作的一部分，预测单元100可对树块的视频块执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测单元100可将树块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。

与CU相关联的视频块的大小范围可从8×8样本高达最大64×64样本或更大的树块大小。在本发明中，“NxN”和“N乘N”可互换使用来指代在垂直和水平尺寸方面的视频块的样本尺寸，例如，16x16样本或16乘16样本。一般来说，16×16视频块在垂直方向上具有16个样本(y＝16)，且在水平方向上具有16个样本(x＝16)。同样，N×N块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。

此外，作为对树块执行编码操作的一部分，预测单元100可产生用于所述树块的阶层式四叉树数据结构。举例来说，树块可对应于四叉树数据结构的根节点。如果预测单元100将树块的视频块分割成四个子块，那么根节点在所述四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测单元100将子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，其中每一者对应于与子子块中的一者相关联的CU。

四叉树数据结构的每一节点可含有用于对应树块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU的视频块是否被分割(例如，分裂)成四个子块。用于CU的语法元素可递归地界定，且可取决于所述CU的视频块是否分裂成子块。视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于用于对应树块的四叉树数据结构的数据。

视频编码器20可对树块的每一未分割CU执行编码操作。当视频编码器20对未分割CU执行编码操作时，视频编码器20产生表示未分割CU的经编码表示的数据。

作为对CU执行编码操作的一部分，预测单元100可在CU的一或多个PU之间分割CU的视频块。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2Nx2N，视频编码器20和视频解码器30可支持2Nx2N或NxN的PU大小，以及2Nx2N、2NxN、Nx2N、NxN、2NxnU、nLx2N、nRx2N或类似者的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的不对称分割。在一些实例中，预测单元100可执行几何分割以沿并不按直角与CU的视频块的侧部会合的边界在CU的PU间分割CU的视频块。

帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生用于所述PU的运动信息。运动补偿单元124可基于运动信息和除与CU相关联的图片(例如，参考图片)之外的图片的经解码样本产生PU的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可被称作经帧间预测视频块。

切片可为I切片、P切片，或B切片。运动估计单元122和运动补偿单元124可取决于PU处于I切片、P切片还是B切片中而对CU的PU执行不同操作。在I切片中，所有PU是经帧内预测。因此，如果PU在I切片中，那么运动估计单元122和运动补偿单元124不对PU执行帧间预测。

如果PU处于P切片中，那么含有PU的图片与称为“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于其它图片的帧间预测的样本。当运动估计单元122关于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片以找出用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的一组样本，例如样本块。运动估计单元122可使用多种量度来确定参考图片中的一组样本如何紧密地对应于PU的视频块中的样本。举例来说，运动估计单元122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定参考图片中的一组样本如何紧密地对应于PU的视频块中的样本。

在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有参考块的参考图片的参考索引，以及指示PU与参考块之间的空间位移的运动向量。在各种实例中，运动估计单元122可以变化的精确度产生运动向量。举例来说，运动估计单元122可以四分之一样本精确度、八分之一样本精确度或其它分数样本精确度产生运动向量。在分数样本精确度的状况下，参考块值可从整数位置样本值内插在参考图片中。运动估计单元122可输出参考索引和运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动信息识别的参考块而产生PU的经预测视频块。

如果PU在B切片中，那么含有PU的图片可与称为“列表0”和“列表1”的两参考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组合相关联。

此外，如果PU在B切片中，那么运动估计单元122可对PU执行单向预测或双向预测。当运动估计单元122对PU执行单向预测时，运动估计单元122可搜索列表0或列表1的参考图片以找出用于所述PU的参考块。运动估计单元122可接着产生指示列表0或列表1中的含有参考块的参考图片的参考索引，以及指示PU与所述参考块之间的空间位移的运动向量。运动估计单元122可输出参考索引、预测方向指示符和运动向量作为所述PU的运动信息。预测方向指示符可指示参考索引指示列表0还是列表1中的参考图片。运动补偿单元124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。

当运动估计单元122针对PU执行双向预测时，运动估计单元122可搜索列表0中的参考图片以找到用于所述PU的参考块，且还可搜索列表1中的参考图片以找到用于所述PU的另一参考块。运动估计单元122可接着产生指示列表0和列表1中的含有参考块的参考图片的参考索引，以及指示所述参考块与PU之间的空间位移的运动向量。运动估计单元122可输出PU的参考索引和运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。

在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到熵编码单元116。实际上，运动估计单元122可参考另一PU的运动信息而信令PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实例中，运动估计单元122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示PU具有与相邻PU相同的运动信息。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU和运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量和运动向量差来确定PU的运动向量。通过在信令第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能够使用较少位信令第二PU的运动信息。

作为对CU执行编码操作的一部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中的其它PU的经解码样本来产生用于PU的预测数据。用于PU的预测数据可包含经预测视频块和各种语法元素。帧内预测单元126可对I切片、P切片以及B切片中的PU执行帧内预测。

为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式以产生用于PU的预测数据的多个集合。当帧内预测单元126使用帧内预测模式来产生用于PU的预测数据的集合时，帧内预测单元126可在与帧内预测模式相关联的方向和/或梯度上跨PU的视频块从相邻PU的视频块扩展样本。相邻PU可在所述PU的上方、右上方、左上方或左侧，假定对于PU、CU和树块采用从左到右、从上到下的编码次序。帧内预测单元126可取决于PU的大小而使用各种数目个帧内预测模式，例如33个定向帧内预测模式。

预测单元100可从由运动补偿单元124针对PU产生的预测数据或由帧内预测单元126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测单元100基于预测数据集合的速率/失真量度来选择用于PU的预测数据。

如果预测单元100选择由帧内预测单元126产生的预测数据，那么预测单元100可信令用于产生PU的预测数据的帧内预测模式，例如选定帧内预测模式。预测单元100可以各种方式信令选定帧内预测模式。举例来说，有可能选定帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，预测单元100可产生用以指示选定帧内预测模式与相邻PU的帧内预测模式相同的语法元素。

如上文所论述，视频编码器20可包含层间预测单元128。层间预测单元128经配置以使用SVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，EL中的当前块)。此预测可被称作层间预测。层间预测单元128利用预测方法减少层间冗余，借此改进译码效率且减少计算资源要求。层间预测的一些实例可包含层间帧内预测、层间运动预测和层间残余预测。层间帧内预测使用基础层中的协同定位块的重建来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。

在预测单元100选择用于CU的PU的预测数据之后，残余产生单元102可通过从CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块而产生用于CU的残余数据。CU的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来说，残余数据可包含对应于CU的PU的经预测视频块中的样本的亮度分量与CU的原始视频块中的样本的亮度分量之间的差的残余视频块。此外，CU的残余数据可包含对应于CU的PU的经预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余视频块。

预测单元100可执行四叉树分割以将CU的残余视频块分割成子块。每一未划分残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小和位置可或可不基于与CU的PU相关联的视频块的大小和位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与残余视频块中的每一者相关联的节点。CU的TU可以对应于RQT的叶节点。

变换单元104可通过将一或多个变换应用到与CU的每一TU相关联的残余视频块而产生用于所述TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的2D矩阵。变换单元104可将各种变换应用到与TU相关联的残余视频块。举例来说，变换单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用到与TU相关联的残余视频块。

在变换单元104产生与TU相关联的变换系数块之后，量化单元106可量化所述变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值而量化与CU的TU相关联的变换系数块。

视频编码器20可以各种方式使QP值与CU相关联。举例来说，视频编码器20可对与CU相关联的树块执行速率失真分析。在速率-失真分析中，视频编码器20可通过对树块执行多次编码操作而产生所述树块的多个经译码表示。在视频编码器20产生树块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率和失真量度的树块的经译码表示中的CU相关联时，视频编码器20可信令所述给定QP值与CU相关联。

逆量化单元108和逆变换单元110可分别将逆量化和逆变换应用于变换系数块以从变换系数块重建残余视频块。重建单元112可将经重建残余视频块添加到来自由预测单元100产生的一或多个经预测视频块的对应样本，以产生与TU相关联的经重建视频块。通过以此方式重建CU的每一TU的视频块，视频编码器20可重建CU的视频块。

在重建单元112重建CU的视频块之后，滤波器单元113可执行解块操作以减小与所述CU相关联的视频块中的成块假象。在执行所述一或多个解块操作之后，滤波器单元113可将CU的经重建视频块存储在经解码图片缓冲器114中。运动估计单元122和运动补偿单元124可使用含有所述经重建视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测单元126可使用经解码图片缓冲器114中的经重建视频块对处于与CU相同图片中的其它PU执行帧内预测。

熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收变换系数块且可从预测单元100接收语法元素。当熵编码单元116接收所述数据时，熵编码单元116可执行一或多个熵编码操作以产生经熵编码数据。举例来说，视频编码器20可对所述数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作，或另一类型的熵编码操作。熵编码单元116可输出包含经熵编码数据的位流。

作为对数据执行熵编码操作的一部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，那么上下文模型可指示特定二进制数具有特定值的概率的估计值。在CABAC的上下文中，术语“二进制数”用于指语法元素的二进制化版本的位。

视频解码器

图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频解码器30可经配置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162和/或帧内预测单元164可经配置以执行本发明中描述的技术中的任一者或全部。在一个实施例中，视频解码器30可任选地包含层间预测单元166，层间预测单元166经配置以执行本发明中描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测单元152(例如，运动补偿单元162和/或帧内预测单元164)执行，在此情况下可省略层间预测单元166。然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共享。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。如下文参看图6进一步论述，视频解码器30的一或多个组件可经配置以执行图6中说明的方法。举例来说，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以一起或单独执行图6中说明的方法。

在图3的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码单元150、预测单元152、逆量化单元154、逆变换单元156、重建单元158、滤波器单元159和经解码图片缓冲器160。预测单元152包含运动补偿单元162、帧内预测单元164和层间预测单元166。在一些实例中，视频解码器30可执行与关于图2的视频编码器20描述的编码遍次大体互逆的解码遍次。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。

视频解码器30可接收包括经编码的视频数据的位流。所述位流可包含多个语法元素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行剖析操作。作为对位流执行剖析操作的结果，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的一部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测单元152、逆量化单元154、逆变换单元156、重建单元158和滤波器单元159可执行重建操作，所述重建操作基于从位流提取的语法元素产生经解码视频数据。

如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从序列参数集NAL单元提取序列参数集且对所述序列参数集进行熵解码、从图片参数集NAL单元提取图片参数集且对所述图片参数集进行熵解码、从SEI NAL单元提取SEI数据且对所述SEI数据进行熵解码，等等。

此外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从经译码切片NAL单元提取经译码切片且对所述经译码切片进行熵解码。经译码切片中的每一者可包含切片标头和切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作(例如，CABAC解码操作)，以恢复切片标头。

作为从经译码切片NAL单元提取切片数据的一部分，熵解码单元150可执行从切片数据中的经译码CU提取语法元素的剖析操作。所提取的语法元素可包含与变换系数块相关联的语法元素。熵解码单元150可接着对语法元素中的一些执行CABAC解码操作。

在熵解码单元150对未分割的CU执行剖析操作之后，视频解码器30可对未分割的CU执行重建操作。为对未经分割CU执行重建操作，视频解码器30可对CU的每一TU执行重建操作。通过对CU的每一TU执行重建操作，视频解码器30可重建与CU相关联的残余视频块。

作为对TU执行重建操作的一部分，逆量化单元154可逆量化(例如，解量化)与TU相关联的变换系数块。逆量化单元154可以类似于针对HEVC所提议或由H.264解码标准定义的逆量化过程的方式来逆量化变换系数块。逆量化单元154可使用由视频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定逆量化单元154应用的逆量化的程度。

在逆量化单元154逆量化变换系数块之后，逆变换单元156可产生用于与变换系数块相关联的TU的残余视频块。逆变换单元156可将逆变换应用到变换系数块以便产生所述TU的残余视频块。举例来说，逆变换单元156可将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。在一些实例中，逆变换单元156可基于来自视频编码器20的信令确定待应用于变换系数块的逆变换。在此些实例中，逆变换单元156可基于在用于与变换系数块相关联的树块的四叉树的根节点处的所信令变换来确定逆变换。在其它实例中，逆变换单元156可从例如块大小、译码模式或类似者等一或多个译码特性推断逆变换。在一些实例中，逆变换单元156可应用级联的逆变换。

在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而改善PU的经预测视频块。用于将用于以子样本精确度进行运动补偿的内插滤波器的识别符可包含在语法元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据所接收的语法元素确定由视频编码器20使用之的内插滤波器且使用所述内插滤波器来产生经预测视频块。

如果PU是使用帧内预测编码，那么帧内预测单元164可执行帧内预测以产生用于PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU的帧内预测模式。位流可包含帧内预测模块164可用以确定PU的帧内预测模式的语法元素。

在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，可能有可能当前PU的帧内预测模式与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可随后使用帧内预测模式基于在空间上相邻的PU的视频块而产生用于PU的预测数据(例如，经预测样本)。

重建单元158可使用与CU的TU相关联的残余视频块以及CU的PU的经预测测视频块(例如，帧内预测数据或帧间预测数据，如果适用)来重建CU的视频块。因此，视频解码器30可基于位流中的语法元素产生经预测视频块和残余视频块，且可基于所述经预测视频块和所述残余视频块产生视频块。

在重建单元158重建CU的视频块之后，滤波器单元159可执行解块操作以减小与所述CU相关联的成块假象。在滤波器单元159执行解块操作以减小与CU相关联的成块假影之后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片以用于后续运动补偿、帧内预测和在例如图1的显示装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测操作。

可缩放视频译码(SVC)和位深度缩放

如上文所论述，可缩放视频译码(SVC)可用于提供质量可缩放性(例如，信噪比(SNR)可缩放性、空间可缩放性、时间可缩放性、位深度可缩放性、色域可缩放性或动态范围可缩放性)。增强层可包括具有比对应基础层样本高的位深度的样本。举例来说，增强层中的样本可具有10位的位深度，而基础层中的对应样本可具有8位的位深度。添加到样本的位深度的每一额外位使样本可表示的离散值的数目加倍。因此，可由10位样本表示的离散值的数目为可由8位样本表示的离散值的数目的四倍大。当然，基础层样本可具有除8位以外的位深度，且增强层样本可具有除10位以外的位深度。对于亮度样本，增强层中的额外位深度允许高动态范围(HDR)视频的译码，从而支持视频图像的最暗与最亮部分之间的增加的对比度。对于色度样本，增强层中的额外位深度允许包括更广种类的颜色的视频的译码。

SVC的一些实施方案可包含基于基础层中的样本或块对增强层中的样本或块的预测。此类预测可被称为层间预测，且其可在SVC中利用以便减小层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测和层间残余预测。层间帧内预测使用基础层中的对应块或样本的重建来预测增强层中的块或样本。层间运动预测使用基础层的运动信息来预测增强层中的运动信息。层间残余预测使用基础层的残余来预测增强层的残余。

可根据本发明的各方面使用层间预测来使用基础层中的较低位深度样本预测增强层中的较高位深度样本。在一些情况下，可通过例如乘以一常数或向左移位等简单操作而从基础层样本预测增强层样本。向左移位等效于乘以因数2，且涉及将一或多个位添加到基础层样本的末端，借此升高位深度。尽管此类简单操作对于一些情况可能足够，但其对于其它应用不能提供良好结果。

用于从基础层样本预测增强层样本的简单操作的有用性取决于相应层使用的样本表示的关系。简单操作可在以下情况中提供较差预测：(例如)当增强层样本表示与基础层样本不同的色度分量时，例如当根据BT.709表示基础层样本且根据BT.2020表示增强层样本时(其两者均由ITU-R(国际电信联盟-无线电通信部门)定义)。简单操作还可在以下情况中提供较差预测：当基础层样本表示具有与增强层样本不同的伽马非线性的亮度值时，或当一个层中的样本表示线性尺度上的亮度值而另一层中的样本表示非线性尺度上的样本时。如本说明书中所使用，术语非线性尺度具有其常见含义，且还指代部分线性和部分非线性的尺度、由多个不同线性分量组成的尺度，及其等效物。

在一些实施例中，增强层样本可通过使用查找表基于基础层样本来预测，所述查找表将每一可能基础层样本值映射到对应增强层样本值上。

预测质量可不仅取决于可由每一层中的样本表示的可能色度和亮度值的范围，而且还取决于经译码的特定视频中的实际样本值的分布。举例来说，增强层使用的样本表示可线性地映射到基础层使用的样本表示，但实际样本的分布可能不在可能值的完全范围上均一地散布。实际上，实际样本可在尺度的特定部分处聚集。在此情况下，可通过朝向尺度的聚集样本的部分偏斜预测而获得较好结果。

根据本发明的方面的实施例提供用于可缩放视频译码中的层间预测的优点，包含具有不同样本表示和样本值的不均匀分布的层之间的预测。在下文中相对于附图进一步详细揭示特定方面。

图4为说明可实施根据本发明的各方面的技术的可缩放视频编码器的实例的框图。图4的视频编码器400可对应于图1和图2的视频编码器20。然而，图4中的编码器400的描绘关注特定地关于可缩放视频译码和层间预测而非更一般化地关于基于块的视频译码的方面。

在图4的实例中，视频编码器400为包含BL子系统420和EL子系统440的可缩放视频编码器。BL子系统420编码与BL相关联的视频数据，且EL子系统440编码与EL相关联的视频数据。BL子系统420产生的经编码视频数据可自身解码以产生具有基础质量水平的经重建视频。EL子系统440产生的经编码视频数据可能不可能自身进行有意义的解码，但其可与BL数据组合解码以产生具有增强的质量的经重建视频。在一些实施例中，与BL相关联的视频数据可与较老解码器或并不具有充足计算资源来有效解码和呈现组合的较高质量视频的解码器兼容。如图4中所描绘，EL子系统440编码EL，所述EL支持相对于由BL子系统420编码的BL具有增加的位深度的样本值。具有增加的位深度的样本可实现具有例如较高动态范围或较多变化的颜色的视频的呈现。

BL子系统420和EL子系统440可在硬件中、软件中或硬件与软件的组合中实施。尽管BL子系统420和EL子系统440出于概念的目的在图4中单独描绘，但其可共享特定硬件组件或软件模块。举例来说，BL子系统420中的熵编码单元428可在与EL子系统440的熵编码单元448相同的硬件组件或软件模块中实施。

BL子系统420包含映射单元422、残余计算单元424、熵编码单元428、重建和存储单元430以及预测单元432。EL子系统440包含逆映射单元442、残余计算单元444、熵编码单元448、重建和存储单元450以及预测单元452。尽管BL子系统420和EL子系统440的各种构成单元出于概念的目的单独说明，但在一些实施例中其可组合为较少单元或细分为额外单元。下文论述的许多功能性出现于BL子系统420和EL子系统440两者中。涵盖两个子系统共享的常见功能性的详细实例已在上文相对于图2的视频编码器20论述。出于图4的目的，论述将关注允许两个子系统一起工作且产生可缩放输出的视频编码器400的方面。

在编码过程期间，视频编码器400接收待编码的视频数据。作为输入而接收的视频数据可由BL子系统420和EL子系统440两者处理。在BL子系统420中，处理开始于映射单元422处，其中将视频输入中的样本从较高EL位深度映射到较低BL位深度。举例来说，到映射单元422的输入可包括表示具有例如10、12或14位的位深度的HDR视频的样本。映射单元422的输出可因而包括表示具有例如8位等较低位深度的LDR视频的样本。映射单元422可以不同方式计算BL样本的值，例如通过将一或多个算术运算或数学函数应用于EL样本。在一些实施例中，映射单元422可通过应用分段线性函数而计算BL样本，所述分段线性函数将不同乘法因数施加到位于不同范围中的EL样本值。在其它实施例中，映射单元422可通过将对数函数应用于EL样本值而计算BL样本。此外，映射单元422可应用可在逆映射单元442中使用的任何函数的逆转，在下文中相对于EL子系统440更详细地论述。然而，在一些实施例中，由映射单元422与逆映射单元442应用的操作之间将不存在清晰对应，只是映射单元422具有减少的位深度的效果且逆映射单元442具有增加的位深度的效果。映射单元422还可应用经设计以近似将不可能或不能够精确应用的任何数学函数的一系列操作。在一些实施例中，映射单元422可经配置以基于作为每一样本的值的替代或补充的准则将不同算术运算或数学函数应用于不同EL样本。举例来说，所述准则可取决于样本相对于块或帧的位置、相同切片中的其它EL样本的值、语法信息或配置参数。不管映射单元422应用的特定操作如何，输入视频切片的EL样本都转换为具有较低位深度的BL样本。

映射单元422产生的BL样本可由预测单元432和残余计算单元424使用。预测单元432可支持多种预测模式，且其可将BL样本与来自若干不同模式的经预测样本比较以便确定所述模式中的哪一者将产生针对特定视频切片的最佳预测。预测单元432还可例如通过将视频帧划分为最大译码单元(LCU)、译码单元(CU)和子CU的不同组合而比较各种分割选项。在一些实施例中，可使用速率失真分析评估各种分割和预测可能性。预测单元432应用的分割和模式选择过程可根据图2的预测单元100使用的分割和模式选择过程。可由预测单元432执行的预测的实例在上文相对于图2的运动估计单元122、运动补偿单元124和帧内预测单元126更详细地论述。

在残余计算单元424处，编码器400计算由映射单元422确定的实际BL样本与从由预测单元432先前处理的视频切片产生的任何经预测样本之间的差异。实际BL样本与对应经预测样本之间的所述差异可被称为残余样本。类似地，实际样本块与对应经预测块之间的差异可被称为残余块。来自残余计算单元424的残余可从样本域变换到替代域，例如频域。所产生的变换系数可经量化，随后由熵编码单元428编码。熵编码单元428还编码来自预测单元432的语法数据。此语法数据描述用于计算从其导出经量化变换系数的残余的分割和预测。熵编码单元428的输出为经编码BL视频，其变成由编码器400产生的可缩放视频位流的一部分。上文相对于图2的变换单元104、量化单元106和熵编码单元116提供变换、量化和熵编码的更详细实例。

在重建和存储单元430处，将变换和量化操作逆转以便重建样本域中的残余值。在变换和量化之前，经重建残余值可与用于确定原始残余值的经预测样本组合。经重建残余与对应预测的组合产生经重建视频切片。经重建视频切片可包含例如在变换和量化期间由译码过程引入的失真。上文相对于图2的逆量化单元108、逆变换单元110和重建单元112描述重建过程的更详细实例。

重建和存储单元430可包含用于存储来自经重建视频切片的视频数据的存储器。存储于存储器中的经重建视频数据可用作BL子系统420或EL子系统440中的将来预测回合的基础。编码器400基于经重建数据(而非由映射单元422产生的原始数据)作出预测以便考虑译码过程中引入的失真和确保编码器作出的预测可使用将可被解码器获得的数据再现。可例如由预测单元432或由逆映射单元442执行预测。举例来说，经重建视频数据可包括参考帧，且预测单元432可使用帧间预测来预测后续帧。经重建视频数据还可包括参考块，且预测单元432可使用帧内预测来预测邻近块。编码器400还可使用逆映射单元442执行层间预测，如下文相对于EL子系统440所论述。上文相对于图2的经解码图片缓冲器114提供存储过程的更详细实例；相对于图2的运动估计单元112、运动补偿单元124和帧内预测单元126论述各种预测方案的更详细实例。

如先前所描述，编码器400包含BL子系统420和EL子系统440。BL子系统420的输出本身足够用以产生具有基础质量水平的视频输出。另一方面，EL子系统440的输出仅包含将所渲染视频的质量从与BL相关联的基础质量水平增加到与EL相关联的加强质量水平所必需的信息。此外，EL子系统的输出可不直接表示BL视频与EL视频之间的差异。实际上，其可表示实际EL视频与从BL视频导出的EL视频的某一经预测版本之间的差异。因此，EL子系统产生的输出可很大程度上取决于用于BL与EL之间的层间预测的方法。较好预测方法将产生更接近实际EL视频的预测，这又将允许EL子系统140产生具有增加的空间效率或更高视觉质量的编码。

在当前图4的论述之前，在此具体实施方式部分中较早解释了关于从BL样本预测EL样本的一般考虑因素。如上文所解释，例如乘以一常数或向左移位固定位数等简单操作可用于从具有较低位深度的BL样本预测EL样本。这些简单操作可能是有用的，因为其提供增加BL样本的位深度以与EL样本的预期位深度匹配的简单方法。然而，此类简单操作在用于EL样本的尺度与用于BL样本的尺度不成正比的情形中可提供较差预测性能。在此些情形中，可通过将不同操作应用于位于BL尺度的不同部分上的BL样本而获得较好预测。换句话说，可通过基于对BL样本的自适应调整而非固定或恒定调整来预测EL样本而获得较好结果。

如上文所解释，层间预测性能不仅取决于用于BL和EL样本的相应尺度，而且还取决于个别样本如何相对于所述尺度分布。因为样本可能不平均分布，所以采用可适于不同样本分布的预测方法可能是有益的。具体来说，如果使用自适应调整从BL样本预测EL样本，那么针对特定BL样本选定的特定调整参数可有利地不仅取决于BL尺度上特定样本的值，而且还取决于BL样本的总体分布和特定样本相对于所述分布的位置。用于一些应用，完整样本分布的详尽分析可能在计算上不可行，但可使用试探法确定考虑样本分布中的至少一些变化的自适应参数。

如EL子系统440中所描绘，逆映射单元442可用于层间预测。更确切地说，逆映射单元442可通过应用上文描述的种类的自适应调整而执行层间预测。举例来说，逆映射单元442可将经重建BL样本乘以特定比率以确定经预测EL样本。可由逆映射单元442取决于例如BL样本的值以及关于经重建样本所属的视频切片中的BL样本的总体分布的一或多个试探法而自适应地选择所述特定比率。

逆映射单元442可经配置以选择将使经预测EL样本中的误差最小化的自适应调整参数的集合。可(例如)带正负号差的平均值、绝对差的平均值或视频切片中的经预测样本与实际样本之间的平方差的平均值而测量经预测样本中的误差。还可使用这些平均值中的任一者的计算上有效的近似值。在一些实施例中，逆映射单元442可使用速率失真分析来选择调整参数且使经预测样本中的误差最小化。一旦逆映射单元442确定自适应调整参数，其就可以语法数据的形式发射到熵编码单元448，所述语法数据可由例如图5的解码器500使用以在解码EL视频数据的同时执行层间预测。

除层间预测的使用外，EL子系统440以类似于BL子系统420的方式起作用。逆映射单元442提供的层间预测功能性充当额外预测模式，所述额外预测模式对预测单元452提供的图片内和图片间预测模式(其是由BL子系统420的预测单元432提供的相同模式)进行补充。预测单元452可执行先前相对于预测单元432描述的模式选择以便针对各种视频切片选择最佳预测模式。模式选择还在上文相对于图2的预测单元100更详细地描述。

EL子系统440的其余单元以与BL子系统420的对应单元相同的方式起作用，只是其对具有更大位深度的样本操作。因此，残余计算单元444计算表示经预测EL样本与实际EL样本之间的差异的残余。所述残余可经变换到替代域，且所产生的系数可经量化，随后由熵编码单元448连同来自预测单元452的语法数据一起编码。在重建和存储单元450处，经量化变换系数可经逆量化、逆变换和与来自预测单元452的预测组合以形成经重建视频切片。经重建视频切片可由预测单元452使用作为用于额外预测回合的基础。来自EL子系统440的输出可与来自BL子系统420的输出组合以形成经编码可缩放位流，其是编码器400的输出。

图5为说明可实施根据本发明的各方面的技术的可缩放视频解码器的实例的框图。图5的视频解码器500可对应于图1和图3的视频解码器30。然而，图5中的解码器500的描绘关注特定地关于可缩放视频译码和层间预测而非更一般化地关于基于块的视频译码的方面。

在图5的实例中，视频解码器500为包含BL子系统520和EL子系统540的可缩放视频解码器。视频解码器500可执行与如图4中描述的由视频编码器400执行的编码过程大体互逆的解码过程。解码器500可接收包括编码EL和BL两者的视频的经编码可缩放位流作为输入。BL子系统520可解码与BL相关联的视频数据，且EL子系统540可解码与EL相关联的视频数据。如图5中所描绘，解码器500的输出可包含经解码BL位流和经解码EL位流。在一些实施例中，解码器500将以BL格式或EL格式中的仅一者提供输出。举例来说，如果解码器500为并不支持与EL相关联的较高位深度视频的传统解码器，那么其可仅包含BL子系统520，在此情况下经编码可缩放位流的EL部分将被忽略且将仅提供BL输出。或者，解码器500可支持较高位深度EL视频，但仅出于层间预测的目的使用由BL子系统520在内部产生的BL位流仅以EL格式输出。

BL子系统520和EL子系统540可在硬件中、软件中或硬件与软件的组合中实施。尽管BL子系统520和EL子系统540出于概念的目的在图5中单独描绘，但其可共享特定硬件组件或软件模块。举例来说，BL子系统520中的熵编码单元524可在与EL子系统540的熵编码单元546相同的硬件组件或软件模块中实施。

BL子系统520包含BL提取单元522、熵解码单元524、预测单元526以及重建和存储单元528。BL提取单元522接收包括EL和BL视频数据两者的经编码可缩放视频信息作为输入。BL提取单元522提取包括具有对应于基础视频质量水平的特定位深度的经编码视频样本的数据的BL部分。包括导出具有较高位深度的增强视频样本所必需的额外信息的数据的EL部分可不在BL子系统520内使用。

一旦从可缩放位流提取BL数据，其就由熵解码单元524进行熵解码，从而产生语法数据以及表示例如频域中的残余视频信息的经量化变换系数。在预测单元526处，使用语法数据例如通过帧内(空间)预测或帧间(运动)预测产生经预测视频块或经预测视频帧。在重建和存储单元528处，经量化变换系数经逆量化和逆变换，从而产生样本域中的残余信息。将所述残余信息添加到预测单元526产生的预测，从而产生含有由经重建BL视频样本组成的视频块的经重建视频帧或图片。一系列这些经重建视频帧构成经解码BL视频，其为BL子系统520的输出。所述经重建视频帧和块可随后由预测单元526使用以执行额外预测回合。上文分别相对于图3的(1)熵解码单元150；(2)运动补偿单元162和帧内预测单元164；以及(3)逆量化单元154、逆变换单元156、重建单元158和经解码图片缓冲器160而提供由(1)熵解码单元524；(2)预测单元526；以及(3)重建和存储单元528执行的过程的更详细实例。

如先前所描述，解码器500包含BL子系统520和EL子系统540。EL子系统540通过将来自经编码可缩放位流的EL部分的增强信息与从由BL子系统520产生的经解码BL视频产生的预测组合而产生增强的经解码视频。EL子系统540包含逆映射单元542、EL提取单元544、熵解码单元546、预测单元548以及重建和存储单元550。EL提取单元544从作为到EL子系统540的输入而接收的经编码可缩放位流提取EL数据。在熵解码单元546处，所提取EL数据经熵解码，从而产生语法数据以及表示例如频域中的残余视频信息的经量化变换系数。所述语法数据可用于产生包括经预测样本的经预测视频帧或视频块。可由预测单元548根据帧间预测模式、帧内预测模式或类似者产生预测。预测单元548还可使用逆映射单元542提供的层间预测，代替前述帧间和帧内预测或与前述帧间和帧内预测组合。熵解码单元546提供的语法数据可指定应针对由EL子系统540解码的EL视频序列的每一部分使用哪一预测模式。

逆映射单元542以与图4的逆映射单元442类似的方式执行层间预测，只是其接收(例如，确定或提取)来自由熵编码单元546提供的语法数据的自适应调整参数，而非基于优化计算选择所述参数。逆映射单元542并不执行此些优化计算，因为其不可存取用于产生经编码EL视频数据的原始EL样本。相反，图4的逆映射单元442执行所述优化计算以便产生语法数据，且使其可由逆映射单元542或解码器500的其它实施例中的类似层间预测单元获得。

在重建和存储单元550处，来自预测单元548的预测(可能包括来自逆映射单元542的层间预测)与样本域中的残余组合。重建和存储单元550通过逆量化和逆变换来自熵解码单元546的经量化变换系数而确定所述残余。残余与预测的所述组合产生包括经解码EL图片或帧的经重建EL视频，其为如图5中所描绘的EL子系统540和解码器500的最终输出。上文相对于图1和3的视频解码器30提供关于解码器500的特定功能性的更详细实例。

现转而参看图6，提供说明用于从BL样本确定EL样本的预测的实例方法的流程图。图6的方法600确切地说适于具有比对应BL样本高的位深度的EL样本的预测。在一些实施例中，EL包括能够表示比BL中的对应低动态范围样本更大范围的亮度值的高动态范围样本。在其它实施例中，EL包括能够表示比BL中的对应色度样本更宽范围的颜色的色度样本。如果方法600在支持一个以上EL和一个BL的视频编解码器(例如，编码器或解码器)中实施，那么方法600的步骤可与其它层间预测方法交错或同时执行。举例来说，如果方法600在支持位深度和空间分辨率两者的缩放的视频编解码器(例如，编码器或解码器)中实施，那么可在方法600之前、期间或之后执行与空间缩放相关联的任何层间预测步骤(例如上取样)。

为简单起见，方法600的论述将关注表示亮度值(其也可被称作强度值或强度)的BL和EL样本。然而，视频译码领域的技术人员将理解，体现在方法600中的本发明的技术可同样应用于测量视频图片的色度或其它方面的样本。此外，方法600的论述将参考样式，其可指代少量空间上邻近的样本之间相对强度的分布，例如单一视频块内以水平、垂直或对角线布置的3个样本。然而，本发明的技术也可用于基于其它类型的样本分布选择和应用自适应调整，例如涉及色度样本的分布、超过3个样本的分布、不布置在单一线中的样本的分布、一个以上块中样本的分布，以及包括经选择以用统计方式表示较大样本集合的样本的集合(例如通过从所述较大集合进行随机或伪随机选择)。

图6中说明的步骤可由编码器(例如，如图2或图4中示出的视频编码器)、解码器(例如，如图3或图5中示出的视频解码器)或任何其它组件执行。为方便起见，所述步骤描述为由译码器执行，所述译码器可为编码器、解码器或另一组件。

方法600开始于框601。在框605处，译码器确定BL中的每一样本的强度类别和样式类别。在一些实施例中，可由BL样本表示的可能强度的范围可划分成多个带。举例来说，如果BL样本具有8位的位深度，那么其可表示0到255的范围内的强度值。此范围可划分成相同大小的4个带，对应于范围0到63、64到127、128到191和192到255。如果使用此些带，那么与样本相关联的强度类别可对应于样本所处的强度带。在一些实施例中，所界定的带可不填充可能样本值的整个范围，因此对于落在所界定带外部的样本可需要额外类别。在另外的实施例中，带可不均一地设定大小。举例来说，带可在强度谱的中心附近较小，以便允许对中端样本的更精细粒度调整，这可对于其中总体样本分布含有较大比例的中端样本的视频特别有利。所述强度类别可基于BL样本的亮度值、BL样本的色度值或BL样本的亮度与色度值的组合来确定。

样式类别可基于例如正分类的BL样本和邻近所述经分类样本的多个样本。举例来说，所述邻近样本可包含在经分类样本左侧的一个样本和在经分类样本右侧的一个样本。可在右和左样本两者的强度大于经分类样本的强度的情况下指派第一类别，而可针对经分类样本与其相邻者之间的相对强度的其它组合指派其它类别。在一些实施例中，可基于除左侧和右侧的样本外的相邻样本(例如，上方和下方的样本或相对于经分类样本对角地定位的样本)确定样式类别。如上所述，在一些实施例中，可考虑两个以上邻近样本，且在其它实施例中，所考虑的样本可不邻近。样本类别也可称为分布类别。

方法600在框610处继续，其中将预备映射应用于在框302处分类的BL样本中的每一者。在一些实施例中，所述预备映射并不考虑所确定的类别。其将数学函数或一系列计算运算应用于BL样本以确定对应EL样本的预备预测。在一些实施例中，所述预备映射可具有将BL样本的位深度增加到EL样本的所需位深度的效果。在一些实施例中，预备映射可提供比将在下文相对于块306论述的自适应调整粗略的调整。举例来说，预备映射可涉及求幂或乘法，而自适应调整可涉及乘法或加法。在一些实施例中，所述预备映射利用查找表，所述查找表将每一BL样本值(或值的集合)映射到对应EL样本值(或值的集合)。在一些实施例中，所述预备映射可完全跳过，且BL样本自身可在方法600的稍后步骤中代替所述预备预测。可用于预备映射的操作的额外实例在此具体实施方式部分中在上文连同用于在此些操作之间选择的相关考虑因素一起论述。

在框615处，可通过调整操作使用自适应调整参数改善来自框610的预备预测。可针对在框605处确定的类别中的每一者执行一个调整操作。举例来说，如果针对特定BL样本确定一个强度类别和一个样式类别，那么两个调整操作可应用于从所述样本导出的预备预测。每一调整操作将使用与对应类别相关联的自适应调整参数。在一些实施例中，所述调整操作对于每种类型的类别将为相同的。举例来说，针对强度类别和样式类别两者的调整操作可为乘法，在此情况下所述预备预测将乘以强度调整参数和样式调整参数两者。或者，不同调整操作可用于不同类型的类别，例如乘法可用于应用与强度类别相关联的调整参数，且加法可用于应用与样式类别相关联的调整参数，或反之亦然。如此具体实施方式部分中在上文所论述，调整参数可包含乘法比率或系数、加法或减法偏移量或类似者。此外，如先前相对于图4和5的逆映射单元442和542所论述，用于每一类别的调整参数可经选择(例如，在编码EL视频时确定)以使经预测EL样本与实际EL样本之间的失真或误差最小化。在一些实施例中，单一调整参数将针对配合所述类别的特定视频中的所有样本与单一类别相关联。然而，在其它实施例中，不同调整参数可针对视频的不同部分中的样本与相同类别相关联。举例来说，位于特定强度带中的第一块的样本可与调整参数a相关联，而位于相同强度带中的第二块的样本可与调整参数b相关联，其中b不等于a。不同调整参数可不仅针对不同块而且针对不同块群组、不同块部分、不同帧等与单一类别相关联。为改进译码效率，可从时间或空间上接近的区预测用于特定区(例如，块、帧等)的调整参数。

在框620处，一旦应用自适应调整参数从预备预测确定经改善预测，就可将残余值添加到所述经改善预测以确定经重建EL样本，所述经重建EL样本是方法600的最终产物。方法600在框625处结束。

如上文所论述，图2的视频编码器20、图3的视频解码器30、图4的视频编码器400或图5的视频解码器500的一或多个组件可用于实施本发明中论述的技术中的任一者，例如确定针对每一BL样本的一或多个类别、应用预备映射来确定预备EL预测、将自适应调整应用于每一预备EL预测，以及将残余添加到经改进的EL预测。

可使用多种不同技术和技艺中的任一者来表示本文中所揭示的信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示可能贯穿上述描述提及的数据、指令、命令、信息、信号、位、符号和码片。

结合本文揭示的实施例所描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件与软件的此可互换性，上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路和步骤。此类功能性是实施为硬件还是软件取决于特定应用和强加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但此类实施决策不应被解释为会导致脱离本发明的范围。

本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。此些技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包含在无线通信装置手持机和其它装置中的应用的多种用途。被描述为模块或组件的任何特征可共同实施于集成的逻辑装置中或单独实施为离散但可互操作的逻辑装置。如果以软件实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式携载或传送程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。

程序代码可由处理器执行，所述处理器可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者、上述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(CODEC)中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作硬件单元(包含如上文所描述的一或多个处理器)的集合来提供。

已经描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (30)

1.一种经配置以对视频数据进行译码的设备，所述设备包括：

存储器单元，其经配置以存储与基础层和增强层相关联的视频数据，所述基础层包含具有第一位深度的基础层样本；以及

处理器，其与所述存储器单元通信，所述处理器经配置以：

将一函数应用于所述基础层样本以产生经预备预测的样本；

确定与所述基础层样本相关联的一或多个类别；

确定对应于与所述基础层样本相关联的所述一或多个类别中的每一者的调整参数；以及

使用所述所确定的调整参数中的每一者执行调整计算以从所述经预备预测的样本确定经改善的经预测样本，所述经改善的经预测样本具有大于所述第一位深度的第二位深度。

2.根据权利要求1所述的设备，其中所述第一位深度为8位，且所述第二位深度为10位、12位和14位中的一者。

3.根据权利要求1所述的设备，其中与所述基础层样本相关联的所述一或多个类别中的至少一者是从所述基础层样本的一或多个亮度或色度值确定。

4.根据权利要求1所述的设备，其中与所述基础层样本相关联的所述一或多个类别中的至少一者是从所述基础层样本的一或多个亮度或色度值和来自所述接收到的视频数据的至少一个其它样本的一或多个亮度或色度值确定。

5.根据权利要求1所述的设备，其中

所述基础层样本表示可能亮度值的尺度上的亮度值；

可能亮度值的所述尺度划分成多个亮度带；

由所述基础层样本表示的所述亮度值位于所述亮度带中的一者内；以及

与所述基础层样本相关联的所述类别中的一者对应于所述基础层样本所处的所述亮度带。

6.根据权利要求1所述的设备，其中

所述基础层样本表示可能色度值的尺度上的色度值；

可能色度值的所述尺度划分成多个色度带；

由所述基础层样本表示的所述色度值位于所述色度带中的一者内；以及

与所述基础层样本相关联的所述类别中的一者对应于所述基础层样本所处的所述色度带。

7.根据权利要求1所述的设备，其中与所述基础层样本相关联的所述类别中的一者取决于所述基础层样本与在所述视频数据中空间上邻近于所述基础层样本的其它样本之间的多个比较的结果。

8.根据权利要求1所述的设备，其中所述函数包括至少一个对数或指数运算。

9.根据权利要求1所述的设备，其中所述函数包括向左移位或乘以大于或等于2的数字。

10.根据权利要求1所述的设备，其中所述函数包括查找表，所述查找表将每一可能基础层样本值映射到对应增强层样本值上。

11.根据权利要求1所述的设备，其中所述经预备预测的样本具有等于所述第二位深度的位深度。

12.根据权利要求1所述的设备，其中所述调整参数包括比率、系数、指数或对数底。

13.根据权利要求1所述的设备，其中所述调整计算包括加法、减法、乘法、除法、求幂或对数。

14.根据权利要求1所述的设备，其中所述处理器进一步经配置以将残余值与所述经改善的经预测样本相加以确定增强层样本。

15.一种对视频数据进行译码的方法，所述方法包括：

接收包括具有第一位深度的基础层样本的所述视频数据；

将一函数应用于所述基础层样本以产生经预备预测的样本；

确定与所述基础层样本相关联的一或多个类别；

确定对应于与所述基础层样本相关联的所述一或多个类别中的每一者的调整参数；

使用所述所确定的调整参数中的每一者执行调整计算以从所述经预备预测的样本确定经改善的经预测样本，所述经改善的经预测样本具有大于所述第一位深度的第二位深度。

16.根据权利要求15所述的方法，其中所述第一位深度为8位，且所述第二位深度为10位、12位和14位中的一者。

17.根据权利要求15所述的方法，其中从所述基础层样本的一或多个亮度或色度值确定与所述基础层样本相关联的所述一或多个类别中的至少一者。

18.根据权利要求15所述的方法，其中从所述基础层样本的一或多个亮度或色度值和来自所述接收到的视频数据的至少一个其它样本的一或多个亮度或色度值确定与所述基础层样本相关联的所述一或多个类别中的至少一者。

19.根据权利要求15所述的方法，其中

所述基础层样本表示可能亮度值的尺度上的亮度值；

可能亮度值的所述尺度划分成多个亮度带；

由所述基础层样本表示的所述亮度值位于所述亮度带中的一者内；以及

与所述基础层样本相关联的所述类别中的一者对应于所述基础层样本所处的所述亮度带。

20.根据权利要求15所述的方法，其中

所述基础层样本表示可能色度值的尺度上的色度值；

可能色度值的所述尺度划分成多个色度带；

由所述基础层样本表示的所述色度值位于所述色度带中的一者内；以及

与所述基础层样本相关联的所述类别中的一者对应于所述基础层样本所处的所述色度带。

21.根据权利要求15所述的方法，其中与所述基础层样本相关联的所述类别中的一者取决于所述基础层样本与在所述视频数据中空间上邻近于所述基础层样本的其它样本之间的多个比较的结果。

22.根据权利要求15所述的方法，其中所述函数包括至少一个对数或指数运算。

23.根据权利要求15所述的方法，其中所述函数包括向左移位或乘以大于或等于2的数字。

24.根据权利要求15所述的方法，其中所述函数包括查找表，所述查找表将每一可能基础层样本值映射到对应增强层样本值上。

25.根据权利要求15所述的方法，其中所述经预备预测的样本具有等于所述第二位深度的位深度。

26.根据权利要求15所述的方法，其中所述调整参数包括比率、系数、指数或对数底。

27.根据权利要求15所述的方法，其中所述调整计算包括加法、减法、乘法、除法、求幂或对数。

28.根据权利要求15所述的方法，其中所述处理器进一步经配置以将残余值与所述经改善的经预测样本相加以确定增强层样本。

29.一种非暂时性计算机可读媒体，其包括在被执行时致使设备进行以下操作的代码：

接收包括具有第一位深度的基础层样本的视频数据；

将一函数应用于所述基础层样本以产生经预备预测的样本；

确定与所述基础层样本相关联的一或多个类别；

确定对应于与所述基础层样本相关联的所述一或多个类别中的每一者的调整参数；以及

使用所述所确定的调整参数中的每一者执行调整计算以从所述经预备预测的样本确定经改善的经预测样本，所述经改善的经预测样本具有大于所述第一位深度的第二位深度。

30.一种经配置以对视频数据进行译码的视频译码装置，所述视频译码装置包括：

用于接收包括具有第一位深度的基础层样本的所述视频数据的装置；

用于将一函数应用于所述基础层样本以产生经预备预测的样本的装置；

用于确定与所述基础层样本相关联的一或多个类别的装置；

用于确定对应于与所述基础层样本相关联的所述一或多个类别中的每一者的调整参数的装置；以及

用于使用所述所确定的调整参数中的每一者执行调整计算以从所述经预备预测的样本确定经改善的经预测样本的装置，所述经改善的经预测样本具有大于所述第一位深度的第二位深度。