CN105659595A - 多层视频译码中的基于三维查找表的色域可缩放性 - Google Patents

Abstract

本发明描述用于多层视频译码中的基于3D查找表的色域可缩放性的技术。视频数据的较低层可包含第一色域中的色彩数据，且所述视频数据的较高层可包含第二色域中的色彩数据。为了产生层间参考图片，视频译码器执行色彩预测，以将所述第一色域中的参考图片的所述色彩数据转换到所述第二色域。所述视频译码器可使用3D查找表来执行色彩预测。根据所述技术，所述视频译码器产生至少一个3D查找表，其具有针对亮度分量与针对第一色度分量和第二色度分量不同的大小。以此方式，可减小所述表的总大小，同时维持良好的译码性能。

Description

多层视频译码中的基于三维查找表的色域可缩放性

相关申请案

本申请案主张2013年10月14日提交的美国临时申请案第61/890,843号的权益，其内容以全文引用的方式并入本文中。

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置等。数字视频装置实施视频译码技术，例如描述于以下各项中的那些技术：由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效视频译码(HEVC)标准，以及此些标准的扩展。视频装置可通过实施此些视频译码技术可来更高效地发射、接收、编码、解码和/或存储数字视频信息。

视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块也可被称作树块、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测导致待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残差数据来编码经帧间译码块。根据帧内译码模式和残差数据来编码经帧内译码块。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，可接着量化所述残差变换系数。可扫描一开始按二维阵列排列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码来实现更多压缩。

发明内容

一般来说，本发明描述用于多层视频译码中的基于三维(3D)查找表的色域可缩放性的技术。举例来说，所述多层视频译码可根据高效视频译码(HEVC)标准，包含可缩放视频译码扩展、多视图视频译码扩展和3D视频译码(即，多视图视频译码加深度)扩展或其它多层视频译码标准中的任一者。用于色域可缩放性的技术可由视频编码器和/或视频解码器用以在用于视频数据的较低层的色域不同于用于视频数据的较高层的色域时产生层间参考图片。

举例来说，视频编码器和/或视频解码器可首先使用用于色域可缩放性的3D查找表执行色彩预测以将用于较低层的参考图片的色彩数据转换到用于较高层的色域，且接着基于转换的色彩数据产生层间参考图片。根据本发明中描述的技术，视频编码器和/或视频解码器产生至少一个3D查找表，其具有针对亮度分量与针对第一色度分量和第二色度分量不同的大小。视频编码器和/或视频解码器可针对3D查找表的亮度维度使用不同数目的片段来产生此不对称3D查找表。以此方式，可减小表的总大小，同时维持良好的译码性能。

在一个实例中，本发明是针对一种处理多层视频数据的方法，所述方法包括：针对色域可缩放性产生至少一个3D查找表，其中所述至少一个3D查找表具有针对亮度分量与针对第一色度分量和第二色度分量中的每一者不同的大小；使用所述至少一个3D查找表来执行色彩预测，以将用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频数据的较高层的第二色域；以及基于所述经转换的色彩数据，为所述视频数据的较高层产生至少一个层间参考图片。

在另一实例中，本发明是针对一种用于处理多层视频数据的视频处理装置，所述装置包括：存储器，其经配置以存储所述多层视频数据；以及一或多个处理器，其与所述存储器通信。所述一或多个处理器经配置以：针对色域可缩放性产生至少一个3D查找表，其中所述至少一个3D查找表具有针对亮度分量与针对第一色度分量和第二色度分量不同的大小；使用所述至少一个3D查找表来执行色彩预测，以将用于所述视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于所述视频数据的较高层的第二色域；且基于所述经转换的色彩数据，为所述视频数据的较高层产生至少一个层间参考图片。

在另一实例中，本发明是针对一种用于处理多层视频数据的视频处理装置，所述装置包括：用于针对色域可缩放性产生至少一个3D查找表的装置，其中所述至少一个3D查找表具有针对亮度分量与针对第一色度分量和第二色度分量不同的大小；用于使用所述至少一个3D查找表来执行色彩预测以将用于所述视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于所述视频数据的较高层的第二色域的装置；以及用于基于所述经转换的色彩数据为所述视频数据的较高层产生至少一个层间参考图片的装置。

在另一实例中，本发明是针对一种存储用于处理多层视频数据的指令的计算机可读存储媒体，所述指令在被执行时，致使一或多个处理器：针对色域可缩放性产生至少一个3D查找表，其中所述至少一个3D查找表具有针对亮度分量与针对第一色度分量和第二色度分量不同的大小；使用所述至少一个3D查找表来执行色彩预测，以将用于所述视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于所述视频数据的较高层的第二色域；以及基于所述经转换的色彩数据，为所述视频数据的较高层产生至少一个层间参考图片。

附图和以下描述中陈述一或多个实例的细节。其它特征、目标和优点将从所述描述和图式且从所附权利要求书而显而易见。

附图说明

图1是说明可利用用于基于3D查找表的色域可缩放性的技术的实例视频编码和解码系统的框图。

图2是展示在三个不同维度上的可缩放性的实例的概念说明。

图3是展示可缩放视频译码位流的实例结构的概念说明。

图4是以位流次序展示实例可缩放视频译码存取单元的概念说明。

图5是说明实例可缩放视频译码扩展到HEVC(SHVC)编码器的框图。

图6是说明样本视频序列的实例色域的曲线图。

图7是说明从高清(HD)色域BT.709到超高清(UHD)色域BT.2020的转换的框图。

图8是说明包含色彩预测处理单元的色域可缩放译码器的框图，当基础层色域和增强层色域不同时，所述色彩预测处理单元可产生层间参考图片。

图9是展示针对色域可缩放性的实例3D查找表的概念说明。

图10是展示使用针对色域可缩放性的3D查找表的三线性内插法的概念说明。

图11是说明可实施在多层视频译码中使用基于3D查找表的色域可缩放性的技术的视频编码器的实例的框图。

图12是说明可实施在多层视频译码中使用基于3D查找表的色域可缩放性的技术的视频解码器的实例的框图。

图13是说明使用基于3D查找表的色域可缩放性产生层间参考图片的实例操作的流程图。

具体实施方式

本发明描述用于多层视频译码中的基于三维(3D)查找表的色域可缩放性的技术。所述多层视频译码可根据高效视频译码(HEVC)标准，包含可缩放视频译码扩展、多视图视频译码扩展、3D视频译码(即，多视图视频译码加深度)扩展或到HEVC的其它多层视频译码扩展中的任一者。所述技术可由视频编码器和/或视频解码器用来在用于视频数据的较低层的色域不同于用于所述视频数据的较高层的色域时，产生层间参考图片。

色域包括可为图片再现的色彩的完整范围，例如在视频数据的图片、切片、块或层中。按照惯例，在多层视频译码中，视频数据的较低层(例如基础层)和所述视频数据的较高层(例如增强层)包含同一色域(例如高清(HD)色域BT.709)中的色彩数据。在此情况下，视频编码器和/或视频解码器可为所述视频数据的较高层产生层间参考图片，作为用于所述视频数据的较低层的处于相同位置的参考图片的经上取样版本。

然而，在一些实例中，视频数据的较低层可包含第一色域(例如BT.709)中的的色彩数据，且所述视频数据的较高层可包含不同的第二色域(例如超高清(UHD)色域BT.2020)中的色彩数据。在此实例中，为了为所述视频数据的较高层产生层间参考图片，视频编码器和/或视频解码器必须首先执行色彩预测，以将用于所述视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于所述视频数据的较高层的第二色域。

视频编码器和/或视频解码器可使用针对色域可缩放性的3D查找表来执行色彩预测。在一些实例中，可针对色彩分量中的每一者(即，亮度(Y)分量、第一色度(U)分量和第二色度(V)分量)产生单独的3D查找表。3D查找表中的每一者包含亮度(Y)维度、第一色度(U)维度和第二色度(V)维度，且使用三个独立色彩分量(Y,U,V)来编索引。

按照惯例，3D查找表始终对称，使得3D查找表针对亮度分量、第一色度分量和第二色度分量具有相同大小。此外，按照惯例，3D查找表始终是平衡的，使得3D查找表的每一维度的大小始终相同。这导致具有高计算复杂度和高发信成本的较大的表大小。举例来说，表大小可至多达9×9×9或17×17×17。

根据本发明中描述的技术，视频编码器和/或视频解码器产生至少一个3D查找表，其具有针对亮度分量与针对第一色度分量和第二色度分量中的每一者不同的大小。视频编码器和/或视频解码器可针对3D查找表的亮度尺寸使用不同数目的片段来产生此不对称3D查找表。举例来说，视频编码器和/或视频解码器可产生3D查找表，以针对亮度分量具有比针对第一和第二色度分量中的每一者大的大小，即片段较多。在一个实例中，3D查找表可具有至多达8x2x2的大小。以此方式，可减小所述表的总大小，同时以针对亮度分量具有比针对第一和第二色度分量高的分辨率维持良好译码性能。

在一些实例中，3D查找表中的每一者可具有相同大小MxNxK，其中3D查找表的亮度维度的大小(M)不同于3D查找表的第一色度尺寸的大小(N)和3D查找表的第二色度维度的大小(K)中的每一者。举例来说，亮度维度的大小可大于色度维度的大小，M>N且M>K，且3D查找表的色度维度的大小可相同，N＝K。在一个实例中，3D查找表中的每一者可具有相同大小8x2x2。

在其它实例中，亮度分量3D查找表(LUT_Y)可具有第一大小，例如MxMxM或MxNxK，其不同于第一色度分量3D查找表(LUT_U)的第二大小，例如NxNxN，以及第二色度分量3D查找表(LUT_V)的第三大小，例如KxKxK。举例来说，亮度分量3D查找表的大小可大于色度分量3D查找表的大小。第一和第二色度分量3D查找表可为相同大小或不同大小。在一个实例中，LUT_Y可具有大小8x2x2，且LUT_U和LUT_V中的每一者可具有大小2x2x2。

在另一实例中，亮度分量3D查找表的精度也可不同于第一色度分量3D查找表和第二色度分量3D查找表中的每一者的精度。举例来说，亮度分量3D查找表的精度可高于色度分量3D查找表的精度。在一些情况下，为了进一步降低复杂性，视频编码器和/或视频解码器可仅产生亮度分量3D查找表，使用亮度分量3D查找表来执行亮度分量预测，且使用一维(1D)线性映射或分段线性映射来执行第一和第二色度分量预测。

作为另一实例，根据本发明的技术，视频编码器和/或视频解码器可通过将较多片段用于3D查找表的与用作3D查找表的表索引的色彩分量相关联的维度，产生不平衡的3D查找表。举例来说，亮度分量3D查找表可基于正用作亮度分量3D查找表的表索引的亮度分量，具有比第一色度维度和第二色度维度中的每一者大的亮度维度。在此实例中，LUT_Y可具有大小MxNxN，其中M>N。可类似地确定第一和第二色度分量3D查找表的大小。举例来说，LUT_U可基于所述表索引处正使用的第一色度分量具有大小NxMxN，且LUTv可具有基于所述表索引处所使用的第二色度分量的大小NxNxM。以此方式，可减小所述表中的每一者的总大小，同时以用作所述表索引的色彩分量的较高分辨率维持良好译码性能。

视频译码标准包含ITU-TH.261、ISO/IECMPEG-1视觉、ITU-TH.262或ISO/IECMPEG-2视觉、ITU-TH.263、ISO/IECMPEG-4视觉和ITU-TH.264(也被称为ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。

新视频译码标准(即，HEVC)的设计已由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)定案。布洛斯(Bross)等人的被称作HEVC工作草案10(WD10)的HEVC草案说明书，“高效视频译码(HEVC)文本说明书草案10(针对FDIS和最后调用)(Highefficiencyvideocoding(HEVC)textspecificationdraft10(forFDIS&LastCall))”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，瑞士日内瓦第12次会议，2013年1月14日到23日，JCTVC-L1003v34)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/ wg11/JCTVC-L1003-v34.zip获得。定案的HEVC标准被称作HEVC版本1。

王(Wang)等人的瑕疵报告“高效视频译码(HEVC)缺陷报告(Highefficiencyvideocoding(HEVC)DefectReport)”(ITU-TSG16WP3与ISO/IECJTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第14次会议：奥地利维也纳，2013年7月25日到8月2日，JCTVC-N1003v1)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/ 14_Vienna/wg11/JCTVC-N1003-v1.zip获得。最终标准文献作为ITU-TH.265系列H公布：视听和多媒体系统、视听服务的基础架构-移动视频的译码、高效视频译码，国际电信联盟(ITU)的电信标准化部门，2013年4月。

HEVC(MV-HEVC)的多视图扩展以及针对较高级3D视频译码的另一HEVC扩展(3D-HEVC)正由JCT-3V开发。被称作MV-HEVC工作草案5(WD5)且在塔克(Tech)等人的“MV-HEVC草案文本5(MV-HEVCDraftText5)”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的3D视频译码扩展开发联合合作小组(JCT-3V)，第5次会议：奥地利维也纳，2013年7月27日到8月2日，JCT3V-E1004v6)中所描述的MV-HEVC的草案规范可从http://phenix.int-evry.fr/jct/doc_end_user/documents/5_Vienna/wg11/ JCT3V-E1004-v6.zip得到。被称作3D-HEVC工作草案1(WD1)且在塔克(Tech)等人的“3D-HEVC草案文本1(3D-HEVCDraftText1)”(ITU-TSG16WP3和ISO/IECJTC1/SC29/WG11的3D视频译码扩展开发联合合作小组(JCT-3V)，第5次会议：奥地利维也纳，2013年7月27日到8月2日，JCT3V-E1001v3)中所描述的3D-HEVC的草案规范可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1001-v3.zip得到。

对HEVC的可缩放扩展(SHVC)由JCT-VC开发。Chen等人的被称作SHVC工作草案3(WD3)的SHVC的草案规范“SHVCDraft3”(ITU-TSG16WP3与ISO/IECJTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第14次会议：奥地利维也纳，2013年7月25日到8月2日，JCTVC-N1008v3)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip获得。

图1是说明可利用用于基于3D查找表的色域可缩放性的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，所述源装置提供将在稍后时间由目的地装置14解码的经编码视频数据。明确地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括多种多样的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码的视频数据直接发射到目的地装置14。可根据通信标准(例如，无线通信协议)来调制经编码的视频数据，并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。

在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，经编码数据可由输入接口从存储装置存取。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或任何其它用于存储经编码的视频数据的合适的数字存储媒体。在另一实例中，存储装置可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置经由流式传输或下载来存取所存储的视频数据。文件服务器可为能够存储经编码视频数据并将经编码视频数据发射到目的地装置14的任何类型服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的发射可为流式传输发射、下载发射或其组合。

本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如，经由HTTP的动态自适应流式传输(DASH))、编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于并行处理视频数据的技术。在其它实例中，源装置和目的地装置可包括其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成显示装置。

图1的所说明的系统10只是一个实例。用于并行处理视频数据的技术可由任何数字视频编码和/或解码装置来执行。尽管本发明的技术一般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编码解码器”)来执行。此外，本发明的技术还可由视频预处理器执行。源装置12和目的地装置14仅为源装置12产生经译码视频数据用于发射到目的地装置14的所述译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传输，以例如用于视频流式传输、视频重放、视频广播或视频电话。

源装置12的视频源18可包含视频捕获装置，例如摄像机、含有先前所捕获视频的视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为视频摄像机，那么源装置12和目的地装置14可形成所谓的摄像机电话或视频电话。然而，如上文所提到，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，所捕获、预捕获或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，并且(例如)经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据，且生产含有经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的也供视频解码器30使用的语法信息，所述语法信息包含描述块及其它经译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30各自可实施为多种合适的编码器和解码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件固件或其任何组合。当部分地在软件中实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器在硬件中执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。

在一些实例中，视频编码器26和视频解码器30根据视频压缩标准操作，所述视频压缩标准例如为ISO/IECMPEG-4视觉和ITU-TH.264(也被称作ISO/IECMPEG-4)，包含其可缩放视频译码(SVC)扩展、多视图视频译码(MVC)扩展和基于MVC的三维视频(3DV)扩展。在一些情况下，符合基于MVC的3DV的任何位流始终含有顺应MVC简档(例如，立体声高简档)的子位流。此外，存在持续努力以产生H.264/AVC的3DV译码扩展，即基于AVC的3DV。在其它实例中，视频编码器20和视频解码器30可根据以下各项来操作：ITU-TH.261、ISO/IECMPEG-1视觉、ITU-TH.262或ISO/IECMPEG-2视觉、ITU-TH.263、ISO/IECMPEG-4视觉和ITU-TH.264、ISO/IEC视觉。

在图1的实例中，视频编码器20和视频解码器30可根据由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)定案的高效视频译码(HEVC)标准来操作。上文所参考的HEVC草案规范被称作HEVC工作草案10(WD10)，且HEVC标准的定案版本被称作HEVC版本1。MV-HEVC和3D-HEVC正由JCT-3V开发。MV-HEVC的最近草案规范被称作MV-HEVCWD5，且3D-HEVC的最近草案规范被称作3D-HEVCWD1。SHVC正由JCT-VC开发。SHVC的最近草案规范被称作SHVCWD3。

在HEVC和其它视频译码标准中，视频序列通常包含一连串图片。图片也可被称作“帧”。图片可包含三个样本阵列，表示为S_L、S_Cb以及S_Cr。S_L是亮度样本的二维阵列(即，块)。S_Cb是Cb色度样本的二维阵列。S_Cr是Cr色度样本的二维阵列。色度样本在本文中还可被称为“色度”样本。在其它情况下，图片可为单色的且可仅包含亮度样本阵列。

视频编码器20可产生一组译码树单元(CTU)。CTU中的每一者可包括亮度样本的译码树块、色度样本的两个对应的译码树块，以及用以对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单个译码树块及用于对所述译码树块的样本进行译码的语法结构。译码树块可为样本的NxN块。CTU也可被称为“树块”或“最大译码单元(LCU)”。HEVC的CTU可大体上类似于其它视频译码标准(例如，H.264/AVC)的宏块。然而，CTU未必限于特定大小，并且可包含一或多个译码单元(CU)。切片可包含光栅扫描中连续排序的整数数目的CTU。

本发明可使用术语“视频单元”或“视频块”来指代样本的一或多个块以及用于对样本的一或多个块的样本进行译码的语法结构。视频单元的实例类型可包含HEVC中的CTU、CU、PU、变换单元(TU)，或其它视频译码标准中的宏块、宏块分区等等。

为了产生经译码CTU，视频编码器20可在CTU的译码树块上以递归方式执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块是NxN样本块。CU可包括具有亮度样本阵列、Cb样本阵列和Cr样本阵列的图片的亮度样本的译码块以及色度样本的两个对应译码块，以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单个译码块以及用于对所述译码块的样本进行译码的语法结构。

视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为上面应用相同预测的样本的矩形(即，正方形还是非正方形)块。CU的预测单元(PU)可包括图片的亮度样本的预测块，图片的色度样本的两个对应的预测块，以及用以对预测块样本进行预测的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单个预测块和用于对预测块样本进行预测的语法结构。视频编码器20可产生用于CU的每一PU的亮度、Cb和Cr预测块的预测性亮度、Cb和Cr块。

视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测来产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的预测性块。

如果视频编码器20使用帧间预测来产生PU的预测性块，那么视频编码器20可基于除与PU相关联的图片以外的一或多个图片的经解码样本来产生PU的预测性块。帧间预测可为单向帧间预测(即，单向预测)或双向帧间预测(即，双向预测)。为了执行单向预测或双向预测，视频编码器20可产生当前切片的第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。

参考图片列表中的每一者可包含一或多个参考图片。当使用单向预测时，视频编码器20可搜索RefPicList0和RefPicList1中的任一者或两者中的参考图片，以确定在参考图片内的参考位置。此外，当使用单向预测时，视频编码器20可至少部分地基于对应于参考位置的样本产生用于PU的预测性样本块。此外，在使用单向预测时，视频编码器20可产生指示PU的预测块与参考位置之间的空间移位的单个运动向量。为了指示PU的预测块与参考位置之间的空间移位，运动向量可包含指定PU的预测块与参考位置之间的水平移位的水平分量且可包含指定PU的预测块与参考位置之间的垂直移位的垂直分量。

在使用双向预测来编码PU时，视频编码器20可确定RefPicList0中的参考图片中的第一参考位置和RefPicList1中的参考图片中的第二参考位置。视频编码器20接着可至少部分基于对应于第一和第二参考位置的样本产生PU的预测性块。此外，当使用双向预测对PU进行编码时，视频编码器20可产生指示PU的样本块与第一参考位置之间的空间移位的第一运动，以及指示PU的预测块与第二参考位置之间的空间移位的第二运动。

在视频编码器20产生CU的一或多个PU的预测性亮度、Cb和Cr块之后，视频编码器20可产生CU的亮度残差块。CU的亮度残差块中的每一样本可指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残差块。CU的Cb残差块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20还可产生CU的Cr残差块。CU的Cr残差块中的每个样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中对应的样本之间的差异。

此外，视频编码器20可使用四叉树分区将CU的亮度、Cb和Cr残差块分解成一或多个亮度、Cb和Cr变换块。变换块可为其上应用相同变换的样本的矩形块。CU的变换单元(TU)可包括亮度样本的变换块、色度样本的两个对应变换块以及用以对变换块样本进行变换的语法结构。在单色图片或具有三个单独色彩平面的图片中，TU可包括单个变换块，以及用以对变换块样本进行变换的语法结构。因此，CU的每个TU可与亮度变换块、Cb变换块以及Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。

视频编码器20可将一或多个变换应用于TU的亮度变换块以产生TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。

在产生系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化大体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。此外，视频编码器20可对变换系数进行逆量化，并将逆变换应用于变换系数，以重构图片的CU的TU的变换块。视频编码器20可使用CU的TU的经重构变换块以及CU的PU的预测性块来重构CU的译码块。通过重构图片的每一CU的译码块，视频编码器20可重构图片。视频编码器20可将重构的图片存储在经解码图片缓冲器(DPB)中。视频编码器20可使用DPB中的经重构图片来进行帧间预测和帧内预测。

在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。

视频编码器20可输出包含形成经译码图片及相关联数据的表示的位序列的位流。位流可包括一连串网络抽象层(NAL)单元。所述NAL单元中的每一者包含NAL单元标头，且包封原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的所述NAL单元类型码指示NAL单元的类型。RBSP可为含有包封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。

不同类型的NAL单元可包封不同类型的RBSP。举例来说，第一类型的NAL单元可包封用于图片参数集(PPS)的RBSP，第二类型的NAL单元可包封用于经译码切片的RBSP，第三类型的NAL单元可包封用于补充增强信息(SEI)的RBSP，等等。PPS为可含有适用于零或多个完整经译码图片的语法元素的语法结构。包封视频译码数据的RBSP(与参数集和SEI消息的RBSP相对)的NAL单元可被称为视频译码层(VCL)NAL单元。包封经译码切片的NAL单元可在本文中被称作经译码切片NAL单元。经译码切片的RBSP可包含切片标头和切片数据。

视频解码器30可接收位流。另外，视频解码器30可解析位流以从所述位流解码语法元素。视频解码器30可至少部分地基于从位流解码的语法元素重构视频数据的图片。用以重构视频数据的过程通常可与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量来确定当前CU的PU的预测性块。视频解码器30可使用PU的一或多个运动向量来产生PU的预测性块。

另外，视频解码器30可对与当前CU的TU相关联的系数块进行逆量化。视频解码器30可对系数块执行逆变换以重构与当前CU的TU相关联的变换块。通过将用于当前CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重构当前CU的译码块。通过重构用于图片的每一CU的译码块，视频解码器30可重构图片。视频解码器30可将经解码图片存储在经解码图片缓冲器中，以用于输出和/或用于对其它图片进行解码。

在MV-HEVC、3D-HEVC和SHVC中，视频编码器可产生包含一系列网路抽象层(NAL)单元的多层位流。位流的不同NAL单元可与所述位流的不同层相关联。可将层定义为具有相同层识别符的一组视频编码层(VCL)NAL单元和相关联的非VCLNAL单元。层可等效于多视图视频译码中的视图。在多视图视频译码中，层可含有同一层的具有不同时间例项的所有视图分量。每一视图分量可为属于特定时间例项处的特定视图的视频场景的经译码图片。在3D视频译码中，层可含有特定视图的所有经译码深度图片或特定视图的经译码纹理图片。类似地，在可可缩放视频译码的上下文中，层通常对应于具有不同于其它层中的经译码图片的视频特性的经译码图片。此类视频特性通常包括空间分辨率和质量水平(信噪比)。在HEVC及其扩展中，可在一层内通过将具有特定时间层级的图片群组定义为子层来实现时间可缩放性。

对于位流的每一相应层，可在不参考任何较高层中的数据情况下解码较低层中的数据。在可缩放视频译码中，例如，可在不参考增强层中的数据的情况下解码基础层中的数据。NAL单元仅包封单个层的数据。在SHVC中，如果视讯解码器可在不参考任何其它层的数据的情况下解码视图中的图片，那么所述视图可被称作“基础层”。基础层可符合HEVC基本规范。因此，可将包封位流的最高剩余层的数据的NAL单元从位流去除，而不影响位流的剩余层中的数据的可解码性。在MV-HEVC和3D-HEVC中，较高层可包括额外视图分量。在SHVC中，较高层可包含信噪比(SNR)增强数据、空间增强数据和/或时间增强数据。

在一些实例中，可参考一或多个较低层中的数据来解码较高层中的数据。可将较低层用作参考图片以使用层间预测来压缩较高层。可较低层的数据进行上取样以具有与较高层相同的分辨率。一般来说，视频编码器20和视频解码器30可按与以上所描述的帧间预测类似的方式执行层间预测，可将一或多个经上取样的较低层用作参考图片除外，如与一或多个相邻图片相反。

图2是展示在三个不同维度上的可缩放性的实例的概念说明。在可缩放视频译码结构中，在三个维度中启用可缩放性。在图2的实例中，在空间(S)维度100、时间(T)维度102和信噪比(SNR)或品质(Q)维度104中启用可缩放性。在时间维度102中，时间可缩放性可支持具有(例如)7.5Hz(T0)、15Hz(T1)或30Hz(T2)的帧速率。当支持空间可缩放性时，在空间维度100中启用不同分辨率，例如QCIF(S0)、CIF(S1)和4CIF(S2)。对于每一特定空间分辨率和帧速率，可在SNR维度104中添加SNR层(Q1)来改进图片品质。

一旦已以此可缩放方式编码视频内容，就可使用提取器工具来根据应用要求调适实际递送的内容，所述应用要求取决于(例如)客户端或发射信道。在图2中所示的实例中，每一立方体含有具有相同帧速率(时间层级)、空间分辨率和SNR层的图片。可通过在维度100、102或104的任一者中添加立方体(即，图片)来实现较好表示。当有两个、三个或甚至更多可缩放性被启用时，组合的可缩放性。

在可缩放视频译码标准(例如，对H.264或SHVC的SVC扩展)中，具有最低空间和SNR层的图片与单层视频编解码器兼容，且在最低时间层级处的图片形成时间基础层，可用较高时间层级处的图片来增强所述时间基础层。除了基础层之外，可添加若干空间和/或SNR增强层来提供空间和/或品质可缩放性。每一空间或SNR增强层自身可为时间可缩放的，具有与基层相同的时间可缩放性结构。对于一个空间或SNR增强层，其取决于的较低层也可被称作那个特定空间或SNR增强层的基础层。

图3是展示可缩放视频译码位流的实例结构110的概念说明。位流结构110包含：层0112，其包含图片或切片I0、P4和P8；以及层1114，其包含图片或切片B2、B6和B10。另外，位流结构110包含：层2116和层3117，其各自包含图片0、2、4、6、8和10；以及层4118，其包含图片0到11。

基础层具有最低空间和品质层(即，具有QCIF分辨率的在层0112和层1114中的图片)。其中，具有最低时间层级的那些图片形成时间基础层，如图3的层0112中所展示。可用较高时间层级(例如具有15Hz的帧速率的层1114，或具有30Hz的帧速率的层4118)的图片来增强时间基础层(层0)112。

除了基础层112、114之外，可添加若干空间和/或SNR增强层来提供空间和/或品质可缩放性。举例来说，具有CIF分辨率的层2116可为到基础层112、114的空间增强层。在另一实例中，层3117可为到基础层112、114和层2116的SNR增强层。如图3中所展示，每一空间或SNR增强层本身可为在时间上可缩放的，具有与基础层112、114相同的时间可缩放性结构。另外，增强层可增强空间分辨率和帧速率两者。举例来说，层4118提供4CIF分辨率增强层，其将帧速率从15Hz进一步增大到30Hz。

图4为按位流次序展示实例可缩放视频译码存取单元120A到120E(“存取单元120”)的概念说明。如图4中所展示，同一时间例项中的经译码图片或切片按位流次序连续，且形成可缩放视频译码标准(例如，对H.264或SHVC的SVC扩展)的情况下的一个存取单元。存取单元120接着遵循解码次序，解码次序可与显示次序不同且(例如)由存取单元120之间的时间预测关系决定。

举例来说，存取单元120A包含来自层0112的图片I0、来自层2116的图片0、来自层3117的图片0，以及来自层4118的图片0。存取单元120B包含来自层0112的图片P4、来自层2116的图片4、来自层3117的图片4以及来自层4118的图片4。存取单元120C包含来自层1114的图片B2、来自层2116的图片2、来自层3117的图片2以及来自层4118的图片2。存取单元120D包含来自层4118的图片1，且存取单元120E包含来自层4118的图片3。

图5是说明实例3层SHVC编码器122的框图。如图5所说明，SHVC编码器122包含基础层编码器124、第一增强层编码器125和第二增强层编码器126。在仅高级语法SHVC中，当与HEVC单层译码相比时，不存在新块层级译码工具。在SHVC中，允许仅切片和上方层级语法变化以及图片层级操作，例如图片滤波或上取样。

为了减少层之间的冗余，可产生用于较低/基础层的经上取样的处于相同位置的参考层图片，并存储在用于较高/增强层的参考缓冲器中，使得可以与在单层内的帧间预测相同的方式实现层间预测。如图5中所说明，从基础层编码器124中的参考图片产生经再取样的层间参考(ILR)图片128，并存储在第一增强层编码器125中。类似地，从第一增强层编码器125中的参考图片产生经再取样的ILR图片129，并存储在第二增强层编码器126中。在SHVCWD3中，将ILR图片标记为用于增强层的长期参考图片。将与层间参考图片相关联的运动向量差限定为零。

超高清电视(UHDTV)裝置和内容的即将到来的部署将使用与旧版裝置不同的色域。具体来说，HD使用BT.709建议--2010年12月的ITU-R建议BT.709“HDTV生产标准和国际程序交换的参数值(ParametervaluesfortheHDTVstandardsforproductionandinternationalprogrammeexchange)”，而UHDTV将使用BT.2020建议--2012年4月的ITU-R建议BT.2020“UHDTV生产系统和国际程序交换的参数值(ParametervaluesforUHDTVsystemsforproductionandinternationalprogrammeexchange)”。色域包括可为图片再现的色彩的完整范围，例如在视频数据的图片、切片、块或层中。这些系统之间的关键差异在于，UHDTV的色域显著大于HD。确证，UHDTV将提供更贴近生活或更现实的观看体验，其与例如高分辨率等其它UHDTV特性一致。

图6是说明样本视频序列130的实例色域的曲线图。如图6中所示，将SWG1样本视频序列130指示为UHD色域BT.2020132的线轮廓内的点群集。出于比较目的，HD色域BT.709134的轮廓和国际照明委员会(CIE)-XYZ线性色彩空间136的轮廓与SWG1样本视频序列130重叠。从图6很容易观察到，UHD色域BT.2020132比HD色域BT.709134大得多。注意SWG1样本视频序列130中在BT.709色域134之外的像素的数目。

图7是说明从HD色域BT.709134到UHD色域BT.2020132的转换的框图。HD色域BT.709134和UHD色域BT.2020132两者定义色彩像素在亮度和色度分量(例如YCbCr或YUV)中的表示。每一色域定义到CIE-XYZ线性色彩空间136以及从所述空间的转换。此常见中间色彩空间可用于定义HD色域BT.709134中的亮度和色度值到UHD色域BT.2020132中的对应亮度和色度值的转换。

关于图6中说明的样本序列的色域以及图7中说明的色域转换的更多细节可在L.科洛夫斯基(L.Kerofsky)、A.西格尔(A.Segall)、S.-H.金(S.-H.Kim)、K.米斯拉(K.Misra)的“色域可缩放视频译码：新结果(ColorGamutScalableVideoCoding:NewResults)”(JCTVC-L0334，瑞士日内瓦，2013年1月14日到23日(下文被称作“JCTVC-L0334”))中找到。

图8是说明包含色彩预测处理单元144的色域可缩放译码器140的框图，当基础层色域和增强层色域不同时，所述色彩预测处理单元144可产生层间参考图片。色彩预测处理单元144可由视频译码器(例如，来自图1的视频编码器20或视频解码器30)用以执行色域可缩放视频译码，其中基础层与增强层的色域不同。

在图8中示出的实例中，基础层译码环142执行包含第一色域(例如BT.709)中的色彩数据的图片的视频译码，且增强层译码环146执行包含第二色域(例如BT.2020)中的色彩数据的图片的视频译码。色彩预测处理单元144执行色彩预测以将第一色域中的基础层参考图片的色彩数据映射或转换到第二色域，且基于基础层参考图片的所映射的色彩数据产生增强层的层间参考图片。

为了实现高译码效率，色彩预测处理单元144经配置以在产生层间参考图片时执行特定色彩预测。如以下更详细地描述，色彩预测处理单元144可经配置以根据线性预测模型、分段线性预测模型或基于3D查找表的色彩预测模型中的任一者来执行色彩预测。

在上文参考的JCTVC-L0334中提议线性预测模型。一般来说，可将线性预测模型的色彩预测过程描述为增益和偏移模型。线性预测模型对个别色彩平面操作。为了促进整数计算，参数描述在使用参数numFractionBits的计算中使用的分数位的数目。对于每一信道，指定增益[c]和偏移[c]。如下定义线性预测模型：

Pred[c][x][y]＝(gain[c]*In[x][y]+(1<<(numFractionBits-1))>>numFractionBits+offset[c]

在上文参考的基于JCTVC-L0334的C.欧阳(C.Auyeung)、K.佐藤(K.Sato)的“具有分段线性预测和移位-偏移模型的色域可缩放视频译码(AHG14:Colorgamutscalablevideocodingwithpiecewiselinearpredictionsandshift-offsetmodel)”(JCTVC-N0271，奥地利维也纳，2013年7月)中提议了分段线性预测模型。还可将分段线性预测模型的色彩预测过程描述为增益和偏移模型。如下定义分段线性预测模型：

Letd[c][x][y]＝In[c][x][y]-knot[c].Ifd[c][x][y]<＝0

Pred[c][x][y]＝(gain1[c]*d[c][x][y]+offset[c]+(1<<(numFractionBits-1)))>>numFractionBits

else

Pred[c][x][y]＝(gain2[c]*d[c][x][y]+offset[c]+(1<<(numFractionBits-1)))>>numFractionBits

可在位流中编码预测参数knot[c]、offset[c]、gain1[c]和gain2[c]。

图9是展示针对色域可缩放性的实例3D查找表150的概念说明。在P.博尔德(P.Bordes)、P.安爵冯(P.Andrivon)、F.何丽(F.Hiron)的“AHG14：使用3DLUT的色域可缩放视频译码：新结果(AHG14:ColorGamutScalableVideoCodingusing3DLUT:NewResults)”(JCTVC-N0168，奥地利维也纳，2013年7月(下文被称作“JCTVC-N0168”))中提议了基于3D查找表的色彩预测模型。图9中描绘用于色域可缩放性的3D查找表的原理。可将3D查找表150视为第一3D色彩空间(例如，HD色域BT.709)的子取样，其中每一顶点与对应于第二3D色彩空间(即，经预测)值(例如，UHD色域BT.2020)的色彩三元组(y,u,v)相关联。

一般来说，可将第一色域分区成每一色彩维度中的八分区或立方体(即，Y、U和V)，且所述八分区的顶点与对应于第二色域且用以填充3D查找表150的色彩三元组相关联。每一色彩维度中的顶点或片段的数目指示3D查找表的大小。图9(a)说明每一色彩维度中的八分区的顶点或相交晶格点。图9(b)说明与顶点中的每一者相关联的不同色彩值。如所说明，在图9(a)中，每一色彩维度具有四个顶点，且在图9(b)中，每一色彩维度包括四个色彩值。

图10是展示使用针对色域可缩放性的3D查找表150的三线性内插法的概念说明。对于第一色域中的给定基础层色彩样本，使用根据以下等式的三线性内插进行其在用于增强层的第二色域中的预测的计算：

$\stackrel{\&OverBar;}{{\mathrm{value}}_y}=K\&times;{\mathrm{\&Sigma;}}_{i=0,1}{{\mathrm{\&Sigma;}}_j}_{=0,1}{\mathrm{\&Sigma;}}_{k=0,1}{s}_i\left(y\right)\&times;s_j\left(u\right)\&times;s_k\left(v\right)\&times;LUT\&lsqb;y_i\&rsqb;\&lsqb;u_j\&rsqb;\&lsqb;v_k\&rsqb;.y$

其中：

S₀(y)＝y₁-y且S₁(y)＝y-y₀

y₀是在y之下最接近的经子取样顶点的索引，

y₁为在y之上最接近的经子取样顶点的索引。

在一些实例中，可针对色彩分量中的每一者(即，亮度(Y)分量、第一色度(U)分量和第二色度(V)分量)产生单独的3D查找表。3D查找表中的每一者包含亮度(Y)维度、第一色度(U)维度和第二色度(V)维度，且使用三个独立色彩分量(Y,U,V)来编索引。

在一个实例中，可基于3D查找表来为每一色彩分量定义映射函数。用于亮度(Y)像素值的实例映射函数在以下等式中呈现：

Y_E＝LUT_Y(Y_B,U_B,V_B)*Y_B+LUT_U(Y_B,U_B,V_B)*U_B+LUT_v(Y_B,U_B,V_B)*V_B+LUT_C(Y_B,U_B,V_B)

在以上等式中，Y_E表示增强层中的亮度像素值，(Y_B,U_B,V_B)表示基础层像素值，且LUT_Y、LUT_U、LUT_V和LUT_C分别表示针对每一色彩分量Y、U、V和常数的3D查找表。可针对增强层中的第一色度(U)像素值和第二色度(V)像素值定义类似的映射函数。

图9中所说明的3D查找表和图10中所说明的具有3D查找表的三线性内插的更多细节可在上文参考的JCTVC-N0168中找到。

一般来说，基于3D查找表的色域可缩放性产生良好的译码性能。然而，3D查找表的大小可为关注点，这是因为3D查找表通常存储在硬件实施方案中的高速缓冲存储器中。具有大表大小的3D查找表可导致较高的计算复杂性和较高的信令成本。举例来说，按照惯例，3D查找表始终是对称的，使得3D查找表针对亮度分量、第一色度分量和第二色度分量具有相同大小。此外，按照惯例，3D查找表始终是平衡的，使得3D查找表的每一维度的大小始终相同。这导致具有高计算复杂度和高信令成本的较大的表大小。举例来说，表大小可至多达9×9×9或17×17×17。

提出以下方法，使得用于基于3D查找表的色域可缩放性的信令成本和计算成本两者可降低。

第一方法包括产生不对称3D查找表，使得亮度(Y)以及色度(U和V)分量具有不同大小。在一些情况下，3D查找表可针对亮度分量具有比针对第一和第二色度分量中的每一者大的大小，即多的片段。在此情况下，色度分量可使用较粗略的查找表，且亮度分量可使用较细化的查找表。在其它情况下，3D查找表可针对所述色度分量中的一个或两个具有比针对亮度分量大的大小。

一般来说，基于3D查找表的色彩预测是一种3D分段线性预测。理论上，用于3D查找表的每一色彩维度(即，Y、U和V)中的片段越多，色彩预测准确性越高。然而，较大数目的片段可导致较高的信令成本和较高的计算复杂性(即，较大的表大小)。实际上，色度信号可较不重要，且较容易预测。在此情况下，针对亮度(Y)分量具有高分辨率查找表且针对第一色度(U)分量和第二色度(V)分量中的每一者具有低分辨率查找表可能较好。

根据本发明的技术，视频译码器，例如视频编码器20和/或视频解码器30，可针对3D查找表的亮度维度使用与针对3D查找表的第一色度维度和第二色度维度不同数目的片段来产生不对称3D查找表。举例来说，视频编码器20和/或视频解码器30可产生3D查找表，以针对亮度分量具有比针对第一和第二色度分量中的每一者大的大小，即多的片段。在一个实例中，3D查找表可具有至多达8x2x2的大小。以此方式，可减小表的总大小，且还可降低信令成本，同时以针对亮度分量比针对第一和第二色度分量高的分辨率维持良好译码性能。3D查找表的表大小可在位流中用信号通知，例如在视频参数集(VPS)、序列参数集(SPS)、图片参数集合(PPS)、切片标头或相关扩展中。

在一些实例中，3D查找表中的每一者可具有相同大小MxNxK，其中3D查找表的亮度维度的大小(M)不同于3D查找表的第一色度维度的大小(N)和3D查找表的第二色度维度的大小(K)。举例来说，亮度维度的大小可大于色度维度的大小，M>N且M>K，且3D查找表的色度维度的大小可相同，N＝K。在一个实例中，3D查找表中的每一者可具有相同大小8x2x2。在另一实例中，3D查找表中的每一者可具有相同大小9x6x6。

在其它实例中，亮度分量3D查找表(LUT_Y)可具有第一大小，例如MxMxM或MxNxK，其不同于第一色度分量3D查找表(LUT_U)的第二大小，例如NxNxN，以及第二色度分量3D查找表(LUT_V)的第三大小，例如KxKxK。举例来说，LUT_Y的大小可大于LUT_U和LUT_V的大小。LUT_U和LUT_V的大小可彼此相同或不同。在一个实例中，LUT_Y可具有大小8x2x2，且LUT_U和LUT_V中的每一者可具有大小2x2x2。在另一实例中，LUT_Y可具有大小9x9x9或9x6x6，且LUT_U和LUT_V中的每一者可具有大小9x3x3或3x3x3。

在另一实例中，3D查找表的精度可取决于相关联的色彩分量。举例来说，亮度分量3D查找表的第一精度值可不同于第一和第二色度分量3D查找表两者的第二精度值。举例来说，亮度分量3D查找表的第一精度值可高于色度分量3D查找表的第二精度值。在一个实例中，第一精度值对于亮度分量可为8位，且第二精度值对于色度分量可为6位。在一些情况下，当产生3D查找表时，可应用额外移位，以便满足增强层的目标位深度。基于相关联的色彩分量的与3D查找表的默认精度值不同的精度值的使用可在VPS、SPS、PPS、切片标头或相关扩展中指示。

第二方法包括产生不平衡的3D查找表(即，表[M][N][K])，使得取决于正将哪一色彩分量用作3D查找表的表索引，每一维度的大小不同。对于与用作表索引的色彩分量相关联的维度，3D查找表可具有较大大小。在此情况下，对于用作表索引的色彩分量，色彩映射可较准确，而对于其它色彩分量，不太准确。

JCTVC-N0168中所提议的3D查找表始终是平衡的，使得3D查找表的每一维度的大小始终相同。如上文所论述，用于3D查找表的每一色彩维度(即，Y、U和V)中的片段越多，色彩预测效率越好。然而，较大数目的片段可导致较高的信令成本和较高的计算复杂性(即，较大的表大小)。考虑第一色域中的每一色彩分量通常与第二色域中的相同色彩分量具有较高相关，这可通过在相关联色彩分量用作3D查找表的表索引时，针对表维度使用较多片段，即使用较大大小，对改进预测效率较有帮助。当不同色彩分量用作3D查找表的表索引时，表维度的大小可较小。

根据本发明的技术，视频译码器，例如视频编码器20和/或视频解码器30，可针对3D查找表的与用作3D查找表的表索引的色彩分量相关联的维度使用较多片段，来产生不平衡的3D查找表。举例来说，亮度分量3D查找表可基于正用作亮度分量3D查找表的表索引的亮度分量，具有比第一色度维度和第二色度维度大的亮度维度。在一个实例中，LUT_Y可具有大小MxNxN，其中M>N。第一和第二色度分量3D查找表的大小可类似地确定。举例来说，LUT_U可基于所述表索引处正使用的第一色度分量具有大小NxMxN，且LUT_v可具有基于所述表索引处正使用的第二色度分量的大小NxNxM。以此方式，可减小所述表中的每一者的总大小，同时以用作所述表索引的色彩分量的较高分辨率维持良好的译码性能。

在一个实例中，当将Y、U、V分量用作到3D查找表的输入时，8x2x2表可用于Y分量，2x8x2表可用于U分量，且2x2x8表可用于V分量。在另一实例中，当将Y、U、V分量用作到3D查找表的输入时，9x3x3表可用于Y分量，3x9x3表可用于U分量，且3x3x9表可用于V分量。

3D查找表的表大小可在位流中发信号通知，例如在VPS、SPS、PPS、切片标头或相关扩展中。在上述实例中，可仅用信号通知M和N的值，以指示表大小。在一些情况下，代替于用信号通知M和N的值，可为M和N设定默认值，使得不需要表大小的信令。举例来说，N可默认设定成值3或值2。

第三方法包含仅产生亮度分量3D查找表，且仅使用3D查找表来执行亮度分量预测，同时针对色度分量使用一维(1D)线性映射或分段线性映射。在此实例中，简化3D查找表，使得其仅应用于亮度分量预测。对于色度分量预测，可使用分段线性预测模型。由于分段线性预测模型显示与针对色度分量的基于3D查找表的色彩预测模型相似的性能，因此此简化可维持预测准确性，同时降低计算复杂性和信令成本。举例来说，仅使用亮度分量3D查找表可通过避开针对色度分量的三线性内插法来降低计算复杂性，且可通过不发信号通知针对色度分量的3D查找表来降低信令成本。

当仅使用3D查找表来执行亮度分量预测时，上文相对于图9和图10所述的3D映射函数可简化为针对色度分量的1D映射函数。针对第一色度(U)像素值和第二色度(V)像素值的实例映函数在以下等式中呈现。针对亮度(Y)像素值的3D映射函数可与上文所呈现相同。

U_E＝LUT_U(U_B)*U_B+LUT_C(U_B)

V_E＝LUT_V(V_B)*V_B+LUT_C(V_B)

在以上等式中，U_E表示增强层中的第一色度像素值，V_E表示增强层中的第二色度像素值，U_B和V_B表示基础层色度像素值，且LUT_U、LUT_V和LUT_C表示每一色度分量U、V和常数的1D查找表。

上文所描述的方法中的任一者的使用可在VPS、SPS、PPS、切片标头或相关扩展中指示。在一些实例中，上文所描述的用于执行基于3D查找表的色域可缩放的方法中的一或多者可组合。

图11是说明可实施在多层视频译码中使用基于3D查找表的色域可缩放性的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依靠空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。

如图11中所示，视频编码器20接收待编码视频帧内的当前视频块。在图11的实例中，视频编码器20包含模式选择单元40、视频数据存储器41、经解码图片缓冲器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46、分割单元48和色彩预测处理单元66。为进行视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60和求和器62。还可包含去块滤波器(图11中未展示)以对块边界进行滤波以从经重构的视频去除成块假象。在需要时，去块滤波器将通常对求和器62的输出进行滤波。除了去块滤波器外，还可使用额外滤波器(回路中或回路后)。为简洁起见，未图示此些滤波器，但是必要时，此些滤波器可对求和器50的输出进行滤波(作为环路内滤波器)。

视频数据存储器41可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器41中的视频数据。经解码图片缓冲器64可为参考图片存储器，其存储用于由视频编码器20(例如)在帧内或帧间译码模式中对视频数据进行编码的参考视频数据。视频数据存储器41和经解码图片缓冲器64可通过多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器41和经解码图片缓冲器64可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器41可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42和运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，例如以为每一视频数据块选择适当的译码模式。

此外，分割单元48可基于先前译码遍次中的先前划分方案的评估将视频数据块分割成若干子块。举例来说，分割单元48可最初将帧或切片分割成若干LCU，并且基于速率失真分析(例如，速率失真优化)将所述LCU中的每一者分割成若干子CU。模式选择单元40可进一步产生指示将LCU分割成若干子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。

模式选择单元40可例如基于错误结果来选择译码模式中的一者，帧内或帧间，并将所得的经帧内或帧间译码的块提供给求和器50以产生残差块数据，且提供给求和器62以重构用作参考帧的经编码块。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供给熵编码单元56。

运动估计单元42和运动补偿单元44可高度集成，但出于概念的目的分别加以说明。运动估计单元42所执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测性块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储在经解码图片缓冲器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索，并且输出具有分数像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储在经解码图片缓冲器64中的一或多个参考图片。运动估计单元42将计算得出的运动向量发送到熵编码单元56和运动补偿单元44。

运动补偿单元44所执行的运动补偿可涉及基于运动估计单元42所确定的运动向量来取或产生预测性块。并且，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可在参考图片列表中的一者中定位所述运动向量所指向的预测性块。求和器50通过将所述预测性块的像素值从正经译码的当前视频块的像素值减去从而形成像素差值来形成残差视频块，如下文所论述。一般来说，运动估计单元42相对于亮度分量执行运动估计，并且运动补偿单元44针对色度分量和亮度分量两者使用基于亮度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。

作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测。明确地说，帧内预测单元46可确定用于对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独的编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中为模式选择单元40)可从所测试模式中选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可使用速率-失真分析计算针对各种测试的帧内预测模式的速率-失真值，且从所述测试的模式当中选择具有最好速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率，以确定哪种帧内预测模式对于所述块展现最佳速率失真值。

在选择用于块的帧内预测模式后，帧内预测单元46可将指示用于块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20在所发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，以及对最可能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。

视频编码器20通过从正译码的原始视频块减去来自模式选择单元40的预测数据而形成残差视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子带变换或其它类型的变换。在任何状况下，变换处理单元52将变换应用于残差块，从而产生残差变换系数块。所述变换可将残差信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54对变换系数进行量化以进一步降低位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化的变换系数的矩阵的扫描。或者，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)，或者将所述经编码位流存档以用于稍后发射或检索。

逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换，来在像素域中重构残差块，例如以供稍后用作参考块。运动补偿单元44可通过将残差块与经解码图片缓冲器64的帧中的一者的预测性块相加来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建的残差块以计算子整数像素值用于运动估计。求和器62将经重建的残差块与运动补偿单元44所产生的运动补偿预测块相加，以产生经重构视频块用于存储在经解码图片缓冲器64中。经重构视频块可由运动估计单元42和运动补偿单元44用作参考块来对后续视频帧中的块进行帧间译码。

根据本发明中描述的技术，视频编码器20经配置以在编码多层视频数据时执行基于3D查找表的色域可缩放性。视频编码器20可根据SHVC扩展、MV-HEVC扩展和3D-HEVC扩展或其它多层视频译码扩展中的任一者来预测和编码多层视频数据。具体来说，当视频数据的较高层的色域不同于视频数据的较低层的色域时，视频编码器20的色彩预测处理单元66可产生用以预测视频数据的较高层的图片中的视频块的层间参考图片。

视频编码器20的色彩预测处理单元66可使用色域可缩放性的3D查找表来执行色彩预测，以将用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频数据的较高层的第二色域。在一些实例中，色彩预测处理单元66可产生单独的3D查找表，其可针对色彩分量中的每一者，即亮度分量、第一色度分量和第二色度分量而产生。3D查找表中的每一者包含亮度维度、第一色度维度和第二色度维度，且使用三个独立色彩分量来编索引。

根据本发明中描述的技术，视频编码器20的色彩预测处理单元66产生至少一个3D查找表，其具有针对亮度分量与针对第一色度分量和第二色度分量中的每一者不同的大小。色彩预测处理单元66可针对3D查找表的亮度维度使用不同数目的片段来产生此不对称3D查找表。在一个实例中，色彩预测处理单元66可产生3D查找表以具有针对亮度分量比针对第一和第二色度分量中的每一者大的大小，即多的片段。以此方式，可减小所述表的总大小，同时维持针对亮度分量具有比针对第一和第二色度分量高的分辨率的良好译码性能。

在一些实例中，色彩预测处理单元66可产生3D查找表中的每一者，以具有相同大小，其中3D查找表的亮度维度的大小不同于3D查找表的第一色度维度的大小和3D查找表的第二色度维度的大小中的每一者。在其它实例中，色彩预测处理单元66可产生亮度分量3D查找表，以具有不同于第一色度分量3D查找表的第二大小和第二色度分量3D查找表的第三大小中的每一者的第一大小。在另一实例中，色彩预测处理单元66可产生亮度分量3D查找表，以具有与第一色度分量3D查找表和第二色度分量3D查找表中的每一者不同的精度值。在一些情况下，为了进一步降低复杂性，色彩预测处理单元66可仅产生亮度分量3D查找表，使用亮度分量3D查找表来执行亮度分量预测，且使用1D线性映射或分段线性映射来执行第一和第二色度分量预测。

作为另一实例，根据本发明的技术，色彩预测处理单元66可通过针对3D查找表的与用作3D查找表的表索引的色彩分量相关联的维度使用较多片段来产生不平衡的3D查找表。举例来说，亮度分量3D查找表可基于正用作亮度分量3D查找表的表索引的亮度分量，具有比第一色度维度和第二色度维度中的每一者大的亮度维度。可类似地基于表索引处正使用的第一或第二色度分量中的相应一个来确定第一和第二色度分量3D查找表的大小。以此方式，可减小所述表中的每一者的总大小，同时以用作所述表索引的色彩分量的较高分辨率来维持良好的译码性能。

在产生3D查找表后，色彩预测处理单元66即刻使用所述3D查找表，对视频数据的较低层执行参考图片的色彩预测，并基于所述经色彩预测的参考图片来产生用于视频数据的较高层的层间参考图片。在产生所述层间参考图片后，视频编码器20的运动补偿单元44可即刻如上文所述操作，以基于使用3D查找表产生的层间参考图片，来预测视频数据的较高层的图片中的视频块。视讯编码器20可接着在位流中编码经预测的视频块的残差数据以用于发射到视频解码器30。在一些实例中，视频编码器20还可编码指示位流中的3D查找表的大小的一或多个语法元素，其中所述大小针对亮度分量与针对第一和第二色度分量不同。

图12是说明可实施用于确定在多层视频译码中使用基于3D查找表的色域可缩放性的技术的视频解码器30的实例的框图。在图12的实例中，视频解码器30包含熵解码单元70、视频数据存储器71、运动补偿单元72、帧内预测处理单元74、色彩预测处理单元86、逆量化单元76、逆变换处理单元78、经解码图片缓冲器82和求和器80。在一些实例中，视频解码器30可执行大体上与相对于视频编码器20(图11)而描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

视频数据存储器71可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器71中的视频数据可例如从计算机可读媒体16获得，例如经由视频数据的有线或无线网络通信从本地视频源(例如相机)或通过存取物理数据存储媒体而获得。视频数据存储器71可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器82可为参考图片存储器，其存储用于由视频解码器30例如在帧内或帧间译码模式中对视频数据进行解码的参考视频数据。视频数据存储器71和经解码图片缓冲器82可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器71和经解码图片缓冲器82可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器71可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70将运动向量以及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。

当将视频切片译码为经帧内译码(I)切片时，帧内预测处理单元74可基于用信号通知的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生用于当前视频切片的视频块的预测数据。当将视频帧译码为经帧间译码(即，B或P)切片时，运动补偿单元72基于从熵解码单元70接收到的运动向量和其它语法元素而产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储在经解码图片缓冲器82中的参考图片，使用默认构建技术来构建参考图片列表：列表0和列表1。运动补偿单元72通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于经解码当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些语法元素确定用于译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的经内插值。在此情况下，运动补偿单元72可根据接收到的语法元素确定由视频编码器20使用的内插滤波器，并使用所述内插滤波器来产生预测性块。

逆量化单元76对在位流中提供且由熵解码单元70解码的经量化变换系数逆量化，即去量化。逆量化过程可包含使用视频解码器30为视频切片中的每一视频块计算以确定应应用的量化程度以及同样地逆量化程度的量化参数QP_Y。逆变换处理单元78对变换系数应用逆变换(例如，逆DCT、逆整数变换，或概念上类似的逆变换过程)，以便产生像素域中的残差块。

在运动补偿单元72基于运动向量和其它语法元素产生当前视频块的预测性块之后，视频解码器30通过对来自逆变换单元78的残差块与由运动补偿单元72产生的对应的预测性块进行求和而形成经解码视频块。求和器80表示执行此求和运算的一或多个组件。视需要，还可应用去块滤波器以对经解码块进行滤波，以便去除成块假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在经解码图片缓冲器82中，经解码图片缓冲器82存储用于后续运动补偿的参考图片。经解码图片缓冲器82还存储经解码视频以用于稍后呈现在显示器装置(例如，图1的显示器装置32)上。

根据本发明中描述的技术，视频解码器30经配置以在解码多层视频数据时执行基于3D查找表的色域可缩放性。视频解码器30可根据扩SHVC展、MV-HEVC扩展、3D-HEVC扩展或对HEVC的其它多层视频译码扩展中的任一者解码和重构所预测的多层视频数据。具体来说，当用于视频数据的较高层的色域不同于用于视频数据的较低层的色域时，视频解码器30的色彩预测处理单元86可产生用以预测视频数据的较高层的图片中的视频块的层间参考图片。

视频解码器30的色彩预测处理单元86可使用色域可缩放性的3D查找表来执行色彩预测，以将用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频数据的较高层的第二色域。在一些实例中，色彩预测处理单元86可产生单独的3D查找表，其可针对色彩分量中的每一者，即亮度分量、第一色度分量和第二色度分量而产生。3D查找表中的每一者包含亮度维度、第一色度维度和第二色度维度，且使用三个独立色彩分量来编索引。

根据本发明中描述的技术，视频解码器30的色彩预测处理单元86产生至少一个3D查找表，其具有针对亮度分量与针对第一色度分量和第二色度分量中的每一者不同的大小。在一些实例中，视频解码器30可解码指示位流中的3D查找表的大小的一或多个语法元素，其中所述大小针对亮度分量与针对第一和第二色度分量不同。色彩预测处理单元86可根据针对3D查找表的亮度维度使用不同数目的片段指示的大小来产生此不对称3D查找表。在一个实例中，色彩预测处理单元86可产生3D查找表，以针对亮度分量具有比针对第一和第二色度分量中的每一者大的大小，即多的片段。以此方式，可减小所述表的总大小，同时维持针对亮度分量具有比针对第一和第二色度分量高的分辨率的良好译码性能。

在一些实例中，色彩预测处理单元86可产生3D查找表中的每一者，以具有相同大小，其中3D查找表的亮度维度的大小不同于3D查找表的第一色度维度的大小和3D查找表的第二色度维度的大小中的每一者。在其它实例中，色彩预测处理单元86可产生亮度分量3D查找表，以具有不同于第一色度分量3D查找表的第二大小和第二色度分量3D查找表的第三大小中的每一者的第一大小。在另一实例中，色彩预测处理单元86可产生亮度分量3D查找表，以具有与第一色度分量3D查找表和第二色度分量3D查找表中的每一者不同的精度值。在一些情况下，为了进一步降低复杂性，色彩预测处理单86可仅产生亮度分量3D查找表，使用亮度分量3D查找表来执行亮度分量预测，且使用1D线性映射或分段线性映射来执行第一和第二色度分量预测。

作为另一实例，根据本发明的技术，色彩预测处理单元86可通过针对3D查找表的与用作3D查找表的表索引的色彩分量相关联的维度使用较多片段来产生不平衡的3D查找表。举例来说，亮度分量3D查找表可基于正用作亮度分量3D查找表的表索引的亮度分量，具有比第一色度维度和第二色度维度中的每一者大的亮度维度。可类似地基于表索引处正使用的第一或第二色度分量中的相应一个来确定第一和第二色度分量3D查找表的大小。以此方式，可减小所述表中的每一者的总大小，同时以用作所述表索引的色彩分量的较高分辨率来维持良好的译码性能。

在产生3D查找表后，色彩预测处理单元86即刻使用所述3D查找表，对视频数据的较低层执行参考图片的色彩预测，并基于所述经色彩预测的参考图片来产生用于视频数据的较高层的层间参考图片。在产生层间参考图片后，视频解码器30的运动补偿单元72可即刻如上文所述操作，以基于经解码的残差数据以及使用3D查找表产生的层间参考图片来重构视频数据的较高层的图片中的视频块。

图13是说明使用基于3D查找表的色域可缩放性产生层间参考图片的实例操作的流程图。图13的实例操作在本文中描述为由图12的视频解码器30的色彩预测处理单元86执行。在其它实例中，所述操作可由图11的视频编码器20的色彩预测处理单元66或图8的色彩预测处理单元144执行。

按照惯例，在多层视频译码中，视频数据的较低层(例如基础层)和视频数据的较高层(例如增强层)包含在同一色域(例如HD色域BT.709)中的色彩数据。在此情况下，视频解码器可产生用于视频数据的较高层的层间参考图片，作为用于视频数据的较低层的处于相同位置的参考图片的经上取样版本。在本发明中所描述的实例中，视频数据的较低层可包含第一色域(例如BT.709)中的的色彩数据，且所述视频数据的较高层可包含不同的第二色域(例如，UHD色域BT.2020)中的色彩数据。在此实例中，为了产生用于视频数据的较高层的层间参考图片，视频解码器30使用色彩预测处理单元86来执行色彩预测，以将用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频数据的较高层的第二色域。视频解码器30的色彩预测处理单元86可使用针对色域可缩放性的3D查找表来执行色彩预测。

根据本发明的技术，色彩预测处理单元86产生针对色域可缩放性的至少一个3D查找表，其针对亮度分量具有与针对第一色度分量和第二色度分量中的每一者不同的大小(180)。熵解码单元70可解码指示至少一个3D查找表的大小的一或多个语法元素，其中所述大小针对亮度分量与针对第一和第二色度分量中的每一者不同。色彩预测处理单元86可根据通过针对3D查找表的亮度维度使用与针对3D查找表的第一和第二色度分量不同数目的片段指示的大小来产生此不对称3D查找表。

举例来说，色彩预测处理单元86可产生3D查找表，以针对亮度分量具有比针对第一和第二色度分量中的每一者大的大小，即多的片段。在一个实例中，3D查找表可具有至多达8x2x2的大小。以此方式，可减小所述表的总大小，同时维持针对亮度分量具有比针对第一和第二色度分量高的分辨率的良好译码性能。

色彩预测处理单元86可针对色彩分量中的每一者(即，亮度(Y)分量、第一色度(U)分量和第二色度(V)分量)产生单独的3D查找表。3D查找表中的每一者包含亮度(Y)维度、第一色度(U)维度和第二色度(V)维度，且使用三个独立色彩分量(Y,U,V)来编索引。在一些实例中，色彩预测处理单元86可产生所述3D查找表中的每一者以具有相同大小MxNxK，其中3D查找表的亮度维度的大小(M)不同于3D查找表的第一色度维度的大小(N)和3D查找表的第二色度维度的大小(K)中的每一者。举例来说，亮度维度的大小可大于色度维度的大小，M>N且M>K，且色度维度的大小可相同，N＝K。在一个实例中，3D查找表中的每一者可具有相同大小8x2x2。

在其它实例中，色彩预测处理单元86可产生亮度分量3D查找表(LUT_Y)以具有第一大小，例如MxMxM或MxNxK，其不同于第一色度分量3D查找表(LUT_U)的第二大小(例如NxNxN)和第二色度分量3D查找表(LUT_V)的第三大小(例如KxKxK)中的每一者。举例来说，亮度分量3D查找表的大小可大于色度分量3D查找表的大小。第一和第二色度分量3D查找表可为相同大小或不同大小。在一个实例中，LUT_Y可具有大小8x2x2，且LUT_U和LUT_V中的每一者可具有大小2x2x2。

在另一实例中，色彩预测处理单元86可产生亮度分量3D查找表，其具有与第一色度分量3D查找表和第二色度分量3D查找表中的每一者的精度值不同的精度值。举例来说，亮度分量3D查找表的精度值可高于色度分量3D查找表的精度值。在一些情况下，为了进一步降低复杂性，色彩预测处理单元86可仅产生亮度分量3D查找表。

作为另一实例，根据本发明的技术，视频解码器30的色彩预测处理单元86可产生至少一个3D查找表，作为针对3D查找表的与用作3D查找表的表索引的色彩分量相关联的维度使用较多片段的不平衡3D查找表。举例来说，亮度分量3D查找表可基于正用作亮度分量3D查找表的表索引的亮度分量，具有比第一色度维度和第二色度维度大的亮度维度。在此实例中，LUT_Y可具有大小MxNxN，其中M>N。可类似地确定第一和第二色度分量3D查找表的大小。举例来说，LUT_U可基于所述表索引处正使用的第一色度分量具有大小NxMxN，且LUT_v可具有基于所述表索引处正使用的第二色度分量的大小NxNxM。以此方式，可减小所述表中的每一者的总大小，同时以用于所述表索引的色彩分量的较高分辨率来维持良好的译码性能。

在产生至少一个3D查找表之后，色彩预测处理单元86使用至少一个3D查找表来执行色彩预测，以将用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频数据的较高层的第二色域(182)。色彩预测处理单元86接着基于经转换的色彩数据，产生用于视频数据的较高层的至少一个层间参考图片(184)。在仅产生亮度分量3D查找表的情况下，色彩预测处理单元86可使用亮度分量3D查找表来执行亮度分量预测，且使用1D线性映射或分段线性映射来执行第一和第二色度分量预测以产生层间参考图片。视频解码器30接着可基于经解码的残差数据以及使用至少一个3D查找表而产生的至少一个层间参考图片来重构视频数据的较高层的图片中的经预测视频块。

出于说明的目的，已相对于HEVC标准的扩展而描述了本发明的某些方面。然而，本发明中描述的技术可对其它视频译码过程有用，包含尚未开发的其它标准或专有视频译码过程。

如本发明中所描述，视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，在适用时，视频译码可指视频编码或视频解码。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可(例如)通过多线程处理、中断处理或多个处理器同时而非循序地执行动作或事件。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含促进将计算机程序从一处传送到另一处的任何媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体一般可以对应于(1)有形计算机可读存储媒体，其为非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的任何其它媒体。并且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。上文的组合也应包含于计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置以用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合式编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (30)

1.一种处理多层视频数据的方法，所述方法包括：

产生针对色域可缩放性的至少一个三维3D查找表，其中所述至少一个3D查找表具有针对亮度分量与针对第一色度分量和第二色度分量中的每一者不同的大小；

使用所述至少一个3D查找表执行色彩预测，以将用于所述视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于所述视频数据的较高层的第二色域；以及

基于所述经转换的色彩数据来产生用于所述视频数据的所述较高层的至少一个层间参考图片。

2.根据权利要求1所述的方法，其中所述至少一个3D查找表的所述大小针对所述亮度分量比针对所述第一色度分量和所述第二色度分量中的每一者大。

3.根据权利要求1所述的方法，其中产生所述至少一个3D查找表包括产生不对称3D查找表，这是通过针对所述不对称3D查找表的亮度维度与针对所述不对称3D查找表的第一色度维度和第二色度维度中的每一者使用不同数目的片段来实现的。

4.根据权利要求3所述的方法，其中所述不对称3D查找表针对所述不对称3D查找表的所述亮度维度具有比针对所述不对称3D查找表的所述第一和第二色度维度中的每一者多的片段。

5.根据权利要求1所述的方法，其中产生所述至少一个3D查找表包括产生具有大小MxNxK的亮度分量3D查找表，其中M表示所述亮度分量3D查找表的亮度维度的大小，N表示所述亮度分量3D查找表的第一色度维度的大小，且K表示所述亮度分量3D查找表的第二色度维度的大小，且其中M不同于N和K中的每一者。

6.根据权利要求5所述的方法，其中产生所述至少一个3D查找表进一步包括产生具有所述大小MxNxK的第一色度分量3D查找表，且产生具有所述大小MxNxK的第二色度分量3D查找表。

7.根据权利要求1所述的方法，其中产生所述至少一个3D查找表包括：产生具有第一大小的亮度分量3D查找表；产生具有第二大小的第一色度分量3D查找表；以及产生具有第三大小的第二色度分量3D查找表，其中所述第一大小不同于所述第二大小和所述第三大小中的每一者。

8.根据权利要求1所述的方法，其中产生所述至少一个3D查找表包括：产生具有第一精度值的亮度分量3D查找表；产生具有第二精度值的第一色度分量3D查找表；以及产生具有所述第二精度值的第二色度分量3D查找表，其中所述第一精度值不同于所述第二精度值。

9.根据权利要求1所述的方法，其中产生所述至少一个3D查找表包括产生不平衡3D查找表，这是基于亮度分量用作所述3D查找表的表索引，通过针对所述3D查找表的所述亮度维度使用比针对所述3D查找表的第一色度维度和第二色度维度中的每一者多的片段来实现的。

10.根据权利要求1所述的方法，其中产生所述至少一个3D查找表包括：

产生具有大于第一色度维度和第二色度维度中的每一者的亮度维度的亮度分量3D查找表，这是基于所述亮度分量用作所述亮度分量3D查找表的表索引来实现的；

产生具有大于亮度维度和第二色度维度中的每一者的第一色度维度的第一色度分量3D查找表，这是基于所述第一色度分量用作所述第一色度分量3D查找表的表索引来实现的；以及

产生具有大于第一色度维度和亮度维度中的每一者的第二色度维度的第二色度分量3D查找表，这是基于所述第二色度分量用作所述第二色度分量3D查找表的表索引来实现的。

11.根据权利要求1所述的方法，其中产生所述至少一个3D查找表包括仅产生亮度分量3D查找表。

12.根据权利要求1所述的方法，其中执行色彩预测包括使用所述至少一个3D查找表来执行亮度分量预测，所述方法进一步包括使用线性映射或分段线性映射中的一者来执行第一和第二色度分量预测。

13.根据权利要求1所述的方法，其进一步包括：

基于使用所述至少一个3D查找表产生的所述至少一个层间参考图片来预测所述视频数据的所述较高层的图片中的视频块；

在位流中编码所述所预测视频块的残差数据；以及

在所述位流中编码指示所述至少一个3D查找表的所述大小的一或多个语法元素，其中所述大小针对所述亮度分量与针对所述第一和第二色度分量中的每一者不同。

14.根据权利要求1所述的方法，其进一步包括：

解码指示所述至少一个3D查找表的所述大小的一或多个语法元素，其中所述大小针对所述亮度分量与针对所述第一和第二色度分量中的每一者不同；

解码所预测视频块的残差数据；以及

基于所述经解码的残差数据以及使用所述至少一个3D查找表产生的所述至少一个层间参考图片来重构所述视频数据的所述较高层的图片中的所述经预测视频块。

15.一种用于处理多层视频数据的视频处理装置，所述装置包括：

存储器，其经配置以存储所述多层视频数据；以及

一或多个处理器，其与所述存储器通信且经配置以：

产生针对色域可缩放性的至少一个三维3D查找表，其中所述至少一个3D查找表具有针对亮度分量与针对第一色度分量和第二色度分量不同的大小；

使用所述至少一个3D查找表执行色彩预测，以将用于所述视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于所述视频数据的较高层的第二色域；以及

基于所述经转换的色彩数据来产生用于所述视频数据的所述较高层的至少一个层间参考图片。

16.根据权利要求15所述的装置，其中所述至少一个3D查找表的所述大小针对所述亮度分量比针对所述第一色度分量和所述第二色度分量中的每一者大。

17.根据权利要求15所述的装置，其中为了产生所述至少一个3D查找表，所述一或多个处理器经配置以产生不对称3D查找表，这是通过针对所述不对称3D查找表的亮度维度使用与针对所述不对称3D查找表的第一色度维度和第二色度维度中的每一者不同数目的片段来实现的。

18.根据权利要求17所述的装置，其中所述不对称3D查找表针对所述不对称3D查找表的所述亮度维度具有比针对所述不对称3D查找表的所述第一和第二色度维度中的每一者多的片段。

19.根据权利要求15所述的装置，其中为了产生所述至少一个3D查找表，所述一或多个处理器经配置以产生具有大小MxNxK的亮度分量3D查找表，其中M表示所述亮度分量3D查找表的亮度维度的大小，N表示所述亮度分量3D查找表的第一色度维度的大小，且K表示所述亮度分量3D查找表的第二色度维度的大小，且其中M不同于N和K中的每一者。

20.根据权利要求19所述的装置，其中所述一或多个处理器经配置以产生具有所述大小MxNxK的第一色度分量3D查找表，且产生具有所述大小MxNxK的第二色度分量3D查找表。

21.根据权利要求15所述的装置，其中为了产生所述至少一个3D查找表，所述一或多个处理器经配置以产生具有第一大小的亮度分量3D查找表，产生具有第二大小的第一色度分量3D查找表，且产生具有第三大小的第二色度分量3D查找表，其中所述第一大小不同于所述第二大小和所述第三大小中的每一者。

22.根据权利要求15所述的装置，其中为了产生所述至少一个3D查找表，所述一或多个处理器经配置以产生具有第一精度值的亮度分量3D查找表，产生具有第二精度值的第一色度分量3D查找表，且产生具有所述第二精度值的第二色度分量3D查找表，其中所述第一精度值不同于所述第二精度值。

23.根据权利要求15所述的装置，其中为了产生所述至少一个3D查找表，所述一或多个处理器经配置以产生不平衡3D查找表，这是通过基于所述亮度分量用作所述3D查找表的表索引，针对所述3D查找表的亮度维度使用比针对所述3D查找表的第一色度维度和第二色度维度中的每一者多的片段来实现的。

24.根据权利要求15所述的装置，其中为了产生所述至少一个3D查找表，所述一或多个处理器经配置以：

产生具有大于第一色度维度和第二色度维度中的每一者的亮度维度的亮度分量3D查找表，这是基于所述亮度分量用作所述亮度分量3D查找表的表索引来实现的；

产生具有大于亮度维度和第二色度维度中的每一者的第一色度维度的第一色度分量3D查找表，这是基于所述第一色度分量用作所述第一色度分量3D查找表的表索引来实现的；以及

产生具有大于第一色度维度和亮度维度中的每一者的第二色度维度的第二色度分量3D查找表，这是基于所述第二色度分量用作所述第二色度分量3D查找表的表索引来实现的。

25.根据权利要求15所述的装置，其中为了产生所述至少一个3D查找表，所述一或多个处理器经配置以仅产生亮度分量3D查找表。

26.根据权利要求15所述的装置，其中所述一或多个处理器经配置以使用所述至少一个3D查找表来执行亮度分量预测，且使用线性映射或分段线性映射中的一者来执行第一和第二色度分量预测。

27.根据权利要求15所述的装置，其中所述视频处理装置包括视频编码装置，且其中所述一或多个处理器经配置以：

基于使用所述至少一个3D查找表产生的所述至少一个层间参考图片来预测所述视频数据的所述较高层的图片中的视频块；

在位流中编码所述所预测视频块的残差数据；以及

在所述位流中编码指示所述至少一个3D查找表的所述大小的一或多个语法元素，其中所述大小针对所述亮度分量与针对所述第一和第二色度分量中的每一者不同。

28.根据权利要求15所述的装置，其中所述视频处理装置包括视频解码装置，且其中所述一或多个处理器经配置以：

解码指示所述至少一个3D查找表的所述大小的一或多个语法元素，其中所述大小针对所述亮度分量与针对所述第一和第二色度分量中的每一者不同；

解码所预测视频块的残差数据；以及

基于所述经解码的残差数据以及使用所述至少一个3D查找表产生的所述至少一个层间参考图片来重构所述视频数据的所述较高层的图片中的所述经预测视频块。

29.一种用于处理多层视频数据的视频处理装置，所述装置包括：

用于产生针对色域可缩放性的至少一个三维3D查找表的装置，其中所述至少一个3D查找表具有针对亮度分量与针对第一色度分量和第二色度分量不同的大小；

用于使用所述至少一个3D查找表来执行色彩预测以将用于所述视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于所述视频数据的较高层的第二色域的装置；以及

用于基于所述经转换的色彩数据来产生用于所述视频数据的所述较高层的至少一个层间参考图片的装置。

30.一种存储用于处理多层视频数据的指令的计算机可读存储媒体，所述指令在被执行时致使一或多个处理器：

产生针对色域可缩放性的至少一个三维3D查找表，其中所述至少一个3D查找表具有针对亮度分量与针对第一色度分量和第二色度分量不同的大小；

使用所述至少一个3D查找表执行色彩预测，以将用于所述视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于所述视频数据的较高层的第二色域；以及

基于所述经转换的色彩数据来产生用于所述视频数据的所述较高层的至少一个层间参考图片。