CN105191320A

CN105191320A - 在基于调色板的视频译码中确定调色板

Info

Publication number: CN105191320A
Application number: CN201480019413.2A
Authority: CN
Inventors: 郭立威; 马尔塔·卡切维奇; 霍埃尔·索赖·罗哈斯; 瑞珍·雷克斯曼·乔许
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-04-05
Filing date: 2014-04-04
Publication date: 2015-12-23
Anticipated expiration: 2034-04-04
Also published as: BR112015025459B1; CN105075272A; US20140301474A1; KR20150140722A; US20140301475A1; KR102205328B1; WO2014165784A1; ES2727635T3; HUE043455T2; EP2982126B1; CN105191320B; BR112015025439A2; KR102252843B1; KR20150139902A; JP6297671B2; US9654777B2; JP2016521042A; EP2982126A1; BR112015025459A2; EP2982125A1

Abstract

在一实例中，一种对视频数据进行译码的方法包含：确定具有指示第一像素值的第一条目的第一调色板；基于所述第一调色板的所述第一条目确定指示第二调色板的第二像素值的一或多个第二条目；以及使用所述第二调色板对视频数据块的像素进行译码。

Description

在基于调色板的视频译码中确定调色板

本申请案主张2013年4月5日申请的第61/809,236号美国临时申请案和2013年4月10日申请的第61/810,649号美国临时申请案的权益，以上申请案的整个内容各自以引用的方式并入本文中。

技术领域

本发明涉及视频编码和解码。

背景技术

可将数字视频能力并入到多种多样的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分、高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块。图片的经帧内编码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可称为帧，且参考图片可称为参考帧。

空间或时间预测导致用于待译码的块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据来编码。为了实现进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余系数，接着可以对残余系数进行量化。可扫描最初布置为二维阵列的经量化的系数，以便产生系数的一维向量，且可应用熵译码以实现更多压缩。

可例如从多个视角编码视图来产生多视图译码位流。已经开发利用多视图译码方面的一些三维(3D)视频标准。举例来说，不同视图可传输左眼及右眼视图以支持3D视频。或者，一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量而且含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量及一个深度视图分量。

发明内容

本发明的技术涉及基于调色板的视频译码。举例来说，在基于调色板的译码中，视频译码器(视频编码器或视频解码器)可形成所谓的“调色板”作为用于表示特定区域(例如，给定块)的视频数据的颜色的表。基于调色板的译码可尤其有用于对具有相对少量的颜色的视频数据区域进行译码。并非对实际像素值(或其残余)进行译码，视频译码器可对所述像素中的一或多者的索引值进行译码，所述索引值使所述像素与调色板中表示所述像素的颜色的条目相关。调色板可显式地经编码且发送到解码器，从先前调色板条目预测，或其组合。本发明中描述的技术可包含用于以下各项中的一或多者的各种组合的技术：用信号表示基于调色板的译码模式，对调色板进行译码，预测调色板，导出调色板，以及译码基于调色板的译码映射和其它语法元素。

在一个实例中，一种对视频数据进行译码的方法包含：确定具有指示第一像素值的第一条目的第一调色板；基于所述第一调色板的所述第一条目确定指示第二调色板的第二像素值的一或多个第二条目；以及使用所述第二调色板对视频数据块的像素进行译码。

在另一个实例中，一种用于对视频数据进行译码的设备包含：存储器，其存储视频数据；以及一或多个处理器，其经配置以：确定具有指示第一像素值的第一条目的第一调色板；基于所述第一调色板的所述第一条目确定指示第二调色板的第二像素值的一或多个第二条目；以及使用所述第二调色板对所述视频数据的块的像素进行译码。

在另一个实例中，一种用于对视频数据进行译码的设备包含：用于确定具有指示第一像素值的第一条目的第一调色板的装置；用于基于所述第一调色板的所述第一条目确定指示第二调色板的第二像素值的一或多个第二条目的装置；以及用于使用所述第二调色板对视频数据块的像素进行译码的装置。

在另一个实例中，一种非暂时性计算机可读媒体其上存储有指令，所述指令在执行时致使一或多个处理器：确定具有指示第一像素值的第一条目的第一调色板；基于所述第一调色板的所述第一条目确定指示第二调色板的第二像素值的一或多个第二条目；以及使用所述第二调色板对所述视频数据的块的像素进行译码。

在另一个实例中，一种对视频数据进行译码的方法包含：确定与视频数据块中的第一像素相关联的第一索引值，其中所述第一索引值使所述第一像素的位置相关到像素值的调色板的条目；基于所述第一索引值确定与所述视频数据块中的一或多个第二像素相关联的一或多个第二索引值，其中所述第二索引值使所述一或多个第二像素的位置相关到像素值的所述调色板的一或多个条目；以及对所述视频数据块的所述第一像素和所述一或多个第二像素进行译码。

在另一个实例中，一种用于对视频数据进行译码的设备包含：存储器，其存储视频数据；以及一或多个处理器，其经配置以：确定与所述视频数据的块中的第一像素相关联的第一索引值，其中所述第一索引值使所述第一像素的位置相关到像素值的调色板的条目；基于所述第一索引值确定与所述视频数据块中的一或多个第二像素相关联的一或多个第二索引值，其中所述第二索引值使所述一或多个第二像素的位置相关到像素值的所述调色板的一或多个条目；以及对所述视频数据块的所述第一像素和所述一或多个第二像素进行译码。

在另一个实例中，一种用于对视频数据进行译码的设备包含：用于确定与视频数据块中的第一像素相关联的第一索引值的装置，其中所述第一索引值使所述第一像素的位置相关到像素值的调色板的条目；用于基于所述第一索引值确定与所述视频数据块中的一或多个第二像素相关联的一或多个第二索引值的装置，其中所述第二索引值使所述一或多个第二像素的位置相关到像素值的所述调色板的一或多个条目；以及用于对所述视频数据块的所述第一像素和所述一或多个第二像素进行译码的装置。

在另一个实例中，一种非暂时性计算机可读媒体其上存储指令，所述指令当执行时致使一或多个处理器：确定与所述视频数据的块中的第一像素相关联的第一索引值，其中所述第一索引值使所述第一像素的位置相关到像素值的调色板的条目；基于所述第一索引值确定与所述视频数据块中的一或多个第二像素相关联的一或多个第二索引值，其中所述第二索引值使所述一或多个第二像素的位置相关到像素值的所述调色板的一或多个条目；以及对所述视频数据块的所述第一像素和所述一或多个第二像素进行译码。

在附图和下文描述中阐述本发明的一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书显而易见。

附图说明

图1是说明可以利用本发明中描述的技术的实例视频编码系统的框图。

图2是说明可实施本发明中描述的技术的实例视频编码器的框图。

图3是图解说明可实施本发明中描述的技术的实例视频解码器的框图。

图4是说明与本发明的技术一致的确定用于对视频数据进行译码的调色板的实例的概念图。

图5是说明与本发明的技术一致的确定到像素块的调色板的索引的实例的概念图。

图6是说明与本发明的技术一致的用于使用调色板译码模式对视频数据进行译码的实例过程的流程图。

图7是说明与本发明的技术一致的用于在基于调色板的译码中确定调色板的实例过程的流程图。

图8是说明与本发明的技术一致的用于在基于调色板的视频译码中确定视频数据块的索引的实例过程的流程图。

具体实施方式

本发明包含用于视频译码和压缩的技术。确切地说，本发明描述用于视频数据的基于调色板的译码的技术。在传统的视频译码中，假定图像为连续色调且空间上平滑。基于这些假设，已经开发各种工具，例如基于块的变换、滤波等，且此些工具已展示用于自然内容视频的良好性能。

然而，在例如远程桌面、合作工作和无线显示器等应用中，计算机产生的屏幕内容(例如，例如文字或计算机图形)可为待压缩的主要内容。此类型的内容倾向于具有离散色调及特征清晰线，及高对比度对象边界。连续色调及平滑度的假定可不再适用于屏幕内容，且因此，传统视频译码技术可能不是压缩包含屏幕内容的视频数据的高效方式。

本发明描述基于调色板的译码，其可特别适合于屏幕产生的内容译码。举例来说，假定视频数据的特定区域具有相对少量的颜色。视频译码器(视频编码器或视频解码器)可将所谓的“调色板”形成为用于表示特定区域(例如，给定块)的视频数据的颜色的表。每一像素可与调色板中表示像素的颜色的条目相关联。举例来说，视频译码器可对使像素值与调色板中的适当值相关的索引进行译码。

在以上实例中，视频编码器可通过以下方式对视频数据块进行编码：确定块的调色板(例如，明确地对调色板进行译码、预测调色板)、在调色板中定位表示每一像素的值的条目以及以使像素值与调色板相关的用于像素的索引值对所述块进行编码。视频解码器可从经编码位流获得块的调色板以及所述块的像素的索引值。视频解码器可使像素的索引值与调色板的条目相关以重构块的像素值。

以上实例既定提供基于调色板的译码的一般描述。在各种实例中，本发明中描述的技术可包含用于以下各者中的一或多者的各种组合的技术：用信号表示基于调色板的译码模式，发射调色板，预测调色板，导出调色板，以及发射基于调色板的译码映射和其它语法元素。此些技术可改善视频译码效率，例如需要较少位来表示屏幕产生的内容。

用于视频数据的基于调色板的译码的技术可与一或多个其它译码技术一起使用，例如用于帧间或帧内预测性译码的技术。举例来说，如下文更详细地描述，编码器或解码器或组合编码器-解码器(编解码器)可经配置以执行帧间和帧内预测性译码以及基于调色板的译码。

在一些实例中，基于调色板的译码技术可经配置以与一或多个视频译码标准一起使用。举例来说，高效率视频译码(HEVC)是由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的新视频译码标准。新近HEVC文本规范草案描述于布洛斯(Bross)等人的“高效率视频译码(HEVC)文本规范草案10(用于FDIS及同意)(HighEfficiencyVideoCoding(HEVC)TextSpecificationDraft10(forFDIS&Consent))”(JCVC-L1003_v13，ITU-TSG16WP3及ISO/IECJCT1/SC29/WG11的JCT-VC第12次会议，2013年1月14日至23日)(“HEVC草案10”)中，其可从以下地址得到：

http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v13.zip。

相对于HEVC框架，作为一实例，基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中，基于调色板的译码技术可经配置以用作HEVC的框架中的PU模式。因此，在CU模式的上下文中描述的所有以下所揭示的过程可另外或替代地应用于PU。然而，这些基于HEVC的实例不应被视为对本文所描述的基于调色板的译码技术的限定或限制，因为此些技术可应用以独立地工作或作为其它现有或尚待开发的系统/标准的部分而应用。在这些情况下，用于调色板译码的单元可为正方形块、矩形块或甚至非矩形形状的区。

图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文所使用，术语“视频译码器”一般是指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码或视频解码。视频译码系统10的视频编码器20和视频解码器30表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说，视频编码器20和视频解码器30可经配置以使用基于调色板的译码或非基于调色板的译码选择性对例如HEVC译码中的CU或PU等各种视频数据块进行译码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC草案10指定的各种译码模式。

如图1中所示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可以被称为视频编码装置或视频编码设备。目的地装置14可以对由源装置12所产生的经编码的视频数据进行解码。因此，目的地装置14可以被称为视频解码装置或视频解码设备。源装置12以及目的地装置14可以是视频译码装置或视频译码设备的实例。

源装置12及目的地装置14可包括广泛范围的装置，包含桌上型计算机、行动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机(in-carcomputer)或其类似者。

目的地装置14可以经由信道16从源装置12接收经编码的视频数据。信道16可以包括能够将经编码的视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可以包括使得源装置12能够实时地将经编码的视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可以根据例如无线通信协议等通信标准调制经编码的视频数据，并且可以将经调制的视频数据发射到目的地装置14。一或多个通信媒体可以包含无线通信媒体和/或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。所述一或多个通信媒体可以形成基于包的网络的一部分，基于包的网络例如局域网、广域网或全球网络(例如，因特网)。一或多个通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它设备。

在另一实例中，信道16可以包含存储由源装置12产生的经编码的视频数据的存储媒体。在此实例中，目的地装置14可以经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适数字存储媒体。

在另一实例中，信道16可以包含存储由源装置12产生的经编码的视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可以经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可以是能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置14的类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络附接存储(NAS)装置及本地磁盘驱动器。

目的地装置14可以通过标准数据连接(例如因特网连接)来存取经编码的视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。经编码的视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。

本发明的技术不限于无线应用或设定。所述技术可以应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如，经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频数据，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。

图1仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、在网络上流式传输，等。视频编码装置可以对数据进行编码并且将数据存储到存储器，和/或视频解码装置可以从存储器检索数据并且对数据进行解码。在许多实例中，通过并不彼此通信而是简单地编码数据到存储器及/或从存储器检索数据且解码数据的装置来执行编码及解码。

在图1的实例中，源装置12包含视频源18、视频编码器20以及输出接口22。在一些情况下，输出接口22可以包含调制器/解调器(调制解调器)和/或发射器。视频源18可以包含视频俘获装置(例如，摄像机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口、和/或用于产生视频数据的计算机图形系统，或视频数据的此些源的组合。

视频编码器20可以对来自视频源18的视频数据进行编码。在一些实例中，源装置12经由输出接口22将经编码的视频数据直接发射到目的地装置14。在其它实例中，经编码的视频数据还可以存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码和/或回放。

在图1的实例中，目的地装置14包含输入接口28、视频解码器30以及显示装置32。在一些实例中，输入接口28包含接收器和/或调制解调器。输入接口28可以在信道16上接收经编码的视频数据。显示装置32可以与目的地装置14集成在一起或可以在目的地装置14的外部。一般来说，显示装置32显示经解码的视频数据。显示装置32可以包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

本发明可大体上将视频编码器20称为将某些信息“用信号表示”或“发射”到例如视频解码器30的另一装置。术语“用信号表示”或“发射”可大体上指代用以对经压缩视频数据进行解码的语法元素和/或其它数据的传送。此通信可实时或接近实时地发生。替代性地，可历时时间跨度而发生此通信，例如当在编码时，以经编码位流将语法元素存储到计算机可读存储媒体时，可发生此通信，接着，在存储到此媒体之后可由解码装置在任何时间检索所述语法元素。因此，虽然视频解码器30可被称为“接收”某些信息，但信息的接收不一定实时或近实时发生且可在存储之后的某个时间从媒体检索。

视频编码器20及视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施技术时，装置可以将软件的指令存储于合适的非暂时性计算机可读存储媒体中以及可以使用一或多个处理器以硬件执行指令从而执行本发明的技术。可以将前述内容中的任一者(包含硬件、软件、硬件与软件的组合等)视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。

在一些实例中，视频编码器20和视频解码器30根据视频压缩标准操作，例如上文所提及且在HEVC草案10中描述的HEVC标准。除基础HEVC标准以外，存在持续努力产生用于HEVC的可缩放视频译码、多视图视频译码和3D译码扩展。另外，可提供(例如)如本发明中所描述的基于调色板的译码模式以用于HEVC标准的扩展。在一些实例中，本发明中针对基于调色板的译码而描述的技术可应用于经配置以根据其它视频译码标准(例如ITU-T-H.264/AVC标准或将来标准)操作的编码器及解码器。因此，用于HEVC编解码器中的译码单元(CU)或预测单元(PU)的译码的基于调色板的译码模式的应用是为了实例的目的而描述。

在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可以包含三个样本阵列，表示为S_L、S_Cb以及S_Cr。S_L是明度样本的二维阵列(即，块)。S_Cb是Cb色度样本的二维阵列。S_Cr是Cr色度样本的二维阵列。色度样本在本文中还可以被称为“色度”样本。在其它情况下，图片可为单色的且可仅包含明度样本阵列。

为了产生图片的经编码的表示，视频编码器20可以产生译码树单元(CTU)的集合。CTU中的每一者可以是明度样本的译码树块、色度样本的两个对应的译码树块，以及用以对译码树块的样本进行译码的语法结构。译码树块可以是样本的NxN块。CTU也可以被称为“树块”或“最大译码单元”(LCU)。HEVC的CTU可以广泛地类似于例如H.264/AVC等其它标准的宏块。然而，CTU未必限于特定大小，并且可以包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续排序的整数数目的CTU。

经译码切片可包括切片标头及切片数据。切片的切片标头可为包含提供关于切片的信息的语法元素的语法结构。切片数据可包含切片的经译码CTU。

本发明可使用术语“视频单元”或“视频块”或“块”来指代一或多个样本块及用于译码所述一或多个样本块的样本的语法结构。实例类型的视频单元或块可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区等。在一些上下文中，PU的论述可与宏块分区的宏块的论述互换。

为了产生经译码的CTU，视频编码器20可以对CTU的译码树块递归地执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块是样本的NxN块。CU可以是具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块，以及色度样本的两个对应的译码块，以及用以对译码块的样本进行译码的语法结构。视频编码器20可以将CU的译码块分割成一或多个预测块。预测块可以是应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可以是图片的明度样本的预测块，图片的色度样本的两个对应的预测块，以及用以对预测块样本进行预测的语法结构。视频编码器20可以产生用于CU的每个PU的明度预测块、Cb预测块以及Cr预测块的预测性明度块、Cb块以及Cr块。

视频编码器20可以使用帧内预测或帧间预测来产生用于PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，则视频编码器20可以基于与PU相关联的图片的经解码的样本来产生PU的预测性块。

如果视频编码器20使用帧间预测产生PU的预测性块，则视频编码器20可以基于不同于与PU相关联的图片的一或多个图片的经解码的样本来产生PU的预测性块。视频编码器20可以使用单向预测或双向预测以产生PU的预测性块。当视频编码器20使用单向预测以产生PU的预测性块时，PU可以具有单一MV。当视频编码器20使用双向预测来产生PU的预测性块时，PU可以具有两个MV。

在视频编码器20产生CU的一或多个PU的预测性明度、Cb及Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每个样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中对应的样本之间的差异。另外，视频编码器20可以为CU产生Cb残余块。CU的Cb残余块中的每个样本可以指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中对应的样本之间的差异。视频编码器20还可以产生CU的Cr残余块。CU的Cr残余块中的每个样本可以指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中对应的样本之间的差异。

此外，视频编码器20可使用四叉树分割将CU的明度、Cb及Cr残余块分解成一或多个明度、Cb及Cr变换块。变换块可以是对其应用相同变换的样本的矩形块。CU的变换单元(TU)可以是明度样本的变换块、色度样本的两个对应的变换块，以及用于对变换块样本进行变换的语法结构。因此，CU的每一TU可以与明度变换块、Cb变换块以及Cr变换块相关联。与TU相关联的明度变换块可以是CU的明度残余块的子块。Cb变换块可以是CU的Cb残余块的子块。Cr变换块可以是CU的Cr残余块的子块。

视频编码器20可以将一或多个变换应用到TU的明度变换块从而为TU产生明度系数块。系数块可以是变换系数的二维阵列。变换系数可以是标量。视频编码器20可以将一或多个变换应用到TU的Cb变换块从而产生TU的Cb系数块。视频编码器20可以将一或多个变换应用到TU的Cr变换块从而产生TU的Cr系数块。

在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化大体上指代对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可以对指示经量化的变换系数的语法元素进行熵编码例如，视频编码器20可以对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可以在位流中输出经熵编码语法元素。

视频编码器20可以输出包含经熵编码的语法元素的位流。位流可包含形成经译码映射片和相关联数据的表示的位序列。位流可包括网络抽象层(NAL)单元的序列。所述NAL单元中的每一者包含NAL单元标头且囊封原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的所述NAL单元类型代码指示NAL单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。

不同类型的NAL单元可囊封不同类型的RBSP。举例来说，第一类型的NAL单元可囊封用于图片参数集(PPS)的RBSP，第二类型的NAL单元可囊封用于经译码切片的RBSP，第三类型的NAL单元可囊封用于SEI的RBSP等等。囊封用于视频译码数据的RBSP(与用于参数集及SEI消息的RBSP相比)的NAL单元可被称为视频译码层(VCL)NAL单元。

视频解码器30可以接收由视频编码器20产生的位流。另外，视频解码器30可以剖析位流以对来自位流的语法元素进行解码。视频解码器30可以至少部分基于从位流解码的语法元素重构视频数据的图片。用以重构视频数据的过程通常可与由视频编码器20执行的过程互逆。

例如，视频解码器30可以使用PU的MV以为当前CU的PU确定预测性样本块。另外，视频解码器30可以逆量化与当前CU的TU相关联的变换系数块。视频解码器30可以对变换系数块执行逆变换以重构与当前CU的TU相关联的变换块。通过将用于当前CU的PU的预测性样本块的样本增加到当前CU的TU的变换块的对应的样本上，视频解码器30可以重构当前CU的译码块。通过重构用于图片的每个CU的译码块，视频解码器30可以重构图片。

在一些实例中，视频编码器20和视频解码器30可经配置以执行基于调色板的译码。举例来说，在基于调色板的译码中，并非执行上述帧内预测性或帧间预测性译码技术，视频编码器20和视频解码器30可将所谓的调色板译码为用于表示特定区域(例如，给定块)的视频数据的颜色的表。每一像素可与调色板中表示像素的颜色的条目相关联。举例来说，视频编码器20和视频解码器30可对使像素值与调色板中的适当值相关的索引进行译码。

在以上实例中，视频编码器20可通过确定块的调色板、在调色板中定位表示每一像素的值的条目以及以使像素值与调色板相关的用于像素的索引值对调色板进行编码来对视频数据块进行编码。视频解码器30可从经编码位流获得块的调色板以及所述块的像素的索引值。视频解码器30可使像素的索引值与调色板的条目相关以重构块的像素值。

基于调色板的译码可具有一定量的信令开销。举例来说，可需要若干位来用信号表示调色板的特性(例如调色板的大小)以及调色板自身。另外，可需要若干位来用信号表示块的像素的索引值。在一些实例中，本发明的技术可减少用信号表示此信息所需的位的数目。举例来说，本发明中描述的技术可包含以下各者中的一或多者的各种组合的技术：用信号表示基于调色板的译码模式，发射调色板，预测调色板，导出调色板，以及发射基于调色板的译码映射和其它语法元素。

本发明的方面是针对调色板预测。举例来说，根据本发明的方面，视频编码器20和/或视频解码器30可确定具有指示第一像素值的第一条目的第一调色板。视频编码器20和/或视频解码器30可随后基于第一调色板的第一条目确定第二调色板的指示第二像素值的一或多个第二条目。视频编码器20和/或视频解码器30还可使用第二调色板对视频数据块的像素进行译码。

当基于第一条目确定第二调色板的第二条目时，视频编码器20可对多种语法元素进行编码，所述语法元素可由视频解码器使用以重构第二调色板。举例来说，视频编码器20可在位流中编码一或多个语法元素以指示整个调色板(或多个调色板，在视频数据的每一颜色分量(例如，Y、Cb、Cr或Y、U、V或R、G、B)具有单独调色板的情况下)是从当前正译码的块的一或多个相邻块复制。当前块的当前调色板的条目从其预测(例如，复制)的调色板可被称为预测性调色板。预测性调色板可含有来自包含空间相邻块和/或块的特定扫描次序中的相邻块的一或多个相邻块的调色板条目。举例来说，相邻块可在空间上位于当前正译码的块的左边(左边相邻块)或上方(上部相邻块)。在另一实例中，视频编码器20可使用当前块的因果相邻者中的最频繁样本值确定预测性调色板条目。在另一实例中，相邻块可根据用以对块进行译码的特定扫描次序与当前正译码的块相邻。即，相邻块可为在扫描次序中在当前块之前译码的一或多个块。视频编码器20可对一或多个语法元素进行编码以指示调色板从其复制的相邻块的位置。

在一些实例中，可逐条目执行调色板预测。举例来说，视频编码器20可对一或多个语法元素进行编码以针对预测性调色板的每一条目指示所述调色板条目是否包含在当前块的调色板中。如果视频编码器20未预测当前块的调色板的条目，那么视频编码器20可对一或多个额外语法元素进行编码以指定未预测条目以及此些条目的数目。

在一些实例中，用于预测整个调色板的技术可与用于预测调色板的一或多个条目的技术组合。举例来说，视频编码器20可在位流中对一或多个语法元素进行编码以指示当前调色板是否是从预测性调色板完全复制。如果情况不是这样，那么视频编码器20可在位流中对一或多个语法元素进行编码以指示预测性调色板中的每一条目是否是复制的。

在另一个实例中，替代于用信号表示条目的数目和调色板值，视频编码器20可在用信号表示每一调色板值之后用信号表示用以指示用信号表示的调色板值是否是调色板的最终调色板条目的旗标。如果调色板已经达到某一最大大小，那么视频编码器20可不用信号表示此“调色板末端”旗标。

根据本发明的方面，视频编码器20可对一或多个语法元素进行编码以指示调色板预测是否经启用和/或有效。在用于说明目的的实例中，视频编码器20可对pred_palette_flag进行编码以针对每一块(例如，CU或PU)指示视频编码器20是否使用调色板预测来预测相应块的调色板。在一些实例中，视频编码器可用信号表示每一颜色分量的单独旗标(例如，每一块的三个旗标)。在其它实例中，视频编码器20可用信号表示适用于块的所有颜色分量的单个旗标。

视频解码器30可从经编码位流获得以上识别的信息且使用数据重构调色板。举例来说，视频解码器30可接收指示特定调色板是否是从另一调色板预测的数据以及允许视频解码器30使用适当预测性调色板条目的信息。

在一些实例中，另外或替代地，视频编码器20和/或视频解码器30可在运行中(即，动态地)构造调色板。举例来说，视频编码器20和/或视频解码器30可在译码期间将条目添加到空的调色板。即，视频编码器20可在针对块中的位置产生且发射像素值时将像素值添加到调色板。在块中相对较晚译码的像素可参考调色板的较早添加的条目(例如，以索引值)，而不是发射像素值。同样，在接收到块中的位置的新像素值之后，视频解码器30可即刻跟随与视频编码器20相同的过程且在调色板中包含所述像素值。以此方式，视频解码器30构造与视频编码器20相同的调色板。视频解码器30可针对具有已经包含在调色板中的值的像素接收识别所述值的索引值。视频解码器30可使用所接收的信息(例如，调色板的像素值和索引值)重构块的像素。

在一些实例中，视频编码器20和视频解码器30可维持固定大小的调色板。举例来说，视频编码器20和视频解码器30可添加最近经重构像素值，因而调色板经重构。对于添加到调色板的每一条目，丢弃最早添加到调色板的条目。这也有时称为先进先出(FIFO)。更新调色板的此过程可仅应用于使用调色板模式译码的块或无关于译码模式而应用于所有块。

上述技术大体上涉及视频编码器20和视频解码器30构造和/或发射用于基于调色板的译码的调色板。本发明的其它方面涉及构造和/或发射允许视频编码器20和/或视频解码器30确定像素值的映射。举例来说，本发明的其它方面涉及构造和/或发射使特定像素与调色板的条目相关的索引映射。

在一些实例中，视频编码器20可指示块的像素是否具有调色板中的对应值。在用于说明目的的实例中，假定映射的(i,j)条目对应于视频数据块中的(i,j)像素位置。在此实例中，视频编码器20可对用于块的每一像素位置的旗标进行编码。视频编码器20可针对(i,j)条目设定等于一的旗标以指示在(i,j)位置处的像素值为调色板中的多个值中的一者。当颜色包含在调色板中(即，旗标等于一)时，视频编码器20还可对指示识别调色板中的颜色的(i,j)条目的调色板索引的数据进行编码。当像素的颜色并未包含在调色板中(即，旗标等于零)时，视频编码器20还可对指示像素的样本值的数据进行编码。视频解码器30可从经编码位流获得上述数据且使用所述数据确定块中的特定位置的调色板索引和/或像素值。

在一些实例中，可存在给定位置处的像素映射到的调色板索引与相邻像素映射到同一调色板索引的概率之间的相关性。即，当像素映射到特定调色板索引时，一或多个相邻像素(就空间位置来说)映射到同一调色板索引的概率可相对高。

根据本发明的方面，视频编码器20和/或视频解码器30可相对于视频数据块的一或多个索引确定且译码同一视频数据块的一或多个索引。举例来说，视频编码器20和/或视频解码器30可经配置以确定与视频数据块中的第一像素相关联的第一索引值，其中所述第一索引值使第一像素的值与调色板的条目相关。视频编码器20和/或视频解码器30还可经配置以基于第一索引值确定与视频数据块中的一或多个第二像素相关联的一或多个第二索引值，且对视频数据块的第一和一或多个第二像素进行译码。因此，在此实例中，可相对于映射的一或多个其它索引译码映射的索引。

在一些实例中，视频编码器20可对指示映射到同一索引值的处于给定扫描次序的若干连续像素的一或多个语法元素。相同值的索引值的串在本文中可被称作“延行”。在一些实例中，像素值可恰好与调色板中的一个索引值相关联。因此，在一些情况下，值的延行也可指代相同值的像素值的串。在其它实例中，如下文相对于有损译码所描述，一个以上像素值可映射到调色板中的同一索引值。在此些实例中，值的延行指代相同值的索引值。

在用于说明目的的实例中，如果处于给定扫描次序的两个连续索引具有不同值，那么延行等于零。如果处于给定扫描次序的两个连续索引具有相同值但扫描次序中的第三索引具有不同值，那么延行等于一。视频解码器30可从经编码位流获得指示延行的语法元素且使用所述数据确定具有同一索引值的连续像素位置的数目。

另外或替代地，根据本发明的方面，视频编码器20和视频解码器30可执行用于映射的一或多个条目的线复制。所述条目由于映射的条目与块的像素位置之间的关系而也可被称作“位置”。在一些实例中，线复制可取决于扫描方向。举例来说，视频编码器20可指示块中的特定位置的像素值或索引映射值等于所述特定位置上方的线(对于水平扫描)或所述特定位置左边的列(对于垂直扫描)中的像素或索引值。视频编码器20还可将等于特定位置的上方的对应像素值或索引或特定位置左边的列的处于扫描次序的像素值或索引的数目指示为延行。在此实例中，视频编码器20和或视频解码器30可从指定相邻线且从当前正译码的块的线的指定数目的条目复制像素或索引值。

在一些实例中，值从其复制的线可直接邻近于当前正译码的位置的线，例如在其上方或左边。在其它实例中，块的若干线可由视频编码器20和/或视频解码器30缓冲，以使得映射的若干线中的任一者可用作当前正译码的映射的线的预测性值。在用于说明目的的实例中，视频编码器20和/或视频解码器30可经配置以在对像素的当前行进行译码之前存储先前四行的索引或像素值。在此实例中，预测性行(索引或像素值从其复制的行)可在位流中以截断一元码或例如一元代码等其它码来指示。相对于截短一元码，视频编码器20和/或视频解码器30可基于最大行计算(例如，row_index-1)或最大列计算(例如，column_index-1)确定截断一元码的最大值。另外，被复制的来自预测性行的位置的数目的指示也可以包含在位流中。在一些实例中，如果正从其预测当前位置的线或列属于另一块(例如，CU或CTU)，那么可停用此预测。

根据本发明的方面，用于对所谓的条目延行进行译码的技术可与上述用于线复制的技术结合使用。举例来说，视频编码器20可对指示映射中的条目的值是否是从调色板获得或者映射中的条目的值是否是从映射中的经先前译码的线获得的一或多个语法元素(例如，旗标)进行编码。视频编码器20还可对指示调色板的索引值或线(行或列)中的条目的位置的一或多个语法元素进行编码。视频编码器20还可对指示共享相同值的若干连续条目的一或多个语法元素进行编码。视频解码器30可从经编码位流获得此信息且使用所述信息重构块的映射和像素值。

如上所述，以特定次序扫描映射的索引。根据本发明的方面，扫描方向可为垂直、水平或处于对角线(例如，在框中成对角线地45度或135度)。在一些实例中，视频编码器20可对每一块的指示用于扫描所述块的索引的扫描方向的一或多个语法元素进行编码。另外或替代地，可基于例如块大小、颜色空间和/或颜色分量等所谓的辅助信息来用信号表示或推断扫描方向。视频编码器20可指定用于块的每一颜色分量的扫描。或者，指定扫描可应用于块的所有颜色分量。

本发明的技术还包含基于调色板的译码的其它方面。举例来说，根据本发明的方面，视频编码器20和/或视频解码器30可对用于每一块的一或多个语法元素进行译码以指示所述块是使用调色板译码模式译码的。举例来说，视频编码器20和/或视频解码器30可对调色板模式旗标(PLT_Mode_flag)进行译码以指示基于调色板的译码模式是否将用于对特定块进行译码。在此实例中，视频编码器20可编码等于一的PLT_Mode_flag以指定当前正编码的块(“当前块”)是使用调色板模式编码的。等于零的PLT_Mode_flag的值指定当前块不是使用调色板模式编码。在此情况下，视频解码器30可从经编码位流获得PLT_Mode_flag且应用基于调色板的译码模式以对块进行解码。在其中存在一个以上基于调色板的译码模式可用(例如，存在一个以上基于调色板的技术可用于译码)的实例中，一或多个语法元素可指示用于块的多个不同调色板模式中的一者。

在一些情况下，视频编码器20可编码等于零的PLT_Mode_flag以指定当前块不是使用调色板模式编码。在此些实例中，视频编码器20可使用多种帧间预测性、帧内预测性或其它译码模式中的任一者对块进行编码。当PLT_Mode_flag等于零时，视频编码器20可发射额外信息(例如，语法元素)以指示用于对相应块进行编码的特定模式。在一些实例中，如下所述，所述模式可为HEVC译码模式。PLT_Mode_flag的使用是出于实例的目的而描述。在其它实例中，例如多位码等其它语法元素可用以指示基于调色板的译码模式是否将用于一或多个块，或指示将使用多个模式中的哪一者。

当使用基于调色板的译码模式时，视频编码器20例如使用本文所描述的技术中的一或多者在供视频解码器30使用的经编码视频数据位流中发射调色板。调色板可针对每一块发射或可在若干块之间共享。调色板可指代对于块来说为主要的和/或代表性的若干像素值。

根据本发明的方面，例如在调色板中包含的像素值的数目方面的调色板的大小可为固定的，或可使用经编码位流中的一或多个语法元素用信号表示。如下文更详细地描述，像素值可例如取决于用于译码的颜色空间而由若干样本构成。举例来说，像素值可包含明度和色度样本(例如，明度、U色度和V色度(YUV)样本或者明度、Cb色度和Cr色度(YCbCr)样本)。在另一实例中，像素值可包含红、绿及蓝(RGB)样本。如本文所描述，术语像素值可大体上指代贡献于像素的样本中的一或多者。即，术语像素值不一定指代贡献于像素的所有样本，且可用以描述贡献于像素的单个样本值。

根据本发明的方面，可针对特定块的每一颜色分量单独地发射调色板。举例来说，在YUV颜色空间中，可存在用于Y分量的调色板(表示Y值)、用于U分量的调色板(表示U值)和用于V分量的又一调色板(表示V值)。在另一个实例中，调色板可包含特定块的所有分量。在此实例中，调色板中的第i条目可包含三个值(例如，Yi、Ui、Vi)。根据本发明的方面，一或多个语法元素可单独地指示用于每一分量(例如，Y、U、V或类似物)的调色板的大小。在其它实例中，单个大小可以用于所有分量，以使得一或多个语法元素指示所有分量的大小。

根据本发明的方面，视频编码器20和/或视频解码器可以有损或无损方式执行基于调色板的译码。即，在一些实例中，视频编码器20和/或视频解码器30可使用匹配于块的像素值的调色板条目(或通过在调色板中不包含所述像素值的情况下发送实际像素值)无损地对块的视频数据进行译码。在其它实例中，如下文相对于图5较详细描述，视频编码器20和/或视频解码器30可使用并不精确匹配于块的像素值的调色板条目对块的视频数据进行译码(有损译码)。

在一些实例中，用于视频数据的基于调色板的译码的技术可与例如用于帧间或帧内预测性译码的技术等一或多个其它译码技术一起使用。举例来说，如下文更详细地描述，编码器或解码器或组合编码器-解码器(编解码器)可经配置以执行帧间和帧内预测性译码以及基于调色板的译码。

图2是说明可以实施本发明的技术的实例视频编码器20的框图。图2是出于解释的目的而提供，并且不应被视为将技术限制为本发明中所大致例示及描述者。出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可以适用于其它译码标准或方法。

视频编码器20表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说，视频编码器20可经配置以使用基于调色板的译码或非基于调色板的译码选择性对例如HEVC译码中的CU或PU等各种视频数据块进行译码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如HEVC草案10指定的各种译码模式。在一个实例中，视频编码器20可经配置以产生具有指示像素值的条目的调色板，选择调色板中表示视频数据块的至少一些位置的像素值的像素值，且用信号表示使视频数据块的位置中的至少一些与调色板中分别对应于选定像素值的条目关联的信息。用信号表示的信息可由视频解码器30使用以对视频数据进行解码。

在图2的实例中，视频编码器20包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重构单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元和运动补偿单元(未图示)。视频编码器20还包含基于调色板的编码单元122，其经配置以执行本发明中描述的基于调色板的译码技术的各种方面。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。

视频编码器20可以接收视频数据。视频编码器20可对视频数据的图片的切片中每一CTU进行编码。CTU中的每一者可以与图片的大小相等的明度译码树块(CTB)以及对应的CTB相关联。作为对CTU进行编码的一部分，预测处理单元100可以执行四叉树分割以将CTU的CTB划分为逐渐更小的块。这些更小的块可以是CU的译码块。例如，预测处理单元100将与CTU相关联的CTB分割成四个大小相等的子块，将子块中的一或多者分割成四个大小相等的子子块等。

视频编码器20可以对CTU的CU进行编码以产生CU的经编码的表示(即，经译码的CU)。作为对CU进行编码的一部分，预测处理单元100可以在CU的一或多个PU当中分割与CU相关联的译码块。因此，每一PU可以与明度预测块以及对应的色度预测块相关联。视频编码器20以及视频解码器30可以支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小并且PU的大小可指PU的明度预测块的大小。假定特定CU的大小是2Nx2N，则视频编码器20以及视频解码器30可以支持用于帧内预测的2Nx2N或NxN的PU大小，以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似大小的对称PU大小。视频编码器20以及视频解码器30还可以支持用于帧间预测的2NxnU、2NxnD、nLx2N以及nRx2N的PU大小的非对称分割。

帧间预测处理单元120可以通过对CU的每个PU执行帧间预测产生用于PU的预测性数据。用于PU的预测性数据可以包含PU的预测性样本块以及用于PU的运动信息。取决于PU是在I切片中、P切片中或B切片中，帧间预测单元121可以对CU的PU执行不同操作。在I切片中，所有PU都是经帧内预测。因此，如果PU是在I切片中，则帧间预测单元121并不对PU执行帧间预测。因此，对于在I模式中编码的块，经预测块是使用从同一帧内的经先前编码的相邻块的空间预测而形成。

如果PU在P切片中，那么帧间预测处理单元120的运动估计单元可搜索参考图片列表(例如，“RefPicList0”)中的参考图片是否有用于PU的参考区。用于PU的参考区可以是在参考图片内含有最紧密地对应于PU的样本块的样本块的区。运动估计单元可以产生指示含有用于PU的参考区的参考图片在RefPicList0中的位置的参考索引。另外，运动估计单元可以产生指示PU的译码块与相关联于参考区的参考位置之间的空间移位的MV。例如，MV可以是用以提供从当前经解码的图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元可以将参考索引以及MV输出为PU的运动信息。帧间预测处理单元120的运动补偿单元可基于在由PU的运动向量指示的参考位置处的实际或经内插样本而产生PU的预测性样本块。

如果PU是在B切片中，则运动估计单元可以对PU执行单向预测或双向预测。为了对PU执行单向预测，运动估计单元可以搜索RefPicList0或第二参考图片列表(“RefPicList1”)的参考图片是否有用于PU的参考区。运动估计单元可输出以下各项作为PU的运动信息：参考索引，其指示含有参考区的参考图片在RefPicList0或RefPicList1中的位置；MV，其指示PU的样本块与同参考区相关联的参考位置之间的空间位移；以及一或多个预测方向指示符，其指示参考图片是否在RefPicList0或RefPicList1中。帧间预测处理单元120的运动补偿单元可至少部分地基于在由PU的运动向量指示的参考区的实际或经内插样本而产生PU的预测性样本块。

为了对PU执行双向帧间预测，运动估计单元可以搜索RefPicList0中的参考图片是否有用于PU的参考区，并且还可以搜索RefPicList1中的参考图片是否有用于PU的另一参考区。运动估计单元可以产生指示含有参考区的参考图片在RefPicList0以及RefPicList1中的位置的参考图片索引。另外，运动估计单元可以产生指示与参考区相关联的参考位置与PU的样本块之间的空间移位的MV。PU的运动信息可以包含PU的参考索引以及MV。运动补偿单元可以至少部分基于在由PU的运动向量指示的参考区处的实际或经内插样本而产生PU的预测性样本块。

根据本发明的各种实例，视频编码器20可经配置以执行基于调色板的译码。相对于HEVC框架，作为一实例，基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中，基于调色板的译码技术可经配置以用作HEVC的框架中的PU模式。因此，在CU模式的上下文中在此描述的所有所揭示的过程(贯穿本发明)可另外或替代地应用于PU。然而，这些基于HEVC的实例不应被视为对本文所描述的基于调色板的译码技术的限定或限制，因为此些技术可应用以独立地工作或作为其它现有或尚待开发的系统/标准的部分而应用。在这些情况下，用于调色板译码的单元可为正方形块、矩形块或甚至非矩形形状的区。

当(例如)针对CU或PU选择基于调色板的编码模式时，基于调色板的编码单元122(例如)可执行基于调色板的解码。举例来说，基于调色板的编码单元122可配置以产生具有指示像素值的条目的调色板，选择调色板中表示视频数据块的至少一些位置的像素值的像素值，且用信号表示使视频数据块的位置中的至少一些与调色板中分别对应于选定像素值的条目关联的信息。虽然将各种功能描述为由基于调色板的编码单元122执行，但此些功能中的一些或全部可由其它处理单元或不同处理单元的组合执行。

基于调色板的编码单元122可经配置以产生本文中所描述的各种语法元素中的任一者。因此，视频编码器20可经配置以使用如本发明中所描述的基于调色板的译码模式对视频数据块进行编码。视频编码器20可选择性地使用调色板译码模式对视频数据块进行编码，或使用不同模式(例如此HEVC帧间预测性或帧内预测性译码模式)对视频数据块进行编码。视频数据块可(例如)为根据HEVC译码过程产生的CU或PU。视频编码器20可以帧间预测性时间预测或帧内预测性空间译码模式对一些块进行编码，且以基于调色板的译码模式对其它块进行解码。

帧内预测处理单元126可通过对PU执行帧内预测而产生PU的预测性数据。用于PU的预测性数据可以包含用于PU的预测性样本块以及各种语法元素。帧内预测处理单元126可以对I切片、P切片以及B切片中的PU执行帧内预测。

为了对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式产生PU的预测性数据的多个集合。为了使用帧内预测模式以产生用于PU的一组预测性数据，帧内预测处理单元126可以在与帧内预测模式相关联的方向上将样本从相邻PU的样本块延伸跨越PU的样本块。假定对于PU、CU及CTU采用从左到右、从上到下的编码次序，相邻PU可以在所述PU的上方、右上方、左上方或左方。帧内预测处理单元126可以使用各种数目的帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可以取决于与PU相关联的区域的大小。

预测处理单元100可以从用于PU的由帧间预测处理单元120产生的预测性数据或用于PU的由帧内预测处理单元126产生的预测性数据当中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据的集合的速率/失真量度选择用于CU的PU的预测性数据。所选预测性数据的预测性样本块在本文中可以被称为所选预测性样本块。

残余产生单元102可基于CU的明度、Cb及Cr译码块以及CU的PU的选定预测性明度、Cb及Cr块产生CU的明度、Cb及Cr残余块。例如，残余产生单元102可以产生CU的残余块以使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性样本块中的对应样本之间的差的值。

变换处理单元104可以执行四叉树分割以将与CU相关联的残余块分割成与CU的TU相关联的变换块。因此，TU可以与明度变换块以及两个色度变换块相关联。CU的TU的明度变换块以及色度变换块的大小和位置可以或可不基于CU的PU的预测块的大小和位置。被称为“残余四叉树”(RQT)的四叉树结构可以包含与区域中的每一者相关联的节点。CU的TU可以对应于RQT的叶节点。

变换处理单元104可以通过将一或多个变换应用到TU的变换块而产生用于CU的每一TU的变换系数块。变换处理单元104可以将各种变换应用到与TU相关联的变换块。例如，变换处理单元104可以将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在此类实例中，变换块可以处理为变换系数块。

量化单元106可以量化系数块中的变换系数。量化过程可以减小与变换系数中的一些或全部相关联的位深度。例如，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。量化单元106可以基于与CU相关联的量化参数(QP)值而量化与CU的TU相关联的系数块。视频编码器20可以通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化的程度。量化可能使得信息丢失，因此经量化的变换系数可以具有比原始变换系数更低的精度。

逆量化单元108及逆变换处理单元110可分别将逆量化及逆变换应用于系数块，以从系数块重构残余块。重构单元112可将经重构残余块添加到来自由预测处理单元100产生的一或多个预测性样本块的对应样本，以产生与TU相关联的经重构变换块。通过以此方式重构CU的每一TU的变换块，视频编码器20可重构CU的译码块。

滤波器单元114可以执行一或多个解块操作以减少与CU相关联的译码块中的成块假象。经解码图片缓冲器116可在过滤器单元114对经重构的译码块执行一或多个解块操作之后存储经重构的译码块。帧间预测处理单元120可使用含有经重构译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可以使用经解码图片缓冲器116中的经重构的译码块以对处于与CU相同的图片中的其它PU执行帧内预测。

熵编码单元118可以从视频编码器20的其它功能组件接收数据。例如，熵编码单元118可以从量化单元106接收系数块，并且可以从预测处理单元100接收语法元素。熵编码单元118可以对数据执行一或多个熵编码操作以产生经熵编码的数据。例如，熵编码单元118可以对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可以输出包含由熵编码单元118产生的经熵编码的数据的位流。例如，位流可以包含表示用于CU的RQT的数据。

在一些实例中，残余译码并不与调色板译码一起执行。因此，当使用调色板译码模式译码时视频编码器20可不执行变换或量化。另外，视频编码器20可对单独地使用调色板译码模式从残余数据产生的数据进行熵编码。

图3是说明经配置以实施本发明的技术的实例视频解码器30的框图。图3是出于解释的目的而提供，并且并不如本发明所广泛举例说明和描述来限制所述技术。出于解释的目的，本发明描述在HEVC译码的情况下的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。

视频解码器30表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说，视频解码器30可经配置以使用基于调色板的译码或非基于调色板的译码选择性对例如HEVC译码中的CU或PU等各种视频数据块进行解码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC草案10指定的各种译码模式。在一个实例中，视频解码器30可经配置以产生具有指示像素值的条目的调色板，接收使视频数据块的至少一些位置与调色板中的条目关联的信息，基于所述信息选择调色板中的像素值，且基于选定像素值重构块的像素值。

在图3的实例中，视频解码器30包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158、滤波器单元160及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164和帧内预测处理单元166。视频解码器30还包含基于调色板的解码单元165，其经配置以执行本发明中描述的基于调色板的译码技术的各种方面。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。

经译码映射片缓冲器(CPB)可接收且存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从CPB接收经编码视频数据(例如，NAL单元)且剖析NAL单元以解码语法元素。熵解码单元150可对NAL单元中的经熵编码的语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158以及滤波器单元160可以基于从位流提取的语法元素来产生经解码的视频数据。

位流的NAL单元可以包含经译码的切片NAL单元。作为对位流进行编码的一部分，熵解码单元150可以从经译码的切片NAL单元提取语法元素并且对所述语法元素进行熵解码。经写码切片中之每一者可包含切片标头及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可以包含识别与含有所述切片的图片相关联的PPS的语法元素。

除了对来自位流的语法元素进行解码之外，视频解码器30可以对未分割CU执行重构操作。为对未经分割CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可以重构CU的残余块。

作为对CU的TU执行重构操作的一部分，逆量化单元154可逆量化(即，解量化)与TU相关联的系数块。逆量化单元154可使用与TU的CU相关联的QP值来确定量化的程度，及同样逆量化单元154将应用的逆量化的程度。也就是说，可以通过调整当量化变换系数时所使用的QP的值来控制压缩比，即用以表示原始序列以及经压缩的序列的位的数目的比率。压缩比还可以取决于所采用的熵译码的方法。

在逆量化单元154逆量化系数块之后，逆变换处理单元156可以将一或多个逆变换应用于系数块以便产生与TU相关联的残余块。举例来说，逆变换处理单元156可将逆DCT、逆整数变换、逆卡忽南-拉维变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于系数块。

如果使用帧内预测对PU进行编码，则帧内预测处理单元166可以执行帧内预测以产生用于PU的预测性块。帧内预测处理单元166可使用帧内预测模式以基于在空间上相邻的PU的预测块而产生PU的预测性明度块、Cb块以及Cr块。帧内预测处理单元166可以基于从位流解码的一或多个语法元素来确定用于PU的帧内预测模式。

预测处理单元152可基于从位流提取的语法元素来构造第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。此外，如果使用帧间预测对PU进行编码，则熵解码单元150可以提取PU的运动信息。运动补偿单元164可以基于PU的运动信息确定用于PU的一或多个参考区。运动补偿单元164可以基于在PU的一或多个参考块处的样本块产生PU的预测性明度块、Cb块以及Cr块。

重构单元158可以在适当时使用与CU的TU相关联的明度变换块、Cb变换块和Cr变换块以及CU的PU的预测性明度块、Cb块及Cr块(即，帧内预测数据或帧间预测数据)来重构CU的明度译码块、Cb译码块以及Cr译码块。例如，重构单元158可以将明度变换块、Cb变换块以及Cr变换块的样本添加到预测性明度块、Cb块以及Cr块的对应样本以重构CU的明度译码块、Cb译码块以及Cr译码块。

滤波器单元160可以执行解块操作以减少与CU的明度译码块、Cb译码块以及Cr译码块相关联的成块假象。视频解码器30可以在经解码的图片缓冲器162中存储CU的明度译码块、Cb译码块以及Cr译码块。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在例如图1的显示装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码的图片缓冲器162中的明度、Cb及Cr块对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可以从位流提取重要明度系数块的变换系数层级，逆量化变换系数层级，对变换系数层级应用变换以产生变换块，至少部分基于变换块产生译码块并且输出译码块用于显示。

根据本发明的各种实例，视频解码器30可经配置以执行基于调色板的译码。当基于调色板的解码模式经选择(例如)用于CU或PU时，基于调色板的解码单元165(例如)可执行基于调色板的解码。举例来说，基于调色板的解码单元165可经配置以产生具有指示像素值的条目的调色板，接收使视频数据块的至少一些位置与调色板中的条目关联的信息，基于所述信息选择调色板中的像素值，且基于选定像素值重构块的像素值。虽然将各种功能描述为由基于调色板的解码单元165执行，但此些功能中的一些或全部可由其它处理单元或不同处理单元的组合来执行。

基于调色板的解码单元165可接收调色板译码模式信息，且当调色板译码模式信息指示调色板译码模式应用于块时执行上述操作。当调色板译码模式信息指示调色板译码模式未应用于块时，或当其它模式信息指示不同模式的使用时，基于调色板的解码单元165当调色板译码模式信息指示调色板译码模式未应用于块时使用非基于调色板的译码模式对视频数据块进行解码，例如此HEVC帧间预测性或帧内预测性译码模式。视频数据块可(例如)为根据HEVC译码过程产生的CU或PU。视频解码器30可以帧间预测性时间预测或帧内预测性空间译码模式对一些块进行解码且以基于调色板的译码模式对其它块进行解码。基于调色板的译码模式可包括多个不同基于调色板的译码模式中的一者，或可存在单个基于调色板的译码模式。

由基于调色板的解码单元165接收的调色板译码模式信息可包括调色板模式语法元素，例如旗标。调色板模式语法元素的第一值指示调色板译码模式应用于块，且调色板模式语法元素的第二值指示调色板译码模式未应用于视频数据块。基于调色板的解码单元165可在预测性单元层级、译码单元层级、切片层级或图片层级中的一或多者处接收(例如，从视频编码器20)调色板译码模式信息，或可接收调色板译码模式是否在图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)中的至少一者中经启用的指示。

在一些实例中，基于调色板的解码单元165可基于译码块的大小、帧类型、颜色空间、颜色分量、帧大小、帧速率、可缩放视频译码中的层id或与视频数据块相关联的多视图译码中的视图id中的一或多者而推断调色板译码模式信息。

基于调色板的解码单元165还可经配置以接收界定调色板中具有视频数据的条目中的至少一些的信息，且至少部分地基于所接收的信息产生调色板。调色板的大小可为固定的或可变的。在一些情况下，调色板的大小为可变的且可基于与视频数据一起用信号表示的信息而调整。用信号表示的信息可指定调色板中的条目是否是调色板中的最后条目。并且，在一些情况下，调色板可具有最大大小。也可以有条件地发射或推断调色板的大小。所述条件可为CU的大小、帧类型、颜色空间、颜色分量、帧大小、帧速率、可缩放视频译码中的层id或多视图译码中的视图id。

调色板可为包含指示块的明度分量和色度分量的像素值的条目的单个调色板。在此情况下，调色板中的每一条目是指示明度分量和两个色度分量的像素值的三重条目。或者，调色板包括包含指示块的明度分量的像素值的条目的明度调色板，及包含指示用于块的相应色度分量的像素值的条目的色度调色板。

在一些实例中，基于调色板的解码单元165可通过基于先前经处理数据预测调色板中的条目而产生调色板。先前经处理数据可包含先前经解码相邻块的调色板或来自调色板的信息。基于调色板的解码单元165可接收指示是否将预测调色板中的条目的预测语法元素。预测语法元素可包含分别指示是否将预测调色板中用于明度和色度分量的条目的多个预测语法元素。

相对于(例如)预测性调色板，预测性调色板可含有来自一或多个相邻块的调色板条目，所述相邻块包含块的空间相邻块和/或特定扫描次序中的相邻块。在一实例中，相邻块可在空间上位于当前正译码的块的左边(左边相邻块)或上方(上部相邻块)。在另一实例中，基于调色板的解码单元165可使用当前块的因果相邻者中的最频繁样本值确定预测性调色板条目。在另一实例中，相邻块可根据用以对块进行译码的特定扫描次序与当前正译码的块相邻。即，相邻块可为在扫描次序中在当前块之前译码的一或多个块。基于调色板之解码单元165可解码一或多个语法元素以指示复制调色板所藉以的相邻区块之位置。

因此，在一实例中，基于调色板的解码单元165可在一些实例中基于切片或图片中的左边相邻块或顶部相邻块的调色板中的条目而预测调色板中的条目中的至少一些。在此情况下，调色板中的基于左边相邻块或顶部相邻块的调色板中的条目预测的条目可由基于调色板的解码单元165基于指示用于预测的左边相邻块或顶部相邻块的选择的语法元素而预测。所述语法元素可为具有指示用于预测的左边相邻块或顶部相邻块的选择的值的旗标。

在一些实例中，基于调色板的解码单元165可接收指示调色板中的至少一些选定条目是否将基于逐条目而预测的一或多个预测语法元素，且相应地产生条目。举例来说，基于调色板的解码单元165可对一或多个语法元素进行解码以针对预测性调色板的每一条目指示调色板条目是否包含在当前块的调色板中。如果条目并未预测，那么基于调色板的解码单元165可对一或多个额外语法元素进行解码以指定未预测条目以及此些条目的数目。因此，基于调色板的解码单元165可预测一些条目且接收直接指定调色板中包含所述数目的额外条目的其它条目的信息。

在一些实例中，用于预测整个调色板的技术可与用于预测调色板的一或多个条目的技术组合。举例来说，基于调色板的解码单元165可对位流中的一或多个语法元素进行解码以指示当前调色板是否是完全从预测性调色板复制。如果情况不是这样，那么基于调色板的解码单元165可对位流中的一或多个语法元素进行解码以指示预测性调色板中的每一条目是否被复制。

在另一实例中，基于调色板的解码单元165可在每一调色板值之后接收用以指示用信号表示的调色板值是否是调色板的最终调色板条目的旗标，而不是接收条目的数目和调色板值。如果调色板已经达到某一最大大小，那么基于调色板哦解码单元165可不接收此“调色板末端”旗标。

由基于调色板的解码单元165接收的使视频数据块的至少一些位置与调色板中的条目关联的信息可包括映射信息，其包含块中的位置中的至少一些的调色板索引值，其中所述调色板索引值中的每一者对应于调色板中的条目中的一者。映射信息可包含一或多个延行语法元素，其各自指示块中具有相同调色板索引值的连续位置的数目。

在一些实例中，基于调色板的解码单元165可接收指示线复制的信息，用于块中的位置线的像素或索引值是通过所述线复制从块中的位置的另一线的像素或索引值复制。基于调色板的解码单元165可使用此信息执行线复制以确定用于块的各种位置的调色板中的像素值或条目。位置的线可包括块的位置的行、行的一部分、列或列的一部分。

基于调色板的解码单元165可部分地通过接收块的一或多个位置的像素值且将所述像素值添加到调色板中的条目以在运行中动态地产生调色板的至少一部分而产生调色板。添加像素值可包括将像素值添加到包括初始条目集合的初始调色板或添加到并不包含初始条目集合的空的调色板。在一些实例中，添加包括添加像素值以将新条目添加到包括初始条目集合的初始调色板或填充初始调色板中的现有条目，或者更换或改变初始调色板中的条目的像素值。

在一些实例中，基于调色板的解码单元165确定调色板的固定最大大小。在到达最大大小后，基于调色板的解码单元165可即刻移除调色板的一或多个条目。在一个实施例中，基于调色板的解码单元165可例如使用FIFO队列移除调色板的最旧的条目。在另一实例中，基于调色板的解码单元165可移除最少使用的条目。在再一实例中，基于调色板的解码单元165可基于待移除候选条目曾何时添加到调色板以及所述条目的相对使用而做出关于移除哪一条目的经加权确定。

在一些实例中，调色板可为其中选自用于块中的位置中的一者的调色板的像素值不同于所述块中的位置的实际像素值的经量化调色板，使得解码过程是有损的。举例来说，同一像素值可选自用于具有不同实际像素值的两个不同位置的调色板。

图4是说明与本发明的技术一致的确定用于对视频数据进行译码的调色板的实例的概念图。图4的实例包含图片178，其具有与第一调色板184相关联的第一译码单元(CU)180和与第二调色板192相关联的第二CU188。如下文更详细描述且根据本发明的技术，第二调色板192是基于第一调色板184。图片178还包含以帧内预测译码模式译码的块196和以帧间预测译码模式译码的块200。

出于解释的目的，在视频编码器20(图1和图2)和视频解码器30(图1和图3)的上下文中且相对于HEVC视频译码标准描述图4的技术。然而，应理解，本发明的技术不限于此方式，且可由其它视频译码处理器和/或装置在其它视频译码过程和/或标准中应用。

一般来说，在图4的实例中调色板指代对于当前正译码的CU(CU188)为主要的和/或代表性的若干像素值。第一调色板184和第二调色板192展示为包含多个调色板。在一些实例中，根据本发明的方面，视频译码器(例如视频编码器20或视频解码器30)可针对CU的每一颜色分量单独地对调色板进行译码。举例来说，视频编码器20可对CU的明度(Y)分量的调色板、CU的色度(U)分量的另一调色板以及CU的色度(V)分量的又一调色板进行编码。在此实例中，Y调色板的条目可表示CU的像素的Y值，U调色板的条目可表示CU的像素的U值，且V调色板的条目可表示CU的像素的V值。

在其它实例中，视频编码器20可针对CU的所有颜色分量编码单个调色板。在此实例中，视频编码器20可对具有为包含Yi、Ui和Vi的三重值的第i条目的调色板进行编码。在此情况下，调色板包含像素的分量中的每一者的值。因此，作为具有多个个别调色板的调色板的集合的调色板184和192的表示仅是一个实例且并不希望为限制性的。

在图4的实例中，第一调色板184包含三个条目202-206，其分别具有条目索引值1、条目索引值2和条目索引值3。条目202-206使索引值相关到分别包含像素值A、像素值B和像素值C的像素值。如本文中所描述，并非对第一CU180的实际像素值进行译码，视频译码器(例如视频编码器20或视频解码器30)可使用基于调色板的译码以使用索引1-3对块的像素进行译码。即，对于第一CU180的每一像素位置，视频编码器20可编码像素的索引值，其中所述索引值与第一调色板184中的一或多者中的像素值相关联。视频解码器30可从位流获得索引值且使用所述索引值和第一调色板184中的一或多者重构像素值。因此，第一调色板184由视频编码器20在经编码视频数据位流中发射以供视频解码器30在基于调色板的解码中使用。一般来说，针对每一CU可发射一或多个调色板，或可在不同CU之间共享一或多个调色板。

根据本发明的方面，视频编码器20和视频解码器30可基于第一调色板184确定第二调色板192。举例来说，视频编码器20可针对每一CU(作为一实例，包含第二CU188)编码pred_palette_flag以指示所述CU的调色板是否是从与一或多个其它CU相关联的一或多个调色板预测，例如相邻CU(空间上或基于扫描次序)或因果相邻者的最频繁样本。举例来说，当此旗标的值等于一时，视频解码器30可确定第二CU188的第二调色板192是从一或多个已经解码调色板预测，并且因此没有第二CU188的新调色板包含在含有所述pred_palette_flag的位流中。当此旗标等于零时，视频解码器30可确定第二CU188的调色板192包含在位流中作为新调色板。在一些实例中，pred_palette_flag可针对CU的每一不同颜色分量单独地译码(例如，用于YUV视频中的CU的三个旗标，一个用于Y，一个用于U，且一个用于V)。在其它实例中，可针对CU的所有颜色分量译码单个pred_palette_flag。

在以上实例中，每CU用信号表示pred_palette_flag以指示当前块的调色板的条目中的任一者是否经预测。在一些实例中，可基于每条目用信号表示一或多个语法元素。其为可针对调色板预测符的每一条目用信号表示以指示所述条目是否存在于当前调色板中的旗标。如上所述，如果调色板条目并未预测，那么可明确地用信号表示所述调色板条目。

当相对于第一调色板184确定第二调色板192(例如，pred_palette_flag等于一)时，视频编码器20和/或视频解码器30可定位预测性调色板(在此实例中为第一调色板184)从其确定的一或多个块。预测性调色板可与当前正译码的CU(即，第二CU188)的一或多个相邻CU(例如，例如相邻CU(空间上或基于扫描次序)或因果相邻者的最频繁样本)相关联。一或多个相邻CU的调色板可与预测符调色板相关联。在例如图4中说明的实例等一些实例中，视频编码器20和/或视频解码器30可当确定第二CU188的预测性调色板时定位左边相邻CU，第一CU180。在其它实例中，视频编码器20和/或视频解码器30可在相对于第二CU188的其它位置中定位一或多个CU，例如上部CU，CU196。

视频编码器20和/或视频解码器30可基于阶层确定用于调色板预测的CU。举例来说，视频编码器20和/或视频解码器30可初始地识别用于调色板预测的左边相邻CU，第一CU180。如果左边相邻CU不可用于预测(例如，左边相邻CU是以除基于调色板的译码模式外的模式译码，例如帧内预测模式或帧内预测模式，或定位于图片或切片的最左边边缘处)，那么视频编码器20和/或视频解码器30可识别上部相邻CU，CU196。视频编码器20和/或视频解码器30可根据位置的预定次序继续搜索可用CU直到定位到具有可用于调色板预测的调色板的CU。在一些实例中，视频编码器20和/或视频解码器30可基于多个块和/或相邻块的经重构样本确定预测性调色板。

虽然图4的实例说明第一调色板184作为来自单个CU(第一CU180)的预测性调色板，但在其它实例中，视频编码器20和/或视频解码器30可从相邻CU的组合定位用于预测的调色板。举例来说，视频编码器20和/或视频解码器可应用一或多个公式、功能、规则或类似物以基于多个相邻CU中的一者或组合的调色板产生调色板。

在又其它实例中，视频编码器20和/或视频解码器30可构造包含用于调色板预测的若干潜在候选者的候选者列表。在此些实例中，视频编码器20可编码到候选者列表的索引以指示从其选择用于调色板预测的当前CU(例如，复制调色板)的列表中的候选者CU。视频解码器30可以相同方式构造候选者列表，解码索引，且使用经解码索引选择用于与当前CU一起使用的对应CU的调色板。

在用于说明目的的实例中，视频编码器20和视频解码器30可构造包含定位于当前正译码CU上方的一个CU和定位于当前正译码CU的左边的一个CU的候选者列表。在此实例中，视频编码器20可编码一或多个语法元素以指示候选者选择。举例来说，视频编码器20可编码具有值零的旗标以指示当前CU的调色板是从定位于当前CU的左边的CU复制。视频编码器20可编码具有值一的旗标以指示当前CU的调色板是从定位于当前CU上方的CU复制。视频解码器30解码所述旗标且选择用于调色板预测的适当CU。

在又其它实例中，视频编码器20和/或视频解码器30基于包含在一或多个其它调色板中的样本值在一或多个相邻CU中发生的频率而确定当前正译码CU的调色板。举例来说，视频编码器20和/或视频解码器30可在预定数目的CU的译码期间跟踪与最频繁使用的索引值相关联的颜色。视频编码器20和/或视频解码器30可将最频繁使用的颜色包含在当前正译码CU的调色板中。

如上所述，在一些实例中，视频编码器20和/或视频解码器可从用于对当前CU进行译码的相邻CU复制整个调色板。另外或替代地，视频编码器20和/或视频解码器30可执行基于逐条目的调色板预测。举例来说，视频编码器20可针对调色板的每一条目编码一或多个语法元素，其指示相应条目是否是基于预测性调色板(例如，另一CU的调色板)而预测。在此实例中，视频编码器20可当条目是来自预测性调色板的预测值(例如，与相邻CU相关联的调色板的对应条目)时针对给定条目编码具有等于一的值的旗标。视频编码器20可针对特定条目编码具有等于零的值的旗标以指示所述特定条目并未从另一CU的调色板预测。在此实例中，视频编码器20还可对指示未预测调色板条目的值的额外数据进行编码。

在图4的实例中，第二调色板192包含四个条目208-214，其分别具有条目索引值1、条目索引值2、条目索引值3和条目索引4。条目208-214使索引值相关到分别包含像素值A、像素值B、像素值C和像素值D的像素值。根据本发明的方面，视频编码器20和/或视频解码器30可使用以上描述的技术中的任一者定位第一CU180以用于调色板预测，且将第一调色板184的条目1-3复制到第二调色板192的条目1-3以用于对第二CU188进行译码。以此方式，视频编码器20和/或视频解码器30可基于第一调色板184确定第二调色板192。另外，视频编码器20和/或视频解码器30可对将与第二调色板192一起包含的条目4的数据进行译码。此信息可包含未从预测符调色板预测的调色板条目的数目和对应于那些调色板条目的像素值。

在一些实例中，根据本发明的方面，一或多个语法元素可指示例如第二调色板192的调色板是否是完全从预测性调色板(图4中展示为第一调色板184，但其可由来自一或多个块的条目组成)预测或第二调色板192的特定条目是否经预测。举例来说，初始语法元素可指示所有条目是否经预测。如果初始语法元素指示并非所有条目经预测(例如，具有值0的旗标)，那么一或多个额外语法元素可指示第二调色板192的哪些条目是从预测性调色板预测。

根据本发明的一些方面，与调色板预测相关联的某些信息可从正译码数据的一或多个特性推断。即，并非视频编码器20编码语法元素(且视频解码器30解码此些语法元素)，视频编码器20和视频解码器30可基于正译码数据的一或多个特性执行调色板预测。

在一实例中，出于说明的目的，上述pred_palette_flag的值可从以下各者(作为实例)中的一或多者推断：正译码CU的大小、帧类型、颜色空间、颜色分量、帧大小、帧速率、可缩放视频译码中的层id，或多视图译码中的视图id。即，相对于作为一实例的CU的大小，视频编码器20和/或视频解码器30可确定对于超过预定大小的任何CU，上述pred_palette_flag等于一。在此实例中，并不需要在经编码位流中用信号表示pred_palette_flag。

虽然上文相对于pred_palette_flag而描述，但视频编码器20和/或视频解码器30还可以或替代地基于正译码数据的一或多个特性推断与调色板预测相关联的其它信息，例如调色板用于从其预测的候选者CU，或用于构造调色板预测候选者的规则。

根据本发明的其它方面，视频编码器20和/或视频解码器30可在运行中构造调色板。举例来说，当初始地对第二CU188进行译码时，调色板192中不存在条目。在视频编码器20和视频解码器30对第二CU188的像素的新值进行译码时，每一新值包含在调色板192中。即，举例来说，视频编码器20在针对CU188中的位置产生且用信号表示像素值时将像素值添加到调色板192。在视频编码器20对CU中相对较晚的像素进行编码时，视频编码器20可使用索引值对具有与已经包含在调色板中的那些值相同的值的像素进行编码而不是用信号表示所述像素值。类似地，当视频解码器30接收到用于第二CU188中的位置的新像素值(例如，由视频编码器20用信号表示)时，视频解码器30在调色板192中包含所述像素值。当第二CU188中相对较晚解码的像素位置具有已经添加到第二调色板192的像素值时，视频解码器30可接收识别第二调色板192中用于重构第二CU188的像素值的对应像素值的信息，例如索引值。

在一些实例中，如下文更详细地描述，视频编码器20和/或视频解码器30可将调色板184和192维持在最大调色板大小或低于最大调色板大小。根据本发明的方面，如果达到最大调色板大小，例如在第二调色板192在运行中动态构造时，那么视频编码器20和/或视频解码器30执行同一过程以移除第二调色板192的条目。用于移除调色板条目的一个实例过程是先进先出(FIFO)技术，其中视频编码器20和视频解码器30移除调色板的最旧的条目。在另一个实例中，视频编码器20和视频解码器30可从调色板移除最不频繁使用的调色板条目。在再一实例中，视频编码器20和视频解码器30可对FIFO和使用频率过程进行加权以确定移除哪一条目。即，条目的移除可基于条目有多旧以及条目使用的频繁程度。

根据一些方面，如果条目(像素值)从调色板移除且像素值在正译码CU中的较晚位置处再次发生，那么视频编码器20可对所述像素值进行编码而不是在调色板中包含条目且对索引进行编码。另外或替代地，视频编码器20可在已经移除之后，例如在视频编码器20和视频解码器30扫描CU中的位置时，将调色板条目再输入到调色板中。

在一些实例中，用于在运行中导出调色板的技术可与用于确定调色板的一或多个其它技术组合。确切地说，作为一实例，视频编码器20和视频解码器30可初始地对第二调色板192进行译码(例如，使用调色板预测来从第一调色板184预测第二调色板192)且可当对第二CU188的像素进行译码时更新第二调色板192。举例来说，在发射初始调色板之后，视频编码器20可即刻将值添加到初始调色板或在扫描CU中的额外位置的像素值时改变初始调色板中的值。同样地，在接收初始调色板后，视频解码器30即刻将值添加到初始调色板或在扫描CU中的额外位置的像素值时改变初始调色板中的值。

视频编码器20可在一些实例中用信号表示当前CU是否使用整个调色板的发射、或在运行中的调色板产生，或者初始调色板的发射与通过在运行中的导出的初始调色板的更新的组合。在一些实例中，初始调色板可为处于最大调色板大小的全调色板，在此情况下可改变初始调色板中的值。在其它实例中，初始调色板可小于最大调色板大小，在此情况下视频编码器20和视频解码器30可将值添加到初始调色板和/或改变初始调色板的值。

根据本发明的方面，例如第一调色板184和第二调色板192等调色板的大小(例如，在包含在调色板中的像素值的数目方面)可为固定的或可使用经编码位流中的一或多个语法元素用信号表示。举例来说，根据一些方面，视频编码器20和视频解码器30可使用一元码或截断一元码(例如，在调色板大小的最大限制处截断的码)对调色板大小进行译码。根据其它方面，视频编码器20和视频解码器30可使用指数-哥伦布或莱斯-哥伦布码对调色板大小进行译码。

根据再其它方面，视频编码器20和视频解码器30可在调色板的每一条目之后对指示调色板的大小的数据进行译码。相对于作为一实例的第二调色板192，视频编码器20可在条目208-214中的每一者之后编码停止旗标。在此实例中，等于一的停止旗标可指定当前正译码的条目是第二调色板192的最终条目，而等于零的停止旗标可指示第二调色板192中存在额外条目。因此，视频编码器20可在条目208-212中的每一者之后编码具有值零的停止旗标且在条目214之后编码具有值一的停止旗标。在一些实例中，在所构造调色板到达最大调色板大小限制之后即刻可不在位流中包含停止旗标。虽然以上实例揭示用于明确地用信号表示调色板的大小的技术，但在其它实例中，调色板的大小也可以基于所谓的辅助信息(例如，特性信息，例如正译码CU的大小、帧类型、颜色空间、颜色分量、帧大小、帧速率、可缩放视频译码中的层id或多视图译码中的视图id，如上所述)有条件地发射或推断。

本发明的技术包含无损地或者以某些损失(有损译码)对数据进行译码。举例来说，相对于有损译码，视频编码器20可对CU的像素进行译码而无需确切地将调色板的像素值确切匹配于CU中的实际像素值。当本发明的技术应用于有损译码时，一些限制可应用于调色板。举例来说，视频编码器20和视频解码器30可量化调色板，例如第一调色板184和第二调色板192。即，视频编码器20和视频解码器30可当条目的像素值在彼此的预定范围内时合并(量化)调色板的条目。换句话说，如果已经存在在新调色板值的误差裕度内的调色板值，那么不将新调色板值添加到调色板。在另一个实例中，块中的多个不同像素值可映射到单个调色板条目，或等效地映射到单个调色板像素值。

视频解码器30可以相同方式解码像素值，不管特定调色板是无损的还是有损的。作为一个实例，视频解码器30可针对经译码块中的给定像素位置使用由视频编码器20发射的索引值来选择调色板中用于所述像素位置的条目，而无关于所述调色板是无损的还是有损的。在此实例中，调色板条目的像素值用作经译码块中的像素值，无论其是否确切地匹配原始像素值。

在有损译码的实例中，出于说明的目的，视频编码器20可确定误差界限，称为差量值。候选像素值条目Plt_cand可对应于在例如CU或PU等待译码块中的位置处的像素值。在调色板的构造期间，视频编码器20确定候选像素值条目Plt_cand与调色板中的所有现有像素值条目之间的绝对差。如果候选像素值条目Plt_cand与调色板中的现有像素值条目之间的所有绝对差大于差量值，那么视频编码器20可将像素值候选者添加到调色板作为条目。如果像素值条目Plt_cand与调色板中的至少一个现有像素值条目之间的绝对差等于或小于差量值，那么视频编码器20可不将候选像素值条目Plt_cand添加到调色板。因此，当对像素值条目Plt_cand进行译码时，视频编码器20可选择具有作为最接近于像素值条目Plt_cand的像素值的条目，进而将一些损失引入到系统中。当调色板由多个分量(例如三个颜色分量)组成时，个别分量值的绝对差总和可以用于对照差量值进行比较。或者或另外，每一分量值的绝对差可对照第二差量值进行比较。

在一些实例中，上文提到的调色板中的现有像素值条目可能已经使用相似差量比较过程而添加。在其它实例中，调色板中的现有像素值可能已经使用其它过程而添加。举例来说，可将一或多个初始像素值条目添加到调色板(无需差量比较)以开始构造调色板的差量比较过程。上述过程可由视频编码器20和/或视频解码器30实施以产生明度和/或色度调色板。

上文相对于调色板构造描述的技术也可以由视频编码器20和视频解码器30在像素译码期间使用。举例来说，当像素值的编码时，视频编码器20可将像素的值与调色板中的条目的像素值进行比较。如果所述像素的值与调色板中的条目中的一者之间的绝对像素值差等于或小于差量值，那么视频编码器20可将所述像素值编码为调色板的条目。即，在此实例中，视频编码器20当像素值产生对调色板条目的充分小(例如，在预定范围内)绝对差时使用调色板的条目中的一者编码所述像素值。

在一些实例中，视频编码器20可选择产生最小绝对像素值差(与正译码的像素值相比)的调色板条目来编码像素值。作为一实例，视频编码器20可编码索引以指示将用于像素值的调色板条目，例如，将用以在视频解码器30处重构经译码像素值的调色板像素值条目。如果像素的值与调色板中的所有条目之间的绝对像素值差大于差量，那么编码器可不使用调色板条目中的一者来编码像素值，且可改为将待译码像素的像素值发射到视频解码器30(且可能将所述像素值作为条目添加到调色板)。

在另一个实例中，视频编码器20可选择调色板的条目以用于对像素值进行编码。视频编码器20可使用选定条目作为预测性像素值。即，视频编码器20可确定表示实际像素值与选定条目之间的差的残余值且对所述残余进行编码。视频编码器20可针对块中通过调色板的条目预测的像素产生残余值，且可产生包含像素块的相应残余像素值的残余块。视频编码器20可随后将变换和量化(如上文相对于图2所提到)应用于所述残余块。以此方式，视频编码器20可产生经量化残余变换系数。

视频解码器30可逆变换且逆量化变换系数以再生残余块。视频解码器30可随后使用预测性调色板条目值和像素值的残余值重构像素值。举例来说，视频解码器30可将残余值与调色板条目值组合以重构经译码像素值。

在一些实例中，差量值可针对不同CU大小、图片大小、颜色空间或不同颜色分量而不同。差量值可为预定的或基于各种译码条件而确定。举例来说，视频编码器20可使用高级语法将差量值用信号表示给视频解码器30，所述高级语法PPS、SPS、VPS和/或切片标头中的语法。在其它实例中，视频编码器20和视频解码器30可经预配置以使用相同固定差量值。在又其它实例中，视频编码器20和/或视频解码器30可基于辅助信息(例如，例如CU大小、颜色空间、颜色分量或类似物，如上所述)自适应地导出差量值。

在一些实例中，可包含有损译码调色板模式作为HEVC译码模式。举例来说，译码模式可包含帧内预测模式、帧间预测模式、无损译码调色板模式和有损译码调色板模式。在HEVC译码中，如上文相对于图2和3所提到，量化参数(QP)用以控制允许的失真。用于基于调色板的译码的差量值可随QP而变而计算或另外确定。举例来说，上述差量值可为1<<(QP/6)或1<<((QP+d)/6)，其中d是常数，且“<<”表示逐位左移位算子。

本发明中描述的使用有损译码技术的调色板的产生可由视频编码器20、视频解码器30或两者执行。举例来说，视频编码器20可使用上述差量比较技术产生CU的调色板中的条目，且用信号表示供视频解码器30使用的用于构造调色板的信息。即，视频编码器20可经配置以用信号表示指示用于CU的调色板中的条目的像素值的信息，且随后使用与此些调色板条目相关联的像素值对像素值进行编码。视频解码器30可使用此信息构造调色板，且随后使用条目对经译码块的像素值进行解码。在一些实例中，视频编码器20可用信号表示识别经译码块的一或多个像素位置的调色板条目的索引值，且视频解码器30可使用所述索引值从调色板检索相关像素值条目。

在其它实例中，视频解码器30可经配置以通过应用上述差量比较技术构造调色板。举例来说，视频解码器30可接收用于经译码块内的位置的像素值，且确定所述像素值与调色板中的现有像素值条目之间的绝对差是否大于差量值。如果是，那么视频解码器30可在调色板中添加像素值作为条目，例如用于稍后在使用由视频编码器20用信号表示的对应索引值对块的其它像素位置的像素值的基于调色板的解码中使用。在此情况下，视频编码器20和视频解码器30应用相同或相似过程以产生调色板。如果不是，那么视频解码器30可不将像素值添加到调色板。

在用于说明目的的实例中，视频解码器30可接收用于块中的各种像素位置的索引值或像素值。如果例如针对像素位置接收索引值，那么视频解码器30可使用所述索引值识别调色板中的条目，且使用所述调色板条目的像素值用于所述像素位置。如果针对像素位置接收像素值，那么视频解码器30可使用所接收的像素值用于所述像素位置，并且还应用差量比较以确定所述像素值是否应添加到调色板且随后稍后用于调色板译码。

在编码器侧，如果用于块中的一位置的像素值产生所述像素值与调色板中的现有像素值条目之间小于或等于差量值的绝对差，那么视频编码器20可发送索引值以识别调色板中的条目以用于重构所述位置的像素值。如果用于块中的一位置的像素值产生所述像素值与调色板中的现有像素值条目之间全部大于差量值的绝对差值，那么视频编码器20可发送所述像素值且在调色板中添加所述像素值作为新条目。为了构造调色板，视频解码器30可使用由编码器用信号表示的差量值，依赖于固定或已知差量值，或推断或导出差量值，例如如上文所描述。

如上所述，视频编码器20和/或视频解码器30可当对视频数据进行译码时使用包含帧内预测模式、帧间预测模式、无损译码调色板模式和有损译码调色板模式的译码模式。根据本发明的一些方面，视频编码器20和视频解码器30可对指示基于调色板的译码是否经启用的一或多个语法元素进行译码。举例来说，在每一CU处，视频编码器20可对例如旗标PLT_Mode_flag等语法元素进行编码。PLT_Mode_flag或其它语法元素可指示基于调色板的译码模式是否将用于给定CU(或在其它实例中为PU)。举例来说，此旗标可在经编码视频位流中在CU层级用信号表示，且随后由视频解码器30在对所述经编码视频位流进行解码时即刻接收。

在此实例中，等于1的此PLT_Mode_flag的值可指定当前CU是使用基于调色板的译码模式编码。在此情况下，视频解码器30可应用基于调色板的译码模式以对CU进行解码。在一些实例中，语法元素可指示用于CU的多个不同基于调色板的译码模式中的一者(例如，有损或无损)。等于0的此PLT_Mode_flag的值可指定当前CU是使用除调色板模式外的模式编码。举例来说，可使用多种帧间预测性、帧内预测性或其它译码模式中的任一者。当PLT_Mode_flag的值是0时，视频编码器20还可对额外数据进行编码以指示用于编码相应CU的特定模式(例如，HEVC译码模式)。PLT_Mode_flag的使用是出于实例的目的而描述。然而，在其它实例中，例如多位码等其它语法元素可用以指示基于调色板的译码模式是否将用于CU(或在其它实例中为PU)或指示多个模式中的哪一者将用于译码。

在一些实例中，上述旗标或其它语法元素可在比CU(或PU)层级高的层级发射。举例来说，视频编码器20可在切片层级用信号表示此旗标。在此情况下，等于1的值指示切片中的所有CU是使用调色板模式编码。在此实例中，在CU层级不用信号表示例如用于调色板模式或其它模式的额外模式信息。在另一个实例中，视频编码器20可在PPS、SPS或VPS中用信号表示此旗标。

根据本发明的一些方面，视频编码器20和/或视频解码器30可在切片、PPS、SPS或VPS层级中的一者处对一或多个语法元素(例如，例如上述旗标)进行译码，其指定调色板模式是否针对特定切片、图片、序列或类似物经启用或停用，同时PLT_Mode_flag指示基于调色板的译码模式是否用于每一CU。在此情况下，如果在切片、PPS、SPS或VPS层级处发送的旗标或其它语法元素指示调色板译码模式经停用，那么在一些实例中，可不需要用信号表示每一CU的PLT_Mode_flag。或者，如果在切片、PPS、SPS或VPS层级发送的旗标或其它语法元素指示调色板译码模式经启用，那么可进一步用信号表示PLT_Mode_flag以指示基于调色板的译码模式是否将用于每一CU。再次，如上所提到，用于指示CU的基于调色板的译码的这些技术的应用可另外或替代地用以指示PU的基于调色板的译码。

在一些实例中，可在位流中有条件地用信号表示上述语法元素。举例来说，视频编码器20和视频解码器30可基于CU的大小、帧类型、颜色空间、颜色分量、帧大小、帧速率、可缩放视频译码中的层id或多视图译码中的视图id而分别仅编码或解码语法元素。

虽然上述实例涉及例如以位流中的一或多个语法元素的显式信令，但在其它实例中，视频编码器20和/或视频解码器30可隐式地确定调色板译码模式是否有效和/或用于对特定块进行译码。视频编码器20和视频解码器30可基于例如CU的大小、帧类型、颜色空间、颜色分量、帧大小、帧速率、可缩放视频译码中的层id或多视图译码中的视图id而确定基于调色板的译码是否用于块。

虽然上文在CU(HEVC)的上下文中描述图4的技术，但应理解所述技术也可以应用于预测单元(PU)或其它视频译码过程和/或标准中。

图5是说明与本发明的技术一致的确定到像素块的调色板的索引的实例的概念图。举例来说，图5包含使与索引值相关联的像素的相应位置相关到调色板244的条目的索引值(值1、2和3)的映射240。调色板244可以与上文相对于图4描述的第一调色板184和第二调色板192类似的方式确定。

再次，出于解释的目的，在视频编码器20(图1和图2)和视频解码器30(图1和图3)的上下文中且相对于HEVC视频译码标准描述图5的技术。然而，应理解，本发明的技术不限于此方式，且可由其它视频译码处理器和/或装置在其它视频译码过程和/或标准中应用。

虽然在图5的实例中将映射240说明为包含用于每一像素位置的索引值，但应理解在其它实例中，不是所有像素位置可与使像素值相关到调色板244的条目的索引值相关联。即，如上所述，在一些实例中，视频编码器20可在像素值并未包含在调色板244中的情况下对用于映射240中的一位置的实际像素值(或其经量化版本)的指示进行编码(且视频解码器30可从经编码位流获得所述指示)。

在一些实例中，视频编码器20和视频解码器30可经配置以对指示哪些像素位置与索引值相关联的额外映射进行译码。举例来说，假定所述映射中的(i,j)条目对应于CU的(i,j)位置。视频编码器20可针对所述映射的每一条目(即，每一像素位置)编码一或多个语法元素，其指示所述条目是否具有相关联索引值。举例来说，视频编码器20可编码具有值一的旗标以指示在CU中的(i,j)位置的像素值是调色板244中的值中的一者。视频编码器20可在此实例中还编码调色板索引(图5的实例中展示为值1-3)以指示调色板中的像素值且允许视频解码器重构所述像素值。在调色板244包含单个条目和相关联像素值的实例中，视频编码器20可跳过索引值的用信号表示。视频编码器20可将旗标编码为具有值零以指示在CU中的(i,j)位置处的像素值不是调色板244中的值中的一者。在此实例中，视频编码器20还可对供视频解码器30用于重构像素值的像素值的指示进行编码。在一些实例中，可以有损方式对像素值进行译码。

CU的一个位置中的像素的值可提供所述CU的其它位置中的一或多个其它像素的值的指示。举例来说，可存在CU的相邻像素位置将具有相同像素值或可映射到相同索引值(在有损译码的情况下，其中一个以上像素值可映射到单个索引值)的相对高概率。

因此，根据本发明的方面，视频编码器20可编码一或多个语法元素，其指示给定扫描次序中具有相同像素值或索引值的连续像素或索引值的数目。如上所述，相同值的像素或索引值的串在本文中可被称作延行。在用于说明目的的实例中，如果给定扫描次序中的两个连续像素或索引具有不同值，那么延行等于零。如果给定扫描次序中的两个连续像素或索引具有相同值但所述扫描次序中的第三像素或索引具有不同值，那么延行等于一。对于具有相同值的三个连续索引或像素，延行为二，等等。视频解码器30可从经编码位流获得指示延行的语法元素且使用所述数据确定具有相同像素或索引值的连续位置的数目。

在用于说明目的的实例中，考虑映射240的线248。假定水平的从左到右扫描方向，线248包含五个索引值“2”和三个索引值“3”。根据本发明的方面，视频编码器20可针对在扫描方向中线248的第一位置编码索引值2。另外，视频编码器20可编码一或多个语法元素，其指示在扫描方向中具有与用信号表示的索引值相同的索引值的连续值的延行。在线248的实例中，视频编码器20可用信号表示延行4，进而指示在扫描方向中的随后四个位置的索引值共享与用信号表示的索引值相同的索引值。视频编码器20可针对线248中的下一不同索引值执行同一过程。即，视频编码器20可编码索引值3和指示延行二的一或多个语法元素。视频解码器30可获得指示索引值和在扫描方向中具有相同索引值的连续索引的数目(延行)的语法元素。

举例来说，相对于基于列的扫描，考虑映射240的列252。假定垂直的从上到下扫描方向，列252包含六个索引值“2”和两个索引值“3”。根据本发明的方面，视频编码器20可针对在扫描方向中线252的第一位置(在列252的相对顶部)编码索引值2。另外，视频编码器20可用信号表示延行5，进而指示在扫描方向中的随后五个位置的索引值共享与用信号表示的索引值相同的索引值。视频编码器20还可针对在扫描方向中的下一位置编码索引值3以及指示延行一的一或多个语法元素。视频解码器30可获得指示索引值和在扫描方向中具有相同索引值的连续索引的数目(延行)的语法元素。

根据本发明的方面，视频编码器20和视频解码器30可另外或替代地执行用于映射240的一或多个条目的线复制。在一些实例中，所述线复制可取决于扫描方向。举例来说，视频编码器20可指示用于映射中的特定条目的像素或索引值等于特定条目上方(针对水平扫描)的线或特定条目左边(针对垂直扫描)的列中的像素或索引值。视频编码器20还可将扫描次序中等于特定条目上方的线或左边的列中的条目的像素或索引值的数目指示为延行。在此实例中，视频编码器20和或视频解码器30可从指定相邻线且从当前正译码的映射的线的指定数目的条目复制像素或索引值。

在用于说明目的的实例中，考虑映射240的列256和260。假定垂直的从上到下扫描方向，列256包含三个索引值“1”、三个索引值“2”和两个索引值“3”。列260包含在扫描方向中具有相同次序的相同索引值。根据本发明的方面，视频编码器20可针对列260编码一或多个语法元素，其指示整个列260是从列256复制的。所述一或多个语法元素可与在映射240的相对顶部处列260的第一条目相关联。视频解码器30可获得指示线复制的语法元素且当对列260进行解码时复制列256的索引值用于列260。

根据本发明的方面，用于对所谓的条目延行进行译码的技术可与上述用于线复制的技术结合使用。举例来说，视频编码器20可对指示映射中的条目的值是否是从调色板获得或者映射中的条目的值是否是从映射240中的经先前译码的线获得的一或多个语法元素(例如，旗标)进行编码。视频编码器20还可对指示调色板的索引值或线(行或列)中的条目的位置的一或多个语法元素进行编码。视频编码器20还可对指示共享相同值的若干连续条目的一或多个语法元素进行编码。视频解码器30可从经编码位流获得此信息且使用所述信息重构块的映射和像素值。

在用于说明目的的实例中，考虑映射240的行264和268。假定水平的从左到右扫描方向，行264包含三个索引值“1”、两个索引值“2”和三个索引值“3”。行268包含五个索引值“1”和三个索引值“3”。在此实例中，视频编码器20可识别行264的特定条目，接着是当编码用于行268的数据时的延行。举例来说，视频编码器20可对指示行268的第一位置(行268的最左边位置)与行264的第一位置相同的一或多个语法元素进行编码。视频编码器20还可对指示行268中在扫描方向中两个连续条目的下一延行与行264的第一位置相同的一或多个语法元素进行编码。

在一些实例中，视频编码器20还可确定是否相对于另一行(或列)中的位置对当前像素或索引值进行译码或使用延行语法元素对当前像素或索引值进行译码。举例来说，在对指示行264的第一位置和两个条目的延行(上文提到)的一或多个语法元素进行编码之后，视频编码器20可针对线268中的第四和第五位置(从左到右)编码指示用于第四位置的值1的一或多个语法元素以及指示延行1的一或多个语法元素。因此，视频编码器20在不参考另一线(或列)的情况下对这两个位置进行编码。视频编码器20可随后相对于上部行264对行268中具有索引值3的第一位置进行译码(例如，指示从上部行264的复制以及扫描次序中具有相同索引值的连续位置的延行)。因此，根据本发明的方面，视频编码器20可在例如使用延行相对于线(或列)的其它值对所述线(或列)的像素或索引值进行译码、相对于另一线(或列)的值对线(或列)的像素或索引值进行译码或其组合之间进行选择。在一些实例中，视频编码器20可执行速率/失真优化以做出所述选择。

视频解码器30可接收上述语法元素且重构行268。举例来说，视频解码器30可获得指示相邻行中从其复制当前正译码的映射240的位置的相关联索引值的特定位置的数据。视频解码器30还可获得指示扫描次序中具有相同索引值的连续位置的数目。

在一些实例中，从其复制条目的线可直接邻近于当前正译码的线的条目(如图5的实例中所示)。然而，在其它实例中，若干线可由视频编码器20和/或视频解码器30缓冲，以使得映射的若干线中的任一者可用作当前正译码的映射的线的预测性条目。因此，在一些实例中，可将用于条目的像素值用信号表示为等于当前行的紧邻上方的行(或左边的列)或者当前行的上方的两个或两个以上行(或左边的列)中的条目的像素值。

在用于说明目的的实例中，视频编码器20和/或视频解码器30可经配置以在对当前行条目进行译码之前存储先前n行条目。在此实例中，视频编码器20可在位流中以截断一元码或其它码指示预测性行(从其复制条目的行)。在另一个实例中，视频编码器20可对当前线与用作对当前线进行译码的参考的映射240的预测性线之间的位移值进行编码(且视频解码器30可对其进行解码)。即，视频编码器20可对从其复制索引值的特定线(或列)的指示进行编码。在一些实例中，所述位移值可为位移向量。即，假设c[0]、c[1]、...表示映射240的当前线的索引且假设u[0]、u[1]、u[2]、...表示映射240的预测性线(例如上部相邻线)的索引。在此实例中，给定位移向量是d，用于c[i]的索引值可从u[i+d]预测。d的值可使用一元、截断一元、指数哥伦布或哥伦布-莱斯码来译码。

图6是说明与本发明的技术一致的用于使用调色板译码模式对视频数据进行译码的实例过程的流程图。相对于例如视频编码器20(图1和2)或视频解码器30(图1和3)等视频译码器解释图6的方法。但是，应理解，其它视频译码装置可经配置以执行类似方法。此外，方法中的某些步骤可以不同次序或并行执行。同样，在各种实例中，某些步骤可省去，且可添加其它步骤。

例如视频编码器和/或视频解码器30等视频译码器可初始地确定用于对当前视频数据块进行译码的模式是否为基于调色板的译码模式(280)。如上所述，在位流中可包含指示当前块的译码模式的一或多个语法元素(例如，PLT_Mode_flag语法元素)。在其它实例中，视频译码器可基于所谓的辅助信息做出确定，如上所述。

在任何情况下，如果基于调色板的译码模式并未用于当前正译码的块(步骤280的“否”分支)，那么视频译码器可使用除基于调色板的译码模式外的模式对视频数据块进行译码(282)。举例来说，视频译码器可使用非基于调色板的模式对视频数据块进行译码，例如帧内模式、帧间模式或另一译码模式。

如果基于调色板的译码模式用于当前正译码的块(步骤280的“是”分支)，那么视频译码器可确定用于对当前块进行译码的调色板(284)。如下文相对于图7和8所描述，在一些实例中，视频译码器可基于与一或多个其它经先前译码视频数据块相关联的调色板而确定当前块的调色板。

视频译码器还可确定当前正译码的块的索引值(286)。举例来说，如下文相对于图9更详细描述，视频译码器可确定指示块的哪些像素位置是使用索引值译码的映射，所述索引值使像素的位置相关到具有相关联像素值的所确定调色板的条目。在一些情况下，视频译码器可相对于块的其它索引值确定一或多个索引值。举例来说，视频译码器可基于位于块的另一线或列中的索引值确定索引值的延行和/或索引值。

视频译码器随后使用所确定的调色板和索引值对块的视频数据进行译码(280)。举例来说，相对于视频编码器20，视频编码器20可在经编码位流中对指示调色板以及索引值的数据进行编码。视频编码器20还可针对在所确定调色板中不具有对应像素的任何像素位置对在此些位置的实际像素值或其经量化版本进行编码。视频解码器30可从经编码位流剖析且解码调色板、索引值和像素值，且使用所述数据重构视频数据块。

图7是说明与本发明的技术一致的用于在基于调色板的译码中确定调色板的实例过程的流程图。相对于例如视频编码器20(图1和2)或视频解码器30(图1和3)等视频译码器解释图7的方法。但是，应理解，其它视频译码装置可经配置以执行类似方法。此外，方法中的某些步骤可以不同次序或并行执行。同样，在各种实例中，某些步骤可省去，且可添加其它步骤。在一些实例中，图7的技术可在图6的步骤284期间执行。

在图7的实例中，视频译码器可确定调色板的大小(300)。在一些实例中，调色板的大小可为固定的。在其它实例中，可在译码期间动态地调整调色板的大小(例如，通过添加或从调色板移除条目)。视频译码器可对指示调色板的大小的一或多个语法元素进行译码。

视频译码器可确定用于对当前块进行译码的调色板是否是从一或多个其它经先前译码调色板预测的(302)。如果所述调色板经预测(步骤302的是分支)，那么视频译码器可确定预测性调色板(304)。举例来说，视频编码器20可对指示用于当前块的调色板是基于一或多个先前编码的调色板的数据以及指示与预测性调色板相关联的块的位置(或识别预测性调色板自身)的数据进行编码。同样，视频解码器30可从经编码位流获得此数据。如上文相对于图4所描述，预测性调色板可与当前正译码块的相邻块相关联。

视频译码器可基于所确定预测性调色板的一或多个条目确定用于对当前块进行译码的调色板的一或多个条目(306)。在一些实例中，视频译码器可从另一块复制整个调色板以用于对当前块进行译码。在其它实例中，视频译码器可从另一调色板选择性地复制条目。在一些实例中，调色板预测可基于调色板条目在一或多个经先前译码块中使用的频率。

视频译码器还可确定调色板的一或多个未预测条目(308)。举例来说，在一些实例中，可从其它经先前译码调色板预测调色板的仅一部分。在其它实例中，可根本不预测性地译码调色板。在此类实例中，视频译码器可在不执行本文所描述的调色板预测技术的情况下(或在其之后)确定调色板条目。

图8是说明与本发明的技术一致的用于确定视频数据块的索引的实例过程的流程图。相对于例如视频编码器20(图1和2)或视频解码器30(图1和3)等视频译码器解释图8的方法。但是，应理解，其它视频译码装置可经配置以执行类似方法。此外，方法中的某些步骤可以不同次序或并行执行。同样，在各种实例中，某些步骤可省去，且可添加其它步骤。在一些实例中，图8的技术可在图6的步骤286期间执行。

视频译码器可初始地确定例如用于在基于调色板的译码中扫描索引值的映射的扫描方向(320)。在一些实例中，如上文相对于图5的实例所提到，视频译码器可经预配置以使用特定扫描方向。在其它实例中，视频译码器可对指示所述扫描方向的一或多个语法元素进行译码且基于所述语法元素确定扫描方向。在又其它实例中，视频译码器可基于所谓的辅助信息确定扫描方向。

视频译码器还可确定当前正译码视频数据块的具有调色板的相关联索引值的位置的映射。举例来说，当前正译码块的一或多个像素值可不在来自所述块的调色板中表示。在此些实例中，视频译码器可直接对像素值进行译码(而不是对识别调色板中的像素值的索引值进行译码)。所述映射可指示哪些像素位置与索引值相关联且哪些像素位置不与索引值相关联。

视频译码器确定一或多个第一索引值(324)。对于块中的给定像素，视频译码器可确定使所述给定像素的像素值相关到所述块的调色板中的条目的索引值。

视频译码器还基于第一索引值确定一或多个第二索引值(326)。举例来说，如上文相对于图5所描述，视频译码器可相对于其它已经译码的索引值确定一或多个索引值。在一些实例中，视频译码器可基于连续相同值的索引值的延行而确定第二索引值。在其它实例中，视频译码器可基于包含在与当前正译码像素的线不同的线中的一或多个第一索引值确定第二索引值。在其它实例中，视频译码器可应用技术的组合以确定第二索引值。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序来执行，可添加、合并或全部省略(例如，实践所述技术未必需要所有所描述动作或事件)。此外，在某些实施例中，可同时(例如，通过多线程处理、中断处理或多个处理器)而非顺序地执行动作或事件。另外，虽然为了清晰起见，将本发明的某些方面描述为是由单个模块或单元执行，但应理解，本发明的技术可由与视频译码器相关联的单元或模块的组合执行。

出于说明的目的已经相对于开发HEVC标准而描述本发明的某些方面。然而，本发明中描述的技术可有用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。

上文所描述的技术可由视频编码器20(图1及2)及/或视频解码器30(图1及3)执行，其两者可大体上被称作视频译码器。同样地，在适用时，视频译码可指代视频编码或视频解码。

虽然在上文描述所述技术的各种方面的特定组合，但提供这些组合仅为了说明本发明中描述的技术的实例。因此，本发明的技术不应限于这些实例组合且可涵盖本发明中描述的技术的各种方面的任何可设想的组合。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体，或包含促进将计算机程序从一处传送到另一处的任何媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可以对应于(1)非暂时形的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用的媒体。计算机程序产品可包含计算机可读媒体。

以实例说明而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。而且，将任何连接恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上文的组合也应包含在计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所述的功能性可在经配置用于编码和解码的专用硬件及/或软件模块内提供，或者并入在组合编解码器中。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述各种实例。这些和其它实例在所附权利要求书的范围内。

Claims

1.一种对视频数据进行译码的方法，所述方法包括：

确定具有指示第一像素值的第一条目的第一调色板；

基于所述第一调色板的所述第一条目确定指示第二调色板的第二像素值的一或多个第二条目；以及

使用所述第二调色板对视频数据块的像素进行译码。

2.根据权利要求1所述的方法，其中所述块包含在具有多个块的图片中，且其中确定所述第一调色板包括基于与所述多个块中的一个以上块相关联的条目确定所述第一条目。

3.根据权利要求1所述的方法，其进一步包括：

当所述一或多个第二条目包含所有所述第一条目时，对指示所述一或多个第二条目包含所有所述第一条目的数据进行译码；以及

当所述一或多个第二条目包含少于所有所述第一条目时，针对所述第二调色板的每一条目对指示所述相应条目是否包含在所述第一调色板中的数据以及指示用于不包含在所述第一调色板中的条目的像素值的数据进行译码。

4.根据权利要求1所述的方法，其进一步包括：

基于所述视频数据的预定区域的具有相应像素值的像素的数目确定所述视频数据的所述相应像素值的发生概率；以及

基于所述发生概率将索引值指派给所述第二调色板的条目，包含为具有相对较高发生概率的条目指派相对较低索引值。

5.根据权利要求1所述的方法，其进一步包括：

基于所述第二调色板的所述一或多个第二条目包含在所述第一调色板中而将索引值指派给所述一或多个第二条目，包含将与所述第二调色板的任何其它条目相比相对较低的索引值指派给所述一或多个第二条目；以及

6.根据权利要求1所述的方法，其中所述第一调色板与第一视频数据块相关联，所述方法进一步包括：

对指示所述第一块相对于使用所述第二调色板译码的所述视频数据块的位置的数据进行译码。

7.根据权利要求6所述的方法，其中对指示所述位置的所述数据进行译码包括对指示所述第一块是否为位于使用所述第二调色板译码的所述视频数据块上方的顶部相邻块或者所述第一块是否为位于使用所述第二调色板译码的所述视频数据块左边的左边相邻块的数据进行译码。

8.根据权利要求1所述的方法，其中所述第一调色板用以对与以所述第二调色板译码的所述块不同的像素块进行译码，所述方法进一步包括：

确定所述第一调色板的每一条目用以对以所述第一调色板译码的所述像素块进行译码的频率；

基于所述频率对识别所述一或多个第二条目中的每一者的数据进行译码。

9.根据权利要求1所述的方法，其进一步包括：

对指示所述一或多个第二条目是基于所述第一条目的预测语法元素进行译码。

10.根据权利要求1所述的方法，其进一步包括通过组合所述第二调色板的所述一或多个条目而量化所述第二调色板的所述一或多个条目。

11.根据权利要求1所述的方法，其进一步包括：

基于待添加的条目的像素值与所述第二调色板的所述一或多个条目中的每一者的像素值之间的差是否大于差量值而将所述条目添加到所述第二调色板。

12.根据权利要求1所述的方法，其进一步包括确定所述第二调色板的大小，其中确定所述第二调色板的所述大小包括以下各项中的至少一者：

确定所述第二调色板的所述大小是固定的；

确定所述第二调色板的所述大小是可变的且基于以所述视频数据块译码的数据；

基于所述视频数据块的特性确定所述调色板的所述大小；或

基于以所述视频数据块译码的指示所述第二调色板中的最终条目的数据确定所述调色板的所述大小。

13.根据权利要求1所述的方法，其中对所述块的所述像素进行译码包括对所述像素进行解码，且其中对所述像素进行解码包括：

从经编码位流获得用于所述像素中的一或多者的相应索引值，其中所述相应索引值识别所述第二调色板的条目；以及

通过将所述相应索引值匹配于所述第二调色板的所述条目中的至少一者而确定所述一或多个像素的值。

14.根据权利要求1所述的方法，其中对所述块的所述像素进行译码包括对所述像素进行编码，且其中对所述像素进行编码包括：

确定用于所述像素中的一或多者的相应索引值，其中所述相应索引值识别所述第二调色板的相应条目；以及

在经编码位流中对所述索引值进行编码。

15.一种用于对视频数据进行译码的设备，所述设备包括：

存储器，其存储视频数据；以及

一或多个处理器，其经配置以：

确定具有指示第一像素值的第一条目的第一调色板；

使用所述第二调色板对所述视频数据的块的像素进行译码。

16.根据权利要求15所述的设备，其中所述块包含在具有多个块的图片中，且其中为了确定所述第一调色板，所述一或多个处理器经配置以基于与所述多个块中的一个以上块相关联的条目确定所述第一条目。

17.根据权利要求15所述的设备，其中所述一或多个处理器进一步经配置以：

18.根据权利要求1所述的设备，其中所述一或多个处理器进一步经配置以：

19.根据权利要求15所述的设备，其中所述一或多个处理器进一步经配置以：

20.根据权利要求15所述的设备，其中所述第一调色板与第一视频数据块相关联，其中所述一或多个处理器进一步经配置以对指示所述第一块相对于使用所述第二调色板译码的所述视频数据块的位置的数据进行译码。

21.根据权利要求20所述的设备，其中为了对指示所述位置的所述数据进行译码，所述一或多个处理器经配置以对指示所述第一块是否为位于使用所述第二调色板译码的所述视频数据块上方的顶部相邻块或者所述第一块是否为位于使用所述第二调色板译码的所述视频数据块左边的左边相邻块的数据进行译码。

22.根据权利要求15所述的设备，其中所述第一调色板用以对与以所述第二调色板译码的所述块不同的像素块进行译码，其中所述一或多个处理器进一步经配置以：

23.根据权利要求15所述的设备，其中所述一或多个处理器进一步经配置以对指示所述一或多个第二条目是基于所述第一条目的预测语法元素进行译码。

24.根据权利要求15所述的设备，其中所述一或多个处理器进一步经配置以通过组合所述第二调色板的所述一或多个条目而量化所述第二调色板的所述一或多个条目。

25.根据权利要求15所述的设备，其中所述一或多个处理器进一步经配置以基于待添加的条目的像素值与所述第二调色板的所述一或多个条目中的每一者的像素值之间的差是否大于差量值而将所述条目添加到所述第二调色板。

26.根据权利要求15所述的设备，其中所述一或多个处理器进一步经配置以确定所述第二调色板的大小，其中为了确定所述第二调色板的所述大小，所述一或多个处理器经配置以：

确定所述第二调色板的所述大小是固定的；

基于所述视频数据块的特性确定所述调色板的所述大小；或

27.根据权利要求15所述的设备，其中为了对所述块的所述像素进行译码，所述一或多个处理器经配置以对所述像素进行解码，且其中为了对所述像素进行解码，所述一或多个处理器经配置以：

28.根据权利要求15所述的设备，其中为了对所述块的所述像素进行译码，所述一或多个处理器经配置以对所述像素进行编码，且其中为了对所述像素进行编码，所述一或多个处理器经配置以：

在经编码位流中对所述索引值进行编码。

29.一种用于对视频数据进行译码的设备，所述设备包括：

用于确定具有指示第一像素值的第一条目的第一调色板的装置；

用于基于所述第一调色板的所述第一条目确定指示第二调色板的第二像素值的一或多个第二条目的装置；以及

用于使用所述第二调色板对视频数据块的像素进行译码的装置。

30.一种非暂时性计算机可读媒体，其上存储有指令，所述指令在执行时致使一或多个处理器：

确定具有指示第一像素值的第一条目的第一调色板；

使用所述第二调色板对所述视频数据的块的像素进行译码。