CN106576174A - 合并对上方复制模式的扩展以用于调色板模式译码的方法 - Google Patents

Abstract

本发明公开合并对上方复制模式的扩展以用于调色板模式译码的方法。在一个方面中，所述方法包含在前一复制模式中通过译码前一行索引来译码当前视频数据块的当前像素。所述在前一复制模式中译码所述当前像素进一步包含识别用于所述前一行索引的候选值数目、识别所述当前块中的所述当前像素上方的像素列中的逃脱像素的数目，且将所述前一行索引的候选值的数目减少经识别逃脱像素的所述数目。

Description

合并对上方复制模式的扩展以用于调色板模式译码的方法

技术领域

本发明涉及视频译码和压缩的领域，且尤其涉及调色板模式译码。

背景技术

数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和类似装置。数字视频装置实施视频压缩技术，例如在由运动图像专家组-2(MPEG-2)、MPEG-4、国际电信联盟电信标准化部门(ITU-T)H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效视频译码(HEVC)标准和此类标准的扩展中描述的视频压缩技术。视频装置可通过实施此类视频译码技术而更高效地发射、接收、编码、解码和/或存储数字视频信息。

随着高速因特网接入的流行，新兴视频应用(例如远程桌面共享、虚拟桌面基础结构及无线显示)要求屏幕内容的高压缩效率。然而，额外帧内和帧间视频译码工具经设计主要用于自然内容。屏幕内容可具有与自然内容(例如，锐缘且较少或无噪点)相比显著不同的特征。因此，针对自然内容的传统译码工具就译码屏幕内容而言可能不理想。

发明内容

本发明的系统、方法和装置各自具有若干创新方面，其中无单一方面单独负责本文中所公开的合乎需要的属性。

在一个方面中，一种在调色板模式中移除冗余以用于译码视频数据的方法包括在前一复制模式中通过译码前一行索引对当前块的当前像素进行译码，所述前一行索引指示包括位于当前块中的当前像素上方的像素的行索引，在前一复制模式中译码当前像素进一步包括：识别前一行索引的候选值数目；识别当前块中的当前像素上方的像素列中的逃脱像素数目；且将前一行索引的候选值的数目减少经识别逃脱像素的数目。

在另一方面，一种用于编码视频数据的装置包括存储器，其经配置以存储视频数据的至少一部分；及至少一个处理器，其与存储器通信且经配置：在前一复制模式中通过译码前一行索引而对视频数据的当前块的当前像素进行译码，所述前一行索引指示包含位于当前块中的当前像素上方的像素的行索引；识别前一行索引的候选值数目；识别当前块中的当前像素上方的像素列中的逃脱像素数目；且将前一行索引的候选值的数目减少经识别逃脱像素的数目。

在另一方面中，一种用于在调色板模式中参考相邻像素以用于译码视频数据的方法，所述方法包括确定位于相邻块中的相邻像素是否可用；且响应于相邻像素为可用，在上方复制模式中通过译码延行长度值对视频数据的当前块的当前像素进行译码，所述当前像素以扫描次序在当前块的第一行中。

在又一方面中，一种用于编码视频数据的装置包括存储器，所述存储器经配置以存储视频数据的至少一部分；及至少一个处理器，其与存储器通信且经配置以：确定位于相邻块中的相邻像素是否可用；且响应于相邻像素为可用，在上方复制模式中通过译码延行长度值对视频数据的当前块的当前像素进行译码，所述当前像素以扫描次序在当前块的第一行中。

附图说明

图1A为说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统的框图。

图1B为说明可执行根据本发明中所描述的方面的技术的另一实例视频编码和解码系统的框图。

图2为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。

图3为说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。

图4为说明输入CU、索引块、逃脱像素和与CU相关联的调色板的框图。

图5A为说明根据本发明中所描述的方面的上方复制的实例的框图。

图5B为说明根据本发明中所描述的方面的前一复制的实例的框图。

图6为说明根据本发明中描述的方面的在调色板模式中移除冗余的实例的框图。

图7为说明根据本发明中描述的方面的用于对视频数据进行译码的方法的流程图。

图8为说明根据本发明中所描述的方面的外部复制的实例的框图。

图9为说明根据本发明中描述的方面的用于对视频数据进行译码的另一方法的流程图。

具体实施方式

在调色板模式译码的现有方法中，在将上方复制模式扩展到复制除直接前一行(即，前一复制模式)外的行中存在多个冗余。这些冗余可由从某一行的复制将被禁止的情况造成。因此，通过移除前一复制模式的这些情况，可减小经译码前一行的动态范围，由此改进译码效率。

在调色板模式译码的现有方法中，可实施对上方复制模式的扩展以促进从当前块外部的相邻像素复制像素值，即外部复制模式。本发明的各方面涉及对外部复制模式的多种不同修改，该等修改可提高外部复制模式的灵活性或提供实施外部复制模式的额外技术。

在以下描述中，描述涉及某些实施例的H.264/高级视频译码(AVC)技术；还论述了HEVC标准和相关技术。虽然本文中在HEVC和/或H.264标准的情形下描述某些实施例，但所属领域的技术人员将理解本文中所公开的系统和方法可适用于任何适当的视频译码标准。举例来说，本文中所公开的实施例可适用于以下标准中的一或多者：国际电信联盟(ITU)电信标准化部门(ITU-T)H.261、国际标准化组织/国际电工委员会(ISO/IEC)MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual和ITU-TH.264(也称为ISO/IEC MPEG-4 AVC)，包含范围扩展。

在许多方面，HEVC通常遵循先前视频译码标准的构架。HEVC中的预测单元不同于某些先前视频译码标准中的预测单元(例如，宏块)。实际上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的分层结构替换，分层结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块，译码单元(CU)、预测单元(PU)和变换单元(TU)。CU可指区分裂的基本单元。可认为CU类似于宏块的概念，但HEVC不约束CU的最大大小，且可允许递归分裂成四个相等大小的CU以改善内容适应性。可认为PU是帧间/帧内预测的基本单元，且单个PU可含有多个任意形状分区以有效地译码不规则图像图案。可将TU视为变换的基本单元。可独立于PU界定TU；然而，TU的大小可受限于所述TU所属的CU的大小。将块结构分离成三个不同概念可允许根据单元的相应作用来优化每一单元，这可导致改进的译码效率。

视频译码标准

例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可包含布置成水平和垂直线的像素或样本。单个图像中的像素的数目通常有数万个。每一像素通常含有亮度和色度信息。在无压缩的情况下，从图像编码器传达到图像解码器的信息绝对量将实时显示图像发射不可行。为了减少待发射的信息量，已开发出例如JPEG、MPEG和H.263标准等的多个不同压缩方法。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual和ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)，以及包含范围扩展的HEVC。

另外，ITU-T视频译码专家组(VCEG)和ISO/IEC MPEG的视频译码联合协作小组(JCT-VC)已经开发出视频译码标准(即，HEVC)。对HEVC草案10的完全引用为布洛斯(Bross)等人的文件JCTVC-L1003，“High Efficiency Video Coding(HEVC)Text SpecificationDraft 10”，ITU-T SG16 WP3与ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到2013年1月23日。对HEVC的范围扩展也正由JCT-VC开发。

视讯写码系统

下文参考附图更充分地描述新颖系统、设备和方法的各个方面。然而，本发明可以许多不同形式来体现，且不应被解释为限于贯穿本发明所呈现的任何特定结构或功能。实际上，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖本文中所公开的无论是独立于本发明的任一其它方面还是与之组合而实施的新颖系统、设备和方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围意欲涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可由权利要求的一或多个元素来体现本文中所揭示的任何方面。

尽管本文描述了特定方面，但这些方面的许多变化及排列属于本发明的范围内。尽管提到了优选方面的一些益处和优点，但本发明的范畴不意欲限于特定益处、用途或目标。实际上，本发明的方面意欲广泛地适用于不同无线技术、系统配置、网络及发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。详细描述和图式仅说明本发明，而不具有限制性，本发明的范畴由所附权利要求书及其等效物界定。

附图说明实例。由附图中的参考数字指示的元件对应于在以下描述中由相同参考数字指示的元件。在本发明中，具有以序数词(例如，“第一”、“第二”、“第三”等)开始的名称的元件未必包含具有特定次序的元件。而是，此类序数词仅用于指代相同或类似类型的不同元件。

图1A是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”或“译码器”一般指视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”一般可指视频编码或视频解码。除了视频编码器和视频解码器之外，本申请案中所描述的方面还可扩展到其它相关装置，例如，转码器(例如，可解码位流且重新编码另一位流的装置)和中间框(例如，可修改、变换和/或以其它方式操纵位流的装置)。

如图1A中所展示，视频译码系统10包含源装置12，所述源装置12产生稍后由目的地装置14解码的经编码视频数据。在图1A的实例中，源装置12和目的地装置14构成单独装置。然而，应注意，源装置12和目的地装置14可在同一装置上或为同一装置的一部分，如在图1B的实例中所展示。

再次参考图1A，源装置12和目的地装置14可分别包括广泛范围的装置中的任一者，包含台式计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话)、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏机、视频流装置等等。在各种实施例中，源装置12和目的地装置14可经装备以用于无线通信。

目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在图1A的实例中，链路16可包括使得源装置12能够实时将经编码视频数据发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于数据包的网络(例如，局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任一其它设备。

替代地，经编码数据可从输出接口22输出到存储装置31(任选地存在)。类似地，可通过(例如)目的地装置14的输入接口28从存储装置31存取经编码数据。存储装置31可包括多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置31可对应于文件服务器或可保持源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式发射或下载从存储装置31存取所存储的视频数据。文件服务器可为能够存储经编码视频数据并将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络附接存储(NAS)装置，或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线信道(例如，无线局域网(WLAN)连接)、有线连接(例如，数字用户线(DSL)、电缆调制解调器等)或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置31的发射可为流式发射、下载发射或两者的组合。

本发明的技术不限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、例如经由因特网的流式视频发射(例如，超文本传送协议(HTTP)动态自适应流等)、编码数字视频以用于存储于数据存储媒体上、解码存储在数据存储媒体上的数字视频，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式发射、视频重放、视频广播及/或视频电话等应用。

在图1A的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如视频捕获装置(例如，相机)、含有先前所捕获视频的视频存档、从视频内容提供者接收视频的视频馈入接口和/或用于产生计算机图形数据作为源视频的计算机图形系统的来源，或此类来源的组合。作为一个实例，若视频源18为视频相机，则源装置12和目的地装置14可形成所谓的“相机电话”或“视频电话”，如图1B中所说明。然而，本发明中描述的技术一般可适用于视频译码，且可应用于无线和/或有线应用。

视频编码器20可编码所捕获、预捕获或计算机产生的视频。可经由源装置12的输出接口22将经编码视频数据发射到目的地装置14。还可(或替代地)将经编码视频数据存储到存储装置31上以用于稍后由目的地装置14或其它装置存取以供解码和/或重放。图1A和1B中说明的视频编码器20可包括图2中说明的视频编码器20或本文中所描述的任何其它视频编码器。

在图1A的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28可经由链路16和/或从存储装置31接收经编码视频数据。经由链路16传达或在存储装置31上提供的经编码视频数据可包含由视频编码器20所产生的多种语法元素以供由例如视频解码器30的视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器上的经编码视频数据包含在一起。图1A和1B中说明的视频解码器30可包括图3中说明的视频解码器30或本文中所描述的任何其它视频解码器。

显示装置32可与目的地装置14集成或者在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还可经配置以与外部显示装置连接。在其它实例中，目的地装置14可能为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

在相关方面中，图1B展示实例视频译码系统10′，其中源装置12和目的地装置14在装置11上或为装置11的部分。装置11可为电话手持机，例如“智能”电话或类似者。装置11可包含与源装置12和目的地装置14可操作通信的控制器/处理器装置13(可选地存在)。图1B的视频译码系统10′和其组件在其它方面类似于图1A的视频译码系统10和其组件。

视频编码器20和视频解码器30可根据例如HEVC等视频压缩标准来操作，且可符合HEVC测试模型(HM)。替代地，视频编码器20和视频解码器30可根据其它专有或行业标准或此类标准的扩展来操作，所述标准例如ITU-T H.264标准，或者被称作MPEG-4第10部分AVC。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。

尽管图1A和1B的实例中未展示，但视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件和软件以处置对共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分以软件实施所述技术时，装置可将用于所述软件的指令存储于合适非暂时性计算机可读媒体中并使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器的部分。

视频译码过程

如上文简要提到，视频编码器20编码视频数据。视频数据可包括一或多个图片。图片中的每一者为形成视频的一部分的静态图像。在一些情况下，图片可被称作视频“帧”。当视频编码器20对视频数据进行编码时，视频编码器20可产生位流。位流可包含形成视频数据的经译码表示的位序列。位流可包含经译码图片和相关联的数据。经译码图片为图片的经译码表示。

为产生位流，视频编码器20可对视频数据中的每一图片执行编码操作。当视频编码器20对图片执行编码操作时，视频编码器20可产生一系列经译码图片和相关联数据。相关联数据可包含视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、自适应参数集(APS)和其它语法结构。SPS可以含有适用于零个或更多个图片序列的参数。PPS可含有适用于零或更多图片的参数。APS可含有适用于零或更多图片的参数。APS中的参数可为比PPS中的参数更可能改变的参数。

为产生经译码图片，视频编码器20可将图片分割为大小相等的视频块。视频块可为样本的二维阵列。视频块中的每一者与树块相关联。在一些情况下，树块可被称作最大译码单元(LCU)。HEVC的树块可大致类似于例如H.264/AVC等前述标准的宏块。但是，树块不必限于特定大小，且可包含一或多个译码单元(CU)。视频编码器20可使用四叉树分割将树块的视频块分割成与CU相关联的视频块(因此名为“树块”)。

在一些实例中，视频编码器20可将图片分割成多个切片。切片中的每一者可包含整数数目个CU。在一些情况下，一个切片包括整数数目个树块。在其它情况下，切片的边界可在树块内。

作为对图片执行编码操作的一部分，视频编码器20可对图片的每一切片执行编码操作。当视频编码器20对切片执行编码操作时，视频编码器20可产生与切片相关联的经编码数据。与切片相关联的经编码数据可被称为“经译码切片”。

为了产生经译码切片，视频编码器20可对切片中的每一树块执行编码操作。当视频编码器20对树块执行编码操作时，视频编码器20可产生经译码树块。经译码树块可包含表示树块的经编码版本的数据。

当视频编码器20产生经译码切片时，视频编码器20可根据光栅扫描次序对切片中的树块执行编码操作(例如，编码)。举例来说，视频编码器20可按以下次序对切片的树块进行编码：跨越切片中的树块的最顶行从左到右进行，接着跨越树块的下一较低行从左到右进行，以此类推，直到视频编码器20已对切片中的树块的每一者进行编码为止。

作为根据光栅扫描次序编码树块的结果，可已编码在给定树块的上方和左边的树块，但尚未编码在给定树块的下方和右边的树块。因此，当编码给定树块时，视频编码器20可能能够存取通过编码在给定树块的上方和左边的树块而产生的信息。然而，当对给定树块进行编码时，视频编码器20可能不能够存取通过对在给定树块的下方和右方的树块进行编码而产生的信息。

为了产生经译码树块，视频编码器20可对树块的视频块递归地执行四叉树分割以将视频块划分为越来越小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，视频编码器20可将树块的视频块分割成四个大小相等的子块、将所述子块中的一或多者分割成四个大小相等的子子块(sub-sub-block)，以此类推。经分割CU可为视频块被分割成与其它CU相关联的视频块的CU。未分割CU可为视频块未被分割成与其它CU相关联的视频块的CU。

位流中的一或多个语法元素可指示视频编码器20可分割树块的视频块的最大次数。CU的视频块在形状上可为正方形。CU的视频块的大小(例如，CU的大小)范围可从8×8像素直到具有最大64×64像素或更大的树块的视频块的大小(例如，树块的大小)。

视频编码器20可根据z扫描次序对树块的每一CU执行编码操作(例如，编码)。换句话说，视频编码器20可对左上CU、右上CU、左下CU和接着右下CU按所述次序进行编码。当视频编码器20对经分割CU执行编码操作时，视频编码器20可根据z扫描次序对与经分割CU的视频块的子块相关联的CU进行编码。换句话说，视频编码器20可按所述次序对与左上子块相关联的CU、与右上子块相关联的CU、与左下子块相关联的CU和接着与右下子块相关联的CU进行编码。

根据z扫描次序对树块的CU进行编码的结果是，可能已经对给定CU的上方、左上方、右上方、左边和左下方的CU进行编码。尚未对给定CU的下方和右边的CU进行编码。因此，当对给定CU进行编码时，视频编码器20可能够存取通过对与给定CU相邻的一些CU进行编码而产生的信息。然而，当对给定CU进行编码时，视频编码器20可能不能够存取通过对与给定CU相邻的其它CU进行编码而产生的信息。

当视频编码器20编码未分割的CU时，视频编码器20可产生用于所述CU的一或多个预测单元(PU)。CU的PU中的每一者可与CU的视频块内的不同视频块相关联。视频编码器20可产生用于CU的每一PU的经预测视频块。PU的经预测视频块可为样本块。视讯编码器20可使用帧内预测或帧间预测来产生用于PU的预测视频块。

当视频编码器20使用帧内预测来产生PU的经预测视频块时，视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的经预测视频块。如果视频编码器20使用帧内预测来产生CU的PU的经预测视频块，那么CU为经帧内预测CU。当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本而产生PU的经预测视频块。如果视频编码器20使用帧间预测来产生CU的PU的预测视频块，则所述CU为经帧间预测CU。

此外，当视频编码器20使用帧间预测来产生PU的经预测视频块时，视频编码器20可产生PU的运动信息。PU的运动信息可指示PU的一或多个参考块。PU的每一参考块可为参考图片内的视频块。参考图片可为不同于与PU相关联的图片的图片。在一些情况下，PU的参考块也可被称作PU的“参考样本”。视频编码器20可基于PU的参考块产生所述PU的预测视频块。

在视频编码器20产生用于CU的一或多个PU的经预测视频块之后，视频编码器20可基于用于CU的所述PU的经预测视频块产生所述CU的残余数据。CU的残余数据可指示用于CU的PU的预测视频块与CU的原始视频块中的样本之间的差。

此外，作为对未经分割的CU执行编码操作的一部分，视频编码器20可对所述CU的残余数据执行递归四叉树分割，以将所述CU的残余数据分割成与所述CU的变换单元(TU)相关联的残余数据的一或多个块(即，残余视频块)。CU的每一TU可与不同残余视频块相关联。

视频编码器20可将一或多个变换应用到与TU相关联的残余视频块以产生与TU相关联的变换系数块(例如，变换系数块)。在概念上，变换系数块可为变换系数的二维(2D)矩阵。

在产生变换系数块之后，视频编码器20可对所述变换系数块执行量化过程。量化大体上指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。

视频编码器20可使每一CU与量化参数(QP)值相关联。与CU相关联的QP值可确定视频编码器20如何对与CU相关联的变换系数块进行量化。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的变换系数块的量化的程度。

在视频编码器20对变换系数块进行量化之后，视频编码器20可产生表示经量化变换系数块中的变换系数的语法元素集。视频编码器20可将例如上下文自适应二进制算术译码(CABAC)操作等熵编码操作应用于这些语法元素中的一些。还可使用例如上下文自适应可变长度译码(CAVLC)、概率区间分割熵(PIPE)译码或其它二进制算术译码等其它熵译码技术。

由视频编码器20产生的位流可包含一系列网络抽象层(NAL)单元。所述NAL单元中的每一者可为含有NAL单元中的数据类型的指示和含有所述数据的字节的语法结构。举例来说，NAL单元可含有表示视频参数集、序列参数集、图片参数集、经译码切片、SEI、存取单元定界符、填充符数据，或另一类型的数据的数据。NAL单元中的数据可包含各种语法结构。

视频解码器30可接收由视频编码器20产生的位流。所述位流可包含由视频编码器20编码的视频数据的经译码表示。当视频解码器30接收到位流时，视频解码器30可对位流执行剖析操作。当视频解码器30执行剖析操作时，视频解码器30可从位流提取语法元素。视频解码器30可基于从位流提取的语法元素而重构视频数据的图片。基于语法元素重构视频数据的过程可与通过视频编码器20执行以产生语法元素的过程大体上相反。

在视频解码器30提取与CU相关联的语法元素之后，视频解码器30可基于所述语法元素产生用于CU的PU的经预测视频块。另外，视频解码器30可对与CU的TU相关联的变换系数块进行反量化。视频解码器30可对变换系数块执行反变换以重构与CU的TU相关联的残余视频块。在产生经预测视频块且重构残余视频块之后，视频解码器30可基于经预测视频块和残余视频块重构CU的视频块。以此方式，视频解码器30可基于位流中的语法元素而重构CU的视频块。

视频编码器

图2为说明可实施根据本发明中描述的方面的技术的视频编码器20的实例的框图。视频编码器20可经配置以处理视频帧的单层(例如，针对HEVC)。此外，视频编码器20可经配置以执行本发明的技术中的任一者或全部。在一些实例中，本发明中描述的技术可在视频编码器20的各种组件间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。图2中所描绘的实例是针对单层编解码器。然而，在某些实施例中，视频编码器20中的一些或全部可经复制用于处理多层编解码器。

视频编码器20可对视频切片内的视频块执行帧内译码及帧间译码。帧内译码依赖于空间预测来减小或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等的帧间模式可指代若干基于时间的译码模式中的任一者。

在图2的实例中，视频编码器20包含多个功能组件。视频编码器20的功能组件包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换单元110、重构单元112、滤波器单元113、经解码图片缓冲器114和熵编码单元116。预测处理单元100包含帧间预测单元121、运动估计单元122、运动补偿单元124、帧内预测单元126及层间预测单元128。在其它实例中，视频编码器20可包含更多、更少或不同的功能组件。此外，运动估计单元122与运动补偿单元124可高度集成，但出于解释之目的而在图2的实例中分开来表示。

视频编码器20可接收视频数据。视频编码器20可接收来自各种来源的视频数据。举例来说，视频编码器20可从视频源18(例如，图1A或1B中所展示)或另一源接收视频数据。视频数据可表示一系列图片。为编码视频数据，视频编码器20可对图片中的每一者执行编码操作。作为对图片执行编码操作的部分，视频编码器20可对图片的每一切片执行编码操作。作为对切片执行编码操作的部分，视频编码器20可对切片中的树块执行编码操作。

作为对树块执行编码操作的部分，预测处理单元100可对树块的视频块执行四叉树分割以将所述视频块划分成逐渐变小的视频块。较小视频块中的每一者可与不同CU相关联。举例来说，预测处理单元100可将树块的视频块分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。

与CU相关联的视频块的大小范围可从8×8样本高达最大64×64像素或更大的树块大小。在本发明中，“N×N”与“N乘N”可互换使用来指代在垂直和水平维度方面的视频块的样本尺寸，例如，16×16样本或16乘16样本。一般来说，16×16视频块在垂直方向上具有十六个样本(y＝16)，且在水平方向上具有十六个样本(x＝16)。同样，N×N块一般在垂直方向上具有N个样本，且在水平方向上具有N个样本，其中N表示非负整数值。

此外，作为对树块执行编码操作的一部分，预测处理单元100可产生用于树块的分层四叉树数据结构。举例来说，树块可对应于四叉树数据结构的根节点。如果预测处理单元100将树块的视频块分割成四个子块，那么根节点在四叉树数据结构中具有四个子节点。所述子节点中的每一者对应于与子块中的一者相关联的CU。如果预测处理单元100将子块中的一者分割成四个子子块，那么对应于与子块相关联的CU的节点可具有四个子节点，四个子节点中的每一者对应于与子子块中的一者相关联的CU。

四叉树数据结构的每一节点可含有对应树块或CU的语法数据(例如，语法元素)。举例来说，四叉树中的节点可包含分裂标记，所述分裂标记指示对应于节点的CU的视频块是否被分割(例如，分裂)成四个子块。可取决于所述CU的视频块是否分裂成子块来递归地界定用于CU的语法元素。其视频块未被分割的CU可对应于四叉树数据结构中的叶节点。经译码树块可包含基于用于对应树块的四叉树数据结构的数据。

视频编码器20可对树块的每一未分割的CU执行编码操作。当视频编码器20对未分割CU执行编码操作时，视频编码器20产生表示未分割CU的经编码表示的数据。

作为对CU执行编码操作的部分，预测处理单元100可在CU的一或多个PU之间分割CU的视频块。视频编码器20和视频解码器30可支持各种PU大小。假定特定CU的大小为2N×2N，视频编码器20及视频解码器30可支持2N×2N或N×N的PU大小，及2N×2N、2N×N、N×2N、N×N、2N×nU、nL×2N、nR×2N或类似的对称PU大小的帧间预测。视频编码器20和视频解码器30还可支持2N×nU、2N×nD、nL×2N和nR×2N的PU大小的不对称分割。在一些实例中，预测处理单元100可执行几何分割以沿并不按直角与CU的视频块侧会合的边界在CU的PU间分割CU的视频块。

帧间预测单元121可对CU的每一PU执行帧间预测。帧间预测可提供时间压缩。为了对PU执行帧间预测，运动估计单元122可产生PU的运动信息。运动补偿单元124可基于运动信息和不同于与CU相关联的图片(例如，参考图片)的图片的经解码样本而产生PU的经预测视频块。在本发明中，由运动补偿单元124产生的经预测视频块可被称作经帧间预测视频块。

切片可为I切片、P切片或B切片。运动估计单元122和运动补偿单元124可取决于PU是否处于I切片、P切片或B切片中而对CU的PU执行不同操作。在I切片中，所有PU是经帧内预测。因此，如果PU在I切片中，那么运动估计单元122和运动补偿单元124不对PU执行帧间预测。

如果PU处于P切片中，那么含有PU的图片与称为“列表0”的参考图片列表相关联。列表0中的参考图片中的每一者含有可用于对其它图片进行帧间预测的样本。当运动估计单元122对于P切片中的PU执行运动估计操作时，运动估计单元122可搜索列表0中的参考图片以用于PU的参考块。PU的参考块可为最紧密对应于PU的视频块中的样本的样本集合，例如，样本块。运动估计单元122可使用多种度量来确定参考图片中的样本集合对应于PU的视频块中的样本的紧密程度。例如，运动估计单元122可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定参考图片中的样本集合对应于PU的视频块中的样本的接近程度。

在识别出P切片中的PU的参考块之后，运动估计单元122可产生指示列表0中含有参考块的参考图片的参考索引及指示PU与参考块之间的空间位移的运动向量。在各种实例中，运动估计单元122可以不同精确度产生运动向量。举例来说，运动估计单元122可以四分之一样本精度、八分之一样本精度或其它分数样本精度产生运动向量。在分数样本精确度的状况下，参考块值可从整数位置样本值内插在参考图片中。运动估计单元122可将参考索引及运动向量作为PU的运动信息而输出。运动补偿单元124可基于由PU的运动信息识别的参考块而产生PU的经预测视频块。

如果PU在B切片中，那么含有PU的图片可与称为“列表0”及“列表1”的两个参考图片列表相关联。在一些实例中，含有B切片的图片可与为列表0与列表1的组合的列表组合相关联。

此外，如果PU在B切片中，则运动估计单元122可对PU执行单向预测或双向预测。当运动估计单元122对PU执行单向预测时，运动估计单元122可搜索列表0或列表1的参考图片以找到所述PU的参考块。运动估计单元122可随后产生指示列表0或列表1中的含有参考块的参考图片的参考索引和指示PU与参考块之间的空间位移的运动向量。运动估计单元122可输出参考索引、预测方向指示符和运动向量作为所述PU的运动信息。预测方向指示符可指示参考索引指示列表0还是列表1中的参考图片。运动补偿单元124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。

当运动估计单元122对PU执行双向预测时，运动估计单元122可搜索列表0中的参考图片以找到所述PU的参考块，且还可搜索列表1中的参考图片以找到所述PU的另一参考块。运动估计单元122可随后产生指示列表0和列表1中的含有参考块的参考图片的参考索引和指示参考块与PU之间的空间位移的运动向量。运动估计单元122可输出PU的参考索引和运动向量作为PU的运动信息。运动补偿单元124可基于由PU的运动信息指示的参考块而产生PU的经预测视频块。

在一些情况下，运动估计单元122不将PU的运动信息的完整集合输出到熵编码单元116。实际上，运动估计单元122可参考另一PU的运动信息而传信PU的运动信息。举例来说，运动估计单元122可确定PU的运动信息足够类似于相邻PU的运动信息。在此实例中，运动估计单元122可在与PU相关联的语法结构中指示一值，所述值向视频解码器30指示PU具有与相邻PU相同的运动信息。在另一实例中，运动估计单元122可在与PU相关联的语法结构中识别相邻PU和运动向量差(MVD)。运动向量差指示PU的运动向量与所指示的相邻PU的运动向量之间的差。视频解码器30可使用所指示的相邻PU的运动向量和运动向量差来确定PU的运动向量。通过在传信第二PU的运动信息时参考第一PU的运动信息，视频编码器20可能能够使用较少位传信第二PU的运动信息。

作为对CU执行编码操作的一部分，帧内预测单元126可对CU的PU执行帧内预测。帧内预测可提供空间压缩。当帧内预测单元126对PU执行帧内预测时，帧内预测单元126可基于同一图片中的其它PU的经解码样本来产生用于PU的预测数据。PU的预测数据可包含经预测视频块和各种语法元素。帧内预测单元126可对I切片、P切片和B切片中的PU执行帧内预测。

为了对PU执行帧内预测，帧内预测单元126可使用多个帧内预测模式以产生用于PU的多个预测数据集合。当帧内预测单元126使用帧内预测模式来产生用于PU的预测数据的集合时，帧内预测单元126可在与帧内预测模式相关联的方向及/或梯度上跨PU的视频块从相邻PU的视频块扩展样本。假定对于PU、CU和树块采用从左到右、从上到下的编码次序，相邻PU可在所述PU的上方、右上方、左上方或左方。帧内预测单元126可取决于PU的大小而使用各种数目个帧内预测模式，例如33个定向帧内预测模式。

预测处理单元100可从由PU的运动补偿单元124产生的预测数据或由PU的帧内预测单元126产生的预测数据中选择用于PU的预测数据。在一些实例中，预测处理单元100基于预测数据集合的速率/失真量度来选择用于PU的预测数据。

如果预测处理单元100选择由帧内预测单元126产生的预测数据，那么预测处理单元100可传信用以产生PU的预测数据的帧内预测模式，例如所选择的帧内预测模式。预测处理单元100可以各种方式传信所选帧内预测模式。举例来说，所选帧内预测模式有可能与相邻PU的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，预测处理单元100可产生用以指示所选帧内预测模式与相邻PU的帧内预测模式相同的语法元素。

如上文所论述，视频编码器20可包含层间预测单元128。层间预测单元128经配置以使用可用于SHVC中的一或多个不同层(例如，基础层或参考层)来预测当前块(例如，EL中的当前块)。此预测可被称作层间预测。层间预测单元128利用预测方法来减少层间冗余，进而改进译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残余预测。层间帧内预测使用基础层中的协同定位块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。

在预测处理单元100选择用于CU的PU的预测数据之后，残余产生单元102可通过从CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块而产生用于CU的残余数据。CU的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来说，残余数据可包含对应于CU的PU的经预测视频块中的样本的亮度分量与CU的原始视频块中的样本的亮度分量之间的差的残余视频块。另外，CU的残余数据可包含对应于CU的PU的预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余视频块。

预测处理单元100可执行四叉树分割以将CU的残余视频块分割成子块。每一未划分残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小和位置可或可不基于与CU的PU相关联的视频块的大小和位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与残余视频块中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。

变换处理单元104可通过将一或多个变换应用到与TU相关联的残余视频块而产生用于CU的每一TU的一或多个变换系数块。变换系数块中的每一者可为变换系数的2D矩阵。变换处理单元104可将各种变换应用于与TU相关联的残余视频块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于与TU相关联的残余视频块。

在变换处理单元104产生与TU相关联的变换系数块之后，量化单元106可对所述变换系数块中的变换系数进行量化。量化单元106可基于与CU相关联的QP值而对与CU的TU相关联的变换系数块进行量化。

视频编码器20可以各种方式使QP值与CU相关联。举例来说，视频编码器20可对与CU相关联的树块执行速率-失真分析。在速率-失真分析中，视频编码器20可通过对树块执行多次编码操作而产生树块的多个经译码表示。当视频编码器20产生树块的不同经编码表示时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率和失真度量的树块的经译码表示中的CU相关联时，视频编码器20可传信所述给定QP值与CU相关联。

反量化单元108和反变换单元110可分别将反量化和反变换应用于变换系数块，以从变换系数块重构残余视频块。重构单元112可将经重构的残余视频块添加到来自由预测处理单元100产生的一或多个经预测视频块的对应样本，以产生与TU相关联的经重构视频块。通过以此方式重构CU的每一TU的视频块，视频编码器20可重构CU的视频块。

在重构单元112重构CU的视频块之后，滤波器单元113可执行解块操作以减少与CU相关联的视频块中的成块假象。在执行所述一或多个解块操作之后，滤波器单元113可将CU的经重构视频块存储在经解码图片缓冲器114中。运动估计单元122和运动补偿单元124可使用含有经重构视频块的参考图片来对后续图片的PU执行帧间预测。另外，帧内预测单元126可使用经解码图片缓冲器114中的经重构视频块对处于与CU相同图片中的其它PU执行帧内预测。

熵编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元116可从量化单元106接收变换系数块且可从预测处理单元100接收语法元素。当熵编码单元116接收到数据时，熵编码单元116可以执行一或多个熵编码操作以产生经熵编码数据。举例来说，视频编码器20可对所述数据执行CAVLC操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码，或另一类型的熵编码操作。熵编码单元116可输出包含经熵编码数据的位流。

作为对数据执行熵编码操作的一部分，熵编码单元116可选择上下文模型。如果熵编码单元116正执行CABAC操作，则上下文模型可指示特定二进制数具有特定值的概率估计。在CABAC的情况下，术语“二进制数”用以指语法元素的二进制化版本的位。

视频解码器

图3为说明可实施本发明中所描述的方面的技术的视频解码器30的实例的框图。视频解码器30可经配置以处理视频帧的单层(例如，针对HEVC)。此外，视频解码器30可经配置以执行本发明的技术中的任一者或全部。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件间共享。在一些实例中，另外或替代地，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。

出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。图3中所描绘的实例是针对单层编解码器。然而，在某些实施方案中，视频解码器30中的一些或全部可经复制以用于处理多层编解码器。

在图3的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包含熵解码单元150、预测处理单元152、反量化单元154、反变换单元156、重构单元158、滤波器单元159和经解码图片缓冲器160。预测处理单元152包含运动补偿单元162、帧内预测单元164和层间预测单元166。在一些实例中，视频解码器30可执行一般与关于图2的视频编码器20所描述的编码遍次互逆的解码遍次。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。

视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行剖析操作。对位流执行剖析操作的结果是，熵解码单元150可从所述位流提取语法元素。作为执行剖析操作的部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换单元156、重构单元158和滤波器单元159可执行重构操作，所述重构操作基于从位流提取的语法元素产生经解码视频数据。

如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从序列参数集NAL单元提取并且熵解码序列参数集、从图片参数集NAL单元提取并且熵解码图片参数集、从SEI NAL单元提取并且熵解码SEI数据，等等。

另外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的一部分，熵解码单元150可执行剖析操作，所述剖析操作从经译码切片NAL单元提取经译码切片且对所述经译码切片进行熵解码。经译码切片中的每一者可包含切片标头及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作(例如，CABAC解码操作)，以恢复切片标头。

作为从经译码切片NAL单元提取切片数据的部分，熵解码单元150可执行从切片数据中的经译码CU提取语法元素的剖析操作。所提取的语法元素可包含与变换系数块相关联的语法元素。熵解码单元150可接着对所述语法元素中的一些执行CABAC解码操作。

在熵解码单元150对未经分割的CU执行剖析操作之后，视频解码器30可对未经分割的CU执行重构操作。为了对未分割CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构与CU相关联的残余视频块。

作为对TU执行重构操作的一部分，反量化单元154可对与TU相关联的变换系数块进行反量化(例如，解量化)。反量化单元154可以类似于针对HEVC所提议或由H.264解码标准定义的反量化过程的方式对变换系数块进行反量化。反量化单元154可使用由视频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定反量化单元154应用的反量化的程度。

在反量化单元154对变换系数块进行反量化之后，反变换单元156可产生用于与变换系数块相关联的TU的残余视频块。反变换单元156可将反变换应用到变换系数块以便产生所述TU的残余视频块。举例来说，反变换单元156可将反DCT、反整数变换、反卡忽南-拉维(Karhunen-Loeve)变换(KLT)、反旋转变换、反定向变换或另一反变换应用于变换系数块。在一些实例中，反变换单元156可基于来自视频编码器20的传信而确定待应用于变换系数块的反变换。在这些实例中，反变换单元156可基于在与变换系数块相关联的树块的四叉树的根节点处的经传信变换而确定反变换。在其它实例中，反变换单元156可从例如块大小、译码模式或类似者等一或多个译码特性推断反变换。在一些实例中，反变换单元156可应用级联的反变换。

在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而优化PU的经预测视频块。待用于具有子样本精确度的运动补偿的内插滤波器的标识符可包含在语法元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据接收到的语法信息确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生经预测视频块。

如果是使用帧内预测对PU进行编码，那么帧内预测单元164可执行帧内预测以产生PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU的帧内预测模式。位流可包含帧内预测单元164可用以确定PU的帧内预测模式的语法元素。

在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式来确定当前PU的帧内预测模式。举例来说，当前PU的帧内预测模式与相邻PU的帧内预测模式相同是有可能的。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU的帧内预测模式相同。帧内预测单元164可接着使用帧内预测模式基于空间相邻PU的视频块而产生PU的预测数据(例如，经预测样本)。

如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经配置以使用在SHVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，增强层中的当前块)。此预测可被称为层间预测。层间预测单元166利用预测方法以减少层间冗余，由此改进译码效率且减少计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测和层间残余预测。层间帧内预测使用基础层中的协同定位块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。以下更详细地论述层间预测方案中的每一者。

重构单元158可使用与CU的TU相关联的残余视频块和CU的PU的经预测视频块(例如，帧内预测数据或帧间预测数据，如果适用)来重构CU的视频块。因此，视频解码器30可基于位流中的语法元素而产生经预测视频块及残余视频块，且可基于经预测视频块及残余视频块而产生视频块。

在重构单元158重构CU的视频块之后，滤波器单元159可执行解块操作以减少与CU相关联的成块假象。在滤波器单元159执行解块操作以减少与CU相关联的成块假象之后，视频解码器30可将CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器160可提供参考图片以用于后续运动补偿、帧内预测且在例如图1A或1B的显示装置32等的显示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它CU的PU执行帧内预测或帧间预测操作。

调色板译码模式

与主要移除不同译码单元之间的冗余的常规帧内和帧间预测相比，调色板译码以译码单元内的重复像素值/图案的冗余为目标。在调色板译码模式中，首先传信被称作将像素值映射到表索引(也被称为调色板索引)中的调色板的查找表。在一些实施方案中，调色板具有指定的最大大小(例如，32个像素值)。调色板包含由表示颜色分量(例如，RGB、YUV等)值的表索引编号的条目或可用作块样本的预测符或用作最终经重构块样本的强度。也就是说，在某些实施方案中，调色板索引可用于预测当前块中的对应像素的值，且在其它实施方案中，调色板索引可指示当前块中的对应像素的最终颜色分量。在一些实施方案中，使用三个行程模式，即‘左方复制模式’(或行程模式)、‘右方复制模式’及‘逃脱模式’(或像素模式)译码调色板块中的样本。

对于调色板块中在左方复制模式中经译码的位置，首先传信调色板索引，然后是“run_length”(或“palette_run”)(例如，M)。不需要针对调色板块中的当前位置和后续M位置传信额外信息，这是因为调色板块中的当前位置和后续M位置具有针对当前位置经传信的相同调色板索引。调色板索引(例如，i)由所有三个颜色分量共享，这意味着经重构像素值为(Y,U,V)＝(palette_Y[i],palette_U[i],palette_V[i])(假设颜色空间为YUV)。

对于调色板中在上方复制模式中经译码的位置，值“run_length”(或“copy_run”)(例如，N)经传信以指示对于调色板块中的后续N个位置(总计N+1个位置，包含当前位置)，调色板索引等于调色板块中的正上方位置的调色板索引。

对于调色板块中在逃脱模式(或像素模式)中经译码的位置，传信对应于调色板块中的当前位置的像素值。可使用逃脱标记(例如，标记值1指示以逃脱模式译码当前位置)或调色板索引(例如，不对应于调色板条目中的任一者的索引值或大于或等于调色板大小的索引值)来传信逃脱模式。

调色板条目包含各自映射到表索引的一或多个像素值。举例来说，如果给定译码单元包含三个独特像素值(例如，红、绿和蓝)，那么调色板条目可包含三个条目，(0，红)、(1，绿)和(2，蓝)。palette_index_map包含使用调色板条目译码的一或多个调色板块，其中调色板表索引(例如，上文实例中的0、1和2)用于指示调色板块中的像素值。

图4说明输入CU 410、索引块420、逃脱像素430和调色板440的实例配置。如图4中所展示，输入CU 410含有三个独特像素值：白色、灰色和黑色(出于说明目的)。基于白色和灰色的频率，仅白色和灰色像素值包含于调色板440中，其中索引值0与白色像素值相关联且索引值1与灰色像素值相关联。将未包含在调色板中的黑色像素值标记为逃脱像素430，其独立于调色板经译码。如图4中所展示，索引块420包含块中的每一位置的索引值。如以逃脱模式译码索引块420中的两个位置(例如，无需参考调色板索引0或1)。尽管在图4的实例中使用仅单一逃脱像素和仅两个调色板条目，但本申请案的实施例并不因此受限，且可使用任何数目个逃脱像素和调色板条目。在一些实施例中，调色板大小限于32个条目，且不与32个条目中的一者相关联的任何像素值成为逃脱像素。可将最大调色板大小设定成任何数字。此外，CU大小不限于8个像素乘8个像素，且可为16×16或任何其它大小。

前一复制模式的移除冗余

如上文所论述，在调色板模式中，调色板包含由表示可被用作块样本的预测符或用作最终经重构块样本的颜色分量值的索引所编号的条目。调色板中的每一条目可含有一个颜色分量(例如，亮度值)或两个分量(例如，两个色度值)或三个颜色分量(例如，RGB、YUV等)。

先前经解码调色板条目可存储在列表中。此列表可用于预测当前调色板模式CU中的调色板条目。可使用三个行程模式，例如‘左方复制’、‘上方复制’及‘逃脱’或其等效者来译码调色板块中的样本。

在本发明的一个方面中，希望改进以调色板模式预测或译码区块的以下方面。

可实施技术以扩展上方复制模式。除了从相邻上方邻近者复制以外，此技术允许从非相邻上方邻近者开始复制。在此‘前一复制’行程模式中，可将行数目y译码到位流中。

在相关方面中，可使用经截断二进制码或类似者。因为行索引y经限制小于当前行索引x减1，(即，x-1)，所以等于x-2的候选值y的最大数目可用作输入。

当扫描次序中的当前位置的前一像素传信为前一复制模式的末端时，则当前像素的起始行y与前一像素的起始行y′不相同，这是因为先前的前一复制行程已经以其它方式逐一扩展以包含当前像素。因此，当前一像素使用前一复制模式且又使用前一复制模式译码当前像素时，则y的动态范围可减少一。

图5A为说明根据本发明中所描述的方面的上方复制的实例的框图。图5B为说明根据本发明中所描述的方面的前一复制的实例的框图。在图5A和5B的每一者中，以灰色说明当前行且以黑色说明正被复制的上一行或前一行。在图5A的实施方案中，在上方复制模式中复制上方相邻行。在图5B的前一复制模式中，将前一行y复制到当前行x。

为了用针对调色板模式的现有技术来解决上述问题，本发明在下文描述改进。应注意可独立地或以任何组合的形式应用下文所描述的技术和方法。

根据本发明的一或多个方面，提供在译码前一行y时移除冗余的技术。本发明描述用于直接译码前一行y的索引的技术。然而，应注意在译码索引x和y之间的距离(即，译码(x-y-2)而非索引y)时，可应用相同或类似技术。

当在前一复制模式中译码时在位流中可产生多个冗余。举例来说，如果当前像素列中的A(其中A>＝0)逃脱像素具有小于x-1的行索引，则可产生第一类型的冗余。在这种情况下，y的动态范围可减少A，这是因为前一复制模式不能从逃脱像素开始。

如果当前像素的上方相邻邻近者不是逃脱像素且假设其索引值为I，则可产生第二类型的冗余。如果具有小于x-1的行索引的当前像素列中的B(其中B>＝0)像素具有等于I的索引值，则可产生第二类型的冗余。在这种情况下，y的动态范围可减少B。这是因为，根据最新前一复制模式，可存在如果当前像素的索引与其上方相邻邻近者相同，那么编码器不能选择前一复制模式的限制。

在译码当前像素的左方复制模式的索引值时可存在第三类型的冗余，如果扫描次序中的当前像素的左方邻近者为前一复制行程的末端，那么可假设此前一复制从上方d行复制。如果当前像素上方d行的像素不是逃脱像素，那么当前像素的索引不等于当前像素的索引上方d行的像素。因此，当前索引的动态范围可减少1。如果当前像素上方d行的像素在CU边界的外面，那么所述像素的对应值或索引可设定成等于预定义值k。在一个实施例中，k＝0。

此外，针对以‘前一复制’模式对处于第一行或第二行的y的译码，复制的起始点不可为当前像素的上方邻近者。换句话说，(y>＝x-2)。如果(x<2)，那么不可能选择‘前一复制’模式。因此，在某些实施方案中，提出处理此边界条件的另一方法。当(x<2)时，如果使用‘前一复制’模式，那么暗含地假设行(x-2)用作复制的起始点。在这种情况下，可略过对y的译码且假定对于行(x-2)中的每一像素，其索引值为预定义的常数‘k’。在一个配置中，k＝0。

上文所描述的三个移除冗余的方法和译码处于第一行或第二行的y的方法可同时启用，或译码装置仅可使用它们中的一个或两个或三个以降低编解码器的复杂度。在一些实施例中，可使用指定条件以指示或推断哪个用于CU或CU的部分(例如，用于特定像素)。在一些实施例中，可使用一或多个语法元素以指示使用哪个用于CU或CU的部分(例如，用于特定像素)。在一些实施例中，可使用参考和语法元素的组合以指示将使用哪个。

图6为说明根据本发明中描述的方面的在调色板模式中移除冗余的实例的框图。在图6中，以灰色展示不可经译码的像素，白色的像素表示第一调色板值，交叉影线的像素表示第二调色板值，标记为O的像素表示当前像素，且标记为X的像素表示以‘逃脱模式’译码的像素。此外，图6包含像素块610和突出显示当前像素O上方列中的像素的形状620。

现将结合图6描述移除冗余的实例。在不采用上方冗余的情况下，图6中的索引y的动态范围为4，即，y的最大候选值数目为4。

根据移除第一类型的冗余，y不可等于2，其中呈现逃脱像素。因此，在移除第一类型的冗余之后，y的动态范围可减少到3(例如，候选行可为0、l和3)。

根据移除第二类型的冗余，y不可等于3，这是因为行3中的像素具有与形状620内的行4中的像素相同的索引。因此，y的动态范围可进一步减少到2(例如，候选行可为0和1)。

在图6的实例中，在不采用第一和第二类型的冗余移除情况下，需要两个位以译码y的位置。通过采用第一和第二类型的冗余移除，仅需要一个位来译码y的位置。

用于针对调色板模式移除冗余的实例流程图

参看图7，将描述用于在调色板模式中移除冗余以用于译码视频数据的实例过程。图7是说明根据本发明的各方面的用于在调色板模式中译码视频数据的方法700的流程图。可通过视频编码器(例如，视频编码器20)、视频解码器(例如，视频解码器30)或其组件执行图7中所说明的步骤。为方便起见，将方法700描述为由视频译码器(还简称为译码器)执行，所述视频译码器可为视频编码器20、视频解码器30或另一组件。

方法700开始于框701。在框705处，译码器在前一复制模式中通过译码前一行索引对当前视频数据块的当前像素进行译码。前一行索引指示包含位于当前块中的当前像素上方的像素的行的索引。在框710处，译码器在前一复制模式中通过识别前一行索引的候选值数目对当前块的当前像素进行译码。

在框715处，译码器在前一复制模式中通过识别当前块中的当前像素上方的像素列中的逃脱像素数目对当前像素继续译码。在框720处，译码器在前一复制模式中通过使前一行索引的候选值的数目减去经识别的逃脱像素的数目来对当前像素继续译码。方法700在框725处结束。

在方法700中，可移除(例如，不执行)图7中展示的框中的一或多者及/或可交换执行方法的次序。在一些实施例中，可将额外框添加到方法700。本发明的实施例不限于图7中展示的实例或不受到图7中展示的实例限制，且可根据本发明实施其它变化。

从当前块外部的上方复制

如先前描述，在调色板模式的当前实施方案中，可用行程模式、复制模式或逃脱模式译码当前块的每一像素，当仅行程模式或逃脱模式是可能的时，不能译码块的第一行。语法元素palette_run_type_flag可指示是使用行程模式还是复制模式。在行程模式中，调色板索引palette_index可与行程值palette_run一起传信。行程值指示将具有相同调色板索引的像素的数目。在复制模式中，仅传信行程值指示针对像素的数目从位于当前像素正上方的所述像素复制调色板索引。在专用调色板索引用于指示此模式的情况下，可在行程模式内译码逃脱模式。在当前调色板版本中，此索引等于调色板大小。在逃脱模式中，不译码行程值，这是因为在颜色值明确地传信为palette_escape_val的情况下，将所述模式应用到单个像素三元组(Y、U和V)。对于块的第一行不启用复制模式，这是因为不存在属于同一块的上方像素。

标记palette_escape_val_present_flag可在每一块传信以指示逃脱像素的利用率。此标记等于1指示在经调色板译码块中存在至少一个逃脱像素，且标记等于0指示在经调色板译码块中不存在至少一个逃脱像素。

在某些实施方案中，调色板大小限制在0与可等于31的max_palette_size的范围内。

为用调色板模式译码区块，可从先前经调色板译码块的调色板条目预测调色板，所述调色板可明确地传信为新的条目或可完全再使用先前经译码区块的调色板。完全再使用先前经译码块的调色板的情况称作调色板共享且可传信标记palette_share_flag以指示在无修改的情况下再使用前一块的整个调色板。

在调色板模式中，块中的像素扫描可为两种类型中的一种：垂直移动或水平移动(例如，蛇状)扫描。可根据每一块传信的标记palette_transpose_flag导出在块中使用的扫描模式。

在调色板索引译码期间，可应用调色板索引调节方法。从块中的第二像素开始，调色板包含包括检查扫描次序中的前一像素的调色板模式的调节方法。首先，最大调色板索引大小减少1。在扫描次序中的前一像素的调色板模式等于行程模式时，如果所述索引大于或等于扫描次序中前一像素的调色板索引，那么待译码的调色板索引减少1。类似地，在扫描次序中的前一像素的调色板模式等于复制模式时，如果所述索引大于上方调色板索引，那么待译码的调色板索引减少1。从编码侧提供此描述，且可以逆转次序同样在解码器侧执行相应的过程。

在JCTVC-S0114中，提出针对块的第一行启用上方复制模式。在这种情况下，可将相邻块的(即，根据扫描次序与左方或上方邻近的区块)经重构像素值映射到当前块调色板索引且在启用复制模式时针对第一行中的所述像素指配或复制那些索引。此方法的缺陷为映射过程可能不是单一的且同样在解码器侧可需要所述过程。如本文所使用，术语“复制相邻像素”一般是指可在上方复制模式中使用的当前块外部的相邻像素。

在SCM-3.0中，采用以下语法优化：

当调色板大小为0时，可推断在逃脱模式中译码所有像素且不传信逃脱存在标记、调色板模式、调色板索引、调色板行程，及调色板换位标记。此外，推断逃脱存在标记等于1，推断调色板模式等于索引模式(INDEX mode)，将调色板索引设定成等于逃脱(ESCAPE)，调色板行程值设定成等于块大小减1，且调色板换位标记设定为0。

当调色板大小为1且无逃脱像素用于块中时，那么不传信调色板模式、调色板行程或调色板换位标记，且推断调色板模式等于索引模式，调色板索引设定为0，调色板行程值设定成等于块大小减1，且调色板换位标记设定为0。

以下描述详述了在假设水平朝向的扫描次序针对块中的第一行启用上方复制模式的情况，然而在使用垂直朝向扫描时可应用类似方法以启用上方复制模式，其中从左方相邻像素列复制实际像素。此情况仍可被称为具有换位的上方复制模式。

对用于复制相邻像素的上方复制模式的修改

在一些实施例中，视频译码系统(例如，编码器或解码器)可包含对第一行启用调色板索引调节的能力，这是因为位于相邻块的第一行上方的行在映射过程之后具有调色板索引。

图8为说明根据本发明中所描述的方面的外部复制的实例的框图。图8包含前一块805和当前块。图8中的灰色像素指示在前一复制模式中译码的像素且黑色像素指示经重构值或调色板索引等从其所复制的相邻像素。图8的说明类似于图5A的说明，除了所述相邻像素不在当前块810中而实际上位于前一块或相邻块805中。

在一些实施例中，可限制视频译码系统以不使用将所述相邻像素值(颜色三元组)映射到当前块的调色板索引。直接从相邻块的上方像素复制经重构颜色值，而不是像素到调色板索引的转换。在这种情况下，可指配一些可标示为copy_index的人工调色板索引以指示此类像素。以下是在能够对当前块外部的像素进行复制时编码器编码当前调色板模式的各种实例的可能方式：

在第一选择方案中，在先前译码像素使用复制模式且上方像素为copy_index时禁用调色板索引调节。在这种情况下copy_index不是真实的调色板索引且不在调色板索引译码中产生冗余。在解码器处，对于标记有copy_index的像素，同一列中的相邻像素可用于重构当前像素。

在第二选择方案中，copy_index可包含在调色板索引中。在这种情况下指配某一调色板索引。举例来说，copy_index可等于palette_size且逃脱索引可等于(palette_size+1)。在这种情况下还可针对copy_index传信行程模式且行程值可指示从上方相邻块像素复制的像素数目。此特定行程模式类似于复制模式，其中上方参考像素位于相邻块中，唯一的区别为其是由行程模式指示具有某一索引(copy_index)。在这种情况下，可应用调色板索引调节过程。

在第三选择方案中，可应用复制相邻像素直到行程模式或逃脱模式中断了复制相邻像素模式。举例来说，相邻像素的复制模式可用于具有某一行程值的区块中的第一像素，在此模式中的最后一个像素之后，在此块中禁用且不能使用或传信复制相邻像素。在这种情况下，在那些像素针对随后像素之复制模式或调色板索引调节过程用作参考像素时，针对所述像素指配的copy_index可被有效调色板索引(例如0)取代。

在第四选择方案中，在块外部的复制相邻像素可传信为额外调色板模式。举例来说，除当前现有行程模式和复制模式以外，将第三模式(外部复制)加入到可用的调色板模式列表中。此外，传信方法又被扩展以指示经扩展的调色板模式列表。举例来说，码字“0”可用于指示行程模式；“10”可用于指示上方复制模式；且“11”可用于指示外部复制模式。在下文中，术语“外部复制模式”将用于描述使用复制相邻像素的上方复制模式，不管所述模式是否独立地传信或与上方复制模式成一体。且所述索引可被设计成指示像素是否从当前块上方的像素复制，类似于上文所提到的第二选择方案。在先前经译码像素为copy_index时可启用索引调节。或者，向像素指配人工索引，且在相邻像素为copy_index时禁用索引调节。

可将所有上文所描述的实例单独地或以任何适合组合的形式应用于视频编解码器的特定实施例中。

相邻像素的可用性

在一些情况下，相邻块的经重构像素可能不可用或可能被处理为不可用。在相邻块属于另一切片或图块时可发生此情况。在另一情况中，在启用限制帧内预测(CIP)且相邻块的经重构像素来自经帧间译码块时，认为此类像素不可用于帧内预测的目的，且可应用填补过程以填充来自经帧内译码块的像素的不可用像素。在启用CIP时，这些填充像素可用以启用用于调色板译码的外部复制模式。CIP可大体上指代相邻块在帧内预测过程中使用的局限性。举例来说，CIP标记可指示用帧间模式译码的相邻像素不能用作帧内预测符。

在一些实例中，调色板模式可被认为是帧内预测工具，且应遵循帧内预测行为。举例来说，如果相邻像素属于另一切片、图块或经帧间预测块，在启用CIP时，可禁用复制相邻像素且视情况不需要在第一行中传信调色板模式。

替代地，可以类似方式导出经重构像素，如针对帧内预测的参考像素所完成，例如填补可适用于CIP模式。换句话说，帧内参考像素可用于外部复制模式中。此外，相邻参考像素可在其应用于调色板译码之前被滤除。

在一些额外实施例中，可用性检查和处置可应用于在调色板模式中使用相邻块像素的任何方法，所述调色板模式例如具有或不具有调色板索引映射的外部复制模式及类似模式。

在一些实例中，有可能位于上方相邻块中的上方行的仅一部分像素为可用的。举例来说，在仅像素的子集可经帧间译码且启用CIP时，仅像素的子集可能为可用的。在这种情况下，外部复制模式可针对全部行禁用，或仅可针对可用相邻像素启用，或可针对整个行启用，但默认调色板索引(例如0)可用于不可用的相邻像素。

可根据切片类型进行可用性检查，例如在相邻块属于同一切片或图块时，可始终认为其可供I切片使用(即，其中不存在时间预测)。此外，根据CIP标记，可始终认为同一切片或图块的相邻块在CIP标记经启用时不可用于非I切片。

如上文所述，在相邻像素不可用时可使用默认的调色板索引。可应用相同的想法，经必要修改之后(即，已作出必须的改变)，在未使用相邻像素但相邻像素仍可用时，在默认调色板索引或复制相邻像素之间切换，在相邻块为可用时，可通过标记和标记设定指示使用率(或模式)，例如，可通过应用程序或用户控制使用率。可在位流中传信标记，如相对于以下指示外部复制模式的使用率的标记的公开内容所论述的实例。

将相邻像素映射到调色板索引

如上文所述，可将经重构相邻像素映射到当前块的调色板索引。在一个实施方案中，可选择与经重构像素具有最小偏差的最接近调色板颜色作为映射调色板索引。举例来说，可选择给出关于经重构值与调色板颜色之间的每一颜色分量所计算的最小绝对误差的调色板条目。

此方法将所有相邻像素转化成调色板索引，但是，此方法中的误差可非常大，这是因为不存在接近经重构相邻像素的调色板颜色。因此，在一些实施方案中，可存在对于此误差的限制，且所述限制对于编码器和解码器两者而言可为固定的且已知的或以至少一个参数集(例如VPS、PPS、SPS、切片标头、译码单元(CU)或译码树单元(CTU)层级标记或其它)在位流中传信。当启用无损译码模式时，误差可规范地设定为0且可不需要传信。

当误差大于限制时，可将相邻像素映射到逃脱像素，且可稍后用于当前块中的上方复制模式。举例来说，当逃脱像素位于第一行时，则其上方像素为映射到逃脱像素的相邻像素。

相邻像素和调色板预测符

可将用于第一行的上方复制中所使用的相邻像素添加到调色板预测符，即，可将每一经重构颜色值添加到调色板预测符作为新的条目。可有条件地(例如在调色板预测符不完整时)完成此添加，可在调色板预测符内的任何位置处(例如在调色板预测符的开始处)；在当前块调色板条目之后且在当前块预测中的先前未使用调色板条目之前；在调色板预测符的末端或类似的或任何组合添加这些条目。

指示复制相邻像素的使用率的标记

因为复制相邻像素对用于调色板模式的相邻块新增了一些额外依赖性，所以在一些应用中可能需要不使用外部复制模式中的相邻像素。在这种情况下，标记或语法元素或指示符可以至少一个参数集或参数集扩展(例如VPS、SPS、PPS、切片标头、CU层级、CTU层级或其它)传信以指示用于第一行的上方复制模式的所述上方相邻像素正处于使用中。举例来说，标记等于1可意味使用所述复制相邻像素。

视需要，相同标记(可能(例如)被标示为copy_enable_flag)可大体控制启用外部复制模式，其可通过使用默认调色板索引，或复制相邻像素值或将相邻像素映射到调色板索引，或其它方法来实现。

在另一个实例中，(例如)在PPS扩展中传信copy_enable_flag可取决于CIP标记。因为在启用CIP时复制相邻像素值或经映射索引的解决方案之一(如更早论述)可为禁用外部复制模式且实际上可使用默认调色板索引，所以可仅在禁用CIP标记(例如等于0)时且不存在推断copy_enable_flag等于0(或被启用)的情况下传信指示外部复制模式的使用率的copy_enable_flag。

在又一替代方案中，可根据切片类型应用与外部复制模式相关的CIP限定。举例来说，在情况下，copy_enable_flag可控制针对非I切片或其中帧间预测为可用的切片的外部复制模式的使用率，可能不包括块内复制模式(在一些实施方案中，可经由帧间预测模式实现块内复制模式)。在与CIP连接时，copy_enable_flag可无条件地从CIP标记传信且在启用CIP标记时copy_enable_flag根据切片类型控制外部复制模式或经映射索引。举例来说，copy_enable_flag控制启用I切片或其中帧内预测和块内复制预测为可用的切片中的外部复制模式(即，可启用或禁用外部复制模式)或经映射索引，且针对非I切片或其中帧间预测为可用的切片禁用外部复制模式，可能不包括块内复制模式。基于切片的方法的优点可为每一切片可仅导出条件一次且不需要取决于相邻块的预测模式。

如果传信超过一个标记或语法元素，(例如)参数集或参数集扩展(例如PPS扩展或切片标头)中的第一个标记和第二标记在CU层级传信，那么CU层级标记可仅在启用PPS或切片标头标记(等于1)时才传信，否则CU层级标记并未经传信且推断为禁用(即，等于0)。

如果禁用标记意指不使用外部复制模式，那么不需要针对块的第一行传信调色板模式且导出调色板模式等于所述行中的索引模式。

在另一个实例中，可传信可能与copy_enable_flag相同的标记以指示在启用上方复制模式时是针对块中的第一行应用复制相邻像素(值或经映射索引)还是使用默认调色板索引。此标记还可控制两种模式所需要的改变。举例来说，可针对复制相邻像素禁用如更早论述的调色板索引调节，但在使用默认调色板索引时可使用调色板索引调节，因此可通过标记控制索引调节的使用率。此外，以类似方式，可通过相同标记控制可应用于(例如)与语法优化相关的实例中所论述的外部复制模式的额外语法优化。

标记可被略过或经熵内容译码(例如，经由CABAC程序)。内容可为信号内容或根据块大小、调色板大小、调色板预测符大小、调色板扫描次序、调色板共享模式及逃脱像素使用率及类似者导出内容。

用于从上方相邻模式复制的语法优化

如先前所论述，可完成用于调色板大小等于0和1的语法优化以避免冗余传信。但是，如果外部复制模式在使用中，那么此优化可能不是有效的。

举例来说，假设从相邻像素复制经重构值，如果调色板大小为0，此先前意味着仅逃脱像素存在于块中且仅逃脱值(颜色三元组)被传信。但是，在启用上方相邻模式的复制时，调色板大小可仍为零，然而调色板模式可为copy_above或索引，因此不能假设仅使用逃脱像素。在这种情况下，必须传信逃脱存在标记、调色板模式、调色板行程值。针对调色板大小等于1可作出类似观察。

根据一些实施方案，当使用外部复制模式时，编码器/解码器可经配置以使用包含下文所提及特征中的一或多者的经修改之语法。可独立地或以任何合适组合形式应用这些语法特征：

语法特征1-可始终传信调色板换位标记。

语法特征2-可始终传信逃脱存在标记。

语法特征3-如果调色板大小为0且逃脱存在标记为0，意指块中不存在逃脱像素，那么所有所述像素皆从相邻块复制。在这种情况下，不需要传信调色板模式、调色板索引及调色板行程值，且可推断调色板模式等于上方复制模式。此外，可导出待译码的调色板行程值等于块中像素的总数目减1。如果调色板大小为0且逃脱存在标记等于1，那么调色板模式和调色板行程值被传信，但仍不需要调色板索引，且在调色板模式等于索引模式时可导出调色板索引等于逃脱索引。

语法特征4-如果调色板大小为1，那么可传信调色板模式和调色板行程值。此外，如果逃脱存在标记为0，那么仅一个索引是可能的。在这种情况下，不需要传信调色板索引且可导出其等于0。如果逃脱存在标记等于1，那么可传信调色板索引。

取代对如上所述的语法优化作出任何修改，可应用位流一致性要求，即，编码器将不选择且传信可打破语法优化规则之一的调色板语法元素。如果违反所述规则之一，那么将此位流视为与标准不一致。作为一实例，可限制位流以使得在调色板大小为0时，可不在所述区块内选择从上方相邻模式(值或索引)的复制。

针对调色板模式参考相邻像素的实例流程图

参看图9，将描述在调色板模式中参考相邻像素以用于译码视频数据的实例程序。图9是说明根据本发明的各方面的用于在调色板模式中译码视频数据的方法900的流程图。可由视频编码器(例如，视频编码器20)、视频解码器(例如，视频解码器30)或其组件执行图9中所说明的步骤。为方便起见，将方法900描述为由视频译码器(还简称为译码器)执行，所述视频译码器可为视频编码器20、视频解码器30或另一组件。

方法900开始于框901。在框905处，译码器确定位于相邻块中的相邻像素是否是可用的。在框910处，响应于相邻像素为可用的，译码器在上方复制模式中通过译码行程长度值对当前视频数据块的当前像素进行译码。当前像素以扫描次序处于当前块的第一行。所述方法在框915处结束。

在方法900中，可移除(例如，不执行)图9中展示的框中的一或多者及/或可交换执行方法的次序。在一些实施例中，可将额外框添加到方法900。本发明的实施例不限于图9中展示的实例或不受到图9中展示的实例限制，且可根据本发明实施其它变化。

其它考虑

可使用多种不同技术和技艺中的任一者来表示本文中所公开的信息及信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示贯穿以上描述可参考的数据、指令、命令、信息、信号、位元、符号和芯片。

结合本文中所公开的实施例所描述的各种说明性逻辑块及算法步骤可实施为电子硬件、计算机软件，或两者的组合。为清楚说明硬件与软件的此可互换性，上文已大体上关于其功能性而描述了各种说明性组件、块和步骤。此种功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以变化的方式实施所描述的功能性，但这些实施决策不应被解释为会致使偏离本发明的范围。

本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。这些技术可实施于多种装置中的任一者中，例如通用计算机、无线通信装置手持机或集成电路装置，其具有包括在无线通信装置手持机和其它装置中的应用的多种用途。被描述为装置或组件的任何特征可一起实施于集成逻辑装置中或分开实施为离散但可互操作的逻辑装置。如果在软件中实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包含在被执行时执行上文所描述的方法中的一或多者的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包括封装材料。计算机可读媒体可包括存储器或数据存储媒体，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体及类似物。另外或作为替代，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传送程序代码且可由计算机存取、读取和/或执行(例如，传播的信号或波)。

与计算机可读媒体(例如，存储器或其它数据存储装置)通信(例如，与其协作操作)的处理器可执行程序代码的指令，且可包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等。此处理器可经配置以执行本发明中描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP和微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器或任何其它这些配置。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者、上述结构的任何组合，或适用于实施本文中所描述的技术的任何其它结构或设备。此外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件或硬件内或并入组合的视频编码器-解码器(CODEC)中。又，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或IC集合(例如，芯片组)。本发明中描述各种组件或单元是为了强调经配置以执行所公开技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作硬件单元(包含如上文所描述的一或多个处理器)的集合来提供。

虽然已经结合各种不同实施例描述了前文，但可在不脱离本发明的教示的情况下将来自一个实施例的特征或元件与其它实施例组合。然而，相应实施例之间的特征的组合不必限于此。已经描述本发明的各种实施例。这些和其它实施例处于所附权利要求书的范围内。

Claims (30)

1.一种用于在调色板模式中移除冗余以用于译码视频数据的方法，所述方法包括：

在前一复制模式中通过译码前一行索引来译码所述视频数据的当前块的当前像素，所述前一行索引指示包含位于所述当前块中的所述当前像素上方的像素的行的索引，所述在前一复制模式中译码所述当前像素进一步包括：

识别用于所述前一行索引的候选值数目；

识别在所述当前块中的所述当前像素上方的像素列中的逃脱像素数目；及

使所述前一行索引的候选值的所述数目减少经识别逃脱像素的所述数目。

2.根据权利要求1所述的方法，其中所述在前一复制模式中译码所述当前像素进一步包括译码行程长度值，所述行程长度值指示待基于所述前一行索引译码的连续像素数。

3.根据权利要求1所述的方法，其中对所述前一行索引的所述译码包括译码所述前一行索引与当前行索引之间的距离。

4.根据权利要求1所述的方法，其中所述逃脱像素经明确地在位流中传信。

5.根据权利要求1所述的方法，其中所述在前一复制模式中译码所述当前像素进一步包括：

识别所述当前像素正上方的上方相邻像素是否为逃脱像素；

响应于所述上方相邻像素为逃脱像素，识别在所述当前像素上方的所述像素列中与所述上方相邻像素具有相同值的像素数目；及

使所述前一行索引的候选值的所述数目减少与所述上方相邻像素具有相同值的经识别像素的所述数目。

6.根据权利要求1所述的方法，其中所述在前一复制模式中译码所述当前像素进一步包括：

识别在扫描次序中的左边相邻像素是否为前一复制模式行程的末端；

响应于所述左边相邻像素为前一复制模式行程的末端，识别左边前一行索引；及

使所述前一行索引的候选值的所述数目减一。

7.根据权利要求6所述的方法，其进一步包括响应于所述左边前一行索引在所述当前块的外面，译码等于预定值的所述当前像素的调色板索引。

8.根据权利要求1所述的方法，其中所述当前像素在所述当前块的第一或第二行中，其中所述在前一复制模式中译码所述当前像素进一步包括：

略过所述译码所述前一行索引；及

译码等于预定值的调色板索引。

9.根据权利要求1所述的方法，其中凭借经截断二进制码对所述前一行索引进行译码。

10.一种用于对视频数据进行编码的装置，其包括：

存储器，其经配置以存储所述视频数据的至少一部分；及

至少一个处理器，其与所述存储器通信且经配置以：

在前一复制模式中通过译码前一行索引对所述视频数据的当前块的当前像素进行译码，所述前一行索引指示包含位于所述当前块中的所述当前像素上方的像素的行的索引；

识别用于所述前一行索引的候选值数目；

识别在所述当前块中的所述当前像素上方的像素列中的逃脱像素数目；及

使所述前一行索引的候选值的数目减少经识别逃脱像素的所述数目。

11.根据权利要求10所述的装置，其中所述处理器进一步经配置以译码行程长度值，所述行程长度值指示待基于所述前一行索引译码的连续像素数。

12.根据权利要求10所述的装置，其中处理器进一步经配置以译码所述前一行索引与当前行索引之间的距离。

13.根据权利要求10所述的装置，其中所述逃脱像素经明确地在位流中传信。

14.根据权利要求10所述的装置，其中所述处理器进一步经配置以：

识别所述当前像素正上方的上方相邻像素是否为逃脱像素；

响应于所述上方相邻像素为逃脱像素，识别在所述当前像素上方的所述像素列中与所述上方相邻像素具有相同值的像素数目；及

使所述前一行索引的候选值的所述数目减少与所述上方相邻像素具有相同值的经识别像素的所述数目。

15.根据权利要求10所述的装置，其中所述处理器进一步经配置以：

识别在扫描次序中的左边相邻像素是否为前一复制模式行程的末端；

响应于所述左边相邻像素为前一复制模式行程的末端，识别左边前一行索引；及

使所述前一行索引的候选值的所述数目减一。

16.一种用于在调色板模式中参考相邻像素以用于译码视频数据的方法，其包括：

确定位于相邻块中的相邻像素是否可用；及

响应于所述相邻像素可用，在上方复制模式中通过译码行程长度值对所述视频数据的当前块的当前像素进行译码，所述当前像素以扫描次序在所述当前块的第一行中。

17.根据权利要求16所述的方法，其中对所述相邻像素是否可用的所述确定包括：

确定所述相邻块是否在另一切片或图块中；或

确定：i)是否启用约束帧内预测CIP及ii)所述相邻像素是否经帧内预测。

18.根据权利要求16所述的方法，其进一步包括：

响应于所述相邻像素为不可用，用经填充像素填充所述相邻块；及

在上方复制模式中基于所述经填充像素来译码所述当前像素。

19.根据权利要求16所述的方法，其进一步包括：

将复制索引插入到所述调色板中，所述复制索引指示将经重构颜色从来自所述相邻块的相对应相邻像素直接复制到所述当前块的相对应像素中；及

通过将所述复制索引指配到所述当前像素而译码所述当前像素。

20.根据权利要求19所述的方法，其中所述复制索引等于所述调色板的大小，且其中逃脱索引等于所述调色板的大小加一。

21.根据权利要求16所述的方法，其中外部复制模式用于所述当前块中的连续像素的至多一个集合上。

22.根据权利要求16所述的方法，其进一步包括将所述相邻像素的经重构颜色值插入所述调色板中。

23.根据权利要求16所述的方法，其进一步包括对指示是否在所述当前块的所述上方复制模式中使用任何相邻像素的第一值进行译码。

24.根据权利要求23所述的方法，其进一步包括对指示是否启用从相邻像素上方复制的第二值进行译码，在所述图片参数集PPS或标头中对所述第二值进行译码，且在所述块层级处对所述第一值进行译码，其中当所述第二值指示不启用从相邻像素复制时防止译码所述第一值。

25.一种用于对视频数据进行编码的装置，其包括：

存储器，其经配置以存储所述视频数据的至少一部分；及

至少一个处理器，其与所述存储器通信且经配置以：

确定位于相邻块中的相邻像素是否可用；及

响应于所述相邻像素为可用，在上方复制模式中通过译码行程长度值对所述视频数据的当前块的当前像素进行译码，所述当前像素以扫描次序在所述当前块的第一行中。

26.根据权利要求25所述的装置，其中所述处理器进一步经配置以：

确定所述相邻块是否在另一切片或图块中；或

确定：i)是否启用约束帧内预测CLP及ii)所述相邻像素是否经帧内预测。

27.根据权利要求25所述的装置，其中所述处理器进一步经配置以：

响应于所述相邻像素为不可用，用经填充像素填充所述相邻块；及

在上方复制模式中基于所述经填充像素来译码所述当前像素。

28.根据权利要求25所述的装置，其中所述处理器进一步经配置以：

将复制索引插入到所述调色板中，所述复制索引指示将经重构颜色从来自所述相邻块的相对应相邻像素直接地复制到所述当前块的相对应像素中；及

通过将所述复制索引指配到所述当前像素而译码所述当前像素。

29.根据权利要求28所述的装置，其中所述复制索引等于所述调色板的大小，且其中逃脱索引等于所述调色板的大小加一。

30.根据权利要求25所述的装置，其中外部复制模式用于所述当前块中的连续像素的至多一个集合上。