CN105659606B

CN105659606B - 用于视频和图像编码和解码的方法、系统和介质

Info

Publication number: CN105659606B
Application number: CN201380080237.9A
Authority: CN
Inventors: B·李; F·吴; J·徐
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2013-10-14
Filing date: 2013-10-14
Publication date: 2019-06-18
Anticipated expiration: 2033-10-14
Also published as: US20200084472A1; EP3058740B1; EP3058740A4; US10506254B2; KR20160070771A; US20220132163A1; MX2016004707A; KR102318785B1; US10652576B2; JP2016541144A; US11252437B2; US20160277760A1; US12096024B2; CA2925183C; CA2925183A1; EP3720132A1; RU2666635C2; EP3058740A1; RU2016114272A; KR20210083403A

Abstract

在编码和/或解码期间基础颜色索引图(“BCIM”)模式的使用中的创新通过减少为支持BCIM模式所做的修改的数量简化了实现和/或改善了BCIM模式的编码效率。例如，一些创新涉及重用被适配用于变换系数的句法结构来代替信令BCIM模式中的索引图的元素。其它创新涉及BCIM模式中的索引值的映射或BCIM模式中的索引图的元素的预测。又一些其它创新涉及BCIM模式中的例外值的处理。

Description

用于视频和图像编码和解码的方法、系统和介质

背景

工程师使用压缩(也叫做源编码或源编码)来降低数字视频的比特率。压缩通过将视频信息转换成较低比特率的形式来降低存储和传送该信息的成本。解压(也被称为解码)从压缩的形式中重构一种版本的原始信息。“编解码器” 是编码器/解码器系统。

在过去的二十年中，已采用了各种视频编解码器标准，包括ITU-T H.261、 H.262(MPEG-2或ISO/IEC 13818-2)、H.263和H.264(MPEG-4 AVC或ISO/IEC 14496-10)标准、MPEG-1(ISO/IEC 11172-2)和MPEG-4视觉(ISO/IEC 14496-2) 标准以及SMPTE 421M标准。最近，HEVC标准(ITU-T H.265或ISO/IEC 23008-2)已被批准。当前，正在开发(例如，针对可缩放视频编码/解码、针对在样本比特深度或色度采样率方面具有较高保真度的视频的编码/解码、或针对多视图编码/解码的)HEVC标准的扩展。视频编解码器标准通常定义针对经编码的视频位流的句法的选项，从而详述当在编码和解码时使用特定特征时该位流中的参数。在许多情况下，视频编解码器标准还提供关于解码器应当执行以在解码时取得一致的结果的解码操作的细节。除了编解码器标准外，各种专用编解码器格式定义针对经编码的视频位流的句法的其他选项以及相应的解码操作。

在基础颜色索引图(“BCIM”)模式中，视频编码器使用表示基础颜色的索引值来编码样本值。索引值中的每一个与各样本值之中的一不同值(“基础颜色”)相关联。例如，如果8x8块在该块的64个样本值中具有4个不同的值，则编码器向那4个基础颜色分派4个不同的索引值。在编码期间，样本值被用对应的索引值取代。编码器编码并信令索引值到基础颜色的映射(“基础颜色表”)以及用于表示样本值的索引值的布置的数据(“索引图”)。解码器接收并解码索引值到基础颜色的映射。使用该映射，解码器用基础颜色取代索引图中的索引值来获得原始样本值。

BCIM模式在编码某些“人工”创建的视频内容(诸如屏幕捕捉内容)时可能是有帮助的。屏幕捕捉内容通常包括与自然视频相比使用很少的不同样本值的重复结构(例如，图形、文本字符)。这提供了BCIM改善性能的机会。

用于HEVC标准以及在HEVC标准的一些参考软件中的实现的BCIM模式的当前设置具有几个问题。例如，BCIM要求许多新句法元素和句法结构以用于基础颜色映射和索引图，这使实现变得复杂。而且，用于编码/解码基础颜色映射和索引图的方法使用不像在HEVC标准中已经包括的那些工具的工具，这同样使实现变得复杂。而且，基础颜色表和索引图的编码是低效的。

概述

概述而言，详细描述提出了基础颜色索引图(“BCIM”)模式中的创新。例如，一些创新涉及重用针对非BCIM模式中的变换系数以及针对BCIM模式中的索引图的元素的句法结构。这可减少为支持BCIM模式所做的修改的数量。其它创新涉及用于映射索引值或预测索引图的元素的策略，这可改善BCIM模式的编码效率。又一些其它创新涉及BCIM模式中的例外值的处理。

针对基础颜色索引图模式的创新可以被实现为方法的一部分、被适配成执行该方法的计算系统的一部分或存储用于使计算系统执行该方法的计算机可执行指令的有形计算机可读介质的一部分。各创新可以结合地或分开地使用。

参考附图阅读以下详细描述，将更清楚本发明的前述和其他目标、特征和优点。

附图简述

图1是其中可实现所描述的一些实施例的示例计算系统的示图。

图2a和2b是其中可实现所描述的一些实施例的示例网络环境的示图。

图3是结合其可实现所描述的一些实施例的示例编码器系统的示图。

图4是结合其可实现所描述的一些实施例的示例解码器系统的示图。

图5a和5b是示出结合其可实现所描述的一些实施例的示例视频编码器的示图。

图6是示出结合其可实现所描述的一些实施例的示例视频解码器的示图。

图7是解说图片的块的基础颜色索引图模式的图表。

图8和9分别是解说当同一系数编码句法结构可被用于信令索引图的元素或变换系数时编码和解码期间的示例过程流的图示。

图10和11分别是解说用于使用选择性地表示索引图的元素或变换系数的系数编码句法结构的编码和解码的一般化技术。

图12是用于使用选择性地表示索引图的元素或变换系数的系数编码句法结构的解码的示例技术的流程图。

图13是解说将索引值映射到封装索引值，以及将封装索引值映射回索引值的图表。

图14和15分别是解说在编码和解码期间用于基础颜色的索引值的映射的一般化技术的流程图。

图16和17是解说在编码期间使用减法运算以及在解码期间使用加法运算的索引图的元素的预测的图表。

图18是解说在编码期间使用XOR运算来预测索引图的元素以及在解码期间使用XOR运算来相应地重构该元素的图表。

图19和20分别是解说在编码和解码期间用于索引图的元素的预测的一般化技术的流程图。

图21a和21b分别是解说在编码和解码期间BCIM模式的例外值和索引值的处理的图表。

图22和23分别是解说在BCIM模式中使用索引值和例外值来编码和解码的一般化技术的流程图。

图24是解说用于在BCIM模式中使用索引值和例外值的示例技术的流程图。

详细描述

此详细描述呈现了在编码和/或解码器期间对基础颜色索引图(“BCIM”)模式的使用的创新。具体而言，本详细描述呈现了用于在BCIM模式中重用句法结构(该句法结构被适配成用于变换系数来取代信令索引图的元素的数据)、在BCIM模式中映射索引值、在BCIM模式中预测索引图的元素并处理例外值的创新。这些创新中的一些创新通过减少为支持BCIM模式所做的修改的数量而简化了实现。其它创新改善了BCIM模式的编码效率。

虽然在此所述的操作是被适当描述为由视频编码器或视频解码器来执行，但在许多情况中，所述操作可以由另一类型的媒体处理工具(例如图像编码器、图像解码器)来执行。

本文中描述的一些创新是参考专用于HEVC标准的句法元素和操作来示出的。例如，对HEVC标准的草稿版本JCTVC-N1005——即2013年7月的“高效视频编码(HEVC)范围扩展文本规范：第4稿作出参考。”本文中描述的各创新还可以被实现为针对其它标准或格式。

更一般地，本文中描述的各示例的各种替代是可能的。例如，本文中描述的一些方法可以通过改变描述的方法动作的顺序、通过拆分、重复或忽略某些方法动作等来更改。所公开的技术的各方面能够被组合地或分开地使用。不同的实施例使用所描述的创新中的一个或多个。本文中描述的一些创新解决了背景中指出的一个或多个问题。通常，所给出的技术/工具并不解决所有这些问题。

I.示例计算系统

图1示出了其中可实现几个所描述的创新的合适计算系统(100)的概括示例。计算系统(100)并不旨对使用范围或功能提出任何限制，因为这些创新可以在不同的通用或专用计算系统中实现。

参考图1，计算系统(100)包括一个或多个处理单元(110、115)和存储器(120、125)。处理单元(110、115)执行计算机可执行指令。处理单元可以是通用中央处理单元(“CPU”)、专用集成电路(“ASIC”)中的处理器或任何其它类型的处理器。在多处理系统中，多个处理单元执行计算机可执行指令以提高处理能力。例如，图1示出中央处理单元(110)以及图形处理单元或协处理单元(115)。有形存储器(120、125)可以是(诸)处理单元可访问的易失性存储器(例如，寄存器、高速缓存、RAM)、非易失性存储器(例如， ROM、EEPROM、闪存等)或这两者的某一组合。存储器(120,125)存储实现针对BCIM模式的一个或多个创新的软件(180)，该软件用适用于由(诸)处理单元执行的计算机可执行指令的形式。

计算系统可具有附加的特征。例如，计算系统(100)包括存储(140)、一个或多个输入设备(150)、一个或多个输出设备(160)以及一个或多个通信连接(170)。诸如总线、控制器或网络之类的互连机制(未示出)将计算系统(100)的各组件互连。通常，操作系统软件(未示出)为在计算系统(100) 中执行的其它软件提供操作环境，并协调计算系统(100)的各组件的活动。

有形存储(140)可以是可移动或不可移动的，并包括磁盘、磁带或磁带盒、CD-ROM、DVD或可用于储存信息并可在计算系统(100)内访问的任何其他介质。存储(140)存储实现针对BCIM模式的一个或多个创新的软件(180) 的指令。

(诸)输入设备(150)可以是触摸输入设备(诸如键盘、鼠标、笔或跟踪球)、语音输入设备、扫描设备或向计算系统(100)提供输入的另一设备。对于视频，(诸)输入设备(150)可以是相机、视频卡、TV调谐卡、或接受模拟或数字形式的视频输入的类似设备、或将视频样本读到计算系统(100) 中的CD-ROM或CD-RW。(诸)输出设备(160)可以是显示器、打印机、扬声器、CD刻录机或提供来自计算系统(100)的输出的另一设备。

(诸)通信连接(170)允许通过通信介质与另一计算实体通信。通信介质传达诸如计算机可执行指令、音频或视频输入或输出、或已调制数据信号中的其他数据之类的信息。已调制数据信号是使其一个或多个特征以在信号中编码信息的方式设置或改变的信号。作为示例而非限制，通信介质可以使用电的、光学的、RF或其它载体。

各创新可以在计算机可读介质的一般上下文中描述。计算机可读介质是可在计算环境内访问的任何可用有形介质。作为示例而非局限，对于计算系统 (100)，计算机可读介质包括存储器(120、125)、存储(140)、和以上任意的组合。

各创新可在计算机可执行指令(诸如包括在程序模块中的在目标现实或虚拟处理器上在计算系统中执行的那些计算机可执行指令)的一般上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。如各实施例中所描述的，这些程序模块的功能可以被组合，或者在这些程序模块之间拆分。针对各程序模块的计算机可执行指令可以在本地或分布式计算系统中执行。

术语“系统”和“设备”在此被互换地使用。除非上下文明确指示，否则，术语并不暗示对计算系统或计算设备的类型的任何限制。一般说来，计算系统或计算设备可以是本地的或分布式的，并且可以包括具有实现本文中描述的功能的软件的专用硬件和/或通用硬件的任意组合。

所公开的方法还可使用被配置成执行所公开的方法中的任一者的专用计算硬件来实现。例如，所公开的方法可以由被专门设计或配置成实现所公开的方法中的任一者的集成电路(例如，诸如ASIC数字信号处理单元(“DSP”) 之类的ASIC、图像处理单元(“GPU”)、或诸如场可编程门阵列(“FPGA”) 之类的可编程逻辑器件(“PLD”))来实现。

为了呈现起见，本详细描述使用了如“确定”和“使用”等术语来描述计算系统中的计算机操作。这些术语是对由计算机执行的操作的高级抽象，且不应与人类所执行的动作混淆。对应于这些术语的实际的计算机操作取决于实现而不同。

II.示例网络环境

图2a和2b示出了包括视频编码器(220)和视频解码器(270)的示例网络环境(201，202)。编码器(220)和解码器(270)使用合适的通信协议通过网络(250)连接。网络(250)可包括因特网或另一计算机网络。

在图2a所示的网络环境(201)中，每个实时通信(“RTC”)工具(210) 都包括用于双向通信的编码器(220)和解码器(270)两者。给定的编码器(220) 可以产生符合HEVC标准、SMPTE 421M标准、ISO/IEC 14496-10标准(也称为H.264或AVC)、另一标准、或专用格式的变型或扩展的输出，使得相应的解码器(270)接受来自编码器(220)的经编码的数据。双向通信可以是视频会议、视频电话呼叫或其它双方通信场景的部分。虽然，图2a中的网络环境 (201)包括两个实时通信工具(210)，但网络环境(201)可改为包括参与多方通信的三个或更多个实时通信工具(210)。

实时通信工具(210)管理编码器(220)做出的编码。图3示出可以被包括在实时通信工具(210)中的示例编码器系统(300)。替换地，实时通信工具(210)使用另一编码器系统。实时通信工具(210)还管理解码器(270) 做出的解码。图4示出可以被包括在实时通信工具(210)中的示例解码器系统(400)。替换地，实时通信工具(210)使用另一解码器系统。

在图2b中示出的网络环境(202)中，编码工具(212)包括编码供递送给多个回放工具(214)的视频的编码器(220)，此多个回放工具(214)包括解码器(270)。单向通信可被提供用于视频监视系统、web相机监视系统、远程桌面会议演示或在其中编码视频并将视频从一个位置发送到一个或多个其它位置的其它场景。虽然在图2b中的网络环境(202)包括两个回放工具 (214)，但该网络环境(202)可以包括更多或更少的回放工具(214)。一般来说，回放工具(214)与编码工具(212)通信以确定回放工具(214)要接收的视频流。回放工具(214)接收该流、缓冲所接收的经编码的数据达合适的时间段并开始解码和回放。

图3示出可以被包括在编码工具(212)中的示例编码器系统(300)。替换地，编码工具(212)使用另一编码器系统。编码工具(212)还可以包括用于管理与一个或多个回放工具(214)的连接的服务器侧控制器逻辑。图4示出可以被包括在回放工具(214)中的示例解码器系统(400)。替换地，回放工具(214)使用另一解码器系统。回放工具(214)还可以包括用于管理与一个或多个编码工具(212)的连接的客户机侧控制器逻辑。

III.示例编码器系统

图3是结合其可实现所描述的一些实施例的示例编码器系统(300)的框图。编码器系统(300)可以是能够用多种编码模式中的任一者(诸如用于实时通信的低等待时间编码模式、转码模式和针对来自文件或流的媒体回放的常规编码模式)操作的通用编码工具，或它可以是适用于一种这样的编码模式的专用编码工具。编码器系统(300)可以被实现为操作系统模块、应用库的部分、独立的应用。总体上，编码器系统(300)从视频源(310)接收源视频帧序列(311)并产生经编码的数据作为到信道(390)的输出。输出到信道的经编码的数据可包括使用BCIM模式来编码的内容。

视频源(310)可以是相机、调谐卡、存储介质、或其它数字视频源。视频源(310)以例如每秒30帧的帧速率产生视频帧序列。如本文中所使用的，术语“帧”一般指代源、经编码的或经重构的图像数据。对于逐行扫描视频，帧是逐行扫描视频帧。对于隔行视频，在各示例实施例中，隔行视频帧可以在编码之前被去隔行。替换地，两个示例性隔行视频场被编码成经隔行的视频帧或分开的场。除了指示逐行扫描视频帧之外，术语“帧”或“图片”可以指示单个非成对的视频场、互补的成对视频场、表示在给定时间的视频对象的视频对象平面、或较大图像中的感兴趣区域。视频对象平面或区域可以是包括场景的多个对象或区域的较大图像的一部分。

抵达的源帧(311)被存储在包括多个帧缓冲区存储区域(321、322、…、 32n)的源帧临时存储器存储区域(320)中。帧缓冲区(321、322等)在源帧存储区域(320)中保持一个源帧。在一个或多个源帧(311)已被存储在帧缓冲器(321,322等)中后，帧选择器(330)周期性地从源帧存储区域(320)中选择一个体源帧。帧选择器(330)选择帧以供输入到编码器(340)的次序可不同于视频源(310)产生这些帧的次序，例如帧可在次序上领先，以促成时间上向后的预测。在编码器(340)之前，编码器系统(300)可包括预处理器(未示出)，该预处理器在编码之前执行对选中的帧(331)的预处理(例如滤波)。预处理还可包括到供编码的到主要和次要分量的色彩空间转换。通常，在编码之前，视频已被转换成诸如YUV的色彩空间，其中亮度(Y)分量的样本值表示明亮度或强度值，而色度(U,V)分量的样本值表示色差值。色度样本值可以被子采样到较低的色度采样率(例如用于YUV 4:2:0格式)，或者色度样本值可以具有与亮度样本值相同的分辨率(例如用于YUV 4:4:4格式)。或者，视频可用另一格式(例如，RGB 4:4:4格式)来编码。

编码器(340)编码选中的帧(331)以产生经编码的帧(341)并且还产生存储器管理控制操作(“MMCO”)信号(342)或参考图片集(“RPS”)信息。如果当前帧不是已被编码的第一帧，则在执行其编码处理时，编码器(340) 可以使用已经被存储在经解码帧的临时存储器存储区域(360)中的一个或多个先前被编码/解码的帧(369)。这样的存储的经解码帧(369)被用作用于当前源帧(331)的内容的帧间预测的参考帧。一般来说，编码器(340)包括执行编码任务的多个编码模块，编码任务为诸如分割成小块(tile)、帧内预测估计和预测、运动估计和补偿、频率变换、量化和熵编码。由编码器(340)执行的确切操作可以取决于压缩格式而变化。输出的经编码数据的格式可以是 HEVC格式、Windows媒体视频格式、VC-1格式、MPEG-x格式(例如，MPEG-1、 MPEG-2或MPEG-4)、H.26x格式(例如，H.261、H.262、H.263或H.264) 或其它格式的变型或扩展。

编码器(340)可以将帧分割成相同尺寸或不同尺寸的多个小块。例如，编码器(340)沿小块行和小块列来拆分帧，这些小块行和小块列利用帧边界定义在该帧内的小块的水平和垂直边界，其中每个小块是矩形区域。小块通常被用于改善针对并行处理的选项。帧还可以被组织成一个或多个片，其中一个片可以是整个帧或该帧的区域。片可以独立于帧中的其它片编码，这改善了错误复原性。出于编码和解码的目的，片或小块的内容被进一步分割成块或其它样本值集。

对于根据HEVC标准的句法来说，编码器将帧(或片或小块)的内容拆分成编码树单元。编码树单元(“CTU”)包括被组织为亮度编码树块(“CTB”) 的亮度样本值，并且对应的色度样本值被组织为两个色度CTB。CTU(及其 CTB)的尺寸由编码器来选择，并且可例如为64x64、32x32或16x16个样本值。 CTU包括一个或多个编码单元。编码单元(“CU”)具有亮度编码块(“CB”) 和两个对应的色度CB。例如，具有64x64亮度CTB和两个64x64色度CTB(YUV4:4:4格式)的CTU可以被拆分成4个CU，其中每个CU包括一32x32亮度 CB和两个32x32色度CB，并且每个CU可能被进一步拆分成更小的CU。或者，作为另一示例，具有64x64亮度CTB和两个32x32色度CTB(YUV 4:2:0 格式)的CTU可以被拆分成4个CU，其中每个CU包括一32x32亮度CB和两个16x16色度CB，并且每个CU可能被进一步拆分成更小的CU。CU的最小允许尺寸(例如8×8、16×16)可被信号化在位流中。

通常，CU具有诸如帧间或帧内之类的预测模式。出于信号化预测信息(例如预测模式细节等)和/或预测处理的目的，CU包括一个或多个预测单元。预测单元(“PU”)具有亮度预测块(“PB”)和两个对应的色度PB。对于帧内预测的CU，PU与CU具有相同的尺寸，除非CU具有最小尺寸(例如8x8)。在该情况下，CU可被拆分成四个较小的PU(例如，如果最小CU尺寸为8x8，则PU为4x4)，或者PU可具有最小CU尺寸，如CU的句法元素所指示的。出于残留编码/解码的目的，CU还具有一个或多个变换单元，其中变换单元 (“TU”)具有一变换块(“TB”)和两个色度TB。在帧内预测的CU中的PU可以包含单个TU(尺寸与PU相同)或多个TU。如本文中所使用的，术语“块”可以指示CB、PB、TB或某些其它样本值集，这取决于上下文。编码器决定如何将视频分割成CTU、CU、PU、TU等。

回到图3，编码器根据来自源帧(331)中的其它、先前重构的样本值的预测来表示该帧(331)内编码的块。对于块的空间内预测，图片内估计器估计相邻的经重构的样本值到该块的外插。帧内预测估计器可以输出经熵编码的预测信息(例如帧内空间预测的预测模式(方向))。帧内预测预测器应用预测信息来确定帧内预测值。对于BCIM模式，编码器用块的各样本值中针对基础颜色的索引值来表示帧内编码的块，其使用用于索引值的基础颜色表以及使用索引图的元素。编码器还可表示BCIM模式块中的例外值，而不使用索引值，如下所述。

编码器(340)依据来自参考帧的预测来表示源帧(331)的帧间编码的预测的块。运动估计器估计块相对于一个或多个参考帧(369)的运动。当使用多个参考帧时，这多个参考帧可来自不同的时间方向或相同的时间方向。经运动补偿的预测参考区域是(诸)参考帧中用于生成当前帧中的样本块的经运动补偿的预测值的样本区域。运动估计器输出诸如运动向量信息之类被熵编码的运动信息。运动补偿器将运动向量应用于参考帧(369)以确定经运动补偿的预测值。

在非BCIM模式中，编码器确定在块的预测值(帧内或帧间)和对应的原始值之间的差值(如果有的话)。这些预测残留值将进一步使用频率变换、量化和熵编码来编码。例如，编码器(340)为图片、小块、片和/或视频的其它部分设置量化参数(“QP”)的值，并相应地量化变换系数。在BCIM模式中，编码器跳过该变换和量化操作(除了在处理例外值时的某些量化操作外)。

编码器(340)的熵编码器压缩经量化的变换系数值以及某些辅助信息(例如运动向量信息、QP值、模式决策、参数选择)。具体地，熵编码器可使用系数编码句法结构来压缩针对索引图的各元素的数据。典型的熵编码技术包括指数-Golomb编码、算术编码、差分编码、Huffman编码、行程长度编码、可变长度到可变长度(“V2V”)编码、可变长度到固定长度(“V2F”)编码、LZ编码、词典编码、概率区间划分熵编码(“PIPE”)和上述编码的组合。熵编码器可针对不同种类的信息使用不同的编码技术，并可从特定编码技术内的多个代码表中进行选择。

经编码的帧(341)和MMCO/RPS信息(342)通过解码过程仿真器(350) 来处理。解码过程仿真器(350)实现了解码器的一些功能，例如对任务进行解码以重构参考帧。解码过程仿真器(350)使用MMCO/RPS信息(342)来确定给定的经编码帧(341)是否需要被重构并被存储以供在对要编码的后续帧的帧间预测中用作参考帧。如果MMCO/RPS信息(342)指示经编码的帧(341) 需要被存储，则解码过程仿真器(350)对将由解码器进行的解码处理进行建模，该解码器接收经编码的帧(341)并产生相应的经解码的帧(351)。通过这么做，当编码器(340)已经使用已被存储在经解码帧存储区域(360)中的经解码的帧(369)时，解码过程仿真器(350)还使用来自存储区域(360) 的经解码的帧(369)作为解码处理的一部分。

经解码帧临时存储器存储区域(360)包括多个帧缓冲存储区域(361、 362、…、36n)。解码过程仿真器(350)使用MMCO/RPS信息(342)来管理存储区域(360)中的内容，以便标识出具有编码器(340)不再需要将其用作参考帧的帧的任何帧缓冲器(361、362等)。在对解码处理进行建模之后，解码过程仿真器(350)在帧缓冲区(361、362等)中存储已经以此方式标识出的新解码的帧(351)。

经编码的帧(341)和MMCO/RPS信息(342)被缓冲在临时的经编码数据区域(370)中。被聚集在经编码数据区域(370)中的经编码数据包含一个或多个图片的经编码数据作为基本经编码视频位流的句法的一部分。在经编码数据区域(370)中被聚集的经编码数据还可包括与经编码的视频数据相关的媒体元数据(例如作为一个或多个补充增强信息(“SEI”)消息或视频可用性信息(“VUI”)消息中的一个或多个参数)。

来自临时的经编码数据区域(370)的经聚集的数据(371)由信道编码器 (380)处理。信道编码器(380)可以(例如根据诸如ISO/IEC 13818-1的媒体流复用格式)来分组化经聚集的数据以供作为媒体流来传输，在这种情况中，信道编码器(380)可以添加句法元素作为媒体传输流的句法的一部分。或者，信道编码器(380)可以(例如根据诸如ISO/IEC14496-12的媒体容器格式) 组织经聚集的数据以供作为文件来存储，在这种情况中，信道编码器(380) 可以添加句法元素作为媒体存储文件的句法的一部分。或者，更一般地，信道编码器(380)可以实现一个或多个媒体系统复用协议或传输协议，在这种情况中，信道编码器(380)可以添加句法元素作为(诸)协议的句法的一部分。信道编码器(380)将输出提供给信道(390)，该信道(390)表示存储、通信连接或该输出的另一信道。

IV.示例解码器系统

图4是结合其可实现所描述的一些实施例的示例解码器系统(400)的框图。解码器系统(400)可以是能够在多种解码模式(例如针对实时通信的低等待时间解码模式以及针对来自文件或流中的媒体回放的常规解码模式)中的任一者操作的通用解码工具，或它可以是适用于一种这样的解码模式的专用解码工具。解码器系统(400)可以被实现为操作系统模块、应用库的一部分或独立的应用。总体上，解码器系统(400)从信道(410)接收经编码的数据并产生经重构的帧作为针对输出目的地(490)的输出。经编码数据可包括使用BCIM模式编码的内容。

解码器系统(400)包括信道(410)，该信道(410)可以表示存储、通信连接或针对作为输入的经编码数据的另一信道。信道(410)产生已经被信道编码的经编码数据。信道解码器(420)可以处理经编码的数据。例如，信道解码器(420)可以(例如根据诸如ISO/IEC13818-1的媒体流复用格式)来去分组化已被聚集以供作为媒体流来传输的数据，在这种情况中，信道解码器 (420)可以解析所添加的作为媒体传输流的句法的一部分的句法元素。或者，信道解码器(420)可以(例如根据诸如ISO/IEC 14496-12的媒体容器格式) 来将已被聚集以供作为文件来存储的经编码的视频数据分开，在这种情况中，信道解码器(420)可以解析所添加的作为媒体存储文件的句法的一部分的句法元素。或者，更一般地，信道解码器(420)可以实现一个或多个媒体系统去复用协议或传输协议，在这种情况中，信道解码器(420)可以解析所添加的作为(诸)协议的句法的一部分的句法元素。

从信道解码器(420)输出的经编码的数据(421)被存储在临时的经编码数据区域(430)中，直到已经接收到足够数量的这样的数据。经编码的数据(421) 包括经编码的帧(431)和MMCO/RPS信息(432)。在经编码数据区域(430) 中的经编码数据(421)包含一个或多个图片的经编码数据作为基本编码的视频比特流的句法的一部分。在经编码数据区域(430)中的经编码数据(421) 还可包括与经编码的视频数据相关的媒体元数据(例如作为一个或多个SEI消息或VUI消息中的一个或多个参数)。

一般来说，经编码数据区域(430)临时存储经编码数据(421)，直到这样的经编码数据(421)被解码器(450)使用。此时，经编码帧(431)和MMCO/RPS 信息(432)的经编码数据被从经编码数据区域(430)传输到解码器(450)。当解码继续时，新的经编码数据被添加到经编码数据区域(430)并且保留在经编码数据区域(430)中的最旧的经编码数据被传输到解码器(450)。

解码器(450)周期性地解码经编码帧(431)以产生相应的经解码帧(451)。在适当时，当执行其解码处理时，解码器(450)可以将一个或多个先前解码的帧(469)用作帧间预测的参考帧。解码器(450)从经解码帧临时存储器存储区域(460)中读取这样的先前解码的帧(469)。通常，解码器(450)包括执行诸如熵解码、逆量化、逆频率变换、帧内预测、运动补偿和小块合并之类的解码任务的多个解码模块。由解码器(450)执行的确切操作可以取决于压缩格式而变化。

例如，解码器(450)接收经压缩的帧或帧序列的经编码数据，并产生包括经解码的帧(451)的输出。在解码器(450)中，缓冲器接收针对经压缩的帧的经编码数据，并在适当时，使得接收到的经编码数据对熵解码器可用。熵解码器对经熵编码的量化数据以及经熵编码的辅助信息进行熵解码，通常应用编码器中执行的熵编码的逆来进行熵解码。运动补偿器将运动信息应用于一个或多个参考帧以形成针对正被重构的帧的任何帧间编码块的经运动补偿的预测值。帧内预测模块可以在空间上从邻近的、先前重构的样本值中空间地预测当前块的样本值。对于BCIM模式，解码器用块的各样本值中针对基础颜色的索引值重构帧内编码的块，其使用用于索引值的基础颜色表以及使用索引图的元素。

在非BCIM模式中，解码器(450)还重构预测残留值。逆量化器对经熵解码的数据进行逆量化。例如，解码器(450)基于比特流中的句法元素来设置图片、小块、片和/或其它视频部分的QP值，并相应地对变换系数进行逆量化。逆频率变换器将经量化的频域数据转换成空间域信息。在BCIM模式中，解码器跳过逆量化和逆频率变换操作(除了在解码例外值时的某些逆量化操作外)。对于帧间预测的块，解码器(450)将经重构的预测残留值与经运动补偿的预测组合。解码器(450)可以类似地将预测残留值与来自帧内预测的预测组合。视频解码器(450)中的运动补偿环路包括用于平滑经解码的帧(451)中的块边界行和/或列上的间断的自适应去块滤波器。

经解码帧临时存储器存储区域(460)包括多个帧缓冲区存储区域(461、 462、…、46n)。经解码帧存储区域(460)是经解码图片缓冲区的一个示例。解码器(450)使用MMCO/PS信息(432)来标识该解码器可将经解码帧(451) 存储在其中的帧缓冲器(461、462等)。解码器(450)将经解码的帧(451) 存储在那个帧缓冲器中。

输出序列发生器(480)使用MMCO/RPS信息(432)来标识按输出次序将产生的下一帧何时可在经解码帧存储区域(460)中获得。当按输出次序将产生的下一帧(481)可在经解码帧存储区域(460)中获得时，输出序列发生器(480)读取该下一帧并将其输出到输出目的地(490)(例如显示器)。一般来说，输出序列发生器(480)将帧从经解码帧存储区域(460)中输出的次序可以与解码器(450)解码这些帧的次序不同。

V.示例视频编码器

图5a和5b是可结合其实现所描述的一些实施例的通用视频编码器(500) 的框图。编码器(500)接收包括当前图片的视频图片序列作为输入视频信号 (505)并在经编码视频位流(595)中产生经编码的数据作为输出。

编码器(500)是基于块的并使用取决于实现的块格式。块还可在不同的阶段上被进一步细分，例如在预测、频率变换和/或熵编码阶段。例如，图片可以被划分成64x64块、32x32块或16x16块，这些块随后可以被划分成更小的样本值块以用于编码和解码。在针对HEVC标准的编码的实现中，编码器将图片分割成CTU(CTB)、CU(CB)、PU(PB)和TU(TB)。

编码器(500)使用图片内编码和/或图片间编码来压缩图片。编码器(500) 的许多组件被用于图片内编码和图片间编码两者。由这些组件执行的确切操作可取决于所压缩的信息的类型而变化。

小块化模块(510)可选地将图片分割成相同尺寸或不同尺寸的多个小块。例如，小块化模块(510)沿小块行和小块列来拆分图片，所述小块行和小块列利用图片边界定义在图片内的小块的水平和垂直边界，其中每个小块是矩形区域。小块化模块(510)可随后将这些小块分组成一个或多个小块集合，其中一小块集合是这些小块中的一个或多个的群组。

通用编码控件(520)接收输入视频信号(505)的图片以及来自编码器(500) 的各个模块的反馈(未示出)。整体上，通用编码控件(520)将控制信号(未示出)提供给其它模块(例如小块化模块(510)、变换器/缩放器/量化器(530)、缩放器/逆变换器(535)、图片内估计器(540)、运动估计器(550)以及帧内/帧间切换)以设置和改变编码期间的编码参数。具体地，通用编码控件(520) 可以判定在编码期间是否和如何使用BCIM模式。通用编码控件(520)还可以估计编码期间的中间结果，例如执行速率-失真分析来估计。通用编码控件(520) 产生指示在编码期间所做出的决定的通用控制数据(522)，使得对应的解码器可以作出一致的决定。通用控制数据(522)被提供给头部格式化器/熵编码器(590)。

如果使用图片间预测来预测当前的图片，运动估计器(550)相对于一个或多个参考图片估计输入视频信号(505)的当前图片的样本值的块的运动。经解码的图片缓冲器(570)缓冲一个或多个经重构的先前编码的图片以供用作参考图片。当使用多个参考图片时，这多个参考图片可以来自不同的时间方向或相同的时间方向。运动估计器(550)产生诸如运动向量数据和参考图片选择数据之类的辅助信息运动数据(552)。运动数据(552)被提供给头部格式化器/ 熵编码器(590)以及运动补偿器(555)。

运动补偿器(555)将运动向量应用于来自经解码图片缓冲器(570)的(诸)经重构的参考图片。运动补偿器(555)产生针对当前图片的经运动补偿的预测。

在编码器(500)内的分开的路径中，图片内估计器(540)确定如何执行对输入视频信号(505)的当前图片的样本值块的图片内预测。当前图片可全部或部分使用图片内编码来编码。对于空间内预测，使用当前图片的重构(538) 的值，图片内估计器(540)确定如何从当前图片的邻近的、先前重构的样本值中空间地预测当前图片的当前块的样本值。

对于BCIM模式，编码器(500)用块的各样本值中针对基础颜色的索引值来表示帧内编码的块，其使用用于索引值的索引图以及使用索引图的元素。

帧内预测估计器(540)产生辅助信息帧内预测数据(542)，诸如指示帧内预测是使用空间预测还是BCIM模式的信息(例如，每帧内块或特定预测模式方向的每帧内块的旗标值)、(针对帧内空间预测的)预测模式方向。帧内预测数据(542)被提供给头部格式化器/熵编码器(590)以及图片内预测器(545)。根据帧内预测数据(542)，图片内预测器(545)从当前图片的邻近的先前重构的样本值中在空间上预测当前图片的当前块的样本值，或重构BCM模式块的样本值。

在非BCM模式中，帧内/帧间切换选择经运动补偿的预测或图片内预测的值以供用作给定块的预测(558)。在非BCIM模式中，预测(558)的块和输入视频信号(505)的原始当前图片的对应部分之间的差异(如果有的话)提供残留值 (518)。在当前图片的重构期间，经重构的残留值与预测(558)组合来从视频信号(505)中产生对原始内容的重构(538)。然而，在有损压缩中，还是从视频信号(505)中丢失了一些信息。

在变换器/缩放器/量化器(530)中，对于非BCIM模式，频率变换器将空间域视频信息转换为频域(即频谱、变换)数据。对于基于块的视频编码，频率变换器将离散余弦变换(“DCT”)、其整数近似、或另一类型的前向块变换应用于预测残留数据的块(或者在预测(558)为空的情况下，应用于样本值数据)，从而产生频率变换系数的块。编码器(500)可能还能够指示这样的变换步骤被省略了。缩放器/量化器对变换系数进行缩放和量化。例如，量化器将用步骤尺寸将非统一的标量量化应用于频域数据，该步骤尺寸在逐帧的基础、逐小块的基础、逐片的基础、逐块的基础、或其它基础上变化。经量化的变换系数数据(532)被提供给头部格式化器/熵编码器(590)。

在缩放器/逆变换器(535)中，对于非BCIM模式，缩放器/逆量化器对经量化的变换系数执行逆缩放和逆量化。逆频率变换器执行逆频率变换，从而产生经重构的预测残留值或样本值的块。编码器(500)将经重构的残留值与预测(558)的值(例如，经运动补偿的预测值、图片内预测值)组合以形成重构(538)。

对于图片内预测，重构(538)的值可以被馈送回图片内估计器(540)和图片内预测器(545)。同样，重构(538)的值可以被用于对后续图片的经运动补偿的预测。重构(538)的值可被进一步滤波。对于视频信号(505)的给定图片，滤波控件(560)确定如何对重构(538)的值执行去块滤波和样本自适应偏移(“SAO”)滤波。滤波控件(560)生成滤波控制数据(562)，它被提供给头部格式化器/熵编码器(590)和合并器/(诸)滤波器(565)。

在合并器/(诸)滤波器(565)中，编码器(500)将来自不同小块的内容合并到图片的经重构版本中。编码器(500)根据滤波器控制数据(562)选择性地执行去块滤波和SAO滤波，以便自适应地平滑各帧中的各边界上的间断。取决于编码器(500)的设置，小块边界可以被选择性地滤波或根本不被滤波，并且编码器(500)可以在经编码的位流内提供指示是否应用这样的滤波的句法。经解码的图片缓冲器(570)缓冲经重构的当前图片以供在后续的经运动补偿的预测中使用。

头部格式化器/熵编码器(590)格式化和/或熵编码通用控制数据(522)、经量化的变换系数数据(532)、帧内预测数据(542)和打包的索引值、运动数据(552)以及滤波器控制数据(562)。例如，头部格式化器/熵编码器(590) 将上下文自适应二进制算法编码(“CABAC”)用于对系数编码句法结构的各句法元素进行熵编码。

头部格式化器/熵编码器(590)在经编码的视频位流(595)中提供经编码的数据。经编码的视频比特流(595)的格式可以是HEVC格式、Windows媒体视频格式、VC-1格式、MPEG-x格式(例如，MPEG-1、MPEG-2或MPEG-4)、 H.26x格式(例如，H.261、H.262、H.263或H.264)或其它格式的变型或扩展。

取决于所需的压缩的实现和类型，编码器的模块可被添加、省略、拆分成多个模块、与其它模块组合、和/或用相似的模块来替代。在替换实施例中，具有不同模块和/或其它配置的模块的编码器执行一个或多个所描述的技术。编码器的具体实施例通常使用编码器(500)的变型或补充版本。所示的编码器(500) 内的各模块之间的关系指示了信息在编码器中的一般流动；为简明起见，未示出其它关系。

VI.示例视频解码器

图6是结合其可实现所描述的一些实施例的通用解码器(600)的框图。解码器(600)接收经编码的视频比特流(605)中的经编码的数据并产生包括经重构视频(695)的图片的输出。经编码的视频比特流(605)的格式可以是 HEVC格式、Windows媒体视频格式、VC-1格式、MPEG-x格式(例如，MPEG-1、 MPEG-2或MPEG-4)、H.26x格式(例如，H.261、H.262、H.263或H.264) 或其它格式的变型或扩展。

解码器(600)是基于块的并使用取决于实现的块格式。块可以在不同的阶段被进一步细分。例如，图片可以被划分成64x64块、32x32块或16x16块，这些块随后可以被划分成更小的样本值块。在针对HEVC标准的解码实现中，将图片分割成CTU(CTB)、CU(CB)、PU(PB)和TU(TB)。

解码器(600)使用图片内解码和/或图片间解码来对图片进行解压缩。解码器(600)的许多组件被用于图片内解码和图片间解码这两者。由这些组件执行的确切操作可以取决于正被解压缩的信息的类型而变化。

缓冲器接收经编码的视频比特流(605)中的经编码数据，并使得接收到的经编码数据可用于解析器/熵解码器(610)。解析器/熵解码器(610)通常应用在编码器(500)中执行的熵编码的逆(例如上下文自适应二进制算术解码)对经熵编码的数据进行熵解码。例如，解析器/熵解码器(610)将上下文自适应二进制算法解码用于对系数编码句法结构中的各句法元素进行熵解码。” 作为解析和熵解码的结果，解析器/熵解码器(610)产生通用控制数据(622)、经量化的变换系数数据(632)、帧内预测数据(642)和打包的索引值、运动数据(652)以及滤波器控制数据(662)。

通用解码控件(620)接收通用控制数据(622)并将控制信号(未示出) 提供给其它模块(例如缩放器/逆变换器(635)、图片内预测器(645)、运动补偿器(655)以及帧内/帧间切换)以设置和改变解码期间的解码参数。

如果当前图片是使用图片间预测来预测的，则运动补偿器(655)接收运动数据(652)，诸如运动向量数据和参考图片选择数据。运动补偿器(655)将运动向量应用于来自经解码图片缓冲器(670)的(诸)经重构的参考图片。运动补偿器(655)产生针对当前图片中的帧间编码块的运动补偿的预测。经解码图片缓冲器(670)存储一个或多个先前重构的图片以供用作参考图片。

在解码器(600)内的分开路径中，帧内预测预测器(645)接收帧内预测数据(642)，诸如指示帧内预测是使用空间预测还是BCIM模式的信息(例如，每帧内块或特定预测模式方向的每帧内块的旗标值)、(针对帧内空间预测的) 预测模式方向。对于帧内空间内预测，根据预测模式数据使用当前图片的重构 (638)的值，图片内预测器(645)从当前图片的相邻的、先前重构的样本值中空间地预测当前图片的当前块的样本值。对于BCIM模式，解码器用块的各样本值中针对基础颜色的索引值重构帧内编码的块，其使用用于索引值的基础颜色表以及使用索引图的元素。

在非BCIM模式中，帧内/帧间切换选择经运动补偿的预测或图片内预测的值以供用作给定块的预测(658)。例如，当遵循HEVC句法时，可以基于为图片中的CU编码的句法元素来控制帧内/帧间切换，该CU可以包括帧内预测的CU和帧间预测的CU。解码器(600)将预测(658)与重构的残留值组合以产生来自视频信号的内容的重构(638)。

为了重构残留值，对于非BCIM模式，缩放器/逆变换器(635)接收并处理经量化的变换系数数据(632)。在缩放器/逆变换器(635)中，缩放器/逆量化器对经量化的变换系数执行逆缩放和逆量化。逆频率变换器执行逆频率变换，从而产生经重构的预测残留值或样本值的块。例如，逆频率变换器将逆块变换应用到频率变换系数，从而产生样本值数据或预测残留数据。逆频率变换可以是逆DCT、其整数近似或另一种类型的逆频率变换。

对于图片内预测，重构(638)的值可以被馈送回图片内预测器(645)。对于图片间预测，重构(638)的值可以被进一步滤波。在合并器/(诸)滤波器(665)中，解码器(600)将来自不同小块的内容合并到图片的经重构版本中。解码器(600)根据滤波器控制数据(662)和滤波自适应规则来执行去块滤波和SAO滤波，以便自适应地平滑各帧中的各边界上的间断。小块边界可以被选择性地滤波或根本不滤波，这取决于解码器(600)的设置或经编码的比特流数据内的句法指示。经解码的图片缓冲器(670)缓冲经重构的当前图片以供在后续的经运动补偿的预测中使用。

解码器(600)还可包括后处理去块滤波器。后处理去块滤波器可选地平滑经重构图片中的间断。其他滤波(诸如去振铃滤波)还可作为后处理滤波的一部分被应用。

取决于所希望的解压缩的实现和类型，解码器的模块可以被添加、省略、拆分成多个模块、与其他模块组合和/或用类似的模块来替代。在替换实施例中，具有不同模块和/或其它配置的模块的解码器执行一个或多个所描述的技术。解码器的具体实施例通常使用解码器(600)的变型或补充版本。所示的解码器 (600)内的模块之间的关系指示信息在解码器中的一般流动；为简明起见，未示出其它关系。

VII.对于基础颜色索引图模式的创新。

本节提出对于基础颜色索引图(“BCIM”)模式的各种创新。一些创新涉及重用系数编码句法结构用于BCIM模式中的变换系数或索引图数据，而其它创新涉及BCIM模式中的索引值的映射或预测。又一些其它创新涉及BCIM 模式中的例外值的处理。这些创新能促成在速率-失真性能和/或编码和解码的计算效率方面更有效的BCIM模式。具体地，使用BCIM模式可在编码诸如屏幕捕捉内容之类的某种“人工”创建的视频内容时改善速率-失真性能。屏幕捕捉内容典型地包括重复的结构(例如图形、文本字符)，其为帧内BC预测提供了改善性能的机会。屏幕捕捉内容通常用具有高色度采样分辨率的格式(例如 YUV 4:4:4或RGB 4:4:4)来编码，但是它也可以用具有较低的色度采样分辨率 (例如YUV 4:2:0)的格式来编码。

A.基础颜色索引图模式-介绍。

在BCIM模式中，视频编码器或图像编码器使用表示基础颜色的索引值来编码样本值。索引值中的每一个与样本值中的一不同值(“基础颜色”)相关联。在编码期间，用对应的索引值来取代样本值。编码器编码并信令索引值以及对应的基础颜色的表格(“基础颜色表”)以及表示样本值的索引值的布置 (“索引图(index map)”)。视频解码器或图像解码器接收并解码索引值和对应的基础颜色的表格。使用该基础颜色表，解码器用原始样本值的基础颜色取代索引图的索引值。

图7示出具有维度i,j的二维布置中的样本值s的块(710)，其中0≤ i≤7且0≤j≤7。在图7中，样本值s表示屏幕捕捉内容的强度或亮度值。样本值s包括唯一值和强模式的区段。块(710)包括样本值26,85,41,127, 168和200。

编码器创建将索引值分配到对应的基础颜色的基础颜色表(720)。在图7 的示例中，索引值0被分配到样本值200，索引值1被分配到样本值168，如此等等。编码器可根据其在图片中出现的可能性来将索引值分配到基础颜色，以使得更常见的样本值具有更低的索引值且更不常见的样本值具有更高的索引值，这通常导致在用更少的位来表示更低的索引值时更高效的编码。替换地，编码器可根据当块被扫描时的出现次序来将索引值分配到基础颜色，其依赖于后面的进程(诸如预测)来利用索引图的索引值中的冗余性。基础颜色表(720) 可被实现为查找表或其它数据结构。

图7示出块(730)，其中用对应的索引值n来取代样本值s。用索引值取代样本值的过程是无损的。替换地，在有损压缩变型中，如果精确匹配不可用，则样本值可用表示最靠近该样本值的基础颜色的索引值来取代。这可减小基础颜色表(720)的大小但是也引入了可感知的失真。下面描述处理没有用索引值表示的样本值(所谓的例外值)的另一方式。

编码器编码并输出基础颜色表(720)以及具有表示索引值n的块(730) 的元素的索引图。例如，编码器使用系数编码句法结构来表示块(730)的元素，如下所述。作为编码的一部分，块(730)的索引值n可被用进一步的映射操作和/或预测来处理。

在解码期间，解码器接收并解码基础颜色表(720)和用于索引图的数据。例如，解码器从系数编码句法结构解码块(730)的元素，如下所述。作为解码的一部分，块(730)的索引值n可被用进一步的映射操作和/或预测来处理。解码器随后使用基础颜色表(720)来逆转映射过程，如在图7中所示的。

在图7的示例中，编码器创建针对8x8块的样本值的基础颜色表(720)。替换地，该块具有另一大小(例如，4x4,16x16,32x32或64x64)。更一般而言，该块为m x n块，其中m和n可具有相等的值或具有不同的值。或者，该编码器可创建针对切片、小块、完整图片、图片组、或视频序列的样本值的基础颜色映射。

B.重用系数编码句法结构。

在一些示例实现中，视频编码器或图像编码器使用通常用于信令转换系数信息以取代信令BCIM模式数据的句法结构。具体而言，编码器重用系数编码句法结构来信令BCIM模式中的索引图信息。

图8示出在编码期间此方法的过程流(800)。编码器接收空间域值(810) 的块。空间域值(810)可以是样本值。或者，空间域值(810)可以是在图片间预测或图片内预测之后的预测残留。编码器可在BCIM模式和非BCIM两种模式中使用相同的系数编码句法结构，在BCIM模式中应用编码操作或在非BCIM 模式中应用操作。

对于BCIM模式，编码器将空间域值(810)(例如，样本值)映射到(812) 索引值(830)，从而用对应的索引值(830)来取代空间域值(810)。编码器进一步将索引值映射(832)到针对索引图的封装索引值(840)，如在下一节中描述的。BCIM模式中的映射操作(812、832)不包括量化或变换操作(在一些实现中，除了对例外值的编码之外)。编码器编码(842)基础颜色表和索引图的元素，从而使用系数编码句法结构(890)来信令索引图的封装索引值(840)。

对于非BCIM模式，编码器向空间域值(810)(例如，残留值)应用(814) 频率变换，从而产生变换系数(860)，该编码器量化(862)该变换系数。替换地，跳过该变换和/或量化。经量化的变换系数(870)随后被使用系数编码句法结构(890)来编码。

在遵循HEVC句法的一些示例实现中，系数编码句法结构是残留编码 (residual_coding)句法结构。例如，参见JCTVC-N1005的7.3.8.11和7.4.9.11 节。在BCIM模式中，编码器处理索引图的元素(例如，索引值、封装索引值、索引残留值、或封装索引残留值，如下所述)，就像它们是经量化的变换系数一样。具体而言，编码器信令该块中的最后一个非零系数的位置，该块可以是 4x4块、8x8块、16x16块或32x32块。对于该块中的值的每个4x4组，编码器信令指示该4x4组是否具有至少一个非零系数的旗标。对于具有至少一个非零系数的4x4组，编码器信令指示哪些系数具有非零值的旗标，随后信令具有非零值的系数的等级信息和(在大多数情况下)符号信息。编码器使用CABAC来编码残留编码句法结构的各元素。替换地，使用另一系数编码句法结构。例如，可使用遵循H.264标准、VC-1标准或另一标准或私有格式的句法的系数编码句法结构。

图9示出在解码期间此方法的过程流(900)。解码器接收系数编码句法结构(990)。解码器可在BCIM模式和非BCIM两种模式中使用相同的系数编码句法结构，在BCIM模式中应用操作或在非BCIM模式中应用操作。

对于BCIM模式，解码器解码(942)基础颜色表并且使用系数编码句法结构(990)也解码(942)索引图的元素。这产生索引图的封装索引值(940)。解码器将封装索引值(940)映射(932)到例如索引图的索引值(930)，如在下一节中描述的。编码器随后将索引值(930)映射(912)到块的空间域值 (910)(例如，样本值)。BCIM模式中的映射操作(912、932)不包括逆量化或逆变换操作(在一些实现中，除了对例外值的解码之外)。

对于非BCIM模式，解码器解码(972)已使用系数编码句法结构(990) 信令的经量化的变换系数(970)。解码器可逆量化(962)经量化的变换系数，随后应用(914)逆频率变换来重构空间域值(910)(例如，预测残留)。替换地，跳过逆量化和/或逆变换。解码器随后可执行图片间预测或图片内预测 (未示出)并将经重构的残留值与预测的值组合(未示出)。

图10示出用于使用系数编码句法结构来选择性地表示索引图的元素或变换系数的编码的一般化技术(1000)。该技术(1000)可由编码器(如参考图 3或图5a和5b描述的编码器)或由另一编码器来执行。

编码器编码(1010)数据，使用块的系数编码句法结构来选择性地表示块的索引图的元素或块的变换系数。例如，如果系数编码结构被用于非BCIM模式中的变换系数，则编码器(a)计算块的残留值，(b)对残留值执行频率变换以生成变换系数，(c)量化变换系数，以及(d)将所得到的值编码在系数编码句法结构中。或者，如果系数编码结构被用于BCIM模式中的索引图，则编码器(a) 将块的样本值映射到索引值，索引值中的每一个表示一基础颜色，(b)将索引值映射到封装索引值或封装索引残留值，以及(c)将所得到的值编码在系数编码句法结构中。

对于BCIM模式，索引图可包括该块的封装索引值，其中封装索引值中的每一个是表示基础颜色且被封装到该系数编码句法结构中的索引值。或者，索引图可包括该块的封装索引残留值，其中封装索引残留值中的每一个表示基础颜色且被封装到该系数编码句法结构中。封装索引残留值可以是基于索引值和预测的索引值之间的差的索引残留值，或封装索引残留值可以基于封装索引值和预测的封装索引值之间的差。索引图还可包括不表示任何基础颜色的一个或多个例外值，其可如下所述地被处理。

编码器输出(1020)经编码数据。例如，对于遵循HEVC句法的实现，经编码数据可包括索引图的元素或变换系数的残留编码句法结构。替换地，以某一其它方式来格式化经编码数据。编码器可针对另一块重复该技术(1000)。

图11示出用于使用选择性地表示索引图的元素或变换系数的系数编码句法结构的解码的一般化技术(1100)。该技术(1100)可由如参考图4或图6 描述的解码器或由另一解码器来执行。

解码器接收(1110)经编码数据。例如，对于遵循HEVC句法的实现，经编码数据可包括索引图的元素或变换系数的残留编码句法结构。替换地，以某一其它方式来格式化经编码数据。

解码器解码(1120)该经编码数据，使用块的系数编码句法结构，该系数编码句法结构选择性地表示块的索引图的元素或块的变换系数。例如，如果系数编码结构被用于非BCIM模式中的变换系数，则解码器(a)从系数编码句法结构解码变换系数的值，(b)逆量化该变换系数，(c)对变换系数执行逆频率变换来生成该块的残留值，以及(d)将残留值与预测值组合来重构该块的样本值。或者，如果系数编码结构被用于BCIM模式中的索引图，则解码器(a)从系数编码句法结构解码索引图的值，(b)将封装索引值或封装索引残留值映射到索引值，索引值中的每一个表示一基础颜色，以及(c)将该索引值映射到该块的样本值。

解码器可针对另一块重复该技术(1100)。

图12示出用于使用选择性地表示索引图的元素或变换系数的系数编码句法结构的解码的更具体的示例技术(1200)。该技术(1200)可由如参考图4 或图6描述的解码器或由另一解码器来执行。

解码器接收(1210)块的系数编码句法结构。例如，对于在遵循HEVC句法的实现，系数编码句法结构是残留编码句法结构。替换地，按某种其它方式来组织系数编码句法结构。

解码器检查(1220)该块的模式是否是BCIM。例如，解码器检查该块的一个或多个句法元素的值。对于遵循HEVC句法的实现，该(一个或多个)句法元素指示该块是否是可针对PU信令的BCIM模式块。替换地，该(一个或多个) 句法元素被针对CU、CB、PB、TU或TB信令。

如果该块是BCIM块，则解码器从该块的系数编码结构中解码(1240)索引图的元素。否则，解码器从该块的系数编码句法结构中解码(1230)变换系数。例如，解码器执行如参考图9或11所述的操作。

解码器检查(1250)是否继续下一块。如果继续，则解码器接收(1210) 下一块的系数编码句法结构。

C.将索引值映射到封装索引值。

为了就像索引值是变换系数那样来信令索引值，编码器将索引值n映射到封装索引值n_packed。在解码期间，解码器将封装索引值n_packed映射回索引值n。编码器和解码器在索引值n和封装索引值n_packed之间映射时可遵循若干策略。

例如，编码器可简单地使用索引值作为封装索引值。即，在编码期间n_packed＝n，且在解码期间n＝n_packed。除了其简单性之外，此方法的一个优点在于：封装索引值n_packed的符号值可从信令的经编码数据中省略，因为封装索引值总是非负的。

作为第二示例方法，编码器可将索引值n映射到封装索引值n_packed，如下：

如果n％2为0，则n_packed＝-(n/2)；以及

否则，n_packed＝(n+1)/2。

其中％表示取模(MOD)运算符，以使得当x除以y时，x％y是余数，而/ 表示除法，其中结果向0截断。该解码器可将封装索引值n_packed映射回索引值 n，如下：

如果n_packedis≤0,则n＝-2*n_packed；以及

否则，n＝2*n_packed-1。

图13示出，根据此方法，将索引值映射到封装索引值，以及将封装索引值映射回索引值。在编码期间块(1310)中的索引值n被映射到块(1310)中的封装索引值n_packed，且在解码期间被映射回块(1310)中的索引值n。范围从 0…5的索引值被映射到范围从-2…3的封装索引值，以及反过来。

在第二示例方法的变型中，编码器可将偶数索引值映射为非负数，并将奇数映射到负值，而解码器逆转该映射。对于编码期间的映射：

如果n％2为0，则n_packed＝-(n/2)；以及

否则，n_packed＝-(n+1)/2。

在解码时：

如果n_packed为≥0,则n＝2*n_packed；以及

否则，n＝-2*n_packed-1。

作为第三示例方法，不同颜色分量(例如，YUV 4:4:4格式的视频的亮度和色饱和度分量)的索引值可被映射到像素的单一封装索引值。例如，亮度样本被映射到亮度索引值n_y，而两个对应的色饱和度样本被映射到两个色饱和度索引值n_u和n_v。索引值n_y,n_u和n_v随后被映射到单一封装索引值。如果用来表示索引值n_y,n_u和n_v中的每一个的位数为n_bits，则单一封装索引值n_{packed,combined} (具有3*n_bits个位)可如下确定：

n_{packed,combined}＝n_y<<(2*n_bits)+n_u<<n_bits+n_v.

其中<<表示向左移位运算。为了解码，索引值n_y,n_u和n_v可使用位掩码运算和移位运算来重构，以标识封装索引值n_{packed,combined}的适当位的值，如下：

n_y＝n_{packed,combined}>>(2*n_bits)

n_u＝(n_{packed,combined}>>n_bits)&((1<<n_bits)-1)

n_v＝n_{packed,combined}&((1<<n_bits)-1)

其中>>表示向右移位运算，而&表示按位“与(AND)”运算。在编码期间在映射操作中索引值n_y,n_u和n_v的排序可被改变，伴随在解码期间对映射操作的相应改变。而且，索引值n_y,n_u和n_v可具有不同的位数，伴随对编码和解码期间的映射操作的相应改变。

替换地，如果对于Y分量存在count_y个基础颜色，对于U分量存在count_u个基础颜色，且对于V分量存在count_v个基础颜色，则单一封装索引值可被如下确定：

n_{packed,combined}＝n_v*(count_y*count_u)+n_u*count_y+n_y.

对于解码，索引值n_y,n_u和n_v可被如下地重构：

n_y＝n_{packed,combined}％count_y

n_u＝(n_{packed,combined}/count_y)％count_u

n_v＝n_{packed,combined}/(count_y*count_u)

其中/表示除法，其中结果向零截断。同样，索引值n_y,n_u和n_v的排序可被改变，伴随对所使用的计数变量的相应改变。

替换地，编码器和解码器在索引值n和封装索引值n_packed之间映射时使用不同方法。

图14解说了用于在编码期间映射基础颜色的索引值的技术(1400)。该技术(1400)可由如参考图3或图5a和5b描述的编码器或由另一编码器来执行。

编码器(1410)将样本值映射到基础颜色的索引值。例如，编码器使用如上所述的基础颜色表来将亮度或色饱和度样本值映射到索引值。

编码器随后将索引值映射(1420)到用于系数编码句法结构的封装索引值的至少一部分。例如，编码器基于该索引值来设置封装索引值，例如，如在上面所述的第一映射方法中。或者，作为另一示例，如果该索引值为偶数，则编码器基于索引值除以2来设置封装索引值，但是否则该编码器基于该索引值加 1随后除以2(例如，如在上述第二映射方法中)来设置封装索引值。或者，作为另一示例，编码器使用该索引值来设置封装索引值的一部分，如在上述第三映射方法中，其中封装索引值是基于亮度索引值和多个色饱和度索引值来设置的。

编码器随后可基于封装索引值和预测的封装索引值来确定封装索引残留值，如下所述。或者，被映射到封装索引残留值的索引值可以是索引残留值。

编码器检查(1430)是否继续下一样本值。如果是，则编码器将下一样本值映射(1410)到下一索引值。编码器可按照光栅扫描图案前进遍历块的各样本值。或者，对于第三方法，编码器可将亮度块和色饱和度块中的对应位置的样本值映射到索引值，随后将那些索引值映射到封装索引值。

图15解说了用于在解码期间映射基础颜色的索引值的技术(1500)。该技术(1500)可由如参考图4或图6描述的解码器或由另一解码器来执行。

解码器将系数编码句法结构的封装索引值的至少一部分映射(1510)到基础颜色的索引值。

例如，解码器基于封装索引值来设置该索引值，例如，如在上面所述的第一映射方法中。或者，作为另一示例，如果封装索引值具有与零的给定关系，则解码器基于封装索引值乘以2来设置索引值，但是否则该解码器基于该封装索引值乘以2减1(例如，如在上述第二映射方法中)来设置索引值。或者，作为另一示例，解码器使用该封装索引值的一部分来设置该索引值，例如，如在上述第三映射方法中，其中亮度索引值和多个色饱和度索引值是基于封装索引值来设置的。

解码器将索引值映射(1520)到样本值。例如，解码器使用如上所述的基础颜色表来将亮度或色饱和度索引值映射到样本值。

在映射操作之前，解码器可预测给定封装索引值，随后将封装索引残留值和预测的封装索引值相组合以重构该封装索引值。或者，被重构的索引值可以是索引残留值。

解码器检查(1530)是否继续下一索引值。如果是，则解码器将该系数编码句法结构的封装索引值的至少一部分映射(1510)到基础颜色的下一索引值。解码器器可按照光栅扫描图案前进遍历块的各索引值。或者，对于第三方法，解码器可将封装索引值映射到亮度块和色饱和度块中的对应位置的多个索引值，随后将那些索引值映射到样本值。

D.索引图的元素的预测。

编码器和解码器也可使用索引图的元素的预测。当预测工作良好时，许多索引残留值(或封装索引残留值)具有值0。预测改善了典型熵编码模式中的编码效率，因为更接近0的值被使用更少的位来编码。

图16示出了具有维度i,j的索引值n的块(1610)，其中0≤i≤7且0≤j ≤7。替换地，预测被应用到另一大小的块(例如4x4,16x16或32x32)。在编码期间，编码器在逐个索引值的基础上从一个或多个相邻索引值来预测给定索引值n(i,j)。预测的方向可以是水平、垂直、右下方向的对角、或某个其它方向。在图16中，例如，预测的方向是垂直，从而产生索引残留值n_resid的块(1630)。索引值n(i,j)被使用同一列中的前一索引值n(i,j-1)来预测。索引残留值简单地为这两个值之间的差。n_resid(i,j)＝n(i,j)-n(i,j-1)。类似地，对于水平预测，索引残留值是该索引值和作为所预测的索引值的其左侧的相邻索引值之间的差： n_resid(i,j)＝n(i,j)-n(i-1,j)。对于在45度向下角度的对角预测，索引残留值可被计算为n_resid(i,j)＝n(i,j)-(n(i,j-1)+n(i-1,j))>>1，或可被计算为n_resid(i,j)＝n(i,j)-n(i-1,j-1)。其它对角方向上的预测可简单地取决于预测的角度来混合相邻索引值。为了块的边处的预测(例如i<0和/或j<0)，相邻索引值可具有值0 或被赋予一默认值(例如，索引值的数字除以2)。在解码期间，解码器确定相同的预测的索引值(取决于预测的方向)并将预测的索引值与索引残留值相组合。对于垂直预测，n(i,j)＝n_resid(i,j)+n(i,j-1)。对于水平预测，n(i,j)＝n_resid(i, j)+n(i-1,j)。对于在45度向下角度的对角预测，n(i,j)＝n_resid(i,j)+(n(i,j-1)+ n(i-1,j))>>1或n(i,j)＝n_resid(i,j)+n(i-1,j-1)。其它对角方向上的预测可简单地取决于预测的角度来混合相邻索引值。

在图16中，在索引值被映射到封装索引值之前应用预测。替换地，在索引值被映射到封装索引值之后应用预测。

图17示出了具有维度i,j的封装索引值n的块(1710)，其中0≤i≤7且 0≤j≤7。替换地，预测被应用到另一大小的块(例如4x4,16x16或32x32)。在编码期间，编码器在逐个封装索引值的基础上从一个或多个相邻封装索引值预测给定封装索引值n_packed(i,j)。预测的方向可以是水平、垂直、右下方向的对角、或某个其它方向。在图17中，例如，预测的方向是垂直，从而产生封装索引残留值n_packed,resid的块(1730)。封装索引值n_packed(i,j)被使用同一列中的前一封装索引值n_packed(i,j-1)来预测。封装索引残留值简单地为这两个值之间的差。n_packed,resid(i,j)＝n_packed(i,j)-n_packed(i,j-1)。类似地，对于水平预测，封装索引残留值是该封装索引值和作为所预测的索引值的其左侧的相邻封装索引值之间的差：n_packed,resid(i,j)＝n_packed(i,j)-n_packed(i-1,j)。对于在45度向下角度的对角预测，封装索引残留值可被计算为n_packed,resid(i,j)＝n_packed(i,j)-(n_packed(i, j-1)+n_packed(i-1,j))>>1，或可被计算为n_packed,resid(i,j)＝n_packed(i,j)-n_packed(i-1, j-1)。其它对角方向上的预测可简单地取决于预测的角度来混合相邻封装索引值。为了块的边处的预测(例如i<0和/或j<0)，相邻封装索引值可具有值 0或被赋予一默认值。在解码期间，解码器确定相同的预测的封装索引值(取决于预测的方向)并将预测的封装索引值与封装索引残留值相组合。对于垂直预测，n_packed(i,j)＝n_packed,resid(i,j)+n_packed(i,j-1)。对于水平预测，n_packed(i,j)＝n_packed,resid(i,j)+n_packed(i-1,j)。对于在45度向下角度的对角预测，n_packed(i,j)＝n_packed,resid(i,j)+(n_packed(i,j-1)+n_packed(i-1,j))>>1或n_packed(i,j)＝n_packed,resid(i,j)+n_packed(i-1,j-1)。其它对角方向上的预测可简单地取决于预测的角度来混合相邻封装索引值。

在前一预测示例中，减法运算在编码期间被使用，而加法运算在解码期间被使用。替换地，编码器和解码器可在预测中使用按位异或(XOR)运算。

在预测封装索引值时，编码器将封装索引残留值确定为封装索引值XOR 其预测的封装索引值。在预测索引值时，编码器将索引残留值确定为索引值 XOR其预测的索引值。残留值被信令给解码器。预测的值可取决于预测的方向 (例如，水平、垂直、对角)。

在预测封装索引值时，解码器将封装索引残留值确定为其封装索引残留值 XOR预测的封装索引值。在预测索引值时，解码器将索引值确定为其索引残留值XOR其预测的索引值。同样，预测的值可取决于预测的方向(例如，水平、垂直、对角)。

图18解说了在编码和解码期间使用XOR运算的预测。封装索引值为7，且预测的封装索引值(基于一个或多个相邻封装索引值)为6。在编码期间，编码器确定封装索引残留值为1：00000001＝00000111XOR 00000110。在解码期间，解码器根据封装索引残留值和预测的封装索引值来重构封装索引值7： 00000111＝00000001XOR 00000110。

取代被应用至一值，预测的值和残留值，的所有位，预测运算(不管是减法、XOR还是其它)可被应用到位的子集。例如，XOR运算可被应用到索引值和其预测的索引值的最低p位。假定p_mask为(1<<p)-1。编码器确定索引残留值n_resid(i,j)＝(n(i,j)>>p<<p)+(n_predicted(i,j)&p_mask)XOR(n(i,j)&p_mask)，其中 n_predicted(i,j)可以是n(i,j-1)或者n(i-1,j)或取决于预测方向的某个其它预测的值。残留值被信令给解码器。解码器确定索引值n(i,j)＝(n_resid(i,j)>>p<<p)+(n_resid(i, j)&p_mask)XOR(n_predicted(i,j)&p_mask)。相同的运算可被应用至预测的封装索引值。在部分位上的运算可被应用至这些值的若干最低有效位、若干最高有效位或中间位。经受预测运算的位可以是连续或不连续的。

在遵循HEVC句法的实现中，编码器和解码器可重用正常被用来预测残留值来取代预测索引图的元素的编码工具。具体而言，当不向残留值应用变换时 (但是可以或可以不应用量化)，编码器和解码器可使用该工具来根据相邻残留值预测残留值。用于信令其使用的编码工具和句法也可被应用至索引图的元素。

图19示出了用于在编码期间预测索引图的元素的技术(1900)。该技术 (1900)可由如参考图3或图5a和5b描述的编码器或由另一编码器来执行。

编码器编码(1910)数据，具体而言，使用预测来编码块的索引图的元素。例如，当索引图包括索引残留值时，编码器预测表示基础颜色的索引值，随后基于该索引值和预测的索引值来确定索引残留值。或者，当索引图包括封装索引残留值时，编码器预测封装索引值(其中该封装索引值是表示基础颜色且被封装到系数编码句法结构中的索引值)，随后基于封装索引值和预测的封装索引值来确定封装索引残留值。带预测的编码可包括在所述值的所有位上或在所述值的部分位上的减法运算、XOR运算或其它运算。

编码器输出(1920)经编码数据。编码器检查(1930)是否继续下一块。如果是，则编码器通过编码(1910)下一块的索引图的元素来继续。

图20示出了用于在解码期间预测索引图的元素的技术(2000)。该技术 (2000)可由如参考图4或图6描述的解码器或由另一解码器来执行。

解码器接收(2010)经编码数据并解码(2020)该经编码数据。具体而言，解码器使用预测来解码块的索引图的元素。例如，当索引图包括索引残留值时，解码器预测表示基础颜色的索引值，随后组合索引残留值和预测的索引值。或者，当索引图包括封装索引残留值时，解码器预测封装索引值(其中该封装索引值是表示基础颜色且被封装到系数编码句法结构中的索引值)，随后组合封装索引残留值和预测的封装索引值。带预测的解码可包括在所述值的所有位上或在所述值的部分位上的加法运算、XOR运算或其它运算。

解码器检查(2030)是否继续下一块。如果是，则解码器通过接收(2010) 下一块的经编码数据来继续。

E.例外值的处理。

当BCIM模式被使用时，在基础颜色表中，编码器和解码器可向在块中使用的每个不同样本值分配索引值。在一些情况下，这可导致不足以信令的基础颜色表，尤其是在一些索引值被极不频繁地使用时。当特定基础颜色在块中极少出现时，可能不值得向该基础颜色分配索引值。

在一些示例实现中，编码器和解码器可使用若干方法中的任何方法来处理在块中极少出现的基础颜色。具有这些稀少基础颜色之一的“例外”值不被使用索引值来编码或解码。

在一个方法中，当编码器标识一例外值时，编码器确定基础颜色表中用索引值表示的最接近的基础颜色。编码器使用该最接近的基础颜色的索引值来表示该例外值。解码器将该例外值作为与该基础颜色表中与该索引值相关联的样本值来重构。此方法是一种类型的有损压缩，且在一些情况下，可能导致严重的失真。

在另一方法中，编码器将例外值直接信令为样本值，所述样本值可被量化。例如，编码器确定对基础颜色表而言可能的最高封装索引值h，其取决于用于映射的方法。当n_packed＝n时，值h是n_packed的最高值。当n的奇数值被根据 n_packed＝(n+1)/2映射时，值h同样是n_packed的最高值。

编码器将例外值表示为e＝s/q+h+1，其中q是量化参数，而/表示除法，其向着0截断。如果不应用量化，q＝1，则除法运算可被跳过。在解码器侧，如果封装索引值n_packed小于或等于h，则解码器使用映射操作和基础颜色表来根据封装索引值n_packed解码样本值s，如以上所述。然而，如果封装索引值大于h，则封装索引值实际上是例外值e，且样本值被重构为s”＝(e-h-1)*q。

图21a和21b分别解说了在编码和解码期间对BCIM模式的例外值和索引值的处理(2100)。在图21a中，样本值s的块(2110)包括用基础颜色的索引值表示的一些样本值：85,41,200,168,127,26。这些值被使用图21a中示出的基础颜色表在BCIM模式中编码。

块(2110)还包括在该块中不频繁地出现且因此没有用基础颜色的索引值来表示的两个样本值。这两个例外—179和28—被使用量化参数q(其中在图 21a和21b中q＝4)和最高封装索引值h(其中在图21a和21b中h＝3)来编码。h的值取决于索引值的范围。q的值在各块、各切片、各小块、各图片等之间可改变。如在封装索引值和例外值e的块(2130)中所示，样本值179被编码为例外值49＝(181/4)+3+1，且样本值29被编码为例外值11＝(29/4)+3 +1。

如图21b中所示，在解码期间，大于3的任何封装索引值被作为例外值处理。例外值49被重构为样本值180＝(49-3-1)*4，且例外值11被重构为样本值28＝(11-3-1)*4。块(2150)中的大部分值被使用图21b中示出的映射运算和基础颜色表在BCIM模式中解码。

图22示出用于在BCIM模式中使用索引值和例外值来编码的一般化技术 (2200)。该技术(2200)可由如参考图3或图5a和5b描述的编码器或由另一编码器来执行。

编码器使用各自表示基础颜色的一个或多个索引值以及不表示任何基础颜色的一个或多个例外值来编码(2210)块的数据。例如，编码器使用如上所述的封装索引值或封装索引残留值来编码块的一些样本值。编码器还将一些样本值编码为例外值。例如，编码器使用量化参数和最高封装索引值来用例外值取代样本值。

编码器输出(2220)经编码数据。编码器检查(2230)是否继续下一块。如果是，则编码器通过编码(2210)下一块的数据来继续。

图23示出用于在BCIM模式中使用索引值和例外值来解码的技术(2300)。该技术(2300)可由如参考图4或图6描述的解码器或由另一解码器来执行。

解码器接收(2310)经编码数据并解码(2320)该经编码数据。具体而言，解码器解码一个或多个索引值，每个索引值表示一基础颜色。该一个或多个索引值可以是封装索引值或封装索引残留值。解码器还解码不表示任何基础颜色的一个或多个例外值。例如，对于所述例外值之一，解码器使用例外值、量化参数和最高封装索引值来重构样本值。

解码器检查(2330)是否继续下一块。如果是，则解码器通过接收(2310) 下一块的经编码数据来继续。

图24示出用于在BCIM模式块的解码期间使用索引值和例外值的更具体的技术(2400)。该技术(2400)可由如参考图4或图6描述的解码器或由另一解码器来执行。

对于块的封装索引值，解码器检查(2520)该值是否超出一阈值。例如，该阈值是封装索引值的最高可能值。如果封装索引值超出该阈值，则解码器将该值作为例外值处理(2540)。否则，解码器使用映射操作和基础颜色表来处理(2530)该值。解码器随后检查(2550)是否继续该块中的下一值。如果是，则解码器检查(2520)如何解码下一值。

在前述示例中，阈值基于最高封装索引残留值。替换地，当封装索引值残留值被使用时，阈值基于最高的可能的封装索引残留值，该最高的可能的封装索引残留值取决于封装索引值和其预测的封装索引值之间的最大的可能的差。

鉴于可应用所公开的本发明的原理的许多可能的实施例，应当认识到，所示实施例仅是本发明的优选示例，并且不应认为是限制本发明的范围。相反，本发明的范围由后续的权利要求来界定。我们要求作为我们的发明保护落入这些权利要求范围和精神内的所有内容。

Claims

1.一种包括一个或多个处理单元和存储器的计算设备，其中所述计算设备实现视频或图像的编码器，所述编码器被配置成执行操作，所述操作包括：

使用图片内压缩来编码图片的单元的数据，所述单元包括一个或多个块，其中所述编码使用基础颜色表和索引图，所述基础颜色表将一个或多个索引值分配到一个或多个相应的基础颜色，所述索引图包括所述一个或多个索引值中的至少一个索引值，并且所述索引图进一步包括一个或多个例外值，所述一个或多个例外值不表示所述基础颜色表中的所述一个或多个相应的基础颜色中的任何基础颜色；以及

输出所述编码数据。

2.如权利要求1所述的计算设备，其特征在于，所述编码包括，针对所述一个或多个例外值中的一个例外值：

使用量化参数来编码样本值。

3.如权利要求1所述的计算设备，其特征在于，所述一个或多个索引值是封装索引值或封装索引残留值。

4.如权利要求1所述的计算设备，其特征在于，所述编码包括，针对所述一个或多个例外值中的一个例外值，使用索引值中的最高可能值来指定所述例外值。

5.如权利要求1所述的计算设备，其特征在于，所述单元是编码单元，且其中所述编码单元具有帧内预测的预测模式。

6.如权利要求5所述的计算设备，其特征在于，所述编码数据包括旗标值，所述旗标值指示所述帧内预测是使用空间预测还是基础颜色索引图模式。

7.如权利要求1所述的计算设备，其特征在于，所述编码包括使用邻近的索引值来预测所述索引图中的给定索引值。

8.如权利要求7所述的计算设备，其特征在于，所述编码包括，所述邻近的索引值高于所述索引图中的所述给定索引值。

9.一种在具有视频解码器或图像解码器的计算设备中的方法，该方法包括：

接收图片的单元的经编码数据，所述单元已被使用图片内压缩编码，所述单元包括一个或多个块；以及

解码所述经编码数据，其中所述解码使用基础颜色表和索引图，所述基础颜色表将一个或多个索引值分配到一个或多个相应的基础颜色，所述索引图包括所述一个或多个索引值中的至少一个索引值，且所述索引图进一步包括一个或多个例外值，所述一个或多个例外值不表示所述基础颜色表中的所述一个或多个相应的基础颜色中的任何基础颜色。

10.如权利要求9所述的方法，其特征在于，所述解码包括，针对所述一个或多个例外值中的一个例外值：

使用量化参数来重构样本值。

11.如权利要求9所述的方法，其特征在于，所述一个或多个索引值是封装索引值或封装索引残留值。

12.如权利要求9所述的方法，其特征在于，针对所述一个或多个例外值中的一个例外值，索引值中的最高可能值指定所述例外值。

13.如权利要求9所述的方法，其特征在于，所述单元是编码单元，且其中所述编码单元具有帧内预测的预测模式。

14.如权利要求13所述的方法，其特征在于，所述经编码数据包括旗标值，所述旗标值指示所述帧内预测是使用空间预测还是基础颜色索引图模式。

15.如权利要求9所述的方法，其特征在于，所述解码包括使用邻近的索引值来预测所述索引图中的给定索引值。

16.如权利要求15所述的方法，其特征在于，所述邻近的索引值高于所述索引图中的所述给定索引值。

17.一种在具有视频解码器或图像解码器的计算设备中的系统，该系统包括：

用于接收图片的单元的经编码数据的装置，所述单元已被使用图片内压缩编码，所述单元包括一个或多个块；以及

用于解码所述经编码数据的装置，其中所述解码使用基础颜色表和索引图，所述基础颜色表将一个或多个索引值分配到一个或多个相应的基础颜色，所述索引图包括所述一个或多个索引值中的至少一个索引值，且所述索引图进一步包括一个或多个例外值，所述一个或多个例外值不表示所述基础颜色表中的所述一个或多个相应的基础颜色中的任何基础颜色。

18.如权利要求17所述的系统，其特征在于，用于解码的装置包括，针对所述一个或多个例外值中的一个例外值：

用于使用所量化参数来重构样本值的装置。

19.如权利要求17所述的系统，其特征在于，针对所述一个或多个例外值中的一个例外值，索引值中的最高可能值指定所述例外值。

20.如权利要求17所述的系统，其特征在于，所述单元是编码单元，且其中所述编码单元具有帧内预测的预测模式，且其中所述经编码数据包括旗标值，所述旗标值指示所述帧内预测是使用空间预测还是基础颜色索引图模式。

21.如权利要求17所述的系统，其特征在于，用于解码的装置包括用于使用邻近的索引值来预测所述索引图中的给定索引值的装置，且其中所述邻近的索引值高于所述索引图中的所述给定索引值。

22.一种具有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求9-16中任一权利要求所述的方法。