CN107251555B - 编解码视频数据的方法和装置 - Google Patents

Abstract

本发明提供一种用于具有包括单色格式的颜色格式的视频数据的调色板编码的方法和装置。系统确定视频数据是单色还是非单色。如果视频数据是单色的，那么对应于一个或多个调色板编码参数的一个或多个单分量值，在视频比特流中被解析或被发送，以用于输入单色视频数据的单色分量。然后使用调色板编码参数将调色板解码应用于输入单色视频数据的单颜色分量。如果视频数据是非单色的，则对应于一个或多个调色板编码参数的一个或多个多分量值，在视频比特流中被解析或被发送，以用于输入非单色视频数据的多颜色分量。使用调色板编码参数将调色板解码应用于输入非单色视频数据的多颜色分量。

Description

编解码视频数据的方法和装置

交叉引用

本发明主张在2015年2月17日提出的申请号为62/117,106的美国临时专利申请的优先权；主张在2015年2月24日提出的申请号为62/119,946的美国临时专利申请的优先权；主张在2015年4月8日提出的申请号为62/144,520的美国临时专利申请的优先权。因此在全文中合并参考这些专利申请案。

技术领域

本发明是有关于视频数据的调色板编码，特别是有关于视频和图像压缩中的单色格式(monochrome format)的视频数据的调色板编码。

背景技术

高效率视频编码(HEVC)是近年来开发的新的编码标准。在高效率视频编码(HEVC)系统中，H.264/AVC的固定大小的宏块被称为编码单元(coding unit,以下简称为CU)的灵活块代替。CU中的像素共享相同的编码参数，以提高编码效率。CU可以以最大的CU(largestCU,LCU)开始，也被称为HEVC中的编码树单元(coded tree unit,CTU)。除了编码单元的概念，预测单元(prediction unit,PU)的概念也在HEVC中引入。一旦完成了CU分层树的分割，根据预测类型和PU分区，每个叶CU进一步分为一个或多个预测单元。

伴随着高效率视频编码(HEVC)标准的开发，开始HEVC的扩展。HEVC扩展包括屏幕内容编码(screen content coding,SCC)。由于屏幕内容的具体特点，编码工具已被开发出来，并且在编码效率方面取得了显著的进步。其中，颜色索引编码(又称，基于主要颜色的编码)技术利用调色板(主要颜色)的索引表示像素块，并通过利用空间冗余来编码调色板和索引。虽然可能的颜色组合的总数是巨大的，但是对于典型的屏幕内容，图片区域中的颜色数量通常非常有限。因此，颜色索引编码对于屏幕内容材料变得非常有效。有关的关键颜色索引编码技术简要回顾如下。

基于主要颜色的屏幕内容编码

基于主要颜色的屏幕内容编码公开在JCTVC-O0108中(Guo等人，“RCE4：Test1.Major-color-based screen content coding”，Joint Collaborative Team onVideo Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,16thMeeting:San Jose,CA,USA,Jan.9-17,2014,Document:JCTVC-P0108)。以CU为基础进行基于主要颜色的屏幕内容编码。编码过程如下：

选择主要颜色

基于算法的简单但有效的直方图可用于分类像素。具体来说，直方图中最显著的L个峰值被选为主要颜色，接近主要颜色的像素值将被量化为主要颜色。不属于任何主要颜色集合的其他像素是转义像素(escape pixels)，这也将在编码之前进行量化。对于无损编码，不使用量化处理。对于每个像素，分配颜色索引以指示其属于哪个颜色集。当术语不会引起任何混淆时，为求方便颜色索引也可被称为索引。

如果使用L个主要颜色，则主要颜色0至主要颜色L-1的值被发送以用于L个主要颜色集，以及主要颜色N的值被发送以用于转义像素集。

编码颜色索引

在分类之后，块的像素可以根据所选择的主要颜色集被转换成颜色索引。一种预测编码方法应用于索引，其中像素线可以通过三种不同的模式来预测，包括水平模式(即复制索引模式(copy index mode))，垂直模式(即复制上方模式(copy above mode))和正常模式(即，转义模式(escape mode))。

复制索引模式

在复制索引模式中，从第一像素开始，从第一像素复制一个或多个连续的索引。发送第一个像素的索引。

复制上方模式

在该模式中，从上方的像素行复制一个或多个连续索引。

转义模式

当遇到转义像素(由主要颜色集中的最大索引发送)时，其对应的像素值在索引之后被编码。CU中可能有超过1个转义像素和不同的颜色值。对于不同的转义像素位置，转义像素的像素值可能不同。

调色板模式编码

JCTVC-P0198中公开了一种基于调色板的编码技术(Guo等人，“RCE4:Results ofTest 2on Palette Mode for Screen Content Coding”,Joint Collaborative Team onVideo Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,16thMeeting:San Jose,CA,USA,Jan.9-17,2014,Document:JCTVC-P0198)。基于调色板的编码是以CU为基础进行的。编码过程如下：

调色板的传输：调色板大小首先被传送，随后是调色板元素。最大调色板尺寸设置为24。

像素值的传输：以光栅扫描顺序对CU中的像素进行编码。对于每个位置，首先发送标志以指示是否正在使用“复制模式(run mode)”(即，本公开中的“复制索引模式(copy-index mode)”)或“复制上方模式”。

“复制模式”：在“复制模式”(即，本公开中的“复制索引模式”)中，首先发出调色板索引，之后是“palette_run”(例如，M)。由于它们具有被发送的相同的调色板索引，因此不需要为当前位置和随后M个位置发送进一步的信息。如果颜色空间对应于YUV，调色板索引(例如，i)由所有三个颜色分量共享，这意味着重建像素值为(Y，U，V)＝(调色板Y[i]，调色板U[i]，调色板V[i])。

“复制上方模式”：在“复制上方模式”中，值“copy_run”(例如，N)被发送以指示对于以下N个位置(包括当前的一个)，调色板索引等于到上方行中相同位置处像素的调色板索引。

残差的传输：所发送的调色板索引被转换回到像素值并用作预测。残差信息使用HEVC残差编码传输，并被添加到重建的预测中。

自先前行复制

在JCTVC-R0202中，揭示另一索引编码模式，也称为“自先前行复制(copy fromprevious row)”(Zou等人，“Non-SCCE3:Copy from previous row mode for palettecoding”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3andISO/IEC JTC 1/SC 29/WG 11,18th Meeting:Sapporo,Japan,June 30–July 9,2014,Document:JCTVC-R0202)。该方法能够复制自当前编码单元上方行之上的先前已编码行。为了实现更好的编码效率，根据JCTVC-R0202，所有先前的编码行都可以作为参考。因此，该模式称为“自先前行复制”。此模式将添加到可用的调色板模式候选列表中。当当前字符串选择“自先前行复制”模式时，编码行索引信息。行索引使用截断二进制码字(truncatedbinary codeword)进行编码。基本上，为靠近当前行的行设计了较短的码字。与其他模式类似，匹配长度被编码在比特流中。

在JCTVC-O0108和JCTVC-P0198中，公开了类似的基于调色板的编码方法。这些引用对相关参数使用略有不同的术语。在本公开中，JCTVC-O0108中的术语“调色板”和JCTVC-P0198中的术语“主要颜色组”被称为“主要颜色表”。JCTVC-O0108中的术语“调色板索引”和JCTVC-P0198中的术语“颜色索引”在本公开中被称为“颜色索引”。与当前编码单元相关的颜色索引被称为“索引图”。

对于索引图中的索引的复制，需要发送几个元素，包括：

1)复制类型：是复制上方(copy above run)或复制索引(copy index run)。

2)调色板索引：在复制索引复制中，发送用于此复制的索引。

3)复制长度：复制上方和复制索引类型的复制长度。

4)转义像素：如果复制过程中有N(N>＝1)个转义像素，则需要N个像素值被发送以用于这N个转义像素。

在JCTVC-T0065中(Karczewicz等人，Non CE1:Grouping Palette Indices AtFront,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3andISO/IEC JTC 1/SC 29/WG 11,20th Meeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T0065)，公开了一种语法信令，其中所有调色板索引被分组在一起。调色板索引的数量首先被发送，随后是调色板索引。

HEVC屏幕内容编码规范中的调色板索引复制类型和复制长度的编码(Joshi等人，High Efficiency Video Coding(HEVC)Screen Content Coding:Draft 2,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC1/SC 29/WG 11,19th Meeting:Strasbourg,FR,17–24Oct.2014,Document:JCTVC-S1005)如下：

表1

如表1所示，如注释(1-1)和注释(1-2)所示，调色板复制类型(即palette_run_type_flag[xC][yC])和调色板索引(即palette_index_idc)的语法元素被并入以用于每次出现。如表1中注释(1-3)和注释(1-4)所示，两个语法元素palette_run_msb_id_plus1和palette_run_refinement_bits用于分别发送对应于最高有效位(most significant bit,MSB)部分和精处理(refinement)部分的复制长度。

在屏幕内容编码(Screen Content Coding,SCC)开发过程中，已经描述了各种视频编码工具，包括“帧内图像块复制”(Intra picture block copy,IntraBC)技术。IntraBC技术首先在JCTVC-M0350中被揭示(Budagavi等人，AHG8:Video coding using Intramotion compensation,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and ISO/IEC JTC 1/SC 29/WG11 13th Meeting:Incheon,KR,18–26Apr.2013,Document:JCTVC-M0350)。根据JCTVC-M0350的例子如图1所示，其中使用帧内运动补偿(motion compensation,MC)对当前编码单元(CU，110)进行编码。预测块(120)通过当前编码单元和位移矢量(112)而定位。在该示例中，搜索区域限于当前编码树单元(coding treeunit,CTU)，左侧CTU和左侧第二个CTU。从已重建区域获得预测块。然后，对位移矢量(也称为运动矢量(motion vector,MV)或块矢量(block vector,BV))和用于当前编码单元的残差进行编码。众所周知，HEVC采用CTU和CU块结构作为编码视频数据的基本单元。每张图片被划分为CTU，以及每个CTU被划分为CU。在预测期间，每个CU可以被划分为多个块(称为预测单元(prediction units,PUs))，用于执行预测处理。

在JCTVC-M0350中，在以下方面，IntraBC与用于帧间预测的运动补偿不同：

·对于IntraBC，块向量被限制为1维(即，水平或垂直)，而Inter预测使用2维运动估计。

·用于IntraBC的二值化是固定长度，而帧间预测使用指数哥伦布码(exponential-Golomb)。

·IntraBC引入了一个新的语法元素来发送块向量是水平还是垂直。

基于JCTVC-M0350，Pang等人在Non-RCE3中做了一些修改(Intra MotionCompensation with 2-D MVs,Joint Collaborative Team on Video Coding(JCT-VC)ofITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,14th Meeting:Vienna,AT,25July–2Aug.2013,Document:JCTVC-N0256)(在下文中称为JCTVC-N0256)。首先，IntraBC扩展到支持2维运动向量，使得水平和垂直运动分量可以同时为0。这为IntraBC提供了比原始方法更多的灵活性，其中运动向量被限制为严格的水平或垂直。

在JCTVC-N0256中，公开了两种块向量编码方法：

方法1-块向量预测。选择左侧或上方块向量作为块向量预测子，并且对所得到的运动矢量差(motion vector difference,BVD)进行编码。一个标志用于指示BVD是否为零。当BVD不为零时，使用3阶的指数哥伦布码来编码BVD的剩余绝对水平。另一标志用于编码符号。

·方法2：无块向量预测。块向量使用在HEVC中用于BVD的指数哥伦布码进行编码。

JCTVC-N0256中公开的另一个差异在于，二维IntraBC进一步与管线友好地相结合：

1.不使用插值滤波器。

2.块向量搜索区域被限制。两个情况揭示如下：

a.搜索区域为当前CTU和左侧CTU，或者

b.搜索区域为当前CTU和左侧CTU的最右边4列采样。

在JCTVC-N0256中提出的方法中，在HEVC SCC标准草案中已经采用了2维IntraBC，去除插值滤波器、以及搜索区域限制为当前CTU和左CTU。

根据JCTVC-R1005的解码和解析过程简要描述如下。

1.调色板的信令：

1.1首先发送“调色板共享标志”，以指示调色板预测子用作当前调色板。如果是，则跳过步骤1.2至步骤1.4中的以下过程。

1.2发送“重用标志”，以指示调色板预测子中的哪一个元素用于当前调色板中。

1.3发送“非预测元素数”，以指示当前调色板中有多少元素不从调色板预测子而被预测。

1.4发送每个非预测元素的值。

2.发送颜色索引图：

2.1块中的像素可以以水平光栅扫描顺序，垂直光栅顺序，水平遍历扫描顺序和垂直遍历顺序进行编码。

2.2对于每个位置，首先发送一个标志，以指示使用“复制上方模式”和“新复制模式”之间的哪个预测模式。

2.3当使用“复制上方模式”时，“复制(run)次数”跟随上述标志。对于复制次数，索引与沿扫描顺序的上方行索引相同

2.4当使用“新复制模式”时，在该标志之后发送“索引”。

2.4.1当“索引”为“转义”时，像素值本身被发送。

2.4.2当“索引”在调色板表中时，发送“复制次数”。对于给定的复制次数，其索引值与发送的索引值相同。

在现有的调色板编码实践中，调色板编码总是应用于具有诸如YUV或RGB的多颜色格式的底层视频数据。没有提到关于单色视频数据的调色板编码。期望开发用于单色视频数据的调色板编码技术。

发明内容

根据本发明的实施方式，揭示了一种用于具有包括单色格式的颜色格式的视频数据的调色板编码的方法和装置。在一个实施例中，系统确定视频数据是单色还是非单色。如果视频数据是单色的，那么对应于一个或多个调色板编码参数的一个或多个单分量值，在视频比特流中被解析或被发送，以用于输入单色视频数据的单色分量。然后使用调色板编码参数将调色板解码应用于输入单色视频数据的单颜色分量。如果视频数据是非单色的，则对应于一个或多个调色板编码参数的一个或多个多分量值，在视频比特流中被解析或被发送，以用于输入非单色视频数据的多个颜色分量的。使用调色板编码参数将调色板解码应用于输入非单色视频数据的多颜色分量。颜色格式语法元素可以自视频比特流而被解析或被发送于视频比特流中，以识别视频数据是单色还是非单色。

在一个示例中，调色板编码参数对应于调色板表的调色板条目。调色板条目可以在编码单元(CU)中被解析或被发送。颜色格式语法元素可用于确定对应的单分量值或对应的多分量值是否被解析或被发送以用于每个调色板条目。颜色格式语法元素可以对应于语法元素chroma_format_idc，从中导出颜色格式参数ChromaArrayType并用于指示当前视频序列的颜色格式。此外，基于ChromaArrayType，指示被发送以用于每一个调色板条目的颜色分量值的数目的变量被导出。如果ChromaArrayType具有指示单色格式的值，则变量设置为1，如果ChromaArrayType具有指示一个非单色格式的值，则变量设置为3。

在另一示例中，调色板编码参数对应于不属于调色板表的像素的转义值。每个转义值可以从CU中被解析或在CU中被发送。颜色格式语法元素可以用于确定一个对应的单分量值或一个对应的多分量值是否被解析以用于每一个转义值。

在另一示例中，调色板编码参数对应于用于编码单元的调色板表的预测编码的调色板预测子。调色板预测子可自图像参数集(picture parameter set,PPS)或序列参数集(sequence parameter set,SPS)而被解析。颜色格式语法元素可对应于从PPS或SPS中被解析或被发送的语法元素monochrome_palette_flag。指示被发送以用于每一个调色板条目的颜色分量值的数目的变量基于monochrome_palette_flag而被导出。若monochrome_palette_flag具有指示单色格式的值，则变量设置为1；若monoch_palette_flag具有指示非单色格式的值，则将变量设置为3。

附图说明

图1示出了用于屏幕内容编码(screen content coding,SCC)的帧内块复制(Intra Block Copy,IntraBC)编码的示例。

图2示出了包含本发明实施例的用于调色板编码的视频解码器的示例性流程图。

图3示出了包含本发明的实施例的用于调色板编码的视频编码器的示例性流程图。

具体实施方式

以下描述是实施本发明的最佳实施方式。这一描述是为了说明本发明的一般原理，而不应被认为是限制性的。本发明的范围最好通过所附权利要求书来确定。

单色调色板编码模式

当视频的颜色格式是单色(monochrome)时，在本公开中也称为黑白颜色(monochrome color)，在每个像素位置中仅具有一个分量时，公开了用于发送单色调色板信息的各种语法表，以处理使用调色板编码模式编码的此种视频。

实施例1：当颜色格式为单色时，没有调色板模式。

示例性语法表如表2所示。如表2所示，如果如注释(2-1)所示颜色格式为单色(即，ChromaArrayType＝0)，则如注释(2-2)所示调色板标志palette_mode_flag[x0][y0]将不会发送。

表2

如表3所示上述语法表可以被添加到编码单元语法中。表4示出了对于单色视频禁用调色板模式的另一个编码单元语法表。然而，附加条件被添加至测试以用于允许调色板模式，其中，如注释(4-1)所示，添加附加条件对应于当前亮度编码块的大小小于64(即，log2CbSize<6)。

表3

表4

实施例2：色度位置的填充。

对于单色视频序列，亮度像素位置不具有其对应的色度分量。为了利用基于调色板编码的3个分量，每个像素位置的两个色度位置被一个值所填充。在一个实施例中，图像的所有色度像素位置使用单个值N，其中N可以是任何像素值。在解码器处，在将基于调色板索引的3个分量的转换回像素之后，丢弃两个色度像素分量。

例如，发送调色板条目的语法不需要被改变以用于单色内容，色度像素可以用0或其他固定值填充单色内容。结合上述实施例的调色板条目的示例性语法表如表5所示。

表5

包括上述实施例的用于转义像素的示例性语法表如表6所示。

表6

实施例3：不发送用于转义像素的色度分量。

当发送转义像素时，需要对所有三个分量中的像素值进行编码。对于使用调色板模式的单色视频编码，根据本实施例，不会对转义像素的色度分量进行编码。表7中显示了一个示例性语法表。如表7所示，如果如注释(7-1)所示颜色格式为单色，则色度分量的转义像素值palette_escape_val(由注释(7-2)所示))将不会被发送。在本实施例中，仅发送用于单色内容的转义像素的亮度值。

表7

实施例4：不发送新调色板条目的色度分量。

当新的调色板条目不在当前调色板预测子中时，其所有分量的像素值需要被编码。对于使用调色板编码模式的单色视频编码，根据本实施例，新调色板条目的色度分量将不被编码。在解码器侧，用于色度位置的建议的填充值N用于将该新调色板条目重建为3分量像素。

示例性语法表如表8所示。如表8所示，如果如注释(8-1)所示颜色格式是单色(即，ChromaArrayType＝0)，像素条目palette_entry(由注释(8-2)所示)将被发送以用于亮度分量(即，cIdx＝0)。

表8

实施例5：将当前调色板编码方案的使用扩展到单色格式。

单色内容的调色板编码语法表

根据该实施例，现有的调色板编码方案可以应用于单色格式。结合该实施例的示例性语法表如表9所示，其中如注释(9-1)所示省略了颜色格式检查(即，ChromaArrayType)。换句话说，调色板编码是允许用于所有颜色格式，包括单色。表10示出了与表9类似的另一个编码单元语法表。然而，附加条件被添加到用于允许调色板模式的测试中，其中如注释(10-1)所示附加条件对应于当前亮度编码块的大小小于64(即，log2CbSize<6)。

表9

表10

编码过程

包括该实施例的示例性编码处理被揭示如下所示。现有SCC草案标准中的调色板使用三分量条目表。换句话说，每个颜色索引与三个值相关联，表示为Y，Cb和Cr。对于单色格式，Cb和Cr值不存在。为了将3分量条目表扩展为单色格式，所有Cb和Cr值都被设置为固定的非负整数。该整数可以是任何有效的像素值，具体取决于位深度。例如，对于8比特内容，该值应大于或等于零且小于256。对于10比特内容，该值应大于或等于零且小于1024。例如，对于8比特数据，所有Cb和Cr值被设置为128。在另一个示例中，所有Cb和Cr值都被设置为0。之后，使用Y-Cb-Cr组合值来导出调色板，然后调色板编码处理。当一个像素决定被编码为转义索引时，只有Y值被发送。伪码Cb和Cr的值不被发送。

表11中示出了一个示例性语法表。如表11所示，如注释(11-1)所示就像它是一个3分量颜色格式一样，转义值palette_escape_val如注释(11-2)所示以相同的方式而被发送以用于单色格式。

表11

在另一示例中，当内容是单色时，亮度分量需要被发送以用于调色板条目。伪码Cb和Cr值不被发送。表12中示出了另一个示例性语法表，其中当如注释(12-1)所示颜色格式为单色时(即，ChromaArrayType＝＝0)，如注释(12-2)所示调色板条目palette_entry被发送仅用于亮度分量(即，cTdx＝＝0)。

表12

表13中示出了另一个示例性语法表，其中如注(13-1)所示，对于单色格式(即，ChromaArrayType＝＝0)将颜色分量的数量(即，numComps)被设置为1，并且对于3分量颜色格式，颜色分量的数量被设置为3。根据注释(13-2)所示的颜色分量的数量，如注释(13-3)表示调色板条目palette_entry被发送。

表13

用于单色内容的调色板条目信令的另一示例中，伪Cb和Cr值可以被设置为固定值。因此，亮度分量和调色板表的伪码Cb和Cr值利用现有的语法表而被发送。

解码和重建过程

调色板解码和解析过程可以与现有的SCC草案标准中相同。每个索引与Y，Cb和Cr值相关联。然而，只有Y值用于重建，而Cb和Cr值被忽略。当对像素进行转义编码时，仅将Y值被解码并用于解码图像的重建。

调色板预测子更新过程

根据本发明的实施例，仅更新调色板预测子的Y分量。单色内容的示例性更新处理如下所示。

变量PreviousPaletteSize被设置为CurrentPaletteSize。当CurrentPaletteSize大于0时，变量PredictorPaletteSize和PredictorPaletteEntries被修改如下：

如上述用于调色板更新的伪代码所示，仅针对单色内容更新Y分量(即，cIdx＝＝0&&ChromaArrayType＝＝0)。更新过程的另一个例子如下所示。

变量numComps导出如下：

numComps＝(ChromaArrayType＝＝0)？1:3

变量PredictorPaletteSize和PredictorPaletteEntries被修改如下。

如上述用于调色板更新的伪代码所示，根据过程“numComps＝(ChromaArrayType＝＝0)？1：3”，颜色分量的数量(即，numComps)被设置为1，以用于单色格式(即，ChromaArrayType＝＝0)，并且颜色分量的数量被设置为3，以用于3分量颜色格式。更新过程将仅更新单色内容的Y分量。

现有的调色板预测子更新过程也可以用于单色和非单色格式。当前调色板预测子更新过程不需要更改。

用于单色格式的当前调色板的推导被揭示。变量CurrentPaletteEntries[cIdx][i]指定颜色分量cIdx的当前调色板中的第i个元素。根据本发明的实施例的用于单色格式的当前调色板推导的示例性伪码如下所示。

首先，表示颜色分量的数量的变量numComps是根据下式导出的：“numComps＝(ChromaArrayType＝＝0)？1：3”。因此，对于单色格式(即ChromaArrayType＝＝0)，numComps等于1。否则，numComps等于3。因此，以下伪代码将仅为Y分量分配一个调色板值(即，cIdx＝0)以用于单色格式，并分别分配三个调色板值给三个分量以用于非单色格式。

实施例6：在SPS中禁止单色格式的调色板编码。

SPS中的标志“palette_mode_enabled_flag”可以被发送，以指定是否为当前视频序列启用调色板编码。当序列是单色时，标记可被推断为0，即ChromaArrayType等于零。因此，不需要发送标志以用于单色内容。或者，标志仍然被发送。然而，当序列为单色格式时，标志被强制为零。

实施例7：用于单色的调色板预测子初始化。

在现有的HEVC SCC草案标准中，语法元素palette_entry指定用于当前调色板的调色板条目中的分量的值。

变量PredictorPaletteEntries[cIdx][i]指定颜色分量cIdx的预测子调色板中的第i个元素。变量CurrentPaletteEntries[cIdx][i]指定颜色分量cIdx的当前调色板中的第i个元素，并导出如下：

在常规方法中，调色板预测子初始化表达式(palette predictor initializer)在PPS级被通知，这意味着调色板预测子信息被发送以用于每一个图像。为了提高编码效率，SPS级调色板预测子初始化表达式被揭示。在一个实施例中，SPS级调色板预测子的值被发送，并且可以由序列中的视频数据使用以用作调色板预测子。表14中显示了一个示例性的sps_scc_extension()语法表，其中如注释(14-1)所示语法元素sps_palette_predictor_initializer_present_flag被发送以指示调色板预测子初始化表达式是否存在于SPS SCC扩展语法表中。如果如注释(14-2)所示语法元素sps_palette_predictor_initializer_present_flag等于1，如注释(14-3)至注释(14-4)所示与调色板预测子初始化表达式相关的参数和调色板预测子初始化表达式的值被发送。与调色板预测子初始化表达式相关的参数包括参数“sps_luma_bit_depth_entry_minus8”，“sps_chroma_bit_depth_entry_minus8”和“sps_num_palette_predictor_initializer_minus1”。一组初始调色板预测子的值由“sps_palette_predictor_initializers[][]”而被发送。虽然在表14中使用了特定的语法元素，但是这些语法元素用于解释本发明的实施例的目的，并不应被解释为对本发明的限制。

表14

在目前的SCM 4.0中(JCTVC-T1014：Joshi等人，Screen content coding testmodel 4(SCM 4),Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP 3and ISO/IEC JTC 1/SC 29/WG 11,20th Meeting:Geneva,CH,10–18Feb.2015,Document:JCTVC-T1014)。调色板预测子初始化过程如下。此过程的输出是初始化的调色板预测子变量PredictorPaletteSize和PredictorPaletteEntries。PredictorPaletteSize的推导如下所示：

阵列PredictorPaletteEntries的推导如下所示：

本发明的实施例公开了单色格式的调色板预测子的初始化。当视频数据是单色格式时，调色板表中的色度值不被发送。此外，没有发送chroma_bit_depth_entry_minus8。pps_scc_extensions()的一个示例性语法表如表15所示。在表15中，如注释(15-1)所示，发送标志monochrome_palette_flag，以指示视频数据是否为单色。当注释(15-2)所示视频数据不是单色时，如注释(15-3)所示参数chroma_bit_depth_entry_minus8被发送。换句话说，如果视频数据是单色，参数chroma_bit_depth_entry_minus8不被发送。如注释(15-4)所示颜色分量numComps的数量被确定。如通过注释(15-5)至注释(15-6)的语法行所指示，根据颜色分量的数量，一个预测子的值或三个预测子的值被发送。

表15

调色板预测子变量的初始化过程

公开了根据本发明实施例的调色板预测子的初始化过程。此过程的输出是初始化的调色板预测子变量PredictorPaletteSize和PredictorPaletteEntries。PredictorPaletteSize的推导如下所示：

代表颜色分量的数目的变量numComps的推导如下所示，

numComps＝(ChromaArrayType＝＝0)？1:3

阵列PredictorPaletteEntries的推导如下所示：

如上所示，根据颜色分量的数量，一个预测子或三个预测子的值自PPS级的调色板预测子的每一个条目(即，palette_predictor_initializers[i][comp])至当前调色板预测子的条目(即PredictorPaletteEntries[i][comp])而被复制。

对于SPS调色板初始化信令，需要如表16所示修改语法表以用于单色格式。如表16所示，如果如注释(16-1)所示SPS级调色板预测子存在标志等于1，则亮度分量参数sps_luma_bit_depth_entry_minus8始终如注释(16-2)所示被发送。另一方面，只要视频数据如注释(16-3)所示不是单色时，色度相关参数sps_chroma_bit_depth_entry_minus8如注释(16-4)所示被发送。颜色分量的数量(即numComps)根据注释(16-5)所示的ChromaArrayType来确定。如从注释(16-6)到注释(16-7)的语法行所示，根据颜色分量的数量，一个预测子的值或三个预测子的值被发送以用于每一个SPS调色板预测子。

表16

也可以使用表14中的SPS级语法表。

对于PPS调色板初始化表达式信令，如表17所示的示范性语法表用于单色格式。如表17所示，如果如注释(17-1)所示PPS级调色板预测子存在标志等于1，则亮度分量参数monochrome_palette_flag如注释(17-2)所示被发送。只有如注(17-3)所示视频数据不是单色(即，！monoch_palette_flag等于1)时，色度相关参数pps_chroma_bit_depth_entry_minus8如注释(17-4)所示被发送。如注释(17-5)所示，颜色分量的数量(即numComps)根据ChromaArrayType来确定。如从注释(17-6)至注释(17-7)的语法行所示，根据颜色分量的数量，一个预测子的值或三个预测子的值被发送以用于每一个PPS调色板预测子条目。

表17

SPS和PPS中具有初始化表达式的调色板预测子变量的初始化过程

该过程的输出是初始化的调色板预测变量PredictorPaletteSize和PredictorPaletteEntries。PredictorPaletteSize的推导如下所示：

变量numComps的推导如下所示：

numComps＝(ChromaArrayType＝＝0)？1:3

阵列PredictorPaletteEntries的推导如下所示：

IntraBC存储带宽减少的考虑

在本发明的另一方面，解决了IntraBC存储器带宽减少的问题。下面公开了几个实施例。

实施例1：CU或CTU级的IntraBC参考标志

在具有调色板编码模式的HEVC标准中，重建块的未过滤版本被存储并作为参考数据来使用以用于IntraBC编码块。然而，对于在帧间/帧内预测模式中已编码的块，重建块的已滤波版本(即，通过去块和采样自适应偏移)被存储并作为参考数据。因此，可能需要存储重建数据的过滤版本和未过滤版本。对于每个编码单元(CU)或编码树单元(CTU)，使用标志来指示该块是否被IntraBC模式中编码的后续块作为参考块。如果没有，则不需要存储该块的重建采样的未滤波版本。这样的标记可以在切片头中组合在一起。当解析切片头时，关于当前切片中的所有CU或CTU是否用于IntraBC参考的状态是已知的。

在该方法中，可以使用具有上下文建模的上下文自适应二进制算术编码(context-adaptive binary arithmetic coding,CABAC)或者不使用上下文建模的旁路编码来对这组标志进行熵编码。当使用上下文时，这些标志中的每一个可以取决于其用于上下文建模的左侧和/或上方相邻标志的值。它也可能取决于最后编码标志的值。

在实施例1的变型中，根据标志的状态，CU或CTU将仅存储重建采样的一个版本。如果它被标记为用于IntraBC参考，则不会使用滤波操作，如去块或SAO。

实施例2：在切片级中的IntraBC参考标志

切片级标志被用于发送此切片的CU或CTU中的IntraBC参考标志是否存在。类似地，IntraBC参考标志控制可以在图像级或序列级中被发送以指示此图像或序列的CU或CTU中的IntraBC参考标志是否存在。

实施例3：CU或CTU的估计的IntraBC参考的使用

根据本实施例，估计当前图像中的CU或CTU是否用于IntraBC参考。例如，先前编码图像中的CU或CTU的状态可用于预测当前图像中的CU或CTU是否将用于IntraBC参考。当当前图像和并置图像(the collocated picture)都具有类似的“预测机制”时，这种预测是有效的。可以选择具有与当前图像的最小图像顺序计数(picture order count,POC)差值的先前编码图像作为先前编码图像。关于并置的CU或CTU是否用于IntraBC参考的并置的CU或CTU的状态被检查并被用于预测或估计当前图像的CU或CTU的状态。例如，如果在前一图像中具有空间位置(x，y)的CTU(x，y)中的一些像素用于IntraBC参考，则当前图像中相同位置的CTU的标志被设置为“用于IntraBC参考”。在另一示例中，当前图像和先前图像可以共享类似的预测模式，例如两个图像具有帧间参考图像或IntraBC参考图像。

以IntraBC为参考的CU或CTU中的像素数目所使用的标准可以基于阈值。当在先前编码图像的CU或CTU中参考的IntraBC的像素数目超过阈值时，预测当前图像的CU或CTU以用于IntraBC参考。该阈值可以取决于一些编码参数，例如QP(量化参数)，CU或CTU大小。

根据该实施例，先前编码图像中的像素与当前图像的CU或CTU中的像素之间的对应关系不一定是精确地并置。例如，可以使用由先前编码图像中的并置CU或CTU居中的空间窗口来收集用于IntraBC参考的像素数量的统计。在另一示例中，可以使用包含多于一个先前编码的图像的时间窗口。在又一示例中，可以使用空间和时间相邻像素。

图2示出了包含本发明实施例的调色板编码的视频解码器的示例性流程图。在步骤210中，系统接收与视频数据相关联的视频比特流。在步骤220中检查视频数据是否为单色。如果视频数据是单色的(即“是”路径)，则执行步骤230和步骤240。否则(即“否”路径)，执行步骤250和260。在步骤230中，对于一个或多个调色板编码参数的一个或多个单分量值自输入单色视频数据的单颜色分量的视频比特流而被解析。在步骤240中，使用该一个或多个调色板编码参数，将调色板解码应用于输入单色视频数据的单颜色分量。在步骤250中，对应于一个或多个调色板编码参数的一个或多个多分量值自输入的非单色视频数据的多个颜色分量的视频比特流而被解析。在步骤260中，使用所述一个或多个调色板编码参数，将调色板解码应用于输入非单色视频数据的多个颜色分量。根据本发明的一实施方式，颜色格式语法元素可以对应于语法元素chroma_format_idc，从中导出颜色格式参数ChromaArrayType并用于指示当前视频序列的颜色格式。此外，基于ChromaArrayType，指示被发送以用于每一个调色板条目的颜色分量值的数目的变量被导出。如果ChromaArrayType具有指示单色格式的值，则变量设置为1，如果ChromaArrayType具有指示一个非单色格式的值，则变量设置为3。

图3示出了包含本发明的实施例的调色板编码的视频编码器的示例性流程图。在步骤310中，系统确定视频数据的颜色格式。在步骤320中检查视频数据是否为单色。如果视频数据是单色(即，“是”路径)，则执行步骤330和340。否则(即，“否”路径)，执行步骤350和360。在步骤330中，调色板编码被应用于输入单色视频数据的单颜色分量。在步骤340中，对应于一个或多个调色板编码参数的一个或多个单一分量值被发送以用于输入单色视频数据的单颜色分量。在步骤350中，调色板编码被应用于输入非单色视频数据的多个颜色分量。在步骤360中，对应于一个或多个调色板编码参数的一个或多个多分量值被发送以用于输入非单色视频数据的多颜色分量。

所示的流程图旨在说明根据本发明的调色板编码的示例。在不脱离本发明的精神的情况下，本领域技术人员可以修改每个步骤，重新排列步骤，拆分步骤或组合步骤来实施本发明。在本公开中，已经使用具体的语法和语义来说明实现本发明的实施例的示例。本领域技术人员可以在不脱离本发明精神的前提下，用相同的语法和语义来代替语法和语义来实践本发明。

呈现上述描述以使本领域技术人员能够在特定应用及其要求的上下文中实施本发明。对所描述的实施例的各种修改对于本领域技术人员将是显而易见的，并且本文定义的一般原理可以应用于其他实施例。因此，本发明并不限于所示出和描述的具体实施例，而应符合与本文所公开的原理和新颖特征相一致的最广范围。在上述详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以实施本发明。

以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器(Digital SignalProcessor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。

Claims (23)

1.一种用于视频编解码系统的解码视频数据的方法，其特征在于，该方法使用调色板编码，该方法包括：

接收与该视频数据相关联的视频比特流；

从该视频比特流获得颜色格式语法元素，其中该颜色格式语法元素指示该视频数据是单色的或非单色的；

基于该颜色格式语法元素确定该视频数据是单色还是非单色；

如果该视频数据是单色的：

从该视频比特流解析出一个或多个第一调色板编码参数，并使用该第一调色板编码参数构建第一调色板表，其中指示该第一调色板表的每一调色板条目的颜色分量值数目的变量被设置为第一值；以及

使用该第一调色板表将调色板解码应用于输入单色视频数据的该单颜色分量；以及

如果该视频数据是非单色的：

从该视频比特流解析出一个或多个第二调色板编码参数，并使用该第二调色板编码参数构建第二调色板表，其中指示该第二调色板表的每一调色板条目的颜色分量值数目的变量被设置为第二值，该第二值不同于该第一值；以及

使用该第二调色板表将调色板解码应用于输入非单色视频数据的该多颜色分量。

2.根据权利要求1所述的用于视频编解码系统的解码视频数据的方法，其特征在于，该一个或多个第一调色板编码参数对应于该第一调色板表的一个或多个调色板条目；以及

该一个或多个第二调色板编码参数对应于该第二调色板表的一个或多个调色板条目。

3.根据权利要求2所述的用于视频编解码系统的解码视频数据的方法，其特征在于，该一个或多个调色板条目从编码单元而被解析。

4.根据权利要求2所述的用于视频编解码系统的解码视频数据的方法，其特征在于，该颜色格式语法元素用于确定对应的单分量值或对应的多分量值是否被解析以用于每个调色板条目。

5.根据权利要求1所述的用于视频编解码系统的解码视频数据的方法，其特征在于，该一个或多个第一调色板编码参数或该一个或多个第二调色板编码参数对应于不属于调色板表的像素的一个或多个转义值。

6.根据权利要求5所述的用于视频编解码系统的解码视频数据的方法，其特征在于，每个转义值自编码单元而被解析。

7.根据权利要求5所述的用于视频编解码系统的解码视频数据的方法，其特征在于，该颜色格式语法元素用于确定一个对应的单分量值或一个对应的多分量值是否被解析以用于每个转义值。

8.根据权利要求1所述的用于视频编解码系统的解码视频数据的方法，其特征在于，该一个或多个第一调色板编码参数或该一个或多个第二调色板编码参数对应于用于编码单元的调色板表的预测编码的一个或多个调色板预测子。

9.根据权利要求8所述的用于视频编解码系统的解码视频数据的方法，其特征在于，该一个或多个调色板预测子自图像参数集或序列参数集而被解析。

10.根据权利要求9所述的用于视频编解码系统的解码视频数据的方法，其特征在于，该颜色格式语法元素对应于从图像参数集或序列参数集解析的单色调色板标志monochrome_palette_flag。

11.根据权利要求10所述的用于视频编解码系统的解码视频数据的方法，其特征在于，基于单色调色板标志monochrome_palette_flag，指示被发送以用于每一个调色板条目的该颜色分量值数目的该变量被导出，其中如果单色调色板标志monochrome_palette_flag具有一个指示单色格式的值，则该变量被设置为1，以及如果单色调色板标志monoch_palette_flag具有一个指示非单色格式的值，则该变量被设置为3。

12.一种用于视频编解码系统的编码视频数据的方法，其特征在于，该方法使用调色板编码，该方法包括：

接收输入视频数据；

发送颜色格式语法元素，该颜色格式语法元素指示该输入视频数据是单色的或非单色的；

如果该输入视频数据是单色的：

将调色板编码应用于输入单色视频数据的单颜色分量；以及

发送一个或多个第一调色板编码参数以及被设置为第一值的变量，其中该一个或多个第一调色板编码参数用于构建第一调色板表，该第一值指示该第一调色板表的每一调色板条目的颜色分量值数目；以及

如果该输入视频数据是非单色的：

将调色板编码应用于输入非单色视频数据的多颜色分量；以及

发送一个或多个第二调色板编码参数以及被设置为第二值的变量，其中该一个或多个第二调色板编码参数用于构建第二调色板表，该第二值指示该第二调色板表的每一调色板条目的颜色分量值数目。

13.根据权利要求12所述的用于视频编解码系统的编码视频数据的方法，其特征在于，该一个或多个第一调色板编码参数对应于该第一调色板表的一个或多个调色板条目；以及

该一个或多个第二调色板编码参数对应于该第二调色板表的一个或多个调色板条目。

14.根据权利要求13所述的用于视频编解码系统的编码视频数据的方法，其特征在于，该一个或多个调色板条目在编码单元中被发送。

15.根据权利要求13所述的用于视频编解码系统的编码视频数据的方法，其特征在于，该颜色格式语法元素用于确定对应的单分量值或对应的多分量值被发送以用于每个调色板条目。

16.根据权利要求12所述的用于视频编解码系统的编码视频数据的方法，其特征在于，该一个或多个第一调色板编码参数或该一个或多个第二调色板编码参数对应于不属于调色板表的像素的一个或多个转义值。

17.根据权利要求16所述的用于视频编解码系统的编码视频数据的方法，其特征在于，每个转义值在编码单元中被发送。

18.根据权利要求16所述的用于视频编解码系统的编码视频数据的方法，其特征在于，该颜色格式语法元素用于确定一个对应的单分量值或一个对应的多分量值是否被发送以用于每个转置值。

19.根据权利要求12所述的用于视频编解码系统的编码视频数据的方法，其特征在于，该一个或多个调色板编码参数对应于用于编码单元的调色板表的预测编码的一个或多个调色板预测子。

20.根据权利要求19所述的用于视频编解码系统的编码视频数据的方法，其特征在于，该一个或多个调色板预测子在图像参数集或序列参数集中被发送。

21.根据权利要求20所述的用于视频编解码系统的编码视频数据的方法，其特征在于，该颜色格式语法元素对应于在图像参数集或序列参数集中被发送的单色调色板标志monochrome_palette_flag。

22.根据权利要求21所述的用于视频编解码系统的编码视频数据的方法，其特征在于，基于单色调色板标志monochrome_palette_flag，指示被发送以用于每一个调色板条目的该颜色分量值数目的该变量被导出，其中如果单色调色板标志monochrome_palette_flag具有一个指示单色格式的值，则该变量被设置为1，以及如果单色调色板标志monoch_palette_flag具有一个指示非单色格式的值，则该变量被设置为3。

23.一种用于视频编解码系统的解码视频数据的装置，其特征在于，该装置使用调色板编码，该装置包括一个或多个电子电路，被配置为：

接收与该视频数据相关联的视频比特流；

从该视频比特流获得颜色格式语法元素，其中该颜色格式语法元素指示该视频数据是单色的或非单色的；

基于该颜色格式语法元素确定该视频数据是单色还是非单色；

如果该视频数据是单色的：

从该视频比特流解析出一个或多个第一调色板编码参数，并使用该第一调色板编码参数构建第一调色板表，其中指示该第一调色板表的每一调色板条目的颜色分量值数目的变量被设置为第一值；以及

使用该第一调色板表将调色板解码应用于输入单色视频数据的该单颜色分量；以及

如果该视频数据是非单色的：

从该视频比特流解析出一个或多个第二调色板编码参数，并使用该第二调色板编码参数构建第二调色板表，其中指示该第二调色板表的每一调色板条目的颜色分量值数目的变量被设置为第二值，该第二值不同于该第一值；以及

使用该第二调色板表将调色板解码应用于输入非单色视频数据的该多颜色分量。

Images