CN110099277A - 调色板大小发信和有条件的调色板例外标志发信的方法 - Google Patents

Abstract

本发明公开了图像和视频数据的调色板编码的方法，以避免与零大小调色板相关的问题或者通过有条件地发信编码单元级例外像素存在标志来提高性能。在一个实施例中，基于例外指示标志，有条件地发信与当前编码单元的当前调色板表的调色板大小相关的大小信息，其中例外指示标志指示在当前编码单元中是否存在被编码为例外像素的任何样本。在另一实施例中，根据当前调色板大小或预测调色板大小和新调色板大小两者，有条件地发信编码单元级例外像素存在标志。也可以基于调色板共享标志，有条件地发信调色板共享标志。

Description

调色板大小发信和有条件的调色板例外标志发信的方法

相关申请的交叉引用

本申请要求下列申请的优先权：2014年5月23日递交的申请号为62/002,221的美国临时案；2014年6月20递交的申请号为62/014,959的美国临时案；2014年7月30递交的申请号为62/030,714的美国临时案；2014年7月30递交的申请号为62/030,714的美国临时案；2014年8月11递交的申请号为62/035,625的美国临时案；2014年8月21递交的申请号为62/040,020的美国临时案；以及2014年9月22日递交的申请号为PCT/CN2014/087082的PCT专利申请案。在此合并参考这些申请案的申请标的。

技术领域

本发明涉及用于视频数据的颜色索引编码(color index coding)。具体地，本发明涉及解决当调色板大小为零时的问题的方法。

背景技术

高效率视频编码(High Efficiency Video Coding，HEVC)是近年来已经开发出来的新的编码标准。在高效率视频编码系统中，H.264/AVC的固定大小宏块被称为编码单元(coding unit，CU)的灵活块(flexible block)所替换。编码单元中的像素共享相同的编码参数以提高编码效率。编码单元可以以最大编码单元(largest CU，LCU)开始，其在HEVC中也被称为编码树单元(coded tree unit，CTU)。除了编码单元的概念，预测单元(PU)的概念也引入到了HEVC中。一旦编码单元层次树(CU hierarchical tree)的拆分(splitting)完成，则根据预测类型和预测单元分区(PU partition)将每个叶编码单元进一步拆分成一个或多个预测单元。

随着HEVC标准的开发，HEVC的扩展的开发也已开始。HEVC扩展包括以非4:2:0颜色格式(例如4:2:2和4:4:4)为目标的范围扩展(range extensions，RExt)、以及诸如每个样品12、14和16位的更高位深度视频(higher bit-depths video)。利用范围扩展的可能的应用之一是通过有线或无线连接的屏幕共享。由于屏幕内容的特定特性，编码工具已经被开发并且在编码效率方面表现出显著的改进。其中，颜色索引编码(也称为基于主要颜色(major color)的编码)技术使用调色板(主要颜色)的索引值表示(represent)像素块，并且通过利用空间冗余来编码调色板和索引。虽然可能的颜色组合的总数是巨大的，但是对于典型的屏幕内容，图片的区域中的颜色的数量通常非常有限。因此，对于屏幕内容材料，颜色索引编码变得非常有效。

在HEVC范围扩展的早期开发期间，已经公开了若干建议来解决基于调色板的编码。例如，在JCTVC-N0247(Guo et al.,“RCE3:Results of Test 3.1on Palette Mode forScreen Content Coding”,Joint Collaborative Team on Video Coding(JCT-VC)ofITU-T SG16WP 3and ISO/IEC JTC 1/SC 29/WG11,14th Meeting:Vienna,AT,25July–2Aug.2013Document:JCTVC-N0247)和JCTVC-O0218(Guo et al.,“Evaluation of PaletteMode Coding on HM-12.0+RExt-4.1”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP 3and ISO/IEC JTC 1/SC 29/WG11,15th Meeting:Geneva,CH,23Oct.–1,Nov.2013,Document:JCTVC-O0218)中公开了调色板预测和共享技术。在JCTVC-N0247中，每个颜色分量(color component)的调色板被构造和发送。可以从其左侧相邻的编码单元来预测(或共享)调色板以减小比特率。然后，使用它们的调色板索引来对给定块内的所有像素进行编码。根据JCTVC-N0247的编码处理的示例如下所示。

1.调色板的传输：首先传输颜色索引表大小，然后是调色板元素。

2.像素值的传输：编码单元中的像素以光栅扫描顺序编码。对于一个或多个像素的每个组，首先发送用于基于运行的模式(run-based mode)的标志，以指示是否正在使用“运行”模式或“复制上方”模式。

2.1“运行”模式：在“运行”模式中，首先发信调色板索引，然后是表示运行值的“palette_run”(例如，M)。运行值指示总共M个样本都使用“运行”模式编码。对于当前位置和随后的M个位置，由于它们具有与在比特流中发信的相同的调色板索引，因此不需要发送进一步的信息。调色板索引(例如，i)也可以由所有三个颜色分量共享，这意味着对于YUV色彩空间的情况，重构像素值为(Y,U,V)＝(palette_Y[i],palette_U[i],paletteV[i])。

2.2“复制上方”模式：在“复制上方”模式中，发送值“copy_run”(例如，N)，以指示对于随后的N个位置(包括当前位置)，调色板索引与在上方的行中相应的调色板索引相同。

3.残差(residue)的传输：在阶段2中传输的调色板索引被转换回像素值并且用作预测。使用HEVC残留编码(HEVC residual coding)来发送残差信息，并将残差信息添加到用于重构的预测中。

在JCTVC-N0247中公开的工作的原始版本中，每个分量的调色板可被构造和传输。可以从左侧相邻的编码单元来预测(共享)调色板以减小比特率。在JCTVC-O0218中，调色板中的每个元素是三位字节(triplet)，表示三个颜色分量的特定组合。编码单元上的调色板的预测编码被移除。

Guo等人在JCTVC-O0182(Guo et al.,“AHG8:Major-color-based screencontent coding”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP 3and ISO/IEC JTC 1/SC 29/WG11,15th Meeting:Geneva,CH,23Oct.–1,Nov.2013,Document:JCTVC-O0182)中还公开了另一种基于主要颜色的编码(颜色索引编码)方法。根据JCTVC-O0182，每个分量的调色板被构造和传输。然而，代替从左侧编码单元来预测整个调色板，可以根据上方的编码单元或左侧编码单元中的精确对应的调色板条目来预测调色板中的各个条目。

根据JCTVC-O0182，预测编码方法被应用于索引以传输像素值，其中像素行可以通过不同的模式来预测。具体地，三种行模式(line mode)可用于像素行，即水平模式、垂直模式和正常模式。在水平模式下，同一行中的所有像素具有相同的值。如果该值与上方像素行(above pixel line)的第一像素相同，则仅发送行模式发信比特(line mode signalingbits)。否则，还会传输索引值。在垂直模式中，当前像素行与上方像素行相同。因此，仅传输行模式发信比特。在正常模式下，像素行中的每一个像素都是单独预测的。对于每个像素，左侧或上方的相邻像素被用作预测器(predictor)，并且预测符号被发送到解码器。此外，像素被分类为主要颜色像素和例外像素(escape pixel)。对于主要颜色像素，解码器使用主要颜色索引和调色板重构像素值。对于例外像素，编码器将进一步发送像素值。

调色板大小发信(signaling)

在SCM-2.0(Joshi et al.,Screen content coding test model 2(SCM 2),Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IECJTC 1/SC29/WG11,18th Meeting:Sapporo,JP,30June–9July 2014,Document:JCTVC-R1014)中，包括块矢量(block vector，BV)，改进的调色板方案。改进的调色板方案是基于JCTVC-R0348(Onno et al.,Suggested combined software and text for run-basedpalette mode,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and ISO/IEC JTC 1/SC29/WG11,18th Meeting:Sapporo,JP,30June–9July 2014,Document:JCTVC-R0348)。在SCM-2.0中，调色板的大小被设置为预测调色板的大小和传输的调色板大小的大小。预测调色板是从先前重构的调色板编码的编码单元导出的调色板。当当前编码单元被编码为调色板模式时，未通过预测调色板预测的那些调色板颜色在比特流中直接传输。例如，如果当前编码单元被编码为具有调色板大小等于六的调色板模式，则六种主要颜色中的三种是从预测调色板预测的，三种是通过比特流直接传输的，传输的三种可以使用如下示例语法来表示。

palette_num_signalled_entries＝3

for(cIdx＝0；cIdx<NumComp；cIdx++)

for(i＝0；i<palette_num_signalled_entries；i++)

palette_entries[cIdx][numPredPreviousPalette+i]

由于在该示例中调色板大小为六，所以从0到5的调色板索引用于指示每个调色板编码像素，其中每个调色板编码像素可以被重构为调色板颜色表(color table)中的主要颜色。在上述伪代码中，palette_num_signalled_entries表示被发信的条目的数量。循环索引为cIdex的第一个循环对应于NumComp颜色分量的每个颜色分量的循环。具有循环索引i的第二循环对应于被发信的调色板条目的循环。

在SCM-2.0中，为了指示像素被编码为例外像素，例外像素的颜色索引被发信为等于调色板大小的值。根据一个示例性实现方式，当在调色板编码块中对例外像素进行编码时，该块的调色板大小可以增加一，并且最后一个主要颜色索引可以用作为例外像素的索引。在上述示例中，主要颜色索引6指示该像素是例外像素。此外，在SCM-2.0中，针对每一调色板编码单元，发信一个编码单元级的例外标志palette_escape_val_present_flag，以指示是否针对此调色板编码单元编码例外像素索引。

移除主要颜色索引的冗余是SCM-2.0中的另一编码工具，其也影响调色板大小。当左侧像素被编码为具有运行(run)的正常模式并且左侧像素不是例外像素时，可以假定当前像素不等于左侧像素的主要颜色索引。否则，当前像素将被合并到左侧像素的运行编码。在另一种情况下，当左侧像素在复制上方模式的运行中被编码，并且上方像素不是例外像素时，可以假定当前像素不等于上方像素的主要颜色索引。否则，当前像素将被合并到左侧像素的复制上方运行编码中。在SCM-2.0中，为了消除上述情况下的冗余，当编码当前像素时，可以从调色板表中移除左侧像素的主要颜色(或上方像素的主要颜色)。在这些情况下，调色板大小可以被认为是原始大小减小1。注意，当左侧像素被编码为复制上方模式并且上方像素是例外像素时，或者当左侧像素被编码为运行模式并且左侧像素是例外像素时，上方/左侧像素的值(即，例外索引)不能从用于编码当前像素的调色板颜色表中移除，并且调色板大小不能减小1。

根据如在HEVC范围扩展(RExt)中所描述的现有颜色调色板编码，所推导或接收的调色板大小可等于0。由于调色板大小等于0的情况是无意义的，因此零大小调色板的问题需要解决，以避免与零大小调色板相关的可能的系统问题。因此，期望开发能够克服与零大小调色板表相关的问题的方法。

发明内容

本发明公开了一种图像和视频数据的调色板编码的方法，以避免与零大小调色板相关的问题。根据本发明的实施例，基于例外指示标志(escape indication flag)有条件地发信与当前编码单元的当前调色板表的调色板大小相关的大小信息，其中例外指示标志指示在当前编码单元中是否存在被编码为例外像素的任何样本。例如，如果例外指示标志不被设置为有效，则为当前编码单元的当前调色板表发信的语法palette_size_minus_one可以被限制为从0到最大调色板大小减1的范围，其中语法palette_size_minus_one指示当前调色板表的当前调色板大小减1。在这种情况下，可以根据(palette_size_minus_one+1)重构当前调色板大小。

可以使用调色板预测来预测当前调色板表。使用新的调色板表来发送不能由调色板预测器预测的当前调色板的条目。在另一实施例中，如果例外指示标志不被设置为有效，并且指示由调色板预测器预测的当前调色板表的条目的数量的预测调色板大小为0，则新调色板表的新调色板大小被限制为大于0。例如，可以为当前调色板表发信表示新调色板大小减1的大小语法。因此，可以基于从比特流解析的大小语法加1来确定实际的新调色板大小。在替代实现中，可以基于从比特流解析的大小语法加上(numPredPreviousPalette＝＝0&&palette_escape_val_present_flag＝＝0)来确定实际的新调色板大小，其中numPredPreviousPalette对应于表示预测调色板大小的语法，palette_escape_val_present_flag对应于例外指示标志。换句话说，如果预测调色板大小为0(即，numPredPreviousPalette＝＝0)并且例外指示标志未被设置为有效(即，palette_escape_val_present_flag＝＝0)，则将“1”添加到所解析的大小语法以形成实际的新调色板大小。可以在比特流中的例外指示标志之后，发信大小语法。或者，可在比特流中的例外指示标志之后，发信预测调色板大小。

当前编码单元的当前调色板表的调色板大小可以由编码器直接限制为大于1。如果比特流可能导致当前调色板表的解码调色板大小为0，则比特流被确定为不合格比特流。

本发明的另一方面解决编码单元级例外像素存在标志(CU-level escape pixelpresence flag)的有条件发信。根据本发明的实施例，根据当前调色板大小、或预测调色板大小和新调色板大小两者，来有条件地发信编码单元级例外像素存在标志，其中编码单元级例外像素存在标志指示在当前编码单元中是否存在被编码为例外像素的任何样本。例如，如果当前调色板大小为0或者预测调色板大小和新调色板大小都为0，则不发信编码单元级例外像素存在标志。或者，编码单元级例外像素存在标志可以被推断为1。如果当前调色板大小是0或者预测调色板大小和新调色板大小都是0，则编码单元级例外像素存在标志也可以被约束为1。如果预测调色板大小和新调色板大小都为0，则当前调色板表的当前调色板大小可以被设置为0。

在又一实施例中，根据调色板共享标志有条件地发信编码单元级例外像素存在标志，其中调色板共享标志指示当前编码单元的当前调色板表是否共享上一个调色板表编码的编码单元的先前调色板。如果调色板共享标志被设置为有效，则可跳过编码单元级例外像素存在标志。在这种情况下，编码单元级例外像素存在标志可以被推断为上一个编码的编码单元级例外像素存在标志。

附图说明

图1为根据本发明的实施例的视频编码系统包括的调色板编码的示范性流程图，其中基于例外指示标志(escape indication flag)有条件地(conditionally)发信与当前编码单元的当前调色板表的调色板大小相关的大小信息。

图2为根据本发明的实施例的视频编码系统包括的调色板编码的示范性流程图，其中根据当前调色板大小或者根据预测调色板大小和新调色板大小两者，有条件地发信编码单元级例外像素存在标志。

图3为根据调色板共享标志的视频编码系统包括的调色板编码的示例性流程图。

具体实施方式

以下描述为本发明的较佳实施例。以下实施例仅用来举例阐释本发明的技术特征，并非用以限定本发明。本发明的保护范围当视权利要求书所界定为准。

本发明公开了用于克服零调色板问题和改进调色板预测编码的性能的各种实施例。

调色板大小限制

如前所述，所确定的当前调色板表的调色板大小可以等于0。由于调色板大小等于0的情况是无意义的，因此零大小调色板的问题需要解决以避免与零大小调色板相关的可能的系统问题。

公开了解决零大小调色板问题的各种实施例。在一个实施例中，语法被设计为限制编码器生成可能导致零大小调色板的比特流。例如，语法可以用于直接发信当前调色板表的调色板大小，如下所示。

表示当前调色板表的调色板大小减1的语法palette_size_minus_one的值被限制为从0到最大调色板大小减去1的范围。使用以下语法重构调色板大小：

Palette_Size＝palette_size_minus_one+1

在JCTVC-021818中，编码器将首先对与重用标志相关的信息进行编码，以指示在预测器中重用的主要颜色的数量。然后，对新颜色大小(也称为“新调色板大小”)进行编码，以指示将被发信的新颜色的数量。为了避免零大小调色板的情况，如果重用颜色大小为零(即，预测调色板大小为零)，则可以使用与上述相同的机制。换句话说，表示调色板大小减1的语法palette_size_minus_one被限制在从0到最大调色板大小减1的范围内。新颜色大小不能为零，并且新颜色大小减1被编码。换句话说，新颜色大小等于零的情况不会被发信。解码器首先检查重用颜色大小是否为零。如果重用颜色大小为零，则解码的“新颜色大小”值需要增加1以指示将要解码的新颜色的数量。

避免调色板大小等于0的情况的另一种方式是直接从语义上将调色板的大小限制为不等于零。举例来说，可导致任何编码块(例如，编码单元、预测单元)的调色板大小等于0的任何比特流被视为不合格的比特流。

对于在JCTVC-O0218中使用的调色板预测标志，根据本发明的实施例的附加标志(additional flag)用于指示是否所有的调色板预测器被重用。该标志可以在调色板预测标志之前被发信。

在JCTVC-N0247中，如果首先发信调色板大小，然后发送调色板预测标志。如果重用的调色板条目的数量已经等于发信的调色板大小，则本发明的实施例终止预测标志发信。

发信的预测标志的数量可以取决于编码单元大小。例如，对于8x8编码单元，不是需要发信所有的32或64个调色板预测标志。因此，可以仅发信部分调色板预测标志(例如，最初的16(编码单元宽度*2)个标志)。

对零大小调色板的条件约束(Conditional constraint)

为了克服与零大小调色板表相关的问题，本发明的另一实施例基于在当前调色板块(例如，当前编码单元)中是否存在任何编码的例外像素，来有条件地对调色板大小应用约束。当在当前调色板块中没有编码的例外像素(例如，编码单元级例外标志(CU-levelescape flag)，palette_escape_val_present_flag＝0)时，应用约束以避免零大小调色板的情况。当在当前调色板块中对例外像素进行编码(例如，编码单元级例外标志，palette_escape_val_present_flag＝1)时，不将约束应用于调色板大小。

当将约束被应用于调色板大小时，根据一实施例的语法设计，限制编码器产生可导致调色板大小为0的比特流。例如，如果palette_escape_val_present_flag等于0，则语法可以被设计为直接发信调色板大小，如下所示。

用于所传送的调色板的语法palette_size_minus_one的值应该在0到最大调色板大小减1的范围内，其中语法palette_size_minus_one指示当前调色板表的当前调色板大小减去1。使用以下语法来重构调色板大小：

Palette_Size＝palette_size_minus_one+1。

避免调色板大小等于0的情况的另一种方式是，在语义上直接限制调色板的大小不能为零。例如，编码器可以在编码处理期间包括这种约束。因此，可能导致编码块(编码单元，预测单元)的调色板大小等于0的任何比特流被视为不合格比特流。

在JCTVC-O0218中，编码单元级例外标志palette_escape_val_present_flag首先被发信。重用标志的信息被发信以指示预测器中重用的主要颜色的数量。然后，对新的颜色大小进行编码以指示发信的新颜色的数量。为了避免零大小调色板的情况，如果palette_escape_val_present_flag等于0(即，块中没有例外像素)且重用颜色大小为零，则新颜色大小不能为零，新颜色大小减去1被发信。新颜色大小减去1的值将限制为0或更大。实际的新颜色大小等于解析的新颜色大小加1。避免零大小调色板的示例性约束如下所示：

palette_num_signalled_entries＝parse_palette_num_signalled_entries+(numPredPreviousPalette＝＝0&&palette_escape_val_present_flag＝＝0)

其中，palette_num_signalled_entries是新颜色大小；

parse_palette_num_signalled_entries是解析的新颜色大小；

numPredPreviousPalette是重用的颜色大小。

在表1中示出了结合本发明的实施例的示例性语法表。在parse_palette_num_signalled_entries之前发信palette_escape_val_present_flag。或者，可以在解析/导出numPredPreviousPalette之前发信palette_escape_val_present_flag。

表1

编码单元级例外标志的有条件的发信

在现有的SCM-2.0中，当来自先前调色板表的预测调色板大小(预测调色板的大小)和新调色板大小(新传输的调色板的大小)都为0时，所有像素仍然可以被编码为例外像素，其中等于零的主要颜色索引表示例外像素。换句话说，如果预测调色板大小和新调色板大小都为0，则编码单元级例外标志应该为1，这指示在该编码单元中存在例外像素/索引。

因此，在一个实施例中，如果当前编码单元的当前调色板表的调色板大小为0，则不发信编码单元级例外标志，而是推断为1。当前调色板表的调色板大小可以通过预测调色板大小和新调色板大小的总和来确定，如果预测调色板大小和新调色板大小均未0，则不发信编码单元级例外标志，并且推断为1。作为一种选择，当前调色板表的调色板大小可与上一个调色板编码的编码单元(last palette-coded CU)的先前调色板表有关。例如，当前调色板表的调色板大小等于先前调色板表的调色板大小。在这种情况下，如果先前调色板表的调色板大小为0，则不发信编码单元级例外标志，并且推断为1。

在SCM-2.0中，发信调色板共享标志(palette sharing flag)以指示当前编码单元的调色板条目是从最后编码的调色板编码单元复制的。然而，编码单元级例外标志与调色板共享标志无关。总是在调色板编码的编码单元中发信编码单元级例外标志。然而，根据调色板共享的概念，当前调色板应当从包括编码单元级例外标志的上一个调色板编码的编码单元继承调色板条目。因此，如果调色板共享标志等于1(即，调色板共享被设置为有效(asserted))，则不发信编码单元级例外标志，而是将其推断为最后编码的编码单元级例外像素存在标志。

在另一实施例中，如果预测调色板大小和新调色板大小都为0，则不发信编码单元级例外标志，并将其推断为1。在又一实施例中，添加编码约束以有条件地发信编码单元级例外标志。如果预测调色板大小和新调色板大小都为0，则编码单元级例外标志被约束为1。否则，比特流是不合格/不合法的比特流。

可以在新调色板大小之前发信编码单元级例外标志。如果预测调色板大小为0并且编码单元级例外标志为0，则新调色板大小被约束为大于0。否则(即，新调色板大小＝0)，比特流是不合格/不合法的比特流。

在SCM-2.0中，通过使用例外索引来发信例外像素。然而，还可以通过使用显式标志来发信例外像素。例如，在调色板索引发信之前，可以发信像素级例外标志以指示当前像素是否是例外像素。如果标志为1，则当前像素是例外像素。发信每个分量(和运行)的例外值。否则(即，像素级例外标志＝0)，发信调色板索引和运行。

如果使用像素级例外标志且预测调色板大小和新调色板大小都为0，则像素级例外标志应全部为1。因此，在另一实施例中，如果使用像素级例外标志并且预测调色板大小和新调色板大小都为0，则不发信像素级例外标志，并且像素级例外标志被推断为1。在另一实施例中，编码约束可以添加到有条件的例外标志发信。如果使用像素级例外标志并且预测调色板大小和新调色板大小都为0，则像素级例外标志被约束为1。否则，比特流是不合格/不合法的比特流。

在SCM-2.0中，indexMax参数被定义为指示当前编码单元的最大调色板索引。indexMax的定义如下。

表2

indexMax取决于调色板中是否存在例外值(即，palette_escape_val_present_flag)，并且还取决于调色板大小(即，palette_size)。indexMax应该是等于或大于0的整数。如果indexMax小于0，则表示当前编码单元没有调色板。解码器不能解析和重构当前调色板编码的编码单元。由于palette_size是等于或大于0的整数，所以只有当palette_size和palette_escape_val_present_flag都等于0时，indexMax才可以小于0。当palette_share_flag、numPredPreviousPalette和num_signalled_palette_entries都等于0时，或者当palette_share_flag等于1并且先前调色板大小等于0时，调色板大小等于0。

为了将indexMax值约束为等于或大于0，本发明公开了用于palette_escape_val_present_flag编码的若干实施例。

实施例1：palette_escape_val_present_flag编码的编码器约束

如果palette_size等于0，则palette_escape_val_present_flag被限制为1。否则，比特流是不合格/不合法的比特流。

实施例2：palette_escape_val_present_flag编码的语法约束

如果palette_size等于0，则palette_escape_val_present_flag被推断为1。在这种情况下可以跳过palette_escape_val_present_flag的发信。

表2中的语法表可以修改为如下的表3。根据本发明的实施例，添加调色板大小检查(即，“if(palette_size>0)”)。

表3

当palette_escape_val_present_flag不显现时，palette_escape_val_present_flag被推断为等于1。

在SCM-2.0中，通过使用例外索引来发信例外像素。然而，也可以通过使用显式标志来发信例外像素。例如，在调色板索引发信之前，可以发信像素级例外标志，以指示当前像素是否是例外像素。如果标志为1，则当前像素是例外像素。发信每个分量(和运行)的例外值。否则(即，像素级例外标志＝0)，发信调色板索引和运行。

如果使用像素级例外标志且调色板大小为0，则像素级例外标志应全部为1。因此，根据一个实施例，如果使用像素级例外标志且调色板大小等于0，则不会发信所有的像素级例外标志，而是将这些标志推断为1。

根据另一实施例，添加编码约束。如果使用像素级例外标志并且调色板大小为0，则像素级例外标志被约束为1。否则，比特流是不合格/不合法的比特流。

编码单元级例外标志的上下文模型(Context modeling)

在SCM-2.0中，编码单元级例外标志是用旁路二进制位(bypass bin)来编码。为了提高编码效率，本发明的实施例在熵编码中使用编码单元级例外标志的上下文编码的二进制位。

超过一个上下文可以用于该标志。编码单元级例外标志的上下文构造(contextformation)可取决于编码单元大小、编码树单元大小、编码单元深度、调色板大小(预测调色板大小+新调色板大小)、预测调色板大小、新调色板大小、最后编码的调色板编码单元的编码单元级例外标志、或上述信息的组合。

例如，编码单元级例外标志的上下文构造可以取决于编码单元大小。上下文索引可以表示为：

ctxIdx＝(CU_size＝＝8？0:(CU_size＝＝16？1:2)) (1)

ctxIdx＝(CU_size＝＝8？0:1) (2)或

ctxIdx＝(CU_size＝＝16？0:1) (3)

在其它实例中，编码单元级例外标志的上下文构造可取决于编码单元深度和编码树单元大小。上下文索引可以表示为：

ctxIdx＝(cu_depth) (4)

ctxIdx＝max(2,cu_depth) (5)

ctxIdx＝max(1,cu_depth) (6)

ctxIdx＝min(0,cu_depth-1) (7)

ctxIdx＝min(0,cu_depth-2) (8)

ctxIdx＝max(2,max_cu_depth-cu_depth) (9)

ctxIdx＝max(1,max_cu_depth-cu_depth) (10)

ctxIdx＝max(2,(max_cu_depth-cu_depth)>>1) (11)或

ctxIdx＝max(1,(max_cu_depth-cu_depth)>>1) (12)

编码单元级例外标志的上下文构造还可取决于调色板大小(即，预测调色板大小加上新调色板大小)。例如，上下文索引可以表示为：

ctxIdx＝(palette>＝K？0：1)。 (13)

其中0≤k≤max_palette_size，k是整数。

编码单元级例外标志的上下文构造可取决于预测调色板大小或新调色板大小。例如，上下文索引可以表示为：

ctxIdx＝(predicted_palette_size>＝K0：1) (14)

其中0≤k≤max_palette_size，k是整数；或者

ctxIdx＝(new_palette-size>＝K0：1) (15)

其中0≤k≤max_palette_size，k是整数。

编码单元级例外标志的上下文构造可取决于最后编码的调色板编码单元的编码单元级例外标志。例如，上下文索引可以表示为：

ctxIdx＝last_coded_CU_esc_flag (16)

用于移除编码主要颜色索引的冗余的对调色板大小的条件约束

在另一实施例中，冗余移除是否应用于主要颜色索引编码，取决于当前调色板编码的编码单元是否使用例外像素来编码。例如，冗余移除可以取决于palette_escape_val_present_flag。当在当前调色板块中没有编码例外像素(即，palette_escape_val_present_flag＝0)时，应用主要颜色索引编码的冗余移除。如果扫描位置大于0(scanPos>0)，则最大码字索引(即，adjustedIndexMax)等于indexMax-1。否则，adjustedIndexMax等于indexMax。当在当前调色板块中对例外像素进行编码(即，palette_escape_val_present_flag＝1)时，不应用用主要颜色索引编码的冗余移除。最大码字索引(即，adjustedIndexMax)等于所有scanPos的indexMax。

图1为根据本发明的实施例的视频编码系统包括的调色板编码的示范性流程图，其中基于所述例外指示标志有条件地发信与当前编码单元的当前调色板表的调色板大小相关的大小信息。如步骤110所示，系统接收与当前编码单元相关的输入数据。输入数据对应于编码器侧的当前编码单元的颜色像素数据。输入数据对应于与当前编码单元相关的压缩数据。可以从存储器(例如，计算机存储器、缓冲器(RAM或DRAM)或其他介质)或从处理器获取输入数据。在步骤120中，确定关于在当前编码单元中是否存在被编码为例外像素的任何样本的例外指示标志，其中如果当前编码单元中存在被编码为例外像素的任何样本，则例外指示标志被设置为有效(asserted)，以及如果当前编码单元中不存在被编码为例外像素的任何样本，则例外指示标志不被设置为有效。在步骤130中，基于例外指示标志有条件地发信与当前编码单元的当前调色板表的调色板大小相关的大小信息。

图2为根据本发明的实施例的视频编码系统包括的调色板编码的示范性流程图，其中根据当前调色板大小或者根据预测调色板大小和新调色板大小两者，有条件地发信编码单元级例外像素存在标志。如步骤210所示，系统接收与当前编码单元相关的输入数据。在步骤220中，确定当前编码单元的当前调色板表的当前调色板大小、或与当前调色板表相关的预测调色板大小和新调色板大小两者，其中预测调色板大小指示由调色板预测器预测的当前调色板表的条目的第一数量，并且新调色板大小指示不是由调色板预测器预测的当前调色板表的条目的第二数量。在步骤230中，根据当前调色板大小或预测调色板大小和新调色板大小两者，有条件地发信编码单元级例外像素存在标志，其中编码单元级例外像素存在标志指示在当前编码单元中是否存在被编码为例外像素的任何样本。

图3为根据调色板共享标志的视频编码系统包括的调色板编码的示例性流程图。在步骤310中，系统接收与当前编码单元相关的输入数据。在步骤320中，确定关于当前编码单元的当前调色板表是否共享上一个调色板编码的编码单元的先前调色板表的调色板共享标志，其中如果当前编码单元的当前调色板表共享上一个调色板编码的编码单元的先前调色板表，则调色板共享标志被设置为有效，并且如果当前编码单元的当前调色板表不共享上一个调色板编码的编码单元的先前调色板表，则调色板共享标志不被设置为有效。在步骤330中，根据调色板共享标志有条件地发信编码单元级例外像素存在标志，其中编码单元级例外像素存在标志指示在当前编码单元中是否存在被编码为例外像素的任何样本。

所示的流程图旨在说明根据本发明的调色板编码的示例。本领域的技术人员可以修改每个步骤、重新安排步骤的顺序、拆分步骤或者结合某些步骤来实现本发明，而不例外本发明的精神。在本公开中，已经使用特定语法和语义来说明实现本发明的实施例。本领域技术人员可以通过用使用等同的语法和语义来代替本发明中的语法和语义，从而实践本发明，而不例外本发明的精神。

以上的描述是使本领域的技术人员在本文提供的特定应用和需求下能够实践本发明。本领域的技术人员将容易地观察到，在不例外本发明的精神和范围内，可以进行多种修改和变动。因此，本发明并非限定在所示和描述的特定的实施例上，而本发明公开是为了符合原则和新颖性的最广泛的范围。在上述详细的描述中，各种具体的细节，用以提供对本发明的透彻的了解。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。

如上述所述的本发明的实施例，可以使用硬件、软件或其组合来实现。例如，本发明的一实施例可以是集成到视频压缩芯片中的电路或集成到视频压缩软件中的程序代码，以执行所描述的处理。本发明的实施例也可以是将在数字信号处理器上执行的程序代码来执行所描述的处理。本发明还涉及一系列的由计算机处理器、数字信号处理器、微处理器和现场可编程门阵列(FPGA)执行的功能。根据本发明，这些处理器可以被配置为执行特定任务，通过执行定义特定方法的计算机可读软件代码或固件代码来实现。软件代码或固件代码可以用不同的编程语言和不同的格式或样式来开发。软件代码也可以为不同的目标平台所编译。然而，软件代码的不同的代码格式、风格和语言，以及配置代码的其他方式以执行任务，均不例外本发明之精神和范围。

本发明可以以其它具体形式实施而不背离其精神或本质特征。所描述的实施例在所有方面都仅是说明性的而不是限制性。本发明的范围因此由所附权利要求为准而不是由前面的描述所界定。因此，各种修改、改编以及所描述的实施例的各种特征的组合可以在不例外本发明的范围如权利要求书中阐述的情况下实施。

Claims (9)

1.一种图像的调色板编码的方法，其特征在于，所述图像被划分为多个编码单元，所述方法包括：

接收与当前编码单元相关的输入数据；

确定所述当前编码单元的当前调色板表的当前调色板大小、或者与所述当前调色板表相关的预测调色板大小和新调色板大小两者，其中所述预测调色板大小指示由调色板预测器预测的所述当前调色板表的条目的第一数量，所述新调色板大小指示未由所述调色板预测器预测的所述当前调色板表的条目的第二数量；以及

根据所述当前调色板大小、或者所述预测调色板大小和所述新调色板大小两者，有条件地发信编码单元级例外像素存在标志，其中所述编码单元级例外像素存在标志指示在所述当前编码单元中是否存在被编码为例外像素的任何样本。

2.如权利要求1所述的图像的调色板编码的方法，其特征在于，如果所述当前调色板大小为0、或者所述预测调色板大小和所述新调色板大小均为0，则不发信所述编码单元级例外像素存在标志。

3.如权利要求2所述的图像的调色板编码的方法，其特征在于，所述编码单元级逃避像素存在标志被推断为1。

4.如权利要求1所述的图像的调色板编码的方法，其特征在于，如果所述当前调色板大小为0、或者所述预测调色板大小和所述新调色板大小均为0，则所述编码单元级例外像素存在标志被限制为1。

5.如权利要求1所述的图像的调色板编码的方法，其特征在于，如果所述预测调色板大小和所述新调色板大小都为0，则将所述当前调色板表的所述当前调色板大小设置为0。

6.如权利要求1所述的图像的调色板编码的方法，其特征在于，所述当前调色板表的事实当前调色板大小与上一个调色板编码的编码单元的先前调色板表有关。

7.一种图像的调色板编码的方法，其特征在于，所述图像被划分为多个编码单元，所述方法包括：

接收与当前编码单元相关的输入数据；

确定关于所述当前编码单元的当前调色板表是否共享上一个调色板编码的编码单元的先前调色板表的调色板共享标志，其中如果所述当前编码单元的所述当前调色板表共享所述上一个调色板编码的编码单元的所述先前调色板表，则所述调色板共享标志被设置为有效，以及如果所述当前编码单元的所述当前调色表不共享所述上一个调色板编码的编码单元的所述先前调色表，则所述调色板共享标志不被设置为有效；以及

根据所述调色板共享标志，有条件地发信编码单元级例外像素存在标志，其中所述编码单元级例外像素存在标志指示在所述当前编码单元中是否存在被编码为例外像素的任何样本。

8.如权利要求7所述的图像的调色板编码的方法，其特征在于，如果所述调色板共享标志被设置为有效，则所述有条件地发信所述编码单元级例外像素存在标志跳过发信所述编码单元级例外像素存在标志。

9.如权利要求8所述的图像的调色板编码的方法，其特征在于，所述编码单元级例外像素存在标志被推断为上一个编码的编码单元级例外像素存在标志。