CN106031171B - 具有跨块预测的调色板编码的方法和装置 - Google Patents

具有跨块预测的调色板编码的方法和装置 Download PDF

Info

Publication number
CN106031171B
CN106031171B CN201480071220.1A CN201480071220A CN106031171B CN 106031171 B CN106031171 B CN 106031171B CN 201480071220 A CN201480071220 A CN 201480071220A CN 106031171 B CN106031171 B CN 106031171B
Authority
CN
China
Prior art keywords
index
pixel
adjacent pixel
current
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480071220.1A
Other languages
English (en)
Other versions
CN106031171A (zh
Inventor
孙域晨
金廷宣
庄子德
陈渏纹
赖柏霖
刘杉
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN106031171A publication Critical patent/CN106031171A/zh
Application granted granted Critical
Publication of CN106031171B publication Critical patent/CN106031171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

揭示一种基于重建的相邻像素使用索引预测的视频数据的块的颜色索引编码的方法和装置。在一个实施例中，颜色索引编码或解编通过从重建的相邻像素的相邻像素索引派生索引预测应用于当前像素索引。重建的相邻像素值首先根据在主颜色索引和当前块的主颜色值之间映射的量化表转换为相邻像素索引。量化表可以基于当前块的主颜色表。量化表还可以在解码器侧派生。解码过程可通过根据量化表将解码的当前像素索引转换为重建的当前像素值来重建当前像素。

Description

具有跨块预测的调色板编码的方法和装置
【相关申请的交叉参考】
本发明要求2013年12月27日申请的序列号为61/921,156的美国临时专利申请、2014年1月7日申请的序列号为61/924,333的美国临时专利申请、2014年8月11日申请的序列号为62/031,974的美国临时专利申请、2014年8月11日申请的序列号为62/035,625的美国临时专利申请、2014年8月21日申请的序列号为62/040,020的美国临时专利申请、2014年8月22日申请的序列号为62/040,582的美国临时专利申请、2014年10月7日申请的序列号为62/060,817的美国临时专利申请、2014年12月2日申请的序列号为62/086,319的美国临时专利申请的优先权，上述美国临时专利申请在此全部并入参考。
【技术领域】
本发明涉及视频数据的颜色索引编码。特别地，本发明涉及通过使用具有跨块边界预测的帧内颜色索引编码改进颜色索引编码的性能的技术。
【背景技术】
高效率视频编码(HEVC)是近年来开发的一种新的编码标准。在高效率视频编码(HEVC)系统中，H.264/AVC的固定尺寸的宏块由灵活的块来替代，称为编码单元(CU)。CU中的像素共享相同的编码参数以改进编码效率。CU可以最大CU(LCU)开始，其在HEVC中也称为编码树单元(CTU)。除了编码单元的概念以外，在HEVC中也引入了预测单元(PU)的概念。一旦完成CU分层树的拆分，每个叶CU还进一步根据预测类型和PU分区拆分为一个或多个预测单元(PU)。
随着高效率视频编码(HEVC)标准发展，HEVC扩展的发展也开始了。HEVC扩展包含范围扩展(RExt)，其针对非4:2:0颜色格式，例如4:2:2和4:4:4，且更高比特深度视频，例如，12、14和16比特每样本。利用RExt的一个可能的应用是通过有线或无线连接的屏幕共享。由于屏幕内容的特定特性，编码工具被开发且在编码效率方面显示了其重要性。其中，颜色索引编码(基于a.k.a.主颜色的编码)技术表示使用索引到调色板(palette)(主颜色)的像素的块，并通过利用空间冗余编码调色板和索引。尽管可能的颜色组合的总数目很大，图片的区域的颜色的数目对于典型的屏幕内容通常是有限的。因此，颜色索引编码对于屏幕内容材料变得非常有效。
在HEVC范围扩展(RExt)的早期发展过程中，揭示了若干提议以处理基于调色板的编码。例如，调色板预测和共享技术揭示于JCTVC-N0247(Guo et al.,“RCE3:Results ofTest 3.1on Palette Mode for Screen Content Coding”,Joint Collaborative Teamon Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,14thMeeting:Vienna,AT,25July–2Aug.2013Document:JCTVC-N0247)。在JCTVC-N0247中，构建并发送每个颜色组件的调色板。调色板可以从其左边相邻的CU来预测(或共享)以降低比特率。给定块中的所有像素使用它们的调色板索引来编码。根据JCTVC-N0247的编码过程的示例显示于以下。
1.调色板的传送：颜色索引表尺寸先发送，后接着调色板元件。
2.像素值的传送：CU中的像素以光栅扫描顺序编码。对于一个或多个像素的每个组，用于基于“run(游程)”模式的旗标首先发送以指示是否是“游程”模式或“copy above(复制上方)”模式正在使用。
2.1“游程”模式：在游程模式中，调色板索引首先被传送(signal)，后紧接着表示run值的“palette_run”(例如，M)。run值指示总共M个样本均使用“游程”模式编码。由于当前位置和后续的M个位置具有在比特流中标示的相同的调色板索引，他们没有其他信息需要发送。调色板索引(例如，i)还可以由所有三个颜色组分共享，其表示对于YUV颜色空间的情况重建的像素值是(Y，U，V)＝(调色板Y[i]、调色板U[i]、调色板V[i])。
2.2“复制上方”模式：在“复制上方”模式中，发送值“copy_run”(例如，N)以指示对于后续的N个位置(包含当前这个)，调色板索引与上方行中对应调色板索引相同。
3.残值的传送：阶段2中发送的调色板索引被转换回像素值并用作预测。残值信息使用HEVC残值编码来发送，并加入到预测以用于重建。
在以上方法中，除了“游程”模式和“复制上方”模式，当前像素还可由“像素(pixel)”模式编码，其中像素值被发送。颜色索引编码技术的另一版本也由Guo等人在JCTVC-O0182(Guo et al.,“Non-RCE3:Modified Palette Mode for Screen ContentCoding”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3andISO/IEC JTC 1/SC 29/WG 11,14th Meeting:Vienna,AT,25July–2Aug.2013Document:JCTVC-N0249)中揭示，其中调色板中的每个元件是表示三个颜色组件的特定组合的三元一组(triplet)。调色板索引由所有的颜色组件共享以降低开销。
又一基于主颜色的编码(颜色索引编码)方法由Guo等人在JCTVC-O0182(Guo etal.,“AHG8:Major-color-based screen content coding”,Joint Collaborative Teamon Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,15thMeeting:Geneva,CH,23Oct.–1Nov.2013,Document:JCTVC-O0182)中揭示。根据JCTVC-O0182，每个组件的调色板被构建和发送。然而，不从左边CU预测整个调色板，调色板中的每个条目可以从上方CU或左边CU中精确对应的调色板条目来预测。
根据JCTVC-O0182，预测编码方法应用于索引以用于像素值的传送，其中像素线可以由不同模式预测。具体地，三种线模式用于像素线，即水平模式、垂直模式和正常模式。在水平模式中，相同线中的所有像素具有相同值。如果值与上方像素线的第一像素的值相同，仅仅线模式标示比特被传送。否则，索引值也被传送。在垂直模式中，当前像素线与上方像素线相同。因此，仅仅线模式标示比特被传送。在正常模式中，线中的所有像素分别被预测。对于每个像素，左边或上面相邻像素用作预测符，以及预测符发送到解码器。此外，像素分类为主颜色像素以及逃离(escape)像素。对于主颜色像素，解码器使用主颜色索引和调色板重建像素值。对于逃离像素，编码器将进一步发送像素值。
期望开发一些方法用于进一步改进与颜色索引编码关联的编码效率。
【发明内容】
一种基于重建的相邻像素使用索引预测的视频数据的块的颜色索引编码的方法和装置被揭示。在一个实施例中，颜色索引编码或解编通过从重建的相邻像素的相邻像素索引派生索引预测应用于当前像素索引。重建的相邻像素值首先根据在主颜色索引和当前块的主颜色值之间映射的量化表转换为相邻像素索引。量化表可以基于当前块的主颜色表。量化表还可以在解码器侧派生。在一个实施例中，重建的相邻像素的每个相邻像素值转换为量化表中的一个主颜色索引，以便没有逃离用于映射。解码过程可通过根据量化表将解码的当前像素索引转换为重建的当前像素值来重建当前像素。备选地，解码过程可通过直接复制重建的相邻像素值来重建当前像素。
重建的相邻像素可对应于以前编码或重建的空间和/或时间相邻像素。用于将重建的相邻像素值映射到相邻像素索引的各种简化方法被揭示。在一个实施例中，如果在给定重建的相邻像素值和量化表中的任何主颜色值之间没有匹配，则索引0分配给给定重建的相邻像素值。在另一实施例中，给定重建的相邻像素值针对量化表中部分组主颜色索引评估，以识别匹配的主颜色索引为选择的相邻像素索引。在又一实施例中，给定重建的相邻像素值针对与主颜色索引关联的部分组颜色组件评估，以识别匹配的主颜色索引为选择的相邻像素索引。
各种准则可用于为相邻像素选择索引。在一个实施例中，给定重建的相邻像素值针对量化表中的所有主颜色索引评估，且如果给定重建的相邻像素值在所有主颜色值中具有对应于匹配的主颜色索引的主颜色值的最小差值，匹配的主颜色索引识别为选择的相邻像素索引。在另一实施例中，如果给定重建的相邻像素值和对应于匹配的颜色索引的主颜色值之间的差值小于阈值，匹配的主颜色索引识别为选择的相邻像素索引。在又一实施例中，如果多于一个匹配的主颜色索引被识别，最早识别的匹配的主颜色索引用作选择的相邻像素索引。
当前块的每个当前行中的第一当前像素是基于左边重建的相邻像素预测的。如果选择的当前像素不与任何上方重建的相邻像素或任何左边重建的相邻像素相邻，则选择的当前像素由相同列中上方重建的相邻像素或相同行中左边重建的相邻像素预测。在另一实施例中，如果选择的当前像素使用复制上方游程(copy-above-run)模式，选择的当前像素可以由上方重建的相邻像素的重建的像素值预测。如果选择的当前像素没有可用于索引预测的重建的相邻像素，则索引预测模式用于指示用于标示选择的当前像素的新的索引的索引模式。在一个实施例中，对于当前块的第一行中的当前像素，如果给定当前像素的以前的预测模式是复制上方游程模式，则复制上方游程模式是冗余且排除于当前像素的候选预测模式。重建的相邻像素包含当前块上方重建的相邻像素的一行或多行。如果预测复制模式用于选择的当前像素且对应预测符具有逃离模式，则选择的当前像素被解码以具有与对应预测符关联的逃离索引。此外，如果对应预测符在重建的相邻像素中，选择的当前像素是通过复制对应预测符的重建的相邻像素值解码。在另一实施例中，如果选择的当前像素使用复制上方游程模式，选择的当前像素可以通过复制对应预测符的重建的相邻像素值解码。
【附图说明】
图1A和图1B图示根据表1中的颜色索引表将相邻像素的重建的颜色值转换为颜色索引的示例，其中图1A中的相邻像素值转换为图1B中的的相邻像素索引。
图2A-B图示使用重建的相邻像素的颜色索引预测的示例，其中如图2A所示第一像素的颜色索引由左边相邻像素预测，以及如图2B所示像素基于主颜色表解码为20。
图3A图示使用重建的相邻像素的颜色索引预测的示例，其中第一像素是使用左边的相邻像素的重建的像素值来重建的。
图3B图示使用重建的相邻像素的颜色索引预测的另一示例，其中第二像素是使用上方的相邻像素的重建的像素值来重建的。
图4图示通过传播预测或基于相邻像素的索引预测的示例，其中重建的相邻像素值或对应于预测的颜色索引的主颜色值用作当前像素的重建的像素值。
图5A图示将相邻像素索引转换为逃离索引的示例。
图5B图示将相邻像素索引转换为预定义值的示例。
图6A图示索引预测的水平扫描的示例。
图6B图示基于水平扫描和主颜色表的重建的像素值的示例。
图7A图示索引预测的替换水平扫描的示例。
图7B图示索引预测的垂直扫描的示例。
图7C图示索引预测的斜线扫描的示例。
图8图示索引预测的垂直扫描的示例，其中开始位置在开始的三个像素后。
图9A-9B图示基于相邻像素不考虑扫描方向从上或从左的索引预测的示例，其中图9A对应于水平扫描，图9B对应于垂直扫描。
图10图示基于相邻像素不考虑扫描方向从上或从左的索引预测的另一示例，其中扫描方向对应于斜线扫描。
图11图示基于相邻像素和以前编码的像素的索引预测的示例，其中重建的像素值从对应预测符的重建的像素值复制。
图12图示基于相邻像素的索引预测的示例，其中第一行中的第一像素由左边相邻像素预测，第一行中的第二像素由上方相邻像素预测，以及第一行中第二像素后的后续4个像素使用预测符传播来预测。
图13A图示颜色索引编码的熵编码的示例，其中当前像素的后续4个像素从上方线预测，以及当前索引参考上方像素的索引。
图13B图示颜色索引编码的熵编码的另一示例，其中当前像素的后续4个像素从上方线预测，以及当前索引使用预测符传播通过相同列中相邻像素来预测。
图14图示索引编码的熵编码的示例，其中当前像素位于当前块的第一线且后续像素预测为复制上方模式，当前像素要求即将编码/解码的上方像素的索引，以及像素值可以在解析阶段未知。
图15A图示使用特殊索引S用于当前CU外的M行重建的相邻像素的示例。
图15B图示使用当前CU外的M行重建的相邻像素的索引预测的示例，其中重建的相邻像素使用逃离索引。
图16A图示索引预测的冗余索引的示例，其中后续像素是使用复制上方模式编码，且复制上方模式对于当前像素是冗余的。
图16B图示图16A的示例的修改的索引预测的示例，其中冗余索引由右上像素的颜色索引替代。
图17A图示索引预测的冗余索引的另一示例，其中后续像素使用游程模式编码，以及游程模式对于当前像素是冗余的。
图17B图示图17A的示例的修改的索引预测的示例，其中冗余索引由固定的索引或派生的索引替代。
图18A图示索引Iabove直接从相邻CU复制的示例。
图18B图示索引Iabove是从其上方像素复制，其上方像素又从相邻CU复制索引的示例。
图19图示根据本发明的实施例使用相邻像素的颜色索引预测的系统的示范性流程图。
【具体实施方式】
在本发明中，揭示改进颜色索引编码性能的各种技术。特别地，当前块的主颜色索引图是使用来自当前块的重建的相邻像素(NP)的信息预测的。
根据一个实施例，编码器/解码器首先确定重建的相邻像素(NP)用于编码颜色索引图。然后，重建的相邻像素用于预测当前块(例如，编码单元CU)的颜色索引。在颜色索引编码中，块中的颜色由颜色索引表示。因此，相邻像素的像素值根据当前块的主颜色表(也称为颜色索引表、调色板或调色板表)转换为颜色索引。转换后的颜色索引用于预测当前块或编码单元的颜色索引。表1图示当前编码单元的简单主颜色表。相邻像素的重建的像素值可以根据颜色索引表转换为颜色索引。图1A和图1B图示根据表1中的颜色索引表将相邻像素的重建的颜色值转换为颜色索引的示例。在图1A中，相邻像素显示为具有填充的图案的方块。颜色值为显示在括号里的数值。这些颜色值根据表1映射为索引。相邻像素的颜色值和对应颜色索引显示于图1B。干净的方块对应于即将被帧内预测的当前块(例如，8x8的CU)的像素。
表1
颜色索引 像素值
1 20
2 200
根据本发明，相邻像素可以是任何以前解码的或重建的像素，包含空间相邻像素或时间相邻像素。相邻像素可以是没有任何环内滤波例如在高效率视频编码(HEVC)标准中揭示的样本适应偏置(SAO)或解块滤波的重建的像素。相邻像素还可以是由SAO、解块滤波器或SAO和解块滤波器滤波的重建的像素。时间相邻像素可以是位于参考图片的同等位置或由运动向量指示的位置的像素。在图1A和1B的示例中，相邻像素对应于位于最接近的上一行和最接近左边列的像素。
如图1A和1B所示，相邻像素的颜色值分配给具有接近相邻像素的原始颜色值的像素值的对应颜色索引。例如，颜色值从18到23均分配给具有代表像素值20的颜色索引1。类似地，颜色值从201到205均分配给具有代表像素值200的颜色索引2。换句话说，相邻像素的原始颜色值被“量化”到与颜色索引关联的代表值。在本发明的另一实施例中，量化表(即，颜色索引表)可以由解码器建立。例如，量化表可以通过量化像素为最接近主颜色值来建立。
在一个示例中，量化表通过定义量化区在解码器端确定：颜色_i-Q1～颜色_i+Q2。像素值从(颜色_i-Q1)到(颜色_i+Q2)被量化到颜色_i，其中颜色_i是主颜色，Q1和Q2是整数并被发送或派生。例如，Q1和Q2可以根据与量化转换系数关联的量化参数(QP)派生。量化区外的像素可以被量化为一个或多个逃离(escape)索引。例如，量化区外的像素可以被量化为具有最高出现率的索引，索引0，或最接近主颜色值。量化区内或外的像素的量化方法可以从主颜色值派生。
因此，用于将重建的相邻像素值转换为相邻像素索引的表可以是当前块的主颜色表或在解码器侧派生的量化表。为了方便，主颜色表在本公开中也看作量化表，其中主颜色对应于量化区中的代表颜色。
量化表可以在解码器侧从具有最少出现率的主颜色到具有最高出现率的主颜色建立。两个主颜色的重叠的区域可以从具有最少出现率的主颜色到具有最高出现率的主颜色被覆写。
在解码过程中，颜色索引可以由相邻像素预测。图2A图示第一行中的第一像素的颜色索引由左边相邻像素预测的示例。因此，第一像素的索引解码为1。基于颜色索引表，第一像素的颜色值可以进一步解码为20，如图2B所示。图3A图示使用相邻像素的像素索引的颜色索引预测的另一示例，其中第一像素的颜色索引由左边相邻像素预测。然而，不是使用来自颜色索引表的颜色值，相邻像素的重建的像素值直接用作当前像素的重建的颜色。因此，第一像素的颜色值重建为19而不是20，在图2B的情况下。图3B图示块的第一行中的第二像素是使用垂直预测模式编码的示例。再次，第二像素的重建的颜色值是基于对应相邻像素的重建的颜色值，而不是根据颜色索引表来自对应颜色索引的颜色值。
此外，相邻像素的像素值可在预测期间传播(prorogate)进当前编码单元内的像素。图4图示当前块的第一行的第二像素上的相邻像素的像素值(即，22)在索引预测期间传播进当前编码单元内像素的示例。这种情况在本公开中称为预测或传播。考虑相邻像素可以传播多深(即，相邻像素到待预测的当前像素之间的距离)，可以应用约束。例如，可以确定阈值，且如果相邻像素和当前像素之间的距离(d)小于或等于阈值(D)，当前像素使用相邻像素(即，22)的重建的值。否则，当前像素使用由根据颜色索引表的颜色索引指示的颜色值(即，20)。
在JCTVC-O0182中，除各种预测模式之外逃离颜色像素被使用。应该在解码阶段的解析中知道逃离颜色像素的索引。为了改进解析通过量，根据本发明的实施例，应用约束以便防止相邻像素的转换的颜色索引使用逃离像素索引。例如，如果相邻像素的转换的颜色索引是逃离像素索引(例如，图5A中的3(E))，解码器将改变索引为预定义值(例如，图5B中的0)。
在解码期间，当相邻像素预测方向与扫描方向垂直时，颜色索引可以通过沿着扫描方向的相邻像素预测。例如，当扫描方向是水平时，第一行的颜色索引可以由上方的相邻像素(即，垂直预测方向)预测，如图6A所示，其中第一行中所有像素和第二行中的一些像素的索引被预测。此外，使用表1中的颜色索引表，对应于图6A的重建的颜色值显示于图6B。
如图6A和图6B所示，旗标可以被标示以指定模式的使用。然后也使用相同预测模式的后续像素的数目可以被标示。例如，句法copy_above可以被标示以指示“复制上方”模式的使用，紧接着在比特流中由句法run_number(即，图6A-B的示例中的10，因为包含当前像素有11个像素，以及run_number等于像素的总数减一)以指示“游程”的数目。
方法可以应用于使用不同于图6A-B的示例中的扫描顺序的系统。例如，如图7A所示，扫描顺序以如之前的示例的相同的预测方法和句法反转。对于图7A中的示例，句法run_number 12在句法copy_above后标示。图7B图示从顶部到底部的垂直扫描顺序的示例，其中最左列中的相邻像素用作索引预测符。图7C图示斜线扫描顺序的示例，其中左上角像素的相邻像素用作预测符。
尽管图6A-B和图7A-C中的示例总是从块的第一像素开始扫描顺序，本发明不限于从块的第一像素开始。基于相邻像素的索引预测编码还可从当前块中的非第一像素开始，如在图8的示例中使用垂直扫描顺序。在此情况下，识别copy_left模式(或copy_previous模式)的值在最开始三个像素上的预测标示后再标示。copy_left预测的游程值是8，所以句法run_number以值7被标示。
在本发明的另一实施例中，颜色索引使用来自上方的相邻像素且忽略扫描顺序来预测。图9A图示水平扫描顺序的示例。识别copy_above模式的句法被标示，且紧接着以对应于游程值的值8标示句法run_number。识别copy_previous模式的句法被标示，且紧接着以值5标示句法run_number。图9B图示垂直扫描顺序的示例。
图10图示基于来自于上方或左边的相邻像素且忽略扫描方向的索引预测的另一示例，其中扫描方向对应于斜线扫描。
当相邻像素是不可用时，预测将不被调用。指示预测模式的值将不标示而被推测为指示新的索引被标示的值。
在以前的示例中，当像素使用其他像素(相邻像素或CU中的其他像素)预测时，像素可直接复制预测符的颜色值(例如，RGB或YUV)而不是索引值。图11图示图9A的复制像素值版本的示例。相较于图9A，图11中的预测方法除了像素值是直接从对应预测符复制的之外都是相同的。复制像素值的方法而不是复制像素索引可以应用于本公开的其他示例。
此外，以上揭示的复制索引方法和复制像素值方法可以合并。图12图示具有颜色值为22的相邻像素的像素值可以在预测期间传播进当前解码单元的像素内的示例。当前像素和相邻像素之间的距离(d)的约束可用于确定是否根据颜色索引表的索引使用预测符值或由预测符索引表示的值。如果距离小于阈值(D)，解码的像素值使用预测符值(即，22)。否则，解码的像素值使用主颜色表以确定颜色索引1的颜色值(即，20)。合并的方法可以应用于本公开的所有示例。
来自相邻像素的颜色索引图编码的预测
为了简化量化方法(即，将相邻像素值映射到颜色索引)，解码器可仅仅测试颜色索引表中的局部颜色。如果没有相邻像素匹配的颜色，解码器可分配固定的或派生的索引到相邻像素。
在一个示例中，解码器仅仅测试颜色索引表中主颜色的局部组。例如，解码器可测试从Ntest1到Ntest2的颜色索引，以便量化相邻像素。如果没有匹配的颜色，解码器为相邻像素分配索引Ntest3，其中Ntest3可以是0。Ntest1和Ntest2可以是固定的或派生的。此外，Ntest1和Ntest2可以根据CU尺寸派生。Ntest1、Ntest2和Ntest3均为整数。以下显示一个示例以基于最小差值选择颜色索引，其中Ntest1对应于0以及Ntest2对应于min(N，8)，以及N是颜色索引表中主颜色的总数。
在以上式子中，Idx是第i个相邻像素的索引，NPi[k]是第i个相邻像素的第k个组分的颜色值，以及Colourn[k]是第n个调色板条目的第k个组分的值。
降低计算负担的另一种方法是执行基于降低的颜色组分的搜索。例如，搜索可仅仅使用一个单个颜色，如以下所示。
为了识别相邻像素的匹配的颜色，解码器用相邻像素测试Ntest颜色。如果测试的颜色Ctest1和相邻像素之间的差值小于阈值，相邻像素用等于Ctest1的索引分配。阈值可以是固定的或派生的。阈值可以基于与编码系统关联的转换系数的量化参数(QP)设定派生。如果多于一个测试的颜色对于相邻像素具有小于阈值的对应差值，相邻像素可以量化为具有最小差值的测试的颜色。
为了简化量化相邻像素值为颜色索引，如果多于一个测试的颜色对于相邻像素在小于阈值的差值内，相邻像素可量化为最后测试的颜色。测试颜色的顺序可以是从最大索引到最小索引，即，从最低出现率索引到最高出现率索引。如果均在差值阈值内，更高出现率索引将覆写较低出现率索引。
备选地，当多于一个测试的颜色对于相邻像素在小于阈值的差值内时，相邻像素可以量化为最早测试的颜色。测试颜色的顺序可以是从最小索引到最大索引，即，从最高出现率索引到最低出现率索引。如果有任何测试颜色匹配，测试过程可以提前结束。
简化量化相邻像素值到颜色索引的另一方法，解码器可仅仅使用颜色值的NMSB_COLOR MSB以将像素与调色板中的颜色比较。NMSB_COLOR可以是固定的派生的。NMSB_COLOR可以根据CU尺寸派生。对于不同的颜色组件，NMSB_COLOR可以是不同的。例如，Y/G组件的NMSB_COLOR可以是大于UV/RB组件的NMSB_COLOR。
使用来自相邻像素的预测的颜色索引编码的冗余索引移除
在屏幕内容编码测试模型2.0(SCM2.0)中，如果以前的基于游程的模式是复制上方模式，当当前像素由新的复制左边游程编码时，当前索引不与当前像素上的索引相同。否则，当前索引编码可以合并进以前的游程。此类型的冗余索引值在本公开称为Irun_red。另一方面，在SCM2.0中，在第一行没有复制上方游程。因此，解码器不需要对第一行中的复制上方游程(即，复制上方模式)执行冗余索引检查。
在本发明的一个实施例中，第一行的冗余索引被移除。特别地，冗余索引移除是基于相邻像素。当编码第一行像素时，编码器可检查以前的游程是否是复制上方游程。如果是，当当前像素是由新的复制上方游程编码时，当前索引不与上方相邻像素的索引相同。在此情况下，冗余索引Irun_red等于当前索引的上方相邻像素的索引。
为了改进解析通过量，解码器仅需要通过在解析阶段移除Irun_red来解析编码的索引值。解码器然后通过将Irun_red加到重建阶段来重建全部的调色板索引。因此，将相邻像素值转换为颜色索引的量化过程可以转移到重建阶段用于改进解析通过量。
颜色索引图编码的预测
当前块的颜色索引图可以从当前块的相邻像素(NP)预测。当编码颜色索引图时，编码器/解码器可首先确定相邻像素。然后，相邻像素可用于预测当前块的颜色索引。在应用颜色索引图预测之前，相邻像素值可以根据当前块的颜色索引表或使用量化表映射为颜色索引。然后颜色索引可用于预测当前块的颜色索引。图16A和16B图示颜色索引预测的示例。在此示例中，块的第一线中的索引和第二线中一些像素的索引从上方线的相邻像素复制，如图16A所示。重建的颜色值可以使用颜色索引图从颜色索引获得。
将颜色索引映射到相邻像素
为了将颜色索引分配到相邻像素，可使用当前块的颜色索引表。通过使用当前块的颜色索引表，颜色索引表和相邻像素之间的关系被评估并根据准则选择映射，例如，最小差值。过程可以是计算密集的，并还可涉及繁重的存储器存取。因此，期望开发装置以降低要求的计算和/或降低要求的存储器存取。
防止相邻像素中逃离模式
为了改进解析的通过量并解码编码的索引，索引逃离模式不用于相邻像素。因此，不映射到颜色索引表中的任何索引的对应像素值可以避免。利用逃离模式跳过，两个索引映射方法揭示如下。
a.具有最小差值的映射索引
在索引的对应颜色和相邻像素值之间具有最小差值的索引可以映射到每个相邻像素。如果使用如显示于表2中的调色板表且相邻像素的值是15，导致最小差值的索引是索引1。因此，索引1映射到颜色值15。如果相邻像素的颜色值是50，则导致最小差值的索引是索引1。因此，索引1映射到颜色值50。
表2
颜色索引 像素值
0 8
1 20
差值可以定义如下。
Diff＝abs(NPluma-Pi，luma) (1)
其中abs()指示绝对值，NPluma对应于相邻像素的亮度值以及Pi，luma对应于调色板中第i个索引的亮度值。
在另一示例中，差值可以定义如下。
Diff＝∑comp_numberwcomp×abs(NPcomp-Pi，comp) (2)
其中comp_number指示图片中可用的组件的数目，以及comp指示组件中的一个，以及wcomp指示每个组件的权重。因此，定义于式子(2)中的差值对应于每个组件的绝对差值的加权总和。
在又一示例中，差值定义如下。
Diff＝∑comp_number wcomp×(NPcomp-Pi，comp)2 (3)
其中comp_number指示图片中可用的组件的数目，以及comp指示组件中的一个，以及wcomp指示每个组件的权重。
b.具有最小差值和阈值的映射索引
除了如在以上示例显示的识别具有最小差值的调色板颜色，可以施加额外的阈值约束。例如，在识别与相邻样本具有最小差值的调色板颜色后，差值可以进一步与阈值比较。仅仅当差值小于阈值时，相邻样本将被映射到调色板索引。如果最小差值大于或等于阈值，样本映射为预定义的索引。尽管表2的颜色索引表的特定示例用于图示为相邻像素派生索引的过程，本发明不限于指定表尺寸(即，表中条目的数目)和颜色值。
相邻像素中允许逃离
在本发明的另一实施例中，逃离索引(模式)允许用于相邻像素。利用允许的逃离模式，两个索引映射方法揭示如下。
a.最小差值和阈值的索引逃离
类似于用于具有逃离模式跳过的情况的用最小差值和阈值映射索引的方法，以用最小差值和阈值映射索引的方法可以应用于具有逃离模式允许的情况。在识别与相邻样本具有最小差值的调色板颜色后，差值进一步与阈值比较。仅仅当差值小于阈值时，相邻样本映射到颜色索引。如果最小差值大于或等于阈值，样本映射为逃离索引或使用逃离模式编码。在此情况下，对应像素值不映射到颜色索引表中的任何索引。相邻像素中的逃离索引可以以与当前块中逃离索引相同的方式处理。
B.阈值的索引逃离
如果具有更高优先级的索引(即，更小索引值)在其对应颜色值和相邻像素值之间具有小于阈值的差值，索引可以被映射为相邻像素值。如果使用显示于表2的颜色索引表，相邻块中的值是15以及阈值是8，具有小于阈值(即，8)的差值(即，7)的对应颜色值的第一索引可以分配为索引0。然后索引0映射为像素值15。如果相邻像素的值是50，颜色索引表中没有像素值具有小于阈值的差值。在此情况下，值映射为逃离索引，其表示对应像素值不映射为颜色索引表中的任何索引。相邻像素的逃离索引可以与当前块中的逃离索引相同的方式处理。
颜色索引编码的熵编码
在SCM2.0中，由截断一元的二进制码表示的颜色索引在不应用预测时被标示。此外，编码的值通过考虑当前索引和其相邻像素索引之间的差值确定。在解析阶段，相邻像素的索引可以是不确定的。在此情况下，那些值被假设为预定义的值，例如(maxium_palette_size+1)。预定义的值不可由其他索引使用。当预定义的值设置为(maxium_palette_size+1)时，当前索引总是与没有预定义的值时一样被二值化。预定义的值还可对应于其他可能的值。
图13A图示可能的情况的示例。由图案的方形指示的像素是当前像素。进行中(proceeding)的4个像素是从上方线预测的。当前索引(即，4)参考上方像素(即，3)的索引。因为上方索引(即，3)小于当前索引(即，4)，所以降低的当前索引值(即，4-1＝3)用截断的二值化来二值化运算且颜色索引表尺寸缩小1。
图13B图示根据本发明的实施例的索引编码的另一实施例。再次，由图案的方形指示的像素是当前像素。进行中的8个像素是从上方线预测的。当前索引(即，4)参考由圆形指示的上方像素(即，3)的索引。因为上方像素的索引继承了当前块附近的相邻值的索引值，上方像素(即，3)的索引在解析阶段特别是在上方块不是在当前块的解析前重建的情况下是不确定的。因此，预定义的值(例如，5)可用于确定即将被二值化的值。因为预定义的值(即，5)大于当前索引(4)，值(4)用截断的二值化来二值化运算且用于编码的颜色索引表尺寸不变。
图14图示颜色索引编码的另一示例。由图案的方形指示的像素是当前像素。当当前像素位于当前块的第一线且后续像素从上方复制进行预测时，当前像素要求上方像素的索引被编码/解码，其中像素值在解析阶段可以是不知道的。
在此情况下，预定义的值(例如，5)可使用且值将被二值化。因为预定义的值(即，5)大于当前索引(即，4)，当前索引值(即，4)用截断的二值化来二值化运算且用于编码的颜色索引表尺寸不变。如果预定义的值设置为0，索引值小于当前索引(即，4)，降低的索引值(即，3)用截断的二值化来二值化运算且用于编码的调色板尺寸缩小1。
如上揭示的用于未确定的颜色索引的预定义的值的使用还可以应用于在解析阶段利用未确定的颜色索引的其他颜色索引编码情况。
在复制模式中直接复制重建的值
在复制模式中，“copy_run”的值(例如，N)被发送或派生以指示对于以下的N个位置(包含当前这个)，像素值等于相应复制模式位置(例如，上方、左边、左上、上方M线、右上等)中重建的像素值。在这些复制重建的模式中不要求逃离码(例如，编码逃离值)。
在备选实施例中，在复制模式中，“copy_run”的值(例如，N)被发送或派生以指示对于以下的N个位置(包含当前像素)，像素值等于相应复制模式位置(例如，上方、左边、左上、上方M线、右上等)中重建的像素值。如果预测符像素被逃离编码，选择的当前被推测为逃离编码且逃离像素值被编码。
跨过CU边界的相邻像素上的特殊索引S
如果上方相邻像素是跨过CU边界，则相邻CU像素(NCP)的特殊索引(例如，“S”)可以根据如图15A所示的本发明的实施例来分配。以填充的图案显示的像素对应于在CU边界外的M行相邻像素。当像素由COPY-RUN标示时，其将不仅复制上方像素的像素索引(S)也复制上方像素的像素值，如图15A所示。例如，CU的第一行中的最开始的三个像素使用复制上方模式。第一行中的剩余像素是从CU边界上的第二行复制的。因为所有参考的相邻像素位于CU边界外，特殊索引S用于相邻像素。特殊值S可以是不同于所有可能索引值的值。例如，特殊值S可以等于(最大索引值+1)。
在复制模式中为逃离样本直接复制重建的值
本发明的另一方面解决用于逃离样本的直接复制模式的问题。在复制模式中，“copy_run”的值(例如，N)被发送或派生以指示对于以下的N个位置(包含当前像素)，颜色索引等于相应复制模式位置(例如，上方、左边、左上、上方M线、右上等)中的颜色索引。然而，如果预测符是逃离样本，则当前样本不仅复制索引(逃离索引)也从预测符复制重建值(例如，逃离值)。在这些复制重建模式中没有要求逃离编码。
在复制以前的模式中，值Δrow和值“copy_previous_run”(例如，N)被发送或派生以指示对于以下N个位置(包含当前这个)，颜色索引等于具有距离为Δrow的以前的行的颜色索引。然而，如果预测符是逃离样本，当前样本不仅复制索引也从预测符复制重建值。在这些复制重建的模式中不要求逃离编码。例如，如果预测符位于当前CU中，则当前样本从预测符复制逃离值。如果预测符位于当前CU外，则当前样本从预测符复制重建值。
“具有预测模式的逃离颜色”和“来自NP的颜色索引图编码的预测”的统一
方法“具有预测模式的逃离颜色”和方法“来自相邻像素的颜色索引图编码的预测”可以统一。在方法“来自相邻像素的颜色索引图编码的预测”中，解码器可直接推测相邻像素的索引为逃离索引。结果，如果第一行中的像素标示为复制上方模式，像素将从逃离索引预测。为了处理来自逃离索引的预测，如果预测符是逃离样本，则复制模式中的重建的值直接复制。相邻像素的索引直接推测为逃离索引。换句话说，如果像素是由相邻像素预测(复制上方模式或复制以前模式)时，解码器将复制NP的像素值。预测像素的重建的索引推测为逃离索引。相邻像素可以是当前CU外的多行。相邻像素可以是当前CU外的M行。M可取决于颜色格式或解块滤波器的缓冲器尺寸。例如，亮度组分的M可以是4以及色度组件的M可以是2。
图15B图示统一方法的示例。NP可以是当前CU外的M行。在图15B中，M是2。CU内的索引可以使用复制上方模式或复制以前模式从相邻像素预测。相邻像素的索引直接推测为逃离索引。如果像素是从相邻像素预测的(复制上方模式或复制以前的模式)时，解码器将复制相邻像素的像素值。像素的重建的索引也从相邻像素的索引复制(推测为逃离索引)。
复制上方游程模式的细化
在颜色索引编码中，当前像素的冗余索引Irun_red可以从最后编码的预测模式派生。对于预测模式而不是最后编码的预测模式，如果第一索引预测符与Irun_red相同，第一索引预测符可以由对应于固定索引或派生索引的替代索引来替代。替代索引可以是0或不等于Irun_red的最小非冗余索引。例如，如果Irun_red是0，则替代索引可以设置为1。否则，替代索引可以设置为0。如果Irun_red等于逃离索引，则索引替代方法可以禁能。
如上所述，在SCM2.0中，如果以前的预测模式是复制上方模式，当前索引不与上方索引相同。否则，当前索引编码可以合并为复制上方模式的以前的游程。冗余索引值推测为Irun_red。例如，图16A中的索引A是冗余索引。由问号指示的当前索引不是索引A。根据本发明的实施例，揭示精确的预测源用于其他预测模式。例如，如果预测模式是复制上方右侧(copy-above-right)，则上方右侧像素的索引不是A。其可由对应于固定索引或派生索引(例如，图16B中的索引C)的替代索引替代，其中C可以是0或不等于Irun_red的最小非冗余索引。例如，如果Irun_red是0，索引C可设置为1。否则，索引C可以设置为0。
在另一示例中，如果以前的预测模式是基于游程的模式(例如，复制左侧游程)，当前索引不与左边索引相同。否则，当前索引编码可以合并为游程模式的以前的游程。图17A图示此情况的示例，其中当前像素的编码(由问号指示)不是索引A(即，冗余索引)。然而，如果当前即将被编码的索引的上方索引等于Irun_red，则当前索引的复制上方预测是冗余。因此，在此情况下，如果使用复制上方模式，则根据本发明的实施例替代上方索引的索引预测符。
如果如图17A所示当前即将给编码索引的上方索引等于Irun_red(例如，索引A)时，解码器可用是固定索引或派生索引的替代索引来替代复制上方模式中的上方索引的索引预测符，例如，图17B中的索引C。C可以是0或不等于Irun_red的最小非冗余索引。例如，如果run_red是0，则C可以设置为1。否则，C可以设置为0。
如上所述的冗余索引确定和处理可以应用于不同的预测模式。例如，Irun_red可以是任何预测模式的冗余索引，例如，用于复制上方多于两行的上方两行模式的索引。如果最后编码的模式是游程模式，且以前编码的索引与Irun_red相同，则预测模式的Irun_red(例如，复制上方多于两行的上方两行的索引)可以用派生的索引替换。
编码器模式选择方法可以应用。如果复制上方模式可以选择，即使游程模式的游程远大于复制上方模式的游程，预测模式设置为复制上方模式。
如果预测符由替代索引替代，游程模式的索引编码可以被修改。两个冗余索引，Irun_red和替代索引，可以被移除。例如，如果最后编码的模式是游程模式，上方索引与以前的索引相同且上方索引不是逃离索引，然后两个索引可以在当前像素的游程模式的索引编码中移除。移除的两个索引的一个是以前的索引且另一个是替代索引。
在另一示例中，如果最后编码的模式是游程模式，则上方索引与以前的索引相同，最大可能的索引大于2且上方索引不是逃离索引，然后两个索引可以在当前像素的游程模式的索引编码中移除。移除的两个索引的一个是以前的索引且另一个是替代索引。
在另一示例中，如果最后编码的模式是游程模式，上方索引与以前的索引相同且最大可能索引大于2，然后两个索引可以在当前像素的游程模式的索引编码中移除。移除的两个索引的一个是以前的索引且另一个是替代索引。
在SCM2.0中，如果以前的游程是复制上方游程，当当前像素(Pc)是新的索引游程的第一像素时，则当前像素(Pc)不具有与上方像素(Pa)的索引相同的索引。否则，当前像素将被合并为以前的游程。在此情况下，当前像素的索引(Ic)可以用冗余移除来编码。上方像素的索引推测为Iabove且以前的像素(Pleft)的索引称为Ileft。以前的像素可以是基于逆扫描方向的左边或右边像素，且上方像素可以是基于扫描方向的当前像素上的1行或当前像素的左边的1列。在一个实施例中，如果Pleft是复制上方模式且Iabove是来自水平扫描中的上方CU或垂直扫描中的左边CU时，冗余索引移除可以禁能。图18A图示Iabove直接从相邻CU复制的情况。图18B图示Iabove从相邻CU复制索引的其上像素复制的情况。在一个实施例中，当Pleft是复制上方模式且当前像素位于当前CU的第一个N行上时，冗余移除将禁能。在另一实施例中，当Pleft是复制上方模式时，索引冗余移除将被禁能。此外，如果Irun_red来自相邻像素，则冗余索引移除方法可以禁能。
包含本发明实施例的编码系统的性能与锚固系统(anchor system)的性能比较。锚固系统对应于基于SCM-2.0的系统，其中不允许预测跨编码单元。本发明的实施例允许使用对应于当前编码单元上一行以及当前编码单元左边一列的相邻像素的索引预测。在包含所有帧内、随机存取(RA)以及低延迟B帧(LB)的各种编码配置下执行比较。比较结果分别概括于对应于AI、RA和LB配置的表3A-表3C。本发明的实施例导致相较于锚固系统的较低的BD率(即，负值)。BD率是视频编码领域中熟知的性能测量。如表3A-表3C所示，对于AI、RA和LB配置，在BD率方面的性能改进分别高达2.5％、1.5％以及1.3％。
表3A
表3B
表3C
包含本发明另一实施例的编码系统的性能与锚固系统(anchor system)的性能比较。锚固系统对应于基于SCM-2.0的系统，其中不允许预测跨编码单元。本发明的实施例类似于以前的实施例。然而，简化的处理包含没有匹配映射相邻像素值为默认索引(方法1)、通过评估部分组主颜色(方法2)或使用单个颜色组件(方法3)为相邻像素选择索引、以及通过复制重建的相邻像素值重建像素值(方法4)。比较结果概括于AI配置的表4。如表4所示，对于简化的方法1、2、3和4在BD率方面的性能改进分别分别高达0.2％、2.3％、2.4％和1.9％。
表4
图19图示根据本发明的实施例的使用相邻像素的颜色索引预测的系统的示范性流程图。在步骤1910中，系统接收与当前块中的当前像素的当前像素索引关联的第一输入数据。第一输入数据对应于即将在编码器侧编码的当前块的像素数据或颜色索引或对应于即将在解码器侧解码的当前块的编码的数据或编码的颜色索引。输入数据可以从存储器(例如，计算机存储器、缓冲器(RAM或DRAM)或其他媒体)或处理器获取。在步骤1920中，接收与当前块的重建的相邻像素关联的第二输入数据。在步骤1930中，颜色索引编码或解码通过从重建的相邻像素的相邻像素索引派生索引预测应用于当前像素索引。在步骤1940中，然后提供当前块的当前像素的编码的或解码的数据。
显示的流程图旨在图示根据本发明的颜色索引编码的示例。本领域的技术人员在不背离本发明的精神的情况下，可修改每个步骤、重新安排步骤、拆分步骤、或合并步骤以实践本发明。在本公开中，特定句法和方法已经用于图示示例以实现本发明的实施例。本领域技术人员在不背离本发明的精神的情况下，可通过用等效句法和方法代替句法和方法来实践本发明。
呈现以上描述以使本领域的普通技术人员能如本文中特定申请和其要求提供的来实践本发明。描述的实施例的各种修改对于本领域技术人员是清楚的，且在此定义的一般原理可以应用于其他实施例。因此，本发明不旨在限于所示和描述的特定实施例，但是符合与本文揭示的原理和新颖特征一致的最广范围。在以上详细描述中，图示各种具体细节以便提供本发明的完整理解。然而，本领域技术人员应理解本发明可以实践。
如上所述的本发明实施例可以以各种硬件、软件代码或其组合来实施。例如，本发明的实施例可以是集成于视频压缩芯片的电路或集成于视频压缩软件的程序代码以执行本文描述的处理。本发明的实施例还可执行于数字信号处理器(DSP)上的程序代码以执行本文描述的处理。本发明还可涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FPGA)执行的多个功能机。这些处理器可以用于通过执行机器可读软件代码或定义本发明实施的特定方法的固件代码执行根据本发明的特定任务。软件代码或固件代码可以用不同的编程语言和不同的格式或风格来开发。软件代码还可为不同的目标平台编译。然而，用于编码以执行根据本发明的任务的软件代码的不同的编码格式、风格和语言以及其他装置将不背离本发明的精神和范围。
本发明可以在不背离其精神和实质特性的情况下以其他形式实施。描述的示例在各方面仅仅考虑为说明性的并非限制性的。本发明的范围因此由所附的权利要求而不是上文的描述指示。落入权利要求的等效的意义和范围的所有改变在其范围内。

Claims (25)

1.一种在视频编码系统中使用颜色索引编码来编码视频数据的块的方法，方法包含：
接收与当前块中的当前像素的当前像素索引关联的第一输入数据；
接收与所述当前块的重建的相邻像素关联的第二输入数据；
其中基于所述第二输入数据生成相邻像素索引，通过从所述第二输入数据生成的所述相邻像素索引派生的索引预测，将颜色索引编码或解码应用于与所述当前像素索引关联的所述第一输入数据；以及
提供所述当前块的所述当前像素的编码的或解码的数据。
2.如权利要求1所述的方法，其特征在于，还包括根据量化表在主颜色索引和主颜色值之间映射，将重建的相邻像素值转换为所述相邻像素索引。
3.如权利要求2所述的方法，其特征在于，所述量化表是基于所述当前块的主颜色表。
4.如权利要求2所述的方法，其特征在于，所述量化表在解码器侧派生。
5.如权利要求2所述的方法，其特征在于，所述重建的相邻像素的每个相邻像素值转换为所述量化表中的一个主颜色索引。
6.如权利要求2所述的方法，其特征在于，所述当前像素通过根据所述量化表将解码的当前像素索引转换为重建的当前像素值来重建。
7.如权利要求2所述的方法，其特征在于，所述当前像素通过直接复制所述重建的相邻像素值重建。
8.如权利要求2所述的方法，其特征在于，如果在给定重建的相邻像素值和所述量化表中的任何主颜色之间没有发现匹配，则索引0分配给所述给定重建的相邻像素值。
9.如权利要求2所述的方法，其特征在于，给定重建的相邻像素值是针对所述量化表中的所述主颜色索引的部分组来评估，以识别匹配的主颜色索引为选择的相邻像素索引。
10.如权利要求2所述的方法，其特征在于，给定重建的相邻像素值是针对与所述主颜色索引关联的颜色组件的部分组来评估，以识别匹配的主颜色索引为选择的相邻像素索引。
11.如权利要求2所述的方法，其特征在于，给定重建的相邻像素值是针对所述量化表中的所有主颜色索引评估，且如果所述给定重建的相邻像素值在所有主颜色值中具有对应于匹配的主颜色索引的所述主颜色值的最小差值，所述匹配的主颜色索引识别为选择的相邻像素索引。
12.如权利要求2所述的方法，其特征在于，给定重建的相邻像素值是针对所述量化表中所述主颜色索引评估，且如果所述给定重建的相邻像素值和对应于匹配的颜色索引的所述主颜色值之间的差值小于阈值，所述匹配的主颜色索引识别为选择的相邻像素索引。
13.如权利要求12所述的方法，其特征在于，如果多于一个匹配的主颜色索引被识别，最早识别的所述匹配的主颜色索引用作所述选择的相邻像素索引。
14.如权利要求1所述的方法，其特征在于，还包括分配特殊索引到所述当前块的所述重建的相邻像素，且具有所述特殊索引的编码的第一当前像素是通过从对应重建的相邻像素的像素值直接复制来重建。
15.如权利要求1所述的方法，其特征在于，如果在所述当前像素上的上方像素是由第一重建的相邻像素预测的，则所述当前像素索引是通过没有冗余索引移除参考上方像素编码。
16.如权利要求15所述的方法，其特征在于，如果与所述当前像素的以前的像素关联的第一索引是复制上方游程模式且与所述当前像素的上方像素关联的第二索引来自于水平扫描中的上方编码单元或垂直扫描中的左边编码单元，则所述冗余索引移除被禁能。
17.如权利要求1所述的方法，其特征在于，所述重建的相邻像素对应于以前编码的或重建的空间相邻像素、以前编码的或重建的时间相邻像素、或两者。
18.如权利要求1所述的方法，其特征在于，所述当前块的每个当前行中的第一当前像素是基于左边重建的相邻像素预测的。
19.如权利要求1所述的方法，其特征在于，如果选择的当前像素不与任何上方重建的相邻像素或任何左边重建的相邻像素相邻，则所述选择的当前像素由相同列中上方重建的相邻像素或相同行中左边重建的相邻像素预测。
20.如权利要求1所述的方法，其特征在于，如果选择的当前像素没有可用于所述索引预测的重建的相邻像素，则索引预测模式用于指示正被用于标示所述选择的当前像素的新的索引的索引模式。
21.如权利要求1所述的方法，其特征在于，对于所述当前块的第一行中的所述当前像素，如果给定当前像素的以前的预测模式是复制上方游程模式，则所述复制上方游程模式是冗余且从用于所述当前像素的候选预测模式中排除，其中通过复制一个或多个选择的像素上的一个或多个对应像素，所述复制上方游程模式编码或解码所述一个或多个选择的像素。
22.如权利要求1所述的方法，其特征在于，所述重建的相邻像素包含所述当前块上所述重建的相邻像素的一行或多行。
23.如权利要求1所述的方法，其特征在于，如果预测复制模式用于选择的当前像素且对应预测符具有逃离模式，则所述选择的当前像素被解码以具有与所述对应预测符关联的逃离索引。
24.如权利要求23所述的方法，其特征在于，如果所述对应预测符在所述重建的相邻像素中，所述选择的当前像素是通过复制所述对应预测符的所述重建的相邻像素值解码。
25.一种在视频编码系统中使用颜色索引编码来编码视频数据的块的装置，所述装置包含一个或多个电子电路，包含：
接收与当前块中的当前像素的当前像素索引关联的第一输入数据的电路；
接收与所述当前块的重建的相邻像素关联的第二输入数据的电路；
其中基于所述第二输入数据生成相邻像素索引，通过从所述第二输入数据生成的所述相邻像素索引派生的索引预测，将颜色索引编码或解码应用于与所述当前像素索引关联的所述第一输入数据的电路；以及
提供所述当前块的所述当前像素的编码的或解码的数据的电路。
CN201480071220.1A 2013-12-27 2014-12-26 具有跨块预测的调色板编码的方法和装置 Active CN106031171B (zh)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US201361921156P 2013-12-27 2013-12-27
US61/921,156 2013-12-27
US201461924333P 2014-01-07 2014-01-07
US61/924,333 2014-01-07
US201462031974P 2014-08-01 2014-08-01
US62/031,974 2014-08-01
US201462035625P 2014-08-11 2014-08-11
US62/035,625 2014-08-11
US201462040020P 2014-08-21 2014-08-21
US62/040,020 2014-08-21
US201462040582P 2014-08-22 2014-08-22
US62/040,582 2014-08-22
US201462060817P 2014-10-07 2014-10-07
US62/060,817 2014-10-07
US201462086319P 2014-12-02 2014-12-02
US62/086,319 2014-12-02
PCT/CN2014/095159 WO2015096812A1 (en) 2013-12-27 2014-12-26 Method and apparatus for palette coding with cross block prediction

Publications (2)

Publication Number Publication Date
CN106031171A CN106031171A (zh) 2016-10-12
CN106031171B true CN106031171B (zh) 2019-08-30

Family

ID=53477594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480071220.1A Active CN106031171B (zh) 2013-12-27 2014-12-26 具有跨块预测的调色板编码的方法和装置

Country Status (4)

Country Link
US (2) US10182242B2 (zh)
EP (1) EP3087738B1 (zh)
CN (1) CN106031171B (zh)
WO (1) WO2015096812A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9924175B2 (en) * 2014-06-11 2018-03-20 Qualcomm Incorporated Determining application of deblocking filtering to palette coded blocks in video coding
US10136141B2 (en) 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
US9955157B2 (en) * 2014-07-11 2018-04-24 Qualcomm Incorporated Advanced palette prediction and signaling
US11330297B2 (en) 2014-08-19 2022-05-10 Qualcomm Incorporated Methods incorporating extensions to copy-above mode for palette mode coding
CN107079151B (zh) * 2014-09-26 2020-06-05 株式会社Kt 用于处理视频信号的方法和设备
US9848198B2 (en) 2014-10-06 2017-12-19 Qualcomm Incorporated Diagonal copy for palette mode coding
CN107079163B (zh) 2014-10-20 2020-06-05 株式会社Kt 用于处理视频信号的方法和设备
US10477227B2 (en) 2015-01-15 2019-11-12 Kt Corporation Method and apparatus for predicting and restoring a video signal using palette entry and palette mode
WO2016122251A1 (ko) 2015-01-29 2016-08-04 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN112135143B (zh) 2015-01-29 2022-08-30 株式会社Kt 用于对经编码的视频信号解码和对视频信号编码的方法
US10212434B2 (en) * 2015-01-30 2019-02-19 Qualcomm Incorporated Palette entries coding in video coding
US10484713B2 (en) 2015-04-02 2019-11-19 Kt Corporation Method and device for predicting and restoring a video signal using palette entry and palette escape mode
CN106254865B (zh) * 2015-06-08 2020-06-09 同济大学 一种图像编码及解码方法、图像处理设备
US20160366439A1 (en) * 2015-06-12 2016-12-15 Qualcomm Incorporated Palette copy extension
US10269326B2 (en) 2015-12-19 2019-04-23 Intel Corporation Method and apparatus for color buffer compression
ES2688624R1 (es) 2016-04-06 2018-12-04 Kt Corporation Método y aparato para procesar señales de vídeo
US10728548B2 (en) * 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
US10924750B2 (en) * 2019-03-01 2021-02-16 Alibaba Group Holding Limited Palette size constraint in palette mode for video compression system
US11503311B2 (en) 2019-03-08 2022-11-15 Sony Group Corporation Hybrid palette-DPCM coding for image compression
US11277611B2 (en) * 2019-07-24 2022-03-15 Qualcomm Incorporated Delta quantization parameter (QP) signaling in palette mode
MX2022002617A (es) * 2019-09-12 2022-03-25 Bytedance Inc Uso de predictor de paleta en codificacion de video.
WO2021136470A1 (en) * 2019-12-31 2021-07-08 Beijing Bytedance Network Technology Co., Ltd. Clustering based palette mode for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101365136A (zh) * 2008-09-09 2009-02-11 深圳市同洲电子股份有限公司 帧内预测的方法及装置
CN101816177A (zh) * 2007-09-13 2010-08-25 微软公司 文本图像编码

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7343037B1 (en) 2004-02-04 2008-03-11 Microsoft Corporation Dynamic, locally-adaptive, lossless palettization of color and grayscale images
US7940652B1 (en) * 2005-02-14 2011-05-10 Brixham Solutions Ltd. Pseudowire protection using a standby pseudowire
CN101068352A (zh) 2007-06-08 2007-11-07 中兴通讯股份有限公司 一种网络图像的压缩方法和系统
US20090010533A1 (en) 2007-07-05 2009-01-08 Mediatek Inc. Method and apparatus for displaying an encoded image
GB2457646B (en) 2007-10-30 2010-03-03 Imagination Tech Ltd Method and apparatus for compressing and decompressing data
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
CN100576921C (zh) 2008-01-14 2009-12-30 浙江大学 基于块分类的混合图像压缩方法
CN101645173B (zh) 2008-12-16 2012-05-16 中国科学院声学研究所 一种随机调色板编码系统及方法
KR101700358B1 (ko) 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
MX2013007314A (es) 2010-12-23 2013-10-25 Samsung Electronics Co Ltd Metodo y aparato de codificacion de modo de intra-prediccion para unidad de prediccion de imagen, metodo y aparato de decodificacion de modo de intra-prediccion para unidad de prediccion de imagen.
WO2012095467A1 (en) 2011-01-12 2012-07-19 Canon Kabushiki Kaisha Video encoding and decoding with low complexity
US20140036033A1 (en) 2011-04-28 2014-02-06 Sony Corporation Image processing device and image processing method
CN103535037B (zh) 2011-05-20 2017-06-09 索尼公司 图像处理装置和图像处理方法
CN103636203B (zh) 2011-06-17 2017-07-14 寰发股份有限公司 内部预测模式编码的方法及装置
EP2727355A1 (en) 2011-06-29 2014-05-07 Motorola Mobility LLC Methods and system for using a scan coding pattern during intra coding
RU2761120C2 (ru) 2011-09-27 2021-12-06 Конинклейке Филипс Н.В. Устройство и способ для преобразования динамического диапазона изображений
JP6120490B2 (ja) 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR101827939B1 (ko) 2011-12-13 2018-02-12 주식회사 스카이미디어테크 적응적인 인트라 예측 모드 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
RU2579665C9 (ru) 2011-12-28 2016-12-27 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения
US10587898B2 (en) 2012-03-12 2020-03-10 Sun Patent Trust Image coding method, and image decoding method
US9621905B2 (en) 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
US9161039B2 (en) 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
US9363517B2 (en) * 2013-02-28 2016-06-07 Broadcom Corporation Indexed color history in image coding
US11259020B2 (en) 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
CN103248893B (zh) 2013-05-10 2015-12-23 四川大学 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器
US9558567B2 (en) 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US10291827B2 (en) * 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
US9654806B2 (en) * 2014-03-26 2017-05-16 Qualcomm Incorporated Determining palette size, palette entries and filtering of palette coded blocks in video coding
US11323733B2 (en) 2014-05-23 2022-05-03 Qualcomm Incorporated Predictor palette initialization in palette-based video coding
KR101953482B1 (ko) * 2014-07-07 2019-02-28 에이치에프아이 이노베이션 인크. 인덱스 맵 부호화의 예측자로서 이스케이프 픽셀을 취급하는 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101816177A (zh) * 2007-09-13 2010-08-25 微软公司 文本图像编码
CN101365136A (zh) * 2008-09-09 2009-02-11 深圳市同洲电子股份有限公司 帧内预测的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AHG8: Major-color-based screen content coding;Xun Guo et al;《JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting；JCTVC-O0182》;20131101;全文 *

Also Published As

Publication number Publication date
EP3087738A1 (en) 2016-11-02
WO2015096812A1 (en) 2015-07-02
US20190110071A1 (en) 2019-04-11
US10531119B2 (en) 2020-01-07
CN106031171A (zh) 2016-10-12
US10182242B2 (en) 2019-01-15
EP3087738B1 (en) 2019-10-02
EP3087738A4 (en) 2017-08-02
US20160309183A1 (en) 2016-10-20

Similar Documents

Publication Publication Date Title
CN106031171B (zh) 具有跨块预测的调色板编码的方法和装置
CN109089117B (zh) 编码或解码视频数据的方法及装置
CN110191338B (zh) 在索引图编码中将跳出像素作为预测器的方法
US11032568B2 (en) Method of video coding using prediction based on intra picture block copy
US9788004B2 (en) Method of color index coding with palette stuffing
CN110099277B (zh) 调色板大小发信和有条件的调色板例外标志发信的方法
CN105981388B (zh) 调色板编码中句法冗余移除的方法和装置
CN111869216B (zh) 用于视频编解码系统的语法处理的方法和装置
CN113228644B (zh) 带有约束的亮度-色度单独的编码树编码的方法和设备
JP7366980B2 (ja) 境界の強制的な区分けの改善
CN105874795A (zh) 在波前并行处理被启用时对图片内预测模式的规则
US10484696B2 (en) Method and apparatus for color index prediction
EP3087743A1 (en) Method and apparatus for major color index map coding
US10904566B2 (en) Method and apparatus for index map coding in video and image compression
KR20160059511A (ko) 비디오 부/복호화기에서 화면 내 블록 복사 기술의 블록 벡터 예측 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant