CN114747217A - 调色板编解码模式 - Google Patents

Abstract

描述了一种视频处理的方法。该方法包括执行视频的当前块和视频的比特流之间的转换，其中使用调色板模式对当前视频块进行编解码，在调色板模式中，使用代表性样点值的调色板来表示当前块，并且其中转换包括基于转换中的局部双树的使用，在调色板模式下选择性地保存和加载调色板的调色板预测值。

Description

调色板编解码模式

相关应用的交叉引用

根据巴黎公约适用的专利法和/或规则，本申请要求2019年11月30日提交的国际专利申请号PCT/CN2019/122267的优先权和利益。上述申请的全部公开内容通过引用并入作为本申请公开内容的一部分。

技术领域

本文档涉及视频编解码技术、系统和设备。

背景技术

在互联网和其他数字通信网络中，数字视频占用了最大的带宽。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

描述了与数字视频编解码相关的设备、系统和方法，其包括用于屏幕内容编解码的基于字典的编解码模式。所描述的方法适用于现有视频编解码标准(例如，高效视频编解码(HEVC)和/或通用视频编解码(VVC))和未来的视频编解码标准或视频编解码器。

在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括执行视频的当前块和视频的比特流表示之间的转换，其中使用一个或多个字典以基于字典的编解码模式对当前块进行编码，并且其中转换基于一个或多个字典。

在另一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于包括视频块的视频和视频的比特流表示之间的转换，根据规则，基于视频块的一个或多个编解码特性，确定对视频块使用一个或多个字典；以及基于该确定来执行转换，其中编解码特性包括视频块的尺寸和/或比特流表示中的信息。

在另一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于应用了基于字典的编解码模式的视频的当前块，基于字典的一个或多个条目来确定当前块的预测块；以及基于该确定来执行当前块和视频的比特流表示之间的转换。

在另一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括执行视频的当前视频区域的当前视频单元和视频的比特流表示之间的转换，其中使用字典以基于字典的编解码模式对当前视频单元进行编解码，并且其中字典在对当前视频区域进行编解码之前被重置并且在对当前视频单元进行编解码之后被更新。

在另一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括执行视频的当前块和视频的比特流表示之间的转换，其中使用字典以基于字典的编解码模式对当前块进行编解码，其中通过对字典中的条目进行排序(sort)来导出当前块的预测块或重构块。

在另一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括执行视频的当前块和视频的比特流表示之间的转换，其中使用字典以基于字典的编解码模式对当前块进行编解码，并且其中字典的一个或多个条目的索引被包括在比特流表示中。

在另一代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括执行视频的当前块和视频的比特流表示之间的转换，其中使用调色板模式对当前块进行编解码，并且其中比特流表示包括表示当前块的系数组中的每一个的逸出(escape)样点的语法元素。

在又一个代表性方面，上述方法以处理器可执行代码的形式实现，并存储在计算机可读程序介质中。

在又一个代表性方面，公开了一种被配置或可操作来执行上述方法的设备。该设备可以包括被编程来实现该方法的处理器。

在又一个代表性方面，视频解码器装置可以实现如本文所述的方法。

在附图、说明书和权利要求中更详细地描述了所公开技术的上述和其他方面和特征。

附图说明

图1显示了帧内块复制的示例。

图2显示了五个空域临近候选的示例。

图3显示了以调色板模式编解码的块的示例。

图4显示了使用调色板预测值来信令通知调色板条目的示例。

图5显示了水平和垂直遍历扫描的示例。

图6显示了调色板索引的编解码示例。

图7A和图7B显示了最小色度帧间预测单元(SCIPU)的实例。

图8显示了局部双树情况下的重复的调色板(PLT)条目问题的一个示例。

图9显示了基于字典的编解码模式的编解码过程的示例。

图10显示了基于字典的编解码模式的更新过程的示例。

图11显示了块的模板的示例。

图12是视频处理方法的示例的流程图。

图13是视频处理方法的另一示例的流程图。

图14A是视频处理装置的示例的块图。

图14B是其中可以实现所公开的技术的示例视频处理系统的块图。

图15是说明示例视频编解码系统的块图。

图16是显示根据所公开技术的一些实施例的编码器的块图。

图17是显示根据所公开技术的一些实施例的解码器的块图。

图18A至图18C显示了基于所公开技术的一些实现的视频处理的示例方法的流程图。

具体实施方式

本文档提供了各种技术，图像或视频比特流的解码器可以使用这些技术来提高解压缩或解码的数字视频或图像的质量。为简洁起见，本文使用的术语“视频”包括图片的序列(传统上称为视频)和单独图像。此外，视频编码器也可在编码过程期间实施这些技术，以便重构用于进一步编码的解码的帧。

本文件中使用的章节标题是为了易于理解，并不将实施例和技术限于相应的章节。这样，来自一个章节的实施例可以与来自其他章节的实施例相结合。

1.概要

本文档涉及视频编解码技术。具体而言，它涉及用于屏幕内容编解码的基于字典的编解码模式。它适可以应用于现有视频编解码标准，如HEVC，或者即将完成的标准(通用视频编解码)。它也适用于未来的视频编解码标准或视频编解码器。

2.视频编解码的示例实施例

视频编解码标准主要通过众所周知的ITU-T和ISO/IEC标准的发展而演进。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4Visual，并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后，JVET采用了许多新方法，并将其置入到名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1SC29/WG11(MPEG)成立了联合视频专家小组(JVET)，致力于VVC标准，目标是与HEVC相比将比特率降低50％。

2.1帧内块复制

帧内块复制(IBC)，也称为当前图片参考，已经在HEVC屏幕内容编解码扩展(HEVC-SCC)和当前VVC测试模型(VTM-4.0)中被采用。IBC将运动补偿的概念从帧间编解码扩展到帧内编解码。如图1所示，当应用IBC时，当前块由同一图片中的参考块预测。在当前块被编码或解码之前，参考块中的样点必须已经被重构。尽管IBC对于大多数相机捕捉的序列来说效率不是很高，但它对于屏幕内容来说显示出显著的编解码增益。原因是屏幕内容图片中有大量重复图案，诸如图标和文本字符。IBC可以有效地消除这些重复图案之间的冗余。在HEVC-SCC中，如果帧间编解码的编解码单元(CU)选择当前图片作为其参考图片，则它可以应用IBC。在这种情况下，MV被重命名为块向量(BV)，并且BV总是具有整数像素精度。为了与主档次(profile)HEVC兼容，当前图片在解码图片缓冲器(DPB)中被标记为“长期”参考图片。应当注意，类似地，在多视图/3D视频编解码标准中，视图间参考图片也被标记为“长期”参考图片。

跟随BV以找到其参考块，可以通过复制参考块来生成预测。残差可以通过从原始信号中减去参考像素来获得。然后可以像在其他编解码模式中一样应用变换和量化。

然而，当参考块在图片之外，或与当前块重叠，或在重构区域之外，或在受某些约束限制的有效区域之外时，部分或全部像素值未被定义。基本上，有两种解决方案来处理这样的问题。一种是不允许这种情况，例如在比特流一致性中。另一种是对那些未定义的像素值应用填充。以下子研讨详细描述了这些解决方案。

2.1.1 HEVC IBC屏幕内容编解码扩展

在HEVC的屏幕内容编解码扩展中，当块使用当前图片作为参考时，它应该保证整个参考块在可用的重构区域内，如下面的规范文本所示：

变量offsetX和offsetY的导出如下：

offsetX＝(ChromaArrayType＝＝0)？0:(mvCLX[0]&0x7？2:0) (8-106)

offsetY＝(ChromaArrayType＝＝0)？0:(mvCLX[1]&0x7？2:0) (8-107)

比特流一致性的要求是，当参考图片是当前图片时，亮度运动向量mvLX应遵守以下约束：

1.当调用第6.4.1条款中指定的z扫描顺序块可用性的导出过程，将(xCurr,yCurr)设置为等于(xCb,yCb)，并将临近亮度位置(xNbY,yNbY)设置为等于(xPb+(mvLX[0]>>2)-offsetX,yPb+(mvLX[1]>>2)-offsetY)作为输入时，输出应等于真。

2.当调用第6.4.1条款中指定的z扫描顺序块可用性的导出过程，并将(xCurr,yCurr)设置为等于(xCb,yCb)，并将临近亮度位置(xNbY,yNbY)设置为等于(xPb+(mvLX[0]>>2)+nPbW-1+offsetX,yPb+(mvLX[1]>>2)+nPbH-1+offsetY)作为输入时，输出应等于真。

3.以下一个或两个条件应为真：

–(mvLX[0]>>2)+nPbW+xB1+offsetX的值小于或等于0。

–(mvLX[1]>>2)+nPbH+yB1+offsetY的值小于或等于0。

4.以下条件应为真：

(xPb+(mvLX[0]>>2)+nPbSw-1+offsetX)/CtbSizeY-xCurr/CtbSizeY<＝yCurr/CtbSizeY-(yPb+(mvLX[1]>>2)+nPbSh-1+offsetY)/CtbSizeY (8-108)

因此，参考块与当前块重叠或者参考块在图片之外的情况将不会发生。不需要填充参考或预测块。

2.1.2 VVC测试模型中的IBC

在当前的VVC测试模型中，即VTM-4.0设计中，整个参考块应该与当前编解码树单元(CTU)在一起，并且不与当前块重叠。因此，不需要填充参考或预测块。IBC标志被编解码为当前CU的预测模式。因此，对于每个CU，总共有三种预测模式，MODE_INTRA、MODE_INTER和MODE_IBC。

2.1.2.1 IBC Merge模式

在IBC Merge模式中，从比特流中解析指向IBC Merge候选列表中的条目的索引。IBC Merge列表的构造可以根据以下步骤的序列来概括：

●步骤1：候选空域的导出

●步骤2：HMVP候选的插入

●步骤3：成对平均候选值的插入

在空域Merge候选的导出中，从位于图中所示位置的候选当中选择最多四个Merge候选。导出的顺序是A1，B1，B0，A0和B2。仅当位置A1、B1、B0、A0的任何PU不可用(例如，因为它属于另一个条带或片)或者没有用IBC模式编解码时，才考虑位置B2。在位置A1处的候选被添加之后，剩余候选的插入受到冗余检查，这确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。

在空域候选的插入之后，如果IBCMerge列表尺寸仍然小于最大IBCMerge列表尺寸，则可以插入来自HMVP表的IBC候选。当插入HMVP候选时，执行冗余校验。

最后，成对平均候选被插入到IBCMerge列表中。

当由Merge候选识别的参考块在图片之外，或与当前块重叠，或在重构的区域之外，或在受某些约束限制的有效区域之外时，Merge候选被称为无效Merge候选。

注意，无效Merge候选可能被插入到IBC Merge列表中。

JVET-N0843被采用至VVC。在JVET-N0843里。IBC中的Merge模式和AMVP模式的BV预测值将共享公共预测值列表，该列表包括以下元素：

○2个空域临近位置(如图2中的A1、B1)

○5个HMVP条目

○默认为零向量

对于Merge模式，将使用该列表的前多达6个条目；对于AMVP模式，将使用该列表的前2个条目。并且该列表符合共享的Merge列表区域要求(在SMR内共享的相同的列表)。

除了上述BV预测值候选列表，JVET-N0843还提出简化HMVP候选和现有Merge候选(A1，B1)之间的修剪操作。在简化中，将有多达2个修剪操作，因为它仅将第一HMVP候选与空域Merge候选进行比较。

在最新的VVC和VTM5中，提出了在先前的VTM和VVC版本中的当前比特流约束之上显式使用语法约束来禁用128x128 IBC模式，这使得IBC标志的存在依赖于CU尺寸<128x128。

2.1.2.2 IBC AMVP模式

在IBC AMVP模式中，从比特流中解析指向IBC AMVP列表中的条目的AMVP索引。IBC·AMVP列表的构造可以按照以下步骤来概括：

步骤1：空域候选的导出

检查A0、A1，直到找到可用的候选。

检查B0，B1，B2，直到找到可用的候选。

步骤2：HMVP候选的插入

步骤3：零候选人的插入

在空域候选的插入之后，如果IBC AMVP列表尺寸仍然小于最大IBC AMVP列表尺寸，则可以插入来自HMVP表的IBC候选。

最后，零候选被插入IBC·AMVP列表中。

2.1.2.3 IBC虚拟缓冲器

引入虚拟缓冲器的概念来帮助描述IBC预测模式的参考区域，并被采用到VVC草案中。对于CTU尺寸为ctbSize，我们表示wIbcBuf＝128*128/ctbSize，并定义虚拟IBC缓冲器IbcBuf，其宽度为wIbcBuf，且高度为ctbSize。因此，

对于尺寸为128x128的CTU，ibcBuf的尺寸也是128x128。

对于尺寸为64x64的CTU，ibcBuf的尺寸为256x64。

对于尺寸为32x32的CTU，ibcBuf的尺寸为512x32。

注意，VPDU宽度和高度是min(ctbSize,64)。我们表示Wv＝min(ctbSize,64)。

虚拟IBC缓冲器ibcBuf维护如下。

(1)在解码每个CTU行的开始，用值(-1)刷新整个ibcBuf。

(2)在解码相对于图片的左上角的VPDU(xVPDU，yVPDU)的开始，设置ibcBuf[x][y]＝-1，其中x＝xVPDU％wIbcBuf,…,xVPDU％wIbcBuf+Wv–1；y＝yVPDU％ctbSize,…,yVPDU％ctbSize+Wv–1。

(3)在解码相对于图片的左上之后的CU包含(x,y)，设置

ibcBuf[x％wIbcBuf][y％ctbSize]＝recSample[x][y]

因此比特流约束可以简单地描述为

比特流一致性的要求是，对于bv，ibcBuf[(x+bv[0])％wIbcBuf][(y+bv[1])％ctbSize]不应等于-1。

利用IBC参考缓冲器的概念，它还通过避免参考帧间插值和运动补偿过程，包括子块过程，简化了解码过程的文本。

此外，JVET-P2001中以IBC预测模式编解码的编解码单元的一般解码处理的文本如下所示。

该流程的输入为：

5.亮度位置(xCb,yCb)，其指定相对于当前图片的左上亮度样点的当前编解码块的左上样点，

6.变量cbWidth，其指定亮度样点中的当前编解码块的宽度，

7.变量cbHeight，其指定亮度样点中的当前编解码块的高度，

8.变量treeType，其指定使用单树还是双树，如果使用双树，则它指定当前树是对应于亮度分量还是色度分量。

这个过程的输出是在环路滤波之前的修改的重构的图片。

调用8.7.1条款中指定的量化参数导出过程，其中以亮度位置(xCb,yCb)、亮度样点中的当前编解码块的宽度cbWidth和亮度样点中的当前编解码块的高度cbHeight以及变量treeType作为输入。

变量IsGt4by4的导出如下：

IsGt4by4＝(cbWidth*cbHeight>16)？真：假 (8-893)

以IBC预测模式编解码的编解码单元的解码过程包括以下有序步骤：

1.当前编解码单元的块向量分量导出如下：

9.调用8.6.2.1条款中指定的块向量分量的导出过程，其中以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight作为输入，以及以亮度块向量bvL作为输出。

10.当treeType等于SINGLE_TREE时，调用8.6.2.5条款中色度块向量的导出过程，其中以亮度块向量bvL作为输入，并且以色度块向量bvC作为输出。

2.当前编解码单元的预测样点导出如下：

11.调用8.6.3.1条款中指定的IBC块的解码过程，其中以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、亮度块向量bvL、设置为0的变量cIdx作为输入，并且以作为预测亮度样点的(cbWidth)x(cbHeight)数组predSamplesL的IBC预测样点(predSamples)作为输出。

12.当treeType等于SINGLE_TREE时，当前编解码单元的预测样点被导出如下：

i.调用8.6.3.1条款中指定的IBC块的解码过程，其中以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、色度块向量bvC和设置为等于1的变量cIdx作为输入，并且以作为色度分量Cb的预测色度样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)数组predSamplesCb的IBC预测样点(predSamples)作为输出。

ii.调用8.6.3.1条款中指定的IBC块的解码过程，其中以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight、色度块向量bvC和设置为等于2的变量cIdx作为输入，并且以作为色度分量Cr的预测色度样点的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)数组predSamplesCr的IBC预测样点(predSamples)作为输出。

3.当前编解码单元的残差样点导出如下：

13.调用8.5.8条款中指定的以帧间预测模式编解码的编解码块的残差信号的解码过程，其中以设置为等于亮度位置(xCb,yCb)的位置(xTb0,yTb0)、设置为等于亮度编解码块宽度cbWidth的宽度nTbW、设置为等于亮度编解码块高度cbHeight的高度nTbH、以及设置为等于0的变量cIdx作为输入，并且以数组resSamplesL作为输出。

14.当treeType等于SINGLE_TREE时，调用8.5.8条款中指定的以帧间预测模式编解码的编解码块的残差信号的解码过程，其中以设置为等于色度位置(xCb/SubWidthC,yCb/SubHeightC)位置(xTb0,yTb0)、设置为等于色度编解码块宽度cbWidth/SubWidthC的宽度nTbW、设置为等于色度编解码块高度cbHeight/SubHeightC的高度nTbH、以及设置为等于1的变量cIdx作为输入，并且以数组resSamplesCb作为输出。

15.当treeType等于SINGLE_TREE时，调用8.5.8条款中指定的以帧间预测模式编解码的编解码块的残差信号的解码过程，其中以设置为等于色度位置(xCb/SubWidthC,yCb/SubHeightC)的位置(xTb0,yTb0)、设置为等于色度编解码块宽度cbWidth/SubWidthC的宽度nTbW、设置为等于色度编解码块高度cbHeight/SubHeightC的高度nTbH、以及设置等于2的变量cIdx作为输入，并且以数组resSamplesCr作为输出。

4.当前编解码单元的重构的样点导出如下：

16.调用8.7.5条款中指定的颜色分量的图片重构过程，其中以设置为等于(xCb,yCb)的块位置(xB,yB)、设置为等于cbWidth的块宽度bWidth、设置为等于cbHeight的块高度bHeight、变量treeType、设置为等于0的变量cIdx、设置为等于predSamplesL的(cbWidth)x(cbHeight)数组predSamples以及设置为等于resSamplesL的(cbWidth)x(cbHeight)数组resSamples作为输入，并且输出是在环路滤波之前的修改的重构的图片。

17.当treeType等于SINGLE_TREE时，调用8.7.5条款中指定的颜色分量的图片重构过程，其中以设置为等于(xCb/SubWidthC,yCb/SubHeightC)的块位置(xB,yB)、设置为等于cbWidth/SubWidthC的块宽度bWidth、设置为等于cbHeight/SubHeightC的块高度bHeight、变量treeType、设置为等于1的变量cIdx、设置为等于predSamplesCb的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)数组predSamples、以及设置为等于resSamplesCb的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)数组resSamples作为输入，并且输出是在环路滤波之前修改的重构的图片。

18.当treeType等于SINGLE_TREE时，调用8.7.5条款中指定的颜色分量的图片重构过程，其中以设置为等于(xCb/SubWidthC,yCb/SubHeightC)的块位置(xB,yB)、设置为等于cbWidth/SubWidthC的块宽度bWidth、设置为等于cbHeight/SubHeightC的块高度bHeight、变量treeType、设置为等于2的变量cIdx、设置为等于predSamplesCr的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)数组predSamples，以及设置为等于resSamplesCr的(cbWidth/SubWidthC)x(cbHeight/SubHeightC)数组resSamples作为输入，并且输出是在环路滤波之前修改的重构的图片。

2.2 HEVC屏幕内容编解码扩展(HEVC-SCC)中的调色板模式

2.2.1调色板模式的概念

调色板模式背后的基本思想是CU中的像素由代表性的颜色值的小的集合来表示。这个集合被称为调色板。并且还可以通过信令通知后跟(可能量化的)分量值的逸出符号来指示调色板之外的样点。这种类型的像素称为逸出像素。调色板模式如图3所示。如图3所示，对于具有三个颜色分量(亮度和两个色度分量)的每个像素，建立调色板的索引，并且可以基于调色板中建立的值来重构块。

HEVC-SSC中的调色板模式

对于调色板条目的编解码，维护调色板预测值。调色板的最大尺寸以及调色板预测值(palette predictor)在SPS中信令通知。在HEVC-SCC中，在PPS中引入了palette_predictor_initializer_present_flag。当该标志为1时，在比特流中信令通知初始化调色板预测值的条目。调色板预测值在每个CTU行、每个条带和每个片的开始被初始化。根据palette_predictor_initializer_present_flag的值，调色板预测值被重置为0或使用PPS中信令通知的调色板预测值初始化器条目进行初始化。在HEVC-SCC中，启用尺寸为0的调色板预测值初始化器，以允许在PPS级别显式禁用调色板预测值初始化。

对于调色板预测值中的每个条目，信令通知重用标志，以指示它是否是当前调色板的一部分。这如图4所示。使用零的游程长度编解码(run-length coding)发送重用标志。此后，使用0阶指数Golomb码来信令通知新调色板条目的数量。最后，信令通知新调色板条目的分量值。

调色板索引使用水平和垂直遍历扫描进行编解码，如图5所示。使用palette_transpose_flag在比特流中显式信令通知扫描顺序。对于本小节的其余部分，假设扫描是水平的。

调色板索引使用两种主要的调色板样点模式进行编解码：'INDEX'和“COPY_ABOVE”。如前所述，逸出符号也作为'INDEX'模式信令通知，并被分配等于最大调色板尺寸的索引。除了顶行或先前模式为'COPY_ABOVE'时，使用标志来信令通知该模式。在'COPY_ABOVE'模式中，复制上面行中样点的调色板索引。在'INDEX'模式中，调色板索引被显式信令通知。对于'INDEX'和'COPY_ABOVE'两种模式，将信令通知运行值，该运行值指定也使用相同模式进行编解码的后续样点的数量。当逸出符号是'INDEX'或'COPY_ABOVE'模式中运行的一部分时，将为每个逸出符号信令通知逸出分量值。调色板索引的编解码如图6所示。

这种语法顺序是按如下方式完成的。首先，信令通知CU的索引值的数量。接下来是使用截断二进制编解码来信令通知整个CU的实际索引值。索引的数量和索引值都以旁路模式编解码。这将与索引相关的旁路二进制位分组在一起。然后，调色板样点模式(如有必要)和运行以交错方式信令通知。最后，与整个CU的逸出样点相对应的分量逸出值被分组在一起，并以旁路模式进行编解码。

附加的语法元素last_run_type_flag在信令通知索引值之后被信令通知。该语法元素与索引的数量相结合，消除了信令通知对应于块中的最后运行的运行值的需要。

在HEVC-SCC中，调色板模式也支持4:2:2、4:2:0和单色色度格式。对于所有色度格式，调色板条目和调色板索引的信令通知几乎是相同的。在非单色格式的情况下，每个调色板条目包括3个分量。对于单色格式，每个调色板条目包括一个分量。对于子采样的色度方向，色度样点与可被2整除的亮度样点索引相关联。为CU重构调色板索引后，如果样点只有与之相关联的单个分量，则只使用调色板条目的第一分量。信令通知的唯一区别是针对逸出分量值。对于每个逸出样点，根据与该样点相关联的分量的数量，信令通知的逸出分量值的数量可能不同。

此外，调色板索引编码中存在索引调整过程。当信令通知调色板索引时，左临近索引或上临近索引应该不同于当前索引。因此，通过去除一种可能性，当前调色板索引的范围可以减少1。在此之后，索引用截断的二进制(TB)二进制化来信令通知。

与该部分相关的文本如下所示，其中CurrPaletteIndex是当前调色板索引，并且adjustedRefPaletteIndex是预测索引。

变量PaletteIndexMap[xC][yC]指定调色板索引，它是由CurrentPaletteEntries表示的数组的索引。数组索引xC、yC指定样点相对于图片的左上亮度样点的位置(xC,yC)。PaletteIndexMap[xC][yC]的值应在0到MaxPaletteIndex、包括端点的范围内。

变量adjustedRefPaletteIndex的导出如下：

当CopyAboveIndicesFlag[xC][yC]等于0时，变量CurrPaletteIndex导

出如下：

if(CurrPaletteIndex>＝adjustedRefPaletteIndex)

CurrPaletteIndex++

2.2.3 VVC中的调色板模式

2.2.3.1双树中的调色板

在VVC中，双树编解码结构用于对帧内条带进行编解码，因此亮度分量和两个色度分量可以具有不同的调色板和调色板索引。此外，两个色度分量共享相同的调色板和调色板索引。

2.2.3.2作为分离模式的调色板

在JVET-N0258和当前VTM中，编解码单元的预测模式可以是MODE_INTRA、MODE_INTER、MODE_IBC和MODE_PLT。预测模式的二进制化相应地改变。

当IBC被关闭时，在I个片上，第一、一个二进制位(bin)被用来指示当前预测模式是否是MODE_PLT。当在P/B片上时，第一二进制位用于指示当前预测模式是否是MODE_INTRA。如果不是，则使用一个附加的二进制位来指示当前预测模式是MODE_PLT还是MODE_INTER。

当IBC开启时，在I个片上，第一二进制位被用于指示当前预测模式是否是MODE_IBC。如果不是，则使用第二二进制位来指示当前预测模式是MODE_PLT还是MODE_INTRA。当在P/B片上时，第一二进制位用于指示当前预测模式是否是MODE_INTRA。如果是帧内模式，则使用第二二进制位来指示当前预测模式是MODE_PLT还是MODE_INTRA。如果不是，则使用第二二进制位来指示当前预测模式是MODE_IBC还是MODE_INTER。

此外，采用了JVET-P0516。提议在所有条件下，当预测模式为MODE_INTRA时，信令通知MODE_PLT。所提议的修改仅在仅允许帧间、帧内和PLT模式的条件下引入改变。

2.2.3.3基于线的CG调色板模式

VVC采用了基于线的CG调色板模式。在该方法中，基于遍历扫描模式，调色板模式的每个CU被分成m个样点的多个段(在该测试中m＝16)。每个段中调色板运行编解码的编码顺序如下：对于每个像素，信令通知1个上下文编解码的二进制位run_copy_flag＝0，指示该像素是否与先前像素具有相同的模式，即，先前扫描的像素和当前像素是否都是运行类型COPY_ABOVE，或者前一扫描像素和当前像素是否都是运行类型INDEX和相同的索引值。否则，信令通知run_copy_flag＝1。如果像素和先前像素是不同的模式，则信令通知上下文编解码的二进制位copy_above_palette_indices_flag，指示像素的运行类型，即INDEX或COPY_ABOVE。与VTM6.0中的调色板模式相同，如果样点位于第一行(水平遍历扫描)或第一列(垂直遍历扫描)，解码器不必解析运行类型，因为默认情况下使用INDEX模式。此外，如果先前解析的运行类型是COPY_ABOVE，则解码器不必解析运行类型。在对一个段中的像素进行调色板运行编解码之后，索引值(对于INDEX模式)和量化的逸出颜色被旁路编解码，并且与上下文编解码的二进制位的编码/解析分开分组，以提高每个线CG内的吞吐量。因为索引值现在是在运行编解码之后被编解码/解析，而不是像在VTM中那样在调色板运行编解码之前被处理，所以编码器不必信令通知索引值的数量num_palette_indices_minus1和最后的运行类型copy_above_indices_for_final_run_flag。

JVET-P0077为调色板模式提供的基于线的CG模式的文本如下所示。

调色板编解码语义

在以下语义中，数组索引x0，y0指定了所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。数组索引xC、yC指定样点相对于图片的左上亮度样点的位置(xC,yC)。数组索引startComp指定当前调色板列表的第一颜色分量。startComp等于0指示Y分量；startComp等于1指示Cb分量；startComp等于2指示Cr分量。numComps指定当前调色板列表中的颜色分量的数量。

预测值调色板包括来自先前编解码单元的调色板条目，用于预测当前调色板中的项目。

变量PredictorPaletteSize[startComp]指定当前调色板列表startComp的第一颜色分量的预测值调色板的尺寸。PredictorPaletteSize根据8.4.5.3条款中的指定导出。

等于1的变量PalettePredictorEntryReuseFlags[i]指定预测值调色板中的第i个条目在当前调色板中重复使用。PalettePredictorEntryReuseFlags[i]等于0指定预测值调色板中的第i个条目不是当前调色板中的条目。数组PalettePredictorEntryReuseFlags[i]的所有元素都被初始化为0。

palette_predictor_run用于确定数组PalettePredictorEntryReuseFlags中非零条目前面的零的数量。

比特流一致性的要求是palette_predictor_run的值应在0到(PredictorPaletteSize-predictorEntryIdx)、包括端点的范围内，其中predictorEntryIdx对应于数组PalettePredictorEntryReuseFlags中的当前位置。变量NumPredictedPaletteEntries指定当前调色板中从预测值调色板中重用的条目的数量。NumPredictedPaletteEntries的值应在0到palette_max_size、包括端点的范围内。

num_signalled_palette_entries指定当前调色板中为当前调色板列表startComp的第一颜色分量显式信令通知的条目的数量。

当num_signalled_palette_entries不存在时，推断为等于0。

变量CurrentPaletteSize[startComp]指定当前调色板列表startComp的第一个颜色分量的当前调色板的尺寸，并且其导出如下：

CurrentPaletteSize[startComp]＝NumPredictedPaletteEntries+num_signalled_palette_entries(7-155)

CurrentPaletteSize[startComp]的值应在0到palette_max_size、包括端点的范围内。

new_palette_entries[cIdx][i]指定颜色分量cIdx的第i个信令通知的调色板条目的值。

变量PredictorPaletteEntries[cIdx][i]指定颜色分量cIdx的预测值调色板中的第i个元素。

变量CurrentPaletteEntries[cIdx][i]指定颜色分量cIdx的当前调色板中的第i个元素，并且其导出如下：

等于1的palette_escape_val_present_flag指定当前编解码单元包含至少一个逸出编解码的样点。escape_val_present_flag等于0指定当前编解码单元中没有逸出编解码的样点。当不存在时，palette_escape_val_present_flag的值被推断为等于1。

变量MaxPaletteIndex指定当前编解码单元的调色板索引的最大可能值。MaxPaletteIndex的值设置为等于CurrentPaletteSize[startComp]-1+palette_escape_val_present_flag。

palette_idx_idc是调色板列表CurrentPaletteEntries的索引的指示。对于块中的第一索引，palette_idx_idc的值应在0到MaxPaletteIndex、包括端点的范围内，并且对于块中的剩余索引，palette_idx_idc的值应在0到(MaxPaletteIndex-1)、包括端点的范围内。

当palette_idx_idc不存在时，推断为等于0。

等于1的palette_transpose_flag指定应用垂直遍历扫描来扫描当前编解码单元中样点的索引。等于0的palette_transpose_flag指定应用水平遍历扫描来扫描当前编解码单元中样点的索引。不存在时，palette_transpose_flag的值被推断为等于0。

数组TraverseScanOrder指定调色板编解码的扫描顺序数组。如果palette_transpose_flag等于0，则TraverseScanOrder被分配水平扫描顺序HorTravScanOrder，并且如果palette_transpose_flag等于1，则TraverseScanOrder被分配垂直扫描顺序VerTravScanOrder。

如果copy_above_palette_indices_flag等于0，则run_copy_flag等于1指定调色板运行类型与先前扫描位置的运行类型相同，并且调色板运行索引与先前位置的索引相同。否则，run_copy_flag等于0

copy_above_palette_indices_flag等于1指定调色板索引等于上面行中相同位置的调色板索引(如果使用水平遍历扫描)或左列中相同位置的调色板索引(如果使用垂直遍历扫描)。等于0的copy_above_palette_indices_flag指定样点的调色板索引的指示在比特流中被编解码或被推断。

等于1的变量CopyAboveIndicesFlag[xC][yC]指定调色板索引是从上面行(水平扫描)或左列(垂直扫描)中的调色板索引复制的。等于0的CopyAboveIndicesFlag[xC][yC]指定调色板索引在比特流中被显式编解码或被推断。数组索引xC、yC指定样点相对于图片的左上亮度样点的位置(xC,yC)。

变量PaletteIndexMap[xC][yC]指定调色板索引，它是由CurrentPaletteEntries表示的数组的索引。数组索引xC、yC指定样点相对于图片的左上亮度样点的位置(xC,yC)。PaletteIndexMap[xC][yC]的值应在0到MaxPaletteIndex、包括端点的范围内。

变量adjustedRefPaletteIndex的导出如下：

当CopyAboveIndicesFlag[xC][yC]等于0时，变量CurrPaletteIndex导出如下：

if(CurrPaletteIndex>＝adjustedRefPaletteIndex)

CurrPaletteIndex++(7-158)

palette_escape_val指定分量的量化的逸出编解码的样点值。

变量PaletteEscapeVal[cIdx][xC][yC]指定样点的逸出值，其中PaletteIndexMap[xC][yC]等于MaxPaletteIndex，并且palette_escape_val_present_flag等于1。数组索引cIdx指定颜色分量。数组索引xC、yC指定样点相对于图片的左上亮度样点的位置(xC,yC)。

比特流一致性的要求是，对于cIdx等于0，PaletteEscapeVal[cIdx][xC][yC]应在0至(1<<(BitDepthY+1))-1、包括端点的范围内，并且对于cIdx不等于0，PaletteEscapeVal[cIdx][xC][yC]应在0至(1<<(BitDepthC+1))-1、包括端点的范围内。

2.3 VVC中的局部双树

在典型的硬件视频编码器和解码器中，由于临近帧内块之间的样点处理数据依赖性，当图片具有更多小帧内块时，处理吞吐量下降。帧内块的预测值生成需要来自临近块的顶部和左侧边界重构的样点。因此，必须逐块地顺序处理帧内预测。

在HEVC中，最小帧内CU是8×8亮度样点。最小帧内CU的亮度分量可进一步划分成四个4×4亮度帧内预测单元(PU)，但最小帧内CU的色度分量不能进一步划分。因此，当处理4×4色度帧内块或4×4亮度帧内块时，硬件处理吞吐量最差。

在VTM5.0中，在单个编解码树中，由于色度分割始终遵循亮度，最小帧内CU为4x4亮度样点，因此最小色度帧内CB为2x2。因此，在VTM5.0中，单个编解码树中最小色度帧内CB为2x2。VVC解码的最坏情况硬件处理吞吐量仅为HEVC解码的1/4。此外，在采用包括交叉分量线性模型(CCLM)、4抽头插值滤波器、位置相关的帧内预测组合(PDPC)和组合的帧间帧内预测(CIIP)的工具之后，色度帧内CB的重构过程变得比HEVC中的复杂得多。在硬件解码器中实现高处理吞吐量具有挑战性。在本章节中，我们将提出一种提高最坏情况下硬件处理吞吐量的方法。

该方法的目标是通过约束色度帧内CB的分割来禁止小于16个色度样点的色度帧内CB。

在单个编解码树中，SCIPU被定义为编解码树节点，其色度块尺寸大于或等于TH个色度样点，并且具有至少一个小于4TH亮度样点的子亮度块，其中TH在该贡献中被设置为16。要求在每个SCIPU中，所有CB都是inter，或者所有CB都是非帧间(inter)，即帧内(intra)或IBC。在非帧间SCIPU的情况下，进一步要求非帧间SCIPU的色度不应该被进一步划分，并且允许SCIPU的亮度被进一步划分。以此方式，最小色度帧内CB尺寸为16个色度样点，并且移除了2x2、2x4和4x2色度CB。此外，在非帧间SCIPU的情况下，不应用色度缩放。此外，当亮度块被进一步划分而色度块未被划分时，构造局部双树编解码结构。

图7A和图7B显示了两个SCIPU示例。在图7A中，8×4色度样点的一个色度CB和三个亮度CB(4×8、8×8、4×8亮度CB)形成一个SCIPU，因为从8×4色度样点划分的三叉树(TT)将导致小于16个色度样点的色度CB。在图7B中，一个4×4色度样点的色度CB(8×4色度样点的左侧)和三个亮度CB(8×4、4×4、4×4亮度CB)形成一个SCIPU，而另一个4×4样点的色度CB(8×4色度样点的右侧)和两个亮度CB(8×4、8×4亮度CB)形成一个SCIPU，因为从4×4色度样点划分的二叉树(BT)会导致色度CB小于16个色度样点。

在所提议的方法中，如果当前条带是I条带或者当前SCIPU在进一步划分一次之后在其中具有4×4亮度分割(因为在VVC不允许帧间4×4)，则SCIPU的类型被推断为非帧间；否则，在解析SCIPU中的CU之前，SCIPU的类型(帧间或非帧间)由一个信令通知的标志指示。

通过应用上述方法，当处理4×4、2×8或8×2色度块而不是2×2色度块时，出现最坏情况的硬件处理吞吐量。最差情况下的硬件处理吞吐量与HEVC相同，并且是VTM5.0中的硬件处理吞吐量的4倍。

3.由实施例解决的问题的示例

1.为了降低带宽成本，IBC只能参考左侧编解码树单元(CTU)中CTU以上的块作为VVC中的预测块，这限制了IBC模式对屏幕内容编解码的性能。

2.二进制化取决于在CU级别信令通知的逸出标志，并且当逸出标志为真时，一个索引通常花费更多的比特。然而，一些CG可能没有逸出样点，因此可以节省一些比特，这是当前设计没有考虑的。

3.局部双树和PLT不能同时应用，因为当从单树区域编解码到双树区域时，一些调色板条目可能重复。一个示例如图8所示。

4.调色板预测值中的条目的数量和最大允许的调色板条目的数量是固定的，这可能会失去控制调色板模式的效率和吞吐量的灵活性。

4.实施例的示例

下面详细的发明应该被认为是解释一般概念的示例。这些发明不应该以狭隘的方式来解释。此外，这些发明可以以任何方式组合。

DCM

1.DCM可被视为现有预测模式(例如，帧内/帧间/IBC预测模式)之外的新预测模式。

a.在一个实例中，DCM可被视为选择的现有预测模式(例如，IBC预测模式)的一部分。

i.或者，此外，当利用所选择的现有预测模式时，可以进一步信令通知DCM的使用的指示。

ii.在一个示例中，DCM使用的指示可以是上下文编解码的或旁路编解码的。

b.或者，在一个示例中，DCM的使用的指示可以作为分离的预测模式(例如，MODE_DCM)被信令通知/解析。

c.在一个示例中，在某些条件下，可以信令通知/解析DCM的使用的指示。

i.在块维度的条件检查下，可以信令通知/解析DCM使用的指示。

1.在一个示例中，只有当块尺寸小于或等于M×N时，才可以信令通知它。

a)或者，在一个示例中，仅当块的宽度小于或等于M和/或块的高度小于或等于N时，才可以信令通知它。

ii.在块位置的条件检查下，可以信令通知/解析DCM使用的指示。

1.在一个示例中，仅当块中的左上样点的垂直和/或水平坐标不等于0时，例如相对于包含该块的条带/片/图块，才可以信令通知它。

2.在一个示例中，可以仅针对不包含在第一CTU中的块(例如，包含该块的条带/片/图块)来信令通知。

iii.在对先前编解码的信息进行条件检查的情况下，可以信令通知/解析DCM的使用的指示。

1.在一个示例中，当应用双树编解码结构时，可以仅针对亮度块信令通知它。

2.可以利用多个字典，并且如何为块选择字典可以取决于编解码的信息(例如，根据块维度或比特流中信令通知的值)。

a.在一个示例中，对于具有相同编解码的信息的块(例如，相同的块宽度和高度)，可以利用多个字典。

i.或者，此外，可以在比特流中信令通知/解析多个字典的索引。

b.在一个示例中，对于具有相同编解码的信息的块(例如，相同的块宽度和高度)，可以仅利用字典，而对于具有不同编解码的信息的块，可以利用不同的字典。

i.在一个示例中，对于具有K*L维度的块，利用第一字典，而对于具有M*N(其中M！＝K和/或N！＝L)，则使用第二字典。

3.DCM中使用的字典可能包含一个或多个条目。

a.字典中条目的最大数量可以预先定义或者在比特流中信令通知。

b.在一个示例中，字典的条目可以包含多个样点/像素，例如K*L个样点/像素。

c.在一个示例中，字典的条目可以是重构的区域中的块。

i.或者，此外，字典的条目可以是重构的区域中的亮度块。

3.当应用基于字典的编解码模式(DCM)时，可根据一个或多个字典的一个或多个条目来生成当前块的预测块。

a.在一个示例中，字典中的条目可用作当前块的预测块。

i.在一个示例中，这个条目的索引可以信令通知给解码器。

1.或者，在一个示例中，该条目的索引可以被推断为N。

ii.在一个示例中，如何选择最佳条目可以通过最小化某个成本来确定。

1.在一个示例中，成本可以表示条目和当前块之间的速率失真成本。

2.或者，在一个示例中，成本可以表示条目和当前块之间的失真，诸如SAD、SATD、SSE或MSE。

b.在一个实例中，当前块的预测块可能完全取决于字典中的条目。

i.或者，当前块的预测块可以依赖于字典和当前图片中的、不包括在字典中的重构的区域。

c.在一个示例中，DCM的过程可以如图9所示。在图9中，字典有N个条目，并且B_i是字典中的第i个条目。当前块由C表示。编码器可以首先检查每个条目B_i(0<＝i<＝N-1)，并在特定标准下确定C的最佳预测块，这在图9中由B_K表示。在这之后，C和B_K之间的对应的残差块可以被变换、量化和/或熵编解码。

4.提议在对条带/片/图片进行编解码之前重置字典，然后在对视频单元进行编解码之后更新字典。

a.在一个实例中，视频单元可以是块/CU/CTU/CTU行。

b.在一个实例中，视频单元中包含的具有不同块尺寸的所有重叠的块可用于更新字典。

i.或者，在一个示例中，只有尺寸等于M×N的块可以用来更新字典。

c.在一个示例中，散列函数可以用于从字典中排除相似/相同的块。

i.在一个示例中，散列函数可以是具有N比特的CRC函数。

ii.在一个示例中，按照光栅顺序，如果两个块具有相同的散列值，则只有后面块可以被包括到字典中。

1.或者，在一个示例中，如果两个块具有相同的散列值，则这两个块都可以被包括到字典中。

iii.在一个示例中，DCM的更新过程可以如图10所示。在图10中，字典有N个条目，B_i是字典中的第i个条目。当前块由C表示。设x是C的散列值。当使用C更新字典时，首先导出x，然后第x个位置上的条目可以用C填充/替换。在图10中，x等于1，因此在该示例中，条目B₁可以由C替换。

iv.在一个示例中，字典中的每个条目可以是存储具有相同散列值的块的块列表。

1.在一个示例中，可以用先进先出(FIFO)策略来更新列表。

2.在一个示例中，列表尺寸可以等于m

a.在一个示例中，M可以被设置为等于1。

5.字典中的条目在用于导出当前块的预测/重构之前可以首先被排序。

a.提议基于每个条目的模板和当前块的模板之间的失真来对字典中的条目进行排序。

b.在一个示例中，如图11所示，如果当前块是S1×S2，则模板可以表示除当前块的区域之外的M×N区域，其中M>S1，并且N>S2。

c.在一个示例中，上述示例中的失真可以表示两个模板之间的失真，诸如SAD、SATD、SSE或MSE。

d.在一个示例中，该条目不仅可以包括重构的区域中的块，还可以包括该块的模板。

e.在一个示例中，字典可以基于模板失真成本以升序/降序排序。

f.在一个示例中，在基于模板失真成本以降序对字典进行排序之后，当用DCM对当前块进行编解码时，仅可以应用前K个条目。

i.在一个示例中，假设字典尺寸为N，则索引范围可以从[0，N-1]减小到[0，K-1]。

6.对于用DCM编解码的块，所选择的一个或多个条目索引可以在比特流中被显式信令通知或者隐式信令通知。

a.在一个示例中，固定长度编解码/Exp-Golomb/截断的一元/截断的二进制可用于二进制化条目索引。

b.DCM中信令通知的索引的二进制化可以取决于DCM中使用的可能条目的数量。

i.在一个示例中，二进制化可以是具有M比特的固定长度。

1.在一个示例中，M可以被设置为等于floor(log2(N))。

a.在一个示例中，log2(N)是一个以2为底得到的N的对数的函数。

b.在一个示例中，floor(N)是获得N的上界的最近整数的函数。

ii.在一个示例中，二进制化可以为截断的二进制/一进制，其中cMax等于N。

iii.在上面的示例中，N可以是字典中所有条目的数量。

1.或者，N可以是字典中可用条目的数量，诸如项目符号5.f中的K。

调色板模式的基于线的CG模式中的逸出标志

7.可以为每个CG指示这些是否是逸出样点，并且可以将CG的逸出标志编解码在一起。

a.在一个示例中，语法元素，例如palette_escape_val_present_flag，可以在CG级别信令通知。

i.在一个示例中，可以首先信令通知一个标志来指示所有CG的逸出标志是否为假。如果有任何逸出标志等于真，则每个CG的逸出标志可以被进一步信令通知。

ii.在一个示例中，可以信令通知等于真的逸出标志的索引。

iii.在一个示例中，可以信令通知等于假的逸出标志的索引。

b.或者，可以发送基于块的标志来指示是否存在逸出样点。

i.在一个示例中，当基于块的标志指示没有逸出样点时，可以跳过CG级别逸出样点存在标志。

c.块中所有CG的逸出标志的值可以被级联并编解码在一起。

i.在一个示例中，变量E的每一比特代表CG的逸出样点存在标志。

ii.在一个示例中，固定长度二进制化可用于对E进行编解码。

1.或者，在一个示例中，截断的一元二进制化可用于对E进行编解码。

2.或者，在一个实例中，具有第k阶的exp Golomb的二进制化可用于对E进行编解码。

iii.在一个示例中，E可以被旁路编解码或上下文编解码。

调色板预测值相关

8.提议了基于局部双树的使用来保存和加载调色板预测值。

a.在一个示例中，当单树被切换到局部双树时，即在解码单树中的最后一块之后或者在解码局部双树中的第一块之前，调色板预测值可以被保存到临时缓冲器中。

i.在一个示例中，调色板预测值可以在用于解码局部双树中的第一块之前被重置。

b.在一个示例中，当局部双树被切换到单树时，即，在解码局部双树中的最后一块之后或者在解码单树中的第一块之前，可以从临时缓冲器加载调色板预测值。

9.提议在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU的组/TU/PU块/视频编解码单元中信令通知最大允许调色板尺寸。

10.建议在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU的组/TU/PU块/视频编解码单元中信令通知调色板预测值的最大允许的尺寸。

适用于上述所有项目的技术解决方案

11.上述示例中的M、N、K和/或L可以是整数。

a.在一个示例中，M和N都可以等于4。

1.在一个示例中，N可以是所有QP的预定义常数值。

2.在一个示例中，可以将N信令通知给解码器。

3.在一个示例中，N可以基于

a.视频内容(例如，屏幕内容或自然内容)

b.在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU的组/TU/PU块/视频编解码单元中信令通知的消息

c.CU/PU/TU/块/视频编解码单元的位置

d.当前块和/或其临近块的块尺寸

e.当前块和/或其临近块的块形状

f.当前块的量化参数

g.颜色格式的指示(如4:2:0、4:4:4、RGB或YUV)

h.编解码树结构(如双树或单树)

i.条带/片组类型和/或图片类型

j.颜色分量(例如，可以仅应用于亮度分量和/或色度分量)

k.时域层ID

12.是否和/或如何应用上述方法可以基于：

a.视频内容(例如，屏幕内容或自然内容)

i.在一个示例中，上述方法可以仅应用于屏幕内容。

b.在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU的组/TU/PU块/视频编解码单元中信令通知的消息

c.CU/PU/TU/块/视频编解码单元的位置

d.当前块和/或其临近块的块尺寸

e.当前块和/或其临近块的块形状

f.当前块的量化参数

g.颜色格式的指示(如4:2:0、4:4:4、RGB或YUV)

h.编解码树结构(如双树或单树)

i.条带/片组类型和/或图片类型

j.颜色分量(例如，可以仅应用于亮度分量和/或色度分量)

k.时域层ID

l.标准的配置文件/级别/层次(Tier)

上文描述的实例可并入下文描述的方法的上下文中，例如方法1200和1300，其可在视频解码器或视频编码器处实施。

图12显示了视频处理的示例性方法1200的流程图。方法1200包括，在操作1210，执行视频的当前块和视频的比特流表示之间的转换，该转换使用基于字典的编解码模式，该基于字典的编解码模式在当前块的编码和/或解码过程期间维护或更新一个或多个字典，并且该转换基于一个或多个字典。

图13显示了视频处理的示例性方法1300的流程图。方法1300包括，在操作1310，执行使用调色板模式编解码的视频的当前块和视频的比特流表示之间的转换，该转换包括基于转换中的局部双树的使用，在调色板模式中保存和加载调色板的调色板预测值。

图14A是视频处理设备1400的块图。装置1400可用于实现本文描述的一种或多种方法。装置1400可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1400可以包括一个或多个处理器1402、一个或多个存储器1404和视频处理硬件1406。处理器1402可以被配置为实现本文档中描述的一种或多种方法。存储器1404可用于存储用于实现本文所述方法和技术的数据和代码。视频处理硬件1406可以用于在硬件电路中实现本文档中描述的一些技术。

图14B是显示示例视频处理系统2100的块图，其中可以实现这里公开的各种技术。各种实现可以包括系统2100的一些或所有组件。系统2100可以包括用于接收视频内容的输入2102。视频内容可以以原始或未压缩的格式接收，例如8或10比特多分量像素值，或者可以是压缩的或编码的格式。输入2102可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口，诸如以太网、无源光网络(PON)等，以及无线接口，例如Wi-Fi或蜂窝接口。

系统2100可以包括编解码组件2104，其可以实现本文档中描述的各种编码或编码方法。编解码组件2104可以降低从输入2102到编解码组件2104的输出的视频的平均比特率，以产生视频的编码表示。因此，编解码技术有时被称为视频压缩或视频代码转换技术。如组件2106所表示的，编解码组件2104的输出可以被存储，或者经由连接的通信被发送。组件2108可以使用在输入2102处接收的视频的存储或传送的比特流(或编解码的)表示来生成发送到显示接口2110的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，并且与编解码的结果相反的对应的解码工具或操作将由解码器执行。

外围总线接口或显示器接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口(Displayport)等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以在各种电子设备中体现，诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。

图15是说明可利用本发明的技术的实例视频编解码系统100的块图。

如图15所示，视频编解码系统100可以包括源设备110和目的设备120。源设备110生成可被称为视频编码设备的编码的视频数据。目的地设备120可解码由源设备110生成的编码的视频数据，其可称为视频解码设备。

源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统的源，或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编码的表示的比特的序列。比特流可以包括编解码的图片和相关联的数据。编解码的图片是图片的编解码的表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码的视频数据可经由I/O接口116通过网络130a直接传输到目的地设备120。编码的视频数据还可存储在存储媒体/服务器130b上以供目的地设备120访问。

目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以解码该编码的视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的设备120集成在一起，或者可以在目的设备120的外部，目的设备120被配置为与外部显示设备接口。

视频编码器114和视频解码器124可以根据视频压缩标准，诸如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他当前和/或进一步的标准来操作。

图16是显示视频编码器200的示例的块图，该视频编码器可以是图15所示系统100中的视频编码器114。

视频编码器200可经配置为执行本发明的任何或所有技术。在图16的示例中，视频编码器200包括多个功能组件。本发明中描述的技术可在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可包括分割单元201、可包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206的预测单元202、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编解码单元214。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一实例中，预测单元202可包括帧内块复制(IBC)单元。IBC单元可以以IBC模式执行预测，其中至少一个参考图片是当前视频块所在的图片。

此外，一些组件(诸如运动估计单元204和运动补偿单元205)可高度集成，但出于解释目的而在图16的实例中分离表示。

分割单元201可将图片分割成一个或一个以上视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。

模式选择单元203可以例如基于误差结果选择编解码模式(帧内或帧间)中的一者，且将所得帧内或帧间编解码的块提供到残差生成单元207以生成残差块数据，且提供到重构单元212以重构编码的块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择运动向量的分辨率(例如，子像素或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可通过将来自缓冲器213的一个或一个以上参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可基于来自缓冲器213的除了与当前视频块相关联的图片之外的图片的运动信息和解码的样点来确定当前视频块的预测的视频块。

运动估计单元204和运动补偿单元205可对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。

在一些实例中，运动估计单元204可对当前视频块执行单向预测，且运动估计单元204可在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204可接着生成指示列表0或列表1中的参考图片的参考索引，参考图片包含参考视频块和指示当前视频块与参考视频块之间的空域位移的运动向量。运动估计单元204可输出参考索引、预测方向指示符和运动向量作为当前视频块的运动信息。运动补偿单元205可基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测的视频块。

在其它实例中，运动估计单元204可对当前视频块执行双向预测，运动估计单元204可在列表0中的参考图片中搜索当前视频块的参考视频块，且还可在列表1中的参考图片中搜索当前视频块的另一参考视频块。运动估计单元204然后可以生成参考索引和运动向量，参考索引指示包含参考视频块的列表0和列表1中的参考图片，运动向量指示参考视频块与当前视频块之间的空域位移。运动估计单元204可输出当前视频块的参考索引和运动向量作为当前视频块的运动信息。运动补偿单元205可基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测的视频块。

在一些实例中，运动估计单元204可输出用于解码器的解码处理的全部运动信息的集合。

在一些实例中，运动估计单元204可能不输出当前视频的全部运动信息的集合。相反，运动估计单元204可参考另一视频块的运动信息来信令通知当前视频块的运动信息。举例来说，运动估计单元204可确定当前视频块的运动信息与临近视频块的运动信息足够相似。

在一个实例中，运动估计单元204可在与当前视频块相关联的语法结构中指示一值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。

在另一实例中，运动估计单元204可在与当前视频块相关联的语法结构中识别另一视频块和运动向量差(MVD)。运动向量差指示当前视频块的运动向量和所指示的视频块的运动向量之间的差。视频解码器300可使用所指示的视频块的运动向量和运动向量差来确定当前视频块的运动向量。

如上所述，视频编码器200可以预测性地信令通知运动向量。可由视频编码器200实施的预测信令技术的两个实例包含高级运动向量预测(AMVP)和Merge模式信令通知。

帧内预测单元206可对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可基于同一图片中的其它视频块的解码的样点来生成当前视频块的预测数据。当前视频块的预测数据可包括预测的视频块和各种语法元素。

残差生成单元207可通过从当前视频块减去(例如，由负号指示)当前视频块的预测的视频块来生成当前视频块的残差数据。当前视频块的残差数据可包括对应于当前视频块中的样点的不同样点分量的残差视频块。

在其它实例中，当前视频块可能没有当前视频块的残差数据，例如在跳过模式中，且残差生成单元207可不执行减法操作。

变换处理单元208可通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可将重构的残差视频块添加到来自由预测单元202生成的一个或多个预测的视频块的对应样点，以产生与当前块相关联的重构的视频块，以存储在缓冲器213中。

在重构单元212重构视频块之后，可执行环路滤波操作以减少视频块中的视频块伪像。

熵编解码单元214可以从视频编码器200的其他功能组件接收数据。当熵编解码单元214接收数据时，熵编解码单元214可以执行一个或多个熵编码操作以生成熵编码的数据并输出包括熵编码的数据的比特流。

图17是说明视频解码器300的示例的块图，该视频解码器300可以是图15所示系统100中的视频解码器114。

视频解码器300可被配置为执行本发明的任何或所有技术。在图17的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图17的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与针对视频编码器200(例如，图16)描述的编码过程相反的解码过程。

熵解码单元301可检索编码的比特流。编码的比特流可以包括熵编码的视频数据(例如，视频数据的编码的块)。熵解码单元301可解码熵译码的视频数据，且从熵解码的视频数据，运动补偿单元302可确定运动信息，包括运动向量、运动向量精度、参考图片列表索引和其它运动信息。运动补偿单元302可以例如通过执行AMVP和Merge模式来确定此信息。

运动补偿单元302可产生运动补偿块，可能基于插值滤波器执行插值。语法元素中可包括要以子像素精度使用的插值滤波器的识别符。

运动补偿单元302可使用如视频编码器20在视频块的编码期间所使用的插值滤波器来计算参考块的子整数像素的插值值。运动补偿单元302可根据所接收的语法信息来确定视频编码器200所使用的插值滤波器，并使用插值滤波器来产生预测块。

运动补偿单元302可使用一些语法信息来确定用于编码编码的视频序列的帧和/或条带的块的尺寸、描述编码的视频序列的图片的每一宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个帧间编码的块的一个或一个以上参考帧(和参考帧列表)以及解码编码视频序列的其它信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域相邻的块形成预测块。逆量化单元303逆量化(即，去量化)比特流中提供的并且由熵解码单元301解码的量化的视频块系数。逆变换单元303应用逆变换。

重构单元306可将残差块与由运动补偿单元202或帧内预测单元303生成的对应的预测块相加，以形成解码的块。如果需要，还可以应用去块滤波器来对解码的块进行滤波，以便去除块效应伪像。解码的视频块然后被存储在缓冲器307中，缓冲器307为后续的运动补偿提供参考块。

所公开的技术的一些实施例包括做出决策或确定以启用视频处理工具或模式。在实例中，当启用视频处理工具或模式时，编码器将在视频的块的处理中使用或实施工具或模式，但可能不一定基于工具或模式的使用来修改所得的比特流。也就是说，当基于决策或确定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一个示例中，当启用视频处理工具或模式时，解码器将在知道比特流已经基于视频处理工具或模式被修改的情况下处理比特流。也就是说，将使用基于该决策或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。

在本文档中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，在从视频的像素表示到对应的比特流表示的转换期间，可以应用视频压缩算法，反之亦然。如语法所定义，当前视频块的比特流表示可以例如对应于共同定位或散布在比特流内不同位置的比特。例如，可以根据变换和编解码的误差残差值，并且还使用比特流中的标头和其他字段中的比特，对宏块进行编码。

应当理解，通过允许使用本文档中公开的技术，所公开的方法和技术将有益于结合在视频处理设备中的视频编码器和/或解码器实施例，所述视频处理设备诸如智能手机、膝上型电脑、台式电脑和类似设备。

一些实施例可以使用以下基于条款的格式来描述。第一组条款示出了前面章节中讨论的技术的示例实施例。

A1.一种视频处理的方法。包括：执行视频的当前块和视频的比特流表示之间的转换，其中该转换使用基于字典的编解码模式，该基于字典的编解码模式在对当前块的编码和/或解码过程期间维护或更新一个或多个字典，并且其中该转换基于一个或多个字典。

A2.条款A1的方法，其中基于字典的编解码模式不同于帧间预测模式、帧内预测模式和帧内块复制(IBC)预测模式。

A3.条款A1的方法，其中基于字典的编解码模式被视为用于编解码当前块的现有预测模式的一部分。

A4.条款A3的方法，其中现有预测模式是帧内块复制(IBC)预测模式。

A5.条款A3或A4的方法，其中比特流表示包括现有预测模式的使用的第一指示和基于字典的编解码模式的使用的第二指示。

A6.条款A5的方法，其中第二指示是上下文编解码的或旁路编解码的。

A7.条款A1或A2的方法，还包括：做出关于基于字典的编解码模式的使用的指示的决策的选择性包括。

A8.条款A7的方法，其中该指示是MODE_DCM。

A9.条款A7或A8的方法，其中由于确定当前块的尺寸小于或等于M×N而包括该指示，其中M和N是正整数。

A10.条款A7或A8的方法，其中由于确定当前块的宽度小于或等于M和/或当前块的高度小于或等于N而包括该指示，其中M和N是正整数。

A11.条款A7或A8的方法，其中由于确定当前块的左上样点的垂直坐标和/或水平坐标不等于零而包括该指示。

A12.条款A7或A8的方法，其中由于确定当前块不包含在第一编解码树单元(CTU)中而包括该指示。

A13.条款A7或A8的方法，其中由于确定当前块是包括双树编解码结构的亮度块而包括指示。

A14.条款A1的方法，其中基于当前块的尺寸和/或比特流表示中的信息来选择当前块的一个或多个字典。

A15.条款A14的方法，其中一个或多个字典中的第一字典用于尺寸为K×L的块，其中不同于第一字典的第二字典用于尺寸为M×N的块，并且其中M≠K和/或N≠L

A16.条款A1至A15中任一项的方法，其中一个或多个字典中的每一个包括一个或多个条目。

A17.条款A16的方法，其中一个或多个字典中的至少一个字典中的条目的最大数量在比特流表示中预定义或信令通知。

A18.条款A16的方法，其中一个或多个条目中的至少一个包括多个样点或像素。

A19.条款A16的方法，其中一个或多个条目中的至少一个包括来自重构的区域的块。

A20.条款A1的方法，其中在对包括当前块的条带、片或图片进行编解码之前重置一个或多个字典，并且其中在对视频单元进行编解码之后更新一个或多个字典。

A21.条款A20的方法，其中视频单元是当前块，或者是与当前块相关联的编解码单元(CU)、编解码树单元(CTU)或CTU行。

A22.条款A20的方法，其中基于包含在视频单元中的具有不同块尺寸的重叠块来更新一个或多个字典中的至少一个。

A23.条款A1的方法，还包括：在转换之前，对一个或多个字典中的条目进行排序。

A24.条款A23的方法，其中该排序基于所述一个或多个字典中的条目的模板和当前块的模板之间的失真测量。

A25.条款A24的方法，其中失真测量基于绝对差值和(SAD)计算、绝对时域差值和(SATD)计算、误差平方和(SSE)计算或均方误差(MSE)计算。

A26.条款A23的方法，其中该排序是以降序进行的，并且其中在该转换中仅使用前K个条目。

A27.条款A1的方法，其中一个或多个字典的一个或多个条目的索引在比特流表示中被隐式或显式信令通知。

A28.条款A27的方法，其中使用截断的一元编解码、截断的二进制编解码、固定长度编解码或指数Golomb编解码将索引二进制化。

A29.条款A27的方法，其中基于一个或多个字典之一中的一个或多个条目的数量将索引二进制化。

A30.一种视频处理的方法，包括：在使用调色板模式编解码的视频的当前块和视频的比特流表示之间执行转换，其中该转换包括基于转换中的局部双树的使用，在调色板模式中保存和加载调色板的调色板预测值。

A31.条款A30的方法，其中在确定单树被切换到局部双树时，调色板预测值被保存到临时缓冲器。

A32.条款A31的方法，其中调色板预测值在用于解码局部双树中的第一块之前被重置。

A33.条款A30的方法，其中在确定局部双树被切换到单树时，从临时缓冲器加载调色板预测值。

A34.条款A30的方法，其中调色板的最大允许的尺寸在解码器参数集(DPS)、序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、自适应参数集(APS)、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU的组、变换单元(TU)或预测单元(PU)块或与当前块相关联的视频编解码单元中信令通知。

A35.条款A30的方法，其中调色板预测值的最大允许的尺寸在解码器参数集(DPS)、序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、自适应参数集(APS)、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU的组、变换单元(TU)或预测单元(PU)块或与当前块相关联的视频编解码单元中信令通知。

A36.条款A1至A35中任一项的方法，其中执行转换还基于以下中的至少一项：(a)与当前块相关联的屏幕内容或自然内容，(b)在解码器参数集(DPS)、序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、自适应参数集(APS)、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU的组、变换单元(TU)或预测单元(PU)块或与当前块相关联的视频编解码单元中信令通知的消息，(c)CU、PU、TU、当前块或视频编解码单元中的至少一个的位置，(d)当前块或临近块的高度或宽度，(e)当前块或临近块的形状，(f)当前块的量化参数(QP)，(g)当前块的颜色格式的指示，(h)应用于当前块的编解码树结构，(i)分别是包括当前块的条带、片或图片的条带或片组类型或图片类型，(j)视频的颜色表示的颜色分量，(k)时域层标识(ID)，或(l)与转换相关联的标准的配置文件、级别或层次。

A37.条款A1至A36中任一项的方法，其中改转换从比特流表示生成当前块。

A38.条款A1至A36中任一项的方法，其中所述转换从当前块生成比特流表示。

A39.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由处理器执行时，使得处理器实施条款A1至A38中任一项的方法。

A40.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行条款A1至A38中任一项的方法的程序代码。

第二组条款示出了前面章节中讨论的技术的示例实施例(例如，实施例1至7)。

1.一种视频处理的方法(例如，如图18A所示的方法1810)，包括：执行1812视频的当前块和视频的比特流表示之间的转换，其中当前块使用一个或多个字典以基于字典的编解码模式进行编解码，并且其中该转换基于一个或多个字典。

2.条款1的方法，其中不同于帧间预测模式、帧内预测模式和帧内块复制(IBC)预测模式地在比特流表示中信令通知基于字典的编解码模式。

3.条款1的方法，其中基于字典的编解码模式被视为用于视频的现有预测模式的一部分。

4.条款3的方法，现有预测模式包括IBC模式。

5.条款3或4的方法，其中比特流表示包括现有预测模式的使用的第一指示和基于字典的编解码模式的使用的第二指示，第二指示基于第一指示信令通知。

6.条款5的方法，其中第二指示是上下文编解码的或旁路编解码的。

7.条款1或2的方法，其中比特流表示包括基于字典的编解码模式的使用的指示。

8.条款7的方法，其中基于字典的编解码模式被视为与用于视频的现有预测模式分离的模式。

9.条款1或2的方法，其中比特流表示基于当前块的维度包括基于字典的编解码模式的使用的指示。

10.条款9的方法，其中由于当前块的尺寸小于或等于M×N，该指示被包括在比特流表示中，其中M和N是正整数。

11.条款9的方法，其中由于当前块的宽度小于或等于M和/或当前块的高度小于或等于N，指示被包括在比特流表示中，其中M和N是正整数。

12.条款1或2的方法，其中比特流表示基于当前块的位置包括基于字典的编解码模式的使用的指示。

13.条款12的方法，其中由于当前块的左上样点的垂直坐标和/或水平坐标不等于零，该指示被包括在比特流表示中。

14.条款12的方法，其中由于当前块不包含在第一编解码树单元(CTU)中，该指示被包括在比特流表示中。

15.条款1或2的方法，其中所述比特流表示基于先前编解码的信息包括基于字典的编解码模式的使用的指示。

16.条款15的方法，其中，由于当应用双树分割结构时当前块是亮度块，所述指示被包括在比特流表示中。

17.一种视频处理的方法(例如，如图18B所示的方法1820)，包括：对于包括视频块的视频和视频的比特流表示之间的转换，根据规则，基于视频块的一个或多个编解码特性，确定1822使用视频块的一个或多个字典；以及基于该确定执行1824转换，其中编解码特性包括视频块的尺寸和/或比特流表示中的信息。

18.条款17的方法，其中该规则指定对具有相同编解码特性的视频块和另一个视频块使用多个字典。

19.条款18的方法，其中比特流表示包括多个字典的索引。

20.条款17的方法，其中该规则指定一个或多个字典中的第一字典用于尺寸为K×L的视频块，其中不同于第一字典的第二字典用于尺寸为M×N的另一视频块，并且其中M≠K和/或N≠L

21.前述条款中任一项的方法，其中该一个或多个字典中的每一个包括一个或多个条目。

22.条款21的方法，其中该一个或多个字典中的至少一个字典中的条目的最大数量在比特流表示中被预定义或信令通知。

23.条款21的方法，其中一个或多个条目中的至少一个包括多个样点或像素。

24.条款21的方法，其中一个或多个条目中的至少一个包括来自重构的区域的块。

25.一种视频处理的方法(例如，如图18C所示的方法1830)，包括：对于应用了基于字典的编解码模式的视频的当前块，基于字典的一个或多个条目确定1832当前块的预测块；以及基于该确定执行1834当前块和视频的比特流表示之间的转换。

26.条款25的方法，其中使用字典的条目来确定预测块。

27.条款26的方法，其中条目的索引包括在比特流表示中。

28.条款26的方法，其中条目的索引被推断为N，其中N是整数。

29.条款25的方法，其中如何选择条目是通过最小化特定成本来确定的。

30.条款29的方法，其中该特定成本对应于条目和当前块之间的速率失真成本或速率失真特性。

31.条款29的方法，其中该特定成本对应于条目和当前块之间的失真。

32.条款25的方法，其中仅基于字典的多个条目来确定预测块。

33.条款25的方法，其中基于字典的多个条目和包括当前块的当前图片中的重构的区域来确定预测块。

34.条款25的方法，其中当前块和预测块之间的对应的残差块被变换、量化和/或熵编解码。

35.一种视频处理的方法，包括：执行视频的当前视频区域的当前视频单元和视频的比特流表示之间的转换，其中使用字典以基于字典的编解码模式对当前视频单元进行编解码，并且其中字典在对当前视频区域进行编解码之前被重置，并且在对当前视频单元编解码之后被更新。

36.条款35的方法，其中当前视频单元是视频块、编解码单元(CU)、编解码树单元(CTU)或CTU行，并且当前视频区域是条带、片或图片。

37.条款35的方法，其中基于包含在当前视频区域中的具有不同尺寸的重叠视频块来更新字典。

38.条款35的方法，其中基于尺寸等于MxN的重叠视频块来更新字典，其中M和N是正整数。

39.条款35的方法，其中使用散列函数从字典中排除相似或相同的视频块。

40.条款39的方法，其中散列函数是具有N比特的CRC(循环冗余校验)函数，其中N是正整数。

41.条款39的方法，其中只有根据光栅顺序的具有相同散列值的两个视频块中的后面的视频块被包括在字典中。

42.条款39的方法，其中具有相同散列值的两个视频块被包括在字典中。

43.条款39的方法，其中当前视频单元对应于视频块，并且其中当前视频单元的散列值用于更新字典。

44.条款35的方法，其中字典中的每个条目是存储具有相同散列值的块的块列表。

45.一种视频处理的方法，包括：执行视频的当前块和视频的比特流表示之间的转换，其中使用字典以基于字典的编解码模式对当前块进行编解码，其中当前块的预测块或重构块是通过对字典中的条目进行排序而得到的。

46.条款45的方法，其中所述排序基于字典中条目的模板和当前块的模板之间的失真测量。

47.条款46的方法，其中，对于具有尺寸S1xS2的当前块，模板被表示为除了对应于尺寸S1xS2的区域之外的MxN区域，其中S1、S2、M和N是正整数，M>S1，并且M>S2。

48.条款46的方法，其中该失真测量基于绝对差值和(SAD)计算、绝对时域差值和(SATD)计算、误差平方和(SSE)计算或均方误差(MSE)计算。

49.条款46的方法，其中所述条目包括重构的区域中的当前块和当前块的模板。

50.条款45的方法，其中该排序基于模板失真成本以升序或降序进行。

51.条款45的方法，其中该排序是降序的，并且其中在该转换中仅使用前K个条目。

52.一种视频处理的方法，包括：执行视频的当前块和视频的比特流表示之间的转换，其中使用字典以基于字典的编解码模式对当前块进行编解码，并且其中字典的一个或多个条目的索引被包括在比特流表示中。

53.条款52的方法，其中使用截断的一元编解码、截断的二进制编解码、固定长度编解码或指数-Golomb编解码对索引进行二进制化。

54.条款52的方法，其中基于字典中的一个或多个条目的数量将索引二进制化。

55.条款54的方法，其中制化索引的二进具有M比特的固定长度。

56.条款55的方法，其中M等于floor(log2(N))，其中log2(N)是获得N的以2为底的对数的函数，并且floor(N)是获得N的上界的最近整数的函数

57.条款54的方法，其中使用截断的二进制编解码或截断的一进制编码对索引进行二进制化，其中cMax等于N

58.条款56或57的方法，其中N是字典中所有条目或可用条目的数量。

59.一种视频处理的方法，执行视频的当前块和视频的比特流表示之间的转换，其中当前块使用调色板模式来编解码，并且其中比特流表示包括表示当前块的系数组中的每一个的逸出样点的语法元素。

60.条款59的方法，其中在系数组级别信令通知语法元素。

61.条款59或60的方法，其中语法元素包括指示所有系数组的逸出标志是否为假的标志。

62.条款59或60的方法，其中信令通知等于真的语法元素的索引。

63.条款59或60的方法，其中信令通知等于假的语法元素的索引。

64.条款59的方法，其中在视频块级别指示另一语法元素，并且在该另一语法元素指示没有当前块的逸出样点的情况下跳过该语法元素。

65.条款59的方法，其中所有系数组的语法元素的值被级联和编解码在一起。

66.条款65的方法，其中使用变量(E)的比特来表示当前块的系数组的语法元素。

67.条款66的方法，其中使用固定长度编解码、截断的一元编解码或指数-Golomb编解码将变量(E)二进制化。

68.条款66的方法，其中变量(E)是旁路编解码的或上下文编解码的。

69.如前述条款中任一项的方法，其中M和N等于4。

70.如先前条款中任一项的方法，其中N对应于量化参数的预定义常数值。

71.如前面任一条款的方法，其中N包括在视频的比特流表示中。

72.如前述条款中任一项的方法，其中N基于以下中的至少一项：

(a)与当前块相关联的屏幕内容或自然内容，

(b)在解码器参数集(DPS)、序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、自适应参数集(APS)、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU的组、变换单元(TU)或预测单元(PU)块或与当前块相关联的视频编解码单元中信令通知的消息，

(c)CU、PU、TU、当前块或视频编解码单元中的至少一个的位置，

(d)当前块或临近块的高度或宽度，

(e)当前块或临近块的形状，

(f)当前块的量化参数(QP)，

(g)当前块的颜色格式的指示，

(h)应用于当前块的编解码树结构，

(i)分别包括当前块的条带、片或图片的条带或片组类型或图片类型，

(j)视频的颜色表示的颜色分量，或者

(k)时域层标识(ID)。

73.条款1至72中任一条款的方法，其中该转换包括将视频编码成比特流表示。

74.条款1至72中任一条款的方法，其中该转换包括从比特流表示中解码视频。

75.一种视频处理装置，包括处理器，该处理器被配置为实现条款1至74中的任一项或多项的方法。

76.一种存储程序代码的计算机可读介质，当该程序代码被执行时，使处理器实施条款1至75中的任一项或多项的方法。

77.一种存储根据任何上述方法生成的编码表示或比特流表示的计算机可读介质。

第三组条款示出了前面章节中讨论的技术的示例实施例(例如，实施例8至12)。

1.一种视频处理的方法，包括：执行视频的当前块和视频的比特流表示之间的转换，其中使用调色板模式对当前视频块进行编解码，在调色板模式中使用代表性样点值的调色板来表示当前块；其中该转换包括基于转换中局部双树的使用，在调色板模式中选择性地保存和加载调色板的调色板预测值。

2.条款1的方法，其中调色板预测值在确定单树被切换到局部双树时被保存到临时缓冲器。

3.条款2的方法，其中调色板预测值在用于解码局部双树中的第一块之前被重置。

4.根据第1条的方法，其中调色板预测值在确定局部双树被切换到单树时从临时缓冲器加载。

5.条款1的方法，其中调色板的最大允许的尺寸在解码器参数集(DPS)、序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、自适应参数集(APS)、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU的组、变换单元(TU)或预测单元(PU)块或与当前块相关联的视频编解码单元中信令通知。

6.条款1的方法，其中调色板预测值的最大允许的尺寸在解码器参数集(DPS)、序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、自适应参数集(APS)、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU的组、变换单元(TU)或预测单元(PU)块或与当前块相关联的视频编解码单元中信令通知。

7.条款1至6中任一项的方法，其中执行转换的方式进一步基于以下中的至少一项：

(a)与当前块相关联的屏幕内容或自然内容，

(b)在解码器参数集(DPS)、序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、自适应参数集(APS)、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU的组、变换单元(TU)或预测单元(PU)块或与当前块相关联的视频编解码单元中信令通知的消息，

(c)CU、PU、TU、当前块或视频编解码单元中的至少一个的位置，

(d)当前块或临近块的高度或宽度，

(e)当前块或临近块的形状，

(f)当前块的量化参数(QP)，

(g)当前块的颜色格式的指示，

(h)应用于当前块的编解码树结构，

(i)分别包括当前块的条带、片或图片的条带或片组类型或图片类型，

(j)视频的颜色表示的颜色分量，

(k)时域层标识(ID)，或

(l)与转换相关联的标准的配置文件、级别或层次。

8.条款1至7中任一条款的方法，其中该转换包括将当前块编码成比特流表示。

9.条款1至7中任一条款的方法，其中该转换包括从比特流表示中解码当前块。

10.一种视频处理装置，包括处理器，该处理器被配置为实现条款1至9中任一项或多项的方法。

11.一种存储程序代码的计算机可读介质，当该程序代码被执行时，使处理器实现条款1至9中的任一项或多项的方法。

12.一种存储根据任何上述方法生成的编码表示或比特流表示的计算机可读介质。

本文档中描述的公开的和其他条款、解决方案、示例、实施例、模块和功能操作可以在数字电子电路中实现，或者在计算机软件、固件或硬件中实现，包括本文档中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实现。所公开的和其他实施例可以实现为一个或多个计算机程序产品，即编码在计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播的信号的物质组合，或者它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播的信号是人工生成的信号，例如，机器生成的电、光或电磁信号，其被生成来编解码的信息以传输到合适的接收器装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适用于计算环境的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协作文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一台计算机或位于一个站点或分布在多个站点并通过通信网络互连的多台计算机上执行。

本文中描述的过程和逻辑流程可以由一个或多个可编程处理器来执行，这些处理器执行一个或多个计算机程序，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从该大容量存储设备接收数据或向其传送数据，或两者兼有。然而，计算机不需要有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或结合在其中。

虽然本专利文件包含许多细节，但这些细节不应被解释为对任何主题或所要求保护的内容的范围的限制，而是对特定技术的特定实施例所特有的特征的描述。本专利文件中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实现。此外，尽管特征可能在上面被描述为在某些组合中起作用，并且甚至最初被如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。

类似地，虽然在附图中以特定顺序描述了操作，但是这不应该被理解为要求以所示的特定顺序或顺序执行这些操作，或者要求执行所有示出的操作，以获得期望的结果。此外，本专利文件中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。

仅描述了一些实施方式和示例，并且可以基于本专利文献中描述和示出的内容进行其他实施方式、增强和变化。

Claims (12)

1.一种视频处理方法，包括：

执行视频的当前块和所述视频的比特流之间的转换，

其中使用调色板模式对所述当前视频块进行编解码，在所述调色板模式中，使用代表性样点值的调色板来表示所述当前块；

其中所述转换包括基于所述转换中的局部双树的使用，在所述调色板模式下选择性地保存和加载所述调色板的调色板预测值。

2.根据权利要求1所述的方法，其中在确定单树被切换到局部双树时，所述调色板预测值被保存到临时缓冲器。

3.根据权利要求2所述的方法，其中所述调色板预测值在用于解码所述局部双树中的第一块之前被重置。

4.根据权利要求1所述的方法，其中在确定局部双树被切换到单树时，从临时缓冲器加载所述调色板预测值。

5.根据权利要求1所述的方法，其中所述调色板的最大允许的尺寸在与所述当前块相关联的解码器参数集(DPS)、序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、自适应参数集(APS)、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU组、变换单元(TU)或预测单元(PU)块或视频编解码单元中信令通知。

6.根据权利要求1所述的方法，其中所述调色板预测值的最大允许的尺寸在与所述当前块相关联的解码器参数集(DPS)、序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、自适应参数集(APS)、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU组、变换单元(TU)或预测单元(PU)块或视频编解码单元中信令通知。

7.根据权利要求1至6中任一项所述的方法，其中执行所述转换的方式还基于以下中的至少一项：

(a)与所述当前块相关联的屏幕内容或自然内容，

(b)在与当前块相关联的解码器参数集(DPS)、序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、自适应参数集(APS)、图片标头、条带标头、片组标头、最大编解码单元(LCU)、编解码单元(CU)、LCU行、LCU组、变换单元(TU)或预测单元(PU)块或视频编解码单元中信令通知的消息，

(c)CU、PU、TU、当前块或视频编解码单元中的至少一个的位置，

(d)所述当前块或临近块的高度或宽度，

(e)所述当前块或临近块的形状，

(f)所述当前块的量化参数(QP)，

(g)所述当前块的颜色格式的指示，

(h)应用于所述当前块的编解码树结构，

(i)分别是包括所述当前块的条带、片或图片的条带或片组类型或图片类型，

(j)所述视频的颜色表示的颜色分量，

(k)时域层标识(ID)，或

(l)与所述转换相关联的标准的档次、级别或层次。

8.根据权利要求1至7中任一项所述的方法，其中所述转换包括将所述当前块编码成所述比特流。

9.根据权利要求1至7中任一项所述的方法，其中所述转换包括从所述比特流中解码所述当前块。

10.一种视频处理装置，包括被配置为实现权利要求1至9中任一项或多项所述的方法的处理器。

11.一种存储程序代码的计算机可读介质，所述程序代码在被执行时使处理器实现权利要求1至9中任一项或多项所述的方法。

12.一种存储根据任何上述方法生成的编解码表示或比特流的计算机可读介质。

Images