CN115211119A

CN115211119A - 视频编码中的调色板尺寸信令

Info

Publication number: CN115211119A
Application number: CN202080091643.5A
Authority: CN
Inventors: 张莉; 张凯; 刘鸿彬
Original assignee: Douyin Vision Co Ltd; ByteDance Inc
Current assignee: Douyin Vision Co Ltd; ByteDance Inc
Priority date: 2020-01-03
Filing date: 2020-12-31
Publication date: 2022-10-18
Also published as: WO2021136486A1

Abstract

提供了一种视频处理方法，包括使用调色板模式执行视频的视频块和视频的比特流之间的转换，在调色板模式中，代表性样点值的调色板用于编解码视频块。比特流符合格式规则，其指定该比特流包括第一语法元素或第二语法元素，第一语法元素或第二语法元素指定预定义值(T0)和最大允许调色板尺寸之间的差。

Description

视频编码中的调色板尺寸信令

相关申请的交叉引用

根据适用的专利法和/或《巴黎公约》的规定，本申请及时要求2020年1月3日提交的PCT申请PCT/CN2020/070347的优先权和权益。出于法律的所有目的，将上述申请的全部公开以引用方式并入本文，作为本申请公开的一部分。

技术领域

本专利文件涉及视频编解码技术、设备和系统。

背景技术

目前，正在努力改进当前视频编解码器技术的性能，以提供更好的压缩比或提供允许较低复杂度或并行实现的视频编码和解码方案。行业专家最近提出了几种新的视频编解码工具，并且目前正在进行测试以确定它们的有效性。

发明内容

描述了与数字视频编解码相关的设备、系统和方法，具体而言，涉及运动矢量的管理。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(HEVC)或多功能视频编解码)和未来的视频编解码标准或视频编解码器。

在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括使用调色板模式执行视频的视频块和视频的比特流之间的转换，在调色板模式中，代表性样点值的调色板用于编解码视频块，其中比特流符合格式规则，其中格式规则指定比特流包括第一语法元素或第二语法元素，第一语法元素或第二语法元素指定预定义值(T0)和最大允许调色板尺寸之间的差。

在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括使用调色板模式执行视频的视频块和视频的比特流之间的转换，在调色板模式中，代表性样点值的调色板用于编解码视频块，其中比特流符合格式规则，其中格式规则指定比特流包括第一语法元素或第二语法元素，第一语法元素或第二语法元素指定预定义值(T0)和最大允许调色板预测器尺寸之间的差。

在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括根据规则执行视频的视频块和视频的比特流之间的转换，其中使用调色板模式编解码视频块，在调色板模式中，代表性样点值的调色板用于编解码视频块，其中该规则指定最大允许调色板尺寸和/或最大允许调色板预测器尺寸大于非零整数K。

在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括使用调色板模式执行视频的视频块和视频的比特流之间的转换，在调色板模式中，代表性样点值的调色板用于编解码视频块，其中比特流符合格式规则，其中格式规则指定在指示最大允许调色板尺寸的第二语法元素之前信令通知指示最大允许调色板预测器尺寸的第一语法元素。

在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括使用调色板模式执行视频的视频块和视频的比特流之间的转换，在调色板模式中，代表性样点值的调色板用于编解码视频块，其中比特流符合格式规则，其中格式规则指定与调色板模式相关的信息被包括在视频的视频处理单元级别处。

在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的视频块和视频的比特流之间的转换，其中执行转换包括在滤波过程中应用非对称剪切操作；并且其中在非对称剪切操作中使用的上限和下限的绝对值是不同的。

在另一个示例方面，上述方法可以由包括处理器的视频解码器装置来实现。

在另一个示例方面，上述方法可以由包括处理器的视频编码器装置来实现。

此外，在代表性方面，公开了一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器。由处理器运行的指令使得处理器实现任何一个或多个公开的方法。

此外，公开了一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行任何一个或多个所公开的方法的程序代码。

在附图、说明书和权利要求中更详细地描述了所公开技术的上述以及其他方面和特征。

附图说明

图1示出了以调色板模式编解码的块的示例。

图2示出了使用预测器调色板来信令通知调色板条目的示例。

图3示出了水平遍历扫描和垂直遍历扫描的示例。

图4示出了调色板索引的编解码示例。

图5示出了具有18乘12亮度CTU的图片的示例，其被分割成12个片和3个光栅扫描条带。

图6示出了具有18乘12亮度CTU的图片的示例，其被分割成24个片和9个矩形条带。

图7示出了被分割成4个片、11个砖块和4个矩形条带的图片的示例。

图8示出了具有28个子图片的图片的示例。

图9是用于实现本文件中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。

图10是其中可以实现所公开的技术的示例视频处理系统的框图。

图11示出了用于视频编解码的示例方法的流程图。

图12是示出了根据本公开的一些实施例的视频编解码系统的框图。

图13是示出了根据本公开的一些实施例的编码器的框图。

图14是示出了根据本公开的一些实施例的解码器的框图。

图15示出了基于所公开技术的一些实现的视频处理的示例方法的流程图。

具体实施方式

1.HEVC/H.265的视频编解码

视频编解码标准主要是通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视觉，并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262开始，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立，以致力于目标是与HEVC相比其降低50％比特率的VVC标准。

2.1.HEVC屏幕内容编解码扩展(HEVC-SCC)中的调色板模式

2.1.1.调色板模式的概念

调色板模式背后的基本思想是CU中的像素由代表性颜色值的小集合来表示。这个集合被称为调色板。并且还可以通过信令通知后跟(可能量化的)分量值的转义符(escapedsymbol)来指示调色板之外的样点。这种像素称为转义像素。调色板模式在图1中示出。如图1所示，对于具有三个色彩分量(亮度和两个色度分量)的每个像素，建立调色板的索引，并且可以基于调色板中建立的值来重构块。

2.1.2.调色板条目的编解码

对于调色板编解码块，引入以下关键方面：

1)基于预测器调色板(predict palette)和为当前调色板信令通知的新条目(如果存在)来构造当前调色板

2)将当前样点/像素分为两类：一类(第一类)包括当前调色板中的样点/像素，并且另一类(第二类)包括当前调色板之外的样点/像素

a)对于第二类中的样点/像素，将量化(在编码器处)应用于样点/像素，并且信令通知量化值；以及应用去量化(在解码器处)

2.1.2.1.预测器调色板

对于调色板条目的编解码，维护预测器调色板，在解码调色板编解码块之后更新该预测器调色板。

2.1.2.1.1.预测器调色板的初始化

预测器调色板在每个条带和每个片开始时初始化。

调色板和预测器调色板的最大尺寸在SPS中信令通知。在HEVC-SCC中，在PPS中引入了palette_predictor_initializer_present_flag。当该标志为1时，在比特流中信令通知用于初始化预测器调色板的条目。

根据palette_predictor_initializer_present_flag的值，预测器调色板的尺寸被重置为0或使用PPS中信令通知的预测器调色板初始化器条目(predictor paletteinitializer entity)进行初始化。在HEVC-SCC中，尺寸为0的预测器调色板初始化器被启用，以允许在PPS级别处显式禁用预测器调色板初始化。

对应的语法、语义和解码过程定义如下：

7.3.2.2.3序列参数集屏幕内容编解码扩展语法

新添加的文本以粗体和下划线斜体显示。任何删除的文本都用双括号标记(例如，[[a]]表示删除字符“a”)。

7.3.2.3.3图片参数集屏幕内容编解码扩展语法

调色板预测器变量初始化如下：

–如果编解码树单元是片中的第一个编解码树单元，则以下适用：

–调色板预测器变量的初始化过程按照第9.3.2.3条中的规定调用。

–否则，如果

CtbAddrInRs％PicWidthInCtbsY等于0，或者TileId[CtbAddrInTs]不等于TileId[CtbAddrRsToTs[CtbAddrInRs-1]]，则以下适用：

–使用当前编解码树块的左上亮度样点的位置(x0，y0)来推导空域相邻块T(图2)的左上亮度样点的位置(xNbT，yNbT)，如下所示：

(xNbT,yNbT)＝(x0+CtbSizeY,y0-CtbSizeY) (9-3)

–调用第6.4.1条中规定的z扫描顺序块的可用性推导过程，其中位置(xCurr，yCurr)设置为等于(x0，y0)，将相邻位置(xNbY，yNbY)设置为等于(xNbT，yNbT)作为输入，并将输出指派给availableFlagT。

–上下文变量、Rice参数初始化状态和调色板预测器变量的同步过程调用如下：

–如果availableFlagT等于1，则以TableStateIdxWpp、TableMpsValWpp、TableStatCoeffWpp、PredictorPaletteSizeWpp和TablePredictorPaletteEntriesWpp作为输入，调用第9.3.2.5条中规定的上下文变量、Rice参数初始化状态和调色板预测器变量的同步过程。

–否则，以下适用：

–否则，如果CtbAddrInRs等于slice_segment_address且dependent_slice_segment_flag等于1，则以TableStateIdxDs、TableMpsValDs、TableStatCoeffDs、PredictorPaletteSizeDs和TablePredictorPaletteEntriesDs作为输入，调用第9.3.2.5条中规定的上下文变量和Rice参数初始化状态的同步过程。

–否则，以下适用：

9.3.2.3调色板预测器条目的初始化过程

该过程的输出是初始化的调色板预测器变量PredictorPaletteSize和PredictorPaletteEntries。

变量numComps的推导如下：

numComps＝(ChromaArrayType＝＝0)？1:3 (9-8)

–如果pps_palette_predictor_initializer_present_flag等于1，则以下适用：

–PredictorPaletteSize设置为等于pps_num_palette_predictor_initializer。

–PredictorPaletteEntries数组推导如下：

for(comp＝0；comp<numComps；comp++)

for(i＝0；i<PredictorPaletteSize；i++) (9-9)

PredictorPaletteEntries[comp][i]＝pps_palette_predictor_initializers[comp

][i]

–否则(pps_palette_predictor_initializer_present_flag等于0)，如果sps_palette_predictor_initializer_present_flag等于1，则以下适用：

–PredictorPaletteSize设置为等于sps_num_palette_predictor_initializer_minus 1加1。

–PredictorPaletteEntries数组推导如下：

for(comp＝0；comp<numComps；comp++)

for(i＝0；i<PredictorPaletteSize；i++) (9-10)

PredictorPaletteEntries[comp][i]＝sps_palette_predictor_initializers[comp][i]

–否则(pps_palette_predictor_initializer_present_flag等于0，且sps_palette_predictor_initializer_present_flag等于0)，PredictorPaletteSize设置为等于0。

2.1.2.1.2.预测器调色板的使用

对于调色板预测器中的每个条目，信令通知重用标志以指示它是否是当前调色板的一部分。这在图2中示出。使用零的游程长度编解码发送重用标志。此后，使用0阶指数Golomb(EG)码(即EG-0)，来信令通知通知新调色板条目的数量。最后，信令通知新调色板条目的分量值。

2.1.2.2.预测器调色板的更新

预测器调色板的更新通过以下步骤执行：

1.在解码当前块之前，有一个预测器调色板，由PltPred0表示

2.通过首先插入来自PltPred0的那些，然后是当前调色板的新条目，从而构建当前调色板表。

3.正在构建PltPred1：

a.首先将这些添加到当前调色板表中(可能包括来自PltPred0的那些)

b.如果未满，则根据升序条目索引添加PltPred0中未引用的条目。

2.1.3.调色板索引的编解码

如图3所示，使用水平和垂直遍历扫描对调色板索引进行编解码。使用palette_transpose_flag在比特流中显式地信令通知扫描顺序。对于本子节的其余部分，假设扫描是水平的。

调色板索引是使用两种调色板样点模式来编解码：“COPY_LEFT”和“COPY_ABOVE”。在“COPY_LEFT”模式下，调色板索引被指派给解码索引。在“COPY_ABOVE”模式下，复制上一行中样点的调色板索引。对于“COPY_LEFT”和“COPY_ABOVE”两种模式，信令通知一个游程值，其指定也使用相同模式编解码的后续样点的数量。

在调色板模式中，转义样点的索引值是调色板条目的数量。并且，当转义符是“COPY_LEFT”或“COPY_ABOVE”模式下游程的一部分时，针对每个转义符信令通知转义分量值。调色板索引的编解码如图4所示。

这种语法顺序是按如下方式完成的。首先，信令通知CU的索引值的数量。接下来是使用截断二进制编解码来信令通知整个CU的实际索引值。索引数量和索引值都以旁路模式编解码。这将与索引相关的旁路二进制位(bypass bin)分组在一起。然后，调色板样点模式(如有必要)和游程以交织方式信令通知。最后，与整个CU的转义样点相对应的分量转义值被分组在一起，并以旁路模式进行编解码。转义样点的二值化是具有三阶的EG编解码，即EG-3。

附加的语法元素last_run_type_flag在信令通知索引值之后被信令通知。该语法元素与索引的数量相结合，消除了信令通知对应于块中最后一个游程的游程值的需要。

在HEVC-SCC中，针对4:2:2、4:2:0和单色色度格式也启用了调色板模式。对于所有色度格式，调色板条目和调色板索引的信令几乎是相同的。在非单色格式的情况下，每个调色板条目由3个分量组成。对于单色格式，每个调色板条目由一个分量组成。对于子采样的色度方向，色度样点与可被2整除的亮度样点索引相关联。为CU重构调色板索引后，如果样点只有单个与之相关联的分量，则只使用调色板条目的第一个分量。信令中的唯一区别是转义分量值。对于每个转义样点，根据与该样点相关联的分量的数量，信令通知的转义分量值的数量可能不同。

此外，调色板索引编解码中还有一个索引调整过程。当信令通知调色板索引时，左相邻索引或上相邻索引应该不同于当前索引。因此，通过去除一种可能性，当前调色板索引的范围可以减少1。之后，索引用截断二进制(TB)二值化来信令通知。

与该部分相关的文本如下所示，其中CurrPaletteIndex是当前调色板索引，adjustedRefPaletteIndex是预测索引。

变量PaletteIndexMap[xC][yC]指定调色板索引，其是由CurrentPaletteEntries表示的数组的索引。数组索引xC、yC指定样点相对于图片左上亮度样点的位置(xC，yC)。PaletteIndexMap[xC][yC]的值应在0到MaxPaletteIndex的范围(包括端点)内。

变量adjustedRefPaletteIndex的推导如下：

当CopyAboveIndicesFlag[xC][yC]等于0时，变量CurrPaletteIndex推导如下：

if(CurrPaletteIndex>＝adjustedRefPaletteIndex)

CurrPaletteIndex++

2.1.3.1.调色板编解码块的解码过程

1)读取预测信息以标记预测器调色板中的哪些条目将被重用；

(palette_predictor_run)

2)读取当前块的新调色板条目

a.num_signalled_palette_entries

b.new_palette_entries

3)基于a)和b)构建CurrentPaletteEntries

4)读取转义符存在标志：palette_escape_val_present_flag以推导MaxPaletteIndex

5)编解码有多少样点不是用复制模式/游程模式编解码的

a.num_palette_indices_minus1

b.对于未使用复制模式/游程模式编解码的每个样点，在当前plt表中对palette_idx_idc进行编码

2.2.VVC中的调色板模式

2.2.1.双树中的调色板

在VVC中，双树编解码结构用于对帧内条带进行编解码，因此亮度分量和两个色度分量可以具有不同的调色板和调色板索引。此外，两个色度分量共享相同的调色板和调色板索引。

2.2.2.作为单独模式的调色板

在JVET-N0258和当前VTM中，编解码单元的预测模式可以是MODE_INTRA、MODE_INTER、MODE_IBC和MODE_PLT。预测模式的二值化相应地改变。

当IBC被关闭时，在I片上，第一个二进制位被采用来指示当前预测模式是否是MODE_PLT。当在P/B片上时，第一个二进制位被采用来指示当前预测模式是否是MODE_INTRA。如果不是，则采用一个附加的二进制位来指示当前预测模式是MODE_PLT还是MODE_INTER。

当IBC被开启时，在I片上，第一个二进制位被采用来指示当前预测模式是否是IBC模式。如果不是，则第二个二进制位被采用来指示当前预测模式是MODE_PLT还是MODE_INTRA。当在P/B片上时，第一个二进制位被采用来指示当前预测模式是否是MODE_INTRA。如果是帧内模式，则采用第二个二进制位来指示当前预测模式是MODE_PLT还是MODE_INTRA。如果不是，则采用第二个二进制位来指示当前预测模式是MODE_IBC还是MODE_INTER。

JVET-O2001-vE中的相关文本如下所示。

编解码单元语法

2.2.3.最大调色板和最大调色板预测器尺寸的信令通知

在HEVC标准中，最大调色板表尺寸和最大调色板预测器尺寸在序列参数集(SPS)中信令通知，而VVC草案7中的调色板使用为31的固定的最大调色板表尺寸和为36的固定的最大调色板预测器尺寸。

在HEVC SCC中，信令通知两个语法元素，如下所示：

7.3.2.2.3序列参数集屏幕内容编码扩展语法

等于1指定调色板模式的解码过程可用于帧内块。palette_mode_enabled_flag等于0的指定不应用调色板模式的解码过程。当不存在时，palette_mode_enabled_flag的值被推断为等于0。

指定最大允许调色板尺寸。当不存在时，palette_max_size的值被推断为0。

指定最大允许调色板预测器尺寸和最大允许调色板尺寸之间的差。当不存在时，delta_palette_max_predictor_size的值被推断为0。变量PaletteMaxPredictorSize的推导如下：

PaletteMaxPredictorSize＝palette_max_size+delta_palette_max_predictor_size (7-35)

比特流一致性的要求是，当palette_max_size等于0时，delta_palette_max_predictor_size的值应该等于0。

在JVET-Q0519中，提出将信令通知最大调色板表尺寸和最大调色板预测器尺寸的语法引入VVC。JVET-Q0519中提出的语法/语义如下：

指定最大允许调色板预测器尺寸和最大允许调色板尺寸之间的差。当不存在时，delta_palette_max_predictor_size的值被推断为0。

此外，提出了一个比特流一致性约束，其为最大调色板表尺寸和最大调色板预测器尺寸不应大于64和128。

2.3.图片、子图片、条带、片、砖块和CTU的分割

的矩形区域。

中被排他地包括在单个

单元中的整数个砖块。

注意–条带由多个完整的片组成，或者仅由一个片的连续序列的完整砖块组成。

中特定

和特定

内的

的矩形区域。

中特定

内

行的矩形区域。

注意–片可以被分割成多个砖块，每个由片内的一个或多个CTU行组成。未被分割成多个砖块的片也称为砖块。然而，作为片的真子集的砖块不被称为片。

的特定顺序排序，其中

在

中的

中连续排序，

内的

在

的

的

中连续排序，并且

中的

在

的

的

中连续排序。

图片被分成一个或多个片行和一个或多个片列。片是覆盖图片的矩形区域的CTU序列。

片被分成一个或多个砖块，每个由片内的多个CTU行组成。

未被分割成多个砖块的片也称为砖块。然而，作为片的真子集的砖块不被称为片。

条带或者包括图片的多个片，或者包括片的多个砖块。

子图片包括共同覆盖图片的矩形区域的一个或多个条带。

支持两种条带模式，即光栅扫描条带模式和矩形条带模式。在光栅扫描条带模式中，条带包括图片的片光栅扫描中的片序列。在矩形条带模式中，条带包括图片的多个砖块，其共同形成图片的矩形区域。矩形条带内的砖块按照条带的砖块光栅扫描顺序。

图5示出了图片的光栅扫描条带分割的示例，其中图片被分成12个片和3个光栅扫描条带。

图6示出了图片的矩形条带分割的示例，其中图片被分成24个条带(6个片列和4个片行)和9个矩形条带。

图7示出了被分割为片、砖块和矩形条带的图片的示例，其中图片被分为4个片(2个片列和2个片行)、11个砖块(左上片包括1个砖块，右上片包括5个砖块，左下片包括2个砖块，右下片包括3个砖块)和4个矩形条带。

图8示出了图片的子图片分割的示例，其中图片被分割成28个不同维度的子图片。

当使用三个单独的颜色平面(separate_colour_plane_flag等于1)对图片进行编解码时，条带仅包括由colour_plane_id的对应值标识的一个颜色分量的CTU，并且图片的每个颜色分量数组由具有相同colour_plane_id值的条带组成。图片内具有不同colour_plane_id值的编解码条带可以在以下约束条件下彼此交织：对于每个colour_plane_id值，具有该colour_plane_id值的编解码条带NAL单元应当按照每个编解码条带NAL单元的第一个CTU的砖块扫描顺序中递增CTU地址的顺序。

注意1–当separate_colour_plane_flag等于0时，图片的每个CTU正好包括在一个条带中。当separate_colour_plane_flag等于1时，颜色分量的每个CTU正好包括在一个条带中(即，图片的每个CTU的信息正好存在于三个条带中，并且这三个条带具有不同的colour_plane_id值)。

2.4.具有1-CTU延迟的波前

在VVC中，采用一个CTU延迟波前(WPP)并行处理，而不是HEVC设计中的两个CTU延迟。WPP处理能够以有限的编解码损失进行多个并行处理，但是两个CTU延迟会妨碍并行处理能力。因为目标分辨率变得越来越大，CPU的数量也在增加，所以断言通过利用所提出的一个CTU延迟的更多并行处理能力有利于减少编解码等待时间，并且它将充分利用CTU功率。

2.5.JVET-Q0519

在HEVC标准中，最大调色板表尺寸和最大调色板预测器尺寸在序列参数集(SPS)中信令通知，而VVC草案7中的调色板使用为31的固定的最大调色板表尺寸31和为67的固定的最大调色板预测器尺寸。在JVET-Q0519中，提出将HEVC中信令通知最大调色板表尺寸和最大调色板预测器尺寸的语法引回VVC中的调色板设计。

JVET-Q0519中提出的语法/语义如下列出

2.6.非线性自适应环路滤波

在VVC中，如滤波方程所示在ALF滤波过程中涉及剪切操作。对CU内的每个样点R(i,j)进行滤波，产生如下所示的样点值R′(i,j)。K(x,y)是剪切函数，并且c(k,l)表示解码的剪切参数。

其中f(k,l)表示解码的滤波器系数，K(x,y)是剪切函数，并且c(k,l)表示解码的剪切参数。变量k和l在

和

之间变化，其中L表示滤波器长度。剪切函数K(x,y)＝min(y,max(-y,x))对应于函数Clip3(-y,y,x)。

并且在当前的VVC中，这些剪切值取决于内部比特深度。更准确地说，剪切值的亮度表和剪切值的色度表通过以下公式获得：

AlfClip＝{round(2^B-α*n)，对于n∈[0..N-1]}

其中，AlfClip是剪切值，B是指内部比特深度(IBDI)或ALF的输入样点的比特深度，α是等于2.35的预定义常数值。下面的表8列出了给定比特深度的剪切参数和信令通知的clipIdx，其指定了在乘以可替代的亮度或色度滤波的第j个系数之前要使用的剪切值的剪切索引。

JVET-P1001中的滤波过程定义如下：

8.8.5.4色度样点的编解码树块滤波过程

该过程的输入为：

–自适应环路滤波过程之前的重构色度图片样点数组recPicture，

–经滤波的重构色度图片样点数组alfPicture，

–色度位置(xCtbC，yCtbC)，指定相对于当前图片的左上样点的当前色度编解码树块的左上样点，

–可替代的色度滤波索引altIdx。

该过程的输出是经修改的滤波的重构色度图片样点数组alfPicture。

当前色度编解码树块ctbWidthC和ctbHeightC的宽度和高度推导如下：

ctbWidthC＝CtbSizeY/SubWidthC (1458)

ctbHeightC＝CtbSizeY/SubHeightC (1459)

为了推导经滤波的重构色度样点alfPicture[x][y]，当前色度编解码树块recPicture[x][y]内的每个重构色度样点被滤波如下，其中x＝0..ctbWidthC-1，y＝0..ctbHeightC-1：

–…

–变量curr的推导如下：

curr＝recPicture[hx,v_y] (1462)

–色度滤波系数数组f[j]和色度剪切值数组c[j]的推导如下，其中j＝0..5：

f[j]＝AlfCoeff_C[slice_alf_aps_id_chroma][altIdx][j] (1463)

c[j]＝AlfClipC[slice_alf_aps_id_chroma][altIdx][j] (1464)

–变量sum的推导如下：

sum＝f[0]*(Clip3(-c[0],c[0],recPicture[h_x,v_y+y2]-curr)+

Clip3(-c[0],c[0],recPicture[h_x,v_y-y2]-curr))+f[1]*(Clip3(-c[1],c[1],recPicture[h_x+1,v_y+y1]-curr)+

Clip3(-c[1],c[1],recPicture[h_x-1,v_y-y1]-curr))+f[2]*(Clip3(-c[2],c[2],recPicture[hx,v_y+y1]-curr)+

Clip3(-c[2],c[2],recPicture[hx,v_y-y1]-curr))+ (1465)f[3]*(Clip3(-c[3],c[3],recPicture[h_x-1,v_y+y1]-curr)+

Clip3(-c[3],c[3],recPicture[h_x+1,v_y-y1]-curr))+f[4]*(Clip3(-c[4],c[4],recPicture[h_x+2,v_y]-curr)+

Clip3(-c[4],c[4],recPicture[h_x-2,v_y]-curr))+f[5]*(Clip3(-c[5],c[5],recPicture[h_x+1,v_y]-curr)+

Clip3(-c[5],c[5],recPicture[h_x-1,v_y]-curr))

sum＝curr+((sum+64)>>7) (1466)

–经修改的滤波的重构色度图片样点alfPicture[xCtbC+x][yCtbC+y]推导如下：

alfPicture[xCtbC+x][yCtbC+y]＝Clip3(0,(1<<BitDepth)-1,sum)(1467)

3.现有实现的缺点

DMVR和BIO在细化运动矢量期间不涉及原始信号，其可能引起编解码块具有不准确的运动信息。此外，DMVR和BIO有时采用运动细化后的分数运动矢量，而屏幕视频通常具有整数运动矢量，其使当前运动信息更不准确，并使编解码性能更差。

1.当前调色板是用根据前一个编解码的调色板的预测构建的。仅当entropy_coding_sync_enabled_flag等于1时，才在解码新的CTU行或新的片之前重新初始化它。然而，在实际应用中，并行编码器是优选的，其中不同的CTU行可以在不引用其他CTU行的信息的情况下被预编解码。

2.处理预测器调色板更新过程的方式是固定的。即，将从先前预测器调色板继承的条目和当前调色板中的新条目按顺序插入。如果条目的数量仍然小于预测器调色板的尺寸，则进一步添加不是从先前预测器调色板继承的条目。这种设计没有考虑当前和先前预测器调色板中不同条目的重要性。

3.预测器调色板的尺寸是固定的，并且在解码块之后，它必须被更新以填充所有可能是次优的条目，因为它们中的一些可能从未被引用。

4.当前调色板的尺寸无论颜色分量是固定的，例如与亮度相比，可以使用较少的色度样点。

5.在HEVC SCC中，

用表示0的最短码字来信令通知。在实践中，

很可能被信令通知为最大允许值。因此信令通知效率不高。

也存在同样的问题。

6.可以通过不同图片/子图片/条带的序列来改变调色板信息。仅在SPS中信令通知它可能效率不高。

7.在非线性ALF过程中使用的剪切函数被定义为Clip3(-y,y,x)，并且剪切参数y不是2N的形式。此外，如果我们希望将剪切实现为逻辑或/和最高有效比特，则剪切的上限和下限应相应地修改。

4.示例技术和实施例

下面描述的详细实施例应该被认为是解释一般概念的示例。这些实施例不应被狭义地解释。此外，这些实施例可以以任何方式组合。

除了下面提到的DMVR和BIO之外，下面描述的方法也可以适用于其他解码器运动信息推导技术。

关于预测器调色板

1.提出在解码新视频单元中的第一块之前，重置或重新初始化预测器调色板(例如，条目，和/或预测器调色板的尺寸)。

a.替代地，预测器调色板(例如，条目，和/或预测器调色板的尺寸)可以在解码视频单元中的最后一块之后被重置或重新初始化。

b.在一个示例中，视频单元是CTU(例如，VPDU)/CTU/CTB/多个CTU/多个CU/CTU行/片/砖块/子图片/视图等的子区域。

i.替代地，此外，即使波前被禁用(例如，entropy_coding_sync_enabled_flag等于0)，也调用上述方法。

c.在一个示例中，视频单元是色度CTU行。

i.替代地，此外，在解码新色度CTU行中的第一个色度CTB之前，可以重置或重新初始化预测器调色板。

ii.替代地，此外，当应用双树并且当前分割树是色度编解码树时，调用上述方法。

d.在一个示例中，预测器调色板的尺寸(例如，规范中的

)被重置为0。

e.在一个示例中，预测器调色板的尺寸(例如，规范中的

)被重置为序列调色板预测器初始化器中的条目数(例如，

加1)或预测器调色板中允许的最大条目数(例如，

)。

f.在对新的序列/图片进行编码/解码之前对预测器调色板(例如，PredictorPaletteEntries)的初始化可用于在对新的视频单元进行编码/解码之前初始化预测器调色板。

g.在一个示例中，当entropy_coding_sync_enabled_flag等于1时，编码/解码上方CTB/CTU之后的预测器调色板可用于在编码/解码当前CTB/CTU之前初始化预测器调色板。

2.提出在对某个调色板编解码块进行编码/解码之后，禁用预测器调色板的更新。

a.在一个示例中，是否更新预测器调色板可以取决于当前块的解码信息。

i.在一个示例中，是否更新预测器调色板可以取决于当前块的块维度。

1.在一个示例中，如果当前块的宽度不大于第一阈值(由T1表示)并且当前块的高度不大于第二阈值(由T2表示)，则更新过程被禁用。

2.在一个示例中，如果当前块的宽度乘以块的高度不大于第一阈值(由T1表示)，则更新过程被禁用。

3.在一个示例中，如果当前块的宽度不小于第一阈值(由T1表示)并且当前块的高度不小于第二阈值(由T2表示)，则更新过程被禁用。

4.在一个示例中，如果当前块的宽度乘以块的高度不小于第一阈值(由T1表示)，则更新过程被禁用。

5.在以上示例中，T1/T2可以是预定义的或信令通知的。

a)在一个示例中，T1/T2可以被设置为4、16或1024。

b)在一个示例中，T1/T2可以取决于颜色分量。

3.可以定义共享的预测器调色板，其中对于共享区域下的所有CU/PU可以使用相同的预测器调色板。

a.在一个示例中，可以用TT拆分为MxN区域(例如，16×4或4×16区域)定义共享区域。

b.在一个示例中，可以用BT拆分为MxN区域(例如，8×4或4×8区域)定义共享区域。

c.在一个示例中，可以用QT拆分为MxN区域(例如，8×8区域)定义共享区域。

d.替代地，此外，可以在编码/解码共享区域内的所有块之前构建一次共享预测器调色板。

e.在一个示例中，预测器调色板中的预测条目的指示(例如，palette_predictor_run)可以与共享区域内的第一调色板编解码块一起信令通知。

i.替代地，此外，对于共享区域内的剩余编解码块，可以跳过对预测器调色板中的预测条目的指示(例如，palette_predictor_run)的信令通知。

f.替代地，此外，在解码/编码共享区域内的块之后，可以总是跳过预测器调色板的更新。

4.可以为预测器调色板的每个条目维护一个计数器，以指示它被使用的频率。a.在一个示例中，对于添加到预测器调色板的每个新条目，计数器可以被设置为常数K。

i.在一个示例中，K可以被设置为0。

b.在一个示例中，当条目在编码/解码调色板块时被标记为被重用时，对应的计数器可以被增加常数N。

i.在一个示例中，N可以被设置为1。

5.提出自适应地改变预测器调色板的尺寸，而不是使用预测器调色板的固定尺寸。

a.在一个示例中，预测器调色板的尺寸可以从视频单元(块/CU/CTU/片/砖块/子图片)改变到另一个视频单元。

b.在一个示例中，预测器调色板的尺寸可以根据当前调色板的尺寸来更新。

i.在一个示例中，在解码/编码当前块之后，预测器调色板的尺寸可以被设置为当前调色板的尺寸。

ii.在一个示例中，预测器调色板的尺寸可以被设置为在解码/编码当前块后当前调色板的尺寸减去或加上由K表示的整数值。

1.在一个示例中，K可以动态地被信令通知/推导。

c.在一个示例中，预测器调色板的尺寸可以取决于块尺寸。设S为调色板编解码块的预测器调色板的预定义尺寸。

i.在一个示例中，尺寸小于或等于T的调色板编解码块可以使用尺寸小于S的预测器调色板。

1.在一个示例中，可以使用调色板预测器中的前K个条目(K<＝S)。

2.在一个示例中，可以使用调色板预测器的子采样版本。

ii.在一个示例中，尺寸大于或等于T的调色板编解码的块可以使用尺寸等于S的预测器调色板。

iii.在上述示例中，K和/或T是整数，并且可以基于

1.视频内容(例如屏幕内容或自然内容)

2.在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU组/TU/PU块/视频编解码单元中信令通知的消息

3.CU/PU/TU/块/视频编解码单元的位置

4.颜色格式的指示(如4:2:0、4:4:4、RGB或YUV)

5.编解码树结构(如双树或单树)

6.条带/片组类型和/或图片类型

7.颜色分量

8.时域层ID

9.标准的配置文件/级别/层次

d.在一个示例中，在编码/解码调色板块之后，可以根据条目的计数器来定制预测器调色板。

i.在一个示例中，计数器小于阈值T的条目可以被丢弃。

ii.在一个示例中，具有最小计数器值的条目可以被丢弃，直到预测器调色板的尺寸小于阈值T。

e.替代地，此外，在解码/编码调色板编码块之后，可以仅基于当前调色板来更新预测器调色板。

i.替代地，此外，在解码/编码调色板编解码块之后，预测器调色板可被更新为当前调色板。

6.编码/解码当前块之前的当前调色板和/或预测器调色板的条目在用于更新预测器调色板之前可以被重新排序/修改。

a.在一个示例中，可以根据当前样点的解码信息/重构来应用重新排序。

b.在一个示例中，可以根据条目的计数器值来应用重新排序。

c.替代地，此外，可以计数样点/像素(在当前调色板中和/或在当前调色板外)出现的次数。

i.替代地，此外，具有较大计数器(即，出现更频繁)的样点/像素可以放在具有较小计数器的另一个之前。

7.转义样点的信息可以用来更新预测器调色板。

a.替代地，此外，可以有条件地调用用转义信息更新预测器调色板。

i.在一个示例中，当插入当前调色板后预测器调色板未满时，转义的样点/像素信息可被添加到预测器调色板。

8.更新/初始化/重置预测器调色板可以取决于颜色分量。

a.在一个示例中，确定是否更新预测器调色板的规则可以取决于颜色分量，诸如亮度或色度。

9.可以维护和/或更新多个预测器调色板的集合。

a.在一个示例中，一个预测器调色板可以具有一个或所有颜色分量的信息。

b.在一个示例中，一个预测器调色板可以具有两个颜色分量(例如，Cb和Cr)的信息。

c.在一个示例中，可以维护至少一个全局调色板和至少一个局部调色板。

i.在一个示例中，可以根据全局调色板和局部调色板来更新预测器调色板。

d.在一个示例中，可以维护与最后K个调色板编解码块相关联的调色板(按照编码/解码顺序)。

e.在一个示例中，亮度和色度分量的调色板可从不同的预测器调色板预测，即，用对多个预测器调色板的集合的不同索引。

f.替代地，此外，项目符号1可以应用于预测器调色板的集合。

g.替代地，此外，可以为CU/PU/CTU/CTB/CTU或CTB的子区域信令通知预测器调色板集合中的预测器调色板的一个/多个索引。

关于调色板/预测器调色板尺寸

10.调色板的尺寸可以从一个视频单元改变到另一个。

a.在一个示例中，调色板的尺寸可以从一个视频单元(块/CU/CTU/片/砖块/子图片)改变到另一个视频单元。

b.在一个示例中，调色板的尺寸可以取决于当前块和/或相邻(邻近或非邻近)块的解码信息。

11.调色板和/或预测器调色板的尺寸可以取决于块维度和/或量化参数。

12.对于不同的颜色分量，调色板和/或预测器调色板的尺寸(或其中条目的数量)可以不同。

a.在一个示例中，可以显式或隐式地信令通知亮度和色度分量的调色板和/或预测器调色板的尺寸的指示。

b.在一个示例中，可以显式或隐式地信令通知每个颜色分量的调色板和/或预测器调色板的尺寸的指示。

c.在一个示例中，是否信令通知多个尺寸的指示可以取决于双树和/或条带/图片类型的使用。

调色板的信令通知

13.一致性比特流应当满足当前块的直接信令通知的条目数(例如

)应当在[0，palette_max_size-NumPredictedPaletteEntries]内。

a.如何二值化num_signalled_palette_entries可以取决于允许的范围。

i.可以利用截断的二值化编解码来代替0阶EG。

b.如何二值化num_signalled_palette_entries可以取决于解码的信息(例如，块维度)。

关于具有1-CTU的波前

14.提出在结束CTU语法的解析时(例如，在VVC第7.3.8.2条中)，重新初始化预测器调色板(例如，条目和/或尺寸)，entropy_coding_sync_enabled_flag等于1，并且或者当前CTB是新CTU行中的第一个，或者当前CTB与其先前的CTB不在同一砖块中。

a.替代地，此外，在完成对上述CTU的编码/解码之后，维护PredictorPaletteSizeWpp和PredictorPaletteEntriesWpp以记录预测器调色板的更新的尺寸和条目。

i.替代地，此外，PredictorPaletteSizeWpp和PredictorPaletteEntriesWpp可以被利用于编码/解码当前CTU中的当前块。

b.在一个示例中，当结束对第7.3.8.2条中的CTU语法的解析时，entropy_coding_sync_enabled_flag等于1，并且或者CtbAddrInRs％PicWidthInCtbsY等于0或者BrickId[CtbAddrInBs]不等于BrickId[CtbAddrRsToBs[CtbAddrInRs-1]]，使用TableStateIdx0Wpp、TableStateIdx1Wpp和TableMpsValWpp并且在palette_mode_enabled_flag等于1时的PredictorPaletteSizeWpp和PredictorPaletteEntriesWpp作为输出，调用第9.3.2.3条中规定的上下文变量的存储过程。

一般概念

15.是否和/或如何应用上述方法可以基于：

a.视频内容(例如屏幕内容或自然内容)

b.在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU组/TU/PU块/视频编解码单元中信令通知的消息

c.CU/PU/TU/块/视频编解码单元的位置

d.当前块和/或其相邻块的解码信息

i.当前块和/或其相邻块的块维度/块形状

e.颜色格式的指示(如4:2:0、4:4:4、RGB或YUV)

f.编解码树结构(如双树或单树)

g.条带/片组类型和/或图片类型

h.颜色分量(例如，可以仅应用于亮度分量和/或色度分量)

i.时域层ID

j.标准的配置文件/级别/层次

关于最大调色板尺寸和最大调色板预测尺寸的信令通知16.第一语法，即delta_maximum_palette_size，其指定由T0表示的预定义值和最大允许调色板尺寸之间的差，可以在视频处理单元级别(例如，序列/图片/条带/片/砖/子图片)中信令通知。

a.替代地，此外，最大调色板尺寸被设置为(T0-delta_maximum_palette_size)。

i.在一个示例中，预定义值是2N形式的整数，其中N是整数。

a)在一个示例中，预定义值等于32、64、128或256。

ii.替代地，此外，最大调色板尺寸被设置为(T0-delta_maximum_palette_size)。

a)在一个示例中，预定义值是(2N-K)形式的整数，其中N和K是整数。

i.在一个示例中，K＝1。

ii.替代地，此外，最小调色板尺寸是K。

b.替代地，可以信令通知第二语法，即delta_maximum_palette_size’，其指定最大允许调色板尺寸和由T0表示的预定义值之间的差。

i.替代地，此外，最大调色板尺寸被设置为(T0+delta_maximum_palette_size’)。

ii.在一个示例中，预定义值是2N形式的整数，其中N是整数。

a)在一个示例中，预定义值等于1。

c.在一个示例中，预定义值不为零。

d.在一个示例中，第一/第二语法元素可以通过一元码/指数Golomb码/Rice码/固定长度码/截断二进制码/无符号整数0阶Exp-Golomb二值化以用于编解码。

e.在一个示例中，第一/第二语法元素可以是不小于零的无符号整数。

f.在一个示例中，第一/第二语法元素可以是不小于零或小于零的有符号整数。

g.在一个示例中，最大允许调色板尺寸必须小于等于预定义值。

i.在一个示例中，预定义值等于1。

17.第三语法元素，即delta_maximum_palette_predictor_size，其指定预定义值和最大允许调色板预测器尺寸之间的差。

a.替代地，此外，最大调色板预测器尺寸被设置为(T0-delta_maximum_palette_predictor_size)。

i.在一个示例中，预定义值是2N形式的整数，其中N是整数。

a)在一个示例中，预定义值等于32、64、128或256。

ii.替代地，此外，最大调色板预测器尺寸被设置为(T0-delta_maximum_palette_predictor_size)。

i.在一个示例中，K＝1。

ii.替代地，此外，最小调色板尺寸是K。

b.替代地，可以信令通知第二语法，即delta_maximum_palette_predictor_size’，其指定最大允许调色板预测器尺寸和预定义值之间的差。

i.替代地，此外，最大调色板预测器尺寸被设置为(T0+delta_maximum_palette_predictor_size’)。

ii.在一个示例中，预定义值是2N形式的整数，其中N是整数。

a)在一个示例中，预定义值等于1。

c.在一个示例中，预定义值不等于最大允许调色板尺寸。

d.在一个示例中，第三和/或第四语法元素可以通过一元码/指数Golomb码/Rice码/固定长度码/截断二进制码/无符号整数0阶Exp-Golomb二值化以用于编解码。

e.在一个示例中，第三和/或第四语法元素可以是不小于零的无符号整数。

f.在一个示例中，第三和/或第四语法元素可以是不小于零或小于零的有符号整数。

g.在一个示例中，最大允许调色板预测器尺寸必须小于等于预定义值。

h.在一个示例中，最大允许调色板预测器尺寸必须大于等于预定义值。

18.提出最大调色板尺寸和/或最大调色板预测器尺寸应大于K(K为非零整数)。

a.在一个示例中，K是0。在这种情况下，最大调色板尺寸和/或最大调色板预测器尺寸应大于0。

b.在一个示例中，最大调色板预测器尺寸可以小于最大调色板尺寸。

i.替代地，此外，最大允许调色板预测器尺寸和最大允许调色板尺寸(例如，delta_palette_max_predictor_size)之间信令通知的差可以小于0。

a)替代地，此外，可以执行从经解码的语法元素到真实差的映射过程。

19.提出在指示最大允许调色板尺寸的语法元素之前，信令通知指示最大允许调色板预测器尺寸的语法元素。

a.例如，是否信令通知最大允许调色板尺寸取决于最大允许调色板预测器尺寸。

20.提出了与调色板相关的信息，如启用/禁用调色板、最大允许的调色板尺寸和/或最大允许的调色板预测器尺寸，可以在依赖的PPS/图片标头/条带标头/子图片中信令通知。

a.替代地，指示最大允许调色板尺寸和/或最大允许调色板预测器尺寸的信息可以与一个或多个子图相关联地信令通知。

b.在一个示例中，指示调色板是否被启用的标志在PPS/图片标头/条带标头中信令通知或者与子图片相关联。

c.在一个示例中，在较高级视频单元(如在SPS中)中信令通知的与调色板相关的信息可被在较低级视频单元(如在PPS或图片标头中)中信令通知的与调色板相关的信息重写(overwrite)。

d.在一个示例中，在较低级视频单元(如在PPS或图片标头中)中信令通知的与调色板相关的信息可由在较高级视频单元(如在SPS中)中信令通知的与调色板相关的信息来预测

i.例如，与调色板相关的第一值和在与调色板相关的较高级视频单元中信令通知的第二值之间的差在较低级视频单元中信令通知。

a)在一个示例中，第一值是与较低级视频单元相关联的最大允许调色板尺寸，并且第二值是在较高级视频单元中信令通知的最大允许调色板尺寸。

b)在一个示例中，第一值是与较低级视频单元相关联的最大允许调色板预测器尺寸，并且第二值是在较高级视频单元中信令通知的最大允许调色板预测器尺寸。

非线性ALF中的剪切

21.提出在非线性ALF中应用非对称剪切来剪切相同的差，其中上限和下限的绝对值不同。

a.在一个示例中，提出使用Clip3(-a,b,x)而不是使用Clip3(-y,y,x)，其中-a是下限，并且b是上限，并且a不等于b。

i.在一个示例中，提出使用Clip3(-y,y-1,x)，而不是使用Clip3(-y,y,x)。

ii.在一个示例中，提出使用Clip3(-(y+1),y,x)，而不是使用Clip3(-y,y,x)。

iii.在一个示例中，查找表可以用于定义剪切操作的上限b。

a)在一个示例中，上限是(2N-1)的形式。

iv.在一个示例中，查找表可以用于定义剪切操作的下限的绝对值a。

a)在一个示例中，下限-a是-2N的形式。

b.替代地，此外，所提出的方法也可以应用于其他滤波方法，如交叉分量ALF。

5.附加实施例

5.1.实施例#1

该实施例基于ITU-T HEVC v5(2018/02)https://www.itu.int/rec/dologin_pub.asp？lang＝e&id＝T-REC-H.265-201802-S！！PDF-E&type＝items。新添加的文本以粗体和下划线斜体显示。任何删除的文本都用双括号标记(例如，[[a]]表示删除字符“a”)。

9.3.1概述

当解析第7.3.8.1条到第7.3.8.12条中带有描述符ae(v)的语法元素时，会调用该过程。

该过程的输入是对语法元素的值和先前解析的语法元素的值的请求。

该过程的输出是语法元素的值。

当开始解析一个或多个以下内容时，调用第9.3.2条中规定的初始化过程：

1.第7.3.8.1条中规定的条带段数据语法，

2.第7.3.8.2条和CTU中规定的CTU语法是

[[片]]中的第一个CTU，

3.第7.3.8.2条中规定的CTU语法，[[entropy_coding_sync_enabled_flag等于1并且]]相关联的亮度CTB是

[[片]]的CTU行中的第一个亮度CTB。

语法元素的解析过程如下：

当cabac_bypass_alignment_enabled_flag等于1时，对语法元素的值的请求是针对语法元素coeff_abs_level_remaining[]或coeff_sign_flag[]的，并且escapeDataPresent等于1，调用第9.3.4.3.6条中规定的对齐旁路解码之前的对齐过程。

对于语法元素的每个请求值，按照第9.3.3条的规定推导二值化。

语法元素和解析的二进制位序列的二值化确定了解码过程流，如第9.3.4条所述。

在针对语法元素pcm_flag处理了对语法元素值的请求，并且pcm_flag的解码值等于1的情况下，如第9.3.2.6条中所规定的在对任何pcm_alignment_zero_bit以及所有pcm_sample_luma和pcm_sample_chroma数据进行解码之后，解码引擎被初始化。

上下文变量的存储过程应用如下：

–当结束对第7.3.8.2条中CTU语法的解析时，entropy_coding_sync_enabled_flag等于1，并且或者CtbAddrInRs％PicWidthInCtbsY等于1，或者两个CtbAddrInRs都大于1，并且TileId[CtbAddrInTs]不等于TileId[CtbAddrRsToTs[CtbAddrInRs-2]]，使用在persistent_rice_adaptation_enabled_flag等于1时的TableStateIdxWpp、TableMpsValWpp、TableStatCoeffWpp以及在palette_mode_enabled_flag等于1时的PredictorPaletteSizeWpp和PredictorPaletteEntriesWpp作为输出调用在第9.3.2.4条中规定的上下文变量、Rice参数初始化状态和调色板预测器变量的存储过程。

–当结束第7.3.8.1条的通用条带段数据语法的解析、dependent_slice_segments_enabled_flag等于1且end_of_slice_segment_flag等于1时，使用在persistent_rice_adaptation_enabled_flag等于1时的TableStateIdxDs、TableMpsValDs、TableStatCoeffDs以及在palette_mode_enabled_flag等于1时的PredictorPaletteSizeDs和PredictorPaletteEntriesDs作为输出，调用在第9.3.2.4条中规定的上下文变量、Rice参数初始化状态和调色板预测器变量的存储过程。

5.2.实施例#2

该实施例基于VVC CD。新添加的文本以粗体和下划线斜体显示。任何删除的文本都用双括号标记(例如，[[a]]表示删除字符“a”)。

9.3条带数据的CABAC解析过程

9.3.1概述

该过程的输出是语法元素的值。

当开始解析第7.3.8.2条中规定的CTU语法，并且下列一个或多个条件成立时，调用第9.3.2条中规定的初始化过程：

–CTU是砖块中的第一个CTU。

–entropy_coding_sync_enabled_flag的值等于1，并且CTU是砖块的CTU行中的第一个CTU。

语法元素的解析进行如下：

对于语法元素的每个请求值，按照第9.3.3子条中的规定推导二值化。

语法元素的二值化和解析的二进制位的序列确定了解码过程流，(如第9.3.4子条中所述)。

上下文变量的存储过程应用如下：

–当结束对第7.3.8.2条中CTU语法的解析时，entropy_coding_sync_enabled_flag等于1，并且或者CtbAddrInRs％PicWidthInCtbsY等于0或者BrickId[CtbAddrInBs]不等于BrickId[CtbAddrRsToBs[CtbAddrInRs-1]]，使用TableStateIdx0Wpp、TableStateIdx1Wpp、TableMpsValWpp

作为输出调用第9.3.2.3条中规定的上下文变量的存储过程。

9.3.2初始化过程

9.3.2.1概述

–该过程的输出是初始化的CABAC内部变量。

–算术解码引擎的上下文变量初始化如下：

––如果CTU是砖块中的第一个CTU，则上下文变量的初始化过程如第9.3.2.2条中所规定的被调用，并且变量PredictorPaletteSize[0/1/2]被初始化为0。

––否则，如果entropy_coding_sync_enabled_flag等于1，并且或者CtbAddrInRs％PicWidthInCtbsY等于0或者BrickId[CtbAddrInBs]不等于BrickId[CtbAddrRsToBs[CtbAddrInRs-1]]，则以下适用：

––空域相邻块T(图9-2)的左上亮度样点的位置(xNbT，yNbT)是使用当前CTB的左上亮度样点的位置(x0，y0)推导，如下所示：

–(xNbT，yNbT)＝(x0,y0-CtbSizeY)(9-3)

––使用位置(xCurr，yCurr)设置为等于(x0，y0)、相邻位置(xNbY，yNbY)设置为等于(xNbT，yNbT)、checkPredModeY设置为等于FALSE以及cIdx设置为等于0作为输入，调用第6.4.4条中规定的相邻块可用性的推导过程，并将输出指派给availableFlagT。

––上下文变量的同步过程调用如下：

––如果availableFlagT等于1，则使用TableStateIdx0Wpp、TableStateIdx1Wpp、TableMpsValWpp作为输入，调用第9.3.2.4条中规定的上下文变量的同步过程，并将变量PredictorPaletteSize初始化为0。

––否则，将按照第9.3.2.2条中的规定调用上下文变量的初始化过程，并将变量PredictorPaletteSize初始化为0。

–均为16位寄存器精度的解码引擎寄存器ivlCurrRange和ivlOffset是通过调用第9.3.2.5条子条款中的算术解码引擎的初始化过程进行初始化的。

9.3.2.3上下文变量的存储过程

该过程的输入包括：

–由ctxTable和ctxIdx索引的CABAC上下文变量。

该过程的输出是：

–变量tableStateSync0、tableStateSync1和tableMPSSync包括在上下文变量的初始化过程中使用的变量pStateIdx0、pStateIdx1和valMps的值，其被指派给第7.3.8.1条到第7.3.8.11条中的所有语法元素，但end_of_brick_one_bit和end_of_subset_one_bit除外。

–

对于每个上下文变量，表tableStateSync0、tableStateSync1和tableMPSSync的对应条目pStateIdx0、pStateIdx1和valMps被初始化为对应的pStateIdx0、pStateIdx1和valMps。

替代地，以下可以适用：

5.3.实施例#3

替代地，上表中的

可以设置为另一个整数值，如固定值或预测器调色板尺寸。

5.4.实施例#4

指定64和最大允许调色板尺寸之间的差。当不存在时，delta_palette_max_size的值被推断为64。变量PaletteMaxSize被推导为等于64-delta_palette_max_size

指定128与最大允许调色板预测器尺寸和最大允许调色板尺寸之间的差。当不存在时，delta_palette_max_predictor_size的值被推断为128-PaletteMaxSize。变量PalettePredictorMaxSize被推导为等于128-delta_palette_max_predictor_size。

在一致性比特流中，要求PaletteMaxSize和PalettePredictorMaxSize不应大于64和128。

5.5.实施例#5

在一致性比特流中，要求PaletteMaxSize和PalettePredictorMaxSize不应大于64和128。并且要求PalettePredictorMaxSize大于或等于PaletteMaxSize。

6.所公开技术的示例实现

图9是视频处理装置900的框图。装置900可用于实现本文描述的一种或多种方法。装置900可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置900可以包括一个或多个处理器902、一个或多个存储器904和视频处理硬件906。(多个)处理器902可以被配置成实现本文件中描述的一种或多种方法。(多个)存储器904可用于存储用于实现本文所述方法和技术的数据和代码。视频处理硬件906可以用于在硬件电路中实现本文件中描述的一些技术，并且可以部分或全部是处理器902(例如，图形处理器核心GPU或其他信号处理电路)的一部分。

在本文件中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，在从视频的像素表示到对应的比特流表示的转换期间，可以应用视频压缩算法，反之亦然。如语法所定义，当前视频块的比特流表示可以例如对应于同位的(co-located)或分在在比特流内不同位置的比特。例如，可以根据经变换和编解码的误差残差值，并且还使用比特流中的标头和其他字段中的比特，对宏块进行编码。

应当理解，通过允许使用本文件中公开的技术，所公开的方法和技术将有益于结合在视频处理设备中的视频编码器和/或解码器实施例，该视频处理设备如智能手机、膝上型电脑、台式电脑和类似设备。

图10是示出其中可以实现本文所公开的各种技术示例视频处理系统1000的框图。各种实现可以包括系统1000的部分或全部组件。系统1000可以包括用于接收视频内容的输入1002。视频内容可以以原始或未压缩的格式接收，例如8或10比特多分量像素值，或者可以是压缩或编码格式。输入1002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等的有线接口以及诸如Wi-Fi或蜂窝接口的无线接口。

系统1000可以包括编解码组件1004，其可以实现本文件中描述的各种编解码或编码方法。编解码组件1004可以降低从输入1002到编解码组件1004的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。如组件1006所表示的，编码组件1004的输出可以存储，或者经由连接的通信来发送。组件1008可以使用在输入1002处接收的视频的存储或通信的比特流(或编解码)表示来生成发送到显示接口1010的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，在编码器处使用编码工具或操作，并且将由解码器执行相应的解码工具或反转编码结果的操作。

外围总线接口或显示器接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文件中描述的技术可以在各种电子设备中实现，如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。

图11是视频处理的示例方法1100的流程图。方法1100包括在1110处使用调色板模式执行视频单元中的视频块与视频块的编解码表示之间的转换，其中在转换期间，预测器调色板用于预测视频块的当前调色板信息，并且进一步其中在视频块与视频块的比特流表示之间的转换之前选择性地重设预测器调色板。

图12是图示可利用本发明的技术的示例视频编解码系统100的框图。

如图12所示，视频编解码系统100可以包括源设备110和目的设备120。源设备110生成编码的视频数据，其可被称为视频编码设备。目的设备120可解码由源设备110生成的编码的视频数据，其可称为视频解码设备。

源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统的源，或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联的数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码的视频数据可经由I/O接口116通过网络130a直接传输到目的设备120。编码的视频数据还可存储在存储介质/服务器130b上以供目的设备120访问。

目的设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以解码编码的视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的设备120集成在一起，或者可以在被配置为与外部显示设备接口的目的设备120的外部。

视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、多功能视频编解码(VVM)标准和其他当前和/或进一步的标准。

图13是示出视频编码器200的示例的框图，视频编码器200可以是图12所示的系统100中的视频编码器114

视频编码器200可被配置为执行本发明的任何或所有技术。在图13的示例中，视频编码器200包括多个功能组件。本发明中描述的技术可在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置成执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可包括分割单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214，预测单元202可包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在示例中，预测单元202可包括帧内块复制(IBC)单元。IBC单元可以以IBC模式执行预测，该模式中至少一个参考图片是当前视频块所在的图片。

此外，一些组件(诸如运动估计单元204和运动补偿单元205)可高度集成，但出于解释目的而在图13的示例中单独表示。

分割单元201可将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。

模式选择单元203可以例如基于误差结果选择编解码模式(帧内或帧间)中的一者，且将所得帧内或帧间编解码块提供到残差生成单元207以生成残差块数据，且提供到重构单元212以重构编码块以用作参考图片。在一些示例中，模式选择单元203可以选择组合帧内和帧间预测(CIIP)模式，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择运动矢量的分辨率(例如，子像素或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可基于来自缓冲器213的除了与当前视频块相关联的图片之外的图片的运动信息和解码样点来确定当前视频块的预测视频块。

运动估计单元204和运动补偿单元205可对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。

在一些示例中，运动估计单元204可对当前视频块执行单向预测，且运动估计单元204可在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204可接着生成指示列表0或列表1中的参考图片的参考索引，该参考图片包括参考视频块和指示当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。

在其它示例中，运动估计单元204可对当前视频块执行双向预测，运动估计单元204可在列表0中的参考图片中搜索当前视频块的参考视频块，且还可在列表1中的参考图片中搜索当前视频块的另一参考视频块。运动估计单元204可接着生成参考索引和运动矢量，该参考索引指示包括参考视频块的列表0和列表1中的参考图片，该运动矢量指示参考视频块与当前视频块之间的空域位移。运动估计单元204可输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可输出用于解码器的解码处理的完整运动信息集合。

在一些示例中，运动估计单元204可以不输出当前视频的完整运动信息集合。相反，运动估计单元204可参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可确定当前视频块的运动信息与相邻视频块的运动信息足够相似。

在一个示例中，运动估计单元204可在与当前视频块相关联的语法结构中指示值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。

在另一示例中，运动估计单元204可在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量和所指示的视频块的运动矢量之间的差。视频解码器300可使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。

如上所述，视频编码器200可以预测性地信令通知运动矢量。可由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令通知。

帧内预测单元206可对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可基于同一图片中的其它视频块的解码的样点来生成当前视频块的预测数据。当前视频块的预测数据可包括预测的视频块和各种语法元素。

残差生成单元207可通过从当前视频块减去(例如，由负号指示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可包括对应于当前视频块中样点的不同样点分量的残差视频块。

在其它示例中，针对当前视频块可能没有当前视频块的残差数据，例如在跳过模式中，并且残差生成单元207可以不执行减法操作。

变换处理单元208可通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可将重构的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样点，以产生与当前块相关联的重构视频块，用于存储在缓冲器213中。

在重构单元212重构视频块之后，可执行环路滤波操作以减少视频块中的视频块效应伪影。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以执行一个或多个熵编码操作以生成熵编码的数据并输出包括熵编码的数据的比特流。

图14是示出视频解码器300的示例的框图，视频解码器300可以是图12所示的系统100中的视频解码器114

视频解码器300可被配置成执行本发明的任何或所有技术。在图14的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置成执行本公开中描述的任何或所有技术。

在图14的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与针对视频编码器200(图13)描述的编码遍相反的解码遍。

熵解码单元301可检索编码的比特流。编码的比特流可以包括熵编解码的视频数据(例如，编码的视频数据块)。熵解码单元301可解码熵编解码的视频数据，并且根据熵解码的视频数据，运动补偿单元302可确定运动信息，其包括运动矢量、运动矢量精度、参考图片列表索引和其它运动信息。运动补偿单元302可例如通过执行AMVP和Merge模式来确定这样的信息。

运动补偿单元302可产生运动补偿块，可能基于插值滤波执行插值。语法元素中可包括要以子像素精度使用的插值滤波器的标识符。

运动补偿单元302可使用诸如视频编码器200在视频块的编码期间所使用的插值滤波器来计算参考块的子整数像素的内插值。运动补偿单元302可根据所接收的语法信息来确定视频编码器200所使用的插值滤波器，并使用插值滤波器来产生预测块。

运动补偿单元302可使用一些语法信息来确定用于对编码的视频序列的(多个)帧和/或(多个)条带编码的块的尺寸、描述编码的视频序列的图片的每个宏块如何被分割的分割信息、指示每个分割如何被编码的模式、每个帧间编码的块的一个或多个参考帧(和参考帧列表)以及用于解码编码的视频序列的其它信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域邻近的块形成预测块。逆量化单元303逆量化(即，去量化)比特流中提供的并且由熵解码单元301解码的量化的视频块系数。逆变换单元303应用逆变换。

重构单元306可将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加，以形成解码的块。如果需要，还可以应用去方块滤波器来对解码的块进行滤波，以便去除块效应伪影。然后，解码的视频块被存储在缓冲器307中，该缓冲器307为后续的运动补偿/帧内预测提供参考块，并且还产生解码的视频以在显示设备上呈现。

一些实施例可以使用以下基于条款的格式来描述。第一组条款描述了前面章节中公开的技术的某些特征和方面。

1.一种视频处理方法，包括：

使用调色板模式执行视频单元中的视频块与视频块的编解码表示之间的转换，其中，在转换期间，预测器调色板用于预测视频块的当前调色板信息，并且进一步，其中在视频块与视频块的比特流表示之间的转换之前，选择性地重置预测器调色板。

2.根据条款1所述的方法，其中视频单元包括以下之一：一个或多个编解码树单元、一个或多个编解码树块、编解码树单元或编解码树块的子区域、或编解码树单元的编解码树块行/片/砖块/子图片/视图。

3.根据条款1-2中任一项所述的方法，其中在转换期间禁用延迟波前并行处理。

4.根据条款3所述的方法，其中entropy_coding_sync_enabled_flag被设置为等于0。

5.根据条款1所述的方法，其中视频单元是色度编解码树单元的行。

6.根据条款5所述的方法，其中在解码新色度CTU行中的第一色度编解码树块(CTB)之前，重置预测器调色板。

7.根据条款5所述的方法，其中当应用双编解码树并且双编解码树的当前分割是色度编解码树单元时，重置预测器调色板。

8.根据条款1所述的方法，其中预测器调色板的尺寸被重置为零。

9.根据条款1所述的方法，其中预测器调色板的尺寸被重置为序列调色板预测器初始化器中的条目数量或可允许条目的最大数量。

10.根据条款9所述的方法，其中序列调色板预测器初始化器用于在应用于视频单元之前初始化调色板预测器。

11.根据条款1所述的方法，其中当entropy_coding_sync_enabled_flag被设置为等于1时，应用于先前视频块的调色板预测器在应用于视频单元之前被重新初始化。

12.根据条款1所述的方法，其中基于与视频单元相关联的编解码信息来禁用更新预测器调色板。

13.根据条款12所述的方法，其中编解码信息包括视频单元的维度。

14.根据条款13所述的方法，其中基于达到一个或多个阈值条件的视频单元的维度，禁用更新预测器调色板。

15.根据条款14所述的方法，其中一个或多个阈值条件是预定义的。

16.根据条款14所述的方法，其中一个或多个阈值条件在视频单元的编解码表示中被显式或隐式地信令通知。

17.一种视频处理方法，包括：

使用调色板模式执行视频单元中的视频块与视频块的编解码表示之间的转换，其中在转换期间，预测器调色板用于预测视频块的当前调色板信息，并且进一步，其中当视频单元的多个编解码单元具有公共共享区域时，预测器调色板是共享预测器调色板。

18.根据条款17所述的方法，其中共享区域与TT拆分、BT拆分、QT拆分中的任何一个相关联。

19.根据条款17所述的方法，其中共享预测器调色板是在应用于多个编解码单元之前构建的。

20.根据条款17所述的方法，其中在与共享区域的第一调色板编解码单元有关的编解码表示中显式或隐式地信令通知共享预测器调色板的使用的指示。

21.根据条款17所述的方法，还包括：在应用于多个编解码单元中的一个编解码单元之后，跳过共享预测器调色板的更新。

22.一种视频处理方法，包括：使用调色板模式执行视频单元中的视频块和视频块的编解码表示之间的转换，其中，在转换期间，预测器调色板用于预测视频块的当前调色板信息，并且进一步，其中预测器调色板的尺寸根据一个或多个条件自适应地改变。

23.根据条款22所述的方法，其中一个或多个条件至少与以下相关联：先前调色板信息的尺寸、视频单元的维度、视频单元的内容、视频单元的颜色格式、视频单元的颜色分量、视频块的编解码树结构、视频块在编码表示中的相对位置、视频块的时域层ID、视频块的条带/片组类型和/或图片类型、或者视频块的配置文件/级别/层次。

24.一种视频处理方法，包括：使用调色板模式执行视频单元中的视频块和视频块的编解码表示之间的转换，其中，在转换期间，预测器调色板用于预测视频块的当前调色板信息，并且进一步其中，预测器调色板基于预测器调色板中的条目的尺寸或数量来更新。

25.根据条款24所述的方法，其中预测器调色板的尺寸从先前视频块更新到当前视频块。

26.根据条款24所述的方法，其中预测器调色板的尺寸在编解码表示中被隐式或显式地信令通知。

27.根据条款24所述的方法，其中预测器调色板的尺寸取决于以下一个或多个：视频块的维度、视频块的量化参数或视频块的一个或多个颜色分量。

28.一种视频处理方法，包括：

使用调色板模式执行视频单元中的视频块和视频块的编解码表示之间的转换，其中，在转换期间，预测器调色板用于预测视频块的当前调色板信息，并且进一步其中，预测器调色板的条目被重新排序或修改。

29.根据条款28所述的方法，其中当entropy_coding_sync_enabled_flag等于1时，预测器调色板的条目被重新排序或修改。

30.根据条款28所述的方法，其中当遇到编解码树单元语法的结束时，预测器调色板的条目被重新排序或修改。

31.根据条款28所述的方法，其中当当前CTB是新CTU行中的第一个或者当前CTB与先前的CTB不在同一砖块中时，预测器调色板的条目被重新排序或修改。

32.一种视频处理方法，包括：使用调色板模式执行视频单元中的视频块和视频块的编解码表示之间的转换，其中，在转换期间，预测器调色板用于预测视频块的当前调色板信息，并且进一步其中，通过维护跟踪预测器调色板被使用的次数的计数器来指示预测器调色板的使用。

33.根据前述条款中任一项所述的方法，其中启用或禁用预测器调色板与以下至少一项相关联：先前调色板信息的尺寸、视频块的维度、视频块的内容、视频块的颜色格式、视频块的颜色分量、视频块的编解码树结构、视频块在编解码表示中的相对位置、视频块的时域层ID、视频块的条带/片组类型和/或图片类型、或者视频块的配置文件/级别/层次。

34.根据前述条款中任一项所述的方法，其中在转换期间使用多于一个的预测器调色板。

35.一种视频解码装置，包括被配置为实现条款1至34中的一项或多项所述的方法的处理器。

36.一种视频编码装置，包括被配置为实现条款1至34中的一项或多项所述的方法的处理器。

37.一种其上存储有计算机代码的计算机程序产品，该代码当由处理器执行时，使处理器实现条款1至34中任一项所述的方法。

38.本文件中描述的方法、装置或系统。

第二组条款描述了先前章节中公开的技术的某些特征和方面(例如，“示例技术和实施例”章节中的第16-21项)。

1.一种视频处理的方法(例如，如图15所示的方法1500)，包括：使用调色板模式执行1510视频的视频块和视频的比特流之间的转换，在调色板模式中，代表性样点值的调色板用于编解码该视频块，其中比特流符合格式规则，其中该格式规则指定比特流包括第一语法元素或第二语法元素，第一语法元素或第二语法元素指定预定义值(T0)和最大允许调色板尺寸之间的差。

2.根据条款1所述的方法，其中第一语法元素被包括在视频处理单元级别处，该视频处理单元级别是视频的序列、图片、条带、片、砖块或子图片。

3.根据条款2所述的方法，其中第一语法元素是delta_maximum_palette_size。

4.根据条款1-3中任一条款所述的方法，其中最大允许调色板尺寸被设置为通过从T0中减去第一语法元素而获得的值。

5.根据条款4所述的方法，其中T0是2^N形式的整数，其中N是整数。

6.根据条款4所述的方法，其中T0是2^N-K形式的整数，其中N和K是整数。

7.根据条款1所述的方法，其中第二语法元素是delta_maximum_palette_size。

8.根据条款7所述的方法，其中最大允许调色板尺寸被设置为通过将T0加到第二语法元素而获得的值。

9.条款8的方法，其中T0是2^N形式的整数，其中N是整数。

10.根据条款9所述的方法，其中预定义值等于零。

11.根据条款1所述的方法，其中预定义值不等于零。

12.根据条款1所述的方法，其中第一语法元素或第二语法元素中的至少一个是使用一元编解码、指数Golomb编解码、Rice编解码、固定长度编解码、截断二进制编解码或无符号整数0阶Exp-Golomb编解码将来二值化的。

13.根据条款1所述的方法，其中第一语法元素或第二语法元素中的至少一个对应于不小于零的无符号整数。

14.根据条款1所述的方法，其中第一语法元素或第二语法元素中的至少一个对应于不小于零或小于零的有符号整数。

15.根据条款1所述的方法，其中最大允许调色板尺寸小于或等于预定义值。

16.根据条款1所述的方法，其中预定义值等于1。

17.一种视频处理方法，包括：使用调色板模式执行视频的视频块和视频的比特流之间的转换，在调色板模式中，代表性样点值的调色板用于编解码该视频块，其中比特流符合格式规则，其中该格式规则指定比特流包括第一语法元素或第二语法元素，第一语法元素或第二语法元素指定预定义值(T0)和最大允许调色板预测器尺寸之间的差。

18.根据条款17所述的方法，其中第一语法元素是delta_maximum_palette_predictor_size。

19.根据条款17或18所述的方法，其中最大允许调色板预测器尺寸被设置为通过从T0减去第一语法元素而获得的值。

20.根据条款19所述的方法，其中T0是2^N形式的整数，其中N是整数。

21.根据条款19所述的方法，其中T0是2^N-K形式的整数，其中N和K是整数。

22.根据条款17所述的方法，其中第二语法元素是delta_maximum_palette_predictor_size。

23.根据条款22所述的方法，其中最大允许调色板预测器尺寸被设置为通过将T0加到第二语法元素而获得的值。

24.根据条款23所述的方法，其中T0是2^N形式的整数，其中N是整数。

25.根据条款24所述的方法，其中预定义值等于1。

26.根据条款17所述的方法，其中所述预定义值不等于最大允许调色板尺寸。

27.根据条款17所述的方法，其中第一语法元素或第二语法元素中的至少一个是使用一元编解码、指数Golomb编解码、Rice编解码、固定长度编解码、截断二进制编解码或无符号整数0阶Exp-Golomb编解码将来二值化的。

28.根据条款17所述的方法，其中第一语法元素或第二语法元素中的至少一个对应于不小于零的无符号整数。

29.根据条款17所述的方法，其中第一语法元素或第二语法元素中的至少一个对应于不小于零或小于零的有符号整数。

30.根据条款17所述的方法，其中最大允许调色板预测器尺寸小于或等于预定义值。

31.根据条款17所述的方法，其中预定义值等于1。

32.根据条款17所述的方法，其中最大允许调色板预测器尺寸大于或等于预定义值。

33.一种视频处理方法，包括：根据规则执行视频的视频块和视频的比特流之间的转换，其中使用调色板模式对视频块进行编解码，在调色板模式中，代表性样点值的调色板用于对视频块进行编解码，其中该规则指定最大允许调色板尺寸和/或最大允许调色板预测器尺寸大于非零整数K。

34.根据条款33所述的方法，其中K是0。

35.根据条款33所述的方法，其中最大允许调色板预测器尺寸小于最大允许调色板尺寸。

36.根据条款33所述的方法，其中比特流包括对应于最大允许调色板预测器尺寸和最大允许调色板尺寸之间的差的语法元素，并且该语法元素具有小于0的值。

37.根据条款36所述的方法，其中还执行使用经解码的语法元素的映射过程。

38.一种视频处理方法，包括：使用调色板模式执行视频的视频块和视频的比特流之间的转换，在调色板模式中，代表性样点值的调色板用于编解码该视频块，其中比特流符合格式规则，其中该格式规则指定在指示最大允许调色板预测器尺寸的第二语法元素之前信令通知指示最大允许调色板预测器尺寸的第一语法元素。

39.根据条款38所述的方法，其中是否信令通知第二语法元素取决于最大允许调色板预测器尺寸。

40.一种视频处理方法，包括：使用调色板模式执行视频的视频块和视频的比特流之间的转换，在调色板模式中，代表性样点值的调色板用于编解码该视频块，其中比特流符合格式规则，其中该格式规则指定与调色板模式相关的信息被包括在视频的视频处理单元级别处。

41.根据条款40所述的方法，其中该信息包括启用还是禁用调色板模式、最大允许调色板尺寸和/或最大允许调色板预测器尺寸。

42.根据条款40所述的方法，其中视频处理单元对应于视频的图片参数集(PPS)、图片标头、条带标头或子图片。

43.根据条款40至42中任一项所述的方法，其中该信息与视频的一个或多个子图片相关联。

44.根据条款40至42中任一项所述的方法，其中该信息对应于指示调色板是否被启用的标志。

45.根据条款40至42中任一项所述的方法，其中该信息包括与调色板相关并包括在较高级视频单元中的第一信息，以及与调色板相关并包括在较低级视频单元中的第二信息，并且其中第一信息被第二信息重写。

46.根据条款40至42中任一项所述的方法，其中，该信息包括与调色板相关并包括在较高级视频单元中的第一信息，以及与调色板相关并包括在较低级视频单元中的第二信息，并且其中，第二信息由第一信息预测。

47.根据条款46所述的方法，其中在较低级视频单元中信令通知与调色板相关的第一值和对应于第一信息的第二值之间的差。

48.根据条款47所述的方法，其中第一值是与较低级视频单元相关联的最大允许调色板尺寸，第二值是在较高级视频单元中信令通知的最大允许调色板尺寸。

49.根据条款47所述的方法，其中第一值是与较低级视频单元相关联的最大允许调色板预测器尺寸，并且第二值是在较高级视频单元中信令通知的最大允许调色板预测器尺寸。

50.一种视频处理方法，包括：执行视频的视频块和视频的比特流之间的转换，其中执行转换包括在滤波过程中应用非对称剪切操作；并且其中在非对称剪切操作中使用的上限和下限的绝对值是不同的。

51.根据条款50所述的方法，其中滤波过程包括非线性自适应环路滤波(ALF)过程或交叉分量ALF过程。

52.根据条款50所述的方法，其中非对称剪切包括使用Clip3(-a,b,x)，

其中

其中-a是下限，并且b是上限，并且a不等于b，并且x是一个数。

53.根据条款50所述的方法，其中非对称剪切包括使用Clip3(-y,y-1,x)或Clip3(-(y+1),y,x)，

其中

54.根据条款52所述的方法，其中使用查找表来定义上限。

55.根据条款54所述的方法，其中上限是2^N-1的形式，其中N是整数。

56.根据条款52所述的方法，其中使用查找表来定义下限的绝对值。

57.根据条款56所述的方法，其中下限是-2^N的形式，其中N是整数。

58.根据条款1至57中任一条款所述的方法，其中该转换包括将视频编码到比特流中。

59.根据条款1至57中任一条款所述的方法，其中该转换包括从比特流中解码视频。

60.一种视频处理装置，包括被配置为实现条款1至59中任一项或多项所述的方法的处理器。

61.一种存储视频比特流的方法，包括条款1至59中任一项所述的方法，并且还包括将比特流存储到非暂时性计算机可读记录介质。

62.一种存储程序代码的计算机可读介质，该代码在被执行时，使处理器实施条款1至59中的任一项或多项所述的方法。

63.一种存储根据任何上述方法生成的编解码表示或比特流表示的计算机可读介质。

64.一种用于存储比特流表示的视频处理装置，其中该视频处理装置被配置为实现条款1至59中的任何一项或多项所述的方法。

本文件中描述的所公开的和其他技术方案、示例、实施例、模块和功能操作可以在数字电子电路中，或者在计算机软件、固件或硬件中实现，其包括本文件中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实现。所公开的和其他实施例可以实现为一个或多个计算机程序产品，即编码在计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、影响机器可读传播信号的物质组合，或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，其被生成来编码用于传输到合适的接收器装置的信息。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适用于计算环境的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在包含其他程序或数据的文件的一部分中(例如，存储在标记语言文件中的一个或多个脚本)，在专用于所讨论的程序的单个文件中，或者在多个协作文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一台计算机上或在位于一个地点或分布在多个地点并通过通信网络互连的多台计算机上运行。

本文中描述的过程和逻辑流可以由运行一个或多个计算机程序的一个或多个可编程处理器来运行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流也可以由专用逻辑电路来执行，并且装置也可以被实现为专用逻辑电路，例如FPGA(现场可编程门数组)或ASIC(专用集成电路)。

适于执行计算机程序的处理器包括例如通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合到一个或多个用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘，以从该大容量存储设备接收数据或向其传送数据，或两者兼有。然而，计算机不必须有这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或并入其中。

虽然本专利文件包括许多细节，但这些细节不应被解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管特征可以在上面描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。

同样，尽管附图中以特定顺序描述了操作，但这不应理解为要求以所示特定顺序或按依次顺序执行此类操作，或者执行所有所示操作以实现期望的结果。。此外，本专利文件描述的实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims

1.一种视频处理方法，包括：

使用调色板模式执行视频的视频块和所述视频的比特流之间的转换，在所述调色板模式中，代表性样点值的调色板用于编解码所述视频块，

其中所述比特流符合格式规则，

其中所述格式规则指定所述比特流包括第一语法元素或第二语法元素，所述第一语法元素或所述第二语法元素指定预定义值(T0)与最大允许调色板尺寸之间的差。

2.根据权利要求1所述的方法，其中所述第一语法元素包括在视频处理单元级别处，所述视频处理单元级别是所述视频的序列、图片、条带、片、砖块或子图片。

3.根据权利要求2所述的方法，其中所述第一语法元素是delta_maximum_palette_size。

4.根据权利要求1-3中任一项所述的方法，其中所述最大允许调色板尺寸被设置为通过从T0中减去所述第一语法元素而获得的值。

5.根据权利要求4所述的方法，其中所述T0是2^N形式的整数，其中N是整数。

6.根据权利要求4所述的方法，其中所述T0是2^N-K形式的整数，其中N和K是整数。

7.根据权利要求1所述的方法，其中所述第二语法元素是delta_maximum_palette_size。

8.根据权利要求7所述的方法，其中所述最大允许调色板尺寸被设置为通过将T0加到所述第二语法元素而获得的值。

9.根据权利要求8所述的方法，其中所述T0是2^N形式的整数，其中N是整数。

10.根据权利要求9所述的方法，其中所述预定义值等于零。

11.根据权利要求1所述的方法，其中所述预定义值不等于零。

12.根据权利要求1所述的方法，其中所述第一语法元素或所述第二语法元素中的至少一个是使用一元编解码、指数Golomb编解码、Rice编解码、固定长度编解码、截断二进制编解码或无符号整数0阶Exp-Golomb编解码来二值化的。

13.根据权利要求1所述的方法，其中所述第一语法元素或所述第二语法元素中的至少一个对应于不小于零的无符号整数。

14.根据权利要求1所述的方法，其中所述第一语法元素或所述第二语法元素中的至少一个对应于不小于零或小于零的有符号整数。

15.根据权利要求1所述的方法，其中所述最大允许调色板尺寸小于或等于所述预定义值。

16.根据权利要求1所述的方法，其中所述预定义值等于1。

17.一种视频处理方法，包括：

其中所述比特流符合格式规则，

其中所述格式规则指定所述比特流包括第一语法元素或第二语法元素，所述第一语法元素或所述第二语法元素指定预定义值(T0)与最大允许调色板预测器尺寸之间的差。

18.根据权利要求17所述的方法，其中，所述第一语法元素是delta_maximum_palette_predictor_size。

19.根据权利要求17或18所述的方法，其中所述最大允许调色板预测器尺寸被设置为通过从T0减去第一语法元素而获得的值。

20.根据权利要求19所述的方法，其中所述T0是2^N形式的整数，其中N是整数。

21.根据权利要求19所述的方法，其中所述T0是2^N-K形式的整数，其中N和K是整数。

22.根据权利要求17所述的方法，其中所述第二语法元素是delta_maximum_palette_predictor_size。

23.根据权利要求22所述的方法，其中所述最大允许调色板预测器尺寸被设置为通过将T0加到所述第二语法元素而获得的值。

24.根据权利要求23所述的方法，其中所述T0是2^N形式的整数，其中N是整数。

25.根据权利要求24所述的方法，其中所述预定义值等于1。

26.根据权利要求17所述的方法，其中所述预定义值不等于最大允许调色板尺寸。

27.根据权利要求17所述的方法，其中所述第一语法元素或所述第二语法元素中的至少一个是使用一元编解码、指数Golomb编解码、Rice编解码、固定长度编解码、截断二进制编解码或无符号整数0阶Exp-Golomb编解码来二值化的。

28.根据权利要求17所述的方法，其中所述第一语法元素或所述第二语法元素中的至少一个对应于不小于零的无符号整数。

29.根据权利要求17所述的方法，其中所述第一语法元素或所述第二语法元素中的至少一个对应于不小于零或小于零的有符号整数。

30.根据权利要求17所述的方法，其中所述最大允许调色板预测器尺寸小于或等于所述预定义值。

31.根据权利要求17所述的方法，其中所述预定义值等于1。

32.根据权利要求17所述的方法，其中所述最大允许调色板预测器尺寸大于或等于所述预定义值。

33.一种视频处理方法，包括：

根据规则执行视频的视频块和所述视频的比特流之间的转换，

其中使用调色板模式来编解码所述视频块，在所述调色板模式中，代表性样点值的调色板用于编解码所述视频块，

其中所述规则指定最大允许调色板尺寸和/或最大允许调色板预测器尺寸大于非零整数K。

34.根据权利要求33所述的方法，其中K是0。

35.根据权利要求33所述的方法，其中所述最大允许调色板预测器尺寸小于最大允许调色板尺寸。

36.根据权利要求33所述的方法，其中所述比特流包括对应于最大允许调色板预测器尺寸和最大允许调色板尺寸之间的差的语法元素，并且所述语法元素具有小于0的值。

37.根据权利要求36所述的方法，其中还执行使用经解码的语法元素的映射过程。

38.一种视频处理方法，包括：

其中所述比特流符合格式规则，

其中所述格式规则指定在指示最大允许调色板预测器尺寸的第二语法元素之前信令通知指示最大允许调色板预测器尺寸的第一语法元素。

39.根据权利要求38所述的方法，其中是否信令通知通知所述第二语法元素取决于所述最大允许调色板预测器尺寸。

40.一种视频处理方法，包括：

其中所述比特流符合格式规则，

其中所述格式规则指定与所述调色板模式相关的信息被包括在所述视频的视频处理单元级别处。

41.根据权利要求40所述的方法，其中所述信息包括启用还是禁用所述调色板模式、最大允许调色板尺寸和/或最大允许调色板预测器尺寸。

42.根据权利要求40所述的方法，其中所述视频处理单元对应于所述视频的图片参数集(PPS)、图片标头、条带标头或子图片。

43.根据权利要求40至42中任一项所述的方法，其中所述信息与所述视频的一个或多个子图片相关联。

44.根据权利要求40至42中任一项所述的方法，其中所述信息对应于指示所述调色板是否被启用的标志。

45.根据权利要求40至42中任一项所述的方法，其中所述信息包括与所述调色板相关并包括在较高级视频单元中的第一信息，以及与所述调色板相关并包括在较低级视频单元中的第二信息，并且其中所述第一信息被所述第二信息重写。

46.根据权利要求40至42中任一项所述的方法，其中所述信息包括与所述调色板相关并包括在较高级视频单元中的第一信息，以及与所述调色板相关并包括在较低级视频单元中的第二信息，并且其中所述第二信息由所述第一信息预测。

47.如权利要求46所述的方法，其中，与所述调色板相关的第一值和对应于所述第一信息的第二值之间的差在所述较低级视频单元中被信令通知。

48.根据权利要求47所述的方法，其中，所述第一值是与所述较低级视频单元相关联的最大允许调色板尺寸，并且所述第二值是在所述较高级视频单元中信令通知的最大允许调色板尺寸。

49.根据权利要求47所述的方法，其中，所述第一值是与所述较低级视频单元相关联的最大允许调色板预测器尺寸，并且所述第二值是在所述较高级视频单元中信令通知的最大允许调色板预测器尺寸。

50.一种视频处理方法，包括：

执行视频的视频块和所述视频的比特流之间的转换，

其中，所述执行转换包括在滤波过程中应用非对称剪切操作；以及

其中在非对称剪切操作中使用的上限和下限的绝对值是不同的。

51.根据权利要求50所述的方法，其中所述滤波过程包括非线性自适应环路滤波(ALF)过程或交叉分量ALF过程。

52.根据权利要求50所述的方法，其中所述非对称剪切包括使用Clip3(-a,b,x)，

其中

以及

其中-a是所述下限，并且b是所述上限，并且a不等于b，并且x是一个数。

53.根据权利要求50所述的方法，其中所述非对称剪切包括使用Clip3(-y,y-1,x)或Clip3(-(y+1),y,x)，

其中

54.根据权利要求52所述的方法，其中使用查找表来定义所述上限。

55.根据权利要求54所述的方法，其中所述上限是2^N-1的形式，其中N是整数。

56.根据权利要求52所述的方法，其中使用查找表来定义所述下限的绝对值。

57.根据权利要求56所述的方法，其中所述下限是-2^N的形式，其中N是整数。

58.根据权利要求1至57中任一项所述的方法，其中所述转换包括将所述视频编码到所述比特流中。

59.根据权利要求1至57中任一项所述的方法，其中所述转换包括从所述比特流中解码所述视频。

60.一种视频处理装置，包括被配置为实现权利要求1至59中任一项或多项所述的方法的处理器。

61.一种存储视频比特流的方法，包括权利要求1至59中任一项所述的方法，并且还包括将所述比特流存储到非暂时性计算机可读记录介质。

62.一种存储程序代码的计算机可读介质，所述程序代码在被执行时使处理器实现权利要求1至59中任一项或多项所述的方法。

64.一种用于存储比特流表示的视频处理装置，其中，所述视频处理装置被配置为实现权利要求1至59中任一项或多项所述的方法。