CN117426096A

CN117426096A - 用于视频处理的方法、设备和介质

Info

Publication number: CN117426096A
Application number: CN202280033710.7A
Authority: CN
Inventors: 张凯; 张莉; 邓智玭; 张娜; 王洋
Original assignee: Douyin Vision Co Ltd; ByteDance Inc
Current assignee: Douyin Vision Co Ltd; ByteDance Inc
Priority date: 2021-05-13
Filing date: 2022-05-12
Publication date: 2024-01-19
Also published as: WO2022237870A1

Abstract

本公开的实施例提供了用于视频处理的解决方案。提出了一种用于视频处理的方法。该方法包括：在视频的当前视频块和视频的比特流之间的转换期间，基于应用于参考视频块的编解码模式，确定参考视频块的编解码信息是否被使用以对当前视频块的运动信息的第一条编解码；以及基于该确定来执行转换。根据本公开第一方面的方法改进了当前视频块的编解码处理。与常规的解决方案相比，所提出的方法可以有利地提高编解码效率并避免不期望的延时。

Description

用于视频处理的方法、设备和介质

技术领域

本公开的实施例总体上涉及视频编解码技术，并且更具体地，涉及图像或视频编解码中的细化。

背景技术

当今，数字视频能力正应用于人们生活的各个方面。已提出了用于视频编码/解码的多种视频压缩技术，诸如MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频编解码(AVC)、ITU-TH.265高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准等。然而，常规视频编解码技术的编解码效率普遍很低，这是不期望的。

发明内容

本公开的实施例提供用于视频处理的解决方案。

在第一方面，提出了一种用于视频处理的方法。该方法包括：在视频的当前视频块和视频的比特流之间的转换期间，基于应用于参考视频块的编解码模式，确定参考视频块的编解码信息是否被使用以对当前视频块的运动信息的第一条编解码；以及基于该确定来执行转换。根据本公开的第一方面的方法改进了当前视频块的编解码过程。与常规的解决方案相比，所提出的方法可以有利地提高编解码效率并且避免不期望的延时。

在第二方面，提出了一种用于视频处理的方法。该方法包括：在视频的当前视频块和视频的比特流之间的转换期间，基于当前视频块的编解码信息或当前视频块的至少一个邻近视频块的编解码信息，确定基于模板的过程是否被应用于当前视频块；以及基于该确定来执行转换。根据本公开的第二方面的方法改进了基于模板的处理。与常规的解决方案相比，所提出的方法可以有利地提高编解码效率并避免不期望的延时。

在第三方面中，提出了一种用于视频处理的装置，该装置包括处理器和耦合到处理器且其上存储有指令的非暂时性存储器，其中指令在由处理器执行时，使处理器：在视频的当前视频块和视频的比特流之间的转换期间，基于应用于参考视频块的编解码模式，确定参考视频块的编解码信息是否被使用以对当前视频块的运动信息的第一条编解码；以及基于该确定来执行转换。

在第四方面中，提出了一种用于视频处理的装置，该装置包括处理器和耦合到处理器且其上存储有指令的非暂时性存储器，其中指令在由处理器执行时，使处理器：在视频的当前视频块和视频的比特流之间的转换期间，基于当前视频块的编解码信息或当前视频块的至少一个邻近视频块的编解码信息，确定基于模板的过程是否被应用于当前视频块；以及基于细化过程来执行转换。

在第五方面，提出了一种非暂时性计算机可读存储介质。该非暂时性计算机可读存储介质存储指令，该指令使处理器执行根据本公开的第一方面的方法。

在第六方面，提出了一种非暂时性计算机可读存储介质。该非暂时性计算机可读存储介质存储指令，该指令使处理器执行根据本公开的第二方面的方法。

在第七方面中，提出了一种非暂时性计算机可读记录介质。所述非暂时性计算机可读记录介质存储视频的由视频处理装置执行的方法生成的比特流，其中该方法包括：基于应用于参考视频块的编解码模式，确定参考视频块的编解码信息是否被使用以对当前视频块的运动信息的第一条编解码；以及基于该确定来生成比特流。

在第八方面中，提出了一种非暂时性计算机可读记录介质。该非暂时性计算机可读记录介质存储视频的由视频处理装置执行的方法生成的比特流，其中该方法包括：基于当前视频块的编解码信息或当前视频块的至少一个邻近视频块的编解码信息，确定基于模板的过程是否被应用于当前视频块；以及基于该确定来生成比特流。

在第九方面，提出了一种用于存储视频的比特流的方法。该方法包括：基于应用于参考视频块的编解码模式，确定参考视频块的编解码信息是否被使用以对当前视频块的运动信息的第一条编解码；基于该确定来生成比特流；以及将比特流存储在非暂时性计算机可读记录介质中。

在第十方面，提出了一种用于存储视频的比特流的方法。该方法包括：基于当前视频块的编解码信息或当前视频块的至少一个邻近视频块的编解码信息，确定基于模板的过程是否被应用于当前视频块；基于该确定来生成比特流；以及将比特流存储在非暂时性计算机可读记录介质中。

提供本方面内容来以简化的形式介绍下面在具体实施方式中进一步描述的一些概念的选择。本方面内容不旨在识别所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。

附图说明

通过参考附图的以下详细描述，本公开的示例实施例的上述和其它目标、特征和优点将变得更加清楚。在本公开的示例实施例中，相同的附图标记通常指代相同的部件。

图1示出了根据本公开的一些实施例的示例视频编解码系统的框图；

图2示出了根据本公开的一些实施例的示例视频编码器的框图；

图3示出了根据本公开的一些实施例的示例视频解码器的框图；

图4是示出空间合并(merge)候选的位置的示意图；

图5是示出针对空间合并候选的冗余校验考虑的候选对的示意图；

图6示出了时间合并候选的运动矢量缩放；

图7是示出时间合并候选C0和C1的候选位置的示意图；

图8是示出具有运动矢量差(MMVD)搜索点的合并模式的示意图；

图9是示出解码侧运动矢量细化的示意图；

图10示出了由相同角度分组的几何划分模式(GPM)分割的示例；

图11是示出用于几何划分模式的单向预测运动矢量(MV)选择的示意图；

图12是示出使用GPM的弯曲权重w₀的示例生成的示意图；

图13是示出双边匹配的示意图；

图14是示出模板匹配的示意图；

图15是示出帧速率上转换(FRUC)中的单边运动估计(ME)的示意图；

图16是示出用于计算SA的邻近样本的示意图；

图17是示出用于计算子CU级别运动信息的SAD的邻近样本的示意图；

图18是示出排序过程的示意图；

图19是示出局部照明补偿的示意图；

图20是示出对于短侧没有子采样的示意图；

图21是示出假设重建边界的成本的示意图；

图22是示出所提出的帧内块解码处理的示意图；

图23是示出从宽度为3像素的模板的计算梯度直方图(HoG)的示意图；

图24是示出通过两个HoG模式和平面的加权平均进行预测融合的示意图；

图25示出了根据本公开的一些实施例的用于视频处理的方法的流程图；

图26示出了根据本公开的一些实施例的用于视频处理的方法的流程图；以及

图27示出了其中可以实现本公开的各种实施例的计算设备的框图。

在整个附图中，相同或相似的附图标记通常指相同或相似的元素。

具体实施方式

现在将参考一些实施例来描述本公开的原理。应当理解的是，描述这些实施例仅出于说明并且帮助本领域技术人员理解和实施本公开的目的，而不暗示对本公开的范围的任何限制。除了下文所述的方式之外，本文所描述的公开内容还可以以各种方式实施。

在以下描述和权利要求中，除非另有定义，否则在本文中使用的所有科学术语和技术术语具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。

本公开中提及的“一个实施例”、“实施例”、“示例实施例”等指示所描述的实施例可以包括特定的特征、结构或特性，但是并非每个实施例都必须包括该特定的特征、结构或特性。此外，这些短语不一定指同一实施例。此外，当结合示例实施例描述特定的特征、结构或特性时，无论是否明确描述，认为影响与其他实施例相关的这种特征、结构或特性在本领域技术人员的知识范围内。

应当理解的是，尽管术语“第一”和“第二”等可以用于描述各种元素，但这些元素不应受限于这些术语。这些术语仅用于区分一个元素与另一个元素。例如，第一元素可以被称为第二元素，类似地，第二元素可以被称为第一元素，而不脱离示例实施例的范围。如本文中所使用的，术语“和/或”包括一个或多个所列术语的任何和所有组合。

本文中所使用的术语仅用于描述特定实施例的目的，并不旨在限制示例实施例。如本文中所用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指示。还应理解，术语“包括”、“包含”和/或“具有”在本文中使用时表示存在所述特征、元素和/或组件等，但不排除一个或多个其他特征、元素、组件和/或其组合的存在或添加。

示例环境

图1是图示可以利用本公开的技术的示例视频编解码系统100的框图。如所示出的，视频编解码系统100可以包括源设备110和目的设备120。源设备110也可以称为视频编码设备，并且目的设备120也可以称为视频解码设备。在操作中，源设备110可以被配置为生成经编码的视频数据，并且目的设备120可以被配置为对由源设备110生成的经编码的视频数据进行解码。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备之类的源。视频捕获设备的示例包括但不限于从视频内容提供商接收视频数据的接口、用于生成视频数据的计算机图形系统和/或其组合。

视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成码流。码流可以包括形成视频数据的编码表示的位序列。码流可以包括编码图片和相关联的数据。编码图片是图片的编码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器和/或发送器。经编码的视频数据可以通过网络130A经由I/O接口116直接传输至目的设备120。经编码的视频数据也可以存储在存储介质/服务器130B上，以供目的设备120访问。

目的设备120可以包括I/O接口126、视频解码器124和显示设备122。I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130B获取经编码的视频数据。视频解码器124可以对经编码的视频数据进行解码。显示设备122可以向用户显示经解码的视频数据。显示设备122可以与目的设备120集成，或者可以在目的设备120的外部，该目的设备120被配置为与外部显示设备接口连接。

视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他现有和/或将来的标准。

图2是示出根据本公开的一些实施例的视频编码器200的示例的方框图，视频编码器200可以是图1所示的系统100中的视频编码器114的示例。

视频编码器200可以被配置为实现本公开的任何或所有技术。在图2的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在一些实施例中，视频编码器200可以包括划分单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、反量化单元210、反变换单元211、重建单元212、缓冲213和熵编码单元214，该预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括块内复制(IBC)单元。IBC单元可以在IBC模式中执行预测，其中至少一个参考图片是当前视频块所位于的图片。

此外，尽管一些组件(诸如运动估计单元204和运动补偿单元205)可以被集成，但是为了解释的目的，这些组件在图2的示例中被分离地示出。

划分单元201可以将图片划分成一个或多个视频块。视频编码器200和视频解码器300(其将在以下详细讨论)可以支持各种视频块尺寸。

模式选择单元203可以例如基于误差结果来选择多种编码模式(帧内编码或帧间编码)中的一种编码模式，并且将所产生的帧内编码块或帧间编码块提供给残差生成单元207以生成残差块数据，并且提供给重建单元212以重建编码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择针对运动矢量的分辨率(例如，亚像素精度或整数像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲213的一个或多个参考帧与当前视频块进行比较来生成针对当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲213的除了与当前视频块相关联的图片之外的图片的经解码样本，来确定针对当前视频块的预测视频块。

运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。如本文中使用的，“I条带”可以是指由宏块构成的图片的一部分，所有宏块均基于同一图片内的宏块。此外，如本文中使用的，在一些方面中，“P条带”和“B条带”可以是指由独立于同一图片中的宏块的宏块构成的图片的部分。

在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以搜索列表0或列表1的参考图片，以寻找针对当前视频块的参考视频块。运动估计单元204然后可以生成参考索引和运动矢量，该参考索引指示列表0或列表1中的包含参考视频块的参考图片，并且该运动矢量指示当前视频块与参考视频块之间的空间位移。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

备选地，在其他示例中，运动估计单元204可以对当前视频块执行双向预测。运动估计单元204可以搜索列表0中的参考图片以寻找针对当前视频块的参考视频块，并且还可以搜索列表1中的参考图片以寻找针对当前视频块的另一参考视频块。运动估计单元204然后可以生成多个参考索引和多个运动矢量，该多个参考索引指示列表0和列表1中的包含多个参考视频块的多个参考图片，并且该多个运动矢量指示在多个参考视频块与当前视频块之间的多个空间位移。运动估计单元204可以输出当前视频块的多个参考索引和多个运动矢量以作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的多个参考视频块来生成针对当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出完整的运动信息集，以用于解码器的解码处理。备选地，在一些实施例中，运动估计单元204可以参考另一视频块的运动信息来通过信号传输当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中向视频解码器300指示一值，该值指示当前视频块具有与另一视频块相同的运动信息。

在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示在当前视频块的运动矢量与所指示的视频块的运动矢量之间的差异。视频解码器300可以使用所指示的视频块的运动矢量以及运动矢量差来确定当前视频块的运动矢量。

如上所讨论的，视频编码器200可以以预测性的方式通过信号传输运动矢量。可以由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。

帧内预测单元206可以对当前视频块执行帧内预测。当对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中其他视频块的经解码样本来生成针对当前视频块的预测数据。针对当前视频块的预测数据可以包括预测视频块和各个语法元素。

残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成针对当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样本的不同样本部分的残差视频块。

在其他示例中，例如在跳过模式中，针对当前视频块可以不存在针对当前视频块的残差数据，并且残差生成单元207可以不执行减去操作。

变换单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块，来生成针对当前视频块的一个或多个变换系数视频块。

在变换单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

反量化单元210和反变换单元211可以分别对变换系数视频块应用反量化和反变换，以从变换系数视频块重建残差视频块。重建单元212可以将经重建的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样本，以产生与当前视频块相关联的重建视频块，以供存储在缓冲213中。

在重建单元212重建视频块之后，可以执行环路滤波操作以减少视频块中的视频块效应伪像。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当数据被接收时，熵编码单元214可以执行一个或多个熵编码操作，以生成熵编码数据并且输出包括该熵编码数据的码流。

图3是示出根据本公开的一些实施例的视频解码器300的示例的方框图，视频解码器300可以是图1所示的系统100中的视频解码器124的示例。

视频解码器300可以被配置为执行本公开的任何或所有技术。在图3的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图3的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、反量化单元304、反变换单元305、以及重建单元306和缓冲307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200所描述的编码过程相对的解码过程。

熵解码单元301可以取回经编码的码流。经编码的码流可以包括经熵编码的视频数据(例如，经编码的视频数据块)。熵解码单元301可以对经熵编码的视频数据进行解码，并且运动补偿单元302可以从经熵解码的视频数据中确定运动信息，该运动信息包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。运动补偿单元302可以例如通过执行AMVP和合并模式来确定该信息。AMVP被使用，包括基于邻近PB的数据和参考图片导出数个最可能的候选项。运动信息通常包括水平和竖直运动矢量位移值、一个或两个参考图片索引，并且在B条带中的预测区域的情况下，还包括哪个参考图片列表与每个索引相关联的标识。如本文所使用的，在一些方面中，“合并模式”可以是指从空间或时间上邻近的块中导出运动信息。

运动补偿单元302可以产生运动补偿块，可能地基于插值滤波器来执行内插。针对以亚像素精度被使用的插值滤波器的标识符可以被包括在语法元素中。

运动补偿单元302可以使用由视频编码器200在视频块的编码期间使用的插值滤波器来计算用于参考块的亚整数像素的内插值。运动补偿单元302可以根据接收到的语法信息来确定由视频编码器200使用的插值滤波器，并且运动补偿单元302可以使用插值滤波器来产生预测块。

运动补偿单元302可以使用至少部分语法信息来确定用于编码经编码视频序列的(多个)帧和/或(多个)条带的块的尺寸、描述经编码视频序列的图片的每个宏块如何被划分的划分信息、指示每个划分如何被编码的模式、针对每个帧间编码块的一个或多个参考帧(和参考帧列表)、以及对经编码视频序列进行解码的其他信息。如本文中所使用的，在一些方面，“条带”可以是指在熵编码、信号预测和残差信号重建方面可以独立于同一图片的其他条带而被解码的数据结构。条带可以是整个图片，或者也可以是图片的区域。

帧内预测单元303可以使用例如在码流中接收的帧内预测模式，以从空间邻近块形成预测块。反量化单元304反量化(即，去量化)在码流中提供的、并且由熵解码单元301解码的量化视频块系数。反变换单元305应用反变换。

重建单元306可以例如通过将残差块与由运动补偿单元302或帧内预测单元303生成的相应预测块相加来获得经解码的块。如果需要的话，还可以应用去块效应滤波器以对经解码的块进行滤波，以便去除块效应伪像。经解码的视频块随后被存储在缓冲307中，缓冲307为后续运动补偿/帧内预测提供参考块，并且缓冲307还产生经解码的视频以供在显示设备上呈现。

下文将详细描述本公开的一些示例性实施例。应当注意，在本文件中使用章节标题是为了便于理解，而不是将章节中公开的实施例仅限于该章节。此外，尽管参考通用视频编解码或其他特定视频编解码器描述了一些实施例，但是所公开的技术也适用于其他视频编解码技术。此外，尽管一些实施例详细描述了视频编码步骤，但是应当理解的是取消编码的相应解码步骤将由解码器实现。此外，术语视频处理包括视频编码或压缩、视频解码或解压缩以及视频转码，在该视频转码中视频像素被从一种压缩格式表示为另一种压缩格式或以不同的压缩码率表示。

1.概述

本公开涉及视频编解码技术。具体来说，本公开是关于视频编解码中的帧间预测及相关技术。本公开可以适用于现有的视频编解码标准，如HEVC、VVC等，也可以适用于未来的视频编解码标准或视频编解码器。

2.背景

视频编解码标准主要是通过开发著名的ITU-T和ISO/IEC标准而演进的。ITU-T产生H.261和H.263，ISO/IEC产生MPEG-1和MPEG-4视觉，并且两个组织联合产生H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准(ITU-T和ISO/IEC，“高效视频编解码”，Rec.ITU-TH.265|ISO/IEC 23008-2(生效版))。自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时间预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。JVET会议目前每季度同期举行一次，新的视频编解码标准在2018年4月的JVET会议上正式命名为通用视频编解码(VVC)，当时发布了VVC测试模型(VTM)的第一版本。VVC工作草案和测试模型VTM在每次会议后都被更新。VVC项目在2020年7月的会议上实现了技术完成(FDIS)。

2.1.编解码工具的实施例

2.1.1.扩展的合并预测

在VVC中，合并候选列表通过按顺序包括以下五类候选来构建：

1)来自空间邻近CU的空间MVP

2)来自同位CU的时间MVP

3)来自FIFO表的基于历史的MVP

4)逐对平均MVP

5)零MV。

合并列表的大小在序列参数集头中被通过信号传输，并且合并列表的最大允许大小为6。对于合并模式下的每个CU编解码，使用截断一元二值化(TU)编码最佳合并候选索引。合并索引的第一个二进制值(bin)是利用上下文编解码的，其他二进制值使用旁路编解码。

本次会议提供了每个合并候选类别的导出过程。如HEVC所做的，VVC还支持并行导出在一定尺寸的区域内的所有CU的合并候选列表。

2.1.1.1.空间候选导出

VVC中空间合并候选的导出与HEVC相同，除了交换了前两个合并候选的位置。在位于图4所示位置的候选中，最多选择四个合并候选。导出的顺序是B0、A0、B1、A1和B2。只有当位置B0、A0、B1、A1的一个或多于一个CU不可用(例如，因为它属于另一个条带或图块)或被帧内编解码的时候，才考虑位置B2。在添加位置A1处的候选后，剩余候选的添加受到冗余校验，冗余校验确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。为了降低计算复杂度，在提到的冗余校验中并没有考虑所有可能的候选对。替代地，只有在图中用箭头链接的对被考虑，并且如果用于冗余校验的一个候选没有相同的运动信息，则仅对应的候选被添加到列表中。

2.1.1.2.时间候选导出

在该步骤中，只一个候选被添加到列表中。特别地，在这个时间合并候选的导出中，基于属于同位参考图片的同位CU导出缩放的运动矢量。在条带头中显式地通过信号传输用于导出同位CU的参考图片列表。时间合并候选的缩放运动矢量如图6中虚线所示得到，该缩放运动矢量使用POC距离tb和td从同位CU的运动矢量缩放，其中tb定义为当前图片的参考图片与当前图片之间的POC差，并且td定义为同位图片的参考图片与同位图片之间的POC差。时间合并候选的参考图片索引被设置为零。

时间候选的位置在候选C0和C1之间选择，如图7所示。如果位置C0处的CU不可用、是帧内编解码的、或者在当前CTU行之外，则使用位置C1。否则，位置C0用于时间合并候选的导出。

2.1.1.3.基于历史的合并候选导出

基于历史的MVP(HMVP)合并候选被添加到空间MVP和TMVP之后的合并列表中。在这种方法中，先前编解码的块的运动信息被存储在表中，并用作当前CU的MVP。在编码/解码过程中维护具有多个HMVP候选的表。当遇到新的CTU行时，该表被重置(清空)。每当存在非子块帧间编解码的CU时，相关联的运动信息被添加到表的最后一个条目中，作为新的HMVP候选。

HMVP表大小S被设置为6，这指示最多可以将6个基于历史的MVP(HMVP)候选添加到表中。当向表中插入新的运动候选时，使用约束的先进先出(FIFO)规则，其中首先应用冗余校验来查找表中是否存在相同的HMVP。如果找到，则从表中移除相同的HMVP，然后向前移动所有HMVP候选，

HMVP候选可以用于合并候选列表的构建过程。表格中最新的几个HMVP候选将按顺序进行校验，并插入到TMVP候选之后的候选列表中。冗余校验将应用于对于空间或时间合并候选的HMVP候选。为了减少冗余校验操作的数目，引入了以下简化：

用于合并列表生成的HMPV候选的数目被设置为(N<＝4)？M:(8-N)，其中N指示合并列表中现有候选的数目，并且M指示表中可用的HMVP候选的数目。

一旦可用合并候选的总数达到最大允许合并候选减1，则终止从HMVP的合并候选列表构建过程。

2.1.1.4.逐对平均合并候选导出

通过对现有合并候选列表中预定义的候选对进行平均来生成逐对平均候选，并且预定义的候选对被定义为{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}，其中数字表示合并候选列表的合并索引。对于每个参考列表分离地计算平均的运动矢量。如果两个运动矢量都在一个列表中可用，则即使它们指向不同的参考图片，这两个运动矢量也会被平均；如果只有一个运动矢量可用，则直接使用该运动矢量；如果没有运动矢量可用，则保持该列表无效。

当添加逐对平均合并候选后合并列表不完整时，将零MVP插入到最后，直到达到最大合并候选数目。

2.1.1.5.合并估计区域

合并估计区域(MER)允许相同合并估计区域(MER)中CU的合并候选列表的独立导出。在与当前CU相同的MER内的候选块不被包括以用于当前CU的合并候选列表的生成。此外，仅当(xCb+cbWidth)>>Log2ParMrgLevel大于xCb>>Log2ParMrgLevel，并且(yCb+cbHeight)>>Log2ParMrgLevel大于(yCb>>Log2ParMrgLevel)，并且其中(xCb,yCb)是当前CU在图片中的左上角亮度样本位置并且(cbWidth,cbHeight)是CU尺寸时，基于历史的运动矢量预测器候选列表的更新过程被更新。MER尺寸在编码器端被选择，并通过信号传输为序列参数集中的log2_parallel_merge_level_minus2。

2.1.2.利用MVD的合并模式(MMVD)

除了合并模式，其中隐式导出的运动信息直接用于当前CU的预测样本生成，在VVC中引入利用运动矢量差异的合并模式(MMVD)。在发送跳过标志和合并标志后立即通过信号传输MMVD标志，以指定MMVD模式是否用于CU。

在MMVD中，在选择了合并候选之后，通过经由信号传输的MVD信息对其进行进一步细化。进一步的信息包括合并候选标志、指定运动幅度的索引和用于运动方向的指示的索引。在MMVD模式中，选择合并列表中前两个候选中的一个作为MV基础。合并候选标志被通过信号传输以指定使用哪一个。

距离索引指定运动幅度信息，并指示从起始点的预定义偏移。如图8所示，偏移被添加到起始MV的水平分量或垂直分量。距离索引和预定义偏移的关系在表1中指定

表1-距离索引和预定义偏移的关系

方向索引表示MVD相对于起始点的方向。方向索引可以表示表2中所示的四个方向。需要注意的是，MVD符号的含义可以根据起始MV的信息而变化。当起始MV是未预测MV或双向预测MV时，其中两个列表指向当前图片的同一侧(即，两个参考的POC都大于当前图片的POC，或者都小于当前图片的POC)，表2中的符号指定了添加到起始MV的MV偏移的符号。当起始MV是双向预测MV时，其中两个MV指向当前图片的不同侧(即一个参考的POC大于当前图片的POC，另一个参考的POC小于当前图片的POC)，表2中的符号指定了添加到起始MV的list0 MV分量的MV偏移的符号，并且list1 MV的符号具有相反的值。

表2-由方向索引指定的MV偏移的符号

方向索引	00	01	10	11
					x轴	+	-	N/A	N/A
Y轴	N/A	N/A	+	-

2.1.3.解码器侧运动矢量细化(DMVR)

为了增加合并模式的MV的精度，在VVC中应用了基于双边匹配的解码器侧运动矢量细化。在双向预测操作中，在参考图片列表L0和参考图片列表L1中的初始MV周围搜索细化MV。BM方法计算参考图片列表L0和列表L1中两个候选块之间的失真。如图9所示，计算基于初始MV周围的每个MV候选的块901和902之间的SAD。SAD最低的MV候选成为细化MV，用于生成双向预测信号。

在VVC中，DMVR可以应用于利用以下模式和特征编解码的CU：

—利用双向预测MV的CU级别合并模式

—一个参考图片是过去的，并且另一个参考图片相对应当前图片是未来的

—两个参考图片到当前图片的距离(即POC差)相同

—两个参考图片均为短期参考图片

—CU有超过64个亮度样本

—CU高度和CU宽度两者大于等于8个亮度样本

—BCW权重索引表示相等的权重

—WP未针对当前块被启用

—CIIP模式未用于当前块

通过DMVR过程导出的细化MV用于生成帧间预测样本，并且也用于未来图像编解码的时间运动矢量预测。原始MV被用于去块过程，并且也用于未来CU编解码的空间运动矢量预测。

DMVR的附加特征在以下子条款中提到。

2.1.3.1.搜索方案

在DVMR中，搜索点围绕初始MV，并且MV偏移服从MV差镜像规则。换句话说，由候选MV对(MV0，MV1)表示的、DMVR校验的任何点服从以下两个等式：

MV0′＝MV0+MV_offset (1)

MV1′＝MV1-MV_offset (2)

其中MV_offset表示参考图片中的一个中初始MV和细化MV之间的细化偏移。细化搜索范围为距初始MV的两个整数亮度样本。搜索包括整数样本偏移搜索阶段和分数样本细化阶段。

25个点全搜索应用于整数样本偏移搜索。首先计算初始MV对的SAD。如果初始MV对的SAD小于阈值，则终止DMVR的整数样本阶段。否则计算并按光栅扫描顺序校验剩余24个点的SAD。选择具有最小SAD的点作为整数样本偏移搜索阶段的输出。为了减少DMVR细化的不确定性的惩罚，提出在DMVR过程期间中偏向原始MV。初始MV候选参考的参考块之间的SAD降低了SAD值的1/4。

整数样本搜索之后是分数样本细化。为了节省计算复杂度，分数样本细化是通过使用参数误差面等式导出的，而不是利用SAD比较的附加搜索。分数样本细化是基于整数样本搜索阶段的输出有条件地调用的。当整数样本搜索阶段在第一迭代或第二迭代搜索中以具有最小SAD的中心终止时，分数样本细化被进一步应用。

在基于参数误差面的亚像素偏移估计中，使用中心位置成本和距离中心四个邻近位置的成本来拟合以下形式的2D抛物线误差面等式

E(x,y)＝A(x-x_min)²+B(y-y_min)²+C (3)

其中(x_min,y_min)对应于成本最小的分数位置，并且C对应于最小成本值。通过使用五个搜索点的成本值解决上述等式，(x_min,y_min)被计算为：

x_min＝(E(-1,0)-E(1,0))/(2(E(-1,0)+E(1,0)-2E(0,0))) (4)

y_min＝(E(0,-1)-E(0,1))/(2((E(0,-1)+E(0,1)-2E(0,0))) (5)

x_min和y_min的值被自动约束在-8和8之间，因为所有的成本值都是正的，并且最小值是E(0,0)。这对应于半像素偏移，具有VVC中1/16像素的MV准确度。计算出的分数(x_min,y_min)被添加到整数距离细化MV以获得亚像素精确的细化差量MV。

2.1.3.2.双线性插值和样本填充

在VVC中，MV的分辨率为1/16亮度样本。使用8抽头插值滤波器对分数位置处的样本进行内插。在DMVR中，搜索点围绕与整数样本偏移的初始分数像素的MV，因此需要对那些分数位置的样本被内插以进行DMVR搜索过程。为了降低计算复杂度，使用双线性插值滤波器生成用于DMVR搜索过程的分数样本。另一个重要的影响是，通过使用具有2样本搜索范围的双线性滤波器，与正常运动补偿过程相比，DVMR不会访问更多的参考样本。在利用DMVR搜索过程得到细化MV后，应用正常的8抽头插值滤波器生成最终预测。为了不对正常MC过程访问更多参考样本，基于原始MV的插值过程不需要但基于细化MV的插值过程需要的样本将从那些可用样本中填充。

2.1.3.3.最大DMVR处理单元当CU的宽度和/或高度大于16个亮度样本时，它将被进一步拆分成宽度和/或高度等于16个亮度样本的子块。DMVR搜索过程的最大单位尺寸限制为16x16。

2.1.4.用于帧间预测的几何划分模式(GPM)

在VVC中，支持用于帧间预测的几何划分模式。几何划分模式使用CU级别标志作为一种合并模式被通过信号传输，其中其他合并模式包括常规合并模式、MMVD模式、CIIP模式和子块合并模式。对于每个可能的CU尺寸w×h＝2^m×2ⁿ总共支持64个划分，其中m,n∈{3…6}，不包括8x64和64x8。

当使用这种模式时，CU被几何定位的直线拆分成两部分(图10)。拆分线的位置是从特定划分的角度和偏移参数数学上导出的。CU中几何划分的每个部分都使用自己的运动被帧间预测；每个划分只允许单向预测，即每个部分都有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与常规的双向预测相同，每个CU只需要两个运动补偿预测。每个划分的单向预测运动是使用3.4.1中描述的过程导出的。

如果几何划分模式用于当前CU，则指示几何划分的划分模式(角度和偏移)的几何划分索引，以及两个合并索引(每个划分一个)被进一步通过信号传输。最大GPM候选尺寸的数目在SPS中显式地用信号传输，并指定GPM合并索引的语法二值化。在预测几何划分的每个部分之后，沿着几何划分边缘的样本值使用具有自适应权重的混合处理进行调整，如3.4.2中。这是整个CU的预测信号，并且变换和量化过程将像在其他预测模式一样应用于整个CU。最后，使用几何划分模式预测的CU的运动场如在3.4.3中被存储。

2.1.4.1.单向预测候选列表构建

单向预测候选列表是直接从根据3.4.1中扩展合并预测过程构建的合并候选列表中导出的。表示n作为几何单向预测候选列表中单向预测运动的索引。其中X等于n的奇偶性的第n扩展合并候选的LX运动矢量用作几何划分模式的第n单向预测运动矢量。这些运动矢量在图11中用“x”标记。在不存在第n扩展合并候选的对应LX运动矢量的情况下，使用同一候选的L(1-X)运动矢量代替作为几何划分模式的单向预测运动矢量。

2.1.4.2.沿几何划分边缘的混合

在利用自身运动预测几何划分的每个部分后，将混合应用于两个预测信号以导出几何划分边缘周围的样本。CU每个位置的混合权重是基于单个位置与划分边缘之间的距离导出的。

位置(x,y)到划分边缘的距离导出为：

其中i,j是几何划分的角度和偏移索引，取决于通过信号传输的几何划分索引。ρ_x,j和ρ_y,j的符号取决于角度索引i。

几何划分每个部分的权重如下导出：

wIdxL(x，y)＝partIdx？32+d(x，y)：32-d(x，y) (10)

/>

w₁(x,y)＝1-w₀(x,y) (12)

partIdx取决于角度索引i。权重w₀的一个示例如图12所示。

2.1.4.3.几何划分模式的运动场存储

来自几何划分的第一部分的Mv1、来自几何划分的第二部分的Mv2以及Mv1和Mv2的组合Mv被存储在几何划分编解码的CU的运动场中。

运动场中每个单个位置的存储运动矢量类型确定为：

sType＝abs(motionIdx)<32？2∶(motionIdx≤0？(1-partIdx):partIdx) (13)

其中motionIdx等于d(4x+2,4y+2)。partIdx取决于角度索引i。如果sType等于0或1，则将Mv0或Mv1存储在对应的运动场中，否则如果sType等于2，则存储来自Mv0和Mv2的组合Mv。使用以下过程生成组合Mv：

1)如果Mv1和Mv2来自不同的参考图片列表(一个来自L0，另一个来自L1)，则简单地组合Mv1和Mv2以形成双向预测运动矢量。

2)否则，如果Mv1和Mv2来自同一列表，则仅存储单向预测运动Mv2。

2.2.具有运动矢量差的几何预测模式(GMVD)

提出了具有运动矢量差的几何预测模式(GMVD)。对于GMVD，GPM中的每个几何划分都可以决定是否使用GMVD。如果为几何区域选取GMVD，则该区域的MV计算为合并候选的MV和MVD之和。所有其他处理保持与GPM相同。

使用GMVD，MVD作为方向和距离对被通过信号传输，遵循MMVD的当前设计。也就是说，存在八个候选距离(1/4像素，1/2像素，1像素，2像素，4像素，8像素，16像素，32像素)和四个候选方向(向左，向右，向上和向下)。此外，当pic_fpel_mmvd_enabled_flag等于1时，GMVD中的MVD也像在MMVD中一样向左移位2。

2.3.JEM中的帧速率上转换(FRUC)

FRUC标志在其合并标志为真时，针对CU被通过信号传输。当FRUC标志为假时，将通过信号传输合并索引并使用常规合并模式。当FRUC标志为真时，将通过信号传输附加的FRUC模式标志，以指示将使用哪个方法(双边匹配或模板匹配)导出块的运动信息。在编码器侧，是否对CU使用FRUC合并模式的决定是基于RD成本选择，就像对普通合并候选所做的那样。也就是说，通过使用RD成本选择，两种匹配模式(双边匹配和模板匹配)都针对CU被校验。导致最小成本的一个模式进一步与其他CU模式进行比较。如果FRUC匹配模式是最有效的模式，FRUC标志针对CU被设置为真，并使用相关的匹配模式。

FRUC合并模式下的运动导出过程具有两个步骤。首先执行CU级别运动搜索，然后子CU级别运动细化。在CU级别，基于双边匹配或模板匹配导出针对整个CU的初始运动矢量。首先，生成MV候选列表，并选择导致最小匹配成本的候选作为进一步CU级别细化的起始点。然后，执行基于起始点周围的双边匹配或模板匹配的局部搜索，并将导致最小值匹配成本的MV作为整个CU的MV。随后，以导出的CU运动矢量为起始点在子CU级别进一步细化运动信息。

例如，对于W×H CU运动信息导出执行以下导出过程。在第一阶段，导出针对整个W×H CU的MV。在第二阶段，CU被进一步拆分成M×M子CU。M的值计算如(16)，D是预定义的拆分深度，其在JEM中默认设置为3。然后导出针对每个子CU的MV。

如图13所示，双边匹配用于通过在两个不同的参考图片中沿着当前CU的运动轨迹寻找两个块之间最接近的匹配来导出当前CU的运动信息。在连续运动轨迹的假设下，指向两个参考块的运动矢量MV0和MV1应与当前图片和两个参考图片之间的时间距离，即TD0和TD1，成正比。作为一种特殊情况，在当前图片在时间上位于两个参考图片之间并且当前图片到两个参考图片的时间距离相同时，双边匹配成为基于镜像的双向MV。

如图14所示，模板匹配用于通过在当前图片中的模板(当前CU的顶部和/或左侧邻近块)和参考图片中的块(与模板相同尺寸)之间寻找最接近的匹配来导出当前CU的运动信息。除了前面提到的FRUC合并模式外，模板匹配也应用于AMVP模式。在JEM中，如HEVC所做的那样，AMVP有两个候选。使用模板匹配方法，导出一个新的候选。如果通过模板匹配新导出的候选与第一存在AMVP候选不同，则将其插入AMVP候选列表的最开始，然后将列表大小设置为两(意味着移除第二存在AMVP候选)。当应用于AMVP模式时，仅应用CU级别搜索。

CU级别MV候选集

CU级别的MV候选包括：

(i)如果当前CU处于AMVP模式，则原始AMVP候选

(ii)所有合并候选，

(iii)在内插MV场中的若干MV(稍后描述)。

(iv)顶部和左侧邻近运动矢量

当使用双边匹配时，将合并候选的每个有效MV作为输入，利用双边匹配的假设生成MV对。例如，合并候选的一个有效MV是在参考列表A处的(MVa，refa)。然后在另一个参考列表B中找到其配对的双边MV的参考图片refb，以便refa和refb在时间上位于当前图片的不同侧。如果这样的refb在参考列表B中不可用，则确定refb为不同于refa的参考，并且其与当前图片的时间距离是列表B中的最小距离。在确定refb后，通过基于当前图片与refa，refb之间的时间距离缩放MVa导出MVb。

来自内插MV场的四个MV也被添加到CU级别候选列表中。更具体地说，是将当前CU的位置(0,0)、(W/2,0)、(0，H/2)和(W/2，H/2)处的内插MV添加。

当FRUC应用于AMVP模式时，原始AMVP候选也被添加到CU级别MV候选集中。

在CU级别处，针对AMVP CU的至多15个MV，和针对合并CU的至多13个MV被添加到候选列表中。

子CU级别MV候选集

子CU级别的MV候选集包括：

(i)通过CU级别搜索确定的MV，

(ii)顶部、左侧、左上和右上的邻近MV，

(iii)来自参考图片中的同位MV的缩放版本，

(iv)至多4个ATMVP候选，

(v)至多4个STMVP候选

来自参考图片的缩放MV如下导出。遍历两个列表中的所有参考图片。将参考图片中的子CU的同位位置的MV缩放到起始CU级别MV的参考。

ATMVP和STMVP候选限于前四个。

在子CU级别，至多17个MV被添加到候选名单。

内插MV场的生成

在编解码帧之前，基于单边ME为整个图片生成内插运动场。然后，运动场可以稍后用作CU级别或子CU级别MV候选。

首先，以4×4块级别遍历两个参考列表中每个参考图片的运动场。对于每个4×4块，如果与通过当前图片中的4×4块的块相关联的运动(如图15所示)和该块尚未被分配任何内插运动，则参考块的运动根据时间距离TD0和TD1缩放到当前图片(与HEVC中TMVP的MV缩放方式相同)，并将缩放的运动分配给当前帧中的块。如果没有缩放MV分配给4×4块，则该块的运动在内插运动场中被标记为不可用。

插值和匹配成本当运动矢量指向分数样本位置时，需要运动补偿内插。为了降低复杂性，双线性内插代替常规的8抽头HEVC内插用于双边匹配和模板匹配。

匹配成本的计算在不同的步骤上有些不同。从CU级别的候选集中选择候选时，匹配成本是双边匹配或模板匹配的绝对和差(SAD)。在起始MV确定后，双边匹配在子CU级别搜索的匹配成本C计算如下：

其中，w是根据经验设置为4的权重因子，MV和MV^s分别指示当前MV和起始MV。SAD仍然用作子CU级别搜索处的模板匹配的匹配成本。

在FRUC模式下，MV是通过仅使用亮度样本导出的。导出的运动将用于MC帧间预测的亮度和色度。在决定MV后，使用针对亮度的8抽头内插滤波器和针对色度的4抽头内插滤波器执行最终MC。

MV细化

MV细化是一种利用双边匹配成本或模板匹配成本的准则的基于模式的MV搜索。在JEM中，支持两种搜索模式——分别为无限制中心偏置菱形搜索(UCBDS)和CU级别和子CU级别处的MV细化的自适应交叉搜索。对于CU和子CU级别MV细化，MV直接以四分之一亮度样本MV精确度被搜索，然后是八分之一亮度样本MV细化。CU和子CU步骤的MV细化的搜索范围设置为等于8个亮度样本。

模板匹配FRUC合并模式中预测方向的选择在双边匹配合并模式中，总是应用双向预测，因为CU的运动信息是基于两个不同参考图片中沿着当前CU的运动轨迹的两个块之间最接近的匹配导出的。模板匹配合并模式没有这样的限制。在模板匹配合并模式中，编码器可以在来自list0中的单向预测、来自list1中的单向预测或CU的双向预测当中选取。选择基于模板匹配成本，如下：

其中cost0是list0模板匹配的SAD，cost1是list1模板匹配的SAD，并且costBi是双向预测模板匹配的SAD。factor的值等于1.25，这意味着选择过程朝向双向预测偏置。

帧间预测方向选择仅适用于CU级别模板匹配过程。

2.4.基于模板匹配的自适应合并候选重新排列为提高编解码效率，在构建合并候选列表后，根据模板匹配成本调整每个合并候选的排列。合并候选在列表中根据模板匹配成本升序布置。其以子组的形式操作。

模板匹配成本通过当前CU的邻近样本与其对应的参考样本之间的SAD(绝对差之和)来测量。如果合并候选包括双向预测运动信息，则对应的参考样本是参考list0中对应的参考样本和参考list1中对应的参考样本的平均，如图16所示。如果合并候选包括子CU级别运动信息，则对应的参考样本由对应参考子块的邻近样本组成，如图17所示。

排序过程以子组的形式操作，如图18所示。前三个合并候选排序在一起。以下三个合并候选排序在一起。

模板尺寸(左侧模板的宽度或上方模板的高度)为1。子组尺寸为3。

2.5局部照明补偿(LIC)

局部照明补偿(LIC)是编解码工具，用于解决当前图片与其时间参考图片之间的局部照明变化问题。LIC基于线性模型，其中对参考样本应用缩放因子和偏移以获得当前块的预测样本。具体而言，LIC可以通过以下等式被数学建模：

P(x,y)＝α·P_r(x+v_x,y+v_y)+β

其中P(x,y)是在坐标(x,y)处的当前块的预测信号；P_r(x+v_x,y+v_y)是运动矢量(v_x,v_y)所指向的参考块；α和β是应用于参考块的对应缩放因子和偏移。图19示出了LIC过程。在图19中，当LIC应用于块时，采用最小均方误差(LMSE)方法，通过最小化当前块的邻近样本(即图19中的模板T)和它们在时间参考图片中对应的参考样本(即图19中的T0或T1)之间的差异，导出LIC参数(即α和β)的值。此外，为了降低计算复杂度，模板样本和参考模板样本都被子采样(自适应子采样)以导出LIC参数，即，仅使用图19中的阴影样本导出α和β。

为了提高编解码性能，不执行短侧的子采样，如图20所示。

2.6.符号预测

该文件提出了亮度残差系数符号的预测的方法。每个TU可以预测多个符号，但受配置参数和存在的系数数目的限制。当预测TU中的n个符号时，编码器和解码器执行n+1部分反变换和对应于2ⁿ个符号组合假设的2ⁿ个边界重建，每个都有一个边界成本测量。检查这些成本以确定符号预测值，编码器使用两个附加的CABAC上下文传输每个预测符号的指示该符号的预测是否正确的符号残差。解码器读取这些符号残差，然后稍后在重建期间使用它们来确定正确符号以在进行自己的预测后应用。

2.6.1.编码器

在TU中编码系数之前，编码器现在确定要预测哪些符号并预测它们。在RDO决定进行期间执行如下所述的假设处理。(正确或不正确的、每个被预测的符号的)预测结果存储在CU中，以供以后编码使用。

在最终编码阶段，该所存储的数据用于再现包含符号残差的最终比特流。

2.6.2.假设生成

编码器首先对TU进行去量化，然后选取n个将被预测的符号的系数。系数以光栅扫描顺序扫描，当收集要处理的n个系数时，超过定义阈值的去量化值相对于低于该阈值的值被偏向。

使用这n个值，如下所述执行2ⁿ个简化边界重建，n个系数的符号的每个独特组合进行一个重建。

对于特定的重建，仅从添加到块预测的反变换中重新创建块的最侧和最顶部的像素。虽然第一(垂直)反变换已经完成，但第二(水平)反变换只需要创建最左侧和最顶部的像素输出，因此速度更快。反变换函数中已经添加附加标志“topLeft”，以允许这样做。

此外，通过使用‘模板’系统来减少执行的反变换操作的数量。这样，在预测块中的n个符号时，只执行n+1个反变换操作：

1.在去量化系数上操作的单个反变换，其中所有被预测的符号的值都设置为正。一旦添加到当前块的预测中，这对应于第一假设的边界重建。

2.对于具有其预测的符号的n个系数中的每一个，对包含对应的反量化(和正)系数作为其唯一非空元素的否则为空的块执行反变换操作。最左侧和最顶部的边界值保存在所谓的‘模板’中，以便在稍后的重建期间使用。

稍后的假设的边界重建起始于取得只需要将单个预测符号从正改变为负的、先前假设的适当保存的重建，以构建所期望的当前假设。然后，通过加倍和从与被预测的符号相对应的模板的假设边界减去来近似这种符号的改变。边界重建在成本计算后，如果已知边界重建可用于构建稍后假设，则被保存。

模版名称	如何创建
		T001	inv xform single+ve 1^st sign-hidden coeff
T010	inv xform single+ve 2^nd sign-hidden coeff
		T100	inv xform single+ve 3^rd sign-hidden coeff

/>

表格显示针对3符号8条目情况的保存/恢复和模板应用程序

请注意，这些近似仅在符号预测过程期间使用，而不是在最终重建期间使用。

2.6.3.假设成本计算

存在和与块边界处图像连续性概念相对应的每个假设相关联的成本。通过最小化这个成本，可以找到该符号预测值。

如图21所示，对于重建块的LHS处的每个重建像素p_0,y，执行使用左侧的两个像素的简单线性预测，以获得其预测pred_0,y＝(2p_-1,y-p_-2,y)。该预测与重建像素p_0,y之间的绝对差被添加到假设的成本中。对于重建块的顶部行中的像素发生类似的处理，将每个预测pred_x,0＝(2p_x,-1–p_x,-2)和重建像素p_x,0的绝对差相加。

2.6.4.多个符号的预测

对于要预测的每个符号，编码器搜索与已经传输的符号的真实值一致的具有最低成本的假设。(最初，没有符号残差传输，这只对应于最低成本假设。)当前符号的预测值取自该假设。

如果预测对应于符号的真实值，则发送“0”作为符号残差，否则发送“1”。

2.6.5.最终信令

在通过信号传输特定符号预测残差时，使用两个CABAC上下文之一。要使用的CABAC上下文通过相关联的去量化系数是低于或高于阈值来确定。高值系数的预测残差通过CABAC上下文发送，该CABAC上下文被初始化以期望正确预测的更高概率(即期望零残差的更高概率)。当前的上下文初始化约为58％(低于阈值)和74％(等于或高于阈值)。

2.6.6.其他比特流改变

应该注意的是，作为应用于JEM3的软件修改的一部分，所有系数(亮度、色度、预测和非预测)的符号的信令已经移动到TU块的末端。也就是说，符号不再按CG通过信号传输。这对于亮度是必要的，将如下所示：解码器需要访问TU中的所有系数值，以便确定被预测的符号，并且相应地，在比特流中只有它们的预测残差。虽然对于色度来说并不是绝对必要的，因为符号永远不会针对色度被预测，但将色度符号移动到TU的末端可以避免两个不同的逻辑路径的必要性。

2.6.7.解码器

2.6.7.1.解析

解码器作为其解析过程的一部分，解析系数、符号和符号残差。符号和符号残差在TU的末端被解析，此时解码器知道所有系数的绝对值。因此，它可以确定预测哪些符号，并且对于每个预测的符号，它可以基于去量化的系数值确定用于解析符号预测残差的上下文。“正确”或“不正确”预测的知识简单地存储为正在解析的块的CU数据的一部分。此时系数的真实符号尚不知道。

2.6.7.2.重建

稍后，在重建期间，解码器执行类似于编码器的操作(如上所述，编码器在其RDO期间)。对于TU中预测的n个符号，解码器执行n+1个反变换操作和2ⁿ个边界重建以确定假设成本。

应用于已预测其符号的系数的真实符号由对于以下的异或运算确定：

1.符号的预测值。

2.在比特流解析期间存储在CU中的“正确”或“不正确”数据。

2.6.8.与签名数据隐藏的交互

在使用现有的符号数据隐藏机制“隐藏”系数的符号的每个TU中，符号预测仅将该系数视为其自身预测技术的“不可用”，并且将仅使用其他系数进行预测。

2.7.解码器侧帧内模式导出(DIMD)

从当前块的邻近像素计算的梯度直方图(HoG)中选择三个角度模式。一旦选择了三个模式，它们的预测器将正常计算，然后使用它们的加权平均值作为块的最终预测器。为了确定权重，HoG中的对应振幅用于三个模式中的每一个。DIMD模式用作替代预测模式，并始终在FullRD模式中被校验。

当前版本的DIMD已修改了信令、HoG计算和预测融合的某些方面。此修改的目的是提高编解码性能以及解决上次会议中提出的复杂性问题(即4x4块的吞吐量)。以下部分描述了每个方面的修改。

2.7.1.信令

图22示出了VTM5中解析标志/索引的顺序，与所提出的DIMD集成。

可以看出，首先使用单个CABAC上下文解析块的DIMD标志，该上下文被初始化为默认值154。

如果flag＝＝0，则解析正常继续。

否则(如果flag＝＝1)，只解析ISP索引，并推断以下标志/索引为零：BDPCM标志、MIP标志、MRL索引。在这种情况下，整个IPM解析也被跳过。

在解析阶段期间，当常规非DIMD块查询其DIMD邻近的IPM时，模式PLANAR_IDX被用作DIMD块的虚拟IPM。

2.7.2.纹理分析

DIMD的纹理分析包括梯度直方图(HoG)计算(图23)。HoG计算是通过在块周围宽度为3的模板中的像素上应用水平和垂直Sobel滤波器来进行的。但是，如果上述模板像素落入不同的CTU中，则它们将不会用于纹理分析。

一旦被计算，就会为块选择对应于两个最高直方图条的IPM。

在以前的版本中，模板中线中的所有像素都参与了HoG计算。然而，当前版本通过在4x4块上更稀疏地应用Sobel滤波器来提高此过程的吞吐量。为此，仅使用左侧的一个像素和上方的一个像素。如图23所示。

除了减少梯度计算的操作数目外，该属性还简化了从HoG中选择最佳2个模式的过程，因为所得到的HoG不能有多于两个非零振幅。

2.7.3.预测融合

与上一个版本一样，该方法的当前版本也为每个块使用三个预测器的融合。但是，预测模式的选取不同，并利用了组合假设帧内预测方法，其中在计算帧内预测候选时考虑与其他模式结合使用平面模式。在当前版本中，对应于两个最高HoG条的两个IPM与平面模式组合使用。

预测融合被应用为上述三个预测器的加权平均值。为此，平面的权重固定为21/64(～1/3)。然后，剩余的权重43/64(～2/3)在两个HoG IPM之间共享，与其HoG条的振幅成比例。图24可视化了这个过程。

2.8.DIMD

当应用DIMD时，从重建的相邻样本中导出两个帧内模式，并将这两个预测器与具有从梯度导出的权重的平面模式预测器组合在一起，如第2.7节所述。

导出的帧内模式包含在最可能帧内模式(MPM)的主列表中，因此在MPM列表构建之前执行DIMD过程。DIMD块的主帧内模式与块一起存储，并用于邻近块的MPM列表构建。

3.问题

在硬件设计中，块间和块内在两个阶段中被重建。然而，依赖于邻近重建样本的帧间预测，诸如基于模板匹配的MV导出、基于模板匹配的合并列表重建或LIC，可能会强加两个阶段的依赖关系，从而带来不期望的延时。

此外，应用于帧内编解码的块的基于模板匹配的方法也可能增加流水线延迟。

需要帧间访问重建相邻样本的编解码工具/特征会导致数据依赖问题，这可能会破坏/损坏解码器流水线架构。

4.本公开的实施例

下面的详细公开内容应被视为解释一般概念的示例或实施例。不应以狭隘的方式解释这些示例。此外，可以以任何方式组合这些示例。术语‘块’可以表示编解码块(CB)、CU、PU、TU、PB、TB。在以下讨论中，“基于模板编解码”的块可以指在编解码/解码过程中使用基于模板的方法来导出或细化编解码的信息的块，诸如基于模板匹配的MV导出、基于模板匹配的运动列表重建、LIC、符号预测、(例如，在IBC模式中使用的)基于模板匹配的块矢量导出、DIMD、基于模板匹配的非帧间(例如，帧内)预测等。基于模板编解码的方法可以与任何其他编解码工具组合，诸如MMVD、组合帧间帧内预测(CIIP)、FRUC、BDOF、DMVR、OBMC等。在又一示例中，“基于模板编解码”的块还可以指基于某些规则使用邻近重建样本(相邻或非相邻)导出或细化其解码的信息的块，例如，第2.7节中的DIMD方法)。

1.在一个示例中，如何和/或是否使用第一块的运动信息的第一条(可以包括MV、参考索引、参考列表、加权值、BCW索引、LIC中a和b的参数等)来编解码第二块的运动信息的第二条可以取决于第一块是否是基于模板被编解码的。

1)在一个示例中，第二块可以在与第一块相同的图片或条带/图块/子图片中。

2)在一个示例中，第二块可以在与第一块不同的图片或条带/图块/子图片中。

3)在一个示例中，如果第一块是基于模板被编解码的，则第一块的运动信息的第一条不能用于编解码第二块的运动信息的第二条。

a)在一个示例中，如果第一块是基于模板被编解码的，第一块可以在编解码/解码第二块时被标记为是不可用的或被帧内编解码的。

b)在一个示例中，如果第一块是基于模板被编解码的，第一块的运动信息可以在编解码/解码第二块时被设置为一些默认值(诸如MV等于零)。

4)在一个示例中，如果第一块是基于模板被编解码的，则第一块的运动信息的第三条可以被用于编解码第二块的运动信息的第二条，其中第一块的运动信息的第三条是在基于模板的过程之前获得的运动信息。

a)在一个示例中，针对第一块，第三条代替第一块的运动信息的第一条被存储。

b)在一个示例中，针对第一块，第三条和第一块的运动信息的第一条两者被存储。

c)此外，第三条代替第一块的运动信息的第一条可以被用于第二块的空间运动矢量预测，诸如合并候选、AMVP候选、HMVP表等。

5)在一个示例中，如果第一块是基于模板被编解码的，则第一块的运动信息可以仅用于(a)运动补偿以生成用于第一块的帧间预测，以及(b)用于第二块的时间运动矢量预测。

2.在一个示例中，如何和/或是否在去块滤波中使用第一块的运动信息的第一条(可以包括MV、参考索引、参考列表、加权值、BCW索引、LIC中的a和b的参数等)可以取决于第一块是否是基于模板被编解码的。

1)在一个示例中，如果第一块是基于模板被编解码的，则第一块的运动信息的第一条不能用于去块滤波。

a)在一个示例中，如果第一块是基于模板被编解码的，可以将第一块在去块滤波中标记为是不可用的或被帧内编解码的。

b)在一个示例中，如果第一块是基于模板被编解码的，则第一块的运动信息可以在去块滤波中被设置为一些默认值(诸如MV等于零)。

2)在一个示例中，如果第一块基于模板编解码，则可以在去块滤波中使用第一块的第三块运动信息，其中第一块的第三块运动信息是在基于模板的过程之前获得的运动信息。

a)在一个示例中，可以为第一块存储第三块而不是第一块的第一块运动信息。

b)在一个示例中，可以为第一块存储第一块的第三块和第一块运动信息。

3.在上述项目中，“运动信息的第一条”的陈述可以被任何其他编解码的信息替换，这些信息是通过基于模板的方法导出的或细化的。

1)在一个示例中，运动信息的第一条可以被帧内预测模式替换。

a)在一个示例中，对于使用DIMD模式编解码的第一块，其中帧内预测模式是根据模板或其他规则导出的(例如，在第2.7节中描述)，在当前条带/图块/子图片/图片中的第二块的编解码/解码期间或在去块滤波过程期间，不允许使用导出的帧内预测模式。

a.代替将所有导出的帧内预测模式包括在帧内最可能模式(MPM)的主列表中，提出将一个或多个导出的帧内预测模式不包括在MPM列表中。

a)在一个示例中，一个或多个导出的帧内预测模式可以使用当前块的邻近重建样本导出。

i.在一个示例中，导出的帧内预测模式可以使用与第2.7和2.8节中相同的方法导出。

b)在一个示例中，MPM列表可以指主MPM列表和/或辅MPM列表。

c)备选地，提出在辅MPM列表中包括一个或多个导出的帧内预测模式。

b.备选地，提出将导出的帧内预测模式中的一部分包括在主MPM列表和/或辅MPM列表中。

b)在一个示例中，对于具有基于模板的模式的第一IBC编解码的块，其中其块矢量是根据模板或其它规则导出的/细化的，所导出的或细化的块矢量在当前条带/图块/子图片/图片的第二块的编解码/解码期间或在去块滤波过程期间不被允许使用。

4.例如，是否和/或如何在块上应用基于模板的过程可能取决于块的编解码信息。块的信息可以包括(以下项之一或以下项的任意组合)：

1)块的宽度和/或高度。

2)块的尺寸。

3)块的编解码树深度

4)块的编解码模式

5)块的预测方向，例如，单向预测或双向预测

6)块的参考信息，例如，参考索引、参考可用性、POC距离等。

7)块的纹理特性，例如，它是否是屏幕内容。

5.例如，是否和/或如何在第一块上应用基于模板的过程可以取决于第一块的至少一个邻近块(即第二块)的编解码信息。第二块的信息可以包括(以下项之一或以下项的任意组合)：

1)第二块的宽度和/或高度。

2)第二块的尺寸。

3)第二块的编解码树深度

4)第二块的编解码模式。

5)第二块的可用性

6)在一个示例中，如果覆盖上方邻近样本的上方邻近块(即第二块)满足或不满足一个或多个条件，则上方邻近样本不能包含在模板中。

a)在一个示例中，如果上方邻近块(即第二块)用帧内/IBC编解码模式覆盖上方邻近样本，上方邻近样本不能被包括在模板中。

7)在一个示例中，如果覆盖左侧邻近样本的左侧邻近块(即第二块)满足或不满足一个或多个条件，则左侧邻近样本不能被包含在模板中。

a)在一个示例中，如果左侧邻近块(即第二块)用帧内/IBC编解码模式覆盖左侧邻近样本，则左侧邻近样本不能被包括在模板中。

8)一个或多个条件可以包括(以下项之一或以下项的任意组合)：

a)第二块是被帧间编解码的。

b)第二块是被帧内编解码的。

c)第二块是IBC编解码的。

d)第二块的残差等于零(例如，第二块的编解码块标志(cbf)等于零)

e)第二块的残差不等于零(例如，第二块的cbf不等于零)

f)第二块是基于模板被编解码的。

g)第二块不是基于模板被编解码的。

6.例如，预测样本代替邻近块的重建样本可用于获得用于基于模板被编解码的块的模板。

1)在一个示例中，邻近块的预测样本可用于获得用于被帧间编解码的块的模板。

2)在一个示例中，邻近块的预测样本可用于获得用于被帧内编解码的块的模板。

3)在一个示例中，邻近块的预测样本可用于获得用于被帧内块复制编解码的块的模板。

4)在一个示例中，邻近块的预测样本可用于获得用于被调色盘编解码的块的模板。

图25示出了根据本公开的一些实施例的用于视频处理的方法2500的流程图。如图25所示，在2502，在视频的当前视频块和视频的比特流之间的转换期间，基于应用于参考视频块的编解码模式，确定参考视频块的编解码信息是否被使用以对当前视频块的运动信息的第一条编解码。在2504，转换基于在2502处的确定来被执行。

根据方法2500，是否或如何对当前视频块的运动信息的第一条进行编解码可以取决于参考视频块的编解码信息，诸如运动信息或通过基于模板的方法导出的或细化的任何其他编解码信息。因此，基于所提出的解决方案的编解码过程更具效率。与常规解决方案相比，根据本公开的一些实施例的方法2500可以有利地避免不希望的延时，并提高编解码性能和效率。

在一些实施例中，编解码信息包括参考视频块的运动信息的第二条，或通过基于模板的模式导出或细化的编解码信息。

在一些实施例中，参考视频块的运动信息的第二条可以包括以下至少一项：MV、参考索引、参考列表、加权值、BCW索引、LIC中的a和b参数等。

在一些实施例中，当前视频块在与参考视频块相同的图片、条带、图块或子图片中。

在一些实施例中，当前视频块在与参考视频块不同的图片、条带、图块或子图片中。

在一些实施例中，如果参考视频块是基于模板被编解码的，则参考视频块的运动信息的第二条不被使用以对当前视频块的运动信息的第一条编解码。

在一些实施例中，如果参考视频块是基于模板被编解码的。则在当前视频块的编解码过程或当前视频块的解码过程期间，所述参考视频块可以被标记为是不可用的或被帧内编解码的。

在一些实施例中，如果参考视频块是基于模板被编解码的，则在当前视频块的编解码过程或当前视频块的解码过程期间，参考视频块的运动信息被设置为一个或多个默认值，诸如等于零的MV。

在一些实施例中，如果参考视频块是基于模板被编解码的，则可以使用参考视频块的运动信息的第三条来编解码当前视频块的运动信息，其中参考视频块的运动信息的第三条是在基于模板的过程之前获得的运动信息。

在一些实施例中，针对参考视频块，第三条代替参考视频块的运动信息的第二条可以被存储。

在一些实施例中，针对参考视频块，第三条和参考视频块的运动信息的第一条两者可以被存储。

在一些实施例中，第三条代替参考视频块的运动信息的第二条可以用于当前视频块的空间运动矢量预测。例如，当前视频块的空间运动矢量预测可以包括以下至少一项：作为合并候选、高级运动矢量预测(AMVP)候选、基于历史的运动矢量预测(HMVP)表等。

在一些实施例中，如何和/或是否在去块滤波中使用参考视频块的运动信息的第二条可取决于参考视频块是否是基于模板被编解码的。

在一些实施例中，如果参考视频块是基于模板被编解码的，则参考视频块的运动信息的第二条不被用于去块滤波。

在一些实施例中，如果参考视频块是基于模板被编解码的，则参考视频块可以在去块滤波中被标记为是不可用的或被帧内编解码的。

在一些实施例中，如果参考视频块是基于模板被编解码的，则，参考视频块的运动信息可以在去块滤波中被设置为一个或多个默认值，诸如MV等于零。

在一些实施例中，如果参考视频块是基于模板被编解码的，则参考视频块的运动信息的第三条可用于去块滤波，并且其中第三条是在基于模板的编解码过程之前获得的。

在一些实施例中，如果参考视频块是基于模板被编解码的，则针对参考视频块，运动信息的第三条而不是运动信息的第二条可以被存储。

在一些实施例中，通过基于模板的模式导出的或细化的编解码信息可以指帧内预测模式。

在一些实施例中，对于利用解码器侧帧内模式导出模式(DIMD)编解码的参考视频块，导出的帧内预测模式可以在当前条带、当前图块、当前子图片或当前图片中的当前视频块的编解码过程、当前当前条带、当前图块、当前子图片或当前图片中的当前视频块的解码过程或去块滤波过程期间不被允许使用。

在一些实施例中，帧内预测模式可以根据如上文第2.7节中描述的模板过程或DIMD过程被导出。

在一些实施例中，代替将所有导出的帧内预测模式包括在帧内最可能模式(MPM)的主列表中，一个或多个导出的帧内预测模式不被包括在MPM列表中。

在一些实施例中，一个或多个导出的帧内预测模式可以通过使用当前视频块的邻近重建样本被导出。例如，导出的帧内预测模式可以使用与第2.7和2.8节中相同的方法被导出。

在一些实施例中，MPM列表可以指主MPM列表和/或辅MPM列表。

在一些实施例中，一个或多个导出的帧内预测模式被包括在辅MPM列表中。

在一些实施例中，导出的帧内预测模式的部分被包括在主MPM列表或辅MPM列表中。

在一些实施例中，对于利用具有基于模板的模式的帧内块复制(IBC)编解码的参考视频块，导出的参考视频块或细化的参考视频块在当前条带、当前图块、当前子图片或当前图片中的当前视频块的编解码过程、当前条带、当前图块、当前子图片或当前图片中的当前视频块的解码过程或去块滤波过程期间不被允许使用。

在一些实施例中，参考视频块可以根据模板过程或其它合适的规则被导出或细化。

在一些实施例中，在2504处的转换可以包括从视频的比特流解码目标图片

在一些实施例中，在2504处的转换可以包括将目标图片编码到视频的比特流中。

图26示出了根据本公开的一些实施例的用于视频处理的方法2600的流程图。如图26所示，方法2600开始于2602，其中在视频的当前视频块和视频的比特流之间的转换期间，基于当前视频块的编解码信息或当前视频块的至少一个邻近视频块的编解码信息，确定基于模板的过程是否被应用于所述当前视频块。在2604，转换基于在2602处的确定来被执行。

根据方法2600，是否或如何在当前视频块上应用基于模板的过程可能取决于当前视频块或参考视频块的编解码信息，诸如至少一个邻近视频块。因此，基于所提出的解决方案的编解码过程更具效率。与常规解决方案相比，根据本公开的一些实施例的方法2600可以有利地避免不希望的延时，并提高编解码性能和效率。

在一些实施例中，当前视频块的编解码信息包括当前视频块的宽度、当前视频块的高度、当前视频块的尺寸、当前视频块的编解码树深度、当前视频块的编解码模式；当前视频块的预测方向、当前视频块的参考信息或当前视频块的纹理特性中的至少一项。

在一些实施例中，至少一个邻近视频块的编解码信息包括至少一个邻近视频块的相应宽度、至少一个邻近视频块的相应高度、至少一个邻近视频块的相应尺寸、至少一个邻近视频块的相应编解码树深度或至少一个邻近视频块的相应编解码模式中的至少一项。

在一些实施例中，如果当前视频块上方的邻近块满足一个或多个预定义条件，则由当前视频块上方的邻近块覆盖的上述邻近样本不被包括在基于模板的过程的模板中。

在一些实施例中，如果上方邻近块利用帧内/IBC编解码模式覆盖上方邻近样本，上方邻近样本不能被包括在模板中。

例如，一个或多个预定义条件可以包括以下至少一项：至少一个邻近视频块中是被帧间编解码的；至少一个邻近视频块是被帧内编解码的；至少一个邻近视频块是被帧内块复制(IBC)编解码的；至少一个邻近视频块的残差等于零；至少一个邻近视频块的残差不等于零；至少一个邻近视频块是基于模板被编解码的；或者所述至少一个邻近视频块不是基于模板被编解码的。例如，至少一个邻近视频块的残差等于零可能指至少一个邻近视频块的cbf等于零。例如，至少一个邻近视频块的残差不等于零可能指至少一个邻近视频块的cbf不等于零。

在一些实施例中，如果位于当前视频块左侧的邻近块满足一个或多个预定义条件，则由当前视频块左侧的邻近块覆盖的左邻近块样本不被包括在基于模板的过程的模板中。

在一个示例中，如果左侧邻近样本利用帧内/IBC编解码模式覆盖左侧邻近样本，则左侧邻近样本不能被包括在模板中。

例如，一个或多个预定义条件可以包括以下至少一项：至少一个邻近视频块是被帧间编解码的；至少一个邻近视频块是被帧内编解码的；至少一个邻近视频块是被帧内块复制(IBC)编解码的；至少一个邻近视频块的残差等于零；至少一个邻近视频块的残差不等于零；至少一个邻近视频块是基于模板被编解码的；或者至少一个邻近视频块不是基于模板被编解码的。例如，至少一个邻近视频块的残差等于零可能指至少一个邻近视频块的cbf等于零。例如，至少一个邻近视频块的残差不等于零可能指至少一个邻近视频块的cbf不等于零。

在一些实施例中，邻近视频块的预测样本可用于获得用于基于模板被编解码的块的模板。

在一些实施例中，邻近块的预测样本可用于获得用于被帧间编解码的块的模板。

在一些实施例中，邻近块的预测样本可用于获得用于被帧内编解码的块的模板。

在一些实施例中，邻近块的预测样本可用于获得用于被帧内块复制编解码的块的模板。

在一些实施例中，邻近块的预测样本可用于获得用于被调色板编解码的块的模板。

在一些实施例中，在2604处的转换可以包括从视频的比特流解码目标图片

在一些实施例中，在2604处的转换可以包括将目标图片编码到视频的比特流中。

本公开的实施方式可以根据以下条款进行描述，其特征可以以任何合理的方式组合。

条款1.一种用于视频处理的方法，包括：在视频的当前视频块和所述视频的比特流之间的转换期间，基于应用于参考视频块的编解码模式，确定所述参考视频块的编解码信息是否被使用以对所述当前视频块的运动信息的第一条编解码；以及基于所述确定来执行所述转换。

条款2.根据条款1所述的方法，其中所述编解码信息包括以下一项：所述参考视频块的运动信息的第二条，或通过基于模板的模式导出或细化的编解码信息。

条款3.根据条款1或条款2所述的方法，其中所述当前视频块在与所述参考视频块相同的图片、条带、图块或子图片中。

条款4.根据条款1或条款2所述的方法，其中所述当前视频块在与所述参考视频块不同的图片、条带、图块或子图片中。

条款5.根据条款2所述的方法，其中确定所述参考视频块的所述编解码信息是否被使用包括：响应于所述参考视频块是基于模板被编解码的，确定所述参考视频块的所述运动信息的所述第二条不被使用以对所述当前视频块的运动信息的所述第一条编解码。

条款6.根据条款5所述的方法，其中在所述当前视频块的编解码过程或所述当前视频块的解码过程期间，所述参考视频块被标记为不可用的或被帧内编解码的。

条款7.根据条款5所述的方法，其中在所述当前视频块的编解码过程或所述当前视频块的解码过程期间，所述参考视频块的所述运动信息被设置为一个或多个默认值。

条款8.根据条款5所述的方法，还包括：通过使用所述参考视频块的所述运动信息的第三条来编解码所述当前视频块的运动信息的所述第一条，其中所述第三条是在所述基于模板的编解码过程之前被获得的。

条款9.根据条款8所述的方法，其中针对所述参考视频块，所述运动信息的所述第三条代替所述运动信息的所述第二条被存储。

条款10.根据条款8所述的方法，其中所述运动信息的所述第三条代替所述运动信息的所述第二条能被用于所述当前视频块的空间运动矢量预测。

条款11.根据条款10所述的方法，其中所述空间运动矢量预测包括以下至少一项：合并候选，高级运动矢量预测，或基于历史的运动矢量预测表。

条款12.根据条款2所述的方法，其中所述参考视频块的所述运动信息的所述第二条是否被使用以在去块滤波中对所述当前视频块的运动信息的所述第一条编解码是基于应用于所述参考视频块的所述编解码模式被确定的。

条款13.根据条款12所述的方法，其中如果所述参考视频块是基于模板被编解码的，则所述参考视频块的所述运动信息的所述第二条不被用于所述去块滤波。

条款14.根据条款13所述的方法，其中所述参考视频块在所述去块滤波中被标记为不可用的或被帧内编解码的。

条款15.根据条款13所述的方法，其中所述参考视频块的所述运动信息在所述去块滤波中被设置为一个或多个默认值。

条款16.根据条款13所述的方法，其中所述参考视频块的所述运动信息的所述第三条被用于所述去块滤波，并且其中所述第三条是在所述基于模板的编解码过程之前被获得的。

条款17.根据条款16所述的方法，其中针对所述参考视频块，所述运动信息的所述第三条代替所述运动信息的所述第二条被存储。

条款18.根据条款2-17所述的方法，其中运动信息的所述第二条包括以下至少一项：运动矢量，参考索引，参考列表，加权值，或局部照明补偿(LIC)中的a和b参数。

条款19.根据条款2所述的方法，其中通过基于模板的模式导出或细化的所述编解码信息包括帧内预测模式。

条款20.根据条款19所述的方法，其中针对利用所述解码器侧帧内模式导出模式(DIMD)编解码的所述参考视频块，导出的帧内预测模式在以下至少一项期间不被允许使用：当前条带、图块、子图片或图片中的所述当前视频块的编解码过程，当前条带、图块、子图片或图片中的所述当前视频块的解码过程，或去块滤波过程。

条款21.根据条款20所述的方法，其中所述帧内预测模式是根据模板过程或DIMD过程被导出的。

条款22.根据条款20所述的方法，其中一个或多个所导出的帧内预测模式不被包括在最可能模式(MPM)列表中。

条款23.根据条款22所述的方法，其中所述一个或多个所导出的帧内预测模式是通过使用当前视频块的邻近重建样本被导出的。

条款24.根据条款22所述的方法，其中所述MPM列表包括主MPM列表或辅MPM列表中的至少一项。

条款25.根据条款24所述的方法，其中一个或多个所导出的帧内预测模式被包括在所述辅MPM列表中。

条款26.根据条款20所述的方法，其中所导出的帧内预测模式的部分被包括在主MPM列表或辅MPM列表中。

条款27.根据条款19所述的方法，其中针对利用具有所述基于模板的模式的帧内块复制(IBC)编解码的所述参考视频块，所导出的参考视频块或经细化的参考视频块在以下至少一项期间不被允许使用：当前条带、当前图块、当前子图片或当前图片中所述当前视频块的编解码过程，当前条带、当前图块、当前子图片或当前图片中所述当前视频块的解码过程，或去块滤波过程。

条款28.根据条款27所述的方法，其中所述参考视频块是根据模板过程被导出或被细化的。

条款29.根据条款1-28中任一项所述的方法，其中所述转换包括从所述视频的所述比特流解码所述当前视频块。

条款30.根据条款1-28中任一项所述的方法，其中所述转换包括将所述当前视频块编码到所述视频的所述比特流中。

条款31.一种用于视频处理的方法，包括：在视频的当前视频块和所述视频的比特流之间的转换期间，基于所述当前视频块的编解码信息或所述当前视频块的至少一个邻近视频块的编解码信息，确定基于模板的过程是否被应用于所述当前视频块；以及基于所述确定来执行所述转换。

条款32.根据条款31所述的方法，其中所述当前视频块的所述编解码信息包括以下至少一项：所述当前视频块的宽度，所述当前视频块的高度，所述当前视频块的尺寸，所述当前视频块的编解码树深度，所述当前视频块的编解码模式，所述当前视频块的预测方向，所述当前视频块的参考信息，或所述当前视频块的纹理特性。

条款33.根据条款31所述的方法，其中所述至少一个邻近视频块的所述编解码信息包括以下至少一项：所述至少一个邻近视频块的相应宽度，所述至少一个邻近视频块的相应高度，所述至少一个邻近视频块的相应尺寸，所述至少一个邻近视频块的相应编解码树深度，或所述至少一个邻近视频块的相应编解码模式。

条款34.根据条款31所述的方法，其中如果所述当前视频块上方的邻近块满足一个或多个预定义条件，由所述当前视频块上方的所述邻近块覆盖的上方邻近样本不被包括在所述基于模板的过程的模板中。

条款35.根据条款31所述的方法，其中如果位于所述当前视频块的左侧的邻近块满足一个或多个预定义条件，由所述当前视频块的左侧的所述邻近块覆盖的左侧邻近样本不被包括在所述基于模板的过程的模板中。

条款36.根据条款34或条款35所述的方法，其中所述一个或多个预定义条件包括以下至少一项：所述至少一个邻近视频块是帧间编解码的；所述至少一个邻近视频块是帧内编解码的；所述至少一个邻近视频块是帧内块复制(IBC)编解码的；所述至少一个邻近视频块的残差等于零；所述至少一个邻近视频块的残差不等于零；所述至少一个邻近视频块是基于模板被编解码的；或所述至少一个邻近视频块不是基于模板被编解码的。

条款37.根据条款31所述的方法，其中邻近视频块的预测样本被使用以获得用于基于模板被编解码的块的模板。

条款38.根据条款37所述的方法，其中所述邻近视频块的预测样本被使用以获得用于以下至少一项的所述模板：被帧间编解码的块，被帧内编解码的块，被帧内块复制编解码的块，或被调色板编解码的块。

条款39.根据条款31-38中任一项所述的方法，其中所述转换包括从所述视频的所述比特流解码所述当前视频块。

条款40.根据条款31-38中任一项所述的方法，其中所述转换包括将所述当前视频块编码到所述视频的所述比特流中。

条款41.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时，使所述处理器执行根据条款1-30中任一项或条款31-40中任一项所述的方法。

条款42.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器执行根据条款1-30中任一项或条款31-40中任一项所述的方法。

条款43.一种非暂时性计算机可读记录介质，存储视频的由视频处理装置执行的方法生成的比特流，其中所述方法包括：基于应用于参考视频块的编解码模式，确定所述参考视频块的编解码信息是否被使用以对当前视频块的运动信息的第一条编解码；以及基于所述确定来生成所述比特流。

条款44.一种用于存储视频的比特流的方法，包括：基于应用于参考视频块的编解码模式，确定所述参考视频块的编解码信息是否被使用以对当前视频块的运动信息的第一条编解码；基于所述确定来生成所述比特流；以及将所述比特流存储在非暂时性计算机可读记录介质中。

条款45.一种非暂时性计算机可读记录介质，存储视频的由视频处理装置执行的方法生成的比特流，其中所述方法包括：基于当前视频块的编解码信息或所述当前视频块的至少一个邻近视频块的编解码信息，确定基于模板的过程是否被应用于所述当前视频块；以及基于所述确定来生成所述比特流。

条款46.一种用于存储视频的比特流的方法，包括：基于当前视频块的编解码信息或所述当前视频块的至少一个邻近视频块的编解码信息，确定基于模板的过程是否被应用于所述当前视频块；基于所述确定来生成所述比特流；以及将所述比特流存储在非暂时性计算机可读记录介质中。

示例设备

图27示出了可以在其中实现本公开的各种实施例的计算设备2700的框图。计算设备2700可以被实现为源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)，或者可以被包括在源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)中。

应当理解的是，图27中示出的计算设备2700仅为了说明的目的，而不是以任何方式暗示对本公开实施例的功能和范围的任何限制。

如图27所示，计算设备2700包括通用计算设备2700。计算设备2700可以至少包括一个或多个处理器或处理单元2710、存储器2720、存储单元2730、一个或多个通信单元2740、一个或多个输入设备2750以及一个或多个输出设备2760。

在一些实施例中，计算设备2700可以被实现为具有计算能力的任何用户终端或服务器终端。服务器终端可以是由服务提供商提供的服务器、大型计算设备等。用户终端例如可以是任何类型的移动终端、固定终端或便携式终端，包括移动电话、站、单元、设备、多媒体计算机、多媒体平板计算机、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或其任何组合，并且包括这些设备的附件和外围设备或其任何组合。可以设想的是，计算设备2700可以支持到用户的任何类型的接口(诸如“可穿戴”电路装置等)。

处理单元2710可以是物理处理器或虚拟处理器，并且可以基于存储在存储器2720中的程序实现各种处理。在多处理器系统中，多个处理单元并行地执行计算机可执行指令，以便改善计算设备2700的并行处理能力。处理单元2710也可以被称为中央处理单元(CPU)、微处理器、控制器或微控制器。

计算设备2700通常包括各种计算机存储介质。这样的介质可以是由计算设备2700可访问的任何介质，包括但不限于易失性介质和非易失性介质、或可拆卸介质和不可拆卸介质。存储器2720可以是易失性存储器(例如，寄存器、高速缓存、随机存取存储器(RAM))、非易失性存储器(诸如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或闪存)或其任何组合。存储单元2730可以是任何可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如存储器、闪存驱动器、磁盘或其他可以被用于存储信息和/或数据并且可以在计算设备2700中被访问的介质。

计算设备2700还可以包括附加的可拆卸/不可拆卸存储介质、易失性/非易失性存储介质。尽管在图27中未示出，但是可以提供用于从可拆卸的非易失性磁盘读取和/或写入可拆卸的非易失性磁盘的磁盘驱动器，以及用于从可拆卸的非易失性光盘读取和/或写入可拆卸的非易失性光盘的光盘驱动器。在这种情况下，每个驱动器可以经由一个或多个数据介质接口连接到总线(未示出)。

通信单元2740经由通信介质与另一计算设备通信。另外，计算设备2700中的组件的功能可以由可以经由通信连接进行通信的单个计算集群或多个计算机器来实现。因此，计算设备2700可以使用与一个或多个其他服务器、联网个人计算机(PC)或其他通用网络节点的逻辑连接来在联网环境中运行。

输入设备2750可以是各种输入设备中的一种或多种输入设备，诸如鼠标、键盘、轨迹球、语音输入设备等。输出设备2760可以是各种输出设备中的一种或多种输出设备，诸如显示器、扬声器、打印机等。借助于通信单元2740，计算设备2700还可以与一个或多个外部设备(未示出)通信，外部设备诸如是存储设备和显示设备，计算设备2700还可以与一个或多个使用户能够与计算设备2700交互的设备通信，或任何使计算设备2700能够与一个或多个其他计算设备通信的设备(例如网卡、调制解调器等)通信，如果需要的话。这种通信可以经由输入/输出(I/O)接口(未示出)进行。

在一些实施例中，计算设备2700的一些或所有组件也可以被布置在云计算架构中，而不是被集成在单个设备中。在云计算架构中，组件可以被远程提供并且共同工作，以实现本公开中描述的功能。在一些实施例中，云计算提供计算、软件、数据访问和存储服务，这将不要求最终用户知晓提供这些服务的系统或硬件的物理位置或配置。在各种实施例中，云计算使用合适的协议经由广域网(例如互联网)提供服务。例如，云计算提供商通过广域网提供应用程序，可以通过网络浏览器或任何其他计算组件访问这些应用程序。云计算架构的软件或组件以及对应的数据可以存储在远程服务器上。云计算环境中的计算资源可以被合并或分布在远程数据中心的位置。云计算基础设施可以通过共享数据中心提供服务，尽管它们表现为作为用户的单一接入点。因此，云计算架构可与被用于从远程位置的服务提供商处提供本文所述的组件和功能。备选地，它们可以由常规服务器提供，或者直接或以其他方式安装在客户端设备上。

在本公开的实施例中，计算设备2700可以被用于实现视频编码/解码。存储器2720可以包括具有一个或多个程序指令的一个或多个视频编解码模块2725。这些模块能够由处理单元2710访问和执行，以执行本文描述的各种实施例的功能。

在执行视频编码的示例实施例中，输入设备2750可以接收视频数据作为待编码的输入2770。视频数据可以由例如视频编解码模块2725处理，以生成经编码的码流。经编码的码流可以经由输出设备2760作为输出2780被提供。

在执行视频解码的示例实施例中，输入设备2750可以接收经编码的码流作为输入2770。经编码的码流可以由例如视频编解码模块2725处理，以生成经解码的视频数据。经解码的视频数据可以经由输出设备2760作为输出2780被提供。

虽然已经参考本公开的优选实施例具体示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求限定的本申请的精神和范围的情况下，可以在形式和细节上进行各种改变。这些变化旨在由本申请的范围所涵盖。因此，本申请的实施例的前述描述不旨在是限制性的。

Claims

1.一种用于视频处理的方法，包括：

在视频的当前视频块和所述视频的比特流之间的转换期间，基于应用于参考视频块的编解码模式，确定所述参考视频块的编解码信息是否被使用以对所述当前视频块的运动信息的第一条编解码；以及

基于所述确定来执行所述转换。

2.根据权利要求1所述的方法，其中所述编解码信息包括以下一项：

所述参考视频块的运动信息的第二条，或

通过基于模板的模式导出或细化的编解码信息。

3.根据权利要求1或权利要求2所述的方法，其中所述当前视频块在与所述参考视频块相同的图片、条带、图块或子图片中。

4.根据权利要求1或权利要求2所述的方法，其中所述当前视频块在与所述参考视频块不同的图片、条带、图块或子图片中。

5.根据权利要求2所述的方法，其中确定所述参考视频块的所述编解码信息是否被使用包括：

响应于所述参考视频块是基于模板被编解码的，确定所述参考视频块的所述运动信息的所述第二条不被使用以对所述当前视频块的所述运动信息的所述第一条编解码。

6.根据权利要求5所述的方法，其中在所述当前视频块的编解码过程或所述当前视频块的解码过程期间，所述参考视频块被标记为不可用的或被帧内编解码的。

7.根据权利要求5所述的方法，其中在所述当前视频块的编解码过程或所述当前视频块的解码过程期间，所述参考视频块的所述运动信息被设置为一个或多个默认值。

8.根据权利要求5所述的方法，还包括：

通过使用所述参考视频块的所述运动信息的第三条来编解码所述当前视频块的所述运动信息的所述第一条，其中所述第三条是在所述基于模板的编解码过程之前被获得的。

9.根据权利要求8所述的方法，其中针对所述参考视频块，所述运动信息的所述第三条代替所述运动信息的所述第二条被存储。

10.根据权利要求8所述的方法，其中所述运动信息的所述第三条代替所述运动信息的所述第二条能被用于所述当前视频块的空间运动矢量预测。

11.根据权利要求10所述的方法，其中所述空间运动矢量预测包括以下至少一项：

合并候选，

高级运动矢量预测，或

基于历史的运动矢量预测表。

12.根据权利要求2所述的方法，其中所述参考视频块的所述运动信息的所述第二条是否被使用以在去块滤波中对所述当前视频块的所述运动信息的所述第一条编解码是基于应用于所述参考视频块的所述编解码模式被确定的。

13.根据权利要求12所述的方法，其中如果所述参考视频块是基于模板被编解码的，则所述参考视频块的所述运动信息的所述第二条不被用于所述去块滤波。

14.根据权利要求13所述的方法，其中所述参考视频块在所述去块滤波中被标记为不可用的或被帧内编解码的。

15.根据权利要求13所述的方法，其中所述参考视频块的所述运动信息在所述去块滤波中被设置为一个或多个默认值。

16.根据权利要求13所述的方法，其中所述参考视频块的所述运动信息的第三条被用于所述去块滤波，并且其中所述第三条是在所述基于模板的编解码过程之前被获得的。

17.根据权利要求16所述的方法，其中针对所述参考视频块，所述运动信息的所述第三条代替所述运动信息的所述第二条被存储。

18.根据权利要求2-17所述的方法，其中所述运动信息的所述第二条包括以下至少一项：

运动矢量，

参考索引，

参考列表，

加权值，或

局部照明补偿(LIC)中的a和b参数。

19.根据权利要求2所述的方法，其中通过基于模板的模式导出或细化的所述编解码信息包括帧内预测模式。

20.根据权利要求19所述的方法，其中针对利用解码器侧帧内模式导出模式(DIMD)编解码的所述参考视频块，所导出的帧内预测模式在以下至少一项期间不被允许使用：

当前条带、当前图块、当前子图片或当前图片中的所述当前视频块的编解码过程，

当前条带、当前图块、当前子图片或当前图片中的所述当前视频块的解码过程，或

去块滤波过程。

21.根据权利要求20所述的方法，其中所述帧内预测模式是根据模板过程或DIMD过程被导出的。

22.根据权利要求20所述的方法，其中一个或多个所导出的帧内预测模式不被包括在最可能模式(MPM)列表中。

23.根据权利要求22所述的方法，其中所述一个或多个所导出的帧内预测模式是通过使用当前视频块的邻近重建样本被导出的。

24.根据权利要求22所述的方法，其中所述MPM列表包括主MPM列表或辅MPM列表中的至少一项。

25.根据权利要求24所述的方法，其中一个或多个所导出的帧内预测模式被包括在所述辅MPM列表中。

26.根据权利要求20所述的方法，其中所导出的帧内预测模式的部分被包括在主MPM列表或辅MPM列表中。

27.根据权利要求19所述的方法，其中针对利用具有所述基于模板的模式的帧内块复制(IBC)编解码的所述参考视频块，所导出的参考视频块或经细化的参考视频块在以下至少一项期间不被允许使用：

当前条带、当前图块、当前子图片或当前图片中所述当前视频块的编解码过程，

当前条带、当前图块、当前子图片或当前图片中所述当前视频块的解码过程，或

去块滤波过程。

28.根据权利要求27所述的方法，其中所述参考视频块是根据模板过程被导出或被细化的。

29.根据权利要求1-28中任一项所述的方法，其中所述转换包括从所述视频的所述比特流解码所述当前视频块。

30.根据权利要求1-28中任一项所述的方法，其中所述转换包括将所述当前视频块编码到所述视频的所述比特流中。

31.一种用于视频处理的方法，包括：

在视频的当前视频块和所述视频的比特流之间的转换期间，基于所述当前视频块的编解码信息或所述当前视频块的至少一个邻近视频块的编解码信息，确定基于模板的过程是否被应用于所述当前视频块；以及

基于所述确定来执行所述转换。

32.根据权利要求31所述的方法，其中所述当前视频块的所述编解码信息包括以下至少一项：

所述当前视频块的宽度，

所述当前视频块的高度，

所述当前视频块的尺寸，

所述当前视频块的编解码树深度，

所述当前视频块的编解码模式，

所述当前视频块的预测方向，

所述当前视频块的参考信息，或

所述当前视频块的纹理特性。

33.根据权利要求31所述的方法，其中所述至少一个邻近视频块的所述编解码信息包括以下至少一项：

所述至少一个邻近视频块的相应宽度，

所述至少一个邻近视频块的相应高度，

所述至少一个邻近视频块的相应尺寸，

所述至少一个邻近视频块的相应编解码树深度，或

所述至少一个邻近视频块的相应编解码模式。

34.根据权利要求31所述的方法，其中如果所述当前视频块上方的邻近块满足一个或多个预定义条件，由所述当前视频块上方的所述邻近块覆盖的上方邻近样本不被包括在所述基于模板的过程的模板中。

35.根据权利要求31所述的方法，其中如果位于所述当前视频块的左侧的邻近块满足一个或多个预定义条件，由所述当前视频块的左侧的所述邻近块覆盖的左侧邻近样本不被包括在所述基于模板的过程的模板中。

36.根据权利要求34或权利要求35所述的方法，其中所述一个或多个预定义条件包括以下至少一项：

所述至少一个邻近视频块是帧间编解码的；

所述至少一个邻近视频块是帧内编解码的；

所述至少一个邻近视频块是帧内块复制(IBC)编解码的；

所述至少一个邻近视频块的残差等于零；

所述至少一个邻近视频块的残差不等于零；

所述至少一个邻近视频块是基于模板被编解码的；或

所述至少一个邻近视频块不是基于模板被编解码的。

37.根据权利要求31所述的方法，其中邻近视频块的预测样本被使用以获得用于基于模板被编解码的块的模板。

38.根据权利要求37所述的方法，其中所述邻近视频块的预测样本被使用以获得用于以下至少一项的所述模板：

被帧间编解码的块，

被帧内编解码的块，

被帧内块复制编解码的块，或

被调色板编解码的块。

39.根据权利要求31-38中任一项所述的方法，其中所述转换包括从所述视频的所述比特流解码所述当前视频块。

40.根据权利要求31-38中任一项所述的方法，其中所述转换包括将所述当前视频块编码到所述视频的所述比特流中。

41.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时，使所述处理器执行根据权利要求1-30中任一项或权利要求31-40中任一项所述的方法。

42.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器执行根据权利要求1-30中任一项或权利要求31-40中任一项所述的方法。

43.一种非暂时性计算机可读记录介质，存储视频的由视频处理装置执行的方法生成的比特流，其中所述方法包括：

基于应用于参考视频块的编解码模式，确定所述参考视频块的编解码信息是否被使用以对当前视频块的运动信息的第一条编解码；以及

基于所述确定来生成所述比特流。

44.一种用于存储视频的比特流的方法，包括：

基于应用于参考视频块的编解码模式，确定所述参考视频块的编解码信息是否被使用以对当前视频块的运动信息的第一条编解码；

基于所述确定来生成所述比特流；以及

将所述比特流存储在非暂时性计算机可读记录介质中。

45.一种非暂时性计算机可读记录介质，存储视频的由视频处理装置执行的方法生成的比特流，其中所述方法包括：

基于当前视频块的编解码信息或所述当前视频块的至少一个邻近视频块的编解码信息，确定基于模板的过程是否被应用于所述当前视频块；以及

基于所述确定来生成所述比特流。

46.一种用于存储视频的比特流的方法，包括：

基于当前视频块的编解码信息或所述当前视频块的至少一个邻近视频块的编解码信息，确定基于模板的过程是否被应用于所述当前视频块；

基于所述确定来生成所述比特流；以及

将所述比特流存储在非暂时性计算机可读记录介质中。