CN114097234A - 解码器侧运动矢量细化工具开/关控制 - Google Patents

Abstract

本公开描述了用于实现对两个或更多个不同解码器侧细化工具的非常精确的开/关控制的技术。不是仅仅对于视频数据的整个视频序列允许或启用这些工具，本公开描述了用于对于视频序列的子集(或部分)启用或禁用不同解码器侧细化工具的技术。

Description

解码器侧运动矢量细化工具开/关控制

本申请要求于2020年6月4日提交的美国专利申请第16/892,714号的优先权，该申请要求于2019年6月6日提交的美国临时申请第62/858,094号和2019年6月18日提交的美国临时申请第62/863,080号的权益，上述每个申请的全部内容通过引用并入本文。

技术领域

本公开涉及视频编码和视频解码。

背景技术

数字视频能力可以被整合到广泛的设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、笔记本电脑或台式电脑、平板电脑、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏机、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流传送设备等。数字视频设备实施视频编码技术，诸如MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、第10部分、高级视频编码(AVC)、ITU-T H.265/高效视频编码(HEVC)所定义的标准或者此类标准的扩展中所描述的那些视频编码技术。通过实施这样的视频编码技术，视频设备可以更有效地发送、接收、编码、解码和/或存储数字视频信息。

视频编码技术包括空间(图片内)预测和/或时间(图片间)预测，以减少或去除视频序列中固有的冗余。对于基于块的视频编码，可以将视频切片(例如，视频图片或视频图片的一部分)划分为视频块，这些视频块也可以称为编码树单元(CTU)、编码单元(CU)和/或编码节点。图片的帧内编码(I)切片中的视频块使用相对于同一图片中邻近块中的参考样本的空间预测进行编码。图片的帧间编码(P或B)切片中的视频块可以使用相对于同一图片中邻近块中的参考样本的空间预测或者相对于其他参考图片中的参考样本的时间预测。图片可以称为帧，并且参考图片可以称为参考帧。

发明内容

在通用视频译码(VVC)标准的发展中，已经将多种解码器侧运动细化工具提出和/或采用到标准中以提高压缩效率。一个示例是双向光流(BDOF)，并且另一个示例工具是解码器侧运动矢量细化(DMVR)。总体上，本公开描述了多种不同的视频编码和解码技术，包括用于解码器侧细化工具开/关控制的技术。

更具体地，本公开描述了用于启用两个或更多个不同解码器侧细化工具的非常精确的开/关控制的技术。不是仅仅对于视频数据的整个视频序列允许或启用这些工具，本公开描述了用于对于视频序列的子集(或部分)启用或禁用不同解码器侧细化工具的技术。以这种方式，这些技术可以在不同视频应用或设置中降低解码复杂度和提高压缩效率的竞争目标之间提供更大的灵活性。

在一些示例中，本公开描述对包含多个图片的视频数据序列进行解码的方法。该方法可以包括解码指示对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具的第一语法元素，以及基于第一语法元素的值来确定对于视频数据的第一子集是否启用第一解码器侧细化工具。此外，该方法可以包括解码指示对于具有视频数据序列的视频数据的第一子集是启用还是禁用第二解码器侧细化工具的第二语法元素，以及基于第一语法元素的值来确定对于视频数据的第一子集是启用还是禁用第二解码器侧细化工具。作为示例，视频数据的第一子集可以包括视频序列内的片、图片、子图片、帧或视频数据块。解码视频数据的第一子集可以包括响应于对于第一子集启用第一解码器侧细化工具，使用第一解码器侧细化工具解码视频数据的第一子集，响应于对于第一子集禁用第一解码器侧细化工具而在不使用第一解码器侧细化工具的情况下解码视频数据的第一子集，响应于第二解码器侧细化工具被禁用而使用第二解码器侧细化工具解码视频数据的第一子集，并且响应于对于第一子集禁用第二解码器侧细化工具而在不使用第二解码器侧细化工具的情况下解码视频数据的子集。

在其他示例中，本公开描述了一种对包括多个图片的视频数据序列进行编码的方法。该方法可以包括对第一语法元素的第一实例进行编码以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具，对第一语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第一解码器侧细化工具，其中第二子集不同于第一子集，对第二语法元素的第一实例进行编码以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具，并且对第二语法元素的第二实例进行编码以识别对于视频数据序列中的第二个视频数据子集是启用还是禁用第二解码器侧细化工具。

在一些示例中，本公开描述了一种视频解码设备，该视频解码设备包括被配置为存储包括多个图片的视频数据序列的存储器，以及被配置为对第一语法元素进行解码的处理电路，该第一语法元素指示对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具，基于第一语法元素的值来确定对于视频数据的第一子集是启用还是禁用第一解码器侧细化工具，对第二语法元素进行解码，该第二语法元素指示对于视频序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具，并且基于第一语法元素的值来确定对于视频序列的第一子集是启用还是禁用第一解码器侧细化工具。处理电路还可以被配置为响应于对于第一子集启用第一解码器侧细化工具而使用第一解码器侧细化工具解码视频数据的第一子集，响应于对于第一子集禁用第一解码器侧细化工具而在不使用第一解码器侧细化工具的情况下解码视频数据的第一子集，响应于对于第一子集启用第二解码器侧细化工具而使用第二解码器侧细化工具解码视频数据的第一子集，并且响应于对于第一子集禁用第二解码器侧细化工具而在不使用第二解码器侧细化工具的情况下解码视频数据的子集。

在一些示例中，本公开描述了一种视频编码设备，其包括被配置为存储包括多个图片的视频数据序列的存储器，以及被配置为对第一语法元素的第一实例进行编码以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具，编码第一语法元素的第二实例以识别对于第二个视频数据序列内的视频数据子集是启用还是禁用第一解码器侧细化工具，其中第二子集不同于第一子集，编码第二语法元素的第一实例以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具，并对第二语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第二解码器侧细化工具。

在其他示例中，本公开描述了一种存储指令的计算机可读存储介质，所述指令在被执行时使视频设备的一个或多个处理器执行本公开的编码或解码方法。

在附图和以下描述中阐述了一个或多个示例的细节。从描述、附图和权利要求中，其他特征、目的和优点将是显而易见的。

附图说明

图1是图示可执行本公开的技术的示例视频编码及解码系统的框图。

图2A和2B是图示示例四叉树二叉树(QTBT)结构和对应译码树单元(CTU)的概念图。

图3是图示可执行本公开的技术的示例视频编码器的框图。

图4是图示可执行本公开的技术的示例视频解码器的框图。

图5是图示在双向光流中使用的扩展译码单元区域的概念图。

图6是图示解码器侧运动矢量细化的示例的概念图。

图7是图示具有运动矢量差异搜索点的示例合并模式的概念图。

图8是图示本公开的示例编码方法的流程图。

图9是图示本公开的示例解码方法的流程图。

图10是图示与本公开一致的另一解码方法的流程图。

图11是说明与本公开一致的另一编码方法的流程图。

具体实施方式

本公开描述了用于启用对两个或更多个不同解码器侧细化工具的非常精确的开/关控制的技术。伴随诸如当前正在开发的通用视频译码(VVC)标准的一些视频压缩标准，若干解码器侧的运动细化工具已经被采用来提高压缩效率。然而，虽然解码器侧的运动细化工具能够提高压缩效率，但它们也会增加解码复杂度，这在某些情况下是不可取的。本公开的技术能在启用或禁用解码器侧细化工具的能力方面提供更大的灵活性，从而能够在降低解码复杂度和提高不同视频应用或设置中的压缩效率的竞争目标之间提供灵活性。

一个示例解码器侧细化工具是双向光流(BDOF)工具，而另一个示例解码器侧细化工具是解码器侧运动矢量细化(DMVR)工具。总体上，本公开描述用于这些或其他解码器侧细化工具的解码器侧运动细化开/关控制的技术。特别地，所描述的技术能允许对视频序列内的视频数据的子集进行非常精确的开/关控制。举例来说，并非仅允许或启用用于视频序列的这些工具，本公开描述了用于启用或禁用用于视频序列的子集(或部分)的不同解码器侧细化工具的技术。

在一些示例中，可以对于视频序列的不同子集或部分(例如，对于视频序列内的视频数据切片、视频序列内的视频数据帧、视频序列内的视频数据图片、视频序列内的视频数据子图片、视频序列内的视频数据块或视频序列的视频数据的另一部分(一些但非全部))启用或禁用不同的解码器侧细化工具的单独的开/关控制。这样，在不同视频应用程序或设置中降低解码复杂度和提高压缩效率的竞争目标之间可以获得更大的灵活性。例如，视频序列的子集可以包括视频数据序列的多个图片中的第一图片的至少一部分。

根据本公开，可以启用一个或多个解码器侧细化工具以提高压缩效率，或者替代地，可以禁用一个或多个解码器侧细化工具以提高解码器的简单性。通过允许对视频数据的子集(例如，仅对于整个视频序列的部分或一部分)进行控制，这种控制可以更具适应性。开/关控制可以经由用于视频数据帧、视频数据图片、视频数据切片、视频数据子图片、视频数据块或更大视频序列的其他子集或子部分的译码的比特流的一个或多个语法元素而被用信号通知。

本公开将使用以下首字母缩略词：

译码单元：CU

译码树单元：CTU

运动矢量：MV

运动矢量差分：MVD

运动矢量预测器：MVP

图1是图示可执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术总体上对于译码(编码和/或解码)视频数据。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的、未编码的视频、编码的视频、解码的(例如，重构的)视频和诸如信令数据的视频元数据。

如图1所示，在该示例中，系统100包括源设备102，其提供要由目的地设备116解码和显示的编码的视频数据。特别地，源设备102经由计算机可读介质110向目的地设备116提供视频数据。源设备102和目的地设备116可以包括多种设备中的任一种，包括台式计算机、笔记本(即膝上型)计算机、平板电脑、机顶盒、电话手机如智能手机、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流传输设备等。在一些情况下，源设备102和目的地设备116可以被配备用于无线通信，并且因此可以被称为无线通信设备。

在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用用于解码器侧运动细化开/关控制的技术。因此，源设备102代表视频编码设备的示例，而目的地设备116代表视频解码设备的示例。在其他示例中，源设备和目的地设备可以包括其他组件或布置。例如，源设备102可以从诸如外部相机的外部视频源接收视频数据。同样，目的地设备116可以与外部显示设备接口，而不是包括集成显示设备。

如图1所示的系统100只是一个示例。一般而言，任何数字视频编码和/或解码设备可以执行用于解码器侧运动细化开/关控制的技术。源设备102和目的地设备116仅仅是这样的译码设备的示例，其中源设备102生成译码的视频数据以传输到目的地设备116。本公开将“译码”设备称为执行数据的译码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300分别表示译码设备的示例，特别是视频编码器和视频解码器。在一些示例中，设备102、116可以以基本对称的方式操作，使得设备102、116中的每一个都包括视频编码和解码组件。因此，系统100可以支持视频设备102、116之间的单向或双向视频传输，例如用于视频流传输、视频回放、视频广播或视频电话。

一般而言，视频源104表示视频数据源(即，原始的、未编码的视频数据)并且向视频编码器200提供视频数据的一系列连续图片(也称为“帧”)，其对图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，诸如摄像机、包含先前捕获的原始视频的视频档案和/或用于从视频内容提供者接收视频的视频馈送接口。作为进一步的替代，视频源104可以生成基于计算机图形的数据作为源视频，或者实况视频、存档视频和计算机生成视频的组合。在每种情况下，视频编码器200对捕获的、预先捕获的或计算机生成的视频数据进行编码。视频编码器200可将图片从接收顺序(有时称为“显示顺序”)重新排列为用于译码的译码顺序。视频编码器200可以生成包括编码的视频数据的比特流。源设备102然后可以经由输出接口108将编码的视频数据输出到计算机可读介质110上以供例如目的地设备116的输入接口122接收和/或检索。

源设备102的存储器106和目的地设备116的存储器120代表通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如来自视频源104的原始视频和来自视频解码器300的原始解码的视频数据。附加地或替代地，存储器106、120可以存储例如可分别由视频编码器200和视频解码器300执行的软件指令。尽管在该示例中与视频编码器200和视频解码器300分开示出，但是应当理解，视频编码器200和视频解码器300还可以包括用于功能相似或等效作用的内部存储器。此外，存储器106、120可以存储例如从视频编码器200输出并且输入到视频解码器300的编码的视频数据。在一些示例中，存储器106、120的部分可以被分配作为一个或多个视频缓冲器，例如用于存储原始、解码和/或编码的视频数据。

计算机可读介质110可以代表能够将编码的视频数据从源设备102传输到目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110代表通信介质以启用源设备102例如经由射频网络或基于计算机的网络将编码的视频数据实时地直接传输到目的地设备116。根据诸如无线通信协议的通信标准，输出接口108可以调制包括编码的视频数据的传输信号，并且输入接口122可以解调接收到的传输信号。通信介质可包括任何无线或有线通信介质，例如射频(RF)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络的一部分，诸如局域网、广域网或诸如因特网的全球网络。通信介质可以包括路由器、交换机、基站或任何其他可用于促进从源设备102到目的地设备116的通信的设备。

在一些示例中，源设备102可以将编码的数据从输出接口108输出到存储设备112。类似地，目的地设备116可以经由输入接口122访问来自存储设备112的编码的数据。存储设备112可以包括多种分布式或本地访问的数据存储介质，诸如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器，或用于存储编码的视频数据的任何其他合适的数字存储介质。

在一些示例中，源设备102可以将编码的视频数据输出到文件服务器114或可以存储由源设备102生成的编码的视频的另一个中间存储设备。目的地设备116可以经由流传输或下载而从文件服务器114访问存储的视频数据。文件服务器114可以是能够存储编码的视频数据并将该编码的视频数据传输到目的地设备116的任何类型的服务器设备。文件服务器114可以代表网络服务器(例如，用于网站)、文件传输协议(FTP)服务器、内容交付网络设备或网络附加存储(NAS)设备。目的地设备116可以通过包括互联网连接的任何标准数据连接来访问来自文件服务器114的编码的视频数据。这可以包括无线信道(例如，Wi-Fi连接)、有线连接(例如，数字用户线(DSL)、电缆调制解调器等)，或者适合访问存储在文件服务器114上的编码的视频数据的两者的组合。文件服务器114和输入接口122可以被配置为根据流传输协议、下载传输协议或其组合进行操作。

输出接口108和输入接口122可以代表无线发射器/接收器、调制解调器、有线网络组件(例如以太网卡)、根据各种IEEE802.11标准中的任何一个操作的无线通信组件或其他物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据蜂窝通信标准(诸如4G、4G-LTE(长期演进)、LTE Advanced、5G等)传送诸如编码的视频数据的数据。在输出接口108包括无线发射器的一些示例中，输出接口108和输入接口122可以被配置为根据其他无线标准(诸如IEEE 802.11规范、IEEE 802.15规范(例如，ZigBee^TM)、Bluetooth^TM标准等)传送诸如编码的视频数据的数据。在一些示例中，源设备102和/或目的地设备116可以包括相应的片上系统(SoC)设备。例如，源设备102可以包括用于执行属于视频编码器200和/或输出接口108的功能的SoC设备，并且目的地设备116可以包括用于执行属于视频解码器300和/或输入接口的功能的SoC设备122。

本公开的技术可以应用于支持多种多媒体应用中的任一种的视频译码，诸如空中电视广播、有线电视传输、卫星电视传输、因特网流视频传输，诸如基于HTTP的动态自适应流媒体(DASH)、编码到数据存储介质上的数字视频、存储在数据存储介质上的数字视频的解码，或其他应用程序。

目的地设备116的输入接口122从计算机可读介质110(例如，存储设备112、文件服务器114等)接收编码的视频比特流。编码的视频比特流可包含由视频编码器200定义的也由视频解码器300使用的信令信息，诸如具有描述视频块或其他译码的单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值的语法元素。显示设备118向用户显示解码的视频数据的解码的图片。显示设备118可以代表多种显示设备中的任一种，诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或其他类型的显示设备。

虽然图1未示出，但在一些示例中，视频编码器200和视频解码器300也可以各自与音频编码器和/或音频解码器集成，并且可以包括适当的MUX-DEMUX单元或其他硬件和/或软件，以处理包括在公共数据流中包括音频和视频这两者的复用流。如果适用，MUX-DEMUX单元可以符合ITU H.223多路复用器协议或诸如用户数据报协议(UDP)的其他协议。

视频编码器200和视频解码器300均可以实现为多种合适的编码器和/或解码器电路中的任何一种，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当这些技术部分地以软件实现时，设备可以将用于软件的指令存储在合适的非暂时性计算机可读介质中并且使用一个或多个处理器在硬件中执行指令以执行本公开的技术。视频编码器200和视频解码器300中的每一个可以被包括在一个或多个编码器或解码器中，其中的任何一个可以被集成为相应设备中的组合编码器/解码器(CODEC)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或诸如蜂窝电话的无线通信设备。

视频编码器200和视频解码器300可以根据视频译码标准(诸如ITU-T H.265，也称为高效视频译码(HEVC)或其扩展，诸如多视图和/或可扩展的视频译码扩展)进行操作。替代地，视频编码器200和视频解码器300可以根据其他专有或行业标准(诸如联合探索测试模型(JEM)或ITU-T H.266，也称为通用视频译码(VVC))进行操作。Bross等人描述了VVC标准的最新草案——“通用视频译码(草案5)”，ITU-T SG 16 WP3和ISO/IEC JTC 1/SC 29/WG11的联合视频专家组(JVET)，第14次会议：日内瓦，2019年3月19-27日，JVET-N1001-v3(以下简称“VVC草案5”)。然而，本公开的技术不限于任何特定的译码标准。

通常，视频编码器200和视频解码器300可以执行图片的基于块的译码。术语“块”通常是指包括要被处理(例如，被编码的、被解码或以其他方式在编码和/或解码过程中被使用)的数据的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。通常，视频编码器200和视频解码器300可以对以YUV(例如，Y、Cb、Cr)格式表示的视频数据进行译码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行译码，而不是对图片样本的红色、绿色和蓝色(RGB)数据进行译码，其中色度分量可以包括红色色调和蓝色色调色度分量两者。在一些示例中，视频编码器200在编码之前将接收到的RGB格式数据转换为YUV表示，并且视频解码器300将YUV表示转换为RGB格式。替代地，预处理和后处理单元(未示出)可以执行这些转换。

本公开总体上可以涉及图片的译码(例如，编码和解码)以包括对图片的数据进行编码或解码的过程。类似地，本公开可以涉及对图片的块进行译码以包括对块的数据进行编码或解码的过程，例如预测和/或残差译码。编码的视频比特流通常包括表示编码决策(例如，编码模式)和将图片分割成块的语法元素的一系列值。因此，对编码图片或块的引用一般应理解为用于形成图片或块的语法元素的编码值。

HEVC定义各种块，包括译码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频译码器(诸如视频编码器200)根据四叉树结构将译码树单元(CTU)划分为CU。也就是说，视频译码器将CTU和CU划分为四个相等、不重叠的正方形，并且四叉树的每个节点都有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且这种叶节点的CU可以包括一个或多个PU和/或一个或多个TU。视频译码器可以进一步划分PU和TU。例如，在HEVC中，残差四叉树(RQT)表示TU的分区。在HEVC中，PU代表帧间预测数据，而TU代表残差数据。被帧内预测的CU包括帧内预测信息，诸如帧内模式指示。

作为另一示例，视频编码器200和视频解码器300可以被配置为根据JEM或VVC进行操作。根据JEM或VVC，视频译码器(诸如视频编码器200)将图片划分为多个译码树单元(CTU)。视频编码器200可以根据树结构(诸如四叉树-二叉树(QTBT)结构或多类型树(MTT)结构)划分CTU。QTBT结构去除了多种分区类型的概念，诸如HEVC的CU、PU和TU之间的分离。QTBT结构包括两级：第一级根据四叉树划分，第二级根据二叉树划分。QTBT结构的根节点对应一个CTU。二叉树的叶节点对应于译码单元(CU)。

在MTT分区结构中，块可以使用四叉树(QT)分区、二叉树(BT)分区和一种或多种类型的三叉树(TT)分区来被分区。三叉树分区是一个块被分成三个子块的分区。在一些示例中，三叉树分区将块划分为三个子块而不通过中心划分原始块。MTT中的分区类型(例如QT、BT和TT)可以是对称的或非对称的。

在一些示例中，视频编码器200和视频解码器300可以使用单个QTBT或MTT结构来表示亮度和色度分量中的每一个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个QTBT或MTT结构，诸如一个用于亮度分量的QTBT/MTT结构和另一个用于两个色度分量的QTBT/MTT结构(或用于相应的色度分量的两个QTBT/MTT结构)。

视频编码器200和视频解码器300可以被配置为使用按HEVC的四叉树分区、QTBT分区、MTT分区或其他分区结构。出于说明的目的，关于QTBT分区呈现本公开的技术的描述。然而，应理解，本公开的技术还可应用于经配置以使用四叉树分区或其他类型的分区的视频译码器。

本公开可互换地使用“NxN”和“N乘N”来指代块(诸如CU或其他视频块)在垂直和水平维度方面的样本维度，例如16x16个样本或16乘16个样本。通常，16x16 CU将在垂直方向上有16个样本(y＝16)，在水平方向上有16个样本(x＝16)。同样，NxN CU一般在垂直方向有N个样本，在水平方向有N个样本，其中N代表非负整数值。CU中的样本可以按行和列排列。此外，CU在水平方向上的样本数不必与垂直方向上的样本数相同。例如，CU可以包括NxM个样本，其中M不一定等于N。

视频编码器200对代表预测和/或残差信息以及其他信息的CU的视频数据进行编码。预测信息指示将如何预测CU以形成用于CU的预测块。残差信息通常表示编码之前的CU的样本与预测块之间的逐个样本差异。

为了预测CU，视频编码器200通常可以通过帧间预测或帧内预测形成CU的预测块。帧间预测一般是指根据先前译码的图片的数据预测CU，而帧内预测一般是指根据相同图片的先前译码的数据预测CU。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量产生预测块。视频编码器200通常可以执行运动搜索以识别例如就CU与参考块之间的差异而言与CU紧密匹配的参考块。视频编码器200可以使用绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)或其他此类差计算来计算差度量以确定参考块是否与当前CU紧密匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前CU。

JEM和VVC的一些示例还提供仿射运动补偿模式，其可以被认为是帧间预测模式。在仿射运动补偿模式中，视频编码器200可以确定表示非平移运动(诸如放大或缩小、旋转、透视运动或其他不规则运动类型)的两个或更多个运动矢量。

为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。JEM和VVC的一些示例提供了67种帧内预测模式，包括各种方向模式以及平面模式和DC模式。一般而言，视频编码器200选择描述当前块(例如，CU的块)的相邻样本的帧内预测模式，从其预测当前块的样本。假设视频编码器200按光栅扫描顺序(从左到右、从上到下)对CTU和CU进行译码，这样的样本通常可以在与当前块相同的图片中的当前块的上方、左上方或左侧)。

视频编码器200对表示当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用各种可用帧间预测模式中的哪一个的数据以及对应模式的运动信息进行编码。例如，对于单向或双向帧间预测，视频编码器200可以使用高级运动矢量预测(AMVP)或合并模式对运动矢量进行编码。视频编码器200可以使用类似的模式对用于仿射运动补偿模式的运动矢量进行编码。

在诸如块的帧内预测或帧间预测的预测之后，视频编码器200可以计算块的残差数据。诸如残差块的残差数据代表块与块的使用对应的预测模式形成的预测块之间的逐个样本差异。视频编码器200可以将一个或多个变换应用于残差块，以在变换域而非样本域中产生经变换的数据。例如，视频编码器200可以将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。另外，视频编码器200可以在第一变换之后应用二次变换，诸如依赖于模式的不可分离二次变换(MDNSST)、依赖于信号的变换、Karhunen-Loeve变换(KLT)等。视频编码器200在应用一个或多个变换之后产生变换系数。

如上所述，在产生变换系数的任何变换之后，视频编码器200可以执行变换系数的量化。量化通常是指对变换系数进行量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。通过执行量化过程，视频编码器200可减少与一些或所有系数相关联的位深度。例如，视频编码器200可以在量化期间将n位值向下舍入为m位值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以执行要量化的值的按位右移。

在量化之后，视频编码器200可以扫描变换系数，从而从包括量化变换系数的二维矩阵产生一维矢量。扫描可以被设计为在矢量的前面放置较高能量(因此频率较低)的系数，而在矢量后面放置较低能量(因此频率较高)的变换系数。在一些示例中，视频编码器200可利用预定义的扫描顺序来扫描量化的变换系数以产生序列化的矢量，然后对该矢量的量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在扫描量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术编码(CABAC)对一维矢量进行熵编码。视频编码器200还可以对描述与编码的视频数据相关联的元数据的语法元素的值进行熵编码，以供视频解码器300在解码视频数据时使用。

为了执行CABAC，视频编码器200可以将上下文模型内的上下文分配给要传输的符号。上下文可以涉及例如符号的相邻值是否为零值。概率确定可以基于分配给符号的上下文。

视频编码器200还可以向视频解码器300例如在图片头、块头、切片头或诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS)的其他语法数据中生成语法数据，诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据。视频解码器300可以同样对这种语法数据进行解码以确定如何对对应的视频数据进行解码。实际上，本公开考虑了在与视频序列的一部分或子集(例如，一些但不是全部)相关联的参数集中出现的解码器侧细化控制信令。例如，这种信令可以应用于较大视频数据序列内的图片、帧、切片、子图片、视频块或视频数据的另一子集。因此，可以控制解码器侧细化控制信令，使得与视频序列(例如，第一图片、切片、帧、子图片、块或视频数据的其他子集)相关联的视频数据的第一子集被利用与同一视频序列内的视频数据的第二子集(例如，不同的图片、切片、帧、块、子图片或视频数据的其他子集)不同的解码器侧细化工具进行解码，该视频数据的第二子集与视频数据的第一子集不同。

以此方式，视频编码器200可产生包含编码d视频数据(例如，描述将图片划分成块(例如，CU)的语法元素)和块的预测和/或残差信息的比特流。最终，视频解码器300可以接收比特流并对编码的视频数据进行解码。解码器侧细化工具的开/关信令可以确保解码器被正确配置以应用任何期望的解码器侧细化，并且控制可以比传统控制更精细。

一般而言，视频解码器300执行与视频编码器200执行的过程相反的过程以解码比特流的编码的视频数据。例如，视频解码器300可以使用CABAC以与视频编码器200的CABAC编码过程基本类似但互易的方式对比特流的语法元素的值进行解码。语法元素可以将图片的分区信息定义为CTU，并根据对应的诸如QTBT结构的分区结构来对每个CTU进行分区以定义CTU的CU。此外，语法元素可以允许对解码器侧细化工具对于视频序列的不同部分是打开还是关闭的精确(子序列级)控制。语法元素可以进一步定义视频数据块(例如，CU)的预测和残差信息。

残差信息可以由例如量化的变换系数来表示。视频解码器300可对块的量化变换系数进行逆量化和逆变换以再现块的残差块。视频解码器300使用信号预测模式(帧内或帧间预测)和相关预测信息(例如，用于帧间预测的运动信息)来形成块的预测块。视频解码器300然后可以组合预测块和残差块(在逐个样本的基础上)以再现原始块。视频解码器300可以执行附加处理，诸如执行去块过程以减少沿块边界的视觉伪影。

根据本公开的技术，视频编码器200和视频解码器300可以被配置成对指示解码器侧运动细化模式对于视频序列内的视频数据的子集(例如，切片、图片、帧、子图片、块或其他子集)是打开还是关闭的语法元素进行编码，以及视频编码器200和视频解码器300可以基于与该子集(例如，切片、图片、帧、子图片、块或其他子集)相关联的语法元素来配置视频数据子集的代码块。

本公开总体上可以指“用信号通知”诸如语法元素的某些信息。术语“用信号通知”通常可以指用于对编码的视频数据进行解码的语法元素和/或其他数据的值的传送。也就是说，视频编码器200可以用信号通知比特流中的语法元素的值。通常，用信号通知是指在比特流中生成一个值。如上所述，源设备102可以基本上实时地或非实时地将比特流传送到目的地设备116，诸如在将语法元素存储到存储设备112以供目的地设备116稍后检索时可能发生的情况。根据本公开，可以使用不同的语法元素来用信号通知是否启用了不同的解码器侧细化工具，并且可以对于视频序列多次用信号通知语法元素以允许对于不同子集或视频序列的一部分(例如，对于视频数据的更大视频序列内的不同切片、图片、帧、子图片或视频数据块)启用或禁用解码器侧细化工具。

图2A和2B是图示示例四叉树二叉树(QTBT)结构130和对应的译码树单元(CTU)132的概念图。实线表示四叉树拆分，而虚线表示二叉树拆分。在二叉树的每个拆分(即，非叶)节点中，用信号通知一个标志以指示使用哪个拆分类型(即，水平或垂直)，其中0指示水平拆分，而1指示在此示例中的垂直拆分。对于四叉树拆分，不需要指示拆分类型，因为四叉树节点将一个块水平和垂直拆分成4个尺寸相等的子块。因此，视频编码器200可以编码并且视频解码器300可以解码QTBT结构130的区域树级(即，实线)的语法元素(诸如拆分信息)和用于QTBT结构130的预测树级(即，虚线)的语法元素(诸如拆分信息)。对于由QTBT结构130的终端叶节点表示的CU，视频编码器200可以编码并且视频解码器300可以解码诸如预测和变换数据的视频数据。

通常，图2B的CTU 132可以与定义对应于QTBT结构130的第一和第二级的节点的块的尺寸的参数相关联。这些参数可以包括CTU尺寸(代表样本中CTU 132的尺寸)、最小四叉树尺寸(MinQTSize，代表最小允许的四叉树叶节点尺寸)、最大二叉树尺寸(MaxBTSize，代表最大允许的二叉树根节点尺寸)、最大二叉树深度(MaxBTDepth，表示最大允许的二叉树深度)和最小二叉树尺寸(MinBTSize，表示最小允许的二叉树叶节点尺寸)。

对应于CTU的QTBT结构的根节点在QTBT结构的第一级可以有四个子节点，每个子节点可以按照四叉树分区进行划分。也就是说，第一级的节点要么是叶节点(没有子节点)，要么有四个子节点。QTBT结构130的示例将这样的节点表示为包括具有用于分支的实线的父节点和子节点。如果第一级的节点不大于最大允许的二叉树根节点尺寸(MaxBTSize)，则可以通过各自的二叉树进一步划分节点。可以迭代一个节点的二叉树拆分，直到拆分产生的节点达到最小允许的二叉树叶节点尺寸(MinBTSize)或最大允许的二叉树深度(MaxBTDepth)。QTBT结构130的示例将这样的节点表示为具有用于分支的虚线。二叉树叶节点被称为译码单元(CU)，用于预测(例如，图片内或图片间预测)和变换，而无需任何进一步划分。如上所述，CU也可称为“视频块”或“块”。

在QTBT分区结构的一个示例中，CTU尺寸设置为128x128(亮度样本和两个对应的64x64色度样本)，MinQTSize设置为16x16，MaxBTSize设置为64x64，MinBTSize(对于宽度和高度者两者)设置为4，MaxBTDepth设置为4。四叉树分区首先应用于CTU，以生成四叉树叶节点。四叉树叶节点的尺寸可以从16x16(即MinQTSize)到128x128(即CTU尺寸)。如果叶四叉树节点是128x128，则它不会被二叉树进一步拆分，这是因为尺寸超过了MaxBTSize(即，在本例中为64x64)。否则，叶四叉树节点将被二叉树进一步划分。因此，四叉树叶节点也是二叉树的根节点，二叉树深度为0。当二叉树深度达到MaxBTDepth(本例中为4)时，不允许进一步拆分。当二叉树节点的宽度等于MinBTSize(在本例中为4)时，这意味着不允许进一步的水平拆分。类似地，高度等于MinBTSize的二叉树节点意味着不允许对该二叉树节点进行进一步的垂直拆分。如上所述，二叉树的叶节点被称为CU，并根据预测和变换进行进一步处理而无需进一步划分。

图3为图示可以执行本公开的技术的示例视频编码器200的框图。图3是出于说明的目的而提供的并且不应被认为是对本公开中广泛例示和描述的技术的限制。出于说明的目的，本公开在诸如正在开发的HEVC视频译码标准和H.266视频译码标准的视频译码标准的上下文中描述视频编码器200。然而，本公开的技术不限于这些视频译码标准，并且一般适用于视频编码和解码。

在图3的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、解码的图片缓冲器(DPB)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、DPB218和熵编码单元220中的任何一个或全部可以在一个或多个处理器或处理电路中实现。此外，视频编码器200可以包括附加的或替代的处理器或处理电路以执行这些和其他功能。

视频数据存储器230可以存储要由视频编码器200的组件编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。DPB218可以充当参考图片存储器，其存储参考视频数据以用于视频编码器200对后续视频数据的预测。视频数据存储器230和DPB 218可以由多种存储器设备(诸如动态随机存取存储器(DRAM)，包括同步DRAM(SDRAM)、磁阻RAM(MRAM)、电阻RAM(RRAM)或其他类型的存储设备)中的任一种形成。视频数据存储器230和DPB 218可以由相同的存储器设备或分开的存储器设备提供。在各种示例中，视频数据存储器230可以与视频编码器200的其他组件一起在芯片上，如图所示，或者相对于那些组件在芯片外。

在本公开中，对视频数据存储器230的引用不应被解释为仅限于视频编码器200内部的存储器(除非如此具体描述)，或者视频编码器200外部的存储器(除非如此具体描述)。相反，对视频数据存储器230的引用应该被理解为存储视频编码器200接收用于编码的视频数据(例如，要被编码的当前块的视频数据)的引用存储器。图1的存储器106还可以提供来自视频编码器200的各个单元的输出的临时存储。

图3的各个单元被图示以帮助理解由视频编码器200执行的操作。这些单元可被实现为固定功能电路、可编程电路或其组合。固定功能电路是指提供特定功能并预先设置了可以执行的操作的电路。可编程电路是指可以被编程来执行各种任务的电路，并在可以执行的操作中提供灵活的功能。例如，可编程电路可以执行使可编程电路以软件或固件的指令定义的方式操作的软件或固件。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但固定功能电路执行的操作类型通常是不可变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能或可编程)，并且在一些示例中，一个或多个单元可以是集成电路。

视频编码器200可以包括由可编程电路形成的算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或可编程核。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收和执行的软件的目标代码，或视频编码器200内的另一个存储器(未示出)可能会存储此类指令。

视频数据存储器230被配置为存储接收到的视频数据。视频编码器200可以从视频数据存储器230检索视频数据的图片并且将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是要被编码的原始视频数据。

模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括附加功能单元以根据其他预测模式执行视频预测。作为示例，模式选择单元202可以包括调色板单元、块内复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(LM)单元等等。

模式选择单元202通常协调多个编码经过(pass)以测试编码参数的组合以及这种组合的所得率失真值。编码参数可以包括将CTU划分为CU、CU的预测模式、CU的残差数据的变换类型、CU的残差数据的量化参数等。模式选择单元202可以最终选择具有比其他被测试组合更好的率失真值的编码参数的组合。

视频编码器200可以将从视频数据存储器230检索的图片划分成一系列CTU，并且将一个或多个CTU封装在切片内。模式选择单元202可以根据树结构，诸如上述的HEVC的QTBT结构或四叉树结构来划分图片的CTU。如上所述，视频编码器200可通过根据树结构划分CTU来形成一个或多个CU。这样的CU也可以通常被称为“视频块”或“块”。

一般而言，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成当前块(例如，当前CU，或在HEVC中，PU和TU的重叠部分)的预测块。对于当前块的帧间预测，运动估计单元222可以执行运动搜索以识别一个或多个参考图片(例如，存储在DPB 218中的一个或多个先前译码的图片)中的一个或多个紧密匹配的参考块。特别地，运动估计单元222可以例如根据绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)等等来计算表示潜在参考块与当前块的相似程度的值。运动估计单元222通常可以使用当前块和所考虑的参考块之间的逐个样本差异来执行这些计算。运动估计单元222可以识别具有由这些计算产生的最低值的参考块，指示与当前块最接近地匹配的参考块。

运动估计单元222可以形成一个或多个运动矢量(MV)，其定义参考图片中的参考块相对于当前图片中的当前块的位置的位置。运动估计单元222然后可以向运动补偿单元224提供运动矢量。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供可以提供两个运动矢量。运动补偿单元224可以接着使用运动矢量产生预测块。例如，运动补偿单元224可以使用运动矢量来检索参考块的数据。作为另一示例，如果运动矢量具有分数样本精度，则运动补偿单元224可根据一个或多个内插滤波器内插预测块的值。此外，对于双向帧间预测，运动补偿单元224可以检索由相应运动矢量标识的两个参考块的数据，并且例如通过逐个采样平均或加权平均来组合检索到的数据。

作为另一示例，对于帧内预测或帧内预测译码，帧内预测单元226可从与当前块相邻的样本产生预测块。例如，对于方向模式，帧内预测单元226通常可以数学地组合相邻样本的值并且在跨当前块的定义方向上填充这些计算值以产生预测块。作为另一示例，对于DC模式，帧内预测单元226可以计算当前块的相邻样本的平均值并产生预测块以包括预测块的每一样本的找个所得到的平均值。

模式选择单元202向残差产生单元204提供预测块。残差产生单元204从视频数据存储器230接收当前块的原始、未编码版本并从模式选择单元202接收预测块。残差产生单元204计算当前块与预测块之间的逐个样本差异。产生的逐个样本差异定义了当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样本值之间的差异以使用残差差分脉冲编码调制(RDPCM)生成残差块。在一些示例中，残差生成单元204可以使用一个或多个执行二进制减法的减法器电路来形成。

在模式选择单元202将CU划分成PU的示例中，每一PU可与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种尺寸的PU。如上所述，CU的尺寸可以指CU的亮度译码块的尺寸，PU的尺寸可以指PU的亮度预测单元的尺寸。假设特定CU的尺寸为2Nx2N，则视频编码器200可支持用于帧内预测的2Nx2N或NxN的PU尺寸，以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似的对称PU尺寸。视频编码器200和视频解码器300还可支持用于帧间预测的2NxnU、2NxnD、nLx2N和nRx2N的PU尺寸的非对称分区。

在模式选择单元不进一步将CU划分成PU的示例中，每一CU可与亮度译码块及对应的色度译码块相关联。如上所述，CU的尺寸可以指CU的亮度译码块的尺寸。视频编码器200和视频解码器120可以支持2Nx2N、2NxN或Nx2N的CU尺寸。

对于其他视频译码技术，例如作为几个示例的块内复制模式译码、仿射模式译码和线性模型(LM)模式译码，模式选择单元202经由与译码技术相关联的各个单元为正在编码的当前块生成预测块。在一些示例中，例如调色板模式译码，模式选择单元202可以不生成预测块，而是生成指示基于所选调色板重构块的方式的语法元素。在此类模式中，模式选择单元202可以将这些语法元素提供给熵编码单元220以被编码。

如上所述，残差产生单元204接收当前块和对应预测块的视频数据。残差生成单元204然后为当前块生成残差块。为了生成残差块，残差生成单元204计算预测块与当前块之间的逐个样本差异。

变换处理单元206对残差块应用一个或多个变换以生成变换系数块(本文称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块以形成变换系数块。例如，变换处理单元206可以将离散余弦变换(DCT)、方向变换、Karhunen-Loeve变换(KLT)或概念上类似的变换应用于残差块。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如初级变换和次级变换，诸如旋转变换。在一些示例中，变换处理单元206不对残差块应用变换。

量化单元208可以量化变换系数块中的变换系数，以产生量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(QP)值来量化变换系数块的变换系数。视频编码器200(例如，经由模式选择单元202)可以通过调整与CU相关联的QP值来调整应用于与当前块相关联的变换系数块的量化程度。量化可能会导致信息丢失，并且因此量化的变换系数可能具有比变换处理单元206产生的原始变换系数更低的精度。

逆量化单元210和逆变换处理单元212可以将逆量化和逆变换分别应用于量化的变换系数块，以从变换系数块重构残差块。重构单元214可以基于重构的残差块和模式选择单元202生成的预测块来生成对应于当前块的重构块(尽管可能具有某种程度的失真)。例如，重构单元214可以添加将重构残差块转换为来自模式选择单元202生成的预测块的对应样本以产生重构块。

滤波器单元216可以对重构块执行一个或多个滤波器操作。举例来说，滤波器单元216可以执行解块操作以减少沿CU边缘的块效应伪影。在一些示例中，可以跳过过滤器单元216的操作。

视频编码器200将重构块存储在DPB 218中。例如，在不需要滤波器单元216的操作的示例中，重构单元214可以将重构块存储到DPB 218。在需要滤波器单元216的操作的示例中，滤波器单元216可将经滤波的重构块存储到DPB 218。运动估计单元222和运动补偿单元224可以从DPB 218检索参考图片，参考图片由重构的(并且可能经滤波的)块形成，以对随后编码的图片的块进行帧间预测。此外，帧内预测单元226可以使用当前图片的DPB 218中的重构块来帧内预测当前图片中的其他块。

一般而言，熵编码单元220可以对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可对来自量化单元208的经量化变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一个示例的语法元素执行一个或多个熵编码操作，以生成熵编码数据。例如，熵编码单元220可以执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、变量到变量(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC))操作、概率区间分区熵(PIPE)译码操作、指数-哥伦布编码操作或其他类型的数据熵编码操作。在一些示例中，熵编码单元220可以在其中语法元素未被熵编码的旁路模式下操作。

视频编码器200可以输出包括重构切片或图片的块所需的熵编码语法元素的比特流。特别地，熵编码单元220可以输出比特流。

上面描述的操作是关于块来描述的。这种描述应该被理解为是对亮度译码块和/或色度译码块的操作。如上所述，在一些示例中，亮度译码块和色度译码块是CU的亮度和色度分量。在一些示例中，亮度译码块和色度译码块是PU的亮度和色度分量。

在一些示例中，不需要对于色度译码块重复关于亮度编码块所执行的操作。作为一个示例，无需重复识别用于亮度编码块的运动矢量(MV)和参考图片的操作来识别用于色度块的MV和参考图片。相反，亮度编码块的MV可以被缩放以确定色度块的MV，并且参考图片可以是相同的。作为另一示例，对于亮度编码块和色度编码块，帧内预测过程可以是相同的。

视频编码器200表示被配置为对视频数据进行编码的设备的示例，该设备包括被配置为存储视频数据的存储器以及一个或多个处理单元，该一个或多个处理单元在电路中实现并且被配置为(例如，在切片级、图片级、子图片级、帧级或块级)对指示解码器侧运动细化模式对于视频序列内的视频数据子集是打开还是关闭的语法元素进行译码，并基于语法元素对视频数据子集中的视频数据块进行译码。

根据一些示例，解码器侧细化信令(例如，视频序列子集的开/关控制)可由模式选择单元202执行，并且可能由运动估计单元222和运动补偿单元224应用，作为编码过程中解码循环的一部分。例如，DMVR工具的启用或禁用可以由模式选择单元202通过将指示DMVR的打开或关闭的值输出到熵编码单元220来用信号通知。类似地，BDOF工具的启用或禁用可以由模式选择单元202通过将指示BDOF打开或关闭的值输出到熵编码单元220来用信号通知。然而，如这里所描述的可以被启用或禁用的其他类型的解码器侧细化也可以被诸如预测单元226和/或滤波器单元216的其他单元来启用。

在一些示例中，视频编码器200可以被配置为对包括多个图片的视频数据序列进行编码。这样做时，视频编码器200(特别是运动补偿单元224和熵编码单元220)可以被配置为对第一语法元素的第一实例进行编码以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具，并且对第一语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第一解码器侧细化工具，其中第二子集不同于第一个子集。此外，视频编码器200(特别是运动补偿单元224和熵编码单元220)可以进一步被配置为对第二语法元素的第一实例进行编码以识别对于第一子集是启用还是禁用第二解码器侧细化工具视频数据序列内的视频数据，并对第二语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第二解码器侧细化工具。以此方式，可以在译码的视频序列的不同子集的译码的比特流中启用或禁用两个不同解码器侧细化工具的开/关控制。视频数据存储器230可以包括被配置为存储包括多个图片的视频数据序列的存储器，并且运动补偿单元224和熵编码单元220可以包括被配置为执行与解码器侧细化相关联的编码和确定的处理电路工具。

图4是图示可以执行本公开的技术的示例视频解码器300的框图。图4是出于说明的目的而提供的并且不限制本公开中广泛例示和描述的技术。出于说明的目的，本公开描述根据JEM、VVC和HEVC的技术的视频解码器300。然而，本公开的技术可以由被配置为其他视频译码标准的视频译码装置来执行。

在图4的示例中，视频解码器300包括译码的图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码的图片缓冲器(DPB)314。CPB存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和DPB 314中的任何一个或全部可以在一个或多个处理器或处理电路中实现。此外，视频解码器300可以包括附加的或替代的处理器或处理电路以执行这些和其他功能。

预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括加法单元以根据其他预测模式执行预测。作为示例，预测处理单元304可以包括调色板单元、块内复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(LM)单元等。在其他示例中，视频解码器300可以包括更多、更少或不同的功能组件。

CPB存储器320可以存储将由视频解码器300的组件解码的视频数据，诸如编码的视频比特流。存储在CPB存储器320中的视频数据可以例如从计算机可读介质110获得(图1)。CPB存储器320可以包括存储来自编码看视频比特流的编码看视频数据(例如，语法元素)的CPB。此外，CPB存储器320可以存储除译码的图片的语法元素之外的视频数据，诸如表示来自视频解码器300的各个单元的输出的临时数据。DPB 314通常存储解码的图片，视频解码器300可以输出和/或使用该解码的图片在对编码的视频比特流的后续数据或图片进行解码时作为参考视频数据。CPB存储器320和DPB 314可以由多种存储器装置(例如DRAM，包括SDRAM、MRAM、RRAM或其他类型的存储器装置)中的任一种形成。CPB存储器320和DPB314可以由相同的存储器设备或分开的存储器设备提供。在各种示例中，CPB存储器320可以与视频解码器300的其他组件在芯片上，或者相对于那些组件在芯片外。

附加地或替代地，在一些示例中，视频解码器300可以从存储器120(图1)中检索编码的视频数据。也就是说，存储器120可以如上面讨论的那样与CPB存储器320一起存储数据。同样地，当视频解码器300的一些或全部功能在要由视频解码器300执行的软件中实现时，存储器120可以存储将由视频解码器300的处理电路执行的指令。在一些示例中，解码器侧细化(当启用时)由视频解码器300内的单元(例如诸如处理单元304、运动补偿单元316、帧内预测单元318和/或滤波器单元312)执行。例如，DMVR在被启用时可以由运动补偿单元316执行并且BDOF在被启用时可以由运动补偿单元执行。在其他示例中，可以如本文中所描述的那样被启用或禁用的其他类型的解码器侧细化可以由运动补偿单元316或其他单元(诸如帧内预测单元318和/或滤波器单元312)来执行。

图4所示的各个单元被图示以帮助理解由视频解码器300执行的操作。这些单元可被实现为固定功能电路、可编程电路或其组合。类似于图3，固定功能电路是指提供特定功能的电路，预先设定了可以执行的操作。可编程电路是指可以被编程来执行各种任并在可以执行的操作中提供灵活的功能务的电路。例如，可编程电路可以执行使可编程电路以软件或固件的指令定义的方式操作的软件或固件。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但固定功能电路执行的操作类型通常是不可变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能或可编程)，并且在一些示例中，一个或多个单元可以是集成电路。

视频解码器300可以包括ALU、EFU、数字电路、模拟电路和/或由可编程电路形成的可编程核。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收和执行的软件的指令(例如，目标代码)。

熵解码单元302可以从CPB接收编码的视频数据并对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流中提取的语法元素生成解码的视频数据。

一般而言，视频解码器300在逐块的基础上重构图片。视频解码器300可以单独地对每个块执行重构操作(其中当前正在被重构，即解码的块可以被称为“当前块”)。

熵解码单元302可以对定义量化变换系数块的量化变换系数的语法元素以及诸如量化参数(QP)和/或变换模式指示等变换信息进行熵解码。逆量化单元306可以使用与量化的变换系数块相关联的QP来确定量化的程度，并且同样地，确定逆量化单元306要应用的逆量化的程度。逆量化单元306可以例如执行按位左移操作以逆量化经量化的变换系数。逆量化单元306可以由此形成包括变换系数的变换系数块。

在逆量化单元306形成变换系数块之后，逆变换处理单元308可将一个或多个逆变换应用于变换系数块以生成与当前块相关联的残差块。例如，逆变换处理单元308可以对系数块应用逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆方向变换或另一逆变换。

此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示从其检索参考块的DPB 314中的参考图片，以及标识参考块相对于当前块在当前图片中的位置在参考图片中的位置的运动矢量。运动补偿单元316通常可以以与关于运动补偿单元224(图3)所描述的方式基本相似的方式来执行帧间预测过程。

作为另一示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可根据由预测信息语法元素指示的帧内预测模式产生预测块。同样，帧内预测单元318通常可以以与关于帧内预测单元226(图3)所描述的方式基本相似的方式来执行帧内预测过程。帧内预测单元318可以从DPB314检索当前块的相邻样本的数据。

重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样本添加到预测块的对应样本以重构当前块。

滤波器单元312可以对重构块执行一个或多个滤波器操作。举例来说，滤波器单元312可以执行解块操作以减少沿经重构块的边缘的块效应伪影。滤波器单元312的操作不一定在所有示例中执行。

视频解码器300可以将重构块存储在DPB 314中。如上所述，DPB 314可以向预测处理单元提供参考信息，诸如用于帧内预测的当前图片和用于后续运动补偿的先前解码的图片的样本。此外，视频解码器300可以输出来自DPB 314的解码图片用于随后在显示设备(诸如图1的显示设备118)上的呈现。

以此方式，视频解码器300代表视频解码装置的示例，其包含经配置以存储视频数据的存储器以及一个或多个处理电路，该一个或多个处理电路在电路中被实现并且被配置以(例如，在切片级、图片级、子图片级、帧级或块级)对指示解码器侧运动细化模式对于视频序列内的视频数据子集是打开还是关闭的语法元素进行译码，并基于语法元素对视频数据子集中的视频数据块进行译码。

例如，视频解码器300(具体地，熵解码单元302和运动补偿单元316)可以被配置为对指示第一解码器侧细化工具对于视频数据序列内的视频数据的第一子集是启用还是禁用的第一语法元素进行解码。基于第一语法元素的值确定对于视频数据的第一子集是启用还是禁用第一解码器侧细化工具，对指示对于视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具的第二语法元素进行解码，并且基于第一语法的值确定对于视频数据的第一子集是启用还是禁用第二解码器侧细化工具元素。视频解码器300(特别是熵解码单元302和运动补偿单元316)可以响应于对于第一子集启用第一解码器侧细化工具，使用第一解码器侧细化工具来解码视频数据的第一子集，响应于对于第一子集禁用第一解码器侧细化工具，在不使用第一解码器侧细化工具的情况下，使用第二解码器侧细化工具对视频数据的第一子集进行解码，响应于对于第一子集启用第二解码器侧细化工具，使用第二解码器侧细化工具对视频数据的第一子集进行解码，并且响应于对第一子集禁用第二解码器侧细化工具而在不使用第二解码器侧细化工具的情况下对视频数据的第一子集进行解码。CPB存储器320可以包括被配置为存储包括多个图片的视频数据序列的存储器，并且熵解码单元302和运动补偿单元316可以包括被配置为执行与解码器侧细化工具相关联的解码和确定的处理电路。

双向光流(BDOF)

双向光流(BDOF)模式，先前也称为BIO，是一种可用于在4×4子块级细化译码单元(CU)的双向预测信号的工具。顾名思义，BDOF模式基于光流概念，它假设物体的运动是平滑的。对于每个4×4子块，视频编码器200和视频解码器300可以通过最小化L0与L1预测样本之间的差异来计算运动细化(v_x,v_y)。视频编码器200和视频解码器300然后可以使用运动细化来调整4x4子块中的双向预测样本值。

在BDOF过程中可以应用以下步骤。首先，视频编码器200和视频解码器300可以计算水平和垂直梯度，

和

通过直接计算两个相邻样本之间的差值来计算两个预测信号，即，

其中，I^(k)(i,j)是列表k中预测信号坐标(i,j)处的样本值，k＝0,1。

然后，视频编码器200和视频解码器300可以如下计算梯度S1、S2、S3、S5和S6的自相关和互相关：

S₁＝∑_(i，j)∈Ωψ_x(i，j)·ψ_x(i，j)，S₃＝∑_(i，j)∈Ωθ(i，j)·ψ_x(i，j)

S₂＝∑_(i，j)∈Ωψ_x(i，j)·ψ_y(i，j)

S₅＝∑_(i，j)∈Ωψ_y(i，j)·ψ_y(i，j) S₆＝∑_(i，j)∈Ωθ(i，j)·ψ_y(i，j)，

其中

θ(i，j)＝(I⁽¹⁾(i，j)＞＞n_b)-(I⁽⁰⁾(i，j)＞＞n_b)，

并且其中Ω是4×4子块周围的6×6窗口。

视频编码器200和视频解码器300可以使用以下等式使用互相关项和自相关项来导出运动细化(v_x，v_y)：

其中

是地板函数。

基于运动细化和梯度，视频编码器200和视频解码器300可以为4×4子块中的每个样本计算以下调整：

最后，视频编码器200和视频解码器300可以通过如下调整双预测样本来计算CU的BDOF样本：

pred_BDOF(x，y)＝(I⁽⁰⁾(x，y)+I⁽¹⁾(x，y)+b(x，y)+o_offset)＞＞shift

选择这些值使得BDOF过程中的乘数不超过15位，并且BDOF过程中的中间参数的最大位宽保持在32位以内。

为了导出梯度值，视频编码器200和视频解码器300可以在当前CU边界之外的列表k(k＝0，1)中生成一些预测样本I^(k)(i，j)。图5是图示在双向光流中使用的扩展译码单元区域501的概念图。如图5所示，VVC测试模型4.0(VTM4)中的BDOF使用一个围绕CU边界的扩展行/列。为了控制生成越界预测样本的计算复杂度，视频编码器200和视频解码器300可以通过无需内插的情况下直接在附近整数位置(使用floor()对坐标的操作取得参考样本来在扩展区域中生成预测样本，并且使用普通的8抽头运动补偿插值滤波器在CU(灰度位置)内生成预测样本。在一些示例中，视频编码器200和视频解码器300可以仅在梯度计算中使用这些扩展样本值。对于BDOF过程中的剩余步骤，如果需要CU边界之外的任何样本和梯度值，则视频编码器200和视频解码器300可以填充(例如，重复)来自它们最近邻的样本和梯度值。

在VTM的一个示例中，视频编码器200和视频解码器300可以被配置为对用以下条件译码的CU应用BDOF：

-双向预测MV

-双向预测对于两个方向的权重相等

-一个参考图片是过去的，另一个参考图片是关于当前图片的未来

-CU有超过64个亮度样本且CU高度大于或等于8个亮度样本

解码器侧运动矢量细化(DMVR)

为了增加合并模式的MV的准确度，视频编码器200和视频解码器300可以被配置为应用基于双边匹配的解码器侧运动矢量细化。在一些示例中，视频编码器200可以在重建循环中应用解码器侧运动矢量细化技术。在双向预测操作中，视频解码器300可以被配置为在参考图片列表L0和参考图片列表L1中的初始MV周围搜索细化MV。视频解码器300可以使用块匹配方法来计算参考图片列表L0和列表L1中的两个候选块之间的失真。图6是图示解码器侧运动矢量细化的示例的概念图。

如图6所示，视频解码器300可以基于初始MV周围的每个MV候选来计算标记为601和602的块之间的绝对差之和(SAD)。具有最低SAD的MV候选变成细化的MV并且由视频解码器300使用以生成双向预测信号。

在VTM的一个示例中，DMVR应用于使用以下条件译码的CU:

-带有双向预测MV的CU级合并模式

-双向预测对于两个方向的权重相等

-一个参考图片是过去的，另一个参考图片是关于当前图片的未来

-从两个参考图片到当前图片的距离(即POC差异)是相同的

-CU有更多64个亮度样本，CU高度超过8个亮度样本

具有运动矢量差的合并模式(MMVD)

除了合并模式(其中隐式导出的运动信息直接用于当前CU的预测样本生成)之外，在VVC中还引入了具有运动矢量差的合并模式(MMVD)。视频编码器200可以被配置为在发送跳过标志和合并标志以指定是否将MMVD模式用于CU之后用信号通知MMVD标志。

在MMVD中，在选择合并候选者之后，视频编码器200和视频解码器300可以使用用信号通知的MVD信息进一步细化合并候选者。进一步的信息包括合并候选标志、指定运动幅度的索引和用于指示运动方向的索引。在MMVD模式中，视频编码器200和视频解码器300可以为合并列表中的前两个候选者选择一个以用作MV基础。视频编码器200用信号通知合并候选标志以指定使用哪一个。视频解码器300对该标志进行解码以确定要使用的合并候选者。

距离索引(IDX)指定运动幅度信息并指示距起点的预定义偏移。图7是图示具有运动矢量差异搜索点的示例合并模式的概念图。搜索点可以在L0参考701内所示的中心点和/或L1参考702内所示的中心点处被定义。在图7中，偏移被添加到起始MV的水平分量或垂直分量。距离索引与预定义偏移量的关系如表1-1所示。

表11-距离索引与预定义偏移量的关系

方向索引(IDX)表示MVD相对于起点的方向。方向索引可以表示四个方向，如表1-2所示。MVD符号的含义可能会根据起始MV的信息而有所不同。当起始MV(s)是单预测MV或双预测MV时，两个列表都指向当前图片的同一侧(即，两个参考的POC都大于当前图片的POC，或者是均小于当前图片的POC)，表1-2中的符号指定了添加到起始MV的MV偏移的符号。当起始MV是双向预测MV时，两个MV指向当前图片的不同侧(即一个参考的POC大于当前图片的POC，另一个参考的POC小于当前图片的POC)，表1-2中的符号指定了添加到起始MV的list0MV分量的MV偏移的符号，并且list1 MV的符号具有相反的值。

表1-2 由方向索引指定的MV偏移的符号

方向IDX	00	01	10	11
					X-轴	+	–	N/A	N/A
y-轴	N/A	N/A	+	–

上述解码器侧运动细化工具可以提高压缩效率。然而，解码器侧运动细化工具的使用也增加了编码/解码复杂度。在本公开中，公开了用于解码器侧运动细化工具的开/关控制的技术以向实现者提供选项以在不同应用中选择复杂度和压缩效率之间的最佳折衷。

本公开总体上描述应用于视频序列内的视频数据的子集的开/关控制。因此，根据本公开，可以对于视频序列的不同子集或部分(例如，对于视频序列内的视频数据的切片、视频数据的帧、视频数据的图片、视频数据的子图片或视频数据块)启用或禁用对不同的解码器侧细化工具的控制。这样，在不同视频应用程序或设置中降低解码复杂度和提高压缩效率的竞争目标之间可以获得更大的灵活性。例如，视频序列的子集可以包括视频数据序列的多个图片中的第一图片的至少一部分。

切片可以指视频数据的一部分或子集。切片可以包括视频序列的整个图片或其一部分。视频序列可以包括多个图片。例如，视频序列的子集可以包括视频数据序列的多个图片中的第一图片的至少一部分，例如整个图片或帧、序列的一些但不是全部图片，序列图片的一部分，切片(可能包括图片的一些或全部)，一组块或单个视频块)。根据本公开，可以在这些不同级中的任何级提供控制，只要该控制可以允许视频序列的不同部分应用不同的解码器侧细化。

切片级控制

在本公开的一个示例中，视频编码器200和视频解码器300可以被配置为对切片级开/关控制进行译码。也就是说，视频编码器200和视频解码器300可以被配置以在切片级应用(即，打开)或不应用(即，关闭)一种或多种解码器侧运动细化技术(例如，DMVR、BDOF等)。与切片级控制类似的技术可以应用于序列的其他子部分。

在一个示例中，视频编码器200和视频解码器300可以在切片标头处译码第一语法元素(例如，标志)以指示切片中DMVR的开/关状态，并且视频编码器200和视频解码器300可以在切片标头处译码第二语法元素(例如，标志)以指示切片中BDOF的开/关状态，或者反之亦然。

在另一示例中，视频编码器200和视频解码器300可以在切片标头处译码一个语法元素(例如，标志)以指示切片中DMVR和BDOF两者的开/关状态。

在又一示例中，视频编码器200和视频解码器300可以在切片标头处仅译码一个语法元素(例如，标志)以指示切片中DMVR的开/关状态。切片级BDOF的开/关控制不可用。即，在本例中，BDOF没有在切片级打开/关闭。

在又一示例中，视频编码器200和视频解码器300可以在切片标头处仅译码一个语法元素(例如，标志)以指示切片中BDOF的开/关状态。分片级的DMVR开/关控制不可用。也就是说，在这个示例中，DMVR没有在切片级打开/关闭。切片可以指整个图片或图片的子集或部分。

块级控制

在又一示例中，视频编码器200和视频解码器300可以在块级对语法元素进行译码以进行更精细的控制。可以使用几种不同的方法，如下所述。

块级开/关标志

在一个示例中，视频编码器200和视频解码器300可以对合并模式CU(即，使用合并模式译码的CU)的标志进行译码以指示DMVR的开/关状态。

在上述技术的一种变体中，视频编码器200和视频解码器300可以对合并模式CU的标志进行译码以指示DMVR和BDOF两者的开/关状态。

在上述技术的另一个变体中，视频编码器200和视频解码器300可以仅在合并候选索引在某个特定范围内时才对标志进行编码译码以指示DMVR(或BDOF)的开/关状态。在一个示例中，该范围可以是从0到N，其中N可以是1、2、3、4等。在另一示例中，范围可以是从N到最大允许索引，其中N可以是1、2、3、4等。

在另一个示例中，DMVR开/关标志(也称为启用标志)和BDOF开/关(启用)标志可以是运动信息的一部分并且从相邻块被借用(例如，重新使用)作为运动矢量候选者。当人工运动矢量候选者被导出时，视频编码器200和视频解码器300可以将那些标志设置为例如0。

在其他示例中，可以为较大视频序列内的其他定义的视频数据子集(诸如为一组图片(但仅是视频序列的一部分)、为单个图片、为一帧视频数据、为子图片或图片的部分、为片段、为块或者为较大视频序列内的视频数据的另一个子集)提供控制，而不是块级或切片级控制。

MMVD模式的零MVD

在另一个示例中，视频编码器200和视频解码器300可以经由允许MMVD模式的零MVD来实现块级开/关控制。如果块被利用MMVD模式译码则当前不应用DMVR。因此，如果MMVD模式的MVD为零，则相当于没有DMVR的正常合并模式。相同的想法可以应用于BDOF情况。也就是说，在MMVD模式下，BDOF不与零MVD一起使用。

当应用用于MMVD模式的零MVD时，视频编码器200和视频解码器300可以修改距离索引和预定义偏移的关系，使得第一索引指示零偏移并且其他偏移值索引因此被加一。修改后的表格示例如表2-1所示。注意，没有必要改变距离索引的信令。然而，如果应用零MVD并且用信号通知的距离索引为0，则视频编码器200和视频解码器300可能不需要对方向索引，这是因为零MVD没有方向。

表2-1 应用零MVD时的距离指数和预定义偏移量的关系

MMVD模式的自适应零MVD

在本公开的另一示例中，视频编码器200和视频解码器300可以根据块尺寸和/或切片类型在MMVD模式上自适应地应用零MVD。

对于P或低延迟译码切片，其中不能应用DMVR，视频编码器200和视频解码器300可以不将零MVD应用到MMVD模式。类似地，如果块的尺寸不满足尺寸约束，则DMVR不会应用于块。在该示例中，视频编码器200和视频解码器300可能不将零MVD应用于块的MMVD模式。

上面描述的相同技术可以应用于BDOF模式。

BDOF

在一些示例中，零MVD还可用于控制BDOF。例如，如果应用零MVD，则视频编码器200和视频解码器300可能不执行BDOF。

冗余去除

在本公开的另一示例中，视频编码器200和视频解码器300可以在所选择的基本合并候选者之上应用零MVD。即使当前切片是B切片，并且当前块满足尺寸约束，基础合并候选者也可能不满足所有DMVR条件。因此，不能保证对应合并候选者的DMVR。如果将零MVD应用于基本合并候选者，则它可能与常规合并模式中的合并候选者相同。建议通过修改冗余MMVD候选来去除那些冗余MMVD候选者。例如，视频编码器200和视频解码器300可以被配置为改变预测方向、参考图片/索引和运动矢量。

上述参考块级开/关标志的方法中也可能存在冗余。例如，当CU级标志打开时，该标志指示DMVR和/或BDOF可以应用于当前CU。然而，一些合并候选者可能不满足所有的DMVR/BDOF条件。因此，如果该候选被选中，CU级标志无论是打开还是关闭最终都会得到相同的结果。

因此，下面描述冗余去除的附加示例。下面的技术可以与上述块级开/关标志技术、上述MMVD模式技术的零MVD或任何其他块级DMVR/BDOF开/关控制技术的任何组合一起应用。

将单预测转换为双预测

在本公开的另一示例中，如果所选择的基础合并候选者是单预测的，则视频编码器200和视频解码器300可将所选择的基础合并候选者转换为双预测以用于冗余去除。

在一个示例中，视频编码器200和视频解码器300可以通过镜像单向运动来执行转换。在一个示例中，如果单向运动矢量为MV0，参考列表为L0，参考索引为refIdx0，则另一列表中的镜像运动矢量为MV1＝-MV0，参考列表为L1，并且参考索引是refIdx1＝refIdx0。在另一示例中，镜像参考索引始终为0，并且镜像运动矢量根据当前图片与L0中的refIdx0和L1中的参考索引0所指示的参考图片之间的POC距离被缩放。

添加新的距离偏移值

在一些示例中，如果所选择的基础合并候选是双向预测的，但是不满足DMVR条件，则视频编码器200和视频解码器300可以将距离索引0解释为不存在于MMVD偏移表。例如，1/8、1/16等。

代替将单预测转换为双预测，添加新偏移值的方法也可以应用于单预测的基础合并候选者。

将双预测转换为单预测

在去除双预测基础合并候选者的冗余的另一示例中，视频编码器200和视频解码器300可以将双预测基础合并候选者转换为单预测。例如，如果所选的基本合并候选者是双向预测但不满足DMVR条件，则丢弃L0/L1运动。

在非等权重双预测和等权重双预测之间转换

在一些情况下，如果两个方向的加权参数不相等，则视频编码器200和视频解码器300可能不对双向预测合并候选者执行DMVR。如果在MMVD中允许非等权重双向预测并且应用零MVD，则视频编码器200和视频解码器300可以将非等权重双向预测基础合并候选者转换为等权重双向预测基础合并候选者，并且视频编码器200和视频解码器300可以将等权重双向预测基础合并候选者转换为非等权重双向预测基础合并候选者。

在一些情况下，序列级控制可以确定一个或多个解码器侧细化工具是否可用于大视频序列，并且较低级的控制(例如，对于序列的子集)可以允许解码器侧细化工具控制视频序列中不同子集的打开或关闭。

图8是图示用于编码当前块的示例方法的流程图。当前块可以包括当前CU。尽管关于视频编码器200(图1和3)进行了描述，但是应当理解，其他设备也可以被配置为执行类似于图8的方法的方法。

在该示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可以形成当前块的预测块。视频编码器200然后可以计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算原始未编码块与当前块的预测块之间的差。视频编码器200然后可以变换和量化残差块的系数(354)。接下来，视频编码器200可以扫描残差块的量化变换系数(356)。在扫描期间或扫描之后，视频编码器200可以对系数进行熵编码(358)。例如，视频编码器200可以使用CAVLC或CABAC对系数进行编码。视频编码器200然后可以输出块的熵译码数据(360)。

在与图8一致的一些示例中，编码过程(诸如预测当前块的步骤(350))可以包括用于启用或禁用解码器侧细化的步骤。因此，编码过程可包括用于对如本文所述的语法元素进行编码以用于对于较大视频序列的不同子集或部分启用或禁用此类解码器侧细化工具的步骤。

图9是图示用于解码当前视频数据块的示例方法的流程图。当前块可以包括当前CU。尽管关于视频解码器300(图1和图4)进行了描述，但是应当理解，其他设备也可以被配置为执行类似于图9的方法的方法。

视频解码器300可以接收当前块的熵译码数据，诸如对应于当前块的残差块的系数的熵译码预测信息和熵译码数据(370)。视频解码器300可以对译码数据进行熵解码以确定当前块的预测信息并再现残差块的系数(372)。视频解码器300可以预测当前块(374)，例如使用由当前块的预测信息所指示的帧内或帧间预测模式来计算当前块的预测块。视频解码器300然后可以反向扫描再现的系数(376)，以创建量化变换系数块。视频解码器300然后可以对系数进行逆量化和逆变换以产生残差块(378)。视频解码器300可以通过组合预测块和残差块来最终解码当前块(380)。

在与图9一致的一些示例中，解码过程(例如预测当前块的步骤(374))可以包括一个或多个解码器侧细化工具的应用。因此，解码过程可包括用于解码如本文所述的语法元素的步骤，其允许对于较大视频序列的不同子集或部分启用或禁用解码器侧细化工具。图10和11提供了关于用于对较大视频序列内的视频数据的不同子集进行解码和编码的示例的一些附加细节，其中不同的子集(例如，不同的切片、不同的图片、不同的子图片、不同的帧、不同的图片集、不同的块或其他不同的子集)分别启用或禁用解码器侧细化工具。

如图10所示，视频解码器300可以包括处理电路，其被配置为解码第一语法元素(402)并且基于第一语法元素的值确定对于视频数据的子集是启用还是禁用第一解码器侧细化工具(404)。例如，第一语法元素可以包括与DMVR工具相关联的标志或位，并且视频数据的子集可以包括视频序列的一部分(一些但不是全部)，视频序列包括视频数据的多个图片。特别地，如本文所述的子集可以包括视频序列内的视频数据的切片、视频数据的图片、视频数据的子图片、视频数据的帧、视频数据的块或视频数据的另一子部分。视频解码器300可以被配置为对第二语法元素进行解码(406)并且基于第二语法元素的值来确定对于视频数据的子集是启用还是禁用第二解码器侧细化工具(408)。例如，第二语法元素可以包括与BDOF工具相关联的标志或位。视频解码器300然后基于确定来对子集(即，切片、图片、子图片、帧、块或更大序列的其他子集)进行解码(410)。例如，解码器300可以被配置为响应于对于第一子集启用第一解码器侧细化工具，使用第一解码器侧细化工具对视频数据的子集(例如，视频数据的第一子集)进行解码，响应于对于第一子集禁用第一解码器侧细化工具，在不使用第一解码器侧细化工具的情况下解码视频数据的子集，响应于为第一子集启用第二解码器侧细化工具，使用第二解码侧细化工具解码视频数据的子集，并且响应于对第一子集禁用第二解码器侧细化工具而在不使用第二解码器侧细化工具的情况下解码视频数据的子集。

视频解码器300可以被配置为确定是否存在视频数据的另一个子集要解码(412)，例如另一个切片、图片、子图片、帧、块或其他子集。如果是，(412的“是”分支)，对于视频数据的第二子集，例如，对于包括视频数据的第一子集的同一视频序列内的不同切片、图片、子图片、帧、块或其他子集，重复该过程。在该示例中，解码第一语法元素的第一步骤(404)可以包括解码第一语法元素的第一实例并且解码第二语法元素的第一步骤(405)可以包括解码第二语法的第一示例元素。因此，视频解码器300可以(在识别另一个子集——412的“是”分支时——)解码第一语法元素的第二实例(402)，该第二实例识别第一解码器侧细化工具对于视频数据序列内的视频数据的第二子集被启用还是禁用，其中第二子集不同于第一子集。视频解码器300然后可以基于第一语法元素的第二实例的值来确定对于视频数据的第二子集是启用还是禁用第一解码器侧细化工具(404)，解码第二语法的第二实例用于确定对于视频数据序列内的视频数据的第二子集是启用还是禁用第二解码器侧细化工具的元件(406)，并且基于第二语法元素的第二实例的值来确定对于视频序列的第二子集是启用还是禁用第二解码器侧细化工具(408)。解码器300可以被配置为解码视频数据的第二子集(410)，这可以包括响应于为第二子集启用第一解码器侧细化工具来使用第二解码器侧细化工具解码视频数据的第二子集。响应于对于第二子集禁用第一解码器侧细化工具，在不使用第一解码器侧细化工具的情况下解码视频数据的第二子集，响应于对于第二子集启用第二解码器侧细化工具而使用第二解码器侧细化工具解码视频数据的第二子集，以及响应于对于第二子集禁用第二解码器侧细化工具而在不使用第二解码器侧细化工具的情况下解码视频数据的第二子集。

视频解码器300可以被配置为再次确定是否存在视频数据的另一个子集要解码(412)，例如另一个切片、图片、子图片、帧、块或其他子集。如果是，(412的“是”分支)，对于视频数据的第三子集，例如，对于包括视频数据的第一子集的同一视频序列内的不同切片、图片、子图片、帧、块或其他子集，重复该过程。实际上，该过程可以对于较大视频序列内的许多视频数据子集重复。

例如，对于视频数据的第三子集，视频解码器300可以包括处理电路，该处理电路被配置为解码第一语法元素(402)的第三实例，该第三实例指示对于视频数据序列内的视频数据的第三子集是启用还是禁用第一解码器侧细化工具，其中第三子集不同于第一子集并且第三子集不同于第二子集。视频解码器还可以被配置为基于第一语法元素的第三实例的值来确定对于视频数据的第三子集启用还是禁用第一解码器侧细化工具(404)，解码第二语法元素的第三实例，该第三实例标识对于视频数据序列内的视频数据的第三子集是启用还是禁用第二解码器侧细化工具(406)，并且基于第二语法元素的第三实例的值来确定对于视频数据的第三子集是启用还是禁用第二解码器侧细化工具(408)，解码器300可以解码视频数据的第三子集(410)，这可以包括响应于对于第三子集启用第一解码器侧细化工具而使用第一解码器侧细化工具解码视频数据的第三子集，响应对第三子集禁用第一解码器侧细化工具而在不使用第一解码器侧细化工具的情况下解码视频数据的第三子集，响应于为第三子集启用第二解码器侧细化工具而使用第二解码器侧细化工具解码视频数据的第三子集，并且响应于对于第三子集禁用第二解码器侧细化工具而在不使用第二解码器侧细化工具的情况下解码视频数据的第三子集。

以此方式，可以对于视频序列内的不同数据子集多次启用或禁用解码器侧细化工具。例如，视频解码器300可以被配置为基于第一语法元素的第一实例的值来确定对于视频数据的第一子集启用第一解码器侧细化工具，基于第二语法元素的第一实例的值来确定对于视频数据的第一子集禁用第二解码器侧细化工具，并且使用第一解码器侧细化工具而不使用第二解码器侧细化工具对视频数据的第一子集进行解码。然后，对于相同的视频序列，视频解码器300可以被配置为基于第一语法元素的第二实例的值来确定第一解码器侧细化工具对于视频数据的第二子集被禁用，基于第二语法元素的第二实例的值来确定对于视频数据的第二子集启用第二解码器侧细化工具，并且使用第二解码器侧细化工具而不使用第一子集解码视频数据的第二子集解码器侧细化工具。

第一和第二解码器侧细化工具通常可用于对视频数据序列的多个图片中的任何一个进行解码，但是第一和第二解码器侧细化工具中的一个或两者可以对于视频数据序列内的视频数据的一些子集呗启用，而对于视频数据序列内的视频数据的其他子集，可以禁用第一和第二解码器侧细化工具中的一个或两个。

在一些示例中，可以在序列级定义解码器侧细化工具的普遍可用性，其中更细化的开/关控制可用于序列的子集(例如，切片、块、图片、子图片、帧或其他子集)。例如，视频解码器300可以包括处理电路，其被配置为对与视频数据序列相关联的一个或多个语法元素进行解码，并且基于与视频数据序列相关联的一个或多个语法元素来确定第一和第二解码器侧细化工具被启用以便可用于解码视频数据序列的多个图片。然后，视频解码器300可以执行图10的过程。对于序列内的每个视频数据子集，解码器侧细化工具的开/关控制可以在子序列级完成。在一些示例中，具有对于该子集用信号通知的开/关控制的视频数据的每个子集可以包括视频数据序列的多个图片当中的图片的至少一部分。再次，作为示例，子集可以包括序列内的视频数据片段、序列内的视频数据帧、视频数据序列的多个图片中的图片、视频数据的子图片或序列中的视频数据块。

图11是图示与本公开一致的编码技术的示例流程图，由此可对于包括多个图片的视频序列的不同部分或子集启用或禁用两个或更多个解码器侧细化工具。如图11所示，视频编码器200可以被配置为确定解码器侧细化工具是否可用于视频序列(502)。在一些情况下，解码器侧细化工具的可用性是隐含的(并且未用信号通知)，并且在一些情况下，视频编码器200可以被配置为对一个或多个序列级语法元素进行编码以识别一个或多个解码器侧细化工具可用于序列。在任何情况下，在确定一个或多个解码器侧细化工具可用时(502的“是”分支)，视频编码器200可以对第一语法元素进行编码以识别第一解码器侧细化工具是否对于视频序列的子集被启用(504)。此外，视频编码器200可以被配置成对第二语法元素进行编码以识别是否对于视频序列的子集启用第二解码器侧细化工具(506)。视频编码器200然后可以确定是否有视频数据的另一个子集要为该序列编码，如果是(508的“是”分支)，则视频编码器200可以对于下一个子集重复编码第一和第二语法元素的步骤(504和506)。

因此，视频编码器200可以包括处理电路，该处理电路被配置为对第一语法元素的第一实例进行编码以识别对于视频序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具数据(504)，对第一语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第一解码器侧细化工具(506)，其中第二子集是与第一子集不同，编码第二语法元素的第一实例以识别对于视频数据序列内的视频数据的第一子集启用还是禁用第二解码器侧细化工具(504)，并且编码第二语法元素的第二示例，以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第二解码器侧细化工具。再次，作为示例，第一解码器侧细化工具可以包括DMVR工具并且第二解码器侧细化工具可以包括BDOF工具。

类似地，该过程可以对于视频序列内的其他数据子集(例如视频序列的其他帧、切片、图片、子图片、块或其他子部分(一些但不是全部))重复。因此，在一些示例中，视频编码器200可以对第一语法元素的第三实例进行编码以识别对于视频数据序列内的视频数据的第三子集是启用还是禁用第一解码器侧细化工具(504)，其中第三子集不同于第一子集并且第三子集不同于第二子集，并且编码第二语法元素的第三实例以识别对于视频数据序列中的视频数据的第三子集是启用还是禁用第二解码器侧细化工具。

因此，可以对于视频数据序列内的视频数据的一些子集启用第一和第二解码器侧细化工具中的一个或两者，并且可以对于视频数据序列内的视频数据的其他子集禁用第一和第二解码器侧细化工具中的一个或两者。

在一些示例中，可以在序列级定义解码器侧细化工具的普遍可用性，其中更细化的开/关控制可用于序列的子集(例如，切片、块、图片、子图片、帧或其他子集)。例如，视频编码器200可以以包括处理电路，其被配置为对与视频数据序列相关联的一个或多个语法元素进行编码以指示第一和第二解码器侧细化工具可用于对视频数据序列的多个图片进行解码。在这些或其他示例中，如本文所述，可以对于视频数据序列内的视频数据的一些子集启用第一和第二解码器侧细化工具中的一个或两者，并且可以对于视频数据序列内的视频数据的其他子集禁用第一和第二解码器侧细化工具中的一个或两者。

同样，视频数据的子集可以指视频数据序列的多个图片中的第一图片的至少一部分。例如，视频数据的子集可以包括视频序列内的视频数据的切片、帧、图片、子图片、块或另一部分(一些但不是全部)中的一个或多个。

应当认识到，根据示例，本文中描述的任何技术的某些动作或事件可以以不同的顺序被执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件是技术实践所必需的)。此外，在某些示例中，动作或事件可以例如通过多线程处理、中断处理或多个处理器同时被执行，而不是顺序执行。

示例——以下示例可以证明与本公开一致的一个或多个特征或方面。

示例1一种方法，包括对指示解码器侧运动细化模式对于视频数据切片是打开还是关闭的切片级语法元素进行译码，以及基于切片级语法元素来对视频数据切片中的视频数据块进行译码。

示例2一种设备，包括存储器和与该存储器通信的一个或多个处理器，该一个或多个处理器被配置为对切片级语法元素进行译码，以指示解码器侧运动细化模式对于视频数据切片是打开还是关闭，以及基于切片级语法元素来对视频数据切片中的视频数据块进行译码。

示例3一种设备，包括用于对指示解码器侧运动细化模式对于视频数据片是打开还是关闭的切片级语法元素进行译码的部件，以及用于基于切片级语法元素来对视频数据切片中的视频数据块进行译码的部件。

示例4一种计算机可读存储介质，被用指令编码，这些指令在执行时使可编程处理器对切片级语法元素进行译码，该切片级语法元素指示解码器侧运动细化模式对于视频数据切片是打开还是关闭，以及基于切片级语法元素来对视频数据切片中的视频数据块进行译码。

示例5-一种对视频数据进行译码的方法，包括：对指示解码器侧运动细化模式对于视频数据的切片是打开还是关闭的切片级语法元素进行译码；以及基于切片级语法元素来对视频数据切片中的视频数据块进行译码。

示例6-示例5的方法，其中解码器侧运动细化模式是解码器侧运动矢量细化或双向光流之一。

示例7-示例5或6的方法，其中对指示解码器侧运动细化模式对于视频数据的切片是打开还是关闭的切片级语法元素进行译码包括：对第一切片级语法元素进行译码，该第一切片级语法元素指示解码器侧运动矢量细化模式对于视频数据切片是打开还是关闭；以及对第二切片级语法元素进行译码，该第二切片级语法元素指示对于视频数据切片是打开还是关闭双向光流模式。

示例8-一种对视频数据进行译码的方法，包括：对指示解码器侧运动细化模式对于视频数据块是打开还是关闭的块级语法元素进行译码；以及基于块级语法元素来对视频数据块进行译码。

示例9-示例8的方法，其中解码器侧运动细化模式是解码器侧运动矢量细化或双向光流之一。

示例10-示例8的方法，其中解码器侧运动细化模式是解码器侧运动矢量细化和双向光流。

示例11-示例8的方法，其中视频数据块是合并模式译码单元。

示例12-示例8的方法，其中对指示解码器侧运动细化模式对于视频数据块是打开还是关闭的块级语法元素进行译码包括：对块级语法元素进行译码，该块级语法元素指示在预定义范围内的情况下，解码器运动细化模式对于视频数据块是打开还是关闭。

示例13-示例8的方法，其中对指示解码器侧运动细化模式对于视频数据块是打开还是关闭的块级语法元素进行译码包括：重用相邻块级语法元素，该元素指示解码器侧运动细化模式对于视频数据块的相邻视频数据块打开还是关闭。

示例14-一种对视频数据进行译码的方法，包括：通过对视频数据块应用零运动矢量差来禁用解码器侧运动细化模式；以及使用零运动矢量对视频数据块进行译码。

示例15-示例14的方法，其中使用具有运动矢量差的合并模式(MMVD)对视频数据块进行译码。

示例16-示例14的方法，其中解码器侧运动细化模式是解码器侧运动矢量细化或双向光流之一。

示例17-示例14的方法，其中通过对视频数据块应用零运动矢量差来禁用解码器侧运动细化模式包括：通过基于块尺寸或切片类型中的一个或多个为视频数据块应用零运动矢量差异来禁用解码器侧运动细化模式。

示例18-示例14的方法，还包括：在具有运动矢量差的合并模式(MMVD)候选者列表中去除冗余候选者。

示例19-示例5-18中任一项所述的方法，其中译码包括解码。

示例20-示例5-18中任一项所述的方法，其中译码包括编码。

示例21-一种用于译码视频数据的设备，该设备包括一个或多个用于执行示例5-18中任一项的方法的部件。

示例22-示例21的设备，其中一个或多个部件包括在电路中实现的一个或多个处理器。

示例23-示例21或22的设备，还包括用于存储视频数据的存储器。

示例24——示例21-23中任一项所述的设备，还包括被配置为显示解码的视频数据的显示器。

示例25-示例21-24中任一项的设备，其中所述设备包括照相机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。

示例26-示例21-25中任一项所述的设备，其中所述设备包括视频解码器。

示例27-示例21-25中任一项所述的设备，其中所述设备包括视频编码器。

示例28-一种其上存储有指令的计算机可读存储介质，当执行该指令时，使一个或多个处理器执行示例5-18中任何一个的方法。

示例29示例5-18的技术的任何组合。

示例30-一种对视频数据序列的多个图片进行解码的方法，该方法包括:对第一语法元素进行解码以确定是否对于在视频数据序列的多张图片中的第一图片的第一部分启用第一解码器侧细化工具，第一解码器侧细化工具已被启用以对视频数据序列的多个图片进行解码。基于第一语法元素的值确定对于第一图片的第一部分启用第一解码器侧细化工具；解码第二语法元素以确定是否对于视频数据序列的多个图片中的第一图片的第一部分启用第二解码器侧细化工具，第二解码器侧细化工具已被启用用于解码视频数据序列的多个图片；基于第二语法元素的第一实例的值确定对于第一图片的第一部分禁用第二解码器侧细化工具；并且使用第一解码器侧细化工具而不使用第二解码器侧细化工具来解码第一图片的第一部分。

示例31一种对包括多个图片的视频数据序列进行解码的方法，包括：解码第一语法元素，第一语法元素指示对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具；基于第一语法元素的值来确定对于所述视频数据的第一子集是启用还是禁用第一解码器侧细化工具；解码第二语法元素，第二语法元素指示对于视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具；基于第一语法元素的值来确定对于视频数据的第一子集是启用还是禁用第二解码器侧细化工具；响应于对于第一子集启用所述第一解码器侧细化工具，使用第一解码器侧细化工具解码视频数据的第一子集；响应于对于第一子集禁用第一解码器侧细化工具，在不使用第一解码器侧细化工具的情况下解码视频数据的第一子集；响应于对于第一子集启用第二解码器侧细化工具，使用第二解码器侧细化工具解码视频数据的第一子集；以及响应于对于第一子集禁用第二解码器侧细化工具，在不使用第二解码器侧细化工具的情况下解码视频数据的第一子集。

示例32-示例31的方法，其中第一解码器侧细化工具包括DMVR工具并且其中第二解码器侧细化工具包括BDOF工具。

示例33-示例30和31的任何组合的方法，其中解码第一语法元素包括解码第一语法元素的第一实例并且其中解码第二语法元素包括解码第二语法元素的第一实例，所述方法还包括：解码第一语法元素的第二实例，所述第二示例指示对于视频数据序列内的视频数据的第二子集是启用还是禁用所述第一解码器侧细化工具，其中第二子集不同于第一子集；基于第一语法元素的第二实例的值来确定对于所述视频的第二子集是启用还是禁用第一解码器侧细化工具；解码第二语法元素的第二实例，所述第二实例指示对于视频数据序列内的视频数据的第二子集是启用还是禁用第二解码器侧细化工具；基于第二语法元素的第二实例的值确定对于视频数据的第二子集是启用还是禁用第二解码器侧细化工具；响应于对于第二子集启用第一解码器侧细化工具，使用第一解码器侧细化工具解码视频数据的第二子集；响应于对于第二子集禁用所述第一解码器侧细化工具，在不使用第一解码器侧细化工具的情况下解码视频数据的第二子集；响应于对于第二子集启用第二解码器侧细化工具，使用第二解码器侧细化工具解码视频数据的第二子集；以及响应于对于所述第二子集禁用第二解码器侧细化工具，在不使用第二解码器侧细化工具的情况下解码视频数据的第二子集。

示例34-示例31-33的任何组合的方法，还包括：解码指示第一解码器侧细化工具对于在视频数据序列内内的视频数据的第三子集是启用还是禁用的第一语法元素的第三实例，其中第三子集不同于第一子集并且第三子集不同于第二子集；基于第一语法元素的第三实例的值确定对于视频数据的第三子集是启用还是禁用第一解码器侧细化工具；解码第二语法元素的第三实例，其指示对于视频数据序列内的视频数据的第三子集是启用还是禁用第二解码器侧细化工具；基于第二语法元素的第三实例的值来确定对于视频数据的第三子集是启用还是禁用第二解码器侧细化工具；响应于对于第三子集启用第一解码器侧细化工具，使用第一解码器侧细化工具解码视频数据的第三子集；响应于对于第三子集禁用第一解码器侧细化工具，在不使用第一解码器侧细化工具的情况下解码视频数据的第三子集；响应于对于第三子集启用第二解码器侧细化工具，使用第二解码器侧细化工具解码视频数据的第三子集；响应于对于第三子集禁用第二解码器侧细化工具，在不使用第二解码器侧细化工具的情况下解码视频数据的第三子集。

示例35-示例31-34的任何组合的方法，还包括:基于第一语法元素的第一示例的值确定第一解码器侧细化工具对于视频数据的第一子集被启用；基于第二语法元素的第一实例的值确定第二解码器侧细化工具对于视频数据的第一子集被禁用；使用第一解码器侧细化工具而不使用第二解码器侧细化工具来解码视频数据的第一子集；基于第一语法元素的第二实例的值确定第一解码器侧细化工具对于视频数据的第二子集被禁用；基于第二语法元素的第二实例的值确定第二解码器侧细化工具对于视频数据的第二子集被启用；并且使用第二解码器侧细化工具而不使用第一解码器侧细化工具来解码视频数据的第二子集。

示例36-示例31-35的任何组合的方法，其中第一和第二解码器侧细化工具可用于解码视频数据序列的多个图片中的任何一个，其中第一第二解码器侧细化工具的一个或两者对于视频数据序列内的视频数据的一些子集被启用，并且其中第一和第二解码器侧细化工具中的一个或两者对于视频数据序列内的视频数据的其他子集被禁用。

示例37-示例31-36的任意组合的方法，还包括：对与视频数据序列相关联的一个或多个语法元素进行解码；以及基于与视频数据序列相关联的一个或多个语法元素确定第一和第二解码器侧细化工具被启用以便可用于解码视频数据序列的多个图片。

示例38-示例31-37的任何组合的方法，其中第一子集包括视频数据序列的多个图片中的第一图片的至少一部分。

示例39-示例31-38的任何组合的方法，其中视频数据序列内的视频数据的第一子集包括以下中的一个或多个：视频数据切片；视频数据帧；视频数据序列的多个图片中的一个图片；子图片和视频数据块。

示例40一种对包括多个图片的视频数据序列进行编码的方法，该方法包括:对第一语法元素的第一实例进行编码以识别对于视频数据序列内的第一视频数据子集是启用还是禁用第一解码器侧细化工具；对第一语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第一解码器侧细化工具，其中第二子集不同于第一子集；对第二语法元素的第一实例进行编码以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具；以及对第二语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第二解码器侧细化工具。

示例41-示例40的方法，其中第一解码器侧细化工具包括DMVR工具并且其中第二解码器侧细化工具包括BDOF工具。

示例42-示例40-41的任何组合的方法，还包括：编码第一语法元素的第三实例以识别对于视频数据序列内的视频数据的第三子集是启用还是禁用第一解码器侧细化工具，其中第三子集不同于第一子集并且第三子集不同于第二子集；以及对第二语法元素的第三示例进行编码以识别对于视频数据序列内的视频数据的第三子集是启用还是禁用第二解码器侧细化工具。

示例43-示例40-42的任何组合的方法，其中第一和第二解码器侧细化工具中的一个或两者对于视频数据序列内的视频数据的一些子集被启用，并且其中第一和第二解码器侧细化工具中的一个或两者对于视频数据序列内的视频数据的其他子集被禁用。

示例44-示例40-43的任意组合的方法，还包括：编码与视频数据序列相关联的一个或多个语法元素以指示第一和第二解码器侧细化工具可用于解码视频数据序列的多个图片，其中第一和第二解码器侧细化工具中的一个或两个对于视频数据序列内的视频数据的一些子集被启用，并且其中第一和第二解码器侧中的一个或两者对于视频数据序列中的视频数据的其他子集被禁用。

示例45-示例40-44的任意组合的方法，其中第一子集包括视频数据序列的多个图片中的第一图片的至少一部分。

示例46-示例40-45的任意组合的方法，其中视频数据序列内的视频数据的第一子集包括以下中的一个或多个：切片；帧；图片；子图片和块。

示例47-一种视频解码设备，包括存储器和处理电路，所述存储器被配置为存储包括多个图片的视频数据序列；所述处理处理电路被配置为：对第一语法元素进行解码，该第一语法元素指示对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具；基于第一语法元素的值确定对于视频数据的第一子集是启用还是禁用第一解码器侧细化工具；解码指示对于视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具的第二语法元素；基于第一语法元素的值确定对于视频数据的第一子集是启用还是禁用第二解码器侧细化工具；响应于对于第一子集启用第一解码器侧细化工具，使用第一解码器侧细化工具对视频数据的第一子集进行解码；响应于对于第一子集禁用第一解码器侧细化工具，在不使用第一解码器侧细化工具的情况下解码视频数据的第一子集；响应于对于第一子集启用第二解码器侧细化工具，使用第二解码器侧细化工具对视频数据的第一子集进行解码；响应于对于第一子集禁用第二解码器侧细化工具，在不使用第二解码器侧细化工具的情况下解码视频数据的第一子集。

示例48-示例47的视频解码设备，其中第一解码器侧细化工具包括DMVR工具并且其中第二解码器侧细化工具包括BDOF工具。

示例49-示例47或48的视频解码设备，其中处理电路被配置为通过解码第一语法元素的第一实例来解码第一语法元素并且通过解码第二语法元素的第一实例来解码第二语法元素，处理电路还被配置为：对第一语法元素的第二实例进行解码，该第二实例指示对于视频数据序列内的视频数据的第二子集是启用还是禁用第一解码器侧细化工具，其中第二子集不同于第一子集；基于第一语法元素的第二实例的值确定对于视频数据的第二子集是启用还是禁用第一解码器侧细化工具；对第二语法元素的第二实例进行解码，该第二实例指示对于视频数据序列内的视频数据的第二子集是启用还是禁用第二解码器侧细化工具；基于第二语法元素的第二实例的值，确定对于视频数据的第二子集是启用还是禁用第二解码器侧细化工具；响应于对于第二子集启用第一解码器侧细化工具，使用第一解码器侧细化工具解码视频数据的第二子集；响应于对于第二子集禁用第一解码器侧细化工具，在不使用第一解码器侧细化工具的情况下解码视频数据的第二子集；响应于对于第二子集启用第二解码器侧细化工具，使用第二解码器侧细化工具对视频数据的第二子集进行解码；响应于对于第二子集禁用第二解码器侧细化工具，在不使用第二解码器侧细化工具的情况下解码视频数据的第二子集。

示例50-示例47-49的任意组合的视频编码设备，其中处理电路还被配置为：对指示第一解码器侧细化工具对于视频数据序列内的视频数据的第三子集是被启用还是禁用的第一语法元素的第三实例进行解码，其中第三子集不同于第一子集并且第三子集不同于第二子集；基于第一语法元素的第三示例的值确定对于视频数据的第三子集是启用还是禁用第一解码器侧细化工具；解码第二语法元素的第三实例，其指示对于视频数据序列内的视频数据的第三子集是启用还是禁用第二解码器侧细化工具；基于第二语法元素的第三实例的值确定对于视频数据的第三子集是启用还是禁用第二解码器侧细化工具；响应于对于第三子集启用第一解码器侧细化工具，使用第一解码器侧细化工具解码视频数据的第三子集；响应于对于第三子集禁用第一解码器侧细化工具，在不使用第一解码器侧细化工具的情况下解码视频数据的第三子集；响应于对于第三子集启用第二解码器侧细化工具，使用第二解码器侧细化工具解码视频数据的第三子集；响应于对于第三子集禁用第二解码器侧细化工具，在不使用第二解码器侧细化工具的情况下解码视频数据的第三子集。

示例51-示例47-50的任意组合的视频编码设备，其中处理电路被配置为:基于第一语法元素的第一实例的值确定对于视频数据的第一子集启用第一解码器侧细化工具；基于第二语法元素的第一实例的值，确定对于视频数据的第一子集禁用第二解码器侧细化工具；使用第一解码器侧细化工具而不使用第二解码器侧细化工具对视频数据的第一子集进行解码；基于第一语法元素的第二实例的值，确定对于视频数据的第二子集禁用第一解码器侧细化工具；基于第二语法元素的第二实例的值，确定对于视频数据的第二子集启用第二解码器侧细化工具；并且使用第二解码器侧细化工具而不使用第一解码器侧细化工具来解码视频数据的第二子集。

示例52-示例47-51的任意组合的视频编码设备，其中第一和第二解码器侧细化工具可用于解码视频数据序列的多个图片中的任意一个，其中第一和第二解码器侧细化工具中的一个或两者对于视频数据序列内的视频数据的一些子集被启用，并且其中第一和第二解码器侧细化工具中的一个或两者对于视频数据序列内的视频数据的其他子集被禁用。

示例53-示例47-52的任意组合的视频译码设备，其中处理电路还被配置为：对与视频数据序列相关联的一个或多个语法元素进行解码；并且基于与视频数据序列相关联的一个或多个语法元素确定第一和第二解码器侧细化工具被启用以便可用于解码视频数据序列的多个图片。

示例54-示例47-53的任意组合的视频编码设备，其中第一子集包括视频数据序列的多个图片中的第一图片的至少一部分。

示例55-示例47-54的任意组合的视频译码设备，其中视频数据序列内的视频数据的第一子集包括以下中的一个或多个：视频数据的切片；视频数据的帧；视频数据序列的多个图片中的一个图片；子图片和视频数据块

示例56-一种视频编码设备，包括存储器和处理电路，所述存储器配置为存储包括多个图片的视频数据序列；所述处理电路被配置为对第一语法元素的第一实例进行编码以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具；对第一语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第一解码器侧细化工具，其中第二子集不同于第一子集；对第二语法元素的第一实例进行编码以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具；并且对第二语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第二解码器侧细化工具。

示例57-示例56的视频编码设备，其中第一解码器侧细化工具包括DMVR工具并且其中第二解码器侧细化工具包括BDOF工具。

示例58-示例56或57的视频编码设备，其中处理电路还被配置为对第一语法元素的第三实例进行编码以识别对于视频数据序列内的视频数据的第三子集是启用还是禁用第一解码器侧细化工具，其中第三子集不同于第一子集并且第三子集不同于第二子集；并且对第二语法元素的第三示例进行编码以识别对于视频数据序列内的视频数据的第三子集是启用还是禁用第二解码器侧细化工具。

示例59-示例56-58的任何组合的视频编码设备，其中第一和第二解码器侧细化工具中的一个或两者对于视频数据序列内的视频数据的一些子集被启用，并且其中第一和第二解码器侧细化工具中的一个或两者对于视频数据序列内的视频数据的其他子集被禁用。

示例60-示例56-59的任意组合的视频编码设备，其中处理电路还被配置为对与视频数据序列相关联的一个或多个语法元素进行编码以指示第一和第二解码器-侧细化工具可用于解码视频数据序列的多个图片，其中第一和第二解码器侧细化工具中的一个或两个被启用用于视频数据序列内的视频数据的一些子集，并且其中第一和第二解码器侧细化工具的一个或两者对于视频数据序列内的视频数据的其他子集被禁用。

示例61-示例56-60的任意组合的视频编码设备，其中第一子集包括视频数据序列的多个图片中的第一图片的至少一部分。

示例62-示例56-61的任意组合的视频编码设备，其中视频数据序列内的视频数据的第一子集包括以下中的一个或多个：切片；帧；图片；子图片；和块。

示例63一种视频解码设备，被配置为对包括多个图片的视频数据序列进行解码，该视频解码设备包括:用于对指示对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具的第一语法元素进行解码的部件；用于基于第一语法元素的值确定对于视频数据的第一子集是启用还是禁用第一解码器侧细化工具的部件；用于对第二语法元素进行解码的部件，所述第二语法元素指示对于视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具；用于基于第一语法元素的值确定对于视频数据的第一子集是启用还是禁用第二解码器侧细化工具的部件；用于响应于对于第一子集启用第一解码器侧细化工具而使用第一解码器侧细化工具解码视频数据的第一子集的部件；用于响应于对于第一子集禁用第一解码器侧细化工具而在不使用第一解码器侧细化工具的情况下解码视频数据的第一子集的部件；用于响应于对于第一子集启用第二解码器侧细化工具而使用第二解码器侧细化工具解码视频数据的第一子集的部件；以及用于响应于对于第一子集禁用第二解码器侧细化工具而在不使用第二解码器侧细化工具的情况下解码视频数据的子集的部件。

示例64一种视频编码设备，被配置为对包括多个图片的视频数据序列进行编码，所述视频编码设备包括：用于对第一语法元素的第一实例进行编码以识别对于视频数据序列内的视频数据的第一子集时启用还是禁用第一解码器侧细化工具的部件；用于对第一语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第一解码器侧细化工具的部件，其中第二子集不同于第一子集；用于对第二语法元素的第一实例进行编码以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具的部件；以及用于对第二语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第二解码器侧细化工具的部件。

示例65一种存储指令的计算机可读存储介质，该指令在被执行时使视频解码设备的一个或多个处理器：解码指示对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具的第一语法元素进行解码，其中视频数据序列包括多个图片；基于第一语法元素的值确定对于视频数据的第一子集是启用还是禁用第一解码器侧细化工具；解码指示对于具有视频数据序列的视频数据的第一子集是启用还是禁用第二解码器侧细化工具的第二语法元素；基于第一语法元素的值确定对于视频数据的第一子集是启用还是禁用第二解码器侧细化工具；响应于对于第一子集启用第一解码器侧细化工具，使用第一解码器侧细化工具对视频数据的第一子集进行解码；响应于对于第一子集禁用第一解码器侧细化工具，在不使用第一解码器侧细化工具的情况下解码视频数据的第一子集；响应于对于第一子集启用第二解码器侧细化工具，使用第二解码器侧细化工具对视频数据的第一子集进行解码；响应于对于第一子集禁用第二解码器侧细化工具，在不使用第二解码器侧细化工具的情况下解码视频数据的子集。

示例66-一种存储指令的计算机可读存储介质，该指令在被执行时使视频编码设备的一个或多个处理器：编码第一语法元素的第一实例以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具，其中视频数据序列包括多个图片；对第一语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第一解码器侧细化工具，其中第二子集不同于第一子集；对第二语法元素的第一实例进行编码以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具；并且对第二语法元素的第二实例进行编码以识别对于视频数据序列内的视频数据的第二子集是启用还是禁用第二解码器侧细化工具。

在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果以软件实现，则这些功能可以作为一个或多个指令或代码存储在或传输在计算机可读介质上并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质，或者通信介质，包括例如根据通信协议便于将计算机程序从一个地方转移到另一个地方的任何介质。以此方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可以是可由一台或多台计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

作为示例而非限制，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、闪存或任何可用于以指令或数据结构的形式存储所需程序代码并可由计算机访问的其他介质。此外，任何连接都被恰当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术(如红外线、无线电和微波)从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术(如红外线、无线电和微波)都包含在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬态介质，而是对于非瞬态、有形存储介质。此处使用的磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而盘则使用激光以光学方式再现数据。上述的组合也应包括在计算机可读介质的范围内。

指令可以由一个或多个诸如一个或多个DSP、通用微处理器、ASIC、FPGA或其他等效的集成或离散逻辑电路的的处理器执行。因此，如在此使用的术语“处理器”和“处理电路”可以指代任何前述结构或适合于实现在此描述的技术的任何其他结构。此外，在一些方面，这里描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入组合编解码器中。此外，这些技术可以在一个或多个电路或逻辑元件中完全实现。

本公开的技术可以在多种设备或装置中实现，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本公开中描述了各种组件、模块或单元以强调被配置为执行所公开的技术的设备的功能方面，但不一定需要由不同的硬件单元来实现。相反，如上所述，各种单元可以结合在编解码器硬件单元中或由包括如上所述的一个或多个处理器在内的一组互操作硬件单元结合合适的软件和/或固件来提供。

已经描述了各种示例。这些和其他示例在所附权利要求的范围内。

Claims (36)

1.一种解码包括多个图片的视频数据序列的方法，所述方法包括：

解码第一语法元素，所述第一语法元素指示对于所述视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具；

基于所述第一语法元素的值来确定对于所述视频数据的第一子集是启用还是禁用所述第一解码器侧细化工具；

解码第二语法元素，所述第二语法元素指示对于所述视频数据序列内的所述视频数据的第一子集是启用还是禁用第二解码器侧细化工具；

基于所述第一语法元素的值来确定对于所述视频数据的第一子集是启用还是禁用所述第二解码器侧细化工具；

响应于对于所述第一子集启用所述第一解码器侧细化工具，使用所述第一解码器侧细化工具解码所述视频数据的第一子集；

响应于对于所述第一子集禁用所述第一解码器侧细化工具，在不使用所述第一解码器侧细化工具的情况下解码所述视频数据的第一子集；

响应于对于所述第一子集启用所述第二解码器侧细化工具，使用所述第二解码器侧细化工具解码所述视频数据的第一子集；以及

响应于对于所述第一子集禁用所述第二解码器侧细化工具，在不使用所述第二解码器侧细化工具的情况下解码所述视频数据的第一子集。

2.根据权利要求1所述的方法，其中，所述第一解码器侧细化工具包括解码器侧运动矢量细化(DMVR)工具，并且其中所述第二解码器侧细化工具包括双向光流(BDOF)工具。

3.根据权利要求1所述的方法，其中，解码所述第一语法元素包括解码所述第一语法元素的第一实例并且其中解码所述第二语法元素包括解码所述第二语法元素的第一实例，所述方法还包括：

解码所述第一语法元素的第二实例，所述第二实例指示对于所述视频数据序列内的视频数据的第二子集是启用还是禁用所述第一解码器侧细化工具，其中所述第二子集不同于所述第一子集；

基于所述第一语法元素的第二实例的值来确定对于所述视频数据的第二子集是启用还是禁用所述第一解码器侧细化工具；

解码所述第二语法元素的第二实例，所述第二实例指示对于所述视频数据序列内的所述视频数据的第二子集是启用还是禁用所述第二解码器侧细化工具；

基于所述第二语法元素的第二实例的值确定对于所述视频数据的第二子集是启用还是禁用所述第二解码器侧细化工具；

响应于对于所述第二子集启用所述第一解码器侧细化工具，使用所述第一解码器侧细化工具解码所述视频数据的第二子集；

响应于对于所述第二子集禁用所述第一解码器侧细化工具，在不使用所述第一解码器侧细化工具的情况下解码所述视频数据的第二子集；

响应于对于所述第二子集启用所述第二解码器侧细化工具，使用所述第二解码器侧细化工具解码所述视频数据的第二子集；以及

响应于对于所述第二子集禁用所述第二解码器侧细化工具，在不使用所述第二解码器侧细化工具的情况下所述解码视频数据的第二子集。

4.根据权利要求3所述的方法，还包括：

解码所述第一语法元素的第三实例，所述第三实例指示对于所述视频数据序列内的视频数据的第三子集是启用还是禁用所述第一解码器侧细化工具，其中所述第三子集不同于所述第一子集并且所述第三子集不同于所述第二子集；

基于所述第一语法元素的第三实例的值来确定对于所述视频数据的第三子集是启用还是禁用所述第一解码器侧细化工具；

解码所述第二语法元素的第三实例，所述第三实例指示对于所述视频数据序列内的所述视频数据的第三子集是启用还是禁用所述第二解码器侧细化工具；

基于所述第二语法元素的第三实例的值来确定对于所述视频数据的第三子集是启用还是禁用所述第二解码器侧细化工具；

响应于对于所述第三子集启用所述第一解码器侧细化工具，使用所述第一解码器侧细化工具解码所述视频数据的第三子集；

响应于对于所述第三子集禁用所述第一解码器侧细化工具，在不使用所述第一解码器侧细化工具的情况下解码所述视频数据的第三子集；

响应于对于所述第三子集启用所述第二解码器侧细化工具，使用所述第二解码器侧细化工具解码所述视频数据的第三子集；以及

响应于对于所述第三子集禁用所述第二解码器侧细化工具，在不使用所述第二解码器侧细化工具的情况下解码所述视频数据的第三子集。

5.根据权利要求3所述的方法，还包括：

基于所述第一语法元素的所述第一实例的值来确定对于所述视频数据的第一子集启用所述第一解码器侧细化工具；

基于所述第二语法元素的所述第一实例的值来确定对于所述视频数据的第一子集禁用所述第二解码器侧细化工具；

使用所述第一解码器侧细化工具而不使用所述第二解码器侧细化工具来解码所述视频数据的第一子集；

基于所述第一语法元素的所述第二实例的值来确定对于所述视频数据的第二子集禁用所述第一解码器侧细化工具；

基于所述第二语法元素的所述第二实例的值来确定对于所述视频数据的第二子集启用所述第二解码器侧细化工具；以及

使用所述第二解码器侧细化工具而不使用所述第一解码器侧细化工具来解码所述视频数据的第二子集。

6.根据权利要求1所述的方法，其中，所述第一解码器侧细化工具和所述第二解码器侧细化工具可用于解码所述视频数据序列的多个图片中的任何一个，其中所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者对于所述视频数据序列内的视频数据的一些子集被启用，并且其中所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者对于所述视频数据序列内的视频数据的其他子集被禁用。

7.根据权利要求1所述的方法，还包括：

解码与所述视频数据序列相关联的一个或多个语法元素；以及

基于与所述视频数据序列相关联的一个或多个语法元素，来确定所述第一解码器侧细化工具和所述第二解码器侧细化工具被启用以便可用于对所述视频数据序列的多个图片进行解码。

8.根据权利要求1所述的方法，其中，所述第一子集包括所述视频数据序列的多个图片中的第一图片的至少一部分。

9.根据权利要求8所述的方法，其中，所述视频数据序列内的所述视频数据的第一子集包括以下项中的一个或多个：

视频数据切片；

视频数据帧；

所述视频数据序列的所述多个图片中的一个图片；

视频数据的子图；以及

视频数据块。

10.一种对包括多个图片的视频数据序列进行编码的方法，所述方法包括：

对第一语法元素的第一实例进行编码以识别对于所述视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具；

对所述第一语法元素的第二实例进行编码以识别对于所述视频数据序列内的视频数据的第二子集是启用还是禁用所述第一解码器侧细化工具，其中所述第二子集不同于所述第一子集；

对第二语法元素的第一实例进行编码以识别对于所述视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具；以及

对所述第二语法元素的第二实例进行编码以识别对于所述视频数据序列内的视频数据的第二子集是启用还是禁用所述第二解码器侧细化工具。

11.根据权利要求10所述的方法，其中，所述第一解码器侧细化工具包括解码器侧运动矢量细化(DMVR)工具，并且其中所述第二解码器侧细化工具包括双向光流(BDOF)工具。

12.根据权利要求10所述的方法，还包括：

对所述第一语法元素的第三实例进行编码以识别对于所述视频数据序列内的视频数据的第三子集是启用还是禁用所述第一解码器侧细化工具，其中所述第三子集不同于所述第一子集并且所述第三子集不同于所述第二子集；以及

对所述第二语法元素的第三实例进行编码以识别对于所述视频数据序列内的所述视频数据的第三子集是启用还是禁用所述第二解码器侧细化工具。

13.根据权利要求10所述的方法，其中，所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者对于所述视频数据序列内的视频数据的一些子集被启用，并且其中所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者对于所述视频数据序列中的视频数据的其他子集被禁用。

14.根据权利要求10所述的方法，还包括：

编码与所述视频数据序列相关联的一个或多个语法元素以指示所述第一解码器侧细化工具和所述第二解码器侧细化工具可用于解码所述视频数据序列的多个图片，

其中，对于所述视频数据序列内的视频数据的一些子集启用所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者，并且其中对于所述视频数据序列内的视频数据的其他子集禁用所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者。

15.根据权利要求10所述的方法，其中，所述第一子集包括所述视频数据序列的多个图片中的第一图片的至少一部分。

16.根据权利要求15所述的方法，其中，所述视频数据序列内的所述视频数据的第一子集包括以下项中的一个或多个：

切片；

帧；

图片；

子图片；以及

块。

17.一种视频解码设备，包括：

存储器，被配置为存储包括多个图片的视频数据序列；以及

处理电路，被配置为：

解码第一语法元素，所述第一语法元素指示对于所述视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具；

基于所述第一语法元素的值来确定对于所述视频数据的第一子集是启用还是禁用所述第一解码器侧细化工具；

解码第二语法元素，所述第二语法元素指示对于所述视频数据序列内的所述视频数据的第一子集是启用还是禁用第二解码器侧细化工具；

基于所述第一语法元素的值来确定对于所述视频数据的第一子集是启用还是禁用所述第二解码器侧细化工具；

响应于对于所述第一子集启用所述第一解码器侧细化工具，使用所述第一解码器侧细化工具解码所述视频数据的第一子集；

响应于对于所述第一子集禁用所述第一解码器侧细化工具，在不使用所述第一解码器侧细化工具的情况下解码所述视频数据的第一子集；

响应于对于所述第一子集启用所述第二解码器侧细化工具，使用所述第二解码器侧细化工具解码所述视频数据的第一子集；以及

响应于对于所述第一子集禁用所述第二解码器侧细化工具，在不使用所述第二解码器侧细化工具的情况下解码所述视频数据的第一子集。

18.根据权利要求17所述的视频解码设备，其中，所述第一解码器侧细化工具包括解码器侧运动矢量细化(DMVR)工具并且其中所述第二解码器侧细化工具包括双向光流(BDOF)工具。

19.根据权利要求17所述的视频解码装置，其中，所述处理电路被配置为通过解码所述第一语法元素的第一实例来解码所述第一语法元素并且通过解码所述第二语法元素的第一实例来解码所述第二语法元素，所述处理电路还被配置为：

解码所述第一语法元素的第二实例，所述第二实例指示对于所述视频数据序列内的视频数据的第二子集是启用还是禁用所述第一解码器侧细化工具，其中所述第二子集不同于所述第一子集；

基于所述第一语法元素的第二实例的值来确定对于所述视频数据的第二子集是启用还是禁用所述第一解码器侧细化工具；

解码所述第二语法元素的第二实例，所述第二实例指示对于所述视频数据序列内的所述视频数据的第二子集是启用还是禁用所述第二解码器侧细化工具；

基于所述第二语法元素的第二实例的值来确定对于所述视频数据的第二子集是启用还是禁用所述第二解码器侧细化工具；

响应于对于所述第二子集启用所述第一解码器侧细化工具，使用所述第一解码器侧细化工具解码所述视频数据的第二子集；

响应于对于所述第二子集禁用所述第一解码器侧细化工具，在不使用所述第一解码器侧细化工具的情况下解码所述视频数据的第二子集；

响应于对于所述第二子集启用所述第二解码器侧细化工具，使用所述第二解码器侧细化工具解码所述视频数据的第二子集；以及

响应于对于所述第二子集禁用所述第二解码器侧细化工具，在不使用所述第二解码器侧细化工具的情况下解码所述视频数据的第二子集。

20.根据权利要求19所述的视频解码设备，其中，所述处理电路还被配置为：

解码所述第一语法元素的第三实例，所述第三实例指示对于所述视频数据序列内的视频数据的第三子集是启用还是禁用所述第一解码器侧细化工具，其中所述第三子集不同于所述第一子集并且所述第三子集不同于所述第二子集；

基于所述第一语法元素的第三实例的值来确定对于所述视频数据的第三子集是启用还是禁用所述第一解码器侧细化工具；

解码所述第二语法元素的第三实例，所述第三实例指示对于所述视频数据序列内的所述视频数据的第三子集是启用还是禁用所述第二解码器侧细化工具；

基于所述第二语法元素的第三实例的值来确定对于所述视频数据的第三子集是启用还是禁用所述第二解码器侧细化工具；

响应于对于所述第三子集启用所述第一解码器侧细化工具，使用所述第一解码器侧细化工具解码所述视频数据的第三子集；

响应于对于所述第三子集禁用所述第一解码器侧细化工具，在不使用所述第一解码器侧细化工具的情况下解码所述视频数据的第三子集；

响应于对于所述第三子集启用所述第二解码器侧细化工具，使用所述第二解码器侧细化工具解码所述视频数据的第三子集；以及

响应于对于所述第三子集禁用所述第二解码器侧细化工具，在不使用第二解码器侧细化工具的情况下解码所述视频数据的第三子集。

21.根据权利要求19所述的视频解码设备，其中，所述处理电路被配置为：

基于所述第一语法元素的所述第一实例的值，来确定对于所述视频数据的第一子集启用所述第一解码器侧细化工具；

基于所述第二语法元素的所述第一实例的值，来确定对于所述视频数据的第一子集禁用所述第二解码器侧细化工具；

使用所述第一解码器侧细化工具而不使用所述第二解码器侧细化工具来解码所述视频数据的第一子集；

基于所述第一语法元素的所述第二实例的值，来确定对于所述视频数据的第二子集禁用所述第一解码器侧细化工具；

基于所述第二语法元素的所述第二实例的值，来确定对于所述视频数据的第二子集启用所述第二解码器侧细化工具；以及

使用所述第二解码器侧细化工具而不使用所述第一解码器侧细化工具来解码所述视频数据的第二子集。

22.根据权利要求17所述的视频解码设备，其中，所述第一解码器侧细化工具和所述第二解码器侧细化工具可用于解码所述视频数据序列的多个图片中的任何一个，其中所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者对于所述视频数据序列内的视频数据的一些子集被启用，并且其中所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者对于所述视频数据序列内的视频数据的其他子集被禁用。

23.根据权利要求17所述的视频解码设备，其中，所述处理电路还被配置为：

解码与所述视频数据序列相关联的一个或多个语法元素；以及

基于与所述视频数据序列相关联的一个或多个语法元素，来确定所述第一解码器侧细化工具和所述第二解码器侧细化工具被启用以便可用于对所述视频数据序列的多个图片进行解码。

24.根据权利要求17所述的视频解码设备，其中，所述第一子集包括所述视频数据序列的所述多个图片中的第一图片的至少一部分。

25.根据权利要求24所述的视频解码设备，其中，所述视频数据序列内的所述视频数据的第一子集包括以下项中的一个或多个：

视频数据切片；

视频数据帧；

所述视频数据序列的所述多个图片中的一个图片；

视频数据的子图；以及

视频数据块。

26.一种视频编码设备，包括：

存储器，被配置为存储包括多个图片的视频数据序列；以及

处理电路，被配置为：

对第一语法元素的第一实例进行编码以识别对于所述视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具；

对所述第一语法元素的第二实例进行编码以识别对于所述视频数据序列内的视频数据的第二子集是启用还是禁用所述第一解码器侧细化工具，其中所述第二子集不同于所述第一子集；

对第二语法元素的第一实例进行编码以识别对于所述视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具；以及

对所述第二语法元素的第二实例进行编码以识别对于所述视频数据序列内的视频数据的第二子集是启用还是禁用所述第二解码器侧细化工具。

27.根据权利要求26所述的视频编码设备，其中，所述第一解码器侧细化工具包括解码器侧运动矢量细化(DMVR)工具，并且其中所述第二解码器侧细化工具包括双向光流(BDOF)工具。

28.根据权利要求26所述的视频编码设备，其中，所述处理电路还被配置为：

对所述第一语法元素的第三实例进行编码以识别对于所述视频数据序列内的视频数据的第三子集是启用还是禁用所述第一解码器侧细化工具，其中所述第三子集不同于所述第一子集并且所述第三子集不同于所述第二子集；以及

对所述第二语法元素的第三实例进行编码以识别对于所述视频数据序列内的所述视频数据的第三子集是启用还是禁用所述第二解码器侧细化工具。

29.根据权利要求26所述的视频编码设备，其中，所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者对于所述视频数据序列内的视频数据的一些子集被启用，并且其中所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者对于所述视频数据序列内的视频数据的其他子集被禁用。

30.根据权利要求26所述的视频编码设备，其中，所述处理电路还被配置为：

对与所述视频数据序列相关联的一个或多个语法元素进行编码以指示所述第一解码器侧细化工具和所述第二解码器侧细化工具可用于解码所述视频数据序列的多个图片，

其中，所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者对于所述视频数据序列内的视频数据的一些子集被启用，并且其中所述第一解码器侧细化工具和所述第二解码器侧细化工具中的一个或两者对于所述视频数据序列内的视频数据的其他子集被禁用。

31.根据权利要求26所述的视频编码设备，其中，所述第一子集包括所述视频数据序列的多个图片中的第一图片的至少一部分。

32.根据权利要求31所述的视频编码设备，其中，所述视频数据序列内的所述视频数据的第一子集包括以下项中的一个或多个：

切片；

帧；

图片；

子图片；以及

块。

33.一种视频解码设备，被配置为对包括多个图片的视频数据序列进行解码，所述视频解码设备包括：

用于对第一语法元素进行解码的部件，所述第一语法元素指示对于所述视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具；

用于基于所述第一语法元素的值来确定对于所述视频数据的第一子集是启用还是禁用所述第一解码器侧细化工具的部件；

用于对第二语法元素进行解码的部件，所述第二语法元素指示对于所述视频数据序列内的所述视频数据的第一子集是启用还是禁用第二解码器侧细化工具；

用于基于所述第一语法元素的值来确定对于所述视频数据的第一子集是启用还是禁用所述第二解码器侧细化工具的部件；

用于响应于对于所述第一子集启用所述第一解码器侧细化工具而使用所述第一解码器侧细化工具解码所述视频数据的第一子集的部件；

用于响应于对于所述第一子集禁用所述第一解码器侧细化工具而在不使用所述第一解码器侧细化工具的情况下解码所述视频数据的第一子集的部件；

用于响应于对于所述第一子集启用所述第二解码器侧细化工具而使用所述第二解码器侧细化工具解码所述视频数据的第一子集的部件；以及

用于响应于对于所述第一子集禁用所述第二解码器侧细化工具而在不使用所述第二解码器侧细化工具的情况下解码所述视频数据的子集的部件。

34.一种视频编码设备，被配置为对包括多个图片的视频数据序列进行编码，所述视频编码设备包括：

用于对第一语法元素的第一实例进行编码以识别对于所述视频数据序列内的视频数据的第一子集是启用还是禁用所述第一解码器侧细化工具的部件；

用于对所述第一语法元素的第二实例进行编码以识别对于所述视频数据序列内的视频数据的第二子集是启用还是禁用所述第一解码器侧细化工具的部件，其中所述第二子集不同于所述第一子集；

用于对第二语法元素的第一实例进行编码以识别对于所述视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具的部件；以及

用于对所述第二语法元素的第二实例进行编码以识别对于所述视频数据序列内的视频数据的第二子集是启用还是禁用所述第二解码器侧细化工具的部件。

35.一种存储指令的计算机可读存储介质，所述指令在被执行时使视频解码设备的一个或多个处理器：

对第一语法元素进行解码，所述第一语法元素指示对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具，其中所述视频数据序列包括多个图片；

基于所述第一语法元素的值来确定对于所述视频数据的第一子集是启用还是禁用所述第一解码器侧细化工具；

对第二语法元素进行解码，所述第二语法元素指示对于所述视频数据序列内的所述视频数据的第一子集是启用还是禁用第二解码器侧细化工具；

基于所述第一语法元素的值来确定对于所述视频数据的第一子集是启用还是禁用所述第二解码器侧细化工具；

响应于对于所述第一子集启用所述第一解码器侧细化工具，使用所述第一解码器侧细化工具解码所述视频数据的第一子集；

响应于对于所述第一子集禁用所述第一解码器侧细化工具，在不使用所述第一解码器侧细化工具的情况下解码所述视频数据的第一子集；

响应于对于所述第一子集启用所述第二解码器侧细化工具，使用所述第二解码器侧细化工具解码所述视频数据的第一子集；以及

响应于对于所述第一子集禁用所述第二解码器侧细化工具，在不使用所述第二解码器侧细化工具的情况下解码所述视频数据的子集。

36.一种存储指令的计算机可读存储介质，所述指令在被执行时使视频编码设备的一个或多个处理器：

对第一语法元素的第一实例进行编码以识别对于视频数据序列内的视频数据的第一子集是启用还是禁用第一解码器侧细化工具，其中所述视频数据序列包括多个图片；

对所述第一语法元素的第二实例进行编码以识别对于所述视频数据序列内的视频数据的第二子集是启用还是禁用所述第一解码器侧细化工具，其中所述第二子集不同于所述第一子集；

对第二语法元素的第一实例进行编码以识别对于所述视频数据序列内的视频数据的第一子集是启用还是禁用第二解码器侧细化工具；以及

对所述第二语法元素的第二实例进行编码以识别对于所述视频数据序列内的视频数据的第二子集是启用还是禁用所述第二解码器侧细化工具。

Images