CN113475076A - 用于对视频数据进行编码的帧间预测方法 - Google Patents

用于对视频数据进行编码的帧间预测方法 Download PDF

Info

Publication number
CN113475076A
CN113475076A CN202080016313.XA CN202080016313A CN113475076A CN 113475076 A CN113475076 A CN 113475076A CN 202080016313 A CN202080016313 A CN 202080016313A CN 113475076 A CN113475076 A CN 113475076A
Authority
CN
China
Prior art keywords
dmvr
bdof
selecting
image block
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080016313.XA
Other languages
English (en)
Other versions
CN113475076B (zh
Inventor
廖如伶
叶琰
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202310995283.7A priority Critical patent/CN117014634A/zh
Publication of CN113475076A publication Critical patent/CN113475076A/zh
Application granted granted Critical
Publication of CN113475076B publication Critical patent/CN113475076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供用于视频数据编码中的帧间预测处理的系统和方法。一个示例性方法包括：基于视频比特流选择DMVR处理和BDOF处理中的一者；以及基于所选择的处理对图像块进行帧间预测。该选择可以通过明确传达或在解码器侧的隐含得到来进行。根据一个示例性方法，选择DMVR处理和BDOF处理中的一者可以基于以下内容来选择DMVR处理和BDOF处理中的一者：在编码单元(CU)级别和编码树单元(CTU)级别中的至少一者传达的标志、和与扩展合并候选列表相关联的合并候选索引。

Description

用于对视频数据进行编码的帧间预测方法
相关申请的交叉引用
本申请要求于2019年3月11日提交的美国临时专利申请No.62/816,869的优先权和优先权的权益，在此将其全文通过引入并入。
技术领域
本公开总体上涉及视频数据处理，具体涉及用于对视频数据进行编码及解码的简化的帧间预测处理。
背景技术
视频编码通常用于转换和压缩数字视频信号，例如以减少所消耗的存储空间或减少与这些信号相关联的传输带宽消耗。
视频编码系统可以包括各种工具或技术以解决编码处理中所涉及的不同问题。例如，在视频编码处理中，可以将输入视频数据分割为不同尺寸的块单元并逐块处理。在预测处理中，可以使用各种预测模式(例如，帧内预测模式和帧间预测模式)来预测块。已经提出了各种技术来提高视频编码的效率和精确性，并降低所涉及的计算复杂性。
然而，不同技术的应用会受到不同条件的影响。例如，一些技术会需要编码单元满足各种条件，或需要以特定模式对编码单元进行编码。一些技术可以仅适用于亮度分量。不同技术的组合对于处理所有块可能不是都可行的，并且对于某些硬件配置可能是不实际的。因此，考虑到技术各自的适用性条件和硬件要求，希望适当地组合或选择不同的技术。
发明内容
本公开的实施方式提供了用于简化帧间预测处理的方法和系统。根据一些实施方式，可以传达附加信息以指示在处理视频数据时要执行解码器侧运动矢量细化(DMVR)处理和双向光流(BDOF)处理中的哪个。一个示例性方法包括：基于视频比特流来选择DMVR处理和BDOF处理中的一者；以及基于所选择的处理对图像块进行帧间预测。选择DMVR处理和BDOF处理中的一者的步骤包括：基于在编码单元(CU)级别和编码树单元(CTU)级别中的至少一者传达的标志、和与扩展合并候选列表相关联的合并候选索引来选择DMVR处理和BDOF处理中的一者。
在一些实施方式中，用于视频数据处理的DMVR处理和BDOF处理的选择可以通过解码器侧的隐含得到来进行。例如，根据一个示例性方法，选择DMVR处理和BDOF处理中的一者可以基于以下内容中的至少一者：图像块的两个基准块的失真、图像块的运动矢量、图像块的尺寸、图像块的形状、与图像块的相邻块相关联的运动矢量、以及信号统计。
在一些实施方式中，用于视频数据处理的DMVR处理和BDOF处理的选择包括：将图像块划分成多个子块；以及为所述多个子块中的各个子块选择DMVR处理和BDOF处理中的一者。
在一些实施方式中，提供了用于处理视频数据的方法。一个示例性方法包括：确定是否对图像块的帧间预测应用了三角形分割模式；并且响应于确定对图像块的帧间预测应用了三角形分割模式，对于图像块停用子块变换模式。
在一些实施方式中，提供了一种用于处理视频数据的装置。示例性装置包括：存储指令的存储器；以及处理器，其被配置成执行该指令以使所述装置：基于视频比特流选择DMVR处理和BDOF处理中的一者；以及基于所选择的处理对图像块进行帧间预测。
在一些实施方式中，提供了一种用于处理视频数据的设备。示例性装置包括：存储指令的存储器；以及处理器，其被配置成执行所述指令以使所述装置：确定是否对图像块的帧间预测应用了三角形分割模式；并且如果确定对图像块的帧间预测应用了三角形分割模式，则对于图像块停用子块变换模式。
在一些实施方式中，提供了一种计算机可读介质。示例性非暂时性计算机可读介质存储指令集，该指令集可以由视频处理装置的一个或更多个处理器执行以使所述装置执行包括以下内容的方法：基于视频比特流选择DMVR处理和BDOF处理中的一者；以及基于所选择的处理对图像块进行帧间预测。
在一些实施方式中，提供了一种计算机可读介质。示例性非暂时性计算机可读介质存储指令集，该指令集可以由视频处理装置的一个或更多个处理器执行以使所述装置执行包括以下内容的方法的指令集：确定是否对图像块的帧间预测应用了三角形分割模式；并且响应于确定对图像块的帧间预测应用了三角形分割模式，对于图像块停用子块变换模式。
附图说明
在以下详细描述和附图中说明了本公开的实施方式和各个方面。图中所示的各种特征没有按比例绘制。
图1是例示根据本公开的一些实施方式的示例性视频编码和解码系统的示意图。
图2是例示根据本公开的一些实施方式的可以是图1的示例性系统的一部分的示例性视频编码器的示意图。
图3是例示根据本公开的一些实施方式的可以是图1的示例性系统的一部分的示例性视频解码器的示意图。
图4是根据本公开的一些实施方式的在双向光流(BDOF)中使用的扩展编码单元(CU)区域的示例的示意图。
图5是例示根据本公开的一些实施方式的解码器侧运动矢量细化的示例的示意图。
图6是例示根据本公开的一些实施方式的示例性解码器侧运动矢量细化(DMVR)搜索处理的示意图。
图7是例示根据本公开的一些实施方式的DMVR整数亮度样本搜索模式的示例的示意图。
图8是例示根据本公开的一些实施方式的由解码器实现的示例性DMVR处理和BDOF处理的示意图。
图9是例示根据本公开的一些实施方式的由解码器实现的示例性DMVR处理和BDOF处理的示意图。
图10是根据本公开的一些实施方式的包括具有标志信令的合并数据句法结构的示例性表。
图11是根据本公开的一些实施方式的包括具有标志信令的编码树单元句法结构的示例性表。
图12A是根据本公开的一些实施方式的包括具有标志信令的编码树单元句法结构的示例性表。
图12B是根据本公开的一些实施方式的包括具有标志信令的合并数据句法结构的示例性表。
图13是根据本公开的一些实施方式的包括具有标志和阈值信令的合并数据句法结构的示例性表。
图14例示根据本公开的一些实施方式的基于三角形分割的帧间预测的示例。
图15例示根据本公开的一些实施方式的用于帧间预测块的子块变换的示例。
图16例示根据本公开的一些实施方式的当组合三角形分割和子块变换模式时用于帧间预测块的子块变换的示例。
图17是根据本公开的一些实施方式的包括编码单元句法结构的示例性表。
图18是根据本公开的一些实施方式的视频处理装置的框图。
具体实施方式
现在将详细参考示例性实施方式，其示例在附图中示出。以下描述参考附图，其中不同附图中的相同标号可表示相同或类似的元件，除非另有说明。在示例性实施方式的以下描述中阐述的实现并不代表与本发明一致的所有实现。相反，它们仅仅是与所附权利要求中所述的与本发明相关的方面一致的装置和方法的示例。
图1是例示可利用符合各种视频编码标准(例如HEVC/H.265和VVC/H.266)的技术的示例视频编码和解码系统100的框图。如图1中所示，系统100包括源装置120，其提供编码视频数据，编码视频数据在稍后时间由目的地装置140解码。根据本公开的一些实施方式，源装置120和目的地装置140均可以包括宽范围的装置中的任一种，诸如台式计算机、笔记本(例如膝上型)计算机、平板计算机、机顶盒、移动电话、电视、摄像头、可穿戴设备(例如智能手表或可穿戴摄像头)、显示装置、数字媒体播放器、视频游戏控制台、视频流装置等。源装置120和目的地装置140可以被配备以进行无线或有线通信。
参照图1，源装置120可以包括视频源122、视频编码器124和输出接口126。目的地装置140可以包括输入接口142、视频解码器144和显示装置146。在一些实施方式中，源装置和目的地装置还可以包括其它组件或布局。例如，源装置120可以从诸如外部摄像头的外部视频源(未示出)接收视频数据。同样，目的地装置140可以与外部显示装置接口，而不是包括集成显示装置。
虽然在以下描述中，将某些技术解释为由视频编码装置执行，但所述技术也可以由视频编解码器(通常称为“CODEC”)执行。此外，本公开的技术还可以由视频预处理器执行。源装置120和目的地装置140仅为此类编码装置的示例，其中源装置120产生用于向目的地装置140发送的经编码的视频数据。在一些实施方式中，源装置120和目的地装置140可以以基本上对称的方式操作，使得源装置120和目的地装置140中均包括视频编码和解码组件。因此，系统100可支持源装置120与目的地装置140之间的单向或双向视频传输，例如用于视频流式传输、视频播放、视频广播或视频电话。
源装置120的视频源122可以包括视频捕捉装置(诸如视频摄像头)、包括先前捕获的视频数据的视频档案、或从视频内容提供者接收视频的视频馈送接口。作为另一另选方案，视频源122可以生成基于计算机图形的数据作为源视频，或实况视频、存档视频和计算机产生的视频的组合。所捕捉的、预先捕捉的或计算机生成的视频可以由视频编码器124编码。经编码的视频信息然后可以由输出接口126输出到通信介质160上。
输出接口126可以包括能够将经编码的视频数据从源装置120发送到目的地装置140的任何类型的介质或装置。例如，输出接口126可以包括被配置成将经编码的视频数据从源装置120实时直接发送到目的地装置140的发送器或收发器。可以根据通信标准(例如无线通信协议)来调制经编码的视频数据，并将其发送到目的地装置140。
通信介质160可以包括暂时介质，例如无线广播或有线网络传输。例如，通信介质160可以包括射频(RF)频谱或一个或更多个物理传输线(例如电缆)。通信介质160可以形成基于分组的网络的一部分，诸如局域网、广域网或诸如因特网的全球网络。在一些实施方式中，通信介质160可以包括路由器、交换机、基站或可以用于促进从源装置120到目的地装置140的通信的任何其他装置。例如，网络服务器(未示出)可以从源装置120接收经编码的视频数据并(例如)经由网络传输将经编码的视频数据提供到目的地装置140。
通信介质160还可以具有存储介质(例如非暂时存储介质)的形式，诸如硬盘、闪存驱动器、压缩盘、数字视频盘、蓝光盘，易失性或非易失性存储器、或用于存储编码视频数据的任何其他合适的数字存储介质。在一些实施方式中，介质制作设施(例如盘打印设施)的计算装置可以从源装置120接收经编码的视频数据并产生含有经编码的视频数据的盘。
目的地装置140的输入接口142从通信介质160接收信息。所接收的信息可以包括句法信息，该句法信息包括描述块和其它编码单元的特性或处理的句法元素。句法信息由视频编码器124定义并由视频解码器144使用。显示装置146将经解码的视频数据显示给用户，并且可以包括多种显示装置中的任一种，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。
作为另一示例，可以将由源装置120产生的经编码视频存储在文件服务器或存储装置上。输入接口142可以通过流传输或下载来从文件服务器或存储装置访问所存储的视频数据。文件服务器或存储装置可以是能够存储经编码的视频数据并将经编码的视频数据传输到目的地装置140的任何类型的计算装置。文件服务器的示例包括支持网站的web服务器、文件传输协议(FTP)服务器、网络附加存储(NAS)装置或本地磁盘驱动器。来自存储装置的经编码的视频数据的传输可以是流式传输、下载传输或其组合。
视频编码器124和视频解码器144各自可实施为多种合适的编码器电路中的任一者，例如一个或更多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件形式实施时，装置可以将用于所述软件的指令存储在合适的非暂时性计算机可读介质中，并且使用一个或更多个处理器在硬件中执行所述指令以执行本公开的技术。视频编码器124和视频解码器144中均可以被包括在一个或更多个编码器或解码器中，所述编码器或解码器中的任一者可以被集成作为相应装置中的组合编解码器(CODEC)的一部分。
视频编码器124和视频解码器144可以根据任何视频编码标准来工作，例如通用视频编码(VVC/H.266)标准、高效率视频编码(HEVC/H.265)标准、ITU-TH.264(也称为MPEG-4)标准等。虽然在图1中未示出，但在一些实施方式中，视频编码器124和视频解码器144可以分别与音频编码器和解码器集成，并且可以包括适当的MUX-DEMUX单元或其它硬件和软件，以处理共用数据流或单独数据流中的音频和视频两者的编码。
图2是例示与所公开实施方式一致的示例性视频编码器200的示意图。例如，视频编码器200可以用作系统100(图1)中的视频编码器124。视频编码器200可以对视频帧内的块(包括视频块或视频块的分区或子分区)执行帧内或帧间编码。帧内编码可以依赖于空间预测来减少或移除给定视频帧内的视频中的空间冗余。帧间编码可以依赖于时间预测来减少或移除视频序列的相邻帧内的视频中的时间冗余。帧内模式可以指多个基于空间的压缩模式。帧间模式(例如单向预测或双向预测)可以是指多个基于时间的压缩模式。
参照图2，可以逐块地处理输入视频信号202。例如，视频块单元可以是16×16像素的块(例如宏块(MB))。依赖于所使用的编码技术以及所需的准确性和效率，视频块单元的尺寸可以改变。在HEVC中，扩展块尺寸(例如编码树单元(CTU))可以用于压缩分辨率例如1080p以上的视频信号。在HEVC中，CTU可以包括多达64×64个亮度样本、对应的色度样本和相关联的句法元素。在VVC中，CTU的大小可以进一步增加以包括128×128个亮度样本、对应色度样本和相关联的句法元素。可以使用例如四叉树、二叉树或三叉树将CTU进一步划分为编码单元(CU)。CU可以进一步分割为预测单元(PU)，可以对预测单元应用单独的预测方法。可以通过使用空间预测单元260或时间预测单元262来处理各输入视频块。
空间预测单元260使用关于包括当前块的相同图片/切片的信息对当前块/CU执行空间预测(例如帧内预测)。空间预测可以使用来自同一视频图片帧/切片中的已编码相邻块的像素来预测当前视频块。空间预测可以减少视频信号中固有的空间冗余。
时间预测单元262使用来自与包括当前块的图片/切片不同的图片/切片的信息对当前块执行时间预测(例如帧间预测)。可以通过一个或更多个运动矢量来传达视频块的时间预测。在单方向时间预测中，仅使用指示一个基准图片的一个运动矢量来生成当前块的预测信号。另一方面，在双向时间预测中，可以使用两个运动矢量来生成当前块的预测信号，各运动矢量指示相应的基准图片。运动矢量可以指示当前块与基准帧中的一个或更多个相关联块之间的运动量和方向。如果支持多个基准图片，则可以为视频块发送一个或更多个基准图片索引。一个或更多个基准索引可以用于标识时间预测信号可以来自基准图片存储器或解码图片缓冲器(DPB)264中的哪个(些)基准图片。
编码器中的模式决策和编码器控制单元280可以选择预测模式，例如基于率失真优化。基于所确定的预测模式，可以获得预测块。可以在加法器216处从当前视频块减去预测块。预测残差可以由变换单元204变换并由量化单元206量化。经量化的残差系数可以在逆量化单元210处被逆量化且在逆变换单元212处被逆变换以形成经重构的残差。可以在加法器226处将经重构的残差添加到预测块以形成经重构的视频块。可以使用环路滤波之前的经重构的视频块来提供用于帧内预测的基准样本。
经重构的视频块可以在环路滤波器266处经历环路滤波。例如，可以应用诸如去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)的环路滤波。经环路滤波的重构块可以存储在基准图片存储部264中，并且可以用于提供帧间预测基准样本以用于对其它视频块进行编码。为了形成输出视频比特流220，可以将编码模式(例如帧间或帧内)、预测模式信息、运动信息和经量化的残差系数发送到熵编码单元208以在压缩和打包数据以形成比特流220之前进一步减小比特率。
图3是例示根据所公开实施方式的视频解码器300的示意图。例如，视频解码器300可以用作系统100(图1)中的视频解码器144。参照图3，可以在熵解码单元308处对视频比特流302进行解包或熵解码。编码模式信息可以用于确定将选择空间预测单元360还是时间预测单元362。预测模式信息可以被发送到相应的预测单元以生成预测块。例如，经运动补偿的预测可以由时间预测单元362应用以形成时间预测块。
残差系数可以被发送到逆量化单元310和逆变换单元312以获得经重构的残差。可以在326处将预测块和经重构的残差加在一起以在环路滤波之前形成经重构的块。经重构的块然后可以在环路滤波器366处经历环路滤波。例如，可以应用诸如去块滤波器、SAO和ALF的环路滤波。然后可以将经环路滤波的经重构的块存储在基准图片存储部364中。基准图片存储部364中的经重构的数据可以用于获得经解码的视频320，或用于预测未来视频块。经解码的视频320可以在例如系统100(图1)中所描述的显示装置146的显示装置上显示。
与根据本公开的一些实施方式一致，下面描述双向光流(BDOF)处理。BDOF处理可以用于细化双向预测信号，例如，4×4子块级别下的CU的预测信号，诸如图4中所示的4×4子块402。在一些实施方式中，BDOF处理的应用会受到某些限制。例如，如果满足以下条件，则可以将BDOF处理应用于CU：(1)CU高度不为4，并且CU宽度不为4；(2)CU具有超过64个亮度样本；(3)未使用仿射模式、帧间帧内组合预测模式(CIIP)或另选时间运动矢量预测(ATMVP)合并模式对CU进行编码；(4)采用真双向预测模式对CU进行了编码(即，用于对CU进行编码的两个基准图片中的一个基准图片在显示顺序上在当前图片之前，另一基准图片在显示顺序上在当前图片之后)；以及(5)未使用加权预测或具有CU级别加权(BCW)模式的双向预测对CU进行编码。此外，BDOF可以应用于亮度分量。
BDOF处理基于光流概念，其假设对象的运动是平滑的。对于各个4×4子块，可以通过最小化L0与L1预测样本之间的差来计算运动细化量(vx,vy)。该运动细化量可以用于调整4×4子块中的双向预测样本值。在下面的示例中描述了BDOF处理中涉及的示例性处理。
首先，可以通过直接计算两个相邻样本之间的差来计算两个预测信号的水平梯度
Figure BDA0003226352040000081
和垂直梯度
Figure BDA0003226352040000082
即，
Figure BDA0003226352040000083
Figure BDA0003226352040000084
其中，I(k)(i,j)是列表k,k＝0,1中的预测信号的坐标(i,j)处的样本值。
梯度的自相关和互相关S1、S2、S3、S5和S6可以被计算为
S1＝∑(i,j)∈Ωψx(i,j)·ψx(i,j),S3＝∑(i,j)∈Ωθ(i,j)·ψx(i,j)
S2＝∑(i,j)∈Ωψx(i,j)·ψy(i,j)
S5＝∑(i,j)∈Ωψy(i,j)·ψy(i,j)S6＝∑(i,j)∈Ωθ(i,j)·ψy(i,j)
其中
Figure BDA0003226352040000085
Figure BDA0003226352040000086
θ(i,j)＝(I(1)(i,j)＞＞nb)-(I(0)(i,j)＞＞nb)
其中Ω是4×4子块周围的6×6窗口，诸如图4所示的4×4子块402周围的6×6窗口404。
可以基于以下内容使用互相关和自相关项来得到运动细化量(vx,vy)：
Figure BDA0003226352040000087
Figure BDA0003226352040000088
其中，
Figure BDA0003226352040000089
并且
Figure BDA00032263520400000810
是基底函数。
基于运动细化量和梯度，可以针对4×4子块中的各个样本计算以下调整量：
Figure BDA0003226352040000091
Figure BDA0003226352040000092
可以通过如下调整双向预测样本来计算CU的BDOF样本：
predBDOF(x,y)＝(I(0)(x,y)+I(1)(x,y)+b(x,y)+ooffset)＞＞shift
在上述示例中，na、nb和
Figure BDA0003226352040000093
的值分别等于3、6和12。选择这些值使得BDOF处理中的乘数不超过15比特，并且BDOF处理中的中间参数的最大比特宽度保持在32比特以内。
为了得到梯度值，可能需要生成当前CU边界之外的列表k(k＝0,1)中的一些预测样本I(k)(i,j)。如图4所示，BDOF处理使用围绕CU边界的一个扩展的行/列406。在一些实施方式中，为了控制与生成边界外预测样本相关联的计算复杂性，可以使用双线性滤波器来生成扩展区域中的预测样本。此外，可以使用正常8抽头运动补偿插值滤波器来生成CU内的预测样本。这些扩展样本值可以用于梯度计算中。对于BDOF处理中的剩余过程，如果需要CU边界之外的任何样本和梯度值，则可以从它们最近的邻居来填充(即，重复)它们。
解码器侧运动矢量细化(DMVR)处理是基于双边匹配(BM)的解码器侧运动矢量细化处理。DMVR处理可以用于增加合并模式的运动矢量(MV)的精确性。在双向预测操作中，可以在基准图片(例如，基准图片列表L0和基准图片列表L1)中的初始MV周围搜索经细化的MV(例如，在图5中所示)。BM方法可以用于计算基准图片列表L0和列表L1中的两个基准块之间的失真。
图5是例示根据本公开的一些实施方式的DMVR处理500的示例的示意图。如图5所示，基于当前图片510中的当前块512的运动轨迹，可以在基准图片520和530中识别两个基准块522和532。可以基于初始MV周围的各个MV候选计算基准块522和532之间的绝对差之和(SAD)。可以将具有最低SAD的MV候选视为经细化的MV并且用于生成双向预测信号。
在一些实施方式中，DMVR处理可以应用于满足以下条件的CU：(1)具有双向预测MV的CU级别合并模式；(2)相对于当前图片，一个基准图片是过去的，另一基准图片是将来的；(3)两个基准图片到当前图片的距离(即图片顺序计数(POC)差)相同；(4)CU具有超过64个亮度样本，并且CU宽度和CU高度均大于或等于8个亮度样本；以及(5)未使用CIIP、权重预测或BCW模式对CU进行编码。通过DMVR处理得到的细化MV可以用于生成帧间预测样本，并且还可以在对未来图片进行编码中用于时间运动矢量预测。原始MV可以用于解块处理，或在未来CU编码中用于空间运动矢量预测。
如图5所示，围绕初始MV和MV偏移的搜索点遵循MV差异镜像规则。换言之，由候选MV对(MV0,MV1)表示的由DMVR处理检查的任何点遵循以下两个算式：
MV0′＝MV0+MV_offset
MV1′＝MV1-MV_offset,
其中，MV_offset表示基准图片中的初始MV与经细化的MV之间的细化偏移量。在一些实施方式中，细化搜索范围可以是来自初始MV的两个整数亮度样本。
图6例示了根据本公开的一些实施方式的DMVR的示例性DMVR搜索处理600。如图6所示，搜索处理可以包括整数样本偏移搜索级610和分数样本细化级620。在一些实施方式中，为了降低搜索复杂性，可以在整数样本偏移搜索级610中应用具有提前终止机制的搜索方法。例如，代替25点完全搜索，可以应用2-迭代搜索方案来减少SAD检查点数。
如图7所示，在第一次迭代中可以检查最多6个SAD。首先，比较五个点(中心和P1～P4)的SAD。如果中心位置的SAD最小，则可以终止DMVR处理的整数样本偏移级(即，图6中的610)。如果中心位置的SAD不是最小的，则可以再检查一个位置P5。P5能够通过P1～P4的SAD分布来确定。可以选择具有最小SAD的位置(在P1～P5中)作为第二次迭代搜索的中心位置。第二次迭代搜索的处理可以基本上类似于第一次迭代搜索的处理。在第一次迭代中计算的SAD可以在第二次迭代中重新使用。因此，只需要进一步计算3个附加点的SAD。
返回参照图6，整数样本偏移搜索级610之后可以是分数样本细化级620。在一些实施方式中，分数样本细化量可以通过使用参数误差曲面方程而不是通过利用SAD比较的附加搜索来得到。这样，可以降低计算复杂性。可以基于整数样本偏移搜索级的输出来调用分数样本细化级620。如上所述，如果中心位置具有最小SAD，则可以终止整数样本偏移搜索级610。这可以发生在第一次迭代或第二次迭代搜索中。如果发生这种情况，则可以进一步应用分数样本细化级620。
在基于参数误差表面的子像素偏移量估计中，中心位置成本和离开中心的四个相邻位置处的成本可以用于拟合如下的2-D抛物线误差曲面方程：
E(x,y)＝A(x-xmin)2+B(y-ymin)2+C,
其中(xmin,ymin)对应于具有最小成本的分数位置，并且C对应于最小成本值。通过使用五个搜索点的成本值来求解上述方程，(xmin,ymin)可以计算为：
xmin＝(E(-1,0)-E(1,0))/(2(E(-1,0)+E(1,0)-2E(0,0)))
ymin＝(E(0,-1)-E(0,1))/(2((E(0,-1)+E(0,1)-2E(0,0)))
xmin和ymin的值可以被限制在-8到8之间，因为所有的成本值都是正的，并且最小值是E(0,0)。这可以对应于具有1/16像素MV精确性的半像素偏移。所计算的分数(xmin,ymin)可以被添加到整数距离细化量MV以获得子像素精确细化德尔塔MV。
下面提供双线性插值和样本填充的简要描述。例如，在VVC中，MV的分辨率是1/16个亮度样本。使用8抽头插值滤波器插值分数位置处的样本。在DMVR处理中，搜索点围绕具有整数样本偏移量的初始分数像素MV。因此，可能需要为DMVR搜索处理对那些分数位置的样本进行插值。为了降低计算复杂性，可以使用双线性插值滤波器来生成用于DMVR搜索处理的分数样本。
使用双线性滤波器的另一特征是，对于双样本搜索范围，与正常运动补偿处理相比，DMVR处理不访问更多的基准样本。在利用DMVR搜索处理获得经细化的MV之后，可以应用8抽头插值滤波器来生成最终预测。基于原始MV的插值处理不需要但基于经细化的MV的插值处理需要的样本可以从那些可用样本来填充(例如，重复)。这样，与正常运动补偿处理相比，DMVR搜索处理不需要访问更多的基准样本。
当CU的宽度和/或高度大于16个亮度样本时，其可以被进一步划分为宽度和/或高度等于16个亮度样本的子块。与本公开的一些实施方式一致，用于DMVR搜索处理的最大单元尺寸可以限于16×16。
在一些实施方式中，可以实现BDOF处理和DMVR处理的组合。例如，为了预测帧间块，可能需要执行包括运动补偿、DMVR处理和BDOF处理的多个处理。如图8所例示，DMVR处理之后的经细化的运动矢量可以用作BDOF处理的初始运动矢量。在一些实施方式中，与图8一致，可以顺序地处理DMVR处理和BDOF处理。
如图8中的示例性解码器800中所示，时间预测单元862可以包括用以分别在862C处执行运动补偿的组件、在862B处执行DMVR处理的组件以及在862A处执行BDOF处理的组件。从862B处的DMVR处理的处理输出被用作862A处的BDOF处理的输入。解码器800还包括用于处理比特流802的各种其它单元，例如，熵解码单元808、逆量化单元810、逆变换单元812、空间预测单元860、环路滤波器866和基准图片存储部864。可以基于基准图片存储部864中的经解码的数据获得经解码的视频820。上述单元和组件可以执行与上面参照图3描述的相应单元所执行的处理类似的处理，这里不再重复其细节。
在本公开的一些实施方式中，实施了合并模式，其中可以通过经空间编码的块或经时间编码的块直接得到当前CU的运动信息。在合并模式中，得到多个运动信息候选并将其放入合并候选列表中。编码器可以从候选列表中选择一个候选并在比特流中传达。可以通过按以下顺序包括以下五种类型的候选来构造合并候选列表：(1)来自空间邻居CU的空间运动矢量预测(MVP)候选；(2)来自同位CU的时间MVP候选；(3)来自先进先出(FIFO)表的基于历史的MVP候选；(4)成对平均MVP候选；以及(5)零MV。
在一些实施方式中，合并候选列表的大小可以在切片头部中指示，并且合并候选列表的最大允许大小可以是例如6。对于使用合并模式编码的各个CU，可以使用截断一元(TU)二进制化来对最佳合并候选的索引进行编码。合并索引的第一个窗口可以用上下文来编码。对于其它窗口，可以使用旁路编码。
在一些实施方式中，DMVR处理和BDOF处理两者可以仅应用于使用合并模式编码的CU。在确定合并候选(即，为当前CU确定了运动信息)之后，解码器可以检查DMVR和BDOF适用性条件。如上所述，合并候选可以由合并索引指示。如果满足条件，则可以应用DMVR处理和BDOF处理中的一者或两个。根据诸如运动信息和块尺寸之类的适用性条件，合并模式编码的CU可以仅由DMVR处理来处理，仅由BDOF处理来处理，由其两者来处理，或者不由其两者来处理。
如上参照图8所述，DMVR处理和BDOF处理都可以应用于对某些CU编码进行编码。然而，DMVR处理和BDOF处理的顺序处理可能是昂贵的，并且对于某些硬件设计可能是不实际的。在某些硬件体系结构中，这两个处理被放入同一硬件流水线级中。由于DMVR处理和BDOF处理的复杂计算，将两个处理都适用于硬件周期限制可能是不实际的。此外，当满足适用性条件时，应用DMVR处理和BDOF处理。然而，这可能不是适用于所有块。
为了解决上述问题，在本公开的一些实施方式中，仅执行DMVR处理和BDOF处理中的一者。如图9所示，时间预测单元962可以包括分别在962C处执行运动补偿的组件、以及在962B处执行DMVR处理和在962A处执行BDOF处理中的一者的组件。即，当执行962B处的DMVR处理时，不执行962A处的BDOF处理。类似地，如果执行962A处的BDOF处理，则不执行962B处的DMVR处理。图9中所示的解码器900还包括用以处理比特流902的各种其它单元，例如，熵解码单元908、逆量化单元910、逆变换单元912、空间预测单元960、环路滤波器966和基准图片存储部964。可以基于基准图片存储部964中的经解码数据获得经解码的视频920。上述单元和组件可以执行与上面参照图3描述的相应单元所执行的处理类似的处理，这里不再重复其细节。
根据本公开的一些实施方式，可以在比特流中提供附加信息以确定是应用DMVR处理还是应用BDOF处理。可以明确地传达该附加信息。例如，可以传达标志以指示是执行DMVR处理还是执行BDOF处理。该标志可以在不同的级别下传达。在一些实施方式中，当DMVR处理和BDOF处理中两者可以被应用于同一块时，可以传达较高级别标志以指示执行DMVR处理和BDOF处理中的哪个。可以在序列参数集(SPS)级别、图片参数集(PPS)级别、图片标头结构句法、切片头部、图块(tile)群级别或CTU级别下传达该较高级别标志。
作为示例，如图10所例示的表1000所示，该标志可以在CU级别下与合并索引一起传达。句法元素dmvr_flag(参见图10中的句法元素1010)可以用于指示将DMVR处理和BDOF处理中的哪个应用于帧间预测块。如果该标志不存在或未传达，则该标志可以被认为是0，这指示要应用默认处理。默认处理可以被设置为指示DMVR处理，或另选地，BDOF处理。
在一些实施方式中，如图11中所例示的表1100中所示，该标志可以在CTU级别下传达。句法dmvr_ctb_flag(参见句法元素1110)可以在CTU内的所有CU之间共享，并且用于指示对所有CU执行DMVR处理和BDOF处理中的哪个。如果该标志不存在或未在CTU级别下传达，则该标志可以被认为是0，其指示默认处理将被应用于CTU内的所有CU。默认处理可以被设置为指示DMVR处理，或另选地，BDOF处理。
在一些实施方式中，可以在CTU级别下传达第一标志，并且可以在CU级下传达第二标志。如图12A和图12B所示的表1200所示，在CTU级别的句法dmvr_ctb_flag(参见图12A中的句法元素1210)可以用于指示是否传达了CU级别dmvr_flag。例如，如果dmvr_ctb_flag等于1，则该标志可以指示在CU级别传达了dmvr_flag。在另一方面，当不存在dmvr_ctb_flag时，该标志可以被认为是0，其可以用于指示不在CU级别下传达dmvr_flag。即，仅当CTU级别的dmvr_ctb_flag等于1时，才传达CU级别的句法dmvr_flag。
作为上述内容的示例，当dmvr_ctb_flag(参见图12A中的句法元素1210)等于1时，传达CU级别标志dmvr_flag(参见图12B中的句法元素1220)以指示对CU执行DMVR处理和BDOF处理中的哪个。当dmvr_ctb_flag(参见图12A中的句法元素1210)等于0时，其可以用于指示该CTU内的所有CU都用默认处理来编码。默认处理可以被设置为BDOF处理或DMVR处理。没有传达CU级别标志。
在一些实施方式中，可以应用上下文自适应二进制算术编码(CABAC)来对dmvr_flag进行编码。CABAC上下文可以依赖于块的特性。例如，该特性可以涉及块的尺寸，例如亮度样本的数目、块的宽度、块的高度、或者块的宽度和高度两者。此外，CABAC上下文可以依赖于相邻块的dmvr_flag。例如，左边的块和/或上边的块可以用于形成CABAC上下文。
根据本公开的一些实施方式，可以通过合并候选索引来传达是执行DMVR处理还是执行BDOF处理。在一些实施方式中，合并候选列表中的合并候选的数目可加倍。具体地，假设原始合并候选列表包括具有从0到M-1的索引的一组M个候选。与原始的一组M个候选相同的第二组M个候选可以被插入到合并候选列表的末尾，以生成扩展合并候选列表。即，在合并候选列表中重复该M个候选。因此，具有索引x(0≦x<M)的候选与具有索引x+M的候选相同。如果在比特流中指示第一组M个候选(即，原始集合)中的一个候选，则选择并执行DMVR处理和BDOF处理中的一者。或者，如果在比特流中指示第二组M个候选中的一个候选，则执行DMVR处理和BDOF处理中的另一个。作为示例，如果在比特流中指示第一组M个候选中的一个候选，则其可以指示要执行DMVR处理。或者，如果在比特流中指示第二组M个候选中的一个候选，则执行BDOF处理。这样，如合并候选索引所指示的，仅DMVR处理和BDOF处理中的一者被应用于一个块。
在一些实施方式中，类似于上述实施方式，合并候选列表中的合并候选的数目可以加倍。假设原始合并候选列表包括具有从0到M-1的索引的一组M个候选。可以在候选列表的末尾插入与原始M个候选相同的第二组M个候选，以生成扩展合并候选列表。即，在合并候选列表中重复M个候选。具有索引x(0≦x<M)的候选与具有索引x+M的候选相同。与上述实施方式不同，可以自适应地改变DMVR候选和BDOF候选的位置。例如，依赖于当前CU的大小和形状，可以认为第一组(即，原始组)M个候选是使用DMVR处理来处理的，并且可以认为第二组M个候选是由BDOF处理来处理的。另选地，第一组M个候选可以被认为由BDOF处理处理，而第二组M个候选可以被认为由DMVR处理处理。在一些实施方式中，DMVR候选和BDOF候选的位置可以在比特流中传达，例如在切片头部、PPS或SPS中传达。
在一些实施方式中，在合并候选列表中仅重复合并候选的子集。假设原始合并候选列表包括索引从0到5的6个合并候选。候选0、候选1和候选5满足DMVR条件，而候选1、候选3和候选5满足BDOF条件。如上参照图8所述，对于候选1和候选5，DMVR处理和BDOF处理都可以应用，因为它们满足两个处理的条件。在一些实施方式中，如候选6和候选7，在合并候选列表中仅候选1和候选5被重复。为了固定合并候选列表的长度，可填充零MV直到列表中的候选的数目等于12。DMVR和BDOF候选的位置可以是固定的。如果在比特流中指示候选1或候选5，则仅应用DMVR(或BDOF)。或者，如果在比特流中指示候选6或候选7，则仅应用BDOF(或DMVR)。
在一些实施方式中，可以自适应地改变DMVR候选和BDOF候选的位置。在上述示例中，依赖于当前CU的尺寸和形状，或基于比特流中指示的信息，对于候选1或候选5，可以应用DMVR处理；对于候选6或候选7，可以应用BDOF处理。另选地，对于候选1或候选5，可以应用BDOF处理；对于候选6或候选7，可以应用DMVR处理。
基于上述实施方式，可以通过明确传达来实现DMVR处理或BDOF处理的选择。明确传达的一个优点是可以降低DMVR和BDOF硬件实现的复杂性。虽然这可能增加信令成本，但是通过明确传达，编码器可以通过率失真成本来选择DMVR处理和BDOF处理中的一者。这样，可以提高编码效率。
在本公开的一些实施方式中，可以在解码器侧实现关于DMVR处理和BDOF处理的选择的隐含得到。根据一些实施方式，当对于同一块满足用于应用DMVR处理和BDOF处理两者的条件时，可以停用这两个处理中的一者。例如，当针对某个块满足用于应用两个处理的条件时，可以停用BDOF处理，从而将DMVR处理应用于该块。另选地，当针对某个块满足用于应用两个处理的条件时，可以停用DMVR处理，从而将BDOF处理应用于该块。
在一些实施方式中，可以在解码器侧在CU级别下选择DMVR处理或BDOF处理。如以下示例中进一步描述，该选择可以基于当前CU的两个基准块的失真、当前CU的运动矢量、当前CU的尺寸、当前CU的形状或当前CU的相邻块的运动矢量和/或预测模式。
在一些实施方式中，该选择可以基于当前CU的两个基准块(例如，用于对当前CU进行双向预测的两个基准块)的失真。当两个基准块的失真小于预定阈值时，将默认模式应用于当前CU，并且可以停用另一模式。默认模式可以是DMVR处理，在这种情况下，可以停用BDOF处理。或者，默认模式可以是BDOF处理，在这种情况下，可以停用DMVR处理。
在一些实施方式中，该选择可以基于所述当前CU的运动矢量。当确定所述当前CU的运动矢量彼此对称时，可以针对当前CU应用默认模式且可以停用另一模式。如果当前CU的运动矢量彼此不对称，则可以停用默认模式，并且可以应用另一模式。可以理解，默认模式可以是DMVR处理或BDOF处理。
可以通过不同的方式确定两个运动矢量是否对称。例如，如果两个运动矢量的大小(包括水平和垂直分量)彼此相同，并且运动矢量的方向彼此相反，则可以确定两个运动矢量是对称的。作为另一示例，可以将两个运动矢量舍入到最接近的整数，然后可以比较两个整数运动矢量。如果两个整数运动矢量的大小彼此相同，并且运动矢量的方向相反，则可以确定两个运动矢量是对称的。
在一些实施方式中，该选择可以基于当前CU的运动矢量的大小。例如，当确定运动矢量的大小小于预定阈值时，可以将默认模式应用于当前CU并且可以停用另一模式。或者，当确定运动矢量的量值等于或大于预定阈值时，可以停用默认模式，并且可以应用另一模式。可以理解，默认模式可以是DMVR处理或BDOF处理。
在一些实施方式中，该选择可以基于当前CU的尺寸。例如，当确定当前CU的尺寸小于预定阈值时，可以将默认模式应用于当前CU并且可以停用另一模式。或者，当确定当前CU的尺寸等于或大于预定阈值时，默认模式可以被停用，而另一模式可以应用于当前CU。可以理解，默认模式可以是DMVR处理或BDOF处理。此外，CU的尺寸可以是CU的宽度、CU的高度、CU内的亮度样本的数目或CU的宽度加高度。
在一些实施方式中，该选择可以基于当前CU的形状。因为BDOF处理可以以比DMVR处理(16×16)更精细的粒度(4×4)来执行，所以BDOF处理可以比DMVR处理适合于具有窄高或平宽形状的块。在一些实施方式中，可以计算max(宽度,高度)和min(宽度,高度)的比。如果该比高于预定阈值，则可以应用BDOF处理，并且可以停用DMVR处理。或者，如果该比率等于或低于预定阈值，则可以应用DMVR处理，并且可以停用BDOF处理。预定阈值可以是可调节的，并且在不同的实现方式中可以变化。
在一些实施方式中，该选择可以基于当前CU的一个或更多个相邻块的运动矢量。例如，所述相邻块可以为当前CU的左边和/或上边的块。当确定相邻块的运动矢量类似于或基本上类似于当前CU时，可以将默认模式应用于当前CU并且可以停用另一模式。或者，如果相邻块的运动矢量被确定为与当前CU基本上不相似，则默认模式可以被停用，而另一模式可以被应用于当前CU。相邻块的运动矢量是否与当前CU的运动矢量相似可以基于两个运动矢量之间的大小和/或方向的差来确定。可以进一步将该差与预定阈值进行比较。例如，如果差大于预定阈值，则可以选择默认模式。可以理解，默认模式可以是DMVR处理或BDOF处理。
在一些实施方式中，可以基于信号统计来选择DMVR处理和BDOF处理。信号统计可以是与当前图片/帧中的所有先前解码的块相关联的统计、与先前解码的CTU相关联的统计、基准图片中的同位CTU的统计、或者左边和/或上边的CTU的统计。例如，如果针对大多数先前解码的块选择默认模式，则可以为当前块选择执行默认模式。可以理解，默认模式可以是DMVR处理或BDOF处理。
在一些实施方式中，DMVR处理和BDOF处理的选择可以从相邻块推断。例如，如果默认模式被应用于左边的相邻块和上边的相邻块，则可以为当前块选择默认模式。可以理解，默认模式可以是DMVR处理或BDOF处理。在一些实施方式中，可以在SPS级别、PPS级别、图块群级别或CTU级别下传达默认模式。
在一些实施方式中，当前CU可以被分成多个子块。DMVR处理和BDOF处理的选择可以在各个子块的子块级别下执行。上述CU级别的选择方法可以应用于子块级别的选择，本文不再重复其细节。作为示例，CU可以被划分为16×16个子块。对于各个子块，可以基于相应的两个基准子块的失真来选择DMVR处理和BDOF处理中的一者。可以类似地应用上述其它选择方法。
在解码器侧隐含地选择DMVR处理和BDOF处理中的一者的一个优点是没有信令开销，这可以提高编码效率。在一些实施方式中，可以在解码器侧实现明确传达和隐含得到的组合。
在一些实施方式中，可以针对尺寸大于或等于预定阈值的块传达标志。该标志可以用于指示执行DMVR处理和BDOF处理中的哪个。对于尺寸小于预定阈值的块，可以使用上述方法在解码器侧隐含地选择DMVR处理和BDOF处理中的一者。
在一些实施方式中，当块内的亮度样本的数目大于或等于预定阈值时，可以传达CU级别标志，如图13中所例示的表1300中所示(参见句法元素1310)。当块内的亮度样本的数目小于预定阈值时，在一些实施方式中，如果DMVR处理和BDOF处理的条件都满足，则对该块仅执行BDOF处理。
在一些实施方式中，当块内的亮度样本的数目大于或等于预定阈值时，可以传达CU级别标志。当块内亮度样本的数目小于预定阈值时，可以使用上述方法中的一个根据相邻块推断BDOF处理和DMVR处理的选择。例如，如果相邻块被帧内编码，则BDOF处理可以作为默认模式来应用。
在一些实施方式中，在DMVR处理和BDOF处理的选择中，块形状还可以与块尺寸结合使用。对于足够大的块，可以传达CU级别标志。块的尺寸是否足够大可以基于例如块中亮度样本的数目来确定。如果块不够大(例如，块中亮度样本的数目低于预定阈值)，则可以根据块形状推断BDOF处理和DMVR处理的选择。例如，如果块是窄高或宽平的，则可以应用BDOF处理；否则，可以应用DMVR处理。
在一些实施方式中，关于上述方法实施方式中的尺寸或比的预定阈值可以在不同级别(例如，CTU级别、图块级别或SPS级别)下传达。在一些实施方式中，可以基于序列分辨率来定义预定阈值。
如上所述，在编码处理中，可以使用不同的划分模式将CU进一步划分成更小的单元。在本公开的一些实施方式中，可以在帧间预测处理中应用三角形分割模式。例如，三角形分割模式可以应用于8×8或更大的CU，并使用跳过或合并模式来编码。对于满足这些条件的CU，可以传达CU级别标志以指示是否应用了三角形分割模式。
当应用了三角形分割模式时，使用对角划分或反对角划分将CU均匀地划分为两个三角形分区。如图14中所示，使用三角形分割模式，CU可以被分成分区1401和1402，或分区1403和1404。CU中的各个三角形分区可以使用其自身的运动矢量来进行帧间预测。此外，根据本公开的一些实施方式，可以对各个分区仅应用单向预测。即，各个分区具有一个运动矢量和一个基准索引。利用单向预测运动约束，可以确保对于各个CU仅需要两个经运动补偿的预测，类似于传统的双向预测。
如果当前CU是使用三角形分割模式进行了编码，则可以传达CU级别标志以指示使用三角形分割模式。在一些实施方式中，如果使用三角形分割模式，则可以进一步传达指示三角形分割的方向(对角线或反对角线)的标志和两个合并索引(每一分区一个)。在预测各个三角形分区之后，可以使用具有自适应权重的混合处理来调整沿对角线或反对角线边的样本值。可以获得针对整个CU的预测信号。如在其他预测模式中，变换和量化处理可以应用于整个CU。此外，使用三角形分割模式预测的CU的运动场可以以4×4单位进行存储。
在一些实施方式中，可以针对经帧间预测的块应用子块变换。在子块变换中，如图15所示，残差块可以被划分两个残差子块。两个残差子块中的一个可以被编码。对于其它剩余子块，残差可以被设置为等于0。对于具有残差的经帧间预测的块，可以传达CU级别标志以指示是否应用子块变换。如果使用子块变换模式，则可以传达参数以指示残差块在水平或垂直方向上对称或不对称地划分成两个子块。
应用三角形预测和子块变换存在问题。例如，子块变换模式可以应用于三角形分区帧间块。图16中示出了组合三角形分割和子块变换模式的说明，其中，残差子块仅包括来自两个三角形的残差的部分。这会影响编码处理的质量。
为了解决上述问题，根据本公开的一些实施方式，当使用三角形分割模式时，可以停用子块变换模式。或者，当使用子块变换模式时，可以停用三角形分割模式。作为示例性实现方式，如图17中的表1700所示，当使用三角形分割模式时，可以不传达子块变换标志cu_sbt_flag(参见图17中的句法元素1710)。
图18是根据本公开的一些实施方式的示例性视频处理装置1800的框图。例如，装置1800可以实现上文所描述的视频编码器(例如，图2中的视频编码器200)或视频解码器(例如，图3中的视频解码器300)。装置1800可以被配置成执行上述方法实施方式。例如，装置1800可以被配置成执行上述用于通过在比特流中显式地传达相关联的信息或通过在解码器侧的隐含得到来选择DMVR处理和BDOF处理中的一者的过程。
参照图18，装置1800可以包括处理部件1810、存储器1820和输入/输出(I/O)接口1830。装置1800还可以包括电源组件和多媒体组件(未示出)中的一个或更多个，或任何其他合适的硬件或软件组件。
处理部件1810可以控制装置1800的总体操作。例如，处理组件1810可以包括执行指令以执行上述用于选择DMVR处理和BDOF处理中的一者的方法的一个或更多个处理器。此外，处理组件1810可以包括便于处理组件1810与其它组件之间的交互的一个或更多个模块。例如，处理组件1810可以包括便于I/O接口和处理组件1810之间的交互的I/O模块。
存储器1820可以被配置成存储各种类型的数据或指令以支持装置1800的操作。存储器1820可以包括非暂时计算机可读存储介质，该非暂时计算机可读存储介质包括可以由装置1800的一个或更多个处理器执行的，用于在装置1800上操作的应用或方法的指令。非暂时介质的常见形式包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、云存储器、FLASH-EPROM或任何其他闪存、NVRAM、高速缓存、寄存器、任何其他存储器芯片或盒、以及它们的联网版本。
I/O接口1830提供处理组件1810与外围接口模块(例如摄像头或显示器)之间的接口。I/O接口1830可以采用通信协议/方法，诸如音频、模拟、数字、串行总线、通用串行总线(USB)、红外、PS/2、BNC、同轴、RF天线、蓝牙等。I/O接口1830还可以被配置成便于装置1800与诸如连接到因特网的设备等其它设备之间的有线或无线通信。设备可以基于一个或更多个通信标准(例如，wifi、LTE、2G、3G、4G、5G等)接入无线网络。
在一些实施方式中，还提供了一种包括指令的非暂时计算机可读存储介质，并且这些指令可以由用于执行上述方法的设备(例如所公开的编码器和解码器)来执行。非暂时介质的常见形式包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质，CD-ROM，任何其他光学数据存储介质，具有孔图案的任何物理介质、RAM、PROM和EPROM、FLASH-EPROM或任何其他闪存、NVRAM、高速缓存、寄存器、任何其他存储器芯片或盒、以及它们的联网版本。该设备可以包括一个或更多个处理器(CPU)、输入/输出接口、网络接口和/或存储器。
应当注意，这里的诸如“第一”和“第二”的关系术语仅用于区分实体或操作与另一实体或操作，并且不要求或暗示这些实体或操作之间的任何实际关系或顺序。此外，词语“包括”，“具有”，“含有”和“包括”以及其他类似形式旨在在含义上是等同的并且是开放式的，因为这些词语中的任何一个之后的一个或更多个项并不意味着是这样的一个或更多个项的穷举列表，或者意味着仅限于所列出的一个或更多个项。
如本文所用，除非另外具体说明，否则措辞“或”涵盖所有可能的组合，除非不可行。例如，如果指出组分可以包括A或B，则除非另外特别指出或不可行，该组分可以包括A或B，或A和B。作为第二个示例，如果说明组分可以包括A、B或C，那么，除非特别说明或不可行，组分可以包括A、或B、或C、或A和B、或A和C、或B和C、或A和B和C。
应当理解，上述实施方式可以由硬件或软件(程序代码)或硬件和软件的组合来实现。如果由软件实现，则可以将其存储在上述计算机可读介质中。当由处理器执行时，该软件可以执行所公开的方法。本公开中描述的计算单元和其他功能单元可以由硬件，或软件，或硬件和软件的组合来实现。本领域普通技术人员还将理解，上述模块/单元中的多个可以组合为一个模块/单元，并且上述模块/单元中的各个可以进一步划分为多个子模块/子单元。
可以使用以下条款进一步描述本公开的一些实施方式：
1.一种由视频数据解码器实施的方法，所述方法包括以下步骤：
基于视频比特流来选择解码器侧运动矢量细化DMVR处理和双向光流BDOF处理中的一者；以及
基于所选择的处理对图像块进行帧间预测。
2.根据条款1所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
基于在所述视频比特流中传达的一个或更多个标志来选择DMVR处理和BDOF处理中的一者。
3.根据条款2所述的方法，其中，所述一个或更多个标志包括针对包括所述图像块的编码树单元CTU在CTU级别下传达的标志，并且所述方法还包括：
响应于所述标志具有第一值，选择DMVR处理；或
响应于所述标志具有第二值，选择BDOF处理。
4.根据条款2所述的方法，其中，所述一个或更多个标志包括针对所述图像块在编码单元CU级别下传达的标志，并且所述方法还包括：
响应于所述标志具有第一值，选择DMVR处理；或
响应于所述标志具有第二值，选择BDOF处理。
5.根据条款4所述的方法，所述方法还包括：
使用上下文自适应二进制算术编码CABAC来对所述标志进行解码。
6.根据条款2所述的方法，其中，所述一个或更多个标志包括针对包括所述图像块的CTU在所述CTU级别下传达的第一标志，并且所述方法还包括：
基于所述第一标志的值来确定所述视频比特流是否包括针对所述图像块在CU级别下传达的第二标志；
响应于所述视频比特流包括所述第二标志，基于所述第二标志的值来选择DMVR处理和BDOF处理中的一者；并且
响应于所述视频比特流不包括所述第二标志，基于默认规则来选择DMVR处理和BDOF处理中的一者。
7.根据条款1所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
基于在所述视频比特流中传达的合并候选索引来选择DMVR处理和BDOF处理中的一者，所述合并候选索引指向合并候选列表中的合并候选。
8.根据条款7所述的方法，其中：
所述合并候选列表是包括第一合并候选和第二合并候选的扩展合并候选列表，所述第一合并候选与所述第二合并候选相同并且与所述第二合并候相比具有较小的合并候选索引；并且
选择DMVR处理和BDOF处理中的一者的步骤包括：
基于在所述视频比特流中传达的合并候选索引是对应于所述第一合并候选还是对应于所述第二合并候选来选择DMVR处理和BDOF处理中的一者。
9.根据条款8所述的方法，所述方法还包括：
基于所述图像块的形状和尺寸中的至少一者来确定所述第一合并候选是否对应于DMVR处理和BDOF处理。
10.根据条款1所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
基于以下各项中的至少一项来选择DMVR处理和BDOF处理中的一者：所述图像块的两个基准块的失真、所述图像块的运动矢量、所述图像块的尺寸、所述图像块的形状、与所述图像块的相邻块相关联的运动矢量、和信号统计。
11.根据条款10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的所述两个基准块的失真是否小于预定阈值；并且
响应于所述两个基准块的失真小于所述预定阈值，选择DMVR处理和BDOF处理中的一者。
12.根据条款10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定用于对所述图像块进行双向预测的两个运动矢量是否对称；并且
响应于所述两个运动矢量是对称的，选择DMVR处理和BDOF处理中的一者。
13.根据条款10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的所述运动矢量的大小是否小于预定阈值；并且
响应于所述运动矢量的大小小于所述预定阈值，选择DMVR处理和BDOF处理中的一者。
14.根据条款10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的尺寸是否小于预定阈值；并且
响应于所述图像块的尺寸小于所述预定阈值，选择DMVR处理和BDOF处理中的一者。
15.根据条款10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定与所述图像块相关联的max(宽度,高度)与min(宽度,高度)的比；并且
响应于所述比高于预定阈值，选择BDOF处理。
16.根据条款10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述相邻块的运动矢量是否基本上类似于所述图像块的运动矢量；并且
响应于所述相邻块的运动矢量基本上类似于所述图像块的运动矢量，选择DMVR处理和BDOF处理中的一者。
17.根据条款10所述的方法，其中，所述信号统计包括以下中的至少一者：
与帧中先前解码的块相关联的统计；
与先前解码的CTU相关联的统计；
与基准帧中的同位CTU相关联的统计；或
与相邻CTU相关联的统计。
18.根据条款10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定应用于所述相邻块的处理，所述处理是BDOF处理或DMVR处理；并且
选择应用于所述相邻块的处理作为要应用于所述图像块的处理。
19.根据条款1至18中任一项所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
将所述图像块划分成多个子块；以及
为所述多个子块中的各个子块选择DMVR处理和BDOF处理中的一者。
20.根据条款1所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的尺寸是否大于或等于预定阈值；并且
响应于确定所述图像块的尺寸大于或等于所述预定阈值，基于针对所述图像块在CU级别下传达的标志来为所述图像块选择DMVR处理和BDOF处理中的一者。
21.根据条款20所述的方法，所述方法还包括：
响应于确定所述图像块的尺寸小于预定阈值，为所述图像块选择BDOF处理。
22.根据条款20所述的方法，所述方法还包括：
响应于确定所述图像块的尺寸小于所述预定阈值，基于所述图像块的形状为所述图像块选择DMVR处理和BDOF处理中的一者。
23.根据条款20至22中任一项所述的方法，其中，所述图像块的尺寸是基于所述图像块内的亮度样本的数目来确定的。
24.根据条款20至22中任一项所述的方法，其中，所述预定阈值是基于以下内容确定的：
在下列中的至少一个级别下传达的信息：CTU级别、图块级别、和序列参数集SPS级别；或者
与序列分辨率相关联的信息。
25.一种用于处理视频数据的方法，所述方法包括以下步骤：
确定是否对图像块的帧间预测应用了三角形分割模式；并且
响应于确定对所述图像块的帧间预测应用了所述三角形分割模式，对于所述图像块停用子块变换模式。
26.一种视频处理装置，所述视频处理装置包括：
存储器，所述存储器存储指令，以及
处理器，所述处理器被配置成执行所述指令以使所述装置：
基于视频比特流来选择DMVR处理和BDOF处理中的一者；以及
基于所选择的处理对图像块进行帧间预测。
27.根据条款26所述的装置，其中，所述处理器还被配置成执行所述指令以：
基于在所述视频比特流中传达的一个或更多个标志来选择DMVR处理和BDOF处理中的一者。
28.根据条款27所述的装置，其中，所述一个或更多个标志包括针对包括所述图像块的CTU在CTU级别下传达的标志，并且所述处理器还被配置成执行所述指令以：
响应于所述标志具有第一值，选择DMVR处理；或
响应于所述标志具有第二值，选择BDOF处理。
29.根据条款27所述的装置，其中，所述一个或更多个标志包括针对所述图像块在CU级别下传达的标志，并且所述处理器还被配置成执行所述指令以：
响应于所述标志具有第一值，选择DMVR处理；或
响应于所述标志具有第二值，选择BDOF处理。
30.根据条款29所述的装置，其中，所述处理器还被配置成执行所述指令以：
使用CABAC编码来对所述标志进行解码。
31.根据条款27所述的装置，其中，所述一个或更多个标志包括针对包括所述图像块的CTU在所述CTU级别下传达的第一标志，并且所述处理器还被配置成执行所述指令以：
基于所述第一标志的值来确定所述视频比特流是否包括针对所述图像块在CU级别下传达的第二标志；并且
执行包括以下内容的操作：
响应于所述视频比特流包括所述第二标志，基于所述第二标志的值来选择DMVR处理和BDOF处理中的一者；或者
响应于所述视频比特流不包括所述第二标志，基于默认规则来选择DMVR处理和BDOF处理中的一者。
32.根据条款26所述的装置，其中，所述处理器还被配置成执行所述指令以：
基于在所述视频比特流中的合并候选索引来选择DMVR处理和BDOF处理中的一者，所述合并候选索引指向合并候选列表中的合并候选。
33.根据条款32所述的装置，其中：
所述合并候选列表是包括第一合并候选和第二合并候选的扩展合并候选列表，所述第一合并候选与所述第二合并候选相同并且与所述第二合并候相比具有较小的合并候选索引；并且
所述处理器还被配置成执行所述指令以：
基于在所述视频比特流中传达的合并候选索引是对应于所述第一合并候选还是对应于所述第二合并候选来选择DMVR处理和BDOF处理中的一者。
34.根据条款33所述的装置，其中，所述处理器还被配置成执行所述指令以：
基于所述图像块的形状和尺寸中的至少一者来确定所述第一合并候选是否对应于DMVR处理和BDOF处理。
35.根据条款26所述的装置，其中，所述处理器还被配置成执行所述指令以：
基于以下各项中的至少一项来选择DMVR处理和BDOF处理中的一者：所述图像块的两个基准块的失真、所述图像块的运动矢量、所述图像块的尺寸、所述图像块的形状、与所述图像块的相邻块相关联的运动矢量、和信号统计。
36.根据条款35所述的装置，其中，所述处理器还被配置成执行所述指令以：
确定所述图像块的所述两个基准块的失真是否小于预定阈值；并且
如果所述两个基准块的失真小于所述预定阈值，则选择DMVR处理和BDOF处理中的一者。
37.根据条款35所述的装置，其中，所述处理器还被配置成执行所述指令以：
确定用于对所述图像块进行双向预测的两个运动矢量是否对称；并且
如果所述两个运动矢量是对称的，选择DMVR处理和BDOF处理中的一者。
38.根据条款35所述的装置，其中，所述处理器还被配置成执行所述指令以：
确定所述图像块的所述运动矢量的大小是否小于预定阈值；并且
如果所述运动矢量的大小小于所述预定阈值，则选择DMVR处理和BDOF处理中的一者。
39.根据条款35所述的装置，其中，所述处理器还被配置成执行所述指令以：
确定所述图像块的尺寸是否小于预定阈值；并且
如果所述图像块的尺寸小于所述预定阈值，则选择DMVR处理和BDOF处理中的一者。
40.根据条款35所述的装置，其中，所述处理器还被配置成执行所述指令以：
确定与所述图像块相关联的max(宽度,高度)与min(宽度,高度)的比；并且
如果所述比高于预定阈值，则选择BDOF处理。
41.根据条款35所述的装置，其中，所述处理器还被配置成执行所述指令以：
确定所述相邻块的运动矢量是否基本上类似于所述图像块的运动矢量；并且
如果所述相邻块的运动矢量基本上类似于所述图像块的运动矢量，则选择DMVR处理和BDOF处理中的一者。
42.根据条款35所述的装置，其中，所述信号统计包括以下中的至少一者：
与帧中先前解码的图像块相关联的统计；
与先前解码的CTU相关联的统计；
与基准帧中的同位CTU相关联的统计；或
与相邻CTU相关联的统计。
43.根据条款35所述的装置，其中，所述处理器还被配置成执行所述指令以：
确定应用于所述相邻块的处理，所述处理是BDOF处理或DMVR处理；并且
选择应用于所述相邻块的处理作为要应用于所述图像块的处理。
44.根据条款26至43中任一项所述的装置，其中，所述处理器还被配置成执行所述指令以：
将所述图像块划分成多个子块；以及
为所述多个子块中的各个子块选择DMVR处理和BDOF处理中的一者。
45.根据条款26所述的装置，其中，所述处理器还被配置成执行所述指令以：
确定所述图像块的尺寸是否大于或等于预定阈值；并且
如果确定所述图像块的尺寸大于或等于所述预定阈值，则基于针对所述图像块在CU级别下传达的标志来为所述图像块选择DMVR处理和BDOF处理中的一者。
46.根据条款45所述的装置，其中，所述处理器还被配置成执行所述指令以：
如果确定所述图像块的尺寸小于预定阈值，则为所述图像块选择BDOF处理。
47.根据条款45所述的装置，其中，所述处理器还被配置成执行所述指令以：
如果确定所述图像块的尺寸小于所述预定阈值，则基于所述图像块的形状为所述图像块选择DMVR处理和BDOF处理中的一者。
48.根据条款45至47中任一项所述的装置，其中，所述图像块的尺寸是基于所述图像块内的亮度样本的数目来确定的。
49.根据条款45至47中任一项所述的装置，其中，所述预定阈值是基于以下内容确定的：
在下列中的至少一个级别下传达的信息：CTU级别、图块级别、和SPS级别；或者
与序列分辨率相关联的信息。
50.一种视频处理装置，所述视频处理装置包括：
存储器，所述存储器存储指令，以及
处理器，所述处理器被配置成执行所述指令以使所述装置：
确定是否对图像块的帧间预测应用了三角形分割模式；并且
如果确定对所述图像块的帧间预测应用了所述三角形分割模式，则对于所述图像块停用子块变换模式。
51.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储指令集，所述指令集能够由视频处理装置的一个或更多个处理器执行以使所述装置执行方法，所述方法包括以下步骤：
基于视频比特流来选择DMVR处理和BDOF处理中的一者；以及
基于所选择的处理对图像块进行帧间预测。
52.根据条款51所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
基于在所述视频比特流中传达的一个或更多个标志来选择DMVR处理和BDOF处理中的一者。
53.根据条款52所述的非暂时性计算机可读介质，其中，所述一个或更多个标志包括针对包括所述图像块的CTU在CTU级别下传达的标志，并且所述方法还包括：
响应于所述标志具有第一值，选择DMVR处理；或
响应于所述标志具有第二值，选择BDOF处理。
54.根据条款52所述的非暂时性计算机可读介质，其中，所述一个或更多个标志包括针对所述图像块在CU级别下传达的标志，并且所述方法还包括：
响应于所述标志具有第一值，选择DMVR处理；或
响应于所述标志具有第二值，选择BDOF处理。
55.根据条款54所述的非暂时性计算机可读介质，其中，所述方法还包括：
使用CABAC编码来对所述标志进行解码。
56.根据条款52所述的非暂时性计算机可读介质，其中，所述一个或更多个标志包括针对包括所述图像块的CTU在所述CTU级别下传达的第一标志，并且所述方法还包括：
基于所述第一标志的值来确定所述视频比特流是否包括针对所述图像块在CU级别下传达的第二标志；
响应于所述视频比特流包括所述第二标志，基于所述第二标志的值来选择DMVR处理和BDOF处理中的一者；并且
响应于所述视频比特流不包括所述第二标志，基于默认规则来选择DMVR处理和BDOF处理中的一者。
57.根据条款51所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
基于在所述视频比特流中传达的合并候选索引来选择DMVR处理和BDOF处理中的一者，所述合并候选索引指向合并候选列表中的合并候选。
58.根据条款57所述的非暂时性计算机可读介质，其中：
所述合并候选列表是包括第一合并候选和第二合并候选的扩展合并候选列表，所述第一合并候选与所述第二合并候选相同并且与所述第二合并候相比具有较小的合并候选索引；并且
所述指令集能够由所述装置的所述一个或更多个处理器执行以使所述装置进一步执行：
基于在所述视频比特流中传达的合并候选索引是对应于所述第一合并候选还是对应于所述第二合并候选来选择DMVR处理和BDOF处理中的一者。
59.根据条款58所述的非暂时性计算机可读介质，其中，所述指令集能够由所述装置的所述一个或更多个处理器执行以使所述装置进一步执行：
基于所述图像块的形状和尺寸中的至少一者来确定所述第一合并候选是否对应于DMVR处理和BDOF处理。
60.根据条款51所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
基于以下各项中的至少一项来选择DMVR处理和BDOF处理中的一者：所述图像块的两个基准块的失真、所述图像块的运动矢量、所述图像块的尺寸、所述图像块的形状、与所述图像块的相邻块相关联的运动矢量、和信号统计。
61.根据条款60所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的所述两个基准块的失真是否小于预定阈值；并且
响应于所述两个基准块的失真小于所述预定阈值，选择DMVR处理和BDOF处理中的一者。
62.根据条款60所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定用于对所述图像块进行双向预测的两个运动矢量是否对称；并且
响应于所述两个运动矢量是对称的，选择DMVR处理和BDOF处理中的一者。
63.根据条款60所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的所述运动矢量的大小是否小于预定阈值；并且
响应于所述运动矢量的大小小于所述预定阈值，选择DMVR处理和BDOF处理中的一者。
64.根据条款60所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的尺寸是否小于预定阈值；并且
响应于所述图像块的尺寸小于所述预定阈值，选择DMVR处理和BDOF处理中的一者。
65.根据条款60所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定与所述图像块相关联的max(宽度,高度)与min(宽度,高度)的比；并且
响应于所述比高于预定阈值，选择BDOF处理。
66.根据条款60所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述相邻块的运动矢量是否基本上类似于所述图像块的运动矢量；并且
响应于所述相邻块的运动矢量基本上类似于所述图像块的运动矢量，选择DMVR处理和BDOF处理中的一者。
67.根据条款60所述的非暂时性计算机可读介质，其中，所述信号统计包括以下中的至少一者：
与帧中先前解码的块相关联的统计；
与先前解码的CTU相关联的统计；
与基准帧中的同位CTU相关联的统计；或
与相邻CTU相关联的统计。
68.根据条款60所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定应用于所述相邻块的处理，所述处理是BDOF处理或DMVR处理；并且
选择应用于所述相邻块的处理作为要应用于所述图像块的处理。
69.根据条款51至68中任一项所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
将所述图像块划分成多个子块；以及
为所述多个子块中的各个子块选择DMVR处理和BDOF处理中的一者。
70.根据条款51所述的非暂时性计算机可读介质，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的尺寸是否大于或等于预定阈值；并且
响应于确定所述图像块的尺寸大于或等于所述预定阈值，基于针对所述图像块在CU级别下传达的标志来为所述图像块选择DMVR处理和BDOF处理中的一者。
71.根据条款70所述的非暂时性计算机可读介质，所述指令集能够由所述装置的所述一个或更多个处理器执行以使所述装置进一步执行：
响应于确定所述图像块的尺寸小于预定阈值，为所述图像块选择BDOF处理。
72.根据条款70所述的非暂时性计算机可读介质，所述指令集能够由所述装置的所述一个或更多个处理器执行以使所述装置进一步执行：
响应于确定所述图像块的尺寸小于所述预定阈值，基于所述图像块的形状为所述图像块选择DMVR处理和BDOF处理中的一者。
73.根据条款70至72中任一项所述的非暂时性计算机可读介质，其中，所述图像块的尺寸是基于所述图像块内的亮度样本的数目来确定的。
74.根据条款70至72中任一项所述的非暂时性计算机可读介质，其中，所述预定阈值是基于以下内容确定的：
在下列中的至少一个级别下传达的信息：CTU级别、图块级别、和SPS级别；或者
与序列分辨率相关联的信息。
75.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储指令集，所述指令集能够由视频处理装置的一个或更多个处理器执行以使所述装置执行方法，所述方法包括以下步骤：
确定是否对图像块的帧间预测应用了三角形分割模式；并且
响应于确定对所述图像块的帧间预测应用了所述三角形分割模式，对于所述图像块停用子块变换模式。
在前述说明书中，已参照可随实现方式而变化的多个具体细节描述了实施方式。可以对所描述的实施方式进行某些调整和修改。考虑到本文公开的本发明的说明书和实践，其它实施方案对于本领域技术人员来说是明显的。说明书和实施方式仅被认为是示例性的，本发明的真实范围和实质由所附权利要求指示。附图中所示的步骤顺序也旨在仅用于说明的目的，而不旨在限于任何特定的步骤顺序。因此，本领域技术人员可以理解，这些步骤可以以不同的顺序执行，同时实现相同的方法。
应当理解，本发明不限于上面已经描述并在附图中例示的确切结构。在不脱离本发明的范围的情况下，可以进行各种修改和变化。本发明的范围仅由所附权利要求来限定。

Claims (25)

1.一种由视频数据解码器实施的方法，所述方法包括以下步骤：
基于视频比特流来选择解码器侧运动矢量细化DMVR处理和双向光流BDOF处理中的一者；以及
基于所选择的处理对图像块进行帧间预测。
2.根据权利要求1所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
基于在所述视频比特流中传达的一个或更多个标志来选择DMVR处理和BDOF处理中的一者。
3.根据权利要求2所述的方法，其中，所述一个或更多个标志包括针对包括所述图像块的编码树单元CTU在CTU级别下传达的标志，并且所述方法还包括：
响应于所述标志具有第一值，选择DMVR处理；或
响应于所述标志具有第二值，选择BDOF处理。
4.根据权利要求2所述的方法，其中，所述一个或更多个标志包括针对所述图像块在编码单元CU级别下传达的标志，并且所述方法还包括：
响应于所述标志具有第一值，选择DMVR处理；或
响应于所述标志具有第二值，选择BDOF处理。
5.根据权利要求4所述的方法，所述方法还包括：
使用上下文自适应二进制算术编码CABAC来对所述标志进行解码。
6.根据权利要求2所述的方法，其中，所述一个或更多个标志包括针对包括所述图像块的CTU在所述CTU级别下传达的第一标志，并且所述方法还包括：
基于所述第一标志的值来确定所述视频比特流是否包括针对所述图像块在CU级别下传达的第二标志；
响应于所述视频比特流包括所述第二标志，基于所述第二标志的值来选择DMVR处理和BDOF处理中的一者；并且
响应于所述视频比特流不包括所述第二标志，基于默认规则来选择DMVR处理和BDOF处理中的一者。
7.根据权利要求1所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
基于在所述视频比特流中传达的合并候选索引来选择DMVR处理和BDOF处理中的一者，所述合并候选索引指向合并候选列表中的合并候选。
8.根据权利要求7所述的方法，其中：
所述合并候选列表是包括第一合并候选和第二合并候选的扩展合并候选列表，所述第一合并候选与所述第二合并候选相同并且与所述第二合并候相比具有较小的合并候选索引；并且
选择DMVR处理和BDOF处理中的一者的步骤包括：
基于在所述视频比特流中传达的合并候选索引是对应于所述第一合并候选还是对应于所述第二合并候选来选择DMVR处理和BDOF处理中的一者。
9.根据权利要求8所述的方法，所述方法还包括：
基于所述图像块的形状和尺寸中的至少一者来确定所述第一合并候选是否对应于DMVR处理和BDOF处理。
10.根据权利要求1所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
基于以下各项中的至少一项来选择DMVR处理和BDOF处理中的一者：所述图像块的两个基准块的失真、所述图像块的运动矢量、所述图像块的尺寸、所述图像块的形状、与所述图像块的相邻块相关联的运动矢量、和信号统计。
11.根据权利要求10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的所述两个基准块的失真是否小于预定阈值；并且
响应于所述两个基准块的失真小于所述预定阈值，选择DMVR处理和BDOF处理中的一者。
12.根据权利要求10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定用于对所述图像块进行双向预测的两个运动矢量是否对称；并且
响应于所述两个运动矢量是对称的，选择DMVR处理和BDOF处理中的一者。
13.根据权利要求10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的所述运动矢量的大小是否小于预定阈值；并且
响应于所述运动矢量的大小小于所述预定阈值，选择DMVR处理和BDOF处理中的一者。
14.根据权利要求10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的尺寸是否小于预定阈值；并且
响应于所述图像块的尺寸小于所述预定阈值，选择DMVR处理和BDOF处理中的一者。
15.根据权利要求10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定与所述图像块相关联的max(宽度,高度)与min(宽度,高度)的比；并且
响应于所述比高于预定阈值，选择BDOF处理。
16.根据权利要求10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述相邻块的运动矢量是否基本上类似于所述图像块的运动矢量；并且
响应于所述相邻块的运动矢量基本上类似于所述图像块的运动矢量，选择DMVR处理和BDOF处理中的一者。
17.根据权利要求10所述的方法，其中，所述信号统计包括以下中的至少一者：
与帧中先前解码的块相关联的统计；
与先前解码的CTU相关联的统计；
与基准帧中的同位CTU相关联的统计；或
与相邻CTU相关联的统计。
18.根据权利要求10所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定应用于所述相邻块的处理，所述处理是BDOF处理或DMVR处理；并且
选择应用于所述相邻块的处理作为要应用于所述图像块的处理。
19.根据权利要求1所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤包括：
将所述图像块划分成多个子块；以及
为所述多个子块中的各个子块选择DMVR处理和BDOF处理中的一者。
20.根据权利要求1所述的方法，其中，选择DMVR处理和BDOF处理中的一者的步骤还包括：
确定所述图像块的尺寸是否大于或等于预定阈值；并且
响应于确定所述图像块的尺寸大于或等于所述预定阈值，基于针对所述图像块在CU级别下传达的标志来为所述图像块选择DMVR处理和BDOF处理中的一者。
21.根据权利要求20所述的方法，所述方法还包括：
响应于确定所述图像块的尺寸小于预定阈值，为所述图像块选择BDOF处理。
22.根据权利要求20所述的方法，所述方法还包括：
响应于确定所述图像块的尺寸小于所述预定阈值，基于所述图像块的形状为所述图像块选择DMVR处理和BDOF处理中的一者。
23.根据权利要求20所述的方法，其中，所述图像块的尺寸是基于所述图像块内的亮度样本的数目来确定的。
24.根据权利要求20所述的方法，其中，所述预定阈值是基于以下内容确定的：
在下列中的至少一个级别下传达的信息：CTU级别、图块级别、和序列参数集SPS级别；或者
与序列分辨率相关联的信息。
25.一种用于处理视频数据的方法，所述方法包括以下步骤：
确定是否对图像块的帧间预测应用了三角形分割模式；并且
响应于确定对所述图像块的帧间预测应用了所述三角形分割模式，对于所述图像块停用子块变换模式。
CN202080016313.XA 2019-03-11 2020-02-28 用于对视频数据进行编码的帧间预测方法 Active CN113475076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310995283.7A CN117014634A (zh) 2019-03-11 2020-02-28 用于对视频数据进行编码的帧间预测方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962816869P 2019-03-11 2019-03-11
US62/816,869 2019-03-11
PCT/US2020/020453 WO2020185427A1 (en) 2019-03-11 2020-02-28 Inter prediction methods for coding video data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310995283.7A Division CN117014634A (zh) 2019-03-11 2020-02-28 用于对视频数据进行编码的帧间预测方法

Publications (2)

Publication Number Publication Date
CN113475076A true CN113475076A (zh) 2021-10-01
CN113475076B CN113475076B (zh) 2024-03-12

Family

ID=72424194

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310995283.7A Pending CN117014634A (zh) 2019-03-11 2020-02-28 用于对视频数据进行编码的帧间预测方法
CN202080016313.XA Active CN113475076B (zh) 2019-03-11 2020-02-28 用于对视频数据进行编码的帧间预测方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310995283.7A Pending CN117014634A (zh) 2019-03-11 2020-02-28 用于对视频数据进行编码的帧间预测方法

Country Status (4)

Country Link
US (1) US11206425B2 (zh)
CN (2) CN117014634A (zh)
TW (1) TW202041010A (zh)
WO (1) WO2020185427A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2957801T3 (es) * 2019-03-12 2024-01-25 Lg Electronics Inc Método y dispositivo de inter predicción basándose en DMVR y BDOF
KR20210114060A (ko) * 2019-03-13 2021-09-17 엘지전자 주식회사 Dmvr 기반의 인터 예측 방법 및 장치
US11140409B2 (en) * 2019-03-22 2021-10-05 Lg Electronics Inc. DMVR and BDOF based inter prediction method and apparatus thereof
WO2020197083A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 Dmvr 및 bdof 기반의 인터 예측 방법 및 장치
WO2020222617A1 (ko) * 2019-05-02 2020-11-05 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
EP3970363B1 (en) * 2019-05-15 2023-05-17 Huawei Technologies Co., Ltd. Handling of bi-directional optical flow (bio) coding tool for reference picture resampling in video coding
CN113747175A (zh) * 2019-06-21 2021-12-03 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US11683517B2 (en) * 2020-11-23 2023-06-20 Qualcomm Incorporated Block-adaptive search range and cost factors for decoder-side motion vector (MV) derivation techniques
CN117529919A (zh) * 2021-06-04 2024-02-06 抖音视界有限公司 用于视频处理的方法、设备和介质
EP4364418A1 (en) * 2021-06-29 2024-05-08 QUALCOMM Incorporated Adaptive bilateral matching for decoder side motion vector refinement
US11895302B2 (en) 2021-06-29 2024-02-06 Qualcomm Incorporated Adaptive bilateral matching for decoder side motion vector refinement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
WO2018127119A1 (en) * 2017-01-05 2018-07-12 Mediatek Inc. Decoder-side motion vector restoration for video coding
CN108293131A (zh) * 2015-11-20 2018-07-17 联发科技股份有限公司 用于视频编解码的运动矢量预测或者运动补偿的方法和装置
CN109089117A (zh) * 2017-05-11 2018-12-25 联发科技股份有限公司 编码或解码视频数据的方法及装置
WO2019021803A1 (ja) * 2017-07-24 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
EP3264769A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with automatic motion information refinement
EP3560202A4 (en) * 2016-12-27 2020-07-29 MediaTek Inc. METHOD AND DEVICE FOR BILATERAL TEMPLATE MV REFINING FOR VIDEO CODING
US10595035B2 (en) 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
CA3065492C (en) 2017-05-17 2022-06-14 Kt Corporation Method and device for video signal processing
WO2019001741A1 (en) 2017-06-30 2019-01-03 Huawei Technologies Co., Ltd. MOTION VECTOR REFINEMENT FOR MULTI-REFERENCE PREDICTION
US11265551B2 (en) * 2018-01-18 2022-03-01 Qualcomm Incorporated Decoder-side motion vector derivation
TWI719519B (zh) * 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
US11153590B2 (en) * 2019-01-11 2021-10-19 Tencent America LLC Method and apparatus for video coding
US11178414B2 (en) * 2019-02-27 2021-11-16 Mediatek Inc. Classification for multiple merge tools

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108293131A (zh) * 2015-11-20 2018-07-17 联发科技股份有限公司 用于视频编解码的运动矢量预测或者运动补偿的方法和装置
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
WO2018127119A1 (en) * 2017-01-05 2018-07-12 Mediatek Inc. Decoder-side motion vector restoration for video coding
CN109089117A (zh) * 2017-05-11 2018-12-25 联发科技股份有限公司 编码或解码视频数据的方法及装置
WO2019021803A1 (ja) * 2017-07-24 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN, ET AL: "Algorithm description for Versatile Video Coding and Test Model 4 (VTM 4)", 《JVET会议》, pages 34 - 38 *
KYOHEI UNNO , ET AL: "CE9: Block size restriction for DMVR (test 9.2.6)", 《JVET会议》 *
SRIRAM SETHURAMAN，ET AL: "Non-CE9: Co-existence analysis for DMVR with BDOF", 《JVET会议》, pages 4 *
吴国珊: "基于双向角点光流和特征融合模板的在线学习跟踪方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
US20200296416A1 (en) 2020-09-17
WO2020185427A1 (en) 2020-09-17
TW202041010A (zh) 2020-11-01
CN113475076B (zh) 2024-03-12
US11206425B2 (en) 2021-12-21
CN117014634A (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN113475076B (zh) 用于对视频数据进行编码的帧间预测方法
TWI718412B (zh) 用於訊框速率上升轉換(fruc)之低複雜度設計
TWI761415B (zh) 用於雙向光學流（ｂｉｏ）之運動向量重建
RU2719296C2 (ru) Определение режима вывода информации движения при видеокодировании
US11394999B2 (en) Method, device, and system for determining prediction weight for merge mode
TWI828507B (zh) 圖像預測方法、裝置以及視訊編碼器、視訊解碼器
US20210314596A1 (en) Enhanced decoder side motion vector refinement
CA3200616A1 (en) Inter prediction method and apparatus
TW202101993A (zh) 用於視訊寫碼之可切換內插濾波
KR102542196B1 (ko) 비디오 코딩 방법 및 장치
US11601651B2 (en) Method and apparatus for motion vector refinement
CN113170176A (zh) 视频编码器、视频解码器及相应方法
CN112088534A (zh) 一种帧间预测的方法及装置
WO2022174825A1 (en) Systems and methods for inter prediction compensation
CN111405277B (zh) 帧间预测方法、装置以及相应的编码器和解码器
US20240137510A1 (en) Recursive prediction unit in video coding
CN117501689A (zh) 视频处理的方法、设备和介质
CN117529913A (zh) 视频处理的方法、设备和介质
CN117957837A (zh) 用于视频处理的方法、装置和介质
CN117837143A (zh) 用于解码器侧运动矢量细化的自适应双边匹配

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant