CN113545086A - 用于视频编解码的双向光流和解码器侧运动矢量细化 - Google Patents

用于视频编解码的双向光流和解码器侧运动矢量细化 Download PDF

Info

Publication number
CN113545086A
CN113545086A CN202080019042.3A CN202080019042A CN113545086A CN 113545086 A CN113545086 A CN 113545086A CN 202080019042 A CN202080019042 A CN 202080019042A CN 113545086 A CN113545086 A CN 113545086A
Authority
CN
China
Prior art keywords
mode
inter
dmvr
bdof
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080019042.3A
Other languages
English (en)
Inventor
陈漪纹
修晓宇
马宗全
王祥林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of CN113545086A publication Critical patent/CN113545086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本公开涉及一种用于推导构建的仿射合并候选的方法。所述方法包括：获得与帧间模式编解码块相关联的第一参考图片和第二参考图片，其中，按照显示顺序，所述第一参考图片在当前图片之前并且所述第二参考图片在所述当前图片之后；获得从所述帧间模式编解码块到所述第一参考图片中的参考块的第一运动矢量；获得从所述帧间模式编解码块到所述第二参考图片中的参考块的第二运动矢量；基于所述帧间模式编解码块的模式信息对所述帧间模式编解码块应用双向光流(BDOF)或解码器侧运动矢量细化(DMVR)；以及基于应用的BDOF或DMVR来预测所述帧间模式编解码块的双向预测。

Description

用于视频编解码的双向光流和解码器侧运动矢量细化
相关申请的交叉引用
本申请基于2019年3月8日提交的临时申请号62/816,033并要求其优先权，该临时申请的全部内容通过引用以其全文并入本文。
技术领域
本申请涉及视频编解码和压缩。更具体地，本公开涉及用于视频编解码的双向光流(BDOF)方法和解码器侧运动矢量细化(DMVR)的方法和装置。
背景技术
可以使用各种视频编解码技术来压缩视频数据。视频编解码是根据一个或多个视频编解码标准来执行的。例如，视频编解码标准包括通用视频编解码(VVC)、联合探索测试模型(JEM)、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)、运动图片专家组(MPEG)编解码等。视频编解码通常使用预测方法(例如，帧间预测、帧内预测等)进行，这些方法利用存在于视频图像或序列中的冗余。视频编解码技术的一个重要目标在于在避免或最小化视频质量降级的同时将视频数据压缩成使用较低比特率的形式。
发明内容
本公开的示例提供用于视频编解码的双向光流(BDOF)方法和解码器侧运动矢量细化(DMVR)的方法和装置。
根据本公开的第一方面，提供了一种用于运动预测的计算机实施的方法。所述方法可以包括：获得与帧间模式编解码块相关联的第一参考图片和第二参考图片，其中，按照显示顺序，所述第一参考图片可以在当前图片之前并且所述第二参考图片可以在所述当前图片之后；获得从所述帧间模式编解码块到所述第一参考图片中的参考块的第一运动矢量；获得从所述帧间模式编解码块到所述第二参考图片中的参考块的第二运动矢量；基于所述帧间模式编解码块的模式信息对所述帧间模式编解码块应用双向光流(BDOF)或解码器侧运动矢量细化(DMVR)，其中，所述模式信息包括所述第一运动矢量和所述第二运动矢量；以及基于应用的BDOF或DMVR来预测所述帧间模式编解码块的双向预测。
根据本公开的第二方面，提供了一种计算设备。所述计算设备可以包括一个或多个处理器、存储可由所述一个或多个处理器执行的指令的非暂态计算机可读存储器。所述一个或多个处理器可以被配置为：获得与帧间模式编解码块相关联的第一参考图片和第二参考图片，其中，按照显示顺序，所述第一参考图片在当前图片之前并且所述第二参考图片在所述当前图片之后；获得从所述帧间模式编解码块到所述第一参考图片中的参考块的第一运动矢量；获得从所述帧间模式编解码块到所述第二参考图片中的参考块的第二运动矢量；基于所述帧间模式编解码块的模式信息对所述帧间模式编解码块应用双向光流(BDOF)或解码器侧运动矢量细化(DMVR)，其中，所述模式信息包括所述第一运动矢量和所述第二运动矢量；以及基于应用的BDOF或DMVR来预测所述帧间模式编解码块的双向预测。
根据本公开的第三方面，提供了一种其中存储有指令的非暂态计算机可读存储介质。当这些指令由装置的一个或多个处理器执行时，这些指令可以使装置执行以下操作：获得与帧间模式编解码块相关联的第一参考图片和第二参考图片，其中，按照显示顺序，所述第一参考图片可以在当前图片之前并且所述第二参考图片可以在所述当前图片之后；获得从所述帧间模式编解码块到所述第一参考图片中的参考块的第一运动矢量；获得从所述帧间模式编解码块到所述第二参考图片中的参考块的第二运动矢量；基于所述帧间模式编解码块的模式信息对所述帧间模式编解码块应用双向光流(BDOF)或解码器侧运动矢量细化(DMVR)，其中，所述模式信息包括所述第一运动矢量和所述第二运动矢量；以及基于应用的BDOF或DMVR来预测所述帧间模式编解码块的双向预测。
应当理解的是，前述概括描述和以下详细描述均仅是示例而不是对本公开的限制。
附图说明
结合在说明书中并构成本说明书的一部分的附图图示了与本公开一致的示例，并与所述描述一起用于解释本公开的原理。
图1是根据本公开的示例的编码器的框图。
图2是根据本公开的示例的解码器的框图。
图3A是图示根据本公开的示例的多类型树结构中的块分割的图。
图3B是图示根据本公开的示例的多类型树结构中的块分割的图。
图3C是图示根据本公开的示例的多类型树结构中的块分割的图。
图3D是图示根据本公开的示例的多类型树结构中的块分割的图。
图3E是图示根据本公开的示例的多类型树结构中的块分割的图。
图4是根据本公开的示例的双向光流(BDOF)模型的图解说明。
图5是图示根据本公开的示例的双向匹配的图。
图6A是图示根据本公开的示例的MMVD搜索点的图。
图6B是图示根据本公开的示例的MMVD搜索点的图。
图7是图示根据本公开的示例的用于对视频信号进行编解码的方法的流程图。
图8是图示根据本公开的示例的用于将BDOF或DMVR应用于帧间模式编解码块的方法的流程图。
图9是图示根据本公开的示例的与用户界面耦接的计算环境的图。
具体实施方式
现在将详细参考示例实施例，附图中图示了这些实施例的示例。以下描述均参考附图，在附图中，除非另有说明，否则不同附图中的相同参考标记表示相同或相似的要素。在示例实施例的以下描述中阐述的实施方式并不代表与本公开一致的所有实施方式，相反，它们仅仅是与如所附权利要求中叙述的与本公开相关的方面一致的装置和方法的示例。
本公开中使用的术语仅出于描述特定实施例的目的，而不旨在限制本公开。如在本公开和所附权利要求中使用的，单数形式“a(一)”、“an(一个)”和“the(所述)”也旨在包括复数形式，除非上下文另有明确指示，否则还应理解为本文所使用的术语“和/或”旨在表示并包括相关联列举项目中的一个或多个项目的任何或所有可能组合。
应该理解的是，尽管本文可以使用术语“第一”、“第二”、“第三”等来描述各种信息，但是这些信息不应受这些术语的限制。这些术语仅仅是用来将一类信息与另一类信息进行区分。例如，在不脱离本公开的实施例的范围的情况下，第一信息可以被称为第二信息；并且类似地，第二信息也可以被称为第一信息。如本文所使用的，根据上下文，术语“如果”可以被理解为意指“当……时”或“在……时”或“响应于判断”。
HEVC标准的第一版本于2013年10月完成，其与上一代视频编解码标准H.264/MPEGAVC相比，提供了大约50％的比特率节省或同等的感知质量。尽管HEVC标准提供了优于其前身的显著编解码改进，但有证据表明，可以使用额外的编解码工具实现优于HEVC的编解码效率。在此基础上，VCEG和MPEG都开始了新编解码技术的探索工作，以实现未来的视频编解码标准化。ITU-T VECG和ISG/IEC MPEG于2015年10月成立了一个联合视频探索小组(JVET)，开始对能够大幅提高编解码效率的先进技术进行重大研究。JVET通过在HEVC测试模型(HM)的基础上整合多个附加编解码工具来维护一种称为联合探索模型(JEM)的参考软件。
2017年10月，ITU-T和ISO/IEC发布了关于具有超越HEVC的能力的视频压缩的联合提案(CfP)。2018年4月，第10届JVET会议上接收并评估了23份CfP回复，论证了压缩效率比HEVC提高约40％。基于这样的评估结果，JVET启动了开发名为通用视频编解码(VVC)的新一代视频编解码标准的新项目。同月，建立了一个称为VVC测试模型(VTM)的参考软件代码库，用于演示VVC标准的参考实施。
与HEVC一样，VVC在基于块的混合视频编解码框架上构建。图1给出了通用的基于块的混合视频编码系统的框图。具体地，图1示出了典型的编码器100。编码器100具有视频输入110、运动补偿112、运动估计114、帧内/帧间模式决策116、块预测值140、加法器128、变换130、量化132、预测相关信息142、帧内预测118、图片缓冲器120、反量化134、逆变换136、加法器126、存储器124、环路滤波器122、熵编解码138以及比特流144。
在图1中，逐块(称为编解码单元(CU))对输入视频信号进行处理。在VTM-1.0中，CU可以高达128×128像素。然而，不同于仅仅基于四叉树来分割块的HEVC，在VVC中，一个编解码树单元(CTU)被划分成多个CU，以适应基于四/二/三叉树而不同的局部特性。
另外，HEVC中的多种分割单元类型的概念被移除了，即，CU、预测单元(PU)和变换单元(TU)的拆分不再存在于VVC中；相反，每个CU始终用作预测和变换两者的基本单元，而不进行进一步分割。在多类型树结构中，一个CTU首先被四叉树结构分割。然后，每个四叉树叶节点可以进一步被二叉树结构和三叉树结构分割。
如图3A、图3B、图3C、图3D和图3F(如下所述)所示，有五种划分类型，分别包括四元分割、水平二元分割、垂直二元分割、水平三元分割以及垂直三元分割。
图3A示出了图示根据本公开的多类型树结构中的块四元分割的图。
图3B示出了图示根据本公开的多类型树结构中的块垂直二元分割的图。
图3C示出了图示根据本公开的多类型树结构中的块水平二元分割的图。
图3D示出了图示根据本公开的多类型树结构中的块垂直三元分割的图。
图3E示出了图示根据本公开的多类型树结构中的块水平三元分割的图。
在图1中，可以执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/条带中的已经编解码的相邻块的样点(被称为参考样点)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也被称为“帧间预测”或“运动补偿预测”)使用来自已经编解码的视频图像的重建像素来预测当前视频块。时间预测减少了在视频信号中固有的时间冗余。给定CU的时间预测信号通常由指示当前CU与其时间参考之间的运动量和运动方向的一个或多个运动矢量(MV)用信号发送。
同样，如果支持多个参考图片，则另外发送一个参考图片索引，该参考图片索引用于标识时间预测信号来自参考图片存储中的哪个参考图片。在进行空间和/或时间预测之后，编码器中的模式决策块例如基于率失真优化方法来选择最佳预测模式。然后，从当前视频块减去预测块，并且使用变换对预测残差进行解相关并进行量化。对经量化的残差系数进行反量化和逆变换以形成重建残差，然后将该重建残差加回预测块以形成CU的重建信号。进一步地，在将重建的CU置于参考图片存储中并用于对未来的视频块进行编解码之前，可以对重建的CU应用比如去块滤波器、样点自适应偏移(SAO)和自适应环路滤波器(ALF)等环路滤波。为了形成输出视频比特流，将编解码模式(帧间或帧内)、预测模式信息、运动信息、以及量化残差系数都发送至熵编码单元，以进行进一步压缩和打包来形成比特流。
图2给出了基于块的视频解码器的一般框图。具体地，图2示出了典型的解码器200的框图。解码器200具有比特流210、熵解码212、反量化214、逆变换216、加法器218、帧内/帧间模式选择220、帧内预测222、存储器230、环路滤波器228、运动补偿224、图片缓冲器226、预测相关信息234以及视频输出232。
在图2中，首先在熵解码单元处对视频比特流进行熵解码。将编解码模式和预测信息发送到空间预测单元(在帧内编解码的情况下)或时间预测单元(在帧间编解码的情况下)以形成预测块。将残差变换系数发送到反量化单元和逆变换单元以重建残差块。然后，将预测块和残差块相加。重建块可以进一步通过环路滤波，然后被存储在参考图片存储中。然后，将参考图片存储中的重建视频发送出去以驱动显示设备，并用于预测未来的视频块。
双向光流(BDOF)
传统的视频编解码中的双向预测是对从已经重建的参考图片获得的两个时间预测块的简单组合。然而，由于基于块的运动补偿的限制，可能仍有可以在两个预测块的样点之间观察到的剩余的小运动，因此降低了运动补偿预测的效率。在VVC中应用BDOF以降低一个块内的每个样点的这种运动的影响。具体地，如图4所示，当使用双向预测时，BDOF是在基于块的运动补偿预测的基础上执行的样点级别的运动细化。其中，图4示出了根据本公开的VVC中的帧内模式的图示。在每个4×4子块周围的一个6×6窗口Ω内部应用BDOF之后，通过最小化L0与L1预测样点之间的差来计算该子块的运动细化(vx，vy)。具体地，(vx，vy)的值推导为
Figure BDA0003247966430000061
其中，
Figure BDA0003247966430000062
是向下取整函数；clip3(min，max，x)是将给定值x限幅到[min，max]范围内的函数；符号＞＞表示逐比特右移运算；符号＜＜表示逐比特左移运算；thBDOF是用于防止由于不规律的局部运动导致的传播误差的运动细化阈值，其等于213-BD，其中，BD是输入视频的比特深度。在(1)中，
Figure BDA0003247966430000063
S1、S2、S3、S5和S6的值计算如下
Figure BDA0003247966430000064
其中，
Figure BDA0003247966430000071
其中，I(k)(i，j)是在列表k(k＝0，1)中的预测信号的坐标(i，j)处的样点值，这些样点值以中高精度(即，16比特)生成；
Figure BDA0003247966430000072
和
Figure BDA0003247966430000073
分别是通过直接计算样点的两个相邻样点之间的差而获得的该样点的水平梯度和垂直梯度，即，
Figure BDA0003247966430000074
基于在(1)中得出的运动细化，通过基于光流模型沿运动轨迹对L0/L1预测样点进行内插来计算CU的最终双向预测样点，如下式所示
Figure BDA0003247966430000075
其中，shift和ooffset是被应用以组合双向预测的L0和L1预测信号的右移位值和偏移值，分别等于15-BD和1＜＜(14-BD)+2·(1＜＜13)。表1示出了在BDOF过程中涉及的中间参数的具体比特宽度。如表中所示，整个BDOF过程的内部比特宽度不超过32比特。另外，与最差可能输入的乘法发生在(1)中的vxS2,m的乘积处，其中，S2,m和vx的输入比特宽度分别为15比特和4比特。因此，15比特乘法器对于BDOF就足够了。
表1 VVC中BDOF的中间参数的比特宽度
Figure BDA0003247966430000081
Figure BDA0003247966430000091
解码器侧运动矢量细化(DMVR)
解码器侧运动矢量细化(DMVR)是用于具有两个初始用信号发送的运动矢量(MV)的合并块的双向预测技术，这两个MV可以通过使用双向匹配预测来进行进一步细化。如图5所示，双向匹配用于通过在两个不同的参考图片中沿着当前CU的运动轨迹找到两个块之间的最接近匹配来推导当前CU的运动信息。其中，图5示出了根据本公开的用于VVC中的帧内预测的多个参考行。在匹配过程中使用的代价函数是行-子采样的绝对差和(SAD)。在匹配过程完成之后，细化MV用于预测阶段中的运动补偿、去块滤波器中的边界强度计算、后续图片的时间运动矢量预测、以及后续CU的跨CTU空间运动矢量预测。假设运动轨迹是连续的，则指向这两个参考块的运动矢量MV0和MV1应与当前图片和这两个参考图片之间的时间距离(即，TD0和TD1)成正比。作为特殊情况，在当前图片在时间上处于这两个参考图片之间并且从当前图片到这两个参考图片的时间距离相同时，双向匹配变为基于镜像的双向MV。
加权平均双向预测(BWA)
在HEVC中，通过对从两个参考图片和/或使用两个运动矢量获得的两个预测信号求平均来生成双向预测信号。在VVC中，双向预测模式超越了简单的平均，允许对这两个预测信号进行加权平均。
Pbi-pred＝((8-w)*P0+w*P1+4)＞＞3 (6)
加权平均双向预测中允许有五个权重，w∈{-2，3，4，5，10}，对于每个双向预测的CU，权重w由以下两种方式之一确定：1)对于非合并CU，在运动矢量差之后用信号发送权重索引；2)对于合并CU，基于合并候选索引从相邻块中推断出权重索引。加权平均双向预测仅适用于具有256个或更多个亮度样点的CU(即，CU宽度乘以CU高度大于或等于256)。对于不使用后向预测的图片，使用所有5个权重。对于使用后向预测的图片，仅使用3个权重(w∈{3，4，5})。
利用MVD的合并模式(MMVD)
除了其中将隐式推导的运动信息直接用于当前CU的预测样点生成的合并模式之外，VVC中还引入了利用运动矢量差的合并模式(MMVD)。在发送跳过标志和合并标志之后立即用信号发送MMVD标志以指定MMVD模式是否用于CU。
在MMVD模式下，在选择合并候选后，通过用信号发送的MVD信息对所选合并候选进一步细化。MMVD模式信息包括合并候选标志、指定运动幅值的距离索引和用于指示运动方向的方向索引。在MMVD模式下，仅允许选择合并列表中的前两个候选之一作为起始MV。用信号发送合并候选标志以指定使用了前两个候选中的哪一个。
距离索引指定运动幅值信息并指示距起点的预定义偏移。如图6A和图6B所示，偏移被添加到起始MV的水平分量或垂直分量。其中，图6A示出了根据本公开的用于扁平矩形块(W/H＝2)的帧内预测的参考样点和角度方向的图示。其中，图6B示出了根据本公开的用于高矩形块(W/H＝1/2)的帧内预测的参考样点和角度方向的图示。距离索引与预定义偏移之间的关系如表2所示。
表2——距离索引与预定义偏移的关系
Figure BDA0003247966430000101
方向索引表示MVD相对于起点的方向。方向索引可以表示如表3所示的这四个方向。应当注意，MVD符号的含义可以根据起始MV的信息而变化。当起始MV是单向预测MV或者是其(多个)参考图片指向当前图片的同一侧的双向预测MV时(即，最多两个参考图片的POC都大于当前图片的POC，或者都小于当前图片的POC)，表3中的符号指定添加到起始MV的MV偏移的符号。当起始MV是其两个运动矢量指向当前图片的不同侧的双向预测MV时(即，一个参考图片的POC大于当前图片的POC，并且另一参考图片的POC小于当前图片的POC)，表3中的符号指定了添加到起始MV的列表0运动矢量的MV偏移的符号和添加到起始MV的列表1运动矢量的MV偏移的相反符号。
表3——由方向索引指定的MV偏移的符号
方向IDX 00 01 10 11
x轴 + - N/A N/A
y轴 N/A N/A + -
BDOF和DMVR
在当前设计中，应当注意，对BDOF和DMVR的启用应用了几个约束。在当前设计中，仅在以下所有条件都成立时才启用BDOF。
第一，当前块使用双向预测，其中一个MV指向按照显示顺序在当前图片之前的参考图片，并且另一个MV指向按照显示顺序在当前图片之后的参考图片。
第二，未启用加权预测。
第三，当前块的高度不等于4。
第四，当前块的尺寸不等于4×8(即，宽度为4且高度为8)。
第五，当前块未被编解码为对称MVD模式，这是VVC中的特殊MVD编解码模式。
第六，当前块未被编解码为仿射模式。
第七，当前块未被编解码为子块合并模式。
第八，在对来自列表0和列表1的预测值样点求平均时，当前块未使用不同的权重(例如，利用不等权重的BWA)。
在当前设计中，仅在以下所有条件都成立时才启用DMVR。
第一，当前块使用双向预测，其中一个MV指向按照显示顺序在当前图片之前的参考图片，并且另一个MV指向按照显示顺序在当前图片之后的参考图片；此外，当前图片与前向参考图片之间的距离以及当前图片与后向参考图片之间的距离应相同。
第二，当前块被编解码为合并模式并且所选合并候选是常规合并候选(例如，正常非子块空间合并候选或时间合并候选等)。
第三，当前块的高度等于或大于8
第四，当前块的面积等于或大于64。
第五，当前块未被编解码为仿射模式。
第六，当前块未被编解码为子块合并模式。
第七，当前块未被编解码为MMVD模式。
尽管已经对BDOF和DMVR的启用施加了若干约束，但是在某些情况下，这两个解码器侧帧间预测细化工具BDOF和DMVR可能会在对一个块进行编解码时同时启用。在当前设计中，当这两个解码器侧帧间预测细化工具同时启用时，BDOF依赖于DMVR的最终运动补偿样点，这会导致硬件设计出现延迟问题。
将BDOF或DMVR应用于帧间模式编解码块
在本公开的这个实施例中，提出了根据块的模式信息将BDOF或DMVR排他地应用于帧间模式编解码块。这种模式信息包括但不限于预测模式(如是否使用合并模式)、合并模式索引、运动矢量、块形状、块尺寸、预测值样点值等。应当注意，可以在应用于BDOF和DMVR的当前约束之上应用所提出的方法。可以单独或联合应用以下方法。
图7示出了根据本公开的用于对视频信号进行编解码的示例方法。
在步骤710中，获得与帧间模式编解码块相关联的第一参考图片和第二参考图片，其中，按照显示顺序，第一参考图片在当前图片之前并且第二参考图片在当前图片之后。
在步骤712中，获得从帧间模式编解码块到第一参考图片中的参考块的第一运动矢量。
在步骤714中，获得从帧间模式编解码块到第二参考图片中的参考块的第二运动矢量。
在步骤716中，基于帧间模式编解码块的模式信息对帧间模式编解码块应用双向光流(BDOF)或解码器侧运动矢量细化(DMVR)，其中，模式信息包括第一运动矢量和第二运动矢量。
在步骤718中，基于应用的BDOF或DMVR来预测帧间模式编解码块的双向预测。
在一方面，根据是否为块选择了常规合并模式而将BDOF或DMVR模式选择性地应用于帧间模式编解码块。在一个示例中，仅在为块选择常规合并模式并且在这种情况下不允许BDOF时才应用DMVR。
在第二方面，根据是否为块选择了常规合并模式以及编解码合并索引而将BDOF或DMVR模式选择性地应用于帧间模式编解码块。在一个示例中，仅在具有奇数合并索引号的常规合并模式用于块时才将DMVR应用于该块，并且仅在具有偶数合并索引号的常规合并模式用于块时才将BDOF应用于该块，在另一示例中，仅在具有偶数合并索引号的常规合并模式用于块时才将DMVR应用于该块，并且仅在具有奇数合并索引号的常规合并模式用于块时才将BDOF应用于该块。在第三示例中，仅在合并索引值小于预定义阈值的常规合并模式用于块时才将DMVR应用于该块，并且仅在合并索引值等于或大于预定义阈值的常规合并模式用于块时才将BDOF应用于该块。在第四示例中，仅在合并索引值大于预定义阈值的常规合并模式用于块时才将DMVR应用于该块，并且仅在合并索引值等于或小于预定义阈值的常规合并模式用于块时才将BDOF应用于该块。
在第三方面，根据块的运动矢量而将BDOF或DMVR模式选择性地应用于帧间模式编解码块。在一个示例中，当所有运动矢量分量的幅值之和大于预定义阈值时启用DMVR，而当所有运动矢量分量幅值之和等于或小于预定义阈值时启用BDOF。在另一示例中，当列表0和列表1的运动矢量分量之差大于预定义阈值时启用DMVR，而当列表0和列表1的运动矢量分量之差等于或小于预定义阈值时启用BDOF。在又一示例中，当所选合并候选与所有先前合并候选相差预定义阈值时(例如，相对于先前合并候选的运动矢量差大于阈值，和/或其涉及与先前合并候选的参考图片不同的参考图片等)，应用DMVR；否则，将应用BDOF。
在第四方面，根据块的形状而将BDOF或DMVR选择性地应用于帧间模式编解码块。在一个示例中，仅在块为正方形时才启用DMVR，而仅在块为非正方形时才启用BDOF。在另一示例中，仅在块为非正方形时才启用DMVR，而仅在块为正方形时才启用BDOF。
在第五方面，根据块的尺寸而将BDOF或DMVR选择性地应用于帧间模式编解码块。在一个示例中，仅在块尺寸大于预定义阈值时才启用DMVR，而仅在块尺寸等于或小于预定义阈值时才启用BDOF。在另一示例中，仅在块尺寸小于预定义阈值时才启用DMVR，而仅在块尺寸等于或大于预定义阈值时才启用BDOF。
在第六方面，根据预测值样点而将BDOF或DMVR选择性地应用于帧间模式编解码块。在一个示例中，计算列表0预测值样点与列表1预测值样点之间的SAD或SSD(平方差和)。仅在SAD/SSD值大于预定义阈值时才启用DMVR，而仅在SAD/SSD等于或小于预定义阈值时才启用BDOF。
在第七方面，用信号发送一个标志以指定是将BDOF还是DMVR应用于块。
在第八方面，生成单独的合并候选列表并将其专用于DMVR。用信号发送语法以指示该DMVR合并模式，并且在DMVR合并候选列表的大小大于1时还用信号发送合并索引。其他模式不启用DMVR。
在第九方面，生成单独的合并候选列表并将其专用于BDOF。用信号发送语法以指示该BDOF合并模式，并且在BDOF合并候选列表的大小大于1时还用信号发送合并索引，对于DMVR适用的其他模式不启用BDOF。
在第十方面，根据所选合并候选与其先前合并候选之间的运动矢量差(MVD)而将BDOF或DMVR模式选择性地应用于帧间模式编解码块。当所选合并候选与每个先前合并候选之间的MVD不小于预定义阈值时应用DMVR；否则，应用BDOF。
根据本公开，可以使用不同的方法计算候选之间的MVD。例如，在比较所选合并候选与其先前合并候选之一时，MVD可以被计算为列表0和列表1的运动矢量的x分量之间的绝对差与y分量之间的绝对差之和。在另一示例中，MVD可以被计算为列表0和列表1的运动矢量的x分量之间的绝对差和y分量之间的绝对差的平均值。在第三种情况下，MVD可以被计算为列表0和列表1的运动矢量的x分量之间的绝对差和y分量之间的绝对差中的最小值。在第四种情况下，MVD可以被计算为列表0和列表1的运动矢量的x分量之间的绝对差和y分量之间的绝对差中的最大值。
应当注意，如果这两个候选具有不同的参考图片，则认为它们具有非常大的MVD，并且因此应用DMVR。可以根据CU的一些编解码信息(如其块尺寸)将MVD阈值设置为不同。在一个示例中，对于小于64像素的块将阈值设置为1/4像素，对于小于256像素的块将阈值设置为1/2像素，并且对于等于或大于256像素的块将阈值设置为1像素。
在第十一方面，根据所选合并候选的MV幅值而将BDOF或DMVR模式选择性地应用于帧间模式编解码块。图8示出了根据本公开用于将BDOF或DMVR应用于帧间模式编解码块的示例方法。
当所选合并候选的MV幅值不小于预定义阈值时应用DMVR；否则，应用BDOF。根据本公开，可以使用不同的方法计算MV幅值。一个这样的示例是使用给定MV的列表0和列表1的运动矢量的x分量的绝对值和y分量的绝对值之和。
另一个这样的示例是使用给定MV的列表0和列表1的运动矢量的x分量的绝对值和y分量的绝对值的平均值。第三个示例是使用给定MV的列表0和列表1的运动矢量的x分量的绝对值和y分量的绝对值中的最小值。
第四个示例是使用给定MV的列表0和列表1的运动矢量的x分量的绝对值和y分量的绝对值中的最大值。可以根据CU的一些编解码信息(如其块尺寸)将MV幅值阈值设置为不同。在一个示例中，对于小于64像素的块将阈值设置为1/4像素，对于小于256像素的块，将阈值设置为1/2像素，并且对于等于或大于256像素的块，将阈值设置为1像素。
在本公开中，提出可以将如下所示的附加约束应用于DMVR模式启用。可以独立或联合应用这些约束。
·当为当前块启用加权预测时，不允许DMVR。
·当在对当前块的列表0和列表1中的预测值样点求平均的情况下使用了不同的权重时，不允许DMVR。
在本公开中，提出将BDOF扩展到子块合并模式以实现进一步的编解码增益。
在步骤810中，确定所选合并候选与先前合并候选之间的运动矢量差(MVD)。根据本公开，可以使用不同的方法计算MV幅值。例如，可以计算给定MV的列表0和列表1的运动矢量的x分量的绝对值和y分量的绝对值之和。例如，可以计算给定MV的列表0和列表1的运动矢量的x分量的绝对值和y分量的绝对值的平均值。例如，可以计算给定MV的列表0和列表1的运动矢量的x分量的绝对值和y分量的绝对值中的最小值。例如，可以计算给定MV的列表0和列表1的运动矢量的x分量的绝对值和y分量的绝对值中的最大值。
在步骤812中，当所选合并候选与先前合并候选之间的MVD不小于预定义阈值时应用DMVR。当所选合并候选的MV幅值不小于预定义阈值时应用DMVR；否则，应用BDOF。可以根据CU的一些编解码信息(如其块尺寸)将MV幅值阈值设置为不同。例如，对于小于64像素的块可以将阈值设置为1/4像素，对于小于256像素的块可以将阈值设置为1/2像素，并且对于等于或大于256像素的块可以将阈值设置为1像素。
在步骤814中，当所选合并候选与先前合并候选之间的MVD小于预定义阈值时应用BDOF。可以根据CU的一些编解码信息(如其块尺寸)将MV幅值阈值设置为不同。例如，对于小于64像素的块可以将阈值设置为1/4像素，对于小于256像素的块可以将阈值设置为1/2像素，并且对于等于或大于256像素的块可以将阈值设置为1像素。
在本公开的这个实施例中，提出可以将如下所示的附加约束应用于DMVR模式启用。可以独立或联合应用这些约束。
当为当前块启用加权预测时，不允许DMVR。
当在对当前块的列表0和列表1中的预测值样点求平均的情况下使用了不同的权重时，不允许DMVR。
在本公开的这个实施例中，提出将BDOF扩展到子块合并模式以实现进一步的编解码增益。
图9示出了与用户界面960耦接的计算环境910。计算环境910可以是数据处理服务器的一部分。计算环境910包括处理器920、存储器940以及I/O接口950。
处理器920通常控制计算环境910的整体操作，比如与显示、数据获取、数据通信以及图像处理相关联的操作。处理器920可以包括一个或多个处理器以执行指令以执行上述方法中的所有或一些步骤。此外，处理器920可以包括促进处理器920与其他部件之间的交互的一个或多个模块。处理器可以是中央处理单元(CPU)、微处理器、单片机、GPU等。
存储器940被配置为存储各种类型的数据以支持计算环境910的操作。这种数据的示例包括在计算环境910上操作的任何应用或方法的指令、视频数据集、视频数据、图像数据等。存储器940可以通过使用任何类型的易失性或非易失性存储器设备或其组合来实施，比如静态随机存取存储器(SRAM)、电可擦可编程只读存储器(EEPROM)、可擦可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
I/O接口950提供处理器920与外围接口模块(比如键盘、点击轮、按钮等)之间的接口。按钮可以包括但不限于主页按钮、开始扫描按钮和停止扫描按钮。I/O接口950可以与编码器和解码器耦接。
在实施例中，还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括多个程序，比如包含在存储器940中的预定软件942，可由计算环境910中的处理器920执行，用于执行上述方法。例如，该非暂态计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等。
该非暂态计算机可读存储介质中存储有用于由具有一个或多个处理器的计算设备执行的多个程序，其中，该多个程序在由该一个或多个处理器执行时，使该计算设备执行上述运动预测方法。
在实施例中，计算环境910可以用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、控制器、微控制器、微处理器、或其他电子部件来实施，用于执行上述方法。

Claims (36)

1.一种对视频信号进行编解码的方法，所述方法包括：
获得与帧间模式编码块相关联的第一参考图片和第二参考图片，其中，按照显示顺序，所述第一参考图片在当前图片之前并且所述第二参考图片在所述当前图片之后；
获得从所述帧间模式编码块到所述第一参考图片中的参考块的第一运动矢量；
获得从所述帧间模式编码块到所述第二参考图片中的参考块的第二运动矢量；
基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用双向光流BDOF或解码器侧运动矢量细化DMVR，其中，所述模式信息包括所述第一运动矢量和所述第二运动矢量；以及
基于所应用的BDOF或DMVR来预测所述帧间模式编码块的双向预测。
2.如权利要求1所述的方法，其中，基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR包括：
确定是否将常规合并模式应用于所述帧间模式编码块；以及
当将所述常规合并模式应用于所述帧间模式编码块时应用DMVR。
3.如权利要求1所述的方法，其中，基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR包括：
确定是否为所述帧间模式编码块选择了常规合并模式和编码合并索引；
当所述常规合并模式具有奇数合并索引号并且被用于所述帧间模式编码块时应用DMVR；以及
当所述常规合并模式具有偶数合并索引号并且被用于所述帧间模式编码块时应用BDOF。
4.如权利要求1所述的方法，其中，基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR包括：
当所有运动矢量分量的幅值之和大于预定义阈值时应用DMVR；以及
当所有运动矢量分量的幅值之和等于或小于所述预定义阈值时应用BDOF。
5.如权利要求1所述的方法，其中，基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR包括：
确定所述帧间模式编码块的形状；
当所述帧间模式编码块的形状为正方形时应用DMVR；以及
当所述帧间模式编码块的形状为非正方形时应用BDOF。
6.如权利要求1所述的方法，其中，基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR包括：
确定所述帧间模式编码块的尺寸；
当所述帧间模式编码块的尺寸大于预定义阈值时应用DMVR；以及
当所述帧间模式编码块的尺寸等于或小于所述预定义阈值时应用BDOF。
7.如权利要求1所述的方法，其中，基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR包括：
计算第一列表预测值样点与第二列表预测值样点之间的平方差和SSD；
当所述SSD大于预定义阈值时应用DMVR；以及
当所述SSD等于或小于所述预定义阈值时应用BDOF。
8.如权利要求1所述的方法，进一步包括：
提供指定是将BDOF还是DMVR应用于所述帧间模式编码块的标志。
9.如权利要求1所述的方法，进一步包括：
生成针对BDOF的合并候选列表，并且当所述合并候选列表大于1时提供合并索引；
提供指示BDOF合并模式的合并语法；以及
当应用DMVR时禁用BDOF。
10.如权利要求1所述的方法，进一步包括：
生成针对DMVR的合并候选列表，并且当所述合并候选列表大于1时提供合并索引；
提供指示DMVR合并模式的合并语法；以及
应用DMVR。
11.如权利要求1所述的方法，其中，基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR包括：
确定所选合并候选与先前合并候选之间的运动矢量差MVD；
当所选合并候选与所述先前合并候选之间的MVD不小于预定义阈值时应用DMVR；以及
当所选合并候选与所述先前合并候选之间的MVD小于所述预定义阈值时应用BDOF。
12.如权利要求1所述的方法，其中，基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR包括：
确定所选合并候选的运动矢量幅值；
当所选合并候选的运动矢量幅值不小于预定义阈值时应用DMVR；以及
当所选合并候选的运动矢量幅值小于所述预定义阈值时应用BDOF。
13.一种计算设备，包括：
一个或多个处理器；
非暂态计算机可读存储介质，存储有能够由一个或多个处理器执行的指令，其中，所述一个或多个处理器被配置为：
获得与帧间模式编码块相关联的第一参考图片和第二参考图片，其中，按照显示顺序，所述第一参考图片在当前图片之前并且所述第二参考图片在所述当前图片之后；
获得从所述帧间模式编码块到所述第一参考图片中的参考块的第一运动矢量；
获得从所述帧间模式编码块到所述第二参考图片中的参考块的第二运动矢量；
基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用双向光流BDOF或解码器侧运动矢量细化DMVR，其中，所述模式信息包括所述第一运动矢量和所述第二运动矢量；以及
基于所应用的BDOF或DMVR来预测所述帧间模式编码块的双向预测。
14.如权利要求13所述的计算设备，其中，被配置为基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述一个或多个处理器进一步被配置为：
确定是否将常规合并模式应用于所述帧间模式编码块；以及
当将所述常规合并模式应用于所述帧间模式编码块时应用DMVR。
15.如权利要求13所述的计算设备，其中，被配置为基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述一个或多个处理器进一步被配置为：
确定是否为所述帧间模式编码块选择了常规合并模式或编解码合并索引；
当所述常规合并模式具有奇数合并索引号并且被用于所述帧间模式编码块时应用DMVR；以及
当所述常规合并模式具有偶数合并索引号并且被用于所述帧间模式编码块时应用BDOF。
16.如权利要求13所述的计算设备，其中，被配置为基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述一个或多个处理器进一步被配置为：
当运动矢量分量的幅值之和大于预定义阈值时应用DMVR；以及
当运动矢量分量的幅值之和等于或小于所述预定义阈值时应用BDOF。
17.如权利要求13所述的计算设备，其中，被配置为基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述一个或多个处理器进一步被配置为：
确定所述帧间模式编码块的形状；
当所述帧间模式编码块的形状为正方形时应用DMVR；以及
当所述帧间模式编码块的形状为非正方形时应用BDOF。
18.如权利要求13所述的计算设备，其中，被配置为基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述一个或多个处理器进一步被配置为：
确定所述帧间模式编码块的尺寸；
当所述帧间模式编码块的尺寸大于预定义阈值时应用DMVR；以及
当所述帧间模式编码块的尺寸等于或小于所述预定义阈值时应用BDOF。
19.如权利要求13所述的计算设备，其中，被配置为基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述一个或多个处理器进一步被配置为：
计算第一列表预测值样点与第二列表预测值样点之间的平方差和SSD；
当所述SSD大于预定义阈值时应用DMVR；以及
当所述SSD等于或小于所述预定义阈值时应用BDOF。
20.如权利要求13所述的计算设备，其中，所述一个或多个处理器进一步被配置为：
提供指定是将BDOF还是DMVR应用于所述帧间模式编码块的标志。
21.如权利要求13所述的计算设备，所述一个或多个处理器进一步被配置为：
生成针对BDOF的合并候选列表；
提供指示BDOF合并模式的语法；以及
当所述合并候选列表大于1时提供合并索引。
22.如权利要求13所述的计算设备，所述一个或多个处理器进一步被配置为：
生成针对DMVR的合并候选列表；
提供指示DMVR合并模式的语法；以及
当所述合并候选列表大于1时提供合并索引。
23.如权利要求13所述的计算设备，其中，被配置为基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述一个或多个处理器进一步被配置为：
确定所选合并候选与先前合并候选之间的运动矢量差MVD；
当所选合并候选与所述先前合并候选之间的MVD不小于预定义阈值时应用DMVR；以及
当所选合并候选与所述先前合并候选之间的MVD小于所述预定义阈值时应用BDOF。
24.如权利要求13所述的计算设备，其中，被配置为基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述一个或多个处理器进一步被配置为：
确定所选合并候选的运动矢量幅值；
当所选合并候选的运动矢量幅值不小于预定义阈值时应用DMVR；以及
当所选合并候选的运动矢量幅值小于所述预定义阈值时应用BDOF。
25.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储用于由具有一个或多个处理器的计算设备执行的多个程序，其中，所述多个程序在由所述一个或多个处理器执行时，使所述计算设备执行以下操作：
获得与帧间模式编码块相关联的第一参考图片和第二参考图片，其中，按照显示顺序，所述第一参考图片在当前图片之前并且所述第二参考图片在所述当前图片之后；
获得从所述帧间模式编码块到所述第一参考图片中的参考块的第一运动矢量；
获得从所述帧间模式编码块到所述第二参考图片中的参考块的第二运动矢量；
基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用双向光流BDOF或解码器侧运动矢量细化DMVR，其中，所述模式信息包括所述第一运动矢量和所述第二运动矢量；以及
基于所应用的BDOF或DMVR来预测所述帧间模式编码块的双向预测。
26.如权利要求25所述的非暂态计算机可读存储介质，其中，使所述计算设备基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述多个程序进一步使所述计算设备执行以下操作：
确定是否将常规合并模式应用于所述帧间模式编码块；以及
当所述常规合并模式应用于所述帧间模式编码块时应用DMVR。
27.如权利要求25所述的非暂态计算机可读存储介质，其中，使所述计算设备基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述多个程序进一步使所述计算设备执行以下操作：
确定是否为所述帧间模式编码块选择了常规合并模式和编解码合并索引；
当所述常规合并模式具有奇数合并索引号并且被用于所述帧间模式编码块时应用DMVR；以及
当所述常规合并模式具有偶数合并索引号并且被用于所述帧间模式编码块时应用BDOF。
28.如权利要求25所述的非暂态计算机可读存储介质，其中，使所述计算设备基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述多个程序进一步使所述计算设备执行以下操作：
当运动矢量分量的幅值之和大于预定义阈值时应用DMVR；以及
当运动矢量分量的幅值之和等于或小于所述预定义阈值时应用BDOF。
29.如权利要求25所述的非暂态计算机可读存储介质，其中，使所述计算设备基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述多个程序进一步使所述计算设备执行以下操作：
确定所述帧间模式编码块的形状；
当所述帧间模式编码块的形状为正方形时应用DMVR；以及
当所述帧间模式编码块的形状为非正方形时应用BDOF。
30.如权利要求25所述的非暂态计算机可读存储介质，其中，使所述计算设备基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述多个程序进一步使所述计算设备执行以下操作：
确定所述帧间模式编码块的尺寸；
当所述帧间模式编码块的尺寸大于预定义阈值时应用DMVR；以及
当所述帧间模式编码块的尺寸等于或小于所述预定义阈值时应用BDOF。
31.如权利要求25所述的非暂态计算机可读存储介质，其中，使所述计算设备基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述多个程序进一步使所述计算设备执行以下操作：
计算第一列表预测值样点与第二列表预测值样点之间的平方差和SSD；
当所述SSD大于预定义阈值时应用DMVR；以及
当所述SSD等于或小于所述预定义阈值时应用BDOF。
32.如权利要求25所述的非暂态计算机可读存储介质，其中，所述多个程序进一步使所述计算设备执行以下操作：
提供指定是将BDOF还是DMVR应用于所述帧间模式编码块的标志。
33.如权利要求25所述的非暂态计算机可读存储介质，其中，所述多个程序进一步使所述计算设备执行以下操作：
生成针对BDOF的合并候选列表；
提供指示BDOF合并模式的语法；以及
当所述合并候选列表大于1时提供合并索引。
34.如权利要求25所述的非暂态计算机可读存储介质，其中，所述多个程序进一步使所述计算设备执行以下操作：
生成针对DMVR的合并候选列表；
提供指示DMVR合并模式的语法；以及
当所述合并候选列表大于1时提供合并索引。
35.如权利要求25所述的非暂态计算机可读存储介质，其中，使所述计算设备基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述多个程序进一步使所述计算设备执行以下操作：
确定所选合并候选与先前合并候选之间的运动矢量差MVD；
当所选合并候选与所述先前合并候选之间的MVD不小于预定义阈值时应用DMVR；以及
当所选合并候选与所述先前合并候选之间的MVD小于所述预定义阈值时应用BDOF。
36.如权利要求25所述的非暂态计算机可读存储介质，其中，使所述计算设备基于所述帧间模式编码块的模式信息对所述帧间模式编码块应用BDOF或DMVR的所述多个程序进一步使所述计算设备执行以下操作：
确定所选合并候选的运动矢量幅值；
当所选合并候选的运动矢量幅值不小于预定义阈值时应用DMVR；以及
当所选合并候选的运动矢量幅值小于所述预定义阈值时应用BDOF。
CN202080019042.3A 2019-03-08 2020-03-05 用于视频编解码的双向光流和解码器侧运动矢量细化 Pending CN113545086A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962816033P 2019-03-08 2019-03-08
US62/816,033 2019-03-08
PCT/US2020/021168 WO2020185506A1 (en) 2019-03-08 2020-03-05 Bi-directional optical flow and decoder-side motion vector refinement for video coding

Publications (1)

Publication Number Publication Date
CN113545086A true CN113545086A (zh) 2021-10-22

Family

ID=72427132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080019042.3A Pending CN113545086A (zh) 2019-03-08 2020-03-05 用于视频编解码的双向光流和解码器侧运动矢量细化

Country Status (4)

Country Link
US (1) US11936848B2 (zh)
EP (1) EP3922028A4 (zh)
CN (1) CN113545086A (zh)
WO (1) WO2020185506A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113545086A (zh) * 2019-03-08 2021-10-22 北京达佳互联信息技术有限公司 用于视频编解码的双向光流和解码器侧运动矢量细化
US11330287B2 (en) * 2019-06-28 2022-05-10 Tencent America LLC Method and apparatus for video coding

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958927B2 (en) * 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
WO2017205701A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction for intra coding
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
WO2019045392A1 (ko) * 2017-08-29 2019-03-07 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20200095463A (ko) * 2017-11-01 2020-08-10 브이아이디 스케일, 인크. 병합 모드를 위한 서브-블록 모션 도출 및 디코더측 모션 벡터 정교화
US11310526B2 (en) * 2018-01-26 2022-04-19 Mediatek Inc. Hardware friendly constrained motion vector refinement
US11109053B2 (en) * 2018-03-05 2021-08-31 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoder, and decoder
JP7293369B2 (ja) * 2019-02-14 2023-06-19 エルジー エレクトロニクス インコーポレイティド Ｄｍｖｒ基盤のインター予測方法及び装置
WO2020171444A1 (ko) * 2019-02-24 2020-08-27 엘지전자 주식회사 Dmvr 기반의 인터 예측 방법 및 장치
CN113545086A (zh) * 2019-03-08 2021-10-22 北京达佳互联信息技术有限公司 用于视频编解码的双向光流和解码器侧运动矢量细化
SI3941060T1 (sl) * 2019-03-12 2024-02-29 Lg Electronics Inc. Postopek naprava za zunanje napovedovanje na podlagi dmvr in bdof
KR20210114060A (ko) * 2019-03-13 2021-09-17 엘지전자 주식회사 Dmvr 기반의 인터 예측 방법 및 장치
EP3941061A4 (en) * 2019-03-15 2022-05-04 Lg Electronics Inc. BDOF-BASED INTERPREDITION METHOD AND DEVICE
WO2020197084A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 Dmvr 기반의 인터 예측 방법 및 장치
JP7058329B2 (ja) * 2019-03-22 2022-04-21 エルジー エレクトロニクス インコーポレイティド Ｄｍｖｒおよびｂｄｏｆベースのインター予測方法および装置
US11140409B2 (en) * 2019-03-22 2021-10-05 Lg Electronics Inc. DMVR and BDOF based inter prediction method and apparatus thereof

Also Published As

Publication number Publication date
US11936848B2 (en) 2024-03-19
EP3922028A4 (en) 2022-08-10
WO2020185506A1 (en) 2020-09-17
EP3922028A1 (en) 2021-12-15
US20210400261A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
CN112042189A (zh) 用于照度补偿的信令
WO2020073937A1 (en) Intra prediction for multi-hypothesis
US10397613B2 (en) Method for deriving a motion vector
CN113491123B (zh) 用于多重-参考行预测与多重-假设预测的发信
CN116320473A (zh) 光流预测细化的方法和装置
CN114125441B (zh) 对视频信号解码的双向光流方法、计算设备和存储介质
CN114342378A (zh) 关于利用光流的预测细化的方法和装置
CN114009033A (zh) 用于用信号通知对称运动矢量差模式的方法和装置
US11936848B2 (en) Bi-directional optical flow and decoder-side motion vector refinement for video coding
WO2022082053A1 (en) Enhanced motion estimation for inter coding
EP3909241A1 (en) System and method for improving combined inter and intra prediction
KR102387873B1 (ko) 구축된 아핀 병합 후보들을 도출하기 위한 방법
CN117014615B (zh) 视频编码方法、设备和非暂时性计算机可读存储介质
EP4320863A1 (en) Geometric partition mode with explicit motion signaling
WO2022026480A1 (en) Weighted ac prediction for video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination