CN114051732A - 用于视频编解码中的解码器侧运动矢量细化的方法和装置 - Google Patents

用于视频编解码中的解码器侧运动矢量细化的方法和装置 Download PDF

Info

Publication number
CN114051732A
CN114051732A CN202080048624.4A CN202080048624A CN114051732A CN 114051732 A CN114051732 A CN 114051732A CN 202080048624 A CN202080048624 A CN 202080048624A CN 114051732 A CN114051732 A CN 114051732A
Authority
CN
China
Prior art keywords
threshold
sub
blocks
initial
cost value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080048624.4A
Other languages
English (en)
Inventor
陈漪纹
修晓宇
王祥林
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of CN114051732A publication Critical patent/CN114051732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于视频编解码的方法。所述方法包括：将视频图片分割为多个编码单元(CU)，其中所述多个CU中的每个CU包括多个子块；导出针对所述多个子块中的每个子块的初始运动矢量(MV)；导出用于双向光流(BDOF)和解码器侧运动矢量细化(DMVR)的多个运动矢量(MV)候选；确定针对所述初始MV的原始代价值；确定针对所述初始MV的更新的代价值；获得针对所述多个子块中的每个子块的第一阈值和第二阈值；基于所述第一阈值确定是否终止针对所述多个子块中的每个子块的双向光流(BDOF)；以及基于所述第二阈值确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化(DMVR)。

Description

用于视频编解码中的解码器侧运动矢量细化的方法和装置
相关申请的交叉引用
本申请要求于2019年07月27日提交的题为“用于视频编解码的解码器侧运动矢量细化(Decoder-side Motion Vector Refinement for Video Coding)”、申请号为62/879,459的美国临时申请的优先权，其全部内容通过引用并入本文用于所有目的。
技术领域
本申请总体涉及视频编解码和压缩，并且具体地但不限于用于视频编解码中的解码器侧运动矢量细化(DMVR)的方法和装置。
背景技术
各种电子设备(诸如数字电视、膝上型计算机或台式计算机、平板计算机、数码相机、数字记录设备、数字媒体播放器、视频游戏机、智能电话、视频电话会议设备、视频流设备等)都支持数字视频。电子设备通过实施视频压缩/解压缩来发送、接收、编码、解码和/或存储数字视频数据。数字视频设备实施视频编解码技术，诸如由通用视频编解码(VVC)、联合探索测试模型(JEM)、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、高级视频编解码(AVC)、ITU-T H.265/高效视频编解码(HEVC)定义的标准及此类标准的扩展中所描述的那些技术。
视频编解码通常使用利用了视频图像或序列中存在的冗余的预测方法(例如，帧间预测、帧内预测)。视频编解码技术的重要目标在于将视频数据压缩为使用更低比特率的形式，同时避免或最小化视频质量的降级。随着不断发展的视频服务变得可用，需要具有更好编解码效率的编码技术。
视频压缩通常包括执行空间(帧内)预测和/或时间(帧间)预测来减少或移除视频数据中固有的冗余。对于基于块的视频编解码，将视频帧划分为一个或更多个条带，每个条带具有多个视频块，视频块也可被称为编码树单元(CTU)。可使用具有嵌套的多类型树结构的四叉树将CTU拆分为多个编码单元(CU)，CU定义共享相同预测模式的像素区域。每个CTU可包含一个编码单元(CU)或者递归地被划分为更小的CU直到达到预定义的最小CU尺寸为止。每个CU(也称为叶CU)包含一个或多个变换单元(TU)并且每个CU还包含一个或多个预测单元(PU)。可以以帧内、帧间或IBC模式对每个CU进行编码。视频帧的帧内编码(I)条带中的视频块使用关于同一视频帧内的相邻块中的参考样点的空间预测被编码。视频帧的帧间编码(P或B)条带中的视频块可使用关于同一视频帧内的相邻块中的参考样点的空间预测或关于其它先前参考视频帧和/或未来参考视频帧中的参考样点的时间预测。
在本公开的一些示例中，术语“单元”定义图像的覆盖所有分量(诸如亮度和色度)的区域；术语“块”被用于定义覆盖特定分量(例如亮度)的区域，并且当考虑色度采样格式(诸如4：2：0)时，不同分量(例如亮度与色度)的块可在空间位置上不同。
基于先前已被编码的参考块(例如，相邻块)的空间预测或时间预测得出用于待编解码的当前视频块的预测块。找到参考块的过程可通过块匹配算法来完成。表示待编解码的当前块与预测块之间的像素差的残差数据被称为残差块或预测误差。根据残差块和指向参考帧中的形成预测块的参考块的运动矢量来对帧间编码块进行编码。确定运动矢量的过程通常被称为运动估计。根据帧内预测模式和残差块对帧内编码块进行编码。为了进一步压缩，将残差块从像素域变换到变换域(例如，频域)，从而得出残差变换系数，残差变换系数然后可被量化。最初以二维阵列布置的量化的变换系数可被扫描以产生变换系数的一维矢量，然后被熵编码为视频比特流以实现甚至更大的压缩。
然后，将已编码的视频比特流保存于计算机可读存储介质(例如，闪存存储器)中，以由具有数字视频能力的另一电子设备访问或者有线或无线地直接发送到电子设备。然后，电子设备执行视频解压缩(其为与上文描述的视频压缩相反的过程)，例如，通过对已编码的视频比特流进行解析来从比特流获得语法元素，并且至少部分地基于从比特流获得的语法元素从已编码的视频比特流将数字视频数据重建为其原始格式，并且电子设备在电子设备的显示器上呈现重建的数字视频数据。
随着数字视频质量从高清变为4K×2K或甚至8K×4K，待编码/解码的视频数据量呈指数增长。在如何在保持解码视频数据的图像质量的同时能够更有效率地对视频数据进行编码/解码方面，是一个长久挑战。
发明内容
一般来说，本公开描述了与视频编解码中的解码器侧运动矢量细化(DMVR)相关的技术的示例。
根据本公开的第一方面，提供了一种用于视频解码的方法，包括：将视频图片分割为多个编码单元(CU)，其中所述多个CU中的每个CU包括多个子块；导出针对所述多个子块中的每个子块的初始运动矢量(MV)；导出用于双向光流(BDOF)和解码器侧运动矢量细化(DMVR)的多个运动矢量(MV)候选；确定针对所述初始MV的原始代价值；确定针对所述初始MV的更新的代价值；获得针对所述多个子块中的每个子块的第一阈值和第二阈值；基于所述第一阈值确定是否终止针对所述多个子块中的每个子块的双向光流(BDOF)；以及基于所述第二阈值确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化(DMVR)。
根据本公开的第二方面，提供了一种用于视频解码的装置，包括：一个或更多个处理器；以及存储器，被配置为存储能够由所述一个或更多个处理器执行的指令；其中，所述一个或更多个处理器在执行所述指令时被配置为：将视频图片分割为多个编码单元(CU)，其中所述多个CU中的每个CU包括多个子块；导出针对所述多个子块中的每个子块的初始运动矢量(MV)；导出用于双向光流(BDOF)和解码器侧运动矢量细化(DMVR)的多个运动矢量(MV)候选；确定针对所述初始MV的原始代价值；确定针对所述初始MV的更新的代价值；获得针对所述多个子块中的每个子块的第一阈值和第二阈值；基于所述第一阈值确定是否终止针对所述多个子块中的每个子块的双向光流(BDOF)；以及基于所述第二阈值确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化(DMVR)。
根据本公开的第三方面，提供了一种非暂态计算机可读存储介质，包括存储在其中的指令，其中，在由一个或更多个处理器执行所述指令时，所述指令使所述一个或更多个处理器执行动作，所述动作包括：将视频图片分割为多个编码单元(CU)，其中所述多个CU中的每个CU包括多个子块；导出针对所述多个子块中的每个子块的初始运动矢量(MV)；导出用于双向光流(BDOF)和解码器侧运动矢量细化(DMVR)的多个运动矢量(MV)候选；确定针对所述初始MV的原始代价值；确定针对所述初始MV的更新的代价值；获得针对所述多个子块中的每个子块的第一阈值和第二阈值；基于所述第一阈值确定是否终止针对所述多个子块中的每个子块的双向光流(BDOF)；以及基于所述第二阈值确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化(DMVR)。
附图说明
将通过参照附图中所示的具体示例来呈现本公开的示例的更详细的描述。鉴于这些附图仅描绘了一些示例，并且因此不被认为是对范围的限制，将通过使用附图利用附加的特征和细节来描述和解释示例。
图1是示出根据本公开的一些实施方式的示例性视频编码器的框图。
图2是示出根据本公开的一些实施方式的示例性视频解码器的框图。
图3是示出根据本公开的一些实施方式的解码器侧运动矢量细化(DMVR)的示例的示意图。
图4是示出根据本公开的一些实施方式的DMVR搜索过程的示例的示意图。
图5是示出根据本发明的一些实施方式的DMVR整数亮度样点搜索模式的示例的示意图。
图6是示出根据本公开的一些实施方式的用于视频编解码的示例性装置的框图。
图7是示出根据本公开明的一些实施方式的视频编解码中的解码器侧运动矢量细化(DMVR)的示例性过程的流程图。
具体实施方式
现在将详细参照具体实施方式，在附图中示出具体实施方式的示例。在以下详细描述中，阐述了很多非限制性具体细节以便帮助理解本文呈现的主题。但是对于本领域普通技术人员将显而易见的是，可使用各种替代方案。例如，对于本领域普通技术人员将显而易见的是，本文呈现的主题可在具有数字视频能力的许多类型的电子设备上实现。
本公开中使用的术语仅用于描述示例性示例的目的，并不旨在限制本公开。如在本公开和所附权利要求中所使用的，单数形式“一”、“一个”和“所述”也旨在包括复数形式，除非上下文另有明确说明。还应被理解，本文使用的术语“或”和“和/或”旨在表示和包括一个或更多个相关联的所列项目的任何或所有可能的组合，除非上下文另有明确说明。
贯穿本说明书对“一个实施例”、“实施例”、“示例”、“一些实施例”、“一些示例”或类似语言的引用表示所描述的特定特征、结构或特性被包括在至少一个实施例或示例中。除非另有明确说明，否则结合一个或一些实施例描述的特征、结构、元件或特性也适用于其它实施例。
在整个公开内容中，除非另有明确说明，否则术语“第一”、“第二”、“第三”等都用作仅用于提及相关元件(例如，设备、组件、组合物、步骤等)的命名，而不指示任何空间或时间顺序。例如，“第一设备”和“第二设备”可指两个单独形成的设备，或者同一设备的两个部分、组件或操作状态，并且可被任意命名。
如本文所使用的，取决于上下文，术语“如果”或“当......时”可被理解为表示“在......时”或“响应于......”。这些术语如果出现在权利要求中，则可不指示相关限制或特征是有条件的或可选的。
术语“模块”、“子模块”、“电路”、“子电路”、“电路系统”、“子电路系统”、“单元”或“子单元”可包括存储可由一个或更多个处理器执行的代码或指令的存储器(共享、专用或组合)。模块可包括具有或不具有存储的代码或指令的一个或更多个电路。模块或电路可包括直接或间接连接的一个或更多个组件。这些组件可以或可不物理地附接到彼此或彼此相邻定位。
单元或模块可纯粹通过软件、纯粹通过硬件或通过硬件和软件的组合来实现。在纯软件实施方式中，例如，单元或模块可包括直接或间接链接在一起的功能上相关的代码块或软件组件，以便执行特定功能。
图1展示了示出可与使用基于块的处理的许多视频编解码标准结合使用的示例性的基于块的混合视频编码器100的框图。在编码器100中，视频帧被分割为多个视频块以进行处理。对于每个给定视频块，基于帧间预测方法或帧内预测方法来形成预测。在帧间预测中，基于来自先前重建帧的像素点，通过运动估计和运动补偿来形成一个或多个预测值。在帧内预测中，基于当前帧中的重建像素点来形成预测值。通过模式决策，可选择最佳预测值来预测当前块。
将表示当前视频块与其预测值之间的差的预测残差发送到变换电路102。然后将变换系数从变换电路102发送到量化电路104以用于熵减少。然后将量化的系数馈送到熵编码电路106以产生压缩的视频比特流。如图1所示，来自帧间预测电路和/或帧内预测电路112的预测相关信息110(诸如视频块分割信息、运动矢量、参考图片索引和帧内预测模式)也通过熵编码电路106被馈送并保存到压缩的视频比特流114中。
在编码器100中，为了预测的目的，还需要解码器相关电路以便重建像素点。首先，通过反量化116和逆变换电路118重建预测残差。该重建的预测残差与块预测值120组合以产生当前视频块的未经滤波的重建像素点。
空间预测(或“帧内预测”)使用来自与当前视频块相同的视频帧中的已经编码的相邻块的样点(其被称为参考样点)的像素来预测当前视频块。
时间预测(也被称为“帧间预测”)使用来自已经编码的视频图片的重建像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。通常通过指示当前CU与其时间参考之间的运动的量和方向的一个或更多个运动矢量(MV)来用信号发送给定编码单元(CU)或编码块的时间预测信号。此外，如果支持多个参考图片，则另外发送一个参考图片索引，其中该参考图片索引用于识别时间预测信号来自参考图片存储库中的哪个参考图片。
在执行空间和/或时间预测之后，编码器100中的帧内/帧间模式决策电路121例如基于率失真优化方法来选择最佳预测模式。然后从当前视频块减去块预测值120；并且使用变换电路102和量化电路104对所得到的预测残差进行去相关。所得到的量化的残差系数通过反量化电路116被反量化并且通过逆变换电路118被逆变换以形成重建残差，接着将重建残差加回到预测块以形成CU的重建信号。在将重建CU放入图片缓冲器117的参考图片存储库中并用于对后面的视频块进行编码之前，可对重建CU进一步应用环路滤波115，诸如去块滤波器、样点自适应偏移(SAO)和/或自适应环路滤波器(ALF)。为了形成输出视频比特流114，将编码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数全部发送到熵编码单元106，以进一步压缩和打包以形成比特流。
例如，去块滤波器在AVC、HEVC以及VVC的目前版本中可用。在HEVC中，被称为样点自适应偏移(SAO)的附加环路滤波器被定义为用于进一步提高编解码效率。被称为自适应环路滤波器(ALF)的另一环路滤波器正在被积极地研究。
这些环路滤波器操作是可选的。执行这些操作有助于提高编解码效率和视觉质量。它们也可根据由编码器100呈现的决策被关闭，以节省计算复杂度。
应注意，帧内预测通常基于未经滤波的重建像素点，而帧间预测基于经过滤波的重建像素点(在编码器100打开这些滤波器选项的情况下)。
图2是示出可与许多视频编解码标准结合使用的示例性的基于块的视频解码器200的框图。该解码器200类似于驻留在图1的编码器100中的重建相关部分。在解码器200中，首先通过熵解码202对输入的视频比特流201进行解码，以导出量化的系数等级和预测相关信息。然后通过反量化204和逆变换206对量化的系数等级进行处理，以获得重建的预测残差。在帧内/帧间模式选择器212中实现的块预测值机制被配置为基于经解码的预测信息来执行帧内预测208或运动补偿210。通过使用求和器214对来自逆变换206的重建预测残差和由块预测值机制产生的预测输出进行求和来获得一组未经滤波的重建像素点。
在将重建块存储在用作参考图片存储库的图片缓冲器213中之前，重建块可进一步通过环路滤波器209。图片缓冲器213中的重建视频可被发送以驱动显示设备以及用于预测后面的视频块。在打开环路滤波器209的情况下，对这些重建像素执行滤波操作以导出最终的重建视频输出222。
上文所提及的视频编码/解码标准(诸如VVC、JEM、HEVC、MPEG-4、Part 10)在概念上类似。例如，它们都使用基于块的处理。在联合视频专家组(JVET)会议中，JVET定义了通用视频编解码(VVC)的第一草案和VVC测试模型1(VTM1)编码方法。决定包括使用二元和三元拆分编码块结构的具有嵌套多类型树的四叉树作为VVC的初始新编解码特征。
VVC中的解码器侧运动矢量细化(DMVR)
解码器侧运动矢量细化(DMVR)是针对在双向预测合并模式下被编码的块的技术。在此模式下，可使用双向匹配(BM)预测来进一步细化块的两个运动矢量(MV)。
图3是示出解码器侧运动矢量细化(DMVR)的示例的示意图。如图3中所示，双向匹配方法被用于通过在当前图片320中的当前CU 322的两个相关联的参考图片(即，列表L0300中的refPic和列表L1 310中的refPic)中沿当前CU 322的运动轨迹搜索当前CU 322的两个参考块302、312之间的最接近匹配来细化当前CU 322的运动信息。图案化矩形块322、302和312指示基于来自合并模式的初始运动信息的当前CU及其两个参考块。图案化矩形块304、314指示基于在运动细化搜索过程(即运动矢量细化过程)中使用的MV候选的一对参考块。
MV候选(即MV0’和MV1’)与初始MV(也称为原始MV)(即MV0和MV1)之间的MV差分别为MVdiff和-MVdiff。MV候选和初始MV均为双向运动矢量。在DMVR期间，可检查初始MV周围的多个这样的MV候选。具体来说，对于每个给定MV候选，其两个相关联的参考块可分别位于其列表0和列表1中的参考图片中，并且它们之间的差可被计算。
块差也被称为代价值，并且通常以绝对差之和(SAD)或行子采样的SAD(即，利用每隔一行包括的块计算的SAD)被测量。在一些其它示例中，均值移除SAD或平方差之和(SSD)也可被用作代价值。在其两个参考块之间具有最低代价值或SAD的MV候选变为经细化的MV并且被用于产生双向预测信号作为针对当前CU的实际预测。
在VVC中，DMVR被应用于满足以下条件的CU：
·该CU利用具有双向预测MV的CU级合并模式(不是子块合并模式)被编码；
·相对于当前图片，该CU的一个参考图片在过去(即，具有小于当前图片POC的POC)并且另一参考图片在未来(即，具有大于当前图片POC的POC)；
·从两个参考图片到当前图片的POC距离(即，绝对POC差)相同；
·该CU的尺寸超过64个亮度样点，并且CU高度超过8个亮度样点。
通过DMVR过程导出的经细化的MV被用于产生帧间预测样点并且还被用于时间运动矢量预测以用于未来图片编解码。然而，原始MV被用于去块过程并且还被用于空间运动矢量预测以用于未来CU编解码。
DMVR中的搜索方案
如图3中所展示，MV候选(或搜索点)围绕初始MV，MV偏移遵守MV差镜像规则。换句话说，通过DMVR检查的由候选MV对(MV0,MV1)表示的任何点遵循以下两个等式：
MV0′＝MV0-MVdiff
MV1′＝MV1-MVdiff,
其中，MVdiff表示参考图片之一中的初始MV与经细化的MV之间的细化偏移。在当前VVC中，细化搜索范围是从初始MV起两个整数亮度样点。
图4示出了DMVR的搜索过程的示例。如图4所示，搜索过程包括整数样点偏移搜索阶段402和分数样点细化阶段404。
为了降低搜索复杂度，在整数样点偏移搜索阶段402中应用具有提前终止机制的快速搜索方法。代替25点完全搜索，应用2次迭代搜索方案来减少SAD检查点的数量。图5示出了用于整数样点偏移搜索阶段402的DMVR整数亮度样点搜索模式的示例。图5中的每个矩形框表示点(MV)。如图5所示，根据快速搜索方法，在第一次迭代中检查最多6个SAD(针对中心和P1至P5的SAD)。在第一次迭代中，初始MV是中心。首先，比较五个点(中心和P1至P4)的SAD。如果中心(即中心位置)的SAD最小，则终止DMVR的整数样点偏移搜索阶段402。否则，检查另一个位置P5(P5基于P1至P4的SAD分布被确定)。然后，选择具有最小SAD的位置(在P1至P5中)作为第二次迭代搜索的中心位置。第二次迭代搜索的过程与第一次迭代搜索的过程相同。可在第二次迭代中重新使用在第一次迭代中计算的SAD，因此在第二次迭代中可能仅需要计算3个额外点的SAD。应注意，当第一次迭代中的中心点的SAD小于用于计算SAD的样点数量(其等于w×h/2，其中w和h分别表示DMVR操作单元的宽度和高度)时，提前终止整个DMVR过程而无需进一步搜索。
整数样点搜索402之后是分数样点细化404。为了降低计算复杂度，使用参数误差曲面方程来导出分数样点细化404，而不是利用SAD比较的额外搜索。基于整数样点搜索阶段的输出有条件地调用分数样点细化404。当在第一次迭代或第二次迭代搜索中以具有最小SAD的中心终止整数样点搜索阶段402时，进一步应用分数样点细化。
在基于参数误差曲面的分数样点细化中，中心位置及其四个相邻位置的SAD代价(或代价值)被用于拟合以下形式的2维抛物线误差曲面方程：
E(x，y)＝A(x-xmin)2+B(y-ymin)2+C，
其中(xmin，ymin)对应于具有最小SAD代价的分数位置，并且C对应于最小代价值。通过使用五个搜索点的SAD代价值求解上述等式，可通过以下导出(xmin，ymin)：
xmin＝(E(-1，0)-E(1，0))/(2(E(-1，0)+E(1，0)-2E(0，0))) (1)
ymin＝(E(0，-1)-E(0，1))/(2((E(0，-1)+E(0，1)-2E(0，0))) (2)
xmin和ymin的值进一步被约束在-8与8之间，其对应于具有1/16像素MV精度的距中心点的半像素偏移。将所计算的分数偏移(xmin，ymin)与整数距离MV细化相加来获得子像素精度MV细化。
用于DMVR的双线性插值和样点填充
在VVC中，MV的分辨率是1/16亮度样点。使用8抽头插值滤波器来插值分数位置处的样点。在DMVR搜索中，当候选MV指向子像素位置时，需要插值那些相关的分数位置样点。为了降低计算复杂度，在DMVR中的搜索过程中使用双线性插值滤波器来产生分数样点。
使用双线性滤波器进行插值的另一效果是，在2样点搜索范围的情况下，DVMR搜索过程与普通运动补偿过程相比不需访问更多的参考样点。在通过DMVR搜索过程获得经细化的MV之后，应用普通8抽头插值滤波器来产生最终预测。再次，在该8抽头插值过程中，使用样点填充来避免访问比普通运动补偿过程更多的参考样点。更具体地，在基于细化MV的8抽头插值过程中，超出基于原始MV的运动补偿所需的那些样点的样点将从其相邻可用样点中被填充。
最大DMVR处理单元
当CU的宽度和/或高度大于16个亮度样点时，基于最大宽度和/或高度等于16个样点的DMVR处理单元来执行针对CU的DMVR操作。换句话说，在此情况下，将原始CU分割为宽度和/或高度等于16个亮度样点的子块以用于DMVR操作。用于DMVR搜索过程的最大处理单元尺寸被限制为16×16。
在当前的VVC设计中，没有控制标志来控制DMVR的启用。然而，不能保证经DMVR细化的MV总是比细化之前的MV更好。在一些情况下，DMVR细化过程可能产生比原始MV更差的经细化的MV。根据本公开的一些示例，提出了用于减少由DMVR MV细化的这种不确定性导致的损失的若干方法。
DMVR和BDOF的提前终止
在当前VVC规范中，应用基于SAD的提前终止方法以通过基于L0预测样点与L1预测样点之间的SAD值部分地绕过某些DMVR/BDOF过程来降低DMVR和BDOF的计算复杂度。
首先，当启用DMVR和BDOF两者时，对于每个子块(例如，16×16子块)，在中心搜索位置处计算的SAD值(即，偏移(0,0))被用于提前终止子块的整个BDOF过程。具体来说，如果子块的SAD大于或等于一个预定义阈值，则在完成子块的DMVR之后将BDOF应用于子块；否则(即，SAD小于阈值)，子块的BDOF将被完全跳过。在一个示例中，用于确定一个子块的BDOF是否可应用的阈值(即，threshold)被计算为：
threshold＝((subWidth>>2)×(subHeight>>2)×bdofBlkDiffThres)>>5
bdofBlkDiffThres＝1<<(bitdepth-3+shift)，并且shift＝max(2,14-bitdepth)
其中，bitdepth是用于编解码视频信号的内部比特深度；subWidth和subHeight是子块的宽度和高度。
类似地，在DMVR的运动细化期间，从中心搜索位置(即，偏移(0,0))计算的相同初始SAD值也被用于绕过以下DMVR运动细化过程。具体地，如果初始SAD值大于或等于另一预定义阈值，则绕过整个DMVR细化。在当前设计中，用于DMVR提前终止的阈值被设置为等于subWidth×subHeight。
通过调整代价值更新用于DMVR的代价值
提出了用于在DMVR过程期间有利于原始MV的若干示例性方法。注意，这些不同的方法可被独立地或联合地应用。
在本公开的一些示例中，术语“初始MV”和“原始MV”可互换使用。
在一些示例中，在DMVR过程期间，可调整或更新针对初始MV和MV候选中的每个MV候选的代价值以有利于初始MV。也就是说，在DMVR过程中计算搜索点的代价值(例如，SAD)之后，可调整代价值以增加初始MV具有更新的代价值中的最小代价值的概率，即有利于初始MV。
因此，在获得更新的代价值之后，初始MV在DMVR过程期间更有可能被选择为具有最低代价的MV。
这里，为了说明的目的，SAD值被用作示例性代价值。其他值(诸如行子采样SAD、均值移除SAD或平方差之和(SSD))也可被用作代价值。
在一些示例中，与其它MV候选的SAD值相比，由初始MV(或原始MV)参考的参考块之间的SAD值减小了通过预定义过程计算的第一值OffsetSAD。因此，由于初始MV的SAD值被减小，所以初始MV相对于其它候选MV有利。
在一个示例中，可将OffsetSAD的值确定为与初始MV相关联的SAD值的1/N，其中N是整数(例如4、8或16)。
在另一示例中，可将OffsetSAD的值确定为常数值M。
在又一示例中，可根据当前CU中的经编码的信息来确定OffsetSAD的值，经编码的信息包括以下中的至少一个或组合：编码块尺寸、运动矢量的大小、初始MV的SAD和DMVR处理单元的相对位置。例如，可将OffsetSAD的值确定为与初始MV相关联的SAD值的1/N，其中N为基于当前CU的块尺寸选择的整数值(例如4、8或16)。在当前块尺寸大于或等于预定义尺寸(例如，16×16)时，将N的值设置为8；否则，将N的值设置为4。例如，可将OffsetSAD的值确定为与初始MV相关联的SAD值的1/N，其中N是基于DMVR处理单元的中心位置与当前CU的中心位置之间的距离而选择的整数值(例如4、8或16)。当距离大于或等于预定阈值时，将N设置为一个值(例如8)；否则，将N设置为另一个值(例如4)。
在示例中，描述了将与初始MV相关联的SAD值减小特定值OffsetSAD。在实践中，可不同地实现该构思。例如，代替减小与初始MV相关联的SAD值，可在DMVR搜索过程期间将OffsetSAD的值与和其它MV候选相关联的那些SAD相加，并且这两种情况下的结果等效。
在一些其它示例中，由非初始MV候选参考的参考块之间的SAD值增大了通过预定义过程计算的第二值OffsetSAD’。第二值OffsetSAD’和第一值OffsetSAD可相同或不同。因此，由于非初始MV的SAD值增大，所以初始MV是有利的。
在一个示例中，可将OffsetSAD’的值确定为与非初始MV相关联的SAD值的1/N，其中N是整数(例如4、8或16)。
在另一示例中，可将OffsetSAD’的值确定为常数值M。
在又一示例中，可根据当前CU中的经编码的信息来确定OffsetSAD’的值，经编码的信息可包括编码块尺寸、运动矢量的大小、非初始MV的SAD值和/或当前CU内的DMVR处理单元的相对位置。例如，可将此值确定为来自使用非初始MV的BM的SAD值的1/N，其中N是基于块尺寸选择的整数(例如4、8或16)。在当前块尺寸大于或等于预定义尺寸(例如，16×16)时，将N的值设置为8；否则，将N的值设置为4。例如，可将OffsetSAD’的值确定为来自使用非初始MV的BM的SAD值的1/N，其中N是基于DMVR处理单元的中心位置与当前CU的中心位置之间的距离而选择的整数值(例如4、8或16)。当距离大于或等于预定阈值时，将N设置为一个值(例如8)；否则，将N设置为另一个值(例如4)。
在示例中，描述了将与非初始MV候选相关联的SAD值增大特定值OffsetSAD’。在实践中，可不同地实现该构思。例如，代替增大与非初始MV相关联的SAD值，可在DMVR搜索过程期间从与初始MV相关联的SAD中减去OffsetSAD’的值，并且结果是等效的。
在一些其它示例中，基于被用于与非初始MV相关联的SAD计算的样点的适当子集来计算与初始MV相关联的BM SAD。即，与确定MV候选的SAD值相比，使用更少的样点来确定初始MV的SAD值。这可类似于减小初始MV的SAD值。
根据本公开的一些示例，可将参数用信号发送到解码器以用于调整或更新针对初始MV和/或MV候选中的每个MV候选的代价值以有利于初始MV。可在比特流中在序列参数集、图片参数集、条带头、编码树单元(CTU)和/或编码单元(CU)中用信号发送参数的值。
在一些示例中，参数可以是用于调整上面示例中所描述的代价值中的至少一个的值，例如N或M。例如，在减小初始MV的SAD值的情况下，可通过将用信号发送的参数的值的倒数乘以初始MV的代价值来减小初始MV的SAD值(即，将OffsetSAD的值确定为与初始MV相关联的SAD值的1/N)。或者可将初始MV的SAD值减小参数的值(即，将OffsetSAD的值确定为常数值M)。可将码字集合设计用于用信号发送值N或M。基于码字集合从预定义集合的值中选择用信号发送的参数的值，码字中的每个码字对应于预定义集合中的值之一。在一个示例中，可将值集合预定义为{4，8，16}。可将二进制码字分配给预定义集合内的每个值。二进制码字的示例在下表1中示出。
表1指示用于用信号发送的参数值的码字的示例
参数的值 码字
4 0
8 10
16 11
在一些其它示例中，可在序列参数集、图片参数集、条带头、CTU和/或CU中将特殊值用信号发送到比特流中，从而指示初始MV具有更新的代价值零，这等效于禁用DMVR的情况。在一个示例中，在初始MV的代价值减小OffsetSAD并且OffsetSAD的值被确定为与初始MV相关联的SAD值的1/N(其中N为整数)的情况下，N＝1(即，用信号发送的参数的值为1)将使与原始MV相关联的SAD等于零。在此情况下，通过DMVR过程导出的经细化的MV始终是原始MV(即，在此情况下，原始MV是经细化的MV)，这等效于禁用DMVR。在一些示例中，可将特殊值一(1)包括在参数的值的预定义集合中，其可以是例如{1，4，8，16}。
根据以上示例，修改DMVR过程使得在整数样点偏移搜索阶段中初始MV相比于其它MV候选是有利的，从而减少由于经细化的MV比原始MV更差的可能情境而导致的损失。
如前所述，用于提前终止一个子块的BDOF过程的SAD阈值取决于视频信号的编码比特深度。然而，由于DMVR的运算比特深度被固定为10比特(即，独立于内部比特深度)的事实，用于DMVR运动细化的L0预测信号和L1预测信号之间的SAD总是10比特精度。换句话说，现有SAD阈值的值可能不与预测信号精度完全匹配以做出DMVR和BDOF的可靠的提前终止决定。因此，为了解决这样的问题，提出将BDOF提前终止的SAD阈值修改为独立于内部比特深度。
具体地，通过所提出的方法，用于BDOF提前终止的阈值被设置为等于N×subWidth×subHeight，其中subWidth和subHeight是一个子块的宽度和高度，并且N是表示L0预测信号和L1预测信号之间的每样点差的一个常数。在实践中，可应用常数N的不同值，这可提供BDOF的编解码效率与编码/解码复杂度之间的变化的权衡。在一个特定示例中，提出将N的值设置为等于2，即，threshold＝2×subWidth×subHeight。在另一示例中，提出将N的值设置为等于4，即，threshold＝4×subWidth×subHeight。另一方面，尽管初始DMVR SAD值被用于确定是否跳过DMVR和BDOF过程，但是应用两个不同阈值来作出对这两个工具的决策。在一个示例中，为了实现一个更统一的设计，提出将相同的SAD阈值用于DMVR的提前终止决策和BDOF的提前终止决策两者。具体来说，通过此方法，当DMVR的初始SAD大于或等于阈值时，针对当前子块将启用DMVR和BDOF两者；否则，即初始SAD小于阈值，将绕过DMVR和BDOF两者。
在当前DMVR设计中，在一个子块的初始MV与其它MV候选的SAD值进行比较之前，减小与初始MV相关联的SAD值。通过这样做，初始MV比其它MV候选具有更大的优先级来被选为一个子块的最终MV。详细地，初始MV的所得SAD值被计算为
SADinit＝SADorg–(SADorg)>>1)
其中SADorg是使用子块的初始MV导出的原始SAD。在当前设计中，SADinit将被用于确定是否应跳过当前子块的DMVR和BDOF过程。在本公开中，代替初始MV的经修改的SAD值(即，SADinit)，提出使用原始SAD值(即，SADorg)来提前终止DMVR和BDOF过程。在另一示例中，提出使用初始MV的原始SAD(即，SADorg)来提前终止一个子块的DMVR，而使用经修改的SAD(即，SADinit)来提前终止该子块的BDOF。在又一示例中，提出使用经修改的初始SAD(即，SADinit)来提前终止子块的DMVR，而使用原始的初始SAD(即，SADorg)来提前终止该子块的BDOF过程。
图6是示出根据本公开的一些实施方式的用于视频编解码的示例性装置的框图。装置600可以是终端，诸如移动电话、平板计算机、数字广播终端、平板设备或个人数字助理。
如图6所示，装置600可包括以下组件中的一个或更多个：处理组件602、存储器604、电源组件606、多媒体组件608、音频组件610、输入/输出(I/O)接口612、传感器组件614和通信组件616。
处理组件602通常控制装置600的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作有关的操作。处理组件602可包括用于执行指令以完成上述方法的全部或部分步骤的一个或多个处理器620。此外，处理组件602可包括用于促进处理组件602与其他组件之间的交互的一个或多个模块。例如，处理组件602可包括用于促进多媒体组件608与处理组件602之间的交互的多媒体模块。
存储器604被配置为存储不同类型的数据以支持装置600的操作。此类数据的示例包括用于在装置600上操作的任何应用或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器604可由任何类型的易失性或非易失性存储设备或其组合来实现，并且存储器604可以是静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘。
电源组件606为装置600的不同组件供电。电源组件606可包括电源管理系统、一个或更多个电源以及与为装置600生成、管理和分配电力相关联的其他组件。
多媒体组件608包括在装置600和用户之间提供输出接口的屏幕。在一些示例中，屏幕可包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，则屏幕可被实现为从用户接收输入信号的触摸屏。触摸面板可包括用于感测触摸面板上的触摸、滑动和手势的一个或更多个触摸传感器。触摸传感器不仅可感测触摸或滑动动作的边界，而且可检测与触摸或滑动操作相关的持续时间和压力。在一些示例中，多媒体组件608可包括前置相机和/或后置相机。当装置600处于诸如拍摄模式或视频模式的操作模式时，前置相机和/或后置相机可接收外部多媒体数据。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括麦克风(MIC)。当装置600处于操作模式(诸如呼叫模式、录音模式和语音识别模式)时，麦克风被配置为接收外部音频信号。接收的音频信号可进一步被存储在存储器604中或经由通信组件616被发送。在一些示例中，音频组件610还包括用于输出音频信号的扬声器。
I/O接口612提供处理组件602与外围接口模块之间的接口。上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可包括但不限于主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括用于在装置600的不同方面中提供状态评估的一个或更多个传感器。例如，传感器组件614可检测装置600的开/关状态和组件的相对位置。例如，组件是装置600的显示器和键盘。传感器组件614还可检测装置600或装置600的组件的位置变化、用户在装置600上接触的存在或离开、装置600的方向或加速度/减速度、以及装置600的温度变化。传感器组件614可包括被配置为在没有任何物理触摸的情况下检测附近物体的存在的接近传感器。传感器部件614还可包括光学传感器，诸如在成像应用中使用的CMOS或CCD图像传感器。在一些示例中，传感器组件614还可包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件616被配置为促进装置600与其它设备之间的有线或无线通信。装置600可基于诸如WiFi、4G或其组合的通信标准来接入无线网络。在示例中，通信组件616经由广播信道从外部广播管理系统接收广播信号或广播相关信息。在示例中，通信组件616还可包括用于促进短距离通信的近场通信(NFC)模块。例如，NFC模块可基于射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。
在示例中，装置600可由专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件中的一个或更多个来实现，以执行上述方法。
非暂态计算机可读存储介质可以是例如硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、混合驱动器或固态混合驱动器(SSHD)、只读存储器(ROM)、光盘只读存储器(CD-ROM)、磁带、软盘等。
图7是示出根据本公开的一些实施方式的视频编解码中的解码器侧运动矢量细化的示例性过程的流程图。
在步骤702，处理器620将视频图片分割为多个编码单元(CU)，其中多个CU中的每个CU包括多个子块。
在步骤704，处理器620导出针对多个子块中的每个子块的初始运动矢量(MV)。
在步骤706，处理器620导出用于双向光流(BDOF)和解码器侧运动矢量细化(DMVR)的多个运动矢量(MV)候选。
在步骤708，处理器620确定针对初始MV和MV候选中的每个MV候选的原始代价值。
在步骤710，处理器620确定针对初始MV的更新的代价值。
在步骤712，处理器620获得代价值的第一阈值和代价值的第二阈值。
在步骤714，处理器620基于第一阈值确定是否终止针对多个子块中的每个子块的双向光流(BDOF)。
在步骤716，处理器620基于第二阈值确定是否终止针对多个子块中的每个子块的解码器侧运动矢量细化(DMVR)。
参数可在以下之一或组合中被用信号发送：序列参数集、图片参数集、条带头、编码树单元(CTU)和/或编码单元(CU)。
用信号发送的参数的值可基于码字集合从预定义集合的值中被选择，码字中的每个码字对应于预定义集合中的值之一。
在一些示例中，提供一种用于视频编解码的装置。该装置包括一个或更多个处理器620；以及存储器604，被配置为存储可由一个或更多个处理器执行的指令；其中一个或更多个处理器在执行指令时被配置为执行如图7所示的方法。
在一些其他示例中，提供了一种非暂态计算机可读存储介质604，其具有存储在其中的指令。当指令由一个或更多个处理器620执行时，指令使处理器执行如图7所示的方法。
本公开的描述已经出于说明的目的被呈现，并且不旨在穷举或限于本公开。受益于在前面的描述和相关联的附图中呈现的教导，许多修改、变化和替代实施方式对于本领域普通技术人员将是显而易见的。
选择和描述示例是为了解释本公开的原理，并且使本领域的其它技术人员能够理解本公开的各种实施方式，并且最好地利用基本原理和具有适合于预期的特定用途的各种修改的各种实施方式。因此，将理解，本公开的范围不限于所公开的实施方式的具体示例，并且修改和其它实施方式旨在被包括在本公开的范围内。

Claims (33)

1.一种视频解码的方法，包括：
将视频图片分割为多个编码单元CU，其中所述多个CU中的每个CU包括多个子块；
导出针对所述多个子块中的每个子块的初始运动矢量MV；
导出用于双向光流BDOF和解码器侧运动矢量细化DMVR的多个运动矢量MV候选；
确定针对所述初始MV的原始代价值；
确定针对所述初始MV的更新的代价值；
获得针对所述多个子块中的每个子块的第一阈值和第二阈值；
基于所述第一阈值确定是否终止针对所述多个子块中的每个子块的双向光流BDOF；以及
基于所述第二阈值确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR。
2.根据权利要求1所述的方法，还包括：基于所述多个子块中的每个子块的高度和宽度获得所述第一阈值。
3.根据权利要求1所述的方法，还包括：基于公式N×W×H获得所述第一阈值，其中W为所述多个子块中的每个子块的宽度，H为所述多个子块中的每个子块的高度，并且N为任意正数。
4.根据权利要求1所述的方法，还包括：基于公式M×W×H获得所述第二阈值，其中W为所述多个子块中的每个子块的宽度，H为所述多个子块中的每个子块的高度，并且M为任意正数。
5.根据权利要求1所述的方法，其中所述第一阈值等于所述第二阈值。
6.根据权利要求5所述的方法，还包括：
当针对所述初始MV的所述原始代价值或所述更新的代价值大于或等于所述第一阈值和所述第二阈值时，启用所述DMVR和所述BDOF两者。
7.根据权利要求5所述的方法，还包括：
当针对所述初始MV的所述原始代价值或所述更新的代价值小于所述第一阈值和所述第二阈值时，绕过所述DMVR和所述BDOF两者。
8.根据权利要求1所述的方法，还包括：
基于所述第一阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR；以及
基于所述第二阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的双向光流BDOF。
9.根据权利要求1所述的方法，还包括：
基于所述第一阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR；以及
基于所述第二阈值和针对所述初始MV的所述更新的代价值确定是否终止针对所述多个子块中的每个子块的双向光流BDOF。
10.根据权利要求1所述的方法，还包括：
基于所述第一阈值和针对所述初始MV的所述更新的代价值来确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR；以及
基于所述第二阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的双向光流BDOF。
11.根据权利要求1所述的方法，其中，所述原始代价值和所述更新的代价值包括绝对差之和SAD。
12.一种用于视频解码的装置，包括：
一个或更多个处理器；以及
存储器，被配置为存储能够由所述一个或更多个处理器执行的指令；
其中所述一个或更多个处理器在执行所述指令时被配置为：
将视频图片分割成多个编码单元CU，其中所述多个CU中的每个CU包括多个子块；
导出针对所述多个子块中的每个子块的初始运动矢量MV；
导出用于双向光流BDOF和解码器侧运动矢量细化DMVR的多个运动矢量MV候选；
确定针对所述初始MV的原始代价值；
确定针对所述初始MV的更新的代价值；
获得针对所述多个子块中的每个子块的第一阈值和第二阈值；
基于所述第一阈值确定是否终止针对所述多个子块中的每个子块的双向光流BDOF；以及
基于所述第二阈值确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR。
13.根据权利要求12所述的装置，其中所述一个或更多个处理器被配置为基于所述多个子块中的每个子块的高度和宽度获得所述第一阈值。
14.根据权利要求12所述的装置，其中所述一个或更多个处理器被配置为基于公式N×W×H获得所述第一阈值，其中W为所述多个子块中的每个子块的宽度，H为所述多个子块中的每个子块的高度，且N为任意正数。
15.根据权利要求12所述的装置，其中所述一个或更多个处理器被配置为基于公式M×W×H获得所述第二阈值，其中W为所述多个子块中的每个子块的宽度，H为所述多个子块中的每个子块的高度，且M为任意正数。
16.根据权利要求12所述的装置，其中，所述第一阈值等于所述第二阈值。
17.根据权利要求16所述的装置，其中所述一个或更多个处理器被配置为：当针对所述初始MV的所述原始代价值或所述更新的代价值大于或等于所述第一阈值和所述第二阈值时，启用所述DMVR和所述BDOF两者。
18.根据权利要求16所述的装置，其中所述一个或更多个处理器被配置为：当用于所述DMVR的所述初始代价值或所述更新的代价值小于所述第一阈值和所述第二阈值时，绕过所述DMVR和所述BDOF两者。
19.根据权利要求12所述的装置，其中所述一个或更多个处理器被配置为：
基于所述第一阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR；以及
基于所述第二阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的双向光流BDOF。
20.根据权利要求12所述的装置，其中所述一个或更多个处理器被配置为：
基于所述第一阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR；以及
基于所述第二阈值和针对所述初始MV的所述更新的代价值来确定是否终止针对所述多个子块中的每个子块的双向光流BDOF。
21.根据权利要求12所述的装置，其中所述一个或更多个处理器被配置为：
基于所述第一阈值和针对所述初始MV的所述更新的代价值来确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR；以及
基于所述第二阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的双向光流BDOF。
22.根据权利要求12所述的装置，其中，所述原始代价值和所述更新的代价值包括绝对差之和SAD。
23.一种非暂态计算机可读存储介质，包括存储在其中的指令，其中，在由一个或更多个处理器执行所述指令时，所述指令使所述一个或更多个处理器执行动作，所述动作包括：
将视频图片分割成多个编码单元CU，其中所述多个CU中的每个CU包括多个子块；
导出针对所述多个子块中的每个子块的初始运动矢量MV；
导出用于双向光流BDOF和解码器侧运动矢量细化DMVR的多个运动矢量MV候选；
确定针对所述初始MV的原始代价值；
确定针对所述初始MV的更新的代价值；
获得针对所述多个子块中的每个子块的第一阈值和第二阈值；
基于所述第一阈值确定是否终止针对所述多个子块中的每个子块的双向光流BDOF；以及
基于所述第二阈值确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR。
24.根据权利要求23所述的非暂态计算机可读存储介质，其中所述指令使所述一个或更多个处理器进一步执行：
基于所述多个子块中的每个子块的高度和宽度获得所述第一阈值。
25.根据权利要求23所述的非暂态计算机可读存储介质，其中所述指令使所述一个或更多个处理器进一步执行：
基于公式N×W×H获得所述第一阈值，其中W为所述多个子块中的每个子块的宽度，H为所述多个子块中的每个子块的高度，并且N为任意正数。
26.根据权利要求23所述的非暂态计算机可读存储介质，其中所述指令使所述一个或更多个处理器进一步执行：
基于公式M×W×H获得所述第二阈值，其中W为所述多个子块中的每个子块的宽度，H为所述多个子块中的每个子块的高度，并且M为任意正数。
27.根据权利要求23所述的非暂态计算机可读存储介质，其中所述第一阈值等于所述第二阈值。
28.根据权利要求27所述的非暂态计算机可读存储介质，其中所述指令使所述一个或更多个处理器进一步执行：
当针对所述初始MV的所述原始代价值或所述更新的代价值大于或等于所述第一阈值和所述第二阈值时，启用所述DMVR和所述BDOF两者。
29.根据权利要求27所述的非暂态计算机可读存储介质，其中所述指令使所述一个或更多个处理器进一步执行：
当针对所述初始MV的所述原始代价值或所述更新的代价值小于所述第一阈值和所述第二阈值时，绕过所述DMVR和所述BDOF两者。
30.根据权利要求23所述的非暂态计算机可读存储介质，其中所述指令使所述一个或更多个处理器进一步执行：
基于所述第一阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR；以及
基于所述第二阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的双向光流BDOF。
31.根据权利要求23所述的非暂态计算机可读存储介质，其中所述指令使所述一个或更多个处理器进一步执行：
基于所述第一阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR；以及
基于所述第二阈值和针对所述初始MV的所述更新的代价值确定是否终止针对所述多个子块中的每个子块的双向光流BDOF。
32.根据权利要求23所述的非暂态计算机可读存储介质，其中所述指令使所述一个或更多个处理器进一步执行：
基于所述第一阈值和针对所述初始MV的所述更新的代价值来确定是否终止针对所述多个子块中的每个子块的解码器侧运动矢量细化DMVR；以及
基于所述第二阈值和针对所述初始MV的所述原始代价值来确定是否终止针对所述多个子块中的每个子块的双向光流BDOF。
33.根据权利要求19所述的非暂态计算机可读存储介质，其中所述原始代价值和所述更新的代价值包括绝对差之和SAD。
CN202080048624.4A 2019-07-27 2020-07-27 用于视频编解码中的解码器侧运动矢量细化的方法和装置 Pending CN114051732A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962879459P 2019-07-27 2019-07-27
US62/879,459 2019-07-27
PCT/US2020/043681 WO2021021698A1 (en) 2019-07-27 2020-07-27 Methods and apparatuses for decoder-side motion vector refinement in video coding

Publications (1)

Publication Number Publication Date
CN114051732A true CN114051732A (zh) 2022-02-15

Family

ID=74228774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080048624.4A Pending CN114051732A (zh) 2019-07-27 2020-07-27 用于视频编解码中的解码器侧运动矢量细化的方法和装置

Country Status (2)

Country Link
CN (1) CN114051732A (zh)
WO (1) WO2021021698A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019072373A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. UPDATING MODELS FOR REFINING MOTION VECTORS
US20190132606A1 (en) * 2017-11-02 2019-05-02 Mediatek Inc. Method and apparatus for video coding

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019072373A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. UPDATING MODELS FOR REFINING MOTION VECTORS
US20190132606A1 (en) * 2017-11-02 2019-05-02 Mediatek Inc. Method and apparatus for video coding

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHING-YEH CHEN等: "CE9-related: Simplification of cascading DMVR and BDOF processes", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENEVA, CH, 19–27 MARCH 2019》 *
KENJI KONDO等: "CE9-related: Early termination of BDOF with DMVR cost", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENEVA, CH, 19–27 MARCH 2019》 *
TAKESHI CHUJOH等: "CE9-related: Early termination for BDOF" *
TAKESHI CHUJOH等: "CE9-related: Early termination for BDOF", 《JOINT VIDEO EXPERTS TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 1114TH MEETING: GENEVA, CH, 19–27 MARCH 2019》 *
YI-WEN CHEN等: "Non-CE9: Improvement of DMVR" *

Also Published As

Publication number Publication date
WO2021021698A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
CN117221532B (zh) 用于视频解码的方法、装置和存储介质
CN113824959B (zh) 用于视频编码的方法、装置和存储介质
US20240146952A1 (en) Methods and apparatuses for decoder-side motion vector refinement in video coding
CN113545050A (zh) 利用三角形预测的视频编解码
CN114128263A (zh) 用于视频编解码中的自适应运动矢量分辨率的方法和设备
CN117221548B (zh) 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN114051732A (zh) 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN114080808A (zh) 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN114402618A (zh) 用于视频编解码中的解码器端运动矢量细化的方法和装置
CN114080807A (zh) 利用三角分区进行视频编解码的方法和装置
CN113994672A (zh) 用于利用三角形预测进行视频编解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination