CN115209159A - 用于视频编码的方法、设备和介质 - Google Patents

用于视频编码的方法、设备和介质 Download PDF

Info

Publication number
CN115209159A
CN115209159A CN202210827077.0A CN202210827077A CN115209159A CN 115209159 A CN115209159 A CN 115209159A CN 202210827077 A CN202210827077 A CN 202210827077A CN 115209159 A CN115209159 A CN 115209159A
Authority
CN
China
Prior art keywords
current block
dmvr
prediction
list
determining whether
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210827077.0A
Other languages
English (en)
Other versions
CN115209159B (zh
Inventor
陈漪纹
修晓宇
王祥林
马宗全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202210827077.0A priority Critical patent/CN115209159B/zh
Publication of CN115209159A publication Critical patent/CN115209159A/zh
Application granted granted Critical
Publication of CN115209159B publication Critical patent/CN115209159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种用于视频编码的方法、计算设备、非暂态计算机可读存储介质和计算机程序产品。该方法包括：响应于当前块满足多个预定义条件，确定是否为当前块启用加权预测，以及确定在对用于当前块的列表0预测样点和列表1预测样点进行平均时是否使用不同权重；以及基于这两个确定来确定是否禁用对当前块的解码器侧运动矢量细化(DMVR)应用，其中，多个预定义条件包括：当前块将不以仿射模式被编码；以及当前块将不以子块合并模式被编码。

Description

用于视频编码的方法、设备和介质
本申请是中国专利申请第202080013232.4号的分案申请，该中国专利申请为2020年2月8日提交的国际专利申请PCT/US2020/017382的中国国家阶段申请，该国际专利申请要求2019年2月8日提交的美国专利申请第62/803,417号的优先权。
技术领域
本公开总体上涉及视频编解码和压缩。更具体地，本公开涉及这样的系统和方法，这些系统和方法用于通过对帧间模式编解码块选择性地应用双向光流和解码器侧运动矢量细化来执行视频编解码。
背景技术
本节提供与本公开相关的背景技术信息。本节内包含的信息不一定被解释为现有技术。
各种视频编解码技术中的任一种可以用来压缩视频数据。视频编解码可以根据一个或多个视频编解码标准来执行。一些说明性的视频编解码标准包括通用视频编解码(VVC)、联合探索测试模型(JEM)编解码、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)、以及运动图片专家组(MPEG)编解码。
视频编解码通常使用预测方法(例如，帧间预测、帧内预测等)，这些预测方法利用视频图像或序列中固有的冗余。视频编解码技术的一个目标是，将视频数据压缩成使用较低比特率的形式，同时避免或最小化视频质量降级。
在视频编解码中所使用的预测方法通常包括执行空间(帧内)预测和/或时间(帧间)预测以减少或去除视频数据中固有的冗余，并且这些预测方法通常与基于块的视频编解码相关联。
在基于块的视频编解码中，输入视频信号被逐块处理。针对每个块(也被称为编解码单元(CU))，可以执行空间预测和/或时间预测。
空间预测(也被称为“帧内预测”)使用来自同一视频图片/条带中的已经编解码的相邻块的样点(其被称为参考样点)的像素来预测当前块。空间预测减少了视频信号中固有的空间冗余。
在解码过程期间，首先在熵解码单元处对视频比特流进行熵解码。将编解码模式和预测信息发送到空间预测单元(在帧内编解码时)或时间预测单元(在帧间编解码时)以形成预测块。将残差变换系数发送到逆量化单元和逆变换单元以重建残差块。然后，将预测块和残差块相加。重建块在其被存储在参考图片存储装置中之前可以进一步经过环路滤波。然后，将参考图片存储装置中的重建视频发送出去以驱动显示设备，并用于预测未来的视频块。
在诸如现在当前的VVC设计等较新的视频编解码标准中，已经引入了新的帧间模式编解码工具，诸如双向光流(BDOF)和解码器侧运动矢量细化(DMVR)。这种新的帧间模式编解码工具通常有助于提高运动补偿预测的效率，并因此改进编解码增益。然而，这种改进可能伴随着复杂度和延迟增加的代价。
为了在同新的帧间模式工具相关联的改进与代价之间实现适当的平衡，现在当前的VVC设计已经对何时在帧间模式编解码块上启用新的帧间模式编解码工具(诸如DMVR和BDOF)加以约束。
然而，现在当前的VVC设计中存在的约束并不一定能在改进与代价之间实现最佳平衡。一方面，现在当前的VVC设计中存在的约束允许DMVR和BDOF两者应用于同一帧间模式编解码块，这会增加延迟，因为这两种工具的操作之间存在依赖性。另一方面，现在当前的VVC设计中存在的约束可能在某些情况下对DMVR过于宽松，导致不必要地增加了复杂度和延迟，而在某些情况下对BDOF不够宽松，导致错过了更多编解码增益的机会。
发明内容
本节提供本公开的一般性概述，而并非对其全部范围或所有特征的全面公开。
根据本公开的第一方面，一种视频编解码方法在计算设备处被执行，该计算设备具有一个或多个处理器以及存储器，存储器存储有要由该一个或多个处理器执行的多个程序。该方法包括：使用基于当前块的模式信息的预定义准则，将基于多个预定义条件而有资格进行DMVR应用和BDOF应用两者的当前块分类为两个预定义类之一，即DMVR类和BDOF类之一。该方法进一步包括：使用当前块的分类对当前块应用DMVR或BDOF，而不是两者。
根据本公开的第二方面，一种视频编解码方法在计算设备处被执行，该计算设备具有一个或多个处理器以及存储器，存储器存储有要由该一个或多个处理器执行的多个程序。该方法包括：确定是否为基于多个预定义条件有资格进行DMVR编解码的当前块启用加权预测。该方法进一步包括：确定在对用于当前块的列表0预测值样点和列表1预测值样点进行平均时是否使用不同权重。该方法进一步包括：基于这两个确定来确定是否禁用对当前块的DMVR应用。
根据本公开的第三方面，一种视频编解码方法在计算设备处被执行，该计算设备具有一个或多个处理器以及存储器，存储器存储有要由该一个或多个处理器执行的多个程序。该方法包括：在当前块以子块合并模式被编解码时，启用对当前块的BDOF应用。
根据本申请的第四方面，一种计算设备包括一个或多个处理器、存储器以及存储在该存储器中的多个程序。这些程序在由该一个或多个处理器执行时，使该计算设备执行如上文在本申请的前三个方面中描述的操作。
根据本申请的第五方面，一种非暂态计算机可读存储介质存储多个程序，该多个程序用于由具有一个或多个处理器的计算设备执行。这些程序在由该一个或多个处理器执行时，使该计算设备执行如上文在本申请的前三个方面中描述的操作。
附图说明
在下文中，将结合附图描述本公开的多组说明性的非限制性实施例。相关领域的普通技术人员可以基于本文呈现的示例来实施结构、方法或功能的变型，并且这样的变型都包含在本公开的范围内。在不存在冲突的情况下，不同实施例的教导可以但不是必需相互组合。
图1是阐述可以与许多视频编解码标准结合使用的说明性的基于块的混合视频编码器的框图。
图2是阐述可以与许多视频编解码标准结合使用的说明性视频解码器的框图。
图3是可以与许多视频编解码标准结合使用的多类型树结构中的块分割的图示。
图4是双向光流(BDOF)过程的图示。
图5是在解码器侧运动矢量细化(DMVR)中使用的双侧匹配的图示。
图6是图示了本公开的第一方面的操作的流程图。
图7是图示了本公开的第二方面的操作的流程图。
图8是图示了本公开的第三方面的操作的流程图。
具体实施方式
本公开中使用的术语旨在说明特定的示例，而不是限制本公开。本公开内容和所附权利要求中所使用的单数形式“一个”、“一种”和“该”也指代复数形式，除非上下文中明确包含其他含义。应该理解的是，如本文所使用的术语“和/或”是指一个或多个相关联列举项目的任何或所有可能组合。
应该理解的是，尽管本文可以使用术语“第一”、“第二”、“第三”等来描述各种信息，但是这些信息不应受这些术语的限制。这些术语仅仅是用来将一类信息与另一类信息进行区分。例如，在不脱离本公开的范围的情况下，第一信息也可以被称为第二信息；并且类似地，第二信息也可以被称为第一信息。如本文所使用的，取决于上下文，术语“如果”可以被理解为意指“当……时”或“一经……”或“响应于……”。
贯穿本说明书，以单数或复数形式对“一个实施例”、“一种实施例”、“另一个实施例”等的提及意味着结合实施例描述的一个或多个特定特征、结构、或特性被包括在本公开的至少一个实施例中。因此，贯穿本说明书在各个地方以单数或复数形式出现的短语“在一个实施例中”或“在一种实施例中”、“在另一实施例中”等不一定都是指同一个实施例。此外，可以以任何合适的方式将一个或多个实施例中的特定的特征、结构、或特性进行组合。
在概念上，许多视频编解码标准是类似的，包括先前在背景技术章节中所提及的那些视频编解码标准。例如，几乎所有的视频编解码标准都使用基于块的处理，并且共享类似的视频编解码框图来实现视频压缩。
图1示出了可以与许多视频编解码标准结合使用的说明性的基于块的混合视频编码器100的框图。在编码器100中，视频帧被分割成多个视频块以进行处理。针对每个给定的视频块，基于帧间预测方法或帧内预测方法来形成预测。在帧间预测中，基于来自先前重建的帧的像素，通过运动估计和运动补偿来形成一个或多个预测值。在帧内预测中，基于当前帧中的重建像素来形成多个预测值。通过模式决策，可以选择最佳预测值来预测当前块。
将表示当前视频块与其预测值之间的差的预测残差发送至变换电路系统102。然后，将变换系数从变换电路系统102发送至量化电路系统104，以进行熵减小。然后，将量化系数馈送至熵编解码电路系统106，以生成压缩视频比特流。如图1所示，来自帧间预测电路和/或帧内预测电路系统112的预测相关信息110(诸如视频块分割信息、运动矢量、参考图片索引和帧内预测模式)也通过熵编解码电路系统106被馈送并且被保存到压缩的视频比特流114中。
在编码器100中，还需要解码器相关电路系统以便重建用于预测目的的像素。首先，通过逆量化电路系统116和逆变换电路系统118来重建预测残差。将该重建预测残差与块预测值120组合，以生成针对当前视频块的未经滤波的重建像素。
时间预测(也被称为“帧间预测”或“运动补偿预测”)使用来自已经编解码的视频图片的重建像素来预测当前视频块。时间预测减少了在视频信号中固有的时间冗余。针对给定CU的时间预测信号通常由一个或多个运动矢量(MV)用信号发送，该一个或多个MV指示当前CU与其时间参考之间的运动量和运动方向。此外，如果支持多个参考图片，则另外发送一个参考图片索引，该参考图片索引用于标识时间预测信号来自参考图片存储装置中的哪个参考图片。
在执行空间预测和/或时间预测之后，编码器100中的帧内/帧间模式决策电路系统121例如基于率失真优化方法来选择最佳预测模式。然后，从当前视频块减去块预测值120；并且使用变换电路系统102和量化电路系统104对所产生的预测残差进行去相关。通过逆量化电路系统116对所产生的量化残差系数进行逆量化，并通过逆变换电路系统118进行逆变换，以形成重建残差，然后将该重建残差加回到预测块以形成CU的重建信号。在重建的CU被放置于图片缓冲器117的参考图片存储装置中并被用于对未来的视频块进行编解码之前，可以对该重建CU应用进一步的环路滤波115，诸如去块滤波器、样点自适应偏移(SAO)和/或自适应环路滤波器(ALF)。为了形成输出视频比特流114，将编解码模式(帧间或帧内)、预测模式信息、运动信息、以及量化残差系数都发送至熵编解码单元106，以进行进一步压缩和打包来形成比特流。
例如，去块滤波器在VVC的现在当前的版本以及AVC、HEVC中是可用的。在HEVC中，定义了称为SAO(样点自适应偏移)的附加环路滤波器以进一步改进编码效率。在VVC标准的现在当前的版本中，正在积极研究称为ALF(自适应环路滤波器)的又另一种环路滤波器，并且其很有可能包括在最终标准中。
这些环路滤波器操作是可选的。执行这些操作有助于改进编解码效率和视觉质量。这些操作也可以按照编码器100做出的决策而被关闭，以节省计算复杂度。
应该注意的是，如果这些滤波器选项被编码器100开启，则帧内预测通常基于未滤波的重建像素，而帧间预测基于经滤波的重建像素。
图2是阐述可以与许多视频编解码标准结合使用的说明性视频解码器200的框图。该解码器200与位于图1的编码器100中的重建相关部分类似。在解码器200(图2)中，首先通过熵解码202对传入的视频比特流201进行解码，以得到量化系数等级和预测相关信息。然后，通过逆量化204和逆变换206来处理量化系数等级，以获得重建预测残差。在帧内/帧间模式选择器212中实施的块预测值机制被配置为基于解码的预测信息来执行帧内预测208或运动补偿210。通过使用加法器214对来自逆变换206的重建预测残差与由块预测值机制生成的预测输出进行求和，来获得一组未滤波的重建像素。
重建块在其被存储在用作参考图片存储装置的图片缓冲器213中之前可以进一步经过环路滤波器209。然后，可以将图片缓冲器213中的重建视频发送出去以驱动显示设备，并用于预测未来的视频块。在环路滤波器209被开启的情况下，对这些重建像素执行滤波操作以得到最终的重建视频输出222。
在诸如HEVC等视频编解码标准中，可以基于四叉树对块进行分割。在诸如现在当前的VVC等较新的视频编解码标准中，采用更多的分割方法，并且一个编解码树单元(CTU)可以基于四叉树、二叉树或三叉树被划分为多个CU以适应不同的局部特性。在现在当前的VVC中的大多数编解码模式中，CU、预测单元(PU)和变换单元(TU)的分离并不存在，并且每个CU一直用作针对预测和变换两者的基本单元，而没有进一步的分割。然而，在诸如帧内子分割编解码模式等一些特定编解码模式中，每个CU可能仍然包含多个TU。在多类型树结构中，一个CTU首先通过四叉树结构被分割。然后，每个四叉树叶节点可以通过二叉树结构和三叉树结构进一步被分割。
图3示出了在现在当前的VVC中采用的五种划分类型，即四元分割301、水平二元分割302、垂直二元分割303、水平三元分割304和垂直三元分割305。在利用多类型树结构的情况下，一个CTU首先通过四叉树结构被分割。然后，每个四叉树叶节点可以通过二叉树结构和三叉树结构进一步被分割。
使用图3的示例性块分割301、302、303、304或305中的一个或多个，可以使用图1中所示的配置来执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/条带中的已经编解码的相邻块的样点(其被称为参考样点)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。
在诸如现在当前的VVC等较新的视频编解码标准中，已经引入了新的帧间模式编解码工具，并且这些新帧间模式编解码工具的两个示例为：双向光流(BDOF)和解码器侧运动矢量细化(DMVR)。
视频编解码中的常规双向预测是对从已经重建的参考图片获得的两个时间预测块的简单组合。然而，由于基于块的运动补偿的限制，可能仍有可以在两个预测块的样点之间观察到的剩余的小运动，因此减小了运动补偿预测的效率。为了解决该问题，在现在当前的VVC设计中应用BDOF以降低针对一个块内部每个样点的这种运动的影响。
图4是BDOF过程的图示。当使用双向预测时，BDOF是在基于块的运动补偿预测之上执行的在样点方面的运动细化。每个4×4子块401的运动细化通过以下来计算：在该子块周围的一个6×6窗口内部应用BDOF之后，使参考图片列表0(L0)和参考图片列表1(L1)预测样点402和403之间的差最小化。基于如此得出的运动细化，通过基于光流模型沿运动轨迹对L0/L1预测样点进行内插来计算CU的最终双向预测样点。
DMVR是用于具有两个初始用信号发送的MV的合并块的双向预测技术，这两个MV可以通过使用双侧匹配预测进一步被细化。
图5是在DMVR中使用的双侧匹配的图示。双侧匹配用于通过以下方式来得到当前CU 501的运动信息：在两个不同的参考图片505和506中，沿当前CU 501的运动轨迹502找到两个块503和504之间的最接近匹配。在匹配过程中使用的代价函数是行-子采样的绝对差和(SAD)。在匹配过程完成之后，细化的MV 507和508被用于预测阶段中的运动补偿、去块滤波器中的边界强度计算、针对后续图片的时间运动矢量预测、以及针对后续CU的跨CTU空间运动矢量预测。在连续运动轨迹的假设下，指向两个参考块503和504的运动矢量MV0 507和MV1 508应与当前图片511与两个参考图片505和506之间的时间距离(即，TD0 509和TD1510)成比例。作为特殊情况，在当前图片511在时间上处于两个参考图片505和506之间并且从当前图片511到两个参考图片505和506的时间距离相同时，双侧匹配变为基于镜像的双向MV。
为了在一方面较新的帧间模式编解码工具(如BDOF和DMVR)可能带来的增大的编解码效率，与另一方面同较新的帧间模式工具相关联的增大的复杂度和延迟之间取得适当的平衡，现在当前的VVC设计已经对何时可以为当前块启用BDOF或DMVR施加了约束。
在现在当前的VVC设计中，只有当紧接在本段之后的框中所列的所有以下预定义的BDOF条件都成立时，才启用BDOF：
Figure BDA0003744389520000081
在现在当前的VVC设计中，只有当紧接在本段之后的框中所列的所有以下预定义的DMVR条件都成立时，才启用DMVR：
Figure BDA0003744389520000082
现在当前的VVC设计中存在的上述约束虽然在实现一方面的编解码效率与另一方面的复杂度和延迟之间的期望平衡方面有很大的进展，但并没有完全解决问题。
现在当前的VVC设计的一个遗留问题是，尽管已经对BDOF和DMVR的启用施加了若干约束，但是在一些情况下，这两个解码器侧帧间预测细化工具BDOF和DMVR可能会在对块进行编解码时两者都被启用。在现在当前的VVC设计中，当这两种解码器侧帧间预测细化工具被启用时，BDOF依赖于DMVR的最终运动补偿样点，这产生了针对硬件设计的延迟问题。
现在当前的VVC设计的第二个遗留问题是，尽管已经对DMVR的启用施加了若干约束，但这些约束作为整体对DMVR的启用仍过于宽松，因为在一些场景下，禁用DMVR以及随后在复杂度和延迟上的减少会在一方面的编解码效率与另一方面的复杂度和延迟之间取得更好的平衡，但现在当前的VVC设计将在这些场景下启用DMVR。
现在当前的VVC设计的第三个遗留问题是，已经对BDOF的启用施加的约束作为整体对BDOF的启用不够宽松，因为在一些场景中，启用BDOF以及随后在编解码增益上的增加会在一方面的编解码效率与另一方面的复杂度和延迟之间取得更好的平衡，但现在当前的VVC设计在这些场景下将不启用BDOF。
根据本公开的第一方面，在当前块基于多个预定义条件有资格进行DMVR应用和BDOF应用两者时，将使用基于当前块的模式信息的预定义准则来将当前块分类为两个预定义类之一，即DMVR类和BDOF类之一。随后，将使用当前块的分类对当前块应用DMVR或BDOF，而不是两者。该方法可以在上述预定义条件之上与当前VVC相结合，或者可以独立实施。
图6是图示了本公开的第一方面的操作的流程图。当处理当前块时(601)，本公开的该方面的该操作可以对当前块施加多个预定义条件(602)，并基于该多个预定义条件确定当前块是否有资格进行DMVR应用和BDOF应用两者(603)。如果基于该多个预定义条件确定当前块没有资格进行DMVR应用和BDOF应用两者，则本公开的该方面的该操作可以继续进行现在当前的VVC设计中存在的过程(604)。另一方面，如果基于该多个预定义条件确定当前块有资格进行DMVR应用和BDOF应用两者，则本公开的该方面的该操作可以使用基于当前块的模式信息的预定义准则，将当前块分类为两个预定义类之一，即DMVR类和BDOF类之一(605)。随后，本公开的该方面的该操作可以使用当前块的分类结果对当前块应用DMVR或BDOF，而不是两者(606)。使用当前块的分类结果对当前块应用DMVR或BDOF而不是两者(606)可以包括：如果当前块被分类为DMVR类，则在DMVR类中继续进行(应用DMVR而不应用BDOF)(607)，并且如果当前块被分类为BDOF类，则在BDOF类中继续进行(应用BDOF而不应用DMVR)(608)。
当前块有资格进行DMVR应用和BDOF应用两者所基于的多个预定义条件可以是，但不需要是，在上文的框中所列举的多个预定义BDOF条件和预定义DMVR条件。
用作预定义准则的基础的模式信息包括但不限于预测模式(诸如是否使用合并模式)、合并模式索引、运动矢量、块形状、块尺寸、预测样点值。
根据本公开的一个或多个实施例，使用当前块的分类对当前块应用DMVR或BDOF而不是两者包括：可选地用信号发送标志以指示当前块的分类，即，在该实施例的一些示例中，用信号发送一个标志以指定对块应用BDOF还是DMVR，而在该实施例的一些其他示例中，没有这种标志被用信号发送。
根据本公开的一个或多个实施例，使用当前块的分类对当前块应用DMVR或BDOF而不是两者进一步包括：在当前块被分类为DMVR类时，利用已有的合并候选列表或者利用单独生成的合并候选列表，对当前块应用DMVR而不应用BDOF。也就是说，在该实施例的一些示例中，在当前块被分类为DMVR类并且对当前块应用DMVR时，单独的合并候选列表专门被生成并且被使用。用信号发送语义以指示该DMVR合并模式，并且如果DMVR合并候选列表的尺寸大于1，则还用信号发送合并索引。在该实施例的一些其他示例中，在当前块被分类为DMVR类并且对当前块应用DMVR时，不生成这种单独的合并候选，并且对当前块应用DMVR会使用已有的合并候选列表，并且不涉及进一步的语义或信令。
根据本公开的一个或多个实施例，使用当前块的分类对当前块应用DMVR或BDOF而不是两者进一步包括：在当前块被分类为BDOF类时，利用已有的合并候选列表或者利用单独生成的合并候选列表，对当前块应用BDOF而不应用DMVR。也就是说，在该实施例的一些示例中，在当前块被分类为BDOF类并且对当前块应用BDOF时，单独的合并候选列表专门被生成并且被使用。用信号发送语义以指示该BDOF合并模式，并且如果BDOF合并候选列表的尺寸大于1，则还用信号发送合并索引。在该实施例的一些其他示例中，在当前块被分类为BDOF类并且对当前块应用BDOF时，不生成这种单独的合并候选，并且对当前块应用BDOF会使用已有的合并候选列表，并且不涉及进一步的语义或信令。
根据本公开的第一方面的另一实施例，使用基于当前块的模式信息的预定义准则将当前块分类为两个预定义类之一，即DMVR类和BDOF类之一包括：当满足该预定义准则时，将当前块分类为DMVR类，并且当不满足该预定义准则时，将当前块分类为BDOF类。
根据本公开的第一方面的另一实施例，使用基于当前块的模式信息的预定义准则将当前块分类为两个预定义类之一，即DMVR类和BDOF类之一包括：当满足该预定义准则时，将当前块分类为BDOF类，并且当不满足该预定义准则时，将当前块分类为DMVR类。
根据本公开的第一方面的另一实施例，该预定义准则包括是否为当前块选择常规模式。
根据本公开的第一方面的另一实施例，该预定义准则包括当前块的编解码合并索引是否具有预定义数学性质。
在另一示例中，该预定义数学性质包括等于或大于预定义阈值数的性质。
根据本公开的第一方面的另一实施例，该预定义准则包括当前块的运动矢量是否满足预定义测试。
在一个示例中，该预定义测试包括所有运动矢量分量的大小之和是否大于预定义阈值数。
根据本公开的第一方面的另一实施例，该预定义准则包括当前块是否具有预定义形状。
在一个示例中，该预定义形状是正方形形状。
根据本公开的第一方面的另一实施例，该预定义准则包括当前块的块尺寸是否具有预定义数学性质。
在一个示例中，该预定义数学性质包括等于或大于预定义阈值数的性质。
根据本公开的第一方面的另一实施例，该预定义准则包括当前块的列表0预测值样点和列表1预测值样点之间的绝对差和或差平方和(SAD或SSD)是否具有预定义数学性质。
在一个示例中，该预定义数学性质包括大于预定义阈值数的性质。
根据本公开的第二方面，在当前块基于多个预定义条件有资格进行DMVR编解码时，做出关于是否为当前块启用加权预测的第一确定，并且做出关于在对用于当前块的列表0预测值样点和列表1预测值样点进行平均时是否使用不同权重的第二确定，并且可以基于第一确定和第二确定来确定是否禁用对当前块的DMVR应用。该方法可以在上述预定义条件之上与当前VVC相结合，或者可以独立实施。
图7是图示了本公开的第二方面的示例方法的流程图。当处理当前块时(701)，本公开的该方面的该操作可以对当前块施加多个预定义条件(702)，并基于该多个预定义条件确定当前块是否有资格进行DMVR编解码(703)。如果基于该多个预定义条件确定当前块没有资格进行DMVR编解码，则本公开的该方面的该操作可以继续进行现在当前的VVC设计中存在的过程(704)。另一方面，如果基于该多个预定义条件确定当前块有资格进行DMVR编解码，则本公开的该方面的该操作可以确定是否为当前块启用加权预测(705)，并且还确定在对用于当前块的列表0预测值样点和列表1预测值样点进行平均时是否使用不同权重(706)，并且随后基于这两个确定来确定是否禁用对当前块的DMVR应用(707)。
当前块有资格进行DMVR编解码所基于的该多个预定义条件可以是，但不需要是，在上文的框中列举的多个预定义DMVR条件。
根据本公开的第二方面的一个实施例，基于这两个确定来确定是否禁用对当前块的DMVR应用包括：当确定为当前块启用加权预测时，禁用对当前块的DMVR应用。
根据本公开的第二方面的另一实施例，基于这两个确定来确定是否禁用对当前块的DMVR应用包括：当确定在对用于当前块的列表0预测值样点和列表1预测值样点进行平均时使用不同权重时，禁用对当前块的DMVR应用。
根据本公开的第二方面的另一实施例，基于这两个确定来确定是否禁用对当前块的DMVR应用包括：当确定为当前块启用加权预测，并且同时确定在对用于当前块的列表0预测值样点和列表1预测值样点进行平均时使用不同权重时，禁用对当前块的DMVR应用。
根据本公开的第三方面，在当前块以子块合并模式被编解码时，可以启用对当前块的BDOF应用。该方法可以在上述预定义条件之上与当前VVC相结合，或者可以独立实施。
图8是图示了本公开的第三方面的操作的流程图。当处理当前块时(801)，本公开的该方面的该操作可以确定当前块是否以子块合并模式被编解码(802)。如果确定当前块没有以子块合并模式被编解码，则本公开的该方面的该操作可以继续进行现在当前的VVC设计中存在的过程(803)。另一方面，如果确定当前块以子块合并模式被编解码，则本公开的该方面的该操作可以启用对当前块的BDOF应用(804)。
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实施。如果在软件中实施，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质进行传输，并且由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质或通信介质，计算机可读存储介质对应于诸如数据存储介质等有形介质，通信介质包括有助于例如根据通信协议将计算机程序从一个地方转移到另一个地方的任何介质。以此方式，计算机可读介质通常可以对应于(1)非暂态的有形计算机可读存储介质或者(2)诸如信号或载波等通信介质。数据存储介质可以是任何可用介质，其可以被一个或多个计算机或者一个或多个处理器访问以取得用于实施本申请中描述的实施方式的指令、代码和/或数据结构。计算机程序产品可以包括计算机可读介质。
进一步地，可以使用包括一个或多个电路系统的装置来实施上述方法，该一个或多个电路系统包括专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器、或其他电子组件。该装置可以将这些电路系统与其他硬件或软件组件结合使用以用于执行上文描述的方法。上文公开的每个模块、子模块、单元、或子单元都可以使用这一个或多个电路系统来至少部分地实施。
考虑在此公开的发明的说明书和实践，本发明的其他实施例对于本领域技术人员而言将是显而易见的。本申请旨在涵盖对发明进行的任何改变、使用或改编，这些改变、使用或改编遵循其一般原则并且包括在本领域中已知或惯用实践内与本公开内容的此类偏离。说明书和示例旨在被认为仅是示例性的，本发明的真正范围和精神由所附权利要求指示。
将理解的是，本发明不限于上文描述和附图中所示的确切示例，并且在不脱离其范围的情况下可以进行各种修改和变化。本发明的范围旨在仅由所附权利要求来限制。

Claims (11)

1.一种用于视频编码的方法，包括：
响应于当前块满足多个预定义条件，确定是否为所述当前块启用加权预测，以及确定在对用于所述当前块的列表0预测样点和列表1预测样点进行平均时是否使用不同权重；以及
基于这两个确定来确定是否禁用对所述当前块的解码器侧运动矢量细化(DMVR)应用，
其中，所述多个预定义条件包括：
所述当前块将不以仿射模式被编码；以及
所述当前块将不以子块合并模式被编码。
2.如权利要求1所述的方法，其中，基于这两个确定来确定是否禁用对所述当前块的DMVR应用包括：当确定为所述当前块启用加权预测时，禁用对所述当前块的DMVR应用。
3.如权利要求1所述的方法，其中，基于这两个确定来确定是否禁用对所述当前块的DMVR应用包括：当确定在对用于所述当前块的列表0预测样点和列表1预测样点进行平均时使用不同权重时，禁用对所述当前块的DMVR应用。
4.如权利要求1所述的方法，其中，基于这两个确定来确定是否禁用对所述当前块的DMVR应用包括：当确定为所述当前块启用加权预测，并且同时确定在对用于所述当前块的列表0预测样点和列表1预测样点进行平均时使用不同权重时，禁用对所述当前块的DMVR应用。
5.一种计算设备，包括：
一个或多个处理器；
非暂态存储装置，所述非暂态存储装置耦接到所述一个或多个处理器；以及
多个程序，所述多个程序存储在所述非暂态存储装置中，所述多个程序当由所述一个或多个处理器执行时使所述计算设备执行包括以下各项的动作：
响应于当前块满足多个预定义条件，确定是否为所述当前块启用加权预测，以及确定在对用于所述当前块的列表0预测样点和列表1预测样点进行平均时是否使用不同权重；以及
基于这两个确定来确定是否禁用对所述当前块的解码器侧运动矢量细化(DMVR)应用，
其中，所述多个预定义条件包括：
所述当前块将不以仿射模式被编码；以及
所述当前块将不以子块合并模式被编码。
6.如权利要求5所述的计算设备，其中，基于这两个确定来确定是否禁用对所述当前块的DMVR应用包括：当确定为所述当前块启用加权预测时，禁用对所述当前块的DMVR应用。
7.如权利要求5所述的计算设备，其中，基于这两个确定来确定是否禁用对所述当前块的DMVR应用包括：当确定在对用于所述当前块的列表0预测样点和列表1预测样点进行平均时使用不同权重时，禁用对所述当前块的DMVR应用。
8.如权利要求5所述的计算设备，其中，基于这两个确定来确定是否禁用对所述当前块的DMVR应用包括：当确定为所述当前块启用加权预测，并且同时确定在对用于所述当前块的列表0预测样点和列表1预测样点进行平均时使用不同权重时，禁用对所述当前块的DMVR应用。
9.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储用于由具有一个或多个处理器的计算设备执行的多个程序，其中，所述多个程序在由所述一个或多个处理器执行时，使所述计算设备执行如权利要求1至4中任一项所述的方法。
10.一种计算机程序产品，包括指令，其中，所述指令在被计算设备执行时使得所述计算设备实现如权利要求1至4中任一项所述的方法。
11.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有视频比特流，其中，所述视频比特流是根据权利要求1至4中任一项所述的方法编码而生成的。
CN202210827077.0A 2019-02-08 2020-02-08 用于视频编码的方法、设备和介质 Active CN115209159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210827077.0A CN115209159B (zh) 2019-02-08 2020-02-08 用于视频编码的方法、设备和介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962803417P 2019-02-08 2019-02-08
US62/803,417 2019-02-08
CN202080013232.4A CN113424537A (zh) 2019-02-08 2020-02-08 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备
CN202210827077.0A CN115209159B (zh) 2019-02-08 2020-02-08 用于视频编码的方法、设备和介质
PCT/US2020/017382 WO2020163837A1 (en) 2019-02-08 2020-02-08 Methods and devices for selectively applying bi-directional optical flow and decoder-side motion vector refinement for video coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080013232.4A Division CN113424537A (zh) 2019-02-08 2020-02-08 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备

Publications (2)

Publication Number Publication Date
CN115209159A true CN115209159A (zh) 2022-10-18
CN115209159B CN115209159B (zh) 2023-08-29

Family

ID=71029974

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202210827077.0A Active CN115209159B (zh) 2019-02-08 2020-02-08 用于视频编码的方法、设备和介质
CN202111233781.5A Active CN113965746B (zh) 2019-02-08 2020-02-08 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备
CN202310894965.9A Active CN116828185B (zh) 2019-02-08 2020-02-08 一种用于视频解码的方法、计算设备、程序产品和介质
CN202080013232.4A Pending CN113424537A (zh) 2019-02-08 2020-02-08 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备
CN202111667192.8A Active CN114286101B (zh) 2019-02-08 2020-02-10 一种视频编解码方法及设备
CN202010085186.0A Active CN111294598B (zh) 2019-02-08 2020-02-10 一种视频编解码方法及设备

Family Applications After (5)

Application Number Title Priority Date Filing Date
CN202111233781.5A Active CN113965746B (zh) 2019-02-08 2020-02-08 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备
CN202310894965.9A Active CN116828185B (zh) 2019-02-08 2020-02-08 一种用于视频解码的方法、计算设备、程序产品和介质
CN202080013232.4A Pending CN113424537A (zh) 2019-02-08 2020-02-08 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备
CN202111667192.8A Active CN114286101B (zh) 2019-02-08 2020-02-10 一种视频编解码方法及设备
CN202010085186.0A Active CN111294598B (zh) 2019-02-08 2020-02-10 一种视频编解码方法及设备

Country Status (13)

Country Link
US (3) US12108030B2 (zh)
EP (3) EP3909247B1 (zh)
JP (6) JP7232345B2 (zh)
KR (4) KR20220046005A (zh)
CN (6) CN115209159B (zh)
DK (1) DK3909247T3 (zh)
ES (1) ES2981908T3 (zh)
FI (1) FI3909247T3 (zh)
HU (1) HUE067106T2 (zh)
MX (1) MX2021009529A (zh)
PL (1) PL3909247T3 (zh)
PT (1) PT3909247T (zh)
WO (1) WO2020163837A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT3909247T (pt) * 2019-02-08 2024-05-13 Beijing Dajia Internet Information Tech Co Ltd Método e dispositivo para aplicação seletiva de refinamento de vetor de movimento do lado do descodificador para codificação de vídeo
CN118612456A (zh) * 2019-02-14 2024-09-06 Lg 电子株式会社 基于dmvr的帧间预测方法和设备
EP3913921B1 (en) 2019-02-24 2024-10-23 LG Electronics Inc. Dmvr-based inter-prediction method and device
CN112004091B (zh) * 2020-07-31 2021-08-03 浙江大华技术股份有限公司 帧间预测方法及其相关装置
CN112132915B (zh) * 2020-08-10 2022-04-26 浙江大学 一种基于生成对抗机制的多样化动态延时视频生成方法
CN112055222B (zh) * 2020-08-21 2024-05-07 浙江大华技术股份有限公司 视频编解码方法、电子设备及计算机可读存储介质
CN112218075B (zh) * 2020-10-17 2022-10-28 浙江大华技术股份有限公司 候选列表的填充方法、电子设备、计算机可读存储介质
US11917165B2 (en) 2021-08-16 2024-02-27 Tencent America LLC MMVD signaling improvement
US12132885B2 (en) 2021-09-16 2024-10-29 Qualcomm Incorporated Multiple inter predictors with decoder side motion vector derivation for video coding
WO2023044247A1 (en) * 2021-09-16 2023-03-23 Qualcomm Incorporated Multiple inter predictors with decoder side motion vector derivation for video coding
KR20240134300A (ko) * 2022-01-09 2024-09-09 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024117694A1 (ko) * 2022-12-01 2024-06-06 현대자동차주식회사 템플릿 매칭 기반 인터 예측을 이용하는 비디오 코딩을 위한 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180061069A (ko) * 2016-11-28 2018-06-07 한국전자통신연구원 필터링을 위한 방법 및 장치
US20180184117A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and Apparatus of Adaptive Bi-Prediction for Video Coding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011129672A2 (ko) * 2010-04-16 2011-10-20 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
GB2512829B (en) * 2013-04-05 2015-05-27 Canon Kk Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme
CN103561263B (zh) * 2013-11-06 2016-08-24 北京牡丹电子集团有限责任公司数字电视技术中心 基于运动矢量约束和加权运动矢量的运动补偿预测方法
US10999595B2 (en) * 2015-11-20 2021-05-04 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding
EP3435673A4 (en) * 2016-03-24 2019-12-25 Intellectual Discovery Co., Ltd. VIDEO SIGNAL ENCODING / DECODING METHOD AND APPARATUS
WO2017205703A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Improved weighted angular prediction coding for intra coding
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
JP2018107580A (ja) 2016-12-26 2018-07-05 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10595035B2 (en) * 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10477237B2 (en) * 2017-06-28 2019-11-12 Futurewei Technologies, Inc. Decoder side motion vector refinement in video coding
BR112019028012A2 (pt) * 2017-06-30 2020-07-07 Huawei Technologies Co., Ltd. dispositivo e método para determinar um vetor de movimento, codificador e decodificador de vídeo para codificar e decodificar uma pluralidade de fotos
US11750832B2 (en) * 2017-11-02 2023-09-05 Hfi Innovation Inc. Method and apparatus for video coding
KR102708989B1 (ko) * 2018-09-21 2024-09-23 브이아이디 스케일, 인크. 양방향 옵티컬 플로우를 위한 복잡도 감소 및 비트 폭 제어
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
JP7414008B2 (ja) 2018-12-28 2024-01-16 ソニーグループ株式会社 画像処理装置および方法
US11252431B2 (en) 2019-01-02 2022-02-15 Telefonaktiebolaget Lm Ericsson (Publ) Side motion refinement in video encoding/decoding systems
US11153590B2 (en) * 2019-01-11 2021-10-19 Tencent America LLC Method and apparatus for video coding
PT3909247T (pt) * 2019-02-08 2024-05-13 Beijing Dajia Internet Information Tech Co Ltd Método e dispositivo para aplicação seletiva de refinamento de vetor de movimento do lado do descodificador para codificação de vídeo

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180061069A (ko) * 2016-11-28 2018-06-07 한국전자통신연구원 필터링을 위한 방법 및 장치
US20180184117A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and Apparatus of Adaptive Bi-Prediction for Video Coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHUN-CHI CHEN ET AL: "《Generalized bi-prediction for inter coding》" *
XU CHEN ET AL: "《Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching》" *

Also Published As

Publication number Publication date
KR102409275B1 (ko) 2022-06-14
WO2020163837A1 (en) 2020-08-13
CN113424537A (zh) 2021-09-21
KR20210132247A (ko) 2021-11-03
JP2022517134A (ja) 2022-03-04
PT3909247T (pt) 2024-05-13
PL3909247T3 (pl) 2024-08-12
KR20220083862A (ko) 2022-06-20
CN116828185A (zh) 2023-09-29
JP2024012627A (ja) 2024-01-30
CN114286101B (zh) 2022-10-04
CN113965746B (zh) 2022-08-12
CN111294598A (zh) 2020-06-16
JP7339395B2 (ja) 2023-09-05
KR20220046005A (ko) 2022-04-13
MX2021009529A (es) 2021-09-23
ES2981908T3 (es) 2024-10-11
CN113965746A (zh) 2022-01-21
US20210368166A1 (en) 2021-11-25
HUE067106T2 (hu) 2024-09-28
EP4333435A3 (en) 2024-05-08
US20240297985A1 (en) 2024-09-05
CN111294598B (zh) 2022-01-21
KR20210102483A (ko) 2021-08-19
US12108030B2 (en) 2024-10-01
KR102384240B1 (ko) 2022-04-08
CN116886925A (zh) 2023-10-13
JP2024114809A (ja) 2024-08-23
JP7232345B2 (ja) 2023-03-02
CN114286101A (zh) 2022-04-05
EP3909247B1 (en) 2024-04-10
JP2023099145A (ja) 2023-07-11
JP7546721B2 (ja) 2024-09-06
EP4333436A2 (en) 2024-03-06
EP3909247A4 (en) 2022-06-29
EP4333436A3 (en) 2024-05-01
CN116828185B (zh) 2024-08-16
FI3909247T3 (fi) 2024-06-20
JP2022122911A (ja) 2022-08-23
EP3909247A1 (en) 2021-11-17
US20210368200A1 (en) 2021-11-25
EP4333435A2 (en) 2024-03-06
DK3909247T3 (da) 2024-04-15
CN115209159B (zh) 2023-08-29
JP2024099849A (ja) 2024-07-25

Similar Documents

Publication Publication Date Title
CN113965746B (zh) 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备
CN114143558B (zh) 组合帧间和帧内预测模式的受约束和调节的应用
KR102492738B1 (ko) 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출
CN116886925B (zh) 一种用于视频编码的方法、计算设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant