CN114143558B - 组合帧间和帧内预测模式的受约束和调节的应用 - Google Patents

组合帧间和帧内预测模式的受约束和调节的应用 Download PDF

Info

Publication number
CN114143558B
CN114143558B CN202111463421.4A CN202111463421A CN114143558B CN 114143558 B CN114143558 B CN 114143558B CN 202111463421 A CN202111463421 A CN 202111463421A CN 114143558 B CN114143558 B CN 114143558B
Authority
CN
China
Prior art keywords
prediction
ciip
current block
current
apply
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111463421.4A
Other languages
English (en)
Other versions
CN114143558A (zh
Inventor
修晓宇
陈漪纹
王祥林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202111463421.4A priority Critical patent/CN114143558B/zh
Publication of CN114143558A publication Critical patent/CN114143558A/zh
Application granted granted Critical
Publication of CN114143558B publication Critical patent/CN114143558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在计算设备处执行约束和调节在视频编解码标准(诸如现在当前的通用视频编解码VVC)中所采用的组合帧间和帧内预测(CIIP)模式的应用的方法。在一种方法中，计算设备确定是否对双向预测块应用解码器侧运动矢量细化(DMVR)和双向光流(BDOF)。在另一种方法中，计算设备确定CU(“当前CU”)的相邻CU中的每个CU是否分别被CIIP编解码，并且在使用相邻CIIP编解码的CU的帧内模式形成用于当前CU的最可能模式(MPM)候选列表的过程中，采用不依赖于确定当前CU是被帧内编解码还是被CIIP编解码的统一准则。

Description

组合帧间和帧内预测模式的受约束和调节的应用
本申请是申请号为“202080020524.0”，申请日为“2020年3月12日”，发明名称为“组合帧间和帧内预测模式的受约束和调节的应用”的申请的分案申请。
相关申请的交叉引用
本申请主张于2019年3月12日提交的美国临时专利申请第62/817,503号的权益。上述申请的全部公开内容通过引用整体并入本文。
技术领域
本公开总体上涉及视频编解码和压缩。更具体地，本公开涉及用于对组合帧间和帧内预测(CIIP)模式的应用使用约束和调节来执行视频编解码的系统和方法。
背景技术
本节提供与本公开相关的背景信息。本节中包含的信息不应当必然被解释为现有技术。
各种视频编解码技术中的任一种可以用来压缩视频数据。视频编解码可以根据一种或多种视频编解码标准来执行。一些说明性视频编解码标准包括通用视频编解码(VVC)、联合探索测试模型(JEM)编解码、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)和运动图像专家组(MPEG)编解码。
视频编解码通常采用利用了视频图像或序列中固有冗余的预测方法(如帧间预测、帧内预测等)。视频编解码技术的一个目的是将视频数据压缩成一种使用较低比特率的形式，同时避免或最小化视频质量的下降。
在视频编解码中使用的预测方法通常包括执行空间(帧内)预测和/或时间(帧间)预测，以减少或移除视频数据中固有的冗余，并且通常与基于块的视频编解码相关联。
发明内容
本节提供了本公开的总体概述，并不是对其全部范围或所有特征的全面公开。
根据本公开的第一方面，一种视频编解码方法在计算设备处执行，计算设备具有一个或多个处理器和存储器，存储器存储要由一个或多个处理器执行的多个程序。该方法包括：将视频流中的每个图片划分为多个块或CU。该方法包括：当CU被双向预测时，在对CU应用CIIP模式期间，在生成帧间预测样本时绕过一个或多个帧间预测过程的操作。一个或多个被绕过的帧间预测过程包括解码器侧运动矢量细化(DMVR)和双向光流(BDOF)。
根据本公开的第二方面，一种视频编解码方法在计算设备处执行，计算设备具有一个或多个处理器和存储器，存储器存储要由一个或多个处理器执行的多个程序。该方法包括：将视频流中的每个图片划分为多个块或CU。该方法还包括：识别作为用于CIIP模式的应用的候选的CU。该方法还包括：确定被识别为用于CIIP模式的应用的候选的CU是被双向预测的还是单向预测的。该方法还包括：基于该确定来约束CIIP模式对CU的应用。
根据本公开的第三方面，一种视频编解码方法在计算设备处执行，计算设备具有一个或多个处理器和存储器，存储器存储要由一个或多个处理器执行的多个程序。该方法包括：将视频流中的每个图片划分为多个块或编码单元(CU)。该方法还包括：导出用于每个CU的MPM候选列表。该方法还包括：确定CU(“当前CU”)的相邻CU中的每个CU是否分别是被CIIP编解码的块。该方法还包括：对于被CIIP编解码的相邻CU中的每个相邻CU，在使用相邻CU的帧内模式形成用于当前CU的MPM候选列表的过程中，采用不依赖于确定当前CU是帧内编解码还是CIIP编解码的统一准则。
根据本申请的第四方面，一种计算设备包括一个或多个处理器、存储器和存储在存储器中的多个程序。在由一个或多个处理器执行时，这些程序使得计算设备执行如上文所描述的操作。
根据本申请的第五方面，一种非暂时性计算机可读存储介质存储用于由具有一个或多个处理器的计算设备执行的多个程序。在由一个或多个处理器执行时，这些程序使得计算设备执行如上文所描述的操作。
附图说明
在下文中，将结合附图描述本公开的说明性、非限制性实施例的集合。相关领域的普通技术人员可以基于本文中呈现的示例来实现结构、方法或功能的变化，并且这些变化都包含在本公开的范围内。在不存在冲突的情况下，不同实施例的教导可以但不是必需彼此组合起来。
图1是阐述说明性的基于块的混合视频编码器的框图，其可以结合许多视频编解码标准使用。
图2是阐述说明性视频解码器的框图，其可以与许多视频编解码标准结合使用。
图3A-图3E示出了根据示例性实施例的示例性拆分类型，即四元分割(图3A)、水平二元分割(图3B)、垂直二元分割(图3C)、水平三元分割(图3D)和垂直三元分割(图3E)。
图4A-图4C是在CIIP模式中组合帧间预测和帧内预测的图示。
图5A-图5B是阐述现在当前VVC中MPM候选列表的说明性生成过程的一对流程图。
图6是阐述现在当前VVC中使用双向光流(BDOF)的CIIP设计的说明性工作流程的流程图。
图7是阐述在计算当前预测块的双向预测时选择性地绕过DMVR操作和BDOF操作的说明性工作流程的流程图。
图8是阐述本公开中提出的CIIP设计的说明性工作流程的流程图。
图9是阐述本公开中提出的第二种CIIP设计的说明性工作流程的流程图。
图10A-图10B是阐述在本公开中MPM候选列表的生成过程中处理CIIP编解码块的提出的两种方法的说明性工作流程的一对流程图。
具体实施方式
本公开中使用的术语旨在说明特定示例，而不是对本公开进行限制。本公开以及所附权利要求中使用的单数形式“一种”、“一个”和“该/所述”也指复数形式，除非其他含义明确地包含在上下文中。应当明白，本文所用的术语“和/或”是指一个或多个相关联的所列项目的任何和所有可能的组合。
应理解，虽然术语第一、第二、第三等在本文中可用于描述各种信息，但这些信息不应受限于这些术语。这些术语仅用于区分一种信息与另一种信息。例如，在不脱离本公开的范围的情况下，第一信息可以被称为第二信息；并且类似地，第二信息可以被称为第一信息。如本文所使用的，术语“如果”可被理解为表示“当…的时候”或“一经…”或“响应于…”，这取决于上下文。
贯穿本说明书对以单数或复数形式的“一个实施例”、“一种实施例”、“另一个实施例”等的提及是指结合实施例描述的一个或多个特定特征、结构或特性包括在本公开的至少一个实施例中。因此，贯穿本说明书的各处以单数或复数形式出现的短语“在一个实施例中”或“在一种实施例中”、“在另一个实施例中”等不一定都指代同一实施例。此外，一个或多个实施例中的特定特征、结构或特性可以按照任何合适的方式组合。
从概念上讲，许多视频编解码标准是相似的，包括先前在背景章节中提到的那些标准。例如，几乎所有的视频编解码标准都使用基于块的处理，并共享相似的视频编解码框图来实现视频压缩。
在基于块的视频编解码中，输入视频信号被逐块处理。对于每个块(也称为编解码单元(CU))，可以执行空间预测和/或时间预测。
空间预测(也称为“帧内预测”)使用来自同一视频图片/条带中已经编解码的相邻块的样本(称为参考样本)的像素来预测当前块。空间预测减少了视频信号中固有的空间冗余。
时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已经编解码视频图片的重建像素来预测当前块。时间预测减少了视频信号中固有的时间冗余。用于给定CU的时间预测信号通常通过一个或多个运动矢量(MV)而用信号发送，这些运动矢量指示当前CU与其时间参考之间的运动量和运动方向。另外，当支持多个参考图片时，一个参考图片索引被额外发送，其用于标识时间预测信号来自参考图片库中的哪个参考图片。
在空间预测和/或时间预测之后，编码器中的模式决策块选择最佳预测模式，例如基于率失真优化方法。然后从当前块中减去预测块，并且使用变换和量化将预测残差去相关。对量化的残差系数进行逆量化和逆变换以形成重建残差，重建残差然后被加回到预测块以形成该块的重建信号。
在空间预测和/或时间预测之后，在重建的CU被放入参考图片库并用于编解码未来的视频块之前，对重建的CU可以应用进一步的环路滤波，例如解块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)。为了形成输出视频比特流，编解码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数都被发送到熵编解码单元进行进一步压缩和打包以形成该比特流。
在解码过程期间，首先在熵解码单元对视频比特流进行熵解码。编解码模式和预测信息被发送到空间预测单元(在帧内编解码时)或时间预测单元(在帧间编解码时)以形成预测块。残差变换系数被发送到逆量化单元和逆变换单元以重建残差块。然后将预测块和残差块相加。重建块在其被存储在参考图片库中之前可以进一步经过环路滤波。然后将参考图片库中的重建视频发送出去以驱动显示设备，并且用于预测未来的视频块。
在许多混合视频编解码方案中，每个块可以采用帧间或帧内预测方法，而不是采用两者。然而，由帧间预测块和帧内预测块生成的残差信号可能呈现出彼此非常不同的特性，因此，如果能够将两种预测以高效的方式组合起来，则可以期望一种更准确的预测以降低预测残差的能量，并且从而提高编解码效率。此外，在某些视频内容中，运动对象的运动可能是复杂的。例如，可能存在包含旧内容(例如，包括在先前编解码的图片中的对象)和显露出的新内容(例如，未包括在先前编解码的图片中的对象)两者的区域。在这样的情形中，帧间预测或帧内预测都不能提供对当前块的准确预测。
为了进一步提高预测效率，VVC的现在当前版本引入了组合帧间和帧内预测(CIIP)模式，这种模式组合了通过合并模式编解码的一个CU的帧内预测和帧间预测。CIIP模式的应用总体上提高了编解码效率。
然而，CIIP模式的应用涉及比帧间模式或帧内模式中所涉及的操作更多的操作，这往往会增加计算复杂度并降低编码/解码吞吐量。
此外，在为帧内模式块和CIIP模式块的相邻块构造最可能模式(MPM)候选列表的上下文内，VVC的现在当前版本在其对帧内模式块和CIIP模式块的处理上并不完全一致。
图1示出了说明性的基于块的混合视频编码器100的框图，其可以结合许多视频编解码标准使用。在编码器100中，视频帧被划分为多个视频块以进行处理。对于每个给定的视频块，基于帧间预测方法或帧内预测方法形成预测。在帧间预测中，基于来自先前重建的帧的像素，通过运动估计和运动补偿形成一个或多个预测值。在帧内预测中，基于当前帧中重建的像素形成预测值。通过模式决策，可以选择最佳预测值来预测当前块。
将表示当前视频块与其预测值之间的差异的预测残差发送到变换电路102。然后将变换系数从变换电路102发送到量化电路104以用于熵降。然后将量化系数馈送到熵编解码电路106以生成压缩视频比特流。如图1所示，来自帧间预测电路和/或帧内预测电路112的预测相关信息110，诸如视频块分割信息、运动矢量、参考图片索引和帧内预测模式，也通过熵编解码电路106被馈送并且被保存到压缩视频比特流114中。
在编码器100中，也需要与解码器相关的电路以便为了预测的目的而重建像素。首先，通过逆量化电路116和逆变换电路118重建预测残差。该重建预测残差与块预测值120组合以针对当前视频块生成未滤波的重建像素。
为了提高编解码效率和视觉质量，通常使用环路滤波器。例如，去块滤波器在AVC、HEVC以及VVC的现在当前版本中是可用的。在HEVC中，定义了一种额外的环路滤波器，称为SAO(样本自适应偏移)，以进一步提高编解码效率。在VVC标准的现在当前版本中，正在积极研究称为ALF(自适应环路滤波器)的另一种环路滤波器，并且其很有可能被包括在最终标准中。
这些环路滤波器操作是可选的。执行这些操作有助于提高编解码效率和视觉质量。它们也可以作为由编码器100作出的决定而被关闭以节省计算复杂度。
应注意，帧内预测通常基于未滤波的重建像素，而如果这些滤波器选项被编码器100打开的话，则帧间预测基于经滤波的重建像素。
图2是阐述可以与许多视频编解码标准结合使用的说明性视频解码器200的框图。该解码器200类似于驻留在图1的编码器100中的与重建相关的部分。在解码器200(图2)中，首先通过熵解码202将传入的视频比特流201解码以导出量化系数水平和与预测相关的信息。然后通过逆量化204和逆变换206对量化的系数水平进行处理以获得重建的预测残差。在帧内/帧间模式选择器208中实现的块预测值机制被配置为基于已解码的预测信息执行帧内预测210或运动补偿212。通过使用加法器214，将来自逆变换206的重建的预测残差与由块预测值机制生成的预测输出相加，来获得一组未滤波的重建像素。在环路滤波器打开的情况下，对这些重建的像素执行滤波操作以导出最终的重建视频。然后将参考图片库中的重建视频发送出去以驱动显示设备，并用于预测未来的视频块。
在诸如HEVC的视频编解码标准中，可以基于四叉树对块进行分割。在较新的视频编解码标准(诸如现在当前的VVC)中，采用了更多的分割方法，并且可将一个编解码树单元(CTU)拆分为多个CU以适应基于四叉树、二叉树或三叉树的不同局部特性。在现在当前的VVC中，大多数编解码模式中不存在CU、预测单元(PU)和变换单元(TU)的分离，并且每个CU始终用作预测和变换两者的基本单元而无需进一步分割。但是，在一些特定的编解码模式(诸如帧内子分割编解码模式)中，每个CU仍然可以包含多个TU。在多类型树结构中，一个CTU首先被四叉树结构分割。然后，每个四叉树叶子节点可以通过二叉树和三叉树结构被进一步分割。
图3A-图3E示出了五种示例拆分类型，即四元分割(图3A)、水平二元分割(图3B)、垂直二元分割(图3C)、水平三元分割(图3D)和垂直三元分割(图3E)。在诸如HEVC和现在当前的VVC之类的视频编解码标准中，可以对每个CU进行帧内预测或帧间预测。
现在当前的VVC还引入了组合的帧内和帧间预测(CIIP)编解码模式，在这种模式下，通过合并模式编解码的一个CU的帧内预测和帧间预测被组合。
在CIIP模式中，对于每个合并CU，用信号发送一个附加标志以指示是否针对当前CU启用CIIP。对于当前CU的亮度分量，CIIP支持四种频繁使用的帧内模式，即平面模式、DC模式、水平模式和垂直模式。对于当前CU的色度分量，总是应用DM模式而无需额外的信令，DM模式意味着重复使用亮度分量的相同帧内模式。
此外，在CIIP模式中，对于每个合并CU，应用加权平均来组合当前CU的帧间预测样本和帧内预测样本。具体来讲，当选择平面模式或DC模式时，应用相等的权重(即0.5)。否则(即应用水平模式或垂直模式)，首先将当前CU水平拆分(对于水平模式)或垂直拆分(对于垂直模式)为四个大小相等的区域。表示为(w_intrai,w_interi)的四个权重集合将被应用来组合不同区域中的帧间预测样本和帧内预测样本，其中i＝0和i＝3表示距用于帧内预测的重建的相邻样本最近和最远的区域。在当前的CIIP设计中，权重集合的预定义的值集合是：(w_intra0,w_inter0)＝(0.75,0.25),(w_intra1,w_inter1)＝(0.625,0.375),(w_intra2,w_inter2)＝(0.375,0.625)和(w_intra3,w_inter3)＝(0.25,0.75)。
图4A-图4C是在CIIP模式中组合帧间预测和帧内预测的图示。在图4A中，示出了在水平模式中用于CU 401的组合权重的操作。当前CU被水平拆分成四个大小相等的区域402、403、404和405，由四个不同的灰度阴影表示。对于每个区域，应用权重集合来组合帧间预测样本和帧内预测样本。例如，对于用最暗的灰度阴影表示的最左边的区域402，应用权重集合(w_intra0,w_inter0)＝(0.75,0.25)，这意味着获得作为(i)帧内预测的0.75或3/4倍与(ii)帧间预测的0.25或1/4倍之和的CIIP预测。这也通过用箭头附接到同一区域402的公式406来说明。用于其他三个区域403、404和405的权重集合也类似地示出。在图4B中，以与图4A类似的方式说明了在垂直模式中用于CU 407的组合权重的操作。在图4C中，说明了在平面模式或DC模式中用于CU 408的组合权重的操作，其中仅对整个CU408应用一个权重集合，即相等权重的集合，这也通过用箭头附接到整个CU 408的公式409来说明。
现在当前的VVC工作规范还规定将一个CIIP CU的帧内模式用作预测值，通过最可能模式(MPM)机制预测其相邻CIIP CU的帧内模式，但是未规定将同一CIIP CU的相同帧内模式用作预测值，通过MPM机制预测其相邻帧内编解码的CU的帧内模式。
具体来讲，对于每个CIIP CU，如果它的一些相邻块也是CIIP CU，则这些邻居的帧内模式首先被舍入到平面模式、DC模式、水平模式和垂直模式中最接近的模式，并且然后添加到当前CU的MPM候选列表中，即允许一个CIIP CU的帧内模式来预测其相邻CIIP CU的帧内模式。然而，对于每个帧内CU，如果通过CIIP模式对它的一些相邻块进行编解码，则这些相邻块被视为不可用，即不允许一个CIIP CU的帧内模式来预测其相邻帧内CU的帧内模式。
图5A-图5B是阐述现在当前的VVC中MPM候选列表的说明性生成过程的一对流程图。图5A图示了当前CU是帧内块的生成过程。在这种情况下，作出关于相邻CU是否为帧内块的确定(501)，并且当且仅当它是帧内块时，相邻CU的帧内模式被添加到MPM候选列表(502)。图5B图示了当前CU是帧内块的生成过程。在这种情况下，作出关于相邻CU是否为帧内块的确定(503)，并且当它是帧内块时，相邻CU的帧内模式被舍入(504)并且然后被添加到MPM候选列表(505)，一方面，当它不是帧内块时，作出关于相邻CU是否为CIIP块的后续确定(506)，并且当它为CIIP块时，相邻CU的帧内模式被添加到MPM候选列表(507)。
图5A-图5B图示了现在当前的VVC中的MPF候选列表的生成过程中CIIP块和帧内块的使用之间的差异，即在用于MPM候选列表的生成过程中使用相邻CIIP块的方法取决于当前块是帧内块还是CIIP块，而且两种情况不同。
在较新的视频编解码标准(诸如现在当前的VVC)中，已经引入了新的模式间编解码工具，并且这些新的模式间编解码工具的两个示例是：双向光流(BDOF)和解码器侧运动矢量细化(DMVR)。
视频编解码中的常规双向预测是从已经重建的参考图片获得的两个时间预测块的简单组合。然而，由于基于块的运动补偿的局限性，在两个预测块的样本之间可能存在可以观察到的剩余的微小运动，从而降低了运动补偿预测的效率。为了解决这个问题，BDOF被应用于现在当前的VVC中以降低这样的运动对一个块内每个样本的影响。
BDOF是当使用双向预测时在基于块的运动补偿预测之上执行的逐样本运动细化。每个4×4子块的运动细化通过以下方式来计算：在该子块周围的一个6×6窗口内应用BDOF后，最小化参考图片列表0(L0)预测样本与参考图片列表1(L1)预测样本之间的差异。基于如此导出的运动细化，通过基于光流模型沿运动轨迹内插L0/L1预测样本来计算CU的最终双向预测样本。
DMVR是用于合并块的双向预测技术，其具有两个初始用信号通知的MV，这些MV可以通过使用双边匹配预测被进一步细化。双边匹配用于通过以下方式来导出当前CU的运动信息：在两个不同的参考图片中沿着当前CU的运动轨迹找到两个块之间最接近的匹配。匹配过程中使用的代价函数是行子采样的绝对差之和(SAD)。在匹配过程完成后，细化后的MV用于预测阶段中的运动补偿、去块滤波器中的边界强度计算、针对后续图片的时间运动矢量预测、以及用于后续CU的跨CTU空间运动矢量预测。在连续运动轨迹的假设下，指向两个参考块的运动矢量MV0和MV1应和当前图片与两个参考图片之间的时间距离(即TD0和TD1)成比例。作为一种特殊情况，在当前图片在时间上位于两个参考图片之间并且从当前图片到两个参考图片的时间距离相同时，双边匹配变为基于镜像的双向MV。
在现在当前的VVC中，BDOF和DMVR两者都可以与CIIP模式结合使用。
图6是阐述现在当前的VVC中使用双向光流(BDOF)的CIIP设计的说明性工作流程的流程图。在该工作流程中，L0运动补偿和L1运动补偿(601和602)通过BDOF(603)被处理，并且来自BDOF的输出然后与帧内预测(604)一起被处理以形成CIIP模式中的加权平均(605)。
现在当前的VVC还提供了DMVR与CIIP模式相结合的类似应用。
在现在当前的VVC中，CIIP模式能够提高运动补偿后的预测的效率。然而，本公开已经发现了现在当前的VVC中包含的现在当前的CIIP设计中存在的三个问题。
第一，因为CIIP组合了帧间预测和帧内预测的样本，所以每个CIIP CU需要使用其重建的相邻样本来生成预测信号。这意味着一个CIIP CU的解码取决于其相邻块的完全重建。由于这种相互依赖性，对于实际的硬件实现，需要在相邻的重建样本变得可用于帧内预测的重建阶段中执行CIIP。因为重建阶段中对CU的解码必须依次被执行(即，逐个执行)，所以CIIP过程中涉及的计算操作(例如乘法、加法和位移)的数量不能太多，以保证足够的实时解码吞吐量。此外，在现在当前的VVC中的现在当前的CIIP设计中，还涉及新的模式间编解码工具(诸如BDOF和DMVR)以生成用于CIIP模式的帧间预测样本。鉴于新的模式间编解码工具引入的额外复杂性，当启用CIIP时，这种设计可能会严重降低硬件编解码器的编码/解码吞吐量。
第二，在现在当前的VVC中的现在当前的CIIP设计中，当一个CIIP CU引用一个被双向预测的合并候选时，需要生成列表L0和L1中的运动补偿预测信号两者。当一个或多个MV不是整数精度时，必须调用额外的内插过程以在分数样本位置处对样本进行内插。这种过程不仅增加了计算复杂度，而且鉴于需要从外部存储器访问更多参考样本，还增加了存储器带宽，并且因此在启用CIIP时也可能严重降低硬件编解码器的编码/解码吞吐量。
第三，在现在当前的VVC中的现在当前的CIIP设计中，CIIP CU的帧内模式和帧内CU的帧内模式在构建它们的相邻块的MPM列表时被不同地对待。具体来讲，在一个当前CU用CIIP模式被编解码时，其相邻的CIIP CU被视为是帧内的，即可以将相邻CIIP CU的帧内模式添加到MPM候选列表中。然而，在当前CU用帧内模式被编解码时，其相邻CIIP CU被视为是帧间的，即相邻CIIP CU的帧内模式被排除在MPM候选列表之外。这种非统一设计对于VVC标准的最终版本可能不是最佳的。
本公开提出了CIIP模式的受约束和调节的应用以解决上述三个问题。
根据本公开，在识别出作为应用CIIP模式的候选的CU之后，关于被识别为应用CIIP模式的候选的CU是双向预测还是单向预测的确定将被作出，并且然后基于该确定，CIIP模式对CU的应用将被约束。
根据本公开的一种实施例，基于确定来约束对CU应用CIIP模式包括：当CU被双向预测时，在应用CIIP模式期间，在生成帧间预测样本时，禁用一种或多种预定义的帧间预测技术的操作。
在一个示例中，一种或多种预定义的帧间预测技术包括BDOF和DMVR。
图7是阐述在计算当前预测块的双向预测时选择性地绕过DMVR操作和BDOF操作的说明性工作流程的流程图。在处理当前预测块时，获得与当前预测块相关联的第一参考图片和第二参考图片(702)，其中按照显示顺序，第一参考图片在当前图片之前，并且第二参考图片在当前图片之后。随后，基于从当前预测块到第一参考图片中的参考块的第一运动矢量MV0获得第一预测L0(703)，并且基于从当前预测块到第二参考图片中的参考块的第二运动矢量MV1获得第二预测L1(704)。然后，关于是否应用DMVR操作的确定被作出(705)。如果应用，DMVR操作将基于第一预测L0和第二预测L1调节第一运动矢量MV0和第二运动矢量MV1，并生成更新的第一预测L0’和更新的第二预测L1’(706)。然后，关于是否应用BDOF操作的第二确定被作出(707)。如果应用，BDOF操作将计算用于与更新的第一预测L0’相关联的预测样本的第一水平和垂直梯度值、以及与更新的第二预测L1’相关联的第二水平和垂直梯度值(708)。最后，基于第一预测L0、第二预测L1、可选的更新的第一预测L0’、可选的更新的第二预测L1’、可选的第一水平和垂直梯度值、以及可选的第二水平和垂直梯度值，计算当前预测块的双向预测(709)。
在另一示例中，一种或多种预定义的帧间预测技术包括BDOF。图8是阐述本公开的该示例中CIIP设计的说明性工作流程的流程图。在这个工作流程中，L0运动补偿和L1运动补偿(801和802)被平均(803)而不是通过BDOF被处理，并且得到的平均然后与帧内预测(804)一起被处理以形成CIIP模式中的加权平均(805)。
在第三示例中，一种或多种预定义的帧间预测技术包括DMVR。
根据本公开的另一个实施例，基于确定来约束对CU应用CIIP模式包括：使用预定义准则，从所有可用的单向预测样本中选择多个单向预测样本，以当CU被双向预测时，在对CU应用CIIP模式期间，与用于CU的帧内预测样本组合使用。
在一个示例中，预定义准则包括：基于参考图片列表0(L0)中的图片选择所有单向预测样本。
在另一个示例中，预定义准则包括：基于参考图片列表1(L1)中的图片选择所有单向预测样本。
在第三示例中，预定义准则包括：基于一个参考图片选择所有单向预测样本，该参考图片具有与CU所在的图片(“当前图片”)最小的图片顺序计数(POC)距离。图9是阐述本公开的该示例中提出的CIIP设计的说明性工作流程的流程图。在该工作流程中，关于L0参考图片还是L1参考图片在POC距离上更接近当前图片的确定被作出(901)，并且来自与当前图片具有最小POC距离的一个参考图片的运动补偿被选择(902和903)，并且然后与帧内预测(904)一起被处理以形成CIIP模式中的加权平均(905)。
根据本公开的另一个实施例，基于确定来约束对CU应用CIIP模式包括：当CU被双向预测时，禁用对CU应用CIIP模式，并且禁用用于CU的CIIP标志的信令。具体来讲，为了降低开销，CIIP启用/禁用标志的信令取决于当前CIIP CU的预测方向。如果当前CU被单向预测，则在比特流中将用信号发送CIIP标志以指示CIIP是启用还是禁用。否则(即当前CU被双向预测)，CIIP标志的信令将被跳过并且总是被推断为假，即CIIP总是被禁用。
此外，根据本公开，当形成用于CU(“当前CU”)的MPM候选列表时，关于当前CU的相邻CU中的每个CU是否分别被CIIP编解码的确定将被作出，并且然后针对相邻CU中被CIIP编解码的每个相邻CU，在使用相邻CU的帧内模式形成用于当前CU的MPM候选列表的过程中将采用统一准则，该统一准则不依赖于当前CU被帧内编解码还是被CIIP编解码的确定。
根据本公开的这个方面的一个实施例，统一准则包括：当相邻CU被CIIP编解码时，将相邻CU的帧内模式视为不可用于形成MPM候选列表。
根据本公开的这个方面的另一个实施例，统一准则包括：当相邻CU被CIIP编解码时，将相邻CU的CIIP模式视为等同于MPM候选列表的形成中的帧内模式。
图10A-图10B是阐述本公开的这个方面的两个实施例的说明性工作流程的一对流程图。图10A图示了本公开的这个方面的第一实施例的工作流程。在该工作流程中，关于相邻CU是否为帧内块或CIIP块的确定首先被作出(1001)，并且当且仅当它是帧内块或CIIP块时，其帧内模式被添加到当前CU的MPM候选列表(1002)，而无论当前CU是帧内块还是CIIP块。图10B图示了本公开的这个方面的第二实施例的工作流程。在该工作流程中，关于相邻CU是否为帧内块的确定首先被作出(1003)，并且当且仅当它是帧内块时，其帧内模式被添加到当前CU的MPM候选列表(1004)，而无论当前CU是帧内块还是CIIP块。
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输，并且由基于硬件的处理单元执行。计算机可读介质可包括计算机可读存储介质或通信介质，计算机可读存储介质对应于诸如数据存储介质之类的有形介质，通信介质包括便于将计算机程序(例如，根据通信协议)从一个地方转移到另一个地方的任何介质。在这种方式中，计算机可读介质通常可对应于(1)非暂时性的有形计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可以是任何可用介质，其可由一台或多台计算机或一个或多个处理器访问以取回指令、代码和/或数据结构以实现本申请中描述的实施方式。计算机程序产品可包括计算机可读介质。
此外，上述方法可以使用包括一个或多个电路的装置来实现，这些电路包括专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件。该装置可以使用与其他硬件或软件组件结合的电路来执行上面描述的方法。上面公开的每个模块、子模块、单元或子单元可以至少部分地使用一个或多个电路来实现。
考虑到这里公开的本发明的说明书和实践，本发明的其他实施例对于本领域技术人员来说将是显而易见的。本申请旨在涵盖本发明遵循其一般原理的任何变化、用途或适配，并且包括在本领域已知或习惯实践中与本公开内容的偏离。所意图的是，说明书和示例仅被认为是示例性的，本发明的真正范围和精神由以下权利要求指示。
将明白，本发明不限于上面所描述和附图中所图示的确切示例，并且在不脱离其范围的情况下可以进行各种修改和改变。所意图的是，本发明的范围仅由所附的权利要求书来限定。

Claims (20)

1.一种视频解码方法，包括：
获得与当前块相关联的第一参考图片和第二参考图片，其中按照显示顺序，所述第一参考图片在当前图片之前并且所述第二参考图片在所述当前图片之后；
基于针对所述当前块的组合的帧间和帧内预测(CIIP)标志，确定是否应用解码器侧运动矢量细化(DMVR)操作；
基于所述CIIP标志确定是否应用双向光流(BDOF)操作；以及
基于所述第一参考图片、所述第二参考图片、以及关于是否应用所述DMVR操作和所述BDOF操作的确定，计算所述当前块的预测，
其中，计算所述当前块的预测包括：
响应于确定不应用所述DMVR操作和所述BDOF操作，基于第一预测L0和第二预测L1计算所述当前块的双向预测，
其中第一预测L0是基于从所述当前块到按显示顺序在所述当前图片之前的所述第一参考图片中的参考块的第一运动矢量MV0获得的，以及
其中第二预测L1是基于从所述当前块到按显示顺序在所述当前图片之后的所述第二参考图片中的参考块的第二运动矢量MV1获得的。
2.根据权利要求1所述的方法，其中确定是否应用所述DMVR操作包括：
响应于所述CIIP标志指示CIIP应用于所述当前块，确定不应用所述DMVR操作。
3.根据权利要求1所述的方法，其中确定是否应用所述BDOF操作包括：
响应于所述CIIP标志指示CIIP应用于所述当前块，确定不应用所述BDOF操作。
4.根据权利要求1所述的方法，其中确定是否应用所述DMVR操作包括：
响应于所述CIIP标志指示CIIP不应用于所述当前块，确定应用所述DMVR操作。
5.根据权利要求4所述的方法，还包括：
调节第一运动矢量MV0和第二运动矢量MV1以生成更新的第一预测L0’和更新的第二预测L1’，
其中所述第一运动矢量MV0是从所述当前块到按显示顺序在所述当前图片之前的所述第一参考图片中的参考块的，以及
其中所述第二运动矢量MV1是从所述当前块到按显示顺序在所述当前图片之后的所述第二参考图片中的参考块的。
6.根据权利要求5所述的方法，其中确定是否应用所述BDOF操作包括：
响应于所述CIIP标志指示所述CIIP不应用于所述当前块，确定应用所述BDOF操作。
7.根据权利要求6所述的方法，还包括：
计算与所述更新的第一预测L0’相关联的第一水平和垂直梯度值；以及
计算与所述更新的第二预测L1’相关联的第二水平和垂直梯度值。
8.根据权利要求7所述的方法，其中计算所述当前块的预测包括：
基于所述更新的第一预测L0’、所述更新的第二预测L1’、所述第一水平和垂直梯度值以及所述第二水平和垂直梯度值，计算所述当前块的双向预测。
9.一种视频编码方法，包括：
获得与当前块相关联的第一参考图片和第二参考图片，其中按照显示顺序，所述第一参考图片在当前图片之前并且所述第二参考图片在所述当前图片之后；
基于针对所述当前块的组合的帧间和帧内预测(CIIP)标志，确定是否应用解码器侧运动矢量细化(DMVR)操作；
基于所述CIIP标志确定是否应用双向光流(BDOF)操作；以及
基于所述第一参考图片、所述第二参考图片、以及关于是否应用所述DMVR操作和所述BDOF操作的确定，计算所述当前块的预测，
其中，计算所述当前块的预测包括：
响应于确定不应用所述DMVR操作和所述BDOF操作，基于第一预测L0和第二预测L1计算所述当前块的双向预测，
其中第一预测L0是基于从所述当前块到按显示顺序在所述当前图片之前的所述第一参考图片中的参考块的第一运动矢量MV0获得的，以及
其中第二预测L1是基于从所述当前块到按显示顺序在所述当前图片之后的所述第二参考图片中的参考块的第二运动矢量MV1获得的。
10.根据权利要求9所述的方法，其中确定是否应用所述DMVR操作包括：
响应于所述CIIP标志指示CIIP应用于所述当前块，确定不应用所述DMVR操作。
11.根据权利要求9所述的方法，其中确定是否应用所述BDOF操作包括：
响应于所述CIIP标志指示CIIP应用于所述当前块，确定不应用所述BDOF操作。
12.根据权利要求9所述的方法，其中确定是否应用所述DMVR操作包括：
响应于所述CIIP标志指示CIIP不应用于所述当前块，确定应用所述DMVR操作。
13.根据权利要求12所述的方法，还包括：
调节第一运动矢量MV0和第二运动矢量MV1以生成更新的第一预测L0’和更新的第二预测L1’，
其中所述第一运动矢量MV0是从所述当前块到按显示顺序在所述当前图片之前的所述第一参考图片中的参考块的，以及
其中所述第二运动矢量MV1是从所述当前块到按显示顺序在所述当前图片之后的所述第二参考图片中的参考块的。
14.根据权利要求13所述的方法，其中确定是否应用所述BDOF操作包括：
响应于所述CIIP标志指示所述CIIP不应用于所述当前块，确定应用所述BDOF操作。
15.根据权利要求14所述的方法，还包括：
计算与所述更新的第一预测L0’相关联的第一水平和垂直梯度值；以及
计算与所述更新的第二预测L1’相关联的第二水平和垂直梯度值。
16.根据权利要求15所述的方法，其中计算所述当前块的预测包括：
基于所述更新的第一预测L0’、所述更新的第二预测L1’、所述第一水平和垂直梯度值以及所述第二水平和垂直梯度值，计算所述当前块的双向预测。
17.一种计算设备，包括：
存储介质；以及
耦合到所述存储介质的一个或多个处理器，其中所述一个或多个处理器被配置为执行权利要求1-8中任一项所述的方法。
18.一种计算设备，包括：
存储介质；以及
耦合到所述存储介质的一个或多个处理器，其中所述一个或多个处理器被配置为执行权利要求9-16中任一项所述的方法。
19.一种非暂时性计算机可读存储介质，其存储由具有一个或多个处理器的计算设备执行的多个程序，其中当由所述一个或多个处理器执行时，所述多个程序使得所述一个或多个处理器执行权利要求1-8中的任一项所述的方法。
20.一种非暂时性计算机可读存储介质，其存储由具有一个或多个处理器的计算设备执行的多个程序，其中当由所述一个或多个处理器执行时，所述多个程序使得所述一个或多个处理器执行权利要求9-16中的任一项所述的方法。
CN202111463421.4A 2019-03-12 2020-03-12 组合帧间和帧内预测模式的受约束和调节的应用 Active CN114143558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111463421.4A CN114143558B (zh) 2019-03-12 2020-03-12 组合帧间和帧内预测模式的受约束和调节的应用

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962817503P 2019-03-12 2019-03-12
US62/817,503 2019-03-12
PCT/US2020/022491 WO2020186119A1 (en) 2019-03-12 2020-03-12 Constrained and adjusted applications of combined inter- and intra-prediction mode
CN202080020524.0A CN113557721A (zh) 2019-03-12 2020-03-12 组合帧间和帧内预测模式的受约束和调节的应用
CN202111463421.4A CN114143558B (zh) 2019-03-12 2020-03-12 组合帧间和帧内预测模式的受约束和调节的应用

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080020524.0A Division CN113557721A (zh) 2019-03-12 2020-03-12 组合帧间和帧内预测模式的受约束和调节的应用

Publications (2)

Publication Number Publication Date
CN114143558A CN114143558A (zh) 2022-03-04
CN114143558B true CN114143558B (zh) 2024-01-30

Family

ID=72427106

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080020524.0A Pending CN113557721A (zh) 2019-03-12 2020-03-12 组合帧间和帧内预测模式的受约束和调节的应用
CN202111463421.4A Active CN114143558B (zh) 2019-03-12 2020-03-12 组合帧间和帧内预测模式的受约束和调节的应用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080020524.0A Pending CN113557721A (zh) 2019-03-12 2020-03-12 组合帧间和帧内预测模式的受约束和调节的应用

Country Status (7)

Country Link
US (1) US20210409750A1 (zh)
EP (1) EP3939266A4 (zh)
JP (3) JP7092951B2 (zh)
KR (2) KR102501210B1 (zh)
CN (2) CN113557721A (zh)
MX (1) MX2021011043A (zh)
WO (1) WO2020186119A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
WO2020103870A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
JP7241870B2 (ja) * 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
CN113647099B (zh) 2019-04-02 2022-10-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导
WO2020222617A1 (ko) * 2019-05-02 2020-11-05 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2022222988A1 (en) * 2021-04-21 2022-10-27 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023025098A1 (en) * 2021-08-23 2023-03-02 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353184A (zh) * 2015-11-05 2018-07-31 联发科技股份有限公司 用于视频编解码的使用平均运动矢量的帧间预测的方法和装置
CN108370441A (zh) * 2015-11-12 2018-08-03 Lg 电子株式会社 在图像编译系统中用于系数引起的帧内预测的方法和装置
CN108781294A (zh) * 2016-02-05 2018-11-09 联发科技股份有限公司 用于视频编解码的基于双向预测光流技术的运动补偿方法及装置
CN113574891A (zh) * 2019-02-24 2021-10-29 Lg 电子株式会社 基于dmvr的帧间预测方法和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
US20180192071A1 (en) * 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
CN110463201B (zh) * 2017-03-22 2023-12-19 韩国电子通信研究院 使用参考块的预测方法和装置
US10757442B2 (en) * 2017-07-05 2020-08-25 Qualcomm Incorporated Partial reconstruction based template matching for motion vector derivation
EP3857879A4 (en) * 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
WO2020184487A1 (ja) * 2019-03-08 2020-09-17 シャープ株式会社 動画像復号装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353184A (zh) * 2015-11-05 2018-07-31 联发科技股份有限公司 用于视频编解码的使用平均运动矢量的帧间预测的方法和装置
CN108370441A (zh) * 2015-11-12 2018-08-03 Lg 电子株式会社 在图像编译系统中用于系数引起的帧内预测的方法和装置
CN108781294A (zh) * 2016-02-05 2018-11-09 联发科技股份有限公司 用于视频编解码的基于双向预测光流技术的运动补偿方法及装置
CN113574891A (zh) * 2019-02-24 2021-10-29 Lg 电子株式会社 基于dmvr的帧间预测方法和设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Algorithm description for Versatile Video Coding and Test Model 4 (VTM 4)，JVET-M1002-V1.《Joint Video Experts Team (JVET)》.2019,全文. *
CE-10 related multi-hypothesis with uni-directional inter prediction restriction，JVET-M390;T. Poirier;《Joint Video Experts Team (JVET)》;全文 *
Versatile Video Coding (Draft 4)，JEVT-M1001-V6;Benjamin Bross;《Joint Video Experts Team (JVET)》;全文 *

Also Published As

Publication number Publication date
CN113557721A (zh) 2021-10-26
KR102501210B1 (ko) 2023-02-17
WO2020186119A1 (en) 2020-09-17
JP2022123067A (ja) 2022-08-23
KR20210127722A (ko) 2021-10-22
CN114143558A (zh) 2022-03-04
KR20230025509A (ko) 2023-02-21
EP3939266A4 (en) 2022-12-21
JP2024038439A (ja) 2024-03-19
EP3939266A1 (en) 2022-01-19
JP7425118B2 (ja) 2024-01-30
JP7092951B2 (ja) 2022-06-28
US20210409750A1 (en) 2021-12-30
MX2021011043A (es) 2021-10-13
JP2022522525A (ja) 2022-04-19

Similar Documents

Publication Publication Date Title
CN114143558B (zh) 组合帧间和帧内预测模式的受约束和调节的应用
EP3912357B1 (en) Constrained motion vector derivation for long-term reference pictures in video coding
CN113965746B (zh) 选择性地应用双向光流和解码器侧运动矢量细化来进行视频编解码的方法和设备
US20230051193A1 (en) System and method for combined inter and intra prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant