CN118077194A - 用于视频处理的方法、装置和介质 - Google Patents

用于视频处理的方法、装置和介质 Download PDF

Info

Publication number
CN118077194A
CN118077194A CN202280048558.XA CN202280048558A CN118077194A CN 118077194 A CN118077194 A CN 118077194A CN 202280048558 A CN202280048558 A CN 202280048558A CN 118077194 A CN118077194 A CN 118077194A
Authority
CN
China
Prior art keywords
prediction
intra
video block
target video
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280048558.XA
Other languages
English (en)
Inventor
邓智玭
张凯
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN118077194A publication Critical patent/CN118077194A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开的实施例提供了一种用于视频处理的解决方案。提出了一种用于视频处理的方法，该方法包括：在视频的目标视频块和视频的码流之间的转换期间，确定目标视频块的多个划分，目标视频块由混合预测工具被编解码，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；以及执行目标视频块和码流之间的转换。

Description

用于视频处理的方法、装置和介质
技术领域
本公开的实施例一般涉及视频编解码技术，更具体地涉及混合预测。
背景技术
如今，数字视频功能正被应用于人们生活的各个方面。已经针对视频编码/解码，已经提出了多种类型的视频压缩技术，诸如MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频编解码(AVC)、ITU-T H.265高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准。然而，常规视频编解码技术的编解码效率通常非常低，这是不希望的。
发明内容
本公开的实施例提供用于视频处理的解决方案。
在第一方面，提出了一种用于视频处理的方法。该方法包括：在视频的目标视频块和视频的码流之间的转换期间，确定目标视频块的多个划分，目标视频块由混合预测工具被编解码，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；以及执行目标视频块和码流之间的所述转换。与传统解决方案相比，所提出的方法可以有利地提高编解码有效性和编解码效率。
在第二方面，提出了另一种用于视频处理的方法。该方法包括：在视频的目标视频块和视频的码流之间的转换期间，由混合预测工具使用目标视频块的运动数据，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；以及执行目标视频块和码流之间的转换。与传统解决方案相比，所提出的方法可以有利地提高编解码有效性和编解码效率。
在第三方面，提出了另一种用于视频处理的方法。该方法包括：在视频的目标视频块和视频的码流之间的转换期间，基于解码器导出的方法或帧内预测的预定义的规则，确定目标视频块的帧内预测信息，目标视频块由混合预测工具被预测，混合预测工具被用于基于目标视频块的多个候选预测来确定针对所标视频块的目标预测；以及至少基于帧内预测信息执行转换。与传统解决方案相比，所提出的方法可以有利地提高编解码有效性和编解码效率。
在第四方面中，提出了用于视频处理的另一种方法。该方法包括：在视频的目标视频块和视频的码流之间的转换期间，基于编解码信息确定针对目标视频块的第一预测样本的权重和第二预测样本的权重；通过基于权重混合第一预测样本和第二预测样本来生成目标预测；以及至少基于目标预测执行转换。与传统解决方案相比，所提出的方法可以有利地提高编解码有效性和编解码效率。
在第五方面中，提出了一种用于处理视频数据的装置。该装置包括处理器和其上具有指令的非暂态存储器，其中指令在被处理器执行时，使处理器执行根据本公开的第一方面、第二方面、第三方面或第四方面的方法。
在第六方面，提出了一种非暂态计算机可读记录介质。该非暂态计算机可读存储介质存储指令，指令使处理器执行根据本公开的第一方面、第二方面、第三方面或第四方面的方法。
在第七方面中，提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储由视频处理装置执行的方法生成的视频的码流，其中该方法包括：确定视频的目标视频块的多个划分，目标视频块由混合预测工具被编解码，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；以及生成码流。
在第八方面，提出了一种用于存储视频的码流的方法。该方法包括：确定视频的目标视频块的多个划分，目标视频块由混合预测工具被编解码，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；生成码流；以及将码流存储在非暂态计算机可读记录介质中。
在第九方面中，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储由视频处理装置执行的方法生成的视频的码流，其中该方法包括：通过混合预测工具使用视频的目标视频块的运动数据，混合预测工具用于基于目标视频块的多个候选预测来确定目标视频块的目标预测；以及生成码流。
在第十方面中，提出了用于存储视频的码流的另一种方法。该方法包括：通过混合预测工具使用视频的目标视频块的运动数据，混合预测工具用于基于目标视频块的多个候选预测确定目标视频块的目标预测；生成码流；以及将码流存储在非暂态计算机可读记录介质中。
在第十一方面中，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储由视频处理装置执行的方法生成的视频的码流，其中该方法包括：基于解码器导出的方法或帧内预测的预定义规则确定视频的目标视频块的帧内预测信息，目标视频块由混合预测工具预测，混合预测工具用于基于目标视频块的多个候选预测确定目标视频块的目标预测；以及至少基于帧内预测信息生成所述码流。
在第十二方面，提出了另一种用于存储视频码流的方法。该方法包括：基于解码器导出的方法或帧内预测的预定规则确定视频的目标视频块的帧内预测信息，目标视频块由混合预测工具预测，混合预测工具用于基于目标视频块的多个候选预测确定目标视频块的目标预测；至少基于帧内预测信息生成码流；以及将码流存储在非暂态计算机可读记录介质中。
在第十三方面中，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储由视频处理装置执行的方法生成的视频的码流，其中该方法包括：基于编解码信息确定用于视频的目标视频块的第一预测样本和第二预测样本的权重；通过基于权重混合第一和第二预测样本来生成目标预测；以及基于目标预测来生成码流。
在第十四方面，提出了用于存储视频的码流的另一种方法。该方法包括：基于编解码信息确定用于视频的目标视频块的第一预测样本和第二预测样本的权重；通过基于权重混合第一和第二预测样本来生成目标预测；基于目标预测生成码流；以及将码流存储在非暂态计算机可读记录介质中。
提供本发明内容是为了以简化的形式介绍以下在详细描述中进一步描述的概念的选择。本发明内容不旨在识别所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。
附图说明
通过参考附图的以下详细描述，本公开的示例实施例的上述和其他目的、特征和优点将变得更加明显。在本公开的示例实施例中，相同的附图标记通常指代相同的组件。
图1示出了根据本公开的一些实施例的示例视频编解码系统的框图；
图2示出了根据本公开的一些实施例的示例视频编码器的框图；
图3示出了根据本公开的一些实施例的示例视频解码器的框图；
图4示出帧内预测模式的示意图；
图5A示出了顶部参考的示意图；
图5B示出了左侧参考的示意图；
图6示出了在方向超过45°的情况下的不连续性的示意图；
图7A示出了应用于对角线右上帧内模式的PDPC使用的样本定义的示意图；
图7B示出了应用于对角线左下帧内模式的PDPC使用的样本定义的示意图；
图7C示出了应用于相邻对角线右上帧内模式的PDPC使用的样本定义的示意图；
图7D示出了应用于相邻对角线左下帧内模式的PDPC使用的样本定义的示意图；
图8示出邻近预测块的四哥参考线的示例图；
图9A和图9B示出了子划分的示例；
图10示出了矩阵加权帧内预测过程的示意图；
图11示出了空间合并候选的位置的示意图；
图12示出了考虑用于空间合并候选的冗余检查的候选对的示意图；
图13示出了针对时间合并候选的运动矢量缩放的图示；
图14示出了针对时间合并候选的候选位置的示意图；
图15示出了MMVD搜索点的示意图；
图16示出了BDOF中被使用的扩展的CU区域的示意图；
图17示出了针对对称MVD模式的图示的示意图；
图18示出了解码侧运动矢量细化；
图19示出了在CIIP权重导出中被使用的顶部邻近块和左侧邻近块的示意图；
图20示出了按相同角度被分组的GPM分割的示例的示意图；
图21示出了用于几何划分模式的单向预测MV选择的示意图；
图22示出了使用几何划分模式的弯曲权重的示例性生成的示意图；
图23示出了所提出的帧内块解码处理的示意图；
图24示出了来自模板的HoG计算的示意图；
图25示出了通过两个HoG模式和平面的加权平均进行的预测融合的示意过程；
图26示出了根据本公开的一些实施例的用于视频处理的方法的流程图；
图27示出了根据本公开的一些实施例的用于视频处理的方法的流程图；
图28示出了根据本公开的一些实施例的用于视频处理的方法的流程图；
图29示出了根据本公开的一些实施例的用于视频处理的方法的流程图；以及
图30示出了其中可以实现本公开的各种实施例的计算设备的框图。
在所有附图中，相同或相似的附图标记通常指代相同或相似的元素。
具体实施方式
现在将参考一些实施例来描述本公开的原理。应当理解的是，描述这些实施例仅出于说明并且帮助本领域技术人员理解和实施本公开的目的，而不暗示对本公开的范围的任何限制。除了下文所述的方式之外，本文所描述的公开内容还可以以各种方式实施。
在以下描述和权利要求中，除非另有定义，否则在本文中使用的所有科学术语和技术术语具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。
本公开中提及的“一个实施例”、“实施例”、“示例实施例”等指示所描述的实施例可以包括特定的特征、结构或特性，但是并非每个实施例都必须包括该特定的特征、结构或特性。此外，这些短语不一定指同一实施例。此外，当结合示例实施例描述特定的特征、结构或特性时，无论是否明确描述，认为影响与其他实施例相关的这种特征、结构或特性在本领域技术人员的知识范围内。
应当理解的是，尽管术语“第一”和“第二”等可以用于描述各种元素，但这些元素不应受限于这些术语。这些术语仅用于区分一个元素与另一个元素。例如，第一元素可以被称为第二元素，类似地，第二元素可以被称为第一元素，而不脱离示例实施例的范围。如本文中所使用的，术语“和/或”包括一个或多个所列术语的任何和所有组合。
本文中所使用的术语仅用于描述特定实施例的目的，并不旨在限制示例实施例。如本文中所用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指示。还应理解，术语“包括”、“包含”和/或“具有”在本文中使用时表示存在所述特征、元素和/或组件等，但不排除一个或多个其他特征、元素、组件和/或其组合的存在或添加。
示例环境
图1是图示可以利用本公开的技术的示例视频编解码系统100的框图。如所示出的，视频编解码系统100可以包括源设备110和目的设备120。源设备110也可以称为视频编码设备，并且目的设备120也可以称为视频解码设备。在操作中，源设备110可以被配置为生成经编码的视频数据，并且目的设备120可以被配置为对由源设备110生成的经编码的视频数据进行解码。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备之类的源。视频捕获设备的示例包括但不限于从视频内容提供商接收视频数据的接口、用于生成视频数据的计算机图形系统和/或其组合。
视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成码流。码流可以包括形成视频数据的编码表示的位序列。码流可以包括编码图片和相关联的数据。编码图片是图片的编码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器和/或发送器。经编码的视频数据可以通过网络130A经由I/O接口116直接传输至目的设备120。经编码的视频数据也可以存储在存储介质/服务器130B上，以供目的设备120访问。
目的设备120可以包括I/O接口126、视频解码器124和显示设备122。I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130B获取经编码的视频数据。视频解码器124可以对经编码的视频数据进行解码。显示设备122可以向用户显示经解码的视频数据。显示设备122可以与目的设备120集成，或者可以在目的设备120的外部，该目的设备120被配置为与外部显示设备接口连接。
视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他现有和/或将来的标准。
图2是示出根据本公开的一些实施例的视频编码器200的示例的方框图，视频编码器200可以是图1所示的系统100中的视频编码器114的示例。
视频编码器200可以被配置为实现本公开的任何或所有技术。在图2的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在一些实施例中，视频编码器200可以包括划分单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、反量化单元210、反变换单元211、重建单元212、缓冲213和熵编解码单元214，该预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。
在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括块内复制(IBC)单元。IBC单元可以在IBC模式中执行预测，其中至少一个参考图片是当前视频块所位于的图片。
此外，尽管一些组件(诸如运动估计单元204和运动补偿单元205)可以被集成，但是为了解释的目的，这些组件在图2的示例中被分离地示出。
划分单元201可以将图片划分成一个或多个视频块。视频编码器200和视频解码器300(其将在以下详细讨论)可以支持各种视频块大小。
模式选择单元203可以例如基于误差结果来选择多种编解码模式(帧内编码或帧间编码)中的一种编解码模式，并且将所产生的帧内编解码块或帧间编解码块提供给残差生成单元207以生成残差块数据，并且提供给重建单元212以重建编解码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择针对运动矢量的分辨率(例如，亚像素精度或整数像素精度)。
为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲213的一个或多个参考帧与当前视频块进行比较来生成针对当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲213的除了与当前视频块相关联的图片之外的图片的经解码样本，来确定针对当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。如本文中使用的，“I条带”可以是指由宏块构成的图片的一部分，所有宏块均基于同一图片内的宏块。此外，如本文中使用的，在一些方面中，“P条带”和“B条带”可以是指由独立于同一图片中的宏块的宏块构成的图片的部分。
在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以搜索列表0或列表1的参考图片，以寻找针对当前视频块的参考视频块。运动估计单元204然后可以生成参考索引和运动矢量，该参考索引指示列表0或列表1中的包含参考视频块的参考图片，并且该运动矢量指示当前视频块与参考视频块之间的空间位移。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
备选地，在其他示例中，运动估计单元204可以对当前视频块执行双向预测。运动估计单元204可以搜索列表0中的参考图片以寻找针对当前视频块的参考视频块，并且还可以搜索列表1中的参考图片以寻找针对当前视频块的另一参考视频块。运动估计单元204然后可以生成多个参考索引和多个运动矢量，该多个参考索引指示列表0和列表1中的包含多个参考视频块的多个参考图片，并且该多个运动矢量指示在多个参考视频块与当前视频块之间的多个空间位移。运动估计单元204可以输出当前视频块的多个参考索引和多个运动矢量以作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的多个参考视频块来生成针对当前视频块的预测视频块。
在一些示例中，运动估计单元204可以输出完整的运动信息集，以用于解码器的解码处理。备选地，在一些实施例中，运动估计单元204可以参考另一视频块的运动信息来通过信号传输当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中向视频解码器300指示一值，该值指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示在当前视频块的运动矢量与所指示的视频块的运动矢量之间的差异。视频解码器300可以使用所指示的视频块的运动矢量以及运动矢量差来确定当前视频块的运动矢量。
如上所讨论的，视频编码器200可以以预测性的方式通过信号传输运动矢量。可以由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。
帧内预测单元206可以对当前视频块执行帧内预测。当对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中其他视频块的经解码样本来生成针对当前视频块的预测数据。针对当前视频块的预测数据可以包括预测视频块和各个语法元素。
残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成针对当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样本的不同样本部分的残差视频块。
在其他示例中，例如在跳过模式中，针对当前视频块可以不存在针对当前视频块的残差数据，并且残差生成单元207可以不执行减去操作。
变换单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块，来生成针对当前视频块的一个或多个变换系数视频块。
在变换单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
反量化单元210和反变换单元211可以分别对变换系数视频块应用反量化和反变换，以从变换系数视频块重建残差视频块。重建单元212可以将经重建的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样本，以产生与当前视频块相关联的重建视频块，以供存储在缓冲213中。
在重建单元212重建视频块之后，可以执行环路滤波操作以减少视频块中的视频块效应伪像。
熵编解码单元214可以从视频编码器200的其他功能组件接收数据。当数据被接收时，熵编解码单元214可以执行一个或多个熵编码操作，以生成熵编解码数据并且输出包括该熵编解码数据的码流。
图3是示出根据本公开的一些实施例的视频解码器300的示例的方框图，视频解码器300可以是图1所示的系统100中的视频解码器124的示例。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图3的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在图3的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、反量化单元304、反变换单元305、以及重建单元306和缓冲307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200所描述的编码过程相对的解码过程。
熵解码单元301可以取回经编码的码流。经编码的码流可以包括经熵编码的视频数据(例如，经编码的视频数据块)。熵解码单元301可以对经熵编码的视频数据进行解码，并且运动补偿单元302可以从经熵解码的视频数据中确定运动信息，该运动信息包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。运动补偿单元302可以例如通过执行AMVP和合并模式来确定该信息。AMVP被使用，包括基于邻近PB的数据和参考图片得出数个最可能的候选项。运动信息通常包括水平和竖直运动矢量位移值、一个或两个参考图片索引，并且在B条带中的预测区域的情况下，还包括哪个参考图片列表与每个索引相关联的标识。如本文所使用的，在一些方面中，“合并模式”可以是指从空间或时间上邻近的块中导出运动信息。
运动补偿单元302可以产生运动补偿块，可能地基于插值滤波器来执行内插。针对以亚像素精度被使用的插值滤波器的标识符可以被包括在语法元素中。
运动补偿单元302可以使用由视频编码器200在视频块的编码期间使用的插值滤波器来计算用于参考块的亚整数像素的内插值。运动补偿单元302可以根据接收到的语法信息来确定由视频编码器200使用的插值滤波器，并且运动补偿单元302可以使用插值滤波器来产生预测块。
运动补偿单元302可以使用至少部分语法信息来确定用于编码经编码视频序列的(多个)帧和/或(多个)条带的块的大小、描述经编码视频序列的图片的每个宏块如何被划分的划分信息、指示每个划分如何被编码的模式、针对每个帧间编解码块的一个或多个参考帧(和参考帧列表)、以及对经编码视频序列进行解码的其他信息。如本文中所使用的，在一些方面，“条带”可以是指在熵编码、信号预测和残差信号重建方面可以独立于同一图片的其他条带而被解码的数据结构。条带可以是整个图片，或者也可以是图片的区域。
帧内预测单元303可以使用例如在码流中接收的帧内预测模式，以从空间邻近块形成预测块。反量化单元304反量化(即，去量化)在码流中提供的、并且由熵解码单元301解码的量化视频块系数。反变换单元305应用反变换。
重建单元306可以例如通过将残差块与由运动补偿单元302或帧内预测单元303生成的相应预测块相加来获得经解码的块。如果需要的话，还可以应用去块效应滤波器以对经解码的块进行过滤，以便去除块效应伪像。经解码的视频块随后被存储在缓冲307中，缓冲307为后续运动补偿/帧内预测提供参考块，并且缓冲307还产生经解码的视频以供在显示设备上呈现。
下文将详细描述本公开的一些示例实施例。应当注意，在本文件中使用章节标题是为了便于理解，而不是将章节中公开的实施例仅限于该章节。此外，尽管参考通用视频编解码或其他特定视频编解码器描述了一些实施例，但是所公开的技术也适用于其他视频编解码技术。此外，尽管一些实施例详细描述了视频编码步骤，但是应当理解的是取消编码的相应解码步骤将由解码器实现。此外，术语视频处理包括视频编解码或压缩、视频解码或解压缩以及视频转码，在该视频转码中视频像素被从一种压缩格式表示为另一种压缩格式或以不同的压缩码率表示。
1.概述
本公开涉及视频编解码技术，具体来说，是关于从多于一个组合生成预测块，其中每种组合可以从不同的编解码技术获得，它可以应用于HEVC、VVC等现存视频编解码标准，也可以适用于未来的视频编解码标准或视频编解码器。
2.背景
视频编解码标准主要通过众所周知的ITU-T和ISO/IEC标准的发展而演进。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4Visual，两个组织联合制定了H.262/MPEG-2Video和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中使用了时间预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合创立了联合视频探索团队(JVET)。JVET会议每季度同时举行一次，新的视频编解码标准在2018年4月的JVET会议上被正式命名为多功能视频编解码(VVC)，当时发布了VVC测试模型(VTM)的第一个版本。VVC工作草案和测试模型VTM在每次会议后都被更新。VVC项目在2020年7月的会议上实现了技术完成(FDIS)。
2.1.编解码工具
2.1.1.帧内预测
2.1.1.1.具有67种帧内预测模式的帧内模式编解码
为了捕捉自然视频中呈现的任意边缘方向，VVC中的定向帧内模式的数量从HEVC中使用的33个扩展到65个。图4示出了帧内预测模式的示意图400。图4中未在HEVC中的新定向模式被描绘为虚线箭头，并且平面和DC模式保持不变。这些更密集的定向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。
在VVC中，对于非正方形块，几种传统的角度帧内预测模式被自适应地替换为广角帧内预测模式。
在HEVC中，每个帧内编解码块都具有正方形形状，并且其每条边的长度是2的幂。因此，不需要除法运算来使用DC模式生成帧内预测子。在VVC中，块可以具有矩形形状，这在一般情况下需要使用每个块的除法运算。为了避免针对DC预测的除法运算，仅使用较长边来计算非正方形块的平均值。
2.1.1.2.帧内模式编解码
为了保持最可能模式(MPM)列表生成的复杂度较低，考虑到两种可用的邻近帧内模式，采用6MPM的帧内模式编解码方法。考虑以下三个方面来构建MPM列表：
–默认帧内模式
–邻近帧内模式
–导出帧内模式
无论是否应用MRL和ISP编解码工具，统一的6-MPM列表都用于帧内块。MPM列表是基于左侧和上方邻近块的帧内模式构建的。假设左侧的模式表示为Left，上方块的模式表示为Above，则统一的MPM列表被构建如下：
–当邻近块不可用时，其内部模式默认被设置为平面。
–如果Left和Above两个模式都是非角度模式：
–MPM列表→{平面、DC、V、H、V-4、V+4}
–如果Left和Above模式中的一个模式是角度模式，另一个模式是非角度模式：
–在Left和Above中设置模式Max作为较大的模式
–MPM列表→{平面、Max、DC、Max-1、Max+1、Max-2}
–如果Left和Above都是角度的，并且它们是不同的：
–在Left和Above中设置模式Max作为较大的模式
–如果Left模式和Above模式的差在2到62(含)的范围内
–MPM列表→{平面，Left，Above，DC，Max-1，Max+1}
–否则
–MPM列表→{平面，Left，Above，DC，Max-2，Max+2}
–如果Left和Above都是角度的，并且它们是相同的：
–MPM列表→{平面，Left，Left-1，Left+1，DC，Left-2}
此外，mpm索引码字的第一个二进制位是CABAC上下文编解码的。总共三个上下文被使用，对应于当前帧内块是启用MRL、启用ISP还是正常帧内块。
在6-MPM列表生成过程中，修剪被使用以删除重复的模式，以便只有唯一的模式可以包含在MPM列表中。对于61个非MPM模式的熵编解码，截断二进制码(TBC)被使用。
2.1.1.3.针对非正方形块的广角帧内预测
常规的角度帧内预测方向被定义为顺时针方向的45度到-135度。在VVC中，对于非正方形块，几种常规的角度帧内预测模式被自适应地替换为广角帧内预测模式。替换的模式使用原始模式索引通过信号被传输，原始模式索引在解析后被重新映射到广角模式的索引。帧内预测模式的总数不变，即67个，并且帧内模式编解码方法不变。
图5A示出了顶部参考的示意图500。图5B示出了左侧参考的示意图550。为了支持这些预测方向，长度为2W+1的顶部参考被定义为如图5A所示的参考，并且长度为2H+1的左侧参考被定义为如图5B所示的参考。
广角方向模式中替换的模式的数量取决于块的宽高比。替换的帧内预测模式如表1所示。
表1-被广角模式替代的帧内预测模式
图6示出了在方向超过45°的情况下不连续性的框图。如图6所示，在广角帧内预测的情况下，两个垂直相邻的预测样本可以使用两个非相邻的参考样本。因此，低通参考样本滤波器和侧平滑被应用于广角预测，以减少增加的间隙Δpα的负面影响。如果广角模式表示非分数偏移。广角模式中有8种模式满足这个条件，8种模式是[-14，-12，-10，-6,72,76,78,80]。当块通过这些模式被预测时，参考缓冲中的样本被直接复制，而不应用任何插值。通过这种修改，需要平滑的样本数量减少了。此外，它对齐了传统预测模式和广角模式中的非分数模式的设计。
在VVC中，支持4:2:2和4:4:4以及4:2:0色度格式。4:2:2色度格式的色度导出模式(DM)导出表最初是从HEVC移植的，HEVC将条目数量从35扩展到67，以与帧内预测模式的扩展保持一致。由于HEVC规范不支持低于-135度和高于45度的预测角度，范围从2到5的亮度帧内预测模式被映射到2。因此，针对4:2:2:色度格式的色度DM导出表通过替换映射表的条目的值被更新，以更精确地转换色度块的预测角度。
2.1.1.4.模式相关帧内平滑(MDIS)
四抽头帧内插值滤波器用于提高定向帧内预测精度。在HEVC中，使用两抽头线性插值滤波器生成定向预测模式(即不包括平面和DC预测子)中的帧内预测块。在VVC中，简化的6位4抽头高斯插值滤波器仅用于定向帧内模式。非定向帧内预测过程是不变的。4抽头滤波器的选择是根据提供非分数位移的定向帧内预测模式的MDIS条件被执行的，即排除以下的所有定向模式：2、HOR_IDX、DIA_IDX、VER_IDX、66。
根据帧内预测模式，执行以下参考样本处理：
–定向帧内预测模式被分类至以下组中的一个：
–垂直模式或水平模式(HOR_IDX、VER_IDX)，
–对角线模式，表示角度是45度的倍数(2，DIA_IDX，VDIA_IDX)，
–其余定向模式；
–如果定向帧内预测模式被分类为属于A组，则没有滤波器被应用于参考样本以生成预测的样本；
–否则，如果模式属于B组，则[1,2,1]参考样本滤波器可以被应用(取决于MDIS条件)于参考样本，以根据所选方向将这些滤波值进一步复制到帧内预测子中，但没有插值滤波器被应用；
–否则，如果模式被分类为属于C组，则仅有帧内参考样本插值滤波器被应用于参考样本，以生成根据所选方向落在参考样本之间的分数位置或整数位置的预测的样本(不执行参考样本滤波)。
2.1.1.5.位置相关帧内预测组合
在VVC中，通过位置相关帧内预测组合(PDPC)方法进一步修改DC、平面和几个角模式的帧内预测结果。PDPC是一种帧内预测方法，它调用边界参考样本和具有滤波边界参考样本的HEVC式的帧内预测的组合。PDPC应用于以下帧内模式，无需发出信号：平面、DC、水平、垂直、左下角模式及其八个相邻角模式，以及右上角模式及其八个相邻角模式。
根据如下等式3-8，预测样本pred(x’,y’)是使用帧内预测模式(DC，平面，角)和参考样本的线性组合来预测的：
pred(x’,y’)＝(wL×R-1,y’+wT×Rx’,-1-wTL×R-1,-1+(64-wL-
wT+wTL)×pred(x’,y’)+32)>>6 (2-1)
其Rx,-1,R-1,y分别表示位于当前样本(x，y)顶部和左侧边界的参考样本，并且R-1,-1表示位于当前块左上角的参考样本。
如果PDPC应用于DC、平面、水平和垂直帧内模式，则不需要额外的边界滤波，如HEVC DC模式边界滤波或水平/垂直模式边缘滤波的情况所需。DC模式和平面模式的PDPC过程是相同的，并且修剪操作被避免。对于角模式，pdpc缩放因子被调整，使得不需要范围检查，并去除启用pdpc的角度条件(使用缩放>＝0)。此外，PDPC权重在所有角模式情况下是基于32。PDPC权重取决于预测模式，如表2所示。PDPC被应用于宽度和高度都大于或等于4的块。
图7A示出了应用于对角右上帧内模式的PDPC所使用的样本定义的示意图700。图7B示出了应用于对角左下帧内模式的PDPC所使用的样本定义的示意图720。图7C示出了应用于相邻对角右上帧内模式的PDPC所使用的样本定义的示意图740。图7D示出了应用于相邻对角左下帧内模式的PDPC所使用的样本定义的示意图760。预测样本pred(x’,y’)位于预测块内的(x’,y’)。例如，参考样本Rx,-1的坐标x由：x＝x’+y’+1给出，参考样本R-1,y的坐标y类似地由针对对角线模式的：y＝x’+y’+1给出。对于其他角模式，参考样本Rx,-1和R-1,y可以位于分数样本位置。在这种情况下，最附近整数样本位置的样本值被使用。
表2-根据预测模式的PDPC权重示例
2.1.1.6.多参考行(MRL)帧内预测
多参考行(MRL)帧内预测使用更多的参考行用于帧内预测。图8示出了与预测块相邻的四个参考行的示例图800。在图8中，描绘了4个参考行的示例，其中段A和段F的样本不是从重建的邻近样本中提取的，而是分别用来自段B和段E的最接近的样本填充的。HEVC帧内图片预测使用最附近的参考行(即参考行0)。在MRL中，使用了2条附加行(参考行1和参考行3)。
所选参考行的索引(mrl_idx)通过信号被发送并用于生成帧内预测子。对于大于0的参考行索引，仅在MPM列表中包括附加的参考行模式，并且仅信号MPM索引而不包括其余模式。在帧内预测模式之前参考行索引通过信号被发送，如果非零参考行索引通过信号被发送，则帧内预测模式不包括平面模式。
对CTU内的块的第一行禁用MRL，以防止在当前CTU行外使用扩展的参考样本。此外，当使用附加行时，PDPC将被禁用。对于MRL模式，非零参考行索引的DC帧内预测模式中的DC值的导出与参考行索引0的导出对齐。MRL需要存储具有CTU的3条邻近亮度参考行来生成预测。跨分量线性模型(CCLM)工具的下采样滤波还需要3个邻近的亮度参考行。使用相同3行的MRL的定义与CCLM一致，以减少解码器的存储要求。
2.1.1.7.帧内子划分(ISP)
帧内子划分(ISP)根据块尺寸将亮度帧内预测块垂直或水平划分为2或4个子划分。例如，ISP的最小块尺寸为4×8(或8×4)。如果块尺寸大于4×8(或8×4)，则对应块将被划分为四个子划分。我们注意到，M×128(M≤64)和128×N(N≤64)ISP块可能会对64×64VDPU生成潜在问题。例如，单树情况下的M×128CU有一个M×128亮度TB和两个相应的色度TB。如果CU使用ISP，那么亮度TB将被分成4个M×32TB(只能水平分割)，每个TB都小于64×64块。然而，在目前的ISP设计中，色度块是不可分割的。因此，两个色度分量的尺寸都将大于32×32块。类似地，使用ISP的128×NCU也可以创建类似的情况。因此，这两种情况是64×64解码器流水线的问题。因此，可以使用ISP的CU尺寸被限制为最大值64×64。图9A示出了4x8和8x4 CU 930的子划分910和920的示例。图9B示出了除4x8、8x4和4x4之外的CU 970的子划分950和960的示例。所有子划分都满足具有至少16个样本的条件。
在ISP中，不允许1xN/2xN子块预测依赖于编解码块的先前解码的1xN/2xN子块的重建值，从而使得子块的最小预测宽度变为四个样本。例如，使用具有垂直分割的ISP被编解码的8xN(N>4)编解码块被分割成两个尺寸为4xN的预测区域和四个尺寸为2xN的变换。此外，使用具有垂直分割的ISP被编解码的4xN编解码块使用完整的4xN块被预测；四个变换中的每个1xN变换被使用。尽管允许1xN和2xN的变换尺寸，但断言这些块在4xN区域的变换可以并行地被执行。例如，当一个4xN预测区域包含四个1xN变换时，水平方向上没有变换；垂直方向的变换可以作为垂直方向的单个4xN变换被执行。类似地，当4xN预测区域包含两个2xN变换块时，每个方向(水平和垂直)的两个2xN块的变换操作可以并行进行。因此，相比处理4x4正则编解码的帧内块，处理这些较小的块不会增加延迟。
表3-熵编解码系数组尺寸
块尺寸 系数组尺寸
1×N,N≥16 1×16
N×1,N≥16 16×1
2×N,N≥8 2×8
N×2,N≥8 8×2
所有其他可能的M×N情况 4×4
对于每个子划分，通过将残差信号与预测信号相加来获得重建样本。这里，通过诸如熵解码、反量化和反变换的过程来生成残差信号。因此，每个子划分的重建样本值可用于生成下一个子划分的预测，并且每个子划分被重复处理。此外，要处理的第一个子划分是包含CU的左上样本，然后向下(水平分割)或向右(垂直分割)继续的子划分。因此，用于生成子划分预测信号的参考样本仅位于行的左侧和上方。所有子划分共享相同的帧内模式。以下是ISP与其他编解码工具的交互摘要。
–多参考行(MRL)：如果块的MRL索引不是0，则ISP编解码模式将被推断为0，因此ISP模式信息将不会发送到解码器。
–熵编解码系数组尺寸：如表3所示，熵编解码子块的尺寸已被修改，以便在所有可能的情况下都有16个样本。值得注意，新的尺寸仅影响通过ISP产生的其中一个维度小于4个样本的块。在所有其他情况下，系数组保持4×4维度。
–CBF编解码：假设至少有一个子划分具有非零CBF。因此，如果n是子划分的数目，并且第一n-1子划分已经产生零CBF，则第n子划分的CBF被推断为1。
–MPM使用：MPM标志将被推断为通过ISP模式编解码的块中的一个，MPM列表被修改以排除DC模式，并优先考虑针对ISP水平分割的水平帧内模式和针对ISP垂直分割的垂直帧内模式。
–变换尺寸限制：所有长度大于16点的ISP变换都使用DCT-II。
–PDPC：当CU使用ISP编解码模式时，PDPC滤波器不会被应用于结果子划分。
–MTS标志：如果CU使用ISP编解码模式，MTS CU标志将设置为0，并且不会发送到解码器。因此，编码器不会对每个结果子划分的不同可用变换执行RD测试。ISP模式的变换选择将改为固定的，并根据所使用的帧内模式、处理顺序和块尺寸进行选择。因此，不需要用信号发出。例如，设tH和tV分别为w×h子划分选择的水平变换和垂直变换，其中w为宽度，h为高度。然后根据以下规则选择变换：
–如果w＝1或h＝1，则分别不存在水平变换或垂直变换。
–如果w＝2且w>32,tH＝DCT-II
–如果h＝2且h>32,tV＝DCT-II
–否则，变换如表4所示被选择。
表4-变换选择取决于帧内模式
/>
在ISP模式中，允许所有67个帧内预测模式。如果相应的宽度和高度至少为4个样本长，则也应用PDPC。此外，帧内插值滤波选择的条件不再存在，并且在ISP模式下，三次(DCT-IF)滤波总是用于分数位置插值。
2.1.1.8.矩阵加权帧内预测(MIP)
矩阵加权帧内预测(MIP)方法是一种新加入VVC的帧内预测技术。为了预测宽度W和高度H的矩形块的样本，矩阵加权帧内预测(MIP)以块左侧的一行H重建邻近边界样本和块上方的一行W重建邻近边界样本作为输入。如果重建样本不可用，则像传统帧内预测一样生成它们。图10示出了矩阵加权帧内预测过程的示意图1000。预测信号的生成基于以下三个步骤，它们是平均、矩阵矢量乘法和线性插值，如图10所示。
平均邻近样本
在边界样本中，通过基于块大小和形状进行平均来选择四个样本或八个样本。具体地，输入边界bdrytop和bdryleft会根据取决于块的大小的预定义的规则，通过对邻近边界样本进行平均，缩小为更小的和/>边界。然后，将两个缩小的边界/>和连接到缩小的边界矢量bdryred，因此，对于形状4×4的块缩小的边界矢量的大小为四，对于所有其他形状的块缩小的边界矢量的大小为八。如果模式是指MIP模式，则此连接定义如下：
矩阵乘法
将平均样本作为输入，执行矩阵矢量乘法，然后添加偏移。结果是原始块中的样本的子采样集上缩减的预测信号。从缩减的输入矢量bdryred中生成缩减的预测信号predred,，该缩减的预测信号是宽度Wred和高度Hred的下采样块上的信号。此处，Wred和Hred被定义为：
通过计算矩阵矢量乘积并添加偏移来计算缩减的预测信号predred：
predred＝A·bdryred+b.
这里，A是一个矩阵，如果W＝H＝4，则它有Wred·Hred行和4列，在所有其他情况下有8列。b是Wred·Hred大小的矢量。矩阵A和偏移矢量b取自S0，S1，S2.其中一个集合。索引idx＝idx(W,H)定义如下：
这里，矩阵A的每个系数以8位的精度表示。集合S0由16个矩阵组成，每个矩阵具有16行4列，以及16个偏移矢量/>每个偏移矢量的大小为16。该集合的矩阵和偏移矢量用于尺寸为4×4的块。集合S1由8个矩阵/>组成，每个矩阵具有16行和8列，以及8个偏移矢量/> 每个偏移矢量大小为16。集合S2由6个矩阵/> 组成，每个矩阵具有64行和8列，以及6个偏移矢量/> 每个偏移矢量大小为64。
插值
其余位置处的预测信号是通过线性插值从子采样集上的预测信号生成的，该线性插值是在每个方向上的单步线性插值。插值首先在水平方向上被执行，然后在垂直方向上被执行，与块的形状或块的尺寸无关。
MIP模式的信令和与其他编解码工具的协调
对于帧内模式中的每个编解码单元(CU)，发送指示是否要应用MIP模式的标志。如果要应用MIP模式，则用信号发送MIP模式(predModeIntra)。对于MIP模式，转置标志(isTransposed)用于确定模式是否转置，MIP模式标识(modeId)用于确定给定MIP模式使用的矩阵，其导出过程如下：
isTransposed＝predModeIntra&1
modeId＝predModeIntra>>1 (2-6)
通过考虑以下方面，MIP编解码模式与其他编解码工具相协调：
–大块上的MIP启用LFNST。这里使用平面模式的LFNST变换
–MIP的参考样本导出像传统帧内预测模式一样被执行
–对于MIP预测中使用的上采样步骤，使用原始参考样本而不是下采样样本
–在上采样之前执行剪裁，而不是在上采样之后执行剪裁
–无论最大变换大小如何，MIP都允许达到64×64
–MIP模式的数目对于sizeId＝0为32，对于sizeId＝1为16，对于sizeId＝2为12。
2.1.2.帧间预测
对于每个帧间预测的CU，运动参数包括运动矢量、参考图片索引和参考图片列表使用索引、以及将被用于帧间预测样本生成的VVC的新编解码特征所需的附加信息。运动参数可以以显式或隐式方式通过信号被传输。当CU用跳过模式被编解码时，CU与一个PU相关联，并且没有显著的残差系数，没有编解码运动矢量增量或参考图片索引。合并模式被指定，由此当前CU的运动参数从邻近的CU被获得，邻近的CU包括空间候选和时间候选，以及VVC中引入的附加安排。合并模式可以被应用于任何帧间预测CU，而不仅仅是跳过模式。合并模式的替代方案是运动参数的显式传输，其中运动矢量，每个参考图片列表的相应参考图片索引和参考图片列表使用标志以及其他所需信息针对每个CU显式地通过信号被传输。
除了HEVC中的帧间编解码功能外，VVC还包括一些新的和细化的帧间预测编解码工具，如下所示：
–扩展合并预测
–具有MVD的合并模式(MMVD)
–对称MVD(SMVD)信令
–仿射运动补偿预测
–基于子块的时间运动矢量预测(SbTMVP)
–自适应运动矢量分辨率(AMVR)
–运动场存储：1/16亮度样本MV存储和8x8运动场压缩
–具有CU级权重的双预测(BCW)
–双向光流(BDOF)
–解码器侧运动矢量细化(DMVR)
–几何划分模式(GPM)
–组合的帧间和帧内预测(CIIP)
下面的文本提供了VVC中指定的那些帧间预测方法的详细信息。
2.1.2.1.扩展合并预测
在VVC中，合并候选列表是通过按顺序包括以下五种类型的候选来构建的：
1)来自空间邻近CU的空间MVP
2)来自同位CU的时间MVP
3)来自FIFO表的基于历史的MVP
4)成对平均MVP
5)零MV。
合并列表的大小在序列参数集头中通过信号传输，并且合并列表的最大允许大小是6。对于合并模式中的每个CU码，使用截断的一元二进制化(TU)对最佳合并候选的索引进行编解码。合并索引的第一个二进制位(bin)使用上下文进行编解码，而旁路编解码用于其他二进制位。
每个类别的合并候选的导出过程在本节中提供。正如在HEVC中所操作的那样，VVC还支持在一定大小的区域内对所有CU的合并候选列表的并行导出。
2.1.2.2空间候选导出
VVC中空间合并候选的导出与HEVC中的导出相同，只是前两个合并候选的位置被交换。图11示出了显示空间合并候选的位置的示意图1100。在位于图11所示位置的候选中，最多选择四个合并候选。导出顺序为B0、A0、B1、A1和B2。只有当位置B0、A0、B1和A1的一个或多于一个CU不可用时(例如，因为它属于另一个条带或图块)或是经帧内编解码的时，才考虑位置B2。在添加了位置A1处的候选之后，对剩余候选的添加进行冗余检查，该冗余检查确保具有相同运动信息的候选被从列表中排除，从而提高了编解码效率。为了降低计算复杂度，在提到的冗余检查中并没有考虑所有可能的候选对。图12是图示了针对空间合并候选的冗余检查所考虑的候选对的示意图1200。相反，只考虑图12中利用箭头链接的对，并且只有用于冗余检查的对应候选不具有相同的运动信息，才将候选添加到列表中。
2.1.2.3时间候选导出
在这个步骤中，只有一个候选被添加到列表中。特别地，在该时间合并候选的导出中，基于属于同位参考图片的同位CU来导出缩放运动矢量。在条带头中显式地通过信号传输要用于导出同位的CU的参考图片列表。图13示出了时间合并候选的运动矢量缩放的示意图1300。如图13中的虚线所示，针对时间合并候选的缩放的运动矢量被获得，该矢量是使用POC距离，tb和td，从同位的CU的运动矢量缩放而来的，其中tb被定义为当前图片的参考图片与当前图片之间的POC差，td被定义为同位的图片的参考图片与同位的图片之间的POC差。时间合并候选的参考图片索引被设置为等于零。
图14是示出了针对时间合并候选C0与C1的候选位置的示意图1400。如图14所示，时间候选的位置在候选C0与C1之间被选择。如果位置C0处的CU不可用则被帧内编解码，或位置C0处的CU在CTU的当前行之外，则使用位置C1。否则，在时间合并候选的导出中使用位置C0。
2.1.2.4.基于历史的合并候选导出
基于历史的MVP(HMVP)合并候选被添加到空间MVP和TMVP之后的合并列表中。在该方法中，将先前编解码块的运动信息存储在表中，并用作当前CU的MVP。在编码/解码过程中维护具有多个HMVP候选的表。当遇到新的CTU行时，该表被重置(清空)。每当存在非子块帧间编解码CU时，将相关联的运动信息作为新的HMVP候选添加到表的最后一个条目。
HMVP表大小S被设置为6，这指示可以向该表添加多达6个基于历史的MVP(HMVP)候选。当将新的运动候选插入到表中时，使用受约束的先进先出(FIFO)规则，其中首先应用冗余检查来发现表中是否存在相同的HMVP。如果找到，则从表中移除相同的HMVP，然后将所有HMVP候选向前运动。
HMVP候选可以用于合并候选列表构建过程。按顺序检查表中最近的几个HMVP候选，并将其插入TMVP候选之后的候选列表中。冗余检查被应用于HMVP候选至空间或时间合并候选。
为了减少冗余检查操作的数目，引入了以下简化：
1.用于合并列表生成的HMPV候选数目设置为(N<＝4)？M:(8-N)，其中N指示合并列表中现有候选的数目，M指示表中可用HMVP候选的数目。
2.一旦可用合并候选的总数达到最大允许合并候选减1，则终止来自HMVP的合并候选列表构建过程。
2.1.2.5.成对平均合并候选导出
成对平均候选是通过对现有合并候选列表中的预定义候选对进行平均来生成的，并且预定义对被定义为{(0，1)、(0，2)、(1，2)，(0，3)、(1，3)，(2，3)}，其中数字表示合并候选列表的合并索引。对于每个参考列表单独计算平均运动矢量。如果两个运动矢量在一个列表中都可用，则即使这两个运动矢量指向不同的参考图片，也会对其进行平均；如果只有一个运动矢量可用，则直接使用该运动矢量；如果没有可用的运动矢量，保持此列表无效。
当添加成对平均合并候选后合并列表未满时，将在最后插入零MVP，直到遇到最大合并候选数目。
2.1.2.6.合并估计区域
合并估计区域(MER)允许在同一合并估计区域(MER)中针对CU独立导出合并候选列表。针对生成当前CU的合并候选列表，与当前CU在相同MER内的候选块被不包括。此外，仅当(xCb+cbWidth)>>Log2ParMrgLevel大于xCb>>Log2ParMrgLevel并且(yCb+cbHeight)>>Log2parMrglevel大于(yCb>>Log2ParMrgLevel)，针对基于历史的运动矢量预测子候选列表的更新过程被更新，并且其中(xCb，yCb)是图片中当前CU的左上方亮度样本位置，并且(cbWidth,cbHeight)是CU尺寸。MER大小在编码器端被选择，并在序列参数集中以log2_parallel_merge_level_minus2的形式来通过信号传输。
2.1.3.具有MVD的合并模式(MMVD)
除了将隐式导出的运动信息直接用于当前CU的预测样本生成的合并模式之外，在VVC中引入了具有运动矢量差的合并模式(MMVD)。在发送跳过标志和合并标志之后立即通过信号传输MMVD标志，以指定是否MMVD模式被用于CU。
在MMVD中，合并候选被选择之后，其由通过信号传输的MVD信息进一步细化。进一步的信息包括合并候选标志、指定运动幅度的索引，以及指示运动方向的索引。在MMVD模式中，选择合并列表中前两个候选的一个被使用作为MV基础。合并候选标志通过信号被传输以指定使用哪一个。
距离索引指定运动幅度信息，并指示距起点的预定义偏移。图15示出了L0参考的MMVD搜索点的示意图1510和L1参考的MMVD搜索点的示意图1520。如图15所示，偏移被添加到起始MV的水平分量或垂直分量。距离索引和预定义偏移的关系如表5所示。
表5：距离索引与预定义偏移的关系
方向索引表示MVD相对于起点的方向。方向索引可以表示四个方向，如表6所示。注意，MVD符号的含义可以根据起始MV的信息而变化。当起始MV是单向预测MV或双向预测MV时，其中两个列表都指向当前图片的同一侧(即两个参考的POC都大于当前图片的POC或者都小于当前图片的POC)，表6中的符号指定了加在起始MV上的MV偏移的符号。当起始MV是双向预测MV时，其中两个MV指向当前图片的不同侧(即一个参考的POC大于当前图片的POC，另一个参考的POC小于当前图片的POC)，表6中的符号指定添加到起始MV的list0 MV分量的MV偏移的符号，并且list1 MV的符号具有相反的值。
表6：由方向索引指定的MV偏移的符号
方向索引 00 01 10 11
x轴 + – N/A N/A
y轴 N/A N/A + –
2.1.3.1.具有CU级权重的双向预测(BCW)
在HEVC中，通过对从两个不同的参考图片获得的两个预测信号进行平均和/或使用两个不同运动矢量来生成双向预测信号。在VVC中，双向预测模式被扩展到简单平均之外，以允许对两个预测信号进行加权平均。
Pbi-pred＝((8-w)*P0+w*P1+4)＞＞3 (2-7)
在加权平均双向预测中允许五个权重，w∈{-2,3,4,5,10}。对于每个双向预测CU，以两种方式之一确定权重w：1)对于非合并CU，在运动矢量差之后通过信号传输权重索引；2)对于合并CU，基于合并候选索引从邻近块推断权重索引。BCW仅应用于具有256个或更多亮度样本的CU(即CU宽度乘以CU高度大于或等于256)。对于低延迟图片，将使用所有5个权重。对于非低延迟图片，仅使用3个权重(w∈{3,4,5})。
–在编码器处，在不显著增加编码器复杂度的情况下，应用快速搜索算法来找到权重索引。这些算法总结如下。可以参考VTM软件和文档以获得进一步的细节。当与AMVR组合时，如果当前图片是低延迟图片，则仅有条件地检查1-像素和4-像素运动矢量精度的不等权重。
–当与仿射组合时，在且仅在仿射模式被选择为当前最佳模式的情况下，将针对不相等的权重执行仿射ME。
–当双向预测中的两个参考图片相同时，仅有条件地检查不相等的权重。
–当满足某些条件时，不搜索不等权重，这取决于当前图片与其参考图片之间的POC距离、编解码QP和时间级。
BCW权重索引是使用一个上下文编解码的二进制位然后是旁路编解码的二进制位来编解码的。第一上下文编解码的二进制位指示是否使用相等的权重；并且如果使用不相等的权重，则使用旁路编解码通过信号传输附加二进制位，以指示使用哪个不相等的权重。
加权预测(WP)是H.264/AVC和HEVC标准支持的一种编解码工具，用于在衰落的情况下对视频内容进行高效编解码。VVC标准中还增加了对WP的支持。WP允许为每个参考图片列表L0和列表L1中的每个参考图片通过信号传输加权参数(权重和偏移)。然后，在运动补偿期间，应用对应参考图片的权重和偏移。WP和BCW是为不同类型的视频内容而设计的。为了避免WP和BCW之间的交互(这将使VVC解码器设计复杂化)，如果CU使用WP，则BCW权重索引不通过信号被传输，并且w被推断为4(即应用相等的权重)。对于合并CU，权重索引是基于合并候选索引从邻近块推断的。这可以应用于正常合并模式和继承的仿射合并模式。对于构建的仿射合并模式，基于多达3个块的运动信息来构建仿射运动信息。使用构建的仿射合并模式的CU的BCW索引被简单地设置为等于第一控制点MV的BCW索引。
在VVC中，CIIP和BCW不能联合应用于CU。当使用CIIP模式对CU进行编解码时，当前CU的BCW索引设置为2，例如相等的权重。
2.1.3.2.双向光流(BDOF)
双向光流(BDOF)工具被包含在VVC中。BDOF，以前称为BIO，被包含在JEM中。与JEM版本相比，VVC中的BDOF是一个更简单的版本，需要的计算要少得多，特别是在乘法次数和乘法器的尺寸方面。
BDOF被用于在4×4子块级细化CU的双向预测信号。如果满足以下所有条件，则BDOF被应用于CU：
–CU使用“真”双向预测模式被编解码，即两个参考图片中的一个在显示顺序上先于当前图片，并且两个参考图片中的另一个在显示顺序上在当前图片之后
–两个参考图片到当前图片的距离(即POC差)相同
–两张参考图片均为短期参考图片。
–CU未使用仿射模式或ATMVP合并模式被编解码
–CU有超过64个亮度样本
–CU高度和CU宽度均大于或等于8个亮度样本
–BCW权重索引指示相等的权重
–当前CU未启用WP
–CIIP模式不被用于当前CU
BDOF仅应用于亮度分量。正如其名称所示，BDOF模式基于光流概念，该概念假设物体的运动是平滑的。对于每个4×4子块，运动细化(vx,vy)通过最小化L0预测样本和L1预测样本之间的差异被计算。然后运动细化被使用来调整4x4子块中的双预测样本值。BDOF过程中应用以下步骤。
首先，通过直接计算两个邻近样本之间的差异，两个预测信号的水平梯度和垂直梯度，被计算，即，
其中I(k)(i,j)是列表k,k＝0,1,中预测信号坐标(i,j)处的样本值，并且shift1基于亮度位深度bitDepth被计算为shift1＝max(6，bitDepth-6)。
然后，梯度S1,S2,S3,S5和S6的自相关和互相关被计算如下：
S1＝∑(i,j)∈ΩAbs(ψx(i,j)),S3＝∑(i,j)∈Ωθ(i,j)·Sign(ψx(i,j))
S5＝∑(i,j)∈ΩAbs(ψy(i,j)),S6＝∑(i,j)∈Ωθ(i,j)·Sign(ψy(i,j))
其中，
θ(i,j)＝(I(1)(i,j)＞＞nb)-(I(0)(i,j)＞＞nb)
其中Ω是围绕4×4子块的6×6窗口，并且na和nb的值分别设置为min(1，bitDepth-11)和min(4，bitDepth-8)。
然后使用互相关项和自相关项运动细化(vx,vy)使用以下方法被导出：
其中th′BIO＝2max(5,BD-7)。/>是向下舍入(floor)功能，并且/>
基于运动细化和梯度，针对4×4子块中的每个样本计算以下调整：
最后，通过以如下所示的方式调整双向预测样本，CU的BDOF样本被计算：
predBDOF(x,y)＝(I(0)(x,y)+I(1)(x,y)+b(x,y)+ooffset)＞＞shift (2-13)
选择这些值是为了使BDOF过程中的乘法器不超过15位，并且BDOF过程中中间参数的最大位宽保持在32位以内。
为了导出梯度值，当前CU边界之外的列表k(k＝0,1)中的一些预测样本I(k)(i,j)需要被生成。图16示出了在BDOF中被使用的扩展的CU区域的示意图1600。如图16所描绘，VVC中的BDOF在CU的边界周围使用一个扩展行/列。为了控制生成边界外预测样本的计算复杂度，扩展区域中的预测样本(白色位置)通过直接取附近整数位置(在坐标上使用floor()操作)的参考样本被生成，而不利用插值被生成，并且常规的8抽头运动补偿插值滤波器被使用来生成CU内的预测样本(灰色位置)。这些扩展样本值仅被用于梯度计算。对于BDOF过程中的其余步骤，如果CU边界之外的任何样本值和梯度值被需要，则这些样本值和梯度值从它们的最近的邻居被填充(即重复)。
当CU的宽度和/或高度大于16个亮度样本时，它将被分割成宽度和/或高度等于16个亮度样本的子块，子块边界被视为BDOF过程中的CU边界。BDOF过程的最大单元尺寸被限制为16x16。对于每个子块，BDOF过程可以跳过。当初始L0预测样本和L1预测样本之间的SAD小于阈值时，BDOF过程不被应用于子块。阈值被设置为等于(8*W*(H>>1)，其中W表示子块宽度，并且H表示子块高度。为了避免SAD计算的附加复杂度，这里DVMR过程中计算的初始L0预测样本和L1预测样本之间的SAD被重新使用。
如果对当前块启用BCW，即BCW权重索引指示不相等的权重，则禁用双向光流。类似地，如果对当前块启用WP，即两个参考图片中的任何一个的luma_weight_lx_flag是1，则也禁用BDOF；当CU使用对称MVD模式或CIIP模式被编解码时，也禁用BDOF。
2.1.4.对称MVD编解码
在VVC中，除了常规的单向预测模式MVD信令和双向预测模式MVD信令外，对称MVD模式针对双向预测MVD信令被应用。在对称MVD模式下，包括列表0和列表1两者的参考图片索引和列表1的MVD在内的运动信息不通过信号被传输，而是被导出。
对称MVD模式的解码过程如下：
1)在条带级，变量BiDirPredFlag，RefIdxSymL0和RefIdxSymL1被导出如下：
–如果mvd_l1_zero_flag为1，则BiDirPredFlag被设置为等于0。
–否则，如果列表0中最近的参考图片和列表1中最近的参考图片形成向前和向后的参考图片对或向后和向前的参考图片对，则BiDirPredFlag被设置为1，列表0参考图片和列表1参考图片两者都是短期参考图片。否则BiDirPredFlag被设置为0。
2)在CU级，如果CU是被双向预测编解码的并且BiDirPredFlag等于1，则指示对称模式是否被使用的对称模式标志被显式地通过信号传输。
当对称模式标志为真时，只有mvp_l0_flag、mvp_l1_flag和MVD0被显式地通过信号传输。列表0和列表1的参考索引分别被设置为等于参考图片对。MVD1被设置为等于(-MVD0)。最终的运动矢量如下公式所示。
图17图示对称MVD模式的图示的示意图。在编码器中，对称MVD运动估计从初始MV评估开始。一组初始MV候选包括从单向预测搜索获得的MV、从双向预测搜索获得的MV以及来自AMVP列表的MV。具有最低失真率成本的一个被选择作为针对对称MVD运动搜索的初始MV。
2.1.5.解码器侧运动矢量细化(DMVR)
为了提高合并模式MV的精度，在VVC中应用了基于双边匹配的解码器侧运动矢量细化。在双向预测操作中，在参考图片列表L0和参考图片列表L1中的初始MV周围搜索细化的MV。BM方法计算参考图片列表L0和列表L1中两个候选块之间的失真。图18示出了解码侧运动矢量细化。如图18所示，基于初始MV周围的每个MV候选，计算块1810和块1812之间的SAD，其中针对当前图片1802，块1810在列表L0中的参考图片1801中，块1812在列表L1中的参考图片1803中。具有最低SAD的MV候选成为细化的MV，并用于生成双向预测信号。
在VVC中，DMVR可以被应用于利用以下模式和功能被编解码的CU：
–具有双向预测MV的CU级合并模式
–相对于当前图片，一张参考图片是过去的，另一张参考图片是未来的
–从两个参考图片到当前图片的距离(即POC差)相同
–两张参考图片均为短期参考图片
–CU有超过64个亮度样本
–CU高度和CU宽度均大于或等于8个亮度样本
–BCW权重索引指示相等的权重
–当前块未启用WP
–CIIP模式未用于当前块
通过DMVR过程被导出的细化MV被用于生成帧间预测样本，并且还被用于未来图片编解码的时间运动矢量预测。而原始MV被用于去块过程，并且还被用于未来CU编解码的空间运动矢量预测。
DMVR的附加功能在以下子条款中有所提及。
2.1.5.1.搜索方案
在DVMR中，搜索点围绕初始MV，并且MV偏移服从MV差镜像规则。换句话说，由候选MV对(MV0，MV1)表示的DMVR检查的任何点遵循以下两个等式：
MV0′＝MV0+MV_offset (2-15)
MV1′＝MV1-MV_offset (2-16)
其中，MV_offset表示参考图片之一中的初始MV和细化MV之间的细化偏移。细化搜索范围是从初始MV开始的两个整数亮度样本。搜索包括整数样本偏移搜索阶段和分数样本细化阶段。
整数样本偏移搜索采用25点全搜索。首先计算初始MV对的SAD。如果初始MV对的SAD小于阈值，则DMVR的整数样本阶段终止。否则，剩余24个点的SAD按光栅扫描顺序被计算和被检查。选择SAD最小的点作为整数样本偏移搜索阶段的输出。为了减少DMVR细化不确定性的影响，提出在DMVR过程中支持原始MV。由初始MV候选参考的参考块之间的SAD减少了SAD值的1/4。
整数样本搜索之后是分数样本细化。为了节省计算复杂度，利用参数误差表面方程导出了分数样本细化，而不是使用SAD比较进行额外搜索。分数样本细化是基于整数样本搜索阶段的输出被有条件地调用的。当整数样本搜索阶段在第一次迭代或第二次迭代搜索中以具有最小SAD的中心结束时，分数样本细化被进一步应用。
在基于参数误差表面的亚像素偏移估计中，中心位置成本和距中心四个邻近位置的成本被用于拟合以下形式的二维抛物型误差表面方程
E(x,y)＝A(x-xmin)2+B(y-ymin)2+C (2-17)
其中(xmin,ymin)对应于具有最小成本的分数位置，并且C对应于最小成本值。通过使用五个搜索点的成本值求解上述方程，(xmin,ymin)被计算为：
xmin＝(E(-1,0)-E(1,0))/(2(E(-1,0)+E(1,0)-2E(0,0))) (2-18)
ymin＝(E(0,-1)-E(0,1))/(2((E(0,-1)+E(0,1)-2E(0,0))) (2-19)
xmin和ymin的值自动限制在-8和8之间，因为所有成本值都为正，并且最小值为E(0,0)。这对应于VVC中具有1/16-像素MV精度的半像素偏移。计算的分数(xmin,ymin)被添加到整数距离细化MV以获得亚像素精确的细化delta MV。
2.1.5.2.双线性插值和样本填充
在VVC中，MV的分辨率是1/16亮度样本。使用8抽头插值滤波器对分数位置处的样本进行插值。在DMVR中，搜索点围绕具有整数样本偏移的初始分数像素MV，因此针对DMVR搜索过程这些分数位置的样本需要被插值。为了降低计算复杂度，双线性插值滤波器被用于生成DMVR中搜索过程的分数样本。另一个重要的效果是，通过使用双线性滤波器，在2样本搜索范围内，与正常的运动补偿过程相比，DVMR不会访问更多的参考样本。在通过DMVR搜索过程获得细化的MV之后，应用普通的8抽头插值滤波器来生成最终预测。为了不访问正常MC过程的更多参考样本，将从那些可用样本中填充样本，这些样本对于基于原始MV的插值过程是不需要的，但是对于基于细化MV的插值过程是需要的。
2.1.5.3.最大DMVR处理单元
当CU的宽度和/或高度大于16个亮度样本时，它将被进一步分割为宽度和/或者高度等于16个亮度样本的子块。DMVR搜索过程的最大单元尺寸被限制为16x16。
2.1.6.组合帧间和帧内预测(CIIP)
在VVC中，当以合并模式对CU进行编解码时，如果CU包含至少64个亮度样本(即，CU宽度乘以CU高度等于或大于64)，并且如果CU宽度和CU高度都小于128个亮度样本，则通过信号传输附加标志，以指示组合帧间/帧内预测(CIIP)模式是否被应用于当前CU。图19示出了在CIIP权重导出中使用的顶部和左侧相邻块的示意图1900。如其名称所示，CIIP预测将帧间预测信号与帧内预测信号进行组合。CIIP模式中的帧间预测信号Pinter是使用应用于常规合并模式的相同帧间预测过程来导出的；并且在平面模式的常规帧内预测过程之后导出帧内预测信号Pintra。然后，使用加权平均来组合帧内和帧间预测信号，其中权重值取决于顶部和左侧邻近块的编解码模式而被计算如下(图19中描绘的)：
-如果顶部邻居可用且已进行帧内编解码，则将isIntraTop设置为1，否则将isIntra top设置为0；
-如果左侧邻居可用且已进行帧内编解码，则将isIntraLeft设置为1，否则将isIntralLeft设置成0；
-如果(isIntraLeft+isIntraTop)等于2，则wt设置为3；
-否则，如果(isIntraLeft+isIntraTop)等于1，则wt设置为2；
-否则，将wt设置为1。
CIIP预测被建立如下：
PCIIP＝((4-wt)*Pinter+wt*Pintra+2)＞＞2 (2-20)
2.1.7.几何划分模式(GPM)
在VVC中，几何划分模式被支持用于帧间预测。使用CU级标志作为一种合并模式来通过信号传输几何划分模式，其他合并模式包括常规合并模式、MMVD模式、CIIP模式和子块合并模式。对于每个可能的CU尺寸w×h＝2m×2n，其中m,n∈{3…6}且不包括8x64和64x8，几何划分模式总共支持64个划分。
图20示出了按相同角度分组的GPM分割示例的示意图2000。当使用该模式时，CU通过几何定位的直线被分割为两部分(如图20所示)。分割线的位置在数学上是从特定划分的角度和偏移参数导出的。CU中的几何划分的每个部分使用其自身的运动进行帧间预测；每个划分只允许单向预测，即每个部分都有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与传统的双向预测相同，每个CU只需要两个运动补偿预测。
如果几何划分模式用于当前CU，则指示几何划分的划分模式(角度和偏移)的几何划分索引以及两个合并索引(每个划分一个)被进一步通过信号传输。最大GPM候选大小的数目在SPS中被显式地通过信号传输，并且指定用于GPM合并索引的语法二进制化。在预测了几何划分的每个部分之后，使用具有自适应权重的混合处理来调整沿着几何划分边缘的样本值。这是整个CU的预测信号，并且将像在其他预测模式中一样对整个CU应用变换和量化过程。最后，使用几何划分模式预测的CU的运动场被存储。
2.1.7.1.单向预测候选列表构建
单向预测候选列表直接从根据扩展合并预测过程构建的合并候选列表中导出。将n表示为几何单向预测候选列表中的单向预测运动的索引。第n个扩展合并候选的LX运动矢量被用作几何划分模式的第n个单向预测运动矢量，X等于n的奇偶性。图21示出了用于几何划分模式的单预测MV选择的示意图2100。这些运动矢量在图21中用“x”标记。如果第n个扩展合并候选的对应LX运动矢量不存在，则替代地使用相同候选的L(1-X)运动矢量作为几何划分模式的单向预测运动矢量。
2.1.7.2.沿几何划分边缘的混合
在使用其自身的运动来预测几何划分的每个部分之后，将混合应用于两个预测信号以导出几何划分边缘周围的样本。CU的每个位置的混合权重是基于个体位置和划分边缘之间的距离被导出的。
位置(x,y)到划分边缘的距离被导出为：
/>
其中i,j是几何划分的角度和偏移的索引，其取决于通过信号传输的几何划分索引。ρx,j和ρy,j的符号取决于角度索引i。
几何划分的每个部分的权重如下导出：
wIdxL(x,y)＝partIdx？32+d(x,y):32-d(x,y) (2-25)
w1(x,y)＝1-w0(x,y) (2-27)
partIdx取决于角度索引i。图22示出了使用几何划分模式的弯曲权重w0的示例性生成的示意图2200。
2.1.7.3.用于几何划分模式的运动场存储
来自几何划分第一部分的Mv1、来自几何划分第二部分的Mv2以及Mv1和Mv2的组合Mv被存储在几何划分模式编解码的CU的运动场中。
运动场中每个个体位置的存储的运动矢量类型被确定为：
sType＝abs(motionIdx)<32？2∶(motionIdx≤0？(1-partIdx):partIdx) (2-43)
其中motionIdx等于d(4x+2,4y+2)，这是根据等式(2-36)重新计算的。partIdx取决于角度索引i。
如果sType等于0或1，则Mv0或Mv1被存储在对应运动场中，否则，如果sTType等于2，则存储来自Mv0和Mv2的组合Mv。
组合Mv使用以下过程被生成：
1)如果Mv1和Mv2来自不同的参考图片列表(一个来自L0，另一个来自L1)，则Mv1和Mv2被简单地组合以形成双向预测运动矢量。
2)否则，如果Mv1和Mv2来自同一列表，则仅存储单向预测运动Mv2。
2.1.8.多假设预测(MHP)
本公开采用先前提出的多假设预测。在帧间AMVP模式、常规合并模式以及MMVD模式之上，最多两个附加的预测子通过信号被传输。得到的整体预测信号利用每个附加的预测信号被迭代地累积。
pn+1＝(1-αn+1)pn+αn+1hn+1权重因子α根据下表指定：
add_hyp_weight_idx α
0 1/4
1 -1/8
针对帧间AMVP模式，只有在双向预测模式中选择BCW中的不相等权重时才应用MHP。
2.1.9.解码器侧帧内模式导出(DIMD)
从当前块的邻近像素计算的梯度直方图(HoG)中选择了三个角度模式。一旦选择了三个模式，它们的预测子将正常计算，然后使用它们的加权平均值作为块的最终预测子。为了确定权重，HoG中的对应幅度用于三个模式中的每一个。DIMD模式用作替代预测模式，并始终在FullRD模式中检查。
当前版本的DIMD在信令、HoG计算和预测融合方面已被修改。此修改的目的是提高编解码性能以及解决上次会议期间提出的复杂性问题(即4x4块的吞吐量)。以下部分描述了每个方面的修改。
2.1.9.1.信号
图23示出了所提出的帧内块解码过程的示意图2300。图23示出了与所提出的DIMD集成的VTM5中解析标志/索引的顺序。
可以看出，首先使用单个CABAC上下文解析块的DIMD标志，该CABAC上下文被初始化为默认值154。
如果标志＝＝0，则解析正常继续。
否则(如果标志＝＝1)，只解析ISP索引，并推断出以下标志/索引为零：BDPCM标志、MIP标志、MRL索引。在这种情况下，整个IPM解析也会被跳过。
在解析阶段期间，当常规非DIMD块查询其DIMD邻居的IPM时，模式PLANAR_IDX被用作DIMD块的虚拟IPM。
2.1.9.2.纹理分析
图24示出了从宽度为3像素的模板进行HoG计算的示意图2400。DIMD的纹理分析包括梯度直方图(HoG)计算(如图24所示)。HoG计算是通过在块周围的宽度为3的模板中的像素上应用水平和垂直Sobel滤波器来进行的。但是，如果上述模板像素落入不同的CTU中，则它们将不会用于纹理分析。
一旦计算完成，就会为块选择对应于两个最高直方图条的IPM。
在以前的版本中，模板中线上的所有像素都涉及在HoG计算中。然而，当前版本通过在4x4块上更稀疏地应用Sobel滤波器来提高此过程的吞吐量。为此目的，仅使用来自左侧的一个像素和来自上方的一个像素。
除了减少梯度计算的操作数量外，此属性还简化了从HoG中选择最佳2种模式的过程，因为所得到的HoG不能具有多于两个非零幅度。
2.1.9.3.预测融合
该方法对每个块使用三个预测器的融合。然而，预测模式的选择不同，并使用组合假设帧内预测方法，其中平面模式被认为是在计算帧内预测候选时与其他模式结合使用。在当前版本中，对应于两个最高HoG条的两个IPM与平面模式相结合。
预测融合作为上述三个预测子的加权平均值应用。为此目的，平面的权重固定为21/64(～1/3)。然后，剩余的43/64(～2/3)权重在两个HoG IPM之间共享，与其HoG条的幅度成比例。图25示出了通过两个HoG模式和平面的加权平均的预测融合的示意过程2500。
2.1.10.基于模板的帧内模式导出(TIMD)
使用相邻模板从MPM导出TIMD模式。TIMD模式用作CU的附加帧内预测方法。
2.1.10.1.TIMD模式导出
对于MPM中的每个帧内预测模式，计算模板的预测和重建样本之间的SATD。选择具有最小SATD的帧内预测模式作为TIMD模式，并且用于当前CU的帧内预测。TIMD模式的导出中包括位置相关的帧内预测组合(PDPC)。
2.1.10.2.TIMD信令
在序列参数集(SPS)中通过信号传输标志以启用/禁用建议的方法。当标志为真时，通过信号传输CU级别标志以指示是否使用建议的TIMD方法。TIMD标志紧跟在MIP标志之后。如果TIMD标志等于真，则与亮度帧内预测模式相关的其余语法元素，包括亮度帧内预测模式的MRL、ISP和正常解析阶段，都将被跳过。
2.1.10.3.TIMD模式导出中MPM列表构造的修改
在MPM列表的构建期间，相邻块的帧内预测模式在被帧间编解码时，被导出为平面。为了提高MPM列表的准确性，在相邻块被帧间编解码时，传播的帧内预测模式使用运动矢量和参考图片被导出，并用于MPM列表的构建。这种修改仅适用于TIMD模式的导出。
3.问题
在现存视频编解码技术中存在几个问题，需要进一步改进以获得更高的编解码增益。
(1)多重假设预测(例如CIIP、MHP等)与其他编解码工具的组合需要被仔细设计。
(2)为多重假设预测块生成组合的编解码方法需要被仔细设计。
4.具体描述
下面的详细公开应被视为解释一般概念的示例。这些公开不应以狭隘的方式来解释。此外，这些公开可以以任何方式组合。
术语“视频单元”或“编解码单元”或“块”可表示编解码树块(CTB)、编解码树单元(CTU)、编解码块(CB)、CU、PU、TU、PB、TB。
在本公开中，关于“利用模式N被编解码的块”，这里的“模式N”可以是预测模式(例如，MODE_INTRA、MODE_INTER、MODE_PLT、MODE_IBC等)或编解码技术(例如，AMVP、合并、SMVD、BDOF、PROF、DMVR、AMVR、TM、仿射、CIIP、GPM、MMVD、BCW、HMVP、SbTMVP等)。
本公开中的“多重假设预测”可以指将多于一个预测/组合/假设组合/混合为一个以供以后重建过程的任何编解码工具。例如，组合/假设可以是INTER模式编解码的、INTRA模式编解码的或任何其他编解码模式/方法，如CIIP、GPM、MHP等。
在下面的讨论中，多重假设预测块的“基本假设”可以指具有第一组加权值的第一假设/预测。
在下面的讨论中，多重假设预测块的“附加假设”可以指具有第二组加权值的第二假设/预测。
多重假设预测的组成
1.在一个示例中，模式X可以不被允许生成利用多重假设预测模式Y被编解码的多重假设预测块的假设。
1)例如，多重假设预测块的基本假设可以不被允许通过模式X被编解码。
2)例如，多重假设预测块的附加假设可以不被允许通过模式X被编解码。
3)例如，针对X编解码的块，它可以永远不会通过信号传输与模式Y相关的任何块级编解码信息。
4)例如，X是调色板编解码块(例如，PLT模式)。
5)备选地，模式X可以被允许使用来生成利用模式Y被编解码的多重假设预测块的假设。
a)例如，X是对称MVD编解码(例如，SMVD)模式。
b)例如，X是基于基于模板匹配的技术。
c)例如，X是基于基于双边匹配的技术。
d)例如，X是组合的帧内和帧间预测(例如，CIIP)模式。
e)例如，X是几何划分预测(例如，GPM)模式。
6)模式Y可以是CIIP、GPM或MHP。
2.CIIP可以与模式X(诸如GPM、或MMVD、或仿射)一起被用于块。
1)在一个示例中，GPM中的至少一个假设通过CIIP被生成。换言之，GPM中的至少一个假设被生成为至少一个帧间预测和一个帧内预测的加权和。
1)在一个示例中，CIIP中的至少一个假设通过GPM被生成。换言之，CIIP中的至少一个假设被生成为至少两个帧间预测的加权和。
2)在一个示例中，CIIP中的至少一个假设通过MMVD被生成。
3)在一个示例中，CIIP中的至少一个假设通过仿射预测被生成。
4)在一个示例中，模式X是否可以与CIIP一起被使用可以取决于诸如块维度的编解码信息。
5)在一个示例中，模式X是否可以与CIIP一起被使用可以通过信号从编码器被传输至解码器。
a)在一个示例中，信令可以通过诸如块维度的编解码信息被调节。
3.在一个示例中，多重假设预测块的一个或多个假设可以基于位置相关预测组合(例如，PDPC)被生成。
1)例如，假设的预测样本可以首先通过PDPC被处理，然后才被使用来生成多重假设预测块。
2)例如，基于考虑了邻近样本值的PDPC而获得的预测子可以被用于生成假设。
3)例如，基于考虑了邻近样本的梯度的基于梯度的PDPC而获得的预测子可以被用于生成假设。
a)例如，基于梯度的PDPC可以被应用于帧内模式(平面、DC、水平、垂直或对角线模式)的编解码假设。
4)例如，PDPC预测子可以不是基于当前块内部的预测样本。
a)例如，PDPC预测子可以仅是基于邻近当前块的预测(或重建)样本。
b)例如，PDPC预测子可以是基于邻近当前块的预测(或重建)样本和在当前块内部的预测(或重建)样本两者。
4.在一个示例中，多重假设预测块可以基于解码器侧细化技术被生成。
1)例如，解码器侧细化技术可以被应用于多重假设预测块的一个或多个假设。
2)例如，解码器侧细化技术可以被应用于多重假设预测块。
3)例如，解码器侧细化技术可以是基于解码器侧模板匹配(例如，TM)、解码器侧双边匹配(例如，DMVR)、或解码器侧双向光流(例如，BDOF)或利用光流的预测细化(PROF)。
4)例如，多重假设预测块可以利用CIIP、MHP、GPM或任何其它多重假设预测模式被编解码。
5)例如，多重假设块(例如，CIIP)的INTER预测运动数据可以通过解码器侧模板匹配(TM)、和/或解码器侧双边匹配(DMVR)和/或解码器侧双向光流(BDOF)被进一步细化。
6)例如，多重假设块(例如，CIIP)的INTER预测样本可以通过解码器侧模板匹配(TM)、和/或解码器侧双边匹配(DMVR)、和/或解码器侧双向光流(BDOF)或利用光流的预测细化(PROF)被进一步细化。
7)例如，多重假设块(例如，CIIP、MHP等)的INTRA预测部分可以通过解码器侧模式导出(例如，DIMD)、解码器侧帧内模板匹配等被进一步细化。
8)多重假设块的细化帧内预测模式/运动信息可以被禁止以预测在相同条带/图块/图片/子图片中将要被编码/被解码的后续块。
9)备选地，解码器侧细化技术可以不被应用于多重假设预测块。
a)例如，解码器侧细化技术可以不被允许对MHP编解码块使用。
5.对于基于块的多假设预测编解码的块(例如，利用CIIP、MHP被编解码)，建议将块导出为多个子块/子划分/划分
1)在一个示例中，可以通过信号传输/导出多组运动信息。
a)在一个示例中，对于每个子块/子划分/划分，可以导出一组运动。
2)在一个示例中，子块/子部分/划分的最终预测可能仅取决于与其相关联的一组运动信息。
a)或者，子块/子部分/划分的最终预测可能仅依赖于与其相关联的多于一组运动信息。
6.在一个示例中，如果多假设预测单元(例如，编解码单元)包含多于一个子块/子划分/划分，其中每个子块/子划分/划分的尺寸小于整个多假设预测单元的尺寸，则可以应用以下规则：
1)例如，多假设预测单元可以以统一的方式划分。
a)例如，多假设预测单元可以被划分为矩形或正方形子块。
b)例如，多假设预测单元可以被划分为M×N个子块。
i.例如，M＝N。
ii.例如，M！＝N。
iii.例如，M＝4或8或16。
iv.例如，N＝4或8或16。
v.例如，M等于整个多假设预测单元的宽度，并且N小于整个多假设预测单元的高度。
vi.例如，M小于整个多假设预测单元的宽度，并且N等于整个多假设预测单元的高度。
c)例如，多假设预测单元可以被划分为三角形子块。
i.例如，多假设预测单元可以被划分为两个对角线三角形。
2)例如，可以以非均匀/不规则的方式划分多假设预测单元。
a)例如，多假设预测单元可以通过斜线或直线来划分(例如，GPM划分等)。
b)例如，多假设预测单元可以由曲线划分。
3)例如，多假设预测单元的子块/子划分/划分/假设是否是经帧内编解码的，可以取决于多假设预测单元的划分信息。
a)例如，它可能取决于划分线的角度。
i.例如，哪个GPM划分是被帧内模式编解码的可以取决于GPM划分模式(或GPM划分角度、或GPM划分距离)。
ii.例如，一个或多个查找表(或映射表)可以针对GPM划分模式(或GPM划分角度，或GPM划分距离)与哪个子块/子划分/划分/假设是经帧内编解码的之间的对应关系被预定义。
b)例如，它可以取决于与子块/子划分/划分/假设相邻的邻近样本(在整个多假设预测单元之外)的数量(并且这也取决于多假设预测单元如何被划分)。
4)例如，在整个多假设预测单元的子块/子划分/划分/假设是被帧内模式编解码的情况下，什么帧内模式被允许用于子块/子划分/划分/假设可以取决于划分信息。
a)例如，是否使用水平帧内模式、垂直帧内模式、对角帧内模式或其它帧内模式可以取决于多假设预测单元的划分信息。
b)例如，预定义的帧内模式集可以取决于上方和/或左侧邻居样本是否可用于此子块/子划分/划分/假设来定义。
i.例如，当子块/子划分/划分/假设没有在整个多假设编解码单元之外但与当前子块/子划分/划分/假设相邻的左侧邻近样本(子块/子划分/划分/假设划分的尺寸小于多假设编解码单元)时，可能不允许水平或接近水平帧内模式。
ii.例如，当子块/子划分/划分/假设没有在整个多假设编解码单元之外但与当前子块/子划分/划分/假设相邻的上方邻近样本时，可能不允许垂直或接近垂直帧内模式。
c)例如，什么帧内模式被允许用于GPM划分可能取决于GPM划分模式(或GPM划分角度，或GPM划分距离)。
i.例如，预定义的帧内模式集可以取决于GPM划分形状/角度/距离/模式被定义。
ii.例如，一个或多个查找表(或映射表)可以针对GPM划分模式(或GPM划分角度，或GPM划分距离)和什么帧内模式被允许用于经帧内编解码的子块/子划分/划分/假设之间的对应关系被预定义。
a)例如，至多一个帧内模式可以被允许用于GPM划分。
b)例如，一组预定义的帧内模式可以被允许用于GPM划分。
iii.另外，什么帧内模式被用于GPM划分可以取决于整个GPM编解码单元之外但与当前GPM划分相邻的可用邻近样本(GPM划分的尺寸小于GPM编解码单元)。
a)例如，如果GPM划分没有左侧邻近样本，但具有与当前GPM划分相邻的上方邻近样本，则从左到右预测的水平或接近水平帧内模式可以被允许用于当前GPM划分。
b)例如，如果一个GPM划分没有上方邻近样本，但具有与当前GPM划分相邻的左侧邻近样本，则从上到下预测的垂直或接近垂直帧内模式可以被允许用于当前GPM划分。
c)例如，如果GPM划分既没有上方邻近样本，也没有与当前GPM划分相邻的邻近样本，则帧内模式不被允许用于当前GPM划分。
i.可选地，在这样的情况下，除了水平/垂直/近水平/近垂直帧内模式之外的特定帧内模式可以被允许用于当前GPM划分。
5)在一个示例中，假设预测单元不可以锐度剪切的方式被划分为子块/子划分/划分。相反，可以使用拆分子块/子划分/划分的方式来确定单元中预测样本的加权值。
a)如果单元被划分为多个子块/子划分/划分，并且每个子块/子划分/划分的预测样本是独立导出的，则该单元以锐度剪切的方式划分为子块/子划分/划分。
b)如果单元在概念上被划分在多个子块/子划分/划分中，但每个子块/子划分/划分的预测样本不是独立导出的，则该单元不被以锐度剪切的方式划分为子块/子划分/划分。
c)在一个示例中，针对第一子块/子划分/划分中的第一位置的第一预测的第一加权值可以大于针对第二子块/子划分/划分中的第二位置上的第一预测的第二加权值。
i.例如，第一预测可以是帧内预测，第一子块/子划分/划分可以被视为经帧内编解码的子块/子划分/划分，并且第二子块/子划分/划分可以被视为经帧内编解码的子块/子划分/划分。
d)替选地，此外，在这种情况下，不再通过信号传输划分信息的指示。
6)在一个示例中，在多假设预测中使用的加权值的导出可以取决于假设预测单元(例如，编解码单元)是否包含多于一个子块/子划分/划分。
a)在一个示例中，可以在每个子块/子划分/划分中的相对样本位置上导出加权值。
i.在一个示例中，在第一子块/子划分/划分中的第一相对样本位置上的第一加权值可以等于在第二子块/子划分/划分中的相同相对样本位置上的第二加权值。
b)替选地，可以朝着整个假设预测单元中的相对样本位置导出加权值。
c)在一个示例中，不同的权值可以用于子块/子划分/划分的不同维度。
7)在被多假设预测编解码的块中使用的划分/加权值可以取决于被编解码的信息、颜色分量、颜色格式等。
a)在一个示例中，色度分量遵循应用于亮度分量的划分规则。
i.替选地，色度分量具有应用于亮度分量的不同划分规则。
b)在一个示例中，色度分量遵循应用于亮度分量的加权值导出规则。
i.替选地，此外，应用于色度分量的加权值可以共享/从亮度分量导出。
8)上述方法也可应用于项目符号5中提到的项目符号。
CIIP/MHP帧间组件
7.例如，虚拟/生成的运动数据(例如，包括运动矢量、预测方向、参考索引等)可用于多假设预测(例如，CIIP、MHP、GPM等)。
1)虚拟/生成的运动数据可以通过基本块方式在基本块中被生成。例如，基本块可以是4×4块。
a)在一个示例中，基本块的运动数据可以取决于如何在该基本块上进行假设预测，诸如该基本块上的加权值、该基本块上的划分方法、该基本块上的多假设预测的一个预测的运动数据等等。
2)例如，可以根据预定义的规则导出预测方向(L0、L1或bi)。
a)例如，如果在用于基础块的所有假设预测中只能找到用于L0的运动信息，则可以将基础块的预测方向设置为单向预测L0。
b)例如，如果在针对基础块的所有假设预测中只能找到针对L0的运动信息，则可以将基础块的预测方向设置为单向预测L1。
c)例如，如果可以在基础块的所有假设预测中找到两个方向的运动信息，则可以将基础块的预测方向设置为bi。
3)例如，虚拟/生成的运动可以是根据预定义规则创建的双预测运动。
a)例如，虚拟/生成的BI运动可以由来自第一候选列表的候选的L0运动和来自第二候选列表的候选的L1运动构造。
i.例如，第一候选列表和/或第二候选列表可以是预定义的。
ii.例如，第一候选列表可以是AMVP候选列表、MERGE候选列表、基于GPM/AMVP/MERGE候选构建的新候选列表、或任何其它运动候选列表。
iii.例如，第二候选列表可以是MERGE候选列表、AMVP候选列表、基于GPM/AMVP/MERGE候选构造的新候选列表、或任何其它运动候选列表。
iv.另外，第一候选列表不同于第二候选列表。
v.另外，第一候选列表可以与第二候选列表相同。
4)例如，虚拟/生成的运动可以是按照预定义规则创建的单向预测运动。
a)例如，虚拟/生成的单向运动可以由来自第三候选列表的候选的L0或L1运动构造。
i.例如，第三候选列表可以是AMVP候选列表、MERGE候选列表、基于GPM/AMVP/MERGE候选构造的新候选列表、或任何其它运动候选列表。
5)例如，如果L0/L1/BI运动来自MERGE候选列表，则可以通过信号传输合并候选索引。
a)替选地，合并候选索引可以从解码器导出方法被隐式导出(例如，基于模板匹配，或基于双边匹配等)
6)例如，如果L0/L1/BI运动来自AMVP候选列表，则运动矢量差(例如，MVD)可以通过信号传输。
a)此外，可以通过信号传输AMVP候选索引。
i.替选地，AMVP候选索引可以从解码器导出方法被隐式导出(例如，基于模板匹配，或基于双边匹配等)
b)替选地，运动矢量差可以从解码器导出方法被隐式导出(例如，基于模板匹配，或基于双边匹配等)。
7)例如，虚拟/生成的运动数据可用于生成预测块，并且所得预测块可用于计算最终预测视频单元(例如，多假设预测块、新编解码模式)。
a)另外，运动/样本细化可以进一步应用于所生成的预测块。
i.例如，运动/样本细化可以是模板匹配(TM)、双边匹配、解码器导出的运动矢量细化(例如DMVR)、多遍次解码器导出的运动矢量细化(例如MPDMVR)、BODF、PROF等。
8)例如，虚拟/生成的运动数据可以用于后续程序，例如去块过程。
9)例如，虚拟/生成的运动数据可用于预测后续块中的运动数据。
CIIP/MHP帧内组件
8.例如，多假设预测块的帧内部分(例如，CIIP、MHP、GPM等)可以基于预定义规则被确定。
1)例如，多假设预测块的帧内部分(例如，CIIP、MHP、GPM等)可以以基于融合的帧内预测为基础来导出。
a)例如，基于融合的帧内预测可以指从多于一个帧内模式混合的预测块。
b)例如，基于融合的帧内预测可以由来自预定义帧内模式集的前X个帧内模式生成。
i.例如，前X(诸如X>1)个帧内模式可以是具有最低成本的模式。
a)此外，可以基于模板匹配方法或双边匹配方法来计算成本。
i.例如，可以使用基于模板匹配的方法来对一组预定义的帧内模式进行排序，并为多假设块的帧内部分选择最佳X个模式。
b)此外，可以基于使用邻近采样的信息的质量度量(例如，SAD/SATD/MSE等)来计算成本。
c)此外，成本可以基于来自邻近样本的梯度直方图(HoG)来计算。
ii.例如，预定义的帧内模式集可以包括平面模式、和/或常规帧内模式、和/或来自MPM列表的帧内模式等。
c)例如，用于多个预测样本混合/融合的权重可以取决于帧内预测角度/方向。
i.另外，用于多个预测样本混合/融合的权重可以取决于GPM划分模式、和/或GPM划分角度、和/或GPM划分距离。
d)例如，用于多个预测样本混合/融合的权重可以是基于块/划分/子块的(例如，不同的块/划分/子块可能具有不同的权重)。
i.替选地，用于多个预测样本混合/融合的权重可以是基于样本的(例如，可以将不同的权重分配给不同的样本)。
9.例如，多假设预测块的帧内部分(例如，CIIP、MHP、GPM等)可以基于解码器导出的方法来确定。
1)在一个示例中，解码器可以确定帧内预测模式导出(DIMD)。
2)在一个示例中，可以通过基于模板的帧内预测模式导出(TIMD)来确定。
加权因子设计和存储
10.在一个示例中，在帧内预测样本与另一个预测样本(可以是经帧间编解码的，或帧内编解码的，或从其他混合的预测样本)混合的情况下，使用什么混合/融合权重可以取决于编解码信息。
1)例如，导出混合权重的规则可能取决于被混合样品的预测模式。
a)例如，不同的假设组合(诸如“帧内+帧内”、“帧内+帧间”或“帧间+帧间”)可以不同。
2)例如，帧内和帧间/帧内的混合权重可以取决于被用于混合/融合的帧内预测样本之一预测模式。
3)例如，可以基于什么帧内模式被用于视频单元来为特定的融合方法定义多于一组的混合/融合权重。
a)例如，可以根据帧内模式基于分类来定义不同的权重集，该帧内模式诸如水平模式、垂直模式、广角模式、对角线模式、反对角线模式、在其中从顶部和左侧邻近样本预测样本的帧内模式(例如，对应于角度大于水平的帧内模式索引，小于18的帧内模式索引)、在其中从顶部邻近样本预测样本的帧内模式(例如，对应于角度小于垂直的帧内模式索引，索引大于50的帧内模式)、在其中从左侧邻近样本预测样本的帧内模式(例如，大于水平(例如18)但小于垂直(例如50)的帧内模式索引)等等。
b)例如，权重设置可以基于现有编解码工具(诸如PDPC、CIIP等)中的权重定义/分类的规则。
4)例如，可以基于当前样本属于哪个子块/子单元，为特定融合方法定义多于一组混合/融合权重。
a)例如，不同的样本可能具有不同的权重。
b)例如，属于不同子块的样本可能具有不同的权重。
c)例如，子块可以具有非矩形形状。
5)加权值可以取决于颜色分量。
a)在一个示例中，第一(例如色度)分量上的加权值可基于第二(例如亮度)分量上的对应加权值导出
11.例如，多假设预测块的帧内模式信息(例如，GPM、MHP、CIIP等)可以以M×M单位的基础被存储(诸如M＝4、或8、或16)。
a)例如，对于位于混合区域处的M×M单元，其中MxM单元内的所有子块/子划分/划分/假设都是被INTRA编解码的，子块/子划分/划分/假设的帧内模式被存储可以取决于(i)划分信息(例如，划分角度/距离/模式等)；(ii)子块/子划分/划分/假设的尺寸；iii)帧内模式信息；(iv)预定义规则。
b)例如，对于位于包含经帧内编解码的和经帧间编解码的子块/子划分/划分/假设的混合区域处的M×M单元，是否存储运动数据或帧内模式信息可以取决于(i)预定义的规则；(ii)帧内模式信息；(iii)帧间运动数据；(iv)划分信息(例如，划分角度/距离/模式等)，(v)子块/子划分/划分/假设的尺寸。
c)例如，上述基于M×M单元的帧内模式存储可用于多预测模式，该多预测模式将编解码单元划分为多于一个子块/子划分/划分(例如，GPM等)。
d)例如，上述基于M×M单元的帧内模式存储可用于多预测模式，该多预测模式不将编解码单元划分为子块/子划分/划分(例如，CIIP、MHP等)。
e)例如，上述基于M×M单元的帧内模式存储可用于预测在后续块中的帧内预测模式。
通用
12.是否和/或如何应用上面公开的方法可以在序列级/图片组级/图片级/条带级/图块组级通过信号被传输，诸如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头中。
13.是否和/或如何应用上面公开的方法可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/其他种类的包含多于一个样本或像素的区域中通过信号被传输。
是否和/或如何应用上面公开的方法可以取决于编解码信息，例如块尺寸、颜色格式、单/双树划分、颜色分量、条带/图片类型。
5.实施例
本公开的实施例与混合预测工具有关。如本文所用，“混合预测工具”或“混合预测”或“多假设预测(工具)”的术语是指将多于一个预测/组合/假设组合/混合成一个以用于以后重建过程的任何编解码工具。例如，组合/假设可以被INTER模式编解码、被INTRA模式编解码或任何其他编解码模式/方法，如CIIP、GPM、MHP等。
如本文所用，“术语块”可以表示编解码块(CB)、编解码单元(CU)、预测单元(PU)、变换单元(TU)、预测块(PB)、变换块(TB)。
图26示出了根据本公开的一些实施例的用于视频处理的方法2600的流程图。方法2600可以在视频的目标视频块和视频的码流之间的转换期间实现。如图26所示，方法2600开始于2602，其中确定目标视频块的多个划分(或子块或子划分)。目标视频块由混合预测工具编解码。混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测。例如，混合预测工具是基于块的多假设预测，诸如组合的帧间和帧内预测(CIIP)或多假设预测(MHP)。
如本文所用，“目标视频块”的术语也可以称为“多假设预测块”。如本文所用，“候选预测”的术语也可以称为“假设预测”或“假设”。
在块2604，执行目标视频块和码流之间的转换。例如，转换可以基于由混合预测工具确定的目标预测来执行。
根据本公开的实施例，提出目标视频块可以被导出为多个划分。这样，混合预测工具可以被应用于这些划分来确定目标预测。这种混合预测可以用于提高预测的有效性，从而提高编解码效率。
在一些实施例中，多条运动信息可以被包括在码流中。换句话说，多条运动信息可以通过信号被传输或被导出。或者，在一些实施例中，一条运动信息针对目标视频块的每个划分/子块/子划分被导出。
在一些实施例中，目标视频块的划分的最终预测取决于与划分相关联的至少一条运动信息。例如，划分/子块/子划分的最终预测可能仅取决于一条运动信息。对于另一个示例，划分/子块/子划分的最终预测可能取决于多于一条运动信息。
在一些实施例中，如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，则目标视频块以均匀的方式被划分。例如，目标视频块可以被划分为矩形或正方形子块。在一些示例实施例中，目标视频块被划分为M×N个子块。例如，M可以等于或不等于N。例如，M可以等于4、8或16。此外，N也可以等于4、8或16。在一些示例实施例中，M等于目标视频块的宽度，并且N小于目标视频块的高度。替选地，在一些示例实施例中，M小于目标视频块的宽度，并且N等于目标视频块的高度。
在一些示例实施例中，目标视频块被划分为三角形子块。例如，目标视频块可以被划分为两个对角三角形。
在一些示例实施例中，如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，则目标视频块以非均匀方式或不规则方式被划分。例如，目标视频块可以通过斜线(例如，GPM划分)、直线或曲线被划分。
替选地或者另外，如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，则目标视频块的划分或候选预测是否是经帧内编解码的取决于目标视频块的划分信息。例如，它可能取决于划分线的角度。针对另一示例，在目标视频块的划分是GPM划分的情况下，GPM划分是否是经帧内编解码的取决于以下中的一项：GPM划分模式、GPM划分角度或GPM划分距离。
在一些示例实施例中，针对几何划分模式(GPM)信息与目标视频块的经帧内编解码的划分之间的关系或GPM信息与目标视频块的经帧内编解码的候选预测之间的关系，至少一个查找表或映射表被预定义。GPM信息可以包括GPM划分模式、GPM划分角度或GPM划分距离，换句话说，针对GPM划分模式(或GPM划分角度或GPM划分距离)与哪个子块/子划分/划分/假设是经帧内编解码的之间的对应关系，一个或多个查找表(或映射表)可以被预定义。
在一些实施例中，目标视频块的划分或候选预测是否是经帧内编解码的取决于与划分或候选预测相邻的邻近样本的数目。例如，邻近样本在目标视频块之外。另外，它进一步可能取决于目标视频块被如何划分。
在一些实施例中，如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，并且如果目标视频块的划分或目标视频块的候选预测是经帧内模式编解码的，则针对划分或候选预测被允许的帧内模式取决于目标视频块的划分信息。换句话说，在整个多假设预测单元的子块/子划分/划分/假设是经帧内模式编解码的情况下，针对子块/子划分/划分/假设被允许的帧内模式可能取决于划分信息。例如，是否使用水平帧内模式、垂直帧内模式、对角线帧内模式或其他帧内模式取决于目标视频块的划分信息。
在一些实施例中，预定义的帧内模式集基于上方样本和/或左侧邻居样本是否针对划分或候选预测可用而被定义。例如，如果划分或候选预测没有在目标视频块之外的、并且与目标视频块的当前划分或当前候选预测相邻的左侧邻近样本，则水平或接近水平的帧内模式被禁止。划分的尺寸或划分的候选预测的尺寸小于目标视频块的尺寸。换句话说，在子块/子划分/划分/假设没有在整个多假设编解码单元之外的、但是与当前子块/子划分/划分/假设相邻的左侧邻近样本(子块/子划分/划分/假设划分的尺寸小于多假设编解码单元)，水平或近水平帧内模式可能不被允许。
再比如，如果划分或候选预测没有在目标视频块之外的、并且与目标视频块的当前划分或当前候选预测相邻的上方邻近样本，则垂直或接近垂直的帧内模式被禁止。换句话说，在子块/子划分/划分/假设没有在整个多假设编解码单元之外的、但与当前子块/子划分/划分/假设相邻的上方邻近样本时，垂直或接近垂直帧内模式可能不被允许。
在一些实施例中，针对几何划分模式(GPM)划分被允许的帧内模式取决于以下中的一项：GPM划分模式、GPM划分角度或GPM划分距离。换句话说，什么帧内模式针对GPM划分被允许可能取决于GPM划分模式(或GPM划分角度，或GPM划分距离)。例如，预定义的帧内模式集可以取决于GPM划分形状/角度/距离/模式来被定义。
又例如，针对GPM信息与针对经帧内编解码的划分或候选预测被允许的帧内模式之间的关系，至少一个查找表或映射表被预定义。也就是说，可以针对GPM划分模式(或GPM划分角度，或GPM划分距离)与针对经帧内编解码的子块/子划分/划分/假设被允许的帧内模式之间的对应关系，一个或多个查找表(或映射表)被预定义。
在一些实施例中，最多一个帧内模式被允许用于GPM划分。或者，一组预定义的帧内模式被允许用于GPM划分。
在一些实施例中，帧内模式被用于几何划分模式(GPM)划分取决于GPM编解码单元外部并且与当前GPM划分相邻的可用邻近样本。GPM划分的尺寸小于GPM编解码单元的尺寸。换句话说，什么帧内模式被用于GPM划分可能取决于整个GPM编解码单元外部但与当前GPM划分相邻的可用邻近样本(GPM划分的尺寸小于GPM编解码单元)。
例如，如果GPM划分具有与目标视频块的当前GPM划分相邻的上方邻近样本并且没有相邻的左侧邻近样本，则水平或接近水平的帧内模式被允许，水平或接近水平的帧内模式从左到右预测。
对于进一步的示例，如果GPM划分具有与目标视频块的当前GPM划分相邻的左侧邻近样本并且没有相邻的上方邻近样本，则垂直或接近垂直的帧内模式被允许，垂直或接近垂直的帧内模式从上到下预测。
针对再一个例子，如果GPM划分没有与目标视频块的当前GPM划分相邻的左侧邻近样本并且没有相邻的上方邻近样本，则帧内模式针对当前GPM划分被禁止。也就是说，在这种情况下，帧内模式针对当前GPM划分不被允许。在这种情况下，除了水平、垂直、近水平或近垂直帧内模式之外的特定帧内模式针对当前GPM划分不被允许。
在一些实施例中，如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，则目标视频块不以锐度剪切的方式被划分为多个划分。相反，分割子块/子划分/划分的方式被用于确定针对单位中的预测样本的加权值。例如，如果针对相应的划分的预测样本被独立地导出，则目标视频块以锐度剪切的方式被划分。否则，如果针对相应的划分的预测样本没有被独立地导出，则目标视频块不以锐度剪切的方式被划分。
在一些实施例中，针对目标视频块的第一划分中的第一位置的第一预测的第一加权大于针对目标视频块的第二划分中的第二位置的第一预测的第二加权。例如，第一预测可以是帧内预测，第一划分可以被视为经帧内编解码的划分，第二划分被视为经帧内编解码的划分。替代地，或者另外，在这种情况下，划分信息的指示不存在于码流中。也就是说，划分信息的指示不再被通过信号传输。
在一些实施例中，如果目标视频块包括多于一个划分，每个划分的尺寸小于目标视频块的尺寸，则在混合预测工具中被使用的加权值的导出取决于目标视频块是否包含多于一个划分。也就是说，在多假设预测中使用的加权值的导出可以取决于假设预测单元(例如，编解码单元)是否包含多于一个子块/子划分/划分。
在一些实施例中，加权值可以在相应的划分中的相对样本位置被导出。例如，在第一划分中的第一相对样本位置的第一加权值等于在第二划分中的第二相对样本位置的第二加权值。第二相对样本位置与第一相对样本位置相同。或者，加权值朝向目标视频块中的相对样本位置被导出。替选地，或者另外，在一些实施例中，不同的加权值被用于划分的不同维度。
在一些实施例中，如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，则在目标视频块中被使用的划分或加权值取决于以下至少一项：经编解码的信息、颜色分量或颜色格式。换句话说，在多假设预测经编解码的块中使用的划分/加权值可以取决于经编解码的信息、颜色分量、颜色格式等。
在一些实施例中，色度分量使用与亮度分量相同或不同的划分规则。也就是说，色度分量遵循应用于亮度分量的划分规则，或者否则具有被应用于亮度分量的不同划分规则。例如，色度分量可以使用与亮度分量相同的加权值导出规则或相同的加权值。
在一些示例实施例中，关于是否和/或如何应用方法2600的信息在码流中指示。例如，信息在序列级别、图片组级别、图片级别、条带级别或图块组级别处被指示。对于进一步的示例，信息在序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、解码参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头中被指示。对于进一步的示例，信息在包含多于一个样本或像素的区域中被指示。区域可以包括：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块或子图。
在一些实施例中，信息可以取决于经编解码的信息，例如，经编解码的信息可以包括：编解码模式、块尺寸、颜色格式、单树或双树划分、颜色分量、条带类型或图片类型。
在一些实施例中，转换包括将目标视频块编码到码流中。
在一些实施例中，转换包括从码流解码目标视频块。
在一些实施例中，视频的码流可以存储在非暂态计算机可读记录介质中。视频的码流可以由视频处理装置执行的方法生成。根据该方法，视频的目标视频块的多个划分被确定。目标视频块可以由混合预测工具编解码。混合预测工具可以用于基于目标视频块的多个候选预测来确定目标视频块的目标预测。目标视频块的码流可以被生成。
在一些实施例中，目标视频块的多个划分被确定。目标视频块可以由混合预测工具编解码。混合预测工具可以用于基于目标视频块的多个候选预测来确定目标视频块的目标预测。码流可以存储在非暂态计算机可读记录介质中。
根据本公开的实施例，提出目标视频块可以被将划分为多个划分。混合预测工具可以被应用于多个划分。这样的混合预测生成过程可以用来提高目标视频块预测的有效性，从而提高编解码效率。
图27示出了根据本公开的一些实施例的用于视频处理的方法2700的流程图。方法2700可以在视频的目标视频块和视频的码流之间的转换期间被实现。如图27所示，方法2700开始于2702，其中目标视频块的运动数据由混合预测工具使用。例如，虚拟或生成的运动数据可以用于混合预测工具。混合预测工具被用于基于目标视频块的多个候选预测来确定目标视频块的目标预测。例如，混合预测工具是基于块的多假设预测，诸如组合的帧间和帧内预测(CIIP)、多假设预测(MHP)或几何划分模式(GPM)。在块2704，转换在目标视频块和码流之间被执行。
如本文所用，“目标视频块”的术语也可以称为“多假设预测块”。如本文所用，“候选预测”的术语也可以称为“假设预测”或“假设”。
根据本公开的实施例，提出诸如当前视频块的运动数据的帧间预测信息可以被用于混合预测工具。这样，这种混合预测可以提高预测的有效性，从而提高编解码效率。
在一些实施例中，运动数据包括以下至少一项：运动矢量、预测方向或参考索引。在一些实施例中，运动数据通过基本块方式在目标视频块的基本块中被生成。目标视频块包括至少一个基本块。例如，基本块可以是4×4块。
在一些实施例中，基本块的运动数据取决于混合预测工具如何被应用于基本块，诸如基本块的加权值、基本块上的划分方法、或基本块上的多个候选预测中的一个候选预测的运动数据等。
在一些实施例中，预测方向基于预定义的规则被确定。例如，如果在针对基本块的多个候选预测中的每个候选预测中仅有用于第一预测方向(诸如L0)的运动信息被找到，则针对基本块的预测方向是单向预测方向。单向预测方向包括第一预测方向(L0)，或不同于第一预测方向的第二预测方向(L1)。
否则，如果在针对基本块的多个候选预测中的每个候选预测中用于第一预测方向(L0)的运动信息和用于第二预测方向(l2)的运动信息被找到，则针对基本块的预测方向是双向预测方向，双向预测方向包括第一预测方向和第二预测方向。
在一些实施例中，运动信息是基于预定义的规则被创建的经双向预测的运动信息。例如，经双向预测的运动信息从第一候选列表中的第一候选的第一预测方向(L0)上的第一运动信息和第二候选列表中的第二候选的第二预测方向(L1)上的第二运动信息被构建。第一候选列表和第二候选列表中的至少一个可以是预定义的。例如，第一候选列表和第二候选列表中的至少一个包括：高级运动矢量预测(AMVP)候选列表，合并候选列表，基于几何划分模式(GPM)候选或AMVP候选或合并候选被构建的新的候选列表，或其他运动候选列表。在一些情况下，第一候选列表不同于第二候选列表。或者，在某些情况下，第一候选与第二候选列表相同。
在一些实施例中，运动信息是基于预定义的规则被创建的经单向预测的运动信息。例如，经双向预测的运动信息从第三候选列表中的候选的第一运动信息和第二运动信息被构建，第一运动处于第一预测方向，并且第二运动处于第二预测方向。例如，第三候选列表包括以下中的一项：高级运动矢量预测(AMVP)候选列表，合并候选列表，基于几何划分模式(GPM)候选或AMVP候选或合并候选被构建的新的候选列表，或其他运动候选列表。
在一些实施例中，如果运动信息来自合并候选列表，则合并候选索引被包括在码流中或从解码器导出的方法被导出。解码器导出方法可以包括以下中的一项：基于模板匹配的方法或基于双边匹配的方法。例如，如果运动信息来自高级运动矢量预测(AMVP)候选列表，则运动矢量差被包括在码流中或从解码器导出的方法被导出。对于进一步的示例，如果运动信息来自高级运动矢量预测(AMVP)候选列表，则AMVP候选索引被包括在码流中或从解码器导出的方法被导出。在一些实施例中，解码器导出的方法包括以下中的一项：基于模板匹配的方法或基于双边匹配的方法。
在一些实施例中，方法2700还可以包括：基于运动数据生成预测块；以及至少基于预测块确定目标视频块。替换地，或者另外，方法2700还可以包括对生成的预测块应用细化过程(例如，运动/样本细化)。例如，细化过程可以包括：模板匹配(TM)、双边匹配、解码器导出的运动矢量细化(例如，DWVR)、多遍次解码器导出的运动矢量细化(例如，MPDMVR)、双向光流(BODF)或利用光流的预测细化(PROF)。
在一些实施例中，运动数据在转换期间中的后续过程中被使用，诸如去块过程。替选地，或者另外，运动数据被用于预测后续块中的运动数据。
关于是否和/或如何应用方法2700的信息在码流中指示。例如，信息在序列级别、图片组级别、图片级别、条带级别或图块组级别处被指示。对于进一步的示例，信息在序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、解码参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头中被指示。对于进一步的示例，信息在包含多于一个样本或像素的区域中被指示。区域可以包括：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块或子图。
在一些实施例中，信息可以取决于经编解码的信息，例如，经编解码的信息可以包括：编解码模式、块尺寸、颜色格式、单树或双树划分、颜色分量、条带类型或图片类型。
在一些实施例中，转换包括将目标视频块编码到码流中。
在一些实施例中，转换包括从码流解码目标视频块。
在一些实施例中，视频的码流可以被存储在非暂态计算机可读记录介质中。视频的码流可以由视频处理装置执行的方法生成。根据该方法，视频的目标视频块的运动数据可以被混合预测工具使用。混合预测工具可以用于基于目标视频块的多个候选预测来确定目标视频块的目标预测。目标视频块的码流可以被生成。
在一些实施例中，视频的目标视频块的运动数据可以被混合预测工具使用。混合预测工具可以用于基于目标视频块的多个候选预测来确定目标视频块的目标预测，可以生成目标视频块的码流。码流可以被存储在非暂态计算机可读记录介质中。
根据本公开的实施例，提出运动数据可以被混合预测工具可使用。通过使用运动数据，混合预测生成过程可以被用于提高目标视频块预测的有效性，从而提高编解码效率。
图28示出了根据本公开的一些实施例的用于视频处理的方法2800的流程图。该方法2800可以在视频的目标视频块和视频的码流之间的转换期间实现。如图28所示，方法2800开始于2802，其中基于解码器导出的方法或帧内预测的预定义规则确定目标视频块的帧内预测信息。目标视频块由混合预测工具预测。混合预测工具用于基于目标视频块的多个候选预测确定目标视频块的目标预测。例如，混合预测工具是基于块的多假设预测，例如组合帧间和帧内预测(CIIP)、多假设预测(MHP)在框2804，至少基于目标视频块的帧内预测信息来执行转换。
根据本公开的实施例，提出可以基于解码器导出的方法或预定义的规则来确定当前视频块的帧内预测信息。这样，可以提高对当前视频块的预测的有效性，从而提高编解码效率。
在一些实施例中，目标视频块的帧内预测信息是基于解码器导出的方法确定的，诸如解码器帧内预测模式导出(DIMO)，或基于模板的帧内预测模式导出(TIMO)。
或者，帧内预测信息可以基于帧内预测的预定义规则被确定。例如，帧内预测信息可以基于基于融合的帧内预测被导出。基于融合的帧内预测是指从多于一个帧内模式被混合的预测块。基于融合的帧内预测从来自预定义的帧内模式集中的至少两个帧内模式被生成。至少两个帧内模式位于预定义的帧内模式集中的优先位置。换句话说，基于融合的帧内预测可以由来自预定义的帧内模式集合中的前X个(诸如X>1)帧内模式生成。
在一些实施例中，至少两个帧内模式或前X个帧内模式可以是相应成本低于阈值的模式。例如，至少两个帧内模式或前X个帧内模式可以是成本最低的模式。成本可以基于模板匹配方法或双边匹配方法被计算。
在一些实施例中，方法2900还包括基于模板匹配对预定义的帧内模式集排序；以及基于排序选择至少两个帧内模式。换句话说，基于模板匹配的方法可以用于对预定义帧内模式集进行排序，并针对多假设块的帧内部分选择最佳X个模式。
替换地，或者另外，在一些实施例中，至少两个帧内模式的成本基于使用目标视频块的邻近样本的信息的质量度量被计算。质量度量可以包括绝对差和(SAD)、绝对转换差和(SATD)或均方误差(MSE)等。替换地，或者另外，在一些实施例中，至少两个帧内模式的成本基于来自目标视频块的邻近样本的梯度直方图(HoG)被计算。
在一些实施例中，预定义的帧内模式集包括以下至少一项：平面模式、常规帧内模式或来自最可能模式(MPM)列表的帧内模式。
在一些实施例中，针对目标视频块混合的多个预测样本的权重取决于帧内预测角度或帧内预测方向。替选地或者另外，针对多个预测样本的权重还取决于以下至少一项：几何划分模式(GPM)划分模式、GPM划分角度或GPM划分距离。
在一些实施例中，针对目标视频块的多个预测样本混合/融合的权重是基于块的、基于划分的、基于子块的。也就是说，不同的块/划分/子块可以具有不同的权重。替选地，针对目标视频块的多个预测样本混合/融合的权重是基于样本的。也就是说，不同的权重可以被分配给不同的样本。
关于是否和/或如何应用方法2800的信息在码流中指示。例如，信息在序列级别、图片组级别、图片级别、条带级别或图块组级别处被指示。对于进一步的示例，信息在序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、解码参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头中被指示。对于进一步的示例，信息在包含多于一个样本或像素的区域中被指示。区域可以包括：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块或子图。
在一些实施例中，信息可以取决于经编解码的信息，例如，经编解码的信息可以包括：编解码模式、块尺寸、颜色格式、单树或双树划分、颜色分量、条带类型或图片类型。
在一些实施例中，转换包括将目标视频块编码到码流中。
在一些实施例中，转换包括从码流解码目标视频块。
在一些实施例中，视频的码流可以存储在非暂态计算机可读记录介质中，视频的码流可以由视频处理装置执行的方法生成。根据该方法，视频的目标视频块的帧内预测信息可以基于解码器导出的方法或预定义的帧内预测规则来被确定。可以通过混合预测工具来预测目标视频块。混合预测工具可以用于基于目标视频块的多个候选预测来确定目标视频块的目标预测。目标视频块的码流可以基于帧内预测信息被生成。
在一些实施例中，视频的目标视频块的帧内预测信息可以基于解码器导出的方法或预定义的帧内预测规则被确定。目标视频块可以由混合预测工具来预测。混合预测工具可以用于基于目标视频块的多个候选预测来确定目标视频块的目标预测。目标视频块的码流可以基于帧内预测信息被生成。码流可以被存储在非暂态计算机可读记录介质中。
根据本公开的实施例，提出可以基于解码器导出的方法或帧内预测的预定规则来确定帧内预测信息，帧内预测信息可以被混合预测工具使用，这样的混合预测生成过程可以用于提高目标视频块预测的有效性，从而提高编解码效率。
图29示出了根据本公开的一些实施例的用于视频处理的方法2900的流程图。方法2900可以在视频的目标视频块和视频的码流之间的转换期间实现。如图29所示，方法2900开始于2902，其中针对目标视频块的第一预测样本的权重和第二预测样本的权重基于编解码信息被确定。例如，第一预测样本可以包括经帧内编解码的样本，并且第二预测样本可以包括经帧间编解码的样本、经帧内编解码的样本或从其他样本混合的预测样本。换句话说，在帧内预测样本与另一个预测样本(可能是经帧间编解码的，或经帧内编解码的，或来从其他混合的预测样本)的情况下，什么混合/融合权重被使用可以依赖于编解码信息。
在框2904，目标预测通过基于权重混合第一预测样本和第二预测样本被生成。在一些实施例中，目标预测可以通过混合多于两个预测样本被生成。在框2906，转换至少基于目标预测被执行。
根据本公开的实施例，提出了针对不同预测样本的权重可以基于编解码信息自适应地确定。这样，针对当前视频块的目标预测可以基于权重被自适应地生成。这样的目标预测生成可以用于提高视频块预测的有效性，从而提高编解码效率。
在一些实施例中，用于确定权重的规则取决于第一预测样本和第二预测样本的预测模式。例如，第一预测样本和第二预测样本包括以下组合中的一项(也称为假设组合)：两个经帧内预测的样本，一个经帧内预测的样本和一个经帧间预测的样本，或两个经帧间预测的样本。用于确定针对不同组合的权重的规则是不同的。也就是说，不同的假设组合可能不同。
在一些实施例中，第一预测样本和第二预测样本包括至少一个经帧内预测的样本，并且权重取决于至少一个经帧内预测的样本中的一个样本的预测模式。换句话说，帧内和帧间/帧内的混合权重可以取决于用于混合/融合的经帧内预测样本中的一个样本的预测模式。
在一些实施例中，方法2900还包括基于被用于目标视频块的帧内模式，确定用于融合方法的用于混合预测样本的多于一组权重。也就是说，多于一组混合/融合权重可以基于什么帧内模式被用于视频单元来针对特定融合方法被定义。例如，不同组权重基于帧内模式的分类被确定。
帧内模式包括水平模式、垂直模式、广角模式、对角模式、反对角模式、第一帧内模式、第二帧内模式或第三帧内模式。第一帧内模式中预测样本从顶部和左侧邻近样本被预测。第一帧内模式与小于第一阈值(诸如18)的索引相关联并且第一帧内模式的帧内模式索引对应于大于水平的角度。在第二帧内模式中预测样本从顶部邻近样本被预测。第二帧内模式与大于第二阈值(诸如50)的索引相关联，并且这种帧内模式索引对应于小于垂直的角度。在第三帧内模式中预测样本从左侧邻近样本被预测。第三帧内模式与大于第一阈值且小于第二阈值的索引相关联。
在一些实施例中，权重是基于编解码工具中的权重定义或权重分类的规则，诸如位置相关的帧内预测组合(PDPC)，或组合的帧间和帧内预测(CIIP)。
在一些实施例中，方法2900还包括基于子块、属于子块的当前样本，确定用于融合方法的用于混合预测样本的多于一组权重。换句话说，多于一组混合/融合权重可以基于当前样本属于哪个子块/子单元来针对特定融合方法被定义。例如，第一预测样本的第一权重与第二预测样本的第二权重不同。也就是说，不同的样本可能具有不同的权重。
针对再一个示例，第一预测样本属于第一子块，并且第二预测样本属于不同于第一子块的第二子块。也就是说，属于不同子块的样本可以具有不同的权重。在一些实施例中，诸如第一子块和第二子块的子块具有非矩形形状。
替换地或者另外，在一些实施例中，权重取决于颜色分量，例如，针对第一颜色分量(诸如色度)的权重基于针对第二颜色分量(诸如亮度)的相应权重被导出。
在一些实施例中，方法2900还包括在码流中存储目标单元中的目标视频块的帧内模式信息，目标视频块由混合预测工具预测。混合预测工具被用于基于目标视频块的多个候选预测确定针对目标视频块的目标预测。例如，混合预测工具包括组合的帧间和帧内预测(CIIP)、多假设预测(MHP)或几何划分模式(GPM)。
在一些实施例中，目标单元包括M×M像素的单元(基)，M是整数。例如，M可以等于4、8或16。
在一些实施例中，如果位于混合区域中的目标单元内部的多个划分中的每个划分是经帧内编解码的，则其帧内模式被存储的目标划分取决于以下至少一项：划分信息、划分的尺寸或针对目标单元的预测的尺寸、帧内模式信息，或预定义的规则。换句话说，例如，针对位于混合区域中的M×M单元，其中MxM单元内部的所有子块/子划分/划分/假设都是经INTRA编解码的，其子块/子划分/划分/假设的帧内模式被存储可以取决于：划分信息(例如，划分角度/距离/模式等)；子块/子划分/划分/假设的尺寸；帧内模式信息；预定义规则。
在一些实施例中，如果定位在混合区域中的所述目标单元包括经帧内编解码的划分或预测以及经帧间编解码的划分或预测，则是否存储帧间预测运动数据或所述帧内模式信息取决于以下至少一项：预定义的规则、帧内模式信息、帧间预测运动数据、划分信息或划分的尺寸或预测的尺寸。例如，划分信息包括：划分角度、划分距离或划分模式。
在一些实施例中，被存储的帧内模式信息在第一混合预测模式中被使用。目标视频块在第一混合预测模式中被分为多个划分。例如，划分包括：几何划分模式(GPM)。例如，基于M×M单元的帧内模式存储可用于将编解码单元分为多于一个子块/子划分/划分(例如，GPM等)的多预测模式。
替选地，在一些实施例中，被存储的帧内模式信息在第二混合预测模式中被使用，而不在第二混合预测模式中将目标视频块分为多个划分。划分可以包括：组合的帧间和帧内预测(CIIP)或多假设预测(MHP)。例如，基于M×M单元的帧内模式存储可以用于不将编解码单元分为子块/子划分/划分(例如，CIIP、MHP等)的多预测模式。
在一些实施例中，方法2900还可以包括基于被存储的目标单元的帧内模式信息，预测后续块的帧内预测模式信息。换句话说，基于M×M单元的帧内模式存储可以用于预测后续块的帧内预测模式。
在一些示例实施例中，关于是否和/或如何应用方法2900的信息在码流中指示。例如，信息在序列级别、图片组级别、图片级别、条带级别或图块组级别处被指示。对于进一步的示例，信息在序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、解码参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头中被指示。对于进一步的示例，信息在包含多于一个样本或像素的区域中被指示。区域可以包括：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块或子图。
在一些实施例中，信息可以取决于经编解码的信息，例如，经编解码的信息可以包括：编解码模式、块尺寸、颜色格式、单树或双树划分、颜色分量、条带类型或图片类型。
在一些实施例中，转换包括将目标视频块编码到码流中。
在一些实施例中，转换包括从码流解码目标视频块。
根据本公开的实施例，提出针对不同预测样本的权重可以基于编解码信息被自适应地确定。这样，针对当前视频块的目标预测可以基于权重被自适应地生成。例如，目标预测可以基于权重通过混合预测工具被生成。这样的目标预测生成可以用于提高视频块预测的有效性，从而提高编解码效率。
在一些实施例中，视频的码流可以被存储在非暂态计算机可读记录介质中。视频的码流可以通过视频处理装置执行的方法来生成。根据该方法，针对视频的目标视频块的第一预测样本和第二预测样本的权重可以基于编解码信息被确定。目标预测可以通过基于权重混合第一预测样本和第二预测样本被生成。目标视频块的码流可以基于目标预测被生成。
在一些实施例中，针对视频的目标视频块的第一预测样本和第二预测样本的权重可以基于编解码信息被确定。目标预测可以通过基于权重混合第一和第二预测样本被生成。目标视频块的码流可以基于目标预测被生成。码流可以被存储在非暂态计算机可读记录介质中。
应当理解，上述方法，诸如方法2600、方法2700、方法2800和方法2900可以单独或组合执行。在这方面，本申请的范围可以不受限制。
本公开的实施方式可以根据以下条款来描述，这些条款的特征可以以任何合理的方式组合。
条款1.一种用于视频处理的方法，包括：在视频的目标视频块和视频的码流之间的转换期间，确定目标视频块的多个划分，目标视频块由混合预测工具被编解码，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；以及执行目标视频块和码流之间的转换。
条款2.根据条款1所述的方法，其中多个划分中的划分包括子块或子划分。
条款3.根据条款1或条款2所述的方法，其中混合预测工具包括组合的帧间和帧内预测(CIIP)或多假设预测(MHP)。
条款4.根据条款1-3中任一项所述的方法，其中针对目标视频块的多条运动信息被包括在码流中。
条款5.根据条款4所述的方法，其中一条运动信息针对目标视频块的一个划分被导出。
条款6.根据条款1-5中任一项所述的方法，其中针对目标视频块的划分的最终预测取决于与划分相关联的至少一条运动信息。
条款7.根据条款1-6中任一项所述的方法，其中如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，则目标视频块以均匀的方式被划分。
条款8.根据条款7所述的方法，其中目标视频块被划分为矩形或正方形子块。
条款9.根据条款7所述的方法，其中目标视频块被划分为M×N个子块，M和N是整数。
条款10.根据条款9所述的方法，其中M等于或不等于N。
条款11.根据条款9所述的方法，其中M等于4、8或16中的一个。
条款12.根据条款9所述的方法，其中N等于4、8或16中的一个。
条款13.根据条款9所述的方法，其中M等于目标视频块的宽度，并且N小于目标视频块的高度。
条款14.根据条款9所述的方法，其中M小于目标视频块的宽度，并且N等于目标视频块的高度。
条款15.根据条款7所述的方法，其中目标视频块被划分为三角形子块。
条款16.根据条款15所述的方法，其中目标视频块被划分为两个对角三角形。
条款17.根据条款1-16中任一项所述的方法，其中如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，则目标视频块以非均匀方式或不规则方式被划分。
条款18.根据条款17所述的方法，其中目标视频块通过斜线、直线或曲线中的一种被划分。
条款19.根据条款1-18中任一项所述的方法，其中如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，则目标视频块的划分或候选预测是否是经帧内编解码的取决于目标视频块的划分信息。
条款20.根据条款19所述的方法，其中目标视频块的划分或候选预测是否是经帧内编解码的取决于划分线的角度。
条款21.根据条款19或条款20所述的方法，其中目标视频块的几何划分模式(GPM)划分是否是经帧内编解码的取决于以下中的一项：GPM划分模式、GPM划分角度或GPM划分距离。
条款22.根据条款19-21中任一项所述的方法，其中针对几何划分模式(GPM)信息与目标视频块的经帧内编解码的划分之间的关系或GPM信息与目标视频块的经帧内编解码的候选预测之间的关系，至少一个查找表或映射表被预定义。
条款23.根据条款19的方法，其中目标视频块的划分或候选预测是否是经帧内编解码的取决于与划分或候选预测相邻的邻近样本的数目。
条款24.根据条款23所述的方法，其中目标视频块的划分或候选预测是否是经帧内编解码的还取决于目标视频块如何被划分。
条款25.根据条款24所述的方法，其中邻近样本在目标视频块之外。
条款26.根据条款1-25中任一项所述的方法，其中如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，并且如果目标视频块的划分或目标视频块的候选预测是经帧内模式编解码的，则针对划分或候选预测被允许的帧内模式取决于目标视频块的划分信息。
条款27.根据条款26所述的方法，其中是否使用水平帧内模式、垂直帧内模式、对角帧内模式或其它帧内模式取决于目标视频块的划分信息。
条款28.根据条款26所述的方法，其中预定义的帧内模式集基于上方样本和/或左侧邻居样本是否针对划分或候选预测可用而被定义。
条款29.根据条款28所述的方法，其中如果划分或候选预测没有在目标视频块之外的、并且与目标视频块的当前划分或当前候选预测相邻的左侧邻近样本，则水平或接近水平的帧内模式被禁止。
条款30.根据条款29所述的方法，其中划分的尺寸或划分的候选预测的尺寸小于目标视频块的尺寸。
条款31.根据条款28所述的方法，其中如果划分或候选预测没有在目标视频块之外的、并且与目标视频块的当前划分或当前候选预测相邻的上方邻近样本，则垂直或接近垂直的帧内模式被禁止。
条款32.根据条款26-31中任一项所述的方法，其中针对几何划分模式(GPM)划分被允许的帧内模式取决于以下中的一项：GPM划分模式、GPM划分角度或GPM划分距离。
条款33.根据条款26-32中任一项所述的方法，其中预定义的帧内模式集取决于以下中的一项被定义：几何划分模式(GPM)划分形状、GPM划分角度、GPM划分距离或GPM划分模式。
条款34.根据条款26-33中任一项所述的方法，其中至少一个查找表或映射表针对几何划分模式(GPM)信息与帧内模式之间的关系被预定义，帧内模式被允许用于经帧内编解码的划分或候选预测。
条款35.根据条款22或条款34所述的方法，其中GPM信息包括以下中的一项：GPM划分模式、GPM划分角度或GPM划分距离。
条款36.根据条款35所述的方法，其中一个帧内模式被允许用于GPM划分；或者一组预定义的帧内模式被允许用于GPM划分。
条款37.根据条款27-36中任一项所述的方法，其中帧内模式被用于几何划分模式(GPM)划分取决于GPM编解码单元外部并且与当前GPM划分相邻的可用邻近样本。
条款38.根据条款37所述的方法，其中GPM划分的尺寸小于GPM编解码单元的尺寸。
条款39.根据条款37或38所述的方法，其中如果GPM划分具有与目标视频块的当前GPM划分相邻的上方邻近样本并且没有相邻的左侧邻近样本，则水平或接近水平的帧内模式被允许，水平或接近水平的帧内模式从左到右预测。
条款40.根据条款37或38所述的方法，其中如果GPM划分具有与目标视频块的当前GPM划分相邻的左侧邻近样本并且没有相邻的上方邻近样本，则垂直或接近垂直的帧内模式被允许，垂直或接近垂直的帧内模式从上到下预测。
条款41.根据条款37或38所述的方法，其中如果GPM划分没有与目标视频块的当前GPM划分相邻的左侧邻近样本并且没有相邻的上方邻近样本，则帧内模式针对当前GPM划分被禁止。
条款42.根据条款41所述的方法，其中除了水平、垂直、接近水平或接近垂直的帧内模式之外的帧内模式针对当前GPM划分被允许。
条款43.根据条款1-42中任一项所述的方法，其中如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，则目标视频块不以锐度剪切的方式被划分为多个划分。
条款44.根据条款43所述的方法，其中将目标视频块分割成多个划分的方式被用于确定针对目标视频块中的预测样本的加权值。
条款45.根据条款43或条款44所述的方法，其中如果针对相应的划分的预测样本被独立地导出，则目标视频块以锐度剪切的方式被划分。
条款46.根据条款43或条款44所述的方法，其中如果针对相应的划分的预测样本没有被独立地导出，则目标视频块不以锐度剪切的方式被划分。
条款47.根据条款43-46中任一项所述的方法，其中针对目标视频块的第一划分中的第一位置的第一预测的第一加权大于针对目标视频块的第二划分中的第二位置的第一预测的第二加权。
条款48.根据条款47所述的方法，其中第一预测包括帧内预测，第一划分被视为经帧内编解码的划分，并且第二划分被视为经帧内编解码的划分。
条款49.根据条款43-48中任一项所述的方法，其中划分信息的指示不存在于码流中。
条款50.根据条款1-49中任一项所述的方法，其中如果目标视频块包括多于一个划分，每个划分的尺寸小于目标视频块的尺寸，则在混合预测工具中被使用的加权值的导出取决于目标视频块是否包含多于一个划分。
条款51.根据条款50的方法，其中加权值在相应的划分中的相对样本位置被导出。
条款52.根据条款51所述的方法，其中在第一划分中的第一相对样本位置的第一加权值等于在第二划分中的第二相对样本位置的第二加权值，第二相对样本位置与第一相对样本位置相同。
条款53.根据条款50所述的方法，其中加权值朝向目标视频块中的相对样本位置被导出。
条款54.根据条款50-53中任一项所述的方法，其中不同的加权值被用于划分的不同维度。
条款55.根据条款1-54中任一项所述的方法，其中如果目标视频块的多个划分的相应尺寸小于目标视频块的尺寸，则在目标视频块中被使用的划分或加权值取决于以下至少一项：经编解码的信息、颜色分量或颜色格式。
条款56.根据条款55所述的方法，其中色度分量使用与亮度分量相同或不同的划分规则。
条款57.根据条款55或条款56所述的方法，其中色度分量使用与亮度分量相同的加权值导出规则。
条款58.根据条款55或条款56所述的方法，其中色度分量使用与亮度分量相同的加权值。
条款59.一种用于视频处理的方法，包括：在视频的目标视频块和视频的码流之间的转换期间，由混合预测工具使用目标视频块的运动数据，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；以及执行目标视频块和码流之间的转换。
条款60.根据条款59所述的方法，其中混合预测工具包括以下中的一项：组合的帧间和帧内预测(CIIP)、多假设预测(MHP)或几何划分模式(GPM)。
条款61.根据条款59或条款60的方法，其中运动数据包括虚拟运动数据或生成的运动数据。
条款62.根据条款59-61中任一项所述的方法，其中运动数据包括以下至少一项：运动矢量、预测方向或参考索引。
条款63.根据条款59-62中任一项所述的方法，其中运动数据通过基本块方式在目标视频块的基本块中被生成，目标视频块包括至少一个基本块。
条款64.根据条款63所述的方法，其中基本块包括4×4块。
条款65.根据条款63所述的方法，其中基本块的运动数据取决于混合预测工具如何被应用于基本块。
条款66.根据条款63所述的方法，其中基本块的运动数据取决于以下至少一项：基本块的加权值、基本块上的划分方法、或基本块上的多个候选预测中的一个候选预测的运动数据。
条款67.根据条款59-66中任一项所述的方法，其中预测方向基于预定义的规则被确定。
条款68.根据条款67所述的方法，其中如果在针对基本块的多个候选预测中的每个候选预测中仅有用于第一预测方向的运动信息被找到，则针对基本块的预测方向是单向预测方向，单向预测方向包括以下中的一项：第一预测方向，或不同于第一预测方向的第二预测方向。
条款69.根据条款67所述的方法，其中如果在针对基本块的多个候选预测中的每个候选预测中用于第一预测方向的运动信息和用于第二预测方向的运动信息被找到，则针对基本块的预测方向是双向预测方向，双向预测方向包括第一预测方向和第二预测方向。
条款70.根据条款59-69中任一项所述的方法，其中运动信息是基于预定义的规则被创建的经双向预测的运动信息。
条款71.根据条款70所述的方法，其中经双向预测的运动信息从第一候选列表中的第一候选的第一预测方向上的第一运动信息和第二候选列表中的第二候选的第二预测方向上的第二运动信息被构建。
条款72.根据条款71所述的方法，其中第一候选列表和第二候选列表中的至少一个是预定义的。
条款73.根据条款71或72所述的方法，其中第一候选列表和第二候选列表中的至少一个包括以下中的一项：高级运动矢量预测(AMVP)候选列表，合并候选列表，基于几何划分模式(GPM)候选或AMVP候选或合并候选被构建的新的候选列表，或其他运动候选列表。
条款74.根据条款71-73中任一项所述的方法，其中第一候选列表不同于第二候选列表，或者第一候选与第二候选列表相同。
条款75.根据条款59-69中任一项所述的方法，其中运动信息是基于预定义的规则被创建的经单向预测的运动信息。
条款76.根据条款75所述的方法，其中经双向预测的运动信息从第三候选列表中的候选的第一运动信息和第二运动信息被构建，第一运动处于第一预测方向，并且第二运动处于第二预测方向。
条款77.根据条款75或条款76所述的方法，其中第三候选列表包括以下中的一项：高级运动矢量预测(AMVP)候选列表，合并候选列表，基于几何划分模式(GPM)候选或AMVP候选或合并候选被构建的新的候选列表，或其他运动候选列表。
条款78.根据条款59-77中任一项所述的方法，其中如果运动信息来自合并候选列表，则合并候选索引被包括在码流中或从解码器导出的方法被导出。
条款79.根据条款78所述的方法，其中解码器导出的方法包括以下中的一项：基于模板匹配的方法或基于双边匹配的方法。
条款80.根据条款59-77中任一项所述的方法，其中如果运动信息来自高级运动矢量预测(AMVP)候选列表，则运动矢量差被包括在码流中或从解码器导出的方法被导出。
条款81.根据条款59-77中任一项所述的方法，其中如果运动信息来自高级运动矢量预测(AMVP)候选列表，则AMVP候选索引被包括在码流中或从解码器导出的方法被导出。
条款82.根据条款80或条款81所述的方法，其中解码器导出的方法包括以下中的一项：基于模板匹配的方法或基于双边匹配的方法。
条款83.根据条款59-82中任一项所述的方法，还包括：基于运动数据生成预测块；以及至少基于预测块确定目标视频块。
条款84.根据条款83所述的方法，还包括：对生成的所述预测块应用细化过程。
条款85.根据条款84所述的方法，其中细化过程包括以下中的一项：模板匹配(TM)、双边匹配、解码器导出的运动矢量细化、多遍次解码器导出的运动矢量细化、双向光流(BODF)或利用光流的预测细化(PROF)。
条款86.根据条款1-85中任一项所述的方法，其中运动数据在转换期间中的后续过程中被使用。
条款87.根据条款86所述的方法，其中后续过程包括去块过程。
条款88.根据条款1-87中任一项所述的方法，其中运动数据被用于预测后续块中的运动数据。
条款89.一种用于视频处理的方法，包括：在视频的目标视频块和所述视频的码流之间的转换期间，基于解码器导出的方法或帧内预测的预定义的规则，确定目标视频块的帧内预测信息，目标视频块由混合预测工具被预测，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；以及至少基于帧内预测信息执行转换。
条款90.根据条款89所述的方法，其中混合预测工具包括以下中的一项：组合的帧间和帧内预测(CIIP)、多假设预测(MHP)或几何划分模式(GPM)。
条款91.根据条款89或条款90所述的方法，其中解码器导出的方法包括以下中的一项：解码器帧内预测模式导出(DIMO)，或基于模板的帧内预测模式导出(TIMO)。
条款92.根据条款89或条款90的方法，其中帧内预测信息基于基于融合的帧内预测被导出。
条款93.根据条款92所述的方法，其中基于融合的帧内预测是指从多于一个帧内模式被混合的预测块。
条款94.根据条款92或93所述的方法，其中基于融合的帧内预测从来自预定义的帧内模式集中的至少两个帧内模式被生成，至少两个帧内模式位于预定义的帧内模式集中的优先位置。
条款95.根据条款94所述的方法，其中至少两个帧内模式的相应成本低于阈值。
条款96.根据条款95所述的方法，其中至少两个帧内模式的成本基于模板匹配或双边匹配被计算。
条款97.根据条款94-96中任一项所述的方法，还包括：基于模板匹配对预定义的帧内模式集排序；以及基于排序选择所述至少两个帧内模式。
条款98.根据条款95所述的方法，其中至少两个帧内模式的成本基于使用目标视频块的邻近样本的信息的质量度量被计算。
条款99.根据条款98所述的方法，其中质量度量包括以下中的一项：绝对差和(SAD)，绝对转换差和(SATD)，或均方误差(MSE)。
条款100.根据条款95所述的方法，其中至少两个帧内模式的成本基于来自目标视频块的邻近样本的梯度直方图(HoG)被计算。
条款101.根据条款94-100中任一项所述的方法，其中所述预定义的帧内模式集包括以下至少一项：平面模式、常规帧内模式或来自最可能模式(MPM)列表的帧内模式。
条款102.根据条款92-101中任一项所述的方法，其中针对目标视频块混合的多个预测样本的权重取决于帧内预测角度或帧内预测方向。
条款103.根据条款102所述的方法，其中针对多个预测样本的权重还取决于以下至少一项：几何划分模式(GPM)划分模式、GPM划分角度或GPM划分距离。
条款104.根据条款92-101中任一项所述的方法，其中针对目标视频块混合的多个预测样本的权重是以下中的一项：基于块的、基于划分的、基于子块的或基于样本的。
条款105.一种用于视频处理的方法，包括：在视频的目标视频块和视频的码流之间的转换期间，基于编解码信息确定针对目标视频块的第一预测样本的权重和第二预测样本的权重；通过基于所述权重混合第一预测样本和第二预测样本来生成目标预测；以及至少基于所述目标预测执行所述转换。
条款106.根据条款105所述的方法，其中第一预测样本包括帧内预测样本，并且第二预测样本包括以下中的一项：经帧间编解码的样本、经帧内编解码的样本或从其他样本混合的预测样本。
条款107.根据条款105或条款106所述的方法，其中用于确定权重的规则取决于第一预测样本和第二预测样本的预测模式。
条款108.根据条款107所述的方法，其中第一预测样本和第二预测样本包括以下组合中的一项：两个经帧内预测的样本，一个经帧内预测的样本和一个经帧间预测的样本，或两个经帧间预测的样本；以及其中用于确定针对不同组合的权重的规则是不同的。
条款109.根据条款105-108中任一项所述的方法，其中第一预测样本和第二预测样本包括至少一个经帧内预测的样本，并且权重取决于至少一个经帧内预测的样本中的一个样本的预测模式。
条款110.根据条款105-109中任一项所述的方法，还包括：基于被用于目标视频块的帧内模式，确定用于融合方法的用于混合预测样本的多于一组权重。
条款111.根据条款110所述的方法，其中不同组权重基于帧内模式的分类被确定。
条款112.根据条款111所述的方法，其中帧内模式包括以下至少一项：水平模式、垂直模式、广角模式、对角模式、反对角模式、第一帧内模式、第二帧内模式或第三帧内模式，在第一帧内模式中预测样本从顶部和左侧邻近样本被预测，在第二帧内模式中预测样本从顶部邻近样本被预测，在第三帧内模式中预测样本从左侧邻近样本被预测。
条款113.根据条款112所述的方法，其中：第一帧内模式与小于第一阈值的索引相关联，第二帧内模式与大于第二阈值的索引相关联，或者第三帧内模式与大于第一阈值且小于第二阈值的索引相关联。
条款114.根据条款105-113中任一项所述的方法，其中权重是基于编解码工具中的权重定义或权重分类的规则。
条款115.根据条款114所述的方法，其中编解码工具包括以下中的一项：位置相关的帧内预测组合(PDPC)，或组合的帧间和帧内预测(CIIP)。
条款116.根据条款105-109中任一项所述的方法，还包括：基于子块、属于所述子块的当前样本，确定用于融合方法的用于混合预测样本的多于一组权重。
条款117.根据条款116所述的方法，其中针对第一预测样本的第一权重不同于针对第二预测样本的第二权重。
条款118.根据条款117所述的方法，其中第一预测样本属于第一子块，并且第二预测样本属于不同于第一子块的第二子块。
条款119.根据条款118所述的方法，其中第一子块和第二子块具有非矩形形状。
条款120.根据条款105所述的方法，其中权重取决于颜色分量。
条款121.根据条款120所述的方法，其中针对第一颜色分量的权重基于针对第二颜色分量的相应权重被导出。
条款122.根据条款105-121中任一项所述的方法，还包括：在码流中存储目标单元中的目标视频块的帧内模式信息，目标视频块由混合预测工具被预测，混合预测工具被用于基于目标视频块的多个候选预测确定针对目标视频块的目标预测。
条款123.根据条款122所述的方法，其中混合预测工具包括以下中的一种：组合的帧间和帧内预测(CIIP)、多假设预测(MHP)或几何划分模式(GPM)。
条款124.根据条款122或条款123的方法，其中目标单元包括M×M像素的单元，M是整数。
条款125.根据条款124所述的方法，其中M等于4、8或16。
条款126.根据条款122-125中任一项所述的方法，其中如果位于混合区域中的目标单元内部的多个划分中的每个划分是经帧内编解码的，则其帧内模式被存储的目标划分取决于以下至少一项：划分信息，划分的尺寸或针对所述目标单元的预测的尺寸，帧内模式信息，或预定义的规则。
条款127.根据条款122-126中任一项所述的方法，其中如果定位在混合区域中的目标单元包括经帧内编解码的划分或预测以及经帧间编解码的划分或预测，则是否存储帧间预测运动数据或帧内模式信息取决于以下至少一项：预定义的规则，帧内模式信息，帧间预测运动数据，划分信息，或划分的尺寸或预测的尺寸。
条款128.根据条款126或条款127所述的方法，其中划分信息包括：划分角度、划分距离或划分模式。
条款129.根据条款122所述的方法，其中被存储的帧内模式信息在第一混合预测模式中被使用，目标视频块在第一混合预测模式中被分为多个划分。
条款130.根据条款129所述的方法，其中划分包括：几何划分模式(GPM)。
条款131.根据条款122所述的方法，其中被存储的帧内模式信息在第二混合预测模式中被使用，而不在第二混合预测模式中将目标视频块分为多个划分。
条款132.根据条款131所述的方法，其中划分包括：组合的帧间和帧内预测(CIIP)或多假设预测(MHP)。
条款133.根据条款122-132中任一项所述的方法，还包括：基于被存储的目标单元的帧内模式信息，预测后续块的帧内预测模式信息。
条款134.根据条款1-133中任一项所述的方法，其中关于是否和/或如何应用方法的信息在码流中被指示。
条款135.根据条款134所述的方法，其中信息在以下中的一项被指示：序列级别、图片组级别、图片级别、条带级别或图块组级别。
条款136.根据条款134或135所述的方法，其中信息在序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、解码参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头中被指示。
条款137.根据条款134-136中任一项所述的方法，其中信息在包含多于一个样本或像素的区域中被指示。
条款138.根据条款137所述的方法，其中区域包括以下中的一项：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块或子图。
条款139.根据条款133-138中任一项所述的方法，其中信息取决于经编解码的信息。
条款140.根据条款139所述的方法，其中经编解码的信息包括以下至少一项：编解码模式、块尺寸、颜色格式、单树或双树划分、颜色分量、条带类型或图片类型。
条款141.根据条款1-140中任一项所述的方法，其中转换包括将目标视频块编码到码流中。
条款142.根据条款1-140中任一项所述的方法，其中转换包括从码流解码目标视频块。
条款143.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂态存储器，其中指令在由所述处理器执行时使处理器执行根据条款1-142中任一项的方法。
条款144.一种非暂态计算机可读存储介质，存储使处理器执行根据条款1-142中任一项的方法的指令。
条款145.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中方法包括：确定视频的目标视频块的多个划分，目标视频块由混合预测工具被编解码，所合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；以及生成所述码流。
条款146.一种用于存储视频的码流的方法，包括：确定视频的目标视频块的多个划分，目标视频块由混合预测工具被编解码，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；生成所述码流；以及将码流存储在非暂态计算机可读记录介质中。
条款147.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中方法包括：由混合预测工具使用视频的目标视频块的运动数据，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；生成所述码流。
条款148.一种用于存储视频的码流的方法，包括：由混合预测工具使用视频的目标视频块的运动数据，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；生成码流；以及将码流存储在非暂态计算机可读记录介质中。
条款149.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中方法包括：基于解码器导出的方法或帧内预测的预定义的规则，确定视频的目标视频块的帧内预测信息，目标视频块由混合预测工具被预测，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；以及至少基于帧内预测信息生成码流。
条款150.一种用于存储视频的码流的方法，包括：基于解码器导出的方法或帧内预测的预定义的规则，确定视频的目标视频块的帧内预测信息，目标视频块由混合预测工具被预测，混合预测工具被用于基于目标视频块的多个候选预测来确定针对目标视频块的目标预测；至少基于帧内预测信息所述码流；以及将码流存储在非暂态计算机可读记录介质中。
条款151.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中方法包括：基于编解码信息确定针对视频的目标视频块的第一预测样本的权重和第二预测样本的权重；通过基于权重混合所述第一预测样本和第二预测样本来生成目标预测；以及基于目标预测生成码流。
条款152.一种用于存储视频的码流的方法，包括：基于编解码信息确定针对视频的目标视频块的第一预测样本的权重和第二预测样本的权重；通过基于权重混合第一预测样本和第二预测样本来生成目标预测；基于目标预测生成码流；以及将码流存储在非暂态计算机可读记录介质中。
示例设备
图30示出了可以在其中实现本公开的各种实施例的计算设备3000的框图。计算设备3000可以被实现为源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)。
应当理解的是，图30中示出的计算设备3000仅为了说明的目的，而不是以任何方式暗示对本公开实施例的功能和范围的任何限制。
如图30所示，计算设备3000包括通用计算设备3000。计算设备3000可以至少包括一个或多个处理器或处理单元3010、存储器3020、存储单元3030、一个或多个通信单元3040、一个或多个输入设备3050以及一个或多个输出设备3060。
在一些实施例中，计算设备3000可以被实现为具有计算能力的任何用户终端或服务器终端。服务器终端可以是由服务提供商提供的服务器、大型计算设备等。用户终端例如可以是任何类型的移动终端、固定终端或便携式终端，包括移动电话、站、单元、设备、多媒体计算机、多媒体平板计算机、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或其任何组合，并且包括这些设备的附件和外围设备或其任何组合。可以设想的是，计算设备3000可以支持到用户的任何类型的接口(诸如"可穿戴"电路装置等)。
处理单元3010可以是物理处理器或虚拟处理器，并且可以基于存储在存储器3020中的程序实现各种处理。在多处理器系统中，多个处理单元并行地执行计算机可执行指令，以便改善计算设备3000的并行处理能力。处理单元3010也可以被称为中央处理单元(CPU)、微处理器、控制器或微控制器。
计算设备3000通常包括各种计算机存储介质。这样的介质可以是由计算设备3000可访问的任何介质，包括但不限于易失性介质和非易失性介质、或可拆卸介质和不可拆卸介质。存储器3020可以是易失性存储器(例如，寄存器、高速缓存、随机存取存储器(RAM))、非易失性存储器(诸如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或闪存)或其任何组合。存储单元3030可以是任何可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如存储器、闪存驱动器、磁盘或其他可以被用于存储信息和/或数据并且可以在计算设备3000中被访问的介质。
计算设备3000还可以包括附加的可拆卸/不可拆卸存储介质、易失性/非易失性存储介质。尽管在图30中未示出，但是可以提供用于从可拆卸的非易失性磁盘读取和/或写入可拆卸的非易失性磁盘的磁盘驱动器，以及用于从可拆卸的非易失性光盘读取和/或写入可拆卸的非易失性光盘的光盘驱动器。在这种情况下，每个驱动器可以经由一个或多个数据介质接口连接到总线(未示出)。
通信单元3040经由通信介质与另一计算设备通信。另外，计算设备3000中的组件的功能可以由可以经由通信连接进行通信的单个计算集群或多个计算机器来实现。因此，计算设备3000可以使用与一个或多个其他服务器、联网个人计算机(PC)或其他通用网络节点的逻辑连接来在联网环境中运行。
输入设备3050可以是各种输入设备中的一种或多种输入设备，诸如鼠标、键盘、轨迹球、语音输入设备等。输出设备3060可以是各种输出设备中的一种或多种输出设备，诸如显示器、扬声器、打印机等。借助于通信单元3040，计算设备3000还可以与一个或多个外部设备(未示出)通信，外部设备诸如是存储设备和显示设备，计算设备3000还可以与一个或多个使用户能够与计算设备3000交互的设备通信，或任何使计算设备3000能够与一个或多个其他计算设备通信的设备(例如网卡、调制解调器等)通信，如果需要的话。这种通信可以经由输入/输出(I/O)接口(未示出)进行。
在一些实施例中，计算设备3000的一些或所有组件也可以被布置在云计算架构中，而不是被集成在单个设备中。在云计算架构中，组件可以被远程提供并且共同工作，以实现本公开中描述的功能。在一些实施例中，云计算提供计算、软件、数据访问和存储服务，这将不要求最终用户知晓提供这些服务的系统或硬件的物理位置或配置。在各种实施例中，云计算使用合适的协议经由广域网(例如互联网)提供服务。例如，云计算提供商通过广域网提供应用程序，可以通过网络浏览器或任何其他计算组件访问这些应用程序。云计算架构的软件或组件以及对应的数据可以存储在远程服务器上。云计算环境中的计算资源可以被合并或分布在远程数据中心的位置。云计算基础设施可以通过共享数据中心提供服务，尽管它们表现为作为用户的单一接入点。因此，云计算架构可与被用于从远程位置的服务提供商处提供本文所述的组件和功能。备选地，它们可以由常规服务器提供，或者直接或以其他方式安装在客户端设备上。
在本公开的实施例中，计算设备3000可以被用于实现视频编码/解码。存储器3020可以包括具有一个或多个程序指令的一个或多个视频编解码模块3025。这些模块能够由处理单元3010访问和执行，以执行本文描述的各种实施例的功能。
在执行视频编码的示例实施例中，输入设备3050可以接收视频数据作为待编码的输入3070。视频数据可以由例如视频编解码模块3025处理，以生成经编码的码流。经编码的码流可以经由输出设备3060作为输出3080被提供。
在执行视频解码的示例实施例中，输入设备3050可以接收经编码的码流作为输入3070。经编码的码流可以由例如视频编解码模块3025处理，以生成经解码的视频数据。经解码的视频数据可以经由输出设备3060作为输出3080被提供。
虽然已经参考本公开的优选实施例具体示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求限定的本申请的精神和范围的情况下，可以在形式和细节上进行各种改变。这些变化旨在由本申请的范围所涵盖。因此，本申请的实施例的前述描述不旨在是限制性的。

Claims (152)

1.一种用于视频处理的方法，包括：
在视频的目标视频块和所述视频的码流之间的转换期间，确定所述目标视频块的多个划分，所述目标视频块由混合预测工具被编解码，所述混合预测工具被用于基于所述目标视频块的多个候选预测来确定针对所述目标视频块的目标预测；以及
执行所述目标视频块和所述码流之间的所述转换。
2.根据权利要求1所述的方法，其中所述多个划分中的划分包括子块或子划分。
3.根据权利要求1或权利要求2所述的方法，其中所述混合预测工具包括组合的帧间和帧内预测(CIIP)或多假设预测(MHP)。
4.根据权利要求1-3中任一项所述的方法，其中针对所述目标视频块的多条运动信息被包括在所述码流中。
5.根据权利要求4所述的方法，其中一条运动信息针对所述目标视频块的一个划分被导出。
6.根据权利要求1-5中任一项所述的方法，其中针对所述目标视频块的划分的最终预测取决于与所述划分相关联的至少一条运动信息。
7.根据权利要求1-6中任一项所述的方法，其中如果所述目标视频块的所述多个划分的相应尺寸小于所述目标视频块的尺寸，则所述目标视频块以均匀的方式被划分。
8.根据权利要求7所述的方法，其中所述目标视频块被划分为矩形或正方形子块。
9.根据权利要求7所述的方法，其中所述目标视频块被划分为M×N个子块，M和N是整数。
10.根据权利要求9所述的方法，其中M等于或不等于N。
11.根据权利要求9所述的方法，其中M等于4、8或16中的一个。
12.根据权利要求9所述的方法，其中N等于4、8或16中的一个。
13.根据权利要求9所述的方法，其中M等于所述目标视频块的宽度，并且N小于所述目标视频块的高度。
14.根据权利要求9所述的方法，其中M小于所述目标视频块的宽度，并且N等于所述目标视频块的高度。
15.根据权利要求7所述的方法，其中所述目标视频块被划分为三角形子块。
16.根据权利要求15所述的方法，其中所述目标视频块被划分为两个对角三角形。
17.根据权利要求1-16中任一项所述的方法，其中如果所述目标视频块的所述多个划分的相应尺寸小于所述目标视频块的尺寸，则所述目标视频块以非均匀方式或不规则方式被划分。
18.根据权利要求17所述的方法，其中所述目标视频块通过斜线、直线或曲线中的一种被划分。
19.根据权利要求1-18中任一项所述的方法，其中如果所述目标视频块的所述多个划分的相应尺寸小于所述目标视频块的尺寸，则所述目标视频块的划分或候选预测是否是经帧内编解码的取决于所述目标视频块的划分信息。
20.根据权利要求19所述的方法，其中所述目标视频块的所述划分或所述候选预测是否是经帧内编解码的取决于划分线的角度。
21.根据权利要求19或权利要求20所述的方法，其中所述目标视频块的几何划分模式(GPM)划分是否是经帧内编解码的取决于以下中的一项：GPM划分模式、GPM划分角度或GPM划分距离。
22.根据权利要求19-21中任一项所述的方法，其中针对几何划分模式(GPM)信息与所述目标视频块的经帧内编解码的划分之间的关系或GPM信息与所述目标视频块的经帧内编解码的候选预测之间的关系，至少一个查找表或映射表被预定义。
23.根据权利要求19的方法，其中所述目标视频块的所述划分或所述候选预测是否是经帧内编解码的取决于与所述划分或所述候选预测相邻的邻近样本的数目。
24.根据权利要求23所述的方法，其中所述目标视频块的所述划分或所述候选预测是否是经帧内编解码的还取决于所述目标视频块如何被划分。
25.根据权利要求24所述的方法，其中所述邻近样本在所述目标视频块之外。
26.根据权利要求1-25中任一项所述的方法，其中如果所述目标视频块的所述多个划分的相应尺寸小于所述目标视频块的尺寸，并且如果所述目标视频块的划分或所述目标视频块的候选预测是经帧内模式编解码的，则针对所述划分或所述候选预测被允许的帧内模式取决于所述目标视频块的划分信息。
27.根据权利要求26所述的方法，其中是否使用水平帧内模式、垂直帧内模式、对角帧内模式或其它帧内模式取决于所述目标视频块的所述划分信息。
28.根据权利要求26所述的方法，其中预定义的帧内模式集基于上方样本和/或左侧邻居样本是否针对所述划分或所述候选预测可用而被定义。
29.根据权利要求28所述的方法，其中如果所述划分或所述候选预测没有在所述目标视频块之外的、并且与所述目标视频块的当前划分或当前候选预测相邻的左侧邻近样本，则水平或接近水平的帧内模式被禁止。
30.根据权利要求29所述的方法，其中所述划分的尺寸或所述划分的候选预测的尺寸小于所述目标视频块的尺寸。
31.根据权利要求28所述的方法，其中如果所述划分或所述候选预测没有在所述目标视频块之外的、并且与所述目标视频块的当前划分或当前候选预测相邻的上方邻近样本，则垂直或接近垂直的帧内模式被禁止。
32.根据权利要求26-31中任一项所述的方法，其中针对几何划分模式(GPM)划分被允许的帧内模式取决于以下中的一项：GPM划分模式、GPM划分角度或GPM划分距离。
33.根据权利要求26-32中任一项所述的方法，其中预定义的帧内模式集取决于以下中的一项被定义：几何划分模式(GPM)划分形状、GPM划分角度、GPM划分距离或GPM划分模式。
34.根据权利要求26-33中任一项所述的方法，其中至少一个查找表或映射表针对几何划分模式(GPM)信息与帧内模式之间的关系被预定义，所述帧内模式被允许用于经帧内编解码的所述划分或所述候选预测。
35.根据权利要求22或权利要求34所述的方法，其中所述GPM信息包括以下中的一项：GPM划分模式、GPM划分角度或GPM划分距离。
36.根据权利要求35所述的方法，其中一个帧内模式被允许用于GPM划分；或者
一组预定义的帧内模式被允许用于GPM划分。
37.根据权利要求27-36中任一项所述的方法，其中帧内模式被用于几何划分模式(GPM)划分取决于GPM编解码单元外部并且与当前GPM划分相邻的可用邻近样本。
38.根据权利要求37所述的方法，其中所述GPM划分的尺寸小于所述GPM编解码单元的尺寸。
39.根据权利要求37或38所述的方法，其中如果所述GPM划分具有与所述目标视频块的当前GPM划分相邻的上方邻近样本并且没有相邻的左侧邻近样本，则水平或接近水平的帧内模式被允许，所述水平或接近水平的帧内模式从左到右预测。
40.根据权利要求37或38所述的方法，其中如果所述GPM划分具有与所述目标视频块的当前GPM划分相邻的左侧邻近样本并且没有相邻的上方邻近样本，则垂直或接近垂直的帧内模式被允许，所述垂直或接近垂直的帧内模式从上到下预测。
41.根据权利要求37或38所述的方法，其中如果所述GPM划分没有与所述目标视频块的当前GPM划分相邻的左侧邻近样本并且没有相邻的上方邻近样本，则帧内模式针对所述当前GPM划分被禁止。
42.根据权利要求41所述的方法，其中除了水平、垂直、接近水平或接近垂直的帧内模式之外的帧内模式针对所述当前GPM划分被允许。
43.根据权利要求1-42中任一项所述的方法，其中如果所述目标视频块的所述多个划分的相应尺寸小于所述目标视频块的尺寸，则所述目标视频块不以锐度剪切的方式被划分为多个划分。
44.根据权利要求43所述的方法，其中将所述目标视频块分割成多个划分的方式被用于确定针对所述目标视频块中的预测样本的加权值。
45.根据权利要求43或权利要求44所述的方法，其中如果针对相应的划分的预测样本被独立地导出，则所述目标视频块以锐度剪切的方式被划分。
46.根据权利要求43或权利要求44所述的方法，其中如果针对相应的划分的预测样本没有被独立地导出，则所述目标视频块不以锐度剪切的方式被划分。
47.根据权利要求43-46中任一项所述的方法，其中针对所述目标视频块的第一划分中的第一位置的第一预测的第一加权大于针对所述目标视频块的第二划分中的第二位置的第一预测的第二加权。
48.根据权利要求47所述的方法，其中所述第一预测包括帧内预测，所述第一划分被视为经帧内编解码的划分，并且所述第二划分被视为经帧内编解码的划分。
49.根据权利要求43-48中任一项所述的方法，其中划分信息的指示不存在于所述码流中。
50.根据权利要求1-49中任一项所述的方法，其中如果所述目标视频块包括多于一个划分，每个划分的尺寸小于所述目标视频块的尺寸，则在所述混合预测工具中被使用的加权值的导出取决于所述目标视频块是否包含多于一个划分。
51.根据权利要求50的方法，其中所述加权值在相应的划分中的相对样本位置被导出。
52.根据权利要求51所述的方法，其中在第一划分中的第一相对样本位置的第一加权值等于在第二划分中的第二相对样本位置的第二加权值，所述第二相对样本位置与所述第一相对样本位置相同。
53.根据权利要求50所述的方法，其中所述加权值朝向所述目标视频块中的相对样本位置被导出。
54.根据权利要求50-53中任一项所述的方法，其中不同的加权值被用于划分的不同维度。
55.根据权利要求1-54中任一项所述的方法，其中如果所述目标视频块的所述多个划分的相应尺寸小于所述目标视频块的尺寸，则在所述目标视频块中被使用的划分或加权值取决于以下至少一项：经编解码的信息、颜色分量或颜色格式。
56.根据权利要求55所述的方法，其中色度分量使用与亮度分量相同或不同的划分规则。
57.根据权利要求55或权利要求56所述的方法，其中色度分量使用与亮度分量相同的加权值导出规则。
58.根据权利要求55或权利要求56所述的方法，其中色度分量使用与亮度分量相同的加权值。
59.一种用于视频处理的方法，包括：
在视频的目标视频块和所述视频的码流之间的转换期间，由混合预测工具使用所述目标视频块的运动数据，所述混合预测工具被用于基于所述目标视频块的多个候选预测来确定针对所述目标视频块的目标预测；以及
执行所述目标视频块和所述码流之间的所述转换。
60.根据权利要求59所述的方法，其中所述混合预测工具包括以下中的一项：组合的帧间和帧内预测(CIIP)、多假设预测(MHP)或几何划分模式(GPM)。
61.根据权利要求59或权利要求60的方法，其中所述运动数据包括虚拟运动数据或生成的运动数据。
62.根据权利要求59-61中任一项所述的方法，其中所述运动数据包括以下至少一项：运动矢量、预测方向或参考索引。
63.根据权利要求59-62中任一项所述的方法，其中所述运动数据通过基本块方式在所述目标视频块的基本块中被生成，所述目标视频块包括至少一个基本块。
64.根据权利要求63所述的方法，其中所述基本块包括4×4块。
65.根据权利要求63所述的方法，其中所述基本块的所述运动数据取决于所述混合预测工具如何被应用于所述基本块。
66.根据权利要求63所述的方法，其中所述基本块的所述运动数据取决于以下至少一项：所述基本块的加权值、所述基本块上的划分方法、或所述基本块上的所述多个候选预测中的一个候选预测的所述运动数据。
67.根据权利要求59-66中任一项所述的方法，其中预测方向基于预定义的规则被确定。
68.根据权利要求67所述的方法，其中如果在针对所述基本块的所述多个候选预测中的每个候选预测中仅有用于第一预测方向的运动信息被找到，则针对所述基本块的所述预测方向是单向预测方向，所述单向预测方向包括以下中的一项：所述第一预测方向，或不同于所述第一预测方向的第二预测方向。
69.根据权利要求67所述的方法，其中如果在针对所述基本块的所述多个候选预测中的每个候选预测中用于第一预测方向的运动信息和用于第二预测方向的运动信息被找到，则针对所述基本块的所述预测方向是双向预测方向，所述双向预测方向包括所述第一预测方向和所述第二预测方向。
70.根据权利要求59-69中任一项所述的方法，其中所述运动信息是基于预定义的规则被创建的经双向预测的运动信息。
71.根据权利要求70所述的方法，其中所述经双向预测的运动信息从第一候选列表中的第一候选的第一预测方向上的第一运动信息和第二候选列表中的第二候选的第二预测方向上的第二运动信息被构建。
72.根据权利要求71所述的方法，其中所述第一候选列表和所述第二候选列表中的至少一个是预定义的。
73.根据权利要求71或72所述的方法，其中所述第一候选列表和所述第二候选列表中的至少一个包括以下中的一项：
高级运动矢量预测(AMVP)候选列表，
合并候选列表，
基于几何划分模式(GPM)候选或AMVP候选或合并候选被构建的新的候选列表，或
其他运动候选列表。
74.根据权利要求71-73中任一项所述的方法，其中所述第一候选列表不同于所述第二候选列表，或者
所述第一候选与所述第二候选列表相同。
75.根据权利要求59-69中任一项所述的方法，其中所述运动信息是基于预定义的规则被创建的经单向预测的运动信息。
76.根据权利要求75所述的方法，其中所述经双向预测的运动信息从第三候选列表中的候选的第一运动信息和第二运动信息被构建，所述第一运动处于第一预测方向，并且所述第二运动处于第二预测方向。
77.根据权利要求75或权利要求76所述的方法，其中所述第三候选列表包括以下中的一项：
高级运动矢量预测(AMVP)候选列表，
合并候选列表，
基于几何划分模式(GPM)候选或AMVP候选或合并候选被构建的新的候选列表，或
其他运动候选列表。
78.根据权利要求59-77中任一项所述的方法，其中如果所述运动信息来自合并候选列表，则合并候选索引被包括在所述码流中或从解码器导出的方法被导出。
79.根据权利要求78所述的方法，其中所述解码器导出的方法包括以下中的一项：基于模板匹配的方法或基于双边匹配的方法。
80.根据权利要求59-77中任一项所述的方法，其中如果所述运动信息来自高级运动矢量预测(AMVP)候选列表，则运动矢量差被包括在所述码流中或从解码器导出的方法被导出。
81.根据权利要求59-77中任一项所述的方法，其中如果所述运动信息来自高级运动矢量预测(AMVP)候选列表，则AMVP候选索引被包括在所述码流中或从解码器导出的方法被导出。
82.根据权利要求80或权利要求81所述的方法，其中所述解码器导出的方法包括以下中的一项：基于模板匹配的方法或基于双边匹配的方法。
83.根据权利要求59-82中任一项所述的方法，还包括：
基于所述运动数据生成预测块；以及
至少基于所述预测块确定所述目标视频块。
84.根据权利要求83所述的方法，还包括：
对生成的所述预测块应用细化过程。
85.根据权利要求84所述的方法，其中所述细化过程包括以下中的一项：模板匹配(TM)、双边匹配、解码器导出的运动矢量细化、多遍次解码器导出的运动矢量细化、双向光流(BODF)或利用光流的预测细化(PROF)。
86.根据权利要求1-85中任一项所述的方法，其中所述运动数据在所述转换期间中的后续过程中被使用。
87.根据权利要求86所述的方法，其中所述后续过程包括去块过程。
88.根据权利要求1-87中任一项所述的方法，其中所述运动数据被用于预测后续块中的运动数据。
89.一种用于视频处理的方法，包括：
在视频的目标视频块和所述视频的码流之间的转换期间，基于解码器导出的方法或帧内预测的预定义的规则，确定所述目标视频块的帧内预测信息，所述目标视频块由混合预测工具被预测，所述混合预测工具被用于基于所述目标视频块的多个候选预测来确定针对所述目标视频块的目标预测；以及
至少基于所述帧内预测信息执行所述转换。
90.根据权利要求89所述的方法，其中所述混合预测工具包括以下中的一项：组合的帧间和帧内预测(CIIP)、多假设预测(MHP)或几何划分模式(GPM)。
91.根据权利要求89或权利要求90所述的方法，其中所述解码器导出的方法包括以下中的一项：
解码器帧内预测模式导出(DIMO)，或
基于模板的帧内预测模式导出(TIMO)。
92.根据权利要求89或权利要求90的方法，其中所述帧内预测信息基于基于融合的帧内预测被导出。
93.根据权利要求92所述的方法，其中所述基于融合的帧内预测是指从多于一个帧内模式被混合的预测块。
94.根据权利要求92或93所述的方法，其中所述基于融合的帧内预测从来自预定义的帧内模式集中的至少两个帧内模式被生成，所述至少两个帧内模式位于所述预定义的帧内模式集中的优先位置。
95.根据权利要求94所述的方法，其中所述至少两个帧内模式的相应成本低于阈值。
96.根据权利要求95所述的方法，其中所述至少两个帧内模式的所述成本基于模板匹配或双边匹配被计算。
97.根据权利要求94-96中任一项所述的方法，还包括：
基于模板匹配对所述预定义的帧内模式集排序；以及
基于所述排序选择所述至少两个帧内模式。
98.根据权利要求95所述的方法，其中所述至少两个帧内模式的所述成本基于使用所述目标视频块的邻近样本的信息的质量度量被计算。
99.根据权利要求98所述的方法，其中所述质量度量包括以下中的一项：
绝对差和(SAD)，
绝对转换差和(SATD)，或
均方误差(MSE)。
100.根据权利要求95所述的方法，其中所述至少两个帧内模式的所述成本基于来自所述目标视频块的邻近样本的梯度直方图(HoG)被计算。
101.根据权利要求94-100中任一项所述的方法，其中所述预定义的帧内模式集包括以下至少一项：平面模式、常规帧内模式或来自最可能模式(MPM)列表的帧内模式。
102.根据权利要求92-101中任一项所述的方法，其中针对目标视频块混合的多个预测样本的权重取决于帧内预测角度或帧内预测方向。
103.根据权利要求102所述的方法，其中针对所述多个预测样本的所述权重还取决于以下至少一项：几何划分模式(GPM)划分模式、GPM划分角度或GPM划分距离。
104.根据权利要求92-101中任一项所述的方法，其中针对所述目标视频块混合的多个预测样本的权重是以下中的一项：基于块的、基于划分的、基于子块的或基于样本的。
105.一种用于视频处理的方法，包括：
在视频的目标视频块和所述视频的码流之间的转换期间，基于编解码信息确定针对所述目标视频块的第一预测样本的权重和第二预测样本的权重；
通过基于所述权重混合所述第一预测样本和所述第二预测样本来生成目标预测；以及
至少基于所述目标预测执行所述转换。
106.根据权利要求105所述的方法，其中所述第一预测样本包括帧内预测样本，并且所述第二预测样本包括以下中的一项：经帧间编解码的样本、经帧内编解码的样本或从其他样本混合的预测样本。
107.根据权利要求105或权利要求106所述的方法，其中用于确定所述权重的规则取决于所述第一预测样本和所述第二预测样本的预测模式。
108.根据权利要求107所述的方法，其中所述第一预测样本和所述第二预测样本包括以下组合中的一项：
两个经帧内预测的样本，
一个经帧内预测的样本和一个经帧间预测的样本，或
两个经帧间预测的样本；以及
其中用于确定针对不同组合的所述权重的规则是不同的。
109.根据权利要求105-108中任一项所述的方法，其中所述第一预测样本和所述第二预测样本包括至少一个经帧内预测的样本，并且所述权重取决于所述至少一个经帧内预测的样本中的一个样本的预测模式。
110.根据权利要求105-109中任一项所述的方法，还包括：
基于被用于所述目标视频块的帧内模式，确定用于融合方法的用于混合预测样本的多于一组权重。
111.根据权利要求110所述的方法，其中不同组权重基于帧内模式的分类被确定。
112.根据权利要求111所述的方法，其中所述帧内模式包括以下至少一项：水平模式、垂直模式、广角模式、对角模式、反对角模式、第一帧内模式、第二帧内模式或第三帧内模式，在所述第一帧内模式中所述预测样本从顶部和左侧邻近样本被预测，在所述第二帧内模式中所述预测样本从顶部邻近样本被预测，在所述第三帧内模式中所述预测样本从左侧邻近样本被预测。
113.根据权利要求112所述的方法，其中：
所述第一帧内模式与小于第一阈值的索引相关联，
所述第二帧内模式与大于第二阈值的索引相关联，或者
所述第三帧内模式与大于所述第一阈值且小于所述第二阈值的索引相关联。
114.根据权利要求105-113中任一项所述的方法，其中所述权重是基于编解码工具中的权重定义或权重分类的规则。
115.根据权利要求114所述的方法，其中所述编解码工具包括以下中的一项：
位置相关的帧内预测组合(PDPC)，或
组合的帧间和帧内预测(CIIP)。
116.根据权利要求105-109中任一项所述的方法，还包括：
基于子块、属于所述子块的当前样本，确定用于融合方法的用于混合预测样本的多于一组权重。
117.根据权利要求116所述的方法，其中针对所述第一预测样本的第一权重不同于针对所述第二预测样本的第二权重。
118.根据权利要求117所述的方法，其中所述第一预测样本属于第一子块，并且所述第二预测样本属于不同于所述第一子块的第二子块。
119.根据权利要求118所述的方法，其中所述第一子块和所述第二子块具有非矩形形状。
120.根据权利要求105所述的方法，其中所述权重取决于颜色分量。
121.根据权利要求120所述的方法，其中针对第一颜色分量的权重基于针对第二颜色分量的相应权重被导出。
122.根据权利要求105-121中任一项所述的方法，还包括：
在所述码流中存储目标单元中的所述目标视频块的帧内模式信息，所述目标视频块由混合预测工具被预测，所述混合预测工具被用于基于所述目标视频块的多个候选预测确定针对所述目标视频块的所述目标预测。
123.根据权利要求122所述的方法，其中所述混合预测工具包括以下中的一种：组合的帧间和帧内预测(CIIP)、多假设预测(MHP)或几何划分模式(GPM)。
124.根据权利要求122或权利要求123的方法，其中所述目标单元包括M×M像素的单元，M是整数。
125.根据权利要求124所述的方法，其中M等于4、8或16。
126.根据权利要求122-125中任一项所述的方法，其中如果位于混合区域中的所述目标单元内部的多个划分中的每个划分是经帧内编解码的，则其帧内模式被存储的目标划分取决于以下至少一项：
划分信息，
所述划分的尺寸或针对所述目标单元的预测的尺寸，
所述帧内模式信息，或
预定义的规则。
127.根据权利要求122-126中任一项所述的方法，其中如果定位在混合区域中的所述目标单元包括经帧内编解码的划分或预测以及经帧间编解码的划分或预测，则是否存储帧间预测运动数据或所述帧内模式信息取决于以下至少一项：
预定义的规则，
所述帧内模式信息，
所述帧间预测运动数据，
划分信息，或
所述划分的尺寸或所述预测的尺寸。
128.根据权利要求126或权利要求127所述的方法，其中所述划分信息包括：划分角度、划分距离或划分模式。
129.根据权利要求122所述的方法，其中被存储的所述帧内模式信息在第一混合预测模式中被使用，所述目标视频块在所述第一混合预测模式中被分为多个划分。
130.根据权利要求129所述的方法，其中所述划分包括：几何划分模式(GPM)。
131.根据权利要求122所述的方法，其中被存储的所述帧内模式信息在第二混合预测模式中被使用，而不在所述第二混合预测模式中将所述目标视频块分为多个划分。
132.根据权利要求131所述的方法，其中所述划分包括：组合的帧间和帧内预测(CIIP)或多假设预测(MHP)。
133.根据权利要求122-132中任一项所述的方法，还包括：
基于被存储的所述目标单元的所述帧内模式信息，预测后续块的帧内预测模式信息。
134.根据权利要求1-133中任一项所述的方法，其中关于是否和/或如何应用所述方法的信息在所述码流中被指示。
135.根据权利要求134所述的方法，其中所述信息在以下中的一项被指示：序列级别、图片组级别、图片级别、条带级别或图块组级别。
136.根据权利要求134或135所述的方法，其中所述信息在序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、解码参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头中被指示。
137.根据权利要求134-136中任一项所述的方法，其中所述信息在包含多于一个样本或像素的区域中被指示。
138.根据权利要求137所述的方法，其中所述区域包括以下中的一项：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块或子图。
139.根据权利要求133-138中任一项所述的方法，其中所述信息取决于经编解码的信息。
140.根据权利要求139所述的方法，其中所述经编解码的信息包括以下至少一项：编解码模式、块尺寸、颜色格式、单树或双树划分、颜色分量、条带类型或图片类型。
141.根据权利要求1-140中任一项所述的方法，其中所述转换包括将所述目标视频块编码到所述码流中。
142.根据权利要求1-140中任一项所述的方法，其中所述转换包括从所述码流解码所述目标视频块。
143.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-142中任一项所述的方法。
144.一种非暂态计算机可读存储介质，存储使处理器执行根据权利要求1-142中任一项所述的方法的指令。
145.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：
确定所述视频的目标视频块的多个划分，所述目标视频块由混合预测工具被编解码，所述混合预测工具被用于基于所述目标视频块的多个候选预测来确定针对所述目标视频块的目标预测；以及
生成所述码流。
146.一种用于存储视频的码流的方法，包括：
确定所述视频的目标视频块的多个划分，所述目标视频块由混合预测工具被编解码，所述混合预测工具被用于基于所述目标视频块的多个候选预测来确定针对所述目标视频块的目标预测；
生成所述码流；以及
将所述码流存储在非暂态计算机可读记录介质中。
147.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：
由混合预测工具使用所述视频的目标视频块的运动数据，所述混合预测工具被用于基于所述目标视频块的多个候选预测来确定针对所述目标视频块的目标预测；
生成所述码流。
148.一种用于存储视频的码流的方法，包括：
由混合预测工具使用所述视频的目标视频块的运动数据，所述混合预测工具被用于基于所述目标视频块的多个候选预测来确定针对所述目标视频块的目标预测；
生成所述码流；以及
将所述码流存储在非暂态计算机可读记录介质中。
149.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：
基于解码器导出的方法或帧内预测的预定义的规则，确定所述视频的目标视频块的帧内预测信息，所述目标视频块由混合预测工具被预测，所述混合预测工具被用于基于所述目标视频块的多个候选预测来确定针对所述目标视频块的目标预测；以及至少基于所述帧内预测信息生成所述码流。
150.一种用于存储视频的码流的方法，包括：
基于解码器导出的方法或帧内预测的预定义的规则，确定所述视频的目标视频块的帧内预测信息，所述目标视频块由混合预测工具被预测，所述混合预测工具被用于基于所述目标视频块的多个候选预测来确定针对所述目标视频块的目标预测；
至少基于所述帧内预测信息生成所述码流；以及
将所述码流存储在非暂态计算机可读记录介质中。
151.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：
基于编解码信息确定针对所述视频的目标视频块的第一预测样本的权重和第二预测样本的权重；
通过基于所述权重混合所述第一预测样本和所述第二预测样本来生成目标预测；以及
基于所述目标预测生成所述码流。
152.一种用于存储视频的码流的方法，包括：
基于编解码信息确定针对所述视频的目标视频块的第一预测样本的权重和第二预测样本的权重；
通过基于所述权重混合所述第一预测样本和所述第二预测样本来生成目标预测；
基于所述目标预测生成所述码流；以及
将所述码流存储在非暂态计算机可读记录介质中。
CN202280048558.XA 2021-07-08 2022-07-08 用于视频处理的方法、装置和介质 Pending CN118077194A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2021105285 2021-07-08
CNPCT/CN2021/105285 2021-07-08
PCT/CN2022/104672 WO2023280311A1 (en) 2021-07-08 2022-07-08 Method, apparatus, and medium for video processing

Publications (1)

Publication Number Publication Date
CN118077194A true CN118077194A (zh) 2024-05-24

Family

ID=84801330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280048558.XA Pending CN118077194A (zh) 2021-07-08 2022-07-08 用于视频处理的方法、装置和介质

Country Status (3)

Country Link
US (1) US20240155109A1 (zh)
CN (1) CN118077194A (zh)
WO (1) WO2023280311A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11477474B2 (en) * 2018-06-08 2022-10-18 Mediatek Inc. Methods and apparatus for multi-hypothesis mode reference and constraints
MX2021006390A (es) * 2018-11-29 2021-09-10 Huawei Tech Co Ltd Codificador, decodificador y métodos correspondientes de la construcción de lista de modo más probable para bloques con predicción de multihipótesis.
CN111010578B (zh) * 2018-12-28 2022-06-24 北京达佳互联信息技术有限公司 一种帧内帧间联合预测的方法、装置以及存储介质
WO2020156464A1 (en) * 2019-01-31 2020-08-06 Mediatek Inc. Method and apparatus of combined inter and intraprediction for video coding
KR20220044754A (ko) * 2019-08-15 2022-04-11 알리바바 그룹 홀딩 리미티드 비디오 코딩을 위한 블록 파티셔닝 방법

Also Published As

Publication number Publication date
US20240155109A1 (en) 2024-05-09
WO2023280311A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
CN117529919A (zh) 用于视频处理的方法、设备和介质
CN117337564A (zh) 用于视频处理的方法、装置和介质
CN118077194A (zh) 用于视频处理的方法、装置和介质
WO2023051624A1 (en) Method, apparatus, and medium for video processing
US20240163459A1 (en) Method, apparatus, and medium for video processing
WO2023072216A1 (en) Method, apparatus, and medium for video processing
WO2022262694A1 (en) Method, device, and medium for video processing
WO2022262695A1 (en) Method, device, and medium for video processing
WO2022262693A1 (en) Method, device, and medium for video processing
WO2023030504A1 (en) Method, device, and medium for video processing
WO2022262689A1 (en) Method, device, and medium for video processing
WO2023280282A1 (en) Method, apparatus, and medium for video processing
WO2024099334A1 (en) Method, apparatus, and medium for video processing
WO2023040993A1 (en) Method, device, and medium for video processing
WO2023208057A1 (en) Method, apparatus, and medium for video processing
WO2024002185A1 (en) Method, apparatus, and medium for video processing
WO2024067638A1 (en) Method, apparatus, and medium for video processing
WO2023025098A1 (en) Method, apparatus, and medium for video processing
WO2024046479A1 (en) Method, apparatus, and medium for video processing
CN117581538A (zh) 视频处理的方法、设备和介质
WO2024032671A1 (en) Method, apparatus, and medium for video processing
US20240195952A1 (en) Method, apparatus, and medium for video processing
WO2024114652A1 (en) Method, apparatus, and medium for video processing
WO2024078550A1 (en) Method, apparatus, and medium for video processing
WO2023072262A2 (en) Method, device, and medium for video processing

Legal Events

Date Code Title Description
PB01 Publication