CN118120230A - 用于视频处理的方法、装置和介质 - Google Patents

用于视频处理的方法、装置和介质 Download PDF

Info

Publication number
CN118120230A
CN118120230A CN202280056012.9A CN202280056012A CN118120230A CN 118120230 A CN118120230 A CN 118120230A CN 202280056012 A CN202280056012 A CN 202280056012A CN 118120230 A CN118120230 A CN 118120230A
Authority
CN
China
Prior art keywords
ipm
template
component
prediction
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280056012.9A
Other languages
English (en)
Inventor
王洋
张凯
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN118120230A publication Critical patent/CN118120230A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提出了一种视频处理方法。该方法包括：在视频的目标单元与目标单元的比特流之间的转换期间，导出目标单元的帧内预测模式(IPM)用于至少一个色度分量(2610)，该目标单元被应用有目标编解码工具；使用IPM获得目标单元的针对至少一个色度分量的预测(2620)；以及基于针对至少一个色度分量的预测来执行转换(2630)。

Description

用于视频处理的方法、装置和介质
技术领域
本公开的各实施例总体上涉及视频编解码技术，更具体地，涉及针对色度的帧内预测模式导出。
背景技术
如今，数字视频功能正被应用于人们生活的各个方面。针对视频编码/解码，已经提出了多种类型的视频压缩技术，如运动图片专家组(MPEG)-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4 Part 10高级视频编解码(AVC)、ITU-TH.265高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准。然而，视频编解码技术的编解码效率通常期望得到进一步提高。
发明内容
本公开的实施例提供用于视频处理的解决方案。
在第一方面中，提出了一种用于视频处理的方法，该方法包括：在视频的目标单元与所述目标单元的比特流之间的转换期间，导出针对所述目标单元的至少一个色度分量的帧内预测模式(IPM)，所述目标单元被应用有目标编解码工具；使用所述IPM获得针对所述目标单元的所述至少一个色度分量的预测；以及基于所述预测执行所述转换。与传统技术相比，提高了编解码效率和压缩效率。
在第二方面中，提出了一种用于处理视频数据的装置。该用于处理视频数据装置包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由处理器执行时使处理器在视频的目标单元与目标单元的比特流之间的转换期间，导出针对所述目标单元的至少一个色度分量的帧内预测模式(IPM)，所述目标单元被应用有目标编解码工具；使用所述IPM获得针对所述目标单元的所述至少一个色度分量的预测；并且基于所述预测执行所述转换。与传统技术相比，提高了编解码效率和压缩效率。
在第三方面中，提出了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储使处理器执行方法的指令。该方法包括：在视频的目标单元与所述目标单元的比特流之间的转换期间，导出针对目标单元的至少一个色度分量的帧内预测模式(IPM)，所述目标单元被应用有目标编解码工具；使用所述IPM获得针对所述目标单元的所述至少一个色度分量的预测；以及基于所述预测执行所述转换。与传统技术相比，提高了编解码效率和压缩效率。
在第四方面中，提出了一种非暂态计算机可读记录介质，该非暂态计算机可读记录介质存储有视频的由视频处理装置执行的方法所生成的比特流，其中该方法包括：导出针对该视频的目标单元的至少一个色度分量的帧内预测模式(IPM)，所述目标单元被应用有目标编解码工具；使用所述IPM获得针对所述目标单元的至少一个色度分量的预测；以及基于所述预测生成所述目标单元的比特流。
在第五方面中，提出了另一种用于视频处理的方法，该方法用于存储视频的比特流，包括：导出针对所述视频的目标单元的至少一个色度分量的帧内预测模式(IPM)，所述目标单元被应用有目标编解码工具；使用所述IPM获得针对所述目标单元的所述至少一个色度分量的预测；基于所述预测生成所述目标单元的比特流；以及将所述比特流存储在非暂态计算机可读记录介质中。
提供本发明内容是为了以简化的形式介绍以下在具体实施例中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。
附图说明
通过参考附图的以下详细描述，本公开的示例实施例的上述和其它目标、特征和优点将变得更加清楚，在本公开的示例实施例中，相同的附图标记通常指相同的部件。
图1示出了用于示出根据本公开的一些实施例的示例视频编解码系统的框图；
图2示出了用于示出根据本公开的一些实施例的第一示例视频编码器的框图；
图3示出了用于示出根据本公开的一些实施例的示例视频解码器的框图；
图4示出了图片中4:2:2亮度和色度样本的标称竖直和水平位置；
图5示出了编码器框图的示例；
图6示出了67个帧内预测模式的示意图；
图7示出了用于广角帧内预测的参考样本；
图8示出了在方向超过45°的情况下的不连续性问题的示意图；
图9示出了用于导出α和β的样本的位置的示意图；
图10示出了将邻近样本分成两组的示例；
图11a至图11d示出了应用于对角线和相邻角度帧内模式的PDPC所使用的样本的定义，其中图8a示出了对角线右上模式，图8b示出了对角线左下模式，图8c示出了相邻的对角线右上模式，并且图8d示出了相邻的对角线左下模式；
图12示出了用于非竖直/非水平模式的梯度方法；
图13示出了关于nTbH和模式数目的nScale值；对于所有nScale<0的情况，使用梯度方法；
图14示出了流程图：当前PDPC(左)和所提出的PDPC(右)；
图15示出了用于导出一般MPM列表的邻近块(L、A、BL、AR、AL)；
图16示出了关于所提出的帧内参考映射的示例；
图17示出了与预测块邻近的四个参考线的示例；
图18示出了取决于块大小的子划分的示意图；
图19示出了矩阵加权的帧内预测过程；
图20示出了DIMD中使用的模板的目标样本、模板样本和参考样本。针对每个帧内预测模式，DIMD计算从模板的参考样本获得的重建模板样本与其预测样本之间的绝对差(SAD)。选择产生最小SAD的帧内预测模式作为目标单元的最终帧内预测模式；
图21示出了所提出的帧内块解码过程；
图22示出了从宽度为3像素的模板进行HoG计算；
图23示出了通过对两个HoG模式和平面进行加权平均的预测融合。
图24示出了常规角度IPM(用箭头表示)和扩展角度IPM(用虚线表示)；
图25a至图25j分别示出了在针对色度导出IPM中使用的模板；
图26示出了根据本公开的实施例的方法的流程图；
图27示出了其中可以实现本公开的各种实施例的计算设备的框图。
在整个附图中，相同或相似的附图标记通常表示相同或相似的元素。
具体实施方式
现在将参考一些实施例来描述本公开的原理。应当理解的是，描述这些实施例仅出于说明并且帮助本领域技术人员理解和实施本公开的目的，而不暗示对本公开的范围的任何限制。除了下文所述的方式之外，本文所描述的公开内容还可以以各种方式实施。
在以下描述和权利要求中，除非另有定义，否则在本文中使用的所有科学术语和技术术语具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。
本公开中提及的“一个实施例”、“实施例”、“示例实施例”等指示所描述的实施例可以包括特定的特征、结构或特性，但是并非每个实施例都必须包括该特定的特征、结构或特性。此外，这些短语不一定指同一实施例。此外，当结合示例实施例描述特定的特征、结构或特性时，无论是否明确描述，认为影响与其他实施例相关的这种特征、结构或特性在本领域技术人员的知识范围内。
应当理解的是，尽管术语“第一”和“第二”等可以用于描述各种元素，但这些元素不应受限于这些术语。这些术语仅用于区分一个元素与另一个元素。例如，第一元素可以被称为第二元素，类似地，第二元素可以被称为第一元素，而不脱离示例实施例的范围。如本文中所使用的，术语“和/或”包括一个或多个所列术语的任何和所有组合。
本文中所使用的术语仅用于描述特定实施例的目的，并不旨在限制示例实施例。如本文中所用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指示。还应理解，术语“包括”、“包含”和/或“具有”在本文中使用时表示存在所述特征、元素和/或组件等，但不排除一个或多个其他特征、元素、组件和/或其组合的存在或添加。
示例环境
图1是图示可以利用本公开的技术的示例视频编解码系统100的框图。如所示出的，视频编解码系统100可以包括源设备110和目的设备120。源设备110也可以称为视频编码设备，并且目的设备120也可以称为视频解码设备。在操作中，源设备110可以被配置为生成经编码的视频数据，并且目的设备120可以被配置为对由源设备110生成的经编码的视频数据进行解码。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备之类的源。视频捕获设备的示例包括但不限于从视频内容提供商接收视频数据的接口、用于生成视频数据的计算机图形系统和/或其组合。
视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码，以生成比特流。比特流可以包括形成视频数据的编码表示的位序列。比特流可以包括编码图片和相关联的数据。编码图片是图片的编码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器和/或发送器。经编码的视频数据可以通过网络130A经由I/O接口116直接传输至目的设备120。经编码的视频数据也可以存储在存储介质/服务器130B上，以供目的设备120访问。
目的设备120可以包括I/O接口126、视频解码器124和显示设备122。I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130B获取经编码的视频数据。视频解码器124可以对经编码的视频数据进行解码。显示设备122可以向用户显示经解码的视频数据。显示设备122可以与目的设备120集成，或者可以在目的设备120的外部，该目的设备120被配置为与外部显示设备接口连接。
视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他现有和/或进一步的标准。
图2是示出根据本公开的一些实施例的视频编码器200的示例的方框图，视频编码器200可以是图1所示的系统100中的视频编码器114的示例。
视频编码器200可以被配置为实现本公开的任何或所有技术。在图2的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在一些实施例中，视频编码器200可以包括划分单元201、预测单元202、残差生成单元207、变换单元208、量化单元209、反量化单元210、反变换单元211、重建单元212、缓冲213和熵编解码单元214，该预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206。
在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括块内复制(IBC)单元。IBC单元可以在IBC模式中执行预测，其中至少一个参考图片是当前视频块所位于的图片。
此外，尽管一些组件(诸如运动估计单元204和运动补偿单元205)可以被集成，但是为了解释的目的，这些组件在图2的示例中被分离地示出。
划分单元201可以将图片划分成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。
模式选择单元203可以例如基于误差结果来选择多种编解码模式(帧内编码或帧间编码)中的一种编解码模式，并且将所产生的帧内编解码块或帧间编解码块提供给残差生成单元207以生成残差块数据，并且提供给重建单元212以重建编解码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择针对运动矢量的分辨率(例如，亚像素精度或整数像素精度)。
为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲213的一个或多个参考帧与当前视频块进行比较来生成针对当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲213的除了与当前视频块相关联的图片之外的图片的经解码样本，来确定针对当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。如本文中使用的，“I条带”可以是指由宏块构成的图片的一部分，所有宏块均基于同一图片内的宏块。此外，如本文中使用的，在一些方面中，“P条带”和“B条带”可以是指由独立于同一图片中的宏块的宏块构成的图片的部分。
在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以搜索列表0或列表1的参考图片，以寻找针对当前视频块的参考视频块。运动估计单元204然后可以生成参考索引和运动矢量，该参考索引指示列表0或列表1中的包含参考视频块的参考图片，并且该运动矢量指示当前视频块与参考视频块之间的空间位移。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
备选地，在其他示例中，运动估计单元204可以对当前视频块执行双向预测。运动估计单元204可以搜索列表0中的参考图片以寻找针对当前视频块的参考视频块，并且还可以搜索列表1中的参考图片以寻找针对当前视频块的另一参考视频块。运动估计单元204然后可以生成多个参考索引和多个运动矢量，该多个参考索引指示列表0和列表1中的包含多个参考视频块的多个参考图片，并且该多个运动矢量指示在多个参考视频块与当前视频块之间的多个空间位移。运动估计单元204可以输出当前视频块的多个参考索引和多个运动矢量以作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的多个参考视频块来生成针对当前视频块的预测视频块。
在一些示例中，运动估计单元204可以输出完整的运动信息集，以用于解码器的解码处理。备选地，在一些实施例中，运动估计单元204可以参考另一视频块的运动信息来通过信号传输当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中向视频解码器300指示一值，该值指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示在当前视频块的运动矢量与所指示的视频块的运动矢量之间的差异。视频解码器300可以使用所指示的视频块的运动矢量以及运动矢量差来确定当前视频块的运动矢量。
如上所讨论的，视频编码器200可以以预测性的方式通过信号传输运动矢量。可以由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中其他视频块的经解码样本来生成针对当前视频块的预测数据。针对当前视频块的预测数据可以包括预测视频块和各个语法元素。
残差生成单元207可以通过从当前视频块中减去(例如，由减号指示)当前视频块的(多个)预测视频块来生成针对当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样本的不同样本部分的残差视频块。
在其他示例中，例如在跳过模式中，针对当前视频块可以不存在针对当前视频块的残差数据，并且残差生成单元207可以不执行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块，来生成针对当前视频块的一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
反量化单元210和反变换单元211可以分别对变换系数视频块应用反量化和反变换，以从变换系数视频块重建残差视频块。重建单元212可以将经重建的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样本，以产生与当前视频块相关联的重建视频块，以供存储在缓冲213中。
在重建单元212重建视频块之后，可以执行环路滤波操作以减少视频块中的视频块效应伪像。
熵编解码单元214可以从视频编码器200的其他功能组件接收数据。当熵编解码单元214接收数据时，熵编解码单元214可以执行一个或多个熵编码操作，以生成熵编解码数据并且输出包括该熵编解码数据的比特流。
图3是示出根据本公开的一些实施例的视频解码器300的示例的方框图，视频解码器300可以是图1所示的系统100中的视频解码器124的示例。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图3的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在图3的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、反量化单元304、反变换单元305、以及重建单元306和缓冲307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200所描述的编码过程相对的解码过程。
熵解码单元301可以取回经编码的比特流。经编码的比特流可以包括经熵编码的视频数据(例如，经编码的视频数据块)。熵解码单元301可以对经熵编码的视频数据进行解码，并且运动补偿单元302可以从经熵解码的视频数据中确定运动信息，该运动信息包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。运动补偿单元302可以例如通过执行AMVP和合并模式来确定该信息。AMVP被使用，包括基于相邻PB的数据和参考图片得出数个最可能的候选项。运动信息通常包括水平和垂直运动矢量位移值、一个或两个参考图片索引，并且在B条带中的预测区域的情况下，还包括哪个参考图片列表与每个索引相关联的标识。如本文所使用的，在一些方面中，“合并模式”可以是指从空间或时间上邻近的块中导出运动信息。
运动补偿单元302可以产生运动补偿块，可能地基于插值滤波器来执行内插。针对以亚像素精度被使用的插值滤波器的标识符可以被包括在语法元素中。
运动补偿单元302可以使用由视频编码器200在视频块的编码期间使用的插值滤波器来计算用于参考块的亚整数像素的内插值。运动补偿单元302可以根据接收到的语法信息来确定由视频编码器200使用的插值滤波器，并且运动补偿单元302可以使用插值滤波器来产生预测块。
运动补偿单元302可以使用至少部分语法信息来确定用于编码经编码视频序列的(多个)帧和/或(多个)条带的块的大小、描述经编码视频序列的图片的每个宏块如何被划分的划分信息、指示每个划分如何被编码的模式、针对每个帧间编解码块的一个或多个参考帧(和参考帧列表)、以及对经编码视频序列进行解码的其他信息。如本文中所使用的，在一些方面，“条带”可以是指在熵编码、信号预测和残差信号重建方面可以独立于同一图片的其他条带而被解码的数据结构。条带可以是整个图片，或者也可以是图片的区域。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式，以从空间相邻块形成预测块。反量化单元304反量化(即，去量化)在比特流中提供的、并且由熵解码单元301解码的量化视频块系数。反变换单元305应用反变换。
重建单元306可以例如通过将残差块与由运动补偿单元302或帧内预测单元303生成的相应预测块相加来获得经解码的块。如果需要的话，还可以应用去块效应滤波器以对经解码的块进行过滤，以便去除块效应伪像。经解码的视频块随后被存储在缓冲307中，缓冲307为后续运动补偿/帧内预测提供参考块，并且缓冲307还产生经解码的视频以供在显示设备上呈现。
下文将详细描述本公开的一些示例实施例。应当注意，在本文件中使用章节标题是为了便于理解，而不是将章节中公开的实施例仅限于该章节。此外，尽管参考通用视频编解码或其他特定视频编解码器描述了一些实施例，但是所公开的技术也适用于其他视频编解码技术。此外，尽管一些实施例详细描述了视频编码步骤，但是应当理解的是取消编码的相应解码步骤将由解码器实现。此外，术语视频处理包括视频编解码或压缩、视频解码或解压缩以及视频转码，在该视频转码中视频像素被从一种压缩格式表示为另一种压缩格式或以不同的压缩码率表示。
1.概述
本公开涉及视频编解码技术。具体地，本公开涉及利用先前解码的块导出色度分量的帧内预测模式的一种编解码工具，以及针对色度分量的帧内预测模式的编解码和图像/视频编解码中的其他编解码工具。它可以应用于现有的视频编解码标准，如HEVC或通用视频编解码(VVC)。它也可能适用于未来的视频编解码标准或视频编解码器。
2.背景
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展而发展起来。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视觉(Visual)，这两个组织联合制作了H.264/MPEG-2视频和H.264/MMPEG-4高级视频编解码(AVC)以及H.264/HEVC标准。自从H.262，视频编解码标准基于混合视频编解码结构，其中利用了时间预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。此后，JVET采用了许多新方法，并将其放入名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)被创建，以致力于VVC标准，其目标是与HEVC相比降低50％比特率。VVC草案的最新版本、即通用视频编解码(草案10)可在以下网址找到：
http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/20_Teleconference/wg11/JVET-T2001-v1.zip
名为VTM的VVC的最新参考软件，可在以下网址找到：https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/-/tags/VTM-11.0
2.1颜色空间和色度子采样
颜色空间、又称颜色模型(或色系)是一种抽象的数学模型，其将颜色的范围简单地描述为数字元组，通常为3或4个值或颜色分量(例如RGB)。基本上，颜色空间是对坐标系和子空间的阐述。
对于视频压缩，最常用的颜色空间是YCbCr和RGB。
YCbCr、Y′CbCr或Y Pb/Cb Pr/Cr(也写作YCBCR或Y'CBCR)是视频和数字摄影系统中用作颜色图像流水线的一部分的颜色空间家族。Y′是亮度分量，CB和CR是蓝色差和红色差的色度分量。Y′(带有撇号)与Y区别开来，其是亮度，意味着光强度基于伽马校正RGB原色被非线性编码。
色度子采样是通过实现相比亮度信息更低的色度信息分辨率来实践编码图像，其利用人类视觉系统对色差的敏感度低于对亮度的敏感度。
2.1.1. 4:4:4
三个Y'CbCr分量中的每一个都具有相同的采样率，因此不存在色度子采样。这种方案有时用于高端胶片扫描仪和电影后期制作。
2.1.2. 4:2:2
两个色度分量以亮度采样率的一半被采样：水平色度分辨率减半，而垂直色度分辨率不变。这将未压缩视频信号的带宽降低了三分之一，而几乎没有视觉差异。4:2:2颜色格式的标称竖直和水平位置的示例如在VVC工作方案中在图4所描绘。
2.1.3 4:2:0
在4:2:0中，与4:1:1相比，水平采样增加了一倍，但由于在该方案中，Cb和Cr通道仅在每个交替线上被采样，因此竖直分辨率减半。因此，数据速率相同。Cb和Cr在水平和竖直方向上都以因子为2进行子采样。4:2:0方案有三种变体，具有不同的水平和竖直定位。
·在MPEG-2中，Cb和Cr在水平方向上是同位的。在竖直方向上，Cb和Cr在像素之间(间隔地)定位。
·在JPEG/JFIF、H.261和MPEG-1中，Cb和Cr间隔定位，位于替的亮度样本之间的中间位置。
··在4:2:0DV中，Cb和Cr在水平方向上是同位的。在竖直方向上，它们在交替线上是共同定位的。
表2-1从chroma_format_idc和separate_colour_plane_flag导出的SubWidthC和SubHeightC值
2.2典型视频编解码器的编解码流程
图5示出了VVC的编码器框图500的示例，其包含三个环内滤波块：去块滤波器(DF)505、样本自适应偏移(SAO)506和ALF 507。与使用预定义滤波器的DF 505不同，SAO 506和ALF 507利用当前图片的原始样本，分别通过添加偏移量和应用有限脉冲响应(FIR)滤波器来减少原始样本和重建样本之间的均方误差，其中编码侧信息通过信号传输偏移和滤波器系数。ALF位于每个图片的最后处理阶段，并且可以被视为一种尝试获取和修复先前阶段所产生的伪影的工具。
2.3具有67个帧内预测模式的帧内模式编解码
为了捕捉自然视频中呈现的任意边缘方向，定向帧内模式的数量从HEVC中使用的33个扩展到65个，如图6所示，平面模式和DC模式保持不变。这些密集的定向帧内预测模式适用于所有块大小并且适用于亮度帧内预测和色度帧内预测二者。
在HEVC中，每个帧内编解码块都具有正方形形状，并且其每条边的长度是2的幂。因此，不需要除法运算来使用DC模式生成帧内预测器。在VVC中，块可以具有矩形形状，这在一般情况下需要使用每个块的除法运算。为了避免针对DC预测的除法运算，仅使用较长边来计算非正方形块的平均值。
2.3.1广角帧内预测
尽管在VVC中定义了67个模式，但是用于给定帧内预测模式索引的精确预测方向进一步取决于块形状。传统的角度帧内预测方向定义为沿顺时针方向从45度到-135度。在VVC中，几种传统的角度帧内预测模式被自适应地替换为非正方形块的广角帧内预测模式。使用原始模式索引来通知被替换的模式，原始模式索引在解析后被重新映射到广角模式的索引。帧内预测模式的总数不变，即67，并且帧内模式编解码方法不变。
为了支持这些预测方向，定义了长度为2W+1的顶部参考和长度为2H+1的左侧参考，如图7所示。
宽角度方向模式中被替换的模式的数目取决于块的纵横比。被替代的帧内预测模式如表2-2所示。
表2-2被广角模式替代的帧内预测模式
图8示出了在方向超过45度的情况下不连续性的框图800。如图8所示，在广角帧内预测的情况下，两个垂直的邻近预测样本可以使用两个不邻近的参考样本。因此，将低通参考样本滤波器和侧平滑应用于广角预测，以减少所增加的间隙Δpα带来的负面影响。如果广角模式代表非分数偏移。广角模式中有8种模式满足这一条件，它们是[-14，-12，-10，-6，72，76，78，80]。当通过这些模式预测块时，直接复制参考缓冲区中的样本，而不应用任何插值。通过这种修改，需要进行平滑处理的样本数量减少了。此外，它将对齐传统预测模式和广角模式中的非分数模式的设计。
在VVC中，支持4:2:2和4:4:4色度格式以及4:2:0色度格式。4:2:2色度格式的色度导出模式(DM)导出表最初从HEVC移植，将条目的数量从35扩展到67，以与帧内预测模式的扩展对齐。由于HEVC规范不支持低于-135度和超过45度的预测角度，因此范围从2到5的亮度帧内预测模式被映射到2。因此，通过替换映射表的条目的一些值来更新4:2:2:色度格式的色度DM导出表，以更精确地转换色度块的预测角度。
2.4针对色度分量的帧内预测模式编解码
对于帧内PU的色度分量，编码器在平面、DC、水平、竖直和针对亮度分量的帧内预测模式的直接拷贝等5种模式中选择最佳的色度预测模式，帧内预测方向与针对色度的帧内预测模式号之间的映射如表2-3所示。
当针对色度分量的帧内预测模式号为4时，针对亮度分量的帧内预测方向用于针对色度分量的帧内预测样本生成。当针对色度分量的帧内预测模式号不为4且与针对亮度分量的帧内预测模式号一致时，帧内预测方向66用于针对色度分量的帧内预测样本生成。
2.5帧间预测
对于每个帧间预测CU，运动参数包括运动矢量、参考图片索引和参考图片列表使用索引、以及将被用于帧间预测样本生成的VVC的新编码特征所需的附加信息。可以以显式或隐式的方式用信号传输运动参数。在以跳跃模式对CU进行编码时，该CU与一个PU相关联，并且不具有显著的残差系数，不具有编码的运动矢量差异(delta)或参考图片索引。指定一种合并(merge)模式，其中从邻近CU获得当前CU的运动参数，包括空间候选和时间候选，以及VVC中引入的附加调度。合并模式可以被应用于任何帧间预测CU，而不仅仅适用于跳过模式。合并模式的替代方案是运动参数的显式传输，其中运动矢量、每个参考图片列表的对应参考图片索引和参考图片列表使用标志以及其他所需信息按每个CU显式地以信号传输。
2.6块内复制(IBC)
块内复制(IBC)是SCC上HEVC扩展中采用的一种工具。众所周知，它显著提高了屏幕内容材料的编码效率。由于IBC模式被实现为块级编码模式，因此在编码器处执行块匹配(BM)，以找到每个CU的最佳块矢量(或运动矢量)。这里，块矢量用于指示从当前块到参考块的位移，该参考块已经在当前图片内重建。IBC编解码的CU的亮度块矢量具有整数精度。色度块矢量也舍入到整数精度。当与AMVR结合使用时，IBC模式可以在1像素和4像素运动矢量精度之间切换。IBC编解码的CU被视为除了帧内或帧间预测模式之外的第三预测模式。IBC模式适用于宽度和高度均小于或等于64个亮度样本的CU。
在编码器侧，对IBC执行基于哈希的运动估计。编码器对宽度或高度不大于16个亮度样本的块执行RD检查。对于非合并模式，首先使用基于哈希的搜索来执行块矢量搜索。如果哈希搜索没有返回有效的候选，则将执行基于块匹配的本地搜索。
在基于哈希的搜索中，当前块和参考块之间的哈希键匹配(32位CRC)被扩展到所有允许的块大小。当前图片中每个位置的哈希键计算基于4×4个子块。对于大小较大的当前块，在所有4×4个子块的所有哈希键与对应参考位置中的哈希键匹配时，确定哈希键与参考块的哈希键相匹配。如果发现多个参考块的哈希键与当前块的哈希密钥匹配，则计算每个匹配的参考的块向量成本，并选择具有最小成本的一个。
在块匹配搜索中，搜索范围被设置为覆盖先前CTU和当前CTU。
在CU级别，IBC模式通过一个标志发信号，它可以被以信号传输为IBC AMVP模式或IBC跳过/合并模式，如下所示：
–IBC跳过/合并模式：合并候选索引用于指示来自邻近候选IBC编解码块的列表中的哪个块矢量被用于预测当前块。合并列表包括空间候选、HMVP候选和成对候选。
–IBC AMVP模式：块矢量差以与运动矢量差相同的方式进行编解码。块矢量预测方法使用两个候选作为预测器，一个来自左邻近，一个从上邻近(如果是IBC编解码)。当任一邻近不可用时，将使用默认块向量作为预测器。以信号传输一个标志，以指示块向量预测器索引。
2.7.跨分量线性模型预测
为了降低跨分量冗余性，在VVC中使用跨分量线性模型(CCLM)预测模式，对于该CCLM预测模式，通过使用如下线性模型来基于相同CU的重构亮度样本来预测色度样本：
predC(i,j)＝α·recL′(i,j)+ β (2-1)
其中predC(i,j)表示CU中的预测色度样本，并且recL′(i,j)表示相同CU的下采样重构亮度样本。
CCLM参数(α和β)是用最多四个邻近色度样本及其对应的下采样亮度样本导出的。假设当前色度块尺寸为W×H，则W'和H'被设置为
-当应用LM模式时，W'＝W，H'＝H；
-当采用LM-T模式时，W'＝W+H；
-当应用LM-L模式时，H'＝H+W。
上方邻近位置被表示为S[0，-1]…S[W'-1，-1]，并且左侧邻近位置被表示为S[-1，0]…S[-1，H'-1]。然后，四个样本被选择为：
-在应用LM模式并且上方邻近样本和左侧邻近样本都可用时，S[W'/4,-1],S[3*W'/4,-1],S[-1,H'/4],S[-1,3*H'/4]；
-在应用LM-T模式或者只有上方邻近样本可用时，S[W'/8,-1],S[3*W'/8,-1],S[5*W'/8,-1],S[7*W'/8,-1]；
-在应用LM-L模式或者只有左侧邻近样本可用时，S[-1,H'/8],S[-1,3*H'/8],S[-1,5*H'/8],S[-1,7*H'/8]。
对所选位置处的四个邻近亮度样本进行下采样并比较四次，以找到两个较大的值：x0 A和x1 A，以及两个较小的值：x0 B和x1 B。它们对应的色度样本值表示为y0 A、y1 A、y0 B和y1 B。则xA、xB、yA和yB导出为：
Xa＝(x0 A+x1 A+1)>>1；Xb＝(x0 B+x1 B+1)>>1；Ya＝(y0 A+y1 A+1)>>1；
Yb＝(y0 B+y1 B+1)>>1 (2-2)
最后，根据下式获得线性模型的参数α和β。
Β＝Yb-α·Xb (2-4)
图9示出了左侧样本和上方样本的位置示例以及CCLM模式中涉及的当前块的样本。
利用查找表来实现除法运算以计算参数。为了减少用于存储表所需的存储器，diff值(最大值和最小值之间的差)和参数α以指数表示。例如，diff是以4位有效部分和指数来近似的。因此，用于1/diff的表被缩减为针对有效位的16个值的16个元素，如下所示：
DivTable[]＝{0，7，6，5，5，4，4，3，3，2，2，1，1，0} (2-5)
这将有利于降低计算的复杂度以及用于存储所需表所需的存储器大小。
除了上方模板和左侧模板可以一起用于计算线性模型系数之外，它们也可以交替地用于其他两种LM模式，称为LM_T和LM_L模式。
在LM_T模式下，仅使用上方模板来计算线性模型系数。为了获得更多样本，将上方模板扩展到(W+H)个样本。在LM_L模式下，仅使用左侧模板来计算线性模型系数。为了获得更多样本，将左侧模板扩展到(H+W)个样本。
在LM模式下，左侧模板和上方模板用于计算线性模型系数。
为了匹配用于4:2:0视频序列的色度采样位置，将两种类型的下采样滤波器应用于亮度样本，以在水平和垂直方向上实现2:1的下采样比。下采样滤波器的选择由SPS级别标志指定。两个下采样滤波器如下，其分别对应于“type-0”和“type-2”内容。
请注意，当上部参考线位于CTU边界时，只有一条亮度线(帧内预测中的一般行缓冲)用于进行下采样的亮度采样。
该参数计算是作为解码过程的一部分执行的，而不仅仅是作为编码器搜索操作。因此，不使用任何语法将α和β值传达给解码器。
对于色度帧内模式编解码，总共允许8个帧内模式用于色度帧内方式编解码。这些模式包括五种传统的帧内模式和三种跨分量线性模型模式(LM、LM_T和LM_L)。色度模式信令和导出过程如表2-3所示。色度模式编解码直接取决于对应亮度块的帧内预测模式。由于在I条带中启用了用于亮度和色度分量的单独块划分结构，因此一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承覆盖当前色度块的中心位置的对应亮度块的帧内预测模式。
表2-3在CCLM启用时从亮度模式导出色度预测模式
如表2-4所示，无论sps_cclm_enabled_flag的值如何，都使用单个二进制化表。
表2-4针对色度预测模式的统一二值化表
intra_chroma_pred_mode的值 二进制值字符串
4 00
0 0100
1 0101
2 0110
3 0111
5 10
6 110
7 111
在表2-4中，第一个二进制值指示它是常规模式(0)还是LM模式(1)。如果是LM模式，则下一个二进制值指示它是否是LM_CHROMA(0)。如果它不是LM_CHROMA，则下一个1二进制值指示它是LM_L(0)还是LM_T(1)。对于这种情况，当sps_cclm_enabled_flag为0时，可以在熵编解码之前丢弃对应的intra_chroma_pred_mode的二值化表的第一个二进制值。或者，换言之，第一二进制值被推断为0，因此不被编解码。该单个二值化表用于sps_cclm_enabled_flag等于0和1的两种情况。表2-4中的前两个二进制值用自己的上下文模型进行上下文编解码，其余二进制值进行旁路编解码。
此外，为了减少双树中的亮度-色度延迟，当64×64亮度编解码树节点用NotSplit(并且ISP不用于64×64CU)或QT进行划分时，32×32/32×16色度编解码树节点中的色度CU被允许以以下方式使用CCLM：
–如果32×32色度节点未拆分或分割QT拆分，则32×32节点中的所有色度CU都可以使用CCLM
–如果32×32色度节点是用水平BT分割的，而32×16子节点不分割或使用垂直BT分割，则32×16色度节点中的所有色度CU都可以使用CCLM。
在所有其他亮度和色度编解码树分割条件下，对于色度CU不允许CCLM。
2.8多模型线性模型(MMLM)
利用MMLM，CU中的亮度样本和色度样本之间可以存在多于一个线性模型。在该方法中，将当前块的邻近亮度样本和邻近色度样本分类为若干组，每组作为训练集以导出线性模型(即，针对特定组导出特定的α和β)。此外，当前亮度块的样本也基于针对邻近亮度样本分类的相同规则被分类。
邻近样本可以被分类为M组，其中M为2或3。在M＝2和M＝3的情况下MMLM方法被设计为除了原始LM模式之外的两个附加色度预测模式，被称为MMLM2和MMLM3。编码器在RDO过程中选择最佳模式并用信号传输该模式。
当M等于2时，图10示出了将邻近样本分类为两组的示例。阈值被计算为邻近重建亮度样本的平均值。Rec'L[x，y]<＝阈值的邻近样本被分类为第1组；而Rec'L[x，y]>阈值的邻近样本被分类为第2组。与CCLM类似，MMLM中有3种模式，即MMLM，MMLM_T和MMLM_L。两个模型导出为
阈值是亮度重建的邻近样本的平均值。每个类别的线性模型是通过使用最小均方(LMS)方法(如果启用)或VVC的最小/最大方法导出的。
2.9位置相关帧内预测组合
在VVC中，通过位置相关帧内预测组合(PDPC)方法进一步修改DC、平面和几个角模式的帧内预测结果。PDPC是一种帧内预测方法，它调用边界参考样本和具有滤波边界参考样本的HEVC式的帧内预测的组合。PDPC应用于以下帧内模式，无需发出信号：平面、DC、小于或等于水平的帧内角，以及大于或等于垂直且小于或等于80的帧内角。如果当前块是BDPCM模式或MRL索引大于0，则不应用PDPC。
根据如下等式2-8，预测样本pred(x’,y’)是使用帧内预测模式(DC，平面，角)和参考样本的线性组合来预测的：
pred(x’,y’)＝Clip(0,(1<<BitDepth)–1,(wL×R-1,y’+wT×Rx’,-1+(64-wL-wT)×pred(x’,y’)+32)>>6) (2-9)
其中Rx,-1,R-1,y分别表示位于当前样本(x，y)顶部和左侧边界的参考样本。
如果PDPC应用于DC、平面、水平和垂直帧内模式，则不需要额外的边界滤波，如HEVC DC模式边界滤波或水平/垂直模式边缘滤波的情况所需。DC模式和平面模式的PDPC过程是相同的。对于角模式，如果当前角模式为HOR_IDX或VER_IDX，则分别不使用左侧或顶部参考采样。PDPC权重和比例因子取决于预测模式和块大小。PDPC应用于宽度和高度均大于或等于4的块。
图11a至11d示出了在各种预测模式下应用的PDPC的参考样本(Rx,-1和R-1,y)的定义。预测样本pred(x’,y’)位于预测块内的(x’,y’)处。例如，参考样本Rx,-1的坐标x由：x＝x’+y’+1给出，参考样本R-1,y的坐标y类似地由针对对角线模式的y＝x’+y’+1给出。对于其他角模式，参考样本Rx,-1和R-1,y可以位于分数样本位置。在这种情况下，将使用最近整数采样位置的采样值。
2.10渐变PDPC
如图12所示，基于梯度的方法扩展到非垂直/非水平模式。这里，梯度计算为r(-1,y)–r(-1+d,-1)，其中d是取决于角方向的水平位移。这里需要注意的几点：
梯度项r(-1,y)–r(-1+d,-1)需要每行计算一次，因为它不取决于x位置。
d的计算已经是可以重用的原始帧内预测过程的一部分，因此不需要单独计算d。因此，d的精度为1/32像素。
当d处于小数位置时，我们使用了双抽头(线性)滤波，即，如果dPos是1/32像素精度的位移，dInt是(向下取整)整数部分(dPos>>5)，dFract是1/32像素精度的小数部分(dPos&31)，则r(-1+d)计算为：
r(-1+d)＝(32–dFrac)*r(-1+dInt)+dFrac*r(-1+dInt+1)
如在a中所述，每行执行一次2抽头滤波(如果需要)。
最后，计算预测信号
p(x,y)＝Clip(((64–wL(x))*p(x,y)+wL(x)*(r(-1,y)-r(-1+d,-1))+32)>>6)
其中wL(x)＝32>>((x<<1)>>nScale2)，nScale2＝(log2(nTbH)+log2(nTbW)–2)>>2，它们与垂直/水平模式相同。简而言之，与垂直/水平模式相比，应用了相同的过程(事实上，d＝0表示垂直/水平模式)。
其次，在非垂直/非水平模式下，当(nScale＜0)或由于辅参考样本不可用而无法应用PDPC时，我们会激活基于梯度的方法。我们已经在图13中示出了与TB大小和角模式有关的nScale的值，以更好地可视化使用梯度方法的情况。此外，图14中，已经示出了目前和所提出的PDPC的流程图。
2.11.辅MPM
JVET-D0114中介绍了辅MPM列表。现有的主MPM(PMPM)列表包括6个条目，而辅MPM(SMPM)列表包括16个条目。首先构建具有22个条目的通用MPM列表，然后将该通用MPM表中的前6个条目包括在PMPM列表中，其余条目形成SMPM列表。通用MPM列表中的第一个条目是平面模式。如图15所示，其余条目由左(L)、上(A)、左下(BL)、右上(AR)和左上(AL)邻近块的帧内模式组成，与邻近块的前两个可用方向模式有附加偏移的方向模式以及默认模式。
如果CU块是垂直定向的，则邻近块的顺序是A、L、BL、AR、AL；否则，它是L、A、BL、AR、AL。
首先解析PMPM标志，如果等于1，则解析PMPM索引以确定PMPM列表的哪个条目被选择，否则解析SPMPM标志以确定是解析SMPM索引还是解析其余模式。
2.12 6抽头帧内插值滤波器
为了提高预测精度，提出用6抽头插值滤波器代替4抽头三次插值滤波器，滤波器系数基于相同的多项式回归模型(其多项式阶数为6)导出。
滤波器系数如下所示，
{0,0,256,0,0,0},//0/32位置
{0，-4,253,9，-2,0},//1/32位置
{1，-7,249,17，-4,0},//2/32位置
{1，-10,245,25，-6,1},//3/32位置
{1，-13,241,34，-8,1},//4/32位置
{2，-16,235,44，-10,1},//5/32位置
{2，-18,229,53，-12,2},//6/32位置
{2，-20,223,63，-14,2},//7/32位置
{2，-22,217,72，-15,2},//8/32位置
{3，-23,209,82，-17,2},//9/32位置
{3，-24,202,92，-19,2},//10/32位置
{3，-25,194,101，-20,3},//11/32位置
{3，-25,185,111，-21,3},//12/32位置
{3，-26,178,121，-23,3},//13/32位置
{3，-25,168,131，-24,3},//14/32位置
{3，-25,159,141，-25,3},//15/32位置
{3，-25,150,150，-25,3},//半像素位置
用于插值的参考样本来自重建样本或HEVC中的填充样本，因此不需要对参考样本可用性进行条件检查。
提出使用4抽头三次插值滤波器，而不是使用最近舍入操作来导出扩展的帧内参考样本。如图16中的示例所示，为了导出参考样本P的值，使用了四抽头插值滤波器，而在JEM-3.0或HM中，直接将P设置为X1。
2.13多参考行(MRL)帧内预测
多参考行(MRL)帧内预测使用更多的参考行用于帧内预测。在图17中，描绘了4条参考行的示例，其中段A和段F的样本不是从重建的邻近样本中提取的，而是分别用来自段B和段E的最接近的样本填充的。HEVC帧内图片预测使用最附近的参考行(即参考行0)。在MRL中，使用了2条附加行(参考行1和参考行2)。
所选参考行的索引(mrl_idx)被用信号发送并用于生成帧内预测。对于大于0的参考行索引，仅在MPM列表中包括额外的参考行模式，并且仅信号MPM索引而不包括剩余模式。在帧内预测模式之前用信号发送参考行索引，如果参考行索引非零，则帧内预测模式不包括平面模式。
对CTU内的块的第一行禁用MRL，以防止在当前CTU行外使用扩展的参考样本。此外，当使用附加行时，PDPC将被禁用。对于MRL模式，非零参考行索引的DC帧内预测模式中的DC值的导出与参考行索引0的导出对齐。MRL需要存储具有CTU的3条邻近亮度参考行来生成预测。跨分量线性模型(CCLM)工具的下采样滤波还需要3个邻近的亮度参考行。使用相同3行的MRL的定义与CCLM一致，以减少解码器的存储要求。
2.14帧内子划分(ISP)
帧内子划分(ISP)根据块大小将亮度帧内预测块垂直或水平划分为2或4个子划分。例如，ISP的最小块大小为4×8(或8×4)。如果块大小大于4×8(或8×4)，则对应块将被划分为四个子划分。我们注意到，M×128(M≤64)和128×N(N≤64)ISP块可能会对64×64VDPU生成潜在问题。例如，单树情况下的M×128CU有一个M×128亮度TB和两个相应的色度TB。如果CU使用ISP，那么亮度TB将被分成4个M×32TB(只能水平分割)，每个TB都小于一个64×64块。然而，在目前的ISP设计中，色度块是不可分割的。因此，两个色度分量的大小都将大于一个32×32块。类似地，使用ISP的128×NCU也可以创建类似的情况。因此，这两种情况是64×64解码器流水线的问题。因此，可以使用ISP的CU大小被限制为最大值64×64。图18示出了4×8和8×4CU的子划分的示例1810以及除了4×8、8×4和4×4以外的CU的子划分的示例1820。
在ISP中，1×N/2×N子块预测允许依赖于编解码块的先前解码的1×N/2×N子块的重建值，使得子块的最小预测宽度变为四个样本。例如，一个8×N(N>4)的编解码块，在使用ISP垂直分割编解码时，会被分割成两个预测区域，每个预测区域的大小为4×N，四个变换的大小为2×N。同样，使用垂直分割ISP编解码的4×N编解码块，使用完整的4×N块进行预测；使用四个变换，每个变换的大小为1×N。尽管允许1×N和2×N的变换大小，但可以断言，这些块在4×N区域内的变换可以并行执行。例如，当4×N预测区域包含四个1×N变换时，在水平方向上没有变换；垂直方向上的变换可以作为垂直方向上单个4×N变换来执行。类似地，当4×N预测区域包含两个2×N变换块时，可以并行地进行两个2×N块在每个方向(水平和垂直)上的变换操作。因此，与处理4×4常规编解码的帧内块相比，在处理这些较小的块时不增加延迟。
表2-5熵编解码系数组大小
块大小 系数组大小
1×N,N≥16 1×16
N×1,N≥16 16×1
2×N,N≥8 2×8
N×2,N≥8 8×2
所有其他可能的M×N情况 4×4
对于每个子分区，通过将残差信号添加到预测信号中来获得重建样本。这里，通过熵解码、逆量化和逆变换等过程生成残差信号。因此，每个子分区的重建样本值可用于生成下一个子分区的预测，并且每个子分区都被重复处理。此外，第一个要处理的子分区是包含CU顶部左侧样本的子分区，然后继续向下(水平分割)或向右(垂直分割)。因此，用于生成子分区预测信号的参考样本仅位于线的左侧和上方。所有子分区共享相同的帧内模式。以下是ISP与其他编解码工具交互的总结。
–多参考行(MRL)：如果块的MRL索引不是0，则ISP编解码模式将被推断为0，因此ISP模式信息将不会发送到解码器。
–熵编解码系数组大小：如表2-5所示，熵编解码子块的大小已被修改，以便在所有可能的情况下都有16个样本。值得注意，新的大小仅影响ISP的其中一个尺寸小于4个样本的块。在所有其他情况下，系数组保持维度。
–CBF编解码：假设至少有一个子划分具有非零CBF。因此，如果n是子划分的数目，并且第一n-1子划分已经产生零CBF，则第n子划分的CBF被推断为1。
–变换大小限制：所有长度大于16点的ISP变换都使用DCT-II。
–MTS标志：如果CU使用ISP编解码模式，MTS CU标志将设置为0，并且不会发送到解码器。因此，编码器不会对每个结果子划分的不同可用变换执行RD测试。ISP模式的变换选择将改为固定的，并根据所使用的帧内模式、处理顺序和块大小进行选择。因此，不需要用信号发出。例如，设tH和tV和为分别为w×h子划分选择的水平变换和垂直变换，其中w为宽度，h为高度。然后根据以下规则选择变换：
–如果w＝1或h＝1，则分别不存在水平变换或垂直变换。
–如果w≥4且w≤16,tH＝DST-VII，否则tH＝DCT-II
–如果h≥4且h≤16,tV＝DST-VII，否则tV＝DCT-II
在ISP模式下，允许所有67个帧内预测模式。如果相应的宽度和高度至少有4个样本长，也会应用PDPC。此外，参考样本滤波过程(参考平滑)和帧内插值滤波器选择的条件不再存在，在ISP模式下，分数位置插值始终应用立方(DCT-IF)滤波器。
2.15.矩阵加权帧内预测(MIP)
矩阵加权帧内预测(MIP)方法是VVC中新加入的一种帧内预测技术。为了预测宽度W和高度H的矩形块的样本，矩阵加权帧内预测(MIP)取块左侧的一行H个重建的相邻边界样本和块上方的一行W个重建的相邻边缘样本作为输入。如果重建的样本不可用，则像在传统帧内预测中那样生成它们。预测信号的生成基于以下三个步骤，即平均、矩阵矢量乘法和线性插值，如图19所示。
2.15.1平均邻近样本
在边界样本中，通过基于块大小和形状进行平均来选择四个样本或八个样本。具体地，输入边界bdrytop和bdryleft会根据取决于块的大小的预定义的规则，通过对邻近边界样本进行平均，缩小为更小的和/>边界。然后，将两个缩小的边界/>和/>连接到缩小的边界矢量bdryred，因此，对于形状的块，缩小的边界矢量的大小为4×4，而对于所有其他形状的块来说，缩小的边缘矢量的大小是8。如果是指MIP模式，则此级联定义如下：
2.15.2矩阵乘法
将平均样本作为输入，执行矩阵矢量乘法，然后添加偏移。结果是原始块中的样本的子采样集上生成缩减预测信号。从缩减的输入矢量bdryred中生成缩减的预测信号predred,，该缩减的预测是宽度Wred和高度Hred的下采样块上的信号。此处，Wred和Hred定义为：
通过计算矩阵矢量乘积并添加偏移来计算缩减的预测信号predred：
predred＝A·bdryred+b (2-13)
这里，A是一个矩阵，如果W＝H＝4z则它有Wred·Hred行和4列，在所有其他情况下有8列。b是Wred·Hred大小的矢量。矩阵A和偏移矢量b取自S0，S1，S2.其中一个集合。索引idx＝idx(W,H)定义如下：
这里，矩阵A的每个系数以8比特的精度表示。集合S0由16个矩阵i∈{0,…,15}组成，每个矩阵具有16行4列，以及16个偏移矢量/>i∈{0,…,16}，每个偏移矢量的大小为16。该集合的矩阵和偏移矢量用于大小为4×4的块。集合S1由8个矩阵/>i∈{0,…,7}组成，每个矩阵具有行和8列，以及8个偏移矢量/>i∈{0,…,7}，每个偏移矢量大小为16。集合S2由6个矩阵/>i∈{0,…,5}组成，每个矩阵具有64行和8列，以及6个偏移矢量/>i∈{0,…,5}，每个偏移矢量大小为64。/>
2.15.3插值
其余位置处的预测信号是通过线性插值从子采样集上的预测信号生成的，该线性插值是在每个方向上的单步线性插值。插值首先在水平方向上执行，然后在垂直方向上执行，与块的形状或块的大小无关。
2.15.4 MIP模式的信令和与其他编解码工具的协调
对于帧内模式中的每个编解码单元(CU)，发送标志是否要应用MIP模式的标志。如果要应用MIP模式，则用信号发送MIP模式(predModeIntra)。对于MIP模式，转置标志(isTransposed)用于确定模式是否转置，MIP模式标识(modeId)用于确定给定MIP模式使用的矩阵，其导出过程如下：
isTransposed＝predModeIntra&1
modeId＝predModeIntra>>1 (2-15)
通过考虑以下方面，MIP编解码模式与其他编解码工具相协调：
–大块上的MIP启用LFNST。这里使用平面模式的LFNST变换
–MIP的参考样本导出与传统帧内预测模式完全相同
–对于MIP预测中使用的上采样步骤，使用原始参考样本而不是下采样样本
–在上采样之前执行剪裁，而不是在上采样之后执行剪裁
–无论最大变换大小如何，MIP都允许达到64×64
MIP模式的数目对于sizeId＝0为32，对于sizeId＝1为16，对于sizeId＝2为12。
2.16解码器侧帧内模式导出
在JEM-2.0中，帧内模式从HEVC中的35种模式扩展到67种，并且它们在编码器处导出并明确地用信号发送到解码器。在JEM-2.0中，在帧内模式编解码上花费了大量开销。例如，在所有帧内编解码配置中，帧内模式信令开销可以高达总码率的5～10％。该贡献提出了解码器侧的帧内模式导出方法，以在保持预测精度的同时减少帧内模式编解码开销。
为了减少帧内模式信令的开销，本文提出了解码器侧帧内模式导出(DIMD)方法。在所提出的方法中，编码器和解码器不是显式地用信号发送帧内模式，而是从当前块的邻近重建样本导出信息。DIMD导出的帧内模式有两种使用方式：
1)对于2N×2N CU，当对应的CU级别DIMD标志开启时，DIMD模式被用作帧内预测的帧内模式；
2)对于N×N CU，DIMD模式用于替换现有MPM列表的一个候选模式，以提高帧内模式编解码的效率。
2.16.1基于模板的帧内模式导出
图20是示出DIMD中使用的模板的目标样本、模板样本和参考样本的示意图2000。如图20所示，目标表示要估计其帧内预测模式的当前块(块大小为N)。模板(由图20中的图案区域表示)指定了一组已经重建的样本，这些样本用于导出帧内模式。模板大小表示为模板内延伸到目标单元的上方和左侧的样本数目，即L。在当前实现中，4×4和8×8块的模板大小为2(即L＝2)，16×16及更大的块的模板大小为4(即L＝4))。根据JEM-2.0的定义，模板参考(由图20中的虚线区域表示)指的是模板上方和左侧的一组邻近样本。与总是来自重建区域的模板样本不同，在对目标单元进行编码/解码时，模板的参考样本可能尚未重建。在这种情况下，利用JEM-2.0的现有参考样本替换算法来用可用参考样本替换不可用的参考样本。
对于每个帧内预测模式，DIMD计算重建的模板样本与其从模板的参考样本获得的预测样本之间的绝对差(SAD)。选择生产最小SAD的帧内预测模式作为目标单元的最终帧内预测模型。
2.16.2 2N×2N CU帧内的DIMD
对于帧内2N×2N个CU，DIMD被用作一个附加帧内模式，通过将DIMD帧内模式与最佳正常帧内模式进行比较(即，被明确地发信号传输)而自适应地选择。每个帧内2N×2N CU都有一个标志来指示DIMD的使用情况。如果标志为1，则使用由DIMD导出的帧内模式来预测CU；否则，不应用DIMD，并且使用在比特流中明确发信号传输的帧内模式来预测CU。当启用DIMD时，色度分量总是重复使用与为亮度分量导出的相同的帧内模式，即DM模式。
此外，对于每个DIMD编解码的CU，CU中的块可以自适应地选择以在PU级别或TU级别导出它们的帧内模式。具体而言，当DIMD标志为1时，另一个CU级别DIMD控制标志用信号表示执行DIMD的级别。如果该标志为0，则意味着在PU级别执行DIMD，并且PU中的所有TU使用相同的导出帧内模式进行帧内预测；否则(即，DIMD控制标志为1)，则表示在TU级别执行DIMD，并且PU中的每个TU导出其自己的帧内模式。
此外，当启用DIMD时，角方向的数目增加到129，并且DC模式和平面模式仍然保持不变。为了适应角帧内模式的粒度增加，DIMD编解码CU的帧插值值滤波的精度从1/32像素增加到1/64像素。此外，为了使用DIMD编解码CU的导出帧内模式作为邻近帧内块的MPM候选模式，在将DIMD编解码的CU的129个方向用作MPM之前，将其转换为“正常”帧内模式(即，65个角帧内方向)。
2.16.3帧内N×N CU的DIMD
在所提出的方法中，总是用信号发送N×N内CU的帧内模式。然而，为了提高帧内模式编解码的效率，从DIMD导出的帧内模式被用作预测CU中四个PU的帧内模式的MPM候选。为了不增加MPM索引信令的开销，DIMD候选总是被放在MPM列表的第一位，并删除最后一个现有的MPM候选模式。此外，执行修剪操作，使得如果DIMD候选是冗余的，则不会将其添加到MPM列表中。
2.16.4 DIMD的帧内模式搜索算法
为了降低编码/解码复杂度，一种直接的快速帧内模式搜索算法被用于DIMD。首先，执行一个初始估计过程，为帧内模式搜索提供一个良好的起点。具体来说，通过从允许的帧内模式中选择N个固定模式来创建初始候选列表。然后，为所有候选帧内模式计算SAD，并选择最小化SAD的一个作为起始帧内模式。为了实现良好的复杂性/性能权衡，初始候选列表由11个帧内模式组成，包括HEVC定义的33个角帧内方向的DC、平面和每4个模式，即帧内模式0、1、2、6、10…30、34。
如果起始帧内模式是DC或平面的，则将其用作DIMD模式。否则，基于起始帧内模式，然后应用一个细化过程，其中通过一次迭代搜索确定最佳帧内模式。它的工作原理是在每次迭代中比较由给定搜索间隔分隔的三种帧内模式的SAD值，并保持最小化SAD的帧内模式。然后，搜索间隔减少到一半，从上次迭代中选择的帧内模式将用作当前迭代的中心帧内模式。对于当前具有129个角帧内方向的DIMD实现，在细化过程中最多使用4次迭代来找到最佳DIMD帧内模式。
2.17通过计算邻近样本的梯度进行解码器侧帧内模式的导出
从当前块的邻近像素计算的梯度直方图(HoG)中选择三个角模式。一旦选择了这三种模式，就正常地计算它们的预测，然后将它们的加权平均值用作针对块的最终预测。为了确定权重，三种模式中每种模式都使用了HoG中的相应幅度。DIMD模式用作替代预测模式，且始终在FullRD模式中被检查。
当前版本的DIMD在信令、HoG计算和预测融合方面进行了一些修改。此修改的目的是提高编解码性能，并解决上次会议期间提出的复杂性问题(即4×4块的吞吐量)。以下各节介绍了每个方面的修改。
2.17.1信令
图21示出了VTM5中与所提出的DIMD集成的解析标志/索引的顺序。
可以看出，首先使用单个CABAC上下文来解析块的DIMD标志，该上下文被初始化为默认值154。
如果flag＝＝0，则解析将正常继续。
否则(如果标志＝＝1)，则仅解析ISP索引，并且推断出以下标志/索引为零：BDPCM标志、MIP标志、MRL索引。在这种情况下，也会跳过整个IPM解析。
在解析阶段，当常规非DIMD块查询其DIMD邻近的IPM时，模式PLANAR_IDX被用作DIMD块的虚拟IPM。
2.17.2纹理分析
DIMD的纹理分析包括梯度直方图(HoG)计算(图22)。梯度直方图计算是通过对块周围宽度为3的模板中的像素应用水平和垂直Sobel滤波。但是，如果以上模板像素属于不同的CTU，那么它们将不会用于纹理分析。
一旦计算出，就为块选择对应于两个最高直方图条的IPM。
在先前的版本中，模板中线中的所有像素都参与了HoG计算。然而，当前版本通过在4x4块上更稀疏地应用Sobel滤波来提高该过程的吞吐量。为此，仅使用从左起的一个像素和从上起的一个亚像素。如图22所示。图22是示出根据宽度为3像素的模板的HoG计算的示意图2200。
除了减少梯度计算的操作次数外，该特性还简化了从HoG中选择最佳2个模式，因为得到的HoG不能具有两个以上的非零振幅。
2.17.3预测融合
与JVET-0342中的先前版本一样，该方法的当前版本也使用针对每个块的三个预测的融合。然而，预测模式的选择是不同的，并且使用了在[2]中提出的组合的假设帧内预测方法，其中当计算帧内预测候选时，平面模式被认为与其他模式组合使用。在当前版本中，对应于两个最高HoG条的两个IPM与平面模式相结合。
预测融合被应用为上述三个预测的加权平均值。为此，平面的权重固定为21/64(～1/3)。剩余的43/64(～2/3)权重在两个HoG IPM之间按其HoG条的幅度成比例共享。图23表现了这一过程。
2.18基于模板的帧内模式导出(TIMD)
该贡献提出了一种使用MPM的基于模板的帧内模式导出(TIMD)方法，其中使用邻近模板从MPM中导出TIMD模式。TIMD模式用作CU的附加帧内预测方法。
2.18.1 TIMD模式导出
针对MPM中的每个帧内预测模式，计算模板的预测样本和重建样本之间的SATD。选择SATD最小的帧内预测模式作为TIMD模式，并将其用于当前CU的帧内预测。在TIMD模式的导出中包括位置相关的帧内预测组合(PDPC)。
2.18.2 TIMD信令
在序列参数集(SPS)中发出标志以启用/禁用所提出的方法。当标志为真时，发出CU级别标志以指示是否使用所提出的TIMD方法。TIMD标志紧跟在MIP标志之后。如果TIMD标志等于真，则与亮度帧内预测模式相关的其余语法元素(包括MRL、ISP和针对亮度帧内预测模式的正常解析阶段)都将被跳过。
2.18.3与新编解码工具的交互
EE2中集成了一种使用平面进行预测融合的DIMD方法。当EE2 DIMD标志等于真时，所提出的TIMD标志不以信号形式发出并将其设置为假。
与PDPC类似，梯度PDPC也包含在TIMD模式的导出中。
启用辅MPM时，主MPM和辅MPM都用于导出TIMD模式。
在TIMD模式的导出中不使用6抽头插值滤波器。
2.18.4 TIMD模式导出中MPM列表构建的修改
在MPM列表的构建期间，当邻近块被帧间-编解码的时候，邻近块的帧内预测模式被导出为平面。为了提高MPM列表的准确性，当邻近块被帧间编解码的时候，利用运动矢量和参考图片导出传播的帧内预测模式，并将其用于MPM列表的构建。这种修改仅适用于TIMD模式的导出。
2.18.5具有融合的TIMD
该文稿提出，针对使用TIMD方法导出的帧内模式，替代只选择SATD成本最小的一种模式，而是选择SATD成本最小的前两种模式，然后通过权重将它们融合，并使用这种加权帧内预测来编解码当前CU。
将两种所选择模式的成本与阈值进行比较，在测试中应用成本因子2如下：
costMode2<2 costMode 1。
如果此条件为真，则应用融合，否则使用唯一的mode1。
模式的权重根据其SATD成本计算如下：
weight1＝costMode2/(costMode 1+costMode2)
weight 2＝1-weight 1
3.问题
在针对色度分量帧内预测的目前设计中，帧内预测模式的指示是在比特流中发出的。然而，指示的信令可能会限制压缩效率，尤其是在低码率场景中。
在融合DIMD和TIMD的目前设计中，使用除法运算和浮点来导出每个帧内预测模式的权重，这对硬件不友好。
4.本公开的实施例
以下本公开的实施例应被视为解释一般概念的示例。不应以狭义的方式解释这些实施例，此外，这些实施例可以以任何方式组合。
在本公开中，术语帧内预测模式的解码器侧导出(DDIPM)表示使用先前解码的块/样本导出帧内预测模式的编解码工具。在一个示例中，DDIPM还可以被解释为解码器侧帧内模式导出(DIMD)方法或基于模板的帧内预测模式(TIMD)方法。
融合意味着使用多个预测信号来得到针对视频单元的最终预测信号，其中每个预测信号是使用一个帧内预测模式产生的。
术语“块”可以表示编解码块(CB)、或编解码单元(CU)、或预测块(PB)、或预测单元(PU)、或变换块(TB)、或变换单元(TU)、或编解码树块(CTB)、或编解码树单元(CTU)、或矩形区域的样本/像素。
在下面的讨论中，SatShift(x,n)被定义为
Shift(x,n)被定义为Shift(x,n)＝(x+offset0)>>n。
在一个示例中，offset0和/或offset1被设置为(1<<n)>>1或(1<<(n-1))。在另一个示例中，offset0和/或offset1被设置为0。
在另一个例子中，offset0＝offset1＝((1<<n)>>1)-1或((1<<(n-1)))-1。
Clip3(min，max，x)定义为
针对色度分量的帧内预测模式导出
1.代替用信号传输针对至少一个色度分量的块的帧内预测模式(IPM)，提出在解码器处导出IPM，其用于获得针对至少一个色度分量的块的预测/重建，其中该块的经编解码的模式被指示为DDIPM_CHROMA。
a.在一个示例中，用于导出针对色度分量的IPM的模板可以由邻近的相邻重建样本/像素和/或邻近的非相邻重建样本/像素组成。
i.在一个实例中，如图25a至图25j所示，“模板-LA”由邻近的左上方重建样本组成，“模板-L”由邻近的左侧重建样本组成，“模板-A”由邻近的上方重建样本组成，“模板-LB”由邻近的左下方重建样本组成，“模板-RA”由邻近的右上方重建样本组成。
ii.在一个示例中，模板可以由(相邻和/或非相邻)的邻近的左侧、和/或上方、和/或左上方、和/或左下方、和/或右上方的重建样本组成。
1)在一个示例中，模板可以仅由邻近的左上方重建样本、或左侧重建样本、或上方重建样本、或左下方重建样本、或右上方重建样本组成。例如，“模板-LA”(例如，图25a)、“模板-L”(例如，图25d)、“模板-A”(例如，图25c)、“模板-LB”和“模板-RA”之一。
2)在一个示例中，模板可以由根据左上方、和/或左侧、和/或上方、和/或左下方和/或右上方重建样本的组合的邻近重建样本组成。
a)在一个示例中，模板可以由“模板-L”和“模板-A”组成，例如图25b所示的示例。
b)在一个示例中，模板可以由“模板-L”和“模板-LB”组成，例如图25e所示的示例。
c)在一个示例中，模板可以由“模板-A”和“模板-RA”组成，例如图25f中所示的示例。
d)在一个示例中，模板可以由“模板-A”、“模板-L”、“模板-LB”和“模板-RA”组成，例如图25g中所示的示例。
e)在一个示例中，模板可以由“模板-LA”、“模板-A”、“模板-L”、“模板-LB”和“模板-RA”组成，例如图25h中所示的示例。
3)在一个示例中，模板可以是非相邻的，例如图25i和图25j中所示的示例。
iii.在一个示例中，模板由分量A的样本组成，其可用于导出针对分量A的IPM(例如，A可以是Cb或Cr)。
iv.在一个示例中，模板由分量A的样本组成，其可用于导出针对分量B的IPM。(例如，A可以是Cb，B可以是Cr；例如，A可以是Y，B可以是Cr)。
1)在一个示例中，A可以由多于一种分量组成，并且B可以由多于一种分量组成，例如A可以是Cb和Cr，并且B可以是Cb和Cr。
b.在一个示例中，在导出针对色度分量的IPM期间，使用来自IPM候选列表的IPM之一对模板进行帧内预测处理，并且将具有最小成本的IPM确定为导出的IPM。
i)在一个示例中，针对色度分量的IPM的导出可以与针对亮度分量的IPM的导出相同。
1)在一个示例中，用于导出针对色度的IPM的模板(例如，形状/大小)可以与亮度的相同。
2)在一个示例中，用于导出针对色度的IPM的IPM候选列表可以与亮度的相同。
3)在一个示例中，如何计算用于导出针对色度的IPM的成本可以与亮度的相同。
ii)在一个示例中，用于导出针对色度的IPM的模板的形状/大小/尺寸可以不同于亮度。
1)在一个示例中，针对色度的模板形状/大小/宽度/高度可以取决于针对亮度的模板形状/大小/宽度/高度。将针对色度的模板大小/宽度/高度表示为S1/W1/H1，针对亮度的模板大小/宽度/高度表示为S2/W2/H2。SubWidthC和SubHeightC在表2-1中定义。
a)在一个示例中，S1＝S2/(SubWidth×SubHeight)。
b)在一个示例中，W1＝W2/SubWidth。
c)在一个示例中，H1＝H2/SubHeight。
iii)在一个示例中，用于导出针对色度的IPM的IPM候选列表可以不同于用于导出针对亮度的IPM的IPM候选列表。
1)在一个示例中，针对色度的IPM候选列表可以由一个或多个IPM组成，这些IPM可以在传统帧内预测模式中显式地以信号发出(例如，HEVC中的35个IPM，或VVC中的67个IPM)，和/或一个或多个扩展角IPM(例如，图24中所示)。
2)在一个示例中，针对色度的IPM候选列表中的IPM的数目可以小于针对亮度的IPM候选列表中的IPM的数目。
3)在一个示例中，针对色度的IPM候选列表可以由跨分量预测模式组成，例如LM和/或LM_T、和/或LM_L、和/或MMLM、和/或MMLM_T、和/或MMLM_L。
iv)在一个示例中，如何从针对色度的IPM候选列表导出最佳IPM可以与针对亮度的不同。
1)在一个示例中，在针对色度导出IPM期间，部分或全部IPM可以在针对模板的帧内预测时使用或检查。
2)在一个实例中，在针对色度导出IPM期间，可以使用早期终止。
a)在一个示例中，当IPM的成本小于T1时，IPM被确定为导出的IPM并且在IPM候选列表中的所有剩余未检查的IPM被跳过，其中T1是阈值，其可以是预定义的，或者在比特流中以信号传输的，或者取决于编解码信息的。
i.在一个示例中，T1可以取决于已检查的IPM的数目。
ii.在一个示例中，T1可以取决于已检查的IPM的成本。
3)在一个示例中，IPM候选列表中的IPM可以在针对色度的IPM的导出期间被重新排序。
4)在一个示例中，是否和/或如何检查下一个或多个IPM可以取决于已检查的IPM的成本。
v.在一个示例中，可以计算模板的预测样本和重建样本之间的绝对变换差总和(SATD)，并且可以将其用于导出成本(例如，SATD可以用作成本)。vi.可替换地，可计算平方误差总和(SSE)、或绝对差值总和(SAD)、或均值移除绝对差值总和(MRSAD)、或主观质量度量(例如，结构相似性指数度量(SSIM))并将其用作成本(例如，SSE、SAD、MRSAD、SSIM可以用作成本)。
1)可替换地，成本可以以D+lambda×R的形式计算，其中D是失真度量，例如SAD、SATD、SSE等，R表示考虑的比特的数目，并且lambda是预定义的因子或即时导出的。
2)在一个示例中，模板的部分样本或全部样本可用于计算成本。
3)在一个示例中，两个色度分量(例如，YCbCr颜色格式中的Cb和Cr，或RGB颜色格式中的B和R)都可以用来计算成本。将第一色度分量的成本表示为C1，第二色度分量的成本表示为C2，总成本表示为C。
a)在一个示例中，C＝C1+C2。
b)在一个示例中，C＝w1×C1+w2×C2，其中w1和w2是加权因子。
i.在一个示例中，w1＝1-w2。
c)在一个示例中，C＝(w1'C1+w2'C2+offset)>>shift，其中w1、w2、offset和shift是整数。
d)在上述示例中，w1、w2、offset和shift可以在比特流中用信号传输，或者被预定义，或者即时导出，或者取决于编解码信息。vii.在一个示例中，在针对色度导出IPM期间，针对模板的帧内预测中所使用的参考样本可以是未被滤波的。
1)可替换地，在IPM导出期间在针对模板的帧内预测中所使用的参考样本可以使用与针对色度的帧内预测、或针对亮度的帧内预测、或针对亮度的IPM的导出相同的方式进行滤波。
viii.在一个示例中，用于细化针对块的帧内预测的预测信号的滤波方法(例如，PDPC或梯度PDPC)可以在针对色度的IPM导出期间使用。
1)可替换地，是否或如何应用用于在IPM导出期间细化针对模板的帧内预测的预测信号可以采用与针对色度的帧内预测、或者针对亮度的帧内预测、或者针对亮度的IPM的导出相同的方式。
ix.在一个示例中，在针对色度的IPM导出期间、针对模板的帧内预测中使用的插值滤波器可以与针对色度的帧内预测中使用的插值滤波器相同，或者与针对亮度的帧内预测中使用的插值滤波器相同，或者与在针对亮度的IPM导出期间在帧内预测中使用的插值滤波器相同。
1)可替换地，在针对色度的IPM导出期间、针对模板的帧内预测中使用的插值滤波器可以与针对色度的帧内预测中使用的插值滤波器不同，和/或与针对亮度的帧内预测中使用的插值滤波器不同，和/或与在针对亮度的IPM导出期间在针对模板的帧内预测中使用的插值滤波器不同。
x.在一个示例中，在针对色度或亮度的IPM的导出中针对扩展IPM的模式转换过程可以与在针对色度或亮度的帧内预测中所使用的针对扩展IPM的模式转换过程相同或不同。
c.在一个示例中，使用模板中的样本/像素构建梯度直方图(HoG)，其中每个直条映射到IPM，并且具有最高幅度的IPM可以用作导出的IPM。
i.在一个示例中，针对色度的IPM导出(例如，如何构建HoG，或者HoG中直条的数目，或者如何将直条映射到IPM)可以与亮度相同。
ii.在一个示例中，针对色度分量的模板的形状/大小/尺寸可以不同于针对亮度分量的梯度计算中所使用的。
1)可替换地，针对色度的模板大小相比于针对亮度的比值可以遵循由于颜色格式引起的比值。
iii.在一个示例中，针对色度的梯度的计算可以不同于针对亮度的梯度的计算。
1)在一个示例中，可以使用Sobel算子、或各向同性Sobel算子、或Roberts算子、或Prewitt算子、Laplace算子或Canny算子来计算梯度。
iv.在一个示例中，HoG中的直条的数目可以等于或小于可以显式地以信号传输的传统IPM的数目。
v.在一个示例中，这两个色度分量可用于计算梯度。d.在上述示例中，仅色度分量之一(例如，YCbCr颜色格式中的Cb或Cr，或RGB颜色格式中的B或R)可用于导出IPM(例如，计算成本或计算梯度)。
i.在一个示例中，使用哪个色度分量可以在比特流中用信号传输、或者预定义、或者即时确定、或者取决于编解码信息。
ii.在一个示例中，所导出的IPM可用于针对两个色度分量的块的帧内预测中。
2.在一个示例中，使用上述方法针对每个色度分量单独导出IPM。
a.在一个示例中，针对不同色度分量，IPM的导出可以是不同的。
b.在一个示例中，针对不同色度分量，导出的IPM可以是不同的。
c.在一个示例中，针对不同色度分量，导出的IPM可以是相同的。
3.在上述示例中，可以导出多于一个IPM并且在针对色度分量的帧内预测中使用哪个IPM可以在比特流中发信号传输、和/或即时确定、和/或取决于编解码信息。
4.在一个示例中，由多于一个IPM生成的预测信号的融合可以用作针对色度分量的块的最终预测。
a.在一个示例中，融合中使用的IPM可以由一个或多个导出的IPM和/或一个或多个预定义的模式或信号传输的模式组成。
i.在一个示例中，预定义的模式或信号传输的模式可以是跨分量预测模式，例如LM、和/或LM_T、和/或LM_L、和/或MMLM、和/或MMLM_T、和/或MMLM_L。
ii.在一个示例中，预定义的模式或信号传输的模式可以是平面模式、和/或DC模式、和/或水平模式、和/或竖直模式、和/或对角线模式、和/或竖直对角线模式。
b.在一个示例中，可以应用不同的融合方法，其中不同的融合方法可以指在融合中使用不同的IPM和/或不同的加权因子。
i.在一个示例中，加权因子可以取决于IPM的导出期间的成本或幅度。
c.在上述示例中，是否和/或如何融合预测信号、和/或在融合中使用的IPM的数目、和/或融合方法的指示可以在比特流中用信号传输，和/或即时确定，和/或取决于编解码信息。
i.在一个示例中，是否和/或如何应用融合方法可以取决于导出的IPM的成本或幅度。
1)在一个示例中，将最佳导出IPM的成本表示为Cost1、并且第二最佳导出IPM的成本表示为Cost2；当Cost2小于T Cost1时，可以应用融合方法，其中T是成本因子。
通用权项
5.关于是否和/或如何应用上面公开的方法可以在序列级别/图片组级别/图片级别/条带级别/图块组级别发出信号传输，例如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头中。
6.是否和/或如何应用上面所公开的方法可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/其它类的包含多于一个样本或像素的区域中发出信号传输。
7.是否和/或如何应用上面公开的方法可以取决于编解码的信息，例如块大小、颜色格式、单/双树划分、颜色分量、条带/图片类型。
8.本文档中公开的所提出的方法可用于在需要帧内预测信号(例如CIIP模式)的其它编解码工具中生成帧内预测。
5.其它实施例
关于色度DM模式和色度帧内预测模式候选列表
1.当DDIPM应用于亮度以及色度DM模式时，最终色度帧内预测模式取决于在针对亮度的DDIPM中的导出的IPM模式。
a.在一个示例中，针对亮度的导出的IPM可被用作最终色度帧内预测模式。
b.在一个示例中，当针对亮度的导出的IPM与传统的针对色度的IPM不在相同的角度范围时(例如，针对亮度的导出的IPM的模式范围是[0,130]，而针对色度的传统IPM的模式范围是[0,66])，可以将针对亮度的导出的IPM修改为与针对色度的传统IPM相同的范围。
i在一个示例中，修改可以被定义为映射函数，例如MAP131TO67(x)＝(x<2？x:((x>>1)+1))，其中x在[0,130]的范围内。
c.在一个示例中，当DDIPM应用于亮度时，一个或多个导出的IPM可以被添加到色度帧内预测模式候选列表中作为附加和/或替换模式。
2.当DDIPM应用于色度时，提出了针对色度分量在解码器处的导出的帧内预测模式(IPM)可以用于构建色度帧内预测模式候选列表。
a.在一个示例中，所导出的IPM可以被添加到色度帧内预测模式候选列表中作为附加模式。
i.在一个示例中，可以在候选列表的首位位置或末位位置添加导出的IPM。
ii.在一个示例中，导出的IPM可以在现有色度模式之前或之后被添加。
1)在一个示例中，现有色度模式可以指CCLM模式之一、或MMLM模式之一、或色度DM模式、或预定义的传统帧内预测模式之一(例如，平面、DC、水平模式、竖直模式)。
b.在一个示例中，导出的IPM可以被添加到色度帧内预测模式候选列表中作为替换模式。
i.在一个示例中，色度DM模式由导出的IPM替换。
ii.在一个示例中，预定义的IPM之一可以由导出的IPM替换。
1)例如，平面模式、或DC模式、或水平模式、或竖直模式、或对角线模式、或竖直对角线模式可以由导出的IPM替换。
iii.在一个示例中，CCLM或MMLM模式之一可以由导出的IPM替换。
c.在一个示例中，当针对色度分量导出多于一个的IPM时，一个或多个导出的IPM可以作为色度帧内预测模式候选列表中的附加/替换模式被添加。
d.在一个示例中，针对两个色度分量，如何构建色度帧内预测模式候选列表可以是不同。
e.在一个示例中，在有导出的IPM的情况下、色度IPM候选列表中除导出的IPM之外的模式的顺序可以与在没有导出的IPM的情况下色度候选列表中模式的顺序不同。
i.可替换地，在有导出的IPM的情况下、色度IPM候选列表中除导出的IPM之外的模式的顺序可以与在没有导出的IPM的情况下色度候选列表中模式的顺序相同。
针对色度分量的帧内预测模式导出的指示
3.DDIPM_CHROMA模式的指示可以是即时导出的。
a.在一个示例中，如果当前色度块不是用线性模型模式编解码的(例如，包括CCLM、MMLM)，则可以推断将使用DDIPM_CHROMA模式。
4.DDIPM_CHROMA模式的指示可以被有条件地发信号传输，其中条件可以包括：
a.是否允许针对亮度的DDIPM_CHROMA
b.块尺寸和/或块大小
c.块深度
d.条带/图片类型和/或划分树类型(单树、或双树、或本地双树)
e.块位置
f.颜色分量
5.当前块是否是用DDIPM_CHROMA模式编解码的可以使用一个或多个语法元素来通知。
a.在一个示例中，针对两个色度分量如Cb和Cr的DDIPM_CHROMA的指示可以作为一个语法元素用信号传输，或者可以作为两个语法元素用信号传输。
i.在一个示例中，是否对两个色度成分如Cb和Cr应用DDIPM_CHROMA可以一起控制，或者可以以单独的方式控制。
b.在一个示例中，语法元素可以是用固定长度的编解码、或截断的一元编解码、或一元编解码、或EG编解码、或经编解码的标志进行二进制化的。
c.在一个示例中，语法元素可以是被旁路编解码或被上下文编解码。
i.上下文可以取决于经编解码的信息，例如块尺寸、和/或块大小、和/或条带/图片类型、和/或邻近块(相邻或非相邻)的信息、和/或用于当前块的其它编解码工具的信息，和/或时间层的信息。
d.在一个示例中，语法元素可以在颜色空间转换的指示、或者CCLM和/或MMLM的指示、或者常规帧内预测模式的指示、或者色度DM模式之前或之后被发信号传输。
e.在一个示例中，当前语法元素之一可以被替换以指示
DDIPM_CHROMA模式是否被用于当前块。
i.在一个示例中，指示传统帧内预测模式的语法元素之一可以被替换。
1)在一个示例中，语法指示平面、或水平模式、或竖直模式、或DC模式、或色度DM可以被替换。
2)在一个示例中，语法指示CCLM或MMLM模式之一可以被替换。
f.在一个示例中，块是否被允许用DDIPM_CHROMA模式编解码可以取决于一个或多个语法元素。
i.在一个示例中，可以将一个或多个语法元素用信号传输作为一般约束信息。
1)在一个示例中，当指示DDIPM_CHROMA的一般约束的语法元素(例如，gci_no_ddipm_chroma_constraint_flag)等于X(例如，X＝0或X＝1)时，不允许DDIPM_CHROMA。
2)在一个示例中，当指示针对亮度的DDIPM的一般约束的任一语法元素(例如，gci_no_ddipm_constraint_flag或gci_no_ddipm_constraint_flag)等于X1时(例如，X1＝0或X1＝1)。
ii.在一个示例中，一个或多个语法元素可以在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头处用信号传输。
在同位亮度块为DDIPM时针对色度分量确定帧内预测模式
6.提出了针对色度分量的帧内预测中使用的IPM可以取决于其同位亮度块是否是用DDIPM编解码的。
a.在一个示例中，当同位亮度块是用DDIPM编解码的并且亮度的IPM处于扩展角模式的范围内(例如，模式索引在[0,130]中)时，亮度的IPM可以被映射到常规IPM范围(例如，模式索引在[0,66]中)并用作针对色度的导出的模式。
i.可替选地，亮度的IPM用作所导出的模式而不映射到常规范围。
b.在一个实例中，当同位亮度块用DDIPM编解码的时候，色度导出模式总是用于针对色度的帧内预测。
i.在一个示例中，跳过颜色空间转换、和/或CCLM、和/或MMLM、和/或传统IPM的信令。
ii.可替换地，当同位亮度块用DDIPM编解码的时候，针对色度的帧内预测可以使用颜色空间转换、或CCLM、或MMLM、或色度DM。
1)在一个示例中，在这种情况下，跳过传统IPM的信令。
TIMD融合方法中除法和浮点运算的去除
7.代替在具有融合的TIMD的当前设计中使用恒定的成本因子(即，
2)，提出了使用自适应成本因子，其中成本因子可以取决于编解码信息。
a.在一个示例中，编解码信息可以指量化参数、和/或条带类型、和/或块大小等。
8.在针对亮度或色度的帧内预测的融合过程中，最终的预测可以在融合过程中被导出为P＝W1×P1+W2×P2+…+Wk×Pk，其中W1+W2+…+Wk＝1。P1、P2、…Pk表示通过k个IPM生成的预测值。
a.在整数形式中，P＝Shift(W1×P1+W2×P2+…+Wk×Pk，s)，其中W1、W2、…、Wk是整数，并且W1+W2+…+Wk＝1<<s。
b.在一个示例中，W1、W2、…、Wk可以取决于样本位置。
c.在一个示例中，W1、W2、…、Wk可以取决于k个IPM中的至少一个。
d.在一个示例中，W1、W2、…、Wk中可以取决于针对k个IPM的至少一个成本。
9.在具有融合的TIMD的目前设计中，两个IPM的权重是使用除法运算和浮点来导出的。相反，提出了使用查找表或一个或多个等式来导出针对两个IPM的权重。
a.在一个示例中，可以在使用查找表导出权重之前修改两个
IPM的成本。
i.在一个示例中，可以在修改中使用具有/不具有偏移的移位操作。
b.可替换地，可以使用与导出CCLM和/或MMLM中的线性参数相同的方式来导出权重。
i.导出权重的一个示例示出为实施例1。
10.在上述示例中，自适应成本因子和/或如何去除除法操作可应用于DDIPM(例如，DIMD)。
通用权项
11.是否和/或如何应用上面公开的方法可以在序列级别/图片组级别/图片级别/条带级别/图块组级别发出信号，例如在序列头/图片头/SPS/VPS/DPS/DCI/PPS/APS/条带头/图块组头中。
12.否和/或如何应用上面所公开的方法可以在PB/TB/CB/PU/TU/CU/VPDU/CTU/CTU行/条带/图块/子图片/包含多于一个样本或像素的其它种类的区域中发出信号。
13.是否和/或如何应用上面公开的方法可以取决于经编解码的信息，例如块大小、颜色格式、单/双树划分、颜色分量、条带/图片类型。
14.本文档中公开的所提出的方法可用于在需要帧内预测信号(例如CIIP模式)的其它编解码工具中生成帧内预测。
5.1实施例
5.1.1实施例
在具有融合的TIMD中导出权重的示例。
x＝Floor(Log2(costMode1+costMode2))
normDiff＝(((costMode1+costMode2)<<4)>>x)&t
x+＝(normDiff！＝0)？1:0
y＝Abs(costMode2)>0？Floor(Log2(Abs(costMode2)))+1:0
weight1＝(costMode2*(divSigTable[normDiff]|8)+2y-1)>>y
k＝((3+x-y)<1)？1:3+x-y
weight1＝((3+x-y)<1)？Sign(weight1)*t:weight1
其中，divSigTable[]被指定为以下:
divSigTable[]＝{d0,d1,d2,d3,d4,d5,d6,d7,d8,d9,d10,d11,d12,d13,d14,d15}
在一个例子中，t＝15，divSigTable[]＝{0,7,6,5,5,4,4,3,3,2,2,1,1,1,0}
5.1.2实施例2
用于确定是否在当前块的帧内预测中使用融合方法的成本因子可能取决于块大小和/或块尺寸，当costMode2<s×costMode1时，使用融合方法；否则，使用第一个导出的IPM。将块宽度和块高度表示为W和H。
在一个示例中，当W H大于T1时，s等于S1；否则，s等于S2，其中S1和S2不相同，例如S1＝3且S2＝2，或S1＝2且S2＝3，或S1＝1.8且S2＝2，或S1＝2.2且S2＝1.8。
在一个示例中，当W大于T1时，s等于S1；否则，s等于S2，其中S1和S2不相同，例如S1＝3且S2＝2，或S1＝2且S2＝3，或S1＝1.8且S2＝2，或S1＝2.2且S2＝1.8。
在一个示例中，当H大于T1时，s等于S1；否则，s等于S2，其中S1和S2不相同，例如S1＝3且S2＝2，或S1＝2且S2＝3，或S1＝1.8且S2＝2，或S1＝2.2且S2＝1.8。
在一个示例中，当W/H(或H/W)大于T1时，s等于S1；否则，s等于S2，其中S1和S2不相同，例如S1＝3且S2＝2，或S1＝2且S2＝3，或S1＝1.8且S2＝2，或S1＝2.2且S2＝1.8。
在一个示例中，当Min(W，H)或Max(W，H)大于T1时，s等于S1；否则，s等于S2，其中S1和S2不相同，例如S1＝3且S2＝2，或S1＝2且S2＝3，或S1＝1.8且S2＝2，或S1＝2.2且S2＝1.8。
5.1.3实施例3
用于确定是否在当前块的帧内预测中使用融合方法的成本因子可以取决于量化参数(QP)。当costMode2<s×costMode1，使用融合方法；否则，使用第一个导出的IPM。
在一个示例中，当QP大于T1时，s等于S1；否则，s等于S2，其中S1和S2不相同，例如T1＝30，S1＝3且S2＝2，或S1＝2且S2＝3，或S1＝1.8且S2＝2，或S1＝2.2且S2＝1.8。
5.1.4实施例4
用于确定是否在当前块的帧内预测中使用融合方法的成本因子可以取决于条带类型。当CostMode2<s×CostMode1时，使用融合方法；否则，使用第一个导出的IPM。
在一个示例中，当当前条带为I-条带时，s等于S1；当当前条带为P/B条带时，s等于S2，其中S1和S2不相同，如S1＝3且S2＝2，或S1＝2且S2＝3，或S1＝1.8且S2＝2，或S1＝2.2且S2＝1.8。
如在此所使用的，术语“块”可指以下一项或多项：颜色分量、子图片、条带、图块、编解码树单元(CTU)、CTU行、CTU组、编解码单元(CU)、预测单元(PU)、变换单元(TU)、编解码树块(CTB)、编解码块(CB)、预测块(PB)、变换块(TB)、块、块的子块、块内的子区域、或包括多于一个样本或像素的区域。
在本公开中，术语帧内预测模式的解码器侧导出(DDIPM)表示使用先前解码的块/样本导出帧内预测模式的编解码工具。在一个示例中，DDIPM还可以解释为解码器侧帧内模式导出(DIMD)方法或基于模板的帧内预测模式(TIMD)方法。
这里使用的术语“融合”是指使用多个预测信号得到针对视频单元的最终预测信号，其中每个预测信号使用一个帧内预测模式产生。这里使用的术语“多个预测信号的融合”或“融合多个预测信号”是指使用多个预测信号(包括基本预测信号和一个或多个附加预测信号；或包括多个附加预测信号但不包括基本预测信号)得到针对块的最终预测信号。
图26示出了根据本公开的一些实施例的用于视频处理的方法2600的流程图，该方法2600可以在块和块的比特流之间的转换期间实施。
在框2610，在视频的目标单元与目标单元的比特流之间的转换期间，导出针对目标单元的至少一个色度分量的帧内预测模式(IPM)。目标单元被应用有目标编解码工具。在一些实施例中，目标编解码工具可以使用先前解码的块或解码的样本导出帧内预测模式。例如，目标编解码工具可以包括以下之一：帧内预测模式的解码器侧导出(DDIPM)，解码器侧帧内模式导出(DIMD)方法，或基于模板的帧内预测模式(TIMD)方法。在一些实施例中，块的经编解码的模式可以表示为DDIPM_CHROMA。
在框2620，使用IPM获得针对目标单元的至少一个色度分量的预测。换句话说，可以使用IPM获得针对至少一个色度分量的目标单元的重建。
在框2630，基于预测执行转换。在一些实施例中，转换可以包括将视频单元编码成比特流，在一些实施例中，转换可以包括从比特流解码视频单元。
根据本公开的实施例，可以提高压缩效率，特别是在低码率的场景下。与传统的解决方案相比，本公开的实施例可以有利地提高编解码效率。而且，本公开的实施例可以是硬件友好的。
本公开的实现可以根据以下条款来描述，这些条款的特征可以以任何合理的方式组合。
在一些实施例中，用于导出IPM的模板可以包括以下至少一项：第一组邻近的相邻重建样本、第二组邻近的相邻重建像素、第三组邻近的非相邻重建样本、或第四组邻近的非相邻重建像素。
在一些实施例中，模板可以包括以下至少一项：包括所述目标单元的一组邻近的左上方重建样本的模板，包括一组邻近的左侧重建样本的模板，包括一组邻近的上方重建样本的模板，包括一组邻近的左下方重建样本的模板，或包括一组邻近的右上方重建样本的模板。例如，模板可以包括以下之一：“模板-LA”(例如，如图25a所示)、“模板-L”(例如，如图25d所示)、“模板-A”(例如，图25c)、“模板-LB”或“模板-RA”。
在一些其它实施例中，模板可包括来自左上方、和/或左侧、和/或上方、和/或左下方、和/或右上方重建样本的组合的邻近重建样本。在一个示例中，模板可包括“模板-L”和“模板-A”，例如图25b中所示的示例。在一个示例中，模板可包括“模板-L”和“模板-LB”，例如图25e中所示的示例。在一个示例中，模板可包括“模板-A”和“模板-RA”，例如图25f中所示的示例。在一个示例中，模板可包括“模板-A”、“模板-L”、“模板-LB”和“模板-RA”，例如图25g中所示的示例。在一个示例中，模板可包括“模板-LA”、“模板-A”、“模板-L”、“模板-LB”和“模板-RA”，例如图25h中所示的示例。在一个示例中，模板可以是非相邻的，例如图25i和图25j中所示的示例。
在一些其它实施例中，用于导出IPM的模板可以包括以下至少一项：目标单元的一组邻近的左上方重建样本、一组邻近的左侧重建样本、一组邻近的上方重建样本、一组邻近的左下方重建样本或一组邻近的右上方重建样本。在一些其它实施例中，用于导出IPM的模板可以是非相邻的。
在一些其他实施例中，模板可以包括一组第一分量的样本，并且所述模板用于导出针对所述第一分量的IPM。例如，第一分量可以是Cb或Cr之一。
在一些实施例中，模板可以包括一组第一分量的样本，并且所述模板可以用于导出针对第二分量的IPM。例如，第一分量可以是Cb，第二组分可以是Cr。可替换地，第一分量可以是Y，第二组分可以是Cr。在一些实施例中，第一分量可以包括多于一个分量，第二组分可以包括多于一个分量。例如，第一分量可以是Cb和Cr，第二分量可以是Cb和Cr。在一些实施例中，第一分量可以是Y，第二分量可以是Cb和Cr。可替换地，第一分量可以是Y，第二分量可以是Cb。
在一些实施例中，在导出针对至少一个色度分量的IPM期间，可以使用来自第一IPM候选列表的IPM之一在第一模板上处理帧内预测。在这种情况下，具有最小成本的候选IPM可以被导出为针对至少一个色度分量的IPM。
在一些实施例中，导出针对至少一个色度分量的IPM可以与导出针对亮度分量的IPM相同。在示例实施例中，用于导出针对至少一个色度分量的IPM的第一模板(例如形状/大小)可以与用于导出针对亮度分量的IPM的第二模板相同。在一个示例实施例中，用于导出针对至少一个色度分量的IPM的第一IPM候选列表可以与用于导出针对亮度分量的IPM的第二IPM候选列表相同。在另一个示例实施例中，用于导出针对至少一个色度分量的IPM的第一成本的计算方式与用于导出针对亮度分量的IPM的第二成本的计算方式相同。换句话说，如何计算用于导出针对色度的IPM的成本可以与针对亮度的相同。
在一些实施例中，与用于导出至少一个色度分量的第一模板相关联的参数可以不同于与用于导出亮度分量的第二模板相关联的参数。例如，与第一模板相关联的参数可以包括以下至少一项：模板形状、模板大小或模板尺寸。
在一些实施例中，与第一模板相关联的参数取决于与第二模板相关联的参数。在一些实施例中，第一模板的第一模板形状可以通过以下方式获得：S1＝S2/(SubWidth×SubHeight)，其中S1表示第一模板的第一模板形状，S2表示第二模板的第二模板形状，SubWidth表示取决于色度格式采样结构的宽度变量，SubHeight表示取决于色度格式采样结构的高度变量。
在一些实施例中，第一模板的第一模板宽度可以通过以下方式获得：W1＝W2/SubWidth，其中W1表示第一模板的第一模板宽度，W2表示第二模板的第二模板宽度，并且SubWidth表示取决于色度格式采样结构的宽度变量。
在一些实施例中，第一模板的第一模板高度可以通过以下方式获得：H1＝H2/SubHeight，并且其中H1表示第一模板的第一模板高度，H2表示第二模板的第二模板高度，SubHeight表示取决于色度格式采样结构的高度变量。上述SubWidthC和SubHeightC可以定义在如上所示的表2-1中。
在一些实施例中，用于导出针对至少一个色度分量的IPM的第一IPM候选列表不同于用于导出针对亮度分量的IPM的第二IPM候选列表。在示例实施例中，第一IPM候选列表包括以下至少一项：在帧内预测模式中显示指示的一个或多个IPM，或一个或多个扩展角IPM。例如，针对色度的第一IPM候选列表可以由一个或多个可以在传统帧内预测模式中显式地以信号传输的IPM(例如，HEVC中的35个IPM，或VVC中的67个IPM)和/或一个或多个扩展角IPM组成，如图24所示。在示例实施例中，第一IPM候选列表中IPM的第一数目可以小于第二IPM候选列表中IPM的第二数目。在示例实施例中，第一IPM候选列表包括一个或多个跨分量预测模式。例如，针对色度的第一IPM候选列表可以由跨分量预测模式组成，诸如LM和/或LM_T和/或LM_L和/或MMLM和/或MMLM_T和/或MMLM_L。
在一些实施例中，从所述第一IPM候选列表导出第一目标IPM的方式与导出针对亮度分量的第二目标IPM的方式不同。换句话说，如何从针对色度的IPM候选列表中导出最佳IPM可能不同于针对亮度的。在一个示例中，在导出针对至少一个色度分量的IPM期间，可以在针对第一模板的帧内预测中使用至少部分IPM。例如，在导出针对色度的IPM期间，可以在针对模板的帧内预测中使用/检查部分或全部IPM。
在一些实施例中，可以在导出针对至少一个色度分量的IPM期间使用提前终止方法。在一个示例中，如果第一IPM候选列表中的候选IPM的成本小于阈值，则可以将候选IPM确定为针对至少一个色度分量的IPM，并且可以跳过第一IPM候选中剩余的未检查的IPM。在这种情况下，在一些实施例中，阈值可以是以下一项：预定义的、在比特流中被指示的或取决于目标单元的编解码信息的。在一个示例中，阈值可以取决于第一IPM候选列表中已经被检查的IMP的数目。或者，阈值可以取决于已经被检查的IPM的成本。
在一些实施例中，在导出针对至少一个色度分量的IPM期间，第一IPM候选列表中的IPM被重新排序。在一些实施例中，是否检查第一IPM候选列表中的下一个或多个IPM可能取决于已经被检查的IPM的成本。可替换地，或者另外，对所述第一IPM候选列表中的下一个或多个IPM进行检查取决于已经被检查的IPM的成本。
在一些实施例中，第一模板的预测样本和重建样本之间的绝对变换差的总和(SATD)可以被计算并用于导出与目标单元相关联的成本。
在一些实施例中，计算并使用以下至少一项来导出与目标单元相关联的成本：第一模板的预测样本和第一模板的重建样本之间的平方误差总和(SSE)，第一模板的预测样本和第一模板的重建样本之间的绝对差总和(SAD)，第一模板的预测样本和第一模板的重建样本之间的均值移除绝对差总和(MRSAD)，第一模板的预测样本和第一模板的重建样本之间的主观质量度量，或第一模板的预测样本和第一模板的重建样本之间的结构相似性指数度量(SSIM)。
在示例实施例中，成本可以以D+λ×R的形式计算，其中D表示失真度量，R表示考虑的比特数，λ表示预定义的因子或即时导出的因子。在示例实施例中，可以使用第一模板的至少一部分样本来计算成本。
在一些实施例中，两个色度分量都可以用于计算成本。在一些实施例中，两个色度分量可以包括YCbCr颜色格式中的Cb分量和Cr分量。或者，两个色度分量可以包括红绿蓝(RGB)颜色格式中的蓝色(B)分量和红色(R)分量。
在一些实施例中，两个色度分量的总成本可以通过以下方式获得：C＝C1+C2，其中C表示总成本，C1表示两个色度分量中的第一色度分量的第一成本，C2表示两个色度分量中的第二色度分量的第二成本。在一些实施例中，两个色度分量的总成本可以通过以下方式获得：C＝w1×C1+w2×C2，其中C表示总成本，C1表示两个色度分量中的第一色度分量的第一成本，C2表示两个色度分量中的第二色度分量的第二成本，w1表示针对第一色度的第一加权因子，w2表示针对第二色度的第二加权因子。在示例实施例中，第一加权因子可通过w1＝1-w2获得。
在一些实施例中，两个色度分量的总成本可以通过以下方式获得：C＝(w1′C1+w2′C2+offset)>>shift，并且其中C表示总成本，C1表示两个色度分量中的第一色度分量的第一成本，C2表示两个色度分量中的第二色度分量的第二成本，w1表示针对第一色度的第一加权因子，w2表示针对第二色度的第二加权因子，offset和shift分别表示整数。例如，Shift(x，n)可以定义为Shift(x，n)＝(x+offset0)>>n。在一个示例中，offset0和/或offset1可以设置为(1<<n)>>1或(1<<(n-1))。在另一个示例中，offset0和/或offset1可以设置为0。在另一个例子中，offset0＝offset1＝((1<<n)>>1)-1或((1<<(n-1)))-1。在一些实施例中，w1可以是：在比特流中指示的、预定义的、即时导出的或取决于编解码信息的，W2可以是：在比特流中指示的、预定义的、即时导出的或取决于编解码信息的，offset可以是：在比特流中指示的、预定义的、即时导出的或取决于编解码信息的，或shift可以是：在比特流中指示的、预定义的、即时导出的或取决于编解码信息的。
在一些实施例中，在导出针对至少一个色度分量的IPM期间、在针对所述第一模板的帧内预测中使用的参考样本可以是未经滤波的。或者，在导出针对所述至少一个色度分量的IPM期间、用于针对所述第一模板的帧内预测的参考样本以与以下一项相同的方式被滤波：针对色度分量的帧内预测、针对亮度分量的帧内预测或导出针对亮度分量的IPM。
在一些实施例中，在导出针对所述至少一个色度分量的IPM期间，使用用于细化针对所述目标单元的帧内预测的预测信号的滤波方法。在一个示例中，在针对色度的IPM的导出期间，可以使用用于细化针对块的帧内预测的预测信号的滤波方法(例如，PDPC或梯度PDPC)。
在一些实施例中，是否应用用于细化针对目标单元的帧内预测的预测信号的滤波方法可以与以下方式之一相同：针对色度分量的帧内预测、针对亮度分量的帧内预测或导出针对亮度分量的IPM。可替换地，或者另外，如何应用用于细化针对目标单元的帧内预测的预测信号的滤波方法可以与以下方式之一相同：针对色度分量的帧内预测、针对亮度分量的帧内预测或导出针对亮度分量的IPM。
在一些实施例中，在导出针对所述至少一个色度分量的IPM期间、用于针对所述第一模板的帧内预测的第一插值滤波器与第二插值滤波器是相同的。在这种情况下，第二插值滤波器可以用于以下至少之一：针对色度分量的帧内预测、用于针对亮度分量的帧内预测的插值滤波器、在导出针对所述亮度分量的IPM期间、用于针对所述第一模板的帧内预测的插值滤波器。
在一些实施例中，在导出针对所述至少一个色度分量的IPM期间、用于针对所述第一模板的帧内预测的第一插值滤波器与第二插值滤波器可以是不同的。在这种情况下，第二插值滤波器可以被用于以下至少之一：针对色度分量的帧内预测、用于针对亮度分量的帧内预测的插值滤波器、在导出针对所述亮度分量的IPM期间、用于针对所述第一模板的帧内预测的插值滤波器。
在一些实施例中，在导出针对至少一个色度分量的IPM中用于扩展的IPM的第一模式转换过程可以与在针对色度的帧内预测中使用的用于扩展的IPM的第二模式转换过程相同。在一些实施例中，第一模式转换过程可以不同于第二模式转换过程。
在一些实施例中，在导出针对亮度分量的IPM中用于扩展的IPM的第三模式转换过程与在针对亮度的帧内预测中使用的用于扩展的IPM的第四模式转换过程相同。或者，第三模式转换过程可以不同于第四模式转换过程。
在一些实施例中，可以使用用于导出IPM的第一模板中的样本/像素来构建梯度直方图(HoG)，HoG中的每个直条被映射到一个IPM。在这种情况下，具有最高幅度的候选IPM可以被用作至少一个色度分量的IPM。
在一些实施例中，导出针对至少一个色度分量的IPM可以与导出针对亮度分量的IPM相同。换句话说，针对色度的IPM的导出(例如，如何构建HoG，或者HoG中直条的数目，或者如何将直条映射到IPM)可以与亮度相同。
在一些实施例中，与所述第一模板相关联的参数可以不同于与用于计算针对亮度分量的梯度的第二模板相关联的参数。在这种情况下，在一些实施例中，与第一模板相关联的参数可以包括以下至少一项：模板形状、模板大小或模板尺寸。或者，色度与亮度相比的模板大小的第一比率可以遵循由于颜色格式确定的第二比率。
在一些实施例中，针对色度的梯度的计算可能不同于针对亮度的梯度的计算。在一个示例实施例中，可以使用以下一项来计算针对色度的梯度：Sobel算子、各向同性Sobel算子、Roberts算子、Prewitt算子、Laplace算子或Canny算子。
在一些实施例中，HoG中的直条的数目可以等于显式指示的IPM的数目。或者，HoG中直条的数目可以小于显式指示的IPM的数目。在一些实施例中，两个色度分量都可以用于计算针对色度的梯度。
在一些实施例中，色度分量之一可用于导出IPM。换句话说，色度分量中只有一个(例如，YCbCr颜色格式中的Cb或Cr，或RGB颜色格式中的B或R)可用于导出IPM(例如，计算成本或计算梯度)。在示例实施例中，可以在比特流中指示使用哪个色度分量。在示例实施例中，可以对使用哪个色度分量进行预定义。在示例实施例中，可以即时确定使用哪个色度分量。在示例实施例中，使用哪个色度分量可以取决于编解码信息。在示例实施例中，可以将IPM的导出用于针对目标单元的色度分量的帧内预测。
在一些实施例中，可以针对每个色度分量单独导出目标IPM。换句话说，使用上述方法针对每个色度分量单独导出IPM。在示例实施例中，针对不同色度分量，目标IPM的导出可以是不同的。在示例实施例中，针对不同色度分量，导出的目标IPM可以是不同的。在示例实施例中，针对色度不同的色度分量，导出的目标IPM可以是相同的。
在一些实施例中，由多个IPM生成的预测信号的融合可以用作针对目标单元的色度分量的最终预测。在一些实施例中，多个IPM可以包括以下至少一项：一个或多个导出的IPM、一个或多个预定义的预测模式或一个或多个指示的预测模式。在示例实施例中，一个或多个预定义的预测模式可以包括跨分量预测模式。例如，预定义的模式可以是跨分量预测模式，例如LM和/或LM_T和/或LM_L和/或MMLM和/或MMLM_T和/或MMLM_L。可替换地，一个或多个被指示预测模式可以包括跨分量预测模式。在示例实施例中，一个或多个预定义的预测模式可以包括以下至少一项：平面模式、直流(DC)模式、水平模式、竖直模式、对角线模式或竖直对角线模式。在示例实施例中，所述一个或多个指示的预测模式可以包括以下至少一项：平面模式、直流(DC)模式、水平模式、竖直模式、对角线模式或竖直对角线模式。
在一些实施例中，可以使用不同的融合方法。在这种情况下，不同的方法可以包括以下至少一项：融合中的不同IPM，或融合中的不同加权因子。在一些实施例中，加权因子可以取决于在导出多个IPM期间的成本或幅度。
在一些实施例中，是否和/或如何融合预测信号可以是：在比特流中指示的、即时确定的或取决于编解码信息的。在一些实施例中，在预测信号的融合中使用的IPM的数目可以是：在比特流中指示的、即时确定的或取决于编解码信息的。在一些实施例中，是否和/或如何应用预测信号的融合方法可以取决于多个IPM的成本或幅度。在示例实施例中，如果第二最佳导出IPM的第二成本小于最佳导出IPM的第一成本乘以成本因子，则可以应用融合方法。例如，将最佳导出IPM的成本表示为Cost1，将第二最佳导出IPM的成本表示为Cost2，当Cost2小于T×Cost1时，可以应用融合方法，其中T是成本因子。
在一些实施例中，可以导出多个IPM。在这种情况下，哪个IPM在针对色度分量的帧内预测中被使用是以下至少一项：在比特流中指示、即时确定或取决于编解码信息。
在一些实施例中，关于是否和/或如何导出针对目标单元的IPM的指示可以在以下之一处指示：序列级别、图片组级别、图片级别、条带级别或图块组级别。
在一些实施例中，关于是否和/或如何导出针对目标单元的IPM的指示可以在以下之一中指示：序列头、图片头、序列参数集(SPS)、视频参数集(VPS)、依赖性参数集(DPS)、解码能力信息(DCI)、图片参数集(PPS)、自适应参数集(APS)、条带头或图块组头。
在一些实施例中，关于是否和/或如何导出用于目标单元的IPM的指示可以包括在以下之一中：预测块(PB)、变换块(TB)、编解码块(CB)、预测单元(PU)、变换单元(TU)、编解码单元(CU)、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、条带、图块、子图片、或包含多于一个样本或像素的区域。
在一些实施例中，是否和/或如何导出目标单元的IPM可以基于目标单元的经编解码的信息来确定。经编解码的信息可以包括以下至少一项：块大小、颜色格式、单树和/或双树分区、颜色分量、条带类型或图片类型。
在一些实施例中，可以将视频的比特流存储在非暂态计算机可读记录介质中，可以通过视频处理装置执行的方法来生成视频的比特流。根据该方法，可以导出目标单元的针对至少一个色度分量的帧内预测模式(IPM)。目标单元被应用有目标编解码工具。可以使用IPM获得目标单元的针对至少一个色度分量的预测。可以基于该预测来生成目标单元的比特流。
在一些实施例中，可以导出针对至少一个色度分量的目标单元的帧内预测模式(IPM)。目标单元被应用有目标编解码工具。使用IPM可以获得针对至少一个色度分量的目标单元的预测。可以基于该预测生成目标单元的比特流，并将其存储在非暂态计算机可读记录介质中。
本公开的各实施例可以单独地实现。备选地，本公开的各实施例可以以任何适当的组合来实现。本公开的各实现方式可以参照以下条款进行描述，其特征可以以任何合理的方式组合。
条款1.一种视频处理方法，包括：在视频的目标单元与所述目标单元的比特流之间的转换期间，导出针对所述目标单元的至少一个色度分量的帧内预测模式(IPM)用于至少一个色度分量，所述目标单元被应用有目标编解码工具；使用所述IPM获得针对所述目标单元的所述至少一个色度分量的预测；以及基于所述预测执行所述转换。
条款2.根据条款1所述的方法，其中所述目标编解码工具使用先前解码的块或解码的样本来导出所述帧内预测模式，并且其中所述目标编解码工具包括以下一项：帧内预测模式的解码器侧导出(DDIPM)，解码器侧帧内模式导出(DIMD)方法，或基于模板的帧内预测模式(TIMD)方法。
条款3.根据条款1所述的方法，其中用于导出所述IPM的模板包括以下至少一项：第一组邻近的相邻重建样本，第二组邻近的相邻重建像素，第三组邻近的非相邻重建样本，或第四组邻近的非相邻重建像素。
条款4.根据条款3所述的方法，其中所述模板包括以下至少一项：包括所述目标单元的一组邻近的左上方重建样本的模板，包括一组邻近的左侧重建样本的模板，包括一组邻近的上方重建样本的模板，包括一组邻近的左下方重建样本的模板，或包括一组邻近的右上方重建样本的模板。
条款5.根据条款1所述的方法，其中用于导出所述IPM的模板包括以下至少一项：所述目标单元的一组邻近的左上方重建样本，一组邻近的左侧重建样本，一组邻近的上方重建样本，一组邻近的左下方重建样本，或一组邻近的右上方重建样本。
条款6.根据条款1所述的方法，其中用于导出所述IPM的模板是非相邻的。
条款7.根据条款3所述的方法，其中所述模板包括一组第一分量的样本，并且所述模板用于导出针对所述第一分量的IPM。
条款8.根据条款7所述的方法，其中所述第一分量是Cb或Cr之一。
条款9.根据条款3所述的方法，其中所述模板包括一组第一分量的样本，并且所述模板用于导出针对第二分量的IPM。
条款10.根据条款9所述的方法，其中所述第一分量为Cb且所述第二分量为Cr，或其中所述第一分量为Y且所述第二分量为Cb和Cr，或其中所述第一分量为Y且所述第二分量为Cb，或其中所述第一分量为Y且所述第二分量为Cr。
条款11.根据条款9所述的方法，其中所述第一分量包括多于一个分量，并且所述第二分量包括多于一个分量。
条款12.根据条款1所述的方法，其中在导出针对所述至少一个色度分量的所述IPM期间，使用来自第一IPM候选列表中的IPM之一在第一模板上处理帧内预测，并且具有最小成本的候选IPM被导出为针对所述至少一个色度分量的IPM。
条款13.根据条款12所述的方法，其中导出针对所述至少一个色度分量的IPM与导出针对亮度分量的IPM相同。
条款14.根据条款13所述的方法，其中用于导出针对所述至少一个色度分量的IPM的第一模板与用于导出针对所述亮度分量的IPM的第二模板相同。
条款15.根据条款13所述的方法，其中用于导出针对所述至少一个色度分量的IPM的所述第一IPM候选列表与用于导出针对所述亮度分量的IPM的第二IPM候选列表相同。
条款16.根据条款13所述的方法，其中用于导出针对所述至少一个色度分量的IPM的第一成本的计算方式与用于导出针对所述亮度分量的IPM的第二成本的计算方式相同。
条款17.根据条款12所述的方法，其中与用于导出所述至少一个色度分量的所述第一模板相关联的参数不同于与用于导出亮度分量的第二模板相关联的参数。
条款18.根据条款17所述的方法，其中与所述第一模板相关联的参数包括以下至少一项：模板形状，模板大小，或模板尺寸。
条款19.根据条款17所述的方法，其中与所述第一模板相关联的参数取决于与所述第二模板相关联的参数。
条款20.根据条款19所述的方法，其中所述第一模板的第一模板形状通过以下方式获得：S1＝S2/(SubWidth SubHeight)，并且其中S1表示所述第一模板的第一模板形状，S2表示所述第二模板的第二模板形状，SubWidth表示取决于色度格式采样结构的宽度变量，SubHeight表示取决于所述色度格式采样结构的高度变量。
条款21.根据条款19所述的方法，其中所述第一模板的第一模板宽度通过以下方式获得：W1＝W2/SubWidth，并且其中W1表示所述第一模板的第一模板宽度，W2表示所述第二模板的第二模板宽度，并且SubWidth表示取决于色度格式采样结构的宽度变量。
条款22.根据条款19所述的方法，其中所述第一模板的第一模板高度通过以下方式获得：H1＝H2/SubHeight，并且其中H1表示所述第一模板的第一模板高度，H2表示所述第二模板的第二模板高度，并且SubHeight表示取决于色度格式采样结构的高度变量。
条款23.根据条款12所述的方法，其中用于导出针对所述至少一个色度分量的IPM的所述第一IPM候选列表不同于用于导出针对亮度分量的IPM的第二IPM候选列表。
条款24.根据条款23所述的方法，其中所述第一IPM候选列表包括以下至少一项：在帧内预测模式中显式指示的一个或多个IPM，或一个或多个扩展角IPM。
条款25.根据条款23所述的方法，其中所述第一IPM候选列表中的IPM的第一数目小于所述第二IPM候选列表中的IPM的第二数目。
条款26.根据条款23所述的方法，其中所述第一IPM候选列表包括一个或多个跨分量预测模式。
条款27.根据条款12所述的方法，其中从所述第一IPM候选列表导出第一目标IPM的方式与导出针对亮度分量的第二目标IPM的方式不同。
条款28.根据条款27所述的方法，其中在导出针对所述至少一个色度分量的所述IPM期间，至少一部分IPM被用于针对所述第一模板的帧内预测。
条款29.根据条款27所述的方法，其中早期终止方法在导出针对所述至少一个色度分量的所述IPM期间被使用。
条款30.根据条款29所述的方法，其中如果所述第一IPM候选列表中的候选IPM的成本小于阈值，则所述候选IPM被确定为针对所述至少一个色度分量的IPM，并且所述第一IPM候选列表中剩余的未检查的IPM被跳过。
条款31.根据条款30所述的方法，其中所述阈值是：预定义的，在所述比特流中被指示的，或取决于目标单元的编解码信息的。
条款32.根据条款30所述的方法，其中所述阈值取决于所述第一IPM候选列表中已经被检查的IMP的数目，或者其中所述阈值取决于已经被检查的IPM的成本。
条款33.根据条款27所述的方法，其中在导出针对所述至少一个色度分量的所述IPM期间，所述第一IPM候选列表中的IPM被重新排序。
条款34.根据条款27所述的方法，还包括以下至少一项：是否对所述第一IPM候选列表中的下一个或多个IPM进行检查取决于已经被检查的IPM的成本，或如何对所述第一IPM候选列表中的下一个或多个IPM进行检查取决于已经被检查的IPM的成本。
条款35.根据条款12所述的方法，其中所述第一模板的预测样本和重建样本之间的绝对变换差总和(SATD)被计算，并且被用于导出与所述目标单元相关联的成本。
条款36.根据条款12所述的方法，其中以下至少一项被计算并且被用于导出与所述目标单元相关联的成本：所述第一模板的预测样本和所述第一模板的重建样本之间的平方误差总和(SSE)，所述第一模板的预测样本和所述第一模板的重建样本之间的绝对差总和(SAD)，所述第一模板的预测样本和所述第一模板的重建样本之间的均值移除绝对差总和(MRSAD)，所述第一模板的预测样本和所述第一模板的重建样本之间的主观质量度量，或者所述第一模板的预测样本和所述第一模板的重建样本之间的结构相似度指数度量(SSIM)。
条款37.根据条款36所述的方法，其中所述成本以D+λR的形式来计算，其中D表示失真度量，R表示考虑的比特数，并且λ表示预定义的因子或即时导出的因子。
条款38.根据条款36所述的方法，其中所述第一模板的至少一部分样本被用于计算所述成本。
条款39.根据条款36所述的方法，其中两个色度分量都被用于计算所述成本。
条款40.根据条款39所述的方法，其中所述两个色度分量包括YCbCr颜色格式中的Cb分量和Cr分量，或所述两个色度分量包括红绿蓝(RGB)颜色格式中的蓝色(B)分量和红色(R)分量。
条款41.根据条款39所述的方法，其中所述两个色度分量的总成本通过以下方式获得：C＝C1+C2，并且其中C表示所述总成本，C1表示所述两个色度分量中的第一色度分量的第一成本，并且C2表示所述两个色度分量中的第二色度分量的第二成本。
条款42.根据条款39所述的方法，其中所述两个色度分量的总成本通过以下方式获得：C＝w1 C1+w2 C2，并且其中C表示所述总成本，C1表示所述两个色度分量中的第一色度分量的第一成本，C2表示所述两个色度分量中的第二色度分量的第二成本，w1表示针对所述第一色度的第一加权因子，并且w2表示针对所述第二色度的第二加权因子。
条款43.根据条款42所述的方法，其中所述第一加权因子通过w1＝1-w2获得。
条款44.根据条款39所述的方法，其中所述两个色度分量的总成本通过以下方式获得：C＝(w1 C1+w2 C2+offset)>>shift，并且其中C表示所述总成本，C1表示所述两个色度分量中的第一色度分量的第一成本，C2表示所述两个色度分量中的第二色度分量的第二成本，w1表示针对所述第一色度的第一加权因子，w2表示针对所述第二色度的第二加权因子，并且offset和shift分别表示整数。
条款45.根据条款44所述的方法，其中w1是：在所述比特流中指示的、预定义的、即时导出的或取决于编解码信息的，其中w2是：在所述比特流中指示的、预定义的、即时导出的或取决于编解码信息的，其中offset是：在所述比特流中指示的、预定义的、即时导出的或取决于编解码信息的，或其中shift是：在所述比特流中指示的、预定义的、即时导出的或取决于编解码信息的。
条款46.根据条款12所述的方法，其中在导出针对所述至少一个色度分量的IPM期间、用于针对所述第一模板的帧内预测的参考样本是未经滤波的。
条款47.根据条款12所述的方法，其中在导出针对所述至少一个色度分量的IPM期间、用于针对所述第一模板的帧内预测的参考样本以与以下一项相同的方式被滤波：针对色度分量的帧内预测，针对亮度分量的帧内预测，或导出针对亮度分量的IPM。
条款48.根据条款12所述的方法，其中在导出针对所述至少一个色度分量的IPM期间，用于细化针对所述目标单元的帧内预测的预测信号的滤波方法被使用。
条款49.根据条款12所述的方法，其中是否应用用于细化针对所述目标单元的帧内预测的预测信号的滤波方法与以下方式之一相同：针对色度分量的帧内预测，针对亮度分量的帧内预测，导出针对亮度分量的IPM。
条款50.根据条款12所述的方法，其中如何应用用于细化针对所述目标单元的帧内预测的预测信号的滤波方法与以下方式之一相同：针对色度分量的帧内预测，针对亮度分量的帧内预测，导出针对亮度分量的IPM。
条款51.根据条款12所述的方法，其中在导出针对所述至少一个色度分量的IPM期间、用于针对所述第一模板的帧内预测的第一插值滤波器与第二插值滤波器是相同的，并且其中所述第二插值滤波器被用于以下至少一项：针对色度分量的帧内预测，用于针对亮度分量的帧内预测的插值滤波器，在导出针对所述亮度分量的IPM期间、用于针对所述第一模板的帧内预测的插值滤波器。
条款52.根据条款12所述的方法，其中在导出针对所述至少一个色度分量的IPM期间、用于针对所述第一模板的帧内预测的第一插值滤波器与第二插值滤波器是不同的，其中所述第二插值滤波器被用于以下至少之一：针对色度分量的帧内预测，用于针对亮度分量的帧内预测的插值滤波器，在导出针对所述亮度分量的IPM期间、用于针对所述第一模板的帧内预测的插值滤波器。
条款53.根据条款1所述的方法，其中在导出针对所述至少一个色度分量的IPM中用于扩展的IPM的第一模式转换过程与在针对色度的帧内预测中使用的用于扩展的IPM的第二模式转换过程相同，或者其中所述第一模式转换过程不同于所述第二模式转换过程。
条款54.根据条款1所述的方法，其中在导出针对亮度分量的IPM中用于扩展的IPM的第三模式转换过程与在针对亮度的帧内预测中使用的用于扩展的IPM的第四模式转换过程相同，或者其中所述第三模式转换过程不同于所述第四模式转换过程。
条款55.根据条款1所述的方法，其中梯度直方图(HoG)通过使用用于导出所述IPM的第一模板中的样本/像素而被构建，所述HoG中的每个直条被映射到一个IPM，并且具有最高幅度的候选IPM被用作针对所述至少一个色度分量的IPM。
条款56.根据条款55所述的方法，其中导出针对所述至少一个色度分量的IPM与导出针对亮度分量的IPM相同。
条款57.根据条款55所述的方法，其中与所述第一模板相关联的参数不同于与用于计算针对亮度分量的梯度的第二模板相关联的参数。
条款58.根据条款57所述的方法，其中与所述第一模板相关联的参数包括以下至少一项：模板形状，模板大小，或模板尺寸。
条款59.根据条款55所述的方法，其中色度与亮度相比的模板尺寸的第一比率遵循由颜色格式确定的第二比率。
条款60.根据条款55所述的方法，其中针对色度的梯度的计算不同于针对亮度的梯度的计算。
条款61.根据条款60所述的方法，其中以下一项被用于计算针对色度的梯度：Sobel算子，各向同性Sobel算子，Roberts算子，Prewitt算子，Laplacian算子，或Canny算子。
条款62.根据条款55所述的方法，其中所述HoG中直条的数目等于显式指示的IPM的数目，或其中所述HoG中直条的数目小于显式指示的IPM的数目。
条款63.根据条款55所述的方法，其中两个色度分量被用于计算针对色度的梯度。
条款64.根据条款1所述的方法，其中所述色度分量之一被用于导出所述IPM。
条款65.根据条款64所述的方法，其中哪个色度分量被使用在所述比特流中被指示，或者其中使用哪个色度分量是预定义的，或其中使用哪个色度分量是即时确定的，或者其中使用哪个色度分量取决于编解码信息。
条款66.根据条款64所述的方法，其中将所述IPM的导出用于针对所述目标单元的色度分量的帧内预测。
条款67.根据条款1所述的方法，其中目标IPM是针对每个色度分量被分别导出的。
条款68.根据条款67所述的方法，其中针对不同的色度分量，所述目标IPM的导出是不同的。
条款69.根据条款67所述的方法，其中针对不同的色度分量的导出的目标IPM是不同的。
条款70.根据条款67所述的方法，其中针对色度不同的色度分量，导出的目标IPM是相同。
条款71.根据条款1所述的方法，其中由多个IPM产生的预测信号的融合被用作针对所述目标单元的色度分量的最终预测。
条款72.根据条款71所述的方法，其中所述多个IPM包括以下至少一项：一个或多个导出的IPM，一个或多个预定义的预测模式，或一个或多个指示的预测模式。
条款73.根据条款72所述的方法，其中所述一个或多个预定义的预测模式包括跨分量预测模式，或者其中所述一个或多个被指示的预测模式包括跨分量预测模式。
条款74.根据条款72所述的方法，其中所述一个或多个预定义的预测模式包括以下至少一项：平面模式，直流(DC)模式，水平模式，竖直模式，对角线模式，或竖直对角线模式。
条款75.根据条款72所述的方法，其中所述一个或多个指示的预测模式包括以下至少一项：平面模式，直流(DC)模式，水平模式，竖直模式，对角线模式，或竖直对角线模式。
条款76.根据条款71所述的方法，其中不同的融合方法被使用，并且其中不同的方法包括以下至少一项：所述融合中的不同IPM，或所述融合中的不同的加权因子。
条款77.根据条款76所述的方法，其中加权因子取决于在导出所述多个IPM期间的成本或幅度。
条款78.根据条款71所述的方法，其中是否和/或如何融合所述预测信号是：在所述比特流中指示的，即时确定的，或取决于编解码信息的。
条款79.根据条款71所述的方法，其中在所述预测信号的融合中使用的IPM的数目是：在所述比特流中指示的，即时确定的，或取决于编解码信息的。
条款80.根据条款71所述的方法，其中关于用于融合所述预测信号的方法的指示是：在所述比特流中指示的，即时确定的，或取决于编解码信息的。
条款81.根据条款71所述的方法，其中是否和/或如何应用预测信号的融合方法取决于所述多个IPM的成本或幅度。
条款82.根据条款81所述的方法，其中如果第二最佳导出IPM的第二成本小于最佳导出IPM的第一成本乘以成本因子，则所述融合方法被应用。
条款83.根据条款1所述的方法，其中多个IPM被导出，并且哪个IPM在针对色度分量的帧内预测中被使用是：在所述比特流中指示的，即时确定的，或取决于编码信息的。
条款84.根据条款1-83中任一项所述的方法，其中关于是否和/或如何导出针对所述目标单元的至少一个色度分量的IPM的指示在以下之一处指示：序列级别，图片组级别，图片级别，条带级别，或图块组级别。
条款85.根据条款1-83中任一项所述的方法，其中关于是否和/或如何导出针对所述目标单元的至少一个色度分量的IPM的指示在以下一项中指示：序列头，图片头，序列参数集(SPS)，视频参数集(VPS)，依赖性参数集(DPS)，解码能力信息(DCI)，图片参数集(PPS)自适应参数集(APS)条带头，或者图块组头。
条款86.根据条款1-83中任一项所述的方法，其中关于是否和/或如何导出针对所述目标单元的至少一个色度分量的IPM的指示包括在以下一项中：预测块(PB)，变换块(TB)，编解码块(CB)，预测单元(PU)，变换单元(TU)，编解码单元(CU)，虚拟流水线数据单元(VPDU)，编解码树单元(CTU)CTU行，条带，图块，子图片，或包含多于一个样本或像素的区域。
条款87.根据条款1-83中任一项所述的方法，还包括：基于所述目标单元的经编解码的信息确定是否和/或如何导出针对所述目标单元的至少一个色度分量的IPM，所述经编解码的信息包括以下至少一项：编解码模式，块大小，颜色格式，单树和/或双树划分，颜色分量，条带类型，或图片类型。
条款88.根据条款1所述的方法，还包括：使用导出的所述IPM、以需要帧内预测信号的另一个编解码工具生成帧内预测。
条款89.根据条款1-83中任一项所述的方法，其中所述转换包括将所述目标单元编码成所述比特流。
条款90.根据条款1-83中任一项所述的方法，其中所述转换包括从所述比特流解码所述目标单元。
条款91.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据条款1-90中任一项所述的方法。
条款92.一种非暂态计算机可读存储介质，存储有使处理器执行根据条款1-90中任一项所述的方法的指令。
条款93.一种非暂态计算机可读记录介质，存储有视频的由视频处理装置执行的方法所生成的比特流，其中所述方法包括：导出针对所述视频的目标单元的至少一个色度分量的帧内预测模式(IPM)用于至少一个色度分量，所述目标单元被应用有目标编解码工具；使用所述IPM获得针对所述目标单元的所述至少一个色度分量的预测；以及基于所述预测生成所述目标单元的比特流。
条款94.一种用于存储视频的比特流的方法，包括：导出针对所述视频的目标单元的至少一个色度分量的帧内预测模式(IPM)用于至少一个色度分量，所述目标单元被应用有目标编解码工具；使用所述IPM获得针对所述目标单元的所述至少一个色度分量的预测；基于所述预测生成所述目标单元的比特流；以及将所述比特流存储在非暂态计算机可读记录介质中。
示例设备
图27示出了可以在其中实现本公开的各种实施例的计算设备2700的框图。计算设备2700可以被实现为源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)，或者可以被包括在源设备110(或视频编码器114或200)或目的设备120(或视频解码器124或300)中。
应当理解的是，图27中示出的计算设备2700仅为了说明的目的，而不是以任何方式暗示对本公开实施例的功能和范围的任何限制。
如图27所示，计算设备2700包括通用计算设备2700。计算设备2700可以至少包括一个或多个处理器或处理单元2710、存储器2720、存储单元2730、一个或多个通信单元2740、一个或多个输入设备2750以及一个或多个输出设备2760。
在一些实施例中，计算设备2700可以被实现为具有计算能力的任何用户终端或服务器终端。服务器终端可以是由服务提供商提供的服务器、大型计算设备等。用户终端例如可以是任何类型的移动终端、固定终端或便携式终端，包括移动电话、站、单元、设备、多媒体计算机、多媒体平板计算机、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或其任何组合，并且包括这些设备的附件和外围设备或其任何组合。可以设想的是，计算设备2700可以支持到用户的任何类型的接口(诸如"可穿戴"电路装置等)。
处理单元2710可以是物理处理器或虚拟处理器，并且可以基于存储在存储器2720中的程序实现各种处理。在多处理器系统中，多个处理单元并行地执行计算机可执行指令，以便改善计算设备2700的并行处理能力。处理单元2710也可以被称为中央处理单元(CPU)、微处理器、控制器或微控制器。
计算设备2700通常包括各种计算机存储介质。这样的介质可以是由计算设备2700可访问的任何介质，包括但不限于易失性介质和非易失性介质、或可拆卸介质和不可拆卸介质。存储器2720可以是易失性存储器(例如，寄存器、高速缓存、随机存取存储器(RAM))、非易失性存储器(诸如只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或闪存)或其任何组合。存储单元2730可以是任何可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如存储器、闪存驱动器、磁盘或其他可以被用于存储信息和/或数据并且可以在计算设备2700中被访问的介质。
计算设备2700还可以包括附加的可拆卸/不可拆卸存储介质、易失性/非易失性存储介质。尽管在图27中未示出，但是可以提供用于从可拆卸的非易失性磁盘读取和/或写入可拆卸的非易失性磁盘的磁盘驱动器，以及用于从可拆卸的非易失性光盘读取和/或写入可拆卸的非易失性光盘的光盘驱动器。在这种情况下，每个驱动器可以经由一个或多个数据介质接口连接到总线(未示出)。
通信单元2740经由通信介质与另一计算设备通信。另外，计算设备2700中的组件的功能可以由可以经由通信连接进行通信的单个计算集群或多个计算机器来实现。因此，计算设备2700可以使用与一个或多个其他服务器、联网个人计算机(PC)或其他通用网络节点的逻辑连接来在联网环境中运行。
输入设备2750可以是各种输入设备中的一种或多种输入设备，诸如鼠标、键盘、轨迹球、语音输入设备等。输出设备2760可以是各种输出设备中的一种或多种输出设备，诸如显示器、扬声器、打印机等。借助于通信单元2740，计算设备2700还可以与一个或多个外部设备(未示出)通信，外部设备诸如是存储设备和显示设备，计算设备2700还可以与一个或多个使用户能够与计算设备2700交互的设备通信，或任何使计算设备2700能够与一个或多个其他计算设备通信的设备(例如网卡、调制解调器等)通信，如果需要的话。这种通信可以经由输入/输出(I/O)接口(未示出)进行。
在一些实施例中，计算设备2700的一些或所有组件也可以被布置在云计算架构中，而不是被集成在单个设备中。在云计算架构中，组件可以被远程提供并且共同工作，以实现本公开中描述的功能。在一些实施例中，云计算提供计算、软件、数据访问和存储服务，这将不要求最终用户知晓提供这些服务的系统或硬件的物理位置或配置。在各种实施例中，云计算使用合适的协议经由广域网(例如互联网)提供服务。例如，云计算提供商通过广域网提供应用程序，可以通过网络浏览器或任何其他计算组件访问这些应用程序。云计算架构的软件或组件以及对应的数据可以存储在远程服务器上。云计算环境中的计算资源可以被合并或分布在远程数据中心的位置。云计算基础设施可以通过共享数据中心提供服务，尽管它们表现为作为用户的单一接入点。因此，云计算架构可与被用于从远程位置的服务提供商处提供本文所述的组件和功能。备选地，它们可以由常规服务器提供，或者直接或以其他方式安装在客户端设备上。
在本公开的实施例中，计算设备2700可以被用于实现视频编码/解码。存储器2720可以包括具有一个或多个程序指令的一个或多个视频编解码模块2725。这些模块能够由处理单元2710访问和执行，以执行本文描述的各种实施例的功能。
在执行视频编码的示例实施例中，输入设备2750可以接收视频数据作为待编码的输入2770。视频数据可以由例如视频编解码模块2725处理，以生成经编码的比特流。经编码的比特流可以经由输出设备2760作为输出2780被提供。
在执行视频解码的示例实施例中，输入设备2750可以接收经编码的比特流作为输入2770。经编码的比特流可以由例如视频编解码模块2725处理，以生成经解码的视频数据。经解码的视频数据可以经由输出设备2760作为输出2780被提供。
虽然已经参考本公开的优选实施例具体示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求限定的本申请的精神和范围的情况下，可以在形式和细节上进行各种改变。这些变化旨在由本申请的范围所涵盖。因此，本申请的实施例的前述描述不旨在是限制性的。

Claims (94)

1.一种视频处理方法，包括：
在视频的目标单元与所述目标单元的比特流之间的转换期间，导出针对所述目标单元的至少一个色度分量的帧内预测模式(IPM)用于至少一个色度分量，所述目标单元被应用有目标编解码工具；
使用所述IPM获得针对所述目标单元的所述至少一个色度分量的预测；以及
基于所述预测执行所述转换。
2.根据权利要求1所述的方法，其中所述目标编解码工具使用先前解码的块或解码的样本来导出所述帧内预测模式，并且
其中所述目标编解码工具包括以下一项：
帧内预测模式的解码器侧导出(DDIPM)，
解码器侧帧内模式导出(DIMD)方法，或
基于模板的帧内预测模式(TIMD)方法。
3.根据权利要求1所述的方法，其中用于导出所述IPM的模板包括以下至少一项：
第一组邻近的相邻重建样本，
第二组邻近的相邻重建像素，
第三组邻近的非相邻重建样本，或
第四组邻近的非相邻重建像素。
4.根据权利要求3所述的方法，其中所述模板包括以下至少一项：
包括所述目标单元的一组邻近的左上方重建样本的模板，
包括一组邻近的左侧重建样本的模板，
包括一组邻近的上方重建样本的模板，
包括一组邻近的左下方重建样本的模板，或
包括一组邻近的右上方重建样本的模板。
5.根据权利要求1所述的方法，其中用于导出所述IPM的模板包括以下至少一项：
所述目标单元的一组邻近的左上方重建样本，
一组邻近的左侧重建样本，
一组邻近的上方重建样本，
一组邻近的左下方重建样本，或
一组邻近的右上方重建样本。
6.根据权利要求1所述的方法，其中用于导出所述IPM的模板是非相邻的。
7.根据权利要求3所述的方法，其中所述模板包括一组第一分量的样本，并且所述模板用于导出针对所述第一分量的IPM。
8.根据权利要求7所述的方法，其中所述第一分量是Cb或Cr之一。
9.根据权利要求3所述的方法，其中所述模板包括一组第一分量的样本，并且所述模板用于导出针对第二分量的IPM。
10.根据权利要求9所述的方法，其中所述第一分量为Cb且所述第二分量为Cr，或
其中所述第一分量为Y且所述第二分量为Cb和Cr，或
其中所述第一分量为Y且所述第二分量为Cb，或
其中所述第一分量为Y且所述第二分量为Cr。
11.根据权利要求9所述的方法，其中所述第一分量包括多于一个分量，并且所述第二分量包括多于一个分量。
12.根据权利要求1所述的方法，其中在导出针对所述至少一个色度分量的所述IPM期间，使用来自第一IPM候选列表中的IPM之一在第一模板上处理帧内预测，并且
具有最小成本的候选IPM被导出为针对所述至少一个色度分量的IPM。
13.根据权利要求12所述的方法，其中导出针对所述至少一个色度分量的IPM与导出针对亮度分量的IPM相同。
14.根据权利要求13所述的方法，其中用于导出针对所述至少一个色度分量的IPM的第一模板与用于导出针对所述亮度分量的IPM的第二模板相同。
15.根据权利要求13所述的方法，其中用于导出针对所述至少一个色度分量的IPM的所述第一IPM候选列表与用于导出针对所述亮度分量的IPM的第二IPM候选列表相同。
16.根据权利要求13所述的方法，其中用于导出针对所述至少一个色度分量的IPM的第一成本的计算方式与用于导出针对所述亮度分量的IPM的第二成本的计算方式相同。
17.根据权利要求12所述的方法，其中与用于导出所述至少一个色度分量的所述第一模板相关联的参数不同于与用于导出亮度分量的第二模板相关联的参数。
18.根据权利要求17所述的方法，其中与所述第一模板相关联的参数包括以下至少一项：
模板形状，
模板大小，或
模板尺寸。
19.根据权利要求17所述的方法，其中与所述第一模板相关联的参数取决于与所述第二模板相关联的参数。
20.根据权利要求19所述的方法，其中所述第一模板的第一模板形状通过以下方式获得：
S1＝S2/(SubWidth×SubHeight)，并且
其中S1表示所述第一模板的第一模板形状，S2表示所述第二模板的第二模板形状，SubWidth表示取决于色度格式采样结构的宽度变量，SubHeight表示取决于所述色度格式采样结构的高度变量。
21.根据权利要求19所述的方法，其中所述第一模板的第一模板宽度通过以下方式获得：
W1＝W2/SubWidth，并且
其中W1表示所述第一模板的第一模板宽度，W2表示所述第二模板的第二模板宽度，并且SubWidth表示取决于色度格式采样结构的宽度变量。
22.根据权利要求19所述的方法，其中所述第一模板的第一模板高度通过以下方式获得：
H1＝H2/SubHeight，并且
其中H1表示所述第一模板的第一模板高度，H2表示所述第二模板的第二模板高度，并且SubHeight表示取决于色度格式采样结构的高度变量。
23.根据权利要求12所述的方法，其中用于导出针对所述至少一个色度分量的IPM的所述第一IPM候选列表不同于用于导出针对亮度分量的IPM的第二IPM候选列表。
24.根据权利要求23所述的方法，其中所述第一IPM候选列表包括以下至少一项：
在帧内预测模式中显式指示的一个或多个IPM，或
一个或多个扩展角IPM。
25.根据权利要求23所述的方法，其中所述第一IPM候选列表中的IPM的第一数目小于所述第二IPM候选列表中的IPM的第二数目。
26.根据权利要求23所述的方法，其中所述第一IPM候选列表包括一个或多个跨分量预测模式。
27.根据权利要求12所述的方法，其中从所述第一IPM候选列表导出第一目标IPM的方式与导出针对亮度分量的第二目标IPM的方式不同。
28.根据权利要求27所述的方法，其中在导出针对所述至少一个色度分量的所述IPM期间，至少一部分IPM被用于针对所述第一模板的帧内预测。
29.根据权利要求27所述的方法，其中早期终止方法在导出针对所述至少一个色度分量的所述IPM期间被使用。
30.根据权利要求29所述的方法，其中如果所述第一IPM候选列表中的候选IPM的成本小于阈值，则所述候选IPM被确定为针对所述至少一个色度分量的IPM，并且
所述第一IPM候选列表中剩余的未检查的IPM被跳过。
31.根据权利要求30所述的方法，其中所述阈值是：
预定义的，
在所述比特流中被指示的，或
取决于目标单元的编解码信息的。
32.根据权利要求30所述的方法，其中所述阈值取决于所述第一IPM候选列表中已经被检查的IMP的数目，或者
其中所述阈值取决于已经被检查的IPM的成本。
33.根据权利要求27所述的方法，其中在导出针对所述至少一个色度分量的所述IPM期间，所述第一IPM候选列表中的IPM被重新排序。
34.根据权利要求27所述的方法，还包括以下至少一项：
是否对所述第一IPM候选列表中的下一个或多个IPM进行检查取决于已经被检查的IPM的成本，或
如何对所述第一IPM候选列表中的下一个或多个IPM进行检查取决于已经被检查的IPM的成本。
35.根据权利要求12所述的方法，其中所述第一模板的预测样本和重建样本之间的绝对变换差总和(SATD)被计算，并且被用于导出与所述目标单元相关联的成本。
36.根据权利要求12所述的方法，其中以下至少一项被计算并且被用于导出与所述目标单元相关联的成本：
所述第一模板的预测样本和所述第一模板的重建样本之间的平方误差总和(SSE)，
所述第一模板的预测样本和所述第一模板的重建样本之间的绝对差总和(SAD)，
所述第一模板的预测样本和所述第一模板的重建样本之间的均值移除绝对差总和(MRSAD)，
所述第一模板的预测样本和所述第一模板的重建样本之间的主观质量度量，或者
所述第一模板的预测样本和所述第一模板的重建样本之间的结构相似度指数度量(SSIM)。
37.根据权利要求36所述的方法，其中所述成本以D+λ×R的形式来计算，其中D表示失真度量，R表示考虑的比特数，并且λ表示预定义的因子或即时导出的因子。
38.根据权利要求36所述的方法，其中所述第一模板的至少一部分样本被用于计算所述成本。
39.根据权利要求36所述的方法，其中两个色度分量都被用于计算所述成本。
40.根据权利要求39所述的方法，其中所述两个色度分量包括YCbCr颜色格式中的Cb分量和Cr分量，或
所述两个色度分量包括红绿蓝(RGB)颜色格式中的蓝色(B)分量和红色(R)分量。
41.根据权利要求39所述的方法，其中所述两个色度分量的总成本通过以下方式获得：
C＝C1+C2，并且
其中C表示所述总成本，C1表示所述两个色度分量中的第一色度分量的第一成本，并且C2表示所述两个色度分量中的第二色度分量的第二成本。
42.根据权利要求39所述的方法，其中所述两个色度分量的总成本通过以下方式获得：
C＝w1×C1+w2×C2，并且
其中C表示所述总成本，C1表示所述两个色度分量中的第一色度分量的第一成本，C2表示所述两个色度分量中的第二色度分量的第二成本，w1表示针对所述第一色度的第一加权因子，并且w2表示针对所述第二色度的第二加权因子。
43.根据权利要求42所述的方法，其中所述第一加权因子通过w1＝1-w2获得。
44.根据权利要求39所述的方法，其中所述两个色度分量的总成本通过以下方式获得：
C＝(w1×C1+w2×C2+offset)>>shift，并且
其中C表示所述总成本，C1表示所述两个色度分量中的第一色度分量的第一成本，C2表示所述两个色度分量中的第二色度分量的第二成本，w1表示针对所述第一色度的第一加权因子，w2表示针对所述第二色度的第二加权因子，并且offset和shift分别表示整数。
45.根据权利要求44所述的方法，其中w1是：在所述比特流中指示的、预定义的、即时导出的或取决于编解码信息的，
其中w2是：在所述比特流中指示的、预定义的、即时导出的或取决于编解码信息的，
其中offset是：在所述比特流中指示的、预定义的、即时导出的或取决于编解码信息的，或
其中shift是：在所述比特流中指示的、预定义的、即时导出的或取决于编解码信息的。
46.根据权利要求12所述的方法，其中在导出针对所述至少一个色度分量的IPM期间、用于针对所述第一模板的帧内预测的参考样本是未经滤波的。
47.根据权利要求12所述的方法，其中在导出针对所述至少一个色度分量的IPM期间、用于针对所述第一模板的帧内预测的参考样本以与以下一项相同的方式被滤波：
针对色度分量的帧内预测，
针对亮度分量的帧内预测，或
导出针对亮度分量的IPM。
48.根据权利要求12所述的方法，其中在导出针对所述至少一个色度分量的IPM期间，用于细化针对所述目标单元的帧内预测的预测信号的滤波方法被使用。
49.根据权利要求12所述的方法，其中是否应用用于细化针对所述目标单元的帧内预测的预测信号的滤波方法与以下方式之一相同：
针对色度分量的帧内预测，
针对亮度分量的帧内预测，
导出针对亮度分量的IPM。
50.根据权利要求12所述的方法，其中如何应用用于细化针对所述目标单元的帧内预测的预测信号的滤波方法与以下方式之一相同：
针对色度分量的帧内预测，
针对亮度分量的帧内预测，
导出针对亮度分量的IPM。
51.根据权利要求12所述的方法，其中在导出针对所述至少一个色度分量的IPM期间、用于针对所述第一模板的帧内预测的第一插值滤波器与第二插值滤波器是相同的，并且
其中所述第二插值滤波器被用于以下至少一项：
针对色度分量的帧内预测，
用于针对亮度分量的帧内预测的插值滤波器，
在导出针对所述亮度分量的IPM期间、用于针对所述第一模板的帧内预测的插值滤波器。
52.根据权利要求12所述的方法，其中在导出针对所述至少一个色度分量的IPM期间、用于针对所述第一模板的帧内预测的第一插值滤波器与第二插值滤波器是不同的，
其中所述第二插值滤波器被用于以下至少之一：
针对色度分量的帧内预测，
用于针对亮度分量的帧内预测的插值滤波器，
在导出针对所述亮度分量的IPM期间、用于针对所述第一模板的帧内预测的插值滤波器。
53.根据权利要求1所述的方法，其中在导出针对所述至少一个色度分量的IPM中用于扩展的IPM的第一模式转换过程与在针对色度的帧内预测中使用的用于扩展的IPM的第二模式转换过程相同，或者
其中所述第一模式转换过程不同于所述第二模式转换过程。
54.根据权利要求1所述的方法，其中在导出针对亮度分量的IPM中用于扩展的IPM的第三模式转换过程与在针对亮度的帧内预测中使用的用于扩展的IPM的第四模式转换过程相同，或者
其中所述第三模式转换过程不同于所述第四模式转换过程。
55.根据权利要求1所述的方法，其中梯度直方图(HoG)通过使用用于导出所述IPM的第一模板中的样本/像素而被构建，所述HoG中的每个直条被映射到一个IPM，并且
具有最高幅度的候选IPM被用作针对所述至少一个色度分量的IPM。
56.根据权利要求55所述的方法，其中导出针对所述至少一个色度分量的IPM与导出针对亮度分量的IPM相同。
57.根据权利要求55所述的方法，其中与所述第一模板相关联的参数不同于与用于计算针对亮度分量的梯度的第二模板相关联的参数。
58.根据权利要求57所述的方法，其中与所述第一模板相关联的参数包括以下至少一项：
模板形状，
模板大小，或
模板尺寸。
59.根据权利要求55所述的方法，其中色度与亮度相比的模板尺寸的第一比率遵循由颜色格式确定的第二比率。
60.根据权利要求55所述的方法，其中针对色度的梯度的计算不同于针对亮度的梯度的计算。
61.根据权利要求60所述的方法，其中以下一项被用于计算针对色度的梯度：
Sobel算子，
各向同性Sobel算子，
Roberts算子，
Prewitt算子，
Laplacian算子，或
Canny算子。
62.根据权利要求55所述的方法，其中所述HoG中直条的数目等于显式指示的IPM的数目，或
其中所述HoG中直条的数目小于显式指示的IPM的数目。
63.根据权利要求55所述的方法，其中两个色度分量被用于计算针对色度的梯度。
64.根据权利要求1所述的方法，其中所述色度分量之一被用于导出所述IPM。
65.根据权利要求64所述的方法，其中哪个色度分量被使用在所述比特流中被指示，或者
其中使用哪个色度分量是预定义的，或
其中使用哪个色度分量是即时确定的，或者
其中使用哪个色度分量取决于编解码信息。
66.根据权利要求64所述的方法，其中将所述IPM的导出用于针对所述目标单元的色度分量的帧内预测。
67.根据权利要求1所述的方法，其中目标IPM是针对每个色度分量被分别导出的。
68.根据权利要求67所述的方法，其中针对不同的色度分量，所述目标IPM的导出是不同的。
69.根据权利要求67所述的方法，其中针对不同的色度分量的导出的目标IPM是不同的。
70.根据权利要求67所述的方法，其中针对色度不同的色度分量，导出的目标IPM是相同。
71.根据权利要求1所述的方法，其中由多个IPM产生的预测信号的融合被用作针对所述目标单元的色度分量的最终预测。
72.根据权利要求71所述的方法，其中所述多个IPM包括以下至少一项：
一个或多个导出的IPM，
一个或多个预定义的预测模式，或
一个或多个指示的预测模式。
73.根据权利要求72所述的方法，其中所述一个或多个预定义的预测模式包括跨分量预测模式，或者
其中所述一个或多个被指示的预测模式包括跨分量预测模式。
74.根据权利要求72所述的方法，其中所述一个或多个预定义的预测模式包括以下至少一项：
平面模式，
直流(DC)模式，
水平模式，
竖直模式，
对角线模式，或
竖直对角线模式。
75.根据权利要求72所述的方法，其中所述一个或多个指示的预测模式包括以下至少一项：
平面模式，
直流(DC)模式，
水平模式，
竖直模式，
对角线模式，或
竖直对角线模式。
76.根据权利要求71所述的方法，其中不同的融合方法被使用，并且
其中不同的方法包括以下至少一项：所述融合中的不同IPM，或所述融合中的不同的加权因子。
77.根据权利要求76所述的方法，其中加权因子取决于在导出所述多个IPM期间的成本或幅度。
78.根据权利要求71所述的方法，其中是否和/或如何融合所述预测信号是：
在所述比特流中指示的，
即时确定的，或
取决于编解码信息的。
79.根据权利要求71所述的方法，其中在所述预测信号的融合中使用的IPM的数目是：
在所述比特流中指示的，
即时确定的，或
取决于编解码信息的。
80.根据权利要求71所述的方法，其中关于用于融合所述预测信号的方法的指示是：
在所述比特流中指示的，
即时确定的，或
取决于编解码信息的。
81.根据权利要求71所述的方法，其中是否和/或如何应用预测信号的融合方法取决于所述多个IPM的成本或幅度。
82.根据权利要求81所述的方法，其中如果第二最佳导出IPM的第二成本小于最佳导出IPM的第一成本乘以成本因子，则所述融合方法被应用。
83.根据权利要求1所述的方法，其中多个IPM被导出，并且
哪个IPM在针对色度分量的帧内预测中被使用是：
在所述比特流中指示的，
即时确定的，或
取决于编码信息的。
84.根据权利要求1-83中任一项所述的方法，其中关于是否和/或如何导出针对所述目标单元的至少一个色度分量的IPM的指示在以下之一处指示：
序列级别，
图片组级别，
图片级别，
条带级别，或
图块组级别。
85.根据权利要求1-83中任一项所述的方法，其中关于是否和/或如何导出针对所述目标单元的至少一个色度分量的IPM的指示在以下一项中指示：
序列头，
图片头，
序列参数集(SPS)，
视频参数集(VPS)，
依赖性参数集(DPS)，
解码能力信息(DCI)，
图片参数集(PPS)
自适应参数集(APS)
条带头，或者
图块组头。
86.根据权利要求1-83中任一项所述的方法，其中关于是否和/或如何导出针对所述目标单元的至少一个色度分量的IPM的指示包括在以下一项中：
预测块(PB)，
变换块(TB)，
编解码块(CB)，
预测单元(PU)，
变换单元(TU)，
编解码单元(CU)，
虚拟流水线数据单元(VPDU)，
编解码树单元(CTU)
CTU行，
条带，
图块，
子图片，或
包含多于一个样本或像素的区域。
87.根据权利要求1-83中任一项所述的方法，还包括：
基于所述目标单元的经编解码的信息确定是否和/或如何导出针对所述目标单元的至少一个色度分量的IPM，所述经编解码的信息包括以下至少一项：
编解码模式，
块大小，
颜色格式，
单树和/或双树划分，
颜色分量，
条带类型，或
图片类型。
88.根据权利要求1所述的方法，还包括：
使用导出的所述IPM、以需要帧内预测信号的另一个编解码工具生成帧内预测。
89.根据权利要求1-83中任一项所述的方法，其中所述转换包括将所述目标单元编码成所述比特流。
90.根据权利要求1-83中任一项所述的方法，其中所述转换包括从所述比特流解码所述目标单元。
91.一种用于处理视频数据的装置，包括处理器和在其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-90中任一项所述的方法。
92.一种非暂态计算机可读存储介质，存储有使处理器执行根据权利要求1-90中任一项所述的方法的指令。
93.一种非暂态计算机可读记录介质，存储有视频的由视频处理装置执行的方法所生成的比特流，其中所述方法包括：
导出针对所述视频的目标单元的至少一个色度分量的帧内预测模式(IPM)用于至少一个色度分量，所述目标单元被应用有目标编解码工具；
使用所述IPM获得针对所述目标单元的所述至少一个色度分量的预测；以及
基于所述预测生成所述目标单元的比特流。
94.一种用于存储视频的比特流的方法，包括：
导出针对所述视频的目标单元的至少一个色度分量的帧内预测模式(IPM)用于至少一个色度分量，所述目标单元被应用有目标编解码工具；
使用所述IPM获得针对所述目标单元的所述至少一个色度分量的预测；
基于所述预测生成所述目标单元的比特流；以及
将所述比特流存储在非暂态计算机可读记录介质中。
CN202280056012.9A 2021-08-11 2022-08-09 用于视频处理的方法、装置和介质 Pending CN118120230A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2021112156 2021-08-11
CNPCT/CN2021/112156 2021-08-11
PCT/CN2022/111080 WO2023016439A1 (en) 2021-08-11 2022-08-09 Method, apparatus, and medium for video processing

Publications (1)

Publication Number Publication Date
CN118120230A true CN118120230A (zh) 2024-05-31

Family

ID=85199819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280056012.9A Pending CN118120230A (zh) 2021-08-11 2022-08-09 用于视频处理的方法、装置和介质

Country Status (3)

Country Link
US (1) US20240187575A1 (zh)
CN (1) CN118120230A (zh)
WO (1) WO2023016439A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096055B (zh) * 2011-11-04 2016-03-30 华为技术有限公司 一种图像信号帧内预测及解码的方法和装置
US10484712B2 (en) * 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
JP6798015B2 (ja) * 2016-09-30 2020-12-09 エルジー エレクトロニクス インコーポレイティド 画像コーディングシステムにおけるブロック分割及びイントラ予測方法並びに装置
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
US11019338B2 (en) * 2018-02-01 2021-05-25 Mediatek Inc. Methods and apparatuses of video encoding or decoding with adaptive quantization of video data

Also Published As

Publication number Publication date
US20240187575A1 (en) 2024-06-06
WO2023016439A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
WO2022214028A1 (en) Method, device, and medium for video processing
CN115066899A (zh) 编解码视频的可分二次变换处理
CN115668923A (zh) 编解码视频中多重变换矩阵的指示
US20240187576A1 (en) Method, apparatus, and medium for video processing
US20200099942A1 (en) Extending supported components for encoding image data
CN115606182A (zh) 使用增强二次变换的编解码视频处理
CN118120230A (zh) 用于视频处理的方法、装置和介质
CN118044182A (zh) 用于视频处理的方法、设备和介质
CN118120229A (zh) 用于视频处理的方法、装置和介质
WO2024114701A1 (en) Method, apparatus, and medium for video processing
WO2023201930A1 (en) Method, apparatus, and medium for video processing
WO2022218316A1 (en) Method, device, and medium for video processing
WO2022247884A1 (en) Method, device, and medium for video processing
US20240205417A1 (en) Method, apparatus, and medium for video processing
WO2022242729A9 (en) Method, device, and medium for video processing
CN117769836A (zh) 用于视频处理的方法、设备和介质
WO2024078551A1 (en) Method, apparatus, and medium for video processing
WO2022242727A1 (en) Method, device, and medium for video processing
WO2024109843A1 (en) Method, apparatus, and medium for video processing
WO2024138169A2 (en) Method, apparatus, and medium for video processing
WO2024148103A1 (en) Method, apparatus, and medium for video processing
WO2024148111A1 (en) Method, apparatus, and medium for video processing
WO2024148097A1 (en) Method, apparatus, and medium for video processing
WO2024148014A1 (en) Method, apparatus, and medium for video processing
WO2024148113A1 (en) Method, apparatus, and medium for video processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication