CN115176474A - 多参数模型的跨分量预测 - Google Patents

多参数模型的跨分量预测 Download PDF

Info

Publication number
CN115176474A
CN115176474A CN202080091424.7A CN202080091424A CN115176474A CN 115176474 A CN115176474 A CN 115176474A CN 202080091424 A CN202080091424 A CN 202080091424A CN 115176474 A CN115176474 A CN 115176474A
Authority
CN
China
Prior art keywords
samples
color component
video
bitstream
video block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080091424.7A
Other languages
English (en)
Inventor
刘鸿彬
张莉
张凯
许继征
贺玉文
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN115176474A publication Critical patent/CN115176474A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频处理方法,包括:使用具有多参数模型的跨分量预测(CCPMPM)执行视频的第二颜色分量的当前视频块与视频的比特流之间的转换,其中,使用乘以线性系数和/或一个或多个偏移的第一颜色分量的样点的线性组合,在比特流中预测编解码当前视频块的样点。该比特流符合格式规则。使用第一规则确定CCPPMM的线性系数。使用第二规则确定第一颜色分量的样点。

Description

多参数模型的跨分量预测
相关申请的交叉引用
根据适用的专利法和/或巴黎公约的规定,本申请及时要求于2019年12月31日提交的国际专利申请PCT/CN2019/130430的优先权和利益。出于全部目的,根据法律,上述申请的全部公开内容通过引用并入,作为本申请公开内容的一部分。
技术领域
本专利文档涉及视频编解码和解码技术、设备和系统。
背景技术
目前,正在努力提高当前视频编解码器技术的性能,以提供更好的压缩比或提供允许较低复杂度或并行化实现的视频编解码和解码方案。行业专家最近提出了几种新的视频编解码工具,目前正在进行测试以确定其有效性。
发明内容
描述了与数字视频编解码相关的设备、系统和方法,特别是与运动矢量的管理相关的设备、系统和方法。所描述的方法可以应用于现有的视频编解码标准(例如,高效视频编解码(High Efficiency Video Coding,HEVC)和/或多功能视频编解码)和未来的视频编解码标准或视频编解码器。
在一个代表性方面,公开了一种视频处理方法。该方法包括,使用帧内预测编解码工具执行视频的当前视频块和视频的比特流之间的转换,在该预测编解码工具中根据规则有选择地使用一条或多条参考线进行预测,其中,比特流符合格式规则;其中,当前视频块具有与视频的亮度颜色分量不同的颜色分量。
在另一个代表性方面,公开了一种视频处理方法。该方法包括:对于视频的颜色分量的当前视频块与所述视频的比特流之间的转换,确定所述当前视频块从对应的帧内编解码亮度视频块继承帧内编解码特性;以及基于所述确定执行所述转换。
在另一个代表性方面,公开了一种视频处理方法。该方法包括:使用具有多参数模型的跨分量预测(cross-component prediction with multiple-parameter model,CCPMPM),执行视频的第二颜色分量的当前视频块与所述视频的比特流之间的转换,其中,使用乘以线性系数和/或一个或多个偏移的第一颜色分量的样点的线性组合,在所述比特流中预测编解码所述当前视频块的样点;其中,所述比特流符合格式规则;并且其中,使用第一规则确定所述CCPPMM的所述线性系数;并且其中,使用第二规则确定所述第一颜色分量的样点。
在另一个代表性方面,公开了一种视频处理方法。该方法包括:对于视频的第一分量的当前视频块和所述视频的比特流之间的转换,根据规则,从所述视频的第二分量的第二视频块的样点的线性组合中,确定使用所述当前视频块的预测;以及基于所述确定执行所述转换;其中,使用局部照明补偿工具编解码所述当前视频块和所述第二视频块。
在另一个代表性方面,公开了一种视频处理方法。该方法包括:执行视频的当前视频块和所述视频的比特流之间的转换,其中,使用多参数模型(multiple-parametermodel,IPMPM)预测性编解码所述当前视频块的样点,在所述多参数模型中所述视频的参考样点的线性组合使用线性系数和/或偏移值;并且其中,所述比特流符合格式规则。
此外,在一个代表性方面,公开了一种视频系统中的装置,包括处理器和其上具有指令的非暂态存储器。指令在被处理器执行后,使处理器实施任何一种或多种所公开的方法。
在另一方面,公开了一种存储在计算机可读存储介质上的比特流,其中,该比特流是根据本文档中描述的编码方法产生的。
此外,还公开了一种存储在非暂时性计算机可读介质上的计算机程序产品,该计算机程序产品包括执行任何一个或多个所公开的方法的程序代码。
附图、说明书和权利要求中更详细描述了所公开技术的以上和其他方面和特征。
附图说明
图1示出了编码器的示例框图。
图2示出了67种帧内预测模式的示例
图3示出了4×4块的ALWIP的示意图。
图4示出了8×8块的ALWIP的示意图。
图5示出了8×4块的ALWIP的示意图。
图6示出了16×16块的ALWIP的的示意图。
图7示出了与预测块邻近的四个参考线的示例。
图8示出了4×8和8×4块的划分示例。
图9示出了除4×8、8×4和4×4之外的所有块的划分示例。
图10A和图10B分别示出了亮度CTB分割和色度CTB分割的示例。
图11示出了用于推导α和β的样点位置的示例。
图12示出了图片中4:2:0亮度和色度样点的标称垂直和水平位置的示例。
图13示出了图片中4:2:2亮度和色度样点的标称垂直和水平位置的示例。
图14示出了图片中4:4:4亮度和色度样点的标称垂直和水平位置的示例。
图15示出了推导(0,0)处的预测值的一种颜色分量的样点。
图16示出了在跨分量预测中使用的第一颜色分量样点的滤波器形状的示例。
图17示出了将第一颜色分量样点组分类为多个集合的示例。具有相同填充模式的样点属于一个集合。
图18是实施本文档中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例框图。
图19示出了用于视频编解码的实例方法的流程图。
图20是说明实例视频编解码系统的框图。
图21是说明根据本公开的一些实施例的编码器的框图。
图22是说明根据本公开的一些实施例的解码器的框图。
图23A-23E描绘了各种视频处理方法的流程图。
具体实施方式
1 HEVC/H.265中的视频编解码
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准发展而来的。ITU-T制定了H.261和H.263,ISO/IEC制定了MPEG-1和MPEG-4视觉,这两个组织联合制定了H.262/MPEG-2视频标准、H.264/MPEG-4高级视频编解码(Advanced Video Coding,AVC)标准和H.265/HEVC标准。从H.262开始,视频编解码标准是基于混合视频编解码结构,其中使用了时间预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索团队(Joint Video Exploration Team,JVET)。此后,JVET采用了许多新方法,并将其放入名为联合探索模型(Joint Exploration Model,JEM)的参考软件中。2018年4月,VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)成立了联合视频专家团队(JVET),致力于VVC标准的研究,目标是比HEVC降低50%的比特率。
VVC草案的最新版本,即多功能视频编解码(草案7)可在以下网址找到:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/16_Geneva/wg11/JVET-P2001-vE.zip。
VVC的最新参考软件,名为VTM,可在以下网址找到:
https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/-/tags/VTM-7.0
2.1典型视频编解码器的编解码流程
图1示出了VVC的编码器框图的示例,其包含三个环路滤波块:去区块滤波器(deblocking filter,DF)、样点自适应偏移(sample adaptive offset,SAO)和ALF。与使用预定义滤波器的DF不同,SAO和ALF利用当前图片的原始样点,分别通过添加偏移和应用有限脉冲响应(finite impulse response,FIR)滤波器来减少原始样点和重建样点之间的均方误差,用编解码的边信息信令通知偏移和滤波器系数。ALF位于每张图片的最后一个处理阶段,可以看作是一个试图捕捉和修复前一个阶段产生的伪像的工具。
2.2VVC中的帧内编解码
2.2.1具有67种帧内预测模式的帧内模式编解码
为了捕捉自然视频中呈现的任意边缘方向,定向(directional)帧内模式的数量从HEVC中使用的33个扩展到65个。附加的定向模式在图2中用红色虚线箭头表示,平面模式和DC模式保持不变。这些更密集的定向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。
如图2所示,传统的角度帧内预测方向被定义为顺时针方向从45度到-135度。在VTM2中,几种传统的角度帧内预测模式被自适应地替换为非正方形块的广角帧内预测模式。使用原始方法信令通知替换的模式,并在解析后重新映射到广角模式的索引。帧内预测模式总数不变,即67,帧内模式编解码不变。
在HEVC中,每个帧内编解码块都是正方形,每边的长度是2的幂。因此,使用DC模式产生帧内预测器不需要除法运算。在VVV2中,块可以具有矩形形状,这需要在一般情况下对每个块使用除法运算。为了避免DC预测的除法运算,只有较长的边用于计算非方形块的平均值。
除了67种帧内预测模式外,还对某些块启用了非方形块的广角帧内预测(wide-angle intra prediction,WAIP)和位置相关的帧内预测组合(position dependent intraprediction combination,PDPC)方法。PDPC应用于以下没有信令通知的帧内模式:平面、DC、水平(模式18)、垂直(模式50)、左下角模式及其八个紧邻角模式,以及右上角模式及其八个紧邻角模式模式。
2.2.2仿射线性加权帧内预测(Affine linear weighted intra prediction,ALWIP)
JVET-N0217中提出了仿射线性加权帧内预测(ALWIP,又名基于矩阵的帧内预测(Matrix based intra prediction,MIP))。
2.2.2.1通过矩阵向量乘法产生缩减预测信令
首先通过平均对邻近参考样点进行下采样以产生缩减的参考信令bdryred。然后,通过计算矩阵向量积并添加偏移来计算缩减的预测信令predred
predred=A·bdryred+b。
这里,A是一个矩阵,如果W=H=4,则该矩阵具有Wred·Hred行和4列,在所有其他情况下具有8列。b为尺寸为Wred·Hred的向量。
2.2.2.2整个ALWIP流程的示意图
在图3-6中说明了针对不同形状的平均、矩阵向量乘法和线性插值的整个过程。请注意,其余的形状被视为在其中一个所描述的情况中。
1.给定一个4×4块,ALWIP沿边界的每个轴取两个平均值。得到的四个输入样点进入矩阵向量乘法。矩阵取自集合S0。添加偏移后,将产生16个最终预测样点。产生预测信令不需要线性插值。因此,每个样点总共执行(4·16)/(4·4)=4次乘法。
2.给定一个8×8块,ALWIP沿边界的每个轴取四个平均值。得到的八个输入样点进入矩阵向量乘法。矩阵取自集合S1。这会在预测块的奇数位置产生16个样点。因此,每个样点总共执行(8·16)/(8·8)=2次乘法。添加偏移后,这些样点通过使用缩减的顶部边界进行垂直插值。使用原始左边界进行水平插值。
3.给定一个8×4块,ALWIP沿边界的水平轴取四个平均值,并在左边界上取四个原始边界值。得到的八个输入样点进入矩阵向量乘法。矩阵取自集合S1。这在预测块的奇数水平和每个垂直位置上产生16个样点。因此,每个样点总共执行(8·16)/(8·4)=4次乘法。添加偏移后,这些样点使用原始左边界进行水平插值。相应地处理转置的情况。
4.给定一个16×16块,ALWIP沿边界的每个轴取四个平均值。得到的八个输入样点进入矩阵向量乘法。矩阵取自集合S2。这会在预测块的奇数位置产生64个样点。因此,每个样点总共执行(8·64)/(16·16)=2次乘法。添加偏移后,这些样点通过使用顶部边界的八个平均值进行垂直插值。使用原始左边界进行水平插值。在这种情况下,插值过程不添加任何乘法。因此,每个样点总共需要两次乘法来计算ALWIP预测。
对于较大的形状,该过程基本相同,并且很容易检查每个样点的乘法次数是否少于四次。
对于其中W>8的W×8块,只需要水平插值,因为样点是在奇数水平和每个垂直位置给出的。
最后,对于其中W>8的W×4块,使Ak为通过省略对应于沿下采样块的水平轴的奇数条目的每一行而产生的矩阵。因此,输出尺寸为32,同样,只需要执行水平插值。
相应地处理转置的情况。
2.2.3多参考线(Multiple reference line,MRL)
多参考线(MRL)帧内预测使用更多参考线进行帧内预测。在图7中,描绘了4条参考线的示例,其中,片段A和F的样点不是从重建的邻近样点中提取的,而是分别用来自片段B和E的最接近的样点进行填充。HEVC帧内图片预测使用最接近的参考线(即参考线0)。在MRL中,使用了2条附加线(参考线1和参考线3)。
信令通知并使用选定参考线的索引(mrl_idx)产生帧内预测器。对于大于0的参考线索引,在MPM列表中仅包括附加参考线模式,并且仅信令通知MPM索引而不包含剩余模式。在帧内预测模式之前信令通知参考线索引,并且如果信令通知非零参考线索引,则从帧内预测模式中排除平面和DC模式。
对于CTU内的块的第一行禁用MRL,以防止在当前CTU行之外使用扩展的参考样点。此外,当使用附加线时,PDPC将被禁用。
2.2.4帧内子块分割(Intra subblock partitioning,ISP)
在JVET-M0102中,提出了ISP,其根据块尺寸维度将亮度帧内预测块垂直或水平分割为2个或4个子分割,如表1所示。图8和图9示出了两种可能性的示例。所有子分割都满足至少有16个样点的条件。对于块尺寸,4N或N4(其中,N>8),如果允许,可以存在1N或N1子分割。
表1:取决于块尺寸的子分割数量(用maxTBSize表示最大变换尺寸)
Figure BDA0003722439740000071
对于这些子分割中的每一个,通过对编码器发送的系数进行熵解码,然后对它们进行逆量化和逆变换来产生残差信令。然后,对子分割进行帧内预测,最后通过将残差信令与预测信令相加得到对应的重建样点。因此,每个子分割的重建值将可用于产生下一个子分割的预测,其将重复该过程,依此类推。所有子分割共享相同的帧内模式。
表2:取决于predModeIntra的trTypeHor和trTypeVer的规范
Figure BDA0003722439740000072
Figure BDA0003722439740000081
2.2.5色度编解码
当为序列启用跨分量线性模型模式时,色度帧内模式编解码允许总共8个帧内模式。这些模式包括用于色度帧内模式编解码的五种传统帧内模式和三种跨分量线性模型模式(CCLM_AL、CCLM_A和CCLM_L)。否则,对色度帧内模式编解码启用传统的5种色度帧内模式。
除了DM(直接或从亮度块推导的模式)模式外,还使用了四种默认模式(DC、Planar、Hor、Ver)。如果DM模式等于四种默认模式之一,则冗余DM模式被具有最大模式索引的帧内预测模式(即模式66)替代。
2.2.5.1DM模式
色度模式编解码直接依赖于对应亮度块的帧内预测模式。由于在I条带中启用了亮度和色度分量的单独块分割结构,因此一个色度块可以对应于多个亮度块。因此,对于色度DM模式,直接继承覆盖当前色度块中心位置的对应亮度块的帧内预测模式。图10A和10B中描绘了一个示例。从对应的亮度块(在图10A中由CR表示)中推导左侧色度CB(在图10B中)的DM位置。
2.2.5.2跨分量线性模型预测
VVC中采用跨分量线性模型(cross-component linear model,CCLM)预测模式,其色度样点是通过使用线性模型基于相同CU的重建亮度样点预测的,如下所示:
predc(i,j)=α·recL′(i,j)+β (2-1)
其中,predC(i,j)表示CU中的预测色度样点,recL(i,j)表示同一CU的下采样重建亮度样点。
CCLM参数(α和β)由最多四个邻近色度样点及其对应的下采样亮度样点推导出。假设当前色度块尺寸为W×H,则设置W′和H′为
-当应用LM模式时,W′=W,H′=H;
-当采用LM-A模式时,W′=W+H;
-当应用LM-L模式时,H″=H+W;
上述邻近位置记为S[0,-1]...S[W′-1,-1],左边邻近位置记为S[-1,0]...S[-1,H′-1]。然后将这四个样点选为
-当应用LM模式并且上方和左侧邻近样点都可用时,S[W′/4,-1],S[3W′/4,-1],S[-1,H′/4],S[-1,3H′/4];
-当应用LM-A模式或只有上方邻近样点可用时,S[W′/8,-1],S[3W′/8,-1],S[5W′/8,-1],S[7W′/8,-1];
-当应用LM-L模式或只有左侧邻近样点可用时,S[-1,H′/8],S[-1,3H′/8],S[-1,5H′/8],S[-1,7H′/8];
对所选位置的四个邻近亮度样点进行下采样并比较四次,以找到两个较小的值:x0 A和x1 A,以及两个较大的值:x0 B和x1 B。它们对应的色度样点值分别表示为y0 A、y1 A、y0 B和y1 B。然后,xA、xB、yA和yB推导为:
Xa=(x0 A+x1 A+1)>>1;Xb=(x0 B+x1 B+1)>>1;Ya=(y0 A+y1 A+1)>>1;Yb=(y0 B+y1 B+1)>>1 (2-2)
最后,根据以下方程得到线性模型参数α和β。
Figure BDA0003722439740000091
β=Yb-α·Xb (2-4)
图11示出了CCLM模式中涉及的左侧和上方样点的位置以及当前块的样点的位置的示例。
计算参数α的除法运算是通过查找表实施的。为了减少存储表格所需的内存,diff值(最大值和最小值之间的差)和参数α用指数符号表示。例如,diff用一个4位有效部分和一个指数来近似。因此,对于16个有效数字值,1/diff表被简化为16个元素,如下所示:
DivTable[]={0,7,6,5,5,4,4,3,3,2,2,1,1,1,1,0} (2-5)
这将有利于降低计算的复杂性以及存储所需表所需的内存尺寸。
除了上方模板和左侧模板可以共同计算线性模型系数外,它们还可以在其他2种LM模式中交替使用,称为LM_A和LM_L模式。
在LM_A模式下,仅使用上方模板来计算线性模型系数。为了获得更多样点,将上方模板扩展为(W+H)。在LM_L模式下,只使用左侧模板来计算线性模型系数。为了获得更多样点,将左侧模板扩展为(H+W)。
对于非方形块,将上方模板扩展为W+W,将左侧模板扩展为H+H。
为了匹配4:2:0视频序列的色度样点位置,对亮度样点应用了两种类型的下采样滤波器,以在水平和垂直方向上实现2比1的下采样率。下采样滤波器的选择由SPS级别标志规定。两个下采样滤波器如下,分别对应“type-0”和“type-2”内容。
Figure BDA0003722439740000101
Figure BDA0003722439740000102
请注意,当上参考线位于CTU边界时,仅使用一条亮度线(帧内预测中的通用线缓冲区)来制作下采样的亮度样点。
此参数计算是作为解码过程的一部分执行的,而不仅仅是作为编码器搜索操作。因此,没有使用语法将α和β值传递给解码器。
2.3颜色空间和色度子采样
颜色空间,也称为颜色模型(或颜色系统),是一种抽象的数学模型,它简单地将颜色范围描述为数字元组,通常为3或4个值或颜色分量(例如RGB)。基本上来说,颜色空间是坐标系和子空间的细化。
对于视频压缩,最常用的是YCbCr和RGB。
YCbCr、Y'CbCr或YPb/CbPr/Cr,也写作YCBCR或Y'CBCR,是一系列颜色空间,用作视频和数字摄影系统中颜色图像流水线(pipeline)的一部分。Y'是亮度分量,CB和CR是蓝色差和红色差色度分量。Y'(带上标符号)与Y不同(Y是亮度),这意味着光强度是基于伽马校正的RGB原色非线性编码的。
色度子采样是利用人类视觉系统对色差的敏锐度低于对亮度的敏锐度,通过对色度信息实施比对亮度信息更低的精度来对图像进行编码的做法。
2.3.1 4:4:4
三个Y'CbCr分量中的每一个都具有相同的采样率,因此没有色度子采样。这种方案有时用于高端胶片扫描仪和电影后期制作。
2.3.2 4:2:2
两个色度分量以亮度采样率的一半进行采样:水平色度精度减半。这将未压缩视频信号的带宽减少了三分之一,几乎没有视觉差异。
2.3.3 4:2:0
在4:2:0中,水平采样比4:1:1翻倍,但由于Cb和Cr通道仅在此方案中的每条交替线上采样,因此垂直精度减半。因此数据速率是相同的。Cb和Cr分别在水平和垂直方向以因子2进行二次采样。4:2:0方案有三种变体,具有不同的水平和垂直定位。
·在MPEG-2中,Cb和Cr是水平共位的。Cb和Cr位于垂直方向的像素之间(位于间隙)。
·在JPEG/JFIF、H.261和MPEG-1中,Cb和Cr位于交替亮度样点的中间位置。
·在4:2:0中,DV、Cb和Cr共同位于水平方向。在垂直方向,它们共同位于交替线上。
当chroma_format_idc的值等于2时,色度样点与对应的亮度样点都位于同一位置,图片中的标称位置如图13所示。
当chroma_format_idc的值等于3时,对于图片的所有情况,所有的阵列样点都位于同一位置,并且图片中的标称位置如图14所示。
表3:从chroma_format_idc和separate_colour_plane_flag推导的SubWidthC和SubHeightC值
Figure BDA0003722439740000111
Figure BDA0003722439740000121
2.4多参数模型的跨分量预测
在申请号为PCT/CN2018/123394题为“Multi-step Inter-componentPrediction”的申请(该申请被并入本文以供参考)中,提出使用多参数模型来推导帧间分量预测块。假设一个C1样点(S0 c1)与多个C0样点(记为S0 c0,S1 c0,…,SL-1 c0)相关联,每个C0样点可以分配一个权重参数αi。在这种情况下,S0 c1的预测值可能取决于αi*Si c0。下面示出的变量与变量α相同。
a.在一个示例中,假设Si c0是位于(x,y)的样点,L个样点被定义为位于(2*x–1,2*y),(2*x-1,2*y+1),(2*x,2*y),(2*x,2*y+1),(2*x+1,2*y)和(2*x+1,2*y+1)的样点。
b.在一个示例中,假设Si c0是位于(x,y)的样点,L个样点被定义为位于(2*x,2*y),(2*x,2*y+1)的样点。
c.与一个C0样点相关联的C0样点的数量以及这些C0样点的相对位置可能取决于C1样点的坐标(x,y)。
d.与一个C0样点相关联的C0样点数量以及这些C0样点的相对位置可以取决于C0样点的可用性。
e.在一个示例中,Si c0的预测值可以定义为
Figure BDA0003722439740000122
f.在一个示例中,Si c0的预测值可以定义为
Figure BDA0003722439740000123
其中,变量M是整数。
i.或者,Si c0的预测值可以定义为
Figure BDA0003722439740000124
其中,操作Clip3将预测值裁剪在有效范围内。
g.在一个示例中,Si c0的预测值可以定义为
Figure BDA0003722439740000125
其中,变量b是整数。
i.或者,Si c0的预测值可以定义为
Figure BDA0003722439740000126
Figure BDA0003722439740000127
其中,操作Clip3将预测值裁剪在有效范围内。
h.在一个示例中,Si c0的预测值可以定义为
Figure BDA0003722439740000128
其中,变量b是整数。
i.或者,Si c0的预测值可以定义为
Figure BDA0003722439740000131
其中,操作Clip3将预测值裁剪在有效范围内。
i.在一个示例中,Si c0的预测值可以定义为
Figure BDA0003722439740000132
Figure BDA0003722439740000133
其中,变量b是整数。
i.或者,Si c0的预测值可以定义为
Figure BDA0003722439740000134
Figure BDA0003722439740000135
其中,操作Clip3将预测值裁剪在有效范围内。
j.参数之间可以存在一些预定义的关系。例如,如图15所示,a0,a1,a2,a3,a4和a5应用于样点S(0,0),S(0,1),S(-1,0),S(-1,1),S(1,0)和S(1,1),则预定义a0=a1=2×a2=2×a3=2×a4=2×a5
k.参数之间可以存在一种以上的预定义关系。可以选择预定义关系之一。选择可以由解码器得出,或者可以将其从编码器信令通知到VPS/SPS/PPS/条带标头/片组/片/CTU行/CTU/CU/PU中的解码器。
3.现有实施方式的缺点
目前的帧内编解码存在几个问题:
1.在以下情况下不允许使用多参考线帧内预测:
a.色度帧内预测。
b.组合帧内-帧间预测(Combined Intra-Inter Prediction,CIIP)模式。
c.MIP。
2.在跨分量预测中,亮度样点使用4:2:0和4:2:2格式的固定滤波器进行下采样,这可能效率低下。
3.在申请号为PCT/CN2018/123394题为“Multi-step Inter-componentPrediction”的申请(该申请被并入本文以供参考)中,介绍了一种多参数模型的跨分量预测。该设计可以被进一步改进。
4技术和实施例的示例
以下的项目应被视为解释一般概念的示例。不应狭隘地解释这些实施例。此外,这些实施例可以以任何方式组合。
在以下讨论中,传统的帧内预测方法可以表示使用紧邻行/列进行帧内预测的方式,其可以沿预测方向使用插值滤波器。并且,附加帧内编解码方法可以表示那些在VVC中新引入的或者将来可能引入的方法,并且需要附加信令才能使用此方法。附加方法可以是MIP、MRL、ISP或QR-BDPCM/PCM等中的一种或多种。参考线可以指参考行和/或参考列。
多参考线色度预测
1.对于亮度分量以外的颜色分量,例如Cb、Cr、R、G或B,提出非紧邻参考线(即既不是最近的上方行也不是最近的左侧列)可以用于帧内预测。在以下讨论中,颜色分量可称为“色度”。
a.或者,此外,允许的参考线集合(例如,类似于亮度分量的MRL,上方当前行或左侧列的参考线0/1/2)可用于帧内预测。
b.或者,此外,多个允许的参考线集合(例如,对于多个集合中的一个,其可以包括上方当前行或左侧列的参考线0/1/2)可用于帧内预测。
c.在一个示例中,可以预定义集合中允许的非紧邻参考线的指示。
d.在一个示例中,可以在序列/视频/图片/条带/片/子图片/图块/其他视频单元(例如,CTU行/CTU)级别中信令通知集合中的非紧邻参考线的指示。
i.或者,此外,VPS(视频参数集)/SPS(序列图片集)/APS(适配参数集)/PPS(图片参数集)/图片标头/条带标头/片组标头/CTU。
2.提出可以显式地信令通知或隐式地推导要用于色度预测的色度参考线。
a.在一个示例中,可以信令通知第一语法以指示是否使用非紧邻色度参考线。
i.或者,此外,可以进一步信令通知第二语法以指示使用哪个非紧邻色度参考线。
ii.或者,可以信令通知第三语法以指示哪个色度参考线用于色度预测。参考线可以是紧邻的参考线或非紧邻参考线。
iii.在一个示例中,第一语法可以是标志(例如,二进制值)。
iv.在一个示例中,第二/第三语法可以是可以是二进制或非二进制值的索引。
b.在一个示例中,色度块要使用的参考线索引通过联合利用与代表性亮度块和相对于当前色度块的邻近(紧邻或非紧邻)色度样点相关联的参考线索引来确定。
3.提出色度帧内预测可以继承亮度帧内预测。
a.在一个示例中,可以使用一种模式(例如,DM)来表示色度帧内预测遵循相同的预测方向和/或相同的预测线。
b.在一个示例中,是否和/或如何继承亮度帧内预测可以取决于颜色格式。
4.在一个示例中,是否和/或如何使用非紧邻色度参考线可以取决于颜色格式。
a.在一个示例中,对于4:2:0颜色格式,可以不允许非紧邻色度参考线。
b.在一个示例中,对于4:4:4颜色格式,可以使用非紧邻色度参考线。
5.非紧邻色度参考线的使用可以取决于该线是留在当前块还是在当前块上方。
a.在一个示例中,对于留给当前块和在当前块上方的样点,要使用的非紧邻行的数量是不同的。
6.提出在MIP模式下可以使用一条或多条非紧邻参考线。
a.在一个示例中,非紧邻参考线可以用于产生缩减的参考信令。
b.在一个示例中,非紧邻参考线可以用于对缩减的预测信令进行上采样。
c.在一个示例中,紧邻的和非紧邻的线都可以用于产生MIP预测信令。
d.或者,此外,可以在比特流中信令通知要使用的参考线的指示。
7.提出可以为CIIP模式或其他需要帧内预测信令的模式启用MRL。
a.在一个示例中,MRL可以应用于色度分量的CIIP模式。
b.在一个示例中,MRL可应用于基于块的增量PCM(Block-based Delta PCM,BDPCM)模式。
多参数模型的跨分量预测(CCPMPM)
多参数模型如
Figure BDA0003722439740000151
可以用于跨分量预测,其中,x(k)k=0..n是一组第一颜色分量样点,y是第二颜色分量样点,a(k)是线性系数,b是偏移,n是用于预测第二颜色分量样点的第一颜色分量样点的总数。
8.提出可以使用一组第一颜色分量样点的线性组合来预测第二颜色分量样点,并且可以对第一颜色分量样点中的每一个单独推导或信令通知线性系数(例如,在多参数模型中)。可以将预测误差(即,原始值和预测值之间的差)的指示进一步编解码到比特流。
a.或者,此外,可以将偏移添加到第一颜色分量样点的线性组合以预测第二颜色分量样点。
9.一组第一颜色分量样点的线性组合可用于预测第二颜色分量样点,并且线性系数可以对每组第一颜色分量样点单独推导或信令通知,其中,可以将第一颜色分量样点组分类为多个集合,并且同一集合中的每个样点可以共享一个线性系数。
a.或者,此外,可以将偏移添加到第一颜色分量样点的线性组合以预测第二颜色分量样点。
10.提出可以由包括中心第一颜色分量样点的滤波器形状来定义在跨分量帧内预测中使用的第一颜色分量样点组。
a.在一个示例中,中心第一颜色分量样点可以取决于第二颜色分量样点的颜色格式(例如,4:4:4、4:2:2、4:2:0)和位置。
i.例如,对于位于(x,y)的第二颜色分量样点,位于(x,y)的第一颜色分量样点可以用作4:4:4格式的中心第一颜色分量样点。
ii.例如,对于位于(x,y)的第二颜色分量样点,位于(2*x,y)的第一颜色分量样点可以用作4:2:2格式的中心样点。
iii.例如,对于位于(x,y)的第二颜色分量样点,位于(2*x,2*y)的第一颜色分量样点可以用作4:2:0格式的中心样点。
b.在一个示例中,滤波器形状可以是N1点矩形或正方形、N2点菱形、N4点六边形或N5点八边形,其中,N1、N2、N3、N4和N5为正整数。图16中示出了一些示例。可以根据第一颜色分量帧内预测模式自适应地选择滤波器形状。
11.第一颜色分量的相同形状的样点用于推导线性组合的参数和/或偏移,并使用推导的参数和/或偏移推导第二颜色分量的预测。
a.在一个示例中,最小二乘法可用于推导参数和/或偏移。
12.用于推导线性组合的样点可以位于相对于当前块的特定区域中。
a.用于推导线性组合的所有样点可以位于当前块的左侧。
b.用于推导线性组合的所有样点可以位于当前块的上方。
c.可以将使用不同区域的样点推导线性组合视为不同的模式。
13.如何将第一颜色分量样点组分类为多个集合可以取决于CCPPMM中的滤波器形状和滤波器形状的中心。
a.在一个示例中,在第一分类方法中,可以将关于包含滤波器形状的中心的垂直线对称的第一颜色分量样点分类为一组。示例如图17(a)-(c)所示。
i.或者,此外,对于位于包含滤波器形状中心的垂直线上的样点,可以将每个样点分类为一组。
ii.或者,此外,对于位于包含滤波器形状中心的垂直线上的样点,可以将关于滤波器形状中心对称的样点分类为一组。
b.在一个示例中,在第二分类方法中,可以将关于包含滤波器形状的中心的水平线对称的第一颜色分量样点分类为一组。示例如图17(d)-(f)所示。
i.或者,此外,对于位于包含滤波器形状中心的水平线上的样点,可以将每个样点分类为一组。
ii.或者,此外,对于位于包含滤波器形状中心的水平线上的样点,可以将关于滤波器形状中心对称的样点分类为一组。
c.在一个示例中,在第三分类方法中,可以将关于滤波器形状的中心对称的第一颜色分量样点分类为一组。示例如图17(g)-(j)所示。
i.或者,此外,对于位于包含滤波器形状中心的水平线上的样点,可以将每个样点分类为一组。
ii.或者,此外,对于位于包含滤波器形状的中心的垂直线上的样点,可以将每个样点分类为一组。
d.或者,此外,如果滤波器形状的中心是整数的第一颜色分量样点位置,则可以将其分类为单独的集合。图17(j)中显示了一个示例。
e.或者,如何将第一颜色分量样点组分类为多个集合可以取决于滤波器形状和中心样点。
f.或者,第一颜色分量样点的分类可以取决于第一颜色分量帧内预测方向。例如,如果第一颜色分量预测接近水平方向,则可以应用水平对称分类。
g.在CCPPMM中,不同的滤波器形状可以使用不同的分类方法。例如,第一分类方法可以用于第一滤波器形状,第二分类方法可以用于第二滤波器形状,第三分类方法可以用于第三滤波器形状。
14.CCPMPM中可以使用一个或多个集合的多个滤波器形状。
a.或者,此外,可以在序列/视频/图片/条带/片/图块/子图片/片组/CTU级别中信令通知滤波器形状的指示,例如在SPS/PPS/图片标头/条带标头中。
b.或者,此外,可以针对视频单元(例如,CU/PU/TU/视频子区域)信令通知集合索引和/或滤波器形状索引。
15.提出在CCPPMPM中推导线性参数时,第一滤波器形状和第二滤波器形状可以使用不同的邻近样点集合。
16.在CCPMPM中,可以在使用前将推导的线性参数(例如,线性系数或偏移)取整为整数值。
a.在一个示例中,线性系数a(k)可以被转换为round(a(k)*2N),其中,函数round(x)将x取整为朝向零、朝向正无穷或朝向负无穷的整数值。N为正整数。
i.或者,此外,第一颜色分量样点组的线性组合可以右移N。
ii.或者,此外,在右移N之前,可以将取整偏移添加到第一颜色分量样点组的线性组合中。
b.在一个示例中,可以将偏移b转换为round(b)。
17.在上述示例中,第一个颜色分量样点可以是在环路滤波(例如,去方块滤波器/SAO/ALF)之前的那些重建样点。
a.或者,第一颜色分量样点可以是在环路滤波(例如,去方块滤波器/SAO/ALF)之后的那些重建样点。
b.或者,此外,可以在使用之前进一步修改重建样点。
i.在一个示例中,其可以被下采样滤波。
ii.在一个示例中,其可以被平滑滤波器滤波。
18.在一个示例中,第一颜色分量可以是亮度分量,第二颜色分量可以是Cb或Cr分量。
a.在一个示例中,第一颜色分量可以是Cb分量并且第二颜色分量可以是Cr分量。
b.在一个示例中,第一颜色分量可以是Cr分量并且第二颜色分量可以是Cb分量。
c.在一个示例中,第一颜色分量可以是R分量并且第二颜色分量可以是G或B颜色分量。
19.提出可以在序列/视频/图片/条带/片/子图片/图块/其他视频单元(例如,CTU行/CTU)级别中信令通知第一语法以指示是否启用CCPMPM。
a.或者,可以在两个级别中信令通知该语法。例如,可以在序列/视频级别中信令通知第一语法。如果第一语法指示使用CCPMPM,则可以在图片/条带/片/子图片/图块/其他视频单元(例如,CTU行/CTU)级别中进一步信令通知第二语法。
b.在一个示例中,可以在跨分量用于序列/视频/图片/条带/片/子图片/图块/其他视频单元(例如,CTU行/CTU)的条件下信令通知该语法。
20.提出可以信令通知第三语法以指示是否和/或哪个CCPMPM模式用于块(例如,编解码单元或预测单元)。
a.在一个示例中,可以在为图片/条带/片/子图片/图块/其他视频单元(例如,CTU行/CTU)启用CCPPMM的条件下信令通知第三语法。
b.在一个示例中,可以在跨分量预测用于当前块的条件下信令通知第三语法。
21.CCPMPM可以被视为除了现有模式之外的附加CCLM模式(例如,CCLM_A、CCLM_L、CCLM_AL)。
a.或者,此外,可以增加允许的CCLM模式的数量,并且可以基于增加的数量信令通知CCLM模式索引(例如,cclm_mode_idx)。
b.或者,此外,如果选择CCPMPM模式,cclm_mode_flag应等于1。
c.或者,此外,与现有CCLM模式相比,CCPPMM模式可以分配有更大的索引。
22.CCPMPM可被视为不同于CCLM模式的新类别。
a.或者,此外,当CCLM未应用于块时,可以信令通知新类别的指示,例如,cclm_mode_flag应等于0。
多参数模型帧间预测(Inter-Prediction with Multiple-Parameter Model, IPMPM)
23.所提出的CCPMPM方法可以扩展用于处理局部照明补偿(Local IlluminationCompensation,LIC)编解码块。也就是说,为了预测LIC编解码块的第一颜色分量,可以利用LIC编解码块的第二颜色分量(例如亮度)来预测色度样点。
24.提出CCPPMM可以扩展到帧间预测。可以使用一组参考样点来预测当前视频块中的样点,而不是使用一组第一颜色分量样点来预测第二颜色分量样点。
a.在一个示例中,可以通过当前块的运动矢量来识别参考样点。
b.b.在一个示例中,可以通过当前块的修改的运动矢量来识别参考样点。例如,修改的运动矢量可以是运动矢量的整数部分。
c.在一个示例中,可以为每个预测方向推导一组线性系数和/或偏移。
d.在一个示例中,可以为当前块的每个运动矢量推导一组线性系数和/或偏移。
e.或者,此外,线性系数/偏移的推导可以取决于相同颜色分量的邻近样点。
25.提出可以在序列/视频/图片/条带/片/子图片/图块/其他视频单元(例如,CTU行/CTU)级别中信令通知第一语法以指示是否启用IPMPM。
a.或者,可以在两个级别中信令通知该语法。例如,可以在序列/视频级别中信令通知第一语法。如果第一语法指示使用了IPMPM,则可以在图片/条带/片/子图片/图块/其他视频单元(例如,CTU行/CTU)级别中进一步信令通知第二语法。
26.26.提议可以信令通知第三语法以指示是否和/或哪个IPMPM模式用于块(例如,编解码单元或预测单元)。
a.在一个示例中,可以在为图片/条带/片/子图片/图块/其他视频单元(例如,CTU行/CTU)启用IPPMM的条件下,信令通知第三语法。
b.在一个示例中,第三语法可以是标志。
c.在一个示例中,是否信令通知第三语法可以取决于块的编解码模式。
i.在一个示例中,可以在高级运动矢量预测(AMVP)模式中信令通知第三语法。
ii.ii.在一个示例中,在某些模式下可以不信令通知第三语法。例如,在以下模式下可以不信令通知第三种语法:
1.merge模式
2.子块merge模式
3.帧内块复制模式
4.仿射模式
5.调色板模式
6.帧内模式
d.在一个示例中,可以为块存储第三语法并用于其随后的编解码/解码块。
e.e.在一个示例中,可以在Merge模式下继承第三种语法。
i.例如,如果当前块继承了空域邻近块的运动信息,则相同空域邻近块的第三语法也可以被该块继承。
ii.例如,如果当前块继承了时域邻近块的运动信息,则相同时域邻近块的第三语法也可以被该块继承。
f.在一个示例中,第三语法可以与相关联的运动信息一起存储在基于历史的运动矢量预测(History-based Motion Vector Prediction,HMVP)表中。
i.或者,此外,如果HMVP候选被块继承,则相关联的第三语法也可以被继承。
5附加实施例
5.1信号sps_joint_cbcr_enabled_flag上信令的实施例
在JVET-P2001-v14之上提出的更改如下所述,其中,新添加的更改以粗体下划线斜体文本突出显示。
7.3.2.3序列参数集RBSP语法
Figure BDA0003722439740000211
7.4.3.3序列参数集RBSP语义
...
sps_joint_cbcr_enabled_flag等于0表示禁用色度残差的联合编解码。sps_joint_cbcr_enabled_flag等于1表示启用色度残差的联合编解码。当sps_joint_cbcr_enabled_flag不存在时,被推断为等于0。
6所公开技术的示例实施方式
图18是示例视频处理装置1800的框图。装置1800可用于实施本文档所述的一种或多种方法。装置1800可以体现在智能电话、平板电脑、计算机、物联网(IoT)接收器等中。装置1800可以包括一个或多个处理器1802、一个或多个存储器1804和视频处理硬件1806。处理器1802可以被配置为实施本文档中描述的一种或多种方法。存储器(Memory)1804可用于存储用于实施在此描述的方法和技术的数据和代码。视频处理硬件1806可用于在硬件电路中实施本文档中描述的一些技术。在一些实施例中,硬件1806可以部分或完全是处理器1802(例如,图形处理器核心GPU或其他信号处理电路)的一部分。
在本公开中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,视频压缩算法可以在从视频的像素表示转换为对应的比特流表示期间应用,反之亦然。当前视频块的比特流表示可以例如对应于在比特流内位于不同位置或分布在不同位置的比特,如语法所定义。例如,宏块可以根据变换和编解码的误差残差值进行编码,并且还可以使用标头中的比特和比特流中的其他字段。
应当理解,所公开的方法和技术将通过允许使用本文档中公开的技术而有益于并入视频处理设备(例如智能手机、膝上型电脑、台式机和类似设备)中的视频编码器和/或解码器实施例。
图19是视频处理的示例方法1900的流程图。方法1900包括,在1900,使用帧内预测编解码工具执行视频块和视频块的比特流表示之间的转换,在该帧内预测编解码工具中使用了一个或多个空域上非紧邻的参考行和/或参考列,其中,视频块不对应于亮度颜色分量。
可以使用以下基于条款的格式来描述一些实施例。
1、一种视频处理方法,包括:使用帧内预测编解码工具执行视频块和视频块的比特流表示之间的转换,在该帧内预测编解码工具中使用了一个或多个空域上非紧邻的参考行和/或参考列,其中,视频块不对应于亮度颜色分量。
2、根据条款1的方法,其中,一个或多个空域上非紧邻的参考行和/或参考列用于以下至少一项:(1)产生缩减的参考信令,(2)对缩减的预测信令进行上采样,或者(3)产生基于矩阵的帧内预测(MIP)信令。
3、根据条款1-2中的任何一项或多项的方法,其中,除了使用一个或多个空域上非紧邻的参考行和/或参考列之外,还使用空域上紧邻的参考行和/或参考列。
4、根据条款1-3中的任一项或多项的方法,其中,在比特流表示中指示一个或多个空域上非紧邻的参考行和/或参考列的使用。
5、根据条款1-4中的任一项或多项的方法,其中,在比特流表示中启用多参考线(MRL)标志。
6、根据条款5的方法,其中,预测编解码工具与组合帧内-帧间预测(CIIP)模式相关联。
7、根据条款5-6中的任一项或多项的方法,其中,帧内预测编解码工具与基于块的增量PCM(BDPCM)模式相关联。
8、一种视频处理方法,包括:使用帧内预测工具执行视频块和视频块的比特流表示之间的转换,在该帧内预测工具中使用基于多个第一类型的颜色分量样点的线性组合的模型来预测视频块的第二类型的颜色分量样点,并且其中,在该模型中,比特流表示中推导或在单独地信令通知与第一类型的颜色分量样点相关联的线性系数。
9、根据条款8的方法,其中,在比特流表示中指示表示原始样点值和预测样点值之间的差异的预测误差。
10、根据条款8-9中的任一项或多项的方法,其中,该模型包括使用偏移来添加到第一类型的多个颜色分量样点的线性组合。
11、根据条款8的方法,其中,第一类型的多个颜色分量样点被分类为一个或多个颜色分量样点组,并且其中,每组颜色分量样点与一个线性系数相关联。
12、根据条款11的方法,其中,根据在空域上以第一类型的颜色分量样点为中心的滤波器的形状来定义对一个或多个颜色分量样点组的分类。
13、根据条款12的方法,其中,基于第一类型的颜色分量样点的颜色格式和第二类型的颜色分量样点的位置来选择第一类型的颜色分量样点。
14、根据条款13的方法,其中,如果第二类型的颜色分量样点位于(x,y)并且第一类型的颜色分量样点的颜色格式是4:4:4格式,则从位置(x,y)中选择第一类型的颜色分量样点。
15、根据条款13的方法,其中,如果第二类型的颜色分量样点位于(x,y)并且第一类型的颜色分量样点的颜色格式是4:2:2格式,则从位置(2*x,y)中选择第一类型的颜色分量样点。
16、根据条款13的方法,其中,如果第二类型的颜色分量样点位于(x,y)并且第一类型的颜色分量样点的颜色格式是4:2:0格式,则从位置(2*x,2*y)中选择第一类型的颜色分量样点。
17、根据条款12-16中的任一项或多项的方法,其中,滤波器的形状是以下之一:N1点矩形、N1点正方形、N2点菱形、N4点六边形或N5点八边形,其中,N1、N2、N3、N4和N5为正整数。
18、根据条款12-17中的任一项或多项的方法,其中,根据转换中使用的帧内预测工具选择滤波器的形状。
19、根据条款12-17中的任一项或多项的方法,其中,用于计算线性系数的滤波器的形状与用于计算与线性系数相关的偏移的滤波器的形状相同。
20、根据条款19的方法,其中,最小二乘技术用于推导线性系数和与线性系数相关的偏移。
21、根据条款8的方法,其中,第一类型的多个颜色分量样点共同位于相对于视频块的位置的区域内。
22、根据条款21的方法,其中,第一类型的多个颜色分量样点共同位于视频块的左侧方向。
23、根据条款21的方法,其中,第一类型的多个颜色分量样点共同位于视频块的上方方向。
24、根据条款21的方法,其中,第一类型的多个颜色分量样点分布在第一区域和第二区域内,其中,每个区域与预测工具相关联。
25.一种视频处理方法,包括:使用帧内预测工具执行视频块和视频块的比特流表示之间的转换,在该帧内预测工具中使用基于多个第一类型的颜色分量样点的线性组合的模型来预测视频块的第二类型的颜色分量样点,并且其中,根据依赖于在空域上以第一类型的颜色分量样点为中心的滤波器的形状的规则,将多个第一类型的颜色分量样点分类为一组或多组颜色分量样点。
26、根据条款25的方法,其中,将关于通滤波波器中心的垂直线对称定位的第一类型的颜色分量样点分类为单个组。
27、根据条款25的方法,其中,将位于通滤波波器中心的垂直线上的第一类型的颜色分量样点分类为单个组。
28、根据条款25的方法,其中,将关于滤波器中心对称定位的第一类型的颜色分量样点分类为单个组。
29、根据条款25的方法,其中,将关于通滤波波器中心的水平线对称定位的第一类型的颜色分量样点分类为单个组。
30、根据条款25的方法,其中,将位于通滤波波器中心的水平线上的第一类型的颜色分量样点分类为单个组。
31、根据条款25的方法,其中,如果滤波器中心的第一类型的颜色分量样点位于整数值位置,则将第一类型的颜色分量样点分类到与包括多个第一类型的颜色分量样点的组不同的组中。
32、根据条款25的方法,其中,该规则规定,使用帧内预测方向将第一类型的多个颜色分量样点分类到一个或多个组中。
33、根据条款25的方法,其中,该规则规定,使用将第一类型的颜色分量样点分类为第一组的第一滤波器形状和将第一类型的颜色分量样点分类为第二组的第二滤波器形状。
34、根据条款25的方法,其中,在比特流表示中信令通知所用滤波器形状的指示。
35、根据条款25的方法,其中,在比特流表示中信令通知指示组标识的索引。
36、一种视频处理方法,包括:使用帧内预测工具执行视频块和视频块的比特流表示之间的转换,在该帧内预测工具中使用基于多个第一类型的颜色分量样点的线性组合的模型来预测视频块的第二类型的颜色分量样点,并且其中,根据在空域上以第一类型的颜色分量样点为中心的滤波器的形状,将第一类型的多个颜色分量样点分类为一组或多组颜色分量样点,使得第一滤波器形状和第二滤波器形状利用不同组的邻近样点。
37、一种视频处理方法,包括:使用帧内预测工具执行视频块和视频块的比特流表示之间的转换,在该帧内预测工具中使用基于多个第一类型的颜色分量样点的线性组合的模型来预测视频块的第二类型的颜色分量样点,并且其中,在该模型中,比特流表示中推导或在单独地信令通知与第一类型的颜色分量样点相关联的线性系数和偏移。
38、根据条款37的方法,其中,在使用前取整线性系数和/或偏移为整数值。
39、根据条款37的方法,其中,在使用之前右移线性系数和/或偏移。
40、根据条款37的方法,其中,对线性系数和/或偏移进行取整操作和右移操作。
41、根据条款37的方法,其中,第一类型的多个颜色分量样点是在执行环路滤波步骤之前重建的样点。
42、根据条款41的方法,其中,环路滤波步骤使用去方块滤波器、样点自适应偏移(SAO)步骤或ALF滤波器。
43、根据条款41的方法,其中,在执行环路滤波步骤之前重建的样点会受到附加修改。
44、根据条款43的方法,其中,附加修改包括应用平滑滤波器。
45、根据条款43的方法,其中,附加修改包括应用下采样滤波器。
46.根据条款37的方法,其中,第一类型的颜色分量样点是亮度分量,第二类型的颜色分量样点是Cb或Cr分量。
47、根据条款37的方法,其中,第一类型的颜色分量样点是Cb分量,第二类型的颜色分量样点是Cr分量。
48、根据条款37的方法,其中,第一类型的颜色成分样点是Cr分量,第二类型的颜色成分样点是Cb分量。
49、根据条款37的方法,其中,第一类型的颜色分量样点是R分量,第二类型的颜色分量样点是G或B分量。
50、根据条款37的方法,其中,在比特流表示中信令通知基于第一类型的多个颜色分量样点的线性组合的模型的使用的指示。
51、根据条款50的方法,其中,使用两级别语法、序列/视频级别中的第一语法和图片/条带/片/子图片/图块/视频单元级别中的第二语法信令通知该使用。
52、根据条款51的方法,其中,仅当第一语法指示模型的使用时才信令通知第二语法。
53、根据条款51-52中的任一项或多项的方法,其中,在块级别中的比特流表示中信令通知第三语法以指示模型是否用于视频块。
54、根据条款37-53中的任一项或多项的方法,其中,将基于多个颜色分量样点的线性组合的模型的使用信令通知为跨分量线性模型(CCLM)编解码工具。
55、根据条款37-53中任一项或多项的方法,其中,当不使用跨分量线性模型(CCLM)编解码工具时,将使用基于多个颜色分量样点的线性组合的模型信令通知为编解码工具。
56、根据条款37-53中的任一项或多项的方法,其中,基于多个颜色分量样点的线性组合的模型适用于处理局部照明补偿(LIC)编解码的视频块。
57、一种视频处理方法,包括:使用帧间预测工具执行视频块和视频块的比特流表示之间的转换,在帧间预测工具中使用基于多个参考样点的线性组合的模型来预测视频块的颜色分量样点,并且其中,在模型中,比特流表示中推导或在单独地信令通知与第一类型的颜色分量样点相关联的线性系数和偏移。
58、一种视频解码装置,包括被配置为实施条款1至57中的一项或多项中的方法的处理器。
59、一种视频编码装置,包括被配置为实施条款1至57中的一项或多项中的方法的处理器。
60、一种其上存储有计算机代码的计算机程序产品,该代码在由处理器执行时使处理器实施条款1至57中任一项的方法。
61、一种在本文档中描述的方法、装置或系统。
图20是描述可以利用本公开的技术的示例视频编解码系统100的框图。
如图20所示,视频编解码系统100可以包括源设备110和目的设备120。源设备110产生可以被称为视频编码设备的编码视频数据。目的设备120可以解码由源设备110产生的编码视频数据,可以被称为视频解码设备。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备、从视频内容提供者接收视频数据的接口、和/或用于产生视频数据的计算机图形系统之类的源,或这些源的组合。视频数据可以包括一幅或多幅图片。视频编码器114对来自视频源112的视频数据进行编码以产生比特流。比特流可以包括形成视频数据的编解码表示的位序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。关联数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码的视频数据可以通过网络130a经由I/O接口116直接发送到目的设备120。编码的视频数据也可以存储在存储介质/服务器130b上以供目的设备120访问。
目的设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。
I/O接口126可以从源设备110或存储介质/服务器130b获取编码视频数据。视频解码器124可解码经编码视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目标设备120集成,或者可以在目标设备120外部,目标设备120配置为与外部显示设备接口。
视频编码器114和视频解码器124可以根据视频压缩标准操作,例如高效视频编码(HEVC)标准、通用视频编码(VVC)标准和其他当前和/或进一步的标准。
图21是说明视频编码器200的示例的框图,视频编码器200可以是在图20中说明的系统100中的视频编码器114。
视频编码器200可经配置以执行本公开的任何或所有技术。在图21的示例中,视频编码器200包括多个功能组件。本公开中描述的技术可在视频编码器200的各种组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可以包括分区单元201、预测单元202(可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差产生单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重建单元212、缓冲器213和熵编码单元214。
在其他示例中,视频编码器200可包括更多、更少或不同的功能组件。在一个示例中,预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测,其中至少一个参考图片是当前视频块所在的图片。
此外,诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成,但是为了解释的目的而在图5的示例中单独表示。
分割单元201可将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以选择编解码模式之一(帧内或帧间,例如基于错误结果),并且将得到的帧内或帧间编解码块提供给残差产生单元207以产生残差块数据,并提供给重建单元212以重建编码块以用作参考图片。在一些示例中,模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合,其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下,模式选择单元203还可以为块选择运动矢量(例如,子像素或整数像素精度)的分辨率。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来产生当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的除了与当前视频块相关联的图片之外的图片的运动信息和解码样点来确定当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作,例如,取决于当前视频块是在I条带、P条带还是B条带中。
在一些示例中,运动估计单元204可为当前视频块执行单向预测,且运动估计单元204可搜索列表0或列表1的参考图片以寻找当前视频块的参考视频块。运动估计单元204可接着产生指示列表0或列表1中包含参考视频块的参考图片的参考索引和指示当前视频块与参考视频块之间的空间位移的运动矢量。运动估计单元204可输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来产生当前块的预测视频块。
在其他示例中,运动估计单元204可为当前视频块执行双向预测,运动估计单元204可在列表0中的参考图片中搜索当前视频块的参考视频块,并且还可在列表1中的参考图片中搜索当前视频块的另一参考视频块。运动估计单元204可接着产生指示列表0和列表1中的参考图片的参考索引,其包含参考视频块和指示参考视频块与当前视频块之间的空间位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来产生当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出完整的运动信息集以用于解码器的解码处理。
在一些示例中,运动估计单元204可以不输出当前视频的完整的运动信息集。相反,运动估计单元204可参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元204可确定当前视频块的运动信息与邻近视频块的运动信息足够相似。
在一个示例中,运动估计单元204可在与当前视频块相关联的语法结构中指示一个值,该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中,运动估计单元204可在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差(motion vector difference,MVD)。运动矢量差表示当前视频块的运动矢量与指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上文所讨论,视频编码器200可预测性地信令通知运动矢量。可由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(advanced motionvector predication,AMVP)和merge模式信令通知。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于同一图片中的其他视频块的解码样点产生当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差产生单元207可通过从当前视频块减去(例如,由负号指示)当前视频块的预测视频块来产生当前视频块的残差数据。当前视频块的残差数据可以包括残差视频块,该残差视频块对应于当前视频块中样点的不同样点分量。
在其他示例中,对于当前视频块可能不存在当前视频块的残差数据,例如在跳过模式中,并且残差产生单元207可能不执行减法运算。
变换处理单元208可以通过对与当前视频块相关联的残差视频块应用一个或多个变换,为当前视频块产生一个或多个变换系数视频块。
在变换处理单元208产生与当前视频块相关联的变换系数视频块之后,量化单元209可基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换,以从变换系数视频块重建残差视频块。重建单元212可将重建的残差视频块添加到来自预测单元202产生的一个或多个预测视频块的对应样点中,以产生与当前块相关联的重建视频块以存储在缓冲器213中。
在重建单元212重建视频块之后,可以执行环路滤波操作以减少视频块中的视频块伪影。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时,熵编码单元214可执行一个或多个熵编码操作以产生熵编码数据并输出包括熵编码数据的比特流。
图22是说明视频解码器300的示例框图,视频解码器300可以是图20中说明的系统100中的视频解码器114。
视频解码器300可经配置以执行本公开任何或所有技术。在图22的示例中,视频解码器300包括多个功能组件。本公开中描述的技术可在视频解码器300的各种组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
在图22的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、以及重建单元306和缓冲器307。在一些示例中,视频解码器300可以执行通常与关于视频编码器200(例如,图21)描述的编码通道(pass)相反的解码通道。
熵解码单元301可以检索编码比特流。编码比特流可以包括熵编解码的视频数据(例如,编码的视频数据块)。熵解码单元301可以解码熵编解码的视频数据,并且根据熵解码的视频数据,运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。例如,运动补偿单元302可以通过执行AMVP和merge模式来确定该信息。
运动补偿单元302可以产生运动补偿块,可能基于插值滤波器执行插值。以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元302可使用视频编码器20在对视频块进行编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元302可根据接收的语法信息来确定由视频编码器200使用的内插滤波器并且使用内插滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码视频序列的帧和/或条带进行编码的块的尺寸、描述编码视频序列的图片的每个宏块如何分割的分割信息、指示每个分割如何编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)以及其他解码编码的视频序列的信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域紧邻块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化,即反量化。逆变换单元303应用逆变换。
重建单元306可将残差块与由运动补偿单元202或帧内预测单元303产生的对应预测块相加以形成解码块。如果需要,还可以应用去方块滤波器来滤波解码的块,以便去除块状伪影。然后将解码的视频块存储在缓冲器307中,缓冲器307为随后的运动补偿提供参考块。
本文档所公开的各种技术可以优选地通过以下各实施例中的技术方案来实施。
下面列出了第一集合解决方案。
例如,可以根据上面第4节中列出的项目(例如第1项)来实施以下解决方案。
1、一种视频处理方法(例如,图23A中描绘的方法2310),包括:使用帧内预测编解码工具执行(2312)视频的当前视频块和视频的比特流之间的转换,在预测编解码工具中根据规则有选择地使用一条或多条参考线进行预测,其中,比特流符合格式规则;其中,当前视频块具有与视频的亮度颜色分量不同的颜色分量。
2、根据解决方案1的方法,其中,颜色分量为Cb分量、Cr分量、R分量、G分量或B分量。
3、根据解决方案1-2中任一项的方法,其中,规则规定,使用空域上非紧邻的参考线。
4、根据解决方案1-2中任一项的方法,其中,规则规定,使用一条或多条参考线,一条或多条参考线包括距当前视频块左侧0、1或2列或高于当前视频块0、1或2行的线。
5、根据解决方案1-4中任一项的方法,其中,比特流包括一条或多条参考线的标识。
6、根据解决方案5的方法,其中,标识被包括在序列级别、视频级别、图片级别、条带级别、片级别、子图片级别、图块级别、编解码树单元级别或编解码树单元行级别。
7、根据解决方案5-6中任一项的方法,其中,标识被包括在参数集中,其中,参数集包括视频参数集、序列参数集、自适应参数集或图片参数集。
8、根据解决方案5-7中任一项的方法,其中,标识被包括在图片标头、条带标头、片组标头或编解码树单元标头中。
例如,可以根据上面第4节中列出的项目(例如第2项)来实施以下解决方案。
9、根据解决方案1-8中任一项的方法,其中,格式规则规定,是否以及如何在比特流中识别一条或多条参考线。
10、根据解决方案9的方法,其中,格式规则规定,在比特流中隐式地标识一条或多条参考线。
11、根据解决方案9的方法,其中,格式规则规定,使用第一语法结构在比特流中识别一条或多条参考线,第一语法结构指示是否使用一条或多条参考线进行转换。
12、根据解决方案11的方法,其中,格式规则规定,比特流包括第二语法元素,第二语法元素指示帧内预测编解码工具使用哪些非紧邻的参考线。
13、根据解决方案11或12的方法,其中,格式规则规定,比特流包括第三语法元素,第三语法元素指示帧内预测编解码工具将颜色分量的哪些非紧邻的参考线用于帧内预测。
14、根据解决方案13的方法,其中,第一语法结构为标志和/或第二语法结构为索引和/或第三语法结构为另一索引。
15、根据解决方案12或13的方法,其中,将第二语法结构或第三语法结构编解码为二进制值。
16、根据解决方案12或13的方法,其中,将第二语法结构或第三语法结构编解码为非二进制值。
17、根据解决方案9-10中任一项的方法,其中,格式规则规定,基于与当前视频块相关联的参考亮度块的参考线索引,以及基于相对于当前视频块的紧邻色度样点,一条或多条参考线的索引对于当前视频块为可推导的。
例如,可以根据上面第4节中列出的项目(例如第4项)来实施以下解决方案。
18、根据解决方案1-17中任一项的方法,其中,规则规定,是否使用一条或多条参考线和/或如何使用一条或多条参考线取决于视频的颜色格式。
19、根据解决方案18的方法,其中,规则规定,在颜色格式为4:2:0的情况下,禁止使用与当前视频块非紧邻的一条或多条参考线。
20、根据解决方案18的方法,其中,规则规定,由于颜色格式为4:4:4,因而启用与当前视频块非紧邻的一条或多条参考线的使用。
例如,可以根据上面第4节中列出的项目(例如第4项)来实施以下解决方案。
21、根据解决方案18的方法,其中,规则规定,是否使用来自一条或多条参考线的非紧邻线取决于非紧邻线是在当前视频块的左侧还是在当前视频块的上方。
22、根据解决方案18的方法,其中,规则规定,使用当前视频块左侧的第一数量的非紧邻行或使用当前视频块上方的第二数量的非紧邻行,其中,第一数量与第二数量不同。
例如,可以根据上面第4节中列出的项目(例如第6项)来实施以下解决方案。
23、根据解决方案1的方法,其中规则规定,使用基于矩阵的帧内预测(MIP)模式编解码当前视频块,并且其中,一条或多条参考线包括一条或多条非紧邻参考线。
24、根据解决方案23的方法,其中,一条或多条非紧邻参考线用于产生缩减的参考信令。
25、根据解决方案23-24中任一项的方法,其中,一条或多条非紧邻参考线用于对缩减的预测信令进行上采样。
26、根据解决方案23的方法,其中,规则规定,紧邻和非紧邻的参考线两者都用于产生MIP预测信令。
27、根据解决方案23的方法,其中,格式规则规定,比特流包括一条或多条参考线的指示。
例如,可以根据上面第4节中列出的项目(例如第7项)来实施以下解决方案。
28、根据解决方案1的方法,其中,规则规定,由于帧内预测编解码工具为组合帧内帧间预测(CIIP)模式,因而使用一条或多条参考线。
29、根据解决方案1的方法,其中,规则规定,由于帧内预测编解码工具为块增量脉冲编解码调制(BDPCM)编解码工具,因而使用一条或多条参考线。
例如,可以根据上面第4节中列出的项目(例如第3项)来实施以下解决方案。
30、一种视频处理方法(例如,图23B中描绘的方法2320),包括:对于视频的颜色分量的当前视频块与视频的比特流之间的转换,确定(2322)当前视频块从对应的帧内编解码亮度视频块继承帧内编解码特性;以及基于该确定执行(2324)转换。
31、根据解决方案30的方法,其中,在比特流中使用依赖模式编解码当前视频块,依赖模式指示,使用与对应的帧内编解码亮度视频块相同的预测方向或预测参考线编解码当前视频块。
32、根据解决方案30-31中任一项的方法,其中,视频的颜色格式确定,当前视频块是否和/或如何继承帧内编解码特性。
下面列出了第二集合解决方案。
例如,可以根据上面第4节中列出的项目(例如第8项)来实施以下解决方案。
1、一种视频处理方法(例如,图23C中描绘的方法2330),包括:
使用具有多参数模型的跨分量预测(CCPMPM)执行(2332)视频的第二颜色分量的当前视频块与视频的比特流之间的转换,其中,使用乘以线性系数和/或一个或多个偏移的第一颜色分量的样点的线性组合,在比特流中预测编解码当前视频块的样点;其中,比特流符合格式规则;并且其中,使用第一规则确定CCPPMM的线性系数;并且其中,使用第二规则确定第一颜色分量的样点。
例如,可以根据上面第4节中列出的项目(例如第9项)来实施以下解决方案。
2、根据解决方案1的方法,其中,第一颜色分量的样点包括第一颜色分量的多组样点,其中,将线性系数中的一个应用于第一颜色分量组中的每个样点。
3、根据解决方案2的方法,其中,一个或多个偏移包括应用于第一颜色分量的每组样点的线性组合的偏移。
例如,可以根据上面第4节中列出的项目(例如第10项)来实施以下解决方案。
4、根据解决方案1-2中任一项的方法,其中,由滤波器形状和组的中心样点定义第一颜色分量的多组样点中的每一个。
5、根据解决方案4的方法,其中,中心样点取决于视频的颜色格式和/或预测的第二颜色分量的样点的位置,其中,颜色格式为4:4:4、4:2:2或4:2:0。
6、根据解决方案5的方法,其中,如果第二颜色分量的样点位于(x,y),则在4:4:4格式的情况下,中心样点位于第一个颜色分量中的位置(x,y),其中,x和y表示小数或整数样点位置编号。
7、根据解决方案5的方法,其中,如果第二颜色分量的样点位于(x,y),则在4:2:2格式的情况下,中心样点位于第一个颜色分量中的位置(2*x,y),其中,x和y表示小数或整数样点位置编号。
8、根据解决方案5的方法,其中,如果第二颜色分量的样点位于(x,y),则在4:2:0格式的情况下,中心样点位于第一个颜色分量中的位置(2*x,2*y),其中,x和y表示小数或整数样点位置编号。
9、根据解决方案4-8中任一项的方法,其中,滤波器形状是N1点矩形或N3点正方形、N2点菱形、N4点六边形或N5点八边形之一,其中,N1、N2、N3、N4和N5为正整数。
10、根据解决方案9的方法,其中,当前视频块的滤波器形状取决于用于对当前视频块进行编解码的帧内预测模式。
11.根据解决方案4-10中任一项的方法,其中,第一规则和第二规则规定使用相同形状的样点推导线性系数和/或一个或多个偏移和线性预测。
12、根据解决方案11的方法,其中,第一规则规定使用最小二乘计算操作推导线性系数和/或一个或多个偏移。
例如,可以根据上面第4节中列出的项目(例如第13项)来实施以下解决方案。
13、根据解决方案4-12中任一项的方法,其中,根据滤波器形状以及组的中心样点和/或滤波器形状的中心,通过分类方法将多组样点分类为集合。
14、根据解决方案13的方法,其中,分类方法包括,根据关于包含滤波器形状的中心的垂直线的对称性将第一颜色分量的样点分类成组。
15、根据解决方案14的方法,其中,分类方法还包括,将位于垂直线上的样点分类为一组。
16、根据解决方案14的方法,其中,分类方法还包括,将位于垂直线上的样点和关于滤波器形状的中心对称的样点分类为一组。
17、根据解决方案13的方法,其中,分类方法包括,根据关于包含滤波器形状的中心的水平线的对称性将第一颜色分量的样点分类成组。
18、根据解决方案17的方法,其中,分类方法还包括,将位于水平线上的样点分类为一组。
19、根据解决方案17的方法,其中,分类方法还包括,将位于水平线上的样点和关于滤波器形状的中心对称的样点分类为一组。
20、根据解决方案13的方法,其中,分类方法包括,根据关于滤波器形状的中心的对称性将第一颜色分量的样点分类成组。
21、根据解决方案13的方法,其中,分类方法包括,将位于包含滤波器形状的中心的水平线上的第一颜色分量的样点分类成组。
22、根据解决方案13的方法,其中,分类方法包括,将位于包含滤波器形状的中心的垂直线上的第一颜色分量的样点分类成组。
23、根据解决方案13的方法,其中,分类方法包括,如果滤波器形状的中心位于整数样点位置,则将滤波器形状的中心分类为单独的组。
24、根据解决方案4-12中任一项的方法,其中,根据帧内预测的方向,通过分类方法将多组样点分类为集合。
25、根据解决方案24的方法,其中,如果帧内预测的方向比垂直预测更接近水平预测的情况下,则将水平对称用于分类方法。
26、根据解决方案13-25中任一项的方法,其中,对每个不同的滤波器形状使用不同的分类方法。
例如,可以根据上面第4节中列出的项目(例如第12项)来实施以下解决方案。
27、根据解决方案1-26中任一项的方法,其中,第一规则规定,使用相对于当前视频块的特定区域中的样点确定线性系数。
28、根据解决方案27的方法,其中,特定区域在当前视频块的左侧。
29、根据解决方案27的方法,其中,特定区域在当前视频块之上。
30、根据解决方案27的方法,其中,第一规则规定,特定区域的位置定义CCPPMM的模式。
例如,可以根据上面第4节中列出的项目(例如第14项)来实施以下解决方案。
31、根据解决方案1-30中任一项的方法,其中,第二规则规定,使用多个滤波器形状来确定第一颜色分量的样点。
32、根据解决方案31的方法,其中,格式规则规定,在比特流中以序列级别、视频级别、图片级别、条带级别、片级别、子图片级别、图块级别或视频单元级别指示多个滤波器形状,其中,视频单元为图片标头或条带标头中的编解码树单元或编解码单元级别。
33、根据解决方案31的方法,其中,格式规则规定,在序列参数集或图片参数集中指示多个滤波器形状。
例如,可以根据上面第4节中列出的项目(例如第15项)来实施以下解决方案。
34、根据解决方案1的方法,其中,第一规则规定,使用根据第一滤波器形状的第一组邻近样点和根据第二滤波器形状的第二组邻近样点确定CCPPMM的线性系数,其中,第一组和第二组包括至少一些不同的样点。
例如,可以根据上面第4节中列出的项目(例如第16项)来实施以下解决方案。
35、根据解决方案1-34中任一项的方法,其中,第一规则规定,通过将线性系数取整计算为整数值来确定线性系数。
36、根据解决方案35的方法,其中,第一规则规定,将线性系数a(k)转换为round(a(k)*2N),其中,函数round(x)将x取整为朝向零、朝向正无穷或朝向负无穷的整数值,N为正整数。
37、根据解决方案1-34中任一项的方法,其中,在确定当前视频块的样点的跨分量预测时,使用N右移,其中,N是正整数。
38、根据解决方案1-34中任一项的方法,其中,在确定当前视频块的样点的跨分量预测时,添加取整偏移之后使用N右移。
39、根据解决方案38的方法,其中,将取整偏移b转换为round(b)。
例如,可以根据上面第4节中列出的项目(例如第17项)来实施以下解决方案。
40、根据解决方案1-39中任一项的方法,其中,第一颜色分量的样点包括在环路滤波之前的视频的重建样点。
41、根据解决方案1-39中任一项的方法,其中,第一颜色分量的样点包括在环路滤波之后的视频的重建样点。
42、根据解决方案41的方法,其中,环路滤波包括去方块滤波或样点自适应偏移或自适应环路滤波器。
43、根据解决方案1-39中任一项的方法,其中,第一颜色分量的样点包括已被下采样滤波的重建样点。
44、根据解决方案1-39中任一项的方法,其中,第一颜色分量的样点包括已被平滑滤波器滤波的重建样点。
例如,可以根据上面第4节中列出的项目(例如第8项)来实施以下解决方案。
45、根据解决方案1-44中任一项的方法,其中,第一颜色分量为亮度分量,第二颜色分量为Cr或Cb分量。
46、根据解决方案1-44中任一项的方法,其中,第一颜色分量为Cb分量,第二颜色分量为Cr分量。
47.根据解决方案1-44中任一项的方法,其中,第一颜色分量为Cr分量,第二颜色分量为Cb分量。
48、根据解决方案1-44中任一项的方法,其中,第一颜色分量为R分量,第二颜色分量为G分量。
例如,可以根据上面第4节中列出的项目(例如第19项)来实施以下解决方案。
49、根据解决方案1-48中任一项的方法,其中,格式规则规定,一个或多个语法元素被包括在比特流中以指示CCPPMM是否用于当前视频块。
50、根据解决方案49的方法,其中,一个或多个语法元素包括第一语法元素,第一语法元素包括在序列级别、视频级别、图片级别、条带级别、片级别、子图片级别、图块级别或视频单元级别,其中,视频单元级别对应于编解码树单元或编解码树单元行。
51、根据解决方案49的方法,其中,一个或多个语法元素包括在序列或视频级别的第一语法元素和有条件地被包括在、图片级别、条带级别、片级别、子图片级别、图块级别或视频单元级别的第二个语法元素,其中,视频单元级别对应于编解码树单元或编解码树单元行。
52、根据解决方案51的方法,其中,如果启用跨分量预测,则第二语法元素被包括在比特流中。
例如,可以根据上面第4节中列出的项目(例如第20项)来实施以下解决方案。
53、根据解决方案51的方法,其中,格式规则规定,第三语法元素有条件地被包括在比特流中以指示是否在当前视频块的级别上启用CCPPMM。
54、根据解决方案53的方法,其中,如果根据在图片级别、条带级别、片级别、子图片级别、图块级别或视频单元级别的启用,在块级别启用CCPMPM,则第三语法元素被包括在比特流中,其中,视频单元级别对应于包括当前视频块的编解码树单元或编解码树单元行。
55、根据解决方案53的方法,其中,如果对当前视频块启用了跨分量预测模式,则指示第三语法元素。
例如,可以根据上面第4节中列出的项目(例如第21项)来实施以下解决方案。
56、根据解决方案1-55中任一项的方法,其中,格式规则规定,在比特流中将CCPPM指示为跨分量线性模型(CCLM)编解码工具的附加模式。
57、根据解决方案56的方法,其中,使用指示CCLM的模式的语法元素信令通知CCPPMM。
58、根据解决方案56的方法,其中,格式规则规定,响应于对当前视频块启用CCPPMM,将指示启用CCLM编解码工具的标志设置为值1。
59、根据解决方案57-58中任一项的方法,其中,为了指示CCPPMM,语法元素采用大于指示CCLM的其他模式的值。
例如,可以根据上面第4节中列出的项目(例如第22项)来实施以下解决方案。
60、根据解决方案1-55中任一项的方法,其中,格式规则规定,在比特流中将CCPPMM指示为不同于跨分量线性模型(CCLM)编解码工具的模式。
61、根据解决方案60的方法,其中,格式规则规定,在当前视频块禁用CCLM编解码工具的情况下,对当前视频块启用CCPPMM。
下面列出了第三集合解决方案。
例如,可以根据上面第4节中列出的项目(例如第23项)来实施以下解决方案。
1、一种视频处理方法(例如,图23D中描绘的方法2340),包括:对于视频的第一分量的当前视频块和视频的比特流之间的转换,根据规则,从视频的第二分量的第二视频块的样点的线性组合中,确定(2342)使用当前视频块的预测;以及基于该确定(2344)执行转换;其中,使用局部照明补偿工具编解码当前视频块和第二视频块。
2、根据解决方案1的方法,其中,规则规定,第一分量为色度分量,第二分量为亮度分量。
例如,可以根据上面第4节中列出的项目(例如第24项)来实施以下解决方案。
3、一种视频处理方法(例如,图23E中描绘的方法2350),包括:执行(2342)视频的当前视频块和视频的比特流之间的转换,其中,使用多参数模型(IPMPM)预测性编解码当前视频块的样点,在多参数模型中视频的参考样点的线性组合使用线性系数和/或偏移值;并且其中,比特流符合格式规则。
4、根据解决方案3的方法,其中,格式规则规定,使用当前视频块的运动矢量在比特流中识别参考样点。
5、根据解决方案3的方法,其中,格式规则规定,使用当前视频块的运动矢量的修改在比特流中识别参考样点。
6、根据解决方案5的方法,其中,运动矢量的修改包括运动矢量的整数部分。
7、根据解决方案3-6中任一项的方法,其中,线性系数和/或偏移值包括在第一预测方向上的第一组线性系数和/或偏移值以及第二预测方向上的第二组线性系数和/或偏移值。
8、根据解决方案3的方法,其中,线性系数和/或偏移值包括从当前视频块的第一运动矢量推导出的第一组线性系数和/或偏移值以及从当前视频块的第二运动矢量推导出的第二组线性系数和/或偏移值。
9、根据解决方案3的方法,其中,从当前视频块的颜色分量的邻近样点推导线性系数和/或偏移。
10、根据解决方案3-9中任一项的方法,其中,当前视频块为非亮度视频块。
例如,可以根据上面第4节中列出的项目(例如第25项)来实施以下解决方案。
11、根据解决方案3-10中任一项的方法,其中,格式规则规定,比特流包括一个或多个语法元素,语法元素指示对当前视频块是否启用多参数模型。
12、根据解决方案11的方法,其中,一个或多个语法元素包括单个语法元素。
13、根据解决方案12的方法,其中,单个语法元素被包括在序列级别、视频级别、图片级别、条带级别、片级别、子图片级别、图块级别或视频单元级别,其中,视频单元为编解码树单元或编解码树单元级别。
14、根据解决方案11的方法,其中,一个或多个语法元素包括在序列或视频级别的第一语法元素,以及有条件地包括基于第一语法元素的值的在更精细级别的第二语法元素,其中,第二语法元素包括在图片级别、条带级别、片级别、子图片级别、图块级别或视频单元级别,其中,视频单元为编解码树单元或编解码树单元级别。
15、根据解决方案11的方法,其中,一个或多个语法元素包括第一语法元素、第二语法元素和第三语法元素,其中,第三语法元素有条件地被包括在视频块级别。
16、根据解决方案15的方法,其中,如果第一语法元素或第二语法元素指示对包括当前视频块的图片、条带、片、子图片、图块或视频单元禁用多参数模型的使用,则省略第三语法元素,其中,视频单元为编解码树单元或编解码树单元级别。
17、根据解决方案15-16中任一项的方法,其中,第三语法元素为单比特标志。
18、根据解决方案15-17中任一项的方法,其中,格式规则规定,基于当前视频块的编解码模式有条件地包括第三语法元素。
19、根据解决方案18的方法,其中,格式规则规定,如果编解码模式为高级运动矢量预测(AMVP)模式,则信令通知第三语法元素。
20、根据解决方案18-19的方法,其中,格式规则规定,如果编解码模式为merge模式、子块merge模式、帧内块复制模式、仿射模式、调色板编解码模式或帧内模式,则不信令通知第三语法元素。
21、根据解决方案16-20中任一项的方法,其中,存储第三语法元素以用于编解码当前视频块之后的下一个视频块。
22、根据解决方案16的方法,其中,格式规则规定,如果当前视频块使用merge模式,根据merge模式继承第三语法元素的值。
23、根据解决方案22的方法,其中,如果继承空域邻近块的运动信息,则从空域邻近块继承第三语法元素的值。
24、根据解决方案22的方法,其中,如果继承时域邻近块的运动信息,则从时域邻近块继承第三语法元素的值。
25、根据解决方案16的方法,其中,格式规则规定,将第三语法元素存储在基于历史的运动矢量预测表中以编解码后续视频块。
26、根据解决方案16或25的方法,其中格式规则规定。如果从基于历史的运动矢量预测表也继承了对应运动矢量信息,则继承第三语法元素。
一些实施例可以包括上述集合中的任何解决方案的方法,其中,转换包括将当前视频块编码到比特流中。
一些实施例可以包括上述集合中的任何解决方案的方法,其中,转换包括从比特流中解码当前视频块。
一些实施例可以包括将表示视频的比特流存储到计算机可读记录介质的方法,包括:根据上述一个或多个解决方案集合中记载的方法从视频产生比特流;以及将比特流存储到计算机可读记录介质中。
一些实施例可以包括一种用于处理视频数据的设备,包括处理器和在其上具有指令的非暂态存储器,其中,由处理器执行的指令使处理器实施上面列出的一个或多个解决方案集合中列举的方法。
一种用于处理视频数据的装置,该装置包括处理器和其上具有指令的非暂态存储器,其中指令在由处理器执行时使处理器实施以上列出的一个或多个解决方案集合中列举的方法。
一些实施例可以包括一种非暂时性计算机可读记录介质,用于存储由视频处理装置执行的方法产生的视频的比特流,其中,该方法包括:以上列出的解决方案集和中的任何一个或多个中描述的方法,从当前视频块产生比特流。
一些实施例可以包括一种计算机可读介质,用于存储根据任何一个或多个以上列出的解决方案集合产生的比特流。
一些实施例可以包括根据本文档中描述的格式规则的方法、装置、比特流或系统。
本文档中描述的公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现,包括本文档中公开的结构及其结构等效物,或其中的一种或多种的组合。所公开的和其他实施例可以实施为一个或多个计算机程序产品,即,在计算机可读介质上编码的一个或多个计算机程序指令模块,由数据处理设备执行或控制操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合物,或者其中的一个或多个的组合。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组合,或其中一项或多项的组合。术语“数据处理装置”涵盖处理数据的所有装置、设备和机器,例如包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合代码。传播的信号是人工产生的信号,例如机器产生的电、光或电磁信号,其被产生是为了对信息进行编码以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写,并且可以以任何形式进行部署,包括独立程序或适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其他程序或数据的文件的一部分中(例如,存储在标记语言文档中的一个或多个脚本),存储在专用于所讨论程序的单个文件中或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)。可以部署计算机程序,以在一台计算机或位于一个位置上或分布在多个位置上并通过通信网络互连的多台计算机上执行。
本文档中描述的过程和逻辑流程可以由一个或多个可编程处理器来执行,以执行一个或多个计算机程序,从而通过对输入数据进行操作并产生输出来执行功能。处理和逻辑流程也可以由专用逻辑电路执行,并且也可以实现为专用逻辑电路,例如FPGA(fieldprogrammable gate array,现场可编程门阵列)或ASIC(application specificintegrated circuit,应用专用集成电路)。
例如,适合于执行计算机程序的处理器包括通用和专用微处理器,以及任何种类的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器装置。通常,计算机还将包括或可操作地耦合到一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,以从中接收数据,或将数据传输到一个或多个大容量存储设备,或两者。但是,计算机不必具有这样的装置。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器装置,包括例如半导体存储设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内置硬盘或可移动磁盘;磁光盘;以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
尽管本专利文档包含许多细节,但是这些细节不应解释为对任何发明或可要求保护的范围的限制,而应解释为对特定发明的特定实施例可能特定的特征的描述。在单独的实施例的上下文中在本专利文档中描述的某些特征也可以在单个实施例中组合实现。相反,在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合来实现。此外,尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此要求保护,但是在某些情况下,可以从组合中剔除所要求保护的组合中的一个或多个特征,并且所要求保护的组合可以涉及子组合或子组合的变体。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应理解为要求以所示的特定顺序或以连续的顺序执行这样的操作,或者执行所有示出的操作以实现期望的效果。此外,在该专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。
仅描述了一些实施方式和示例,并且可以基于本专利文档中描述和示出的内容进行其他实施方式、增强和变化。

Claims (68)

1.一种视频处理方法,包括:
使用具有多参数模型的跨分量预测CCPMPM执行视频的第二颜色分量的当前视频块与所述视频的比特流之间的转换,其中,在所述CCPMPM中,使用乘以线性系数和/或一个或多个偏移的第一颜色分量的样点的线性组合,在所述比特流中预测编解码所述当前视频块的样点;
其中,所述比特流符合格式规则;并且
其中,使用第一规则确定所述CCPPMM的所述线性系数;并且
其中,使用第二规则确定所述第一颜色分量的样点。
2.根据权利要求1所述的方法,其中,所述第一颜色分量的样点包括所述第一颜色分量的多组样点,其中,将所述线性系数中的一个应用于一组所述第一颜色分量中的每个样点。
3.根据权利要求2所述的方法,其中,所述一个或多个偏移包括应用于所述第一颜色分量的每组样点的所述线性组合的偏移。
4.根据权利要求1-2中任一项所述的方法,其中,由滤波器形状和所述组的中心样点定义所述第一颜色分量的所述多组样点中的每一个。
5.根据权利要求4所述的方法,其中,所述中心样点取决于所述视频的颜色格式和/或预测的所述第二颜色分量的样点的位置,其中,所述颜色格式为4:4:4、4:2:2或4:2:0。
6.根据权利要求5所述的方法,其中,如果所述第二颜色分量的样点位于(x,y),则在4:4:4格式的情况下,所述中心样点位于所述第一个颜色分量中的位置(x,y),其中,x和y表示小数或整数样点位置编号。
7.根据权利要求5所述的方法,其中,如果所述第二颜色分量的样点位于(x,y),则在4:2:2格式的情况下,所述中心样点位于所述第一个颜色分量中的位置(2*x,y),其中,x和y表示小数或整数样点位置编号。
8.根据权利要求5所述的方法,其中,如果所述第二颜色分量的样点位于(x,y),则在4:2:0格式的情况下,所述中心样点位于所述第一个颜色分量中的位置(2*x,2*y),其中,x和y表示小数或整数样点位置编号。
9.根据权利要求4-8中任一项所述的方法,其中,所述滤波器形状是N1点矩形或N3点正方形、N2点菱形、N4点六边形或N5点八边形之一,其中,N1、N2、N3、N4和N5为正整数。
10.根据权利要求9所述的方法,其中,所述当前视频块的所述滤波器形状取决于用于对所述当前视频块进行编解码的帧内预测模式。
11.根据权利要求4-10中任一项所述的方法,其中,所述第一规则和所述第二规则规定使用相同形状的样点推导所述线性系数和/或所述一个或多个偏移和线性预测。
12.根据权利要求11所述的方法,其中,所述第一规则规定使用最小二乘计算操作推导所述线性系数和/或所述一个或多个偏移。
13.根据权利要求4-12中任一项所述的方法,其中,根据所述滤波器形状以及所述组的所述中心样点和/或所述滤波器形状的中心,通过分类方法将所述多组样点分类为集合。
14.根据权利要求13所述的方法,其中,所述分类方法包括,根据关于包含所述滤波器形状的中心的垂直线的对称性将所述第一颜色分量的样点分类成组。
15.根据权利要求14所述的方法,其中,所述分类方法还包括,将位于所述垂直线上的样点分类为一组。
16.根据权利要求14所述的方法,其中,所述分类方法还包括,将位于所述垂直线上的样点和关于所述滤波器形状的所述中心对称的样点分类为一组。
17.根据权利要求13所述的方法,其中,所述分类方法包括,根据关于包含所述滤波器形状的中心的水平线的对称性将所述第一颜色分量的样点分类成组。
18.根据权利要求17所述的方法,其中,所述分类方法还包括,将位于所述水平线上的样点分类为一组。
19.根据权利要求17所述的方法,其中,所述分类方法还包括,将位于所述水平线上的样点和关于所述滤波器形状的所述中心对称的样点分类为一组。
20.根据权利要求13所述的方法,其中,所述分类方法包括,根据关于所述滤波器形状的中心的对称性将所述第一颜色分量的样点分类成组。
21.根据权利要求13所述的方法,其中,所述分类方法包括,将位于包含所述滤波器形状的中心的水平线上的所述第一颜色分量的样点分类成组。
22.根据权利要求13所述的方法,其中,所述分类方法包括,将位于包含所述滤波器形状的中心的垂直线上的所述第一颜色分量的样点分类成组。
23.根据权利要求13所述的方法,其中,所述分类方法包括,如果所述滤波器形状的中心位于整数样点位置,则将所述滤波器形状的所述中心分类为单独的组。
24.根据权利要求4-12中任一项所述的方法,其中,根据帧内预测的方向,通过分类方法将所述多组样点分类为集合。
25.根据权利要求24所述的方法,其中,如果所述帧内预测的方向比垂直预测更接近水平预测的情况下,则将水平对称用于所述分类方法。
26.根据权利要求13-25中任一项所述的方法,其中,对每个不同的滤波器形状使用不同的分类方法。
27.根据权利要求1-26中任一项所述的方法,其中,所述第一规则规定,使用相对于所述当前视频块的特定区域中的样点确定所述线性系数。
28.根据权利要求27所述的方法,其中,所述特定区域在所述当前视频块的左侧。
29.根据权利要求27所述的方法,其中,所述特定区域在所述当前视频块之上。
30.根据权利要求27所述的方法,其中,所述第一规则规定,所述特定区域的位置定义所述CCPPMM的模式。
31.根据权利要求1-30中任一项所述的方法,其中,所述第二规则规定,使用多个滤波器形状来确定所述第一颜色分量的所述样点。
32.根据权利要求31所述的方法,其中,所述格式规则规定,在所述比特流中以序列级别、视频级别、图片级别、条带级别、片级别、子图片级别、图块级别或视频单元级别指示所述多个滤波器形状,其中,所述视频单元为图片标头或条带标头中的编解码树单元或编解码单元级别。
33.根据权利要求31所述的方法,其中,所述格式规则规定,在序列参数集或图片参数集中指示所述多个滤波器形状。
34.根据权利要求1所述的方法,其中,所述第一规则规定,使用根据第一滤波器形状的第一组邻近样点和根据第二滤波器形状的第二组邻近样点确定所述CCPPMM的线性系数,其中,所述第一组和所述第二组包括至少一些不同的样点。
35.根据权利要求1-34中任一项所述的方法,其中,所述第一规则规定,通过将所述线性系数取整计算为整数值来确定所述线性系数。
36.根据权利要求35所述的方法,其中,所述第一规则规定,将线性系数a(k)转换为round(a(k)*2N),其中,所述函数round(x)将x取整为朝向零、朝向正无穷或朝向负无穷的整数值,N为正整数。
37.根据权利要求1-34中任一项所述的方法,其中,在确定所述当前视频块的样点的跨分量预测时,使用N右移,其中,N是正整数。
38.根据权利要求1-34中任一项所述的方法,其中,在确定所述当前视频块的样点的跨分量预测时,添加取整偏移之后使用N右移。
39.根据权利要求38所述的方法,其中,将所述取整偏移b转换为round(b)。
40.根据权利要求1-39中任一项所述的方法,其中,所述第一颜色分量的样点包括在环路滤波之前的所述视频的重建样点。
41.根据权利要求1-39中任一项所述的方法,其中,所述第一颜色分量的样点包括在环路滤波之后的所述视频的重建样点。
42.根据权利要求41所述的方法,其中,所述环路滤波包括去方块滤波或样点自适应偏移或自适应环路滤波器。
43.根据权利要求1-39中任一项所述的方法,其中,所述第一颜色分量的所述样点包括已被下采样滤波的重建样点。
44.根据权利要求1-39中任一项所述的方法,其中,所述第一颜色分量的所述样点包括已被平滑滤波器滤波的重建样点。
45.根据权利要求1-44中任一项所述的方法,其中,所述第一颜色分量为亮度分量,所述第二颜色分量为Cr或Cb分量。
46.根据权利要求1-44中任一项所述的方法,其中,所述第一颜色分量为Cb分量,所述第二颜色分量为Cr分量。
47.根据权利要求1-44中任一项所述的方法,其中,所述第一颜色分量为Cr分量,所述第二颜色分量为Cb分量。
48.根据权利要求1-44中任一项所述的方法,其中,所述第一颜色分量为R分量,所述第二颜色分量为G分量。
49.根据权利要求1-48中任一项所述的方法,其中,所述格式规则规定,一个或多个语法元素被包括在所述比特流中以指示所述CCPPMM是否用于所述当前视频块。
50.根据权利要求49所述的方法,其中,所述一个或多个语法元素包括第一语法元素,所述第一语法元素包括在序列级别、视频级别、图片级别、条带级别、片级别、子图片级别、图块级别或视频单元级别,其中,所述视频单元级别对应于编解码树单元或编解码树单元行。
51.根据权利要求49所述的方法,其中,所述一个或多个语法元素包括在序列或视频级别的第一语法元素和有条件地被包括在、图片级别、条带级别、片级别、子图片级别、图块级别或视频单元级别的第二个语法元素,其中,所述视频单元级别对应于编解码树单元或编解码树单元行。
52.根据权利要求51所述的方法,其中,如果启用跨分量预测,则所述第二语法元素被包括在所述比特流中。
53.根据权利要求51所述的方法,其中,所述格式规则规定,第三语法元素有条件地被包括在所述比特流中以指示是否在所述当前视频块的级别上启用所述CCPPMM。
54.根据权利要求53所述的方法,其中,如果根据在图片级别、条带级别、片级别、子图片级别、图块级别或视频单元级别的启用,在块级别启用所述CCPMPM,则所述第三语法元素被包括在所述比特流中,其中,所述视频单元级别对应于包括所述当前视频块的编解码树单元或编解码树单元行。
55.根据权利要求53所述的方法,其中,如果对所述当前视频块启用了跨分量预测模式,则指示所述第三语法元素。
56.根据权利要求1-55中任一项所述的方法,其中,所述格式规则规定,在所述比特流中将所述CCPPM指示为跨分量线性模型CCLM编解码工具的附加模式。
57.根据权利要求56所述的方法,其中,使用指示所述CCLM的模式的语法元素信令通知所述CCPPMM。
58.根据权利要求56所述的方法,其中,所述格式规则规定,响应于对所述当前视频块启用所述CCPPMM,将指示启用所述CCLM编解码工具的标志设置为值1。
59.根据权利要求57-58中任一项所述的方法,其中,为了指示所述CCPPMM,所述语法元素采用大于指示所述CCLM的其他模式的值。
60.根据权利要求1-55中任一项所述的方法,其中,所述格式规则规定,在所述比特流中将所述CCPPMM指示为不同于跨分量线性模型CCLM编解码工具的模式。
61.根据权利要求60所述的方法,其中,所述格式规则规定,在所述当前视频块禁用所述CCLM编解码工具的情况下,对所述当前视频块启用所述CCPPMM。
62.根据权利要求1至61中任一项所述的方法,其中,所述转换包括将所述当前视频块编码到所述比特流中。
63.根据权利要求1至61中任一项所述的方法,其中,所述转换包括从所述比特流中解码所述当前视频块。
64.一种将表示视频的比特流存储到计算机可读记录介质的方法,包括:
根据权利要求1-63中任一项或多项所述的方法从所述视频产生所述比特流;以及
将所述比特流存储到计算机可读记录介质中。
65.一种用于处理视频数据的设备,包括处理器和在其上具有指令的非暂态存储器,其中,由所述处理器执行的所述指令使所述处理器实施如权利要求1至64中的一项或多项所述的方法。
66.一种非暂时性计算机可读记录介质,用于存储由视频处理装置执行的方法产生的视频的比特流,其中,所述方法包括:
根据权利要求1至64中任一项或多项所述的方法,从所述当前视频块产生所述比特流。
67.一种计算机可读介质,用于存储根据权利要求1至64中的任一项或多项所述的方法产生的比特流。
68.一种方法、装置和比特流,其中,根据本文档中描述的方法或系统产生所述比特流。
CN202080091424.7A 2019-12-31 2020-12-31 多参数模型的跨分量预测 Pending CN115176474A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/130430 2019-12-31
CN2019130430 2019-12-31
PCT/CN2020/142127 WO2021136504A1 (en) 2019-12-31 2020-12-31 Cross-component prediction with multiple-parameter model

Publications (1)

Publication Number Publication Date
CN115176474A true CN115176474A (zh) 2022-10-11

Family

ID=76686532

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202080091424.7A Pending CN115176474A (zh) 2019-12-31 2020-12-31 多参数模型的跨分量预测
CN202080091525.4A Pending CN115211113A (zh) 2019-12-31 2020-12-31 多参数模型的帧内预测
CN202080091752.7A Pending CN115176475A (zh) 2019-12-31 2020-12-31 多参考线色度预测

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202080091525.4A Pending CN115211113A (zh) 2019-12-31 2020-12-31 多参数模型的帧内预测
CN202080091752.7A Pending CN115176475A (zh) 2019-12-31 2020-12-31 多参考线色度预测

Country Status (3)

Country Link
US (1) US11968368B2 (zh)
CN (3) CN115176474A (zh)
WO (3) WO2021136504A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115176474A (zh) * 2019-12-31 2022-10-11 抖音视界有限公司 多参数模型的跨分量预测
CN117795957A (zh) * 2021-08-19 2024-03-29 北京达佳互联信息技术有限公司 跨分量样点自适应偏移中的编解码增强
WO2024055940A1 (en) * 2022-09-15 2024-03-21 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2024090923A1 (ko) * 2022-10-26 2024-05-02 주식회사 윌러스표준기술연구소 휘도 샘플 기반 색차 샘플 예측을 사용하는 비디오 신호 처리 방법 및 이를 위한 장치
WO2024093785A1 (en) * 2022-11-02 2024-05-10 Mediatek Inc. Method and apparatus of inheriting shared cross-component models in video coding systems
WO2024109715A1 (en) * 2022-11-21 2024-05-30 Mediatek Inc. Method and apparatus of inheriting cross-component models with availability constraints in video coding system

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104871537B (zh) * 2013-03-26 2018-03-16 联发科技股份有限公司 色彩间帧内预测的方法
ES2665908T3 (es) * 2013-04-08 2018-04-30 Ge Video Compression, Llc Predicción inter-componente
WO2016066028A1 (en) * 2014-10-28 2016-05-06 Mediatek Singapore Pte. Ltd. Method of guided cross-component prediction for video coding
EP3142363A1 (en) * 2015-09-08 2017-03-15 Thomson Licensing Methods and devices for encoding and decoding a sequence of pictures, and corresponding computer program product and computer-readable medium
EP3361726A1 (en) * 2015-11-24 2018-08-15 Samsung Electronics Co., Ltd. Method and device for video decoding and method and device for video encoding
WO2017139937A1 (en) * 2016-02-18 2017-08-24 Mediatek Singapore Pte. Ltd. Advanced linear model prediction for chroma coding
CN109076241B (zh) * 2016-05-04 2023-06-23 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测
US10484712B2 (en) * 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
CN113873239A (zh) * 2016-06-24 2021-12-31 株式会社Kt 用于处理视频信号的方法和设备
US10419757B2 (en) * 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
US11284076B2 (en) * 2017-03-22 2022-03-22 Electronics And Telecommunications Research Institute Block form-based prediction method and device
GB2567249A (en) * 2017-10-09 2019-04-10 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
GB2571312B (en) * 2018-02-23 2020-05-27 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
PE20211000A1 (es) * 2018-03-25 2021-06-01 Institute Of Image Tech Inc Metodo y dispositivo de codificacion/decodificacion de imagen
CN110839153B (zh) * 2018-08-17 2023-04-07 北京字节跳动网络技术有限公司 一种处理视频数据的方法和装置
WO2020053804A1 (en) 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. Downsampling in cross-component linear modeling
WO2020084502A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Video processing using local illumination compensation
WO2020094067A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Simplified parameter derivation for intra prediction
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
SG11202105759QA (en) 2018-12-07 2021-06-29 Beijing Bytedance Network Technology Co Ltd Context-based intra prediction
CN113261291A (zh) 2018-12-22 2021-08-13 北京字节跳动网络技术有限公司 基于多个参数的两步交叉分量预测模式
WO2020169101A1 (en) 2019-02-22 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Neighbouring sample selection for intra prediction
BR112021015017B1 (pt) 2019-02-24 2022-07-26 Bytedance Inc. Método e aparelho para codificar dados de vídeo, e, mídia de armazenamento
WO2020192085A1 (zh) * 2019-03-25 2020-10-01 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
CN114128280B (zh) * 2019-07-07 2023-11-14 北京字节跳动网络技术有限公司 色度残差缩放的信令通知
CN115176474A (zh) * 2019-12-31 2022-10-11 抖音视界有限公司 多参数模型的跨分量预测

Also Published As

Publication number Publication date
US20220329816A1 (en) 2022-10-13
WO2021136498A1 (en) 2021-07-08
US11968368B2 (en) 2024-04-23
WO2021136508A1 (en) 2021-07-08
CN115211113A (zh) 2022-10-18
CN115176475A (zh) 2022-10-11
WO2021136504A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
CN113273203B (zh) 两步交叉分量预测模式
JP2024003124A (ja) 行列ベースイントラ予測における制約されたアップサンプリングプロセス
CN114765685A (zh) 基于多帧内预测模式的用于解码或编解码图像的技术
CN115176474A (zh) 多参数模型的跨分量预测
US11563957B2 (en) Signaling for decoder-side intra mode derivation
WO2020182207A1 (en) Partitions on sub-block transform mode
CN113728636B (zh) 编解码视频中二次变换的选择性使用
JP2023164589A (ja) フィルタリングを用いた行列ベースイントラ予測
WO2021083376A1 (en) Derivation of linear parameter in cross-component video coding
WO2021110116A1 (en) Prediction from multiple cross-components
KR20220038690A (ko) 인트라 모드에서 예측 샘플 필터링을 위한 가중 인자들
WO2020125804A1 (en) Inter prediction using polynomial model
CN115066899A (zh) 编解码视频的可分二次变换处理
WO2021115235A1 (en) Cross-component prediction using multiple components
WO2021219144A1 (en) Entropy coding for partition syntax
CN115606182A (zh) 使用增强二次变换的编解码视频处理
WO2021209063A1 (en) Cross-component coding of 4: 2: 0 or 4: 2: 2 video
CN114979661A (zh) 利用阿尔法通道对图像/视频进行编解码的方法
CN118044182A (zh) 用于视频处理的方法、设备和介质
CN117882371A (zh) 视频编解码中的自适应环路滤波器的融合模式
CN114979662A (zh) 利用阿尔法通道对图像/视频进行编解码的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination