CN113196763A - 使用多项式模型的帧内预测 - Google Patents

使用多项式模型的帧内预测 Download PDF

Info

Publication number
CN113196763A
CN113196763A CN201980083978.XA CN201980083978A CN113196763A CN 113196763 A CN113196763 A CN 113196763A CN 201980083978 A CN201980083978 A CN 201980083978A CN 113196763 A CN113196763 A CN 113196763A
Authority
CN
China
Prior art keywords
polynomial model
current video
video block
order polynomial
nth order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980083978.XA
Other languages
English (en)
Other versions
CN113196763B (zh
Inventor
刘鸿彬
张莉
张凯
许继征
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN113196763A publication Critical patent/CN113196763A/zh
Application granted granted Critical
Publication of CN113196763B publication Critical patent/CN113196763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Abstract

一种视频处理的方法，包括，基于使用与当前视频块相关联的至少一个变量的n阶多项式模型，使用帧内预测编解码方案进行所述当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示。

Description

使用多项式模型的帧内预测
相关申请的交叉引用
根据适用的专利法和/或依据巴黎公约的规则，本申请及时要求于2018年12月21日提交的国际专利申请第PCT/CN2018/122712号的优先权和权益。该国际专利申请第PCT/CN2018/122712号的全部公开内容通过引用并入作为本申请的公开内容的一部分。
技术领域
本文件涉及视频编解码技术。
背景技术
数字视频占据因特网和其他数字通信网络上的最大的带宽使用。随着能够接收和显示视频的所连接的用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。
发明内容
所公开的技术可由视频解码器或编码器实施例使用，其中使用块状内插顺序技术来改进内插。
在一个示例方面，公开了用于处理视频的方法。所述方法包括，基于使用与当前视频块相关联的至少一个变量的n阶多项式模型，使用帧内预测编解码方案进行所述当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示。
在另一个示例方面，用于处理视频的方法包括，基于使用与所述当前视频块相关联的第一变量的n阶多项式模型，使用帧内预测编解码方案进行当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示，其中使用所述n阶多项式模型来应用跨分量预测。
在又一个示例方面，公开了用于处理视频的方法。所述方法包括，基于使用与所述当前视频块相关联的第一变量的n阶多项式模型，使用帧间预测编解码方案进行当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示；以及在转换期间，使用n阶多项式模型对当前视频块进行照度补偿。
在又一个示例方面，公开了用于处理视频的方法。所述方法包括，基于使用与所述当前视频块相关联的第一变量的n阶多项式模型，使用帧间预测编解码方案进行当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示；以及在转换期间，使用n阶多项式模型进行多假设帧间预测。
在又一个示例方面，上述方法可以由包括处理器的视频解码器装置实现。
在又一个示例方面，上述方法可以由包括用于在视频编码处理期间解码编码的视频的处理器的视频编码器装置实现。
在又一个示例方面，这些方法可以以处理器可执行指令的形式体现并存储在计算机可读程序介质上。
在本文件中进一步描述了这些以及其他方面。
附图说明
图1是帧内预测模式的图示。
图2示出了用于广角帧内预测的参考样点的示例。
图3示出了在方向超过45度的情况下的不连续的示例。
图4示出了由应用于对角线和相邻角度帧内模式的位置依赖帧内预测组合(PDPC)使用的样点的示例。
图5示出了使用帧内预测的多项式模型的示例。
图6A-6H示出了用于推导多项式模型的参数的相邻样点的示例。
图7A-7K示出了用于推导多项式模型的参数的相邻样点的示例。
图8是视频处理装置的示例的框图。
图9展示视频编码器的示例实现方式的框图。
图10是视频比特流处理方法的示例的流程图。
图11是视频比特流处理方法的示例的流程图。
图12是用于处理视频的方法的示例的流程图。
图13是用于处理视频的方法的示例的流程图。
具体实施方式
本文件提供了可以由视频比特流的解码器使用的各种技术，以改善解压缩或解码的数字视频的质量。此外，视频编码器还可以在编码过程期间实现这些技术，以便重建用于进一步编码的解码的帧。
章节标题在本文件中被用于便于理解，而不将实施例和技术限制于相应的章节。同样地，来自一个章节的实施例可以与来自其他章节的实施例组合。
1.概述
本文与视频/图像编解码技术有关。具体而言，其与帧内预测有关。它可以应用于现有的视频编解码标准，例如HEVC，或者待最终确定的下一代视频编解码标准，例如多功能视频编解码(VVC)。它也可以适用于未来的视频编解码标准或视频编解码器。
2.简要讨论
为了探索超越HEVC的未来视频编解码技术，由VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。自此，JVET采用了许多新方法，并将其放入名为联合探索模型(JEM)的参考软件中。联合视频专家组(也称为JVET)——由ITU-T第16研究组视频编解码专家组和ISO/IEC JTC1 SC29/WG11(运动图像专家组，MPEG)组成的协作团队——已启动一个开发新视频编解码标准的项目，该标准将被称为“通用视频编解码(VVC)”。对于新的VVC标准的工作于2018年4月10日至20日在美国圣地亚哥的联合视频专家小组会议上开始。
图9是视频编码器的示例实现方式的框图。
2.1具有67个帧内预测模式的帧内模式编解码
为了捕获自然视频中呈现的任意边缘方向，定向帧内模式的数量从HEVC中使用的33个扩展到65个。额外的方向性模式在图1中用箭头表示，并且平面模式和DC模式保持不变。这些更密集的方向性帧内预测模式适用于所有块大小以及亮度和色度帧内预测。
如图1所示，沿顺时针方向将常规角度帧内预测方向定义为45度至-135度。在VTM2中，对于非正方形块，几种常规角度帧内预测模式被自适应地替换为广角帧内预测模式。替换的模式使用原始方法信令通知，并在解析后重新映射到广角模式的索引。帧内预测模式的总数不变，即67，并且帧内模式编解码不变。
在HEVC中，每个帧内编解码块具有正方形形状，并且其每侧的长度是2的幂。因此，不需要除法运算来使用DC模式生成帧内预测器。在VVV2中，块可以具有矩形形状，在通常情况下，必须对每个块使用除法运算。为了避免对DC预测的除法运算，对于非正方形块，仅用较长的一侧来计算平均值。
2.2用于非正方形块的广角帧内预测
沿顺时针方向将常规角度帧内预测方向定义为45度至-135度。在VTM2中，对于非正方形块，几种常规角度帧内预测模式被自适应地替换为广角帧内预测模式。替换的模式使用原始方法信令通知，并在解析后重新映射到广角模式的索引。帧内预测模式的总数不变，即67，并且帧内模式编解码不变。
为了支持这些预测方向，如图2所示定义了长度为2W+1的顶部参考，和长度为2H+1的左侧参考。
广角方向模式下的替换模式的模式编号取决于块的纵横比。表2-1中示出了替换的帧内预测模式。
表2-1-被广角模式代替的帧内预测模式
Figure BDA0003120310970000041
如图3所示，在广角帧内预测的情况下，两个垂直相邻的预测样点可以使用两个不相邻的参考样点。因此，将低通参考样点滤波器和侧面平滑应用于广角度预测，以减少增加的间隙Δpα的负面影响。
2.3取决于位置的帧内预测组合
在VTM2中，通过取决于位置的帧内预测组合(PDPC)方法进一步修改平面模式的帧内预测结果。PDPC是帧内预测方法，它调用未过滤的边界参考样点和具有过滤的边界参考样点的HEVC样式的帧内预测的组合。PDPC应用于以下帧内模式，而无需信令通知：平面、DC、水平、垂直、左下角度模式及其八个相邻的角度模式，以及右上角度模式及其八个相邻的角度模式。
根据如下公式，使用帧内预测模式(DC、平面、角度)和参考样点的线性组合来对预测样点pred(x，y)进行预测：
pred(x，y)＝(wL×R-1，y+wT×Rx，-1–wTL×R-1，-1+(64–wL–wT+wTL)×pred(x，y)+32)
其中，Rx，-1，R-1，y分别表示位于当前样点(x，y)顶部和左侧的参考样点，并且R-1，-1表示位于当前块左上角的参考样点。
如果将PDPC应用于DC、平面、水平和垂直帧内模式，则不需要额外的边界滤波器，这在HEVC DC模式边界滤波器或水平/垂直模式边缘滤波器的情况下是需要的。
图4图示了在各种预测模式上应用的PDPC的参考样点(Rx，-1，R-1，y和R-1，-1)的定义。预测样点pred(x’，y’)位于预测块内的(x’，y’)。参考样点Rx，-1的坐标x由以下给出：x＝x’+y’+1，参考样点R-1，y的坐标y类似地由以下给出：y＝x’+y’+1。
PDPC权重取决于预测模式，并且如表2-2所示。
表2-2-根据预测模式的PDPC权重的示例
Figure BDA0003120310970000051
3.实施例解决的问题的示例
当执行帧内预测时，通常使用线性模型。不使用高阶多项式模型。
4.实施例的示例
以下详细技术应被视为示例以解释一般概念。这些技术不应狭义地解释。此外，可以以任何方式组合这些技术。
假设一个变量中的n阶多项式模型为
Figure BDA0003120310970000061
而两个变量中的n阶多项式模型为
Figure BDA0003120310970000062
在此，ak，bk，ck分别表示与xk，yk，xkyn-k相关联的第k个加权因子。
一个变量中的n阶多项式模型
1.建议可以将一个变量中的n阶多项式模型用于帧内预测，其中n>＝0。
a.在一个示例中，x可以表示待预测的样点和当前视频块左侧边界之间沿着水平方向的距离；
b.在一个示例中，x可以表示待预测的样点和当前视频块顶边界之间沿着垂直方向的距离。
c.在一个示例中，x可以表示待预测的样点和当前视频块左侧边界或顶边界之间沿着角度预测方向的距离，如图5所示；
d.在一个示例中，可以为多项式模型推导多组参数，并且将每组参数应用于一组样点。
i.例如，可以将一组样点定义为沿着某个预测方向在同一条线中的样点，图5中示出了示例。
e.在一个示例中，可以为当前块内的每个样点推导一组参数。
f.在一个示例中，n等于3并且f(x)＝a0+a1x+a2x2+a3x3。
g.在一个示例中，n等于2并且f(x)＝a0+a1x+a2x2。
h.在一个示例中，一些参数(例如，a0))可以被假定为零并且不被推导。
2.建议在为多项式模型推导不同的参数组时，可以使用不同的相邻样点组。
a.在一个示例中，沿着给定预测方向的M(M>0)个相邻样点可用于推导一组参数，图6A-D中示出了示例。在这种情况下，x可以被定义为沿着预测方向的(相对)位置。
b.在一个示例中，当前样点的相同行内的M个相邻样点或/和当前样点的相同列内的相邻样点可用于推导一组参数，图6E和图6F中示出了示例。在这种情况下，x可以定义为样点的(相对)水平(或垂直)位置。
c.在一个示例中，对于预测方向，如果在上行和左列二者中存在可用的相邻样点，则可以为同一预测线中的样点推导不同的参数组。在图6G和6H中示出了示例。
d.在一个示例中，N+1个(即，M＝N+1)个相邻样点可以用于推导N阶多项式模型的参数。
e.在一个示例中，多于N+1个(即，M＞N+1)个相邻样点可以用于推导N阶多项式模型的参数。
f.在一个示例中，对于不同的样点组，M可以不同。
g.在一个示例中，可以根据相邻样点与待预测的样点之间的距离来选择用于推导多项式模型参数的相邻样点。
h.建议是否以及如何从相邻的重建样点中推导参数可以取决于特定的相邻的重建样点是否可用。
i.如果相邻的重建样点尚未被解码，则可以将其标志为“不可用”。
ii.如果相邻的重建样点不在同一条带/片组/片/CTU线中，则可以将其标志为“不可用”。
iii.如果相邻的重建样点不是帧内编解码的，则可以将其标志为“不可用”。
两个变量的n阶多项式模型
3.建议将两个变量中的n阶多项式模型用于帧内预测，其中n>＝0。
a.在一个示例中，可以为多项式模型推导一组参数，并将其应用于所有样点。
b.在一个示例中，可以为多项式模型推导多组参数，并且将每组参数应用于一组样点。
c.在一个示例中，可以为当前块内的每个样点推导一组参数。
d.在一个示例中，x可以表示待预测的样点与当前块的左边界之间沿水平方向的距离；y可以表示待预测的样点与当前块的顶边界之间沿垂直方向的距离；
e.在一个示例中，x可以表示待预测的样点与当前块的左边界或顶边界之间沿着角度预测方向的距离，如图5所示；y可以表示待预测的样点与当前块的左边界或顶边界之间沿着与角度预测方向垂直的方向的距离；
f.在一个示例中，一些参数(例如，ck)可以被假定为零并且不被推导。
4.建议在为多项式模型推导不同的参数组时，可以使用不同的相邻样点组。
g.在一个示例中，围绕给定预测方向的M个相邻样点可以用于推导一组参数，图7A-7D中示出了示例。
h.在一个示例中，围绕一行或/和一列的M个相邻样点可以用于推导每个样点的一组参数，图7E-F示出了示例。
i.在一个示例中，对于预测方向，如果在上行和左列二者中存在可用的相邻样点，则可以为同一预测线中的样点推导不同的参数组。
在图7G-7K中示出了示例。
j.在一个示例中，对于不同的样点组，M可以不同。
k.在一个示例中，仅推导参数ak和bk，并且假定参数ck为零。
l.在一个示例中，可以根据相邻样点与待预测的样点之间的距离来选择用于推导多项式模型参数的相邻样点。
m.在一个示例中，可以根据帧内预测模式来选择用于推导多项式模型参数的相邻样点。
跨分量预测的n阶多项式模型
5.建议n阶多项式模型(例如，在一个变量中)可以用于跨分量预测，其中n>＝0。
a.在一个示例中，x可以表示一个颜色分量(例如，Cb)的样点值，并且f(x)可以表示另一颜色分量(例如，Y)的样点值。
b.当推导多项式模型的参数时，x可以表示一个颜色分量(例如，Cb)的相邻样点值，并且f(x)可以表示另一颜色分量(例如，Y)的对应的相邻样点值。
c.在一示例中，可在将样点值用于推导多项式模型的参数之前通过滤波器对其进行处理。
d.在一示例中，可以对诸如Y，Cb和Cr的不同颜色分量推导不同的参数。
用于照明补偿的n阶多项式模型
6.提出n阶多项式模型(例如，在一个变量中)可以用于照度补偿，其中n＞＝0。假设当前块的MV为mv。
a.在一个示例中，x可以表示参考样点值，并且f(x)可以表示预测样点值。
b.当推导多项式模型的参数时，f(x)可以表示一个相邻样点的样点值，并且x可以表示由mv标识的其相应参考样点的样点值。
i.可替代地，f(x)可以表示一个相邻样点的样点值，并且x可以表示由修改的mv(例如，mv的整数部分)标识的其对应参考样点的样点值。
c.在一示例中，可在将样点值用于推导多项式模型的参数之前通过滤波器对其进行处理。
d.在一示例中，可以对诸如Y，Cb和Cr的不同颜色分量推导不同的参数。
多假设帧间预测的n阶多项式模型
7.建议n阶多项式模型(例如，在一个变量中)可以用于多假设帧间预测，其中n>＝0。
a.在一个示例中，x可以表示参考图片和当前图片之间的时间距离，并且f(x)可以表示一些颜色分量的预测样点值或/和参考样点值。
b.当推导多项式模型的参数时，仅使用参考样点值。
c.在一示例中，可在将样点值用于推导多项式模型的参数之前通过滤波器对其进行处理。
d.在一示例中，可以对诸如Y，Cb和Cr的不同颜色分量推导不同的参数。
其他部分
8.建议在将相邻样点用于推导多项式模型的参数之前，可以对其进行处理。
9.建议分数位置中的相邻样点可以用于推导多项式模型的参数，并且可以通过使用整数位置中的相邻样点来内插这样的相邻样点。
10.可以从一个颜色分量推导多项式模型的参数(例如，ak，bk，ck)，并将其用于编码/解码另一颜色分量。
a.此外，可替代地，可以为一个块内的所有样点固定参数。
11.在将相邻样点用于推导多项式模型的参数之前，可以首先对其进行下采样。
12.除了当前现有的帧内预测模式(例如，VVC中的67个模式)之外，基于多项式模型的帧内预测方法可以被视为新的帧内预测模式。
b.可替代地，除了常规方法之外，基于多项式模型的帧内预测方法可以被视为推导帧内预测块的新方法。在这种情况下，对于每个帧内预测模式或部分允许的帧内预测模式，其可以选择是否使用基于多项式模型的帧内预测方法。
13.可以在块/CU/条带头/片头/VPS/PPS/SPS处信令通知多项式模型开/关标志，以指示是否采用所建议的方法。
a.在一示例中，当对块/CU级多项式模型标志进行编码时，可以使用上下文自适应算术二进制编解码，并且可以使用一个或多个上下文。
i.例如，使用一个上下文。
ii.例如，可以使用多与一个的上下文，并且上下文的选择可以取决于相邻块的多项式模型标志。
b.在一个示例中，对于解码的帧内预测模式，可以进一步对该标志进行编码/解码，以告知是否对于解码当前块，是否使用常规的帧内预测方法或基于多项式模型的帧内预测方法。
c.在一个示例中，可以在对帧内预测模式进行解码之前首先对这样的标志进行解码。如果该标志指示基于多项式模型的帧内预测方法被用于解码当前块，则无需进一步解码帧内预测模式。在这种情况下，基于多项式模型的帧内预测方法被视为新的帧内预测模式。
14.可以将多项式模型的一些参数假定为默认值(例如零)并且不推导。
15.以上方法可以在某些条件下应用，在其他情况下可以隐式禁用。
d.例如，它可以应用于某些颜色分量，例如仅用于亮度颜色分量。
e.例如，它可以应用于某些块大小/块形状等。
f.例如，其可以应用于某些帧内预测模式，而不适用于其他剩余的帧内预测模式。
g.当在其他条件下不允许使用时，不会信令通知上述方法。
16.在用作预测值之前，可以进一步修剪n阶多项式模型的结果。
c.在一个示例中，
Figure BDA0003120310970000101
Figure BDA0003120310970000102
Figure BDA0003120310970000103
其中off可以为0或(1<<S)>>1。Clip3是用于修剪预测值有效的修剪操作。例如，Clip3(x)＝max(0，min(MaxValue，x))。
d.在一个示例中，MaxValue可以被定义为(1<<Bitdepth)-1。
e.在一个示例中，MaxValue可以从条带到条带/片到片/图片到图片而改变，例如，它可以表示对于给定颜色分量/给定块/给定CTU/给定CTU行的最大允许的值。
图8是视频处理设备800的框图。设备800可以用于实现本文描述的一个或多个方法。装置800可以实现在智能手机、平板计算机、计算机、物联网(IoT)接收器等中。装置800可以包括一个或多个处理器802、一个或多个存储器804和视频处理硬件806。(一个或多个)处理器802可以被配置为实现本文中描述的一个或多个方法。存储器(或多个存储器)804可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件806可以用于在硬件电路中实现本文中描述的一些技术。
图10是视频处理的方法1000的流程图。方法1000包括，基于使用与所述当前视频块相关联的至少一个变量的n阶多项式模型，使用帧内预测编解码方案进行(1005)所述当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示。
图11是视频处理的方法1100的流程图。方法1100包括，基于使用与所述当前视频块相关联的第一变量的n阶多项式模型，使用帧内预测编解码方案进行(1105)当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示，其中使用所述n阶多项式模型来应用跨分量预测。
参考方法1000和1100，在本文的第4节中描述了使用多项式模型的帧内预测及其使用的一些示例。例如，如第4节所述，可以使用具有一个或两个变量的n阶多项式模型。
参考方法1000和1100，视频块可以被编码成视频比特流，其中可以通过使用与帧内预测有关的比特流生成规则来实现比特效率。
图12是视频处理的方法1200的流程图。方法1200包括，基于使用与所述当前视频块相关联的第一变量的n阶多项式模型，使用帧间预测编解码方案进行(1205)当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示；以及在转换期间，使用n阶多项式模型对当前视频块进行(1207)照度补偿。
图13是视频处理的方法1300的流程图。方法1300包括，基于使用与所述当前视频块相关联的第一变量的n阶多项式模型，使用帧间预测编解码方案进行(1305)当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示；以及在转换期间，使用n阶多项式模型进行(1307)多假设帧间预测。
可以使用以下基于条款的格式描述贯穿本文描述的各种实施例和技术。
1.1.一种用于处理视频的方法，包括：基于使用与当前视频块相关联的至少一个变量的n阶多项式模型，使用帧内预测编解码方案进行所述当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示。
1.2.如示例1.1的方法，其中n阶多项式模型使用一个变量。
1.3.如示例1.2的方法，其中所述一个变量表示以下的一个：待预测的样点和所述当前视频块左侧边界之间沿着水平方向的距离、待预测的样点和所述当前视频块顶边界之间沿着垂直方向的距离、待预测的样点和所述当前视频块左侧边界或顶边界之间沿着角度预测方向的距离。
1.4.如示例1.1的方法，其中n阶多项式模型使用两个变量。
1.5.如示例1.4的方法，其中所述两个变量中的一个变量表示待预测的样点和所述当前视频块左侧边界之间沿着水平方向的距离，并且所述两个变量中的另一个变量表示所述样点和所述当前视频块的顶边界之间沿着垂直方向的距离。
1.6.如示例1.4的方法，其中所述两个变量中的一个变量表示待预测的样点和所述当前视频块左侧边界或顶边界之间沿着角度预测方向的距离，并且所述两个变量中的另一个变量表示所述样点和所述当前视频块的左侧边界或顶边界之间的沿着与所述角度预测方向垂直的方向的距离。
1.7.如示例1.1-1.6中任一项的方法，其中推导用于所述n阶多项式模型的多组参数，所述多组参数中的每一个将应用于所述当前视频块的一组样点。
1.8.如示例1.7的方法，其中所述当前视频块的一组样点包括沿着某个预测方向的同一条线上的样点。
1.9.如示例1.1-1.6中任一项的方法，其中推导用于所述n阶多项式模型的一组参数，其中所述一组参数应用于所述当前视频块的每一个样点。
1.10.如示例1.7-1.9中任一项的方法，其中所述n阶多项式模型的多组参数中的某些参数被强制为零。
1.11.如示例1.2或1.3的方法，其中n为3，并且所述n阶多项式模型为f(x)＝a0+a1x+a2x2+a3x3，其中x是所述一个变量。
1.12.如示例1.2的方法，其中n为2，并且所述n阶多项式模型为f(x)＝a0+a1x+a2x2，其中x是所述一个变量。
1.13.权利要求1.4-1.6中任一项的方法，其中所述n阶多项式模型为
Figure BDA0003120310970000131
其中x是所述两个变量中的一个变量，y是所述两个变量中的另一个变量。
1.14.如示例1.13的方法，其中推导ak和bk，其中ck为零。
1.15.如示例1.11-1.14中任一项的方法，其中f(x)表示所述当前视频块的样点的预测样点值。
1.16.如示例1.7-1.8中任一项的方法，其中第一组相邻样点用于推导第一组参数，并且与所述第一组相邻样点不同的第二组相邻样点用于推导与所述第一组参数不同的第二组参数。
1.17.如示例1.16的方法，其中所述n阶多项式模型使用一个变量，其中所述第一组相邻样点位于沿预测方向的第一条线中，并且所述第二组相邻样点在沿所述预测方向的第二条线中，其中所述第一条线不同于所述第二条线。
1.18.如示例1.16的方法，其中所述n阶多项式模型使用两个变量，其中所述第一组相邻样点在沿着预测方向的第一条线中或者在靠近沿着所述预测方面的第一条线的多条线中，并且所述第二组相邻样点在沿着预测方向的第二条线中或者在靠近沿着所述预测方面的第二条线的多条线中。
1.19.如示例1.17-1.18中任一项的方法，其中所述预测方向是角度方向、水平方向和垂直方向中的一个。
1.20.如示例1.16-1.19中任一项的方法，其中使用所述第一组参数来预测沿预测方向的所述第一条线中的所述当前视频块的样点，并且使用所述第二组参数来预测沿所述预测方向的所述第二条线中的所述当前视频块的样点。
1.21.如示例1.16的方法，其中，对于预测方向，如果存在与当前样点有关的在上行和左列二者中的可用的相邻样点，则对在沿所述预测方向的预测线中的样点推导不同的参数组。
1.22.如示例1.16-1.21中任一项的方法，其中，对于所述n阶多项式模型，n+1个相邻样点被用于推导所述n阶多项式模型的参数，其中n是大于或等于0的整数。
1.23.如示例1.16-1.22中任一项的方法，其中对于所述n阶多项式模型，多于n+1个相邻样点被用于推导所述n阶多项式模型的参数，其中n是大于或等于0的整数。
1.24.如示例1.16-1.23中任一项的方法，其中所述第一组相邻样点包括第一数量的样点，并且所述第二组相邻样点包括第二数量的样点，其中所述第一数量和所述第二数量不同。
1.25.如示例1.16-1.24中任一项的方法，其中基于所述相邻样点与待预测的当前样点之间的距离以及所应用的帧内预测编解码方案中的至少一个，选择第一组相邻样点和所述第二组相邻样点中的一个或两个。
1.26.如示例1.16的方法，其中推导所述第一组参数和所述第二组参数是基于关于相邻重建样点的可用性的确定。
1.27.如示例1.25的方法，其中如果相邻样点还未被解码，则其被确定为不可用。
1.28.如示例1.25的方法，其中如果相邻样点与所述当前样点不在同一条带、同一片组、同一片或同一编解码树单元(CTU)线中，则所述相邻样点被确定为不可用。
1.29.如示例1.25的方法，其中如果相邻样点不是帧内编解码，则将所述相邻样点确定为不可用。
1.30.一种用于处理视频的方法，包括：基于使用与所述当前视频块相关联的第一变量的n阶多项式模型，使用帧内预测编解码方案进行当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示，其中使用所述n阶多项式模型来应用跨分量预测。
1.31.如示例1.30的方法，其中所述n阶多项式模型为f(x)＝a0+a1x+a2x2+a3x3 orf(x)＝a0+a1x+a2x2，其中x是所述第一变量，x表示第一颜色分量的样点值，并且f(x)表示第二颜色分量的预测样点值，所述第一颜色分量和所述第二颜色分量不同。
1.32.如示例1.30的方法，其中所述n阶多项式模型为f(x)＝a0+a1x+a2x2+a3x3或f(x)＝a0+a1x+a2x2，其中x是所述第一变量，并且当推导所述n阶多项式模型的参数时，x表示所述当前视频块的第一颜色分量的相邻样点值，并且f(x)表示所述当前视频块的第二颜色分量的对应的相邻样点值，所述第一颜色分量和第二颜色分量不同。
1.33.如示例1.30-1.32中任一项的方法，其中所述第一颜色分量和所述第二颜色分量的相邻样点值由滤波器处理以生成滤波的样点值，并且所述滤波的样点值用于推导所述n阶多项式模型的参数。
1.34.如示例1.30的方法，其中对不同的颜色分量推导不同的参数。
1.35.如示例1.1-1.34中任一项的方法，其中相邻样点由滤波器处理以生成滤波的相邻样点，并且所述滤波的相邻样点被用于推导所述n阶多项式模型的参数。
1.36.如示例1.1-1.34中任一项的方法，其中分数位置的相邻样点被用于推导所述参数，并且所述分数的相邻样点使用整数位置的相邻样点进行内插。
1.37.如示例1.1-1.34中任一项的方法，其中所述n阶多项式模型的参数从颜色分量推导并且用于其他颜色分量。
1.38.如示例1.1-1.34中任一项的方法，其中所述n阶多项式模型的参数对于一个块中的所有样点均固定。
1.39.如示例1.1-1.34中任一项的方法，其中相邻样点在被用于推导所述n阶多项式模型的参数之前被下采样。
1.40.如示例1.1-1.34中任一项的方法，其中所述方法被用作为除了当前现有的帧内预测模式之外的新的帧内预测模式。
1.41.如示例1.1-1.34中任一项的方法，其中所述方法被用作除了当前现有的方式以外的推导帧内预测块的新的方式，并且其中对于每个帧内预测模式，或者部分允许的帧内预测模式，信令通知指示是否使用所述基于多项式模型的帧内预测方法的语法。
1.42.如示例1.1-1.35中任一项的方法，其中以块、编解码单元(CU)、条带头、片头、视频参数集(VPS)、序列参数集(SPS)或图片参数集(PPS)来信令通知指示所述n阶多项式模型的使用的标志。
1.43.如示例1.42的方法，其中上下文自适应算术二进制编解码被用于编码所述标志。
1.44.如示例1.43的方法，其中一个或多个上下文被用于编码所述标志，并且当使用多于一个上下文时，所述上下文的选择基于相邻视频块的多项式模型标志。
1.45.如示例1.42-1.44中任一项的方法，其中所述标志还指示对于所述当前视频块使用传统帧内预测方法或基于多项式模型的帧内预测方法。
1.46.如示例1.42-1.44中任一项的方法，其中在对帧内预测模式进行解码之前对所述标志进行解码，并且其中如果所述标志指示基于多项式模型的帧内预测方法用于解码所述当前视频块，则避免对所述帧内预测模式进行解码。
1.47.如示例1.1-1.34中任一项的方法，其中所述n阶多项式模型的一些参数是默认值并且不被推导。
1.48.如示例1.1-1.34中任一项的方法，其中所述n阶多项式模型仅应用于亮度颜色分量。
1.49.如示例1.1-1.34中任一项的方法，其中所述n阶多项式模型基于所述当前视频块的块尺寸或块形状使用。
1.50.如示例1.1-1.34中任一项的方法，其中所述方法用于某些帧内预测模式，并且对于其他剩余的帧内预测模式禁用，并且当所述方法被禁用时，避免信令通知所述方法的任何指示。
1.51.如示例1.1-1.34中任一项的方法，其中通过应用所述n阶多项式模型生成的值在用作预测值之前被修剪。
1.52.如示例1.51的方法，其中
Figure BDA0003120310970000162
且
Figure BDA0003120310970000161
其中off为0，或off＝2(S–1)，并且Clip3是修剪预测值的函数。
1.53.如示例1.52的方法，其中Clip3(x)＝max(0，min(MaxValue，x))，并且其中MaxValue为2Bitdepth-1，并表示给定颜色分量/给定块/给定CTU/给定CTU行的最大允许的值。
1.54.如示例1.52的方法，其中Clip3(x)＝max(0，min(MaxValue，x))，并且其中MaxValue从条带到条带、从片到片或从图片到图片变化，其中MaxValue表示给定颜色分量/给定块/给定CTU/给定CTU行的最大允许的值。
1.55.一种视频解码装置，包括处理器，所述处理器被配置为实现如示例1.1至如示例1.54中的一个或多个中所述的方法。
1.56.一种视频编码设备，包括处理器，所述处理器被配置为实现如示例1.1至如示例1.54中的一个或多个中所述的方法。
1.57.一种其上存储有计算机代码的计算机程序产品，所述代码在由处理器执行时使处理器实现如示例1.1到1.54中任一项所述的方法。
2.1.一种用于处理视频的方法，包括:基于使用与所述当前视频块相关联的第一变量的n阶多项式模型，使用帧间预测编解码方案进行当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示二以及在转换期间，使用n阶多项式模型对当前视频块进行照度补偿。
2.2.示例2.1的方法，其中n为3，并且所述n阶多项式模型为f(x)＝a0+a1x+a2x2+a23x3，其中ai是n阶多项式模型的参数，其中i＝0，1，2，3，并且x是所述第一变量。
2.3.示例2.1的方法，其中n为2，并且所述n阶多项式模型为f(x)＝a0+a1x+a2x2，其中ai是n阶多项式模型的参数，其中i＝0，1，2，并且x是所述第一变量。
2.4.示例2.2或示例2.3的方法，其中x表示所述当前视频块的第一样点的参考样点值，并且f(x)表示所述第一样点的预测样点值。
2.5.示例2.2或示例2.3的方法，其中基于所述n阶多项式模型，使用至少一个第二样点的至少一个重建值和至少一个第二样点的至少一个参考样点来推导所述参数，并且其中所述第二样点是所述当前视频块的相邻样点。
2.6.示例2.5的方法，其中当推导所述参数时，f(x)表示所述第二样点的重建值，并且x表示所述第二样点的参考样点值，并且其中所述参考样点由所述当前视频块的运动矢量(MV)来标识。
2.7.示例2.5的方法，其中当推导所述参数时，f(x)表示所述第二样点的重建值，并且x表示所述第二样点的参考样点值，其中所述第二样点的参考样点由所述当前视频块的MV的修改的值来标识。
2.8.示例2.7的方法，其中所述修改的值是所述MV的整数部分。
2.9.示例2.5-2.8中任一项的方法，其中所述第二样点的重建值和参考样点值由滤波器处理以生成滤波的样点值，并且所述滤波的样点值被用于推导所述n阶多项式模型的参数。
2.10.示例2.1-2.9中任一项的方法，其中对不同的颜色分量推导不同的参数。
2.11.一种用于处理视频的方法，包括：基于使用与所述当前视频块相关联的第一变量的n阶多项式模型，使用帧间预测编解码方案进行当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示；以及在转换期间，使用n阶多项式模型进行多假设帧间预测。
2.12.示例2.11的方法，其中n为3，并且所述n阶多项式模型为f(x)＝a0+a1x+a2x2+a3x3，其中ai是所述n阶多项式模型的参数，其中i＝0，1，2，3，并且x是所述第一变量。
2.13.示例2.11的方法，其中n为2，并且所述n阶多项式模型为f(x)＝a0+a1x+a2x2，其中ai是所述n阶多项式模型的参数，其中i＝0，1，2，并且x是所述第一变量。
2.14.示例2.12或示例2.13的方法，其中x表示参考图片和与所述当前视频块有关的当前图片之间的时间距离，并且f(x)表示颜色分量的预测样点值。
2.15.示例2.12或示例2.13的方法，其中使用所述当前视频块的多个参考块的参考样点值和多个时间距离来推导所述n阶多项式模型的参数，所述时间距离中的每一个是与所述多个参考块之一有关的一个参考图片和与所述当前视频块有关的当前图片之间的时间距离。
2.16.示例2.12或示例2.13的方法，其中使用所述当前视频块的多个参考块的参考样点值和与所述多个参考块有关的不同参考图片之间的所述时间距离来推导所述n阶多项式模型的参数。
2.17.示例2.15或示例2.16的方法，其中所述参考样点值由滤波器处理以生成滤波的样点值，并且所述滤波的样点值被用于推导所述n阶多项式模型的参数。
2.18.示例2.12-2.17中任一项的方法，其中对不同的颜色分量推导所述n阶多项式模型的不同参数。
2.19.一种视频解码装置，包括处理器，所述处理器被配置为实现示例2.1至2.18中的一个或多个所述的方法。
2.20.一种视频编码设备，包括处理器，所述处理器被配置为实现示例2.1至2.18中的一个或多个所述的方法。
2.21.一种其上存储有计算机代码的计算机程序产品，所述代码在由处理器执行时使处理器实现示例2.1至2.18中任一项中所述的方法。
将理解的是，所公开的技术可以体现在视频编码器或解码器中以提高压缩效率。
本文件中描述的公开和其他解决方案、示例、实施例、模块和功能操作可以以数字电子电路实现，或者以计算机软件、固件或硬件实现，包括本文件中公开的结构及其结构等同物，或者以它们中的一个或多个的组合实现。公开和其他实施例可以实现为一个或多个计算机程序产品，即，在计算机可读介质上编码的一个或多个计算机程序指令模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合、或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如机器生成的电信号、光信号或电磁信号，其被生成以对信息进行编码以便传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式来部署计算机程序，包括独立程序或适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序并不必需对应于文件系统中的文件。程序可以存储在文件的保存其他程序或数据(例如，存储在标志语言文档中的一个或多个脚本)的部分中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。可以部署计算机程序以在一个计算机上或在位于一个站点上或分布在多个站点上并通过通信网络互连的多个计算机上执行。
本文件中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
举例来说，适合于执行计算机程序的处理器包括通用和专用微处理器、以及任何种类的数字计算机的任一项或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，以从该一个或多个大容量存储设备接收数据，或将数据传输到该一个或多个大容量存储设备，或者既接收又传递数据。然而，计算机不需要具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
虽然本专利文件包括许多细节，但这些细节不应被解释为对任何发明或可要求保护的范围的限制，而是作为特定于特定发明的特定实施例的特征的描述。在本专利文件中，在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实现。此外，尽管上面的特征可以描述为以某些组合起作用并且甚至最初如此要求权利保护，但是在某些情况下，可以从所要求保护的组合中去除来自该组合的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按顺序执行这样的操作，或者执行所有示出的操作，以实现期望的结果。此外，在本专利文件中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都要求这种分离。
仅描述了几个实现方式和示例，并且可以基于本专利文件中描述和示出的内容来做出其他实现方式、增强和变型。

Claims (57)

1.一种用于处理视频的方法，包括：
基于使用与当前视频块相关联的至少一个变量的n阶多项式模型，使用帧内预测编解码方案进行所述当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示。
2.如权利要求1所述的方法，其中n阶多项式模型使用一个变量。
3.如权利要求2所述的方法，其中所述一个变量表示以下的一个：待预测的样点和所述当前视频块左侧边界之间沿着水平方向的距离、待预测的样点和所述当前视频块顶边界之间沿着垂直方向的距离、待预测的样点和所述当前视频块左侧边界或顶边界之间沿着角度预测方向的距离。
4.如权利要求1所述的方法，其中所述n阶多项式模型使用两个变量。
5.如权利要求4所述的方法，其中所述两个变量中的一个变量表示待预测的样点和所述当前视频块左侧边界之间沿着水平方向的距离，并且所述两个变量中的另一个变量表示所述样点和所述当前视频块的顶边界之间沿着垂直方向的距离。
6.如权利要求4所述的方法，其中所述两个变量中的一个变量表示待预测的样点和所述当前视频块左侧边界或顶边界之间沿着角度预测方向的距离，并且所述两个变量中的另一个变量表示所述样点和所述当前视频块的左侧边界或顶边界之间的沿着与所述角度预测方向垂直的方向的距离。
7.如权利要求1-6任一项所述的方法，其中推导用于所述n阶多项式模型的多组参数，所述多组参数中的每一个将应用于所述当前视频块的一组样点。
8.如权利要求7所述的方法，其中所述当前视频块的一组样点包括沿着某个预测方向的同一条线上的样点。
9.如权利要求1-6任一项所述的方法，其中推导用于所述n阶多项式模型的一组参数，其中所述一组参数应用于所述当前视频块的每一个样点。
10.如权利要求7-9任一项所述的方法，其中所述n阶多项式模型的多组参数中的某些参数被强制为零。
11.如权利要求2或3所述的方法，其中n为3，并且所述n阶多项式模型为f(x)＝a0+a1x+a2x2+a3x3,其中x是所述一个变量。
12.如权利要求2所述的方法，其中n为2，并且所述n阶多项式模型为f(x)＝a0+a1x+a2x2，其中x是所述一个变量。
13.如权利要求4-6任一项所述的方法，其中所述n阶多项式模型为
Figure FDA0003120310960000021
其中x是所述两个变量中的一个变量，y是所述两个变量中的另一个变量。
14.如权利要求13所述的方法，其中推导ak和bk，其中ck为零。
15.如权利要求11-14任一项所述的方法，其中f(x)表示所述当前视频块的样点的预测样点值。
16.如权利要求7-8任一项所述的方法，其中第一组相邻样点用于推导第一组参数，并且与所述第一组相邻样点不同的第二组相邻样点用于推导与所述第一组参数不同的第二组参数。
17.如权利要求16所述的方法，其中所述n阶多项式模型使用一个变量，其中所述第一组相邻样点在沿预测方向的第一条线中，并且所述第二组相邻样点在沿所述预测方向的第二条线中，其中所述第一条线不同于所述第二条线。
18.如权利要求16所述的方法，其中所述n阶多项式模型使用两个变量，其中所述第一组相邻样点在沿着所述预测方向的第一条线中或者在靠近沿着所述预测方面的第一条线的多条线中，并且所述第二组相邻样点在沿着所述预测方向的第二条线中或者在靠近沿着所述预测方面的第二条线的多条线中。
19.如权利要求17-18中任一项所述的方法，其中所述预测方向是角度方向、水平方向和垂直方向中的一个。
20.如权利要求16-19中任一项所述的方法，其中使用所述第一组参数来预测沿预测方向的所述第一条线中的所述当前视频块的样点，并且使用所述第二组参数来预测沿所述预测方向的所述第二条线中的所述当前视频块的样点。
21.如权利要求16所述的方法，其中，对于预测方向，如果存在与当前样点有关的在上行和左列二者中的可用的相邻样点，则对在沿所述预测方向的预测线中的样点推导不同的参数组。
22.如权利要求16-21中任一项所述的方法，其中，对于所述n阶多项式模型，n+1个相邻样点被用于推导所述n阶多项式模型的参数，其中n是大于或等于0的整数。
23.如权利要求16-22中任一项所述的方法，其中对于所述n阶多项式模型，多于n+1个相邻样点被用于推导所述n阶多项式模型的参数，其中n是大于或等于0的整数。
24.如权利要求16-23中任一项所述的方法，其中所述第一组相邻样点包括第一数量的样点，并且所述第二组相邻样点包括第二数量的样点，其中所述第一数量和所述第二数量不同。
25.如权利要求16-24中任一项所述的方法，其中基于所述相邻样点与待预测的当前样点之间的距离以及所应用的帧内预测编解码方案中的至少一个，选择第一组相邻样点和所述第二组相邻样点中的一个或两个。
26.如权利要求16所述的方法，其中推导所述第一组参数和所述第二组参数是基于关于相邻重建样点的可用性的确定。
27.如权利要求25所述的方法，其中如果相邻样点还未被解码，则其被确定为不可用。
28.如权利要求25所述的方法，其中如果相邻样点与所述当前样点不在同一条带、同一片组、同一片或同一编解码树单元(CTU)线中，则所述相邻样点被确定为不可用。
29.如权利要求25所述的方法，其中如果相邻样点不是帧内编解码的，则将所述相邻样点确定为不可用。
30.一种用于处理视频的方法，包括：
基于使用与所述当前视频块相关联的第一变量的n阶多项式模型，使用帧内预测编解码方案进行当前视频块和所述当前视频块的比特流表示之间的转换，其中n是大于或等于0的整数，其中所述转换包括从所述比特流表示生成所述当前视频块或从所述当前视频块生成所述比特流表示，
其中使用所述n阶多项式模型来应用跨分量预测。
31.如权利要求30所述的方法，其中所述n阶多项式模型为f(x)＝a0+a1x+a2x2+a3x3 orf(x)＝a0+a1x+a2x2，其中x是所述第一变量，x表示第一颜色分量的样点值，并且f(x)表示第二颜色分量的预测样点值，所述第一颜色分量和所述第二颜色分量不同。
32.如权利要求30所述的方法，其中所述n阶多项式模型为f(x)＝a0+a1x+a2x2+a3x3或f(x)＝a0+a1x+a2x2，其中x是所述第一变量，并且当推导所述n阶多项式模型的参数时，x表示所述当前视频块的第一颜色分量的相邻样点值，并且f(x)表示所述当前视频块的第二颜色分量的对应的相邻样点值，所述第一颜色分量和第二颜色分量不同。
33.如权利要求30-32中任一项所述的方法，其中所述第一颜色分量和所述第二颜色分量的相邻样点值由滤波器处理以生成滤波的样点值，并且所述滤波的样点值被用于推导所述n阶多项式模型的参数。
34.如权利要求30所述的方法，其中对不同的颜色分量推导不同的参数。
35.如权利要求1-34中任一项所述的方法，其中相邻样点由滤波器处理以生成滤波的相邻样点，并且所述滤波的相邻样点被用于推导所述n阶多项式模型的参数。
36.如权利要求1-34中任一项所述的方法，其中分数位置的相邻样点被用于推导所述参数，并且所述分数的相邻样点使用整数位置的相邻样点进行内插。
37.如权利要求1-34中任一项所述的方法，其中所述n阶多项式模型的参数从颜色分量推导并且被用于其他颜色分量。
38.如权利要求1-34中任一项所述的方法，其中所述n阶多项式模型的参数对于一个块中的所有样点是固定的。
39.如权利要求1-34中任一项所述的方法，其中相邻样点在被用于推导所述n阶多项式模型的参数之前被下采样。
40.如权利要求1-34中任一项所述的方法，其中所述方法被用作为除了当前现有的帧内预测模式之外的新的帧内预测模式。
41.如权利要求1-34中任一项所述的方法，其中所述方法被用作除了当前现有的方式以外的推导帧内预测块的新的方式，并且其中对于每个帧内预测模式，或者部分允许的帧内预测模式，信令通知指示是否使用所述基于多项式模型的帧内预测方法的语法。
42.如权利要求1-35中任一项所述的方法，其中以块、编解码单元(CU)、条带头、片头、视频参数集(VPS)、序列参数集(SPS)或图片参数集(PPS)来信令通知指示所述n阶多项式模型的使用的标志。
43.如权利要求42所述的方法，其中上下文自适应算术二进制编解码被用于编码所述标志。
44.如权利要求43所述的方法，其中一个或多个上下文被用于编码所述标志，并且当使用多于一个上下文时，所述上下文的选择基于相邻视频块的多项式模型标志。
45.如权利要求42-44中任一项所述的方法，其中所述标志还指示对于所述当前视频块使用传统帧内预测方法或基于多项式模型的帧内预测方法。
46.如权利要求42-44中任一项所述的方法，其中在对帧内预测模式进行解码之前对所述标志进行解码，并且其中如果所述标志指示所述基于多项式模型的帧内预测方法被用于解码所述当前视频块，则避免对所述帧内预测模式进行解码。
47.如权利要求1-34中任一项所述的方法，其中所述n阶多项式模型的一些参数是默认值并且不被推导。
48.如权利要求1-34中任一项所述的方法，其中所述n阶多项式模型仅应用于亮度颜色分量。
49.如权利要求1-34中任一项所述的方法，其中所述n阶多项式模型基于所述当前视频块的块尺寸或块形状而被使用。
50.如权利要求1-34中任一项所述的方法，其中所述方法用于某些帧内预测模式，并且对于其他剩余的帧内预测模式被禁用，并且当所述方法被禁用时，避免信令通知所述方法的任何指示。
51.如权利要求1-34中任一项所述的方法，其中通过应用所述n阶多项式模型而生成的值在用作预测值之前被修剪。
52.如权利要求51所述的方法，其中
Figure FDA0003120310960000051
Figure FDA0003120310960000052
且
Figure FDA0003120310960000053
Figure FDA0003120310960000054
其中off为0，或off＝2(S–1)，并且Clip3是修剪预测值的函数。
53.如权利要求52所述的方法，其中Clip3(x)＝max(0，min(MaxValue，x))，并且其中MaxValue为2Bitdepth-1，并表示给定颜色分量/给定块/给定CTU/给定CTU行的最大允许的值。
54.如权利要求52所述的方法，其中Clip3(x)＝max(0，min(MaxValue，x))，并且其中MaxValue从条带到条带、从片到片或从图片到图片变化，其中MaxValue表示给定颜色分量/给定块/给定CTU/给定CTU行的最大允许的值。
55.一种视频解码装置，包括处理器，所述处理器被配置为实现如权利要求1至54中的一个或多个中所述的方法。
56.一种视频编码设备，包括处理器，所述处理器被配置为实现如权利要求1至54中的一个或多个中所述的方法。
57.一种其上存储有计算机代码的计算机程序产品，所述代码在由处理器执行时使处理器实现如权利要求1至54中任一项所述的方法。
CN201980083978.XA 2018-12-21 2019-12-23 使用多项式模型的帧内预测 Active CN113196763B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/122712 2018-12-21
CN2018122712 2018-12-21
PCT/CN2019/127579 WO2020125803A1 (en) 2018-12-21 2019-12-23 Intra prediction using polynomial model

Publications (2)

Publication Number Publication Date
CN113196763A true CN113196763A (zh) 2021-07-30
CN113196763B CN113196763B (zh) 2024-04-12

Family

ID=71100226

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980083815.1A Active CN113228656B (zh) 2018-12-21 2019-12-23 使用多项式模型的帧间预测
CN201980083978.XA Active CN113196763B (zh) 2018-12-21 2019-12-23 使用多项式模型的帧内预测

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980083815.1A Active CN113228656B (zh) 2018-12-21 2019-12-23 使用多项式模型的帧间预测

Country Status (3)

Country Link
US (2) US11711516B2 (zh)
CN (2) CN113228656B (zh)
WO (2) WO2020125803A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992913A (zh) * 2021-12-29 2022-01-28 康达洲际医疗器械有限公司 一种可适用于vvc编码标准的帧内跨分量预测方法与系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020125803A1 (en) 2018-12-21 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra prediction using polynomial model
WO2023089230A2 (en) * 2021-11-16 2023-05-25 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2024081734A1 (en) * 2022-10-13 2024-04-18 Bytedance Inc. Method, apparatus, and medium for video processing

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767817B1 (en) * 2011-04-07 2014-07-01 Google Inc. Apparatus and method for coding using parameterized equation
CN104380745A (zh) * 2012-06-22 2015-02-25 联发科技股份有限公司 用于图层间与视图间编码的自适应帧内预测方法及其装置
CN105075270A (zh) * 2013-03-25 2015-11-18 高通股份有限公司 在视频译码中停用正负号数据隐藏
CN105430403A (zh) * 2007-04-17 2016-03-23 高通股份有限公司 用于帧内译码的逐像素加权
CN105635737A (zh) * 2010-04-09 2016-06-01 Lg电子株式会社 处理视频数据的方法和装置
WO2017084577A1 (en) * 2015-11-18 2017-05-26 Mediatek Inc. Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
US20170223379A1 (en) * 2014-09-04 2017-08-03 Mediatek Inc. Method of Block Vector Clipping and Coding for Screen Content Coding and Video Coding
WO2017160117A1 (ko) * 2016-03-17 2017-09-21 세종대학교 산학협력단 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
US20170280157A1 (en) * 2010-12-22 2017-09-28 Lg Electronics Inc. Intra prediction method and apparatus using the method
WO2017192898A1 (en) * 2016-05-05 2017-11-09 Vid Scale, Inc. Control-point based intra direction representation for intra coding
WO2018070898A1 (en) * 2016-10-14 2018-04-19 Huawei Technologies Co., Ltd Devices and methods for video coding
CN108293130A (zh) * 2015-11-27 2018-07-17 联发科技股份有限公司 通过帧内预测的视频编解码的装置及方法
TW201841506A (zh) * 2017-03-10 2018-11-16 聯發科技股份有限公司 用於視訊編解碼中具有畫面內方向預測模式之內含畫面內編解碼工具設定的方法和裝置
WO2018219925A1 (en) * 2017-05-31 2018-12-06 Interdigital Vc Holdings, Inc. Method and apparatus for signalling bi-directional intra prediction in video encoding and decoding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1791216A (zh) * 2004-12-14 2006-06-21 凌阳科技股份有限公司 快速多个参考帧的移动估测方法
EP2047687B1 (en) * 2006-08-02 2018-05-16 Thomson Licensing DTV Adaptive geometric partitioning for video encoding
CN101127914A (zh) * 2007-10-08 2008-02-20 威盛电子股份有限公司 预测模式参数产生方法与装置
KR101700966B1 (ko) * 2008-01-10 2017-01-31 톰슨 라이센싱 인트라 예측 비디오의 조명 보상 방법 및 장치
CN103096055B (zh) * 2011-11-04 2016-03-30 华为技术有限公司 一种图像信号帧内预测及解码的方法和装置
US10123019B2 (en) * 2014-02-13 2018-11-06 Dolby Laboratories Licensing Corporation Piecewise inter-layer prediction for signals with enhanced dynamic range
US10129558B2 (en) 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10425648B2 (en) 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
WO2018045108A1 (en) 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
EP3518536A1 (en) 2018-01-26 2019-07-31 Thomson Licensing Method and apparatus for adaptive illumination compensation in video encoding and decoding
WO2020125803A1 (en) 2018-12-21 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra prediction using polynomial model

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430403A (zh) * 2007-04-17 2016-03-23 高通股份有限公司 用于帧内译码的逐像素加权
CN105635737A (zh) * 2010-04-09 2016-06-01 Lg电子株式会社 处理视频数据的方法和装置
US20170280157A1 (en) * 2010-12-22 2017-09-28 Lg Electronics Inc. Intra prediction method and apparatus using the method
US8767817B1 (en) * 2011-04-07 2014-07-01 Google Inc. Apparatus and method for coding using parameterized equation
CN104380745A (zh) * 2012-06-22 2015-02-25 联发科技股份有限公司 用于图层间与视图间编码的自适应帧内预测方法及其装置
CN105075270A (zh) * 2013-03-25 2015-11-18 高通股份有限公司 在视频译码中停用正负号数据隐藏
US20170223379A1 (en) * 2014-09-04 2017-08-03 Mediatek Inc. Method of Block Vector Clipping and Coding for Screen Content Coding and Video Coding
WO2017084577A1 (en) * 2015-11-18 2017-05-26 Mediatek Inc. Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
CN108293130A (zh) * 2015-11-27 2018-07-17 联发科技股份有限公司 通过帧内预测的视频编解码的装置及方法
WO2017160117A1 (ko) * 2016-03-17 2017-09-21 세종대학교 산학협력단 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
WO2017192898A1 (en) * 2016-05-05 2017-11-09 Vid Scale, Inc. Control-point based intra direction representation for intra coding
WO2018070898A1 (en) * 2016-10-14 2018-04-19 Huawei Technologies Co., Ltd Devices and methods for video coding
TW201841506A (zh) * 2017-03-10 2018-11-16 聯發科技股份有限公司 用於視訊編解碼中具有畫面內方向預測模式之內含畫面內編解碼工具設定的方法和裝置
WO2018219925A1 (en) * 2017-05-31 2018-12-06 Interdigital Vc Holdings, Inc. Method and apparatus for signalling bi-directional intra prediction in video encoding and decoding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEXEY FILIPPOV: "CE3.7.2: Distance-Weighted Directional Intra Prediction (DWDIP)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018》, pages 1 - 4 *
GEERT VAN DER AUWERA: "CE3: Simplified PDPC (Test 2.4.1)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018》, pages 1 - 6 *
GUILLAUME LAROCHE ET AL: "Non-CE3: On cross-component linear model simplification", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018》, pages 1 - 7 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992913A (zh) * 2021-12-29 2022-01-28 康达洲际医疗器械有限公司 一种可适用于vvc编码标准的帧内跨分量预测方法与系统
CN113992913B (zh) * 2021-12-29 2022-05-17 康达洲际医疗器械有限公司 一种可适用于vvc编码标准的帧内跨分量预测方法与系统

Also Published As

Publication number Publication date
US11711516B2 (en) 2023-07-25
US11595657B2 (en) 2023-02-28
WO2020125804A1 (en) 2020-06-25
CN113228656A (zh) 2021-08-06
CN113228656B (zh) 2023-10-31
US20210297689A1 (en) 2021-09-23
WO2020125803A1 (en) 2020-06-25
US20210297670A1 (en) 2021-09-23
CN113196763B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN113661713B (zh) 根据基于矩阵的帧内预测的变换编码
CN110933424B (zh) 一个帧内编码块的多个预测块
JP7403555B2 (ja) イントラコーディングモードにおけるマトリクスの導出
JP2024003124A (ja) 行列ベースイントラ予測における制約されたアップサンプリングプロセス
CN113228656B (zh) 使用多项式模型的帧间预测
CN113273203B (zh) 两步交叉分量预测模式
JP2022534320A (ja) マトリクスベースイントラ予測のためのコンテキスト決定
WO2020182207A1 (en) Partitions on sub-block transform mode
CN113545036A (zh) 对环路内滤波的限制
CN110868604B (zh) 与扩展四叉树相关的分割的二值化
CN113728636B (zh) 编解码视频中二次变换的选择性使用
JP2023164589A (ja) フィルタリングを用いた行列ベースイントラ予測
JP2022526244A (ja) ハイブリッドビデオコード化のためのエンコーダ、デコーダ、方法、およびビデオビットストリーム、ならびにコンピュータプログラム
CN116233470A (zh) 指示高级语法的编码器、解码器以及对应方法
CN115176474A (zh) 多参数模型的跨分量预测
CN113728640A (zh) 帧内预测和残差编解码
CN114223200B (zh) 位置相关帧内预测样点滤波
CN113994679A (zh) 关于上下文编解码二进制位的数量的限制
CN113728631B (zh) 帧内子块分割和多变换选择
JP7416974B2 (ja) 映像コーディングにおけるスライスタイプ
WO2023246901A1 (en) Methods and apparatus for implicit sub-block transform coding
CN117121481A (zh) 单独树编解码限制
CN110944198A (zh) 色度模式帧内编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant