CN114051735A

CN114051735A - 基于矩阵的帧内预测中的一步下采样过程

Info

Publication number: CN114051735A
Application number: CN202080040204.1A
Authority: CN
Inventors: 邓智玭; 张凯; 张莉; 刘鸿彬; 许继征
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-05-31
Filing date: 2020-05-28
Publication date: 2022-02-15
Anticipated expiration: 2040-05-28
Also published as: WO2020239018A1; CN114051735B; EP3959876A4; US20230039865A1; JP2024003124A; JP2022535726A; WO2020239017A1; US11943444B2; US20240121396A1; US11451784B2; KR20220013939A; EP3959876A1; CN113924775A; CN113924775B; US20220014752A1

Abstract

描述了数字视频编解码的装置、系统和方法，其包含用于视频编解码的基于矩阵的帧内预测方法。在代表性方面中，视频处理的方法包含，使用基于矩阵的帧内预测(MIP)模式进行视频的当前视频块与当前视频块的比特流表示之间的转换，其中所述转换包含在单个阶段中进行边界下采样操作，在所述单个阶段中根据规则至少部分基于当前视频块的参考边界样本来生成当前视频块的减少的边界样本，并且其中所述转换包含使用当前视频块的减少的边界样本进行矩阵矢量乘法运算。

Description

基于矩阵的帧内预测中的一步下采样过程

相关申请的交叉引用

在适用专利法和/或根据巴黎公约的规则，本申请及时要求提交于2019年5月31日的国际专利申请号PCT/CN2019/089590的优先权。出于法律下的全部目的，前述申请的全部公开通过引用并入作为本申请的公开的一部分。

技术领域

本专利文档涉及视频编解码技术、装置和系统。

背景技术

尽管视频压缩取得进展，但数字视频仍占据互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接的用户装置的数目增加，期望对数字视频使用的带宽需求将继续增长。

发明内容

描述了涉及数字视频编解码的装置、系统和方法，并且特别是用于视频编解码的基于矩阵的帧内预测方法。所描述的方法可以应用于现有视频编解码标准(例如，高效视频编解码(HEVC))和未来视频编解码标准(例如，多功能视频编解码(VVC))或编码器。

在一个代表性方面中，本公开的技术可以用于提供视频处理的方法。该示例性方法包含使用基于矩阵的帧内预测(MIP)模式进行视频的当前视频块与当前视频块的比特流表示之间的转换，在基于矩阵的帧内预测模式中，当前视频块的预测块是通过对视频的先前编解码的样本进行以下而确定的：进行边界下采样操作，之后进行矩阵矢量乘法运算，并且之后选择性地进行上采样操作，其中所述转换包含在单个阶段中进行边界下采样操作，在所述单个阶段中，根据规则至少部分基于参考当前视频块的边界样本而生成当前视频块的减少的边界样本，并且其中转换包含使用当前视频块的减少的边界样本进行矩阵矢量乘法运算。

在另一代表性方面中，本公开的技术可以用于提供视频处理的方法。该示例性方法包含使用基于矩阵的帧内预测(MIP)模式进行视频的当前视频块与当前视频块的比特流表示之间的转换，在基于矩阵的帧内预测模式中，当前视频块的最终预测块是通过对视频的先前编解码的样本进行以下而确定的：进行边界下采样操作，之后进行矩阵矢量乘法运算，并且之后进行上采样操作，其中所述转换包含进行上采样操作，在所述上采样操作中，通过根据规则使用当前视频块的减少的预测块并通过使用当前视频块的重构的邻域样本而确定最终预测块，并且其中通过对当前视频块的减少的边界样本进行矩阵矢量乘法运算而获得减少的预测块。

在另一代表性方面中，本公开的技术可以用于提供视频处理的方法。该示例性方法包含确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的，基于该确定，基于非ALWIP帧内模式的MPM列表的至少一部分构建ALWIP模式的最可能模式(MPM)列表的至少一部分，以及基于ALWIP模式的MPM列表，进行当前视频块与当前视频块的比特流表示之间的转换。

在另一代表性方面中，本公开的技术可以用于提供视频处理的方法。该示例性方法包含确定当前视频块的亮度分量是使用仿射线性加权帧内预测(ALWIP)模式编解码的，基于该确定推断色度帧内模式，以及基于色度帧内模式进行当前视频块与当前视频块的比特流表示之间的转换。

在又一代表性方面中，本公开的技术可以用于提供视频处理的方法。该示例性方法包含确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的，以及基于所述确定进行当前视频块与当前视频块的比特流表示之间的转换。

在又一代表性方面中，本公开的技术可以用于提供视频处理的方法。该示例性方法包含确定当前视频块是使用与仿射线性加权帧内预测(ALWIP)模式不同的编解码模式，以及基于所述确定进行当前视频块与当前视频块的比特流表示之间的转换。

在又一代表性方面中，本公开的技术可以用于提供视频处理的方法。该示例性方法包含使用仿射线性加权帧内预测(ALWIP)模式为当前视频块生成第一预测，基于第一预测使用位置相关的帧内预测组合(PDPC)生成第二预测，以及基于第二预测进行当前视频块与当前视频块的比特流表示之间的转换。

在又一代表性方面中，本公开的技术可以用于提供视频处理的方法。该示例性方法包含确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的，基于ALWIP模式预测当前视频块的多个子块，以及基于预测进行当前视频块与当前视频块的比特流表示之间的转换。

在又一代表性方面中，公开了视频处理的方法。该方法包含基于当前视频块的规则确定指示在当前视频块与当前视频块的比特流表示之间的转换期间使用仿射线性加权帧内预测(ALWIP)模式的标志的上下文，基于ALWIP模式预测当前视频块的多个子块，以及基于预测进行当前视频块与当前视频块的比特流表示之间的转换。

在又一代表性方面中，公开了视频处理的方法。该方法包含确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的，以及在当前视频块与当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样本进行至少两个滤波阶段，其中至少两个滤波阶段中的第一滤波阶段中的样本的第一精度不同于至少两个滤波阶段的第二滤波阶段中的样本的第二精度。

在又一方面中，公开了视频处理的方法。方法包含确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的，在当前视频块与当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样本进行至少两个滤波阶段，其中在进行垂直和水平上采样两者的情况下以固定顺序进行上采样过程。

在又一方面中，公开了视频处理的方法。方法包含确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的，在当前视频块与当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样本进行至少两个滤波阶段，其中转换包含在上采样过程之前进行转置操作。

在又一代表性方面中，上述方法实现为处理器可执行代码的形式并储存在计算机可读程序介质中。

在又一代表性方面中，公开了配置为或可操作为进行上述方法的装置。装置可以包含编程为实现该方法的处理器。

在又一代表性方面中，视频解码器设备可以实现本文所描述的方法。

附图、所描述和权利要求中更详细地描述了本公开的技术的以上和其他方面和特征。

附图说明

图1示出了33个帧内预测方向的示例。

图2示出了67个帧内预测模式的示例。

图3示出了用于导出线性模型的权重的样本的位置的示例。

图4示出了邻域预测块的四个参考线的示例。

图5A和图5B示出了取决于块大小的子分割的示例。

图6示出了4×4块的ALWIP的示例。

图7示出了8×8块的ALWIP的示例。

图8示出了8×4块的ALWIP的示例。

图9示出了16×16块的ALWIP的示例。

图10示出了使用MPM列表内构建的邻域块的示例。

图11示出了根据本公开的技术的基于矩阵的帧内预测的示例性方法的流程图。

图12示出了根据本公开的技术的基于矩阵的帧内预测的另一示例性方法的流程图。

图13示出了根据本公开的技术的基于矩阵的帧内预测的又一示例性方法的流程图。

图14示出了根据本公开的技术的基于矩阵的帧内预测的又一示例性方法的流程图。

图15是用于实现本文档中所描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。

图16示出了邻域块的示例。

图17是所提议的减少的边界样本生成的示例。

图18示出了所提议的使用原始重构的邻域样本的上采样的示例。

图19是示出视频解码器的示例的框图。

图20是示出其中可以实现本文所公开的各种技术的示例性视频处理系统的框图。

图21是图示可以采用本公开的技术的示例性视频编解码系统的框图。

图22是图示视频编码器的示例的框图。

图23-24示出了根据本公开的技术的基于矩阵的帧内预测的附加示例性方法的两个流程图。

具体实施方式

由于对更高分辨率视频的增长的需求，视频编解码方法和技术在现代技术中无所不在。视频编码器典型地包含电路或软件，其压缩或解压缩数字视频，并且被持续地改善以提供更高的编解码效率。视频编码器将未压缩的视频转换为压缩格式，反之亦然。以下各项之间存在复杂关系：视频质量、用于表示视频的数据量(由比特率确定)、编码和解码算法的复杂度、对数据损失和错误的敏感度、编辑的容易度、随机访问，以及端到端推迟(延迟)。压缩的格式通常遵循标准视频压缩规范，例如，高效视频编解码(HEVC)标准(已知为H.265或MPEG-H第二部分)、有待定案的多功能视频编解码(VVC)标准，或其他当前和/或未来视频编解码标准。

本公开的技术的实施例可以应用于现有视频编解码标准(例如，HEVC，H.265)和未来标准，以改善运行时性能。章节标题在本文档中用于改善说明书的可读性，而不以任何方式将讨论或实施例(和/或实现方式)仅限制到相应的章节。

1 HEVC的简要概述

1.1 HEVC/H.265中的帧内预测

帧内预测涉及对于给定的TB(变换块)使用之前在所考虑的色彩信道中重构的样本来产生样本。帧内预测模式对于亮度信道和色度信道被分开地信令通知，其中色度信道帧内预测模式经由‘DM_CHROMA’模式而可选地取决于亮度信道帧内预测模式。尽管帧内预测模式在PB(预测块)级被信令通知，但帧内预测过程根据CU的残差四叉树层级而应用在TB级，由此允许一个TB的编解码对CU内的下一TB的编解码具有影响，并且因此减少到用作参考值样本的距离。

HEVC包含35个帧内预测模式——DC模式、平面模式和33个方向或‘角度’帧内预测模式。33个角度帧内预测模式如图1所示。

对于色度色彩信道相关联的PB，帧内预测模式被指定为平面(Planar)、DC、水平、垂直、‘DM_CHROMA’模式或有时指定为对角模式‘34’。

注意到，色度格式4：2：2和4：2：0、色度PB可以(分别)与两个或四个亮度PB重叠；在此情况下，DM_色度的亮度方向取自这些亮度PB的左顶。

DM_CHROMA模式指示亮度色彩信道PB的帧内预测模式应用于色度色彩信道PB。由于这相对常见，intra_chroma_pred_mode的最可能模式编解码方案偏向于选择该模式。

2 VVC中的帧内预测的示例

2.1具有67帧内预测模式的帧内模式编解码

为了捕捉自然视频中存在的任意边缘方向，方向帧内模式的数目从如HEVC中所使用的33扩展到65。附加方向模式图示为图2中的红点箭头，并且平面和DC模式保持相同。这些较密方向帧内预测模式应用于全部块大小且应用于亮度帧内预测和色度帧内预测两者。

2.2跨分量线性模型(CCLM)的示例

在一些实施例中，并且为了减少跨分量冗余，在JEM中使用跨分量线性模型(CCLM)预测模式(也称为LM)，其中基于相同CU的重构的亮度样本通过使用以下线性模型预测色度样本：

pred_C(i，j)＝α·rec_L′(i，j)+β (1)

此处，pred_C(i，j)表示CU中的预测的色度样本且rec_L′(i，j)表示相同CU的下采样的重构的亮度样本。线性模型参数α和β从来自两个样本的亮度值与色度值之间的关系导出，所述两个样本为在该组下采样的邻域亮度样本之内具有最小样本值和具有最大样本的亮度样本，以及它们对应的色度样本。图3示出了左侧和上方样本和CCLM模式中涉及的当前块的样本的位置的示例。

该参数计算作为解码过程的一部分进行，并且不仅作为编码器搜索操作。因此，不使用语法来将α和β值传达到解码器。

对于色度帧内模式编解码，对于色度帧内模式编解码允许总共8个帧内模式。这些模式包含五个传统帧内模式和三个跨分量线性模型模式(CCLM，LM_A，和LM_L)。色度模式编解码直接取决于对应的亮度块的帧内预测模式。由于亮度分量和色度分量的分开的块分割结构在I条带中启用，一个色度块可以对应于多个亮度块。因此，对于色度DM模式，覆盖当前色度块的中央位置的对应的亮度块的帧内预测模式被直接继承。

2.3多参考线(MRL)帧内预测

多参考线(MRL)帧内预测对于帧内预测使用更多参考线。在图4中，图示了4个参考线的示例，其中段A和F的样本不是从重构的邻域样本取回而是分别用来自段B和E的最接近的样本填充。HEVC图片内预测使用最接近参考线(即，参考线0)。在MRL中，使用2个附加的线(参考线1和参考线3)。所选的参考线的索引(mrl_idx)被信令通知并用于生成帧内预测器。对于大于0的参考线idx，仅包含MPM列表中的附加的参考线模式并且仅信令通知mpm索引而不信令通知其余模式。

2.4帧内子分割(ISP)

取决于块大小，帧内子分割(ISP)工具将亮度帧内预测的块垂直地或水平地分为2或4个子分割。例如，ISP的最小块大小为4x8(或8x4)。如果块大小大于4x8(或8x4)，则对应的块被分为4个子分割。图5示出了两种可能的示例。全部子分割满足具有至少16个样本的条件。

对于每个子分割，通过添加残差信令通知到预测信号而获得重构的样本。此处，通过诸如熵解码、逆量化和逆变换的过程而生成残差信令通知。因此，每个子分割的重构的样本值可用于生成下一子分割的预测，并且每个子分割被重复地处理。另外，要处理的第一子分割是含有CU的左顶样本且然后继续向下(水平划分)或向右(垂直划分)的一个子分割。因此，用于生成子分割预测信号的参考样本仅位于线左侧和上方。全部子分割共用相同帧内模式。

2.5仿射线性加权帧内预测(ALWIP或基于矩阵的帧内预测)

在JVET-N0217中提议了仿射线性加权帧内预测(ALWIP，又称基于矩阵的帧内预测(MIP))。

在JVET-N0217中，进行两个测试。在测试1中，ALWIP设计为具有8K字节的存储器限制，并且每个样本最多4个乘法。测试2相似于测试1，但就存储器要求和模型架构而言进一步简化设计。

○对于全部块形状的单组矩阵和偏置矢量。

○对于全部块形状将模式的数目减少到19。

○将存储器要求减少到5760个10位值，即7.20千字节。

○预测的样本的线性插值在每个方向上单步进行，替代第一测试中的迭代插值。

2.5.1 JVET-N0217的测试1

为了预测宽度W和高度H的矩形块的样本，仿射线性加权帧内预测(ALWIP)取块左侧的一行H重构的邻域边界样本和块上方的一行W重构的邻域边界样本作为输入。如果重构的样本不可用，则如常规帧内预测中般将它们生成。

生成预测信号是基于以下三个步骤：

在边界样本之外，通过平均在W＝H＝4的情况下提取四个样本，并且全部其他情况下提取八个样本。

以平均的样本作为输入进行矩阵矢量乘法，之后是添加偏移。结果是原始块中的样本的子采样组的减少的预测信号。

其余位置处的预测信号由子采样组的预测信号通过线性插值而生成，该线性插值是每个方向上的单步线性插值。

生成预测信号所需的矩阵和偏置矢量取自矩阵的三组S₀，S₁，S₂。组S₀由18个矩阵

构成，其中每一个具有16行和4列以及18个偏置矢量

(每个具有16的大小)。该组的矩阵和偏置矢量用于大小4×4的块。组S₁由10个矩阵

构成，其中每一个具有16行和8列以及10个偏置矢量

每个具有16的大小。该组的矩阵和偏置矢量用于大小4×8、8×4和8×8的块。最后，组S₂由6个矩阵

构成，其中每一个具有64行和8列以及6个64的大小的偏置矢量

该组的矩阵和偏置矢量或这些矩阵和偏置矢量的一部分用于全部其他块形状。

计算矩阵矢量乘积中所需的乘法的总数总是小于或等于4×W×H。换而言之，ALWIP模式要求每个样本最多四个乘法。

2.5.2边界的平均

在第一步骤中，输入边界bdry^top和bdry^left被减少到较小边界

和

此处，

和

在4×4块的情况下都由2个样本构成且在全部其他情况下都由4个样本构成。

在4×4块的情况下，对于0≤i＜2，定义

并且类似地定义

否则，如果块宽度W给定为W＝4·2^k，对于0≤i＜4，定义

并且类似地定义

两个减少的边界

和

被连结(concatenate)到减少的边界矢量bdry_red，其因此对于形状4×4的块具有四的大小，且对于全部其他形状的块具有八的大小。如果mode指向ALWIP-模式，则该连结如下定义：

最后，对于子采样的预测信号的插值，在大的块上需要第二版本的平均边界。即，如果min(W，H)＞8且W≥H，则写入W＝8*2^l，并且对于0≤i＜8，定义

如果min(W，H)＞8且H＞W，则类似地定义

2.5.3通过矩阵矢量乘法生成减少的预测信号

由减少的输入矢量bdry_red，生成减少的预测信号pred_red。后者信令通知是对于宽度W_red和高度H_red的下采样的块的信令通知。此处，W_red和H_red定义为：

减少的预测信号pred_red是通过计算矩阵矢量乘积并加上偏移而计算的：

pred_red＝A·bdry_red+b

此处，如果W＝H＝4，则A是具有W_red·H_red行和4列的矩阵，而在全部其他情况下具有8列。b是大小W_red·H_red的矢量。

矩阵A和矢量b如下取自组S₀，S₁，S₂之一。定义索引idx＝idx(W，H)如下：

另外，输入m如下：

然后，如果idx≤1或idx＝2且min(W，H)＞4，则输入

且

在idx＝2且min(W，H)＝4的情况下，通过以下而使A作为所得的矩阵：在W＝4的情况下，略去对应于下采样的块中的奇数x坐标的每行

或在H＝4的情况下，略去对应于下采样的块中的奇数y坐标的每行

最后，减少的预测信号在以下情况下被其转置替代：

-W＝H＝4且mode≥18

-max(W，H)=8且mode≥10

-max(W，H)＞8且mode≥6

在W＝H＝4的情况下，计算pred_red所需乘法的数目是4，因为在此情况下A具有4列和16行。在全部其他情况下，A具有8列和W_red·H_red行，并且立即验证在这些情况下要求8·W_red·H_red≤4·W·H乘法，即也在这些情况下，计算pred_red需要每个样本最多4个乘法。

2.5.4整个ALWIP过程的阐述

在图6-9中对不同形状图示了平均、矩阵矢量乘法和线性插值的整个过程。注意，其余形状视为图示的情况之一。

1.给定4×4块，ALWIP沿着边界的每个轴取两个平均。所得四个输入样本输入矩阵矢量乘法。矩阵取自组S₀。在加上偏移之后，得到16个最终预测样本。线性插值对于生成预测信号不是必要的。因此，每个样本进行总共(4·16)/(4·4)＝4个乘法。

2.给定8×8块，ALWIP沿着边界的每个轴取四个平均。所得八个输入样本输入矩阵矢量乘法。矩阵取自组S₁。得到预测块的奇数位置上的16个样本。因此，每个样本进行总共(8·16)/(8·8)＝2个乘法。在加上偏移之后，这些样本通过使用减少的顶边界而被垂直插值。之后是通过使用原始左边界的水平插值。

3.给定8×4块，ALWIP沿着边界的水平轴取四个平均和左边界上的四个原始边界值。所得八个输入样本输入矩阵矢量乘法。矩阵取自组S₁。得到预测块的奇数水平和每个垂直位置上的16个样本。因此，每个样本进行总共(8·16)/(8·4)＝4个乘法。在加上偏移之后，这些样本通过使用原始左边界被水平插值。

4.给定16×16块，ALWIP沿着边界的每个轴取四个平均。所得八个输入样本输入矩阵矢量乘法。下采样操作的两个阶段被用于生成四个平均。首先，每连续两个样本被用于导出一个下采样的值，因此，可以获得顶/左邻域的8个平均。第二，每侧8个平均可以被进一步下采样以生成每侧4个平均。4个平均被用于导出减少的预测信号。另外，每侧8个平均被进一步用于经由减少的预测信号的子采样来生成最终预测块。矩阵取自组S₂。得到预测块的奇数位置上的64个样本。因此，每个样本进行总共(8·64)/(16·16)＝2个乘法。在加上偏移之后，这些样本通过使用顶边界的八个平均而被垂直插值。之后是通过使用原始左边界的水平插值。在此情况下，插值过程不增加任何乘法。因此，总共，计算ALWIP预测需要每个样本两个乘法。

对于较大的形状，过程基本上相同，并且易于检查每个样本的乘法的数目小于四。

对于W×8块且W>8，仅水平插值是必要的，因为样本在奇数水平和每个垂直位置给定。

最后对于W×4块且W>8，通过略去对应于沿着下采样的块的水平轴的奇数条目的每行而使A_k作为所得的矩阵。因此，输出大小为32，并且再次地，仅保留进行水平插值。

转置的情况相应地处理。

2.5.5单步线性插值

对于W×H块，其中max(W，H)≥8，由W_red×H_red上的减少的预测信号pred_red通过线性插值产生预测信号。取决于块的形状，线性插值在垂直、水平或两个方向上进行。如果线性插值要应用于两个方向上，则如果W＜H则首先应用在水平方向上，并且否则首先应用在垂直方向上。

不失一般性地考虑W×H块，其中max(W，H)≥8且W≥H。然后，如下进行一维线性插值。在不失一般性的情况下，在垂直方向上描述线性插值足矣。首先，减少的预测信号通过边界信号扩展到顶部。定义垂直上采样因数U_ver＝H/H_red并写入

然后，通过以下定义扩展的减少的预测信号

然后，由此扩展的减少的预测信号，通过以下生成垂直线性插值的预测信号

对于0≤x＜W_red，0≤y＜H_red且0≤k＜U_ver。

2.5.6提议的帧内预测模式的信号化

对于帧内模式中的每个编解码单元(CU)，在比特流中发送标志，该标志指示ALWIP模式是否应用于对应的预测单元(PU)。后者索引的信号化以与JVET-M0043中相同的方式与MRL协调。如果要应用ALWIP模式，则ALWIP模式的索引predmode使用具有3MPMS的MPM-列表被信令通知。

此处，使用上方和左侧PU的帧内模式如下进行MPM的导出。存在三个固定表map_angular_to_alwip_idx，idx∈{0，1，2}，其将ALWIP模式分配到每个常规帧内预测模式predmode_Angular

predmode_ALWIP＝map_angular_to_alwip_idx[predmode_Angular]。

对于具有宽度W和高度H的每个PU定义索引

idx(PU)＝idx(W，H)∈{0，1，2}

其指示ALWIP-参数要从三组中的哪个获取，如章节2.5.3。

如果上方预测单元PU_above可用，与当前PU属于相同CTU且为帧内模式，如果idx(PU)＝idx(PU_above)，并且如果ALWIP应用于PU_above，ALWIP-模式

则

如果上方PU可用，与当前PU属于相同CTU且为帧内模式，并且如果常规帧内预测模式

应用于上方PU，则

在全部其他情况下，则

这意味着该模式不可用。以相同方式但不限制左侧PU需要与当前PU属于相同的CTU，导出模式

最后，提供三个固定默认列表list_idx，idx∈{0，1，2}，其中的每一个含有三个不同的ALWIP模式。通过默认列表list_idx(PU)和模式

和

通过用默认值替换-1以及消除重复而构建三个不同MPM。

ALWIP MPM列表构建中使用的左侧邻域块和上方邻域块是A1和B1，如图10中所示。

2.5.7常规亮度和色度帧内预测模式的适应MPM列表导出

提议的ALWIP模式与常规帧内预测模式的基于MPM的编解码如下协调。常规帧内预测模式的亮度和色度MPM列表导出过程使用固定的表map_alwip_to_angular_idx，idx∈{0，1，2}，其将给定PU上的ALWIP-模式predmode_ALWIP映射到常规帧内预测模式之一

predmode_Angular＝map_alwip_to_angular_idx(PU)[predmode_AAWIP]

对于亮度MPM列表导出，只要遇到使用ALWIP-模式predmode_ALWIP的邻域亮度块，该块被视为如同使用常规帧内预测模式predmode_Angular一般。对于色度MPM列表导出，只要当前亮度块使用LWIP-模式，就使用相同映射来将ALWIP-模式解译到常规帧内预测模式。

2.5.8对应的修改的工作草案

在一些实施例中，如本章节中所描述，已经基于本公开的技术的实施例将涉及intra_lwip_flag，intra_lwip_mpm_flag，intra_lwip_mpm_idx和intra_lwip_mpm_remainder的部分添加到工作草案。

在一些实施例中，如本章节所描述，<开始>和<结束>标记被用于指代基于本公开的技术的实施例对工作草案的添加和修改。

语法表

编解码单元语法

语义

<开始>intra_lwip_flag[x0][y0]等于1指定亮度样本的帧内预测类型是仿射线性加权帧内预测。intra_lwip_flag[x0][y0]等于0指定亮度样本的帧内预测类型不是仿射线性加权帧内预测。

当intra_lwip_flag[x0][y0]不存在时，其被推断为等于0。

语法元素intra_lwip_mpm_flag[x0][y0]，intra_lwip_mpm_idx[x0][y0]和intra_lwip_mpm_remainder[x0][y0]指定亮度样本的仿射线性加权帧内预测模式。阵列索引x0，y0指定所考虑的编解码块的左顶亮度样本相对于图片的左顶亮度样本的位置(x0，y0)。当intra_lwip_mpm_flag[x0][y0]等于1时，仿射线性加权帧内预测模式根据条款8.4.X从邻域帧内预测的编解码单元推断。

当intra_lwip_mpm_flag[x0][y0]不存在时，其被推断为等于1。<结束>

intra_subpartitions_split_flag[x0][y0]指定子分割内划分类型是水平还是垂直。当intra_subpartitions_split_flag[x0][y0]不存在时，其被推断如下：

如果intra_lwip_flag[x0][y0]等于1，则intra_subpartitions_split_flag[x0][y0]被推断为等于0。

否则，以下适用：

如果cbHeight大于MaxTbSizeY，则intra_subpartitions_split_flag[x0][y0]被推断为等于0。

否则(cbWidth大于MaxTbSizeY)，则intra_subpartitions_split_flag[x0][y0]被推断为等于1。

解码过程

8.4.1以帧内预测模式编解码的编解码单元的一般解码过程

对此过程的输入为：

–亮度位置(xCb，yCb)，指定相对于当前图片的左顶亮度样本的当前编解码块的左顶样本，

–变量cbWidth，指定亮度样本中的当前编解码块的宽度，

–变量cbHeight，指定亮度样本中的当前编解码块的高度，

–变量treeType，指定使用单叉数还是双叉树，并且如果使用双叉树，则其指定当前树对应于亮度还是色度分量。

该过程的输出是环路中滤波之前的修改的重构的图片。

使用以下调用如条款8.7.1中所指定的量化参数的导出过程，亮度位置(xCb，yCb)、亮度样本中的当前编解码块的宽度cbWidth和亮度样本中的当前编解码块的高度cbHeight，以及变量treeType作为输入。

当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时，亮度样本的解码过程指定如下：

–如果pcm_flag[xCb][yCb]等于1，则重构的图片修改如下：

S_L[xCb+i][yCb+j]＝

pcm_sample_luma[(cbHeight*j)+i]<<(BitDepth_Y-PcmBitDepth_Y),(8-6)

其中，i＝0..cbWidth-1，j＝0..cbHeight-1

–否则，以下适用：

1.亮度帧内预测模式导出如下：

–如果intra_lwip_flag[xCb][yCb]等于1，使用以下调用条款8.4.X中指定的仿射线性加权帧内预测模式的导出过程，亮度位置(xCb，yCb)、亮度样本中的当前编解码块的宽度cbWidth和亮度样本中的当前编解码块的高度cbHeight作为输入。

–否则，使用以下调用条款8.4.2中指定的亮度帧内预测模式的导出过程，亮度位置(xCb，yCb)、亮度样本中的当前编解码块的宽度cbWidth和亮度样本中的当前编解码块的高度cbHeight作为输入。

2.使用以下调用条款8.4.4.1中所指定的帧内块的一般解码过程，亮度位置(xCb，yCb)、树类型treeType、设定为等于cbWidth的变量nTbW、设定为等于cbHeight的变量nTbH，设定为等于IntraPredModeY[xCb][yCb]的变量predModeIntra，以及设定为等于0的变量cIdx作为输入，并且输出是环路中滤波之前的修改的重构的图片。

…

<开始>

8.4.X仿射线性加权帧内预测模式的导出过程

对此过程的输入为：

–亮度位置(xCb，yCb)，指定相对于当前图片的左顶亮度样本的当前亮度编解码块的左顶样本，

–变量cbWidth，指定亮度样本中的当前编解码块的宽度，

–变量cbHeight，指定亮度样本中的当前编解码块的高度。

在该过程中，导出仿射线性加权帧内预测模式IntraPredModeY[xCb][yCb]。

IntraPredModeY[xCb][yCb]由以下顺序的步骤导出：

1.邻域位置(xNbA，yNbA)和(xNbB，yNbB)分别设定为等于(xCb-1，yCb)和(xCb，yCb-1)。

2.对于被A或B替代的X，变量candLwipModeX导出如下：

–使用以下调用条款6.4.X[Ed.(BB)：邻域块可用性检查过程tbd]中指定的块的可用性导出过程，设定为等于(xCb，yCb)的位置(xCurr，yCurr)和设定为等于(xNbX，yNbX)的邻域位置(xNbY，yNbY)作为输入，并且输出被分配到availableX。

–候选仿射线性加权帧内预测模式candLwipModeX导出如下：

–如果一个或多个以下条件为真，则candLwipModeX设定为等于-1。

–变量availableX等于FALSE。

–CuPredMode[xNbX][yNbX]不等于MODE_INTRA且mh_intra_flag[xNbX][yNbX]不等于1。

–pcm_flag[xNbX][yNbX]等于1。

–X等于B且yCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。

–否则，以下适用：

–使用以下调用条款8.4.X.1中指定的块的大小类型导出过程，亮度样本中的当前编解码块的宽度cbWidth和亮度样本中的当前编解码块的高度cbHeight作为输入，并且输出被分配到变量sizeId。

–如果intra_lwip_flag[xNbX][yNbX]等于1，则使用以下调用条款8.4.X.1中指定的块的大小类型导出过程，亮度样本中的邻域编解码块的宽度nbWidthX和亮度样本中的邻域编解码块的高度nbHeightX作为输入，并且输出被分配到变量sizeIdX。

–如果sizeId等于sizeIdX，则candLwipModeX设定为等于IntraPredModeY[xNbX][yNbX]。

–否则，candLwipModeX设定为等于-1。

–否则，使用表8-X1中所指定的IntraPredModeY[xNbX][yNbX]和sizeId导出candLwipModeX。

3.candLwipModeList[x]，x＝0..2，导出如下，使用表8-X2中指定的lwipMpmCand[sizeId]：

–如果candLwipModeA和candLwipModeB都等于-1，则以下适用：

candLwipModeList[0]＝lwipMpmCand[sizeId][0] (8-X1)

candLwipModeList[1]＝lwipMpmCand[sizeId][1] (8-X2)

candLwipModeList[2]＝lwipMpmCand[sizeId][2] (8-X3)

–否则，以下适用：

–如果candLwipModeA等于candLwipModeB，或如果candLwipModeA或candLwipModeB等于-1，则以下适用：

candLwipModeList[0]＝(candLwipModeA！＝-1)？candLwipModeA：candLwipModeB(8-X4)

–如果candLwipModeList[0]等于lwipMpmCand[sizeId][0]，则以下适用：

candLwipModeList[1]＝lwipMpmCand[sizeId][1] (8-X5)

candLwipModeList[2]＝lwipMpmCand[sizeId][2] (8-X6)

–否则，以下适用：

candLwipModeList[1]＝lwipMpmCand[sizeId][0] (8-X7)

candLwipModeList[2]＝(candLwipModeList[0]！＝lwipMpmCand[sizeId][1])？lwipMpmCand[sizeId][1]：lwipMpmCand[sizeId][2] (8-X8)

–否则，以下适用：

candLwipModeList[0]＝candLwipModeA (8-X9)

candLwipModeList[1]＝candLwipModeB (8-X10)

–如果candLwipModeA和candLwipModeB都不等于lwipMpmCand[sizeId][0]，则以下适用：

candLwipModeList[2]＝lwipMpmCand[sizeId][0] (8-X11)

–否则，以下适用：

–如果candLwipModeA和candLwipModeB都不等于lwipMpmCand[sizeId][1]，则以下适用：

candLwipModeList[2]＝lwipMpmCand[sizeId][1] (8-X12)

–否则，以下适用：

candLwipModeList[2]＝lwipMpmCand[sizeId][2] (8-X13)

4.通过应用以下过程导出IntraPredModeY[xCb][yCb]：

–如果intra_lwip_mpm_flag[xCb][yCb]等于1，则IntraPredModeY[xCb][yCb]设定为等于candLwipModeList[intra_lwip_mpm_idx[xCb][yCb]]。

–否则，导出IntraPredModeY[xCb][yCb]通过应用以下顺序的步骤：

1.当对于i＝0..1且对于每个i，j＝(i+1)..2，candLwipModeList[i]大于candLwipModeList[j]时，二者的值都被如下调换：

(candLwipModeList[i]，candLwipModeList[j])＝Swap(candLwipModeList[i]，candLwipModeList[j]) (8-X14)

2.IntraPredModeY[xCb][yCb]由以下顺序的步骤导出：

i.IntraPredModeY[xCb][yCb]设定为等于intra_lwip_mpm_remainder[xCb][yCb]。

ii.对于i等于0至2，含端点值，当IntraPredModeY[xCb][yCb]大于或等于candLwipModeList[i]时，IntraPredModeY[xCb][yCb]的值加一。

变量IntraPredModeY[x][y](x＝xCb..xCb+cbWidth-1且y＝yCb..yCb+cbHeight-1)被设定为等于IntraPredModeY[xCb][yCb]。

8.4.X.1预测块大小类型的导出过程

对此过程的输入为：

–变量cbWidth，指定亮度样本中的当前编解码块的宽度，

–变量cbHeight，指定亮度样本中的当前编解码块的高度。

该过程的输出是变量sizeId。

变量sizeId导出如下：

–如果cbWidth和cbHeight都等于4，则sizeId设定为等于0。

–否则，如果cbWidth和cbHeightare都小于或等于8，则sizeId设定为等于1。

–否则，sizeId设定为等于2。

表8-X1–帧内预测与仿射线性加权帧内预测模式之间的映射的规范

表8-X2–仿射线性加权帧内预测候选模式的规范

<结束>

8.4.2.亮度帧内预测模式的导出过程

对此过程的输入为：

–变量cbWidth，指定亮度样本中的当前编解码块的宽度，

–变量cbHeight，指定亮度样本中的当前编解码块的高度。

在该过程中，导出亮度帧内预测模式IntraPredModeY[xCb][yCb]。表8-1指定帧内预测模式IntraPredModeY[xCb][yCb]的值和相关联的名称。

表8-1–帧内预测模式和相关联的名称的规范

注–：帧内预测模式INTRA_LT_CCLM，INTRA_L_CCLM和INTRA_T_CCLM仅适用于色度分量。

IntraPredModeY[xCb][yCb]由以下顺序的步骤导出：

1.邻域位置(xNbA，yNbA)和(xNbB，yNbB)分别设定为等于(xCb-1，yCb+cbHeight-1)和(xCb+cbWidth-1，yCb-1)。

2.对于被A或B替代的X，变量candIntraPredModeX导出如下：

–使用以下调用条款<开始>6.4.X[Ed.(BB)：邻域块可用性检查过程tbd]<结束>中所指定的块的可用性导出过程，设定为等于(xCb，yCb)的位置(xCurr，yCurr)和设定为等于(xNbX，yNbX)的邻域位置(xNbY，yNbY)作为输入，并且输出被分配到availableX。

–候选帧内预测模式candIntraPredModeX导出如下：

–如果一个或多个以下条件为真，则candIntraPredModeX设定为等于INTRA_PLANAR。

–变量availableX等于FALSE。

–CuPredMode[xNbX][yNbX]不等于MODE_INTRA且ciip_flag[xNbX][yNbX]不等于1。

–pcm_flag[xNbX][yNbX]等于1。

–X等于B且yCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。

–否则，candIntraPredModeX导出如下：

–如果intra_lwip_flag[xCb][yCb]等于1，则candIntraPredModeX由以下顺序的步骤导出：

i.使用以下调用条款8.4.X.1中指定的块的大小类型导出过程，亮度样本中的当前编解码块的宽度cbWidth和亮度样本中的当前编解码块的高度cbHeight作为输入，并且输出被分配到变量sizeId。

ii.使用表8-X3中指定的IntraPredModeY[xNbX][yNbX]和sizeId导出candIntraPredModeX。

–否则，candIntraPredModeX设定为等于IntraPredModeY[xNbX][yNbX]。

3.变量ispDefaultMode1和ispDefaultMode2如下定义：

–如果IntraSubPartitionsSplitType等于ISP_HOR_SPLIT，则ispDefaultMode1设定为等于INTRA_ANGULAR18且ispDefaultMode2设定为等于INTRA_ANGULAR5。

–否则，ispDefaultMode1设定为等于INTRA_ANGULAR50且ispDefaultMode2设定为等于INTRA_ANGULAR63。

…

表8-X3–仿射线性加权帧内预测与帧内预测模式之间的映射的规范

8.4.3色度帧内预测模式的导出过程

对此过程的输入为：

–亮度位置(xCb，yCb)，指定相对于当前图片的左顶亮度样本的当前色度编解码块的左顶样本，

–变量cbWidth，指定亮度样本中的当前编解码块的宽度，

–变量cbHeight，指定亮度样本中的当前编解码块的高度。

在该过程中，导出色度帧内预测模式IntraPredModeC[xCb][yCb]。

对应的亮度帧内预测模式lumaIntraPredMode导出如下：

–如果intra_lwip_flag[xCb][yCb]等于1，则lumaIntraPredMode由以下顺序的步骤导出：

i.使用以下调用条款8.4.X.1中指定的大小类型导出过程，亮度样本中的当前编解码块的宽度cbWidth和亮度样本中的当前编解码块的高度cbHeight作为输入，并且输出被分配到变量sizeId。

ii.使用表8-X3中指定的IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]和sizeId导出亮度帧内预测模式，并将candIntraPredModeX的值假设为lumaIntraPredMode。

–否则，lumaIntraPredMode设定为等于IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]。

使用表8-2和表8-3中指定的intra_chroma_pred_mode[xCb][yCb]和lumaIntraPredMode导出色度帧内预测模式IntraPredModeC[xCb][yCb]。

…

xxx.帧内样本预测

<开始>

该过程的输入为：

–样本位置(xTbCmp，yTbCmp)，指定相对于当前图片的左顶样本的当前变换块的左顶样本，

–变量predModeIntra，指定帧内预测模式，

–变量nTbW，指定变换块宽度，

–变量nTbH，指定变换块高度，

–变量nCbW，指定编解码块宽度，

–变量nCbH，指定编解码块高度，

–变量cIdx，指定当前块的色彩分量。

该过程的输出为预测的样本predSamples[x][y]，x＝0..nTbW-1，y＝0..nTbH-1。

预测的样本predSamples[x][y]导出如下：

–如果intra_lwip_flag[xTbCmp][yTbCmp]等于1且cIdx等于0，则使用以下调用条款8.4.4.2.X1中指定的仿射线性加权帧内样本预测过程，位置(xTbCmp，yTbCmp)、帧内预测模式predModeIntra、变换块宽度nTbW和高度nTbH作为输入，并且输出为predSamples。

–否则，使用以下调用条款8.4.4.2.X1中指定的一般帧内样本预测过程，位置(xTbCmp，yTbCmp)、帧内预测模式predModeIntra、变换块宽度nTbW和高度nTbH、编解码块宽度nCbW和高度nCbH，以及变量cIdx作为输入，并且输出为predSamples。

8.4.4.2.X1仿射线性加权帧内样本预测

该过程的输入为：

–变量predModeIntra，指定帧内预测模式，

–变量nTbW，指定变换块宽度，

–变量nTbH，指定变换块高度。

使用以下调用条款8.4.X.1中指定的块的大小类型导出过程，变换块宽度nTbW和变换块高度nTbH作为输入，并且输出被分配到变量sizeId。

使用表8-X4中指定的sizeId导出变量numModes、boundarySize、predW、predH和predC。

表8-X4–取决于sizeId的模式的数目、边界样本大小和预测大小的规范

标志isTransposed导出如下：

isTransposed＝(predModeIntra>(numModes/2))？1：0 (8-X15)

标志needUpsBdryHor和needUpsBdryVer导出如下：

needUpsBdryHor＝(nTbW>predW)？TRUE：FALSE (8-X16)

needUpsBdryVer＝(nTbH>predH)？TRUE：FALSE (8-X17)

变量upsBdryW和upsBdryH导出如下：

upsBdryW＝(nTbH>nTbW)？nTbW：predW (8-X18)

upsBdryH＝(nTbH>nTbW)？predH：nTbH (8-X19)

变量lwipW和lwipH导出如下：

lwipW＝(isTransposed＝＝1)？predH：predW (8-X20)

lwipH＝(isTransposed＝＝1)？predW：predH (8-X21)

为生成参考样本refT[x](其中，x＝0..nTbW-1)和refL[y](其中，y＝0..nTbH–1)，使用以下调用条款8.4.4.2.X2中指定的参考样本导出过程，样本位置(xTbCmp，yTbCmp)、变换块宽度nTbW、变换块高度nTbH作为输入，并且顶部和左侧参考样本refT[x](x＝0..nTbW-1)和refL[y](y＝0..nTbH–1)分别作为输出。

为生成边界样本p[x]，x＝0..2*boundarySize-1，以下适用：

–对顶部参考样本使用以下调用条款8.4.4.2.X3中指定的边界减少过程，块大小nTbW、参考样本refT、边界大小boundarySize、上采样边界标志needUpsBdryVer，以及上采样边界大小upsBdryW作为输入，并且减少的边界样本redT[x](x＝0..boundarySize–1)和上采样边界样本upsBdryT[x](x＝0..upsBdryW–1)作为输出。

–对于左侧参考样本使用以下调用条款8.4.4.2.X3中指定的边界减少过程，块大小nTbH、参考样本refL、边界大小boundarySize、上采样边界标志needUpsBdryHor，以及上采样边界大小upsBdryH作为输入，并且减少的边界样本redL[x](x＝0..boundarySize–1)和上采样边界样本upsBdryL[x](x＝0..upsBdryH–1)作为输出。

–减少的顶部和左边界样本redT和redL被如下分配到边界样本阵列p：

–如果isTransposed等于1，则p[x]设定为等于redL[x]，x＝0..boundarySize–1，并且p[x+boundarySize]设定为等于redT[x]，x＝0..boundarySize–1。

–否则，p[x]设定为等于redT[x]，x＝0..boundarySize–1，并且p[x+boundarySize]设定为等于redL[x]，x＝0..boundarySize–1。

对于根据predModeIntra的帧内样本预测过程，以下顺序的步骤适用：

1.仿射线性加权样本predLwip[x][y]，x＝0..lwipW-1，y＝0..lwipH–1，导出如下：

–变量modeId导出如下：

modeId＝predModeIntra-(isTransposed＝＝1)？(numModes/2)：0 (8-X22)

–权重矩阵mWeight[x][y]，x＝0..2*boundarySize-1，y＝0..predC*predC–1，使用表8-XX[TBD：加上权重矩阵]中指定的sizeId和modeId导出。

–偏置矢量vBias[y]，y＝0..predC*predC–1，使用表8-XX[TBD：加上偏置矢量]中指定的sizeId和modeId导出。

–变量sW使用表8-X5中指定的sizeId和modeId导出。

–仿射线性加权样本predLwip[x][y]，x＝0..lwipW-1，y＝0..lwipH–1，导出如下：

oW＝1<<(sW–1) (8-X23)

sB＝BitDepth_Y–1 (8-X24)

incW＝(predC>lwipW)？2：1 (8-X25)

incH＝(predC>lwipH)？2：1 (8-X26)

2.预测的样本predSamples[x][y]，x＝0..nTbW-1，y＝0..nTbH–1，导出如下：

–当isTransposed等于1时，predLwip[x][y](x＝0..predW-1，y＝0..predH–1)设定为等于predLwip[y][x]。

–如果needUpsBdryVer等于TRUE或needUpsBdryHor等于TRUE，则使用以下调用条款8.4.4.2.X4中指定的预测上采样过程，输入块宽度predW、输入块高度predH、仿射线性加权样本predLwip、变换块宽度nTbW、变换块高度nTbH、上采样边界宽度upsBdryW、上采样边界高度upsBdryH、顶部上采样边界样本upsBdryT，以及左侧上采样边界样本upsBdryL作为输入，并且输出为预测的样本阵列predSamples。

–否则，predSamples[x][y](x＝0..nTbW-1，y＝0..nTbH–1)设定为等于predLwip[x][y]。

表8-X5–取决于sizeId和modeId的权重移位sW的规范

8.4.4.2.X2参考样本导出过程

该过程的输入为：

–样本位置(xTbY，yTbY)，指定相对于当前图片的左顶亮度样本的当前变换块的左顶亮度样本，

–变量nTbW，指定变换块宽度，

–变量nTbH，指定变换块高度。

该过程的输出分别为顶部和左侧参考样本refT[x](x＝0..nTbW-1)和refL[y](y＝0..nTbH–1)。

邻域样本refT[x]，x＝0..nTbW-1，和refL[y]，y＝0..nTbH–1是环路中滤波过程之前的构建的样本且被导出如下：

–顶部和左侧邻域亮度位置(xNbT，yNbT)和(xNbL，yNbL)由以下指定：

(xNbT，yNbT)＝(xTbY+x，yTbY-1) (8-X28)

(xNbL，yNbL)＝(xTbY-1，yTbY+y) (8-X29)

–使用以下调用条款6.4.X[Ed.(BB)：邻域块可用性检查过程tbd]中指定的块的可用性导出过程，设定为等于(xTbY，yTbY)的当前亮度位置(xCurr，yCurr)和顶部邻域亮度位置(xNbT，yNbT)作为输入，并且输出被分配到availTop[x]，x＝0..nTbW-1。

–使用以下调用条款6.4.X[Ed.(BB)：邻域块可用性检查过程tbd]中指定的块的可用性导出过程，设定为等于(xTbY，yTbY)的当前亮度位置(xCurr，yCurr)和左侧邻域亮度位置(xNbL，yNbL)作为输入，并且输出被分配到availLeft[y]，y＝0..nTbH-1。

–顶部参考样本refT[x]，x＝0..nTbW–1，导出如下：

–如果全部availTop[x](x＝0..nTbW–1)等于TRUE，位置(xNbT，yNbT)处的样本被分配给refT[x]，x＝0..nTbW–1。

–否则，如果availTop[0]等于FALSE，全部refT[x](x＝0..nTbW–1)设定为等于1<<(BitDepth_Y–1)。

–否则，通过以下顺序的步骤导出参考样本refT[x](x＝0..nTbW–1)：

1.变量lastT设定为等于序列availTop[x](x＝1..nTbW–1)中的等于FALSE的第一个元素的位置x。

2.对于每个x＝0..lastT–1，位置(xNbT，yNbT)处的样本被分配给refT[x]。

3.对于每个x＝lastT..nTbW–1，refT[x]设定为等于refT[lastT–1]。

–左侧参考样本refL[y]，x＝0..nTbH–1，导出如下：

–如果全部availLeft[y](y＝0..nTbH–1)等于TRUE，则位置(xNbL，yNbL)处的样本被分配给refL[y]，y＝0..nTbH–1。

–否则，如果availLeft[0]等于FALSE，则全部refL[y](y＝0..nTbH–1)设定为等于1<<(BitDepth_Y–1)。

–否则，通过以下顺序的步骤导出参考样本refL[y](y＝0..nTbH–1)：

1.变量lastL设定为等于序列availLeft[y](y＝1..nTbH–1)中的等于FALSE的第一个元素的位置y。

2.对于每个y＝0..lastL–1，位置(xNbL，yNbL)处的样本被分配给refL[y]。

3.对于每个y＝lastL..nTbH–1，refL[y]设定为等于refL[lastL–1]。

边界减少过程的规范

该过程的输入为：

–变量nTbX，指定变换块大小，

–参考样本refX[x]，x＝0..nTbX-1，

–变量boundarySize，指定下采样的边界大小，

–标志needUpsBdryX，指定上采样是否要求中间边界样本，

–变量upsBdrySize，指定上采样的边界大小。

该过程的输出为减少的边界样本redX[x]，x＝0..boundarySize–1，和上采样边界样本upsBdryX[x]，x＝0..upsBdrySize–1。

上采样边界样本upsBdryX[x]，x＝0..upsBdrySize–1，导出如下：

–如果needUpsBdryX等于TRUE且upsBdrySize小于nTbX，则以下适用：

uDwn＝nTbX/upsBdrySize (8-X30)

–否则(upsBdrySize等于nTbX)，upsBdryX[x]设定为等于refX[x]。

减少的边界样本redX[x]，x＝0..boundarySize–1导出如下：

–如果boundarySize小于upsBdrySize，则以下适用：

bDwn＝upsBdrySize/boundarySize (8-

–否则(boundarySize等于upsBdrySize)，redX[x]设定为等于upsBdryX[x]。

8.4.4.2.X4预测上采样过程的规范

该过程的输入为：

–变量predW，指定输入块宽度，

–变量predH，指定输入块高度，

–仿射线性加权样本predLwip[x][y]，x＝0..predW-1，y＝0..predH–1，

–变量nTbW，指定变换块宽度，

–变量nTbH，指定变换块高度，

–变量upsBdryW，指定上采样边界宽度，

–变量upsBdryH，指定上采样边界高度，

–顶部上采样边界样本upsBdryT[x]，x＝0..upsBdryW–1，

–左侧上采样边界样本upsBdryL[x]，x＝0..upsBdryH–1。

由predLwip[x][y]，x＝0..predW-1，y＝0..predH–1导出稀疏预测的样本predSamples[m][n]如下：

upHor＝nTbW/predW (8-X34)

upVer＝nTbH/predH (8-X35)

predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝predLwip[x][y] (8-X36)

顶部边界样本upsBdryT[x]，x＝0..upsBdryW–1被分配到predSamples[m][-1]如下：

predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝upsBdryT[x](8-X37)

左边界样本upsBdryL[y]，y＝0..upsBdryH–1被分配到predSamples[-1][n]如下：

predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝upsBdryL[y](8-X38)

预测的样本predSamples[x][y]，x＝0..nTbW-1，y＝0..nTbH–1导出如下：

–如果nTbH大于nTbW，则以下顺序的步骤适用：

1.当upHor大于1时，对于全部稀疏位置(xHor，yHor)＝(m*upHor–1，n*upVer–1)(m＝0..predW-1，n＝1..predH)以dX＝1..upHor–1应用水平上采样，如下：

predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor])/upHor (8-X39)

2.对于全部稀疏位置(xVer，yVer)＝(m，n*upVer–1)(m＝0..nTbW-1，n＝0..predH–1)以dY＝1..upVer–1应用垂直上采样，如下：

predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer])/upVer (8-X40)

–否则，以下顺序的步骤适用：

1.当upVer大于1时，对于全部稀疏位置(xVer，yVer)＝(m*upHor–1，n*upVer–1)(m＝1..predW，n＝0..predH–1)以dY＝1..upVer-1应用垂直上采样，如(8-X40)中指定的。

2.对于全部稀疏位置(xHor，yHor)＝(m*upHor–1，n)(m＝0..predW-1，n＝0..nTbH–1)以dX＝1..upHor–1应用水平上采样，如(8-X39)中指定的。

<结束>

表9-9–语法元素和相关联的二进制化

表9-15–对具有上下文编解码的二进制数(bins)的语法元素的ctxInc的分配

表9-16–使用左侧和上方语法元素的ctxInc的规范

语法元素	condL	condA	ctxSetIdx
				…
intra_lwip_flag[x0][y0]	intra_lwip_flag[xNbL][yNbL]	intra_lwip_flag[xNbA][yNbA]	0
				…

<结束>

ALWIP的概述

为预测宽度W和高度H的矩形块的样本，仿射线性加权帧内预测(ALWIP)取块左侧的一行H个重构的邻域边界样本和块上方的一行W个重构的邻域边界样本作为输入。如果重构的样本不可用，它们如常规帧内预测中一般被生成。ALWIP仅应用于亮度帧内块。对于色度帧内块，应用常规帧内编解码模式。

预测信号的生成基于以下三个步骤：

1.在边界样本之外，通过平均而在W＝H＝4的情况下提取四个样本，并且在全部其他情况提取下八个样本。

2.以平均的样本作为输入进行矩阵矢量乘法，之后是添加偏移。结果是原始块中的子采样的组的样本上的减少的预测信号。

3.其余位置处的预测信号由子采样的组上的预测信号通过线性插值生成，所述线性插值在每个方向上是单步线性插值。

如果要应用ALWIP模式，则ALWIP模式的索引predmode被使用具有3个MPMS的MPM列表信令通知。此处，MPM的导出使用如下的上方和左侧PU的帧内模式。存在三个固定表map_angular_to_alwip_idx，idx∈{0，1，2}，其分配到每个常规帧内预测模式predmode_AngularALWIP模式

predmode_ALWIP＝map_angular_to_alwip_idx[predmode_Angular]。

对于宽度W和高度H的每个PU，每一个定义索引

idx(PU)＝idx(W，H)∈{0，1，2}

其指示ALWIP-参数要取自三组中的哪个。

果上方预测单元PU_above可用，与当前PU属于相同CTU且为帧内模式，

如

如果idx(PU)＝idx(PU_above)，并且如果ALWIP以ALWIP-模式

应用于PU_above，则：

应用于上方PU，则输出

在全部其他情况下，则：

这意味着该模式不可用。以相同方式但不限制左侧PU需要属于与当前PU相同的CTU，导出模式

最后，提供三个固定默认列表list_idx，idx∈{0，1，2}，其中每一个含有三个不同ALWIP模式。从默认列表list_idx(PU)和模式

和

之中，通过用默认值替换-1以及消除重复而构建三个不同MPM。

对于亮度MPM列表导出，只要遇到使用ALWIP-模式predmode_ALWIP的邻域亮度块，该块被视为如同使用常规帧内预测模式predmode_Angular。

predmode_Angular＝map_alwip_to_angular_idx(PU)[predmode_ALWIP]

3 VVC中的变换

3.1多变换选择(MTS)

除HEVC中已经采用的DCT-II之外，多变换选择(MTS)方案被用于残差编解码帧间编解码块和帧内编解码块两者。其使用来自DCT8/DST7的多个所选的变换。新引入的变换矩阵是DST-VII和DCT-VIII。

3.2 JVET-N0193中提议的减少的二次变换(RST)

减少的二次变换(RST)为4x4和8x8块分别应用16x16和16x64不可分离变换。主前向和逆变换仍以与两个1-D水平/垂直变换通过相同的方式进行。二次前向和逆变换是与主变换分开的过程步骤。对于编码器，首先进行主前向变换，然后是二次前向变换和量化，以及CABAC位编码。对于解码器，CABAC位解码和逆量化，然后首先进行二次逆变换，之后是主逆变换。RST在帧内条带和帧间条带中仅应用于帧内编解码TU。

3.3 JVET-N0185中的帧内模式编解码的统一MPM列表

为帧内块提议统一6-MPM列表，其不考虑是否应用多参考线(MRL)和帧内子分割(ISP)编解码工具。基于如VTM4.0中的左侧和上方邻域块的帧内模式来构建MPM列表。假设左侧的模式指代为Left且上方块的模式指代为Above，如下构建统一MPM列表：

·当邻域块不可用时，其帧内模式默认被设定为Planar(平面)。

·如果模式Left和Above都为非角度模式：

a.MPM列表→{Planar，DC，V，H，V-4，V+4}

·如果模式Left和Above之一为角度模式，且另一个为非角度：

a.设定模式Max作为Left和Above中的较大模式

b.MPM列表→{Planar，Max，DC，Max-1，Max+1，Max-2}

·如果Left和Above都为角度且它们不同：

a.设定模式Max作为Left和Above中的较大模式

b.如果模式Left和Above的差在2至62(含端点)的范围内，

i.MPM列表→{Planar，Left，Above，DC，Max-1，Max+1}

c.否则

i.MPM列表→{Planar，Left，Above，DC，Max-2，Max+2}

·如果Left和Above都为角度且它们相同：

a.MPM列表→{Planar，Left，Left-1，Left+1，DC，Left-2}

另外，MPM索引码字的第一二进制数是CABAC上下文编解码的。总共使用三个上下文，对应于当前帧内块是否是启用MRL的、启用ISP的，还是普通帧内块。

统一MPM列表构建中使用的左侧邻域块和上方邻域块是A2和B2，如图10所示。

首先编解码一个MPM标志。如果块是用MPM列表中的模式之一编解码，则进一步编解码MPM索引。否则，编解码对其余模式(排除MPM)的索引。

4现有实现方式中的缺点的示例

JVET-N0217中的ALWIP的设计有以下问题：

1)在2019年3月JVET会议，为MRL模式、ISP模式和普通帧内模式采用统一6-MPM列表生成。但仿射线性加权预测模式使用不同的3-MPM列表构建，其使得MPM列表构建复杂化。复杂的MPM列表构建可能破坏解码器的吞吐量，尤其是对于小块，诸如4x4样本。

2)ALWIP仅应用于块的亮度分量。对于ALWP编解码块的色度分量，色度模式索引被编解码并被发送到解码器，其可能导致不必要的信令通知。

3)应考虑ALWIP与其他编解码工具的交互。

4)当计算

中的upsBdryX时，可能Log2(uDwn)-1等于-1，而左移-1未定义。

5)当上采样预测样本时，不应用取整。

6)在解块过程中，ALWIP编解码块被视为普通帧内块。

7)编解码ALWIP标志(例如，intra_lwip_flag)中使用过多上下文(例如，4)。

8)当要求垂直上采样和水平上采样两者时，上采样顺序取决于块形状。这对硬件不友好。

9)将线性插值滤波用于上采样，这可能是低效的。

10)ALWIP中使用的两阶段下采样方法可能导致不必要的计算复杂度。另外，使用下采样的参考样本来生成上采样的预测块可能是不精确的。

5基于矩阵的帧内编解码的示例性方法

本公开技术的实施例克服现有实现方式的缺点，由此为视频编解码提供更高的编解码效率和更低的计算复杂度。在以下为各种实现方式描述的示例中，阐述了可以增强现有和未来视频编解码标准两者的用于视频编解码的基于矩阵的帧内预测方法(且如本文档中所描述)。以下提供的本公开的技术的示例解释一般概念，并且不解释为限制。在示例中，除非明确相反指示，这些示例中描述的各种特征可以组合。

在以下讨论中，帧内预测模式是指角度帧内预测模式(包含DC、平面、CCLM和其他可能的帧内预测模式)；而帧内模式是指普通帧内模式，或MRL，或ISP或ALWIP。

在以下讨论中，“其他帧内模式”可以指除ALWIP之外的一个或多个帧内模式，诸如普通帧内模式，或MRL，或ISP。

在以下讨论中，SatShift(x，n)定义为

Shift(x，n)定义为Shift(x，n)＝(x+offset0)>>n。

在一个示例中，offset0和/或offset1设定为(1<<n)>>1或(1<<(n-1))。在另一示例中，offset0和/或offset1设定为0。

在另一示例中，offset0＝offset1＝((1<<n)>>1)-1或((1<<(n-1)))-1。

Clip3(min，max，x)定义为

ALWIP的MPM列表构建

1.提议，可以根据构建非ALWIP帧内模式(诸如普通帧内模式、MRL，或ISP)的MPM列表的整体或部分过程构建ALWIP的MPM列表的整体或部分。

a.在一个示例中，ALWIP的MPM列表的大小可以与非ALWIP帧内模式的MPM列表的大小相同。

i.例如，对于ALWIP和非ALWIP帧内模式，MPM列表的大小都为6。

b.在一个示例中，可以从非ALWIP帧内模式的MPM列表导出ALWIP的MPM列表。

i.在一个示例中，可以首先构建非ALWIP帧内模式的MPM列表。之后，它们的部分或全部可以被转换为MPM，其可以被进一步添加到ALWIP编解码块的MPM列表。

1)替代地，另外，当将转换的MPM添加到ALWIP编解码块的MPM列表时，可以应用修剪。

2)默认模式可以被添加到ALWIP编解码块的MPM列表。

a.在一个示例中，可以在从非ALWIP帧内模式的MPM列表转换的模式之前添加默认模式。

b.替代地，可以在从非ALWIP帧内模式的MPM列表转换的模式之后添加默认模式。

c.替代地，可以以与非ALWIP帧内模式的MPM列表转换的模式交织的方式添加默认模式。

d.在一个示例中，默认模式可以对全部种类的块固定为相同。

e.替代地，可以根据编解码的信息(诸如邻域块的可用性、邻域块的模式信息、块维度)确定默认模式。

ii.在一个示例中，非ALWIP帧内模式的MPM列表中的一个帧内预测模式可以在其被置于ALWIP的MPM列表中时被转换为其对应的ALWIP帧内预测模式。

1)替代地，非ALWIP帧内模式的MPM列表中的全部帧内预测模式可以在被用于构建ALWIP的MPM列表之前被转换为对应的ALWIP帧内预测模式。

2)替代地，如果非ALWIP帧内模式的MPM列表可以进一步用于导出ALWIP的MPM列表，则全部候选帧内预测模式(可以包含来自邻域块的帧内预测模式和默认帧内预测模式，诸如Planar和DC)可以在被用于构建非ALWIP帧内模式的MPM列表之前被转换为对应的ALWIP帧内预测模式。

3)在一个示例中，可以比较两个转换的ALWIP帧内预测模式。

a.在一个示例中，如果它们相同，则可以仅将它们中的一个置于ALWIP的MPM列表中。

b.在一个示例中，如果它们相同，则可以仅将它们中的一个置于非ALWIP帧内模式的MPM列表中。

iii.在一个示例中，非ALWIP帧内模式的MPM列表中的S个帧内预测模式中的K个可以被选择为ALWIP模式的MPM列表。例如，K等于3且S等于6。

1)在一个示例中，非ALWIP帧内模式的MPM列表中的前K个帧内预测模式可以被选择为ALWIP模式的MPM列表。

2.提议，用于导出ALWIP的MPM列表的一个或多个邻域块还可以用于导出非ALWIP帧内模式的MPM列表(诸如普通帧内模式、MRL，或ISP)。

a.在一个示例中，用于导出ALWIP的MPM列表的当前块左侧的邻域块应与用于导出非ALWIP帧内模式的MPM列表的相同。

i.假设当前块的左顶角是(xCb，yCb)，当前块的宽度和高度为W和H，则在一个示例中，用于为ALWIP和非ALWIP帧内模式两者导出MPM列表的左侧邻域块可以覆盖位置(xCb-1，yCb)。在替代示例中，用于为ALWIP和非ALWIP帧内模式两者导出MPM列表的左侧邻域块可以覆盖位置(xCb-1，yCb+H-1)。

ii.例如，统一MPM列表构建中使用的左侧邻域块和上方邻域块是图10中所示的A2和B2。

b.在一个示例中，用于导出ALWIP的MPM列表的当前块上方的邻域块应与用于导出非ALWIP帧内模式的MPM列表的邻域块相同。

i.假设当前块的左顶角是(xCb，yCb)，当前块的宽度和高度为W和H，则在一个示例中，用于为ALWIP和非ALWIP帧内模式两者导出MPM列表的上方邻域块可以覆盖位置(xCb，yCb-1)。在替代示例中，用于为ALWIP和非ALWIP帧内模式两者导出MPM列表的上方邻域块可以覆盖位置(xCb+W-1，yCb-1)。

ii.例如，统一MPM列表构建中使用的左侧邻域块和上方邻域块为图10中所使用的A1和B1。

3.提议，根据当前块的宽度和/或高度，ALWIP的MPM列表可以不同方式构建。

a.在一个示例中，对不同块维度可以访问不同邻域块。

4.提议，ALWIP的MPM列表和非ALWIP帧内模式的MPM列表可以以相同过程但以不同参数构建。

a.在一个示例中，非ALWIP帧内模式的MPM列表构建过程中的S个帧内预测模式中的K个可以为ALWIP模式中使用的MPM列表导出。例如，K等于3且S等于6。

i.在一个示例中，MPM列表构建过程中的前K个帧内预测模式可以为ALWIP模式中使用的MPM列表导出。

b.在一个示例中，MPM列表中的第一模式可以不同。

i.例如，非ALWIP帧内模式的MPM列表中的第一模式可以是Planar，但其在ALWIP的MPM列表中可以是模式X0。

1)在一个示例中，X0可以是从Planar转换的ALWIP帧内预测模式。

c.在一个示例中，MPM列表中的填充模式可以不同。

i.例如，非ALWIP帧内模式的MPM列表中的前三个填充模式可以是DC、垂直和水平，但它们在ALWIP的MPM列表中可以是模式X1、X2、X3。

1)在一个示例中，X1、X2、X3对不同sizeId可以不同。

ii.在一个示例中，填充模式的数目可以不同。

d.在一个示例中，MPM列表中的邻域模式可以不同。

i.例如，邻域块的普通帧内预测模式被用于构建非ALWIP帧内模式的MPM列表。并且它们被转换为ALWIP帧内预测模式，以构建ALWIP模式的MPM列表。

e.在一个示例中，MPM列表中的移位模式可以不同。

i.例如，X+K0(其中X是普通帧内预测模式且K0是整数)可以被置于非ALWIP帧内模式的MPM列表中。并且Y+K1(其中和Y是ALWIP帧内预测模式且K1是整数)可以被置于ALWIP的MPM列表中，其中K0可以不同于K1。

1)在一个示例中，K1可以取决于宽度和高度。

5.提议，当以非ALWIP帧内模式为当前块构建MPM列表时，如果其是以ALWIP编解码的，则邻域块被视为不可用。

a.替代地，当以非ALWIP帧内模式为当前块构建MPM列表时，如果其是用ALWIP编解码的，则邻域块被视为以预定帧内预测模式(诸如Planar)编解码的。

6.提议，当以ALWIP模式为当前块构建MPM列表时，如果其是用非ALWIP帧内模式编解码的，则邻域块被视为不可用。

a.替代地，当以ALWIP模式为当前块构建MPM列表时，如果其是用非ALWIP帧内模式编解码的，则邻域块被视为以预定ALWIP帧内预测模式X编解码的。

i.在一个示例中，X可以取决于块维度，诸如宽度和/或高度。

7.提议从线缓冲器移除ALWIP标志的储存。

a.在一个示例中，当要访问的第二块位于与当前块相比不同的LCU/CTU行/区中时，跳过第二块是否用ALWIP编解码的条件检查。

b.在一个示例中，当要访问的第二块位于与当前块相比不同的LCU/CTU行/区中时，以与非ALWIP模式相同的方式处理第二块，诸如其被视为普通帧内编解码块。

8.当编码ALWIP标志时，可以使用不多于K(K>＝0)个上下文。

a.在一个示例中，K＝1。

9.提议，储存ALWIP编解码块的转换的帧内预测模式而不是直接储存与ALWIP模式相关联的模式索引。

a.在一个示例中，与一个ALWIP编解码块相关联的解码模式索引被映射到普通帧内模式，诸如根据如章节2.5.7所描述的

map_alwip_to_angular。

b.替代地，另外，ALWIP标志的储存被完全移除。

c.替代地，另外，ALWIP模式的储存被完全移除。

d.替代地，另外，可以跳过一个邻域/当前块是否用ALWIP标志编解码的条件检查。

e.替代地，另外，可以跳过与一个访问的块相关联的普通帧内预测和分配给ALWIP编解码块的模式的转换。

不同色彩分量上的ALWIP

10.提议，如果对应的亮度块是以ALWIP模式编解码的，则可以总是应用推断的色度帧内模式(例如，DM模式)。

a.在一个示例中，如果对应的亮度块是以ALWIP模式编解码的，则色度帧内模式在没有信令通知的情况下被推断为DM模式。

b.在一个示例中，对应的亮度块可以是覆盖色度样本的位于给定位置(例如，当前色度块的左顶，当前色度块的中央)的对应的样本的块。

c.在一个示例中，可以根据对应的亮度块的帧内预测模式导出DM模式，诸如经由将(ALWIP)模式映射到普通帧内模式之一。

11.当色度块的对应的亮度块是以ALWIP模式编解码的，则可以导出几个DM模式。

12.提议，如果一个对应的亮度块是以ALWIP模式编解码的，则将特殊模式分配给色度块。

a.在一个示例中，特殊模式定义为给定普通帧内预测模式，而与关联于ALWIP编解码块的帧内预测模式无关。

b.在一个示例中，可以将不同方式的帧内预测分配到该特殊模式。

13.提议，ALWIP还可以应用于色度分量。

a.在一个示例中，矩阵和/或偏置矢量对于不同色彩分量可以不同。

b.在一个示例中，矩阵和/或偏置矢量可以为Cb和Cr联合地预定义。

i.在一个示例中，Cb和Cr分量可以连结。

ii.在一个示例中，Cb和Cr分量可以交织。

c.在一个示例中，色度分量可以共用与对应的亮度块相同的ALWIP帧内预测模式。

i.在一个示例中，如果对应的亮度块应用ALWIP模式且色度块是以DM模式编解码的，则相同ALWIP帧内预测模式应用于色度分量。

ii.在一个示例中，相同ALWIP帧内预测模式应用于色度分量，且可以跳过之后的线性插值。

iii.在一个示例中，相同ALWIP帧内预测模式应用于具有子采样的矩阵和/或偏置矢量的色度分量。

d.在一个示例中，ALWIP帧内预测模式的数目对于不同分量可以不同。

i.例如，对于相同块宽度和高度，色度分量的ALWIP帧内预测模式的数目可以小于亮度分量的ALWIP帧内预测模式的数目。

ALWIP的适用性

14.提议，可以信令通知是否可以应用ALWIP。

a.例如，可以在序列级(例如，在SPS中)、在图片级(例如，在PPS或图片头中)、在条带级(例如，在条带头中)、在片组级(例如，在片组头中)、在片级、在CTU行级，或在CTU级信令通知。

b.例如，如果ALWIP无法应用，则intra_lwip_flag可以不被信令通知并推断为0。

15.提议，是否可以应用ALWIP可以取决于块宽度(W)和/或高度(H)。

c.例如，如果W>＝T1(或W>T1)且H>＝T2(或H>T2)，则可以不应用ALWIP。例如，T1＝T2＝32；

i.例如，如果W<＝T1(或W<T1)且H<＝T2(或H<T2)，则可以不应用ALWIP。例如，T1＝T2＝32；

d.例如，如果W>＝T1(或W>T1)或H>＝T2(或H>T2)，则可以不应用ALWIP。例如，T1＝T2＝32；

i.例如，如果W<＝T1(或W<T1)或H<＝T2(或H<T2)，则可以不应用ALWIP。例如，T1＝T2＝32；

e.例如，如果W+H>＝T(或W*H>T)，则可以不应用ALWIP。

例如，T＝256；

i.例如，如果W+H<＝T(或W+H<T)，则可以不应用ALWIP。例如，T＝256；

f.例如，如果W*H>＝T(或W*H>T)，则可以不应用ALWIP。

例如，T＝256；

i.例如，如果W*H<＝T(或W*H<T)，则可以不应用ALWIP。例如，T＝256；

g.例如，如果无法应用ALWIP，则intra_lwip_flag可以不被信令通知并被推断为0。

ALWIP中的计算问题

16.提议，ALWIP中涉及的任何移位运算仅可以将数字左移或右移S，其中S必须大于或等于0。

a.在一个示例中，当S等于0或大于0时，右移运算可以不同。

i.在一个示例中，当uDwn>1时，upsBdryX[x]应计算为

并且当uDwn等于1，

b.在一个示例中，upsBdryX[x]应计算为

17.提议，在ALWIP的上采样过程中，结果应向零或远离零取整。

a.在一个示例中，

predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+offsetHor)/upHor (8-X39)

且

predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]+offsetVer)/upVer (8-X40)

其中offsetHor和offsetVer是整数。例如，offsetHor＝upHor/2且offsetVer＝upVer/2。

与其他编解码工具的交互

18.提议，ALWIP可以用于CIIP编解码块。

a.在一个示例中，在CIIP编解码块中，可以显式信令通知ALWIP帧内预测模式还是诸如Planar的普通帧内预测模式被用于生成帧内预测信号。

b.在一个示例中，可以隐式推断ALWIP帧内预测模式还是诸如Planar的普通帧内预测模式可以用于生成帧内预测信号。

i.在一个示例中，ALWIP帧内预测模式永远不可用于CIIP编解码块中。

1)替代地，普通帧内预测永远不可用于CIIP编解码块。

ii.在一个示例中，可以从邻域块的信息推断ALWIP帧内预测模式还是诸如Planar的普通帧内预测模式被用于生成帧内预测信号。

19.提议，用于在CCLM模式中下采样邻域亮度样本的过程的整体或部分可以用于在ALWIP模式中下采样邻域样本。

a.替代地，用于在ALWIP模式中下采样邻域亮度样本的过程的整体或部分可以用于在CCLM模式中下采样邻域样本。

b.当在CCLM过程和ALWIP过程中使用时，可以以不同参数/引数(argument)调用下采样过程。

c.在一个示例中，CCLM过程中的下采样方法(诸如邻域亮度位置、下采样滤波的选择)可以在ALWIP过程使用。

d.用于下采样邻域亮度样本的过程至少包含选择下采样位置、下采样滤波、取整和修剪操作。

20.提议，以ALWIP模式编解码的块无法应用RST或/和二次变换或/和旋转变换或/和不可分离二次变换(NSST)。

a.在一个示例中，是否可以施加这样的约束可以取决于块的维度信息，例如，与(15)中描述的条件相同。

b.替代地，当应用RST或/和二次变换或/和旋转变换或/和NSST时，可以不允许ALWIP模式。

c.替代地，以ALWIP模式编解码的块可以应用RST或/和二次变换或/和旋转变换或/和不可分离二次变换(NSST)。

i.在一个示例中，变换矩阵的选择可以取决于ALWIP帧内预测模式。

ii.在一个示例中，变换矩阵的选择可以取决于从ALWIP帧内预测模式转换的普通帧内预测模式。

iii.在一个示例中，变换矩阵的选择可以取决于对从ALWIP帧内预测模式转换的普通帧内预测模式的分类。

21.提议，以ALWIP模式编解码的块无法应用基于块的DPCM(BDPCM)或残差RDPCM。

a.替代地，当应用BDPCM或RDPCM时，可以不允许ALWIP模式。

22.提议，以ALWIP模式编解码的块可以仅使用DCT-II作为变换。

a.在一个示例中，变换矩阵索引的信令通知总是被跳过。

b.替代地，提议，用于以ALWIP模式编解码的块的变换可以被隐式导出而不是显式信令通知。例如，可以在JVET-M0303中提议的方式之后选择变换。

c.替代地，提议，以ALWIP模式编解码的块可以仅使用变换跳过。

i.替代地，另外，当使用ALWIP时，指示变换跳过的使用的信令通知被跳过。

d.在一个示例中，ALWIP模式信息(诸如启用/禁用、预测模式索引)可以在变换矩阵的指示之后被有条件地信令通知。

i.在一个示例中，对于给定变换矩阵(诸如变换跳过或DCT-II)，ALWIP模式信息的指示可以被信令通知。

ii.替代地，另外，ALWIP模式信息的指示对于一些预定变换矩阵可以被跳过。

23.提议，当所选变换是模式相关的时，以ALWIP模式编解码的块被视为以从ALWIP帧内预测模式转换的普通帧内预测编解码。

24.ALWIP模式可以不使用变换跳过。

a.例如，在此情况下，不需要进一步信令通知变换跳过的使用的指示。

b.替代地，当应用变换跳过时，可以不允许ALWIP模式。

i.例如，当在此情况下应用变换跳过时，不需要信令通知ALWIP模式信息。

25.在滤波过程中，诸如解块滤波、样本适应性偏移(SAO)、适应性回路滤波(ALF)，可以通过使用ALWIP来确定如何选择滤波和/或是否滤波样本。

26.未滤波的邻域样本可以用于ALWIP模式中。

a.替代地，滤波的邻域样本可以用于ALWIP模式中。

b.在一个示例中，滤波的邻域样本可以用于下采样，并且未滤波的邻域样本可以用于上采样。

c.在一个示例中，未滤波的邻域样本可以用于下采样，并且滤波的邻域样本可以用于上采样。

d.在一个示例中，滤波的左侧邻域样本可以用于上采样，并且未滤波的上方邻域样本可以用于上采样。

e.在一个示例中，未滤波的左侧邻域样本可以用于上采样，并且滤波的上方邻域样本可以用于上采样。

f.在一个示例中，是否使用滤波或未滤波的邻域样本可以取决于ALWIP模式。

i.在一个示例中，ALWIP模式可以被转换为传统帧内预测模式，并且使用滤波的还是未滤波的邻域样本可以取决于转换的传统帧内预测模式。例如，这样的决定与传统帧内预测模式相同。

ii.替代地，是否对ALWIP模式使用滤波或未滤波的邻域样本可以被信令通知。

g.在一个示例中，可以与传统帧内预测模式相同地生成滤波的样本。27.使用哪些矩阵或/和偏置矢量可以取决于再成形(又称LMCS，具有色度缩放的亮度映射)信息。

a.在一个示例中，当再成形开启或关闭时，可以使用不同矩阵或/和偏置矢量。

b.在一个示例中，不同矩阵或/和偏置矢量可以用于不同再成形参数。

c.在一个示例中，总可以在原始域中进行ALWIP。

i.例如，邻域样本在用于ALWIP之前被映射到原始域(如果应用再成形)。

28.当应用再成形时，可以禁用ALWIP。

a.替代地，当启用ALWIP时，可以禁用再成形。

b.在一个示例中，当应用再成形时，可以对HDR(high dynamic range)内容禁用ALWIP。

29.ALWIP中使用的矩阵可以取决于样本位深度。

a.替代地，另外，ALWIP使用的偏移值可以取决于样本位深度。

b.替代地，矩阵参数和偏移值可以以N位样本的M位精度储存(M<＝N)，例如，矩阵参数和偏移值可以以10位样本的8位精度储存。

c.样本位深度可以是诸如亮度的色彩分量的输入阵列的位深度。

d.样本位深度可以是诸如亮度的色彩分量的内部阵列/重构样本的位深度。

30.指定块大小的矩阵参数和/或偏移值可以从其他块大小的矩阵参数和/或偏移值导出。

31.在一个示例中，8x8块的16x8矩阵可以从4x4块的16x4矩阵导出。

32.提议，由ALWIP生成的预测可以被视为中介信号，其将被处理以获得要进一步使用的预测信号。

a.在一个示例中，位置相关的帧内预测组合(PDPC)可以用于由ALWIP生成的预测，以生成要进一步使用的预测信号。

i.在一个示例中，与以诸如Planar或DC的特定普通帧内预测模式编解码的块相同的方式对ALWIP编解码块进行PDPC。

ii.在一个示例中，与以从ALWIP帧内预测模式转换的普通帧内预测模式编解码的块相同的方式对ALWIP编解码块进行PDPC。

iii.在一个示例中，将PDPC有条件地应用于ALWIP编解码块。

1)例如，仅当PDPC应用于从ALWIP帧内预测模式转换的普通帧内预测模式时，才将PDPC应用于ALWIP编解码块。

b.在一个示例中，由ALWIP生成的边界样本预测可以用邻域样本滤波，以生成要进一步使用的预测信号。

i.在一个示例中，与以诸如Planar或DC的特定普通帧内预测模式编解码的块相同方式在ALWIP编解码块上对边界样本滤波。

ii.在一个示例中，以与从ALWIP帧内预测模式转换的普通帧内预测模式编解码的块相同方式在ALWIP编解码块上对边界样本滤波。

iii.在一个示例中，将对边界样本的滤波条件地应用于ALWIP编解码块。

1)例如，仅当对边界样本的滤波应用于从ALWIP帧内预测模式转换的普通帧内预测模式时，才将对边界样本的滤波应用于ALWIP编解码块。

33.提议，除双线性插值滤波之外的插值滤波可以用于ALWIP的上采样过程。

a.在一个示例中，4抽头插值滤波可以用于ALWIP的上采样过程。

i.例如，用于进行色度分量的运动补偿的VVC中的4抽头插值滤波可以用于ALWIP的上采样过程。

ii.例如，用于进行角度帧内预测的VVC中的4抽头插值滤波可以用于ALWIP的上采样过程。

iii.例如，用于进行亮度分量的运动补偿的VVC中的8抽头插值滤波可以用于ALWIP的上采样过程。

34.以ALWIP模式编解码的块内的样本可以以不同方式预测。

a.在一个示例中，对于W*H块，其内的sW*sH子块的预测可以通过对其应用sW*sHALWIP而生成。

i.在一个示例中，对于W*H块，其左顶W/2*H/2块的预测可以通过对其应用W/2*H/2ALWIP而生成。

ii.在一个示例中，对于W*H块，其左侧W/2*H块的预测可以通过对其应用W/2*HALWIP而生成。

iii.在一个示例中，对于W*H块，其顶部W*H/2块的预测可以通过对其应用W*H/2ALWIP而生成。

iv.在一个示例中，sW*sH子块可以具有可用左侧或/和上方邻域样本。

b.在一个示例中，如何决定子块的位置可以取决于块的维度。

i.例如，当W>＝H，其左W/2*H块的预测可以通过对其应用W/2*H ALWIP而生成。

ii.例如，当H>＝W，其顶W*H/2块的预测可以通过对其应用W*H/2ALWIP而生成。

iii.例如，当W等于H，其左顶W/2*H/2块的预测可以通过对其应用W/2*H/2ALWIP而生成。

c.在一个示例中，另外，其余样本(例如，不属于sW*sH子块的样本)的预测可以通过应用W*H ALWIP而生成。

i.替代地，其余样本的预测可以通过应用常规帧内预测(例如，使用转换的帧内预测模式作为帧内模式)而生成。

ii.另外，对于sW*sH子块中的样本可以跳过计算。

35.以ALWIP模式编解码的块内的样本可以在子块(例如，具有大小sW*sH)级中预测。

a.在一个示例中，sW*sH ALWIP可以应用于使用邻域重构样本(例如，对于边界子块)或/和邻域预测的样本(例如，对于内部子块)的每个子块。

b.在一个示例中，可以以栅格扫描顺序预测子块。

c.在一个示例中，可以以之字形顺序预测子块。

d.在一个示例中，子块的宽度(高度)可以不大于sWMax(sHMax)。

e.在一个示例中，当块的宽度或高度或者宽度和高度两者都大于(或等于)阈值L时，块可以被划分为多个子块。

f.阈值L可以是预定义的或在SPS/PPS/图片/条带/片组/片级中信令通知。

i.替代地，阈值可以取决于某些编解码的信息，诸如块大小、图片类型、时域层索引等。

36.提议，邻域样本(相邻或非相邻)在被用于ALWIP中之前被滤波。

a.替代地，邻域样本在被用于ALWIP中之前不被滤波。

b.替代地，邻域样本在被用于ALWIP中之前有条件地滤波。

i.例如，仅当ALWIP帧内预测模式等于一个或一些特定值时，邻域样本在被用于ALWIP之前被滤波。

37.提议，当编解码ALWIP标志时，导出算术编解码的ALWIP标志的上下文的方法对于当前块的全部维度相同。

a.在一个示例中，当(Abs(Log2(cbWidth)–Log2(cbHeight))大于1与否时，其中CbWidth和cbHeight分别是当前块的宽度和高度，导出算术编解码的ALWIP标志的上下文的方法相同。

b.在一个示例中，算术编解码的ALWIP标志的上下文的导出仅取决于邻域块的ALWIP信息和/或邻域块的可用性。

i.在一个示例中，直接使用多个邻域块ALWIP信息(例如，intra_lwip_flag)和/或邻域块的可用性。例如，左侧和上方邻域块的ALWIP标志和/或左侧且邻域块的可用性被用于导出算术编解码的ALWIP标志的上下文。表5中示出了示例。替代地，另外，上下文索引offset ctxInc＝(condL&&availableL)+(condA&&availableA)+ctxSetIdx*3。

表5–使用左侧和上方语法元素的ctxInc的规范

ii.在一个示例中，邻域块的ALWIP信息(例如，intra_lwip_flag)之一被用于导出算术编解码的ALWIP标志的上下文，并且邻域块可以是左侧邻域块。表6示出了示例。替代地，另外，上下文索引offset ctxInc＝(condL&&availableL)+ctxSetIdx*3。

表6–使用左侧和上方语法元素的ctxInc的规范

iii.在一个示例中，邻域块的ALWIP标志信息(例如，intra_lwip_flag)之一被用于导出算术编解码的ALWIP标志的上下文，并且邻域块可以是上方邻域块。表7中示出了示例。替代地，另外，上下文索引offset ctxInc＝(condA&&availableA)+ctxSetIdx*3。

表7–使用左侧和上方语法元素的ctxInc的规范

c.在一个示例中，一个固定的上下文用于以算术编解码来编解码ALWIP标志。

d.在一个示例中，ALWIP标志被以算术编解码而旁路编解码。

e.替代地，K个上下文可以被用于以算术编解码来编解码ALWIP标志。要使用的上下文可以取决于块的维度(例如，指代为W的宽度和指代为H的高度)。

i.在一个示例中，K等于2。当W>N*H或H>N*W(例如，N＝2)时，使用第一上下文，否则，使用第二上下文。

38.提议，N(N>＝0)上下文可以用于以算术编解码来编解码ALWIP标志(例如，intra_lwip_flag)。

a.在一个示例中，N等于三。ALWIP标志和/或两个邻域或/和不相邻块的可用性可以用于导出算术编解码的ALWIP标志所使用的上下文。

i.在一个示例中，两个邻域块可以包含上方(例如，图10中的B1)块和左侧(例如，图10中的A1)块。

ii.在一个示例中，两个邻域块可以包含上方块和左下(例如，图10中的A2)块。

iii.在一个示例中，两个邻域块可以包含上方块和右上(例如，图10中的B2)块。

iv.在一个示例中，两个邻域块可以包含右上(例如，图10中的B2)块和左(例如，图10中的A1)块。

v.在一个示例中，两个邻域块可以包含右上(例如，图10中的B2)块和左下(例如，图10中的A2)块。

vi.在一个示例中，两个邻域块可以包含左块(例如，图10中的A1)和左下(例如，图10中的A2)块。

vii.在一个示例中，邻域块可以与图10不同地定义。图16中描述了示例。两个邻域块可以包含{右上、上、左上、左、左下}块中的任意两个。例如，两个邻域块可以包含{B0，B1，B2，A0，A1}中的块中的任意两个。

b.在一个示例中，N等于二。ALWIP标志和/或一个邻域或/和不相邻块的可用性可以用于导出算术编解码的ALWIP标志所使用的上下文。

i.在一个示例中，邻域块可以是{右上、上、左上、左、左下}块中的任一个。邻域块的示例在图10中描述。

ii.在一个示例中，邻域块可以是{右上、上、左上、左、左下}块中的任一个。邻域块的示例在图16中描述。

c.在一个示例中，一个固定的上下文可以用于以算术编解码来编解码ALWIP标志。

d.在一个示例中，ALWIP标志可以以算术编解码来旁路编解码。图16示出了邻域块的示例。

39.提议，可以在不计算上采样边界样本的情况下生成减少的边界样本。

a.在一个示例中，位于上采样边界样本位置参考样本的被直接用于预测上采样过程。

i.在一个示例中，可以不通过平均多个相邻参考样本来计算上采样边界样本。

b.在一个示例中，可以直接从参考样本和缩小因数计算减少的边界样本。

i.在一个示例中，缩小因数可以由变换块大小和下采样的边界大小计算。

40.提议，用于矩阵乘法的减少的边界样本可以在一个阶段中生成。

a.在一个示例中，它们可以直接从原始重构的邻域样本在一个阶段中生成(注意，VVC WD5使用两个阶段的下采样来生成ALWIP减少的边界样本，如章节2.2.1.5.4.4所描述)，其中原始重构的邻域样本可以是解码的邻域样本，而没有进一步处理。例如，原始重构的邻域样本可以用于生成角度帧间预测样本。

b.在一个示例中，减少的边界样本可以由位于当前块的顶邻域行和/或左侧邻域列的原始重构的样本生成。

i.例如，假设需要从当前块的M个原始重构的样本邻域(以给定顺序)生成N个减少的边界样本，则每K个连续原始重构的邻域样本可以用于得到一个输出减少的边界样本。

1)在一个示例中，K＝M/N。

a.替代地，K＝(M+N/2)/N。

2)在一个示例中，一个输出减少的边界样本可以被导出为K个连续原始重构的邻域样本的平均。

3)在一个示例中，一个输出减少的边界样本可以被导出为K个连续原始重构的邻域样本的加权平均。

c.在一个示例中，可以从位于当前块的左侧邻域列的原始重构的样本生成左侧减少的边界样本，而顶部减少的样本可以从位于当前块的顶邻域行的原始重构的样本生成。

i.例如，如图17所示，左边界和顶部边界上的四个减少的边界样本(分别指代为boundary_left和boundary_top)由当前16x16 ALWIP块的左侧/顶部原始邻域重构样本(标记为图中邻于16×16块的灰色网格)生成。

d.如何生成减少的边界样本可以取决于块维度/编解码的信息(例如，帧内预测模式、变换类型等)。

e.在一个示例中，上述方法可以应用于要求生成减少的边界样本的全部大小的ALWIP块(例如，从4x4 ALWIP块到64x64 ALWIP块)。

f.在一个示例中，当前块的左侧邻域列和当前块的顶邻域行的减少的边界样本的生成过程可以以不同方式进行。

i.例如，对于8x4 ALWIP块，预定义的减少的边界样本的数目在顶部是4且在左侧是4，然后位于8x4 ALWIP块的顶部行的8个邻域样本被用于生成顶部上的4个减少的边界样本，而位于8x4 ALWIP块的左侧列的4个邻域样本被直接复制为左侧的4个减少的边界样本。

41.提议在上采样过程中使用全部或一些原始重构的邻域样本(相邻或不相邻于当前块)，以从减少的预测块生成最终预测块。

a.在一个示例中，原始重构的邻域样本可以位于当前块的顶部邻域行和/或左侧邻域列。图18中示出示例，其中通过从8x8减少的预测块上采样并加上64x64块的原始重构的邻域样本而生成64x64最终预测块。

i.替代地，另外，减少的边界样本可以仅用于矩阵乘法以得到减少的预测块，但不用于上采样过程以生成最终预测块。例如，K个减少的边界样本可以被输入到ALWIP的矩阵乘法中以产生MxN减少的预测块，但可以不被用于生成上采样过程中的最终预测块。例如，K＝8且MxN为8x8。

b.在一个示例中，所选原始重构的邻域样本可以用于上采样过程，以从减少的预测块生成最终预测块。

i.例如，可以选择当前块左侧的全部原始重构的邻域样本。

ii.例如，可以选择当前块上方的全部原始重构的邻域样本。

iii.例如，可以选择当前块左侧的每M个连续原始重构的邻域样本中的K个。例如，K＝1，M＝2/4/8。

1)例如，可以选择每M个连续邻域的后K个原始重构的邻域样本。

2)例如，可以选择每M个连续邻域的前K个原始重构的邻域样本。

iv.例如，可以选择当前块上方的每M个连续原始重构的邻域样本中的K个。例如，K＝1，M＝2/4/8。

v.例如，选择可以取决于块宽度和高度。假设blkW和blkH分别指代ALWIP块的宽度和高度。并且(blkX，blkY)表示块的左顶位置。

1)例如，如果blkW大于或等于blkH，则可以选择当前块左侧的全部原始重构的邻域样本，和/或当前块上方的所选原始重构的邻域样本的数目(由M指代)可以取决于blkW。

a.在一个示例中，当前块上方的第k个所选样本可以在位置(blkX+(k+1)*blkW/M-1，blkY-1)处，其中k为从0至M-1。

b.例如，如果blkW<＝8，则M＝4。

c.例如，如果blkW>8，则M＝8。

d.替代地，无论blkW与blkH之间的关系如何，都可以选择当前块左侧的全部原始重构的邻域样本，和/或可以选择当前块上方的M个原始重构的邻域样本，其中M由以上规则决定。

2)例如，如果blkW小于blkH，则可以选择当前块上方的全部原始重构的邻域样本，和/或当前块左侧的所选原始重构的邻域样本的数目(由M指代)可以取决于blkH。

a.在一个示例中，当前块左侧的第k所选样本可以在位置(blkX-1，blkY+(k+1)*blkH/M-1)，其中k为从0至M-1。

b.例如，如果blkH<＝8，则M＝4。

c.例如，如果blkH>8，则M＝8。

d.替代地，无论blkW与blkH之间的关系如何，都可以选择当前块上方的全部原始重构的邻域样本，和/或可以选择当前块左侧的M个原始重构的邻域样本，其中M由以上规则决定。

c.在一个示例中，用于ALWIP上采样的邻域样本可以在被用于生成最终预测块之前被进一步修改(例如，滤波，其中滤波可以是N抽头滤波，诸如N＝2或3)。

i.在一个示例中，邻域样本滤波过程可以根据ALWIP模式适应性地应用。

d.如何生成最终预测块(例如，线性插值)可以取决于块维度/编解码的信息(例如，帧内预测方向、变换类型等)。

42.在一个示例中，样本在ALWIP中的上采样过程中可以在不同滤波阶段中具有不同精度。“样本”可以指上采样过程之前或之后的预测样本或任意中介样本。

a.在一个示例中，在ALWIP中的上采样过程，样本在第一滤波阶段中沿着第一维度被水平地上采样；然后，样本在第二滤波阶段中沿着第二维度被垂直上采样。

i.替代地，在ALWIP中的上采样过程中，样本在第一滤波阶段中沿着第一维度被垂直地上采样；然后样本在第二滤波阶段中沿着第二维度被水平地上采样。

b.在一个示例中，第一滤波阶段中在不右移或做除法的情况下输出的上采样结果可以被用作对第二滤波阶段的输入样本。

i.在一个示例中，第二滤波阶段中输出的上采样滤波结果可以被右移Shift1或除以Dem1以导出最终上采样结果。

ii.在一个示例中，第一滤波阶段中输出的上采样滤波结果可以被右移Shift2或除以Dem2以导出最终上采样结果。

1)在一个示例中，Shift1＝2×Shift2；Dem1＝Dem2×Dem2。

iii.在一个示例中，输入到第二滤波阶段中但不是第一滤波阶段中输出的上采样结果的样本可以在被输入到第二滤波阶段之前被左移Shift3或乘以Dem3。

1)在一个示例中，Shift3＝Shift1；Dem3＝Dem2。

c.在一个示例中，第一滤波阶段中输出的上采样结果在被用作对第二滤波阶段的输入样本之前可以被右移Shift1或除以Dem1。

i.在一个示例中，第二滤波阶段中输出的上采样滤波结果可以被右移Shift2或除以Dem2以导出最终上采样结果，其中Shift2可以不等于Shift1，例如，Shift2>Shift1；Dem2可以不等于Dem1，例如，Dem2>Dem1。

ii.在一个示例中，第一滤波阶段中输出的上采样滤波结果可以被右移Shift3或除以Dem3以导出最终上采样结果，其中Shift3可以等于Shift1；Dem3可能不等于Dem1。

1)在一个示例中，Shift3＝Shift1+Shift2。

iii.在一个示例中，输入到第二滤波阶段中但不是第一滤波阶段中输出的上采样结果的样本可以在输入到第二滤波阶段之前被左移或乘以某一因数。

d.在一个示例中，第一滤波阶段中输出的上采样结果可以在被用作对第二滤波阶段的输入样本之前被左移Shift1或乘以Dem1。

i.在一个示例中，第二滤波阶段中输出的上采样滤波结果可以被右移或除以某一因数以导出最终上采样结果。

ii.在一个示例中，第一滤波阶段中输出的上采样滤波结果可以被右移或除以某一因数以导出最终上采样结果。

iii.在一个示例中，输入到第二滤波阶段中但不是第一滤波阶段中输出的上采样结果的样本可以在输入到第二滤波阶段之前被左移Shift2或乘以Dem2，其中Shift2可以不等于Shift1，例如，Shift2>Shift1；Dem1可以不等于Dem2，例如，Dem2>Dem1。

e.在一个示例中，输入到第一滤波阶段的样本可以在被用作对第一滤波阶段的输入样本之前被左移Shift1或乘以Dem1。

iii.在一个示例中，输入到第二滤波阶段中但不是第一滤波阶段中输出的上采样结果的样本可以在输入到第二滤波阶段之前被左移Shift2或乘以Dem2，其中Shift2可以不等于Shift1，例如，Shift2>Shift1；Dem2可以不等于Dem1，例如，Dem2>Dem1。

43.提议，当要求垂直上采样和水平上采样时，ALWIP中的上采样可以以固定顺序进行。

a.在一个示例中，可以首先进行水平上采样，并且可以其次进行垂直上采样。

b.在一个示例中，可以首先进行垂直上采样，并且可以其次进行水平上采样。

44.在一个示例中，上采样之前的ALWIP中的预测样本可以根据块维度被转置。

a.在一个示例中，W*H块可以首先被转置为H*W块，然后可以应用上采样。

b.替代地，另外，在上采样过程之后，上采样的样本可以被以以相反方式转置。

45.提议，可以将替代插值滤波而不是双线性滤波用于ALWIP中的上采样。

a.在一个示例中，可以使用(4抽头，6抽头，8抽头等)高斯滤波。

b.在一个示例中，可以使用(4抽头，6抽头，8抽头等)立方(cubic)滤波。

c.在一个示例中，可以使用用于色度样本的运动补偿中的插值滤波。

d.在一个示例中，可以使用用于亮度样本的运动补偿中的插值滤波(6抽头，8抽头等)。

e.使用哪个插值滤波可以取决于块维度。

f.使用哪个插值滤波可以取决于上采样率。

g.使用哪个插值滤波可以取决于ALWIP的预测模式。

h.使用哪个插值滤波可以取决于多少样本可用于上采样。

i.例如，当一行(或列)中存在4个可用样本(排除邻域参考样本)时，可以使用4抽头插值滤波。

ii.例如，当一行(或列)中存在8个可用样本(排除邻域参考样本)时，可以使用4抽头或8抽头插值滤波。

5.实施例示例

新添加的部分以粗斜体强调，而删去的部分以下划线斜体文本强调。

5.1一个示例

三个上下文用于编解码ALWIP标志。

表9-15–对语法元素与上下文编解码的二进制数(bins)的ctxInc的分配

5.2一个示例

一个固定的上下文用于编解码ALWIP标志。

5.3一个示例

以一个步骤进行边界减少过程。

以下实施例是基于所采用的JVET-N0220-提案-测试-CE3-4.1_v2。

8.4.4.2.X1 仿射线性加权帧内样本预测

8.4.4.2.X3边界减少过程的规范

该过程的输入为：

–变量nTbX，指定变换块大小，

–参考样本refX[x]，其中，x＝0..nTbX-1，

–变量boundarySize，指定下采样边界大小，

–标志needUpsBdryX，指定上采样是否需要中间边界样本，

–变量upsBdrySize，指定上采样的边界大小。

该过程的输出为减少的边界样本redX[x]，x＝0..boundarySize–1和上采样边界样本upsBdryX[x]，x＝0..upsBdrySize–1。

上采样边界样本upsBdryX[x]，x＝0..upsBdrySize–1，导出如下：

–如果needUpsBdryX等于TRUE且upsBdrySize小于nTbX，以下适用：

uDwn＝nTbX/upsBdrySize (8-X30)

upsBdryX[x]＝refX[x*uDwn]

–否则(upsBdrySize等于nTbX)，upsBdryX[x]设定为等于refX[x]。

减少的边界样本redX[x]，x＝0..boundarySize–1导出如下：

–如果boundarySize小于upsBdrySize nTbX，以下适用：

bDwn＝upsBdrySize nTbX/boundarySize (8-X32)

等式8-X33中的术语upsBdryX被删除。

–否则(boundarySize等于upsBdrySize nTbX)，redX[x]设定为等于upsBdryX[x]refX[x]。

5.4一个示例

在ALWIP中的上采样过程中以不同精度在不同滤波阶段导出预测样本。

以下实施例是基于采用的JVET-N0217-提案-测试-CE3-4.1_v2。

8.4.4.2.X4预测上采样过程的规范

该过程的输入为：

–变量predW，指定输入块宽度，

–变量predH，指定输入块高度，

–仿射线性加权样本，predLwip[x][y]，x＝0..predW-1，y＝0..predH–1，

–变量nTbW，指定变换块宽度，

–变量nTbH，指定变换块高度，

–变量upsBdryW，指定上采样边界宽度，

–变量upsBdryH，指定上采样边界高度，

–顶部上采样边界样本upsBdryT[x]，x＝0..upsBdryW–1，

–左侧上采样边界样本upsBdryL[x]，x＝0..upsBdryH–1。

稀疏预测的样本predSamples[m][n]由predLwip[x][y]导出，x＝0..predW-1，y＝0..predH–1，如下：

upHor＝nTbW/predW (8-X34)

upVer＝nTbH/predH (8-X35)

predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝predLwip[x][y] (8-X36)

顶部边界样本upsBdryT[x]，x＝0..upsBdryW–1，被分配到predSamples[m][-1]如下：

predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝upsBdryT[x](8-X37)

左边界样本upsBdryL[y]，y＝0..upsBdryH–1，被分配到predSamples[-1][n]如下：

predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝upsBdryL[y](8-X38)

–如果nTbH大于nTbW，以下顺序的步骤适用：

1.当upHor大于1时，全部稀疏位置(xHor，yHor)＝(m*upHor–1，n*upVer–1)的水平上采样，m＝0..predW-1，n＝1..predH，以dX＝1..upHor–1应用如下：

2.全部稀疏位置(xVer，yVer)＝(m，n*upVer–1)的垂直上采样，m＝0..nTbW-1，n＝0..predH–1，以dY＝1..upVer-1应用如下：

如果yVer等于-1，则predSamples[xVer][yVer]＝predSamples[xVer][yVer]<<log2(upHor)

predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer])/upVer+(1<<(log2(upHor)+log2(upVer)-1)))>>(log2(upHor)+log2(upVer))(8-X40)

–否则，以下顺序的步骤适用：

1.当upVer大于1时，全部稀疏位置(xVer，yVer)＝(m*upHor–1，n*upVer–1)的垂直上采样，m＝1..predW，n＝0..predH–1，以dY＝1..upVer-1如(8-X40)(8-X41)中所指定地应用。

predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+

dY*predSamples[xVer][yVer+upVer])(8-X41)

2.全部稀疏位置(xHor，yHor)＝(m*upHor–1，n)的水平上采样，m＝0..predW-1，n＝0..nTbH–1，以dX＝1..upHor-1如(8-X39)中如下所指定应用。

如果xHor等于-1，则predSamples[xHor][yHor]＝predSamples[xHor][yHor]<<log2(upVer)

predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+(1<<(log2(upHor)+log2(upVer)-1)))>>(log2(upHor)+log2(upVer)) (8-X42)

5.5对应于项目符号40的示例

假设块维度为W×H。样本P(x，y)，其中x＝Sx，Sx+Kx，Sx+2Kx，Sx+3Kx,…，y＝Sy，Sy+Ky，Sy+2Ky，Sy+3Ky…被输入到上采样过程，以导出上采样的样本S(x，y)，其中x＝0,1,2…W-1，y＝0，1，2,…H-1。Kx和Ky分别是沿着水平和垂直方向的步长。(Sx，Sy)是开始位置。

假设1-D上采样在第一阶段中水平地进行，并且1-D上采样在第二阶段中垂直地进行。

在一个示例中，没有右移的第一阶段中的结果可以被导出为

S’(Sx+Kx-1，Sy)＝F1*P(Sx，Sy)+F2*P(Sx+Kx，Sy)。

S’(Sx+Kx-1，Sy+Ky)＝F1*P(Sx，Sy+Ky)+F2*P(Sx+Kx，Sy+Ky)。

F1，F2是2抽头滤波的系数，且F1+F2＝2^N。

然后第二阶段中的结果可以被导出为

S’(Sx+Kx-1，Sy+1)＝F3*S’(Sx+Kx-1，Sy)+F4*S’(Sx+Kx-1，Sy+Ky)。

F3，F4为2抽头滤波的系数且F3+F4＝2^N。

然后最终上采样的样本值可以被导出为：

S(Sx+Kx-1，Sy+1)＝Shift(S’(Sx+Kx-1，Sy+1)，2N)；

S(Sx+Kx-1，Sy)＝Shift(S’(Sx+Kx-1，Sy)，N)；

S(Sx+Kx-1，Sy+Ky)＝Shift(S’(Sx+Kx-1，Sy+Ky)，N)；

5.6一个示例

在一个阶段中导出减少的边界样本，并且生成上采样的参考缓冲。

以下实施例是基于采用的JVET-N0217-提案-测试-CE3-4.1_v2。

8.4.4.2.X1 仿射线性加权帧内样本预测

8.4.4.2.X3边界减少过程的规范

…

上采样边界样本upsBdryX[x]，其中x＝0..upsBdrySize–1，导出如下：

–如果needUpsBdryX等于TRUE且upsBdrySize小于nTbX，则以下适用：

uDwn＝nTbX/upsBdrySize (8-X30)

upsBdryX[x]＝refX[(x+1)*uDwn-1]

–否则(upsBdrySize等于nTbX)，upsBdryX[x]设定为等于refX[x]。

减少的边界样本redX[x]，x＝0..boundarySize–1，导出如下：

–如果boundarySize小于upsBdrySize nTbX，则以下适用：

bDwn＝upsBdrySize nTbX/boundarySize (8-X32)

等式8-X33中的术语upsBdryX被删去。

–否则(boundarySize等于upsBdrySize nTbX)，redX[x]设定为等于upsBdryXrefX[x]。

5.7一个示例

此处呈现了ALWIP中的固定顺序的上采样(又称，基于矩阵的帧内预测，或MIP)的示例。文本是基于JVET-N1001-v6。

5.7.1首先水平上采样，然后垂直上采样

8.4.5.2.1基于矩阵的帧内样本预测

该过程的输入为：

–变量predModeIntra，指定帧内预测模式，

–变量nTbW，指定变换块宽度，

–变量nTbH，指定变换块高度。

变量numModes，boundarySize，predW，predH和predC使用表8-7中所指定的MipSizeId[xTbCmp][yTbCmp]来导出。

表8-7–使用MipSizeId的预测模式的数目numModes，边界大小boundarySize，和预测大小predW，predH和predC的规范

MipSizeId	numModes	boundarySize	predW	predH	predC
						0	35	2	4	4	4
1	19	4	4	4	4
						2	11	4	Min(nTbW，8)	Min(nTbH，8)	8

标志isTransposed导出如下：

isTransposed＝(predModeIntra>(numModes/2))？TRUE：FALSE (8-56)

标志needUpsBdryHor和needUpsBdryVer导出如下：

needUpsBdryHor＝(nTbW>predW)？TRUE：FALSE (8-57)

needUpsBdryVer＝(nTbH>predH)？TRUE：FALSE (8-58)

变量upsBdryW和upsBdryH导出如下：

upsBdryW＝(nTbH>nTbW)？nTbW：predW (8-59)

upsBdryH＝(nTbH>nTbW)？predH：nTbH (8-60)

upsBdryW＝nTbW (8-59)

upsBdryH＝predH (8-60)

变量mipW和mipH导出如下：

mipW＝isTransposed？predH：predW (8-61)

mipH＝isTransposed？predW：predH (8-62)

为生成参考样本refT[x]，x＝0..nTbW–1，和refL[y]，y＝0..nTbH-1，使用以下调用条款8.4.5.2.2中所指定的MIP参考样本导出过程，以样本位置(xTbCmp，yTbCmp)，变换块宽度nTbW，变换块高度nTbH作为输入，并且分别以顶部和左侧参考样本refT[x]，x＝0..nTbW–1，和refL[y]，y＝0..nTbH-1，作为输出。

为生成边界样本p[x]，x＝0..2*boundarySize-1，以下适用：

–对顶部参考样本使用以下调用条款8.4.5.2.3中所指定的MIP边界下采样过程，以块大小nTbW，参考样本refT[x]，x＝0..nTbW-1，边界大小boundarySize，上采样边界标志needUpsBdryHor，和上采样边界大小upsBdryW作为输入，并且以减少的边界样本redT[x]，x＝0..boundarySize–1，和上采样边界样本upsBdryT[x]，x＝0..upsBdryW–1，作为输出。

–对左侧参考样本使用以下调用条款8.4.5.2.3所指定的MIP边界下采样过程，以块大小nTbH，参考样本refL[y]，y＝0..nTbH-1，边界大小boundarySize，上采样边界标志needUpsBdryVer，和上采样边界大小upsBdryH作为输入，并且减少的边界样本redL[x]，x＝0..boundarySize–1，和上采样边界样本upsBdryL[x]，x＝0..upsBdryH–1，作为输出。

–如果isTransposed等于1，则p[x]设定为等于redL[x]，x＝0..boundarySize-1，并且p[x+boundarySize]设定为等于redT[x]，x＝0..boundarySize-1。

–否则，p[x]设定为等于redT[x]，x＝0..boundarySize-1，并且p[x+boundarySize]设定为等于redL[x]，x＝0..boundarySize-1。

3.基于矩阵的帧内预测样本predMip[x][y]，x＝0..mipW-1，y＝0..mipH–1，导出如下：

–变量modeId导出如下：

modeId＝predModeIntra-(isTransposed？numModes/2：0) (8-63)

–使用表8-XX中所指定的MipSizeId[xTbCmp][yTbCmp]和modeId来导出权重矩阵mWeight[x][y]，x＝0..2*boundarySize-1，y＝0..predC*predC–1，[Ed.(BB)：一旦采用非10位权重方案，加上权重矩阵]。

–使用表8-XX中所指定的sizeId和modeId来导出偏置矢量vBias[y]，y＝0..predC*predC–1，[Ed.(BB)：一旦采用非10位权重方案，加上偏置矢量]。

–使用表8-8中所指定的MipSizeId[xTbCmp][yTbCmp]和modeId来导出变量sW。

–基于矩阵的帧内预测样本predMip[x][y]，x＝0..mipW-1，y＝0..mipH–1，导出如下：

oW＝1<<(sW-1) (8-64)

sB＝BitDepth_Y-1 (8-65)

incW＝(predC>mipW)？2：1 (8-66)

incH＝(predC>mipH)？2：1 (8-67)

4.当isTransposed等于TRUE时，predH x predW阵列predMip[x][y]，x＝0..predH-1，y＝0..predW–1被转置如下：

predTemp[y][x]＝predMip[x][y]

predMip ＝predTemp (8-70)

5.预测的样本predSamples[x][y]，x＝0..nTbW-1，y＝0..nTbH–1，导出如下：

–如果needUpsBdryVer等于TRUE或needUpsBdryHor等于TRUE，则使用以下调用条款8.4.5.2.4中所指定的MIP预测上采样过程，以输入块宽度predW，输入块高度predH，基于矩阵的帧内预测样本predMip[x][y]，x＝0..predW-1，y＝0..predH-1，变换块宽度nTbW，变换块高度nTbH，上采样边界宽度upsBdryW，上采样边界高度upsBdryH，顶部上采样边界样本upsBdryT，和左侧上采样边界样本upsBdryL作为输入，并且输出为预测的样本阵列predSamples。

–否则，predSamples[x][y]，x＝0..nTbW-1，y＝0..nTbH-1设定为等于predMip[x][y]。

6.预测的样本predSamples[x][y]，x＝0..nTbW-1，y＝0..nTbH–1，被修剪如下：

predSamples[x][y]＝Clip1_Y(predSamples[x][y]) (8-71)

表8-8–取决于MipSizeId和modeId的权重移位sW的规范

8.4.5.2.4MIP预测上采样过程

该过程的输入为：

–变量predW，指定输入块宽度，

–变量predH，指定输入块高度，

–基于矩阵的帧内预测样本predMip[x][y]，x＝0..predW-1，y＝0..predH-1，

–变量nTbW，指定变换块宽度，

–变量nTbH，指定变换块高度，

–变量upsBdryW，指定上采样边界宽度，

–变量upsBdryH，指定上采样边界高度，

–顶部上采样边界样本upsBdryT[x]，x＝0..upsBdryW-1，

–左侧上采样边界样本upsBdryL[x]，x＝0..upsBdryH-1。

稀疏预测的样本predSamples[m][n]从predMip[x][y]，x＝0..predW-1，y＝0..predH–1，导出如下：

upHor＝nTbW/predW (8-78)

upVer＝nTbH/predH (8-79)

predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝predMip[x][y] (8-80)

predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝upsBdryT[x](8-81)

predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝upsBdryL[y](8-82)

预测的样本predSamples[x][y]，x＝0..nTbW-1，y＝0..nTbH–1，导出如下：

–如果nTbH大于nTbW，以下顺序的步骤适用：

1.当upHor大于1时，对于全部稀疏位置(xHor，yHor)＝(m*upHor-1，n*upVer-1)m＝0..predW-1，n＝1..predH，以dX＝1..upHor–1应用水平上采样如下：

sum＝(upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor] (8-83)

predSamples[xHor+dX][yHor]＝(sum+upHor/2-(sum<0？1：0))/upHor (8-84)

2.对于全部稀疏位置(xVer，yVer)＝(m，n*upVer-1)，m＝0..nTbW-1，n＝0..predH–1，以dY＝1..upVer–1应用垂直上采样如下：

sum＝(upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer] (8-85)

predSamples[xVer][yVer+dY]＝(sum+upVer/2-(sum<0？1：0))/upVer (8-86)

–否则，以下顺序的步骤适用：

1.当upVer大于1时，对于全部稀疏位置(xVer，yVer)＝(m*upHor-1，n*upVer-1)，m ＝1..predW，n＝0..predH–1，以dY＝1..upVer–1应用垂直上采样如下：

sum＝(upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+ upVer] (8-87)

predSamples[xVer][yVer+dY]＝(sum+upVer/2-(sum<0？1：0))/upVer (8-88)

2.对于全部稀疏位置(xHor，yHor)＝(m*upHor-1，n)，m＝0..predW-1，n＝ 0..nTbH–1，以dX＝1..upHor–1应用水平上采样如下：。

sum＝(upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor] [yHor] (8-89)

predSamples[xHor+dX][yHor]＝(sum+upHor/2-(sum<0？1：0))/upHor (8-90)

5.7.2首先垂直上采样，然后水平上采样

8.4.5.2.1基于矩阵的帧内样本预测

该过程的输入为：

–变量predModeIntra，指定帧内预测模式，

–变量nTbW，指定变换块宽度，

–变量nTbH，指定变换块高度。

标志isTransposed导出如下：

isTransposed＝(predModeIntra>(numModes/2))？TRUE：FALSE (8-56)

标志needUpsBdryHor和needUpsBdryVer导出如下：

needUpsBdryHor＝(nTbW>predW)？TRUE：FALSE (8-57)

needUpsBdryVer＝(nTbH>predH)？TRUE：FALSE (8-58)

变量upsBdryW和upsBdryH导出如下：

upsBdryW＝(nTbH>nTbW)？nTbW：predW (8-59)

upsBdryH＝(nTbH>nTbW)？predH：nTbH (8-60)

upsBdryW＝predW (8-59)

upsBdryH＝nTbH (8-60)

变量mipW和mipH导出如下：

mipW＝isTransposed？predH：predW (8-

mipH＝isTransposed？predW：predH (8-

为生成边界样本p[x]，x＝0..2*boundarySize-1，以下适用：

–对顶部参考样本使用以下调用条款8.4.5.2.3所指定的MIP边界下采样过程，以块大小nTbW，参考样本refT[x]，x＝0..nTbW-1，边界大小boundarySize，上采样边界标志needUpsBdryHor，和上采样边界大小upsBdryW作为输入，并且减少的边界样本redT[x]，x＝0..boundarySize–1，和上采样边界样本upsBdryT[x]，x＝0..upsBdryW–1，作为输出。

–如果isTransposed等于1，则p[x]设定为等于redL[x]，x＝0..boundarySize–1，并且p[x+boundarySize]设定为等于redT[x]，x＝0..boundarySize-1。

7.基于矩阵的帧内预测样本predMip[x][y]，x＝0..mipW-1，y＝0..mipH–1，导出如下：

–变量modeId导出如下：

modeId＝predModeIntra-(isTransposed？numModes/2：0)(8-63)

–使用表8-XX中所指定的MipSizeId[xTbCmp][yTbCmp]和modeId来导出权重矩阵mWeight[x][y]，x＝0..2*boundarySize-1，y＝0..predC*predC–1，[Ed.(BB)：一旦采用非10位权重方案，添加权重矩阵]。

–使用表8-XX中所指定的sizeId和modeId来导出偏置矢量vBias[y]，y＝0..predC*predC–1，[Ed.(BB)：一旦采用非10位权重方案，添加偏置矢量]。

–基于矩阵的帧内预测样本predMip[x][y]，x＝0..mipW-1，y＝0..mipH-1导出如下：

oW＝1<<(sW-1) (8-64)

sB＝BitDepth_Y-1 (8-65)

incW＝(predC>mipW)？2：1 (8-66)

incH＝(predC>mipH)？2：1 (8-67)

8.当isTransposed等于TRUE时，predH x predW阵列predMip[x][y]，x＝0..predH-1，y＝0..predW–1被转置如下：

predTemp[y][x]＝predMip[x][y]

predMip ＝predTemp (8-70)

9.预测的样本predSamples[x][y]，x＝0..nTbW-1，y＝0..nTbH–1，导出如下：

10.预测的样本predSamples[x][y]，x＝0..nTbW-1，y＝0..nTbH–1，被修剪如下：

predSamples[x][y]＝Clip1_Y(predSamples[x][y]) (8-71)

表8-8–取决于MipSizeId和modeId的权重移位sW的规范

8.4.5.2.4MIP预测上采样过程

该过程的输入为：

–变量predW，指定输入块宽度，

–变量predH，指定输入块高度，

–变量nTbW，指定变换块宽度，

–变量nTbH，指定变换块高度，

–变量upsBdryW，指定上采样边界宽度，

–变量upsBdryH，指定上采样边界高度，

–顶部上采样边界样本upsBdryT[x]，x＝0..upsBdryW-1，

–左侧上采样边界样本upsBdryL[x]，x＝0..upsBdryH-1。

upHor＝nTbW/predW (8-78)

upVer＝nTbH/predH (8-79)

predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝predMip[x][y] (8-80)

顶部边界样本upsBdryT[x]，x＝0..upsBdryW-1被分配到predSamples[m][-1]如下：

predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝upsBdryT[x](8-81)

左边界样本upsBdryL[y]，y＝0..upsBdryH-1被分配到predSamples[-1][n]如下：

predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝upsBdryL[y](8-82)

预测的样本predSamples[x][y]，x＝0..nTbW-1，y＝0..nTbH-1导出如下：

–如果nTbH大于nTbW，以下顺序的步骤适用：

1.当upHor大于1时，对于全部稀疏位置(xHor，yHor)＝(m*upHor-1，n*upVer-1)，m ＝0..predW-1，n＝1..predH，以dX＝1..upHor–1应用水平上采样如下：

sum＝(upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor] [yHor] (8-83)

predSamples[xHor+dX][yHor]＝(sum+upHor/2-(sum<0？1：0))/upHor (8-84)

2.对于全部稀疏位置(xVer，yVer)＝(m，n*upVer-1)，m＝0..nTbW-1，n＝ 0..predH–1，以dY＝1..upVer–1应用垂直上采样如下：

sum＝(upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+ upVer] (8-85)

predSamples[xVer][yVer+dY]＝(sum+upVer/2-(sum<0？1：0))/upVer (8-86)

–否则，以下顺序的步骤适用：

1.当upVer大于1时，对于全部稀疏位置(xVer，yVer)＝(m*upHor-1，n*upVer-1)，m＝1..predW，n＝0..predH–1，以dY＝1..upVer–1应用垂直上采样如下：

sum＝(upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer] (8-87)

predSamples[xVer][yVer+dY]＝(sum+upVer/2-(sum<0？1：0))/upVer (8-88)

2.对于全部稀疏位置(xHor，yHor)＝(m*upHor-1，n)，m＝0..predW-1，n＝0..nTbH–1，以dX＝1..upHor-1应用水平上采样如下：。

sum＝(upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor] (8-89)

predSamples[xHor+dX][yHor]＝(sum+upHor/2-(sum<0？1：0))/upHor (8-90)

以上描述的示例可以整合于以下描述的方法(例如，方法1100-1400和2300-2400)的上下文中，其可以在视频编码器和/或解码器处实现。

图11示出了示例性视频处理的方法的流程图。方法1100包含，在步骤1110，确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的。

方法1100包含，在步骤1120，基于所述确定，基于非ALWIP帧内模式的MPM列表的至少一部分构建ALWIP模式的最可能模式(MPM)列表的至少一部分。

方法1100包含，在步骤1130，基于ALWIP模式的MPM列表，进行当前视频块与当前视频块的比特流表示之间的转换。

在一些实施例中，ALWIP模式的MPM列表的大小与非ALWIP帧内模式的MPM列表的大小相同。在示例中，ALWIP模式的MPM列表的大小是6。

在一些实施例中，方法1100还包括将默认模式插入到ALWIP模式的MPM列表的步骤。在示例中，在ALWIP模式的MPM列表的基于非ALWIP帧内模式的MPM列表的部分之前插入默认模式。在另一示例中，在ALWIP模式的MPM列表的基于非ALWIP帧内模式的MPM列表的部分之后插入默认模式。在又一示例中，以与ALWIP模式的MPM列表的基于非ALWIP帧内模式的MPM列表的部分交织的方式插入默认模式。

在一些实施例中，构建ALWIP模式的MPM列表和非ALWIP帧内模式的MPM列表是基于一个或多个邻域块。

在一些实施例中，构建ALWIP模式的MPM列表和非ALWIP帧内模式的MPM列表是基于当前视频块的高度或宽度。

在一些实施例中，构建ALWIP模式的MPM列表基于第一组参数，其与用于构建非ALWIP帧内模式的MPM列表的第二组参数不同。

在一些实施例中，方法1100还包含以下步骤：确定当前视频块的邻域块已经用ALWIP模式编解码，并且在构建非ALWIP帧内模式的MPM列表时将邻域块标明为不可用。

在一些实施例中，方法1100还包含以下步骤：确定当前视频块的邻域块已经用非ALWIP帧内模式编解码，并且在构建ALWIP模式的MPM列表时将邻域块标明为不可用。

在一些实施例中，非ALWIP帧内模式是基于普通帧内模式、多参考线(MRL)帧内预测模式或帧内子分割(ISP)工具。

图12示出了示例性视频处理的方法的流程图。方法1200包含，在步骤1210，确定当前视频块的亮度分量是使用仿射线性加权帧内预测(ALWIP)模式编解码的。

方法1200包含，在步骤1220，基于该确定，推断色度帧内模式。

方法1200包含，在步骤1230，基于色度帧内模式，进行当前视频块与当前视频块的比特流表示之间的转换。

在一些实施例中，亮度分量覆盖色度分量的预定色度样本。在示例中，预定色度样本是色度分量的左顶样本或中央样本。

在一些实施例中，推断的色度帧内模式是DM模式。

在一些实施例中，推断的色度帧内模式是ALWIP模式。

在一些实施例中，ALWIP模式应用于当前视频块的一个或多个色度分量。

在一些实施例中，ALWIP模式的不同矩阵或偏置矢量应用于当前视频块的不同色彩分量。在示例中，不同矩阵或偏置矢量为Cb和Cr分量联合地预定义。在另一示例中，Cb和Cr分量连结。在又一示例中，Cb和Cr分量交织。

图13示出了示例性视频处理的方法的流程图。方法1300包含，在步骤1310，确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的。

方法1300包含，在步骤1320，基于确定，进行当前视频块与当前视频块的比特流表示之间的转换。

在一些实施例中，确定是基于序列参数集(SPS)、图片参数集(PPS)、条带头、片组头、片头、编解码树单元(CTU)行或CTU区中的信令通知。

在一些实施例中，确定是基于当前视频块的高度(H)或宽度(W)。在示例中，W>T1或H>T2。在另一示例中，W≥T1或H≥T2。在又一示例中，W<T1或H<T2。在又一示例中，W≤T1或H≤T2。在又一示例中，T1＝32且T2＝32。

在一些实施例中，确定是基于当前视频块的高度(H)或宽度(W)。在示例中，W+H≤T。在另一示例中，W+H≥T。在又一示例中，W×H≤T。在又一示例中，W×H≥T。在又一示例中，T＝256。

图14示出了示例性视频处理的方法的流程图。方法1400包含，在步骤1410，确定当前视频块是用与仿射线性加权帧内预测(ALWIP)模式不同的编解码模式编解码的。

方法1400包含，在步骤1420，基于确定，进行当前视频块与当前视频块的比特流表示之间的转换。

在一些实施例中，编解码模式是组合的帧内和帧间预测(CIIP)模式，并且方法1400还包含在ALWIP模式与普通帧内预测模式之间进行选择的步骤。在示例中，进行选择是基于当前视频块的比特流表示中的显式信令通知。在另一示例中，基于预定规则进行选择。在又一示例中，在当前视频块使用CIIP模式编解码时，预定规则总是选择ALWIP模式。在又一示例中，在当前视频块使用CIIP模式编解码时，预定规则总是选择普通帧内预测模式。

在一些实施例中，编解码模式是跨分量线性模型(CCLM)预测模式。在示例中，ALWIP模式的下采样过程是基于CCLM预测模式的下采样过程。在另一示例中，ALWIP模式的下采样过程是基于第一组参数，并且其中CCLM预测模式的下采样过程是基于与第一组参数不同的第二组参数。在又一示例中，ALWIP模式或CCLM预测模式的下采样过程包括以下的至少一个：下采样位置的选集、下采样滤波器的选集、取整操作或修剪操作。

在一些实施例中，方法1400还包含应用减少的二次变换(RST)、二次变换、旋转变换或不可分离二次变换(NSST)中的一个或多个的步骤。

在一些实施例中，方法1400还包含应用基于块的差分脉冲编解码调制(DPCM)或残差DPCM的步骤。

在一些实施例中，视频处理方法包含，在当前视频块与当前视频块的比特流表示之间的转换期间，基于当前视频块的规则来确定指示使用仿射线性加权帧内预测(ALWIP)模式的标志的上下文，基于ALWIP模式，预测当前视频块的多个子块，以及基于该预测，进行当前视频块与当前视频块的比特流表示之间的转换。规则可以使用先验的技术隐式地指定或可以在编解码比特流中信令通知。该方法的其他示例和方面在章节4中的项目37和38中进一步描述。

在一些实施例中，视频处理的方法包含，确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的，并且在当前视频块与当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样本进行至少两个滤波阶段，其中至少两个滤波阶段的第一滤波阶段中的样本的第一精度不同于至少两个滤波阶段的第二滤波阶段中的样本的第二精度。

在示例中，当前视频块的样本是预测样本，上采样过程之前的中介样本或上采样过程之后的中介样本。在另一示例中，在第一滤波阶段中样本在第一维度上被水平地上采样，并且其中在第二滤波阶段中样本在第二维度上被垂直地上采样。在又一示例中，在第一滤波阶段中样本在第一维度上被垂直地上采样，并且其中在第二滤波阶段中样本在第二维度上被水平地上采样。

在示例中，第一滤波阶段的输出被右移或做除法，以生成处理的输出，并且其中处理的输出为对第二滤波阶段的输入。在另一示例中，第一滤波阶段的输出被左移或做乘法，以生成处理的输出，并且其中处理的输出为对第二滤波阶段的输入。该方法的其他示例和方面在章节4的项目40中进一步描述。

如章节4中的项目41至43进一步描述的，视频处理方法包含，确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的，在当前视频块与当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样本进行至少两个滤波阶段，其中对于进行垂直和水平上采样两者的情况，以固定顺序进行上采样过程。如章节4中的项目41至43中进一步描述的，另一方法包含，确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的，在当前视频块与当前视频块的比特流表示之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样本进行至少两个滤波阶段，其中转换包含在上采样过程之前进行转置操作。

上述方法的附加特征在章节4中的项目41至43中进一步描述。

6本公开的技术的示例性实现方式

图15是视频处理设备1500的框图。设备1500可以用于实现本文所描述的一个或多个方法。设备1500可以实施为智能电话、平板计算机、计算机、物联网(IoT)接收器等。设备1500可以包含一个或多个处理器1502、一个或多个存储器1504和视频处理硬件1506。(多个)处理器1502可以配置为实现本文档中所描述的一个或多个方法(包含但不限于方法1100-1400和2300-2400)。存储器(多个存储器)1504可以用于储存用于实现本文所描述的方法和技术的数据和代码。视频处理硬件1506可以用于以硬件电路实现本文档中所描述的一些技术。

在一些实施例中，视频编解码方法可以使用设备实现，该设备实现在关于图15所描述的硬件平台上。

本公开的技术的一些实施例包含进行决定或确定以启用视频处理工具或模式。在示例中，当启用视频处理工具或模式时，编码器将在处理视频的块时使用或实现工具或模式，但可以不一定基于工具或模式的使用而修改所得比特流。即，从视频的块到视频的比特流表示的转换在基于决定或确定而启用视频处理工具或模式时将使用视频处理工具或模式。在另一示例中，当视频处理工具或模式启用时，解码器将在了解比特流已经基于视频处理工具或模式被修改的情况下处理比特流。即，视频的比特流表示到视频的块的转换将使用基于决定或确定而启用的视频处理工具或模式进行。

本公开的技术的一些实施例包含，进行或确定以禁用视频处理工具或模式。在示例中，当视频处理工具或模式被禁用时，编码器将不使用视频的块到视频的比特流表示的转换中的工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在了解比特流尚未使用基于决定或确定而被禁用的视频处理工具或模式修改的情况下处理比特流。

图21是图示可以采用本公开技术的示例性视频编解码系统100的框图。如图21中所示，视频编解码系统100可以包含源装置110和目的地装置120。源装置110生成编解码的视频数据，其可以称为视频编码装置。目的地装置120可以将由源装置110生成的编码的视频数据解码，其可以称为视频解码装置。源装置110可以包含视频源112、视频编码器114，以及输入/输出(I/O)接口116。

视频源112可以包含诸如视频捕捉装置的源，从视频内容提供者接收视频数据的接口，和/或生成视频数据的计算机图形系统，或这样的源的组合。视频数据可以包含一个或多个图片。视频编码器114编码来自视频源112的视频数据以生成比特流。比特流可以包含形成视频数据的编解码表示的比特的序列。比特流可以包含编解码图片和相关联的数据。编解码图片是图片的编解码表示。相关联的数据可以包含序列参数集、图片参数集和其他语法结构。I/O接口116可以包含调制器/解调器(调制解调器)和/或发射器。编码的视频数据可以经由I/O接口116通过网络130a被直接发射到目的地装置120。编码的视频数据还可以储存到储存介质/服务器130b以由目的地装置120访问。

目的地装置120可以包含I/O接口126、视频解码器124，以及显示装置122。

I/O接口126可以包含接收器和/或调制解调器。I/O接口126可以从源装置110或储存介质/服务器130b获得编码的视频数据。视频解码器124可以解码编码的视频数据。显示装置122可以向用户显示解码的视频数据。显示装置122可以与目的地装置120集成，或可以在配置为与外部显示装置相接口的目的地装置120的外部。

视频编码器114和视频解码器124可以根据视频压缩标准操作，该标准诸如高效视频编解码(HEVC)标准、多功能视频编解码(VVM)标准和其他当前和/或其他标准。

图22是图示视频编码器200的示例的框图，其可以是图21所示的系统100中的视频编码器114。

视频编码器200可以配置为进行本公开的任意或全部技术。在图22的示例中，视频编码器200包含多个功能组件。本公开所描述的技术可以在视频编码器200的各种组件之间共用。在一些示例中，处理器可以配置为进行本公开所描述的技术的任意或全部。

视频编码器200的功能组件可以包含分割单元201、可以包含模式选择单元203的断定(predication)单元202、运动估计单元204、运动补偿单元205和帧内预测单元206、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213，以及熵编码单元214。

在其他示例中，视频编码器200可以包含更多、更少或不同的功能组件。在示例中，断定单元202可以包含帧内块复制(IBC)单元。IBC单元可以在IBC模式中进行断定，IBC模式中至少一个参考图片是当前视频块所在位置处的图片。

另外，诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成，但在图22的示例中出于解释目的而分开地表示。

分割单元201可以将图片分割为一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。

模式选择单元203可以例如基于错误结果选择帧内或帧间的编解码模式之一，并且将所得的帧内或帧间编解码块提供到残差生成单元207以生成残差块数据，并提供到重构单元212以重构编码的块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间断定(CIIP)模式的组合，其中断定是基于帧间断定信令通知和帧内断定信令通知。在帧间断定的情况下，模式选择单元203还可以选择块的运动矢量(例如，子像素或整数像素精度)的分辨率。

为了对当前视频块进行帧间预测，运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块作比较而生成当前视频块的运动信息。运动补偿单元205可以基于除了与当前视频块相关联的图片之外的来自缓冲器213的图片的运动信息和解码的样本来确定当前视频块的预测的视频块。

运动估计单元204和运动补偿单元205可以例如，取决于当前视频块是在I条带、P条带还是B条带中而对当前视频块进行不同操作。

在一些示例中，运动估计单元204可以对当前视频块进行单向预测，并且运动估计单元204可以为当前视频块的参考视频块搜索列表0或列表1的参考图片。运动估计单元204然后可以生成参考索引和运动矢量，参考索引指示列表0或列表1中的含有参考视频块的参考图片，运动矢量指示当前视频块与参考视频块之间的空域位移。运动估计单元204可以输出参考索引、预测方向指示符，以及作为当前视频块的运动信息的运动矢量。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块，生成当前块的预测的视频块。

在其他示例中，运动估计单元204可以进行当前视频块的双向预测，运动估计单元204可以为当前视频块的参考视频块搜索列表0中的参考图片，并且还可以为当前视频块的另一参考视频块搜索列表1中的参考图片。运动估计单元204然后可以生成参考索引和运动矢量，参考索引指示列表0和列表1中的含有参考视频块的参考图片，运动矢量指示参考视频块与当前视频块之间的空域位移。运动估计单元204可以输出参考索引和作为当前视频块的运动信息的当前视频块的运动矢量。运动补偿单元205可以基于由当前视频块的运动信息所指示的参考视频块而生成当前视频块的预测的视频块。

在一些示例中，运动估计单元204可以输出解码器的解码过程的完整组的运动信息。

在一些示例中，运动估计单元204可以不输出当前视频的完整组的运动信息。反之，运动估计单元204可以参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息足够相似于邻域视频块的运动信息。

在一个示例中，运动估计单元204可以指示某一值，在与当前视频块相关联的语法结构中，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。

在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与指示的视频块的运动矢量之间的差。视频解码器300可以使用指示的视频块的运动矢量与运动矢量差来确定当前视频块的运动矢量。

如上所述，视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实现的预测性信令通知技术的两个示例包含高级运动矢量断定(AMVP)和Merge模式信令通知。

帧内预测单元206可以对当前视频块进行帧内预测。当帧内预测单元206对当前视频块进行帧内预测时，帧内预测单元206可以基于相同图片中的其他视频块的解码的样本生成当前视频块的预测数据。当前视频块的预测数据可以包含预测的视频块和各种语法元素。

残差生成单元207可以通过从当前视频块减去(例如，由减号指示)当前视频块的(多个)预测的视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包含对应于当前视频块中的样本的不同样本分量的残差视频块。

在其他示例中，例如在跳过模式中，对于当前视频块，可以不存在残差数据，并且残差生成单元207可以不进行减法运算。

变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块而生成当前视频块的一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值而量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可以对变换系数视频块分别应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可以将重构的残差视频块添加到来自由断定单元202生成的一个或多个预测的视频块的对应的样本，以产生与当前块相关联的重构的视频块，以储存在缓冲器213中。

在重构单元212重构视频块之后，可以进行回路滤波操作，以减少视频块中的视频块伪影。

熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可以进行一个或多个熵编码操作，以生成熵编码的数据并输出包含熵编码数据的比特流。

图19是图示视频解码器300的示例的框图，其可以是图21图示的系统100中的视频解码器114。

视频解码器300可以配置为进行本公开技术的任意或全部。在图19的示例，视频解码器300包含多个功能组件。本公开所描述的技术可以在视频解码器300的各种组件之中共用。在一些示例中，处理器可以配置为进行本公开所描述的技术的任意或全部。

在图19的示例中，视频解码器300包含熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305，以及重构单元306和缓冲器307。在一些示例中，视频解码器300可以进行解码通过，其总体上与关于视频编码器200(图22)描述的编码通过相反。

熵解码单元301可以取回编码的比特流。编码的比特流可以包含熵编解码视频数据(例如，视频数据的编码块)。熵解码单元301可以解码熵编解码视频数据，并且从熵解码的视频数据，运动补偿单元302可以确定运动信息，其包含运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。运动补偿单元302可以例如通过进行AMVP和Merge模式来确定这样的信息。

运动补偿单元302可以产生运动补偿的块，可能基于插值滤波进行插值。要与子像素精度一起使用的插值滤波的标识符可以被包含在语法元素中。

运动补偿单元302可以使用如视频编码器20在视频块的编解码期间所使用的插值滤波来计算参考块的子整数像素的插值的值。运动补偿单元302可以根据接收的语法信息确定由视频编码器200使用的插值滤波，并且使用插值滤波来产生预测性块。

运动补偿单元302可以使用语法信息中的一些来确定以下：用于对编码的视频序列的(多个)帧和/或(多个)条带进行编码的块的大小；分割信息，其描述编码的视频序列的图片的每个宏块如何被分割；指示每个分割如何编码的模式；每个帧间编码块的一个或多个参考帧(和参考帧列表)；以及解码编码的视频序列的其他信息。

帧内预测单元303可以使用例如在比特流中接收的帧内预测模式以从空间上相邻的块形成预测块。逆量化单元303将比特流中提供且由熵解码单元301解码的量化的视频块系数逆量化(即，去量化)。逆变换单元303应用逆变换。

重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应的预测块加和以形成解码的块。如果需要，则解块滤波还可以被应用于滤波解码的块，以便移除块效应伪影。解码的视频块然后被储存在缓冲器307中，其提供参考块，以用于后续运动补偿/帧内断定，并且还产生解码的视频以展示在显示装置上。

在本文档中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，在从视频的像素表示转换到对应的比特流表示的期间可以应用视频压缩算法，或反之亦然。如语法所定义的，当前视频块的比特流表示或编解码表示可以例如对应于比特流内并置或分散在不同位置的位。例如，视频块可以就变换的和编解码的误差残差值而言被编码，并且也使用头中和比特流中的其他字段中的位。另外，在转换期间，基于所述确定，解码器可以在了解一些字段可以存在或不存在的情况下解析比特流，如以上方案所描述。相似地，编码器可以确定要或不要包含某些语法字段，并且通过包含或从编解码表示排除语法字段相应地生成编解码表示。

图20是示出可以实现本文所公开的各种技术的示例性视频处理系统2000的框图。各种实现方式可以包含系统2000的一些或全部组件。系统2000可以包含用于接收视频内容的输入2002。视频内容可以以原始或未压缩格式接收，例如8或10比特多分量像素值，或者可以是压缩或编码格式。输入2002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包含诸如以太网，无源光网络(PON)等的有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统2000可以包含编解码组件2004，其可以实现本文件中描述的各种编解码或编码方法。编解码组件2004可以将来自输入2002的视频的平均比特率减小到编解码组件2004的输出，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件2004的输出可以储存或者经由连接的通信传输，如组件2006所表示的。在输入2002处接收的视频的存储或通信的比特流(或编解码)表示可以由组件2008使用，以生成发送到显示接口2010的像素值或可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，并且逆转编解码结果的相应的解码工具或操作将由解码器进行。

外围总线接口或显示接口的示例可以包含通用串行总线(USB)或高分辨率多媒体接口(HDMI)或显示端口(Displayport)等。存储接口的示例包含SATA(串行先进技术附件)、PCI、IDE接口等。本文件中描述的技术可以实施为各种电子设备，诸如移动电话、膝上型计算机、智能电话或能够执行数字数据处理和/或视频显示的其他装置。

在一些实施例中，ALWIP模式或MIP模式通过对视频的先前编解码的样本进行以下而被用于计算当前视频块的预测块：进行边界下采样操作(或平均运算)，之后是矩阵矢量乘法运算，并且之后选择性地(或可选地)进行上采样操作(或线性插值运算)。在一些实施例中，ALWIP模式或MIP模式通过对视频的先前编解码的样本进行以下而被用于计算当前视频块的预测块：进行边界下采样操作(或平均运算)，并且之后是矩阵矢量乘法运算。在一些实施例中，ALWIP模式或MIP模式还可以在进行矩阵矢量乘法运算之后进行上采样操作(或线性插值运算)。

图23示出了视频处理的示例性方法2300的流程图。方法2300包含使用基于矩阵的帧内预测(MIP)模式进行2302视频的当前视频块与当前视频块的比特流表示之间的转换，在基于矩阵的帧内预测模式中，当前视频块的预测块是通过对视频的先前编解码的样本进行以下操作而确定的：进行边界下采样操作，之后进行矩阵矢量乘法运算，并且之后选择性地进行上采样操作，其中转换包含在单个阶段中进行边界下采样操作，在所述单个阶段中，根据规则至少部分基于参考当前视频块的边界样本生成当前视频块的减少的边界样本，并且其中转换包含使用当前视频块的减少的边界样本进行矩阵矢量乘法运算。

在方法2300的一些实施例中，参考边界样本是当前视频块的重构的邻域样本。在方法2300的一些实施例中，规则指定减少的边界样本从当前视频块的重构的邻域样本生成。在方法2300的一些实施例中，重构的邻域样本是没有参考滤波过程的解码的邻域样本，其中重构的邻域样本在被用于当前视频块之前不被滤波。在方法2300的一些实施例中，重构的邻域样本是具有参考滤波过程的解码的邻域样本，其中重构的邻域样本在被用于当前视频块之前被滤波。

在方法2300的一些实施例中，用重构的邻域样本生成角度帧内预测样本。在方法2300的一些实施例中，用重构的邻域样本生成非角度帧内预测样本。在方法2300的一些实施例中，规则指定由位于当前视频块的上方的行处和/或位于当前视频块的左侧的列处的重构的邻域样本生成减少的边界样本。在方法2300的一些实施例中，由第二数目(M)的重构的邻域样本生成第一数目(N)的减少的边界样本，并且使用第三数目(K)的连续重构的邻域样本生成减少的边界样本。在方法2300的一些实施例中，K＝M/N。在方法2300的一些实施例中，K＝(M+N/2)/N。在方法2300的一些实施例中，基于第三数目(K)的连续重构的邻域样本中的连续重构的邻域样本的平均生成减少的边界样本。

在方法2300的一些实施例中，基于第三数目(K)的连续重构的邻域样本中的连续重构的邻域样本的加权平均生成减少的边界样本。在方法2300的一些实施例中，规则指定：由位于当前视频块的左侧的邻域列处的重构的邻域样本生成位于当前视频块的左侧的减少的边界样本，并且由位于当前视频块的上方的邻域行处的所述重构的邻域样本生成位于当前视频块的顶部的减少的边界样本。在方法2300的一些实施例中，当前视频块是16x 16视频块，由位于16x 16视频块的左侧的邻域列处的重构的邻域样本生成位于16x 16视频块的左侧的四个减少的边界样本，并且由位于16x 16视频块的上方的邻域行处的重构的邻域样本生成位于16x 16视频块的顶部的四个减少的边界样本。

在方法2300的一些实施例中，规则指定，由边界下采样操作生成减少的边界样本所使用的技术是基于当前视频块的维度。在方法2300的一些实施例中，规则指定，由边界下采样操作生成减少的边界样本所使用的技术是基于与当前视频块相关联的编解码的信息。在方法2300的一些实施例中，编解码的信息包含当前视频块的宽度、当前视频块的高度、与当前视频块相关联的帧内预测模式或变换模式的指示。在方法2300的一些实施例中，不考虑当前视频块的大小而生成规则指定减少的边界样本。在方法2300的一些实施例中，规则指定，生成位于当前视频块的左侧的减少的边界样本所使用的过程不同于生成位于当前视频块的顶部的减少的边界样本所使用的过程。在方法2300的一些实施例中，当前视频块具有宽度(M)和高度(N)，位于当前视频块顶部的减少的边界样本的第一预定义的数目是M、N或M和N之中的最小值，位于当前视频块左侧的减少的边界样本的第二预定义的数目是M、N或M和N之中的最小值，基于邻域样本或通过复制位于当前视频块的上方的行处的邻域样本生成第一数目的减少的边界样本，并且通过复制邻域样本或基于位于当前视频块左侧的列处的邻域样本生成第二数目的减少的边界样本。

图24示出了视频处理的示例性方法2400的流程图。方法2400包含使用基于矩阵的帧内预测(MIP)模式进行2402视频的当前视频块与当前视频块的比特流表示之间的转换，在使用基于矩阵的帧内预测模式中，通过对视频的先前编解码的样本进行以下来确定当前视频块的最终预测块：进行边界下采样操作，之后是矩阵矢量乘法运算，并且之后是上采样操作，其中转换包含进行上采样操作，其中通过以下确定最终预测块：根据规则使用当前视频块的减少的预测块，并且使用当前视频块的重构的邻域样本，并且其中通过对当前视频块的减少的边界样本进行矩阵矢量乘法运算获得减少的预测块。

在方法2400的一些实施例中，规则指定通过使用全部重构的邻域样本确定最终预测块。在方法2400的一些实施例中，规则指定通过使用一些重构的邻域样本确定最终预测块。在方法2400的一些实施例中，重构的邻域样本与当前视频块相邻。在方法2400的一些实施例中，重构的邻域样本不与当前视频块相邻。在方法2400的一些实施例中，重构的邻域样本位于当前视频块的上方的邻域行，和/或重构的邻域样本位于当前视频块的左侧的邻域列。

在方法2400的一些实施例中，规则指定在确定最终预测块时从上采样操作排除减少的边界样本。在方法2400的一些实施例中，规则指定通过使用选自重构的邻域样本的一组重构的邻域样本确定最终预测块。在方法2400的一些实施例中，选自重构的邻域样本的该组重构的邻域样本包含位于当前视频块左侧的全部重构的邻域样本的选集。在方法2400的一些实施例中，选自重构的邻域样本的该组重构的邻域样本包含位于当前视频块的上方的全部重构的邻域样本的选集。

在方法2400的一些实施例中，选自重构的邻域样本的该组重构的邻域样本包含位于当前视频块左侧的每M个连续重构的邻域样本中的K个重构的邻域样本的选集。在方法2400的一些实施例中，K等于1，且M等于2、4或8。在方法2400的一些实施例中，每M个连续重构的邻域样本之中的K个连续重构的邻域样本包含每M个连续重构的邻域样本中的最后K个重构的邻域样本。在方法2400的一些实施例中，每M个连续重构的邻域样本之中的K个连续重构的邻域样本包含每M个连续重构的邻域样本中的最前K个重构的邻域样本。在方法2400的一些实施例中，选自重构的邻域样本的该组重构的邻域样本包含位于当前视频块的上方的每M个连续重构的邻域样本中的K个重构的邻域样本的选集。在方法2400的一些实施例中，K等于1，且M等于2、4或8。在方法2400的一些实施例中，每M个连续重构的邻域样本之中的K个连续重构的邻域样本包含每M个连续重构的邻域样本中的最后K个重构的邻域样本。

在方法2400的一些实施例中，每M个连续重构的邻域样本之中的K个连续重构的邻域样本包含每M个连续重构的邻域样本中的最前K个重构的邻域样本。在方法2400的一些实施例中，该组重构的邻域样本基于当前视频块的宽度和/或当前视频块的高度而选自重构的邻域样本。在方法2400的一些实施例中，响应于当前视频块的宽度大于或等于当前视频块的高度：该组重构的邻域样本被选择为包含位于当前视频块左侧的全部重构的邻域样本，和/或该组重构的邻域样本被选择为包含位于当前视频块的上方的若干重构的邻域样本，其中重构的邻域样本的数目取决于当前视频块的宽度。

在方法2400的一些实施例中，位于当前视频块的上方的第k个所选择的重构的邻域样本位于由(blkX+(k+1)*blkW/M-1，blkY-1)所描述的位置，其中(blkX，blkY)表示当前视频块的左顶位置，其中M是重构的邻域样本的数目，并且其中k为从0至(M-1)，含端值。在方法2400的一些实施例中，响应于宽度小于或等于8，重构的邻域样本的数目等于4。在方法2400的一些实施例中，响应于宽度大于8，重构的邻域样本的数目等于8。在方法2400的一些实施例中，该组重构的邻域样本被选择为包含位于当前视频块左侧的全部重构的邻域样本，和/或该组重构的邻域样本被选择为包含位于当前视频块的上方的若干重构的邻域样本，其中重构的邻域样本的数目取决于当前视频块的宽度。

在方法2400的一些实施例中，响应于宽度小于或等于8，重构的邻域样本的数目等于4。在方法2400的一些实施例中，响应于宽度大于8，重构的邻域样本的数目等于8。在方法2400的一些实施例中，响应于当前视频块的宽度小于当前视频块的高度：该组重构的邻域样本被选择为包含位于当前视频块的上方的全部重构的邻域样本，和/或该组重构的邻域样本被选择为包含位于当前视频块左侧的若干重构的邻域样本，其中重构的邻域样本的数目取决于当前视频块的高度。

在方法2400的一些实施例中，位于当前视频块左侧的第k个所选择的重构的邻域样本位于由(blkX-1，blkY+(k+1)*blkH/M-1)所描述的位置，其中(blkX，blkY)表示当前视频块的左顶位置，其中M是重构的邻域样本的数目，并且其中k为从0至(M-1)，含端值。在方法2400的一些实施例中，响应于高度小于或等于8，重构的邻域样本的数目等于4。在方法2400的一些实施例中，响应于高度大于8，重构的邻域样本的数目等于8。在方法2400的一些实施例中，该组重构的邻域样本被选择为包含位于当前视频块的上方的全部重构的邻域样本，和/或该组重构的邻域样本被选择为包含位于当前视频块左侧的若干重构的邻域样本，其中重构的邻域样本的数目取决于当前视频块的高度。

在方法2400的一些实施例中，响应于高度小于或等于8，重构的邻域样本的数目等于4。在方法2400的一些实施例中，响应于高度大于8，重构的邻域样本的数目等于8。在方法2400的一些实施例中，规则指定通过使用一组修改的重构的邻域样本而确定最终预测块，该组修改的重构的邻域样本通过修改重构的邻域样本而获得。在方法2400的一些实施例中，规则指定该组修改的重构的邻域样本通过对重构的邻域样本进行滤波操作而获得。在方法2400的一些实施例中，滤波操作使用N抽头滤波。在方法2400的一些实施例中，N等于2或3。

在方法2400的一些实施例中，根据MIP模式适应性地应用规则指定滤波操作，在MIP模式中确定当前视频块的最终预测块。在方法2400的一些实施例中，用于通过上采样操作确定最终预测块的技术是基于当前视频块的维度。在方法2400的一些实施例中，用于通过上采样操作确定最终预测块的技术是基于与当前视频块相关联的编解码的信息。在方法2400的一些实施例中，编解码的信息包含与当前视频块相关联的帧内预测方向或变换模式的指示。

在本专利文档中描述的方法的一些实施例中，进行转换包含从当前视频块生成比特流表示。在本专利文档中描述的方法的一些实施例中，进行转换包含从比特流表示生成当前视频块。

从前述内容可以理解，本文已经出于说明的目的描述了本公开技术的具体实施例，但是在不脱离本发明的范围的情况下可以进行各种修改。相应地，除了所附权利要求之外，本发明所公开的技术不受限制。

本专利文档中描述的主题和功能操作的实现方式可以实现为各种系统、数字电路，或计算机软件、固件，或硬件，包含本说明书中公开的结构和它们的结构等同，或组合它们中的一个或多个。本说明书中所描述的主题的实现方式可以实现为一个或多个计算机程序产品，即，计算机程序指令的一个或多个模块，编码在有形且非瞬态的计算机可读介质上，以由数据处理设备执行或控制数据处理设备的运行。计算机可读介质可以是机器可读储存装置、机器可读储存基板、存储器装置、实现机器可读传播信令通知的物质组合，或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理设备”包含用于处理数据的全部设备、装置和机器，包含例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该设备还可以包含为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统，或者它们中的一个或多个的组合。

计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写，包含编译或解释语言，并且它可以以任何形式部署，包含如独立程序或适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在文件的保存其他程序或数据的一部分(例如，存储在标记语言文档中的一个或多个脚本)中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码的部分的文件)。可以部署计算机程序以在一个计算机上或在位于一个站点上或分布在多个站点上并通过通信网络互连的多个计算机上执行。

本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置也可以实现为专用逻辑电路。

适合于执行计算机程序的处理器包含例如通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包含用于存储数据的一个或多个大容量装置设备(例如磁盘、磁光盘或光盘)或与之可操作地耦合以从一个或多个大容量装置设备接收数据或将数据传输到一个或多个大容量装置设备。但是，计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包含全部形式的易失性存储器、介质和存储器装置，包含例如半导体存储器设备，例如EPROM，EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

旨在将说明书与附图一起仅视为示例性的，其中示例性是指示例。如本文所使用的，“或”的使用旨在包括“和/或”，除非上下文另外明确指出。

虽然本专利文档包含许多细节，但这些细节不应被解释为对任何发明或可要求保护的范围的限制，而是作为特定于特定发明的特定实施例的特征的描述。在单独的实施例的上下文中在本专利文档中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实现。此外，尽管上面的特征可以描述为以某些组合起作用并且甚至最初如此要求保护，但是在某些情况下可以从组合中去除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变体。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解成为了实现期望的结果要求以所示的特定顺序或按顺序执行这样的操作，或者执行全部示出的操作。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在全部实施例中都需要这种分离。

仅描述了几个实现方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实现方式、增强和变化。

Claims

1.一种视频处理的方法，包括：

使用基于矩阵的帧内预测(MIP)模式进行视频的当前视频块与当前视频块的比特流表示之间的转换，在所述基于矩阵的帧内预测模式中，所述当前视频块的预测块是通过对所述视频的先前编解码的样本进行以下操作而确定的：进行边界下采样操作，之后进行矩阵矢量乘法运算，并且之后选择性地进行上采样操作，

其中所述转换包含在单个阶段中进行所述边界下采样操作，在所述单个阶段中，根据规则至少部分基于所述当前视频块的参考边界样本来生成所述当前视频块的减少的边界样本，并且

其中所述转换包含使用所述当前视频块的减少的边界样本进行所述矩阵矢量乘法运算。

2.如权利要求1所述的方法，其中所述参考边界样本是所述当前视频块的重构的邻域样本。

3.如权利要求2所述的方法，其中所述规则指定，所述减少的边界样本从所述当前视频块的重构的邻域样本生成。

4.如权利要求3所述的方法，其中所述重构的邻域样本是没有参考滤波过程的解码的邻域样本，其中所述重构的邻域样本在被用于所述当前视频块之前不被滤波。

5.如权利要求3所述的方法，其中所述重构的邻域样本是具有参考滤波过程的解码的邻域样本，其中所述重构的邻域样本在被用于所述当前视频块之前被滤波。

6.如权利要求3所述的方法，其中用所述重构的邻域样本生成角度帧内预测样本。

7.如权利要求3所述的方法，其中用所述重构的邻域样本生成非角度帧内预测样本。

8.如权利要求1所述的方法，其中所述规则指定，由位于所述当前视频块的上方的行处和/或位于所述当前视频块的左侧的列处的所述重构的邻域样本生成所述减少的边界样本。

9.如权利要求8所述的方法，

其中由第二数目(M)的所述重构的邻域样本生成第一数目(N)的减少的边界样本，并且

其中使用第三数目(K)的连续重构的邻域样本生成减少的边界样本。

10.如权利要求9所述的方法，其中K＝M/N。

11.如权利要求9所述的方法，其中K＝(M+N/2)/N。

12.如权利要求9所述的方法，其中基于所述第三数目(K)的连续重构的邻域样本中的连续重构的邻域样本的平均而生成所述减少的边界样本。

13.如权利要求9所述的方法，其中基于所述第三数目(K)的连续重构的邻域样本中的所述连续重构的邻域样本的加权平均而生成所述减少的边界样本。

14.如权利要求2所述的方法，其中所述规则指定：

由位于所述当前视频块的左侧的邻域列处的所述重构的邻域样本生成位于所述当前视频块的左侧的所述减少的边界样本，并且

由位于所述当前视频块的上方的邻域行处的所述重构的邻域样本生成位于所述当前视频块的顶部的所述减少的边界样本。

15.如权利要求14所述的方法，

其中所述当前视频块是16x 16视频块，

其中由位于所述16x 16视频块的左侧的邻域列处的所述重构的邻域样本生成位于所述16x 16视频块的左侧的四个减少的边界样本，并且

其中由位于所述16x 16视频块的上方的邻域行处的所述重构的邻域样本生成位于所述16x 16视频块的顶部的四个减少的边界样本。

16.如权利要求1所述的方法，其中所述规则指定，由所述边界下采样操作生成所述减少的边界样本所使用的技术是基于所述当前视频块的维度。

17.如权利要求1所述的方法，其中所述规则指定，由所述边界下采样操作生成所述减少的边界样本所使用的技术是基于与所述当前视频块相关联的编解码的信息。

18.如权利要求17所述的方法，其中所述编解码的信息包含所述当前视频块的宽度、所述当前视频块的高度、与所述当前视频块相关联的帧内预测模式或变换模式的指示。

19.如权利要求1所述的方法，其中所述规则指定，不考虑所述当前视频块的大小而生成所述减少的边界样本。

20.如权利要求1所述的方法，其中所述规则指定，生成位于所述当前视频块的左侧的所述减少的边界样本所使用的过程不同于生成位于所述当前视频块的顶部的所述减少的边界样本所使用的过程。

21.如权利要求20所述的方法，

其中所述当前视频块具有宽度(M)和高度(N)，

其中位于所述当前视频块的顶部的减少的边界样本的第一预定义的数目为M、N或M和N之中的最小值，

其中位于所述当前视频块的左侧的减少的边界样本的第二预定义的数目为M、N或M和N之中的最小值，

其中基于邻域样本或通过复制位于所述当前视频块的上方的行处的邻域样本而生成所述第一数目的减少的边界样本，并且

其中通过复制邻域样本或基于位于所述当前视频块的左侧的列处的邻域样本而生成所述第二数目的减少的边界样本。

22.如权利要求1-21中任一项所述的方法，其中进行所述转换包含由所述当前视频块生成所述比特流表示。

23.如权利要求1-21中任一项所述的方法，其中进行所述转换包含由所述比特流表示生成所述当前视频块。

24.一种视频系统中的设备，包括处理器和其上具有指令的非瞬态存储器，其中由所述处理器执行所述指令时，使所述处理器实现权利要求1至23中任一项所述的方法。

25.一种计算机程序产品，储存在非瞬态计算机可读介质上，所述计算机程序产品包含用于执行权利要求1至23中任一项所述的方法的程序代码。