CN117241018A

CN117241018A - 使用滤波的基于矩阵的帧内预测

Info

Publication number: CN117241018A
Application number: CN202311458792.2A
Authority: CN
Inventors: 邓智玭; 张凯; 张莉; 刘鸿彬; 许继征
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-05-01
Filing date: 2020-05-05
Publication date: 2023-12-15
Also published as: WO2020221373A1; US11463729B2; JP2022531147A; EP3949391A4; KR20220002318A; JP2023164589A; EP3949391A1; CN113812150B; CN113812150A; US20220014783A1

Abstract

描述了使用滤波的基于矩阵的帧内预测。提供了一种处理视频数据的方法、装置和介质，该方法包括：对于视频的视频块和视频的比特流之间的转换，确定对视频的视频块应用第一帧内模式，其中第一帧内模式中的处理包括一级边界下采样操作，随后执行矩阵矢量乘法运算和上采样操作，以针对视频的视频块生成预测样点；以及基于预测样点执行转换，其中，减少的边界样点是通过一级边界下采样操作从视频的视频块的参考边界样点生成的，并被用于生成矩阵矢量乘法运算的输入。

Description

使用滤波的基于矩阵的帧内预测

相关申请的交叉引用

本申请是申请日为2020年5月5日、申请号为202080032683.2、发明名称为“使用滤波的基于矩阵的帧内预测”的发明专利申请的分案申请，其要求于2019年5月1日提交的国际专利申请No.PCT/CN2019/085399和于2019年5月15日提交的国际专利申请No.PCT/CN2019/087047的优先权和权益。上述申请的全部公开通过引用并入作为本申请公开的一部分。

技术领域

本专利文档涉及视频编解码技术、装置和系统。

背景技术

尽管视频压缩取得进步，但是数字视频仍在互联网和其他数字通信网络上占用最大带宽使用。随着能够接收和显示视频的连接的用户装置的数量增加，预计对数字视频使用的带宽需求将继续增长。

发明内容

描述了涉及数字视频编解码的装置、系统和方法，并且具体描述了视频编码的基于矩阵的帧内预测方法。描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(HEVC))和未来的视频编解码标准(例如，多功能视频编码(VVC))或编解码器。

视频处理的实施例包括一种处理视频数据的方法，包括：对于视频的视频块和所述视频的比特流之间的转换，确定对所述视频的所述视频块应用第一帧内模式，其中所述第一帧内模式中的处理包括一级边界下采样操作，随后执行矩阵矢量乘法运算和上采样操作，以针对所述视频的所述视频块生成预测样点；以及基于所述预测样点执行所述转换，其中，减少的边界样点是通过所述一级边界下采样操作从所述视频的所述视频块的参考边界样点生成的，并被用于生成所述矩阵矢量乘法运算的输入。

视频处理的实施例包括一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在被处理器执行时使处理器：对于视频的视频块和所述视频的比特流之间的转换，确定对所述视频的所述视频块应用第一帧内模式，其中所述第一帧内模式中的处理包括一级边界下采样操作，随后执行矩阵矢量乘法运算和上采样操作，以针对所述视频的所述视频块生成预测样点；以及基于所述预测样点执行所述转换，其中，减少的边界样点是通过所述一级边界下采样操作从所述视频的所述视频块的参考边界样点生成的，并被用于生成所述矩阵矢量乘法运算的输入。

视频处理的实施例包括一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器：对于视频的视频块和所述视频的比特流之间的转换，确定对所述视频的所述视频块应用第一帧内模式，其中所述第一帧内模式中的处理包括一级边界下采样操作，随后执行矩阵矢量乘法运算和上采样操作，以针对所述视频的所述视频块生成预测样点；以及基于所述预测样点执行所述转换，其中，减少的边界样点是通过所述一级边界下采样操作从所述视频的所述视频块的参考边界样点生成的，并被用于生成所述矩阵矢量乘法运算的输入。

视频处理的实施例包括一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：确定对所述视频的视频块应用第一帧内模式，其中所述第一帧内模式中的处理包括一级边界下采样操作，随后执行矩阵矢量乘法运算和上采样操作，以针对所述视频的所述视频块生成预测样点；以及基于所述预测样点生成所述比特流；其中，减少的边界样点是通过所述一级边界下采样操作从所述视频的所述视频块的参考边界样点生成的，并被用于生成所述矩阵矢量乘法运算的输入。

视频处理的实施例包括一种用于生成视频的比特流的方法，包括：确定对所述视频的视频块应用第一帧内模式，其中所述第一帧内模式中的处理包括一级边界下采样操作，随后执行矩阵矢量乘法运算和上采样操作，以针对所述视频的所述视频块生成预测样点；基于所述预测样点生成所述比特流；以及将所述比特流存储在非暂时性计算机可读记录介质中，其中，减少的边界样点是通过所述一级边界下采样操作从所述视频的所述视频块的参考边界样点生成的，并被用于生成所述矩阵矢量乘法运算的输入。

视频处理的实施例包括一种处理视频数据的方法，包括：针对视频的当前视频块和视频的比特流之间的转换，基于语法元素确定是否对所述当前视频块应用矩阵帧内预测MIP模式，其中在所述MIP模式中，所述当前视频块的预测样点是通过执行矩阵矢量乘法运算来确定的；以及基于所述确定执行所述转换，其中，所述语法元素的至少一个二进制位被上下文编解码，并且基于所述当前视频块的临近块的特性确定所述上下文的索引。

视频处理的实施例包括一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器：针对视频的当前视频块和视频的比特流之间的转换，基于语法元素确定是否对所述当前视频块应用矩阵帧内预测MIP模式，其中在所述MIP模式中，所述当前视频块的预测样点是通过执行矩阵矢量乘法运算来确定的；以及基于所述确定执行所述转换，其中，所述语法元素的至少一个二进制位被上下文编解码，并且基于所述当前视频块的临近块的特性确定所述上下文的索引。

视频处理的实施例包括一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器：针对视频的当前视频块和视频的比特流之间的转换，基于语法元素确定是否对所述当前视频块应用矩阵帧内预测MIP模式，其中在所述MIP模式中，所述当前视频块的预测样点是通过执行矩阵矢量乘法运算来确定的；以及基于所述确定执行所述转换，其中，所述语法元素的至少一个二进制位被上下文编解码，并且基于所述当前视频块的临近块的特性确定所述上下文的索引。

视频处理的实施例包括一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：基于语法元素确定是否对所述视频的当前视频块应用矩阵帧内预测MIP模式，其中在所述MIP模式中，所述当前视频块的预测样点是通过执行矩阵矢量乘法运算来确定的；以及基于所述确定生成所述比特流，其中，所述语法元素的至少一个二进制位被上下文编解码，并且基于所述当前视频块的临近块的特性确定所述上下文的索引。

视频处理的实施例包括一种用于存储视频的比特流的方法，包括：基于语法元素确定是否对所述视频的当前视频块应用矩阵帧内预测MIP模式，其中在所述MIP模式中，所述当前视频块的预测样点是通过执行矩阵矢量乘法运算来确定的；基于所述确定生成所述比特流；以及将所述比特流存储在非暂时性计算机可读记录介质中，其中，所述语法元素的至少一个二进制位被上下文编解码，并且基于所述当前视频块的临近块的特性确定所述上下文的索引。

视频处理的第一个示例方法包括：采用基于矩阵的帧内预测(MIP)模式执行在视频的当前视频块与当前视频块的比特流之间的转换，其中通过对位于当前视频块的左边和当前视频块的顶部的参考边界执行边界下采样操作，随后执行矩阵矢量乘法运算，且随后选择性地执行上采样操作来确定当前视频块的预测块，其中不是在边界下采样操作中从当前视频块的参考边界样点计算出的减少的边界样点，而是将参考边界样点直接用于上采样操作中的预测过程。

视频处理的第二示例方法包括：在视频的当前视频块与当前视频块的比特流之间的转换期间，在与基于矩阵的帧内预测(MIP)模式相关联的上采样操作中，对当前视频块的样点执行至少两个滤波级，在基于矩阵的帧内预测(MIP)模式中，通过对视频的先前编码样点执行边界下采样操作，随后执行矩阵矢量乘法运算，且随后选择性地执行上采样操作，来确定当前视频块的预测块，其中至少两个滤波级的第一滤波级中的样点的第一精度与至少两个滤波级的第二滤波级中的样点的第二精度不同；以及执行在当前视频块和当前视频块的比特流之间的转换。

第三示例视频编码方法包括：采用矩阵帧内预测(MIP)模式编码视频的当前视频块，在矩阵帧内预测(MIP)模式中，通过对视频的先前编码的样点执行边界下采样操作，随后执行矩阵矢量乘法运算，且随后选择性地执行上采样操作，来确定当前视频块的预测块；以及采用算术编解码，向当前视频块的比特流添加指示MIP模式对当前视频块的适用性的语法元素，该算术编解码中语法元素的上下文基于规则被导出。

第四示例视频解码方法包括：为指示是否采用矩阵帧内预测(MIP)模式编码当前视频块的语法元素，解析包括当前视频块的视频的比特流，其中语法元素采用算术编解码被编码，该算术编解码中该语法元素的上下文基于规则被导出；以及解码当前视频块的比特流以生成解码的当前视频块，其中在采用MIP模式编码当前视频块的情况下，解码包括通过对视频的先前编码的视频样点执行边界下采样操作，随后执行矩阵矢量乘法运算，随后选择性地执行上采样操作，来确定当前视频块的预测块。

在一个代表性方面，所公开的技术可以用于提供视频处理的方法。该示例性方法包括：确定采用仿射线性加权帧内预测(ALWIP)模式编码当前视频块；基于该确定，基于非ALWIP帧内模式的最可能模式(MPM)列表的至少一部分构造ALWIP模式的MPM列表的至少一部分；以及基于ALWIP模式的MPM列表，执行当前视频块和当前视频块的比特流之间的转换。

在另一个代表性方面，所公开的技术可以用于提供视频处理的方法。该示例性方法包括：确定采用仿射线性加权帧内预测(ALWIP)模式编码当前视频块的亮度分量；基于该确定来推断色度帧内模式；以及基于色度帧内模式，执行在当前视频块和当前视频块的比特流之间的转换。

在又一个代表性方面，所公开的技术可以用于提供视频处理的方法。该示例性方法包括：确定采用仿射线性加权帧内预测(ALWIP)模式编码当前视频块；以及基于该确定，执行在当前视频块和当前视频块的比特流之间的转换。

在又一个代表性方面，所公开的技术可以用于提供视频处理的方法。该示例性方法包括：确定当前视频块是采用与仿射线性加权帧内预测(ALWIP)模式不同的编码模式来编码的；以及基于该确定，执行在当前视频块和当前视频块的比特流之间的转换。

在又一个代表性方面，所公开的技术可以用于提供视频处理的方法。该示例性方法包括：为当前视频块，采用仿射线性加权帧内预测(ALWIP)模式生成第一预测；基于第一预测，采用位置相关帧内预测组合(PDPC)生成第二预测；以及基于第二预测，执行在当前视频块和当前视频块的比特流之间的转换。

在又一个代表性方面，所公开的技术可以用于提供视频处理的方法。该示例性方法包括：确定采用仿射线性加权帧内预测(ALWIP)模式编码当前视频块；基于ALWIP模式，预测当前视频块的多个子块；以及基于该预测，执行在当前视频块和当前视频块的比特流之间的转换。

在又一个代表性方面，公开视频处理的方法。该方法包括基于当前视频块的规则，确定指示在当前视频块和当前视频块的比特流之间的转换期间使用仿射线性加权帧内预测(ALWIP)模式的标志的上下文；基于ALWIP模式，预测当前视频块的多个子块；以及基于预测，执行在当前视频块和当前视频块的比特流之间的转换。

在又一个代表性方面，公开视频处理的方法。该方法包括：确定采用仿射线性加权帧内预测(ALWIP)模式编码当前视频块；以及在当前视频块与当前视频块的比特流之间的转换期间，在与ALWIP模式相关联的上采样过程中对当前视频块的样点执行至少两个滤波级，其中，至少两个滤波级的第一滤波级中的样点的第一精度与至少两个滤波级的第二滤波级的样点中的第二精度不同。

在又一个代表性方面，上述方法以处理器可执行代码的形式实施且存储在计算机可读程序介质中。

在又一个代表性方面，公开了配置为或可操作为执行上述方法的装置。该装置可以包括编程为实现该方法的处理器。

在又一个代表性方面，视频解码器设备可以实现本文所描述的方法。

附图、说明书和权利要求书中更详细地描述所公开技术的以上和其他方面和特征。

附图说明

图1示出了33个帧内预测方向的示例。

图2示出了67个帧内预测模式的示例。

图3示出了用于对线性模型的权重推导的样点的位置的示例。

图4示出了与预测块邻近的四个参考线的示例。

图5A和图5B示出了取决于块大小的子分割的示例。

图6示出了用于4×4块的ALWIP的示例。

图7示出了用于8×8块的ALWIP的示例。

图8示出了用于8×4块的ALWIP的示例。

图9示出了用于16×16块的ALWIP的示例。

图10示出了在MPM列表构造中使用的邻近块的示例。

图11示出了根据所公开的技术的用于基于矩阵的帧内预测的示例方法的流程图。

图12示出了根据所公开的技术的用于基于矩阵的帧内预测的另一个示例方法的流程图。

图13示出了根据所公开的技术的用于基于矩阵的帧内预测的又一个示例方法的流程图。

图14示出了根据所公开的技术的用于基于矩阵的帧内预测的又一个示例方法的流程图。

图15是用于实现本文档中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。

图16示出了邻近块的示例。

图17是图示可以利用本公开的技术的示例视频编码系统的框图。

图18是图示视频编码器的示例的框图。

图19是图示视频解码器的示例的框图。

图20是示出其中可以实施本文所公开的各种技术的示例视频处理系统的框图。

图21-24描述了根据所公开的技术的基于矩阵的帧内预测的示例方法。

具体实施方式

由于对高分辨率视频的需求不断增长，视频编码方法和技术在现代技术中普遍存在的。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且会不断进行改进以提供较高的编码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。在视频质量、用于表示视频的数据量(由比特率确定)、编码和解码算法的复杂度、对数据损耗和错误的敏感度、易于编辑、随机存取、与端到端延迟(时延)之间存在复杂关系。压缩格式通常符合标准的视频压缩规范，例如高效视频编解码(HEVC)标准(也称为H.265或MPEG-H第2部分)、尚待最终确定的通用视频编码(VVC)标准、或其他当前和/或将来的视频编解码标准。

公开的技术的实施例可以应用于现有的视频编解码标准(例如，HEVC，H.265)和未来的标准，以改进运行时间性能。本文档中使用节标题来改进说明书的可读性，并且不以任何方式将讨论或执行(和/或实现方式)仅限于各个节。

1关于HEVC的简要综述

1.1HEVC/H.265中的帧内预测

帧内预测涉及使用在考虑的颜色信道中先前重构的样点来产生给定的TB(变换块)的样点。针对亮度和色度信道分别信令通知帧内预测模式，其中色度信道帧内预测模式可选地取决于经由“DM_CHROMA”模式的亮度信道帧内预测模式。尽管以PB(预测块)级别信令通知帧内预测模式，但是根据CU的残差四叉树层级在TB级别应用帧内预测过程，从而允许一个TB的编解码对CU内下一个TB的编解码有影响，从而缩短到用作参考值的样点之间的距离。

HEVC包括35个帧内预测模式——DC模式、平面模式和33个方向性或“成角度的”帧内预测模式。图1中图示了33个成角度的帧内预测模式。

对于与色度色彩信道相关联的PB，将帧内预测模式指定为平面、DC、水平、垂直、“DM_CHROMA”模式或有时对角线模式‘34’。

请注意对于色度格式4:2:2和4:2:0，色度PB可能与两个或四个(分别)亮度PB重叠；在这种情况下，DM_CHROMA的亮度方向是从这些亮度PB的左上方获取。

DM_CHROMA模式指示将亮度色彩信道PB的帧内预测模式应用于色度色彩信道PB。由于这是相对常见的，所以intra_chroma_pred_mode的最可能模式编解码方案偏向于支持选择该模式。

2 VVC中的帧内预测的示例

2.1具有67个帧内预测模式的帧内模式编解码

为了捕获自然视频中存在的任意边缘方向，方向性帧内模式的数量从HEVC中使用的33个扩展到65个。附加的方向性模式在图2中用红色虚线箭头表示，并且平面和DC模式保持不变。这些更密集的方向性帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

2.2跨分量线性模型(CCLM)的示例

在一些实施例中，并且为了降低跨分量冗余，在JEM中使用跨分量线性模型(CCLM)预测模式(也称为LM)，因此通过使用以下线性模型基于相同CU的重构的亮度样点来预测色度样点。

pred_C(i,j)＝α·rec_L′(i,j)+β (1)

在此，pred_C(i,j)表示CU中的预测的色度样点，且rec_L′(i,j)表示同一CU的下采样重构的亮度样点。线性模型参数α和β是从两个样点的亮度值和色度值之间的关系导出的，该两个样点是在下采样的邻近亮度样点的集合中的最小样点值和最大样点的亮度样点以及它们对应的色度样点。图3示出了CCLM模式中涉及的左样点和上样点以及当前块的样点的位置的示例。

该参数计算作为编码过程的一部分，而不仅仅作为编码器搜索操作来执行。因此，没有语法用于将α和β值传达到编码器。

对于色度帧内模式编解码，总共8个帧内模式允许用于色度帧内模式编解码。这些模式包括五个传统帧内模式和三个跨分量线性模型模式(CCLM、LM_A和LM_L)。色度模式编解码直接取决于对应亮度块的的帧内预测模式。因此，在I条带中启用亮度和色度分量的分开的块分割结构，一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承覆盖当前色度块的中央位置的对应亮度块的帧内预测模式。

2.3多参考线(MRL)帧内预测

多参考线(MRL)帧内预测为帧内预测使用较多参考线。图4中，描绘4条参考线的示例，其中段A和F的样点不是从重构的邻近样点中获取的，而是分别填充有来自段B和E的最接近的样点。HEVC图片内的预测使用最近的参考线(即，参考线0)。MRL中，使用2条附加线(参考线1和参考线3)。信令通知已选择的参考线的索引(mrl_idx)，且将其用于生成帧内预测符。对于大于0的参考线idx，仅包括MPM列表中的附加参考线模式，并且仅信令通知mpm索引而没有其余模式。

2.4帧内子分割(ISP)

帧内子分割(ISP)工具根据块尺寸将亮度帧内预测块垂直或水平划分为2个或4个子分割。例如，ISP的最小块尺寸为4x8(或8x4)。如果块尺寸大于4x8(或8x4)，则将对应的块分为4个子分割。图5示出了两种可能性的示例。所有子分割均满足具有至少16个样点的条件。

对于每个子分割，通过将残差信令通知添加到预测信令通知来获得重构的样点。在此，由诸如熵解码、逆量化和逆变换的过程来生成残差信令通知。因此，每个子分割的重构样点值可用于生成下一个子分割的预测，并且重复处理每个子分割。附加地，要处理的第一子分割是包含CU的左上样点且然后继续向下(水平划分)或向右(垂直划分)的子分割。因此，用于生成子分割预测信令通知的参考样点仅位于线的左侧和上侧处。所有子分割共享相同的帧内模式。

2.5仿射线性加权帧内预测(ALWIP或基于矩阵的帧内预测)

在JVET-N027中提出了仿射线性加权帧内预测(ALWIP，别称基于矩阵的帧内预测(MIP))。

在JVET-N027中，进行两个测试。测试1中，ALWIP设计为具有8K字节的存储器限制和每个样点最多4个乘法。测试2与测试1类似，但是在存储器需求和模型架构方面进一步简化了设计。

ο对于所有块形状的矩阵和偏移矢量的单个集合。

ο对于所有块形状的模式数量降低至19个。

ο存储器需求降低至5760个10比特值，即7.20千字节。

ο在每次预测的单个步骤中执行预测的样点的线性插值，以替代第一测试中的迭代插值。

2.5.1 JVET-N0217的测试1

为了预测宽度为W和高度为H的矩形块的样点,仿射线性加权帧内预测(ALWIP)在该块的左边获取一行H个重构的邻近边界样点的且在该块的上方获取一行W个重构的邻近边界样点作为输入。如果重构的样点不可用，则它们按照常规帧内预测中完成的方式来生成。

预测信令通知的生成基于以下三个步骤：

从边界样点，通过平均化提取W＝H＝4情况下的四个样点和所有其他情况下的八个样点。

使用平均的样点作为输入，执行矩阵矢量乘法，然后加上偏移。结果是原始块中样点的子采样集合上的减少的预测信令通知。

其余位置的预测信令通知是通过线性插值从子采样集合上的预测信令通知生成，线性插值在每个方向上是单步线性插值。

从矩阵的三个集合S₀,S₁，S₂中获取需要生成预测信令通知的矩阵和偏移矢量。集合S₀由18个矩阵和18个偏移矢量/> 构成，每个矩阵具有16行和4列，每个偏移矢量的尺寸为16。该集合的矩阵和偏移矢量用于尺寸4×4的块。集合S₁由10个矩阵/> 和10个偏移矢量构成，每个矩阵具有16行和8列，每个偏移矢量的尺寸为16。该集合的矩阵和偏移矢量用于尺寸4×8、8×4和8×8的块。最后，集合S₂由6个矩阵/>和6个偏移矢量/>构成，每个矩阵具有64行和8列，每个偏移矢量的尺寸为64。该集合的矩阵和偏移矢量或这些矩阵和偏移矢量的某些部分用于所有其他块形状。

矩阵矢量乘积的运算中所需的乘法的总数目总是小于或等于4×W×H。换言之，ALWIP模式每个样点需要至多四次乘法。

2.5.2边界的平均化

第一步，输入边界bdry^top和bdry^left被减少为较小边界和/>在此，/>和/>二者在4×4块的情况下由两个样点构成，并且在所有其他情况下二者由四个样点构成。

在4×4块的情况下，对于0≤i<2，定义

并且类似地定义

另外，如果块的宽度W给定为W＝4·2^k，则对于0≤i<4，定义

并且类似地定义

两个减少的边界和/>被串接到减少的边界矢量bdry_red，因此对于4×4形状的块，尺寸为四，并且对于所有其他形状的块尺寸为八。如果mode指代ALWIP模式，该串接定义如下：

最后，对于子采样的预测信令通知的插值，在大块上需要平均化的边界的第二版本。即，如果min(W,H)>8且W≥H，则写入W＝8*2^l，且对于0≤i<8，定义

如果min(W,H)>8和H>W，则类似地定义

2.5.3由矩阵矢量乘法生成减少的预测信令通知

从减少的输入矢量bdry_red，生成减少的预测信令通知pred_red。后者信令通知是宽度W_red和高度H_red的下采样块上的信令通知。在此，W_red和H_red定义为：

通过计算矩阵矢量乘积和加上偏移来计算减少的预测信令通知pred_red：

pred_red＝A·bdry_red+b

在此，A是如果W＝H＝4则具有W_red·h_red行和4列的矩阵，且在所有其他情况下为W_red·H_red行和8列的矩阵。b是尺寸为W_red·H_red的矢量。

如下从集合S₀、S₁、S₂中获取矩阵A和矢量b。定义索引idx＝idx(W,H)如下：

此外，使m为如下：

然后，如果idx≤1或idx＝2且min(W,H)>4，则使和/>在idx＝2且min(W,H)＝4的情况下，在W＝4情况下略去/>的对应于下采样的块中的奇数x坐标的每行而使A为生成的矩阵，或者在H＝4的情况下略去/>的对应于下采样的块中的奇数y坐标的每行而使A为生成的矩阵。

最后，减少的预测信令通知在以下情况下替换为其转置：

οW＝H＝4且mode≥18

οmax(W,H)＝8且mode≥10

οmax(W,H)>8且mode≥6

在W＝H＝4的情况下，计算pred_red所需的乘法数目为4，因为在这种情况下，A具有4列和16行。在所有其他情况下，A具有8列和W_red·H_red行，并且立即验证在这些情况下需要8·W_red·H_red≤4·W·H个乘法，即在这些情况下，每个样点需要至多4个乘法来计算pred_red。

2.5.4整个ALWIP过程的阐述

图6-9图示了对不同形状求平均值、矩阵矢量乘法和线性插值的整个过程。注意到，其余形状按所描绘的情况之一处理。

1、给定4×4块，ALWIP沿着边界的每个轴取两个平均值。得到的四个输入样点进入矩阵矢量乘法。从集合S₀中获取矩阵。在加上偏移之后，这产生了16个最终预测样点。线性插值对生成预测信令通知不是必要的。因此，每个样点总共执行了(4·16)/(4·4)＝4个乘法。

2、给定8×8块，ALWIP沿着边界的每个轴线取四个平均值。得到的八个输入样点进入矩阵矢量乘积。从集合S₁中获取矩阵。这在预测块的奇数位置上产生16个样点。因此，每个样点总共执行了(8·16)/(8·8)＝2个乘法。在加上偏移之后，这些样点通过采用减少的顶边界被垂直地插值。水平插值随后采用原始左边界。

3、给定8×4块，ALWIP沿边界的水平轴线取四个平均值，并且在左边界取四个原始边界值。得到的八个输入样点进入矩阵矢量乘法。从集合S₁中获取矩阵。这在预测块的奇数水平和每个垂直位置上产生16个样点。因此，每个样点总共执行了(8·16)/(8·4)＝4个乘法。在加上偏移之后，这些样点通过采用原始左边界被水平地插值。

4、给定16×16块，ALWIP沿着边界的每个轴线取四个平均值。得到的八个输入样点进入矩阵矢量乘法。从集合S₂中获取矩阵。这在预测块的奇数位置上产生64个样点。因此，每个样点总共执行了(8·64)/(16•16)＝2个乘法。在加上偏移之后，这些样点通过采用顶边界的八个平均值被垂直地插值。随后采用原始左边界水平插值。在这种情况下，插值过程不会添加任何乘法。因此，每个样点总共需要两个乘法来计算ALWIP预测。

对于较大的形状，该过程基本上相同，并且容易检验每个样点的乘法数目少于四个。

对于W>8的W×8块，只有水平插值是必要的，因为在奇数水平位置和每个垂直位置给定样点。

最后，对于W>8的W×4块，通过略去对应于沿着下采样的块的水平轴的奇数条目的每行而使A_kbe为产生的矩阵。因此，输出尺寸为32，而且仅保留要执行水平插值。

相应地处理转置的情况。

2.5.5单步线性插值

对于W×H块，其中max(W,H)≥8,由线性插值从W_red×H_red上的减少的预测信令通知pred_red产生预测信令通知。取决于块形状，在垂直、水平或两个方向上完成线性插值。线性插值如果被施加在两个方向上，则在W<H时首先被应用在水平方向上，否则首先应用在垂直方向上。在不失一般性的情况下，考虑W×H块，其中max(W,H)≥8且W≥H的。然后，按照如下执行一维线性插值。在不失一般性的情况下，描述垂直方向上的线性插值是足够的。首先，减少的预测信令通知由边界信令通知扩展至顶部。定义垂直上采样因子U_ver＝H/H_red且写入U_ver＝2uver>1。然后，由下式定义扩展的减少的预测信令通知

然后，从该扩展的减少的预测信令通知，由下式生成垂直线性插值的预测信令通知

其中0≤x<W_red，0≤y<H_red且0≤k<U_ver。

2.5.6提出的帧内预测模式的信令通知化

对于帧内模式的每个编解码单元(CU)，在比特流中发送标志，该标志指示是否将ALWIP模式应用到对应的预测单元(PU)上。后者索引的信令通知化以与JVET-M004相同的方式与MRL协调。如果要应用ALWIP模式，则ALWIP模式的索引predmode采用具有3个MPMS的MPM列表来信令通知。

在此，采用上方PU和左PU的帧内模式执行MPM的推导如下。存在三个固定的表map_angular_to_alwip_idx，idx∈{0,1,2}，其向每个常规帧内预测模式predmode_Angular分配ALWIP模式

predmode_ALWIP＝map_angular_to_alwip_idx[predmode_Angular].

对于宽度W和高度H的每个PU，定义索引

idx(PU)＝idx(W,H)∈{0,1,2}

其指示从这三个集合中的哪一集合中取得ALWIP参数，如节2.5.3。

如果上方预测单元PU_above是可用的、属于与当前PU相同的CTU并且是在帧内模式下，如果idx(PU)＝idx(PU_above)并且如果用ALWIP模式将ALWIP应用PU_above上，则使

如果上方PU是可用的、属于与当前PU相同的CTU并且是在帧内模式下，并且如果常规帧内预测模式被应用在上方PU上，则使

在所有其他情况中，则使

这意味着该模式是不可用的。以相同的方式，但不限制左PU需要属于与当前PU相同的CTU，导出模式

最后，提供三个固定默认的列表list_idx,idx∈{0,1,2}，每个列表包含三个不同的ALWIP模式。从默认列表list_idx(PU)和模式和/>通过由默认值替换-1且消除重复来构造三个不同的MPM。

如图10所示，ALWIP MPM列表构造中所使用的左邻近块和上方邻近块是A1和B1。

2.5.7常规亮度和色度帧内预测模式的适应性MPM列表推导

如下将提出的ALWIP模式与常规帧内预测模式的基于MPM的编码协调。常规帧内预测模式的亮度和色度MPM列表推导过程使用固定表map_alwip_to_angular_idx，idx∈{0,1,2}，将给定PU上的ALWIP模式predmode_ALWIP映射到传统帧内预测模式中的一个

predmode_Angular＝map_alwip_to_angular_idx(PU)[predmode_ALWIP]

对于亮度MPM列表推导，每当遇到使用ALWIP模式predmode_ALWIP的邻近亮度块，就如采用常规帧内预测模式predmode_Angular一样处理该块。对于色度MPM列表推导，每当当前亮度块使用LWIP模式，相同的映射将ALWIP模式转换为常规的帧内预测模式。

2.5.8对应的修改后的工作草案

在如本节所描述的一些实施例中，已经基于所公开的技术的实施例将与intra_lwip_flag、intra_lwip_mpm_flag、intra_lwip_mpm_idx和intra_lwip_mpm_remainder有关的部分添加到工作草案中。

在如本节所描述的一些实施例中，<开始>和<结束>标签用于表示对基于所公开的技术的实施例的工作草案的添加和修改。

语法表

编解码单元语法

/>

语义

<开始>等于1的intra_lwip_flag[x0][y0]指定了亮度样点的帧内预测类型是仿射线性加权帧内预测。等于0的intra_lwip_flag[x0][y0]指定了亮度样点的帧内预测类型不是仿射线性加权帧内预测。

当intra_lwip_flag[x0][y0]没有出现时，其被推断为等于0。

语法元素intra_lwip_mpm_flag[x0][y0]、intra_lwip_mpm_idx[x0][y0]和intra_lwip_mpm_remainder[x0][y0]为亮度样点指定仿射线性加权帧内预测模式。矩阵索引x0、y0指定了所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。当intra_lwip_mpm_flag[x0][y0]等于1时，仿射线性加权帧内预测模式是从根据小节8.4.X的邻近帧内预测编解码单元被推断的。

当intra_lwip_mpm_flag[x0][y0]没有出现时，其被推断为等于1。<结束>

intra_subpartitions_split_flag[x0][y0]指定了帧内子分割划分类型是水平还是垂直。当intra_subpartitions_split_flag[x0][y0]没有出现时，则推断如下：

-如果intra_lwip_flag[x0][y0]等于1，则intra_subpartitions_split_flag[x0][y0]被推断为等于0。

-否则,，以下适用：

-如果cbHeight大于MaxTbSizeY，则intra_subpartitions_split_flag[x0][y0]被推断为等于0。

-否则(cbWidth大于MaxTbSizeY)，则intra_subpartitions_split_flag[x0][y0]被推断为等于1。

编码过程

/>

8.4.X.1预测块尺寸类型的推导过程

表8-X1–帧内预测模式与仿射线性加权帧内预测模式之间的映射规范

表8-X2–仿射线性加权帧内预测候选模式的规范

<结束>

8.4.2.亮度帧内预测模式的推导过程

/>

8.4.3色度帧内预测模式的推导过程

该过程的输入是：

-亮度位置(xCb,yCb)，指定当前色度编解码块的左上样点相对于当前图片的左上样点的位置，

…

xxx.帧内样点预测

/>

8.4.4.2.X1仿射线性加权帧内样点预测

表8-X4–取决于sizeId的模式数、边界样点尺寸和预测尺寸的规范

/>

表8-X5–取决于sizeId和modeId的加权移位sW的规范

/>

8.4.4.2.X2参考样点推导过程

/>

表9-9–语法元素和相关联的二进制化

表9-10–用上下文编码的箱(bin)将ctxInc分配到语法元素

表9-11–使用左语法元素和上语法元素的ctxInc的规范

<结束>

ALWIP的总结

为了预测宽度为W和高度为H的矩形块的样点，仿射线性加权帧内预测(ALWIP)在该块的左边获取一行H个重构的邻近边界样点的且在该块的上方获取一行W个重构的邻近边界样点作为输入。如果重构的样点不可用，则它们按照常规帧内预测中完成的方式来生成。ALWIP仅应用于亮度帧内块。对于色度帧内块，应用常规帧内编码模式。

预测信令通知的生成基于以下三个步骤：

1、从边界样点，通过平均化提取W＝H＝4情况下的四个样点和所有其他情况下的八个样点。

2、用平均的样点作为输入，执行矩阵矢量乘法，然后加上偏移。结果是原始块中样点的子采样集合上的减少的预测信令通知。

3、其余位置的预测信令通知是通过线性插值从子采样集合上的预测信令通知生成，线性插值在每个方向上是单步线性插值。

如果要应用ALWIP模式，则ALWIP模式的索引predmode采用具有3个MPMS的MPM列表来信令通知。在此，采用上方PU和左PU的帧内模式执行MPM的推导如下。存在三个固定的表map_angular_to_alwip_idx，idx∈{0,1,2}，其向每个常规帧内预测模式predmode_Angular分配ALWIP模式

predmode_ALWIP＝map_angular_to_alwip_idx[predmode_Angular].

对于宽度W和高度H的每个PU，定义索引

idx(PU)＝idx(W,H)∈{0,1,2}

其指示要从这三个集合中的哪一集合中取得ALWIP参数。

在所有其他情况中，使

这意味着该模式是不可用的。以相同方式，但不限制左PU需要属于与当前PU相同的CTU，导出模式

最后，提供三个固定默认的列表list_idx,idx∈{0,1,2}，每个列表包含三个不同的ALWIP模式。从默认列表list_idx(PU)以及模式和/>通过由默认值替换-1且消除重复来构造三个不同的MPM。

对于亮度MPM列表推导，每当遇到使用ALWIP模式predmode_ALWIP的邻近亮度块，就如采用常规帧内预测模式predmode_Angular一样处理该块。

predmode_Angular＝map_alwip_to_angular_idx(PU)[predmode_ALWIP]

3VVC中的变换

3.1多变换选择(MTS)

除了HEVC中已采用的DCT-II以外，多变换选择(MTS)方案也用于对帧内编解码块和帧间编解码块二者的残差编码。它使用来自DCT8/DST7的多个选择的变换。新引入的变换矩阵为DST-VII和DCT-VIII。

3.2JVET-N0193中提出的减少的二次变换(RST)

减少的二次变换(RST)分别对4x4和8x8块应用16x16和16x64不可分离变换。主正变换和主逆变换仍然以与两个1-D水平/垂直变换处理(pass)相同的方式执行。二次正变换和二次逆变换的过程步骤与主变换的过程步骤分开。对于编码器，首先执行主正变换，随后执行二次正变换和量化，以及CABAC比特编码。对于解码器，首先执行CABAC比特解码和逆量化，然后执行二次逆变换，随后执行主逆变换。RST仅应用于帧内条带和帧间条带二者中的帧内编码的TU。

3.3JVET-N0185中用于帧内模式编解码的统一MPM列表

无论是否应用多参考线(MRL)和帧内子分割(ISP)编解码工具，都为帧内块提出统一的6-MPM的列表。MPM列表是如在VTM4.0中基于左邻近块和上邻近块的帧内模式而构造的。假设左侧的模式表示为Left，上方的模块的模式表示为Above，则统一的MPM列表构造如下：

·当邻近块不可用时，其帧内模式默认地设定为Planar。

·如果模式Left和Above二者均为非角度的模式：

a.MPM列表→{Planar，DC，V，H，V-4，V+4}

·如果模式Left和Above中的一个是成角度的模式，且另一个是非角度的模式：

a.将模式Max设定为Left和Above中的较大模式

b.MPM列表→{Planar，Max，DC，Max-1，Max+1，Max-2}

·如果Left和Above都是有角度的，并且它们是不同的：

a.将模式Max设置为Left和Above中的较大模式

b.如果Left和Above模式的差异在2到62之间(含端值)，

i.MPM列表→{Planar，Left，Above，DC，Max-1，Max+1}

c.否则

i.MPM列表→{Planar，Left，Above，DC，Max-2，Max+2}

·如果Left和Above二者都是有角度的，并且它们是相同的：

a.MPM列表→{Planar，Left，Left-1，Left+1，DC，Left-2}

此外，MPM索引码字的第一个箱是CABAC上下文编码的。总共使用三个上下文，对应于当前帧内块启用MRL、启用ISP还是普通帧内块。

如图10所示，在统一MPM列表构造中使用的左邻近块和上邻近块是A2和B2。

首先编码一个MPM标志。如果用MPM列表中的模式中的一个模式编解码块，则进一步编码MPM索引。否则，其余模式(除MPM之外)的索引被编码。

4现有实现方式中缺点的示例

JVET-N0217中的ALWIP的设计存在以下问题：

1)在2019年3月的JVET会议上，MRL模式、ISP模式和普通帧内模式采用统一的6-MPM列表生成。但是仿射线性加权预测模式使用了不同的3-MPM列表结构，从而使得MPM列表构造复杂。复杂的MPM列表构造可能会损害解码器的吞吐量，特别是对于诸如4×4样点的小块。

2)ALWIP仅应用于块的亮度分量。对于ALWP编解码块的色度分量，将色度模式索引编码且发送到解码器，这可能导致不必要的信令通知。

3)应该考虑ALWIP与其他编解码工具的相互作用。

4)当在中计算upsBdryX时，Log2(uDwn)-1可能等于-1，而左移位-1未定义。

5)当上采样预测样点时，不进行取整。

6)在去方块过程中，ALWIP编码的块被处理为普通的帧内块。

5基于矩阵的帧内编码的示例性方法

目前公开的技术的实施例克服了现有实现方式的缺点，从而为视频编码提供了较高的编码效率而且较低的计算复杂度。视频编码的基于矩阵的帧内预测方法(如本文档中所描述的)可以增强现有和未来的视频编解码标准，该基于矩阵的帧内预测方法在对各种实现方式而描述的以下示例中阐明。以下提供的公开技术的示例解释一般概念，并且并不意味着将其解释为限制性的。在示例中，除非有相反的明确说明，否则在这些示例中描述的各种特征可以被组合。

在下面的讨论中，帧内预测模式是指成角度的帧内预测模式(包括DC、Planar、CCLM和其他可能的帧内预测模式)；而帧内模式是指普通帧内模式、或MRL、或ISP或ALWIP。

在下面的讨论中，“其他帧内模式”可以是指除ALWIP以外的一个或多个帧内模式，诸如普通帧内模式、或MRL、或ISP。

在下面的讨论中，SatShift(x，n)定义为

Shift(x，n)定义为Shift(x,n)＝(x+offset0)>>n。

在一个示例中，将offset0和/或offset1设定为(1<<n)>>1or(1<<(n-1))。在另一个示例中，将offset0和/或offset1设定为0。

在另一个示例中，offset0＝offset1＝((1<<n)>>1)-1or((1<<(n-1)))-1。

Clip3(min,max,x)定义为

ALWIP的MPM列表构造

1.提出可以根据非ALWIP帧内模式(诸如普通帧内模式、MRL、或ISP)的MPM列表的全部过程或部分过程来构造用于ALWIP的MPM列表的全部或部分。

a.在一个示例中，ALWIP的MPM列表的尺寸可以与非ALWIP帧内模式的MPM列表的尺寸相同。

i.例如，对于ALWIP和非ALWIP帧内模式二者，MPM列表的大小均为6。

b.在一个示例中，ALWIP的MPM列表可以从非ALWIP帧内模式的MPM列表中导出。

i.在一个示例中，可以首先构造非ALWIP帧内模式的MPM列表。之后，可以将它们的部分或全部转换为MPM，然后可以将其进一步添加到ALWIP编解码块的MPM列表中。

1)替代地，此外，当将转换的MPM添加到ALWIP编解码块的MPM列表时，可以应用修剪。

2)可以将默认模式添加到ALWIP编解码块的MPM列表中。

a.在一个示例中，默认模式可以在其从非ALWIP帧内模式的MPM列表转换之前来添加。

b.替代地，默认模式可以在其从非ALWIP帧内模式的MPM列表转换后来添加。

c.替代地，默认模式可以以与从非ALWIP帧内模式的MPM列表转换的那些模式相交织的方式来添加。

d.在一个示例中，可以为所有类型的块固定相同的默认模式。

e.替代地，可以根据诸如邻近块的可用性、邻近块的模式信息、块尺寸之类的编码信息来确定默认模式。

ii.在一个示例中，非ALWIP帧内模式的MPM列表中的一个帧内预测模式可以在被放入ALWIP的MPM列表中时被转换为其对应的ALWIP帧内预测模式。

1)替代地，非ALWIP帧内模式的MPM列表中的所有帧内预测模式可以在被用于构造ALWIP的MPM列表之前被转换为对应的ALWIP帧内预测模式。

2)替代地，如果非ALWIP帧内模式的MPM列表可以进一步用于导出ALWIP的MPM列表，则所有候选帧内预测模式(可以包括来自邻近块的帧内预测模式和默认帧内预测模式，诸如Planar和DC)可以在被用于构造非ALWIP帧内模式的MPM列表之前被转换为对应的ALWIP帧内预测模式。

3)在一个示例中，可以比较两个转换的ALWIP帧内预测模式。

a.在一个示例中，如果它们相同，则可以仅将其中的一个放入ALWIP的MPM列表中。

b.在一个示例中，如果它们相同，则可以仅将其中的一个放入非ALWIP帧内模式的MPM列表中。

iii.在一个示例中，非ALWIP帧内模式的MPM列表中的S个帧内预测模式中的K个可以被挑选为ALWIP模式的MPM列表，例如，K等于3且S等于6。

1)在一个示例中，非ALWIP帧内模式的MPM列表中的前K个帧内预测模式可以被挑选为ALWIP模式的MPM列表。

2.提出用于导出ALWIP的MPM列表的一个或多个邻近块还可以用于导出非ALWIP帧内模式(诸如普通帧内模式、MRL或ISP)的MPM列表。

a.在一个示例中，用于导出ALWIP的MPM列表的当前块左边的邻近块应该与用于导出非ALWIP帧内模式的MPM列表的邻近块相同。

i.假设当前块的左上角是(xCb，yCb)，当前块的宽度和高度是W和H，那么在一个示例中，用于导出ALWIP和非ALWIP帧内模式二者的MPM列表的左邻近块可以覆盖位置(xCb-1，yCb)。在替代示例中，用于导出ALWIP和非ALWIP帧内模式二者的MPM列表的左邻近块可以覆盖位置(xCb-1，yCb+H-1)。

ii.例如，如图10所示，统一MPM列表构造中使用的左邻近块和上邻近块是A2和B2。

b.在一个示例中，用于导出ALWIP的MPM列表的当前块上方的邻近块应该与用于导出非ALWIP帧内模式的MPM列表的邻近块相同。

i.假设当前块的左上角是(xCb，yCb)，当前块的宽度和高度是W和H，那么在一个示例中，用于导出ALWIP和非ALWIP帧内模式二者的MPM列表的上邻近块可以覆盖位置(xCb,yCb-1)。在一个替代示例中，用于导出ALWIP和非ALWIP帧内模式二者的MPM列表的上邻近块可以覆盖位置(xCb+W-1，yCb-1)。

ii.例如，如图10所示，统一MPM列表构造中使用的左邻近块和上邻近块是A1和B1。

3.提出ALWIP的MPM列表可以根据当前块的宽度和/或高度以不同的方式来构造。

a.在一个示例中，可以对不同的块维度访问不同的邻近块。

4.提出ALWIP的MPM列表和非ALWIP帧内模式的MPM列表可以用相同的过程但用不同的参数来构造。

a.在一个示例中，可以为ALWIP模式下使用的MPM列表导出非ALWIP帧内模式的MPM列表构造过程中的S个帧内预测模式中的K个。例如，K等于3和S等于6。

i.在一个示例中，可以为ALWIP模式下使用的MPM列表导出MPM列表构造过程中的前K个帧内预测模式。

b.在一个示例中，MPM列表中的第一模式可以是不同的。

i.例如，非ALWIP帧内模式的MPM列表中的第一个模式可以是Planar，但是可以是ALWIP的MPM列表中的模式X0。

1)在一个示例中，X0可以是从Planar转换的ALWIP帧内预测模式。

c.在一个示例中，MPM列表中的填充模式可以不同的。

i.例如，非ALWIP帧内模式的MPM列表中的前三个填充模式可以是DC、垂直和水平，但是前三个填充模式可以是ALWIP的MPM列表中的模式X1、X2、X3。

1)在一个示例中，对于不同的sizeId，X1、X2、X3可以是不同的。

ii.在一个示例中，填充模式的数目可以不同。

d.在一个示例中，MPM列表中的邻近模式可以不同。

i.例如，邻近块的普通帧内预测模式用于构造非ALWIP帧内模式的MPM列表。并且将它们转换为ALWIP帧内预测模式以构造ALWIP模式的MPM列表。

e.在一个示例中，MPM列表中的移位模式可以不同。

i.例如，可以将X+K0(其中X为普通帧内预测模式，并且K0为整数)放入非ALWIP帧内模式的MPM列表中；并且可以将Y+K1(其中Y为ALWIP帧内预测模式，并且K1为整数)放入ALWIP的MPM列表中，其中K0可能不同于K1。

1)在一个示例中，K1可以取决于宽度和高度。

5.提出，当用非ALWIP帧内模式构造当前块的MPM列表时，邻近块如果用ALWIP被编码，则该邻近块被视为不可用。

a.替代地，在利用非ALWIP帧内模式构造当前块的MPM列表时，如果邻近块用ALWIP进行编码，则该邻近块被视为以预定的帧内预测模式(例如Planar)进行编码。

6.提出，在用ALWIP模式构造当前块的MPM列表时，如果邻近块用非ALWIP帧内模式进行编码，则邻近块视为不可用。

a.替代地，在用ALWIP模式构造当前块的MPM列表时，如果邻近块使用非ALWIP帧内模式进行编码，则该邻近块被视为使用预定ALWIP帧内预测模式X进行编码。

i.在一个实例中，X可以取决于块维度，诸如宽度和/或高度。

7.提出从线缓冲器中移除ALWIP标志的存储。

a.在一个示例中，当要访问的第二块与当前块相比位于不同的LCU/CTU行/区中时，跳过对是否用ALWIP编码第二块的条件检验。

b.在一个示例中，当要访问的第二块与当前块相比位于不同的LCU/CTU行/区中时，以与非ALWIP模式相同的方式处理第二块，诸如被视为普通帧内编解码块。

8.当编码ALWIP标志时，不可以使用超过K(K>＝0)个上下文。

a.在一个示例中，K＝1。

9.提出存储ALWIP编解码块的转换的帧内预测模式，而不是直接存储与ALWIP模式相关联的模式索引。

a.在一个示例中，将与一个ALWIP编解码块相关联的解码模式索引映射到普通帧内模式，诸如根据如节2.5.7中所描述的map_alwip_to_angular。

b.替代地，此外，ALWIP标志的存储被完全删除。

c.替代地，此外，ALWIP模式的存储被完全删除。

d.替代地，此外，可以跳过对是否用ALWIP标志编码一个相邻/当前块的条件检验。

e.替代地，此外，可以跳过为ALWIP编码的块和与一个访问的块相关联的普通帧内预测分配的模式的转换。

不同色彩分量上的ALWIP

10.提出，如果用ALWIP模式编码对应的亮度块，则总是可以应用推断的色度帧内模式(例如，DM模式)。

a.在一个示例中，如果用ALWIP模式编码对应的亮度块，则色度帧内模式在没有信令通知的情况下被推断为DM模式。

b.在一个示例中，对应的亮度块可以是覆盖位于给定位置(例如，当前色度块的左上方、当前色度块的中央)的色度样点的对应样点的亮度块。

c.在一个示例中，可以根据对应的亮度块的帧内预测模式来导出DM模式，诸如经由将(ALWIP)模式映射到普通帧内模式中的一个。

11.当用ALWIP模式编码色度块的对应的亮度块时，可以导出若干个DM模式。

12.提出，如果用ALWIP模式编码一个对应的亮度块，则将特殊模式分配给色度块。

a.在一个示例中，特殊模式被定义为给定的普通帧内预测模式，而与跟ALWIP编解码块相关联的帧内预测模式无关。

b.在一个示例中，可以将帧内预测的不同方式分配给该特殊模式。

13.提出ALWIP还可以应用到色度分量。

a.在一个示例中，对于不同的色彩分量，矩阵和/或偏置矢量可以不同。

b.在一个示例中，可以为Cb和Cr共同预定义矩阵和/或偏置矢量。

i.在一个示例中，Cb和Cr分量可以串接。

ii.在一个示例中，Cb和Cr分量可以交织。

c.在一个示例中，色度分量可以与对应的亮度块共享相同的ALWIP帧内预测模式。

i.在一个示例中，如果对应的亮度块应用ALWIP模式且用DM模式编码色度块，则将相同的ALWIP帧内预测模式应用在色度分量上。

ii.在一个示例中，相同的ALWIP帧内预测模式应用在色度分量上，并且可以跳过其后的线性插值。

iii.在一个示例中，将相同的ALWIP帧内预测模式通过二次采样的矩阵和/或偏置矢量应用在色度分量上。

d.在一个示例中，不同分量的ALWIP帧内预测模式的数目可以不同。

i.例如，对于相同的块宽度和高度，色度分量的ALWIP帧内预测模式的数目可以小于亮度分量的ALWIP帧内预测模式的数目。

ALWIP的适用性

14.提出可以信令通知是否可以应用ALWIP。

a.例如，可以在序列级别(例如SPS中)、图片级别(例如PPS或图片头中)、条带级别(例如条带头中)、片组级别(例如在片组头中)、在片级别、CTU行级别或CTU级别处来信令通知。

b.例如，如果不能应用ALWIP，则可能不会信令通知且将其推断为0。

15.提出，是否可以应用ALWIP可以取决于块的宽度(W)和/或高度(H)。

c.例如，如果W>＝T1(或W>T1)和H>＝T2(或H>T2)，则可能不应用ALWIP。例如T1＝T2＝32；

i.例如，如果W<＝T1(或W<T1)和H<＝T2(或H<T2)，则可能不应用ALWIP。T1＝T2＝32；

d.例如，如果W>＝T1(或W>T1)或H>＝T2(或H>T2)，则可能不应用ALWIP。例如T1＝T2＝32；

i.例如，如果W<＝T1(或W<T1)或H<＝T2(或H<T2)，则可能不应用ALWIP。T1＝T2＝32；

e.例如，如果W+H>＝T(或W*H>T)，则可能不应用ALWIP。例如T＝256；

i.例如，如果W+H<＝T(或W+H<T)，则可能不应用ALWIP。例如T＝256；

f.例如，如果W*H>＝T(或W*H>T)，则可能不应用ALWIP。例如T＝256；

i.例如，如果W*H<＝T(或W*H<T)，则可能不应用ALWIP。T＝256；

g.例如，如果不能应用ALWIP，则可能不会信令通知

且将其推断为0。

ALWIP中的计算问题

16.提出，ALWIP中涉及的任何移位运算只能将数字左移或右移S，其中S必须大于或等于0。

a.在一个示例中，当S等于0或大于0时，右移操作可以不同。

i.在一个示例中，upsBdryX[x]应计算为

ii.当uDwn>1时，并且当uDwn等于1时

b.在一个示例中，upsBdryX[x]应计算为

17.提出，在ALWIP的上采样过程中结果应该向零取整或远离零取整。

a.在一个例子中

predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+offsetHor)/upHor

(8-X39)

以及

predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]+offsetVer)/upVer

(8-X40)

其中offsetHor和offsetVer是整数。例如offsetHor＝upHor/2和offsetVer＝upVer/2。

与其他编解码工具的交互

18.提出ALWIP可以用于CIIP编码的块。

a.在一个示例中，在CIIP编码的块中，可以明确地信令通知使用ALWIP帧内预测模式还是使用诸如Planar的普通帧内预测模式来生成帧内预测信令通知。

b.在一个示例中，可以隐式地推断出使用ALWIP帧内预测模式还是使用诸如Planar的普通帧内预测模式来生成帧内预测信令通知。

i.在一个示例中，ALWIP帧内预测模式可能永远不会在CIIP编码的块中使用。

1)替代地，普通帧内预测可能永远不会在CIIP编码的块中使用。

ii.在一个示例中，可以从邻近块的信息中推断出是使用ALWIP帧内预测模式还是使用诸如Planar的普通帧内预测模式来生成帧内预测信令通知。

19.提出，用于在CCLM模式下对邻近亮度样点下采样的全部或部分过程可以用于在ALWIP模式下对邻近样点下采样。

a.替代地，用于在ALWIP模式下对邻近亮度样点下采样的全部或部分过程可以用于在CCLM模式下对邻近样点下采样。

b.下采样过程当用在CCLM过程和ALWIP过程中时，可以用不同的参数/引数(argument)来调用。

c.在一个示例中，可以在ALWIP过程中利用CCLM过程中的下采样方法(诸如邻近亮度位置的选择、下采样滤波)。

d.用于对邻近亮度样点下采样的过程至少包括下采样位置的选择、下采样滤波、取整和裁剪操作。

20.提出，使用ALWIP模式编码的块不能应用RST或/和二次变换或/和旋转变换或/和不可分离的二次变换(NSST)。

a.在一个示例中，是否可以应用这样的约束可以取决于块的维度信息，例如，与(15)中所描述的条件相同。

b.替代地，当应用RST或/和二次变换或/和/或旋转变换或/和NSST时，ALWIP模式可以被禁止。

c.替代地，用ALWIP模式编码的块可以应用RST或/和二次变换或/和旋转变换或/和不可分离的二次变换(NSST)。

i.在一个示例中，变换矩阵的选择可以取决于ALWIP帧内预测模式。

ii.在一个示例中，变换矩阵的选择可以取决于从ALWIP帧内预测模式转换的普通帧内预测模式。

iii.在一个示例中，变换矩阵的选择可以取决于从ALWIP帧内预测模式转换的普通帧内预测模式的分类。

21.提出，用ALWIP模式编码的块不能应用基于块的DPCM(BDPCM)或残差RDPCM。

a.替代地，当应用BDPCM或RDPCM时，ALWIP模式可以被禁止。

22.提出，用ALWIP模式编码的块只能使用DCT-II作为变换。

a.在一个示例中，总是跳过变换矩阵索引的信令通知。

b.替代地，提出，可以将用ALWIP模式编码的块所使用的变换隐式地导出而不是显式地信令通知。例如，可以遵循JVET-M0303中提出的方式来选择该变换。

c.替代地，提出，用ALWIP模式编码的块可以仅使用变换跳过。

i.替代地，此外，当使用ALWIP时，指示使用变换跳过的信令通知被跳过。

d.在一个示例中，可以在变换矩阵的指示之后有条件地用信令通知ALWIP模式信息(诸如启用/禁用，预测模式索引)。

i.在一个示例中，对于给定的变换矩阵(诸如变换跳过或DCT-II)，可以信令通知ALWIP模式信息的指示。

ii.替代地，此外，对于一些预定变换矩阵，可以跳过ALWIP模式信息的指示。

23.提出，当选择的变换是模式相关时，用ALWIP模式编码的块被认为用从ALWIP帧内预测模式转换的普通帧内预测来编码。

24.ALWIP模式可能不使用变换跳过。

a.例如，在这种情况下，不需要进一步信令通知变换跳过的使用指示。

b.替代地，当应用变换跳过时，ALWIP模式可以被禁止。

i.例如，在这种情况下，当应用变换跳过时，不需要信令通知ALWIP模式信息。

25.在诸如去方块滤波、样点适应性偏移(SAO)、适应性环路滤波(ALF)之类的滤波过程中，可以通过使用ALWIP来确定如何选择滤波器和/或是否滤波样点。

26.未滤波的邻近样点可以在ALWIP模式下使用。

a.替代地，可以在ALWIP模式下使用已滤波的邻近样点。

b.在一个示例中，已滤波的邻近样点可以用于下采样，而未滤波的邻近样点可以用于上采样。

c.在一个示例中，未滤波的邻近样点可以用于下采样，而已滤波的邻近样点可以用于上采样。

d.在一个示例中，已滤波的左邻近样点可以在上采样中使用，并且未滤波的上邻近样点可以在上采样中使用。

e.在一个示例中，未滤波的左邻近样点可用在上采样中，而已滤波的上邻近样点可以用在上采样中。

f.在一个示例中，使用已滤波的邻近样点还是未滤波的邻近样点可以取决于ALWIP模式。

i.在一个示例中，可以将ALWIP模式转换为传统帧内预测模式，并且使用已滤波的邻近样点还是未滤波的邻近样点可以取决于转换的传统帧内预测模式。例如，这种判定与传统帧内预测模式相同。

ii.替代地，可以信令通知将已滤波的邻近样点还是未滤波的邻近样点用于ALWIP模式。

g.在一个示例中，可以与传统的帧内预测模式相同地生成已滤波的样点。

27.使用哪个矩阵或/和偏移矢量可以取决于重新成形(别称LMCS，具有色度缩放的亮度映射)信息。

a.在一个示例中，当重新成形打开和关闭时，可以使用不同的矩阵或/和偏移矢量。

b.在一个示例中，不同的矩阵或/和偏移矢量可以用于不同的重新成形参数。

c.在一个示例中，ALWIP可以总是在原始域中执行。

i.例如，邻近样点当其在ALWIP中使用之前被映射到原始域(如果应用重新成形)。

28.当应用重新成形时，ALWIP可以被禁用。

a.替代地，当启用ALWIP时，重新成形可以被禁用。

b.在一个示例中，当应用重新成形时，对于HDR(高动态范围)内容，ALWIP可以被禁用。

29.ALWIP中使用的矩阵可以取决于样点比特深度。

a.替代地，此外，ALWIP中使用的偏移值可以取决于样点比特深度。

b.替代地，矩阵参数和偏移值可以以N比特样点的M比特精度(M<＝N)来存储，例如，矩阵参数和偏移值可以以10比特样点的8比特精度来存储。

c.样点比特深度可以是诸如亮度的色彩分量的输入阵列的比特深度。

d.样点比特深度可以是诸如亮度的色彩分量的内部阵列/重构样点的比特深度。

30.指定块尺寸的矩阵参数和/或偏移可以从其他块尺寸的矩阵参数和/或偏移中导出。

31.在一个示例中，可以从4x4块的16x4矩阵中导出8x8块的16x8矩阵。

32.提出，由ALWIP生成的预测被视为中介(intermedium)或中间信令通知，其将被处理以获得要进一步使用的预测信令通知。

a.在一个示例中，位置相关的帧内预测组合(PDPC)可以应用在由ALWIP生成的预测上，以生成要进一步使用的预测信令通知。

i.在一个示例中，以与用指定的普通帧内预测模式(例如，Planar或DC)编码的块相同的方式，对ALWIP编码的块进行PDPC。

ii.在一个示例中，以与从ALWIP帧内预测模式转换的普通帧内预测模式编码的块相同的方式，对ALWIP编码的块进行PDPC。

iii.在一个示例中，有条件地将PDPC应用在ALWIP编解码块上。

1)例如，仅当将PDPC应用在从ALWIP帧内预测模式转换的普通帧内预测模式上时，PDPC才应用在ALWIP编解码块上。

b.在一个示例中，由ALWIP生成的边界样点预测可以用邻近样点滤波以生成要进一步使用的预测信令通知。

i.在一个示例中，以与使用指定的普通帧内预测模式(例如Planar或DC)编码的块相同的方式，对ALWIP编码的块进行对边界样点的滤波。

ii.在一个示例中，以与从ALWIP帧内预测模式转换的普通帧内预测模式编解码块相同的方式，对ALWIP编码的块进行对边界样点的滤波。

iii.在一个示例中，对边界样点的滤波被有条件地应用于ALWIP编码的块。

1)例如，仅当对边界样点的滤波应用在从ALWIP帧内预测模式转换的普通帧内预测模式上时，对边界样点的滤波才应用在ALWIP编码的块上。

33.提出，除双线性插值滤波器以外的插值滤波器可以用在ALWIP的上采样过程中。

a.在一个示例中，4抽头(tap)的插值滤波器可以在ALWIP的上采样过程中使用。

i.例如，VVC中用于进行色度分量的运动补偿的4抽头的插值滤波器可以在ALWIP的上采样过程中使用。

ii.例如，VVC中用于进行成角度的帧内预测的4抽头的插值滤波器可以在ALWIP的上采样过程中使用。

iii.例如，VVC中用于进行亮度分量运动补偿的8抽头的插值滤波器可以在ALWIP的上采样过程中使用。

34.可以以不同的方式来预测ALWIP模式下编码的块内的样点。

a.在一个示例中，对于W*H块，可以通过对其应用sW*sH ALWIP来生成对其内的sW*sH子块的预测。

i.在一个示例中，对于W*H块，可以通过对其应用W/2*H/2ALWIP来生成其左边的W/2*H/2块的预测。

ii.在一个示例中，对于W*H块，可以通过对其应用W/2*H ALWIP来生成其左边的W/2*H块的预测。

iii.在一个示例中，对于W*H块，可以通过对其应用W*H/2ALWIP来生成其顶部的W*H/2块的预测。

iv.在一实例中，sW*sH子块可以具有可用的左或/和上邻近样点。

b.在一个示例中，如何判定子块的位置可以取决于块的维度。

i.例如，当W>＝H时，可以通过对其应用W/2*HALWIP来生成其左边的W/2*H块的预测。

ii.例如，当H>＝W时，可以通过对其应用W*H/2ALWIP来生成对其顶部的W*H/2块的预测。

iii.例如，当W等于H时，可以通过对其应用W/2*H/2ALWIP来生成其左上的W/2*H/2块的预测。

c.在一个示例中，此外，可以通过应用W*H ALWIP来生成其余样点(例如，样点不属于sW*sH子块)的预测。

i.替代地，可以通过应用常规帧内预测(例如，使用转换的帧内预测模式作为帧内模式)来生成其余样点的预测。

ii.此外，可以跳过sW*sH子块中的样点的计算。

35.可以在子块(例如，具有尺寸sW*sH)级别中预测在ALWIP模式下编码的块内的样点。

a.在一个示例中，可以采用邻近重构的样点(例如，对于边界子块)或/和邻近预测的样点(例如，对于内部子块)将sW*sH ALWIP应用到每个子块。

b.在一个示例中，可以以栅格(raster)扫描顺序来预测子块。

c.在一个示例中，可以以之字形(zigzag)顺序预测子块。

d.在一个示例中，子块的宽度(高度)可以不大于sWMax(sHMax)。

e.在一个示例中，当块的宽度或高度或者宽度和高度二者都大于(或等于)阈值L时，该块可以被划分成多个子块。

f.阈值L可以在SPS/PPS/图片/条带/片组/片级别中预定义或信令通知。

i.替代地，阈值可以取决于某些编码信息，诸如块尺寸、图片类型、时间层索引等。

36.提出，将邻近样点(相邻或不相邻的)在ALWIP中使用之前滤波。

a.替代地，邻近样点在ALWIP中使用之前不被滤波。

b.替代地，邻近样点在ALWIP中使用之前被有条件地滤波。

i.例如，仅当ALWIP帧内预测模式等于一个或某些指定值时，邻近样点才会在ALWIP中使用之前被滤波。

37.提出，当编解码ALWIP标志时，在算术编解码中导出ALWIP标志的上下文的方法对于当前块的所有维度都是相同的。

a.在一个示例中，当(Abs(Log2(cbWidth)–Log2(cbHeight))大于1或不大于1时，算术编解码中导出ALWIP标志的上下文的方法是相同，其中CbWidth和CbHeight分别是当前块的宽度和高度。

b.在一个示例中，算术编解码中ALWIP标志的上下文的推导仅取决于邻近块的ALWIP信息和/或邻近块的可用性。

i.在一个示例中，直接使用多个邻近块ALWIP信息(例如，intra_lwip_flag)和/或邻近块的可用性。例如，左邻近块和上邻近块的ALWIP标志和/或左侧和邻近块的可用性用于在算术编解码中导出ALWIP标志的上下文。表5示出了一个示例。替代地，此外，上下文索引offsetctxInc＝(condL&&availableL)+(condA&&availableA)+ctxSetIdx*3。

表5–使用左语法元素和上语法元素的ctxInc的规范

ii.在一个示例中，邻近块的ALWIP信息中的一个(例如，intra_lwip_flag)用于在算术编解码中导出ALWIP标志的上下文，并且邻近块可以是左邻近块。表6示出了一个示例，替代地，此外，上下文索引offset ctxInc＝(condL&&availableL)+ctxSetIdx*3。

表6–采用左语法元素和上语法元素的ctxInc的规范

iii.在一个示例中，邻近块的ALWIP标志信息中的一个(例如，intra_lwip_flag)用于在算术编解码中来导出ALWIP标志的上下文，并且邻近块可以是上邻近块。表7中示出了示例。替代地，上下文索引offset ctxInc＝(condA&&availableA)+ctxSetIdx*3。

表7–采用左语法元素和上语法元素的ctxInc的规范

c.在一个示例中，一个固定上下文用于在算术编解码中编码ALWIP标志。

d.在一个示例中，ALWIP标志在算术编解码中被旁路编码。

e.替代地，K个上下文可以用于在算术编解码中编码ALWIP标志。要使用的上下文可以取决于块的维度(例如，表示为W的宽度，表示为H的高度)。

i.在一个示例中，K等于2。当W>N*H或H>N*W(例如，N＝2)时，使用第一上下文，否则，使用第二上下文。

38.提出，N(N>＝0)个上下文用于在算术编解码中编码ALWIP标志(例如，intra_lwip_flag)。

a.在一个示例中，N等于三。两个邻近或/和非相邻块的ALWIP标志和/或可用性可用于在算术编解码中导出ALWIP标志的所使用的上下文。

i.在一个示例中，两个邻近块可以包括上块(例如，图10中的B1)和左块(例如，图10中的A1)。

ii.在一个示例中，两个邻近块可以包括上块和左下块(例如，图10中的A2)。

iii.在一个示例中，两个邻近块可以包括上块和右上块(例如，图10中的B2)。

iv.在一个示例中，两个邻近块可以包括右上块(例如，图10中的B2)和左块(例如，图10中的A1)。

v.在一个示例中，两个邻近块可以包括右上块(例如，图10中的B2)块和左下块(例如，图10中的A2)。

vi.在一个示例中，两个邻近块可以包括左块(例如，图10中的A1)和左下块(例如，图10中的A2)。

vii.在一个示例中，可以指定与图10不同的邻近块。图16描述了示例。两个邻近块可以包括{右上，上，左上，左，左下}块中的任意两个。例如，两个邻近块可以包括{B0，B1，B2，A0，A1}的块中的任意两个。

b.在一个示例中，N等于二。一个邻近或/和非相邻块的ALWIP标志和/或可用性可以用于在算术编解码中导出ALWIP标志的所使用的上下文。

i.在一个示例中，相邻块可以是{右上，上，左上，左，左下}块中的任意一个。图10中描述该邻近块的一个示例。

ii.在一个示例中，邻近块可以是{右上，上，左上，左，左下}块中的任意一个。图16中描述邻近块的示例。

c.在一个示例中，一个固定的上下文可以用于在算术编解码中编码ALWIP标志。

d.在一个示例中，ALWIP标志在算术编解码中可以被旁路编码。图16示出了邻近块的示例。

39.提出，可以生成减少的边界样点，而无需计算上采样边界样点。

a.在一个示例中，位于上采样边界样点位置的参考样点直接用于预测上采样过程。

i.在一个示例中，可以不通过平均化多个相邻参考样点来计算上采样的边界样点。

b.在一个示例中，减少的边界样点可以直接从参考样点和缩减因子来计算。

i.在一个示例中，可以通过变换块尺寸和下采样边界尺寸来计算缩减因子。

40.在一个示例中，在ALWIP的上采样过程中，样点在不同的滤波级中可能具有不同的精度。“样点”可以是指在上采样过程之前或之后的预测样点或任何中介的样点。

a.在一个示例中，在ALWIP的上采样过程中，在第一滤波级中，沿着第一维度水平地上采样样点；然后在第二个滤波级中，沿在第二维度垂直地上采样样点。

i.替代地，在ALWIP的上采样过程中，在第一滤波级中，沿着第一维度垂直地上采样样点；然后在第二滤波级中，沿着第二维度水平地上采样样点。

b.在一个示例中，在第一滤波级中不带有右移或除法的输出上采样结果可以用作第二滤波级的输入样点。

i.在一个示例中，第二滤波级中的输出上采样滤波结果可以右移Shift1或除以Dem1以导出最终的上采样结果。

ii.在一个示例中，第一滤波级中的输出上采样滤波结果可以右移Shift2或除以Dem2以导出最终的上采样结果。

1)在一个示例中，Shift1＝2×Shift2；Dem1＝Dem2×Dem2。

iii.在一个示例中，样点(其被输入到第二滤波级但不是在第一滤波级中的输出上采样结果)在被输入到第二滤波级之前，可以被左移Shift3或乘以Dem3。

1)在一个示例中，Shift3＝Shift1；Dem3＝Dem2。

c.在一个示例中，第一滤波级中的输出上采样结果在用作第二滤波级的输入样点之前，可以被右移Shift1或除以Dem1。

i.在一个示例中，第二滤波级中的输出上采样滤波结果可以被右移Shift2或除以Dem2来导出最终的上采样结果，其中，Shift2可以不等于Shift1，例如Shift2>Shift1；Dem2可以不等于Dem1，例如Dem2>Dem1。

ii.在一个示例中，第一滤波级中的输出上采样滤波结果可以被右移Shift3或除以Dem3以导出最终的上采样结果，其中Shift3可以等于Shift1；Dem3可以不等于Dem1。

1)在一个示例中，Shift3＝Shift1+Shift2。

iii.在一个示例中，样点(其被输入到第二滤波级但不是在第一滤波级中的输出上采样结果)在被输入到第二滤波级之前，可以被左移或乘以一个因子。

d.在一个示例中，第一滤波级的输出上采样结果在被用作第二滤波级的输入样点之前，可以被左移Shift1或乘以Dem1。

i.在一个示例中，第二滤波级中的输出上采样滤波结果可以被右移或除以一个因子，以导出最终的上采样结果。

ii.在一个示例中，第一滤波级中的输出上采样滤波结果可以被右移或除以一个因子，以导出最终的上采样结果。

iii.在一个示例中，样点(其被输入到第二滤波级但不是在第一滤波级中的输出上采样结果)在被输入到第二滤波级之前，可以被左移Shift2或乘以Dem2，其中Shift2可以不等于Shift1，例如Shift2>Shift1；Dem1可以不等于Dem2，例如Dem2>Dem1。

e.在一个示例中，输入到第一滤波级的样点在被用作第一滤波级的输入样点之前，可以被左移Shift1或乘以Dem1。

iii.在一个示例中，样点(其被输入到第二滤波级但不是第一滤波级的输出上采样结果)在被输入到第二滤波级之前，可以被左移Shift2或乘以Dem2，其中Shift2可以不等于Shift1，例如Shift2>Shift1；Dem2可以不等于Dem1，例如Dem2>Dem1。

5.实施例

新添加的部分以粗体斜体突出显示，并且删除的部分以下划线斜体文本突出显示。

5.1一个示例

三个上下文用于编码ALWIP标志。

表9-12–用上下文编码的箱(bin)将ctxInc分配到语法元素

/>

5.2一个示例

一个固定的上下文用于编码ALWIP标志。

表9-13–将ctxInc分配给具有上下文编码的bin的语法元素

表9-14–用上下文编码的箱(bin)将ctxInc分配到语法元素

/>

5.3一个示例

在一个步骤中执行边界减少过程。

以下实施例是基于所采用的JVET-N0220-proposal-test-CE3-4.1_v2。

8.4.4.2.X1仿射线性加权帧内样点预测

8.4.4.2.X3边界减少过程的规范

该过程的输入是：

-变量nTbX，指定变换块尺寸，

-参考样点refX[x]，其中x＝0..nTbX–1，

-变量boundarySize，指定下采样的边界尺寸，

-标志NeedUpsBdryX，指定上采样是否需要中间边界样点，

-变量upsBdrySize，指定上采样的边界尺寸。

该过程的输出是减少的边界样点redX[x]，其中x＝0..boundarySize–1，以及上采样的边界样点upsBdryX[x]，其中x＝0..upsBdrySize–1。

上采样的边界样点upsBdryX[x]，其中x＝0..upsBdrySize–1的推导如下：

-如果needUpsBdryX等于TRUE，且upsBdrySize小于nTbX，则适用以下：

uDwn＝nTbX/upsBdrySize (8-X30)

-否则(upsBdrySize等于nTbX)，则upsBdryX[x]设定为等于refX[x]。

减少的边界样点redX[x]，其中x＝0..boundarySize–1的推导如下：

-如果boundarySize小于upsBdrySize nTbX，则适用以下：

bDwn＝nTbX/boundarySize (8-X32)

删除了公式8-X33中的术语upsBdryX。

-否则(boundarySize等于upsBdrySize nTbX)，redX[x]设定为等于refX[x]。/>

5.4一个示例

在ALWIP的上采样过程中，在不同的滤波级中以不同的精度导出预测样点。

以下实施例是基于所采用的JVET-N0217-proposal-test-CE3-4.1_v2。

8.4.4.2.X4预测上采样过程的规范

该过程的输入是：

-变量predW，指定输入块宽度，

-变量predH，指定输入块高度，

-仿射线性加权样点predLwip[x][y]，其中x＝0..predW-1，y＝0..predH–1，

-变量nTbW，指定变换块的宽度，

-变量nTbH，指定变换块的高度，

-变量upsBdryW，指定上采样的边界宽度，

-变量upsBdryH，指定上采样的边界高度，

-顶上采样边界样点upsBdryT[x]，其中x＝0..upsBdryW–1，

-左上采样边界样点upsBdryL[x]，其中x＝0..upsBdryH–1。

该过程的输出是预测的样点predSamples[x][y]，其中x＝0..nTbW-1、y＝0..nTbH-1。

稀疏预测的样点predSamples[m][n]从predLwip[x][y]，其中x＝0..predW–1，y＝0..predH–1，推导如下：

upHor＝nTbW/predW (8-X34)

upVer＝nTbH/predH (8-X35)

predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝predLwip[x][y] (8-X36)

顶边界样点upsBdryT[x]，其中x＝0..upsBdryW–1被分配到predSamples[m][-1]，如下式：

predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝upsBdryT[x] (8-X37)

左边界样点upsBdryL[y]，其中y＝0..upsBdryH–1被分配到predSamples[-1][n]，如下式：

predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝upsBdryL[y] (8-X38)

预测的样点predSamples[x][y]，其中x＝0..nTbW–1、y＝0..nTbH–1的推导如下：

-如果nTbH大于nTbW，则适用以下顺序的步骤：

1.:当upHor大于1时，所有稀疏位置(xHor,yHor)＝(m*upHor–1,n*upVer–1)，其中m＝0..predW–1、n＝1..predH的水平上采样用dX＝1..upHor–1来应用，如下式：

predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor])

(8-X39)

2.所有稀疏位置(xVer,yVer)＝(m,n*upVer–1)，其中m＝0..nTbW–1、n＝0..predH-1的垂直上采样用dY＝1..upVer-1来应用，如下式：

/>

predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]

-否则，适用以下顺序的步骤：

1.当upVer大于1时，对所有稀疏位置(xVer,yVer)＝(m*upHor–1,n*upVer–1)，其中m＝1..predW、n＝0..predH–1的垂直上采样用如中所指定dY＝1..upVer–1来应用。

2.对所有稀疏位置(xHor,yHor)＝(m*upHor–1,n)，其中m＝0..predW–1、n＝0..nTbH–1的水平上采样用如(8-X39)中指定的dX＝1..upHor-1来应用，

5.5对应于要点40的示例

假设块维度为W×H。样点P(x,y)，其中将x＝Sx,Sx+Kx,Sx+2Kx,Sx+3Kx,…、y＝Sy,Sy+Ky,Sy+2Ky,Sy+3Ky…输入到上采样过程，以导出上采样的样点S(x,y)，其中x＝0,1,2…W-1、y＝0,1,2,…H-1。Kx and Ky是分别沿着水平方向和垂直方向的步长。(Sx,Sy)是起始位置。

假设1-D上采样是在第一级中水平地完成，且1-D上采样是在第二级中垂直地完成。

在一个示例中，第一级中不带有右移的输出结果可以导出为

S’(Sx+Kx-1,Sy)＝F1*P(Sx,Sy)+F2*P(Sx+Kx,Sy).

S’(Sx+Kx-1,Sy+Ky)＝F1*P(Sx,Sy+Ky)+F2*P(Sx+Kx,Sy+Ky)。

F1、F2是2抽头滤波器的系数，且F1+F2＝2^N。

然后第二级的输出结果可以导出为

S’(Sx+Kx-1,Sy+1)＝F3*S’(Sx+Kx-1,Sy)+F4*S’(Sx+Kx-1,Sy+Ky)。

F3、F4是2抽头滤波器的系数，且F3+F4＝2^N。

然后最终上采样的样点值可以导出为：

S(Sx+Kx-1,Sy+1)＝Shift(S’(Sx+Kx-1,Sy+1),2N)；

S(Sx+Kx-1,Sy)＝Shift(S’(Sx+Kx-1,Sy),N)；

S(Sx+Kx-1,Sy+Ky)＝Shift(S’(Sx+Kx-1,Sy+Ky),N)；

可以在下面描述的方法的上下文中并入上述示例，例如方法1100-1400和2100-2400，其可以在视频编码器和/或解码器处实现。

图11示出了视频处理的示例性方法的流程图。方法1100包括，步骤1110处，确定了采用仿射线性加权帧内预测(ALWIP)模式编码当前视频块。

方法1100包括，步骤1120处，基于该确定，基于非ALWIP帧内模式的MPM列表中的至少一部分构建ALWIP模式的最可能模式(MPM)列表的至少一部分。

方法1100包括，步骤1130处，基于该ALWIP模式的MPM列表，执行当前视频块与当前视频块的比特流之间的转换。

在一些实施例中，ALWIP模式的MPM列表的尺寸与非ALWIP帧内模式的MPM列表的尺寸相同。在示例中，ALWIP模式的MPM列表的尺寸是6。

在一些实施例中，方法1100还包括以下步骤：将默认模式插入到ALWIP模式的MPM列表中。在示例中，默认模式被插入在基于非ALWIP帧内模式的MPM列表的ALWIP模式的MPW列表的一部分之前。在另一个示例中，默认模式被插入在基于非ALWIP帧内模式的MPM列表的ALWIP模式的MPW列表的一部分之后。在又一示例中，默认模式将以与基于非ALWIP帧内模式的MPM列表的ALWIP模式的MPW列表中的一部分相交织的方式被插入。

在一些实施例中，构造ALWIP模式的MPM列表和非ALWIP帧内模式的MPM列表是基于一个或多个邻近块。

在一些实施例中，构造ALWIP模式的MPM列表和非ALWIP帧内模式的MPM列表是基于当前视频块的高度或宽度。

在一些实施例中，构造ALWIP模式的MPM列表是基于参数的第一集合，其不同于用于构造非ALWIP帧内模式的MPM列表的参数的第二集合。

在一些实施例中，方法1100还包括以下步骤：确定当前视频块的邻近块已经用ALWIP模式编码，并且在构造非ALWIP帧内模式的MPM列表时，指定邻近块不可用。

在一些实施例中，方法1100还包括以下步骤：确定当前视频块的邻近块已经用非ALWIP帧内模式编解码，并且在构造用于ALWIP模式的MPM列表时，指定邻近块不可用。

在一些实施例中，非ALWIP帧内模式是基于普通帧内模式、多参考线(MRL)帧内预测模式或帧内子分割(ISP)工具。

图12示出了视频处理的示例性方法的流程图。方法1200包括，步骤1210处，确定了采用仿射线性加权帧内预测(ALWIP)模式编码当前视频块的亮度分量。

方法1200包括，步骤1220处，基于该确定，推断色度帧内模式。

方法1200包括，步骤1230处，基于该色度帧内模式，执行当前视频块与当前视频块的比特流之间的转换。

在一些实施例中，亮度分量覆盖色度分量的预定色度样点。在示例中，预定色度样点是色度分量的左上样点或中央样点。

在一些实施例中，推断的色度帧内模式是DM模式。

在一些实施例中，推断的色度帧内模式是ALWIP模式。

在一些实施例中，ALWIP模式应用到当前视频块的一个或多个色度分量。

在一些实施例中，ALWIP模式的不同矩阵或偏置矢量应用到当前视频块的不同色彩分量。在示例中，Cb和Cr分量共同预定义不同的矩阵或偏差矢量。在另一个示例中，Cb和Cr分量是串接的。在又一个示例中，Cb和Cr分量是交织的。

图13示出了视频处理的示例性方法的流程图。方法1300包括，步骤1310处，确定了采用仿射线性加权帧内预测(ALWIP)模式编码当前视频块。

方法1300包括，步骤1320处，基于该确定，执行当前视频块与当前视频块的比特流之间的转换。

在一些实施例中，该确定是基于在序列参数集合(SPS)、图片参数集合(PPS)、条带头、片组头、片头、编解码树单元(CTU)行或CTU区来信令通知。

在一些实施例中，该确定是基于当前视频块的高度(H)或宽度(W)。在一个示例中，W>T1或H>T2。在另一个示例中，W≥T1或H≥T2。在另一个示例中，W<T1或H<T2。在另一个示例中，W≤T1或H≤T2。在另一个示例中，T1＝32和T2＝32。

在一些实施例中，该确定是基于当前视频块的高度(H)或宽度(W)。在示例中，W+H≤T。在另一个示例中，W+H≥T。在另一个示例中，W×H≤T。在另一个示例中，W×H≥T。在另一个示例中，T＝256。

图14示出了视频处理的示例性方法的流程图。方法1400包括，步骤1410处，确定采用与仿射线性加权帧内预测(ALWIP)模式不同的编码模式来编码当前视频块。

方法1400包括，步骤1420处，基于该确定，执行当前视频块和当前视频块的比特流之间的转换。

在一些实施例中，编码模式是组合帧内和帧间预测(CIIP)模式，并且方法1400还包括执行在ALWIP模式和普通帧内预测模式之间的选择的步骤。在示例中，执行该选择是基于当前视频块的比特流中的显式信令通知。在另一个示例中，执行该选择是基于预定规则。在另一个示例中，当采用CIIP模式编码当前视频块时，预定规则始终选择ALWIP模式。在又一个示例中，当采用CIIP模式编码当前视频块时，预定规则总是选择普通帧内预测模式。

在一些实施例中，编码模式是跨分量线性模型(CCLM)预测模式。在示例中，ALWIP模式的下采样过程是基于CCLM预测模式的下采样过程。在另一个示例中，ALWIP模式的下采样过程是基于参数的第一集合，并且其中CCLM预测模式的下采样过程是基于与参数的第一集合不同的参数的第二集合。在又一个示例中，ALWIP模式或CCLM预测模式的下采样过程包括以下中的至少一个：下采样位置的选择、下采样滤波器的选择、取整运算或裁剪操作。

在一些实施例中，方法1400还包括应用以下的一个或多个：减少的二次变换(RST)、二次变换、旋转变换、或不可分离的二次变换(NSST)。

在一些实施例中，方法1400还包括应用基于块的差分脉冲编码调制(DPCM)或残差DPCM的步骤。

在一些实施例中，视频处理方法包括：基于当前视频块的规则来确定标志的上下文，其指示在当前视频块与当前视频块的比特流之间的转换期间仿射线性加权帧内预测(ALWIP)模式的使用；基于ALWIP模式，预测当前视频块的多个子块；以及基于该预测，执行当前视频块与当前视频块的比特流之间的转换。该规则可以采用先验技术隐式指定，或者可以以编码的比特流信令通知。该方法的其他示例和方面在节4的项37和38中进一步描述。

在一些实施例中，一种视频处理的方法包括：确定采用仿射线性加权帧内预测(ALWIP)模式编码当前视频块，以及在当前视频块与当前视频块的比特流之间的转换期间，在与ALWIP模式相关联的上采样过程中，对当前视频块的样点执行至少两个滤波级，其中，在至少两个滤波级的第一滤波级中样点的第一精度不同于在至少两个滤波级的第二滤波级中样点的第二精度。

在一个示例中，当前视频块的样点是预测样点、上采样过程之前的中介的样点或上采样过程之后的中介的采样。在另一个示例中，在第一滤波级中，在第一维度上水平地采样样点，并且其中在第二滤波级中，在第二维度上垂直地上采样样点。在又一个示例中，在第一滤波级中，在第一维度上垂直地上采样样点，并且其中在第二滤波级中，在第二维度上水平地上采样样点。

在示例中，第一滤波级的输出被右移或被除，以生成处理的输出，并且其中，该处理的输出是第二滤波级的输入。在另一个示例中，第一滤波级的输出被左移或做乘法，以生成处理的输出，并且其中处理的输出是第二滤波级的输入。该方法的其他示例和方面在节4中的项40中进一步描述。

6所公开的技术的示例实现方式

图15是视频处理设备1500的框图。设备1500可以用于实现本文描述的一个或多个方法。设备1500可以实施在智能手机、平板计算机、计算机、物联网(IoT)接收器等等中。装置1500可以包括一个或多个处理器1502，一个或多个存储器1504和视频处理硬件1506。(多个)处理器1502可以配置为实现本文档中所描述的一个或多个方法(包括但不限于，方法1100-1400和2100-2400)。(多个)存储器1504可以用于存储用于实现本文中所描述的方法和技术的数据和代码。视频处理硬件1506可以用于在硬件电路中实现一些本文档中所描述的技术。

在一些实施例中，视频编码方法可以采用关于图15描述的硬件平台上实现的装置来实现。

所公开的技术的一些实施例包含作出启用视频处理工具或模式的判定或确定。在示例中，当启用视频处理工具或模式时，编码器将使用或实现处理视频的块中的工具或模式，但是不一定基于工具或模式的使用来修改得到的比特流。也就是说，从视频的块到视频的比特流的转换将使用在基于判定或确定而启用时的视频处理工具或模式。在另一个示例中，当启用视频处理工具或模式时，解码器通过了解比特流基于视频处理工具或模式已经被修改的情况下，将要处理比特流。也就是说，采用基于该判定或确定而启用的视频处理工具或模式，将执行从视频的比特流到视频的块的转换。

所公开的技术的一些实施例包括做出禁用视频处理工具或模式的判定或确定。在示例中，当视频处理工具或模式被禁用时，编码器将在视频的块到视频的比特流的转换中不使用工具或模式。在另一个示例中，当视频处理工具或模式被禁用时，解码器通过了解以下情况将要处理比特流：尚未采用基于判定或确定而禁用的视频处理工具或模式修改比特流。

图17是图示可以利用本公开的技术的示例视频编码系统100的框图。如图17所示，视频编码系统100可包含源装置110和目的地装置120。源装置110生成编码视频数据，其可以被称为视频编码装置。目的地装置120可以将由源装置110生成的编码视频数据解码，该目的地装置120可以被称为视频解码设备。源装置110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括源，诸如视频捕获装置、从视频内容提供商接收视频数据的接口、和/或生成视频数据的计算机图形系统、或诸如此类源的组合。视频数据可以包括一个或多个图片。视频编码器114编码来自视频源112的视频数据，以生成比特流。比特流可以包括形成视频数据的比特流的比特的序列。比特流可以包括编码的图片和相关联的数据。编码图片是图片的比特流。相关联的数据可以包括序列参数集合、图片参数集合和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码的视频数据可以通过网络130a经由I/O接口116直接发送到目的地装置120。编码的视频数据还可以存储到存储介质/服务器130b上，以供目的地装置120存取。

目的地装置120可以包括I/O接口126、视频解码器124和显示装置122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源装置110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以解码该编码的视频数据。显示装置122可以向用户显示解码的视频数据。显示装置122可以与目的地装置120集成，或者可以在目的地装置120外部，该目的地装置120配置为与外部显示装置连接。

视频编码器114和视频解码器124可以根据视频压缩标准来操作，诸如高效视频编解码(HEVC)标准、多功能视频编码(VVM)标准、以及其他当前和/或其他标准。

图18是图示视频编码器200的示例的框图，其可以是图17所图示的系统100中的视频编码器114。

视频编码器200可以配置为执行本公开的任何或全部技术。在图18的示例中，视频编码器200包括多个功能组件。本公开中所描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可经配置以执行本发明中所描述的任何或所有技术。

视频编码器200的功能组件可以包括分割单元201、预测单元202(其可以包括模式选择单元203)、运动估计单元204、运动补偿单元205和帧内预测单元206、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编解码单元214。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测，其中至少一个参考图片是当前视频块所在的图片。

此外，诸如运动估计单元204和运动补偿单元205之类的一些组件可以被高度地集成，但是出于解释目的在图18的示例中分别呈现。

分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。

模式选择单元203可以例如基于错误结果选择帧内或帧间的编码模式中的一个，并且将得到的帧内或帧间编解码块提供给残差生成单元207以生成残差块数据且提供给重构单元212以重构编解码块来用作参考图片。在一些示例中，模式选择单元203可以选择组合帧内和帧间预测(CIIP)模式，在该模式中，该预测是基于帧间预测信令通知和帧内预测信令通知。模式选择单元203还可以在帧间预测的情况下为块选择运动矢量的分辨率(例如，子像素或整数个像素精度)。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213中除与当前视频块相关联的图片以外的图片的运动信息和解码样点，来确定当前视频块的预测的视频块。

运动估计单元204和运动补偿单元205可以例如取决于当前视频块是在I条带、P条带还是B条带中，来为当前视频块执行不同的操作。

在一些示例中，运动估计单元204可以为当前视频块执行单向预测，并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。然后，运动估计单元204可以生成参考索引和运动矢量，该参考索引指示包含参考视频块的列表0和列表1中的参考图片，且该运动矢量指示当前视频块与参考视频块之间的空域位移。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于当前视频的运动信息所指示的参考视频块来生成当前块的预测的视频块。

在其他示例中，运动估计单元204可以为当前视频块执行双向预测，运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可以在列表1中的参考图片中搜索当前视频块的另一参考视频块。然后，运动估计单元204可以生成参考索引和运动矢量，该参考索引指示包含参考视频块的列表0和列表1中的参考图片，且该运动矢量指示参考视频块与当前视频块之间的空域位移。运动估计单元204可以输出参考索引和当前视频块的运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息所指示的参考视频块来生成当前视频块的预测的视频块。

在一些示例中，运动估计单元204可以输出运动信息的完整集合，以用于解码器的解码处理。

在一些示例中，运动估计单元204可以不输出当前视频的运动信息的完整集合。相反，运动估计单元204可以参考另一个视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息充分相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示一个值，该值向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息。

在另一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中识别另一个视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与指示的视频块的运动矢量之间的差异。视频解码器300可以使用指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。

如上所讨论，视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实现的预测性信令通知技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令通知。

帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于相同图片中的其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测的视频块和各种语法元素。

残差生成单元207可以通过从当前视频块中减去(例如，用负号表示)当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括与当前视频块中的样点的不同样点分量相对应的残差视频块。

在其他示例中，对于当前视频块可以没有当前视频块的残差数据，例如在跳过模式下，并且残差生成单元207可以不执行减法运算。

变换处理单元208可通过将一或多个变换应用到与当前视频块相关联的残差视频块，来生成当前视频块的一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可分别将逆量化和逆变换应用到变换系数视频块，来从变换系数视频块重构残差视频块。重构单元212可以将重构的残差视频块添加到由预测单元202生成的一个或多个预测的视频块的对应样点，以产生与当前块相关联的重构视频块，以存储在缓冲器213中。

在重构单元212重构视频块之后，可以执行环路滤波操作以减少视频块中的视频块效应(blocking artifact)。

熵编解码单元214可从视频编码器200的其他功能组件接收数据。当熵编解码单元214接收数据时，熵编解码单元214可以执行一个或多个熵编码操作，以生成熵编码数据并且输出包括熵编码数据的比特流。

图19是图示视频解码器300的示例的框图，该视频解码器300可以是图17所图示的系统100中的视频解码器124。

视频解码器300可以配置为执行本公开的任何或全部技术。图19的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各种组件之间共享。在一些实例中，处理器可以配置为执行本发明中所描述的任何或所有技术。

在图19的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、以及重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行解码处理(pass)，其总体上与关于视频编码器200(图18)所描述的编码处理互逆。

熵解码单元301可以取回编码的比特流。编码的比特流可以包括熵编码的视频数据(例如，视频数据的编解码块)。熵解码单元301可以解码该熵编码的视频数据，并且由熵解码的视频数据，运动补偿单元302可以确定运动信息，包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息。运动补偿单元302可以例如通过执行AMVP和合并模式来确定这样的信息。

运动补偿单元302可产生运动补偿的块，可能基于插值滤波器执行插值。以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。

运动补偿单元302可以在视频块的编码期间使用如视频编码器20所使用的插值滤波器，以计算参考块的子整数个像素的插值的值。运动补偿单元302可以根据接收的语法信息来确定视频编码器200所使用的插值滤波器，并且使用该插值滤波器来生成预测块。

运动补偿单元302可以使用一些语法信息来确定：用于对编码的视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸，描述编码的视频序列的图片的每个宏块如何被分割的分割信息，指示如何编码每个分割的模式、每个帧间编码的块的一个或多个参考帧(和参考帧列表)、以及解码编码视频序列的其他信息。

帧内预测单元303可以使用例如在比特流中所接收的帧内预测模式，以由空域相邻块形成预测块。逆量化单元304逆量化(即，反量化(de-quantize))该量化的视频块系数，其在比特流中提供且由熵解码单元301解码。逆变换单元305应用逆变换。

重构单元306可以将残差块与由运动补偿单元302或帧内预测单元303生成的对应的预测块相加，以形成解码块。如果需要，去方块滤波器还可以应用于滤波解码的块，以便移除块效应。然后，将解码的视频块存储在缓冲器307中，该缓冲器为随后的运动补偿/帧内预测提供参考块，并且还生成解码的视频以呈现在显示装置上。

图20是示出其中可以实施本文中所公开的各种技术的示例视频处理系统2000的框图。各种实现方式可以包括系统2000的一些或所有组件。系统2000可以包括接收视频内容的输入2002。视频内容可以以未加工的或未压缩的格式(例如8或10比特多分量像素值)来接收，或者可以在压缩的或编码的格式中。输入2002可以表示网络接口、外围总线接口或存储装置接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。

系统2000可以包括可实现本文档中所描述的各种编码方法的编码组件2004。编码组件2004可以降低从编码组件2004的输入2002到输出的视频的平均比特率，以产生视频的比特流。因此，编码技术有时称为视频压缩或视频转码技术。编码组件2004的输出可以被存储，还可以经由如组件2006所示的连接的通信来传输。组件2008可以使用在输入2002处接收的存储或通信的视频的比特流(或编码)表示，来生成像素值或生成发送到显示接口2010的可显示的视频。从比特流生成用户可观看的视频的过程有时也称为视频解压缩。此外，某些视频处理操作被称为“编码”操作或工具，应当理解，在编码器处使用编解码工具或操作，并且解码器将执行使编码结果相逆的对应解码工具或操作。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以实施在各种电子装置中，诸如移动电话、膝上型计算机、智能电话或其他能够执行数字数据处理和/或视频显示的装置。

在一些实施例中，ALWIP模式或MIP模式用于通过对视频的先前编码的样点执行边界下采样操作(或平均化运算)、随后执行矩阵矢量乘法运算、和选择性的(或可选地)随后执行上采样操作(或线性插值运算)，来计算当前视频块的预测块。在一些实施例中，ALWIP模式或MIP模式用于通过对视频的先前编码的样点执行边界下采样操作(或平均化运算)和随后执行矩阵矢量乘法运算，来计算当前视频块的预测块。在一些实施例中，ALWIP模式或MIP模式还可以在执行矩阵矢量乘法运算之后执行上采样操作(或线性插值操作)。

图21描述了基于矩阵的帧内预测的示例方法2100。操作2102包括：采用基于矩阵的帧内预测(MIP)模式执行当前视频块与当前视频块的比特流之间的转换，在基于矩阵的帧内预测模式下通过对位于当前视频块的左边的和位于当前视频块的顶部的参考边界样点执行边界下采样操作，随后执行矩阵矢量乘法运算，以及随后选择性地执行上采样操作，来确定当前视频块的预测块，其中不是在边界下采样操作中由当前视频块的参考边界样点计算出减少的边界样点，而是将参考边界样点直接用于上采样操作中的预测过程。

在方法2100的一些实施例中，位于与当前视频块的上采样边界样点相关联的位置处的参考边界样点被直接用于上采样操作中的预测过程。在方法2100的一些实施例中，上采样边界样点不通过平均化多个相邻参考边界样点来计算。在方法2100的一些实施例中，从当前视频块的参考边界样点和缩减因子来计算减少的边界样点。在方法2100的一些实施例中，边界下采样操作包括一级边界样点下采样操作。在方法2100的一些实施例中，缩减因子通过变换块尺寸和下采样边界尺寸来计算。

图22描述了基于矩阵的帧内预测的示例方法2200。操作2202包括：在视频的当前视频块与当前视频块的比特流之间的转换期间，在与基于矩阵的帧内预测(MIP)模式相关联的上采样操作中，对当前视频块的样点执行至少两个滤波级，在基于矩阵的帧内预测模式下通过对视频的先前编码的样点执行边界下采样操作，随后执行矩阵矢量乘法运算，以及随后选择性地执行上采样操作，来确定当前视频块的预测块，其中至少两个滤波级的第一滤波级中的样点的第一精度不同于至少两个滤波级的第二滤波级中的样点的第二精度。操作2204包括执行当前视频块与当前视频块的比特流之间的转换。

在方法2200的一些实施例中，当前视频块的样点是预测样点、上采样操作之前的中间样点、或上采样操作之后的中间样点。在方法2200的一些实施例中，在第一滤波级中，在第一维度上水平地上采样样点，在第二滤波级中，在第二维度上垂直地上采样样点，并且第一滤波级在第二滤波级之前。在方法2200的一些实施例中，在第一滤波级中，在第一维度上垂直地上采样样点，在第二滤波级中，在第二维度上水平地上采样样点，并且第一滤波级在第二滤波级之前。

在方法2200的一些实施例中，第一滤波级的输出上采样结果向第二滤波级提供输入样点，并且第一滤波级排除对样点执行右移运算或除法运算。在方法2200的一些实施例中，通过将第二滤波级的输入样点右移变量Shift1或除以变量Dem1，来获得最终的上采样结果。在方法2200的一些实施例中，通过将第一滤波级的输出上采样结果右移变量Shift2或除以变量Dem2，来获得最终的上采样结果。在方法2200的一些实施例中，变量Shift1＝2×变量Shift2，并且其中变量Dem1＝变量Dem2×变量Dem2。在方法2200的一些实施例中，当前视频块的样点中的至少一些样点在被发送到第二滤波级之前被左移变量Shift3或乘以变量Dem3，并且样点中的至少一些不是第一个滤波级的输出上采样结果。在方法2200的一些实施例中，变量Shift3＝变量Shift1，并且其中变量Dem3＝变量Dem2。

在方法2200的一些实施例中，第一滤波级的输出上采样结果被右移变量Shift1或除以变量Dem1以生成处理的输出，并且处理的输出将输入样点提供给第二滤波级。在方法2200的一些实施例中，通过将第二滤波级的输入样点右移变量Shift2或除以变量Dem2，来获得最终的上采样结果。在方法2200的一些实施例中，变量Shift2不等于变量Shift1，并且变量Dem2不等于变量Dem1。在方法2200的一些实施例中，变量Shift2大于变量Shift1，并且变量Dem2大于变量Dem1。在方法2200的一些实施例中，通过将第一滤波级的输出上采样滤波结果右移变量Shift3或除以变量Dem3，来获得最终的上采样结果。在方法2200的一些实施例中，变量Shift3等于变量Shift1，并且其中变量Dem3不等于变量Dem1。

在方法2200的一些实施例中，变量Shift3＝变量Shift1+变量Shift2。在方法2200的一些实施例中，当前视频块的样点中的至少一些样点在被发送到第二滤波级之前被左移或做乘法，并且样点中的至少一些样点不是第一滤波级的输出上采样结果。在方法2200的一些实施例中，将第一滤波级的输出上采样结果左移变量Shift1或乘以变量Dem1以生成处理的输出，并且处理的输出向第二滤波级提供输入样点。在方法2200的一些实施例中，通过将第二滤波级的输入样点右移某一因子或除以该因子，来获得最终的上采样结果。

在方法2200的一些实施例中，通过将第一滤波级的输出上采样滤波结果右移一个因子或除以该因子，来获得最终的上采样结果。在方法2200的一些实施例中，当前视频块的样点的至少一些样点在被发送到第二滤波级之前被左移变量Shift2或乘以变量Dem2，并且样点中的至少一些样点不是第一个滤波级的输出上采样结果。在方法2200的一些实施例中，变量Shift2不等于变量Shift 1，并且其中变量Dem2不等于变量Dem1。在方法2200的一些实施例中，变量Shift2大于变量Shift1，并且变量Dem2大于变量Dem1。

在方法2200的一些实施例中，输入到第一滤波级的样点左移变量Shift1或乘以变量Dem1以生成处理的输出，并且处理的输出向第二滤波级提供输入样点。在方法2200的一些实施例中，通过将第二滤波级的输入样点右移某一因子或除以该因子，来获得最终的上采样结果。在方法2200的一些实施例中，通过将第一滤波级的处理的输出右移某一因子或除以该因子，来获得最终的上采样结果。在方法2200的一些实施例中，当前视频块的样点中的至少一些样点在被发送到第二滤波级之前被左移变量Shift2或乘以变量Dem2，并且样点中的至少一些样点不是第一滤波级的输出上采样结果。在方法2200的一些实施例中，变量Shift2不等于变量Shift1，并且其中变量Dem2不等于变量Dem1。在方法2200的一些实施例中，变量Shift2大于变量Shift1，并且变量Dem2大于变量Dem1。

图23描述了基于矩阵的帧内预测的示例视频编码方法2300。操作2302包括：采用矩阵帧内预测(MIP)模式编码视频的当前视频块，在矩阵帧内预测模式下通过对视频的先前编码的样点来执行边界下采样操作，随后执行矩阵矢量乘法运算，以及随后选择性地执行上采样操作，来确定当前视频块的预测块。操作2304包括：采用算术编解码，向当前视频块的比特流添加指示MIP模式对当前视频块的适用性的语法元素，该算术编解码中语法元素的上下文是基于规则来导出

图24描述了基于矩阵的帧内预测的示例视频解码方法2400。操作2402，为指示当前编解码块是否采用矩阵帧内预测(MIP)模式来编码的语法元素，解析包括当前视频块的视频的比特流，其中语法元素采用算术编解码来编码，该算术编解码中语法元素的上下文是基于规则来导出。操作2404包括解码当前视频块的比特流以生成解码的当前视频块，其中在当前视频块采用MIP模式编码的情况下，该解码包括通过对视频的先前编码的样点执行边界下采样操作、随后执行矩阵矢量乘法运算、并且随后选择性地执行上采样操作来确定当前视频块的预测块。

在(多个)方法2300和/或2400的一些实施例中，规则限定，响应于(Abs(Log2(cbWidth)–Log2(cbHeight))大于1，导出语法元素的上下文，其中cbWidth是当前视频块的宽度，并且其中cbHeight是当前视频块的高度。在(多个)方法2300和/或2400的一些实施例中，该规则限定，响应于(Abs(Log2(cbWidth)–Log2(cbHeight))小于1，导出语法元素的上下文，其中cbWidth是当前视频块的宽度，并且其中cbHeight是当前视频块的高度。在(多个)方法2300和/或2400的一些实施例中，该规则限定，通过采用当前视频块的一个或多个邻近视频块的MIP模式相关的信息和/或一个或多个邻近视频块的可用性，导出语法元素的上下文。

在(多个)方法2300和/或2400的一些实施例中，基于以下导出语法元素的上下文：当前视频块的左邻近视频块的第一MIP语法元素，当前视频块的顶邻近视频块的第二MIP语法元素，以及左邻近视频块和顶邻近视频块的可用性。在(多个)方法2300和/或2400的一些实施例中，基于以下等式导出上下文(offset ctxInc)：offset ctxInc＝(condL&&availableL)+(condA&&availableA)+ctxSetIdx*3，其中condL是当前视频块的左邻近视频块的第一MIP语法元素，其中，condA是当前视频块的顶邻近视频块的第二MIP语法元素，其中availableL和availableA分别指示左邻近视频块和顶邻近视频块的可用性，其中&&指示逻辑“与”运算，并且其中ctxSetIdx是预定上下文索引。

在(多个)方法2300和/或2400的一些实施例中，基于以下导出上下文：当前视频块的左邻近视频块的MIP语法元素，以及左邻近视频块的可用性。在(多个)方法2300和/或2400的一些实施例中，上下文(offset ctxInc)基于以下等式导出：offset ctxInc＝(condL&&availableL)+ctxSetIdx*3，其中，condL是当前视频块的左邻近视频块的MIP语法元素，其中availableL指示左邻近视频块的可用性，其中&&指示逻辑“与”运算，并且ctxSetIdx是预定上下文索引。

在(多个)方法2300和/或2400的一些实施例中，基于以下得出上下文：当前视频块的顶邻近视频块的MIP语法元素，以及顶邻近视频块的可用性。在(多个)方法2300和/或2400的一些实施例中，基于以下等式导出上下文(offset ctxInc)：offset ctxInc＝(condA&&availableA)+ctxSetIdx*3，其中condA是当前视频块的顶部邻近视频块的MIP语法元素，其中availableA表示顶邻近视频块的可用性，其中&&指示逻辑“与”运算，并且其中ctxSetIdx是预定上下文索引。在(多个)方法2300和/或2400的一些实施例中，预定上下文索引ctxSetIdx等于零。在(多个)方法2300和/或2400的一些实施例中，规则指定语法元素的上下文是用于采用算术编解码来编码语法元素的一个固定的上下文。在(多个)方法2300和/或2400的一些实施例中，该规则指定语法元素采用算术编解码被旁路编码。

在(多个)方法2300和/或2400的一些实施例中，规则指定上下文是从K个上下文导出的，其中K大于或等于2。在(多个)方法2300和/或2400的一些实施例中，响应于W>N*H或H>N*W，使用来自K个上下文的按顺序的第一上下文，并且其中N为2。在(多个)方法2300和/或2400的一些实施例中，响应于W≤N*H或H≤N*W，使用来自K个上下文的按顺序的第二上下文，并且其中N为2。在(多个)方法2300和/或2400的一些实施例中，规则指定上下文从N个其他上下文来导出，其中N大于或等于零。在(多个)方法2300和/或2400的一些实施例中，N等于3，通过采用两个视频块的两个MIP语法元素和/或两个视频块的可用性，来导出语法元素的上下文，并且两个视频块是当前视频块的两个邻近视频块，或者两个视频块是当前视频块的两个非邻近视频块。

在(多个)方法2300和/或2400的一些实施例中，两个邻近视频块包括相对于当前视频块的顶邻近视频块以及相对于当前视频块的左邻近视频块。在(多个)方法2300和/或2400的一些实施例中，顶邻近视频块覆盖位置(x0,y0-1)，并且左邻近视频块覆盖位置(x0-1，y0)，其中亮度位置(x0，y0)指定当前视频块的左上样点。在(多个)方法2300和/或2400的一些实施例中，两个邻近视频块包括相对于当前视频块的顶邻近视频块以及相对于当前视频块的左下邻近视频块。在(多个)方法2300和/或2400的一些实施例中，两个邻近视频块包括相对于当前视频块的顶邻近视频块以及相对于当前视频块的右上邻近视频块。在(多个)方法2300和/或2400的一些实施例中，两个邻近视频块包括相对于当前视频块的右上邻近视频块以及相对于当前视频块的左邻近视频块。

在(多个)方法2300和/或2400的一些实施例中，两个邻近视频块包括相对于当前视频块的右上邻近视频块和相对于当前视频块的左下邻近视频块。在(多个)方法2300和/或2400的一些实施例中，两个邻近视频块包括相对于当前视频块的左邻近视频块以及相对于当前视频块的左下邻近视频块。在(多个)方法2300和/或2400的一些实施例中，两个邻近视频块包括以下中的任意两个：相对于当前视频块的右上邻近视频块，相对于当前视频块的顶邻近视频块，相对于当前视频块的左上邻近视频块，相对于当前视频块的左邻近视频块，以及相对于当前视频块的左下邻近视频块。

在(多个)方法2300和/或2400的一些实施例中，N等于2，通过采用一个视频块的一个MIP语法元素和/或一个视频块的可用性来导出语法元素的上下文，并且一个视频块是当前视频块的邻近视频块，或者一个视频块是当前视频块的非相邻视频块。在(多个)方法2300和/或2400的一些实施例中，一个邻近视频块包括以下中的任意一个：相对于当前视频块的右上邻近视频块，相对于当前视频块的顶邻近视频块，相对于当前视频块的左上邻近视频块，相对于当前视频块的左邻近视频块，以及相对于当前视频块的左下邻近视频块。在(多个)方法2300和/或2400的一些实施例中，规则指定语法元素的上下文是用于采用算术编解码来编码语法元素的一个固定的上下文。在(多个)方法2300和/或2400的一些实施例中，规则指定语法元素采用算术编解码来旁路编码。

根据前述内容，将理解的是，出于说明的目的已经在本文中描述了本公开的技术的指定实施例，但是可以在不脱离本发明的范围的情况下进行各种修改。因此，本公开的技术不受限于所附权利要求书。

本专利文档中描述的主题的实现和功能操作可以在各种系统、数字电子电路或计算机软件、固件或硬件中实现，包括在本说明书中公开的结构及其等同结构，或它们中的一个或多个的组合。本说明书中描述的主题的实现方式可以实现为一个或多个计算机程序产品，即，在有形的和非暂时性计算机可读介质上编码的计算机程序指令的一个或多个模块，以由数据处理装置执行或控制该数据处理装置的操作。计算机可读介质可以是机器可读存储装置、机器可读存储基板、存储器装置、影响机器可读传播信令通知的物质的合成物、或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理设备”涵盖用于处理数据的所有设备、装置和机器，例如包括可编程处理器、计算机、或多个处理器或计算机。除了硬件以外，该设备还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。

计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言(包括编译或解释语言)来编写，并且可以以任何形式进行部署，包括作为独立运行的程序，或作为模块、组件、子例程或其他适用于计算环境的单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，专用于所讨论程序的单个文件中或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)。可以部署计算机程序以在位于一个站点上或在多个站点上分布并通过通信网络互连的一台计算机或多台计算机上执行。

本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据操作并生成输出来执行功能。过程和逻辑流程还可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

作为示例，适合于执行计算机程序的处理器包括通用微处理器和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器以及存储指令和数据的一个或多个存储器装置。通常，计算机还将包括一个或多个存储数据的大容量存储装置(例如，磁、磁光盘、或光盘)，或可操作地耦接到以从一个或多个存储数据的大容量存储装置中接收数据或将数据传输到这一个或多个存储数据的大容量存储装置、或者接收数据和传输数据的二者。但是，计算机不必具有此这样的装置。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器装置，包括作为示例半导体存储器装置，例如EPROM、EEPROM和闪速存储器装置。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

说明书与附图一起被认为仅是示例性的，其中示例性是示例。如本文所用，除非上下文另外明确指出，“或”的使用旨在包括“和/或”。

尽管该专利文件包含许多细节，但是这些细节不应解释为对任何发明或可要求保护的范围的限制，而应解释为对特定发明的特定实施例可能特定的特征的描述。在单独的实施例的上下文中的该专利文档中描述的某些特征还可以组合地实现。相反地，在单个实施例的上下文中描述的各种特征还可以分别在多个实施例中或以任何合适的子组合来实现。此外，尽管上面可以将特征描述为以某些组合起作用并且甚至最初如此主张，但是在某些情况下，可以从组合中切除所要求保护的组合中的一个或多个特征，并且可以将所要求保护的组合指向子组合或子组合的变体。

类似地，尽管在附图中以特定顺序描绘了操作，但是这不应理解为要求以所示的特定顺序或以连续的顺序执行这样的操作，或者执行所有图示的操作以实现期望的结果。此外，在该专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中需要这样的分离。

仅描述一些实施方式和示例，并且基于该专利文档中所描述和图示的内容可以做出其他实现方式、增强例和变型。

Claims

1.一种处理视频数据的方法，包括：

对于视频的视频块和所述视频的比特流之间的转换，确定对所述视频的所述视频块应用第一帧内模式，其中所述第一帧内模式中的处理包括一级边界下采样操作，随后执行矩阵矢量乘法运算和上采样操作，以针对所述视频的所述视频块生成预测样点；以及

基于所述预测样点执行所述转换，

其中，减少的边界样点是通过所述一级边界下采样操作从所述视频的所述视频块的参考边界样点生成的，并被用于生成所述矩阵矢量乘法运算的输入。

2.根据权利要求1所述的方法，其中所述参考边界样点包括所述视频块的左参考边界样点和上参考边界样点。

3.根据权利要求2所述的方法，其中在没有帧内参考样点滤波过程的情况下导出所述左参考边界样点和上参考边界样点。

4.根据权利要求2所述的方法，其中在所述一级边界下采样操作中，所述减少的边界样点是直接根据所述视频块的参考边界样点和缩减因子生成的，而不需要导出中间样点，并且

其中，所述缩减因子分别在水平方向和垂直方向计算一次。

5.根据权利要求4所述的方法，其中基于所述视频块的尺寸来计算所述缩减因子。

6.根据权利要求1所述的方法，其中将样点输入到所述上采样操作包括对所述视频块的边界样点进行上采样，并且上采样边界样点不是通过对所述视频块的参考边界样点求平均来计算的。

7.根据权利要求6所述的方法，其中从所述参考边界样点复制所述上采样边界样点中的至少一个。

8.根据权利要求1所述的方法，其中指示是否应用所述第一帧内模式的第一语法元素被包括在所述比特流中。

9.根据权利要求1所述的方法，其中所述矩阵矢量乘法运算之后是所述上采样操作之前的转置运算。

10.根据权利要求9所述的方法，其中所述转置运算将具有第一值的宽度和第二值的高度的块转换为具有第二值的宽度和第一值的高度的块。

11.根据权利要求1所述的方法，其中所述转换包括将所述视频块编码为所述比特流。

12.根据权利要求1所述的方法，其中所述转换包括从所述比特流解码所述视频块。

13.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在被处理器执行时使处理器：

基于所述预测样点执行所述转换，

14.根据权利要求13所述的装置，其中，所述参考边界样点包括在没有帧内参考样点滤波过程的情况下导出的所述视频块的左参考边界样点和上参考边界样点。

15.根据权利要求14所述的装置，其中在所述一级边界下采样操作中，所述减少的边界样点是直接根据所述视频块的参考边界样点和缩减因子生成的，而不需要导出中间样点，并且

其中，所述缩减因子分别在水平方向和垂直方向计算一次。

16.根据权利要求15所述的装置，其中基于所述视频块的尺寸来计算所述缩减因子。

17.根据权利要求13所述的装置，其中将样点输入到所述上采样操作包括对所述视频块的边界样点进行上采样，其中所述上采样边界样点中的至少一个是从所述参考边界样点复制的。

18.根据权利要求13所述的装置，其中将样点输入到所述上采样操作包括对所述视频块的边界样点进行上采样，并且所述上采样边界样点不是通过对所述视频块的参考边界样点求平均来计算的。

19.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器：

基于所述预测样点执行所述转换，

20.一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：

确定对所述视频的视频块应用第一帧内模式，其中所述第一帧内模式中的处理包括一级边界下采样操作，随后执行矩阵矢量乘法运算和上采样操作，以针对所述视频的所述视频块生成预测样点；以及

基于所述预测样点生成所述比特流；

21.一种用于生成视频的比特流的方法，包括：

确定对所述视频的视频块应用第一帧内模式，其中所述第一帧内模式中的处理包括一级边界下采样操作，随后执行矩阵矢量乘法运算和上采样操作，以针对所述视频的所述视频块生成预测样点；

基于所述预测样点生成所述比特流；以及

将所述比特流存储在非暂时性计算机可读记录介质中，

22.一种处理视频数据的方法，包括：

针对视频的当前视频块和视频的比特流之间的转换，基于语法元素确定是否对所述当前视频块应用矩阵帧内预测MIP模式，其中在所述MIP模式中，所述当前视频块的预测样点是通过执行矩阵矢量乘法运算来确定的；以及

基于所述确定执行所述转换，

其中，所述语法元素的至少一个二进制位被上下文编解码，并且基于所述当前视频块的临近块的特性确定所述上下文的索引。

23.根据权利要求1所述的方法，其中进一步基于所述当前视频块的尺寸来确定所述上下文的索引。

24.根据权利要求2所述的方法，其中响应于所述当前视频块的宽高比大于2，具有第一预定义索引的上下文被用于对所述语法元素的所述至少一个二进制位进行编解码。

25.根据权利要求2所述的方法，其中响应于所述当前视频块的宽高比小于或等于2，具有第二索引的上下文被用于对所述语法元素的所述至少一个二进制位进行编解码，其中所述第二索引与第一预定义索引不同。

26.根据权利要求4所述的方法，其中基于所述临近块的特性从索引组中选择所述第二索引。

27.根据权利要求5所述的方法，其中所述临近块的所述特性包括所述临近块的编解码模式和所述临近块的可用性。

28.根据权利要求6所述的方法，其中使用所述当前视频块的左临近视频块和所述当前视频块的顶临近视频块来选择第二索引。

29.根据权利要求7所述的方法，其中所述第二索引是基于以下等式导出的：

ctxInc＝(condL&&availableL)+(condA&&availableA)，

其中condL是所述当前视频块的所述左临近视频块的第一MIP语法元素，

其中condA是所述当前视频块的所述顶临近视频块的第二MIP语法元素，

其中availableL和availableA分别表示所述左临近视频块和所述顶临近视频块的可用性，并且

其中&&表示逻辑“与”运算。

30.根据权利要求2所述的方法，其中基于所述当前视频块的尺寸在所述MIP模式中包括对所述当前视频块的参考样点的边界下采样操作和上采样操作。

31.根据权利要求9所述的方法，其中在所述边界下采样操作中，减少的边界样点是直接根据参考样点和缩小因子生成的，而不产生中间样点。

32.根据权利要求10所述的方法，其中基于所述当前视频块的宽度或高度以及边界尺寸值来计算所述缩小因子。

33.根据权利要求1所述的方法，其中所述MIP模式包括多种类型，并且在不参考先前视频块的类型索引的情况下导出所述当前视频块的类型索引。

34.根据权利要求12所述的方法，其中所述当前视频块的所述类型索引被明确地包括在所述比特流中。

35.根据权利要求1所述的方法，其中所述转换包括将所述当前视频块编码为所述比特流。

36.根据权利要求1所述的方法，其中所述转换包括从所述比特流解码所述当前视频块。

37.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器：

基于所述确定执行所述转换，

38.根据权利要求16所述的装置，其中，进一步基于所述当前视频块的尺寸来确定所述上下文的所述索引，并且

其中响应于所述当前视频块的宽高比大于2，具有第一预定义索引的上下文被用于对所述语法元素的所述至少一个二进制位进行编解码，并且响应于所述当前视频块的宽高比小于或等于2，具有第二索引的上下文被用于对所述语法元素的所述至少一个二进制位进行编解码，其中所述第二索引与第一预定义索引不同。

39.根据权利要求17所述的装置，其中所述第二索引是基于以下等式导出的：

ctxInc＝(condL&&availableL)+(condA&&availableA)，

其中&&表示逻辑“与”运算。

40.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器：

基于所述确定执行所述转换，

41.一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：

基于语法元素确定是否对所述视频的当前视频块应用矩阵帧内预测MIP模式，其中在所述MIP模式中，所述当前视频块的预测样点是通过执行矩阵矢量乘法运算来确定的；以及

基于所述确定生成所述比特流，

42.一种用于存储视频的比特流的方法，包括：

基于语法元素确定是否对所述视频的当前视频块应用矩阵帧内预测MIP模式，其中在所述MIP模式中，所述当前视频块的预测样点是通过执行矩阵矢量乘法运算来确定的；

基于所述确定生成所述比特流；以及

将所述比特流存储在非暂时性计算机可读记录介质中，