CN115516854A

CN115516854A - 在4:4:4色度格式和单树的情况下针对所有通道的mip

Info

Publication number: CN115516854A
Application number: CN202180027434.9A
Authority: CN
Inventors: 乔纳森·普法夫; 托比亚斯·欣茨; 菲利普·赫勒; 菲利普·默克尔; 比约恩·施塔伦贝格尔; 米夏埃尔·沙费尔; 本杰明·布鲁斯; 海科·施瓦茨; 德特勒夫·马尔佩; 托马斯·威甘德
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2020-04-02
Filing date: 2021-04-01
Publication date: 2022-12-23
Also published as: EP4128754A1; TWI800812B; WO2021198402A1; TW202139704A; TW202332274A; KR20220161439A; JP2023519945A; US20230188720A1

Abstract

一种基于块的解码器，被配置为：使用划分方案将具有多于一个颜色分量(10₁、10₂)和具有颜色采样格式的图片(10)划分成块，根据该颜色采样格式对每个颜色分量(10₁、10₂)等同地采样，根据该划分方案针对每个颜色分量(10₁、10₂)等同地划分图片(10)。另外，该基于块的解码器被配置为：通过针对图片(10)的帧内预测的第一颜色分量块(18’₁₁至18’_1n)中的每一个选择帧内预测模式的第一集合(508)中的一个，来以块为单位解码图片(10)的第一颜色分量(10₁)。第一集合(508)包括基于矩阵的帧内预测模式(510₁至510_m)，根据每个帧内预测模式，通过以下方式来预测块内部(18)：从与该块内部(18)相邻的参考样本(17)导出样本值向量(514)，计算样本值向量(514)和与相应的基于矩阵的帧内预测模式(510₁至510_m)相关联的预测矩阵(516)之间的矩阵‑向量乘积(512)以便获得预测向量(518)，以及基于预测向量(518)来预测块内部(18)中的样本。另外，该基于块的解码器被配置为：通过使用针对位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的基于矩阵的帧内预测模式来帧内预测图片的预定第二颜色分量块(18₂)，以块为单位解码图片(10)的第二颜色分量(10₂)。

Description

在4:4:4色度格式和单树的情况下针对所有通道的MIP

技术领域

根据本发明的实施例涉及用于在4:4:4色度格式和单树的情况下针对所有通道使用基于矩阵的帧内预测(MIP)来编码或解码图片或视频的装置和方法。

背景技术

在当前的VTM中，MIP仅用于亮度分量[3]。如果在色度帧内块上帧内模式是直接模式(DM)，并且如果位于同一位置的亮度块的帧内模式是MIP模式，则色度块必须使用平面模式来产生帧内预测信号。断言在MIP的情况下对DM模式进行这种处理的主要原因是：对于4:2:0的情况或双树的情况，位于同一位置的亮度块可能会具有与色度块不同的形状。因此，由于不能对所有块形状应用MIP模式，所以在这种情况下位于同一位置的亮度块的MIP模式可能不适用于色度块。

因此，期望提供用于更有效地呈现图片编码和/或视频编码以支持针对所有通道的基于矩阵的帧内预测的构思。附加地或备选地，期望减少比特流并因此减少信号通知(signalization)成本。

这通过本申请的独立权利要求的主题来实现。

根据本发明的其他实施例由本申请的从属权利要求的主题限定。

发明内容

根据本发明的第一方面，本申请的发明人认识到，当尝试使用基于矩阵的帧内预测模式(MIP-模式)来预测图片的预定块的样本时遇到的一个问题源于这样的事实：目前无法针对图片的所有颜色分量使用MIP。根据本申请的第一方面，例如，在图片中共享相同位置的两个颜色分量等同地采样并等同地划分成块的情况下，通过针对这两个颜色分量的帧内预测块(即，位于同一位置的帧内预测块)使用相同的MIP模式来克服这个困难。发明人发现，针对图片的两个或更多个颜色分量的位于同一位置的帧内预测块使用相同的MIP模式是有利的。这是基于如下想法：在图片的所有颜色分量上预测信号的强相关性是有益的，并且如果将相同的帧内预测模式用于图片的帧内预测块的两个或更多个颜色分量，则可以增大这种相关性。由于针对同一图片的不同颜色分量的位于同一位置的块使用相同的MIP模式，因此可以减少比特流并因此降低信号通知成本。此外，可以降低编码复杂度。

因此，根据本申请的第一方面，基于块的解码器/编码器被配置为：使用划分方案将多于一个颜色分量并具有颜色采样格式的图片划分成块，其中根据该颜色采样格式对每个颜色分量等同地采样，例如，图片的第一颜色分量与图片的所有其他颜色分量具有相同的采样，例如，图片的所有颜色分量具有相同的空间分辨率，其中根据该划分方案针对每个颜色分量等同地划分图片，例如，图片的第一颜色分量以与图片的所有其他颜色分量相同的方式被划分，例如，所有颜色分量具有相同的空间分辨率。图片可以由例如YUV、YPbPr和/或YCbCr颜色空间中的亮度分量和两个色度分量组成，其中亮度分量和两个色度分量表示多于一个的颜色分量。例如，在RGB颜色空间中，图片也可以由表示多于一个的颜色分量的红色分量、绿色分量和蓝色分量组成。图片例如由第一颜色分量、第二颜色分量和可选的第三颜色分量组成。显然，所描述的基于块的解码器/编码器也可以用于具有其他颜色分量的图片和具有不同数量的颜色分量的图片。例如，通过将第一颜色分量划分为第一颜色分量块、通过将第二颜色分量划分为第二颜色分量块、以及可选地通过将第三颜色分量划分为第三颜色分量，针对每个颜色分量等同地划分图片。可以以颜色分量块的粒度或以颜色分量块为单位来决定图片的颜色分量是帧间预测的(即，帧间编码的)还是帧内预测的(即，帧内编码的)。基于块的解码器/编码器被配置为：通过针对图片的帧内预测的第一颜色分量块(即，针对与帧内预测相关联的第一颜色分量块中的每一个)选择帧内预测模式的第一集合中的一个帧内预测模式，以块为单位(即，以第一颜色分量块为单位)从数据流中解码图片的第一颜色分量/将图片的第一颜色分量编码到数据流中。与帧间预测相关联的第一颜色分量块，即帧间预测的第一颜色分量块，将被不同地处理。帧内模式的第一集合包括基于矩阵的帧内预测模式，其中根据每个帧内预测模式，通过以下方式来预测块内部：导出与该块内部相邻的参考样本中的样本值向量，计算样本值向量和与相应的基于矩阵的帧内预测模式相关联的预测矩阵之间的矩阵-向量乘积以便获得预测向量，以及基于预测向量来预测块内部中的样本。另外，该基于块的解码器/编码器被配置为：通过使用针对位于同一位置的帧内预测的第一颜色分量块而选择的基于矩阵的帧内预测模式，对图片的预定第二颜色分量块进行帧内预测，来以块为单位解码/编码图片的第二颜色分量。图片的第一颜色分量可以是图片的亮度分量，而图片的第二颜色分量可以是图片的色度分量。

根据实施例，预测向量的分量的数量小于块内部中的样本的数量，并且基于块的解码器/编码器被配置为：通过基于分配给块内部中的支持样本位置的预测向量的分量对块内部中的样本进行插值，来基于预测向量预测所述样本。这是基于如下想法：可以减少矩阵向量乘积的计算中所需的乘法的总数来获得这种预测向量，因此可以降低解码器/编码器的复杂度和信号通知成本。

根据实施例，基于块的解码器/编码器被配置为：针对图片的帧内预测的第二颜色分量块中的每一个(即，针对与帧内预测相关联的第二颜色分量块中的每一个)选择第一选项和第二选项之一。在第一选项中，基于针对位于同一位置的帧内预测的第一颜色分量块而选择的帧内预测模式，导出针对相应的帧内预测的第二颜色分量块的帧内预测模式，使得在针对位于同一位置的帧内预测的第一颜色分量块而选择的帧内预测模式是基于矩阵的帧内预测模式之一的情况下，针对相应的帧内预测的第二颜色分量块的帧内预测模式等于针对位于同一位置的帧内预测的第一颜色分量块而选择的帧内预测模式。在第二选项中，基于数据流中存在/信号通知的针对相应的帧内预测的第二颜色分量块的帧内模式索引，来选择针对相应的帧内预测的第二颜色分量块的帧内预测模式。例如，解码器/编码器可以被配置为：在针对帧内预测的第二颜色分量块指示直接模式或残余编码颜色变换模式的情况下，选择第一选项。否则，通过选择第二选项，例如，将数据流中信号通知的模式用于对帧内预测的第二颜色分量块的预测。

根据实施例，基于块的解码器/编码器被配置为使得：取决于相应的帧内预测的第一颜色分量块的块尺寸来选择由帧内预测模式的第一集合所包括的基于矩阵的帧内预测模式，以便作为基于矩阵的帧内预测模式的互不相交子集的集合中的基于矩阵的帧内预测模式的一个子集。例如，基于矩阵的帧内预测模式的每个子集可以与特定的块尺寸相关联。例如，只有所选子集的基于矩阵的帧内预测模式包括在帧内预测模式的第一集合中。对于不同的块尺寸，帧内预测模式的第一集合(从中选择用于相应的帧内预测的第一颜色分量块的帧内预测模式)可以不同。因此，解码器/编码器被配置为：基于帧内预测的第一颜色分量块的块尺寸来预先选择可能适合于相应的帧内预测的第一颜色分量块的帧内预测模式。这可以降低解码器/编码器的复杂度和信号通知成本。

根据实施例，与基于矩阵的帧内预测模式的互不相交的子集的集合相关联的预测矩阵是机器学习的，由基于矩阵的帧内预测模式的一个子集包括的预测矩阵具有互等的大小，并且由针对不同块大小选择的基于矩阵的帧内预测模式的两个子集所包括的预测矩阵具有相互不同的大小。每个子集可以将与相同尺寸的预测矩阵相关联的多个基于矩阵的帧内预测模式分组。

根据实施例，基于块的解码器/编码器被配置为使得：与由帧内预测模式的第一集合所包括的基于矩阵的帧内预测模式相关联的预测矩阵具有互等的大小并且是机器学习的。

根据实施例，基于块的解码器/编码器被配置为使得：除了由帧内预测模式的第一集合所包括的基于矩阵的帧内预测模式之外，由帧内预测模式的第一集合所包括的帧内预测模式包括DC模式、平面模式和定向模式。除了基于矩阵的帧内预测模式之外，帧内预测模式的第一集合例如还包括DC模式和/或平面模式和/或定向模式。

根据实施例，基于块的解码器/编码器被配置为从划分方案集合中选择划分方案。划分方案集合包括其他划分方案，根据该其他划分方案，使用数据流中存在/信号通知的第一划分信息针对第一颜色分量对图片进行划分，并且使用数据流中存在/信号通知的与第一划分信息分开的第二划分信息针对第二颜色分量对图片进行划分。因此，划分方案集合例如包括：根据其针对每个颜色分量等同地划分图片的划分方案；以及根据其针对第一颜色分量以不同于针对第二颜色分量的方式对图片进行划分的其他划分方案。

根据实施例，基于块的解码器/编码器被配置为：针对图片的帧内预测的第二颜色分量块中的每一个来选择第一选项和第二选项之一，例如，如上面已经指示的。在第一选项中，基于针对位于同一位置的帧内预测的第一颜色分量块而选择的帧内预测模式，导出用于相应的帧内预测的第二颜色分量块的帧内预测模式，使得在针对位于同一位置的帧内预测的第一颜色分量块而选择的帧内预测模式是基于矩阵的帧内预测模式之一的情况下，用于相应的帧内预测的第二颜色分量块的帧内预测模式等于针对位于同一位置的帧内预测的第一颜色分量块而选择的帧内预测模式。在第二选项中，基于数据流中存在/信号通知的用于相应的帧内预测的第二颜色分量块的帧内模式索引来选择用于相应的帧内预测的第二颜色分量块的帧内预测模式，此外，基于块的解码器/编码器被配置为：使用其他划分方案(即，例如如上所述，针对第一颜色分量以不同于针对第二颜色分量的方式对其他图片进行划分)将多于一个颜色分量具有颜色采样格式的其他图片划分成其他块，其中根据该颜色采样格式对每个颜色分量等同地采样。其他图片的第一颜色分量可以被划分成其他第一颜色分量块，并且其他图片的第二颜色分量可以被划分成其他第二颜色分量块。解码器/编码器例如被配置为：通过针对其他图片的帧内预测的其他第一颜色分量块中的每一个选择帧内预测模式的第一集合中的一个帧内预测模式，来以其他块为单位解码/编码其他图片的第一颜色分量。另外，解码器/编码器可以被配置为：针对其他图片的帧内预测的其他第二颜色分量块中的每一个来选择第一选项和第二选项之一。在第一选项中，基于针对位于同一位置的其他第一颜色分量块而选择的帧内预测模式，导出用于相应的帧内预测的其他第二颜色分量块的帧内预测模式，使得在针对位于同一位置的其他第一颜色分量块而选择的帧内预测模式是基于矩阵的帧内预测模式之一的情况下，用于相应的帧内预测的其他第二颜色分量块的帧内预测模式等于平面帧内预测模式。在第二选项中，基于数据流中存在/信号通知的用于相应的帧内预测的其他第二颜色分量块的帧内模式索引来选择用于相应的帧内预测的其他第二颜色分量块的帧内预测模式。如上面已经概述的，第一选项例如指示用于帧内预测的第二颜色分量块的预测模式是直接从位于同一位置的帧内预测的第一颜色分量块的预测模式导出的。这种推导可以取决于针对该图片选择的划分方案。因此，与其他图片相比，针对该图片，第一选项的实现可以不同，因为该图片是使用针对每个颜色分量等同地划分该图片的划分方案来进行划分的，而其他图片是使用其他划分方案进行划分的，根据该其他划分方案，使用数据流中存在/信号通知的第一划分信息针对第一颜色分量对图片进行划分，并且使用数据流中存在/信号通知的与第一划分信息分开的第二划分信息针对第二颜色分量对图片进行划分。

根据实施例，基于块的解码器/编码器被配置为：针对图片的帧内预测的第二颜色分量块中的每一个来选择第一选项和第二选项之一，例如，如上面已经指示的。在第一选项中，基于针对位于同一位置的帧内预测的第一颜色分量块而选择的帧内预测模式，导出用于相应的帧内预测的第二颜色分量块的帧内预测模式，使得在针对位于同一位置的帧内预测的第一颜色分量块而选择的帧内预测模式是基于矩阵的帧内预测模式之一的情况下，用于相应的帧内预测的第二颜色分量块的帧内预测模式等于针对位于同一位置的帧内预测的第一颜色分量块而选择的帧内预测模式。在第二选项中，基于数据流中存在/信号通知的用于相应的帧内预测的第二颜色分量块的帧内模式索引来选择用于相应的帧内预测的第二颜色分量块的帧内预测模式，此外，基于块的解码器/编码器被配置为：对多于一个颜色分量并具有不同颜色采样格式的又其他图片进行划分，其中根据该不同颜色采样格式对多于一个颜色分量不同地采样，并且通过针对又其他图片的帧内预测的又其他第一颜色分量块中的每一个选择帧内预测模式的第一集合中的一个帧内预测模式，来以又其他块为单位解码/编码又其他图片的第一颜色分量。基于块的解码器/编码器可以被配置为：针对又其他图片的帧内预测的又其他第二颜色分量块中的每一个来选择第一选项和第二选项之一。在第一选项中，基于针对位于同一位置的又其他第一颜色分量块而选择的帧内预测模式，导出用于相应的帧内预测的又其他第二颜色分量块的帧内预测模式，使得在针对位于同一位置的又其他第一颜色分量块而选择的帧内预测模式是基于矩阵的帧内预测模式之一的情况下，用于相应的帧内预测的又其他第二颜色分量块的帧内预测模式等于平面帧内预测模式的方式。在第二选项中，基于数据流中存在/信号通知的用于相应的帧内预测的又其他第二颜色分量块的帧内模式索引，来选择用于相应的帧内预测的又其他第二颜色分量块的帧内预测模式。如上面已经概述的，第一选项例如指示用于帧内预测的第二颜色分量块的预测模式是直接从位于同一位置的帧内预测的第一颜色分量块的预测模式导出的。这种推导可以取决于图片的颜色采样格式。因此，与其他图片相比，对于该图片，第一选项的实现可以不同，因为该图片具有根据其对每个颜色分量等同地采样的颜色采样格式，而其他图片具有根据其对多于一个的颜色分量不同地采样的不同颜色采样格式。

根据实施例，基于块的解码器/编码器被配置为：从划分方案集合中选择划分方案，划分方案集合包括其他划分方案，根据其他划分方案，使用数据流中的第一划分信息针对第一颜色分量对图片进行划分，并且使用数据流中存在/信号通知的与第一划分信息分开的第二划分信息针对第二颜色分量对图片进行划分。基于块的解码器/编码器被配置为：使用该划分方案或其他划分方案对多于一个颜色分量的又其他图片进行划分。

根据实施例，基于块的解码器/编码器被配置为：如果数据流中将残差编码颜色变换模式信号通知为针对相应的帧内预测的第二颜色分量块是去激活的，则取决于数据流中存在/信号通知的用于相应的帧内预测的第二颜色分量块的信号通知，从第一选项和第二选项中执行选择；并且如果数据流中将残差编码颜色变换模式信号通知为针对相应的帧内预测的第二颜色分量块是激活的，则通过推断要选择第一选项，从第一选项和第二选项中执行选择。

实施例涉及用于基于块的解码/编码的方法，该方法包括使用划分方案将多于一个颜色分量并具有颜色采样格式的图片划分成块，其中根据该颜色采样格式对每个颜色分量等同地采样，根据该划分方案针对每个颜色分量等同地划分图片。此外，该方法包括：通过针对图片的帧内预测的第一颜色分量块中的每一个选择帧内预测模式的第一集合中的一个帧内预测模式，来以块为单位解码/编码图片的第一颜色分量，第一集合包括基于矩阵的帧内预测模式，其中根据每个帧内预测模式，通过以下方式来预测块内部：导出与块内部相邻的参考样本中的样本值向量，计算样本值向量和与相应的基于矩阵的帧内预测模式相关联的预测矩阵之间的矩阵-向量乘积以便获得预测向量，以及基于预测向量来预测块内部中的样本。另外，该方法包括：通过使用针对位于同一位置的帧内预测的第一颜色分量块而选择的基于矩阵的帧内预测模式对图片的预定第二颜色分量块进行帧内预测，来以块为单位解码/编码图片的第二颜色分量。

上述方法基于与上述编码器/解码器相同的考虑因素。这样，该方法可以用关于编码器和/或解码器也描述了的所有特征和功能来完成。

实施例涉及具有使用本文描述的用于编码的方法编码到其中的图片或视频的数据流。

实施例涉及具有程序代码的计算机程序，该程序代码用于在计算机上运行时执行本文描述的方法。

附图说明

附图不一定按照比例绘制，而是重点通常在于示出本发明的原理。在以下描述中，参考以下附图描述本发明的各种实施例，其中：

图1示出了编码到数据流中的实施例；

图2示出了编码器的实施例；

图3示出了图片的重构的实施例；

图4示出了解码器的实施例；

图5示出了根据实施例的用于编码和/或解码的块的预测的示意图；

图6示出了根据实施例的用于编码和/或解码的块预测的矩阵运算；

图7.1示出了根据实施例的具有缩减样本值向量的块预测；

图7.2示出了根据实施例的使用样本插值的块预测；

图7.3示出了根据实施例的具有缩减样本值向量的块预测，其中仅对一些边界样本进行平均；

图7.4示出了根据实施例的具有缩减样本值向量的块预测，其中对四个边界样本的分组进行平均；

图8示出了根据实施例的由装置执行的矩阵运算；

图9a至图9c示出了根据实施例的由装置执行的详细矩阵运算；

图10示出了根据实施例的使用偏移和缩放参数的由装置执行的详细矩阵运算；

图11示出了根据不同实施例的使用偏移和缩放参数的由装置执行的详细矩阵运算；

图12示出了图片的预定第二颜色分量块的预测的实施例；以及

图13示出了图片的预定第二颜色分量块的不同预测的实施例。

具体实施方式

即使附图标记出现在不同的图中，在以下描述中，通过相同或等同附图标记来表示相同或等同元件或者具有相同或等同功能的元件。

在以下描述中，阐述了多个细节以提供对本发明的实施例的更透彻的解释。然而，本领域技术人员将清楚的是，可以在没有这些具体细节的情况下实践本发明的实施例。在其他实例中，以框图形式而不是具体地示出了公知的结构和设备，以避免对本发明的实施例造成混淆。此外，除非另外具体指示，否则下文所述的不同实施例的特征可以彼此组合。

1引言

接下来，将描述不同的发明示例、实施例和方面。这些示例、实施例和方面中的至少一些尤其涉及用于视频编码和/或执行基于块的预测的方法和/或装置，例如使用相邻样本缩减的线性变换或仿射变换，和/或用于优化视频传送(例如，广播、流传输、文件回放等)，例如针对视频应用和/或虚拟现实应用。

此外，示例、实施例和方面可以涉及高效视频编码(HEVC)或后继者。此外，其他实施例、示例和方面将由所附权利要求限定。

应当注意，由权利要求限定的任何实施例、示例和方面可以由以下章节中描述的任何细节(特征和功能)来补充。

此外，以下章节中描述的实施例、示例和方面可以单独使用，并且也可以由另一章节中的任何特征或者权利要求中包括的任何特征来补充。

此外，应当注意，本文描述的个体、示例、实施例和方面可以单独使用或组合使用。因此，可以将细节添加到所述单独方面中的每一个方面，而无需向所述示例、实施例和方面中的另一个添加细节。

还应当注意，本公开明确地或隐含地描述了解码和/或编码系统和/或方法的特征。

此外，本文公开的与方法相关的特征和功能也可以用于装置。此外，本文公开的关于装置的任何特征和功能也可以用于对应的方法。换言之，本文公开的方法可以由关于装置描述的任何特征和功能来补充。

此外，如将在“实施备选方案”部分中描述的，本文描述的任何特征和功能可以以硬件或软件、或使用硬件和软件的组合来实现。

此外，在一些示例、实施例或方面中，括号(“(…)”或“[…]”)中描述的任何特征可以被认为是可选的。

2编码器、解码器

在下文中，描述了在使用基于块的预测时可以帮助实现更有效的压缩的各种示例。一些示例通过使用帧内预测模式的集合来实现高压缩效率。后者可以被添加到例如启发式设计的其他帧内预测模式，或者可以排他地提供。并且还有其他示例使用刚刚讨论的两种特点。然而，作为这些实施例的变体，可以通过使用另一图片中的参考样本来将帧内预测转变为帧间预测。

为了便于理解本申请的以下示例，描述开始于可能的编码器和解码器所适合的展示，本申请的后续概述的示例可以构建到其中。图1示出了用于将图片10逐块编码到数据流12的装置。该装置使用附图标记14来指示，并且可以是静止图片编码器或视频编码器。换言之，当编码器14被配置为将包括图片10的视频16编码到数据流12中，或者编码器14可以排他地将图片10编码到数据流12中时，图片10可以是视频16中的当前图片。

如上所述，编码器14以逐块方式或基于块的方式执行编码。为此，编码器14将图片10细分为块，编码器14以块为单位将图片10编码到数据流12中。下面更详细地阐述将图片10细分为块18的可能的细分示例。通常，细分可以最终变为诸如布置成行和列的块的阵列的恒定大小的块18，或者不同块大小的块18，例如通过使用分层多树细分，该多树细分开始于图片10的整个图片区域或开始于将图片10预划分为树块的阵列，其中不应当将这些示例视为排除将图片10细分为块18的其他可能方式。

此外，编码器14是预测编码器，被配置为将图片10预测编码到数据流12中。对于某个块18，这意味着，编码器14确定块18的预测信号并将预测残差(即，预测信号偏离块18内的实际图片内容的预测误差)编码到数据流12中。

编码器14可以支持不同的预测模式，以便针对某个块18导出预测信号。在以下示例中很重要的预测模式是帧内预测模式，根据帧内预测模式，在空间上从图片10的相邻的、已编码的样本预测块18的内部。将图片10编码到数据流12中并且因此对应的解码过程可以基于在块18之间定义的某个编码顺序20。例如，编码顺序20可以按照诸如从上到下逐行并且例如从左到右遍历每一行的光栅扫描顺序来遍历块18。在基于分层多树的细分的情况下，可以在每个层级内应用光栅扫描排序，其中可以应用深度优先遍历顺序，即某个层级的块内的叶节点可以在该相同层级的根据编码顺序20具有相同父块的块之前。取决于编码顺序20，块18的相邻的、已编码的样本通常可以位于块18的一侧或多侧。在本文呈现的示例的情况下，例如，块18的相邻的、已编码的样本位于块18的顶侧和左侧。

帧内预测模式可以不是编码器14支持的唯一模式。在编码器14是视频编码器的情况下，例如，编码器14还可以支持帧间预测模式，根据帧间预测模式，在时间上从视频16的先前编码的图片对块18进行预测。这样的帧间预测模式可以是运动补偿预测模式，根据运动补偿预测模式，针对这样的块18，用信号通知运动向量，其指示如下部分的相对空间偏移：从该部分中将要导出块18的预测信号作为副本。附加地或备选地，其他的非帧内预测模式也可以是可用的，例如在编码器14是多视图编码器的情况下的帧间预测模式，或非预测模式，根据非预测模式，块18的内部按原样进行编码，即没有任何预测。

在开始将本申请的描述集中在帧内预测模式之前，如关于图2所描述的，可能的基于块的编码器的更具体示例(即，编码器14的可能实现)，然后展示解码器的分别适合图1和图2的两个对应示例。

图2示出了图1的编码器14的一种可能的实现，即编码器被配置为使用变换编码来对预测残差进行编码的实现，尽管这几乎是示例并且本申请不限于这种预测残差编码。根据图2，编码器14包括减法器22，该减法器22被配置为从输入信号(即，图片10或基于块的当前块18)中减去对应的预测信号24，以便获得预测残差信号26，其然后由预测残差编码器28编码到数据流12中。预测残差编码器28由有损编码级28a和无损编码级28b组成。有损级28a接收预测残差信号26，并且包括对预测残差信号26的样本进行量化的量化器30。如上面已经描述的，本示例使用预测残差信号26的变换编码，并且因此，有损编码级28a包括连接在减法器22和量化器30之间的变换级32，以便对这样的经频谱分解的预测残差26进行变换，其中量化器30的量化发生在呈现残差信号26的变换后的系数上。该变换可以是DCT、DST、FFT、Hadamard变换等。经变换以及经量化的预测残差信号34然后由无损编码级28b进行无损编码，该无损编码级28b是将经量化的预测残差信号34熵编码到数据流12中的熵编码器。编码器14还包括与量化器30的输出端连接的预测残差信号重构级36，以便以解码器也可用的方式(即，将量化器30中的编码损失考虑在内)从经变换以及经量化的预测残差信号34重构预测残差信号。为此，预测残差重构级36包括执行量化器30的量化的逆操作的去量化器38，随后是逆变换器40，其执行相对于由变换器32执行的变换的逆变换，例如频谱分解的逆操作，例如上述特定变换示例中任一个示例的逆操作。编码器14包括加法器42，其将由逆变换器40输出的重构预测残差信号与预测信号24相加，以输出重构信号，即重构样本。该输出被馈送到编码器14的预测器44中，该预测器44然后基于此确定预测信号24。预测器44支持上面关于图1已经讨论的所有预测模式。图2还示出了在编码器14是视频编码器的情况下，编码器14还可以包括环路滤波器46，其对重构图片进行完全滤波，这些图片在已经被滤波之后针对帧间预测块形成预测器44的参考图片。

如上面已经描述的，编码器14基于块进行操作。对于后续的描述，感兴趣的块基础是将图片10细分为块的基础，针对该块，分别从由预测器44或编码器14支持的一组或多个帧内预测模式中选择帧内预测模式，并且所选帧内预测模式单独执行。然而，也可能存在图片10被细分成的其他种类的块。例如，图片10是帧间编码还是帧内编码的上述决定可以以与块18偏离的块的粒度或单位进行。例如，帧间/帧内模式决定可以在图片10被细分成的编码块的级别上执行，并且每个编码块被细分为预测块。在已经决定使用帧内预测的编码块的情况下预测块各自被细分为帧内预测模式决定。为此，对于这些预测块中的每一个，决定哪种支持的帧内预测模式应该用于相应的预测块。这些预测块将形成这里感兴趣的块18。与帧间预测相关联的编码块内的预测块将被预测器44区别对待。它们将通过确定运动向量并从由运动向量指向的参考图片中的位置复制该块的预测信号，来从参考图片进行帧间预测。另一种块细分涉及细分为变换块，以该变换块为单位执行变换器32和逆变换器40的变换。变换块可以例如是进一步细分编码块的结果。当然，本文阐述的示例不应被视为限制性的并且也存在其他示例。仅出于完整性的考虑，需要注意的是，细分为编码块可以例如使用多树细分，并且也可以通过使用多树细分进一步细分编码块来获得预测块和/或变换块。

图3中描绘了适合图1的编码器14的用于逐块解码的解码器54或装置。该解码器54与编码器14行为相反，即它以逐块方式从数据流12对图片10进行解码并且为此支持多种帧内预测模式。例如，解码器54可以包括残差提供器156。上面关于图1讨论的所有其他可能性对于解码器54也有效。为此，解码器54可以是静止图片解码器或视频解码器，并且解码器54也支持所有预测模式和预测可能性。编码器14和解码器54之间的差异主要在于编码器14根据一些优化来选择或挑选编码决策，该优化例如，为了最小化可以取决于编码率和/或编码失真的一些成本函数。这些编码选项或编码参数之一可以涉及在可用或支持的帧内预测模式中选择要用于当前块18的帧内预测模式。所选帧内预测模式然后可以由编码器14在数据流12内针对当前块18用信号通知，解码器54针对块18使用数据流12中的该信号通知来重做选择。同样，将图片10细分为块18可以在编码器14内进行优化，并且对应的细分信息可以在数据流12内传送，解码器54基于该细分信息将图片10细分为块18。综上所述，解码器54可以是基于块操作的预测解码器，并且除了帧内预测模式之外，解码器54可以支持其他预测模式，例如在解码器54例如是视频解码器的情况下的帧间预测模式。在解码中，解码器54还可以使用关于图1讨论的编码顺序20，并且由于在编码器14和解码器54处均遵守该编码顺序20，因此相同的相邻样本在编码器14和解码器54两者处可用于当前块18。因此，为了避免不必要的重复，就图片10细分为块而言，例如就预测而言，以及就预测残差的编码而言，编码器14的操作模式的描述也应适用于解码器54。不同之处在于编码器14通过优化选择一些编码选项或编码参数，并将编码参数在数据流12中用信号通知或将编码参数插入到数据流12中，然后由解码器54从数据流12中导出编码参数，以便重新进行预测、细分等。

图4示出了图3的解码器54的一种可能的实现，即适合于图1的编码器14的实现，如图2所示。由于图4的编码器54的许多元件与图2的对应编码器中出现的元件相同，因此在图4中使用带有撇号的相同附图标记以指示这些元件。具体地，加法器42’、可选的环路滤波器46’和预测器44’以与它们在图2的编码器中相同的方式连接到预测回路中。应用到加法器42’的重构的(即，去量化的和重新变换的)预测残差信号由熵解码器56和随后的残差信号重构级36’的序列导出，熵解码器56对熵编码器28b的熵编码进行逆操作，残差信号重构级36’由去量化器38’和逆变换器40’组成’，正如编码侧的情况一样。解码器的输出是图10的重构。图片10的重构可以加法器42’的输出端或备选地在环路滤波器46’的输出端直接可用。可以在解码器的输出端布置一些后置滤波器，以便对图片10的重构进行一定后置滤波，以提高图片质量，但是图4中未描述这种选项。

再次，关于图4，除了仅编码器执行优化任务和关于编码选项的相关决定之外，以上关于图2提出的描述也应对于图4有效。然而，所有关于块细分、预测、去量化和重新变换的描述对于图4的解码器54也有效。

3 ALWIP(仿射线性加权帧内预测器)

本文讨论了一些关于ALWIP的非限制性示例，尽管ALWIP并不总是需要体现这里讨论的技术。

本申请尤其涉及用于诸如在诸如HEVC或HEVC的任何后继者的视频编解码器中可使用的逐块图片编码的改进的基于块的预测模式构思。预测模式可以是帧内预测模式，但理论上本文描述的构思也可以转移到帧间预测模式上，其中参考样本是另一图片的一部分。

寻求一种允许高效实现(例如硬件友好的实现)的基于块的预测构思。

该目的通过本申请的独立权利要求的主题来实现。

帧内预测模式广泛用于图片编码和视频编码。在视频编码中，帧内预测模式与其他预测模式竞争，例如帧间预测模式，如运动补偿预测模式。在帧内预测模式中，基于相邻样本来预测当前块，该相邻样本就编码器侧而言是已经编码的样本、以及就解码器侧而言是已经解码的样本。相邻样本值被外推到当前块中以形成当前块的预测信号，其中预测残差在针对当前块的数据流中传输。预测信号越好，预测残差就越低，并且因此，编码预测残差所需的比特数越少。

为了是有效的，应该考虑若干方面以便在逐块图片编码环境中形成用于帧内预测的有效构架。例如，编解码器支持的帧内预测模式的数量越多，辅助信息率消耗就越大，以便将该选择用信号通知给解码器。另一方面，支持的帧内预测模式的集合应该能够提供良好的预测信号，即导致低预测残差的预测信号。

在下文中，作为比较实施例或基础示例，公开了一种用于从数据流逐块对图片进行解码的装置(编码器或解码器)，该装置支持至少一种帧内预测模式，根据该帧内预测模式，通过将与当前块相邻的样本的第一模板应用到仿射线性预测器上来确定图片的预定大小的块的预测信号，在后续中，该仿射线性预测器将被称为仿射线性加权帧内预测器(ALWIP)。

该装置可以具有以下属性中的至少一种(同样可以适用于一种方法或另一种技术，例如在存储指令的非暂时性存储单元中实现的，该指令当由处理器执行时，使处理器实现该方法和/或用作该装置)：

3.1预测器可以与其他预测器互补

可以形成下面进一步描述的实现上改进的主题的帧内预测模式可以与编解码器的其他帧内预测模式互补。因此，它们可以与在HEVC编解码器(相应的JEM参考软件)中定义的DC预测模式、平面预测模式或角度预测模式互补。帧内预测模式的后三种帧内预测模式后续应被称为传统帧内预测模式。因此，对于帧内模式的给定块，标志需要由解码器来解析，该标志指示是否要使用装置所支持的帧内预测模式之一。

3.2多于一种的所提出的预测模式

该装置可以包含多于一种的ALWIP模式。因此，在解码器知道要使用的该装置支持的ALWIP模式之一的情况下，解码器需要解析指示了要使用装置所支持的ALWIP模式中的哪一种ALWIP模式的附加信息。

所支持模式的信号通知可以具有以下特性：一些ALWIP模式的编码可能需要比其他ALWIP模式更少的二进制数据。这些模式中的哪些模式需要更少的二进制数据以及哪些模式需要更多的二进制数据，要么可以取决于能够从已经解码的比特流中提取的信息，要么可以是预先固定的。

4一些方面

图2示出了用于从数据流12对图片进行解码的解码器54。解码器54可以被配置为对图片的预定块18进行解码。具体地，预测器44可以被配置用于使用线性变换或仿射线性变换[例如，ALWIP]将与预定块18相邻的P个相邻样本的集合映射到针对预定块的样本的Q个预测值的集合上。

如图5所示，预定块18包括要预测的Q个值(在操作结束时将是“预测值”)。如果块18具有M行和N列，则Q＝M·N。块18的Q值可以在空间域中(例如，像素)或在变换域中(例如，DCT、离散小波变换等)。块18的Q个值可以基于取自通常与块18相邻的相邻块17a至相邻块17c的P个值来预测。相邻块17a至相邻块17c的P个值可以在与块18最接近的位置(例如，相邻)。相邻块17a至相邻块17c的P个值已被处理并被预测。P个值被指示为部分17’a至部分17’c中的值，以将它们与它们所属的块进行区分(在某些示例中，未使用17’b)。

如图6所示，为了执行预测，有可能使用以下各项来进行操作：具有P个条目(每个条目与相邻部分17’a至相邻部分17’c中的特定位置相关联)的第一向量17P，具有Q个条目(每个条目与块18中的特定位置相关联)的第二向量18Q，以及映射矩阵17M(每行与块18中的特定位置相关联，每列与相邻部分17’a至相邻部分17’c中的特定位置相关联)。映射矩阵17M因此根据预定模式将相邻部分17’a至相邻部分17’c的P个值预测为块18的值。映射矩阵17M中的条目可以因此被理解为加权因子。在以下段落中，我们要使用标记17a至标记17c而不是标记17’a至标记17’c来指代边界的相邻部分。

在本领域中已知有若干传统模式，例如DC模式、平面模式和65种定向预测模式。可能已知例如67种模式。

然而，已经注意到，也可以使用不同的模式，在这里被称为线性变换或仿射线性变换。线性变换或仿射线性变换包括P·Q个权重因子，其中至少1/4P·Q个加权因子为非零权重值，对于Q个预测值中的每一个预测值，该非零权重值包括与各预测值相关的一系列的P个加权因子。该系列当在预定块的样本中根据光栅扫描顺序一个在另一个之下布置时，形成全向非线性的包络。

有可能对以下各项进行映射：相邻值17’a至相邻值17’c(模板)的P个位置、相邻样本17’a至相邻样本17’c的Q个位置，以及在矩阵17M的P*Q个加权因子的值处。平面是用于DC变换的系列的包络的示例(它是用于DC变换的平面)。包络显然是平面的，并且因此被线性变换或仿射线性变换(ALWIP)的定义所排除。另一示例是产生角度模式的模拟的矩阵：包络将被排除在ALWIP定义之外，并且坦率地说，该包络看起来像沿着P/Q平面中的方向从上到下倾斜的山丘。平面模式和65个定向预测模式将具有不同的包络，然而其将在至少一个方向(即，例如针对示例性的DC是所有方向、以及针对角度模式是山丘方向)上是线性的。

相反，线性变换或仿射变换的包络将不是全向线性的。已经理解，在一些情况下，这种类型的变换对于执行块18的预测可以是最佳的。已经注意到，优选地，至少1/4的加权因子不同于零(即，至少25％的P*Q个加权因子不同于0)。

根据任何正则映射规则，加权因子可以彼此不相关。因此，矩阵17M可以使得其条目的值不具有明显可识别的关系。例如，加权因子不能由任何分析或差分函数来描述。

在示例中，ALWIP变换使得：与相应预测值相关的第一系列的加权因子与除了该相应预测值之外的预测值所相关的第二系列的加权因子(或后一系列的反向版本，无论何者，只要导致更高的最大值)之间的互相关的最大值的平均值，可以低于预定阈值(例如，0.2或0.3或0.35或0.1，例如，0.05与0.035之间的范围内的阈值)。例如，对于ALWIP矩阵17M的每一对行(i₁、i₂)，可以通过将第i₁行的P个值与第i₂行的P个值相乘来计算互相关。对于每个获得的互相关，可以获得最大值。因此，可以获得整个矩阵17M的均值(平均值)(即，对所有组合中的互相关的最大值进行平均)。之后，阈值可以是例如0.2或0.3或0.35或0.1，例如在0.05与0.035之间的范围内的阈值。

块17a至块17c的P个相邻样本可以沿着一维路径定位，该一维路径沿着预定块18的边界(例如，18c、18a)延伸。对于预定块18的Q个预测值中的每一个，与相应预测值相关的P个加权因子的系列可以按照沿预定方向(例如，从左到右、从上到下等)遍历一维路径的方式进行排序。

在示例中，ALWIP矩阵17M可以是非对角的或非块对角的。

用于从4个已经预测的相邻样本来对4x4块18进行预测的ALWIP矩阵17M的示例可以是：

{

{37，59，77，28}，

{32，92，85，25}，

{31，69，100，24}，

{33，36，106，29}，

{24，49，104，48}，

{24，21，94，59}，

{29，0，80，72}，

{35，2，66，84}，

{32，13，35，99}，

{39，11，34，103}，

{45，21，34，106}，

{51，24，40，105}，

{50，28，43，101}，

{56，32，49，101}，

{61，31，53，102}，

{61，32，54，100}

}。

(这里，{37，59，77，28}是第一行；{32，92，85，25}是第二行；以及{61，32，54，100}是矩阵17M的第16行。)矩阵17M具有16x4的尺寸，并且包括64个加权因子(作为16*4＝64的结果)。这是因为矩阵17M具有尺寸QxP，其中Q＝M*N，即要预测的块18(块18是4x4的块)的样本的数量，以及P是已预测样本的样本数量。这里，M＝4，N＝4，Q＝16(作为M*N＝4*4＝16的结果)，P＝4。矩阵是非对角的和非块对角的，并且没有由特定规则描述。

可以看出，少于1/4的加权因子是0(在上面所示的矩阵的情况下，64个加权因子中有一个是0)。当这些值根据光栅扫描顺序布置为一个在另一个下方时，由这些值形成的包络形成全向非线性的包络。

即使上面的说明主要参考解码器(例如，解码器54)进行讨论，也可以在编码器(例如，编码器14)处执行相同的操作。

在一些示例中，针对每个块尺寸(在块尺寸的集合中)，用于相应块尺寸的帧内预测模式的第二集合内的帧内预测模式的ALWIP变换是相互不同的。另外地或备选地，用于块尺寸的集合中的块尺寸的帧内预测模式的第二集合的基数可以重合，但是用于不同块尺寸的帧内预测模式的第二集合内的帧内预测模式的相关联的线性变换或仿射线性变换可能无法通过缩放彼此转换的。

在一些示例中，ALWIP变换可以以下面的方式来定义：它们与传统变换“无任何共享”(例如，ALWIP变换可以与对应的传统变换“无任何”共享，即使它们已经经由上面的映射之一被映射)。

在示例中，ALWIP模式用于亮度分量和色度分量两者，但在其他示例中，ALWIP模式用于亮度分量但不用于色度分量。

5具有编码器加速的仿射线性加权帧内预测模式(例如，测试CE3-1.2.1)

5.1方法或装置的描述

在CE3-1.2.1中测试的仿射线性加权帧内预测(ALWIP)模式除了以下变化之外可以与在测试CE3-2.2.2下在JVET-L0199中所提出的相同：

·与多参考线(MRL)帧内预测的协调，尤其是编码器估计和信令，即MRL不与ALWIP结合，并且MRL索引的传输仅限于非ALWIP块。

·子采样现在对所有W×H≥32×32的块是强制性的(之前对于32×32是可选的)；因此，在编码器处以及发送子采样标志的附加测试已经被移除。

·64×N和N×64的块(N≤32)的ALWIP已经通过分别下采样到32×N和N×32并应用对应的ALWIP模式来添加。

此外，测试CE3-1.2.1包括以下针对ALWIP的编码器优化：

·组合模式估计：传统模式和ALWIP模式使用共享的Hadamard候选列表以进行完整的RD估计，即基于Hadamard成本将ALWIP模式候选添加到与传统(和MRL)模式候选相同的列表中。

·对于组合模式列表支持EMT帧内快速和PB帧内快速，具有附加优化以减少完整RD检查的数量。

·按照与传统模式相同的方法，仅将可用的左侧和上方块的MPM添加到该列表中以进行针对ALWIP的完整RD估计。

5.2复杂度评估

在测试CE3-1.2.1中，排除调用离散余弦变换的计算，每个样本最多需要12次乘法来产生预测信号。此外，总共需要136492个参数，每个参数为16比特。这对应于0.273兆字节的内存。

5.3实验结果

根据共同测试条件JVET-J1010 0对测试进行评估，对于仅帧内(AI)和随机访问(RA)配置，具有VTM软件版本3.0.1。在具有Linux OS和GCC 7.2.1编译器的Intel Xeon集群(E5-2697Av4，AVX2开启，英特尔睿频加速技术(turbo boost)关闭)上进行对应的模拟。

表1 VTM AI配置的CE3-1.2.1的结果

表2 VTM RA配置的CE3-1.2.1的结果

5.4复杂度降低的仿射线性加权帧内预测(例如，测试CE3-1.2.2)

CE2中所测试的技术与JVET-L0199[1]中描述的“仿射线性帧内预测”相关，但在内存要求和计算复杂度方面对其进行了简化：

·可能只有三组不同的预测矩阵(例如，S₀、S₁、S₂，参见下文)和偏置向量(例如，用于提供偏移值)覆盖所有块形状。因此，参数的数量减少到14400个10比特值，这比128×128CTU中存储的内存要少。

·预测器的输入尺寸和输出尺寸进一步减小。此外，代替经由DCT对边界进行变换，可以对边界样本执行平均或下采样，并且预测信号的产生可以使用线性插值来代替逆DCT。因此，需要每个样本最多四次乘法来产生预测信号。

6.示例

这里讨论了如何用ALWIP预测来执行一些预测(例如，如图6所示)。

原则上，参考图6，为了获得要预测的MxN块18的Q＝M*N个值，应执行将QxPALWIP预测矩阵17M的Q*P个样本乘以Px1相邻向量17P的P个样本。因此，通常，为了获得要预测的MxN块18的Q＝M*N个值中的每一个值，至少需要P＝M+N个值乘法。

这些乘法产生非常不利的影响。边界向量17P的维度P通常取决于与要预测的M×N块18相邻(例如，邻近)的边界样本(二进制数据或像素)17a、17c的数量M+N。这意味着，如果要预测的块18的尺寸较大，则边界像素(17a、17c)的数量M+N相应地较大，因此增加了Px1边界向量17P的维度P＝M+N、以及QxPALWIP预测矩阵17M的每一行的长度，并且因此，还增加了必要的乘法的次数(一般而言，Q＝M*N＝W*H，其中W(宽度)是N的另一符号，H(高度)是M的另一个符号；在边界向量仅由一行样本和/或一列样本组成的情况下，P为P＝M+N＝H+W)。

通常以下事实会加剧这个问题：在基于微处理器的系统(或其他数字处理系统)中，乘法通常是耗电的运算。可以想象，对大量块的极大量样本进行大量乘法会导致计算功率的浪费，这通常是不希望的。

因此，优先地减少对MxN块18进行预测所需的乘法次数Q*P。

已经理解，通过智能地选择替代乘法并且更容易处理的运算，有可能以某种方式减少要预测的每个块18的每个帧内预测所需的计算功率。

具体地，参考图7.1至图7.4，已经理解，编码器或解码器可以使用多个相邻样本(例如17a、17c)通过以下操作来对图片的预定块(例如，18)进行预测：

缩减(例如，在步骤811)(例如，通过进行平均或下采样)多个相邻样本(例如，17a、17c)以获得在样本数量上与多个相邻样本相比更低的缩减样本值集合，

对缩减样本值集合进行(例如，在步骤812)线性变换或仿射线性变换，以获得预定块的预定样本的预测值。

在一些情况下，解码器或编码器也可以基于预定样本的预测值和多个相邻样本的预测值例如通过插值来导出预定块的其他样本的预测值。因此，可以获得上采样策略。

在示例中，有可能对边界17的样本执行(例如，在步骤811)一些平均化，以便获得样本数量缩减(在缩减数量的样本102的样本中的至少一个可以是原始边界样本的两个样本的平均值，或者选自原始边界样本)的缩减样本集合102(图7.1至图7.4)。例如，如果原始边界具有P＝M+N个样本，则缩减样本集合可以具有P_red＝M_red+N_red个样本，其中M_red＜M以及N_red＜N中的至少一者满足，使得P_red＜P。因此，实际用于预测(例如，在步骤812b)的边界向量17P将不具有Px1个条目，而是具有P_redx1个条目，其中P_red＜P。类似地，针对预测选择的ALWIP预测矩阵17M将不具有QxP尺寸，而是具有矩阵的元素数量缩减的QxP_red(或Q_redxP_red，见下文)尺寸，至少因为P_red＜P(借助于M_red＜M和N_red＜N中的至少一者)。

在一些示例中(例如，图7.2、图7.3)，如果通过ALWIP(在步骤812)获得的块是具有尺寸为M′_red×N′_red的块，其中M′_red＜M和/或N′_red＜N(即，通过ALWIP直接预测的样本在数量上少于要实际预测的块18的样本)。因此，设置Q_red＝M′_red*N′_red，这将通过使用Q_red*P_red次乘法而不是Q*P_red次乘法(其中，Q_red*P_red＜Q*P_red＜Q*P)来获得ALWIP预测。该乘法将对缩减块进行预测，其尺寸为M′_red×N′_red。尽管如此，将有可能执行(例如，在后续的步骤813)从缩减M′_red×N′_red预测块到最终MxN预测块的上采样(例如，通过插值而获得)。

虽然矩阵乘法涉及缩减的乘法次数(Q_red*P_red或Q*P_red)，但初始缩减(例如，平均化或下采样)和最终变换(例如，插值)都可以通过减少(甚至避免)乘法来执行，因此这些技术可以是有利的。例如，可以通过采用诸如加法和移位的计算上功率要求低的二进制运算来执行(例如，在步骤811和/或813)下采样、平均和/或插值。

此外，加法是非常容易的无需大量计算工作即可容易地执行的运算。

移位运算可以用于例如对两个边界样本进行平均和/或用于对缩减预测块(或取自边界)的两个样本(支持值)进行插值，以获得最终预测块。(对于插值，需要两个样本值。在块内，我们总是具有两个预定值，但是为了沿块的左侧边界和上边界对样本进行插值，我们仅具有一个预定值，如图7.2所示，因此我们使用边界样本作为插值的支持值。)

可以使用两步过程，例如：

首先对两个样本的值求和；

然后将和的值减半(例如，通过右移)。

备选地，有可能：

将样本中的每一个减半(例如，通过左移)；

然后对两个减半的样本的值求和。

当下进行采样(例如，在步骤811)时，由于仅需要从一组样本(例如，彼此相邻的样本)中选择一个样本，因此可以执行更容易的运算。

因此，现在可以定义用于减少要执行的乘法的次数的技术。这些技术中的一些可以尤其基于以下原则中的至少一项：

即使要实际预测的块18具有尺寸MxN，也可以缩减块(在两个尺寸中的至少一个尺寸上)并且具有缩减尺寸Q_redxP_red的ALWIP矩阵(其中，Q_red＝M′_red*N′_red、P_red＝N_red+M_red，其中M′_red＜M和/或N′_red＜N、和/或M_red＜M和/或N_red＜N)可以被应用。因此，边界向量17P将具有尺寸P_redx1，意味着仅有P_red＜P次乘法(其中，P_red＝M_red+N_red且P＝M+N)。

P_redx1边界向量17P可以容易地从原始边界17获得，例如：

通过下采样(例如，通过仅选择边界的一些样本)；和/或

通过对边界的多个样本进行平均(可以通过加法和移位容易地获得，无需乘法)。

附加地或备选地，代替通过乘法对要预测的块18的所有Q＝M*N个值进行预测，有可能仅预测具有缩减尺寸的缩减块(例如，Q_red＝M′_red*N′_red，其中M′_red＜M和/或N′_red＜N)。要预测的块18的剩余样本将通过插值，例如使用Q_red个样本作为要预测的剩余Q-Q_red个值的支持值，来获得。

根据图7.1所示的示例，要预测的4x4块18(M＝4，N＝4，Q＝M*N＝16)以及样本17a(具有4个已预测样本的竖直行列)和样本17c(具有4个已预测样本的水平行)的邻域17在之前的迭代中已经被预测(邻域17a和邻域17c可以由17共同指示)。先验地，通过使用图5所示的等式，预测矩阵17M应该是QxP＝16x8矩阵(借助于Q＝M*N＝4*4以及P＝M+N＝4+4＝8)，并且边界向量17P应该有8x1尺寸(借助于P＝8)。然而，这将导致需要对要预测的4x4块18的16个样本中的每一个样本执行8次乘法，从而导致总共需要执行16*8＝128次乘法。(注意，每个样本的平均乘法次数是对计算复杂度的良好评估。对于传统的帧内预测，每个样本需要四次乘法，并且这增加了要涉及的计算工作量。因此，有可能将其用作ALWIP的上限，以确保复杂度合理并且不超过传统帧内预测的复杂度。)

尽管如此，已经理解，通过使用本技术，有可能在步骤811将与要预测的块18相邻的样本17a和样本17c的数量从P减少到P_red＜P。具体地，已经理解，有可能对彼此相邻的边界样本(17a、17c)进行平均(例如，在图7.1中的100处)以获得具有两个水平行和两个竖直列的缩减边界102，因此用作块18的块是2x2块(缩减边界由平均值形成)。备选地，有可能执行下采样，因此针对行17c选择两个样本，以及针对列17a选择两个样本。因此，水平行17c，不是具有四个原始样本，而是被处理为具有两个样本(例如，经平均的样本)，而最初具有四个样本的竖直列17a被处理为具有两个样本(例如，经平均的样本)。还可以理解，在将行17c和列17a细分为每个具有两个样本的组110之后，保持一个单样本(例如，组110的样本的平均值或组110的样本之间的简单选择)。因此，借助于仅具有四个样本(M_red＝2、N_red＝2、P_red＝M_red+N_red＝4，其中，P_red＜P)的集合102，获得所谓的缩减样本值集合102。

可以理解，有可能执行操作(例如进行平均或下采样100)而无需在处理器级别执行太多乘法：在步骤811执行的平均或下采样100可以简单地通过诸如加法和移位等直接的且计算上无功耗的运算来获得。

已经理解，在这一点上，有可能(例如，使用诸如图5的矩阵17M的预测矩阵)对缩减样本值102集合进行线性变换或仿射线性(ALWIP)变换19。在这种情况下，ALWIP变换19直接将四个样本102映射到块18的样本值104上。在当前情况下不需要进行插值。

在这种情况下，ALWIP矩阵17M具有尺寸QxP_red＝16x4，这遵循以下事实：要预测的块18的所有Q＝16个样本都通过ALWIP乘法直接获得(不需要插值)。

因此，在步骤812a，选择具有尺寸QxP_red的合适ALWIP矩阵17M。该选择可以至少部分地基于例如来自数据流12的信令。所选ALWIP矩阵17M也可以用A_k指示，其中k可以理解为索引，它可以在数据流12中用信号通知(在一些情况下，矩阵还被指示为

参见下文)。可以根据以下方案执行选择：对于每个尺寸(例如，要预测的块18的高度/宽度对)，从例如三个矩阵集合S₀、S₁、S₂(三个集合S₀、S₁、S₂中的每一个可以对相同尺寸的多个ALWIP矩阵17M进行分组，并且针对预测要选择的ALWIP矩阵将是其中之一)之一中选择ALWIP矩阵17M。

在步骤812b，执行所选QxP_red ALWIP矩阵17M(也被指示为A_k)与P_redx1边界向量17P之间的乘法。

在步骤812c，可以将偏移值(例如，b_k)添加到例如通过ALWIP获得的向量18Q的所有获得值104。偏移值(b_k或在一些情况下也用

指示，参见下文)可以与特定选择的ALWIP矩阵(A_k)相关联，并且可以基于索引(例如，其可以在数据流12中用信号通知)。

因此，这里再次给出本技术与不使用本技术之间的比较：

在不使用本技术的情况下：

要预测的块18，该块具有尺寸M＝4，N＝4；

Q＝M*N＝4*4＝16个要预测的值；

P＝M+N＝4+4＝8个边界样本

对于要预测的Q＝16个值中的每一个，P＝8次乘法，

总共P*Q＝8*16＝128次乘法；

在使用本技术的情况下，我们有：

要预测的块18，该块具有尺寸M＝4，N＝4；

最终要预测Q＝M*N＝4*4＝16个值；

边界向量的缩减尺寸：P_red＝M_red+N_red＝2+2＝4；

对于要通过ALWIP预测的Q＝16个值中的每一个，P_red＝4次乘法，

总共P_red*Q＝4*16＝64次乘法(128的一半！)

乘法的次数与要获得的最终值的数量之间的比率，并且为Pred*Q/Q＝4，即要预测的每个样本的P＝8次乘法的一半！

可以理解，通过依赖于诸如进行平均(以及在该情况下，相加和/或移位和/或下采样)的直接且计算上不要求功率的操作，有可能在步骤812获得适当的值。

参考图7.2，这里要预测的块18是64个样本的8x8块(M＝8，N＝8)。这里，先验地，预测矩阵17M应该具有尺寸QxP＝64x16(Q＝64，借助于Q＝M*N＝8*8＝64，M＝8且N＝8，并且借助于P＝M+N＝8+8＝16)。因此，先验地，对于要预测的8x8块18的Q＝64个样本中的每一个，将需要P＝16次乘法，达到整个8x8块18的64*16＝1024次乘法！

然而，如图7.2所见，可以提供一种方法820，根据该方法，不是使用边界的所有16个样本，而是仅使用8个值(例如，边界的原始样本之间的水平边界行17c中的4个值和竖直边界列17a中的4个值)。从边界行17c，可以使用4个样本而不是8个样本(例如，它们可以是每两个的平均值和/或从两个样本中选择的一个样本)。因此，边界向量不是Px1＝16x1向量，而仅是P_redx1＝8x1向量(P_red＝M_red+N_red＝4+4)。已经理解，有可能对水平行17c的样本和竖直列17a的样本进行选择或平均(例如，每两个)以仅具有P_red＝8个边界值，而不是具有原始的P＝16个样本，从而形成缩减样本值集合102。该缩减集合102将允许获得块18的缩减版本，该缩减版本具有Q_red＝M_red*N_red＝4*4＝16个样本(而不是Q＝M*N＝8*8＝64个)。有可能应用ALWIP矩阵来预测具有尺寸M_redxN_red＝4x4的块。块18的缩减版本包括在图7.2中的方案106中用灰色指示的样本：用灰色方块指示的样本(包括样本118’和样本118”)形成一个4x4的缩减块，其具有在进行812的步骤中获得的Q_red＝16个值。该4x4缩减块通过在进行812的步骤中应用线性变换19已经获得。在获得4x4缩减块的值之后，有可能例如通过插值获得剩余样本(在方案106中用白色样本指示的样本)的值。

相对于图7.1的方法810，该方法820可以另外包括步骤813：例如通过插值导出要预测的MxN＝8x8块18的剩余Q-Q_red＝64-16＝48个样本(白色方块)的预测值。剩余的Q-Q_red＝64-16＝48个样本可以从通过插值(例如，插值也可以利用边界样本的值)而直接获得的Q_red＝16个样本中获得。从图7.2中可以看出，虽然样本118’和118”已经在步骤812中获得(如灰色方块所示)，但是样本108’(在样本118’与样本118”中间并用方块指示)在步骤813通过样本118’与118”之间的插值获得。已经理解，插值还可以通过类似于用于进行平均的操作例如移位和相加来获得。因此，在图7.2中，值108’通常可以被确定为样本118’的值与样本118”的值之间的中间值(它可以是平均值)。

通过执行插值，在步骤813，还可以基于104中指示的多个样本值得到MxN＝8x8块18的最终版本。

因此，使用本技术和不使用它之间的比较是：

在不使用本技术的情况下：

要预测的块18，该块具有尺寸M＝8、N＝8，以及

在块18中要预测的Q＝M*N＝8*8＝64个样本；

边界17中的P＝M+N＝8+8＝16个样本；

对于要预测的Q＝64个值中的每一个，P＝16次乘法，

总共P*Q＝16*64＝1028次乘法

乘法的次数与要获得的最终值的数量之间的比率为P*Q/Q＝16

在使用本技术的情况下：

要预测的块18，具有尺寸M＝8，N＝8；

最终要预测的Q＝M*N＝8*8＝64个值；

但要使用Q_redxP_red ALWIP矩阵，其中P_red＝M_red+N_red，Q_red＝M_red*N_red，M_red＝4，N_red＝4

边界中的P_red＝M_red+N_red＝4+4＝8个样本，其中P_red＜P

对于要预测的4x4缩减块(在方案106中由灰色方块形成)的Q_red＝16个值中的每一个，P_red＝8次乘法，

总共P_red*Q_red＝8*16＝128次乘法(比1024小得多！)

乘法的次数与要获得的最终值的数量之间的比率为P_red*Q_red/Q＝128/64＝2(比在未使用本技术的情况下获得的16小得多！)。

因此，这里呈现的技术的功率要求比先前技术少8倍。

图7.3示出了另一示例(可以基于方法820)，其中要预测的块18是矩形的4x8块(M＝8，N＝4)，其中Q＝4*8＝32个要预测的样本。边界17由具有N＝8个样本的水平行17c和具有M＝4个样本的竖直列17a形成。因此，先验地，边界向量17P将具有尺寸Px1＝12x1，而预测ALWIP矩阵应该是QxP＝32x12矩阵，因此需要Q*P＝32*12＝384次乘法。

然而，可以例如对水平行17c的至少8个样本进行平均或下采样，以获得仅具有4个样本(例如，经平均的样本)的缩减水平行。在一些示例中，竖直列17a将保持原样(例如，未进行平均)。总体上，缩减边界将具有尺寸P_red＝8，其中P_red＜P。因此，边界向量17P将具有尺寸P_redx1＝8x1。ALWIP预测矩阵17M将是具有尺寸M*N_red*P_red＝4*4*8＝64的矩阵。在进行步骤812时直接获得的4x4缩减块(由方案107中的灰色列形成)将具有尺寸Q_red＝M*N_red＝4*4＝16个样本(而不是要预测的原始4x8块18的Q＝4*8＝32个)。一旦通过ALWIP获得缩减4x4块，就有可能添加偏移值bk(步骤812c)并在步骤813执行插值。从图7.3中的步骤813可以看出，缩减4x4块被扩展为4x8块18，其中在步骤812中未获得的值108’在步骤813中通过对在步骤812中获得的值118’和118”(灰色方块)进行插值获得。

因此，使用本技术和不使用它之间的比较是：

在不使用本技术的情况下：

要预测的块18，该块的尺寸为M＝4，N＝8

Q＝M*N＝4*8＝32个要预测的值；

边界中的P＝M+N＝4+8＝12个样本；

对于要预测的Q＝32个值中的每一个，P＝12次乘法，

总共P*Q＝12*32＝384次乘法

乘法的次数与要获得的最终值的数量之间的比率为P*Q/Q＝12

在使用本技术的情况下：

要预测的块18，该块的尺寸为M＝4，N＝8

最终要预测的Q＝M*N＝4*8＝32个值；

但可以使用Q_redxP_red＝16x8 ALSIP矩阵，其中M＝4，N_red＝4，Q_red＝M*N_red＝16，P_red＝M+N_red＝4+4＝8

边界中的P_red＝M+N_red＝4+4＝8个样本，其中P_red＜P

对于要预测的缩减块的Q_red＝16个值中的每一个，Pred＝8次乘法，

总共Q_red*P_red＝16*8＝16*8＝128次乘法(小于384！)

乘法的次数与要获得的最终值的数量之间的比率为P_red*Q_red/Q＝128/32＝4(比在未使用本技术的情况下获得的12小得多！)。

因此，使用本技术，计算工作量减少到三分之一。

图7.4示出了要预测的具有尺寸MxN＝16x16并且最终具有Q＝M*N＝16*16＝256个要预测的值的块18的情况，该块具有P＝M+N＝16+16＝32个边界样本。这将导致尺寸为QxP＝256x32的预测矩阵，这意味着256*32＝8192次乘法！

然而，通过应用方法820，可以在步骤811缩减(例如，通过平均或下采样)边界样本的数量，例如从32减少到8：例如，对于行17a的四个连续样本的每个组120，保留一个单样本(例如，选自四个样本，或样本的平均值)。此外，对于列17c的四个连续样本的每个组，保留一个单样本(例如，选自四个样本，或样本的平均值)。

这里，ALWIP矩阵17M是Q_redxP_red＝64x8矩阵：这是因为它已经被选择为P_red＝8(通过使用来自边界的32个样本的8个经平均的样本或选自边界的32个样本的8个样本)以及在步骤812中要预测的缩减块是8x8块(在方案109中，灰色方块是64)。

因此，一旦在步骤812获得缩减8x8块的64个样本，就有可能在步骤813导出要预测的块18的剩余Q-Q_red＝256-64＝192个值104。

在这种情况下，为了执行插值，已经选择使用边界列17a的所有样本以及仅使用边界行17c中的交替样本。可以进行其他选择。

而在使用本方法的情况下，乘法的次数与最终获得值的数量之间的比率为Q_red*P_red/Q＝8*64/256＝2，这比在未使用本技术的情况下针对每个值的32次乘法少得多！

使用本技术和不使用它之间的比较是：

在不使用本技术的情况下：

要预测的块18，该块的尺寸为M＝16，N＝16

Q＝M*N＝16*16＝256个要预测的值；

边界中的P＝M+N＝16*16＝32个样本；

对于要预测的Q＝256个值中的每一个，P＝32次乘法，

总共P*Q＝32*256＝8192次乘法；

乘法的次数与要获得的最终值的数量之间的比率为P*Q/Q＝32

在使用本技术的情况下：

要预测的块18，该块的尺寸为M＝16，N＝16

最终要预测的Q＝M*N＝16*16＝256个值；

但要使用的Q_redxP_red＝64x8 ALWIP矩阵，其中M_red＝4，N_red＝4，要通过ALWIP预测的Q_red＝8*8＝64个样本，P_red＝M_red+N_red＝4+4＝8

边界中的P_red＝M_red+N_red＝4+4＝8个样本，其中P_red＜P

对于要预测的缩减块的Q_red＝64个值中的每一个，Pred＝8次乘法，

总共Q_red*P_red＝64*4＝16*8＝256次乘法(小于8192！)

乘法的次数与要获得的最终值的数量之间的比率为P_red*Q_red/Q＝8*64/256＝2(比在未使用本技术的情况下获得的32！小的多)。

因此，本技术所需的计算功率比传统技术少16倍！

因此，有可能通过以下操作使用多个相邻样本(17)来预测图片的预定块(18)：

缩减(100、813)多个相邻样本(17)以获得在样本数量上与多个相邻样本相比更低的缩减样本值集合(102)，

对缩减样本值集合进行(812)线性变换或仿射线性变换(19、17M)以获得预定块(18)的预定样本(104、118’、188”)的预测值。

具体地，有可能通过对多个相邻样本进行下采样来执行缩减(100、813)以获得在样本数量上与多个相邻样本(17)相比更低的缩减样本值集合(102)。

备选地，有可能通过对多个相邻样本进行平均来执行缩减(100、813)以获得在样本数量上与多个相邻样本(17)相比更低的缩减样本值集合(102)。

此外，有可能通过插值基于预定样本(104、118’、118”)和多个相邻样本(17)的预测值来导出(813)预定块(18)的其他样本(108、108’)的预测值。

多个相邻样本(17a、17c)可以沿着预定块(18)的两侧(例如，在图7.1至图7.4中向右以及向下)一维地延伸。预定样本(例如，在步骤812中通过ALWIP获得的预定样本)也可以按行和列布置，并沿着行和列中的至少一者，预定样本可以位于从预定样本112的与预定块18的两侧邻接的样本(112)开始的每一第n位置处。

基于多个相邻样本(17)，针对行和列中的至少一者中的每一个，有可能确定多个相邻位置中的一个相邻位置(118)的支持值(118)，该相邻位置(118)与行和列中的至少一者中的相应一个对齐。还可能基于预定样本(104、118’、118”)的预测值以及与行和列中的至少一者对齐的相邻样本(118)的支持值，通过插值来导出预定块(18)的其他样本(108、108’)的预测值118。

预定样本(104)可以位于沿着行从与预定块18的两侧邻接的样本(112)开始的每一第n位置处，以及预定样本位于沿着列从预定样本(112)的与预定块(18)的两侧邻接的样本开始的每一第m位置，其中n、m＞1。在一些情况下，n＝m(例如，在图7.2和图7.3中，其中通过ALWIP在812处直接获得并用灰色方块指示的样本104、118’、118”沿着行和列与随后在步骤813获得的样本108、108’交替)。

沿着行(17c)和列(17a)中的至少一者，有可能例如通过针对每个支持值对多个相邻样本中的包括针对其确定相应支持值的相邻样本(118)的相邻样本的组(120)进行下采样或平均(122)来执行确定支持值。因此，在图7.4中，在步骤813，有可能通过使用预定样本118”’(先前在步骤812获得的)和相邻样本118的值作为支持值来获得样本119的值。

多个相邻样本可以沿着预定块(18)的两侧一维地延伸。有可能通过将多个相邻样本(17)分组为一个或多个连续相邻样本的组(110)并对一个相邻样本或具有两个或两个以上相邻样本的多个相邻样本的组(110)中的每一个组执行下采样或平均来执行缩减(811)。

在示例中，线性变换或仿射线性变换可以包括P_red*Q_red或P_red*Q个加权因子，其中P_red是缩减样本值集合内的样本值(102)的数量，而Q_red或Q是预定块(18)内的预定样本的数量。至少1/4P_red*Q_red或1/4P_red*Q个加权因子是非零权重值。P_red*Q_red或P_red*Q个加权因子对于Q或Q_red个预定样本中的每一个可以包括与相应预定样本相关的一系列P_red加权因子，其中该系列在预定块(18)的预定样本中根据光栅扫描顺序一个布置在另一个下方时，形成一个全向非线性的包络。P_red*Q或P_red*Q_red个加权因子可以是通过任何正则映射规则彼此不相关的。与相应预定样本相关的第一系列加权因子与除了相应预定样本之外的预定样本所相关的第二系列加权因子(或后一系列的反向版本，无论何者，导致更高的最大值的)之间互相关的最大值的平均值，都低于预定阈值。预定阈值可以为0.3[或在一些情况下为0.2或0.1]。P_red个相邻样本(17)可以沿着一维路径定位，该一维路径沿预定块(18)的两侧延伸，并且对于Q或Q_red个预定样本，与相应预定样本相关的一系列P_red个加权因子以沿预定方向遍历该一维路径的方式进行排序。

6.1方法和装置的描述

为了预测具有宽度W(也用N指示)以及高度H(也用M指示)的矩形块的样本，仿射线性加权帧内预测(ALWIP)可以将块的左侧的一行H个重构相邻边界样本和该块上方的一行W个重构相邻边界样本作为输入。如果重构样本不可用，则可以如在传统帧内预测中进行的那样来产生它们。

预测信号(例如，完整块18的值)的产生可以基于以下三个步骤中的至少一些：

1.在边界样本17中，可以通过进行平均或下采样(例如，步骤811)来提取样本102(例如，在W＝H＝4的情况下为四个样本，和/或在其他情况下为八个样本)。

2.可以将经平均的样本(或经下采样剩余的样本)作为输入来执行矩阵向量乘法，然后执行偏移的添加。结果可以是原始块中的子采样的样本集合上的缩减预测信号(例如，步骤812)。

3.可以例如通过上采样根据子采样的集合上的预测信号，例如通过线性插值(例如，步骤813)，来产生剩余位置处的预测信号。

由于步骤1.(811)和/或步骤3.(813)，计算矩阵量乘积所需的乘法总次数可以使得该总次数总是小于或等于4*W*H。此外，边界上的求平均操作和缩减预测信号的线性插值仅通过使用加法和移位来执行。换言之，在示例中，ALWIP模式下每个样本最多需要四次乘法。

在一些示例中，产生预测信号所需的矩阵(例如，17M)和偏移向量(例如，b_k)可以取自解码器和编码器的存储单元中可以存储的矩阵的集合(例如，三个集合)，例如S₀、S₁、S₂。

在一些示例中，集合S₀可以包括(例如，包含)n₀(例如，n₀＝16或n₀＝18或另一数量)个矩阵

该矩阵中的每一个可以具有16个行和4个列以及每个尺寸16的18个偏移向量

以执行根据图7.1的技术。该集合的矩阵和偏移向量用于尺寸为4×4的块18。一旦边界向量已经减少到P_red＝4向量(如图7.1的步骤811)，就有可能将缩减样本集合102的P_red＝4个样本直接映射至要预测的4x4块18的Q＝16个样本中。

在一些示例中，集合S₁可以包括(例如，包含)n₁(例如，n₁＝8或n₁＝18或另一数量)个矩阵

该矩阵中的每一个可以具有16个行和8个列以及每个尺寸16的18个偏移向量

以执行根据图7.2或7.3的技术。该集合S1的矩阵和偏移向量可以用于尺寸为4×8、4x16、4x32、4x64、16x4、32x4、64x4、8×4和8×8的块。此外，它还可以用于尺寸为WxH的块，其中max(W，H)＞4且min(W，H)＝4，即用于尺寸为4x16或16x4、4x32或32x4和4x64或64x4的块。16x8矩阵是指块18的缩减版本，其为4x4块，如在图7.2和图7.3中所获得。

附加地或备选地，集合S₂可以包括(例如，包含)n₂(例如，n₂＝6或n₂＝18或另一数量)个矩阵

该矩阵中的每一个可以具有64个行和个8列以及尺寸64的18个偏移向量

64x8矩阵是指缩减版本，其为8x8块，例如，如在图7.4中所获得。该集合的矩阵和偏移向量可以用于尺寸8×16，8×32，8×64，16×8，16×16，16×32，16×64，32×8，32×16，32×32，32×64，64×8，64×16，64×32，64×64的块。

该集合的矩阵和偏移向量或这些矩阵和偏移向量的一部分可以用于所有其他块形状。

6.2边界的平均化或下采样

这里，提供了关于步骤811的特征。

如上所说明，边界样本(17a、17c)可以被平均和/或下采样(例如，从P个样本到P_red＜P个样本)。

在第一步骤中，输入边界bdry^top(例如，17c)和bdry^left(例如，17a)可以被缩减到更小的边界

以及

以获得缩减集合102。这里，

和

在4x4块的情况下都由2个样本组成，以及在其他情况下都由4个样本组成。

在4x4块的情况下，可以定义

并且类似地定义

因此，

为例如使用移位运算而获得的平均值。

在所有其他情况下(例如，对于宽度或高度不为4的块)，如果块宽度W给出为W＝4*2^k，则针对0≤i＜4定义

并且类似地定义

在另外其他情况下，有可能对边界进行下采样(例如，通过从一组边界样本中选择一个特定的边界样本)以获得缩减样本数量。例如，

可以选自bdry^top[0]和bdry^top[1]，而

可以选自bdry^top[2]和bdry^top[3]。也可以类似地定义

两个缩减边界

和

可以级联到缩减边界向量bdry_red(与缩减集合102相关联)，也用17P指示。缩减边界向量bdry_red对于形状4×4(图7.1的示例)的块因此可以是尺寸为4(P_red＝4)，而对于所有其他形状(图7.2至图7.4的示例)的块可以是尺寸为8(P_red＝8)。

这里，如果mode＜18(或矩阵集合中的矩阵的数量)，则可以定义

如果mode≥18，其对应于mode-17的转置模式，则可以定义

因此，根据特定的状态(一种状态：mode＜18；另一种状态：mode≥18)，可以沿着不同的扫描顺序(例如，一种扫描顺序：

另一种扫描顺序：

)分配输出向量的预测值。

可以执行其他策略。在其他示例中，模式索引‘模式’不一定在0至35的范围内(可以定义其他范围)。此外，三个集合S₀、S₁、S₂中的每一个不必具有18个矩阵(因此，代替如mode≥18的表达式，可以用mode≥n₀、n₁、n₂，它们分别是矩阵S₀、S₁、S₂的每个集合的矩阵的数量)。此外，每个集合可以具有不同数量的矩阵(例如，可以是：S₀具有16个矩阵，S₁具有8个矩阵，以及S₂具有6个矩阵)。

模式和转置信息不必作为一个组合模式索引‘模式’来存储和/或传输：在一些示例中，有可能显式地信号通知为转置标志和矩阵索引(对于S₀为0-15，对于S₁为0-7，以及对于S₂为0-5)。

在一些情况下，转置标志和矩阵索引的组合可以解释为集合索引。例如，可以存在用作转置标志的一个比特以及指示矩阵索引的一些比特，统称为“集合索引”。

6.3通过矩阵向量乘法产生缩减预测信号

这里，提供了关于步骤812的特征。

在缩减输入向量bdry_red(边界向量17P)中，可以产生缩减预测信号pred_red。后一信号可以是具有宽度W_red和高度H_red的下采样块上的信号。这里，W_red和H_red可以定义为：

W_red＝4，H_red＝4；如果max(W，H)≤8，

否则，W_red＝min(W，8)，H_red＝min(H，8)。

可以通过计算矩阵-向量乘积并添加偏移来计算缩减预测信号pred_red：

pred_red＝A·bdry_red+b。

这里，A是矩阵(例如，预测矩阵17M)，如果W＝H＝4，则该矩阵可能有W_red*H_red个行和4个列，并且在所有其他情况下是8个列，以及b是尺寸为W_red*H_red的向量。

如果W＝H＝4，则A可以有4个列和16个行，并且因此，在这种情况下每个样本可能需要4次乘法才能计算出pred_red。在所有其他情况下，A可能有8列，并且可以验证在这些情况下具有8*W_red*H_red≤4*W*H，即也在这些情况下，每个样本最多需要4次乘法来计算pred_red。

矩阵A和向量b可以取自以下集合S₀、S₁、S₂之一。可以通过以下方式定义索引idx＝idx(W，H)：如果W＝H＝4设置idx(W，H)＝0，，如果max(W，H)＝8设置idx(W，H)＝1，以及在所有其他情况下设置idx(W，H)＝2。此外，如果mode＜18，可以使得m＝mode，否则m＝mode-17。然后，如果idx≤1或idx＝2且min(W，H)＞4，则可以使得

并且

在idx＝2以及min(W，H)＝4的情况下，使A是通过省去

的每一行而产生的矩阵，其在W＝4的情况下，对应于下采样块中的奇数x坐标，或者在H＝4的情况下，对应于下采样块中的奇数y坐标。如果mode≥18，则用其转置信号替换缩减预测信号。在备选示例中，可以执行不同的策略。例如，代替缩减较大矩阵的尺寸(“省去”)，而是使用具有W_red＝4和H_red＝4的较小矩阵S₁(idx＝1)。即，这样的块现在分配给S₁而不是S₂。

可以执行其他策略。在其他示例中，模式索引‘模式‘不一定在0至35的范围内(可以定义其他范围)。此外，三个集合S₀、S₁、S₂中的每一个不必具有18个矩阵(因此，代替如mode＜18的表达式，有可能用mode＜n₀、n₁、n₂，这分别是矩阵S₀、S₁、S₂的每个集合的矩阵的数量)。此外，每个集合可以具有不同数量的矩阵(例如，可以是：S₀具有16个矩阵，S₁具有8个矩阵，以及S₂具有6个矩阵)。

6.4线性插值产生最终预测信号

这里，提供了关于步骤812的特征。

子采样预测信号的插值，在大块上可能需要经平均的边界的第二版本。即，如果min(W，H)＞8且W≥H，则写成W＝8*2^l，以及对于0≤i＜8，定义

如果min(W，H)＞8且H＞W，则类似地定义

另外地或备选地，有可能具有“硬下采样”，其中

等于

此外，可以类似地定义

在产生pred_red时被省去的样本位置处，最终预测信号可以通过从pred_red进行线性插值产生(例如，图7.2至图7.4的示例中的步骤813)。在一些示例中，如果W＝H＝4(例如，图7.1的示例)，该线性插值可以是不必要的。

线性插值可以如下给出(尽管如此，其他示例是可能的)。假设W≥H。然后，如果H＞H_red，则可以执行pred_red的竖直上采样。在这种情况下，pred_red可以如下扩展一行到顶部。如果W＝8，pred_red可以有宽度W_red＝4并且可以通过经平均的边界信号

扩展到顶部，例如，如上面所定义。如果W＞8，则pred_red具有宽度W_red＝8并且它通过经平均的边界信号

扩展到顶部，例如，如上面所定义。对于pred_red的第一行，可以写为pred_red[x][-1]。然后，具有宽度W_red和高度2*H_red的块上的信号

可以给出如下

其中0≤x＜W_red且0≤y＜H_red，后一过程可以进行k次，直到2^k*H_red＝H。因此，如果是H＝8或H＝16，则最多可以进行一次。如果H＝32，则可以进行两次。如果H＝64，则可以进行三次。接下来，可以将水平上采样运算应用到竖直上采样的结果。后面的上采样运算可以使用预测信号左侧的全部边界。最后，如果H＞W，可以通过首先在水平方向上(如果需要)并且然后在竖直方向上进行上采样来进行类似的处理。

这是使用用于第一插值(水平地或竖直地)的缩减边界样本以及用于第二插值(竖直地或水平地)的原始边界样本的插值的示例。取决于块尺寸，仅需要第二插值或不需要插值。如果需要水平插值和竖直插值两者，则顺序取决于块的宽度和高度。

然而，可以实施不同的技术：例如，原始边界样本可以用于第一插值和第二插值两者，并且顺序可以是固定的，例如首先水平然后竖直(在其他情况下，首先竖直然后水平)。

因此，插值顺序(水平/竖直)以及缩减边界样本/原始边界样本的使用可以改变。

6.5整个ALWIP过程的示例的说明

针对图7.1至图7.4中的不同形状，示出了的求平均、矩阵-向量乘法和线性插值的整个过程。注意，其余形状将按照所描绘的情况之一进行对待。

1.给定4×4块，ALWIP可以通过使用图7.1的技术沿边界的每个轴取两个平均值。产生的四个输入样本进入矩阵-向量乘法。矩阵取自集合S₀。在添加偏移之后，这可以产生16个最终预测样本。产生预测信号不需要进行线性插值。因此，每个样本总共执行(4*16)/(4*4)＝4次乘法。参见例如图7.1。

2.给定8×8块，ALWIP可以沿边界的每个轴取四个平均值。通过使用图7.2的技术，产生的八个输入样本进入矩阵-向量乘法。矩阵取自集合S₁。这会在预测块的奇数位置上产生16个样本。因此，每个样本总共执行(8*16)/(8*8)＝2次乘法。在添加偏移之后，这些样本可以被插值，例如，通过使用顶部边界被竖直插值，以及例如，通过使用左侧边界被水平插值。参见例如图7.2。

3.给定8×4块，ALWIP可以通过使用图7.3的技术沿边界的水平轴取四个平均值以及在左侧边界上取四个原始边界值。产生的八个输入样本进入矩阵-向量乘法。矩阵取自集合S₁。这会在预测块的奇数水平位置和每个竖直位置上产生16个样本。因此，每个样本总共执行(8*16)/(8*4)＝4次乘法。例如，在添加偏移之后，这些样本将通过使用左侧边界进行水平插值。参见例如图7.3。

相应地处理转置的情况。

4.给定16×16块，ALWIP可以沿边界的每个轴取四个平均值。通过使用图7.2的技术，产生的八个输入样本进入矩阵向量乘法。矩阵取自集合S₂。这会在预测块的奇数位置上产生64个样本。因此，每个样本总共执行(8*64)/(16*16)＝2次乘法。在添加偏移之后，这些样本通过使用顶部边界被竖直插值，以及通过使用左侧边界被水平插值。参见例如图7.2。参见例如图7.4。

对于较大的形状，该过程可能基本相同，并且容易地检查每个样本的乘法次数是否少于两次。

对于W×8个块，由于样本在奇数水平位置和每个竖直位置给出，因此仅需要进行水平插值。因此，在这些情况下，每个样本最多执行(8*64)/(16*8)＝4次乘法。

最后，对于W×4块，其中W＞8，使A_k成为通过省去与沿下采样块的水平轴的奇数条目相对应的每一行而产生的矩阵。因此，输出尺寸可以是32，并且同样，仅剩下水平插值要执行。每个样本最多可以执行(8*32)/(16*4)＝4次乘法。

可以相应地处理转置的情况。

6.6需要的参数数量和复杂度评估

所有可能的提出的帧内预测模式所需的参数可以由属于集合S₀、S₁，S₂的矩阵和偏移向量包括。所有矩阵系数和偏移向量都可以存储为10比特值。因此，根据上面的描述，所提出的方法可能需要总共14400个参数，每个参数的精度为10比特。这对应于0,018兆字节的内存。需要指出的是当前，标准4:2:0色度子采样中具有尺寸为128×128的CTU由24576个值组成，每个值为10比特。因此，所提出的帧内预测工具的内存要求不超过上次会议所采用的当前图片参考工具的内存要求。此外，需要指出的是，由于PDPC工具或用于具有分数角位置的角度预测模式的4抽头插值滤波器，传统帧内预测模式需要每个样本进行四次乘法。因此，在操作复杂度方面，所提出的方法不超过传统帧内预测模式。

6.7所提出的帧内预测模式的信号通知

例如，对于亮度块，提出了35个ALWIP模式(可以使用其他数量的模式)。对于帧内模式的每个编码单元(CU)，在比特流中发送指示是否将ALWIP模式应用于对应预测单元(PU)的标志。后一索引的信号通知可以按照与第一次CE测试相同的方式与MRL相协调。如果要应用ALWIP模式，则可以使用具有3个MPMS的MPM列表来用信号通知ALWIP模式的索引predmode。

这里，可以如下使用上面和左侧PU的帧内模式来执行MPM的导出。可以存在表格，例如三个固定表map_angular_to_alwip_idx、idx∈{0，1，2}，其可以将ALWIP模式分配给每个传统帧内预测模式predmode_Angular

predmode_ALWIP＝map_angular_to_alwip_idx[predmode_Angular]。

对于具有宽度W和高度H的每个PU，定义并且索引

idx(PU)＝idx(W，H)∈{0，1，2}

其指示将从三个集合中的哪一个获取ALWIP参数，如上面第4节所述。如果上述预测单元PU_above可用，属于与当前PU相同的CTU并且在帧内模式下，如果idx(PU)＝idx(PU_above)以及如果将ALWIP应用到PU_above上，在ALWIP模式

下，则使得

如果上述PU可用，属于与当前PU相同的CTU并且在帧内模式下，并且如果将传统帧内预测模式

应用到上述PU上，则使得

在所有其他情况下，使得

其意味着该模式不可用。以相同的方式但不限制左侧PU需要属于与当前PU相同的CTU，导出模式

最后，提供了三个固定的默认列表list_idx，idx∈{0，1，2}，其中每个包含三种不同的ALWIP模式。在默认列表list_idx(PU)以及模式

和

中，通过用默认值替换-1以及消除重复来构建三个不同的MPM。

6.8针对传统亮度和色度帧内预测模式的调整的MPM列表导出

所提出的ALWIP模式可以如下与传统帧内预测模式的基于MPM的编码相协调。传统帧内预测模式的亮度和色度MPM列表导出过程可以使用固定表map_lwip_to_angular_idx，idx∈{0，1，2}，将给定PU上的ALWIP模式predmode_LWIP映射到传统帧内预测模式之一

predmode_Angular＝map_lwip_to_angular_idx(PU)[predmode_LWIP]。

对于亮度MPM列表导出，每当遇到使用ALWIP模式predmode_LWIP的相邻亮度块时，可以将该块处理为仿佛其正在使用传统帧内预测模式predmode_Angular。对于色度MPM列表导出，每当当前亮度块使用LWIP模式时，可以使用相同的映射将ALWIP模式转换为传统帧内预测模式。

7实施高效的实施例

让我们简要总结一下上面的示例，因为它们可能形成下文描述的其他扩展实施例的基础。

为了预测图片10的预定块18，采用了对于多个相邻样本17a、17c的使用。

已经通过对多个相邻样本进行平均来进行缩减100以获得在样本数量上与多个相邻样本相比更低的缩减样本值集合102。这种缩减在本文的实施例中是可选的，并且产生在下文中描述的所谓样本值向量。缩减样本值集合进行线性变换或仿射线性变换19以获得预定块的预定样本104的预测值。该变换稍后使用矩阵A和偏移向量b来指示，该矩阵A和偏移向量b已经通过机器学习(ML)而获得，并且应该是高效执行的实施。

通过插值，基于预定样本和多个相邻样本的预测值来导出预定块的其他样本108的预测值。应该说，理论上，仿射变换/线性变换的结果可以与块18的非全像素样本位置相关联，使得可以根据备选实施例通过插值来获得块18的所有样本。也可能根本不需要插值。

多个相邻样本可以沿着预定块的两侧一维地延伸，预定样本按行和列布置，并沿着行和列中的至少一者，其中预定样本可以位于从预定样本的与预定块的两侧邻接的样本(112)开始的每一第n位置处。基于多个相邻样本，针对行和列中的至少一者中的每一个，可以确定多个相邻位置中的一个相邻位置(118)的支持值，该相邻位置(118)与行和列中的至少一者中的相应一个对齐，并且通过插值，可以基于预定样本的预测值以及相邻样本的与行和列中的至少一者对齐的支持值来导出预定块的其他样本108的预测值。预定样本可以位于沿着行从预定样本的与预定块18的两侧邻接的样本112开始的每一第n位置处，以及预定样本可以位于沿着列从预定样本的与预定块的两侧邻接的样本112每一第m位置，其中n、m＞1。可能n＝m。沿着行和列中的至少一者，支持值的确定可以通过针对每个支持值对多个相邻样本中的包括针对其确定各个支持值的相邻样本118的相邻样本的组120进行下采样或平均(122)来完成。多个相邻样本可以沿着预定块的两侧一维地延伸，并且可以通过将多个相邻样本分组为一个或多个连续相邻样本的组110并对一个或多个相邻样本的组中具有多于两个的相邻样本的每一个组执行平均，来执行缩减。

对于预定块，可以在数据流中传输预测残差。可以在解码器处从数据流中导出预测残差，并且使用预测残差以及预定样本的预测值来重构预定块。在编码器处，预测残差在编码器处被编码到数据流中。

图片可以被细分为不同块尺寸的多个块，该多个块包括预定块。然后，可以取决于块的宽度W和高度H来选择块18的线性变换或仿射线性变换，使得针对预定块选择的线性变换或仿射线性变换选自：线性变换或仿射线性变换的第一集合，只要预定块的宽度W和高度H在宽度/高度对的第一集合内；以及线性变换或仿射线性变换的第二集合，只要预定块的宽度W和高度H在与宽度/高度对的第一集合不相交的宽度/高度对的第二集合内。同样，稍后变得清楚的是，仿射/线性变换通过其他参数来表示，即权重C以及可选的偏移和缩放参数。

解码器和编码器可以被配置为将图片细分为不同块尺寸的多个块，这些块包括预定块，并且取决于预定块的宽度W和高度H来选择线性变换或仿射线性变换，使得为预定块选择的线性变换或仿射线性变换选自：

线性变换或仿射线性变换的第一集合，只要预定块的宽度W和高度H在宽度/高度对的第一集合内，

线性变换或仿射线性变换的第二集合，只要预定块的宽度W和高度H在与宽度/高度对的第一集合不相交的宽度/高度对的第二集合内，以及

线性变换或仿射线性变换的第三集合，只要预定块的宽度W和高度H在与宽度/高度对的第一集合和宽度/高度对的第二集合不相交的一个或多个宽度/高度对的第三集合内。

一个或多个宽度/高度对的第三集合仅包括一个宽度/高度对W’、H’，并且线性变换或仿射线性变换的第一集合中的每个线性变换或仿射线性变换用于将N’个样本值变换为样本位置的W’xH’阵列的W’*H’个预测值。

宽度/高度对的第一集合和第二集合中的每一个集合可以包括第一宽度/高度对W_p、H_p，其中W_p不等于H_p，以及第二宽度/高度对W_q、H_q，其中H_q＝W_p且W_q＝H_p。

宽度/高度对的第一集合和第二集合中的每一个集合可以另外包括第三宽度/高度对W_p、H_p，其中W_p等于H_p并且H_p＞H_q。

对于预定块，可以在数据流中传输集合索引，该索引指示将从预定的线性变换或仿射线性变换集合中为块18选择哪个线性变换或仿射线性变换。

多个相邻样本可以沿着预定块的两侧一维地延伸，并且可以通过以下方式来执行缩减：针对与预定块的第一侧相邻的多个相邻样本的第一子集，将第一子集分组为一个或多个连续相邻样本的第一组110；并且针对与预定块的第二侧相邻的多个相邻样本的第二子集，将第二子集分组为一个或多个连续相邻样本的第二组110；以及对一个或多个相邻样本第一组和第二组中具有多于两个的相邻样本的每一组进行平均，以从第一组获得第一样本值以及从第二组获得第二样本值。然后，可以取决于预定的线性或仿射线性变换集合中的集合索引来选择线性或仿射线性变换，使得集合索引的两个不同状态导致选择预定线性或仿射线性变换集合中的线性变换或仿射线性变换之一，在集合索引采用两种不同状态中的第一状态情况下，可以对缩减样本值集合进行预定线性变换或仿射线性变换以第一向量的形式产生预测值的输出向量，并且将输出向量的预测值沿着第一扫描顺序分配到预定块的预定样本上，以及在集合索引采用两种不同状态中的第二状态，采用第二向量的形式，第一向量和与第二向量不同，使得由第一向量中的第一样本值之一填充的分量由第二向量中的第二样本值之一来填充，并且由第一向量中的第二样本值之一填充的分量由第二向量中的第一样本值之一来填充，以便产生预测值的输出向量，并将输出向量的预测值沿着第二扫描顺序分配到相对于第一扫描顺序转置的预定块的预定样本上。

线性变换或仿射线性变换的第一集合内的每个线性变换或仿射线性变换可以用于针对样本位置的w₁xh₁阵列将N₁个样本值变换为w₁*h₁个预测值，以及线性变换或仿射线性变换的第二集合内的每个线性变换或仿射线性变换用于针对样本位置的w_2xh₂阵列将N₂个样本值变换为w₂*h₂个预测值，其中对于宽度/高度对的第一集合中的第一预定宽度/高度对，w₁可以超过第一预定宽度/高度对的宽度，或者h₁可以超过第一预定宽度/高度对的高度，以及对于宽度/高度对的第一集合中的第二预定宽度，不仅w₁不能超过第二预定宽度/高度对的宽度，h₁也不能超过第二预定宽度/高度对的高度。然后可以通过对多个相邻样本进行平均来进行缩减(100)以获得缩减样本值集合(102)，使得如果预定块具有第一预定宽度/高度对以及如果预定块具有第二预定宽度/高度对，则缩减样本值集合102具有N₁个样本值，以及如果预定块具有第一预定宽度/高度对，可以通过仅使用所选线性变换或仿射线性变换的第一子部分来执行对缩减样本值集合进行所选线性变换或仿射线性变换，如果w₁超过一个宽度/高度对的宽度，则该第一子部分与沿宽度尺寸的样本位置的w₁xh₁阵列的子采样相关，或者如果h₁超过一个宽度/高度对的高度，则该第一子部分与沿高度度尺寸的样本位置的w₁xh₁阵列的子采样相关；以及如果预定块具有第二预定宽度/高度对，可以通过完全地使用所选线性变换或仿射线性变换来执行对缩减样本值集合进行所选线性变换或仿射线性变换。

线性变换或仿射线性变换的第一集合内的每个线性变换或仿射线性变换可以用于针对样本位置的w₁xh₁阵列将N₁个样本值变换为w₁*h₁个预测值，其中w₁＝h₁，以及线性变换或仿射线性变换的第一集合内的每个线性变换或仿射线性变换变换用于针对样本位置的w_2xh₂阵列将N₂个样本值变换为w₂*h₂个预测值，其中w₂＝h₂。

所有上述实施例仅是说明性的，因为它们可以形成下文描述的实施例的基础。即，上述构思和细节应用于理解以下实施例，并且应用作下文描述的实施例的可能扩展和修改的储存库。具体地，许多上述细节是可选的，例如相邻样本的平均、相邻样本被用作参考样本的事实等。

更一般地，本文描述的实施例假设矩形块上的预测信号从已经重构的样本中产生，例如矩形块上的帧内预测信号从块左侧和块上方的相邻的、已经重构的样本中产生。预测信号的产生基于以下步骤。

1.在现在被称为边界样本的参考样本中(但不排除该描述转移到位于其他地方的参考样本的可能性)，可以通过进行平均来提取样本。这里，对块左侧和块上方两者的边界样本或仅对两侧之一的边界样本进行平均。如果未对一侧进行平均，则该侧上的样本保持不变。

2.执行矩阵向量乘法，可选地，随后添加偏移，其中，如果仅在左侧应用平均，则矩阵向量乘法的输入向量是块左侧的平均边界样本与块上方的原始边界样本的级联；或者如果仅在上侧应用平均，则矩阵向量乘法的输入向量是块左侧的原始边界样本与块上方的平均边界样本的级联；或者如果在块的两侧应用平均，则矩阵向量乘法的输入向量是块左侧的平均边界样本与块上方的平均边界样本的级联。同样，将存在备选方案，例如根本不使用平均化的备选方案。

3.矩阵向量乘法和可选的偏移添加的结果可以可选地是原始块中的子采样样本集合上的缩减预测信号。剩余位置处的预测信号可以通过线性插值从子采样集合上的预测信号来产生。

步骤2中的矩阵向量乘积的计算优选地以整数算术进行。因此，如果x＝(x₁，...，x_n)表示矩阵向量乘积的输入，即x表示块左侧和块上方的(经平均的)边界样本的级联，则在x中，在步骤2中计算的(缩减)预测信号应该仅使用了移位、偏移向量的加法以及整数的乘法来计算。理想情况下，步骤2中的预测信号将被给出为Ax+b，其中b是可能为零的偏移向量，以及其中A是通过某种基于机器学习的训练算法导出的。然而，这种训练算法通常仅产生以浮点精度给出的矩阵A＝A_float。因此，面临着在前述意义上指定整数运算使得使用这些整数运算良好地近似表达式A_floatx的问题。在这里，重要的是要提到不一定要选择这些整数运算，使得它们在假设向量x均匀分布的情况下近似表达式A_floatx，但通常会考虑该表达式A_floatx被要近似所针对的输入向量x是来自自然视频信号的(经平均的)边界样本，其中可以预期x的分量x_i之间的一些相关性。

图8示出了改进的ALWIP预测。可以基于通过某种基于机器学习的训练算法而导出的矩阵A 1100与样本值向量400之间的第一矩阵-向量乘积来预测预定块的样本。可选地，可以添加偏移b 1110。为了实现该第一矩阵-向量乘积的整数近似或定点近似，样本值向量可以进行可逆线性变换403以确定另一向量402。另一矩阵B 1200与另一向量402之间的第二矩阵-向量乘积可以等于第一矩阵-向量乘积的结果。

由于另一向量402的特征，第二矩阵-向量乘积可以是通过预定预测矩阵C 405与另一向量402之间的矩阵-向量乘积404加上另一偏移408来近似的整数。另一向量402和另一偏移408可以由整数或定点值组成。另一偏移的所有分量例如是相同的。预定的预测矩阵405可以是经量化的矩阵或要量化的矩阵。预定的预测矩阵405与另一向量402之间的矩阵-向量乘积404的结果可以理解为预测向量406。

在下文中，提供了关于这个整数近似的更多细节。

根据示例I的可能解决方案：减去和加上均值

可用于上述情形的表达式A_floatx的整数近似的一种可能结合是用x的分量的均值mean(x)(即，预定值1400)替换x(即，即样本值向量400)的第i₀分量

(即，预定分量1500)，以及从所有其他分量中减去该均值。换言之，如图9a所示，可逆线性变换403被定义为使得：另一向量402的预定分量1500变为a，以及另一向量402的除了预定分量1500之外的其他分量中的每一个等于样本值向量的对应分量减去a，其中a为预定值1400，其例如为样本值向量400的分量的平均值，例如算术均值或加权平均值。对输入的该操作由可逆变换T403给出，该变换具有明显的整数实现，特别是如果x的维数n是2的幂。

由于A_float＝(A_floatT^-1)T，如果对输入x进行这样的变换，则必须找到矩阵向量乘积By的整数近似，其中B＝(A_floatT^-1)和y＝Tx。由于矩阵-向量乘积A_floatx表示对矩形块(即，预定块)的预测，并且由于x由该块的(例如，经平均的)边界样本包括，因此应该预期在x的所有样本值相等的情况下，即对于所有i，x_i＝mean(x)的情况下，预测信号A_floatx中的每个样本值应接近于mean(x)或完全等于mean(x)。这意味着，应该预期B的第i₀列(即，与预定分量相对应的列)非常接近或等于仅由1组成的列。因此，如果M(i₀)，即整数矩阵1300，是其第i₀行由1组成且其所有其他行均为零的矩阵，写为By＝Cy+M(i₀)y，其中C＝B-M(i₀)，则应预期C(即，预定预测矩阵405)的第i₀行具有相当小的条目或为零，如图9b所示。此外，由于x的分量是相关的，因此可以预期对于每个i≠i₀，y的第i分量y_i＝x_i-mean(x)通常具有比x的第i分量小得多的绝对值。由于矩阵M(i₀)是整数矩阵，因此如果给出Cy的整数近似，则实现By的整数近似，并且通过以上讨论，相应于A_floatx，可预期通过以合适方式对C的每个条目进行量化而产生的量化误差应该仅稍微影响得到的By的量化结果中的误差。

在表达式A_floatx的整数近似的另一种可能结合中，x的第i₀个分量

保持不变，并且从所有其他分量中减去相同的值

即，对于每个i≠i₀，

且

换言之，预定值1400可以是样本值向量400中与预定分量1500相对应的分量。

备选地，预定值1400是默认值，或在图片被编码到其中的数据流中用信号通知的值。

例如，如果预定值1400与预定块的样本的预测值具有较小偏差，则是有利的。

根据实施例，一种装置被配置为包括多个可逆线性变换403，每个可逆线性变换与另一向量402的一个分量相关联。此外，该装置例如被配置为从样本值向量400的分量中选择预定分量1500，并且使用多个可逆线性变换中的与预定分量1500相关联的可逆线性变换403作为预定可逆线性变换。这是例如由于第i₀行(即，与预定分量相对应的可逆线性变换403的行)的不同位置取决于该另一向量中的预定分量的位置。如果例如另一向量402的第一分量(即y₁)是预定分量，则第i₀行将替换可逆线性变换的第一行。

如图9b所示，预定预测矩阵405的列412(即，第i₀列)内的预定预测矩阵C 405的矩阵分量414例如全部为零，该矩阵分量414与另一向量402的预定分量1500相对应。在这种情况下，该装置例如被配置为：通过执行乘法来计算矩阵-向量乘积404，该乘法是通过计算从预定预测矩阵C 405通过去掉列412而产生的缩减预测矩阵C’405与从另一向量402通过去掉预定分量1500而产生的又一其他向量410之间的矩阵向量乘积407来执行的，如图9c所示。因此，可以用较少的乘法来计算预测向量406。

如图8、图9b和图9c所示，一种装置可以被配置为：在基于预测向量406对预定块的样本进行预测时，针对预测向量406的每个分量，计算相应分量与a(即，预定值1400)之和。该和可以由预测向量406与向量409之和表示，其中向量409的所有分量等于预定值1400，如图8和图9c所示。备选地，该和可以由预测向量406以及整数矩阵M 1300与另一向量402之间的矩阵-向量乘积1310之和来表示，如图9b所示，其中整数矩阵1300的矩阵分量在整数矩阵1300的与另一向量402的预定分量1500相对应的一列(即，第i₀列)内为1，而所有其他分量例如是零。

预定预测矩阵405与整数矩阵1300之和的结果等于或近似于例如图8中所示的另一矩阵1200。

换言之，通过将预定预测矩阵405的列412(即，第i₀列)内的预定预测矩阵C 405的与另一向量402的预定分量1500相对应的每个矩阵分量与1进行求和(即，矩阵B乘以可逆线性转换403)而产生的另一矩阵B 1200与例如机器学习预测矩阵A 1100的量化版本相对应，如图8、图9a和图9b所示。第i₀列412内的预定预测矩阵C 405的每个矩阵分量与1的求和可以对应于预定预测矩阵405与整数矩阵1300的求和，如图9b所示。如图8所示，机器学习预测矩阵A 1100可以等于另一矩阵1200乘以可逆线性转换403的结果。这是由于A·x＝BT·yT^-1。预定预测矩阵405例如是量化矩阵、整数矩阵和/或定点矩阵，由此可以实现机器学习预测矩阵A 1100的量化版本。

仅使用整数运算的矩阵乘法

对于低复杂度的实施方式(在加上以及乘以标量值的复杂度方面，以及在所涉及矩阵的条目所需的存储方面)，期望仅使用整数算术来执行矩阵乘法404。

为了计算z＝Cy的近似，即

根据实施例，仅使用整数运算，实数值C_i，j必须被映射到整数值

这可以例如通过统一标量量化或通过考虑值y_i之间的特定相关性来完成。整数值表示例如定点数，该定点数每一个可以以固定的比特数n_bits存储，例如n_bits＝8。

与尺寸为m×n的矩阵(即，预定预测矩阵405)的矩阵向量乘积404可以像这个伪代码所示那样执行，其中＜＜，＞＞是算术二进制左移和右移运算，以及+，-和*仅对整数值进行运算。

(1)

这里，阵列C，即预定预测矩阵405，将定点数存储为例如整数。final_offset的最后相加以及right_shift_result的右移运算通过四舍五入来降低精度以获得输出所需的定点格式。

为了允许由C中的整数可表示的实数值的增加范围，可以使用二个附加矩阵offset_i，j和scale_i，j，如图10和图11的实施例中所示，使得以下矩阵向量乘积中的y_j的每个系数b_i，j

由下式给出

值offset_i，j和scale_i，j本身为整数值。例如，这些整数可以表示定点数，每一个定点数可以以固定比特数(例如，8比特)或者例如与用于存储值

的比特数相同的比特数n_bits来存储。

换言之，一种装置被配置为使用预测参数(例如，整数值

以及值offset_i，j和scale_i，j)来表示预定预测矩阵405，并且通过对另一向量402的分量和预测参数以及由此产生的中间结果执行乘法和求和来计算矩阵-向量乘积404，其中预测参数的绝对值可以由n比特定点数表示来表示，其中n等于或小于14、或备选地等于或小于10、或备选地等于或小于8。例如，另一向量402的分量与预测参数相乘以产生作为中间结果的乘积，其又被执行求和或形成求和的加数。

根据实施例，预测参数包括权重，该权重中的每一个与预测矩阵的对应矩阵分量相关联。换言之，预定预测矩阵例如由预测参数代替或表示。权重例如是整数和/或定点值。

根据实施例，预测参数还包括一个或多个缩放因子，例如值scale_i，j，该缩放因子中的每一个与预定预测矩阵405的一个或多个对应矩阵分量相关联以缩放与预定预测矩阵405的一个或多个对应矩阵分量相关联的权重，例如整数值

附加地或备选地，预测参数包括一个或多个偏移，例如值offset_i，j，该偏移中的每一个与预定预测矩阵405的一个或多个对应矩阵分量相关联以偏移与预定预测矩阵405的一个或多个对应矩阵分量相关联的权重，例如整数值

为了减少offset_i，j和scale_i，j所需的存储量，可以将它们的值选择为对于特定索引i、j集合是恒定的。例如，它们的条目可以对于每一列是恒定的，或者它们可以对于每一行是恒定的，或者它们可以对于所有i、j是恒定的，如图10所示。

例如，在一个优选实施例中，offset_i，j和scale_i，j对于一种预测模式的矩阵的所有值是恒定的，如图11中所示。因此，当存在K种预测模式时，其中k＝0..K-1，仅需要单个值o_k和单个值s_k来计算针对模式k的预测。

在偏移表示o_k以及缩放表示s_k的情况下，(1)中的计算可以修改为：

(2)

从上述解决方案产生的扩展实施例

上述解决方案意指以下实施例：

1.一种如第I部分中的预测方法，其中在第I部分的步骤2中，对所涉及的矩阵向量乘积的整数近似进行以下运算：在(经平均的)边界样本x＝(x₁，...，x_n)中，对于固定i₀(其中1≤i₀≤n)，计算向量y＝(y₁，...，y_n)，其中y_i＝x_i-mean(x)(对于i≠i₀)并且其中

以及其中mean(x)表示x的均值。向量y然后用作矩阵向量乘积Cy(的整数实现)的输入，使得将来自第I部分的步骤2的(经下采样的)预测信号pred给出为pred＝Cy+meanpred(x)。在该等式中，meanpred(x)表示如下信号：对于(经下采样的)预测信号的域中的每个样本位置，该信号等于mean(x)。(参见例如图9b)

2.一种如第I部分中的预测方法，其中在第I部分的步骤2中，对所涉及的矩阵向量乘积的整数近似进行以下运算：在(经平均的)边界样本x＝(x₁，...，x_n)中，对于固定i₀(其中1≤i₀≤n)，计算向量y＝(y₁，...，y_n-1)，其中对于i＜i₀，y_i＝x_i-mean(x)并且其中对于i≥i₀，y_i＝x_i+1-mean(x)，并且其中mean(x)表示x的均值。向量y然后用作矩阵向量乘积Cy(的整数实现)的输入，使得将来自第I部分的步骤2的(经下采样的)预测信号pred给出为pred＝Cy+meanpred(x)。在该等式中，meanpred(x)表示如下信号：对于(经下采样的)预测信号的域中的每个样本位置，该信号等于mean(x)。(参见例如图9c)

3.一种如第I部分中的预测方法，其中矩阵向量乘积Cy的整数实现通过使用矩阵向量乘积z_j＝∑_jb_i，j*y_j中的系数

给出。(参见例如图10)

4.一种如第I部分中的预测方法，其中步骤2使用K个矩阵之一，使得可以计算多个预测模式，每个预测模式使用不同矩阵

其中k＝0…K-1，其中矩阵向量乘积C_k y的整数实现通过使用矩阵向量乘积z_j＝∑_jb_i，j*y_j中的系数

来给出。(参见例如图11)

即，根据本申请的实施例，编码器和解码器如下操作以预测图片10的预定块18，结合图7.1至图7.4之一参见图8。为了预测，使用多个参考样本。如上所概述，本申请的实施例将不限于帧内编码，并且因此，参考样本将不限于相邻样本，即图片10相邻块18的样本。具体地，参考样本将不限于沿着块18的外边缘布置的样本，例如邻接块的外边缘的样本。然而，这种情况当然是本申请的一种实施例。

为了执行预测，从诸如参考样本17a和17c的参考样本中形成样本值向量400。上面已经描述了可能的形成。该形成可以涉及求平均，从而与对该形成有贡献的参考样本17相比减少了样本102的数量或向量400的分量数量。如上所述，该形成也可以按照某种方式取决于块18的尺寸或大小，例如其宽度和高度。

应该对该向量400进行仿射变换或线性变换以获得块18的预测。上面已经使用了不同的命名法。使用最近的命名法，其目的在于通过在执行与偏移向量b的求和中利用矩阵向量乘积将向量400应用于矩阵A来执行预测。偏移向量b是可选的。由A、或A和b确定的仿射变换或线性变换可以由编码器和解码器来确定，或者更准确地说，为了基于如上面已经描述的块18的大小和尺寸的预测由编码器和解码器来确定仿射变换或线性变换。

然而，为了实现上面所概述的计算效率改进或在实现方面使预测更有效，已经对仿射变换或线性变换进行了量化，并且编码器和解码器或其预测器使用了上面所提到的C和T以表示和执行线性变换或仿射变换，其中以上述方式应用的C和T表示仿射变换的量化版本。具体地，编码器和解码器中的预测器不是直接将向量400应用到矩阵A，而是经由预定的可逆线性变换T对其进行映射的方式将从样本值向量400产生的向量402应用到矩阵A。这里使用的变换T就可以是相同的，只要向量400具有相同的大小，即，不依赖于块的尺寸(即宽度和高度)，或者至少对于不同的仿射变换/线性变换是相同的。在上文中，向量402被表示为y。为了执行如通过机器学习所确定的仿射变换/线性转换，确切的矩阵将是B。然而，编码器和解码器中的预测不是确切地执行B，而是通过其近似版本或量化版本来进行。具体地，该表示经由以上文所概述的方式适当地表示C来进行，其中C+M表示B的量化版本。

因此，通过计算向量402与以上述方式在编码器和解码器处适当表示和存储的预定预测矩阵C之间的矩阵-向量乘积404，进一步进行编码器和解码器中的预测。从该矩阵-向量乘积产生的向量406然后用于对块18的样本104进行预测。如上所述，为了预测，如在408处所指示，向量406的每个分量可以与参数a进行求和，以便补偿C的对应定义。基于向量406导出块18的预测也可以涉及向量406与偏移向量b的可选求和。如上所述，向量406的每个分量、并且相应地向量406的求和的每个分量、在408处所指示的所有a的向量和可选的向量b，有可能直接对应于块18的样本104，并因此指示样本的预测值。也可能仅块的样本104的子集以这种方式被预测，而块18的剩余样本例如108通过插值导出。

如上所述，设置a存在不同的实施例。例如，它可能是向量400的分量的算术均值。对于这种情况，参见例如图9。可逆线性变换T可以如图9a所指示。i₀分别指示样本值向量和向量402的预定分量，其用a代替。然而，如上面所指示，还存在其他可能性。然而，就C的表示而言，上面也已经指示，可以以不同方式实现。例如，矩阵向量乘积404在其实际计算中可以成为具有较低维度的较小矩阵向量乘积的实际计算，参见例如图9c。具体地，如上面所指示，由于C的定义，C的整个第i₀列412变为0，使得可以通过向量402的缩减版本来进行乘积404的实际计算，该缩减版本是通过省略分量

(即，将缩减向量410与通过省去第i₀列412从C产生的缩减矩阵C’相乘)从向量402产生。

C的权重或C’的权重(即，该矩阵的分量)可以以定点数表示来表示和存储。然而，如上所述，这些权重414也可以以与不同缩放和/或偏移相关的方式存储。可以针对整个矩阵C定义缩放和偏移，即对于矩阵C或矩阵C’的所有权重414都相等，或者可以以使得对于矩阵C及矩阵C’的相同列的所有权重414或相同行的所有权重414分别为恒定或相等的方式来定义。就此而言，图10示出了矩阵向量乘积的计算(即，乘积的结果)实际上可以稍微不同地执行，即例如通过将具有缩放的乘法朝向向量402或向量404移位，从而减少必须进一步执行的乘法的次数。图11示出了针对C或C’的所有权重414使用一个缩放和一个偏移的情况，如在上述计算(2)中进行的。

8.在特殊情况下对所有通道使用基于块的帧内预测模式的实施例

以上所有描述应视为现在描述的实施例的可选实现细节。请注意，在下文中，术语基于矩阵的帧内预测(MIP)用于表示帧内预测模式，例如，基于块的帧内预测模式，其可以体现或等同于上述ALWIP所指示(例如，如关于图5至图11所描述)的模式。

在本文档中，对于4:4:4色度格式和单树，提出了对于色度帧内模式是直接模式(DM)模式且亮度帧内模式是MIP模式的色度帧内块，使用该MIP模式来生成帧内色度预测信号。

在直接模式下，色度帧内预测模式例如是从亮度帧内预测模式导出的。例如，色度帧内预测模式等于亮度帧内预测模式。对于亮度帧内预测模式是MIP模式，存在如下例外：其中色度帧内预测模式仅在4:4:4颜色采样格式情况下和在单树的情况下是MIP模式，而在所有其他情况下，色度帧内预测模式是平面模式。4:4:4颜色采样格式表示对每个颜色分量等同地采样的颜色采样格式。

8.1对所提出方法的描述

在当前的VTM中，MIP仅用于亮度分量[3]。如果在色度帧内块上，帧内模式是直接模式(DM)，并且如果位于同一位置的亮度块的帧内模式是MIP模式，则色度块必须使用平面模式来产生帧内预测信号。可以断言，在MIP的情况下对DM模式进行这种处理的主要原因是：对于4:2:0的情况或双树的情况，位于同一位置的亮度块可以具有与色度块不同的形状。因此，由于不能对所有块形状都应用MIP模式，因此，在这种情况下，位于同一位置的亮度块的MIP模式可能不适用于色度块。

另一方面，可以断言，对于色度格式是4:4:4并且使用单树的情况，亮度MIP模式对色度分量的上述不适用性永远不会成立。因此，提出了在这种情况下，如果在帧内块上色度帧内模式是DM模式并且如果亮度帧内模式是MIP模式，则使用该MIP模式来产生色度帧内预测信号。

可以断言所提出的改变是相关的，特别是如果启用了ACT(自适应颜色变换)，因为对于在给定块上使用ACT的情况，色度模式被推断为DM模式。可以断言，特别是对于ACT情况，预测信号跨所有通道的强相关性是有益的，并且如果针对块的所有三个分量使用相同的帧内预测模式，则可以增加这种相关性。可以断言下面报告的实验结果支持该观点，这在于所提出的改变对RGB格式的相机捕捉内容有显著影响，这被断言是主要设计MIP和ACT的情况的交集。

8.2所提出方法的实施例

图12示出了对图片10的预定第二颜色分量块18₂的预测的实施例。基于块的解码器、基于块的编码器和/或用于预测图片10的装置可以被配置为执行该预测。

根据实施例，使用划分方案11’将多于一个颜色分量10₁、10₂和一种颜色采样格式11的图片10划分成块(例如，划分成第一颜色分量块18’₁₁至18’_1n和划分成第二颜色分量块18’₂₁至18’_2n)，根据该颜色采样格式11对每个颜色分量10₁、10₂等同地采样，根据该划分方案11’针对每个颜色分量10₁、10₂对图片10等同地划分。根据颜色采样格式11，每个颜色分量10₁、10₂例如被等同地采样，并且根据划分方案11’，每个颜色分量例如，10₁、10₂以相同的方式被划分。因此，例如，根据划分方案11’，第一颜色分量块18’₁₁至18’_1n具有与第二颜色分量块18’₂₁至18’_2n相同的几何特征，并且根据颜色采样格式11，第一颜色分量块18’₁₁至18’_1n具有与第二颜色分量块18’₂₁至18’_2n相同的采样。该采样由预定的第二颜色分量块18₂和位于同一位置的帧内预测的第一颜色分量块18₁中的采样点指示。

通过针对图片10的帧内预测的第一颜色分量块18’₁₁至18’_1n中的每一个选择帧内预测模式的第一集合508中的一个帧内预测模式来以块为单位解码和/或编码图片10的第一颜色分量10₁，第一集合508包括基于矩阵的帧内预测模式(MIP模式)510₁至510_m，根据该每个基于矩阵的帧内预测模式，通过以下方式来预测块内部18：从与块内部18相邻的参考样本17导出样本值向量514，计算样本值向量514和与各个基于矩阵的帧内预测模式510₁至510_m相关联的预测矩阵516之间的矩阵-向量乘积512以便获得预测向量514，以及基于预测向量514来预测块内部18中的样本。样本值向量514具有例如如关于图6中的样本值向量400所描述的或如关于图8至图11中的另一向量402所描述的特征和/或功能。换言之，基于矩阵的帧内预测510₁至510_m例如如关于图5至图11之一所描述的那样被执行。

可选地，预测向量518的分量的数量小于块内部18中的样本的数量。在这种情况下，通过基于分配给块内部18中的支持样本位置的预测向量518的分量对样本进行插值，来基于预测向量518预测块内部18中的样本。

可选地，取决于相应的帧内预测的第一颜色分量块18₁的块大小来选择由帧内预测模式的第一集合508所包括的基于矩阵的帧内预测模式510₁至510_m，以便作为基于矩阵的帧内预测模式的互不相交子集的集合中的基于矩阵的帧内预测模式的一个子集。与基于矩阵的帧内预测模式的互不相交的子集的集合相关联的预测矩阵516例如是机器学习的，由基于矩阵的帧内预测模式的一个子集包括的预测矩阵516具有互等的大小，并且由针对不同块大小选择的基于矩阵的帧内预测模式的两个子集所包括的预测矩阵516具有相互不同的大小。即，一个子集所包含的预测矩阵具有互等的大小，但不同子集的预测矩阵具有不同的大小。

可选地，与帧内预测模式的第一集合508所包括的基于矩阵的帧内预测模式510₁至510_m相关联的预测矩阵516具有互等的大小并且是机器学习的。

可选地，除了由帧内预测模式的第一集合508所包括的基于矩阵的帧内预测模式510₁至510_m之外，由帧内预测模式的第一集合508所包括的帧内预测模式包括DC模式506、平面模式504和定向模式500₁至500₁。

通过使用针对位于同一位置的帧内预测的第一颜色分量块18₁选择的基于矩阵的帧内预测模式来帧内预测图片10的预定第二颜色分量块18₂，以块为单位解码和/或编码图片10的第二颜色分量10₂。因此，解码器和/或编码器需要能够针对至少一个帧内编码的第二/第三颜色分量块采用MIP模式510₁至510_m。例如，这是在预定的第二颜色分量块18₂的初始预测模式是直接模式的情况下执行的。

在直接模式下，预定的第二颜色分量块18₂的帧内预测模式例如是从位于同一位置的帧内预测的第一颜色分量块18₁的帧内预测模式导出的。例如，预定的第二颜色分量块18₂的帧内预测模式等于位于同一位置的帧内预测的第一颜色分量块18₁的帧内预测模式。换言之，在位于同一位置的帧内预测的第一颜色分量块18₁的帧内预测模式是MIP模式510₁至510_m的情况下，预定的第二颜色分量块18₂也由相同的MIP模式510₁至510_m预测。

根据实施例，如果在数据流中对于预定的第二颜色分量块18₂没有信号通知指示预测模式的索引，则可以推断为直接模式。否则，在数据流中信号通知的模式用于对预定的第二颜色分量块18₂的预测。

换言之，对于图片10的第二颜色分量块18’₂₁至18’_2n中的每一个，可以选择第一选项和第二选项之一。根据第一选项，基于针对位于同一位置的第一颜色分量块18’₁₁至18’_1n而选择的帧内预测模式，导出用于相应的帧内预测的第二颜色分量块18’₂₁至18’_2n的帧内预测模式，以使得在针对位于同一位置的帧内预测的第一颜色分量块18’₁₁至18’_1n而选择的帧内预测模式是基于矩阵的帧内预测模式510₁至510_m之一的情况下用于相应的第二颜色分量块18’₂₁至18’_2n的帧内预测模式等于针对位于同一位置的帧内预测的第一颜色分量块18’₁₁至18’_1n而选择的预测模式。在针对位于同一位置的帧内预测的第一颜色分量块18’₁₁至18’_1n而选择帧内预测模式是除了基于矩阵的帧内预测模式510₁至510_m之外的其他帧内预测模式(如平面帧内预测模式504、DC帧内预测模式506和/或定向帧内预测模式500₁至500₁)之一的情况下，相应的第二颜色分量块18’₂₁至18’_2n的帧内预测模式也可以等于针对位于同一位置的帧内预测的第一颜色分量块18’₁₁至18’_1n而选择的帧内预测模式。第一选项可以表示直接模式。根据第二选项，基于数据流中存在的用于相应的第二颜色分量块18’₂₁至18’_2n的帧内模式索引来选择用于相应的第二颜色分量块18’₂₁至18’_2n的帧内预测模式。可选地，除了数据流中存在的用于位于同一位置的帧内预测的第一颜色分量块18’₁₁至18’_1n的其他帧内模式索引之外，帧内模式索引存在于数据流中以用于从帧内预测模式的第一集合508中进行选择。数据流中存在的用于相应的第二颜色分量块18’₂₁至18’_2n的帧内模式索引指示例如帧内预测模式的第一集合508中要被选择用于预测相应的第二颜色分量块18’₂₁至18’_2n的预测模式。

根据实施例，用于预测图片的预定块的装置、基于块的解码器和/或基于块的编码器被配置为：在图片10的4:4:4颜色采样格式11的情况下和在预定的第二颜色分量块18₂的预测模式是直接模式的情况下，针对预定的第二颜色分量块18₂使用与针对位于同一位置的帧内预测的第一颜色分量块18₁相同的MIP模式510₁至510_m，其中位于同一位置的帧内预测的第一颜色分量块18₁和预定的第二颜色分量块18₂表示与不同颜色分量(即，第一颜色分量和第二颜色分量)相关联的预定块。位于同一位置的帧内预测的第一颜色分量块18₁和预定的第二颜色分量块18₂包括例如相同的几何特征和图片10中的相同空间定位。换言之，第一颜色分量编码树(例如，亮度编码树)等于第二颜色分量编码树(例如，色度编码树)。使用例如单树。针对每个颜色分量10₁、10₂对图片10等同地划分。划分方案11’定义例如图片10的单树处理。

根据实施例，图片10的双树处理也是可能的。双树处理可以与其他划分方案11’相关联，根据该其他划分方案11’，使用数据流中的第一划分信息针对第一颜色分量10₁对图片10进行划分，并且使用数据流中存在的与第一划分信息分开的第二划分信息针对第二颜色分量10₂对图片10进行划分。

在双树或非单树的情况下，用于预测图片的预定块的装置、基于块的解码器和/或基于块的编码器例如被配置为：在位于同一位置的帧内预测的第一颜色分量块18₁的预测模式是MIP模式510₁至510_m并且预定的第二颜色分量块18₂的预测模式是直接模式情况下，使用平面帧内预测模式504。然而，在位于同一位置的帧内预测的第一颜色分量块18₁的预测模式不是MIP模式，例如位于同一位置的帧内预测的第一颜色分量块18₁的预测模式是DC帧内预测模式506、平面帧内预测模式504或定向帧内预测模式500₁至500₁(例如，角度帧内预测模式)，并且预定的第二颜色分量块18₂的预测模式是直接模式的情况下，预定的第二颜色分量块18₂的预测模式等于位于同一位置的帧内预测的第一颜色分量块18₁的预测模式。这也适用于使用单树但不是4:4:4颜色采样格式11的情况，例如，使用4:1:1颜色采样格式11、4:2:2颜色采样格式11、或4:2:0颜色采样格式11的情况。

颜色采样格式11可以由x:y:z来表示，其中，第一数字x例如指颜色分量块18’的大小，而后面的两个数字y和z都指第二颜色分量样本和/或第三颜色分量样本。它们，即y和z，都与第一数字相关，并分别定义水平采样和竖直采样。4:4:4的信号没有压缩(因此它不是子采样的)并且完全地传输第一颜色分量数据和其他颜色分量数据两者，例如第二颜色分量样本和/或第三颜色分量样本，即色度样本。在像素的四乘二阵列中，4:2:2具有4:4:4的一半色度样本，而4:2:0和4:1:1具有四分之一的色度信息可用。4:2:2信号在水平方向上将具有一半采样率，但在竖直方向上将保持全采样。另一方面，4:2:0将仅对第一行上的一半像素的颜色进行采样，并完全忽略第二行样本，而4:1:1将仅对样本的第一行上的一个像素的颜色和第二行上的一个像素的颜色进行采样，即4:1:1信号在水平方向上将具有四分之一采样率，但在竖直方向上将保持全采样。

根据实施例，用于预测图片的预定块的装置、基于块的解码器和/或基于块的编码器被配置为：在位于同一位置的帧内预测的第一颜色分量块18₁的预测模式不是MIP模式510₁至510_m，例如是DC帧内预测模式506、平面帧内预测模式504或定向帧内预测模式500₁至500₁，并且预定的第二颜色分量块18₂的预测模式是直接模式的情况下，独立于颜色采样格式11和/或独立于图片10的针对每个颜色分量的划分方案，即使用单树或双树，使用位于同一位置的帧内预测的第一颜色分量块18₁的预测模式作为预定的第二颜色分量块的预测模式。

在DC帧内预测模式506中，例如，一个值(准DC值)是基于在空间上与预定块18(例如，位于同一位置的帧内预测的第一颜色分量块18₁和/或预定的第二颜色分量块18₂)相邻的相邻样本17导出的，并且将该一个DC值归属于预定块18的所有样本以便获得帧内预测信号。

在平面帧内预测模式504中，例如，由水平斜率、竖直斜率和偏移量定义的二维线性函数是基于在空间上与预定块18(例如，位于同一位置的帧内预测的第一颜色分量块18₁和/或预定的第二颜色分量块18₂)相邻的相邻样本17导出的，其中该线性函数定义了预定块18的预测样本值。

在定向帧内预测模式500₁至500₁(例如，角度帧内预测模式)中，与预定块18(例如，位于同一位置的帧内预测的第一颜色分量块18₁和/或预定的第二颜色分量块18₂)相邻的参考样本17用于填充预定块18以便获得预定块18的帧内预测信号。具体地，可以沿着预定块18的边界(例如沿着预定块18的上边缘和左手边缘)布置的参考样本17表示沿着预定方向502外推或复制到该预定块18内部的图片内容。在外推或复制之前，由相邻样本17表示的图片内容可以经过插值滤波，或者换言之，可以通过插值滤波的方式从相邻样本17导出。角度帧内预测模式500₁至500₁在帧内预测方向502上相互不同。每个角度帧内预测模式500₁至500₁可以具有关联的索引，其中索引与角度帧内预测模式500₁至500₁的关联可以使得当根据关联的模式索引对角度帧内预测模式进行排序时方向502单调地顺时针或逆时针旋转。

图13更详细地示出了根据不同的划分方案和颜色采样格式对图片10的预定第二颜色分量块18₂的预测。

针对图片10a、其他图片10b和又其他图片10c示出了预测，其中，针对不同的图片设置了不同的条件。

根据实施例，一种装置，例如基于块的解码器、基于块的编码器和/或用于预测图片的装置，包括或能够访问划分方案11’的集合以选择和/或获得用于图片10的划分方案。划分方案的集合11’包括：划分方案11’₁，即第一划分方案，根据该划分方案11’₁针对每个颜色分量10₁、10₂对图片10等同地划分；以及可选地，其他划分方案11’₂，根据该其他划分方案11’₂，使用数据流12中的第一划分信息11’_2a针对第一颜色分量10₁对图片10进行划分，并且使用数据流12中存在的与第一划分信息11’_2a分开的第二划分信息11’_2b针对第二颜色分量10₂对图片10进行划分。第一划分方案11’₁可以表示对图片10的单树处理，而其他划分方案11’₂可以表示对图片的双树处理。

在其他划分方案11’₂中，以不同于第二颜色分量10₂的方式对第一颜色分量10₁进行划分。颜色分量10₁、10₂之一可以被细分，而另一颜色分量10₁、10₂可以被粗略地划分。第二颜色分量块18’₂₁至18’₂₄的边界与第一颜色分量块18’₁₁至18’₁₁₆的边界不位于同一位置也有可能的。第二色分量块18’₂₁至18’₂₄的边界可以通过第一色分量块18’₁₁至18’₁₁₆块的内部，如10_2alternative或在其他图片10b的划分中所示。

对于图片10a，可以应用与关于图12所描述的预测相同的预测，其中，第一划分方案11’₁是从划分方案集合11’中选择的，并且其中，使用对每个颜色分量10a₁、10a₂等同地采样的颜色采样格式。

图13中的装置例如被配置为：针对图片10a的帧内预测的第二颜色分量块中的每一个来选择第一选项和第二选项之一。根据第一选项，基于针对位于同一位置的帧内预测的第一颜色分量块18a₁而选择的帧内预测模式，导出用于相应的帧内预测的第二颜色分量块(例如，用于预定的第二颜色分量块18a₂)的帧内预测模式，使得在针对位于同一位置的帧内预测的第一颜色分量块18a₁而选择的帧内预测模式是基于矩阵的帧内预测模式510₁至510_m之一的情况下，用于相应的帧内预测的第二颜色分量块18a₂的帧内预测模式等于针对位于同一位置的帧内预测的第一颜色分量块18a₁而选择的预测模式，如图12所示。根据第二选项，基于数据流12中存在的用于相应的帧内预测的第二颜色分量块18a₂的帧内模式索引509来选择用于相应的帧内预测的第二颜色分量块18a₂的帧内预测模式。除了数据流12中存在的用于位于同一位置的帧内预测的第一颜色分量块18a₁的其他帧内模式索引507之外，帧内模式索引509例如也存在于数据流12中，用于从帧内预测模式的第一集合中进行选择。

可选地，该装置被配置为：使用其他划分方案11’₂将多于一个颜色分量10b₁、10b₂和具有颜色采样格式的其他图片10b划分成其他块，根据该颜色采样格式对每个颜色分量等同地采样，因此，第一颜色分量10b₁具有与第二颜色分量10b₂相同的颜色采样，但块尺寸不同。如图13所示，其他图片10b的预定的其他第二颜色分量块18b₂具有例如其他图片10b的位于同一位置的其他第一颜色分量块18b₁的尺寸的四分之一。例如，其他图片10b以4:4:4颜色采样格式进行采样。

在使用其他划分方案11’₂的情况下，预定的其他第二颜色分量块18b₂的位于同一位置的其他第一颜色分量块18b₁是例如基于位于块18b₁和18b₂两者中的像素确定的。根据实施例，该像素位于预定的其他第二颜色分量块18b₂的左上角、右上角、左下角、右下角和/或中间。

通过针对其他图片10b的帧内预测的其他第一颜色分量块18b₁中的每一个选择帧内预测模式的第一集合中的一个帧内预测模式，来以块为单位解码其他图片10b的其他第一颜色分量10b₁。

对于其他图片10b的帧内预测的其他第二颜色分量块中的每一个，可以选择第一选项和第二选项之一。根据第一选项，基于针对位于同一位置的其他第一颜色分量块18b₁而选择的帧内预测模式，导出用于相应的帧内预测的其他第二颜色分量块(例如，预定的其他第二颜色分量块18b₂)的帧内预测模式，使得在针对位于同一位置的其他第一颜色分量块18b₁而选择的帧内预测模式是基于矩阵的帧内预测模式510₁至510_m之一的情况下，用于相应的帧内预测的其他第二颜色分量块186₂的帧内预测模式等于平面帧内预测模式504。在针对位于同一位置的其他第一颜色分量块18b₁选择的帧内预测模式不是基于矩阵的帧内预测模式510₁至510_m之一(例如，帧内预测模式是平面帧内预测模式504、DC帧内预测模式506、或定向帧内预测模式500₁至500₁)的情况下，用于相应的帧内预测的其他第二颜色分量块18b₂的预测模式等于针对位于同一位置的其他第一颜色分量块18b₁而选择的帧内预测模式。根据第二选项，基于数据流12中存在的用于相应的帧内预测的其他第二颜色分量块18b₂的帧内模式索引509来选择用于相应的帧内预测的其他第二颜色分量块18b₂的帧内预测模式。除了数据流12中存在的用于位于同一位置的帧内预测的其他第一颜色分量块18b₁的其他帧内模式索引507₂之外，帧内模式索引509₂例如存在于数据流12中用于从帧内预测模式的第一集合中进行选择。

可选地，该装置被配置为：对多于一个颜色分量10₁、10₂和具有不同颜色采样格式的又其他图片10c进行划分，根据该不同颜色采样格式，不同地对多于一个颜色分量10₁、10₂进行采样。如图13所示，以与第二颜色分量10c₂不同的方式对第一颜色分量10c₁进行采样。采样由采样点指示。根据图13所示的实施例，根据4:2:1颜色采样格式对又其他图片进行采样。但很明显，除了4:4:4颜色采样格式之外，也可以使用其他颜色采样格式。示出了对于第一划分方案11’₁的使用为一次，并且对于其他划分方案11’₂的使用为一次。独立于划分方案11’，可以执行对又其他图片10c的以下预测。

通过针对又其他图片10c的帧内预测的又其他第一颜色分量块中的每一个选择帧内预测模式的第一集合508中的一个帧内预测模式，来以块为单位解码又其他图片10c的第一颜色分量10c₁。

此外，例如，该装置被配置为：针对又其他图片10c的帧内预测的又其他第二颜色分量块中的每一个来选择第一选项和第二选项之一。根据第一选项，基于针对位于同一位置的又其他第一颜色分量块18c₁而选择的帧内预测模式，导出用于相应的帧内预测的又其他第二颜色分量块18c₂的帧内预测模式，使得在针对位于同一位置的又其他第一颜色分量块18c₁而选择的帧内预测模式是基于矩阵的帧内预测模式510₁至510_m之一的情况下，用于相应的帧内预测的又其他第二颜色分量块18c₂的帧内预测模式等于平面帧内预测模式504。在针对位于同一位置的又其他第一颜色分量块18c₁而选择的帧内预测模式不是基于矩阵的帧内预测模式510₁至510_m之一(例如，帧内预测模式是平面帧内预测模式504、DC帧内预测模式506、或定向帧内预测模式500₁至500₁)的情况下，用于相应的帧内预测的又其他第二颜色分量块18c₂的预测模式等于针对位于同一位置的其他第一颜色分量块18c₁而选择的帧内预测模式。根据第二选项，基于数据流中存在的用于相应的帧内预测的又其他第二颜色分量块18c₂的帧内模式索引509₃来选择用于相应的帧内预测的又其他第二颜色分量块18c₂的帧内预测模式。可选地，除了数据流12中存在的用于位于同一位置的帧内预测的又其他第一颜色分量块18c₁的又其他帧内模式索引507₃之外，帧内模式索引509₃存在于数据流12中用于从帧内预测模式的第一集合中进行选择。

根据实施例，如果残差编码颜色变换模式在数据流12中被用信号通知针对相应的帧内预测的第二颜色分量块18a₂、相应的帧内预测的其他第二颜色分量块18b₂和/或相应的帧内预测的又其他第二颜色分量块18c₂是去激活的，例如ACT(自适应颜色变换)是去激活的，从第一选项和第二选项中进行的选择取决于数据流12中存在的用于块18a₂、18b₂和/或18c₂的信号通知。如果残差编码颜色变换模式在数据流12中被用信号通知针对块18a₂、18b₂和/或18c₂是激活的，例如ACT(自适应颜色变换)是激活的，则不需要信号通知。在这种情况下，即残差编码颜色变换模式被用信号通知针对块18a₂、18b₂和/或18c₂是激活的，例如ACT(自适应颜色变换)是激活的，该装置可以被配置为推断将选择第一选项。

对于在给定块上使用ACT的情况，色度模式例如被推断为DM模式，即第一选项。可以断言，特别是对于ACT情况，预测信号跨所有通道的强相关性是有益的，并且如果针对块的所有三个分量使用相同的帧内预测模式，则可以增加这种相关性。可以断言下面报告的实验结果支持该观点，因为所提出的改变对RGB格式的相机捕捉内容有显著影响，这被断言是主要设计MIP和ACT所针对的情况的交集。

8.3实验结果

在本节中，针对4:4:4，根据共同的测试条件来报告实验结果。在表1和表2中，针对所提出的改变，分别针对AI和RA配置报告了与VTM-7.0锚相比的结果。在具有Linux OS和GCC 7.2.1编译器的Intel Xeon集群(E5-2697Av4，AVX2开启，英特尔睿频加速技术(turboboost)关闭)上进行对应的模拟。根据CE-8条件报告针对RGB和YUV的结果。单树始终启用，因为对于单树关闭，所提出的改变不会改变比特流。

表1、所提出的改变的RGB结果：参考是VTM-8.0锚，测试是具有所提出的改变、AI配置的VTM-8.0。在锚和测试中启用单树。

	G	R	B	enc时间	dec时间
						TGM 1080	-0,05％	-0,05％	-0,03％	100％	101％
TGM 720	-0,49％	-0,35％	-0,31％	99％	102％
						动画	-1,08％	-1,10％	-0,95％	101％	99％
混合的	-0,81％	-0,74％	-0,65％	98％	99％
						相机捕捉的	-3,30％	-0,94％	-1,34％	95％	98％
总体	-0,88％	-0,49％	-0,49％	99％	101％
						TGM 1080	-0,05％	-0,05％	-0,03％	100％	101％
TGM 720	-0,49％	-0,35％	-0,31％	99％	102％

表2、所提出的改变的RGB结果：参考是VTM-8.0锚，测试是具有所提出的改变、RA配置的VTM-8.0。在锚和测试中启用单树。

表3、所提出的改变的YUV结果：参考是VTM-8.0锚，测试是具有所提出的改变、AI配置的VTM-8.0。在锚和测试中启用单树。

表4、所提出的改变的YUV结果：参考是VTM-8.0锚，测试是具有所提出的改变、RA配置的VTM-8.0。在锚和测试中启用单树。

	Y	U	V	enc时间	dec时间
						TGM 1080	0,04％	0,03％	-0,01％	100％	103％
TGM 720	-0,03％	0,06％	-0,08％	100％	98％
						动画	-0,07％	-0,15％	-0,16％	99％	99％
混合的	-0,14％	-0,15％	-0,26％	100％	102％
						相机捕捉的	-0,08％	-0,13％	-0,09％	99％	101％
总体	-0,05％	-0,05％	-0,11％	100％	100％
						TGM1080	0,04％	0,03％	-0,01％	100％	103％
TGM 720	-0,03％	0,06％	-0,08％	100％	98％

8.4结论

在本文档中，提出了在4:4:4内容和单树的情况下针对所有三个通道启用MIP。对于这种情况，如果在帧内块上亮度分量使用MIP模式并且如果色度帧内模式是DM模式，则提出使用该MIP模式产生色度帧内预测信号。提出了在VVC的下一工作草案中采用本文档中描述的技术。

9.参考文献

[1]P.Helle et al.，“Non-linear weighted intra prediction”，JVET-L0199，Macao，China，October 2018。

[2]F.Bossen，J.Boyce，K.Suehring，X.Li，V.Seregin，“JVET common testconditions and software reference configurations for SDR video”，JVET-K1010，Ljubljana，SI，July 2018。

[3]B.Bross，J.Chen，S.Liu，Y.-K.Wang，Verstatile Video Coding(Draft 7)，Document JVET-P2001，Version 14，Geneva，Switzerland，October 2019。

[…]针对4:4:4的共同测试条件。

其他实施例和示例

通常，示例可以实现为具有程序指令的计算机程序产品，程序指令可操作以在计算机程序产品在计算机上运行时执行方法之一。程序指令可以例如存储在机器可读介质上。

其他示例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。

换言之，方法示例因此是具有程序指令的计算机程序，该程序指令用于在计算机程序在计算机上运行时执行本文所述的方法之一。

因此，方法的另一示例是其上记录有计算机程序的数据载体介质(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体介质、数字存储介质或记录介质是有形和/或非瞬时性的，而不是无形和瞬时性的信号。

因此，方法的另一示例是表示用于执行本文所述方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如经由数据通信连接(例如，经由互联网)传送。

另一示例包括执行本文所述的方法之一的处理装置，例如，计算机或可编程逻辑器件。

另一示例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。

另一示例包括向接收方(例如，以电子方式或以光学方式)传送计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收方可以是例如计算机、移动设备、存储器设备等。该装置或系统可以例如包括用于向接收方传送计算机程序的文件服务器。

在一些示例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些示例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，这些方法可以由任何适当硬件装置执行。

上述示例对于以上公开的原理仅是说明性的。应当理解，本文中描述的布置和细节的修改和变化将是显而易见的。因此，旨在由所附权利要求的范围来限制而不是由借助对本文示例的描述和解释所给出的具体细节来限制。

Claims

1.一种基于块的解码器，被配置为：

使用划分方案(11’₁)将具有多于一个颜色分量(10₁、10₂)并具有颜色采样格式的图片(10)划分成块，其中根据所述颜色采样格式对每个颜色分量(10₁、10₂)等同地采样，根据所述划分方案(11’₁)针对每个颜色分量(10₁、10₂)等同地划分所述图片(10)，

通过针对所述图片(10)的帧内预测的第一颜色分量块(18’₁₁至18’_1n)中的每一个选择帧内预测模式的第一集合(508)中的一个帧内预测模式，以块为单位解码所述图片(10)的第一颜色分量(10₁)，所述第一集合(508)包括基于矩阵的帧内预测模式(510₁至510_m)，其中根据每个基于矩阵的帧内预测模式，通过以下方式来预测块内部(18)：从与所述块内部(18)相邻的参考样本(17)导出样本值向量(514)，计算所述样本值向量(514)和与相应的基于矩阵的帧内预测模式(510₁至510_m)相关联的预测矩阵(516)之间的矩阵-向量乘积(512)，以便获得预测向量(518)，以及基于所述预测向量(518)来预测所述块内部(18)中的样本，

通过使用针对位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的基于矩阵的帧内预测模式对所述图片的预定的第二颜色分量块(18₂)进行帧内预测，以块为单位解码所述图片(10)的第二颜色分量(10₂)。

2.根据权利要求1所述的基于块的解码器，其中，所述预测向量(518)的分量的数量小于所述块内部(18)中的样本的数量，并且所述基于块的解码器被配置为：

通过基于分配给所述块内部(18)中的支持样本位置的预测向量(518)的分量对所述块内部(18)中的样本进行插值，来基于所述预测向量(518)预测所述块内部(18)中的样本。

3.根据权利要求1或2所述的基于块的解码器，被配置为：

针对所述图片的帧内预测的第二颜色分量块(18’₂₁至18’_2n)中的每个第二颜色分量块选择以下之一：

第一选项，根据所述第一选项，基于针对位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的帧内预测模式，导出针对相应的帧内预测的第二颜色分量块(18₂)的帧内预测模式，使得在针对所述位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的帧内预测模式是所述基于矩阵的帧内预测模式(510₁至510m)之一的情况下针对所述相应的帧内预测的第二颜色分量块(18₂)的帧内预测模式等于针对所述位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的帧内预测模式，以及

第二选项，根据所述第二选项，基于数据流中存在的针对相应的帧内预测的第二颜色分量块(18₂)的帧内模式索引，来选择针对所述相应的帧内预测的第二颜色分量块(18₂)的帧内预测模式。

4.根据权利要求1至3之一所述的基于块的解码器，被配置为使得：取决于相应的帧内预测的第一颜色分量块的块尺寸来选择由帧内预测模式的第一集合(508)所包括的基于矩阵的帧内预测模式(510₁至510_m)，以便作为基于矩阵的帧内预测模式(510₁至510_m)的互不相交子集的集合之中的基于矩阵的帧内预测模式(510₁至510_m)的一个子集。

5.根据权利要求4所述的基于块的解码器，其中，与基于矩阵的帧内预测模式(510₁至510_m)的互不相交的子集的集合相关联的预测矩阵是机器学习的，由基于矩阵的帧内预测模式的一个子集包括的预测矩阵具有互等的大小，并且由针对不同块大小选择的基于矩阵的帧内预测模式的两个子集所包括的预测矩阵具有相互不同的大小。

6.根据前述权利要求中任一项所述的基于块的解码器，被配置为使得：与由帧内预测模式的第一集合(508)所包括的基于矩阵的帧内预测模式(510₁至510_m)相关联的预测矩阵具有互等的大小并且是机器学习的。

7.根据前述权利要求中任一项所述的基于块的解码器，被配置为使得：除了由帧内预测模式的第一集合(508)所包括的基于矩阵的帧内预测模式(510₁至510_m)之外，由帧内预测模式的第一集合(508)所包括的帧内预测模式还包括DC模式、平面模式和定向模式。

8.根据前述权利要求中任一项所述的基于块的解码器，被配置为：

从划分方案集合(11’)中选择所述划分方案(11’₁、11’₂)，划分方案集合(11’)包括其他划分方案(11’₂)，其中根据所述其他划分方案(11’₂)，使用数据流中的第一划分信息(11’_2a)针对所述第一颜色分量(10₁)对所述图片进行划分，并且使用数据流中存在的与所述第一划分信息分开的第二划分信息(11’_2b)针对所述第二颜色分量(10₂)对所述图片进行划分。

9.根据权利要求8所述的基于块的解码器，被配置为：

针对所述图片(10a)的帧内预测的第二颜色分量块(18’₂₁至18’_2n)中的每个第二颜色分量块选择以下之一：

第一选项，根据所述第一选项，基于针对位于同一位置的帧内预测的第一颜色分量块(18a₁)而选择的帧内预测模式，导出针对相应的帧内预测的第二颜色分量块(18a₂)的帧内预测模式，使得在针对所述位于同一位置的帧内预测的第一颜色分量块(18a₁)而选择的帧内预测模式是所述基于矩阵的帧内预测模式(510₁至510_m)之一的情况下，针对所述相应的帧内预测的第二颜色分量块(18a₂)的帧内预测模式等同于针对所述位于同一位置的帧内预测的第一颜色分量块(18a₁)而选择的帧内预测模式，以及

第二选项，根据所述第二选项，基于所述数据流中存在的针对所述相应的帧内预测的第二颜色分量块(18a₂)的帧内模式索引(509)，来选择针对所述相应的帧内预测的第二颜色分量块(18a₂)的帧内预测模式，

使用所述其他划分方案(11’₂)将具有多于一个颜色分量(10b₁、10b₂)并具有颜色采样格式的其他图片(10b)划分成其他块，其中根据所述颜色采样格式对每个颜色分量(10b₂、10b₂)等同地采样，

通过针对所述其他图片(10b)的帧内预测的其他第一颜色分量块(18b₁)中的每一个选择帧内预测模式的第一集合(508)中的一个帧内预测模式，以其他块为单位解码所述其他图片(10b)的第一颜色分量(10b₁)，

针对所述其他图片(10b)的帧内预测的其他第二颜色分量块(18b₂)中的每个其他第二颜色分量块选择以下之一：

第一选项，根据所述第一选项，基于针对位于同一位置的其他第一颜色分量块(18b₁)而选择的帧内预测模式，导出针对相应的帧内预测的其他第二颜色分量块(18b₂)的帧内预测模式，使得在针对所述位于同一位置的其他第一颜色分量块(18b₁)而选择的帧内预测模式是所述基于矩阵的帧内预测模式(510₁至510_m)之一的情况下，针对所述相应的帧内预测的其他第二颜色分量块(18b₂)的帧内预测模式等同于平面帧内预测模式，以及

第二选项，根据所述第二选项，基于所述数据流中存在的针对所述相应的帧内预测的其他第二颜色分量块(18b₂)的帧内模式索引，来选择针对所述相应的帧内预测的其他第二颜色分量块(18b₂)的帧内预测模式。

10.根据前述权利要求中任一项所述的基于块的解码器，被配置为：

第二选项，根据所述第二选项，基于所述数据流中存在的针对所述相应的帧内预测的第二颜色分量块(18a₂)的帧内模式索引，来选择针对相应的帧内预测的第二颜色分量块(18a₂)的帧内预测模式，

对具有多于一个颜色分量(10c₁、10c₂)并具有不同颜色采样格式的又其他图片(10c)进行划分，其中根据所述不同颜色采样格式，对所述多于一个颜色分量(10c₁、10c₂)不同地采样，

通过针对所述又其他图片(10c)的帧内预测的又其他第一颜色分量块(18c₁)中的每一个选择帧内预测模式的第一集合(508)中的一个帧内预测模式，以又其他块为单位解码所述又其他图片(10c)的第一颜色分量(10c₁)，

针对所述又其他图片(10c)的帧内预测的又其他第二颜色分量块(18c₂)中的每个又其他第二颜色分量块选择以下之一：

第一选项，根据所述第一选项，基于针对位于同一位置的又其他第一颜色分量块(18c₁)而选择的帧内预测模式，导出针对相应的帧内预测的又其他第二颜色分量块(18c₂)的帧内预测模式，使得在针对所述位于同一位置的又其他第一颜色分量块(18c₁)而选择的帧内预测模式是所述基于矩阵的帧内预测模式(510₁至510_m)之一的情况下，针对所述相应的帧内预测的又其他第二颜色分量块(18c₂)的帧内预测模式等同于平面帧内预测模式，以及

第二选项，根据所述第二选项，基于所述数据流中存在的针对所述相应的帧内预测的又其他第二颜色分量块(18c₂)的帧内模式索引，来选择针对所述相应的帧内预测的又其他第二颜色分量块(18c₂)的帧内预测模式。

11.根据权利要求10所述的基于块的解码器，被配置为：

从划分方案集合(11’)中选择所述划分方案(11’₁、11’₂)，划分方案集合(11’)包括其他划分方案(11’₂)，其中根据所述其他划分方案(11’₂)，使用数据流中的第一划分信息(11’₂a)针对所述第一颜色分量(10₁)对所述图片进行划分，并且使用数据流中存在的与所述第一划分信息分开的第二划分信息(11’_2b)，针对所述第二颜色分量(10₂)对所述图片进行划分；

使用所述划分方案(11’₁)或所述其他划分方案(11’₂)对具有多于一个颜色分量(10₁、10₂)的所述又其他图片(10c)进行划分。

12.根据权利要求3至11所述的基于块的解码器，被配置为：

如果数据流中将残差编码颜色变换模式信号通知为针对相应的帧内预测的第二颜色分量块(18₂)是去激活的，则取决于所述数据流中存在的针对所述相应的帧内预测的第二颜色分量块(18₂)的信号通知来从所述第一选项和所述第二选项中执行选择，并且如果所述数据流中将所述残差编码颜色变换模式信号通知为针对所述相应的帧内预测的第二颜色分量块(18₂)是激活的，则通过推断要选择所述第一选项来从所述第一选项和所述第二选项中执行选择。

13.一种基于块的编码器，被配置为：

通过针对所述图片(10)的帧内预测的第一颜色分量块(18’₁₁至18’_1n)中的每一个选择帧内预测模式的第一集合(508)中的一个帧内预测模式，以块为单位将所述图片(10)的第一颜色分量(10₁)编码到数据流中，所述第一集合(508)包括基于矩阵的帧内预测模式(510₁至510_m)，其中根据每个基于矩阵的帧内预测模式，通过以下方式来预测块内部(18)：从与所述块内部(18)相邻的参考样本(17)导出样本值向量(514)，计算所述样本值向量(514)和与相应的基于矩阵的帧内预测模式(510₁至510_m)相关联的预测矩阵(516)之间的矩阵-向量乘积(512)，以便获得预测向量(518)，以及基于所述预测向量(518)来预测所述块内部(18)中的样本，

通过使用针对位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的基于矩阵的帧内预测模式，对所述图片的预定的第二颜色分量块(18₂)进行帧内预测，来以块为单位编码所述图片(10)的第二颜色分量(10₂)。

14.根据权利要求13所述的基于块的编码器，其中，所述预测向量(518)的分量的数量小于所述块内部(18)中的样本的数量，并且所述基于块的编码器被配置为：

15.根据权利要求13或14所述的基于块的编码器，被配置为：

第一选项，根据所述第一选项，基于针对位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的帧内预测模式，导出针对相应的帧内预测的第二颜色分量块(18₂)的帧内预测模式，使得在针对所述位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的帧内预测模式是所述基于矩阵的帧内预测模式(510₁至510_m)之一的情况下，针对所述相应的帧内预测的第二颜色分量块(182)的帧内预测模式等同于针对所述位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的帧内预测模式，以及

第二选项，根据所述第二选项，基于数据流中信号通知的针对所述相应的帧内预测的第二颜色分量块(18₂)的帧内模式索引，来选择用于所述相应的帧内预测的第二颜色分量块(18₂)的帧内预测模式。

16.根据权利要求13至15之一所述的基于块的编码器，被配置为使得：取决于所述相应的帧内预测的第一颜色分量块的块尺寸，来选择由帧内预测模式的第一集合(508)所包括的基于矩阵的帧内预测模式(510₁至510_m)，以便作为基于矩阵的帧内预测模式(510₁至510_m)的互不相交子集的集合中的基于矩阵的帧内预测模式(510₁至510_m)的一个子集。

17.根据权利要求16所述的基于块的编码器，其中，与基于矩阵的帧内预测模式(510₁至510_m)的互不相交的子集的集合相关联的预测矩阵是机器学习的，由基于矩阵的帧内预测模式的一个子集包括的预测矩阵具有互等的大小，并且由针对不同块大小而选择的基于矩阵的帧内预测模式的两个子集所包括的预测矩阵具有相互不同的大小。

18.根据前述权利要求中任一项所述的基于块的编码器，被配置为使得：与由帧内预测模式的第一集合(508)所包括的基于矩阵的帧内预测模式(510₁至510_m)相关联的预测矩阵具有互等的大小并且是机器学习的。

19.根据前述权利要求中任一项所述的基于块的编码器，被配置为使得：除了由帧内预测模式的第一集合(508)所包括的基于矩阵的帧内预测模式(510₁至510_m)之外，由帧内预测模式的第一集合(508)所包括的帧内预测模式还包括DC模式、平面模式和定向模式。

20.根据前述权利要求中任一项所述的基于块的编码器，被配置为：

从划分方案集合(11’)中选择所述划分方案(11’₁、11’₂)，划分方案集合(11’)包括其他划分方案(11’₂)，其中根据所述其他划分方案(11’₂)，使用数据流中的第一划分信息(11’_2a)针对所述第一颜色分量(10₁)对所述图片进行划分，并且使用数据流中信号通知的与所述第一划分信息分开的第二划分信息(11’_2b)，针对所述第二颜色分量(10₂)对所述图片进行划分。

21.根据权利要求20所述的基于块的编码器，被配置为：

第一选项，根据所述第一选项，基于针对位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的帧内预测模式，导出针对相应的帧内预测的第二颜色分量块(18₂)的帧内预测模式，使得在针对所述位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的帧内预测模式是所述基于矩阵的帧内预测模式(510₁至510_m)之一的情况下，针对所述相应的帧内预测的第二颜色分量块(18₂)的帧内预测模式等同于针对所述位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的帧内预测模式，以及

第二选项，根据所述第二选项，基于所述数据流中信号通知的针对所述相应的帧内预测的第二颜色分量块(18₂)的帧内模式索引，来选择针对所述相应的帧内预测的第二颜色分量块(18₂)的帧内预测模式；

使用所述其他划分方案(11’₂)将具有多于一个颜色分量(10₁、10₂)并具有颜色采样格式的其他图片(10b)划分成其他块，其中根据所述颜色采样格式对每个颜色分量(10₂、10₂)等同地采样，

通过针对所述其他图片(10b)的帧内预测的其他第一颜色分量块(18b₁)中的每一个选择帧内预测模式的第一集合(508)中的一个帧内预测模式，以其他块为单位编码所述其他图片(10b)的第一颜色分量(10₁)，

针对所述其他图片(10b)的帧内预测的其他第二颜色分量块(186₂)中的每个其他第二颜色分量块选择以下之一：

第一选项，根据所述第一选项，基于针对位于同一位置的其他第一颜色分量块(18b₁)而选择的帧内预测模式，导出针对相应的帧内预测的其他第二颜色分量块(186₂)的帧内预测模式，使得在针对所述位于同一位置的其他第一颜色分量块(18b₁)而选择的帧内预测模式是所述基于矩阵的帧内预测模式(510₁至510m)之一的情况下，针对所述相应的帧内预测的其他第二颜色分量块(18b₂)的帧内预测模式等同于平面帧内预测模式，以及

第二选项，根据所述第二选项，基于所述数据流中信号通知的针对所述相应的帧内预测的其他第二颜色分量块(18b₂)的帧内模式索引，来选择针对所述相应的帧内预测的其他第二颜色分量块(18b₂)的帧内预测模式。

22.根据前述权利要求中任一项所述的基于块的编码器，被配置为：

第二选项，根据所述第二选项，基于所述数据流中信号通知的针对所述相应的帧内预测的第二颜色分量块(18₂)的帧内模式索引，来选择针对所述相应的帧内预测的第二颜色分量块(18₂)的帧内预测模式，

对具有多于一个颜色分量(10₁、10₂)并具有不同颜色采样格式的又其他图片(10c)进行划分，其中根据所述不同颜色采样格式，对所述多于一个颜色分量(10₁、10₂)不同地采样，

通过针对所述又其他图片(10c)的帧内预测的又其他第一颜色分量块(18c₁)中的每一个选择帧内预测模式的第一集合(508)中的一个帧内预测模式，以又其他块为单位编码所述又其他图片(10c)的第一颜色分量(10₁)，

第二选项，根据所述第二选项，基于所述数据流中信号通知的针对所述相应的帧内预测的又其他第二颜色分量块(18c₂)的帧内模式索引，来选择针对所述相应的帧内预测的又其他第二颜色分量块(18c₂)的帧内预测模式。

23.根据权利要求22所述的基于块的编码器，被配置为：

从划分方案集合(11’)中选择所述划分方案(11’₁、11’₂)，划分方案集合(11’)包括其他划分方案(11’₂)，其中根据所述其他划分方案(11’₂)，使用数据流中信号通知的第一划分信息(11’_2a)针对所述第一颜色分量(10₁)对所述图片进行划分，并且使用所述数据流中信号通知的与所述第一划分信息分开的第二划分信息(11’_2b)，针对所述第二颜色分量(10₂)对所述图片进行划分；

使用所述划分方案(11’₁)或所述其他划分方案(11’₂)对具有多于一个颜色分量(10₁、10₂)的又其他图片(10c)进行划分。

24.根据权利要求15至23所述的基于块的编码器，被配置为：

如果数据流中将残差编码颜色变换模式信号通知为针对相应的帧内预测的第二颜色分量块(18₂)是去激活的，则取决于所述数据流中针对所述相应的帧内预测的第二颜色分量块(18₂)的信号通知，来从所述第一选项和所述第二选项中执行选择，并且如果数据流中将所述残差编码颜色变换模式信号通知为针对所述相应的帧内预测的第二颜色分量块(18₂)是激活的，则通过推断要选择所述第一选项，来从所述第一选项和所述第二选项中执行选择。

25.一种基于块的解码方法，包括：

通过使用针对位于同一位置的帧内预测的第一颜色分量块(18₁)而选择的基于矩阵的帧内预测模式，对所述图片的预定的第二颜色分量块(18₂)进行帧内预测，来以块为单位解码所述图片(10)的第二颜色分量(10₂)。

26.一种基于块的编码方法，包括：

通过针对所述图片(10)的帧内预测的第一颜色分量块(18’₁₁至18’_1n)中的每一个选择帧内预测模式的第一集合(508)中的一个帧内预测模式，以块为单位将所述图片(10)的第一颜色分量(10₁)编码到数据流中，所述第一集合(508)包括基于矩阵的帧内预测模式(510₁至510_m)，根据每个基于矩阵的帧内预测模式，通过以下方式来预测块内部(18)：从与所述块内部(18)相邻的参考样本(17)导出样本值向量(514)，计算所述样本值向量(514)和与相应的基于矩阵的帧内预测模式(510₁至510_m)相关联的预测矩阵(516)之间的矩阵-向量乘积(512)，以便获得预测向量(518)，以及基于所述预测向量(518)来预测所述块内部(18)中的样本，

27.一种数据流，具有使用根据权利要求26所述的方法编码到所述数据流中的图片。

28.一种具有程序代码的计算机程序，所述程序代码用于在计算机上运行时执行根据权利要求25或26所述的方法。