CN113475071A - 使用具有邻近样本缩减的线性或者仿射变换的内预测 - Google Patents
使用具有邻近样本缩减的线性或者仿射变换的内预测 Download PDFInfo
- Publication number
- CN113475071A CN113475071A CN201980092795.4A CN201980092795A CN113475071A CN 113475071 A CN113475071 A CN 113475071A CN 201980092795 A CN201980092795 A CN 201980092795A CN 113475071 A CN113475071 A CN 113475071A
- Authority
- CN
- China
- Prior art keywords
- predetermined
- samples
- linear
- width
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 title claims abstract description 148
- 230000009466 transformation Effects 0.000 title claims abstract description 148
- 230000009467 reduction Effects 0.000 title claims description 26
- 238000000034 method Methods 0.000 claims abstract description 97
- 239000013598 vector Substances 0.000 claims description 98
- 238000000844 transformation Methods 0.000 claims description 55
- 238000012935 Averaging Methods 0.000 claims description 42
- 238000005070 sampling Methods 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 description 94
- 239000000872 buffer Substances 0.000 description 14
- 238000012360 testing method Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 239000010751 BS 2869 Class A2 Substances 0.000 description 8
- 239000010754 BS 2869 Class F Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 241000023320 Luma <angiosperm> Species 0.000 description 6
- 238000009795 derivation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 239000004814 polyurethane Substances 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012812 general test Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 1
- 241001523162 Helle Species 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 229920002635 polyurethane Polymers 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
提供了用于对视频信号进行编码/解码的技术，例如在解码器、编码器、方法和存储执行方法的指令的非暂时性存储单元之中实现。解码器或者编码器可被配置为通过缩减多个邻近样本以获得在样本数量上少于多个邻近样本的样本值的缩减集合，使样本值的缩减集合经受线性或仿射线性变换以获得针对预定块的预定样本的预测值，来预测图像的预定块。
Description
1介绍
在下文中，将描述不同的发明示例、实施例与方面。这些示例、实施例与方面中的至少一些特别涉及用于视频编码和/或用于执行内预测的方法和/或装置，例如，使用具有邻近样本缩减的线性或者仿射变换，和/或用于优化视频传递(例如广播、流式传输、文件播放等)，例如用于视频应用和/或虚拟现实应用。此外，示例、实施例与方面可能泛指高效视频编码(HEVC)或者后续版本的技术。而且，进一步的实施例、示例与方面将由所附权利要求限定。
应当注意，由权利要求限定的任何实施例、示例与方面可以通过以下各章节中描述的任何细节(特征与功能)补充。
并且，在以下各章节中描述的实施例、示例与方面可以单独使用，并且还可以通过另一章节中的任何特征或者权利要求中包括的任何特征补充。
另外，应当注意，在此描述的各个示例、实施例与方面可以单独使用或者组合使用。因此，细节可以添加到每个所述示例、实施例与各个方面，而无需添加细节到所述方面的另一个。
还应当注意，本揭露明确地或者隐含地描述解码和/或编码系统和/或方法的特征。
此外，在此揭露的关于方法的特征和功能也可以在装置中使用。此外，在此揭露的关于装置的任何特征与功能也可以使用在对应的方法中。换句话说，在此揭露的方法可以通过关于装置描述的任何特征与功能来补充。此外，如同在其他部分，例如“进一步的实施 例与示例”等中所描述的，在此所述的任何特征与功能可以在硬件或者软件，或者使用硬件与软件的组合实现。
此外，括号(“(…)”或者“[…]”)中描述的任何特征可能在一些示例、实施例或者方面中认为是可选的。
1.1概述
根据一个方面，提供一种用于从数据流解码图像的解码器，被配置为通过以下步骤使用多个邻近样本预测图像的预定块：
缩减(例如通过平均和下采样)多个邻近样本以获得在样本数量上少于多个邻近样本的样本值的缩减集合，
使样本值的缩减集合经受线性或仿射线性变换以获得针对预定块的预定样本的预测值。
在示例中，解码器进一步被配置为，例如通过平均，下采样，执行缩减多个邻近样本以获得在样本数量上少于多个邻近样本的样本值的缩减集合。
在一些情形中，解码器可以还基于针对预定样本的预测值以该多个邻近样本，通过内插导出针对预定块的另外的样本的预测值。因此，应用上采样运算。
根据一个方面，提供一种用于将图像编码为数据流的编码器该编码器被配置为通过以下步骤使用多个邻近样本预测图像的预定块：
缩减(例如通过平均和下采样)多个邻近样本以获得在样本数量上少于多个邻近样本的样本值的缩减集合，
使样本值的缩减集合经受线性或仿射线性变换以获得针对预定块的预定样本的预测值。
在示例中，编码器进一步被配置为例如通过平均，下采样，执行缩减多个邻近样本以获得在样本数量上少于多个邻近样本的该样本值的缩减集合。
在一些情形中，编码器可以还基于针对预定样本的预测值以及多个邻近样本，通过内插导出针对预定块的另外的样本的预测值。因此，应用上采样运算。
在示例中，可提供一种包括上述的编码器和/或上述的解码器的系统。在一些示例中，编码器的硬件和/或至少一些程序例程可与解码器的相同。
在示例中，可提供一种解码方法，包括
通过以下步骤使用多个邻近样本预测图像的预定块：
例如通过平均和下采样，缩减多个邻近样本以获得在样本数量上少于多个邻近样本的样本值的缩减集合，
使样本值的缩减集合经受线性或仿射线性变换以获得针对预定块的预定样本的预测值。
在示例中，可提供一种编码方法，包括
通过以下步骤使用多个邻近样本预测图像的预定块：
例如通过平均和下采样，缩减多个邻近样本以获得在样本数量上少于多个邻近样本的样本值的缩减集合，
使样本值的缩减集合经受线性或仿射线性变换以获得针对预定块的预定样本的预测值。
在示例中，可提供一种存储指令的非暂时性存储单元，所述指令当通过处理器执行时，致使处理器执行上述方法。
1.3附图
图1和2示出编码器示例。
图3和4示出解码器示例。
图5示出块的预测图。
图6示出矩阵运算。
图7.1-7.4示出根据示例的运算示例。
图8.1和8.2示出根据示例的方法的示例。
图9(细分为图9a与9b)示出组件的示例。
图10示出编码器示例。
图11示出解码器示例。
图12示出与预测模式待预测的块的维度相关的方案。
图13示出有利于理解本发明的方案。
2.编码器、解码器
在下文中描述各种示例，这些示例可以在使用内预测时帮助实现更有效的压缩。一些示例通过花费一组内预测模式来实现压缩效率的增加。例如，后者可被添加到启发式设计的其他内预测模式中，或者后者可被专有地提供。甚至其他示例利用刚刚讨论的特性的两者。
为了简化对本申请的以下示例的理解，描述开始于呈现可以在其中构建本申请随后概述的示例的可能编码器和与其适配的解码器。图1显示用于以逐块(block-wise)方式将图像10编码为数据流12的装置。该装置使用参考标记14表示，并且可以是静止图像编码器或者视频编码器。换句话说，当编码器14被配置为将包括图像10的视频16编码为数据流12时，图像10可以是视频16中的当前图像，或者编码器14可以将图像10专门地编码为数据流12。
如上所述，编码器14以逐块方式或者基于块来执行编码。为此，编码器14将图像10细分为块，即编码器14将图像10编码为数据流12的单位。以下将更详细地阐述将图像10细分为块18的可能细分的示例。通常，该细分可最终得到具有恒定尺寸的块18，例如以行和列布置的块的阵列，或者最终得到具有不同块尺寸的块18，例如通过使用分层(hierarchy)多树细分，其从图像10的整个图像区域或者从图像10的预分割开始细分为树块的阵列的多树细分，其中这些示例不应视为排除将图像10细分为块18的其他可能方式。
此外，编码器14被配置为将图像10预测地编码为数据流12的预测编码器。对于特定块18，这意味着编码器14确定块18的预测信号，并将预测残差，即，从在块18的实际图像内容导出的预测信号的预测误差，编码到数据流中。
编码器14可支持不同的预测模式，以便导出特定块的预测信号。根据从邻近的图像已经编码的样本空间地预测哪个块18的内部，在以下示例中很重要的预测模式是内预测模式。将图像10编码为数据流12以及对应的解码过程可以基于在块18之间限定的特定编码顺序20。例如，编码顺序20可以用光栅扫描顺序横贯(traverse)块，例如，逐行从上到下，从左到右横贯每一行。如果在基于分层多树的细分的情况，光栅扫描排序可应用在每个分层级别内，其中可应用深度优先横贯顺序，即特定分层级别的块内的叶节点可以根据编码顺序20位于具有相同亲属块的同分层的块之前。取决于编码顺序20，邻近的已经编码的块18的样本，可通常位于块18的一侧或者多侧。在本文呈现的示例的情形中，例如，块18的邻近的、已编码块的样本设置于块18的顶部以及左侧。
内预测模式可以不是编码器14支持的唯一模式。例如，在编码器14是视频编码器的情况下，根据从先前编码的视频的图像临时地预测块18，编码器14还可支持间预测(inter-prediction)模式。这样的内预测模式可以是运动补偿的预测模式，根据该预测模式，针对这样的块18发信号通知运动向量，该运动向量指示要从中导出块18的预测信号作为副本的部分的相对空间偏移。附加地或者可替代地，其他非内预测模式也可以是可用的，例如在编码器14是多视点编码器的情况下的间预测模式，或者非预测模式，根据该非预测模式，在没有任何预测的情况下对块18的内部进行编码。
在开始将本申请的描述集中于内预测模式之前，针对可能的基于块的编码器的更具体示例，亦即，针对编码器14的可能实现方式，如关于图2所描述，然后呈现分别与图1和2图适配的解码器的两个对应的示例。
图2示出图1的编码器14的可能实现方式，亦即，该编码器被配置为使用变换编码来编码预测残差的实现方式，尽管这基本是示例，并且本申请不限于这种预测残差编码。根据图2，编码器14包括减法器22，减法器22被配置为从入站信号(inbound signal)即图像10，或者在基于块的情况下的当前块18，中减去对应的预测信号24，以便获得预测残差信号26，该残差信号然后通过预测残差编码器28编码为数据流12。预测残差编码器28由有损编码级28a与无损编码级28b组成。有损级28a接收预测残差信号26，并且包括量化器30，量化器30量化预测残差信号26的样本。如上所述，本示例使用预测残差信号26的变换编码，因此，有损编码级28a包括连接在减法器22与量化器30之间的变换级32，以便对这种频谱分解的预测残差26进行量化，其中量化器的量化发生在呈现残余信号26的变换系数上。变换可以是DCT、DST、FFT、阿达玛变换等。然后，变换与量化的预测残差信号34通过无损编码级28b进行无损编码，无损编码级28b是将量化的预测残差信号34熵编码成数据流12的熵编码器。编码器14进一步包括连接至量化器30的输出的预测残差信号重构级36，以便以在解码器处也可用的方式，即在考虑到量化器30中的编码损失的情况下，从变换与量化的预测残差信号34重构预测残差信号。为此，预测残差重构级36包括解量化器38，解量化器38执行量化器30的量化的逆向；随后是逆变换器40，逆变换器40执行相对于变换器32执行的变换的逆变换，例如，频谱分解的逆向，例如与上述任何特定变换示例相反的逆向。编码器14包括加法器42，加法器42将逆变换器40作为输出的重构的预测残差信号与预测信号24相加，以输出重构的信号，即重构的样本。此输出馈送到编码器14的预测器44，预测器44然后基于其确定预测信号24。预测器44支持上面关于图1已经讨论的所有预测模式。图2也示出，在编码器14是视频编码器的情形中，编码器14也可包括环内滤波器46，其具有滤波器完全重构的图像，所述图像在已经被滤波后，形成用于预测器44的关于间预测块的参考图像。
如上所述，编码器14基于块进行操作。对于随后的描述，所关注的块基础是将图像10细分成块，该块是分别从预测器44或者编码器14支持的一组或者多个内预测模式中选择出的内预测模式的块，并且所选择的内预测模式单独地执行。然而，也可存在将图像10细分成的其他种类的块。例如，可能以粒度或者以与块18不同的块的单位来进行图像10是间编码还是内编码的上述判定。例如，可在图像10被细分而成的编码块的级别上执行间/内模式判定，并且每个编码块被细分为预测块。具有已经判定使用内预测的编码块的预测块分别细分为内预测模式判定。为此，对于这些预测块的每一个，判定哪种支持的内预测模式应用于各个预测块。这些预测块将形成在此关注的块18。与间预测相关联的编码块内的预测块将被预测器44进行不同处理。通过确定运动向量和复制针对此块的预测信号，将从参考图像对他们进行间预测，此块的预测信号来自运动向量指向的参考图像中的位置。在通过变换器32与逆变换器40进行变换的单元处，另一个块细分关联于细分为变换块。举例来说，变换的块可以是进一步细分编码块的结果。自然地，在此阐述的示例不应视为限制性的，并且也存在其他示例。仅出于完整性的目的，应注意的是，例如，细分为编码块可能使用多树细分，并且使用多树细分通过进一步细分编码块也可获得预测块和/或变换块。
在图3描述针对适合于图1的编码器14的逐块解码的解码器54或者装置。此解码器54进行与编码器14相反的操作，亦即，它以逐块方式从数据流12解码图像10。并且为此目的，支持多个内预测模式。例如，解码器54可能包括残差提供器156。上面关于图1讨论的所有其他可能性对于解码器54也是有效的。为此，解码器54可以是静止图像解码器或者视频解码器，并且解码器54也支持所有的预测模式与预测可能性。编码器14与解码器54之间的差异主要在于，编码器14根据某种优化选择编码决策，例如，为了最小化可取决于编码率和/或编码失真的某些成本函数。这些编码选项或者编码参数之一可涉及在可用或者支持的内预测模式中选择要用于当前块18的内预测模式。然后针对数据流12内的当前块18可以通过编码器14用信号通知选择的内预测模式，并且解码器54使用针对块18的数据流12中的信号化来重新进行选择。同样，将图像10细分为块18可在编码器14内进行优化，并且对应的细分信息可在数据流12内传送，解码器54基于细分信息将图像10的细分恢复为块18。综上所述，解码器54可以是操作基于块的预测解码器，并且除了内预测模式的外，解码器54还可以支持其他预测模式，例如间预测模式，如同在解码器54是视频解码器的情况。在解码中，解码器54还可以使用关于图1讨论的编码顺序20，并且在编码器14与解码器54处都遵守编码顺序20，因此在编码器14与解码器54处针对当前块18相同的邻近样本是可以用的。因此，为了避免不必要的重复，编码器14的该操作模式的描述也应适用于解码器54，只要涉及将图像10细分为块，例如，涉及预测，以及涉及预测残差的编码。差异在于以下事实：编码器14通过优化选择一些编码选项或者编码参数和在数据流12中的信号，然后通过解码器54插入从数据流12导出的编码参数，以重做预测、细分等。
图4显示图3的解码器54的一种可能的实现方式，亦即，与如图2所示的图1的编码器14的实现方式适配的解码器实现方式。图4的解码器54的许多组件与在图2的对应编码器中出现的那些相同，为了指示这些组件，在带有撇号的相同参考符号用于图4中。特别地，加法器42'、可选的环内滤波器46’与预测器44’用与它们在图2的编码器中相同的方式连接到预测环路。施加到加法器42'的重构的，即解量化与重新变换的预测残差信号由一系列的熵解码器56导出，解码器56逆转熵编码器28b的熵编码，随后是残差信号重构级36'，重构级36'由解量化器38'和逆变换器40'组成，就像在编码端的情况一样。解码器的输出是图像10的重构。图像10的重构可以直接在加法器42'的输出处使用，或者可替代地，也可以在环内滤波器46'的输出处使用。在解码器的输出端可能设置一些后滤波器，以使图像10的重构经受一些后滤波，以改善该图像质量，但是此选项未在图4中描绘。
再次，关于图4，以上关于图2提出的描述对于图4也应是有效的，除了仅编码器执行优化任务和关于编码选项的相关联决策。然而，关于块细分、预测、解量化和重新变换的所有描述对于图4的解码器54也是有效的。
3.ALWIP
即使具体实现此处讨论的技术ALWIP不是始终必要的，仍然在此讨论有关ALWIP的一些非限制性示例。
本申请涉及针对逐块图像编码的改进的内预测模式概念，例如使用在视频编解码器，例如HEVC或者HEVC的任何后续版本。
内预测模式广泛用于图像与视频编码中。在视频编码中，内预测模式与其他预测模式竞争，例如间预测模式，例如运动补偿的预测模式。在内预测模式中，基于邻近样本预测当前块，亦即，就编码器侧而言样本已经被编码，并且就解码器侧而言样本已经被解码。邻近样本值被外推到当前块中，以形成针对当前块的预测信号，其中预测残差针对当前块在数据流中发送。预测信号越好，预测残差就越低，因此，需要较少的位数编码预测残差。
为了有效，应当考虑几个方面，以在逐块图像编码环境中针对内预测形成有效帧工作。例如，为了将选择用信号通知到解码器，由编解码器支持的内预测模式的数量越多，侧信息(side information)速率消耗就越大。另一方面，该组支持的内预测模式应该能够提供良好的预测信号，即导致较低预测残差的预测信号。
如果寻求使用改进的内预测模式概念，内预测模式概念允许逐块图像编解码器的更有效压缩。
该目的通过所谓的仿射线性加权内预测器(ALWIP)变换实现。公开了一种用于从数据流逐块解码图像的装置(编码器或者解码器)，该装置支持至少一种内预测模式，其根据：通过将与当前块相邻的样本的第一模板应用于仿射线性预测器，确定针对图像的预定尺寸的块内预测信号，仿射线性预测器在后文中将称为仿射线性加权内预测器(ALWIP)。
该装置可具有以下属性中的至少一个(相同属性可以应用于一种方法或者另一种技术，例如，在存储指令的非暂时性存储单元中实现，该指令在通过处理器执行时使得处理器实现该方法和/或作为该装置运行)。
3.1所提议的预测器可与其他预测器互补
由该装置支持的内预测模式与编解码器的其他内预测模式互补。因此，它们可以与HEVC编解码器中限定的DC、平面或者角度预测模式互补。JEM参考软件。从现在起，后三种类型的内预测模式将称为传统内预测模式。因此，对于帧内模式下的给定块，需要通过解码器解析标志(flag)，该标志指示是否要使用该装置所支持的内预测模式之一。
3.2超过一种所提议的预测模式
该装置可以包括超过一种ALWIP模式。因此，在解码器知道该装置支持的ALWIP模式的待使用的情况下，解码器需要解析附加信息，附加信息指示装置支持的ALWIP模式的哪一个待使用。
支持的模式的信号化可具有以下特性：某些ALWIP模式的编码可比其他ALWIP模式需要更少的二进制位(bin)。这些模式中的哪一个需要较少的二进制位，并且哪些模式需要更多的二进制位可取决于从已经解码的位流中提取的信息，或者可以预先固定。
4一些方面
图2显示用于从数据流12解码图像的解码器54。解码器54可被配置为解码图像的预定块18。特别地，预测器44可被配置为使用线性或仿射线性变换[例如，ALWIP]将与预定块18相邻的集合的P个邻近样本映射到针对预定块的样本的集合的Q个预测值上。
如图5所示，预定块18包括待预测的Q值(在运算结束时，将是“预测值”)。如果块18具有M行与N列，则Q＝M*N。块18的Q值可在空间域(例如，像素)中或者在变换域中(例如，DCT、离散小波变换等)。基于从邻近块17a-17c获得的P值可预测块18的Q值，邻近块17a-17c通常与块18相邻。邻近块17a-17c的P值可以是最接近块18的位置(例如，邻接)。邻近块17a-17c的P值已经处理与预测。P值在部分17’a-17’c中表示为数值，以将它们与所属的块区分，(在某些示例中，未使用17’b)。
如图6所示，为了执行预测，可能以具有P个项(每个项与邻近部分17'a-17'c中的特定位置关联)的第一向量17P、具有Q个项(每个项与该块18中的特定位置关联)的第二向量18Q，以及映射矩阵17M(每个行与块18中的特定位置关联，每一列与邻近部分17'a-17'c中的特定位置关联)进行运算。因此，映射矩阵17M根据预定模式执行进入到块的数值的邻近部分17'a-17'c的P值的预测。因此，映射矩阵17M中的项可能理解为加权因子。在下面的段落中，我们将使用符号17a-17c取代17’a-17’c参照边界的邻近部分。
在本领域中，已知几种传统模式，例如DC模式、平面模式与65个方向预测模式。可已知例如67种模式。
但是，已经注意到，也可利用不同的模式，在这里称为线性或仿射线性变换。线性或仿射线性变换包括P*Q个加权因子，其中至少1/4P*Q个加权因子是非零加权值，对于Q个预测值中的每一个，包括与各自预测值相关的一系列P个加权因子。当系列根据预定块的样本之间的光栅扫描顺序一个接一个地布置时，形成全向非线性的包络。
图13显示图表70的示例，图表70映射邻近值17’a-17’c(模板)的P位置，邻近样本17’a-17’c的Q个位置以及在矩阵17M的P*Q个加权因子的数值。平面72是针对DC变换的该系列的包络的示例(其是针对DC变换的平面)。包络明显是平面的，因此被线性或仿射线性变换(ALWIP)的限定所排除。另一个示例是仿真矩阵，该矩阵导致角度模式的仿真：包络将被排除在该ALWIP限定之外，并且坦白说，看起来像是斜坡，沿着该P/Q平面的一方向从上到下倾斜。该平面模式与该65个方向预测模式将具有不同的包络，但是其在至少一个方向上是线性的，亦即，例如对于示例的DC的所有方向，以及对于角度模式的斜坡方向。
相反地，线性或者仿射变换的包络将不是全向线性的。可以理解的是，在某些情况下，这种类型的变换对于执行块18的预测可以是最佳的。已经注意到，优选的是，加权因子的至少1/4是不同于零的(亦即，P*Q个加权因子的至少25％是不同于0的)。
加权因子可根据任何常规映射规则而彼此不相关。因此，矩阵17M可使得其项的该数值没有明显可识别的关系。例如，加权因子不能通过任何分析或者微分函数来描述。
在示例中，ALWIP变换使得与各自预测值相关的第一系列加权因子、和与预测值而非各自预测值相关的第二系列加权因子或者后者系列的逆版本之间的互相关最大值的平均值，无论是否导致更高的最大值，都可低于预定阈值(例如0.2或者0.3或者0.35或者0.1，例如，阈值在0.05到0.035之间的范围)。例如，对于ALWIP矩阵17M的每一对行(i1，i2)，可以通过将第i1行的P值乘以第i2行的P值来计算互相关。对于每个获得的互相关，可获得最大值。因此，可获得针对整个矩阵17M的平均值(平均值)(亦即，对所有组合中的互相关的最大值进行平均)。此后，阈值可能例如0.2或者0.3或者0.35或者0.1，例如在0.05至0.035之间的范围内的阈值。
块17a-17c的P个邻近样本可以沿着一维路径定位，该一维路径沿着预定块18的边界(例如，18c，18a)延伸。对于预定块18的Q个预测值中的每个，关于各自预测值的系列的P个加权因子可以在预定方向(例如，从左到右，从上到下等)横贯该一维路径的方式排序。
在示例中，ALWIP矩阵17M可以是非对角线的或者非块对角线的。
用于从4个已经预测的邻近样本预测4x4块18的ALWIP矩阵17M的示例可以是：
{
{37,59,77,28},
{32,92,85,25},
{31,69,100,24},
{33,36,106,29},
{24,49,104,48},
{24,21,94,59},
{29,0,80,72},
{35,2,66,84},
{32,13,35,99},
{39,11,34,103},
{45,21,34,106},
{51,24,40,105},
{50,28,43,101},
{56,32,49,101},
{61,31,53,102},
{61,32,54,100}
}。
(此处，{37,59,77,28}是矩阵17M的第一行；{32,92,85,25}是第二行；以及{61,32,54,100}是第16行。)矩阵17M具有维度16x4，且包括64个加权因子(作为6*4＝64的结果)。这是因为矩阵17M具有维度QxP，其中Q＝M*N，这是待预测的块18的样本数(块18是4x4块)，并且P是已经预测的样本的样本数。在此，M＝4，N＝4，Q＝16(作为M×N＝4×4＝16的结果)，P＝4。该矩阵是非对角线的和非块对角线的，并且没有通过特定规则描述。
可以看出，少于1/4的该加权因子为0(在上文示出的矩阵的情况下，六十四个加权因子中的一个为零)。由这些数值形成的包络在按照光栅扫描顺序布置为一个在另一个之下时，形成全向非线性的包络。
即使主要参考解码器(例如，解码器54)来讨论上述说明，同样可能在编码器(例如，编码器14)处执行。
在一些示例中，对于每个块尺寸(在块尺寸的集合中)，针对各个块尺寸的第二组内预测模式内的内预测模式的ALWIP变换是互不相同。附加地或者可替代地，针对在该组的块尺寸内的块尺寸，第二组内预测模式的基数可重叠，但是针对不同块尺寸第二组内预测模式内的内预测的相关线性或仿射线性变换可能无法通过缩放相互转换的。
在一些示例中，可以这样的方式限定ALWIP变换：它们与传统变换“没有共享”(例如，ALWIP变换与对应的传统变换“无共享”)，即使它们已通过上面的映射之一被映射)。
在示例中，ALWIP模式用于亮度分量与色度分量，但是在其他示例中，ALWIP模式用于亮度分量，但不用于色度分量。
5.具有编码器加速的仿射线性加权的内预测模式(例如，测试CE3-1.2.1：)
5.1方法或者装置的描述
在CE3-1.2.1中测试的仿射线性加权内预测(ALWIP)模式可与在测试CE3-2.2.2下的JVET-L0199中提出的模式相同，除了以下改变：
与多参考线(MRL)内预测的协调，特别是编码器估计与信号通知，亦即MRL未与ALWIP结合，并且传输MRL索引限制于非ALWIP块。
现在对所有块W×H≥32×32的子采样(Subsampling)强制(之前对于32×32曾是可选的)；因此，已去除了编码器处的额外测试以及子采样标志发送。
通过分别对32×N与N×32下采样并应用对应的ALWIP模式，已经添加用于64×N与N×64块(N≤32)的ALWIP。
此外，测试CE3-1.2.1包括针对ALWIP的以下编码器优化：
组合模式估计：传统模式与ALWIP模式使用共享的阿达玛(Hadamard)候选列表进行完整RD估计，亦即，基于阿达玛成本，ALWIP模式候选者被添加到与传统(与MRL)模式候选者相同的列表中。
组合模式列表支持EMT画面内快速与PB画面内快速，以附加的优化缩减完整RD检查的该数量。
按照与传统模式相同的方法，仅将可用的左块与上块的MPM添加到针对ALWIP的完整RD估计的列表中。
5.2复杂度评估
在测试CE3-1.2.1中，不包括引起离散余弦变换的计算，需要每个样本最多12个乘法才能产生预测信号。此外，总共需要136492个参数，每个参数16位。这对应于0.273MB的内存。
5.3实验结果
根据通用测试条件JVET-J1010[2]针对具有VTM软件3.0.1版的仅内部(AI)与随机存取(RA)组态进行测试评估。在具有Linux OS与GCC 7.2.1编译程序的Intel Xeon群集(E5-2697A v4，AVX2打开，turbo boost关闭)上进行对应的模拟。
表格1.针对VTM AI配置的CE3-1.2.1的结果
| Y | U | V | 编码时间 | 解码时间 | |
| 类A1 | -2,08％ | -1,68％ | -1,60％ | 155％ | 104％ |
| 类A2 | -1,18％ | -0,90％ | -0,84％ | 153％ | 103％ |
| 类B | -1,18％ | -0,84％ | -0,83％ | 155％ | 104％ |
| 类C | -0,94％ | -0,63％ | -0,76％ | 148％ | 106％ |
| 类E | -1,71％ | -1,28％ | -1,21％ | 154％ | 106％ |
| 总计 | -1,36％ | -1,02％ | -1,01％ | 153％ | 105％ |
| 类D | -0,99％ | -0,61％ | -0,76％ | 145％ | 107％ |
| 类F(可选) | -1,38％ | -1,23％ | -1,04％ | 147％ | 104％ |
表格2.针对VTM RA配置的CE3-1.2.1的结果
| Y | U | V | 编码时间 | 解码时间 | |
| 类A1 | -1,25％ | -1,80％ | -1,95％ | 113％ | 100％ |
| 类A2 | -0,68％ | -0,54％ | -0,21％ | 111％ | 100％ |
| 类B | -0,82％ | -0,72％ | -0,97％ | 113％ | 100％ |
| 类C | -0,70％ | -0,79％ | -0,82％ | 113％ | 99％ |
| 类E | |||||
| 总计 | -0,85％ | -0,92％ | -0,98％ | 113％ | 100％ |
| 类D | -0,65％ | -1,06％ | -0,51％ | 113％ | 102％ |
| 类F(可选) | -1,07％ | -1,04％ | -0,96％ | 117％ | 99％ |
5.4测试CE3-1.2.2：复杂度降低的仿射线性加权的内预测
CE2中测试的技术与JVET-L0199[1]中描述的“仿射线性内预测”相关，但在关于内存需求与计算复杂度将其简化：
·可只有三组不同的预测矩阵(例如S0，S1，S2，也请参见下文)和偏移向量(例如用于提供偏移值)覆盖所有块形状。结果，参数的数量缩减到14400个10位值，相较于在128×128CTU中存储的内存更少。
·预测器的输入与输出尺寸被进一步减小。此外，不是通过DCT对边界进行变换，而代之以可以对边界样本执行平均或者下采样，并且预测信号的产生可使用线性内插代替逆DCT。因此，每样本四倍的最大值可导致必须产生该预测信号。
6.示例
这里讨论了如何利用ALWIP预测执行一些预测(例如，如图6所示)。
原则上，参考图6，为了获得待预测的M×N块18的Q＝M×N值，应该执行将Q×PALWIP预测矩阵17M的Q×P个样本乘以Px1邻近向量17P的P个样本。因此，通常，为了获得待预测的M×N块18的每个Q＝M×N值，至少需要P＝M+N个值乘法。
这些乘法具有极度有害的作用。边界向量17P的维度P通常取决于待预测的相邻(例如邻接于)MxN块18的边界样本(二进制位或者像素)17a，17c的数量M+N。这意味着，如果待预测的块18的尺寸大，则边界像素(17a，17c)的数量M+N相应地大，因此增加Px1边界向量17P的维度P＝M+N，以及QxP ALWIP预测矩阵17M的每一行的长度，并且因此也增加乘法的数量(一般而言，Q＝M*N＝W*H，其中对于N，W(宽度)是另一个符号，并且对于M，H(高度)是另一个符号；在边界向量仅由一行和/或一列样本形成的情况下，P为P＝M+N＝H+W)。
通常，这一问题由于在基于微处理器的系统(或者其他数字处理系统)中乘法通常是耗电的运算的事实而加剧。可以想象，针对大量块的极大量样本进行的大量乘法会导致计算功率的浪费，这通常是不想要的。
因此，优选的是缩减预测MxN块18所需的乘法次数Q*P。
已经理解的是，通过智能地选择更容易处理的替代乘法的运算，有可能以某种方式缩减待预测的每个块18的每个内预测所需的计算功率。
特别地，参考图7.1-7.4、图8.1和8.2，已经可以理解，编码器或者解码器可通过以下步骤使用多个邻近样本(例如17a，17c)预测图像的预定块(例如18)：
缩减(100、813)多个邻近样本以获得在样本数量上少于多个邻近样本(17)的样本值的缩减集合(102)，
使样本值的缩减集合(102)经受(812)线性或仿射线性变换(19，17M)以获得针对预定块(18)的预定样本(104、118’、188”)的预测值。
在某些情况下，解码器或者编码器还可基于预定样本的预测值和多个邻近样本，通过内插导出(例如，第8.1图中的步骤813)预定块的另外的样本的预测值。因此，可获得上样本策略。
在示例中，在边界17的样本上执行(例如，在步骤811)一些平均，以获得具有缩减的样本数量(缩减数量的样本102中的样本的至少一个样本可以是原始边界样本的两个样本的平均，或者是原始边界样本的选择)的缩减集合102(图7.1-7.4)的样本。例如，如果原始边界具有P＝M+N个样本，则缩减集合的样本可能具有Mred<M与Nred<N中至少一个的Pred＝Mred+Nred，使得Pred<P。因此，实际用于预测(例如在步骤812b)的边界向量17P将不具有Px1项，而是具有Pred<P的Predx1项。类似地，针对预测选择的ALWIP预测矩阵17M将不具有QxP维度，但是具有缩减数量的矩阵元素的QxPred(或者QredxPred，参见下文)，至少是因为Pred<P(由于Mred<M与Nred<N的至少一个)。
在一些示例中(例如，第7.2、7.3与8.2图)，如果通过ALWIP获得的块(在步骤812处)是具有尺寸M′red×N′red的缩减块，其中M′red<M和/或N′red<N(亦即，通过ALWIP直接预测的样本的在数量上少于要实际预测的块18的样本)，则甚至可能进一步缩减乘法的数量。因此，在设置Qred＝M′red*N′red的情况下，这将通过使用Qred*Pred个乘法(其中Qred*Pred<Q*Pred<Q*P)代替Q*Pred个乘法，这将获得ALWIP预测。此乘法将预测维度为nM′red×N′red的减缩块。尽管如此，有可能执行(例如，在随后的步骤813处)从缩减的M′red×N′red预测块到最终MxN预测块的上采样(例如，通过内插获得)。
这些技术可能是有利的，因为尽管矩阵乘法涉及缩减数量的乘法(Qred*Pred或者Q*Pred)，但是初始缩减(例如，平均或者下采样)和最终变换(例如，内插)都可通过缩减(或者甚至避免)乘法执行。例如，可以通过采用非计算功率要求的二进制运算，例如加法与移位，执行下采样、平均和/或内插(例如，在步骤811和/或813)。
这里讨论在处理器级别的移位运算的示例。图9显示在十位缓存器910中以二进制(1001000100b)编码的数字580，十位缓存器910具有10位缓存器910a，每个位缓存器910a存储一位值(例如1或者0)。以二进制表示、编码在两字节缓存器910中的值1001000100b在第9a图中表示为901，作为“待移位的值”。第9b图中用数字902表示的二进制位是用数字901表示的二进制位的一右移版本。可以看出，二进制位902(编码为0100100010b)是在每个位缓存器910a中编码的每个值已经简单地移动到各自的右侧位置的位缓存器中之后的二进制位901的版本。二进制位901的较低有效位在二进制位902中丢失；并且移位后的二进制位902的最高有效位添加为零。如果将移位的二进制位902变换为十进制，我们会看到已经获得580的一半的十进制值290。这可能是一种将二进制数除以2的技术(如果值901是奇数，仅存在量化误差)。此运算非常容易执行，并且不需要很高的计算功率。值得注意的是，通过移位多次，获得2的幂的除法：通过移位两次，得到除以4。通过移位三倍，获得除以8，并且通常通过移位r次，获得按2r(2^r)的除法。这也可以用符号f>>r表示，使得f>>1表示f/2，f>>2表示f/4，依此类推(其中f为整数)。此运算也称为右旋转。类似地，左旋转运算f<<r表示f乘以2r(或者2^r)。对于处理器而言，该移位操作不是计算量需求的，因为它们避免执行乘法的必要，而是仅通过移动不同缓存器中的位来获得。在示例中，缓存器910表示为10位缓存器。然而，在实例中，缓存器910可以具有不同数目的位缓存器910a，例如，8位缓存器910(在这种情况下，缓存器910是8位缓存器)。
而且，加法是非常容易的运算，无需大量的计算工作就可以容易地执行。
举例来说，此移位运算可以用于平均两个边界样本和/或用于内插该缩减的预测块(或者从边界获得)的两个样本(支持值)，以获得最终的预测块。(对于内插，两个样本值是必要的。在块内，我们始终有两个预定值，但是对于沿着块的左边界与上方边界内插样本，我们只有一个预定值，如第7.2图所示，因此我们使用边界样本作为内插的支持值。)
可以使用两步骤过程，诸如：
首先对两个样本的值求和；
然后将和的值减半(例如，通过右移)。
可替代地，可以：
首先将样本的每个减半(例如，左移)；
然后对两个减半后的样本的值求和。
当下采样时(例如，在步骤811)，甚至可能执行更容易的运算，因为仅需要在一组样本(例如，彼此相邻的样本)中选择一个样本量。
因此，现在可限定用于缩减要执行的乘法次数的技术。这些技术中的一些尤其可以基于以下至少一项原理：
即使要实际预测的块18具有尺寸MxN，块可以被缩减(在两个维度的至少一个上)，并且可以应用具有减小的尺寸QredxPred(其中red＝M′red*N′red，Pred＝Nred+Mred，其中M′red<M和/或N′red<N和/或Mred<M和/或Nred<N)的ALWIP矩阵。因此，边界向量17P将具有尺寸Predx1，暗示Pred<P个乘法(其中Pred＝Mred+Nred，以及P＝M+N)。
该Predx1边界向量17P可能很容易地从该原始边界17获得，例如：
通过下采样(例如，仅选择该边界的一些样本)；和/或
通过对边界的多个样本进行平均(可容易地通过加法与移位获得，而无需乘法)。
额外或者可替代地，代替通过乘法预测要预测的块18的所有Q＝M*N个值，可仅预测具有减小的维度的缩小块(例如，Qred＝M′red*N′red，其中M′red<M和/或N′red<N)。通过例如使用Qred个样本作为待预测的剩余Q-Qred值的支持值进行内插，获得待预测的块18的剩余样本。
图8.1提供示例，该示例可以理解为一般性地描述流程810，其特定情况在图7.1中说明。在这种情况下，待预测4x4块18(M＝4，N＝4，Q＝M*N＝16)，以及样本17a(具有四个已经预测的样本的垂直列)与17c(具有四个已经预测的样本的水平行)的邻近区域17已经在先前的迭代中预测(邻近区域17a与17c可以用17共同表示)。先验地，通过使用图5所示的等式，预测矩阵17M应该是QxP＝16x8矩阵(由于Q＝M*N＝4*4与P＝M+N＝4+4＝8)，以及边界向量17P应具有8x1维度(由于P＝8)。然而，这将驱使对于要预测的4×4块18的16个样本的每个执行8次乘法的必要性，因此导致总共需要执行16×8＝128次乘法。(注意到，每个样本的平均乘法次数很好地评估计算复杂性。对于传统的内预测，需要每个样本四个乘法，并且这会增加涉及的计算量。因此，可能使用这作为ALWIP的上限，将确保复杂度合理，并且不会超过传统内预测的复杂度。)
尽管如此，已经理解，通过使用本技术，在步骤811，可以缩减与要预测的块18相邻的样本17a与17c的数量，从P缩减到Pred<P。特别地，已经理解到，可对彼此相邻的边界样本(17a，17c)进行平均(例如，在图7.1中的100处)，以获得具有两个水平行和两个垂直列的缩减边界102。因此用作块18的运算是2×2块(缩减的边界由平均值形成)。可替代地，可执行下采样，因此针对行17c选择两个样本，以及针对列17a选择两个样本。因此，代替具有四个原始样本，水平行17c处理为具有两个样本(例如，平均样本)，然而垂直列17a，原本具有四个样本，被处理为具有两个样本(例如，平均的样本)。也可理解成，在将行17c与列17a细分为多组110的两个样本之后，保持单个样本(例如，组110的样本的平均或者样本中的简单选择)。因此，由于集合102仅具有四个样本(Mred＝2,Nred＝2,Pred＝Mred+Nred＝4,其中Pred<P)，可以获得所谓的样本值的缩减集合102。
已经理解的是，在处理器级可执行运算(例如平均或者下采样100)而无需执行太多乘法：在步骤811执行的平均或者下采样100可通过直接且计算上非耗电的运算简单地获得，例如加法与移位。
已经理解的是，在这一点上，可使样本值的缩减集合102经受线性或者仿射线性(ALWIP)变换19(例如，使用预测矩阵，如图5的矩阵17M)。在这种情况下，ALWIP变换19将四个样本102直接映射到块18的样本值104上。在当前情况下，不需要内插。
在这种情况下，ALWIP矩阵17M具有维度QxPred＝16×4：这遵循以下事实：待预测的块18的所有Q＝16个样本都是通过ALWIP乘法直接获得的(不需要内插)。
因此，在步骤812a，选择具有尺寸QxPred的合适的ALWIP矩阵17M。举例来说，选择可至少部分地基于来自数据流12的信号通知。选择的ALWIP矩阵17M也可用Ak表示，其中k可以理解为索引，该索引可以在数据流12中用信号通知(在某些情况下，该矩阵也表示为
参见下文)。可能根据图12说明的方案执行该选择：对于每个维度(例如，待预测的块18的高度/宽度对)，例如在三组矩阵S0，S1，S2(该三组S0，S1，S2中的每一个都能对相同维度的多个ALWIP矩阵17M进行分组，并且待选择用于预测的ALWIP矩阵将是它们其中的一个)之间选择ALWIP矩阵17M。
在步骤812b，执行选择的QxPred ALWIP矩阵17M(也表示为Ak)以及Predx1边界向量17P之间的乘法。
在步骤812c，偏移值(例如，bk)可添加到，例如，通过ALWIP获得的向量18Q的所有获得值104。偏移量的数值(bk或者在某些情况下也用
表示，参见下文)可与特定选择的ALWIP矩阵(Ak)相关联，并且可能基于索引(例如，该索引可在数据流12中用信号通知)。
因此，这里继续在使用本技术与不使用本技术之间作出比较：
不使用本技术：
待预测的块18，该块具有维度M＝4、N＝4；
Q＝M*N＝4*4＝16个待预测的值；
P＝M+N＝4+4＝8个边界样本
针对待预测的Q＝16值的每个的P＝8个乘法，
总数P*Q＝8*16＝128个乘法；
使用本技术，我们可实现：
待预测的块18，该块具有维度M＝4、N＝4；
最终Q＝M*N＝4*4＝16个待预测的值；
边界向量的缩减维度：Pred＝Mred+Nred＝2+2＝4；
针对待通过ALWIP预测的Q＝16值的每个的Pred＝4个乘法，
总数Pred*Q＝4*16＝64个乘法(128的一半！)
乘法的数量与待获得的最终值的数量的比值为Pred*Q/Q＝4，即针对待预测的每个样本的P＝8个乘法的一半！
可以理解的是，通过依赖于直接且在计算上无功率需求的运算，例如平均(以及，在加法和/或移位和/或下采样的情况下)，有可能在步骤812获得适当的值。
参考图7.2与8.2，待预测的块18在这里是64个样本的8×8块(M＝8、N＝8)。在此，先验地，预测矩阵17M应该具有尺寸QxP＝64x16(由于Q＝M*N＝8*8＝64，M＝8与N＝8以及由于P＝M+N＝8+8＝16，所以Q＝64)。因此，先验地，针对待预测的8×8块18的Q＝64个样本的每个将需要进行P＝16乘法，以针对整个8×8块18达到64×16＝1024个乘法！
但是，参照图7.2与8.2，可以提供一种方法820，根据方法，不是使用边界的全部16个样本，而仅使用8个值(例如，边界的原始样本之间的水平边界行17c中的4个以及垂直边界列17a中的4个)。从边界行17c，可使用4个样本而不是8个样本(例如，它们可以是2乘2的平均值和/或从两个样本中选择一个样本)。因此，边界向量不是Px1＝16x1向量，而仅是Predx1＝8x1向量(Pred＝Mred+Nred＝4+4)。已经理解的是，可选择或者平均(例如，以二乘二)水平行17c的样本和垂直列17a的样本以具有仅Pred＝8个边界值而不是原始的P＝16个样本，形成样本值的缩减集合102。此缩减集合102将允许获得块18的缩减版本，该缩减版本具有Qred＝Mred*Nred＝4*4＝16个样本(而不是Q＝M*N＝8*8＝64)。可将ALWIP矩阵应用于预测具有尺寸MredxNred＝4x4的块。缩减版本的块18包括在图7.2中的方案106内用灰色指示的样本：用灰色正方形指示的样本(包括样本118’与118”)形成在经受(subject)步骤812获得的具有Qred＝16值的4x4缩减块。在经受步骤812中通过应用该线性变换19以获得4x4缩减块。获得4x4缩减块的值之后，可获取剩余样本(在方案106中以白色样本表示的样本)的值，例如通过内插。
相对于图7.1和8.1的方法810，此方法820可额外包括导出步骤813，例如通过内插，导出针对待预测的MxN＝8x8块18的剩余Q-Qred＝64-16＝48个样本(白方块)的预测值。通过内插(例如，该内插也可利用边界样本的值)从Qred＝16直接获得的样本中可获得剩余的Q-Qred＝64-16＝48个样本。在图7.2中可以看出，虽然在步骤812已经获得样本118’与118”(如灰色方形所示)，但是(在样本118’与118”中间且用白色方形指示)通过在步骤813样本118’与118”之间的内插来获得样本108’。已经理解的是，还可以通过与用于求平均的那些类似的运算，例如，移位与相加，来获得内插。因此，在图7.2中，通常可以将值108’确定为样本118’的值与样本118”的值之间的中间值(可以是平均)。
通过执行内插，在步骤813，也可基于104中指示的多个样本值得出MxN＝8x8块18的最终版本。
因此，使用本技术与不使用本技术之间的比较是：
没有使用本技术：
待预测块18，块18具有维度M＝8、N＝8以及
待预测块18中的Q＝M*N＝8*8＝64个样本。
边界17中的P＝M+N＝8+8＝16个样本。
针对待预测的Q＝64值的每个的P＝16个乘法。
总数P*Q＝16*64＝1028个乘法。
乘法的数量与待获得的最终值的数量之间的比值为P*Q/Q＝16。
使用本技术：
待预测块18，具有维度M＝8、N＝8。
最终待预测的Q＝M*N＝8*8＝64个值。
但是应使用QredxPred ALWIP矩阵，其中Pred＝Mred+Nred,Qred＝Mred*Nred,Mred＝4,Nred＝4
在边界内的Pred＝Mred+Nred＝4+4＝8个样本，其中Pred<P。
针对待预测的4x4缩减块的Qred＝16值的每个的Pred＝8个乘法(通过方案106中的灰色正方形所形成)。
总数Pred*Qred＝8*16＝128个乘法(远少于1024！)
乘法的数量与待获得的最终值的数量之间的比值为Pred*Qred/Q＝128/64＝2(远少于没有使用本技术获得的16！)。
因此，此处提出的本技术相较于先前的技术少8倍的功率需求。
图7.3示出另一个示例(其可基于方法820)，其中待预测的块18是矩形4×8块(M＝8、N＝4)，具有Q＝4×8＝32个待预测的样本。通过具有N＝8个样本的水平行17c与具有M＝4个样本的垂直列17a形成边界17。因此，先验地，边界向量17P将具有维度Px1＝12x1，然而预测ALWIP矩阵应该是QxP＝32x12矩阵，因此导致需要Q*P＝32*12＝384个乘法。
但是，举例来说，可对水平行17c的至少8个样本进行平均或者下采样，以获得仅具有4个样本(例如，平均样本)的缩减水平行。在一些示例中，垂直列17a将保持原样(例如，不求平均)。总体来看，缩减的边界将具有维度Pred＝8，且Pred<P。因此，边界向量17P将具有维度Predx1＝8x1。ALWIP预测矩阵17M将是具有维度M*Nred*Pred＝4*4*8＝64的矩阵。在经受步骤812直接获得的4x4缩减块(由方案107中的灰色列形成)将具有尺寸Qred＝M*Nred＝4*4＝16个样本(而不是待预测的原始4x8块18的Q＝4*8＝32)。一旦通过ALWIP获得缩减的4×4块，就可添加偏移值bk(步骤812c)并且在步骤813执行内插。如图7.3中的步骤813所示，缩减的4×4块被扩展为4×8块18，其中在步骤813通过对在步骤812获得的值118’与118”(灰色正方形)进行内插来获得在步骤812未获得的值108’。
因此，使用本技术与不使用本技术之间的比较是：
没有使用本技术：
待预测的块18，块的维度M＝4、N＝8
Q＝M*N＝4*8＝32个待预测的值
边界中P＝M+N＝4+8＝12个样本
针对待预测的Q＝32个值的每个，P＝12个乘法
总数P*Q＝12*32＝384个乘法
乘法的数量与待获得的最终值的数量之间的比值为P*Q/Q＝12。
使用本技术：
待预测的块18，块的维度M＝4、N＝8
最终Q＝M*N＝4*8＝32个待预测的值
但是可使用QredxPred＝16x8 ALWIP矩阵，其中M＝4,Nred＝4,Qred＝M*Nred＝16,Pred＝M+Nred＝4+4＝8
Pred＝M+Nred＝4+4＝8个样本在边界内，其中Pred<P
针对待预测的缩减块的Qred＝16个值的每个，Pred＝8个乘法
总数QredQred*Pred＝16*8＝128个乘法(小于384！)
乘法的数量与待获得的最终值的数量的比值为Pred*Qred/Q＝128/32＝4(远少于在没有使用本技术的情况下获得的12！)。
因此，利用本技术，计算量缩减到三分之一。
图7.4示出待预测的块18的情形，其具有维度MxN＝16x16且最终具有Q＝M*N＝16*16＝256个待预测的值，其中P＝M+N＝16+16＝32个边界样本。这将导致具有维度QxP＝256x32的预测矩阵，这意味着256*32＝8192个乘法！
但是，通过应用方法820，在步骤811，可缩减(例如，通过平均或者下采样)边界样本的数量，例如从32个缩减到8个：例如，对于行17a的四个连续样本的每组120，保留一个样本(例如，从四个样本中选择，或者样本的平均)。对于列17c的四个连续样本的每组，保留一个样本(例如，从四个样本中选择，或者样本的平均)。
在这里，ALWIP矩阵17M是QredxPred＝64x8矩阵：这来自于已选择Pred＝8的事实(通过使用来自边界的32个的8个平均或者选择的样本)以及在步骤812待预测的缩减块是8×8块(在方案109中，灰色正方形是64)。
因此，一旦在步骤812获得缩减的8×8块的64个样本，就可在步骤813导出待预测的块18的剩余Q-Qred＝256-64＝192个值104。
在这种情况下，为了执行内插，已经选择使用边界列17a的所有样本，并且仅使用边界行17c中的替代样本。可以做出其他选择。
使用本方法时，乘法的数量与最终获得值的数量之间的比值为Qred*Pred/Q＝8*64/256＝2，远小于不使用本技术时针对每个值的32个乘法！
使用本技术与不使用本技术之间的比较是：
没有使用本技术：
待预测的块18，块的维度M＝16、N＝16
Q＝M*N＝16*16＝256个待预测的值；
P＝M+N＝16*16＝32个样本在边界；
针对待预测的Q＝256个值的每个，P＝32个乘法，
总数P*Q＝32*256＝8192个乘法；
乘法的数量与最终值的数量之间的比值为P*Q/Q＝32。
使用本技术：
待预测的块18，块的维度M＝16、N＝16
Q＝M*N＝16*16＝256个最终待预测的值；
但是待使用的QredxPred＝64x8 ALWIP矩阵，其中Mred＝4,Nred＝4,Qred＝8*8＝64个待通过ALWIP预测的样本，Pred＝Mred+Nred＝4+4＝8
边界中的Pred＝Mred+Nred＝4+4＝8个样本，其中Pred<P
针对待预测的缩减块的Qred＝64个值的每个，Pred＝8个乘法，
总数Qred*Pred＝64*4＝256个乘法(小于8192！)
乘法的数量与待获得的最终值的数量之间的比值为Pred*Qred/Q＝8*64/256＝2(远小于在没有使用本技术的情况下获得的32！)。
因此，本技术所需的计算功率比传统技术少16倍！
因此，可通过以下步骤使用多个邻近样本(17)预测图像的预定块(18)：
缩减(100、813)多个邻近样本以获得在样本数量上少于多个邻近样本(17)的样本值的缩减集合(102)，
使样本值的缩减集合(102)经受(812)线性或仿射线性变换(19，17M)以获得针对预定块(18)的预定样本(104、118’、188”)的预测值。
特别地，可通过对多个邻近样本进行下采样来执行缩减(100、813)，以获得在样本数量上少于多个邻近样本(17)的样本值的缩减集合(102)。
可替代地，可通过对多个邻近样本进行平均来执行缩减(100、813)，以获得在样本数量上少于多个邻近样本(17)的样本值的缩减集合(102)。
此外，可基于针对预定样本(104、118’，118”)的预测值以及多个邻近样本(17)，通过内插导出(813)针对预定块(18)的另外的样本(108、108’)。
多个邻近样本(17a，17c)可沿着预定块(18)的两侧(例如，在图7.1-7.4中向右与朝下方)一维地延伸。预定样本(例如，在步骤812中通过ALWIP获得的样本)也可以行和列布置，并且沿着行和列中的至少一个布置，预定样本位于从与预定块的两侧相邻的预定样本112的样本(112)起的每第n个位置处。
可基于多个邻近样本(17)，针对行和列中的至少一个的每个，确定针对多个邻近位置中的一个(118)的支持值(118)，多个邻近位置中的一个(118)与行和列的至少之一的相应一个对齐。也可基于针对预定样本(104、118’、118”)的预测值、以及针对与行和列的至少一个对齐的邻近样本(118)的支持值，通过内插导出预定块(18)的另外的样本(108、108’)。
预定样本(104)可位于从与沿着行的预定块18的两侧相邻的样本(112)起的每第n个位置处，并且预定样本可位于从与沿着列的预定块(18)的两侧相邻的预定样本的样本(112)起的每第m个位置处，其中n，m>1。在某些情况下，n＝m(例如，在图7.2与7.3中，其中通过ALWIP在812直接获得并且用灰色正方形表示的样本104、118’、118”是沿着行和列交替布置到随后在步骤813获得的样本108、108’。
可通过针对每个支持值，对所述多个邻近样本内的包括确定相应支持值所针对的邻近样本(118)的一组(120)邻近样本进行下采样或者平均(122)，沿着所述行(17c)和列(17a)中的至少一个执行所述支持值的确定。因此，在图7.4中，在步骤813，可通过使用预定样本118”’(先前在步骤812中获得)以及邻近样本118的值作为支持值来获得样本119的值。
多个邻近样本可沿着预定块(18)的两侧一维地延伸。可通过将多个邻近样本(17)分组为具有一个或者多个连续邻近样本的组(110)，并且对具有两个或者多于两个的邻近样本的所述具有一个或者多个邻近样本的组(110)的每一个执行下采样或者平均，来执行缩减(811)。
在示例中，线性或仿射线性变换可以包括Pred*Qred或者Pred*Q个加权因子，其中Pred是所述样本值的缩减集合(102)内的样本值(102)的数量，且Qred或者Q是所述预定块(18)内的预定样本的数量。至少1/4Pred*Qred或者1/4Pred*Q个加权因子是非零加权值。针对所述Q或者Qred个预定样本的每一个，所述Pred*Qred或者Pred*Q个加权因子可包括与相应预定样本有关的的一系列Pred个加权因子，其中，当所述系列根据所述预定块(18)的预定样本之间的光栅扫描顺序而布置成一个低于另一个时，所述系列形成全向非线性的包络。Pred*Qred或者Pred*Q个加权因子通过任何常规映射规则可均彼此无关。与各个预定样本有关的一第一系列加权因子以及与预定样本而非该各个预定样本相关的一第二系列加权因子之间的一互相关最大值的平均值，或者该后面系列的一逆版本，不论怎么导致一较高最大值，都低于一预定阈值相应预定样本有关的加权因子的第一系列、和与除所述相应预定样本之外的预定样本有关的加权因子的第二系列或者后一系列的逆版本之间的互相关的最大值的平均值，无论是否导致更高的最大值，都低于预定阈值。预定阈值可以是0.3[或者在某些情况下为0.2或者0.1]。Pred个邻近样本(17)可沿着沿所述预定块(18)的两侧延伸的一维路径设置，以及针对Q或者Qred个预定样本的每个，以在预定方向上横贯所述一维路径的方式，对与所述相应预定样本有关的Pred个加权因子的系列进行排序。
方法和装置的描述
为了预测宽度W(也用N表示)与高度H(也用M表示)的矩形块的样本，仿射线性加权内预测(ALWIP)可以取块的左列H重构的相邻边界样本的一列以及该块上方W重构的相邻边界样本作为输入。如果重构的样本不可用，则可以如在传统内预测中所做的那样产生它们。
预测信号的产生(例如，完整块18的数值)可能基于以下三个步骤中的至少一个或者一些：
1.在边界样本17外，可通过平均或者下采样(例如，步骤811)提取样本102(例如，在W＝H＝4的情况下为四个样本，和/或在其他情况下为八个样本)。
2.使用经平均的样本(或者从下采样剩余的样本)作为输入来进行矩阵向量乘法(matrix vector multiplication)，然后加上偏移量。该结果可以是在原始块中的样本的子采样集合上的缩减预测信号(例如，步骤812)。
3.可例如通过线性内插(例如步骤813)，例如通过上采样，从子采样集合上的预测信号产生剩余位置处的预测信号。
由于步骤1.(811)和/或步骤3.(813)，在矩阵矢量积的计算中所需的乘法的总数量可使得其始终小于或者等于4*W*H。此外，仅通过使用加法与位移位进行边界上的平均运算与缩减的预测信号的线性内插。换句话说，在示例中，对于ALWIP模式需要每个样本最多四个乘法。
在一些示例中，产生预测信号所需要的矩阵(例如17M)与偏移向量(例如bk)可取自矩阵的集合(例如三个集合)，例如S0,S1,S2，其例如可以存储在解码器与编码器的存储单元中。
在一些示例中，集合S0可包括(例如，由其组成)n0个(例如n0＝16或者n0＝18或者其他数量)矩阵
每个矩阵可具有16行4列以及18个偏移向量
每个尺寸16，以执行根据图7.1的技术。此集合的矩阵与偏移向量用于尺寸4×4的块18。一旦边界向量已缩减为Pred＝4向量(如图7.1的步骤811)，可将样本的缩减集合102的Pred＝4个样本直接映射到待预测的4x4块18的Q＝16个样本。
在一些示例中，集合S1可包括(例如，由其组成)n1个(例如n1＝8或者n1＝18或者其他数量)矩阵
每个矩阵可能具有16行8列以及18个偏移向量
每个尺寸16，以执行根据图7.2或者7.3的技术。此集合S1的矩阵与偏移向量可用于尺寸4×8、4×16、4×32、4×64、8×4、8×8、16×4、32×4与64×4的块。另外，它也可用于具有max(W,H)>4和min(W,H)＝4的尺寸WxH的块，亦即，用于尺寸4×16或者16×4、4×32或者32×4和4×64或者64×4的块。16×8矩阵引用块18的缩减版本，其是4×4块，如图7.2与7.3所获得的。
附加地或者可替代地，集合S2可包括(例如，由其组成)n2个(例如n2＝6或者n2＝18或者其他数量)矩阵
每个矩阵可能具有64行8列以及18个偏移向量
每个尺寸64。64x8矩阵引用块18的缩减版本，其是8x8块，例如如图7.4所获得的。此集合的矩阵与偏移向量可以用于尺寸8×16、8×32、8×64、16×8、16×16、16×32、16×64、32×8、32×16、32×32、32×64、64×8、64×16、64×32、64×64。
在图12中总结了基于块的维度的集合S0,S1,S2的选择的示例(可以在步骤812a执行)。在替代的示例中，每个集合具有不同数量的矩阵是可能的。附加地或者可替代地，不同尺寸的矩阵可能用于不同的集合。
集合的矩阵与偏移向量或者这些矩阵与偏移向量的一部分可用于所有其他块形状。
5.4边界的平均或下采样
在此，提供关于步骤811的特征。
如上所述，可对边界样本(17a，17c)进行平均和/或下采样(例如，从P个样本到Pred<P个样本)。
在第一步骤中，输入边界bdrytop(例如17c)以及bdryleft(例如17a)可被缩减为较小的边界
和
以到达缩减集合102。这里，在4x4块的情况下，
和
均由2个样本组成，在其他情况下均由4个样本组成。
在4x4块的情况下，可定义
并类似地定义
因此，
是例如使用位移位运算获得的平均值。
在所有其他情况下(例如，对于宽度或者高度不等于4的块)，如果块宽度被给定为W＝4*2k，针对0≤i<4，定义
以及类似地定义
在其他情况下，可对边界进行下采样(例如，通过从一组边界样本选择一个特定的边界样本)，以达到缩减样本数量。例如，
可在bdrytop[0]与bdrytop[1]之间选择，并且
可在bdrytop[2]与bdrytop[3]选择。也可类似地限定
两个缩减边界
与
可级联成缩减边界向量bdryred(与缩减集合102相关联)，也以17P表示。缩减边界向量bdryred因此可以具有针对形状4×4的块的尺寸四(Pred＝4)(图7.1的示例)以及针对所有其他形状的块的尺寸八(Pred＝8)(图7.2-7.4的示例)。
在此，如果mode(模)<18(或者矩阵集合内的矩阵的数量)，则可定义
如果mode≥18，其对应于mode-17的转置模式，则可定义
因此，根据特定状态(一种状态：mode<18；另一种状态：mode≥18)，可沿不同的扫描顺序(例如，一个扫描顺序：
另一个扫描顺序：
分布输出向量的预测值。
可以执行其他策略。在其他示例中，模索引‘mode’不必一定在0到35的范围内(可定义其他范围)。此外，三个集合S0，S1，S2中的每一个都不必具有18个矩阵(因此，可以代替如mode≥18的表达式，可以是mode≥n0,n1,n2,，其分别是针对每个矩阵集合S0，S1，S2的矩阵的数量)。此外，集合可能各自具有不同矩阵的数量(例如，可能是S0具有16个矩阵，S1具有8个矩阵，而S2具有6个矩阵)。
模与转置信息不必作为一个组合模索引‘mode’存储和/或发送：在某些示例中，有可能显式地用信号通知作为转置标志和矩阵索引(对于S0为0-15，对于S1为0-7，对于S2为0-5)。
在某些情况下，该转置标志与矩阵索引的组合可能解释为集合索引。例如，可以有一个位用作转置标志，并且一些位指示矩阵索引，统称为“集合索引”(set index)。
5.5通过矩阵向量乘法生成缩减预测信号
在此，提供关于步骤812的特征。
可以从缩减输入向量bdryred(边界向量17P)产生缩减预测信号predred。后一信号可以是关于具有宽度Wred与高度Hred的经下采样的块的信号。在此，Wred与Hred可定义成：
Wred＝4,Hred＝4；如果max(W,H)≤8,
Wred＝min(W,8),Hred＝min(H,8)；否则.
缩减预测信号predred可通过计算矩阵向量乘积以及加上偏移量来计算：
predred＝A·bdryred+b.
在此，A是矩阵(例如预测矩阵17M)，其在W＝H＝4的情况下可具有Wred*Hred行和4列，以及在所有其他情况是8列，并且b是可具有尺寸Wred*Hred的向量。
如果W＝H＝4，则A可具有4列与16行，并且因此在这种情况下，可需要每样本4次乘法来计算predred。在所有其他情况下，A可具有8行，并且可验证在这些情况下具有8*Wred*Hred≤4*W*H，即在这些情况下，也最多需要每样本4个乘法计算predred。
矩阵A与向量b可如下所示取自于集合S0,S1,S2中的一个集合。可通过设置如果W＝H＝4,idx(W,H)＝0,如果max(W,H)＝8，idx(W,H)＝1,以及在所有情况中，idx(W,H)＝2，来定义索引idx＝idx(W,H)。此外，可设置如果mode<18，m＝mode，否则，m＝mode-17。然后，如果idx≤1或者idx＝2并且min(W,H)>4，可设置
以及
在idx＝2且min(W,H)＝4的情况下，让A成为通过省去
的每一行而产生的矩阵，其在W＝4情况下，对应于经下样本的块中的奇数x-坐标，或者在H＝4的情况下，对应于经下样本的块中的奇数y坐标。如果mode≥18，则用其转置信号替换缩减的预测信号。在替代的示例中，可能执行不同的策略。例如，代替缩减较大矩阵的尺寸(“省去(leave out)”)，使用具Wred＝4且Hred＝4的S1(idx＝1)的较小矩阵。亦即，现在将这样的块分布给S1而不是S2。
可能执行其他策略。在其他示例中，模索引‘mode’不必一定在0到35的范围内(可以限定其他范围)。此外，三个集合S0，S1，S2中的每一个都不必具有18个矩阵(因此，代替如mode<18的表达式，可以是mode<n0,n1,n2，且是分别针对每个矩阵集合S0，S1，S2的矩阵的数量)。此外，集合可各自具有不同矩阵的数量(例如，可以是S0具有16个矩阵，S1具有八个矩阵，而S2具有六个矩阵)。
5.6线性插值以生成最终预测信号
在此，提供关于步骤812的特征。
在大块上内插经次采样的预测信号，经平均的边界的第二版本可能是需要的。亦即，如果min(W,H)>8且W≥H，则写成W＝8*2l，以及针对0≤i<8，定义
如果min(W,H)>8且H>W，类似地定义
附加地或者可替代地，可能具有“硬下采样”，其中
等于
并且可类似地定义
在predred的产生中省去的样本位置处，通过来自predred的线性内插可产生最终预测信号(例如，在图7.2-7.4与8.2的示例中的步骤813)。在一些示例中，如果W＝H＝4(例如，图7.1与8.1的示例)，则此线性内插可以是不必要的。
线性内插可如下给出(尽管其他示例是可能的)。假设W≥H。然后，如果H>Hred，可执行predred的垂直上采样。在此情况下，predred可如下所示向上延伸一列。如果W＝8，predred可具有宽度Wred＝4，并且可通过经平均的边界信号
延伸到顶端，如上面限定的。如果W>8，predred具有宽度Wred＝8，并且其通过经平均的边界信号
延伸到顶端，如上面限定的。针对predred的第一行，可写成predred[x][-1]。然后在具有宽度width Wred与高度2*Hred的块上的信号
可如下给出
其中0≤x<Wred以及0≤y<Hred。后一处理可被执行k次直到2k*Hred＝H。因此，如果H＝8或者H＝16，可至少执行一次。如果H＝32，可执行两次。如果H＝64，可执行三次。接下来，水平上采样运算可应用于经垂直上采样的结果。后面的上采样运算可使用预测信号的完整边界。最后，如果H>W，则可先在水平方向(如果需要)然后在垂直方向上通过第一上采样以类似的方式进行。
这是一个内插示例，该内插示例针对第一内插(水平或者垂直)使用缩减的边界样本，针对第二内插(水平或者垂直)使用原始边界样本。根据块大小，仅需要第二内插或者不用内插。如果需要水平与垂直内插，则该顺序取决于块的宽度与高度。
然而，可以实现不同的技术：例如，原始边界样本可用于第一与第二内插两者，并且该顺序可能是固定的，例如，先水平然后垂直(在其他情况下，先垂直然后水平)。
因此，该内插顺序(水平/垂直)以及缩减/原始边界样本的使用可能会变化。
5.7整个ALWIP过程的示例的说明
在图7.1-7.4中用不同形状说明平均、矩阵向量乘法和线性插值的整个过程。注意，其余形状按所示情况之一处理。
如果给定4×4块，则ALWIP可通过使用图7.1的技术沿边界的每个轴取两个平均值。所得的四个输入样本进入矩阵向量乘法。矩阵取自集合S0。在添加偏移量之后，这可以产生16个最终预测样本。线性内插对于产生预测信号不是必需的。因此，每个样本总共执行(4*16)/(4*4)＝4个乘法。举例来说，参见图7.1与8.1。
如果给定8×8块，则ALWIP可以沿边界的每个轴取四个平均值。通过使用图7.2的技术，得到的八个输入样本进入矩阵向量乘法。矩阵取自集合S1。这在预测块的奇数位置上产生16个样本。因此，每个样本总共执行(8*16)/(8*8)＝2个乘法。在添加偏移量之后，例如可通过使用顶端边界垂直地对这些样本进行内插，以及例如可通过使用左边界水平地对这些样本进行内插。例如，参见图7.2与8.2。
如果给定8×4块，ALWIP可能使用图7.3的技术沿边界的水平轴取四个平均，并在左边界取四个原始边界值。所得的八个输入样本进入矩阵向量乘法。矩阵取自集合S1。这在预测块的奇数水平与每个垂直位置上产生16个样本。因此，每个样本总共执行(8*16)/(8*4)＝4个乘法。在添加偏移量后，例如通过使用左边界对这些样本进行水平内插。例如，参见图7.3与8.2。
转置后的情况将据此进行处理。
如果给定16×16的块，则ALWIP可以沿边界的每个轴取四个平均。通过使用图7.2的技术，得到的八个输入样本进入矩阵向量乘法。矩阵取自集合S2。这在预测块的奇数位置上产生64个样本。因此，每个样本总共执行(8*64)/(16*16)＝2个乘法。在添加偏移量之后，例如，使用顶端边界垂直地对这些样本进行内插，以及使用左边界水平地对这些样本进行内插。例如，参见图7.2与8.2。例如，参见图7.4与8.2。
对于较大的形状，该过程可能基本相同，并且很容易检查每个样本的乘法的数量是否少于两个。
对于W×8块，当在奇数个水平位置以及每个垂直位置给出样本时，仅需要水平内插。因此，在这些情况下，每个样本最多执行(8*64)/(16*8)＝4个乘法。
最终，对于W>8的W×4块，使得Ak为通过舍弃对应于沿着下采样块的水平轴的奇数项的每一列所产生的矩阵。因此，输出尺寸可以是32，并且再次，仅留下水平内插待执行。每个样本最多可以执行(8*32)/(16*4)＝4个乘法。
转置后的情况可能会得到相应处理。
5.8所需参数数量和复杂性评估
属于集合S0,S1,S2的矩阵与偏移向量可包括针对所有可能提出的内预测模式所需的参数。所有矩阵系数与偏移向量都可能存储为10位数值。因此，根据以上描述，对于所提出的方法可能需要总共14400个参数，每个是10位精度。这对应于0,018MB的内存。需要指出的是，目前，在标准4：2：0色度二次样本中，尺寸128×128的CTU由24576个数值组成，每个值10位。因此，所提出的内预测工具的内存需求不超过在上次会议上采用的当前图像参考工具的内存需求。此外，应当指出，由于PDPC工具或者具有分数角位置的角度预测模式的4抽头(4-tap)内插滤波器，传统的内预测模式每个样本需要四个乘法。因此，就运算复杂度而言，本提议的方法不超过传统的内预测模式。
5.9所提议的内预测模式的信号化
对于亮度块，例如，提议了35种ALWIP模式(可能以使用其他数量的模式)。对于帧内模式下的每个编码单元(CU)，在位流中发送指示是否将ALWIP模式应用于对应的预测单元(PU)的标志。后者索引的信号化可如同针对第一个CE测试的相同方式与MRL协调。如果ALWIP模式待应用，则可使用带有3个MPMS的MPM列表来发信号通知该ALWIP模式的索引predmode。
在此，可以如下所述使用以上的内模式以及左方PU来执行MPM的导出。可以有表格，例如可为每个传统内预测模式predmodeAngular分配ALWIP模式的三个固定表map_angular_to_alwipidx,idx∈{0,1,2}。
predmodeALWIP＝map_angular_to_alwipidx[predmodeAngular].
针对宽度W和高度H的每个PU，定义且索引
idx(PU)＝idx(W,H)∈{0,1,2}
其指示从三个集合中的哪一集合中获取ALWIP参数，如上文第4节所述。如果上述预测单元PUabove是可用的属于与当前PU相同的CTU，并且处于内模式，如果idx(PU)＝idx(PUabove)并且如果ALWIP被应用在具有ALWIP模式
的PUabove上，则设置
如果上述预测单元PU是可用的，属于与当前PU相同的CTU，并且处于内模式，并且如果传统内预测模式
被应用在上述PU，则设置
在所有其他情况下，设置
这表示此模式不可用。以相同的方式，但不限制左PU需要与当前PU属于相同CTU，导出模式
最终，提供三个固定默认列表listidx,idx∈{0,1,2}，其中每个包含三个不同ALWIP模式。从默认列表listidx(PU)以及模式
和
之中，通过按默认值的substituting-1以及消除重复，构建三个不同MPM。
5.10用于常规亮度和色度内预测模式的适配MPM列表导出
如下所述，所提议的ALWIP模式可与传统内预测模式的基于MPM的编码相协调。对于传统内预测模式的亮度与色度MPM列表导出过程可使用固定表格map_lwip_to_angularidx,idx∈{0,1,2},将给定PU上的ALWIP模式predmodeLWIP映射到传统内预测模式的一个。
predmodeAngular＝map_lwip_to_angularidx(PU)[predmodeLWIP].
对于亮度MPM列表导出，每当遇到使用ALWIP模式predmodeLwIP的邻近亮度块，此块就可被视为好像使用传统内预测模式predmodeAngular。对于色度MPM列表导出，每当当前亮度块使用LWIP模式，相同的映射可用于将ALWIP模式变换为传统的内预测模式。
5.11实验结果
根据通用测试条件JVET-J1010[2]，针对具有VTM软件3.0.1版的仅内部(AI)与随机访问(RA)配置进行测试评估。在具有Linux OS与GCC 7.2.1编译程序的Intel Xeon丛集(E5-2697A v4，AVX2打开，turbo boost关闭)上进行对应的模拟。
表格1.针对VTM AI配置的CE3-1.2.2的结果
| Y | U | V | 编码时间 | 解码时间 | |
| 类A1 | -1,38％ | -0,89％ | -0,75％ | 152％ | 104％ |
| 类A2 | -0,75％ | -0,25％ | -0,24％ | 151％ | 103％ |
| 类B | -0,79％ | -0,27％ | -0,30％ | 155％ | 101％ |
| 类C | -0,86％ | -0,41％ | -0,56％ | 154％ | 100％ |
| 类E | -1,11％ | -0,40％ | -0,49％ | 151％ | 98％ |
| 总计 | -0,95％ | -0,42％ | -0,46％ | 153％ | 101％ |
| 类D | -0,94％ | -0,58％ | -0,38％ | 154％ | 101％ |
| 类F(可选) | -1,01％ | -0,64％ | -0,63％ | 151％ | 99％ |
表格2.针对VTM RA配置的CE3-1.2.2的结果
| Y | U | V | 编码时间 | 解码时间 | |
| 类A1 | -0,90％ | -1,56％ | -1,61％ | 111％ | 100％ |
| 类A2 | -0,42％ | -0,24％ | -0,15％ | 109％ | 103％ |
| 类B | -0,52％ | -0,52％ | -0,99％ | 111％ | 99％ |
| 类C | -0,52％ | -0,71％ | -0,56％ | 110％ | 97％ |
| 类E | |||||
| 总计 | -0,57％ | -0,73％ | -0,83％ | 110％ | 100％ |
| 类D | -0,54％ | -0,77％ | -0,70％ | 110％ | 99％ |
| 类F(可选) | -0,72％ | -0,66％ | -0,45％ | 112％ | 95％ |
5.12利用进一步编码器加速的额外结果
我们额外地提供针对测试的两个另外的结果，这些结果依赖于如CE 3-1.2.2的相同语法，但具有优化的编码器搜索。
表格1.针对VTM AI配置、第一编码器加速的CE3-1.2.2的结果
| Y | U | V | 编码时间 | 解码时间 | |
| 类A1 | -1,30％ | -0,72％ | -0,77％ | 137％ | 104％ |
| 类A2 | -0,65％ | -0,21％ | -0,20％ | 136％ | 104％ |
| 类B | -0,69％ | -0,22％ | -0,22％ | 137％ | 102％ |
| 类C | -0,74％ | -0,37％ | -0,47％ | 134％ | 103％ |
| 类E | -1,00％ | -0,42％ | -0,39％ | 137％ | 101％ |
| 总计 | -0,85％ | -0,37％ | -0,39％ | 136％ | 103％ |
| 类D | -0,86％ | -0,32％ | -0,39％ | 131％ | 103％ |
| 类F(可选) | -0,92％ | -0,68％ | -0,63％ | 132％ | 102％ |
表格2.针对VTM RA配置、第一编码器加速的CE3-1.2.2的结果
| Y | U | V | 编码时间 | 解码时间 | |
| 类A1 | -0,90％ | -1,56％ | -1,61％ | 111％ | 100％ |
| 类A2 | -0,42％ | -0,24％ | -0,15％ | 109％ | 103％ |
| 类B | -0,52％ | -0,52％ | -0,99％ | 111％ | 99％ |
| 类C | -0,52％ | -0,71％ | -0,56％ | 110％ | 97％ |
| 类E | |||||
| 总计 | -0,57％ | -0,73％ | -0,83％ | 110％ | 100％ |
| 类D | -0,54％ | -0,77％ | -0,70％ | 110％ | 99％ |
| 类F(可选) | -0,72％ | -0,66％ | -0,45％ | 112％ | 95％ |
表格3.针对VTM AI配置、第二编码器加速的CE3-1.2.2的结果
| Y | U | V | 编码时间 | 解码时间 | |
| 类A1 | -1,13％ | -0,71％ | -0,67％ | 127％ | 103％ |
| 类A2 | -0,58％ | -0,18％ | -0,13％ | 127％ | 102％ |
| 类B | -0,59％ | -0,25％ | -0,29％ | 128％ | 99％ |
| 类C | -0,67％ | -0,37％ | -0,45％ | 125％ | 101％ |
| 类E | -0,90％ | -0,46％ | -0,37％ | 127％ | 100％ |
| 总计 | -0,75％ | -0,38％ | -0,38％ | 127％ | 101％ |
| 类D | -0,75％ | -0,40％ | -0,37％ | 124％ | 102％ |
| 类F(可选) | -0,71％ | -0,46％ | -0,39％ | 124％ | 100％ |
表格4.针对VTM RA配置、第二编码器加速的CE3-1.2.2的结果，
| Y | U | V | 编码时间 | 解码时间 | |
| 类A1 | -0,79％ | -1,54％ | -1,44％ | 107％ | 98％ |
| 类A2 | -0,36％ | -0,28％ | -0,02％ | 106％ | 100％ |
| 类B | -0,43％ | -0,41％ | -0,64％ | 107％ | 97％ |
| 类C | -0,44％ | -0,68％ | -0,42％ | 106％ | 96％ |
| 类E | |||||
| 总计 | -0,49％ | -0,68％ | -0,62％ | 107％ | 97％ |
| 类D | -0,43％ | -1,09％ | -0,66％ | 106％ | 101％ |
| 类F(可选) | -0,59％ | -0,47％ | -0,41％ | 107％ | 94％ |
6.图10的编码器
图10示出可从第1、2与5-9图的示例解释的另一示例。(特别是某些特征可直接从图2导出，因此在此不再重复)。
图10显示编码器14，编码器14可以是例如图1的编码器的特定情况。类似于图2，编码器14可以包括被配置为从入站信号即图像10、或者在基于块的情况下的当前块18减去对应的预测信号24(例如，具有在步骤812处获得的重构的样本104的块18)的减法器22，以便获得预测残差信号26，然后预测残差信号26通过预测残差编码器28编码为数据流12。预测残差编码器28可包括有损编码级28a与无损编码级(熵编码器)28b。有损编码级28a可接收预测残差信号26，并且包括被配置为量化预测残差信号26的样本的量化器30(未显示)。然后，通过无损编码级28b使获得的预测残差信号34经受无损编码。无损编级28b是将量化的预测残差信号34熵编码到数据流12中的熵编码器。编码器14还可包括连接到有损编码级28a的输出的预测残差信号重构级36，以便从变换与量化的预测残差信号34’中重构。
编码器14可包括加法器42，用以将由级36输出的重构的预测残差信号34’与预测信号24相加(例如，包括具有在步骤813获得的重构的样本104的块18)，以便输出重构的信号，亦即重构的样本。该输出馈送到预测器44，预测器然后可基于其来确定预测信号24(例如，通过应用图8.1-7.4所示的技术)。
可以看出，在图9中，方法步骤811、812、813在这里分别由预测器44内的级811’、812’、813’映射：方法步骤811、812、813可以在预测器44中以硬件单元和/或程序例程实现，以811’、812’、813’共同表示，或者由预测器控制。图示出，在示例中，可以像在图7.1的示例中那样，跳过导出级813’。
特别地，级811和/或813可描绘为呈现缓存器，例如缓存器910，用于执行上述的移位运算(缓存器910不一定是级811或者813的一部分：它可以是由经受级控制的一个单元)。取而代之，级812描绘为具有或者控制乘法器1910，其中在邻近样本17的选定的或者平均的样本102的Pred元件之间执行的乘法是乘以矩阵17M
的Q或者Qred加权因子。为了简洁起见，在级811’、812’、813’中，未显示其他元件(例如加法器等)。
存储设备1044在这里指示为存储ALWIP矩阵17M或者
(例如，在集合S0、S1、S2中)和偏移向量
(在上文中也指示为bk)。矩阵和/或偏移的索引944(例如，上面讨论的索引的一个或者多个，例如i、k，转置索引、设置索引)可以被编码在数据流12中。Q或者Qred加权因子通常没有在数据流12中用信号通知：这是因为解码器已经具有ALWIP矩阵17M的Q或者Qred加权因子的概念(例如，具有存储在存储设备1044的数据的副本)，因此减少有效负载。
即使未在图中显示，例如，根据块18的维度，编码器14也可确定待使用的ALWIP矩阵的维度(例如，在集合S0、S1、S2中设置的维度)。在某些情况下，由于选择块18的维度，因此没有必要用信号表示此选择。
因此，编码器14被配置为针对预定块18，使用在步骤812获得的预测残差与预定样本的预测值24(104)将预测残差34插入到数据流12中，可以从数据流12重构预定块18。
附加地或者替代地，编码器14可被配置为针对预定块(18)将预测残差(26、34)插入到数据流(12)中，所述预测残差针对Q个或者Qred个预定样本中的每一个指示对应的残差值，使得可通过校正该组Q或者Qred值的每一个的预测值，使用预测残差(26、34)和预定样本的预测值重构预定块(18)，使得对应的重构的数值，除了，可选地，在预测和/或校正之后施加的剪切(clipping)之外，严格地线性地取决于样本值的缩减集合(102)内的Pred邻近样本(102)。
附加地或者可替代地，编码器14可被配置为细分包括预定块(18)的图像(16)为不同块尺寸的多个块。编码器14可被配置为根据预定块(18)的宽度W(也用N表示)与高度H(也用M表示)选择线性或仿射线性变换(19，Ak)，使得只要预定块(18)的宽度W与高度H在宽度/高度对的第一集合(例如关联于S0)内，从线性或仿射线性变换的第一集合内选择出针对预定块(18)选择的线性或仿射线性变换(19，Ak)，以及只要预定块(18)的宽度W与高度H在宽度/高度对的第二集合(例如关联于S1)内，从线性或仿射线性变换的第二集合内选择出针对预定块(18)选择的线性或仿射线性变换，宽度/高度对的第二集合与宽度/高度对的第一集合是不相交的。
附加地或者可替代地，编码器可被配置为使得一个或者多个宽度/高度对的第三集合(例如，S0)仅包括一个宽度/高度对，W’，H’，以及在线性或仿射线性变换的第二集合内的每个线性或仿射线性变换是用于将N’个样本值变换为针对样本位置的W’*H’阵列的W’*H’个预测值。
附加地或者替代地，编码器可被配置为使得宽度/高度对的第一与第二集合的每个包括具有Wp等于Hp的第一宽度/高度对Wp、Hp，以及具有Hq＝Wp与Wq＝Hp的第二宽度/高度对Wq、Hq。
附加地或者替代地，编码器可被配置为使得宽度/高度对的第一与第二集合的每个包括具有Wp等于Hp并且Hp>Hq的第三宽度/高度对Wp、Hp。
附加地或者替代地，编码器可被配置为针对预定块将集合索引插入数据流中，根据集合索引从线性或仿射线性变换的预定集合中选择线性或仿射线性变换。
附加地或者替代地，编码器可能被配置使得多个邻近样本沿着预定块的两侧一维地延伸，并且解码器被配置为通过以下步骤执行缩减：针对与预定块相邻的第一侧的第一子集的多个邻近样本，将第一子集分组为具有一个或者多个连续邻近样本的第一组(110)，以及针对与预定块相邻的第二侧的第二子集的多个邻近样本，将第二子集分组为具有一个或者多个连续邻近样本的第二组(110)，并且为了从第一组获得第一样本值和从第二组获得第二样本值，在具有一个或者多个邻近样本的第一与第二组(110)的具有多于两个的邻近样本的每组上进行下采样或者平均，以及解码器被配置为根据集合索引从预定集合的线性或仿射线性变换选择出线性或仿射线性变换，使得两个不同状态的集合索引导致选择预定集合的线性或仿射线性变换的多个该线性或仿射线性变换的一个，以及使样本值的缩减集合经受预定的线性或仿射线性变换，如果集合索引以第一向量的形式取两个不同状态中的第一个，产生预测值的输出向量，并且沿第一扫描顺序将输出向量的预测值分布到预定块的预定样本上，以及如果集合索引以第二向量形式假设取两个不同状态中的第二个，产生预测值的输出向量，并且沿着第二扫描顺序将输出向量的预测值分布到预定块的预定样本上，第二扫描顺序相对于第一扫描顺序是转置的，第一向量与第二向量不同，使得在第二向量中的第二样本值的一个填充第一向量中的第一样本值的一个所填充的分量，以及在第二向量中的第一样本值的一个填充第一向量中的第二样本值的一个所填充的分量。
附加地或者替代地，编码器可被配置使得线性或仿射线性变换的第一集合(S1)内的每个线性或仿射线性变换用于将N1个样本值变换为针对样本位置的w1xh1阵列的w1*h1个预测值，并且第二组线性或仿射线性变换内的每个线性或仿射线性变换用于将N2个样本值变换为针对样本位置的w2xh2阵列的w2*h2个预测值，以及其中，针对多个宽度/高度对的第一集合的第一预定的一个，w1超过第一预定宽度/高度对的宽度，或者h1超过第一预定宽度/高度对的该高度，并且对于多个宽度/高度对的第一集合的第二预定的一个，w1不超过第二预定宽度/高度对的宽度，h1也不超过第二预定宽度/高度对的高度，并且编码器可被配置为通过下采样或者平均化执行缩减(100)多个邻近样本以获得样本值的缩减集合(102)，使得如果预定块具有第一预定宽度/高度对以及如果预定块具有第二预定宽度/高度对，则样本值的缩减集合(102)具有N1个样本值，以及执行经受步骤，在预定块具有第一预定宽度/高度对的情况下，通过仅使用选择的线性或仿射线性变换的与样本位置的w1xh1阵列的子采样有关的第一子部分，如果w1超过一个宽度/高度对的宽则沿着宽度维度，或者如果h1超过一个宽度/高度对的高度则沿着高度维度，以及在预定块具有第二预定宽度/高度对情况下，则通过完整地使用选择的线性或仿射线性变换，来使样本值的缩减集合经受选择的线性或仿射线性变换
附加地或者替代地，编码器可被配置使得线性或仿射线性变换的第一集合内的每个线性或仿射线性变换用于将N1个样本值变换为针对其中w1＝h1的样本位置的w1xh1阵列的w1*h1个预测值，以及线性或仿射线性变换的第二集合内的每个线性或仿射线性变换用于将N2个样本值变换为针对其中w2＝h2的样本位置的w2xh2阵列的w2*h2个预测值。
7.图11的示例
图11示出可以从第3-9示例中解释的另一示例。(特别是一些特征可直接从图4中导出，因此这里不再重复)。
图11显示图4的解码器54的一种可能的实现方式，亦即一种与图10的编码器14的实现方式适配的解码器实现方式。特别地，加法器42′与预测器44′可以它们在图10的编码器14的相同的方式连接到预测循环。施加到加法器42′的重构的、即经解量化与重新变换的预测残差信号，可通过一系列的熵解码器导出，熵解码器逆转熵编码器的熵编码，接着，由解量化器与逆变换器40′组成的残差信号重构级，就像在编码方面一样。解码器的输出是图像10的重构。图像10的重构可直接在加法器42'的输出处使用，或者可替代地，在一环内滤波器的输出处使用。
可以看出，级813’、812’、813’可作为编码器14，并且存储设备1044可以如在编码器14中那样存储矩阵的集合。因此，这里不再重复讨论。从数据流12可直接获得索引944(例如，上面讨论的索引中的一个或者多个，例如i、k，转置索引、集合索引)。集合S0、S1、S2之间的选择可遵循该尺寸(例如H/K或者M/N)。
附加地或者可替代地，解码器可以被配置为针对预定块(18)，从数据流(12)导出预测残差(34”)，以及使用预测残差(34”)与针对预定样本(24’、104、108、108’)的预测值(24’)重构(42’)预定块(18)。
附加地或者替代地，解码器可以被配置为为了针对集合的Q或者Qred预定样本的每个获得对应的残差值，针对预定块(18)从数据流(12)导出预测残差(34”)，以及通过对应的残差值(34”)针对集合的Q或者Qred预定样本的每个通过校正该预测值，使用预测残差(34”)和预测值(24’，104)重构预定块(18)以获得对应的重构值(10)，使得对应的重构值(10)严格地线性地取决于样本值的缩减集合(102)内的Pred邻近样本(102)，除了在预测和/或校正后可以选择性地施加的一剪切。
附加地或者替代地，解码器可以被配置为使得解码器被配置为将包括预定块(18)的图像(10)细分为不同块尺寸的多个块，其中解码器被配置为根据预定块(18)的宽度W和高度H，选择线性或仿射线性变换(19，17M，Ak)，使得只要预定块(18)的宽度W与高度H在宽度/高度对的第一集合内，从线性或仿射线性变换的第一集合内选择出针对预定块(18)选择的线性或仿射线性变换，以及只要预定块的宽度W与该高度H在宽度/高度对的一第二集合内，从线性或仿射线性变换的第二集合内选择出针对该预定块(18)选择的线性或仿射线性变换，宽度/高度对的第二集合与宽度/高度对的第一集合是不相交的。
附加地或者替代地，解码器可以被配置为使得解码器被配置为将包括预定块(18)的图像(10)细分为不同块尺寸的多个块，其中解码器被配置为取决于预定块(18)的宽度W和高度H选择线性或仿射线性变换(19，17M，Ak)，使得只要预定块(18)的宽度W和高度H在宽度/高度对的第一集合内，从线性或仿射线性变换的第一集合(S1)选择出针对预定块(18)选择的线性或仿射线性变换、只要预定块(18)的宽度W和高度H在宽度/高度对的第二集合内，从线性或仿射线性变换的第二集合(S2)选择出针对预定块(18)选择的线性或仿射线性变换，宽度/高度对的第二集合与宽度/高度对的第一集合是不相交的，以及只要预定块(18)的宽度W和高度H在宽度/高度对的第三集合内，从线性或仿射线性变换的第三集合(S3)选择出针对预定块(18)选择的线性或仿射线性变换，宽度/高度的第三集合对与宽度高度对的第一和第二集合是不相交的。
附加地或者替代地，解码器可被配置为使得一个或者多个宽度/高度对的第三集合(S0)仅包括一个宽度/高度对，W’，H’，并且在线性或仿射线性变换的第三集合(S0)内的每个线性或仿射线性变换用于将N’个样本值变换为针对样本位置的W’xH’阵列的W’*H’个预测值。
附加地或者替代地，解码器可被配置为使得宽度/高度对的第一与第二集合(S1，S2)的每个包括具有Wp等于Hp的第一宽度/高度对Wp、Hp，以及具有Hq＝Wp与Wq＝Hp的第二宽度/高度对Wq、Hq。
附加地或者替代地，解码器可被配置为使得宽度/高度对的第一与第二集合(S1，S2)的每个包括具有Wp等于Hp并且Hp>Hq的第三宽度/高度对Wp、Hp。
附加地或者替代地，解码器可被配置为针对预定块(18)从数据流(12)读取集合索引(k)，根据集合索引(k)从预定集合的线性或仿射线性变换选择出该线性或仿射线性变换。
附加地或者替代地，解码器可被配置为使得多个邻近样本(17)沿着预定块(18)的两侧一维地延伸，并且解码器被配置为执行缩减(811)，通过：针对与预定块相邻的第一侧的第一子集的多个邻近样本，将第一子集分组为具有一个或者多个连续邻近样本的第一组(110)，以及针对与预定块相邻的第二侧的第二子集的多个邻近样本，将第二子集分组为具有一个或者多个连续邻近样本的第二组(110)，并且为了从第一组获得第一样本值(110)和从第二组获得第二样本值(102)，在具有一个或者多个邻近样本的第一与第二组(110)的每组上进行下采样或者平均，第一与第二组(110)的每组具有多于两个的邻近样本，以及解码器被配置为根据集合索引从预定集合的线性或仿射线性变换选择出线性或仿射线性变换，使得两个不同状态的集合索引导致选择线性或仿射线性变换的预定集合中的线性或仿射线性变换的一个，以及使样本值的缩减集合(102)经受预定的线性或仿射线性变换，如果集合索引以第一向量的形式取两个不同状态中的第一个，产生预测值的输出向量，并且沿第一扫描顺序将输出向量的预测值分布到预定块的预定样本上，以及如果集合索引以第二向量形式取两个不同状态中的第二个以产生预测值的输出向量，并且沿着第二扫描顺序将输出向量的预测值分布到预定块的预定样本上，第二扫描顺序相对于第一扫描顺序是转置的，第一向量与第二向量不同，使得在第二向量中的第二样本值的一个填充第一向量中的第一样本值的一个所填充的分量，以及在第二向量中的第一样本值的一个填充第一向量中的第二样本值的一个所填充的分量。
附加地或者替代地，解码器可以被配置为使得多个线性或仿射线性变换的第一集合(S1)内的每个线性或仿射线性变换用于将N1个样本值变换为针对样本位置的w1xh1阵列的w1*h1个预测值，并且第二组(S2)线性或仿射线性变换内的每个线性或仿射线性变换用于将N2个样本值变换为针对样本位置的w2xh2阵列的w2*h2个预测值，以及其中，针对多个宽度/高度对的第一集合(S1)的第一预定的一个，w1超过第一预定宽度/高度对的宽度，或者h1超过第一预定宽度/高度对的高度，并且对于宽度/高度对的第一集合(S1)的第二预定的个，w1不超过第二预定宽度/高度对的宽度，h1也不超过第二预定宽度/高度对的高度，以及其中，解码器被配置为通过下采样或者平均化执行缩减(100、811)多个邻近样本以获得样本值的缩减集合(102)，所以如果预定块具有第一预定宽度/高度对以及如果预定块具有第二预定宽度/高度对，则样本值的缩减集合(102)具有N1个样本值，以及执行经受(813)步骤，如果预定块具有第一预定宽度/高度对，则通过仅使用选择的线性或仿射线性变换的与样本位置的w1xh1阵列的子采样有关的第一子部分，如果w1超过一个宽度/高度对的宽度则沿着宽度维度，或者如果h1超过一个宽度/高度对的高度则沿着高度维度，以及如果预定块具有第二预定宽度/高度对，则通过完整地使用选择的线性或仿射线性变换，来使样本值的缩减集合经受选择的线性或仿射线性变换。
附加地或者替代地，解码器可被配置为使得线性或仿射线性变换的第一集合内的每个线性或仿射线性变换用于将N1个样本值变换为针对其中w1＝h1的样本位置的w1xh1阵列的w1*h1个预测值，以及线性或仿射线性变换的第二集合内的每个线性或仿射线性变换用于将N2个样本值变换为针对其中w2＝h2的的样本位置w2xh2阵列的w2*h2个预测值。
8.讨论本技术的效果
针对平均和/或内插独立使用的运算如位移位(尤其是达到缩减计算工作量的效果)，还应注意，可以获得其他效果，在某些示例中甚至可优于位移位的有效使用。
特别地，对于本示例，可以在不同的块形状之间共享预测模式，使得ALWIP矩阵17M的选择(例如，在步骤812a)在有限数量的集合上执行。例如，ALWIP矩阵的集合可少于待预测的块18的可能的维度(例如，高度/宽度对)。可以参考图12，将待预测的块18的不同宽度/高度对映射到集合S0(例如，具有n0个矩阵，例如，具有n0＝16)，集合S1(例如，具有n1个矩阵，例如，具有n1＝8)以及S2(例如，具有n2个矩阵，例如，具有n2＝6)的一个，如上所述(不同的划分是可能的)。
例如，对于具有维度4×8，4×16，4×32，4×64，8×4，8×8，16×4，32×4和64×4的任何一个的块可通过预测模式共享集合S1的多个16x8矩阵，以及具有维度8×16，8×32，8×64，16×8，16×16，16×32，16×64，32×8，32×16，32×32，32×64，64×8，64×16，64×32，64×64中任何一个的块可通过预测模式共享集合S2的多个64×8矩阵。仅需要执行诸如针对缩减步骤811所讨论的技术(见上文)，该缩减步骤用以将边界17的维度缩减为用以形成集合102的必要的样本的Pred数量，但是在步骤812中，待预测的块18的原始维度是不相关的。在步骤813(如果实现的话)，将可通过简单地执行内插来获得块的完整预测。
已经注意到，此方法允许以未期望的维度16*16*4+8*16*8+6*64*8＝5120值(例如，每个值是，8位值)缩减在存储空间处必要的存储空间。
相比之下，传统技术将需要针对每个宽度/高度对使用一组矩阵。从图12可以很容易地理解，将需要25组！可以很容易地理解25组矩阵远多于5120数值的存储空间。为了缩减必要的存储空间，因此有必要缩减每组矩阵的数量：但是，如果只有很少的矩阵可用于预测，则会降低质量！
在考虑到共享技术的存储空间的缩减甚至可通过减小所存储的矩阵自身的尺寸而得到放大。例如，MxN＝64x64块的预测将需要尺寸QxP＝(M*N)x(M+N)的矩阵，亦即，要存储(64*64)*(64+64)＝524288数值在存储空间中！因此，利用本技术，可比预期节省更多的存储空间。
因此，本技术允许缩减需要存储在单元1044中的参数的数量。
在有或者没有实际使用位移位的情况下，可以缩减编码器或者解码器可以使用的存储资源，或者相反地，更多的预测模式可能用于存储空间的奇偶校验。
通过结合位移位技术(在步骤811和/或813)以及为多个模式共享相同预测模式的那个(在步骤812处)尽管获得最佳效果。
关于针对25个不同的高度/宽度对使用25个不同集合的传统方法，显然地本技术可以解释为增加的复杂度(因为传统技术无法想象到步骤811和/或813)。但是，步骤811和/或813的引入可以通过乘法缩减补偿。
此外，关于针对25个不同的高度/宽度对使用25个不同集合的传统方法，控制过程所需的指令需要更多的存储空间(因为步骤811和/或813的额外指令要被存储)。但是，存储步骤811和/或813的指令的必要性可以通过缩减被存储的缩减的矩阵数量隐含的空间来弥补。
9.进一步的实施例与示例
通常，示例可以实现为具有程序指令的计算机程序产品，当计算机程序产品在计算机上运行时，程序指令可以操作于执行方法之一。举例来说，该程序指令可能存储在机器可读媒体上。
其他示例包括存储在机器可读载体上的，用于执行本文描述的方法之一的计算机程序。
换句话说，因此，方法之一个示例是计算机程序，当计算机程序在计算器上运行时，计算机程序具有用于执行本文描述的方法之一的程序指令。
因此，方法的进一步示例是数据载体媒体(或者一数字存储媒体，或者一计算机可读媒体)，包括记录在其上，用于执行本文方法之一的计算机程序。数据载体媒体、数字存储媒体或者记录媒体是有形的和/或非暂时性的，而不是无形的与短暂的信号。
因此，方法的进一步示例是用于执行本文描述的方法之一的计算机程序代表的数据流或者一系列的信号。例如可经由数据通信连接，例如经由因特网传输数据流或者信号序列。
进一步示例包括执行本文方法之一的处理设备，例如计算机或者可编程逻辑器件。
进一步示例包括其上安装有用于执行本文描述的方法之一的计算机程序的计算机。
进一步示例包括将用于执行本文描述的方法之一的计算机程序传送(例如，电子地或者光学地)到接收机的装置或者系统。接收器可以是例如计算机，移动设备，内存设备等。装置或者系统可例如包括用于将计算机程序传送到接收器的文件服务器。
在一些示例中，可编程逻辑器件(例如，现场可编程逻辑门阵列)可用于执行本文描述的方法的一些或者全部功能。在一些示例中，现场可编程逻辑门阵列可与微处理器协作以执行本文描述的方法之一。通常，这些方法可由任何适当的硬件设备执行。
上述示例仅是上述原理的示例。应当理解，本文所述的设置与细节的修改和变化将是显而易见的。因此，本发明的意图是受所附权利要求的范围限制，而不是受通过本文的示例的描述与解释而给出的具体细节的限制。
在下面的描述中，即使在不同的图示中出现，相同或者等效的组件或者具有相同或者等效功能的组件也由相同或者等效的参考数字表示。
参考文献
[1]P.Helle et al.,“Non-linear weighted intra prediction(非线性加权的内预测)”,JVET-L0199,中国澳门，2018年10月。
[2]F.Bossen,J.Boyce,K.Suehring,X.Li,V.Seregin,“SDR视频的JVET通用测试条件和软件参考配置”,JVET-K1010,卢布尔雅那，SI，2018年7月。
Claims (61)
1.一种用于从数据流(12)解码图像(10)的解码器(54)，被配置为通过以下步骤使用多个邻近样本(17)预测所述图像的预定块(18)
缩减(100，813)所述多个邻近样本以获得在样本数量上少于所述多个邻近样本(17)的样本值的缩减集合(102)，
使所述样本值的缩减集合(102)经受(812)线性或仿射线性变换(19，17M)以获得针对所述预定块(18)的预定样本(104，118’，188”)的预测值。
2.根据权利要求1所述的解码器(54)，进一步被配置为通过下采样执行所述缩减(100，813)。
3.根据权利要求1所述的解码器(54)，进一步被配置为通过平均执行所述缩减(100，813)。
4.根据权利要求3所述的解码器，其中平均包括位移位。
5.根据前述权利要求中的任一项所述的解码器(54)，进一步被配置为
基于针对所述预定样本(104，118’，118”)的所述预测值以及所述多个邻近样本(17)，通过内插导出(813)针对所述预定块(18)的另外的样本(108，108’)的预测值。
6.根据权利要求5所述的解码器，其中，所述多个邻近样本(17)沿着所述预定块(18)的两侧一维地延伸，所述预定样本以行和列布置，并沿着所述行和列中的至少一个布置，
所述预定样本位于从与所述预定块的所述两侧相邻的所述预定样本(112)的样本(112)起的每第n个位置处，以及
所述解码器被配置为基于所述多个邻近样本(17)，针对所述行和所述列中的所述至少一个的每个，确定针对所述多个邻近位置的一个(118)的支持值(118)，所述多个邻近位置的所述一个与所述行和列中的所述至少一个的相应一个对齐，
其中，所述解码器被配置为基于针对所述预定样本(104，118’，118”)的所述预测值、以及针对与所述行和列中的所述至少一个对齐的所述邻近样本(118)的所述支持值，通过内插导出针对所述预定块(18)的所述另外的样本(108，108’)的预测值。
7.根据权利要求6所述的解码器，其中，所述预定样本(104)位于从与沿着所述行的所述预定块的两侧相邻的预定样本(112)的样本(112)起的每第n个位置处，以及所述预定样本位于从与沿着所述列的所述预定块(18)的两侧相邻的预定样本(112)的样本(112)起的每第m个位置处，其中n，m>1。
8.根据权利要求7所述的解码器，其中n＝m。
9.根据权利要求6至8中任一项所述的解码器，被配置为通过针对每个支持值，对所述多个邻近样本内的包括确定相应支持值所针对的邻近样本(118)的一组(120)邻近样本进行下采样或者平均(122)，沿着所述行(17c)和列(17a)中的至少一个执行所述支持值的确定。
10.根据权利要求5至9中任一项所述的解码器，被配置为通过位移位执行所述内插。
11.根据权利要求1至10中任一项所述的解码器，其中，所述多个邻近样本(17)沿着所述预定块(18)的两侧一维地延伸，并且所述解码器(54)被配置为通过将所述多个邻近样本(17)分组为具有一个或者多个连续邻近样本的组(110)、并且对具有两个或者多于两个的邻近样本的所述具有一个或者多个邻近样本的组(110)的每一个执行下采样或者平均，来执行所述缩减(811)。
12.根据权利要求1至11中任一项所述的解码器，
其中所述线性或仿射线性变换包括Pred*Qred或者Pred*Q个加权因子，其中Pred是所述样本值的缩减集合(102)内的样本值(102)的数量，且Qred或者Q是所述预定块(18)内的预定样本的数量，
其中至少1/4Pred*Qred或者1/4Pred*Q个加权因子是非零加权值，
其中针对所述Q或者Qred个预定样本的每一个，所述Pred*Qred或者Pred*Q个加权因子包括与相应预定样本有关的的一系列Pred个加权因子，其中，当所述系列根据所述预定块(18)的预定样本之间的光栅扫描顺序而布置成一个低于另一个时，所述系列形成全向非线性的包络。
13.根据权利要求12所述的解码器，其中所述Pred*Q或者Pred*Qred个加权因子通过任何常规映射规则均彼此无关。
14.根据权利要求12或者13所述的解码器，其中，与相应预定样本有关的加权因子的第一系列、和与除所述相应预定样本之外的预定样本有关的加权因子的第二系列或者后一系列的逆版本之间的互相关的最大值的平均值，无论是否导致更高的最大值，都低于预定阈值。
15.根据权利要求14所述的解码器，其中，所述预定阈值是0.3。
16.根据权利要求12至15中任一项所述的解码器，其中，Pred个邻近样本(17)沿着沿所述预定块(18)的两侧延伸的一维路径设置，以及针对Q或者Qred个预定样本的每个，以在预定方向上横贯所述一维路径的方式，对与所述相应预定样本有关的Pred个加权因子的系列进行排序。
17.根据权利要求1至16中任一项所述的解码器，被配置为
针对所述预定块(18)，从所述数据流(12)导出一测残差(34”)，以及
使用所述预测残差(34”)与针对所述预定样本(24’，104，108，108’)的预测值(24’)，重构(42’)所述预定块(18)。
18.根据权利要求10至17中任一项所述的解码器，被配置为
为了针对Q或者Qred个预定样本的集合中的每个获得对应的残差值，针对所述预定块(18)从所述数据流(12)导出预测残差(34”)，以及
通过利用所述对应的残差值(34”)针对所述Q或者Qred个预定样本的集合中的每个校正预测值，使用所述预测残差(34”)和针对所述预定样本(118’，118”)的预测值(24’，104)来重构所述预定块(18)，以获得对应的重构值(10)，使得所述对应的重构值(10)严格线性地取决于所述样本值的缩减集合(102)内的Pred个邻近样本(102)，除了可选地在预测和/或校正后应用的剪切。
19.根据权利要求1至18中任一项所述的解码器，其中
所述解码器被配置为将包括所述预定块(18)的所述图像(10)细分为具有不同块尺寸的多个块，
其中所述解码器被配置为根据所述预定块(18)的宽度W和高度H选择所述线性或仿射线性变换(19，17M，Ak)，使得只要所述预定块(81)的宽度W和高度H在宽度/高度对的第一集合内就从线性或仿射线性变换的第一集合中、以及只要所述预定块的宽度W和高度H在宽度/高度对的第二集合内就从线性或仿射线性变换的第二集合中，选择出针对所述预定块(18)选择的线性或仿射线性变换，所述宽度/高度对的第二集合与所述宽度/高度对的第一集合是不相交的。
20.根据权利要求1至19中任一项所述的解码器，其中
所述解码器被配置为将包括所述预定块(18)的所述图像(10)细分为具有不同块尺寸的多个块，
其中所述解码器被配置为根据所述预定块(18)的宽度W和高度H选择所述线性或仿射线性变换(19，17M，Ak)，使得从以下集合中选择出针对所述预定块(18)选择的线性或仿射线性变换，
只要所述预定块(18)的宽度W和高度H在宽度/高度对的第一集合内，就从线性或仿射线性变换的第一集合(S1)中选择，
只要所述预定块(18)的宽度W和高度H在宽度/高度对的第二集合内，就从线性或仿射线性变换的第二集合(S2)中选择，所述宽度/高度对的第二集合与所述宽度/高度对的第一集合是不相交的，以及
只要所述预定块(18)的宽度W和高度H在具有一个或多个宽度/高度对的第三集合内，就从线性或仿射线性变换的第三集合(S0)中选择，所述具有一个或多个宽度/高度对的第三集合与所述宽度高度对的第一集合和第二集合是不相交的。
21.根据权利要求20所述的解码器，被配置为使得
所述具有一个或者多个宽度/高度对的第三集合(S0)仅包括一个宽度/高度对，W’，H’，并且在线性或仿射线性变换的第三集合(S0)内的每个线性或仿射线性变换是用于将N’个样本值变换为针对样本位置的W’xH’阵列的W’*H’个预测值。
22.根据权利要求19、20或21所述的解码器，被配置为使得
所述宽度/高度对的第一集合和第二集合(S1，S2)中的每个包括其中Wp等于Hp的第一宽度/高度对Wp，Hp，以及其中Hq＝Wp且Wq＝Hp的第二宽度/高度对Wq，Hq。
23.根据权利要求22所述的解码器，被配置为使得
所述宽度/高度对的第一集合和第二集合(S1，S2)中的每个包括其中Wp等于Hp且Hp>Hq的第三宽度/高度对Wp，Hp。
24.根据权利要求19至23中任一项所述的解码器，其中所述预定块的多对宽度/高度共享线性或仿射线性变换的同一集合。
25.根据权利要求1至23中任一项所述的解码器，被配置为
针对所述预定块(18)从所述数据流(12)读取集合索引(944)，
根据所述集合索引(k)从线性或仿射线性变换的预定集合中选择出线性或仿射线性变换。
26.根据权利要求25所述的解码器，其中所述多个邻近样本(17)沿着所述预定块(18)的两侧一维地延伸，并且所述解码器被配置为通过针对与所述预定块的第一侧相邻的所述多个邻近样本的第一子集(17a)，将所述第一子集(17a)分组为具有一个或者多个连续邻近样本的第一组(110)，以及针对与所述预定块的第二侧相邻的所述多个邻近样本的第二子集(17c)，将所述第二子集(17c)分组为具有一个或者多个连续邻近样本的第二组(110)，并且对所述具有一个或者多个邻近样本的第一组和第二组(110)中的具有多于两个邻近样本的每个组执行下采样或者平均，以便获得来自所述第一组(17a)的第一样本值(110)以及针对所述第二组(17c)的第二样本值(102)，来执行所述缩减(811)，以及所述解码器被配置为
根据所述集合索引从线性或仿射线性变换的预定集合中选择出线性或仿射线性变换，使得所述集合索引的两个不同状态导致选择所述线性或仿射线性变换的预定集合中的线性或仿射线性变换中的一个，以及
使所述样本值的缩减集合(102)经受所述预定的线性或仿射线性变换，
在所述集合索引以第一向量的形式取所述两个不同状态中的第一状态的情况下，产生预测值的输出向量，并且沿第一扫描顺序将所述输出向量的预测值分布到所述预定块的预定样本上，以及
在所述集合索引以第二向量的形式取所述两个不同状态中的第二状态的情况下，所述第一和第二向量不同，使得由所述第一向量中的第一样本值中的一个填充的分量被所述第二向量中的第二样本值中的一个填充，并且由所述第一向量中的第二样本值中的一个填充的分量被所述第二向量中的第一样本值中的一个填充，以产生预测值的输出向量，并且沿相对于所述第一扫描顺序转置的第二扫描顺序将所述输出向量的预测值分布到所述预定块的预定样本上。
27.根据权利要求18至26中任一项所述的解码器，
其中线性或仿射线性变换的第一集合(S1)内的每个线性或仿射线性变换是用于将N1个样本值变换为针对样本位置的w1xh1阵列的w1*h1个预测值，并且线性或仿射线性变换的第二集合(S2)内的每个线性或仿射线性变换是用于将N2个样本值变换为针对样本位置的w2xh2阵列的w2*h2个预测值，以及
其中，针对所述宽度/高度对的第一集合(S1)中的第一预定宽度/高度对，w1超过所述第一预定宽度/高度对的宽度，或者h1超过所述第一预定宽度/高度对的高度，并且针对所述宽度/高度对的第一集合(S1)中的第二预定宽度/高度对，w1不超过所述第二预定宽度/高度对的宽度，h1也不超过所述第二预定宽度/高度对的高度，以及
其中，所述解码器被配置为
通过下采样或者平均，执行缩减(100，811)所述多个邻近样本以获得所述样本值的缩减集合(102)，使得如果所述预定块具有所述第一预定宽度/高度对，以及如果所述预定块具有所述第二预定宽度/高度对，则所述样本值的缩减集合(102)具有N1个样本值，以及
通过在所述预定块具有所述第一预定宽度/高度对的情况下，仅使用与如果w1超过一个宽度/高度对的宽度则沿着宽度维度、或者如果h1超过所述一个宽度/高度对的高度则沿着高度维度对所述样本位置的w1xh1阵列进行的子采样有关的所选择的线性或仿射线性变换的第一子部分，以及在所述预定块具有所述第二预定宽度/高度对的情况下，完整地使用所选择的线性或仿射线性变换，执行使所述样本值的缩减集合(102)经受(813)所选择的线性或仿射线性变换。
28.根据权利要求1至27中任一项所述的解码器，
其中，线性或仿射线性变换的第一集合内的每个线性或仿射线性变换是用于将N1个样本值变换为针对其中w1＝h1的样本位置的w1xh1阵列的w1*h1个预测值，以及线性或仿射线性变换的第二集合内的每个线性或仿射线性变换是用于将N2个样本值变换为针对其中w2＝h2的样本位置的w2xh2阵列的w2*h2个预测值。
29.一种解码方法，包括：
通过以下步骤使用多个邻近样本(17)预测图像的预定块(18)
通过下采样或者平均，缩减(100，811)所述多个邻近样本以获得在样本数量上少于所述多个邻近样本的样本值的缩减集合(102)，
使所述样本值的缩减集合(102)经受(812)线性或仿射线性变换(19)以获得针对所述预定块的预定样本(104，118’，188”)的预测值。
30.一种将图像编码为数据流的编码器，被配置为
通过以下步骤使用多个邻近样本(17a，c)预测所述图像的预定块(18)
缩减(100，811)所述多个邻近样本以获得在样本数量上少于所述多个邻近样本的样本值的缩减集合(102)，
使所述样本值的缩减集合(102)经受(812)线性或仿射线性变换(19)以获得针对所述预定块的预定样本(104)的预测值。
31.根据权利要求30所述的编码器(54)，进一步被配置为通过下采样执行所述缩减(100，811)。
32.根据权利要求30所述的编码器(54)，进一步被配置为通过平均执行所述缩减(100，811)。
33.根据权利要求32所述的编码器，其中平均包括位移位。
34.根据权利要求30至33中任一项所述的编码器，被配置为
基于针对所述预定样本的所述预测值以及所述多个邻近样本，通过内插导出针对所述预定块的另外的样本(108)的预测值。
35.根据权利要求34所述的编码器，其中，所述多个邻近样本沿着所述预定块的两侧一维地延伸，所述预定样本以行和列布置，并沿着所述行和列中的至少一个布置，
所述预定样本位于从与所述预定块的所述两侧相邻的所述预定样本的样本(112)起的每第n个位置处，以及
所述编码器被配置为基于所述多个邻近样本，针对所述行和所述列中的所述至少一个的每个，确定针对所述多个邻近位置的一个(118)的支持值，所述多个邻近位置的所述一个与所述行和所述列中的所述至少一个的相应一个对齐，
其中，所述编码器被配置为基于针对所述预定样本的所述预测值、以及针对与所述行和列中的所述至少一个对齐的所述邻近样本的所述支持值，通过内插导出针对所述预定块的所述另外的样本(108)的预测值。
36.根据权利要求35所述的编码器，其中，所述预定样本位于从与沿着所述行的所述预定块的两侧相邻的预定样本的样本(112)起的每第n个位置处，以及所述预定样本位于从与沿着所述列的所述预定块的两侧相邻的预定样本的样本(112)起的每第m个位置处，其中n，m>1。
37.根据权利要求36所述的编码器，其中n＝m。
38.根据权利要求36至37中任一项所述的编码器，被配置为通过针对每个支持值，对所述多个邻近样本内的包括确定相应支持值所针对的邻近样本(118)的一组(120)邻近样本进行下采样或者平均(122)，沿着所述行和列中的至少一个执行所述支持值的确定。
39.根据权利要求34至38中任一项所述的编码器，被配置为通过位移位执行所述内插。
40.根据权利要求30至39中任一项所述的编码器，其中，所述多个邻近样本沿着所述预定块的两侧一维地延伸，并且所述编码器被配置为通过将所述多个邻近样本分组为具有一个或者多个连续邻近样本的组(110)、并且对所述具有一个或者多个邻近样本的组中的具有多于两个的邻近样本的每个组执行下采样或者平均，来执行所述缩减。
41.根据权利要求30至40中任一项所述的编码器，
其中所述线性或仿射线性变换包括Pred*Qred或者Pred*Q个加权因子，其中P是所述样本值的缩减集合(102)内的样本值的数量，且Q是所述预定块内的预定样本的数量，
其中至少1/4Pred*Qred或者1/4Pred*Q个加权因子是非零加权值，
其中针对所述Q或者Qred个预定样本的每一个，所述Pred*Qred或者Pred*Q个加权因子包括与相应预定样本有关的的一系列Pred个加权因子，其中，当所述系列根据所述预定块的预定样本之间的光栅扫描顺序而布置成一个低于另一个时，所述系列形成全向非线性的包络。
42.根据权利要求41所述的编码器，其中所述Pred*Qred或者Pred*Q个加权因子通过任何常规映射规则均彼此无关。
43.根据权利要求41或者42所述的编码器，其中，与相应预定样本有关的加权因子的第一系列、和与除所述相应预定样本之外的预定样本有关的加权因子的第二系列或者后一系列的逆版本之间的互相关的最大值的平均值，无论是否导致更高的最大值，都低于预定阈值。
44.根据权利要求43所述的编码器，其中，所述预定阈值是0.3。
45.根据权利要求41至44中任一项所述的编码器，其中，P个邻近样本沿着沿所述预定块的两侧延伸的一维路径设置，以及针对Q个预定样本的每个，以在预定方向上横贯所述一维路径的方式，对与所述相应预定样本有关的P个加权因子的系列进行排序。
46.根据权利要求30至45中任一项所述的编码器，被配置为
针对所述预定块，将预测残差插入到所述数据流中，所述预定块是使用所述预测残差以及所述预定样本的预测值从所述数据流中可重构的。
47.根据权利要求41至46中任一项所述的编码器，被配置为
针对所述预定块(18)，将预测残差(26，34)插入到数据流(12)中，所述预测残差针对所述Q或Qred个预定样本中的每一个指示对应残差值，使得可以使用所述预测残差(26，34)和针对预定样本的预测值，通过校正针对Q或Qred个值的集合中的每一个的预测值来重构所述预定块(18)，使得对应的重构值严格线性地取决于样本值的缩减集合(102)内的Pred个邻近样本(102)，除了，可选地，在预测和/或校正之后应用的剪切之外。
48.根据权利要求30至47中任一项所述的编码器，其中
所述编码器被配置为将包括所述预定块(18)的所述图像(16)细分为具有不同块尺寸的多个块，
其中所述编码器被配置为根据所述预定块(18)的宽度W和高度H选择所述线性或仿射线性变换(19，Ak)，使得只要所述预定块(18)的宽度W和高度H在宽度/高度对的第一集合内就从线性或仿射线性变换的第一集合中、以及只要所述预定块(18)的宽度W和高度H在宽度/高度对的第二集合内就从线性或仿射线性变换的第二集合中，选择出针对所述预定块(18)选择的线性或仿射线性变换(19，Ak)，所述宽度/高度对的第二集合与所述宽度/高度对的第一集合是不相交的。
49.根据权利要求30至48中任一项所述的编码器，其中
所述编码器被配置为将包括所述预定块的所述图像细分为具有不同块尺寸的多个块，
其中所述编码器被配置为根据所述预定块的宽度W和高度H选择所述线性或仿射线性变换，使得从以下集合中选择出针对所述预定块选择的线性或仿射线性变换，
只要所述预定块的宽度W和高度H在宽度/高度对的第一集合内，就从线性或仿射线性变换的第一集合(S1)中选择，
只要所述预定块的宽度W和高度H在宽度/高度对的第二集合内，就从线性或仿射线性变换的第二集合(S2)中选择，所述宽度/高度对的第二集合与所述宽度/高度对的第一集合是不相交的，以及
只要所述预定块的宽度W和高度H在具有一个或多个宽度/高度对的第三集合内，就从线性或仿射线性变换的第三集合(S0)中选择，所述具有一个或多个宽度/高度对的第三集合与所述宽度高度对的第一集合和第二集合是不相交的。
50.根据权利要求49所述的编码器，被配置为使得
所述具有一个或者多个宽度/高度对的第三集合(S0)仅包括一个宽度/高度对，W’，H’，并且在线性或仿射线性变换的第三集合(S0)内的每个线性或仿射线性变换是用于将N’个样本值变换为针对样本位置的W’xH’阵列的W’*H’个预测值。
51.根据权利要求47、48、49或50所述的编码器，被配置为使得
所述宽度/高度对的第一集合和第二集合中的每个包括其中Wp等于Hp的第一宽度/高度对Wp，Hp，以及其中Hq＝Wp且Wq＝Hp的第二宽度/高度对Wq，Hq。
52.根据权利要求51所述的编码器，被配置为使得
所述宽度/高度对的第一集合和第二集合中的每个包括其中Wp等于Hp且Hp>Hq的第三宽度/高度对Wp，Hp。
53.根据权利要求50至52中任一项所述的编码器，其中所述预定块的多对宽度/高度共享线性或仿射线性变换的同一集合。
54.根据权利要求30至52中任一项所述的编码器，被配置为针对所述预定块将集合索引插入所述数据流中，
根据所述集合索引从线性或仿射线性变换的预定集合中选择出线性或仿射线性变换。
55.根据权利要求54所述的编码器，其中所述多个邻近样本沿着所述预定块的两侧一维地延伸，并且所述编码器被配置为通过针对与所述预定块的第一侧相邻的所述多个邻近样本的第一子集，将所述第一子集分组为具有一个或者多个连续邻近样本的第一组(110)，以及针对与所述预定块的第二侧相邻的所述多个邻近样本的第二子集，将所述第二子集分组为具有一个或者多个连续邻近样本的第二组(110)，并且对所述具有一个或者多个邻近样本的第一组和第二组中的具有多于两个邻近样本的每个组执行下采样或者平均，以便获得来自所述第一组的第一样本值以及针对所述第二组的第二样本值，来执行所述缩减，以及所述编码器被配置为
根据所述集合索引从线性或仿射线性变换的预定集合中选择出线性或仿射线性变换，使得所述集合索引的两个不同状态导致选择所述线性或仿射线性变换的预定集合中的线性或仿射线性变换中的一个，以及
使所述样本值的缩减集合(102)经受所述预定的线性或仿射线性变换，
在所述集合索引以第一向量的形式取所述两个不同状态中的第一状态的情况下，产生预测值的输出向量，并且沿第一扫描顺序将所述输出向量的预测值分布到所述预定块的预定样本上，以及
在所述集合索引以第二向量的形式取所述两个不同状态中的第二状态的情况下，所述第一和第二向量不同，使得由所述第一向量中的第一样本值中的一个填充的分量被所述第二向量中的第二样本值中的一个填充，并且由所述第一向量中的第二样本值中的一个填充的分量被所述第二向量中的第一样本值中的一个填充，以产生预测值的输出向量，并且沿相对于所述第一扫描顺序转置的第二扫描顺序将所述输出向量的预测值分布到所述预定块的预定样本上。
56.根据权利要求47至55中任一项所述的编码器，
其中线性或仿射线性变换的第一集合内的每个线性或仿射线性变换是用于将N1个样本值变换为针对样本位置的w1xh1阵列的w1*h1个预测值，并且线性或仿射线性变换的第二集合内的每个线性或仿射线性变换是用于将N2个样本值变换为针对样本位置的w2xh2阵列的w2*h2个预测值，以及
其中，针对所述宽度/高度对的第一集合中的第一预定宽度/高度对，w1超过所述第一预定宽度/高度对的宽度，或者h1超过所述第一预定宽度/高度对的高度，并且针对所述宽度/高度对的第一集合中的第二预定宽度/高度对，w1不超过所述第二预定宽度/高度对的宽度，h1也不超过所述第二预定宽度/高度对的高度，以及
其中，所述编码器被配置为
通过下采样或者平均，执行缩减(100)所述多个邻近样本以获得所述样本值的缩减集合(102)，使得如果所述预定块具有所述第一预定宽度/高度对，以及如果所述预定块具有所述第二预定宽度/高度对，则所述样本值的缩减集合(102)具有N1个样本值，以及
通过在所述预定块具有所述第一预定宽度/高度对的情况下，仅使用与如果w1超过一个宽度/高度对的宽度则沿着宽度维度、或者如果h1超过所述一个宽度/高度对的高度则沿着高度维度对所述样本位置的w1xh1阵列进行的子采样有关的所选择的线性或仿射线性变换的第一子部分，以及在所述预定块具有所述第二预定宽度/高度对的情况下，完整地使用所选择的线性或仿射线性变换，执行使所述样本值的缩减集合(102)经受所选择的线性或仿射线性变换。
57.根据权利要求29至56中任一项所述的编码器，
其中，线性或仿射线性变换的第一集合内的每个线性或仿射线性变换是用于将N1个样本值变换为针对其中w1＝h1的样本位置的w1xh1阵列的w1*h1个预测值，以及线性或仿射线性变换的第二集合内的每个线性或仿射线性变换是用于将N2个样本值变换为针对其中w2＝h2的样本位置的w2xh2阵列的w2*h2个预测值。
58.一种编码方法，包括：
通过以下步骤，使用多个邻近样本(17a，17c)预测图像的预定块(18)
通过下采样或者平均，缩减(100)所述多个邻近样本以获得在样本数量上少于所述多个邻近样本的样本值的缩减集合(102)，
使所述样本值的缩减集合(102)经受线性或仿射线性变换(19)，以获得针对所述预定块的预定样本(104)的预测值。
59.一种系统，包括根据先前权利要求中的任一项所述的编码器和/或根据先前权利要求中的任一项所述的解码器。
60.一种方法，包括根据先前权利要求中的任一项所述的编码方法以及根据先前权利要求中的任一项所述的解码方法。
61.一种存储指令的非暂时性存储单元，所述指令当通过处理器执行时，致使所述处理器执行根据先前权利要求中的任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18214976.5 | 2018-12-20 | ||
| EP18214976 | 2018-12-20 | ||
| PCT/EP2019/086428 WO2020127811A2 (en) | 2018-12-20 | 2019-12-19 | Intra predictions using linear or affine transforms with neighbouring sample reduction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113475071A true CN113475071A (zh) | 2021-10-01 |
Family
ID=64901350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980092795.4A Pending CN113475071A (zh) | 2018-12-20 | 2019-12-19 | 使用具有邻近样本缩减的线性或者仿射变换的内预测 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US11503339B2 (zh) |
| EP (1) | EP3900342A2 (zh) |
| JP (2) | JP2022514870A (zh) |
| KR (1) | KR20210103539A (zh) |
| CN (1) | CN113475071A (zh) |
| BR (1) | BR112021011929A2 (zh) |
| MX (1) | MX2021007328A (zh) |
| TW (2) | TWI755665B (zh) |
| WO (1) | WO2020127811A2 (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MX2021012230A (es) | 2019-04-12 | 2021-11-03 | Beijing Bytedance Network Tech Co Ltd | Construccion de lista de modos mas probables para intraprediccion basada en matriz. |
| JP7403555B2 (ja) * | 2019-04-16 | 2023-12-22 | 北京字節跳動網絡技術有限公司 | イントラコーディングモードにおけるマトリクスの導出 |
| US11381808B2 (en) * | 2019-04-25 | 2022-07-05 | Hfi Innovation Inc. | Method and apparatus of matrix based intra prediction in image and video processing |
| WO2020221372A1 (en) | 2019-05-01 | 2020-11-05 | Beijing Bytedance Network Technology Co., Ltd. | Context coding for matrix-based intra prediction |
| CN117241018A (zh) | 2019-05-01 | 2023-12-15 | 北京字节跳动网络技术有限公司 | 使用滤波的基于矩阵的帧内预测 |
| KR102655582B1 (ko) | 2019-05-10 | 2024-04-09 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 처리를 위한 다중 이차 변환 행렬 |
| BR112021022868A2 (pt) | 2019-05-22 | 2022-01-04 | Beijing Bytedance Network Tech Co Ltd | Método de processamento de vídeos, aparelho para processar dados de vídeo e meios de armazenamento e gravação não transitórios legíveis por computador |
| WO2020239018A1 (en) | 2019-05-31 | 2020-12-03 | Beijing Bytedance Network Technology Co., Ltd. | Restricted upsampling process in matrix-based intra prediction |
| JP2022534320A (ja) | 2019-06-05 | 2022-07-28 | 北京字節跳動網絡技術有限公司 | マトリクスベースイントラ予測のためのコンテキスト決定 |
| CN117354521A (zh) | 2019-06-07 | 2024-01-05 | 北京字节跳动网络技术有限公司 | 视频比特流中的简化二次变换的有条件信令 |
| JP7456441B2 (ja) | 2019-06-11 | 2024-03-27 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法 |
| CN114208190B (zh) | 2019-08-03 | 2023-12-15 | 北京字节跳动网络技术有限公司 | 视频编解码中缩减二次变换的矩阵的选择 |
| WO2021032045A1 (en) | 2019-08-17 | 2021-02-25 | Beijing Bytedance Network Technology Co., Ltd. | Context modeling of side information for reduced secondary transforms in video |
| JP7444570B2 (ja) | 2019-09-20 | 2024-03-06 | シャープ株式会社 | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 |
| US20210092405A1 (en) * | 2019-09-19 | 2021-03-25 | Qualcomm Incorporated | Matrix combination for matrix-weighted intra prediction in video coding |
| EP4042689A4 (en) | 2019-10-28 | 2023-06-07 | Beijing Bytedance Network Technology Co., Ltd. | SIGNALING AND SYNTAX ANALYSIS BASED ON A COLOR COMPONENT |
| WO2023171988A1 (ko) * | 2022-03-11 | 2023-09-14 | 현대자동차주식회사 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012059577A1 (en) * | 2010-11-04 | 2012-05-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Picture coding supporting block merging and skip mode |
| US20160057430A1 (en) * | 2014-08-25 | 2016-02-25 | Canon Kabushiki Kaisha | Method, apparatus and system for predicting a block of video samples |
| CN108605137A (zh) * | 2016-03-01 | 2018-09-28 | 联发科技股份有限公司 | 利用仿射运动补偿的视频编码方法与装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9654785B2 (en) | 2011-06-09 | 2017-05-16 | Qualcomm Incorporated | Enhanced intra-prediction mode signaling for video coding using neighboring mode |
| US9866859B2 (en) | 2011-06-14 | 2018-01-09 | Texas Instruments Incorporated | Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding |
| US20140064359A1 (en) | 2012-08-31 | 2014-03-06 | Qualcomm Incorporated | Intra prediction most probable mode order improvement for scalable video coding |
| EP3310058B1 (en) * | 2015-06-12 | 2023-02-22 | Panasonic Intellectual Property Management Co., Ltd. | Image coding method, image decoding method, image coding device and image decoding device |
| WO2017176030A1 (ko) | 2016-04-06 | 2017-10-12 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| US10547854B2 (en) | 2016-05-13 | 2020-01-28 | Qualcomm Incorporated | Neighbor based signaling of intra prediction modes |
| CN107613294B (zh) * | 2017-10-12 | 2020-04-07 | 杭州当虹科技股份有限公司 | 一种快速跳过hevc中p、b帧帧内预测模式的方法 |
| JP2022500916A (ja) * | 2018-09-13 | 2022-01-04 | フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． | アフィン線形加重イントラ予測 |
-
2019
- 2019-12-19 JP JP2021535642A patent/JP2022514870A/ja active Pending
- 2019-12-19 BR BR112021011929-9A patent/BR112021011929A2/pt unknown
- 2019-12-19 TW TW108146766A patent/TWI755665B/zh active
- 2019-12-19 MX MX2021007328A patent/MX2021007328A/es unknown
- 2019-12-19 KR KR1020217022588A patent/KR20210103539A/ko active Search and Examination
- 2019-12-19 WO PCT/EP2019/086428 patent/WO2020127811A2/en unknown
- 2019-12-19 TW TW111101183A patent/TWI815272B/zh active
- 2019-12-19 EP EP19828747.6A patent/EP3900342A2/en active Pending
- 2019-12-19 CN CN201980092795.4A patent/CN113475071A/zh active Pending
-
2021
- 2021-06-17 US US17/351,017 patent/US11503339B2/en active Active
-
2022
- 2022-10-07 US US17/962,391 patent/US20230039672A1/en active Pending
-
2023
- 2023-10-12 JP JP2023176714A patent/JP2023179682A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012059577A1 (en) * | 2010-11-04 | 2012-05-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Picture coding supporting block merging and skip mode |
| US20160057430A1 (en) * | 2014-08-25 | 2016-02-25 | Canon Kabushiki Kaisha | Method, apparatus and system for predicting a block of video samples |
| CN108605137A (zh) * | 2016-03-01 | 2018-09-28 | 联发科技股份有限公司 | 利用仿射运动补偿的视频编码方法与装置 |
Non-Patent Citations (2)
| Title |
|---|
| JONATHAN PFAFF等: "Intra prediction modes based on neural networks", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，10TH MEETING: SAN DIEGO, US, 10–20 APR. 2018，JVET-J0037-V1, pages 1 - 14 * |
| PHILIPP HELLE等: "CE3-related: Non-linear weighted intra prediction (cross-check report in JVET-K0262)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018，JVET-K0196-V3, pages 1 - 7 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3900342A2 (en) | 2021-10-27 |
| WO2020127811A3 (en) | 2020-08-06 |
| TWI755665B (zh) | 2022-02-21 |
| KR20210103539A (ko) | 2021-08-23 |
| BR112021011929A2 (pt) | 2021-09-08 |
| TW202241130A (zh) | 2022-10-16 |
| TW202031045A (zh) | 2020-08-16 |
| MX2021007328A (es) | 2021-08-24 |
| US20230039672A1 (en) | 2023-02-09 |
| TWI815272B (zh) | 2023-09-11 |
| WO2020127811A2 (en) | 2020-06-25 |
| US20210314618A1 (en) | 2021-10-07 |
| US11503339B2 (en) | 2022-11-15 |
| JP2023179682A (ja) | 2023-12-19 |
| JP2022514870A (ja) | 2022-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113475071A (zh) | 使用具有邻近样本缩减的线性或者仿射变换的内预测 | |
| US9756341B2 (en) | Method and apparatus for intra prediction within display screen | |
| TWI771679B (zh) | 以區塊為基礎之預測技術 | |
| JP7477538B2 (ja) | 行列ベースのイントラ予測および二次変換を使用したコーディング | |
| JP7455869B2 (ja) | イントラ予測を用いた符号化 | |
| CN115516854A (zh) | 在4:4:4色度格式和单树的情况下针对所有通道的mip |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |