CN114747211A - 基于矩阵的帧内预测的高效实现 - Google Patents

基于矩阵的帧内预测的高效实现 Download PDF

Info

Publication number
CN114747211A
CN114747211A CN202080081435.7A CN202080081435A CN114747211A CN 114747211 A CN114747211 A CN 114747211A CN 202080081435 A CN202080081435 A CN 202080081435A CN 114747211 A CN114747211 A CN 114747211A
Authority
CN
China
Prior art keywords
matrix
prediction
intra
block
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080081435.7A
Other languages
English (en)
Inventor
J·普法夫
B·斯塔伦伯格
M·舍费尔
P·默克勒
T·辛兹
P·赫勒
H·施瓦尔茨
D·马佩
T·韦甘德
B·布罗斯
M·温肯
M·西克曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN114747211A publication Critical patent/CN114747211A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种用于使用帧内预测对图片的预定块（18）进行解码的装置（54），其被配置成使用二进制化码（202）从数据流（12）读取模式索引（200）。模式索引（200）指向基于矩阵的帧内预测模式的列表（204）中的一个。所述装置被配置成：通过计算从预定块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引（200）所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵‑向量积（206），并且将通过矩阵‑向量积（206）获得的输出向量（208）的分量（210）关联到预定块的样本位置（110）上，来预测预定块（18）的样本（108）。基于矩阵的帧内预测模式的列表（204）由偶数个基于矩阵的帧内预测模式组成。基于矩阵的帧内预测模式的列表（204）由基于矩阵的帧内预测模式对（212）组成，并且针对每个基于矩阵的帧内预测模式对（212），与相应的基于矩阵的帧内预测模式对（212）的第一个基于矩阵的帧内预测模式相关联的预测矩阵（19）等于与相应的基于矩阵的帧内预测模式对（212）的第二个基于矩阵的帧内预测模式相关联的预测矩阵（19）。针对每个基于矩阵的帧内预测模式对（212），所述装置被配置成使得如果模式索引（200）所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对（212）的第一个基于矩阵的帧内预测模式，则预定块（18）的邻域中的参考样本（17）与输入向量（112）的分量（214）的关联以及预定块（18）的样本位置（104）与输出向量（208）的分量（210）的关联相对于在模式索引（200）所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对（212）的第二个基于矩阵的帧内预测模式的情况下的关联被转置。此外，所述装置被配置成使用二进制化码（202）以如下方式从数据流（12）读取模式索引（200），使得针对每个基于矩阵的帧内预测模式对（212），第一个基于矩阵的帧内预测模式被指派第一码字，并且第二个基于矩阵的帧内预测模式被指派第二码字，并且两个码字在长度上相等。

Description

基于矩阵的帧内预测的高效实现
技术领域
根据本发明的实施例涉及使用基于矩阵的帧内预测的高效实现来编码或解码图片或视频的装置和方法。
背景技术
目前，针对可以在其上使用MIP的图片的每个块，MIP模式的数目是奇数整数N=2n+1。这里，第0模式可能不被转置（transpose），而所有其他模式可能被转置：对于i>n，MIP模式i是MIP模式i-n的转置。第0模式可能不被转置，这是由于MIP模式由具有3个MPM（最可能模式）的MPM方案来发信令通知[1]。在这个方案中，MIP模式的总数是N=2 k +3形式的奇数，其中k是整数。然而，在哥德堡的第16届JVET会议上，针对MIP模式的后一种信令方案由截断二进制码所替代[2]。此外，针对其纵横比大于或等于4的块，MIP被排除。
因此，期望提供用于使图片编码和/或视频编码更高效以支持基于矩阵的帧内预测的概念。另外地或替代地，期望减少比特流，并且由此减少信令成本。
这通过本申请的独立权利要求的主题来实现。
根据本发明的进一步实施例由本申请的从属权利要求的主题所限定。
发明内容
根据本发明的第一方面，本申请的发明人认识到，当尝试使用基于矩阵的帧内预测模式（MIP模式）以用于预测图片的预定块的样本时遇到的一个问题源自于如下事实：即，在另外存储用于MIP模式的额外MIP矩阵的存储器要求方面，它可能太昂贵，所述MIP模式不能够以转置方式来使用。根据本申请的第一方面，通过使用基于矩阵的帧内预测模式的列表来克服这个困难，其中该列表中的所有MIP模式是以转置方式可应用的，从而减少了MIP模式的数目。发明人发现，将基于矩阵的帧内预测模式的列表中的MIP模式分组成基于矩阵的帧内预测模式对是有利的，其中MIP模式对中的两个MIP模式与相同的预测矩阵相关联，从而减少了所需要的预测矩阵的数目。针对每个MIP模式对，以与相应MIP模式对的第二MIP模式相比转置的方式来使用相应MIP模式对的第一MIP模式。这是基于如下想法：即，简单地从模式索引来确定MIP模式以及确定MIP模式是否以转置方式来使用是高效的。通过对MIP模式的这个特殊分组，基于MIP模式列表中的MIP模式的奇偶性来确定MIP模式的转置条件是可能的。因此，解码/编码指示MIP模式是否将以转置方式来使用的附加语法元素是不必要的。由于模式索引指示预测模式以及这个预测模式是否将以转置方式来使用，可以降低比特流和信令成本。通过这个方式，在VLC长度方面，对模式及其转置模式进行发信令通知是同样昂贵的。没有产生不对称。最可能模式列表（MPM列表）构造也是不必要的。
因此，根据本申请的第一方面，一种用于使用帧内预测对图片的预定块进行解码/编码的装置被配置成：使用二进制化码从数据流读取模式索引/将模式索引插入到数据流中。模式索引指向基于矩阵的帧内预测模式的列表中的一个帧内预测模式。该装置被配置成：通过计算从预定块的邻域中的参考样本导出的输入向量和与模式索引所指向的基于矩阵的帧内预测模式相关联的预测矩阵之间的矩阵-向量积，并且将通过矩阵-向量积获得的输出向量的分量关联到预定块的样本位置上，来预测预定块的样本。预定块的样本的这个预测可以是仿射线性加权帧内预测（ALWIP）。可以通过对参考样本求平均和/或通过获取原始参考样本来从参考样本（即，边界值）导出输入向量（参见例如项1.4下的描述）。参考样本表示例如预定块左侧的样本和预定块上方的样本。参考样本可以是已经由该装置解码/编码的样本。基于矩阵的帧内预测模式的列表由偶数个基于矩阵的帧内预测模式组成。基于矩阵的帧内预测模式的列表由基于矩阵的帧内预测模式对组成，并且针对每个基于矩阵的帧内预测模式对，与相应的基于矩阵的帧内预测模式对的第一个基于矩阵的帧内预测模式相关联的预测矩阵等于与相应的基于矩阵的帧内预测模式对的第二个基于矩阵的帧内预测模式相关联的预测矩阵。在基于矩阵的帧内预测模式对的两个基于矩阵的帧内预测模式中，相同的预测矩阵可以用于预测预定块的样本。这意味着，例如，针对模式2k和2k+1，使用相同的预测矩阵。针对每个基于矩阵的帧内预测模式对，该装置被配置成使得如果模式索引所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对的第一个基于矩阵的帧内预测模式（例如，具有奇数模式索引2k+1的模式），则预定块的邻域中的参考样本与输入向量的分量的关联以及预定块的样本位置与输出向量的分量的关联相对于在模式索引所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对的第二个基于矩阵的帧内预测模式（例如，具有偶数模式索引2k的模式）的情况下的关联被转置。也就是说，如果在前一种情况下，输入向量的某个分量与位置（x,y）相关联，其中（0,0）表示预定块的左上角样本，则在后一种情况下，它与（y,x）相关联。这同样适用于输出向量的分量。该装置被配置成：使用二进制化码以如下方式从数据流读取模式索引/将模式索引插入到数据流中，使得针对每个基于矩阵的帧内预测模式对，第一个基于矩阵的帧内预测模式被指派第一码字，并且第二个基于矩阵的帧内预测模式被指派第二码字，并且两个码字在长度上相等。因此，模式索引可能指示用于预测预定块的样本的预测矩阵，并且同时可能指示预定块的样本的预测是否以转置方式执行。
二进制化码可以是包括不同长度的码字的可变长度码，或者二进制化码可以是截断二进制码，在这种情况下，基于矩阵的帧内预测模式的数目不是2的幂。截断二进制码可以具有不同长度的码字。
该装置例如被配置成：使用上下文自适应二进制算术解码器/编码器的等概率旁路模式（bypass mode）从数据流读取模式索引/将模式索引插入到数据流中。
根据实施例，该装置被配置成：根据预定块的水平尺寸相对于水平默认尺寸的第一比率水平地和/或根据预定块的垂直尺寸相对于垂直默认尺寸的第二比率垂直地设置预定块的样本位置的样本间距离和预定块的邻域中的参考样本的样本间距离。因此，将MIP模式不仅用于二次块（quadratic block）而且还用于矩形块是可能的。该装置可能通过基于矩阵的帧内预测来获得与二次块相关联的预测样本，出于此原因，该装置可能被配置成设置所预测样本的样本位置的样本间距离，以改进矩形块的重建，其中该装置可能通过插值来填充所预测样本之间的空间。可选地，该装置被配置成将基于矩阵的帧内预测模式的列表用于多个块尺寸。该装置可以被配置成针对该多个块尺寸对基于矩阵的帧内预测模式的列表中的基于矩阵的帧内预测模式同等地进行排序。替代地，该次序可能适配于例如宽大于高的块，反之亦然，或者适配于二次块。该多个块尺寸包括例如对应于大于4的纵横比的至少一个块尺寸。至少一个块尺寸可能与具有8×1样本、16×2样本、32×4样本、32×2样本、32×1样本、64×8样本、64×4样本、64×2样本、64×1样本的预定块、或具有大于4的纵横比的其他块相关联。
根据实施例，该装置被配置成基于模式索引的奇偶性来确定模式索引所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对的第一个基于矩阵的帧内预测模式还是相应的基于矩阵的帧内预测模式对的第二个基于矩阵的帧内预测模式。第一个基于矩阵的帧内预测模式可能与奇数奇偶性相关联，并且第二个基于矩阵的帧内预测模式可能与偶数奇偶性相关联。
根据实施例，该装置被配置成使用模式索引的整数部分除以2来索引多个预测矩阵中的预测矩阵。
根据实施例，从数据流读取/插入到数据流中的模式索引的最后一位指示预定块的样本的预测是否以转置方式执行。这个位可能指示将使用第一个基于矩阵的帧内预测模式还是第二个基于矩阵的帧内预测模式。这个位可能被理解为前述码字。
根据本发明的第二方面，本申请的发明人认识到，当尝试使用基于矩阵的帧内预测模式（MIP模式）以用于预测图片的预定块的样本时遇到的一个问题源自于如下事实：即，当前不允许针对具有大于4的纵横比的块的MIP模式，从而导致从数据流解码图片/将图片编码到数据流中时的降低的灵活性。发明人发现，也针对具有大于4的纵横比的块来使用MIP模式是可能的。这是基于如下想法：即，这个大的矩形块可以被高效地下采样/上采样到二次块，以使得基于矩阵的帧内预测能够预测该块的样本，并且该块的附加样本可以基于所预测样本被插值/外推。因此，在不增加信令成本或降低解码效率的情况下，实现了可用于MIP模式的块尺寸中的高度灵活性。
因此，根据本申请的第二方面，一种用于使用帧内预测对图片的预定块进行解码/编码的装置被配置成通过如下来预测该图片的预定帧内预测块中的每一个：从数据流读取模式索引/将模式索引插入到数据流中，该模式索引指向基于矩阵的帧内预测模式的列表中的一个帧内预测模式；以及通过计算从相应预定帧内预测块的邻域中的参考样本导出的输入向量和与模式索引所指向的基于矩阵的帧内预测模式相关联的预测矩阵之间的矩阵-向量积，并且将通过矩阵-向量积获得的输出向量的分量关联到相应预定帧内预测块的样本位置上，来预测相应预定帧内预测块的样本。换句话说，针对预定帧内预测块中的每个，该装置被配置成使用模式索引所指向的预测模式来预测相应块，其中该预测模式表示基于矩阵的帧内预测，即仿射线性加权帧内预测（ALWIP）。预定帧内预测块包括其纵横比大于4的块。预定帧内预测块例如包括8×1块、16×2块、32×4块、32×2块、32×1块、64×8块、64×4块、64×2块、64×1块、或具有大于4的纵横比的其他块。
根据实施例，该装置被配置成：根据预定块的水平尺寸相对于水平默认尺寸的第一比率水平地和/或根据预定块的垂直尺寸相对于垂直默认尺寸的第二比率垂直地设置相应预定帧内预测块的样本位置的样本间距离和相应预定帧内预测块的邻域中的参考样本的样本间距离。
根据实施例，该装置被配置成将基于矩阵的帧内预测模式的列表用于多个块尺寸。可选地，该装置被配置成针对该多个块尺寸对基于矩阵的帧内预测模式的列表中的基于矩阵的帧内预测模式同等地进行排序。替代地，该次序可能适配于例如宽大于高的块，反之亦然，或者适配于二次块。
根据本发明的第三方面，本申请的发明人认识到，当尝试从数据流中解码图片的块的变换标志/将该变换标志编码到数据流中时遇到的一个问题源自于如下事实：即，与不由MIP模式预测的块相比，针对MIP块可能会降低编码语法元素的效率。根据本申请的第一方面，通过针对使用MIP模式所预测的块和不使用MIP模式（即，使用平面模式、角度模式或DC模式）所预测的块的变换标记的基于上下文的自适应二进制算术编码（CABAC）使用分离的上下文来克服这个困难。所断言的是，在针对MIP和非MIP块的多重变换选择（MTS）的使用之间存在统计差异，因此可以通过分离对应的上下文来利用该差异。特别地，因为MIP模式必须已利用特定的残差变换（这里是默认变换）来学习，所以与诸如DC、平面和角度模式之类的启发式设计的模式相比，其他变换更不可能产生更好的结果。因此，可以通过针对MIP和非MIP块使用分离的上下文来实现改进的编码效率。
因此，根据本申请的第三方面，一种用于使用帧内预测对图片的预定块进行解码/编码的装置被配置成通过如下来预测该图片的预定帧内预测块（例如，基于矩阵的帧内预测块（MIP块））中的每一个：从数据流读取模式索引/将模式索引插入到数据流中，该模式索引指向基于矩阵的帧内预测模式的列表中的一个帧内预测模式；以及通过计算从相应预定帧内预测块的邻域中的参考样本导出的输入向量和与模式索引所指向的基于矩阵的帧内预测模式相关联的预测矩阵之间的矩阵-向量积，并且将通过矩阵-向量积获得的输出向量的分量关联到相应预定帧内预测块的样本位置上，来预测相应预定帧内预测块的样本。该装置例如被配置成通过这个预测来获得针对相应预定帧内预测块的预测信号。该装置被配置成使用包括角度预测模式、DC预测模式和平面预测模式的一组正常帧内预测模式中的一个来预测该图片的另外的预定帧内预测块（例如，“正常”帧内块）中的每一个，以获得预测信号。针对预定帧内预测块和另外的预定帧内预测块中的预定块，该装置被配置成从数据流中解码变换标志（例如，多重变换选择标志（MTS标志））/将所述变换标志编码到数据流中，该变换标志指示预定块的预测残差是使用默认变换还是不同的变换被编码到数据流中的。针对MIP块和正常帧内块两者对变换标志进行编码。该装置被配置成使用上下文自适应二进制算术编码从数据流中解码变换标志/将变换标志编码到数据流中，该上下文自适应二进制算术编码使用取决于预定块是预定帧内预测块中的一个还是另外的预定帧内预测块中的一个而选择的概率模型。该装置被配置成从数据流中解码预定块的预测残差/将预定块的预测残差编码到数据流中，并且使用逆变换对预测残差进行重新变换，以便获得预测残差信号，如果变换标志指示预定块的预测残差是使用默认变换被编码到数据流中的，则该逆变换对默认变换进行逆转（reverse），并且如果变换标志指示预定块的预测残差是使用不同的变换被编码到数据流中的，则该逆变换对该不同的变换进行逆转。编码器被配置成在预测环路中执行该重新变换。该装置被配置成使用预测残差信号来校正预测信号。这个校正例如针对预定帧内预测块和另外的预定帧内预测块来实施。
根据实施例，默认变换是水平地和垂直地应用的DCT-II。
如果变换标志指示预定块的预测残差是使用不同的变换被编码到数据流中的，则该装置例如被配置成从数据流中解码指示该不同的变换的一个或多个另外的语法元素/将该一个或多个另外的语法元素编码到数据流中。该一个或多个另外的语法元素指示例如一组可分离的变换中的不同的变换，该变换水平地使用DST-VII和DCT-DCT-VIII中的第一个，并且垂直地使用DST-VII和DCT-DCT-VIII中的第二个。
根据实施例，该装置被配置成：在从数据流中解码变换标志/将变换标志编码到数据流中，如果预定块是预定帧内预测块中的一个，则使用第一概率模型作为用于解码/编码变换标志的概率模型并且取决于变换标志来更新第一概率模型，并且如果预定块是另外的预定帧内预测块中的一个，则使用第二概率模型作为用于解码/编码变换标志的概率模型并且取决于变换标志来更新第二概率模型。
实施例涉及一种用于使用帧内预测对图片的预定块进行解码/编码的方法，包括：使用二进制化码从数据流读取模式索引/将模式索引插入到数据流中，该模式索引指向基于矩阵的帧内预测模式的列表中的一个帧内预测模式；以及通过计算从预定块的邻域中的参考样本导出的输入向量和与模式索引所指向的基于矩阵的帧内预测模式相关联的预测矩阵之间的矩阵-向量积，并且将通过矩阵-向量积获得的输出向量的分量关联到预定块的样本位置上，来预测预定块的样本。基于矩阵的帧内预测模式的列表由偶数个基于矩阵的帧内预测模式组成。基于矩阵的帧内预测模式的列表由基于矩阵的帧内预测模式对组成，并且针对每个基于矩阵的帧内预测模式对，与相应的基于矩阵的帧内预测模式对的第一个基于矩阵的帧内预测模式相关联的预测矩阵等于与相应的基于矩阵的帧内预测模式对的第二个基于矩阵的帧内预测模式相关联的预测矩阵。该方法包括：如果模式索引所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对的第一个基于矩阵的帧内预测模式，则预定块的邻域中的参考样本与输入向量的分量的关联以及预定块的样本位置与输出向量的分量的关联相对于在模式索引所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对的第二个基于矩阵的帧内预测模式的情况下的关联被转置。该方法包括：使用二进制化码以如下方式从数据流读取模式索引/将模式索引插入到数据流中，使得针对每个基于矩阵的帧内预测模式对，第一个基于矩阵的帧内预测模式被指派第一码字，并且第二个基于矩阵的帧内预测模式被指派第二码字，并且两个码字在长度上相等。
实施例涉及一种用于使用帧内预测对图片的预定块进行解码/编码的方法，包括通过如下来预测该图片的预定帧内预测块中的每一个：从数据流读取模式索引/将模式索引插入到数据流中，该模式索引指向基于矩阵的帧内预测模式的列表中的一个帧内预测模式；以及通过计算从相应预定帧内预测块的邻域中的参考样本导出的输入向量和与模式索引所指向的基于矩阵的帧内预测模式相关联的预测矩阵之间的矩阵-向量积，并且将通过矩阵-向量积获得的输出向量的分量关联到相应预定帧内预测块的样本位置上，来预测相应预定帧内预测块的样本。预定帧内预测块包括其纵横比大于4的块。
实施例涉及一种用于使用帧内预测对图片的预定块进行解码/编码的方法，包括通过如下来预测该图片的预定帧内预测块（例如，MIP块）中的每一个：从数据流读取模式索引/将模式索引插入到数据流中，该模式索引指向基于矩阵的帧内预测模式的列表中的一个帧内预测模式；以及通过计算从相应预定帧内预测块的邻域中的参考样本导出的输入向量和与模式索引所指向的基于矩阵的帧内预测模式相关联的预测矩阵之间的矩阵-向量积，并且将通过矩阵-向量积获得的输出向量的分量关联到相应预定帧内预测块的样本位置上，来预测相应预定帧内预测块的样本。此外，该方法包括使用包括角度预测模式、DC预测模式和平面预测模式的一组正常帧内预测模式中的一个来预测该图片的另外的预定帧内预测块中的每一个，以获得预测信号。针对预定帧内预测块和另外的预定帧内预测块中的预定块，该方法包括从数据流中解码变换标志/将变换标志编码到数据流中，该变换标志指示预定块的预测残差是使用默认变换还是不同的变换被编码到数据流中的；从数据流中解码预定块的预测残差/将预定块的预测残差编码到数据流中，使用逆变换对预测残差进行重新变换，以便获得预测残差信号，如果变换标志指示预定块的预测残差是使用默认变换被编码到数据流中的，则该逆变换对默认变换进行逆转，并且如果变换标志指示预定块的预测残差是使用不同的变换被编码到数据流中的，则该逆变换对该不同的变换进行逆转；以及使用预测残差信号来校正预测信号。该方法包括使用上下文自适应二进制算术编码从数据流中解码变换标志/将变换标志编码到数据流中，该上下文自适应二进制算术编码使用取决于预定块是预定帧内预测块中的一个还是另外的预定帧内预测块中的一个而选择的概率模型。
实施例涉及一种数据流，该数据流使用本文中描述的用于编码的方法使图片或视频被编码到其中。
实施例涉及一种计算机程序，该计算机程序具有当在计算机上运行时用于执行本文中描述的方法的程序代码。
附图说明
附图不一定按比例，替代地，重点通常放在说明本发明的原理上。在以下描述中，参考以下附图描述了本发明的各种实施例，在附图中：
图1示出了编码到数据流中的实施例；
图2示出了编码器的实施例；
图3示出了图片的重建的实施例；
图4示出了解码器的实施例；
图5.1示出了根据实施例的具有减少的样本值向量的块的预测；
图5.2示出了根据实施例的使用样本插值的块的预测；
图5.3示出了根据实施例的具有减少的样本值向量的块的预测，其中仅一些边界样本被求平均；
图5.4示出了根据实施例的具有减少的样本值向量的块的预测，其中四个边界样本的组被求平均；
图6示出了根据实施例的基于模式索引的图片的预定块的基于矩阵的帧内预测；
图7示出了根据实施例的基于矩阵的帧内预测模式对与样本间距离设置的应用之间的关系；
图8示出了根据实施例的具有大于4的纵横比的预定块的基于矩阵的帧内预测；以及
图9示出了根据实施例的使用基于上下文的自适应二进制算术编码的变换标志的编码。
具体实施方式
在下面的描述中，相同或等同的元件或具有相同或等同功能的元件由相同或等同的参考数字来表示，即使其出现在不同的附图中。
在以下描述中，阐述了多个细节以提供对本发明实施例的更全面的解释。然而，对于本领域技术人员来说将明显的是，可以在没有这些具体细节的情况下实践本发明的实施例。在其他实例中，为了避免使本发明的实施例含糊难懂，以框图的形式而不是详细地示出公知的结构和设备。此外，下文描述的不同实施例的特征可以彼此组合，除非另行特别指出。
在下文中，描述了各种示例，当使用基于矩阵的帧内预测时，所述示例可以帮助实现更有效的压缩。例如，基于矩阵的帧内预测可以被添加到其他启发式设计的帧内预测模式，或者可以被专门地提供。
为了便于理解本申请的以下示例，本描述以拟合到其中的可能的编码器和解码器的呈现开始，本申请的随后概述的示例可以被构建到其中。图1示出了用于将图片10逐块编码到数据流12中的装置。使用参考符号14来指示该装置，并且该装置可以是静止图片编码器或视频编码器。换句话说，当编码器14被配置成将包括图片10的视频16编码到数据流12中时，图片10可以是视频16中的当前图片，或者编码器14可以专门地将图片10编码到数据流12中。
如所提到的，编码器14以逐块方式或基于块来执行编码。为此，编码器14将图片10细分成块，编码器14以块为单位将图片10编码到数据流12中。将图片10细分成块18的可能示例在下面更详细地阐述。一般来说，细分可以结束于恒定大小的块18，诸如以行和列来布置的块的阵列，或者结束于不同块大小的块18，诸如通过使用层级式多树细分，其中从图片10的整个图片区域开始多树细分，或者从图片10的预分区到树块阵列中开始多树细分，其中这些示例不应当被视为排除将图片10细分成块18的其他可能方式。
此外，编码器14是预测性编码器，该预测性编码器被配置成将图片10预测性地编码到数据流12中。针对某个块18，这意味着编码器14确定块18的预测信号，并且将预测残差（即，预测信号以其与块18内的实际图片内容偏离的预测误差）编码到数据流12中。
编码器14可以支持不同的预测模式，以便导出特定块18的预测信号。在以下示例中重要的预测模式是帧内预测模式，根据该模式，从图片10的相邻的、已经编码的样本中在空间上预测块18的内部。图片10到数据流12中的编码以及因此对应的解码过程可以基于在块18当中定义的特定编码次序20。例如，编码次序20可以以光栅扫描次序来遍历块18，诸如从上到下逐行遍历，其中例如从左到右遍历每一行。在基于层级式多树细分的情况下，光栅扫描排序可以被应用于每个层次级别内，其中可以应用深度优先的遍历次序，即，根据编码次序20，某个层次级别的块内的叶注释可以在具有相同父块的相同层次级别的块之前。取决于编码次序20，块18的相邻的、已编码的样本通常可以位于块18的一侧或多侧处。例如，在本文中呈现的示例的情况下，块18的相邻的、已编码的样本被定位到块18的顶部和左边。
帧内预测模式可能不是编码器14支持的唯一一些。例如，在编码器14是视频编码器的情况下，编码器14还可以支持帧间预测模式，根据该模式，从视频16的先前编码的图片来临时地预测块18。此类帧间预测模式可以是运动补偿预测模式，根据该模式，针对此类块18来发信令通知运动向量，该运动向量指示块18的预测信号将作为副本从中导出的部分的相对空间偏移。另外地或替代地，其他非帧内预测模式也可以是可用的，诸如在编码器14是多视图编码器的情况下是视图间预测模式，或者是非预测性模式，根据该模式，块18的内部被原样编码，即在没有任何预测的情况下被编码。
在以将本申请的描述集中于帧内预测模式上来开始之前，关于图2描述了可能的基于块的编码器的更具体的示例，即针对编码器14的可能实现方式，其中然后分别呈现了拟合到图1和2的解码器的两个对应示例。
图2示出了图1的编码器14的可能实现方式，即其中编码器被配置成使用变换编码以用于对预测残差进行编码的实现方式，但是这几乎是示例，并且本申请不限于那种预测残差编码。根据图2，编码器14包括减法器22，该减法器22被配置成从入站信号（即，图片10、或在块的基础上的当前块18）中减去对应的预测信号24，以便获得预测残差信号26，该预测残差信号26然后由预测残差编码器28编码到数据流12中。预测残差编码器28由有损编码级28a和无损编码级28b组成。有损级28a接收预测残差信号26，并且包括量化器30，所述量化器30量化预测残差信号26的样本。如上面已经提到的，本示例使用预测残差信号26的变换编码，并且因此，有损编码级28a包括连接在减法器22与量化器30之间的变换级32，以便利用量化器30在其中呈现残差信号26的变换系数上进行的量化来对此类频谱分解的预测残差26进行变换。该变换可以是DCT、DST、FFT、Hadamard变换等。然后，经变换和量化的预测残差信号34经受由无损编码级28b进行的无损编码，该无损编码级28b是将经量化的预测残差信号34熵编码到数据流12中的熵编码器。编码器14进一步包括连接到量化器30的输出的预测残差信号重建级36，以便以在解码器处也可用的方式（即，考虑量化器30的编码损失）从经变换和量化的预测残差信号34来重建预测残差信号。为此，预测残差重建级36包括去量化器38，所述去量化器38执行量化器30的量化的逆转，去量化器38之后是逆变换器40，所述逆变换器40执行相对于变换器32所执行的变换的逆变换，诸如频谱分解的逆转，诸如对上面提到的特定变换示例中的任一个的逆转。编码器14包括加法器42，所述加法器42将逆变换器40输出的经重建的预测残差信号和预测信号24相加，以便输出经重建的信号，即经重建的样本。这个输出被馈送到编码器14的预测器44中，该预测器44然后基于此来确定预测信号24。预测器44支持上面已经关于图1讨论的所有预测模式。图2还图示了在编码器14是视频编码器的情况下，编码器14还可以包括环路中滤波器46，所述环路中滤波器46对完全重建的图片进行滤波，该完全重建的图片在已经被滤波之后形成关于帧间预测块的预测器44的参考图片。
如上面已经提到的，编码器14基于块进行操作。对于随后的描述，感兴趣的块基础是将图片10细分成块的基础，针对所述块，从预测器44或编码器14分别支持的一组或多个帧内预测模式中选择出帧内预测模式，并且单独地执行所选择的帧内预测模式。然而，图片10被细分到其中的其他种类的块也可能存在。例如，上面提到的图片10是被帧间编码还是被帧内编码的决定可以以偏离于块18的粒度或块单位来完成。例如，可以在图片10被细分到其中的编码块的级别上执行帧间/帧内模式决定，并且每个编码块被细分成预测块。具有针对其已经决定了使用帧内预测的编码块的预测块每个被细分成帧内预测模式决定。为此，针对这些预测块中的每一个，决定哪个所支持的帧内预测模式应当被用于相应的预测块。这些预测块将形成这里感兴趣的块18。预测器44将不同地对待与帧间预测相关联的编码块内的预测块。它们将通过确定运动向量并且从运动向量所指向的参考图片中的位置复制这个块的预测信号而从参考图片被帧间预测。另一块细分涉及细分成以执行由变换器32和逆变换器40进行的变换为单位的变换块。经变换的块可以例如是进一步细分编码块的结果。自然地，本文中阐述的示例不应当被视为限制性的，并且也存在其他示例。仅为了完整的缘故，要注意的是，到编码块中的细分可以例如使用多树细分，并且预测块和/或变换块也可以通过使用多树细分来进一步细分编码块而获得。
在图3中描绘了拟合到图1的编码器14的用于逐块解码的解码器54或装置。这个解码器54与编码器14相反地进行，即它以逐块方式从数据流12中解码图片10，并且为此支持多个帧内预测模式。例如，解码器54可以包括残差提供器156。上面关于图1讨论的所有其他可能性对于解码器54也是有效的。为此，解码器54可以是静止图片解码器或视频解码器，并且所有预测模式和预测可能性也由解码器54所支持。编码器14与解码器54之间的差异主要在于如下事实：编码器14根据某种优化来选择或挑选编码决定，诸如例如，以便最小化可能取决于编码率和/或编码失真的某种成本函数。这些编码选项或编码参数中的一个可以涉及在可用或所支持的帧内预测模式当中选择用于当前块18的帧内预测模式。然后，可以由编码器14在数据流12内针对当前块18来发信令通知所选的帧内预测模式，其中解码器54使用数据流12中针对块18的这个信令来重新进行选择。同样地，图片10到块18中的细分可以在编码器14内经受优化，并且对应的细分信息可以在数据流12内传送，其中解码器54在该细分信息的基础上恢复图片10到块18中的细分。综上所述，解码器54可以是在块的基础上操作的预测性解码器，并且除了帧内预测模式之外，在例如解码器54是视频解码器的情况下，解码器54可以支持其他预测模式，诸如帧间预测模式。在解码中，解码器54还可以使用关于图1讨论的编码次序20，并且因为在编码器14和解码器54两者处遵循这个编码次序20，所以在编码器14和解码器54两者处，相同的相邻样本可用于当前块18。因此，为了避免不必要的重复，编码器14的操作模式的描述也将适用于解码器54，只要涉及图片10到块中的细分，例如，只要涉及预测以及只要涉及预测残差的编码。差异在于如下事实：编码器14通过优化来选择数据流12内的一些编码选项或编码参数和信号，或者将编码参数插入到数据流12中，然后由解码器54从数据流12中导出所述编码参数，以便重新进行预测、细分等等。
图4示出了图3的解码器54的可能的实现方式，即拟合到图2中所示的图1的编码器14的实现方式的实现方式。因为图4的编码器54的许多元件与图2的对应编码器中出现的那些相同，所以在图4中使用了被提供有撇号的相同参考符号以便指示这些元件。特别地，加法器42’、可选的环路中滤波器46’和预测器44’以与它们在图2的编码器中相同的方式而连接到预测环路中。被应用于加法器42’的经重建的、即去量化且重新变换的预测残差信号由熵解码器56的序列导出，该熵解码器56对熵编码器28b的熵编码进行逆转，所述熵解码器56之后是残差信号重建级36’，该残差信号重建级36’由去量化器38’和逆变换器40’组成，正如编码侧上的情况一样。解码器的输出是图片10的重建。图片10的重建可以直接在加法器42’的输出处可获得，或者，替代地，在环路中滤波器46’的输出处可获得。可以在解码器的输出处布置一些后置滤波器，以便使图片10的重建经受一些后置滤波，从而改进图片质量，但是在图4中没有描绘这个选项。
同样，关于图4，上面关于图2提出的描述对于图4也将是有效的，除了仅编码器执行优化任务和关于编码选项的相关联决定。然而，关于块细分、预测、去量化和重新变换的所有描述对于图4的解码器54也是有效的。
下面描述的实施例利用了所谓的基于矩阵的帧内预测。一般概念将在下面概述。该概念在下文中有时被称为ALWIP（仿射线性加权帧内预测），作为MIP（基于矩阵的帧内预测）的替代同义词。
在ALWIP或MIP模式中，为了预测宽度W和高度H的矩形块的样本，仿射线性加权帧内预测（ALWIP）（或MIP）可以将该块左边的一行H个经重建的相邻边界样本和该块上方的一行W个经重建的相邻边界样本视为输入。如果经重建的样本不可用，则可以如在常规帧内预测中所做的那样生成经重建的样本。图5.1至5.4示出了预定块18的样本104的基于矩阵的帧内预测。
预测信号（例如，针对完整块18的值）的生成可以基于以下三个步骤中的至少一些：
1. 可以通过求平均或下采样来从边界样本17中提取样本102（例如，在W=H=4的情况下的四个样本和/或在其他情况下的八个样本）（例如，步骤811）。在步骤811处，有可能减少与块18相邻的样本17a和17c的数目。如所示出，例如在图5.1中的100处，在将行17c和列17a细分成每个为两个样本的组110之后，每组110可能维持一个单个样本（例如，组110的样本的平均值或者组110的样本当中的简单选择）。或者如所示出，例如在图5.4中的122处，边界样本可以被分组成四个连续样本的组120，其中在这个情况下，每组120也可能仅维持一个样本（例如，在四个样本当中选择，或者四个样本的平均值）。
2. 可以利用经求平均的样本（或从下采样剩余的样本）作为输入来执行矩阵向量乘法，之后是加上偏移。该结果可以是原始块中的经亚采样的样本集合上的减少的预测信号。（例如，步骤812）
3. 可以例如通过从经亚采样的集合上的预测信号进行上采样（例如，通过线性插值）来生成剩余位置处的预测信号（例如，步骤813）。
归功于步骤1（811）和/或3（813），在矩阵-向量积的计算中所需要的乘法的总数可以使得它始终小于或等于4*W*H。此外，通过单独地使用加法和位移位来执行边界上的求平均操作和减少的预测信号的线性插值。换句话说，例如，对于ALWIP模式，每样本最多需要四次乘法。
在一些示例中，生成预测信号所需要的矩阵（例如，17M）和偏移向量（例如，bk）可以取自矩阵的集合（例如，三个集合），例如S 0、S 1、S 2，所述集合可以被存储在例如解码器和编码器的（多个）存储单元中。
在一些示例中，集合S 0可以包括n 0个（例如，n 0=16或n 0=18或另一数目）矩阵
Figure 58392DEST_PATH_IMAGE001
（例如，由其组成），其中每个可以具有16行和4列、以及每个大小为16的18个偏移向量
Figure 975532DEST_PATH_IMAGE002
，以执行根据图5.1的技术。这个集合的矩阵和偏移向量被用于大小4×4的块18。一旦边界向量已经被缩减到Pred=4的向量（如针对图5.1的步骤811），就有可能将样本102的缩减集合的Pred=4样本直接映射到要预测的4×4块18的Q=16样本中。
在一些示例中，集合S 1可以包括n 1个（例如，n 1=8或n 1=18或另一数目）矩阵
Figure 755269DEST_PATH_IMAGE003
（例如，由其组成），其中每个可以具有16行和8列、以及每个大小为16的18个偏移向量
Figure 212795DEST_PATH_IMAGE004
，以执行根据图5.2或5.3的技术。这个集合S1的矩阵和偏移向量可以被用于大小4×8、4×16、4×32、4×64、16×4、32×4、64×4、8×4和8×8的块。另外地，它还可以用于大小WxH（其中max(W,H)>4且min(W,H)=4）的块，即大小4x16或16x4、4x32或32x4以及4x64或64x4的块。16×8矩阵指代如图5.2和5.3中获得的块18的缩减版本，其是4×4的块。
另外地或替代地，集合S 2可以包括n 2个（例如，n 2=6或n 2=18或另一数目）矩阵
Figure 27168DEST_PATH_IMAGE005
（例如，由其组成），其中每个可以具有64行和8列、以及大小为64的18个偏移向量
Figure 849630DEST_PATH_IMAGE006
。64×8矩阵指代例如如图5.4中获得的块18的缩减版本，其是8×8的块。这个集合的矩阵和偏移向量可以被用于大小8×16、8×32、8×64、16×8、16×16、16×32、16×64、32×8、32×16、32×32、32×64、64×8、64×16、64×32、64×64的块。
那个集合的矩阵和偏移向量或者这些矩阵和偏移向量的部分可以用于所有其他块形状。
1.1边界的求平均或下采样
这里，提供了关于步骤811的特征。
边界样本（17a，17c）可以被求平均和/或下采样（例如，从P个样本到Pred<P个样本）。
在第一步骤中，输入边界
Figure 178980DEST_PATH_IMAGE007
（例如，17c）和
Figure 377881DEST_PATH_IMAGE008
（例如，17a）可以被缩减到更小的边界
Figure 46759DEST_PATH_IMAGE009
和
Figure 102440DEST_PATH_IMAGE010
，以得到缩减集合102。这里，在4x4块的情况下，
Figure 856769DEST_PATH_IMAGE011
和
Figure 593781DEST_PATH_IMAGE012
两者由2个样本组成，并且在其他情况下，两者由4个样本组成。
在4x4块的情况下，有可能定义：
Figure 179483DEST_PATH_IMAGE013
，
Figure 609328DEST_PATH_IMAGE014
，
并且类似地定义
Figure 850953DEST_PATH_IMAGE015
。因此，
Figure 188394DEST_PATH_IMAGE016
、
Figure 831865DEST_PATH_IMAGE017
、
Figure 167031DEST_PATH_IMAGE018
、
Figure 895953DEST_PATH_IMAGE019
是例如使用位移位操作获得的平均值。
在所有其他情况下（例如，针对其宽度或高度不同于4的块），如果块宽W给定为W=4*2k，则对于0≤i<4，定义：
Figure 37084DEST_PATH_IMAGE020
并且类似地定义
Figure 600308DEST_PATH_IMAGE015
。
在又一些情况下，有可能对边界进行下采样（例如，通过从一组边界样本中选择一个特定边界样本）以达到减少数目的样本。例如，可以在
Figure 371955DEST_PATH_IMAGE021
和
Figure 322593DEST_PATH_IMAGE022
当中选择
Figure 205099DEST_PATH_IMAGE023
，并且可以在
Figure 619899DEST_PATH_IMAGE024
和
Figure 562448DEST_PATH_IMAGE025
当中选择
Figure 382DEST_PATH_IMAGE026
。类似地定义
Figure 420999DEST_PATH_IMAGE027
也是可能的。
两个缩减边界
Figure 955886DEST_PATH_IMAGE028
和
Figure 69335DEST_PATH_IMAGE029
可以级联到缩减的边界向量
Figure 994566DEST_PATH_IMAGE030
（与缩减集合102相关联），也用17P指示。因此，针对形状4×4的块（图5.1的示例），缩减的边界向量
Figure 281191DEST_PATH_IMAGE030
可以具有大小4（Pred=4），并且针对所有其他形状的块（图5.2-5.4的示例），其可以具有大小8（Pred=8）。
这里，如果模式<18（或矩阵集合中的矩阵数目），则有可能定义：
Figure 342688DEST_PATH_IMAGE031
。
如果模式≥18，这对应于模式-17的转置模式，则有可能定义：
Figure 627039DEST_PATH_IMAGE032
。
因此，根据特定状态（一个状态：模式<18；一个其他状态：模式≥18），有可能沿着不同的扫描次序来分布输出向量的预测值（例如，一个扫描次序：[
Figure 39565DEST_PATH_IMAGE033
，
Figure 129881DEST_PATH_IMAGE034
]；另一个扫描次序：[
Figure 311464DEST_PATH_IMAGE035
，
Figure 501137DEST_PATH_IMAGE036
]）。
可以执行其他策略。在其他示例中，模式索引“模式”不一定在0到35的范围中（可以定义其他范围）。此外，三个集合S0、S1、S2中的每一个不一定具有18个矩阵（因此，代替比如模式≥18的表达式，有可能的是，模式≥n 0、n 1、n 2，其分别是每个矩阵集合S0、S1、S2的矩阵的数目）。此外，所述集合可以每个具有不同数目的矩阵（例如，可以是，S0具有16个矩阵，S1具有8个矩阵，并且S2具有6个矩阵）。
模式和转置信息不一定作为一个组合的模式索引“模式”来存储和/或传输：在一些示例中，存在明确地作为转置标志和矩阵索引（针对S0为0-15，针对S1为0-7，并且针对S2为0-5）来发信号通知的可能性。
在一些情况下，转置标志和矩阵索引的组合可以被解释为集合索引或模式索引。例如，可能存在作为转置标志操作的一个位、以及指示矩阵索引（统称为“集合索引”或“模式索引”）的一些位。
1.2 通过矩阵向量乘法来生成缩减的预测信号
这里，提供了关于步骤812的特征。
可以从缩减的输入向量bdry red （边界向量17P）中生成缩减的预测信号pred red 。后者信号可以是具有W red 和高度H red 的下采样块上的信号。这里，W red 和H red 可以被定义为：
Wred=4，Hred=4；如果max(W,H)≤8，
Wred=min(W,8)，Hred=min(H,8)；其他情况。
缩减的预测信号pred red 可以通过计算矩阵-向量积并且加上偏移来计算：
pred red =A ∙ bdry red +b。
这里，A是矩阵（例如，预测矩阵17M），其可以具有W red *H red 行，并且如果W=H=4，则为4列，并且在所有其他情况下为8列，并且b是可以大小为W red *H red 的向量。
如果W=H=4，则A可以具有4列和16行，并且因此在那个情况下每样本可能需要4次乘法来计算pred red 。在所有其他情况下，A可以具有8列，并且可以验证在这些情况下，具有8*W red *H red ≤4*W*H，即，同样在这些情况下，每样本最多需要4次乘法来计算pred red 。
矩阵A和向量b可以如下那样取自集合S 0、S 1、S 2中的一个。通过如下方式来定义索引idx=idx(W,H)：如果W=H=4，则设置idx(W,H)=0，如果max(W,H)=8，则设置idx(W,H)=1，并且在所有其他情况下，设置idx(W,H)=2。此外，如果模式<18，则可以使m=模式，并且否则，使m=模式-17。然后，如果idx≤1或idx=2且min(W,H)>4，则可以使A=
Figure 400960DEST_PATH_IMAGE037
和b=
Figure 29387DEST_PATH_IMAGE038
。在idx=2且min(W,H)=4的情况下，令A是通过省去（leave out）
Figure 331055DEST_PATH_IMAGE039
的每一行而产生的矩阵，在W=4的情况下，该
Figure 691630DEST_PATH_IMAGE037
对应于下采样块中的奇数x坐标，或者在H=4的情况下，该
Figure 78749DEST_PATH_IMAGE039
对应于下采样块中的奇数y坐标。如果模式≥18，则由其转置信号来替换缩减的预测信号。在替代示例中，可以执行不同的策略。例如，使用Wred=4和Hred=4的S1(idx=1)的较小矩阵，而不是减小较大矩阵的大小（“省去”），即，此类块现在被指派给S1，而不是S2。
可以执行其他策略。在其他示例中，模式索引“模式”不一定在0到35的范围中（可以定义其他范围）。此外，不必要的是三个集合S0、S1、S2中的每一个具有18个矩阵（因此，代替比如模式<18的表达式，有可能的是，模式<n 0、n 1、n 2，其分别是每个矩阵集合S0、S1、S2的矩阵的数目）。此外，所述集合可以每个具有不同数目的矩阵（例如，可以的是，S0具有16个矩阵，S1具有8个矩阵，并且S2具有6个矩阵）。
1.3 用于生成最终预测信号的线性插值
这里，提供了关于步骤812的特征。
经亚采样的预测信号的插值，在大块上，可能需要平均边界的第二版本。即，如果min(W,H)>8且W≥H，则写W=8*2 l ，并且针对0≤i<8，定义：
Figure 510867DEST_PATH_IMAGE040
如果min(W,H)>8且H>W，则类似地定义
Figure 401462DEST_PATH_IMAGE041
。
另外地或替代地，有可能具有“硬下采样”，其中
Figure 198517DEST_PATH_IMAGE042
等于
Figure 869670DEST_PATH_IMAGE043
同样，可以类似地定义
Figure 108409DEST_PATH_IMAGE044
。
在pred red 的生成（例如，图5.2-5.4的示例中的步骤813）中省去的样本位置处，最终预测信号可以通过从pred red 进行线性插值而产生。在一些示例中，如果W=H=4（例如，图5.1的示例），则这个线性插值可能是不必要的。
线性插值可以如下那样给出（尽管其他示例是可能的）。假设W≥H。然后，如果H>H red，则可以执行pred red 的垂直上采样。在那个情况下，pred red 可以如下向顶部延伸一行。如果W=8，则pred red 可以具有宽度Wred=4，并且可以通过平均边界信号
Figure 119090DEST_PATH_IMAGE045
延伸到顶部，例如，如上所定义的那样。如果W>8，则pred red 具有宽度W red =8，并且它通过平均边界信号
Figure 87046DEST_PATH_IMAGE046
延伸到顶部，例如如上面所定义的那样。对于pred red 的第一行，可以写pred red [x][-1]。然后，宽度W red 并且高度2*H red 的块上的信号
Figure 183178DEST_PATH_IMAGE047
可以被给出为：
Figure 957099DEST_PATH_IMAGE048
Figure 822287DEST_PATH_IMAGE049
其中0≤x<W red ，并且0≤y<H red 。后者过程可以被执行k次，直到2 k *H red =H。因此，如果H=8或H=16，则它最多可以被执行一次。如果H=32，则它可以被执行两次。如果H=64，它它可以被执行三次。接下来，水平上采样操作可以被应用于垂直上采样的结果。后者上采样操作可以使用预测信号左边的完整边界。最后，如果H>W，则可以通过首先在水平方向（如果需要的话）上进行上采样、并且然后在垂直方向上进行上采样来类似地进行。
这是针对第一插值（水平或垂直）使用缩减的边界样本、以及针对第二插值（垂直或水平）使用原始边界样本的插值的示例。取决于块的大小，仅需要第二次插值或者不需要插值。如果需要水平和垂直插值两者，则该次序取决于块的宽度和高度。
然而，可以实现不同的技术：例如，原始边界样本可以用于第一和第二插值两者，并且该次序可以是固定的，例如，首先水平插值然后垂直插值（在其他情况下，首先垂直插值然后水平插值）。
因此，插值次序（水平/垂直）和缩减/原始边界样本的使用可以变化。
1.4 整个ALWIP过程的示例的说明
图5.1-5.4中针对不同形状图示了平均、矩阵向量乘法和线性插值的整个过程。要注意的是，其余的形状被视为在所描绘的情况之一中。
1. 给定4×4的块，ALWIP可以通过使用图5.1的技术沿着边界的每个轴取两个平均值。所得到的四个输入样本进入矩阵向量乘法19。所述矩阵取自集合S 0。在添加偏移之后，这可以产生16个最终预测样本。线性插值对于生成预测信号是不必要的。因此，每样本总共执行（4*16）/（4*4）=4次乘法。参见例如图5.1。
2. 给定8×8的块，ALWIP可以沿着边界的每个轴取四个平均值。通过使用图5.2的技术，所得到的八个输入样本进入矩阵向量乘法19。所述矩阵取自集合S 1。这在预测块的奇数位置上产生16个样本。因此，每样本总共执行（8*16）/（8*8）=2次乘法。在添加偏移之后，可以例如通过使用顶部边界对这些样本进行垂直插值、以及例如通过使用左侧边界对这些样本进行水平插值。参见例如图5.2。
3.给定8×4的块，ALWIP可以通过使用图5.3的技术沿着边界的水平轴取四个平均值并且在左侧边界上取四个原始边界值。所得到的八个输入样本进入矩阵向量乘法19。所述矩阵取自集合S 1。这在预测块的奇数水平和每个垂直位置上产生16个样本。因此，每样本总共执行（8*16）/（8*4）=4次乘法。例如，在添加偏移之后，通过使用左侧边界对这些样本进行水平插值。参见例如图5.3。
转置情况被相应地处理。
4. 给定16×16的块，ALWIP可以沿着边界的每个轴取四个平均值。通过使用图5.4的技术，所得到的八个输入样本进入矩阵向量乘法19。所述矩阵取自集合S 2。这在预测块的奇数位置上产生64个样本。因此，每样本总共执行（8*64）/（16*16）=2次乘法。例如，在添加偏移之后，通过使用顶部边界对这些样本进行垂直插值、并且通过使用左侧边界对这些样本进行水平插值。参见例如图5.4。
对于较大的形状，该程序可能基本上相同，并且容易检查每样本的乘法次数小于两次。
对于W×8的块，仅水平插值是必要的，这是因为样本是在奇数水平和每个垂直位置处给出的。因此，在这些情况下，每样本最多执行（8*64）/（16*8）=4次乘法。
最后，对于W>8的W×4块，令A k 是通过省去对应于沿着下采样块的水平轴的奇数条目的每一行而产生的矩阵。因此，输出大小可以是32，并且再次地，仅水平插值仍然要执行。每样本最多可以执行（8*32）/（16*4）=4次乘法。
转置情况可以被相应地处理。
根据下面提出的实施例，MIP模式以如下方式被应用：使得MIP的使用与当前VVC版本中到目前为止预期的使用相比甚至更加高效。所述实施例涉及三个不同的方面，所述方面可以彼此分离地应用，或者可以成对地组合或全部组合。与当前VVC实现方式相比，首先提出了所有MIP模式（即，还有第0 MIP模式）可以以转置方式使用，其中该模式的奇偶性确定了转置条件。在这样做时，针对MipSizeId=0的MIP模式的数目可以从35减少到32，并且将针对MipSizeId=1的MIP模式的数目从19减少到16。然后，MIP模式可以利用针对小块的固定长度代码来编码。其次，所提出的是，移除MIP不可以用于其纵横比大于或等于4的块上的限制。附加地，所提出的是，取决于MIP标志来针对MTS索引引入分离的上下文。
所报告的是，如果不添加所提出的上下文，则所提出的方法在AI配置中相比于VTM-6.0产生-0.06%的BD速率改变，并且在RA配置中相比于VTM-6.0产生0.04%的BD速率节省。这里，编码器运行时间被报告为针对AI配置是101%，并且针对RA配置是100%。解码器运行时间被报告为针对AI配置是100%，并且针对RA配置是99%。如果此外添加了所提出的上下文，则所报告的是，所提出的方法在AI配置中相比于VTM-6.0产生-0.09%的BD-速率改变，并且在RA配置中相比于VTM-6.0产生-0.05%的BD-速率改变。这里，编码器运行时间被报告为针对AI配置是100%，并且针对RA配置是100%。解码器运行时间被报告为针对AI配置是101%，并且针对RA配置是99%。
应当注意的是，图6至图9的以下描述主要描述了可用于图片解码器或视频解码器（即，用于解码的装置）中的特征。然而，清楚的是，本文中描述的任何特征也可以被用于图片编码器或视频编码器的上下文中。
图6示出了用于使用帧内预测对图片的预定块18进行解码的装置54。
装置54被配置成使用二进制化码202从数据流12读取模式索引200，该模式索引指向基于矩阵的帧内预测模式的列表204中的一个帧内预测模式。基于矩阵的帧内预测模式的列表204包括偶数个基于矩阵的帧内预测模式，其中列表204的基于矩阵的帧内预测模式被分组成基于矩阵的帧内预测模式对212。每一对212包括第一个基于矩阵的帧内预测模式和第二个基于矩阵的帧内预测模式。装置54被配置成使用二进制化码202以如下方式从数据流12读取模式索引200，使得针对每个基于矩阵的帧内预测模式对212，第一个基于矩阵的帧内预测模式被指派第一码字，并且第二个基于矩阵的帧内预测模式被指派第二码字，并且两个码字在长度上相等。
可选地，二进制化码202是可变长度码，该可变长度码包括不同长度的码字。替代地，二进制化码可以是截断二进制码，并且基于矩阵的帧内预测模式的数目不是2的幂，使得截断二进制码具有不同长度的码字。与第一个基于矩阵的帧内预测模式对212相关联的基于矩阵的帧内预测模式可以被指派如下码字：该码字在长度上不同于被指派给与第二个基于矩阵的帧内预测模式对212相关联的基于矩阵的帧内预测模式的码字。然而，基于矩阵的帧内预测模式对212的两个码字在长度上相等。
根据实施例，装置54可以被配置成使用上下文自适应二进制算术解码器的等概率旁路模式来从数据流12读取模式索引200。
类似于用于使用帧内预测对图片的预定块18进行解码的装置54（即，解码器），用于使用帧内预测对图片的预定块18进行编码的装置（即，编码器）可以被配置成使用二进制化码202并且可选地使用上下文自适应二进制算术编码器的等概率旁路模式来将模式索引200编码到数据流12中。
解码器和编码器被配置成通过计算从预定块18的邻域中的参考样本17导出的输入向量102和与模式索引200所指向的基于矩阵的帧内预测模式k相关联的预测矩阵19之间的矩阵-向量积206来预测预定块18的样本108。矩阵-向量积206的计算产生了输出向量208。此外，通过将通过矩阵-向量积206获得的输出向量208的分量210关联到预定块18的样本位置104上，来预测预定块18的样本108。预定块18的样本108的这个预测可以如关于图5.1至5.4所描述的那样来执行。
针对每个基于矩阵的帧内预测模式对212，与相应的基于矩阵的帧内预测模式对212的第一个基于矩阵的帧内预测模式相关联的预测矩阵19等于与相应的基于矩阵的帧内预测模式对212的第二个基于矩阵的帧内预测模式相关联的预测矩阵19。因此，针对基于矩阵的帧内预测模式2k和2k+1，使用相同的预测矩阵19。针对每个基于矩阵的帧内预测模式对212，编码器和解码器被配置成使得如果模式索引200所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对212的第一个基于矩阵的帧内预测模式，例如具有奇数模式索引2k+1的模式，则预定块18的邻域中的参考样本17与输入向量112的分量214的关联以及预定块18的样本位置104与输出向量208的分量210的关联相对于在模式索引200所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对212的第二个基于矩阵的帧内预测模式（例如，具有偶数模式索引2k的模式）的情况下的关联被转置。
解码器/编码器可能被配置成基于模式索引200的奇偶性来确定模式索引200所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对的第一个基于矩阵的帧内预测模式还是相应的基于矩阵的帧内预测模式对212的第二个基于矩阵的帧内预测模式。模式索引200的奇偶性可能指示输入向量102和输出向量208是否以转置方式被使用以用于预测预定块18的样本108。也就是说，如图7中所示，如果在前一种情况下，输入向量102的分量1至n中的某个分量与位置（x,y）相关联，其中（0,0）表示预定块18的左上角样本AA，则在后一种情况下，它与（y,x）相关联。这同样适用于输出向量208的分量（AA、AB、AC、BA、CA……）。
每对212由第一个基于矩阵的帧内预测模式和第二个基于矩阵的帧内预测模式组成，所述模式通过相同的预测矩阵19彼此相关，并且仅在输入向量102和输出向量208是否被转置方面彼此不同。根据实施例，索引200的二进制化码202的最后有效位（即，最后的仓（bin））或者作为替代方案是二进制化码202（诸如，截断二进制码或固定长度二进制码）的最高有效位（即，第一个仓）可能指示MIP模式是否以转置方式来使用。替代地，或者从不同的角度看到的，模式索引由表示到对应的相互转置的MIP模式对上的子索引的语法元素组成，该语法元素也可能使用截断二进制码被二进制化，该截断二进制码具有固定数目的位和表示转置标志的附加语法元素，该附加语法元素指示是否要应用转置。换句话说，索引200将由指示MIP模式对的第一语法元素、以及指示构成MIP模式对的基础的矩阵是否将以转置方式被应用的附加标志组成。在子索引语法元素从数据流12中被解码/被编码到数据流12中之前或之后，可能从数据流12中解码附加位或标志/将附加位或标志编码到数据流12中。
根据实施例，解码器/编码器被配置成使用模式索引200的整数部分除以2来索引多个预测矩阵中的预测矩阵19。这是基于如下想法：对212的两个基于矩阵的帧内预测模式使用相同的预测矩阵19以用于预测预定块18的样本108，出于该原因，预测矩阵19已经通过用模式索引200指向列表204中的相关对212而被充分地指示。
如图6和7中所示，解码器/编码器可能被配置成根据预定块18的水平尺寸220相对于水平默认尺寸的第一比率水平地和/或根据预定块18的垂直尺寸222相对于垂直默认尺寸的第二比率垂直地设置217预定块18的样本位置104的样本间距离216和预定块18的邻域中的参考样本17的样本间距离218。这使得能够将基于矩阵的帧内预测模式的列表204用于多个块尺寸。该装置可能通过插值来填充所预测样本之间的空间。预定块18的样本位置104的样本间距离216和预定块18的邻域中的参考样本17的样本间距离218的样本间距离设置217使得能够实现预定块18中的所预测样本108和预定块18的邻域中的参考样本17的改进的分布。因此，所预测样本可能是等同分布的，从而使得能够实现预定块18的样本的改进的插值。
根据实施例，解码器/编码器被配置成针对多个块尺寸对基于矩阵的帧内预测模式的列表204中的基于矩阵的帧内预测模式同等地进行排序。替代地，该次序可能适于例如宽大于高的块，或者反之亦然（即，高大于宽的块），或者适于二次块。这个排序可以增加编码效率并且减少比特流，这是因为用于公共块尺寸的基于矩阵的帧内预测模式可以与短码字相关联，并且用于稀少块尺寸的基于矩阵的帧内预测模式可以与较长码字相关联。
可选地，该多个块尺寸包括对应于大于4的纵横比的至少一个块尺寸。基于矩阵的帧内预测可能被优化，使得具有水平尺寸220与垂直尺寸222的纵横比的预定块18大于4。也就是说，该多个块尺寸包括水平尺寸220至少是垂直尺寸222四倍的预定块和/或垂直尺寸222至少是水平尺寸220四倍的预定块。图7可能示出了具有对应于大于4的纵横比的块尺寸的预定块18。
在当前VVC工作草案中，针对可以在其上使用MIP的每个块18，MIP模式的数目是奇数整数N=2n+1。这里，第0模式可能不被转置，而所有其他模式可能被转置：对于i>n，MIP模式i是MIP模式i-n的转置。所断言的是，第0模式可能不被转置的限制已经最初由于如下事实而作出：在来自日内瓦的第15届JVET会议的MIP的第一个采用的版本中，MIP模式由具有3个MPM（最可能模式）的MPM方案来发信令通知[1]。在这个方案中，MIP模式的总数是N=2 k +3形式的奇数整数，其中k是整数。然而，在哥德堡的第16届JVET会议上，针对MIP模式的后一种信令方案由截断二进制码所替代[2]。因此，所断言的是，MIP模式的数目不再需要是奇数，并且因此可以移除关于转置的第0 MIP模式的特殊处理。
因此，在当前VVC草案的条款8.4.5.2.1中提出的是，针对MIP模式predModIntra，确定该模式是否被转置的转置标志isTransposed被定义为：
transposed_flag=predModeIntra&1。
因此，在条款8.4.5.2.1中提出的是，确定哪个矩阵19将被用于给定MIP模式predModIntra的索引modeId 200被定义为：
modeId=predModeIntra>>1。
通过这个方式，在VLC长度方面，对模式及其转置模式进行发信令通知是同样昂贵的。没有不对称产生。也没有MPM列表构造是必要的。
此外，对于MipSizeId=0，所提出的是将MIP模式的数目从35减少到32，并且对于MipSizeId=1，所提出的是将MIP模式的数目从19减少到16。对于MipSizeId=2，所提出的是使用12个而不是11个MIP模式，这是由于所提出的是也可以对第0 MIP模式进行转置。因此，在所提出的方法中，对于MipSizeId=0需要16个而不是18个MIP矩阵19，并且对于MipSizeId=1，需要8个而不是10个MIP矩阵19。如前所述，对于MipSizeId=2，需要6个MIP矩阵19。
接下来，在当前的VVC工作草案中，针对其纵横比大于或等于4的块18，MIP被排除。所断言的是，这个限制是不必要的，这是由于当前VVC的MIP在没有任何附加设计改变的情况下针对这些块18进行工作。所断言的是，关于块形状的MIP的限制主要是为了节省编码器运行时间而作出的，并且因此标准化是不合期望的。因此，所提出的是移除对MIP使用的后一种限制，并且允许针对所有块形状的MIP，如图8中所示。
图8示出了用于使用帧内预测对图片的预定块进行解码的装置54，该装置54被配置成通过从数据流12读取模式索引200来预测该图片的预定帧内预测块18中的每一个，所述模式索引200指向基于矩阵的帧内预测模式的列表204中的一个帧内预测模式。装置54被配置成通过计算从相应预定帧内预测块18的邻域中的参考样本17导出的输入向量102和与模式索引200所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵19之间的矩阵-向量积206、并且将通过矩阵-向量积206获得的输出向量208的分量关联到相应预定帧内预测块18的样本位置104上，来预测相应预定帧内预测块18的样本108。预定帧内预测块18包括其纵横比大于4的块。
此外，装置54可能被配置成：根据预定块18的水平尺寸220相对于水平默认尺寸的第一比率水平地和/或根据预定块的垂直尺寸222相对于垂直默认尺寸的第二比率垂直地设置相应预定帧内预测块的样本位置104的样本间距离216和相应预定帧内预测块18的邻域中的参考样本17的样本间距离218。可选地，装置54被配置成将基于矩阵的帧内预测模式的列表用于多个块尺寸。根据实施例，该装置可能被配置成针对该多个块尺寸对基于矩阵的帧内预测模式的列表204中的基于矩阵的帧内预测模式同等地进行排序，或者使该次序适于例如宽大于高的块，反之亦然，或者适于二次块。
用于使用帧内预测对图片的预定块进行编码的装置（编码器）可以具有与用于使用帧内预测对图片的预定块进行解码的装置54（解码器）相同或相似的特征，其中编码器被配置成将模式索引200编码到数据流12中。
根据实施例，模式索引200如关于图6所描述的那样被读取/编码。
可选地，解码器/编码器被配置成执行相应预定帧内预测块18的样本108的预测，如关于图5.1至7中的一个所描述的那样。
根据图9中所示的实施例，如果对应的编码单元（例如，预定帧内预测块18）正在使用MIP，则所提出的是针对MTS标志（即，变换标志300）使用分离的上下文。MTS标志300可以指示那个块18的残差变换是否应当是默认变换，诸如水平地和垂直地应用的DCT-II，或者如果否，则在该情况下，后续的语法元素可以可选地发信令通知例如是否替代地垂直地和/或水平地应用DST-VII或DCT-VIII。所断言的是，在针对MIP和针对非MIP块的MTS的使用之间存在统计差异，因此可以通过分离对应的上下文来利用该差异。特别地，因为MIP模式必须已利用特定的残差变换（这里是默认变换）来学习，所以与诸如DC、平面和角度模式之类的启发式设计的模式相比，其他变换更不可能产生更好的结果。
图9示出了用于使用帧内预测对图片的预定块18进行解码的装置54。
装置54被配置成通过如下来预测310该图片的预定帧内预测块18（例如，MIP块）中的每一个：从数据流12读取模式索引200，所述模式索引200指向基于矩阵的帧内预测模式的列表204中的一个帧内预测模式；以及通过计算从相应预定帧内预测块18的邻域中的参考样本17导出的输入向量102和与模式索引200所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵19之间的矩阵-向量积206，并且将通过矩阵-向量积206获得的输出向量208的分量关联到相应预定帧内预测块18的样本位置104上，来预测相应预定帧内预测块18的样本108。预定帧内预测块18的这个帧内预测310可以如关于图5.1至图8中的一个所描述的那样来执行。装置54被配置成通过这个预测310来获得预测信号340。
此外，装置54被配置成使用包括角度预测模式、DC预测模式和平面预测模式的一组正常帧内预测模式中的一个来预测310该图片的另外的预定帧内预测块18（例如，“正常”帧内块）中的每一个，以获得预测信号340。
针对预定帧内预测块和另外的预定帧内预测块中的预定块18，装置54被配置成从数据流12中解码变换标志300，例如MTS标志。这个变换标志300可以是针对预定帧内预测块和另外的预定帧内预测块（即，MIP块和正常帧内块）两者而编码的。变换标志300指示预定块18的预测残差是使用默认变换320还是不同的变换322被编码到数据流12中的。默认变换320可能是水平地和垂直地应用的DCT-II，并且不同的变换322可能是水平地应用的DST-VII或DCT-DCT-VIII和垂直地应用的DST-VII或DCT-DCT-VIII。
装置54被配置成使用上下文自适应二进制算术编码350从数据流12中解码变换标志300，该上下文自适应二进制算术编码350使用取决于预定块是预定帧内预测块中的一个还是另外的预定帧内预测块中的一个而选择的概率模型。可选地，装置54被配置成：如果预定块18是预定帧内预测块中的一个，则使用第一概率模型作为用于对变换标志300进行解码的概率模型，并且取决于变换标志300来更新第一概率模型，并且如果预定块18是另外的预定帧内预测块中的一个，则使用第二概率模型作为用于对变换标志进行解码的概率模型并且取决于变换标志300来更新第二概率模型。
根据实施例，装置54被配置成：如果变换标志300指示预定块18的预测残差302是使用不同的变换322被编码到数据流12中的，则从数据流12中解码指示该不同的变换的一个或多个另外的语法元素。该一个或多个另外的语法元素可以指示一组可分离的变换中的不同的变换322，该变换水平地使用DST-VII和DCT-DCT-VIII中的第一个，并且垂直地使用DST-VII和DCT-DCT-VIII中的第二个。
装置54被配置成从数据流12中解码预定块18的预测残差302，并且使用逆变换对预测残差302进行重新变换，以便获得预测残差信号330，如果变换标志300指示预定块18的预测残差302是使用默认变换320被编码到数据流12中的，则该逆变换对默认变换320进行逆转，并且如果变换标志300指示预定块18的预测残差302是使用不同的变换322被编码到数据流12中的，则该逆变换对该不同的变换322进行逆转。装置54被配置成使用预测残差信号330来校正预测信号340。
用于使用帧内预测对图片的预定块进行编码的装置（编码器）可以具有与用于使用帧内预测对图片的预定块进行解码的装置54（解码器）相同或相似的特征，其中编码器被配置成在预测环路中执行重新变换。
根据实施例，编码器被配置成通过如下来将预定块18的预测残差302编码到数据流12中：如果变换标志300指示预定块18的预测残差302将使用默认变换320被编码到数据流12中，则使用默认变换320对预测残差信号330进行变换，并且如果变换标志300指示预定块18的预测残差302将使用不同的变换322被编码到数据流12中，则使用不同变换322对预测残差信号330进行变换，以便获得经变换的预测残差信号。此外，编码器被配置成将经变换的预测残差信号编码到数据流12中，使得预测信号340通过对经变换的预测残差信号的重新变换而是可校正的。
附加地，编码器被配置成使用上下文自适应二进制算术编码350将变换标志300编码到数据流12中，该上下文自适应二进制算术编码350使用取决于预定块18是预定帧内预测块中的一个还是另外的预定帧内预测块中的一个而选择的概率模型。
编码器和/或解码器可以包括关于图5.1至8中的一个所描述的特征和/或功能。
在下面描绘的表中，呈现了根据通用测试条件[3]和针对帧内的CE的测试条件[4]的实验结果。在表1和表2中，针对所提出的清除但是在没有针对MTS标志添加额外的上下文的情况下报告了结果。在表3和表4中，针对所提出的清除、在针对MTS标志具有提议添加的额外的上下文的情况下报告了结果。在任何测试中，与VTM-6.0锚相比，没有在编码器处进行优化。
表1. 所并入的MIP改变的结果：参考是VTM-6.0锚，测试是VTM-6.0，其具有所提出的清除，并且没有添加额外的上下文，AI配置
Figure 961144DEST_PATH_IMAGE050
。
表2. 所并入的MIP改变的结果：参考是VTM-6.0锚，测试是VTM-6.0，其具有所提出的清除，并且没有添加额外的上下文，RA配置
Figure 544572DEST_PATH_IMAGE051
。
表3. 所并入的MIP改变的结果：参考是VTM-6.0锚，测试是VTM-6.0，其具有所提出的清除，并且添加了额外的上下文，AI配置
Figure 856605DEST_PATH_IMAGE052
。
表4. 所并入的MIP改变的结果：参考是VTM-6.0锚，测试是VTM-6.0，其具有所提出的清除，并且添加了额外的上下文，RA配置
Figure 841879DEST_PATH_IMAGE053
。
在本申请中，提出了MIP模式的转置使用和MIP模式的数目与MIP模式的新采用的信令的对准。此外，提出了关于MIP使用的不必要的限制的清理。最后，提出了取决于MIP标志的MTS索引的分离的上下文。这些改变中的任一个或全部可被有利地采用到VVC的下一个工作草案中。
实现方式替代方案：
虽然已经在装置的上下文中描述了一些方面，但是要清楚的是，这些方面也表示对应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对应装置的对应块或项目或特征的描述。一些或所有方法步骤可以通过（或使用）硬件装置来执行，比如例如微处理器、可编程计算机或电子电路。在一些实施例中，最重要的方法步骤中的一个或多个可以由此类装置来执行。
取决于某些实现要求，本发明的实施例可以用硬件或软件来实现。可以使用其上具有存储的电子可读控制信号的数字存储介质（例如，软盘、DVD、蓝光光碟、CD、ROM、PROM、EPROM、EEPROM或FLASH存储器）来执行该实现方式，该数字存储介质与可编程计算机系统协作（或能够协作），使得执行相应的方法。因此，该数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该数据载体能够与可编程计算机系统协作，使得执行本文中描述的方法之一。
通常，本发明的实施例可以被实现为一种具有程序代码的计算机程序产品，当该计算机程序产品在计算机上运行时，该程序代码可操作用于执行方法之一。该程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的用于执行本文中描述的方法之一的计算机程序。
换句话说，因此，本发明方法的实施例是一种计算机程序，该计算机程序具有程序代码，当该计算机程序在计算机上运行时，该程序代码用于执行本文中描述的方法之一。
因此，本发明方法的另外的实施例是一种数据载体（或数字存储介质，或计算机可读介质），包括记录在其上的用于执行本文中描述的方法之一的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。
因此，本发明方法的另外的实施例是表示用于执行本文中描述的方法之一的计算机程序的数据流或信号序列。该数据流或信号序列可以例如被配置成经由数据通信连接（例如经由互联网）而被传输。
另外的实施例包括一种处理装置，例如计算机或可编程逻辑器件，该处理装置被配置成或适于执行本文中描述的方法之一。
另外的实施例包括一种计算机，具有其上安装的用于执行本文中描述的方法之一的计算机程序。
根据本发明的另外的实施例包括一种装置或系统，其被配置成将用于执行本文中描述的方法之一的计算机程序传输（例如，电子地或光学地）到接收器。该接收器可以例如是计算机、移动设备、存储器设备等。该装置或系统可以例如包括用于将计算机程序传输到该接收器的文件服务器。
在一些实施例中，可编程逻辑器件（例如，现场可编程门阵列）可以用来执行本文中描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以便执行本文中描述的方法之一。通常，所述方法优选地由任何硬件装置来执行。
本文中描述的装置可以使用硬件装置、或使用计算机、或使用硬件装置和计算机的组合来实现。
本文中描述的装置或本文中描述的装置的任何组件可以至少部分地用硬件和/或用软件来实现。
本文中描述的方法可以使用硬件装置、或使用计算机、或使用硬件装置和计算机的组合来执行。
本文中描述的方法或本文中描述的装置的任何部件可以至少部分地由硬件和/或由软件来执行。
上面描述的实施例仅仅是说明本发明的原理。要理解的是，本文中描述的布置和细节的修改和变化对于本领域的其他技术人员来说将是明显的。因此，其意图仅由即将到来的专利权利要求的范围来限制，并且不由通过本文中的实施例的描述和解释所呈现的具体细节所限制。
参考文献
[1] B. Bross et al., “Versatile Video Coding (Draft 5)”, JVET-N1001-v8, Geneva, Switzerland, March 2019
[2] B. Bross et al., “Versatile Video Coding (Draft 6)”, JVET-O2001,Gothenburg, Sweden, July 2019
[3] F. Bossen et al., “JVET common test conditions and softwarereference configurations for SDR video”, JVET-N1010, Geneva, Switzerland,March 2019
[4] G. Van der Auwera et al.,“Description of Core Experiment 3: IntraPrediction and Mode Coding”, JVET-O2023, Gothenburg, Sweden, July 2019。

Claims (46)

1.一种用于使用帧内预测对图片的预定块（18）进行解码的装置（54），其被配置成：
使用二进制化码（202）从数据流（12）读取模式索引（200），模式索引（200）指向基于矩阵的帧内预测模式的列表（204）中的一个帧内预测模式，
通过计算从预定块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引（200）所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积（206），并且将通过矩阵-向量积（206）获得的输出向量（208）的分量（210）关联到预定块（18）的样本位置（104）上，来预测预定块（18）的样本（108），
其中
基于矩阵的帧内预测模式的列表（204）由偶数个基于矩阵的帧内预测模式组成，
基于矩阵的帧内预测模式的列表（204）由基于矩阵的帧内预测模式对（212）组成，并且针对每个基于矩阵的帧内预测模式对（212），
与相应的基于矩阵的帧内预测模式对（212）的第一个基于矩阵的帧内预测模式相关联的预测矩阵（19）等于与相应的基于矩阵的帧内预测模式对（212）的第二个基于矩阵的帧内预测模式相关联的预测矩阵（19），以及
所述装置被配置成使得如果模式索引（200）所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对（212）的第一个基于矩阵的帧内预测模式，则预定块（18）的邻域中的参考样本（17）与输入向量（112）的分量（214）的关联以及预定块（18）的样本位置（104）与输出向量（208）的分量（210）的关联相对于在模式索引（200）所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对（212）的第二个基于矩阵的帧内预测模式的情况下的关联被转置，以及
所述装置被配置成使用二进制化码（202）以如下方式从数据流（12）读取模式索引（200），使得针对每个基于矩阵的帧内预测模式对（212），第一个基于矩阵的帧内预测模式被指派第一码字，并且第二个基于矩阵的帧内预测模式被指派第二码字，并且两个码字在长度上相等。
2.根据权利要求1所述的装置，其中二进制化码（202）是可变长度码，所述可变长度码包括不同长度的码字。
3.根据权利要求1所述的装置，其中二进制化码（202）是截断二进制码，并且基于矩阵的帧内预测模式的数目不是2的幂。
4.根据前述权利要求1至3中任一项所述的装置，其被配置成使用上下文自适应二进制算术解码器的等概率旁路模式来从数据流（12）读取模式索引（200）。
5.根据前述权利要求1至4中任一项所述的装置，其被配置成：
根据预定块（18）的水平尺寸（220）相对于水平默认尺寸的第一比率水平地和/或根据预定块（18）的垂直尺寸（222）相对于垂直默认尺寸的第二比率垂直地设置（217）预定块（18）的样本位置（104）的样本间距离（216）和预定块（18）的邻域中的参考样本（17）的样本间距离（218）。
6.根据权利要求5所述的装置，其被配置成：
将基于矩阵的帧内预测模式的列表（204）用于多个块尺寸。
7.根据权利要求6所述的装置，其被配置成：
针对所述多个块尺寸对基于矩阵的帧内预测模式的列表（204）中的基于矩阵的帧内预测模式同等地进行排序。
8.根据权利要求5至7中任一项所述的装置，所述多个块尺寸包括对应于大于4的纵横比的至少一个块尺寸。
9.根据权利要求1至8中任一项所述的装置，其被配置成：基于模式索引（200）的奇偶性来确定模式索引（200）所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对（212）的第一个基于矩阵的帧内预测模式还是相应的基于矩阵的帧内预测模式对（212）的第二个基于矩阵的帧内预测模式。
10.根据权利要求1至9中任一项所述的装置，其被配置成使用模式索引（200）的整数部分除以2来索引多个预测矩阵（19）中的预测矩阵（19）。
11.一种用于使用帧内预测对图片的预定块（18）进行解码的装置（54），其被配置成通过以下来预测所述图片的预定帧内预测块中的每一个：
从数据流（12）读取模式索引（200），模式索引（200）指向基于矩阵的帧内预测模式的列表（204）中的一个帧内预测模式，
通过计算从相应预定帧内预测块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引（200）所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积（206），并且将通过矩阵-向量积（206）获得的输出向量（208）的分量（210）关联到相应预定帧内预测块的样本位置（104）上，来预测相应预定帧内预测块的样本（108），
其中
预定帧内预测块包括其纵横比大于4的块。
12.根据权利要求11所述的装置，其被配置成：
根据预定块（18）的水平尺寸（220）相对于水平默认尺寸的第一比率水平地和/或根据预定块（18）的垂直尺寸（222）相对于垂直默认尺寸的第二比率垂直地设置（217）相应预定帧内预测块的样本位置（104）的样本间距离（216）和相应预定帧内预测块（18）的邻域中的参考样本（17）的样本间距离（218）。
13.根据权利要求11或权利要求12所述的装置，其被配置成：
将基于矩阵的帧内预测模式的列表（204）用于多个块尺寸。
14.根据权利要求13所述的装置，其被配置成：
针对所述多个块尺寸对基于矩阵的帧内预测模式的列表（204）中的基于矩阵的帧内预测模式同等地进行排序。
15.一种用于使用帧内预测对图片的预定块（18）进行解码的装置（54），其被配置成：
通过如下来预测（310）所述图片的预定帧内预测块中的每一个：
从数据流（12）读取模式索引（200），模式索引（200）指向基于矩阵的帧内预测模式的列表（204）中的一个帧内预测模式，
通过计算从相应预定帧内预测块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引（200）所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积（206），并且将通过矩阵-向量积（206）获得的输出向量（208）的分量（210）关联到相应预定帧内预测块的样本位置（104）上，来预测相应预定帧内预测块的样本（108），
使用包括角度预测模式、DC预测模式和平面预测模式的一组正常帧内预测模式中的一个来预测（310）所述图片的另外的预定帧内预测块中的每一个，以获得预测信号，
针对预定帧内预测块和另外的预定帧内预测块中的预定块（18），
从数据流（12）中解码变换标志（300），所述变换标志指示预定块（18）的预测残差是使用默认变换（320）还是不同的变换（322）被编码到数据流（12）中的，
从数据流（12）中解码预定块（18）的预测残差（302），
使用逆变换对预测残差进行重新变换，以便获得预测残差信号，如果变换标志（300）指示预定块（18）的预测残差是使用默认变换（320）被编码到数据流（12）中的，则所述逆变换对默认变换（320）进行逆转，并且如果变换标志（300）指示预定块（18）的预测残差是使用不同的变换（322）被编码到数据流（12）中的，则所述逆变换对所述不同的变换（322）进行逆转，
使用预测残差信号来校正预测信号（340），
其中所述装置被配置成使用上下文自适应二进制算术编码（350）从数据流（12）中解码变换标志（300），所述上下文自适应二进制算术编码（350）使用取决于预定块（18）是预定帧内预测块中的一个还是另外的预定帧内预测块中的一个而选择的概率模型。
16.根据权利要求15所述的装置，其中默认变换（320）是水平地和垂直地应用的DCT-II。
17.根据权利要求15或权利要求16所述的装置，其被配置成：
如果变换标志（300）指示预定块（18）的预测残差是使用不同的变换（322）被编码到数据流（12）中的，则从数据流（12）中解码指示所述不同的变换（322）的一个或多个另外的语法元素。
18.根据权利要求17所述的装置，其中所述一个或多个另外的语法元素指示一组可分离的变换中的不同的变换（322），所述变换水平地使用DST-VII和DCT-DCT-VIII中的第一个，并且垂直地使用DST-VII和DCT-DCT-VIII中的第二个。
19.根据任何前述权利要求15-18所述的装置，其被配置成在从数据流（12）解码变换标志（300）中：
如果预定块（18）是预定帧内预测块中的一个，则使用第一概率模型作为用于解码变换标志（300）的概率模型并且取决于变换标志（300）来更新第一概率模型，并且如果预定块（18）是另外的预定帧内预测块中的一个，则使用第二概率模型作为用于解码变换标志（300）的概率模型并且取决于变换标志（300）来更新第二概率模型。
20.一种用于使用帧内预测对图片的预定块（18）进行编码的装置，其被配置成：
使用二进制化码（202）将模式索引（200）插入到数据流（12）中，模式索引（200）指向基于矩阵的帧内预测模式的列表（204）中的一个帧内预测模式，
通过计算从预定块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引（200）所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积（206），并且将通过矩阵-向量积（206）获得的输出向量（208）的分量（210）关联到预定块（18）的样本位置（104）上，来预测预定块（18）的样本（108），
其中
基于矩阵的帧内预测模式的列表（204）由偶数个基于矩阵的帧内预测模式组成，
基于矩阵的帧内预测模式的列表（204）由基于矩阵的帧内预测模式对（212）组成，并且针对每个基于矩阵的帧内预测模式对（212），
与相应的基于矩阵的帧内预测模式对（212）的第一个基于矩阵的帧内预测模式相关联的预测矩阵（19）等于与相应的基于矩阵的帧内预测模式对（212）的第二个基于矩阵的帧内预测模式相关联的预测矩阵（19），以及
所述装置被配置成使得如果模式索引（200）所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对（212）的第一个基于矩阵的帧内预测模式，则预定块（18）的邻域中的参考样本（17）与输入向量（112）的分量（214）的关联以及预定块（18）的样本位置（104）与输出向量（208）的分量（210）的关联相对于在模式索引（200）所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对（212）的第二个基于矩阵的帧内预测模式的情况下的关联被转置，以及
所述装置被配置成使用二进制化码（202）以如下方式将模式索引（200）插入到数据流（12）中，使得针对每个基于矩阵的帧内预测模式对（212），第一个基于矩阵的帧内预测模式被指派第一码字，并且第二个基于矩阵的帧内预测模式被指派第二码字，并且两个码字在长度上相等。
21.根据权利要求20所述的装置，其中二进制化码（202）是可变长度码，所述可变长度码包括不同长度的码字。
22.根据权利要求20所述的装置，其中二进制化码（202）是截断二进制码，并且基于矩阵的帧内预测模式的数目不是2的幂。
23.根据前述权利要求20-22中任一项所述的装置，其被配置成使用上下文自适应二进制算术编码器的等概率旁路模式将模式索引（200）插入到数据流（12）中。
24.根据前述权利要求20-23中任一项所述的装置，其被配置成：
根据预定块（18）的水平尺寸（220）相对于水平默认尺寸的第一比率水平地和/或根据预定块（18）的垂直尺寸（222）相对于垂直默认尺寸的第二比率垂直地设置（217）预定块（18）的样本位置（104）的样本间距离（216）和预定块（18）的邻域中的参考样本（17）的样本间距离（218）。
25.根据权利要求24所述的装置，其被配置成：
将基于矩阵的帧内预测模式的列表（204）用于多个块尺寸。
26.根据权利要求25所述的装置，其被配置成：
针对所述多个块尺寸对基于矩阵的帧内预测模式的列表（204）中的基于矩阵的帧内预测模式同等地进行排序。
27.根据权利要求24至26中任一项所述的装置，所述多个块尺寸包括对应于大于4的纵横比的至少一个块尺寸。
28.根据权利要求20至27中任一项所述的装置，其被配置成：基于模式索引（200）的奇偶性来确定模式索引（200）所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对（212）的第一个基于矩阵的帧内预测模式还是相应的基于矩阵的帧内预测模式对（212）的第二个基于矩阵的帧内预测模式。
29.根据权利要求20至28中任一项所述的装置，其被配置成使用模式索引（200）的整数部分除以2来索引多个预测矩阵（19）中的预测矩阵（19）。
30.一种用于使用帧内预测对图片的预定块（18）进行编码的装置，其被配置成通过如下来预测所述图片的预定帧内预测块中的每一个：
将模式索引（200）插入到数据流（12）中，模式索引（200）指向基于矩阵的帧内预测模式的列表（204）中的一个帧内预测模式，
通过计算从相应预定帧内预测块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引（200）所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积（206），并且将通过矩阵-向量积（206）获得的输出向量（208）的分量（210）关联到相应预定帧内预测块的样本位置（104）上，来预测相应预定帧内预测块的样本（108），
其中
预定帧内预测块包括其纵横比大于4的块。
31.根据权利要求30所述的装置，其被配置成：
根据预定块（18）的水平尺寸（220）相对于水平默认尺寸的第一比率水平地和/或根据预定块（18）的垂直尺寸（222）相对于垂直默认尺寸的第二比率垂直地设置（217）相应预定帧内预测块的样本位置（104）的样本间距离（216）和相应预定帧内预测块（18）的邻域中的参考样本（17）的样本间距离（218）。
32.根据权利要求30或权利要求31所述的装置，其被配置成：
将基于矩阵的帧内预测模式的列表（204）用于多个块尺寸。
33.根据权利要求32所述的装置，其被配置成：
针对所述多个块尺寸对基于矩阵的帧内预测模式的列表（204）中的基于矩阵的帧内预测模式同等地进行排序。
34.一种用于使用帧内预测对图片的预定块（18）进行编码的装置，其被配置成：
通过如下来预测所述图片的预定帧内预测块中的每一个：
将模式索引（200）插入到数据流（12）中，模式索引（200）指向基于矩阵的帧内预测模式的列表（204）中的一个帧内预测模式，
通过计算从相应预定帧内预测块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引（200）所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积（206），并且将通过矩阵-向量积（206）获得的输出向量（208）的分量（210）关联到相应预定帧内预测块的样本位置（104）上，来预测相应预定帧内预测块的样本（108），
使用包括角度预测模式、DC预测模式和平面预测模式的一组正常帧内预测模式中的一个来预测所述图片的另外的预定帧内预测块中的每一个，以获得预测信号（340），
针对预定帧内预测块和另外的预定帧内预测块中的预定块（18），
将变换标志（300）编码到数据流（12）中，所述变换标志（300）指示预定块（18）的预测残差是使用默认变换（320）还是不同的变换（322）被编码到数据流（12）中的，
将预定块（18）的预测残差（302）编码到数据流（12）中，
使用逆变换对预测残差进行重新变换，以便获得预测残差信号，如果变换标志（300）指示预定块（18）的预测残差是使用默认变换（320）被编码到数据流（12）中的，则所述逆变换对默认变换（320）进行逆转，并且如果变换标志（300）指示预定块（18）的预测残差是使用不同的变换（322）被编码到数据流（12）中的，则所述逆变换对所述不同的变换（322）进行逆转，
使用预测残差信号来校正预测信号（340），
其中所述装置被配置成使用上下文自适应二进制算术编码（350）将变换标志（300）编码到数据流（12）中，所述上下文自适应二进制算术编码（350）使用取决于预定块（18）是预定帧内预测块中的一个还是另外的预定帧内预测块中的一个而选择的概率模型。
35.根据权利要求34所述的装置，其中默认变换（320）是水平地和垂直地应用的DCT-II。
36.根据权利要求34或权利要求35所述的装置，其被配置成：
如果变换标志（300）指示预定块（18）的预测残差是使用不同的变换（322）被编码到数据流（12）中的，则将指示所述不同变换（322）的一个或多个另外的语法元素编码到数据流（12）中。
37.根据权利要求36所述的装置，其中所述一个或多个另外的语法元素指示一组可分离的变换中的不同的变换（322），所述变换水平地使用DST-VII和DCT-DCT-VIII中的第一个，并且垂直地使用DST-VII和DCT-DCT-VIII中的第二个。
38.根据前述权利要求34至37中任一项所述的装置，其被配置成在将变换标志（300）编码到数据流（12）中：
如果预定块（18）是预定帧内预测块中的一个，则使用第一概率模型作为用于编码变换标志（300）的概率模型并且取决于变换标志（300）来更新第一概率模型，并且如果预定块（18）是另外的预定帧内预测块中的一个，则使用第二概率模型作为用于编码变换标志（300）的概率模型并且取决于变换标志（300）来更新第二概率模型。
39.一种用于使用帧内预测对图片的预定块（18）进行解码的方法，包括：
使用二进制化码（202）从数据流（12）读取模式索引（200），模式索引指向基于矩阵的帧内预测模式的列表（204）中的一个帧内预测模式，
通过计算从预定块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引（200）所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积（206），并且将通过矩阵-向量积（206）获得的输出向量（208）的分量（210）关联到预定块的样本位置（104）上，来预测预定块（18）的样本（108），
其中
基于矩阵的帧内预测模式的列表（204）由偶数个基于矩阵的帧内预测模式组成，
基于矩阵的帧内预测模式的列表由基于矩阵的帧内预测模式对（212）组成，并且针对每个基于矩阵的帧内预测模式对，
与相应的基于矩阵的帧内预测模式对的第一个基于矩阵的帧内预测模式相关联的预测矩阵（19）等于与相应的基于矩阵的帧内预测模式对的第二个基于矩阵的帧内预测模式相关联的预测矩阵（19），以及
所述方法包括：如果模式索引所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对的第一个基于矩阵的帧内预测模式，则预定块的邻域中的参考样本（17）与输入向量（112）的分量（214）的关联以及预定块（18）的样本位置（104）与输出向量（208）的分量（210）的关联相对于在模式索引所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对的第二个基于矩阵的帧内预测模式的情况下的关联被转置，以及
所述方法包括使用二进制化码（202）以如下方式从数据流（12）读取模式索引（200），使得针对每个基于矩阵的帧内预测模式对（212），第一个基于矩阵的帧内预测模式被指派第一码字，并且第二个基于矩阵的帧内预测模式被指派第二码字，并且两个码字在长度上相等。
40.一种用于使用帧内预测对图片的预定块（18）进行解码的方法，包括通过如下来预测所述图片的预定帧内预测块中的每一个：
从数据流（12）读取模式索引，模式索引指向基于矩阵的帧内预测模式的列表中的一个帧内预测模式，
通过计算从相应预定帧内预测块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积，并且将通过矩阵-向量积获得的输出向量的分量关联到相应预定帧内预测块的样本位置（104）上，来预测相应预定帧内预测块的样本（108），
其中
预定帧内预测块包括其纵横比大于4的块。
41.一种用于使用帧内预测对图片的预定块（18）进行解码的方法，包括：
通过如下来预测所述图片的预定帧内预测块中的每一个：
从数据流读取模式索引（200），模式索引指向基于矩阵的帧内预测模式的列表（204）中的一个帧内预测模式，
通过计算从相应预定帧内预测块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积，并且将通过矩阵-向量积获得的输出向量的分量关联到相应预定帧内预测块的样本位置（104）上，来预测相应预定帧内预测块的样本（108），
使用包括角度预测模式、DC预测模式和平面预测模式的一组正常帧内预测模式中的一个来预测所述图片的另外的预定帧内预测块中的每一个，以获得预测信号，
针对预定帧内预测块和另外的预定帧内预测块中的预定块，
从数据流中解码变换标志（300），所述变换标志（300）指示预定块的预测残差是使用默认变换还是不同的变换被编码到数据流中的，
从数据流中解码预定块的预测残差（302），
使用逆变换对预测残差进行重新变换，以便获得预测残差信号，如果变换标记指示预定块的预测残差是使用默认变换被编码到数据流中的，则所述逆变换对默认变换进行逆转，并且如果变换标记指示预定块的预测残差是使用不同的变换被编码到数据流中的，则所述逆变换对所述不同的变换进行逆转，
使用预测残差信号来校正预测信号，
其中所述方法包括使用上下文自适应二进制算术编码从数据流中解码变换标志，所述上下文自适应二进制算术编码使用取决于预定块是预定帧内预测块中的一个还是另外的预定帧内预测块中的一个而选择的概率模型。
42.一种用于使用帧内预测对图片的预定块（18）进行编码的方法，包括：
使用二进制化码（202）将模式索引（200）插入到数据流（12）中，模式索引指向基于矩阵的帧内预测模式的列表（204）中的一个帧内预测模式，
通过计算从预定块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引（200）所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积（206），并且将通过矩阵-向量积（206）获得的输出向量（208）的分量（210）关联到预定块的样本位置（104）上，来预测预定块（18）的样本（108），
其中
基于矩阵的帧内预测模式的列表（204）由偶数个基于矩阵的帧内预测模式组成，
基于矩阵的帧内预测模式的列表由基于矩阵的帧内预测模式对（212）组成，并且针对每个基于矩阵的帧内预测模式对，
与相应的基于矩阵的帧内预测模式对的第一个基于矩阵的帧内预测模式相关联的预测矩阵（19）等于与相应的基于矩阵的帧内预测模式对的第二个基于矩阵的帧内预测模式相关联的预测矩阵（19），以及
所述方法包括：如果模式索引所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对的第一个基于矩阵的帧内预测模式，则预定块的邻域中的参考样本（17）与输入向量（112）的分量（214）的关联以及预定块（18）的样本位置（104）与输出向量（208）的分量（210）的关联相对于在模式索引所指向的基于矩阵的帧内预测模式是相应的基于矩阵的帧内预测模式对的第二个基于矩阵的帧内预测模式的情况下的关联被转置，以及
所述方法包括使用二进制化码（202）以如下方式将模式索引（200）插入到数据流（12）中，使得针对每个基于矩阵的帧内预测模式对（212），第一个基于矩阵的帧内预测模式被指派第一码字，并且第二个基于矩阵的帧内预测模式被指派第二码字，并且两个码字在长度上相等。
43.一种用于使用帧内预测对图片的预定块（18）进行编码的方法，包括通过如下来预测所述图片的预定帧内预测块中的每一个：
将模式索引插入到数据流（12）中，模式索引指向基于矩阵的帧内预测模式的列表中的一个帧内预测模式，
通过计算从相应预定帧内预测块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积，并且将通过矩阵-向量积获得的输出向量的分量关联到相应预定帧内预测块的样本位置（104）上，来预测相应预定帧内预测块的样本（108），
其中
预定帧内预测块包括其纵横比大于4的块。
44.一种用于使用帧内预测对图片的预定块（18）进行编码的方法，包括：
通过如下来预测所述图片的预定帧内预测块中的每一个：
将模式索引（200）插入到数据流中，模式索引指向基于矩阵的帧内预测模式的列表（204）中的一个帧内预测模式，
通过计算从相应预定帧内预测块（18）的邻域中的参考样本（17）导出的输入向量（102）和与模式索引所指向的基于矩阵的帧内预测模式（k）相关联的预测矩阵（19）之间的矩阵-向量积，并且将通过矩阵-向量积获得的输出向量的分量关联到相应预定帧内预测块的样本位置（104）上，来预测相应预定帧内预测块的样本（108），
使用包括角度预测模式、DC预测模式和平面预测模式的一组正常帧内预测模式中的一个来预测所述图片的另外的预定帧内预测块中的每一个，以获得预测信号，
针对预定帧内预测块和另外的预定帧内预测块中的预定块，
将变换标志（300）编码到数据流中，所述变换标志（300）指示预定块的预测残差是使用默认变换还是不同的变换被编码到数据流中的，
将预定块的预测残差（302）编码到数据流中，
使用逆变换对预测残差进行重新变换，以便获得预测残差信号，如果变换标记指示预定块的预测残差是使用默认变换被编码到数据流中的，则所述逆变换对默认变换进行逆转，并且如果变换标记指示预定块的预测残差是使用不同的变换被编码到数据流中的，则所述逆变换对所述不同的变换进行逆转，
使用预测残差信号来校正预测信号，
其中所述方法包括使用上下文自适应二进制算术编码将变换标记编码到数据流中，所述上下文自适应二进制算术编码使用取决于预定块是预定帧内预测块中的一个还是另外的预定帧内预测块中的一个而选择的概率模型。
45.一种用于实现权利要求39至44中的一项所述的方法的计算机程序。
46.一种由根据前述权利要求20、30和34及其从属权利要求中任一项所述的装置生成的数据流。
CN202080081435.7A 2019-09-24 2020-09-24 基于矩阵的帧内预测的高效实现 Pending CN114747211A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19199396 2019-09-24
EP19199396.3 2019-09-24
PCT/EP2020/076697 WO2021058640A1 (en) 2019-09-24 2020-09-24 Efficient implementation of matrix-based intra-prediction

Publications (1)

Publication Number Publication Date
CN114747211A true CN114747211A (zh) 2022-07-12

Family

ID=68136131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080081435.7A Pending CN114747211A (zh) 2019-09-24 2020-09-24 基于矩阵的帧内预测的高效实现

Country Status (7)

Country Link
US (1) US20230328287A1 (zh)
EP (1) EP4035360A1 (zh)
CN (1) CN114747211A (zh)
AU (1) AU2020354500B2 (zh)
CA (1) CA3155622A1 (zh)
TW (2) TW202329689A (zh)
WO (1) WO2021058640A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3975565A4 (en) * 2019-07-07 2022-07-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PREDICTION METHOD, ENCODER, DECODER AND STORAGE MEDIA

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112438050B (zh) * 2019-06-25 2023-01-17 韦勒斯标准与技术协会公司 使用二次变换的视频信号处理方法及装置

Also Published As

Publication number Publication date
WO2021058640A1 (en) 2021-04-01
TW202123700A (zh) 2021-06-16
AU2020354500B2 (en) 2024-02-22
CA3155622A1 (en) 2021-04-01
AU2020354500A1 (en) 2022-04-07
EP4035360A1 (en) 2022-08-03
TWI782329B (zh) 2022-11-01
US20230328287A1 (en) 2023-10-12
TW202329689A (zh) 2023-07-16

Similar Documents

Publication Publication Date Title
US11184640B2 (en) Intra prediction method of chrominance block using luminance sample, and apparatus using same
US11622129B2 (en) Intra prediction method and apparatus using the method
US20170026643A1 (en) Adaptive transform method based on in-screen prediction and apparatus using the method
TWI816439B (zh) 以區塊為基礎之預測技術
TW202402050A (zh) 使用基於矩陣之內預測及二次轉換之寫碼技術
US20210051319A1 (en) Video signal processing method and device using reference sample
CN112585964A (zh) 图像和视频处理中产生mpm以进行帧内预测的方法和装置
AU2020354500B2 (en) Efficient implementation of matrix-based intra-prediction
CN117579818A (zh) 视频编解码中变换系数的编解码
CN116389737B (zh) 视频编解码中变换系数的编解码
JP7479471B2 (ja) モード－グローバル設定によるマトリックスベースのイントラ予測
CN116918327A (zh) 视频编码中基于状态的依赖量化和残差编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40081679

Country of ref document: HK