CN114365486A - 基于矩阵的帧内预测（mip）的矩阵乘法过程 - Google Patents

基于矩阵的帧内预测（mip）的矩阵乘法过程 Download PDF

Info

Publication number
CN114365486A
CN114365486A CN202080065542.0A CN202080065542A CN114365486A CN 114365486 A CN114365486 A CN 114365486A CN 202080065542 A CN202080065542 A CN 202080065542A CN 114365486 A CN114365486 A CN 114365486A
Authority
CN
China
Prior art keywords
mip
current block
determining
linear interpolation
red
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080065542.0A
Other languages
English (en)
Inventor
K·安德尔松
余若洋
张智
D·萨法尔
J·斯特罗姆
R·索伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN114365486A publication Critical patent/CN114365486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于预测当前块的样本的MIP方法（700）。该方法包括存储（s702）MIP权重矩阵的集合。该方法还包括确定（s704）当前块的宽度W和高度H。该方法进一步包括作为i）确定W=4和H=16或ii）确定W=16和H=4的结果，将mipSizeId变量设置（s706）为1。该方法进一步包括存储（s708）规定当前块的MIP预测模式的值predModeIntra。该方法进一步包括基于predModeIntra和mipSizeId变量的值来确定（s710）modeId值。并且该方法进一步包括从MIP权重矩阵的集合中选择（s712）要用于当前块的MIP权重矩阵，其中该选择基于modeId和mipSizeId变量的值。

Description

基于矩阵的帧内预测（MIP）的矩阵乘法过程
技术领域
本公开涉及视频译码（video coding）和解码。
背景技术
1.HEVC和VVC
高效视频译码（HEVC）是由ITU-T和MPEG标准化的基于块的视频编解码器，它利用时间预测和空间预测两者。空间预测是使用来自当前图片内的帧内（I）预测（intraprediction）来实现的。时间预测是使用来自先前解码的参考图片的块级上的单向（P）或双向（B）帧间预测（inter prediction）来实现的。在编码器中，原始像素数据和预测像素数据之间的差异（称为残差（residual））被变换到频域，被量化，然后被熵译码，之后与必要的诸如预测模式和运动向量之类的预测参数（也被熵译码）一起被传送。解码器执行熵解码、逆量化和逆变换，以获得残差，并且然后将残差加到帧内或帧间预测以重新构造图片。
MPEG和ITU-T正在联合视频探索小组（JVET）中研究HEVC的后继者。在开发的这个视频编解码器的名称是通用视频译码（VVC）。在撰写时，VVC草案规范的当前版本是“通用视频译码（草案6）”，JVET-O2001-vE。当本文档中提到VVC时，它指的是VVC规范的草案6。
2.分量
视频序列由一系列图片组成，其中每个图片由一个或多个分量组成。每个分量都可被描述为样本值的二维矩形阵列。通常，视频序列中的图片由三个分量组成：一个亮度分量（Y），其中样本值是亮度值；和两个色度分量（Cb）和（Cr），其中样本值是色度值。通常，色度分量的尺寸（dimension）在每个维度上都是亮度分量的1/2。例如，HD图片的亮度分量的大小将为1920×1080，并且色度分量将各自具有960×540的尺寸。分量有时被称为颜色分量。在本文档中，我们描述了对视频序列的编码和解码有用的方法。然而，应当理解，所描述的技术也可用于静止图像的编码和解码。
3.块和单元
块是样本的二维阵列。在视频译码中，每个分量被拆分成一个或多个块，并且译码的视频位流是一系列块。
在视频译码中通常，图片被拆分成覆盖特定区域的单元。每个单元由构成该特定区域的所有块组成，并且每个块完全只属于一个单元。HEVC和VVC中的译码单元（CU）是这种单元的示例。译码树单元（CTU）是逻辑单元，其能被拆分成几个CU。
在HEVC中，CU是正方形，即它们具有N×N个亮度样本的大小，其中N可具有64、32、16或8的值。在当前的H.266测试模型通用视频译码（VVC）中，CU也可以是矩形，即具有N×M个亮度样本的大小，其中N不同于M。
4.帧内预测
有两种类型的样本预测：帧内预测和帧间预测。帧内预测基于来自相同（当前）图片的先前解码块的样本的空间外推来预测块。它也能被用在图像压缩，即其中只有一个图片要压缩/解压缩的静止图像的压缩中。帧间预测通过使用先前解码图片的样本来预测块。
5.帧内方向预测
在HEVC和VVC中利用帧内方向预测。在HEVC中，总共有35个模式和33个角度模式。在VVC中，总共有67个模式和65个角度模式。其余两种模式，“平面”和“DC”是非角度模式。模式索引0用于平面模式，而模式索引1用于DC模式。角度预测模式索引对于HEVC为从2至34变动，而对于VVC从2至66变动。
帧内方向预测用于视频序列中的所有分量，例如亮度分量Y和两个色度分量Cb和Cr。
6.基于矩阵的帧内预测
基于矩阵的帧内预测（MIP）是一种译码工具，其被包括在当前版本的VVC草案中。为了预测宽度W和高度H的当前块的样本，MIP取当前块左侧的一列H个重构的相邻边界样本和当前块上方的一行W个重构的相邻样本作为输入。当前块的预测样本是基于以下三个步骤导出的：
（步骤1）对于相邻的行和列边界两者，通过使用取决于当前块尺寸的平均方法对每个边界（bdry上和bdry左）的样本求平均来提取两个或四个样本。提取的平均边界样本被命名为简化的边界（reduced boundary）bdryred。
（步骤2）使用提取的平均边界样本作为输入来执行矩阵向量乘法。输出是由预测的样本值的集合组成的简化的预测信号，其中每个预测的样本对应于当前块中的位置，并且其中位置的集合是当前块的所有位置的子集。输出的简化的预测信号被命名为predred。
（步骤3）当前块中不在位置的集合中的剩余位置的预测样本值通过线性插值根据简化的预测信号生成，线性插值是每个方向（竖直和水平）上的单步线性插值。预测信号由该块的所有预测样本值组成。插值的顺序取决于块的相对宽度（W）和高度（H）。
如果H>W，则通过使用简化的左边界样本来首先应用水平线性插值，这些样本取决于当前块尺寸被命名为bdryred 左或bdryredII 左。在水平线性插值之后，通过使用原始上边界bdry上应用竖直线性插值。取决于块大小，可不对块执行水平和/或竖直线性插值。
如果H≤W，则通过使用简化的上边界样本来首先应用竖直线性插值，这些样本取决于当前块尺寸被命名为bdryred 上或bdryredII 上。在竖直线性插值之后，通过使用原始左边界bdry左应用水平线性插值。取决于块大小，可不对块执行水平和/或竖直线性插值。
给定4×4块，bdryred包含4个样本，这些样本源于对每个边界的每两个样本求平均。predred的尺寸为4×4，这与当前块相同。因此，可跳过水平和竖直线性插值。图4A示出了4×4块的MIP过程的示例。
给定8×4块，bdryred包含8个样本，这些样本源于原始左边界和对上边界的每两个样本求平均。predred的尺寸为4×4。在剩余位置的预测信号是通过使用原始左边界bdry左根据水平线性插值生成的。图4B示出了8×4块的MIP过程的示例。
给定W×4块，其中W≥16，bdryred包含8个样本，这些样本源于原始左边界和对上边界的每W∕4个样本求平均。predred的尺寸为8×4。在剩余位置的预测信号是通过使用原始左边界bdry左根据水平线性插值生成的。
给定4×8块，bdryred包含8个样本，这些样本源于对左边界的每两个样本求平均值和原始上边界。predred的尺寸为4×4。在剩余位置的预测信号是通过使用原始上边界bdry上根据竖直线性插值生成的。
给定4×H块，其中H≥16，bdryred包含8个样本，这些样本源于对左边界的每H∕4个样本求平均和原始上边界。predred的尺寸为4×8。在剩余位置的预测信号是通过使用原始上边界bdry上根据竖直线性插值生成的。图5A示出了4×16块的MIP过程的示例。
给定8×8块，bdryred包含8个样本，这些样本源于对每个边界的每两个样本求平均。predred的尺寸为4×4。剩余位置处的预测信号首先通过使用简化的上边界bdryred 上根据竖直线性插值，其次通过使用原始左边界bdry左根据水平线性插值来生成。图5B示出了8×8块的MIP过程的示例。
给定W×8块，其中W≥16，bdryred包含8个样本，这些样本源于对左边界的每两个样本求平均和对上边界的每W∕4个样本求平均。predred的尺寸为8×8。在剩余位置的预测信号是通过使用原始左边界bdry左根据水平线性插值生成的。图6A示出了16×8块的MIP过程的示例。
给定8×H块，其中H≥16，bdryred包含8个样本，这些样本源于对左边界的每H∕4个样本求平均和对上边界的每两个样本求平均。predred的尺寸为8×8。在剩余位置的预测信号是通过使用原始上边界bdry上根据竖直线性插值生成的。
给定W×H块，其中W≥16且H≥16，bdryred包含8个样本，这些样本被如下导出：
（1）对于H≤W，首先，bdryredII 上包含8个样本，这些样本是通过对上边界的每W/8个样本求平均而导出的。其次，bdryred包含8个样本，这些样本源于对左边界的每H/4个样本求平均以及对bdryredII 上的每两个样本求平均。
（2）对于H>W，首先，bdryredII 左包含8个样本，这些样本是通过对左边界的每H∕8个样本求平均而导出的。其次，bdryred包含8个样本，这些样本源于对bdryredII 左的每两个和上边界的每W/4个样本求平均。
predred的尺寸为8×8。剩余位置处的预测信号是通过使用线性插值如下生成的：
（1）对于H≤W，首先，通过使用通过对上边界的每W∕8个样本求平均而导出的简化的上边界样本bdryredII 上的竖直线性插值，其次，通过使用原始左边界bdry左的水平线性插值。
（2）对于H>W，首先，通过使用通过对上边界的每H∕8个样本求平均而导出的简化的左边界样本bdryredII 左的水平线性插值，其次，通过使用原始上边界bdry上的竖直线性插值。
图6B示出了16×16块的MIP过程的示例。
在当前版本的VVC中，MIP仅适用于亮度分量。
在当前版本的VVC中，给定W×H块，当W∕H或H∕W比等于或小于4时，MIP能被应用于当前块。换句话说，对于具有尺寸为4×32、32×4、4×64、64×4、8×64或64×8的块，禁用MIP。
7. mipSizeId
mipSizeId是用于确定简化的边界的输入样本数、简化的预测的输出样本数以及要用于当前块的MIP权重矩阵的变量。
在当前版本的VVC中，mipSizeId是根据当前块的尺寸确定的。给定W×H块，mipSizeId如下被确定：如果W和H两者都等于4，则mipSizeId被设置为等于0；如果W和H两者都不等于4，但W和H两者都小于或等于8，则mipSizeId被设置为1；否则，mipSizeId被设置为2。
8.MIP权重矩阵和MIP预测模式
在用于从矩阵查找表中选择MIP权重矩阵的导出过程中使用MIP预测模式。可根据解码位流来确定MIP预测模式。在当前版本的VVC中，MIP预测模式（或简称“MIP模式”）的数量由mipSizeId规定如下：如果mipSizeId等于0，则MIP预测模式的数量numModes为35；如果mipSizeId等于1，则numModes就是19；并且如果mipSizeId等于2，则numModes是11。这在VVC的表8-4中进行了说明，该表在下面再现为表0：
表0
Figure 307476DEST_PATH_IMAGE001
在当前版本的VVC中，当值W∕H大于4或值H∕W大于4（即，如果一个尺寸比另一个尺寸的4倍大，则不允许MIP，并且numModes为零）时，对于当前块不允许MIP。
要用于MIP预测的MIP权重矩阵是通过使用MIP大小Id值mipSizeId和模式Id值modeId从矩阵查找表中导出的。例如，当mipSizeId等于0且modeId等于0时，则MIP权重矩阵大小M×N（其中M等于16且N等于4）被导出为：
表1
Figure 286934DEST_PATH_IMAGE002
modeId是基于确定的MIP预测模式（表示为predModeIntra）和numModes来确定的。具体来说，根据VVC：
modeId = predModeIntra-（isTransposed
Figure 145299DEST_PATH_IMAGE004
numModes / 2 : 0）
其中：
isTransposed =（predModeIntra>（numModes / 2））
Figure 274929DEST_PATH_IMAGE004
TRUE : FALSE。
MIP权重矩阵是二维矩阵。MIP权重矩阵（或简称“MIP矩阵”）的大小可被表示为M×N，其中N等于bdryred（MIP INPUT）的输入样本数，并且M等于或大于predred（MIP OUTPUT）的输出样本数。MIP权重矩阵与输入向量的矩阵的乘法产生M个样本的向量，这些样本在空间上位于大小为predC的正方形矩阵中，其中M = predC×predC。
MIP OUTPUT是二维矩阵，其具有predW×predH的尺寸。MIP OUTPUT的大小可表示为predW×predH。
MIP INPUT和MIP OUTPUT的大小取决于mipSizeId。表2示出了每个mipSizeId的MIP INPUT、MIP OUTPUT的大小和MIP权重矩阵的大小：
表2
每个mipSizeId的MIP INPUT、MIP OUTPUT的大小和MIP权重矩阵的大小
Figure 620460DEST_PATH_IMAGE005
发明内容
存在某些挑战。例如，在当前版本的VVC中，16×4或4×16块的MIP过程与其它块的MIP过程不一致。具有MIP权重矩阵mWeight[M][N]（其中M大于MIP OUTPUT）的矩阵乘法的处置增加MIP过程的复杂性。
本公开简化了MIP过程，使得对于所有MIP译码的块，要用于矩阵乘法的所选MIP权重矩阵mWeight[M][N]使得M等于MIP OUTPUT的大小。换句话说，MIP OUTPUT的大小被确定为等于所选MIP权重矩阵的一维的大小（M）。这种简化消除了具有MIP权重矩阵（mWeight[M][N]）（其中M大于MIP OUTPUT的大小）的矩阵乘法的处置。该简化使对于所有MIP译码的块的矩阵乘法过程一致。因此，一个优点是降低了MIP过程的译码复杂性。这是通过消除对具有MIP权重矩阵（其中M大于MIP OUTPUT的大小）的矩阵乘法的处置来完成的。该简化使对于所有MIP译码的块的矩阵乘法过程一致。
因此，在一个方面，提供有一种用于预测当前块的样本的MIP方法。在一个实施例中，该方法包括存储MIP权重矩阵的集合。该方法还包括确定当前块的宽度W和高度H。该方法进一步包括作为i）确定W=4和H=16或ii）确定W=16和H=4的结果，将mipSizeId变量设置为1。该方法进一步包括存储规定当前块的MIP预测模式的值predModeIntra。该方法进一步包括基于predModeIntra和mipSizeId变量的值来确定modeId值。并且该方法进一步包括从MIP权重矩阵的集合中选择要用于当前块的MIP权重矩阵，其中该选择基于modeId和mipSizeId变量的值。
附图说明
图1图示了根据实施例的系统。
图2是根据一个实施例的视频编码器的示意框图。
图3是根据一个实施例的视频解码器的示意框图。
图4A示出了4×4块的MIP过程的示例。
图4B示出了8×4块的MIP过程的示例。
图5A示出了4×16块的MIP过程的示例。
图5B示出了8×8块的MIP过程的示例。
图6A示出了16×8块的MIP过程的示例。
图6B示出了16×16块的MIP过程的示例。
图7是图示根据实施例的过程的流程图。
图8是图示根据实施例的过程的流程图。
图9是根据实施例的设备的框图。
图10是根据实施例的设备的框图。
具体实施方式
术语“样本”可被解释为“样本值”。例如，语句“从Y个样本中导出X”可被解释为“从Y个样本值中导出X”。类似地，语句“X个样本由Y导出”可被解释为“X个样本值由Y导出”。术语“MIP INPUT”可被解释为“提取的简化的边界bdryred，其被用作矩阵乘法的输入”。术语“MIP OUTPUT”可被解释为“简化的预测信号predred，其是矩阵乘法的输出”。
图1图示了根据示例实施例的系统100。系统200包括经由网络110（例如，因特网或其它网络）与解码器204通信的编码器202。去块可在编码器202和解码器204两者中执行。本文描述的实施例可用在视频编码器102或视频解码器104中。
图2是根据一个实施例的视频编码器102的示意框图。通过使用运动估计器250从同一帧或前一帧中已经提供的像素块执行运动估计来预测当前像素块。在帧间预测的情况下，运动估计的结果是与参考块关联的运动或位移向量。可由运动补偿器250使用运动向量来输出像素块的帧间预测。帧内预测器249计算当前像素块的帧内预测。来自运动估计器/补偿器250和帧内预测器249的输出被输入选择器251中，该选择器为当前像素块选择帧内预测或帧间预测。来自选择器251的输出被输入到采用加法器241形式的误差计算器，该加法器还接收当前像素块的像素值。加法器241计算并输出残差作为像素块和它的预测之间的像素值的差。误差在变换器242中诸如通过离散余弦变换被变换，并被量化器243量化，后面是在编码器244中诸如通过熵编码器译码。在帧间译码中，估计的运动向量还被带到编码器244，以生成当前像素块的译码表示。当前像素块的经变换的和量化的残差还被提供给逆量化器245和逆变换器246，以检索原始残差。由加法器247将该误差加到从运动补偿器250或帧内预测器249输出的块预测，以创建能用在下一像素块的预测和译码中的参考像素块。这个新参考块首先由去块滤波器200处理。处理的新参考块然后被临时存储在帧缓冲器248中，在该帧缓冲器中，它对帧内预测器249和运动估计器/补偿器250是可用的。
图3是根据一些实施例的视频解码器104的框图。解码器104包括用于解码像素块的编码表示以得到经量化和变换的残差的集合的解码器361，诸如熵解码器。这些残差由逆量化器362去量化，并由逆变换器363逆变换，以提供残差的集合。由加法器364将这些残差加到参考像素块的像素值。参考块由运动估计器/补偿器367或帧内预测器366确定，这取决于是执行帧间预测还是帧内预测。选择器368由此与加法器364和运动估计器/补偿器367以及帧内预测器366互连。从加法器364输出的所得解码像素块被输入到去块滤波器300。经滤波的像素块从解码器104输出，并且可被进一步临时提供给帧缓冲器365，以用作要解码的后续像素块的参考像素块。帧缓冲器365由此连接到运动估计器/补偿器367，以使存储的像素块对运动估计器/补偿器367可用。来自加法器364的输出也可被输入到帧内预测器366，以用作未经滤波的参考像素块。
在当前版本的VVC中，MIP权重矩阵的大小是M×N，其中M规定矩阵乘法样本的数量。M等于或大于MIP OUTPUT的大小。
如表2中所示，当mipSizeId等于0或1时，则M等于MIP OUTPUT的大小。（M = predC× predC = predW × predH = 16）。
还如表2中所示，当mipSizeId等于2且min(W,H)等于或大于8时，M等于MIP OUTPUT的大小。（M = predC × predC = predW × predH = 64）。
如表2中进一步所示，当mipSizeId等于2且min(W,H)小于8时，M大于MIP OUTPUT的大小。
具体来说，给定W×H块，M大于16×4或4×16块的MIP大小，并且M等于所有其它W×H块的MIP大小。
当M大于MIP OUTPUT的大小时，矩阵乘法输出的子集被用作MIP OUTPUT，而矩阵乘法输出的其余部分被丢弃。
在当前版本的VVC中，给定16×4或4×16块，mipSizeId为2，MIP OUTPUT的大小为32，MIP权重矩阵的大小为M×N，其中M等于64且N等于8。矩阵乘法输出的大小是64，具有奇数索引的输出的子集被用作当前块的MIP OUTPUT，而具有偶数索引的输出的其余部分被丢弃。
换句话说，给定16×4或4×16块，MIP OUTPUT由下式计算：
Figure 239660DEST_PATH_IMAGE006
其中，M和N规定MIP权重矩阵mWeight[M][N]的大小，M等于64，N等于8。
与具有其中M等于MIP OUTPUT的大小的mWeight[M][N]的块的矩阵乘法相比，MIPOUTPUT由下式计算：
Figure 37852DEST_PATH_IMAGE007
其中，M和N规定mWeight[M][N]的大小。
如发明内容部分中所指出的，在当前版本的VVC中，16×4或4×16块的MIP过程与其它块的MIP过程不一致。具有MIP权重矩阵mWeight[M][N]（其中M大于MIP OUTPUT）的矩阵乘法的处置增加MIP过程的复杂性。
本公开提供了一种用于当前帧内预测块的视频编码或解码的过程700，其降低了MIP过程复杂性。过程700优选地能被应用于由MIP译码的块。
过程700包括步骤s702，其包括存储MIP权重矩阵的集合。在VVC中在第8.4.5.2.3节标识了权重矩阵的示例集合，其在本文档的附录部分中再现。MIP权重矩阵的集合可被分成三个不同的群组（或子集），其中矩阵的每个群组与不同的mipSizeId值关联。例如，三个不同的mipSizeId值中的每个值标识了群组之一。
步骤s704包括确定当前块的宽度（W）和高度（H）。从解码位流中的语法元素来确定W和H。
步骤s706包括基于W和H设置变量mipSizeId的值。在一个实施例中，作为确定WxH大于T1（例如16）但小于或等于T2（例如64）的结果，mipSizeId被设置为等于1。在一些实施例中，如果WxH等于16，则mipSizeId被设置为0，并且如果WxH大于64，则mipSizeId被设置为2。在一些实施例中，以下伪代码可用于设置mipSizeId：
Figure 971173DEST_PATH_IMAGE008
在一些实施例中，确定WxH是否小于或等于T2（例如，64）包括确定WxH是否小于（2×T2）（例如，128）。
步骤s708包括确定当前块的MIP预测模式，并存储规定所确定的MIP预测模式的值predModeIntra。
步骤s710包括基于predModeIntra和mipSizeId，确定要与mipSizeId值一起使用的modeId值，以从矩阵的集合中选择矩阵。
步骤s712包括从MIP权重矩阵的集合中选择要用于当前块的MIP权重矩阵，其中该选择基于modeId和mipSizeId。例如，将不同的mipSizeId-modeId对映射到不同的MIP权重矩阵的MIP权重矩阵查找表可用于选择对应于mipSizeId-modeId对的MIP权重矩阵。
过程700选择要应用于当前块的MIP权重矩阵，使得MIP OUTPUT的样本数等于MIP权重矩阵与MIP INPUT的矩阵乘法输出的样本数，例如所选MIP权重矩阵mWeight[M][N]的一维的大小（M）。
在一些实施例中，MIP权重矩阵查找表与当前版本的VVC中的查找表相同。
换句话说，要用于当前块的MIP权重矩阵是如下矩阵之一：
Figure 423407DEST_PATH_IMAGE009
MIP OUTPUT大小等于predW×predH。MIP OUTPUT大小等于所选MIP权重矩阵mWeight[M][N]的一维的大小（M），其中M等于predC×predC。因为MIP矩阵乘法的输出产生方矩阵。predW和predH被导出为：
Figure 213509DEST_PATH_IMAGE010
在水平维度和竖直维度两者上，MIP OUTPUT都等于或小于当前块。给定W×H块，predW等于或小于W，并且predH等于或小于H。
Figure 702259DEST_PATH_IMAGE011
MIP权重矩阵从mipSizeId和MIP预测模式导出。基于当前块的宽度和高度确定mipSizeId。
在该实施例中，等式5-2-2是确定当前块的mipSizeId的一个准则：
Figure 236008DEST_PATH_IMAGE012
给定W×4或4×H块，其中W等于或大于4，H等于或大于4，根据等式5-2-2，M等于或小于16，因此，或者mipSizeId 0或者mipSizeId 1能被设置为当前块。
给定W×8或8×H块，其中W大于或等于8，H大于或等于8，根据等式5-2-2，M小于或等于64，因此，或者mipSizeId 0或者mipSizeId 1或mipSizeId 2能被设置为当前块。
确定mipSizeId的一个示例如下：
Figure 493814DEST_PATH_IMAGE013
考虑到计算复杂性（乘法总数∕当前块大小）应该小于阈值。给定4×4块，mipSizeId被设置为0，其中从mipSizeId 0中选择的矩阵给出了最小计算复杂性。在当前版本的VVC中，矩阵向量乘积的计算中所需的乘法总数总是小于或等于（4×W×H）。换句话说，对于MIP译码的块，要求每个样本最多四次乘法。
给定16×4或4×16块，mipSizeId被设置为1，其中在当前版本的VVC中，mipSizeId被设置为2。
本文描述的过程可应用在视频或图像译码系统的编码器和/或解码器中。例如，解码器可执行过程800（见图8）的以下步骤的全部或子集，以解码译码的视频位流的图片中的帧内预测块。
步骤s802包括通过解码位流中的语法元素导出当前块的大小为宽度值W和高度值H。
步骤s804包括基于译码的位流中的元素，确定当前块是帧内预测块，并且当前块是基于矩阵的帧内预测（MIP）块。
步骤s806包括根据位流中的解码元素来确定当前块的MIP预测模式。
步骤s808包括从宽度W和高度H导出MIP大小id值mipSizeId。例如，在一个实施例中，步骤s808包括计算A=WxH，并且然后确定A是否小于32。如果A小于32（或等于或小于16），则mipSizeId被设置为等于0，否则确定A是否小于128（或等于或小于64）。如果A小于128，则mipSizeId被设置为1；否则，mipSizeId被设置为2。
步骤s810包括基于所确定的MIP预测模式和mipSizeId来确定模式id值modeId。
步骤s812包括选择用于当前块的MIP权重矩阵，其中该矩阵是基于modeId的值和mipSizeId的值选择的。例如，将不同的mipSizeId-modeId对映射到不同的MIP权重矩阵的MIP权重矩阵查找表可用于选择对应于mipSizeId-modeId对的MIP权重矩阵。
步骤s814包括确定当前块的原始边界样本值。原始边界样本是来自当前块上方最近的相邻样本的W个样本和来自当前块左侧最近的相邻样本的H个样本。
步骤s816包括基于当前块的mipSizeId值来确定简化的边界bdryred的大小。
步骤s818包括基于当前块的mipSizeId值来确定简化的预测信号predred的尺寸大小。
步骤s819包括从原始边界样本中导出简化的边界bdryred。
步骤s820包括通过MIP权重矩阵和简化的边界bdryred的矩阵乘法来导出简化的预测信号predred temp。
步骤s822包括通过对predred temp的每个样本使用样本值裁剪（sample valueclipping）来导出简化的预测信号predred。
步骤s824包括确定是否i）基于当前块的宽度W和高度H向简化的预测信号predred应用竖直线性插值，以及ii）基于当前块的宽度W和高度H向简化的预测信号predred应用水平线性插值。如果决定应用竖直和水平线性插值两者，则过程800进行步骤s826。
步骤s826包括基于当前块的宽度W和高度H，确定是在水平线性插值之前应用竖直线性插值还是在竖直线性插值之前应用水平线性插值。
如果决定首先应用竖直线性插值，则过程800进行步骤s828，否则进行步骤832。
步骤s828包括基于当前块的宽度W和高度H来确定竖直线性插值的简化的上边界bdryredII 上的大小。步骤s830包括从原始上边界样本导出简化的上边界bdryredII 上。
步骤s832包括基于当前块的宽度W和高度H来确定水平线性插值的简化的左边界bdryredII 左的大小。步骤s834包括从原始左边界样本导出简化的左边界bdryredII 左。
步骤s836包括通过使用线性插值在剩余位置生成样本值来导出MIP预测块pred。
步骤s838包括通过使用导出的MIP预测块来解码当前块。
当前VVC草案文本的改变的示例
下面是针对一个实施例的MIP过程对当前VVC草案文本（参考JVET-O2001-vE）提出的改变。字符“[[”和“]]”之间的文本要被删除，并且加下划线的文本要被添加。
Figure 454817DEST_PATH_IMAGE014
Figure 243913DEST_PATH_IMAGE015
Figure 253457DEST_PATH_IMAGE016
Figure DEST_PATH_IMAGE017
Figure 224824DEST_PATH_IMAGE018
Figure DEST_PATH_IMAGE019
在一些实施例中，MIP权重矩阵查找表与当前版本的VVC不相同。在该实施例中，mipSizeId值与numModes值的不同集合关联。在一个示例中，MIP预测模式的数量将减少查找表中的矩阵数量，这可减少编解码器的存储器使用。增加MIP预测模式的数量将增加查找表中MIP权重矩阵的数量，这能改进预测准确度。
另一个示例是，当4x16和16x4也属于群组1，群组2没有4x16和16x4时，可通过重新训练用于群组1的MIP矩阵模型来更新矩阵元素值。通过使用块形状8×4、4×8和8×8来训练当前VVC中MipSizeId等于1时的MIP矩阵。当MipSizeId等于1时，通过在矩阵训练过程中使用块形状8x4、4x8、8x8、4x16和16x4来导出矩阵，可执行更合适的方式（或更一致的训练）。
在另一个实施例中，MIP不适用于4×16和16×4块，例如，不适用于其中尺寸之和等于20的块。
在另一个实施例中，对于其中W=16和H=4的块，使用常规方式来确定mipSizeId（即，mipSizeId被设置为等于2），但是对于其中W=4和H=16的块，如关于步骤s706所解释的那样来确定mipSizeId（即，mipSizeId被设置为等于1）。
在另一个实施例中，对于其中W=4和H=16的块，使用常规方式来确定mipSizeId（即，mipSizeId被设置为等于2），但是对于其中W=16和H=4的块，如关于步骤s706所解释的那样来确定mipSizeId（即，mipSizeId被设置为等于1）。
图9是根据一些实施例的用于实现视频编码器102或视频解码器104的设备900的框图。如图9中所示，设备900可包括：处理电路（PC）902，其可包括一个或多个处理器（P）955（例如，通用微处理器和/或一个或多个其它处理器，诸如专用集成电路（ASIC）、现场可编程门阵列（FPGA）等），这些处理器可共同位于单个外壳或单个数据中心中，或者可在地理上分布（即，设备900可以是分布式计算设备）；网络接口948，它包括用于使设备900能够向其它节点传送数据和从其它节点接收数据的传送器（Tx）945和接收器（Rx）947，所述其它节点连接到网络110（例如，因特网协议（IP）网络），所述网络110（直接或间接）连接到网络接口948（例如，网络接口948可无线连接到网络110，在这种情况下，网络接口948连接到天线布置）；以及本地存储单元（亦称为“数据存储系统”）908，其可包括一个或多个非易失性存储装置和/或一个或多个易失性存储装置。在其中PC 902包括可编程处理器的实施例中，可提供计算机程序产品（CPP）941。CPP 941包括存储计算机程序（CP）943的计算机可读介质（CRM）942，CP 943包括计算机可读指令（CRI）944。CRM 942可以是非暂时性计算机可读介质，诸如磁介质（例如硬盘）、光介质、存储器装置（例如，随机存取存储器、闪速存储器）等。在一些实施例中，计算机程序943的CRI 944被配置成使得当由PC 902执行时，CRI使设备900执行本文描述的步骤（例如，本文参考流程图描述的步骤）。在其它实施例中，设备900可被配置成执行本文描述的步骤，而不需要代码。也就是说，例如，PC 902可仅由一个或多个ASIC组成。因此，本文描述的实施例的特征可用硬件和/或软件实现。
图10图示了根据实施例的设备1000的功能单元。
各种实施例的概要
A1. 一种用于预测当前块的样本的基于矩阵的帧内预测MIP方法，所述方法包括：存储MIP权重矩阵的集合；确定当前块的宽度（W）和高度（H）；基于W和H将mipSizeId变量设置为某一值，其中将mipSizeId设置为某一值包括作为确定条件为真的结果，将mipSizeId设置为1，其中确定条件为真包括确定WxH大于T1（例如16）但小于或等于T2（例如64）；存储规定当前块的MIP预测模式的值predModeIntra；基于predModeIntra和mipSizeId确定modeId值；以及从MIP权重矩阵的集合中选择要用于当前块的MIP权重矩阵，其中所述选择基于modeId和mipSizeId。
A2. 实施例A1的方法，进一步包括：存储将不同的mipSizeId-modeId对映射到不同的MIP权重矩阵的查找表，其中选择MIP权重矩阵包括使用所述查找表来选择所述MIP权重矩阵。
A3. 实施例A1或A2的方法，其中确定WxH大于T1（例如16）但小于或等于T2（例如64）包括：i）确定W=16和H=4或ii）确定W=4和H=16。
A4. 实施例A1-A3中任一实施例的方法，其中将mipSizeId设置为某一值包括作为i）确定W=4和H=16或ii）确定W=16和H=4的结果，将mipSizeId设置为1。
A5. 实施例A1-A4中任一实施例的方法，其中将mipSizeId设置为某一值包括作为确定WxH大于T2的结果，将mipSizeId设置为2。
A6. 实施例A1-A5中任一实施例的方法，进一步包括：确定当前块的原始边界样本值，其中，所述原始边界样本是来自所述当前块上方最近的相邻样本的W个样本和来自所述当前块左侧最近的相邻样本的H个样本。
A7. 实施例A6的方法，进一步包括：基于当前块的mipSizeId值来确定简化的边界bdryred的大小；基于当前块的mipSizeId值来确定简化的预测信号predred的尺寸大小；从所述原始边界样本中导出所述简化的边界bdryred；通过选择的MIP权重矩阵和简化的边界bdryred的矩阵乘法来导出简化的预测信号predred temp；以及通过对predred temp的每个样本使用样本值裁剪来导出简化的预测信号predred。
A8. 实施例A7的方法，进一步包括：确定是否i）基于所述当前块的所述宽度W和所述高度H向所述简化的预测信号predred应用竖直线性插值，以及ii）基于所述当前块的所述宽度W和所述高度H向所述简化的预测信号predred应用水平线性插值。
A9. 实施例A8的方法，进一步包括：作为确定应用竖直和水平线性插值两者的结果，基于所述当前块的所述宽度W和所述高度H，确定是在水平线性插值之前应用竖直线性插值还是在竖直线性插值之前应用水平线性插值。
A10. 实施例A9的方法，进一步包括：作为确定在水平线性插值之前应用竖直线性插值的结果，基于所述当前块的所述宽度W和所述高度H来确定所述竖直线性插值的简化的上边界bdryredII 上的大小。
A11. 实施例A10的方法，进一步包括：从所述原始上边界样本导出所述简化的上边界bdryredII 上。
A12. 实施例A9的方法，进一步包括：作为确定在竖直线性插值之前应用水平线性插值的结果，基于所述当前块的所述宽度W和所述高度H来确定所述水平线性插值的简化的左边界bdryredII 左的大小。
A13. 实施例A12的方法，进一步包括：从所述原始左边界样本导出简化的左边界bdryredII 左。
A14. 实施例A11或A13的方法，进一步包括：通过使用线性插值在剩余位置生成样本值来导出MIP预测块pred；以及通过使用导出的MIP预测块来解码当前块。
B1. 一种用于预测当前块的样本的基于矩阵的帧内预测MIP方法（700），所述方法包括：存储（s702）MIP权重矩阵的集合；确定（s704）当前块的宽度W和高度H；作为i）确定W=4和H=16或ii）确定W=16和H=4的结果，将mipSizeId变量设置（s706）为1；存储（s708）规定当前块的MIP预测模式的值predModeIntra；基于predModeIntra和mipSizeId变量的值来确定（s710）modeId值；以及从MIP权重矩阵的集合中选择（s712）要用于当前块的MIP权重矩阵，其中所述选择基于modeId和mipSizeId变量的值。
B2. 权利要求B1的方法，进一步包括：存储将不同的mipSizeId-modeId对映射到不同的MIP权重矩阵的查找表，其中选择MIP权重矩阵包括使用所述查找表来选择所述MIP权重矩阵。
B3. 权利要求B1或B2的方法，进一步包括：确定所述当前块的原始边界样本值，其中，所述原始边界样本是来自所述当前块上方最近的相邻样本的W个样本和来自所述当前块左侧最近的相邻样本的H个样本。
B4. 权利要求B3的方法，进一步包括：基于当前块的mipSizeId值来确定简化的边界bdryred的大小；基于当前块的mipSizeId值来确定简化的预测信号predred的尺寸大小；从所述原始边界样本中导出所述简化的边界bdryred；通过选择的MIP权重矩阵和简化的边界bdryred的矩阵乘法来导出简化的预测信号predred temp；以及通过对predred temp的每个样本使用样本值裁剪来导出简化的预测信号predred。
B5. 权利要求B4的方法，进一步包括：确定是否i）基于所述当前块的所述宽度W和所述高度H向所述简化的预测信号predred应用竖直线性插值，以及ii）基于所述当前块的所述宽度W和所述高度H向所述简化的预测信号predred应用水平线性插值。
B6. 权利要求B5的方法，进一步包括：作为确定应用竖直和水平线性插值两者的结果，基于所述当前块的所述宽度W和所述高度H，确定是在水平线性插值之前应用竖直线性插值还是在竖直线性插值之前应用水平线性插值。
B7. 权利要求B6的方法，进一步包括：作为确定在水平线性插值之前应用竖直线性插值的结果，基于所述当前块的所述宽度W和所述高度H来确定所述竖直线性插值的简化的上边界bdryredII 上的大小。
B8. 权利要求B7的方法，进一步包括：从所述原始上边界样本导出所述简化的上边界bdryredII 上。
B9. 权利要求B6的方法，进一步包括：作为确定在竖直线性插值之前应用水平线性插值的结果，基于所述当前块的所述宽度W和所述高度H来确定所述水平线性插值的简化的左边界bdryredII 左的大小。
B10. 权利要求B9的方法，进一步包括：从所述原始左边界样本导出简化的左边界bdryredII 左。
B11. 权利要求B8或B10的方法，进一步包括：通过使用线性插值在剩余位置生成样本值来导出MIP预测块pred；以及通过使用导出的MIP预测块来解码当前块。
B12. 权利要求B1-B11中任一项的方法，进一步包括：基于所述当前块的所述mipSizeId值来确定简化的预测信号predred的尺寸大小。
B13. 权利要求B12的方法，进一步包括：通过选择的MIP权重矩阵和简化的边界bdryred的矩阵乘法来导出简化的预测信号predred temp；以及通过对predred temp的每个样本使用样本值裁剪来导出简化的预测信号predred。
C1. 一种计算机程序（943），其包括指令（944），所述指令当由处理电路（902）执行时，使得所述处理电路（902）执行上述实施例A1-A14或B1-B13中任一实施例的方法。
C2. 一种载体，其包含实施例C1的计算机程序，其中所述载体是以下项之一：电子信号、光信号、无线电信号和计算机可读存储介质（942）。
D1. 一种设备（900），其适于执行实施例A1-A14中任一实施例的方法。
E1. 一种用于基于矩阵的帧内预测MIP的设备（1000，见图10），该设备包括：矩阵存储模块（1002），其用于存储MIP权重矩阵的集合；尺寸确定模块（1004），其用于确定当前块的宽度（W）和高度（H）；mipSizeId设置模块（1006），其用于基于W和H将mipSizeId变量设置为某一值，其中将mipSizeId设置为某一值包括作为确定条件为真的结果，将mipSizeId设置为1，其中确定条件为真包括确定WxH大于T1（例如16）但小于或等于T2（例如64）；模式值存储模块（1008），其用于存储规定当前块的MIP预测模式的值predModeIntra；modeId确定模块（1010），其用于基于predModeIntra和mipSizeId确定modeId值；以及选择模块（1012），其用于从MIP权重矩阵的集合中选择要用于当前块的MIP权重矩阵，其中所述选择基于modeId和mipSizeId。
优点
如上所指出的，实施例的优点是降低MIP过程的译码复杂性，并且这是通过消除具有MIP权重矩阵mWeight[M][N]（其中M大于MIP OUTPUT的大小）的矩阵乘法的处置来完成的。该简化使对于所有MIP译码的块的矩阵乘法过程一致。VVC中的示例已经使用VTM-6.0参考VVC软件实现。与当前版本的VVC相比，给定16×4或4×16块，mipSizeId被设置为1，其中在当前版本的VCC中，对于这种情况，mipSizeId被设置为2。与VTM6.0相比，所提出的方法具有可忽略的译码效率影响。BD-rate结果如下：
Figure 91149DEST_PATH_IMAGE020
缩写
ALF 自适应环路滤波器
APS 适配参数集
AUD 访问单元分隔符
BLA 断链访问
CRA 完全随机访问
CVS 译码的视频序列
CVSS CVS开始
CU 译码单元
DPS 解码器参数集
GRA 逐步随机访问
HEVC 高效视频译码
IDR 瞬时解码刷新
IRAP 帧内随机访问点
JVET 联合视频探索小组
LMCS 亮度映射和色度缩放
MPEG 运动图片专家组
NAL 网络抽象层
PES 分组化基本流
PPS 图片参数集
RADL 随机访问可解码前导
RASL 随机访问跳过前导
SPS 序列参数集
VCL 视频译码层
VPS 视频参数集
VVC 多功能视频译码
SEI 补充增强层。
虽然本文（包括附录）描述了各种实施例，但是应当理解，这些实施例仅作为示例而非限制给出。从而，本公开的广度和范围不应该由上面描述的示例性实施例中的任何示例性实施例来限制。而且，除非本文另有指示或另外与上下文明显矛盾，否则上述要素在其所有可能的变型中的任何组合都被本公开涵盖。
此外，虽然上面描述的和附图中图示的过程被示为一系列步骤，但是这样做仅仅是为了说明的目的。因而，预期，可添加一些步骤，可省略一些步骤，可重新排列步骤的顺序，并且可并行执行一些步骤。
附录
8.4.5.2.3 MIP权重矩阵导出过程
这个过程的输入是：变量mipSizeId和变量modeId。
这个过程的输出是MIP权重矩阵mWeight[ x ][ y ]。
取决于mipSizeId和modeId如下导出MIP权重矩阵mWeight[ x ][ y ]：
如果mipSizeId等于0且modeId等于0，则以下适用：
mWeight[ x ][ y ] =（8-73）
Figure DEST_PATH_IMAGE021
否则，如果mipSizeId等于0且modeId等于1，则以下适用：
mWeight[ x ][ y ] =（8-74）
Figure 334917DEST_PATH_IMAGE022
否则，如果mipSizeId等于0且modeId等于2，则以下适用：
mWeight[ x ][ y ] =（8-75）
Figure DEST_PATH_IMAGE023
否则，如果mipSizeId等于0且modeId等于3，则以下适用：
mWeight[ x ][ y ] =（8-76）
Figure 272786DEST_PATH_IMAGE024
否则，如果mipSizeId等于0且modeId等于4，则以下适用：
mWeight[ x ][ y ] =（8-77）
Figure DEST_PATH_IMAGE025
否则，如果mipSizeId等于0且modeId等于5，则以下适用：
mWeight[ x ][ y ] =（8-78）
Figure 787075DEST_PATH_IMAGE026
-否则，如果mipSizeId等于0且modeId等于6，则以下适用：
mWeight[ x ][ y ] =（8-79）
Figure DEST_PATH_IMAGE027
-否则，如果mipSizeId等于0且modeId等于7，则以下适用：
mWeight[ x ][ y ] =（8-80）
Figure 886618DEST_PATH_IMAGE028
否则，如果mipSizeId等于0且modeId等于8，则以下适用：
mWeight[ x ][ y ] =（8-81）
Figure DEST_PATH_IMAGE029
Figure 151771DEST_PATH_IMAGE030
否则，如果mipSizeId等于0且modeId等于9，则以下适用：
mWeight[ x ][ y ] =（8-82）
Figure DEST_PATH_IMAGE031
否则，如果mipSizeId等于0且modeId等于10，则以下适用：
mWeight[ x ][ y ] =（8-83）
Figure 299856DEST_PATH_IMAGE032
-否则，如果mipSizeId等于0且modeId等于11，则以下适用：
mWeight[ x ][ y ] =（8-84）
Figure 449077DEST_PATH_IMAGE033
-否则，如果mipSizeId等于0且modeId等于12，则以下适用：
mWeight[ x ][ y ] =（8-85）
Figure 126046DEST_PATH_IMAGE034
Figure 95139DEST_PATH_IMAGE035
否则，如果mipSizeId等于0且modeId等于13，则以下适用：
mWeight[ x ][ y ] =（8-86）
Figure 63226DEST_PATH_IMAGE036
否则，如果mipSizeId等于0且modeId等于14，则以下适用：
mWeight[ x ][ y ] =（8-87）
Figure 66955DEST_PATH_IMAGE037
否则，如果mipSizeId等于0且modeId等于15，则以下适用：
mWeight[ x ][ y ] =（8-88）
Figure 914825DEST_PATH_IMAGE038
否则，如果mipSizeId等于0且modeId等于16，则以下适用：
mWeight[ x ][ y ] =（8-89）
Figure 371214DEST_PATH_IMAGE039
否则，如果mipSizeId等于0且modeId等于17，则以下适用：
mWeight[ x ][ y ] =（8-90）
Figure 392260DEST_PATH_IMAGE040
否则，如果mipSizeId等于1且modeId等于0，则以下适用：
mWeight[ x ][ y ] =（8-91）
Figure 188177DEST_PATH_IMAGE041
否则，如果mipSizeId等于1且modeId等于1，则以下适用：
mWeight[ x ][ y ] =（8-92）
Figure 518533DEST_PATH_IMAGE042
否则，如果mipSizeId等于1且modeId等于2，则以下适用：
mWeight[ x ][ y ] =（8-93）
Figure 462219DEST_PATH_IMAGE043
Figure 224638DEST_PATH_IMAGE044
否则，如果mipSizeId等于1且modeId等于3，则以下适用：
mWeight[ x ][ y ] =（8-94）
Figure 202959DEST_PATH_IMAGE045
否则，如果mipSizeId等于1且modeId等于4，则以下适用：
mWeight[ x ][ y ] =（8-95）
Figure 923790DEST_PATH_IMAGE046
否则，如果mipSizeId等于1且modeId等于5，则以下适用：
mWeight[ x ][ y ] =（8-96）
Figure 558034DEST_PATH_IMAGE047
Figure 671614DEST_PATH_IMAGE048
否则，如果mipSizeId等于1且modeId等于6，则以下适用：
mWeight[ x ][ y ] =（8-97）
Figure 707703DEST_PATH_IMAGE049
否则，如果mipSizeId等于1且modeId等于7，则以下适用：
mWeight[ x ][ y ] =（8-98）
Figure 865015DEST_PATH_IMAGE050
否则，如果mipSizeId等于1且modeId等于8，则以下适用：
mWeight[ x ][ y ] =（8-99）
Figure 783293DEST_PATH_IMAGE051
Figure 887515DEST_PATH_IMAGE052
否则，如果mipSizeId等于1且modeId等于9，则以下适用：
mWeight[ x ][ y ] =（8-100）
Figure 574848DEST_PATH_IMAGE053
否则，如果mipSizeId等于2且modeId等于0，则以下适用：
mWeight[ x ][ y ] =（8-101）
Figure 155259DEST_PATH_IMAGE054
Figure 498515DEST_PATH_IMAGE055
否则，如果mipSizeId等于2且modeId等于1，则以下适用：
mWeight[ x ][ y ] =（8-102）
Figure 468745DEST_PATH_IMAGE056
Figure 10585DEST_PATH_IMAGE057
否则，如果mipSizeId等于2且modeId等于2，则以下适用：
mWeight[ x ][ y ] =（8-103）
Figure 712962DEST_PATH_IMAGE058
Figure 605831DEST_PATH_IMAGE059
否则，如果mipSizeId等于2且modeId等于3，则以下适用：
mWeight[ x ][ y ] =（8-104）
Figure 51856DEST_PATH_IMAGE060
Figure 464514DEST_PATH_IMAGE061
否则，如果mipSizeId等于2且modeId等于4，则以下适用：
mWeight[ x ][ y ] =（8-105）
Figure 337792DEST_PATH_IMAGE062
Figure 717958DEST_PATH_IMAGE063
否则（mipSizeId等于2且modeId等于5），以下适用：
mWeight[ x ][ y ] =（8-106）
Figure 498832DEST_PATH_IMAGE064
Figure 218527DEST_PATH_IMAGE065

Claims (18)

1.一种用于预测当前块的样本的基于矩阵的帧内预测MIP方法（700），所述方法包括：
存储（s702）MIP权重矩阵的集合；
确定（s704）所述当前块的宽度W和高度H；
作为i）确定W=4和H=16或ii）确定W=16和H=4的结果，将mipSizeId变量设置（s706）为1；
存储（s708）规定所述当前块的MIP预测模式的值predModeIntra；
基于predModeIntra和所述mipSizeId变量的值来确定（s710）modeId值；以及
从MIP权重矩阵的所述集合中选择（s712）要用于所述当前块的MIP权重矩阵，其中所述选择基于modeId和所述mipSizeId变量的值。
2.如权利要求1所述的方法，进一步包括：存储将不同的mipSizeId-modeId对映射到不同的MIP权重矩阵的查找表，其中，
选择所述MIP权重矩阵包括使用所述查找表来选择所述MIP权重矩阵。
3.如权利要求1-2中任一项所述的方法，进一步包括：确定所述当前块的原始边界样本值，其中，所述原始边界样本是来自所述当前块上方最近的相邻样本的W个样本和来自所述当前块左侧最近的相邻样本的H个样本。
4.如权利要求3所述的方法，进一步包括：
基于所述当前块的mipSizeId值来确定简化的边界bdryred的大小；
基于所述当前块的所述mipSizeId值来确定简化的预测信号predred的尺寸大小；
从所述原始边界样本中导出所述简化的边界bdryred；
通过所选择的MIP权重矩阵和所述简化的边界bdryred的矩阵乘法来导出简化的预测信号predred temp ；以及
通过对所述predred temp的每个样本使用样本值裁剪来导出所述简化的预测信号predred。
5.如权利要求4所述的方法，进一步包括：
确定是否i）基于所述当前块的宽度W和高度H向所述简化的预测信号predred应用竖直线性插值，以及ii）基于所述当前块的宽度W和高度H向所述简化的预测信号predred应用水平线性插值。
6.如权利要求5所述的方法，进一步包括：
作为确定应用竖直和水平线性插值两者的结果，基于所述当前块的宽度W和高度H，确定是在水平线性插值之前应用竖直线性插值还是在竖直线性插值之前应用水平线性插值。
7.如权利要求6所述的方法，进一步包括：
作为确定在水平线性插值之前应用竖直线性插值的结果，基于所述当前块的宽度W和高度H来确定所述竖直线性插值的简化的上边界bdryredII 上的大小。
8.如权利要求7所述的方法，进一步包括：从原始上边界样本导出所述简化的上边界bdryredII 上。
9.如权利要求6所述的方法，进一步包括：
作为确定在竖直线性插值之前应用水平线性插值的结果，基于所述当前块的宽度W和高度H来确定所述水平线性插值的简化的左边界bdryredII 左的大小。
10.如权利要求9所述的方法，进一步包括：从原始左边界样本导出所述简化的左边界bdryredII 左。
11.如权利要求8或10所述的方法，进一步包括：
通过使用线性插值在剩余位置生成样本值来导出MIP预测块pred；以及
通过使用导出的MIP预测块来解码所述当前块。
12.如权利要求1-11中任一项所述的方法，进一步包括：
基于所述当前块的所述mipSizeId值来确定简化的预测信号predred的尺寸大小。
13.如权利要求12所述的方法，进一步包括：
通过所选择的MIP权重矩阵和简化的边界bdryred的矩阵乘法来导出简化的预测信号predred temp；以及
通过对所述predred temp的每个样本使用样本值裁剪来导出所述简化的预测信号predred。
14.一种计算机程序（943），其包括指令（944），所述指令当由处理电路（902）执行时，使得所述处理电路（902）执行上述权利要求1-13中任一项所述的方法。
15.一种载体，其包含如权利要求14所述的计算机程序，其中，所述载体是以下项之一：电子信号、光信号、无线电信号和计算机可读存储介质（942）。
16.一种用于预测当前块的样本的设备（900、1000），所述设备适于：
存储（s702）MIP权重矩阵的集合；
确定（s704）所述当前块的宽度W和高度H；
作为i）确定W=4和H=16或ii）确定W=16和H=4的结果，将mipSizeId变量设置（s706）为1；
存储（s708）规定所述当前块的MIP预测模式的值predModeIntra；
基于predModeIntra和所述mipSizeId变量的值来确定（s710）modeId值；以及
从MIP权重矩阵的所述集合中选择（s712）要用于所述当前块的MIP权重矩阵，其中所述选择基于modeId和所述mipSizeId变量的值。
17.如权利要求16所述的设备，其中，所述设备进一步被配置成执行如权利要求2-13中任一项所述的方法。
18.一种用于基于矩阵的帧内预测MIP的设备（900），所述设备包括：
计算机可读存储介质（942）；以及
处理电路（902），其中，所述设备被配置成执行如权利要求1-13中任一项所述的方法。
CN202080065542.0A 2019-09-19 2020-07-22 基于矩阵的帧内预测（mip）的矩阵乘法过程 Pending CN114365486A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962902556P 2019-09-19 2019-09-19
US62/902,556 2019-09-19
PCT/SE2020/050746 WO2021054881A1 (en) 2019-09-19 2020-07-22 Matrix multiplication process for matrix based intra prediction (mip)

Publications (1)

Publication Number Publication Date
CN114365486A true CN114365486A (zh) 2022-04-15

Family

ID=74884135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080065542.0A Pending CN114365486A (zh) 2019-09-19 2020-07-22 基于矩阵的帧内预测（mip）的矩阵乘法过程

Country Status (4)

Country Link
US (1) US20220182632A1 (zh)
EP (1) EP3888362A4 (zh)
CN (1) CN114365486A (zh)
WO (1) WO2021054881A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200145749A (ko) * 2019-06-19 2020-12-30 한국전자통신연구원 화면 내 예측 모드 및 엔트로피 부호화/복호화 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277637B2 (en) * 2019-05-09 2022-03-15 Qualcomm Incorporated Reference sampling for matrix intra prediction mode
WO2020256597A1 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Matrix-based intra prediction for still picture and video coding
WO2021040941A1 (en) * 2019-08-30 2021-03-04 Alibaba Group Holding Limited Matrix weighted intra prediction of video signals

Also Published As

Publication number Publication date
EP3888362A4 (en) 2022-05-18
EP3888362A1 (en) 2021-10-06
US20220182632A1 (en) 2022-06-09
WO2021054881A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US10382765B2 (en) Method and device for encoding or decoding and image
WO2017133660A1 (en) Method and apparatus of non-local adaptive in-loop filters in video coding
US20220030249A1 (en) Image encoding/decoding method and device
WO2018183533A1 (en) Filter information sharing among color components
JP2022554307A (ja) クロスコンポーネント適応ループフィルタの信号通知
JP2022547599A (ja) 映像符号化情報をシグナリングするための方法及び装置
EP3360329A1 (en) Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
EP3367686B1 (en) Method and apparatus for motion compensated prediction
US11979554B2 (en) Intra prediction-based video signal processing method and device
KR20190033624A (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치
EP3471418A1 (en) Method and apparatus for adaptive transform in video encoding and decoding
US20220417511A1 (en) Methods and systems for performing combined inter and intra prediction
EP3649777A1 (en) Division-free bilateral filter
US20230037509A1 (en) Video coding method and system
KR101700410B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP2023162410A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
CN116471418A (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
CN114365486A (zh) 基于矩阵的帧内预测（mip）的矩阵乘法过程
US20230090025A1 (en) Methods and systems for performing combined inter and intra prediction
US20220141459A1 (en) Offset-based refinement of intra prediction (orip) of video coding
CN113766233B (zh) 图像预测方法、编码器、解码器以及存储介质
US20210218961A1 (en) Deblocking in a video encoder and/or video decoder
CN114424544A (zh) 允许基于矩阵的帧内预测块具有多个变换块
CN112585967B (zh) 帧内预测装置、图像编码装置、图像解码装置及程序
WO2024078599A1 (en) Method, apparatus, and medium for video processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination