CN114026854A - 图片及视频处理中的基于矩阵的帧内预测的方法与装置 - Google Patents

图片及视频处理中的基于矩阵的帧内预测的方法与装置 Download PDF

Info

Publication number
CN114026854A
CN114026854A CN202080047533.9A CN202080047533A CN114026854A CN 114026854 A CN114026854 A CN 114026854A CN 202080047533 A CN202080047533 A CN 202080047533A CN 114026854 A CN114026854 A CN 114026854A
Authority
CN
China
Prior art keywords
current block
mip
mode
block
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080047533.9A
Other languages
English (en)
Inventor
林芷仪
庄子德
陈庆晔
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN114026854A publication Critical patent/CN114026854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

图片或视频处理方法包括：接收当前块的输入数据；将MIP模式索引映射到默认模式；以及通过参考默认模式来对当前块进行编码或解码。另一图片或视频处理方法包括：接收通过MIP模式编码或将要编码的当前块的输入数据；以及解析或发信号通知当前块的转置标志，指示是否在编码当前块时应用了转置。根据转置标志，从相邻的边界采样中准备当前块的参考采样。选择矩阵以与参考采样相乘以生成预测采样。根据转置标志，将转置处理自适应地应用于当前块，并且将预测的采样用于编码或解码当前块。

Description

图片及视频处理中的基于矩阵的帧内预测的方法与装置
交叉引用
本发明要求于2019年6月28日提交的序号为62/868,013、名称为“Methods forSimplification of Matrix based Intra Prediction–MPM removal,MIP mode mapping,reduction of number of MIP modes”的美国临时专利申请的优先权。所述美国临时专利申请在此通过引用将其全文并入。
技术领域
本发明涉及图片和视频处理中的帧内预测。特别地，本发明涉及通过矩阵乘法生成帧内预测子的基于矩阵的帧内预测。
背景技术
帧内预测已在各种图片和视频编码标准中广泛采用，以处理初始图片或定期插入帧内编码图片(I-picture)或帧内编码块(I-blocks)，以进行随机访问或减轻错误传播。通常将帧内预测设计为利用图片或视频图片中的空间特征，例如平滑区域，垂直线或边缘，水平线或边缘以及对角线或边缘。帧内预测对于运动较大或场景变化的区域也很有用，因为帧内预测比帧间预测在该区域编码的效率更高。帧内预测利用图片内或图片区域内的空间相关性。对于基于块的视频编码标准，当前块的帧内预测依赖于已处理的相邻块中的像素。例如，如果图片中的块或图片区域从上到下以及从左到右逐行顺序地处理，则当前块的顶部的相邻块和左侧的相邻块可以用于形成帧内预测子用于当前块内的像素。
高效视频编码(HEVC)标准支持35种帧内预测模式，包括33种角度模式，DC模式和Planar模式。图1示出了用于HEVC标准的33种角度帧内预测模式的预测方向，其中，H表示水平方向模式，V表示垂直方向模式。通过包括帧内平滑滤波，帧内预测和帧内梯度滤波的三个步骤来生成针对已完成或将要通过HEVC标准的帧内预测编码的当前块的帧内预测子。图2示出了由帧内平滑滤波器滤波的示例性参考采样，用于导出当前块的帧内预测子。在计算当前块20的帧内预测子之前，将平滑操作应用于当前块20的参考采样22。通过将帧内平滑滤波器应用于在当前块20的左相邻列和上相邻行中的参考采样22，该平滑操作减少了一些帧内预测模式引入的不连续性。根据帧内预测模式和当前块的大小来自适应地应用该平滑操作。
帧内预测的第二步骤是根据从HEVC标准支持的35种帧内预测模式中选择的一种帧内预测模式，从相邻边界采样中得出帧内预测子。如果选择了角度模式，则通过根据所选择的角度模式的预测方向从相邻的边界采样中外推采样来预测当前块中的每个采样的值。如果选择了“平面”模式，则通过假设一个具有水平和垂直平滑梯度的振幅表面来计算当前块中每个采样的值，该振幅表面是从相邻块的相邻边界采样得出的。如果选择DC模式，则当前块的每个采样的值是相邻边界采样的平均值。
如果帧内预测模式是DC模式，水平模式和垂直模式之一，则在帧内预测的第三步骤中将帧内梯度滤波器应用于当前块的左边界和顶边界处的采样。应用帧内梯度滤波器的概念是利用沿帧内预测方向的梯度信息来提高帧内预测子的质量。当所选择的帧内预测模式是DC模式时，当前帧的第一行和第一列中的采样被帧内梯度滤波器滤波。当选定的帧内预测模式为“水平”模式时，第一行中的采样将由帧内梯度滤波器过滤；如果选定的帧内预测模式为“垂直”模式，则第一列中的采样将由帧内梯度滤波器过滤。
所选择的帧内预测模式在视频比特流中被显式地用信号发送，或者从当前块的上方和左侧相邻块的先前解码的模式来推断。两个相邻块的帧内预测模式包括在三个最可能模式(MPM)的集合中。信号通知第一MPM标志以指示所选模式是否与三个MPM之一相同，如果是，则发送MPM索引以指示选择了三个MPM中的哪一个；如果第一个MPM标志为假，则使用5位固定长度的码字显式地发送所选模式的信号。
图1所示的33个角度模式可以扩展到具有更多或更少角度模式的一般情况，其中每个角度模式可以由模式H+k或模式V+k表示，其中H代表水平模式的方向，V代表垂直模式的方向，k＝0，+1，+-2，..+-K。用于帧内预测的65个角度模式的示例如图3所示，其中k的范围为-16到16，模式H-16和模式V-16是相同的模式，此模式的预测方向是从左上角到当前块的中心。图3说明了65种角度帧内预测模式，其中具有其他32种角度模式在图1所示的HEVC标准支持的原始33种角度模式之间。图3中的65种角度模式包括在该块的左边界处从下到上的模式H+16至H-15，以及在该块的上边界从左到右的V-16到V+16。
在即将到来的视频编码标准通用视频编码(VVC)中，提出了一种用于正方形和矩形块的基于矩阵的帧内预测(MIP)方法。为了通过MIP方法预测宽度等于W且高度等于H的当前块的采样，输入包括一行位于当前块左侧的H个重构的相邻边界采样和一行位于当前块上方的W个重构相邻边界采样。MIP方法基于以下六个步骤来生成当前块的预测信号。第一步，准备当前块的参考采样。例如，如果W和H均等于4，通过平均来提取重构的相邻边界采样中的四个采样。否则，通过平均从重构的相邻边界采样中提取八个采样。在第二步中，根据块大小和MIP模式索引为当前块选择一个矩阵。在第三步骤中，以准备好的参考采样作为输入，执行矩阵向量乘法，然后加上偏移向量。结果是当前块中采样的子采样集上的缩减的预测信号。在第四步骤中，如果需要，通过转置来修改减少的预测信号。在第五步骤中，通过从子采样集合上的上采样，自缩减的预测信号生成剩余位置处的预测信号，例如在每个方向上通过使用线性插值(例如，单步线性插值)。如果当前块是4x4块，则不需要上采样。在第六步中，将上采样后当前块中的所有预测采样都剪切(clip)到合理范围内。
从三组矩阵S0,S1,S2中获取用于生成预测信号的矩阵和偏移向量。第一组S0由18个矩阵
Figure BDA0003438748260000041
组成，每个矩阵有16列4行，还有18个偏移向量
Figure BDA0003438748260000042
偏移向量的大小为16。第一组S0的矩阵和偏移向量用于编码大小等于4x4的块。第二组S1由10个矩阵
Figure BDA0003438748260000043
组成，每个矩阵有16列8行，还有10个偏移向量
Figure BDA0003438748260000044
偏移向量的大小为16。第二组S1的矩阵和偏移向量用于编码大小等于4x8、8x4和8x8的块。最后，第三组S2由6个矩阵
Figure BDA0003438748260000045
组成，每个矩阵有64列8行，还有6个偏移向量
Figure BDA0003438748260000046
每个偏移向量的大小为64。第三组S2的矩阵和偏移向量或这些矩阵和偏移向量的一部分用于对其他大小的所有块进行编码。矩阵计算所需的乘法总数始终小于或等于4x W x H。换句话说，在MIP方法中，每个采样最多需要四个乘法。准备参考采样在MIP方法的第一步中，顶部输入边界bdrytop和左侧输入边界bdryleft用于生成缩减的顶部边界
Figure BDA0003438748260000047
和缩减的左侧边界
Figure BDA0003438748260000048
在此，在4x4块的情况下，
Figure BDA0003438748260000049
和
Figure BDA00034387482600000410
均由2个采样组成，而在所有其他情况下，均由4个采样组成。在4x4块的情况下，对于0≤i<2，缩减的顶部边界
Figure BDA00034387482600000411
定义为：
Figure BDA00034387482600000412
并且缩减的左边界
Figure BDA00034387482600000413
类似地定义。
否则，如果块宽度W的给定为W＝4·2k，则对于0≤i<4，缩减的顶部边界
Figure BDA00034387482600000414
定义为：
Figure BDA00034387482600000415
Figure BDA00034387482600000416
并以相似的方式定义了缩减的左边界
Figure BDA00034387482600000417
将两个缩减的边界
Figure BDA00034387482600000418
和
Figure BDA00034387482600000419
串联在一起，形成缩减的边界向量bdryred。对于任何4x4块，缩减的边界向量的大小为4，对于任何其他块大小，减小的边界向量的大小为8。例如，如果模式是参考MIP模式，则第一矩阵集S0中有35个MIP模式，第二矩阵集S1中有19个MIP模式，第三矩阵集S2中有11个MIP模式，这时连接缩减的边界向量的定义如下：
Figure BDA0003438748260000051
最后，对于子采样的预测信号的内插，对于大块需要缩减边界的第二版本。即，如果min(W,H)＞8且W≥H，记作W＝8*2l，并且对于0≤i<8，缩减边界的第二种形式定义为：
Figure BDA0003438748260000052
如果min(W,H)＞8且H＞W，则类似地定义第二个版本的缩减边界
Figure BDA0003438748260000053
通过矩阵向量乘法产生缩减的预测信号通过缩减的边界向量产生缩减的预测信号predred，并且该缩减的预测信号是在下采样的块上具有宽度Wred和高度Hred的信号。下采样块的宽度Wred和高度Hred定义为：
Figure BDA0003438748260000054
Figure BDA0003438748260000055
缩减的预测信号predred是通过计算矩阵向量乘积并加上偏移量来计算的：
predred＝A·bdryred+b
在上述等式中，如果W＝H＝4，则A是具有Wred·Hred列、4行的矩阵，在所有其他情况下为8行，并且b是大小为Wred·Hred的偏移向量。从矩阵集S0，S1，S2之一获取矩阵A和向量b。索引idx＝idx(W,H)定义如下：
Figure BDA0003438748260000061
并且，m如下:
Figure BDA0003438748260000062
如果索引idx≤1或idx＝2且min(W,H)＞4，则将矩阵A和向量b定义为
Figure BDA0003438748260000063
和
Figure BDA0003438748260000064
在idx＝2且min(W,H)＝4的情况下，让A成为通过忽略
Figure BDA0003438748260000065
的每一行而产生的矩阵，在W＝4的情况下，对应于下采样的块中的奇数x坐标，或者在H＝4的情况下，对应于下采样的块中的奇数y坐标。
最后，在以下情况下，缩减的预测信号predred被其转置(transpose)代替：W＝H＝4且mode≥18，max(W,H)＝8且模式≥10，以及max(W,H)＞8，mode≥6。在W＝H＝4的情况下，计算缩减的预测信号所需的乘法数为4，因为在这种情况下，A具有4行和16列。在所有其他情况下，A有8行和Wred·Hred列，并且需要一个8·Wred·Hred≤4·W·H乘积的立即验证在此情况下。换句话说，每个采样最多需要4个乘法来计算缩减的预测信号predred。
单步线性插值对于宽度W及高度H至少一个大于或等于8的当前块，通过线性插值从Wred×Hred上的缩减预测信号predred产生当前块的预测信号。根据块的形状，可以在垂直，水平或两个方向上执行线性插值。在两个方向都进行线性插值的情况下，如果W<H，则首先应用水平方向，否则，首先应用垂直方向。
在不失一般性的情况下，考虑具有至少宽度W和高度H大于或等于8并且宽度W大于或等于高度H的当前块，如下进行一维线性插值。在不失一般性的前提下，描述垂直方向的线性插值。首先，缩减的预测信号被边界信号扩展到顶部。垂直上采样因子定义为：Uver＝H/Hred并且
Figure BDA0003438748260000071
扩展的缩减的预测信号然后由以下定义：
Figure BDA0003438748260000072
基于该扩展的缩减的预测信号，预测信号的垂直线性插值如下产生:
Figure BDA0003438748260000073
其中0≤x<Wred,0≤y<Hred并且0≤k<Uver.
生成用于通过MIP方法编码或解码的当前块的预测信号的最后阶段是剪切。在通过线性插值进行上采样之后，对预测信号的上采样值进行剪切处理，以剪切所有值至合理范围内。
发明内容
公开了用于在图片或视频编解码系统中处理图片或视频数据的方法和装置。图片或视频编解码系统的实施例接收与当前图片中的当前块相关联的输入数据，将MIP块的MIP模式索引映射到默认模式，并且通过参考默认模式来编码或解码当前块。根据矩阵和当前图片中的相邻边界采样产生的预测采样，通过MIP模式对MIP块进行编码或解码。在一个实施例中，通过从MIP块的相邻边界采样中导出参考采样，通过将参考采样和矩阵相乘来生成中间预测采样，将中间预测采样剪切到合理范围，以及对剪切的中间预测采样进行上采样以生成MIP块的预测采样，来对MIP块进行编码或解码。导出参考采样的步骤可以包括对MIP块的相邻边界采样进行下采样以生成参考采样。导出参考采样的步骤可以包括通过平均MIP块的相邻边界采样来提取参考采样。产生中间预测采样的步骤包括在将参考采样和矩阵相乘之后加上偏移。
MIP模式映射中的默认模式的示例是平面模式，并且默认模式的另一示例是DC模式。在MIP模式映射的一个实施例中，当前块是以直接模式(DM)已编码或将要编码的色度(chroma)块，并且MIP块是通过MIP模式编码的对应亮度(luma)块。当前块的DM获取会将对应的亮度块的MIP模式索引映射到默认模式，以便根据默认模式对当前块进行编码或解码。在MIP模式映射的另一个实施例中，当前块通过帧内预测被编码或将被编码，并且通过MIP模式编码的MIP块是当前块的相邻块。当前块的帧内最可能模式(Intra Most ProbableMode,MPM)获取会将相邻块的MIP模式索引映射到默认模式。在又一个实施例中，当前块是由MIP模式编码的MIP块，并且二次变换被应用于当前块中的变换块。通过参考默认模式对当前块进行编码或解码的步骤包括：根据默认模式选择二次变换集；确定所选择的二次变换集的变换矩阵；以及基于变换矩阵将变换块的一次变换系数变换为二次变换系数，或者基于变换矩阵将变换块的二次变换系数变换为一次变换系数。
图片或视频编解码系统的一些实施例接收与在当前图片中由MIP模式编码或将要被MIP模式编码的当前块相关联的输入数据，确定在通过MIP模式对当前块进行编解码中是否应用了转置，根据是否应用转置，从当前图片中当前块的相邻边界采样中提取当前块的参考采样，并生成当前块的预测采样。通过从当前块的矩阵集中选择当前块的矩阵，将参考采样和矩阵相乘，并根据是否应用转置来自适应地执行转置处理，来生成预测采样。当应用转置时，转置过程用转置的预测采样来替换当前块的预测采样。当前块的转置标志从视频比特流中发出信号或从视频位流中解析出，指示在对当前块进行编码时是否应用了转置。图片或视频编解码系统根据当前块的预测采样对当前图片中的当前块进行编码或解码。
在一个实施例中，图片或视频编解码系统将预测采样剪切到合理范围，并且对所剪切的预测采样进行上采样。例如，合理范围是[0,1<<BitDepth-1]，其中BitDepth是视频编解码系统的内部位深度。在该实施例中，在上采样之前对当前块的剪切的预测采样自适应地执行转置处理。
图片或视频编解码系统用信号发送或解析当前块的矩阵索引，该矩阵索引指示从当前块的矩阵集中选择了哪个矩阵。基于当前块的大小确定矩阵集。在视频编码器的示例中，通过首先用信号发送转置标志，然后用信号发送矩阵索引，来用信号发送当前块的MIP模式信息。类似地，在视频解码器中，通过首先解析转置标志，然后解析矩阵索引，来解析当前块的MIP模式信息。在一实施例中，用于发信号通知矩阵索引的语法以固定长度的码字编码。使固定长度码字的编码效率最大化的特定实施例，当前块的矩阵集中的矩阵的数目是2的幂。
从当前块的相邻边界采样中导出当前块的参考采样的步骤可以进一步包括：获得顶部边界参考采样和左边界参考采样；将顶部边界参考采样和左边界参考采样缩减为缩减的顶部边界采样和缩减的左边界采样，并根据是否应用了转置，将缩减的顶部边界采样和缩减的左边界采样连接起来。
本公开的一方面还提供了一种图片或视频编解码系统中的用于压缩图片或视频数据的设备。该装置的实施例将MIP块的所有MIP模式索引映射到默认模式，用于DM推导、帧内MPM推导或二次变换集选择。该设备的一些其他实施例用信号发送或解析用于每个MIP编码块的转置标志，该转置标志指示是否在对MIP块进行编解码中应用了转置。
在MIP模式映射方法中，始终选择默认模式，以消除使用映射表将MIP模式索引转换为常规帧内预测模式索引。通过将所有MIP模式索引映射到默认模式，可以降低图片或视频编解码系统的计算复杂度。用信号发送每个MIP编码块的转置标志的优点是在解码器中删除矩阵索引推导和转置标志推导。通过阅读下面对具体实施例的描述，本发明的其他方面和特征对于本领域具有通常技术者将变得显而易见。
附图说明
将参考以下附图详细描述作为示例提出的本公开的各种实施例，其中，相同的标号表示相同的元件，并且：
图1示出了HEVC标准中支持的33种角度帧内预测模式。
图2示出了由帧内平滑滤波器滤波的示例性参考采样，用于导出当前块的帧内预测子。
图3示出了用于常规帧内预测的65个角度帧内预测模式的示例。
图4示出了从顶边界参考采样和左边界参考采样中导出在MIP模式下已编码或将要编码的块的参考采样的示例。
图5是示出根据MIP模式映射的实施方式的用于通过将MIP模式索引映射到默认模式来对当前块进行编码或解码的示例性图片或视频处理方法的流程图。
图6是示出根据转置标志信令的实施例的用于以MIP模式对当前块进行编码的示例性编码方法的流程图。
图7是示出根据转置标志信令的实施例的用于以MIP模式对当前块进行解码的示例性解码方法的流程图。
图8示出了根据本发明实施例的，结合了帧内预测方法的视频编码系统的示例性系统框图。
图9示出了根据本发明实施例的，结合了帧内预测方法的视频解码系统的示例性系统框图。
具体实施方式
将容易理解，如本文的附图中一般性描述和示出的，本发明的部件可以以各种不同的配置来布置和设计。因此，如附图所示，以下对本发明的系统和方法的实施例更详细的描述并非旨在限制要求保护的本发明的范围，而仅仅是本发明的选定实施例的代表。
在本公开中，本申请描述了各种图片或视频处理方法，用于降低处理以基于矩阵的帧内预测(MIP)模式编码的图片或视频块的计算复杂性。分别在图8和图9中示出了实现一种或组合的视频处理方法的示例性视频编码器和解码器。本文所述的系统和方法按以下段落组织。“MIP模式映射”部分演示了将MIP模式索引映射到默认模式以进行直接模式(DM)导出、帧内最可能模式(MPM)导出或二次变换集选择的示例性方法。“转置标志信令”部分描述了用信号发送或解析由MIP模式编码的每个块的转置标志的示例性方法。“在MIP中移除MPM方法”一节介绍了不使用MPM进行MIP模式信令的示例性MIP方法。“二的幂次的数量的MIP模式”一节描述了使用二的幂次的数量的MIP模式的示例性方法。“视频编码器和解码器的实现”部分与图8和图9一起使用，示出了结合了本发明的所描述的视频处理方法中的一个或组合的视频编码系统和视频解码系统。
MIP模式映射在常规的基于矩阵的帧内预测(Matrix-based Intra Prediction，MIP)方法中，当常规帧内块参考MIP编码块时，用映射表将MIP模式索引映射到常规帧内模式索引。在示例中，当前块由常规帧内预测模式编码，并且在最可能模式(MPM)推导过程中参考由MIP模式编码的相邻块。首先获得相邻块的MIP模式索引，并根据表1将相邻块的MIP模式索引基于相邻块的大小映射到常规帧内模式索引，以用于当前块的MPM推导。例如，根据表1，由于相邻块是8×8块，并且相邻块的MIP模式索引是6，所以相邻块的MIP大小ID是S1，因此，MIP模式索引6被映射到常规帧内模式索引18。
表1 MIP模式索引映射表
Figure BDA0003438748260000111
Figure BDA0003438748260000121
Figure BDA0003438748260000122
本发明的实施例通过将所有MIP模式索引映射到默认模式来消除对MIP模式索引映射表的使用。根据一些实施例，默认模式是DC模式，并且根据一些其他实施例，默认模式是平面模式。视频编码或解码的计算复杂度降低了，因为在直接模式(DM)推导，帧内MPM推导或二次变换集选择中不再需要用于将MIP模式索引映射到常规帧内模式索引的表。
本发明的某些实施例仅在亮度(luma)分量中启用MIP方法。MIP方法不能用于预测相应的色度(chroma)分量。在一个实施例中，当前色度块是帧内编码块或将在帧内预测中编码，并且当前色度块的相应亮度块通过MIP模式编码，相应亮度块的MIP模式索引被映射到平面模式以进行当前色度块的DM推导。在另一个实施例中，当前块在帧内预测中被编码或将被编码，如果用于帧内MPM推导的当前块的任何相邻块由MIP模式编码，则在帧内MPM推导中该相邻块的MIP模式索引被映射到平面模式。
根据另一实施例，将所有MIP模式索引映射到默认模式的方法也应用于二次变换集选择。精简二次变换(Reduced Secondary Transform，RST)是VVC中提出的一种新的编码工具，也称为低频不可分离变换(Low Frequency Non-Separable Transform，LFNST)，RST通过映射变换块的原始维向量至在不同空间中的降维向量，来提高帧内编码块的编码效率。根据帧内编码块的帧内预测模式，从变换集索引0、1、2和3的四个变换集中选择用于帧内编码块的二次变换集。如果指示了用于色度分量的三个交叉分量线性模型(CCLM)模式之一，则使用针对帧内编码块的亮度分量的帧内预测模式来选择二次变换集。例如，二次变换集选择基于表2中所示的帧内预测模式。表2中的IntraPredMode是当前块的帧内预测模式索引，其范围为[-14、83]，包括常规帧内预测模式和广角帧内预测模式。
表2变换集选择表
IntraPredMode 变换集索引
IntraPredMode<0 1
0<＝IntraPredMode<＝1 0
2<＝IntraPredMode<＝12 1
13<＝IntraPredMode<＝23 2
24<＝IntraPredMode<＝44 3
45<＝IntraPredMode<＝55 2
56<＝IntraPredMode 1
在该实施例中，当通过MIP模式对当前块进行编码并且将二次变换应用于当前块的变换块时，当前块的MIP模式索引被映射为平面模式(即，模式0)以用于二次变换集选择。因此，根据表2，为在MIP模式下编码的当前块选择了变换集索引为0的二次变换集。每个二次变换集都由两个变换矩阵组成，并且用信号发送索引以指示所使用的变换矩阵。在该实施例中，从变换集索引等于0的二次变换集的两个变换矩阵中，选择一个变换矩阵，以在编码器侧将变换块的一次变换系数变换为二次变换系数，或者在解码器侧对二次变换系数进行变换为一次变换系数。
图5是说明根据MIP模式映射的各种实施例的用于处理在图片或视频编码器或解码器中实现的当前图片中的当前块的示例性方法的流程图。在步骤S502中，图片或视频编码器或解码器接收与当前块相关联的输入数据。在步骤S504中，将MIP块的基于矩阵的帧内预测(MIP)模式索引映射到默认模式。根据由矩阵产生的预测采样，通过MIP模式对MIP块进行编码，根据一些实施例，MIP块是当前块的参考块，或者根据另一实施例，MIP块是当前块。在一个实施例中，当当前块是色度块并且MIP块是对应的亮度块时，图片或视频编码器或解码器根据默认模式在步骤S506中推导当前块的直接模式(DM)。在另一实施例中，当当前块是帧内编码块且MIP块是当前块的相邻块时，图片或视频编码器或解码器通过在步骤S506中并入默认模式来推导当前块的帧内最可能模式(MPM)。在又一个实施例中，当当前块以MIP模式被编码并且被二次变换处理或将被处理时，图片或视频编码器或解码器在步骤S506中根据默认模式为当前块中的变换块选择二次变换集。最后，在步骤S508中对当前块进行编码或解码。
转置标志信令在本发明的一些实施例中，当当前块由MIP模式编码时，通过发信号通知矩阵索引并发信号通知是否为转置模式来发送MIP模式信息。在实施例中，矩阵索引是当前块的MIP模式索引。在一个实施例中，通过首先用信号发送矩阵索引，然后用信号发送它是否是转置模式，来通知当前块的MIP模式信息。在另一个实施例中，则通过首先发信号通知是否为转置模式，然后通过发信号通知矩阵索引，来通知当前块的MIP模式信息。
图4示出了通过MIP模式准备用于对当前块进行编码的参考采样的示例。如图4所示，从当前块42的顶部边界参考采样44和左边界参考采样46获得用于当前块42的MIP方法的输入向量。顶部边界参考采样44和左边界参考采样46分别减少为缩减的顶边界采样和缩减的左边界采样。视频编码系统为当前块选择一个矩阵集S0，S1或S2，然后从所选的矩阵集中选择一个矩阵，并确定是否需要应用转置。例如，视频编码系统在当前块的大小为4x4时选择矩阵集S0，或者在当前块的大小为4x8、8x4、8x8、4xN或Nx4之一时选择矩阵集S1，否则视频编码系统选择矩阵集S2。在一个示例中，矩阵集S0中有16个矩阵，矩阵集S1中有8个矩阵，矩阵集S2中有6个矩阵。MIP方法的输入向量是通过合并缩减的顶部边界采样和缩减的左边界参考采样而获得的缩减的边界向量，其中在未转置时将缩减的顶部边界采样放置在缩减的左边界采样之前，在转置时将缩减的左边界采样放置在缩减的顶部边界采样之前。通过将输入向量与所选矩阵相乘，然后加上偏移量，可以生成当前块的缩减预测信号。如果应用了转置，则将当前块的缩减的预测信号替换为其转置。在视频比特流中用信号发送当前块的转置标志，以指示在通过MIP模式对当前块进行编码时是否应用了转置。在视频比特流中还用信号发送当前块的矩阵索引，以指示所选择的矩阵集中的哪个矩阵用于预测当前块。由于在这些实施例中用信号通知矩阵索引以及转置标志，所以每个矩阵集中的矩阵的数量等于矩阵集中的数量，并且矩阵索引等于MIP模式的索引。在一个实施例中，对于每个MIP编码块，在转置标志之前用信号发送MIP模式索引，在另一实施例中，对于每个MIP编码块，在MIP模式索引之前用信号发送转置标志。根据一个实施例，用于用信号发送MIP模式索引的语法被编码为固定长度的码字。视频解码系统为每个MIP编码块解析转置标志和MIP模式索引。对于通过MIP模式编解码的当前块，视频解码系统根据当前块的大小选择矩阵集，并根据MIP模式索引从选择的矩阵集中决定矩阵。视频解码系统根据转置标志为当前块准备参考采样，并通过矩阵向量乘法生成缩减的预测信号。如果转置标志指示应用了转置，则缩减的预测信号被进一步转置。根据缩减的预测信号对当前块进行解码。
通过在解码器处去除矩阵索引推导和转置标志推导，用信号发送用于MIP编码块的转置标志的实施例简化了常规MIP方法。在常规的MIP方法中，矩阵集S0中的模式数目是32，其中前16个模式是16个不同矩阵，而后16个模式是前16个矩阵的转置。通过将信号通知的MIP模式索引减去16，可以得出矩阵索引。通过检查MIP模式索引是否大于或等于16，可以得出转置标志。类似地，矩阵集S1中的模式数为16，而矩阵集S2中的模式数为12。矩阵集S1中的16个模式中的8个和矩阵集S2中的12个模式中的6个涉及应用转置。通过将信号通知的MIP模式索引分别减去8和6，可以得出矩阵集S1和S2中的矩阵索引。通过检查MIP模式索引是否分别大于或等于8和6来推导集合S1和S2中的转置标志。
图6是示出根据本发明的实施例，用于通过MIP模式对当前块进行编码的示例性编码方法的流程图。编码方法可以在图片或视频编码器中实现。在步骤S602中，图片或视频编码器接收与要在MIP模式下编码的当前块相关联的输入数据，并在步骤S604中确定在对当前块进行编码中是否应用了转置。为了在MIP模式下预测当前块，在步骤S606中首先根据是否应用转置来从当前块的相邻边界采样中导出参考采样，在步骤S608中从当前块的矩阵集中选择矩阵，并且在步骤S610中，通过将参考采样和选择的矩阵相乘来生成当前块的预测采样。在应用转置的情况下，在步骤S612中对预测采样执行转置处理，以用预测采样的转置代替预测采样。在步骤S614中，在视频比特流中用信号发送当前块的转置标志，指示是否将转置应用于当前块。在步骤S616中，图片或视频编码器根据当前块的预测采样对当前块进行编码。
用于通过MIP模式对当前块进行编码的编码方法还可以包括：将预测采样剪切到合理范围，并对所剪切的预测采样进行上采样，并且对当前块的剪切的预测采样进行自适应的转置处理。该编码方法发信号通知在步骤S608中确定的当前块的矩阵索引，该矩阵索引指示从当前块的矩阵集中选择的矩阵。基于当前块的大小来确定当前块的矩阵集。根据本发明的实施例，在发信号通知当前块的矩阵索引之前，发信号通知当前块的转置标志。
图7是示出根据本发明的实施例的用于通过MIP模式对当前块进行解码的示例性解码方法的流程图。解码方法可以在图片或视频解码器中实现。在步骤S702中，图片或视频解码器接收与由MIP模式编码的当前块相关联的输入数据，并且在步骤S704中，解析当前块的转置标志，以确定是否将转置应用于当前块。在步骤S706中，从当前块的相邻边界采样中导出当前块的参考采样。在步骤S708中，图片或视频解码器解析当前块的矩阵索引以从当前块的矩阵集中选择矩阵，并且在步骤S710中将参考采样与所选矩阵相乘以生成当前块的预测采样。在步骤S712中，根据解析的转置标志，对当前块的预测采样自适应地执行转置处理。在步骤S714中，图片或视频解码器根据当前块的预测采样来解码当前块。
用于通过MIP模式对当前块进行解码的解码方法还可以包括：将预测采样剪切到合理范围，并对所剪切的预测采样进行上采样，并且对当前块的剪切的预测采样进行自适应的转置处理。在步骤S708中，基于当前块的大小确定当前块的矩阵集。根据本发明的实施例，在解析当前块的矩阵索引之前，解析当前块的转置标志。
MIP方法中的MPM去除(Removal)在传统的MIP方法中，当通过MIP模式对当前块进行编解码时，确定三个MPM。需要两个表来导出以MIP模式编解码的当前块的三个MPM。这两个表将常规帧内模式索引映射到MIP模式索引。第一个表将65个角度模式索引映射到33个角度模式索引，第二个表将33个角度模式索引映射到MIP模式索引。还有另一个表储存默认的MPM列表。本发明的一些实施例去除了用于MIP编码块的MPM，因此，如上所述的用于MPM的表被去除。在本发明的一些实施例中，用于发送每个MIP模式索引的语法被改变为固定长度的码字。在根据一个实施例去除MIP编码块的MPM之后，使用固定长度码字来用信号通知该MIP编码块的MIP模式索引，其中用于固定长度码字的位数可以取决于MIP模式的数目。例如，在35个MIP模式可用于组1中的4x4块的情况下，19个MIP模式可用于组2中的8x8、8x4和4x8块，而11个MIP模式可用于组3中其他大小的块，6位，5位和4位的固定长度码字分别用于组1，组2和组3。
通过结合将所有MIP模式索引映射到默认模式的方法和去除MIP编码块的MPM的方法，第一表用于将65个常规帧内模式索引映射到33个角度模式索引、第二表用于将33个角度模式索引映射到MIP模式索引、默认MPM列表表以及用于将MIP模式索引映射到常规帧内模式索引的表都可以删除，以减少所需的内存和计算复杂性。
二的幂次的数量的MIP模式在一个实施例中，MIP模式索引或矩阵索引由固定长度的码字编码。由于对于具有不同大小或形状的块，MIP模式的数量或矩阵的数量是不同的，因此，码字的长度取决于块的大小，宽度、高度或宽度和高度。在一实施例中，较小块中使用的码字长度大于或长于较大块中使用的码字长度。在另一个实施例中，用于各种块大小的MIP模式或矩阵的数量被选择为二的幂，以便有效地使用固定长度的码字。即，对于由MIP模式编码的每个块，可以选择二的幂次的MIP模式或矩阵。例如，将组1中4x4块的MIP模式或矩阵的数量设置为32，组2中4x8和8x4块的MIP模式或矩阵的数量设置为16，将其他块的MIP模式或矩阵的数量设置为8。
视频编码器和解码器的实现可以在视频编码器或解码器中实现上述提出的图片或视频处理方法。例如，在编码器的帧内预测模组和/或解码器的帧内预测模组中实现了所提出的图片或视频处理方法。或者任何提出的方法都被实现到编码器的帧内预测模组和/或解码器的帧内预测模组的电路，以便提供帧内预测模组所需的信息。
图8示出了用于实现本发明的视频处理方法的视频编码器800的示例性系统框图。对于要由帧内预测编码的当前块，帧内预测模组810从MIP模式和常规模式之一中选择针对当前块的预测模式。帧内预测模组810基于当前图片的重构视频数据来生成当前块的预测采样，该预测采样也被称为当前块的帧内预测子。如果当前块是通过MIP模式预测的，则从当前块的相邻边界采样中获取当前块的参考采样，然后将其乘以矩阵以生成中间预测采样。中间预测采样可以被裁剪到合理范围并被上采样以生成当前块的预测采样。例如，有理范围是[0,1<<BitDepth-1]，并且双线性插值滤波器用于上采样。在MIP模式映射的一些实施例中，当前块的MIP模式索引被映射到默认模式，因此用于对应色度块的DM推导、用于相邻块的帧内MPM推导或用于当前块的变换块的二次变换集选择都是基于默认模式进行的。在发送转置标志信号的一些实施例中，在编码的视频比特流中用信号发送转置标志，该转置标志指示在对当前块进行编码的过程中是否应用了转置。如果选择常规模式以对当前块进行编码，则帧内预测模组810为当前块选择帧内预测模式，并根据帧内预测模式为当前块生成预测采样。帧间预测模组812执行运动估计(ME)和运动补偿(MC)，以基于来自其他图片的视频数据提供帧间预测子。对于每个块，帧内预测模组810或帧间预测模组812将所选择的预测子提供给加法器816以形成预测误差，也称为预测残差。
当前块的预测残差由变换模组(T)818进一步处理，然后由量化模组(Q)820处理。经变换和量化的残差信号随后由熵编码器834编码以形成编码的视频比特流。然后，已编码的视频比特流将附带一些辅助信息，例如每个MIP编码块的转置标志。逆量化模组(IQ)822和逆变换模组(IT)824对当前块的经变换和量化的残差信号进行处理以恢复预测残差。如图8所示，通过在重构模组(REC)826处将其加回到所选择的预测子来恢复预测残差，以产生重构的视频数据。重建的视频数据可以储存在参考图片缓冲器(Ref.Pict.Buffer)832中，并且用于其他图片的预测。由于编码处理，来自REC 826的重构视频数据可能遭受各种损害，因此，在将重构视频数据储存到参考图片缓冲器832之前，环路处理的解块滤波器(DF)828和样本自适应偏移(SAO)830被应用于重构视频数据以进一步提高图片品质。DF 828和SAO 830是在视频编码器800中应用的环内处理滤波器的示例，可以选择环内处理滤波器的任何其他组合以对重构的视频数据进行滤波。与用于环路处理DF 828和SAO 830的信息相关联的语法被提供给熵编码器834，以用于合并到编码的视频比特流中。
在图9中示出了用于对由图8的视频编码器800编码的数据进行解码的示例性的对应视频解码器900。编码的视频比特流是视频解码器900的输入，并且由熵解码器910解码以解析并恢复经变换和量化的残差信号和其他系统信息。解码器900的解码过程类似于编码器800处的重建循环，除了解码器900仅需要帧间预测模组914中的运动补偿预测。每个块都由帧内预测模组912或帧间预测模组914解码。开关916根据当前块的解码模式信息，选择来自帧内预测模组912的帧内预测子或来自帧间预测模组914的帧间预测子。帧内预测模组912解析语法以确定当前块是在常规帧内预测模式下还是在MIP模式下编码，并且如果当前块是通过MIP模式进行编码的，则参考采样是从当前图片中的相邻边界采样导出的，并与矩阵相乘以生成中间预测采样。根据从编码的视频比特流中解析出的矩阵索引来选择矩阵。帧内预测模组912剪切中间预测采样，然后对剪切的中间预测采样执行上采样处理，以生成当前块的帧内预测子。在MIP映射的一些实施例中，每个MIP编码块的MIP模式索引被映射到默认模式，用于DM推导、帧内MPM推导或二次变换集选择。在转置标志信令的一些实施例中，为每个MIP编码的块解析转置标志，并且根据相应的转置标志来导出每个MIP编码的块的参考采样和帧内预测子。如果当前块未被基于矩阵的帧内预测编码，则帧内预测模组912根据帧内预测模式导出当前块的帧内预测子。与每个块相关联的经变换和量化的残差信号由逆量化模组(IQ)920和逆变换模组(IT)922恢复。通过将REC 918中的帧内或帧间预测子加回去，来重构恢复的经变换和量化的残差信号，以制作重构的视频。DF 924和SAO 926对重构的视频进行进一步处理，以生成最终的解码视频。如果当前解码的图片是参考图片，则当前解码的图片的重构视频也储存在参考图片缓冲器928中以用于解码顺序在后面的图片。
图8和图9中的视频编码器800和视频解码器900的各种组件可以由硬体组件、配置为执行储存在记忆体中的程式指令的一个或多个处理器、或硬体和处理器的组合来实现。例如，处理器执行程式指令以控制在上采样之前剪切中间预测采样。该处理器配备有一个或多个处理核心。在一些示例中，处理器执行程式指令以执行编码器800和解码器900中的某些组件中的功能，并且与处理器电耦合的记忆体用于储存程式指令、与块的重构图片相对应的信息和/或编码或解码过程中的中间数据。在一些实施例中的记忆体包括非暂时性计算机可读介质，例如半导体或固态记忆体、随机存取记忆体(RAM)，唯读记忆体(ROM)，硬碟，光碟或其他合适的储存介质。记忆体也可以是上面列出的两个或多个非暂时性计算机可读介质的组合。如图图8和图9所示，编码器800和解码器900可以在同一电子设备中实现，因此，如果在同一电子设备中实现，则编码器800和解码器900的各种功能组件可以共享或重复使用。例如，图8中的重构模组826、逆变换模组824、逆量化模组822、解块滤波器828、采样自适应偏移830和参考图片缓冲器832中的一个或多个也可以用作图9中的重构模组918、逆变换模组922、逆量化模组920、解块滤波器924、采样自适应偏移926和参考图片缓冲器928。
用于图片或视频编码系统的基于矩阵的帧内预测方法的实施例可以在集成到视频压缩晶片中的电路或集成到视频压缩软体中的程式代码中执行，以执行上述处理。例如，在MIP方法中上采样之前对中间预测采样进行剪切，可以在计算机处理器、数位信号处理器(DSP)、微处理器或现场可程式化逻辑阵列(FPGA)上执行的程式码中实现。这些处理器可以被配置为通过执行机器可读软体代码或韧体代码，该代码定义本发明实施的特定方法，来执行根据本发明的特定任务。
在整个说明书中对“一个实施例”，“一些实施例”或类似语言的引用意味着结合这些实施例描述的特定特征，结构或特性可以被包括在本发明的至少一个实施例中。因此，在整个说明书中各处出现的短语“在一个实施例中”或“在一些实施例中”并不一定全都指同一实施例，这些实施例可以单独实现或与一个或多个其他实施例结合实现。此外，所描述的特征，结构或特性可以在一个或多个实施例中以任何合适的方式组合。然而，相关领域的技术人员将认识到，可以在没有一个或多个特定细节的情况下，或者在利用其他方法，组件等的情况下实践本发明。在其他情况下，未示出或未示出公知的结构或操作。详细描述以避免混淆本发明的方面。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面仅应被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前述描述来指示。落入申请专利范围等同含义和范围内的所有改变均应包含在其范围之内。

Claims (18)

1.一种在图片或视频编解码系统中处理视频数据的方法，包括：
接收与当前图片中的当前块相关联的输入数据；
将MIP块的基于矩阵的帧内预测(MIP)模式索引映射为默认模式，其中，MIP块根据矩阵和当前图片中的相邻边界采样产生的预测采样，通过MIP模式进行编码或解码；以及
通过引用默认模式对当前块进行编码或解码。
2.根据权利要求1所述的方法，其特征在于，所述MIP块通过以下方式进行编码或解码，包含通过从所述当前图片中的所述MIP块的相邻边界采样中导出参考采样，通过将所述参考采样与所述矩阵相乘来生成中间预测采样，并对所述中间采样进行剪切到合理范围，然后对剪切的中间预测采样进行上采样以生成预测采样。
3.根据权利要求2所述的方法，其特征在于，导出参考采样的步骤包括：对所述MIP块的相邻边界采样进行下采样以生成所述MIP块的参考采样。
4.根据权利要求2所述的方法，其特征在于，导出参考采样的步骤包括：通过对所述MIP块的所述相邻边界采样求平均来提取所述参考采样。
5.根据权利要求2所述的方法，其特征在于，产生中间预测采样的步骤还包括在将所述参考采样与所述矩阵相乘之后加上偏移。
6.根据权利要求1所述的方法，其特征在于，所述默认模式是平面模式或DC模式。
7.根据权利要求1所述的方法，其特征在于，所述当前块是在直接模式(DM)中编解码或将要编解码的色度(chroma)块，并且所述MIP块是所述当前块的对应亮度(luma)块，其中，当前块的DM推导将对应的亮度块的MIP模式索引映射到默认模式，并且根据默认模式对当前块进行编码或解码。
8.根据权利要求1所述的方法，其特征在于，所述当前块通过帧内预测被编解码或将要被编解码，并且所述MIP块是通过MIP模式编解码的所述当前块的相邻块，其中，所述当前块的帧内最可能模式(MPM)推导包括将相邻块的MIP模式索引映射到默认模式。
9.根据权利要求1所述的方法，其特征在于，所述当前块是由所述MIP模式编码的MIP块，并且将二次变换应用于所述当前块中的变换块，并且通过参考所述默认模式来对所述当前块进行编码或解码的步骤进一步包括：根据默认模式，选择二次变换集；确定所选择的二次变换集的变换矩阵；以及基于所述变换矩阵将变换块的一次变换系数变换为二次变换系数、或基于所述变换矩阵将变换块的二次变换系数变换为一次变换系数。
10.一种在图片或视频编解码系统中处理视频数据的方法，包括：
接收与当前图片中已完成或将要通过基于矩阵的帧内预测(MIP)模式编解码的当前块相关联的输入数据；
确定在通过MIP模式对当前块进行编解码中是否应用了转置；
根据是否应用转置，从当前图片中当前块的相邻边界采样中导出当前块的参考采样；
从当前块的矩阵集中选择当前块的矩阵；
通过将参考采样和矩阵相乘来生成当前块的预测采样；
通过根据是否应用转置来用预测采样的转置来替换当前块的预测采样，来自适应地执行转置处理；
用信号发送或解析当前块的转置标志，指示是否应用了转置；和
根据当前块的预测采样对当前图片中的当前块进行编码或解码。
11.根据权利要求10所述的方法，其特征在于，还包括将所述预测采样剪切到合理范围并对所述剪切的预测采样进行上采样，其中，在上采样之前，对所述当前块的所述剪切的预测采样自适应地执行所述转置处理。
12.根据权利要求10所述的方法，其特征在于，其进一步包含用信号发送或解析所述当前块的矩阵索引，所述矩阵索引指示从所述当前块的矩阵集中选择哪个矩阵，其中所述矩阵集是基于所述当前块的大小来确定的。
13.根据权利要求12所述的方法，其特征在于，通过首先用信号发送或解析所述转置标志，然后用信号发送或解析所述矩阵索引，来用信号发送或解析所述当前块的MIP模式信息。
14.根据权利要求12所述的方法，其特征在于，用于用信号发送所述矩阵索引的语法被编码为固定长度的码字。
15.根据权利要求10所述的方法，其特征在于，所述当前块的矩阵集中的矩阵的数量是二的幂。
16.根据权利要求10所述的方法，其特征在于，从所述当前块的相邻边界采样中导出所述当前块的参考采样的步骤还包括：获得顶部边界参考采样和左边界参考采样，减少所述顶部边界参考采样和左边界参考采样，分别为缩减的顶边界采样和缩减的左边界采样，并根据是否应用转置将缩减的顶边界采样和缩减的左边界采样连接起来。
17.一种用于执行图片或视频处理的设备，包括：计算机处理器，被配置为通过执行以下步骤来接收输入数据和执行在所述计算机处理器上可执行的用于图片或视频编码的编程；
接收与当前图片中的当前块相关联的输入数据；
将MIP块的基于矩阵的帧内预测(MIP)模式索引映射为默认模式，其中，所述MIP块根据矩阵和当前图片中的相邻边界采样产生的预测采样，通过MIP模式进行编码或解码；和
通过引用默认模式对当前块进行编码或解码。
18.一种用于执行图片或视频处理的设备，包括：计算机处理器，被配置为通过执行以下步骤来接收输入数据和执行在所述计算机处理器上可执行的用于图片或视频编码的编程；
接收与当前图片中已完成或将要通过基于矩阵的帧内预测(MIP)模式编码的当前块相关联的输入数据；
确定在通过MIP模式对当前块进行编码中是否应用了转置；
根据是否应用转置，从当前图片中当前块的相邻边界采样中导出当前块的参考采样；
从当前块的矩阵集中选择当前块的矩阵；
通过将参考采样和矩阵相乘来生成当前块的预测采样；
通过根据是否应用转置来用预测采样的转置来替换当前块的预测采样，来自适应地执行转置处理；
用信号发送或解析当前块的转置标志，指示是否应用了转置；和
根据当前块的预测采样对当前图片中的当前块进行编码或解码。
CN202080047533.9A 2019-06-28 2020-06-24 图片及视频处理中的基于矩阵的帧内预测的方法与装置 Pending CN114026854A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962868013P 2019-06-28 2019-06-28
US62/868,013 2019-06-28
PCT/CN2020/098269 WO2020259630A1 (en) 2019-06-28 2020-06-24 Method and apparatus of matrix based intra prediction in image and video processing

Publications (1)

Publication Number Publication Date
CN114026854A true CN114026854A (zh) 2022-02-08

Family

ID=74060073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080047533.9A Pending CN114026854A (zh) 2019-06-28 2020-06-24 图片及视频处理中的基于矩阵的帧内预测的方法与装置

Country Status (6)

Country Link
US (2) US11700395B2 (zh)
EP (1) EP3973700A4 (zh)
CN (1) CN114026854A (zh)
MX (1) MX2021015954A (zh)
TW (1) TWI737364B (zh)
WO (1) WO2020259630A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240007640A1 (en) * 2022-07-04 2024-01-04 Alibaba (China) Co., Ltd. On planar intra prediction mode

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012276454B2 (en) * 2011-06-28 2016-02-25 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video, accompanied with intra prediction
WO2013106986A1 (en) * 2012-01-16 2013-07-25 Mediatek Singapore Pte. Ltd. Methods and apparatuses of intra mode coding
TWI628959B (zh) 2013-12-13 2018-07-01 美商Ｖｉｄ衡器股份有限公司 提供色域可縮放性3d查找表(lut)估計
US10448011B2 (en) 2016-03-18 2019-10-15 Mediatek Inc. Method and apparatus of intra prediction in image and video processing
EP3442232A4 (en) * 2016-04-06 2019-12-04 KT Corporation METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
CN116916017A (zh) 2016-10-28 2023-10-20 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
JP7403555B2 (ja) * 2019-04-16 2023-12-22 北京字節跳動網絡技術有限公司 イントラコーディングモードにおけるマトリクスの導出
WO2020226424A1 (ko) * 2019-05-08 2020-11-12 엘지전자 주식회사 Mip 및 lfnst를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020246803A1 (ko) * 2019-06-03 2020-12-10 엘지전자 주식회사 매트릭스 기반 인트라 예측 장치 및 방법
CN113906742A (zh) * 2019-06-03 2022-01-07 Lg电子株式会社 基于矩阵的帧内预测装置和方法
MX2022000034A (es) * 2019-06-25 2022-04-06 Fraunhofer Ges Forschung Codificacion usando intra-prediccion basada en matrices y transformadas secundarias.
US20210092405A1 (en) * 2019-09-19 2021-03-25 Qualcomm Incorporated Matrix combination for matrix-weighted intra prediction in video coding
US11582460B2 (en) * 2021-01-13 2023-02-14 Lemon Inc. Techniques for decoding or coding images based on multiple intra-prediction modes
US20220329800A1 (en) * 2021-04-12 2022-10-13 Qualcomm Incorporated Intra-mode dependent multiple transform selection for video coding

Also Published As

Publication number Publication date
US11700395B2 (en) 2023-07-11
MX2021015954A (es) 2022-02-03
TWI737364B (zh) 2021-08-21
TW202106006A (zh) 2021-02-01
WO2020259630A1 (en) 2020-12-30
US20230300373A1 (en) 2023-09-21
EP3973700A4 (en) 2023-06-14
US20220210470A1 (en) 2022-06-30
EP3973700A1 (en) 2022-03-30

Similar Documents

Publication Publication Date Title
TWI739395B (zh) 影像和視訊處理中基於矩陣的畫面內預測方法和裝置
EP3453172B1 (en) Methods and apparatuses of video data processing with conditionally quantization parameter information signaling
US9549198B2 (en) Apparatus for decoding a moving picture
US9237357B2 (en) Method and an apparatus for processing a video signal
US9264739B2 (en) Method and apparatus for encoding/decoding image information
US11202091B2 (en) Method for encoding/decoding a quantization coefficient, and apparatus using same
EP2859726B1 (en) Methods for intra transform skip mode
EP2536151A2 (en) Method and apparatus for processing a video signal
US20160156930A1 (en) Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
US20150139317A1 (en) Method and apparatus for encoding image, and method and apparatus for decoding image
CN113068027B (zh) 使用帧内预测的图像编码/解码方法和装置
KR20190052097A (ko) 영상 처리 방법 및 이를 위한 장치
US9473789B2 (en) Apparatus for decoding a moving picture
CN112585964B (zh) 图像和视频处理中产生mpm以进行帧内预测的方法和装置
CN114747216A (zh) 多重转换选择的发信技术
US20230300373A1 (en) Method and Apparatus of Matrix Based Intra Prediction in Image and Video Processing
WO2021023158A1 (en) Method and apparatus of encoding or decoding video data with intra prediction mode mapping
CN114143548B (zh) 视频编解码中变换系数的编解码
CN112806006A (zh) 使用由预定义准则确定的参考样本以编解码的方法和设备
CN116389737B (zh) 视频编解码中变换系数的编解码
AU2022308668A1 (en) Sequence-level and slice-level syntax representation in video coding
CN115462074A (zh) 经压缩的画中画信令
KR20140129416A (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220422

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: 1 Duxing 1st Road, Hsinchu Science Park, Hsinchu, Taiwan, China

Applicant before: MEDIATEK Inc.

TA01 Transfer of patent application right