CN113661710A - 核心转换和次级转换间的交互作用 - Google Patents

核心转换和次级转换间的交互作用 Download PDF

Info

Publication number
CN113661710A
CN113661710A CN202080027406.2A CN202080027406A CN113661710A CN 113661710 A CN113661710 A CN 113661710A CN 202080027406 A CN202080027406 A CN 202080027406A CN 113661710 A CN113661710 A CN 113661710A
Authority
CN
China
Prior art keywords
index
current block
prediction
transform
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080027406.2A
Other languages
English (en)
Other versions
CN113661710B (zh
Inventor
江嫚书
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN113661710A publication Critical patent/CN113661710A/zh
Application granted granted Critical
Publication of CN113661710B publication Critical patent/CN113661710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频解码器从比特流接收数据，以将要解码的像素块作为视频的当前图片的当前块。视频解码器从比特流接收当前块的第一信令索引和第二信令索引。视频解码器从第一和第二信令索引中确定第一合并索引和第二合并索引。视频解码器使用第一合并索引来选择第一运动候选，并且使用第二合并索引来选择第二运动候选。视频解码器在ALWIP模式下生成一组预测样本，并执行逆次级转换，然后执行逆主要转换，以生成当前块的一组残差样本。启用或选择次级转换和/或主要转换取决于当前块的大小、宽度、高度或以上各项的组合。视频解码器通过使用一组残差样本和一组预测样本来重建当前块。

Description

核心转换和次级转换间的交互作用
【交叉引用】
本发明是要求2019.4.3提交的申请号为62/828,567的美国临时专利申请的优先权的非临时申请的一部分。上述专利申请的内容通过引用一并并入本说明书中。
【技术领域】
本公开总体上涉及视频编解码。特别地，本公开涉及转换(transform)和预测操作的信令选择(signaling selection)。
【背景技术】
除非本文另外指出，否则本节中描述的方法不是下面列出的权利要求书的现有技术，并且不被包括在本节中而被承认为现有技术。
高效视频编解码(HEVC)是由视频编解码联合协作团队(JCT-VC)开发的国际视频编解码标准。HEVC基于混合的，基于块的，运动补偿的，类似于DCT的转换编解码架构。压缩的基本单位称为编解码单位(CU)，是2Nx2N像素的正方形像素块，每个CU可以递归地分为四个较小的CU，直到达到预定义的最小大小。每个CU包含一个或多个预测单元(PU)。
为了在HEVC中实现混合编解码架构的最佳编解码效率，每个PU都有两种预测模式，即帧内预测和帧间预测。对于帧内预测模式，空间相邻的重建像素可以用于生成方向预测。HEVC中最多有35个方向。对于帧间预测模式，时间重建的参考帧可以用于生成运动补偿的预测。共有三种不同的模式，包括“跳过(skip)”、“合并(merge)”和“帧间高级运动矢量预测(Inter Advanced Motion Vector Prediction，简写为AMVP)”模式。
当在帧间AMVP模式下对PU进行编解码时，利用传输的运动矢量差(motion vectordifference，简写为MVD)进行运动补偿的预测，该运动矢量差可与运动矢量预测子(MVP)一起用于推导运动矢量(MV)。为了在帧间AMVP模式下确定MVP，高级运动矢量预测(AMVP)方案用于在包括两个空间MVP和一个时间MVP的AMVP候选集中选择运动矢量预测子。因此，在AMVP模式下，需要对MVP的MVP索引和相应的MVD进行编码和传输。另外，还应编码并发送用于在列表0(L0)和列表1(L1)的双向预测和单向预测中指定预测方向的帧间预测方向以及每个帧的参考帧索引。
当以跳过或合并模式对PU进行编解码时，除了所选择的候选的合并索引之外，没有运动信息被发送。这是因为“跳过”和“合并”模式利用运动推断方法(MV＝MVP+MVD，其中MVD为零)从位于同一位置图片中的空间相邻块(空间候选)或时间块(时间候选)获得运动信息，在同一位置的图片是列表0或列表1中的第一个参考图片，在切片报头(sliceheader)中信令(signaled)。在跳过PU(Skip PU)的情况下，残差信号也被省略。为了确定“跳过”和“合并”模式的合并索引，使用“合并”方案从包含四个空间MVP和一个时间MVP的“合并”候选集中选择运动矢量预测子。
【发明内容】
下面的概述仅是说明性的，而无意于以任何方式进行限制。即，提供以下概述以介绍本文所述的新颖和非显而易见的技术的概念、重点、益处和优点。选择而并非所有实施方式将在下面的详细描述中进一步描述。因此，以下发明内容既不旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。
本公开的一些实施例提供一种有效地信令各种转换模式和预测模式的视频编解码器。在一些实施例中，视频解码器从比特流接收数据，以将要解码的像素块作为视频的当前图片的当前块。视频解码器从比特流接收当前块的第一信令的索引(signaled index)和第二信令的索引。视频解码器从第一和第二信令的索引中确定第一合并索引和第二合并索引。视频解码器使用第一合并索引来选择第一运动候选，并且使用第二合并索引来选择第二运动候选。视频解码器计算(i)基于当前块的第一运动候选的第一预测，以及(ii)基于当前块的第二运动候选的第二预测。视频解码器通过使用计算出的第一和第二预测来重建当前块。
在一些实施例中，视频解码器从比特流接收数据，以将要解码的像素块作为视频的当前图片的当前块。视频解码器基于当前块的像素执行平均、矩阵矢量乘法和/或线性插值(1inear interpolation)，以生成当前块的一组预测样本。视频解码器对第一组转换系数执行逆次级转换(inverse sescondary trasnform)以生成第二组转换系数。视频解码器对第二组转换系数执行逆主要转换(inverse primary transform)，以生成当前块的一组残差样本。在一些实施例中，次级转换和/或主要转换的启用或选择取决于当前块的尺寸、宽度、高度或以上的组合。视频解码器通过使用一组残差样本和一组预测样本来重建当前块。
在一些实施例中，视频解码器从比特流接收数据，以将要解码的像素块作为视频的当前图片的当前块。当从比特流接收到的数据指示将次级转换应用于当前块时，视频解码器通过选择默认模式来启用主要转换。视频解码器通过根据启用的主要和次级转换执行逆转换操作来当前块。
【附图说明】
包括附图以提供对本公开的进一步理解，并且附图被并入本公开并构成本公开的一部分。附图示出了本公开的实施方式，并且与描述一起用于解释本公开的原理。可以理解的是，附图不一定按比例绘制，因为为了清楚地示出本公开的概念，某些组件可能被显示为与实际实现中的尺寸不成比例。
图1示出用于帧间预测模式的MVP候选集。
图2示出了包括组合的双向预测合并候选的合并候选列表。
图3示出了包括缩放的合并候选的合并候选列表。
图4示出了将零矢量候选添加到合并候选列表或AMVP候选列表的示例。
图5示出了通过三角预测模式被编解码的CU 500。
图6示出了将自适应加权处理应用于两个三角形单元之间的对角边缘。
图7示出了正向(forward)和反向(backward)RST。
图8示出了具有减少的尺寸(dimensions)的8×8RST。
第9a-d图示出了用于不同形状的块的ALWIP过程。
图10示出了TU假设重建生成，其中成本函数用于测量边界相似度。
图11示出了与4×4TU的残差相关联的成本的计算。
图12示出了实例性视频编码器1200，其实施各种主要转换、次级转换和/或预测模式。
图13示出了编码器1200的启用和禁用各种主要转换、次级形式和/或预测模式的部分。
图14概念性地示出了用于通过启用某些主要(primary)转换、次级转换和/或预测模式来对像素块进行编码的过程1400。
图15说明实例性视频解码器1500，其实施各种主要转换、次级转换和/或预测模式。
图16示出了解码器1500的启用和禁用各种主要转换、次级形式和/或预测模式的部分。
图17概念性地示出了用于通过启用某些主要转换、次级转换和/或预测模式来解码像素块的过程1700。
图18概念性地示出了用于实现本公开的一些实施例的电子系统。
【具体实施方式】
在下面的详细描述中，通过示例的方式阐述了许多具体细节，以提供对相关教导的透彻理解。基于本文描述的教导的任何变化、派生和/或扩展均在本公开的保护范围内。在一些情况下，与本文公开的一个或多个示例实施方式有关的众所周知的方法、过程、组件和/或电路可以在没有详细描述的情况下以相对较高的水平进行描述，以避免不必要地混淆本公开的教导的各个方面。
I.帧间预测模式
图1示出了在HEVC中为帧间预测模式设置的MVP候选集(即，跳过(skip)、合并(merge)和AMVP)。该图示出了正在被编码或解码的视频图片或帧的当前块100。当前块100(可以是PU或CU)参考相邻块以导出用于AMVP模式、合并模式或跳过模式的空间和时间MVP。
对于跳过模式和合并模式，从A0、A1、B0和B1导出多达四个空间合并索引，并且从TBR或TCTR导出一个时间合并索引(首先使用TBR，如果TBR不可用，则使用TCTR)。如果四个空间合并索引中的任何一个不可用，则位置B2用于导出合并索引作为替换。在导出四个空间合并索引和一个时间合并索引之后，将多余的合并索引删除。如果非冗余合并索引的数量少于五个，则可以从原始候选中推导其他候选，并将其添加到候选列表中。有三种类型的被推导候选：
1.组合的双向预测合并候选(被推导候选类型1)
2.缩放的双向预测合并候选(被推导候选类型2)
3.零矢量合并/AMVP候选(被推导候选类型3)
对于被推导候选类型1，通过组合原始合并候选来创建组合的双向预测合并候选。具体地，如果当前切片是B切片，则可以通过组合来自列表0和列表1的候选来生成进一步的合并候选。图2示出了包括合并的双向预测合并候选的合并候选列表。如图所示，具有mvL0(列表0中的运动矢量)和refIdxL0(列表0中的参考图片索引)或mvL1(列表1中的运动矢量)和refIdxL1(列表1中的参考图片索引)的两个原始候选是用于创建双向预测合并候选。
对于被推导候选类型2，通过缩放原始合并候选来创建缩放合并候选。图3示出了包括缩放的合并候选的合并候选列表。如图所示，原始合并候选俱有mvLX(列表X中的运动矢量，X可以是0或1)和refIdxLX(列表X中的参考图片索引，X可以是0或1)。例如，原始候选A是具有mvL0_A和参考图片索引ref0的列表0单向预测MV。首先将候选A复制到具有参考图片索引ref0′的列表L1。缩放后的MV mvL0’_A是通过根据ref0和ref0’缩放mvL0_A计算得出的。创建具有列表L0中的mvL0_A和ref0以及列表L1中的mvL0’_A和ref0’的缩放的双向预测合并候选，并将其添加到合并候选列表中。同样，将创建一个缩放的双向预测合并候选，该候选具有列表0中的mvL1’_A和ref1’，以及列表l中的mvLl_A，ref1，并将其添加到合并候选列表中。
对于被推导候选类型3，通过组合零矢量和参考索引来创建零矢量候选。如果创建的零矢量候选不是重复的，则将其添加到合并/AMVP候选列表。图4示出了将零矢量候选添加到合并候选列表或AMVP候选列表的示例。
II.三角预测模式(Triangular Prediction Mode，简写为TPM)
图5示出了通过三角预测模式被编解码的CU 500。如图所示，CU 500通过一定角度的直线或对角线分割CU 500，在对角线或对角线反方向上分为两个三角形单元510(PU1)和520(PU2)。线可以用距离和角度来表示。对于目标合并模式，CU中的每个单元(对于TPM，三角形单元)通过使用其自身的单向预测运动矢量和参考帧索引进行帧间预测，这些运动矢量和参考帧索引是从由双向预测候选或单向预测候选组成的候选列表中导出的。在图5的示例中，使用包含运动矢量Mv1和相应参考索引的第一运动信息(Motion1)对三角形单元510进行帧间预测，并且使用包含运动矢量My2和相应的参考索引的第二运动信息(Motion2)对三角形单元520进行帧间预测。在一些实施例中，通过第一运动信息和第二运动信息的帧间预测的加权和来帧间预测位于两个三角形分区之间的对角边界上的重迭预测区域530。因此，重迭预测区域530也可以被称为加权区域或边界区域。
图6示出了对两个三角形单元510和520之间的对角边缘(即，重迭预测区域530)应用自适应加权处理。
列出了两个加权因子组，如下：
第一加权因子组：{7/8、6/8、4/8、2/8、1/8}和{7/8、4/8、1/8}分别用于亮度和色度样本；
第二加权因子组：分别为{7/8、6/8、5/8、4/8、3/8、2/8、1/8}和{6/8、4/8、2/8}分别用于亮度和色度样本。
在一些实施例中，基于两个三角形单元的运动矢量的比较来选择一个加权因子组。当两个三角形单元的参考图片彼此不同或它们的运动矢量差大于16个像素时，将使用第二加权因子组。否则，使用第一加权因子组。在另一实施例中，仅使用一个加权因子组。在另一个实施例中，每个样本的加权因子是根据样本与一用来分割的定角度直线之间的距离得出的。图6的示例示出了CU 500沿着三角形单元510和三角形单元520之间的对角边界将第一加权因子组应用于加权区域(或重迭预测区域)530。
在一些实施例中，信令一个TPM标志以指示是否启用TPM。当TPM标志(例如，merge_triangle_flag)指示启用TPM时，至少三个值被编码到比特流中：首先，使用旁路比特子对分割方向标志(指示对角线还是对角线反向)进行编码。其次，以与常规合并模式的合并索引相同的方式对PU0的合并索引(Idx0)进行编码。第三，对于PU1，不是直接对合并索引(Idx1)的值进行编码，而是发送信号通知信令的索引(或Idx′1)，因为Idx0和Idx1的值不能相等。在一些实施例中，信令的索引Idx′1被定义为Idx1-(Idx1＜Idx0？0：1)，即，如果Idx1小于Idx0，则Idx′1被设置为与Idx1相同。如果Idx1不小于Idx0，则将Idx′1设置为Idx1-1。
下表中提供了TPM信令的示例语法。
Figure BDA0003293589360000071
如所提到的，合并索引Idx0和Idx1分别从TPM的候选列表指示PU0和PU1的运动候选。当信令PU0和PU1的运动候选时，将使用较短的码字通过预定义的信令方法(例如一元截断)对小索引值进行编解码。在一些实施例中，为了提高编解码效率，将合并索引Idx0改变为信令的值Idx′0，并将合并索引Idx1改变为信令的值Idx′1，并且视频编解码器信令Idx′0和Idx′1，而不是Idx0和Idx1。
在一些实施例中，Idx′0等于Idx0。在一些实施例中，Idx′1等于Idx1。换句话说，在计算Idx′0或Idx′1之前，不需要视频编解码器将Idx0与Idx1进行比较。简化起见，可以直接将Idx′x分配给Idxx(对于x＝1或0)。
在一些实施例中，Idx′x等于Idxx并且Idxy＝Idxx+Idx′y*符号，其中(x，y)可以是(0，1)或(1，0)。例如，如果x＝0和y＝1，则Idx′0等于Idx0，Idx1等于Idx0+Idx′1*符号，如果Idx1≥Idx0则符号(sign)设置为1，否则符号设置为-1(如果Idx1＜Idx0)。在某些实施例中，符号是推断的，不需要信令。例如，可以将符号推断为1或-1，或者可以根据预定义的标准隐式确定符号。预定义的标准可以取决于块的宽度或块的高度或块的面积，或者可以根据Idx0进行交织(interleaving)分配。
在一些实施例中，如果在等式或表中指定了Idx0，则将符号推断为1；否则，符号被推断为-1。例如，Idx0由固定式{Idx0％N＝＝n}指定，其中N和n是预定的。在一些实施例中，Idx′1min(abs(Idx0和Idx1的差，N)。在一些实施例中，约束应用于Idx′1，或者更具体地，在确定Idx′1时将约束应用于N。例如，N是TPM后续的最大数。在另一个示例中，N是2、3、4、5、6、7或8。在另一个示例中，N可以随块宽度或块高度或块面积而变化。面积大于特定大小(例如64、128、256、512、1024或2048)的块的N比面积小于特定大小的块的N大。面积小于特定区域的块的N比面积大于特定区域的块的N大。
在一些实施例中，可以从合并索引Idx0导出信令的索引Idx′1，而不必信令(例如，在比特流中被明确信令)Idx′1。例如，在一些实施例中，Idx′1＝Idx0+偏移量*符号，其中偏移量＝1、2、3，...、TPM候选-1的最大数量。偏移量可以是固定的，也可以随块的宽度或块的高度或块的面积而变化。举例来说，面积大于特定区域大小(例如64、128、256、512、1024或2048)的块的偏移量大于面积较小的块的偏移量。举另一例来说，面积小于特定区域大小的块的偏移量大于面积更大的块的偏移量。
III.次级转换
在一些实施例中，除了用于TU的主要(核心)转换(primary(core)transform)(例如DCT-II)外，次级转换(secondary transform)还用于进一步压缩系数的能量并提高编解码效率。编码器对当前块的像素执行主要转换，以生成一组转换系数。然后对当前块的转换系数执行次级转换。
次级转换其示例包括超立方体-吉文斯转换(Hypercube-Givens Transform，简写为HyGT)、不可分次级转换(Non-Separable Secondary Transform，简写为NSST)和简化的次级转换(Reduced Secondary Transform，简写为RST)。RST也称为低频不可分次级转换(Low Frequency Non-Separable Secondary Transform，简写为LFNST)。简化的次要转换(RST)是一种次级转换，它指定4个转换集(而不是35个转换集)映射。在一些实施例中，对于NxM块采用16×64(或16×48或8×48)矩阵，其中N≥8且M≥8。对于N×M块采用16×16(或8×16)矩阵，其中N＜8或M＜8。为了方便起见，将16x64(或16x48或8x48)转换表示为RST8x8，将16x16(或8x16)转换表示为RST4x4。对于具有8x48或16x48矩阵的RST8x8，对左上8x8区域中的前48个系数(对角线扫描)执行次级转换。对于具有8x16或16x16矩阵的RST4x4，对左上4x4区域中的前16个系数(在对角线扫描)执行次级转换。
RST基于简化的转换(reduced transform，简写为RT)。简化的转换(RT)的基本元素将N维矢量映射到不同空间中的R维矢量，其中R/N(R＜N)是归约因子(reductionfactor)。RT矩阵是R×N矩阵，如下所示：
Figure BDA0003293589360000091
其中，转换的R行是N维空间的R个基(R bases)。RT的逆转换矩阵是其正向(forward)转换的转置。图7示出了正向和逆简化的转换。
在一些实施例中，应用归约因子(reduction factor)为4(1/4大小)的RST8x8。因此，不是使用传统的8x8不可分转换矩阵大小的64x64，而是使用16x64直接矩阵(directmatrix)。换句话说，在解码器侧使用64×16逆RST矩阵以生成8×8左上角区域中的经过核心(主要)转换系数。前向RST8x8使用16×64或16x48(对于8x8块，则为8x48)矩阵。对于RST4x4，应用16x16(或对于4x4块为8x16)直接矩阵乘法。因此，对于转换块(TB)，它仅在左上4×4区域中产生非零系数。换句话说，对于转换块(TB)，如果应用具有16x48或16x16矩阵的RST，除左上4×4区域(前16个系数，称为RST非置零区域(非zero-out region))之外，将仅具有零系数。如果应用具有8x48或8x16矩阵的RST，则除了前8个系数(称为RST非置零区域)，将仅具有零系数。
在一些实施例中，当满足(1)和(2)中的至少一个时，有条件地应用逆RST：(1)块大小大于或等于给定阈值(W＞＝4&&H>＝4)；(2)转换跳过模式标志等于零。如果转换系数块的宽度(W)和高度(H)均大于4，则将RST8x8应用于转换系数块的左上8×8区域。否则，将RST4x4应用于转换系数块的左上角min(8，W)×min(8，H)区域。如果RST索引等于0，则不应用RST。否则，将应用RST，并使用RST索引选择其内核(kemel)。此外，RST应用于帧内或帧间切片的帧内CU。如果启用了双树(dual tree)，则分别信令亮度和色度的RST索引。对于片间(inter slice)(如果禁用双树)，将信令单个RST索引并将其用于亮度或色度。下文将进一步描述RST选择方法和RST索引的编解码。
在一些实施例中，采用帧内子分区(Intra Sub-Partitions，简写为ISP)作为新的帧内预测模式。选择ISP模式后，将禁用RST，并且不会信令RST索引。这是因为即使将RST应用于每个可行的分区块，性能的改善也很微不足道，并且因为对ISP预测的残差禁用RST可以降低编码的复杂性。
在一些实施例中，从四个转换集合中选择RST矩阵，每个转换集合由两个转换组成。根据帧内预测模式，如下确定应用哪个转换集：(1)如果指示了三种CCLM模式之一，则在下面的转换集选择表中选择转换集0或使用相应的亮度帧内预测模式(intra predictionmode)选择转换集，(2)否则，根据以下转换集选择表执行转换集选择：
Figure BDA0003293589360000111
在一些实施例中，索引IntraPredMode具有范围[-14、83]，其是用于广角帧内预测(wide angle intra prediction)的转换模式索引。在一些实施例中，使用每组1个转换(1transform-per-set)配置，这大大减少了存储器的使用(例如，减少一半或5KB)。
在一些实施例中，应用了用于RST的简化方法。简化方法将每个样本的最坏情况下的乘法次数限制为小于或等于8。如果使用RST8x8(或RST4x4)，则当所有TU都由8x8 TU(或4x4 TU)组成时，就乘法次数而言，是最坏的情况。因此，将顶部的8x64(或8x48)或8x16矩阵(换句话说，从每个矩阵的顶部开始的前8个转换基矢量(basis vector))应用于8x8 TU或4x4 TU。
在块大于8x8 TU的情况下，不会发生最坏情况，因此RST8x8(即16x64或16x48矩阵)被应用于左上8x8区域。对于8x4 TU或4x8 TU，RST4x4(即16x16矩阵)应用于除其他4x4区域之外的左上4x4区域，以避免发生最坏情况。在4xN或Nx4 TU(N≥16)的情况下，RST4x4应用于左上4x4块。通过上述简化，最坏情况下的乘法数变为每个样本8个乘法数。
在一些实施例中，使用尺寸减少的RST矩阵。图8示出了具有减少的尺寸的RST。该图说明了具有16x48矩阵的示例正向RST8x8过程。如图所示，可以使用16x48矩阵代替具有相同转换集配置的16x64矩阵，每个矩阵从左上8x8块中的三个4x4块(排除右下4x4块)获取48个输入数据。随着RST矩阵尺寸的减小，用于存储所有RST矩阵的内存使用量可能会从10KB减少到8KB，伴随合理的性能下降。
R＝16的正向RST8x8使用16×48矩阵，因此仅在左上4×4区域产生非零系数。换句话说，如果应用RST，则除左上的4×4区域(称为RST非零区域)外，仅生成零系数。在一些实施例中，当在RST置零区域内检测到任何非零元素时，不对RST索引进行编解码或信令，因为这暗示未应用RST。在这种情况下，RST索引被推断为零。
IV.仿射线性加权帧间预测
在一些实施例中，为了预测宽度为W和高度为H的矩形块的样本，使用仿射线性加权帧内预测(affine linear weighted intra prediction，简写为ALWIP)。ALWIP也可以称为基于矩阵的帧内预测或矩阵加权帧内预测(Matrix-based intra prediction，MIP)。ALWIP将块左侧的一行H个重建的相邻边界样本的该区块上方的一行W个重建的相邻边界样本作为输入。如果重建的样本不可用，则会像在常规帧内预测中所做的那样生成它们。
针对ALWIP的预测样本集的生成基于以下三个步骤：
(1)平均相邻样本：在边界样本中，基于块大小和形状通过平均选择四个样本或八个样本。具体而言，通过根据取决于块大小的预定义规则，对相邻边界样本求平均，将输入边界bdrytop和bdryleft减小为较小的边界
Figure BDA0003293589360000131
和
Figure BDA0003293589360000132
(2)矩阵乘法：以平均样本作为输入，执行矩阵矢量乘法，然后加上偏移量。结果是原始块中样本的子样本集上的减少的预测信号。
(3)插值：通过线性插值从子样本集上的预测信号产生剩余位置处的预测信号，所述线性插值是在每个方向上的单步(single step)线性插值。
从三组矩阵(S0，S1和S2)中获取在ALWIP下生成预测信号所需的矩阵和偏移矢量。集合S0由N个矩阵组成。N可以是16、17、18或任何正整数。以N＝16为例，16个矩阵
Figure BDA0003293589360000133
每个矩阵有16行4列，16个偏移矢量
Figure BDA0003293589360000134
的每个的大小为16。该集合的矩阵和偏移矢量用于大小为4x4的块。集合S1由8个矩阵
Figure BDA0003293589360000135
组成，每个矩阵有16行和8列，8个偏移矢量
Figure BDA0003293589360000136
的每个的大小为1 6。该集合的矩阵和偏移矢量用于大小为4x8、8x4和8x8的块。最后，集合S2由6个矩阵
Figure BDA0003293589360000137
组成，每个矩阵有64行8列，还有6个偏移矢量
Figure BDA0003293589360000138
每个矢量维度大小是64。该集合的矩阵和偏移矢量或这些矩阵和偏移矢量的一部分用于所有其他块形状。
计算矩阵矢量乘积所需的乘法总数始终小于或等于4 x W xH。换句话说，ALWIP模式每个样本最多需要四个乘法。
在一些实施例中，在第一步中，将顶部边界bdrytop和左侧边界bdryleft减小为较小的边界
Figure BDA0003293589360000139
和
Figure BDA00032935893600001310
这里，在4x4块的情况下，
Figure BDA00032935893600001311
和
Figure BDA00032935893600001312
均由2个样本组成，而在所有其他情况下均由4个样本组成。在4x4块的情况下，对于0≤i＜2，
Figure BDA0003293589360000141
Figure BDA0003293589360000142
否则，若块宽度W给定为W＝4·2k，对于0≤i＜4，
Figure BDA0003293589360000143
Figure BDA0003293589360000144
在一些实施例中，在第一步中，将两个减少的边界
Figure BDA0003293589360000145
和
Figure BDA0003293589360000146
串联到减少的边界向量bdryred，其对于4×4的块尺寸为四，对于其他所有形状的块，尺寸为八。减少的上和左边界的串联定义如下：(如果模式是指ALWIP模式)
Figure BDA0003293589360000147
在一些实施例中，对于子采样预测信号的插值，在大块上使用平均边界的第二版本。具体地，如果min(W，H)＞8且W≥H，则W＝8*2l，并且对于0≤i＜8，
Figure BDA0003293589360000148
类似地，若min(W，H)＞8且H＞W，
Figure BDA0003293589360000151
在一些实施例中，在第二步骤中，通过矩阵矢量乘法来产生减少的预测信号。在减少的输入矢量bdryred中，生成减少的预测信号predred。后一个信号是在宽度为Wred和高度为Hred的下采样块(downsampled block)上的信号。在此，Wred和Hred定义为：
Figure BDA0003293589360000152
Figure BDA0003293589360000153
减少的预测信号predred是通过计算矩阵矢量乘积并加上偏移量来计算的：
predred＝A·bdryred+b.
在这里，A是一个矩阵，如果W＝H＝4，则其具有Wred·Hred行和4列，且在所有其他情况下具有8列。b是大小为Wred·Hred的矢量。如下从集合S0、S1、S2之一获取矩阵A和矢量b。索引idx＝idx(W，H)定义如下：
Figure BDA0003293589360000154
此外，m的定义如下：
Figure BDA0003293589360000155
然后，如果idx≤l或idx＝2且min(W，H)＞4，则
Figure BDA0003293589360000161
并且
Figure BDA0003293589360000162
在idx＝2且min(W，H)＝4的时候，舍弃(leave out)
Figure BDA0003293589360000163
中的行或列来产生矩阵A。如果在W＝4的情况下，对应于下采样(downsampled)块中奇数x坐标的每列
Figure BDA0003293589360000164
或者，如果在H＝4的情况下对应于下采样块中奇数y坐标的每行
Figure BDA0003293589360000165
最后，在以下情况下，已减少的预测信号将被其转置代替：
W＝H＝4且模式≥18
max(W，H)＝8且模式≥10
max(W，H)＞8且模式≥6
在W＝H＝4的情况下，计算predred所需的乘法数为4，因为在这种情况下，A具有4列和16行。在所有其他情况下，A具有8列和Wred·Hred行。在这些情况下，需要8·Wred·Hred≤4·W·H乘法，即在这些情况下，每个样本最多需要4个乘法来计算predred。
图9a-d示出了用于不同形状的块的ALWIP过程。块的ALWIP处理包括(1)平均，(2)矩阵矢量乘法和(3)线性插值。图9a示出了用于4×4块的ALWIP。给定一个4x4的块，ALWIP沿边界的每个轴取两个平均值。所得的四个输入样本进入矩阵矢量乘法。矩阵取自集合S0。添加偏移量后，将得出16个最终预测样本。线性插值对于生成预测信号不是必需的。因此，每个样本总共执行(4*16)÷(4*4)＝4次乘法。
图9b示出了用于8×8块的ALWIP。给定一个8×8的块，ALWIP沿边界的每个轴取四个平均值。所得的八个输入样本进入矩阵矢量乘法。矩阵取自集合S1。这在预测块的奇数字置上产生16个样本。因此，每个样本总共执行(8·16)÷(8·8)＝2次乘法。添加偏移后，将使用缩小的顶部边界对这些样本进行垂直插值。通过使用原始的左边界进行水平插值。在这种情况下，插值过程不需要任何乘法。因此，每个样本总共需要2次乘法来计算ALWIP预测。
图9c示出了用于8×4块的ALWIP。给定一个8×4的块，ALWIP沿边界的水平轴取四个平均值，在左边界取四个原始边界值。所得的八个输入样本进入矩阵矢量乘法。矩阵取自集合S1。这在预测块的奇数水平和每个垂直位置上产生16个样本。因此，每个样本总共执行(8·16)÷(8·4)＝4次乘法。添加偏移后，将使用原始的左边界对这些样本进行水平插值。在这种情况下，插值过程不会添加任何乘法。因此，每个样本总共需要进行4次乘法以计算ALWIP预测。
图9d示出了用于16×16块的ALWIP。给定一个16×16的块，ALWIP沿边界的每个轴取四个平均值。所得的八个输入样本进入矩阵矢量乘法。矩阵取自集合S9。这在预测块的奇数字置上产生64个样本。因此，每个样本总共执行(8·64)÷(16·16)＝2次乘法。添加偏移量后，将使用顶部边界的八个平均值对这些样本进行垂直插值。通过使用原始的左边界进行水平插值。在这种情况下，插值过程不会添加任何乘法。因此，总的来说，每个样本需要两次乘法来计算ALWIP预测。
对于较大的形状，该过程本质上是相同的，并且很容易检查每个样本的乘法次数是否少于四个。对于W＞8的W×8块，仅需要水平插值，因为在奇数水平位置和每个垂直位置给出了样本。在这种情况下，每个样本执行(8·64)÷(W·8)＝64/W次乘法，以计算减少的预测。在一些实施例中，对于W＝16，线性插值不需要额外的乘法。对于W＞16，线性插值所需的每个样本的附加乘法数少于2。因此，每个样本的乘法的总次数小于或等于四。
对于宽度W＞8的W×4块，令Ak为矩阵，它通过舍弃对应于沿着下采样块水平轴的奇数项(odd entry)的每一行而产生。因此，输出大小为32，再次，仅需执行水平插值。为了计算减少的预测，每个样本执行(8·32)÷(W·4)＝64/W次乘法。对于W＝16，不需要额外的乘法，而对于W＞16，线性插值需要每个样本少于2次乘法。因此，乘法的总数小于或等于四。转置后的情况也相应处理。
V.次级转换的约束
在本申请的一些实施例中，当应用ALWIP模式时，可以执行诸如RST或LFNST的次级转换。在一些实施例中，当在某些条件下应用ALWIP时，视频编解码器可以执行次级转换。例如，当当前块的宽度、高度或面积(大小)大于或小于某个阈值时。更具体地，在一个实施例中，在确定当前块的宽度和高度大于或等于第一阈值之后，使用ALWIP模式的当前块可以执行次级转换。在一个实施例中，在确定当前块的宽度和高度小于第二阈值之后，使用ALWIP模式的当前块可以执行次级转换。在一些实施例中，对于使用ALWIP模式的当前块，其次级转换候选的数量与使用常规帧内模式的块的数量相同。在一些实施例中，当应用ALWIP时，次级转换候选的数量减少到N(在一些实施例中，N可以是1、2、3或4。)
在一些实施例中，当满足以下两个约束时，以ALWIP模式执行次级转换：1)确定当前块的宽度和高度大于或等于第一阈值；2)确定次级转换的索引大于索引阈值，例如零(0)。更详细地，首先确定当前块的宽度和高度是否大于或等于第一阈值。当第一判定步骤为肯定时，满足约束1)，并信令次级转换的索引。执行随后的第二判定步骤，以查看信令的索引是否大于索引阈值。如果第二判定步骤是肯定的，则满足约束2)。在一些实施例中，要求在可以信令次级转换的索引之前应当满足更多的约束。然而，这些是根据本申请的精神的示例，并且不应限制本申请的范围。
用于主要转换的转换模式指示用于水平转换的一种转换类型和用于垂直转换的一种转换类型。在一些实施例中，可以用标志和/或索引隐式地确定或显式地信令用于主要转换的转换模式。例如，在一些实施例中，用索引指示转换模式，并且当索引为0时，用于主要转换的转换模式被分配为默认转换模式，例如用于两个方向的DCT-II。否则，从候选转换集的任何信令顺序的任何组合(例如{(DST-VII，DST-VII)，(DCT-VIII，DCT-VIII)，(DST-VII，DCT-VIII)，(DCT-VIII，DST-VII)}选择用于主要转换的一个转换模式(其指示水平转换和垂直转换)。对于诸如RST或LFNST这类次级转换的转换模式，信令索引指示来自候选集(包括N个(例如2或3个)候选)中的一个候选。RST索引等于0表示未应用RST。
在一些实施例中，可以对利用残差和主要转换生成的系数执行次级转换(例如，RST)。在一些实施例中，当应用主要转换时，不能使用次级转换。在一些实施例中，当主要转换不等于默认转换模式(例如，默认转换模式为(DCT-II，DCT-II))时，或者当主要转换的索引大于0、1、2或3时，则不能应用次级转换，或者将次级转换的候选数减少为1或2，或者次级转换的索引不能等于最大索引，例如3。
在一些实施例中，用于主要转换的转换模式是特定的转换模式(例如(DCT-II，DCT-II)或(DST-VII，DST-VII))，不能应用次级转换，或者次级转换的候选的数量减少到1或2，或者次级转换的索引不能等于最大索引(例如3)。
在一些实施例中，对于主要转换，当水平转换等于垂直转换时，不能应用次级转换，或者次级转换的候选的数量减少到1或2，或者次级转换的索引转换不能等于最大索引(例如3)。
在一些实施例中，当应用次级转换(例如，次级转换的索引大于0)时，不能使用主要转换，或者用于主要转换的候选的数量减少到1或2，或者主要转换的索引不能等于最大索引(例如3)。例如，当应用次级转换时，将使用默认的主要转换模式，并且/或者默认的主要转换模式的索引设置为0，这意味着用于主要转换的默认主要转换模式为DCT-II。在一些实施例中，在没有信令的情况下推断默认主要转换的索引。在一些实施例中，将不通过隐式转换类型分配来进一步改变用于主要转换的转换类型。在一些实施例中，当次级转换等于特定数目(例如1、2或3)时，不使用主要转换，或者将用于主要转换的候选的数目减少为1或2，或者主要转换的索引不等于最大索引(例如3)。
VI.多个转换的高效信令
在一些实施例中，用于多个转换的有效信令方法被用来进一步改善视频编解码器中的编解码性能。在一些实施例中，代替将预定和固定的码字用于不同的转换，使用预测或预定义的方法将转换索引(指示要使用哪个转换)动态地映射到不同的码字中。这种信令方法可以包括以下步骤：
首先，通过预定过程确定预测的转换索引。在该过程中，将成本分配给每个候选转换，并且将选择成本最小的候选转换作为预测转换，并将转换索引映射到最短码字。对于其余的转换，有几种方法可以分配码字，通常为其余的转换创建一个顺序，然后可以根据该顺序给出码字(例如，较短的码字将给予顺序中靠前的一个)。
第二，在确定了预测转换并且所有其他转换也被映射到有序列表之后，编码器可以将要信令的目标转换与预测转换进行比较。如果目标转换(由编解码过程确定)恰好是预测转换，则可以将用于预测转换的码字(总是最短的转换)用于信令。如果不是这种情况，则编码器可以进一步搜索顺序以找出目标转换的位置以及与之对应的最终码字。对于解码器，将计算相同的成本，并且还将创建预测转换和相同的顺序。如果接收到用于预测转换的码字，则解码器知道目标转换是预测转换。如果不是这种情况，则解码器可以按顺序查找码字以找出目标转换。根据以上描述，可以假设，如果(转换)预测的命中率(成功预测率)变高，则可以使用比以前更少的比特来对相应的转换索引进行编解码。
为了获得更高的预测命中率，有几种方法可以计算多个转换的成本。在一些实施例中，边界匹配方法用于产生成本。对于一个TU和一个特定转换的系数，将它们(TU系数)去量化，然后进行逆转换以生成重建的残差。通过将那些重建的残差添加到预测子(来自帧内或帧间模式)，可以获取重建的当前像素，从而为该特定转换形成一个假设的重建(hypothesis reconstruction)。假设的重建的像素与重建的相邻像素高度相关，则可以给出测量边界相似度的成本。
图10示出了TU假设重建生成，其中成本函数用于测量边界相似度。如图所示，对于一个4x4 TU，针对一个特定的转换生成一个假设重建，并且可以通过如图10所示的等式1010，使用跨越顶部和上方边界的那些像素来计算成本。在该边界匹配过程中，仅边界像素被重建，可以避免逆转换操作(针对非边界像素)以降低复杂度。在一些实施例中，可以对TU系数进行自适应缩放或选择以进行重建。在一些实施例中，可以自适应地缩放或选择重建的残差以进行重建。在一些实施例中，可以使用不同数量的边界像素或不同形状的边界(仅顶部，仅上方或其他扩展部分)来计算成本。在一些实施例中，可以使用不同的成本函数来获得对边界相似度的更好的测量。例如，可以考虑不同的帧内预测方向以调整边界匹配方向。
在一些实施例中，可以通过测量重建残差的特征来获得成本。对于一个TU的系数和一个特定的次级转换，将它们(TU的系数)去量化，然后进行逆转换以生成重建的残差。可以给出测量这些残差能量的成本。
图11示出了与4×4TU的残差相关联的成本的计算。对于一个4x4 TU，成本计算为不同残差集的绝对值之和。在一些实施例中，可以使用不同形状的不同残差集来产生成本。在图11的示例中，Cost1被计算为顶行和左侧的绝对值之和，cost2被计算为残差的中心区域的绝对值之和，cost3被计算为残差的右下角区域的绝对值之和。
在一些实施例中，这里的转换(被信令的转换)可以是次级转换和/或主要转换和/或转换跳过模式。对于TU，使用索引来信令转换跳过或主要转换的一种转换模式。当索引(用于选择转换)等于零时，将使用默认转换模式(例如，用于两个方向的DCT-II)。当索引等于1时，将使用转换跳过。当索引大于1时，可以使用多种转换模式之一(例如用于水平和/或垂直转换的DST-VII或DCT-VIII)。对于次级转换，索引(从0到2或3)用于选择一个次级转换候选。当索引等于0时，不应用次级转换。在一些实施例中，可以用索引来信令包括转换跳过模式和/或主要转换和/或次级转换的转换。该索引的最大数量是主要转换的候选数+次级转换的候选数+转换跳过模式的1。
在一些实施例中，用于有效信令多个转换的方法用于确定信令顺序。例如，存在4个候选主要转换组合(一个默认转换+不同组合)、4个候选次级转换组合(无次级转换+2或3个候选)和转换跳过模式。用于多个转换的有效信令的方法可以用于总组合的任何子集以生成相应的成本，并且可以相应地改变信令。在一些实施例中，此处的转换(信令的转换)包括转换跳过模式和主要转换的默认转换模式。如果转换跳过模式的成本小于默认转换模式的成本，则转换跳过模式的码字长度小于默认转换模式的码字长度。例如，在一些实施例中，用于转换跳过模式的索引被分配为0，并且用于默认转换模式的索引被分配为1。在一些实施例中，此处的转换(信令的转换)是转换跳过模式。如果转换跳过模式的成本小于特定阈值，则转换跳过模式的码字长度比主要转换的其他转换短。阈值可以随块宽度或块高度或块面积而变化。
在一些实施例中，可以用索引来指示用于CU的预测模式。预测模式可以是帧间模式、帧内模式、帧内块复制模式(IBC模式)和/或新添加的组合模式。在一些实施例中，可以独立于来自相邻块的信息来确定用于该索引的上下文。在一些实施例中，可以通过对帧内编解码的相邻块的数量进行计数来确定第一比特子的上下文或该比特子(用于确定预测模式是否是帧内模式)。例如，相邻块包含左侧和/或上方，从左侧开始的一个4x4块和/或从上方开始的一个4x4块，分别表示为A1和/或B1。对于另一个示例，相邻块包含左(表示为A1)、上(表示为B1)、左上(表示为B2)、左下(表示为A0)和/或右上(表示为B0)。对于另一个示例，相邻块包含在相邻4x8、8x4或8x8区域中的4x4块，例如左(表示为A1)、左相关(表示为A3)、上(表示为B1)、上相关(表示为Bx，其中x可以是0、2、3、4、5、6、7、8或9)和/或左下角(表示为A0)。
在一些实施例中，第一比特子(或决定预测模式是否是帧内模式的比特子)的上下文可以取决于来自{左，上，右，下，右上方，左上方}的任意一个或任意组合的相邻块。例如，可以使用来自左和/或上方的相邻块。在一些实施例中，第一比特子(或决定预测模式是否是帧内模式的比特子)的上下文不能参考跨CTU行信息。在一些实施例中，仅可以使用来自左(A1)和/或左相关(A3)的相邻块。在一些实施例中，相邻块形成左(A1)和/或左相关(A3)，和/或同一CTU中来自上方(B1)的相邻块，和/或同一CTU中上方相关的相邻块(例如Bx，其中x可以是0、2、3、4、5、6、7、8或9)可被使用。
VI.帧内/帧间预测组合设置
在一些实施例中，当以合并模式对CU进行编解码时，并且如果CU包含至少64个亮度样本(即，CU宽度乘以CU高度等于或大于64)，则信令附加标志以指示是否将组合帧间/帧内预测(combined inter/intra prediction，简写为CIIP)模式应用于当前CU。为了形成CIIP预测，首先从两个附加语法元素中得出帧内预测模式。最多可以使用四种可能的帧内预测模式：DC、平面、水平或垂直。然后，使用常规帧内和帧间解码处理来导出帧间预测和帧内预测信号。最后，对帧间和帧内预测信号进行加权平均以获得CIIP预测。在一些实施例中，通过将允许的帧内模式的数量从4减少到仅1，即平面模式来简化CIIP模式，并且因此也去除了CIIP最可能模式(MPM)列表构造。
基于相邻帧内编解码块的数量来自适应地选择帧内和帧间预测样本的加权。(wIntra，wInter)加权如下自适应设置。如果顶部和左侧相邻都进行了帧内编解码，则(wIntra，wInter)设置为等于(3，1)。否则，如果这些块之一被帧内编解码，则这些加权是相同的，即(2，2)，否则加权被设置为等于(1，3)。
在一些实施例中，用于CIIP的基于相邻的加权方法以及用于帧内预测的加权和用于帧间预测的加权被表示为(wintra，winter)。在该基于相邻的加权方法中，当将平面模式选择为用于CIIP的帧内预测模式时，左相邻块和上相邻块均用于确定帧内和帧间预测的加权。在一些实施例中，存在三个加权组合，包括comb1＝{3，1}，comb2＝{2，2}，和comb3＝{1，3}。
对于一些实施例，可以根据一组加权组合设置从加权池的任何子集中选择用于组合帧内预测和帧间预测的加权(分别为wintra，winter)。为了生成CIIP的最终预测，帧内预测乘以wintra与帧间预测乘以winter相加，然后应用右移(right-shift)N。可以根据N更改wintra和winter的数目。例如，当N＝2时，加权池可以为{(1，3)，(3，1)，(2，2)}。又例如，当N＝3时，加权池可以是{(2，6)，(6，2)，(4，4)}。这两个示例可以视为相同的加权设置。
在一些实施例中，{上，左，左上，右上，下，左下}的任何子集可用于根据一组块位置设置来确定CIIP的加权。在下面的描述中，comb1、comb2和comb3可以等于上述设置，或者可以按任意顺序设置为加权组合设置中建议的任何子集。例如，当加权池为{(3，1)，(2，2)，(1、3)}时，comb1、comb2和comb3可以分别是(1、3)、(2、2)和、(3，1)，或分别为(3，1)、(2，2)和(1，3)，或任何其他可能的顺序。在一些实施例中，仅使用左块(以确定CIIP的加权)。例如，在一些实施例中，如果顶部和左侧相邻都被帧内编解码，则将(wIntra，wInter)设置为等于comb1；否则，如果这些块之一被帧内编解码，则这些加权是相同的，即，comb2，否则加权被设置为等于comb3。在一些实施例中，如果上述块与当前块不在同一CTU中，并且如果左相邻是帧内编解码的，则将(wIntra，wInter)设置为等于comb1；否则，这些加权是相同的，即comb2或comb3。在一些实施例中，至少使用左块(以确定CIIP的加权)。在另一实施例中，当使用上方块(以确定CIIP的加权)时，可能需要一个约束。当上方块与当前模块不在同一CTU中时，上方块不应视为帧内模式。例如，在一些实施例中，如果顶部和左侧相邻都被帧内编解码，则将(wIntra，wInter)设置为等于comb1；否则，如果这些块之一被帧内编解码，则这些加权是相同的，即，comb2，否则加权被设置为等于comb3。如果上方块与当前块不在同一CTU中，则(wIntra，wInter)不等于comb1。当上方块与当前块不在同一CTU中时，不应考虑上方块。例如，在一些实施例中，如果顶部和左侧相邻都被帧内编解码，则将(wIntra，wInter)设置为等于comb1；否则，如果这些块之一是帧内编解码的，则用于帧内和帧间加权的这些加权是相同的，即comb2，否则加权设置为等于comb3。如果上方块与当前块不在同一CTU中，并且如果左相邻是帧内编解码的，则将(wIntra，wInter)设置为等于comb1；否则，这些加权对于帧内和帧间加权是相同的，即comb2或comb3。
在一些实施例中，当用于确定加权的块全部是帧内模式(由帧内模式编解码)时，wintra被设置为大于winter。例如，(wintra，winter)＝(3，1)。在一些实施例中，当用于决定加权的块的数量大于特定阈值(例如1)时，wintra设置为大于winter，例如，(wintra，winter)＝(3，1)。在一些实施例中，当用于确定加权的块不是全部帧内模式(编解码)时，wintra等于winter，例如，(wintra，winter)＝(2，2)。在一些实施例中，当用于确定加权的块的数量小于特定阈值(例如1)时，wintra等于winter，例如(wintra，winter)＝(2，2)。在一些实施例中，当用于确定加权的块的数量小于特定阈值(例如1)时，wintra等于winter，例如(wintra，winter)＝(2、2)。在一些实施例中，当用于决定加权的块不全是帧内模式(编解码)时，wintra等于winter，例如，(wintra，winter)＝(2，2)。
在一些实施例中，CU的CIIP加权(wintra，winter)可以使用关于如何决定用于其他预测模式上下文的统一方法。例如，可以独立于来自相邻块的信息来确定CIIP加权。在一些实施例中，可以通过对帧内编解码的相邻块的数量进行计数来确定CIIP加权。例如，相邻块包含左侧和/或上方块，从左侧开始的一个4x4块和/或从上方开始的一个4x4块，分别表示为A1和/或B1。对于另一个示例，相邻块包含左(表示为A1)、上(表示为B1)、左上(表示为B2)、左下(表示为A0)和/或右上(表示为B0)。对于另一个示例，相邻块包含在相邻4x8、8x4或8x8区域中的4x4块，例如左(表示为A1)、左相关(表示为A3)、上(表示为B1)、上相关(表示为Bx，其中x可以是O、2、3、4、5、6、7、8或9)和/或左下角(表示为A0)。
在一些实施例中，CIIP加权可以取决于来自{左，上，右，下，右上，左上}中的任何一个或任意组合的相邻块。在一些实施例中，可以使用从左和/或上方开始的相邻块。在一些实施例中，CIIP加权不能参考跨CTU行信息。例如，只能使用来自左和/或左相关的相邻块(A1)和/或(A3)(因为A1和A3与当前块在同一CTU行中)。对于另一个示例，可以使用来自左和/或左相关的相邻块(A1)和/或(A3)，和/或来自相同CTU中的上相邻块(B1)，和/或来自相同CTU的上相关(例如，Bx，其中x可以是0、2、3、4、5、6、7、8或9)。
对于一些实施例，可以应用以上的任何组合。上面的任何变化都可以由块宽度或块高度或块面积隐式确定，或由在CU、CTU、切片、图块、图块、图块组、SPS或PPS级别发信的标志显式确定。
可以在编码器和/或解码器中实现任何上述提议的方法。例如，可以在编码器的帧间/帧内/转换编码解码模块、运动补偿模块、解码器的合并候选导出模块中实现任何所提出的方法。可替代地，任何所提出的方法可以被实现为耦合到编码器的帧间/帧内/转换编码解码模块和/或运动补偿模块、解码器的合并候选导出模块的电路。
VII.视频编码器示例
图12说明实例性视频编码器1200，其实施各种主要转换、次级转换和/或预测模式。如图所示，视频编码器1200从视频源1205接收输入视频信号，并将该信号编码进比特流1295。视频编码器1200具有若干组件或模块，用于对来自视频源1205的信号进行编码，至少包括从以下组件中选择的一些组件：转换模块1210、量化模块1211、逆量化模块1214、逆转换模块1215、图片内(intra-picture)估计模块1220、帧内预测模块1225、运动补偿模块1230、运动估计模块1235、环路滤波器1245、重建图片缓冲器1250、MV缓冲器1265和MV预测模块1275、以及熵编码器1290。运动补偿模块1230和运动估计模块1235是帧间预测模块1240的一部分。
在一些实施例中，模块1210至1290是由计算设备或电子装置的一个或多个处理单元(例如，处理器)执行的软件指令的模块。在一些实施例中，模块1210至1290是由电子装置的一个或多个集成电路(IC)实现的硬件电路的模块。尽管模块1210-1290被图示为单独的模块，但是某些模块可以组合为单个模块。
视频源1205提供原始视频信号，该原始视频信号无需压缩即可呈现每个视频帧的像素数据。减法器1208计算视频源1205的原始视频像素数据与来自运动补偿模块1230或帧内预测模块1225的预测像素数据1213之间的差。转换模块1210转换该差(或残差像素数据或残差信号1209)转换成转换系数(例如，通过执行离散余弦转换或简写为DCT)。量化模块1211将转换系数量化为量化数据(或量化系数)1212，其由熵编码器1290编码为比特流1295。
逆量化模块1214对量化数据(或量化系数)1212进行去量化以获得转换系数，并且逆转换模块1215对转换系数执行逆转换以产生重建残差1219。重建残差1219与预测像素数据1213相加以产生重建像素数据1217。在一些实施例中，重建像素数据1217被临时存储在行缓冲器(line buffer)(未示出)中，用于图片内预测和空间MV预测。重建像素由环路滤波器1245滤波，并存储在重建图片缓冲器1250中。在一些实施例中，重建图片缓冲器1250是视频编码器1200外部的存储器。在一些实施例中，重建图片缓冲器1250是视频编码器1200内部的存储器。
图片内估计模块1220基于重建的像素数据1217执行帧内预测以产生帧内预测数据。帧内预测数据被提供给熵编码器1290以被编码为比特流1295。帧内预测数据还被帧内预测模块1225使用以产生预测像素数据1213。
运动估计模块1235通过产生MV来执行帧间预测，该MV是存储在重建图片缓冲器1250中的先前解码帧的参考像素数据。这些MV被提供给运动补偿模块1230以产生预测像素数据。
视频编码器1200不是在比特流中编码完整的实际MV，而是使用MV预测来生成预测的MV，并且将用于运动补偿的MV与预测的MV之间的差编码为残差运动数据并存储在比特流1295。
MV预测模块1275基于参考MV生成预测的MV，参考MV是为对先前的视频帧进行编码而生成的，即，用于执行运动补偿的运动补偿MV。MV预测模块1275从MV缓冲器1265中的先前视频帧中撷取参考MV。视频编码器1200将针对当前视频帧生成的MV存储在MV缓冲器1265中作为用于生成预测MV的参考MV。
MV预测模块1275使用参考MV来创建预测的MV。可以通过空间MV预测或时间MV预测来计算预测的MV。熵编码器1290将当前帧的预测MV和运动补偿MV(MC MV)之间的差(残差运动数据)编码到比特流1295中。
熵编码器1290通过使用诸如上下文自适应二进位算术编码解码(CABAC)或霍夫曼编码的熵编解码技术将各种参数和数据编码到比特流1295中。熵编码器1290将各种报头元素、标志以及量化的转换系数1212以及残差运动数据作为语法元素编码到比特流1295中。比特流1295又被存储在存储设备中或者通过通信介质(例如网络)被传输到解码器。
环路滤波器1245对重建的像素数据1217执行滤波或平滑操作，以减少编解码的伪像，尤其是在像素块的边界处的伪像。在一些实施例中，执行的滤波操作包括样本自适应偏移(sample adaptive offset，简写为SAO)。在一些实施例中，滤波操作包括自适应环路滤波(ALF)。
图13示出了启用和禁用各种主要转换，次级转换和/或预测模式的编码器1200的部分。具体地，对于每个像素块，编码器1200确定是否执行特定类型的次级转换(例如，RST或LFNST)，是否执行特定类型的主要转换(例如，DCT-II)，是否执行特定类型的预测(例如ALWIP，TPM或CIIP)，以及如何在比特流1295中信令启用了哪些模式。
如所说明的，转换模块1210对残差信号1209执行主要(核心)转换和/或次级转换(例如，RST)，并且逆转换模块1215执行对应的逆主要转换和/或逆次级转换。编码器1200为转换模块1210和逆转换模块1215选择主要转换和/或次级转换。视频编码器1200还实现了组合预测模块1310，其可以接收由图片内预测模块1225生成的帧内预测值或来自运动补偿模块1230或第二运动补偿模块1330的帧间预测值。组合预测模块1310随之产生预测像素数据1213。
MV缓冲器1265将合并候选提供给运动补偿模块1230和/或1330。MV缓冲器1265还存储用于对当前块进行编码的运动信息和模式方向，以供后续块使用。合并候选可以由MV改进模块1365来改变、扩展和/或改进。
编码器1200包括编解码控制模块1300。编解码控制模块1300控制MV改进模块1365的操作。编解码控制模块1300还控制编码器的转换和/或预测操作。例如，编解码控制模块1300确定是否执行次级转换以及执行哪种类型的次级转换(例如，RST)。对于另一个示例，编解码控制模块1300确定要执行哪种类型的主要转换(例如，DCT-II)。编解码控制模块1300控制转换模块1210的转换操作(主要和/或次级)和逆转换模块1215的逆转换操作(主要和/或次级)。
编解码控制模块1300可以使帧内预测模块1225、运动补偿模块1230和/或第二运动补偿模块1330能够实现各种预测模式。具体地，编解码控制模块1300可以使运动补偿模块1230和/或第二运动补偿模块1330能够实现TPM。编解码控制模块1300可以使运动补偿模块1230和/或帧内预测模块1225能够实现CIIP。当组合来自图片内预测模块1225、运动补偿模块1230和/或第二运动补偿模块1330的预测信号时，编解码控制模块1300还可以使组合预测模块1310采用不同的加权方案，如用于位于TPM的对角线或直线边界上的重迭预测区域530。
编解码控制模块1300也可以用于实现或定义各种转换和预测模式之间的交互。例如，在一些实施例中，编解码控制模块1300可以启用ALWIP操作和RST操作，以对当前块进行编解码。编解码控制模块1300还可以根据当前块的大小，宽度或高度来决定对ALWIP和RST的使能(例如，仅当块的宽度和/或高度大于或等于某个阈值大小(例如16)时才可以在ALWIP块中执行RST)。在一些实施例中，当满足以下两个约束时，编解码控制模块1300将决定以ALWIP模式执行次级转换：1)确定当前块的宽度和高度大于或等于第一阈值；2)确定次级转换的索引大于索引阈值，例如零(0)。更详细地，首先确定当前块的宽度和高度是否大于或等于第一阈值。当第一判定步骤为肯定时，满足约束1)，并信令次级转换的索引。执行随后的第二判定步骤，以查看信令的索引是否大于索引阈值。如果第二判定步骤是肯定的，则满足约束2)。在一些实施例中，要求在可以信令次级转换的索引之前应当满足更多的约束。然而，这些是根据本申请的精神的示例，并且不应限制本申请的范围。
作为另一个示例，每当启用次级转换模式(例如，具有非零索引)时，编解码控制模块1300就可以为水平和垂直转换选择默认的主要转换模式，例如DCT-II。编解码控制模块1300还可以用于信令参数或设置(例如，合并索引)作为比特流1295的语法元素。例如，对于通过TPM模式编解码的块，编解码控制模块1300可以向比特流1295信令两个信令索引(Idx′1和Idx′0)，而不是用于对当前块的两个PU进行编码的实际合并索引(Idx0和Idx1)。
图14概念性地示出了用于通过启用某些主要转换、次级转换和/或预测模式来对像素块进行编码的过程1400。在一些实施例中，实现编码器1200的计算设备的一个或多个处理单元(例如，处理器)通过执行存储在计算机可读介质中的指令来执行过程1400。在一些实施例中，实现编码器1200的电子装置执行过程1400。
编码器(在框1410处)将要被编码为视频的当前图片的当前块的像素块的原始像素数据接收到比特流中。编码器确定(在框1411处)是否通过帧间预测对块进行了编解码。如果否，则该过程进行到框1460。如果是，则该过程确定(在框1412处)该块是否由TPM进行了编解码。如果是，则过程进行到框1420。如果不是，则编码器通过使用基于一个运动候选的预测来对当前块进行编码(在框1495处)。
编码器使用第一合并索引来选择第一运动候选，使用第二合并索引来选择第二运动候选(在框1420处)。编码器计算(i)基于当前块的第一运动候选的第一预测和(ii)基于当前块的第二运动候选的第二预测(在框1430处)。在一些实施例中，对于TPM模式，当前块沿直线(该直线透过一分叉当前块(bifurcating the current block)的角度以及与当前块中心的距离来表示)被分成第一和第二单元。在一些实施例中，第一预测影响第一单元，第二预测影响第二单元，并且第一和第二预测都影响重迭预测区域。
编码器将从第一合并索引和第二合并索引确定的第一信令索引和第二信令索引编码到比特流中(在框1440处)。在一些实施例中，基于第一合并索引和第二合并索引之间的比较来确定第二信令索引。在一些实施例中，第一信令索引与第一合并索引相同，但是第二信令索引和第二合并索引可以不同。在一些实施例中，第二信令索引与第二合并索引相同，但是第一信令索引和第一合并索引可以不同。在一些实施例中，第二合并索引被计算为第一合并索引和第二信令索引的和或差。在一些实施例中，基于在比特流中信令的符号位(sign bit)来计算第二合并索引。在一些实施例中，基于基于第一合并索引推断出的符号位来计算第二合并索引。
编码器通过使用计算出的第一和第二预测将当前块编码为比特流(在块1450处)。
编码器通过帧内预测来生成一组预测样本(在框1460处)。例如，对于ALWIP，通过基于当前块的像素执行平均、矩阵矢量乘法和/或线性插值以生成当前块的一组预测样本，换句话说，执行如以上第IV节中所述的ALWIP预测。在一些实施例中，是否次级转换和ALWIP都执行取决于当前块的大小、宽度或高度是否大于或小于阈值(例如，在执行次级转换之前，编码器确定当前块的大小/宽度/高度大于或等于第一阈值和/或小于第二阈值，或/并且确定次级转换的索引大于索引阈值。
编码器对当前块的一组残差样本进行主要转换(在框1470处)，以生成第一组转换系数，该残差样本是基于一组预测样本而生成的。
编码器对第一组转换系数执行(在框1480处)次级转换，以生成第二组转换系数。在一些实施例中，当次级转换被应用于当前块时，编码器通过选择默认候选来启用主要转换。然后，编码器通过根据启用的主要和次级转换对接收到的像素数据执行转换操作来对当前块进行编码，以生成一组转换系数。
在一些实施例中，默认的主要转换是离散余弦转换类型II(DCT-II)。在一些实施例中，次级转换是简化的次级转换(RST)，其将N维矢量映射到不同空间中的R维矢量，其中R小于N。在一些实施例中，次级转换选自四个或更少的候选次级转换。在一些实施例中，当启用次级转换时，仅从一个主要转换候选中选择主要转换(例如，默认的主要转换模式，例如用于水平和垂直转换的DCT-II)。在一些实施例中，唯一的主要转换候选的索引小于三，例如零。例如，当应用次级转换(例如，次级转换的索引大于0)时，只能使用一种主要转换模式，并且主要转换的索引设置为0，这意味着主要转换的转换模式为DCT-II。
编码器通过使用生成的转换系数集合将当前块编码(在块1490处)到比特流中。
VIII.示例的视频解码器
图15说明实例性视频解码器1500，其实施各种主要转换、次级转换和预测模式。如图所示，视频解码器1500是图片解码或视频解码电路，其接收比特流1595并将比特流的内容解码为视频帧的像素数据以供显示。视频解码器1500具有用于解码比特流1595的几个组件或模块，包括选自逆量化模块1505、逆转换模块1510、帧内预测模块1525、运动补偿模块1530、环路滤波器1545、解码图片缓冲器1550、MV缓冲器1565、MV预测模块1575和解析器1590中的一些组件。运动补偿模块1530是帧间预测模块1540的一部分。
在一些实施例中，模块1510-1590是由计算设备的一个或多个处理单元(例如，处理器)执行的软件指令的模块。在一些实施例中，模块1510-1590是由电子装置的一个或多个IC实现的硬件电路的模块。尽管将模块1510至1590图示为单独的模块，但是某些模块可以组合为单个模块。
解析器1590(或熵解码器)接收比特流1595，并根据由视频编解码或图片编解码标准定义的语法来执行初始解析。解析的语法元素包括各种报头元素、标志以及量化数据(或量化系数)1512。解析器1590通过使用诸如上下文自适应二进位算术编解码(CABAC)或霍夫曼编解码之类的熵编码技术解析各种语法元素。
逆量化模块1505对量化数据(或量化系数)1512进行去量化以获得转换系数，并且逆转换模块1510对转换系数1516执行逆转换以产生重建残差信号1519。重建残差信号1519与来自帧内预测模块1525或运动补偿模块1530的预测像素数据1513相加以产生解码像素数据1517。解码像素数据由环路滤波器1545滤波并存储在解码图片缓冲器1550中。在一些实施例中，解码图片缓冲器1550是视频解码器1500外部的存储器。在一些实施例中，解码图片缓冲器1550是视频解码器1500内部的存储器。
帧内预测模块1525从比特流1595接收帧内预测数据，并据此从存储在解码图片缓冲器1550中的解码像素数据1517中产生预测像素数据1513。在一些实施例中，解码像素数据1517也存储在用于图片内预测和空间MV预测的行缓冲器(未示出)中。
在一些实施例中，解码图片缓冲器1550的内容用于显示。显示设备1555或者撷取解码图片缓冲器1550的内容以直接显示，或者将解码图片缓冲器的内容撷取到显示缓冲器。在一些实施例中，显示设备通过像素传输从解码图片缓冲器1550接收像素值。
运动补偿模块1530根据运动补偿MV(MC MV)从存储在解码图片缓冲器1550中的解码像素数据1517中生成预测像素数据1513。通过将从比特流1595接收到的残差运动数据与从MV预测模块1575接收到的预测MV相加，对这些运动补偿MV进行解码。
MV预测模块1575基于为解码先前的视频帧而生成的参考MV(例如，用于执行运动补偿的运动补偿MV)来生成预测的MV。MV预测模块1575从MV缓冲器1565中撷取先前视频帧的参考MV。视频解码器1500将为解码当前视频帧而生成的运动补偿MV存储在MV缓冲器1565中，作为用于产生预测MV的参考MV。
环路滤波器1545对解码的像素数据1517执行滤波或平滑操作，以减少编解码的伪像(尤其在像素块的边界处)。在一些实施例中，执行的滤波操作包括样本自适应偏移(SAO)。在一些实施例中，滤波操作包括自适应环路滤波器(ALF)。
图16示出了启用和禁用各种主要转换，次级转换和/或预测模式的解码器1500的部分。具体地，对于每个像素块，解码器1500确定是否执行特定类型的次级转换(例如，RST)，是否执行特定类型的主要转换(例如，DCT-II)，是否执行特定类型的预测(例如，ALWIP，TPM或CIIP)，以及如何根据比特流1595的内容确定启用哪些模式。
如图所示，逆转换模块1510对转换系数1516执行用于主要转换和/或次级转换(例如，RST)的逆转换操作。解码器1500选择用于转换模块1510和逆转换模块1515的主要转换和/或次级转换。视频解码器1500还实现组合预测模块1610，该组合预测模块1610可以接收由图片内预测模块1525生成的帧内预测值或来自运动补偿模块1530或第二运动补偿模块1630的帧间预测值。组合预测模块1610随之生成预测像素数据1513。
MV缓冲器1565将合并候选提供给运动补偿模块1530和/或1630。MV缓冲器1565还存储用于对当前块进行编码的运动信息和模式方向，以供后续块使用。合并候选可以由MV改进模块1665来改变、扩展和/或改进。
解码器1500包括编解码控制模块1600。编解码控制模块1600控制MV改进模块1665的操作。编解码控制模块1600还控制解码器的转换和/或预测操作。例如，编解码控制模块1600确定是否执行次级转换以及执行哪种类型的次级转换(例如，RST)。对于另一个示例，编解码控制模块1600还确定要执行哪种类型的主要转换(例如，DCT-II)。编解码控制模块1600控制逆转换模块1510的逆转换操作(主要和/或次级转换)。
编解码控制模块1600可以使帧内预测模块1525、运动补偿模块1530和/或第二运动补偿模块1630实施各种预测模式。具体地，编解码控制模块1600可以使运动补偿模块1530和/或第二运动补偿模块1630能够实现TPM。编解码控制模块1600可以使运动补偿模块1530和/或帧内预测模块1525能够实现CIIP。当组合来自图片内预测模块1525、运动补偿模块1530和/或第二运动补偿模块1630的预测信号时，编解码控制模块1600还可以使组合预测模块1610采用不同的加权方案，如用于位于TPM的对角线或直线边界上的重迭预测区域530。
编解码控制模块1600也可以用于实现或定义各种转换和预测模式之间的交互。例如，在一些实施例中，编解码控制模块1600可以启用ALWIP操作和RST操作，以对当前块进行编解码。编解码控制模块1600可以进一步根据当前块的大小，宽度或高度来使能ALWIP和RST(例如，仅当块的宽度和/或高度大于或等于某个阈值大小(例如16)时才可以在ALWIP块中执行RST)。作为另一个示例，每当启用次级转换模式(例如，具有非零索引)时，编解码控制模块1600即可为水平和垂直转换选择默认的主要转换模式，例如DCT-II。编解码控制模块1600还可以用于从比特流1595接收参数或设置(例如，合并索引)。例如，对于由TPM模式编解码的块，编解码控制模块1600可以从比特流1595接收两个信令索引(Idx′1和Idx′0)作为语法元素，而不是用于编码当前块的两个PU的实际合并索引(Idx0和Idx1)。
图17概念性地示出了用于通过启用某些主要转换、次级转换和/或预测模式来解码像素块的过程1700。在一些实施例中，实现解码器1500的计算设备的一个或多个处理单元(例如，处理器)通过执行存储在计算机可读介质中的指令来执行过程1700。在一些实施例中，实现解码器1500的电子装置执行过程1700。
解码器从比特流接收数据，以将要解码的像素块作为视频的当前图片的当前块。解码器确定该块是否通过帧间预测被解码(在框1711处)。如果否，则处理进行到框1760。如果是，则处理确定该块是否由TPM编解码(在框1712处)。如果是，则处理进行到框1715。如果不是，则解码器通过使用基于一个运动候选的预测来对当前块进行解码(在框1795处)。
解码器从比特流接收当前块的第一信令索引和第二信令索引(在框1715处)。解码器根据第一和第二信令索引确定第一合并索引和第二合并索引(在方框1720)。在一些实施例中，基于第一合并索引和第二合并索引之间的比较来确定第二信令索引。在一些实施例中，第一信令索引与第一合并索引相同，但是第二信令索引和第二合并索引可以不同。在一些实施例中，第二信令索引与第二合并索引相同，但是第一信令索引和第一合并索引可以不同。在一些实施例中，第二合并索引被计算为第一合并索引和第二信令索引的和或差。在一些实施例中，基于在比特流中信令的符号位来计算第二合并索引。在一些实施例中，基于基于第一合并索引推断出的符号位来计算第二合并索引。
解码器使用第一合并索引来选择第一运动候选，并且使用第二合并索引来选择第二运动候选(在框1730处)。解码器计算(i)基于当前块的第一运动候选的第一预测和(ii)基于当前块的第二运动候选的第二预测(在框1740处)。在一些实施例中，对于TPM模式，当前块沿直线(该直线透过一分叉当前块(bifurcating the current block)的角度以及与当前块中心的距离来表示)被分成第一和第二单元。在一些实施例中，第一预测影响第一单元，第二预测影响第二单元，并且第一和第二预测都影响重迭预测区域。
解码器通过使用计算的第一和第二预测来重建当前块(在框1750处)。
解码器通过帧内预测来生成一组预测样本(在框1760处)。例如，对于ALWIP，通过基于当前块的像素执行平均、矩阵矢量乘法和/或线性插值以生成当前块的一组预测样本，换句话说，执行如上述第IV节中所述的ALWIP预测。在一些实施例中，是否次级转换和ALWIP都执行取决于当前块的大小、宽度或高度是否大于或小于阈值(例如，在执行次级转换之前，编码器确定当前块的大小/宽度/高度大于或等于第一阈值和/或小于第二阈值，或确定次级转换的索引大于索引阈值。)在一个更详细的实施例中，首先确定当前块的宽度和高度是否大于或等于第一阈值。当第一判定步骤为肯定时，满足约束1)，并信令次级转换的索引。执行随后的第二判定步骤，以查看信令的索引是否大于索引阈值。如果第二判定步骤是肯定的，则满足约束2)。在一些实施例中，要求在可以信令次级转换的索引之前应当满足更多的约束。然而，这些是根据本申请的精神的示例，并且不应限制本申请的范围。
解码器对第一组转换系数执行逆次级转换，以生成第二组转换系数(在方框1770处)。
解码器对第二组转换系数执行逆主要转换，以生成当前块的一组残差样本(在框1780处)。在一些实施例中，当次级转换被应用于当前块时，解码器通过选择默认候选来启用主要转换。解码器然后通过根据启用的主要和次级转换对转换系数执行逆转换操作来对当前块进行解码，以生成一组残差样本。
在一些实施例中，默认的主要转换是离散余弦转换类型II(DCT-II)。在一些实施例中，次级转换是简化的次级转换(RST)，其将N维矢量映射到不同空间中的R维矢量，其中R小于N。在一些实施例中，次级转换选自四个或更少的候选次级转换。在一些实施例中，当启用次级转换时，仅从一个主要转换候选中选择主要转换(例如，默认的主要转换模式，例如用于水平和垂直转换的DCT-II)。在一些实施例中，唯一的主要转换候选的索引小于三，例如零。例如，当应用次级转换(例如，次级转换的索引大于0)时，只能使用一种主要转换模式，并且主要转换的索引设置为0，这意味着主要转换的转换模式为DCT-II。
解码器通过使用残差样本集和预测样本集来重建当前块(在框1790处)。
IX.示例的电子系统
许多上述特征和应用被实现为被指定为记录在计算机可读存储介质(也称为计算机可读介质)上的一组指令的软件过程。当这些指令由一个或多个计算或处理单元(例如，一个或多个处理器，处理器的核心或其他处理单元)执行时，它们使处理单元执行指令中指示的动作。计算机可读介质的示例包括但不限于CD-ROM、闪存驱动器、随机存取存储器(RAM)芯片、硬盘驱动器、可擦可程序化只读存储器(EPROM)、电可擦可程序化只读存储器(EEPROM))等。计算机可读介质不包括无线或通过有线连接传递的载波和电子信号。
在本说明书中，术语“软件”旨在包括驻留在只读存储器中的固件或存储在磁性存储器中的应用，其可以被读入存储器以供处理器处理。而且，在一些实施例中，可以将多个软件发明实现为较大程序的子部分，同时保留不同的软件发明。在一些实施例中，多种软件发明也可以被实现为单独的程序。最后，一起实现此处描述的软件发明的单独程序的任何组合都在本公开的范围内。在一些实施例中，软件程序在被安装以在一个或多个电子系统上运行时，定义了一种或多种执行和执行软件程序的操作的特定机器实现。
图18概念性地示出了实现本公开的一些实施例的电子系统1800。电子系统1800可以是计算机(例如，台式计算机、个人计算机、平板计算机等)、电话、PDA或任何其他种类的电子设备。这样的电子系统包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的介面。电子系统1800包括总线1805、处理单元1810、图形处理单元(GPU)1815、系统存储器1820、网络1825、只读存储器1830、永久存储设备1835、输入设备1840，以及输出设备1845。
总线1805共同代表通信地连接电子系统1800的众多内部设备的所有系统总线、外围设备总线和芯片组总线。例如，总线1805将处理单元1810与GPU 1815、只读存储器1830、系统存储器1820和永久存储设备1835通信地连接。
处理单元1810从这些各种存储单元中撷取要执行的指令和要处理的数据，以便执行本公开的处理。在不同的实施例中，处理单元可以是单个处理器或多核处理器。一些指令被传递到GPU 1815并由其执行。GPU 1815可以卸载各种计算或补充由处理单元1810提供的图片处理。
只读存储器(ROM)1830存储由处理单元1810和电子系统的其他模块使用的静态数据和指令。另一方面，永久存储设备1835是读写存储设备。该设备是非易失性存储单元，即使电子系统1800处于关闭状态，该单元也存储指令和数据。本公开的一些实施例使用大容量存储设备(诸如磁碟或光盘及其对应的磁碟驱动器)作为永久存储设备1835。
其他实施例使用可移动存储设备(例如软盘、闪存设备等，及其对应的磁碟驱动器)作为永久存储设备。像永久存储设备1835一样，系统存储器1820是读写存储设备。然而，与存储设备1835不同，系统存储器1820是易失性读写存储器，例如随机存取存储器。系统存储器1820存储处理器在运行时使用的一些指令和数据。在一些实施例中，根据本公开的过程被存储在系统存储器1820，永久存储设备1835和/或只读存储器1830中。例如，各种存储单元包括用于根据一些实施例处理多媒体剪切的指令。处理单元1810从这些各种存储单元中撷取要执行的指令和要处理的数据，以便执行一些实施例的处理。
总线1805还连接到输入和输出设备1840和1845。输入设备1840使用户能够向电子系统传达信息并选择命令。输入设备1840包括字母数字键盘和指示设备(也称为“光标控制设备”)、照相机(例如，网络摄像头)、麦克风或用于接收语音命令的类似设备等。输出设备1845显示由电子系统生成的图像或其他输出数据。输出设备1845包括打印机和显示设备，例如阴极射线管(CRT)或液晶显示器(LCD)，以及扬声器或类似的音频输出设备。一些实施例包括既充当输入设备又充当输出设备的设备，例如触摸屏。
最后，如图18所示，总线1805还通过网络适配器(未示出)将电子系统1800耦合到网络1825。以这种方式，计算机可以是计算机网络的一部分(例如局域网(“LAN”)、广域网(“WAN”)或内联网，或网路网(network of networks)，例如互联网。电子系统1800的任何或所有组件可以与本公开结合使用。
一些实施例包括电子组件，例如微处理器、存储器和存储器，将计算机程序指令存储在机器可读或计算机可读介质(或者称为计算机可读存储介质，机器可读介质或机器可读介质)中。这种计算机可读介质的一些示例包括RAM、ROM、只读光盘(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、只读数字多功能光盘(例如，DVD-ROM，双层DVD-ROM)、各种可记录/可重写DVD(例如DVD-RAM，DVD-RW，DVD+RW等)、闪存(例如SD卡、mini-SD卡、micro-SD卡等)、磁性和/或固态硬盘驱动器、只读和可记录的
Figure BDA0003293589360000391
光盘、超密度光盘，任何其他光学或磁性介质以及软盘。该计算机可读介质可以存储计算机程序，该计算机程序可以由至少一个处理单元执行，并且包括用于执行各种操作的指令集。计算机程序或计算机代码的示例包括诸如由编译器产生的机器代码，以及包括由计算机、电子部件或使用解释器的微处理器执行的更高级别的代码的文件。
尽管以上讨论主要是指执行软件的微处理器或多核处理器，但是许多上述特征和应用是由一个或多个集成电路执行的，例如专用集成电路(ASIC)或现场可程序化控制器门阵列(FPGA)。在一些实施例中，这样的集成电路执行存储在电路本身上的指令。另外，一些实施例执行存储在可程序化逻辑设备(PLD)，ROM或RAM设备中的软件。
如本说明书和本申请的任何权利要求书中所使用的，术语“计算机”、“服务器”、“处理器”和“存储器”均指电子或其他技术设备。这些术语不包括个人或人群。为了说明的目的，术语“显示”或“显示”是指在电子设备上显示。如本说明书和本申请的任何权利要求书中所使用的，术语“计算机可读媒体”、“计算机可读介质”和“机器可读介质”完全限于有形的物理对象，该有形的物理对像以可被电脑读取的形式存储信息。这些术语不包括任何无线信号、有线下载信号和任何其他临时信号。
虽然已经参考许多具体细节描述了本公开，但是本领域技术人员将认识到，在不脱离本公开的精神的情况下，本公开可以以其他特定形式来体现。另外，许多附图(包括图14和图17)在概念上示出了过程。这些过程的特定操作可能无法按照所示和所描述的确切顺序执行。可以不在一个连续的一系列操作中执行特定操作，并且可以在不同的实施例中执行不同的特定操作。此外，该过程可以使用几个子过程来实现，或者作为更大的宏过程的一部分来实现。因此，本领域技术人员将理解，本公开内容不受限于前述说明性细节，而是由所附权利要求书限定。
文中描述的主题有时示出了包含在其它不同部件内的或与其它不同部件连接的不同部件。应当理解：这样描绘的架构仅仅是示例性的，并且，实际上可以实施实现相同功能的许多其它架构。在概念意义上，实现相同功能的部件的任何布置是有效地“相关联的”，以使得实现期望的功能。因此，文中被组合以获得特定功能的任意两个部件可以被视为彼此“相关联的”，以实现期望的功能，而不管架构或中间部件如何。类似地，这样相关联的任意两个部件还可以被视为彼此“可操作地连接的”或“可操作地耦接的”，以实现期望的功能，并且，能够这样相关联的任意两个部件还可以被视为彼此“操作上可耦接的”，以实现期望的功能。“操作上可耦接的”的具体示例包含但不限于：实体地可联结和/或实体地相互、作用的部件、和/或无线地可相互作用和/或无线地相互作用的部件、和/或逻辑地相互作用的和/或逻辑地可相互作用的部件。
此外，关于文中基本上任何复数和/或单数术语的使用，只要对于上下文和/或应用是合适的，所属技术领域具有通常知识者可以将复数变换成单数，和/或将单数变换成复数。为清楚起见，这里可以明确地阐述各种单数/复数排列。
所属技术领域具有通常知识者将会理解，通常，文中所使用的术语，特别是在所附权利要求书(例如，所附权利要求书中的主体)中所使用的术语通常意在作为“开放性”术语(例如，术语“包含”应当被解释为“包含但不限干”，术语“具有”应当被解释为“至少具有”，术语“包含”应当被解释为“包含但不限干”等)。所属技术领域具有通常知识者还将理解，如果意在所介绍的权利要求书陈述对象的具体数目，则这样的意图将会明确地陈述在权利要求书中，在缺乏这样的陈述的情况下，不存在这样的意图。例如，为了帮助理解，所附权利要求书可以包含使用介绍性短语“至少一个”和“一个或更多个”来介绍权利要求书陈述对象。然而，这样的短语的使用不应当被解释为：用不定冠词“一个(a或an)”的权利要求书陈述对象的介绍将包含这样介绍的权利要求书陈述对象的任何权利要求书限制为只包含一个这样的陈述对象的发明，即使在同一权利要求书包含介绍性短语“一个或更多个”或“至少一个”以及诸如“一个(a)”或“一个(an)”之类的不定冠词的情况下(例如，“一个(a)”和/或“一个(an)”应当通常被解释为意味着“至少一个”或“一个或更多个”)也如此；上述对以定冠词来介绍权利要求书陈述对象的情况同样适用。另外，即使明确地陈述了介绍的权利要求书陈述对象的具体数目，但所属技术领域具有通常知识者也会认识到：这样的陈述通常应当被解释为意味着至少所陈述的数目(例如，仅有“两个陈述对象”而没有其他修饰语的陈述通常意味着至少两个陈述对象，或两个或更多个陈述对象)。此外，在使用类似于“A、B和C中的至少一个等”的惯用语的情况下，通常这样的结构意在所属技术领域具有通常知识者所理解的该惯用语的含义(例如，“具有A、B和C中的至少一个的系统”将包含但不限于具有单独的A、单独的B、单独的C、A和B-起、A和C一起、B和C一起和/或A、B和C一起的系统等)。在使用类似于“A、B或C中的至少一个等”的惯用语的情况下，通常这样的结构意在所属技术领域具有通常知识者所理解的该惯用语的含义(例如，“具有A、B或C中的至少一个的系统”将包含但不限于具有单独的A、单独的B、单独的C、A和B-起、A和C一起、B和C一起和/或A、B和C一起的系统等)。所属技术领域具有通常知识者将进一步理解，不管在说明书、权利要求书中还是在附图中，表示两个或更多个可替换的术语的几乎任意析取词和/或短语应当理解成考虑包含术语中的一个、术语中的任一个或所有两个术语的可能性。例如，短语“A或B”应当被理解成包含“A”、“B”、或“A和B”的可能性。
从前述内容可以理解，本文已经出于说明的目的描述了本公开的各种实施方式，并且在不脱离本公开的范围和精神的情况下可以进行各种修改。因此，本文公开的各种实施方式不旨在是限制性的，真正的范围和精神由所附权利要求书指示。

Claims (21)

1.一种视频解码方法，包括：
从比特流接收数据，以将要解码的像素块作为视频的当前图片的当前块；
从该比特流接收该当前块的第一信令索引和第二信令索引；
从该第一信令索引和该第二信令索引中确定第一合并索引和第二合并索引；
使用该第一合并索引选择第一运动候选，并使用该第二合并索引选择第二运动候选；
计算(i)基于该当前块的该第一运动候选的第一预测，以及(ii)基于该当前块的该第二运动候选的第二预测；以及
通过使用计算出的该第一预测和该第二预测来重建该当前块。
2.根据权利要求1所述的方法，其中，沿直线以分叉该当前块的角度，使用该第一预测将该当前块划分为第一单元，使用该第二预测将该当前块划分为第二单元。
3.根据权利要求1所述的方法，其中，基于该第一合并索引与该第二合并索引之间的比较来确定该第二信令索引。
4.根据权利要求1所述的方法，其中，该第一信令索引与该第一合并索引相同。
5.根据权利要求1所述的方法，其中，该第二信令索引与该第二合并索引相同。
6.根据权利要求1所述的方法，其中，该第二合并索引被计算为该第一合并索引与该第二信令索引的和或差。
7.根据权利要求1所述的方法，其中，该第二合并索引是基于在该比特流中信令的符号位来计算的。
8.根据权利要求1所述的方法，其中，该第二合并索引是基于符号位来计算的，该符号位是基于该第一合并索引推断出的。
9.一种电子装置，包括：
编码器电路，配置为执行包括以下内容的操作：
将要被编码为视频的当前图片的当前块的像素块的原始像素数据接收到比特流中；
通过基于该当前块的像素执行平均、矩阵矢量乘法和线性插值中的至少一个来生成该当前块的一组预测样本；
对基于该组预测样本而生成的该当前块的一组残差样本执行主要转换，以生成第一组转换系数；
对该第一组转换系数执行次级转换以生成第二组转换系数；以及
通过使用所生成的该第二组转换系数将该当前块编码入该比特流。
10.根据权利要求9所述的电子装置，其中，在执行该次级转换之前，该操作还包括：确定该当前块的宽度和高度大于或等于第一阈值。
11.根据权利要求10所述的电子装置，其中，在执行该次级转换之前，该操作还包括：确定该次级转换的索引大于索引阈值。
12.根据权利要求9所述的电子装置，其中，在执行该次级转换之前，该操作还包括：确定该当前块的宽度或高度小于第二阈值。
13.根据权利要求9所述的电子装置，其中，该次级转换是将N维矢量映射到不同空间中的R维矢量的简化的次级转换，其中R小于N。
14.根据权利要求9所述的电子装置，其中，该次级转换是从四个或更少的候选次级转换中选择的。
15.根据权利要求9所述的电子装置，其中，所生成的该组预测样本是用于仿射线性加权帧内预测的。
16.一种电子装置，包括：
视频解码器电路，配置为执行以下操作：
从比特流接收数据，以将要解码的像素块作为视频的当前图片的当前块；
通过基于该当前块的像素执行平均、矩阵矢量乘法和/或线性插值中的至少一个来生成该当前块的一组预测样本；
对第一组转换系数执行逆次级转换以生成第二组转换系数；
对该第二组转换系数执行逆主要转换，以生成该当前块的一组残差样本；以及
通过使用该组残差样本和该组预测样本重建该当前块。
17.一种视频解码方法，包括：
从比特流接收数据，以将要解码的像素块作为视频的当前图片的当前块；
当从该比特流接收到的该数据指示将次级转换应用于该当前块时，通过选择默认的主要转换模式来启用主要转换；以及
通过根据启用的该主要转换或次级转换执行逆转换操作来解码该当前块。
18.根据权利要求17所述的视频解码方法，其中，当启用该次级转换时，推断出该默认的主要转换模式。
19.根据权利要求17所述的视频解码方法，其中，该默认的主要转换模式的索引为零。
20.根据权利要求17所述的视频解码方法，其中，该默认的主要转换模式是离散余弦转换类型II。
21.一种视频编码方法，包括：
将要被编码为视频的当前图片的当前块的像素块的原始像素数据接收到比特流中；
当将次级转换应用于该当前块时，通过选择默认的主要转换模式来启用主要转换；
通过根据启用的该主要转换或次级转换对接收到的该像素数据进行转换操作，对该当前块进行编码，以产生一组转换系数；以及
通过使用生成的该组转换系数将该当前块编码入该比特流。
CN202080027406.2A 2019-04-03 2020-04-03 核心转换和次级转换间的交互作用 Active CN113661710B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962828567P 2019-04-03 2019-04-03
US62/828,567 2019-04-03
US16/836,904 2020-03-31
US16/836,904 US11616966B2 (en) 2019-04-03 2020-03-31 Interaction between core transform and secondary transform
PCT/CN2020/083090 WO2020200298A1 (en) 2019-04-03 2020-04-03 Interaction between core transform and secondary transform

Publications (2)

Publication Number Publication Date
CN113661710A true CN113661710A (zh) 2021-11-16
CN113661710B CN113661710B (zh) 2024-07-30

Family

ID=72663352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080027406.2A Active CN113661710B (zh) 2019-04-03 2020-04-03 核心转换和次级转换间的交互作用

Country Status (5)

Country Link
US (1) US11616966B2 (zh)
EP (2) EP4290863A3 (zh)
CN (1) CN113661710B (zh)
TW (1) TWI749503B (zh)
WO (1) WO2020200298A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023131347A1 (en) * 2022-01-10 2023-07-13 Mediatek Inc. Method and apparatus using boundary matching for overlapped block motion compensation in video coding system

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3661214B1 (en) * 2017-08-04 2022-07-20 LG Electronics Inc. Method and apparatus for configuring transform for video compression
KR102571996B1 (ko) * 2018-04-01 2023-08-28 엘지전자 주식회사 분할된 블록에 2차 변환을 적용하여 비디오 신호를 처리하는 방법 및 장치
US11178396B2 (en) 2018-11-14 2021-11-16 Tencent America LLC Constrained intra prediction and unified most probable mode list generation
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
US11134257B2 (en) * 2019-04-04 2021-09-28 Tencent America LLC Simplified signaling method for affine linear weighted intra prediction mode
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
US11240534B2 (en) * 2019-04-05 2022-02-01 Qualcomm Incorporated Extended multiple transform selection for video coding
WO2020213946A1 (ko) * 2019-04-16 2020-10-22 엘지전자 주식회사 변환 인덱스를 이용하는 영상 코딩
CN114223207B (zh) 2019-04-16 2023-09-22 寰发股份有限公司 用次要变换编解码视讯数据的方法以及装置
SI3952313T1 (sl) * 2019-04-16 2024-08-30 Lg Electronics Inc. Transformacija v kodiranju slik na podlagi notranjega napovedovanja
US11943476B2 (en) * 2019-04-16 2024-03-26 Hfi Innovation Inc. Methods and apparatuses for coding video data with adaptive secondary transform signaling
CN116684611A (zh) * 2019-04-16 2023-09-01 Lg电子株式会社 图像编解码方法、数字存储介质和数据发送方法
KR20210136157A (ko) * 2019-05-08 2021-11-16 엘지전자 주식회사 Mip 및 lfnst를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11277637B2 (en) * 2019-05-09 2022-03-15 Qualcomm Incorporated Reference sampling for matrix intra prediction mode
US11363284B2 (en) * 2019-05-09 2022-06-14 Qualcomm Incorporated Upsampling in affine linear weighted intra prediction
CN113841409B (zh) 2019-05-10 2023-12-19 北京字节跳动网络技术有限公司 用于视频处理的简化二次变换的有条件使用
CN117354521A (zh) * 2019-06-07 2024-01-05 北京字节跳动网络技术有限公司 视频比特流中的简化二次变换的有条件信令
CN113994703A (zh) * 2019-06-11 2022-01-28 索尼集团公司 图像处理装置和图像处理方法
US11197025B2 (en) 2019-06-21 2021-12-07 Qualcomm Incorporated Signaling of matrix intra prediction parameters in video coding
EP3994887A4 (en) 2019-08-03 2022-09-28 Beijing Bytedance Network Technology Co., Ltd. MATRIX SELECTION FOR A REDUCED SECONDARY TRANSFORM IN VIDEO CODING
CN114223208B (zh) * 2019-08-17 2023-12-29 北京字节跳动网络技术有限公司 为视频中的缩减二次变换的边信息的上下文建模
WO2021034161A1 (ko) 2019-08-22 2021-02-25 엘지전자 주식회사 인트라 예측 장치 및 방법
EP4035360A1 (en) 2019-09-24 2022-08-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient implementation of matrix-based intra-prediction
JP7395005B2 (ja) 2020-02-24 2023-12-08 バイトダンス インコーポレイテッド サブピクチャの高さの導出
WO2021178501A1 (en) * 2020-03-03 2021-09-10 Bytedance Inc. Controlling a scaling process using slice header signaling
EP4304174A3 (en) 2020-03-11 2024-03-20 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering
WO2021244419A1 (en) 2020-05-31 2021-12-09 Beijing Bytedance Network Technology Co., Ltd. Constraint signaling using general constraint information syntax element
WO2022003417A1 (en) * 2020-06-30 2022-01-06 Interdigital Vc Holdings France, Sas Hybrid texture particle coding mode improvements
US20220150518A1 (en) * 2020-11-11 2022-05-12 Tencent America LLC Method and apparatus for video coding
CN115633172A (zh) * 2020-12-06 2023-01-20 浙江大华技术股份有限公司 基于ibc模式编码方法、电子设备及存储介质
US20220417511A1 (en) * 2021-06-27 2022-12-29 Alibaba Singapore Holding Private Limited Methods and systems for performing combined inter and intra prediction
EP4397041A1 (en) * 2021-08-30 2024-07-10 Tencent America LLC Method and apparatus for secondary transform with adaptive kernel options
KR20230130090A (ko) * 2021-09-30 2023-09-11 텐센트 아메리카 엘엘씨 복합 인터-인트라 예측 모드들에 대한 적응적 변환들
US12114014B2 (en) 2021-10-01 2024-10-08 Tencent America LLC Secondary transforms for compound inter-intra prediction modes

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130251039A1 (en) * 2008-01-18 2013-09-26 Panasonic Corporation Image coding method and image decoding method
CN104869407A (zh) * 2010-07-09 2015-08-26 三星电子株式会社 对视频编码的方法和设备以及对视频解码的方法和设备
US20170094313A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Non-separable secondary transform for video coding
CN107404652A (zh) * 2011-11-07 2017-11-28 英孚布瑞智有限私人贸易公司 视频数据的解码方法
CN108141588A (zh) * 2015-09-24 2018-06-08 Lg电子株式会社 图像编码系统中的帧间预测方法和装置
WO2019022099A1 (ja) * 2017-07-28 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110090952A1 (en) * 2009-10-21 2011-04-21 Cohen Robert A Directional Transforms for Video and Image Coding
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
CN103024389B (zh) 2012-12-24 2015-08-12 芯原微电子(北京)有限公司 一种用于hevc的解码装置和方法
CN103561263B (zh) 2013-11-06 2016-08-24 北京牡丹电子集团有限责任公司数字电视技术中心 基于运动矢量约束和加权运动矢量的运动补偿预测方法
KR101908249B1 (ko) * 2014-11-18 2018-10-15 미디어텍 인크. 단방향 예측 및 병합 후보로부터의 모션 벡터에 기초한 양방향 예측 비디오 코딩 방법
RU2020129092A (ru) * 2016-05-13 2020-10-05 Сони Корпорейшн Устройство и способ обработки изображения
WO2018061837A1 (ja) * 2016-09-30 2018-04-05 ソニー株式会社 画像処理装置および方法
WO2018066863A1 (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN117221575A (zh) * 2016-10-04 2023-12-12 英迪股份有限公司 图像解码方法、图像编码方法以及发送比特流的方法
KR102353778B1 (ko) * 2016-10-11 2022-01-20 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116743998A (zh) * 2016-10-28 2023-09-12 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
US11039130B2 (en) * 2016-10-28 2021-06-15 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus, and recording medium in which bit stream is stored
KR20180057566A (ko) * 2016-11-22 2018-05-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116320495A (zh) * 2016-11-28 2023-06-23 韩国电子通信研究院 用于滤波的方法和装置
WO2018097691A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10869049B2 (en) * 2016-11-29 2020-12-15 Research & Business Foundation Sungyunwan University Image encoding/decoding method and device, and recording medium in which bitstream is stored
US10666937B2 (en) * 2016-12-21 2020-05-26 Qualcomm Incorporated Low-complexity sign prediction for video coding
CN117336474A (zh) * 2017-01-02 2024-01-02 Lx 半导体科技有限公司 图像编码/解码设备以及发送图像数据的设备
CN117395394A (zh) * 2017-03-22 2024-01-12 韩国电子通信研究院 使用参考块的预测方法和装置
WO2018174617A1 (ko) * 2017-03-22 2018-09-27 한국전자통신연구원 블록 형태에 기반한 예측 방법 및 장치
US10805641B2 (en) * 2017-06-15 2020-10-13 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
WO2019022568A1 (ko) * 2017-07-28 2019-01-31 한국전자통신연구원 영상 처리 방법, 그를 이용한 영상 부호화/복호화 방법 및 그 장치
WO2019059676A1 (ko) * 2017-09-20 2019-03-28 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10827173B2 (en) * 2017-11-13 2020-11-03 Electronics And Telecommunications Research Institute Method and apparatus for quantization
US11166014B2 (en) * 2017-12-14 2021-11-02 Electronics And Telecommunications Research Institute Image encoding and decoding method and device using prediction network
US10841577B2 (en) * 2018-02-08 2020-11-17 Electronics And Telecommunications Research Institute Method and apparatus for video encoding and video decoding based on neural network
US10567801B2 (en) * 2018-03-07 2020-02-18 Tencent America LLC Method and apparatus for video coding with primary and secondary transforms
US10771781B2 (en) * 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
CN118381906A (zh) * 2018-03-21 2024-07-23 Lx 半导体科技有限公司 图像编码/解码方法、存储介质以及图像数据的发送方法
HRP20231341T1 (hr) * 2018-04-01 2024-02-16 Lg Electronics Inc. Obrada video signala korištenjem smanjene sekundarne transformacije
US10419754B1 (en) * 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction
US11019355B2 (en) * 2018-04-03 2021-05-25 Electronics And Telecommunications Research Institute Inter-prediction method and apparatus using reference frame generated based on deep learning
US10798382B2 (en) * 2018-04-26 2020-10-06 Tencent America LLC Sub-block transform
CN115379216A (zh) * 2018-06-03 2022-11-22 Lg电子株式会社 视频信号的解码、编码和发送设备及存储视频信号的介质
KR20230156805A (ko) * 2018-06-06 2023-11-14 엘지전자 주식회사 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치
CN118803270A (zh) * 2018-06-29 2024-10-18 株式会社Kt 解码图像和编码图像的方法以及用于传送压缩视频数据的设备
WO2020009434A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 이차 변환을 기반으로 비디오 신호를 처리하는 방법 및 장치
US10819977B2 (en) * 2018-07-05 2020-10-27 Tencent America LLC Methods and apparatus for multiple line intra prediction in video compression
US20200014919A1 (en) * 2018-07-05 2020-01-09 Tencent America LLC Methods and apparatus for multiple line intra prediction in video compression
US10701358B2 (en) * 2018-07-09 2020-06-30 Tencent America LLC Mode dependent primary and secondary transforms
WO2020086317A1 (en) * 2018-10-23 2020-04-30 Tencent America Llc. Method and apparatus for video coding
US10778977B2 (en) * 2018-12-05 2020-09-15 Qualcomm Incorporated Triangle motion information for video coding
US10893298B2 (en) * 2018-12-12 2021-01-12 Tencent America LLC Method and apparatus for video coding
WO2020123998A1 (en) * 2018-12-13 2020-06-18 Tencent America LLC Video decoding by determining block reconstruction based on signaling information
US11032574B2 (en) * 2018-12-31 2021-06-08 Tencent America LLC Method and apparatus for video coding
US11140406B2 (en) * 2019-02-20 2021-10-05 Qualcomm Incorporated Signalling for merge mode with motion vector differences in video coding
US10742972B1 (en) * 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
US11218728B2 (en) * 2019-06-04 2022-01-04 Tencent America LLC Method and apparatus for video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130251039A1 (en) * 2008-01-18 2013-09-26 Panasonic Corporation Image coding method and image decoding method
CN104869407A (zh) * 2010-07-09 2015-08-26 三星电子株式会社 对视频编码的方法和设备以及对视频解码的方法和设备
CN107404652A (zh) * 2011-11-07 2017-11-28 英孚布瑞智有限私人贸易公司 视频数据的解码方法
CN108141588A (zh) * 2015-09-24 2018-06-08 Lg电子株式会社 图像编码系统中的帧间预测方法和装置
US20170094313A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Non-separable secondary transform for video coding
WO2019022099A1 (ja) * 2017-07-28 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023131347A1 (en) * 2022-01-10 2023-07-13 Mediatek Inc. Method and apparatus using boundary matching for overlapped block motion compensation in video coding system
TWI821103B (zh) * 2022-01-10 2023-11-01 聯發科技股份有限公司 在視訊編解碼系統中使用邊界匹配進行重疊塊運動補償的方法和裝置

Also Published As

Publication number Publication date
EP3949417A1 (en) 2022-02-09
WO2020200298A1 (en) 2020-10-08
US11616966B2 (en) 2023-03-28
TWI749503B (zh) 2021-12-11
US20200322623A1 (en) 2020-10-08
EP4290863A3 (en) 2024-02-21
EP4290863A2 (en) 2023-12-13
EP3949417A4 (en) 2023-05-03
CN113661710B (zh) 2024-07-30
TW202106004A (zh) 2021-02-01

Similar Documents

Publication Publication Date Title
CN113661710B (zh) 核心转换和次级转换间的交互作用
US11057618B2 (en) Method and apparatus for processing a video signal
US11310526B2 (en) Hardware friendly constrained motion vector refinement
US11297348B2 (en) Implicit transform settings for coding a block of pixels
CN112400319B (zh) 一种视频编码/解码方法及装置
US11245922B2 (en) Shared candidate list
WO2020169082A1 (en) Intra block copy merge list simplification
WO2019210829A1 (en) Signaling for illumination compensation
CN114765685A (zh) 基于多帧内预测模式的用于解码或编解码图像的技术
US11546603B2 (en) Triangle prediction with applied-block settings and motion storage settings
WO2020103946A1 (en) Signaling for multi-reference line prediction and multi-hypothesis prediction
CN114793281A (zh) 用于交叉分量预测的方法和装置
CN113473133A (zh) 利用几何分区geo模式进行预测的方法和装置
WO2023208131A1 (en) Efficient geometric partitioning mode video coding
WO2024146511A1 (en) Representative prediction mode of a block of pixels
WO2023241347A1 (en) Adaptive regions for decoder-side intra mode derivation and prediction
WO2024131778A1 (en) Intra prediction with region-based derivation
WO2024016955A1 (en) Out-of-boundary check in video coding
US20240357082A1 (en) Using template matching for refining candidate selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220422

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Applicant before: MEDIATEK Inc.

GR01 Patent grant
GR01 Patent grant