CN113039795A - 多变换选择中恒等变换的方法和装置 - Google Patents

多变换选择中恒等变换的方法和装置 Download PDF

Info

Publication number
CN113039795A
CN113039795A CN201980057775.3A CN201980057775A CN113039795A CN 113039795 A CN113039795 A CN 113039795A CN 201980057775 A CN201980057775 A CN 201980057775A CN 113039795 A CN113039795 A CN 113039795A
Authority
CN
China
Prior art keywords
transform
mts
block
idt
predetermined condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980057775.3A
Other languages
English (en)
Other versions
CN113039795B (zh
Inventor
赵欣
李翔
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN113039795A publication Critical patent/CN113039795A/zh
Application granted granted Critical
Publication of CN113039795B publication Critical patent/CN113039795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种对视频序列解码或编码中的残差编解码进行控制的方法，由至少一个处理器执行，并且包括：基于块高度和块宽度中的两者或两者之一是否满足预定条件，确定是否使用恒等变换(Identity transform，IDT)替代多变换选择(Multiple Transform Selection，MTS)的变换类型；及基于所述块高度和所述块宽度中的两者或两者之一满足所述预定条件，使用所述IDT替换MTS的所述变换类型，并且保持所述MTS的语法不变；其中，所述IDT是使用NxN变换核的线性变换过程，其中，所述NxN变换核中，沿对角位置的每个系数是非零的，并且N是整数。

Description

多变换选择中恒等变换的方法和装置
相关文件
本申请要求2018年9月14日递交的美国临时申请62/731,773的优先权，以及2019年4月24日递交的美国申请16/393,289的优先权，其全部内容通过引用并入本文。
技术领域
各实施例的方法和装置涉及视频编解码，特别涉及在多变换选择(MultipleTransform Selection，MTS)中应用恒等变换的方法和装置。
背景技术
在高效视频编码(High Efficiency Video Coding，HEVC)中，通过使用表示为编码树的四叉树结构将编码树单元(coding tree unit，CTU)分成编码单元(coding unit，CU)，以适应各种局部特性。在CU级做出是否使用帧间(时域)或帧内(空间)预测来对图像区域进行编码的决定。每个CU可以根据预测单元(prediction unit，PU)分割类型进一步分割成一个、两个或四个PU。在一个PU内，应用相同的预测过程，并以每个PU为基础将相关信息发送到解码器。在通过应用基于PU分割类型的预测过程获得残差块之后，可以根据与CU的编码树类似的另一个四叉树结构将CU分割为变换单元(transform unit，TU)。HEVC结构的一个关键特征是它具有多个分割概念，包括CU、PU和TU。在HEVC中，CU或TU可仅为正方形，而PU可为用于帧间预测块的正方形或矩形。在HEVC的后期，一些投稿建议允许矩形PU用于帧内预测和变换。在图像边界处，HEVC进行隐式四叉树分割，以便对一个块持续进行四叉树分割，直到尺寸适合图像边界为止。
在多功能视频编码(Versatile Video Coding，VVC)中，四叉树加二叉树(quadtree plus binary tree，QTBT)结构删除了多个分割类型的概念，即删除了CU、PU和TU概念的区分，并为CU分割形状提供了更大的灵活性。在QTBT块结构中，CU的形状可以为正方形或矩形。在图1A中，首先利用四叉树结构对CTU进行分割。对四叉树叶节点，利用二叉树结构进行进一步分割。在二叉树分割中，有两种分割类型：对称水平分割和对称垂直分割。二叉树叶子节点称为CU，用于预测和变换处理而无需任何进一步的分割。这意味着在QTBT编码块结构中，CU、PU和TU具有相同的块大小。在VVC中，CU有时由不同颜色成分的编码块(coding block，CB)组成，例如，对于4：2：0色度格式的P切片和B切片，一个CU包含一个亮度CB和两个色度CB，并且一个CU有时包含单个成分的CB，例如，对于I切片，一个CU仅包含一个亮度CB或仅包含两个色度CB。
为QTBT分割方案定义了以下参数。
–CTU大小：四叉树的根节点大小，与HEVC中的概念相同
–MinQTSize：四叉树叶节点被允许的最小尺寸
–MaxBTSize：二叉树根节点被允许的最大尺寸
–MaxBTDepth：二叉树被允许的最大深度
–MinBTSize：二叉树叶节点被允许的最小尺寸
在QTBT分割结构的示例中，CTU大小被设置为128×128亮度样本，具有两个相应的64×64色度样本块，MinQTSize被设置为16×16，MaxBTSize被设置为64×64，MinBTSize(同时适用于宽度和高度)被设置为4×4，MaxBTDepth被设置为4。首先对CTU进行四叉树分割，以生成四叉树叶节点。每个四叉树叶节点的大小可以是16×16(即，MinQTSize)到128×128(即，CTU大小)。如果四叉树叶节点为128×128，则由于大小超过MaxBTSize(即64×64)，因此不会由二叉树进一步分割。否则，四叉树叶节点可以由二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且二叉树的深度为0。当二叉树的深度达到MaxBTDepth(即4)时，不再考虑进一步分割。当二叉树节点的宽度等于MinBTSize(即4)时，不考虑进一步的水平分割。类似地，当二叉树节点的高度等于MinBTSize时，不再考虑进一步的垂直分割。通过预测和变换处理来进一步处理二叉树的叶节点，而无需任何进一步的分割。最大CTU大小可以是256×256亮度样本。
图1A的部分(a)示出了使用QTBT进行的块分割的示例，而图1A的部分(b)示出了相应的树表示。实线表示四叉树分割，虚线表示二叉树分割。在二叉树的每个分叉(即非叶)节点中，用信号表示一个标志以指示使用哪种分割类型(即，水平或垂直)，其中0指示水平分割，而1指示垂直分割。对于四叉树分割，不需要指示分割类型，因为四叉树分割始终会在水平方向和垂直方向分割一个块，以产生4个大小相等的子块。
另外，QTBT方案支持亮度和色度分别具有单独的QTBT结构。当前，对于P切片和B切片，一个CTU中的亮度和色度CTB共享相同的QTBT结构。然而，对于I切片，亮度CTB通过QTBT结构被分割为CU，并且色度CTB通过另一QTBT结构被分割为色度CU。这意味着，I切片中的CU由亮度分量的编码块或两个色度分量的编码块组成，而P切片或B切片中的CU由所有三种颜色分量的编码块组成。
在HEVC中，限制用于小块的帧间预测以减少运动补偿的存储器访问，使得对于4×8和8×4块不支持双向预测，并且对于4×4块不支持帧间预测。在VVC的QTBT中，这些限制已删除。
除了在HEVC中采用的DCT-II和4×4DST-VII之外，多变换选择(MultipleTransform Selection，MTS)，也称为自适应多变换(Adaptive Multiple Transform，AMT)或增强多变换(Enhanced Multiple Transform，EMT)，方案被用于帧间和帧内编码块的残差编码。它使用从DCT/DST族中选择的多个变换，而不是HEVC中的当前变换。新引入的变换矩阵是DST-VII、DCT-VIII、DST-I和DCT-V。表1示出了所选DST/DCT的基础函数。
表1：用于N点输入的DCT-II/V/VIII和DST-I/VII的变换基础函数
Figure BDA0002961252180000041
为了保持变换矩阵的正交性，与HEVC中的变换矩阵相比，变换矩阵被更精确地量化为10位表示，而不是HEVC中的8位。为了将变换系数的中间值保持在16比特的范围内，在水平和垂直变换之后，与当前HEVC变换中使用的右移位相比，所有系数被向右多移动了2位。
AMT应用于宽度和高度都小于或等于64的CU，并且AMT应用与否由CU级标志来控制。当CU级标志等于0时，在CU中应用DCT-II以对残差进行编码。对于启用AMT的CU内的亮度编码块，用信号表示两个附加标志以指明待使用的是水平变换和垂直变换。与在HEVC中一样，可以在VVC中以变换跳过模式来对块的残差进行编码。为了避免语法编码的冗余，当CU级AMT标志不等于零时，不用信号表示变换跳过标志。
对于帧内残差编码，由于不同帧内预测模式的残差统计数据不同，使用模式相关变换候选选择过程。如表中2所示，定义了三个变换子集，如表3中所指示，基于帧内预测模式来选择变换子集。
表2：三个预定义变换候选集
Figure BDA0002961252180000042
表3：为每个帧内预测模式选择水平(H)和垂直(V)变换集
Figure BDA0002961252180000051
利用子集的概念，首先使用CU级AMT标志等于1的CU的帧内预测模式，基于表3确定变换子集。此后，对于每个水平变换和垂直变换，根据表2，基于用信号显式表示的标记，从所确定的转换子集的两个转换候选中选择一个转换候选。
然而，对于帧间预测残差，仅一个变换集，其由DST-VII和DCT-VIII组成，用于所有帧间模式以及水平变换和垂直变换。
在VVC中，仅采用一个变换集，其包括DST-VII和DCT-VIII，并且MTS应用于最多32点。
在VVC中，变换跳过(Transform Skip，TS)模式应用于对帧内预测残差和帧间预测残差进行编码。对于具有小于或等于16个样本的编码块(亮度和色度)，用信号表示标志以指示是否将TS模式应用于当前块。当应用TS模式时，下面列出了每个模块的详细修改。
(a)预测(Prediction)：无变化。
(b)变换(Transform)：跳过。取而代之的是，对于变换跳过的TU，使用一个简单的缩放过程。为使变换跳过系数具有与其他变换系数相似的大小，执行缩小过程，并且缩放因子与与相同大小的其他变换(范数为1的标准浮点变换)的缩放相同。
(c)反量化和缩放(De-quantization and scaling)：无变化。
(d)熵编码(Entropy coding)：用信号表示标记以指示是否绕过变换。
(e)解块(Deblocking)、样点自适应补偿(Sample Adaptive Offset，SAO)和自适应环路滤波器(Adaptive Loop Filter，ALF)：无变化。
(f)SPS中的一个标志，用于指示是否启用了变换跳过。
在VVC中，提出了一种模式相关的不可分二次变换(mode-dependent non-separable secondary transform，NSST)，(在编码器处)应用于前向核心变换(forwardcore transform)和量化之间，以及(在解码器处)应用于去量化和反向核心变换(inversecore transform)之间。为了保持低复杂度，NSST仅应用于主变换之后的低频系数。如果变换系数块的宽度(W)和高度(H)均大于或等于8，则将8×8不可分二次变换应用于变换系数块中左上方的8×8区域。否则，如果变换系数块的W或H等于4，则应用4×4不可分二次变换，并将该4×4不可分变换应用于变换系数块中的左上min(8，W)×min(8，H)区域。上述变换选择规则同时应用于亮度分量和色度分量。
下面以4×4输入块为例，对不可分变换的矩阵乘法实现方式进行描述。为了应用不可分变换，4×4输入块X在公式(1)和(2)中由向量
Figure BDA0002961252180000066
表示：
Figure BDA0002961252180000061
Figure BDA0002961252180000062
不可分变换计算为
Figure BDA0002961252180000063
其中，
Figure BDA0002961252180000064
表示变换系数向量，而T是16×16的变换矩阵。随后使用该块的扫描顺序(水平、垂直或对角线)将16×1的系数向量
Figure BDA0002961252180000065
重新组织为4×4的块。索引较小的系数与该较小的扫描索引系数一同放置在该4×4的系数块中。在VVC中，使用具有蝶形实现的超立方吉文斯变换(Hypercube-Givens Transform，HyGT)代替矩阵乘法来降低不可分变换的复杂度。
对于4×4和8×8的块大小，总共有35×3个不可分二次变换，其中35是由帧内预测模式指示的变换集的数目，表示为集合，3是每个帧内预测模式的NSST候选的数目。在表4中定义了从帧内预测模式到变换集的映射。根据表4，应用于亮度/色度变换系数的变换集由相应的亮度/色度帧内预测模式指示。对于大于34的帧内预测模式(对角预测方向)，变换系数块在编码器/解码器处的二次变换之前/之后被转置。
表4：从帧内预测模式到变换集索引的映射
intra mode 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
set 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
intra mode 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67(LM)
set 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 NULL
对于每个变换集，所选择的不可分二次变换候选进一步由信号显式表示的CU级NSST索引来指示。在使用变换系数和截断的一元二进制化之后，在码流中对每个帧内CU用信号表示一次该索引。在平面或DC模式的情况下，截断值为2，对于角度帧内预测模式，截断值为3。只有当CU中存在多于一个非零系数时，才用信号表示NSST索引。当没有用信号表示NSST索引时，默认值为零。该语法元素的零值指示没有对当前CU应用二次变换，值1-3指示应该应用来自该集合中的哪个二次变换。
在VVC中，NSST不应用于以变换跳过模式编码的块。当针对CU用信号表示NSST索引且NSST索引不等于零时，NSST不用于该CU中以变换跳过模式编码的分量的块。当CU的所有分量的块的以变换跳过模式编码，或者非变换跳过模式CB的非零系数的数目小于2时，针对该CU，不以信号表示NSST索引。
在使用QTBT时禁止混合NSST和EMT，从而有效地强制NSST仅与DCT2一起用作主变换。
在不可分二次变换的计算中使用超立方吉文斯变换(HyGT)。该正交变换的基本元素是吉文斯旋转，其由正交矩阵G(m，n，θ)定义，其具有由下式定义的元素：
Figure BDA0002961252180000071
这些变换可以以图形方式在图1B中表示。
HyGT通过以超立方体排列合并吉文斯旋转集来实现。图1C示出对于16个元素(4×4不可分变换)的HyGT的“蝶”形流程图。假设N是2的幂，则HyGT循环被定义为log2(N)次通过的序列，其中在每次通过中，向量m和n中的索引由具有维度log2(N)的超立方体的边在每个方向上顺序地定义。
为了获得良好的压缩效果，可使用一个以上的HyGT循环。如图1D所示，例如，完全不可分二次变换由R个HyGT循环组成，并且可以包括可选的排序通路，以根据变换系数的方差对变换系数进行排序。在VVC中，4×4二次变换采用2个HyGT循环，8×8二次变换采用4个HyGT循环。
发明内容
根据各实施例，一种对视频序列解码或编码中的残差编解码进行控制的方法，由至少一个处理器执行，并且包括基于块高度和块宽度中的两者或两者之一是否满足预定条件，确定是否使用恒等变换(Identity transform，IDT)替代多变换选择(MultipleTransform Selection，MTS)的变换类型。该方法还包括，基于所述块高度和所述块宽度中的两者或两者之一满足所述预定条件，使用所述IDT替换MTS的所述变换类型，并且保持所述MTS的语法不变，所述IDT是使用NxN变换核的线性变换过程，其中，所述NxN变换核沿对角位置的每个系数是非零的，并且N是整数。
根据各实施例，一种对视频序列解码或编码中的残差编解码进行控制的装置包括：至少一个存储器，用于存储计算机程序代码；以及至少一个处理器，用于访问所述至少一个存储器并根据计算机程序代码。该计算机程序代码包括确定代码，用于使得所述至少一个处理器基于块高度和块宽度中的两者或两者之一是否满足预定条件，确定是否使用恒等变换(Identity transform，IDT)替代多变换选择(Multiple Transform Selection，MTS)的变换类型。该计算机程序代码还包括替换代码，用于基于所述块高度和所述块宽度中的两者或两者之一满足所述预定条件，使用所述IDT替换MTS的所述变换类型，并且保持所述MTS的语法不变，其中，所述IDT是使用NxN变换核的线性变换过程，其中，所述NxN变换核沿对角位置的每个系数是非零的，并且N是整数。
根据各实施例，一种非易失性计算机可读存储介质存储指令，该指令使至少一个处理器基于块高度和块宽度中的两者或两者之一是否满足预定条件，确定是否使用恒等变换(Identity transform，IDT)替代多变换选择(Multiple Transform Selection，MTS)的变换类型。所述指令还使所述至少一个处理器基于所述块高度和所述块宽度中的两者或两者之一满足所述预定条件，使用所述IDT替换MTS的所述变换类型，并且保持所述MTS的语法不变，其中，所述IDT是使用NxN变换核的线性变换过程，其中，沿对角位置的每个系数是非零的，并且N是整数。
附图说明
图1A为一种QTBT结构的示意图。
图1B为吉文斯旋转的图形表示的示意图。
图1C为由超立方体排列的吉文特旋转的组合定义的HyGT的示意图。
图1D为由超立方体排列的吉文特旋转的组合定义的HyGT的另一示意图。
图2为一个实施例的通信系统的简化框图。
图3为流媒体环境中部署视频编码器和视频解码器的示意图。
图4为一个实施例的视频解码器的功能框图。
图5为一个实施例的视频编码器的功能框图。
图6为示出根据实施例的对视频序列进行解码或编码中的残余编码进行控制的方法的流程图。
图7为一个实施例的对视频序列进行解码或编码中的残余编码进行控制的方法的流程图。
图8为一个实施例的对视频序列进行解码或编码中的残余编码进行控制的装置的简化框图。
图9为适于实现一个实施例的计算机系统的示意图。
具体实施方式
图2为一个实施例的通信系统(200)的简化框图。通信系统(200)可以包括通过网络(250)互连的至少两个终端(210-220)。对于单向数据传输，第一终端(210)可在本地位置编码视频数据，用于经网络(250)传输至另一终端(220)。第二终端(220)可从网络(250)接收另一终端的编码视频数据，解码该编码数据并显示恢复出的视频数据。单向数据传输常用于媒体服务应用等。
图2示出第二对终端(230，240)，可以支持编码视频的双向传输，例如，在视频会议期间。对于双向数据传输，每个终端(230，240)可对在本地位置拍摄的视频数据进行编码，以便通过网络(250)传输至另一终端。每个终端(230，240)还可接收由另一终端传输的编码视频数据，可解码该编码数据，并可在本地显示器设备显示恢复出的视频数据。
在图2中，终端(210-240)可以被示为服务器、个人计算机和智能电话，但是各实施例的原理不限于此。各实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(250)表示任何数量的网络，可以在终端(210-240)之间传输编码视频数据，可以包括，例如，有线和/或无线通信网络。通信网络(250)可在电路交换和/或包交换的信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。为本文讨论的目的，除非有明确说明，网络(250)的体系结构和拓扑与各实施例的操作无关。
图3示出一个实施例的在流媒体环境下视频编码器和解码器的部署方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
流媒体系统可包括采集子系统(313)，所述采集子系统可包括数码相机等视频源(301)，所述视频源创建，例如，未压缩的视频采样流(302)。采样流(302)(用粗线表示，以在与编码视频码流相比时强调高数据量)可由耦合于照相机(301)的编码器(303)来处理。编码器(303)可包括硬件、软件或其组合，以使能或实现如下文详细描述的本公开主题的各方面。编码视频比特流(304)(用细线表示，以在与采样流相比时强调较低的数据量)可存储于流媒体服务器(305)以供后续使用。一个或多个流媒体客户端(306、308)可访问流媒体服务器(305)，以检索编码视频码流(304)的副本(307、309)。客户端(306)可包括视频解码器(310)，其解码编码视频码流(307)的传入副本并创建可在显示器(312)或其它呈现设备(未描绘)上呈现的传出视频采样流(311)。在一些流媒体系统中，可以根据某些视频编码/压缩标准对视频码流(304、307、309)进行编码。这些标准的例子包括ITU-T建议H.265。正在开发的是非正式地称为多功能视频编码(VVC)的视频编码标准。所公开的主题可以在VVC的上下文中使用。
图4是一个实施例的视频解码器(310)的功能框图。
接收器(410)可以接收要由解码器(310)解码的一个或多个编解码器视频序列；在相同或另一实施例中，每次一个编码视频序列，其中每个编码视频序列的解码独立于其它编码视频序列。可从信道(412)接收已编码视频序列，该信道(412)可为到存储装置的硬件/软件链路，该存储设备存储已编码的视频数据。接收器(410)可以接收已编码视频数据和其它数据，例如编码的音频数据和/或辅助数据流，它们可以被转发到它们各自的使用实体(未示出)。接收器(410)可以将编码的视频序列与其它数据分离。为了对抗网络抖动，缓冲存储器(415)可以耦合在接收器(410)和熵解码器/解析器(420)之间(此后称为“解析器”)。当接收器(410)正在从具有足够带宽和可控性的存储/转发设备或从同步网络接收数据时，可能不需要缓冲存储器(415)，或缓冲存储器(415)可以较小。为了在诸如因特网的尽力而为分组网络上使用，可能需要缓冲存储器(415)，缓冲存储器(415)可以相对较大并且可以有利地具有自适应的大小。
视频解码器(310)可以包括解析器(420)，用于从熵编码视频序列重构符号(421)。这些符号的类别包括用于管理解码器(310)操作的信息，还可能包括用于控制诸如显示器(312)的呈现设备的信息，该呈现设备不是解码器的组成部分，但是可以耦合到解码器，如图4所示。用于呈现设备的控制信息可以是补充增强信息(SEI消息)或视频可用性信息(VUI)参数集片段(未示出)的形式。解析器(420)可以解析/熵解码所接收的编码视频序列。编码视频序列的编码可根据视频编码技术或标准，且可遵循所属领域的技术人员众所周知的原理，包括可变长度编码、霍夫曼编码、具有或不具有上下文敏感性的算术编码等。解析器(420)可以基于与该组相对应的至少一个参数，从编码视频序列中提取视频解码器中的像素的子组中的至少一个像素子组的子组参数集。子组可以包括图像组(GOP)、图像、图块(tile)、分片(slice)、宏块(macroblock)、编码单元(CU)、块、变换单元(TU)、预测单元(PU)等。熵解码器/解析器还可以从编码视频序列中提取诸如变换系数、量化器参数(QP)值、运动向量等信息。
解析器(420)可以对从缓冲存储器(415)接收的视频序列执行熵解码/解析操作，以便创建符号(421)。解析器(420)可以接收编码数据，并且选择性地解码特定符号(421)。此外，解析器(420)可以确定是否将特定符号(421)提供给运动补偿预测单元(453)、定标器/逆变换单元(451)、帧内预测单元(452)或环路滤波器(454)。
符号(421)的重构可以包括多个不同的单元，这取决于编码视频图像或其部分的类型(例如：帧间和帧内图像，帧间和帧内块)以及其它因素。涉及哪些单元以及涉及方式可由解析器(420)从已编码视频序列解析的子组控制信息控制。为了清楚起见，下面没有描述解析器(420)和多个单元之间的这种子组控制信息流。
除了已经提到的功能块之外，解码器(310)可以在概念上被细分为如下所述的多个功能单元。在商业约束下操作的实际具体实施中，这些单元中的许多彼此紧密地交互，并且可以至少部分地彼此集成。然而，为了描述所公开的主题，以下功能单元的概念细分是适当的。
第一单元是定标器/逆变换单元(451)。定标器/逆变换单元(451)从解析器(420)接收量化的变换系数以及控制信息，包括使用何种变换、块的大小、量化因子、量化缩放矩阵等，这些均作为符号(421)。它可以输出包括采样值的块，这些块可以被输入到聚合器(455)中。
在一些情况下，定标器/逆变换单元(451)的输出采样可以属于帧内编码块；即：不使用来自先前重建图像的预测信息，但是可以使用来自当前图像的先前重建部分的预测信息的块。这种预测信息可以由帧内图像预测单元(452)提供。在一些情况下，帧内图像预测单元(452)使用从当前(部分重建的)图像获取的周围已经重建的信息来生成与正在重建的块的大小和形状相同的块(456)。在一些情况下，聚合器(455)在每个采样的基础上将帧内预测单元(452)已经生成的预测信息添加到由定标器/逆变换单元(451)提供的输出采样信息。
在其它情况下，定标器/逆变换单元(451)的输出采样可属于经帧间编码且可能经运动补偿的块。在这种情况下，运动补偿预测单元(453)可以访问参考图像存储器(457)以获取用于预测的采样。在根据属于该块的符号(421)对所提取的采样进行运动补偿之后，这些采样可以由聚合器(455)添加到定标器/逆变换单元的输出(在这种情况下称为残差采样或残差信号)，以便生成输出采样信息。运动补偿单元获取的预测采样在参考图像存储器内的地址可以由运动向量控制，运动补偿单元可以得到具有符号(421)形式的该运动向量，符号(421)可以具有，例如，X、Y和参考图像分量。在使用子采样精确运动向量时，运动补偿还可以包括从参考图像存储器获取的采样值的插值操作、运动向量预测机制等。
聚合器(455)的输出采样可以在环路滤波器单元(454)中经各种回路滤波技术处理。视频压缩技术可以包括回路内滤波器技术，该回路内滤波器技术由包括在编码视频码流中的参数来控制并且作为来自解析器(420)的符号(421)由环路滤波器单元(454)获得，还可以响应于在对编码图像或编码视频序列的先前(以解码顺序)部分进行解码的期间获得的元信息，以及响应于先前重建的并经过回路滤波的采样值。
环路滤波器单元(454)的输出可以是可输出到呈现设备(312)也可存储在参考图像存储器(457)中的采样流，以用于将来的图像间预测。
一旦被完全重建，一些编码图像可在后续预测中用作参考图像。一旦编码图像被完全重建并且编码图像已经被识别为参考图像(例如由解析器(420))，则当前参考图像(656)可以成为参考图像缓冲存储器(457)的一部分，并且可以在开始对后续编码图像进行重建之前重新分配新的当前图像存储器(458)。
视频解码器(310)可根据标准中记载的预定义视频压缩技术，如ITU-TRec.H.265，来执行解码操作。编码视频序列可遵循如视频压缩技术文档或标准中，特别是其概要文档中，指示的视频压缩技术或标准的语法，从这个意义上来说，编码视频序列遵循所使用的视频压缩技术或标准指示的语法。对于合规性，还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，各等级对最大图像尺寸、最大帧率、最大重建采样率(例如以每秒兆次采样测量)、最大参考图像尺寸等进行了限制。在一些情况下，等级设置的限制可进一步通过假设参考解码器(HypotheticalReferenceDecoder，HRD)规范和编码视频序列中指示的HRD缓存管理的元数据来限定。
在一个实施例中，接收器(410)可连同已编码视频一起接收附加(冗余)数据。附加数据可以是编码视频序列的一部分。附加数据可由视频解码器(310)用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可以是，例如，时间、空间或信噪比(signalnoiseratio，SNR)增强层、冗余切片、冗余图像、前向纠错码等形式。
图5是一个实施例的视频解码器(303)的功能框图。
编码器(303)可从视频源(301)(并非编码器的一部分)接收视频采样，视频源(303)可采集将由编码器(303)编码的视频图像。
视频源(301)可以以数字视频采样流的形式提供将由编码器(303)编码的源视频序列，该数字视频采样流可以具有任何合适的比特深度(例如：8位、10位、12位……)、任何颜色空间(例如BT.601YCrCb、RGB……)和任何合适的采样结构(例如YCrCb4：2：0、YCrCb4：4：4)。在媒体服务系统中，视频源(301)可以是存储先前已准备好的视频的存储设备。在视频会议系统中，视频源(301)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图像，当按顺序观看时，这些图像呈现出运动效果。图片自身可构建为空间像素阵列，其中取决于所用的取样结构、色彩空间等，每个像素可包括一个或多个样本。本领域技术人员可以很容易理解像素和采样之间的关系。下文侧重于描述样本。
根据实施例，编码器(303)可实时或在应用需要的任何其它时间约束下，对源视频序列的图像进行编码并压缩为编码视频序列(543)。施行适当的编码速度是控制器(550)的一个功能。控制器控制如下所述的其它功能单元并且功能性地耦合到这些单元。为清楚起见，图中未标示耦接。由控制器设置的参数可以包括速率控制相关参数(图像跳跃、量化器、速率失真优化技术的λ值……)、图像大小、图像组(GOP)布局、最大运动向量搜索范围等。本领域技术人员很容易理解控制器(550)具有的其它功能，这些功能属于针对特定系统设计而优化的视频编码器(303)。
一些视频编码器以本领域技术人员容易认识到的“编码回路”操作。作为过度简化的描述，编码回路可以包括编码器(530)的编码部分(此后称为“源编码器”)(负责基于要编码的输入图像和参考图像创建符号)，以及嵌入编码器(303)中的(本地)解码器(533)，该解码器(533)重建符号以创建(远程)解码器也会创建的采样数据(因为在所公开的主题中所考虑的视频压缩技术中，符号与编码视频码流之间的任何压缩是无损的)。重建的采样流可输入到参考图像存储器(534)。由于符号流的解码产生与解码器位置(本地或远程)无关的比特级精确结果，因此参考图像存储器中的内容在本地编码器与远程编码器之间也是按比特位精准对应的。换言之，编码器的预测部分“看到”的参考图像采样与解码期间使用预测时所“看到”的采样值完全相同。参考图像同步性(以及如果(例如由于信道误差)不能保持同步性，而导致的漂移)的基本原理是本领域技术人员公知的。
“本地”解码器(533)的操作可以与上面已经结合图4详细描述的“远程”解码器(310)的操作相同。然而，还是简要地参考图4，由于符号可用，并且由熵编码器(545)和解析器(420)对编码视频序列的符号的编/解码可以是无损的，所以解码器(310)的熵解码部分，包括信道(412)、接收器(410)、缓冲存储器(415)和解析器(420)，可能不能完全在本地解码器(533)中实现。
此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式存在于对应的编码器中。可简化编码器技术的描述，因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述，并且在下文提供。仅在一些区域中需要更详细的描述，如下文所述。
作为其操作的一部分，源解码器(530)可执行运动补偿预测编码，参考视频序列中一个或多个先前编码的帧(称为“参考帧”)对输入帧进行预测性编码。以此方式，编码引擎(532)对输入帧的像素块和参考帧的像素块之间的差异进行编码，参考帧可被选择作为输入帧的预测参考。
本地视频解码器(533)可基于源编码器(530)创建的符号，对指示的参考帧的编码视频数据进行解码。有利地，编码引擎(532)的操作可以是有损过程。当已编码视频数据可在视频解码器(图4中未示)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(533)复制可由视频解码器对参考帧执行的解码过程，且可使得重建的参考帧存储在参考图像缓存(534)中。以此方式，编码器(303)可在本地存储重建的参考帧的副本，所述副本与将由远端视频解码器获得的重建参考帧具有共同内容(不存在传输误差)。
预测器(535)可针对编码引擎(532)执行预测搜索。即，对于将要编码的新帧，预测器(535)可在参考图像存储器(534)中搜索适合作为新图像的预测参考的采样数据(作为候选参考像素块)或一些元数据，如参考图像运动矢量、块的形状等。预测器(535)可对采样块逐像素块进行处理，以找到合适的预测参考。在一些情况下，根据预测器(535)获得的搜索结果，输入图像可具有从存储于参考图像存储器(534)中存储的多个参考图像取得的预测参考。
控制器(550)可管理视频编码器(530)的编码操作，包括，例如，设置用于编码视频数据的参数和子组参数。
可在熵编码器(545)中对所有上述功能单元的输出进行熵编码。熵编码器根据例如哈夫曼编码、可变长度编码、算术编码等本领域技术人员已知的技术对各种功能单元生成的符号进行无损压缩，从而将所述符号变换成编码视频序列。
传输器(540)可缓冲由熵编码器(545)创建的编码视频序列，从而为通过通信信道(560)进行传输做准备，该通信信道(460)可以是通向存储编码视频数据的存储设备的硬件/软件链路。传输器(540)可将来自视频编码器(530)的编码视频数据与将要传输的其它数据合并，其它数据可以是，例如，编码音频数据和/或辅助数据流(未示出来源)。
控制器(550)可管理视频编码器(303)的操作。在编码期间，控制器(550)可以为每个编码图像分配编码图像类型，该编码图像类型能够影响可应用于相应图像的编码技术。例如，通常可以将图像指示为以下帧类型之一：
内部图像(I图像)可以是不需要利用序列中其它任何帧作为预测源进行编码和解码的图像。一些视频编解码器允许不同类型的帧内图像，包括例如独立解码器刷新图像(IndependentDecoderRefreshPictures)。本领域技术人员知晓I图像的变型及其相应应用和特征。
预测图像(P图像)可以是可以使用帧内预测或帧间预测来编码和解码的图像，帧内预测或帧间预测使用至多一个运动向量和参考索引来预测每个块的采样值。
双向预测图像(B图像)可以是可以使用帧内预测或帧间预测来编码和解码的图像，帧内预测或帧间预测使用至多两个运动向量和参考索引来预测每个块的采样值。类似地，多个预测性图像可使用多于两个参考图像和相关元数据以重建单个块。
源图像通常可以在空间上细分为多个采样块(例如，每个采样为4×4、8×8、4×8或16×16的块)，并且在逐块的基础上编码。这些块可参考其它(已编码的)块进行预测编码，其它块可以根据应用于块的相应图像的编码任务来确定。例如，I图像的块可进行非预测编码，或可参考同一图像的已编码的块来进行预测编码(空间预测或帧内预测)。P图像的像素块可参考一个先前编码的参考图像进行空间预测或时域预测进行非预测编码。B图像的块可参考一个或两个先前编码的参考图像，通过空间预测或时域预测进行非预测编码。
视频编码器(303)可根据如ITU-TRec.H.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器(303)可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此，编码视频数据可符合所使用的视频编码技术或标准指示的语法。
在实施例中，传输器(540)可传输附加数据和已编码的视频。视频编码器(530)可将此类数据作为编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、冗余图像和切片等其它形式的冗余数据、补充增强信息(EnhancementInformation，SEI)消息、可视可用性信息(VisualUsabilityInformation，VUI)参数集片段等。
在VVC中，对于TS模式和MTS有单独的语法和语义，但是，这两个工具都与变换选择有关，并且可以使语法和语义协调一致。
TS模式和MTS的单独信令增加了编码器和解码器的复杂性。对于编码器，如果未使用MTS，则应检查另外的TS模式。对于解码器，TS模式与MTS分开实现。
在TS模式下，水平变换和垂直变换均被跳过。但是，更加灵活的方式是，对于水平变换或垂直变换进行跳过变换，或对水平变换和垂直变换都进行跳过变换。
TS模式应用于尺寸小于或等于16的块，对于4x2和2x4的块，由于其大小不是2的幂，所以为了重用相同的量化方案，在TS模式中需要乘法运算，与不涉及的乘法运算的4点变换跳过相比，这是额外的计算成本。
因此，根据各实施例，MTS的某些变换类型被恒等变换(Identity transform，IDT)替代，但保持MTS的语法不变。N点IDT是使用仅对角线位置具有非零系数的NxN变换核心的线性变换过程，对角线位置是指具有相等的水平和垂直坐标值的位置。
根据一个实施例，如果块宽度和/或高度满足预定义条件，则用IDT替换MTS的某些变换类型(即trType)(或者，如果在块的较小侧应用MTS的某些变换类型时，则用IDT替换MTS的某些变换类型)。
以下条件可以单独使用或以任何顺序组合使用。
(a)在一个示例中，MTS的某些变换类型包括但不限于DCT-1，DCT-2，…DCT-8，DST-1，DST-2，…DST-8。此项适用于以下
Figure BDA0002961252180000181
(b)在一个示例中，MTS的某些变换类型可以是DCT-8或DCT-4。
(c)在一个示例中，进行进一步限制：当选择主变换类型时，不使用帧内预测模式信息。即，对主变换类型的选择与帧内预测模式不存在依赖关系。
(d)在一个示例中，条件是MTS的所述某些变换类型是否用作水平变换并且块宽度是否小于或等于预定义阈值。示例值(T)包括但不限于2、4、8、16、32、64、128、256。
(e)在另一示例中，条件是MTS的所述某些变换类型是否用作垂直变换并且块高度是否小于或等于预定义阈值。示例值(T)包括但不限于2、4、8、16、32、64、128、256。
(f)在一个示例中，条件是块区域大小是否小于或等于预定义值，示例值(T)包括但不限于8、16、32、64、128、256、512、1024。
(f)在另一示例中，条件是max(width/height,height/width)比是否小于或大于预定义阈值。阈值(T)的示例值包括但不限于2、4、8、16、32。
(g)在另一示例中，条件是min(height,width)是否小于预定义阈值。
(h)在一个实施例中，可在切片头部、PPS、SPS、VPS中用信号表示上述阈值(T)，或Log2(T)或Log2(T)-1，或Log2(T-2)。
(i)在另一示例中，如果水平变换和变换类型不同，则用IDT替换变换类型trType。即，如果仅在水平方向或垂直方向上使用变换类型trType，而不是同时在两者上使用，则用IDT替换变换类型trType。
(j)在一个示例中，在MTS中使用的水平变换和垂直变换的组合，即，{DST-7，DST-7}，{DST-7，DCT-8}，{DCT-8，DST-7}，{DCT-8，DCT-8}被替换为一组不同的水平变换和垂直变换的组合，包括：{DST-7，DST-7}，{DST-7，IDT}，{IDT，DST-7}和{DCT-8，DCT-8}。
在一个实施例中，IDT的变换核仅具有非零元素2M*sqrt(N)，其中M是整数，M的示例值包括但不限于-20，-19，…，0，1，2，…19，20。
在一个实施例中，IDT的变换核仅具有非零元素Floor(2M*sqrt(N)+0.5)，其中M是整数，M的示例值包括但不限于-20，-19，…，0，1，2，…19，20，Floor(.)是返回小于输入值的最大整数的取整函数。
在另一实施例中，IDT的变换核仅具有值为2M的非零元素值，其中M的值取决于变换大小。
根据一个实施例，不同的量化矩阵被应用于不同的主变换类型和/或次变换类型。
取决于IDT是被应用于水平方向、垂直方向还是水平和垂直方向两者，使用不同的量化矩阵。
在一个示例中，如果IDT被应用于水平变换和垂直变换两者，则使用平坦量化矩阵(具有相同的元素)。
在另一实例中，如果IDT仅被应用于水平变换，则使用沿着水平方向具有相同元素的量化矩阵。
在另一实例中，如果IDT仅被应用于垂直变换，则使用沿着垂直方向具有相同元素的量化矩阵。
取决于在水平方向、垂直方向或者水平方向和垂直方向两者上应用哪些MTS候选，使用不同的量化矩阵。
根据一个实施例，当用信号表示MTS变换索引时，如果非零系数的数目小于或等于预定义阈值，则MTS变换索引不用信号表示，而是隐含地将其推导为0。阈值可以取决于主变换类型和/或次变换类型。
以下条件可以单独使用或以任何顺序组合使用。
(a)在一个示例中，如果IDT被应用于水平变换和垂直变换两者，则阈值是-1或0或1。
(b)在另一示例中，如果IDT被应用于水平变换或垂直变换，而不是水平变换和垂直变换两者，则阈值是-1或0或1，并且该值与不应用IDT时在用信号表示MTS变换索引中使用的阈值不同。
(c)根据一个实施例，取决于IDT被应用于水平变换、垂直变换还是水平变换和垂直变换两者，确定是否使用NSST变换核以及使用哪些NSST变换核。
以下条件可以单独使用或以任何顺序组合使用。
(a)在一个示例中，如果IDT被应用于水平变换和垂直变换两者，则不应用NSST。
(b)在一个示例中，如果IDT被应用于水平变换或垂直变换，则不应用NSST。
(c)在一个实施例中，是否应用NSST不仅取决于IDT在MTS中的使用，而且取决于其它已编码信息或编码器和解码器二者可用的任何信息，包括但不限于块宽度、块高度、块区域大小、块宽高比、帧内预测模式。
根据一个实施例，以下语法描述示出了对VVC规范文本草案版本2的修改。下划线示出了添加的文本，而
Figure BDA0002961252180000203
示出了删除的文本。
图片参数集RBSP语法
Figure BDA0002961252180000201
残差编解码语法
Figure BDA0002961252180000202
Figure BDA0002961252180000211
Figure BDA0002961252180000221
Figure BDA0002961252180000231
图片参数集RBSP语义
pps_pic_parameter_set_id标识PPS以供其它语法元素参考。pps_pic_parameter_set_id的值应在0到63(含)的范围内。
pps_seq_parameter_set_id指示活动SPS的sps_seq_parameter_set_id的值。pps_seq_parameter_set_id的值应在0到15(含)的范围内。
Figure BDA0002961252180000232
残差编解码语义
数组AbsLevel[xC][yC]表示当前变换块的变换系数等级的绝对值的数组，而数组AbsLevelPass1[xC][yC]表示当前变换块的变换系数等级的部分重建的绝对值的数组。数组索引xC和yC指示当前变换块内的变换系数位置(xC，yC)。当在子句7.3.4.8中未指示AbsLevel[xC][yC]的值时，则推断其等于0。当在条款7.3.4.8中未指示AbsLevelPass1[xC][yC]的值时，则推断其等于0。
指示最小和最大变换系数值的变量CoeffMin和CoeffMax由以下等式(3)和(4)导出：
CoeffMin＝-(1<<15) (3)
CoeffMax＝(1<<15)-1 (4)
数组QStateTransTable[][]由以下等式指示：
QStateTransTable[][]＝{{0,2},{2,0},{1,3},{3,1}} (5)
Figure BDA0002961252180000233
Figure BDA0002961252180000241
last_sig_coeff_x_prefix指示在变换块内按扫描次序的最后有效系数的列位置的前缀。last_sig_coeff_x_prefix的值应在0到(log2TbWidth<<1)-1(含)的范围内。
last_sig_coeff_y_prefix指示在变换块内按扫描次序的最后有效系数的行位置的前缀。last_sig_coeff_y_prefix的值应在0到(log2TbHeight<<1)-1(含)的范围内。
last_sig_coeff_x_suffix指示在变换块内按扫描次序的最后有效系数的列位置的后缀。last_sig_coeff_x_suffix的值应在0到(1<<((last_sig_coeff_x_prefix>>1)-1))-1(含)的范围内。
在变换块内按扫描次序的最后有效系数的列位置LastSignificantCoeffX以如下方式导出：
缩放和变换过程
此过程的输入是：
—亮度位置(xTbY，yTbY)，其指示相对于当前图像的左上亮度样本的当前亮度变换块的左上样本，
—变量cIdx，其指示当前块的色彩分量，
—变量nTbW，其指示变换块宽度，
—变量nTbH，其指示变换块高度。
此过程的输出是残差样本resSamples[x][y]的(nTbW)x(nTbH)数组，其中x＝0..，nTbW-1，y＝0..，nTbH-1。
变量bitDepth、bdShift和tsShift由以下等式导出：
bitDepth＝(cIdx＝＝0)？BitDepthY:BitDepthC (6)
bdShift＝Max(22-bitDepth,0) (7)
Figure BDA0002961252180000242
残差样本resSamples的(nTbW)x(nTbH)数组以如下方式导出：
(1)以变换块位置(xTbY，yTbY)、变换宽度nTbW和变换高度nTbH、色彩分量变量cIdx和当前色彩分量bitDepth的位深度作为输入，调用条款8.3.3中指示的变换系数的缩放过程，且输出是经缩放的变换系数d的(nTbW)x(nTbH)数组。
Figure BDA0002961252180000251
Figure BDA0002961252180000252
以经缩放的变换系数d的变换块位置(xTbY，yTbY)、变换宽度nTbW和变换高度nTbH、色彩分量变量cIdx和(nTbW)x(nTbH)数组作为输入，调用在条款8.3.4.1中指示的对经缩放的变换系数的变换过程，且输出是残差样本r的(nTbW)x(nTbH)数组。
(3)残差样本resSamples[x][y]由以下等式导出，其中，x＝0..，nTbW-1，y＝0..，nTbH-1：
resSamples[x][y]＝(r[x][y]+(1<<(bdShift-1)))>>bdShift (10)
变换矩阵导出过程
此过程的输入是：
—变量nTbS，其指示经缩放的变换系数的水平样本大小，
—变换内核类型trType。
此过程的输出是变换矩阵transMatrix。
变换矩阵transMatrix基于trType和nTbs以如下方式导出：
—如果trType等于0，则以下等式适用：
transMatrix[m][n]＝transMatrixCol0to15[m][n]，其中，m＝0..,15,n＝0...,63(11)
Figure BDA0002961252180000261
transMatrix[m][n]＝transMatrixCol16to31[m-16][n]withm＝16..,31,n＝0..,63 (13)
Figure BDA0002961252180000271
transMatrix[m][n]＝(n&1？-1:1)*transMatrixCol16to31[47-m][n] (15)
其中，m＝32..,47,n＝0..,63
transMatrix[m][n]＝(n&1？-1:1)*transMatrixCol0to15[63-m][n] (16)
其中，m＝48..,63,n＝0..,63
—否则，如果trType等于1且nTbs等于4，则以下等式适用：
Figure BDA0002961252180000281
—否则，如果trType等于1且nTbs等于8，则以下等式适用：
Figure BDA0002961252180000282
—否则，如果trType等于1且nTbs等于16，则以下等式适用：
Figure BDA0002961252180000283
—否则，如果trType等于1且nTbs等于32，则以下等式适用：
transMatrix[m][n]＝transMatrixCol0to15[m][n] (20)
其中，m＝0..,15,n＝0..,31
Figure BDA0002961252180000291
transMatrix[m][n]＝transMatrixCol16to31[m-16][n] (22)
其中，m＝16..,31,n＝0..,31
Figure BDA0002961252180000301
—否则，如果trType等于2且nTbs等于4，则以下等式适用：
Figure BDA0002961252180000302
—否则，如果trType等于2且nTbs等于8，则以下等式适用：
Figure BDA0002961252180000303
—否则，如果trType等于2且nTbs等于16，则以下等式适用：
Figure BDA0002961252180000311
—否则，如果trType等于2且nTbs等于32，则以下等式适用：
transMatrix[m][n]＝transMatrixCol0to15[m][n] (27)
其中，m＝0..,15,n＝0..,31
Figure BDA0002961252180000312
transMatrix[m][n]＝transMatrixCol16to31[m-16][n] (29)
其中，m＝16..,31,n＝0..,31
Figure BDA0002961252180000321
图6是一个实施例的对视频序列进行解码或编码中的残余编码进行控制的方法(600)的流程图。在一些实施方式中，图6的至少一个过程框可以由解码器(310)执行。在一些实施方式中，图6的至少一个过程框可以由与解码器(310)分离或包括解码器(310)的另一设备或一组设备执行，例如编码器(303)。
参考图6，在第一框(610)中，方法(600)包括确定是否使用恒等变换(IDT)替代多变换选择(MTS)的变换类型。基于块高度和块宽度中的两者或两者之一是否满足预定条件(610-否)，方法(600)结束。
在第二框(620)中，方法(600)包括，基于块高度和块宽度中的两者或两者之一满足预定条件(610-是)，使用IDT替代MTS的变换类型。
在第三框(630)中，方法(600)包括保持MTS的语法不变。
确定亮度编解码块的第一帧内预测方向是否与色度编解码块的第二帧内预测方向一致的方法可以包括基于对应于角度预测模式、平面模式和DC模式之一的第一帧内预测方向和第二帧内预测方向两者来确定第一帧内预测方向与第二帧内预测方向一致。
MTS的变换类型可以是离散余弦变换DCT-4或DCT-8。
图7是另一实施例的对视频序列进行解码或编码中的残余编码进行控制的方法(700)的流程图。在一些实施方式中，图7的至少一个过程框可以由解码器(310)执行。在一些实施方式中，图7的至少一个过程框可以由与解码器(310)分离或包括解码器(310)的另一设备或一组设备执行，诸如编码器(303)。
参考图7，在第一框(710)中，方法(700)包括确定MTS的变换类型是被应用于水平变换还是垂直变换。
基于MTS的变换类型被应用于水平变换(710-水平)，在第二框(720)中，方法(700)包括：所述预定条件是块宽度小于预定阈值。
基于MTS的变换类型被应用于垂直变换(710-垂直)，在第三块(730)中，方法(700)包括：所述预定条件是块高度小于预定阈值。
预定阈值可以是2、4、8、16、32、64、128和156中的一个。
预定条件可以是在水平方向或垂直方向上使用MTS的变换类型，但不在水平方向和垂直方向两者上同时使用MTS的变换类型。
尽管图6和7示出了方法(600)和(700)的示例框，但是在一些实施方式中，方法(600)和(700)可包括比图6和图7中所描绘的那些框更多的框、更少的框、不同的框或不同排列的框。另外或可选地，方法(600)和(700)的框中的两个或更多个框可以并行执行。
此外，可以通过处理电路(例如，至少一个处理器或者至少一个集成电路)来实现所提出的方法。在一个示例中，至少一个处理器执行存储在非易失性计算机可读介质中的程序，以执行所提出的方法中的至少一个。
图8是一个实施例的对视频序列进行解码或编码中的残余编码进行控制的装置(800)的简化框图。
参考图8，装置(800)包括确定代码(810)和替换代码(820)。
确定代码(810)用于使得至少一个处理器基于块高度和块宽度中的两者或两者之一是否满足预定条件，确定是否使用恒等变换(IDT)替换多变换选择(MTS)的变换类型。
替换代码(820)用于使得至少一个处理器基于块高度和块宽度中的两者或两者之一满足预定条件，使用IDT替换多变换选择(MTS)的变换类型并且保持MTS的语法不变。
上述技术可以使用计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。
图9为适于实现各实施例的计算机系统(900)的示意图。
计算机软件可利用任何合适的机器代码或计算机语言来编码，可采用汇编、编译、链接或类似机制生成包括指令的代码。这些指令可由计算机中央处理单元(centralprocessing unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)等直接执行或通过代码解释、微代码执行等操作来执行。
这些指令可在多种类型的计算机或计算机组件中执行，包括，例如，个人计算机、平板电脑、服务器、智能电话、游戏设备、物联网设备等。
图9所示的计算机系统(900)的部件本质上是示例性的，并不旨在对实现各实施例的计算机软件的使用范围或功能提出任何限制。也不应将组件的构造解释为对计算机系统(900)的示例性实施例中所说明的部件中的任一者或组合具有任何依赖性或要求。
计算机系统(900)可以包括某些人机界面输入设备。这样的人机界面输入设备可以响应于一个或多个人类用户通过例如触觉输入(诸如键击、挥动、数据手套移动)、音频输入(诸如语音、拍击)、视觉输入(诸如姿势)、嗅觉输入(未示出)的输入。人机界面设备还可用于捕捉不必直接与人类有意识输入相关的某些介质，例如音频(诸如语音、音乐、环境声音)、图像(诸如扫描的图像、从静止图像相机获得的摄影图像)、视频(诸如二维视频，包括立体视频的三维视频)。
人机界面输入设备可包括以下项中的一种或多种(每一种仅描绘一个)：键盘(901)、鼠标(902)、触控板(903)、触摸屏(910)、数据手套(904)、操纵杆(905)、麦克风(906)、扫描仪(907)、照相机(908)。
计算机系统(900)还可以包括某些人机界面输出设备。这样的人机界面输出设备可以通过例如触觉输出、声音、光和气味/味道来刺激一个或多个人类用户的感觉。这种人机界面输出设备可以包括触觉输出设备(例如通过触摸屏(910)、数据手套或操纵杆(905)的触觉反馈，但是也可以有不用作输入设备的触觉反馈设备)、音频输出设备(诸如扬声器(909)、耳机(未示出))、可视输出设备以及打印机(未示出)，其中可视输出设备诸如屏幕(910)、虚拟现实眼镜(未示出)、全息显示器和烟雾箱(未示出)，屏幕(910)包括阴极射线管(CRT)屏幕、液晶显示器(LCD)屏幕、等离子屏幕、有机发光二极管(OLED)屏幕，每一种都具有或不具有触摸屏输入能力，每一种都具有或不具有触觉反馈能力，这些屏幕中的一些能够通过手段(诸如立体图像输出)输出二维可视输出或多于三维的输出。
计算机系统(900)还可以包括人类可访问的存储设备及其相关联的介质，诸如光学介质(包括具有CD/DVD的CD/DVDROM/RW620)或类似介质(921)、拇指驱动器(922)、可移动硬盘驱动器或固态驱动器(923)、传统磁介质(诸如磁带和软盘(未示出))、基于专用ROM/ASIC/PLD的设备(诸如安全道尔芯片(未示出))，等等。
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。
计算机系统(900)还可以包括连接一个或多个通信网络的接口。网络例如可以是无线网络、有线网络、光网络。网络还可以是本地网、广域网、城域网、车联网的和工业网络、实时网络、延迟容忍网络等等。网络的示例包括局域网(诸如以太网、无线LAN)、蜂窝网络(包括全球移动通信系统(GSM)、第三代(3G)、第四代(4G)、第五代(5G)、长期演进(LTE)等)、电视有线或无线广域数字网络(包括有线电视、卫星电视和地面广播电视)、车辆和工业网络(包括CANBus)，等等。某些网络通常需要外部网络接口适配器，该外部网络接口适配器连接到某些通用数据端口或外围总线(949)(诸如计算机系统(900)的通用串行总线(USB)端口)；其他的通常通过如下所述连接到系统总线而集成到计算机系统(900)的核心中(例如，进入个人计算机系统的以太网接口或进入智能手机计算机系统的蜂窝网络接口)。通过使用这些网络中的任何一个，计算机系统(900)可以与其它实体通信。这种通信可以是使用局域或广域数字网络的到其它计算机系统的单向的、仅接收的(例如广播TV)、单向仅表示的(例如到某些CAN总线设备的CAN总线)或双向的通信。可以在如上所述的那些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机界面设备、人类可访问存储设备和网络接口可以连接到计算机系统(900)的内核(940)。
内核(940)可以包括一个或多个中央处理单元(CPU)(941)、图形处理单元(GPU)(942)、以现场可编程门阵列(FPGA)(943)形式存在的专用可编程处理单元、用于特定任务的硬件加速器(944)等。这些设备与只读存储器(ROM)(945)、随机存取存储器(RAM)(946)、内部大容量存储器(诸如内部非用户可访问硬盘驱动器)、固态驱动器(SSD)等(947)一起可以通过系统总线(948)连接。在一些计算机系统中，系统总线(948)可以以一个或多个物理插头的形式访问，从而使得通过附加CPU、GPU等能够进行扩展。外围设备可直接附接到核心的系统总线(948)上，或通过外围总线(949)附接到核心的系统总线(948)上。外围总线的体系结构包括外围部件互连(PCI)、USB等。
CPU(941)、GPU(942)、FPGA(943)和加速器(944)可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM(945)或RAM(946)中。过渡数据也可以存储在RAM(946)中，而永久数据可以存储在例如内部大容量存储器(947)中。通过使用高速缓冲存储器可实现对任何内存设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU(941)、GPU(942)、大容量存储器(947)、ROM(945)、RAM(946)等紧密关联。
计算机可读介质上可以具有计算机代码，在计算机代码上执行各种计算机执行的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
作为示例而非限制，具有体系结构(900)的计算机系统，特别是内核(940)，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供功能，从而执行包括在一个或多个有形的计算机可读介质中的软件。这种计算机可读介质可以是与如上所述的用户可访问的大容量存储器相关联的介质，以及具有非瞬态性质的内核(940)的某些存储器，诸如核心内部大容量存储器(947)或ROM(945)。实现本申请的各种实施例的软件可以存储在这种设备中并由内核(940)来执行。根据特定需要，计算机可读介质可包括一个或多个存储器设备或芯片。软件可致使内核(940)，具体地是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括界定存储在RAM(946)中的数据结构并根据软件所界定的过程修改这种数据结构。另外或作为替代，计算机系统可提供作为逻辑硬连线或以其它方式包括在电路(例如加速器(944))中的功能，该电路可代替软件或与软件一起操作以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包括执行逻辑的电路，或两者兼备。本申请包括硬件和软件的任何适当组合。
虽然本申请已对多个示例性实施例进行了描述，但实施例的各种变更、置换和各种替代属于本申请的范围内。因此应理解，本领域技术人员能够设计多种系统和方法，所述系统和方法虽然未在本文中明确展示或描述，但其体现了本申请的原则，因此属于本申请的精神和范围之内。

Claims (20)

1.一种对视频序列解码或编码中的残差编解码进行控制的方法，其特征在于，所述方法由至少一个处理器执行，并且所述方法包括：
基于块高度和块宽度中的两者或两者之一是否满足预定条件，确定是否使用恒等变换(Identity transform，IDT)替代多变换选择(Multiple Transform Selection，MTS)的变换类型；及
基于所述块高度和所述块宽度中的两者或两者之一满足所述预定条件，使用所述IDT替换MTS的所述变换类型，并且保持所述MTS的语法不变；
其中，所述IDT是使用NxN变换核的线性变换过程，其中，所述NxN变换核中，沿对角位置的每个系数是非零的，并且N是整数。
2.根据权利要求1所述的方法，其特征在于，所述MTS的所述变换类型是离散余弦变换DCT-4或DCT-8。
3.根据权利要求1所述的方法，其特征在于，所述MTS的所述变换类型为水平变换，且所述预定条件是所述块宽度小于预定阈值。
4.根据权利要求3所述的方法，其特征在于，所述预定阈值是2、4、8、16、32、64、128和156中的一个。
5.根据权利要求1所述的方法，其特征在于，所述MTS的所述变换类型为垂直变换，且所述预定条件是所述块高度小于预定阈值。
6.根据权利要求5所述的方法，其特征在于，所述预定阈值是2、4、8、16、32、64、128和156中的一个。
7.根据权利要求1所述的方法，其特征在于，所述预定条件是在水平方向或垂直方向上使用所述MTS的所述变换类型，但不在所述水平方向和所述垂直方向两者上同时使用所述MTS的所述变换类型。
8.一种对视频序列解码或编码中的残差编解码进行控制的装置，其特征在于，所述装置包括：
至少一个存储器，用于存储计算机程序代码；及
至少一个处理器，用于访问所述至少一个存储器并根据所述计算机程序代码进行操作，所述计算机程序代码包括：
确定代码，用于使得所述至少一个处理器基于块高度和块宽度中的两者或两者之一是否满足预定条件，确定是否使用恒等变换(Identity transform，IDT)替代多变换选择(Multiple Transform Selection，MTS)的变换类型；及
替换代码，用于基于所述块高度和所述块宽度中的两者或两者之一满足所述预定条件，使用所述IDT替换MTS的所述变换类型，并且保持所述MTS的语法不变，
其中，所述IDT是使用NxN变换核的线性变换过程，其中，所述NxN变换核沿对角位置的每个系数是非零的，并且N是整数。
9.根据权利要求8所述的装置，其特征在于，所述MTS的所述变换类型是离散余弦变换DCT-4或DCT-8。
10.根据权利要求8所述的装置，其特征在于，所述MTS的所述变换类型为水平变换，且所述预定条件是所述块宽度小于预定阈值。
11.根据权利要求10所述的装置，其特征在于，所述预定阈值是2、4、8、16、32、64、128和156中的一个。
12.根据权利要求8所述的装置，其特征在于，所述MTS的所述变换类型为垂直变换，且所述预定条件是所述块高度小于预定阈值。
13.根据权利要求12所述的装置，其特征在于，所述预定阈值是2、4、8、16、32、64、128和156中的一个。
14.根据权利要求8所述的装置，其特征在于，所述预定条件是在水平方向或垂直方向上使用所述MTS的所述变换类型，但不在所述水平方向和所述垂直方向两者上同时使用所述MTS的所述变换类型。
15.一种存储指令的非易失性计算机可读存储介质，其特征在于，所述指令使得至少一个处理器：
基于块高度和块宽度中的两者或两者之一是否满足预定条件，确定是否使用恒等变换(Identity transform，IDT)替代多变换选择(Multiple Transform Selection，MTS)的变换类型；及
基于所述块高度和所述块宽度中的两者或两者之一满足所述预定条件，使用所述IDT替换MTS的所述变换类型，并且保持所述MTS的语法不变；
其中，所述IDT是使用NxN变换核的线性变换过程，其中，所述NxN变换核沿对角位置的每个系数是非零的，并且N是整数。
16.根据权利要求15所述的非易失性计算机可读存储介质，其特征在于，所述MTS的所述变换类型是离散余弦变换DCT-4或DCT-8。
17.根据权利要求15所述的非易失性计算机可读存储介质，其特征在于，所述MTS的所述变换类型为水平变换，且所述预定条件是所述块宽度小于预定阈值。
18.根据权利要求17所述的非易失性计算机可读存储介质，其特征在于，所述预定阈值是2、4、8、16、32、64、128和156中的一个。
19.根据权利要求15所述的非易失性计算机可读存储介质，其特征在于，所述MTS的所述变换类型为垂直变换，且所述预定条件是所述块高度小于预定阈值。
20.根据权利要求19所述的非易失性计算机可读存储介质，其特征在于，所述预定阈值是2、4、8、16、32、64、128和156中的一个。
CN201980057775.3A 2018-09-14 2019-08-30 对视频序列解码或编码中的残差编解码进行控制的方法和装置 Active CN113039795B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862731773P 2018-09-14 2018-09-14
US62/731,773 2018-09-14
US16/393,289 2019-04-24
US16/393,289 US11039139B2 (en) 2018-09-14 2019-04-24 Method and apparatus for identity transform in multiple transform selection
PCT/US2019/049078 WO2020055611A1 (en) 2018-09-14 2019-08-30 Method and apparatus for identity transform in multiple transform selection

Publications (2)

Publication Number Publication Date
CN113039795A true CN113039795A (zh) 2021-06-25
CN113039795B CN113039795B (zh) 2023-02-24

Family

ID=69773637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980057775.3A Active CN113039795B (zh) 2018-09-14 2019-08-30 对视频序列解码或编码中的残差编解码进行控制的方法和装置

Country Status (4)

Country Link
US (1) US11039139B2 (zh)
EP (1) EP3769524A4 (zh)
CN (1) CN113039795B (zh)
WO (1) WO2020055611A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892270A (zh) * 2019-02-08 2022-01-04 腾讯美国有限责任公司 在变换跳过模式和多变换选择之间进行协调的方法和装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019203569A1 (ko) * 2018-04-17 2019-10-24 엘지전자 주식회사 전처리/후처리 행렬에 기초하는 근사 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
EP3874746A1 (en) * 2018-11-01 2021-09-08 InterDigital VC Holdings, Inc. Video encoding and decoding using multiple transform selection
KR102388807B1 (ko) * 2018-12-17 2022-04-20 엘지전자 주식회사 고주파 제로잉을 기반으로 변환 계수 스캔 순서를 결정하는 방법 및 장치
WO2020130730A1 (ko) * 2018-12-21 2020-06-25 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CN113812146B (zh) * 2019-05-10 2022-11-11 北京字节跳动网络技术有限公司 用于视频处理的基于亮度的二次变换矩阵选择
CN113940074A (zh) * 2019-05-27 2022-01-14 Lg电子株式会社 基于广角帧内预测和变换的图像编码方法和装置
CN113950829A (zh) * 2019-06-06 2022-01-18 北京字节跳动网络技术有限公司 简化的变换编解码工具
CN113940076A (zh) * 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 应用隐式变换选择
WO2020244656A1 (en) 2019-06-07 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
JP7422858B2 (ja) 2019-08-03 2024-01-26 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、記憶媒体及び記憶方法
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
US11356685B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorproated Signaling number of sub-pictures in high-level syntax for video coding
AU2019275553B2 (en) * 2019-12-03 2022-10-06 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a coding tree unit
AU2019275552B2 (en) * 2019-12-03 2022-10-13 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a coding tree unit
CN114930849A (zh) * 2020-01-10 2022-08-19 Lg 电子株式会社 基于变换的图像编译方法及其装置
CN116250241A (zh) * 2020-08-21 2023-06-09 抖音视界有限公司 变换跳过模式的编解码模式相关选择

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097691A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2769161B1 (fr) * 1997-10-01 1999-12-24 Univ Neuchatel Procede de controle du taux de compression d'images numeriques
WO2012120909A1 (ja) 2011-03-09 2012-09-13 パナソニック株式会社 動画像復号化装置および動画像復号化方法
US9313497B2 (en) * 2012-01-25 2016-04-12 Intel Corporation Systems, methods, and computer program products for transform coefficient sub-sampling
JP6262260B2 (ja) 2013-03-15 2018-01-17 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 深度マップイントラコード化のための予測子
WO2015042751A1 (en) 2013-09-27 2015-04-02 Qualcomm Incorporated Residual coding for depth intra prediction modes
WO2015043501A1 (en) 2013-09-27 2015-04-02 Qualcomm Incorporated Residual coding for depth intra prediction modes
WO2016064862A1 (en) 2014-10-20 2016-04-28 Google Inc. Continuous prediction domain
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
US11647214B2 (en) * 2018-03-30 2023-05-09 Qualcomm Incorporated Multiple transforms adjustment stages for video coding
US11259052B2 (en) * 2018-07-16 2022-02-22 Qualcomm Incorporated Transform variations of multiple separable transform selection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097691A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AMIR SAID等: "CE6.1.1: Extended AMT", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018，JVET-K0375-V2》 *
AMIR SAID等: "Description of Core Experiment 6: Transforms and transform signalling", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，10TH MEETING: SAN DIEGO, US, 10–20 APR. 2018，JVET-J1026-V3》 *
V. LORCY等: "EE2: Adaptive Primary Transform improvement", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，4TH MEETING: CHENGDU, CN, 15–21 OCTOBER 2016，JVET-D0065》 *
V. LORCY等: "Proposed improvements to the Adaptive multiple Core transform", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, 3RD MEETING: GENEVA, CH, 26 MAY – 1 JUNE 2016, JVET-C0022》 *
XIANG LI等: "Description of SDR video coding technology proposal by Tencent", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11,10TH MEETING: SAN DIEGO, US, 10–20 APR. 2018,JVET-J0029-V1》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892270A (zh) * 2019-02-08 2022-01-04 腾讯美国有限责任公司 在变换跳过模式和多变换选择之间进行协调的方法和装置
CN113892270B (zh) * 2019-02-08 2024-03-29 腾讯美国有限责任公司 视频编解码方法、装置和存储介质

Also Published As

Publication number Publication date
CN113039795B (zh) 2023-02-24
US11039139B2 (en) 2021-06-15
US20200092555A1 (en) 2020-03-19
EP3769524A4 (en) 2021-12-22
EP3769524A1 (en) 2021-01-27
WO2020055611A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
CN113039795B (zh) 对视频序列解码或编码中的残差编解码进行控制的方法和装置
CN111869218B (zh) 视频编解码的方法和装置
US10623748B2 (en) Method and apparatus for video coding
CN110324619B (zh) 变换信息预测
CN112514393B (zh) 解码视频序列的方法、装置和存储介质
CN110881127B (zh) 控制残差编码的方法、装置、计算机设备和存储介质
CN113228659B (zh) 帧内模式编解码的方法和装置
EP3788786A1 (en) Method and apparatus for prediction and transform for small blocks
CN110708558B (zh) 变换类型的表示方法和设备
CN113545091B (zh) 对视频序列执行最大变换大小控制的解码方法和装置
CN110719477B (zh) 视频编解码的方法、装置、计算机设备及计算机可读存储介质
US11582487B2 (en) Method and apparatus for improved compound orthonormal transform
CN113994676A (zh) 视频编解码方法和装置
CN112005549A (zh) 用于编码块标志(cbf)和预测模式的改进的上下文设计的方法和装置
CN112235573A (zh) 视频编解码的方法、装置、电子设备、存储介质
CN112118456A (zh) 莱斯参数选择方法、装置、计算机设备及存储介质
CN110622509B (zh) 用于对编码单元进行分割的方法及装置
CN112135151B (zh) 视频解码方法、系统、计算机设备和存储介质
CN115486073A (zh) 多参考行帧内预测、变换分割和变换核当中的协调设计
CN114073084A (zh) 在视频码流中有效发信号通知图片大小和分区信息的方法和装置
CN113785495A (zh) 灵活的图片分割
CN116158076A (zh) 有效应用lgt的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40046975

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant