CN113748680B - 视频编解码系统中编解码视频数据的方法及装置 - Google Patents

视频编解码系统中编解码视频数据的方法及装置 Download PDF

Info

Publication number
CN113748680B
CN113748680B CN202080027400.5A CN202080027400A CN113748680B CN 113748680 B CN113748680 B CN 113748680B CN 202080027400 A CN202080027400 A CN 202080027400A CN 113748680 B CN113748680 B CN 113748680B
Authority
CN
China
Prior art keywords
transform
block
current block
secondary transform
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080027400.5A
Other languages
English (en)
Other versions
CN113748680A (zh
Inventor
江嫚书
徐志玮
庄子德
陈庆晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN113748680A publication Critical patent/CN113748680A/zh
Application granted granted Critical
Publication of CN113748680B publication Critical patent/CN113748680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频编码或解码系统中具有条件次要变换信令的视频处理方法以及装置。所述视频编码系统决定以及应用变换操作到变换块的残差来生成最终变换系数，以及根据所述变换块中最后有效系数的位置适应性地发信次要变换索引。所述次要变换索引的一值根据所述变换操作来决定。所述视频解码系统从视频比特流中解析所述当前块中每一变换块的最后有效系数位置语法来决定每一变换块的最后有效系数的位置，以及根据所述最后有效系数的所述位置推断逆次要变换不被应用于所述当前块；否则，通过从所述视频比特流中解析次要变换索引，所述视频解码系统决定逆变换操作。

Description

视频编解码系统中编解码视频数据的方法及装置
技术领域
本发明涉及视频编解码系统中编码或解码视频数据的视频处理方法以及装置。具体地，本发明涉及具有取决于变换块层级语法的条件次级变换(secondary transform)信令的编码或解码方法。
背景技术
高效视频编解码(HEVC)标准是由来自ITU-T研究小组的视频编解码专家的联合视频编解码小组(JCT-VC)开发的最新视频编解码标准。HEVC标准依赖于基于块的编解码结构，其将每一视频图像拆分成非重迭的正方形编码树单元(CTU)。视频图像或条带(slice)中每一单个CTU以光栅扫描次序(raster scanning order)进行处理。在HEVC主规格中，CTU的最大以及最小尺寸由序列参数集(SPS)中发信的语法元素指定。编解码图像可以由条带的集合表示，以及每一条带包括整数数目的CTU。双向预测(B)条带可以使用帧内预测或帧间预测预测B条带中每一块的样本值来进行解码，帧间预测使用最多两个运动向量以及参考索引。预测(P)条带使用帧内预测或帧间预测预测P条带中每一块的样本值来进行解码，帧间预测使用至多一个运动向量以及参考索引。帧内(I)条带仅使用帧内预测来进行解码。
每一CTU使用四叉树(quadtree，QT)拆分结构进一步被递归地拆分成一个或多个非重迭编码单元(CU)来适应各种局部特性。在QT拆分结构的每一拆分深度上，N×N块是单个叶CU(leaf CU)或者用于相等的N/2×N/2尺寸拆分成四个更小的块。尺寸M×M的CTU像素样本是四叉树编码树的根节点(root node)，以及四个M/2×M/2块是从根节点拆分的子四叉树节点。每一四个M/2×M/2块可以成为由另一个QT拆分来分割的父节点(parent node)来生成四个子节点(child node)，尺寸在每一空间维度上减少一半。如果编码树节点不被进一步拆分，其称为叶CU。叶CU尺寸被限制与大于或等于最小允许的CU尺寸，其也在SPS中指定。在图1中示出了递归四叉树拆分结构的示例，其中实线指示CTU 10中的CU边界。
一旦CTU被拆分成多个叶CU，每一叶CU根据HEVC标准的用于预测的PU拆分类型被进一步拆分成一个或多个预测单元(PU)。不像CU的递归四叉树拆分，每一叶CU可以仅被拆分一次来形成一个或多个PU。因为相同的预测进程被应用于PU中的所有像素样本，PU与相关CU语法作为共享预测信息的基础代表块。预测信息在PU基础上被传达给解码器。在获得由基于PU拆分类型的预测进程生成的残差后，根据残差四叉树(Residual Quadtree，RQT)拆分结构，属于叶CU的残差被分割成一个或多个变换单元(TU)用于将残差变换成变换系数(transform coefficient)。图1总虚线指示CTU 10中的TU边界。TU是用于将变换以及量化应用于残差数据或变换系数的基础代表块。对于每一TU，具有与TU相同尺寸的变换矩阵被应用于残差来生成变换系数，以及这些变换系数在TU的基础上被量化并被传达给解码器。
术语编码树块(CTB)、编码块(CB)、预测块(PB)以及变换块(TB)被定义为分别指定与CTU、CU、PU以及TU相关的一个色彩分量的二维(2-D)样本数组。例如，TU由4:2:0格式编码的图像的一个亮度(luma)TB、两个色度(chroma)TB以及其相关的语法元素组成。类似的关系也适用于CTU、CU以及PU。在HEVC系统中，除非达到色度块的最小尺寸，相同的四叉树拆分结构通常被应用于亮度以及色度分量两者。
ITU-T SG16 WP3以及ISO/IEC JTC1/SC29/WG11的联合视频专家组(JVET)目前正在建立下一代视频编解码标准通用视频编解码(Versatile Video Coding，VVC)。各种有希望的工具被开发并在即将到来的新兴VVC中被采用，例如变换跳过模式以及减少的次要变换。
变换跳过模式变换跳过模式(Transform Skip Mode，TSM)是在不经过变换操作的情况下通过熵编解码来处理已量化残差信号的编解码工具。TSM中编解码的块的已量化残差信号在样本域(sampledomain)中被直接地编码而不是被变换到频率域。TSM被发现对屏幕内容编解码(screen content coding)尤其有效，尤其是对具有锐利边缘以及简单色彩的区域。在VVC工作草案中，TSM由高层级语法控制，例如，启用标识可以用于选择开启或关闭TSM，以及语法元素可以用于发信应用TSM的尺寸约束。例如，TSM被允许应用于宽度或高度大于或等于32亮度样本的变换块。当TSM被启用时，变换块层级标识被发信来指示TSM是否被应用于当前变换块。当TSM被用于变换块时，依赖量化(dependent quantization)以及符号数据隐藏都被禁用。TSM中编解码的残差由单独的解析进程来处理。
减少的次要变换减少的次要变换(Reduced Secondary Transform，RST)是VVC中提出的新编解码工具来进一步改善编解码效率。RST在一些提案中也被称为低频率不可分变换(Low Frequency Non-Separable Transform，LFNST)。RST仅被应用于帧内编解码的块。RST的主要概念是将N维向量映射成不同空间中的R维向量，其中R小于N以及R/N是减少因子。RST矩阵TR×N是R×N矩阵，如下：
其中变换的R行(row)是N维空间的R基。RST的逆变换矩形是正向变换矩阵的转置。在图2中描绘了正向以及逆RST操作。
有两个RST类型，包括RST 8×8类型以及RST 4×4类型，根据当前变换块的块尺寸来选择。当宽度以及高度的最小值大于或等于8时(其意味着变换块的宽度(W)以及高度(H)两者都大于4)，选择RST 8×8类型，以及当宽度或高度小于或等于4时，选择RST 4×4类型。在具有减少因子4(即，1/4尺寸)的RST 8×8类型的示例中，在编码器侧使用16×64RST矩阵，以及在解码器侧使用64×16逆RST矩阵。16×64RST矩阵的输入是8×8左上区域的主要(primary)变换系数以及矩阵的输出是16个次要变换系数，其中主要变换系数表示经过主要变换的系数，次要变换系数表示经过次要变换的系数。正向RST 8×8类型应用16×64矩阵(或8×64矩阵)来作用在给定左上8×8区域，并在左上4×4区域中生成非0系数。换言之，在应用次要变换后，除了左上4×4区域之外的左上8×8区域将仅具有0系数。在RST 8×8类型的另一个示例中，在编码器侧使用16×48RST矩阵，以及在解码器侧使用48×16逆RST矩阵。16×48RST矩阵的输入是左上8×8区域的首先48个变换系数，其可以是首先3个4×4子块，以及矩阵的输出是16个次要变换系数。正向RST 8×8类型应用16×48矩阵(或8×48矩阵)来作用在左上4×4区域(或首先8个系数，其在左上4x4区域或在整个变换块可以是对角线扫描的顺序)生成非0系数。换言之，在应用次要变换后，除了左上4×4区域之外的左上8×8区域将仅具有0系数。对于每一块选择的RST 4×4类型，应用16×16矩阵(或8×16矩阵用于4x4块)对左上4×4区域直接的变换系数做矩阵乘法。如果变换块的宽度(W)以及高度(H)都大于4，那么RST 8×8类型被应用于变换块的左上8×8区域的主要变换系数。否则，如果变换块的宽度(W)以及高度(H)的最小值等于4，RST 4×4类型被应用于变换块的左上4×4区域的主要变换系数。否则，如果变换块的宽度(W)以及高度(H)的最小值小于4，RST不被应用于变换块。
当满足后续两个条件时，逆RST被条件地应用。当块尺寸大于或等于给定阈值时满足第一条件，例如，当宽度大于或等于4以及高度大于或等于4时。当变换跳过模式标识等于0时满足第二条件。
RST索引等于0指示RST不被应用于当前CU，否则RST索引指示哪一次要变换要点(kernel)被选择用于当前CU。RST被应用于帧内以及帧间条带两者中的帧内CU。在当双树(dual tree)被启用的情况下，亮度以及色度分量的RST索引被分别发信。在当双树被禁用的情况下，对于帧间条带中的每一帧内CU，单个RST索引被发信并用于亮度或色度分量。
帧内子分割(Intra Sub-Partition，ISP)模式是VVC中提出的新的帧内预测模式。ISP模式的描述如下。ISP根据它们的块尺寸垂直或水平地将亮度帧内预测块拆分成2或4个子分割。对于每一子分割，通过将残差信号添加到预测信号获得重构样本。这里，通过如熵解码、逆量化以及逆变换的进程生成残差信号。因此，每一子分割的重构样本值是可用的来生成下一子分割的预测，以及每一子分割被重复地处理。此外，待处理的第一子分割是包含CU的左上样本然后继续向下(水平拆分)或者向右(垂直拆分)的子分割。结果，用于生成子分割预测信号的参考样本仅位于分割线的左边以及上侧。所有子分割共享相同的帧内预测模式。RST被禁用或者被条件地应用于ISP编解码的块(ISP与其他帧内预测模式的RST使用条件或发信条件可能不同)。当次要变换对ISP模式是禁用的时，RST索引不被发信。对ISP预测的残差禁用RST可以减少编码复杂度。
RST选择根据块尺寸与/或帧内CU的帧内预测模式，首先从四个变换集合中选择用于帧内CU的次要变换集合(set)。每一变换集合由两个变换矩阵(也称为要点(kernel))所组成，以及当RST索引大于0时，RST索引用于从所选变换集合中选择一个变换矩阵。当在CU层级发信的RST索引等于1时，选择所选变换集合中的要点1，以及当在CU层级发信的RST索引等于2时，选择所选变换集合中的要点2。如果色度分量的三个交错分量线性模型(CrossComponent Linear Model，CCLM)模式之一被指示，用于亮度分量的对应的帧内预测模式用于选择变换集合。如表1所示，基于帧内预测模式选择变换集合。
表1变换集合选择表
表1中的索引IntraPredMode是当前CU的帧内预测模式数目，其具有[-14,83]的范围，包括常规(regular)帧内方向模式(比方说编号0表示planar,编号1表示DC，编号2到66表示65个directional预测模式)以及广角帧内预测(wide angle intra prediction,WAIP)模式。
RST的简化简化方法限制每一样本乘法的较差情况数目为小于或等于8。例如，当所有TU由4×4TU或8×8TU组成时，发生RST 8×8和RST 4×4类型的乘法计数方面的较差情况。顶部8×64以及8×16矩阵，换言之，来自每一矩阵(16×64矩阵(属于8×8RST)，16×16矩阵(属于4×4RST)顶部的首先8个变换基础向量，被分别应于8×8TU以及4×4TU。在TU大于8×8的情况下，较差情况不发生以致一个16×64矩阵(即，RST 8×8类型)被应用于TU的左上8×8区域。对于8×4或4×8TU，一个16×16矩阵(即，RST 4×4)仅被应用于左上4×4区域，排除其他左上8×8区域中的其他4×4区域来避免较差情况发生。在处理4×N或N×4TU的情况下(其中N大于或等于16)，RST 4×4类型被应用于两个相邻顶部左上4×4块的一个(左上角的一个)或每一个。根据前述提到的简化，乘法计数的较差情况数目变成每一样本8乘法器。
减少维度的RST矩阵为了减少储存需求以及计算复杂度，具有减少维度的RST矩阵(如16×48矩阵)被应用而不是具有相同变换集合配置的16×64矩阵。每一16×48矩阵取来自左上8×8区域中三个4×4区域(排除右下4×4区域)的主要系数。图3示出了应用主要以及次要变换到M×N变换块的示例。M×N残差块32由2D正向主要变换处理来生成M×N主要系数34，其中在这一示例中，N以及M大于8。M×N主要系数34的左上8×8区域中的首先三个4×4区域由正向次要变换使用16×48要点进一步处理。除了所生成块36的左上8×8区域中的第一子块362，所生成块36中的系数用0填充。16×48要点的16个输出次要系数被存储于左上4×4子块362，而这一变换块中其他子块的系数在次要变换后被重设为0。根据减少的维度设计，用于存储所有RST矩阵的储存使用从10KB减少到8KB，并有一个合理的性能下降。结果，16×48与8×48变换矩阵被采用用于RST 8×8类型以及16×16与8×16变换矩阵被采用用于RST 4×4类型。因为有4个变换集合以及每一变换集合包含2个变换矩阵，8个不同的16×48矩阵以及8个不同的16×16矩阵对次要变换是可用的。每一8×48矩阵由对应的16×48矩阵来导出，以及类似地，每一8×16矩阵由对应的16×16矩阵来导出。例如，8×8矩阵仅是对应16×48矩阵的顶部8行(row)。例如，8×16矩阵仅是对应16×16矩阵的顶部8行。8×48矩阵用于8×8TB的次要变换以及8×16矩阵用于4×4TB的次要变换。在当TB尺寸等于8×4或4×8的情况下，16×16矩阵仅被应用于左上4×4子块，以致次要变换忽略其他4×4子块。在当TB尺寸是4×N或N×4的情况下，其中N大于或等于16，16×16矩阵被应用于首先一个或两个相邻4×4子块。对于宽度或高度都大于或等于8的其他TB，16×48矩阵被应用于左上8×8区域。
RST信令如前述描述的，RST索引用于指示是否应用次要变换以及从对应的变换集合中选择次要变换矩阵。在发信TU语法后，在CU层级发信RST索引。在RST的示例中，具有16行变换(即，R＝16)的正向RST 8×8使用16×64或16×48矩阵来仅在给定左上8x8区域内的左上4x4区域中生成非0系数。换言之，如果应用RST，除了左上4x8区域之外的该8x8区域仅包含0系数。结果，当在左上8×8块区域而不是左上4×4区域中检测到任何非0系数时，因为其暗示不应用RST，RST索引不被发信或被解析。如果未被发信，RST索引被推断为0。图4示出了针对非0系数扫描变换块的8×8区域中的第64位置到第17位置以检测RST是否被应用于该变换块。在RST的另一个示例中，具有16行变换(即，R＝16)的正向RST 8×8使用16×64或16×48矩阵来仅在左上4x4区域中生成非0系数。换言之，如果应用RST，除了左上4×4区域，变换块仅包含0系数。结果，当在变换块内而不是左上4×4区域内检测到任何非0系数时，因为其暗示RST不被应用，RST索引不被发信或解析。如果未被发信，RST索引被推断为0。
在发信一个CU内属于每一TU的语法后，次要变换语法(如RST索引)在CU层级被发信。每一TU的语法可以包括表示TU的最后有效系数(last significant coefficient)位置的信令以及TU中每一编解码组(coding group)的有效标识(significant flag)的信令，当编解码组的有效标识为1表示该编解码组中有有效系数。对于最后有效系数所位于的一编解码组，用于该编解码组的有效标识不需要被发信以及被推断为真。对于亮度分量，当ISP被选择时，编解码组可以是一个TU中的4×4子块或者可以是更小的子块。对于色度分量，对于帧内条带，编解码组可以是4×4子块以及对于帧间条带，编解码组可以是2×4/4×2/4×4子块。
目前，仅对亮度或色度分量两者的帧内块执行次要变换。次要变换索引的值是从0到n，例如，n是2。次要变换索引等于0指示次要变换不被应用。RST索引用截断一元码(truncated unary code)来发信。例如，第一二进制数(bin)是上下文编解码的以及第二二进制数是旁路(bypass)编解码的。又例如，第一以及第二二进制数是上下文编解码的。
发明内容
一种视频编码系统中用于编码视频图像的视频数据的视频处理的方法，包括接收与当前视频图像中当前块相关的输入数据，决定以及应用变换操作到与该当前块的一个或多个TB相关的残差来生成最终变换系数，以及决定每一TB的该最终变换系数的最后有效系数的位置。该输入数据包括由预测操作生成的该当前块的残差。根据应用于该当前块的该变换操作，该视频编码系统进一步决定次要变换索引的值，检查该最后有效系数的任何位置是否位于预定区域以及根据该最后有效系数的一个或多个位置，适应性地在视频比特流中发信该次要变换索引，以及根据该最终变换系数编码该当前视频图像中的该当前块。
该当前块是当前CU，例如，该当前CU包含一个或多个亮度变换块以及一个或多个色度变换块。根据一实施例，在该当前块的所有TB后，在CU层级发信次要变换索引。在一个实施例中，根据该亮度TB中最后有效系数的该位置适应性地发信该次要变换索引用于该当前CU中的一个或多个TB，以及根据该色度TB中该最后有效系数的该位置适应性地发信另一个次要变换索引用于一个或多个色度TB。例如，该当前快是包含一个或多个亮度TB或色度TB的亮度或色度CB，以及根据该亮度或色度TB中该最后有效系数的一个或多个位置适应性地发信该次要变换索引。在另一个实施例中，根据一个或多个亮度以及色度TB中该最后有效系数的一个或多个位置适应性地发信该次要变换索引用于该当前CU，以及对该一个或多个亮度或色度TB适应性地执行次要变换。在一些实施例中，次要变换仅被应用于帧内编解码的CU，以及视频处理方法进一步包括由帧内预测来预测该当前CU。用于每一非帧内编解码CU的变换操作不包括次要变换。
在一个实施例中，该预定区域是该变换块内左上8×8区域的第二、第三以及第四编解码组。如果该最后有效系数的该一个或多个位置不位于该第二、第三以及第四编解码组，该视频编码系统发信该次要变换索引，以及如果该最后有效系数的任何位置位于该第二、第三或第四编解码组，跳过发信该次要变换索引。根据处理次序，该第一、第二、第三以及第四编解码组是该变换块内左上8×8区域中的第一、第二、第三以及第四4×4子块。在一可选实施例中，该预定区域是该变换块中除了该第一编解码组(即，左上4×4子块)之外的任何区域，以致如果该最后有效系数的一个或多个位置在该第一编解码组中，该视频编码系统发信该次要变换索引，以及如果该最后有效系数的任何位置不位于该第一编解码组中，跳过发信该次要变换索引。在一些实施例中，该预定区域是次要变换的归零区域，其中用于TB的该次要变换的归零区域包括除了左上4×4子块之外的整个TB。
在一些实施例中，该处理方法进一步包括决定次要变换是否被应用于该当前块，以及如果次要变换被应用，该变换操作包含主要变换然后次要变换，或者如果次要变换不被应用，该变换操作仅包括主要变换。如果次要变换不被应用，该次要变换索引被设置为0以及如果次要变换被应用，该次要变换索引被设置为大于0的值。在一个实施例中，该处理方法进一步包括仅在次要变换不被应用时，在该当前块后，发信与残差编解码有关的一个或多个语法元素用于一个或多个TB解析。即，如果次要变换被应用，用于该一个或多个TB的该一个或多个语法元素不被发信。语法元素的一实施例包括用于预定编解码组的有效标识。例如，当次要变换不被应用于该当前块时，仅在视频比特流中发信该变换块中次要变换的归零区域中的有效标识。如果该最后有效系数的位置位于该变换块内的左上4×4子块，视频处理方法的优先实施例仅发信该次要变换索引。在这一实施例中，如果任何所考虑变换块的该最后有效系数的该位置是位于除了该当前块中该左上4×4子块的区域，在该视频比特流中不发信该次要变换索引。
在一个实施例中，检查该最后有效系数的任何位置是否位于一预定区域的步骤仅被应用于该当前块中的所考虑TB，以及发信或跳过发信该次要变换索引的步骤仅取决于该所考虑TB的该最后有效系数的位置。例如，所考虑TB是该当前块中的所有TB、仅该当前块中的亮度TB、仅该当前块中的色度TB、仅该当前块中具有有效系数的TB、该当前块中预定子集合的TB或者除了不被允许次要变换之外的所有TB。不被允许次要变换的TB可以是TB宽度或TB高度小于4样本的TB，或者由变换跳过处理的TB。如果在该当前块中没有所考虑的TB，该次要变换不被应用于该当前块中的任何TB。
根据本发明的各种实施例，如果最后有效系数的至少一位置位于该预定区域，当前块的次要变换索引不被发信。该预定区域的实施例包括除了左上4×4子块之外的整个TB，以及在另一个实施例中，该预定区域包括除了首先8个系数位置之外的整个TB。
视频解码方法的实施例包括接收携带与当前视频图像中当前块有关的输入数据的视频比特流，从该视频比特流中解析与该当前块有关的一个或多个TB的一个或多个最后有效系数位置语法，从对应的最后有效系数位置语法决定最后有效系数的位置，根据该最后有效系数的一个或多个位置与预定区域，通过推断逆次要变换不被应用于该当前块来决定该当前块的逆变换操作，否则通过从该视频比特流中解析次要变换索引用于决定该当前块的逆变换操作。根据该逆变换操作，该视频解码方法进一步包括应用逆主要变换到该当前块的最终变换系数或者应用逆次要变换然后逆主要变换到该当前块的最终变换系数来恢复该当前块的残差，以及基于该当前块的该残差解码该当前视频图像中的该当前块。
根据一些实施例，该当前块是CU以及在解析该当前块的所有TB后，在CU层级解析该次要变换索引。在另一个实施例中，该当前块是包含一个或多个亮度或色度TB的亮度或色度CB。根据该亮度TB中该最后有效系数的该位置适应性地解析该次要变换索引用于亮度TB，或者根据色度TB的该最后有效系数适应性地解析该次要变换索引用于该色度TB。在另一个实施例中，该当前块包含一个或多个亮度以及色度TB，以及根据该一个或多个亮度或色度TB中该最后有效系数的该一个或多个位置适应性地解析该次要变换索引用于该一个或多个亮度或色度TB，以及基于所解析的次要变换索引对该一个或多个亮度或色度TB执行该逆变换操作。因为逆次要变换对非帧内编解码的块是禁用的，视频处理方法的实施例进一步包括由帧内预测来解码该当前CU。
在一个实施例中，决定逆变换操作的步骤包括如果该最后有效系数的该一个或多个位置不位于第二、第三以及第四编解码组，解析该次要变换索引，以及如果该最后有效系数的任何位置位于该第二、第三或第四编解码组，推断逆次要变换不被应用。在这一实施例中，该预定区域包括第一、第二、第三以及第四编解码组，以及根据处理次序，这些编解码组是该变换块的左上8×8区域中的第一、第二、第三以及第四4×4子块。在可选的实施例中，决定逆变换操作的步骤包括如果该最后有效系数的一个或多个位置位于第一编解码组，解析该次要变换索引，以及如果该最后有效系数的任何位置位于第二、第三或第四编解码组，推断不应用逆次要变换。在另一个实施例中，决定逆变换操作的步骤包括如果该最后有效系数的该一个或多个位置不位于次要变换的归零区域，解析该次要变换索引，以及如果该最后有效系数的任何位置位于该次要变换的归零区域，推断不应用逆次要变换。该次要变换的归零区域是在次要变换后所有变换系数被设置为0的区域。例如，用于TB的该次要变换的归零区域包括除了左上4×4子块之外的整个TB。
根据本发明的各种实施例，如果最后有效系数的至少一位置位于该预定区域，推断逆次要变换不被应用。预定区域的实施例包括除了左上4×4子块之外的整个TB，以及在另一个实施例中，该预定区域包括除了首先8个系数位置的整个TB。
处理方法的一实施例进一步包括如果逆次要变换不被应用，在该当前块后，解析与残差编解码有关的一个或多个语法元素用于一个或多个TB解析，或者如果逆次要变换不被应用，推断该一个或多个语法元素。例如，该一个或多个语法元素包括该变换块中预定编解码组的有效标识，以及如果逆次要变换被应用，该有效标识被推断为假。在一优先实施例中，如果该最后有效系数的所有位置位于该变换块内的左上4×4子块，该处理方法仅解析次要变换索引。在这一实施例中，如果该最后有效系数的任何位置不位于该左上4×4子块，逆次要变换被推断为禁用的。
本发明的一些实施例推断逆次要变换不被应用仅取决于该当前块中所考虑TB的该最后有效系数的位置。该所考虑TB可以是该当前块中的所有TB、仅该当前块中的亮度TB、仅该当前块中的色度TB、该当前块中具有有效系数的TB、该当前块中预定子集的TB或者除了不被允许次要变换之外的所有TB。
在一实施例中，该当前块是TB以及在解析该当前块的系数后解析该次要变换索引。
本发明的一方面进一步提供了在视频编码系统或视频解码系统中实施的装置，以及根据变换块层级语法，该装置适应性地发信或解析次要变换语法。在阅读特定实施例的后续描述后，本发明的其他方面以及特征对本领域普通技术人员将是显而易见的。
附图说明
以示例提出的本发明的各种实施例将参考后续附图进一步描述，其中相同的参考数字指示相同的元件，以及其中：
图1示出了根据四叉树拆分结构的将编码树单元(CTU)拆分成多个编码单元(CU)以及将每一CU拆分成一个或多个变换单元(TU)的示例性编码树。
图2示出了次要变换以及逆次要变换操作的简化框图。
图3示出了应用正向主要变换以及次要变换到N×M变换块的残差来生成最终变换系数。
图4示出了针对任何非0元素扫描变换块中的第64位置到第17位置的示例。
图5示出了16×16CU内的16×16变换块，用于说明应用次要变换到16×16变换块的一些实施例。
图6示出了根据本发明实施例的适应性地发信次要变换索引取决于一变换块的一最后有效系数的的视频编码方法的流程图。
图7示出了根据本发明实施例的适应性地解析次要变换语法取决于一变换块的一最后有效系数视频解码方法的流程图。
图8示出了根据本发明实施例的合并视频处理方法的视频编码系统的示例性系统框图。
图9示出了根据本发明实施例的合并视频处理方法的视频解码系统的示例性系统框图。
图10示出了用于16×16变换块的处理次序的示例。
具体实施方式
将容易理解，如本文图式所描述以及示出的本发明的元件可以以各种不同的配置来排列以及设计。因此，如图式所呈现的，本发明的系统以及方法的实施例的后续更详细描述不旨在限制本发明的范围，如所要求保护的，仅是本发明所选择实施例的表示。
本发明中描述的各种方法旨在改善次要变换信令的效率或减少解码延迟。在编码器侧，由预测操作首先预测当前块(如CU)来生成预测子(predictor)。根据该预测子生成当前块的残差。变换操作(包括主要变换(如，DCT-II)以及次要变换的一个或两者)被应用来决定最终变换系数。在熵编码到视频比特流之前，量化进程然后被应用于最终变换系数。在主要变换后的残差被称为临时变换参数系数或者主要变换系数，以及临时变换系数由次要变换处理来生成当前块的最终变换系数。如果次要变换不被应用于当前块，该临时变换系数被指定为该当前块的最终变换系数。如果主要变换不被应用，由次要变换处理的残差是该当前块的最终变换参数。在解码器侧，视频比特流被解码来导出与当前块有关的系数层级(coefficient level)，以及该系数层级被逆量化来生成最终变换系数。如果与当前块有关的次要变换索引大于0以及满足应用次要变换的条件(如当前变换块的宽度以及高度大于等于4)，逆次要变换被首先应用于最终变换系数来决定临时变换系数。然后逆主要变换被应用于该临时变换系数来恢复残差。如果与该当前块相关的次要变换索引等于0或不满足应用次要变换的条件，仅逆主要变换被应用于当前块。然后根据该残差以及当前块对应的预测子获得重构块。
设置约束来应用次要变换根据最近的次要变换信令设计，视频解码器仅可以在一个CU中所有TB的系数被解析后决定次要变换索引，如RST索引或LFNST索引。开发的视频编解码标准旨在支持64×64管线处理，因此在处理尺寸大于64×64样本的CU时将发生的因为次要变换而产生的的延迟问题。本发明的各种实施例设置约束来处理由次要变换信令造成的延迟问题。在最近的发展中，次要变换仅被应用于帧内编解码块，因此后续实施例中的当前块是帧内编解码块。然而，如果次要变换可以被启用用于非帧内预测块，后续实施例中的当前块可以不需要是帧内编解码块。为了避免由次要变换信令造成的不期望的延迟问题，当CU的宽度或高度大于预定阈值时，次要变换不被应用于CU中的变换块。在一些实施例中，以CU内亮度CB中亮度样本的数目测量CU的宽度或高度。预定阈值的一些示例是16、32、64、128以及256亮度样本。例如，如果当前块的任一宽度或高度大于64样本，当前块的残差不由次要变换处理，因此尺寸大于64×64的任何块不由次要变换处理。在一个实施例中，根据视频编解码标准中指定的最大TU尺寸或最大TB尺寸(即，MaxTbSizeY)设置预定阈值，例如，正开发的视频编码解标准中的最大TB尺寸是64亮度样本。在又一实施例中，根据最大TU尺寸或最大TB尺寸适应性决定预定阈值，其从序列参数集(SPS)、图像参数集(PPS)、图块(tile)、图块组或条带层级中发信的值来导出。例如，最大TB尺寸(MaxTbSizeY)被设置为1<<sps_max_luma_transform_size_64_flag(在SPS发信)。在一个实施例中，当当前块的宽度或高度大于预定阈值时，当前块的次要变换索引被设置为0，以及这一次要变换索引由编码器发信以及由解码器解析，或者在可选的实施例中这一次要变换索引不由编码器发信以及由解码器推断为0。例如，视频编码器发信每一帧内编解码CU的次要变换索引来指示是否应用次要变换，如果应用次要变换，次要变换索引也指示哪一矩阵是由编码器选择的矩阵。这一实施例中的对应的解码器解析每一帧内编解码CU的次要变换索引来决定逆次要变换是否需要被应用。因为当帧内编解码CU的宽度或高度大于预定阈值时，任何帧内编解码CU的次要变换索引需要为0，视频解码器可以用预定阈值检查每一帧内编解码CU的宽度或高度用于比特流一致性(bitstream conformance)。在可选的实施例中，对于CU宽度或高度大于预定阈值的任何帧内编解码的CU，次要变换索引在编码器侧不被发信，以及该次要变换索引在解码器侧被推断为0。在上述实施例中，当前块是当前CU。该当前块可以是包含一个或多个亮度TB的亮度编码块(CB)。当前块可以是包含一个或多个色度TB的色度CB。当前块可以是亮度或色度TB。该当前块可以是TU。
在一些实施例中，基于当前CU中TU的数目，用于当前CU中一个或多个TU的变换操作或逆变换操作排除次要变换或逆次要变换。例如，当该当前CU中TU的数目大于1时，变换操作排除次要变换，以及当该当前CU中TU的数目大于1时，该逆变换操作排除逆次要变换。换言之，当当前CU中存在多个TU时(其意味着当前CU/CB的宽度或高度大于最大TU/TB尺寸)，次要变换对当前CU是禁用的。当当前CU被拆分成多个TU时，当前CU的次要变换索引被强制为0或推断为0。例如，当CU可以由次要变换处理时，次要变换索引被发信而不管这一CU是否被进一步拆分成多个TU。对应的解码器解析CU的次要变换索引，但是如果这一CU被拆分成多个TU，强制该次要变换索引为0。在另一个示例中，当CU被拆分成多个TU时，次要变换索引不被发信，以及因此解码器不解析次要变换索引以及直接推断该次要变换索引为0。例外是应用ISP的亮度CB(在亮度拆分树中，也称为CU)可以被拆分成多个亮度TB(在亮度拆分树中，也称为TU)，即使亮度CB的宽度以及高度不大于最大TB尺寸。这种情况下，当CU中存在多个TU时，可以使用次要变换。在另一个实施例中，次要变换不可以被应用于宽度或高度大于预定阈值的任何CU或者被拆分成多个TU的任何CU。例如，当这一当前CU被拆分成多个TU时，或者当TU宽度大于最大TU宽度与/或CU高度大于最大TU高度时，当前CU的次要变换索引仍被发信或解析但强制为0。或者，当当前CU被拆分成多个TU或者当前CU宽度或CU高度大于预定阈值时，次要变换索引在编码器侧不被发信，以及这一当前CU的该次要变换索引在解码器侧被推断为0。
例如，设置约束，在CU被拆分成多个TU时，跳过发信次要变换索引。当以下至少一个为真时，CU被强制拆分成多个TU。CU宽度大于最大TU宽度(或最大TU或TB尺寸)、CU高度大于最大TU高度(或最大TU或TB尺寸)、或CU尺寸大于SPS、PPS、图块、图块组或条带层级中指定的最大TU或TB尺寸。因此，当当前CU将被拆分成多个TU时，次要变换索引不被发信或不被解析用于当前CU。当当前CU将被拆分成多个TU时，当前CU的次要变换索引被简单地推断为0。
在本发明的一些其他实施例中，当当前CU的宽度或高度大于预定阈值时或者当当前CU包含多个TU时，约束限制应用次要变换或逆次要变换到当前CU内仅一个所选TU。即，当当前CU包含多个TU时，当前CU内仅一个所选TU可以由次要变换处理。用于所选TU的变换操作(包括次要变换)或逆变换操作(包括逆次要变换)可以遵循当前设计。例如，在编码器侧，仅包括主要变换的变换操作被应用于当前CU中的所有其他TU，其中包括主要变换以及次要变换两者的辅助变换操作被应用于所选TU。在解码器侧，包括逆主要变换操作的逆变换操作被应用于当前CU的所有其他TU，而包含逆次要变换以及逆主要变换两者的辅助变换操作被应用于所选TU。预定阈值的一些示例根据视频编解码标准中指定的最大TU尺寸来设置或者在SPS、PPS、图块、图块组或条带层级中适应性决定。在实施这一约束的实施例中，根据解码次序，所选TU是当前CU内的最后一个TU。相比于应用次要变换到一个其他TU，对最后一个TU应用次要变换导致较少延迟。
一些其他实施例设置约束来限制帧内或帧间CU的宽度、高度或尺寸。例如，为了应用次要变换到帧内编解码的CU，每一帧内编解码的CU的宽度或高度不超过预定阈值。预定阈值可以是16、32、64、128或256样本，在一个实施例中，根据对应标准中指定的最大TU尺寸设置预定阈值，如64亮度样本，以及在另一个实施例中，根据SPS、PPS、图块、图块组或条带层级中指定的最大TU尺寸适应性决定预定阈值。通过实施这一约束，因为所有帧内CU的宽度或高度小于或等于最大TU尺寸，每一帧内编解码的CU仅包含一个TU。
解码器中实施的任何前述提到的方法可以根据块宽度、块高度或块面积隐式决定是否禁用次要变换，或者由CU、CTU、条带、图块、图块组、SPS或PPS层级发信的次要变换标识来显式决定。
用于次要变换的信令修正为了解决由次要变换信令的传统设计造成的延迟问题，本发明的一些实施例修正当前次要变换信令设计。在一些实施例中，在TU层级而不是在CU层级发信次要变换语法，如RST索引或者LFNST索引。例如，根据一实施例，在TU的最后发信次要变换索引。在另一个实施例中，在在TB层级发信最后有效系数后，发信TU的次要变换索引，以及然后发信这一TU的语法元素，如每一TB中每一编解码组的有效标识被发信。换言之，在扫描次序中下一TU的语法元素之前，在TU层级发信该次要变换语法。在又一实施例中，在重构系数用于每一系数组之前，发信次要变换索引。在当前CU中有多个TU的情况下，在至少一个TU中发信该当前CU的次要变换索引。例如，在该当前CU的第一TU中发信该次要变换索引。根据一个实施例，因为次要变换在当前CU的后续TU中不被允许，次要变换可以仅被应用于当前CU的第一TU。在另一个实施例中，所发信的次要变换索引与该当前CU中的所有TU共享。例如，根据在第一TU中发信的共享的次要变换索引，变换操作或逆变换操作被应用于后续TU。在另一个示例中，每一TU中的非0系数的数目与阈值进行比较，以及如果非0系数的数目大于阈值，根据共享的次要变换索引，TU可以仅应用次要变换或者逆次要变换。在可选的实施例中，在当前CU的首先N个TU的每一者发信次要变换索引，其中N从中1到当前CU中TU的总数目中来选择。在又一实施例中，因为相比于对任何其他TU执行次要变换，对最后的TU执行次要变换导致更少的延迟，次要变换索引在该当前CU内的最后TU中被发信。
在次要变换索引信令的一些实施例中，在TB层级发信最后有效系数后，发信次要变换的语法元素，如次要变换索引。TB的剩余语法元素被发信，如TB中每一编解码组的有效标识。视频编码器的一个实施例在TB层级发信最后有效系数之后，在TB层级发信次要变换索引，以及然后发信TB的剩余语法元素。在一个实施例中，在TB层级发信最后有效系数之后，在TU层级发信次要变换语法，以及然后发信TU的语法，如每一TB中每一编解码组的有效标识。例如，编解码组包含4×4样本。在另一个实施例中，在TU层发信最后有效系数之后，在CU层级发信次要变换语法，以及然后发信TU的语法，如TU中每一编解码组的有效标识信令。
在一实施例中，在当前CU的第一可用TU中发信当前CU的次要变换语法，如RST索引或LFNST索引。在这一实施例中，如果用于次要变换信令的约束被满足以及次要变换允许用于当前CU，当前CU具有一第一可用TU。次要变换信令的约束的示例取决于TU的最后有效系数的位置。在另一示例中，当变换系数中非DC值的数目大于预定数目时，次要变换信令的约束仅发信次要变换语法。次要变换信令的约束的一些其他示例将在后续节段中进行描述。允许次要变换的示例是当当前CU是帧内编解码的CU时。根据一个实施例，对于当前CU内的每一剩余TU而不是第一可用TU，次要变换语法不被发信以及被推断为与该第一可用TU的次要变换语法相同。即，剩余的TU与该第一可用TU共享次要变换语法。在这一实施例中，如果次要变换语法的约束在当前块的任何剩余TU中不被满足，次要变换或逆次要变换将不被应用于这一剩余TU而不管该当前块中第一可用TU的次要变换语法。在一个示例中，如果在当前CU中不能找到第一可用TU用于次要变换，次要变换将不被应用于该当前CU中的任何TU。在另一个实施例中，次要变换或逆次要变换仅被应用于当前CU内的第一可用TU以及不被应用于该当前CU内的剩余TU。
在一些实施例中，在当前CU的每一TU检查该约束，以及满足该约束的每一TU共享相同的次要变换语法。例如，如果所有TU满足次要变换信令的约束，次要变换或逆次要变换可以被应用于当前CU中的所有TU。在另一个实施例中，约束也可以在当前CU内的每一TU中检查，但是如果所有TU满足该约束，次要变换或逆次要变换仅被应用于该当前CU中的一个或多个TU。如果当前块中的任何CU对次要变换不可用，因为次要变换信令的约束未被满足，次要变换或者逆次要变换不可用被应用于当前CU中的TU。
基于最后有效系数的次要变换信令根据本发明的一些实施例，在各种先前所描述实施例中提到的次要变换信令的约束可以根据一个或多个变换块的一个或多个最后有效系数来设置。次要变换信令的约束的实施例与一个或多个变换块的最后有效系数的一个或多个位置有关。编码器发信与每一变换块的最后有效系数位置相关的语法，指示变换块中最后有效系数的位置。通过解析与每一变换块的最后有效系数位置有关的语法，解码器决定每一变换块中最后有效系数的位置。例如，与最后有效系数位置有关的语法包括last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix以及last_sig_coeff_y_suffix。
在传统的RST信令设计中，编码器或解码器检查在次要变换的归零区域(zero-out)内是否有任何非0系数，其意味着系数在次要变换之后或者逆次要变换变换之前是0，以及如果在次要变换的归零区域中找到至少一个非0系数，跳过发信或解析次要变换索引。通过仅检查每一所考虑TB的TB层级语法元素，本发明的实施例简化次要变换信令的这一检查进程。图5示出了16×16CU内的16×16TU，用于说明根据在TB层级发信的最后有效系数的次要变换信令的各种实施例。图5示出了16×16TU的亮度(luma)变换块(TB)，其中出于简便未示出16×16TU的两个色度(chroma)TB。在次要变换信令的一些实施例中，根据当前块中每一TB中最后有效系数的位置适应性发信次要变换索引用于当前块，如RST索引或者LFNST索引。例如，当前块是包含一个或多个亮度TB的亮度CB或者当前块是包含一个或多个色度TB的色度CB，以及根据多个亮度或色度TB中最后有效系数的一个或多个位置条件地发信次要变换索引。又例如，根据一个或多个亮度TB中最后有效系数的位置适应性地发信次要变换索引用于当前CU中的一个或多个亮度TB，以及这一次要变换索引由当前CU中的多个亮度以及色度TB共享。在另一个示例中，当前块是包括一个或多个亮度TB以及一个或多个色度TB的CU，以及根据亮度或色度TB的一个或两者中最后有效系数的一个或多个位置条件地发信次要变换索引。次要变换仅被应用于一个或多个亮度或色度TB。在后续实施例中，假定在CU层级或者在解析当前块的所有TB后发信次要变换索引，然而，这些实施例也可以用在TB层级(在解析当前TB中的系数后发信或者在解析当前TB中最后有效系数位置后发信)或TU层级(或在解析当前TU内的多个TB后)发信的次要变换索引来实施。例如在当前CU的所有TB后，在CU层级发信当前CU的次要变换索引。在当次要变换被应用于这一16×16CU的情况下，使用一所选次要变换要点，16×48矩阵乘法被应用于16×16CU内的16×16变换块。这些实施例中每一编解码组是变换块中的4×4子块。该变换块的左上8×8区域的第一、第二、第三以及第四编解码组被标记为CG 0、CG 1、CG 2以及CG 3。用于CG 0、CG 1、CG 2以及CG 3的对应有效标识被分别标记为SigFlagCG0、SigFlagCG1、SigFlagCG2以及SigFlagCG3。当编解码组的有效标识为真，表示该编解码组具有非零系数。在视频编码器中，16×16TU首先由主要变换处理来生成主要变换系数，以及首先三个编解码组CG 0、CG 1、CG 2中的48个主要变换系数是次要变换的输入。该48个主要变换系数与所选的16×48矩阵相乘来生成16个次要变换系数。根据一个实施例，在应用次要变换后，该第一编解码组CG 0中的系数被设置为等于所生成的16个次要变换系数，而该变换块中所有剩余系数被设置为0。在次要变换未被应用的情况下，该第二、第三以及第三编解码组CG 1、CG 2、CG3与/或该变换块中的剩余区域可以包含非0系数。在次要变换后所有变换系数被设置为0的区域被称为次要变换的归零区域。
取代搜索次要变换的归零区域内的非0系数，本发明的实施例检查每一所考虑变换块的最后有效系数的位置。根据当前CU内一个或多个所考虑TB中最后有效系数的位置，适应性地发信次要变换系数用于当前CU。所考虑TU的一些示例是当前CU中的所有TB，仅当前CU中的亮度TB、仅当前CU的色度TB、仅当前CU中具有有效系数的TB、当前块中预定子集合的TB或者除了不允许次要变换的TB之外所有TB。不允许次要变换的TB包括TB宽度或TB高度小于4样本的任何TB或者由变换跳过处理的任何TB。如果当前块中没有所考虑的TB，次要变换不被应用于当前块中的任何TB。例如，在这一实施例中，如果任何所考虑TB中最后有效数的位置在预定区域内(如，次要变换的归零区域，其中在次要变换后所有系数被设置为0)，视频编码器跳过发信次要变换索引。当当前块CU内任何所考虑TB中最后有效系数的位置位于预定区域时，视频解码器推断次要变换不被应用于当前CU。在一个实施例中，该预定区域包括当前变换块的CG 1、CG 2或CG 3。当当前CU内任何所考虑变换块中有效系数的位置在CG 1、CG 2或CG 3中时，因为CU1、CG2以及CG3中所有系数在次要变换后被设置为0，视频解码器因此推断次要变换不被应用于当前CU。在另一个实施例中，该预定区域包括除了左上4x4子块之外的整个TB，或者该预定区域包括TB中位置索引大于15的这些系数位置，假设位置索引范围从0开始并且整个TB的处理次序是对角线扫描。在另一个实施例中，预定区域包括除了首先8个系数位置之外的整个TB，或者预定区域包括TB中位置索引大于7的系数位置，假定位置索引从0开始以及整个TB的处理次序是对角线扫描。在本发明的优选实施例中，根据每一所考虑TB中最后有效系数的位置，在没有任何语法信令的情况下次要变换被推断为被禁用，其意味着次要变换索引在编码器将不被发信以及该次要变换索引在解码器将不被解析。例如，当该当前CU内任何所考虑变换块的最后有效系数的位置在该变换块中次要变换的预定区域中时，视频解码器推断当前CU的对应的次要变换索引为0而不从视频比特流中解析该次要变换索引。
在一个实施例中，左上8×8区域的第二、第三以及第四编解码组CG1、CG2以及CG3中的系数在次要变换后被设置为0。在另一个实施例中，除了左上4×4子块之外的所有变换系数在次要变换后被设置为0。在另一个实施例中，当预定区域指次要变换的归零区域时，预定区域根据TB宽度或TB高度变化。例如，如果TB宽度等于TB高度且TB宽度等于4或8，则如所引入的将N＝16、48或64的RST 8xN应用于TB，以及如果TB中的位置索引大于7，那么在次要变换之后的系数为零。在这一示例中，预定区域包括TB中位置索引大于7的这些系数位置，假定位置索引从0开始以及整个TB的处理次序是对角线扫描。在另一个示例中，如果如所引入的将N＝16、48或64的RST 16×N应用于TB，以及如果TB中位置索引大于15，那么在次要变换后的系数为0。在这一示例中，预定区域包括TB中位置索引大于15的这些系数位置，假定位置索引从0开始以及整个TB的处理次序是对角线扫描。根据这些实施例，当任何所考虑变换块的最后有效系数的位置在该变换块的左上8×8区域的任何第二、第三以及第四编解码组CG 1CG 2以及CG 3中时、或当任何所考虑变换块的最后有效系数的位置不在左上8×8区域的第一编解码组CG 0时，或者任何所考虑块的最后有效系数的位置在预定区域时，次要变换不被应用。在解码器中，在解析当前CU中每一所考虑变换块的最后有效系数位置后，当任何所考虑变换块的最后有效系数的位置在除了第一编解码组CG 0之外的左上8×8区域、除了第一编解码组CG 0之外的整个变换块或者预定区域时，次要变换索引被推断为0。在这一实施例中，编码器根据当前CU内每一所考虑TB的最后有效系数的位置以及预定位置适应性跳过发信当前CU的次要变换索引，以及根据当前CU内所考虑TB的最后有效系数的位置以及预定位置，解码器推断逆次要变换对当前CU是禁用的。例如，当任何所考虑TB的最后有效系数的位置落入预定区域(如除了TB中第一编解码组的编解码组)时，通过推断当前CU的次要变换索引为0，逆次要变换是禁用的。当所考虑变换块的最后有效系数的所有位置不在预定区域时，如果其他次变换发信条件也满足，一个实施例的编码器可以发信次要变换索引。类似地，当所考虑变换块中最后有效系数的位置不在预定区域时，如果其他次变换发信条件也满足，在这一实施例中，解码器可以解析次要变换索引，否则该解码器推断逆次要变换对整个块或整个CU是禁用的。通过在TB层级解析最后有效系数位置，解码器决定变换块中最后有效系数的位置。
在上述一些实施例中，当次要变换被应用于变换块时，与变换块中一些预定编解码组的残差编解码相关的一个或多个语法元素不需要被发信。例如，当次要变换被应用于变换块时，在当前块被解析后与一个或多个变换块中一些预定编解码组的残差编解码相关的这些语法元素总是被设置为0，因此，当次要变换索引大于0时，与残差编解码相关的这些语法元素在视频比特流不被发信或者不从视频比特流来解析。在应用次要变换后，一些编解码组中的系数都被设置为0。其暗示着与残差编解码相关的一些特定语法元素不需要被发信，如这些编解码组的有效标识。在一个示例中，第二、第三以及第四编解码组CG 1、CG2以及CG 3以及左上8×8区域外的区域的系数在次要变换后被设置为0。图5示出了16×16CU内的16×16变换块的示例。16×16变换块中每一4×4子块是编解码组。左上8×8区域内编解码组被标记为CG 0、CG 1、CG 2以及CG 3，以及这些编解码组的对应的有效标识被标记为SigFlagCG0、SigFlagCG1、SigFlagCG2以及SigFlagCG3。如果次要变换被应用，16×48矩阵在次要变换操作中被选择来将这一16×16变换块中左上8×8区域的首先48个变换系数变换成16个次要变换系数。根据一个实施例，在次要变换后，除了第一编解码组CG 0之外的变换块中的系数被设置为0，因此根据这一实施例，CG 1、CG 2以及CG 3的有效标识SigFlagCG1、SigFlagCG2以及SigFlagCG3以及左上区域外的区域的有效标识在编码器侧不被发信以及在解码器侧被推断为假。
基于最后有效系数的次要变换信令的实施例的示例性流程图图6是示出了根据视频编码系统中一个或多个最后有效系数实施条件次要变换信令的视频编码方法的示例性实施例。这一示例性实施例中视频编码系统由变换操作处理与一当前CU有关的一个或多个TB的残差资料，其中该当前CU包括一个或多个亮度TB以及一个或多个色度TB。在一示例性实施例中，次要变换可以被应用与亮度与色度分量两者，或者次要变换仅被应用于亮度或色度分量。在步骤S602中，该视频编码系统的示例性实施例首先接收与一当前视频图像中一当前块有关的输入数据。在这一实施例中，该当前块的残差可以由主要变换与次要变换的一个或两者来处理，例如，如果次要变换仅对帧内预测块是启用的，那么由帧内预测生成该当前块的该残差。在步骤S604，该视频编码系统决定一变换操作以及对该当前块的一个或多个TB执行变换来生成最终变换系数，例如，该变换操作包括应用主要变换与次要变换进程两者，或者仅应用主要变换进程，或者仅应用次要变换进程。在步骤S606，决定每一TB的该最终变换系数的最后有效系数的一位置，以及在步骤S608，检查该最后有效系数的一个或多个位置与一预定区域。例如，一变换块的预定区域是次要变换的归零区域，如除了该变换块一左上4×4子块中该第一编解码组CG 0之外的任何区域。在步骤S608，如果该最后有效系数的所有位置都不位于该预定区域，在步骤S610，该视频编码系统在视频比特流中发信一次要变换索引，否者该次要变换索引不被发信。在一优选实施例中，仅检查所考虑TB中该最后有效系数的位置与预定区域，以及如果该所考虑TB中该最后有效系数的所有位置都不位于在该预定区域中，仅发信该次要变换索引。如果该最后有效系数的任何位置位于该预定区域，该次要变换索引不被发信。根据步骤S604中决定的变换操作决定该次要变换索引的一值，例如，如果次要变换不被应用，该次要变换索引被设置为0，以及该次要变换索引的值可以在步骤S604与S610之间的任何步骤决定。在步骤S612，该编码系统根据该最终变换系数编码该当前块。
图7是根据一视频解码系统中的一个或多个最后有效系数的实施条件次要变换信令的视频解码方法的示例性实施例。在这一示例性实施例中，该视频解码系统由逆变换操作处理从视频比特流中解码的一当前块中一个或多个TB的最终变换系数，其中该当前块是一CU。在一示例性实施例中，次要变换可以被应用于亮度以及色度分量的一个或两者或者次要变换仅被应用于亮度或色度分量。在步骤S702，该视频解码系统首先接收携带与一当前视频图像中该当前块有关的输入数据的视频比特流。该视频解码系统解码与该当前块中一个或多个TB有关的该最终变换系数以及该最终变换系数可以由逆次要变换以及逆主要变换的一个或两者来处理。在一些示例中，次要变换仅对帧内预测的块是启用的，在这一实施例中该当前块是帧内编解码CU的变换块。在步骤S704，该视频解码系统从该视频比特流中解析与该当前块有关的每一TB的最后有效系数位置语法，以及然后在步骤S706，从该一个或多个最后有效系数位置语法决定最后有效系数的一个或多个位置。在步骤S708，检查该最后有效系数的该一个或多个位置与预定区域，例如，如果该最后有效系数的任何位置落入该预定区域，逆次要变换被禁用。预定区域的示例是次要变换的归零区域，如除了第一编解码组CG 0之外的TB的区域。如果该最后有效系数的所有位置不位于该预定区域，在步骤S710，通过从该视频比特流中解析一次要变换索引决定被应用于该当前块的逆变换操作。如果至少一个TB的该最后有效系数的位置位于该预定区域，在步骤S712中，逆次要变换在该当前块的逆变换操作中被推断为禁用的。在步骤S714，该视频解码系统应用该逆变换操作到该当前块来恢复该当前块的残差，以及然后在步骤S716，基于该残差解码该当前块。
次要变换信令取决于将最后有效系数位置与阈值比较在本发明的一些实施例中，根据来自CU内一个或多个变换块(TB)的一个或多个比较结果，在视频比特流中条件地发信次要变换语法。一个比较包括将TB在最后有效系数的位置与预定位置进行比较。在一些实施例中，在视频比特流中条件地发信次要变换语法仅取决于从当前CU内所考虑TB的比较结果。例如，当前CU中的所有TB是所考虑的TB。在另一个示例中，仅当前CU中的亮度TB是所考虑的TB。在另一个示例中，仅当前CU中具有有效系数的TB是所考虑的TB。在另一个示例中，所考虑的TB可以是当前CU中TB的任何子集合。在另一个示例中，在当前CU中，除了不允许次要变换的这些TB之外，TB是所考虑的TB。例如，如果TB宽度或TB高度小于4，TB不允许次要变换，或者如果TB由变换跳过处理，TB不允许次要变换。当所有所考虑TB的比较结果不满足次要变换的信令条件时，次要变换被推断为对当前CU是禁用的，以及次要变换索引在视频比特流不被发信。其中在当前CU内没有所考虑的TB，因为次要变换对当前CU是禁用的，次要变换索引不被发信。设置次要变换的信令条件的示例是当TB的最后有效系数的位置大于预定位置时。如果当前CU中所有所考虑TB的最后有效系数的位置小于或等于预定位置，当前CU的次要变换索引不被发信。图5中示出的仅包含一个16×16变换块的16×16CU可以用于说明根据16×16变换块中最后有效系数的位置，决定是否发信次要变换索引的一些示例。假定这一16×6变换块是当前CU中所考虑的TB。在后续实施例中，在CU层级或者在发信当前CU中所有TB的残差编解码语法后发信次要变换索引，然而在一些其他实施例中可以在TU、TB层级或者在发信残差编解码语法后发信次要变换索引，该残差编解码语法包括当前CU中一个或多个TB的最后有效系数的位置，以及如果在TU、TB层级或者在发信包括当前CU的一个或多个TB的最后有效系数的位置的残差编解码语法后发信该次要变换，所考虑的TB在当前TU内，当前TB或在当前TB之前发信的TB。在其他实施例中，当前CU的次要变换索引在当前CU的一个或多个亮度TB后被发信，或者在当前CU中的第一非0TB后被发信，或者在当前CU中第一TB后被发信。
解码器从视频比特流解析CU的每一TB的最后有效系数位置语法，以及基于所解析的最后有效系数位置语法决定每一TB的最后有效系数的位置。例如，最后有效系数位置语法包括last_sig_coeff_x_prefix,last_sig_coeff_y_prefix,last_sig_coeff_x_suffix以及last_sig_coeff_y_suffix。最后有效系数的位置与预定位置进行比较，如(0,0)，以及如果最后有效系数的位置等于(0,0)，解码器推断次要变换索引为0。
各自的次要变换索引可以被发信用于亮度以及色度CB/CU。在这一实施例中，对于各自拆分树中编解码的一个亮度CB以及两个色度CB，一个次要变换索引被条件地发信用于亮度CB取决于亮度CB中的一个或多个亮度TB以及另一个次要变换索引被条件地发信用于色CB取决于色度CB中的一个或多个色度TB。在可选的实施例中，仅一个次要变换索引被发信用于每一CU，以及亮度以及色度TB的一个或两个使用次要变换索引，例如，根据每一亮度TB或任何亮度TB的子集中的最后有效系数的位置，次要变换系数被条件第发信用于一个或多个亮度TB，以及色度TB再用该次要变换索引。在另一个示例中，根据亮度以及色度TB中最后有效系数的位置，该次要变换索引被条件地发信用于一个或多个亮度TB。在这一实施例中，对于共享拆分树中编解码的当前CU，一个次要变换索引被条件地发信用于当前CU，以及根据该次要变换索引，该次要变换或逆次要变换被应用于亮度以及色度TB的一个或两者。例如，如果次要变换仅被应用于亮度TB，根据当前CU中的亮度以及色度TB，该当前CU的次要变换索引被条件地发信。在一个实施例中，如果次要变换被应用于16×16CU内的16×16TU，次要变换索引大于0，以及如果次要变换不被应用于16×16TU，该次要变换索引被设置为0。在后续实施例中，根据来自CU中所考虑TB的比较结果，编码器适应性地跳过发信次要变换索引。类似地，根据来自CU中所考虑TB的比较结果，解码器适应性地推断次要变换不被应用于变换块。
如图5所示，在16×16变换块的左上8×8区域有四个4×4编解码组，包括第一编解码组CG 0、第二编解码组CG 1、第三编解码组CG 2以及第三编解码组CG 3。用于CG 0、CG 1、CG 2以及CG 3的对应的有效标识被标记为SigFlagCG0,SigFlagCG1,SigFlagCG2以及SigFlagCG3。如果次要变换被应用于这一16×16变换块，16×48矩阵被用于将该16×16变换块中左上8×8区域的48个主要变换系数变换成16个次要变换系数。该16个次要变换系数替代该16×16变换块中左上8×8区域的第一编解码组CG 0中的主要变换系数。CG 1以及CG2中的系数或者CG 1、CG 2以及CG 3或者除了CG 0(首先16个次要变换系数)之外的TB中的系数在次要变换后被设置为0。在次要变换后所有变换系数被设置为0的区域被表示为次要变换的归零区域。如果有任何有效系数位于在次要变换的归零区域，次要变换被推断为被禁用。描述中的术语系数或变换系数指在编码器被递送给量化进程的最终系数或者在解码器在去量化进程后接收的最终系数。在一些实施例中，如果当前CU的所考虑TB的最后有效系数的位置小于或等于处理次序中的预定位置，当前CU的次要变换索引在编码器不被发信以及当前CU的逆次要变换在解码器被推断为被禁用。编码器将当前CU中所考虑TB中最后有效系数的位置与处理次序中的预定位置进行比较。如果所考虑TB的最后有效系数的位置小于或等于处理次序中的预定位置，编码器跳过发信当前CU的次要变换索引，否者，该编码器基于其他现有条件发信次要变换索引。解码器也将当前CU的所考虑TB的最后有效系数的位置与处理次序中的预定位置进行比较。如果至少一个所考虑变换块中最后有效系数的位置大于该预定位置，解码器解析该次要变换索引；否则，该逆次要变换被推断为对该变换块是禁用的。在这一实施例中，处理次序可以对角线扫描次序用于变换块，在每一编解码组内，与/或跨过变换块中的所有编解码组。16×16变换块的处理次序的示例是从左上8×8区域、左下8×8区域、右上8×8区域到右下8×8区域，以及在16×16变换块的每一8×8区域内，处理次序是从左上编解码组、左下编解码组、右上编解码组到右下编解码组，以及在每一编解码组内，处理次序是对角线扫描次序。16×16变换块的处理次序的另一个示例是从左上系数到左下系数，如图10所示。
在上述实施例中，预定位置的示例是变换块中的第一位置，其包含变换块中的DC值，如位置0。在这一实施例中，因为如果仅由DC值在当前块的所有所考虑变换块内(其意味着所有所考虑TB的最后有效系数的位置是TB中的第一位置)次要变换不可用被应用，次要变换索引不被发信用于当前块。当前块是CU、CB或TU。仅当至少一个所考虑TB的最后有效系数的位置不等于该变换块的第一位置时发信次要变换索引，其暗示在至少一个所考虑变换块中有至少一个非DC值。对于包含一个TB的CU的示例，如图5所示，如果最后有效系数的位置在位置C，其在第一编解码组CG 0内但是大于CG 0中的第一位置，编码器发信次要变换索引用于16×16CU以及解码器从视频比特流解析该次要变换索引。在另一个示例中，如图5所示，如果最后有效系数的位置是位置D，其是第一编解码组CG 0中的第一位置，编码器跳过发信16×16CU的次要变换索引以及解码器推断逆次要变换不被应用于16×16CU内的TU。在这一示例中，在变换块中仅有一个DC值以及将这一次要变换应用于这一变换块将不会带来额外的编解码增益，因此次要变换被禁用以及次要变换索引不被发信。预定位置的另一个示例是左上8×8区域的第一编解码组的固定位置(x,y)，其中x以及y可以是从0,1,2,3…到(最大编解码组尺寸-1)中选择的整数。例如。固定位置(x,y)是该变换块内左上8×8区域的第一编解码组CG 0中的(0,1)、(1,0)或(1,1)。CG 0中预定位置的另一个示例由一固定扫描次序决定，例如，根据一固定扫描次序，从第一编解码组CG 0中的第一、第二、第三、第四到(最大编解码组尺寸-1)位置。固定扫描次序的示例是对角线扫描次序。
本发明的一些实施例也检查变换块中第一编解码组CG 0中非0系数的数目是否大于预定数目，当CG 0中非0系数的数目大于预定数目时，编码器或解码器仅发信或解析次要变换索引。如果CG 0中非0系数的数目小于或等于预定数目，根据这一实施例，次要变换不被应用于变换块。当当前CU内变换块的CG 0中非0系数的数目小于或等于预定数目时，编码器跳过发信当前CU的次要变换索引。预定数目的一些示例是1、2、3以及4。在一个实施例中，如果最后有效系数的位置大于预定位置或者左上8×8区域的第一编解码组中非0系数的数目大于预定数目以及该最后有效系数的位置在该第一编解码组内，编码器发信该次要变换索引，否则该编码器跳过发信该次要变换索引。预定位置的一些示例是第64位置以及第48位置，以及预定数目的示例是1。在启用次要变换用于包含多个TU的当前CU的实施例中，仅当所有TU的CG 0中的非0系数的数目大于预定数目时应用次要变换。例如，如果当前CU中每一变换块包含小于或等于一个非0系数，次要变换索引不被发信或解析。
在一些实施例中，决定CU内所考虑变换块中非DC值的数目以及与预定数目进行比较来决定次要变换信令，例如，仅当在CU内的至少一个所考虑变换块中有至少一个非0变换值时应用次要变换。在这一实施例中，当在CU内的至少一个所考虑变换块中有至少一个非DC变换值时，次要变换索引在编码器被发信。类似地，当CU内的至少一个所考虑变换块中有至少一个非DC变换值时，解码器仅解析次要变换索引。当当前CU中所有所考虑TB仅包含一个DC系数(如，最后有效系数为DC系数)时，通过推断次要变换索引为0而不解析次要变换索引，解码器禁用逆次要变换用于当前CU内的TB。在一个实施例中，如果用于CU内至少一个所考虑变换块的最后有效系数的位置大于预定位置或者如果CU内至少一个所考虑变换块的非DC值的数目大于预定数目与/或最后有效系数的位置在CU内每一所考虑变换块中左上8×8区域的第一编解码组CG 0内，该次要变换索引被发信或解析。预定数目的示例是0以及预定位置的一些示例是变换块中的第一位置。在设置预定数目为0的实施例中，非DC值的数目也从最后有效系数的位置或者所考虑TB的最后有效系数位置语法来导出，即，如果用于至少一个所考虑TB的最后有效系数的位置大于该变换块的第一位置，非DC值的数目大于预定数目(如，等于0)。这一实施例等同于当用于至少一个所考虑TB的最后有效系数的位置大于预定位置，或者当用于至少一个所考虑TB的最后有效系数的位置在出该第一编解码组的第一位置之外的第一编解码组内时，发信或解析该次要变换索引。
示例性系统框图先前所描述视频处理方法的实施例在视频编码器、视频解码器或视频编码器与解码器两者中实施。例如，视频处理方法在视频编码器的熵编码模块或者在视频解码器的熵解码模块中来实施。或者，视频处理方法被实施为被整合到视频编码器或视频解码器中熵编解码模块的电路。图8示出了实施视频处理方法各种实施例的视频编码器800的示例性系统框图。视频编码器800中的块结构分割模块810接收视频图像的输入数据以及决定一块拆分结构用于待编码的每一视频图像。当前视频图像中的每一叶编解码块由帧内预测模块812中的帧内预测或者帧间预测模块814中的帧间预测预测来移除空间冗余或时间冗余。帧内预测模块812基于当前视频图像的重构视频数据提供叶编解码块的帧内预测子。帧间预测模块814基于来自一个或多个其他视频图像的视频数据执行运动估计(ME)以及运动补偿(MC)来提供叶编解码块的帧间预测子。开关816选择帧内预测模块812或帧间预测模块814来提供预测子到加法器818来形成预测误差，也称残差。当前视频图像中每一叶编解码块中的残差被拆分成一个或多个变换块。变换(T)模块820决定一当前CU中一个或多个变换块的变换操作，以及该变换操作包括主要变换与次要变换的一个或两者。本发明的一些实施例检查一个或多个变换块的最后有效系数的一位置，以及如果任何所考虑变换块的该最后有效系数的该位置位于次要变换的预定区域，禁用次要变换用于该当前CU。在这种情况下，如果任何所考虑变换块的该最后有效系数的该位置位于该预定区域，次要变换索引在视频比特流中不被发信。例如，该当前CU中亮度以及色度TB都被检查，以及根据该亮度以及色度TB的该最后有效系数的该位置，次要变换被条件地被应用于亮度TB。在另一个示例中，该当前CU中的亮度或色度TB被检查以及根据该亮度或色度TB中该最后有效系数的该位置，次要变换被条件地应用于亮度或色度TB。每一变换块的残差由变换(T)模块820紧接着量化(Q)模块822处理来生成由熵编码器834待编码的变换系数层级。熵编码器834也编码预测信息以及滤波信息来形成视频比特流。该视频比特流然后与辅助信息(sideinformation)一起被打包。该当前变换块的变换系数层级由逆量化(IQ)模块824以及逆变换(IT)模块826处理来恢复该当前变换块的残差。如图8所示，通过在重构(REC)模块828将残差添加到所选预测子来恢复重构视频数据。重构视频数据可以被存储与参考图像缓冲器(Ref.Pict.Buffer)832并由其他图像预测的帧间预测模块814来使用。由于编码处理，来自重构模块828的重构视频数据可能受到各种损害，因此，在存储待参考图像缓冲器832之前，环路处理滤波器830被应用于重构视频数据来进一步增强图像质量。
图9中示出了解码由图8的视频编码器800生成的视频比特流的对应的视频解码器900。视频解码器900的输入由熵解码器910进行解码来解析以及恢复每一变换块的变换系数层级以及其他系统信息。块结构分割模块912决定每一视频图像的块分割结构。解码器900的解码进程类似于在编码器800的重构回路，除了解码器900仅需要帧间预测模块916的运动补偿预测。视频图像中每一叶编解码块由帧内预测模块914或帧间预测模块916进行解码，以及开关918根据所解码的模式信息选择帧内预测子或帧间预测子。与每一变换块有关的变换系数层级然后由逆量化(IQ)模块922恢复来生成最终变换系数。逆变换(IT)模块922对最终变换系数应用逆变换操作来恢复残差。该逆变换操作包括逆次要变换以及逆主要变换的一个或两个。本发明的一些实施例通过解析与每一变换块有关的最后有效系数位置语法决定当前CU中每一变换块的最后有效系数的位置，以及如果至少一个所考虑变换块的该最后有效系数位置的位置位于次要变换的预定区域内，推断逆次要变换对该当前CU是禁用的。如果所考虑变换块的该最后有效系数的所有位置不在该0预定区域，该逆变换模块根据从该视频比特流中解析的次要变换索引决定一逆变换操作。通过在重构(REC)模块920中添加回预测子来重构所恢复的残差来生成重构视频。该重构视频进一步由环路处理滤波器(滤波器)926处理来生成最终解码视频。如果当前解码视频是参考图像，当前解码视频图像的重构视频也被存储于参考图像缓冲器928中用于解码次序中的后续图像。
图8以及图9中视频编码器800以及视频解码器900的各种元件可以由硬件元件、用于执行存储与内存中程序指令的一个或多个处理器或硬件与处理器的组合来实施。例如，处理器执行程序指令来控制应用变换操作或逆变换操作。该处理器配备有单个或多个处理核心。在一些实施例中，处理器执行程序指令来执行编码器800以及解码器900中一些元件的功能，以及电性地耦合于处理器的内存用于存储程序指令、对应于重构数据的信息与/或编码或解码进程中的中间数据。一些实施例中内存包括非瞬时计算可读媒介，如半导体或固态内存、随机存取内存(RAM)、只读存储器(ROM)、硬盘、光盘或者其他合适的储存媒介。内存也可以是以上列出的两个或多个非瞬时计算机可读媒介的组合。如图8以及图9所示，编码器800以及解码器900可以在相同的电子装置中实施，因此如果在相同的电子装置中实施，编码器800与解码器900的各种功能元件可以共享。本发明的任何实施例可以在编码器800的变换模块820、与/或解码器900的逆变换模块924中实施。或者，任何实施例可以被实施为耦合与编码器800的变换模块820与/或解码器900的逆变换模块924的电路，以致提供变换模块820或逆变换模块924所需要的信息。
视频处理方法的实施例适应性地启用次要变换可以在整合到视频压缩芯片的电路或者整合到视频压缩软件的程序代码中实施来执行以上描述的处理。例如，应用变换操作或逆变换操作可以在将在计算机处理器、数字信号处理器(DSP)、微处理器或现场可程序门阵列(FPGA)上执行的程序代码中实现。这些处理器可以用于执行根据本发明的具体任务，通过执行定义由本发明呈现的特定方法的机器可读软件代码或者固件代码。
遍及本说明中对“一实施例”、“一些实施例”或类似语言的引用意味着结合实施例描述的特定特征、结果或特性可以被包括于本发明的至少一个实施例中。因此，遍及本说明书中各个地方出现的短语“在一实施例中”或“在一些实施例中”不一定都指相同的实施例，这些实施例可以单独地或者结合一个或多个其他实施例来实施。此外，所描述的特征、机构或特性在一个或多个实施例中以任何合适的方式来组合。本领域普通技术人员将意识到，然而，本发明可以没有一个或多个具体细节或者用其他方法、元件等来实施。在其他情况下，公知的结构或操作未被详细描述以避免混淆本发明的方面。
本发明可以以其他具体形式呈现而不背离其精神或基本特性。所描述的示例在所有方面仅被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求书而非前述的描述来指示。与权利要求书的等同物的含义以及范围一致的所有变化都在其范围内。

Claims (35)

1.一种视频编解码系统中编码视频数据的方法，包括：
接收与当前视频图像中当前块有关的输入数据，其中所述输入数据包括所述当前块的残差；
决定并应用变换操作到与所述当前块的一个或多个变换块有关的所述残差来生成最终变换系数；
决定所述当前块中每一变换块的所述最终变换系数的最后有效系数的位置；
根据应用于所述当前块的所述变换操作决定次要变换索引的值；
检查所述最后有效系数的任何位置是否位于预定区域以及根据所述最后有效系数的一个或多个位置，在视频比特流中发信或跳过发信所述次要变换索引；以及
根据所述最终变换系数编码所述视频图像中的所述当前块，
其中，当所述当前块的宽度或高度大于预定阈值时，所述次要变换索引不由编码器发信以及由解码器推断为0，其中所述预定阈值根据最大变换单元尺寸或最大变换块尺寸设置。
2.如权利要求1所述的视频编解码系统中编码视频数据的方法，其特征在于，所述当前块是当前编码单元以及在所述当前块中的所有变换块之后，在编码单元层级发信所述次要变换索引。
3.如权利要求1所述的视频编解码系统中编码视频数据的方法，其特征在于，所述当前块是包含一个或多个亮度变换块或者一个或多个色度变换块的亮度或色度编码块，其中根据所述一个或多个亮度或色度变换块中所述最后有效系数的所述一个或多个位置适应性地发信所述次要变换索引。
4.如权利要求1所述的视频编解码系统中编码视频数据的方法，其特征在于，所述当前块包含一个或多个亮度变换块以及所述当前块进一步包括一个或多个色度变换块，其中根据所述一个或多个亮度或色度变换块中所述最后有效系数的所述一个或多个位置，适应性地发信所述次要变换索引，以及适应性地对所述当前块中的所述一个或多个亮度或色度变换块执行次要变换。
5.如权利要求1所述的视频编解码系统中编码视频数据的方法，其特征在于，所述方法进一步包括由帧内预测来预测所述当前块来生成所述当前块的所述残差，其中非帧内编解码块的所述变换操作跳过次要变换。
6.如权利要求1所述的视频编解码系统中编码视频数据的方法，其特征在于，所述预定区域是第二、第三以及第四编解码组，以及根据所述最后有效系数的所述一个或多个位置发信或跳过发信所述次要变换索引的步骤包括：
如果所述最后有效系数的所述一个或多个位置不位于所述第二、第三以及第四编解码组，发信所述次要变换索引，其中根据处理次序，所述变换块的所述第二、第三或第四编解码组是所述变换块中一左上8×8区域中的一第二、第三或第四4×4子块；或者
如果所述最后有效系数的任何位置位于所述第二、第三或第四编解码组，跳过发信所述次要变换索引。
7.如权利要求1所述的视频编解码系统中编码视频数据的方法，其特征在于，所述预定区域是次要变换的归零区域，以及根据所述最后有效系数的所述一个或多个位置发信或跳过发信所述次要变换索引的步骤包括：
如果所述最后有效系数的所述一个或多个位置不位于所述次要变换的所述归零区域，发信所述次要变换索引，其中所述次要变换的归零区域是次要变换后所有变换系数被设置为0的区域；或者
如果所述最后有效系数的任何位置位于所述次要变换的归零区域，跳过发信所述次要变换索引。
8.如权利要求7所述的视频编解码系统中编码视频数据的方法，其特征在于，所述变换块的所述次要变换的归零区域包括除了左上4×4子块之外的整个变换块。
9.如权利要求1所述的视频编解码系统中编码视频数据的方法，其特征在于，决定并应用变换操作的步骤进一步包括决定次要变换是否被应用于所述当前块的所述一个或多个变换块，其中如果所述次要变换被应用，所述变换操作包括应用主要变换到所述残差来生成临时变换系数然后应用次要变换到所述临时变换系数来生成最终变换系数，或者如果所述次要变换不被应用，所述变换操作包括应用主要变换到所述残差来生成所述最终变换系数。
10.如权利要求9所述的视频编解码系统中编码视频数据的方法，其特征在于，如果次要变换不被应用，所述次要变换索引被设置为0，以及如果次要变换被应用，所述次要变换索引被设置为大于0的值。
11.如权利要求9所述的视频编解码系统中编码视频数据的方法，其特征在于，进一步包括如果次要变换不被应用，在变换块后，发信与残差编解码有关的一个或多个语法元素用于所述一个或多个变换块解析，或者如果次要变换不被应用，跳过发信与残差编解码有关的一个或多个语法元素用于所述一个或多个变换块解析，其中所述一个或多个语法元素包含用于预定编解码组的有效标识。
12.如权利要求11所述的视频编解码系统中编码视频数据的方法，其特征在于，所述预定编解码组包括次要变换的归零区域，以及所述次要变换的归零区域是在次要变换后所有变换系数被设置为0的区域。
13.如权利要求1所述的视频编解码系统中编码视频数据的方法，其特征在于，所述检查所述最后有效系数的任何位置是否位于预定区域的步骤仅被应用于所述当前块中所考虑的变换块，以及发信或跳过发信所述次要变换索引的步骤取决于所述所考虑变换块的所述最后有效系数的所述位置。
14.如权利要求13所述的视频编解码系统中编码视频数据的方法，其特征在于，所述所考虑变换块包括所述当前块中的所有变换块、仅所述当前块中的亮度变换块、仅所述当前块中的色度变换块、仅所述当前块中具有有效系数的变换块、所述当前块中预定子集的变换块或者除了不被允许次要变换之外的所有变换块。
15.如权利要求14所述的视频编解码系统中编码视频数据的方法，其特征在于，不被允许次要变换的所述变换块包括变换块宽度或变换块高度小于4样本的任何变换块或者由变换跳过处理的任何变换块。
16.如权利要求13所述的视频编解码系统中编码视频数据的方法，其特征在于，如果所述当前块中没有所考虑的变换块，次要变换不被应用于所述当前块中的任何变换块。
17.如权利要求1所述的视频编解码系统中编码视频数据的方法，其特征在于，所述预定区域包括除了左上4x4子块之外的整个变换块。
18.如权利要求1所述的视频编解码系统中编码视频数据的方法，其特征在于，所述预定区域包括除了首先8个系数位置之外的整个变换块。
19.一种视频编解码系统中解码视频数据的方法，所述方法包括：
接收携带与当前视频图像中当前块有关的输入数据的视频比特流；
从所述视频比特流中解析与所述当前块有关的一个或多个变换块的一个或多个最后有效系数位置语法；
从对应的最后有效系数位置语法决定每一变换块的最后有效系数的位置；
根据所述最后有效系数的所述一个或多个位置以及预定区域，通过推断逆次要变换不被应用于所述当前块来决定所述当前块的逆变换操作，或者否则通过从所述视频比特流中解析次要变换索引来决定所述当前块的逆变换操作；
根据所述逆变换操作，应用逆主要变换到所述当前块的最终变换系数来恢复所述当前块的残差，或者应用逆次要变换然后逆主要变换到所述当前块的最终变换系数来恢复所述当前块的残差；以及
基于所述当前块的所述残差解码所述视频图像中的所述当前块，
其中，当所述当前块的宽度或高度大于预定阈值时，所述次要变换索引不由编码器发信以及由解码器推断为0，其中所述预定阈值根据最大变换单元尺寸或最大变换块尺寸设置。
20.如权利要求19所述的视频编解码系统中解码视频数据的方法，其特征在于，所述当前块是当前编码单元以及在解析所述当前块中所有变换块后，在编码单元层级解析所述次要变换索引。
21.如权利要求19所述的视频编解码系统中解码视频数据的方法，其特征在于，所述当前块是包含一个或多个亮度或色度变换块的亮度或色度编码块，其中根据所述一个或多个亮度或色度变换块中所述最后有效系数的所述一个或多个位置适应性地解析所述次要变换索引。
22.如权利要求19所述的视频编解码系统中解码视频数据的方法，其特征在于，所述当前块包含一个或多个亮度变换块以及所述当前块进一步包括一个或多个色度变换块，其中根据所述一个或多个亮度或色度变换块中所述最后有效系数的所述一个或多个位置，适应性地解析所述次要变换索引用于所述一个或多个亮度或色度变换块，以及基于所解析的次要变换索引对所述一个或多个亮度或色度变换块执行所述逆变换操作。
23.如权利要求19所述的视频编解码系统中解码视频数据的方法，其特征在于，决定所述当前块的逆变换操作的步骤包括：
如果所述最后有效系数的所述一个或多个位置不位于第二、第三以及第三编解码组，解析所述次要变换索引，其中所述预定区域包括变换块中的所述第二、第三或第四编解码组，其意味着根据处理次序，所述变换块中左上8×8区域的第二、第三或第四4×4子块；或者
如果所述最后有效系数的任何位置不位于所述第二、第三或第四编解码组，推断逆次要变换不被应用。
24.如权利要求19所述的视频编解码系统中解码视频数据的方法，其特征在于，决定所述当前块一逆变换操作的步骤包括：
如果所述最后有效系数的所述一个或多个位置不位于所述预定区域，解析所述次要变换索引，以及所述预定区域是次要变换的归零区域，其中所述次要变换的归零区域是次要变换后所有系数被设置为0的区域；或者
如果所述最后有效系数的任何位置位于所述预定区域，推断逆次要变换不被应用。
25.如权利要求19所述的视频编解码系统中解码视频数据的方法，其特征在于，所述预定区域包括除了左上4×4子块之外的整个变换块。
26.如权利要求19所述的视频编解码系统中解码视频数据的方法，其特征在于，所述预定区域包括除了首先8个系数位置之外的整个变换块。
27.如权利要求19所述的视频编解码系统中解码视频数据的方法，其特征在于，所述方法进一步包括如果逆次要变换不被应用，在变换块后，解析与残差编解码有关的一个或多个语法元素用于所述一个或多个变换块解析，或者如果逆次要变换被应用，在变换块后，跳过解析与残差编解码有关的一个或多个语法元素用于一个或多个变换块解析，其中所述一个或多个语法元素包含用于预定编解码组的有效标识。
28.如权利要求27所述的视频编解码系统中解码视频数据的方法，其特征在于，所述预定编解码组包括次要变换的归零区域以及所述次要变换的归零区域是次要变换之后所有变换系数被设置为0的区域。
29.如权利要求19所述的视频编解码系统中解码视频数据的方法，其特征在于，通过推断逆次要变换不被应用来决定所述当前块的逆变换操作的步骤仅取决于所述当前块中所考虑变换块的所述最后有效系数的位置。
30.如权利要求29所述的视频编解码系统中解码视频数据的方法，其特征在于，所考虑的变换块包括所述当前块中的所有变换块，仅所述当前块中的亮度变换块、仅所述当前块中的色度变换块、所述当前块中具有有效系数的变换块、所述当前块中预定子集的变换块或者除了不被允许次要变换之外的所有变换块。
31.如权利要求30所述的视频编解码系统中解码视频数据的方法，其特征在于，不被允许次要变换的变换块包括变换块宽度或变换块高度小于4样本的任何变换块或者由变换跳过处理的任何变换块。
32.如权利要求29所述的视频编解码系统中解码视频数据的方法，其特征在于，如果所述当前块中没有所考虑的变换块，逆次要变换不被应用于所述当前块中的任何变换块。
33.如权利要求19所述的视频编解码系统中解码视频数据的方法，其特征在于，所述当前块是变换块以及在解析所述当前块的系数后，解析所述次要变换索引。
34.一种用于执行视频编码的装置，包括内存以及一个或多个处理器，所述一个或多个处理器执行存储于所述内存的程序指令，使得所述装置执行编码视频数据的方法，所述方法包括：
接收与当前视频图像中当前块有关的输入数据，其中所述输入数据包括所述当前块的残差；
决定并应用变换操作到与所述当前块的一个或多个变换块有关的所述残差来生成最终变换系数；
决定所述当前块中每一变换块的所述最终变换系数的最后有效系数的位置；
根据应用于所述当前块的所述变换操作决定次要变换索引的值；
检测所述最后有效系数的任何位置是否位于预定区域以及根据所述最后有效系数的一个或多个位置，在视频比特流中发信或跳过发信所述次要变换索引；以及
根据所述最终变换系数编码所述视频图像中的所述当前块，
其中，当所述当前块的宽度或高度大于预定阈值时，所述次要变换索引不由编码器发信以及由解码器推断为0，其中所述预定阈值根据最大变换单元尺寸或最大变换块尺寸设置。
35.一种用于执行视频解码的装置，包括内存以及一个或多个处理器，所述一个或多个处理器执行存储于所述内存的程序指令，使得所述装置执行解码视频数据的方法，所述方法包括：
接收携带与当前视频图像中当前块有关的输入数据的视频比特流；
从所述视频比特流中解析与所述当前块有关的一个或多个变换块的一个或多个最后有效系数位置语法；
从对应的最后有效系数位置语法决定每一变换块的最后有效系数的位置；
根据所述最后有效系数的所述一个或多个位置以及预定区域，通过推断逆次要变换不被应用于所述当前块来决定所述当前块的逆变换操作，或者否则通过从所述视频比特流中解析次要变换索引来决定所述当前块的逆变换操作；
根据所述逆变换操作，应用逆主要变换到所述当前块的最终变换系数来恢复所述当前块的残差或者应用逆次要变换然后逆主要变换到所述当前块的最终变换系数来恢复所述当前块的残差；以及
基于所述当前块的所述残差解码所述视频图像中的所述当前块，
其中，当所述当前块的宽度或高度大于预定阈值时，所述次要变换索引不由编码器发信以及由解码器推断为0，其中所述预定阈值根据最大变换单元尺寸或最大变换块尺寸设置。
CN202080027400.5A 2019-04-16 2020-04-15 视频编解码系统中编解码视频数据的方法及装置 Active CN113748680B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962834487P 2019-04-16 2019-04-16
US62/834,487 2019-04-16
PCT/CN2020/084895 WO2020211775A1 (en) 2019-04-16 2020-04-15 Methods and apparatuses for coding video data with adaptive secondary transform signaling depending on tb level syntax

Publications (2)

Publication Number Publication Date
CN113748680A CN113748680A (zh) 2021-12-03
CN113748680B true CN113748680B (zh) 2024-01-02

Family

ID=72837008

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080029163.6A Active CN113711607B (zh) 2019-04-16 2020-04-15 用适应性次要变换信令编解码视频数据的方法以及装置
CN202080027400.5A Active CN113748680B (zh) 2019-04-16 2020-04-15 视频编解码系统中编解码视频数据的方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080029163.6A Active CN113711607B (zh) 2019-04-16 2020-04-15 用适应性次要变换信令编解码视频数据的方法以及装置

Country Status (5)

Country Link
US (2) US11943476B2 (zh)
EP (2) EP3949407A4 (zh)
CN (2) CN113711607B (zh)
TW (2) TWI750632B (zh)
WO (2) WO2020211776A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020002317A8 (pt) * 2017-08-04 2023-01-24 Lg Electronics Inc Método e aparelho para configurar uma transformada para compressão de vídeo
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
CN113678453B (zh) 2019-04-12 2024-05-14 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
KR20220011127A (ko) 2019-05-22 2022-01-27 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업샘플링을 이용한 행렬 기반 인트라 예측
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
CN117768652A (zh) 2019-06-05 2024-03-26 北京字节跳动网络技术有限公司 视频处理方法、装置、介质、以及存储比特流的方法
KR20210133301A (ko) * 2019-06-06 2021-11-05 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
JP7277616B2 (ja) 2019-06-07 2023-05-19 北京字節跳動網絡技術有限公司 ビデオ・データを処理する方法、装置及び記憶媒体
US11695960B2 (en) * 2019-06-14 2023-07-04 Qualcomm Incorporated Transform and last significant coefficient position signaling for low-frequency non-separable transform in video coding
JP6912522B2 (ja) * 2019-06-24 2021-08-04 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN112135148B (zh) * 2019-06-25 2022-05-10 华为技术有限公司 非可分离变换方法以及设备
KR20220024500A (ko) * 2019-07-12 2022-03-03 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021010687A1 (ko) * 2019-07-12 2021-01-21 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021023151A1 (en) 2019-08-03 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Position based mode derivation in reduced secondary transforms for video
CN114223200B (zh) * 2019-08-14 2023-11-17 北京字节跳动网络技术有限公司 位置相关帧内预测样点滤波
CA3151584C (en) * 2019-09-20 2024-04-02 Jani Lainema An apparatus, a method and a computer program for video coding and decoding
KR20220082847A (ko) * 2019-10-28 2022-06-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 색상 성분에 기초한 신택스 시그널링 및 파싱
CN114930848A (zh) * 2019-11-13 2022-08-19 Lg电子株式会社 基于变换的图像编码方法及其设备
CN116456108A (zh) * 2020-02-05 2023-07-18 Lg电子株式会社 图像解码方法、图像编码方法以及发送方法
WO2021158049A1 (ko) * 2020-02-05 2021-08-12 엘지전자 주식회사 영상 정보 코딩에 대한 영상 디코딩 방법 및 그 장치
WO2021190593A1 (en) * 2020-03-25 2021-09-30 Beijing Bytedance Network Technology Co., Ltd. Coded video processing using enhanced secondary transform
US20220150518A1 (en) * 2020-11-11 2022-05-12 Tencent America LLC Method and apparatus for video coding
US11876990B2 (en) * 2021-07-13 2024-01-16 Mediatek Inc. Video residual decoding apparatus using storage device to store side information and/or state information for syntax element decoding optimization and associated method
US11949920B2 (en) 2021-10-20 2024-04-02 Mediatek Inc. Method and apparatus for contorlling coefficient transmission by early determining whether to decode information that inverse transform needs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103636205A (zh) * 2011-07-01 2014-03-12 三星电子株式会社 具有低延迟的用于残差编码的模式依赖变换
WO2018173432A1 (ja) * 2017-03-21 2018-09-27 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
CN109076230A (zh) * 2016-05-03 2018-12-21 高通股份有限公司 二值化二次变换指数
CN109089117A (zh) * 2017-05-11 2018-12-25 联发科技股份有限公司 编码或解码视频数据的方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8705619B2 (en) * 2010-04-09 2014-04-22 Sony Corporation Directional discrete wavelet transform (DDWT) for video compression applications
US8693795B2 (en) * 2010-10-01 2014-04-08 Samsung Electronics Co., Ltd. Low complexity secondary transform for image and video compression
US9747255B2 (en) 2011-05-13 2017-08-29 Texas Instruments Incorporated Inverse transformation using pruning for video coding
CN102843560B (zh) * 2011-06-21 2015-01-21 华为技术有限公司 图像变换处理方法、设备和系统
US10681379B2 (en) 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
CN105306956B (zh) * 2015-11-13 2018-03-27 浙江工商大学 一种提高hevc编码器离散余弦变换处理速度的方法
US10623777B2 (en) 2016-02-16 2020-04-14 Samsung Electronics Co., Ltd. Image encoding method and apparatus, and image decoding method and apparatus
EP3453181A4 (en) 2016-05-04 2019-05-01 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR ENCODING TRANSFORMED DATA
MX2018013461A (es) 2016-05-13 2019-03-28 Sony Corp Aparato y metodo de procesamiento de imagenes.
US10887626B2 (en) 2016-05-13 2021-01-05 Sharp Kabushiki Kaisha Image decoding device and image encoding device
AU2017264000A1 (en) 2016-05-13 2018-11-22 Sony Corporation Image processing device and method
WO2018038554A1 (ko) * 2016-08-24 2018-03-01 엘지전자(주) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
US11095893B2 (en) 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
CN110419218B (zh) 2017-03-16 2021-02-26 联发科技股份有限公司 编码或解码视频数据的方法和装置
MX2019011211A (es) 2017-03-21 2019-12-05 Lg Electronics Inc Metodo de transformacion en el sistema de codificacion de imagenes y aparato para el mismo.
US10855997B2 (en) 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
US10805641B2 (en) * 2017-06-15 2020-10-13 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding
WO2019117634A1 (ko) * 2017-12-15 2019-06-20 엘지전자 주식회사 2차 변환에 기반한 영상 코딩 방법 및 그 장치
CN108322745B (zh) 2018-02-28 2019-12-03 中南大学 一种基于不可分二次变换模式的帧内快速选择方法
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103636205A (zh) * 2011-07-01 2014-03-12 三星电子株式会社 具有低延迟的用于残差编码的模式依赖变换
CN109076230A (zh) * 2016-05-03 2018-12-21 高通股份有限公司 二值化二次变换指数
WO2018173432A1 (ja) * 2017-03-21 2018-09-27 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
CN109089117A (zh) * 2017-05-11 2018-12-25 联发科技股份有限公司 编码或解码视频数据的方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CE6 – related: Simplification of the Reduced Secondary Transform;Mischa Siekmann et al;《JVET》;1-2部分、附图1-2 *
Moonmo Koo.CE6: Reduced Secondary Transform (RST) (CE6-3.1).《JVET》.2019,第1-2部分、附图1-5. *
On secondary transforms for prediction residual;Ankur Saxena et al.;《2012 19th IEEEinternational conference on image processing》;全文 *
基于二次空间变换的快速时空分割;张颖等;基于二次空间变换的快速时空分割;全文 *
王中元 ; 胡瑞敏 ; 田纲 ; 李明.视频编码器中DCT域系数的变换编码研究.《通信学报》.2008,全文. *

Also Published As

Publication number Publication date
CN113711607B (zh) 2023-10-10
US20220159300A1 (en) 2022-05-19
TWI750633B (zh) 2021-12-21
WO2020211775A1 (en) 2020-10-22
CN113748680A (zh) 2021-12-03
US11956469B2 (en) 2024-04-09
US11943476B2 (en) 2024-03-26
TWI750632B (zh) 2021-12-21
WO2020211776A1 (en) 2020-10-22
TW202046719A (zh) 2020-12-16
TW202046723A (zh) 2020-12-16
EP3949414A4 (en) 2023-04-12
EP3949414A1 (en) 2022-02-09
EP3949407A1 (en) 2022-02-09
US20220224898A1 (en) 2022-07-14
CN113711607A (zh) 2021-11-26
EP3949407A4 (en) 2023-04-12

Similar Documents

Publication Publication Date Title
CN113748680B (zh) 视频编解码系统中编解码视频数据的方法及装置
CN114223207B (zh) 用次要变换编解码视讯数据的方法以及装置
CN111602394B (zh) 视频编解码系统中的视频处理方法及装置
CN112534813B (zh) 视频处理系统中色度量化参数导出的方法以及装置
CN111742554B (zh) 具有视频数据自适应量化的视频编码或解码方法和装置
WO2018129322A1 (en) Multi-type-tree framework for video coding
KR101484057B1 (ko) 영상 복호화 장치
KR20160106018A (ko) 동영상 복호화 장치
CN113796075B (zh) 视频编码系统中编码或解码视频数据的方法和装置
JP2023010845A (ja) アフィン動き予測に基づく映像コーディング方法及び装置
US11601647B2 (en) Methods and apparatuses of inter coding for pictures partitioned into subpictures in video coding systems
CN114556950B (zh) 具有bdpcm尺寸约束的视频编解码方法以及装置
KR20190084560A (ko) 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220425

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Applicant before: MEDIATEK Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant