CN110419218B - 编码或解码视频数据的方法和装置 - Google Patents

编码或解码视频数据的方法和装置 Download PDF

Info

Publication number
CN110419218B
CN110419218B CN201880015759.3A CN201880015759A CN110419218B CN 110419218 B CN110419218 B CN 110419218B CN 201880015759 A CN201880015759 A CN 201880015759A CN 110419218 B CN110419218 B CN 110419218B
Authority
CN
China
Prior art keywords
transform
block
dimensional
coefficients
dimensional coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880015759.3A
Other languages
English (en)
Other versions
CN110419218A (zh
Inventor
陈庆晔
庄子德
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN110419218A publication Critical patent/CN110419218A/zh
Application granted granted Critical
Publication of CN110419218B publication Critical patent/CN110419218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种结合增强多重变换的视频编解码的方法和装置。根据一个方法，在水平方向或垂直方向上用于增强多重变换的候选的数量根据当前块尺寸而被减少。根据另一个方法，仅当二维系数块的至少部分中的非零系数的总数大于阈值时，增强多重变换标志、一个或多个增强多重变换索引中至少一个被发送，其中阈值等于1或更大。本发明还公开了一种采用不可分离二次变换的视频编解码的方法和装置。根据本方法，二维系数块的部分块中的非零第一系数的总数被确定，以及用于确定是否应用不可分离二次变换处理。

Description

编码或解码视频数据的方法和装置
交叉引用
本发明主张在2017年3月16日提出的申请号为第62/472,001的美国临时专利申请的优先权；主张在2017年5月26日提出的申请号为第62/511,369的美国临时专利申请的优先权，上述美国临时专利申请的内容以引用方式整体并入本文中。
技术领域
本发明涉及视频处理。特别地，本发明涉及使用增强多重变换(EnhancedMultiple Transforms，EMT)或不可分二次变换(Non-Separable Secondary Transform，NSST)以提高视频编解码系统的编解码效率或降低其复杂度的技术。
背景技术
高效视频编解码(High Efficiency Video Coding，HEVC)标准由ITU-T视频编解码专家组(Video Coding Experts Group，VCEG)和ISO/IEC动态图像专家组(MovingPicture Experts Group，MPEG)标准化组织的联合视频项目所开发，并且特别地与称为视频编解码联合协作组(Joint Collaborative Team on Video Coding，JCT-VC)存在合作伙伴关系。
在高效视频编解码中，一个切片(slice)被分割成多个编码树单元(coding treeunit，CTU)。在主配置文件中，编码树单元的最小尺寸和最大尺寸由序列参数集(sequenceparameter set，SPS)中的语法元素(syntax element)所指定。允许的编码树单元尺寸可以为8x8，16x16,32x32或64x64。对于每个切片，切片内的编码树单元都是按照光栅扫描顺序进行处理的。
编码树单元被进一步分割成多个编码单元(coding unit，CU)以适应不同的部分特征。四叉树，被定义为编码树，用来将编码树单元分割成多个编码单元。令编码树单元的尺寸为MxM，其中M为64，32或16中的一个值。编码树单元可以是单个编码单元，或可以被分割成4个尺寸相同(即，M/2xM/2)的更小单元，其是编码树的节点。如果这些单元是编码树的叶节点，则这些单元称为编码单元。否则，四叉树的分割过程可以被迭代，直到节点的尺寸达到在序列参数集中指定的最小允许编码单元尺寸。这种表示形成了由图1中的编解码树(也称为分割树结构)120所指定的递归结构。编码树单元分割110如图1所示，其中，实线表示编码单元边界。在编码单元层处做出是否使用帧内图像(时间)预测或帧间图像(空间)预测编解码图像的决定。由于最小编码单元尺寸可以为8x8，则用于在不同基础预测类型之间切换的最小粒度为8x8。
一个或多个预测单元(prediction unit，PU)被指定以用于每个编码单元。与编码单元相结合，预测单元用作共享预测信息的基础代表块。在每个预测单元内部，相同的预测处理被应用，并且相关信息以预测单元为基础被发送到解码器。根据预测单元分割类型，一个编码单元可以分割成一个，两个或四个预测单元。如图2所示，高效视频编解码定义了将编码单元分割成预测单元的八种形状。不同于编码单元，预测单元可以仅被分割一次。第二列中所示出的分割对应于非对称分割，其中两个已分割部分具有不同的尺寸。
在通过基于预测单元分割类型应用预测处理来获得残差块之后，根据另一个四叉树结构，编码单元的预测残差可以被分割成变换单元(transform unit，TU)，其类似于编码单元的编码树。在图1中，块110中的实线表示编码单元边界，以及块110中的虚线表示变换单元边界。类似地，分割树结构120的实线对应于编码单元分割树结构，以及分割树结构120的虚线对应于变换单元分割树结构。变换单元是残差系数或变换系数的基础代表块以用于应用整数变换和量化。对于每个变换单元，具有相同尺寸的一个整数变换被应用于变换单元以获得残差系数。这些系数在以变换单元为基础的量化之后被发送到解码器。
术语编码树块(coding tree block，CTB)，术语编码块(coding block，CB)，术语预测块(prediction block，PB)以及术语变换块(transform block，TB)被定义以指定分别与编码树单元，编码单元，预测单元以及变换单元相关的一个颜色分量的2-D样本数组。因此，编码树单元由一个亮度编码树块、两个色度编码树块以及相关的语法元素组成。类似的关系有效于编码单元，预测单元以及变换单元。尽管当达到色度的某些最小尺寸时发生例外情况，但树分割通常同时被应用于亮度和色度。
可选地，如ITU-T SG 16(Study Period 2013)，Contribution 966(J.An,et al,“Block partitioning structure for next generation video coding”,ITU-T T13SG16 COM 16–C 966R3–E,Geneva,September 2015)中所公开，可以使用二叉树块分割结构。在已公开的二叉树分割结构中，块可以被递归地分割成两个更小的块。几种分割类型如图3所示。如图3所示的上部分两个分割类型中所示，最有效且最简单的分割类型为对称水平分割和对称垂直分割。因此，系统可以选择仅使用这两个分割类型。对于给定块尺寸MxN(其中，M和N可以相同或不同)，一个标志可以被发送以指示是否将块分割成两个更小的块。如果标志指示“是”，则另一个语法元素被发送以指示哪种分割类型被使用(即，水平或垂直)。如果水平分割被使用，则将其分割成两个尺寸为MxN/2的块，否则如果垂直分割被使用，则将其分割成两个尺寸为M/2xN的块。二叉树分割处理可以被迭代，直到分割块的尺寸(宽度或高度)到达最小允许块尺寸(宽度或高度)，其可以被定义在诸如序列参数集的高层语法中。由于二叉树具有两种分割类型(即，水平和垂直)，最小允许块宽度和最小允许块高度都应该被指示。当分割导致块高度小于指示的最小值时，非水平分割为隐性的。当分割导致块宽度小于指示的最小值时，非垂直分割为隐性的。图4描述了块分割410及其对应的二叉树结构420的示例。在二叉树的每个分割(即，非叶)节点处，一个标志指示哪种分割类型(水平或垂直)被使用，0指示水平分割，以及1指示垂直分割。
提出的二叉树结构可以被使用以将块分割成多个更小的块，例如，将切片分割成编码树单元，编码树单元分割成编码单元，编码单元分割成预测单元，或编码单元分割成变换单元，等等。在一实施例中，二叉树被使用以将编码树单元分割成编码单元。换言之，二叉树的根节点为编码树单元，以及二叉树的叶节点为编码单元。叶节点由预测和变换编解码进一步处理。在另一实施例中，从编码单元到预测单元或从编码单元到变换单元没有进一步分割以简化块分割处理。这意味着编码单元等于预测单元，也等于变换单元。因此，在这种情况下，二叉树的叶节点也为用于预测和变换编解码的基础单元。
由于更多的分割形状可以被支持，二叉树结构比四叉树结构更加灵活，这也是提高编解码效率的一个因素。然而，为了选择最佳分割形状，编码复杂度也会增加。为了平衡复杂度和编码效率，JVET-E1001(Chen et al.,“Algorithm Description of JointExploration Test Model 5(JEM 5)”,Joint Collaborative Team on Video Coding ofITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,5th Meeting:Geneva,CH,12–20January,2017,Document:JVET-E1001)中已采用了一种结合四叉树结构和二叉树结构的方法，其称为四叉树加二叉树(quadtree plus binary tree，QTBT)结构。在公开的四叉树加二叉树结构中，块首先被四叉树结构分割，四叉树分割可以被迭代，直到分割块的尺寸达到最小允许四叉树叶节点尺寸。如果叶四叉树块不大于最大允许四叉树根节点尺寸，则其可以由二叉树结构进一步分割，二叉树结构分割可以被迭代，直到分割块尺寸(宽度或高度)达到最小允许二叉树叶节点尺寸(宽度或高度)，或二叉树深度达到最大允许二叉树深度。在四叉树加二叉树结构中，最小允许四叉树叶节点尺寸、最大允许二叉树根节点尺寸、最小允许二叉树叶节点宽度和高度以及最大允许二叉树深度可以被指示在高层语法中，例如序列参数集。图5描述了块分割510以及其对应的四叉树加二叉树结构520的一个示例。实线表示四叉树分割，以及虚线表示二叉树分割。在二叉树的每个分割节点(即，非叶节点)处，一个标志指示哪种分割类型(水平或垂直)被使用，0表示水平分割，以及1表示垂直分割。
已公开的四叉树加二叉树结构可以被用于以将块分割成多个更小的块，例如将切片分割成编码树单元，将编码树单元分割成编码单元，将编码单元分割成预测单元或将编码单元分割成变换单元，等等。例如，四叉树加二叉树可以用于将编码树单元分割成编码单元，即，四叉树加二叉树的根节点为编码树单元，其由四叉树加二叉树结构分割成多个编码单元。编码单元进一步由预测编码和变换编码进行处理。简化的四叉树加二叉树结构也已在2015年12月9日提出申请的PCT/CN2015/096761中被公开，其中从编码单元到预测单元或从编码单元到变换单元没有进一步分割。换言之，编码单元等于预测单元，并且也等于变换单元。因此，四叉树加二叉树结构的叶节点是用于预测和变换的基础单元。
已公开的四叉树加二叉树结构的一示例如下所示。四叉树加二叉树结构可以被应用于尺寸为128x128的编码树单元，最小允许四叉树叶节点尺寸等于16x16，最小允许二叉树根节点尺寸等于64x64，最小允许二叉树叶节点宽度和高度都等于4，以及最小允许二叉树深度等于4。首先，四叉树结构分割编码树单元，并且叶四叉树单元可以具有从16x16(最小允许四叉树叶节点尺寸)到128x128(等于编码树单元的尺寸，即，无分割)的尺寸。如果叶四叉树单元为128x128，则其不能由二叉树进一步分割，因为尺寸超过了最小允许二叉树根节点尺寸64x64。否则叶四叉树单元可以由二叉树进一步分割。叶四叉树单元用作具有二叉树深度为0的根二叉树单元。当二叉树深度达到4时(即，指示的最大二叉树深度)，无分割是隐性的。当二叉树节点具有等于4的宽度时，非水平分割是隐性的。当二叉树节点具有等于4的高度时，非垂直分割是隐性的。四叉树加二叉树结构的叶节点由预测(例如，帧内图像或帧间图像)和变换编解码进一步处理。
已公开的树结构可以分别被应用于I-切片(即，帧内编解码切片)的亮度和色度，并且同时被应用于P-切片和B-切片的亮度和色度(除了当特定最小尺寸被实现以用于色度时)。换言之，在I-切片中，亮度编码树块具有其四叉树加二叉树结构化块分割，以及两个色度编码树块具有另一四叉树加二叉树结构化块分割。两个色度编码树块也可以具有其自身的四叉树加二叉树结构化块分割。
对于每个变换单元，具有与变换单元相同尺寸的一个整数变换被应用以获得残差系数。这些系数在基于变换单元的量化之后被发送至解码器。高效视频编解码采用离散余弦变换类型II(Discrete Cosine Transform type II，DCT-II)作为其核心变换，因为其具有很强的“能量压缩”特性。大部分信号信息趋向于被集中在DCT-II的少量低频分量，其近类似于卡洛南-洛伊变换(Karhunen-Loève Transform，KLT)。正如在数据压缩领域中所已知，基于马尔可夫(Markov)处理的某些限制，KLT在信号的去相关意义上是最优的。信号f[n]的N点DCT-II被定义为(1)。
Figure GDA0002190074360000061
对于帧内预测残差，其他变换可能比DCT-II更有效。在给包括JCTVC-B024,JCTVC-C108和JCTVC-E125的各种的JCT-VC会议(ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的视频编解码联合协作组)的投稿中，离散正弦变换(Discrete Sine Transform，DST)被引入以用作DCT的替代，以用于斜帧内模式(oblique Intra modes)。对于帧间预测残差，DCT-II是当前高效视频编解码中使用的唯一变换。然而，DCT-II可能不是所有情况下的最优变换。在JCTVC-G281(Joint Collaborative Team on Video Coding of ITU-T SG16 WP3 andISO/IEC JTC1/SC29/WG11,7th Meeting:Geneva,CH.,21-30,Nov.,2011,Document:JCTVC-G281)中，提出了离散正弦变换类型VII(Discrete Sine Transform type VII，DST-VII)和离散余弦变换类型IV(Discrete Cosine Transform type IV，DCT-IV)以在在一些情况下替代DCT-II。同样地，在JVET-E1001，增强多重变换(Enhanced Multiple Transform，EMT)方案被用于帧内编解码块和帧间编解码块的残差编解码。在本文中，增强多重变换也可以称为自我调整多重变换(Adaptive Multiple Transform，AMT)。在高效视频编解码中，除了当前变换之外，其利用从DCT/DST族中选择的多个变换。最近引入的变换矩阵为DST-VII,DCT-VIII,DST-I和DCT-V。表1概括了N点输入的每个变换的变换基础函数。
表1.N点输入的变换基础函数
Figure GDA0002190074360000071
Figure GDA0002190074360000081
根据增强多重变换，多个变换可以被选择以用于一个变换单元。例如，对于帧间编码单元，一个增强多重变换标志可以被编解码以指示高效视频编解码变换被使用(即，增强多重变换标志等于0)或新的多个变换中的一个变换被使用(即，增强多重变换标志等于1)。当增强多重变换标志等于1时，在水平和垂直方向上分别有两种不同的变换。增强多重变换索引可以用于指示为水平方向和垂直方向中的每个所选择的变换。总的来说，当增强多重变换标志为1时，四种不同的变换被支持以用于每个编码单元。对于帧内编码单元，在多个变换中也有四个候选。然而，这四个候选为根据帧内预测方向的变型。
当越来越多的变换用于编解码时，用于多个变换的发送指令变得更加复杂。发送的比特率也变得更高。然而，由于其更高的压缩效率，总的编码性能仍可以由多重变换方案提高。
在JEM-4.0(即，用于JVET的参考软件,ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索组)中，总共35×3个不可分离二次变换(non-separable secondarytransforms，NSST)用于4x4变换单元尺寸和8x8变换单元尺寸，其中，35是由帧内预测模式指定的变换集的数量，以及3是每个帧内预测模式的不可分离二次变换候选的数量。变换集的值根据下面的表2来推导。
表2.从帧内预测模式到变换集索引的映像
Figure GDA0002190074360000082
Figure GDA0002190074360000091
对于不可分离二次变换，基于变换尺寸，二次变换的尺寸被选择。例如，如果块的宽度(W)和高度(H)都大于4，则8x8的不可分离二次变换被应用。否则，4x4的不可分离二次变换被应用。另外，仅当非零系数的数量大于阈值时，二次变换被应用。如图6所示，描述了在解码器侧选择二次变换的尺寸的示例流程图。在图6中，在步骤610中检测当前变换单元的非零系数(即，nonZeroCoef)的数量是否大于阈值(即，Thr)。如果结果是不正确(即，“否”路径)，则如步骤670所示，不应用不可分离二次变换。如果结果为正确(即，“是”路径)，则在步骤620中从比特流中解析旋转转变换索引(rotational transform index，ROT)(即，ROTidx)。在步骤630中，检测旋转转变换索引(即，ROT idx)是否等于0。如果旋转转变换索引等于0(即，“是”路径)，则如步骤670所示，不应用不可分离二次变换。否则(即，来自于步骤630的“否”路径)，在步骤640中，检测块尺寸是否大于或等于8×8。如果块尺寸大于或等于8×8，(即，来自于步骤640的“是”路径)，则如步骤660所示，应用使用8×8内核的不可分离二次变换。否则(即，来自于步骤640的“否”路径)，如步骤650所示，应用使用4×4内核的不可分离二次变换。当不可分离二次变换被应用时，对变换系数块的左上R×S区域执行不可分离变换，其中R相当于min(8,W)(即，8和W中的最小值)以及S相当于min(8,H)(即，8和H中的最小值)。上述变换选择规则被应用于亮度分量和色度分量。二次变换的内核尺寸依赖于当前编解码块尺寸。对于大于8x8的块，8x8的不可分离二次变换总是被应用。如JVET-E0047(H.Jang,et al.,“Adaptive NSST Kernel Size Selection,”Joint Collaborative Teamon Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,5th Meeting:Geneva,CH,12–20January,2017,Document:JVET-E0047)中所公开，更大块可以具有存在于低频区域的非零参数，例如4x4子块区域。因此，最佳二次变换不总是8x8的不可分离二次变换。
更一般性的不可分离二次变换选择方法可以进一步提高编解码性能。图7中显示了在解码器侧选择大于8x8的块的二次变换内核尺寸的示例性流程图。本流程图对应于基于图6中的流程图而修改的流程图。当步骤640的测试结果为正确(即，“是”路径)时，如步骤710所示，解析不可分离二次变换内核尺寸标志(即，nsst_krnl_size_flag)。在步骤720中，检测不可分离二次变换内核尺寸标志nsst_krnl_size_flag的值。如果nsst_krnl_size_flag等于0，则如步骤660所示，应用使用8×8内核的不可分离二次变换。如果nsst_krnl_size_flag等于1，则如步骤650所示，应用使用4×4内核的不可分离二次变换。
根据不可分离二次变换解码处理，初级变换被应用于输入块以形成初级变换块。在图6中，如步骤650所示，当具有4×4内核的不可分离二次变换被选择以用于初级变换块时，初级变换块的左上4×4子块被转换成16×1的一维(one-dimensional，1D)系数向量。二次变换随后被选择并应用于一维系数向量。随后，根据扫描顺序，二次变换系数向量被转换回二维(two dimensional，2D)二次变换4×4块。随后，该二次变换4×4块用于替代初级变换块的左上4×4子块，以形成不可分离二次变换改进的变换块，并且后续编解码处理(例如，量化和熵编码)被应用于不可分离二次变换改进的变换块。在图6中，如步骤660所示，当具有8×8内核的不可分离二次变换被选择以用于初级变换块(8x8或更大)，初级变换块的左上8×8子块被转换成64×1的一维系数向量。二次变换随后被选择并应用于一维系数向量。随后，根据扫描顺序，二次变换系数向量被转换回二维二次变换8×8块。随后，该二次变换8×8块被用于替代初级变换块的左上8×8子块，以形成不可分离二次变换改进的变换块。
然而，如在JVET-E0047中所报导，选择大于8x8的块的不可分离二次变换内核尺寸可以提高编解码增益到一定程度，但是引入的急剧的编解码时间增加。在JVET-E0047中，一标志总是用于显性地发送用于大于8x8的块的不可分离二次变换内核尺寸，这限制了压缩率(BD率)增强，并且需要额外的率失真优化(Rate-Distortion Optimization，RDO)检测。推导出最佳不可分离二次变换内核尺寸的隐性方法同样在JVET-E0047中被提出，以降低与额外标志相关的位元速率，以及降低所需的运算量。在JEM-4.0中，当当前变换单元具有两个或更多个非零系数时，不可分离二次变换语法被发送。仅对变换系数块的左上R×S区域执行不可分离二次变换，其中，R相当于min(8,W)以及S相当于min(8,H)。
因此，开发方法以进一步提高编解码性能或降低包含增强多重变换或不可分离二次变换的系统的复杂度是必要的。
发明内容
本发明提供了一种由视频编码器或视频解码器执行的包括增强多重变换(enhanced multiple transform，EMT)的视频编码或解码的方法和设备。根据该方法，接收与当前块相关的输入数据，其中，在编码器侧处，该输入数据对应于由正向变换处理所处理的当前块，以及在解码器侧处，该输入数据对应于由反向变换处理所处理的当前系数块。确定多个变换集，其中每个变换集包括一个或多个变换候选，并且至少一个变换集包括多个变换候选。从该多个变换集中确定第一变换集，以在水平方向上应用于位于该编码器侧处的该当前块，或应用于位于该解码器侧处的该当前系数块。从该多个变换集中，确定第二变换集，以在垂直方向上应用于位于该编码器侧处的该当前块，或应用于位于该解码器侧处的该当前系数块。至少从第一变换集或已减少第一变换集中选择第一变换，或从第二变换集或已减少第二变换集中选择第二变换。已减少第一变换集比第一变换集具有更少的变换候选，以及已减少第二变换集比第二变换集具有更少的变换候选。在该编码器侧处，根据该当前块、该第一变换和该第二变换生成该当前系数块，或在解码器侧处，根据该当前系数块、第一变换和第二变换恢复该当前块。
在一实施方案中，如果该当前块的水平尺寸小于或等于第一阈值，则该第一变换是从该已减少第一变换集中选择的，或如果该当前块的垂直尺寸小于或等于该第一阈值，则该第二变换是从已减少第二变换集中选择的。例如，如果该当前块的水平尺寸小于或等于4，则该已减少第一变换集由一个变换候选组成，或如果该当前块的垂直尺寸小于或等于4，则该已减少第二变换集由一个变换候选组成。
在另一实施例中，如果该当前块的水平尺寸大于或等于第二阈值，则该第一变换是从该已减少第一变换集中选择的，或如果该当前块的垂直尺寸大于或等于该第二阈值，则该第二变换是从该已减少第二变换集中选择的。例如，如果该当前块的水平尺寸大于或等于64，则该已减少第一变换集由一个变换候选组成，或如果该当前块的垂直尺寸大于或等于64，则该已减少第二变换集由一个变换候选组成。
在又一实施例中，如果该当前块的像素总数小于或等于第一阈值，则该第一变换是从该已减少第一变换集中选择的，以及该第二变换是从该已减少第二变换集中选择的。例如，如果该当前块的该像素总数小于或等于16，则该已减少第一变换集由一个变换候选组成，且该已减少第二变换集由一个变换候选组成。
在又一实施例中，如果该当前块的像素总数大于或等于第二阈值，则该第一变换是从该已减少第一变换集中选择的，以及该第二变换是从该已减少第二变换集中选择的。例如，如果该当前块的像素总数大于或等于4096，则该已减少第一变换集由一个变换候选组成，且该已减少第二变换集由一个变换候选组成。
本发明提供了一种编码视频数据的方法和装置，包括不可分离二次变换(Non-Separable Secondary Transform，NSST)。根据该方法，接收对应于被编码的视频数据块和预测子之间的差异的预测残差块。将第一变换应用于该预测残差块以生成第一二维(two-dimensional，2D)系数块。确定该第一二维系数块的部分块中的非零第一系数的总数，其中，该第一二维系数块的部分块小于该第一二维系数块。如果该第一二维系数块的该部分块中的非零第一系数的总数满足目标条件：将该第一二维系数块转换为第一一维(one-dimensional，1D)系数向量；将第二变换应用于该第一一维系数向量的至少部分，以生成第二一维系数向量，其中该第二变换对应于不可分离变换；根据系数扫描顺序，将该第二一维系数向量转换为第二二维系数块；以及将该第二二维系数块作为最终二维系数块。如果该第一二维系数块的该部分块中的非零第一系数的总数不满足目标条件：将该第一二维系数块作为该最终二维系数块。目标条件可以对应于在该第一二维系数块的部分块中的非零第一系数的总数大于阈值。
在一实施例中，该第一二维系数块的该部分块可以对应于该第一二维系数块的左上MxN块，以及其中M是小于该第一二维系数块的宽度的一个正整数以及N是小于该第一二维系数块的高度的一个正整数。例如，该M和N的从由4、8和16组成的组中被选择的。
在另一实施例中，该第一二维系数块的该部分块不包括位于该第一二维系数块的左上角的低频系数(DC系数)。
在另一实施例中，该预测残差块包括一个亮度块以及一个或多个色度块，以及一个二维亮度系数块以及一个或多个二维色度系数块被生成，其中确定非零第一系数的总数仅计数与该一个或多个二维色度系数块相关的多个非零高频(AC)系数。例如，确定该非零第一系数的总数仅计数该一个或多个二维色度系数块中的每个的多个非零高频(AC)系数以及选择非零高频(AC)系数的最大数量作为该非零第一系数的总数。
本发明提供了一种视频解码方法和装置，包括不可分离二次变换(Non-SeparableSecondary Transform，NSST)。根据该方法，接收对应于正在解码的视频数据块与预测子之间的差的最终二维(two-dimensional，2D)系数块。确定该最终二维系数块的部分块中的非零第一系数的总数，其中，该最终二维系数块的该部分块小于该最终二维系数块。如果该最终二维系数块的该部分块中的非零第一系数的总数满足目标条件，则将该最终二维系数块转换为第一一维(one-dimensional，1D)系数向量，将第一变换应用于该第一一维系数向量的至少部分，以生成第二一维系数向量，其中该第一变换对应于不可分离变换。根据系数扫描顺序，将该第二一维系数向量转换为第一二维系数块，将第二变换应用于该第一二维系数块，以生成第二二维系数块，根据该第二二维系数块恢复视频数据块。如果该最终二维系数块的该部分块中的非零第一系数的总数不满足目标条件，则将该第二变换应用于该最终二维系数块，以生成第三二维系数块，以及根据该第三二维系数块恢复该视频数据块。
在一实施例中，该目标条件对应于在该最终二维系数块的部分块中的非零第一系数的总数大于阈值。该最终二维系数块的部分块对应于该最终二维系数块的左上MxN块，以及其中M是小于该最终二维系数块的宽度的一个正整数以及N是小于该最终二维系数块的高度的一个正整数。例如，该M和N从由4、8和16组成的组中被选择。
在另一实施例中，该最终二维系数块的部分块不包括位于该最终二维系数块的左上角的DC系数。
在又一实施例中，该最终二维系数块对应于一个二维亮度系数块以及一个或多个二维色度系数块，以及其中该非零第一系数的总数仅计数与该一个或多个二维色度系数块相关的非零AC系数。例如，该确定非零第一系数的总数仅计数用于每个该一个或多个二维色度系数块的非零AC系数以及选择非零AC系数的最大数量作为非零第一系数的总数。
本发明提供了另一种通过视频编码器和解码器执行的包括增强多重变换的视频编码和解码方法和装置。根据该方法，接收与当前块相关的输入数据，其中该输入数据对应于对应于该当前块与预测子之间的差的二维(two-dimensional，2D)系数块。确定该二维系数块的至少部分中的非零第一系数的总数。仅当在该二维系数块的该至少部分中的非零第一系数的总数大于阈值时，在编码器侧处，发送增强多重变换标志和一个或多个增强多重变换索引中的至少一个，或在解码器侧处，解析该增强多重变换标志和该一个或多个增强多重变换索引中的至少一个，其中，该阈值大于或等于1。如果该增强多重变换标志被发送，则具有第一标志值的该增强多重变换标志指示增强多重变换不被应用于该当前块；以及具有第二标志值的该增强变换标志指示该增强多重变换被应用于该当前块。如果该一个或多个增强多重变换索引被发送，则与由该一个或多个增强多重变换索引指示与水平变换和垂直变换相关的增强多重变换被应用于该当前块。
在一实施例中，如果增强多重变换标志未被发送，则该增强多重变换标志被认为具有第一标志值以及没有增强多重变换被应用于该当前块。在另一实施例中，如果该一个或多个增强多重变换指示未被发送，则该一个或多个增强多重变换指示被认为是0。
在一实施例中，对应于不同的编码模式、不同的颜色分量、不同的块尺寸、不同的块宽度或不同的块高度选择不同的阈值用于待处理块。在另一实施例中，非零第一系数的总数是基于二维系数块的左上MxN块而计数的，其中M是小于二维系数块的宽度的一个正整数，以及N是小于二维系数块的高度的一个正整数。
附图说明
图1描述了使用高效视频编解码(High Efficiency Video Coding，HEVC)中相应的四叉树将编码树单元分为编码单元和变换单元的子分割。
图2描述了高效视频编解码(High Efficiency Video Coding，HEVC)中将编码单元分割成一个或多个预测单元的八种分割类型。
图3描述了二叉树的可能的分割类型。
图4描述了使用相应的二叉树的块分割的示例。
图5描述了使用相应的四叉树加二叉树的块分割的示例。
图6描述了根据习知的不可分离二次变换处理选择二次变换的尺寸的示例性流程图。
图7描述了根据改进的不可分离二次变换处理选择二次变换的尺寸的示例性流程图。
图8描述了根据本发明方法的包括增强多重边变换的编解码系统的示例性流程图。
图9A描述了根据本发明方法的包括不可分离二次变换的编码系统的示例流程图。
图9B描述了根据本发明方法的包括不可分离二次变换的解码系统的示例流程图。
图10描述了根据本发明方法的包括增强多重边变换的编解码系统的示例流程图。
具体实施方式
以下描述是执行本发明的最佳预期模式。该描述是为了阐述本发明一般原理，而不应该起限制意义。本发明的保护范围应当视权利要求所界定为准。
如上所述，本发明旨在提高编解码效率或降低与增强多重变换(enhancedmultiple transform，EMT)和不可分离二次变换(non-separable secondary transforms，NSST)的复杂度。
对于增强多重变换，当前存在选择以分别用于水平方向和垂直方向的两种不同的变换被选择。因此，除了增强多重变换标志之外，每个方向的额外的标志或索引被需要以指示哪种变换被使用。然而，对于较小的编码单元，所需的辅助信息变得昂贵。另一方面，对于较大的编码单元，预测误差的特性可以不如较小的编码单元中的一样复杂。为了提高增强多重变换的性能，在本发明中，公开了基于尺寸的增强多重变换。例如，对于较小的编码单元，仅有一个或两个变换可以被选择以减少所需的辅助信息。对于较大的编码单元，增强多重变换中的候选的数量可以被减少以移除增强多重变换中无用的候选。在一实施例中，如果在一个方向上编码单元的尺寸小于或等于第一特定阈值，则在该方向上增强多重变换中的候选的数量被减少。例如，如果当前编码单元的水平尺寸小于或等于4，则在水平方向上增强多重变换中的候选的数量从2被减少到1，和/或如果当前编码单元的垂直尺寸小于或等于4，则在垂直方向上增强多重变换中的候选的数量从2被减少到1。在另一实施例中，如果编码单元尺寸在一个方向上大于或等于第二特定阈值，则增强多重变换中的候选的数量在该方向上被减少。例如，如果当前编码单元的水平尺寸大于或等于64，则在水平方向上增强多重变换中的候选的数量从2被减少到1，和/或如果当前编码单元的垂直尺寸大于或等于64，则在垂直方向上增强多重变换中的候选的数量从2被减少到1。在一实施例中，如果编码单元中的像素数量小于或等于第三特定阈值，则增强多重变换中的候选的数量被减少。例如，如果当前编码单元中的像素数量小于或等于16，则在水平方向上增强多重变换中的候选的数量从4被减少到1，并且在垂直方向上增强多重变换中的候选的数量从4被减少到1。如上该，由于每个水平方向和垂直方向中有两个候选，因此存在4个候选可用于每个水平与垂直对。在另一实施例中，如果编码单元中的像素数量大于或等于第四特定阈值，则增强多重变换中的候选的数量被减少。例如，如果当前编码单元中的像素数量大于或等于4096，则在水平方向上增强多重变换中的候选的数量从4被减少到1，并且在垂直方向上增强多重变换中的候选的数量从4被减少到1。在上述的实施例中，增强多重变换中的候选的数量是否被减少取决于当前编码单元的边长(宽度或高度)或当前编码单元的面积，然而，这两个约束可以被结合到一起。
在JEM-5.0中，对于增强多重变换，增强多重变换标志被发送以指示当非零系数存在时增强多重变换是否被应用。如果标志为真，则增强多重变换索引被发送。为了降低增强多重变换语法开销，根据本发明方法的增强多重变换标志和增强多重变换索引依赖于变换单元系数而被有条件地发送。在一实施例中，非零系数的数量用作增强多重变换索引发送的条件。例如，如果增强多重变换标志为真，对于帧间块或帧内块，仅当非零系数的数量大于阈值时，增强多重变换索引被发送。如果增强多重变换索引没有被发送，则增强多重变换索引被推断为0。阈值可以是1、2或3。对于不同的块模式(例如，帧间模式或帧内模式)、不同分量或不同块尺寸(块尺寸可以由块宽度、块高度、或块中的像素数量来指示)，阈值可以不同。例如，对于更小的变换单元的阈值可以大于更大的变换单元的阈值。又例如，对于更小的变换单元的阈值可以小于更大的变换单元的阈值。多个增强多重变换索引可以用于列(水平)变换和行(垂直)变换。不同阈值可以用于列/行变换。阈值可以依赖于变换单元宽度或变换单元高度。例如，对于变换单元，th1是列变换阈值，而另一个阈值th2是行变换阈值。如果非零系数的数量大于th1，而小于th2，则列变换增强多重变换索引被发送，并且行变换增强多重变换索引被推断。
在另一实施例中，根据非零系数的数量，增强多重变换标志被发送。仅当非零系数的数量大于阈值时，增强多重变换标志被发送。如果增强多重变换标志未被发送，则增强多重变换标志被推断为假。这种方法可以仅被应用于帧内变换单元，仅被应用于帧间变换单元，或应用于各种变换单元。
在本发明的一实施例中，对于与非零系数的数量相关的增强多重变换语法，非零系数可以是整个变换单元的非零系数或仅是左上MxN块的非零系数。M和N可以是4、8、或16。DC系数(即，左上系数)可以从计数非零系数的数量中被排除。例如，仅非零AC系数被计数以对于非零系数的数量。
在JEM-5.0中，对于不可分离二次变换，当非零系数的数量大于阈值时不可分离二次变换索引被发送以用于帧内变换单元。对于不可分离二次变换中的非零系数的数量，整个变换单元的非零系数被计算。在本发明的一实施例中，提出了仅计数当前变换单元的左上MxN块的非零系数。由于仅对当前变换单元的左上区域(即，左上MxN块)执行不可分离二次变换，因此如果在当前变换单元的左上区域不存在非零系数，则不需要执行不可分离二次变换操作。M和N可以是4、8、或16。在另一实施例中，DC系数(即左上系数)可以从计数非零系数的数量中被排除。例如，仅整个变换单元的非零AC系数被计数，或仅左上8x8块的非零AC系数被计数。
在JEM-5.0中，不可分离二次变换索引被单独发送以用于亮度分量和色度分量。对于亮度块和色度块的阈值可以不同。由于色度纹理比亮度纹理更加平滑，其通常具有更小的AC系数。因此，在本发明的一实施例中，为了减小不可分离二次变换索引，仅色度AC系数被计数和发送。
在JEM-5.0中，不同颜色分量的非零系数的数量被一起计数，以用于决定颜色分量的不可分离二次变换索引。在本发明的一实施例中，两个颜色分量的非零系数的最大数量用于不可分离二次变换索引编解码。
图8阐述了根据本发明方法的包括增强多重变换的编解码系统的示例性流程图。本流程图中所示的步骤可以被实现为编码器侧或解码器侧的一个或多个处理器(例如，一个或多个CPU)中可执行的程序代码。本流程图中所示的步骤还可以基于诸如用于执行流程图中的步骤的一个或多个电子设备或处理器之类的计算机硬件来实现。根据本方法，在步骤810中，接收与当前图像相关的输入数据，其中在编码器侧处，输入数据对应于由正向变换处理所处理的当前块，以及在解码器侧处，输入数据对应于由反向变换处理所处理的当前系数块。例如，在编码器侧，输入数据可以对应于由正向变换所处理以获得变换块的预测残差块，或者输入资料可以对应于与预测残差相关的变换块，以及待反向变换以恢复预测残差的块的变换块。在步骤820中，确定多个变换集，其中，每个变换集包括一个或多个变换候选，以及至少一个变换集包括多个变换候选。在步骤830中，从多个变换集中确定第一变换集，以在水平方向上应用于位于编码器侧处的当前块，或应用于位于解码器侧处的当前系数块。在步骤840中，从多个变换集中确定第二变换集，以在垂直方向上应用于位于编码器侧处的当前块，或应用于位于解码器侧处的当前系数块。在步骤850中，基于当前块尺寸，从第一变换集或已减少第一变换集中至少选择第一变换，或从第二变换集或已减少第二变换集中选择第二变换，其中，已减少第一变换集比第一变换集具有更少的候选，以及已减少第二变换集比第二变换集具有更少的候选。在步骤860中，在编码器侧处，根据当前块、第一变换和第二变换，生成当前系数块，或在解码器侧处，根据当前系数块、第一变换和第二变换，恢复当前块。
图9A描述了根据本发明方法的包括不可分离二次变换的编码系统的示例性流程图。根据本方法，在步骤910a中，接收对应于正在编码的视频数据块和预测子之间的差的预测残差块。在步骤920a中，将第一变换应用于预测残差块，以生成第一二维系数块。在步骤930a中，确定第一二维系数块的部分块中的非零第一系数的总数，其中，第一二维系数块的部分块小于第一二维系数块。在步骤940a中，检测第一二维系数块的部分块中的非零第一系数的总数是否满足目标条件。如果满足目标条件(即，来自于步骤940a的“是”路径)，则执行步骤950a至步骤980a。否则(即，来自于步骤940a的“否”路径)执行步骤990a。在步骤950a中，将第一二维系数块转换为第一一维(one-dimensional，1D)系数向量。在步骤960a中，将第二变换应用于第一一维系数向量的至少部分，以生成第二一维系数向量，其中第二变换对应于不可分离变换。在步骤970a中，根据系数扫描顺序，将第二一维系数向量转换为第二二维系数块。在步骤980a中，将第二二维系数块作为最终二维系数块。在步骤990a中，将第一二维系数块作为最终二维系数块。
图9B描述了根据本发明方法的包括不可分离二次变换解码系统的示例性流程图。根据本方法，在步骤910b中，接收对应于正在解码的视频数据块和预测子之间的差的最终二维(two-dimensional，2D)系数块。在步骤920b中，确定最终二维系数块的部分块中的非零第一系数的总数，其中，最终二维系数块的部分块小于最终二维系数块。如在本领域中所知，解码器可以从接收到的比特流中汇出量化的变换系数。因此，解码器能知道非零系数的数量。在步骤930b中，检测最终二维系数块的部分块中的非零第一系数的总数是否满足目标条件。如果满足目标条件(即，来自于步骤930b的“是”路径)，则执行步骤940b至步骤980b。否则(即，来自于步骤930b的“否”路径)则执行步骤990b至步骤995b。在步骤940b中，将最终二维系数块转换为第一一维(one-dimensional，1D)系数向量。在步骤950b中，将第一变换应用于第一一维系数向量的至少部分，以生成第二一维系数向量，其中，第一变换对应于不可分离变换。在步骤960b中，根据系数扫描顺序，将第二一维系数向量转换为第一二维系数块。在步骤970b中，将第二变换应用于第一二维系数块，以生成第二二维系数块。在步骤980b中，根据第二二维系数块恢复视频数据块。在步骤990b中，将第二变换应用于最终二维系数块，以生成第三二维系数块。在步骤995b中，根据第三二维系数块恢复视频数据块。在本实施例中，不可分离二次变换的开启和关闭的操作依赖于非零系数的数量。如在本领域中所知，当不可分离二次变换处于开启时，解码器需要解析相关的不可分离二次变换信息，并执行不可分离二次变换。
图10描述了根据本发明另一方法的包括增强多重变换的编解码系统的示例性流程图。根据本方法，在步骤1010中，接收与当前块相关的输入数据，其中，输入数据对应于当前块和预测子之间的差的二维系数块。在步骤1020中，确定二维系数块的至少部分中的非零第一系数的总数。例如，非零第一系数可以为整个变换单元的非零系数，或仅为变换单元的左上MxN块的非零系数。在步骤1030中，仅当二维系数块的至少部分中的非零第一系数的总数大于阈值时，在编码器侧处，发送增强多重变换标志和对应于选择的变换的一个或多个增强多重变换索引中的至少一个，或在解码器侧处，从比特流中解析增强多重变换标志和对应于选择的变换的一个或多个增强多重变换索引中的至少一个，其中，阈值大于或等于1，其中，如果增强多重变换标志被发送，具有第一标志值的增强多重变换标志指示增强多重变换不被应用于当前块；以及具有第二标志值的增强多重变换标志指示增强多重变换被应用于当前块，以及如果对应于选择的变换的一个或多个增强多重变换索引被发送，则与由一个或多个增强多重变换索引所指示的水平变换和垂直变换相关的增强多重变换被应用于当前块。
所示的流程图旨在说明根据本发明的视频编解码的一个示例。在不脱离本发明的精神的情况下，本领域技术人员可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本公开中，已经使用特定语法和语义以阐明实现本发明实施例的示例。本领域技术人员在不脱离本发明的精神的情况下可以通过相同意义的语法或语义进行替换。
上述说明，使得本领域的本领域技术人员可以在特定应用程序的内容及其需求中实施本发明。对本领域技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域技术人员理解的是，本发明可以被实现。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的一个或多个电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述之处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(field programmable gate array，FPGA)所执行的若干函数。根据本发明，通过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (32)

1.一种编码或解码视频数据的方法，其特征在于，该方法包括：
接收与当前块相关的输入数据，其中，在编码器侧处，该输入数据对应于由正向变换处理所处理的当前块，以及在解码器侧处，该输入数据对应于由反向变换处理所处理的当前系数块；
确定多个变换集，其中每个变换集包括一个或多个变换候选，并且至少一个变换集包括多个变换候选；
从该多个变换集中确定第一变换集，以在水平方向上应用于位于该编码器侧处的该当前块，或应用于位于该解码器侧处的该当前系数块；
从该多个变换集中确定第二变换集，以在垂直方向上应用于位于该编码器侧处的该当前块，或应用于位于该解码器侧处的该当前系数块；
基于该当前块的尺寸，从该第一变换集或已减少第一变换集中选择第一变换、从该第二变换集或已减少第二变换集中选择第二变换，或者从该第一变换集或已减少第一变换集中选择该第一变换且从该第二变换集或已减少第二变换集中选择该第二变换，其中，该已减少第一变换集比该第一变换集具有更少的变换候选以及该已减少第二变换集比该第二变换集具有更少的变换候选；以及
在该编码器侧处，根据该当前块、该第一变换和该第二变换生成该当前系数块，或在解码器侧处，根据该当前系数块、第一变换和第二变换恢复该当前块。
2.如权利要求1所述的编码或解码视频数据的方法，其特征在于，如果该当前块的水平尺寸小于或等于第一阈值，则该第一变换是从该已减少第一变换集中选择的，或如果该当前块的垂直尺寸小于或等于该第一阈值，则该第二变换是从已减少第二变换集中选择的。
3.如权利要求2所述的编码或解码视频数据的方法，其特征在于，如果该当前块的水平尺寸小于或等于4，则该已减少第一变换集由一个变换候选组成，或如果该当前块的垂直尺寸小于或等于4，则该已减少第二变换集由一个变换候选组成。
4.如权利要求1所述的编码或解码视频数据的方法，其特征在于，如果该当前块的水平尺寸大于或等于第二阈值，则该第一变换是从该已减少第一变换集中选择的，或如果该当前块的垂直尺寸大于或等于该第二阈值，则该第二变换是从该已减少第二变换集中选择的。
5.如权利要求4所述的编码或解码视频数据的方法，其特征在于，如果该当前块的水平尺寸大于或等于64，则该已减少第一变换集由一个变换候选组成，或如果该当前块的垂直尺寸大于或等于64，则该已减少第二变换集由一个变换候选组成。
6.如权利要求1所述的编码或解码视频数据的方法，其特征在于，如果该当前块的像素总数小于或等于第一阈值，则该第一变换是从该已减少第一变换集中选择的，以及该第二变换是从该已减少第二变换集中选择的。
7.如权利要求6所述的编码或解码视频数据的方法，其特征在于，如果该当前块的该像素总数小于或等于16，则该已减少第一变换集由一个变换候选组成，且该已减少第二变换集由一个变换候选组成。
8.如权利要求1所述的编码或解码视频数据的方法，其特征在于，如果该当前块的像素总数大于或等于第二阈值，则该第一变换是从该已减少第一变换集中选择的，以及该第二变换是从该已减少第二变换集中选择的。
9.如权利要求8所述的编码或解码视频数据的方法，其特征在于，如果该当前块的像素总数大于或等于4096，则该已减少第一变换集由一个变换候选组成，且该已减少第二变换集由一个变换候选组成。
10.一种用于编码或解码视频数据的装置，其特征在于，该装置包括一个或多个电子电路或处理器，被配置为：
接收与当前块相关的输入数据，其中，在编码器侧处，该输入数据对应于由正向变换处理所处理的当前块，以及在解码器侧处，该输入数据对应于由反向变换处理所处理的当前系数块；
确定多个变换集，其中每个变换集包括一个或多个变换候选，并且至少一个变换集包括多个变换候选；
从该多个变换集中确定第一变换集，以在水平方向上应用于位于该编码器侧处的该当前块，或应用于位于该解码器侧处的该当前系数块；
从该多个变换集中，确定第二变换集，以在垂直方向上应用于位于该编码器侧处的该当前块，或应用于位于该解码器侧处的该当前系数块；
基于该当前块的尺寸，从该第一变换集或已减少第一变换集中选择第一变换、从该第二变换集或已减少第二变换集中选择第二变换，或者从该第一变换集或已减少第一变换集中选择该第一变换且从该第二变换集或已减少第二变换集中选择该第二变换，其中，该已减少第一变换集比该第一变换集具有更少的变换候选以及该已减少第二变换集比该第二变换集具有更少的变换候选；以及
在该编码器侧处，根据该当前块、该第一变换和该第二变换生成该当前系数块，或在解码器侧处，根据该当前系数块、第一变换和第二变换恢复该当前块。
11.一种编码视频数据的方法，包括不可分离二次变换，其特征在于，该方法包括：
接收对应于正在编码的视频数据块和预测子之间的差的预测残差块；
将第一变换应用于该预测残差块以生成第一二维系数块；
确定该第一二维系数块的部分块中的非零第一系数的总数，其中，该第一二维系数块的部分块小于该第一二维系数块；
如果该第一二维系数块的该部分块中的非零第一系数的总数满足目标条件，则：
将该第一二维系数块转换为第一一维系数向量；
将第二变换应用于该第一一维系数向量的至少一部分，以生成第二一维系数向量，其中该第二变换对应于不可分离变换；
根据系数扫描顺序，将该第二一维系数向量转换为第二二维系数块；以及
将该第二二维系数块作为最终二维系数块；以及
如果该第一二维系数块的该部分块中的非零第一系数的总数不满足目标条件，则：
将该第一二维系数块作为该最终二维系数块。
12.如权利要求11所述的编码视频数据的方法，其特征在于，该目标条件对应于该第一二维系数块的该部分块中的非零第一系数的总数大于阈值。
13.如权利要求11所述的编码视频数据的方法，其特征在于，该第一二维系数块的该部分块对应于该第一二维系数块的左上MxN块，其中M是小于该第一二维系数块的宽度的一个正整数，以及N是小于该第一二维系数块的高度的一个正整数。
14.如权利要求13所述的编码视频数据的方法，其特征在于，该M和N是从由4、8和16组成的组中选择的。
15.如权利要求11所述的编码视频数据的方法，其特征在于，该第一二维系数块的该部分块不包括位于该第一二维系数块的左上角的低频系数。
16.如权利要求11所述的编码视频数据的方法，其特征在于，该预测残差块包括一个亮度块以及一个或多个色度块，以及一个二维亮度系数块以及一个或多个二维色度系数块被生成，其中确定非零第一系数的总数的步骤仅计数与该一个或多个二维色度系数块相关的多个非零高频系数。
17.如权利要求16所述的编码视频数据的方法，其特征在于，确定该非零第一系数的总数的步骤仅计数该一个或多个二维色度系数块中的每个的多个非零高频系数以及选择非零高频系数的最大数量作为该非零第一系数的总数。
18.一种用于编码视频数据的装置，其特征在于，该装置包括一个或多个电子电路或处理器，被配置为：
接收对应于正在编码的视频数据块和预测子之间的差的预测残差块；
将第一变换应用于该预测残差块以生成第一二维系数块；
确定该第一二维系数块的部分块中的非零第一系数的总数，其中，该第一二维系数块的部分块小于该第一二维系数块；
如果该第一二维系数块的该部分块中的非零第一系数的总数满足目标条件，则：
将该第一二维系数块转换为第一一维系数向量；
将第二变换应用于该第一一维系数向量的至少部分，以生成第二一维系数向量，其中该第二变换对应于不可分离变换；
根据系数扫描顺序，将该第二一维系数向量转换为第二二维系数块；以及
将该第二二维系数块作为最终二维系数块；以及
如果该第一二维系数块的该部分块中的非零第一系数的总数不满足目标条件，则：
将该第一二维系数块作为该最终二维系数块。
19.一种解码视频数据的方法，包括不可分离二次变换，其特征在于，该方法包括：
接收对应于正在解码的视频数据块与预测子之间的差的最终二维系数块；
确定该最终二维系数块的部分块中的非零第一系数的总数，其中，该最终二维系数块的该部分块小于该最终二维系数块；
如果该最终二维系数块的该部分块中的非零第一系数的总数满足目标条件，则：
将该最终二维系数块转换为第一一维系数向量；
将第一变换应用于该第一一维系数向量的至少部分，以生成第二一维系数向量，其中该第一变换对应于不可分离变换；
根据系数扫描顺序，将该第二一维系数向量转换为第一二维系数块；
将第二变换应用于该第一二维系数块，以生成第二二维系数块；以及
根据该第二二维系数块恢复视频数据块；以及
如果该最终二维系数块的该部分块中的非零第一系数的总数不满足目标条件，则：
将该第二变换应用于该最终二维系数块，以生成第三二维系数块；以及
根据该第三二维系数块恢复该视频数据块。
20.如权利要求19所述的解码视频数据的方法，其特征在于，该目标条件对应于在该最终二维系数块的该部分块中的非零第一系数的总数大于阈值。
21.如权利要求19所述的解码视频数据的方法，其特征在于，该最终二维系数块的该部分块对应于该最终二维系数块的左上MxN块，以及其中M是小于该最终二维系数块的宽度的一个正整数，以及N是小于该最终二维系数块的高度的一个正整数。
22.如权利要求21所述的解码视频数据的方法，其特征在于，该M和N是从由4、8和16组成的组中被选择的。
23.如权利要求19所述的解码视频数据的方法，其特征在于，该最终二维系数块的该部分块不包括位于该最终二维系数块的左上角的低频系数。
24.如权利要求19所述的解码视频数据的方法，其特征在于，该最终二维系数块对应于一个二维亮度系数块以及一个或多个二维色度系数块，以及其中该确定非零第一系数的总数的步骤仅计数与该一个或多个二维色度系数块相关的多个非零高频系数。
25.如权利要求24所述的解码视频数据的方法，其特征在于，该确定非零第一系数的总数的步骤仅计数用于每个该一个或多个二维色度系数块的非零高频系数以及选择非零高频系数的最大数量作为非零第一系数的总数。
26.一种解码视频数据的装置，其特征在于，该装置包括一个或多个电子电路或处理器，被配置为：
接收对应于正在解码的视频数据块与预测子之间的差的最终二维系数块；
确定该最终二维系数块的部分块中的非零第一系数的总数，其中，该最终二维系数块的该部分块小于该最终二维系数块；
如果该最终二维系数块的该部分块中的非零第一系数的总数满足目标条件，则：
将该最终二维系数块转换为第一一维系数向量；
将第一变换应用于该第一一维系数向量的至少部分，以生成第二一维系数向量，其中该第一变换对应于不可分离变换；
根据系数扫描顺序，将该第二一维系数向量转换为第一二维系数块；
将第二变换应用于该第一二维系数块，以生成第二二维系数块；以及
根据该第二二维系数块恢复视频数据块；以及
如果该最终二维系数块的该部分块中的非零第一系数的总数不满足目标条件，则：
将该第二变换应用于该最终二维系数块，以生成第三二维系数块；以及
根据该第三二维系数块恢复该视频数据块。
27.一种编码或解码视频数据的方法，其特征在于，该方法包括：
接收与当前块相关的输入数据，其中该输入数据对应于该当前块与预测子之间的差的二维系数块；
确定该二维系数块的至少部分中的非零第一系数的总数；
仅当在该二维系数块的该至少部分中的非零第一系数的总数大于阈值时，在编码器侧处，发送增强多重变换标志和一个或多个增强多重变换索引中的至少一个，或在解码器侧处，解析该增强多重变换标志和该一个或多个增强多重变换索引中的至少一个，其中，该阈值大于或等于1；以及
其中如果该增强多重变换标志被发送，则具有第一标志值的该增强多重变换标志指示增强多重变换不被应用于该当前块；以及具有第二标志值的该增强多重变换标志指示该增强多重变换被应用于该当前块；以及
其中如果该一个或多个增强多重变换索引被发送，则与由该一个或多个增强多重变换索引指示与水平变换和垂直变换相关的增强多重变换被应用于该当前块。
28.如权利要求27所述的编码或解码视频数据的方法，其特征在于，如果增强多重变换标志未被发送，则该增强多重变换标志被推断为具有第一标志值，并且增强多重变换不被应用于该当前块。
29.如权利要求27所述的编码或解码视频数据的方法，其特征在于，如果该一个或多个增强多重变换索引未被发送，则该一个或多个增强多重变换索引被推断为0。
30.如权利要求27所述的编码或解码视频数据的方法，其特征在于，不同的阈值被选择以用于对应于不同的编解码模式、不同的颜色分量、不同的块尺寸、不同的块宽度或不同的块高度的多个待处理块。
31.如权利要求27所述的编码或解码视频数据的方法，其特征在于，该非零第一系数的总数是基于该二维系数块的左上MxN块而计数的，其中M是小于该二维系数块的宽度的一个正整数，以及N是小于该二维系数块的高度的一个正整数。
32.一种用于编码或解码视频数据的装置，其特征在于，该装置包括一个或多个电子电路或处理器，被配置为：
接收与当前块相关的输入数据，其中该输入数据对应于该当前块与预测子之间的差的二维系数块；
确定该二维系数块的至少部分中的非零第一系数的总数；
仅当在该二维系数块的该至少部分中的非零第一系数的总数大于阈值时，在编码器侧处，发送增强多重变换标志和一个或多个增强多重变换索引中的至少一个，或在解码器侧处，解析该增强多重变换标志和该一个或多个增强多重变换索引中的至少一个，其中，该阈值大于或等于1；以及
其中如果该增强多重变换标志被发送，则具有第一标志值的该增强多重变换标志指示增强多重变换不被应用于该当前块；以及具有第二标志值的该增强多重变换标志指示该增强多重变换被应用于该当前块；以及
其中如果该一个或多个增强多重变换索引被发送，则与由该一个或多个增强多重变换索引指示与水平变换和垂直变换相关的增强多重变换被应用于该当前块。
CN201880015759.3A 2017-03-16 2018-03-13 编码或解码视频数据的方法和装置 Active CN110419218B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762472001P 2017-03-16 2017-03-16
US62/472,001 2017-03-16
US201762511369P 2017-05-26 2017-05-26
US62/511,369 2017-05-26
PCT/CN2018/078782 WO2018166429A1 (en) 2017-03-16 2018-03-13 Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding

Publications (2)

Publication Number Publication Date
CN110419218A CN110419218A (zh) 2019-11-05
CN110419218B true CN110419218B (zh) 2021-02-26

Family

ID=63523878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880015759.3A Active CN110419218B (zh) 2017-03-16 2018-03-13 编码或解码视频数据的方法和装置

Country Status (6)

Country Link
US (1) US11509934B2 (zh)
EP (2) EP4007277A1 (zh)
CN (1) CN110419218B (zh)
PH (1) PH12019502040A1 (zh)
TW (1) TWI681668B (zh)
WO (1) WO2018166429A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
RU2769944C1 (ru) * 2017-08-04 2022-04-11 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для конфигурирования преобразования для сжатия видео
KR20200138804A (ko) * 2018-03-29 2020-12-10 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 변환 세트
WO2019188466A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 画像処理装置および方法
CN116847081A (zh) 2018-04-01 2023-10-03 Lg电子株式会社 图像解码设备、图像编码设备和用于发送视频信号的设备
KR102030384B1 (ko) * 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치
KR20230159640A (ko) * 2018-07-06 2023-11-21 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
KR102595146B1 (ko) * 2018-09-03 2023-10-26 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코더, 비디오 디코더 및 그에 대응하는 방법
CN110944177B (zh) * 2018-09-21 2024-03-01 华为技术有限公司 视频解码方法及视频解码器，视频编码方法及视频编码器
EP3691264B1 (en) * 2018-10-05 2023-03-08 LG Electronics Inc. Intra prediction-based video coding method using mpm list, and device therefor
WO2020073882A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. Video decoder and corresponding methods
CN116684641A (zh) * 2018-12-06 2023-09-01 Lg电子株式会社 图像编解码方法、存储介质和数据发送方法
WO2020145805A1 (ko) * 2019-01-12 2020-07-16 주식회사 윌러스표준기술연구소 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
US11856196B2 (en) * 2019-01-13 2023-12-26 Lg Electronics Inc. Method and device for processing video signal
WO2020171671A1 (ko) * 2019-02-24 2020-08-27 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
BR112020024331A2 (pt) * 2019-03-03 2021-02-23 Huawei Technologies Co., Ltd. decodificador, e métodos correspondentes que são usados para processo de transformada
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
EP3949414A4 (en) * 2019-04-16 2023-04-12 HFI Innovation Inc. METHODS AND APPARATUS FOR CODING VIDEO DATA WITH ADAPTIVE SECONDARY TRANSFORM SIGNALING
CA3240493A1 (en) 2019-04-16 2020-10-22 Lg Electronics Inc. Transform for matrix-based intra-prediction in image coding
EP3949423A4 (en) 2019-04-16 2023-04-12 HFI Innovation Inc. METHODS AND DEVICES FOR ENCODING VIDEO DATA WITH SECONDARY TRANSFORMATION
CN113841407B (zh) * 2019-04-16 2024-05-10 Lg电子株式会社 基于帧内预测的图像编码中的变换
CN118118665A (zh) 2019-04-16 2024-05-31 Lg电子株式会社 解码设备、编码设备和发送设备
CN113767627B (zh) 2019-04-23 2022-11-25 北京字节跳动网络技术有限公司 基于二次变换的视频处理中的裁剪操作
WO2020228669A1 (en) * 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Selection of secondary transform matrices for video processing
EP3967032A4 (en) 2019-06-07 2022-07-27 Beijing Bytedance Network Technology Co., Ltd. CONDITIONAL SIGNALING OF A REDUCED SECONDARY TRANSFORM FOR VIDEO BIANARY FLOWS
WO2020253642A1 (en) * 2019-06-15 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Block size dependent use of secondary transforms in coded video
KR20210142008A (ko) 2019-06-17 2021-11-23 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
MX2021008601A (es) 2019-06-17 2021-09-21 Lg Electronics Inc Codificacion de video o imagen basado en el mapeo de luma.
KR20210133300A (ko) * 2019-06-19 2021-11-05 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN112135148B (zh) * 2019-06-25 2022-05-10 华为技术有限公司 非可分离变换方法以及设备
CN114208190B (zh) 2019-08-03 2023-12-15 北京字节跳动网络技术有限公司 视频编解码中缩减二次变换的矩阵的选择
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
CN114521326A (zh) * 2019-09-19 2022-05-20 韦勒斯标准与技术协会公司 使用缩放处理的视频信号处理方法及装置
BR112022004724A2 (pt) * 2019-09-20 2022-06-14 Lg Electronics Inc Método de codificação de imagem com base na transformada e dispositivo para o mesmo
CN117579829A (zh) 2019-09-21 2024-02-20 Lg电子株式会社 图像编码/解码设备以及发送数据的设备
CA3156856A1 (en) * 2019-10-04 2021-04-08 Lg Electronics Inc. Transform-based image coding method, and device therefor
CN114007080B (zh) * 2019-12-03 2022-12-23 杭州海康威视数字技术股份有限公司 一种编码、解码方法、装置及其设备
KR20220106209A (ko) * 2019-12-12 2022-07-28 에이치에프아이 이노베이션 인크. 이미지 코딩에서 제한된 2차 변환 및 그의 시그널링을 위한 방법들 및 장치
WO2021128284A1 (zh) * 2019-12-27 2021-07-01 富士通株式会社 二次变换的约束方法及其装置
US11706425B2 (en) * 2020-01-08 2023-07-18 Qualcomm Incorporated Multiple transform set signaling for video coding
JP7360984B2 (ja) * 2020-03-31 2023-10-13 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
US20230099292A1 (en) * 2021-09-29 2023-03-30 Malini MANOCHA Detection and management of dysfunctions in subterranean operations
EP4175296A1 (en) * 2021-10-29 2023-05-03 Ateme Method for image processing and apparatus for implementing the same
WO2024005614A1 (ko) * 2022-07-01 2024-01-04 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045560A (zh) * 2009-10-23 2011-05-04 华为技术有限公司 一种视频编解码方法及设备
WO2015149698A1 (en) * 2014-04-01 2015-10-08 Mediatek Inc. Method of motion information coding
WO2016070808A1 (en) * 2014-11-05 2016-05-12 Mediatek Singapore Pte. Ltd. Method and apparatus of video coding with prediction offset

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011016248A1 (ja) * 2009-08-06 2011-02-10 パナソニック株式会社 符号化方法、復号方法、符号化装置及び復号装置
US20110310976A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
GB2509671C (en) * 2011-10-19 2019-09-25 Kt Corp Encoding and decoding video using skip transform mode
ES2862124T3 (es) 2012-01-03 2021-10-07 Hfi Innovation Inc Procedimiento y aparato para selección de contexto de mapa de significación basada en bloques y de marca de grupo de significación
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
GB2564151A (en) 2017-07-05 2019-01-09 Sony Corp Image data encoding and decoding
CN111492658A (zh) * 2017-12-22 2020-08-04 交互数字Vc控股公司 使用有效多个变换进行视频压缩的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045560A (zh) * 2009-10-23 2011-05-04 华为技术有限公司 一种视频编解码方法及设备
WO2015149698A1 (en) * 2014-04-01 2015-10-08 Mediatek Inc. Method of motion information coding
WO2016070808A1 (en) * 2014-11-05 2016-05-12 Mediatek Singapore Pte. Ltd. Method and apparatus of video coding with prediction offset

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Adaptive NSST Kernel Size Selection;JANG，Hyeongmun et al.;《Joint Video Exploration Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 5th Meeting:Geneva，CH， JVET-E0047》;20170120;1-6 *
Algorithm Description of Joint Exploration Test Model 5(JEM 5);CHEN，Jianle et al.;《Joint Video Exploration Team(JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 5th Meeting:Geneva，CH，12-20 ,JVET-E1001》;20170120;1，26-39 *

Also Published As

Publication number Publication date
PH12019502040A1 (en) 2020-06-15
CN110419218A (zh) 2019-11-05
US11509934B2 (en) 2022-11-22
US20210120269A1 (en) 2021-04-22
EP3586511A1 (en) 2020-01-01
TW201902219A (zh) 2019-01-01
EP3586511B1 (en) 2022-01-05
TWI681668B (zh) 2020-01-01
WO2018166429A1 (en) 2018-09-20
EP3586511A4 (en) 2020-08-12
EP4007277A1 (en) 2022-06-01

Similar Documents

Publication Publication Date Title
CN110419218B (zh) 编码或解码视频数据的方法和装置
US11259025B2 (en) Method and apparatus of adaptive multiple transforms for video coding
CN108605130B (zh) 一种用于对与区块相关的符号进行熵编解码的方法和装置
TWI729459B (zh) 視訊處理系統中發信量化參數的方法以及裝置
AU2011361445B2 (en) Method and apparatus of transform unit partition with reduced complexity
WO2020140876A1 (en) Method and apparatus of luma-chroma separated coding tree coding with constraints
US11272220B2 (en) Boundary forced partition
CN113906737B (zh) 具有分割限制条件的小尺寸编码单元分割方法和装置
TWI749420B (zh) 在區塊分割中條件式編碼或解碼視訊區塊的方法和裝置
WO2020098786A1 (en) Method and apparatus of luma-chroma separated coding tree coding with constraints
US11601647B2 (en) Methods and apparatuses of inter coding for pictures partitioned into subpictures in video coding systems
KR101989160B1 (ko) 영상 부호화 방법 및 장치
CN113632479A (zh) 越界节点视频数据的处理方法及装置
KR101607613B1 (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101761278B1 (ko) 영상 복호화 방법 및 장치
KR101607614B1 (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101606683B1 (ko) 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
TWI761166B (zh) 圖像和視訊編解碼中發信切片分割資訊之方法和裝置
KR101886259B1 (ko) 영상 부호화 방법 및 장치, 및 부호화된 비트스트림을 포함하는 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220524

Address after: Chinese Taiwan jhubei City, Hsinchu County Taiwan Yuan Street No. five 3 floor 7

Patentee after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road Taiwan Hsinchu city China Dusing No. 1

Patentee before: MEDIATEK Inc.