CN110291789B - 用于选择用于对残差块进行编码/解码的编码模式的方法和装置 - Google Patents

用于选择用于对残差块进行编码/解码的编码模式的方法和装置 Download PDF

Info

Publication number
CN110291789B
CN110291789B CN201880011377.3A CN201880011377A CN110291789B CN 110291789 B CN110291789 B CN 110291789B CN 201880011377 A CN201880011377 A CN 201880011377A CN 110291789 B CN110291789 B CN 110291789B
Authority
CN
China
Prior art keywords
encoding
mode
transforms
coding mode
residual block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880011377.3A
Other languages
English (en)
Other versions
CN110291789A (zh
Inventor
F.厄本
T.波里尔
F.莱兰内克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Priority to CN202210149238.5A priority Critical patent/CN114554215A/zh
Priority to CN202210149438.0A priority patent/CN114554216A/zh
Publication of CN110291789A publication Critical patent/CN110291789A/zh
Application granted granted Critical
Publication of CN110291789B publication Critical patent/CN110291789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本原理涉及一种方法和设备1。一种用于对残差块进行编码的方法，包括：‑当根据与第一2D变换有关的编码模式对残差块进行编码被启用时，获得(500)与第一2D变换有关的第一编码模式；‑当根据与第二2D变换有关的编码模式对残差块进行编码被启用时，获得(510)与第二2D变换有关的第二编码模式；以及‑根据所述第一编码模式或所述第二编码模式或这两者对残差块进行编码(530)；该方法的特征在于，启用或禁用(520)根据所述第二编码模式对残差块的编码取决于所述第一编码模式。本原理还涉及用于对图片进行编码/解码的方法和设备。

Description

用于选择用于对残差块进行编码/解码的编码模式的方法和 装置
技术领域
本原理一般地涉及图片/视频编码和解码。具体地但非排他地，本原理的技术领域涉及选择用于对残差数据进行编码/解码的编码模式。
背景技术
本部分旨在向读者介绍技术的各个方面，其可能与下面描述和/或要求保护的本原理的各个方面有关。相信该讨论有助于向读者提供背景信息，以便更好地理解本原理的各个方面。因此，应当理解，要在该角度上阅读这些陈述，而不是将这些陈述作为对现有技术的承认。
在下文中，图片包含特定图片/视频格式的一个或若干个采样(像素值)阵列，其指定与图片(或视频)的像素值有关的所有信息以及例如可以由显示器和/或任何其他设备使用以对图片(或视频)进行可视化和/或解码的所有信息。图片包括以第一采样阵列的形式的至少一个分量，通常为亮度(luma)(或照度(luminance))分量，以及可能地包括以至少一个其他采样阵列的形式的至少一个其他分量，通常为颜色分量。或者，等同地，相同的信息也可以通过颜色采样阵列的集合来表示，诸如传统的三色RGB表示。
像素值通过C个值的矢量来表示，其中C是分量的数量。矢量的每个值用定义像素值的最大动态范围的多个位来表示。
为了对视频序列的图片进行编码，视频压缩方法通常将图片划分成像素块的集合。然后，使用已重建的信息来预测每个块，在当前图片中与先前编码/解码的块相对应。使用当前块的帧内或帧间预测来执行当前块的编码，并且计算与当前块和预测块之间的差相对应的预测残差或“残差块”。然后，例如通过使用诸如DCT(离散余弦变换)或DST(离散正弦变换)类型变换之类的变换来转换所得到的残差块。然后，对经变换的残差块的系数进行量化以及通过熵编码的编码，并传送到解码器。
在HEVC视频压缩标准(“ITU-T H.265 ITU电信标准化部门(10/2014)，H系列：视听和多媒体系统，视听服务基础设施-移动视频编码，高效视频编码，建议书ITU-T H.265”)中，将图片划分成编码树单元(CTU)，其尺寸可以是64×64、128×128或256×256像素。可以使用四叉树划分来进一步细分每个CTU，其中四叉树的每个叶片称为编码单元(CU)。然后，每个CU被给定一些帧内或帧间预测参数。为此，将CU在空间上分割成一个或多个预测单元(PU)，PU可以具有方形或矩形形状。每个PU被分配一些预测信息，诸如例如运动信息和/或空间帧内预测。
根据HEVC视频压缩标准，可以将每个CU进一步细分成方形变换单元(TU)，以用于执行残差块的变换。
四叉树加二叉树(QTBT)编码工具(“联合探索算法描述测试模型3”，文档JVET-C1001_v3，ISO/IEC JTC1/SC29/WG11联合视频探索小组，第3次会议，2015年5月26日至6月1日，日内瓦，CH)提供比HEVC标准的CU/PU/TU布置更灵活的CTU表示。四叉树加二叉树(QTBT)编码工具包括编码树，其中可以以四叉树和二叉树方式两者来分裂编码单元。
在编码器侧通过率失真优化过程来决定CU的分裂，其包括以最小率失真成本确定CTU的QTBT表示。在QTBT表示中，CU具有方形或矩形形状。编码单元的尺寸总是2的幂，并且典型地从4到128。利用QTBT表示，CU不再被分割成PU或TU。利用QTBT表示，在尺寸表达为2的幂的块上执行残差块的变换，并且通常用于方形块的现有可分离变换和这种变换的快速实现方式可被重新使用。
因此，当根据HEVC的CU/PU/TU布置或根据使用QTBT时的CU本身来分裂残差块时，上述残差块可以指明TU。残差块的上述定义仅用于说明性目的而给出，并且不限制本原理的范围，本原理适用于从图片获得的任何残差数据集。
当残差块的大多数能量集中在少数经变换系数上时，对残差块进行变换是有效的。
基于众所周知的DCT(离散余弦变换)和/或DST(离散正弦变换)变换的2D可分离或不可分离变换通常用于视频编码，因为大多数图片能量集中在通过有限数量的有效(significant)经变换系数表示的少数频率上。
例如，建立在HEVC测试模型(C.Rosewarne，B.Bross，M.Naccari，K.Sharman，G.J.Sullivan，“高效视频编码(HEVC)测试模型16(HM 16)编码器描述更新4”)之上的联合探索测试模型(JEM)(关于视频编码的ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11联合协作小组，JCTVC-V1002，第22次会议，2015年10月)定义多个候选编码模式，以用于对残差块的数据进行变换。
这些候选编码模式中的一些(表示为增强型多变换(EMT))通过组合两个1D DCT和/或DST变换(一个针对水平，一个针对垂直)来定义2D可分离变换。
EMT用于针对帧间编码块和帧内编码块两者对残差数据进行编码。
对于帧内残差编码，归因于不同帧内预测模式的不同残差统计，使用表示为DST-VII、DCT-VIII、DST-I和DCT-V的四个1D变换来形成三个变换子集，如表1中所示。首先基于要变换的残差块的帧内预测模式来选择这三个变换子集中的一个，如表2中所指定的那样。
变换集 变换候选
0 DST-VII，DCT-VIII
1 DST-VII，DST-I
2 DST-VII，DCT-V
表1
Figure BDA0002163122390000031
表2
例如，当要变换的残差块的帧内预测模式等于8时，可以使用等于0的针对水平的变换子集索引，即DST-VII或DCT-VIII，并且可以使用等于2的针对垂直的变换子集索引，即DST-VII或DCT-VIII。接下来，对于水平(H)和垂直(V)的经识别变换子集中的每一个，确定两个变换候选中的一个，并且针对水平和垂直两者的经识别变换子集中所确定的变换候选形成编码模式，在下文中表示为EMT模式。在下文中，EMT模式通过表示为EMTidx的索引来指明。
按照先前的示例，DST-VII用于水平变换，并且DCT-VIII用于垂直变换。
在下文中，nbEMTmodes涉及2D可分离变换的最大数量。根据表1，nbEMTmodes＝4并且EMTidx可以等于四个值，例如0、1、2或3，以指示上述2D可分离变换中的每一个。
对于帧间残差编码，在JEM中仅使用一个2D可分离变换，其从DST-VII和DCT-VIII中定义。上述2D可分离变换用于所有帧间模式并且用于水平变换和垂直变换两者。
为了在解码器侧将同一2D可分离变换应用于残差块，EMT需要一些信令。在JEM中，当使用HEVC中的CU/PU/TU布置时，通过CU级别标志(在下文中表示为EMTflag)用信号通知EMT是否适用，并且当残差块(这里为TU)属于EMT启用的CU(EMTflag＝1)时，通过索引EMTidx用信号通知在编码侧为上述残差块(TU)选择的EMT模式。
当EMTflag等于0时，即对于EMT禁用的CU，应用通常的HEVC变换(表示为DCT-II)以对残差块(CU的每个TU)进行编码，并且当EMTflag等于1时，即对于EMT启用的CU，通常的HEVC变换DCT-II被通过EMTidx识别的2D可分离变换所代替。
对于EMT启用的CU内的亮度编码块，用信号通知两个附加标志以识别要使用的1D水平变换和垂直变换。
在当前JEM中定义的一些其他候选编码模式(通常表示为不可分离的二次变换NSST)涉及2D不可分离变换矩阵，每个矩阵定义2D不可分离变换。
当使用CU/PU/TU布置HEVC时，NSST可以仅应用于帧内编码的残差块，例如帧内编码的CU内的TU。但是，NSST也可以在EMT之后，即应用于经变换的残差块。
归因于不同帧内预测模式的不同残差统计，已经定义若干个2D不可分离变换矩阵，并且基于要变换的残差块的帧内预测模式来选择这些2D不可分离变换矩阵中的一个。所选择的2D不可分离变换矩阵定义编码模式，在下文中表示为NSST模式，并且NSST模式通过表示为NSSTidx的索引来识别。
在JEM中，定义若干个变换子集，每个变换子集包括三个2D不可分离变换矩阵。因此，首先基于要变换的残差块的帧内预测模式来选择变换子集，如表3中所指定的那样。
亮度帧内模式 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
变换集索引 0 0 1 2 1 2 1 2 3 4 3 4 3 4 5 5 5 6 6 6 7 7 7 8 9 8 9 8 9 10 11 10 11 10
亮度帧内模式 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67(LM)
变换集索引 11 10 11 10 11 10 9 8 9 8 9 8 7 7 7 6 6 6 5 5 5 4 3 4 3 4 3 2 1 2 1 2 1 0
表3
接下来，从上述所选择的变换子集中确定三个2D不可分离变换矩阵中的一个，并且所确定的2D不可分离变换矩阵形成通过索引NSSTidx识别的NSST模式。
为了在解码器侧将同一2D不可分离变换应用于残差块，NSST需要一些信令。在JEM中，当使用HEVC中的CU/PU/TU布置时，对于每个残差块(对于CU的每个TU)，当上述残差块(CU)中存在多于一个非零系数时，在CU级别通过索引NSSTidx用信号通知NSST是否适用。在未用信号通知NSSTidx时，默认值为零(NSST禁用)。
EMT和NSST定义它们自己的候选编码模式(EMT模式和NSST模式)，其可以与变换跳过模式相互作用(interact)，变换跳过模式被设置为在空间域中对残差块进行去激活变换和直接编码。通过HEVC中的标志Tskip用信号通知变换跳过模式。
如上所述，HEVC为对残差块进行变换提供多个机会，包括EMT、NSST或它们的组合。
但是，对于要变换的给定残差块，需要一个选择处理来确定应当使用那些EMT或NSST候选编码模式中的哪个(或它们的组合)对上述给定残差块进行变换。
图1图示了根据JEM在EMT、NSST和变换跳过模式彼此相互作用时用于选择编码模式以用于对残差块进行编码的方法。
基本上，该方法针对每个候选编码模式连续地评估残差块(这里为要编码的CU内的TU)的编码的率失真成本(RDO成本)，并选择具有最低率失真成本的一个。
如先前所解释的那样，EMT模式通过EMTflag来定义，即在CU级别，启用或不启用使用EMT模式对残差块(CU内的TU)进行变换，并且通过EMTidx为残差块(属于EMT启用的CU的TU)定义特定EMT模式。此外，NSST模式在CU级别通过NSSTidx来定义，NSSTidx定义NSST被启用(NSSTidx≠0)还是禁用(NSSTidx＝0)，并且如果启用，则为残差块(CU内的TU)定义特定NSST模式。
对该方法的所有参数，即EMTflag、EMTidx、nbEMTmodes(EMT模式的最大数量)、NSSTidx、nbNSSTmodes(NSST模式的最大数量)，进行初始化。这里，NSSTidx＝EMTflag＝EMTidx＝Tskip＝0，nbNSSTmodes＝nbEMTmodes＝4。
在步骤110中，模块根据从EMTidx、EMTflag和NSSTidx的当前值确定的编码模式来计算用于对残差块(CU内的TU)进行编码的率失真成本。注意，上述编码模式可以是EMT模式、NSST模式、或EMT模式随后NSST模式，如上所述。如果率失真成本最低(或第一)，则将成本和参数存储为“所选参数”。
接下来，步骤120-步骤190确定参数的当前值的更新，以便启用或禁用EMT模式、NSST模式和变换跳过模式的特定组合。
更准确地说，在步骤120中，模块检查EMTidx值是否严格低于从EMTflag、Tskip和nbEMTmodes值计算的值T。
根据实施例，当EMTflag＝1且Tskip＝0时，即当启用EMT并且禁用TU的跳过模式时，值T等于nbEMTmodes-1。否则，T＝0。
通过以下来计算值T：
((EMTflag&&！Tskip)？nbEMTmodes-1：0)
如果EMTidx值严格低于值T，则在步骤130中，EMTidx值增加1，以便考虑另一EMT模式。步骤110在步骤130之后。
否则，在步骤140中，模块检查Tskip值是否严格低于1。
如果Tskip值严格低于1，则Tskip值增加1(步骤150)，以便考虑Tskip模式用于对残差块进行编码。步骤110在步骤150之后。
否则，在步骤160中，模块检查EMTflag值是否严格低于1。
如果EMTflag值严格低于1，则EMTflag值增加1(步骤170)。步骤110在步骤170之后。
否则，在步骤180中，模块检查NSSTidx值是否严格低于(nbNSSTmodes-1)。
如果NSSTidx值严格低于(nbNSSTmodes-1)，则NSSTidx增加1(步骤190)。步骤110在步骤190之后。
否则，该方法结束并且参数的当前值用于对残差块进行编码。
一旦选择用于残差块(CU的TU)进行编码的编码模式，参数EMTflag、Tskip、EMTidx和NSSTidx的值就应被编码在比特流中(相应地，从比特流解码)，以便在解码侧定义残差块的同一编码模式。
图2示出了用于对编码(相应地，解码)残差块所需的参数进行编码(相应地，解码)的方法的步骤的框图。
在步骤200中，模块检查EMT的使用是否被启用(use-EMT＝1)。注意，use-EMT是存储在HEVC中的SPS(序列参数集)或PPS(图片参数集)中的编码器/解码器的参数。
如果启用EMT，则在步骤210中，模块将EMTflag(用于当前CU)编码到比特流中(相应地，从比特流解码EMTflag)。
否则，在步骤220中，模块将EMTflag设置为等于0。
在步骤230中，模块检查是否EMTflag＝0。
如果EMTflag＝0或者在步骤200之后，则在步骤240中，模块将Tskip值(图1的输出)编码到比特流中(相应地，从比特流F解码EMTflag)。
如果EMTflag＝1(步骤230)，则在步骤250中，模块检查是否Tskip值等于0且EMTflag等于1(即，使用EMT模式对残差块进行编码)。
如果Tskip值等于0且EMTflag等于1，则然后在步骤260中，模块将EMTidx值(图1的输出)编码到比特流中(相应地，从比特流解码)。
否则，步骤270在步骤250之后。
在步骤270中，模块检查Tskip值是否等于0并且NSST的使用是否被启用(use-NSST＝1)。注意，use-NSST是存储在SPS(序列参数集)或PPS(图片参数集)中的编码器/解码器的参数。
如果Tskip值等于0且use-NSST＝1(即，使用NSST模式对残差块进行编码)，则然后在步骤280中，模块将NSSTidx值(图1的输出)编码到比特流中(相应地，从比特流解码)。
否则该处理结束。
根据编码模式的该选择，系统地检查Tskip的值(步骤250、步骤270)，以便在选择跳过模式对残差块进行编码时，禁用EMT或NSST编码模式的使用。因此，应当为要编码的每个残差块(CU的每个TU)用信号通知Tskip标志。此外，EMT模式和NSST模式彼此独立地被选择，允许从所有可能的候选编码模式中穷举搜索最佳编码模式，但是在编码侧具有高复杂度。
发明内容
以下呈现本原理的简要概述，以便提供对本原理的一些方面的基本理解。该概述不是对本原理的广泛概览。其不旨在识别本原理的关键或重要元素。以下概述仅以简化形式呈现本原理的一些方面，作为下面提供的更详细描述的序言。
本原理提出利用一种用于对残差块进行编码的方法来弥补现有技术的至少一个缺点，该方法包括：
-当根据与第一2D变换有关的编码模式对残差块进行编码被启用时，获得与第一2D变换有关的第一编码模式；
-当根据与第二2D变换有关的编码模式对残差块进行编码被启用时，获得与第二2D变换有关的第二编码模式；以及
-根据所述第一编码模式或所述第二编码模式或这两者对残差块进行编码。该方法的特征在于，启用或禁用根据所述第二编码模式对残差块的编码取决于所述第一编码模式。
该方法允许限制整体编码模式，其得到降低的编码侧复杂度与降低且可接受的性能损失。
根据实施例，第一2D变换为2D可分离变换，并且第二2D变换为2D不可分离变换。
根据实施例，当禁用跳过模式时并且当所述第一编码模式属于预定义的候选编码模式集合时，启用根据所述第二编码模式对残差块的编码。
根据实施例，当禁用跳过模式时并且当禁用根据所述第一编码模式对残差块进行编码时，启用根据所述第二编码模式对残差块的编码。
根据实施例，从候选编码模式集合获得(510)所述第二编码模式，和/或根据所述第一编码模式和/或是启用还是禁用根据所述第二编码模式对残差块进行编码来定义所述候选编码模式集合的基数(cardinality)和至少一个候选编码模式。
根据本原理的其他方面，本原理涉及一种用于对图片进行编码/解码的方法/设备，其包括用于根据先前方法对残差块进行编码的步骤，以及一种非临时性存储介质，其携带程序代码的指令以用于当在计算设备上执行所述程序时执行以上方法中至少一个方法的步骤。
根据以下结合附图采取的示例的描述，本原理的特定性质以及本原理的其他目的、优点、特征和使用将变得明显。
附图说明
在附图中，图示了本原理的示例。其示出：
-图1图示了根据JEM在EMT、NSST和变换跳过模式彼此相互作用时用于选择编码模式以用于对残差块进行编码的方法；
-图2示出了用于对编码(相应地，解码)残差块所需的参数进行编码(相应地，解码)的方法的步骤的框图；
-图3是示出其中可以实现本原理的示例性视频编码器的示意性框图；
-图4是示出其中可以实现本原理的示例性视频解码器的示意性框图；
-图5示出了根据本原理的示例的用于对残差块进行编码的方法的步骤的框图；
-图6示出了根据本原理的示例的设备的架构的示例；以及
-图7示出了根据本原理的示例通过通信网络进行通信的两个远程设备。
相似或相同的元素用相同的参考标号来表示。
具体实施方式
在下文中将参考附图更全面地描述本原理，附图中示出了本原理的示例。然而，本原理可以以许多替选形式来实施，并且不应被解释为限于在此阐述的示例。因此，虽然本原理易于有各种修改和替选形式，但是其特定示例在附图中通过示例的方式被示出并且将在此被详细描述。然而，应理解，没有意图将本原理限制于所公开的具体形式，而是相反，本公开要覆盖落入如通过权利要求定义的本原理的精神和范围内的所有修改、等同物和替选。
在此使用的术语仅用于描述具体示例的目的，并且不旨在限制本原理。如在此使用的，单数形式“一(a)”，“一(an)”和“该(the)”旨在也包括复数形式，除非上下文明确地另有指示。还将理解，当在本说明书中使用时，术语“包含(comprises)”、“包含(comprising)”、“包括(include)”和/或“包括(including)”指定存在所述特征、整体、步骤、操作、元素和/或组件，但是不排除存在或添加一个或多个其他特征、整体、步骤、操作、元素、组件和/或其组。此外，当元素被称为“响应”或“连接”于另一元素时，它可以直接响应或连接于其他元素，或者可以存在中间元素。相反，当元素被称为“直接响应”或“直接连接”于其他元素时，不存在中间元素。如在此使用的，术语“和/或”包括一个或多个相关所列项的任何和所有组合，并且可以缩写为“/”。
将理解，尽管可以在此使用术语第一、第二等来描述各种元素，但是这些元素不应被这些术语限制。这些术语仅用于区分一个元素与另一个元素。例如，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素而不脱离本原理的教导。
尽管一些图包括通信路径上的箭头以示出通信的主要方向，但是要理解，通信可以发生在与所示箭头相反的方向上。
关于框图和操作流程图描述一些示例，其中每个框表示电路元件、模块或包括用于实现指定逻辑功能的一个或多个可执行指令的代码的一部分。还应注意，在其他实现方式中，框中标注的功能可以不按所标注的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。
在此对“根据示例”或“在示例中”的引用意指结合示例描述的具体特征、结构或特性可以包括在本原理的至少一个实现方式中。短语“根据示例”或“在示例中”在说明书中各处的出现未必都指代相同的示例，单独或替选的示例也未必与其他示例互斥。
权利要求中出现的参考标号仅作为图示，并且应对权利要求的范围没有限制效果。
虽然没有明确描述，但是本实施例和变型可以以任何组合或子组合而被采用。
本原理针对对视频的图片集合进行编码/解码而被描述，但是扩展到对静止图片进行编码/解码，因为视频的每个图片被顺序地编码/解码，如下所述。
图3是示出其中可以实现本原理的示例性视频编码器300的示意性框图。
传统地，视频编码器300可以包括用于基于块的视频编码的若干个模块，如图3中所示。要编码的图片I被输入到编码器300。编码器300包括用于将图片I分裂成块BLK的细分图片单元，以及用于选择块BLK的编码模式(例如基于率/失真优化)的模式选择单元，这样的模式选择单元包括：
-运动估计模块，用于估计要编码的图片的一个当前块与参考图片之间的运动，
-运动补偿模块，用于使用所估计的运动来预测当前块BLK，
-帧内预测模块，用于空间预测当前块BLK。
模式选择单元递送预测块PRED和要在比特流中编码的对应语法元素，以用于在解码器处执行同一块预测。
然后，从块BLK和预测块PRED获得残差块RES。残差块RES通过被配置为实现本原理的变换处理模块来变换，并且经变换的系数TCOEFF通过量化模块来量化，量化模块递送经量化的残差变换系数QCOEF。
然后，语法元素和经量化的残差变换系数QCOEF被输入到熵编码模块以递送经编码的视频数据。例如，上述经编码的视频数据被存储到存储器中或者被添加到比特流STR以用于例如传送到解码器。
经量化的残差变换系数COEF通过逆量化模块和被配置为实现本原理的逆变换模块来处理，以用于重建残差块RES’。
预测块PRED被添加到重建的残差块RES’，以用于对块进行重建，该块形成重建的当前图片REC。然后，重建的当前图片REC被添加到参考帧存储器，以供稍后用作用于对视频内容的后续图片进行编码的参考图片。
图4是示出其中可以实现本原理的示例性视频解码器400的示意性框图。视频解码器可以包括比特流STR的接收器，该比特流STR代表经编码的图像或视频，包括代表上述图像或视频的至少一个块的经编码的数据，其中上述块已经根据本公开的实施例被编码。视频解码器解析比特流SRT以得到经编码的数据，经编码的数据被传递到熵解码模块，熵解码模块执行熵解码，并且将经量化的系数QCOEF’递送到逆量化模块以及将语法元素递送到预测模块。经量化的系数QCOEF’通过逆量化模块来逆量化，并且逆量化后的系数TCOEFF’通过逆变换模块来逆变换，逆变换模块递送残差块数据RES’。上述逆变换模块被配置为实现本原理。预测模块根据语法元素、并且在当前块已被帧间预测的情况下使用运动补偿模块或者在当前块已被空间预测的情况下使用帧内预测模块，来构建预测块PRED。从通过将预测块PRED和残差块RES’相加所获得的重建的块形成重建的图片I’。重建的图片I’被添加到参考帧存储器，以供稍后用作参考帧。然后，重建的图片I’通过视频解码器400输出。
视频解码器400被配置为对已经通过视频编码器300编码的数据进行解码。
视频编码器300(和视频解码器400)不限于特定编码器，其可以是例如有损图像/视频编码器，比如JPEG、JPEG2000、MPEG2、HEVC建议书或H264/AVC建议书(“用于通用视听服务的高级视频编码”，H系列：视听和多媒体系统，建议书ITU-T H.264，ITU电信标准化部门，2014年2月)。
图5示出了根据本原理的示例的用于对残差块进行编码的方法的步骤的框图。
在步骤500中，当启用根据与第一2D变换有关的编码模式对残差块进行编码时，模块获得与第一2D变换有关的第一编码模式。
在步骤510中，当启用根据与第二2D变换有关的编码模式对残差块进行编码时，模块获得与第二2D变换(不同于第一2D变换)有关的第二编码模式。
在步骤520中，模块根据上述第一编码模式来启用或禁用根据上述第二编码模式对残差块的编码。
在步骤530中，模块根据上述第一编码模式或上述第二编码模式(在启用的情况下)或这两者对残差块进行编码。
优选地，第一2D变换和第二2D变换可以是可分离或不可分离的2D变换。
根据本原理的非限制性实施例，第一编码模式为索引EMTidx，如介绍部分中所定义的，并且第二编码模式为索引NSSTidx，如介绍部分中所定义的。因此，上述第一编码模式指示通过将1D水平变换与1D垂直变换组合所构建的2D可分离变换，并且第二编码模式指示2D不可分离变换，如介绍部分(表1、表2和表3)中所解释的那样。
根据该示例，启用或禁用NSST从而取决于EMTidx的值。
根据本原理的另一非限制性实施例，第一编码模式为索引NSSTidx，并且第二编码模式为索引EMTidx，如介绍部分中所定义的。因此，上述第一编码模式指示2D不可分离变换，第二编码模式指示2D可分离变换，如介绍部分(表1、表2和表3)中所解释的那样，并且根据该示例，启用或禁用EMT从而取决于NSSTidx的值。
一般而言，根据本原理，第一编码模式可以指示可分离或不可分离的2D变换，并且第二编码模式可以指示可分离或不可分离的2D变换和第二编码模式；启用或禁用根据上述第二编码模式对残差块的编码取决于上述第一编码模式。上述最后的特征独立于上述第一和/或第二编码模式是否指示2D可分离或不可分离变换而适用。
根据本原理的变型，当禁用跳过模式(Tskip＝0)并且当上述第一编码模式属于预定义的候选编码模式集合时，启用根据上述第二编码模式对残差块的编码。
然后，当Tskip＝1时和/或当上述第一编码模式不属于上述预定的候选编码模式集合时，禁用根据第二编码模式对残差块的编码。
表4给出了本原理的该变型的非限制性示例，其中当Tskip＝0并且当第一编码模式EMTidx＜1(预定的候选编码模式集合等于单个值0)时，启用根据第二编码模式(NSSTidx)对残差块的编码。
无EMT EMTidx＝0 EMTidx＝1 EMTidx＝2 EMTidx＝3
NSSTidx＝0 允许 允许 允许 允许 允许
NSSTidx＝1 允许 允许
NSSTidx＝2 允许 允许
NSSTidx＝3 允许 允许
表4
因此，按照表4，当第一编码索引EMTidx＝0时，NSST被启用，并且残差块的编码可以取决于第一编码模式EMTidx和/或根据率失真优化结果的NSSTidx中的一个(关于更多详情，参阅介绍部分)。
表5给出了上述本原理的变型的另一非限制性示例，其中当Tskip＝0并且当第一编码模式EMTidx＝0或2(预定的候选编码模式集合在这里包括值0和2)时，启用根据第二编码模式(NSSTidx)对残差块的编码。
注意，当第一编码模式属于预定的候选编码模式集合时，可以启用或不启用所有可能的NSST编码模式，如表5中所示。这里，当EMTidx＝0时，仅启用具有索引NSSTidx 1的编码模式，并且当EMTidx＝2时，启用具有索引NSSTidx＝1或2的编码模式。注意，NSSTidx＝0意指NSST被禁用。
无EMT EMTidx＝0 EMTidx＝1 EMTidx＝2 EMTidx＝3
NSSTidx＝0 允许 允许 允许 允许 允许
NSSTidx＝1 允许 允许 允许
NSSTidx＝2 允许 允许
NSSTidx＝3 允许
表5
根据本原理的变型，当禁用跳过模式时并且当禁用根据第一编码模式对残差块进行编码时，即当Tskip＝0并且EMTflag＝0时，启用根据第二编码模式对残差块的编码。注意，EMTflag＝0意指CU是EMT禁用的，即，使用通常的HEVC变换对残差块(CU的每个TU)进行编码，而不是使用通过EMT模式定义的第一2D变换。
当Tskip＝1和/或EMTflag＝1时，则不允许根据第二编码模式(NSSTidx)对残差块的编码。
根据步骤510的实施例的变型，从候选编码模式集合中获得第二编码模式，并且上述候选编码模式集合的基数和/或上述候选编码模式集合中的候选编码模式中的至少一个根据上述第一编码模式和/或是启用还是禁用根据上述第二编码模式对残差块进行编码来定义。
例如，当第一编码模式通过EMTidx指示并且第二编码模式通过NSSTidx指示时，候选编码模式集合的基数和/或候选编码模式中的至少一个根据EMTidx和/或NSSTidx的值来定义：NSSTidx＝0意指NSST禁用，并且NSSTidx≠0意指NSST启用。
在图1-图5上，模块是功能单元，其可以与可区分的物理单元相关或不相关。例如，这些模块或它们中的一些可以在特有的组件或电路中集合在一起，或者有助于软件的功能。相反，一些模块可以可能地由单独的物理实体组成。与本原理兼容的装置使用纯硬件来实现，例如使用专用硬件，诸如ASIC或FPGA或VLSI(分别为“专用集成电路”，“现场可编程门阵列”，“超大规模集成”)，或者来自嵌入设备中的若干个集成电子组件，或来自硬件和软件组件的混合。
图6表示设备60的示例性架构，其可以被配置为实现关于图1-图5描述的方法。
设备60包括通过数据和地址总线61链接在一起的以下元件：
-微处理器62(或CPU)，其为例如DSP(或数字信号处理器)；
-ROM(或只读存储器)63；
-RAM(或随机存取存储器)64；
-I/O接口65，用于从应用接收要传送的数据；以及
-电池66。
根据示例，电池66在设备的外部。在每个提及的存储器中，说明书中使用的词语“寄存器”可以对应于小容量的区域(一些位)或非常大的区域(例如整个程序或大量的接收或解码的数据)。ROM 63包括至少程序和参数。ROM 63可以存储用于执行根据本原理的技术的算法和指令。当接通时，CPU 62上载RAM中的程序并执行对应的指令。
RAM 64在寄存器中包括由CPU 62执行并在设备60接通之后上载的程序，在寄存器中包括输入数据，在寄存器中包括方法的不同状态下的中间数据，以及在寄存器中包括用于执行方法的其他变量。
在此描述的实现方式可以例如以方法或处理、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式的背景下进行讨论(例如，仅作为方法或设备进行讨论)，但是所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。装置例如可以实现在适当的硬件、软件和固件中。方法例如可以实现在诸如例如处理器(其通常涉及处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件)之类的装置中。处理器还包括通信设备，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)，以及便于最终用户之间的信息通信的其他设备。
根据编码或编码器的示例，从源获得图片I。例如，源属于包括以下的集合：
-本地存储器(63或64)，例如视频存储器或RAM(或随机存取存储器)、闪速存储器、ROM(或只读存储器)、硬盘；
-储存接口(65)，例如与大容量储存器、RAM、闪速存储器、ROM、光盘或磁性支撑的接口；
-通信接口(65)，例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或
Figure BDA0002163122390000151
接口)；以及
-图片捕获电路(例如传感器，诸如例如CCD(或电荷耦合器件)或CMOS(或互补金属氧化物半导体))。
根据解码或解码器的示例，将经解码的图片I’发送到目的地；特别地，目的地属于包括以下的集合：
-本地存储器(63或64)，例如视频存储器或RAM、闪速存储器、硬盘；
-储存接口(65)，例如与大容量储存器、RAM、闪速存储器、ROM、光盘或磁性支撑的接口；
-通信接口(65)，例如有线接口(例如总线接口(例如USB(或通用串行总线))、广域网接口、局域网接口、HDMI(高清多媒体接口)接口)或无线接口(诸如IEEE 802.11接口、
Figure BDA0002163122390000161
或
Figure BDA0002163122390000162
接口)；以及
-显示器。
根据编码或编码器的示例，将比特流STR发送到目的地。作为示例，将比特流STR存储在本地或远程存储器中，例如视频存储器(64)或RAM(64)、硬盘(63)。在变型中，将比特流STR发送到储存接口(65)(例如与大容量储存器、闪速存储器、ROM、光盘或磁性支撑的接口)，和/或通过通信接口(65)(例如到点对点链路、通信总线、点对多点链路或广播网络的接口)来传送。
根据解码或解码器的示例，从源获得比特流STR。示例性地，比特流STR读取自本地存储器，例如视频存储器(64)、RAM(64)、ROM(63)、闪速存储器(63)或硬盘(63)。在变型中，比特流STR从储存接口(65)(例如与大容量储存器、RAM、ROM、闪速存储器、光盘或磁性支撑的接口)接收，和/或从通信接口(65)(例如到点对点链路、总线、点对多点链路或广播网络的接口)接收。
根据示例，被配置为实现关于图3和图5描述的编码方法的设备60属于包括以下的集合：
-移动设备；
-通信设备；
-游戏设备；
-平板(或平板计算机)；
-膝上型计算机；
-静止图片相机；
-摄像机；
-编码芯片；
-静止图片服务器；以及
-视频服务器(例如广播服务器、视频点播服务器或网络服务器)。
根据示例，被配置为实现关于图4和图5描述的解码方法的设备60属于包括以下的集合：
-移动设备；
-通信设备；
-游戏设备；
-机顶盒；
-电视机；
-平板(或平板计算机)；
-膝上型计算机；
-显示器，以及
-解码芯片。
根据本原理的示例，在图7中示出，在通信网络NET上的两个远程设备A和B之间的传输背景下，设备A包括与存储器RAM和ROM相关的处理器，该存储器RAM和ROM被配置为实现如关于图5描述的用于对残差块进行编码的方法或者如关于图3描述的用于对图片进行编码的方法，并且设备B包括与存储器RAM和ROM相关的处理器，该存储器RAM和ROM被配置为实现如关于图5描述的用于对残差块进行编码的方法或者如关于图4描述的用于解码的方法。
根据示例，网络是广播网络，适配于将静止图片或视频图片从设备A广播到包括设备B的解码设备(包括比特流STR)。
在此描述的各种处理和特征的实现方式可以实施在各种不同的装备或应用中。这样的装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA以及用于处理图片或视频的任何其他设备或其他通信设备。如应当清楚的那样，装备可以是移动的，并且甚至安装在移动交通工具中。
另外，方法可以由处理器正执行的指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采取计算机可读程序产品的形式，该计算机可读程序产品包含在一个或多个计算机可读介质中并且具有包含在其上的可由计算机执行的计算机可读程序代码。如在此使用的，计算机可读存储介质被视为非临时性存储介质，给出在其中存储信息的固有能力以及提供从其中取回信息的固有能力。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或者前述的任何合适的组合。要理解，以下虽然提供可以应用本原理的计算机可读存储介质的更具体示例，但是仅仅是本领域普通技术人员容易理解的说明性而非穷尽的列表：便携式计算机磁盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪速存储器)；便携式压缩盘只读存储器(CD-ROM)；光储存设备；磁储存设备；或者前述的任何合适的组合。
指令可以形成有形地包含在处理器可读介质上的应用程序。
指令可以例如在硬件、固件、软件或组合中。指令可以存在于例如操作系统、单独的应用或两者的组合中。因此，处理器可以表征为例如被配置为执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如储存设备)的设备两者。此外，除了指令或者代替指令，处理器可读介质可以存储由实现方式产生的数据值。
如对于本领域技术人员将明显的那样，实现方式可以产生被格式化为携带例如可以被存储或传送的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述的实现方式之一产生的数据。例如，可以将信号格式化为携带用于写入或读取本原理的所描述示例的语法的规则作为数据，或者携带由本原理的所描述示例写入的实际语法值作为数据。例如，这样的信号可以被格式化为电磁波(例如使用频谱的射频部分)或者基带信号。格式化可以包括例如对数据流进行编码以及以经编码的数据流调制载波。例如，信号携带的信息可以是模拟或数字信息。如已知的那样，可以通过各种不同的有线或无线链路来传送信号。信号可以存储在处理器可读介质上。
已经描述了多个实现方式。然而，将理解，可以进行各种修改。例如，可以对不同实现方式的元素进行组合、补充、修改或移除，以产生其他实现方式。另外，普通技术人员将理解，其他结构和处理可以替代所公开的那些结构和处理，并且所得到的实现方式将以与所公开的实现方式至少基本相同的方式来执行与所公开的实现方式至少基本相同的功能，以实现与所公开的实现方式至少基本相同的结果。因此，本申请考虑这些以及其他实现方式。

Claims (12)

1.一种用于对残差块进行编码的方法，包括：
- 当指示来自第一2D变换集合的第一2D变换的第一编码模式被启用时，获得所述第一编码模式；
- 当指示来自第二2D变换集合的第二2D变换的第二编码模式被启用时，获得所述第二编码模式；以及
- 根据所述第一编码模式或所述第二编码模式或这两者，对所述残差块进行编码；
其中当禁用变换跳过模式时并且当禁用根据所述第一编码模式对所述残差块进行编码时，启用根据所述第二编码模式对所述残差块的编码，
其中所述第一2D变换集合和所述第二2D变换集合中的一个是可分离2D变换集合，而所述第一2D变换集合和所述第二2D变换集合中的另一个是不可分离2D变换集合。
2.一种用于对图片进行编码的方法，包括根据权利要求1所述的方法对残差块进行编码。
3.如权利要求1-2之一所述的方法，其中当禁用跳过模式时并且当所述第一编码模式属于预定义的候选编码模式集合时，启用根据所述第二编码模式对所述残差块的编码。
4.如权利要求1-2之一所述的方法，其中从候选编码模式集合获得所述第二编码模式，和/或根据所述第一编码模式和/或是启用还是禁用根据所述第二编码模式对所述残差块进行编码来定义所述候选编码模式集合的基数和至少一个候选编码模式。
5.一种用于对残差块进行编码的设备，包括处理器，该处理器被配置为：
- 当指示来自第一2D变换集合的第一2D变换的第一编码模式被启用时，获得所述第一编码模式；
- 当指示来自第二2D变换集合的第二2D变换的第二编码模式被启用时，获得所述第二编码模式；以及
- 根据所述第一编码模式或所述第二编码模式或这两者，对所述残差块进行编码；
其中当禁用变换跳过模式时并且当禁用所述第一编码模式时，启用根据所述第二编码模式对所述残差块的编码，
其中所述第一2D变换集合和所述第二2D变换集合中的一个是可分离2D变换集合，而所述第一2D变换集合和所述第二2D变换集合中的另一个是不可分离2D变换集合。
6.一种用于对图片进行编码的设备，包括权利要求5所述的设备的处理器。
7.如权利要求5-6之一所述的设备，其中当禁用跳过模式时并且当所述第一编码模式属于预定义的候选编码模式集合时，启用根据所述第二编码模式对所述残差块的编码。
8.如权利要求5-6之一所述的设备，其中从候选编码模式集合获得所述第二编码模式，和/或根据所述第一编码模式和/或是启用还是禁用根据所述第二编码模式对所述残差块进行编码来定义所述候选编码模式集合的基数和至少一个候选编码模式。
9.一种非临时性存储介质，其携带程序代码的指令，以用于当在计算设备上执行所述程序时执行权利要求1-2中任一项所述的方法的步骤。
10.一种用于解码图片的设备，包括用于以下操作的装置：
-当指示来自第一2D变换集合的第一2D变换的第一编码模式被启用时，获得所述第一编码模式；
-当指示来自第二2D变换集合的第二2D变换的第二编码模式被启用时，获得所述第二编码模式；和
-根据所述第一编码模式或所述第二编码模式或这两者，对残差块进行解码；
其中当禁用变换跳过模式时并且当禁用所述第一编码模式时，启用根据所述第二编码模式对所述残差块的解码，
其中所述第一2D变换集合和所述第二2D变换集合中的一个是可分离2D变换集合，而所述第一2D变换集合和所述第二2D变换集合中的另一个是不可分离2D变换集合。
11.一种用于解码图片的方法，包括：
-当指示来自第一2D变换集合的第一2D变换的第一编码模式被启用时，获得所述第一编码模式；
-当指示来自第二2D变换集合的第二2D变换的第二编码模式被启用时，获得所述第二编码模式；和
-根据所述第一编码模式或所述第二编码模式或这两者，对残差块进行解码；
其中当禁用变换跳过模式时并且当禁用所述第一编码模式时，启用根据所述第二编码模式对所述残差块的解码，
其中所述第一2D变换集合和所述第二2D变换集合中的一个是可分离2D变换集合，而所述第一2D变换集合和所述第二2D变换集合中的另一个是不可分离2D变换集合。
12.一种携带程序代码指令的非暂时性存储介质，当所述程序在计算设备上执行时，执行根据权利要求11所述的方法的步骤。
CN201880011377.3A 2017-01-11 2018-01-08 用于选择用于对残差块进行编码/解码的编码模式的方法和装置 Active CN110291789B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210149238.5A CN114554215A (zh) 2017-01-11 2018-01-08 选择对残差块进行编码/解码的编码模式的方法和装置
CN202210149438.0A CN114554216A (zh) 2017-01-11 2018-01-08 选择对残差块进行编码/解码的编码模式的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17305029.5 2017-01-11
EP17305029.5A EP3349451A1 (en) 2017-01-11 2017-01-11 Method and apparatus for selecting a coding mode used for encoding/decoding a residual block
PCT/EP2018/050314 WO2018130477A1 (en) 2017-01-11 2018-01-08 Method and apparatus for selecting a coding mode used for encoding/decoding a residual block

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202210149238.5A Division CN114554215A (zh) 2017-01-11 2018-01-08 选择对残差块进行编码/解码的编码模式的方法和装置
CN202210149438.0A Division CN114554216A (zh) 2017-01-11 2018-01-08 选择对残差块进行编码/解码的编码模式的方法和装置

Publications (2)

Publication Number Publication Date
CN110291789A CN110291789A (zh) 2019-09-27
CN110291789B true CN110291789B (zh) 2022-03-08

Family

ID=57890758

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202210149438.0A Pending CN114554216A (zh) 2017-01-11 2018-01-08 选择对残差块进行编码/解码的编码模式的方法和装置
CN201880011377.3A Active CN110291789B (zh) 2017-01-11 2018-01-08 用于选择用于对残差块进行编码/解码的编码模式的方法和装置
CN202210149238.5A Pending CN114554215A (zh) 2017-01-11 2018-01-08 选择对残差块进行编码/解码的编码模式的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210149438.0A Pending CN114554216A (zh) 2017-01-11 2018-01-08 选择对残差块进行编码/解码的编码模式的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210149238.5A Pending CN114554215A (zh) 2017-01-11 2018-01-08 选择对残差块进行编码/解码的编码模式的方法和装置

Country Status (4)

Country Link
US (3) US11109027B2 (zh)
EP (3) EP3349451A1 (zh)
CN (3) CN114554216A (zh)
WO (1) WO2018130477A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018005899T5 (de) * 2017-12-18 2020-08-13 Arris Enterprises Llc System und Verfahren zum Konstruieren einer Ebene für planare Prädiktion
EP3761642A4 (en) * 2018-04-01 2021-04-14 LG Electronics Inc. METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL VIA THE APPLICATION OF A SECONDARY TRANSFORM ON A PARTITIONED BLOCK
CN115134592B (zh) * 2018-09-02 2024-04-26 Lg电子株式会社 用于编码或解码图像信号的设备及计算机可读记录介质
EP3932061A4 (en) 2019-04-23 2022-06-01 Beijing Bytedance Network Technology Co., Ltd. USING A SECONDARY TRANSFORMATION IN ENCODED VIDEO
CN114402605A (zh) * 2019-07-10 2022-04-26 Lg电子株式会社 图像编码系统中使用残差编码方法的标志的图像解码方法以及用于其的装置
WO2021110018A1 (en) * 2019-12-02 2021-06-10 Beijing Bytedance Network Technology Co., Ltd. Separable secondary transform processing of coded video
CN111263158B (zh) * 2020-02-28 2021-11-16 中南大学 一种基于空间相关度的多变换核快速处理方法
WO2021201649A1 (ko) * 2020-04-02 2021-10-07 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101001374A (zh) * 2003-09-07 2007-07-18 微软公司 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新
CN104380734A (zh) * 2012-06-07 2015-02-25 联发科技（新加坡）私人有限公司 用于帧内变换跳过模式的方法和装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493385B1 (en) * 1997-10-23 2002-12-10 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
JP2006080925A (ja) * 2004-09-09 2006-03-23 Toshiba Corp 動画符号化装置、動画符号化方法および動画符号化プログラム
US8711925B2 (en) * 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US9036712B1 (en) * 2006-05-08 2015-05-19 Geo Semiconductor Inc. Methods and/or apparatus for controlling zero-residual coding in predictive image/video coding
BRPI0809512A2 (pt) * 2007-04-12 2016-03-15 Thomson Licensing método e aparelho para mesclagem dependente de contexto para modos salto-direto para codificação e decodificação de vídeo
WO2009126260A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing Methods and apparatus for template matching prediction (tmp) in video encoding and decoding
JP2012516626A (ja) * 2009-01-27 2012-07-19 トムソン ライセンシング ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
US9100656B2 (en) * 2009-05-21 2015-08-04 Ecole De Technologie Superieure Method and system for efficient video transcoding using coding modes, motion vectors and residual information
US8873626B2 (en) * 2009-07-02 2014-10-28 Qualcomm Incorporated Template matching for video coding
TW201132129A (en) * 2009-08-06 2011-09-16 Panasonic Corp Encoding method, decoding method, encoding device and decoding device
JP2013503534A (ja) * 2009-08-28 2013-01-31 トムソン ライセンシング 画像シーケンスを符号化するための方法
WO2011121938A1 (ja) * 2010-03-31 2011-10-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、ならびに画像復号装置、画像復号方法及び画像復号プログラム
US9241160B2 (en) * 2010-07-21 2016-01-19 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
US10992958B2 (en) * 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
WO2013082750A1 (zh) * 2011-12-06 2013-06-13 华为技术有限公司 实时转码方法及设备
CN109413429B (zh) * 2012-01-20 2022-05-17 杜比实验室特许公司 解码方法、视频解码设备及编码方法
US9131210B2 (en) * 2012-03-16 2015-09-08 Texas Instruments Incorporated Low-complexity two-dimensional (2D) separable transform design with transpose buffer management
US10257520B2 (en) * 2012-06-26 2019-04-09 Velos Media, Llc Modified coding for transform skipping
US9357195B2 (en) * 2012-08-16 2016-05-31 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
US20140092978A1 (en) * 2012-10-01 2014-04-03 Nokia Corporation Method and apparatus for video coding
CN104704837A (zh) * 2012-10-03 2015-06-10 联发科技股份有限公司 三维视频编码中的元素间运动预测的方法及装置
US9948939B2 (en) * 2012-12-07 2018-04-17 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US9877025B2 (en) * 2013-07-12 2018-01-23 British Broadcasting Corporation Video encoding and decoding with prediction at higher precision
US9854246B2 (en) * 2014-02-28 2017-12-26 Apple Inc. Video encoding optimization with extended spaces
WO2015195942A1 (en) * 2014-06-19 2015-12-23 Vid Scale, Inc. Methods and systems for intra block copy coding with block vector derivation
GB2531004A (en) * 2014-10-06 2016-04-13 Canon Kk Residual colour transform signalled at sequence level for specific coding modes
US10681379B2 (en) * 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101001374A (zh) * 2003-09-07 2007-07-18 微软公司 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新
CN104380734A (zh) * 2012-06-07 2015-02-25 联发科技（新加坡）私人有限公司 用于帧内变换跳过模式的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Cross-check of JVET-0063 EE2.7 related： Improved non-separable secondary transform;S-H KIM(SHARP);《JVET MEETING》;20160527;1 Introduction *
EE2.7 related:Improved non-separable secondary transform;ZHAO X ET AL;《JVET MEETING》;20160517;section2 *
ZHAO X ET AL.EE2.7 related:Improved non-separable secondary transform.《JVET MEETING》.2016, *

Also Published As

Publication number Publication date
US20190387227A1 (en) 2019-12-19
CN110291789A (zh) 2019-09-27
US11665347B2 (en) 2023-05-30
US20210400271A1 (en) 2021-12-23
EP4346210A3 (en) 2024-06-05
CN114554216A (zh) 2022-05-27
US20230262217A1 (en) 2023-08-17
CN114554215A (zh) 2022-05-27
EP3349451A1 (en) 2018-07-18
EP4346210A2 (en) 2024-04-03
US11109027B2 (en) 2021-08-31
EP3568981B1 (en) 2024-08-07
WO2018130477A1 (en) 2018-07-19
EP3568981A1 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
CN110291789B (zh) 用于选择用于对残差块进行编码/解码的编码模式的方法和装置
CN110720218B (zh) 与视频译码中的变换处理一起应用的帧内滤波
CN114339229B (zh) 用于对变换数据进行编码的系统和方法
CN108605141B (zh) 用于紧凑多遍变换的高效参数存储
CN108702517B (zh) 使用优化的紧凑多遍变换的高效变换编码
TW201841501A (zh) 用於視訊寫碼之多種類型樹架構
CN112655216A (zh) 基于变换的图像编码方法及装置
CN113228650B (zh) 基于块的表面的视频编码或解码的量化
CN114402597B (zh) 应用自适应环路滤波器的视频或图像编码
JP2023543985A (ja) 多用途ビデオコーディングのためのテンプレートマッチング予測
CN115443660B (zh) 用于解码与符号数据隐藏相关的成像的方法和设备
US11323714B2 (en) Method and device for context-adaptive binary arithmetic coding a sequence of binary symbols representing a syntax element related to video data
CN114631311A (zh) 将同质语法与编码工具一起使用的方法和装置
TW202044835A (zh) 在視訊編碼之餘數編碼中常規二進位字元之彈性分配
CN113170137A (zh) 降低本地邻域的使用的残差译码
CN115552910A (zh) 用于残差编码的图像解码方法及其装置
EP3742730A1 (en) Scalar quantizer decision scheme for dependent scalar quantization
CN112789853A (zh) 视频编码和解码中的细化模式处理
CN115039409A (zh) 用于视频编码和解码的残差处理
CN115349258B (zh) 图像编码系统中用于残差编码的图像解码方法及其设备
CN115428460A (zh) 图像编码系统中残差编码的图像解码方法及用于其的设备
CN118369922A (zh) 用信号发送用于视频编码的通用约束信息
CN115336267A (zh) 用于联合色度编码块的缩放过程
CN114731404A (zh) 使用基于块区域的量化矩阵进行视频编码和解码
JP2021520698A (ja) ビデオのコード化および復号。

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant