CN110708558B - 变换类型的表示方法和设备 - Google Patents

变换类型的表示方法和设备 Download PDF

Info

Publication number
CN110708558B
CN110708558B CN201910590038.1A CN201910590038A CN110708558B CN 110708558 B CN110708558 B CN 110708558B CN 201910590038 A CN201910590038 A CN 201910590038A CN 110708558 B CN110708558 B CN 110708558B
Authority
CN
China
Prior art keywords
transform
prediction mode
transform type
intra prediction
encoded video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910590038.1A
Other languages
English (en)
Other versions
CN110708558A (zh
Inventor
赵亮
赵欣
李翔
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN110708558A publication Critical patent/CN110708558A/zh
Application granted granted Critical
Publication of CN110708558B publication Critical patent/CN110708558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于表示变换类型的方法及设备，该变换类型用于对编码视频码流中的当前块编码，该方法包括：确定当前块的帧内预测模式；以及确定帧内预测模式是否满足预定条件，其中，当确定所述帧内预测模式满足预定条件时，在编码视频码流中以信号表示变换类型，以及当所述帧内预测模式不满足所述预定条件时，该变换类型包括默认变换类型，并且不在编码视频码流中以信号表示该变换类型。

Description

变换类型的表示方法和设备
相关文件
本申请要求2018年7月9日递交的美国申请No.62/695,395的优先权，以及2018年11月30日递交的美国申请No.16/206,109的优先权，其公开内容通过引用整体并入本文。
技术领域
本申请涉及超越高效率视频编码(HEVC)的下一代视频编码技术，例如，多功能视频编码(VVC)。更具体地，本申请涉及依赖于模式的主变换和二次变换方案。
背景技术
ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)在2013年(版本1)、2014年(版本2)、2015年(版本3)和2016年(版本4)公布了H.265/HEVC(High EfficiencyVideo Coding，高效视频编码)标准。从那时起，针对显著超越HEVC标准(包括其扩展)的压缩能力的未来视频编码技术的标准化的潜在需求，就已经启动了研究工作。
在2017年10月，发布了对具有超出HEVC(CfP)能力的视频压缩的提案的联合公告。到2018年2月15日，分别提交了关于标准动态范围(SDR)的总共22个CfP响应，关于高动态范围(HDR)的12个CfP响应和关于360个视频类别的12个CfP响应。在2018年4月，所有收到的CfP响应都在122MPEG暨第十界联合视频探索小组-联合视频专家小组(JVE)会议中进行了评估。通过仔细评估，JVET正式启动了超越HEVC的下一代视频编码的标准化，即所谓的多功能视频编码(VVC)。
在HEVC中，通过使用表示为编码树的四叉树结构将编码树单元(CTU)分成编码单元(CU)，以适应各种局部特性。在CU级，做出了是否使用图像间(时域)或图像内(空间)预测来对图像区域进行编码的决定。每个CU可以根据PU分割类型进一步分割成一个、两个或四个预测单元(PU)。在一个PU内，应用相同的预测过程，并以每个PU为基础将相关信息发送到解码器。在通过应用基于PU分割类型的预测过程获得残差块之后，可以根据与CU的编码树类似的另一个四叉树结构将CU分割为变换单元(TU)。HEVC结构的一个关键特征是它具有多个分区概念，包括CU、PU和TU。在HEVC中，CU或TU可仅为正方形，而PU可为用于帧间预测块的正方形或矩形。在HEVC的后期，一些投稿建议允许矩形PUs用于帧内预测和变换。这些建议未用于HEVC，但通过扩展用于JEM。
在图像边界处，HEVC施加隐式四叉树分割，使得块将保持四叉树分割，直到大小符合图像边界。
在VVC中，EMT和NSST可独立使用或耦合使用，但它们应用于当前块的所有帧内预测模式。因此，需要在编码器中测试具有EMT或NSST的每个帧内预测模式，这很耗时。此外，需要更多的信令比特来支持EMT/NSST和帧内模式的所有组合。
因此，将变换跳过应用于所有帧内预测模式。但是，需要在编码器中测试具有变换跳过的每个帧内预测模式，这很耗时。此外，需要更多的信令比特来支持变换跳过和帧内模式的所有组合。
发明内容
在一个实施例中，提供了一种变换类型的表示方法，该变换类型用于对编码视频码流中的当前块进行编码，该方法包括：确定当前块的帧内预测模式；以及当确定所述帧内预测模式满足所述预定条件时，在编码视频码流中以信号表示变换类型，以及当确定所述帧内预测模式不满足所述预定条件时，该变换类型包括默认变换类型，并且不在编码视频码流中以信号表示该变换类型。
在一个实施例中，提供一种用于表示变换类型的设备，所述变换类型用于对编码视频码流中的当前块进行编码，所述设备包括：确定模块，用于确定所述当前块的帧内预测模式；及类型标识模块，用于当确定所述帧内预测模式满足所述预定条件时，在所述编码视频码流中以信号表示所述变换类型；当所述帧内预测模式不满足所述预定条件时，所述变换类型包括默认变换类型，不在编码视频码流中以信号表示所述变换类型。
在一个实施例中，提供了一种表示变换类型的设备，该变换类型用于对编码视频码流中的当前块进行编码，该设备包括：处理器和存储器，其中存储器存储有计算机可读指令，所述指令可由所述处理器执行用于实现任一实施例的方法。
在一个实施例中，提供一种存储指令的非暂时性计算机可读介质，指令包括一个或多个指令，当设备的一个或多个处理器执行时，用于实现任一实施例的方法。
各实施例中，仅在帧内预测模式满足预定条件时，在编码视频码流中以信号表示变换类型，不满足预定条件时，不在编码视频码流中以信号表示变换类型，且采用默认变换类型，从而节省了用于表示变换类型的信令比特，节省了编码器中测试帧内预测模式的时间。
附图说明
根据以下详细描述和附图，所公开的主题的其他特征、性质和各种优点将变得更加明显，在附图中：
图1是确认变换类型的示例性过程的流程图。
图2是本申请实施例的通信系统的简化框图。
图3是在流媒体环境中部署视频编码器和解码器的示意图。
图4是本申请实施例的视频解码器的功能框图。
图5是本申请实施例的视频编码器的功能框图。
图6是一个实施例的计算机系统的示意图。
具体实施方式
在VVC的发展中，为适应方向帧内模式的数目增长，提出了65个角度方向，采用了6种最可能模式(MPM)的帧内模式编码方法。涉及两个主要技术方面：1)6个MPM的派生，以及2)6个MPM和非MPM模式的熵编码。在JEM中，包括在MPM列表中的模式被分类至三组：相邻帧内模式、派生帧内模式和默认帧内模式。
使用五个相邻帧内预测模式来形成MPM列表。如果MPM列表未满(即列表中少于6个候选MPM)，则添加派生模式；通过对已经包括在MPM列表中的角模式加-1或+1来获得这些帧内模式。这种附加的派生模式不是由(DC或平面的)非角模式生成的。最后，如果MPM列表仍然未满，则按照以下顺序添加默认模式：垂直模式、水平模式、模式2和对角模式。该过程的结果是，生成6个MPM模式的唯一列表。
针对其余61个非MPM的选择的编码如下。首先将61个非MPM分成两组：选定模式组(二级MPM)和非选定模式组。选定模式组包括16种模式，其余的(45种模式)分配给未选定模式组。用标志在码流中指示当前模式所属的模式组。如果要指示的模式在所选择的模式组内，则用4位固定长度码作为信号表明所选择的模式，并且如果要指示的模式来自未选择的集合，则用截断的二进制码作为信号表明所选择的模式。
除了已经在HEVC中采用的DCT-II和4×4DST-VII之外，自适应多变换(AMT，或称为增强多变换(EMT))方案被用于帧间和帧内编码块的残差编码。它使用从DCT/DST族中选择的多个变换，而不是HEVC中的当前变换。新引入的变换矩阵是DST-VII、DCT-VIII、DST-I和DCT-V。表1示出了所选DST/DCT的基础函数。
Figure BDA0002115708240000041
表1：用于N点输入的DCT-II/V/VIII和DST-I/VII的变换基础函数
为了保持变换矩阵的正交性，与HEVC中的变换矩阵相比，变换矩阵被更精确地量化为10位表示，而不是HEVC中的8位。为了将变换系数的中间值保持在16比特的范围内，在水平和垂直变换之后，与当前HEVC变换中使用的右移位相比，所有系数被向右多移动了2位。
AMT应用于宽度和高度都小于或等于64的CU，并且AMT应用与否由CU级标志来控制。当CU级标志等于0时，在CU中应用DCT-II以对残差进行编码。对于启用AMT的CU内的亮度编码块，发出两个附加标志以指明待使用的水平和垂直变换。如在HEVC中，可以在JEM中以变换跳过模式来对块的残差进行编码。为了避免语法编码的冗余，当CU级AMT标志不等于零时，不表示变换跳过标志。
对于帧内残差编码，由于不同帧内预测模式的残差统计数据不同，所以使用模式相关变换候选选择过程。如表中2所示，已经定义了三个变换子集，并且如表3中所指定的，基于帧内预测模式来选择变换子集。
Figure BDA0002115708240000042
表2：三个预定义变换候选集
利用子集概念，首先基于表2使用CU级AMT标志等于1的CU的帧内预测模式来识别变换子集。此后，对于水平和垂直变换中的每一个，根据表3，基于显式表示的标志从识别出的变换子集中的两个变换候选中选择一个。
Figure BDA0002115708240000051
表3：为每个帧内预测模式选择水平(H)和垂直(V)变换集
然而，对于帧间预测残差，对于所有帧间模式以及水平和垂直变换，仅使用由DST-VII和DCT-VIII组成的一个变换集。
AMT的复杂度在编码器侧将相对较高，因为当使用强力搜索时，总共五个不同的变换候选(DCT-II和四个多重变换候选)需要用每个残差块的速率失真成本来评估。为了减轻编码器的这个复杂性问题，针对JEM中的算法加速设计了几种优化方法。
在VVC的发展过程中，提出了一种模式相关的不可分二次变换(NSST)，(在编码器处)位于前向核心变换和量化之间，以及(在解码器处)位于去量化和反向核心变换之间。为了保持低复杂度，NSST仅应用于主变换之后的低频系数。如果变换系数块的宽度(W)和高度(H)均大于或等于8，则将8×8不可分二次变换应用于变换系数块左上方的8×8区域。否则，如果变换系数块的W或H等于4，则应用4×4不可分二次变换，以及对变换系数块的左上min(8，W)×min(8，H)区域进行该4×4不可分变换。上述变换选择规则应用于亮度和色度分量。
以4×4输入块为例，对不可分变换的矩阵乘法实现进行描述。为了应用不可分变换，4×4输入块X：
Figure BDA0002115708240000052
表示为向量
Figure BDA0002115708240000053
Figure BDA0002115708240000061
不可分变换如
Figure BDA0002115708240000062
所计算，其中，
Figure BDA0002115708240000063
表示变换系数向量，并且T是16×16的变换矩阵。随后使用该块的扫描顺序(水平、垂直或对角线)将16×1系数向量
Figure BDA0002115708240000064
重新组织为4×4的块。索引较小的系数将与该较小的扫描索引系数一同放置在该4×4的系数块中。在JEM中，使用具有蝶形实现的超立方吉文斯变换(HyGT)代替矩阵乘法来降低不可分变换的复杂度。
对于4×4和8×8的块大小，总共有35×3个不可分二次变换，其中35是由帧内预测模式指定的变换集的数目，表示为集合，3是每个帧内预测模式的NSST候选的数目。在表4中定义了从帧内预测模式到变换集的映射。根据表4，应用于亮度/色度变换系数的变换集由相应的亮度/色度帧内预测模式指定。对于大于34的帧内预测模式(对角预测方向)，变换系数块在编码器/解码器处的二次变换之前/之后被转置。
对于每个变换集，所选择的不可分二次变换候选进一步由显式表示的CU级NSST索引来指定。在使用变换系数和截断的一元二进制化之后，在码流中每个帧内CU表示一次索引。在平面或DC模式的情况下，截断值为2，对于角度帧内预测模式，截断值为3。只有当CU中存在多于一个非零系数时，才表示NSST索引。当没有表示时，默认值为零。该语法元素的零值指示没有对当前CU应用二次变换，值1-3指示应该应用来自该集合中的哪个二次变换。
在JEM中，NSST不应用于以变换跳过模式编码的块。当针对CU表示NSST索引且NSST索引不等于零时，NSST不用于CU中以变换跳过模式编码的分量的块。当具有所有分量的块的CU以变换跳过模式被编码，或者非变换跳过模式CB的非零系数的数目小于2时，针对该CU，不以信号表示NSST索引。
例如，建议在使用QTBT时禁止混合NSST和EMT，从而有效地强制NSST仅与DCT2一起用作主变换。
Figure BDA0002115708240000065
表4：从帧内预测模式到变换集索引的映射
在不可分二次变换的计算中使用超立方吉文斯变换(HyGT)。该正交变换的基本元素是吉文斯旋转，其由正交矩阵G(m,n,θ)定义，其具有由下式定义的元素：
Figure BDA0002115708240000071
HyGT通过以超立方体排列合并吉文斯旋转集来实现。例如，假设N是2的幂，则HyGT循环被定义为log2(N)次通过的序列，其中在每次通过中，向量m和n中的索引由具有维度log2(N)的超立方体的边缘在每个方向上顺序地定义。
为了获得良好的压缩效果，可使用一个以上的HyGT循环。例如，完全不可分二次变换由R个HyGT循环组成，并且可以包括可选的置换通路，以根据变换系数的方差对变换系数进行排序。在JEM中，4×4二次变换采用2个HyGT循环，8×8二次变换采用4个HyGT循环。
在本申请中，元素最可能模式(Most Probable Mode，MPM)可以指从最低级别的MPM到最高级别的MPM中的任何级别的MPM，例如第一级MPM或第二级MPM，或者不同级别的MPM的任何组合，诸如第一级MPM和第二级MPM。本文所述的实施例可由高级语法来指示，例如SPS、VPS、PPS、图像标头(picture header)、分片标头(slice header)。
根据实施例，可以基于帧内预测模式表示主变换类型。以此方式，仅在当前帧内预测模式满足特定条件时才可以信号表示主变换类型。否则，不以信号表示主变换类型，并且可以使用诸如DCT-2(或DST-7，或DST-4)的默认主变换。
在一个实施例中，只有在当前帧内预测模式等于或不等于当前块的MPM时，才可以以信号表示主变换类型。否则，不以信号表示主变换类型，并且将默认变换用于当前块。默认变换可以是DCT-2、DST-7或DST-4。默认变换的选择可取决于块的宽度、块的高度、块的宽高比、块的面积大小、亮度或色度。
在实施例中，当EMT标志不为零且当前帧内预测模式等于，或不等于，当前块的MPM时，仅以信号表示水平(或垂直)变换类型且将默认变换用于垂直(或水平)变换。否则，当EMT标志不为零时，以信号表示水平和垂直变换类型。默认变换可以是DCT-2、DST-7或DST-4。默认变换的选择可取决于块的宽度、块的高度、块的宽高比、块的面积大小、亮度或色度。
在一个实施例中，仍然为每个帧内预测模式表示AMT标志，然而，仅当当前帧内预测模式等于或不等于当前块的MPM时，进一步以信号表示AMT索引。当AMT标志被表示为1、但AMT索引未被以信号表示时，根据帧内预测模式、块的宽度、块的高度、块的宽高比、块的面积大小、亮度或色度分量来选择变换类型。当AMT标志被表示为1、但AMT索引未被以信号表示时，变换类型可被预定义为DST-7或DST-4。
在一个实施例中，仅当当前帧内预测模式等于DM模式时，才以信号表示色度分量的主变换类型。
在一个实施例中，当当前帧内预测模式不等于LM，或等于LM模式时，仅针对色度分量以信号表示主变换类型。
根据实施例，可以基于帧内预测模式以信号表示二次变换类型。以此方式，仅在当前帧内预测模式满足特定条件时才可以信号表示二次变换类型。否则，不以信号表示二次变换类型。
在实施例中，仅在当前帧内预测模式等于或不等于当前块的MPM时，以信号表示二次变换索引。否则，不以信号表示二次变换索引并将其视为0。
在一个实施例中，二次变换的数目取决于当前帧内预测模式是否等于当前块的MPM。例如，当当前帧内预测模式等于MPM时，二次变换的数目可以是3，否则，二次变换的数目可以是4。作为另一示例，当当前帧内预测模式不等于MPM时，二次变换的数量可以是3，否则，二次变换的数量可以是4。
在主变换和二次变换被耦合且一起通过信号进行标识的实施例中，例如CPST，可以仅以信号表示针对MPM模式的主变换和二次变换。如果未以信号表示主变换和二次变换，则可使用默认组合，例如用于主变换且不用于二次变换的DCT-2。
在一个实施例中，仍然可以为每个帧内预测模式以信号表示变换标志，该变换标志可以用于指示使用的是DCT-2还是耦合的主变换和二次变换，然而，仅在当前帧内预测模式等于或不等于当前块的MPM时，进一步以信号表示变换索引，该变换索引用于指示使用的是哪一个耦合的主变换候选和二次变换候选。
例如，当将变换标志表示为1，但没有以信号表示变换索引时，可根据帧内预测模式、块的宽度、块的高度、块的宽高比、块的面积大小、亮度或色度分量来选择主和/或二次变换。
作为另一示例，当变换标志表示为1，但变换索引未被以信号表示时，主变换类型可被预定义为DST-7或DST-4，并且可不应用二次变换。
在一个实施例中，可以以信号表示针对某些(例如由M0指示的)帧内预测模式的主变换类型，并且以信号表示针对某些(例如由M1指示的)帧内预测模式的二次变换索引。
在一个实施例中，M0中的帧内预测模式都是MPM，M1中的帧内预测模式不都是MPM。
在一个实施例中，M0中的帧内预测模式不都是MPM，M1中的帧内预测模式都是MPM。
在一个实施例中，M0和M1中的帧内预测模式都是MPM。
在一个实施例中，M0或M1中的帧内预测模式都不是MPM。
在另一实施例中，M0和M1的帧内预测模式不具有任何重叠。
在另一实施例中，M0和M1的帧内预测模式具有部分重叠。
在另一个实施例中，M0等于M1。
在另一个实施例中，M0和M1一起覆盖所有可用的帧内预测模式。
在一个实施例中，可以基于帧内预测模式表示信号变换跳过标志。以此方式，仅在当前帧内预测模式满足特定条件时才可以信号表示变换跳过标志。否则，可以不用信号表示变换跳过标志。
在一个实施例中，仅在当前帧内预测模式等于或不等于当前块的MPM时，才以信号表示变换跳过标志。否则，不以信号表示变换跳过标志，并且变换跳过标志被认为是零。
在一个实施例中，可以使用通用帧内模式相关的工具信令。例如，可以仅以信号表示针对MPM模式的工具X。当没有以信号表示工具X时，推断其关闭。在一个实施例中，X可以是双边滤波，如在JFET-F0034中所提出的。在另一个实施例中，X可以是基于显式信令的PDPC(位置相关预测组合)。
在一个实施例中，MPM标志值可以用作对主变换相关的语法、二次变换相关的语法元素、或耦合的主变换和二次变换相关的语法元素进行的熵编码的上下文。
在一个实施例中，可以在帧内预测模式之前以信号表示主变换相关语法、二次变换相关语法和/或耦合的主变换和二次变换相关语法。
例如，主变换、二次变换和/或CPST相关语法值可以用作MPM标志、MPM索引、次MPM标志、次MPM索引、非MPM索引的熵编码的上下文。
对于主变换、二次变换、和/或CPST相关语法的某些值，可以仅使用MPM，或次MPM，或非MPM，从而可以避免隐式派生的相关语法(例如，MPM标志、次MPM标志)。
可用帧内预测模式的数目可以取决于主变换相关语法、二次变换相关语法和/或耦合的主变换和二次变换相关语法的值。
MPM的数量可以取决于主变换相关语法、二次变换相关语法和/或耦合的主变换和二次变换相关语法的值。
图1是表示用于对编码视频码流中的当前块进行编码的变换类型的示例性过程100的流程图。在一些实施方案中，图1的一个或多个步骤可由解码器执行。在一些实施方案中，图1的一个或多个步骤可由另一设备或一组设备执行，该设备与解码器分离或包括解码器，例如编码器。
如图1所示，过程100可以包括确定当前块的帧内预测模式(框110)。如图1所示，过程100可以进一步包括确定该帧内预测模式是否满足预定条件(框120)。如图1所示，过程100可进一步包括当预定条件得到满足时，以信号表示变换类型(框130)。如图1所示，过程100可进一步包括当预定条件没有得到满足时，不以信号表示变换类型，以及使用默认变换类型(框140)。
在一个实施例中，变换类型包括主变换类型或二次变换类型中的至少一个。
在一个实施例中，当帧内预测模式是当前块的最可能模式(MPM)时，预定条件得到满足。
在一个实施例中，响应于对帧内预测模式是当前块的MPM的确定，在编码视频码流中用信号表示MPM标志。
在一个实施例中，MPM标志的值被用作对主变换相关的语法元素、二次变换相关的语法元素、或耦合的主变换和二次变换相关语法元素中的至少一个进行熵编码的上下文。
在一个实施例中，基于块的宽度、块的高度、块的宽高比、块的面积大小、亮度分量或色度分量来选择默认变换类型。
在一个实施例中，默认变换类型包括DCT-2、DST-7或DST-4。
在一个实施例中，当帧内预测模式是DM模式并且变换类型包括色度分量的主变换类型时，预定条件得到满足。
在一个实施例中，当帧内预测模式不是LM模式、且变换类型包括色度分量的主变换类型时，预定条件得到满足。
在一个实施例中，响应于对所述预定条件得到满足的确定，在编码视频码流中以信号表示变换跳过标志。
尽管图1示出了过程100的示例块，但是在一些实现方式中，过程100可以包括与图1中描绘的那些块相比更多的块、更少的块、不同的块或不同排列的块。另外或替代性地，可以并行执行过程100的两个或更多个块。
各实施例还提供一种用于表示变换类型的设备。所述变换类型用于对编码视频码流中的当前块进行编码。所述设备包括：
确定模块，用于确定所述当前块的帧内预测模式；及
类型标识模块，用于当确定所述帧内预测模式满足预定条件时，，在所述编码视频码流中以信号表示所述变换类型；当确定所述帧内预测模式不满足预定条件时，所述变换类型包括默认变换类型，不在编码视频码流中以信号表示所述变换类型。
各实施例中，所述变换类型包括主变换类型或二次变换类型中的至少一个。
一些实施例中，当所述帧内预测模式是所述当前块的最可能模式(MPM)时，所述帧内预测模式满足所述预定条件，并在所述编码视频码流中以信号表示MPM标志。
另一些实施例中，当所述帧内预测模式是DM模式时，所述帧内预测模式满足所述预定条件，且在所述编码视频码流中以信号表示所述变换类型包括色度分量的主变换类型。
又一些实施例中，当所述帧内预测模式不是LM模式时，确定所述帧内预测模式满足所述预定条件，且在所述编码视频码流中以信号表示所述变换类型包括色度分量的主变换类型；或
再一些实施例中，当确定所述帧内预测模式满足所述预定条件时，在所述编码视频码流中以信号表示变换跳过标志。
各实施例中，所述类型标识模块用于，基于块的宽度、块的高度、块的宽高比、块的面积大小、亮度分量和色度分量中的至少一个来选择所述默认变换类型。
图2示出本公开实施例的通信系统(200)的简化框图。系统(200)可包括通过网络(250)互联的至少两个终端(210-220)。对于单向数据传输，第一终端(210)可在本地位置编码视频数据，用于经网络(250)传输至另一终端(220)。第二终端(220)可从网络(250)接收另一终端的编码视频数据，解码该编码数据并显示恢复出的视频数据。单向数据传输常用于媒体服务应用等。
图2示出第二对终端(230，240)，可以支持编码视频的双向传输，例如，在视频会议期间。对于双向数据传输，每个终端(230，240)可对在本地位置拍摄的视频数据进行编码，以便通过网络(250)传输至另一终端。每个终端(230，240)还可接收由另一终端传输的编码视频数据，可解码该编码数据，并可在本地显示器设备显示恢复出的视频数据。
在图2中，终端(210-240)可以被示为服务器、个人计算机和智能电话，但是本申请的原理不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(250)表示任何数量的网络，可以在终端(210-240)之间传输编码视频数据，可以包括，例如，有线和/或无线通信网络。通信网络(250)可在电路交换和/或包交换的信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。为本文讨论的目的，除非有明确说明，网络(250)的体系结构和拓扑与本公开的操作无关。
作为本公开主题的应用示例，图3示出一种在流媒体环境下视频编码器和解码器的部署方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
流媒体系统可包括采集子系统(313)，所述采集子系统可包括数码相机等视频源(301)，所述视频源创建，例如，未压缩的视频采样流(302)。采样流(302)(用粗线表示，以在与编码视频码流相比时强调高数据量)可由耦合于照相机(301)的编码器(303)来处理。编码器(303)可包括硬件、软件或其组合，以使能或实现如下文详细描述的本公开主题的各方面。编码视频比特流(304)(用细线表示，以在与采样流相比时强调较低的数据量)可存储于流媒体服务器(305)以供后续使用。一个或多个流媒体客户端(306、308)可访问流媒体服务器(305)，以检索编码视频码流(304)的副本(307、309)。客户端(306)可包括视频解码器(310)，其解码编码视频码流(307)的传入副本并创建可在显示器(312)或其它呈现设备(未描绘)上呈现的传出视频采样流(311)。在一些流媒体系统中，可以根据某些视频编码/压缩标准对视频码流(304、307、309)进行编码。这些标准的例子包括ITU-T建议H.265。正在开发的是非正式地称为多功能视频编码(VVC)的视频编码标准。所公开的主题可以在VVC的上下文中使用。
图4可以是根据本发明实施例的视频解码器(310)的功能框图。
接收器(410)可以接收要由解码器(310)解码的一个或多个编解码器视频序列；在相同或另一实施例中，每次一个编码视频序列，其中每个编码视频序列的解码独立于其它编码视频序列。可从信道(412)接收已编码视频序列，该信道(412)可为到存储装置的硬件/软件链路，该存储设备存储已编码的视频数据。接收器(410)可以接收已编码视频数据和其它数据，例如编码的音频数据和/或辅助数据流，它们可以被转发到它们各自的使用实体(未示出)。接收器(410)可以将编码的视频序列与其它数据分离。为了对抗网络抖动，缓冲存储器(415)可以耦合在接收器(410)和熵解码器/解析器(420)之间(此后称为“解析器”)。当接收器(410)正在从具有足够带宽和可控性的存储/转发设备或从同步网络接收数据时，可能不需要缓冲存储器(415)，或缓冲存储器(415)可以较小。为了在诸如因特网的尽力而为分组网络上使用，可能需要缓冲存储器(415)，缓冲存储器(415)可以相对较大并且可以有利地具有自适应的大小。
视频解码器(310)可以包括解析器(420)，用于从熵编码视频序列重构符号(421)。这些符号的类别包括用于管理解码器(310)操作的信息，还可能包括用于控制诸如显示器(312)的呈现设备的信息，该呈现设备不是解码器的组成部分，但是可以耦合到解码器，如图4所示。用于呈现设备的控制信息可以是补充增强信息(SEI消息)或视频可用性信息(VUI)参数集片段(未示出)的形式。解析器(420)可以解析/熵解码所接收的编码视频序列。编码视频序列的编码可根据视频编码技术或标准，且可遵循所属领域的技术人员众所周知的原理，包括可变长度编码、霍夫曼编码、具有或不具有上下文敏感性的算术编码等。解析器(420)可以基于与该组相对应的至少一个参数，从编码视频序列中提取视频解码器中的像素的子组中的至少一个像素子组的子组参数集。子组可以包括图像组(GOP)、图像、图块(tile)、分片(slice)、宏块(macroblock)、编码单元(CU)、块、变换单元(TU)、预测单元(PU)等。熵解码器/解析器还可以从编码视频序列中提取诸如变换系数、量化器参数(QP)值、运动向量等信息。
解析器(420)可以对从缓冲存储器(415)接收的视频序列执行熵解码/解析操作，以便创建符号(421)。解析器(420)可以接收编码数据，并且选择性地解码特定符号(421)。此外，解析器(420)可以确定是否将特定符号(421)提供给运动补偿预测单元(453)、定标器/逆变换单元(451)、帧内预测单元(452)或环路滤波器(456)。
符号(421)的重构可以包括多个不同的单元，这取决于编码视频图像或其部分的类型(例如：帧间和帧内图像，帧间和帧内块)以及其它因素。涉及哪些单元以及涉及方式可由解析器(420)从已编码视频序列解析的子组控制信息控制。为了清楚起见，下面没有描述解析器(420)和多个单元之间的这种子组控制信息流。
除了已经提到的功能块之外，解码器(310)可以在概念上被细分为如下所述的多个功能单元。在商业约束下操作的实际具体实施中，这些单元中的许多彼此紧密地交互，并且可以至少部分地彼此集成。然而，为了描述所公开的主题，以下功能单元的概念细分是适当的。
第一单元是定标器/逆变换单元(451)。定标器/逆变换单元(451)从解析器(420)接收量化的变换系数以及控制信息，包括使用何种变换、块的大小、量化因子、量化缩放矩阵等，这些均作为符号(621)。它可以输出包括采样值的块，这些块可以被输入到聚合器(455)中。
在一些情况下，定标器/逆变换单元(451)的输出采样可以属于帧内编码块；即：不使用来自先前重建图像的预测信息，但是可以使用来自当前图像的先前重建部分的预测信息的块。这种预测信息可以由帧内图像预测单元(452)提供。在一些情况下，帧内图像预测单元(452)使用从当前(部分重建的)图像获取的周围已经重建的信息来生成与正在重建的块的大小和形状相同的块(456)。在一些情况下，聚合器(455)在每个采样的基础上将帧内预测单元(452)已经生成的预测信息添加到由定标器/逆变换单元(451)提供的输出采样信息。
在其它情况下，定标器/逆变换单元(451)的输出采样可属于经帧间编码且可能经运动补偿的块。在这种情况下，运动补偿预测单元(453)可以访问参考图像存储器(457)以获取用于预测的采样。在根据属于该块的符号(421)对所提取的采样进行运动补偿之后，这些采样可以由聚合器(455)添加到定标器/逆变换单元的输出(在这种情况下称为残差采样或残差信号)，以便生成输出采样信息。运动补偿单元获取的预测采样在参考图像存储器内的地址可以由运动向量控制，运动补偿单元可以得到具有符号(421)形式的该运动向量，符号(421)可以具有，例如，X、Y和参考图像分量。在使用子采样精确运动向量时，运动补偿还可以包括从参考图像存储器获取的采样值的插值操作、运动向量预测机制等。
聚合器(455)的输出采样可以在环路滤波器单元(456)中经各种回路滤波技术处理。视频压缩技术可以包括回路内滤波器技术，该回路内滤波器技术由包括在编码视频码流中的参数来控制并且作为来自解析器(420)的符号(421)由环路滤波器单元(456)获得，还可以响应于在对编码图像或编码视频序列的先前(以解码顺序)部分进行解码的期间获得的元信息，以及响应于先前重建的并经过回路滤波的采样值。
环路滤波器单元(456)的输出可以是可输出到呈现设备(312)也可存储在参考图像存储器(457)中的采样流，以用于将来的图像间预测。
一旦被完全重建，一些编码图像可在后续预测中用作参考图像。一旦编码图像被完全重建并且编码图像已经被识别为参考图像(例如由解析器(420))，则当前参考图像(656)可以成为参考图像缓冲存储器(457)的一部分，并且可以在开始对后续编码图像进行重建之前重新分配新的当前图像存储器(458)。
视频解码器(310)可根据标准中记载的预定义视频压缩技术，如ITU-TRec.H.265，来执行解码操作。编码视频序列可遵循如视频压缩技术文档或标准中，特别是其概要文档中，指定的视频压缩技术或标准的语法，从这个意义上来说，编码视频序列遵循所使用的视频压缩技术或标准指定的语法。对于合规性，还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，各等级对最大图像尺寸、最大帧率、最大重建采样率(例如以每秒兆次采样测量)、最大参考图像尺寸等进行了限制。在一些情况下，等级设置的限制可进一步通过假设参考解码器(HypotheticalReferenceDecoder，HRD)规范和编码视频序列中指示的HRD缓存管理的元数据来限定。
在一个实施例中，接收器(410)可连同已编码视频一起接收附加(冗余)数据。附加数据可以是编码视频序列的一部分。附加数据可由视频解码器(310)用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可以是，例如，时间、空间或信噪比(signalnoiseratio，SNR)增强层、冗余切片、冗余图像、前向纠错码等形式。
图5可以是根据本发明实施例的视频解码器(303)的功能框图。
编码器(303)可从视频源(301)(并非编码器的一部分)接收视频采样，视频源(303)可采集将由编码器(303)编码的视频图像。
视频源(301)可以以数字视频采样流的形式提供将由编码器(303)编码的源视频序列，该数字视频采样流可以具有任何合适的比特深度(例如：8位、10位、12位……)、任何颜色空间(例如BT.601YCrCb、RGB……)和任何合适的采样结构(例如YCrCb4：2：0、YCrCb4：4：4)。在媒体服务系统中，视频源(301)可以是存储先前已准备好的视频的存储设备。在视频会议系统中，视频源(303)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图像，当按顺序观看时，这些图像呈现出运动效果。图片自身可构建为空间像素阵列，其中取决于所用的取样结构、色彩空间等，每个像素可包括一个或多个样本。本领域技术人员可以很容易理解像素和采样之间的关系。下文侧重于描述样本。
根据实施例，编码器(303)可实时或在应用需要的任何其它时间约束下，对源视频序列的图像进行编码并压缩为编码视频序列(543)。施行适当的编码速度是控制器(550)的一个功能。控制器控制如下所述的其它功能单元并且功能性地耦合到这些单元。为清楚起见，图中未标示耦接。由控制器设置的参数可以包括速率控制相关参数(图像跳跃、量化器、速率失真优化技术的λ值……)、图像大小、图像组(GOP)布局、最大运动向量搜索范围等。本领域技术人员很容易理解控制器(550)具有的其它功能，这些功能属于针对特定系统设计而优化的视频编码器(303)。
一些视频编码器以本领域技术人员容易认识到的“编码回路”操作。作为过度简化的描述，编码回路可以包括编码器(530)的编码部分(此后称为“源编码器”)(负责基于要编码的输入图像和参考图像创建符号)，以及嵌入编码器(303)中的(本地)解码器(533)，该解码器(533)重建符号以创建(远程)解码器也会创建的采样数据(因为在所公开的主题中所考虑的视频压缩技术中，符号与编码视频码流之间的任何压缩是无损的)。重建的采样流可输入到参考图像存储器(534)。由于符号流的解码产生与解码器位置(本地或远程)无关的比特级精确结果，因此参考图像存储器中的内容在本地编码器与远程编码器之间也是按比特位精准对应的。换言之，编码器的预测部分“看到”的参考图像采样与解码期间使用预测时所“看到”的采样值完全相同。参考图像同步性(以及如果(例如由于信道误差)不能保持同步性，而导致的漂移)的基本原理是本领域技术人员公知的。
“本地”解码器(533)的操作可以与上面已经结合图4详细描述的“远程”解码器(310)的操作相同。然而，还是简要地参考图5，由于符号可用，并且由熵编码器(545)和解析器(420)对编码视频序列的符号的解码可以是无损的，所以解码器(310)的熵解码部分，包括信道(412)、接收器(410)、缓冲存储器(415)和解析器(420)，可能不能完全在本地解码器(533)中实现。
此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式存在于对应的编码器中。可简化编码器技术的描述，因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述，并且在下文提供。仅在一些区域中需要更详细的描述，如下文所述。
作为其操作的一部分，源解码器(530)可执行运动补偿预测编码，参考视频序列中一个或多个先前编码的帧(称为“参考帧”)对输入帧进行预测性编码。以此方式，编码引擎(532)对输入帧的像素块和参考帧的像素块之间的差异进行编码，参考帧可被选择作为输入帧的预测参考。
本地视频解码器(533)可基于源编码器(530)创建的符号，对指定的参考帧的编码视频数据进行解码。有利地，编码引擎(532)的操作可以是有损过程。当已编码视频数据可在视频解码器(图5中未示)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(533)复制可由视频解码器对参考帧执行的解码过程，且可使得重建的参考帧存储在参考图像缓存(534)中。以此方式，编码器(303)可在本地存储重建的参考帧的副本，所述副本与将由远端视频解码器获得的重建参考帧具有共同内容(不存在传输误差)。
预测器(535)可针对编码引擎(532)执行预测搜索。即，对于将要编码的新帧，预测器(535)可在参考图像存储器(534)中搜索适合作为新图像的预测参考的采样数据(作为候选参考像素块)或一些元数据，如参考图像运动矢量、块的形状等。预测器(535)可对采样块逐像素块进行处理，以找到合适的预测参考。在一些情况下，根据预测器(535)获得的搜索结果，输入图像可具有从存储于参考图像存储器(534)中存储的多个参考图像取得的预测参考。
控制器(550)可管理视频编码器(530)的编码操作，包括，例如，设置用于编码视频数据的参数和子组参数。
可在熵编码器(545)中对所有上述功能单元的输出进行熵编码。熵编码器根据例如哈夫曼编码、可变长度编码、算术编码等本领域技术人员已知的技术对各种功能单元生成的符号进行无损压缩，从而将所述符号变换成编码视频序列。
传输器(540)可缓冲由熵编码器(545)创建的编码视频序列，从而为通过通信信道(560)进行传输做准备，该通信信道(460)可以是通向存储编码视频数据的存储设备的硬件/软件链路。传输器(540)可将来自视频编码器(530)的编码视频数据与将要传输的其它数据合并，其它数据可以是，例如，编码音频数据和/或辅助数据流(未示出来源)。
控制器(550)可管理视频编码器(303)的操作。在编码期间，控制器(550)可以为每个编码图像分配编码图像类型，该编码图像类型能够影响可应用于相应图像的编码技术。例如，通常可以将图像指定为以下帧类型之一：
内部图像(I图像)可以是不需要利用序列中其它任何帧作为预测源进行编码和解码的图像。一些视频编解码器允许不同类型的帧内图像，包括例如独立解码器刷新图像(IndependentDecoderRefreshPictures)。本领域技术人员知晓I图像的变型及其相应应用和特征。
预测图像(P图像)可以是可以使用帧内预测或帧间预测来编码和解码的图像，帧内预测或帧间预测使用至多一个运动向量和参考索引来预测每个块的采样值。
双向预测图像(B图像)可以是可以使用帧内预测或帧间预测来编码和解码的图像，帧内预测或帧间预测使用至多两个运动向量和参考索引来预测每个块的采样值。类似地，多个预测性图像可使用多于两个参考图像和相关元数据以重建单个块。
源图像通常可以在空间上细分为多个采样块(例如，每个采样为4×4、8×8、4×8或16×16的块)，并且在逐块的基础上编码。这些块可参考其它(已编码的)块进行预测编码，其它块可以根据应用于块的相应图像的编码任务来确定。例如，I图像的块可进行非预测编码，或可参考同一图像的已编码的块来进行预测编码(空间预测或帧内预测)。P图像的像素块可参考一个先前编码的参考图像进行空间预测或时域预测进行非预测编码。B图像的块可参考一个或两个先前编码的参考图像，通过空间预测或时域预测进行非预测编码。
视频编码器(303)可根据如ITU-TRec.H.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器(303)可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此，编码视频数据可符合所使用的视频编码技术或标准指定的语法。
在实施例中，传输器(540)可传输附加数据和已编码的视频。视频编码器(530)可将此类数据作为编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、冗余图像和切片等其它形式的冗余数据、补充增强信息(EnhancementInformation，SEI)消息、可视可用性信息(VisualUsabilityInformation，VUI)参数集片段等。
此外，所提出的方法可以由处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现。在一个实例中，一个或多个处理器执行存储在非暂时性计算机可读介质中的程序以执行所提议的方法中的一种或多种。
上述技术可以使用计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图6示出了适于实现所公开主题的某些实施例的计算机系统600。
计算机软件可利用任何合适的机器代码或计算机语言来编码，可采用汇编、编译、链接或类似机制生成指令代码。这些指令代码可由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过代码解释、微代码执行等操作来执行。
这些指令可在多种类型的计算机或计算机组件中执行，包括，例如，个人计算机、平板电脑、服务器、智能电话、游戏设备、物联网设备等。
图6所示的计算机系统600的部件本质上是示例性的，并不旨在对实现本申请的实施例的计算机软件的使用范围或功能提出任何限制。也不应将组件的构造解释为对计算机系统600的示例性实施例中所说明的部件中的任一者或组合具有任何依赖性或要求。
计算机系统600可以包括某些人机界面输入设备。这样的人机界面输入设备可以响应于一个或多个人类用户通过例如触觉输入(诸如键击、挥动、数据手套移动)、音频输入(诸如语音、拍击)、视觉输入(诸如姿势)、嗅觉输入(未示出)的输入。人机界面设备还可用于捕捉不必直接与人类有意识输入相关的某些介质，例如音频(诸如语音、音乐、环境声音)、图像(诸如扫描的图像、从静止图像相机获得的摄影图像)、视频(诸如二维视频，包括立体视频的三维视频)。
人机界面输入设备可包括以下项中的一种或多种(每一种仅描绘一个)：键盘601、鼠标602、触控板603、触摸屏610、数据手套(未示出)、操纵杆605、麦克风606、扫描仪607、照相机608。
计算机系统600还可以包括某些人机界面输出设备。这样的人机界面输出设备可以通过例如触觉输出、声音、光和气味/味道来刺激一个或多个人类用户的感觉。这种人机界面输出设备可以包括触觉输出设备(例如通过触摸屏610、数据手套或操纵杆605的触觉反馈，但是也可以有不用作输入设备的触觉反馈设备)、音频输出设备(诸如扬声器609、耳机(未示出))、可视输出设备以及打印机(未示出)，其中可视输出设备诸如屏幕610、虚拟现实眼镜(未示出)、全息显示器和烟雾箱(未示出)，屏幕610包括阴极射线管(CRT)屏幕、液晶显示器(LCD)屏幕、等离子屏幕、有机发光二极管(OLED)屏幕，每一种都具有或不具有触摸屏输入能力，每一种都具有或不具有触觉反馈能力，这些屏幕中的一些能够通过手段(诸如立体图像输出)输出二维可视输出或多于三维的输出。
计算机系统600还可以包括人类可访问的存储设备及其相关联的介质，诸如光学介质(包括具有CD/DVD的CD/DVDROM/RW620)或类似介质621、拇指驱动器622、可移动硬盘驱动器或固态驱动器623、传统磁介质(诸如磁带和软盘(未示出))、基于专用ROM/ASIC/PLD的设备(诸如安全道尔芯片(未示出))，等等。
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。
计算机系统600还可以包括连接一个或多个通信网络(655)的接口(654)。网络(655)例如可以是无线网络、有线网络、光网络。网络还可以是本地网、广域网、城域网、车联网的和工业网络、实时网络、延迟容忍网络等等。网络的示例包括局域网(诸如以太网、无线LAN)、蜂窝网络(包括全球移动通信系统(GSM)、第三代(3G)、第四代(4G)、第五代(5G)、长期演进(LTE)等)、电视有线或无线广域数字网络(包括有线电视、卫星电视和地面广播电视)、车辆和工业网络(包括CANBus)，等等。某些网络通常需要外部网络接口适配器，该外部网络接口适配器连接到某些通用数据端口或外围总线(649)(诸如计算机系统600的通用串行总线(USB)端口)；其他的通常通过如下所述连接到系统总线而集成到计算机系统600的核心中(例如，进入个人计算机系统的以太网接口或进入智能手机计算机系统的蜂窝网络接口)。通过使用这些网络中的任何一个，计算机系统600可以与其它实体通信。这种通信可以是使用局域或广域数字网络的到其它计算机系统的单向的、仅接收的(例如广播TV)、单向仅表示的(例如到某些CAN总线设备的CAN总线)或双向的通信。可以在如上所述的那些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机界面设备、人类可访问存储设备和网络接口可以连接到计算机系统600的核心640。
核心640可以包括一个或多个中央处理单元(CPU)641、图形处理单元(GPU)642、以现场可编程门阵列(FPGA)643形式存在的专用可编程处理单元、用于特定任务的硬件加速器644等。这些设备与只读存储器(ROM)645、随机存取存储器(RAM)646、内部大容量存储器(诸如内部非用户可访问硬盘驱动器)、固态驱动器(SSD)等647一起可以通过系统总线648连接。在一些计算机系统中，系统总线648可以以一个或多个物理插头的形式访问，从而使得通过附加CPU、GPU等能够进行扩展。外围设备可直接附接到核心的系统总线648上，或通过外围总线649附接到核心的系统总线648上。外围总线的体系结构包括外围部件互连(PCI)、USB等。系统总线648可通过图形适配器650耦接到屏幕610。
CPU641、GPU642、FPGA643和加速器644可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM645或RAM646中。过渡数据也可以存储在RAM646中，而永久数据可以存储在例如内部大容量存储器647中。通过使用高速缓冲存储器可实现对任何内存设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU(641)、GPU(642)、大容量存储器(647)、ROM(645)、RAM(646)等紧密关联。
计算机可读介质上可以具有计算机代码，在计算机代码上执行各种计算机执行的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
作为示例而非限制，具有体系结构600的计算机系统，特别是核心(640)，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供功能，从而执行包括在一个或多个有形的计算机可读介质中的软件。这种计算机可读介质可以是与如上所述的用户可访问的大容量存储器相关联的介质，以及具有非瞬态性质的核心640的某些存储器，诸如核心内部大容量存储器647或ROM645。实现本申请的各种实施例的软件可以存储在这种设备中并由核心640来执行。根据特定需要，计算机可读介质可包括一个或多个存储器设备或芯片。软件可致使核心640，具体地是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括界定存储在RAM646中的数据结构并根据软件所界定的过程修改这种数据结构。另外或作为替代，计算机系统可提供作为逻辑硬连线或以其它方式包括在电路(例如加速器644)中的功能，该电路可代替软件或与软件一起操作以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包括执行逻辑的电路，或两者兼备。本申请包括硬件和软件的任何适当组合。
虽然本申请已对多个示例性实施例进行了描述，但实施例的各种变更、置换和各种替代属于本申请的范围内。因此应理解，本领域技术人员能够设计多种系统和方法，所述系统和方法虽然未在本文中明确展示或描述，但其体现了本申请的原则，因此属于本申请的精神和范围之内。

Claims (12)

1.一种变换类型的表示方法，其特征在于，所述变换类型用于对编码视频码流中的当前块进行编码，所述方法包括：
确定所述当前块的帧内预测模式；及
当确定所述帧内预测模式满足预定条件时，在所述编码视频码流中以信号表示所述变换类型，及
当所述帧内预测模式不满足所述预定条件时，确定所述变换类型包括默认变换类型，并且不在编码视频码流中以信号表示所述变换类型；
其中，确定所述帧内预测模式满足预定条件包括以下之一：
当所述帧内预测模式是所述当前块的最可能模式(MPM)时，确定所述帧内预测模式满足所述预定条件，并在所述编码视频码流中用信号表示MPM标志；
当所述帧内预测模式是DM模式时，确定所述帧内预测模式满足所述预定条件，且在所述编码视频码流中以信号表示所述变换类型包括色度分量的主变换的变换类型；
当所述帧内预测模式不是LM模式时，确定所述帧内预测模式满足所述预定条件，且在所述编码视频码流中以信号表示所述变换类型包括色度分量的主变换的变换类型。
2.根据权利要求1所述的方法，其特征在于，所述变换类型包括主变换的变换类型和二次变换的变换类型中的至少一个。
3.根据权利要求1所述的方法，其特征在于，所述MPM标志的值被用作对主变换相关的语法元素、二次变换相关的语法元素、或耦合的主变换和二次变换的相关语法元素进行熵编码的上下文。
4.根据权利要求1所述的方法，其特征在于，基于块的宽度、块的高度、块宽高比、块的面积大小、亮度分量和色度分量中的至少一个来选择所述默认变换类型。
5.根据权利要求1所述的方法，其特征在于，所述默认变换类型包括DCT-2、DST-7和DST-4中的至少一个。
6.根据权利要求1所述的方法，其特征在于，当确定所述帧内预测模式满足预定条件时，进一步包括：
在所述编码视频码流中以信号表示变换跳过标志。
7.一种用于表示变换类型的设备，其特征在于，所述变换类型用于对编码视频码流中的当前块进行编码，所述设备包括：
确定模块，用于确定所述当前块的帧内预测模式；及
类型标识模块，用于当确定所述帧内预测模式满足预定条件时，在所述编码视频码流中以信号表示所述变换类型；当所述帧内预测模式不满足所述预定条件时，所述变换类型包括默认变换类型，不在编码视频码流中以信号表示表示所述变换类型；
其中，所述类型标识模块用于执行以下之一：
当所述帧内预测模式是所述当前块的最可能模式(MPM)时，确定所述帧内预测模式满足所述预定条件，并在所述编码视频码流中用信号表示MPM标志；
当所述帧内预测模式是DM模式时，确定所述帧内预测模式满足所述预定条件，且在所述编码视频码流中以信号表示所述变换类型包括色度分量的主变换的变换类型；
当所述帧内预测模式不是LM模式时，确定所述帧内预测模式满足所述预定条件，且在所述编码视频码流中以信号表示所述变换类型包括色度分量的主变换的变换类型。
8.根据权利要求7所述的设备，其中，所述变换类型包括主变换的变换类型和二次变换的变换类型中的至少一个。
9.根据权利要求7所述的设备，其中，
当确定所述帧内预测模式满足所述预定条件时，在所述编码视频码流中表示变换跳过标志。
10.根据权利要求7所述的设备，其中，所述类型标识模块用于，基于块的宽度、块的高度、块的宽高比、块的面积大小、亮度分量和色度分量中的至少一个来选择所述默认变换类型。
11.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机可读指令，所述指令可由所述处理器执行用于实现根据权利要求1-6中任一权利要求所述的方法。
12.一种非暂时性计算机可读介质，存储有指令，其特征在于，所述指令包括一个或多个指令，当由表示变换类型的设备的一个或多个处理器执行所述一个或多个指令时，所述变换类型用于对编码视频码流中的当前块进行编码，所述一个或多个指令使所述一个或多个处理器执行如权利要求1-6任一项所述的方法。
CN201910590038.1A 2018-07-09 2019-07-02 变换类型的表示方法和设备 Active CN110708558B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862695395P 2018-07-09 2018-07-09
US62/695,395 2018-07-09
US16/206,109 US10701358B2 (en) 2018-07-09 2018-11-30 Mode dependent primary and secondary transforms
US16/206,109 2018-11-30

Publications (2)

Publication Number Publication Date
CN110708558A CN110708558A (zh) 2020-01-17
CN110708558B true CN110708558B (zh) 2023-03-10

Family

ID=69102387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910590038.1A Active CN110708558B (zh) 2018-07-09 2019-07-02 变换类型的表示方法和设备

Country Status (2)

Country Link
US (1) US10701358B2 (zh)
CN (1) CN110708558B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259052B2 (en) * 2018-07-16 2022-02-22 Qualcomm Incorporated Transform variations of multiple separable transform selection
US11051029B2 (en) * 2018-11-05 2021-06-29 FG Innovation Company Limited Device and method for coding video data
KR20210108389A (ko) * 2019-01-02 2021-09-02 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 크로마 인트라 예측 방법, 장치 및 컴퓨터 저장 매체
CN113574880B (zh) * 2019-03-13 2023-04-07 北京字节跳动网络技术有限公司 关于子块变换模式的分割
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
CN111832700A (zh) * 2020-06-01 2020-10-27 北京百度网讯科技有限公司 条件对抗网络的训练方法、装置、电子设备和存储介质
EP4346201A1 (en) * 2022-09-27 2024-04-03 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171370A1 (ko) * 2016-03-28 2017-10-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2017191782A1 (en) * 2016-05-04 2017-11-09 Sharp Kabushiki Kaisha Systems and methods for coding transform data
WO2018101288A1 (ja) * 2016-12-01 2018-06-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、符号化方法、復号装置および復号方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10448011B2 (en) * 2016-03-18 2019-10-15 Mediatek Inc. Method and apparatus of intra prediction in image and video processing
US10547854B2 (en) * 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171370A1 (ko) * 2016-03-28 2017-10-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2017191782A1 (en) * 2016-05-04 2017-11-09 Sharp Kabushiki Kaisha Systems and methods for coding transform data
WO2018101288A1 (ja) * 2016-12-01 2018-06-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、符号化方法、復号装置および復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Prediction dependent transform for intra and inter frame coding,JVET-J0064;Yongbing Lin等;《Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting》;20180415;全文 *

Also Published As

Publication number Publication date
US20200014924A1 (en) 2020-01-09
US10701358B2 (en) 2020-06-30
CN110708558A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
US11265565B2 (en) Method and apparatus for video coding
US11259039B2 (en) Method and apparatus for prediction and transform for small blocks
CN113039795B (zh) 对视频序列解码或编码中的残差编解码进行控制的方法和装置
US20210337191A1 (en) Method and apparatus for multiple line intra prediction in video compression
CN110248196B (zh) 用于调色板编解码的方法和设备
CN110324619B (zh) 变换信息预测
CN112514393B (zh) 解码视频序列的方法、装置和存储介质
CN110708558B (zh) 变换类型的表示方法和设备
CN113614736A (zh) 视频编解码的方法和装置
CN111988619B (zh) 视频编解码方法、装置、计算机设备和存储介质
CN110719477B (zh) 视频编解码的方法、装置、计算机设备及计算机可读存储介质
CN113228659A (zh) 帧内模式编码的方法和装置
CN113615187A (zh) 用于改进的隐式变换选择的方法和装置
US20230319268A1 (en) Wide-angle intra prediction for non-square block
CN113228661A (zh) 用于对帧内-帧间预测模式进行改进的方法和装置
CN113557724A (zh) 视频编解码的方法和装置
CN112005549B (zh) 一种帧内-帧间预测控制方法、装置、设备及存储介质
CN113424546A (zh) 用于预测模式和已编码块标志(cbf)的进一步改进的上下文设计的方法和装置
CN112840657B (zh) 用于视频解码的方法、装置、设备和可读介质
US20220030279A1 (en) Method and apparatus for improved compound orthonormal transform
CN113597763A (zh) 视频编解码的方法及装置
US20220201307A1 (en) Method and apparatus for video coding
CN113424532A (zh) 视频编解码方法和装置
CN112235573B (zh) 视频编解码的方法、装置、电子设备、存储介质
CN113574896A (zh) 改进的最可能模式列表生成方案

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant