CN116320417A - 视频编码方法和装置 - Google Patents

视频编码方法和装置 Download PDF

Info

Publication number
CN116320417A
CN116320417A CN202210575206.1A CN202210575206A CN116320417A CN 116320417 A CN116320417 A CN 116320417A CN 202210575206 A CN202210575206 A CN 202210575206A CN 116320417 A CN116320417 A CN 116320417A
Authority
CN
China
Prior art keywords
mode
coding
modes
encoding
residual data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210575206.1A
Other languages
English (en)
Inventor
赖贞延
陈庆晔
庄子德
徐志玮
陈俊嘉
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN116320417A publication Critical patent/CN116320417A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

用于频域模式判定的视频编码方法和装置包括：接收当前块的残差数据，对残差数据测试多个编码模式，在频域中计算与每个编码模式相关联的失真，执行模式判定以根据频域中计算的失真从测试的编码模式中选出最佳编码模式，以及根据最佳编码模式对当前块进行编码。

Description

视频编码方法和装置
相关引用
本申请要求分别在2021年11月21日递交的申请号为63/291,968，标题为“Frequency Domain Mode Decision”的美国临时申请案的优先权。上述全部内容以引用方式并入本发明。
技术领域
本发明涉及用于视频编码的视频数据处理方法和装置，更具体地，本发明涉及视频编码中的频域模式判定。
背景技术
通用视频编解码(Versatile Video Coding，简称VVC)标准是由来自ITU-T研究组的视频编解码专家的视频编解码联合协作组(Joint Collaborative Team on VideoCoding，简称JCT-VC)组开发的最新视频编解码标准。VVC标准继承了以前的高效视频编解码(High Efficiency Video Coding，简称HEVC)标准，该标准依赖于基于块的编解码结构，其中每个视频图片包含一个或一组切片，每个切片被划分为整数个编解码树单元(CodingTree Units，简称CTU)。切片中的各个CTU根据光栅扫描顺序进行处理。每个CTU进一步递归地划分为一个或多个编解码单元(Coding Unit，简称CU)，以适应各种局部运动和纹理特征。预测判定是在CU级别做出的，其中每个CU根据根据率失真优化(Rate DistortionOptimization，简称RDO)技术选择的最佳编码模式进行编码。视频编码器在最大化编码质量和最小化比特率方面详尽地尝试多个模式组合以选择最佳编码模式用于每个CU。指定的预测处理被用来预测每个CU内相关像素样本的值。残差信号是原始像素样本与CU预测值之间的差值。在得到预测过程产生的残差信号后，属于CU的残差信号的残差数据被变换为变换系数，用于紧凑的数据表示。这些变换系数被量化以及被传送到解码器。术语编解码树块(Coding Tree Block，简称CTB)和编解码块(Coding Block，简称CB)被定义为分别指定与CTU和CU相关联的一种颜色分量的二维样本数组。例如，一个CTU由一个亮度(luma,Y)CTB、两个色度(chroma,Cb和Cr)CTB及其相关的语法元素组成。
在视频编码器中，CU的视频数据可以由低复杂度(Low-Complexity，简称LC)RDO级随后是高复杂度(High-Complexity，简称HC)RDO级来计算。例如，预测在低复杂度RDO级执行以计算率失真(Rate Distortion，简称RD)成本，而差分脉冲编码调制(DifferentialPulse Code Modulation，简称DPCM)在高复杂度RDO级执行以计算RD成本。例如，在低复杂度RDO级，与应用于CU的预测模式相关的失真值(例如绝对变换差和(Sum of AbsoluteTransform Difference，简称SATD)或绝对差和(Sum of Absoluate Difference，简称SAD))被计算以确定CU的最佳预测模式。在高复杂度RDO级，预测模式的失真通过比较重构残差信号和输入残差信号来计算。相应预测模式的RD成本通过将残差信号的比特成本与失真相加导出。如图1所示，通过变换操作12、量化操作14、逆量化操作16和逆变换操作18对输入的残差信号进行处理，重构的残差信号被生成。在许多视频编解码标准中，II类离散余弦变换(type II Discrete Cosine Transform，简称DCT-II)是应用于变换操作12的变换技术，II型逆DCT(type II inverse Discrete Cosine Transform，简称invDCT-II)是应用于逆变换操作18的逆变换技术。在视频编码器中，N组变换、量化、逆量化和逆变换硬件电路被需要来同时测试N个预测模式，其中N是大于1的整数。为了简化一组预测模式的模式判定下，低复杂度RDO被执行以检查与各个预测模式相关的预测子。然而，低复杂度RDO不适用于所有模式的预测子都相同的预测模式组。这个预测模式组的模式判定只能通过执行高复杂度的RDO来确定具有最低RD成本的最佳预测模式。
发明内容
在根据本发明的视频编码方法的各个实施例中，视频编码系统接收当前块的残差数据，对当前块的残差数据测试N个编码模式，在频域中计算与每个编码模式相关联的失真，根据频域中计算的失真进行模式判定，以从测试的编码模式中选择最佳编码模式，以及基于该最佳编码模式对当前块进行编码。N是大于1的正整数。在本发明的一些实施例中，根据频域中计算的失真和N个测试编码模式的率，最佳编码模式被选择。本发明实施例在高复杂度RDO级进行模式判定，以通过比较量化和逆量化前后的频域残差数据来计算频域失真。与N个编解码模式相关的当前块的多个预测子是相同的，在一些实施例中，与视频编解码系统中测试的与N个编码模式相关的残差数据也是相同的。例如，在当前块的残差数据上测试N个编码模式，包括将残差数据变换为变换系数，将量化应用于每个编码模式的变换系数以生成量化级别，以及将逆量化应用于每个编码模式的量化级别；对当前块进行编码包括对将逆变换应用于与最佳编码模式相关的重构变换系数以生成当前块的重构残差数据。与每个编码模式相关的失真通过比较每个编码模式的变换系数和重构变换系数来计算。根据一个实施例，逆变换在执行模式判定之后被应用，以及仅与最佳编码模式相关的重构变换系数被执行逆变换。N个编码模式的一个实施例是一个合并候选的跳过模式和合并模式。
在一个实施例中，N个编码模式包括不同的次级变换方式，对当前块的残差数据测试N个编码模式包括将残差数据变换为变换系数，通过不同的次级变换模式将变换系数变换为次级变换系数，将量化应用于每个编码模式的次级变换系数以生成量化级别，将逆量化应用于每个编码模式的量化级别，以及将逆次级变换应用于次级逆变换生成每个次级变换模式的重构变换系数。在该实施例中，对当前块进行编码包括对与最佳编码模式相关联的重构变换系数应用逆变换以生成当前块的重构残差数据。
在一些其他实施例中，与N个编码模式相关联的当前块的预测子可以是相同的，但与N个编码模式相关联的残差数据是不同的。在当前块的残差数据上测试N个编码模式包括将与每个编码模式相关联的残差数据变换为变换系数，将量化应用于每个编码模式的变换系数以生成量化级别，以及将逆量化应用于每个编码模式的量化级别。对当前块进行编码包括将逆变换应用于与最佳编码模式相关联的重构变换系数以生成当前块的重构残差数据。在一个实施例中，通过比较每个编码模式的变换系数和重构变换系数，与每个编码模式相关联的失真被计算。在一个实施例中，N个编码模式包括不同的色度残差联合编码(JointCoding of Chroma Residual，简称JCCR)模式。在本实施例中，从JCCR模式中选出的最佳编码模式的失真在空间域中被计算，非JCCR模式的失真在空间域中被计算。在空间域中失真被比较，以及根据空间域失真的比较结果，最佳编码模式被更新。在另一实施例中，N个编码模式是不同的JCCR模式和一个非JCCR模式。在又一实施例中，N个编码模式是不同的合并候选或帧间模式。
本公开的多个方面还提供了一种用于视频编码系统根据频域失真执行模式判定的装置。该装置包括一个或多个电子电路，被配置用于接收当前块的残差数据，对当前块的残差数据测试多个编码模式，在频域中计算与每个编码模式相关联的失真，执行模式判定以根据频域中计算的失真从测试的编码模式中选择最佳编码模式，以及根据该最佳编码模式对当前块进行编码。在阅读以下具体实施例的描述后，本发明的其他方面和特征对于所属技术领域的技术人员将变得显而易见。
附图说明
将参考以下附图详细描述作为示例提出的本公开的各种实施例，其中相同的标号指代相同的元件，以及其中：
图1示出具有在空间域中计算的失真的基本高复杂度率失真优化(RateDistortion Optimization，简称RDO)级的编码流程。
图2示出根据本发明实施例的具有在频域中计算的失真的高复杂度RDO级的编码流程。
图3示出根据本发明第一实施例的用于具有相同残差信号测试多个编码模式的高复杂度RDO的编码流程。
图4示出根据本发明第二实施例的用于具有不同残差信号在多个编码模式之间进行模式判定的编码流程。
图5示出根据空间域模式判定方法在空间域中的三个LFNST模式之间进行模式判定的编码流程。
图6示出根据本发明第一实施例的在频域中在三个LFNST模式之间进行模式判定的编码流程。
图7示出用于在空间域中在非JCCR模式和三个JCCR模式之间做出模式决定的示例性编码流程。
图8示出根据本发明第二实施例的示例在频域中在三个JCCR模式之间进行模式判定以及在空间域中在非JCCR模式和最佳JCCR模式之间进行模式判定的编码流程。
图9示出根据本发明第二实施例的另一示例在频域中在三个JCCR模式和非JCCR模式之间进行模式判定的编码流程。
图10示出用于根据在频域中计算的失真来决定编码模式的视频编码方法的实施例的流程图。
图11示出包含根据本发明的一些实施例的视频编码方法中的一个或组合的视频编码系统的示例性系统框图。
具体实施方式
将容易理解的是，如本文附图中大体描述和图标的本发明的元件可被布置和设计成多种不同的配置。因此，如附图中所表示的本发明的系统和方法的实施例的以下更详细的描述并不旨在限制所要求保护的本发明的范围，而仅代表本发明的选定实施例。
在整个说明书中对“一个实施例”、“一些实施例”或类似语言的引用意味着结合实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中。因此，贯穿本说明书的各个地方出现的短语“在一个实施例中”或“在一些实施例中”不一定都指同一实施例，这些实施例可以单独实施，也可以结合一个或多个其他实施例实施。此外，所描述的特征、结构或特性可以在一个或多个实施例中以任一合适的方式组合。然而，所属技术领域的技术人员将认识到，本发明可以在没有一个或多个具体细节的情况下，或使用其他方法、元件等来实践。在其他情况下，未示出或未示出众所周知的结构或操作。详细描述以避免模糊本发明的方面。
频域中的模式判定在高复杂度(High-Complexity，简称HC)率失真优化(RateDistrotion Optimization，简称RDO)级，符合VVC标准的视频编码器应用变换(DCT-II)12、量化(quantization，简称Q)14、逆量化(inverse quantization，简称IQ)16和逆变换(invDCT-II)18对当前块的残差数据进行操作，如图1所示。HC RDO级的失真通常通过计算重构残差信号和输入残差之间的差值在空间域中导出。实验结果表明，在空间域中计算的失真与在频域中计算的失真相似。因此，本发明的实施例依靠在频域中计算的失真来在HDRDO级做出模式判定。图2示出使用在频域中计算的失真的HC RDO级的编码流程。图2的编码流程包括变换操作(DCT-II)22、量化操作(Q)24、逆量化操作(IQ)26和逆变换操作(invDCT-II)28。频域中计算的失真是指变换残差信号和逆量化残差信号之间的差值。变换残差信号是从变换操作22输出的信号，而逆量化残差信号是从逆量化操作26输出的信号。
计算频域中的失真以用于模式判定而不是计算空间域中的失真的一个明显的好处是硬件成本降低。实现空间域模式判定方法的硬件成本高于实现频域模式判定方法的硬件成本，因为在实现频域模式判定方法时有更多的硬件电路可以被多个编码模式共享。在本发明的第一实施例中，具有相同残差数据的N个编码模式由视频编码器在HC RDO级测试，N组量化和逆量化电路被需要用于频域中的模式判定。然而，根据第一实施例，频域中的模式判定仅需要一个变换电路和一个逆变换电路，这少于空间域中的模式判定所需的N个变换电路和N个逆变换电路。第一实施例中具有相同残差的预测模式的示例是低频不可分离变换(Low Frequency Non-Separable Transform，简称LFNST)中的不同模式。第一实施例的另一个示例是对同一合并候选的跳过模式和合并模式之间的模式决定。LFNST只使用低频系数，即只有次级变换的低频系数被保留，而高频系数被假设为零。失真是非零系数区域失真和零系数区域失真的总和。然而，零系数区域失真可以在非-LFNST情况下计算。当采用LFNST时，只需要计算非零系数区域失真。与用于计算空间域失真的样本数量相比，它导致用于计算频域失真的样本更少。图3示出根据本发明第一实施例的用于测试具有相同残差信号的N个编码模式的HC RDO级的编码流程。在第一实施例中，视频编码器测试N个编码模式，以及专用量化电路和专用逆量化电路被用来处理与N个编码模式中的每一个相关联的变换系数。N个编码模式之一禁用次级变换，而其他编码模式与初级变换之后应用的不同次级变换相关联。模式判定电路选择与最低RD成本对应的最佳编码模式，其中N个编码模式的RD成本根据频域计算的失真导出。N个编码模式可以共享逆变换电路。
在本发明的第二实施例中，具有不同残差数据的N个编码模式由视频编码器在HCRDO级测试，即N组变换、量化和逆量化电路被需要来并行处理N个编码模式的残差数据以用于频域模式判定方法。图4示出根据第二实施例的用于在频域中进行模式判定的编码流程。与在空间域中进行模式判定的编码流程中，N个逆变换电路被需要用于N个编码模式相比，第二实施例中的一个逆变换电路可由N个编码模式共享。在VVC标准中，在变换块的宽度或高度大于32个样本时，频域中应用的归零技术会减少用于计算频域失真的样本数，从而导致计算量较低HC RDO级的复杂性。对于宽或高大于32个样本的变换块，32x32低频样本之外的样本将不被用于频域失真计算，用于计算频域失真的样本数小于使用的样本数计算空间域失真。对于小于或等于32x32样本的变换块，用于计算频域失真的样本数等于用于计算空间域失真的样本数。在第二实施例中，具有不同残差数据的编码模式的示例是色度残差联合编码(Joint Coding of Chroma Residual，简称JCCR)和不同合并候选或不同帧间模式之间的模式判定。
第一实施例的示例：LFNST的频域模式判定低频不可分离变换(Low FrequencyNon-Separable Transform，简称LFNST)是在帧内编码变换块(Transform Block，简称TB)中的初级变换操作(例如DCT-II)之后执行的次级变换操作。通过将初级变换系数变换为次级变换系数，LFNST将频域信号从一个变换域转换到另一个变换域。VVC标准中的规范性约束将LFNST编码工具限制在宽度和高度均大于或等于8的TB上。在单树情况下，LFNST仅应用于亮度分量，而在双树情况下，亮度和色度分量的LFNST模式判定是分开的。LFNST使用矩阵乘法方法来降低计算复杂度。图5示出根据空间域模式判定方法在空间域中在三个LFNST模式之间进行模式判定的编码流程。三个LFNST模式分别是LFNST关闭(LFNST off)、LFNST内核1(LFNST kernel 1)和LFNST内核2(LFNST kernel 2)。对于LFNST关闭模式，当前TB的输入残差信号经过初级变换、量化、逆量化和逆初级变换运算处理，生成重构残差信号。根据LFNST内核1和2，视频编码器中的HC RDO级执行初级变换、LFNST次级变换，执行量化、逆量化、逆LFNST次级变换和逆次级变换操作，以生成当前TB的第二重构残差信号以及当前TB的第三重构残差信号。然后，视频编码器根据在空间域中计算的失真计算与三个LFNST模式相关的RD成本。LFNST关闭模式的失真是指输入残差信号和第一重构残差信号之间的差值，LFNST内核1模式的失真是指输入残差信号和第二重构残差信号之间的差值，以及LFNST内核2模式的失真是指输入残差信号与第三重构残差信号之间的差值。与LFNST模式相关的RD成本考虑了通过LFNST模式对残差数据进行编码所需的位以及在空间域中计算的失真。对应于三个RD成本中最低的一个的LFNST模式被选择用于当前TB。在这个并行LFNST模式判定示例中，用于量化、逆量化和逆初级变换的硬件变换电路的大小被增加到三倍。为了简化一组编码模式的模式判定，通常对每个编码模式的预测子进行LC RDO检查。然而，低复杂度检查不适用于LFNST模式之间的模式判定，因为不同LFNST模式的预测子都是相同的。LFNST的模式判定只能由HC RDO级完成。
图6示出根据本发明第一实施例的在频域中在三个LFNST模式之间进行模式判定的编码流程。与每个LFNST模式相关的频域失真被计算，以导出每个LFNST模式的相应RD成本。例如，LFNST关闭模式的频域失真比较初级变换操作(DCT-II)输出的初级变换系数和逆量化操作(IQ)输出的逆量化系数，以及LFNST内核1模式的频域失真比较从初级变换操作(DCT-II)输出的初级变换系数和从逆LFNST内核1操作输出的逆次级变换系数。类似地，LFNST内核2模式的频域失真比较从初级变换操作(DCT-II)输出的初级变换系数和从逆LFNST内核2操作输出的逆次级变换系数。示例性模式判定模块选择具有最低失真的LFNST模式，以及将对应于所选LFNST模式的系数传递给逆初级变换操作(invDCT-II)以生成重构残差信号。在另一示例中，模式判定模块选择具有最低RD成本的LFNST模式以及将系数传递给逆初级变换操作以生成重构残差信号。如图6所示的三个LFNST模式的频域模式判定降低LFNST模式判定的硬件成本增加，因为它只需要一个逆初级变换电路(InvDCT-II)，而空间域模式判定要求有三个逆初级变换电路(InvDCT-II)。在频域模式判定中，逆初级变换电路(InvDCT-II)可以被三个LFNST模式共享。由于LFNST仅应用于低频系数，用于计算频域失真的样本数少于用于计算空间域失真的样本数。在残差数据由初级变换电路(DCT-II)进行变换后，只有每个变换块的左上角三个系数组被馈送到LFNST内核(即LFNST内核1或LFNST内核2)电路。图6的次级变换电路(LFNST1或LFNST 2)将LFNST内核1模式或LFNST内核2模式应用于左上角的3个系数组，以生成1个非零系数组和2个零系数组。因此，每个变换块中只有一个系数组需要由量化(RDOQ)和逆量化(IQ)电路处理。RDOQ电路将量化应用于两个额外系数组(2x4x4样本)。LFNST数据前级(pre-stage)所需的额外缓冲区为2x3x4x4+2x4x4，包括用于存储LFNST内核1和LFNST内核2的3个系数组的逆量化系数的缓冲区和用于存储LFNST内核1和LFNST内核2的2个系数组的量化系数的缓冲区。LFNST模式之间的频域模式判定的RD成本根据频域中的失真和编码残差数据所需的率计算。LFNST内核1模式或LFNST内核2模式的频域失真等于左上角的3个系数组的失真加上变换块内零区域的失真。与LFNST内核1模式或LFNST内核2模式相关的零区域失真可以直接从LFNST关闭模式获得。LFNST的频域模式判定率根据一个系数组中左上角的16个采样级别率(sample level rate)加上LFNST索引位来计算。一个系数组左上角的16个采样级别率包括大于1的标志、奇偶标志、大于3的标志和剩余部分。由于初级变换滤波通过线性运算来应用，理论上，频域和空间域计算的失真的比例应该始终是一个常数值。因此，频域LFNST模式判定可以模拟空间域LFNST全搜索来测试LFNST内核1和LFNST内核2，而硬件成本增加很小。三个LFNST模式的模式判定在逆初级变换处理之前进行，需要一个逆初级变换电路而不是三个逆变初级转换电路。在空间域计算的失真和在频域计算的失真相似，因此频域模式判定LFNST的损失相对较小。
第二实施例的示例：用于JCCR的频域模式判定去除量化的色度残差信号中的相关性可以使用色度残差的联合编码(Joint Coding of Chroma Residual，简称JCCR)模式被有效地利用，其中仅一个联合残差数据resJointC被发送以及被用来导出色度分量Cb和Cr的残差数据。视频编码器确定Cb块的残差数据resCb和Cr块的残差数据resCr，其中残差数据resCb和resCr表示相应原始色度块和预测色度块之间的差值。在JCCR模式中，视频编码器不是单独编码resCb和resCr，而是根据resCb和resCr构建联合残差数据resJointC，以减少向视频编码器发送的信息量。例如，resJointC＝resCb+CSign*weight*resCr，其中CSign是在切片报头中发出的符号值。帧内变换单元(Transform Unit，简称TU)有3个允许的权重，非帧内TU有1个允许的权重。视频编码器接收联合残差数据的信息，以及生成两个色度分量的残差数据resCb'和resCr'。图7示出用于在空间域中在非JCCR模式和三个JCCR模式之间做出模式判定的示例性编码流程。每个JCCR模式对应于用于构建联合残差数据的不同权重。如图7所示，需要三组额外的硬件变换电路，包括变换、量化、逆量化和逆变换电路来实现三个JCCR模式和非JCCR模式的并行模式判定。在第二实施例中，由于不同JCCR模式和非JCCR模式的预测子都是相同的，因此模式判定只能在高复杂度的RDO下工作。与非JCCR模式相关的空间域失真是Cb失真和Cr失真之和，其中Cb失真通过将Cb残差数据与Cb重构残差数据进行比较来计算，而Cr失真通过将Cr残差数据与Cr重构残差数据进行比较来计算。与第一JCCR模式相关的空间域失真是Cb1失真和Cr1失真之和，其中Cb1失真通过将Cb残差数据与重构残差数据1的Cb部分进行比较来计算，以及Cr1失真通过将Cr残差数据与重构残差数据1的Cr部分进行比较来计算。
图8示出根据本发明的第二实施例的示例在频域中在三个JCCR模式之间进行模式判定以及在空间域中在非JCCR模式和选择的JCCR模式之间进行模式判定的编码流程。三个JCCR模式共享一个逆变换电路，通过根据RD成本或频域计算的失真选择最佳JCCR模式。与每个JCCR模式对应的联合残差数据分别通过变换(DCT-II)、量化(RDOQ)和逆量化(IQ)操作进行单独处理，与每个JCCR模式相关联的频域失真通过比较从变换操作输出的变换系数和从逆量化操作输出的逆量化系数来计算。根据频域失真或从频域失真导出的RD成本，模式判定模块从三个JCCR模式中选择最佳JCCR模式。与最佳JCCR模式相关的逆量化系数由共享逆变换电路(InvDCT-II)进行逆变换，以及通过JCCR逆缩放操作进行逆缩放，以生成重构Cb残差数据和重构Cr残差数据。最佳JCCR模式的空间域失真是Cb2失真和Cr2失真之和。Cb2失真通过比较原始Cb残差数据和最佳JCCR模式的重构Cb残差数据来计算。Cr2失真通过比较原始Cr残差数据和最佳JCCR模式的重构Cr残差数据来计算。色度分量Cb和Cr中的每一个的残差数据通过变换(DCT-II)、量化(RDOQ)、逆量化(IQ)和逆变换(InvDCT-II)操作进行处理，以生成色度分量的重构残差数据Cb和Cr。非JCCR模式的空间域失真是Cb3失真和Cr3失真之和。Cb3失真通过比较原始Cb残差数据和重构Cb残差数据来计算。Cr3失真通过比较原始Cr残差数据和重构Cr残差数据来计算。另一个模式判定模块比较空间域失真或从空间域失真导出的RD成本，以从最佳JCCR模式和非JCCR模式中选择最佳编码模式。
图9示出根据本发明第二实施例的另一示例的在频域中在三个JCCR模式和非JCCR模式之间进行模式判定的编码流程。以非JCCR模式编码的Cb残差数据或Cr残差数据的频域Cb或Cr失真通过比较量化前和逆量化后相应的变换系数来计算，以及与非JCCR模式相关联的频域失真是在频域中计算的Cb失真和Cr失真之和。与JCCR模式相关联的每个联合残差数据的频域失真通过比较量化之前和逆量化之后的相应变换系数并乘以缩放因子来计算。这是因为非JCCR模式失真与Cb和Cr的频域失真之和相关联，而JCCR模式失真仅与联合残差数据相关联。例如，缩放因子可以是2。在另一实施例中，与JCCR模式相关联的每个联合残差数据的频域失真通过比较量化前Cb和Cr的相应变换系数与重构逆量化数据Cb和Cr来计算。其中重构逆量化数据Cb和Cr通过对JCCR模式的联合残差数据进行变换、量化、逆量化和JCCR逆缩放处理而生成。视频编码器的模式决定模块选择三个JCCR模式之一或具有最低RD成本或频域失真的非JCCR模式。如果模式判定模块选择非JCCR模式，则用于非JCCR模式的两个逆变换电路(InvDCT-II)将逆变换处理应用于与Cb和Cr分量相关联的变换系数，否则，用于JCCR模式的逆变换电路(InvDCT-II)将逆变换处理应用于与所选JCCR模式相关联的变换系数。JCCR模式和非JCCR模式的逆变换电路(InvDCT-II)可以共享。换言之，用于JCCR模式的逆变换电路(InvDCT-II)是用于非JCCR模式的逆变换电路(InvDCT-II)之一。在将逆变换处理应用于与所选JCCR模式关联的变换系数后，重构联合残差数据通过JCCR逆缩放恢复。
根据频域失真的模式判定的代表性流程图图10示出在视频编码系统中实现频域模式判定方法的示例性实施例的流程图。在步骤S1002中，视频编码系统接收当前块的残差数据。当前块是编码单元(coding unit，简称CU)、编码块(Coding Block，简称CB)、变换单元(Transform Unit，简称TU)、变换块(Transform Block，简称TB)或其组合。在步骤S1004中，视频编码系统对当前块的残差数据测试N个编码模式，以及在步骤S1006中，与N个编码模式中的每一个相关联的失真在频域中被计算。在步骤S1008中，视频编码系统通过比较在频域中计算的失真来执行模式判定，以选择最佳编码模式。在步骤S1010中，当前块基于最佳编码模式进行编码。
代表性系统框图图11示出用于实现频域模式判定方法的一个或多个实施例的视频编码器1100的示例性系统框图。帧内预测模块1110基于当前图片的重构视频数据提供帧内预测子。帧间预测模块1112执行运动估计(Motion Estimation，简称ME)和运动补偿(Motion Compensation，简称MC)以基于参考来自其他图片的视频数据来提供预测子。帧内预测模块1110或帧间预测模块1112将选择的预测子提供给加法器1116以形成残差信号。在一些实施例中，当前块的残差信号对于N个编码模式是相同的，残差信号由变换模块(T)1118处理以生成变换系数。每个编码模式的变换系数由量化模块(Q)1120随后是逆量化模块(IQ)1122处理。对N个编码模式中的每一个在频域中计算失真。最佳编码模式通过比较N个编码模式的频域失真或率和失真两者来选择。与最佳编码模式相关联的IQ模块1122的输出由逆变换模块(IT)1124处理以恢复预测残差信号。在一些其他实施例中，当前块的残差数据对于N个编码模式中的每一个都是不同的，与N个编码模式中的每一个相关联的残差数据由变换模块(T)1118、量化模块(Q)1120、逆量化模块(IQ)1122处理。对N个编码模式中的每一个在频域中计算失真，以及最佳编码模式通过比较N个编码模式的频域失真或比率和失真两者来选择。与最佳编码模式相关联的IQ模块1122的输出由IT 1124处理以恢复残差信号。
最佳编码模式的变换和量化的残差信号由熵编码器1130编码以形成视频比特流。然后视频比特流与辅助信息(side information)被打包在一起。如图11所示，残差信号通过加回到重构模块(Reconstruction module，简称REC)1126处的选择的预测子来恢复，以产生重构视频数据。重构视频数据可以存储在参考图片缓冲器(Ref.Pict.Buffer)1132中并且用于其他图片的预测。由于编码处理，来自REC模块1126的重构视频数据可能会受到各种损害，因此，在存储到参考图片缓冲器1132之前，环路处理滤波器(ILPF)1128被应用于重构视频数据，以进一步增强图片质量。语法元素被提供给熵编码器1130以结合到视频比特流中。
图11中的视频编码器1100的各种元件可以由硬件元件、被配置为执行存储在内存中的程序指令的一个或多个处理器、或硬件和处理器的组合来实现。例如，处理器执行程序指令以计算频域的失真。处理器配备单个或多个处理核心。在一些示例中，处理器执行程序指令以在编码器1100中的一些元件中执行功能，以及与处理器电耦合的内存用于存储程序指令、与块的重构图像相对应的信息，和/或编码或解码过程中的中间数据。在一些实施例中，内存包括非瞬态计算机可读介质(non-transitory computre readable medium)，例如半导体或固态内存、随机存取内存(Random Access Memory，简称RAM)、只读内存(Read-Only Memory，简称ROM)、硬盘、光盘或其他合适的存储介质。内存缓冲器也可以是上面列出的两种或更多种非暂时性计算机可读介质的组合。
在视频编码系统中对当前切片执行特定处理的视频数据处理方法的实施例可以在集成到视频压缩芯片中的电路或集成到视频压缩软件中以执行上述处理的程序代码中实现。例如，当前变换块中的变换系数级别可以在将在计算机处理器、数字信号处理器(Digital Signal Processor，简称DSP)、微处理器或现场可程序设计门阵列(FieldProgrammable Gate Array，简称FPGA)上执行的程序代码中实现。这些处理器可以被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或韧体代码来执行根据本发明的特定任务。
在不背离其精神或基本特征的情况下，本发明可以以其他特定形式体现。所描述的示例在所有方面都仅被认为是说明性的而不是限制性的。因此，本发明的范围由所附申请专利范围而不是由前述描述指示。在申请专利范围的等效含义和范围内的所有变化都应包含在其范围内。

Claims (16)

1.一种视频编码方法，用于视频编码系统，包括：
接收当前块的残差数据；
对所述当前块的残差数据测试N个编码模式，其中N为大于1的正整数；
在频域中计算与所述N个编码模式中的每一个相关联的失真；
根据所述频域中计算的所述多个失真，进行模式判定，从所述N个测试编码模式中选择最佳编码模式；以及
基于所述最佳编码模式对当前块进行编码。
2.如权利要求1所述的视频编码方法，其特征在于，根据所述频域中的所述多个失真和根据所述N个测试编码模式编码所述残差数据的多个率，所述最佳编码模式被选择。
3.如权利要求1所述的视频编码方法，其特征在于，与所述N个编码模式相关联的所述当前块的多个预测子相同，以及与所述N个编码模式相关联的所述当前块的所述残差数据相同。
4.如权利要求3所述的视频编码方法，其特征在于，对所述当前块的所述残差数据进行N个编码模式的测试包括将所述残差数据变换为多个变换系数，将量化应用于每个编码模式的所述多个变换系数以生成多个量化级别，以及将逆量化应用于每个编码模式的所述多个量化级别；以及对所述当前块进行编码包括将逆变换应用于与所述最佳编码模式相关联的多个重构变换系数以生成所述当前块的重构残差数据。
5.如权利要求4所述的视频编码方法，其特征在于，通过比较每个编码模式的所述多个变换系数和多个重构变换系数来计算与每个编码模式相关联的所述失真。
6.如权利要求4所述的视频编码方法，其特征在于，逆变换被应用在执行模式判定之后，以及与所述最佳编码模式相关联的所述多个重构变换系数被执行逆变换。
7.如权利要求4所述的视频编码方法，其特征在于，所述N个编码模式包括一个合并候选的跳过模式和合并模式。
8.如权利要求3所述的视频编码方法，其特征在于，所述N个编码模式包括多个不同次级变换模式，以及对所述当前块的所述残差数据测试N个编码模式包括：将所述残差数据变换为多个变化系数，通过不同的多个次级变换模式将所述多个变换系数变换为多个次级变换系数，将量化应用于对每个编码模式的所述多个次级变换系数以生成多个量化级别，将逆量化应用于每个编码模式的所述多个量化级别，以及应用逆次级变换以生成每个次级变换模式的多个重构变换系数；对所述当前块进行编码包括将逆变换应用于与所述最佳编码模式相关联的多个重构变换系数，以生成所述当前块的重构残差数据。
9.如权利要求1所述的视频编码方法，其特征在于，与所述N个编码模式相关联的所述当前块的所述残差数据不同。
10.如权利要求9所述的视频编码方法，其特征在于，对所述当前块的所述残差数据测试N个编码模式进一步包括将与每个编码模式相关联的所述残差数据变换为多个变换系数，将量化应用于每个编码模式的所述多个变换系数以生成多个量化级别，以及将逆量化应用于每个编码模式的所述多个量化级别；以及对所述当前块进行编码还包括将逆变换应用于与所述最佳编码模式相关联的多个重构变换系数以生成所述当前块的重构残差数据。
11.如权利要求10所述的视频编码方法,其特征在于，通过比较每个编码模式的所述多个变换系数和多个重构变换系数来计算与每个编码模式相关联的所述失真。
12.如权利要求10所述的视频编码方法，其特征在于，所述N个编码模式包括多个不同的色度残差联合编码(Joint Coding of Chroma Residual，简称JCCR)模式。
13.如权利要求12所述的视频编码方法，其特征在于，所述方法进一步包括：
在空间域中计算从所述多个色度残差联合编码模式中选出的所述最佳编码模式的失真；
在所述空间域中计算非色度残差联合编码模式的失真；
比较在所述空间域中计算的所述多个失真；以及
根据所述空间域中计算的所述多个失真的所述比较结果更新所述最佳编码模式。
14.如权利要求10所述的视频编码方法，其特征在于，所述N个编码模式包括多个不同的色度残差联合编码模式和非色度残差联合编码模式。
15.如权利要求10所述的视频编码方法，其特征在于，所述N个编码模式包括多个不同合并候选或多个帧间模式。
16.一种视频编码装置，用于视频编码系统，所述视频编码装置包括一个或多个电子电路，被配置为用于：
接收当前块的残差数据；
对所述当前块的残差数据测试N个编码模式，其中N为大于1的正整数；
在频域中计算与所述N个编码模式中的每一个相关联的失真；
根据所述频域中计算的所述多个失真，进行模式判定，从所述N个测试编码模式中选择最佳编码模式；以及
基于所述最佳编码模式对当前块进行编码。
CN202210575206.1A 2021-12-21 2022-05-24 视频编码方法和装置 Pending CN116320417A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163291968P 2021-12-21 2021-12-21
US63/291,968 2021-12-21
US17/702,396 2022-03-23
US17/702,396 US20230199196A1 (en) 2021-12-21 2022-03-23 Methods and Apparatuses of Frequency Domain Mode Decision in Video Encoding Systems

Publications (1)

Publication Number Publication Date
CN116320417A true CN116320417A (zh) 2023-06-23

Family

ID=86769511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210575206.1A Pending CN116320417A (zh) 2021-12-21 2022-05-24 视频编码方法和装置

Country Status (3)

Country Link
US (1) US20230199196A1 (zh)
CN (1) CN116320417A (zh)
TW (1) TWI825742B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10575000B2 (en) * 2016-04-20 2020-02-25 Mediatek Inc. Method and apparatus for image compression using block prediction mode
CN112335249A (zh) * 2018-06-25 2021-02-05 金起佰 用于编码/解码图像的方法和装置
US11277641B2 (en) * 2019-12-31 2022-03-15 Qualcomm Incorporated Chroma transform skip and joint chroma coding enabled block in video coding

Also Published As

Publication number Publication date
TWI825742B (zh) 2023-12-11
TW202327353A (zh) 2023-07-01
US20230199196A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
US9307237B2 (en) Reference pixel reduction for intra LM prediction
US9225984B2 (en) Simplification of LM mode
KR100813963B1 (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
US8249145B2 (en) Estimating sample-domain distortion in the transform domain with rounding compensation
US9438905B2 (en) LM mode with uniform bit-width multipliers
JP2023179682A (ja) 隣接サンプル減少を伴う線形またはアフィン変換を使用するイントラ予測
US9438904B2 (en) Reduced look-up table for LM mode calculation
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
US10085028B2 (en) Method and device for reducing a computational load in high efficiency video coding
KR101354151B1 (ko) 영상 변환 방법 및 장치, 역변환 방법 및 장치
CN111819852A (zh) 用于变换域中残差符号预测的方法及装置
KR20090058954A (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
KR20090097688A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
KR20110114524A (ko) 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법
EP3471418A1 (en) Method and apparatus for adaptive transform in video encoding and decoding
US20180184116A1 (en) Apparatus for video encoding, apparatus for video decoding, and non-transitory computer-readable storage medium
KR20110101443A (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US20180249160A1 (en) Vector quantization for video coding using codebook generated by selected training signals
US10104389B2 (en) Apparatus, method and non-transitory medium storing program for encoding moving picture
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
KR20200000548A (ko) Cnn 기반의 영상 부호화 또는 복호화 장치 및 방법
US20230199196A1 (en) Methods and Apparatuses of Frequency Domain Mode Decision in Video Encoding Systems
KR20080013843A (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
US11736704B1 (en) Methods and apparatuses of SATD folding hardware design in video encoding systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination