CN114009028A - 具有改进的基于变换的缩放的编码器、解码器、方法和计算机程序 - Google Patents

具有改进的基于变换的缩放的编码器、解码器、方法和计算机程序 Download PDF

Info

Publication number
CN114009028A
CN114009028A CN202080043648.0A CN202080043648A CN114009028A CN 114009028 A CN114009028 A CN 114009028A CN 202080043648 A CN202080043648 A CN 202080043648A CN 114009028 A CN114009028 A CN 114009028A
Authority
CN
China
Prior art keywords
block
quantization precision
encoder
decoder
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080043648.0A
Other languages
English (en)
Inventor
本杰明·布鲁斯
阮藩黄松
海科·施瓦茨
德特勒夫·马尔佩
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN114009028A publication Critical patent/CN114009028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

使用变换解码对编码的图片信号进行基于块解码的解码器，被配置为为预定块选择选定的变换模式、对数据流中的根据选定的变换模式与预定块相关联的要去量化的块进行熵解码、以及使用取决于选定的变换模式的量化精度对要去量化的块进行去量化，以获得去量化的块。

Description

具有改进的基于变换的缩放的编码器、解码器、方法和计算机 程序
技术领域
根据本发明的实施例涉及具有改进的基于变换的缩放的编码器、解码器、方法和计算机程序。
介绍性说明：
接下来，将描述不同的发明实施例和方面。此外，其他的实施例将由所附权利要求限定。
应当注意，由权利要求限定的任何实施例可以由在以下不同发明实施例和方面中描述的任何细节(特征和功能)来补充。
此外，应当注意，本文描述的单个方面可以单独使用或组合使用。因此，可以将细节添加到每个所述单个方面，而无需将细节添加到所述方面中的另一个方面。
还应当注意，本公开明确或隐含地描述了可用于编码器(用于提供输入信号的编码表示的装置)和解码器(用于基于编码表示来提供信号的解码表示的装置)中的特征。因此，本文描述的任何特征可以用于编码器的上下文中和解码器的上下文中。
此外，本文公开的与方法相关的特征和功能也可以用于装置(被配置为执行这样的功能的装置)。此外，本文公开的关于装置的任何特征和功能也可以用于相应的方法。换言之，本文公开的方法可以由关于装置描述的任何特征和功能来补充。
此外，如将在“备选实施方案”部分中描述的，本文描述的任何特征和功能可以以硬件或软件、或使用硬件和软件的组合来实现。
背景技术
在最先进的有损视频压缩中，编码器使用特定的量化步长Δ对预测残差或变换后的预测残差进行量化。步长越小，量化越精细，以及原始信号和重构信号之间的误差越小。最近的视频编码标准(例如，H.264和H.265)使用所谓的量化参数(QP)的指数函数来推导出该量化步长Δ，例如：
Figure BDA0003410317060000021
量化步长和量化参数之间的指数关系允许对所得比特率进行更精细的调整。解码器需要知道量化步长，以对量化信号执行正确的缩放。尽管量化是不可逆的，但是这个阶段有时被称为“逆量化”。这就是解码器从比特流中解析缩放因子或QP的原因。QP信令通常分层执行，即，在比特流中以更高级别(例如图片级别)用信令通知基础QP。在子图片级别，图片可以由多个切片(slice)、瓦片(tile)或砖块(brick)组成，仅用信号通知基础QP的增量。为了以更精细的粒度调整比特率，甚至可以按块或块的区域来用信号通知增量QP，例如，在HEVC中在编码块的N×N区域内的一个变换单元中用信号通知增量QP。编码器通常使用增量QP技术执行主观优化或速率控制算法。不失一般性，以下假设本发明中的基本单元是图片，因此，对于由单个切片组成的每个图片，由编码器用信号通知基础QP。除了这个也被称为切片QP的基础QP之外，对于每个变换块(或变换块的任何联合，也被称为量化组)，可以用信号通知增量QP。
最先进的视频编码方案(例如高效视频编码(HEVC)或即将推出的多功能视频编码(VVC)标准)通过允许超出II型离散余弦变换(DCT-II)的广泛被使用的整数近似的附加变换来优化各种残差信号类型的能量压缩。HEVC标准还规定了使用特定帧内方向模式对4×4变换块的VII型离散正弦变换(DST-VII)进行整数近似。由于这种固定映射，因此无需用信号通知是使用DCT-II还是使用DST-VII。除此之外，可以为4×4变换块选择恒等变换。这里，编码器需要用信号通知是应用DCT-II/DST-VII还是应用恒等变换。由于恒等变换是等效于乘以1的矩阵，因此也被称为变换跳过。此外，当前的VVC开发允许编码器为残差选择更多的DCT/DST系列的变换以及附加的不可分离变换，这些变换在编码器处的DCT/DST变换之后以及在解码器处的逆DCT/DST之前应用。DCT/DST变换和附加的不可分离变换的扩展集都需要每个变换块的附加信令。
图1b示出了混合视频编码方法，其中在编码器10处对残差信号24进行正向变换和后续量化，并针对解码器36对量化的变换系数进行缩放、然后进行逆变换。与变换和量化相关的块28/32和52/54被突出显示。
因此，期望提供在对图片和/或视频进行编码时可用的量化和/或缩放的概念，从而导致改进的压缩效率。
这通过本申请的独立权利要求的主题来实现。
根据本发明的其他实施例由本申请的从属权利要求的主题限定。
发明内容
根据本发明的第一方面，本申请的发明人意识到，在对变换系数进行量化和对量化的变换系数进行缩放时遇到的一个问题源于不同的变换模式和/或块大小会导致不同的缩放因子和量化参数的事实。一种变换模式下的量化精度会导致另一种变换模式下失真的增加。根据本申请的第一方面，通过根据用于要量化的块的变换模式选择量化精度来克服该困难。因此，可以为不同的变换模式和/或块大小选择不同的量化精度。
因此，根据本申请的第一方面，一种使用变换编码对图片信号进行基于块编码的编码器被配置为：为预定块(例如，视频信号或图片信号中的块的区域中的块)选择选定的变换模式，例如恒等变换或非恒等变换。恒等变换可以理解为变换跳过。此外，编码器被配置为使用取决于选定的变换模式的量化精度对根据选定的变换模式与预定块相关联的要量化的块进行量化，以获得量化的块。要量化的块例如是：经过选定的变换模式的预定块，以及/或者在选定的变换模式是非恒等变换的情况下通过将基于选定的变换模式的变换应用于预定块上而获得的块、以及在选定的变换模式是恒等变换的情况下通过均衡预定块而获得的块。量化精度例如由量化参数(QP)、缩放因子和/或量化步长来定义。要量化的块的值例如除以量化参数(QP)、缩放因子和/或量化步长，以接收量化的块。此外，编码器被配置为将量化的块熵编码到数据流中。
类似地，根据本申请的第一方面，一种使用变换解码对编码的图片信号进行基于块解码的解码器被配置为：为选择预定块(例如，图片信号视或频信号中的块的区域中的块)选择选定的变换模式，例如恒等变换或非恒等变换。恒等变换可以理解为变换跳过。非恒等变换可以是由编码器应用的变换的逆变换/反向变换。此外，解码器被配置为对数据流中的根据选定的变换模式与预定块相关联的要去量化的块进行熵解码。要去量化的块例如是在经过选定的变换模式之前的预定块。此外，解码器被配置为使用取决于选定的变换模式的量化精度对要去量化的块进行去量化，以获得去量化的块。量化精度例如由量化参数(QP)、缩放因子和/或量化步长来定义。块的值例如乘以量化参数(QP)、缩放因子和/或量化步长，以接收去量化的块。量化精度例如定义了要去量化的块的去量化的精度。量化精度可以理解为缩放精度。
根据实施例，量化精度部分地取决于选定的变换模式是恒等变换还是非恒等变换。注意，根据预测模式和/或块大小和/或块形状，可能发生其他调整。与变换模式的相关基于非恒等变换可以增加残差信号的精度从而也可以增加动态范围的想法。然而，对于恒等变换，情况并非如此。在变换模式是恒等变换的情况下，与非恒等变换的低失真相关联的量化精度可以导致更高的失真。因此，恒等变换与非恒等变换之间的区分是有利的。
如果选定的变换模式是恒等变换，则编码器和/或解码器可以被配置为确定预定块的初始量化精度并检查初始量化精度是否比预定阈值更精细。在选定的变换模式是非恒等变换的情况下，尽管比预定阈值更精细的量化精度可以减少失真，但是对于选定的变换模式是恒等变换，情况并非如此。如果初始量化精度比预定阈值更精细，则编码器和/或解码器可以被配置为在选定的变换模式是恒等变换的情况下，将量化精度设置为例如与预定阈值相对应的默认量化精度。因此，可以避免对于默认量化精度而言不存在的附加失真。
此外，编码器和/或解码器可以被配置为：如果初始量化精度不比预定阈值更精细，则使用初始量化精度作为量化精度。在这种情况下，初始量化精度不应该引入附加失真，由此在不改变或调整的情况下使用初始量化精度是没有问题的。
根据实施例，在编码器的情况下，通过确定量化参数列表中的索引来确定初始量化精度，而在解码器的情况下，通过确定去量化参数列表中的索引来确定初始量化精度。索引例如指向量化参数列表(例如，解码器的去量化参数列表)内的量化参数(例如，解码器的去量化参数或缩放参数)，并经由对于量化参数列表中的所有量化参数相等的函数与量化步长相关联。编码器可以被配置为例如通过将要量化的块的值除以量化步长来进行量化，而解码器可以被配置为通过将要去量化的块的值乘以量化步长来进行去量化。索引可以等于量化参数(QP)，并且量化参数列表和/或去量化参数列表可以由levelScale[]＝{40、45、51、64、72}定义。量化步长(Δ(QP))可以使用索引(QP)的指数函数导出，例如
Figure BDA0003410317060000051
其中，levelScale[]＝{40、45、51、64、72}。
根据实施例，编码器和/或解码器被配置为通过检查索引(即，量化参数列表中的索引)是否小于预定索引值来检查初始量化精度是否比预定阈值更精细。预定索引值定义了例如索引为4，即索引等于4。如果选定的变换模式是恒等变换，则编码器和/或解码器可以被配置为针对为4的最小值对索引(例如量化参数QP)进行剪切(clip)。编码器和/或解码器可以被配置为禁止小于4的量化参数(QP)。如果QP小于4，则编码器和/或解码器可以被配置为将QP设置为4，而如果QP为4或更大，则维持QP，例如TrafoSkip？Max(4，QP)：QP。因此，避免或对于变换跳过模式不允许索引(例如QP)为0、1、2和3，这些索引导致小于1的缩放因子，这可能在变换跳过模式中引入失真。注意，以上示例适用于8比特的视频信号，并且需要根据输入视频信号的比特深度进行调整。比特深度增加一导致阈值减小六。该信令可以是直接的或间接的，例如经由内部比特深度相对于输入比特深度的差异的指定、输入比特深度的直接信令和/或阈值的信令。间接配置的示例如下。
sps_internal_bit_depth_minus_input_bit_depth指定变换跳过模式允许的最小量化参数如下：
QpPrimeTsMin＝4+6*sps_internal_bit_depth_minus_input_bit_depth
sps_internal_bit_depth_minus_input_bit_depth的值应在0至8的范围内，包括0和8。
-否则(transform_skip_flag[xTbY][yTbY][cIdx]等于1)，以下适用：
qP＝Clip3(QpPrimeTsMin，63+QpBdOffset，qP+QpActOffset)
根据实施例，编码器对要量化的块执行量化包括：进行缩放、然后进行整数量化，例如，量化到最接近的整数值。类似地，解码器对要去量化的块执行去量化包括：进行缩放、然后进行整数去量化，例如去量化到最接近的整数值。此外，编码器和/或解码器被配置为使得预定阈值和/或默认量化精度与缩放因子相关，例如在解码器的情况下，重新缩放因子为1。编码器可以被配置为使用缩放因子来对要量化的块进行量化，而解码器可以被配置为使用缩放因子来对要去量化的块进行去量化。编码器可以被配置为通过将要量化的块的值除以缩放因子来对要量化的块进行量化，而解码器可以被配置为通过将要去量化的块的值乘以缩放因子来对要去量化的块进行去量化。编码器和/或解码器例如被配置为通过检查缩放因子(例如量化步长Δ(QP))是否小于预定缩放因子来检查初始量化精度是否比预定阈值更精细。预定缩放因子定义例如缩放因子为1。如果选定的变换模式是恒等变换，则编码器和/或解码器可以被配置为针对为1的最小值对缩放因子进行剪切。编码器和/或解码器可以被配置为禁止小于1的缩放因子。如果Δ(QP)小于1，则编码器被配置为将Δ(QP)设置为1，而如果Δ(QP)为1或更大，则维持Δ(QP)，例如，如果选定的变换模式是恒等变换，则得到缩放因子至少为1。
根据实施例，编码器和/或解码器被配置为确定例如包括预定块的整个图片的包括预定块的若干块的初始量化精度、包括预定块的若干图片的初始量化精度、或者包括预定块的图片的切片的初始量化精度。在若干图片的情况下，图片中的至少一幅或仅一幅必须包括预定块。在编码器的情况下，图片是要进行编码的图片信号或视频信号的图片，而若干块是例如图片信号或视频信号的图片中的块。在解码器的情况下，块是例如解码图片信号或解码视频信号的残差图片中的预测残差块。
编码器可以被配置为在数据流中用信号通知例如诸如整个图片的若干块的初始量化精度、若干图片的初始量化精度、或者图片的切片的初始量化精度。解码器可以被配置为从数据流中读取例如诸如整个图片的若干块的初始量化精度、若干图片的初始量化精度、或者图片的切片的初始量化精度。
根据实施例，编码器被配置为在数据流中用信号通知量化精度和/或选定的变换模式。解码器例如被配置为从数据流中读取量化精度和/或选定的变换模式。
根据实施例，在编码器的情况下，预定块表示要基于块编码的图片信号的预测残差的块。在解码器的情况下，预定块例如表示要基于块解码的图片信号的预测残差的块。在解码器的情况下，预定块例如表示解码的残差块。
根据实施例，编码器和/或解码器被配置为确定预定块的初始量化精度并根据选定的变换模式来修改初始量化精度。初始量化精度例如包括索引(即，QP)和/或缩放因子(即，Δ(QP))。因此可以提高压缩效率。这基于以下想法：可以在数据流中用信号通知一组块的初始量化精度或若干图片的初始量化精度，以及针对要进行编码或解码的每个块，可以根据相应块的变换模式来单独地调整该初始量化精度。
可以根据选定的变换模式，通过使用偏移值对初始量化精度进行偏移来执行初始量化精度的修改。可以选择偏移，使得例如通过对于给定的比特率最大化感知的视觉质量或最小化客观失真(如平方误差)，或者通过对于给定的质量/失真降低比特率，来提高压缩效率。根据实施例，编码器和/或解码器被配置为确定每个变换模式的偏移值。这可以针对每个图片信号或视频信号单独地执行。备选地，为较小实体确定偏移值，该较小实体例如若干图片、一张图片、图片的一个或多个切片、多个组块或单个块。备选地或附加地，对于每个变换模式，可以从偏移值列表中获得偏移值。
如前所述，编码器可以被配置为通过确定量化参数列表中的索引来确定初始量化精度。类似地，解码器可以被配置为通过确定去量化参数列表中的索引来确定初始量化精度。根据实施例，编码器和/或解码器被配置为通过将偏移值与索引相加或通过从索引减去偏移值来修改初始量化精度。索引(即，量化参数(QP))例如减小或增加偏移值。
如前所述，在编码器的情况下，对要量化的块进行量化可以包括：进行缩放、然后进行整数量化，例如量化到最接近的整数值。编码器可以被配置为通过将要量化的块的值除以缩放因子来执行缩放。类似地，在解码器的情况下，对要去量化的块进行去量化可以包括：进行缩放(例如，进行重新缩放)、然后进行整数去量化(例如，去量化到最接近的整数值)，以及解码器可以被配置为通过将要去量化的块的值乘以缩放因子(例如，重新缩放因子)来执行缩放。此外，编码器和/或解码器可以被配置为通过将偏移值与缩放因子相加或通过从缩放因子减去偏移值来修改初始量化精度。例如，缩放因子等于量化步长Δ(QP)。量化步长Δ(QP)可以减小或增加偏移值。
根据实施例，编码器和/或解码器被配置为根据选定的变换模式是恒等变换还是非恒等变换来提供修改的初始量化精度。换言之，编码器和/或解码器可以被配置为根据选定的变换模式是恒等变换还是非恒等变换来修改初始量化精度。
根据实施例，编码器和/或解码器被配置为：如果选定的变换模式是恒等变换，则确定预定块的初始量化精度并检查初始量化精度是否比预定阈值更粗糙，并且另外如果初始量化精度比预定阈值更粗糙，则编码器和/或解码器被配置为根据选定的变换模式使用偏移值来修改初始量化精度，使得修改的初始量化精度比预定阈值更精细。如果索引(QP)大于10、20、30、35、40或45，则初始量化精度例如比预定阈值更粗糙。换言之，预定阈值可以由索引10、20、30、35、40或45来表示。因此，在比特率范围的第二端，即对于低比特率，索引或缩放因子减小偏移值。比特率范围的第二端例如与比特率范围的与比特率范围的第一端相反的一端相关联，与4或更低的QP相关联。
根据实施例，编码器和/或解码器被配置为：如果初始量化精度不比预定阈值更粗糙，则不根据选定的变换模式使用偏移值来修改初始量化精度。
根据实施例，编码器和/或解码器被配置为：如果选定的变换模式是非恒等变换，则不使用偏移值来修改初始量化精度。因此，偏移例如仅在变换模式是恒等变换的情况下使用。
根据实施例，编码器和/或解码器被配置为通过使用率失真优化来确定偏移。因此，根据要用于预定块的变换模式，可以实现仅导致较小的失真或没有失真的高压缩效率，针对该预定块确定偏移。
根据实施例，编码器被配置为在数据流中用信号通知例如包括预定块的整个图片的包括预定块的若干块的偏移、包括预定块的若干图片的偏移、或者包括预定块的图片的切片的偏移，例如偏移值或指向偏移值的集合中的偏移值的索引。图片例如是要进行编码的图片信号或视频信号的图片，而若干块是例如图片信号或视频信号的图片中的块。
根据实施例，解码器被配置从数据流中读取例如包括预定块的整个图片的包括预定块的若干块的偏移、包括预定块的若干图片的偏移、或者包括预定块的图片的切片的偏移，例如偏移值或指向偏移值的集合中的偏移值的索引。被配置从数据流中读取例如包括预定块的整个图片的包括预定块的若干块的偏移、包括预定块的若干图片的偏移、或者包括预定块的图片的切片的偏移。
在编码器的情况下，对要量化的块进行量化可选地包括：进行块全局缩放(例如对于块的所有值用一个缩放因子)、以及利用块内变化缩放矩阵进行缩放、然后进行整数量化，例如量化到最接近的整数值。块内变化缩放矩阵例如是具有多个缩放因子的矩阵，该多个缩放因子是例如多个量化参数(QP)或多个量化步长Δ(QP)。在缩放之前由编码器例如通过将选定的变换应用于预定块获得的每个变换系数由缩放矩阵的多个缩放因子之一进行缩放。利用块内变化缩放矩阵进行缩放可以导致频率相关的加权或空间相关的加权。此外，编码器可以被配置为根据选定的变换模式来确定块内变化缩放矩阵。
在解码器的情况下，对要去量化的块进行去量化包括：进行块全局缩放(即，进行块全局重新缩放(例如，对于块的所有值用一个缩放因子，即一个重新缩放因子))、以及利用块内变化缩放矩阵(即，块内变化重新缩放矩阵)进行缩放(例如，进行重新缩放)、然后进行整数去量化，例如去量化到最接近的整数值。块内变化缩放矩阵例如是具有多个缩放因子(即，重新缩放因子)的矩阵，该具有多个缩放因子(即，重新缩放因子)的矩阵是例如具有多个量化参数(QP)或多个量化步长Δ(QP)的矩阵。块的每个值例如由缩放矩阵的多个缩放因子之一单独地进行缩放。通过块内变化缩放矩阵进行缩放例如导致频率相关的加权或空间相关的加权。此外，解码器可以被配置为根据选定的变换模式来确定块内变化缩放矩阵。
根据实施例，编码器和/或解码器被配置为确定块内变化缩放矩阵，使得确定导致要量化或要去量化的大小和形状相等的不同块具有不同的块内变化缩放矩阵。因此，第一块的第一块内变化缩放矩阵和第二块的第二块内变化缩放矩阵可以不同，其中第一块和第二块可以具有相同的大小和形状。
此外，该确定可选地使得针对大小和形状相等的要量化的不同块或要去量化的不同块确定的块内变化缩放矩阵取决于选定的变换模式，并且选定的变换模式不等于恒等变换。这是基于以下想法：在选定的变换模式是恒等变换的情况下，频率加权缩放是无益的。对于恒等变换，例如可以使用块全局缩放或空间加权缩放矩阵。然而，对于等于非恒等变换的变换模式，单独对要量化或要去量化的块的每个变换系数进行缩放是有益的。对于不同的非恒等变换模式，块内变化缩放矩阵可以不同。
根据实施例，编码器被配置为：如果选定的变换模式是非恒等变换，则将与选定的变换模式相对应的变换应用于预定块以获得要量化的块，而如果选定的变换模式是恒等变换，则预定块是要量化的块。
根据实施例，解码器被配置为：如果选定的变换模式是非恒等变换，则将与选定的变换模式相对应的逆变换应用于去量化的块以获得预定块，而如果选定的变换模式是恒等变换，则去量化的块是预定块。
实施例涉及一种使用变换编码对图片信号进行基于块编码的方法，包括：为预定块(例如，视频信号或图片信号中的块的区域中的块)选择选定的变换模式，例如恒等变换或非恒等变换。恒等变换例如被理解为变换跳过。此外，该方法包括：使用取决于选定的变换模式的量化精度对根据选定的变换模式与预定块相关联的要量化的块进行量化，以获得量化的块。要量化的块例如是：经过选定的变换模式的预定块，以及/或者在选定的变换模式是非恒等变换的情况下通过将基于选定的变换模式的变换应用于预定块而获得的块、以及在选定的变换模式是恒等变换的情况下通过均衡预定块而获得的块。量化精度例如由量化参数(QP)、缩放因子和/或量化步长来定义。块的值例如除以量化参数(QP)、缩放因子和/或量化步长，以接收量化的块。此外，该方法包括将量化的块熵编码到数据流中。
实施例涉及一种使用变换解码对编码的图片信号进行基于块解码的方法，包括：为预定块(例如，解码的残差图片信号或残差视频信号中的相邻残差块的区域中的残差块)选择选定的变换模式，例如恒等变换或非恒等变换。恒等变换例如被理解为变换跳过，而非恒等变换例如是由编码器应用的变换的逆/反向变换。此外，该方法包括对数据流中的根据选定的变换模式与预定块相关联的要去量化的块进行熵解码，并使用取决于选定的变换模式的量化精度对要去量化的块进行去量化，以获得去量化的块。量化精度例如由量化参数(QP)、缩放因子和/或量化步长来定义。块的值可以乘以量化参数(QP)、缩放因子和/或量化步长，以接收去量化的块。量化精度例如定义了要去量化的块的去量化的精度。
上述方法基于与上述编码器和/或解码器相同的考虑因素。通过这种方式，这些方法可以用关于编码器和/或解码器描述的所有特征和功能来完成。
实施例涉及一种具有程序代码的计算机程序，该程序代码用于当在计算机上运行时执行本文描述的方法。
实施例涉及一种通过对图片信号进行基于块编码的方法而获得的数据流。
附图说明
附图不一定按比例绘制，相反重点通常在于示出本发明的原理。在以下描述中，参考以下附图描述本发明的各种实施例，其中：
图1a示出了编码器的示意图；
图1b示出了备选编码器的示意图；
图2示出了解码器的示意图；
图3示出了基于块编码的示意图；
图4示出了根据实施例的编码器的示意图；
图5示出了根据实施例的解码器的示意图；
图6示出了最近视频编码标准中解码侧缩放和逆变换的示意图；
图7示出了根据实施例的解码器侧缩放和逆变换的示意图；
图8示出了根据实施例的基于块编码的方法的框图；以及
图9示出了根据实施例的基于块解码的方法的框图。
具体实施方式
即使相同或等同的附图标记出现在不同的图中，在以下描述中，通过相同或等同的附图标记来表示相同或等同元件或者具有相同或等同功能的元件。
在以下描述中，阐述了多个细节以提供对本发明的实施例的更透彻的解释。然而，本领域技术人员将清楚的是，可以在没有这些具体细节的情况下实践本发明的实施例。在其他实例中，以框图形式而不是具体地示出了公知的结构和设备，以避免对本发明的实施例造成混淆。此外，除非另外具体指示，否则下文所述的不同实施例的特征可以彼此组合。
附图的以下描述开始于对基于块预测编解码的编码器和解码器的描述的呈现，基于块预测编解码用于对视频的图片进行编码以便形成本发明的实施例可以内置于其中的编码框架的示例。图1a至图3描述了相应的编码器和解码器。尽管用图4至图7描述了实施例，本文描述的本发明概念的实施例可以分别构建到图1a、图1b和图2的编码器和解码器中，还可以用于形成不根据图1a、图1b和图2的编码器和解码器底层的编码框架进行操作的编码器和解码器。
图1a示出了示例性地使用基于变换的残差编码将图片12预测地编码到数据流14中的装置(例如，视频编码器和/或图片编码器)。该装置或编码器使用附图标记10指示。图1b还示出了将图片12预测地编码到数据流14中的装置，其中更详细地示出了可能的预测模块44。图2示出了相应的解码器20，即，被配置为也使用基于变换的残差解码对数据流14中的图片12′进行预测地解码的装置20，其中，撇号已经用于指示在由预测残差信号的量化引入的编码损失方面，由解码器20重构的图片12′偏离了初始由装置10编码的图片12。图1a、图1b和图2示例性地使用基于变换的预测残差编码，但是本申请的实施例不限于这种预测残差编码。如下文将概述的，对于图1a、图1b和图2描述的其他细节也是如此。
编码器10被配置为对预测残差信号进行空间到频谱的变换，并将如此获得的预测残差信号编码到数据流14中。同样地，解码器20被配置为对数据流14中的预测残差信号进行解码，并对由此获得的预测残差信号进行频谱到空间的变换。
在内部，编码器10可以包括预测残差信号形成器22，其产生预测残差24以测量预测信号26与原始信号(即，与图片12)的偏差，其中预测信号26可被解释为根据本发明的实施例的一个或多个预测器块的集合的线性组合。预测残差信号形成器22可以例如是从原始信号(即，从图片12)中减去预测信号的减法器。编码器10然后还包括变换器28，该变换器28对预测残差信号24进行空间到谱变换以获得频谱域预测残差信号24′，该频谱域预测残差信号然后由量化器32进行量化，该量化器32也被包括在编码器10中。如此量化的预测残差信号24″被编码到比特流14中。为此，编码器10可以可选地包括熵编码器34，该熵编码器34将被变换并量化的预测残差信号熵编码到数据流14中。
预测信号26由编码器10的预测级36基于被编码到数据流14中并可从数据流14进行解码的预测残差信号24″产生。为此，如图1a所示，预测级36可以在内部包括去量化器38，该去量化器38对预测残差信号24″进行去量化以便获得除了量化损失之外与信号24′相对应的谱域预测残差信号24″′，接着包括逆变换器40，该逆变换器40对后面预测残差信号24″′进行逆变换(即频谱到空间变换)，以获得除了量化损失之外与原始预测残差信号24相对应的预测残差信号24″″。预测级36的组合器42然后例如通过加法重新组合预测信号26和预测残差信号24″″以获得重构信号46，即原始信号12的重构。重构信号46可以对应于信号12′。如图1b更详细所示，预测级36的预测模块44然后通过使用例如空间预测(即，图片内预测)和/或时间预测(即，图片间预测)基于信号46产生预测信号26。
同样地，如图2所示，解码器20可以在内部由对应于预测级36以及以对应于预测级36的方式互连的组件组成。具体地，解码器20的熵解码器50可以对数据流中的量化的频谱域预测残差信号24″进行熵解码，于是以上面关于预测级36描述的方式互连和协作的去量化器52、逆变换器54、组合器56和预测模块58基于预测残差信号24″来恢复该重构信号，从而如图2所示，组合器56的输出产生该重构信号(即，图片12′)。
尽管上面没有具体描述，但是很容易清楚的是，编码器10可以根据一些优化方案(例如以优化一些速率和失真相关标准(即，编码成本)的方式)设置包括例如预测模式、运动参数等的一些编码参数。例如，编码器10和解码器20以及相应的模块44、58分别可以支持诸如帧内编码模式和帧间编码模式的不同预测模式。编码器和解码器在这些预测模式类型之间切换的粒度可以分别对应于将图片12和12′细分成编码段或编码块。例如，以这些编码段为单位，可以将图片细分成被帧内编码的块和被帧间编码的块。
如下面更详细地概述的，帧内编码块基于相应块(例如，当前块)的空间、已经编码/解码的邻域(例如，当前模板)来预测。若干帧内编码模式可以存在并且被选择用于相应帧内编码段，包括方向或角度帧内编码模式，根据这些模式通过将邻域的样本值沿特定于相应方向帧内编码模式的某个方向外推到相应帧内编码段中来填充相应的段。例如，帧内编码模式还可以包括一个或多个其他模式，例如：DC编码模式，根据该模式，对相应帧内编码块的预测将DC值分配给相应帧内编码段内的所有样本；和/或平面帧内编码模式，根据该模式，对相应块的预测被近似为或确定为由二维线性函数描述的样本值在相应帧内编码块的样本位置上的空间分布，具有由二维线性函数基于相邻样本定义的平面的驱动倾斜和偏移。
与之相比，可以例如在时间上预测帧间编码块。对于帧间编码块，可以在数据流14内用信号通知运动向量，该运动向量指示图片12所属的视频的先前编码的图片(例如，参考图片)的部分的空间位移，在该部分先前编码/解码的图片被采样以获得相应帧间编码块的预测信号。这意味着，除了数据流14包括的残差信号编码(例如表示经量化的频谱域预测残差信号24″的熵编码变换系数级别)之外，数据流14中可能已经编码有用于将编码模式分配给各种块的编码模式参数、一些块的预测参数(例如，帧间编码段的运动参数)、以及可选的其他参数，例如用于控制和发信号通知分别将图片12和图片12′细分成段的参数。解码器20使用这些参数以与编码器相同的方式细分图片，将相同的预测模式分配给段，以及执行相同的预测以产生相同的预测信号。
图3示出了一方面的重构信号(即重构图片)12′与另一方面的数据流14中用信号通知的预测残差信号24″″和预测信号26的组合之间的关系。如上面已经描述的，该组合可以是加法。预测信号26在图3中被示为将图片区域细分成使用阴影线说明性指示的帧内编码块和不带阴影线说明性指示的帧间编码块。细分可以是任意细分，例如将图片区域规则地细分成正方形块或非正方形块的行和列，或者将图片12从一个树根块多树细分成大小可变的多个叶块，例如四叉树细分等，其中图3示出了其混合，在该混合中首先将图片区域细分成树根块的行和列，然后根据递归多树细分进一步细分成一个或多个叶块。
同样，数据流14中可以编码有用于帧内编码块80的帧内编码模式，其将几种支持的帧内编码模式之一分配给相应的帧内编码块80。对于帧间编码块82，数据流14中可以编码有一个或多个运动参数。一般而言，帧间编码块82不限于时间上被编码。备选地，帧间编码块82可以是从超出当前图片12本身的先前编码的部分预测的任何块，例如图片12所属的视频的先前编码图片，或另一视图的图片或在编码器和解码器分别是可扩展的编码器和解码器的情况下的层级较低的层。
图3中的预测残差信号24″″也被示出为将图片区域细分成块84。这些块可以被称为变换块，以便将它们与编码块80和82区分开来。实际上，图3示出了编码器10和解码器20可以分别使用两种不同细分将图片12和图片12′细分成块，即一个细分成编码块80和82，而另一个细分成变换块84。两中细分可以相同，即每个编码块80和82可以同时形成变换块84，但是图3示出了以下情况：其中，例如，细分成变换块84的细分形成了细分成编码块80和82的细分的扩展，使得两个块80和82之间的任何边界覆盖两个块84之间的边界，或者备选地说，每个块80、82要么与变换块84之一重合要么与一组变换块84重合。然而，也可以彼此独立地确定或选择细分，使得变换块84可以备选地跨越块80、82之间的块边界。就细分成变换块84而言，与关于细分成块80、82的那些陈述类似的陈述因此是真实的，即，块84可以是将图片区域规则地细分成块的结果(布置或不布置成行和列)、将图片区域递归多树细分的结果、或其组合、或任何其他类型的分块方法。顺便说一句，要注意的是，块80、82和84不限于方形、矩形或任何其他形状。
图3还示出了预测信号26和预测残差信号24″″的组合直接产生了重构信号12′。然而，应当注意，根据备选实施例，可以将多于一个的预测信号26与预测残差信号24″″组合以产生图片12′。
在图3中，变换块84应当具有以下意义。变换器28和逆变换器54以这些变换块84为单位执行它们的变换。例如，许多编解码器对所有变换块84使用某种DST(离散正弦变换)或DCT(离散余弦变换)。一些编解码器允许跳过变换，使得对于一些变换块84，预测残差信号直接在空间域中进行编码。然而，根据以下描述的实施例，编码器10和解码器20以它们支持几种变换的方式配置。例如，编码器10和解码器20支持的变换可以包括：
·DCT-II(或DCT-III)，其中DCT表示离散余弦变换
·DST-IV，其中DST表示离散正弦变换
·DCT-IV
·夏令时-VII
·恒等变换(IT)
自然地，虽然变换器28将支持这些变换的所有正向变换版本，但是解码器20或逆变换器54将支持其相应的后向或逆向版本：
·逆DCT-II(或反DCT-III)
·逆DST-IV
·逆DCT-IV
·逆DST-VII
·恒等变换(IT)
随后的描述提供了关于编码器10和解码器20可以支持的变换的更多细节。在任何情况下，应当注意，支持的变换的集合可以仅包括一个变换，例如一个频谱到空间或空间到频谱的变换，但也有可能编码器或解码器根本不使用变换或针对单个块80、82、84不使用变换。
如上面已经概述的，图1a至图2已经被呈现为示例，其中可以实现本文描述的发明构思以便形成根据本申请的编码器和解码器的特定示例。就此而言，图1a、图1b和图2的编码器和解码器分别可以表示上面描述的编码器和解码器的可能实现。然而，图1a、图1b和图2仅仅是示例。然而，根据本申请的实施例的编码器可以使用之前或之后更详细地概述的并且不同于图1a或图1b的编码器的构思对图片12执行基于块编码，该概述例如以不同于图3中例示的方式执行细分为块80、和/或根本不使用变换(例如，变换跳过/恒等变换)或针对单个块不使用变换。同样地，根据本申请的实施例的解码器可以使用下面进一步概述的编码构思对数据流14中的图片12′执行基于块解码，但是可以与例如图2的解码器20不同，不同之处在于以不同于图3描述的方式将图片12′细分为块、和/或不是从数据流14中导出变换域中的预测残差而是导出空间域中的预测残差，例如和/或根本不使用任何变换或针对单个块不使用变换。
根据实施例，可以在编码器的量化器32或解码器的去量化器38、52中实现之前描述的发明构思。因此，根据实施例，量化器32和/或去量化器38、52可以被配置为根据由变换器28应用的或要由逆变换器54应用的选定变换，将不同的缩放应用于要量化的块。因此，量化器32和/或去量化器38、52被配置为不仅对所有变换模式(即，变换类型)使用一个预定义的缩放，而且对每个选定的变换模式使用不同的缩放。
最先进的混合视频编码技术采用相同的缩放因子进行逆量化，而与所采用的变换和块大小无关。本发明描述了允许根据选定的变换和块大小使用不同缩放因子的方法。从编码器的角度来看，量化步长根据选定的变换和变换块大小而不同。通过根据变换类型和变换块大小来组合不同的量化步长，编码器可以实现更高的压缩效率。
图4示出了使用变换编码对图片信号进行基于块编码的编码器10。输入图片12的预测残差24的预定块18由编码器10执行。
编码器10被配置为为预定块18选择选定的变换模式130。选定的变换模式130例如基于预定块18的内容、或基于输入图片12的预测残差24的内容、或基于输入图片12的内容来选择。编码器可以从变换模式128中选择选定的变换模式130，该变换模式128可以被划分为非恒等变换1281和恒等变换1282。
根据实施例，非恒等变换1281包括DCT-II、DCT-III、DCT-IV、DST-IV和/或DST-VII变换。
此外，编码器10被配置为使用取决于选定的变换模式130的量化精度140，对根据选定的变换模式130与预定块18相关联的要量化的块18′进行量化，以获得量化的块18″。
根据实施例，要由量化器32量化的块18′可以由编码器通过应用于预定块18的一个或多个处理步骤而获得，其中编码器10可以被配置为在这些步骤之一中使用选定的变换模式130。要量化的块18′是例如预定块18的处理版本。例如，要量化的块18′通过对预定块18应用选定的变换模式130而获得，其中恒等变换可以对应于变换跳过。
要量化的块18′以某个量化精度140进行量化。量化精度140可以基于为预定块18选定的选定变换模式130来确定，该预定块18与要量化的块18′相关联。通过优化的量化精度140，可以减少由量化导致的失真。对于不同的变换模式128，相同的量化精度可以导致不同量的失真。因此，将单独的量化精度140与不同的变换模式128相关联是有利的。
编码器10例如被配置为确定要量化的块18′的量化参数，量化参数定义量化精度140。量化精度140例如由量化参数(QP)、缩放因子和/或量化步长来定义。
由利用单独量化精度140的块18′的量化产生的量化的块18″被编码器10的熵编码器34熵编码到数据流14中。
可选地，编码器10可以包括与图7类似或结合图7所描述的附加特征。
图5示出了使用变换解码对编码的图片信号进行基于块解码的解码器20。解码器20可以被配置为从数据流14重构输出图片，其中预定块118可以表示输出图片的预测残差的块。
解码器20被配置为为预定块118选择选定的变换模式130。选定的变换模式130例如基于数据流14中的信令来选择。解码器可以从变换模式128中选择选定的变换模式130，该变换模式128可以被划分为非恒等变换1281和恒等变换1282。
非恒等变换1281可以表示由编码器应用的变换的逆/反向变换。根据实施例，非恒等变换1281包括逆DCT-II、逆DCT-III、逆DCT-IV、逆DST-IV和/或逆DST-VII变换。
此外，解码器20被配置为由熵解码器50对数据流14中的根据选定的变换模式130与预定块118相关联的要去量化的块118′进行熵解码。根据实施例，要去量化的块118′可以由解码器20执行的一个或多个步骤来处理，从而产生预定块118，其中解码器20可以被配置为在这些步骤之一中使用选定的变换模式130。预定块118是例如要去量化的块118′的处理版本。要量化的块118′例如是在经过选定的变换模式130之前的预定块118。如图5所示，可选地，解码器20被配置为使用逆变换器54，以使用选定的变换模式130来获得预定块118。
此外，解码器20被配置为使用取决于选定的变换模式130的量化精度140对要由去量化器52进行去量化的块118′进行去量化，以获得去量化的块118″。
要去量化的块118′以某个量化精度140进行去量化。量化精度140可以基于为预定块118选定的选定变换模式130来确定，该预定块118与要去量化的块118′相关联。通过优化的量化精度140，可以减少由量化导致的失真。对于不同的变换模式128，相同的量化精度可以导致不同量的失真。因此，将单独的量化精度140与不同的变换模式128相关联是有利的。
解码器20例如被配置为确定要去量化的块118′的量化参数(即，去量化参数)，量化参数定义量化精度140。量化精度140例如由量化参数(QP)、缩放因子和/或量化步长来定义。
可选的变换器54可以被配置为使用选定的变换模式130对去量化的块118″进行变换以获得预定块118。
本发明能够根据选定的变换和变换块大小来改变量化步长，即，量化精度。以下描述从解码器的角度来编写，并且利用量化步长的解码器侧缩放52(乘法)可以被视为编码器侧除以步长的逆(不可逆)关系。
在解码器侧，如H.265/HEVC的当前视频编码标准中的(量化的)变换系数级别的缩放52(即去量化)被设计为用于由具有更高精度的DCT/DST整数变换产生的变换系数，如图所示6。在那里，变量bitDepth指定图像样本的比特深度，例如8比特或10比特。变量log2TbW和log2TbH分别指定变换块宽度和高度的二进制对数。图6示出了例如H.265/HEVC的最近视频编码标准中的解码器侧缩放52和逆变换54。
应当注意，在解码器处，两个基于DCT/DST的一维整数变换1281引入了附加因子
Figure BDA0003410317060000211
其需要通过进行逆缩放来补偿。对于具有奇异log2TbH+log2TbW的非方形块，缩放包括为
Figure BDA0003410317060000212
的因子。可以通过添加181/256的比例因子或使用levelScale值的不同集合(例如levelScale[]＝{29，32，36，40，45，51})来考虑这一点，这些levelScale值在这种情况下包含该因子。对于恒等变换或变换跳过1282的情况，这不适用。
可以看出，因为对于小于4的QP，这些QP的/evelScale小于64＝26，所以步长或缩放因子
Figure BDA0003410317060000213
变得小于1。由于整数正向变换1281增加了残差信号的精度并且从而增加了动态范围，因此对于变换系数，这不是问题。然而，对于恒等变换或变换跳跃1282情况下的残差信号，动态范围没有增加。在这种情况下，对于QP＜4，小于1的缩放因子可能引入失真，而对于QP为4，缩放因子为1则不存在失真。这与减小QP应该减少失真的量化器设计意图相矛盾。
例如无论是否跳过变换，根据选定的变换来改变量化步长都可以用于为变换跳过1282导出不同的量化步长。尤其是对于为0、1、2和3的最低QP，这将解决最低QP的量化步长/缩放因子小于1的问题。在图7所示的一个实施例中，解决方案可以是针对最小允许值4(QP’)，对量化参数53进行剪切，这导致量化步长不能小于1。除此之外，变换所需的使用bdShift1的大小相关归一化541和使用bdShift2的到比特深度的最后舍入542可以移动到变换路径54。这将通过舍入将变换跳过缩放下移(downshift)10比特。在另一实施例中，比特流限制可以定义为不允许编码器使用导致小于1的缩放因子的QP值用于变换跳过，而是针对4对QP值进行剪切。图7示出了根据本发明的改进的解码器侧缩放52和逆变换54。
在比特率范围的另一端，即对于较低的比特率，恒等变换1282的量化步长可能减少一个偏移，从而导致不应用变换或应用恒等变换1282的块的更高保真度。这将使编码器能够为变换跳过块选择适当的QP值，以实现更高的压缩效率。这方面不限于恒等变换/变换跳过1282，它还可以用于通过偏移修改其他变换类型1281的QP。编码器将例如以提高编码效率的方式确定该偏移，该方式例如通过针对给定比特率最大化感知视觉质量或最小化客观失真(如平方误差)，或通过针对给定质量/失真降低比特率。这种(就应用的标准而言)从切片QP的最佳推导取决于例如内容、比特率或复杂性操作点、以及诸如选定的变换和变换块大小的其他因素。本发明描述了在多个变换的情况下用信号通知QP偏移的方法。不失一般性，给定两个备选变换，编码器可以在高级句法结构(例如，序列参数集、图片参数集、瓦片组头、切片头或类似结构)中为两种备选变换中的每一种发送固定的QP偏移。备选地，当编码器已经选择备选变换时，例如编码器为每个变换块发送QP偏移。这两种方法的组合是在高级句法结构中用信号通知基础QP偏移和用信号通知使用备选变换的每个变换块的附加偏移。偏移可以是与基础QP相加或相减的值，或者是偏移值的集合中的索引。该集合可以在高级句法结构中预定义或用信号通知。
·在本发明的优选实施例中，在高级句法结构中，例如在序列、图片、瓦片组、瓦片或切片级别上用信号通知针对恒等变换的相对于基础QP的QP偏移。
·在本发明的另一优选实施例中，针对每个编码单元或编码单元的预定义集合，用信号通知针对恒等变换的相对于基础QP的QP偏移。
·在本发明的另一优选实施例中，针对应用恒等变换的每个变换单元，用信号通知针对恒等变换的相对于基础QP的QP偏移。
本发明的另一方面是针对不同的变换类型使用不同的缩放矩阵，例如恒等变换/变换跳过。缩放矩阵允许不同地对每个变换系数进行缩放。由于变换系数通常与残差信号的不同空间频率相关，因此这可以被解释为频率相关加权。由于不同变换类型产生的系数的分布可能不同，因此建议针对不同变换类型使用不同的缩放矩阵。这种情况的一个特殊情况是恒等变换，其中系数等于与空间频率无关的残差样本。在那种情况下，频率加权缩放没有好处，并且可以应用单独的空间加权缩放矩阵或不应用基于矩阵的缩放。
此外，图8和图9示出了基于关于上述编码器和/或解码器所描述的原理的方法。
图8示出了使用变换编码对图片信号进行基于块编码的方法800，包括：为预定块选择810选定的变换模式，例如恒等变换或非恒等变换，其中恒等变换可以被理解为变换跳过。另外，方法800包括例如使用取决于选定的变换模式的由量化参数(QP)、缩放因子和/或量化步长定义的量化精度对根据选定的变换模式与预定块相关联的要量化的块(例如，经过选定的变换模式的预定块)进行量化820，以获得量化的块。要量化的块可以是在选定的变换模式是非恒等变换的情况下通过将基于选定的变换模式的变换应用于预定块而获得的块、以及在选定的变换模式是恒等变换的情况下通过均衡预定块而获得的块。量化820可以通过将块的值除以量化参数(QP)、缩放因子和/或量化步长，以接收量化的块来执行。此外，方法800包括将量化的块熵编码830到数据流中。
图9示出了使用变换解码对编码的图片信号进行基于块解码的方法900，包括：为预定块(例如，解码的残差图片信号或残差视频信号中的相邻残差块的区域中的残差块)选择选定的变换模式，例如恒等变换或非恒等变换。恒等变换可以被理解为变换跳过，而非恒等变换可以是由编码器应用的或编码方法使用的变换的逆/反向变换。另外，方法900包括对数据流中的根据选定的变换模式与预定块相关联的要去量化的块(例如，在经过选定的变换模式之前的预定块)进行熵解码920。此外，方法900包括使用取决于选定的变换模式的量化精度对要去量化的块进行去量化930，以获得去量化的块。量化精度可以定义对要去量化的块的去量化930的精度。量化精度例如由量化参数(QP)、缩放因子和/或量化步长来定义。去量化930例如通过将块的值乘以量化参数(QP)、缩放因子和/或量化步长，以接收去量化的块来执行。
备选实施方案：
虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。可以由(或使用)硬件装置(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。
取决于某些实现要求，可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现，该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作以便执行本文所述的方法之一。
通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。
换言之，本发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
因此，本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。
因此，本发明方法的另一实施例是表示计算机程序的数据流或信号序列，所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。
另一实施例包括处理装置，例如，计算机或可编程逻辑器件，所述处理装置被配置为或适于执行本文所述的方法之一。
另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。
根据本发明的另一实施例包括被配置为向接收机(例如，以电子方式或以光学方式)传送计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收器传送计算机程序的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。
本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。
本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件中实现。
本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行
本文描述的方法或本文描述的装置的任何组件可以至少部分地由硬件和/或由软件执行。
上述实施例对于本发明的原理仅是说明性的。应当理解的是，本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。

Claims (62)

1.一种使用变换编码对图片信号进行基于块编码的编码器(10)，被配置为：
为预定块(18)选择选定的变换模式(130)；
使用取决于所述选定的变换模式(130)的量化精度(140)对根据所述选定的变换模式(130)与所述预定块(18)相关联的要量化的块(18′)进行量化(32)，以获得量化的块(18″)；以及
将所述量化的块(18″)熵编码到数据流(14)中。
2.根据权利要求1所述的编码器(10)，其中，所述量化精度(140)取决于所述选定的变换模式(130)是恒等变换(1282)还是非恒等变换(1281)。
3.根据权利要求2所述的编码器(10)，被配置为：
如果所述选定的变换模式(130)是恒等变换(1282)，则确定所述预定块(18)的初始量化精度，并检查所述初始量化精度是否比预定阈值更精细，
如果所述初始量化精度比所述预定阈值更精细，则将所述量化精度(140)设置为默认量化精度(140)。
4.根据权利要求3所述的编码器(10)，被配置为：如果所述初始量化精度不比所述预定阈值更精细，则使用所述初始量化精度作为所述量化精度(140)。
5.根据权利要求3或4所述的编码器(10)，被配置为：通过确定量化参数列表中的索引来确定所述初始量化精度。
6.根据权利要求5所述的编码器(10)，其中，所述索引指向所述量化参数列表内的量化参数，并经由对于所述量化参数列表中的所有量化参数相等的函数与量化步长相关联。
7.根据权利要求5或6所述的编码器(10)，被配置为：通过检查所述索引是否小于预定索引值来检查所述初始量化精度是否比所述预定阈值更精细。
8.根据权利要求3至7中任一项所述的编码器(10)，其中，对要量化的块(18′)进行量化(32)包括：进行缩放、然后进行整数量化，以及
其中，所述编码器(10)被配置为：使得所述预定阈值和/或所述默认量化精度(140)与为1的缩放因子相关。
9.根据权利要求3至8中任一项所述的编码器(10)，被配置为：确定例如包括所述预定块(18)的整个图片(12)的包括所述预定块(18)的若干块的初始量化精度、包括所述预定块(18)的若干图片(12)的初始量化精度、或者包括所述预定块(18)的图片(12)的切片的初始量化精度。
10.根据权利要求2至9中任一项所述的编码器(10)，被配置为：在所述数据流(14)中用信号通知量化精度(140)和/或所述选定的变换模式(130)。
11.根据权利要求3至10中任一项所述的编码器(10)，被配置为：在所述数据流(14)中用信号通知所述初始量化精度。
12.根据权利要求1至11中任一项所述的编码器(10)，其中，所述预定块(18)表示要基于块编码的图片信号的预测残差(24)的块。
13.根据权利要求1至12中任一项所述的编码器(10)，被配置为：确定所述预定块(18)的初始量化精度并根据所述选定的变换模式(130)来修改所述初始量化精度。
14.根据权利要求13所述的编码器(10)，被配置为：根据所述选定的变换模式(130)，通过使用偏移值对所述初始量化精度进行偏移来执行所述初始量化精度的修改。
15.根据权利要求13或14所述的编码器(10)，被配置为：通过确定量化参数列表中的索引来确定所述初始量化精度。
16.根据权利要求15所述的编码器(10)，其中，所述索引指向所述量化参数列表内的量化参数，并经由对于所述量化参数列表中的所有量化参数相等的函数与量化步长相关联。
17.根据权利要求15或16所述的编码器(10)，被配置为：通过将所述偏移值与所述索引相加或通过从所述索引减去所述偏移值来修改所述初始量化精度。
18.根据权利要求13至17中任一项所述的编码器(10)，其中，对要量化的块(18′)进行量化包括：进行缩放、然后进行整数量化，以及
其中，所述编码器(10)被配置为：通过将所述偏移值与所述缩放因子相加或通过从所述缩放因子减去所述偏移值来修改所述初始量化精度。
19.根据权利要求13至18中任一项所述的编码器(10)，被配置为：根据所述选定的变换模式(130)是恒等变换(1282)还是非恒等变换(1281)来提供所述修改的初始量化精度。
20.根据权利要求13至19中任一项所述的编码器(10)，被配置为：如果所述选定的变换模式(130)是所述恒等变换(1282)，
则确定所述预定块(18)的初始量化精度并检查所述初始量化精度是否比预定阈值更粗糙，
如果所述初始量化精度比所述预定阈值更粗糙，则根据所述选定的变换模式(130)使用偏移值来修改所述量化精度(140)，使得修改的初始量化精度比所述预定阈值更精细。
21.根据权利要求20所述的编码器(10)，被配置为：
如果所述初始量化精度不比所述预定阈值更粗糙，则不根据所述选定的变换模式(130)使用所述偏移值来修改所述量化精度(140)。
22.根据权利要求20或21所述的编码器(10)，被配置为：如果所述选定的变换模式(130)是非恒等变换(1281)，则不使用所述偏移值来修改所述初始量化精度。
23.根据权利要求13至22中任一项所述的编码器(10)，被配置为：确定例如包括所述预定块(18)的整个图片的包括所述预定块(18)的若干块的初始量化精度、包括所述预定块(18)的若干图片的初始量化精度、或者包括所述预定块(18)的图片的切片的初始量化精度。
24.根据权利要求13至23中任一项所述的编码器(10)，被配置为：通过使用率失真优化来确定所述偏移。
25.根据权利要求14至24中任一项所述的编码器(10)，被配置为：在数据流(14)中用信号通知例如包括所述预定块(18)的整个图片的包括所述预定块(18)的若干块的偏移、包括所述预定块(18)的若干图片的偏移、或者包括所述预定块(18)的图片的切片的偏移。
26.根据权利要求1至25中任一项所述的编码器(10)，其中，对要量化的块(18′)进行量化包括：进行块全局缩放以及利用块内变化缩放矩阵进行缩放、然后进行整数量化，以及
其中，所述编码器(10)被配置为：根据所述选定的变换模式(130)来确定所述块内变化缩放矩阵。
27.根据权利要求26所述的编码器(10)，被配置为：确定所述块内变化缩放矩阵，使得所述确定导致要量化的大小和形状相等的不同块具有不同的块内变化缩放矩阵。
28.根据权利要求27所述的编码器(10)，其中，所述确定使得针对要量化的大小和形状相等的不同块确定的块内变化缩放矩阵取决于所述选定的变换模式(130)，并且所述选定的变换模式(130)不等于恒等变换(1282)。
29.根据权利要求1至28中任一项所述的编码器(10)，被配置为：如果所述选定的变换模式(130)是非恒等变换(1281)，则将与所述选定的变换模式(130)相对应的变换应用于所述预定块(18)以获得要量化的块(18′)；以及
如果所述选定的变换模式(130)是恒等变换(1282)，则所述预定块(18)是要量化的块(18′)。
30.一种使用变换解码对编码的图片信号进行基于块解码的解码器，被配置为：
为预定块选择选定的变换模式(130)；
对数据流(14)中的根据所述选定的变换模式(130)与所述预定块相关联的要去量化的块进行熵解码；
使用取决于所述选定的变换模式(130)的量化精度(140)对所述要去量化的块进行去量化，以获得去量化的块。
31.根据权利要求30的解码器，其中，所述量化精度(140)取决于所述选定的变换模式(130)是恒等变换(1282)还是非恒等变换(1281)。
32.根据权利要求31所述的解码器，被配置为：
如果所述选定的变换模式(130)是恒等变换(1282)，则确定所述预定块的初始量化精度，并检查所述初始量化精度是否比预定阈值更精细，
如果所述初始量化精度比所述预定阈值更精细，则将所述量化精度(140)设置为默认量化精度(140)。
33.根据权利要求32所述的解码器，被配置为：如果所述初始量化精度不比所述预定阈值更精细，则使用所述初始量化精度作为所述量化精度(140)。
34.根据权利要求32或33所述的解码器，被配置为：通过确定去量化参数列表中的索引来确定所述初始量化精度。
35.根据权利要求34所述的解码器，其中，所述索引指向所述去量化参数列表内的量化参数，并经由对于所述去量化参数列表中的所有量化参数相等的函数与量化步长相关联。
36.根据权利要求34或35所述的解码器，被配置为：通过检查所述索引是否小于预定索引值来检查所述初始量化精度是否比所述预定阈值更精细。
37.根据权利要求32至36所述的解码器，其中，对要去量化的块进行去量化包括：进行缩放、然后进行整数去量化，以及
其中，所述解码器被配置为：使得所述预定阈值和/或所述默认量化精度(140)与为1的缩放因子相关。
38.根据权利要求32至37中任一项所述的解码器，被配置为：确定例如包括所述预定块的整个图片的包括所述预定块的若干块的初始量化精度、包括所述预定块的若干图片的初始量化精度、或者包括所述预定块的图片的切片的初始量化精度。
39.根据权利要求31至38中任一项所述的解码器，被配置为：从所述数据流(14)中读取所述选定的变换模式(130)。
40.根据权利要求32至39之一所述的解码器，被配置为：从所述数据流(14)中读取所述初始量化精度。
41.根据权利要求30至40中任一项所述的解码器，其中，所述预定块表示要基于块解码的图片信号的预测残差的块。
42.根据权利要求30至41中任一项所述的解码器，被配置为：确定所述预定块的初始量化精度并根据所述选定的变换模式(130)来修改所述初始量化精度。
43.根据权利要求42所述的解码器，被配置为：根据所述选定的变换模式(130)，通过使用偏移值对所述初始量化精度进行偏移来执行所述初始量化精度的修改。
44.根据权利要求42或43所述的解码器，被配置为：通过确定去量化参数列表中的索引来确定所述初始量化精度。
45.根据权利要求44所述的解码器，其中，所述索引指向所述去量化参数列表内的量化参数，并经由对于所述去量化参数列表中的所有量化参数相等的函数与量化步长相关联。
46.根据权利要求44或45所述的解码器，被配置为：通过将所述偏移值与所述索引相加或通过从所述索引减去所述偏移值来修改所述初始量化精度。
47.根据权利要求42至46所述的解码器，其中，对要去量化的块进行去量化包括：进行缩放，然后进行整数去量化，以及
其中，所述解码器被配置为：通过将所述偏移值与所述缩放因子相加或通过从所述缩放因子减去所述偏移值来修改所述初始量化精度。
48.根据权利要求42至47中任一项所述的解码器，被配置为：根据所述选定的变换模式(130)是恒等变换(1282)还是非恒等变换(1281)来提供所述修改的初始量化精度。
49.根据权利要求42至48中任一项所述的解码器，被配置为：如果所述选定的变换模式(130)是所述恒等变换(1282)，
则确定所述预定块的初始量化精度并检查所述初始量化精度是否比预定阈值更粗糙，
如果所述初始量化精度比所述预定阈值更粗糙，则根据所述选定的变换模式(130)使用偏移值来修改所述量化精度，使得修改的初始量化精度比所述预定阈值更精细。
50.根据权利要求49所述的解码器，被配置为：
如果所述初始量化精度不比所述预定阈值更粗糙，则不根据所述选定的变换模式(130)使用所述偏移值来修改所述量化精度。
51.根据权利要求49或50所述的解码器，被配置为：如果所述选定的变换模式(130)是非恒等变换(1281)，则不使用所述偏移值来修改所述初始量化精度。
52.根据权利要求42至51中任一项所述的解码器，被配置为：确定例如包括所述预定块的整个图片的包括所述预定块的若干块的初始量化精度、包括所述预定块的若干图片的初始量化精度、或者包括所述预定块的图片的切片的初始量化精度。
53.根据权利要求42至52中任一项所述的解码器，被配置为：通过使用率失真优化来确定所述偏移。
54.根据权利要求43至53中任一项所述的解码器，被配置为：从数据流(14)中读取例如包括所述预定块的整个图片的包括所述预定块的若干块的偏移、包括所述预定块的若干图片的偏移、或者包括所述预定块的图片的切片的偏移。
55.根据权利要求30至54中任一项所述的解码器，其中，对要去量化的块进行去量化包括：进行块全局缩放以及利用块内变化缩放矩阵进行缩放、然后进行整数去量化，以及
其中，所述解码器被配置为：根据所述选定的变换模式(130)来确定所述块内变化缩放矩阵。
56.根据权利要求55所述的解码器，被配置为：确定所述块内变化缩放矩阵，使得所述确定导致要去量化的大小和形状相等的不同块具有不同的块内变化缩放矩阵。
57.根据权利要求56所述的解码器，其中，所述确定使得针对要去量化的大小和形状相等的不同块确定的块内变化缩放矩阵取决于所述选定的变换模式(130)，并且所述选定的变换模式(130)不等于恒等变换(1282)。
58.根据权利要求30至57中任一项所述的解码器，被配置为：如果所述选定的变换模式(130)是非恒等变换(1281)，则将与所述选定的变换模式(130)相对应的逆变换应用于所述去量化的块以获得所述预定块；以及
如果所述选定的变换模式(130)是恒等变换(1282)，则所述去量化的块是所述预定块。
59.一种使用变换编码对图片信号进行基于块编码的方法，包括：
为预定块选择选定的变换模式；
使用取决于所述选定的变换模式的量化精度对根据所述选定的变换模式与所述预定块相关联的要量化的块进行量化，以获得量化的块；以及
将所述量化的块熵编码到数据流中。
60.一种使用变换解码对编码的图片信号进行基于块解码的方法，包括：
为预定块选择选定的变换模式；
对数据流中的根据所述选定的变换模式与所述预定块相关联的要去量化的块进行熵解码；
使用取决于所述选定的变换模式的量化精度对所述要去量化的块进行去量化，以获得去量化的块。
61.一种具有程序代码的计算机程序，所述程序代码用于当在计算机上运行时执行权利要求59或60中所述的方法。
62.一种数据流，通过根据权利要求59或60所述的方法来获得。
CN202080043648.0A 2019-06-14 2020-06-12 具有改进的基于变换的缩放的编码器、解码器、方法和计算机程序 Pending CN114009028A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19180322 2019-06-14
EP19180322.0 2019-06-14
PCT/EP2020/066355 WO2020249762A1 (en) 2019-06-14 2020-06-12 Encoder, decoder, methods and computer programs with an improved transform based scaling

Publications (1)

Publication Number Publication Date
CN114009028A true CN114009028A (zh) 2022-02-01

Family

ID=66867055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080043648.0A Pending CN114009028A (zh) 2019-06-14 2020-06-12 具有改进的基于变换的缩放的编码器、解码器、方法和计算机程序

Country Status (9)

Country Link
US (1) US20220103820A1 (zh)
EP (1) EP3984220A1 (zh)
JP (1) JP2022536376A (zh)
KR (1) KR20220030999A (zh)
CN (1) CN114009028A (zh)
BR (1) BR112021025017A2 (zh)
MX (1) MX2021015312A (zh)
TW (1) TWI781416B (zh)
WO (1) WO2020249762A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020169105A1 (en) 2019-02-24 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Condition dependent coding of palette mode usage indication
EP3987806A4 (en) 2019-07-20 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CONDITIONAL CODING OF PALETTE MODE USE INDICATION
CN114145013B (zh) 2019-07-23 2023-11-14 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
EP3991411A4 (en) 2019-07-29 2022-08-24 Beijing Bytedance Network Technology Co., Ltd. CODING IN PALETTE MODE IN A PREDICTION PROCESS
CN115152216A (zh) * 2020-03-12 2022-10-04 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054334A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd. Method and apparatus for determining a prediction mode
US20110170782A1 (en) * 2008-09-01 2011-07-14 Nec Corporation Image identity scale calculation system
US20140064381A1 (en) * 2012-09-06 2014-03-06 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, image coding and decoding apparatus
US20140086311A1 (en) * 2012-09-25 2014-03-27 General Instrument Corporation Signaling of scaling list
US20150215621A1 (en) * 2014-01-30 2015-07-30 Qualcomm Incorporated Rate control using complexity in video coding
WO2015194187A1 (en) * 2014-06-20 2015-12-23 Sharp Kabushiki Kaisha Harmonized palette coding
CN105359521A (zh) * 2013-06-28 2016-02-24 黑莓有限公司 用于对高保真编码器中的低保真编码进行仿真的方法和设备
CN105580368A (zh) * 2013-09-30 2016-05-11 日本放送协会 图像编码装置、图像解码装置以及它们的程序
CN105580367A (zh) * 2013-09-25 2016-05-11 索尼公司 数据编码和解码
CN105900424A (zh) * 2013-10-11 2016-08-24 索尼公司 解码装置、解码方法、编码装置以及编码方法
US20160246266A1 (en) * 2015-02-25 2016-08-25 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling System
US20170214912A1 (en) * 2016-01-22 2017-07-27 Apple Inc. Intra-frame prediction systems and methods
US20170238011A1 (en) * 2016-02-17 2017-08-17 Telefonaktiebolaget Lm Ericsson (Publ) Methods and Devices For Encoding and Decoding Video Pictures
WO2018061837A1 (ja) * 2016-09-30 2018-04-05 ソニー株式会社 画像処理装置および方法
WO2019057846A1 (en) * 2017-09-21 2019-03-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPT FOR VARYING A CODING QUANTIFICATION PARAMETER IN AN IMAGE, ADJUSTING A CODING QUANTIFICATION PARAMETER AND ADAPTING A CODING QUANTITY PARAMETER OF A MULTI-CHANNEL IMAGE
WO2019094919A1 (en) * 2017-11-13 2019-05-16 Interdigital Vc Holdings, Inc. Method and apparatus for generating quantization matrices in video encoding and decoding
US20190149845A1 (en) * 2016-07-14 2019-05-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Predictive picture coding using transform-based residual coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6041554B2 (ja) * 2012-06-27 2016-12-07 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN104662901B (zh) * 2012-09-28 2018-06-22 索尼公司 图像处理装置及方法
US10616585B2 (en) * 2017-11-22 2020-04-07 Arm Limited Encoding data arrays

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110170782A1 (en) * 2008-09-01 2011-07-14 Nec Corporation Image identity scale calculation system
US20100054334A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd. Method and apparatus for determining a prediction mode
US20140064381A1 (en) * 2012-09-06 2014-03-06 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, image coding and decoding apparatus
CN104429073A (zh) * 2012-09-06 2015-03-18 松下电器（美国）知识产权公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
US20140086311A1 (en) * 2012-09-25 2014-03-27 General Instrument Corporation Signaling of scaling list
CN105359521A (zh) * 2013-06-28 2016-02-24 黑莓有限公司 用于对高保真编码器中的低保真编码进行仿真的方法和设备
CN105580367A (zh) * 2013-09-25 2016-05-11 索尼公司 数据编码和解码
CN105580368A (zh) * 2013-09-30 2016-05-11 日本放送协会 图像编码装置、图像解码装置以及它们的程序
CN105900424A (zh) * 2013-10-11 2016-08-24 索尼公司 解码装置、解码方法、编码装置以及编码方法
US20150215621A1 (en) * 2014-01-30 2015-07-30 Qualcomm Incorporated Rate control using complexity in video coding
WO2015194187A1 (en) * 2014-06-20 2015-12-23 Sharp Kabushiki Kaisha Harmonized palette coding
US20170127058A1 (en) * 2014-06-20 2017-05-04 Sharp Kabushiki Kaisha Harmonized palette coding
US20160246266A1 (en) * 2015-02-25 2016-08-25 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling System
US20170214912A1 (en) * 2016-01-22 2017-07-27 Apple Inc. Intra-frame prediction systems and methods
US20170238011A1 (en) * 2016-02-17 2017-08-17 Telefonaktiebolaget Lm Ericsson (Publ) Methods and Devices For Encoding and Decoding Video Pictures
US20190149845A1 (en) * 2016-07-14 2019-05-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Predictive picture coding using transform-based residual coding
WO2018061837A1 (ja) * 2016-09-30 2018-04-05 ソニー株式会社 画像処理装置および方法
WO2019057846A1 (en) * 2017-09-21 2019-03-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPT FOR VARYING A CODING QUANTIFICATION PARAMETER IN AN IMAGE, ADJUSTING A CODING QUANTIFICATION PARAMETER AND ADAPTING A CODING QUANTITY PARAMETER OF A MULTI-CHANNEL IMAGE
WO2019094919A1 (en) * 2017-11-13 2019-05-16 Interdigital Vc Holdings, Inc. Method and apparatus for generating quantization matrices in video encoding and decoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TUNG NGUYEN: "Non-CE8: Minimum Allowed QP for Transform Skip Mode", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING: GOTHENBURG, SE, 3–12 JUL. 2019，JVET-O0405-V1, 12 July 2019 (2019-07-12) *

Also Published As

Publication number Publication date
EP3984220A1 (en) 2022-04-20
US20220103820A1 (en) 2022-03-31
MX2021015312A (es) 2022-02-03
TWI781416B (zh) 2022-10-21
JP2022536376A (ja) 2022-08-15
BR112021025017A2 (pt) 2022-02-22
TW202106018A (zh) 2021-02-01
KR20220030999A (ko) 2022-03-11
WO2020249762A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US20220103820A1 (en) Encoder, decoder, methods and computer programs with an improved transform based scaling
US11176711B2 (en) Apparatus and method for coding/decoding image selectively using discrete cosine/sine transform
US8934543B2 (en) Adaptive quantization with balanced pixel-domain distortion distribution in image processing
US10951884B2 (en) Method and apparatus for encoding/decoding an image signal
US8311109B2 (en) In-loop deblocking for intra-coded images or frames
US20100208804A1 (en) Modified entropy encoding for images and videos
US9787989B2 (en) Intra-coding mode-dependent quantization tuning
US11553207B2 (en) Contour mode prediction
US11297338B2 (en) Selective quantization parameter transmission
US20220132167A1 (en) Block-Based Predictive Coding and Decoding of a Picture
EP2830308B1 (en) Intra-coding mode-dependent quantization tuning
KR101378893B1 (ko) 적응적 비트 심도 감소를 통한 부호화와 복호화 방법 및 그 장치
US11973988B2 (en) Encoder, decoder, methods and computer programs for an improved lossless compression
US20240187653A1 (en) Encoder, decoder, methods and computer programs for an improved lossless compression
WO2023213991A1 (en) Usage of coded subblock flags along with transform switching including a transform skip mode

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40067202

Country of ref document: HK