CN113678450A - 用于图像和视频编码的选择性分量间变换(ict) - Google Patents

用于图像和视频编码的选择性分量间变换(ict) Download PDF

Info

Publication number
CN113678450A
CN113678450A CN202080020791.8A CN202080020791A CN113678450A CN 113678450 A CN113678450 A CN 113678450A CN 202080020791 A CN202080020791 A CN 202080020791A CN 113678450 A CN113678450 A CN 113678450A
Authority
CN
China
Prior art keywords
component
inter
transform
encoder
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080020791.8A
Other languages
English (en)
Inventor
克里斯汀·赫姆瑞希
克里斯蒂安·鲁达特
阮松黄
海科·施瓦茨
德特勒夫·马尔佩
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN113678450A publication Critical patent/CN113678450A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一种用于对要编码的图像的图像内容区域的多个分量进行编码的编码器，被配置成：获得表示图像内容区域的多个分量；从分量间变换集中选择分量间变换；使用所选择的分量间变换对多个分量进行编码以获得编码分量；以及提供编码分量。

Description

用于图像和视频编码的选择性分量间变换(ICT)
以下对附图的描述开始于呈现对用于对视频的画面进行编码的基于块的预测编解码器中的编码器和解码器的描述，以便形成可以在其中构建本发明的实施例的编码框架的示例。关于图1到图3描述了相应的编码器和解码器。下文中呈现对本发明的构思的实施例的描述以及关于如何将这些构思分别构建到图1和图2的编码器和解码器中的描述，但是以随后的图4和以下内容描述的实施例也可以用于形成不根据图1和图2的编码器和解码器所依据的编码框架进行操作的编码器和解码器。
即使出现在不同的图中，相同或等效的元件或具有相同或等效功能的元件在以下描述中也由相同或等效的附图标记表示。
在以下描述中，阐述了多个细节以提供对本发明实施例的更彻底解释。然而，本领域技术人员将清楚，可以在没有这些具体细节的情况下实践本发明的实施例。在其他情况下，众所周知的结构和设备以方框图形式而不是详细示出以避免混淆本发明的实施例。此外，除非另有特别说明，否则下文描述的不同实施例的特征可以相互组合。
图1示出了示例性地使用基于变换的残差编码将画面12预测编码为数据流14的装置。该装置或编码器使用附图标记10表示。图2示出了对应的解码器20，即被配置成也使用基于变换的残差解码从数据流14预测解码画面12’的装置20，其中撇号用来指示由解码器20重构的画面12’在由预测残差信号的量化而引入的编码损失方面偏离了最初由装置10编码的画面12。图1和图2示例性地使用基于变换的预测残差编码，但是本申请的实施例不限于这种预测残差编码。对于关于图1和图2描述的其他细节也是如此，如下文将概述。
编码器10被配置成对预测残差信号进行空间到频谱变换，并且将如此获得的预测残差信号编码到数据流14中。同样地，解码器20被配置成从数据流14中解码预测残差信号，并且对由此获得的预测残差信号进行频谱到空间变换。
在内部，编码器10可以包括预测残差信号形成器22，其生成预测残差24以便度量预测信号26与原始信号即与画面12的偏差。预测残差信号形成器22可以例如是从原始信号即从画面12中减去预测信号的减法器。然后编码器10还包括变换器28，该变换器对预测残差信号24进行空间到频谱变换以获得谱域预测残差信号24’，然后由量化器32进行量化，该量化器也包括在编码器10中。如此量化的预测残差信号24”被编码到比特流14中。为此目的，编码器10可以可选地包括熵编码器34，其将经过变换并量化的预测残差信号熵编码到数据流14中。由编码器10的预测级36基于编码到数据流14中并且可从数据流14解码的预测残差信号24”生成预测信号26。为此目的，如图1中所示，预测级36可以在内部包括对预测残差信号24”进行去量化的去量化器38，以便获得谱域预测残差信号24”’，除了量化损失之外，该信号对应于信号24’，随后逆向变换器40对后者的预测残差信号24”’进行逆向变换，即频谱到空间的变换，以获得预测残差信号24””，除了量化损失之外，该信号对应于原始预测残差信号24。预测级36的组合器42然后诸如通过加法重新组合预测信号26和预测残差信号24””以获得重构信号46，即原始信号12的重构。重构信号46可以对应于信号12’。预测级36的预测模块44然后通过使用例如空间预测即画面内预测，和/或时间预测即画面间预测，而基于信号46生成预测信号26。
同样地，如图2中所示，解码器20可以在内部由对应于预测级36并且以对应于预测级36的方式互连的组件组成。具体地，解码器20的熵解码器50可以从数据流中熵解码量化的谱域预测残差信号24”，由此以上述关于预测级36的模块的方式互连和协作的去量化器52、逆向变换器54、组合器56和预测模块58基于预测残差信号24”恢复重构的信号，因此如图2中所示，组合器56的输出产生重构信号，即画面12’。
尽管上面没有具体描述，但是容易清楚，编码器10可以根据一些优化方案，诸如例如以优化一些速率和失真相关的标准，即编码成本的方式，设置一些编码参数，包括例如预测模式、运动参数等。例如，编码器10和解码器20以及对应的模块44、58分别可以支持不同的预测模式，诸如帧内编码模式和帧间编码模式。编码器和解码器在这些预测模式类型之间切换的粒度可以分别对应于将画面12和12’细分为编码段或编码块。例如，以这些编码段为单位，可以将画面细分为帧内编码块和帧间编码块。如下文更详细概述，帧内编码块基于相应块的已经编码/解码的空间邻域来预测。可以存在若干帧内编码模式并且被选择用于相应帧内编码段，包括方向或角度帧内编码模式，根据这些模式，相应的段通过沿相应的方向帧内编码模式特定的方向外插邻域的样本值到相应的帧内编码段中来填充。例如，帧内编码模式还可以包括一个或多个其他模式，诸如DC编码模式，根据该模式，相应帧内编码块的预测将DC值分配给相应帧内编码段内的所有样本；和/或平面帧内编码模式，根据该模式，相应块的预测被近似或确定为由在相应帧内编码块的样本位置上的二维线性函数描述的样本值的空间分布，基于相邻样本驱动由该二维线性函数定义的平面的倾斜和偏移。与此相比，帧间编码块可以例如在时间上预测。对于帧间编码块，可以在数据流内以信令通知运动矢量，该运动矢量指示画面12所属的视频的先前编码画面部分的空间位移，在该部分对先前编码/解码画面进行采样以获得相应帧间编码块的预测信号。这意味着，除了数据流14包括的残差信号编码，诸如表示量化的谱域预测残差信号24”的熵编码变换系数级别之外，数据流14中可以编码有用于向各种块分配编码模式的编码模式参数，一些块的预测参数如帧间编码段的运动参数，以及可选的其他参数如用于控制并以信令通知分别将画面12和12’细分为段的参数。解码器20使用这些参数以与编码器相同的方式细分画面，为各段分配相同的预测模式，并且执行相同的预测以产生相同的预测信号。
图3示出了作为一方的重构信号(即重构画面12’)与作为另一方的预测信号26和在数据流14中以信令通知的预测残差信号24””的组合之间的关系。如上所述，该组合可以是加法。预测信号26在图3中被示出为将画面区域细分为使用阴影线说明性指示的帧内编码块和用非阴影线说明性指示的帧间编码块。细分可以是任意细分，诸如将画面区域规则细分为正方形块或非正方形块的行和列，或者将画面12从树根块多树细分为具有可变大小的多个叶块，诸如四叉树细分等，其中图3中示出了其混合，其中首先将画面区域细分为树根块的行和列，然后树根块根据递归多树进一步细分而细分为一个或多个叶块。
再者，数据流14中可以编码有针对帧内编码块80的帧内编码模式，其将若干支持的帧内编码模式中的一种分配给相应的帧内编码块80。对于帧间编码块82，数据流14中可以编码有一个或多个运动参数。一般而言，帧间编码块82不限于被时间编码。备选地，帧间编码块82可以是根据超出当前画面12本身的先前编码部分(例如，画面12所属的视频的先前编码画面，或另一视图或在编码器和解码器分别是可扩展的编码器和解码器的情况下的分层较低层的画面)而预测的任何块。
图3中的预测残差信号24””’也被示为将画面区域细分为块84。这些块可以被称为变换块，以便将它们与编码块80和82区分开来。实际上，图3示出了编码器10和解码器20可以分别使用画面12和画面12’到块的两种不同细分，即分别是一种细分为编码块80和82，而另一种细分为变换块84。两种细分可以是相同的，即每个编码块80和82可以同时形成变换块84，但是图3示出了如下情况：例如，到变换块84的细分形成到编码块80、82的细分的扩展，使得块80和82中两个块之间的任何边界覆盖两个块84之间的边界，或换言之，每个块80、82与变换块84之一重合或者与变换块84集群重合。然而，也可以彼此独立地确定或选择细分，使得变换块84可以备选地跨越块80、82之间的块边界。就细分为变换块84而言，因此类似的陈述正如关于细分为块80、82所提出的那样，即块84可以是将画面区域规则细分为块(有或没有布置成行和列)的结果，画面区域的递归多树细分的结果，或其组合或任何其他类型的分块。顺便提及，应注意，块80、82和84不限于方形、矩形或任何其他形状。
图3进一步示出了预测信号26和预测残差信号24””的组合直接产生了重构信号12’。然而，应注意，根据替代实施例，可以将多于一个的预测信号26与预测残差信号24””组合以形成画面12’。
在图3中，变换块84应具有以下意义。变换器28和逆向变换器54以这些变换块84为单位执行其变换。例如，许多编解码器对所有变换块84使用某种DST或DCT。一些编解码器允许跳过变换，从而对于一些变换块84，直接在空间域中对预测残差信号进行编码。然而，根据以下描述的实施例，编码器10和解码器20以它们支持若干变换的方式配置。例如，编码器10和解码器20支持的变换可以包括：
οDCT-II(或DCT-III)，其中DCT代表离散余弦变换
οDST-IV，其中DST代表离散正弦变换
οDCT-IV
οDST-VII
ο恒等变换(IT)
自然，变换器28应支持这些变换的所有正向变换版本，而解码器20或逆向变换器54应支持其对应的背向或逆向版本：
ο逆向DCT-II(或逆向DCT-III)
ο逆向DST-IV
ο逆向DCT-IV
ο逆向DST-VII
ο恒等变换(IT)
随后的描述提供了关于编码器10和解码器20可以支持哪些变换的更多细节。在任何情况下，应注意，所支持的变换集可以仅包括一个变换，诸如一个频谱到空间或空间到频谱变换。
如上面已经概述，图1至图3已经作为示例呈现，其中可以实现下面进一步描述的发明构思以便形成根据本申请的编码器和解码器的特定示例。就此而言，图1和图2的编码器和解码器分别可以表示下文描述的编码器和解码器的可能实现方式。然而，图1和图2只是示例。然而，根据本申请的实施例的编码器可以使用下面更详细概述的构思来执行画面12的基于块的编码，并且与图1的编码器不同，例如，不同之处在于如不是视频编码器而是静止画面编码器，在于不支持帧间预测，或者在于以不同于图3中例示的方式执行细分为块80。同样，根据本申请实施例的解码器可以使用下面进一步概述的编码构思来从数据流14中执行画面12’的基于块的解码，但可以与图2的解码器20不同，例如，不同之处在于不是视频解码器而是静止画面解码器，在于不支持帧内预测，或者在于以不同于关于图3描述的方式将画面12’细分为块，和/或在于不是在变换域中而是在例如空间域中从数据流14推导预测残差。
现在将描述本发明的实施例，同时至少部分地参考图4a和图4b，图4a和图4b分别示出了相应的编码器601、602和相应的解码器651、652的功能。就应用本发明的选择分量间变换621或622、其逆向版本621’或622’的顺序而言，图4a和图4b的配置彼此不同。
1.引言，现有技术
在自然的静止和运动彩色画面(以下简称为图像和视频)中，通常可以观察到各个颜色分量之间的大量信号相关性。对于以YUV或YCbCr(亮度-色度)或RGB(红-绿-蓝)域表示的内容尤其如此。为了在图像或视频编码中有效地利用这种分量间冗余，最近已提出了几种预测技术。其中最引人注目的是：
·跨分量线性模型(CCLM)预测，一种线性预测编码(LPC)方法，它在块级别上根据另一个(通常是亮度)解码分量的信号预测一个分量的输入信号，并仅对误差，即输入与预测之间的差，进行编码；
·联合色度编码(JCC)，一种仅对两个色度残差信号之间的差进行编码(即，仅单个缩混)并且使用分别用于YUV或YCbCr编码的简单逐采样上混规则“V＝-U”或“Cr＝-Cb”来对所述两个色度信号进行解码的方法。换句话说，JCC上混表示分别根据U或Cb预测V或Cr，而无需在JCC缩混过程期间分别为V和Cr编码相关的误差或残差。
分别在[1]和[2]中详细描述的CCLM和JCC技术都通过单个标志将它们在特定编码块中的激活以信令通知给解码器。此外，值得注意的是，这两种方案原则上都可以应用于任意分量对之间，即，
·在YUV或YCbCr编码中，在亮度信号与色度信号之间，或在两个色度信号之间，
·在RGB编码中，在R信号与G信号之间，或在R信号与B信号之间，或者最后在G信号与B信号之间。
在上面的列表中，术语“信号”可以表示输入图像或视频的特定区域或块内的空间域输入信号，或者可以表示所述空间域输入信号与使用任意空间、频谱或时间预测编码技术(例如，角度帧内预测或运动补偿)获得的空间域预测信号之间的残差(即，差值或误差)。
2.现有技术的缺点
虽然上述解决方案成功地提高了现代图像或视频编解码器的编码效率，但可以认识到与CCLM和JCC方法相关的两个缺点：
·在两个色度通道信号之间应用CCLM方法需要在编码器和解码器中从所考虑的编码块的顶部和左侧相邻样本中在计算上相对复杂地推导特定预测参数(CCLM权重)。
·发现采用JCC技术相对不灵活，因为缩混和上混仅支持信号差。虽然平均而言，这种方法适用于YUV或YCbCr编码内容，但发现编码增益对于RGB编码输入以及对于使用具有显著色差的相机录制的自然图像或视频而言相对较低。
因此，希望提供一种用于图像或视频的联合分量编码的更灵活的方法和装置，其保留了JCC方法的低复杂性。
发明内容
为了解决上述缺点，本发明包括以下方面，其中术语以信令通知(或者，“信令”)表示编码信息从编码器到解码器的传输。这些方面中的每一方面都将在单独的章节中详细描述。
1.至少两种分量间联合编码/解码方法中的一种的块或画面选择性应用(即，激活)，以及通过(可能是熵编码的)开/关标志，或者备选地，非二进制索引，对所述联合编码/解码应用进行逐对应块或画面显式信令；
两个或更多个分量间方法可以表示以下任何一种：
·表示两个颜色通道的单个缩混通道的编码；其中C’表示解码的缩混通道，由Cb’＝a C’和Cr’＝b C’获得解码的颜色通道，其中a和b表示特定的混合因子(通常a或b设置为等于1)；
·两个混合通道的编码；其中C1’和C2’是解码的混合通道；通过将大小为2的正交(或接近正交)变换应用于解码的混合通道C1’和C2’来获得解码的颜色分量Cb’和Cr’。
这两种方法都可以扩展到多于两个的颜色分量。如果将混合应用于N＞2个颜色分量，则还可以对M＜N(其中M＞1)个混合通道进行编码，并且在给定M＜N个解码混合通道的情况下重构N个颜色分量。
2.当联合编码/解码被应用(即，激活)时，通过现有编码块标志比特流元素，对所述至少两种分量间方法中被应用的一种进行隐式信令，
3.对所述块或画面中应用的所有分量间联合编码/解码方法的解码参数(例如，上混矩阵、逆向变换类型、逆向变换系数、旋转角或线性预测因子)进行逐块或画面直接或间接信令，
4.当在画面或块级别上选择所述至少两种分量间联合编码/解码方法中要应用的一种时，进行编码器端的快速决策(而不是穷举搜索)。
3.1.具有显式应用信令的ICT的选择性应用
建议在图像或视频编码期间，允许可选地且选择性地应用分量间变换(ICT)以进行联合残差样本编码。如图1中所示，这种ICT设计在编码期间在常规逐分量残差变换之前或之后应用正向联合分量变换(缩混)，并且在解码期间在常规逐分量逆向残差变换之后或之前应用对应的逆向联合分量变换(上混)。然而，与第1节或第2节的现有技术不同，编码器可以在编码期间在不止一种ICT方法之间进行选择，即，不应用ICT编码或应用一组至少两种ICT方法中的一种ICT方法。结合第3.3节的发明方面，这比现有技术产生更大的灵活性。
至少两种ICT方法中的特定一种的选择和应用(也称为激活)可以针对每个图像、视频、帧、片(tile)或条带(slice)(在最近的MPEG/ITU编解码器中也称作条带/片，下文简称为画面)全局地执行。然而，在基于块的混合图像或视频编码/解码中，优选地以块自适应方式应用。为其选择应用多种支持ICT方法中的一种的块可以表示以下任一项：编码树单元、编码单元、预测单元、变换单元或所述图像、视频、帧或条带内的任何其他块。
是否应用多种ICT方法中的任何一种以及应用这些方法中的哪种方法在比特流内使用画面、条带、片或块级别上的一个或多个语法元素(即，以与ICT被应用的粒度相同的粒度)来进行信令。在一个实施例中(在第3.2节中进一步描述)，对于每个所述画面或对于ICT编码适用的每个块，应用或不应用本发明的ICT编码的事实使用(可能是熵编码的)开/关标志来进行信令。换句话说，本发明的(至少两种ICT方法中的)ICT方法的激活通过每个画面响应块的单个比特或位元(bin)来进行显式信令(位元表示熵编码位，如果适当编码，它可以消耗小于1比特的平均大小)。在该实施例的优选版本中，ICT方法的应用由二进制开/关标志来进行信令。应用多种ICT方法中的哪一种方法的信息经由附加传输的编码块标志的组合来以信令通知(详见第3.2节)。在另一实施例中，ICT方法的应用和所使用的ICT方法是使用非二进制语法元素来以信令通知。
对于两个实施例，指示ICT方法的使用的二进制或非二进制语法元素可以仅在一个或多个编码块标志(其指示变换块是否具有任何非零变换系数)等于一的情况下(在语法中)存在。如果不存在与ICT相关的语法元素，则解码器推断未使用任何ICT方法。
此外，高级语法可以包括指示块级语法元素的存在及其含义的语法元素(参见第3.3节)。一方面，此类高级语法元素可以指示是否有任何ICT方法可用于当前画面、条带或片。另一方面，高级语法可以指示更大的ICT方法集中的哪个子集可用于画面的当前画面、条带或片。
在下文中，我们描述了分量间变换的特定变体。以典型使用的YCbCr格式的图像和视频信号的色度分量Cb和Cr为例，针对两个特定颜色分量来描述这些变体。尽管如此，本发明不限于这种使用情况。本发明还可以用于任何其他两种颜色分量(例如，用于RGB视频中的红色和蓝色分量)。此外，本发明还可以应用于两种以上颜色分量(诸如YCbCr视频中的三个分量Y、Cb和Cr，或RGB视频中的三个分量R、G和B)的编码。
DICT类1：基于变换的编码
在第一ICT变体中，可以传输两个颜色通道C1和C2。这两个颜色通道表示具有(至少几乎)正交基函数的变换的变换分量。令C1′和C2′表示重构的颜色通道。在解码器端，原颜色分量的重构Cb’和Cr’使用具有正交基函数的变换导出，这可以根据下式指定：
Figure BDA0003259100810000101
其中α表示信号空间中的旋转角，并且w1和w2表示非零加权因子。在大多数配置中，加权因子选择为w2＝w1或w2＝-w1。这种变换的优点是，在编码器中，可以选择旋转角α，使得两个传输的颜色通道中的一个(即，C1或C2)的方差被最小化，而另一个颜色通道的方差被最大化，最终具有提高编码效率的效果。由于取整(rounding)效果，实际应用的变换可能与上述公式略有不同。可以选择加权因子w1和w2，使得可以使用简化的算术运算来计算变换。例如，应用的变换可以根据下式计算：
Cb′＝C′1+a·C′2，
Cr′＝C′2-a·C′1。
在上面的这个公式中，我们选择了w1＝w2＝1/cosα且a＝tanα。应注意，上面的公式表示一种具体的配置；产生类似简单重构规则的其他配置也是可能的。与(通常)实数因子a的乘法可以通过将实数乘法近似为整数乘法和向右移位(例如，使用类似于Cb′＝C′1+((aint·C′2)＞＞shift)的公式)来实现。在编码器端，将原颜色通道Cb和Cr映射到实际编码分量C1和C2的正向变换可以计算为重构变换(包括对应的近似值)的逆。多个支持的ICT变换中的一个或多个可以对应于这样的正交变换，其具有不同旋转角α(以及适当地选择的加权因子)，或者备选地，不同的缩放因子a。
如上所述，基于变换的ICT方法可以扩展到多于两个的颜色分量，在这种情况下，N＞2个编码颜色通道被线性映射到N个重构颜色分量。应用的变换可以由多个旋转角或更一般地由NxN变换矩阵(具有至少几乎正交的基函数)指定。对于N＝2的情况，实际应用的变换可以由使用整数运算的线性组合来指定。
ICT类2：基于缩混的编码，减少了颜色通道的数量
如上所述，上述基于变换的ICT变体的主要优点是，所得分量中一个分量的方差与另一分量的方差相比(对于具有一定相关性的块)变小。通常，这会导致分量中的一个被量化为零(对于整个块)。为了简化实现方式，可以通过强制将所得分量中的一个(C1或C2)量化为零的方式来实现颜色变换。在这种情况下，原颜色通道Cb和Cr二者都由单个传输分量C表示。给定颜色分量的重构版本，用C’表示，可以根据下式获得重构的颜色通道Cb’和Cr’：
Figure BDA0003259100810000111
其中α表示旋转角并且w表示缩放因子。与上面类似，可以简化实际实现方式，例如根据：
Cb′＝C′，Cr′＝a·C′；或
Cr′＝C′.Cb′＝b·C′。
多个支持的ICT变换中的一个或多个可以对应于这样的联合分量编码，其具有不同旋转角α或不同缩放因子a、b(结合关于哪个颜色分量被设置为等于传输分量C的判决)。在编码器处，实际编码的颜色分量C是通过所谓的缩混获得的，其可以表示为线性组合C＝m1·Cb+m2·Cr，其中例如可以以最小化重构颜色分量Cb’和Cr’的失真的方式选择因子m1和m2。
与上述变体1类似，该第二变体也可以推广到多于两个的颜色分量。在本文中，多种配置是可能的。在第一种配置中，N＞2个原颜色通道由单个联合颜色通道表示(M＝1所得编码分量)。在另一种配置中，N＞2个原颜色通道由M＜N(其中M＞1)个所得通道(例如，M＝N-1个通道)表示。对于这两种配置，原颜色通道的重构可以由具有对应混合因子(可以使用整数乘法和移位实现)的矩阵(具有N行和M＜N列)表示。
多于一种支持的ICT方法可以包括基于变换的方法的零个或更多个变体(由旋转角或缩放因子指定)以及基于缩混的方法的零个或更多个变体(由旋转角或缩放因子指定)(可能有附加标志，指定哪个颜色分量被设置为等于传输分量)。这包括以下情况：(a)所有ICT方法表示基于变换的变体，(b)所有ICT方法表示基于缩混的变体，以及(c)这两种或ICT方法表示基于变换和基于缩混的变体的混合。在此，应该再次指出旋转角或混合因子不是以块为基础传输的。相反，ICT方法集是预定义的，并且编码器和解码器都知道。在块基础上，只有标识多种ICT方法中的一种的索引(通过二进制标志或非二进制语法元素)被发信号通知。可以在序列、画面、片或条带的基础上选择预定义的ICT方法集的子集，在这种情况下，以块为基础编码的索引以信令通知从对应的子集中所选的方法。
根据实施例，使用变换编码的构思传输颜色分量的样本块，包括或至少包括将样本块映射到变换系数块的二维变换，变换系数的量化，以及所得量化索引(也称为变换系数级别)的熵编码。在解码器端，通过首先对熵解码的变换系数级别进行去量化以获得重构的变换系数(去量化通常包括与量化步长的乘法)，然后将逆向变换应用于变换系数以获得重构样本块，来重构样本块。此外，使用变换编码传输的样本块通常表示残差信号，其指定原始信号与预测信号之间的差。在这种情况下，通过将残差样本的重构块与预测信号相加来获得图像的解码块。在解码器端，ICT方法可以如下应用：
·ICT变换应用于重构的变换系数(去量化之后)；ICT变换之后是针对各个颜色分量的逆向2d变换，并且如果适用，加上预测信号；
·ICT变换应用于重构的残差信号。这意味着编码的颜色分量首先进行去量化以及通过2d变换进行逆向变换。所得残差样本块使用ICT变换来进行变换，并且在ICT变换之后可以加上预测信号。
应注意，如果ICT和2d变换都不包括任何取整，则这两种配置会产生相同的结果。但是由于在实施例中，所有变换可以在包括取整的整数算术中指定，因此这两种配置确实会产生不同的结果。应注意，也可以在去量化之前或在加上预测信号之后应用ICT变换。
如上所述，ICT方法的实际实现方式可能会偏离单一变换(由于引入了简化实际实现方式的缩放因子)。应通过相应地修改量化步长来考虑这一事实。这意味着，在本发明的实施例中，特定ICT方法的选择意味着量化参数(以及因此，所得量化步长)的某种修改。量化参数的修改可以通过在标准量化参数中加入增量(delta)量化参数来实现。对于所有ICT方法，增量量化参数可以是相同的，或者对于不同的ICT方法可以使用不同的增量量化参数。结合一种或多种ICT方法使用的增量量化参数可以被硬编码，或者可以作为条带、画面、片或编码视频序列的高级语法的一部分来以信令通知。
3.2.应用至少两种ICT方法中的一种的隐式信令
如第3.1节所述，至少两种ICT方法中的本发明方法的激活优选地使用开/关标志从编码器向解码器进行显式信令，以指示解码器在解码时应用逆向ICT(即，ICT处理矩阵的转置)。然而，对于其中ICT编码(即，正向ICT)和解码(即，逆向ICT)激活的每个画面或块，仍然需要向解码器以信令通知至少两种ICT方法中的哪一种应用于手头所处理的画面或块。虽然直观上可以使用特定ICT方法的显式信令(使用每个画面响应块的一个或多个比特或位元)，但优选地采用隐式信令，因为发现这种形式的信令可以最小化本发明的ICT方案的辅助信息开销。
对于所应用的ICT方法的隐式信令存在两个优选实施例。两者都利用现代编解码器(如HEVC和VVC[3])中现有的“残差零度(zeroness)”指示符，具体地，与每个变换单元的每个颜色分量相关联的编码块标志(CBF)比特流元素。CBF值为0(假)意味着残差块没有被编码(即，所有残差样本都被量化为零，因此不需要在比特流中传输量化的残差系数)，而CBF值为1(真)意味着至少一个残差样本(或变换系数)被量化为给定块的非零值，因此，所述块的量化残差被编码在比特流中。
3.2.1.两种ICT方法中的一种的隐式信令
对于两个分量残差信号的联合ICT编码，两个CBF元素可用于隐式ICT方法信令。当提供两种ICT缩混/上混方法时，优选的隐式信令是：
Figure BDA0003259100810000141
3.2.2.三种ICT方法中的一种的隐式信令
如第3.2.1小节，如果两个CBF元素可用于隐式ICT方法信令，但为应用提供了三种而不是两种ICT缩混/上混方法，则优选的隐式信令是：
Figure BDA0003259100810000142
如果块中两种颜色分量的CBF都为零，则针对任一分量没有非零残差样本被编码在比特流中，从而无需传送有关所应用的ICT方法的信息。
3.3.ICT解码参数的可选直接或间接信令
前面章节描述了如何(使用开/关标志)显式地以信令通知在画面或块中ICT方法的激活，以及如何(通过现有CBF“残差零度”指示符)隐式地以信令通知针对所影响的颜色分量对至少两种ICT方法中的一种的实际选择。可能的两种或多种ICT方法的集合可以包括大小为二的离散余弦变换(DCT)或离散正弦变换(DST)或Walsh-Hadamard变换(WHT)或Karhunen-Loève变换(KLT，也称为主分量分析，PCA)实例，或Givens旋转或线性预测编码函数的某些预定(固定)或输入相关(自适应)参数化。所有这些ICT方法在其正向形式中对于给定的两个输入残差信号导致一个或两个缩混信号，且在其逆向实现中对于给定的一个或两个(可能量化的)缩混信号导致两个上混信号。
具有固定参数化的两种或更多种ICT方法的集合可以通过对例如大小为二的变换或线性预测函数的旋转角或系数的特定预先选择来表征。这种参数化对编码器和解码器都是已知的，因此不需要在比特流中传输。在现有技术[2]中，采用固定的“-1”参数化，从而产生缩混规则“C＝(Cb-Cr)/2”和上混规则“Cb’＝C，Cr’＝-C”。在本方法中，在多于一种ICT方法可供编码器选择的情况下，两种ICT方法的固定集合(参见第3.2.1节)可以是：
Figure BDA0003259100810000151
而三种ICT方法的固定集合(参见第3.2.2小节)(可能比2元素集合更优选)可以是：
Figure BDA0003259100810000152
这种3元素固定集合ICT设计类似于常用于感知和无损音频编码的和差编码技术[4，5]，提供了显著的编码增益。然而，发现该固定方法在两个处理的分量信号上产生所述编码增益的相对不均匀分布。为了弥补这个问题，可以采用更一般的基于旋转的方法，使用大小为2的KLT(也称为主成分分析(PCA))实现。在这种情况下，缩混规则由下式给出：
C1＝Cb·cosα+Cr·sinα或C1＝Cb·sinα+Cr·cosα，
C2＝-Cb·sinα+Cr·cosα或C2＝Cb·cosα-Cr·sinα，
在这种情况下，它表示跨两个分量的正向KLT，而相应的上混规则是：
Cb’＝C1’·cosα-C2’·sinα或Cb’＝C1’·sinα+C2’·cosα，
Cr’＝C1’·sinα+C2’·cosα或Cr’＝C1’·cosα-C2’·sinα，
相应地表示逆向KLT；也可参见[6]。注意，对于α＝π/4的旋转角，上述公式中的右手表达(notation)表示上述三种ICT方法的固定集合中的第三(第三)ICT方法的正交版本。使用KLT/PCA方法，旋转角的不同值-π≤α≤π可用于参数化上述各个第一、第二和可选的第三ICT方法。具体而言，可以为3种ICT方法的集合定义固定角度，诸如α1＝-π/8、α2＝π/8以及可能的α3＝-π/4，其中编码器和解码器都已知α1、α2、α3。值得注意的是，可以定义KLT/PCA缩混规则的单输出分量变体，其中C1’＝0或C2’＝0，相应地，上混规则被简化以仅根据编码C1’或仅根据编码C2’信号重构Cb’和Cr’分量信号(参见第3.1节)。通过这种方式，构建了2种或更多种ICT方法的一种完全灵活和通用的集合，该集合可以包含上述2种固定ICT参数化的集合和3种固定ICT参数化的集合作为子集。这得到了固定参数化方面。
应注意，对于图像和视频编码领域，通常只规定了比特流语法和解码过程。在该上下文中，所描述的缩混(正向ICT变换)将被解释为用于针对特定上混规则获得缩混通道的特定示例。编码器中的实际实现方式可能与这些示例有所不同。
对于一些编码配置，以依赖于输入的自适应方式确定旋转角α是有益的。在这种情况下，α可以根据两个输入分量信号(在此是Cb和Cr残差)计算为：
α＝1/2·tan-1(2·CbCr/(Cb2-Cr2))或α＝1/2·tan-1(2·CbCr/(Cr2-Cb2))，这取决于所应用的KLT缩混/上混规则的表达(请参阅上一页)。上述推导α的方法是基于基于相关(即最小二乘法)的方法。备选地，可以使用公式：
α＝sign(CbCr)·tan-1(sqrt(Cr2)/sqrt(Cb2))或
α＝sign(CbCr)·tan-1(sqrt(Cb2)/sqrt(Cr2))，
同样取决于特定的KLT缩混/上混表达。该计算表示基于强度的主角计算。基于相关和基于强度的推导方法(在自然图像或视频内容上产生几乎相同的结果)都利用点积：
CbCr＝sumb∈B(Cbb·Crb)，Cb2＝sumb∈B(Cbb·Cbb)，Cr2＝sumb∈B(Crb·Crb)，其中B等于属于所处理的编码块(或画面)的所有样本位置的集合。反正切运算tan-1通常使用atan2编程函数来实现，以获得具有正确的符号，即，在适当的坐标象限中的α。推导出的-π≤α≤π可以量化(即映射)到预定义数量的角度之一，并且在块或画面级别与ICT开/关标志一起传输到解码器。具体地，可以使用以下传输选项来通知解码器在逆向ICT处理期间要应用的特定参数化：
·第一选项：为每个编码块和/或该编码块中使用的每种ICT方法传输该ICT方法的量化/映射α，直接作为量化角度值或间接作为预定义角度的查找表的索引。如果在块中仅应用一种ICT方法并且为每个块传输量化/映射α，则仅传输一个α。如果块中的ICT编码未激活，则不为该块传输量化/映射α以提高效率。
·第二选项：对于在所述画面或视频中应用或适用的所有ICT方法，每个画面或视频(画面集)传输一次量化/映射α值。这可以在画面或视频的开始处执行，例如在画面参数集中，或者优选是在HEVC或VVC[3]中的条带报头(slice header)中。如果ICT编码在画面或视频中未激活和/或没有执行色度编码(例如，仅亮度输入)，则不需要传输量化/映射α值。同样，每个α参数可以被传输，直接作为量化角度值或间接作为预定义角度值的查找表的索引。
这两个选项可以并行或按顺序组合。
为了结束对自适应参数化方面的讨论，我们应注意，对于本领域技术人员来说，显而易见的是与上述参数传输选项的轻微偏差很容易实现。例如，从编码器到解码器的逐画面或块ICT参数传输可以仅针对从可用于编码的两种或更多种ICT方法中选择的ICT方法，例如，仅针对方法1和2或仅针对方法3执行。此外，显然，对于2的变换大小(即，跨两个颜色分量的ICT)，当α＝π/4或α＝-π/4时，KLT等效于DCT或WHT。最后，KLT之外的其他变换或者一般来说缩混/上混规则可以被用作ICT，并且可以进行旋转角之外的其他参数化(在最一般的情况下，实际的上混权重可以被量化/映射并传输)。
3.4.应用ICT方法的加速编码器端选择
在现代图像和视频编码器中，通常基于拉格朗日比特分配技术选择多种支持的编码模式中的一种。这意味着对于每个支持的模式m(或其子集)，计算所得失真D(m)和所得比特数R(m)，并且选择最小化拉格朗日函数D(m)+λR(m)的模式，其中λ是固定的拉格朗日乘数。由于失真和速率项D(m)和R(m)的确定通常需要针对每个模式的2d正向变换、(相当复杂的)量化和测试熵编码，因此编码器复杂性随着支持的模式数量的增加而增加。因此，编码器的复杂性也随着以块基础支持的ICT模式的数量而增加。
然而，存在降低用于评估ICT方法的编码器复杂性的可能性。下面，我们重点介绍三个示例：
·在编码器中，可以基于块的颜色分量的原始(残差样本)(例如，通过上述方法中的一种)推导出最佳旋转角α。并且给定推导出的角度，仅有表示最接近该角度的旋转的ICT方法通过推导出该方法m所需的实际失真D(m)和实际比特数R(m)而被测试。
·如果仅支持缩混方法(即，N个颜色分量由M＜N个传输通道表示的方法)，则可以评估仅由缩混导致的失真。然后，仅有导致最小缩混失真的方法m使用拉格朗日方法(即，通过推导出与方法m相关联的实际失真D(m)和实际比特率R(m))而被测试。
·当对两个混合通道C1’和C2’进行编码，这两个通道都需要非零CBF(如同第3.2.2节中的方法3的情况)时，编码器加速可以通过在量化第一混合通道(例如，C1’)之后测试所述第一混合通道的量化版本是否表现出至少一个非零量化系数来实现。如果确实如此(即，其CBF非零)，则可以量化第二混合通道(例如，C2’)，然后使用拉格朗日方法测试该双通道方法。然而，如果第一混合通道的量化版本仅表现出零量化系数(即，其CBF为零)，则可以跳过第二混合通道的量化，并且可以中止双通道方法的拉格朗日测试，这是因为对于给定的量化参数，双通道方法不能被隐式地以信令通知，因此被禁止。
3.5.ICT标志和模式的上下文建模
对于ICT使用的信令可以耦合到CBF信息。当两个CBF标志，即每个色度分量的每个变换块(TB)的CBF都等于0时，不需要信令。否则，取决于ICT应用的配置，可以在比特流中传输ICT标志。内部上下文建模与外部上下文建模之间的区别在这种上下文中是有帮助的，即内部上下文建模选择上下文模型集中的一个上下文模型，而外部上下文建模选择上下文模型集。内部上下文建模的配置是对相邻TB的评估，例如，使用上方邻域和左方邻域并且检查它们的ICT标志值。从值到上下文模型集中的上下文索引的映射可以是加性的(即c_idx＝L+B)、互斥不相交(exclusive disjoint)的(即c_idx＝(L＜＜1)+A)，或主动(actively)的(即c_idx＝min(1，L+B))。对于外部上下文建模，可以采用ICT标志的CBF条件。例如，对于使用由CBF标志的组合区分的三个变换的配置，对于每个CBF组合采用单独的上下文集。备选地，外部上下文建模和内部上下文建模都可以考虑树深度和块大小，以便不同的上下文模型或不同的上下文模型集用于不同的块大小。
在本发明的优选实施例中，对于ICT标志采用单个上下文模型，即上下文模型集大小等于1。
在本发明的另一优选实施例中，内部上下文建模评估相邻变换块并且导出上下文模型索引。在这种情况下，当使用加性评估时，上下文模型集大小等于3。
在本发明的优选实施例中，外部上下文建模针对每个CBF标志组合采用不同的上下文模型集，这在以每个CBF组合导致不同ICT变换的方式配置ICT时，导致三个上下文模型集。
在本发明的另一优选实施例中，当两个CBF标志都等于一时，外部上下文建模采用专用上下文模型集，而其他情况采用相同的上下文模型集。
本文参考编码器的特征而提供的描述也不受限地适用于适于从编码器接收信号或比特流的相应解码器，例如，使用数据连接如无线或有线网络直接接收，或使用存储媒体如便携式媒体或服务器间接接收。反之亦然，结合解码器解释的特征可以不受限地实现为根据实施例的编码器中的对应特征。这尤其包括与解码器相关的评估信息的特征直接且明确地公开了编码器的用于生成和/或传输相应信息的相应特征。特别地，编码器可以包括与要求保护的解码器相对应的功能，特别是用于测试和评估所选择的编码。
尽管已经在装置的上下文中描述了一些方面，但很明显，这些方面也表示对应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对应装置的对应块或项或特征的描述。
本发明的编码图像或视频信号可以被存储在数字存储介质上，或者可以在传输介质诸如无线传输介质或有线传输介质如互联网上传输。
取决于某些实现方式要求，本发明的实施例可以以硬件或软件来实现。可以使用数字存储介质执行该实现方式，例如软盘、DVD、CD、ROM、PROM、EPROM、EEPROM或闪存，其上存储有电子可读控制信号，其与(或能够与)可编程计算机系统协作，使得执行相应的方法。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，所述电子可读控制信号能够与可编程计算机系统协作，从而执行本文所述的方法中的一种。
一般地，本发明的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作用于执行所述方法中的一种。程序代码可以例如被存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的用于执行本文描述的方法中的一种的计算机程序。
换句话说，本发明方法的实施例因此是具有程序代码的计算机程序，当该计算机程序在计算机上运行时，该程序代码用于执行本文描述的方法中的一种。
因此，本发明方法的另一实施例是数据载体(或数字存储介质，或计算机可读介质)，其上记录有用于执行本文描述的方法中的一种的计算机程序。
因此，本发明方法的另一实施例是数据流或信号序列，其表示用于执行本文描述的方法中的一种的计算机程序。数据流或信号序列可以例如被配置成经由数据通信连接例如经由互联网来传送。
另一实施例包括处理装置，例如计算机或可编程逻辑器件，其被配置成或适于执行本文描述的方法中的一种。
另一实施例包括其上安装有用于执行本文描述的方法中的一种的计算机程序的计算机。
在一些实施例中，可编程逻辑器件(例如现场可编程门阵列)可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文描述的方法中的一种。一般地，这些方法优选地由任何硬件装置执行。
上述实施例仅用于说明本发明的原理。应当理解，本领域技术人员将清楚对本文描述的布置和细节的修改和变化。因此，其意图是仅由所附的专利权利要求的范围来限制，而不是由通过本文实施例的描述和解释而呈现的具体细节来限制。
4.参考资料
[1]K.Zhang，J.Chen，L.Zhang，M.Karczewicz，“Enhanced cross-componentlinear model intra prediction，”JVET-D0110，2016，http：//phenix.it-sudparis.eu/ jvet/doc_end_user/current_document.php？id＝2806
[2]J.Lainema，“CE7-rel.：Joint coding of chrominance residuals，”JVET-M0305，Marrakech，2019年1月http://phenix.it-sudparis.eu/jvet/doc_end_user/ current_document.php？id＝5112
[3]B.Bross，J.Chen，S.Liu，“Versatile Video Coding(Draft 4)，”第四版，JVET-M1001，Marrakech，2019年2月http：//phenix.it-sudparis.eu/jvet/doc_end_user/ current_document.php？id＝5755
[4]J.D.Johnston，“Perceptual Transform Coding of Wideband StereoSignals，”in Proc.IEEE Int.Conf.Acoust.Speech Sig.Process.(ICASSP)，格拉斯哥，第三卷，第1993-1996页，1989年5月。
[5]J.D.Johnston和A.J.S.Ferreira，“Sum-Difference Stereo TransformCoding，”in Proc.IEEE Int.Conf.4coust.Speech Sig.Process.(ICASSP)，旧金山，第2卷，第569-572页，1992年3月。
[6]R.G.van der Waal和R.N.J.Veldhuis，“Subband Coding of StereophonicDigital Audio Signals，”in Proc.IEEE Int.Conf.Acoust.Speech Sig.Process.(ICASSP)，多伦多，第3601-3604页，1991年4月。https：//www.computer.org/csdl/ proceedings/icassp/199I/0003/00/00151053.pdf

Claims (79)

1.一种用于对要编码的图像的图像内容区域的多个分量进行编码的编码器，其中所述编码器被配置成：
获得表示所述图像内容区域的所述多个分量；
从分量间变换集中选择分量间变换；
使用所选择的分量间变换对所述多个分量进行编码以获得编码分量；以及
提供所述编码分量。
2.根据权利要求1所述的编码器，其中所选择的分量间变换被实现为至少组合所述多个分量中的第一分量和所述多个分量中的第二分量。
3.根据权利要求1或2所述的编码器，其中所述编码器被配置成基于成本函数选择所述分量间变换，其中所述编码器被配置成将所述分量间变换选择为在所导致的解码失真和/或比特分配(比特数)方面具有最小编码成本。
4.根据权利要求3所述的编码器，其中所述编码器被配置成至少将分量间变换的子集应用于所述分量以评估所述成本函数，并且将所述分量间变换的子集限制为所述分量间变换集中导致分量的解码失真和/或比特数具有预定容差范围的分量间变换。
5.根据前述权利要求中的一项所述的编码器，其中所述多个分量对应于色域和/或亮度-色度域中的至少一个。
6.根据前述权利要求中的一项所述的编码器，其中所述编码器被配置成对所述多个分量进行编码，以便与获得的分量的数量相比具有更少数量的分量。
7.根据前述权利要求中的一项所述的编码器，其中所述编码器被配置成获得所述编码分量以便包括至少一个缩混通道，所述缩混通道表示所述多个分量中的第一分量和所述多个分量中的第二分量的组合编码。
8.根据权利要求7所述的编码器，其中所述缩混通道是第一缩混通道，其中所述编码器还被配置成获得所述编码分量以便包括第二缩混通道，并且基于提供所述第一缩混通道和所述第二缩混通道来提供所述编码分量。
9.根据权利要求7或8所述的编码器，其中所述编码器被配置成对至少两个缩混通道进行编码，其中所述编码器被配置成在第一混合通道的量化之后确定所述第一混合通道的量化版本是否呈现至少一个非零量化系数；
其中所述编码器被配置成：在肯定的情况下，量化第二混合通道，然后使用拉格朗日方法测试所实现的双通道方法；以及
其中所述编码器被配置成：在否定的情况下，跳过第二混合通道的量化并且跳过或中止双通道方法的拉格朗日测试。
10.根据权利要求7至9中的一项所述的编码器，其中所述分量间变换集包括实现分量缩混的多个分量间变换，其中选择所述分量间变换包括：关于在所述分量中生成的失真来评估每一个缩混变换；选择具有最小失真的缩混变换并且使用具有最小失真的缩混变换执行拉格朗日测试。
11.根据前述权利要求中的一项所述的编码器，其中所述编码器被配置成决定使用所述分量间变换集中的一个分量间变换或不使用所述分量间变换集中的分量间变换。
12.根据权利要求11所述的编码器，其中所述编码器被配置成针对每个图像内容区域决定使用所述分量间变换集中的一个分量间变换或不使用所述分量间变换集中的分量间变换。
13.根据权利要求12所述的编码器，其中所述编码器被配置成确定使用所述分量间变换集中的每一个分量间变换的成本和不使用所述分量间变换集中的分量间变换的成本，并且当不使用所述分量间变换集中的分量间变换的成本低于每个所述分量间变换的成本时，决定不使用所述分量间变换集中的分量间变换。
14.根据前述权利要求中的一项所述的编码器，其中所述编码器被配置成向解码器以信令通知以下至少一项：
所选择的分量间变换；以及
对所述图像内容区域使用或不使用分量间变换。
15.根据前述权利要求中的一项所述的编码器，其中所述多个分量间变换中的第一分量间变换和所述多个分量间变换中的第二分量间变换基于关于至少一个参数在所述第一分量间变换与所述第二分量间变换之间不同的相同确定规则结构，其中所述编码器被配置成向解码器提供或以信令通知与所选择的分量间变换相关联的所述参数。
16.根据权利要求16所述的编码器，其中所述参数与所述分量间变换的量化步长有关。
17.根据前述权利要求中的一项所述的编码器，其中所述编码器被配置成进行基于块的图像或视频编码。
18.根据前述权利要求中的一项所述的编码器，其中所述图像内容区域是视频、图像、帧、片或条带内的视频、编码树单元、编码单元、变换单元或块中的一个。
19.根据前述权利要求中的一项所述的编码器，其中所述编码器被配置成在所提供的比特流中与所选择的分量间变换被应用于所述图像内容区域的级别相对应地以信令通知所述分量间变换。
20.根据权利要求19所述的编码器，其中所述编码器被配置成隐式地以信令通知所选择的分量间变换。
21.根据权利要求20所述的编码器，其中所述编码器被配置成针对每个编码分量传输零度信息，优选地是编码块标志(CBF)，其指示相应分量的残差是否包括非零值，其中所述多个分量的零度信息的组合指示所选择的分量间变换。
22.根据权利要求20或21所述的编码器，其中所述多个分量间变换包括正好两个分量间变换，其中所述编码器被配置成基于以下规则通过使用与第一分量相关联的第一CBF以及通过使用与第二分量相关联的第二CBF隐式地以信令通知所选择的分量间变换(ICT)：
Figure FDA0003259100800000041
23.根据权利要求20或21所述的编码器，其中所述多个分量间变换包括正好三个分量间变换，其中所述编码器被配置成基于以下规则通过使用与第一分量相关联的第一CBF以及通过使用与第二分量相关联的第二CBF隐式地以信令通知所选择的分量间变换(ICT)：
Figure FDA0003259100800000042
24.根据前述权利要求中的一项所述的编码器，其中所述编码器被配置成优选地通过使用二进制标志来以信令通知所述分量间变换集中的一个分量间变换的使用，并且被配置成进一步以信令通知所选择的分量间变换。
25.根据权利要求24所述的编码器，其中所述编码器被配置成通过提供指示与所选择的分量间变换相关的至少一个参数的信息来以信令通知所选择的分量间变换；其中所述至少一个参数是量化的值或未量化的值。
26.根据权利要求24或25所述的编码器，其中所述编码器被配置成针对多个图像内容区域共同以信令通知所述分量间变换的使用。
27.根据前述权利要求中的一项所述的编码器，其中所述第一分量和/或所述第二分量是颜色分量；或者其中所述第一分量和所述第二分量中的一个是颜色分量而另一个是非颜色分量。
28.根据前述权利要求中的一项所述的编码器，其中所述分量间变换集包括实现基于变换的编码的至少一个变换。
29.根据权利要求28所述的编码器，其中所述分量间变换集中的至少第一分量间变换和第二分量间变换基于基于变换的编码，所述基于变换的编码基于如下确定规则：
C1＝CE1·cosα+CE2·sinα；以及C2＝-CE1·sinα+CE2·cosα；或
C1＝CE1·sinα+CE2·cosα；以及C2＝CE1·cosα-CE2·sinα
其中CE1是所述第一分量而CE2是所述第二分量，C1是所述第一分量间变换的结果而C2是所述第二分量间变换的结果，并且α表示用于所述分量间变换的旋转角；
其中所述第一分量间变换和所述第二分量间变换在所述旋转角α方面彼此不同。
30.根据权利要求29所述的编码器，其中所述分量间变换集包括至少第三分量间变换，所述第三分量间变换基于相同的确定规则并且关于所述旋转角而变化。
31.根据权利要求29或30所述的编码器，其中可选择的旋转角的值是预定义的，并且实现为被提供用于正交分量间变换。
32.根据权利要求29或30所述的编码器，其中所述编码器被配置成通过优选地使用基于相关或基于强度的方法，基于至少第一分量和第二分量确定要应用的旋转角，来选择所述分量间变换。
33.根据权利要求32所述的编码器，其中所述编码器被配置成基于如下确定规则，基于基于相关的方法来确定所述旋转角：
α＝1/2·tan-1(2·CE1CE2/(CE1 2-CE2 2))；或者
α＝1/2·tan-1(2·CE1CE2/(CE2 2-CE1 2))，
其中CE1CE2、CE1 2和CE2 2是第一分量与第二分量之间的相关矩阵的相应条目。
34.根据权利要求37所述的编码器，其中所述编码器被配置成基于如下确定规则，基于基于强度的方法来确定所述旋转角：
α＝sign(CE1CE2)·tan-1(sqrt(CE2 2)/sqrt(CE1 2))；或者
α＝sign(CE1CE2)·tan-1(sqrt(CE1 2)/sqrt(CE2 2))，
其中CE1CE2、CE1 2和CE2 2是第一分量与第二分量之间的相关矩阵的相应条目。
35.根据权利要求31至34中任一项所述的编码器，其中所述编码器被配置成确定旋转值α，并且被配置成：
将所确定的旋转值用于第一分量间变换，并且反转所述旋转值的符号以获得反转的旋转角，并且将所述反转的旋转角用于第二分量间变换；或者
将所确定的旋转角向上取整以获得向上取整的旋转角并且将所述向上取整的旋转角用于第一分量间变换；以及将所确定的旋转角向下取整以获得向下取整的旋转角并且将所述向下取整的旋转角用于第二分量间变换。
36.根据权利要求29至35中任一项所述的编码器，其中所述编码器被配置成以信令通知所述旋转角或指示所述旋转角或指示其量化版本的信息，其中所述信令对至少一个图像内容区域有效。
37.根据权利要求36所述的编码器，其中所述信令对至少两个图像内容区域有效。
38.根据前述权利要求中的一项所述的编码器，其中所述分量间变换集包括至少一个变换，所述至少一个变换实现分量数量减少的基于缩混的编码。
39.根据权利要求38所述的编码器，其中第一分量间变换和第二分量间变换基于如下确定规则：
Figure FDA0003259100800000071
其中CE1是第一分量而CE2是第二分量，C是分量间变换的结果，C’是解码器处分量间结果的解码结果，而CD1’是解码的第一分量且CD2’是解码的第二分量。
40.根据权利要求38所述的编码器，其中第一分量间变换、第二分量间变换和第三分量间变换基于如下确定规则：
Figure FDA0003259100800000072
其中CE1是第一分量而CE2是第二分量，C、C1和C2是分量间变换的结果，C’、C1’和C2’是解码器处分量间变换的解码结果，而CD1’是解码的第一分量且CD2’是解码的第二分量。
41.根据前述权利要求中的一项所述的编码器，其中所述多个分量中的第一分量CE1是YCbCr方案的Cb分量；其中所述多个分量中的第二分量CE2是YCbCr方案的Cr分量。
42.根据前述权利要求中的一项所述的编码器，其中所述分量间变换集包括实现基于变换的编码的至少一个变换；并且包括实现分量数量减少的基于缩混的编码的至少一个变换。
43.根据前述权利要求中的一项所述的编码器，其中所述分量间变换集包括离散余弦变换、离散正弦变换、Walsh-Hadamard变换和Karhunen-Loève变换/主分量分析中的至少一个。
44.根据前述权利要求中的一项所述的编码器，其中所述分量间变换集包括适于将第一分量和第二分量组合成公共分量使得由公共分量表示第一分量和第二分量的至少一个变换，其中所述编码器被配置成提供所述公共分量。
45.根据前述权利要求中的一项所述的编码器，其中所述编码器被配置成基于所述图像内容区域以信令通知标识所选择的分量间变换的索引。
46.根据前述权利要求中的一项所述的编码器，其中所述编码器被配置成将所选择的分量间变换应用于所述多个分量以获得残差信号，并且提供所述残差信号作为所述编码分量。
47.根据前述权利要求中的一项所述的编码器，其中所述编码器被配置成在添加预测信号之前或在图像内容的去量化之前对所述多个分量进行编码。
48.一种解码器，被配置成对接收图像的图像内容区域的编码分量进行解码，其中所述解码器被配置成：
获得所述编码分量；
从逆向分量间变换集中选择逆向分量间变换；以及
使用所选择的逆向分量间变换对表示所述图像内容区域的多个分量进行解码。
49.根据权利要求48所述的解码器，其中所述解码器被配置成通过对与所接收的图像内容区域相关的至少一个解码的缩混通道进行上混来解码所述多个分量中的第一分量和第二分量，所述解码的缩混通道表示所述多个分量中的所述第一分量和所述第二分量的组合编码。
50.根据权利要求49所述的解码器，其中所述解码器被配置成基于如下确定规则解码所述第一分量和所述第二分量：
Cb′＝aC′；Cr′＝bC′
其中Cb’是解码的第一分量，Cr’是解码的第二分量，a和b表示混合因子，而C’是解码的缩混通道。
51.根据权利要求50的解码器，其中所述混合因子a或所述混合因子b等于1。
52.根据前述权利要求中的一项所述的解码器，其中所述逆向分量间变换集的至少第一逆向分量间变换基于如下确定规则：
Figure FDA0003259100800000091
其中所述确定规则表示两个逆向分量间变换；其中α表示信号空间中的旋转角，而w1和w2表示非零加权因子，C′E1和C′E2表示所述编码分量的重构版本；而CD1’和CD2’表示在解码器中使用具有正交基函数的变换而导出的分量。
53.根据权利要求52所述的解码器，其中所述解码器被配置成实现w2＝w1或w2＝-w1。
54.根据权利要求52或53所述的解码器，其中所述分量间变换集的至少第一分量间变换基于如下确定规则：
CD1′＝C′E1+a·C′E2；以及
CD2′＝C′E2-a·C′E1，
其中w1＝w2＝1/cosα且a表示对应于a＝tanα的参数。
55.根据权利要求52至54中的一项所述的解码器，其中所述解码器被配置成选择所述旋转角以便获得基本正交的分量间变换。
56.根据权利要求49至55中任一项所述的解码器，其中所述解码的缩混通道是第一缩混通道，其中所述解码器被配置成获得与所接收的相同图像内容区域相关的解码的第二缩混通道，其中所述解码器被配置成基于对所述第二缩混通道进行解码获得至少第三分量。
57.根据权利要求56所述的解码器，其中所述解码器被配置成使用多个逆向分量间变换中的第一逆向分量间变换来解码所述第一缩混通道；以及使用所述多个逆向分量间变换中的第二逆向分量间变换来解码所述第二缩混通道；其中所述解码器被配置成选择所述第一逆向分量间变换和所述第二逆向分量间变换，以便彼此基本正交。
58.根据权利要求48至57中的一项所述的解码器，其中所述解码器被配置成接收指示所述逆向分量间变换集中的逆向分量间变换的信息，并且根据所述信息选择所述逆向分量间变换。
59.根据权利要求58所述的解码器，其中所述解码器被配置成针对每个编码分量接收零度信息，优选地是编码块标志(CBF)，其指示相应分量的残差是否包括非零值，其中所述多个分量的零度信息的组合指示所选择的分量间变换。
60.根据权利要求58或59所述的解码器，其中所述多个逆向分量间变换包括正好两个逆向分量间变换，其中所述解码器被配置成基于以下规则通过使用与第一分量相关联的第一CBF以及通过使用与第二分量相关联的第二CBF对由编码器选择的隐式地以信令通知的分量间变换(ICT)进行解码：
Figure FDA0003259100800000101
61.根据权利要求58或59所述的解码器，其中所述多个逆向分量间变换包括正好三个逆向分量间变换，其中所述解码器被配置成基于以下规则通过使用与第一分量相关联的第一CBF以及通过使用与第二分量相关联的第二CBF对由编码器选择的隐式地以信令通知的分量间变换(ICT)进行解码：
Figure FDA0003259100800000102
62.根据权利要求48至62中任一项所述的解码器，其中所述解码器被配置成从包括所述编码分量的接收比特流中获得表示第一分量和第二分量的解码的公共分量；以及选择逆向分量间变换，所述逆向分量变换导致所述解码器基于如下确定规则确定所述第一分量和所述第二分量：
Figure FDA0003259100800000111
或者
Figure FDA0003259100800000112
其中α表示旋转角，w表示缩放因子，CD1’表示解码的第一分量而CD2’表示解码的第二分量，并且C’表示解码的公共分量。
63.根据权利要求62所述的解码器，其中所述解码器被配置成选择所述逆向分量间变换以便基于如下确定规则确定所述第一分量和所述第二分量：
CD1′＝C′，CD2′＝a·C′
或基于如下确定规则确定所述第一分量和所述第二分量：
CD2′＝C′，CD1′＝b·C′
其中a和b表示缩放因子。
64.根据权利要求48至63中的一项所述的解码器，其中所述解码器被配置成接收所述编码分量作为残差信号；其中解码所选择的逆向分量间变换包括将重构图像内容加到所述编码分量。
65.根据权利要求48至64中的一项所述的解码器，其中所述逆向分量间变换集的至少第一逆向分量间和第二逆向分量间变换基于基于变换的编码，所述基于变换的编码基于如下确定规则：
CD1’＝C1’·cosα-C2’·sinα；以及CD2’＝C1’·sinα+C2’·cosα；或CD1’＝C1’·sinα+C2’·cosα；以及CD2’＝C1’·cosα-C2’·sinα
其中CD1是接收到的第一分量而CD2是接收到的第二分量，C1’是所述第一逆向分量间变换的结果而C2’是所述第二逆向分量间变换的结果，并且α表示用于所述分量间变换的旋转角；
其中所述第一逆向分量间变换和所述第二逆向分量间变换在所述旋转角α方面彼此不同。
66.根据权利要求48至65中任一项所述的解码器，其中所述解码器被配置成使用上下文模型集中的上下文模型对所述图像内容区域进行解码，其中所述上下文模型采用图像的先前解码的图像内容区域；其中所述上下文模型集与指示使用分量间变换的分量间变换标志相关联。
67.根据权利要求66所述的解码器，其中所述解码器被配置成从至少第一上下文模型和第二上下文模型中选择所述上下文模型；或在使用所述上下文模型和不使用所述上下文模型之间进行选择。
68.根据权利要求67所述的解码器，其中所述解码器被配置成从包括至少一个上下文模型的上下文模型集中选择所述上下文模型。
69.根据权利要求67或68所述的解码器，其中所述上下文模型集包括数量正好为三个的上下文模型，其中所述解码器被配置成评估所述图像内容区域的相邻图像内容区域，并且基于所述评估选择用于当前图像内容区域的上下文模型。
70.根据权利要求69所述的解码器，其中所述解码器被配置成基于所述上下文模型集中的上下文索引来评估所述图像内容区域的相邻图像内容区域，所述上下文索引是加性的(即，c_idx＝L+A)、互斥不相交的(即，c_idx＝(L<<1)+A)，或主动的(即，c_idx＝min(1，L+A))；
其中索引c_idx表示所选择的上下文模型，并且L和A表示相邻的图像内容区域，例如左方相邻区域和上方相邻区域。
71.根据权利要求66至70中的一项所述的解码器，其中所述解码器被配置成从正好三个上下文模型集中选择一个上下文模型集，并且从所选择的上下文模型集中包含的至少一个上下文模型中选择所述上下文模型。
72.根据权利要求66至71中的一项所述的解码器，其中，为了选择所述上下文模型，所述解码器被配置成将编码块信息(编码块标志条件)用于指示所使用的分量间变换的分量间变换标志。
73.根据权利要求72所述的解码器，其中所述编码块信息包括用于至少第一分量和第二分量的第一编码块标志和第二编码块标志，其中所述解码器被配置成将不同上下文模型集与所述第一编码块标志和所述第二编码块标志的不同组合相关联。
74.根据权利要求73所述的解码器，其中所述上下文模型集包括与所述分量间变换标志相关的正好一个上下文模型。
75.根据权利要求66至74中的一项所述的解码器，其中所述解码器被配置成针对每个编码分量接收零概率信息，指示概率，优选地编码块标志(CBF)，指示相应分量的残差是否包括非零值，并且被配置成响应于指示非零残差的正好一个零度信息来选择包括至少一个上下文模型的第一上下文模型集，以及响应于指示相应非零残差的至少第一零度信息和第二零度信息来选择包括至少一个上下文模型的不同的第二上下文模型集。
76.一种对要编码的图像的图像内容区域的多个分量进行编码的方法，其中所述方法包括：
获得表示所述图像内容区域的所述多个分量；
从分量间变换集中选择分量间变换；
使用所选择的分量间变换对所述多个分量进行编码以获得编码分量；以及
提供所述编码分量。
77.一种用于对接收图像的图像内容区域的编码分量进行解码的方法，其中所述方法包括：
获得所述编码分量；
从逆向分量间变换集中选择逆向分量间变换；以及
使用所选择的逆向分量间变换对表示所述图像内容区域的多个分量进行解码。
78.一种计算机可读数字存储介质，其上存储有具有程序代码的计算机程序，用于在计算机上运行时执行根据权利要求76或77所述的方法。
79.一种通过根据权利要求76或77的方法获得的数据流。
CN202080020791.8A 2019-03-12 2020-03-11 用于图像和视频编码的选择性分量间变换(ict) Pending CN113678450A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19162323.0 2019-03-12
EP19162323 2019-03-12
PCT/EP2020/056553 WO2020182907A1 (en) 2019-03-12 2020-03-11 Selective inter-component transform (ict) for image and video coding

Publications (1)

Publication Number Publication Date
CN113678450A true CN113678450A (zh) 2021-11-19

Family

ID=65812036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080020791.8A Pending CN113678450A (zh) 2019-03-12 2020-03-11 用于图像和视频编码的选择性分量间变换(ict)

Country Status (9)

Country Link
US (1) US20210409708A1 (zh)
EP (1) EP3939296A1 (zh)
JP (2) JP7390395B2 (zh)
KR (1) KR20210139336A (zh)
CN (1) CN113678450A (zh)
BR (1) BR112021018089A2 (zh)
MX (1) MX2021010909A (zh)
TW (2) TWI815259B (zh)
WO (1) WO2020182907A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11405615B2 (en) * 2020-03-26 2022-08-02 Tencent America LLC Joint transform coding of multiple color components

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014166965A1 (en) * 2013-04-08 2014-10-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Inter-component prediction
US20140355897A1 (en) * 2013-05-30 2014-12-04 Apple, Inc. Adaptive color space transform coding
WO2015124754A1 (en) * 2014-02-21 2015-08-27 Koninklijke Philips N.V. High definition and high dynamic range capable video decoder
US20160100175A1 (en) * 2014-10-06 2016-04-07 Canon Kabushiki Kaisha Residual colour transform signalled at sequence level for specific coding modes
CN107079157A (zh) * 2014-09-12 2017-08-18 Vid拓展公司 用于视频编码的分量间去相关
CN108141596A (zh) * 2015-09-29 2018-06-08 高通股份有限公司 用于视频译码的非可分离二次变换

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970219B2 (en) * 2004-12-30 2011-06-28 Samsung Electronics Co., Ltd. Color image encoding and decoding method and apparatus using a correlation between chrominance components
KR20100074276A (ko) * 2007-10-15 2010-07-01 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
US8731315B2 (en) * 2011-09-12 2014-05-20 Canon Kabushiki Kaisha Image compression and decompression for image matting
CN109120930B (zh) * 2011-11-04 2021-03-26 夏普株式会社 图像解码装置、图像编码装置及其方法
US8615140B2 (en) * 2011-11-18 2013-12-24 Canon Kabushiki Kaisha Compression of image data in accordance with depth information of pixels
WO2014005248A1 (en) * 2012-07-02 2014-01-09 Qualcomm Incorporated Intra-coding of depth maps for 3d video coding
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
ITTO20130503A1 (it) * 2013-06-18 2014-12-19 Sisvel Technology Srl Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
JP6320440B2 (ja) * 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
US10277905B2 (en) * 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
EP3446486B1 (en) * 2016-04-22 2021-12-08 Dolby Laboratories Licensing Corporation Coding of hdr video signals in the ictcp color format
CN113632467A (zh) * 2018-11-14 2021-11-09 夏普株式会社 用于将解块滤波器应用于重构视频数据的系统和方法
MX2021005939A (es) * 2018-11-21 2021-07-21 Electronics & Telecommunications Res Inst Metodo y aparato de codificacion/decodificacion de imagen, y medio de registro que almacena flujo de bits.
PH12019000380A1 (en) * 2018-12-17 2020-09-28 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2020130730A1 (ko) * 2018-12-21 2020-06-25 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US12022060B2 (en) * 2019-02-28 2024-06-25 Samsung Electronics Co., Ltd. Video encoding and decoding method for predicting chroma component, and video encoding and decoding device for predicting chroma component
WO2020180214A1 (en) * 2019-03-01 2020-09-10 Huawei Technologies Co., Ltd. The method of efficient signalling of cbf flags
KR20210134375A (ko) * 2019-03-04 2021-11-09 알리바바 그룹 홀딩 리미티드 비디오 콘텐츠를 처리하기 위한 방법 및 시스템
US20200288159A1 (en) * 2019-03-08 2020-09-10 Qualcomm Incorporated Combined residual coding in video coding
CN114143548B (zh) * 2019-03-11 2023-02-14 北京达佳互联信息技术有限公司 视频编解码中变换系数的编解码

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014166965A1 (en) * 2013-04-08 2014-10-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Inter-component prediction
US20140355897A1 (en) * 2013-05-30 2014-12-04 Apple, Inc. Adaptive color space transform coding
WO2015124754A1 (en) * 2014-02-21 2015-08-27 Koninklijke Philips N.V. High definition and high dynamic range capable video decoder
CN107079157A (zh) * 2014-09-12 2017-08-18 Vid拓展公司 用于视频编码的分量间去相关
US20160100175A1 (en) * 2014-10-06 2016-04-07 Canon Kabushiki Kaisha Residual colour transform signalled at sequence level for specific coding modes
CN108141596A (zh) * 2015-09-29 2018-06-08 高通股份有限公司 用于视频译码的非可分离二次变换

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAI ZHANG等: "Multi-model based cross-component linear model chroma intra-prediction for video coding", 《2017 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)》, 13 December 2017 (2017-12-13), pages 1 - 5 *

Also Published As

Publication number Publication date
TWI753377B (zh) 2022-01-21
JP2022524440A (ja) 2022-05-02
JP7390395B2 (ja) 2023-12-01
EP3939296A1 (en) 2022-01-19
JP2024032017A (ja) 2024-03-08
KR20210139336A (ko) 2021-11-22
BR112021018089A2 (pt) 2021-11-23
WO2020182907A1 (en) 2020-09-17
TW202243470A (zh) 2022-11-01
MX2021010909A (es) 2021-11-04
TW202038608A (zh) 2020-10-16
TWI815259B (zh) 2023-09-11
US20210409708A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
US11509899B2 (en) Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
US10855997B2 (en) Secondary transform kernel size selection
CN107409227B (zh) 视频编解码方法及装置
JP7223045B2 (ja) マルチコンポーネント画像またはビデオ符号化のコンセプト
CN111819853B (zh) 图像块编码装置和图像块编码方法
RU2683165C1 (ru) Внутреннее предсказание блочного копирования с асимметричными разделами и схемами поиска на стороне кодера, диапазоны поиска и подходы к разделению
CN105635735B (zh) 感知图像和视频编码
US20180288439A1 (en) Multiple Transform Prediction
BR112021014853A2 (pt) Método e aparelho para processar e codificar dados de vídeo, e, mídias de armazenamento e registro legíveis por computador não transitórias
BR112021015017A2 (pt) Método para processar vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador
US10080038B2 (en) Spatial improvement of transform blocks
KR20110015002A (ko) 향상 계층 비디오 코딩을 위한 적응 양자화
EP3891976A1 (en) Encoder, decoder amd methods for enhancing a robustness for calculation of cross-component linear model parameters
US20170188029A1 (en) Method of Alternative Transform for Data Compression
US11843774B2 (en) Apparatus and method for encoding and decoding a picture using picture boundary handling
TW202209890A (zh) 用以選擇內預測模式以供填補之設備
WO2020249762A1 (en) Encoder, decoder, methods and computer programs with an improved transform based scaling
JP2024032017A (ja) 画像及びビデオコード化のための選択的成分間変換（ｉｃｔ）
US20210021871A1 (en) Method and apparatus for performing low-complexity operation of transform kernel for video compression
US20200389657A1 (en) Selective quantization parameter transmission
US20230128882A1 (en) Dc down-scaled weighted cost function for image/video coding
WO2021219416A1 (en) Triangulation-based adaptive subsampling of dense motion vector fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064281

Country of ref document: HK