CN111526359B - 多分量图片或视频编码概念 - Google Patents

多分量图片或视频编码概念 Download PDF

Info

Publication number
CN111526359B
CN111526359B CN202010102694.5A CN202010102694A CN111526359B CN 111526359 B CN111526359 B CN 111526359B CN 202010102694 A CN202010102694 A CN 202010102694A CN 111526359 B CN111526359 B CN 111526359B
Authority
CN
China
Prior art keywords
component
prediction
icp
decoder
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010102694.5A
Other languages
English (en)
Other versions
CN111526359A (zh
Inventor
通·恩固因
阿里·阿特夫·易卜拉欣·海拉特·阿卜杜勒哈米德
德特勒夫·马佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Video Compression LLC
Original Assignee
GE Video Compression LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Video Compression LLC filed Critical GE Video Compression LLC
Publication of CN111526359A publication Critical patent/CN111526359A/zh
Application granted granted Critical
Publication of CN111526359B publication Critical patent/CN111526359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及多分量图片或视频编码概念。通过使用分量间预测从重构的第一分量信号和重构的第二分量信号两者重构与多分量视频的第三分量相关的第三分量信号，来提高多分量图片或视频编码内容的编码效率。

Description

多分量图片或视频编码概念
本申请是申请日为2014年10月17日、国际申请号为PCT/EP2014/072350、发明名称为“多分量图片或视频编码概念”的PCT申请的中国国家阶段申请201480056687.9的分案申请，该PCT申请进入中国国家阶段的进入日为2016年4月14日，其全部内容结合于此作为参考。
技术领域
本发明涉及多分量图片或视频编码，例如彩色图片或视频的编码。
背景技术
使用所谓的具有三维或者四维的颜色空间来表示彩色颜色图片和视频，并且维度也被称为分量。三分量的颜色空间的示例是R'G'B'颜色空间。在此颜色空间内，原色红色(R)、绿色(G)以及蓝色(B)构成三维颜色立方体的基础。然而，在信号处理的应用空间内，关键的是要最小化不同分量之间的相关性，从而实现在图片和视频压缩的情况下的高效的功耗、实施成本或者压缩效率。因此，R'G'B'信号通常被转换成Y'CbCr，其具有被称作亮度的第一分量(Y')和被称作色度分量的剩余两个分量(CbCr)。相较于R'G'B'颜色空间，Y'CbCr的色度分量值表示相对于蓝色或红色的色差。因此，降低色度能量通常被减小并因此产生较高的压缩效率。然而，由于固定变换的应用(即R'G'B'到Y'CbCr的转换)，所得的输出通常不是局部最优的。克服这种类型的限制的可能性是应用颜色分量之间的局部预测。这样的预测通常被称为分量间预测(ICP)。ICP可被应用于R'G'B'和Y'CbCr信号两者。在第一种情况下，ICP会导致色度分量的能量减少，并且因此，它可以被视为外部颜色空间转换的替代。在第二种情况下，ICP方法可被视为在不同颜色分量之间的进一步的解相关性的步骤，并且因此，ICP方法可产生更高的压缩效率。为简化起见，不考虑固有的(native)或者输入颜色空间，其余描述参照亮度或者Y'来表示第一分量和主分量，以及第一色度或者第二色度，或者参照Cb或Cr来分别表示其余两个色度分量。值得注意的是，色度分量的顺序是很重要的，因为对于一些应用程序来说处理顺序可以是连续的。
ICP是(如果有的话)被成对施加的，例如通过根据亮度分量预测一个色度分量，并且对于其它色度分量也做相同的操作。然而，为了进一步提高编码效率，这将是有利的。
本发明的目的是提供能够实现更高的编码效率的多分量的图片或视频的编码概念。
通过本申请的独立权利要求的主题来实现本目的。
本申请的一个基本的结论是：可以通过使用来自重构的第一分量信号和重构的第二分量信号两者的分量间预测，重构与多分量视频的第三分量相关的第三分量信号来提高多分量图片或视频的编码概念的编码效率。
发明内容
根据本申请的实施方式，数据流中的多源ICP信号通知被用于针对多分量图片或视频的不同部分或者ICP模式单元的部分，在不同的ICP编码模式之间进行切换。ICP编码模式包括多源ICP编码模式以及至少一个非ICP编码模式。在应用了多源ICP编码模式的多分量图片或视频的ICP模式部分中，对于多分量图片或视频的图片的子部分，在数据流中提供信号通知，指示对于每个子部分是否从重构的第一分量信号的空间对应部分、重构的第二分量信号的空间对应部分或它们的组合进行了相同的分量间预测。在至少一个非ICP编码模式，重构的第一分量信号的空间对应部分和重构的第二分量信号的空间对应部分之间这样的组合或变化是不可用的。ICP可以在非ICP编码模式的ICP模式部分中可以被完全切断，或者ICP可仅相对于第一和第二分量信号中的固定的一个是可用的。ICP模式部分可以是单个图片，单个图片序列或单个片或连续编码的图片，图片序列或片。通过多个源ICP与至少一种非ICP编码模式的并置，任何额外的信号通知开销(这根据本申请的实施例可与多源ICP的子图象形式参数相关并且可以在多源ICP编码模式情况下相对于非ICP编码模式增加)，可以被限制到视频的部分，在所述部分，该附加信号通知开销被编码效率增益过补偿，所述编码效率增益通过可用于分量间预测的一个以上的分量源获得分。
根据实施方式，第一分量是亮度，第二分量是第一色度分量，以及第三分量是第二色度分量。在这种情况，基于亮度分量和第一色度分量的第二色度分量的组合的分量间预测进一步使用例如变换以及熵编码提高了对将被编码的冗余的解相关。
根据实施方式，数据流中的显式的ICP源信号通知被用于以子图片的粒度，在使用分量间预测从重构的第一分量信号的空间对应部分重构多分量图片或视频的当前图片中的第三分量信号与使用分量间预测从重构的第二分量信号的空间对应部分重构多分量图片或视频的当前图片中的第三分量信号之间进行切换。尽管信号通知开销，但是通过这种方法可用的预测改进过补偿该信号通知的开销，因此产生更高的编码效率。可替代地，可使用隐式信号通知。不论所使用的信号通知的类型，子图片的粒度(granularity，粒度)可与第三分量信号的重构在空间、时间和/或视点间预测模式之间进行切换的粒度一致，即，可以预测块或者——使用不同文字——编码单位为单位，分别执行在重构第三分量信号中空间、时间和/或视点间预测模式之间的切换，以及在基于第一分量信号和第二分量信号执行ICP之间的切换。可替换地，可使用变换块。
可使用线性预测执行ICP。在这样做的时候，可使用数据流中的ICP预测参数信号通知，以便改变重构的第一分量信号和重构的第二分量信号以子图片粒度对分量间预测线性地贡献的权重。也就是说，可以子图片粒度在数据流中传送两个权重，其中一个发送用于重构的第一分量信号的权重，并且另一个指示用于重构的第二分量信号的权重，因此，这两个权重的加权和使用这两种源产生分量间预测。使用线性预测，ICP预测参数信号通知的开销可以保持为合理的成本，同时仍然实现足够的去相关的改进。如上所示，可以预测块或者变换块为单位在数据流中信号发送权重。权重的可用值可在零附近分布，并且可以包括零。
根据实施方式，所述的ICP预测参数信号通知可包括ICP源指示符的条件信号通知，相应块的权重首先被传送，并且仅仅在同样为非零的情况下是所信号发送的ICP源指示符。通过这种措施，与ICP预测参数信号通知相关联的信令开销也被减小。
根据实施方式，ICP预测参数信号通知包括以如下方式的权重编码：首先编码权重的符号，随后根据该符号使用上下文模型编码权重的绝对值。通过这种方式，可根据该符号设置用于熵编码/解码绝对值的可能性，从而导致由于所使用的可能性的更近的适用性而得到改善的压缩率。
根据本申请的实施方式，在用于以分量内的方式重构第三分量信号的空间/时间和/或视点间预测的预测冗余上应用组件间预测。换言之，组件间预测表示与第三分量信号的空间、时间和/或视点间的分量内预测相关的一种第二阶段预测(second-stageprediction，第二级预测)。同样，重构的第一分量信号和重构的第二分量信号可表示相对于多分量图片或视频信号的第一和第二分量执行的分量内空间、时间和/或视点间预测的预测冗余。
可在空间域或者频域中执行分量间预测。
根据另一个实施方式，在数据流中的显式ICP源信号通知被用于以第一子图片粒度在可用的ICP源之间进行切换，而使用在数据流中的ICP预测参数信号通知，从而调整预测模块，通过这种方式，相对于信号发送的ICP源执行ICP，其中，显式ICP源信号通知的熵编码/解码包括上下文模型的使用，所述上下文模型取决于预测模型的预测参数，所述预测参数以第二检测尺寸根据ICP预测参数信号通知被调整。通过这种方式，可利用在两种信号通知(即ICP源信号通知与ICP预测参数信号通知)之间的相关性进一步减少信令开销。
根据另一实施方式，使用数据流中的的交换信号通知，以此将重构的第三分量信号与重构的第二分量信号进行交换。例如，在一个图片中，交换信号通知以子图片的尺寸间隔改变第一、第二和第三分量间的次序，从而，例如，在一个图片中，一个子块具有可用的亮度以及用于分量间预测第二色度分量的第一色度分量，而另一个子块具有可用的亮度分量和用于分量间预测第一色度分量的第二色度分量。
根据实施方式，根据第三分量的先前编码的ICP预测参数装置以及第二分量的ICP预测参数信号通知，渲染用于图象的某一特定块的ICP源指示符的编码。如果差值超过预定的极限，则ICP源指示符对于相应的块来说不存在。在这种情况下，可以推断ICP源指示符表示作为第三分量信号的ICP源的重构的第二分量信号。换言之，如果为当前块发送的ICP预测参数足够相似，相对于第二和第三分量的ICP而言，可以假设所有分量的分量信号与指示第三分量的参考ICP的ICP源指示符非常相似，并且如果ICP预测参数不同，则可假设第三分量的ICP使用第二分量作为基础，而第二分量的ICP反而使用第一分量作为基础。第一种情况更可能在RGB颜色分量的情况下发生，并且第二种情况更可能在YCC颜色分量的情况下发生。通过这种方式，可通过降低ICP信令的边信息(side information)开销提高编码效率。
本申请的实施方式的有利的实施方案是从属于权利要求的主题。
附图说明
以下参考附图描述本申请的优选实施方式，其中：
图1示出根据本申请的实施方式的解码器的框图；
图2示出在分量间预测冗余上应用ICP的本申请的实施方式的解码器的框图；
图3示出适于根据实施方式的图1的解码器的编码器的框图；
图4示出适于根据实施方式的图2的解码器的编码器的框图；
图5A示出一个实施方式的示意图，根据该实施方式，多源ICP信号通知能够接通或断开多源ICP；
图5B示出根据实施方式的多源ICP模块的实施方式的框图，其中，ICP信号通知包括权重和ICP源指示符形式的ICP预测模式参数。
图5C示出根据实施方式的多源ICP模块的实施方式的框图，其中，ICP信号通知包括每可用ICP源的权重形式的ICP预测模式参数。
图5D和图5E分别示出根据图5B和图5C的具有在空间域中执行的多源ICP的多源ICP模块的实施方式的框图；
图5F和图5G分别示出根据图5B和图5C的具有在频域中执行的多源ICP的多源ICP模块的实施方式的框图；
图6示出根据实施方式的在解码器和编码器处的ICP参数数据的处理的流程图，其中，第三分量的ICP参数数据包括加权和源标志；
图7示出说明根据实施方式的第三分量的ICP参数数据的处理的流程图，根据该实施方式，ICP参数数据包括可用的ICP源的加权总和的权重；
图8示出了说明在使用交换分量以提高ICP效率的情况下的第二分量和第三分量的ICP参数数据的处理的示意图；
图9示出图片的示意图，以便示出以不同粒度的信号源标志和权重的可能性。
具体实施方式
图1示出了根据本申请的实施方式的解码器。该解码器通常使用参考标号10表示，并且被配置为从数据流解码空间上相对于不同分量对画面进行采样的多分量视频。具体地，解码器10包括在其处数据流12进入解码器10的输入，以及在其处输出通过解码重构的多分量视频的输出，即输出14。通过示例性说明属于一个时间点的图片18(被布置成一个在另一个的顶部)，其中，时间轴沿水平方向，图1示出在16处的多分量视频，对于每个时间点，每三个分量A、B和C包括一个图片18。然而，当应该指出的是，可以有三个以上的分量。如上概述的以及下面进一步概述的，分量A、B和C可以是诸如R、G和B的颜色分量，或一个亮度和两个色度的分量等。然而，可替代地，分量可涉及画面(scene)的其它特性，例如，与处于可见波长的范围外的其它波长相关的分量等。此外，分量不限制于画面的电磁频谱外的频率或片段。而是，例如，分量可至少部分涉及其它物理参数，例如，反射率等。尽管图1表明不同分量的图片18是相同尺寸的，并且因此以相同的空间分辨率在空间上对画面进行采样，但不同分量间的空间分辨率可以不同。后者情况原则上也适用于时间分辨率。即，在分量A到C之间的图片速率可以不同。如果没有不同，通常术语“图片”可替换地被用于表示在同一时间点的所有分量A至C的样本。
在内部，解码器10包括第一模块20，用于从数据流12重构与多分量视频16的第一分量A相关的第一分量信号22；以及第二模块24，用于从数据流12重构与多分量视频16的第二分量B相关的第二分量信号26；以及模块28，用于重构与多分量视频16的第三分量C相关的第三分量信号30，其中，后面的模块28具有与第一模块20和第二模块24的输出连接的输入，以便在重构第三分量信号30的过程中使用从重构的第一分量信号22和重构的第二分量信号26的分量间预测。由于模块28使用第一分量A的信号22和第二分量B的信号26重构以用来重构与分量C相关的第三分量信号，所以由模块28使用的分量间预测可以得到改善，从而提高了由图1的解码器10所属的编解码器实现的编码效率。
如将在下面更详细地概述的，模块20、24和28实际上可以是基于混合型的解码分支的部分，使用一个这种基于混合型的解码分支呈现各分量A、B和C。在图1中，由虚线32A、32B和32C示出这样的解码分支，解码分支32A包括模块20并且被配置为从数据流12重构第一分量A，解码分支32B包括模块24，并且被配置为从数据流12重构分量B，以及解码分支32C包括模块28并且被配置为从数据流12重构分量C。具体地，如将在以下更详细地概述的，由模块20和24重构并通过模块28用于分量间预测的第一分量信号22和第二分量信号26实际上可表示预测冗余(prediction residual)：例如，重构的第一分量信号22可表示由解码分支32A执行的分量内预测的冗余，即，仅基于分量A的图片18的已经重构的部分——仅基于已经重构的分量A的图片样本，由模块20执行的预测，其中，分量内预测可以是空间、时间和/或视点间预测。同样地，第二分量信号26可以表示由解码分支32B执行的分量内预测的预测冗余，即，仅基于分量B的图片18的已经重构的部分执行的预测，其中，这种分量内预测可以是空间、时间和/或视点间预测。同样地，重构的第三分量信号30也可以表示由解码分支32C执行的分量内预测的预测冗余，即，仅基于分量C的图片18的已经重构的部分执行的预测，其中，这种分量内预测也可以是空间、时间和/或视点间预测。由模块20、24和/或28执行的视点间预测可根据预测模式而改变，即，根据是否使用空间、时间和/或视点间预测而变化。例如，预测模式以编码单元的粒度或者——换句话说——预测块(即图片18的子部分)而改变，预测模式将被用于在数据流12中信号发送的相应编码单元或者预测块。对于分量A、B和C，可将预测模式在数据流12中一同或者分别信号发送，或者更近一步，一方面针对第一分量A，且另一方面分别针对第二分量B和第三分量C。除了这种在数据流12中的分量内预测信号通知，模块20、24和28接收信号发送的特定分量的预测冗余数据。该预测冗余数据可以频谱分解的变换系数的形式在变换域或者空间域(即以冗余样本的形式)中在数据流中被传送。如果在频域中被信号发送，则分量间预测可在空间域和/或频域中被执行。数据流12中的ICP域指示符可改变分量间预测在其内执行的域。ICP域指示符可以图片序列、单个图片或者子图片的粒度改变域，例如，以前述的预测块为单位或者以变换块为单位执行上述频谱分解。
稍后将描述模块24也可以使用分量间预测，即，如由从模块20的输出至模块24的输入的虚线表示的基于重构的第一分量信号20的分量间预测。即，模块24将收用于第二分量B的信号发送的冗余信号，并且能够将信号发送的冗余信号处理为从第一分量至第二分量(即A到B)的ICP预测的预测信号，从而接收分量B中的分量内预测的预测冗余。被模块28用于相对于第三分量C的ICP的第二分量信号26可以是基于与基于第一分量信号22的ICP预测组合或者组合的分量B的信号发送的冗余信号的模块24重构的结果。
如也将在下面更详细地概述的，由模块28(并且可选地由模块24)执行的ICP预测会经受参数化。例如，该参数化基于第一分量信号22和第二分量信号26以子图片粒度，例如，相对于第一分量信号22、第二分量信号26以及其组合之间的选择、相对于以加权和的形式的第一分量信号22和第二分量信号26对第三分量的ICP预测做出的贡献的权重，来改变模块28的ICP。此外，除了模块28内的ICP的第一分量信号22，在数据流中的多源ICP信号通知还可信号发送第二分量信号26的一般可用性或不可用性。这样的多源ICP信号通知的范围可涉及完整的视频、单个图片或时刻，或者图片序列或多个时刻或片段，或者片段的序列。
为了容易理解下面进一步概述的各种实施方式(根据实施方式讨论了如模块28的ICP是怎样被参数化的以及如何通过数据流12中的相应信号通知进行变化的某些可能性)，图2示出了表示图1的解码器的更具体的实施方案的示例的解码器的实施方式，即，其中，分量信号22、26以及30涉及在各个解码分支32A至32C中执行的分量内预测的预测冗余。在简要说明图2、图2和图4之后，说明适于图1和图2的实施方式的编码器的实施方式，以及之后相对于后续的附图描述用于调整图1至图4的实施方式的各种实施方案的细节。
图2示出了根据根据图1构建的具有三个解码分支32A至32C的解码器10，其中，除了模块20、24和28，每个解码分支分别包括分量内预测器34A、34B以及34C，并且分别包括组合器36A、36B以及36C，组合器组合分别由模块20、24以及28输出的分量信号22、26和30与分别由预测器34A、34B以及34C输出的分量内预测信号。具体地，解码分支32A的分量内预测器34A经由分量A的分量内预测参数(即38A)控制，以便通过分量内预测产生分量内预测信号40A，进而由组合器36A与重构的第一分量信号22的组合以产生重构的分量A，即，关于视频的图片的分量A的样本值。如上所述，例如，模块20经由数据流12被馈送有例如使用熵编码在空间域或频域中信号发送的第一分量冗余数据42A。同样地，分量内预测器34B由数据流12中的分量B的分量内预测参数(即38B)控制，以从其限定从第二分量内预测信号40B，其进而由组合器36B与由模块24输出的重构的第二分量信号26组合。模块24被第二分量冗余数据42B馈送，所述第二冗余分量冗余数据42B与冗余数据42A一样，可在空间域中的数据流12中以冗余样本的形式或者以局部应用的频谱分解变换的变换因数的形式被呈现。然而，根据图2中所示的实施方式，模块24还另外经由存在于数据流12内的第二分量的ICP参数数据(即44B)被控制，以基于第一分量信号22改变由模块24应用的分量间预测。如上所述，该选择是可选的并且可以不考虑。具体地，模块24内部地组合信号22与从数据42B取回的冗余信号(即，分量B的信号发送的冗余信号)，以获得第二分量信号26，其形成分量B的分量内预测冗余，并且因此，之后由组合器26B将其与第二分量的分量内预测信号40B组合，以产生视频的图片的第二分量样本。
类似于解码分支32B，第三分量解码分支32C的分量内预测器34C经由存在于数据流12中的分量内预测参数44C控制，以便执行分量内预测并且获得分量内预测信号40C，进而由组合器36C与第三分量信号30组合。模块28基于数据流12中的第三分量冗余数据42C并使用基于第一分量信号22和第二分量信号26的分量间预测，使得模块28的分量间预测经由第三分量的分量间参数数据(即，数据流12中的44C)，来生成作为帧内预测冗余的第三分量信号30。通过在组合器36C中的组合，得到视频中的图片的分量C。如图2所示，可以执行组合器36A至36C的组合作为加法，然而也可使用其他组合，例如乘法。
如上所述，图3和图4示出了对应的编码器(即，与图1和图2中所示的解码器分别适应的编码器)的实施方式。图3示出了对应于图1的解码器10的编码器100。，编码器100接收如在图1中所示的在空间上相对于不同分量A、B和C被采样的视频16，以将其编码为数据流12。为此，编码器100以对应于图1的方法被构造。由于这种对应性，编码器100的元件被参照为使用这样的参考标号，其与相对于解码器所使用的那些编号不同之处仅在于，将解码器中的对应元件的相应的参考标号加上100。因此，对于每个分量A、B和C，图3的编码器100包括用于相应分量的相应模块，即，模块120、124以及128，其中，模块120用于将第一分量信号22编码至数据流12中，模块124用于将第二分量信号26编码至数据流12中，以及模块128用于将第三分量信号30编码至数据流12中，其中，模块128使用从第一分量信号22和第二分量信号26的分量间预测。正如上述的，信号22、26和30可表示冗余信号，即，分别在特定分量编码分支132A、132B以及132C内执行的分量内预测的预测冗余信号。
相应地，图4示出对应于图2的解码器的图3的编码器的更具体的实施方式。相应地，图4的编码器100包括三个特定分量编码分支132A、132B以及132C，每个分支分别包括分量内预测器134A,B,C、冗余形成器136A,B,C、以及相应的模块120、124以及128。至于分量内预测器134A-C，它们以与解码器侧相应的预测器34A-C相似的方式进行操作：它们基于视频16的相应分量的已经被编码的部分，通过分量内预测的方式，产生相应的分量内预测信号40A、40B和40C，差别仅存在于分量间预测参数38A-C。尽管由后者控制预测器34A-C，但是例如，预测器134A-C在速率/失真优化方面等做相同调整。冗余形成器136A-C形成分量内预测信号40A-C与视频16的相应分量的同位部分(co-located portion)之间的冗余，以获得相应的第一阶分量冗余信号122、126和130，其随后分别通过相应的模块120、124以及128以有损的方式编码至数据流12中。相应的第一阶预测冗余信号122的重构的版本(即，由模块120无编码损失地引入)是信号22，随后由模块124使用该信号22作为分量间预测的基础，从而将预测冗余信号126编码至数据流12中。模块120产生第一分量冗余数据42A作为编码的结果，其随后被插入至数据流12中。同样，模块124产生第二分量冗余数据42B以及ICP参数数据44B作为将入站冗余信号126的编码的结果，其随后被插入至数据流12中。基于后者的数据，可以获得冗余信号126的重构版本，即，重构版本26，其随后与冗余信号22一起由模块128用于分量间预测以将第一阶冗余信号130编码至数据流中。模块128输出ICP参数数据44C以及相应的冗余数据42C作为模块128的编码的结果。
已经参考图1至图4描述了解码器与编码器的各种实施方式之后，描述关于如何适应分别由模块28和模块128执行的两源ICP预测的各种可能性的各种实施方式。然而，在此之前，对作为用于混合视频压缩方案的实例的H.265/HEVC进行简要说明，从而突出两源ICP预测的优势，然而，以下所有的陈述和整个概述的说明不应当被视为限制为H.265/HEVC的扩展。而是，下面的描述仅示例性地有时明显提及H.265/HEVC。
在类似H.265/HEVC的混合视频压缩方案的情况下，使用时间或空间或者视点预测(预测编码)产生预测信号并且以及所得的预测(被称为冗余)然后被变换、量化以及传送到解码器(变换编码)。对于分量间预测(ICP)，几个进入点(entry point)是可能的。例如，可将ICP应用在原始样本值。相对于图1至图4的实施方式，这意味着ICP的源(即信号22和26)没必要是分量内预测的冗余。而是，它们可以直接(即，在空间域中)涉及原始源信号(即，视频16)，或者对原始信号(即视频16)执行ICP，但是在频域(即相对于频谱分解变换的变换系数)中，例如以图片的变换块或者微波变换的变换系数为单位局部应用的DCT。由于实施和应用效率方面，即，为了将其提高，然而可以对如上例如相对于图2和图4描述和示出的分量内预测冗余信号执行ICP。针对这样的方法，由于复杂性的原因，可以使用仿射预测器。进一步的简化引出了线性预测器。在后一种情况下，只有预测器的梯度可必须作为分别是ICP参数数据44B和44C的一部分的比特流中的预测参数被传输。在下文中，该参数通常被表示为α。在这里应当指出，为了简化起见，本申请的说明书的以下部分假设使用的是线性预测器。然而，在下面进一步概述的实施例的扩展可以很容易地扩展到仿射或更复杂的预测。
使用线性预测，冗余的ICP方法可以通常用公式表示为：
r′(x，y)＝rB(x，y)+α×r0(x，y)
在上面的公式中，r'(x，y)是在空间位置(x，y)处的分量B的最终冗余样本值，rB(x，y)是分量B的解码/信号发送的冗余样本，即，从比特流中所提取的，α是包含在44B中的分量B的预测参数，以及r0(x，y)是在预测源中的相同的空间位置处的分量A(例如，亮度分量)的重构的冗余样本，其中，r0(x，y)可以是rA(x，y)，即分量A的信号发送的冗余。请注意，α可以是浮点值。
例如，参照上面的解码器的实施方式的模块24。模块24可以应用ICP在于，模块24使用冗余信号22的ICP作为预测源r0，用ICP参数数据44B内的信号发送的α乘以预测源r0，并加上从冗余数据42B得出的信号发送的冗余信号，即，rB，从而推导出分量B的分量间预测冗余信号，即26，即r'。
由于实施方式的方面，浮点值可以被映射为整数值。例如，可允许浮点值α在-1到1之间的范围内，包含两端点。使用三位精度的精度，公式可以重写为如下：
r′(x，y)＝rB(x，y)+(α×r0(x，y)＞＞3
右移位操作正是将三次幂除以2。因此，浮动点α可以取下列整数值：
α∈{0，±1，±2，±3，±4，±5，±6，±7，±8}
此外，由于实施方式方面，α也可以限定为以下值：
α∈{0，±1，±2，±4，±8}
也就是说，例如，最后的映射允许解码器，或更具体地允许模块24重构整数值α，如下所示，αd是来自比特流的解码的值，即实际上包含在数据流12中的ICP参数数据44B内的值：
α＝1＜＜αd
例如，以上相对于模块24代表性说明的ICP方法可自身分成三个模块或方面。第一方面指定预测源，第二方面指定预测模型，第三以及最后方面指定ICP预测参数，或者更具体地，预测模型参数。在上面给定的公式中，预测源然后是r0，预测模型是使用在源分量中相同空间位置作为输入的线性预测器，并且唯一的预测模型参数为α。
第二和第三方面/模块具有很强的相关性。这样的相关性的示例也是使用另一个分量(即，预测源)中的相同的空间位置作为输入的简单的线性预测器。在该示例中，由于对使用相同空间位置的线性预测器的限制，只有一个预测(模型)参数是必要的，并且因此，只有该单个预测参数(即α)需要在比特流中传输。还存在预测源与预测模型之间的相互作用。通常，亮度冗余被作为预测源。例如，这是在使用亮度作为分量A，并且使用第一色度分量作为分量B的情况下相对于模块24的情况。然而，如果所有可用的分量被用作预测源，则必须使用适当的预测器，即，包括来自两个分量的样本的预测器。这是用于模块28的情况。该模块具有两个可用的分量，即分量A和分量B。例如，保留具有两个预测源的相同示例(即，作为分量A和B的亮度分量和第一色度分量)，线性预测器将需要两个而不是一个模型参数。更准确地，可用于模块28的线性预测器可以被如下定义：
r″(x，y)＝rC(x，y)+α0×r0(x，y)+α1×r1(x，y).
也就是说，对模块28而言，两个预测源是可用的，即，信号22和26。信号22是r0并且信号26为r1。也就是说，对于ICP模块28，使得信号22和26的同位部分对于信号30的被当前ICP预测的部分(即，r')的ICP是可用的。具体地，模块28使用这些同位部分的加权和(即由α0加权的信号22以及由α1加权的信号26)，使加权和通过加入从冗余数据42C(即rC)获得的信号发送的冗余而被校正。
至于模块28和24之间的关系而言，应当注意以下内容。如在图2和图4中的实线所示，模块24可使用基于第一分量信号22的ICP且第二分量信号26通过使用ICP预测以及与传输的第二分量冗余数据42B的组合而获得，即，r'可以用作基础，即，由模块28执行的ICP的一个预测源，即，r'可以用作r1。但是还是如以上所述的，根据替换方式，模块24不使用ICP。在这种情况下，在图2和图4中，一方面模块20的输出与另一方面模块24之间(或者模块120与124之间)的连接将不考虑。在这种情况下，r1将为rB。根据另一个实施方式，可对图2和图4的实施方式进行修改，其中，尽管模块26使用基于分量A的ICP，但是将r1选择为与rB相等。在这种情况下，图2中从模块24引至模块28的箭头将进一步起始于模块24的输出，而不是引至组合器36B的输出。
因此，根据如上所概述的实施方式，提供了使用多个ICP预测源的可能性，其中，ICP方法的操作特性进一步被扩展，以实现更高的压缩效率。在下文中，相对于目前为止上述的常用多预测源ICP呈现各种细节。下文的描述首先处理多源ICP的可能的全局信令。之后，处理根据各实施方式的多源ICP的本地信令。然后，描述多源ICP的附加关联性以及能够使图片和视频的压缩应用的效率更高的另外的技术。
一种ICP的多源全局信令包括多源ICP的通路可以接通或关闭的可能性。当使多源ICP能够使用以合适的电平传输的全局标记时，传输附加位或者一系列位，例如，对于每个变换块，或者每个预测单元，或者编码单元来说，信号通知其使用。全局标记表示数据流中的一种多源ICP信号通知，其在包括多源ICP编码模式的一组ICP编码模式的各种ICP编码模式与至少一个非ICP编码模式之间进行切换。还存在例如ICP域的适应性(即空间域或频域等)不一致的各种多源ICP编码模式。因此，全局标记可以是就一个或多个预测参数而言指定进一步的预测模型的单个位或一系列位。在多源ICP被启动的情况下，“针对各变换块，或者各预测单元，或者编码单元传输的附加位或者一系列位”是前述的ICP参数数据44C的示例。
可以序列参数组(例如H.265/HEVC序列参数组)，或者以图片参数组，或者甚至以片段报头发送全局标记。粒度取决于使用的附加工具(例如，用于框架或者波前处理，均用于并行处理)，并且甚至在不同电平中的信令也是可能的。例如，多源ICP能够针对整个视频序列启用，但是对于序列中的特定内容存在禁用性。例如，鉴于这种示例，图片参数组中的全局标记将覆盖在序列参数组中的标记。
因此，概括来说，根据实施方式，解码器10可被配置为响应于由编码器100插入数据流12中的多源ICP信号通知200，以便针对多分量视频16的不同的ICP模式部分202，在包括多源ICP编码模式的一组ICP编码模式的ICP编码模式与非ICP编码模式之间进行切换。
根据多源ICP编码模式，基于信号发送的分量A和分量B的第一分量信号22和第二分量信号26的空间对应部分204和206中的一个执行分量间预测，在数据流12中显式或隐式进行信号通知。可替代地，多源ICP编码模式涉及基于诸如空间对应部分204和206的加权和的组合来分量间预测分量C的第三分量信号30。更确切地，假设图5A的多源ICP信号通知200用信号通知视频16的中间的ICP模式部分多源ICP编码模式被启动。在这种情况下，模块28和128可以块方式，例如，以块208为单位分别执行分量C的ICP，例如，该块可以是预测块等，其中，ICP参数数据44C针对这些块208指示相应的块208是否是从空间对应部分204或者是空间对应部206的分量间预测。可替换地，在中间部分202内的图片的块208中，从部分204和206两者的组合预测第三分量信号30。然后ICP参数数据44C可以根据例如，指示产生相应块208的分量间预测器的部分204和206的加权和的加权的加权因数α0和α1，指示各部分208从同位部分204和206被分量间预测的方式。
在非ICP编码模式中，分量间预测对于相应的ICP模式部分202可能是不可用的。因此，对于这样的ICP模式部分，在数据流12中不需要存在ICP参数数据44C。可替代地，对于这样的ICP模式部分202，可通过模块28和128分别从分量A和B的固定的一个执行分量间预测。例如，这样的非ICP编码模式部分202的块208可以是从分量A的同位块204预测的ICP，或者，所有块208也可以是从同位块206分量间预测的，但是在块208之间的切换是不可行的，即，部分202内的块208任一个是从分量A的块204分量间预测的或者部分202内的块208是从分量B的各同位块206分量间预测的。
如上所述，ICP模式部分202可以是图片序列、单个图片，或者片段或片段序列。如上所示出的，对于多源ICP编码模式对其可用的ICP模式部分202，例如，ICP参数数据44C包括部分208的两个权重α0和α1，而对于非ICP编码模式对其被激活的ICP模式部分202，不存在ICP参数数据44C，或者ICP参数数据44C用信号通知块208仅仅权重α0和α1之一而另一个对于在相应部分202内的所有块208被设置为0。
存在多源ICP的本地信令的几种可能性。如在图5B可以看出的，例如，如果使用多源ICP，则预测源的决定部210可作为ICP数据44C的一部分可被本地发送。例如，分量A、B和C可以是亮度、第一色度以及第二色度。例如，然后，ICP参数数据44C可以包括210标记，其向相应的块208指示分量间预测源是否是亮度，即A，或者是第一色度分量，即B。块208可以是编码块、预测块或者变换块。例如，编码块是在其上分量内预测参数38C在空间预测与时间预测之间进行切换的块。预测块可以是在其上分量内预测参数38C发送信号或者改变与信号发送的预测的类型相关联的预测参数(针对相应的预测块是其一部分的编码块)的块。例如，如果空间预测被用信号通知编码块，则该编码块的该预测块或者多个预测块的预测参数可信号发送空间方向，沿着该空间方向，相应的预测块从相邻的分量C的已经解码/编码的部分在空间上预测相应的预测块，并且在时间预测模式被信号告知相应预测块所属的编码块的情况下，预测块可信号发送运动矢量作为预测参数。变换块可以是在其上分量C的分量内预测冗余在频谱上被分解的块。在这方面，应当注意的是，表示预测源是否是亮度或者第一色度分量的标记210可以被耦接或者独立于其它ICP预测参数212，例如，预测权重α，其在分量A形成ICP预测源的情况下被用作α0，以及在分量B形成ICP预测源的情况下被用作α1。例如，当预测源在多个预测参数(例如权重)之后总是被信号发送时给出关联性的情况。另一方面，当源通过总是对预测块或者编码块通过标记210被信号发送，而ICP预测参数212针对各变换块被发送时，给出不相关的情况。
鉴于上述示例，指示预测源的标记210可仅针对分量C的块208被发送，例如，仅针对第二色度分量的变换块。这可能是因为只有在在ICP参数数据44C内信号发送的块208的ICP预测权重α不等于零时，对于块208，ICP预测源作为ICP参数数据44C的一部分被信号发送，这意味着，ICP预测应当针对分量C的块208被执行。存在给出多源的条件的两种情况。当第一分量(诸如亮度分量)以及第二分量(诸如第一色度分量)的各变换块获得冗余时，出现第一种情况。当亮度变换块获得冗余，同时第一色度分量仅由零值的冗余值组成(但是其是从色度变换块被预测)时，给出第二种情况。
针对指示ICP预测源的标记210，可以应用固定的上下文模型。对多源发生的情况下关联性也可导致两种不同的上下文模型。此外，可能存在其它ICP预测参数212(诸如权重)的关联性。例如，负α可以导致不同于正α的上下文模型。另外一种可能性是α的绝对值的关联性。在该示例中，大于二的绝对α将导致使用与在α等于或小于二的情况下不同的上下文模型。
因此，例如参见图6，其示出了这样的实施方式，其中，ICP预测数据44C针对分量C的各块208指示权重α作为ICP参数212，由ICP源指示器210有条件地遵循。因此，根据图6，模块28和128在步骤220中分别从ICP参数数据44C读α/将α写入ICP参数数据44C，并且如果检查α是否等于零的检查222表明α实际为零，那么对于块208，ICP参数数据44C不再包括ICP参数数据，并且针对块208没有ICP被执行。然而，如果α不为零，那么对于块208，ICP参数数据44C通过在步骤226或228中从ICP参数数据44C读取或写入ICP参数数据44C的源记号212的方式包括预测源或者信号发送预测源。
为了说明的目的，图6示出了这样的可能性，其中，根据步骤220的α是否满足预定的标准(该种情况在229被检查)，不同的上下文被用于熵编码/解码源标记。如上所概述的，如果α的绝对值大于预定值(诸如2，)，或者α是否为负等，则条件满足。然而，如已经在上面所说明的，被用于解码/编码源标记的上下文与α的关联性仅仅是可选的，并且因此根据替换的实施方式，步骤229和228可以不考虑。不考虑步骤226或228是否应用，在α不等于零的情况下，使用步骤220的α作为在ICP预测源是第一分量A的情况下的α0，或者由作为步骤230中的分量B的源记号所表示的ICP预测源的情况下的α1执行ICP。
因此，总结图6，ICP参数数据44C可以具有对各块208被编码至数据流12内的一个权重α，即212。在步骤220中编码/解码可涉及基于相邻块α的空间预测。此外，ICP参数数据44C可具有根据块208的α值针对块208被编码至数据流12的源标记210，其中，编码包括熵编码，并且具体地是使用依赖于该当前块208的α的上下文自适应熵编码。因此，步骤226和228可涉及上下文自适应熵编码/解码。步骤230涉及上述包括α0和α1表示的公式的应用。步骤220的α被用作取决于由源标记信号发送的ICP的源的α0和α1。例如，其它的α0和α1被设置为零。
下面描述扩展ICP技术。特别是，当多源在分量C的情况下是可用的时，可能的ICP预测器可接收用于预测的两个分量，即，分量A和B。在使用线性ICP预测器的情况下，ICP预测参数212用如上所述的被线性组合的各分量的输出结果或结果两次指定ICP预测的权重。
图5C和图7示出根据其ICP参数数据44C分别包括或信号发送在步骤232和234中读取/写入的块208的两个权重α0和α1的可能性，根据上述确定的公式使用在步骤236中应用的相同的权重。
为了完整性，图5D至图5G示出上述已经提到的情况，即，可在频域或在空间域执行模块28的ICP，信号发送的分量C冗余信号在频域中(即，以变换因数的形式，例如，变换块的DCT因数或者其它变换因数等)在42C中被信号发送。在图5D和5E中分别示出基于图5B和图5C的模块28的实施方式在空间域中执行多源ICP。如图所示，以空间对应(即，同位)样本形式信号24和22分别由权重α0和α1相乘，并且与通过对进入的变换系数42C应用逆变换而得到的相应的(即同位)样本相加，从而生成信号30。在图5F和图5G再次分别示出了基于图5B和图5C的模块28的实施方式在频域中执行多源ICP。如在这里所示，信号24和22可以空间对应(即同位)样本的形式进入，在这种情况下，它们收到(前向)变换217，从而获得相同的频谱分解，即，变换因数。可替代地，信号20和24已经进入变换域中。例如，分别在分量A与C以及分量B与C之间的变换块的失配(miss-alignment)的情况下，需要变换217。信号20和24的系数分别与权重α0和α1相乘，并且与从以从42C获得的相应的(即，空间对应)系数求和。求和的系数随后收到逆变换216以生成信号30。
另一种提高压缩效率的方法是交换ICP分量。根据这种方法，可以在ICP参数数据44C中信号发送指定冗余的正确顺序的语法元素(syntax element)。在该示例中，例如，三个变换块在空间对应部分被重构，每个分量A、B和C一个位置，并且可以使用ICP。随后，语法元素指定属于第二和第三分量冗余数据42B和42C的第二和第三冗余块进行交换。还可以交换第一和第二分量甚至第一和第三分量。这种自适应分量切换(尤其在与ICP与多源ICP组合中特别有意义)使得能量降低，具有少的前序成本。例如，允许该应用切换两个色度分量B和C。在该示例中，从亮度(即分量A)预测两个色度分量B和C将导致产生相同的成本。然而，使用第一色度分量预测第二色度分量将需要更多的花费，但是使用第二色度分量预测第一色度分量需要少的比特，从而导致低的成本。在这样的情况下，交换两个分量将进一步减小总成本，从而提高压缩效率。
这也在图8中示出。图8示出了在步骤240、242和244中分别被读/写的第一、第二和第三分量冗余数据42A至42C，其中，分别由模块24和28以及124和128进行的ICP，即，246由ICP参数数据44B和44C控制，ICP参数数据44B和44C包括：交换信号通知248；将基于第一分量执行的ICP的权重，即α，其从第二分量的ICP参数数据44B得到；以及将用于第二和第三分量之间的ICP的权重，即α1，其从第三分量的ICP参数数据44C得到。取决于交换信号通知，发送的冗余信号42A至42C根据实线或者虚线组合在ICP 246中。我们可以看出，可取决于信号通知基于第一分量或者基于第三分量由ICP获得第二分量信号26，并且同样地，分别基于第一分量或者第二分量由ICP获得第三分量信号30。在由实线所表示的非交换的情况下，ICP参数数据权重α0和α1保持它们的含义，即，它们分别控制第二分量信号26和第三分量信号30的ICP预测，但是在由虚线所表示的交换的情况下，ICP参数数据权重α0和α1被重新解释为分别控制ICP预测的第一阶段和第二阶段：ICP参数数据权重α是指第一阶段ICP，以及ICP参数数据权重α1指第一阶段ICP。如果不交换，该重新解释不能改变任何情况，但是在交换的情况下，第三分量信号30是在第二分量信号26之前被分量间预测，因此，ICP参数数据权重α1现在实际被用于第二分量信号26的分量间预测。换言之，只要考虑分量间预测，在交换的情况下，第二分量B预先假设第三分量C的作用，反之亦然。
需注意的是，图8的实施方式可与之前的实施方式结合，其中，数据44C的ICP参数数据权重α1可与其它数据(诸如ICP参数数据权重α0或源指示符212)结合。当数据44C被重新解释为指的是第二阶段ICP，即，第二分量，其信号受到ICP——该信号是信号26或30——在两个情况下两种源都可用，而不考虑交换信号通知248，并且ICP参数数据权重α0在两种情况下可被用于基于分量A控制ICP，并且，源指示符可被解释为分别在非交换的情况下在分量A与分量B之间进行切换，以及在交换的情况下在分量A与分量C之间进行切换。
此外，以类似于图8的方式，将前述的切换标记改变成以信号发送颜色空间变化的标记是可行的，即在颜色空间之间进行切换：对于各分量，ICP预测参数α0和α1被发送，如上所述局部进行改变；此外，色域变化标记局部表示色域是否被改变。例如，如果没有改变，则使用α0和α1从A分别预测第二分量B和第三分量C两者，从而分别显示两个色度分量，并且正如上所述，分量A被视为亮度。例如，如果颜色变化被信号通知为发生，然而，分别使用α0和α1从A分别预测B和C，但是随后它们通常受到颜色空间变化变换，例如，其线性地将ABC颜色空间转换成YCC颜色空间。而例如仅在没有颜色空间改变的情况下从A预测分量B，例如，在颜色空间变化的情况下从A和C有效地预测分量B。甚至可替换地，将信号发送的颜色空间ABC映射到YCC颜色空间的两种或多种颜色变化变换是可用的，并且通过信号通知248在之间进行切换。因此，以局部改变的方式，ABC分量在其中被传送的颜色空间可以在两个或多个颜色空间之间进行改变，并且因此至YCC的变换在如由信号通知248所信号发送的不变换与颜色变换之间进行改变。信号通知248可以大于或等于ICP预测参数传输发生的单位(例如变换块)的单位(例如编码单位)在数据流中被发送。因此，将在第一块(例如变换块)处发送分量B和C的α0和α1，根据rB'＝rB+α0·rA，将发送的B的冗余rB与发送的分量A的冗余rA结合，并且同样地，根据rB’＝rB+α1·rA，将发送的C的冗余rC与冗余rA结合，并且，预测冗余信号(22，26，30)将最终由相似于RGB至YCC的颜色变换(为简化用T表示)颜色变换，或者直接通过采用如YCC预测冗余信号的冗余获得，即，分别是(rY,rC1,rC2)T＝T·(rA,rB’,rC’)T或(rY,rC1,rC2)T＝(rA,rB’,rC’)T。经由信号通知248控制是否应用颜色空间变换T。例如，T可以是
Figure BDA0002387406130000211
如上所述在数据44B或44C中的ICP预测参数α或α0或α1的编码可以使用上述的权重的分数值的整数分母的信令进行编码，或者甚至可被进一步提升。当在R'G'B'颜色空间应用ICP时，α值(典型用于任何α，或α0或α1)主要为正，并且相对大，即以浮点精度1或0.5。另一方面，对于Y'CbCr，α值通常以零值为中心，并且相对小。可使用不对称映射和α限制，从而进一步提高有关压缩比率的效率。鉴于观察，α映射可以如下：α∈{0，±1，±2，+4，+8}或α∈{0，±1，+2，+4，+8}
请注意，为了区分α的最大允许值，应首先在比特流中发送α的符号。在对称映射的情况下，该顺序是无关紧要的，即，可在发送α的绝对值之后发送符号。此外，可使用取决于α的符号的上下文模型，通过熵编码对α的绝对值进行编码/解码，从而说明对于α的正值和负值的发生频率的不同的可能性分布。
在下文中，更具体地讨论了一些实施方式。
例如，根据实施方式，在如上所示出的实施方式中的情况的两个预测源的情况下，在说明ICP预测参数212之后发送标记210(在上面图6中被称为源标记)，并且该标记210指示哪个预测源应当被采用。需注意，对于该实施方式，只有当应该应用该预测时需要预测源标记210，这可以从CP预测参数中导出。
在另一实施方式中，独立于相应块208(诸如预测块中的相应的嵌套变换块)的指定的ICP预测参数212，总是各预测单元发送指示哪个预测源应当被采用的源标记210。应当注意的是，在该优选实施方式中，也可以在预测模块等级(prediction block level)中发送ICP预测参数212，例如α。
在本发明的另一优选实施方式中，独立于编码块中的嵌套变换块的特定的预测参数，总是为各编码块发送指示应当采用哪个预测源(即，源标记)的标记的标记。应当注意的是，在该优选方式中，也可以在预测块等级或编码块等级中发送ICP预测参数。
图9说明性示出了刚才概述的可能性。特别是，如上所述，ICP参数数据44C可包括两个分量，即，例如权重α的ICP预测参数212以及无条件编码ICP源标记210。不像在图6中示出的，步骤226、226和229可被重新布置成位于步骤220与222之间，其中，如已经如上所概述的，步骤228和229甚至可以不考虑。在任何情况下，图9示出ICP参数数据44C以信号发送ICP预测源的粒度比发送ICP预测参数α的粒度粗的可能性。具体地，当以由在图9中的实线表示的块250为单位发送ICP源标记时，以子块252，即块250的子分区为单位在ICP预测参数数据44C中表示ICP预测参数α。尽管图9示出图片18的块250和252为矩形，应当注意的是，也可使用其它形状的块。
在其它实施方式中，指示预测源的源标记210可被耦接至相应的ICP预测参数212，诸如权重，即，指定用于当前变换块或者当前预测块或者甚至当前编码块的ICP预测参数。在该实施方式中，如果只有在线性预测的情况下的预测参数在范围-0.25和+0.25内(或者整数值α的-2和+2的范围——或者更精确的，其整数值分母)(包含两端点)，只有指示预测源的源标记210可被编码。例如，参见图6，此处，只有在α不等于零的情况下，ICP参数或者数据44C要求解码源标记。此外，或可替代地，只有在α在某一取值范围(例如如上所述在-0.25和+0.25之间，包含两端点)的情况下，由某一块的ICP参数数据44C包括源标记。如果α在该范围之外，则源标记将不会在数据流中显式地发送，但是例如，推断第一分量A指的是例如作为ICP预测源。例如，如果分量A是亮度分量并且分量B和C是两个色度分量，那么α的大绝对值是第二色度分量C的预测源是亮度分量而不是其它第一色度分量B的线索。因此，在图6中，将在222与229之间布置进一步的检查，检查α是否在要求发送/读取源标记的取值范围之内。如果不在，则没有源标记被读取/写入，否则访问步骤229。
在另一个实施方式中，表示预测源的源标记被耦接至第一色度分量的ICP预测参数。在该实施方式中，当取值范围也可以被不同地选择时，在ICP参数数据44B中的同位块的线性预测器，即，α，在-0.25和+0.25之间或-2和+2的整数值α(包含两端点)的情况下，例如，仅指示预测源的ICP参数数据44C的源标记被编码/解码。例如，可在图7中添加检查过程，根据该检测过程可以检查同位块的ICP参数数据44B是否指示使用权重α(例如，其大小是上面的某些预定值)从相应同位块执行分量B的分量间预测。如果如此，其可被用于作为分量A、B和C对应于YCC相似颜色空间的线索，在这种情况下，第三分量C应该最有可能是基于第二分量被ICP预测的，即，推定的第一色度分量，从而在这种情况下，推断源标记识别第二分量作为ICP预测源。然而，如果通过ICP预测参数数据44B指示的同位块的α的大小小于预定的值，那么以信号发送作为当前块的ICP参数数据44C的源标记。
根据实施方式，用于指示预测源的标记的上下文模型是独立于诸如权重的ICP预测参数的。因此，采用一个固定的上下文模型。例如，这意味着对于图6的描述，可以不考虑步骤228和229，确认步骤222的是-路径将直接通向226。
然而，在另一个实施方式中，源标记的上下文模型取决于ICP预测参数，诸如权重。例如，当采用线性预测器时，在如上所讨论的整数值的预测参数的情况下，如果只有预测参数(即权重)在例如-2和2的范围之内时(包含量端点)，则可以使用不同的上下文模型。
此外，如果只有在线性预测器的情况下的ICP预测参数为负，则可使用不同的上下文模式。这在上面已经讨论。
例如，如以上参考图5A到图5G所讨论的，可使用在序列参数组中发送的标记接通或者断开使用的多预测源。然而，该发送也可发生在图片参数组或在片段报头中进行。
可在不同等级的电平中指定使用的多预测源。例如，它可在序列参数组合图片参数组中来指定。因为图片参数组标记较低，该优选的实施方式能够禁用视频序列的图片或帧的多源ICP的可能性。在另一个实施方式中，指示预测源的标记(即，源标记)可取决于当前分量的ICP预测参数(即，权重)与先前分量的ICP预测参数(即，权重)之间的相对差。例如，如果相对差大于给定的极限时，该标记被推导为等于一。换言之，在图6的情况下，可在下游检查222应用附加的检查，其中，在该附加的检查中，检查与根据ICP参数数据44B的同位块相关的权重是否与当前块的ICP参数数据44C的α相差超过预定的量。如果是，这可被解释作为分量A至分量C彼此相关联类似YCC颜色空间并且因此源标记可被推测来识别推定的第一色度分量(即分量B)作为分量C的ICP的ICP源的线索。否则，执行源标记的读/写。换言之，响应于数据44C的ICP预测参数信号通知，第三分量预测参数α可以子图片粒度改变，并且同样地，响应于在数据44B中的第二分量信号的ICP预测参数信号通知，分量信号预测参数α以子图片粒度改变。因此，权重可在分量B的ICP与分量C的多源ICP之间局部改变。因此，当第二分量和第三分量预测参数相差超过预定的极限时，执行检查，例如，α值的差或商作为测量的偏差。对于其中它们没有相差超过极限的位置，ICP源指示符210可存在于数据44C中，而对于超过极限的位置，ICP源指示符210以如上所述的其它方式推断。
根据进一步的实施方式，如上参考图7所概述的，当多预测源是可用的时，ICP预测参数被发送两次，指定支持预测源的加权组合的预测器。
根据另一个实施方式，将线性预测器用于多源ICP，并且ICP预测参数被量化。在该实施方式中，唯一的绝对ICP的预测参数使用截取的一元码被二进制化并被编码，且符号被单独发送。该符号可以首先被编码，并取决于仅有的预测参数的符号，不同的上下文模型可被用于二进制分解仓。根据另一个实施方式，首先编码符号，并且随后根据所编码的符号，以不同的方式执行预测参数的量化，在该优选的实施方式中，最大允许预测参数可处于0.25和1之间的范围内(包括两端点)。
根据实施方式，标记可指示第二分量和第三分量是否被交换。上面已经参考图8对此进行概述。在该实施方式中，相关的第一色度分量的变换块的构建的冗余被视为第二分量的冗余，反之亦然。
相对于上述某些实施方式的描述，需注意，同样很容易转换到多分量图片编码。
尽管在上下文中已经对装置的一些方面进行了描述，但是，很显然，这些方面也表示对应方法的描述，其中，模块或装置对应于方法的步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面还表示对应的模块或项或者对应的装置的特征的描述。可通过(或使用)硬件装置(例如，像微处理器，可编程计算机或电子电路)执行一些或者所有方法的步骤。在一些实施方式中，可由这种装置来执行最重要的方法步骤的某一个或多个。
本发明编码的图片或视频信号可以存储在数字存储介质上，或者可以在传输介质(例如无线传输介质或诸如因特网的有线传输介质)上被传输。
根据某些实施方案的要求，本发明的实施方式可以用硬件或软件来实现。可以使用具有存储在其上的电子可读控制信号的数字存储介质(例如软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或FLASH存储器)来执行该实施方案，其与可编程的计算机系统协作(或者能够协作)以此执行各方法。因此，该数字存储介质可以是计算机可读的。
根据本发明的一些实施方式包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作，使得在本文描述的方法中的一个可被执行。
通常，当计算机程序产品在计算机上运行时，本发明的实施方式可被实现为具有程序代码的计算机程序产品，该程序代码可操作用于执行其中的一种方法。例如该程序代码可以存储在机器可读载体上。
其它实施方式包括用于执行本文描述的其中一个方法的存储在机器可读载体上的计算机程序。
换句话说，因此，当在计算机上运行计算机程序时，本发明的方法的实施方式是具有用于执行本文描述的其中一个方法的程序代码的计算机程序。
因此，本发明的方法的实施方式还是数据载体(或数字存储介质，或计算机可读介质)，该数据载体包括记录在其上的用于执行本文描述的方法之一的计算机程序。数据载体，数字存储介质或记录介质通常是有形的和/或非过渡的。
因此，本发明的方法的又一实施方式是表示用于执行本文描述的方法之一的计算机程序的数据流或者信号序列。例如，数据流或者信号序列被配置成经由数据通信连接(例如，经由因特网)传输。
另一实施方式包括被配置为或适于执行本文描述的方法之一的处理装置，例如计算机或可编程逻辑设备。
本发明的另一实施方式包括具有安装在其上的用于执行本文描述的方法之一的计算机程序的计算机。
根据本发明的另一实施方式包括被配置为将用于执行本文中所描述的方法之一的计算机程序传送(例如，电子或光学地)至接收器的装置或者系统。例如，接收器可以是计算机、移动设备、存储器设备等。例如，装置或者系统包括用于将计算机程序传送给接收器的文件服务器。
在一些实施方式中，可编程逻辑设备(例如现场可编程门阵列)可用于执行本文描述的方法的一些或所有的功能。在一些实施方式中，现场可编程门阵列可以与微处理器协作以执行本文所描述的方法之一。通常，该方法优选通过任何硬件装置来执行。
本文所描述的装置可以使用硬件装置，或使用计算机，或使用硬件装置和计算机的组合来实现。
可使用硬件装置，或者使用计算机，或使用硬件装置和计算机的组合来执行本文描述的方法。
根据本发明的实施方式，本发明可被配置为：
项1.一种解码器，被配置为通过以下步骤解码在空间上相对于不同分量对画面进行采样的多分量图片或视频(16)：
从数据流(12)重构与所述多分量图片或视频(16)的第一分量(A)相关的第一分量信号(22)；
从所述数据流(12)重构与所述多分量图片或视频(16)的第二分量(B)相关的第二分量信号(26)；
使用分量间预测从重构的第一分量信号(22)和重构的第二分量信号(26)重构与所述多分量图片或视频(16)的第三分量(C)相关的第三分量信号(30)。
项2.根据项1所述的解码器，其中，所述解码器被配置为响应于所述数据流(12)中的多源ICP信号通知(200)，以针对所述多分量图片或视频(16)的不同ICP模式部分，在一组ICP编码模式的ICP编码模式之间进行切换，所述一组ICP编码模式包括：
多源ICP编码模式，其中，所述解码器被配置为使用分量间预测从信号发送的所述重构的第一分量信号和所述重构的第二分量信号的空间对应部分中的一个或者组合重构所述多分量图片或视频的当前图片的当前子部分中的所述第三分量信号(30)，以及
以下模式的至少一个：
非ICP编码模式，其中，所述解码器被配置为不使用任何分量间预测来重构所述多分量图片或视频的当前图片的当前子部分中的第三分量信号(30)，以及
固定单一源ICP编码模式，其中，所述解码器被配置为使用分量间预测从所述重构的第一分量信号和所述重构的第二分量信号中的固定的一个的空间对应部分，重构所述多分量图片或视频的当前图片的当前子部分中的第三分量信号，所述重构的第一分量信号和所述重构的第二分量信号中的固定的一个被固定在所述多分量图片或视频的各部分内，对于该各个部分，所述解码器响应于所述多源ICP信号通知，切换到固定的单一源ICP编码模式。
项3.根据项2所述的解码器，其中，所述多源ICP信号通知在所述数据流(12)中被信号发送，从而使得ICP模式部分(202)是单个图片、图片序列或者图片片段。
项4.根据项1所述的解码器，其中，所述第一分量(A)是亮度，所述第二分量(B)是第一色度分量，并且所述第三分量(C)是第二色度分量。
项5.根据项1所述的解码器，其中，所述解码器被配置为以第一子图片粒度，在使用分量间预测从所述重构的第一分量信号(22)的空间对应部分重构多分量图片或视频的当前图片中的所述第三分量信号(30)与使用分量间预测从所述重构的第二分量信号(26)的空间对应部分重构多分量视频的当前图片中的所述第三分量信号(30)之间进行切换。
项6.根据项5所述的解码器，其中，所述解码器被配置为响应于所述数据流(12)中的显式ICP源信号通知，以所述第一子图片粒度，在使用分量间预测从所述重构的第一分量信号(22)的空间对应部分重构多分量图片或视频(16)的当前图片中的所述第三分量信号(30)与使用分量间预测从所述重构的第二分量信号(26)的空间对应部分重构多分量图片或视频(16)的当前图片中的所述第三分量信号(30)之间进行切换。
项7.根据项5所述的解码器，其中，所述解码器被配置为使用空间、时间和/或视点间预测，执行与所述多分量图片或视频的所述第三分量(C)相关的第三分量信号(30)的重构，空间、时间和/或视点间预测模式的切换以预测块为单位，其中，所述解码器被配置使得所述第一子图片粒度以所述预测块为单位将所述当前图片细分。
项8.根据项5所述的解码器，其中，所述解码器被配置为使用空间、时间和/或视点间预测并通过以变换块为单位对所述空间、时间和/或视点间预测的预测冗余进行逆变换，来执行与所述多分量图片或视频的所述第三分量相关的第三分量信号(30)的重构，其中，所述解码器被配置为使得所述第一子图片粒度以所述变换块为单位将所述当前图片细分。
项9.根据项1所述的解码器，其中，所述解码器被配置为使用线性预测从所述重构的第一分量信号(22)和所述重构的第二分量信号(26)来执行所述分量间预测，响应于所述数据流(12)中的ICP预测参数信号通知(212)，来改变权重，以所述权重，所述重构的第一分量信号(22)以及所述重构的第二分量信号(26)以第二子图片粒度线性地将分量贡献给分量间预测。
项10.根据项1所述的解码器，其中，所述解码器被配置为使用空间、时间和/或视点间预测执行与所述多分量图片或视频的第三分量(C)相关的所述第三分量信号(30)的重构，所述空间、时间和/或视点间预测模式之间的切换以预测块为单位，其中，所述解码器被配置为使得所述第一子图片粒度以所述预测块为单位细分所述当前图片。
项11.根据项9所述的解码器，其中，所述解码器被配置为使用空间、时间和/或视点间预测并通过以所述变换块为单位对空间、时间和/或视点间预测的预测冗余进行逆变换来执行与所述多分量图片或视频的第三分量有关的所述第三分量信号(30)的重构，其中，所述解码器被配置为使得所述第一子图片粒度以所述变换块为单位细分所述当前图片。
项12.根据项9所述的解码器，其中，所述解码器被配置为从所述数据流中的ICP预测参数信号通知(212)以关于零不对称的非均匀量化来提取所述权重。
项13.根据项9所述的解码器，其中，所述解码器被配置为从数据流(12)中的ICP预测参数信号通知(212)提取(220)所述权重，使得零属于所述权重的一组可能值，并且其中，对于所述多分量图片或视频(16)的当前图片的各块，所述解码器被配置为根据所述ICP预测参数信号通知检查(222)相应块的权重是否为零，并且如果不是，从所述数据流(12)提取(226)相应块(208)的ICP源指示符(210)，并且如果是，抑制(224)所述相应块的ICP源指示符的提取，其中，如果所述相应块的权重不为零，所述解码器被配置为响应于(230)所述相应块的ICP源指示符(210)，以使用线性预测从根据相应的非零权重加权的重构的第一分量信号(22)的空间对应块(204)重构所述相应块中的第三分量信号(30)，或者使用线性预测从根据相应的非零权重加权的重构的第二分量信号的空间对应块(24)重构所述相应块(208)中的第三分量信号(30)。
项14.根据项9所述的解码器，其中，所述解码器被配置为从在所述数据流(12)中的所述ICP预测参数信号通知(212)提取所述权重，使得零属于所述权重的一组可能值，并且其中对于所述多分量图片或视频的当前图片的各块，所述解码器被配置为根据所述ICP预测参数信号通知(212)检查相应的块(208)的权重是否满足预定的条件，如果不满足，从所述数据流提取所述相应块的ICP源指示符(210)，如果满足，抑制提取所述相应块的ICP源指示符，并将所述相应块的ICP源指示符设定为预定状态，其中，所述解码器被配置为响应于所述相应块的ICP源指示符，从而使用线性预测从根据所述相应块的权重被加权的重构的第一分量信号的空间对应块重构所述相应块中的所述第三分量信号，根据相应的第三分量预测参数进行加权，或使用线性预测从根据所述相应块的权重被加权的重构的第二分量信号的空间对应块重构所述相应块中的所述第三分量信号。
项15.根据项9所述的解码器，其中，所述解码器被配置为通过首先解码权重的符号并根据所述符号使用上下文模型解码其绝对值来从所述数据流中的ICP预测参数信号通知(212)提取所述权重。
项16.根据项1所述的解码器，其中，所述解码器被配置为使用空间、时间和/或视点间预测(34C)通过将分量间预测应用至空间、时间和/或视点间预测的预测冗余上来执行与所述多分量图片或视频的第三分量(C)相关的第三分量信号(30)的重构。
项17.根据项16所述的解码器，其中，所述解码器被配置为相对于所述多分量音频信号的第一分量和第二分量，执行分量内空间、时间和/或视点间预测(34A，34B)，并且被配置为使得所述重构的第一分量信号和所述重构的第二分量信号是相对于所述多分量音频信号的第一分量和第二分量执行的分量内空间、时间和/或视点间预测的预测冗余。
项18.根据项1所述的解码器，其中，所述解码器被配置为使用分量内空间、时间和/或视点间预测(34C)并且通过对分量内空间、时间和/或视点间预测的预测冗余从频域到空间域进行逆变换(216)，来执行所述多分量图片或视频的与第三分量相关的第三分量信号的重构，以及将分量间预测应用至所述空间域或者所述频域内的预测冗余上。
项19.根据项18所述的解码器，其中，所述解码器被配置为使用分量内空间、时间和/或视点间预测(34A，34B)执行所述第一分量信号和所述第二分量信号的重构。
项20.根据项1所述的解码器，其中，所述解码器被配置为以第一子图片粒度，在使用分量间预测从所述重构的第一分量信号的空间对应部分(204)重构所述多分量图片或视频的当前图片的第三分量信号与使用分量间预测从所述重构的第二分量信号的空间对应部分(206)重构多分量图片或视频的当前图片的第三分量信号之间进行切换，并使用预定的预测模型从所述重构的第一分量信号和所述重构的第二分量信号执行所述分量间预测，响应于所述数据流中的ICP预测参数信号通知(212)，以第二子图片粒度改变所述预测模型的预测参数，其中，所述解码器被配置为响应于在数据流中的显式ICP源信号通知(210)以第一子图片粒度执行切换并使用取决于预测模型的预测参数的上下文模型来从所述数据流中解码所述显式ICP源信号通知。
项21.根据项19所述的解码器，其中，所述解码器被配置为使用线性预测作为所述预测模型，所述预测模型经由作为所述预测参数的梯度控制。
项22.根据项19的解码器，其中，所述解码器被配置为针对所述多分量图片或视频的当前图片的当前子部分检查(229)所述子部分的梯度是正还是负，并且根据所述检查执行上下文模型。
项23.根据项19的解码器，其中，所述解码器被配置为针对所述多分量图片或视频的当前图片的当前子部分检查所述子部分的梯度是否在预定的间隔之内，并且根据所述检查执行上下文模型。
项24.根据项1所述的解码器，其中，所述解码器被配置为针对所述多分量图片或视频的当前图片的预定的子部分，从所述数据流(12)提取第一预测参数和第二预测参数，使用预定的预测模型和所述第一预测参数从所述重构的第一分量信号(22)执行分量间预测，使用所述预定的预测模型和所述第二预测参数，从所述重构的第二分量信号(26)执行分量间预测，并线性地将从所述重构的第一分量信号的分量间预测与从所述重构的第二分量信号的分量间预测结合。
项25.根据项1所述的解码器，其中，所述解码器响应于所述数据流中的交换信号通知(248)，从而以第三子图片粒度将所述重构的第三分量信号与所述重构的第二分量信号进行交换。
项26.根据项1所述的解码器，其中，所述解码器被配置为：
使用预定的预测模式，执行从所述重构的第一分量信号(22)和所述重构的第二分量信号(26)的分量间预测，响应于所述数据流(12)中的所述第三分量信号(30)的ICP预测参数信号通知(212)，以子图片粒度改变所述预测模型的第三分量预测参数，以及
使用分量间预测从所述重构的第一分量信号(22)执行与所述多分量图片或视频的第二分量(B)相关的所述第二分量信号(26)的重构，并且使用所述预定的预测模型，从所述重构的第一分量信号(22)执行分量间预测，响应于所述数据流(12)中的所述第二分量信号的ICP预测参数信号通知，以所述子图片粒度改变所述预测模型的的分量信号预测参数，以及
检查所述第二分量预测参数和所述第三分量预测参数在什么位置相差超过预定极限，对于未超过预定极限的位置，从所述数据流提取相应位置的ICP源指示符(210)，对于超过预定极限的位置，抑制ICP源指示符(210)的提取，并且将相应位置的ICP源指示符(210)设定为预定的状态，其中，所述解码器被配置为响应于ICP源指示符(210)，从而使用线性预测从根据相应的第三分量预测参数被加权的所述重构的第一分量信号的空间对应位置重构相应位置中的所述第三分量信号，或使用线性预测从根据相应的第三分量预测参数被加权的所述重构的第二分量信号的在空间对应位置重构所述相应位置中的所述第三分量信号。
项27.根据项1所述的解码器，被配置为在重构与所述多分量图片或视频的所述第三分量(C)相关的所述第三分量信号(30)中，从所述第三分量的数据流提取冗余信号，并从而校正所述分量间预测。
项28.一种用于解码在空间上相对于不同分量对画面进行采样的多分量图片或视频(16)的方法，包括：
从数据流(12)重构与所述多分量图片或视频(16)的第一分量(A)相关的第一分量信号(22)；
从数据流(12)重构与所述多分量图片或视频(16)的第二分量(B)相关的第二分量信号(26)；
使用分量间预测从重构的第一分量信号(22)和重构的第二分量信号(26)重构与所述多分量图片或视频(16)的第三分量(C)相关的第三分量信号(30)。
项29.一种编码器，被配置为通过以下步骤编码在空间上相对于不同分量对画面进行采样的多分量图片或视频(16)：
将与所述多分量图片或视频(16)的第一分量(A)相关的第一分量信号(22)编码至数据流(12)中；
将与所述多分量图片或视频(16)的第二分量(B)相关的第二分量信号(26)编码至数据流(12)中；
使用分量间预测从编码的第一分量信号(22)和编码的第二分量信号(26)编码与所述多分量图片或视频(16)的第三分量(C)相关的第三分量信号(30)。
项30.一种用于编码在空间上相对于不同分量对画面进行采样的多分量图片或视频(16)的方法，包括：
将与所述多分量图片或视频(16)的第一分量(A)相关的第一分量信号(22)编码至数据流(12)中；
将与所述多分量图片或视频(16)的第二分量(B)相关的第二分量信号(26)编码至数据流(12)中；
使用分量间预测从编码的第一分量信号(22)和编码的第二分量信号(26)编码与所述多分量图片或视频(16)的第三分量(C)相关的第三分量信号(30)。
项31.一种计算机程序，具有代码，当所述代码在计算机上运行时，所述代码用于执行根据项28至30所述的方法。
上述实施方式对于本发明的原理仅是说明性的。可以理解的是，对本领域的技术人员来说，在本文中所描述的布置和细节的修改和变化将是显而易见的。因此，其意在仅由即将发生的专利权利要求的范围，而不是由通过本文所述实施方式的描述及解释所呈现的特定细节来限制。

Claims (20)

1.一种解码器，包括：
处理器，被配置为执行程序以基于包括以下的操作来解码多分量视频：
从数据流重构与所述多分量视频的第一分量相关的第一分量信号；
从所述数据流重构与所述多分量视频的第二分量相关的第二分量信号；
通过解码与权重相关的符号和绝对值基于所述数据流中的分量间预测ICP参数信号通知来确定所述权重；
基于与重构的第一分量信号和重构的第二分量信号相关的ICP重构与所述多分量视频的第三分量相关的第三分量信号，其中，基于所述权重利用线性预测来执行所述分量间预测，所述权重指示重构的第一分量信号和重构的第二分量信号对所述分量间预测的贡献。
2.根据权利要求1所述的解码器，其中，所述符号在所述绝对值之前被解码。
3.根据权利要求1所述的解码器，其中，所述绝对值基于所述符号和基于熵解码的上下文模型被解码。
4.根据权利要求1所述的解码器，其中，所述解码器被配置为响应于所述数据流中的多源ICP信号通知，以针对所述多分量视频的不同ICP模式部分，在一组ICP编码模式的ICP编码模式之间进行切换，所述一组ICP编码模式包括：
a多源ICP编码模式，其中，所述解码器被配置为使用分量间预测从信号发送的所述重构的第一分量信号和所述重构的第二分量信号的空间对应部分中的一个或者组合重构所述多分量视频的当前图片的当前子部分中的所述第三分量信号，
b以下模式的至少一个：
非ICP编码模式，其中，所述解码器被配置为不使用任何分量间预测来重构所述多分量视频的当前图片的当前子部分中的第三分量信号，以及
c固定单一源ICP编码模式，其中，所述解码器被配置为使用分量间预测从所述重构的第一分量信号和所述重构的第二分量信号中的固定的一个的空间对应部分，重构所述多分量视频的当前图片的当前子部分中的第三分量信号，所述重构的第一分量信号和所述重构的第二分量信号中的固定的一个被固定在所述多分量视频的各部分内，对于该各部分，所述解码器响应于所述多源ICP信号通知，切换到固定的单一源ICP编码模式。
5.根据权利要求4所述的解码器，其中，所述多源ICP信号通知在所述数据流中被信号发送，从而使得ICP模式部分是单个图片、图片序列或者图片片段。
6.根据权利要求1所述的解码器，其中，所述第一分量是亮度，所述第二分量是第一色度分量，并且所述第三分量是第二色度分量。
7.根据权利要求1所述的解码器，其中，所述解码器被配置为以第一子图片粒度，在使用分量间预测从所述重构的第一分量信号的空间对应部分重构多分量视频的当前图片中的所述第三分量信号与使用分量间预测从所述重构的第二分量信号的空间对应部分重构多分量视频的当前图片中的所述第三分量信号之间进行切换。
8.根据权利要求7所述的解码器，其中，所述解码器被配置为响应于所述数据流中的显式ICP源信号通知而进行切换。
9.根据权利要求7所述的解码器，其中，所述解码器被配置为使用空间、时间和/或视点间预测，执行与所述多分量视频的所述第三分量相关的第三分量信号的重构，空间、时间和/或视点间预测模式之间的切换以预测块为单位，其中，所述解码器被配置使得所述第一子图片粒度以所述预测块为单位将所述当前图片细分。
10.根据权利要求7所述的解码器，其中，所述解码器被配置为使用空间、时间和/或视点间预测并通过以变换块为单位对所述空间、时间和/或视点间预测的预测冗余进行逆变换，来执行与所述多分量视频的所述第三分量相关的第三分量信号的重构，其中，所述解码器被配置为使得所述第一子图片粒度以所述变换块为单位将所述当前图片细分。
11.根据权利要求1所述的解码器，其中，所述解码器被配置为以非均匀量化从所述数据流中的ICP参数信号通知来提取所述权重。
12.根据权利要求1所述的解码器，其中，所述解码器被配置为从数据流中的ICP预测参数信号通知提取所述权重，使得零属于所述权重的一组可能值，并且其中，对于所述多分量视频的当前图片的各块，所述解码器被配置为根据所述ICP参数信号通知检查相应块的权重是否为零，并且如果不是，从所述数据流提取相应块的ICP源指示符，并且如果是，抑制所述相应块的ICP源指示符的提取，其中，如果所述相应块的权重不为零，所述解码器被配置为响应于所述相应块的ICP源指示符，以使用线性预测从根据相应的非零权重加权的重构的第一分量信号的空间对应块重构所述相应块中的第三分量信号，或者使用线性预测从根据相应的非零权重加权的重构的第二分量信号的空间对应块重构所述相应块中的第三分量信号。
13.根据权利要求1所述的解码器，其中，所述解码器被配置为从在所述数据流中的所述ICP参数信号通知提取所述权重，使得零属于所述权重的一组可能值，并且其中对于所述多分量视频的当前图片的各块，所述解码器被配置为根据所述ICP参数信号通知检查相应的块的权重是否满足预定的条件，如果不满足，从所述数据流提取相应块的ICP源指示符，如果满足，抑制提取所述相应块的ICP源指示符，并将所述相应块的ICP源指示符设定为预定状态，其中，所述解码器被配置为响应于所述相应块的ICP源指示符，从而使用线性预测从根据所述相应块的权重被加权的重构的第一分量信号的空间对应块重构所述相应块中的所述第三分量信号，根据相应的第三分量预测参数进行加权，或使用线性预测从根据所述相应块的权重被加权的重构的第二分量信号的空间对应块重构所述相应块中的所述第三分量信号。
14.根据权利要求1所述的解码器，其中，所述解码器被配置为使用空间、时间和/或视点间预测通过将分量间预测应用至空间、时间和/或视点间预测的预测冗余上来执行与所述多分量图片或视频的第三分量相关的第三分量信号的重构。
15.根据权利要求14所述的解码器，其中，所述解码器被配置为相对于所述多分量视频的信号的第一分量和第二分量，执行分量内空间、时间和/或视点间预测，并且被配置为使得所述重构的第一分量信号和所述重构的第二分量信号是相对于所述多分量视频的信号的第一分量和第二分量执行的分量内空间、时间和/或视点间预测的预测冗余。
16.根据权利要求1所述的解码器，其中，所述解码器被配置为使用分量内空间、时间和/或视点间预测并且通过对分量内空间、时间和/或视点间预测的预测冗余从频域到空间域进行逆变换，来执行所述多分量视频的与第三分量相关的第三分量信号的重构，以及将分量间预测应用至所述空间域或者所述频域内的预测冗余上。
17.一种用于解码多分量视频的方法，所述方法包括：
从数据流重构与所述多分量视频的第一分量相关的第一分量信号；
从所述数据流重构与所述多分量视频的第二分量相关的第二分量信号；
通过解码与权重相关的符号和绝对值基于所述数据流中的分量间预测ICP参数信号通知来确定所述权重；
基于与重构的第一分量信号和重构的第二分量信号相关的ICP重构与所述多分量视频的第三分量相关的第三分量信号，其中，基于所述权重利用线性预测来执行所述分量间预测，所述权重指示重构的第一分量信号和重构的第二分量信号对所述分量间预测的贡献。
18.根据权利要求17所述的方法，其中，所述符号在所述绝对值之前被解码。
19.根据权利要求17所述的方法，其中，其中，所述绝对值基于所述符号和基于熵解码的上下文模型被解码。
20.一种编码器，包括：
处理器，被配置为执行程序以基于包括以下的操作来编码多分量视频：
将与所述多分量视频的第一分量相关的第一分量信号编码到数据流中；
将与所述多分量视频的第二分量相关的第二分量信号编码到数据流中；
通过编码与权重相关的符号和绝对值将与所述权重相关的分量间预测ICP参数信号通知插入到所述数据流中；
使用基于与所述第一分量信号和所述第二分量信号相关的ICP编码与所述多分量视频的第三分量相关的第三分量信号，其中，基于所述权重利用线性预测来执行所述分量间预测，所述权重指示所述第一分量信号和所述第二分量信号对所述分量间预测的贡献。
CN202010102694.5A 2013-10-18 2014-10-17 多分量图片或视频编码概念 Active CN111526359B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP13189444.6 2013-10-18
EP13189444 2013-10-18
PCT/EP2014/072350 WO2015055832A1 (en) 2013-10-18 2014-10-17 Multi-component picture or video coding concept
CN201480056687.9A CN105723706B (zh) 2013-10-18 2014-10-17 多分量图片或视频编码概念

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480056687.9A Division CN105723706B (zh) 2013-10-18 2014-10-17 多分量图片或视频编码概念

Publications (2)

Publication Number Publication Date
CN111526359A CN111526359A (zh) 2020-08-11
CN111526359B true CN111526359B (zh) 2023-01-06

Family

ID=49474248

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480056687.9A Active CN105723706B (zh) 2013-10-18 2014-10-17 多分量图片或视频编码概念
CN202010102694.5A Active CN111526359B (zh) 2013-10-18 2014-10-17 多分量图片或视频编码概念

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480056687.9A Active CN105723706B (zh) 2013-10-18 2014-10-17 多分量图片或视频编码概念

Country Status (6)

Country Link
US (4) US10230949B2 (zh)
EP (2) EP3846469A1 (zh)
JP (3) JP6656147B2 (zh)
KR (5) KR102207000B1 (zh)
CN (2) CN105723706B (zh)
WO (1) WO2015055832A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948933B2 (en) 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
JP6416060B2 (ja) * 2015-09-02 2018-10-31 株式会社東芝 画像圧縮装置、画像伸張装置および画像伝送システム
CN105491390B (zh) * 2015-11-30 2018-09-11 哈尔滨工业大学 混合视频编码标准中帧内预测方法
CN105306944B (zh) * 2015-11-30 2018-07-06 哈尔滨工业大学 混合视频编码标准中色度分量预测方法
WO2017139937A1 (en) * 2016-02-18 2017-08-24 Mediatek Singapore Pte. Ltd. Advanced linear model prediction for chroma coding
JP6680260B2 (ja) 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
GB2571311B (en) * 2018-02-23 2021-08-18 Canon Kk Methods and devices for improvement in obtaining linear component sample prediction parameters
GB2571313B (en) 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
CN110012294B (zh) * 2019-04-02 2021-03-23 上海工程技术大学 一种用于多分量视频的编码方法及解码方法
CN110312136A (zh) * 2019-05-10 2019-10-08 同济大学 一种对多分量数据的编码和解码方法
WO2021110116A1 (en) * 2019-12-04 2021-06-10 Beijing Bytedance Network Technology Co., Ltd. Prediction from multiple cross-components
US11816868B2 (en) * 2020-08-14 2023-11-14 Tencent America LLC Coding of multiple-component attributes for point cloud coding
CN113489974B (zh) * 2021-07-02 2023-05-16 浙江大华技术股份有限公司 帧内预测方法、视频/图像编解码方法及相关装置
US11863775B2 (en) 2021-07-21 2024-01-02 Tencent America LLC Cross-component transform coefficient level reconstruction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785425B1 (en) * 1999-03-28 2004-08-31 Ramot At Tel-Aviv University Ltd. Method and system for compression of images
CN101160972A (zh) * 2005-04-13 2008-04-09 汤姆逊许可公司 利用公共预测器的亮度和色度编码
JP2008198174A (ja) * 2007-01-16 2008-08-28 Sony Corp 画像処理装置、画像処理方法、およびプログラム、並びに目標関数
EP2036358A1 (en) * 2006-07-04 2009-03-18 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus
CN102939756A (zh) * 2010-04-16 2013-02-20 Sk电信有限公司 视频编码/解码设备和方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292372A (ja) * 2000-04-04 2001-10-19 Pioneer Electronic Corp 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体
KR101138393B1 (ko) * 2005-07-15 2012-04-26 삼성전자주식회사 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101362757B1 (ko) * 2007-06-11 2014-02-14 삼성전자주식회사 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
CN101335902B (zh) * 2007-06-25 2010-06-02 华为技术有限公司 视频编解码中的加权预测方法和装置
JP5214742B2 (ja) * 2008-01-21 2013-06-19 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 予測に基づく画像処理
US8331664B2 (en) * 2008-01-21 2012-12-11 Telefonaktiebolaget Lm Ericsson (Publ) Prediction-based image processing
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
KR101733735B1 (ko) * 2009-12-07 2017-05-08 에스케이 텔레콤주식회사 쌍예측을 이용한 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
JP5547301B2 (ja) * 2010-01-25 2014-07-09 トムソン ライセンシング 各色平面について別個のビデオ・エンコーダ、ビデオ・デコーダ、ビデオ・エンコード方法およびビデオ・デコード方法
EP3703369B1 (en) * 2010-04-13 2024-07-24 GE Video Compression, LLC Sample region merging
CN106231337B (zh) * 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
CN106067983B (zh) * 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
KR101673027B1 (ko) * 2010-07-01 2016-11-04 에스케이 텔레콤주식회사 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
JP5134047B2 (ja) * 2010-07-23 2013-01-30 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
EP2898694B1 (en) * 2012-09-24 2019-06-19 Huawei Technologies Co., Ltd. Video compression with color space scalability
KR102245088B1 (ko) * 2013-04-08 2021-04-28 지이 비디오 컴프레션, 엘엘씨 성분-간 예측
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US20150382016A1 (en) * 2014-06-27 2015-12-31 Mitsubishi Electric Research Laboratories, Inc. Method for Processing Multi-Component Video and Images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785425B1 (en) * 1999-03-28 2004-08-31 Ramot At Tel-Aviv University Ltd. Method and system for compression of images
CN101160972A (zh) * 2005-04-13 2008-04-09 汤姆逊许可公司 利用公共预测器的亮度和色度编码
EP2036358A1 (en) * 2006-07-04 2009-03-18 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus
JP2008198174A (ja) * 2007-01-16 2008-08-28 Sony Corp 画像処理装置、画像処理方法、およびプログラム、並びに目標関数
CN102939756A (zh) * 2010-04-16 2013-02-20 Sk电信有限公司 视频编码/解码设备和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Non-RCE1: Inter Color Component Residual Prediction;Wei Pu;《Joint Collaborative Team on Video Coding (JCT-VC)》;20130802;全文 *

Also Published As

Publication number Publication date
JP2016539551A (ja) 2016-12-15
KR20220156106A (ko) 2022-11-24
EP3058730B8 (en) 2021-03-10
CN105723706A (zh) 2016-06-29
CN111526359A (zh) 2020-08-11
KR20190040083A (ko) 2019-04-16
US20160227210A1 (en) 2016-08-04
JP2019050588A (ja) 2019-03-28
JP7223045B2 (ja) 2023-02-15
KR20240128121A (ko) 2024-08-23
KR102695490B1 (ko) 2024-08-16
WO2015055832A1 (en) 2015-04-23
KR102207000B1 (ko) 2021-01-25
JP2021101541A (ja) 2021-07-08
JP6656147B2 (ja) 2020-03-04
US20200413046A1 (en) 2020-12-31
US11765342B2 (en) 2023-09-19
CN105723706B (zh) 2020-03-17
JP6841807B6 (ja) 2021-04-07
JP6841807B2 (ja) 2021-03-10
EP3058730A1 (en) 2016-08-24
US20190158826A1 (en) 2019-05-23
US10778968B2 (en) 2020-09-15
KR20210010644A (ko) 2021-01-27
JP2023065387A (ja) 2023-05-12
EP3846469A1 (en) 2021-07-07
KR101968236B1 (ko) 2019-08-20
US20230379454A1 (en) 2023-11-23
EP3058730B1 (en) 2020-12-02
US10230949B2 (en) 2019-03-12
KR102467057B1 (ko) 2022-11-14
KR20160091325A (ko) 2016-08-02

Similar Documents

Publication Publication Date Title
CN111526359B (zh) 多分量图片或视频编码概念
US20230283792A1 (en) Inter-Component Prediction
CN113647106B (zh) 混合视频编码工具的用例驱动上下文模型选择
CN104396146A (zh) 对于高效率视频编码器(hevc)的采样自适应偏移(sao)的解耦增强
JP7572473B2 (ja) マルチコンポーネント画像またはビデオ符号化のコンセプト

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant