CN113259683A - 分量间预测 - Google Patents

分量间预测 Download PDF

Info

Publication number
CN113259683A
CN113259683A CN202110505107.1A CN202110505107A CN113259683A CN 113259683 A CN113259683 A CN 113259683A CN 202110505107 A CN202110505107 A CN 202110505107A CN 113259683 A CN113259683 A CN 113259683A
Authority
CN
China
Prior art keywords
component
prediction
signal
decoder
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110505107.1A
Other languages
English (en)
Inventor
通·恩固因
阿卜杜勒哈米德 阿里·阿特夫·易卜拉欣·海拉特
德特勒夫·马佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Video Compression LLC
Original Assignee
GE Video Compression LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Video Compression LLC filed Critical GE Video Compression LLC
Publication of CN113259683A publication Critical patent/CN113259683A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及分量间预测。从重构的第一分量信号的空间对应部分以及从用于第二分量的数据流获得的校正信号中重构与多分量图像的第二分量相关的第二分量信号保证在更宽范围的多分量图像内容上的增加的编码效率。通过将重构的第一分量信号的空间对应部分包括在第二分量信号的重构中,通过第二分量信号的分量间冗余/相关性减少,可以容易去除存在的任何剩余的分量间冗余/相关性,例如,即使具有可能先验执行的分量空间变换也依然存在的或者由于由这种先验执行的分量空间变换引入而存在的。

Description

分量间预测
本申请是国际申请号为PCT/EP2014/057090、申请日为2014年4月8日、发明名称为“分量间预测”的中国国家阶段申请201480029519.0的分案申请,其全部内容结合于此作为参考。
技术领域
本申请涉及在多分量图像编码中的分量间预测,例如,在亮度与色度之间。
背景技术
在图像和视频信号处理中,主要在通常由三个分量(例如,R'G'B'或Y'CbCr)构成的彩色空间内表示彩色信息。在Y'CbCr情况下的第一分量Y'通常称为亮度,并且剩余两个分量(在Y'CbCr情况下的Cb和Cr分量或平面)称为色度。Y'CbCr彩色空间优于R'G'B'彩色空间的优点主要是色度分量的残余特征,即,与绝对彩色空间(例如,R'G'B')的色度信号相比,色度分量包含更少的能量或幅度。尤其对于Y'CbCr,色度分量表示图像或视频的灰度等级信息,并且色度分量Cb表示相对于蓝色原色的差异,Cr表示相对于红色原色的差异。
在图像和视频压缩和处理的应用空间内,由于从R'G'B'到Y'CbCr的彩色空间变换减少或者去除在不同彩色分量或平面之间的相关性,所以Y'CbCr信号优先于R'G'B'。除了相关性去除,需要传输更少的信息,因此,彩色变换也用作压缩方法。在相关性去除或减少中的这组预处理能够具有更高的压缩效率,同时作为一个实例,在有意义的数量中保持或者提高复杂度。混合视频压缩方案通常被设计为用于Y’CbCr输入,这是因为去除或减少了在不同的彩色分量之间的相关性,并且混合压缩方案的设计仅仅需要考虑不同分量的单独处理。然而,从R'G'B'到Y'CbCr的变换(反之亦然)并非无损,因此,在这种彩色变换之后,可能丢失信息,即,可用于原始彩色空间内的样本值。在具有R'G'B'输入时,使用涉及从原始彩色空间开始并且返回原始彩色空间(例如,Y'CoCg彩色空间)的无损变换的彩色空间,可以避免这个问题。然而,根据应用,固定的彩色空间变换可能造成次佳结果。对于图像和视频压缩,固定的彩色变换通常次佳,用于更高的比特率以及非自然信号,在彩色平面之间具有高相关性或者没有相关性。在第二种情况下,固定的变换会在不同的信号之间引起相关性,并且在第一种情况下,固定的变换可能不去除在不同的信号之间的所有相关性。而且,由于变换的全面应用,所以相关性可能不完全从不同的分量或平面中局部或者甚至全面地去除。彩色空间变换带来的另一个问题在于图像或视频编码器的架构。通常,优化过程试图减少成本函数,这通常是在输入的彩色空间之上限定的距离度量。在变换的输入信号的情况下,由于额外的处理步骤,所以难以给原始输入信号实现最佳结果。因此,最佳过程可能造成变换信号(而非原始输入信号)的成本最低。虽然变换通常是线性的,但是在最佳过程中的成本计算通常涉及信令开销,然后,由拉格朗日公式计算最后决定的成本。该公式可能造成不同的成本价值以及不同的最佳决定。由于现代图像和视频显示器通常将R'G'B'彩色分量用于内容表示,所以彩色变换方面在彩色表示的域内尤其重要。一般而言,应去除或减少在信号内或者在信号之间的相关性时,应用变换。结果,彩色空间变换是更通用的变换方法的特殊情况。
因此,有利地具有甚至更有效的即将到来的多分量图像编码概念,即,在更宽范围的多分量图像内容之上实现更高的比特率。
发明内容
因此,本发明的一个目标在于,提供具有这种更高效率的多分量图像编码概念。
由待审的独立权利要求的主题实现这个目标。本发明基于以下发现:从重构的第一分量信号的空间对应部分以及源自第二分量的数据流的校正信号中重构与多分量图像的第二分量相关的第二分量信号在更宽范围的多分量图像内容上保证更大的编码效率。通过在所述第二分量信号的重构内包括重构的第一分量信号的空间对应部分,通过第二分量信号的分量间冗余/相关性减少,可以容易去除存在的任何剩余的分量间冗余/相关性(例如,即使具有可能先验执行的分量空间变换,也依然存在的,或者由于由这种先验执行的分量空间变换引入,所以存在的)。
根据本申请的一个实施方式,多分量图像编解码器理解为基于块的混合视频编解码器,其以码块、预测块、残余块以及变换块为单位操作,并且通过在数据流内的相应信令,通过残余块和/或变换块的粒度,打开和关闭分量间依赖性。由于分量间冗余的量可以在图像内改变,所以用于消耗信令的额外开销由编码效率增益过度补偿。根据本申请的一个实施方式,第一分量信号是多分量图像的第一分量的时间、空间或视图间预测的预测残差,并且第二分量信号是多分量图像的第二分量的时间、空间或视图间预测的预测残差。通过这个措施,所利用的分量间依赖性集中于剩余的分量间冗余,以便分量间预测可以易于显示更流畅的空间行为。
根据本申请的一个实施方式,通过子图像粒度,自适应地设置第一权重(在下文表示为α),通过所述第一权重,所述重构的第一分量信号的空间对应部分影响所述第二分量信号的重构。通过这个措施,可以更密切地跟随在分量间冗余内的帧内图像变化。根据一个实施方式,使用高级语法元素结构和子图像粒度第一权重语法元素的混合物,以便通过子图像粒度信令第一权重,其中,高级语法元素结构在第一权重的可能值的上域(co-domain)上,从预定二值化的可能二进制串的域集(domain set)中限定映射。通过这个措施,用于控制第一权重的边信息的开销保持较低。可以自适应地向前进行调整。每个块体可以使用一个语法元素,例如,残余或变换块,其具有有限数量的可信令状态,这些状态对称地索引围绕0对称地分布的多个权重值中的一个α。在一个实施方式中,可信令状态的数量不均匀,权重值的数量包括0,其中,使用0的信令,以便信令未使用分量间预测,以便额外标记废弃。进一步,在有条件信令的符号之前,信令幅度,在权重值的数量上映射幅度,并且如过幅度是0,那么不信令符号,以便信令成本进一步降低。
根据一个实施方式,除了或者代替第一权重的自适应设置,通过子图像粒度,设置第二权重,通过所述第二权重,校正信号影响所述第二分量信号的重构。通过这个措施,分量间冗余减少的自适应性可以进一步增大。换言之,根据一个实施方式,在重构第二分量信号时,通过子图像粒度,可以设置校正信号和重构的第一分量信号的空间对应部分的加权总和的权重。可以将所述加权总和用作标量函数的标量参数,对于至少每个图像,所述标量参数恒定。基于局部邻域(local neighborhood),通过后向驱动(backward-driven)的方式,可以设置权重。通过前向驱动的方式,可以校正权重。
根据一个实施方式,使用校正信号从重构的第一分量信号的空间对部分中重构第二分量信号的域是空间域。可替代地,使用频谱域。甚至可替代地,所使用的域在空间与频谱域之间改变。通过子图像粒度进行切换。结果表明,通过子图像粒度切换重构的第一分量信号和校正信号发生组合的域的能力提高了编码效率。可以通过后向自适应的方式或者通过前向自适应的方式进行切换。
根据一个实施方式,在数据流内的语法元素用于能够在多分量图像的分量内改变第一和第二分量信号的角色。与在编码效率中的可能增益相比,用于信令语法元素的额外开销较低。
根据一个实施方式,允许第二分量信号的重构通过子图像粒度在基于仅仅重构的第一分量信号的重构与基于重构的第一分量信号和多分量图像的进一步分量的进一步重构的分量信号的重构第二分量信号之间切换。通过较低的额外努力,这个可能性提高了去除在多分量图像的分量之间的残余冗余的灵活性。
同样,根据一个实施方式,使用在数据流内的第一语法元素,以便全面地或者通过更大的范围等级启用或停用基于重构的第一分量信号的第二分量信号的重构。如果启用的话,那么在数据流内的子图像等级语法元素用于通过子图像粒度基于重构的第一分量信号重构第二分量信号。通过这个措施,仅仅在应用情况或启用造成编码效率增益的多分量图像内容中,需要为子图像等级语法元素消耗边信息。
可替代地,通过后向驱动的方式,在启用与停用之间进行切换。这种情况下,第一语法元素甚至不需要存在于数据流内。根据一个实施方式,例如,根据检查第一和第二分量信号是否是空间预测的预测残差以及所述空间预测的帧内预测模式是否一致或者不偏离预定的量以上,执行局部切换。通过这个措施,在启用与停用之间的局部切换不消耗比特率。
根据一个实施方式,使用在数据流内的第二语法元素,以便在使用在数据流内的子图像等级语法元素通过子图像粒度基于重构的第一分量信号前向自适应地自适应重构第二分量信号与基于重构的第一分量信号非自适应地进行第二分量信号的重构之间切换。与避免用于传输多分量图像内容的子图像等级语法元素的开销的可能性(非自适应地执行重构已经足够有效)相比,第二语法元素的信令开销较低。
根据一个实施方式,在三色度分量图像上传递分量间冗余减少的概念。根据一个实施方式,使用亮度和两个色度分量。可以选择亮度分量,作为第一分量。
根据一个实施方式,使用Golomb Rice码,在数据流内编码用于调整从重构的第一分量信号中重构第二分量信号的子图像等级语法元素。Golomb Rice码的二进制可以经受二进制算术编码。不同的背景可以用于Golomb Rice码的不同二进制位置。
根据一个实施方式,从重构的第一分量信号中重构第二分量信号涉及在重构的第一分量信号的空间对应部分上,在空间上重新缩放和/或位深度精确映射。可以通过后向和/或前向自适应方式,调整空间重新缩放和/或所述位深度精确映射的执行。空间重新缩放的调整可以涉及选择空间滤波器。位深度精确映射的执行的调整可以涉及选择映射函数。
根据一个实施方式,通过空间低通滤波版本的重构的第一分量信号。间接进行从重构的第一分量信号中重构第二分量信号。
本申请的实施方式的有利实现方式是从属权利要求的主题。
附图说明
下面参照示图,描述本申请的优选实施方式,其中:
图1示出了根据一个实施方式的被配置为编码多分量图像的编码器的方框图;
图2示出了根据一个实施方式的与图1的编码器拟合的解码器的方框图;
图3示意性示出了根据一个实施方式的图像以及该图像子分割/划分成不同类型的各种块体;
图4示意性示出了根据本申请的一个实施方式的并且嵌入图1和图2的编码器和解码器内的重构模块;
图5示意性示出了具有两个分量、当前分量间预测的块体以及在第一(基础)分量内的空间对应部分的图像;
图6示意性示出了根据一个实施方式的具有3个分量的图像,以便示出一个分量持续地用作基础(第一)分量的实施方式;
图7示意性示出了根据一个实施方式的具有3个分量的图像,其中,每个分量可以可替代地用作第一(基础)分量;
图8示意性示出了一种可能性,根据该可能性,分量间预测的域自适应地改变;
图9A示意性示出了信令分量间预测参数的一种可能性;
图9B更详细地示出了图9A的实施方式;
图9C示意性示出了为了说明的目的图9A和图9B涉及的分量间预测参数的应用;以及
图10示意性示出了根据一个实施方式的前向自适应分量间预测。
具体实施方式
下面的提出的描述以描述编码器的详细实施方式以及描述与编码器拟合的解码器的详细实施方式开始,其中,在提出通用实施方式之后。
图1示出了被配置为将多分量图像102编码成数据流104的编码器100。图1示例性示出了包括3个分量106、108以及110的多分量图像102的情况,但是通过在具有仅仅两个分量(例如,分量106和108)的实例上传递目前的三分量图像实例,下面提出的描述显示了从图1的描述中可以容易获得本申请的有利实施方式。因此,在图1中显示的编码器100的一些元件使用虚线显示,并且相对于下面进一步陈述的更通用的实施方式,是迄今可选功能。
原则上,图1以及在后文中描述的所有实施方式的编码器可以通过任何类型的“分量”操作。实际上,多分量图像102是在(例如)时间戳、查看条件等的一致条件下,在空间上相对于各种分量106、108以及110给场景取样的场景图像。为了容易理解下面进一步描述的实施方式,然而,假设分量106、108以及110均涉及纹理,并且例如,是彩色分量,(例如,亮度和色度分量)或者任何其他彩色空间的彩色分量。
图1的编码器基本上被配置为给图像102的每个分量106、108以及110单独应用基于块的混合视频编码,然而,使用分量间预测,以便减少分量间冗余。分量间预测涉及各个方面,下面更详细地概述。
因此,对于分量106、108以及110,每个编码器100包括一系列预测残余成型器112(在此处示例性体现为减法器)、变换器114以及量化器116,其在相应的分量106、108以及110分布到达的输入与数据流成型器118的相应输入之间按照提及的顺序串联,所述数据流成型器被配置为将量化系数以及下面更详细地提及的其他编码参数多路复用成数据流104。虽然预测残余成型器112的非反相输入设置为接收图像102的相应分量,但是其反相(减数)输入从预测器122中接收预测信号120,该预测器的输入通过重构路径连接至量化器116的输出,该重构路径包括一系列去量化器124、再变换器126以及预测/残余组合器128(在此处示例性体现为加法器)。虽然预测/残余再组合器126的输出连接至预测122的输入,并且第一输入连接至再变换器126的输出,但是其进一步输入接收由预测器122输出的预测信号120。
对于每个分量106到110,通过平行的方式,在编码器100内具有部件112、114、116、124、126、128、122以及120,以便形成3个单独的基于块的混合视频编码路径1301、1302以及1303。索引1、2以及3用于在具有与分量106相关的索引1、与分量108相关的索引2以及与分量110相关的索引3的图像102的不同分量之间区分。
在图1中显示的实例中,分量106表示一种“基础分量”,这从下面提出的描述中更加明显。然而,应注意的是,并且下面还更详细的讨论的是,在分量106到110之中的角色可以均衡,这是因为仅仅为了更容易理解下面更详细描述的本申请的实施方式的原理,选择了在图1说明和显示的配置。在任何情况下,为了区分目前描述的路径1301到1303的部件112、114、116、124、126、128、122以及120,也相对于这些部件使用索引。
从上面呈现的注释中显而易见,在图1的实例中,分量108和110表示“从属分量”,并且为了这个原因,除了为编码路径1301到1303已经讨论的部件以外,进一步的部件在这些已经讨论的部件之间连接。尤其地,空间域分量间预测残余成型器132通过其非反相输入及其输出在一方面的预测残余成型器112与另一方面的变换器114的输入之间连接,并且同样,空间域分量间预测和残余再组合器134在一方面的再变换器126与另一方面的预测/残余再组合器128之间连接。图1还显示了空间域分量间预测残余成型器136,其通过其非反相输入及其输出放在变换器114与量化器116之间,相应的空间域分量间预测/残余再组合器134在一方面的去量化器124与另一方面的再变换器126之间连接,在其进一步输入上,由相应的空间域分量间残余预测器140馈送这对空间域分量间预测残余成型器132和相应的再组合器134,并且同样,给空间域分量间预测残余成型器136的进一步输入及其相关联的再组合器138馈送由空间域分量间残余预测器144提供的频谱域残余预测信号142。在其输入界面上,预测器140和144与任何相应的前述编码路径的内部节点连接。例如,预测器1402连接至预测残余成型器1121的输出,并且预测器1442具有连接至去量化器1241的输出的输入。同样,预测器1403和1443具有分别连接至预测残余成型器1121和去量化器1241的输出的输入,但是此外,预测器1403的进一步输入显示为连接至预测残余成型器1121的输出,并且预测器1443的进一步输入显示为连接至去量化器1241的输出。预测器140和144显示为可选地生成预测参数,用于实现由其执行的分量间预测的前向自适应控制,由预测器140输出的参数由146表示,并且由预测器144输出的参数由参考符号148表示。仅仅如量化器116输出残余信号150,预测器140和144的预测参数146和148由数据流成型器118接收,例如,该数据流成型器通过无损的方式将所有这种数据编码成数据流104。
在下面更详细地描述图1的编码器的操作模式之前,参照图2,该图显示了相应的解码器。实质上,解码器200对应于对于每个分量从去量化器124延伸到预测器122的编码器100的这个部分,因此,这些相应的部件使用相同的参数符号,但是增加100。更确切地说,图2的解码器200被配置为在解码器200的数据流提取器218的输入上接收数据流104,该提取器被配置为从数据流104中提取残余信号1501到1503以及包括预测参数146和148的所有相关的编码参数。对应于图1的编码器100,图2的解码器200构造成平行的解码路径230,多分量图像的每个分量具有一个路径,使用参考符号200表示多分量图像的重构,并且在相应解码路径206、208以及210的输出上,输出多分量图像的重构分量。由于量化,所以重构偏离原始图像102。
如上所述,解码器200的解码器路径2301到2303大体上对应于编码器100的编码路径1301到1303的那些路径,包括其部件124、138、126、134、128以及122。即,“从属分量”208和210的解码路径2302和2303在一方面的数据流提取器218的相应输出与用于输出相应分量208和210的相应输出之间分别包括去量化器224、频谱域分量间预测/残余再组合器238、逆变换器226、空间域分量间预测/残余再组合器234以及预测/残余再组合器228的串联,其在一方面的数据流提取器218与另一方面的用于输出多分量图像202的解码器200的输出之间按照其提及的顺序连接,其中,预测器222连接至反馈回路,该反馈回路从预测/残余再组合器228返回其另一个输入。相应的空间域和频谱域分量间预测器240和244馈送进一步输入238和234。“基础分量”206的解码路径2301的不同之处在于,没有部件238、234、244以及240。预测器2443的输入连接至去量化器2242的输出,并且其另一个输出连接至去量化器2241的输出,预测器2403的第一输入连接至逆变换器2262的输出,并且其另一个输入连接至逆变换器2261的输出。预测器2442的输入连接至去量化器2241的输出,并且预测器2402的输入连接至逆变换器2261的输出。
应注意的是,仅仅为了更容易说明,图1的预测器1403和1402显示为连接至在空间域内的底层分量的还未量化的残余信号,但是从图2中显而易见,为了避免在编码器与解码器之间的预测不一致,图1的预测器1402和1403可以可替代地并且有利地分别连接至逆变换器1262和1261的输出,代替底层分量的还未量化版本的频谱域残余信号。
在描述了编码器100和解码器200的结构之后,在后文中描述其操作模式。尤其地,如上所述,编码器100和解码器200被配置为使用混合编码,以便编码/解码多分量图像的每个分量。实际上,多分量图像102的每个分量表示样本阵列或图像,每个分量在空间上相对于不同的彩色分量给相同的场景取样。分量106、108以及110的空间分辨率(即,相对于相应的分量给场景取样的频谱分辨率)可以在分量之间不同。
如上所述,多分量图像102的分量单独经受混合编码/解码。“单独”不必表示分量的编码/解码完全独立于彼此执行。首先,分量间预测去除在分量之间的冗余,并且另外,选择一些编码参数,共同用于分量。在图3中,例如,假设预测器122和222选择将图像102同样子分割成编码块,但是预测器122和222也能够将图像102的分量单独子分割成编码块。图像102子分割成编码块,可以在数据流104内固定或者可以信令。在后一种情况下,子分割信息可以是由预测器122输出给数据流成型器118的并且使用参考符号154表示的预测参数的一部分,其中,数据流提取器218提取这些预测参数,包括子分割信息,并且将这些预测参数输出给预测器222。
图3示例性示出了可以根据两阶段过程将图像102子分割成编码块或码块,根据该过程,多分量图像102首先规则地子分割成树根块,在图3中使用双线300表示树根块的轮廓,随后,应用递归多叉树子分割,以便将每个树根块302子分割成码块304,在图3中使用简单的连续线306说明码块的轮廓306。因此,码块304表示每个树根块302的递归多叉树子分割的树叶块。可能包含在数据流104内的上述戏份信息(通常用于分量或者单独用于分量)可以包括用于每个树根块302的多叉树子分割信息,用于信令相应树根块302子分割成码块304,可选地子分割信息控制,并且信令图像102子分割成树根块302在行和列中的规则设置。
以码块304为单位,预测器122和222在分别由编码器100和解码器200支持的多个预测模式之间变化。例如,预测器1221到1223单独为码块选择预测模式,并且项预测器2223指示通过预测参数1541到1543选择。可用预测模式可以包括时间和空间预测模式。还可以支持其他预测模式,例如,视图间预测模式等。使用递归多叉树子分割,例如,双树子分割,码块可以进一步子分割成预测块308,在图3中使用虚线表示预测块的轮廓310。相应的递归子分割信息可以包含用于每个码块的预测参数1541到1543内。在一个替换的实施方式中,通过预测块的粒度,进行预测模式的这个选择。同样,每个码块304可以使用递归多叉树子分割(例如,双树子分割),进一步子分割成残余块312,在图3中使用虚线314表示残余块的轮廓。因此,每个码块304同时划分成预测块308和残余块312。残余块312可以可选地进一步子分割成变换块316,在图3中使用虚线318表示变换块的轮廓。可替代地,变换和残余块形成相同的实体,即,残余块是变换块,反之亦然。换言之,根据一个替换的实施方式,残余块与变换块一致。与残余块和/或变换块相关的子分割信息可以包含或不包含在预测参数154内。
根据与相应的码块或预测块相关联的预测模式,每个预测块308具有与其相关联的相应预测参数,这些预测参数由预测器1221到1223适当地选择,插入参数信息1541到1543内,并且由预测器2221到2223使用,以便在相应的预测块308内相应地控制预测。例如,具有与其相关联的时间预测模式的预测块308可以具有用于与其相关联的运动补偿预测的运动矢量以及可选地具有表示参考图像的参考图像索引,通过由运动矢量表示的位移,从参考图像中获得/复制相应的预测块308的预测。空间预测模式的预测块308可以具有包含在预测信息1511到1543内的与其相关联的空间预测方向,该预测信息表示相应预测块的已经重构的周围环境沿着该方向在空间上外推到相应预测块内。
因此,使用预测模式和预测参数,预测器122和222为每个分量获得预测信号1201到1203,并且对于每个分量,使用残余信号1561到1563校正这个预测信号。使用变换编码,将这些残余信号编码。即,变换器1141到1143单独在每个变换块116上执行变换,即,频谱分解,例如,DCT、DST等,并且逆变换器226单独为变换块308逆转变换,即,执行(例如)DCT或IDST。即,就编码器100而言,变换器114在由预测残余成型器112形成的还未量化的残余信号上进行变换。逆变换器126和226通过无损的方式基于相应分量的量化残余信号150逆转频谱分解,例如,使用Huffman或算术编码,通过数据流成型器118插入数据流内,并且由数据流提取器218使用(例如,Huffman或算术解码)从其中提取。
然而,为了降低编码残余信号2561到2563的数据速率(使用该数据速率,在预测/残余再组合器2281到2283上校正预测信号2201到2203),编码器100和200相对于分量的残余信号的编码支持分量间预测。如下面更详细地所述,根据本申请的实施方式,用于编码残余信号的分量间预测可以打开和关闭,和/或通过残余块和/或变换块的粒度前向和/或后向自适应地调整。如果关闭,那么由预测器140、144以及240和244输出的分量间预测信号是0,并且所有分量的残余信号2561到2563仅仅源自包含在其相应的残余信号1501到1503内的量化变换系数。然而,如果打开,那么就从属分量而言,去除分量间冗余/相关性,即,残余信号2562和2563使用分量间预测编码/解码。就分量间预测而言,用作分量间预测源的基础(第一分量)未改变。下面概述这样做的方式。
目前,由预测器140、144、240以及244实现的分量间冗余减少的描述集中于分别在分量106和108以及206和208之间的分量间冗余减少。随后,为了容易理解,描述扩展为在图1和图2中说明的三分量情况。
从下面提出的描述中显而易见,下面概述的实施方式利用(例如)色度分量的残余特征,尤其在绝对色度分量或平面用作输入的情况下。在图1和图2的三个分量的情况下,例如,表示亮度/色度彩色空间的分量,例如,分量106/206可以是亮度分量,而分量108/208和110/210是色度分量,例如,蓝色和红色相关的色度分量。通过保持在原始输入空间至少限定的失真计算,下面概述的实施方式能够具有更高的保真度。换言之,图1的编码器以及图2的解码器能够输入原始的多分量图像,这是因为这没有(例如)提前执行的任何彩色空间变换。图1和图2的实施方式可实现的编码效率独立于输入的彩色空间,即,下面概述的用于分量间冗余去除的实施方式用作额外的相关性去除步骤,用于y’CbCr输入106到110,并且在R’G’B’输入106到110的情况下,用作彩色变换。此外,下面进一步概述的实施方式在分量或平面之间局部应用容易减少,即,编码器100为图像/图像102或视频的每个区域自适应地决定是否应用涉及残余信号的平面/分量间预测。然而,再次要注意的是,本发明的实施方式不仅仅限于彩色分量或平面,确切地说,在本文中陈述的技术可以应用于通用平面/分量以及两个或多个平面的所产生的残差由相关性构成的地方。例如,在本申请中描述的实施方式还可以在可缩放的视频压缩方案中从不同的层中应用于平面中。在预测的顶部,分量或平面的处理顺序可以局部反复,例如,通过语法元素,在位流内信令分量顺序。下面还描述这个替换物。
参照图1和图2,说明混合的基于块的图像和视频压缩方案的情况,其中,由预测器122/222执行的预测基于记录进行,并且就编码侧而言的变换器114、量化器116和数据流插入器118以及就解码侧而言的逆变换器226、去量化器224以及数据流提取器218变换编码,给预测误差应用贡献,即,预测残余成型器112的输出,称为残差。
请注意,术语块体要理解为在下文中描述通用矩形形状,即,块体可以具有矩形形状。
在下面描述的实施方式中,编码器决定为每个预测块308或变换块304应用平面/分量间预测。
作为中间注释,然而,借此建议本发明的实施方式不限于在图1和图2中概述的情况,其中,平面/分量间预测应用于空间、时间和/或视图间预测信号的预测残差。理论上,在本文中提出的实施方式同样可以在以下情况上传递:直接在分量的样本上执行平面/分量间预测。换言之,在跳过预测本身时,输入信号的原始样本应称为或者可以被视为剩余描述的残差。
对于每个残余块312(或矩形形状),根据一个实施方式,在数据流104内传输语法元素,并且语法元素表示是否应通过预测器140、144、240、244使用平面/分量间预测。在视频压缩方案(例如,H.265/EVC)的情况下,也如在图3中所示,其中,残差进一步分成更小的变换块或形状216,根据一个实施方式,编码器100可以传输刚刚提及的语法元素,规定使用或未使用每个变换块316或者甚至一组变换块的平面/分量间预测。要注意的是,可以自适应地选择分组,即,信令电平,并且可以传输这种分组决策,作为在位/数据流104内的进一步语法元素,例如,在数据流的报头内。通过最高信令电平,可能为编码单元或者编码块304、一组编码块304、或者甚至为整个图像或帧,信令平面/分量间预测的使用或未使用。
换言之,参照图4。图4示出了在图1和图2中显示的实施方式中在几个部分体现的重构模块400,即,每对
-空间域分量间预测器1402和相关联的空间域分量间预测/残余再组合器1342,其通过数据流提取、去量化以及逆变换的残余信号1561的形式接收x,通过数据流提取、去量化以及逆变换的残余信号1562的形式接收y,并且输出z,作为代替残余信号1562的残余信号156’2
-频谱域分量间预测器1442和相关联的频谱域分量间预测/残余再组合器1382,其通过数据流提取和去量化的残余信号1701的形式接收x,通过数据流提取和去量化的残余信号1702的形式接收y,并且输出z,作为代替残余信号1702的残余信号170’2
-空间域分量间预测器1403和相关联的空间域分量间预测/残余再组合器1343,其通过数据流提取、去量化以及逆变换的残余信号1561或者数据流提取、去量化以及逆变换的残余信号1562(或其任意组合或这两者)的形式接收x,通过数据流提取、去量化以及逆变换的残余信号1563的形式接收y,并且输出z,作为代替残余信号1563的残余信号156’3
-频谱域分量间预测器1443和相关联的频谱域分量间预测/残余再组合器1383,其通过数据流提取和去量化的残余信号1701或者数据流提取和去量化的残余信号1702(或其任意组合或这两者)的形式接收x,通过数据流提取和去量化的残余信号1703的形式接收y,并且输出z,作为代替残余信号1703的残余信号170’3
-空间域分量间预测器2402和相关联的空间域分量间预测/残余再组合器2342,其通过数据流提取、去量化以及逆变换的残余信号2561的形式接收x,通过数据流提取、去量化以及逆变换的残余信号2562的形式接收y,并且输出z,作为代替残余信号2562的残余信号256’2
-频谱域分量间预测器2442和相关联的频谱域分量间预测/残余再组合器2382,其通过数据流提取和去量化的残余信号2701的形式接收x,通过数据流提取和去量化的残余信号2702的形式接收y,并且输出z,作为代替残余信号2702的残余信号170’2
-空间域分量间预测器2403和相关联的空间域分量间预测/残余再组合器2343,其通过数据流提取、去量化以及逆变换的残余信号2561或者数据流提取、去量化以及逆变换的残余信号2562(或其任意组合或这两者)的形式接收x,通过数据流提取、去量化以及逆变换的残余信号2563的形式接收y,并且输出z,作为代替残余信号2563的残余信号256’3
-频谱域分量间预测器2443和相关联的频谱域分量间预测/残余再组合器2383,其通过数据流提取和去量化的残余信号2701或者数据流提取和去量化的残余信号2702(或其任意组合或这两者)的形式接收x,通过数据流提取和去量化的残余信号2703的形式接收y,并且输出z,作为代替残余信号2703的残余信号270’3
在图1和图2中的所有这些场合下,随后更详细描述执行平面/分量间预测,并且这些场合的任何场合下,图1和图2的实施方式可以通过图4的更通用的平面/分量间预测模块400修改。要注意的是,实际上仅仅使用一些场合。
如图4中所示,平面/分量间预测模块400或重构模块400具有两个输入和一个输出,并且可选地,使用在编码器与解码器侧之间的预测参数信令。第一输入402表示为“x”,并且表示呼入的重构的第一分量信号,基于该信号,由重构模块400执行第二分量的平面/分量间冗余减少。如图1和图2中所示,这个重构的第一分量信号402可以是传输的残余信号,该信号从第一分量部分的数据流中提取,在空间或频谱域内共同定位到目前作为平面/分量间冗余减少的主题的第二分量的部分中。
重构模块400的其他输入信号404表示为“y”,并且在与信号402相同的域(即,频谱或空间域)中,表示目前作为模块400的平面/分量间冗余减少的主题的第二分量的部分的传输的残余信号。重构模块400重构第二分量信号406,其再次在相同的域内表示为“a”,该分量信号406表示重构模块400的主要输出,并且通过代替x,来至少参加重构多分量图像的从属分量。“至少”表示如图1和图2中所示,由重构模块400输出的分量信号406可以表示预测残差,并且相应地,依然必须与相应的从属分量i的预测信号154i结合。
正如编码器和解码器的其他模块,重构模块400基于块进行操作。例如,基于块的操作可以在由重构模块400执行的分量间冗余减少逆转的逐块调整中显露。可选地,“逐块调整”可以涉及在数据流内的预测参数146/148的明确信令。然而,用于控制分量间冗余减少的参数的后向自适应设置也可行。即,参照图4,在重构模块400嵌入解码器内的情况下,预测参数进入限制模块,从而表示其进一步输入,而在重构模块400嵌入编码器内的情况下,通过下面例证的方式,在内部确定预测参数,例如,涉及解决LSE优化问题。
如下面更详细地所述,例如,重构模块400可以通过这种方式操作,以便z可表示为
Figure BDA0003058050870000161
α、β以及γ是可能的分量间预测参数。对于α、β以及γ中的每个,适用于其是常数,因此,不后向也不前向自适应地改变,后向自适应地改变,因此,不构成数据流的一部分,或者前向自适应地改变,并且在数据流内信令。图5示出了这个,用于从第一分量106到第二分量108的分量间预测的示例性情况。在下面特别概述的实例中,例如,通过一种方式提升操作,以便z=αx+y。
图5示出了第二分量108的目前构成的部分或块体440。图5还示出了第一分量106的空间对应部分/块体442,即,在空间上共同位于图像10内的部分。如图1和图2中所述,模块400相对于共同定位的块体440和442为分量106和108接收的输入信号402和404表示在数据流内为分量106和108传输的残余信号。相对于第二分量108,模块400计算a。对于每个块体,例如,块体440,参数α、β以及γ或仅仅其子集通过下面进一步例证的方式调整。
尤其地,对于规定的块体,例如,块体440,关于是否执行分量间预测,可以通过语法元素在数据流内信令。在打开分量间预测的情况下的参数α、β以及γ仅仅表示可能的实例。对于应用分量间预测的块体440,预测模式可以在数据流内信令,预测源可以在数据内信令,预测域可以在数据流内信令,并且与上述参数相关的参数可以在数据流内信令。从下面提出的描述中,“预测模式”、“预测源”、“预测域”、以及“相关参数”的意义显而易见。在目前描述的实例中,分量间预测在残余信号上操作。即,x和y是在数据流内传输的预测残差,并且均表示混合预测的预测残差。还如上所述,在如上所述,使用变换编码的示例性情况下,x和y可以是在空间域内或者在频域内的预测残差。在编码器或解码器的阶段中应用预测具有几个优点。首先,通常不需要额外存储器,其次,可以局部执行分量间预测,即,从解码器的角度来看,在解析过程之后,不引入额外的中间步骤。为了区分预测域,可能在位流内传输进一步语法元素。即,后面的进一步语法元素可以表示分量间预测域是空间域还是频谱域。在第一种情况下,x、y以及z在空间域内,并且在后一种情况下,x、y以及z在频谱域内。请注意,从解码器的角度来看,在量化步骤之前,残差由位流重构并且可以与在编码器内生成的残差不同。然而,在实现本申请的实施方式的编码器内,优选地将已经量化的并且重构的残差用作预测源。而且,在跳过变换阶段的情况下,在空间和频率域内的分量间预测完全相同。对于这种配置,预测域(即,空间或频域)的信令可以跳过。
就上述“预测模式”而言,预测模式可以是仿射的、线性的、非线性的或者更复杂的。在第一种情况下,如上所述,可能记录预测器,即,作为
Figure BDA0003058050870000171
其中,z是重构的残差信号或样本,x是包含预测源信号的样本的矢量,α、β以及γ是模型参数,并且y是当前信号的样本,即,解码器侧的过去的残余信号,并且
Figure BDA0003058050870000172
可以是某个线性或非线性函数。
为了保持处理链尽可能简单,一个实例配置可能保持第一分量(例如,亮度分量)的处理不改变,并且将亮度重构的残余信号用作分量残余信号的预测器。这是可能的预测源配置,并且要注意的是,这种简单预测源简化了通用变换方法,其中,需要输入信号的全部三个分量或平面,以便生成变换样本。
另一个可能的配置是使预测源自适应,即,信令在所有已经可用的或者单独重构的残余分量中用于预测的残余信号。可替代地,处理顺序可以局部改变,例如,第二分量首先重构,并且用作剩余分量的预测源。这种配置利用以下事实:在使用双射(或几乎可逆)预测器的两个分量之间的Δ相同,但是通过倒转的符号,然而,用于编码预测源的绝对成本不同。而且,几个预测源能够组合。在这种情况下,组合权重可能在位流内传输,或者使用可用或者相应编码的近邻的统计,后向驱动地估计。
模式参数的规范可以后向驱动地执行,由后向驱动的估计和前向信令构成,或者在数据流内完全前向信令。一个实例配置是使用在编码器和解码器中已知的固定的一组模型参数,并且将设置的索引信令给解码器,用于每个块体或形状。另一个配置是使用动态组或列表,其中,在预测数量的块体或形状之后,预测器的顺序改变。这种方法能够对源信号具有更高的局部适应。下面提出关于预测模式、预测源、预测域以及参数信令的更详细的实例。
关于预测模式,注意以下内容。
预测模式可以是由样条曲线等方法实现的仿射的、线性的、非线性的或者更复杂的函数,或者支持矢量回归。
要注意的是,彩色空间变换最具有线性,使用所有可用的输入分量。即,彩色空间变换易于在另一个彩色空间的另外三个分量的另一个矢量上映射三个彩色分量的三分量矢量。根据本申请的一个实施方式,编码器和解码器可以独立于输入的彩色空间操作,因此,亮度分量可能保持不变,以便形成预测源。然而,根据一个替换的实施方式,“亮度分量”或“第一分量”的定义可以对于每个块体不同,例如,预测或变换块(或矩形形状),即,对于每个块体或形状,可能自适应地选择用作“第一分量”的分量。可以由在数据流内的信令向编码器指示调整。例如,虽然图5显示了形成“第一分量”的分量106的情况,而分量108是分量间预测的分量,即,第二分量,就块体440而言,但是对于图像10的另一个块体,情况可能不同,其中,例如,从分量108中分量间预测分量信号106。如上所述,可以在数据流内指示“预测源”的逐块调整。此外或者可替代地,对于每个块体440,应用或不应用预测的语法元素信令可以在数据流内传输。即,在将分量106持续地用作“第一分量”的情况下,存在这种语法元素,仅仅用于从属分量的块体,即,在图1和图2中的分量108和110。在这种情况下,第一分量(例如,亮度分量)提供预测源,即,在上述实施方式的情况下,其残余信号。
如果为某个块体440启用预测,那么此外或者可替代地,预测模式可以在数据流内为这个块体440信令。请注意,对于零值重构的第一分量信号的情况(即,在将预测残差用作分量间预测的基础的情况下,零值残余亮度信号),预测可能跳过。在这种情况下,在相应块体440的数据流内,可以省略是否应用分量间预测的上述语法元素信令,即,不存在。
在组合式后向和前向信令方法的情况下,源自已经编码的相应重构数据的参数可以用作起始参数。在这种情况下,在数据流内可以传输相对于所选预测模式的Δ。这可以通过为固定的或适应的预测模式计算最佳参数来实现,并且在位流内传输所计算的参数。另一个可能性在于,相对于使用后向驱动选择方法或者始终使用仅仅由后向驱动方法计算和选择的参数所获得的起始参数,传输某个Δ。
在下文中描述预测模式的一个实例配置。在这个实例中,第一预测模式表示α=1、β=0、γ=1以及
Figure BDA0003058050870000191
并且的人预测模式表示相同的参数,除了α=0.5以外,x=(x0)、y=(y0),并且x和y的单个元素是在第一和第二分量内(例如,在亮度分量内)的相同空间位置以及在色度分量内的相应位置的用于块体的残余值。换言之,根据本申请的一个实施方式,对于应用分量间预测的每个块体440,在数据流内信令α等于第一值(即,1)还是第二值(在此处是0.5)。并未在数据流内信令,如上所述,可以使用混合的后向和前向驱动方法,或者可以自适应地在α的可用值之中进行后向选择。β和γ仅仅表示常数。
要注意的是,在由z预测之后,代替在y内的单个元素。换言之,重构模块400接收校正信号404并且使用z 406代替校正信号。还要注意的是,在使用这种配置时,分量间预测简化为加法运算:第一分量的完全重构的残余样本值(α=1)或其值的一半(α=0.5)加入校正样本值404中。可以通过简单的右移操作,生成二等分。在这种情况下,例如,通过在重构模块400内,在预测器中在x与α之间实现乘法,并且在图4中显示的加法器中实现加法,可以实现该配置。换言之,在规定的实例中,在解码器侧,操作模式如下。
在亮度平面内的相同(空间或频率)位置,由重构的残余样本减去用于变换块(或矩形形状)的色度分量的残余信号。在变换和量化之后,在亮度平面内的相同空间位置中,将重构的残差加入重构的残余样本中。从解码器的角度来看,仅仅需要后一种操作。涉及后向驱动的方案的方法的一个实例配置可以如下进行。对于每个块体或形状440,计算最佳参数α。从局部邻域中(例如,从以前编码的上面剩下的块体(矩形形状)中)后向驱动地获得起始α。如果在位流内的语法元素信令不在位流内传输进一步参数,那么使用所获得的α。否则,即,应使用预测,但是由语法元素校正,表示在位流内的αΔ。还能够传输两个标记,第一标记表示是否应使用α,并且第二标记表示在位流内是否具有αΔ
另一个可能的配置是增大参数导出过程的粒度。这种方法也表示在应用前向传输时具有更高的信令粒度。否则,表示用于后向驱动方案的更高粒度。在这个可能的配置中,在变换块(或矩形形状)内为每个样本或者为一组样本或者甚至为预测块本身获得预测参数。请注意,通过耦合信令等级和变换块(或矩形形状),提供特殊情况。对于当前样本或样本组,由预先定义的窗口定义的在相同的变换块或预测块内的特定量的样本用于参数导出。使用利用仿射预测器的以上实例,可以从前面重构的样本或样本组中如下获得参数αn,其中,n是组指数。
Figure BDA0003058050870000201
用于第一样本或第一组样本的参数可以由一些默认值初始化或者从相邻块或形状中计算。另一个可能性是传输第一样本或第一组样本的最佳参数。为了使用尽可能多的前述样本,预先定义的扫描模式可以用于将二维残余块(或矩形形状)映射到一维矢量。例如,所述样本或样本组可以垂直、水平、或者在与变换系数的扫描方向垂直的方向扫描。再次,特定扫描可以由后向驱动方案获得,或者在位流内信令。
另一个扩展是组合已经显示的实例和变换,将所有三个可用分量用作输入。在此处,在这个实例中,使用去除规定的变换块的相关性的变换矩阵,变换残余信号。在平面之间的相关性非常大或者极小时,这个配置有用。在输入的彩色空间(例如,R'G'B')或主要分量分析方法的情况下,一个实例配置使用Y'CoCg变换。对于后一种情况,变换矩阵需要通过前向方式或者使用在编码器和解码器上已知的预先定义的设置和规则,信令给解码器,以获得矩阵值。请注意,这个配置需要所有可用分量或平面的残余信号。
关于预测域,注意以下内容。
如上所述,预测域可以是空间域,即,在残差上操作,或者可以是频域,即,在应用DCT或DST等变换之后在残差上操作。而且,通过将信息传输给解码器,域可以是这两者的合成物。除了用于预测的域以外,与域相关的参数可以由后向驱动的方案传输或获得。
色度分量的额外二次取样与域参数相关,即,水平地和/或垂直地缩小色度块(或矩形形状)。在这种情况下,预测源也可能下取样,或者必须选择考虑在空间域和/或频域内的不同分辨率的一组预测模式。另一个可能性是增大预测目标,以便预测源的尺寸和预测目标彼此匹配。缩小进一步提高了压缩效率,尤其对于在图像或视频内的非常平坦的区域。例如,预测源包含低和高频率,但是色度块(或矩形形状)仅仅包含低频率。在这个实例中,预测源的二次取样去除高频率,可以使用不太复杂的预测模式,并且与其连接的更少信息必须传输给解码器。请注意,可能为每个变换块或者为每个预测块或者甚至为一组预测块或者为整个图像进行缩小使用的信令。
除了额外的下取样方法,位深度调整也可能传输给解码器。在样本的精度沿着不同的分量不同时,发生这种情况。一种可能的方法是减少或增加该源的位数。另一个可能的配置可能增大或减小目标的位深度,并且将最终结果校正回正确的位深度。进一步的选择是使用适合于不同的位深度的一组预测器。这种预测模式考虑预测参数的不同位深度。可以根据内容的变化,给每个块体或形状或者为整个图像或序列进行用于位深度校正的信令电平。
作为预测源,注意以下内容。
预测源可以是第一分量或所有可用分量。对于每个块(或矩形形状),预测源可能由编码器信令。可替代地,预测源可以是包含所有可能的信息库,来自所有可用分量以及应用于预测的预测源的预测或变换块是否在位流内由语法元素信令给解码器。
关于参数导出,注意以下内容。
参数可以示例性地源自块体的因果邻域,在解码器内,以便执行在别处提及的后向自适应性,或者在编码器内,以便信令在数据流内的结果,以便通过前向自适应的方式驱动解码器,通过解决最小二乘方误差(LSE)优化问题。LSE可以用公式表示为:
Figure BDA0003058050870000221
相对于α尽可能减小这个方程式。用于该方程式的参数具有闭合式解决方案,计算为:
Figure BDA0003058050870000222
其中,A1是在z与
Figure BDA0003058050870000223
之间的协方差,并且A2是z的方差。
为这种方法实现整数实现方式,以使用查找表和乘法运算代替除法运算。A2是缩小比例,以便减小表格尺寸,而A1缩小比例,以便避免乘法溢出。仅仅使最高有效位
Figure BDA0003058050870000224
Figure BDA0003058050870000225
避开A1和A2。可以获得A’1和A’2,作为:
A′=[A>>rA]<<rA
其中,
rA=max(bd(A)-nA,0)
其中,bd(A)是由log2A计算的值A的位深度。
现在,α’可以重新计算,作为:
Figure BDA0003058050870000231
现在,除法可以由查找表
Figure BDA0003058050870000232
表示,其元素由ntable位表示。这个表格的指数计算为
Figure BDA0003058050870000233
并且表格尺寸是nA2
请注意,在以上最小化问题中,y表示残余信号,对于相应的分量间预测块440,该残余信号在数据流内无损传输。换言之,y是用于分量间预测块440的校正信号。这同样可以反复确定,在每个迭代中,进行解决上述LSE优化问题。通过这种方式,在选择分量间预测参数(例如,预测模式、预测源等)时,编码器可以最佳地决定执行还是不执行分量间预测。
关于参数信令,注意以下内容。
预测本身可能可切换,并且在位流的开始,应传输规定使用残余预测的报头标记。在允许预测时,规定其局部使用的语法元素嵌入块体440的位流内,如前所述,该块体可以是残余块体(或矩形形状)、变换块体(或矩形形状)、或者甚至一组变换块体(或矩形形状)。第一位可能表示是否启用预测,并且以下位可能表示预测模式、预测源或预测域以及相关参数。请注意,一个语法元素可以用于启用或停用这两个色度分量的预测。还能够单独信令预测的使用以及每个第二(例如,色度)分量的预测模式和源。再次,为了实现高度适合残余信号,分类标准可能用于信令预测模式。例如,最常用的预测模式是1,然后,在指数是0时,分类的列表包含模式1。然后,仅仅一个位需要信令最可能的模式1。而且,可以限制预测的使用。在残差上应用分量间预测的情况下,如果在不同的彩色分量之间使用用于生成残差的相同预测模式,那么相关性可能较高。这种限制在帧内预测块体(或矩形形状)内有用。例如,仅仅如果用于块体(或矩形形状)442(可能是亮度)的相同帧内预测模式用于块体(或矩形形状)440(可能是色度),那么可以应用这个分量间预测。
即,在后一种情况下,分量间预测过程的逐块适应涉及检查块体440是否与空间预测模式(就预测器2222的预测而言)相关联以及空间预测模式是否一致或者不与空间模式不偏离预定量以上,预测器2221使用该空间模式预测共同定位的块体442。例如,空间预测模式可以包括空间预测方向,沿着该方向,分别与块体440和442相邻的已经重构的样本分别外插到块体440和442内,以便分别产生相应的预测信号2202和2201,然后,预测信号分别与z和x相结合。
在一个实施方式中,预测源始终是亮度分量。在图1和图2中描述的这个优选的实施方式中,如果在分量108/208与110/210之间的互连停止,那么亮度的处理不变,并且亮度平面的所产生的重构残差用于预测。结果,预测源不在位流内传输。
在另一个实施方式中,传输预测源,用于1个块体或形状440,例如,残余块、一组残余块或形状,例如,用于应用帧内或帧间预测的尺寸。
例如,预测源是用于第一色度分量和亮度的亮度或者用于第二色度分量的第一色度分量。这个优选的实施方式与允许所有可用平面用作预测源的配置相似,并且对应于图1和图2。
为了说明上述实施方式,参照图6。显示了三分量图像102/202。使用混合的(解码)编码,编码/解码第一分量106/206,没有任何分量间预测。就第二分量108/208而言,该分量分成块体440,在图6中示例性显示一个块体,正如在图5中的情况一样。以这些块体440为单位,如上所述,相对于(例如)α调整分量间预测。同样,图像102/202分成块体450,就第三分量110/210而言,在图6中代表性显示一个这样的块体。如在刚刚概述的两个替换物中所述,将第一分量106/206用作预测源,可能必然执行块体450的分量间预测,即,第一分量106/206的共同定位的部分452。这使用实线箭头454表示。根据刚刚描述的第二替换物,然而,在数据流104内的语法元素456根据第二分量108/208的共同定位的部分458,在将第一分量用作预测源(即,454)与将第二分量用作预测源(即,分量间预测块450)之间切换,如箭头460所示。在图6中,例如,第一分量106/206可以是亮度分量,而另外两个分量108/208和110/210可以是色度分量。
要注意的是,相对于图6,第二分量108/208分成块体440,可以通过独立于或者允许偏离分量110/210分成块体450的方式,在数据流104内信令。自然地,分割也可以相同,并且甚至可以从一个信令形式中采用,或者用于第一分量,与在后面描述的图10中的示例性情况一样。
上面刚刚概述的进一步实施方式是图像110/210的所有分量可以及可替代地用作预测源的可能性。参照图7。在图7中,所有分量106到110/206到210具有与其相关联的共同分成块体470,在图7中示例性显示了一个这种块体470。分割或子分割成块体470,可以在数据流104内信令。如上所述,块体470可以是残余或变换块。然而,在此处,任何分量可以形成“第一分量”,即,预测源。语法元素472和数据流104向块体470指示在分量106到110/206到210之中的哪个形成预测源,用于(例如)另外两个分量。例如,图7示出了另一个块体472,不同地选择其预测源,如在图7中由箭头所示。在块体470内,第一分量用作另外两个分量的预测源,在块体472的情况下,第二分量担任第一分量的角色。
相对于图6和图7,要注意的是,可以不同地选择语法元素456和472表示预测源的范围,即,单独用于每个块体450和470/72,或者用于块体组或者甚至整个图像102/202。
在进一步实施方式中,预测源可以是所有可用分量或可用分量的子集。在这个优选的实施方式中,可以将源的权重信令给解码器。
在一个优选的实施方式中,预测域位于空间域内。在这个实施方式中,根据信令配置,可能使用整个残余块或形状的残差或仅仅使用残余块或形状的特定部分。在为每个变换块或形状单独信令预测并且允许将残余块或形状进一步子分割成更小的残余块或形状时,提供后一种情况。
在进一步实施方式中,预测域位于频率域内。在这个优选的实施方式中,预测与残余块或形状尺寸耦合。
在进一步实施方式中,预测域位于空间或频率域内。在这个实施方式中,通过前向信令或后向驱动估计,根据局部统计,单独规定预测域。
在图8中显示了后一种情况。在图8中,仅仅示例性显示了图像102/202的两个分量。进一步,显示了当前分量间预测块440及其空间对应部分442以及包含在数据流104内的语法元素490,以便给块体440信令在变换域还是空间域内执行如上所述(例如)使用涉及函数
Figure BDA0003058050870000261
的模型来实现的重构模块400的分量间预测。尤其地,图8示出了用于说明的目的在解码器内的处理。首先,从数据流104中,从数据流中提取与块体440相关的第二分量208的校正信号,同样,就空间对应部分442而言,从第一分量206的数据流104中提取残余信号。如果语法元素490向块体440指示使用空间域,那么这些信号直接输入重构模块400内,分量间预测输出z代替块体440的校正信号,用于进一步重构图像202的第二分量208。然而,如果语法元素490指示使用空间域,那么在由重构模块400处理之前,从用于块体440的数据流104以及空间对应部分442中提取的信号经受逆变换226。在使用频谱域的情况下,x和y逐个频谱-分量地结合,以便获得z,并且在使用空间域的情况下,x和y通过模块400逐个样本地结合,以便获得z。
再次,语法元素490可以单独信令域,以用于块体440、块体440组、或者整个图像或者甚至更大范围(例如,一组图像)的分量间预测。
在进一步实施方式中,在预测过程中涉及预测域。在本发明的这个优选实施方式中,可以首先在空间域中进行预测,并且在频率域中应用进一步预测,这两个预测都使用不同的预测模式以及源。
在一个实施方式中,色度块体或形状可以水平地和/或垂直地由某些因素二次取样。在这个实施方式中,缩小因子可以等于2的幂次方。下取样器的使用作为在位流内的语法元素传输,并且下取样器固定。
在进一步实施方式中,色度块体或形状可以水平地和/或垂直地由某些因素二次取样。该因素可以在位流内传输,并且下取样器选自一组滤波器,其中,精确的滤波器可以由在位流内传输的指数处理。
在进一步实施方式中,所选择的上取样滤波器在位流内传输。在这个实施方式中,色度块体可能最初二次取样,因此,为了使用具有匹配的块体或矩形尺寸的预测,在预测之前,必须进行上取样。
在进一步实施方式中,所选择的下取样滤波器在位流内传输。在这个实施方式中,亮度下取样,以便实现相同的块体或矩形尺寸。
在一个实施方式中,在源和目标的位深度不同时,信令语法元素,表示位校正。在这个实施方式中,亮度精度可以减小,或者色度精度可以增大,以便具有相同的位深度,用于预测。在后一种情况下,色度精度减小回原始位深度。
在一个实施方式中,预测模式的数量是2,并且限定这组预测器,与在规定的实例中完全一样。
在进一步实施方式中,预测模式的数量是1,并且配置相同,如在先前的实施方式中所述。
在进一步实施方式中,预测器的数量自由可调,限定这组预测器,与在规定的实例中完全一样。这个实施方式是该实例的更通用的描述,α=1/m,其中,m>0表示预测数量或模式。在此处,m=0表示应跳过预测。
在进一步实施方式中,预测模式固定,即,始终启用预测。对于这个实施方式,可能启用自适应的平面间预测并且将预测器的数量设置为等于0。
在进一步实施方式中,始终应用预测,并且从相邻的块体或形状中获得预测参数,例如,α。在这个实施方式中,在完全重构之后,计算用于块体或形状的最佳α。在局部邻域内,所计算的α用作下一个块体或形状的参数。
在进一步实施方式中,在位流内传输语法元素,表示从局部邻域中获得的参数的使用。
在进一步实施方式中,始终使用从邻域中获得的参数。除此以外,相对于在编码器内计算的最佳参数的Δ可能在位流内传输。
在进一步实施方式中,停用参数的后向驱动的选择方案,并且最佳参数在位流内传输。
在进一步实施方式中,在位流内单独信令起始α的使用以及Δα的存在。
在一个实施方式中,预测模式、预测源以及预测参数的信令限于相同的规则预测模式。在这个实施方式中,仅仅在用于色度分量的帧内预测模式与用于亮度分量的模式相同时,传输与平面间预测相关的信息。
在进一步实施方式中,块体分成不同尺寸的窗口,并且在块体内,从先前的重构窗口中获得当前窗口的参数。在进一步实施方式中,从重构的相邻块体中获得第一窗口的参数。
在进一步实施方式中,语法元素在位流内传输,表示从局部邻域中获得的参数的使用,以用于第一窗口。
在进一步实施方式中,可以在垂直、水平或垂直方向扫描窗口。
在进一步实施方式中,从前一个窗口中获得当前窗口的参数,其中,根据变换系统子块体的扫描位置,决定前一个窗口。
在进一步实施方式中,窗口扫描限于一个扫描方向。
在进一步实施方式中,使用查找表以及乘法运算(代替除法),来使用整数实现方式,获得参数。
在一个实施方式中,在位流的报头内传输的全面标记表示使用自适应的平面间预测。在这个实施方式中,标记嵌入序列等级内。
在进一步实施方式中,在位流的报头内传输全面标记,嵌入图像参数等级内。
在进一步实施方式中,在位流的报头内传输预测器的数量。在这个实施方式中,数量0表示始终启用预测,不等于0的数量表示自适应地选择预测模式。
在一个实施方式中,从预测模式的数量中获得这组预测模式。
在进一步实施方式中,在编码器和解码器中,了解一组预测模式,规定预测的所有模型参数。
在进一步实施方式中,预测模式均是线性的或仿射的。
在一个实施方式中,这组预测器是混合的,即,包含将其他平面用作预测源的简单预测模式,并且包含使用所有可用平面的更复杂的预测模式,并且将输入残余信号变换成另一个分量或平面空间。
在一个实施方式中,为每个色度分量的每个变换块或形状,规定预测的使用。在这个实施方式中,在亮度分量在相同的空间位置由零值残差构成时,可以跳过这个信息。
在一个实施方式中,使用截断的一元分解,传输模式。在这个实施方式中,不同的背景模型分配给每个二进制索引,然而,限于规定的数量,例如,3。而且,相同的背景模型用于这两个色度分量。
在进一步实施方式中,不同的色度平面使用不同的背景模型组。
在进一步实施方式中,不同的变换块或形状尺寸使用不同的背景模型组。
在进一步实施方式中,二进制到预测模式的映射是动态或自适应的。在这个实施方式中,从解码器的角度来看,等于0的解码模式表示最常用的模式,直到解码时间。
在进一步实施方式中,传输预测模式以及预测源(如果使用允许不同的预测源的配置),用于残余块或形状。在这个实施方式中,不同的块体或形状尺寸可以使用不同的背景模型。
接下来描述的实施方式尤其涉及为目前描述的“交叉分量去相关”的预测参数编码的方式的一个实例。
虽然不限于此,以下描述可以被视为表示替换物,其中,通过计算z=αx+y,基于参考(第一)分量信号x以及残余(校正)信号y,重构从属(第二)分量,将z用作从属分量信号的预测。例如,可以在空间域内应用预测。与在以上实例中一样,分量间预测可以应用于混合编码的残余信号中,即,第一和第二分量信号可以表示混合编码的残余信号。然而,以下实施方式集中精力于α的信令:逐个子图像地编码这个参数,例如,以残余块为单位,多分量图像子分割成这些残余块。以下关于α的可信令状态优选地也可变这一事实,以便引起以下事实:α的最佳值的范围取决于反过来在范围/单位方面大于残余块的图像内容的种类。因此,原则上,下面相对α的传输陈述的细节也可以传递给上面概述的其他实施方式。
交叉分量去相关(CCD)方法使用在不同彩色分量之间的剩余依赖性,能够具有更高的压缩效率。仿射模型可以用于这种方法,并且模型参数在位流内传输,作为边信息。
为了尽可能减少边信息,仅仅传输有限的一组可能的参数。例如,在高效率视频编码(HEVC)内的可能的CCD实现方式可以使用线性预测模型,代替仿射预测模型,并且仅仅模式参数(即,倾斜或梯度参数α)可以限制在从0到1的范围内,并且不均匀地量化。尤其地,α的这组有限的值可以是α∈{0,±0.125,±0.25,±0.5,±1}。
为线性预测模型参数选择这种量化可以基于以下事实:α的分布对称地集中在值0周围,用于储存在Y’CbCr彩色空间内的自然视频内容。在Y’CbCr中,在进入压缩阶段之前,使用固定的变换矩阵来从R’G’B’中转换,彩色分量去相关。由于全面变换通常是次佳的,所以通过去除在不同的彩色分量之间的剩余依赖性,CCD方法可以实现更高的压缩效率。
然而,这种假设不适用于不同类型的内容,尤其不适用于储存在R’G’B’彩色空间域内的自然视频内容。在这种情况下,梯度参数α通常集中在值1周围。
与上面提供的情况相似,在CCD扩展为第一色度分量,作为预测源时,分布变得完全不同。因此,可以根据规定的内容有利地调整CCD参数。
例如,对于Y’CbCr,α的量化可以设置为(0,±0.125,±0.25,±0.5,±1),而对于R’G’B’,α的量化可以逆转,即,(0,±1,±0.5,±0.25,±0.125)。然而,允许不同的熵编码路径,引起额外的问题。一个问题是实现方式在硬件和软件的区域和速度方面变得更昂贵。为了避免这个缺点,参数范围可以在图像参数组(PPS)等级内规定,其中,还指示CCD的使用。
即,语法元素信令α通过子图像等级/粒度传输,例如,单独地用于残余块。例如,可以称为res_scale_value。例如,可以使用与二进制串的二进制算术编码组合的(截断的)一元二值化来编码。在α上可以实现映射res_scale_value的(非二值化)值,以便映射使用pps改变,即,对于整个图像或者甚至通过更大的范围,例如,基于每个图像序列。变化可以改变可表示的α值的数量、可表示的α值的顺序、以及可表示的α值的选择,即,其实际值。允许在可表示的α值之中切换顺序或者将可表示的α值限于正值或负值,仅仅是提供内容自适应性的一种方式,但是下面进一步概述的实施方式仅仅通过轻微增加的开销允许在改变从粒状信令的子图像res_scale_value到α值的映射(例如,尺寸的变化、元素以及映射的上域(可表示组的α值)的元素顺序)方面具有甚至更大的灵活性,并且结果表明,由这个规定提供的在用于传输res_scale_value的位节省方面的优点过度补偿(被视为超过在YCC或RGB内编码的视频内容的典型混合)信令映射的变化的必要性。
例如,α的范围的规范可以如下进行。在Y’CbCr的情况下,例如,优选的子集可以是(0,±0.125,±0.25,±0.5),而对于R’G’B’,可以是(0,±0.5,±1)或(0,0.5,1)或者甚至(0,0.5,1,2)。为了实现所提及的行为,可以使用表示两个值的两个语法元素,在PPS内规定该范围。考虑以上实例以及通过3点精度进行预测这一事实,即,预测样本值乘以α并且然后向右移动3,可以传输Y’CbCr的范围配置,作为[-3,3]。
然而,通过这种信令,使用[2,3]和[2,4],可以仅仅实现R’G’B’的第二和第三种情况。为了实现R’G’B’的第一实例,必须使用额外语法,分开符号。而且,足以传输第二值的Δ,第一值用作起始点。对于这个实例,第二现R’G’B’配置是[2,1],代替[2,3]。
在第一色度分量的预测的情况下,可以单独为每个色度分量规定范围值。要注意的是,可以这样做,甚至不支持第一色度分量的预测。
考虑到在PPS中规定的限制,如下修改预测参数α的解析和重构。对于没有限制的情况,即,α∈{0,±0.125,±0.25,±0.5,±1}以及3点精确度,如下重构最终的αF,其中,αP表示位流的解析值:αF=1<<αP。这根据αF=1<<(αPL)修改,其中,在范围完全位于正或负范围内时,αL表示最小绝对值的偏移。
在αP使用截断的一元码二值化时,这两个值用于获得对从位流中解析的二进制的数量的限制。请注意,符号的解析可能取决于规定的范围。一种使用这个方面的更好方法是在绝对值α之前编码符号。在编码符号之后,可以获得要从位流中解析的最大二进制的数量。在范围不对称时,即,是[-1,3],这种情况有用。
通常,需要不同的顺序,例如,(0,1,0.5),例如,用于R’G’B’内容。可以仅仅通过根据[3,2]设置范围值,来实现这种逆转。在这种情况下,从位流中解析的二进制的数量依然是2(在两个范围值之间的绝对差是n=1,并且在截断的一元码的情况下的二进制的数量始终是n+1)。然后,可以通过两种方式实现逆转。第一种选择引入固定的偏移,这等于当前值的两倍(如果不需要逆转)并且在逆转的情况下等于最大可表示的值。这样做的第二并且更优雅的方式是扩展为在PPS传输给存储器的范围,并且通过查找操作,访问对应值。这种方法给这两种情况造成统一逻辑和单个路径。例如,通过传输[1,3],在PPS中信令情况(0,0.25,0.5,1),并且通过以下条目(0,1,2,3)产生存储器。另一方面,即,在位流内传输值[3,1]的逆转情况下,通过以下条目(0,3,2,1)产生存储器。使用这种方法,最终αF可以用公式表示为αF=1<<(LUT[αP]),其中,LUT[αP]表示查找操作。
为了更详细地解释最近提及的方面,参照图9A、图9B以及图9C,在下文中仅仅参照图9A,通过分层的方式示例性示出了一个多分量图像102/202:第一(参考)分量106/206位于从属(第二)分量(108/208)之后。
图像102/202可以是视频500的一部分。
图像102/202编码成的数据流104包括高级语法元素结构510,其至少涉及整个图像102/202或者甚至除此以外,涉及在包括图像102/202的视频500之中的图像序列。这在图9A中使用波形括号502显示。进一步,数据流104包括子图像等级的第一权重语法元素。一个这种第一权重语法元素514在图9A中示例性显示为属于图像102/202的示例性残余块440。第一权重语法元素用于单独设置第一权重,即,α,在基于参考分量106/206的共同定位的部分来分量间预测从属分量108/208时。
第一权重语法元素使用截断的一元二值化编码。在图9A中通过518显示了这种TU二值化的一个实例。如图所示,这种TU二值化由更大长度的一系列二进制串构成。通过上述方式,高级语法元素结构510限定在可能值α上映射二值化518的二进制串的方式。在图9A中通过520显示一组示例性这种可能值α。实际上,高级语法元素结构510限定在组520的子集上的这组二进制串518的映射522。通过这种措施,能够保持用于通过子图像粒度在不同的分量间预测权重之间切换的信令开销具有更低的位消耗,这是因为子图像信令可以仅仅在更小数量的可能值α之间区分。
如上所述,可行的是,语法元素结构510允许解码器从中获得第一和第二间隔界限524。在结构510内的对应语法元素可以彼此独立/分开或者相对于彼此(即,区别地)编码。间隔界限值524从序列520中识别元素,即,使用上面提出的指数函数,该函数使用响应的位移实现。通过这种措施,间隔界限524向解码器指示映射522的上域。
还如上所述,可以使用相应的零标记526,单独将α是0的情况信令给解码器。如果零标记具有第一状态,那么解码器将α设置为0,并且跳读相应块体440的任何第一权重语法元素514。如果零标记具有其他状态,那么解码器从数据流104中读取第一权重语法元素514,并且使用映射522确定权重的实际值。
进一步,如上所述,可以仅仅使用截断的一元二值化,将第一权重语法元素514的绝对部分528编码,并且可以预先编码第一权重语法元素514的符号部分。由于符号部分530确定块体440的值α属于在具有正值α的组520中的映射522的上域532的那些元素,还是属于由负值α构成的其他部分,所以通过这种方式,编码器和解码器能够为绝对路径528适当地设置二值化518的其长度(即,二进制串的数量)。自然地,如果解码器仅仅源自上域530仅仅包括正值α或者仅仅包括负值α的高级语法元素结构510,那么第一权重语法元素514的符号部分530不存在并且不由解码器读取。
从以上讨论中还显而易见,间隔界限524以及间隔界限在高级语法元素结构510中编码的顺序可以确定决定部分528“穿过”上域532的元素的顺序。
关于图10,示出了概述上面已经描述的某些方面的进一步具体实施方式。根据图10的实施方式,就在预测器122/222内的混合预测而言,编码器和解码器通常相对于所有三个分量子分割图像102/202。在图10中,分量分别由“1”、“2”、以及“3”表示,并且写在分别显示的图像之下。图像102/202子分割/划分成预测块308,可以通过预测相关的子分割信息600在数据流104内信令。
对于每个预测块308,可以在数据流104内信令预测参数。这些预测参数用于混合编码/解码图像102/202的每个分量。预测参数602可以在数据流104内信令,单独用于每个分量、共同用于所有分量、或者特别用于部分分量、以及全面用于分量。例如,预测参数602可以尤其在空间和/或时间上预测的块308之间区分,并且例如,虽然这个指示在分量之间常用,但是在预测参数602之中的时间预测相关的参数可以在数据流104内信令,特别用于分量。使用图1和图2的实现方式,例如,预测器122/222使用预测参数602,以便对于每个分量,获得预测信号120/220。
进一步,根据图10的实施方式,数据流104信令图像102/202子分割/划分成残余或变换块,在此处由参考符号604表示。使用参考符号606表示在数据流104内的残余/变换相关的子分割信息。如上面相对于3所述,图像102/202一方面子分割/划分成预测块308并且另一方面子分割/划分成残余/变换块604,可以至少部分彼此耦合,这是因为至少部分划分成残余/变换块604,形成图像102/202分层多叉树子分割成预测块308或者某种分层中间子分割成(例如)编码块的扩展。
对于每个残余/变换块,数据流104可以包括残余数据6081、6082、6083,例如,其具有量化变换系数的形式。去量化并且逆变换残余数据6081到6083,为每个分量(即,6101、6102以及6103)在空间域内显示残余信号。
如图10中所示,数据流104进一步包括分量间预测标记612,在本实例中,该标记为图像102/202全面信令是否应用/使用分量间预测。如果分量间预测标记612信令未使用分量间预测,那么残余数据6101到6103不彼此结合,但是相对于每个分量单独使用,以便校正预测信号120/220。然而,如果分量间预测标记612信令使用分量间预测,那么对于每个残余/变换块,对于每个从属分量2和3,数据流104包括标记6142、6143,其信令对于相应的分量2/3是否应用分量间预测。如果信令要应用,那么对于相应分量i=2/3的相应残余/变换块,数据流104分别包括分量间预测参数6162和6163,其对应于(例如)上述描述的α。
因此,如果(例如)标记6142向第二分量指示要使用分量间预测,那么分量间预测参数6162表示残余信号6101要加入残余信号6102中的权重,以便使用新残余信号6102’代替残余信号6102。然后,使用新残余信号代替残余信号,以便校正相应预测信号1202/2202
同样,如果标记6143表示为相应残余/变换块使用分量间预测,那么分量间预测参数6163表示残余信号6101要加入残余信号6103中的权重,以便替换该残余信号并且产生新残余信号6103’,然后,使用新残余信号,以便校正第三分量的预测信号1203/2203
并非有条件地在分量间预测参数6162/3之前单独传输第一标记6141/2,另一个信令也可行。例如,由于权重α2/3可以是符号值,该符号值的可能值的域围绕0对称地设置,以便可以使用绝对值α2/3,以便在未使用分量间预测(就分量2/3而言)的情况与使用相应分量2/3的分量间预测之间区分。尤其地,如果绝对值是0,那么这对应于未使用分量间预测。然后,相应参数α2/3的任何符号标记的信令可以在数据流104内抑制。作为提示,根据图10的实施方式,就分量2/3而言,分量间预测以每个残余/变换块为基础地变化,变化包括根本不使用分量间预测α2/3=0以及使用分量间预测,改变α2/32/3≠0)。
根据一个具体语法实例,分量间预测标记612可以在数据流104的图像参数组内信令。语法元素可以表示为:
cross_component_prediction_enabled_flag。
然而,要注意的是,标记612的范围可以不同地选择。例如,标记612可以涉及更小的单位(例如,图像102/202的薄片)或更大的单位(例如,图像组或一系列图像)。
对于每个残余/变换块,如上所述,可以使用以下语法,有条件地信令语法元素6142、6162、6143以及6163,参数c表示分量,因此,假设分量2具有一个值,分量3具有另一个值,并且例如,参数x0和y0通过(例如)其左上角样本表示相应的残余/变换块。
Figure BDA0003058050870000351
即,以上语法发生在数据流104内,例如,用于图像的每个残余或变换块中两次,第二和第三分量(例如,色度分量)中的每个使用一次,而亮度分量会形成基础(第一)分量。
如前面相对于图10所示,上述语法实例对应于图10的配置的替换物:log2_res_scale_abs_plus1信令绝对值α,并且如果语法元素是0,那么这对应于未用于相应分量c的分量间预测。然而,如果使用,那么res_scale_sign_flag信令并且表示符号α。
可以如下提供目前提出的语法元素的语义:
等于1的cross_component_prediction_enabled_flag规定对于称为PPS的图像在变换单元语法内具有log2_res_scale_abs_plus1和res_scale_sign_flag。等于0的cross_component_prediction_enabled_flag规定对于称为PPS的图像没有log2_res_scale_abs_plus1和res_scale_sign_flag。在没有时,cross_component_prediction_enabled_flag的值推断为等于0。在ChromaArrayType不等于3时,位流一致性要求cross_component_prediction_enabled_flag的值等于0。
log2_res_scale_abs_plus1[c]减去1规定在交叉分量残余预测内使用的比例因子ResScaleVal的幅度的以2为底的对数。在没有时,log2_res_scale_abs_plus1推断为等于0。
res_scale_sign_flag[c]如下规定在交叉分量残余预测内使用的比例因子的符号:
如果res_scale_sign_flag[c]等于0,那么相应的ResScaleVal具有正值;
否则(res_scale_sign_flag[c]等于1)相应的ResScaleVal具有负值。
变量ResScaleVal[cIdx][x0][y0]规定在交叉分量残余预测内使用的比例因子。数组索引x0、y0规定相对于图像的左上角亮度样本的所考虑的变换块的左上角亮度样本的位置(x0、y0)。数组索引cIdx规定彩色分量的指示符;对于Cb,等于1,并且对于Cr,等于2。
如下获得变量ResScaleVal[cIdx][x0][y0]:
如果log2_res_scale_abs_plus1[cIdx-1]等于0,以下适用:
ResScaleVal[cIdx][x0][y0]=0;
否则(log2_res_scale_abs_plus1[cIdx-1]不等于0),以下适用:
ResScaleVal[cIdx][x0][y0]=(1<<(log2_res_scale_abs_plus1[cIdx-1]-1))*(1-2*res_scale_sign_flag[cIdx-1])。
在上文中,ResScaleVal对应于上述α。
即,例如,根据以下,基于第一分量的共同定位的残余样本值ry[x][y],在位置x、y,即,r[x][y],计算在使用分量间预测的残余/变换块604内的样本值,即,log2_res_scale_abs_plus1≠0:
r[x][y]+=(ResScaleVal[cIdx][xTbY][yTbY]*((rY[x][y]<<BitDepthC)>>Bit
DepthY))>>3,
其中,BitDepthC是从属分量2/3的位深度,并且BitDepthY是第一分量的位深度。
右移“>>3”对应于除以8。根据本实例,如上面已经例证的,可信令的α值是{0,±0.125,±0.25,±0.5,±1}。
可以分别使用截断的一元二值化和二进制算术编码以及二进制算术解码和截断的一元去二值化,在数据流内信令log2_res_scale_abs_plus1。二进制算术解码/编码可以是背景自适应(context-adaptively)的。可以基于局部邻域,选择背景。例如,对于log2_res_scale_abs_plus1的二值化的每个二进制,可以选择一个不同的背景。不同组的背景可以用于这两个色度分量。同样,res_scale_sign_flag可以分别在数据流二进制算术编码和二进制算术解码内信令。二进制算术解码/编码可以是背景自适应的。不同的背景可以用于这两个色度分量。可替代地,相同的背景用于这两个色度分量。
如上所述,从log2_res_scale_abs_plus1到绝对值α(即,ResScaleVal>>3)的映射可以使用位移操作(即,通过指数函数)在算术上进行。
如果在某个残余/变换块内的亮度分量是0,那么对于某个残余/变换块,可以跳过这两个色度分量的log2_res_scale_abs_plus1和res_scale_sign_flag的信令。由于在图10中,log2_res_scale_abs_plus1和res_scale_sign_flag是用于信令614和616的实例,所以这表示解码器可能检查对于第二分量208的当前解码部分,重构的第一分量信号2561的空间对应部分442是否是0,并且根据该检查,从数据流中明确读取子图像等级语法元素6142、6162、6143、6163,并且执行从空间对应部分442中重构分量信号256’2,3,或者跳过明确读取,并且可选地,不执行从空间对应部分442中重构的第二分量信号256’2,3,而是保持第二分量信号2562,3不变。
因此,图10例证了一种解码器,其被配置为通过以下步骤,将相对于不同的分量206、208、210在空间上对场景取样的多分量图像202解码:从数据流104中重构与第一分量206相关的第一分量信号6101;并且从重构的第一分量信号6101的空间对应部分442以及源自所述数据流的校正信号6102,3中重构与所述多分量图像202的第二(第三)分量208/210相关的第二分量信号610’2,3的一部分440。第一分量信号6101是所述多分量图像202的第一分量206的时间、空间或视图间预测的预测残差,并且解码器可以执行所述多分量图像202的第一分量206的时间、空间或视图间预测并且通过使用所述重构的第一分量信号6101校正第一分量的时间、空间或视图间预测,来重构所述多分量图像的第一分量206。所述解码器被配置为通过子图像粒度,根据在所述数据流内的信令,自适应地设置第一权重α2,3。为此,所述解码器被配置为通过子图像粒度,从所述数据流中读取第一权重的绝对值,并且通过有条件地取决于所述绝对值是否是0的方式,读取第一权重的符号。所述解码器被配置为通过子图像粒度,从所述数据流中跳读第一权重的绝对值,并且通过有条件地取决于所述绝对值是否是0的方式,在所述第一分量信号是0的部分中,跳读第一权重的符号。在重构第二分量信号时,解码器将由第一权重(α2)加权的重构的第一分量信号的空间对应部分加入校正信号中。可以通过逐个样本的方式,在空间域内进行添加。可替代地,这在频谱域内进行。编码器在预测回路中同样执行这些。
虽然在设备的背景下描述了一些方面,但是显然,这些方面也表示相应方法的描述,其中,块体或装置对应于方法步骤或者方法步骤的特征。同样,在方法步骤的背景下描述的方面也表示相应设备的相应块体或物品或特征的描述。一些或所有方法步骤可以由(使用)硬件设备执行,例如,微处理器、可编程计算机或电子电路。在一些实施方式中,某一个或多个最重要的方法步骤可以由这种设备执行。
根据某些实现方式要求,本发明的实施方式可以在硬件内或者在软件内实现。可以使用数字存储器介质,执行实施方式,例如,软盘、DVD、蓝光光盘、CD、ROM、PROM、EPROM、EEPROM或FLASH存储器,电子可读控制信号储存在其上,这些信号与可编程计算机系统配合(或者能够与其配合),以便执行相应方法。因此,数字存储器介质内可以是计算机可读的。
根据本发明的一些实施方式包括数据载波,具有电子可读控制信号,这些信号能够与可编程的计算机系统配合,以便执行在本文中描述的一种方法。
通常,可以实现本发明的实施方式,作为具有程序代码的计算机程序产品,在计算机程序产品在计算机上运行时,程序代码有效地用于执行一种方法。例如,程序代码还可以储存在机器可读载波上。
其他实施方式包括用于执行在本文中描述的一种方法的计算机程序,算机程序储存在机器可读载波上。
换言之,因此,本发明方法的一个实施方式是具有程序代码的计算机程序,在计算机程序在计算机上运行时,用于执行在本文中描述的一种方法。
因此,本发明方法的进一步实施方式是数据载体(或数字存储器介质或计算机可读介质),在该数据载体上记录用于执行在本文中描述的一种方法的计算机程序。数据载体、数字存储器介质或记录介质通常是有形和/或非过渡的。
因此,本发明方法的进一步实施方式是数据流或一系列信号,表示用于执行在本文中描述的一种方法的计算机程序。例如,数据流或这系列信号可以被配置为用于通过数据通信连接来传输,例如,通过互联网。
进一步实施方式包括处理装置,例如,计算机或可编程逻辑装置,其被配置为或者适合于执行在本文中描述的一种方法。
进一步实施方式包括计算机,在该计算机上安装用于执行在本文中描述的一种方法的计算机程序。
根据本发明的进一步实施方式包括设备或系统,其被配置为将用于执行在本文中描述的一种方法的计算机程序传输(例如,电子地或光学地)给接收器。例如,接收器可以是计算机、移动装置、存储器装置等。例如,该设备或系统可以包括文件服务器,用于将计算机程序传输给接收器。
在一些实施方式中,可编程逻辑装置(例如,现场可编程门阵列)可以用于执行在本文中描述的方法的一些或所有功能。在一些实施方式中,现场可编程门阵列可以与微处理器配合,以便执行在本文中描述的一种方法。通常,这些方法优选地由任何硬件设备执行。
使用硬件设备,或者使用计算机,或者使用硬件设备和计算机的组合,可以实现在本文中描述的设备。
使用硬件设备,或者使用计算机,或者使用硬件设备和计算机的组合,可以执行在本文中描述的方法。
根据本公开的实施例,提供了以下配置:
项1.一种解码器,被配置为通过以下步骤解码相对于不同分量(206、208、210)对场景进行空间采样的多分量图像(202):
从数据流(104)重构与所述多分量图像(202)的第一分量(206)相关的第一分量信号(2561;2701);
从重构的所述第一分量信号(2561;2701)的空间对应部分以及从所述数据流获得的校正信号(2562;2702)中重构(400)与所述多分量图像(202)的第二分量(208)相关的第二分量信号(256’2;270’2)的一部分(440)。
项2.根据项1所述的解码器,其中,所述解码器被配置为基于块的混合视频解码器,所述混合视频解码器被配置为:
将所述多分量图像(202)规则地子分割成树形块(302),使用递归的多叉树子分割将所述树形块单独子分割成码块(304),使用递归的多叉树子分割将每个码块子分割成预测块(308),并且使用递归的多叉树子分割将每个预测块单独子分割成残余块(312),并且将所述残余块子分割成变换块(316);
以取决于所述码块或者取决于所述预测块的粒度,根据所述数据流选择预测模式;
以所述预测块的粒度,根据所述数据流设置预测参数;
使用所述预测模式和所述预测参数,获得预测信号(2201、2202、2203);
通过在所述变换块内单独执行逆变换,获得每个残余块内的残余信号(2561、256’2、256’3);并且
通过使用所述残余信号校正所述预测信号,来重构所述多分量图像(202),
其中,所述编码器响应于所述数据流内的信令(6142、6143),以便以所述残余块和/或所述变换块的粒度,在从重构的所述第一分量信号的空间对应部分以及所述校正信号执行所述第二分量信号的重构与从所述校正信号而不考虑重构的所述第一分量信号的空间对应部分来重构所述第二分量信号之间切换。
项3.根据项1或2所述的解码器,其中,所述解码器被配置为使所述第一分量信号是所述多分量图像(202)的所述第一分量(206)的时间、空间或视图间预测的预测残差,并且所述解码器被配置为执行所述多分量图像(202)的所述第一分量(206)的所述时间、空间或视图间预测并且通过使用重构的所述第一分量信号校正所述第一分量的所述时间、空间或视图间预测来重构所述多分量图像的所述第一分量(206)。
项4.根据前述任一项所述的解码器,其中,所述解码器被配置为使所述第二分量信号是所述多分量图像(202)的所述第二分量(208)的时间、空间或视图间预测的预测残差,并且所述解码器被配置为执行所述多分量图像的所述第二分量(208)的所述时间、空间或视图间预测并且通过使用重构的所述第二分量信号校正所述多分量图像(202)的所述时间、空间或视图间预测来重构所述多分量图像(202)的所述第二分量(208)。
项5.根据前述任一项所述的解码器,其中,所述解码器被配置为通过对与从所述数据流(104)获得的所述第二分量(208)相关的频谱系数执行逆频谱变换(2262)来获得所述校正信号(2562),以便获得空间域的所述校正信号。
项6.根据前述任一项所述的解码器,其中,所述解码器被配置为在重构所述第二分量信号时,以子图像粒度自适应地设置第一权重(α2),重构的所述第一分量信号的空间对应部分(442)以所述第一权重影响所述第二分量信号的重构。
项7.根据项6所述的解码器,其中,所述解码器被配置为以所述子图像粒度根据所述数据流中的信令自适应地设置所述第一权重(α2)。
项8.根据项6或7所述的解码器,其中,所述解码器被配置为以所述子图像粒度从所述数据流中读取第一权重的绝对值,并且以有条件地取决于所述第一权重的绝对值是否为0的方式读取第一权重的符号。
项9.根据项8所述的解码器,其中,所述解码器被配置为以所述子图像粒度从所述数据流中跳读所述第一权重的绝对值,并且以有条件地取决于所述第一权重的绝对值是否为0的方式,在所述第一分量信号为0的部分处跳读所述第一权重的符号。
项10.根据项6到9中任一项所述的解码器,其中,所述解码器被配置为在重构所述第二分量信号时,将通过所述第一权重(α2)加权的重构的所述第一分量信号的空间对应部分(442)添加到所述校正信号。
项11.根据项10所述的解码器,其中,所述解码器被配置为在重构所述第二分量信号时,以逐个样本的方式在空间域中执行所述添加。
项12.根据项6到11中任一项所述的解码器,其中,所述解码器被配置为通过以下步骤设置所述第一权重:
从所述数据流中获得具有至少图像范围的高级语法元素结构(510);
在所述至少图像范围内,构建从预定二值化的可能二进制串(518)的域集至所述第一权重的可能值的上域(520)的映射(522);并且
通过使用所述预定二值化以子图像粒度从所述数据流中读取第一权重语法元素(514),并且使所述第一权重语法元素的二进制串经历所述映射,来获得所述第一权重。
项13.根据项12所述的解码器,其中,所述解码器被配置为从所述高级语法元素结构中获得所述第一权重的可能非零值的预定集之中的上域值的间隔的下界和上界(524),并且在获得所述第一权重时,以子图像粒度从所述数据流中另外读取零标记(526),所述零标记(526)指示所述第一权重是否为0,其中,有条件地根据所述零标记来执行执行所述第一权重语法元素的读取和所述经历。
项14.根据项12或13所述的解码器,其中,所述解码器被配置为在构建所述映射时,从所述高级语法元素结构中获得下界整数值的符号和绝对值以及上界整数值的符号和绝对值,并且对所述下界整数值的绝对值和所述上界整数值的绝对值应用整数域指数函数,并且从不包括0的所述整数域指数函数的上域中抓取所述第一权重的可能值的上域。
项15.根据项12到14中任一项所述的解码器,其中,所述解码器被配置为将截断的一元二值化用作所述第一权重语法元素的绝对值部分的所述预定二值化,并且在获得所述第一权重时,在所述第一权重语法元素的绝对部分(530)之前,从所述数据流中读取所述第一权重语法元素的符号部分(530),并且根据所述第一权重的符号部分和所述可能值的上域,设置所述第一权重语法元素的所述绝对部分的所述截断的一元二值化的长度。
项16.根据项12到15中任一项所述的解码器,其中,所述解码器被配置为从所述高级语法元素结构中获得第一间隔界限和第二间隔界限(524),并且所述解码器被配置为将TU二进制串的截断的一元二值化用作所述第一权重语法元素的绝对值部分的所述预定二值化,并且在构建所述映射时,根据所述第一间隔界限和所述第二间隔界限的比较反转所述TU二进制串横越所述可能值的上域映射到所述可能值的顺序。
项17.根据前述任一项所述的解码器,其中,所述解码器被配置为在重构所述第二分量信号(208)时,以子图像粒度自适应地设置第二权重,所述校正信号以所述第二权重影响所述第二分量信号的重构。
项18.根据前述任一项所述的解码器,其中,所述解码器被配置为在重构所述第二分量信号时,以子图像粒度自适应地设置所述校正信号和重构的所述第一分量信号的空间对应部分(442)的加权和的权重,并且将所述加权和用作标量函数的标量参数以便获得重构的所述第二分量信号,所述标量函数在至少每个图像中是恒定的。
项19.根据前述任一项所述的解码器,其中,所述解码器被配置为在重构所述第二分量信号时,以子图像粒度自适应地设置所述校正信号、重构的所述第一分量信号的空间对应部分(442)以及常数的加权和的权重,并且将所述加权和用作标量函数的标量参数以便获得重构的所述第二分量信号,所述标量函数在至少每个图像中是恒定的。
项20.根据项18或19所述的解码器,其中,所述解码器被配置为基于局部邻域以后向驱动的方式设置所述权重。
项21.根据项18或19所述的解码器,其中,所述解码器被配置为基于局部邻域以后向驱动的方式设置所述权重,并且以前向驱动的方式校正所述权重。
项22.根据项20或21所述的解码器,其中,所述解码器被配置为基于所述多分量图像的已经解码部分的属性以后向驱动的方式设置所述权重。
项23.根据项18到22中任一项所述的解码器,其中,所述解码器被配置为通过以下方式以第一空间粒度将所述权重设置为默认值:
组合式后向和前向自适应方式,或者
前向自适应方式,
后向自适应方式,
并且以比所述第一空间粒度更精细的第二空间粒度基于局部邻域以后向驱动的方式改进所述权重。
项24.根据项16到23中任一项所述的解码器,其中,所述解码器被配置为根据m进制子图像等级语法元素,将所述权重设置为m个不同状态中的一个,其中,所述解码器被配置为从更高级的语法元素(510)中获得m。
项25.根据前述任一项所述的解码器,其中,所述解码器被配置为在重构所述第二分量信号时以子图像粒度在以下步骤之间自适应地切换:
对与从所述数据流中获得的所述第二分量(208)相关的频谱系数执行逆频谱变换,以便获得空间域中的所述校正信号(x),并且使用空间域中的所述校正信号(x)来重构(400)所述第二分量信号(z),以及
从所述数据流中获得频谱域中的所述校正信号(x),使用获得的频谱域中的所述校正信号(x)在频谱域中重构(400)所述第二分量信号(z),并且在频谱域内使重构的所述第二分量信号(z)经历逆频谱变换。
项26.根据项25所述的解码器,其中,所述解码器被配置为以后向自适应方式和/或前向自适应方式执行自适应切换(490)。
项27.根据前述任一项所述的解码器,其中,所述解码器被配置为以子图像粒度,在从重构的所述第一分量信号的空间对应部分执行所述第二分量信号的重构与反转所述重构以便从重构的所述第二分量信号的空间对应部分重构所述第一分量信号之间,自适应地切换所述第二分量信号的重构方向。
项28.根据项1到27中任一项所述的解码器,其中,所述解码器被配置为响应于信令告知所述第一分量信号和所述第二分量信号之间的顺序的语法元素(472),在从重构的所述第一分量信号的空间对应部分执行所述第二分量信号的重构与反转所述重构以便从重构的所述第二分量信号的空间对应部分重构所述第一分量信号之间,自适应地切换所述第二分量信号的重构方向。
项29.根据前述任一项所述的解码器,其中,所述解码器被配置为以子图像粒度,在仅基于重构的所述第一分量信号来重构所述第二分量信号与基于重构的所述第一分量信号和第三重构的分量信号来重构所述第二分量信号之间,自适应地切换所述第二分量信号的重构。
项30.根据前述任一项所述的解码器,其中,所述第一分量和所述第二分量是颜色分量。
项31.根据前述任一项所述的解码器,其中,所述第一分量是亮度并且所述第二分量是色度分量。
项32.根据前述任一项所述的解码器,其中,所述解码器响应于所述数据流中的第一语法元素(612),以便根据所述第一语法元素(612),
使得能够基于重构的所述第一分量信号进行所述第二分量信号的重构,在解析所述数据流时从所述数据流中读取子图像等级语法元素(6142、6162、6143、6163),并且基于所述子图像等级语法元素以子图像粒度调整基于重构的所述第一分量信号的所述第二分量信号的重构,并且
基于重构的所述第一分量信号禁止所述第二分量信号的重构,并且改变解析数据流以处理不包括所述子图像等级语法元素的所述数据流。
项33.根据前述任一项所述的解码器,其中,所述解码器被配置为以后向驱动的方式在以下步骤之间局部切换:
使得能够基于重构的所述第一分量信号进行所述第二分量信号的重构,并且
基于重构的所述第一分量信号禁止所述第二分量信号的重构。
项34.根据项33所述的解码器,其中,所述解码器被配置为以后向驱动的方式执行局部切换。
项35.根据项33所述的解码器,其中,
所述解码器被配置为使所述第一分量信号是所述多分量图像的所述第一分量的时间、空间或视图间预测的预测残差,并且所述解码器被配置为执行所述多分量图像的所述第一分量的时间、空间或视图间预测并且通过使用重构的所述第一分量信号校正所述第一分量的时间、空间或视图间预测来重构所述多分量图像的所述第一分量,
所述解码器被配置为使所述第二分量信号是所述多分量图像的所述第二分量的时间、空间或视图间预测的预测残差,并且所述解码器被配置为执行所述多分量图像的所述第二分量的时间、空间或视图间预测并且通过使用重构的所述第二分量信号校正所述多分量图像的时间、空间或视图间预测来重构所述多分量图像的所述第二分量,并且
所述解码器被配置为通过局部检查所述第一分量信号和所述第二分量信号是否是空间预测的预测残差以及所述空间预测的帧内预测模式是否一致,或者通过局部检查所述第一分量信号和所述第二分量信号是否是空间预测的预测残差以及所述空间预测的帧内预测模式是否未偏离多于预定的量,来执行局部切换。
项36.根据项33所述的解码器,其中,所述解码器被配置为决定首先以后向驱动的方式进行局部切换,并且响应于所述数据流中的信令,以前向自适应方式修改所述决定。
项37.根据前述任一项所述的解码器,其中,所述解码器响应于所述数据流中的第二语法元素,以便根据所述第二语法元素,
在解析所述数据流时,从所述数据流中读取子图像等级语法元素,并且基于所述子图像等级语法元素以子图像粒度调整基于重构的所述第一分量信号的所述第二分量信号的重构,并且
基于重构的所述第一分量信号,非自适应地执行所述第二分量信号的重构。
项38.根据前述任一项所述的解码器,其中,所述第一分量和所述第二分量(206、208)是3个颜色分量中的两个,并且所述解码器被配置为还从重构的所述第一分量信号或所述第二分量信号的空间对应部分以及从第三分量的数据流获得的校正信号中重构与所述多分量图像(202)的第三颜色分量(210)相关的第三分量信号,其中,所述解码器被配置为自适应地单独在子图像等级上执行所述第二分量信号和所述第三分量信号的重构。
项39.根据前述任一项所述的解码器,其中,所述第一分量(206)是亮度分量,所述第二分量(208)是第一色度分量,并且所述第三分量(210)是第二色度分量,并且所述解码器被配置为背景自适应地使用相同的背景从重构的所述第一分量信号或所述第二分量信号的空间对应部分中熵解码第一子图像等级语法元素(6142、6162)以及第二子图像等级语法元素(6143、6163),所述第一子图像等级语法元素(6142、6162)用于调整与所述多分量图像的第一颜色分量相关的所述第二分量信号的重构;所述第二子图像等级语法元素(6143、6163)用于调整与所述多分量图像的所述第一颜色分量相关的第三分量信号的重构。
项40.根据项1到38中任一项所述的解码器,其中,所述第一分量是亮度,所述第二分量是第一色度分量,并且所述第三分量是第二色度分量,并且所述解码器被配置为背景自适应地使用单独的背景从重构的所述第一分量信号或所述第二分量信号的空间对应部分熵解码第一子图像等级语法元素以及第二子图像等级语法元素,所述第一子图像等级语法元素用于调整与所述多分量图像的第一颜色分量相关的所述第二分量信号的重构;所述第二子图像等级语法元素用于调整与所述多分量图像的所述第一颜色分量相关的第三分量信号的重构。
项41.根据前述任一项所述的解码器,其中,所述解码器被配置为在解析所述数据流时从所述数据流中读取子图像等级语法元素并且基于所述子图像等级语法元素以子图像粒度调整基于重构的所述第一分量信号的所述第二分量信号的重构,并且在解析所述数据流时针对所述第二分量的当前解码的部分检查重构的所述第一分量信号的空间对应部分(442)是否为0,并且根据所述检查
从所述数据流中明确地读取所述子图像等级语法元素,并且从重构的所述第一分量信号的空间对应部分执行所述第二分量信号的重构,或者
跳过明确读取。
项42.根据前述任一项所述的解码器,其中,所述解码器被配置为使用GolombRice码从所述数据流中熵解码子图像等级语法元素。
项43.根据项42所述的解码器,其中,所述解码器被配置为在从所述数据流中熵解码所述子图像等级语法元素时,二进制算术解码所述Golomb Rice码的二进制。
项44.根据项43所述的解码器,其中,所述解码器被配置为在从所述数据流中熵解码所述子图像等级语法元素时,使用不同的背景在不同的二进制位置,二进制算术解码所述Golomb Rice码的二进制。
项45.根据项43或44所述的解码器,其中,所述解码器被配置为在从所述数据流中熵解码所述子图像等级语法元素时,在超过预定值的二进制位置无背景地二进制算术解码所述Golomb Rice码的二进制。
项46.根据前述任一项所述的解码器,其中,所述解码器被配置为在重构所述第二分量信号时,对重构的所述第一分量信号的空间对应部分进行空间上的重新缩放和/或执行位深度精确映射。
项47.根据项46所述的解码器,其中,所述解码器被配置为以后向自适应方式和/或前向自适应方式,调整所述空间上的重新缩放和/或所述位深度精确映射的执行。
项48.根据项46所述的解码器,其中,所述解码器被配置为通过以下来调整所述空间上的重新缩放:
选择空间滤波器;
以后向和/或前向自适应方式。
项49.根据项48所述的解码器,其中,所述解码器被配置为通过以下来调整所述位深度精确映射的执行:
选择映射函数;
以后向自适应方式和/或前向自适应方式。
项50.根据前述任一项所述的解码器,其中,所述解码器被配置为在重构所述第二分量信号时,从重构的所述第一分量信号的空间低通滤波版本重构所述第二分量信号。
项51.根据项50所述的解码器,其中,所述解码器被配置为以前向自适应方式和/或以后向自适应方式,从重构的所述第一分量信号的所述空间低通滤波版本执行所述第二分量信号的重构。
项52.根据项50所述的解码器,其中,所述解码器被配置为以前向自适应方式和/或以前向自适应方式,通过设置用于低通滤波的低通滤波器,来调整从重构的所述第一分量信号的所述空间低通滤波版本的对所述第二分量信号的重构。
项53.根据项45所述的解码器,其中,所述解码器被配置为使用分级来执行产生重构的所述第一分量信号的低通滤波版本的空间低通滤波。
项54.一种编码器,被配置为通过以下步骤编码相对于不同的分量(206、208、210)对场景进行空间采样的多分量图像(202):
通过基于重构的第一分量信号(2561;2701)的空间对应部分的分量间预测并且将用于校正所述分量间预测的校正信号(2562;2702)插入数据流中,来编码(400)与所述多分量图像(202)的第二分量(208)相关的第二分量信号(256’2;270’2)的一部分(440)。
项55.一种用于解码相对于不同的分量(206、208、210)对场景进行空间采样的多分量图像(202)的方法,包括:
从数据流(104)中重构与所述多分量图像(202)的第一分量(206)相关的第一分量信号(2561;2701);并且
从重构的所述第一分量信号(2561;2701)的空间对应部分以及从所述数据流获得的校正信号(2562;2702)中重构(400)与所述多分量图像(202)的第二分量(208)相关的第二分量信号(256’2;270’2)的一部分(440)。
项56.一种用于编码相对于不同的分量(206、208、210)对场景进行空间采样的多分量图像(202)的方法,包括:
通过基于重构的第一分量信号(2561;2701)的空间对应部分的分量间预测并且将用于校正所述分量间预测的校正信号(2562;2702)插入数据流中,来编码(400)与所述多分量图像(202)的第二分量(208)相关的第二分量信号(256’2;270’2)的一部分(440)。
项57.一种具有程序代码的计算机程序,当所述程序代码在计算机上运行时用于执行根据项55或56所述的方法。
上述实施方式仅仅说明本发明的原理。要理解的是,对于本领域的技术人员,在本文中描述的设置和细节的修改和变化显而易见。因此,其目的在于,通过在本文中的实施方式的描述和解释,仅仅由即将发生的专利权利要求的范围限制,而不由提出的具体细节限制。

Claims (10)

1.一种解码器,被配置为通过以下步骤解码相对于不同分量(206、208、210)对场景进行空间采样的多分量图像(202):
从数据流(104)重构与所述多分量图像(202)的第一分量(206)相关的第一分量信号(2561;2701);
从重构的所述第一分量信号(2561;2701)的空间对应部分以及从所述数据流获得的校正信号(2562;2702)中重构(400)与所述多分量图像(202)的第二分量(208)相关的第二分量信号(256’2;270’2)的一部分(440)。
2.根据权利要求1所述的解码器,其中,所述解码器被配置为基于块的混合视频解码器,所述混合视频解码器被配置为:
将所述多分量图像(202)规则地子分割成树形块(302),使用递归的多叉树子分割将所述树形块单独子分割成码块(304),使用递归的多叉树子分割将每个码块子分割成预测块(308),并且使用递归的多叉树子分割将每个预测块单独子分割成残余块(312),并且将所述残余块子分割成变换块(316);
以取决于所述码块或者取决于所述预测块的粒度,根据所述数据流选择预测模式;
以所述预测块的粒度,根据所述数据流设置预测参数;
使用所述预测模式和所述预测参数,获得预测信号(2201、2202、2203);
通过在所述变换块内单独执行逆变换,获得每个残余块内的残余信号(2561、256’2、256’3);并且
通过使用所述残余信号校正所述预测信号,来重构所述多分量图像(202),
其中,所述编码器响应于所述数据流内的信令(6142、6143),以便以所述残余块和/或所述变换块的粒度,在从重构的所述第一分量信号的空间对应部分以及所述校正信号执行所述第二分量信号的重构与从所述校正信号而不考虑重构的所述第一分量信号的空间对应部分来重构所述第二分量信号之间切换。
3.根据权利要求1或2所述的解码器,其中,所述解码器被配置为使所述第一分量信号是所述多分量图像(202)的所述第一分量(206)的时间、空间或视图间预测的预测残差,并且所述解码器被配置为执行所述多分量图像(202)的所述第一分量(206)的所述时间、空间或视图间预测并且通过使用重构的所述第一分量信号校正所述第一分量的所述时间、空间或视图间预测来重构所述多分量图像的所述第一分量(206)。
4.根据前述权利要求中任一项所述的解码器,其中,所述解码器被配置为使所述第二分量信号是所述多分量图像(202)的所述第二分量(208)的时间、空间或视图间预测的预测残差,并且所述解码器被配置为执行所述多分量图像的所述第二分量(208)的所述时间、空间或视图间预测并且通过使用重构的所述第二分量信号校正所述多分量图像(202)的所述时间、空间或视图间预测来重构所述多分量图像(202)的所述第二分量(208)。
5.根据前述权利要求中任一项所述的解码器,其中,所述解码器被配置为通过对与从所述数据流(104)获得的所述第二分量(208)相关的频谱系数执行逆频谱变换(2262)来获得所述校正信号(2562),以便获得空间域的所述校正信号。
6.根据前述权利要求中任一项所述的解码器,其中,所述解码器被配置为在重构所述第二分量信号时,以子图像粒度自适应地设置第一权重(α2),重构的所述第一分量信号的空间对应部分(442)以所述第一权重影响所述第二分量信号的重构。
7.根据权利要求6所述的解码器,其中,所述解码器被配置为以所述子图像粒度根据所述数据流中的信令自适应地设置所述第一权重(α2)。
8.根据权利要求6或7所述的解码器,其中,所述解码器被配置为以所述子图像粒度从所述数据流中读取第一权重的绝对值,并且以有条件地取决于所述第一权重的绝对值是否为0的方式读取第一权重的符号。
9.根据权利要求8所述的解码器,其中,所述解码器被配置为以所述子图像粒度从所述数据流中跳读所述第一权重的绝对值,并且以有条件地取决于所述第一权重的绝对值是否为0的方式,在所述第一分量信号为0的部分处跳读所述第一权重的符号。
10.根据权利要求6到9中任一项所述的解码器,其中,所述解码器被配置为在重构所述第二分量信号时,将通过所述第一权重(α2)加权的重构的所述第一分量信号的空间对应部分(442)添加到所述校正信号。
CN202110505107.1A 2013-04-08 2014-04-08 分量间预测 Pending CN113259683A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361809608P 2013-04-08 2013-04-08
US61/809,608 2013-04-08
US201361846450P 2013-07-15 2013-07-15
US61/846,450 2013-07-15
EP14150373.0 2014-01-07
EP14150373 2014-01-07
CN201480029519.0A CN105409218B (zh) 2013-04-08 2014-04-08 解码器和解码方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480029519.0A Division CN105409218B (zh) 2013-04-08 2014-04-08 解码器和解码方法

Publications (1)

Publication Number Publication Date
CN113259683A true CN113259683A (zh) 2021-08-13

Family

ID=49943174

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202110505265.7A Pending CN113259684A (zh) 2013-04-08 2014-04-08 分量间预测
CN202110504783.7A Pending CN113259681A (zh) 2013-04-08 2014-04-08 分量间预测
CN202110504840.1A Pending CN113259682A (zh) 2013-04-08 2014-04-08 分量间预测
CN202110505107.1A Pending CN113259683A (zh) 2013-04-08 2014-04-08 分量间预测
CN201480029519.0A Active CN105409218B (zh) 2013-04-08 2014-04-08 解码器和解码方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202110505265.7A Pending CN113259684A (zh) 2013-04-08 2014-04-08 分量间预测
CN202110504783.7A Pending CN113259681A (zh) 2013-04-08 2014-04-08 分量间预测
CN202110504840.1A Pending CN113259682A (zh) 2013-04-08 2014-04-08 分量间预测

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480029519.0A Active CN105409218B (zh) 2013-04-08 2014-04-08 解码器和解码方法

Country Status (11)

Country Link
US (4) US10237567B2 (zh)
EP (3) EP3955577A3 (zh)
JP (3) JP2016519898A (zh)
KR (5) KR20230131286A (zh)
CN (5) CN113259684A (zh)
DK (1) DK2984837T3 (zh)
ES (1) ES2665908T3 (zh)
HU (1) HUE038732T2 (zh)
PL (1) PL2984837T3 (zh)
PT (1) PT2984837T (zh)
WO (1) WO2014166965A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259682A (zh) * 2013-04-08 2021-08-13 Ge视频压缩有限责任公司 分量间预测

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RS64605B1 (sr) 2010-04-13 2023-10-31 Ge Video Compression Llc Kodiranje videa primenom podele sa više stabala na slikama
KR102166520B1 (ko) 2010-04-13 2020-10-16 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
NO2991355T3 (zh) 2010-04-13 2018-04-14
BR122020007923B1 (pt) 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
JP6656147B2 (ja) * 2013-10-18 2020-03-04 ジーイー ビデオ コンプレッション エルエルシー マルチコンポーネント画像またはビデオ符号化のコンセプト
US10291915B2 (en) * 2014-03-06 2019-05-14 Samsung Electronics Co., Ltd. Video decoding method and apparatus and video encoding method and apparatus
US10200700B2 (en) * 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
EP3104610A1 (en) 2015-06-10 2016-12-14 Thomson Licensing Method and device for encoding color differences for color picture data
CN115118971A (zh) * 2016-05-13 2022-09-27 Vid拓展公司 用于视频编码的通用式多假设预测的系统及方法
EP3466071A4 (en) * 2016-05-24 2019-04-24 Sharp Kabushiki Kaisha INTRA PREDICTION CODING SYSTEMS AND METHODS
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
JP2018056685A (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
US10477240B2 (en) * 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
WO2018128380A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10867085B2 (en) * 2017-03-10 2020-12-15 General Electric Company Systems and methods for overlaying and integrating computer aided design (CAD) drawings with fluid models
US11004568B2 (en) 2017-03-10 2021-05-11 Altair Engineering, Inc. Systems and methods for multi-dimensional fluid modeling of an organism or organ
US10409950B2 (en) 2017-03-10 2019-09-10 General Electric Company Systems and methods for utilizing a 3D CAD point-cloud to automatically create a fluid model
US10977397B2 (en) 2017-03-10 2021-04-13 Altair Engineering, Inc. Optimization of prototype and machine design within a 3D fluid modeling environment
US10803211B2 (en) 2017-03-10 2020-10-13 General Electric Company Multiple fluid model tool for interdisciplinary fluid modeling
CA3060201C (en) * 2017-04-13 2023-09-19 Lg Electronics Inc. Image encoding/decoding method and device therefor
EP3744102A1 (en) 2018-01-24 2020-12-02 Vid Scale, Inc. Generalized bi-prediction for video coding with reduced coding complexity
EP3804324A4 (en) 2018-06-11 2022-08-03 HFI Innovation Inc. BIDIRECTIONAL OPTICAL FLOW METHOD AND APPARATUS FOR VIDEO CODING
WO2019244931A1 (ja) * 2018-06-19 2019-12-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN115988204A (zh) 2018-08-09 2023-04-18 Oppo广东移动通信有限公司 视频图像分量的预测方法和装置、及计算机存储介质
MX2021001833A (es) * 2018-08-17 2021-05-12 Hfi Innovation Inc Metodos y aparatos de procesamiento de video con prediccion bidireccional en sistemas de codificacion de video.
CN113055671B (zh) 2019-01-10 2022-09-02 Oppo广东移动通信有限公司 图像解码方法、解码器及计算机存储介质
CN113454992A (zh) * 2019-02-19 2021-09-28 韦勒斯标准与技术协会公司 基于帧内预测的视频信号处理方法和设备
EP3939296A1 (en) * 2019-03-12 2022-01-19 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Selective inter-component transform (ict) for image and video coding
EP3918790A4 (en) 2019-03-24 2022-04-13 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR QUANTIFYING COEFFICIENTS FOR A MATRIX-BASED INTRA PREDICTION (MIP) TECHNIQUE
JP7414843B2 (ja) 2019-04-24 2024-01-16 バイトダンス インコーポレイテッド 符号化映像の量子化残差差分パルス符号変調表現
CN117857783A (zh) 2019-05-01 2024-04-09 字节跳动有限公司 使用量化残差差分脉冲码调制编解码的帧内编解码视频
CN117615130A (zh) 2019-05-02 2024-02-27 字节跳动有限公司 基于编解码树结构类型的编解码模式
KR20220002918A (ko) * 2019-05-02 2022-01-07 바이트댄스 아이엔씨 변환 스킵 모드에서의 시그널링
KR20220000906A (ko) * 2019-06-19 2022-01-04 엘지전자 주식회사 크로마 블록의 분할 조건을 제한하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11509910B2 (en) * 2019-09-16 2022-11-22 Tencent America LLC Video coding method and device for avoiding small chroma block intra prediction
US11284111B2 (en) * 2019-10-10 2022-03-22 Tencent America LLC Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
CA3159585A1 (en) * 2019-10-28 2021-05-06 Lg Electronics Inc. Image encoding/decoding method and device using adaptive color transform, and method for transmitting bitstream
WO2021136498A1 (en) 2019-12-31 2021-07-08 Beijing Bytedance Network Technology Co., Ltd. Multiple reference line chroma prediction
US11930177B2 (en) * 2021-10-29 2024-03-12 Tencent America LLC Primary transforms for cross-component level reconstruction

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050063471A1 (en) * 2003-09-07 2005-03-24 Microsoft Corporation Flexible range reduction
CN101411196A (zh) * 2006-03-27 2009-04-15 高通股份有限公司 用于对与视频压缩相关联的信息进行编码及解码的方法及系统
JP2009278495A (ja) * 2008-05-16 2009-11-26 Victor Co Of Japan Ltd 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム
CN101616329A (zh) * 2003-07-16 2009-12-30 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
US20120250769A1 (en) * 2009-11-06 2012-10-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Hybrid video coding
US20120307898A1 (en) * 2009-11-30 2012-12-06 Nec Corporation Video encoding device and video decoding device
CN102939756A (zh) * 2010-04-16 2013-02-20 Sk电信有限公司 视频编码/解码设备和方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1007211A5 (nl) * 1993-06-10 1995-04-25 Barco Werkwijze en inrichting voor het converteren van een beeld.
US6556624B1 (en) * 1999-07-27 2003-04-29 At&T Corp. Method and apparatus for accomplishing multiple description coding for video
US7469069B2 (en) * 2003-05-16 2008-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
EP1585060A1 (en) * 2004-04-06 2005-10-12 Visiowave S.A. Subband video coding with temporal prediction
JP2008536450A (ja) * 2005-04-13 2008-09-04 トムソン ライセンシング ビデオ復号化のための方法および装置
CN101189875B (zh) * 2005-04-13 2010-11-17 汤姆逊许可公司 利用公共预测器的亮度和色度编码
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
EP1949702A2 (en) * 2005-10-12 2008-07-30 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
KR101311402B1 (ko) * 2006-03-23 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101311403B1 (ko) * 2006-07-04 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US8774269B2 (en) * 2006-10-25 2014-07-08 Franuhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Quality scalable coding with mapping different ranges of bit depths
JP2010135864A (ja) * 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
CA2702161A1 (en) * 2007-10-15 2009-04-23 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
US8279924B2 (en) * 2008-10-03 2012-10-02 Qualcomm Incorporated Quantization parameter selections for encoding of chroma and luma video blocks
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
JP5421757B2 (ja) 2009-12-11 2014-02-19 株式会社Kddi研究所 画像符号化装置
CN102763417B (zh) * 2010-01-25 2015-12-02 汤姆森特许公司 单独地针对每个色彩平面的视频编码器、视频解码器、视频编码方法和视频解码方法
RS64605B1 (sr) * 2010-04-13 2023-10-31 Ge Video Compression Llc Kodiranje videa primenom podele sa više stabala na slikama
BR122020007923B1 (pt) * 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
WO2011127963A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
EP2559239A2 (en) * 2010-04-13 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
WO2012012444A2 (en) * 2010-07-19 2012-01-26 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
JP5512502B2 (ja) * 2010-12-13 2014-06-04 日本放送協会 符号化装置、復号装置及びプログラム
KR102032940B1 (ko) * 2011-03-11 2019-10-16 소니 주식회사 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2012160797A1 (en) * 2011-05-20 2012-11-29 Panasonic Corporation Methods and apparatuses for encoding and decoding video using inter-color-plane prediction
JP5707261B2 (ja) 2011-07-12 2015-04-22 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US20130051467A1 (en) * 2011-08-31 2013-02-28 Apple Inc. Hybrid inter/intra prediction in video coding systems
WO2013157829A1 (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 부호화 방법 및 복호화 방법 그리고 이를 이용하는 장치
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9781447B1 (en) * 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9979960B2 (en) * 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
CN113259684A (zh) * 2013-04-08 2021-08-13 Ge视频压缩有限责任公司 分量间预测
WO2016124711A1 (en) * 2015-02-05 2016-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-video codec supporting inter-component prediction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616329A (zh) * 2003-07-16 2009-12-30 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
US20050063471A1 (en) * 2003-09-07 2005-03-24 Microsoft Corporation Flexible range reduction
CN101411196A (zh) * 2006-03-27 2009-04-15 高通股份有限公司 用于对与视频压缩相关联的信息进行编码及解码的方法及系统
JP2009278495A (ja) * 2008-05-16 2009-11-26 Victor Co Of Japan Ltd 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム
US20120250769A1 (en) * 2009-11-06 2012-10-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Hybrid video coding
US20120307898A1 (en) * 2009-11-30 2012-12-06 Nec Corporation Video encoding device and video decoding device
CN102939756A (zh) * 2010-04-16 2013-02-20 Sk电信有限公司 视频编码/解码设备和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FRANCOIS PASTEAU: "Adaptive color decorrelation for predictive image codecs", 《SIGNAL PROCESSING CONFERENCE, 2011 19TH EUROPEAN》 *
K.KAWAMURA: "AHG7: Inter-plane intra coding for residual signals", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11TH MEETING:SHANGHAI,CN》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259682A (zh) * 2013-04-08 2021-08-13 Ge视频压缩有限责任公司 分量间预测

Also Published As

Publication number Publication date
US20160029035A1 (en) 2016-01-28
CN113259681A (zh) 2021-08-13
US11595674B2 (en) 2023-02-28
DK2984837T3 (en) 2018-04-30
JP6962576B2 (ja) 2021-11-05
CN113259682A (zh) 2021-08-13
EP3955577A2 (en) 2022-02-16
ES2665908T3 (es) 2018-04-30
KR101770317B1 (ko) 2017-09-05
PL2984837T3 (pl) 2018-07-31
KR102573801B1 (ko) 2023-09-07
EP2984837A1 (en) 2016-02-17
JP2022008930A (ja) 2022-01-14
US10237567B2 (en) 2019-03-19
US20190158861A1 (en) 2019-05-23
EP3340628A1 (en) 2018-06-27
KR20150140352A (ko) 2015-12-15
JP2016519898A (ja) 2016-07-07
JP2019146218A (ja) 2019-08-29
KR102245088B1 (ko) 2021-04-28
CN105409218B (zh) 2021-05-25
PT2984837T (pt) 2018-04-26
WO2014166965A1 (en) 2014-10-16
EP3955577A3 (en) 2022-03-16
KR102127280B1 (ko) 2020-06-26
HUE038732T2 (hu) 2018-11-28
CN105409218A (zh) 2016-03-16
KR20230131286A (ko) 2023-09-12
KR20220073861A (ko) 2022-06-03
CN113259684A (zh) 2021-08-13
KR20200077610A (ko) 2020-06-30
KR20170097790A (ko) 2017-08-28
US20230283792A1 (en) 2023-09-07
EP2984837B1 (en) 2018-01-17
EP3340628B1 (en) 2021-03-31
US20200374538A1 (en) 2020-11-26
US10743013B2 (en) 2020-08-11

Similar Documents

Publication Publication Date Title
CN105409218B (zh) 解码器和解码方法
KR101752401B1 (ko) 샘플 적응성 오프셋 제어
KR20220084060A (ko) 크로스 컴포넌트 적응적 루프 필터의 시그널링
US20130003855A1 (en) Processing method and device for video signals
US11979554B2 (en) Intra prediction-based video signal processing method and device
CN113615185A (zh) 用于视频编码的方法和装置
KR20220047770A (ko) 변환 스킵된 블록들에 대한 잔차 코딩
KR102507024B1 (ko) 디지털 이미지/비디오 자료를 인코딩 및 디코딩하는 방법 및 장치
WO2021136470A1 (en) Clustering based palette mode for video coding
KR20210046861A (ko) 성분-간 예측

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056999

Country of ref document: HK