CN103918269A - 基于亮度的色度帧内预测方法及装置 - Google Patents

Abstract

本发明提供一种基于亮度的当前色度区块的色度帧内预测方法及装置。根据色度采样格式，由当前亮度区块的重建亮度像素获取色度帧内预测器。根据色度采样格式，在水平或垂直方向上对重建亮度像素使用子采样、下采样中的一种或不处理。与色度采样格式有关的信息可包含于序列参数集合、图像参数集合、自适应参数集合或视频比特流的片头中。

Description

基于亮度的色度帧内预测方法及装置

交叉引用

本发明主张于2012年1月4日提交且发明名称为“Improvements ofLuma-based Chroma Intra Prediction”的申请号为PCT/CN2012/070009的PCT专利申请的优先权，该PCT专利申请的全部内容在此引用并合并参考。

技术领域

本发明是有关于视频编码(video coding)，更具体地，本发明是有关于与基于重建亮度像素(reconstructed luma pixels)的色度(chroma)帧内预测(intra prediction)有关的编码技术。

背景技术

运动补偿性帧间(inter-frame)编码已广泛应用于各种编码标准，如MPEG-1/2/4及H.261/H.263/H.264/AVC。相比于运动补偿性帧间编码可有效减少压缩视频的比特率(bitrate)，帧内编码(intra coding)用于压缩具有较大运动(motion)或场景(scene)改变的区域。另外，帧内编码也用于处理起始图像(initial picture)，或为随机存取或缓和误差传递(error propagation)而周期性插入I－图像或I－区块。帧内预测使用图片内或图片区域内的空间相关。在实做中，图片或图片区域划分为区块，并在区块基础上执行帧内预测。当前区块的帧内预测依靠已处理的相邻区块的像素。例如，若图像或图像区域中的区块按行处理，先由左至右然后再由上(top)到下(bottom)，当前区块的顶部的相邻区块及左侧的相邻区块用于形成对当前区块中的像素的帧内预测。已处理的相邻区块中的任意像素可用于当前区块中的像素的帧内预测，但经常只使用靠近当前区块的顶部边界和左侧边界的相邻区块的像素。

帧内预测器通常设计为使用图像中的空间特征，如平滑区域(smootharea)（直流DC模式）、垂直线或边缘(vertical line or edge)、水平线或边缘(horizontal line or edge)及对角线或边缘(diagonal line or edge)。此外，空间相关经常存在于亮度(Luminance,Luma)分量与色度(Chrominance,Chroma)分量之间。因此，重建的亮度像素可用于产生帧内色度预测。在高效视频编码(High Efficiency Video Coding,HEVC)的最新进展中，揭露一种基于同位(co-located)重建亮度区块的色度帧内预测方法。色度帧内预测的类型定义为LM（亮度）预测。主要的概念是使用重建的亮度像素来产生相应的色度像素的预测器。图1为预测操作的示意图。首先，图1A中的同位亮度区块的相邻的重建像素及图1B中色度区块的相邻的重建像素用于获取两个区块之间的相关参数。然后，使用这些参数及亮度区块的重建像素来产生色度区块的预测像素。在参数获取过程中，使用了当前亮度区块的顶部第一行重建像素和左侧第二列重建像素。使用亮度区块的特定行和列是为了匹配色度分量的4:2:0采样格式。

根据LM预测模式，色度数值由同位区块的重建亮度数值预测得出。色度分量的空间解析度可低于亮度分量。为了使用亮度信号用于色度帧内预测，亮度信号的解析度可能需要降低以匹配色度分量的解析度。

例如，对于4:2:0采样格式，U分量和V分量在垂直方向和水平方向上只有亮度分量采样值数目的一半。因此，需要在垂直方向和水平方向上对重建的亮度采样值使用2:1的解析度降级(resolution reduction)。解析度降级可通过下采样(down-sampling)处理或子采样(sub-sampling)处理来实现。

本说明书中的下采样处理指通过使用适当的低通滤波来进行的信号抽样(decimation)，用以在降低解析度之前减少可能的信号混叠(signalaliasing)，本领域也称为抽样。另一方面，子采样处理执行直接抽样，事先不会进行滤波。下采样处理和子采样处理均可降低采样解析度。子采样处理可能导致信号混叠，子采样处理用于某些信号处理系统中是因其简便性。对于根据LM模式的色度帧内预测，子采样处理用于水平方向，而下采样处理用于垂直方向。

在当前的HEVC系统中，参数获取总是假定基本(underlying)色度分量使用4:2:0采样格式。需要开发灵活的基于亮度的色度帧内预测，以自适应地适用其他色度采样格式。

发明内容

本发明提供一种基于亮度的色度帧内预测方法和装置，用于当前色度区块。根据色度采样格式，由当前亮度区块的重建亮度像素中获取色度帧内预测器。在根据本发明的一个实施例中，色度帧内预测方法由存储器或处理器中接收当前亮度区块的相邻重建亮度像素及当前重建亮度像素。相邻重建亮度像素包含第一组重建亮度像素与第二组重建亮度像素，其中第一组重建亮度像素位于当前亮度区块的顶部边界之上，第二组重建亮度像素位于当前亮度区块的左侧边界以左。在一实施例中，对于任意色度采样格式，第一组重建亮度像素对应于由当前亮度区块的顶部边界起的顶部以上第一行像素，以及第二组重建亮度像素对应于由当前亮度区块的左侧边界起的左侧第一列像素。然后，确定色度采样格式，编码器知晓色度采样格式，以及在解码器中，色度采样格式可由接收到的视频比特流(bitstream)中确定。然后，基于当前亮度区块的相邻重建亮度像素及当前重建亮度像素，获取相应的色度区块的色度帧内预测，其中，所述色度帧内预测的获取是根据色度采样格式。然后，色度帧内预测提供用于相应色度中色度像素的编码或解码。

根据色度采样格式，对重建亮度像素在水平或垂直方向上使用子采样、下采样或不处理。与色度采样格式有关的信息可包含于序列参数集合(Sequence Parameter Set,SPS)、图片参数集合(Picture Parameter Set,PPS)、自适应参数集合(Adaptation Parameter Set,APS)或视频比特流的片头(sliceheader)中。

附图说明

图1A为根据HM-5.0的基于重建亮度像素的色度帧内预测的获取示例示意图。

图1B为与待预测的相应的色度区块有关的色度像素及相邻色度像素的示例示意图。

图2为4:2:0采样格式的示例示意图，其中显示了参考亮度采样值的色度采样值的采样模式。

图3为4:2:2采样格式的示例示意图，其中显示了参考亮度采样值的色度采样值的采样模式。

图4为4:4:4采样格式的示例示意图，其中显示了参考亮度采样值的色度采样值的采样模式。

图5为结合本发明一实施例的基于亮度的色度帧内预测的较佳流程图。

具体实施方式

如上所述，现行的LM模式并不灵活且当色度像素不对应于4:2:0采样格式时方法无效。相应地，基于本发明的多个实施例提供了灵活的基于亮度的色度帧内预测，可自适应地支持不同色度采样格式。

在现行的HEVC中，支持几种不同的采样格式。例如，采样格式可由4:2:0、4:2:2和4:4:4中选择。在一些色度采样格式中，在水平方向上或水平和垂直方向上，色度采样值的数目为亮度采样值的数目的一半。在此情形下，色度像素的采样位置可能对齐(aligned)或偏离(offset)亮度采样值的采样位置。换言之，在相应的亮度像素和色度像素之间可能存在相位差(phasedifference)。图2为4:2:0采样格式的相位关系的示例示意图，其中在水平和垂直方向上的色度采样值为亮度采样值的一半。在水平方向上，色度采样值与亮度采样值对齐。换言之，色度采样值总是与亮度采样值同位。因此，色度采样值与亮度采样值在水平方向上具有相同的相位。然而，在垂直方向上，色度采样值位于两相邻的亮度采样值中间。换言之，色度采样值偏离亮度采样值半个垂直亮度像素的距离。因此，色度采样值在水平方向上偏离亮度采样值90°（每对亮度采样值的相位对应于360°）。图3和图4为4:2:2采样格式和4:4:4采样格式的示意图。如图3所示，4:2:2采样格式使得在垂直方向上色度采样值的数目与亮度采样值的数目相同，在水平方向上色度采样值的数目为亮度采样值的数目的一半。此外，色度采样值在水平与垂直方向上与亮度采样值均对齐。如图4所示，4:4:4采样格式使得在水平和垂直方向上色度采样值的数目与亮度采样值的数目相同。基于亮度的色度帧内预测模式（即用于色度帧内预测的色度LM模式）使用亮度像素与色度像素之间的相关。因此，亮度像素和色度像素之间的相位对齐对于色度LM模式的有效性很重要。

对于用于HEVC的4:2:0采样格式，在水平方向上亮度像素使用对应于(1/4,1/2,1/4)的滤波器进行下采样，其中子采样后的亮度像素的位置对应于色度像素的位置。另一方面，在垂直方向上亮度像素使用对应于(1/2,1/2)的滤波器进行下采样，以匹配色度像素的数目与位置。然后，使用采样减少(sample-reduced)的亮度像素用于色度LM模式的预测处理。如图1A所示，顶部以上第一行像素与左侧第二列像素用于获取相关参数。然而，对于其他采样格式，如4:2:2和4:4:4，选择采样减少的亮度像素的方法在现行的HM-5.0中并未指定。本发明的多个实施例根据色度采样格式使用自适应的色度LM模式，以更好地支持其他采样格式。

为了允许自适应的色度LM模式，根据本发明一实施例，在SPS或其他参数集合中增加了命名为“chroma_format_idc”的语法(syntax)元素，用于指示色度采样格式，其中其他参数集合例如PPS、APS和片头。对此语法元素的定义的示例如表1所示。表2所示为在SPS中结合了语法元素chroma_format_idc的语法设计的示例示意图，其中ue(v)/u(2)/u(3)表示编码方法。在本实施例中，色度采样格式可使用可变长度编码方法或固定长度编码方法进行编码，可变长度编码方法如无符号指数哥伦布编码(unsignedExp-Golomb code)（即ue(v)），固定长度编码方法如2比特或3比特编码（即u(2)或u(3)）。

表1

表2

在定义了语法元素chroma_format_idc之后，编码系统可通过使用该语法元素在比特流中传达采样格式信息。然后，自适应的色度LM模式可根据色度采样格式选择用于参数获取的亮度像素。对于每个方向，选择方法可描述如下。

若在水平或垂直方向上色度采样值位于与亮度采样值相同的相位，且数目为亮度采样值数目的一半，则在相应的水平或垂直方向上使用子采样方法以产生采样减少的亮度像素；

若在水平或垂直方向上色度采样值位于与亮度采样值相同的相位，且数目等于亮度采样值的数目，则无需在相应的水平或垂直方向上进行下采样；以及

若在水平或垂直方向上色度采样值位于两亮度采样值的中间，则在相应的水平或垂直方向上使用对应于(1/2,1/2)的滤波器以对亮度采样值进行下采样。

对于各种色度采样格式的由重建亮度采样值获取色度帧内预测的示例如下所示。在以色度LM模式进行编码的当前区块的[x,y]处获取的亮度像素P_L’[x,y]可描述如下，其中，Rec_L[x,y]为[x,y]处的重建亮度像素。

Format4:2:0

P_L'[x,y]=(Rec_L[2x-1,2y+1]+2*Rec_L[2x,2y+1]+Rec_L[2x+1,2y+1]+2)>>2,   (1)

其中x=0,…,nS-1，且y=-1，以及

P_L'[x,y]=(Rec_L[2x,2y]+Rec_L[2x,2y+1])>>1,   (2)

其中x=-1,…,nS-1，且y=0,…,nS-1。

Format4:2:2

P_L'[x,y]=(Rec_L[2x-1,2y+1]+2*Rec_L[2x,2y+1]+Rec_L[2x+1,2y+1]+2)>>2,   (3)

其中x=0,…,nS-1，且y=-1，以及

P_L'[x,y]=Rec_L[2x,y],其中x=-1,…,nS-1，且y=0,…,2*nS-1。   (4)

Format4:4:4

P_L'[x,y]=Rec_L[x,y],其中x=0,…,nS-1，且y=-1，以及   (5)

P_L'[x,y]=Rec_L[x,y],其中x=-1,…,2*nS-1，且y=0,…,2*nS-1。   (6)

可变量nS指预测尺寸。如式(1)至式(4)所描述，当色度采样格式为4:2:0与4:2:2时，使用当前亮度区块的顶部以上第一行像素与左侧第二列像素。基于式(5)和式(6)，对于4:4:4采样格式，使用当前亮度区块的顶部以上第一行像素与左侧第一列像素。对于色度采样格式对应于4:2:0采样格式，对顶部以上第一行像素使用下采样，并对左侧第二列像素使用下采样。对于色度采样格式对应于4:2:2采样格式，对顶部以上第一行像素使用子采样或下采样，并对左侧第一列像素不使用子采样或下采样。对于色度采样格式对应于4:4:4采样格式，对顶部以上第一行像素或左侧第一列像素不使用子采样或下采样。

在另一实施例中，距离当前亮度区块最近的顶部以上像素线和左侧像素线用于参数获取处理。相应地，不论色度采样格式，总是使用当前区块的顶部以上第一行像素和左侧第一列像素。为了匹配亮度采样值和色度采样值的数目，使用之前所述的根据色度采样格式的相应子采样和下采样方法。尽管色度LM模式的有效性可能受到影响，但这使得参数获取处理更加简单。

上述基于亮度的色度帧内预测方法可用于视频编码器和视频解码器。图5为结合本发明的编码器或解码器的较佳流程图。如步骤510所示，由存储器或处理器接收当前亮度区块的相邻重建亮度像素和当前重建亮度像素。相邻重建亮度像素包含第一组重建亮度像素和第二组重建亮度像素，第一组重建亮度像素位于当前亮度区块的顶部边界之上，第二组重建亮度像素位于当前亮度区块的左侧边界以左。重建亮度像素可由存储器中获取，存储器如缓冲器(buffer)的计算机存储器（RAM或DRAM）。重建亮度像素也可接收自由残差信号(residual signals)重建亮度像素的处理器，如处理单元或数字信号处理器。在视频编码器中，残差信号由编码器产生。在视频解码器中，残差信号也可由接收到的比特流中产生。在步骤520中，确定色度采样格式。编码器知晓色度采样格式。在解码器中，色度采样格式可由接收到的比特流中确定。然后，在步骤530中，基于当前亮度区块的相邻重建亮度像素及当前重建亮度像素，获取相应的色度区块的色度帧内预测器，其中色度帧内预测的获取是根据色度采样格式。然后，如步骤540所示，色度帧内预测提供用于相应色度中的色度像素的编码或解码。

如上所示流程图目的在于说明结合本发明多个实施例的用于视频编码器和解码器的基于亮度的色度帧内预测方法的示例。本领域技术人员可在不脱离本发明精神的前提下，修改每个步骤，重新安排这些步骤，分解步骤或组合步骤来实施本发明。

上述描述能够使本领域技术人员将所提供的本发明实施用于特定应用及其需求环境。本领域技术人员来清楚上述多个实施例的各种修改，此处多述基本原则可应用于其他实施例。因此，本发明并非用以限定在上述显示及描述的特定实施方式，而是可记录至符合此处所述原则及新特征的最广范围。在上述详细描述中，所示各种特定描述是为了提供对本发明的详细理解。然而，本领域技术人员当可理解本发明可如何实施。

本发明上述实施例可实施为硬件、软件代码或其组合。例如，本发明的实施例可为视频压缩芯片中所集成的电路，或用于执行此处所述处理的视频压缩软件中所集成的程序代码。本发明一实施例也可为用于执行此处所述处理的数字信号处理器(Digital Signal Process,DSP)上所执行的程序代码。本发明也可包含由电脑处理器、数字信号处理器、微处理器或场效可编程门阵列(Field Programmable Gate Array,FPGA)所执行的多个功能。这些处理器可根据本发明配置为通过执行定义了本发明所体现的特定方法的机器可读软件代码或固件代码来执行特定任务。软件代码或固件代码可使用不同的编程语言及不同的格式或类型来开发。软件代码也可符合不同的目标平台。然而，软件代码的不同的代码格式、类型及语言及配置代码以根据本发明执行任务的其他方式，均不脱离本发明的精神及范围。

本发明在不脱离发明精神或重要特征的情况下可体现为其他具体形式。上述实施例仅用于说明目的，并非用以限制。因此本发明的保护范围当视后附的权利要求所界定者为准。任何符合本发明的精神和范围内的所作的均等性改变，均落入本发明保护范围之内。

Claims (20)

1.一种色度帧内预测方法，基于重建亮度像素，所述方法包含：

由存储器或处理器接收当前亮度区块的相邻重建亮度像素及当前重建亮度像素，其中所述相邻重建亮度像素包含第一组重建亮度像素与第二组重建亮度像素，所述第一组重建亮度像素位于所述当前亮度区块的顶部边界之上，所述第二组重建亮度像素位于所述当前亮度区块的左侧边界以左；

确定色度采样格式；

基于所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素，为相应的色度区块获取色度帧内预测，其中所述色度帧内预测的获取是根据所述色度采样格式进行的；以及

为所述相应的色度中的色度像素的编码或解码提供所述色度帧内预测。

2.根据权利要求1所述的方法，其特征在于，与所述色度采样格式有关的信息包含于序列参数集合、图像参数集合、自适应参数集合或视频比特流的片头中。

3.根据权利要求1所述的方法，其特征在于，所述色度帧内预测的获取包含：若所述色度采样格式对应于与多个亮度像素对齐且在一个方向上具有所述多个亮度像素数目一半的所述色度像素，则对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素进行所述方向上的子采样。

4.根据权利要求1所述的方法，其特征在于，若所述色度采样格式对应于与多个亮度像素对齐且在一个方向上具有与所述多个亮度像素数目相同的所述色度像素，则在所述色度帧内预测的获取期间对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素不在所述方向上使用子采样或下采样。

5.根据权利要求1所述的方法，其特征在于，所述色度帧内预测的获取包含：若所述色度采样格式对应于偏离多个亮度像素且在一个方向上具有所述多个亮度像素数目一半的所述色度像素，则对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素进行所述方向上的下采样。

6.根据权利要求1所述的方法，其特征在于，对于任意色度采样格式，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素。

7.根据权利要求6所述的方法，其特征在于，根据所述色度采样格式，对由所述当前亮度区块的所述顶部边界起的所述第一行像素及由所述当前亮度区块的所述左侧边界起的所述第一列像素使用子采样或下采样。

8.根据权利要求1所述的方法，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第二列像素，以及其中，若所述色度采样格式对应于4:2:0采样格式，则对所述顶部以上第一行像素使用下采样，并对所述左侧第二列像素使用下采样。

9.根据权利要求1所述的方法，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素，以及其中，若所述色度采样格式对应于4:2:2采样格式，则对所述顶部以上第一行像素使用子采样或下采样，并对所述左侧第一列像素不使用子采样或下采样。

10.根据权利要求1所述的方法，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素，以及其中，若所述色度采样格式对应于4:4:4采样格式，对所述顶部以上第一行像素或所述左侧第一列像素不使用子采样或下采样。

11.一种色度帧内预测装置，基于重建亮度像素，所述装置包含：

由存储器或处理器接收当前亮度区块的相邻重建亮度像素及当前重建亮度像素的装置，其中所述相邻重建亮度像素包含第一组重建亮度像素与第二组重建亮度像素，所述第一组重建亮度像素位于所述当前亮度区块的顶部边界之上，所述第二组重建亮度像素位于所述当前亮度区块的左侧边界以左；

确定色度采样格式的装置；

基于所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素，为相应的色度区块获取色度帧内预测的装置，其中所述色度帧内预测的获取是根据所述色度采样格式进行的；以及

为所述相应的色度中的色度像素的编码或解码提供所述色度帧内预测的装置。

12.根据权利要求11所述的装置，其特征在于，与所述色度采样格式有关的信息包含于序列参数集合、图像参数集合、自适应参数集合或视频比特流的片头中。

13.根据权利要求11所述的装置，其特征在于，所述色度帧内预测的获取包含：若所述色度采样格式对应于与多个亮度像素对齐且在一个方向上具有所述多个亮度像素数目一半的所述色度像素，则对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素进行所述方向上的子采样。

14.根据权利要求11所述的装置，其特征在于，若所述色度采样格式对应于与多个亮度像素对齐且在一个方向上具有与所述多个亮度像素数目相同的所述色度像素，则在所述色度帧内预测的获取期间对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素不在所述方向上使用子采样或下采样。

15.根据权利要求11所述的装置，其特征在于，所述色度帧内预测的获取包含：若所述色度采样格式对应于偏离多个亮度像素且在一个方向上具有所述多个亮度像素数目一半的所述色度像素，则对所述当前亮度区块的所述相邻重建亮度像素及所述当前重建亮度像素进行所述方向上的下采样。

16.根据权利要求11所述的装置，其特征在于，对于任意色度采样格式，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素。

17.根据权利要求16所述的装置，其特征在于，根据所述色度采样格式，对由所述当前亮度区块的所述顶部边界起的所述第一行像素及由所述当前亮度区块的所述左侧边界起的所述第一列像素使用子采样或下采样。

18.根据权利要求11所述的装置，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第二列像素，以及其中，若所述色度采样格式对应于4:2:0采样格式，则对所述顶部以上第一行像素使用下采样，并对所述左侧第二列像素使用下采样。

19.根据权利要求11所述的装置，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素，以及其中，若所述色度采样格式对应于4:2:2采样格式，则对所述顶部以上第一行像素使用子采样或下采样，并对所述左侧第一列像素不使用子采样或下采样。

20.根据权利要求11所述的装置，其特征在于，所述第一组重建亮度像素对应于由所述当前亮度区块的所述顶部边界起的顶部以上第一行像素，以及所述第二组重建亮度像素对应于由所述当前亮度区块的所述左侧边界起的左侧第一列像素，以及其中，若所述色度采样格式对应于4:4:4采样格式，对所述顶部以上第一行像素或所述左侧第一列像素不使用子采样或下采样。