CN104104959B - 深度图像帧内预测方法及装置 - Google Patents

Abstract

本发明公开了一种深度图像帧内预测方法及装置，其中方法包括：当分割线段为当前预测单元左下至右上方向的对角线、或所述分割线段的两个端点位于所述对角线的右下方时，确定所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点，所述分割线段用于将当前预测单元分割为左上方和右下方两个预测区域；根据所述交点处相邻像素点的可用性，对当前预测单元右下方预测区域中像素点的值进行预测。本发明与现有技术中单纯采用像素点取值范围的中间值对当前预测单元右下方预测区域中像素点的值进行预测的方案相比，充分利用当前预测单元的相邻像素点的值对当前预测单元右下方预测区域中像素点的值进行预测，提高了深度图像帧内预测的准确性。

Description

深度图像帧内预测方法及装置

技术领域

本发明涉及3D视频编解码和多视角视频编解码技术领域，尤其涉及深度图像帧内预测方法及装置。

背景技术

在3D-HEVC（3D High Efficiency Video Coding，基于高效视频编码的三维视频压缩）标准中，深度图像帧内编解码包含4种深度模型模式。在其中的三种深度模型模式，每个深度（depth）预测单元（PU）被一条线段划分成两部分（Wedgelet划分）。图1为现有技术中Wedgelet预测方法中预测单元的划分方式示意图，如图1所示，在线段上方的像素点为一个区域，线段下方的像素点为另一个区域。对于划分出来的两个区域，每个区域中的所有像素点用一个值进行预测。线段的起点和终点可以在预测单元四条边的任意一条边上。

在上述Wedgelet深度模型模式中，两个区域的预测值由当前预测单元左侧和上方的相邻像素值得到。图2为现有技术中Wedgelet预测方法中预测单元的预测值生成方法示意图，如图2所示，相邻像素点也被分为2个区域（也可能是1个区域），划分方式是：如果一个相邻像素点在当前预测单元中的最近像素点属于区域1，那么该相邻像素点也属于区域1；否则，该相邻像素点属于区域2。属于区域1的相邻像素点的均值被用来预测当前预测单元中区域1中像素点的值，属于区域2的相邻像素点的均值被用来预测当前预测单元中区域2中像素点的值。如果所有相邻像素点属于同一个区域，比如属于区域1，则当前预测单元的区域2没有相邻像素点。这种情况下，区域2中的像素点用像素点取值范围的中间值进行预测，比如，如果像素点的取值范围为0～255，那么用128来预测区域2中像素点的值。

图3为现有技术中Wedgelet预测方法中预测单元中只有一个区域有相邻像素点的情况示意图。如图3所示，对于上述方法，当分割线段是当前预测单元左下至右上方向的对角线或位于该对角线的右下方时，只有左上方区域有相邻像素点，而右下方区域没有相邻像素点，此时只能使用一个固定的常数（像素点取值范围的中间值）预测右下方区域的均值，而这种预测往往并不准确。

发明内容

本发明实施例提供一种深度图像帧内预测方法，用以提高深度图像帧内预测的准确性，该深度图像帧内预测方法包括：

当分割线段为当前预测单元左下至右上方向的对角线、或所述分割线段的两个端点位于所述对角线的右下方时，确定所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点，所述分割线段用于将当前预测单元分割为左上方和右下方两个预测区域；

根据所述交点处相邻像素点的可用性，对当前预测单元右下方预测区域中像素点的值进行预测。

本发明实施例还提供一种深度图像帧内预测装置，用以提高深度图像帧内预测的准确性，该深度图像帧内预测装置包括：

确定模块，用于当分割线段为当前预测单元左下至右上方向的对角线、或所述分割线段的两个端点位于所述对角线的右下方时，确定所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点，所述分割线段用于将当前预测单元分割为左上方和右下方两个预测区域；

预测模块，用于根据所述交点处相邻像素点的可用性，对当前预测单元右下方预测区域中像素点的值进行预测。

本发明实施例中，当分割线段为当前预测单元左下至右上方向的对角线、或所述分割线段的两个端点位于所述对角线的右下方时，确定所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点，所述分割线段用于将当前预测单元分割为左上方和右下方两个预测区域；根据所述交点处相邻像素点的可用性，对当前预测单元右下方预测区域中像素点的值进行预测；与现有技术中单纯采用像素点取值范围的中间值对当前预测单元右下方预测区域中像素点的值进行预测的方案相比，充分利用当前预测单元的相邻像素点的值对当前预测单元右下方预测区域中像素点的值进行预测，大大提高了深度图像帧内预测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为现有技术中Wedgelet预测方法中预测单元的划分方式示意图；

图2为现有技术中Wedgelet预测方法中预测单元的预测值生成方法示意图；

图3为现有技术中Wedgelet预测方法中预测单元中只有一个区域有相邻像素点的情况示意图；

图4为本发明实施例中深度图像帧内预测方法的处理流程图；

图5为本发明实施例中确定分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点的示意图；

图6为本发明实施例中深度图像帧内预测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

为了提高深度图像帧内预测的准确性，本发明实施例对现有技术中的深度图像帧内预测进行了改进。具体的，本发明实施例中首先提供一种深度图像帧内预测方法。图4为本发明实施例中深度图像帧内预测方法的处理流程图。如图4所示，本发明实施例中深度图像帧内预测方法可以包括：

步骤401、当分割线段为当前预测单元左下至右上方向的对角线、或所述分割线段的两个端点位于所述对角线的右下方时，确定所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点，所述分割线段用于将当前预测单元分割为左上方和右下方两个预测区域；

步骤402、根据所述交点处相邻像素点的可用性，对当前预测单元右下方预测区域中像素点的值进行预测。

由于本发明实施例的深度图像帧内预测方法中，充分利用当前预测单元的相邻像素点的值对当前预测单元右下方预测区域中像素点的值进行预测，从而大大提高了深度图像帧内预测的准确性。

具体实施时，先确定分割线段在当前预测单元中的位置，当分割线段为当前预测单元左下至右上方向的对角线、或分割线段的两个端点位于该对角线的右下方（即分割线段全部位于该对角线的右下方）时，确定分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点。具体的，可以将分割线段向左下方延长，确定左下方延长线与当前预测单元左下侧相邻像素点的交点；将分割线段向右上方延长，确定右上方延长线与当前预测单元右上方相邻像素点的交点。

图5为本发明实施例中确定分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点的示意图。如图5所示，当分割线段是当前预测单元左下至右上方向的对角线或位于该对角线的右下方时，将分割线段向左下方和右上方两个方向延长，使分割线段与左下侧相邻像素点和右上方相邻像素点相交。

具体实施时，在确定分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点之后，根据交点处相邻像素点的可用性，对当前预测单元右下方预测区域中像素点的值进行预测。具体的，在交点处相邻像素点同时满足如下三个条件时，可以确定该相邻像素点可用：

1、该相邻像素点已经编码或解码；

2、该相邻像素点与当前预测单元位于同一个条带（slice）；

3、该相邻像素点与当前预测单元位于同一个并行处理单元（tile）中。

具体的预测过程可以分为三种情况：

1、若所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的两个交点处的相邻像素点均可用，则采用所述两个交点处的相邻像素点的均值对当前预测单元右下方预测区域中像素点的值进行预测；

2、若所述两个交点处的相邻像素点其中之一可用，则采用可用的交点处的相邻像素点的值对当前预测单元右下方预测区域中像素点的值进行预测；

3、若所述两个交点处的相邻像素点均不可用，则采用像素点取值范围的中间值对当前预测单元右下方预测区域中像素点的值进行预测。

如图5所示，实施时，如果两个交点处的相邻像素点都可用，则使用这两个像素点的均值来预测当前预测单元右下方区域的值；如果只有一个交点处的相邻像素点可用，则用该像素点的值预测当前预测单元右下方区域的值；否则，如果两个交点处的相邻像素点都不可用，则用像素点取值范围的中间值预测当前预测单元右下方区域的值。

实施时可以记分割线段的起点坐标为(Xs,Ys)，终点坐标为(Xe,Ye)，当前预测单元的宽度为W，deltax=Xe–Xs,deltay=|Ye–Ys|,detlaerr=deltay/deltax，并且记左下方交点的坐标为(BLXs,BLYs)，右上方交点的坐标为(ARXe,ARYe)。其中，坐标的第一个分量为当前像素点相对于当前预测单元左上角像素位置的水平偏移量，第二个分量为当前像素点相对于当前预测单元左上角像素位置的垂直偏移量。分割线段在左下方、右上方与左下侧邻居、右上方邻居交点的坐标分别如下计算：

1、BLXs=-1;ARYe=-1;

2、BLYs和ARXe的计算需要通过如下四个步骤得到：

1）如果deltay>0并且deltax>0，

BLYs=floor(W-1+Xe*deltaerr+0.5);

ARXe=floor(W-1+Ye/deltaerr+0.5);

2）否则，如果deltay等于0

BLYs=W–1;

ARXe=NOT_VALID;

3）否则，如果deltax等于0

BLYs=NOT_VALID;

ARXe=W–1;

4）对于BLYs和ARXe

如果BLY_s大于2*W-1，则将BLY_s设置为2*W-1。如果ARXe大于2*W-1，则将ARXe设置为2*W-1。

其中，上述floor()函数，当输入参数为x时，用来计算小于等于x并且与x的差最小的整数。如果某个交点的任一分量标记为NOT_VALID，则表示该交点处的相邻像素点不可用。

基于同一发明构思，本发明实施例中还提供了一种深度图像帧内预测装置，如下面的实施例所述。由于深度图像帧内预测装置解决问题的原理与深度图像帧内预测方法相似，因此深度图像帧内预测装置的实施可以参见深度图像帧内预测方法的实施，重复之处不再赘述。

图6为本发明实施例中深度图像帧内预测装置的结构示意图。如图6所示，本发明实施例中深度图像帧内预测装置可以包括：

确定模块601，用于当分割线段为当前预测单元左下至右上方向的对角线、或所述分割线段的两个端点位于所述对角线的右下方时，确定所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点，所述分割线段用于将当前预测单元分割为左上方和右下方两个预测区域；

预测模块602，用于根据所述交点处相邻像素点的可用性，对当前预测单元右下方预测区域中像素点的值进行预测。

具体实施时，所述确定模块601具体可以用于：

将所述分割线段向左下方延长，确定左下方延长线与当前预测单元左下侧相邻像素点的交点；

将所述分割线段向右上方延长，确定右上方延长线与当前预测单元右上方相邻像素点的交点。

具体实施时，所述预测模块602具体可以用于：

若所述交点处相邻像素点已编码或解码、且与当前预测单元位于同一条带和同一并行处理单元中，则确定所述交点处相邻像素点可用。

具体实施时，所述预测模块602具体可以用于：

若所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的两个交点处的相邻像素点均可用，则采用所述两个交点处的相邻像素点的均值对当前预测单元右下方预测区域中像素点的值进行预测；

若所述两个交点处的相邻像素点其中之一可用，则采用可用的交点处的相邻像素点的值对当前预测单元右下方预测区域中像素点的值进行预测；

若所述两个交点处的相邻像素点均不可用，则采用像素点取值范围的中间值对当前预测单元右下方预测区域中像素点的值进行预测。

综上所述，本发明实施例中，当分割线段为当前预测单元左下至右上方向的对角线、或所述分割线段的两个端点位于所述对角线的右下方时，确定所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点，所述分割线段用于将当前预测单元分割为左上方和右下方两个预测区域；根据所述交点处相邻像素点的可用性，对当前预测单元右下方预测区域中像素点的值进行预测；与现有技术中单纯采用像素点取值范围的中间值对当前预测单元右下方预测区域中像素点的值进行预测的方案相比，充分利用当前预测单元的相邻像素点的值对当前预测单元右下方预测区域中像素点的值进行预测，大大提高了深度图像帧内预测的准确性。

本发明实施例可应用于3D视频编解码和多视角视频编解码，具体可应用在3D-HEVC中深度图像的帧内模式编解码中。

将本发明实施例集成到HTM-6.0（HTM:3DHigh efficiency video coding TestModel）进行测试，实验结果表明，在通用测试条件下，本发明实施例可以平均提高编码效率达-0.1%。

本发明应用实例实验结果如下表1所示。共测试了7个标准测试序列，包括分辨率为1024×768的序列：气球(Balloons)，剑道（kendo），色彩纠正后的报纸（Newspaper_CC）,以及分辨率为1920x1088的序列：幽灵镇飞行（GT_Fly），波兹南大厅（Poznan_Hall2），波兹南街道（Poznan_Street），舞者（Undo_Dancer）。这些测试序列都包括三个视角的视频及相应的三个视角的深度信息。为了衡量深度图像的编码性能，表1中列出了合成视点峰值信噪比相对于总码率的变化（由于深度图像不是直接用来观看，而是用来合成虚拟视点的，因此通过合成视点的峰值信噪比来衡量深度图像的压缩效果）。列表中，-x.x%表示压缩比提高了x.x%，x.x%表示压缩比降低了x.x%。可以看出，本发明实施例可以提高0.1%的压缩比。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种深度图像帧内预测方法，其特征在于，包括：

当分割线段为当前预测单元左下至右上方向的对角线、或所述分割线段的两个端点位于所述对角线的右下方时，确定所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点，所述分割线段用于将当前预测单元分割为左上方和右下方两个预测区域；

根据所述交点处相邻像素点的可用性，对当前预测单元右下方预测区域中像素点的值进行预测，其中包括：若所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的两个交点处的相邻像素点均可用，则采用所述两个交点处的相邻像素点的均值对当前预测单元右下方预测区域中像素点的值进行预测；若所述两个交点处的相邻像素点其中之一可用，则采用可用的交点处的相邻像素点的值对当前预测单元右下方预测区域中像素点的值进行预测；若所述两个交点处的相邻像素点均不可用，则采用像素点取值范围的中间值对当前预测单元右下方预测区域中像素点的值进行预测。

2.如权利要求1所述的深度图像帧内预测方法，其特征在于，确定所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点，包括：

将所述分割线段向左下方延长，确定左下方延长线与当前预测单元左下侧相邻像素点的交点；

将所述分割线段向右上方延长，确定右上方延长线与当前预测单元右上方相邻像素点的交点。

3.如权利要求1所述的深度图像帧内预测方法，其特征在于，根据所述交点处相邻像素点的可用性，对当前预测单元右下方预测区域中像素点的值进行预测，包括：

若所述交点处相邻像素点已编码或解码、且与当前预测单元位于同一条带和同一并行处理单元中，则确定所述交点处相邻像素点可用。

4.一种深度图像帧内预测装置，其特征在于，包括：

确定模块，用于当分割线段为当前预测单元左下至右上方向的对角线、或所述分割线段的两个端点位于所述对角线的右下方时，确定所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的交点，所述分割线段用于将当前预测单元分割为左上方和右下方两个预测区域；

预测模块，用于根据所述交点处相邻像素点的可用性，对当前预测单元右下方预测区域中像素点的值进行预测，其中包括：若所述分割线段所在直线与当前预测单元左下侧和右上方相邻像素点的两个交点处的相邻像素点均可用，则采用所述两个交点处的相邻像素点的均值对当前预测单元右下方预测区域中像素点的值进行预测；若所述两个交点处的相邻像素点其中之一可用，则采用可用的交点处的相邻像素点的值对当前预测单元右下方预测区域中像素点的值进行预测；若所述两个交点处的相邻像素点均不可用，则采用像素点取值范围的中间值对当前预测单元右下方预测区域中像素点的值进行预测。

5.如权利要求4所述的深度图像帧内预测装置，其特征在于，所述确定模块具体用于：

将所述分割线段向左下方延长，确定左下方延长线与当前预测单元左下侧相邻像素点的交点；

将所述分割线段向右上方延长，确定右上方延长线与当前预测单元右上方相邻像素点的交点。

6.如权利要求4所述的深度图像帧内预测装置，其特征在于，所述预测模块具体用于：

若所述交点处相邻像素点已编码或解码、且与当前预测单元位于同一条带和同一并行处理单元中，则确定所述交点处相邻像素点可用。