CN104284194B - 利用视图合成预测编码或解码三维或多视图视频的方法以及装置 - Google Patents

Abstract

本发明提出一种利用视图合成预测编码或解码三维或者多视图视频的方法以及装置。其中，上述利用视图合成预测编码或解码三维或者多视图视频的方法包括接收与相关视图中的当前纹理区块有关的输入数据，利用取得视差向量定位与上述前纹理区块有关的参考视图中的深度区块；利用上述深度区块取得上述前纹理区块的单一分区决定；根据上述单一分区决定将上述当前纹理区块的每个上述分区区块分割为多种子区块。本发明提供的利用视图合成预测编码或解码三维或多视图视频的方法以及装置可有效地降低分区复杂度，提供规则的存储器存取。

Description

利用视图合成预测编码或解码三维或多视图视频的方法以及 装置

技术领域

本发明有关于一种三维视频编码，以及特别有关于一种三维编码系统中视图合成预测(view synthesis prediction,VSP)的优化方法。

背景技术

三维(three-dimensional,3D)立体电视为近几年科技发展的趋势，其目的为带给观众惊艳的视觉体验。目前已开发各种技术用以致能3D立体视图，且多重视图视频为3D立体电视主要技术。由于所有摄影机从不同视图捕捉同一场景，因此多重视图视频包括大量的视图冗余。而为了利用视图冗余，3D编码工具，例如视图合成预测已被整合至常用的3D高效率视频编码(High Efficiency Video Coding,HEVC)或者3D高阶编码(Advanced VideoCoding,AVG)。

图1说明了3D高效率视频编码测试模组(3D-HEVC Test Model,3DV-HTM)中VSP的基本概念。视图合成预测定位参考视图的重构深度数据(reconstructed depth data)，并将其作为当前预测单元(prediction unit,PU)的虚拟深度。相邻区块视差向量(Neighboring Block Disparity Vector,NBDV)用于定位重构深度数据。在图1中，对相关纹理图像(dependent texture picture)110中的当前预测单元112进行编码。确认相邻区块的视差向量130，其中视差向量130指向参考深度图像120中的区块124。接着，当前预测单元利用视差向量130’定位参考深度图像120中所对应的参考深度区块122。参考深度区块122用于作为当前预测单元112的虚拟深度区块。接着，根据预测单元中每个8x8分区的虚拟深度所取得的视差向量产生预测信号。从虚拟深度区块所取得的视差值用于定位参考纹理图像中所对应的参考样本。举例来说，当前纹理区块112中的三个样本根据各自的视差向量(如箭头150a-c所示)映射至参考纹理图像140中的三个样本。映射过程称为逆向映射(backward warping)。

Shimizu揭露视图合成预测的自适应区块分割方法(题目为Adaptive blockpartitioning for VSP发表于在联合合作小组有关ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的3D视频编码扩展的第5次会议:维也纳,奥地利,2013年7月27日-8月2日,档案号:JCT3V-E0207)。在JCT3V-E0207中，如图2所示，32x32的预测单元中每个8x8的区块可单独分割为两个8x4的分区或者两个4x8的分区。预测单元中每个8x8的区块根据下列算式引发判断过程以选取8x4的分区或者4x8的分区：

If(vdepth[TL]<vdepth[BR]？0:1)^(vdepth[TR]<vdepth[BL]？0:1),

使用4x8partition；

Else,

使用8x4partition,

其中，vdepth[TL]、vdepth[BR]、vdepth[TR]以及vdepth[BL]对应至每个8x8深度区块的深度样本的四个角落(分别为左上、左下、右上以及右下)。将左上的深度值与右下的深度样本进行比较(即(vdepth[TL]<vdepth[BR]？0:1))。若vdepth[TL]小于vdepth[BR]，其结果为”0”，反之，则结果为”1”。相同地，将右上的深度值与左下的深度样本进行比较(即(vdepth[TR]<vdepth[BL]？0:1))。若vdepth[TR]小于vdepth[BL]，其结果为”0”，反之，则结果为”1”。若两个结果并不相同，则使用4x8的分区。反之，则使用8x4的分区。如前述的测试过程所示，两个比较结果必须通过一个互斥或(Exclusive-Or)以及测试以取得”0”或”1”的最终值。

Shimizu所提出的自适应区块分割有两个问题。第一个问题为一个较大的预测单元必须引发许多次判断程序。举例来说，若预测单元的尺寸为64x64，则判断程序将被引发64次。第二个问题为预测单元的存储器存取方法并不规则，这对平行处理而言并不友善。

因此，需要开发一种可自适应地选取区块尺寸的自适应区块分割方法，以提高非自适应系统的效能并维持正常的存储器存取。

发明内容

有鉴于此，本发明提供一种利用视图合成预测编码或解码三维或者多视图视频的方法及装置。

本发明提供一种利用视图合成预测编码或解码三维或多视图视频的方法，步骤包括：接收与相关视图中的当前纹理区块有关的输入数据，其中上述当前纹理区块包括多种分区区块；利用取得视差向量定位与上述前纹理区块有关的参考视图中的深度区块；利用上述深度区块取得上述前纹理区块的单一分区决定；根据上述单一分区决定将上述当前纹理区块的每个上述分区区块分割为多种子区块；以及对于每个上述子区块，根据上述深度区块决定对应视差向量；利用上述对应视差向量定位上述参考视图中的预测数据；以及利用上述预测数据向每个上述子区块提供视图间编码或解码。

本发明还提供一种利用视图合成预测编码或解码三维或多视图视频的装置，其中上述装置具有一或多个电子电路，上述一或多个电子电路用于：接收与相关视图中的当前纹理区块有关的输入数据，其中上述当前纹理区块包括多种分区区块；利用取得视差向量定位与上述前纹理区块有关的参考视图中的深度区块；利用上述深度区块取得上述前纹理区块的单一分区决定；根据上述单一分区决定将上述当前纹理区块之每个上述分区区块分割为多种子区块；以及对每个上述子区块根据上述深度区块决定对应视差向量；利用上述对应视差向量定位上述参考视图中的预测数据；以及利用上述预测数据每个上述子区块提供视图间编码或解码。

本发明提供的利用视图合成预测编码或解码三维或者多视图视频的方法以及装置可有效地降低分区复杂度，提供规则的存储器存取。

附图说明

图1为显示视图合成预测流程的示意图，其中定位参考图像中的深度区块以及使用深度值定位用于视图间预测的使用逆向映射的参考视图中的参考样本；

图2为显示根据现有技术根据个别分区决定以分割预测单元中每个8x8区块的范例示意图；

图3为显示根据本发明一个实施例所述根据单一分区决定以分割预测单元中每个8x8区块的范例示意图；

图4为显示视图合成预测中利用四个角落深度样本以分割单一分区决定的范例示意图；以及

图5为根据本发明的实施例所述结合子区块的视图合成预测过程的编码系统的示范流程图。

具体实施方式

下列的说明为本发明最佳实施例。用于描述本发明的通则但并非用于限制本发明范围。本发明的保护范围当视后附的权利要求所界定者为准。

如前所述，Shimizu所揭露的自适应区块分割对较大的预测单元尺寸具有复杂度高以及不规则的存储器存取的问题。因此，本发明提供一种决定预测单元的视图合成预测的分区方法。图3为显示根据本发明一个实施例所述根据单一分区决定以统一分割整个预测单元的示意图。于一个范例中，尺寸为32x32的预测单元的8x8的区块皆分割为8x4的子区块(如图3左侧图所示)或者4x8的子区块(如图3右侧图所示)。为了方便起见，被分割的每个单元区块于本发明中称为“分区区块”。因此，前述范例中每个8x8区块称为“分区区块”。本发明亦适用不同尺寸的分区区块。举例来说，分区区块的尺寸亦可为32x32或者16x16。根据分区区块的尺寸，可将分区区块分割为尺寸为8x4以及4x8的子区块。举例来说，当分区区块的尺寸为32x32时，可将分区区块水平分割为尺寸为32x16、32x8(即每个分区区块具有4个子区块)以及32x4(即每个分区区块具有8个子区块)的子区块。当分区区块的尺寸为16x16时，可水平分割为尺寸为16x8以及16x4(即每个分区区块具有4个子区块)的子区块。对垂直分割而言，尺寸为32x32的分区区块可分割为16x32、8x32(即每个分区区块具有4个子区块)以及4x32(即每个分区区块具有8个子区块)的子区块。尺寸为16x16的分区区块可分割为8x16以及4x16(即每个分区区块具有4个子区块)。

根据本发明一个实施例，单一分区决定用于决定整个预测单元PU或者整个编码单元，而非用于每个分区区块。这将明显地减少与分区决定有关的操作需求。单一分区决定由虚拟深度决定。根据本发明的一个实施例，根据下列步骤执行视图合成预测的预测单元分割：

首先，利用相邻区块并根据相邻区块视差向量(NBDV)程序取得当前预测单元的视差向量。

利用相邻区块视差向量从参考视图的重构深度取得对应于当前预测单元的虚拟深度。

决定对应于当前预测单元的四个角落的虚拟深度，其中如图4所示16x32的预测单元，四个角落称为refDepPels[LT]、refDepPels[RB]、refDepPels[RT]以及refDepPels[LB]。

决定水平分割标志horSplitFlag，horSplitFlag＝((refDepPels[LT]>refDepPels[RB])＝＝(refDepPels[RT]>refDepPels[LB]))。当(refDepPels[LT]>refDepPels[RB])以及(refDepPels[RT]>refDepPels[LB])皆为是或非时，水平分割标志horSplitFlag的值为”1”，反之，则水平分割标志horSplitFlag值为”0”。

根据水平分割标志horSplitFlag将当前预测单元分割为WxH的子区块，其中W对应至子区块的宽度以及H对应至子区块的高度。W等于8>>(1-horSplitFlag)以及H等于8>>horSplitFlag。若水平分割标志horSplitFlag等于1，则如图4左侧所示，8x8区块的分割线以水平方向将其分割为8x4的子区块。反之，8x8区块的分割线以垂直方向将其分割为4x8的子区块。在此所示的特定W以及H作为子区块分割的范例。本发明亦适用尺寸大于8x8的分区区块。除此之外，前述的范例仅将每个分区区块水平或垂直分割为两个子区块。本发明亦可将分区区块分割为两个以上的子区块。举例来说，分区区块可根据单一分区决定被水平或垂直分割为四个或八个子区块。

最后，对每个WxH的子区块而言，视图合成预测进行下列步骤：

将取得的虚拟深度转换为对应的视差向量；

利用视差向量取得参考视图中的预测数据；

利用从视图合成预测取得的预测数据编码或解码当前预测单元。

在前述之范例中，第一测试判断refDepPels[LT]是否大于refDepPels[RB]，以及第二测试判断refDepPels[RT]是否大于refDepPels[LB]。本领域技术人员在不脱离本发明精神的前提下可利用其他类似的测试实现本发明。举例来说，可利用”小于”、”不小于”、”不大于”等取代测试中的”大于”以达到相同效果。除此之外，本领域技术人员亦可根据类似的测试利用虚拟分割标志(verSplitFlag)实现本发明。

在前述的范例中，根据四个角落深度样本决定单一分区决定。然而，本发明亦可使用深度区块的其他深度样本。举例来说，亦可利用四个中央深度样本取得单一分区决定。深度区块的左侧以及右侧的中央深度样本可决定两个中央深度样本。而深度区块的上侧以及下侧的中央深度样本可决定另外两个中央深度样本。于此情况下，上下绝对差值UDD为上侧的中心深度样本以及下侧的中心深度样本的绝对差值，以及左右绝对差值LRD为左侧的中心深度样本以及右侧的中心深度样本的绝对差值。若上下绝对差值UDD大于左右绝对差值LRD，单一分区决定具有第一值。于此情况下，每个分区区块可被分割为子区块的宽度大于子区块的高度的子区块。反之，单一分区区块具有第二值。在此情况下，每个分区区块可被分割为子区块的宽度小于子区块的高度的子区块。

根据本发明一个实施例所述的预测单元分割(标示为“Uniform”)的操作需求相较常规方法(标示为“Anchor”)明显较低。表1叙述不同尺寸的预测单元间的比较结果。预测单元分割操作需求包括比较(Comp.)、互斥或(XOR)以及测试值是否为0(Test Zero)。如表1所示，特别对具有较大尺寸的预测单元而言，操作需求明显地降低。

表1

除此之外，由于整个预测单元的分区区块皆相同，因此没有必要发送各个区块标志给每个8x8之区块。因此，可明显地降低与区块标志有关之位元率。表2叙述与本发明一个实施例所述的预测单元分割(标示为“Uniform”)结合的系统以及与常规方法(标示为“Anchor”)结合的系统间的比较结果。

区块标志	Anchor	Uniform
			预测单元尺寸	Num.	Num.
64x64	64	1
			64x32	32	1
32x64	32	1
			32x32	16	1
32x16	8	1
			16x32	8	1
16x16	4	1
			16x8	2	1
8x16	2	1
			8x8	1	1
8x4	0	0
			4x8	0	0

表2

在一些实施例中，视图合成预测类型标志将以序列、视图、图像或者片面的方式传送以指示使用本发明所述的相同预测单元分区或者使用具有个别分区决定的常规预测单元分区。当标志确定时，根据单一分区决定将当前纹理区块的分区区块分割为多种子区块。当标志未确定时，根据个别分区决定将每个当前纹理区块的分区区块分割为多种子区块。

如前所述，本发明的目的是降低复杂性以及缓解由视图合成预测的常规8x8预测单元分割所造成的不规则存储器存取。表3显示根据本发明一个实施例所述的相同预测单元分割结合三维视频编码系统与常规系统的效能比较结果，其中常规系统的每个8x8区块的分割为独立执行以及其结果为单独取得。效能比较基于第一行所列不同组的测试数据。BD率的差异显示纹理视图中视图1(视频1)以及视图2(视频2)的差异。BD率为负值代表本发明具有较佳的效能。具有视频位元率的编码视频峰值信噪比、具有总位元率的编码视频峰值信噪比(纹理位元率以及深度位元率)以及具有总位元率的合成视频峰值信噪比的BD率量测亦显示于表3中。如表3所示，相较于常规系统，本发明所述的方法并无效能损耗。事实上，更具有一些微小的效能提升。同时亦比较处理时间(编码时间、解码时间以及渲染时间)。如表3所示，处理时间亦略有改善。因此，根据本发明一个实施例所述的利用相同预测单元分割作视图合成预测的系统相较于常规系统并无效能损耗，同时降低计算的复杂性以及提供规则的存储器存取。

表3

图5为根据本发明的一个实施例所述结合子区块的视图合成预测过程的编码系统的示例流程图。在步骤510中，系统接收到与相关视图(dependent view)中的当前纹理区块有关的输入数据，其中当前纹理区块包括多种分区区块。在编码时，对应至编码纹理数据的输入数据进行编码。输入数据可从存储器(例如电脑存储器、缓存(RAM或者DRAM)或者其它媒体)或者取自处理器提取。在步骤520中，利用取得的视差向量DV定位对应于当前纹理区块的参考视图中的深度区块。在步骤530中，利用深度区块取得当前纹理区块的单一分区决定。在步骤540中，根据单一分区决定将每个当前纹理区块的分区区块分割为多个子区块。接着，每个子区块利用包含步骤560至步骤590的循环所示的视图合成预测程序进行编码或解码。通过回到步骤550所示的选择第一子区块以初始化视图合成预测程序的循环。具体地，在步骤560中，根据深度区块决定对应的DV。在步骤570中，利用对应的DV定位参考视图中的预测数据。在步骤580中，利用预测数据对所述的每个子区块运用视图间编码或解码。而在步骤590中，判断该区块是否为当前纹理区块中的最后一个子区块以决定是否再次循环至步骤560或结束流程。

如前所述的流程图用于描述根据本发明的一个实施例所述具有相同分区的三维或者多视图编码的范例。本领域技术人员在不脱离本发明的精神以及范围内，当可调整每个步骤、重新安排步骤、拆解步骤或者结合步骤以实现本发明。

上述的叙述以足够的细节叙述使本领域技术人员能藉由上述的描述实施本发明所揭露的系统以及方法。对本领域技术人员而言，对上述实施例的各种修改为显而易见的，以及本发明所定义的原理亦可应用于其它实施例中。因此，前述的实施例并非用于限定本发明范围，但符合本发明所揭露的原理以及新颖特征的最大范围。在上述的详细描述中，所描述的各种特定细节用于彻底理解本发明。然而，本领域技术人员皆可理解并实施上述特定细节。

前述本发明的示范实施例可透过各种硬件、软件件编码或者两者的结合实现。举例来说，本发明一个实施例可为嵌入于视频压缩晶片中的电路或者嵌入于视频压缩软件之程式编码以执行本发明所述之程序。本发明一实施例亦可为数位信号处理器所执行之程式编码以执行本发明所述之程序。本发明亦可包括由电脑处理器、数位信号处理器、微处理器或者现场可编辑逻辑闸阵列(field programmable gate array,FPGA)所执行之复数功能。上述之处理器系透过定义本发明之特定方法之电脑可读取软件编码或者韧体编码执行特定任务。软件编码或者韧体编码可为不同之程式语言以及不同之格式或者类型。亦可对不同之目标平台编译软件编码。无论如何，根据本发明之软件编码的不同编码格式、类型以及语言以及用于执行任务的其它配置编码将不脱离本发明的精神以及范围。

在不脱离本发明的精神以及范围内，本发明可以其它特定格式呈现。所描述的实施例在所有方面仅用于说明的目的而并非用于限制本发明。本发明的保护范围当视后附的权利要求所界定者为准。本领域技术人员皆在不脱离本发明之精神以及范围内做些许更动与润饰。

Claims (18)

1.一种利用视图合成预测编码或解码三维或多视图视频的方法，步骤包括：

接收与相关视图中的当前纹理区块有关的输入数据，其中上述当前纹理区块包括多种分区区块；

利用取得视差向量定位与上述当前纹理区块有关的参考视图中的深度区块；

利用上述深度区块取得上述当前纹理区块的单一分区决定，其中，利用上述深度区块的四个深度样本取得上述当前纹理区块的上述单一分区决定，其中上述四个深度样本对应至左上深度样本、右下深度样本、右上深度样本以及左下深度样本；

根据上述单一分区决定将上述当前纹理区块的每个上述分区区块分割为多种子区块；以及

对于每个上述子区块，根据上述深度区块决定对应视差向量；利用上述对应视差向量定位上述参考视图中的预测数据；以及利用上述预测数据向每个上述子区块提供视图间编码或解码。

2.如权利要求1所述的利用视图合成预测编码或解码三维或多视图视频的方法，其特征在于，根据上述单一分区决定将每个上述分区区块水平或垂直分割为上述多种子区块。

3.如权利要求1所述的利用视图合成预测编码或解码三维或多视图视频的方法，其特征在于，上述多种子区块具有相同的尺寸，其中，当上述单一分区决定具有第一值时，每个上述子区块的子区块的宽度大于子区块的高度；以及当上述单一分区决定具有第二值时，每个上述子区块的子区块的宽度小于子区块的高度。

4.如权利要求1所述的利用视图合成预测编码或解码三维或多视图视频的方法，其特征在于：

当上述单一分区决定具有第一值时，将每个上述分区区块水平分割为上述多种子区块；以及

当上述单一分区决定具有第二值时，将每个上述分区区块垂直分割为上述多种子区块。

5.如权利要求1所述的利用视图合成预测编码或解码三维或多视图视频的方法，其特征在于，执行第一测试以判断上述左上深度样本是否大于上述右下深度样本，以及执行第二测试以判断上述右上深度样本是否大于上述左下深度样本。

6.如权利要求5所述的利用视图合成预测编码或解码三维或多视图视频的方法，其特征在于：

当上述第一测试与上述第二测试具有相同的结果时，上述单一分区决定具有第一值；以及

当上述第一测试与上述第二测试具有不同的结果时，上述单一分区决定具有第二值。

7.如权利要求1所述的利用视图合成预测编码或解码三维或多视图视频的方法，其特征在于，利用上述深度区块的四个中央深度样本取得上述当前纹理区块的上述单一分区决定，其中上述四个中央深度样本由上述深度区块的左侧深度样本、右侧深度样本、上侧深度样本以及下侧深度样本所决定。

8.如权利要求7所述的利用视图合成预测编码或解码三维或多视图视频的方法，其特征在于，计算上下绝对差值以及左右绝对差值，上述上下绝对差值对应至上侧深度样本以及上述下侧深度样本的绝对差值，以及上述左右绝对差值对应至左侧深度样本以及上述右侧深度样本的绝对差值。

9.如权利要求8所述的利用视图合成预测编码或解码三维或多视图视频的方法，其特征在于：

当上下绝对差值大于左右绝对差值时，上述单一分区决定具有第一值；以及

当上下绝对差值小于左右绝对差值时，上述单一分区决定具有一第二值。

10.如权利要求1所述的利用视图合成预测编码或解码三维或多视图视频的方法，其特征在于，上述当前纹理区块对应至纹理预测单元或纹理编码单元。

11.如权利要求1所述的利用视图合成预测编码或解码三维或多视图视频的方法，其特征在于，上述当前纹理区块具有选择自第一群组的第一区块尺寸，上述第一群组包括64x64、64x32、32x64、32x32、32x16、16x32、16x16、16x8以及8x16的区块尺寸，以及上述分区区块具有选择自第二群组的第二区块尺寸，上述第二群组包括32x32、16x16以及8x8的区块尺寸。

12.如权利要求1所述的利用视图合成预测编码或解码三维或多视图视频的方法，其特征在于，根据上述当前纹理区块的一个或多个相邻区块的一个或多个视差向量决定上述取得视差向量。

13.一种利用视图合成预测编码或解码三维或多视图视频的装置，其中上述装置具有一或多个电子电路，上述一或多个电子电路用于：接收与相关视图中的当前纹理区块有关的输入数据，其中上述当前纹理区块包括多种分区区块；

利用取得视差向量定位与上述当前纹理区块有关的参考视图中的深度区块；

利用上述深度区块取得上述当前纹理区块的单一分区决定，其中，利用上述深度区块的四个深度样本取得上述当前纹理区块的上述单一分区决定，其中上述四个深度样本对应至左上深度样本、右下深度样本、右上深度样本以及左下深度样本；

根据上述单一分区决定将上述当前纹理区块之每个上述分区区块分割为多种子区块；以及

对每个上述子区块根据上述深度区块决定对应视差向量；利用上述对应视差向量定位上述参考视图中的预测数据；以及利用上述预测数据向每个上述子区块提供视图间编码或解码。

14.如权利要求13所述的利用视图合成预测编码或解码三维或多视图视频的装置，其特征在于，每个上述分区区块为根据上述单一分区决定水平或垂直分割为上述多种子区块。

15.如权利要求13所述的利用视图合成预测编码或解码三维或多视图视频的装置，其特征在于，上述多种子区块具有相同的尺寸，其中，当上述单一分区决定具有第一值时，每个上述子区块的子区块的宽度系大于子区块的高度；以及当上述单一分区决定具有第二值时，每个上述子区块的子区块的宽度系小于子区块的高度。

16.如权利要求13所述的利用视图合成预测编码或解码三维或多视图视频的装置，其特征在于，

当上述单一分区决定具有第一值时，将每个上述分区区块水平分割为上述多种子区块；以及

当上述单一分区决定具有第二值时，将每个上述分区区块垂直分割为上述多种子区块。

17.如权利要求13所述的利用视图合成预测编码或解码三维或多视图视频的装置，其特征在于，上述当前纹理区块对应至纹理预测单元或纹理编码单元。

18.如权利要求13所述的利用视图合成预测编码或解码三维或多视图视频的装置，其特征在于，根据上述当前纹理区块的一个或多个相邻区块的一个或多个视差向量决定上述取得视差向量。