CN105247858A - 三维视频编码中子预测单元的视图间运动预测的方法 - Google Patents

Abstract

本发明揭露了一种用于结合了基于视图间运动预测的子块的三维编码或解码系统的方法。所述系统利用与当前纹理预测子PU相对应的参考视图的参考图片的参考子块的相关联的运动或视差参数来预测当前纹理PU的运动或视差参数，其中当前纹理子PU是由当前的纹理PU切分出来的。用于当前纹理PU的候选运动或视差参数可包括从所有当前纹理子PU导出的候选运动或视差参数，其中当前纹理子PU是由当前的纹理PU切分出来的。用于当前纹理PU的候选运动或视差参数可用作合并模式中用于当前纹理PU的基于子块的视图间合并候选。基于子块的视图间合并候选可被插入到候选列表的第一位置。

Description

三维视频编码中子预测单元的视图间运动预测的方法

【相关申请的交叉引用】

本发明主张申请于2013年7月12日，序列号为PCT/CN2013/079287，标题为“MethodsforInter-viewMotionPrediction”的PCT专利申请的优先权。将此PCT专利申请以参考的方式并入本文中。

【技术领域】

本发明涉及三维视频编码。特别地，本发明涉及与用于三维(three-dimensional，3D)编码系统中纹理预测单元(predictionunit，PU)的视图间运动预测(inter-viewmotionprediction，IVMP)相关联的基于子预测单元(predictionunit，PU)的预测。

【背景技术】

三维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体验(viewingexperience)。各种技术都被开发出来以使三维观看成为可能，且多视图视频(multi-viewvideo)是三维电视应用中的一个关键技术。为了利用视图间冗余，3D编码工具，例如：视图间运动预测(inter-viewmotionprediction，IVMP)被集成到现有的3D高效视频编码(3D-HighEfficiencyVideoCoding，3D-HEVC)或3D高级视频编码(3D-A视差向量ancedVideoCoding，3D-AVC)编解码器中。

图1所示为当前3DV-HTM中IVMP的基本概念。对于导出用于附属视图中当前预测单元(predictionunit，PU)110的时间视图间合并候选(temporalinter-viewMergecandidate，TIVMC)的运动参数，视差向量(disparityvector，DV)可以被导出以定位参考视图的参考块120。已导出的DV可以基于相邻块视差向量(neighboringblockdisparityvector，NBDV)或深度导向的NBDV(depth-orientedNBDV，DoNBDV)以用于当前预测单元(predictionunit，PU)。当前PU110的中间位置加上已导出的DV130，可获得参考样本位置120。在参考视图的已编码图片中，覆盖该样本位置的预测块被当做参考块来使用。如果此参考块使用运动补偿预测(motioncompensatedprediction，MCP)来编码，相关联的运动参数可被用作当前视图中当前PU的TIVMC。已导出的DV还可被用作视差视图间合并候选(disparityinter-viewMergecandidate，DIVMC)，以被直接用于当前PU的视差补偿预测(disparitycompensatedprediction，DCP)。

参考视图中的对应区域可具有大量的运动信息。然而，根据现有的编码方式，只有参考视图中间位置区域的运动信息被用于附属视图中的当前PU。因此，希望开发出一种改进的编码方法，其可以进一步利用参考视图中参考块的运动信息。

【发明内容】

本发明揭露了一种用于结合了基于视图间运动预测的子块的三维编码或解码系统的方法。本发明的实施例利用与当前纹理预测子PU相对应的参考视图的参考图片的参考子块的相关联的运动或视差参数来预测当前纹理预测单元(predictionunit，PU)的运动或视差参数，其中当前纹理子PU是由当前的纹理PU切分(splitfrom)出来的。每个参考子块的位置可通过每个纹理子PU的具体位置加上已导出的视差向量(disparityvector，DV)来确定。单独的DV(individualDV)或统一的已导出的DV(unifiedderivedDV)可用于定位对应于每个纹理子PU的每个参考子块。统一的已导出的DV可以被显式地(explicitly)发送到解码器或由解码器隐式地(implicitly)导出。统一的已导出的DV可以从多个DV候选中选择，且DV选择信息可以被显式地发送到解码器或由解码器隐式地导出。

当对应于纹理子PU的参考子块的运动或视差参数不可用时，纹理子PU可使用相邻子PU的运动或视差参数。当对应于纹理子PU的参考子块的运动或视差参数不可用时，纹理子PU可使用默认运动或视差参数。当参考子块的运动或视差参数对应于时间方向时，参考子块的运动或视差参数可被用作与其对应的纹理子PU的时间方向的候选运动参数。否则，当参考子块的运动或视差参数对应于视图间方向时，参考子块的运动或视差参数可被用作与其对应的纹理子PU的视图间方向的候选运动参数。当参考子块的运动或视差参数对应于时间方向时，对应于参考子块的纹理子PU可被分配一个与参考子块相同的运动向量以及图片顺序计数(PictureOrderCount，POC)。当参考图片在视图间方向时，参考子块的运动向量或视差向量被缩放以产生对应于参考子块的纹理子PU的运动向量。当用于参考子块的参考图片的POC不同于用于子PU的参考图片的POC时，参考子块的运动向量可被缩放以产生对应于参考子块的纹理子PU的运动向量。

根据本发明的一个实施例，用于当前纹理PU的候选运动或视差参数包括由从当前纹理PU切分出来的至少一个纹理子PU导出的一个或多个候选运动或视差参数。于合并模式中，用于当前纹理PU的候选运动或视差参数可用作当前纹理PU的基于子块的视图间合并候选。基于子块的视图间合并候选可被插入到候选列表的第一位置。当前纹理PU可具有对应于不同子PU尺寸的多于一个的基于子块的视图间合并候选，且每个子PU尺寸包括小于或等于PU尺寸的一个或多个块尺寸。

纹理子PU尺寸可由包括4x4、8x8、16x16以及当前纹理PU尺寸的一组中选择。当纹理子PU尺寸大于或等于当前纹理PU尺寸时，当前纹理PU将不会被进一步分割。一个旗标可以被发送以指示纹理子PU尺寸、纹理子PU分区(texturesub-PUpartition)的分区等级(partitionlevel)、纹理子PU分区的四叉树(quadtree)/分割深度、或当前纹理PU是否被分为纹理子PU。旗标可以于比特流的序列等级、视图等级、图片等级、或条带等级来显式地传送，例如：于序列参数集(sequenceparameterset，SPS)、图片参数集(pictureparameterset，PPS)、视频参数集(videoparameterset，VPS)、调整参数集(adaptationparameterset，APS)、或条带标头，或旗标可以于解码器侧隐式地导出。

【附图说明】

图1所示为根据现有的3D-HEVC的用于三维视频编码中当前块的运动或视差参数预测的IVMP的示例。

图2所示为根据本发明实施例的用于三维视频编码中当前块的运动或视差参数预测的基于子PU的IVMP的示例。

图3所示为根据本发明实施例的用于三维视频编码的基于子PU的IVMP的示范性流程图。

【具体实施方式】

如上所示，现有的编码方式仅使用用于附属视图的当前PU的参考视图中的中间位置区域的运动信息。此方式不能有效使用与参考相关联的运动信息。因此，本发明的实施例使用子PU等级视图间运动预测(sub-PUlevelinter-viewmotionprediction，SPIVMP)以获取用于当前PU的改善的运动信息。图2所示为根据本发明实施例的SPIVMP的示例。当前附属视图(即，V1)中的当前PU222被分为多个子PU，(即：A、B、C以及D)，其中，每个子PU具有较小的尺寸。与每个子PU相关联的视差向量(disparityvector，DV)被加到相应位置(由每个子PU的中心的点所示)以定位参考视图(即，V0)中相应预测块(即：A’、B’、C’或D’)，其中，参考视图中的预测块(即：A’、B’、C’以及D’)已经被编码。覆盖样本位置的预测块被用作参考块。用于每个子PU的被用于导出参考视图中参考块的DV可以是已导出的DV，且每个子PU的已导出的DV可以是不同的，或所有子PU可以共用统一的已导出的DV。

当前PU的时间方向的视图间合并候选(temporalinter-viewMergecandidate，TIVMC)可根据以下所示的SPIVMP被导出：

1.第一，将当前PU分为具有较小的尺寸的多个子PU。

2.第二，将已导出的DV加到每个子PU的某具体位置(例如，中间位置)以获得一组参考样本位置。对于每个参考样本位置，覆盖样本位置的参考视图中已编码图片的预测子块被用作为参考子块。，参考视图中每个子PU的参考子块通常是根据已导出的DV来导出。每个子PU的已导出的DV可以是不同的，或所有子PU可以共用统一的已导出的DV。

3.第三，对于每个参考子块，如果其使用MCP来编码，相关的运动参数可用作用于当前视图的当前PU的对应子PU的TIVMC。否则，对应子PU可以使用其空间相邻子PU的候选运动参数。

最后，当前PU的TIVMC由所有子PU的TIVMC组成。

以下的伪代码详细地说明了以上第三步骤的示例。在此示例中，当前PU被分区为N个子PU。该过程显示如下。

–tempMP被设置为空(null)。

–将当前PU中的每个子PU表示为SP_i，其中，i＝0，…，N-1：

○被表示为CMP(SP_i)的SP_i的候选运动参数被设置为空。

○如果SP_i的参考子块的运动参数MP(RefBlk(SP_i))是可用的，

■CMP(SP_i)被设置为MP(RefBlk(SP_i))；

■tempMP被设置为MP(RefBlk(SP_i))；

■如果CMP(SP_i-1)为空，对于每个j＝0，…，i-1：

●CMP(SP_j)被设置为tempMP。

○否则，

■如果tempMP不为空，CMP(SP_j)被设置为tempMP。

–如果tempMP不为空，当前PU的TIMVC被标记为可用。

–否则，当前PU的TIVMC被标记为不可用。

已导出的TIVMC或视差视图间合并候选(disparityinter-viewMergecandidate，DIVMC)可以被包含到合并候选列表中以提高3D编码系统的编码效率。合并候选列表可包含其它合并候选，例如：一个或多个空间合并候选和/或一个或多个时间合并候选。候选列表中的候选通常是以特定优先顺序来安排以用于合并候选选择。在一个实施例中，TIVMC被置于合并候选列表的第一位(leadingposition)。例如，合并候选列表可包含顺序的成员{TIVMC、左侧、上侧、DIVMC、VSP、左下、左上、位移的TIVMC、位移的DIVMC、以及TMVP}，其中，左侧、上侧、左下侧、左上侧对应于由名字所隐含的对应位置的空间候选，TMVP对应于时间候选，且VSP对应于使用视图合成预测导出的候选。位移的TIVMC以及位移的DIVMC是由将偏置值增加到相应的TIVMC以及DIVMC得到。以上列表旨在示出示例。TIVMC可被置于列表的其它位置。候选列表也可包含不同候选。

于另一示例中，如果当前子PU的参考子块是使用视差补偿预测(disparitycompensatedprediction，DCP)来编码，相关的运动(即，视差)参数可被导出以作为用于当前子PU的DIVMC以执行DCP，或当前子PU的已导出的DV还可直接被用作当前子PU的DIVMC以执行DCP。

在当前子PU的参考子块使用DCP来编码时，当前子PU假设具有与第一参考子块相同的运动向量以及图片顺序计数(PictureOrderCount，POC)。换句话说，当前子PU使用以DCP编码的对应参考子块的运动向量以及POC。当参考子块用DCP编码时，参考子块的运动向量或视差向量可根据视图距离被缩放以产生对应于参考子块的纹理子PU的运动向量。运动向量(或DV)视图方向缩放技术是本领域已知的，且相关细节将不在此处重复。

用于子PU的参考图片的POC可以不同于用于参考子块的参考图片的POC。在此情况下，参考子块的运动向量可以根据POC距离被缩放以产生对应于参考子块的纹理子PU的运动向量。时间运动向量缩放技术是本领域已知的，且相关细节将不在此处重复。

于另一示例中，如果当前子PU的参考子块为帧内编码(Intracoded)或DCP编码，当前子PU可使用来自相邻子PU的运动参数，或使用已导出的DV或默认运动参数以作为候选运动参数。

于另一示例中，如果参考子块为MCP编码，则相关的运动参数被用作为用于当前子PU的TIVMC。如果参考子块为DCP编码，则相关的运动参数被用作为用于当前子PU的DIVMC。如果参考子块为帧内编码，来自相邻子PU的运动参数或默认运动参数可用作为用于当前子PU的候选运动参数。

本发明的另一实施例使用对应于不同子PU尺寸的基于多个子PU的视图间合并候选。子PU尺寸可以从小于或等于PU尺寸的一个或多个块尺寸中选择。例如，PU可具有32x32的块尺寸。一个视图间合并候选可以从对应于16x16的子PU的参考子块中确定，且另一视图间合并候选可以从对应于32x32的PU(即，未分区)的参考块中确定。于另一示例中，一个视图间合并候选可以从对应于16x16的子PU的参考子块中确定，且另一视图间合并候选可以从对应于8x8的子PU的参考子块中确定。

子PU的块尺寸可以为4x4、8x8、16x16、其它尺寸、或当前PU的尺寸。如果PU小于或等于子PU，则此PU将不会被进一步分割。

每个子PU可具有其自身相关联的已导出的DV，或当前PU的所有子PU可共用一个已导出的DV。

一个或多个句法元素可用于表示当前PU是否被进一步分割为子PU，纹理子PU分区的分区等级，纹理子PU分区的四叉树(quadtree)/分割深度，或指示子PU的尺寸。

句法元素可以显式地于序列、视图、图片、或条带等级传输，例如：序列参数集(sequenceparameterset，SPS)、图片参数集(pictureparameterset，PPS)、视频参数集(videoparameterset，VPS)、调整参数集(adaptationparameterset，APS)、或条带标头。关于PU是否被进一步分割的信息、纹理子PU分区的分区等级、纹理子PU分区的四叉树/分割深度、或子PU尺寸还可于解码器侧被隐式地导出。

以上信息可根据模式选择、相邻PU的运动参数、或根据子PU的参考块的运动参数于解码器侧隐式地导出。

结合基于子PU的视图间合并候选的系统与基于全PU的现有的系统(3D-HEVC测试模型版本7.0r1(3D-HEVCTestModelversion7.0r1，HTM7.0r1))相比。表1、2以及3所示为子PU等于4x4、8x8以及16x16的比较结果。性能比较是基于第一列所列的不同组的测试数据。BD率差别被示出以用于视图1(视频1)以及视图2(视频2)中纹理图片。BD率的负值意味着本发明具有更好的性能。如表1-3中所示，结合本发明实施例的系统显示用于视图1以及视图2的BD率大幅的减小，其中，对于4x4的子PU，平均BD率的改进高达7％。用于具有视频比特率的已编码视频PSNR的BD率度量，具有总比特率(纹理比特率以及深度比特率)的已编码视频PSNR，以及具有总比特率的合成视频PSNR也显著的显示了BD率减小。编码时间以及渲染时间与上述现有的系统相同。然而，对于所有情形解码时间都是增加的。对于4x4子PU，解码时间增加了24.2％。然而，对于16x16子PU，解码时间只增加了3.9％。性能比较的总结于表4所示。

表1

表2

表3

表4

图3所示为根据本发明实施例的结合基于子PU的IVMP的三维编码或解码系统的示范性流程图。于步骤310中，系统接收与附属视图中当前纹理PU的一个或多个运动或视差参数相关联的输入数据。对于编码，输入数据对应于待编码的运动或视差参数。对于解码，输入数据对应于待解码的已编码运动或视差参数。输入数据可从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)或从处理器中获取。如步骤320所示，当前纹理PU被分为纹理子PU。如步骤330所示，对应于纹理子PU的参考视图的参考图片中的参考子块被定位。如步骤340所示，参考子块的运动或视差参数被识别。如步骤350所示，当前纹理PU的运动或视差参数基于参考子块的运动或视差参数被编码或解码。

根据本发明，以上所示的流程图旨在说明基于子PU的视图间运动预测的3D或多视图编码的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分割步骤，或合并步骤来实施本发明。

以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。

如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。

在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (20)

1.一种三维或多视图视频编码或解码的方法，其特征在于，所述方法包括：

接收与附属视图中当前纹理预测单元的一个或多个运动或视差参数相关联的输入数据；

将所述当前纹理预测单元切分为纹理子预测单元；

定位对应于所述纹理子预测单元的参考视图的参考图片中的参考子块；

识别所述参考子块的所述一个或多个运动或视差参数；以及

根据所述参考子块的所述一个或多个运动或视差参数，编码或解码所述当前纹理预测单元的所述一个或多个运动或视差参数。

2.如权利要求1所述的方法，其特征在于，已导出的视差向量被加到每个纹理子预测单元的中间位置以定位每个参考子块。

3.如权利要求1所述的方法，其特征在于，当对应于第一纹理子预测单元的所述参考子块的所述运动或视差参数不可用时，所述第一纹理子预测单元使用相邻子预测单元的所述运动或视差参数。

4.如权利要求1所述的方法，其特征在于，当对应于所述第一纹理子预测单元的所述参考子块的所述运动或视差参数不可用时，第一纹理子预测单元使用默认运动或视差参数。

5.如权利要求1所述的方法，其特征在于，如果第一参考子块为运动补偿预测块，所述第一参考子块的所述运动或视差参数被用作对应于所述第一参考子块的所述纹理子预测单元的时间方向的候选运动参数；以及否则当所述第一参考子块为视差补偿预测块时，所述第一参考子块的所述运动或视差参数被用作对应于所述第一参考子块的所述纹理子预测单元的视图间方向的候选视差参数。

6.如权利要求1所述的方法，其特征在于，当第一参考子块为视差补偿预测块时，对应于所述第一参考子块的所述纹理子预测单元被分配一个与所述第一参考子块的相同的运动向量以及图片顺序计数。

7.如权利要求1所述的方法，其特征在于，当所述参考图片是视图间方向，第一参考子块的运动向量或视差向量被缩放以产生对应于所述第一参考子块的所述纹理子预测单元的所述运动向量。

8.如权利要求1所述的方法，其特征在于，当所述第一参考子块的第一参考图片的图片顺序计数不同于所述纹理子预测单元的第二参考图片的所述图片顺序计数时，第一参考子块的运动向量被缩放以产生对应于所述第一参考子块的所述纹理子预测单元的所述运动向量。

9.如权利要求1所述的方法，其特征在于，单独的视差向量或统一的已导出的视差向量被用于定位对应于每个纹理子预测单元的每个参考子块。

10.如权利要求9所述的方法，其特征在于，所述统一的已导出的视差向量被显式地发送到解码器或由所述解码器隐式地导出。

11.如权利要求9所述的方法，其特征在于，所述统一的已导出的视差向量从多个视差向量候选中选择，且视差向量选择信息被显式地发送到解码器或由所述解码器隐式地导出。

12.如权利要求1所述的方法，其特征在于，用于所述当前纹理预测单元的候选运动或视差参数包括由从所述当前纹理预测单元切分的至少一个纹理子预测单元中导出的一个或多个候选运动或视差参数。

13.如权利要求12所述的方法，其特征在于，于合并模式中，用于所述当前纹理预测单元的所述候选运动或视差参数被用作为所述当前纹理预测单元的基于子块的视图间合并候选。

14.如权利要求13所述的方法，其特征在于，所述基于子块的视图间合并候选被插入到候选列表的第一位置。

15.如权利要求13所述的方法，其特征在于，所述当前纹理预测单元具有对应于不同子预测单元尺寸的多于一个基于子块的视图间合并候选，且每个子预测单元尺寸包括小于或等于预测单元尺寸的一个或多个块尺寸。

16.如权利要求1所述的方法，其特征在于，纹理子预测单元尺寸是从一组中选择。

17.如权利要求16所述的方法，其特征在于，当所述纹理子预测单元尺寸大于或等于所述当前纹理预测单元尺寸时，所述当前纹理预测单元不会被进一步分割。

18.如权利要求16所述的方法，其特征在于，旗标被发送以指示所述纹理子预测单元尺寸、纹理子预测单元分区的分区等级、所述纹理子预测单元分区的四叉树/分割深度，或所述当前纹理预测单元是否被分为所述纹理子预测单元。

19.如权利要求18所述的方法，其特征在于，所述旗标以比特流的序列等级、视图等级、图片等级、或条带等级来显式地被传送，或所述旗标于解码器侧隐式地被导出。

20.如权利要求19所述的方法，其特征在于，所述旗标根据模式选择、一个或多个相邻预测单元的所述运动参数、或根据所述子预测单元的所述参考子块的所述运动参数被隐式地导出。