CN105393535B - 3d视频编码中的视图间先进残差预测方法 - Google Patents

Abstract

本发明提供一种视图间先进残差预测的方法及装置。根据一实施例，使用在视图间方向上的当前区块的当前运动向量，来定位在第一参考视图中第一视图间参考图片的第一视图间参考区块。与第一视图间参考区块相关的第一运动向量被推导。当第一运动向量指向第二参考视图的第二视图间参考图片时，推导的运动向量设为预设推导的运动向量。使用推导的运动向量来识别当前区块的第二时间参考图片中的第二时间参考区块。对应在第一参考视图的第二视图间参考区块及第二时间参考区块之间的差值的视图间残差预测被产生并被作为当前视图间残差的预测。

Description

3D视频编码中的视图间先进残差预测方法

交叉引用

本发明主张在2014年6月24日提出的申请号为PCT/CN2014/0806156的PCT专利申请案的优先权。因此在全文中合并参考该PCT专利申请案。

技术领域

本发明是有关于三维视频编码，特别是有关于一种在三维(three-dimensional，3D)或多视图编码系统中的视图间(Inter-View)先进残差预测(Advanced ResidualPrediction，ARP)。

背景技术

近年来3D电视(television，TV)已经成为技术趋势，旨在带给观看者绝妙的视觉体验。很多技术已被开发以使能3D观看。其中，多视图(multi-view)视频是用于3D电视应用的关键技术。由于所有相机从不同视点捕捉同一场景，因此多视图视频数据包含大量的视图间残差。为了开发视图间残差，先进的工具如先进残差预测(advanced residualprediction，ARP)已整合至传统3D高效视频编码(3D High Efficiency Video Coding，3D-HEVC)或3D先进视频编码(3D Advanced Video Coding，3D-AVC)。当先进残差预测(ARP)被使用时，当前区块(current block)的残差由对应的残差所预测。

有两种类型的先进残差预测，表示为视图间先进残差预测及时间先进残差预测。若当前运动向量(motion vector，MV)是在视图间方向(即，视差(disparity)运动向量)时，则该先进残差预测被称为视图间先进残差预测。对视图间先进残差预测而言，当前视图间残差通过在时间方向上对应的视图间残差来预测。如果当前运动向量在时间方向上时，则该先进残差预测被称为时间先进残差预测。对时间先进残差预测而言，当前时间残差通过来自视图间方向上的对应时间残差来预测。在现有的3D-高效视频编码中视图间先进残差预测的基本概念如图1所示。当前图片(110)和时间参考图片(120)对应在当前视图中的两张图片。当前图片的视图间预测残差是在不同的存取单元(例如，不同的图片顺序计数(picture order count，POC)中通过视图间预测残差来预测。举例来说，在当前图片(110)中的当前区块(112)的视图间预测(inter-view predictor)可根据视图间方向上的运动向量(130)(例如，视差向量(disparity vector，DV)来决定。用于先进残差预测过程的区块架构可对应预测单元(prediction unit,PU)。换句话说，当前区块对应于当前预测单元。当前区块(112)的对应时间参考区块(122)可由使用推导的运动向量(derived MV，DMV)140而自时间参考图片(120)中的当前区块(112)来定位。在视图间方向的运动向量(130)也用于寻找时间参考区块(122)的视图间预测。与图片顺序计数不同于当前图片的图片顺序计数的时间参考区块(122)相关的视图间残差用以预测与当前区块(112)相关的视图间残差。

图2描述用于图1情况下推导的运动向量的推导程序的例子。首先，在对应视图间参考图片(210)中的视图间参考区块(212)使用在视图间方向上当前运动向量(130)而根据当前区块(112)所定位。由于视图间参考图片(210)在当前图片之前已编码，因此运动向量(230)可被确定以用于视图间参考区块(212)。该运动向量(230)指向在参考视图中时间参考图片(220)的时间参考区块(222)。该运动向量(230)被缩放以获得推导的运动向量(derived MV，DMV)140。图2所示的例子描述了运动向量(230)指向时间参考图片(220)的情况，根据显示顺序，时间参考图片(220)较当前时间参考图片(120)在时间上远于当前图片(110)。时间参考图片(120)被决定为在切片级(slice level)中的先进残差预测参考图片。因此，在此情况中，运动向量(230)必须缩短以导出此推导的运动向量(140)。然而，时间参考图片(220)也可以比时间参考图片(120)更接近当前图片(110)。在此情况下，运动向量(230)将被放大以导出此推导的运动向量(140)。若时间参考图片(220)的图片顺序计数(例如，图片顺序计数1(POC1))等于时间参考图片(120)的图片顺序计数(例如，图片顺序计数2(POC2))，则无需进行缩放。

在推导的运动向量(140)被导出后，在当前视图(例如，从属视图(dependentview))中的时间参考区块(122)可被定位出来。时间参考区块(122)的视图间预测残差可根据从属视图中时间参考区块(122)和与其对应的在参考视图中视图间参考区块之间的差值来决定，其中该视图间参考区块根据时间参考区块(122)的位置及在视图间方向上的运动向量(130)来定位。根据视图间先进残差预测，该视图间预测残差接着被用作当前视图间预测残差的预测。

缩放程序在视频编码领域中众所皆知。运动向量缩放根据图片顺序计数距离来执行。在现有3D-高效视频编码中采用的具体实施作法如下所述，其中输入为运动向量(230)，输出是推导的运动向量(DMV)(140)：

tx＝(16384+(Abs(td)>>1))/td (1)

distScaleFactor＝Clip3(-4096,4095,(tb*tx+32)>>6)

(2)

DMV＝Clip3(-32768,32767,Sign(distScaleFactor*MV)*

((Abs(distScaleFactor*MV)+127)>>8))，

(3)

其中td及tb推导如下：

td＝Clip3(-128,127,POC0-POC1) (4)

tb＝Clip3(-128,127,POC0-POC2) (5)

如方程式(1)所示，除以td的操作被执行以及td对应于图片顺序计数0及图片顺序计数1之间的图片顺序计数距离(例如，POC0-POC1)。此差值进一步介于-128至+127的范围内，如方程式(4)所示。当图片顺序计数1与图片顺序计数0相同时，td将等于0。由于分母td在方程式(1)中等于0，因此缩放过程将变得无意义，并会导致编码器死机。当视图间参考区块的运动向量在如图3所示的视图间方向中时，此种情况则可能会发生。在视图间方向上的当前运动向量(330)指向参考视图j中视图间参考图片(310)内的视图间参考区块(312)。然而，与视图间参考区块(312)相关的运动向量(340)指向在视图间方向上的另一视图间参考图片(320)。所述另一视图间参考图片(320)的图片顺序计数与当前图片的图片顺序计数相同(即POC1＝POC0)。因此，td＝POC0-POC1且这将在运动向量缩放程序中造成问题。应该注意的是，图2及图3显示用于两种不同情况下推导的运动向量的推导过程。在图2中，视图间参考区块(212)的运动向量指向时间参考图片。在图3中，视图间参考区块(312)的运动向量指向另一视图间参考图片。在得到推导的运动向量后，推导的运动向量用于定位在当前区块的时间参考区块(122)，如图1所示。此外，视图间残差预测将被形成，并用以预测使用如图1所示的架构的当前视图间残差。

因此，需要开发一种方法来克服此运动向量缩放问题。

发明内容

本发明提供一种在三维或多视图视频编码系统中的视图间(Inter-View)先进残差预测(Advanced Residual Prediction，ARP)的方法及装置。根据一实施例，自使用在视图间方向上的当前区块的当前运动向量，而自当前区块来定位在第一参考视图中第一视图间参考图片的第一视图间参考区块。与上述第一视图间参考区块相关的第一运动向量接着被推导。当上述第一运动向量指向上述第一参考视图中的第一时间参考图片时，推导的运动向量根据上述第一运动向量被推导。当上述第一运动向量指向第二参考视图中的第二视图间参考图片时，上述推导的运动向量设置为预设推导的运动向量。使用上述推导的运动向量，识别对应于上述当前区块的第二时间参考图片中的第二时间参考区块。对应在上述第一参考视图的第二视图间参考区块及上述第二时间参考区块之间第一差值的视图间残差预测被产生，其中上述第二视图间参考区块由使用在上述视图间方向的上述当前区块的上述当前运动向量而自上述第二时间参考区块的位置来定位。上述视图间残差预测接着被使用作为对应在第一视图间参考区块及当前区块之间差值的上述当前视图间残差的预测。

上述预设推导的运动向量可能对应默认值(0,0)。当上述当前图片具有与图片顺序计数0相等的图片顺序计数时，上述第一参考视图中的上述第一时间参考图片具有与图片顺序计数1相等的图片顺序计数，在上述从属视图中的上述第二时间参考图片具有与图片顺序计数2相等的图片顺序计数，上述推导的运动向量根据图片顺序计数1至图片顺序计数0(POC1-POC0)及图片顺序计数2至图片顺序计数0(POC2-POC0)之间的比例基于上述第一运动向量而推导出来。第二视图间参考图片和当前图片有相同的图片顺序计数。再者，上述第二时间参考图片对应由切片级中推导的先进残差预测时间参考图片。

附图说明

图1描述了视图间先进残差预测(Advanced Residual Prediction，ARP)架构的示意图，其中当前区块的视图间预测残差通过时间参考区块的视图间预测残差所预测。

图2显示根据现有3D-高效视频编码(3D-HEVC)(基于高效视频编码的3D编码)的与视图间先进残差预测(advanced residual prediction，ARP)相关的推导的运动向量(derived motion vector，DMV)推导程序的例子。

图3显示根据现有3D-高效视频编码(3D-HEVC)(基于高效视频编码的3D编码)的与视图间先进残差预测(advanced residual prediction，ARP)相关的推导的运动向量(derived motion vector，DMV)推导程序的例子，其中，与当前区块的视图间参考区块相关的运动向量指向另一视图间参考图片。

图4显示根据本发明一实施例的推导的运动向量(derived motion vector，DMV)推导程序的例子，其中，与当前区块的视图间参考区块相关的运动向量指向另一视图间参考图片及具有与(0,0)相等默认值的默认推导的运动向量被使用。

图5显示根据本发明一实施例的视图间先进残差预测(Advanced ResidualPrediction，ARP)的示范流程图，其中当与当前区块的视图间参考区块相关的运动向量指向另一视图间参考图片时，默认推导的运动向量(derived motion vector，DMV)被使用。

具体实施方式

下方描述举出的本发明最佳的实施模式。此描述的目的为了说明本发明的一般原理而不应具有限制意义。本发明最佳的范围通过所附的申请专利范围所决定。

如上所述，根据现有3D-高效视频编码计划的视图间(Inter-View)先进残差预测(Advanced Residual Prediction，ARP)的编码实施可能导致与视图间参考区块相关的运动向量指向在另一参考视图的视图间参考图片的视图方向。因此，此运动向量指向具有与当前图片相同的图片顺序计数(Picture Order Count，POC)的视图间参考图片。这将在执行缩放运动向量时产生问题。为了在现有3D-高效视频编码实施中避免无意义及有问题的运动向量缩放，本发明揭露了一种方法及装置来克服这个问题。

图4显示结合目前基于图3情况下的实施例。当用于当前区块(112)的、与参考视图j中第一视图间参考图片(310)的视图间参考区块(312)相关的运动向量(340)在视图间方向时，预设推导的运动向量将被使用。在此种情况下，运动向量(340)指向另一视图间参考图片(320)的视图间参考区块(412)，该视图间参考区块(412)对应于具有与当前图片的图片顺序计数(例如，图片顺序计数0(POC0))相同的图片顺序计数(例如，图片顺序计数1(POC1))的另一参考视图(参考视图i)。参考区块(312)将由当前区块(112)的在视图间方向上的当前运动向量(330)而定位。在此情况下，没有运动向量缩放被使用，如”X”所示。相反地，推导的运动向量被直接设置为默认值。举例来说，预设的推导的运动向量可设为(0,0)。当预设的推导的运动向量值(0,0)被使用时，在当前视图(例如，从属视图k)中时间参考图片(120)的时间参考区块(410)将被确定位置。时间参考图片(120)可对应由切片级推导的先进残差预测(ARP)时间参考图片。由于预设推导的运动向量具有(0,0)值，因此时间参考区块(410)与当前区块(112)位于相同位置。时间参考区块(410)的视图间预测残差的可根据如图1所示的视图间残差预测架构来决定。换言之，该视图间预测残差根据在从属视图的时间参考区块(410)与在参考视图中对应的视图间参考区块之间的差值而形成，参考视图中对应的视图间参考区块可在视间方向上利用当前运动向量(130)而自时间参考块(410)来定位。根据视图间先进残差预测，该视图间预测残差将用作当前视图间预测残差的预测值。

本发明可通过修改现有的语法/语义而应用至现有3D高效视频编码中。举例来说，现有3D高效视频译码(JCT3V-H1001_v2)相关草稿文件相关部分中第I.8.5.3.3.7.4节，可修改如表1所示：

表1

I8.5.3.3.7.4用于残差预测的来自参考区块的运动向量的推导过程

…

当编码单元refCU的变量CuPredMode等于跳过模式MODE_SKIP或帧间模式MODE_INTER时，以下适用于范围0至1的X中，包括：

-变量refPredFlagLX被设为等同于预测单元refPU的预测使用旗标predFlagLX。

-当旗标availFlag等于0且变数refPredFlagLX等于1时，则适用以下：

i.令变量refPicListRefX为参考图片refPic的参考图片列表X。

ii.令mvLX和refIdxLX分别为运动向量及对应变量refPicListRefX的预测单元refPU的参考索引。

iii.当PicOrderCnt(refPicListRefX[refIdxLX])不等于PicOrderCnt(refPic)(refPicListRefX[refIdxLX]为refPic的时间参考图片)且残差预测参考图片索引RpRefIdxLX不等于-1时,旗标availFlag被设置为1，Y被设为等于X，而如次小节I.8.5.3.3.7.3所示的残差预测运动向量缩放程序由等于X的预测列表使用变量、运动向量mvLX所调用，而参考图片refPicListRefX[refIdxLX]为输入，mvT为输出。

在上述基于现有3D-高效视频编码标准示范性的实施例中，新增新文字「PicOrderCnt(refPicListRefX[refIdxLX])不等于PicOrderCnt(refPic)」，以粗体文字格式来表示。同时，在引号中原文「refPicListRefX[refIdxLX]为refPic的时间参考图片」被删除，如斜体文字格式所示。在表格1的(iii)中，第I.8.5.3.3.7.3子节描述残差预测运动向量缩放程序。换言之，当PicOrderCnt(refPicListRefX[refIdxLX])不等于PicOrderCnt(refPic)且RpRefIdxLX不等于-1时，将调用缩放程序。其中，PicOrderCnt(refPicListRefX[refIdxLX]对应当前区块的参考区块(例如，该预测单元refPU)的参考图片的图片顺序计数。在图2所示的例子中，PicOrderCnt(refPicListRefX[refIdxLX]对应由运动向量(230)所指向的图片顺序计数(例如，时间参考图片(220)的图片顺序计数)。在图3和图4所示的例子中，PicOrderCnt(refPicListRefX[refIdxLX]对应由运动向量(340)所指出的图片顺序计数(例如，视图间参考图片(320)的图片顺序计数)。PicOrderCnt(refPic)对应参考图片的图片顺序计数，其中当前区块的参考区块位于该参考图片中。如图2的例子所示，PicOrderCnt(refPic)对应视图间参考图片(210)的图片顺序计数。在如图3和图4的例子中，PicOrderCnt(refPic)对应由当前运动向量(330)在视图间方向所指向视图间参考图片(310)的图片顺序计数。

图5显示本发明一实施例的视图间先进残差预测(ARP)的示范流程图，其中当与当前区块的视图间参考区块相关的运动向量指向另一视图间参考图片时，默认推导的运动向量(derived motion vector，DMV)被使用。在步骤510中，该系统接收与从属视图内当前图片的当前区块中相关的输入数据。对编码而言，输入数据对应于要编码的纹理数据或深度数据。对译码而言，输入数据对应于要译码的已编码的纹理数据或深度数据。输入数据可从内存(如，计算器内存、缓冲区(随机存取内存(Random Access Memory，RAM)或动态随机存取内存(Dynamic Random Access Memory，DRAM))或其它媒体)或从处理器中撷取。在步骤520中，自使用在视图间方向上的当前区块的当前运动向量(motion vector，MV)，而自当前区块的位置来定位在第一参考视图中第一视图间参考图片的第一视图间参考区块。在步骤530中，与第一视图间参考区块相关的第一运动向量被推导。在步骤540中，决定该第一运动向量指向时间方向还是视图间方向。当结果为”时间方向”时，在步骤542中，推导的运动向量可根据第一运动向量来决定。当结果是”视图间方向”时，在步骤544中，推导的运动向量被设置为的预设推导的运动向量。在步骤542或步骤544中当推导的运动向量被决定后，在步骤550中，使用推导的运动向量，在从属视图中第二时间参考图片的第二时间参考区块被识别出。在步骤560中，对应在第一参考视图中第二视图间参考区块及第二时间参考区块之间第一差值的视图间残差预测将被产生，其中第二视图间参考区块由使用在视图间方向的当前区块的当前运动向量而自第二时间参考区块的位置来定位。在步骤570中，使用视图间残差预测，应用编码或译码于对应于第一视图间参考区块和当前区块之间的第二差值的当前视图间残差。

如上所示流程图用于说明根据本发明视图间先进残差预测的例子。本领域技术人员可修改每一个步骤、重新排列步骤、差分步骤、或合并步骤以在不脱离本发明精神的范围内实现本发明。

在提供特定应用和其需求的情况下，以上描述使得本领域技术人员能够实现本发明。对本领域技术人员来说，各种修饰是清楚的，以及在此定义的基本原理可以应用与其他实施方式。因此，本发明并不限于描述的特定实施方式，而应与在此公开的原则和新颖性特征相一致的最广范围相符合。在上述详细描述中，为全面理解本发明，描述了各种特定细节。然而，本领域技术人员能够理解本发明可以实现。

以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器(Digital SignalProcessor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。

Claims (10)

1.一种用于三维或多视图视频编码的视图间先进残差预测的方法，其特征在于，上述方法包括：

接收与在从属视图中当前图片的当前区块相关的输入数据；

自使用在视图间方向上的当前区块的当前运动向量，而自当前区块的位置来定位在第一参考视图中第一视图间参考图片的第一视图间参考区块；

推导与上述第一视图间参考区块相关的第一运动向量；

当上述第一运动向量指向在上述第一参考视图中的第一时间参考图片时，根据上述第一运动向量决定推导的运动向量；

当上述第一运动向量指向在第二参考视图中的第二视图间参考图片时，设置上述推导的运动向量为预设推导的运动向量；

使用上述推导的运动向量，识别对应于上述当前区块的第二时间参考图片中的第二时间参考区块；

产生对应于上述第一参考视图中的第二视图间参考区块和上述第二时间参考区块之间第一差值的视图间残差预测，其中上述第二视图间参考区块由使用在上述视图间方向的上述当前区块的上述当前运动向量而自上述第二时间参考区块的位置来定位；以及

使用上述视图间残差预测，应用编码或译码于对应于上述第一视图间参考区块和上述当前区块之间的第二差值的当前视图间残差。

2.根据权利要求1所述的用于三维或多视图视频编码的视图间先进残差预测的方法，其特征在于，上述预设推导的运动向量对应默认值(0,0)。

3.根据权利要求1所述的用于三维或多视图视频编码的视图间先进残差预测的方法，其特征在于，上述第二视图间参考图片具有与上述当前图片相同的图片顺序计数。

4.根据权利要求1所述的用于三维或多视图视频编码的视图间先进残差预测的方法，其特征在于，当上述当前图片具有与图片顺序计数0相等的图片顺序计数，在上述第一参考视图中的上述第一时间参考图片具有与图片顺序计数1相等的图片顺序计数，在上述从属视图中的上述第二时间参考图片具有与图片顺序计数2相等的图片顺序计数，上述推导的运动向量根据图片顺序计数1至图片顺序计数0的差值与图片顺序计数2至图片顺序计数0的差值之间的比例，基于上述第一运动向量而推导出来。

5.根据权利要求1所述的用于三维或多视图视频编码的视图间先进残差预测的方法，其特征在于，上述第二时间参考图片对应由切片级中推导的先进残差预测时间参考图片。

6.一种用于三维或多视图视频编码的视图间先进残差预测的装置，其特征在于，上述装置包括：

接收与在从属视图中当前图片的当前区块相关的输入数据的电路；

自使用在视图间方向上的当前区块的当前运动向量，而自当前区块的位置来定位在第一参考视图中第一视图间参考图片的第一视图间参考区块的电路；

推导与上述第一视图间参考区块相关的第一运动向量的电路；

当上述第一运动向量指向在上述第一参考视图中的第一时间参考图片时，根据上述第一运动向量决定推导的运动向量的电路；

当上述第一运动向量指向在第二参考视图中的第二视图间参考图片时，设置上述推导的运动向量为默认推导的运动向量的电路；

使用上述推导的运动向量，识别对应于上述当前区块的第二时间参考图片中的第二时间参考区块的电路；

产生对应于上述第一参考视图中的第二视图间参考区块和上述第二时间参考区块之间第一差值的视图间残差预测的电路，其中上述第二视图间参考区块由使用在上述视图间方向的上述当前区块的上述当前运动向量而自上述第二时间参考区块的位置来定位；以及

使用上述视图间残差预测，应用编码或译码于对应于上述第一视图间参考区块和上述当前区块之间的第二差值的当前视图间残差的电路。

7.根据权利要求6所述的用于三维或多视图视频编码的视图间先进残差预测的装置，其特征在于，上述默认推导的运动向量对应默认值(0,0)。

8.根据权利要求6所述的用于三维或多视图视频编码的视图间先进残差预测的装置，其特征在于，上述第二视图间参考图片具有与上述当前图片相同的图片顺序计数。

9.根据权利要求6所述的用于三维或多视图视频编码的视图间先进残差预测的装置，其特征在于，当上述当前图片具有与图片顺序计数0相等的图片顺序计数，在上述第一参考视图中的上述第一时间参考图片具有与图片顺序计数1相等的图片顺序计数，在上述从属视图中的上述第二时间参考图片具有与图片顺序计数2相等的图片顺序计数，上述推导的运动向量根据图片顺序计数1至图片顺序计数0的差值与图片顺序计数2至图片顺序计数0的差值之间的比例，基于上述第一运动向量而推导出来。

10.根据权利要求6所述的用于三维或多视图视频编码的视图间先进残差预测的装置，其特征在于，上述第二时间参考图片对应由切片级中推导的先进残差预测时间参考图片。