CN104704819B - 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置 - Google Patents

3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置 Download PDF

Info

Publication number
CN104704819B
CN104704819B CN201380052117.8A CN201380052117A CN104704819B CN 104704819 B CN104704819 B CN 104704819B CN 201380052117 A CN201380052117 A CN 201380052117A CN 104704819 B CN104704819 B CN 104704819B
Authority
CN
China
Prior art keywords
block
list
view
difference vector
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380052117.8A
Other languages
English (en)
Other versions
CN104704819A (zh
Inventor
林建良
陈渏纹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104704819A publication Critical patent/CN104704819A/zh
Application granted granted Critical
Publication of CN104704819B publication Critical patent/CN104704819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Abstract

本发明提供一种三维视频编码和多视图视频编码装置及方法。根据本发明的实施例基于当前区块的多个相邻区块或相应于该当前区块的深度信息推导统一的视差矢量并根据该统一的视差矢量定位参考视图中的单一对应区块。然后从该单一对应区块中推导视图间运动矢量预测候选项以用于列表0和列表1。该视图间运动矢量预测候选项的列表0和列表1运动矢量都是从根据该统一的视差矢量定位的该单一对应区块中推导的。本发明提供的三维视频编码和多视图视频编码方法可简化DV/MV的推导以简化DV/MV推导过程的3D视频编码的编码设计。

Description

3D视频编码的视差矢量推导和视图间运动矢量预测的方法及 装置
相关申请的交叉引用
本申请的权利要求范围要求如下申请的优先权：2012年10月3日递交的申请号为61/744,887，标题为“The derivation of disparity vector and interview candidatein the3D or multi-view video coding”的美国临时案，2013年1月7日递交的申请号为61/749,458，标题为“Methods of Simplified Disparity Vector Derivation andInter-view Motion Vector Prediction in 3D or Multi-view Video Coding”的美国临时案。在此合并参考上述申请案的全部内容。
技术领域
本发明有关于视频编码。更具体地，本发明有关于3D视频编码的视差矢量(disparity vector)推导和视图间运动矢量(inter-view motion vector)预测。
背景技术
近年来三维电视已成为技术趋势，其目标在于为观众带来更真实的观看体验。多视图视频为捕捉和渲染3D视频的技术。通常通过使用多个摄像头同时捕捉场景(scene)而建立多视图视频，其中，适当地放置多个摄像头以使每个摄像头从一个视点捕捉场景。具有相应于视图的大量视频序列的多视图视频意味着巨大量的数据。相应地，多视图视频将需要用于存储的大量存储空间及/或用于传输的高带宽。因此，本领域已发展出多视图视频编码技术以减少所需存储空间和传输带宽。一种直接的方法是对每个单一视图的视频序列独立地应用传统视频编码技术而忽略不同视图之间的关联(correlation)。这种直接技术将导致低下的编码性能。为改进多视图视频编码效率，多视图视频编码总是利用视图间冗余(inter-view redundancy)。两个视图间的视差是由两个不同摄像机的位置和角度导致的。视差模型(例如仿射模型(affine model)用于指示两个视图帧中的对象的位移。此外，一个视图中的帧的运动矢量可从另一视图中的多个帧的运动矢量中推导出。
对于3D视频，除相应于多个视图的传统纹理数据以外，通常还捕获或推导深度数据。可捕捉深度数据以用于相应于一个视图或多个视图的视频。也可从不同视图的图像中推导深度信息。深度数据通常表示为比纹理数据更低的空间分辨率。深度信息用于视图合成(view synthesis)和视图间预测(inter-view prediction)。
世界标志组织ITUT内部关于3D视频编码扩展发展的联合合作组已采用了用于3D视频编码的一些标准发展活动。在基于3D视频编码(3DV-ATM-5.0)的改进视频编码(Advanced Video Coding，AVC)的软件测试模型版本5.0中，根据预设推导顺序基于相邻区块的视差矢量(DV)推导用于跳过(Skip)/直接(Direct)模式的运动矢量预测(motionvector prediction，MVP)候选项。当在直接模式中编码区块时，可从先前编码的信息中推导模式信息而无需运动信息的明确信令(explicit signaling)。当在跳过模式中编码区块时，无需对运动信息或冗余信息进行发信。在此情况中，冗余信号推断为零。
图1为根据3DV-ATM-5.0用于跳过/直接模式的基于优先级的MVP的示例示意图。使用相应于(位于相关视图(dependent view)中)当前区块110的中心点(112)的视差矢量(114)以寻找参考视图(例如基本视图)中的对应区块(120)。使用参考视图中覆盖对应点(122)的区块(124)的MV(126)作为当前区块的视图间MVP候选项(candidate)。从相邻区块和中心点的深度值推导视差矢量。图1中将相应于当前纹理区块(110)的深度信息显示为区块130且将中心点显示为阴影部分。如果相邻区块中的任何一个具有DV(例如图1中用于区块A的DVA)，使用相邻区块的DV作为视差矢量以定位参考视图中的对应区块。否则，使用转换的视差(converted disparity)，即基于深度的视差。其中，视差是从中心点深度值和摄像机参数中转换的。在中心点的深度值不可用的情况下，相较于仅使用基于深度的视差的方式，使用空间相邻区块的DV可减少错误传播。其中，“视差”和“视差矢量”互换使用。
当指向相邻区块的DV的对应区块不具有可用的运动信息，将视图间候选项看作不可用且从相邻区块搜索空间候选项。此外，视图间候选项推导过程可基于从当前区块的深度信息转换的视差。当由相邻区块的DV指向的对应区块或从当前区块的深度信息转换的DV为帧内编码，或者使用当前图像的无效参考图像，将对应区块的运动信息看作不可用。如图1所示，从相邻区块A、B及C(仅当C不可用时使用D)推导的视图间候选项和三个空间候选项的中间值。另一方面，使用推导的MVP候选项的运动信息来执行运动补偿。其中，运动信息包括预测方向(单方向预测或双向预测)，参考图像类型(时间预测、虚拟预测(virtualprediction)或视图间预测)以及参考图像索引(reference picture index)。
图2为根据3DV-ATM-5.0的视图间MVP推导的示例流程图。基于MVP候选项推导过程的优先级的输入数据包括对应于相关视图中纹理图像的相邻区块A、B及C的运动数据(210)和相关视图中的深度数据(250)。将相应于相邻区块的任何视差信息看作用于视图间预测的运动信息。在步骤220中，检查相应于相邻区块的DV的可用性。如步骤230中所示，如果相邻区块的DV不可用，以推导的DV来替代DV，其中，推导的视差矢量是从相应于当前区块的深度数据转换形成的。用于替换不可用DV的视差数据可对应于当前区块的最大视差(步骤260)。如步骤240中所示，根据多个MVP候选项(即相应于区块A、B及C的DV)的中间值确定最终的视差。在推导用于当前区块的视差矢量之后，可识别参考图像中覆盖对应点(122)的区块(124)。且可使用相应于区块124的运动矢量(126)作为视图间MVP候选项。
在3DV-ATM-5.0中，当使用相邻区块的DV定位参考视图中的对应点时，分别地推断视图间候选项的列表0MV和列表1MV。具体地，通过根据相邻区块(如果可用)的列表0DV首先定位参考图像中的对应区块，然后使用该对应区块的MV作为用于列表1的MVP候选项。如图3中所示，对于相关视图中的当前区块(310)，当前区块的相邻区块的列表0DV和列表1DV可能是不同的，因此在参考视图(例如基本视图(base view))中可能定位到不同的对应区块(C01和C02)。图4中为列表0和列表1视图间MVP候选项推导的示例流程图。如果ListX＝list0，此流程图用于列表0，且如果ListX＝list1，此流程图用于列表1。图4中的步骤(410-460)类似于图2中的步骤(210-260)。然而，对于列表0和列表1视图间MVP推导的过程是分别执行的，其中，ListX对应于列表0或列表1。例如，在步骤420中，如果目标参考图像在列表0中，仅考虑相应于指向列表0中的参考图像的相邻区块的运动数据(例如DV)。当前区块(470)的中心位置(472)可使用推导的视差矢量以定位对应区块480中的对应位置482。使用基本视图中覆盖对应点(482)的区块所相应的列表0运动数据作为用于各自列表中的视图间MVP候选项。
当视图间MVP候选项不可用时，根据3DV-ATM-5.0，使用从相邻区块A、B及C中推导的三个空间MVP候选项的中间值作为用于跳过(Skip)或直接模式(Direct)的MVP。跳过/直接模式中的视图间MVP候选项和视图间MVP的推导过程分别图图5A和5B中所示。首先识别目标参考索引。在3DV-ATM-5.0中，在跳过模式中将目标参考索引设置为0。对于直接模式，推导目标参考索引作为相邻区块的最小参考索引。
如果目标参考索引指向时间参考图像，对应的MVP推导过程如图5A中所示。该流程的输入数据包括相应于相关视图中纹理图像的相邻区块A、B及C的运动数据(510)和相关视图中的当前区块(560)的深度数据。对于每个相邻区块，该流程首先检查是否相邻区块具有任何指向目标参考索引(520A)的MV。如果相邻区块不具有指向目标参考索引的MV，如步骤530A中所示，以推导的MV替换用于相邻区块的MV。如步骤570A中所示，根据当前区块的最大视差从参考视图中定位的对应区块获取推导的MV。根据相应于相邻区块的MV的中间值推导时间MV(550A)(540A)。如果所有相邻区块中都没有任何指向目标参考图像的MV，且参考视图中当前区块的对应区块不具有任何指向目标参考索引的MV，则使用零MV表示相邻区块的MV。
如果目标参考索引指向视图间参考图像，对应的MVP推导过程如图5B中所示。对于每个相邻区块，该流程首先检查是否相邻区块具有指向目标参考索引的DV，如步骤520B所示。如果区块不具有DV，使用从相应深度区块(步骤570B)中的深度值转换形成的DV以替换相邻区块的非可用DV(步骤570B)。从MVP候选项的中间值推导视差矢量(550B)且将其用于执行视图间运动补偿。
推导DV以在参考视图中定位对应区块的当前做法需要分别指向列表0和列表1中的参考图像的两个DV。因此，需要简化DV/MV的推导以改进使用改进的DV/MV推导过程的3D视频编码的编码效率。
发明内容
本发明提供一种三维视频编码或多视图视频编码装置及方法。根据本发明的实施例基于当前区块的多个相邻区块或相应于该当前区块的深度信息推导统一的视差矢量并根据该统一的视差矢量定位参考视图中的单一对应区块。然后从该单一对应区块中推导视图间MVP候选项列表0列表1并用于编码或解码当前区块。该视图间运动矢量预测候选项的列表0和列表1运动矢量都是从根据该统一的视差矢量定位的该单一对应区块中推导的。相邻区块包括左区块、上区块及右上区块，如果相应于该右上区块的DV为不可用的，则由左上区块替代该右上区块。根据从左区块至上区块再至右上区块的查找顺序从多个相邻区块的DV中推导统一的DV。通过首先检查列表0(或列表1)中的相邻区块的DV以查找可用的DV来推导该统一的DV；如果无DV可用，检查列表1(或列表0)中的相邻区块的DV以查找可用的DV来推导该统一的DV。如果在检查列表0和列表1中的相邻区块的DV之后发现无可用DV时，使用零DV或转换的DV作为该统一的DV。其中，从相应于当前区块的一或多个深度值转换形成该转换的DV,例如，该转换的DV为四个角落深度值的最大值。
在本发明的另一个实施例中，从相应于列表0和列表1的相邻区块的DV中推导该统一的DV。通过首先检查列表0(或列表1)中的每个相邻区块的DV以查找可用的视差矢量；如果列表0(列表1)中无DV可用，检查列表1(或列表0)中的每个相邻区块的DV以查找该可用的DV。将可用的DV指定为每个相邻区块的选择的DV。如果在检查列表0和列表1中的每个相邻区块的DV之后发现无可用DV时，使用零DV或推导的DV作为用于每个相邻区块的选择的DV。其中，从相应于当前区块的一或多个深度值转换形成该转换的DV,例如，该转换的DV为四个角落深度值的最大值。其中，从该每个相邻区块的一或多个深度值、一或多个相邻纹理或多个深度区块中转换形成该推导的视差矢量。可根据该相邻区块的选择的DV的中间值、最小值、最大值、平均值或线性组合推导该统一的DV。
通过首先检查列表0(列表1)中的相邻区块的多个DV以查找可用的DV而推导该统一的视差矢量；如果无DV可用，通过检查列表1(或列表0)中的该多个相邻区块的该多个DV以查找该可用的视差矢量而推导该统一的视差矢量。当找到一个可用DV时，则停止检查该多个相邻区块的该多个DV。如果一个相邻区块的DV不存在，或者由该相邻区块的该DV定位的该对应区块为帧内编码或不可用，将该DV计为不可用。如果在检查列表0和列表1中的该多个相邻区块的DV之后发现无可用DV时，使用零DV或转换的DV作为统一的DV，其中，从相应于该当前区块的一或多个深度值中转换形成该转换的视差矢量。可根据该相邻区块的选择的DV的中间值、最小值、最大值、平均值或线性组合推导该统一的DV。
将DV推导为相邻区块的DV之中值(如图3中所示的A,B,C,D，当C不可用时使用D)。对于每个相邻区块，可从列表0或列表1中推断DV。例如，首先检查来自相邻区块的列表0的DV，如果该相邻区块具有来自列表0的DV，使用列表0DV表示该相邻区块的DV。如果该相邻区块不具有来自列表0的DV，检查来自列表1的DV；如果相邻区块具有来自列表1的DV，使用列表1DV表示该相邻区块的DV。如果相邻区块不具有来自列表0和列表1的DV，使用从相应的深度区块的深度值推导的DV或零DV来表示该相邻区块的DV。当然，在上述示例中，可交换列表0和列表1的顺序。
本发明提供的三维视频编码和多视图视频编码方法可简化DV/MV的推导以改进DV/MV推导过程的3D视频编码的编码效率。
附图说明
图1为基于改进的视频编码(Advanced Video Coding，AVC)标准根据传统的三维视频编码的用于跳过/直接模式的基于优先级的MVP的示例示意图。
图2为基于AVC标准根据传统的三维视频编码的视图间MVP推导的示例流程图。
图3显示了基于AVC标准根据传统的三维视频编码在参考视图中定位到不同的对应区块(C01和C02)的相邻区块的列表0DV和列表1DV。
图4中为基于相邻区块的不同列表0DV和列表1DV的相应于列表0和列表1视图间MVP候选项推导的示例流程图，其中，如果ListX＝list0，此流程图用于列表0，且如果ListX＝list1，此流程图用于列表1。
图5A为基于AVC标准根据传统的三维视频编码的跳过/直接模式中的用于时间MVP候选项的推导过程示意图。
图5B为基于AVC标准根据传统的三维视频编码的跳过/直接模式中的用于视图间MVP候选项的推导过程示意图。
图6为根据本发明的一个实施例的统一的DV推导的示例示意图。
图7为根据本发明一个实施例的用于视图间MVP候选项的统一的DV的推导过程示意图。
图8为根据本发明的一个实施例包括基于相邻区块的统一视差矢量的三维编码或解码系统的流程图。
具体实施方式
在本发明中，统一的视差矢量(DV)用于推断列表0DV和列表1DV以用于推导视图间运动矢量预测(MVP)候选项。该统一的DV可使用如下所述的不同流程推断如下。如图6所示，可从当前区块的相邻区块的DV中推导该统一的DV，或者，从当前区块的深度信息中推导该统一的DV。例如，可使用对应于左相邻区块、上相邻区块及右上相邻区块的相邻区块A、B及C推导DV以在参考视图中定位对应的区块。如果相应于区块C的DV为不可用的，则可使用由对应于左上相邻区块的区块D。
根据本发明的一个实施例，该统一的DV推导流程检查来自每个相邻区块的列表0的DV。如果相邻区块具有来自列表0的DV，选择该DV以用于表示相邻区块的DV。如果相邻区块不具有来自列表0的DV，该流程检查来自列表1的DV。如果相邻区块具有来自列表1的DV，选择该DV以用于表示相邻区块的DV。如果相邻区块不具有任何来自列表0或列表1的DV，选择推导的或转换的DV作为相邻区块的DV，其中，从相应的深度区块中的深度值或零DV中转换形成该转换的DV。或者，可使用零DV表示该不可用相邻区块的DV。从用于列表0和列表1的多个相邻区块的至少一个DV或相应的深度信息中推导统一的DV。例如，该统一的DV为三个相邻区块的所选择的DV的中间值；又例如，该统一的DV为从相应的深度区块的四个角落深度值(corner depth value)的最大值中推导的。该统一的DV从当前区块(610)的中心位置(612)指向相关视图中的位置(622)，且区块620覆盖位置622。使用相关视图中的区块620的运动信息(包括列表0MV(MVC0,L0)和列表1MV(MVC0,L1))作为当前区块(610)的视图间MVP候选项。
图7为根据本发明一个实施例的用于3D视频编码系统包括统一的列表0和列表1DV推导的流程图。统一的列表0和列表1DV推导过程的输入数据包括相关视图中相应于纹理图像的相邻区块A、B及C的运动数据(710)和相关视图中当前区块(750)的深度数据。在步骤720中，检查相应于相邻区块的列表0DV和列表1DV的可用性。如果，用于相邻区块的列表0DV和列表1DV都不可用，如步骤730中所示，以从相应于当前区块的深度数据中转换形成的DV替换该DV。用于替换不可用DV的视差矢量可对应于相应于当前区块(760)的四个角落深度值的最大视差。如步骤740中所示，根据多个DV的中间值确定最终的视差。在推导了用于当前区块(770)的视差矢量之后，可识别覆盖参考视图的对应区块(780)中的对应点(782)的区块(784)。当前区块的位置772对应于中心位置。可使用相应于区块784的运动矢量(列表0MV,列表1MV)作为视图间MVP候选项。
根据查找顺序，DV推导可来自于相邻区块的DV。查找顺序可为预定义的，且一些示例查找顺序如下所示(L0为列表0且L1为列表1)：
a.L0DV of A→L0DV of B→L0DV of C
b.A的L1DV→B的L1DV→C的L1DV
c.A的L0DV→B的L0DV→C的L0DV→A的L1DV→B的L1DV→C的L1DV
d.A的L0DV→A的L1DV→B的L0DV→B的L1DV→C的L0DV→C的L1DV
e.A的L0DV→B的L0DV→C的L0DV→从深度转换形成的值
f.A的L1DV→B的L1DV→C的L1DV→从深度转换形成的值
g.A的L0DV→B的L0DV→C的L0DV→A的L1DV→B的L1DV→C的L1DV→从深度转换形成的值
h.A的L0DV→A的L1DV→B的L0DV→B的L1DV→C的L0DV→C的L1DV→从深度转换形成的值
在上述列出的每个查找顺序中，检查相应于相邻区块的DV的可用性。在查找顺序a的示例中，首先查找A的L0DV(即指向列表0中参考图像的区块A的DV)，然后是B的L0DV(即指向列表0中参考图像的区块B的DV)，再是C的L0DV(即指向列表0中参考图像的区块C的DV)。在查找顺序e的示例中，根据A、B及C的顺序查找区块A、B及C的L0DV。如果没有任何相邻区块具有可用DV，则DV为从相应于当前区块的深度信息转换形成。在推导相邻区块的所有DV之后，对DV应用中值滤波(median filter)以选择最终的DV。然后将最终DV用于定位参考图像中的对应区块。从对应区块的MV中推导视图间MVP候选项。在同一的DV推导过程中，一旦发现可用的DV则终止查找。
本发明的一个方面将解决在基于优先级的MVP候选项推导的DV推导过程中没有DV可用或没有所需的DV可用的问题。对于无可用DV或者无所需DV的情形，一些示例流程如下所述。在第一个示例中，使用如上所述的查找顺序从多个相邻区块中推断DV推导。如果没有可用DV为可用的(例如，没有指向目标视图间参考图像的DV，或者没有可用或允许的深度)，使用零视差矢量或者将视图间MVP候选项设置为不可用。在第二示例中，在通过根据如上所述的查找顺序推断多个相邻区块的DV的DV推导期间，检查由DV定位的对应区块的MV。如果推断的DV为帧内编码或不可用，根据查找顺序中的下一区块，继续查找过程。如果没有可用DV(指向目标视图间图像的DV)，使用零视差矢量或者将视图间MVP候选项设置为不可用。在第三示例中，在通过根据如上所述的查找顺序推断多个相邻区块的DV的DV推导期间，检查由DV定位的对应区块的MV。如果对应的区块为帧内编码或不可用，查找流程将推断来自相邻区块或从深度区块推导的另一DV，并继续查找。如果新的对应区块为帧内编码或MV不可用，流程继续直至找到第一个可用的视图间MVP候选项。
在本发明的另一个实施例中，分别推断视图间候选项的列表0MV和列表1MV。可使用上述的查找顺序或者使用传统流程(如3DV-ATM-5.0中描述的流程)推导视图间MVP的初始列表0MV和列表1MV。如果初始列表不可用且仅相邻区块可用于推导DV(即，没有符合的相应于当前区块的深度信息)，则将视图间MVP候选项设置为不可用。当初始DV不可用时，如果允许从深度图像(depth map)中推导DV且深度图像为可用时，使用从深度图像转换的DV作为推导的DV。然后将推导的DV用于定位视图间参考图像中的对应区块，且使用该对应区块的相同列表中的MV作为视图间MVP候选项。而如果对应的区块为帧内编码或不可用，将视图间MVP候选项设置为不可用。否则，对于每个列表MV，将相同列表中的对应区块的MV用作视图间MVP候选项。根据本发明的另一个实施例，对于每个列表，如果视图间候选项不可用，将其他空间MVP候选项用作列表的最终MVP。
本发明的另一方面解决空间MVP候选项的MV推导过程中的问题。为了克服上述之问题，本发明的一个实施例将目标参考索引限制为零以用于跳过和直接模式。因此，用于跳过和直接模式的目标参考索引为零。在根据本发明的另一个实施例中，统一用于直接和跳过模式的目标参考索引。例如，可将用于直接和跳过模式的目标参考索引设置为零。在根据本发明的再一个实施例中，将用于直接和/或跳过模式的目标参考索引设置为直接及/或跳过模式中空间相邻区块的目标参考索引。在根据本发明的另一个实施例中，如果目标参考索引指向时间参考图像，空间MVP候选项的推导流程首先为每个相邻区块检查是否相邻区块具有指向目标参考索引的MV，或者是否参考视图中的当前区块的对应区块或相邻区块的对应区块具有指向目标参考索引的任何MV。如果相邻区块和相应于当前区块和相邻区块的对应区块都不具有指向目标参考索引的任何MV，使用零MV来表示相邻区块的MV。在根据本发明的又一个实施例中，如果目标参考索引指向时间参考图像，空间(MVP)候选项的推导过程首先为每个相邻区块检查是否参考视图中相邻区块的对应区块具有指向目标参考索引的任何MV。如果相邻区块和相应于当前区块和参考视图中相邻区块的对应区块都不具有指向目标参考索引的任何MV，使用零MV来表示相邻区块的MV。
图8为根据本发明的一个实施例包括基于相邻区块的统一视差矢量的三维编码或解码系统的流程图。如步骤810所示，该系统接收相关视图中相应于当前区块的输入数据。对于编码，相应于当前区块的输入数据对应于待编码的原像素数据、深度数据或相应于当前区块的其他信息(例如，运动矢量、视差矢量、运动矢量差值或视差矢量差值)。对于解码，该输入数据对应于相应于相关视图中的当前区块的已编码数据。可从存储(例如计算机存储器、缓存(RAM或DRAM)或其他媒介)中撷取输入数据。也可从处理器(例如控制器、中央处理单元、数字信号处理器或产生输入数据的电子电路)中接收输入数据。如步骤820中所示，基于当前区块的相邻区块或相应于当前区块的深度信息推导统一的DV。如步骤830中所示，根据统一的DV定位参考视图中的单一对应区块。如步骤840中所示，从该参考视图中的该单一对应区块中推导视图间运动矢量预测候选项以用于列表0和列表1；其中，该视图间运动矢量预测候选项的列表0运动矢量和列表1运动矢量都是从根据该统一的视差矢量定位的该单一对应区块中推导的。如步骤850中所示，在推导该视图间MVP候选项之后，使用包括该视图间MVP候选项的预测信息对该输入数据进行编码或解码。
上述的流程图意在描述使用视差矢量的视图间预测的示例。所属领域技术人员可修改每个步骤、重排步骤、分割步骤或组合步骤以在不脱离本发明精神的范围内实现本发明。
上述的叙述以足够的细节叙述使本领域技术人员能藉由上述的描述实施本发明所揭露的系统以及方法。对本领域技术人员而言，对上述实施例的各种修改为显而易见的，以及本发明所定义的原理亦可应用于其它实施例中。因此，前述的实施例并非用于限定本发明范围，但符合本发明所揭露的原理以及新颖特征的最大范围。在上述的详细描述中，所描述的各种特定细节用于彻底理解本发明。然而，本领域技术人员皆可理解并实施上述特定细节。
前述本发明的示范实施例可透过各种硬件、软件编码或者两者的结合实现。举例来说，本发明一个实施例可为嵌入于视频压缩芯片中的电路或者嵌入于视频压缩软件的程序编码以执行本发明所述的程序。本发明一实施例亦可为数字信号处理器所执行的程序编码以执行本发明所述的程序。本发明亦可包括由电脑处理器、数字信号处理器、微处理器或者现场可编辑逻辑门阵列(field programmable gate array,FPGA)所执行的复数功能。上述的处理器通过定义本发明的特定方法的电脑可读取软件编码或者固件编码执行特定任务。软件编码或者固件编码可为不同的程序语言以及不同的格式或者类型。亦可对不同的目标平台编译软件编码。无论如何，根据本发明的软件编码的不同编码格式、类型以及语言以及用于执行任务的其它配置编码将不脱离本发明的精神以及范围。
在不脱离本发明的精神以及范围内，本发明可以其它特定格式呈现。所描述的实施例在所有方面仅用于说明的目的而并非用于限制本发明。本发明的保护范围当视后附的权利要求所界定者为准。本领域技术人员皆在不脱离本发明的精神以及范围内做些许更动与润饰。

Claims (15)

1.一种三维视频编码和多视图视频编码方法，其中，多个参考图像包括列表0参考图像和列表1参考图像，该方法包括：
在相关视图中接收相应于当前区块的输入数据；
基于该当前区块的多个相邻区块或相应于该当前区块的深度信息推导统一的视差矢量；
根据该统一的视差矢量定位参考视图中的单一对应区块；
从该参考视图中的该单一对应区块中推导视图间运动矢量预测候选项；其中，该视图间运动矢量预测候选项的列表0运动矢量和列表1运动矢量都是从根据该统一的视差矢量定位的该单一对应区块中推导的；以及
使用包括该视图间运动矢量预测候选项的预测信息对该输入数据进行编码或解码。
2.如权利要求1所述的三维视频编码和多视图视频编码方法，其特征在于，该多个相邻区块包括左区块、上区块及右上区块，且其中如果相应于该右上区块的视差矢量为不可用的，则由左上区块替代该右上区块。
3.如权利要求2所述的三维视频编码和多视图视频编码方法，其特征在于，根据查找顺序从该多个相邻区块的多个视差矢量中推导该统一的视差矢量，且其中该查找顺序对应于首先查找该左区块，然后是上区块，再是右上区块。
4.如权利要求1所述的三维视频编码和多视图视频编码方法，其特征在于，根据查找顺序从该多个相邻区块的多个视差矢量中推导该统一的视差矢量。
5.如权利要求1所述的三维视频编码和多视图视频编码方法，其特征在于，从相应于该列表0参考图像和该列表1参考图像的该多个相邻区块的多个视差矢量推导该统一的视差矢量。
6.如权利要求5所述的三维视频编码和多视图视频编码方法，其特征在于，检查一个列表中的每个相邻区块的视差矢量以查找可用的视差矢量；如果在该列表中无视差矢量可用，检查另一个列表中的每个相邻区块的视差矢量以查找该可用的视差矢量；将该可用的视差矢量指定为该每个相邻区块的选择的视差矢量；其中，从该列表0参考图像和该列表1参考图像组成的群组中选择该每一个列表。
7.如权利要求6所述的三维视频编码和多视图视频编码方法，其特征在于，如果在检查该列表0参考图像和该列表1参考图像中的每个相邻区块的视差矢量之后发现无可用视差矢量用于该每个相邻区块，使用零视差矢量或转换的视差矢量作为该每个相邻区块的该选择的视差矢量，其中，从该每个相邻区块的一或多个深度值、一或多个相邻纹理或多个深度区块中转换形成该转换的视差矢量。
8.如权利要求6所述的三维视频编码和多视图视频编码方法，其特征在于，根据该多个相邻区块的多个选择的视差矢量的中间值、最小值、最大值、平均值或线性组合推导该统一的视差矢量。
9.如权利要求5所述的三维视频编码和多视图视频编码方法，其特征在于，通过首先检查一个列表中的该多个相邻区块的该多个视差矢量以查找可用的视差矢量而推导该统一的视差矢量；如果无视差矢量可用，通过检查另一个列表中的该多个相邻区块的该多个视差矢量以查找该可用的视差矢量而推导该统一的视差矢量；且其中从包括该列表0参考图像和该列表1参考图像的群组中选择该列表。
10.如权利要求9所述的三维视频编码和多视图视频编码方法，其特征在于，当找到一个可用视差矢量时则停止检查该多个相邻区块的该多个视差矢量。
11.如权利要求9所述的三维视频编码和多视图视频编码方法，其特征在于，如果一个相邻区块的该视差矢量不存在，或者由该视差矢量定位的该对应区块为帧内编码或不可用，将该相邻区块的该视差矢量计为不可用。
12.如权利要求9所述的三维视频编码和多视图视频编码方法，其特征在于，如果在检查该列表0参考图像和该列表1参考图像中的该多个相邻区块的该多个视差矢量之后发现无可用视差矢量用于该多个相邻区块，使用零视差矢量或转换的视差矢量作为该每个相邻区块的该选择的视差矢量，其中，从相应于该当前区块的一或多个深度值中转换形成该转换的视差矢量。
13.如权利要求1所述的三维视频编码和多视图视频编码方法，其特征在于，通过转换相应于该当前区块的一或多个深度值而推导该统一的视差矢量。
14.如权利要求13所述的三维视频编码和多视图视频编码方法，其特征在于，通过转换相应于当前区块的四个角落的深度值而推导该统一的视差矢量。
15.一种用于三维视频编码和多视图视频编码的装置，其中，多个参考图像包括列表0参考图像和列表1参考图像，该装置包括：
用于在相关视图中接收相应于当前区块的输入数据的电子电路；
用于基于该当前区块的多个相邻区块或相应于该当前区块的深度信息推导统一的视差矢量的电子电路；
用于根据该统一的视差矢量定位参考视图中的单一对应区块的电子电路；
用于从该参考视图中的该单一对应区块中推导视图间运动矢量预测候选项的电子电路；其中，该视图间运动矢量预测候选项的列表0运动矢量和列表1运动矢量都是从根据该统一的视差矢量定位的该单一对应区块中推导的；以及
用于使用包括该视图间运动矢量预测候选项的预测信息对该输入数据进行编码或解码的电子电路。
CN201380052117.8A 2012-10-03 2013-09-25 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置 Active CN104704819B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261744887P 2012-10-03 2012-10-03
US61/744,887 2012-10-03
US201361749458P 2013-01-07 2013-01-07
US61/749,458 2013-01-07
PCT/CN2013/084206 WO2014053090A1 (en) 2012-10-03 2013-09-25 Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3d video coding

Publications (2)

Publication Number Publication Date
CN104704819A CN104704819A (zh) 2015-06-10
CN104704819B true CN104704819B (zh) 2016-12-21

Family

ID=50434364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380052117.8A Active CN104704819B (zh) 2012-10-03 2013-09-25 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置

Country Status (3)

Country Link
US (1) US9736498B2 (zh)
CN (1) CN104704819B (zh)
WO (1) WO2014053090A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014005280A1 (en) * 2012-07-03 2014-01-09 Mediatek Singapore Pte. Ltd. Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction
US9736498B2 (en) * 2012-10-03 2017-08-15 Mediatek Inc. Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
WO2014166063A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Default vector for disparity vector derivation for 3d video coding
CN105122808B (zh) * 2013-04-10 2018-08-03 联发科技股份有限公司 三维或多视图视频编码或解码的方法及装置
US10009621B2 (en) * 2013-05-31 2018-06-26 Qualcomm Incorporated Advanced depth inter coding based on disparity of depth blocks
US9800895B2 (en) 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
WO2015100731A1 (en) * 2014-01-03 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for determining the prediction partitions
CN108293131B (zh) * 2015-11-20 2021-08-31 联发科技股份有限公司 基于优先级运动矢量预测子推导的方法及装置
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US11516496B2 (en) * 2018-03-21 2022-11-29 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium storing bitstream
BR122021006490A2 (pt) * 2018-08-09 2021-05-18 Lg Electronics Inc. método de decodificação de imagem com base na predição de movimento afim e dispositivo usando lista de candidatos à fusão afins no sistema de codificação de imagem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101601304A (zh) * 2007-01-11 2009-12-09 三星电子株式会社 用于对多视图图像进行编码和解码的方法和设备
EP2207351A1 (en) * 2007-10-15 2010-07-14 Huawei Technologies Co., Ltd. The video encoding and decoding method and corresponding codec based on the motion skip mode
CN101816180A (zh) * 2007-08-06 2010-08-25 汤姆森特许公司 利用多个视图间参考画面的运动跳跃模式的方法和装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
CN101621683A (zh) 2008-07-01 2010-01-06 邹采荣 一种基于avs的快速立体视频编码方法
CN101600108B (zh) 2009-06-26 2011-02-02 北京工业大学 一种多视点视频编码中的运动和视差联合估计方法
KR101598855B1 (ko) 2010-05-11 2016-03-14 삼성전자주식회사 입체영상 부호화 장치 및 방법
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
WO2012073481A1 (ja) 2010-11-29 2012-06-07 パナソニック株式会社 動画像符号化方法および動画像復号化方法
CN102227132B (zh) 2011-05-25 2017-04-12 深圳市云宙多媒体技术有限公司 一种运动矢量预测编解码方法、装置及编解码系统
AU2012336572B2 (en) * 2011-11-08 2015-09-17 Samsung Electronics Co., Ltd. Method and device for determining motion vector for video coding or video decoding
WO2013068548A2 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
WO2014005548A1 (en) * 2012-07-05 2014-01-09 Mediatek Inc. Method and apparatus of unified disparity vector derivation for 3d video coding
WO2014053095A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus for inter-component motion prediction in three-dimensional video coding
US9736498B2 (en) * 2012-10-03 2017-08-15 Mediatek Inc. Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
US9237345B2 (en) * 2013-02-26 2016-01-12 Qualcomm Incorporated Neighbor block-based disparity vector derivation in 3D-AVC
WO2015006967A1 (en) * 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Simplified view synthesis prediction for 3d video coding
WO2015062002A1 (en) * 2013-10-31 2015-05-07 Mediatek Singapore Pte. Ltd. Methods for sub-pu level prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101601304A (zh) * 2007-01-11 2009-12-09 三星电子株式会社 用于对多视图图像进行编码和解码的方法和设备
CN101816180A (zh) * 2007-08-06 2010-08-25 汤姆森特许公司 利用多个视图间参考画面的运动跳跃模式的方法和装置
EP2207351A1 (en) * 2007-10-15 2010-07-14 Huawei Technologies Co., Ltd. The video encoding and decoding method and corresponding codec based on the motion skip mode

Also Published As

Publication number Publication date
CN104704819A (zh) 2015-06-10
US20150264397A1 (en) 2015-09-17
US9736498B2 (en) 2017-08-15
WO2014053090A1 (en) 2014-04-10

Similar Documents

Publication Publication Date Title
CN104704819B (zh) 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置
CN104718760B (zh) 用于三维和多视图视频编码的方法和装置
CN104412597B (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
US8351685B2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
KR101753171B1 (ko) 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법
CN106471807A (zh) 包括视角合成预测的三维或多视角视频的编码方法
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
CN105474640B (zh) 三维视频编码的摄像机参数发信的方法和装置
CN104798375B (zh) 用于多视点视频编码或解码的方法及装置
CN104662910A (zh) 3d视频编码中的虚拟深度值的方法和装置
EP2936815A1 (en) Method and apparatus of disparity vector derivation in 3d video coding
CA2921759C (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN104904219B (zh) 块编码装置及方法
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置
CN105247862A (zh) 三维视频编码中的视点合成预测的方法及装置
CN105432084B (zh) 用于三维视频编码的参考视图选择的方法
CN104412238B (zh) 获取图片中块的视图间候选运动矢量的方法和装置
CN105474643A (zh) 3d视频编码中简化的视图合成预测的方法
CN105379257A (zh) 用于三维视频编码的视差向量推导的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220419

Address after: Taiwan Hsinchu County Chinese jhubei City, Taiwan five yuan a Street No. 3 Building 7

Patentee after: MEDIATEK Inc.

Address before: Hsinchu Science Industrial Park, Taiwan, China

Patentee before: MEDIATEK Inc.