CN104798375B - 用于多视点视频编码或解码的方法及装置 - Google Patents

用于多视点视频编码或解码的方法及装置 Download PDF

Info

Publication number
CN104798375B
CN104798375B CN201380059923.8A CN201380059923A CN104798375B CN 104798375 B CN104798375 B CN 104798375B CN 201380059923 A CN201380059923 A CN 201380059923A CN 104798375 B CN104798375 B CN 104798375B
Authority
CN
China
Prior art keywords
disparity vector
viewpoint
block
vector
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380059923.8A
Other languages
English (en)
Other versions
CN104798375A (zh
Inventor
陈渏纹
林建良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of CN104798375A publication Critical patent/CN104798375A/zh
Application granted granted Critical
Publication of CN104798375B publication Critical patent/CN104798375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种用于三维视频编码或解码的具有约束条件的视差向量的方法及装置。在一个实施方式中，确定当前纹理区块的得到的视差向量，以及对视差向量应用或不应用视点间约束来得到最终得到的视差向量。然后，利用至少一选择的编码工具，对输入数据应用视点间预测编码或解码。其中，所有选择的编码工具使用相同的最终得到的视差向量，以及选择的编码工具包括视点间残差预测、视点合成预测以及视点间运动参数预测。

Description

用于多视点视频编码或解码的方法及装置
交叉引用
本发明主张在2012年11月16日提出的申请号为61/727,220、标题为“Controllingof disparity vector constraint for video coding”的美国临时专利申请的优先权，以及在2013年01月24日提出的申请号为61/756,043、标题为“Inter-view signalprediction conditional on disparity vector constraints for video”的美国临时专利申请的优先权。因此在全文中合并参考这些美国临时专利申请案。
技术领域
本发明是有关于三维视频编码，特别是有关于在三维视频编码中用于视点间(inter-view)残差预测和视点间运动参数预测的视差向量的推导。
背景技术
三维(Three-dimensional,3D)电视为近年来的技术发展趋势，并且三维电视给观众带来震撼的视觉体验。开发各种技术来应用三维显示方式。其中，相对于其他技术而言，多视点视频为三维电视的关键技术。现有的视频为二维媒体，其仅自摄像机的视角提供一个单一的场景给观众。然而，多视点视频能够提供动态场景的任意视点并给观众真实的感官体验。
多视点视频通常通过使用多个摄影机同时捕获场景来产生，其中适当放置多个摄影机的位置，以使得每一个摄影机自一个视点捕获场景。相应地，多个相机将捕获对应于多个视点的多视频序列。为提供更多视点，更多的摄影机用于产生多视点视频和与视点相关的大量视频序列。相应地，多视点视频需要大量的存储空间来存储及/或较高的带宽来传输。因此，开发多视点视频编码技术降低需要的存储空间或传输带宽。
一种直接的方法是对每一个单一视点视频序列简单地应用现有的视频编码技术，而不顾不同视点之间的任何关联。这样的编码系统的效率十分低。为改善多视点视频编码的效率，通常对多视点视频编码技术利用视点间冗余。因此，大多数三维视频编码系统会考虑与多视点和深度图相关的视频数据的关联。标准制定机构，ITU-T VCEG和ISO/IEC MPEG的联合视频工作组，将H.264/MPEG-4AVC标准扩展到用于立体声和多视点视频的多视点视频编码(multi-view video coding,以下简称为MVC)。
MVC采用时间和空间预测来提高压缩效率。在MVC的发展过程中，提出了一些宏块级的编码工具，包括亮度补偿(Illumination compensation)、自适应参考滤波、运动跳过模式(motion skip mode)、视点合成预测(view synthesis prediction)。这些编码工具利用多个视点之间的冗余。亮度补偿是为了补偿不同视点之间的亮度变化。自适应参考滤波是为了降低摄影机之间聚焦失配的变化。运动跳过模式允许自其它视点推导当前视点中的运动向量。视点合成预测用于自其他视点预测当前视点的图片。
在基于三维视频编码HEVC(3D-HTM)的参考软件中，为了重新使用先前编码的相邻视点的运动信息，加入视点间候选作为用于帧间(Inter)、合并和跳过模式的运动向量或视差向量候选。在3D-HTM中，用于压缩的基本单元称为编码单元，该编码单元是一个2Nx2N的方块。每一个编码单元可以递归地分割为四个更小的编码单元，直到达到预定的最小尺寸。每一个编码单元包括一个或多个预测单元。
为共享相邻视点的先前编码纹理信息，将称之为视差补偿预测(Disparity-Compensated Prediction,以下简称为DCP)的技术列入3D-HTM中作为运动补偿预测(motion-compensated prediction,以下简称为MCP)的替代编码工具。MCP为使用相同视点的先前编码图片的图片间(inter-picture)预测，而DCP为使用在同一存取单元中其他视点的先前编码图片的图片间预测。图1为包括将视差补偿预测作为运动补偿预测的替代方式的三维编码的示意图。其中,图1中的R代表参考图片索引(index)。用于DCP的向量110称为视差向量(disparity vector,以下简称为DV)，它类似于MCP中使用的运动向量。图1描述了与MCP相关的三个运动向量(运动向量120、运动向量130、运动向量140)。此外，自同样使用视点间参考图片的相邻区块或时间上同一位置的区块得到视差向量预测候选，并通过该视差向量预测候选来预测DCP区块的DV。在3D-HTM中，当得到用于合并/跳过模式的视点间合并候选时，若对应的区块的运动信息不可用或无效，则用DV代替视点间合并候选。
视点间残差预测(inter-view residual prediction)为用于3D-HTM的另一个编码工具。图2为利用相邻视点的先前编码信息或残差信息的三维编码的示意图。如图2所示，为共享相邻视点的先前编码纹理信息，通过在视点间图片中对应的区块的残差信息来预测当前预测区块的残差信号，即该对应的区块为参考残差的区块。通过各个DV来确定对应区块的位置。通过视点标识符(即，图2中的视点V0、视点V1、和视点V2)指示对应于特定摄影机位置的视频图片和深度图。属于相同摄影机位置的所有的视频图片和深度图均与相同的视点ID(即，视点标识符)相关。视点标识符用于指定在存取单元中的编码顺序和检测易于出错环境中失踪的视点。存取单元包括对应于同一时刻的所有视频图片和深度图。在存取单元中，当具有视点ID为0的视频图片和相关的深度图存在时，首先编码具有视点ID为0的视频图片和相关的深度图，然后编码具有视点ID为1的视频图片和相关的深度图。以此类推。视点ID为0的视点(即，图2中的视点V0)也称为基本视点或独立视点。基本视点视频图片可以使用现有的HEVC视频编码器来编码而不需要依赖其他视点。
由图2所示，对于当前区块，可以自视点间图片中的视点间区块得到运动向量预测子(motion vector predictor,MVP)/视差向量预测子(disparity vector predictor,DVP)。接下来，视点间图片中的视点间区块可以简称为视点间区块。得到的候选称为视点间候选，它们可以为视点间MVP或DVP。基于其他视点中的先前编码运动信息来编码当前区块(例如，当前预测单元)的运动信息的编码工具，称为视点间运动参数预测(inter-viewmotion parameter prediction)。此外，相邻视点中对应的区块称为视点间区块，并且使用自当前图片中的当前区块的深度信息得到视差向量，使用该视差向量确定视点间区块的位置。
视点合成预测(View synthesis prediction,以下简称为VSP)为自不同视点移除视频信号之间的视点间冗余的技术。在此技术中，合成信号用作预测当前图片的参考。在3D-HEVC测试模型中，存在一个得到视差向量预测子的过程。然后，将得到的视差向量用于提取参考视点中的深度图像的深度区块。提取的深度区块具有与当前预测单元相同的尺寸。然后提取的深度区块用于当前预测单元的向后扭曲(backward warp)。此外，扭曲操作能以一个子预测单元级精度来执行，例如，8x4或4x8区块。最大深度值用于子预测区块和扭曲在子预测区块中的所有像素。VSP技术用于纹理图片编码。在当前实践中，加入VSP技术作为新的合并候选，来用信号通知VSP的使用。在这种方式中，VSP区块可以是没有任何残差的跳过区块(skipped block)，或具有残差信息编码的合并区块。
在图2所示的示例对应于视点V0(即，基本视点)、视点V1和视点V2的视点编码顺序。在当前图片中要编码的当前区块在视点V2中。根据HTM3.1，即使视点间图片不在当前图片的参考图片清单中，在先前编码的视点中的参考区块的所有运动向量被认为是视点间候选。在图2中，帧210、帧220、帧230分别对应于来自视点V0、视点V1、视点V2的时刻t1的视频图片或深度图。区块232为在当前视点中的当前区块，以及区块212和区块222分别为视点V0和视点V1中的当前区块。对于视点V0中的当前区块212，视差向量216用于确定视点间对应位置(collocated)的区块214的位置。相似地，对于视点V1中的当前区块222，视差向量226用于确定视点间对应位置的区块224的位置。根据HTM3.1，与自任意编码的视点的视点间对应位置区块相关的运动向量或视差向量可以包括于视点间候选中。因此，视点间候选的数目相当大，这将需要更多处理时间和更大的存储空间。需要开发一种方法，能够降低处理时间及/或存储要求，而不会在BD率或其他性能方面引起系统性能的显著冲击。
在3DV-HTM中，视差向量也作为用于帧间模式的DVP候选，或作为用于合并模式/跳过模式的合并候选。得到的视差向量也可以作为用于视点间运动预测和视点间残差预测的偏移向量。图3A～图3B分别为当前区块的空间相邻区块和时间相邻区块以用于当前区块的视差向量的推导的示意图。如图3A和图3B所示，当作为偏移向量时，自空间或时间相邻区块得到DV。根据预定顺序，确定多个空间和时间相邻区块以及检测该空间和时间相邻区块的DV的可用性。基于(空间或时间上)相邻区块的用于DV推导的编码工具视为相邻区块视差向量(Neighboring Block DV,NBDV)。如图3A所示，空间相邻区块集包括对角穿过当前区块(区块310)的左下角的位置(即，区块A0)、相邻于当前区块(区块310)的左下侧的位置(即，区块A1)、对角穿过当前区块(区块310)的左上角的位置(即，区块B2)、对角穿过当前区块(区块310)的右上角的位置(即，区块B0)、以及相邻于当前区块(区块310)的右上侧的位置(即，区块B1)。如图3B所示，时间相邻区块集包括在时间参考图片中在当前区块(区块320)中心的位置(即，区块BCTR)、以及对角穿过当前区块的右下角的位置(即，区块RB)。除了中心位置之外，也可以使用在时间序列图片中的当前区块中的其他位置(例如，右下角区块)。换句话说，与当前区块同一位置的任意区块可以包括于时间相邻区块集中。一旦确定区块具有DV，结束检测过程。图3A中的用于空间相邻区块的示范性搜索顺序为(区块A1,区块B1,区块B0,区块A0,区块B2)。图3B中的用于时间相邻区块的示范性搜索顺序为(区块BR,区块BCTR)。空间和时间相邻区块与在HEVC中AMVP和合并模式的空间和时间相邻区块相同。
若在相邻区块集中没有找到DCP编码区块(即，图3A和图3B中所示的空间和时间相邻区块)，则自其它编码工具(例如，用于运动补偿预测的视差向量(以下简称为DV-MCP))得到视差信息。图4为基于运动补偿预测区块的视差向量的示意图，其中通过视差向量指定对应区块的位置。如图4所示，在此情况下，当相邻区块为MCP以及它的运动向量通过视点间运动预测来预测时，用于视点间运动预测的视差向量代表对应于在当前区块和视点间参考图片之间的运动。此种类型的运动向量称为视点间预测运动向量以及区块称为DV-MCP区块。图4为DV-MCP区块的示例。其中，自在视点间参考图片中对应的区块(区块420)预测DV-MCP区块(区块410)的运动向量。通过视差向量(即视差向量430)来指定对应的区块(区块420)的位置。在DV-MCP区块使用的视差向量代表对应于当前区块和视点间参考图片之间的运动。对应的区块(区块420)的运动信息(运动向量422)用于预测在当前视点中的当前区块(区块410)的运动信息(运动向量412)。
为了指示一个MVP区块是否为DV-MCP编码并为了存储用于视点间运动参数预测的视差向量，使用两个变量来代表每一个区块的运动向量信息。即，变量dvMcpFlag和变量dvMcpDisparity。
当变量dvMcpFlag为1时，设置变量dvMcpDisparity指示用于视点间运动参数预测的视差向量。在AMVP和合并候选清单的构造过程中，若通过视点间运动参数预测产生候选，则将候选的变量dvMcpFlag设置为1。否则，将候选的变量dvMcpFlag设置为0。自DV-MCP的视差向量为以下顺序，区块A0、区块A1、区块B0、区块B1、区块B2、同一位置的区块Col(即，区块BCTR或区块RB)。
一种自深度图提取更准确的视差向量来提高相邻区块视差向量(NeighboringBlock Disparity Vector,以下简称为NBDV)的方法用于当前3D-HEVC中。首先检索自相同存取单元中编码的深度图的深度块，并将该深度块用作当前区块的虚拟深度。这种DV推导的编码工具称之为深度导向的相邻区块视差向量。当在共同测试条件下编码视点1和视点2中的纹理时，自视点0中的深度图已经可用。因此，视点1和视点2中的纹理编码可以从视点0中的深度图获益。图5为基于区块的虚拟深度的估计视差向量的推导的示意图。如图5所示，自虚拟深度提取估计的视差向量。整体流程如下所示：
1.使用估计的视差向量，以确定在编码的纹理视点中对应区块的位置。其中，估计的视差向量为在当前3D-HTM中的相邻区块视差向量。
2.将用于当前区块(编码单元)的编码视点中的同一位置的深度当做虚拟深度。
3.自在先前步骤中检索的虚拟深度中的最大值，提取用于视点间运动预测的视差向量。
在图5所示的示例中，视点0中的编码深度图用于推导DV，以用于要编码的视点1中的纹理帧。根据在视点0中估计的视差向量540和编码深度图的当前区块的位置(区块520)，检索在编码视点V0中对应的深度区块(区块530)，以用于当前区块CB(区块510)。然后，检索的区块530作为当前区块的虚拟深度区块530’以得到DV。在虚拟深度区块530’中的最大值用于提取视差向量以用于视点间运动预测。
在当前基于先进视频编码的三维视频编码(3D video coding based onAdvanced Video Coding,3D-AVC)中，视差向量用于视差补偿预测、预测DV、和指示视点间对应的区块以得到视点间候选。
为了共享参考视点的先前编码纹理信息，视差补偿预测(disparity-compensatedprediction,DCP)的概念作为运动补偿预测的替代方式而添加。MCP指用于不同存取单元中相同视点的已编码图片的图片间预测，而DCP指用于在相同存取单元中其他视点的已编码图片的图片间预测。用于DCP的向量称为视差向量，类似于在MCP中使用的运动向量。
在帧间模式中，方向分离运动向量预测(Direction-Separate Motion VectorPrediction)为在3D-AVC中使用的另一种编码工具。图6A～图6B为用于帧间模式的方向分离的运动向量预测的示意图。方向分离运动向量预测由时间和视点间运动向量预测构成。若目标参考图片为时间预测图片，在运动向量预测的推导中采用当前区块Cb周围相邻区块(例如图6A中的区块A、区块B、和区块C)的时间运动向量。若时间运动向量不可用，则使用视点间运动向量。由深度转换的DV指示对应的区块，而得到视点间运动向量。然后，由相邻区块(区块A、区块B、和区块C)的运动向量的中值(median)得到运动向量预测。仅当区块C不可用时，使用区块D。
与此相反，若目标参考图片为视点间预测图片，则采用相邻区块的视点间运动向量，以用于视点间预测。若视点间运动向量不可用，则使用视差向量，该视差向量从在相关的深度区块中的四个角深度采样的最大深度值中得到。然后，由相邻区块(区块A、区块B、和区块C)的视点间运动向量的中值得到运动向量预测子。
当目标参考图片为视点间预测图片时，相邻区块的视点间运动向量用于得到视点间运动向量预测子。在图6B中的步骤610中，基于各个区块的纹理数据，得到空间相邻区块的视点间运动向量。例如，基于纹理数据得到区块A、区块B、和区块C的运动数据。在步骤660中，也提供与当前区块Cb相关的深度图。在步骤620中，检测区块A、区块B、和区块C的视点间运动向量预测的可用性。如步骤630中所示，若视点间运动向量不可用，则当前区块的视差向量用于代替不可用视点间运动向量，即用视差向量代替不可用区块的运动向量。如步骤670所示，自相关深度区块的最大深度值得到视差向量，即当前区块Cb的最大视差向量。区块A、区块B、和区块C的视点间运动向量的中值作为视点间运动向量预测子。如步骤640所示，现有的MVP过程，基于视点间MVP或时间MVP的运动向量的中值得到最终MVP。如步骤650所示，基于运动向量预测子执行运动向量编码。
基于跳过/直接模式(Skip/Direct mode)的MVP候选推导的优先级为另一种用于3D-AVC的编码工具。图7为基于用于跳过/直接模式的MVP候选推导的优先级的示意图。在跳过/直接模式中，基于预定推导顺序得到MVP候选：如图7所示，自相邻区块(区块A、区块B、和区块C(仅当C不可用时，使用区块D))得到视点间候选和三个空间候选的中值。
视点间MV候选的推导也如图7所示。在独立视点中的当前区块(710)的中点(712)及其视差向量用于查找在基本视点或参考视点中的对应点。之后，包括在基本视点中对应的点的区块的MV用作当前区块的视点间候选。自相邻区块(A、B、和C/D)和中点的深度值得到视差向量。具体地，若仅一个相邻区块具有视差向量，则该视差向量作为视差。否则，然后依据相邻区块A、B、和C的DV的中值720得到DV。若DV不可用，则使用自深度转换的DV来代替。得到的DV用于确定在参考图片730中的对应区块740的位置。
如上所述，在3D视频编码中用于3D-HEVC和3D-AVC的DV推导很关键。考虑调整测试3D序列以及在视点间非垂直移动的情况下，可能一些编码工具仅使用不具有垂直分量的DV用于视点间数据存取。然而，当没有调整输入数据时，仍然需要DV的垂直分量来指示在其他视点中正确的对应区块。
发明内容
本发明揭示了一种用于三维视频编码或解码的方法和装置。根据本发明的一个实施方式，确定用于当前纹理区块的得到的视差向量，以及将得到的视差向量应用视差向量约束或不应用视差向量约束来获得最终得到的视差向量。然后利用至少一个选择的编码工具来对该输入数据应用视点间预测编码或解码，其中，所有选择的编码工具使用同一最终得到的视差向量，以及该选择的编码工具包括视点间残差预测、视点合成预测、以及视点间运动参数预测。最终得到的视差向量用于确定在视点间图片中的参考残差的区块的位置，以用于视点间残差预测，以及将最终得到的视差向量或与参考区块相关的相关运动向量用作视点间运动向量预测子，以用于视点间运动参数预测，其中通过最终得到的视差向量来确定参考区块的位置；以及最终得到的视差向量用于确定在视点间深度图片中的参考深度区块的位置，以用于视点合成预测。编码工具可不包括视差补偿预测。根据视差向量约束指示，确定对得到的视差向量应用视差向量约束或不应用视差向量约束，以及根据编码配置文件确定视差向量约束指示。
在一个实施方式中，当视差向量约束应用于第一配置文件时，该选择的编码工具不包括视差补偿预测，以及利用视差补偿预测的视差向量推导得到的视差向量的垂直分量被设置为减小的范围，用于该选择的编码工具的得到的视差向量的垂直分量被设置为0。在视频参数集、图片参数集、序列参数集、切片头、序列级、视点级、图片级、切片级，最大编码单元级、编码树单元(Coding Tree Unit,CTU)级、编码单元级或预测单元级中，使用语法元素发信号该视差向量约束条件。视差向量约束设置最终得到的视差向量的垂直分量或水平分量为0或减小的范围。
本发明的另一方面描述了视点间残差预测的插值过程。当最终得到的视差向量指向子采样位置以及应用视差向量约束时，通过使用一维滤波器插值参考视点的残差采样来得到用于该视点间残差预测的残差预测信号。然而，若不应用视差向量约束，通过使用二维滤波器插值参考视点的残差采样来得到用于视点间残差预测的残差预测信号。对于深度导向的相邻区块视差向量以及当该最终得到的视差向量指向子采样位置以及应用视差向量约束时，通过使用一维滤波器插值参考视点的深度采样来得到用于深度导向的相邻区块视差向量的深度信号。然而，当不应用视差向量约束时，通过使用二维滤波器插值参考视点的残差采样来得到用于深度导向的相邻区块视差向量的深度信号。二维滤波器为二维舍入滤波器，该二维舍入滤波器使用舍入的视差向量来指向第一整数值深度采样的第一值，通过舍入该最终得到的视差向量为整数值来得到舍入的视差向量。当视差向量约束指示指出视差向量约束使能时，通过深度导向的相邻区块视差向量得到该得到的视差向量的垂直分量被设置为0。
本发明所提出的用于多视点视频编码或解码的方法及装置，可提高系统的性能。
附图说明
图1为包括将视差补偿预测作为运动补偿预测的替代方式的三维编码的示意图。
图2为利用相邻视点的先前编码信息或残差信息的三维编码的示意图。
图3A～图3B分别为当前区块的空间相邻区块和时间相邻区块以用于当前区块的视差向量的的推导的示意图。
图4为基于运动补偿预测区块的视差向量的示意图。
图5为基于区块的虚拟深度的估计视差向量的推导的示意图。
图6A～图6B为用于帧间模式的方向分离的运动向量预测的示意图。
图7为基于用于跳过/直接模式的MVP候选推导的优先级的示意图。
图8为根据本发明实施方式的包括约束条件的视差向量的视点间预测编码系统的示范性流程图。
具体实施方式
如上所述，在3D视频编码中用于3D-HEVC和3D-AVC的DV推导很关键。在本发明实施方式中，揭示了有条件地对视差向量应用约束或移除约束。此外，该方法可以选择性地应用于3D和多视点视频编码系统中的DV。
在现有的3D-HEVC和3D-AVC中，在一些编码工具中应用约束以强制DV垂直分量为0。然而，在其他编码工具中，不将约束应用于DV垂直分量。在本发明的一个实施方式中，对于除了用于视差补偿预测的DV之外，所有编码工具以统一的方式对DV应用或移除约束。换句话说，除用于DCP之外的所有DV的垂直分量被强制为0(或在比原始DV更小的范围内)或允许其具有非零值。也可以对DV的水平分量应用约束。此外，可以仅对用于选择编码工具的DV应用约束。用于其他编码工具的DV可不受任何约束。或者，可以将不同的约束应用于用于其他编码工具的DV。
在现有的3D-HEVC和3D-AVC中，仅将自DV-MCP区块得到的DV的水平分量进行存储，而丢弃垂直分量。当对DV移除约束时，自DV-MCP区块得到的DV的垂直分量可不为0。在此情况下，可以存储得到的DV的垂直分量。DV的约束条件可以应用于自DV-MCP区块得到的DV。相似地，DV的约束条件可以应用于其他3D视频编码工具。
上面提到的约束条件强制DV的垂直分量(或水平分量)为0或从M到N的预定范围内的较小值。在特定的实施方式中，使用DV的水平分量(或垂直分量)，而不是设定DV的垂直分离(水平分量)为0。因此，可以节省一些存储器缓冲区。此外，一个附加的语法元素可以在视频参数集、图片参数集(picture parameter set,PPS)、序列参数集(sequence parameterset,SPS),切片头(slice header)、序列级(sequence level)、视点级、图片级、切片级(slice level)、最大编码单元级(LCU level)、编码树单元级(CTU)、编码单元级(CUlevel)、预测单元级(PU level)、或其他级别中发信号，以指示哪个分量(垂直或水平)受约束。
DV的约束条件可以基于以下条件：
1.当摄像机水平排列时。
2.当输入多视点视频被调整(rectify)时。
3当在视点之间不存在垂直视差时。
4.当相机的光轴是水平的并且调整视点以使得不存在垂直视差时。
5.当摄像机垂直布置时。
6.当在视点之间不存在水平视差时。
7.当照相机的光轴是垂直的并且调整视点以使得不存在水平视差时。
在本发明的一实施方式中，根据DV约束指示，确定对得到的DV应用DV约束或不应用DV约束。可以在视频参数集(video parameter set,VPS)、PPS、SPS、切片头、序列级(sequence level)、视点级、图片级、切片级(slice level)、最大编码单元级(LCU level)、编码树单元级、编码单元级(CU level)、预测单元级(PU level)、或其他级别中发信号附加的语法元素，以指示约束是否应用于DV。即，在视频参数集、图片参数集、序列参数集、切片头、序列级、视点级、图片级、切片级，最大编码单元级、编码树单元级、编码单元级或预测单元级中，使用语法元素发信号DV约束条件。在另一实施方式中使用配置文件(profile)独立方案，以指示约束是否应用于DV的推导。在编码系统中，通常定义编码配置文件，以配置不同应用的编码系统，举例来说，主配置文件可以用于普通的应用。
可以单独或结合使用上述示范性条件。举例来说，可以发信号语法元素，以指示用于DCP的DV的垂直分量是否在较小的范围内，以及除用于DCP之外的所有DV的垂直分量是否均强制为0。在另一示例中，发信号语法元素，以指示除用于DCP之外的所有DV的垂直分量是否被强制为0。在此情况下，用于DCP的DV的垂直分量可以限制在一个缩小的范围或不依赖默认设置，而不需要发送附加语法元素。在又一实施方式中，发信号语法元素，以指示用于DCP的DV的垂直分量是否在一个缩小的范围内。除用于DCP之外的所有DV的垂直分量可以为0值或依赖默认设置的非0值，而不需要发送附加的语法元素。在又一实施方式中，发信号附加的语法元素，以指示用于DCP的DV的垂直分量是否在减小的范围内。此外，发信号附加的语法元素，以指示除用于DCP之外的所有DV的垂直分量是否强制为0。在又一实施方式中，对于特定的配置文件选择，用于DCP的DV的垂直分量在减小的范围内，以及除DCP之外的所有DV的垂直分量被强制为0。
在本发明的其他实施方式中，约束条件应用于3D和多视点视频编码系统中的自适应编码。DV约束对应于在特定范围内得到的DV的限制的x分量(即，水平分量)、y分量(即，垂直分量)、或其组合。
在本发明的实施方式中，当视差向量指向子采样位置时，描述了用于视点间残差预测的DV的约束条件的推导。在此情况下，通过使用一维滤波器插值参考视点的残差采样得到残差预测信号。自以下清单选择一维滤波器：
1.一维线性滤波器，
2.一维平均滤波器，其平均两个最近的整数残差采样，
3.一维最小值滤波器，其选择两个最近的整数残差采样的最小值，
4.一维最大值滤波器，其选择两个最近的整数残差采样的最大值，
5.一维舍入滤波器(rounding filter)，其使用由舍入的DV指向的整数残差采样的值，以及
6.一维截断滤波器(truncating filter)，其使用由截断的DV指向的整数残差采样的值。
若禁能视点间残差预测的DV约束以及若视差向量指向子采样位置，则通过使用二维滤波器插值参考视点的残差采样得到残差预测信号。二维滤波器可以自如下清单选择：
1.二维双线性滤波器，
2.二维平均滤波器，其平均四个最近的整数残差采样，
3.二维最小值滤波器，其选择四个最近的整数残差采样的最小值，
4.二维最大值滤波器，其选择四个最近的整数残差采样的最大值，
5.二维中值滤波器，其使用四个最近的整数残差采样的中值，以及
6.二维舍入滤波器(rounding filter)，其使用由舍入的DV指向的整数残差采样的值，
7.二维截断滤波器(truncating filter)，其使用由截断的DV指向的整数残差采样的值。
上述清单描述了用于图像处理的一些已知的一维滤波器。然而，此清单并非穷举所有方式。在本发明的其他实施方式中，当视差向量指向子采样位置时，描述了深度导向的相邻区块视差向量(Depth-oriented Neighboring Block Disparity Vector,以下简称为DoNBDV)的约束条件的推导。在此情况下，通过使用一维滤波器插值参考视点的深度采样得到在参考视点中的深度信号。也就是说，编码工具进一步包括深度导向的相邻区块视差向量，以及当最终得到的视差向量指向子采样位置以及应用视差向量约束时，通过使用一维滤波器插值参考视点的深度采样来得到用于深度导向的相邻区块视差向量的深度信号。一维滤波器可以选自同一一维滤波器清单，以作为具有DV条件约束使能的视点间残差预测。在本发明的一个实施方式中，一维滤波器为一维舍入滤波器，该一维舍入滤波器使用由舍入的视差向量指向的第一整数深度采样的第一值，将最终得到的视差向量舍入为一个整数值得到舍入的视差向量。根据本发明的一实施方式，当应用视差向量约束时，通过深度导向的相邻区块视差向量得到的视差向量的垂直分量，该垂直分量被设置为0。
若禁能深度导向的相邻区块视差向量的DV约束条件以及若视差向量指向子采样位置，则通过使用二维滤波器插值参考视点的深度采样得到参考视点的深度信号。即，编码工具进一步包括深度导向的相邻区块视差向量，以及当最终得到的视差向量指向子采样位置以及不应用视差向量约束指示时，通过使用二维滤波器插值参考视点的深度采样得到用于深度导向的相邻区块视差向量的深度信号。二维滤波器可以选自同一二维滤波器清单，以作为具有DV条件约束禁能的视点间残差预测。在一个实施方式中，将二维滤波器用于插值，该二维滤波器为使用通过舍入DV指向的第一整数深度采样的第一值的二维舍入滤波器，其中将最终得到的DV舍入为一个整数值来得到舍入的DV。
将包括本发明实施方式的系统的性能与现有的系统的性能进行比较。将测试序列指定为公用测试条件(common test condition,以下简称为CTC)序列和多视点编码(multi-view coding,MVC)测试序列，以用于比较系统性能。调整CTC序列(CTC_Noshift)，以及CTC序列(CTC_Noshift)不包括DV垂直分量。然而，在实际应用中，不会总是调整输入多视点视频。因此，具有垂直分量的CTC序列(CTC_Shift16,CTC_Shift32和CTC_Shift64)也可以用于测试。相似地，MVC序列包括具有DV垂直分量的测试序列(MVC_Shift)和不具有DV垂直分量的测试序列(MVC_NoShift)。表1概括了在现有的HTM中的DV约束和包括本发明实施方式的系统的DV约束。换句话说，系统1对应于HTM-5.1系统，系统2对应于本发明的实施方式，系统2具有用于视点间残差预测和视点间运动参数预测的使能的DV约束，以及系统3对应于本发明的实施方式，系统3具有视点间残差预测和视点间运动参数预测的禁能的DV约束。
表1
视点间残差预测 视点间运动参数预测
1 HTM-5.1 开启 关闭
2 使能的DV约束 开启 开启
3 禁能的DV约束 关闭 关闭
HTM-5.1作为参照物(anchor system)以用于比较。与参照物相比，包括本发明实施方式的系统的编码性能如表2所示。使用具有垂直分量和不具有DV垂直分量的CTC和MVC测试序列来执行性能比较。表2描述了视点1(视频1)、视点2(视频2)和取得给定峰值信噪比的整体比特率(given peak Signal-to-Noise ratio)(视频峰值信噪比/总比特率(videoPSNR/total bitrate))中的纹理图片的BD率差异。在BD率中的负值意味着本发明具有更高的性能(即，较低的比特率)。如表2所示，当在源测试序列中不存在DV垂直分量时，将用于具有使能或禁能DV约束的当前发明的BD率与HTM-5.1的性能进行比较(在总比特率中降低0.3％的稍微更好的性能)。然而，禁能具有视图间的垂直偏移的序列的DV约束可以分别达到对于具有偏移的MVC序列的总BD率降低0.7％和对于具有偏移的CTC序列的总BD率降低0.3％。另一方面，如表2所示，当源测试序列包括视图间的垂直偏移时，使能DV约束可能引起显著的性能恶化(丢失总比特率达到3％)。
表2
图8为根据本发明实施方式的包括视差向量约束条件的三维编码或解码系统的流程图。如步骤810所示，系统接收与当前纹理帧的当前纹理区块相关的输入数据，该当前纹理帧对应于独立视图。对于编码来说，与当前纹理区块相关的输入数据对应于原始像素数据、深度数据、残差数据、或要编码的与当前区块相关的其他信息(例如，运动向量、视差向量、运动向量差异、或视差向量差异)。对于解码来说，输入数据对应于要解码的已编码纹理区块。自存储器(例如，计算机存储器、缓冲器(RAM、ROM)或其他媒体)得到输入数据。也可以自处理器(例如，控制器、中央处理器、数字信号处理器或产生第一数据的电子电路)接收输入数据。如步骤820所示，确定得到的视差向量，以用于当前纹理区块。如步骤830所示，将DV约束应用于或不应用于得到的DV，以得到最终得到的DV。举例来说，根据视差向量约束指示，确定对得到的DV应用视差向量约束或不应用视差向量约束。如步骤840所示，利用至少一选择的编码工具，将视点间预测编码或解码应用于输入数据，其中所有选择的编码工具使用同一最后得到的DV，以及该选择的编码工具包括视点间残差预测、视图合成预测、以及视点间运动参数预测。
如上所述的流程图仅用于解释使用条件约束的视差向量的帧间视图预测的示例。本领域技术人员可以修改每一个步骤、对每一个步骤重新排序、分解一个步骤、或将步骤进行组合，以在不脱离本发明精神的前提下实现本发明。
在提供特定应用和其需求的情况下，以上描述使得本领域技术人员能够实现本发明。对本领域技术人员来说，各种修饰是清楚的，以及在此定义的基本原理可以应用与其他实施方式。因此，本发明并不限于描述的特定实施方式，而应与在此公开的原则和新颖性特征相一致的最广范围相符合。在上述详细描述中，为全面理解本发明，描述了各种特定细节。然而，本领域技术人员能够理解本发明可以实现。
以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器(Digital SignalProcessor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。

Claims (20)

1.一种用于多视点视频编码或解码的方法，其特征在于，该方法包括：
接收与当前纹理帧的当前纹理区块相关的输入数据，该当前纹理帧对应于独立视点；
确定得到的视差向量以用于该当前纹理区块；
将该得到的视差向量应用视差向量约束或不应用视差向量约束，以获得最终得到的视差向量；以及
利用至少一个选择的编码工具来对该输入数据应用视点间预测编码或解码；
其中，所有选择的编码工具使用同一最终得到的视差向量，以及该选择的编码工具包括视点间残差预测、视点合成预测、以及视点间运动参数预测，并且该选择的编码工具不包括视差补偿预测。
2.根据权利要求1所述的用于多视点视频编码或解码的方法，其特征在于，该最终得到的视差向量用于确定在视点间图片中的参考残差的区块的位置，以用于视点间残差预测，以及将该最终得到的视差向量或与参考区块相关的相关运动向量用作视点间运动向量预测子，以用于视点间运动参数预测，其中通过该最终得到的视差向量来确定该参考区块的位置；以及该最终得到的视差向量用于确定在视点间深度图片中的参考深度区块的位置，以用于视点合成预测。
3.根据权利要求1所述的用于多视点视频编码或解码的方法，其特征在于，根据视差向量约束指示，确定对得到的视差向量应用视差向量约束或不应用视差向量约束。
4.根据权利要求3所述的用于多视点视频编码或解码的方法，其特征在于，根据编码配置文件确定该视差向量约束指示。
5.根据权利要求4所述的用于多视点视频编码或解码的方法，其特征在于，当该视差向量约束指示指出该视差向量约束对于第一配置文件使能时，该选择的编码工具不包括视差补偿预测，以及利用视差补偿预测的视差向量推导得到的视差向量的垂直分量被设置为减小的范围，用于该选择的编码工具的得到的视差向量的垂直分量被设置为0。
6.根据权利要求3所述的用于多视点视频编码或解码的方法，其特征在于，在视频参数集、图片参数集、序列参数集、切片头、序列级、视点级、图片级、切片级，最大编码单元级、编码树单元级、编码单元级或预测单元级中，使用语法元素发信号该视差向量约束条件。
7.根据权利要求1所述的用于多视点视频编码或解码的方法，其特征在于，在视频参数集、图片参数集、序列参数集、切片头、序列级、视点级、图片级、切片级，最大编码单元级、编码树单元级、编码单元级或预测单元级中发信号语法元素，以指示该视差向量约束应用于该得到的视差向量的哪一个分量。
8.根据权利要求1所述的用于多视点视频编码或解码的方法，其特征在于，该应用视差向量约束包括设置该最终得到的视差向量的垂直分量或水平分量为0或缩小范围。
9.根据权利要求1所述的用于多视点视频编码或解码的方法，其特征在于，当该最终得到的视差向量指向子采样位置以及应用视差向量约束时，通过使用一维滤波器插值参考视点的残差采样来得到用于该视点间残差预测的残差预测信号。
10.根据权利要求9所述的用于多视点视频编码或解码的方法，其特征在于，选择一维线性滤波器为该一维滤波器。
11.根据权利要求1所述的用于多视点视频编码或解码的方法，其特征在于，当该最终得到的视差向量指向子采样位置以及不应用视差向量约束时，通过使用二维滤波器插值参考视点的残差采样来得到用于该视点间残差预测的残差预测信号。
12.根据权利要求11所述的用于多视点视频编码或解码的方法，其特征在于，选择二维双线性滤波器为该二维滤波器。
13.根据权利要求1所述的用于多视点视频编码或解码的方法，其特征在于，该编码工具进一步包括深度导向的相邻区块视差向量，以及当该最终得到的视差向量指向子采样位置以及应用视差向量约束时，通过使用一维滤波器插值参考视点的深度采样来得到用于深度导向的相邻区块视差向量的深度信号。
14.根据权利要求13所述的用于多视点视频编码或解码的方法，其特征在于，该一维滤波器为一维舍入滤波器，该一维舍入滤波器使用由舍入的视差向量指向的第一整数深度采样的第一值，将最终得到的视差向量舍入为一个整数值得到该舍入的视差向量。
15.根据权利要求13所述的用于多视点视频编码或解码的方法，其特征在于，当应用视差向量约束时，通过深度导向的相邻区块视差向量得到的视差向量的垂直分量，视差向量的垂直分量被设置为0。
16.根据权利要求1所述的用于多视点视频编码或解码的方法，其特征在于，该编码工具进一步包括深度导向的相邻区块视差向量，以及当该最终得到的视差向量指向子采样位置以及不应用视差向量约束指示时，通过使用二维滤波器插值参考视点的深度采样得到用于深度导向的相邻区块视差向量的深度信号。
17.根据权利要求16所述的用于多视点视频编码或解码的方法，其特征在于，该二维滤波器为二维舍入滤波器，该二维舍入滤波器使用舍入的视差向量来指向第一整数值深度采样的第一值，通过舍入该最终得到的视差向量为整数值来得到舍入的视差向量。
18.一种用于多视点视频编码或解码的装置，其特征在于，该装置包括一个或多个电子电路，其中该一个或多个电子电路被配置为：
接收与当前纹理帧的当前纹理区块相关的输入数据，该当前纹理帧对应于独立视点；
确定得到的视差向量以用于该当前纹理区块；
对该得到的视差向量应用视差向量约束或不应用视差向量约束，以获得最终得到的视差向量；以及
利用至少一个选择的编码工具来对该输入数据应用视点间预测编码或解码，其中所有选择的编码工具使用同一最终得到的视差向量，以及该选择的编码工具包括视点间残差预测、视点合成预测、以及视点间运动参数预测，并且该选择的编码工具不包括视差补偿预测。
19.一种用于多视点视频编码或解码的方法，其特征在于，该方法包括：
接收与当前纹理帧的当前纹理区块相关的输入数据，该当前纹理帧对应于独立视点；
确定得到的视差向量以用于该当前纹理区块；
对该得到的视差向量应用视差向量约束或不应用视差向量约束，以获得最终得到的视差向量；以及
利用选择的编码工具来对该输入数据应用视点间预测编码或解码；
其中，依据该选择的编码工具应用视差向量限制或不应用视差向量限制，若该选择的工具为视差补偿预测，则应用视差向量约束，以及若该选择的编码工具为视点间残差预测、视点合成预测和视点间运动向量参数预测中的一个，则不应用视差向量约束。
20.根据权利要求19所述的用于多视点视频编码或解码的方法，其特征在于，将视差限制应用于用于视差补偿预测的该得到的视差向量的垂直分量，以及该垂直分量被设置为减小范围。
CN201380059923.8A 2012-11-16 2013-11-15 用于多视点视频编码或解码的方法及装置 Active CN104798375B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261727220P 2012-11-16 2012-11-16
US61/727,220 2012-11-16
US201361756043P 2013-01-24 2013-01-24
US61/756,043 2013-01-24
PCT/CN2013/087215 WO2014075625A1 (en) 2012-11-16 2013-11-15 Method and apparatus of constrained disparity vector derivation in 3d video coding

Publications (2)

Publication Number Publication Date
CN104798375A CN104798375A (zh) 2015-07-22
CN104798375B true CN104798375B (zh) 2018-08-28

Family

ID=50730598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380059923.8A Active CN104798375B (zh) 2012-11-16 2013-11-15 用于多视点视频编码或解码的方法及装置

Country Status (6)

Country Link
US (1) US9998760B2 (zh)
EP (1) EP2920967A4 (zh)
JP (1) JP6042556B2 (zh)
CN (1) CN104798375B (zh)
CA (1) CA2891723C (zh)
WO (1) WO2014075625A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454426A (zh) * 2012-07-27 2017-12-08 寰发股份有限公司 三维视频编码或解码方法
US10334259B2 (en) 2012-12-07 2019-06-25 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
WO2014166119A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Stereo compatibility high level syntax
CN105874789B (zh) * 2014-01-29 2019-10-29 联发科技股份有限公司 利用自适应运动向量精度的方法
JP2017520994A (ja) * 2014-06-20 2017-07-27 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． ３ｄおよびマルチビュービデオコーディングのサブｐｕ構文シグナリングおよび照明補償方法
WO2016056754A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
CN106471807B (zh) 2014-10-09 2019-08-23 寰发股份有限公司 包括视角合成预测的三维或多视角视频的编码方法
WO2017069505A1 (ko) * 2015-10-19 2017-04-27 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
CN112632888A (zh) * 2020-08-18 2021-04-09 上海致居信息科技有限公司 电路合成方法、设备、介质和数据存储证明系统
CN118216148A (zh) * 2021-11-23 2024-06-18 华为技术有限公司 一种视频编码方法及其相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578881A (zh) * 2007-01-03 2009-11-11 三星电子株式会社 基于全局视差向量对多视图图像编码和解码的方法和设备
CN102244801A (zh) * 2011-07-13 2011-11-16 中国民航大学 一种数字立体电视系统及编解码方法
CN102291579A (zh) * 2011-07-06 2011-12-21 北京航空航天大学 一种快速的多目立体视频分形压缩与解压缩方法
WO2013053309A1 (en) * 2011-10-11 2013-04-18 Mediatek Inc. Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US9288506B2 (en) * 2012-01-05 2016-03-15 Qualcomm Incorporated Signaling view synthesis prediction support in 3D video coding
US9525861B2 (en) * 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US20140071235A1 (en) * 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
US20140098883A1 (en) * 2012-10-09 2014-04-10 Nokia Corporation Method and apparatus for video coding
US9357214B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video
US9615090B2 (en) * 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578881A (zh) * 2007-01-03 2009-11-11 三星电子株式会社 基于全局视差向量对多视图图像编码和解码的方法和设备
CN102291579A (zh) * 2011-07-06 2011-12-21 北京航空航天大学 一种快速的多目立体视频分形压缩与解压缩方法
CN102244801A (zh) * 2011-07-13 2011-11-16 中国民航大学 一种数字立体电视系统及编解码方法
WO2013053309A1 (en) * 2011-10-11 2013-04-18 Mediatek Inc. Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Heiko Schwarz,Christian Bartnik, Sebastian Bosse,Heribert Brust.Description of 3D Video Technology Proposal by Franuhofer HHI (HEVC compatible;configuration B).《ISO/IEC JTC1/SC29/WG11 MPEG2011/M22571》.2011,正文第3节. *
Improvement on MV candidates for 3DVC;Kai Zhang, Jicheng An, Jian-Liang Lin;《Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20121019;全文 *

Also Published As

Publication number Publication date
CN104798375A (zh) 2015-07-22
US20150288985A1 (en) 2015-10-08
WO2014075625A1 (en) 2014-05-22
EP2920967A4 (en) 2016-05-25
EP2920967A1 (en) 2015-09-23
CA2891723A1 (en) 2014-05-22
JP2016501469A (ja) 2016-01-18
JP6042556B2 (ja) 2016-12-14
CA2891723C (en) 2017-12-05
US9998760B2 (en) 2018-06-12

Similar Documents

Publication Publication Date Title
CN104798375B (zh) 用于多视点视频编码或解码的方法及装置
KR101638752B1 (ko) 3ｄ 비디오 코딩에서 변이 벡터 도출을 제한하는 방법
US20180115764A1 (en) Method and apparatus of motion and disparity vector prediction and compensation for 3d video coding
CN104412597B (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN104471941B (zh) 3d视频编码中的视图间子分割预测的方法和装置
CN105324996B (zh) 三维视频编码的视图间候选推导的方法及其装置
KR101653118B1 (ko) 3d 장면의 하나 이상의 비디오를 처리하는 방법
CN104429074B (zh) 3d视频编码中视差矢量导出的方法和装置
CN108989815A (zh) 针对多视图视频信号生成合并候选列表的方法及解码装置
KR20140004209A (ko) 3d 비디오 코딩에서의 텍스처 이미지 압축 방법 및 장치
US20160073132A1 (en) Method of Simplified View Synthesis Prediction in 3D Video Coding
CN104412587A (zh) 三维视频编码中视图间候选获取的方法和设备
WO2014166304A1 (en) Method and apparatus of disparity vector derivation in 3d video coding
CN107318027A (zh) 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置
CN104969556A (zh) 处理视频信号的方法和设备
CN104982038B (zh) 处理视频信号的方法和设备
Sanchez et al. S-GMOF: A gradient-based complexity reduction algorithm for depth-maps intra prediction on 3D-HEVC
CN105103543B (zh) 兼容的深度依赖编码方法
CN105247862A (zh) 三维视频编码中的视点合成预测的方法及装置
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置
KR20070033239A (ko) 다시점 동영상을 부호화 및 복호화하는 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160826

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: Hsinchu Science Park, Taiwan, China

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant