CN103597837A - 运动和视差矢量预测的方法及装置以及3d视频编码补偿 - Google Patents

运动和视差矢量预测的方法及装置以及3d视频编码补偿 Download PDF

Info

Publication number
CN103597837A
CN103597837A CN201280029342.5A CN201280029342A CN103597837A CN 103597837 A CN103597837 A CN 103597837A CN 201280029342 A CN201280029342 A CN 201280029342A CN 103597837 A CN103597837 A CN 103597837A
Authority
CN
China
Prior art keywords
block
view
prediction
vector
candidate item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280029342.5A
Other languages
English (en)
Other versions
CN103597837B (zh
Inventor
林建良
陈渏纹
蔡玉宝
黄毓文
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN103597837A publication Critical patent/CN103597837A/zh
Application granted granted Critical
Publication of CN103597837B publication Critical patent/CN103597837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种推导运动矢量或运动矢量预测项或视差矢量或视差矢量预测项的方法及装置，该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项相应于跳跃模式、合并模式或外部模式，且用于三维视频编码中的当前图像的一个区块。该三维视频编码可使用时间预测以及利用时间和视图间关联的视图间预测。运用运动矢量/视差矢量预测以减少相应于运动矢量/视差矢量编码的比特率。从空间候选项、时间候选项及视图间候选项中选择该运动矢量/运动矢量预测项或视差矢量/视差矢量预测项以用于区块。对于视图间候选项，可使用全局视差矢量或根据深度信息将该当前区块包裹在该共位图像之上以确定该视图间共位区块的位置。该候选项也可推导为对应根据深度信息将该当前区块包裹在共位图像之上的矢量。

Description

运动和视差矢量预测的方法及装置以及3D视频编码补偿
相关申请的交叉引用
本申请的权利要求要求如下申请的优先权：2011年6月15日递交的申请号为61/497,438，标题为「Method for motion vector prediction and disparity vectorprediction in3D video coding」的美国临时申请案以及2011年9月19日递交的申请号为13/236,422，标题为「Method and Apparatus for Deriving Temporal MotionVector Prediction」的美国非临时申请案。在此合并参考上述临时申请和非临时申请案的全部内容。
技术领域
本发明有关于视频编码。更具体地，本发明有关于3D视频编码中的运动（motion）/视差（disparity）矢量预测以及运动/视差补偿（motion/disparitycompensation）的信息共享。
背景技术
近年来三维（three-dimensional，3D）电视已成为一种技术趋势，其可为观看者带来震撼的观看体验。通过使用各种技术来致能3D。其中，相较于其他技术，多视图（multi-view）视频是3D电视应用的关键技术。传统视频是二维（two-dimensional，2D）媒体，仅能向观看者提供从摄相机角度的场景的单一视图（single view）。然而，多视图视频可提供动态场景的任意视点（viewpoint）并为观看者带来真实的感官。
多视图视频是通过同时使用多个摄相机捕捉一个场景而建立的，其中，多个摄相机位于适当的位置以使每个摄相机各从一个视点捕捉场景。相应地，多个摄相机将捕捉多个视频序列（video sequence）。为了提供更多的视图，已使用更多的摄相机以产生多视图视频，其中该多视图视频具有相应于视图的大量视频序列。相应地，多视图视频需要大量的存储空间进行存储及/或高的带宽进行传输。因此，技术领域中已发展了多视图视频编码技术以减少传输带宽所需的存储空间。一种直接的方法是对每个单一视图的视频序列独立地应用传统视频编码技术而忽略不同视图之间的关联（correlation）。为了改进多视图视频编码效率，典型的多视图视频编码总是利用视图间残差（inter-view redundancy）。
图1为3D视频编码的预测结构示例示意图。纵轴表示不同的视图，而横轴表示捕捉图像的不同时间点（time instance）。在每个时间点，除了捕捉每个视图的色彩图像（color image），也捕捉其深度图像（depth image）。例如，对于视图V0，色彩图像110C、111C及112C分别是对应时间点T0、T1及T2而捕捉的。且深度图像110D、111D及112D分别是与色彩图像一起对应时间点T0、T1及T2而捕捉的。类似地，对于视图V1，色彩图像120C、121C及122C与相应的深度图像120D、121D及122D分别是对应时间点T0、T1及T2而捕捉的。对于视图V2，色彩图像130C、131C及132C与相应的深度图像130D、131D及132D分别是对应时间点T0、T1及T2而捕捉的。可对每个视频的图像应用基于外部/内部预测（inter/intra-prediction）的传统视频编码。例如，在视图V1中，图像120C和122C可用于图像121C的时间预测（temporal prediction）。此外，视图间预测用作时间预测之外的另一预测维度。相应地，本揭露书中使用“预测维度”以表示预测轴（prediction axis）。其中，沿预测轴的视频信息用于预测。因此，预测维度可表示视图间预测或时间预测。例如，在时间T1，可使用来自视图V0的图像111C和来自视图V2的图像131C预测视图V1的图像121C。此外，也可将相应于场景的深度信息包括在比特流中以提供支持用于交互应用（interactive application）。深度信息也可用于从中间视点（intermediate viewpoint）合成（synthesize）虚拟视图。
为减少用于传输编码多视图视频的运动矢量（motion vector，MV）的比特率（bit-rate），提出了运动跳跃模式（motion skip mode）以共享相邻视图的已编码运动信息。如图2所示，运动跳跃模式包括两个步骤。在第一步中，标记（identify）相邻视图中的图像222中的共位区块（co-located block）212以用于当前视图中图像220中的当前区块210。其中，通过确定当前视图中的当前图像220与相邻视图中的共位图像222之间的全局视差矢量（global disparityvector）230来标记共位区块212。在第二步中，将共位图像222中的共位区块212的运动信息与当前图像220中的当前区块210共享。例如，共位区块212的运动矢量242和252可被当前区块210所共享。当前区块210的运动矢量240和250可从运动矢量242和252中推导。
高效视频编码（High Efficiency Video Coding，HEVC）是一种新型的国际视频编码标准，由视频编码联合协作组（Joint Collaborative Team on VideoCoding，JCT-VC）指导发展。在HEVC工作草案第三版（WD-3.0）和HEVC测试模型第三版（HM-3.0）中，与诸如MPEG-4和AVC/H.264的先前编码标准类似，使用基于混合区块的运动补偿的的类DCT变换编码结构（hybridblock-based motion-compensated DCT-like transform coding architecture）。然而，HEVC中也存在引入的新特征和编码工具。例如，压缩基本单元（称为编码单元（Coding Unit，CU））为2Nx2N的正方形区块，且每个CU可递归式地分割为四个更小的CU直至达到预定义最小尺寸（size）。每个CU包括一或多个预测单元（prediction units，PU），其中PU用作用于预测程序的区块单元，PU的尺寸可为2Nx2N、2NxN、Nx2N以及NxN。
为了增加HEVC中运动矢量编码的编码效率，运用基于运动矢量竞争（motion vector competition，MVC）的机制来从给定的运动矢量预测项（motionvector predictor，MVP）候选项（candidate）集合中选择一个MVP，其中，MVP候选项集合包括空间和时间MVP。存在三种外部预测模式，即HM-3.0中包括的外部、跳跃和合并模式。外部模式根据传输的运动矢量（motion vectors，MV）执行运动补偿预测，而跳跃和合并模式使用运动推理方法（motion inferencemethod）以从位于共位图像中的空间相邻区块（空间候选项）或时间区块（时间候选项）中确定运动信息，其中，共位图像为片头部（slice header）中指示的列表0或列表1中的第一参考图像。
当以跳跃或合并模式编码PU时，除了所选候选项的索引之外并不传输运动信息。对于跳跃模式的PU,也不传输残差信号。对于HM-3.0的外部模式，使用先进运动矢量预测（advanced motion vector prediction，AMVP）机制从AMVP候选项集合中选择一个运动矢量预测项，其中AMVP候选项集合包括两个空间MVP和一个时间MVP。根据率失真优化（rate-distortion optimization，RDO）决定，编码器从用于外部、跳跃或合并模式的给定候选项集合中选择最终的MVP并向解码器传输所选MVP的索引。可根据时间距离（temporal distance）对所选MVP进行线性缩放。
对于外部模式而言，参考图像索引被直接传输至解码器。然后从候选项集合中选择MVP用于给定参考图像索引。图3为HM-3.0中用于外部模式的MVP候选项集合的示意图，其中包括两个空间MVP和一个时间MVP:
1.左预测项（来自A0或A1的第一可用运动矢量）
2.上预测项（来自B0、B1或Bn+1的第一可用运动矢量）
3.时间预测项（来自TBR或TCTR的第一可用运动矢量）
时间预测项是从位于共位图像中的区块（TBR或TCTR）中推导的，其中，共位图像为列表0或列表1中的第一参考图像。从中选择时间MVP的区块可具有两个MV：一个来自列表0且另一个来自列表1。根据下列规则从来自列表0或列表1的MV推导时间MVP：
1.首先选择穿过当前图像的MV。
2.如果两个MV都穿过或都不穿过当前图像，选择与当前列表具有相同参考列表的MV。
运用基于优先级的机制推导每个空间MVP。可从不同列表和不同参考图像中推导空间MVP。选择的顺序基于下列预定义顺序：
1.来自相同参考列表和相同参考图像的MV;
2.来自其他参考列表和相同参考图像的MV;
3.来自相同参考列表和其他参考图像的缩放MV；以及
4.来自其他参考列表和其他参考图像的缩放MV。
在HM-3.0中，如果将特定区块编码为合并或跳跃模式，则将MVP索引包括至比特流中以指示MVP候选项集合中的哪个MVP被用于待合并的区块。为遵循运动信息共享的本质，每个合并的PU重用所选候选项的MV、预测方向以及参考图像索引。预测方向指的是相应于参考图像的时间方向，例如列表0（L0）/列表1（L1）或双向预测（Bi-prediction）。需注意，如果所选MVP为时间MVP，则参考图像索引永远设置为第一参考图像。图4为HM-3.0中用于合并模式和跳跃模式的MVP候选项集合的示意图，其中包括四个空间MVP和一个时间MVP:
1.左预测项（Am）
2.上预测项（Bn）
3.时间预测项（来自TBR或TCTR的第一可用运动矢量）
4.右上预测项（B0）
5.左下预测项（A0）
如上所示，HEVC使用先进MVP推导以减少相应于运动矢量的比特率。需要扩展先进MVP技术至3D视频编码以改进编码效率。
发明内容
本发明提供一种推导运动矢量或运动矢量预测项或视差矢量或视差矢量预测项的方法及装置，该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项相应于跳跃模式、合并模式或外部模式。根据本发明的实施例从空间候选项、时间候选项以及视图间候选项中选择该运动矢量/运动矢量预测项或视差矢量/视差矢量预测项。空间候选项相应于当前图像中该区块的相邻区块；时间候选项相应于视图间共位区块，其中，视图间共位区块相应于对应该区块的一或多个视图间候选项。对于三维视频编码中的外部模式，可使用选择的运动矢量预测项/视差矢量预测项作为候选项。对于三维视频编码中的合并或跳跃模式，可使用选择的运动矢量或视差矢量作为候选项。
本发明的一个方面提出空间候选项的推导。空间候选项可用于推导运动矢量/运动矢量预测项或视差矢量/视差矢量预测项。在此情形中，对于给定预测维度和目标参考图像，从相邻区块中推导该空间候选项，其中，该目标参考图像由给定参考列表的给定参考图像索引指示，且其中，该相邻区块相应于来自该给定参考列表或其他参考列表的该目标参考图像，或者，该相邻区块相应于来自该给定参考列或该其他参考列表的其他参考图像。
本发明的另一个方面提出时间候选项的推导。时间候选项可用于推导运动矢量/运动矢量预测项或视差矢量/视差矢量预测项。在此情形中，对于给定预测维度和目标参考图像，从时间共位图像的时间共位区块中推导该时间候选项，其中，该目标参考图像由给定参考列表的给定参考图像索引指示，且其中，该时间共位区块相应于来自该给定参考列表或其他参考列表的该目标参考图像，或者，该时间共位区块相应于该给定参考列表或其他参考列表中的的其他参考图像。
在本发明的又一实施例中，从相应于对应共位区块的视差矢量中推导深度候选项，其中通过基于深度信息将当前图像的区块包裹在图像之上确定该对应共位区块。
附图说明
图1为3D视频编码的预测结构示例示意图，其中该预测包括时间和视图间预测。
图2为3D视频跳跃模式的示例示意图，其中使用全局视差矢量确定共位区块。
图3为HM-3.0中用于外部模式的MVP候选项集合的示例示意图。
图4为HM-3.0中用于合并模式的MVP候选项集合的示意图。
图5为根据本发明用于3D视频编码的MV(P)/DV(P)候选项推导的示意图。
具体实施方式
在本发明中，运用各种机制以推导用于3D视频编码中跳跃、合并以及外部模式的MV/DV以及MVP/视差矢量预测项（Disparity Vector Predictor,DVP）。
图5为用于当前区块的MV(P)/DV(P)候选项的方案示意图，其中，MV(P)/DV(P)是从列表0（L0）或列表1（L1）中的共位图像中的空间相邻区块、时间共位区块以及视图间共位图像中的视图间共位区块中推导的。图像510、511以及512分别对应在时间示例T0、T1、T2来自视图V0的图像。类似地，图像520、521以及522分别对应在时间示例T0、T1、T2来自视图V1的图像，且图像530、531以及532分别对应在时间示例T0、T1、T2来自视图V2的图像。图5中所示的图像可为色彩图像或深度图像。所推导的候选项称为空间候选项（空间MVP）、时间候选项（时间MVP）以及视图间候选项（视图间MVP）。特别地，对于时间和视图间候选项推导，可在不同语法（syntax）层级间接推导或直接传输指示共位图像是在列表0还是列表1中的信息。其中，语法层级可例如队列参数集合（sequence parameter set,SPS）、图像参数集合（pictureparameter set,PPS）、适应性参数集合（adaptive parameter set,APS）、片头部（Sliceheader）、CU层级、最大CU层级或叶（leaf）层级或PU层级。而视图间共位区块的位置可通过使用当前区块的相同位置或使用全局视差矢量（GlobalDisparity Vector,GDV）或者根据深度信息将当前区块投射（warp）在共位图像之上来确定。
也可基于对应根据深度信息将当前区块投射在共位图像之上的矢量推导候选项。相应地，将使用深度信息推导的候选项称为深度候选项（depth candidate）。
然后运用基于MVC的机制以从包括空间、时间、视图间以及深度候选项的MVP/DVP候选项集合之中选择一个MVP/DVP。再然后将所选候选项的索引传输至解码器。
当将区块编码为合并或跳跃模式时，将合并索引包括至比特流中以指示MVP/DVP候选项集合中的哪个MVP/DVP被用于待合并的区块。MVP/DVP候选项包括空间候选项（空间MVP/DVP）、时间候选项（时间MVP/DVP）、视图间候选项（视图间MVP/DVP）以及深度候选项。通过与其他已编码区块共享运动信息来减少相应于运动信息的比特流，其中，每个合并的PU重用所选候选项的MV/DV、预测维度、预测方向以及参考图像索引。将合并索引传输至解码器以指示哪个候选项被选用于合并模式。
在此提出推导空间候选项的本发明的多个实施例。在空间候选项推导的一个实施例中，如果使用空间候选项预测运动矢量，从相邻区块的MV中推导空间候选项。类似地，如果使用空间候选项预测视差矢量，从相邻区块的DV中推导空间候选项。
在空间候选项推导的本发明另一个实施例中，如果使用空间候选项预测运动矢量，则从相邻区块的MV和DV中推导空间候选项。类似地，如果使用空间候选项预测视差矢量，则从相邻区块的MV和DV中推导空间候选项。
在空间候选项推导的本发明另一个实施例中，可使用根据上述实施例的的基于相邻区块的MV或MV/DV推导的空间候选项以推导空间候选项。当目标参考图像标记为由给定参考列表的给定参考图像索引指示，可从来自给定参考列表或其他参考列表中的指向目标参考图像的MV/DV推导空间候选项。例如，如果所有相邻区块在给定参考列表中不具有指向目标参考的MV/DV，可将候选项推导为指向来自相邻区块在其他参考列表中的目标参考图像的第一可用MV/DV。
在类似于上述实施例的又一个实施例中，可将根据上述实施例的基于相邻区块的MV或MV/DV推导的空间候选项更用于推导空间候选项。当目标参考图像标记为由给定参考列表的给定参考图像索引指示时，可从指向目标参考图像的MV/DV或从相同给定参考列表中指向除目标参考图像以外的参考图像的MV/DV推导空间候选项。例如，如果所有相邻区块都不具有指向目标参考图像的MV/DV，可将候选项推导为基于相邻区块中指向其他参考图像的第一可用MV的缩放MV/DV。
在类似于上述实施例的另一个实施例中，可将根据上述实施例的基于相邻区块的MV或MV/DV推导的空间候选项更用于推导空间候选项。当目标参考图像标记为由给定参考列表的给定参考图像索引指示时，可根据下列顺序从其他参考列表或其他参考图像索引中推导空间候选项：
-在给定参考列表中查找指向目标参考图像的MV/DV
-在其他参考列表中查找指向目标参考图像的MV/DV
-在给定参考列表中查找指向其他参考图像的MV/DV,然后根据时间距离/视图间距离对推导的MV/DV进行缩放;以及
-在其他参考列表中查找指向其他参考图像的MV/DV,然后根据时间距离/视图间距离对推导的MV/DV进行缩放。
对于合并和跳跃模式的空间候选项推导，空间候选项的预测信息包括预测维度（时间或视图间）、预测方向（L0/L1或双向）、参考图像索引以及MV/DV。空间候选项的信息直接重用用于推导候选项信息的所选相邻区块的预测信息。如果选择空间候选项，预测信息可直接被当前PU使用。
在此也提出推导时间候选项的本发明的多个实施例。在时间候选项推导的一个实施例中，如果时间候选项用于预测运动矢量，则从时间共位区块的MV中推导时间候选项。类似地，如果时间候选项用于预测视差矢量，则从时间共位区块的DV中推导时间候选项。
在时间候选项推导的另一个实施例中，如果使用时间候选项预测运动矢量，则从时间共位区块的MV和DV中推导时间候选项。类似地，如果使用时间候选项预测视差矢量，则从时间共位区块的MV和DV中推导时间候选项。
在时间候选项推导的本发明再一个实施例中，可更使用根据上述实施例的基于时间共位区块的MV或MV/DV推导的时间候选项以推导时间候选项。例如，当提供参考列表和共位图像时，可通过查找具有与给定参考列表相同的相应参考列表的MV/DV来推导MV/DV候选项。然后根据时间距离/视图间距离对推导的MV/DV进行缩放。又例如，当提供参考列表与共位图像时，通过查找在时间/视图间维度穿过当前图像的MV/DV来推导MV/DV候选项。然后根据时间距离/视图间距离对推导的MV/DV进行缩放。又例如，当提供参考列表与共位图像时，根据下列顺序推导MV/DV候选项：
1.查找在时间/视图维度穿过当前图像的MV/DV；以及
2.如果两个MV/DV都穿过或都不穿过当前图像，选择与当前列表具有相同参考列表的MV/DV。
然后根据时间距离/视图间距离对推导的MV/DV进行缩放。
在时间候选项推导的再一个实施例中，可将根据上述实施例的基于时间共位区块的MV或MV/DV推导的时间候选项更用于推导时间候选项。当提供参考列表时，可根据给定的优先级顺序基于来自列表0或列表1中的共位图像中的共位区块的列表0或列表1的MV/DV推导MV/DV候选项。该优先级顺序为预定义、间接推导或直接传输至解码器。然后根据时间距离/视图间距离对推导的MV/DV进行缩放。优先级顺序的一个实例如下所示，其中，假设当前列表为列表0：
1.来自列表1中的共位图像的共位区块的列表0的缩放MV/DV；
2.来自列表0中的共位图像的共位区块的列表1的缩放MV/DV；
3.来自列表0中的共位图像的共位区块的列表0的缩放MV/DV；以及
4.来自列表1中的共位图像的共位区块的列表1的缩放MV/DV。
对于合并和跳跃模式的时间候选项推导，如果时间共位区块的预测维度为视图间维度，如果已选择时间候选项，当前PU可直接使用预测信息，其中预测信息可例如预测维度（时间或视图间）、预测方向（L0/L1或双向）、参考图像索引以及时间共位区块的DV。
对于合并和跳跃模式的时间候选项推导，如果时间共位区块的预测维度为时间维度，可直接传输或间接推导参考图像索引。如果已选择时间候选项，当前PU可直接使用预测信息，其中预测信息可例如预测维度、预测方向（L0/L1或双向）、参考图像索引以及时间共位区块的MV。然后根据时间距离对推导的MV进行缩放。对于参考图像索引的推导，可基于来自相邻区块的参考图像指数（indice）的中值（median）/平均值（mean）或大多数值（majority）间接推导得到。
本发明还揭露了推导视图间候选项的多个实施例。在视图间候选项推导的一个实施例中，如果视图间候候选项用于预测运动矢量，则从视图间共位区块的MV中推导视图间候选项。类似地，如果视图间候候选项用于预测视差矢量，则从视图间共位区块的DV中推导视图间候选项。可使用视图间共位图像中的当前区块的相同位置或使用GDV或者根据深度信息将当前区块投射在视图间共位图像之上来确定视图间维度中共位区块的位置。
在视图间候选项推导的另一个实施例中，如果使用视图间候选项预测运动矢量，则从视图间共位区块的MV和DV中推导视图间候选项。类似地，如果使用视图间候选项预测视差矢量，则从视图间共位区块的MV和DV中推导视图间候选项。可使用视图间共位图像中的当前区块的相同位置或使用GDV或者根据深度信息将当前区块投射在视图间共位图像之上来确定视图间维度中共位区块的位置。
在视图间候选项推导的本发明再一个实施例中，可更使用根据上述实施例的基于视图间共位区块的MV或MV/DV推导的视图间候选项以推导视图间候选项。例如，当提供参考列表和共位图像时，可通过查找具有与给定参考列表相同的相应参考列表的MV/DV来推导MV/DV候选项。然后根据时间距离/视图间距离对推导的MV/DV进行缩放。又例如，当提供参考列表与共位图像时，可通过查找在时间/视图间维度穿过当前图像的MV/DV来推导MV/DV候选项。又例如，当提供参考列表与共位图像时，根据下列顺序可推导MV/DV候选项：
1.查找在时间/视图间维度穿过当前图像的MV/DV；以及
2.如果两个MV/DV都穿过或都不穿过当前图像，选择与当前列表具有相同参考列表的MV/DV。
然后根据时间距离/视图间距离对推导的MV/DV进行缩放。
又例如，当提供参考列表时，可根据给定的优先级顺序基于来自列表0或列表1中的共位图像中的共位区块的列表0或列表1的MV/DV推导MV/DV候选项。该优先级顺序为预定义、间接推导或直接传输至解码器。然后根据时间距离/视图间距离对推导的MV/DV进行缩放。优先级顺序的一个实例如下所示，其中，假设当前列表为列表0：
1.列表1中的共位图像的共位区块的列表0的缩放MV/DV；
2.列表0中的共位图像的共位区块的列表1的缩放MV/DV；
3.列表0中的共位图像的共位区块的列表0的缩放MV/DV；
4.列表1中的共位图像的共位区块的列表1的缩放MV/DV。
对于合并和跳跃模式的视图间候选项推导，如果视图间共位区块的预测维度为时间维度，如果已选择视图间候选项，当前PU可直接使用预测信息，其中预测信息例如预测维度、预测方向（L0/L1或双向）、参考图像索引以及视图间共位区块的MV。
可使用视图间共位图像中的当前区块的相同位置或使用GDV或者根据深度信息将当前区块投射在视图间共位图像之上来确定视图间维度中共位区块的位置。
对于合并和跳跃模式的视图间候选项推导，如果视图间共位区块的预测维度为视图间维度，可直接传输或间接推导参考图像索引。如果已选择视图间候选项，当前PU可直接使用预测信息，其中预测信息例如预测维度、预测方向（L0/L1或双向）以及视图间共位区块的DV。然后根据视图间距离对推导的DV进行缩放。对于参考图像索引的推导，可基于来自相邻区块的参考图像指数的中值/平均值或大多数值间接推导得到。
可使用视图间共位图像中的当前区块的相同位置或使用GDV或者根据深度信息将当前区块投射在视图间共位图像之上来确定视图间维度中共位区块的位置。
上述的根据本发明的3D视频编码的空间候选项推导、时间候选项推导或视图间候选项推导的实施例可在不同硬件、软件、或二者的组合中实现。例如，本发明的一个实施例可为集成在视频压缩芯片中的电路或集成在视频压缩软件中的程序代码以执行实施例中所述的处理。本发明的一个实施例也可为数字信号处理器（DSP）上执行的程序代码以执行实施例中所述的处理。本发明也关于由计算机处理器、DSP、微处理机或FPGA执行的多个功能。根据本发明，通过执行定义本发明所包括的特定方法的机器可读软件代码或固件代码，可配置这些处理器以执行特定任务。可在不同程序语言和不同格式或风格中开发软件代码或固体代码。也可对不同目标平台编译软件代码。然而，根据本发明不同编码格式、风格和软件代码语言以及为执行任务的配置代码其他方式都不得脱离本发明的精神与范围。
在不脱离本发明精神或基本特征的前提下可将本发明以其他特定形式实现。将所述的实例看作仅为说明目的的各个方面，并非用于限制用途。因此，本发明的范围由所附的权利要求决定而并非前面的描述所决定。在权利要求的含义或其等效范围之内的任何改变都在本发明保护范围之内。

Claims (43)

1.一种推导运动矢量或运动矢量预测项或视差矢量或视差矢量预测项的方法，该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项相应于跳跃模式、合并模式或外部模式，且用于三维视频编码中的当前图像的一个区块，其中该三维视频编码使用的预测维度由时间预测和视图间预测组成，该方法包括：
确定一或多个空间候选项、一或多个时间候选项或同时确定该一或多个空间候选项和该一或多个时间候选项，其中该一或多个空间候选项相应于该区块的一或多个相邻区块中的每一个；以及其中，该一或多个时间候选项相应于该区块的一或多个时间共位图像的一或多个时间共位区块的每一个；
确定相应于视图间共位区块的一或多个视图间候选项，其中，该视图间共位区块相应于对应该区块的一或多个视图间共位图像；
从该一或多个空间候选项、该一或多个时间候选项或该一或多个视图间候选项中选择该运动矢量/运动矢量预测项或视差矢量/视差矢量预测项；以及
将选择的该运动矢量/运动矢量预测项或该视差矢量/视差矢量预测项提供给该区块。
2.如权利要求1所述的方法，其特征在于，选择的该运动矢量预测项或该视差矢量预测项用于该三维视频编码中的该外部模式。
3.如权利要求1所述的方法，其特征在于，选择的该运动矢量或该视差矢量用于该三维视频编码中的该合并或该跳跃模式。
4.如权利要求1所述的方法，其特征在于，如果使用该空间候选项推导该运动矢量/运动矢量预测项，从相应于该相邻区块的该运动矢量或该运动矢量与该视差矢量的组合中推导该空间候选项；以及其中，如果使用该空间候选项推导该视差矢量/视差矢量预测项，从相应于该相邻区块的该视差矢量或该运动矢量与该视差矢量的组合中推导该空间候选项。
5.如权利要求4所述的方法，其特征在于，对于给定预测维度和目标参考图像，从该一或多个相邻区块中推导该空间候选项，其中，该目标参考图像由给定参考列表的给定参考图像索引指示，且其中，该一或多个相邻区块相应于来自该给定参考列表或其他参考列表的该目标参考图像，或相应于来自该给定参考列或该其他参考列表的其他参考图像。
6.如权利要求5所述的方法，其特征在于，根据查找顺序基于来自该一或多个相邻区块中的该给定预测维度中的第一可用运动矢量/视差矢量推导该空间候选项，其中，检查指向该给定参考列表中的该目标参考图像的该一或多个相邻区块的该运动矢量/视差矢量的可用性在检查指向该给定参考列表中的该其他参考图像的该一或多个相邻区块的该运动矢量/视差矢量的可用性之前。
7.如权利要求5所述的方法，其特征在于，根据查找顺序基于来自该一或多个相邻区块中的该给定预测维度中的第一可用运动矢量/视差矢量推导该空间候选项，其中，检查指向该给定参考列表中的该目标参考图像的该一或多个相邻区块的该运动矢量/视差矢量的可用性在检查指向该其他参考列表中的该目标参考图像的该一或多个相邻区块的该运动矢量/视差矢量之前。
8.如权利要求5所述的方法，其特征在于，直接传输或间接推导该给定预测维度、该参考图像索引或该给定参考列表。
9.如权利要求1所述的方法，其特征在于，如果使用该时间候选项推导该运动矢量/运动矢量预测项，则从相应于该一或多个时间共位图像的该一或多个时间共位区块的该运动矢量或该运动矢量与该视差矢量的组合中推导该时间候选项；以及其中，如果使用该时间候选项推导该视差矢量/视差矢量预测项，从相应于该一或多个时间共位图像的该一或多个时间共位区块的该视差矢量或该运动矢量与该视差矢量的组合中推导该时间候选项。
10.如权利要求9所述的方法，其特征在于，对于给定预测维度和目标参考图像，从该一或多个时间共位图像的该一或多个时间共位区块中推导该时间候选项，其中，该目标参考图像由给定参考列表的给定参考图像索引指示，且其中，该一或多个时间共位图像的该一或多个时间共位区块相应于来自该给定参考列表或其他参考列表的该目标参考图像，或相应于来自该给定参考列或该其他参考列表的其他参考图像。
11.如权利要求10所述的方法，其特征在于，根据查找顺序基于来自该一或多个时间共位区块中的该给定预测维度中的第一可用运动矢量/视差矢量推导该时间候选项，其中，首先检查穿过该当前图像的该一或多个时间共位区块的该运动矢量/视差矢量的可用性。
12.如权利要求10所述的方法，其特征在于，如果对应该给定参考列表的该一或多个时间共位区块的该运动矢量/视差矢量和对应该其他参考列表的该一或多个时间共位区块的该运动矢量/视差矢量都穿过或都不穿过该当前图像，检查对应该给定参考列表的该一或多个时间共位区块的该运动矢量/视差矢量的可用性。
13.如权利要求10所述的方法，其特征在于，根据查找顺序基于来自该一或多个时间共位区块的第一可用运动矢量/视差矢量推导该时间候选项，其中，该查找顺序有关于相应于该运动矢量/视差矢量的指向方向的参考列表或相应于该一或多个时间共位图像的该参考列表。
14.如权利要求10所述的方法，其特征在于，使用标志以指示该一或多个时间共位图像中的哪一个用于确定该一或多个时间共位区块。
15.如权利要求14所述的方法，其特征在于，该标志在视频比特流的序列层级、图像层级或片层级中。
16.如权利要求10所述的方法，其特征在于，直接传输或间接推导使用的该视图间预测或该时间预测、该参考图像索引或该给定参考列表。
17.如权利要求1所述的方法，其特征在于，如果使用该视图间候选项推导该运动矢量/运动矢量预测项，则从相应于该一或多个视图间共位图像的该一或多个视图间共位区块的该运动矢量或该运动矢量与该视差矢量的组合中推导该视图间候选项；以及其中，如果使用该视图间候选项推导该视差矢量/视差矢量预测项，从相应于该一或多个视图间共位图像的该一或多个视图间共位区块的该视差矢量或该运动矢量与该视差矢量的组合中推导该视图间候选项。
18.如权利要求17所述的方法，其特征在于，对于给定预测维度和目标参考图像，从该一或多个视图间共位图像的该一或多个视图间共位区块中推导该视图间候选项，其中，该目标参考图像由给定参考列表的给定参考图像索引指示，且其中，该一或多个视图间共位图像的该一或多个视图间共位区块相应于来自该给定参考列表或其他参考列表的该目标参考图像，或相应于来自该给定参考列或该其他参考列表的其他参考图像。
19.如权利要求18所述的方法，其特征在于，使用标志以指示该一或多个视图间共位图像中的哪一个用于确定该一或多个视图间共位区块。
20.如权利要求19所述的方法，其特征在于，该标志在视频比特流的序列层级、图像层级或片层级中。
21.如权利要求18所述的方法，其特征在于，根据对应该视图间共位区块的该视图间共位图像与该当前图像之间的全局视差矢量推导该视图间共位区块的位置。
22.如权利要求18所述的方法，其特征在于，根据深度信息投射该当前图像的该区块来确定该视图间共位区块的位置。
23.如权利要求18所述的方法，其特征在于，根据查找顺序基于来自该一或多个视差间共位区块中的第一可用运动矢量/视差矢量推导该视图间候选项，其中，首先检查穿过该给定预测维度中的该当前图像的该一或多个视图间共位区块的该运动矢量/视差矢量的可用性。
24.如权利要求23所述的方法，其特征在于，如果对应该给定参考列表的该一或多个视图间共位区块的该运动矢量/视差矢量和对应该其他参考列表的该一或多个视图间共位区块的该运动矢量/视差矢量都穿过或都不穿过该给定预测维度中的该当前图像，检查对应该给定参考列表的该一或多个视差间共位区块的该运动矢量/视差矢量的可用性。
25.如权利要求18所述的方法，其特征在于，根据查找顺序基于第一可用运动矢量/视差矢量，从该一或多个视差间共位区块中推导该视差间候选项，其中，该查找顺序相关于相应于该运动矢量/视差矢量的指向方向的参考列表和相应于该一或多个视差间共位图像的该参考列表。
26.如权利要求18所述的方法，其特征在于，直接传输或间接推导该给定预测维度、该参考图像索引或该给定参考列表。
27.如权利要求1所述的方法，其特征在于，如果使用视图间预测，根据深度信息将该当前图像的该当前区块投射至相应于该一或多个视图间共位图像的对应视图间共位区块之上来将该视图间候选项推导为该视差矢量。
28.如权利要求1所述的方法，其特征在于，根据该一或多个相邻区块的该预测维度的中值、平均值或大多数值间接推导该预测维度。
29.如权利要求1所述的方法，其特征在于，该运动矢量指向由给定参考列表的参考图像索引指示的目标参考图像，且根据该一或多个相邻区块的多个参考图像指示的中值、平均值或大多数值间接推导该参考图像索引。
30.如权利要求29所述的方法，其特征在于，根据该一或多个相邻区块的该多个参考列表的中值、平均值或大多数值间接推导该给定参考列表。
31.如权利要求1所述的方法，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个相邻区块中推导该空间候选项，且如果已选择该空间候选项，该当前图像的该区块直接使用该预测信息，且其中预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的预测方向、参考图像索引以及从该一或多个相邻区块中的一个选择的该运动矢量或该视差矢量。
32.如权利要求1所述的方法，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个时间共位区块中推导该时间候选项，其中，如果该时间共位区块的该预测维度为该视图间预测，该当前图像的该区块直接使用该预测信息，且其中，该预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的预测方向、参考图像索引以及从该一或多个时间共位区块中的一个选择的该运动矢量或该视差矢量。
33.如权利要求1所述的方法，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个时间共位区块中推导该时间候选项，其中，如果该时间共位区块的该预测维度为该时间预测，直接传输或间接推导参考图像索引；其中，在直接传输或间接推导该参考图像索引之后，如果选择该时间候选项，该当前图像的该区块直接使用预测信息，且其中，该预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的预测方向以及从该一或多个时间共位区块中的一个选择的该运动矢量或该视差矢量，且其中根据时间距离对选择的该运动矢量或该视差矢量进行缩放。
34.如权利要求1所述的方法，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个视图间共位区块中推导该视图间候选项，其中，如果该视图间共位区块的该预测维度为时间预测，该当前图像的该区块直接使用该预测信息，其中，该预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的预测方向、参考图像索引以及从该一或多个视图间共位区块中的一个选择的该运动矢量或该视差矢量。
35.如权利要求1所述的方法，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个视图间共位区块中推导该视图间候选项，其中，如果该视图间共位区块的该预测维度为视图间预测，直接传输或间接推导参考图像索引；其中，在直接传输或间接推导该参考图像索引之后，如果选择该视图间候选项，该当前图像的该区块直接使用预测信息，且其中，该预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的预测方向以及从该一或多个视图间共位区块中的一个选择的该运动矢量或该视差矢量，且其中根据视图间距离对选择的该运动矢量或该视差矢量进行缩放。
36.如权利要求1所述的方法，其特征在于，更包括根据对应该区块的深度信息基于对应将该当前区块投射在一或多个视图间共位图像的矢量确定一或多个推导的深度候选项，且从该一或多个空间候选项、该一或多个时间候选项、该一或多个视图间候选项以及该一或多个深度候选项中选择该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项。
37.一种推导运动矢量或运动矢量预测项或视差矢量或视差矢量预测项的装置，该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项相应于跳跃模式、合并模式或外部模式，且用于三维视频编码中的当前图像的一个区块，其中该三维视频编码使用的预测维度由时间预测和视图间预测组成，该装置包括：
确定一或多个空间候选项、一或多个时间候选项或同时确定该一或多个空间候选项和该一或多个时间候选项的单元，其中该一或多个空间候选项相应于该区块的一或多个相邻区块中的每一个；以及其中，该一或多个时间候选项相应于该区块的一或多个时间共位图像的一或多个时间共位区块的每一个；
确定相应于视图间共位区块的一或多个视图间候选项的单元，其中，该视图间共位区块相应于对应该区块的一或多个视图间共位图像；
从该一或多个空间候选项、该一或多个时间候选项或该一或多个视图间候选项中选择该运动矢量/运动矢量预测项或视差矢量/视差矢量预测项的单元；以及
将选择的该运动矢量/运动矢量预测项或该视差矢量/视差矢量预测项提供给该区块的单元。
38.如权利要求37所述的装置，其特征在于，如果使用该空间候选项推导该运动矢量/运动矢量预测项，从相应于该相邻区块的该运动矢量或该运动矢量与该视差矢量的组合中推导该空间候选项；以及其中，如果使用该空间候选项推导该视差矢量/视差矢量预测项，从相应于该相邻区块的该视差矢量或该运动矢量与该视差矢量的组合中推导该空间候选项。
39.如权利要求37所述的装置，其特征在于，如果使用该时间候选项推导该运动矢量/运动矢量预测项，则从相应于该一或多个时间共位图像的该一或多个时间共位区块的该运动矢量或该运动矢量与该视差矢量的组合中推导该时间候选项；以及其中，如果使用该时间候选项推导该视差矢量/视差矢量预测项，从相应于该一或多个时间共位图像的该一或多个时间共位区块的该视差矢量或该运动矢量与该视差矢量的组合中推导该时间候选项。
40.如权利要求37所述的装置，其特征在于，如果使用该视图间候选项推导该运动矢量/运动矢量预测项，则从相应于该一或多个视图间共位图像的该一或多个视图间共位区块的该运动矢量或该运动矢量与该视差矢量的组合中推导该视图间候选项；以及其中，如果使用该视图间候选项推导该视差矢量/视差矢量预测项，从相应于该一或多个视图间共位图像的该一或多个视图间共位区块的该视差矢量或该运动矢量与该视差矢量的组合中推导该视图间候选项。
41.如权利要求37所述的装置，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个相邻区块中推导该空间候选项，且如果已选择该空间候选项，该当前图像的该区块直接使用该预测信息，且其中预测信息包括预测维度、由参考列表0、参考列表1和双向预测组成的预测方向、参考图像索引以及从该一或多个相邻区块中的一个选择的该运动矢量或该视差矢量。
42.如权利要求37所述的装置，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个时间共位区块中推导该时间候选项，其中，如果该时间共位区块的该预测维度为该视图间预测，该当前图像的该区块直接使用该预测信息，且其中，该预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的预测方向、参考图像索引以及从该一或多个时间共位区块中的一个选择的该运动矢量或该视差矢量。
43.如权利要求37所述的装置，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个视图间共位区块中推导该视图间候选项，其中，如果该视图间共位区块的该预测维度为时间预测，该当前图像的该区块可直接使用预测信息，其中，该预测信息包括预测维度、由参考列表0、参考列表1和双向预测组成的预测方向、参考图像索引以及从该一或多个视图间共位区块中的一个选择的该运动矢量或该视差矢量。
CN201280029342.5A 2011-06-15 2012-06-08 推导运动和视差矢量的方法及装置 Active CN103597837B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161497438P 2011-06-15 2011-06-15
US61/497,438 2011-06-15
PCT/CN2012/076643 WO2012171442A1 (en) 2011-06-15 2012-06-08 Method and apparatus of motion and disparity vector prediction and compensation for 3d video coding

Publications (2)

Publication Number Publication Date
CN103597837A true CN103597837A (zh) 2014-02-19
CN103597837B CN103597837B (zh) 2018-05-04

Family

ID=47356540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280029342.5A Active CN103597837B (zh) 2011-06-15 2012-06-08 推导运动和视差矢量的方法及装置

Country Status (6)

Country Link
US (2) US20140078254A1 (zh)
EP (1) EP2721825A4 (zh)
KR (1) KR20140011481A (zh)
CN (1) CN103597837B (zh)
AU (1) AU2012269583B2 (zh)
WO (1) WO2012171442A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104333760A (zh) * 2014-10-10 2015-02-04 华为技术有限公司 三维图像编码方法和三维图像解码方法及相关装置
WO2015196988A1 (en) * 2014-06-24 2015-12-30 Mediatek Singapore Pte. Ltd. Method of inter-view advanced residual prediction in 3d video coding
CN105393535A (zh) * 2014-06-24 2016-03-09 联发科技（新加坡）私人有限公司 3d视频编码中的视图间先进残差预测方法
CN106664423A (zh) * 2014-10-08 2017-05-10 Lg电子株式会社 视频编译中的深度图片编译方法和设备
CN107197288A (zh) * 2016-03-15 2017-09-22 北京三星通信技术研究有限公司 视频全局视差向量编码方法、解码方法和装置
CN108353184A (zh) * 2015-11-05 2018-07-31 联发科技股份有限公司 用于视频编解码的使用平均运动矢量的帧间预测的方法和装置
WO2018177418A1 (en) * 2017-03-30 2018-10-04 Mediatek Inc. Sub-prediction unittemporal motion vector prediction (sub-pu tmvp) for video coding
WO2019072248A1 (zh) * 2017-10-12 2019-04-18 北京金山云网络技术有限公司 运动估计方法、装置、电子设备及计算机可读存储介质
CN109804627A (zh) * 2016-08-11 2019-05-24 韩国电子通信研究院 图像编码/解码方法和设备
CN110710210A (zh) * 2017-10-20 2020-01-17 株式会社Kt 视频信号处理方法及装置
CN112740672A (zh) * 2018-09-28 2021-04-30 高通股份有限公司 具有自适应方向信息集合的最终运动矢量表达

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013012905A (ja) * 2011-06-29 2013-01-17 Sony Corp 画像処理装置および方法
WO2013028116A1 (en) * 2011-08-19 2013-02-28 Telefonaktiebolaget L M Ericsson (Publ) Motion vector processing
EP2727366B1 (en) * 2011-10-11 2018-10-03 MediaTek Inc. Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
JP2013207755A (ja) * 2012-03-29 2013-10-07 Sony Corp 画像処理装置および方法
WO2013146507A1 (ja) * 2012-03-30 2013-10-03 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US9549180B2 (en) 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
CA2864002A1 (en) * 2012-04-24 2013-10-31 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding
US20130294513A1 (en) * 2012-05-07 2013-11-07 Qualcomm Incorporated Inter layer merge list construction for video coding
US20130336406A1 (en) * 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US20130336405A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding
US9325990B2 (en) 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
KR20150043319A (ko) * 2012-07-10 2015-04-22 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9392268B2 (en) * 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
WO2014053086A1 (en) * 2012-10-05 2014-04-10 Mediatek Singapore Pte. Ltd. Method and apparatus of motion vector derivation 3d video coding
CN102946535B (zh) * 2012-10-09 2015-05-13 华为技术有限公司 预测块的视差矢量预测值获取的方法和装置
US9544566B2 (en) * 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
US9438926B2 (en) 2012-12-21 2016-09-06 Qualcomm Incorporated Constraints on neighboring block based disparity vector (NBDV) techniques for 3D video
EP2941867A4 (en) * 2013-01-07 2016-07-06 Mediatek Inc METHOD AND DEVICE FOR DERIVING A PREDICTION OF SPATIAL MOTION VECTORS FOR DIRECT AND SKIP MODES IN A THREE-DIMENSIONAL VIDEO-CORDING
US9826239B2 (en) 2013-01-07 2017-11-21 Lg Electronics Inc. Video signal processing method and device
CN104904219B (zh) * 2013-01-09 2018-07-06 寰发股份有限公司 块编码装置及方法
WO2014107853A1 (en) 2013-01-09 2014-07-17 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
US9277200B2 (en) * 2013-01-17 2016-03-01 Qualcomm Incorporated Disabling inter-view prediction for reference picture list in video coding
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
US9521389B2 (en) 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
US9800857B2 (en) 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9900576B2 (en) 2013-03-18 2018-02-20 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US9521425B2 (en) * 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
CN105340273B (zh) 2013-04-05 2018-09-11 三星电子株式会社 用于预测用于层间视频解码的视差矢量的方法以及编码方法和设备
CN105144714B (zh) * 2013-04-09 2019-03-29 寰发股份有限公司 三维或多视图视频编码或解码的方法及装置
WO2014166063A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Default vector for disparity vector derivation for 3d video coding
KR101706309B1 (ko) * 2013-04-10 2017-02-14 에이치에프아이 이노베이션 인크. 3차원 비디오 코딩을 위한 뷰간 후보자 유도 방법 및 장치
WO2014166360A1 (en) * 2013-04-10 2014-10-16 Mediatek Inc. Method and apparatus for bi-prediction of illumination compensation
US10477230B2 (en) * 2013-04-10 2019-11-12 Mediatek Inc. Method and apparatus of disparity vector derivation for three-dimensional and multi-view video coding
WO2014166090A1 (en) * 2013-04-11 2014-10-16 Mediatek Singapore Pte. Ltd. Methods for checking the availability of inter-view residual prediction
EP2986000A4 (en) * 2013-04-11 2016-09-21 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
WO2014166109A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
EP2988509A4 (en) * 2013-04-17 2016-10-05 Samsung Electronics Co Ltd MULTI-VIEW VIDEO ENCODING METHOD USING VIEW SYNTHESIS PREDICTION AND APPARATUS THEREFOR, AND MULTI-VIEW VIDEO DECODING METHOD AND APPARATUS THEREOF
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
US9716899B2 (en) 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
KR101854003B1 (ko) 2013-07-02 2018-06-14 경희대학교 산학협력단 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
WO2015003383A1 (en) * 2013-07-12 2015-01-15 Mediatek Singapore Pte. Ltd. Methods for inter-view motion prediction
WO2015006967A1 (en) * 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Simplified view synthesis prediction for 3d video coding
CN105432084B (zh) * 2013-07-19 2018-10-26 寰发股份有限公司 用于三维视频编码的参考视图选择的方法
WO2015006984A1 (en) * 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Reference view selection for 3d video coding
WO2015055143A1 (en) * 2013-10-17 2015-04-23 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN104581159B (zh) * 2013-10-18 2019-04-05 华为技术有限公司 视频编解码中的块分割方式确定方法及相关装置
US10080029B2 (en) * 2013-10-24 2018-09-18 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus
WO2015060508A1 (ko) * 2013-10-24 2015-04-30 한국전자통신연구원 비디오 부호화/복호화 방법 및 장치
CN103763557B (zh) * 2014-01-03 2017-06-27 华为技术有限公司 一种Do‑NBDV获取方法及视频解码装置
WO2015137723A1 (ko) * 2014-03-11 2015-09-17 삼성전자 주식회사 인터 레이어 비디오 부호화를 위한 디스패리티 벡터 예측 방법 및 장치와 인터 레이어 비디오 복호화를 위한 디스패리티 벡터 예측 방법 및 장치
KR102260146B1 (ko) * 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
KR20150113714A (ko) * 2014-03-31 2015-10-08 인텔렉추얼디스커버리 주식회사 깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치
KR20150113715A (ko) * 2014-03-31 2015-10-08 인텔렉추얼디스커버리 주식회사 깊이 정보를 이용한 움직임 정보 유도방법 및 장치, 움직임 병합 후보 유도방법 및 장치
KR102350232B1 (ko) 2014-11-20 2022-01-13 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
US10244164B1 (en) 2017-09-11 2019-03-26 Qualcomm Incorporated Systems and methods for image stitching
KR20230135157A (ko) * 2017-09-19 2023-09-22 삼성전자주식회사 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
EP3857890A4 (en) * 2018-11-06 2021-09-22 Beijing Bytedance Network Technology Co. Ltd. SIGNALING PAGE INFORMATION FOR INTERPREDICTION WITH GEOMETRIC PARTITIONING
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1275871A (zh) * 2000-07-21 2000-12-06 清华大学 多摄像头视频目标提取的视频图像通信系统及实现方法
CN1365577A (zh) * 2000-03-31 2002-08-21 皇家菲利浦电子有限公司 两种相关数据序列的编码
WO2007035054A1 (en) * 2005-09-22 2007-03-29 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
CN101248669A (zh) * 2005-09-21 2008-08-20 三星电子株式会社 对多视点视频编码和解码的设备和方法
CN101248670A (zh) * 2005-09-22 2008-08-20 三星电子株式会社 估计视差矢量的方法以及使用该视差矢量估计方法对多视角运动图像编码和解码的方法和设备
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
US8559515B2 (en) * 2005-09-21 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
KR20090129412A (ko) * 2007-03-02 2009-12-16 엘지전자 주식회사 비디오 신호 디코딩/인코딩 방법 및 장치
KR102521802B1 (ko) * 2010-05-04 2023-04-13 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
CN101917619B (zh) * 2010-08-20 2012-05-09 浙江大学 一种多视点视频编码快速运动估计方法
US20120287999A1 (en) * 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1365577A (zh) * 2000-03-31 2002-08-21 皇家菲利浦电子有限公司 两种相关数据序列的编码
CN1275871A (zh) * 2000-07-21 2000-12-06 清华大学 多摄像头视频目标提取的视频图像通信系统及实现方法
CN101248669A (zh) * 2005-09-21 2008-08-20 三星电子株式会社 对多视点视频编码和解码的设备和方法
WO2007035054A1 (en) * 2005-09-22 2007-03-29 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
CN101248670A (zh) * 2005-09-22 2008-08-20 三星电子株式会社 估计视差矢量的方法以及使用该视差矢量估计方法对多视角运动图像编码和解码的方法和设备
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BIN LI等: "Redundancy reduction in Cbf and Merging coding", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *
SEYOON JEONG等: "TE11: Cross-check result of merge/skip (3.2c)", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *
SHINYA SHIMIZU 等: "View Scalable Multiview Video Coding Using 3-D Warping With Depth Map", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9843821B2 (en) 2014-06-24 2017-12-12 Hfi Innovation Inc. Method of inter-view advanced residual prediction in 3D video coding
WO2015196988A1 (en) * 2014-06-24 2015-12-30 Mediatek Singapore Pte. Ltd. Method of inter-view advanced residual prediction in 3d video coding
WO2015196364A1 (en) * 2014-06-24 2015-12-30 Mediatek Singapore Pte. Ltd. Methods for inter-view advanced residual prediction
CN105393535A (zh) * 2014-06-24 2016-03-09 联发科技（新加坡）私人有限公司 3d视频编码中的视图间先进残差预测方法
CN105393535B (zh) * 2014-06-24 2018-10-12 寰发股份有限公司 3d视频编码中的视图间先进残差预测方法
US10659814B2 (en) 2014-10-08 2020-05-19 Lg Electronics Inc. Depth picture coding method and device in video coding
CN106664423B (zh) * 2014-10-08 2020-04-07 Lg电子株式会社 视频编译中的深度图片编译方法
CN106664423A (zh) * 2014-10-08 2017-05-10 Lg电子株式会社 视频编译中的深度图片编译方法和设备
US10397612B2 (en) 2014-10-10 2019-08-27 Huawei Technologies Co., Ltd. Three-dimensional video encoding method, three-dimensional video decoding method, and related apparatus
CN104333760A (zh) * 2014-10-10 2015-02-04 华为技术有限公司 三维图像编码方法和三维图像解码方法及相关装置
US10116965B2 (en) 2014-10-10 2018-10-30 Huawei Technologies Co., Ltd. Three-dimensional video encoding method, three-dimensional video decoding method, and related apparatus
CN104333760B (zh) * 2014-10-10 2018-11-06 华为技术有限公司 三维图像编码方法和三维图像解码方法及相关装置
CN108353184B (zh) * 2015-11-05 2022-02-01 联发科技股份有限公司 一种视频编解码的方法及装置
CN108353184A (zh) * 2015-11-05 2018-07-31 联发科技股份有限公司 用于视频编解码的使用平均运动矢量的帧间预测的方法和装置
CN107197288B (zh) * 2016-03-15 2023-11-10 北京三星通信技术研究有限公司 视频全局视差向量编码方法、解码方法和装置
CN107197288A (zh) * 2016-03-15 2017-09-22 北京三星通信技术研究有限公司 视频全局视差向量编码方法、解码方法和装置
CN109804627B (zh) * 2016-08-11 2023-07-25 Lx 半导体科技有限公司 图像编码/解码方法和设备
US11743473B2 (en) 2016-08-11 2023-08-29 Lx Semicon Co., Ltd. Method and apparatus for encoding/decoding a video using a motion compensation
CN109804627A (zh) * 2016-08-11 2019-05-24 韩国电子通信研究院 图像编码/解码方法和设备
CN110521205A (zh) * 2017-03-30 2019-11-29 联发科技股份有限公司 用于视频编解码的子预测单元时间运动向量预测
WO2018177418A1 (en) * 2017-03-30 2018-10-04 Mediatek Inc. Sub-prediction unittemporal motion vector prediction (sub-pu tmvp) for video coding
CN110521205B (zh) * 2017-03-30 2021-07-16 联发科技股份有限公司 视频编解码方法、装置与相关计算机可读介质
WO2019072248A1 (zh) * 2017-10-12 2019-04-18 北京金山云网络技术有限公司 运动估计方法、装置、电子设备及计算机可读存储介质
US11627330B2 (en) 2017-10-20 2023-04-11 Kt Corporation Video signal processing method and device
CN110710210B (zh) * 2017-10-20 2023-08-04 株式会社Kt 视频信号处理方法及装置
CN110710210A (zh) * 2017-10-20 2020-01-17 株式会社Kt 视频信号处理方法及装置
CN112740672A (zh) * 2018-09-28 2021-04-30 高通股份有限公司 具有自适应方向信息集合的最终运动矢量表达

Also Published As

Publication number Publication date
EP2721825A4 (en) 2014-12-24
WO2012171442A1 (en) 2012-12-20
US20180115764A1 (en) 2018-04-26
AU2012269583A1 (en) 2013-10-17
KR20140011481A (ko) 2014-01-28
AU2012269583B2 (en) 2015-11-26
CN103597837B (zh) 2018-05-04
EP2721825A1 (en) 2014-04-23
US20140078254A1 (en) 2014-03-20

Similar Documents

Publication Publication Date Title
CN103597837A (zh) 运动和视差矢量预测的方法及装置以及3d视频编码补偿
CN105874799B (zh) 用于3d视频译码的基于块的高级残差预测
CN103229504B (zh) 获取运动矢量预测值的方法与装置
CN105556969B (zh) 视频译码中使用视差向量的块识别
CN105308965B (zh) 用于3d视频编码的协调视图间和视图合成预测
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN103202014B (zh) 获取运动向量相关信息的方法及其装置
KR101706309B1 (ko) 3차원 비디오 코딩을 위한 뷰간 후보자 유도 방법 및 장치
CN104412597B (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN104521236B (zh) 三维视频编码或解码方法
CN101243692B (zh) 对多视角视频进行编码的方法和设备
CN106471806A (zh) 3d‑hevc中的简化移位合并候选者及合并列表导出
CN105359530A (zh) 面向深度的视图间运动向量预测
CN105009586A (zh) 多视图或3维视频译码中的视图间残余预测
CN104662909A (zh) 用于3d视频的视图间运动预测
CN103907346A (zh) 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置
CN104704837A (zh) 三维视频编码中的元素间运动预测的方法及装置
CN104718760A (zh) 运动矢量推导三维视频编码的方法和装置
US20150365649A1 (en) Method and Apparatus of Disparity Vector Derivation in 3D Video Coding
US10110923B2 (en) Method of reference view selection for 3D video coding
KR101550680B1 (ko) 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치 및 그 프로그램
US10075690B2 (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN105432084B (zh) 用于三维视频编码的参考视图选择的方法
CN104782123A (zh) 用于预测视点间运动的方法以及用于确定3维视频中的视点间合并候选的方法
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160908

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant