CN103597837B - 推导运动和视差矢量的方法及装置 - Google Patents

推导运动和视差矢量的方法及装置 Download PDF

Info

Publication number
CN103597837B
CN103597837B CN201280029342.5A CN201280029342A CN103597837B CN 103597837 B CN103597837 B CN 103597837B CN 201280029342 A CN201280029342 A CN 201280029342A CN 103597837 B CN103597837 B CN 103597837B
Authority
CN
China
Prior art keywords
vector
prediction
block
item
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280029342.5A
Other languages
English (en)
Other versions
CN103597837A (zh
Inventor
林建良
陈渏纹
蔡玉宝
黄毓文
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of CN103597837A publication Critical patent/CN103597837A/zh
Application granted granted Critical
Publication of CN103597837B publication Critical patent/CN103597837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本发明提供一种推导运动矢量（MV）或运动矢量预测项（MVP）或视差矢量（DV）或视差矢量预测项（DVP）的方法及装置，其中，该MV/MVP或DV/DVP相应于跳跃模式、合并模式或外部模式，且用于三维视频编码中的当前图像的一个区块，其中该三维视频编码使用的预测维度包括时间预测和视图间预测，该方法包括：确定空间候选项、时间候选项或同时确定空间候选项和时间候选项；确定相应于视图间共位区块的视图间候选项；从空间候选项、时间候选项或视图间候选项中选择该MV/MVP或DV/DVP；以及将选择的该MV/MVP或DV/DVP提供给该区块。本发明提供的MV或DV预测方法可将现有MV/MVP预测方法扩展至3D视频编码，改善编码效率。

Description

推导运动和视差矢量的方法及装置
相关申请的交叉引用
本申请的权利要求要求如下申请的优先权：2011年6月15日递交的申请号为61/497,438，标题为「Method for motion vector prediction and disparity vectorprediction in 3D video coding」的美国临时申请案以及2011年9月19日递交的申请号为13/236,422，标题为「Method and Apparatus for Deriving Temporal Motion VectorPrediction」的美国非临时申请案。在此合并参考上述临时申请和非临时申请案的全部内容。
技术领域
本发明有关于视频编码。更具体地，本发明有关于3D视频编码中的运动(motion)/视差(disparity)矢量预测以及运动/视差补偿(motion/disparity compensation)的信息共享。
背景技术
近年来三维(three-dimensional，3D)电视已成为一种技术趋势，其可为观看者带来震撼的观看体验。通过使用各种技术来致能3D。其中，相较于其他技术，多视图(multi-view)视频是3D电视应用的关键技术。传统视频是二维(two-dimensional，2D)媒体，仅能向观看者提供从摄相机角度的场景的单一视图(single view)。然而，多视图视频可提供动态场景的任意视点(viewpoint)并为观看者带来真实的感官。
多视图视频是通过同时使用多个摄相机捕捉一个场景而建立的，其中，多个摄相机位于适当的位置以使每个摄相机各从一个视点捕捉场景。相应地，多个摄相机将捕捉多个视频序列(video sequence)。为了提供更多的视图，已使用更多的摄相机以产生多视图视频，其中该多视图视频具有相应于视图的大量视频序列。相应地，多视图视频需要大量的存储空间进行存储及/或高的带宽进行传输。因此，技术领域中已发展了多视图视频编码技术以减少传输带宽所需的存储空间。一种直接的方法是对每个单一视图的视频序列独立地应用传统视频 编码技术而忽略不同视图之间的关联(correlation)。为了改进多视图视频编码效率，典型的多视图视频编码总是利用视图间残差(inter-view redundancy)。
图1为3D视频编码的预测结构示例示意图。纵轴表示不同的视图，而横轴表示捕捉图像的不同时间点(time instance)。在每个时间点，除了捕捉每个视图的色彩图像(colorimage)，也捕捉其深度图像(depth image)。例如，对于视图V0，色彩图像110C、111C及112C分别是对应时间点T0、T1及T2而捕捉的。且深度图像110D、111D及112D分别是与色彩图像一起对应时间点T0、T1及T2而捕捉的。类似地，对于视图V1，色彩图像120C、121C及122C与相应的深度图像120D、121D及122D分别是对应时间点T0、T1及T2而捕捉的。对于视图V2，色彩图像130C、131C及132C与相应的深度图像130D、131D及132D分别是对应时间点T0、T1及T2而捕捉的。可对每个视频的图像应用基于外部/内部预测(inter/intra-prediction)的传统视频编码。例如，在视图V1中，图像120C和122C可用于图像121C的时间预测(temporalprediction)。此外，视图间预测用作时间预测之外的另一预测维度。相应地，本揭露书中使用“预测维度”以表示预测轴(prediction axis)。其中，沿预测轴的视频信息用于预测。因此，预测维度可表示视图间预测或时间预测。例如，在时间T1，可使用来自视图V0的图像111C和来自视图V2的图像131C预测视图V1的图像121C。此外，也可将相应于场景的深度信息包括在比特流中以提供支持用于交互应用(interactive application)。深度信息也可用于从中间视点(intermediate viewpoint)合成(synthesize)虚拟视图。
为减少用于传输编码多视图视频的运动矢量(motion vector，MV)的比特率(bit-rate)，提出了运动跳跃模式(motion skip mode)以共享相邻视图的已编码运动信息。图2为3D视频跳跃模式的示例示意图，其中使用全局视差矢量确定共位区块。如图2所示，运动跳跃模式包括两个步骤。在第一步中，标记(identify)相邻视图中的共位图像222中的共位区块(co-located block)212以用于当前视图中图像220中的当前区块210。其中，通过确定当前视图中的当前图像220与相邻视图中的共位图像222之间的全局视差矢量(globaldisparity vector)230来标记共位区块212。在第二步中，将共位图像222中的共位区块212的运动信息与当前图像220中的当前区块210共享。例如，共位区块212的运动矢量242和252可被当前区块210所共享。当前区块210的运动矢量240和250可从运动矢量242和252中推导。
高效视频编码(High Efficiency Video Coding，HEVC)是一种新型的国际视频编码标准，由视频编码联合协作组(Joint Collaborative Team on Video Coding，JCT-VC)指导发展。在HEVC工作草案第三版(WD-3.0)和HEVC测试模型第三版(HM-3.0)中，与诸如MPEG-4和AVC/H.264的先前编码标准类似，使用基于混合区块的运动补偿的类DCT变换编码结构(hybridblock-based motion-compensated DCT-like transform codingarchitecture)。然而，HEVC中也存在引入的新特征和编码工具。例如，压缩基本单元(称为编码单元(Coding Unit，CU))为2Nx2N的正方形区块，且每个CU可递归式地分割为四个更小的CU直至达到预定义最小尺寸(size)。每个CU包括一或多个预测单元(prediction units，PU)，其中PU用作用于预测程序的区块单元，PU的尺寸可为2Nx2N、2NxN、Nx2N以及NxN。
为了增加HEVC中运动矢量编码的编码效率，运用基于运动矢量竞争(motionvector competition，MVC)的机制来从给定的运动矢量预测项(motion vectorpredictor，MVP)候选项(candidate)集合中选择一个MVP，其中，MVP候选项集合包括空间和时间MVP。存在三种外部预测模式，即HM-3.0中包括的外部、跳跃和合并模式。外部模式根据传输的运动矢量(motion vectors，MV)执行运动补偿预测，而跳跃和合并模式使用运动推理方法(motion inference method)以从位于共位图像中的空间相邻区块(空间候选项)或时间相邻区块(时间候选项)中确定运动信息，其中，共位图像为片头部(slice header)中指示的列表0或列表1中的第一参考图像。
当以跳跃或合并模式编码PU时，除了所选候选项的索引之外并不传输运动信息。对于跳跃模式的PU，也不传输残差信号。对于HM-3.0的外部模式，使用先进运动矢量预测(advanced motion vector prediction，AMVP)机制从AMVP候选项集合中选择一个运动矢量预测项，其中AMVP候选项集合包括两个空间MVP和一个时间MVP。根据率失真优化(rate-distortion optimization，RDO)决定，编码器从用于外部、跳跃或合并模式的给定候选项集合中选择最终的MVP并向解码器传输所选MVP的索引。可根据时间距离(temporaldistance)对所选MVP进行线性缩放。
对于外部模式而言，参考图像索引被直接传输至解码器。然后从候选项集合中选择MVP用于给定参考图像索引。图3为HM-3.0中用于外部模式的MVP候选项集合的示意图，其中包括两个空间MVP和一个时间MVP：
1.左预测项(来自A0或A1的第一可用运动矢量)
2.上预测项(来自B0、B1或Bn+1的第一可用运动矢量)
3.时间预测项(来自TBR或TCTR的第一可用运动矢量)
时间预测项是从位于共位图像中的区块(TBR或TCTR)中推导的，其中，共位图像为列表0或列表1中的第一参考图像。从中选择时间MVP的区块可具有两个MV：一个来自列表0且另一个来自列表1。根据下列规则从来自列表0或列表1的MV推导时间MVP：
1.首先选择穿过当前图像的MV。
2.如果两个MV都穿过或都不穿过当前图像，选择与当前列表具有相同参考列表的MV。
运用基于优先级的机制推导每个空间MVP。可从不同列表和不同参考图像中推导空间MVP。选择的顺序基于下列预定义顺序：
1.来自相同参考列表和相同参考图像的MV；
2.来自其他参考列表和相同参考图像的MV；
3.来自相同参考列表和其他参考图像的缩放MV；以及
4.来自其他参考列表和其他参考图像的缩放MV。
在HM-3.0中，如果将特定区块编码为合并或跳跃模式，则将MVP索引包括至比特流中以指示MVP候选项集合中的哪个MVP被用于待合并的区块。为遵循运动信息共享的本质，每个合并的PU重用所选候选项的MV、预测方向以及参考图像索引。预测方向指的是相应于参考图像的时间方向，例如列表0(L0)/列表1(L1)或双向预测(Bi-prediction)。需注意，如果所选MVP为时间MVP，则参考图像索引永远设置为第一参考图像。图4为HM-3.0中用于合并模式和跳跃模式的MVP候选项集合的示意图，其中包括四个空间MVP和一个时间MVP：
1.左预测项(Am)
2.上预测项(Bn)
3.时间预测项(来自TBR或TCTR的第一可用运动矢量)
4.右上预测项(B0)
5.左下预测项(A0)
如上所示，HEVC使用先进MVP推导以减少相应于运动矢量的比特率。需要扩展先进MVP技术至3D视频编码以改进编码效率。
发明内容
有鉴于此，本发明提供一种推导运动矢量或运动矢量预测项或视差矢量或视差矢量预测项的方法及装置。
本发明提供一种推导运动矢量或运动矢量预测项或视差矢量或视差矢量预测项的方法，该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项相应于跳跃模式、合并模式或外部模式，且用于三维视频编码中的当前图像的一个区块，其中该三维视频编码使用的预测维度包括时间预测和视图间预测，该方法包括：确定一或多个空间候选项、一或多个时间候选项或同时确定该一或多个空间候选项和该一或多个时间候选项，其中该一或多个空间候选项相应于该区块的一或多个相邻区块中的每一个；以及其中，该一或多个时间候选项相应于该区块的一或多个时间共位图像的一或多个时间共位区块的每一个；确定相应于视图间共位区块的一或多个视图间候选项，其中，该视图间共位区块相应于对应该区块的一或多个视图间共位图像；从该一或多个空间候选项、该一或多个时间候选项或该一或多个视图间候选项中选择该运动矢量/运动矢量预测项或视差矢量/视差矢量预测项；以及将选择的该运动矢量/运动矢量预测项或该视差矢量/视差矢量预测项提供给该区块。
本发明另提供一种推导运动矢量或运动矢量预测项或视差矢量或视差矢量预测项的装置，该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项相应于跳跃模式、合并模式或外部模式，且用于三维视频编码中的当前图像的一个区块，其中该三维视频编码使用的预测维度包括时间预测和视图间预测，该装置包括：确定一或多个空间候选项、一或多个时间候选项或同时确定该一或多个空间候选项和该一或多个时间候选项的单元，其中该一或多个空间候选项相应于该区块的一或多个相邻区块中的每一个；以及其中，该一或多个时间候选项相应于该区块的一或多个时间共位图像的一或多个时间共位区块的每一个；确定相应于视图间共位区块的一或多个视图间候选项的单元，其中，该视图间共位区块相应于对应该区块的一或多个视图间共位图像；从该一或多个空间候选项、该一或多个时间候选项或该一或多个视图间候选项中选择该运动矢量/运动矢量预测项或视差矢量/视差矢量预测项的单元；以及将选择的该运动矢量/运动矢量预测项或该视差矢量/视差矢量预测项提供给该区块的单元。
本发明提供的MV或DV预测方法可将现有MV/MVP预测方法扩展至3D视频编码，改善编码效率。
附图说明
图1为3D视频编码的预测结构示例示意图，其中该预测包括时间和视图间预测。
图2为3D视频跳跃模式的示例示意图，其中使用全局视差矢量确定共位区块。
图3为HM-3.0中用于外部模式的MVP候选项集合的示例示意图。
图4为HM-3.0中用于合并模式和跳跃模式的MVP候选项集合的示意图。
图5为根据本发明用于3D视频编码的MV(P)/DV(P)候选项推导的示意图。
具体实施方式
在本发明中，运用各种机制以推导用于3D视频编码中跳跃、合并以及外部模式的MV/DV以及MVP/视差矢量预测项(Disparity Vector Predictor，DVP)。
图5为用于当前区块的MV(P)/DV(P)候选项的方案示意图，其中，MV(P)/DV(P)是从列表0(L0)或列表1(L1)中的共位图像中的空间相邻区块、时间共位区块以及视图间共位图像中的视图间共位区块中推导的。图像510、511以及512分别对应在时间示例T0、T1、T2来自视图V0的图像。类似地，图像520、521以及522分别对应在时间示例T0、T1、T2来自视图V1的图像，且图像530、531以及532分别对应在时间示例T0、T1、T2来自视图V2的图像。图5中所示的图像可为色彩图像或深度图像。所推导的候选项称为空间候选项(空间MVP)、时间候选项(时间MVP)以及视图间候选项(视图间MVP)。特别地，对于时间和视图间候选项推导，可在不同语法(syntax)层级间接推导或直接传输指示共位图像是在列表0还是列表1中的信息。其中，语法层级可例如队列参数集合(sequence parameter set，SPS)、图像参数集合(picture parameter set，PPS)、适应性参数集合(adaptive parameter set，APS)、片头部(Slice header)、CU层级、最大CU层级或叶(leaf)层级或PU层级。而视图间共位区块的位置可通过使用当前区块的相同位置或使用全局视差矢量(Global Disparity Vector，GDV)或者根据深度信息将当前区块投射(warp)在共位图像之上来确定。
也可基于对应根据深度信息将当前区块投射在共位图像之上的矢量推导候选项。相应地，将使用深度信息推导的候选项称为深度候选项(depth candidate)。
然后运用基于MVC的机制以从包括空间、时间、视图间以及深度候选项的MVP/DVP候选项集合之中选择一个MVP/DVP。再然后将所选候选项的索引传输至解码器。
当将区块编码为合并或跳跃模式时，将合并索引包括至比特流中以指示MVP/DVP候选项集合中的哪个MVP/DVP被用于待合并的区块。MVP/DVP候选项包括空间候选项(空间MVP/DVP)、时间候选项(时间MVP/DVP)、视图间候选项(视图间MVP/DVP)以及深度候选项。通过与其他已编码区块共享运动信息来减少相应于运动信息的比特流，其中，每个合并的PU重用所选候选项的MV/DV、预测维度、预测方向以及参考图像索引。将合并索引传输至解码器以指示哪个候选项被选用于合并模式。
在此提出推导空间候选项的本发明的多个实施例。在空间候选项推导的一个实施例中，如果使用空间候选项预测运动矢量，从相邻区块的MV中推导空间候选项。类似地，如果使用空间候选项预测视差矢量，从相邻区块的DV中推导空间候选项。
在空间候选项推导的本发明另一个实施例中，如果使用空间候选项预测运动矢量，则从相邻区块的MV和DV中推导空间候选项。类似地，如果使用空间候选项预测视差矢量，则从相邻区块的MV和DV中推导空间候选项。
在空间候选项推导的本发明另一个实施例中，可使用根据上述实施例的基于相邻区块的MV或MV/DV推导的空间候选项以推导空间候选项。当目标参考图像标记为由给定参考列表的给定参考图像索引指示，可从来自给定参考列表或其他参考列表中的指向目标参考图像的MV/DV推导空间候选项。例如，如果所有相邻区块在给定参考列表中不具有指向目标参考图像的MV/DV，可将候选项推导为指向来自相邻区块在其他参考列表中的目标参考图像的第一可用MV/DV。
在类似于上述实施例的又一个实施例中，可将根据上述实施例的基于相邻区块的MV或MV/DV推导的空间候选项更用于推导空间候选项。当目标参考图像标记为由给定参考列表的给定参考图像索引指示时，可从指向目标参考图像的MV/DV或从相同给定参考列表中指向除目标参考图像以外的参考图像的MV/DV推导空间候选项。例如，如果所有相邻区块都不具有指向目标参考图像的MV/DV，可将候选项推导为基于相邻区块中指向其他参考图像的第一可用MV的缩放MV/DV。
在类似于上述实施例的另一个实施例中，可将根据上述实施例的基于相邻区块的MV或MV/DV推导的空间候选项更用于推导空间候选项。当目标参考图像标记为由给定参考列表的给定参考图像索引指示时，可根据下列顺序从其他参考列表或其他参考图像索引中推导空间候选项：
-在给定参考列表中查找指向目标参考图像的MV/DV
-在其他参考列表中查找指向目标参考图像的MV/DV
-在给定参考列表中查找指向其他参考图像的MV/DV，然后根据时间距离/视图间距离对推导的MV/DV进行缩放；以及
-在其他参考列表中查找指向其他参考图像的MV/DV，然后根据时间距离/视图间距离对推导的MV/DV进行缩放。
对于合并和跳跃模式的空间候选项推导，空间候选项的预测信息包括预测维度(时间或视图间)、预测方向(L0/L1或双向)、参考图像索引以及MV/DV。空间候选项的信息直接重用用于推导候选项信息的所选相邻区块的预测信息。如果选择空间候选项，预测信息可直接被当前PU使用。
在此也提出推导时间候选项的本发明的多个实施例。在时间候选项推导的一个实施例中，如果时间候选项用于预测运动矢量，则从时间共位区块的MV中推导时间候选项。类似地，如果时间候选项用于预测视差矢量，则从时间共位区块的DV中推导时间候选项。
在时间候选项推导的另一个实施例中，如果使用时间候选项预测运动矢量，则从时间共位区块的MV和DV中推导时间候选项。类似地，如果使用时间候选项预测视差矢量，则从时间共位区块的MV和DV中推导时间候选项。
在时间候选项推导的本发明再一个实施例中，可更使用根据上述实施例的基于时间共位区块的MV或MV/DV推导的时间候选项以推导时间候选项。例如，当提供参考列表和共位图像时，可通过查找具有与给定参考列表相同的相应参考列表的MV/DV来推导MV/DV候选项。然后根据时间距离/视图间距离对推导的MV/DV进行缩放。又例如，当提供参考列表与共位图像时，通过查找在时间/视图间维度穿过当前图像的MV/DV来推导MV/DV候选项。然后根据时间距离/视图间距离对推导的MV/DV进行缩放。又例如，当提供参考列表与共位图像时，根据下列顺序推导MV/DV候选项：
1.查找在时间/视图间维度穿过当前图像的MV/DV；以及
2.如果两个MV/DV都穿过或都不穿过当前图像，选择与当前列表具有相 同参考列表的MV/DV。
然后根据时间距离/视图间距离对推导的MV/DV进行缩放。
在时间候选项推导的再一个实施例中，可将根据上述实施例的基于时间共位区块的MV或MV/DV推导的时间候选项更用于推导时间候选项。当提供参考列表时，可根据给定的优先级顺序基于来自列表0或列表1中的共位图像中的共位区块的列表0或列表1的MV/DV推导MV/DV候选项。该优先级顺序为预定义、间接推导或直接传输至解码器。然后根据时间距离/视图间距离对推导的MV/DV进行缩放。优先级顺序的一个实例如下所示，其中，假设当前列表为列表0：
1.来自列表1中的共位图像的共位区块的列表0的缩放MV/DV；
2.来自列表0中的共位图像的共位区块的列表1的缩放MV/DV；
3.来自列表0中的共位图像的共位区块的列表0的缩放MV/DV；以及
4.来自列表1中的共位图像的共位区块的列表1的缩放MV/DV。
对于合并和跳跃模式的时间候选项推导，如果时间共位区块的预测维度为视图间维度，如果已选择时间候选项，当前PU可直接使用预测信息，其中预测信息可例如预测维度(时间或视图间)、预测方向(L0/L1或双向)、参考图像索引以及时间共位区块的DV。
对于合并和跳跃模式的时间候选项推导，如果时间共位区块的预测维度为时间维度，可直接传输或间接推导参考图像索引。如果已选择时间候选项，当前PU可直接使用预测信息，其中预测信息可例如预测维度、预测方向(L0/L1或双向)、参考图像索引以及时间共位区块的MV。然后根据时间距离对推导的MV进行缩放。对于参考图像索引的推导，可基于来自相邻区块的参考图像指数(indice)的中值(median)/平均值(mean)或大多数值(majority)间接推导得到。
本发明还揭露了推导视图间候选项的多个实施例。在视图间候选项推导的一个实施例中，如果视图间候候选项用于预测运动矢量，则从视图间共位区块的MV中推导视图间候选项。类似地，如果视图间候候选项用于预测视差矢量，则从视图间共位区块的DV中推导视图间候选项。可使用视图间共位图像中的当前区块的相同位置或使用GDV或者根据深度信息将当前区块投射在视图间共位图像之上来确定视图间维度中共位区块的位置。
在视图间候选项推导的另一个实施例中，如果使用视图间候选项预测运动 矢量，则从视图间共位区块的MV和DV中推导视图间候选项。类似地，如果使用视图间候选项预测视差矢量，则从视图间共位区块的MV和DV中推导视图间候选项。可使用视图间共位图像中的当前区块的相同位置或使用GDV或者根据深度信息将当前区块投射在视图间共位图像之上来确定视图间维度中共位区块的位置。
在视图间候选项推导的本发明再一个实施例中，可更使用根据上述实施例的基于视图间共位区块的MV或MV/DV推导的视图间候选项以推导视图间候选项。例如，当提供参考列表和共位图像时，可通过查找具有与给定参考列表相同的相应参考列表的MV/DV来推导MV/DV候选项。然后根据时间距离/视图间距离对推导的MV/DV进行缩放。又例如，当提供参考列表与共位图像时，可通过查找在时间/视图间维度穿过当前图像的MV/DV来推导MV/DV候选项。又例如，当提供参考列表与共位图像时，根据下列顺序可推导MV/DV候选项：
1.查找在时间/视图间维度穿过当前图像的MV/DV；以及
2.如果两个MV/DV都穿过或都不穿过当前图像，选择与当前列表具有相同参考列表的MV/DV。
然后根据时间距离/视图间距离对推导的MV/DV进行缩放。
又例如，当提供参考列表时，可根据给定的优先级顺序基于来自列表0或列表1中的共位图像中的共位区块的列表0或列表1的MV/DV推导MV/DV候选项。该优先级顺序为预定义、间接推导或直接传输至解码器。然后根据时间距离/视图间距离对推导的MV/DV进行缩放。优先级顺序的一个实例如下所示，其中，假设当前列表为列表0：
1.列表1中的共位图像的共位区块的列表0的缩放MV/DV；
2.列表0中的共位图像的共位区块的列表1的缩放MV/DV；
3.列表0中的共位图像的共位区块的列表0的缩放MV/DV；
4.列表1中的共位图像的共位区块的列表1的缩放MV/DV。
对于合并和跳跃模式的视图间候选项推导，如果视图间共位区块的预测维度为时间维度，如果已选择视图间候选项，当前PU可直接使用预测信息，其中预测信息例如预测维度、预测方向(L0/L1或双向)、参考图像索引以及视图间共位区块的MV。
可使用视图间共位图像中的当前区块的相同位置或使用GDV或者根据深度信息将当前区块投射在视图间共位图像之上来确定视图间维度中共位区块的位 置。
对于合并和跳跃模式的视图间候选项推导，如果视图间共位区块的预测维度为视图间维度，可直接传输或间接推导参考图像索引。如果已选择视图间候选项，当前PU可直接使用预测信息，其中预测信息例如预测维度、预测方向(L0/L1或双向)、参考图像索引以及视图间共位区块的DV。然后根据视图间距离对推导的DV进行缩放。对于参考图像索引的推导，可基于来自相邻区块的参考图像指数的中值/平均值或大多数值间接推导得到。
可使用视图间共位图像中的当前区块的相同位置或使用GDV或者根据深度信息将当前区块投射在视图间共位图像之上来确定视图间维度中共位区块的位置。
上述的根据本发明的3D视频编码的空间候选项推导、时间候选项推导或视图间候选项推导的实施例可在不同硬件、软件、或二者的组合中实现。例如，本发明的一个实施例可为集成在视频压缩芯片中的电路或集成在视频压缩软件中的程序代码以执行实施例中所述的处理。本发明的一个实施例也可为数字信号处理器(DSP)上执行的程序代码以执行实施例中所述的处理。本发明也关于由计算机处理器、DSP、微处理机或FPGA执行的多个功能。根据本发明，通过执行定义本发明所包括的特定方法的机器可读软件代码或固件代码，可配置这些处理器以执行特定任务。可在不同程序语言和不同格式或风格中开发软件代码或固体代码。也可对不同目标平台编译软件代码。然而，根据本发明不同编码格式、风格和软件代码语言以及为执行任务的配置代码其他方式都不得脱离本发明的精神与范围。
在不脱离本发明精神或基本特征的前提下可将本发明以其他特定形式实现。将所述的实例看作仅为说明目的各个方面，并非用于限制用途。因此，本发明的范围由所附的权利要求决定而并非前面的描述所决定。在权利要求的含义或其等效范围之内的任何改变都在本发明保护范围之内。

Claims (42)

1.一种推导运动矢量或运动矢量预测项或视差矢量或视差矢量预测项的方法，该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项相应于跳跃模式、合并模式或外部模式，且用于三维视频编码中的当前图像的一个区块，其中该三维视频编码使用的预测维度由时间预测和视图间预测组成，该方法包括：
确定一或多个空间候选项、一或多个时间候选项或同时确定该一或多个空间候选项和该一或多个时间候选项，其中该一或多个空间候选项相应于该区块的一或多个相邻区块中的每一个；以及其中，该一或多个时间候选项相应于该区块的一或多个时间共位图像的一或多个时间共位区块的每一个；
确定相应于一或多个视图间共位区块的一或多个视图间候选项，其中，该一或多个视图间共位区块相应于对应该区块的一或多个视图间共位图像；
从该一或多个空间候选项、该一或多个时间候选项或该一或多个视图间候选项中选择该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项；以及
将选择的该运动矢量或运动矢量预测项或该视差矢量或视差矢量预测项提供给该区块，其中，
当该区块被编码为该合并模式或该跳跃模式时，合并索引被包括至比特流中以指示待合并的该选择的该运动矢量或运动矢量预测项或该视差矢量或视差矢量预测项，且运动信息是与其他已编码区块共享，其中，该运动信息包括：该选择的运动矢量或运动矢量预测项或该视差矢量或视差矢量预测项中的至少一个、该预测维度、预测方向、以及参考图像索引，以及
其中，该一或多个空间候选项是由空间候选项推导过程来推导，该空间候选项推导过程包括：
确定空间候选项是否被用作该运动矢量或运动矢量预测项或该视差矢量或视差矢量预测项；
如果该空间候选项被用作该运动矢量或运动矢量预测项，则导出相应于对应相邻区块的运动矢量来作为空间候选项；以及
如果该空间候选项被用作该视差矢量或视差矢量预测项，则导出相应于该对应相邻区块的视差矢量来作为空间候选项。
2.如权利要求1所述的方法，其特征在于，选择的该运动矢量预测项或该视差矢量预测项用于该三维视频编码中的该外部模式。
3.如权利要求1所述的方法，其特征在于，选择的该运动矢量或该视差矢量用于该三维视频编码中的该合并或该跳跃模式。
4.如权利要求1所述的方法，其特征在于，该空间候选项推导过程还包括：如果使用该空间候选项推导该运动矢量或运动矢量预测项，从相应于该相邻区块的该运动矢量与该视差矢量的组合中推导该空间候选项；以及其中，如果使用该空间候选项推导该视差矢量或视差矢量预测项，从相应于该相邻区块的该运动矢量与该视差矢量的组合中推导该空间候选项。
5.如权利要求1所述的方法，其特征在于，对于给定预测维度和目标参考图像，从该一或多个相邻区块中推导该空间候选项，其中，该目标参考图像由给定参考列表的给定参考图像索引指示，且其中，该一或多个相邻区块相应于来自该给定参考列表或其他参考列表的该目标参考图像，或相应于来自该给定参考列或该其他参考列表的其他参考图像。
6.如权利要求5所述的方法，其特征在于，根据查找顺序基于来自该一或多个相邻区块中的该给定预测维度中的第一可用运动矢量或视差矢量推导该空间候选项，其中，检查指向该给定参考列表中的该目标参考图像的该一或多个相邻区块的该运动矢量或视差矢量的可用性在检查指向该给定参考列表中的该其他参考图像的该一或多个相邻区块的该运动矢量或视差矢量的可用性之前。
7.如权利要求5所述的方法，其特征在于，根据查找顺序基于来自该一或多个相邻区块中的该给定预测维度中的第一可用运动矢量或视差矢量推导该空间候选项，其中，检查指向该给定参考列表中的该目标参考图像的该一或多个相邻区块的该运动矢量或视差矢量的可用性在检查指向该其他参考列表中的该目标参考图像的该一或多个相邻区块的该运动矢量或视差矢量之前。
8.如权利要求5所述的方法，其特征在于，直接传输或间接推导该给定预测维度、该给定参考图像索引或该给定参考列表。
9.如权利要求1所述的方法，其特征在于，如果使用该时间候选项推导该运动矢量或运动矢量预测项，则从相应于该一或多个时间共位图像的该一或多个时间共位区块的该运动矢量或该运动矢量与该视差矢量的组合中推导该时间候选项；以及其中，如果使用该时间候选项推导该视差矢量或视差矢量预测项，从相应于该一或多个时间共位图像的该一或多个时间共位区块的该视差矢量或该运动矢量与该视差矢量的组合中推导该时间候选项。
10.如权利要求9所述的方法，其特征在于，对于给定预测维度和目标参考图像，从该一或多个时间共位图像的该一或多个时间共位区块中推导该时间候选项，其中，该目标参考图像由给定参考列表的给定参考图像索引指示，且其中，该一或多个时间共位图像的该一或多个时间共位区块相应于来自该给定参考列表或其他参考列表的该目标参考图像，或相应于来自该给定参考列或该其他参考列表的其他参考图像。
11.如权利要求10所述的方法，其特征在于，根据查找顺序基于来自该一或多个时间共位区块中的该给定预测维度中的第一可用运动矢量或视差矢量推导该时间候选项，其中，首先检查穿过该当前图像的该一或多个时间共位区块的该运动矢量或视差矢量的可用性。
12.如权利要求10所述的方法，其特征在于，如果对应该给定参考列表的该一或多个时间共位区块的该运动矢量或视差矢量和对应该其他参考列表的该一或多个时间共位区块的该运动矢量或视差矢量都穿过或都不穿过该当前图像，检查对应该给定参考列表的该一或多个时间共位区块的该运动矢量或视差矢量的可用性。
13.如权利要求10所述的方法，其特征在于，根据查找顺序基于来自该一或多个时间共位区块的第一可用运动矢量或视差矢量推导该时间候选项，其中，该查找顺序有关于相应于该运动矢量或视差矢量的指向方向的参考列表或相应于该一或多个时间共位图像的该参考列表。
14.如权利要求10所述的方法，其特征在于，使用标志以指示该一或多个时间共位图像中的哪一个用于确定该一或多个时间共位区块。
15.如权利要求14所述的方法，其特征在于，该标志在视频比特流的序列层级、图像层级或片层级中。
16.如权利要求10所述的方法，其特征在于，直接传输或间接推导使用的该视图间预测或该时间预测、该给定参考图像索引或该给定参考列表。
17.如权利要求1所述的方法，其特征在于，如果使用该视图间候选项推导该运动矢量或运动矢量预测项，则从相应于该一或多个视图间共位图像的该一或多个视图间共位区块的该运动矢量或该运动矢量与该视差矢量的组合中推导该视图间候选项；以及其中，如果使用该视图间候选项推导该视差矢量或视差矢量预测项，从相应于该一或多个视图间共位图像的该一或多个视图间共位区块的该视差矢量或该运动矢量与该视差矢量的组合中推导该视图间候选项。
18.如权利要求17所述的方法，其特征在于，对于给定预测维度和目标参考图像，从该一或多个视图间共位图像的该一或多个视图间共位区块中推导该视图间候选项，其中，该目标参考图像由给定参考列表的给定参考图像索引指示，且其中，该一或多个视图间共位图像的该一或多个视图间共位区块相应于来自该给定参考列表或其他参考列表的该目标参考图像，或相应于来自该给定参考列或该其他参考列表的其他参考图像。
19.如权利要求18所述的方法，其特征在于，使用标志以指示该一或多个视图间共位图像中的哪一个用于确定该一或多个视图间共位区块。
20.如权利要求19所述的方法，其特征在于，该标志在视频比特流的序列层级、图像层级或片层级中。
21.如权利要求18所述的方法，其特征在于，根据对应该视图间共位区块的该视图间共位图像与该当前图像之间的全局视差矢量推导该视图间共位区块的位置。
22.如权利要求18所述的方法，其特征在于，根据深度信息投射该当前图像的该区块来确定该视图间共位区块的位置。
23.如权利要求18所述的方法，其特征在于，根据查找顺序基于来自该一或多个视差间共位区块中的第一可用运动矢量或视差矢量推导该视图间候选项，其中，首先检查穿过该给定预测维度中的该当前图像的该一或多个视图间共位区块的该运动矢量或视差矢量的可用性。
24.如权利要求23所述的方法，其特征在于，如果对应该给定参考列表的该一或多个视图间共位区块的该运动矢量或视差矢量和对应该其他参考列表的该一或多个视图间共位区块的该运动矢量或视差矢量都穿过或都不穿过该给定预测维度中的该当前图像，检查对应该给定参考列表的该一或多个视差间共位区块的该运动矢量或视差矢量的可用性。
25.如权利要求18所述的方法，其特征在于，根据查找顺序基于第一可用运动矢量或视差矢量，从该一或多个视差间共位区块中推导该视差间候选项，其中，该查找顺序相关于相应于该运动矢量或视差矢量的指向方向的参考列表和相应于该一或多个视差间共位图像的该参考列表。
26.如权利要求18所述的方法，其特征在于，直接传输或间接推导该给定预测维度、该给定参考图像索引或该给定参考列表。
27.如权利要求1所述的方法，其特征在于，如果使用视图间预测，根据深度信息将该当前图像的该当前区块投射至相应于该一或多个视图间共位图像的对应视图间共位区块之上来将该视图间候选项推导为该视差矢量。
28.如权利要求1所述的方法，其特征在于，该运动矢量指向由给定参考列表的给定参考图像索引指示的目标参考图像，且根据该一或多个相邻区块的多个参考图像指数的中值、平均值或大多数值间接推导该给定参考图像索引。
29.如权利要求28所述的方法，其特征在于，根据该一或多个相邻区块的该多个参考列表的中值、平均值或大多数值间接推导该给定参考列表。
30.如权利要求1所述的方法，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个相邻区块中推导该空间候选项，且如果已选择该空间候选项，该当前图像的该区块直接使用该预测信息，且其中预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的该预测方向、该参考图像索引以及从该一或多个相邻区块中的一个选择的该运动矢量或该视差矢量。
31.如权利要求1所述的方法，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个时间共位区块中推导该时间候选项，其中，如果该时间共位区块的该预测维度为该视图间预测，该当前图像的该区块直接使用该预测信息，且其中，该预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的该预测方向、该参考图像索引以及从该一或多个时间共位区块中的一个选择的该运动矢量或该视差矢量。
32.如权利要求1所述的方法，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个时间共位区块中推导该时间候选项，其中，如果该时间共位区块的该预测维度为该时间预测，直接传输或间接推导该参考图像索引；其中，在直接传输或间接推导该参考图像索引之后，如果选择该时间候选项，该当前图像的该区块直接使用预测信息，且其中，该预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的该预测方向以及从该一或多个时间共位区块中的一个选择的该运动矢量或该视差矢量，且其中根据时间距离对选择的该运动矢量或该视差矢量进行缩放。
33.如权利要求1所述的方法，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个视图间共位区块中推导该视图间候选项，其中，如果该视图间共位区块的该预测维度为时间预测，该当前图像的该区块直接使用该预测信息，其中，该预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的该预测方向、该参考图像索引以及从该一或多个视图间共位区块中的一个选择的该运动矢量或该视差矢量。
34.如权利要求1所述的方法，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个视图间共位区块中推导该视图间候选项，其中，如果该视图间共位区块的该预测维度为视图间预测，直接传输或间接推导该参考图像索引；其中，在直接传输或间接推导该参考图像索引之后，如果选择该视图间候选项，该当前图像的该区块直接使用预测信息，且其中，该预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的该预测方向以及从该一或多个视图间共位区块中的一个选择的该运动矢量或该视差矢量，且其中根据视图间距离对选择的该运动矢量或该视差矢量进行缩放。
35.如权利要求1所述的方法，其特征在于，更包括根据对应该区块的深度信息基于对应将该当前区块投射在一或多个视图间共位图像的矢量确定一或多个推导的深度候选项，且从该一或多个空间候选项、该一或多个时间候选项、该一或多个视图间候选项以及该一或多个深度候选项中选择该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项。
36.一种推导运动矢量或运动矢量预测项或视差矢量或视差矢量预测项的装置，该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项相应于跳跃模式、合并模式或外部模式，且用于三维视频编码中的当前图像的一个区块，其中该三维视频编码使用的预测维度由时间预测和视图间预测组成，该装置包括：
确定一或多个空间候选项、一或多个时间候选项或同时确定该一或多个空间候选项和该一或多个时间候选项的单元，其中该一或多个空间候选项相应于该区块的一或多个相邻区块中的每一个；以及其中，该一或多个时间候选项相应于该区块的一或多个时间共位图像的一或多个时间共位区块的每一个；
确定相应于一或多个视图间共位区块的一或多个视图间候选项的单元，其中，该一或多个视图间共位区块相应于对应该区块的一或多个视图间共位图像；
从该一或多个空间候选项、该一或多个时间候选项或该一或多个视图间候选项中选择该运动矢量或运动矢量预测项或视差矢量或视差矢量预测项的单元；以及
将选择的该运动矢量或运动矢量预测项或该视差矢量或视差矢量预测项提供给该区块的单元，其中，
当该区块被编码为该合并模式或该跳跃模式时，合并索引被包括至比特流中以指示待合并的该选择的该运动矢量或运动矢量预测项或该视差矢量或视差矢量预测项，且运动信息是与其他已编码区块共享，其中，该运动信息包括：该选择的运动矢量或运动矢量预测项或该视差矢量或视差矢量预测项中的至少一个、该预测维度、预测方向、以及参考图像索引，以及
其中，该一或多个空间候选项是由空间候选项推导过程来推导，该空间候选项推导过程包括：
确定空间候选项是否被用作该运动矢量或运动矢量预测项或该视差矢量或视差矢量预测项；
如果该空间候选项被用作该运动矢量或运动矢量预测项，则导出相应于对应相邻区块的运动矢量来作为空间候选项；以及
如果该空间候选项被用作该视差矢量或视差矢量预测项，则导出相应于该对应相邻区块的视差矢量来作为空间候选项。
37.如权利要求36所述的装置，其特征在于，该空间候选项推导过程还包括：如果使用该空间候选项推导该运动矢量或运动矢量预测项，从相应于该相邻区块的该运动矢量与该视差矢量的组合中推导该空间候选项；以及其中，如果使用该空间候选项推导该视差矢量或视差矢量预测项，从相应于该相邻区块的该运动矢量与该视差矢量的组合中推导该空间候选项。
38.如权利要求36所述的装置，其特征在于，如果使用该时间候选项推导该运动矢量或运动矢量预测项，则从相应于该一或多个时间共位图像的该一或多个时间共位区块的该运动矢量或该运动矢量与该视差矢量的组合中推导该时间候选项；以及其中，如果使用该时间候选项推导该视差矢量或视差矢量预测项，从相应于该一或多个时间共位图像的该一或多个时间共位区块的该视差矢量或该运动矢量与该视差矢量的组合中推导该时间候选项。
39.如权利要求36所述的装置，其特征在于，如果使用该视图间候选项推导该运动矢量或运动矢量预测项，则从相应于该一或多个视图间共位图像的该一或多个视图间共位区块的该运动矢量或该运动矢量与该视差矢量的组合中推导该视图间候选项；以及其中，如果使用该视图间候选项推导该视差矢量或视差矢量预测项，从相应于该一或多个视图间共位图像的该一或多个视图间共位区块的该视差矢量或该运动矢量与该视差矢量的组合中推导该视图间候选项。
40.如权利要求36所述的装置，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个相邻区块中推导该空间候选项，且如果已选择该空间候选项，该当前图像的该区块直接使用该预测信息，且其中预测信息包括预测维度、由参考列表0、参考列表1和双向预测组成的该预测方向、该参考图像索引以及从该一或多个相邻区块中的一个选择的该运动矢量或该视差矢量。
41.如权利要求36所述的装置，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个时间共位区块中推导该时间候选项，其中，如果该时间共位区块的该预测维度为该视图间预测，该当前图像的该区块直接使用该预测信息，且其中，该预测信息包括该预测维度、由参考列表0、参考列表1和双向预测组成的该预测方向、该参考图像索引以及从该一或多个时间共位区块中的一个选择的该运动矢量或该视差矢量。
42.如权利要求36所述的装置，其特征在于，该运动矢量或该视差矢量相应于该合并模式或该跳跃模式，其中从该一或多个视图间共位区块中推导该视图间候选项，其中，如果该视图间共位区块的该预测维度为时间预测，该当前图像的该区块可直接使用预测信息，其中，该预测信息包括预测维度、由参考列表0、参考列表1和双向预测组成的该预测方向、该参考图像索引以及从该一或多个视图间共位区块中的一个选择的该运动矢量或该视差矢量。
CN201280029342.5A 2011-06-15 2012-06-08 推导运动和视差矢量的方法及装置 Active CN103597837B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161497438P 2011-06-15 2011-06-15
US61/497,438 2011-06-15
PCT/CN2012/076643 WO2012171442A1 (en) 2011-06-15 2012-06-08 Method and apparatus of motion and disparity vector prediction and compensation for 3d video coding

Publications (2)

Publication Number Publication Date
CN103597837A CN103597837A (zh) 2014-02-19
CN103597837B true CN103597837B (zh) 2018-05-04

Family

ID=47356540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280029342.5A Active CN103597837B (zh) 2011-06-15 2012-06-08 推导运动和视差矢量的方法及装置

Country Status (6)

Country Link
US (2) US20140078254A1 (zh)
EP (1) EP2721825A4 (zh)
KR (1) KR20140011481A (zh)
CN (1) CN103597837B (zh)
AU (1) AU2012269583B2 (zh)
WO (1) WO2012171442A1 (zh)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013012905A (ja) * 2011-06-29 2013-01-17 Sony Corp 画像処理装置および方法
JP2014524706A (ja) * 2011-08-19 2014-09-22 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 動きベクトル処理
EP2727366B1 (en) * 2011-10-11 2018-10-03 MediaTek Inc. Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
JP2013207755A (ja) * 2012-03-29 2013-10-07 Sony Corp 画像処理装置および方法
CN104185993B (zh) * 2012-03-30 2019-02-12 索尼公司 图像处理设备和方法以及记录介质
US9549180B2 (en) 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
EP2842327A4 (en) * 2012-04-24 2016-10-12 Mediatek Inc METHOD AND APPARATUS FOR DETECTING MOTION VECTORS FOR THREE DIMENSIONAL VIDEO CODING
US20130294513A1 (en) * 2012-05-07 2013-11-07 Qualcomm Incorporated Inter layer merge list construction for video coding
US20130336406A1 (en) * 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
US20130336405A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding
US9325990B2 (en) 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
JP2015527805A (ja) * 2012-07-10 2015-09-17 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
US9392268B2 (en) * 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
CN104718760B (zh) * 2012-10-05 2019-04-05 寰发股份有限公司 用于三维和多视图视频编码的方法和装置
CN102946535B (zh) * 2012-10-09 2015-05-13 华为技术有限公司 预测块的视差矢量预测值获取的方法和装置
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
US9438926B2 (en) 2012-12-21 2016-09-06 Qualcomm Incorporated Constraints on neighboring block based disparity vector (NBDV) techniques for 3D video
KR20160147069A (ko) 2013-01-07 2016-12-21 미디어텍 인크. ３차원 비디오 코딩에서의 직접 모드 및 스킵 모드에 대한 공간 모션 벡터 예측 유도 방법 및 장치
CN104904209B (zh) * 2013-01-07 2018-07-24 Lg 电子株式会社 视频信号处理方法
CN104904219B (zh) * 2013-01-09 2018-07-06 寰发股份有限公司 块编码装置及方法
WO2014107853A1 (en) 2013-01-09 2014-07-17 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
US9277200B2 (en) * 2013-01-17 2016-03-01 Qualcomm Incorporated Disabling inter-view prediction for reference picture list in video coding
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
US9521389B2 (en) * 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
US9800857B2 (en) 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9900576B2 (en) 2013-03-18 2018-02-20 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US9521425B2 (en) * 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
CN105340273B (zh) * 2013-04-05 2018-09-11 三星电子株式会社 用于预测用于层间视频解码的视差矢量的方法以及编码方法和设备
CN105144714B (zh) * 2013-04-09 2019-03-29 寰发股份有限公司 三维或多视图视频编码或解码的方法及装置
WO2014166063A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Default vector for disparity vector derivation for 3d video coding
EP2932720A4 (en) * 2013-04-10 2016-07-27 Mediatek Inc METHOD AND APPARATUS FOR DIVIDING VECTOR DIVIDER FOR THREE-DIMENSIONAL AND MULTI-VIEW VIDEO CODING
WO2014166360A1 (en) * 2013-04-10 2014-10-16 Mediatek Inc. Method and apparatus for bi-prediction of illumination compensation
KR101706309B1 (ko) * 2013-04-10 2017-02-14 에이치에프아이 이노베이션 인크. 3차원 비디오 코딩을 위한 뷰간 후보자 유도 방법 및 장치
US20160050429A1 (en) * 2013-04-11 2016-02-18 Lg Electronics Inc. Method and apparatus for processing video signal
WO2014166090A1 (en) * 2013-04-11 2014-10-16 Mediatek Singapore Pte. Ltd. Methods for checking the availability of inter-view residual prediction
WO2014166109A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
KR20140125320A (ko) * 2013-04-17 2014-10-28 삼성전자주식회사 시점 합성 예측을 이용한 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 복호화 방법 및 그 장치
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
US9800895B2 (en) 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
KR101854003B1 (ko) 2013-07-02 2018-06-14 경희대학교 산학협력단 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
WO2015003383A1 (en) * 2013-07-12 2015-01-15 Mediatek Singapore Pte. Ltd. Methods for inter-view motion prediction
CN105432084B (zh) * 2013-07-19 2018-10-26 寰发股份有限公司 用于三维视频编码的参考视图选择的方法
WO2015006967A1 (en) * 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Simplified view synthesis prediction for 3d video coding
WO2015006984A1 (en) * 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Reference view selection for 3d video coding
US10075690B2 (en) * 2013-10-17 2018-09-11 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN109743577A (zh) * 2013-10-18 2019-05-10 华为技术有限公司 视频编解码中的块分割方式确定方法及相关装置
WO2015060508A1 (ko) * 2013-10-24 2015-04-30 한국전자통신연구원 비디오 부호화/복호화 방법 및 장치
EP3062518A4 (en) * 2013-10-24 2017-05-31 Electronics and Telecommunications Research Institute Video encoding/decoding method and apparatus
CN103763557B (zh) * 2014-01-03 2017-06-27 华为技术有限公司 一种Do‑NBDV获取方法及视频解码装置
US20170026662A1 (en) * 2014-03-11 2017-01-26 Samsung Electronics Co., Ltd. Disparity vector predicting method and apparatus for encoding inter-layer video, and disparity vector predicting method and apparatus for decoding inter-layer video
KR20150113714A (ko) * 2014-03-31 2015-10-08 인텔렉추얼디스커버리 주식회사 깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치
KR20150113715A (ko) * 2014-03-31 2015-10-08 인텔렉추얼디스커버리 주식회사 깊이 정보를 이용한 움직임 정보 유도방법 및 장치, 움직임 병합 후보 유도방법 및 장치
KR102260146B1 (ko) * 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
WO2015196364A1 (en) * 2014-06-24 2015-12-30 Mediatek Singapore Pte. Ltd. Methods for inter-view advanced residual prediction
CN105393535B (zh) * 2014-06-24 2018-10-12 寰发股份有限公司 3d视频编码中的视图间先进残差预测方法
US10659814B2 (en) 2014-10-08 2020-05-19 Lg Electronics Inc. Depth picture coding method and device in video coding
CN104333760B (zh) 2014-10-10 2018-11-06 华为技术有限公司 三维图像编码方法和三维图像解码方法及相关装置
KR102350232B1 (ko) 2014-11-20 2022-01-13 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
WO2017076221A1 (en) * 2015-11-05 2017-05-11 Mediatek Inc. Method and apparatus of inter prediction using average motion vector for video coding
CN107197288B (zh) * 2016-03-15 2023-11-10 北京三星通信技术研究有限公司 视频全局视差向量编码方法、解码方法和装置
CN116600109A (zh) 2016-08-11 2023-08-15 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法
US10582209B2 (en) * 2017-03-30 2020-03-03 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-PU TMVP) for video coding
US10244164B1 (en) 2017-09-11 2019-03-26 Qualcomm Incorporated Systems and methods for image stitching
CN111108750A (zh) * 2017-09-19 2020-05-05 三星电子株式会社 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备
CN109660800B (zh) * 2017-10-12 2021-03-12 北京金山云网络技术有限公司 运动估计方法、装置、电子设备及计算机可读存储介质
CN116866573A (zh) * 2017-10-20 2023-10-10 株式会社Kt 视频信号处理方法及装置
US10893291B2 (en) * 2018-09-28 2021-01-12 Qualcomm Incorporated Ultimate motion vector expression with adaptive directional information set
JP7157246B2 (ja) * 2018-11-06 2022-10-19 北京字節跳動網絡技術有限公司 ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法
WO2020140862A1 (en) 2018-12-30 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Conditional application of inter prediction with geometric partitioning in video processing

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1269761A1 (en) * 2000-03-31 2003-01-02 Koninklijke Philips Electronics N.V. Encoding of two correlated sequences of data
CN1134175C (zh) * 2000-07-21 2004-01-07 清华大学 多摄像头视频目标提取的视频图象通信系统及实现方法
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
WO2007035042A1 (en) * 2005-09-21 2007-03-29 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
US8559515B2 (en) * 2005-09-21 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
KR101227601B1 (ko) * 2005-09-22 2013-01-29 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
EP1927250A4 (en) * 2005-09-22 2011-04-27 Samsung Electronics Co Ltd DISPARITE VECTOR ESTIMATING METHOD, AND METHOD AND DEVICE FOR MULTIVISION MOTION IMAGE CODING AND DECODING BASED ON ESTIMATION METHOD
WO2008108566A1 (en) * 2007-03-02 2008-09-12 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
DK2568706T3 (en) * 2010-05-04 2019-03-11 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING A VIDEO SIGNAL
CN101917619B (zh) * 2010-08-20 2012-05-09 浙江大学 一种多视点视频编码快速运动估计方法
US20120287999A1 (en) * 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Redundancy reduction in Cbf and Merging coding;Bin Li等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20101011;全文 *
TE11: Cross-check result of merge/skip (3.2c);Seyoon Jeong等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20101004;全文 *

Also Published As

Publication number Publication date
KR20140011481A (ko) 2014-01-28
AU2012269583A1 (en) 2013-10-17
AU2012269583B2 (en) 2015-11-26
US20140078254A1 (en) 2014-03-20
EP2721825A1 (en) 2014-04-23
EP2721825A4 (en) 2014-12-24
CN103597837A (zh) 2014-02-19
US20180115764A1 (en) 2018-04-26
WO2012171442A1 (en) 2012-12-20

Similar Documents

Publication Publication Date Title
CN103597837B (zh) 推导运动和视差矢量的方法及装置
CN103907346B (zh) 运动矢量预测子及视差矢量导出方法及其装置
CN104412597B (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN103229504B (zh) 获取运动矢量预测值的方法与装置
CN106131568B (zh) 推导运动向量预测项或运动向量预测项候选项的方法及装置
CN103392340B (zh) 推导运动向量预测子的方法与装置
KR101706309B1 (ko) 3차원 비디오 코딩을 위한 뷰간 후보자 유도 방법 및 장치
JP4999859B2 (ja) 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US10110915B2 (en) Method and apparatus for inter-component motion prediction in three-dimensional video coding
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
US20150085932A1 (en) Method and apparatus of motion vector derivation for 3d video coding
CN104704819B (zh) 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置
CN107181959A (zh) 导出运动矢量预测子的方法与装置
JP2008509592A (ja) 多視点映像のダイレクトモードの動き予測方法及び装置
WO2014008817A1 (en) Method and apparatus of inter-view sub-partition prediction in 3d video coding
KR101550680B1 (ko) 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치 및 그 프로그램
EP2850523A1 (en) Method and apparatus of inter-view motion vector prediction and disparity vector prediction in 3d video coding
EP2965520A1 (en) Method of reference view selection for 3d video coding
US10075690B2 (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN105432084B (zh) 用于三维视频编码的参考视图选择的方法
CN105144714A (zh) 三维视频编码的视差向量推导的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160908

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant