CN104429074A - 3d视频编码中视差矢量导出的方法和装置 - Google Patents

3d视频编码中视差矢量导出的方法和装置 Download PDF

Info

Publication number
CN104429074A
CN104429074A CN201380034193.6A CN201380034193A CN104429074A CN 104429074 A CN104429074 A CN 104429074A CN 201380034193 A CN201380034193 A CN 201380034193A CN 104429074 A CN104429074 A CN 104429074A
Authority
CN
China
Prior art keywords
block
view
depth
difference vector
associated depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380034193.6A
Other languages
English (en)
Other versions
CN104429074B (zh
Inventor
林建良
陈渏纹
黄毓文
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104429074A publication Critical patent/CN104429074A/zh
Application granted granted Critical
Publication of CN104429074B publication Critical patent/CN104429074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明揭示使用相关深度区块导出的视差矢量的3D视频编码或者解码方法及装置。该方法为当前纹理区块决定相关深度区块，以及基于该相关深度区块的深度采样的一个子集合而导出已导出视差矢量。该子集合包含比该相关深度区块更少的深度采样，以及该子集合将对应该相关深度区块的中心采样的一个单一采样子集合排除在外。已导出视差矢量可以用于帧间(Inter)模式中的视图之间运动(视差)矢量预测子，融合模式或者跳过模式中的视图之间(视差)候选。该已导出视差矢量也可以用于定位Inter模式中用于视图之间运动预测的参考区块，融合或者跳过模式中的视图之间候选，视图之间运动预测，视图之间视差预测，或者视图之间残差预测。

Description

3D视频编码中视差矢量导出的方法和装置
相关申请的交叉引用
本申请要求2012年6月28日递交的，申请号为61/665,707标题为“用于多视图视频编码以及3D视频编码的视差矢量导出(Disparity vector derivation for multi-view video codingand 3D video coding)”的美国临时申请案的优先权，上述申请的标的在此合并作为参考。
技术领域
本发明有关于三维(three-dimensional，3D)视频编码。更具体地，本发明有关于3D视频编码的简化视差(disparity)矢量导出(derivation)。
背景技术
近年来3D电视(television，TV)已经成为技术趋势，其中带给观看者感官观看体验。已经开发了很多技术以使能3D观看。其中，多视图(multi-view)是用于3DTV的关键技术。传统视频为2D媒体，只可以为观看者提供照相机角度的一个场景(scene)的单一视图。但是，多视图视频能够提供动态场景的任意视图点(viewpoint)，以及为观看者提供真实的感觉。
多视图视频典型地透过同时使用多个照相机而捕捉一个场景而产生，其中，多个照相机适当地放置，这样，每一个照相机从一个视图点捕捉该场景。相应地，多个照相机捕捉对应多个视图的视频序列。为了提供更多视图，必须使用更多照相机以产生于多个视图相关的，具有大量视频序列的多视图视频。相应地，多视图视频需要大量存储空间以存储以及/或者高频宽用于传送。因此，在本领域中多视图视频编码技术已经被研发，以产生所需存储空间或者传输频宽。
直接方式(straightforward approach)可简化地将传统视频编码技术独立用于每一单一视图视频序列，以及不考虑不同视图之间的任何关联。这样的编码系统不是有效率的。为了提高多视图视频编码系统的效率，典型的多视图视频编码利用视图之间的冗余(redundancy)。因此，多数3D视频编码(3D Video Coding，3DVC)系统考虑与多个视图以及深度图(depth map)有关的视频数与的关联(correlation)。标准开发主体，ITU-T视频编码专家(Video Coding Experts Group，VCEG)的联合视频组(Joint Video Team)以及ISO/IEC运动图片专家组(Moving Picture Experts Group(MPEG)，扩展H.264/MPEG-4AVC到多视图视频编码(multi-view video coding，MVC)，用于立体以及多视图视频。
MVC将时间(temporal)以及空间(spatial)预测用于提高压缩效率。在MVC的开发中，建议了一些宏块级别(macroblock-level)编码工具，包含亮度(illumination)补偿、自适应参考滤波、运动跳过模式(motion skip mode)以及视图合成(synthesis)预测。这些编码工具被建议利用多个视图之间的冗余。亮度补偿用于补偿不同视图之间的亮度视差。自适应参考滤波用于减少由于多个照相机之间的聚焦不匹配带来的视差。运动跳过模式允许当前视图中的多个运动矢量从其他视图而推导(inferred)得出。视图合成预测用于从其他视图预测当前视图的图片(picture)。
但是在MVC中，深度图(depth map)以及照相机参数不编码。在新一代3DVC的最近标准研发中，纹理(texture)数据、深度数据以及照相机参数都编码。举例说明，图1为用于3D视频编码的一般预测架构，其中遵循(conforming)标准的视频编码器用于基础视图(base-view)视频。输入(incoming)3D视频数据由对应多个视图的多个图像(image)(110-0,110-1,110-2,…)组成。对于每一视图，从每一图像序列收集(collected)的图像形成以用于对应视图的图像序列。通常，对应基础视图(也称作独立视图(independentview))的图像序列110-0被由视频编码器130-0符合一个视频标准而编码，视频标准例如H.264/AVC或者高效视频编码(High Efficiency Video Coding，HEVC)。用于与独立视图(即，视图1，2……)相关的图像图列的视频编码器(130-1,130-2,…)进一步利用除了时间预测(temporal prediction)的视图之间(Inter-view)预测。视图之间预测由图1的短划线所指示。
为了支持互动(Interactive)应用，在分别视图中，与一个场景相关的深度图(120-0,120-1,120-2,…)也包含在视频比特流中。为了减少与深度图相关的数据，深度图被使用深度图编码器(140-0,140-1,140-2,…)而压缩，以及被压缩深度图数据包含在图1所示的比特流中。多工器(multiplexer)150用于将图像编码器的已压缩数据和深度图编码器的已压缩数据合并。深度信息可以用于在已选择中间(Intermediate)视图点，用于合成(synthesizing)虚拟(virtual)视图。对应已选择视图的图像可以基于对应另一个视图的图像，使用视图之间预测而编码。在此情况下，用于已选择视图的图像也称作依赖视图(dependent view)。
除了3DV-HTM中的视图之间纹理预测(也就是视差补偿预测(disparity compensatedprediction，即DCP))，视图之间运动预测以及视图之间残差预测(residual prediction)为两个主要编码工具。3DV-HTM为基于HEVC测试模型，用于3D视频编码的平台。视图之间运动预测和视图之间残差预测需要视差矢量以定位出用于或者运动预测或者残差预测的参考区块(reference block)。对于视图之间运动预测，视差矢量也可直接用作DCP的候选视差矢量。在当前3DV-HTM中，视差矢量基于视图的已估计深度图而导出(derived)。产生已估计深度图有两个方法。
图2A为产生已估计深度图的第一方法的例子，其中该方法不使用已编码深度图。图2A中，随机接入单元(即，图片顺序计数(Picture Order Count，POC)＝0)包含三个视图的纹理图片(T0-T2)以及深度图(D0-D2)。图2A中圈出的数字指示处理顺序。在步骤1以及2中，基础视图的纹理图片(T0)被编码以及基础视图的深度图D0被编码。步骤3中，第一依赖视图的纹理图片(T1)被不使用视图之间运动预测或者视图之间残差预测而编码。步骤4中，第一依赖视图的已估计深度图(PrdD1)被使用第一依赖视图的纹理图片(T1)的已编码视差矢量而产生。步骤5中，基础视图的已估计深度图(PrdD0)透过卷绕(warping)第一依赖视图的已估计深度图(PrdD1)而产生。步骤6和7中，第一依赖视图的深度图(D1)被编码以及第二依赖视图的已估计深度图(PrdD2)透过卷绕基础视图的已估计深度图(PrdD0)而产生。步骤8中，第二依赖视图的纹理图片(T2)，使用如虚线箭头所指示的第二依赖视图的已估计深度图(PrdD2)，透过视图之间运动预测或者视图之间残差预测而更新(update)。步骤8.5中，第二依赖视图的深度图((PrdD2))透过使用第二依赖视图的纹理图片(T2)的已编码视差矢量而被更新。既然第二依赖视图的深度图(PrdD2)不会再被参考，在该例子中的步骤8.5是是不必要的。步骤9中，第二依赖视图的深度图(D2)被编码。
图2B为对于POC不等于0情况，产生已估计深度图的第一方法的例子。步骤10中，基础视图的纹理图片(T0)被编码。步骤11中，透过使用基础视图的纹理图片的运动矢量，以及前一接入单元的基础视图的已估计深度图而产生基础视图的已估计深度图(PrdD0)。步骤12中，基础视图的深度图(D0)被编码。步骤13，第一依赖视图的已估计深度图(PrdD1)透过卷绕基础视图的已估计深度图(PrdD0)而产生。步骤14中，第一依赖视图的纹理图片(T1)被使用第一依赖视图的已估计深度图(PrdD1)而透过视图之间运动预测或者/以及视图之间残差预测而编码。步骤14.5中，第一依赖视图已估计深度图(PrdD1)被使用第一依赖视图的纹理图片的已编码视差矢量而更新。步骤14.7中，基础视图已估计深度图(PrdD0)透过卷绕第一依赖视图的已估计深度图(PrdD1)而更新。在步骤15中，第一依赖视图的深度图(D1)被编码。步骤16中，第二依赖视图的已估计深度图(PrdD2)透过卷绕基础视图的已估计深度图(PrdD0)而产生。步骤17中，第二依赖视图的纹理图片(T2)使用第二依赖视图的已估计深度图(PrdD2)，透过视图之间运动预测或者/以及视图残差预测而编码。步骤17.5中，第二依赖视图的深度图(PrdD2)使用第二依赖视图纹理图片(T2)的已编码视差矢量而更新。既然第二依赖视图的深度图(PrdD2)不会再被参考，步骤17.5在该例子中是不必要的。步骤18中，第二依赖视图的深度图(D2)被编码。
产生已估计深度图的第二方法如下描述，其中使用已编码深度图。给出多视图的一个接入单元，无论是否该接入单元为随机接入单元还是不是，基础视图的纹理图片(T0)以及基础视图的深度图(D0)首先被编码。第一依赖视图的已估计深度图(PrdD1)然后透过卷绕基础视图的已编码深度图(D0)而产生。第一依赖视图的纹理图片(T1)，使用第一依赖视图的已估计深度图(PrdD1)而透过视图之间运动预测或者/以及视图之间残差预测而编码。在第一依赖视图(T1)被编码之后，第一依赖视图(D1)的深度图可以被编码。产生已估计深度图、编码纹理图片以及编码深度图用于依赖视图的步骤可以重复，直到所有依赖视图被处理完。
在已估计图基于或者第一方法或者第二方法导出之后，视差矢量从当前区块中导出，其中当前区块与已估计深度图的深度区块相关。根据当前3DV-HTM(版本3)，相关深度区块的中心采样的深度值转换为视差矢量。用于视图之间运动预测的参考区块根据已转换视差矢量而决定。如果参考区块使用运动补偿预测而编码，相关运动参数可以用作候选运动参数，以用于当前视图的当前区块。已转换视差矢量也可以直接用作候选视差矢量，从而用于视图之间运动预测DCP。对于视图之间残差预测，已转换视差矢量指示出的残差区块用于当前区块的预测残差。
如之前所述，视差矢量从3DV-HTM版本0.3中相关深度区块的中心采样的深度值转换而来。在3DV-HTM版本3.1中，视差矢量从相关深度区块的最大深度值转换而来，以及用于帧间(Inter)模式的先进运动矢量预测(advanced motion vector prediction，AMVP)的视图之间运动矢量预测子(predictor)，如图3所示。图片310对应参考视图中的当前图片，以及图片320对应当前视图中当前图片。区块322代表图片320中待处理的区块。视差矢量(314)基于已估计深度图(330)相关深度区块(332)而得出。视差矢量(314)基于已估计深度图(330)的相关深度区块(332)而导出。如图3所示，视差矢量(314)从对应位置(collocated)区块(322a)指向当前图片310中的参考区块(312)。如果在相关深度区块中有一个洞(hole)或者未定义采样(由于卷绕)，那么左采样或者右采样的深度值被使用。从相关深度区块中最大深度值得出的视差矢量被称作本发明所揭露的最大视差矢量(maximum disparity vector)，其中，最大深度值对应最近对象(object)。视图之间运动矢量预测子，由最大视差矢量所指示出，被插入在用于Inter模式的AMVP中，运动矢量候选列表中的第一位置处。
在3DV-HTM-3.1中，得到最大视差矢量的处理计算相当密集。举例说明，相关深度区块可能对应16x16区块。为了决定最大视差矢量可能需要比较256个深度值。被期望简化视差矢量导出。
发明内容
本发明揭示使用相关深度区块导出的视差矢量的3D视频编码或者解码的方法或者装置。实现本发明的方法中，为当前纹理区块决定相关深度区块，以及基于相关深度区块的深度采样的子集合而导出已导出视差矢量。该子集合比相关深度区块包含更少的深度采样，以及该子集合排除对应相关深度区块的中心采样的单一采样子集合。已导出视差采样可以用于Inter模式的AMVP中的视图之间运动(视差)矢量预测子，融合(merge)模式或者/以及跳过(skip)模式的视图之间视差候选。已导出视差候选也可以用于定位参考区块，以用于Inter模式中AMVP视图之间运动矢量预测、融合或者/以及跳过模式中的视图之间候选，视图之间运动预测，或者/以及视图之间残差预测。
已导出视差矢量可以基于相关深度区块的任何行或者列的两个端采样(end-samples)或者中心采样，以及相关深度区块的两个角采样(corner sample)而决定。已导出视差矢量可以对应最大值，平均值、中(median)值、最频繁出现值(most frequent occurrence)、或者相关深度区块相关子集合的深度值的组合，其中子集合包含两个或者多个深度采样。举例说明，已导出视差矢量对应相关深度区块四个角采样的最大值。相关深度区块可以基于参考视图中已编码深度帧而决定。在一个实施例中，基于当前纹理帧以及参考纹理帧而决定已估计视差矢量，以及已估计视差矢量根据已估计视差矢量，用于从参考视图中已编码深度帧决定相关深度区块。在另一个实施例中，当前纹理区块分为多个当前纹理子区块，相关深度区块分为多个深度子区块，以及多个独立的视差矢量从每一深度子区块中导出，用于对应当前纹理子区块。
在另一个实施例中，已导出视差矢量基于相关深度区块的两个或者多个深度采样的最大值而决定，以及透过使用已导出视差矢量而实现对该第一数据应用视图之间残差预测。在一个实施例中相关深度区块的所述两个或者多个采样值对应相关深度区块的所有深度采样。
附图说明
图1为用于3D视频编码系统的预测架构例子的示意图。
图2A-图2B为HEVC中，基于3D视频编码的纹理图片、深度图以及已估计深度图处理顺序图。
图3为从相关深度区块的最大深度值转换来的视差矢量的示意图，其中该视差矢量用于Inter模式的AMVP中视图之间运动矢量预测子，融合模式或者跳过模式中的视图之间运动矢量预测子。
图4A为基于16x16深度区块中所有深度采样的最大深度值，视差矢量导出的例子示意图。
图4B为基于16x16深度区块中四个角深度采样的最大深度值，视差矢量导出的例子示意图。
图5A-图5C为16x16深度区块中，基于底部(bottom)行中中心深度采样，底部行中两个角深度采样，或者四个角深度采样以及中心深度采样中的最大深度值的视差矢量导出的例子示意图。
图6为基于已估计视差矢量，相关深度区块的决定的例子示意图。
图7为基于已估计视差矢量，相关深度区块的决定的例子示意图，其中，相关深度区块分为4个深度子区块。
图8为根据本发明的实施例，结合(incorporating)视差矢量导出的3D编码系统流程示意图。
具体实施方式
如之前所述，3DV-HTM中最大视差矢量导出可以包含高计算复杂度。图4A为16x16深度采样组成的相关深度区块的例子示意图，以及视差矢量的导出可能必须比较256个深度值，以决定最大深度值。相应地，本发明揭示视差矢量导出的简化，其中，在相关深度区块的一个子集合中搜索最大深度值。子集合包含比相关深度区块中全部采样更少的深度采样。该子集合将一个单一采样子集合排除在外，该单一采样子集合包含相关深度区块的中心采样。举例说明，该子集合可以对应如图4B所显示的相关深度区块中四个角采样。视差矢量可以从四个角深度值中的最大深度值而导出。因此，包含其中的深度采样的个数从256减少到4。得到最大深度值的所需比较的数量从255减少到3。基于简化视差矢量导出的3D视频编码的效能，与基于表1所示3DV-HTM版本3.1的视差矢量导出进行比较。该效能为3个视图(视图0到视图2)中，基于3D视频数据的BD率(BD-rate)，其中，负值指示出锚点(anchor)系统(即，3DV-HTM版本3.1)上的改进。各种视频数据用于比较。如上描述，如表1所示，整合(incorporating)简化视差矢量得出的3D视频编码系统，比基于相关深度区块中所有深度采样的最大值的视差矢量导出，获得更好效能(大约对于一个视图0.2％)。对应“视频1”以及“视频2”的效能，分别对应用于视图-1(view-1)以及视图-2(view-2)的视频数据的BD率比较。对于“唯视频(video only)”的效能比较，对应用于所有视图的视频数据的BD率比较。对于“唯合成(synthesized only)”的效能比较，为在解码器一侧已合成(synthesized)视图的BD率效能。对于“已编码以及已合成”的效能比较为所有视图的已合成视图以及已编码视频数据的BD率效能。
表1
除了如图4B所示的四个角的深度值，深度区块的其他位置可以用于导出视差值。在另一个例子中，如图5A所示，不是搜索在相关深度区块中所有深度采样的最大深度值，相关深度区块的底部行的中心采样的深度值为做视图之间候选(Inter-view candidate)。已导出视差矢量也可以用于AMVP中视图之间运动矢量，以用于融合以及跳过模式(Merge andSkip mode)的Inter模式(Inter mode)以及视图之间融合候选(merging candidate)。跳过模式以及融合模式为透过重用(reuse)来自相邻区块的运动信息而减少需要数据传输的视频编码中知名技术。当使用跳过模式，运动信息以及残差数据都不需要传输。当使用融合模式，没有必要传送运动信息。
图5B为整合本发明实施例的视差矢量导出的另一个例子的示意图，其中视差矢量从相关深度区块的底部行两端采样中的最大深度值而导出。已导出视差矢量可以用于Inter模式中AMVP中视图之间运动矢量预测子，以及融合以及跳过模式中视图之间融合候选。
图5C为整合本发明的实施例，视差矢量导出的另一个例子的示意图，其中视差矢量从相关深度的四个角采样以及中心采样中的最大深度值而导出。已导出视差矢量可以用于Inter模式中AMVP中视图之间运动矢量预测子，以及融合以及跳过模式中的以及视图之间融合候选。
图4B以及图5A-图5C所示的子集合为一些例子。所属领域技术人员可以选择其他子集合以实现本发明。举例说明，子集合可以由相关深度区块的任意行或者列中的两端采样或者相关深度区块的中心采样以及两个角采样组成。
当子集合的最大深度值用作已导出视差矢量，其他标准可以用于导出视差矢量。举例说明，平均值、中值，最频繁出现值，或者相关深度区块的子集合中深度值的线性组合，其中子集合包含两个或者多个深度采样。
在另一个实施例中，已导出视差矢量基于相关深度区块的两个或者多个深度采样的最大值而决定，以及透过使用已导出视差矢量以定位参考残差区块，而实现对该数据应用视图之间残差预测。在一个实施例中，相关深度区块的所述两个或者多个深度采样对应相关深度区块的所有深度采样。
当图3描述相关深度区块的决定的一个例子，其中有其他方法决定相关深度区块。举例说明，已估计视差矢量(616)可以初始用于定位如图6所示的已编码纹理视图(610)的对应区块(612)。已估计视差矢量与区块614以及对应区块(612)相关(当前纹理视图620的当前区块624的对应位置)。已编码视图的相关深度区块(632)根据已估计视差矢量(636)以及对应位置区块(634)而决定。然后相关深度区块(632)用作当前区块(624)的虚拟深度区块(644)。帧630对应于纹理帧610相关的深度帧。帧640对应用于当前纹理视图620的虚拟深度帧。如上揭示的视差矢量导出技术可以用于相关深度区块(632)，即，虚拟深度区块(644)以导出用于当前区块的视差矢量。举例说明，虚拟区块644的四个角的深度采样的最大深度值可以用做当前区块的视差矢量。另一个例子中，虚拟区块644的四个角以及中心的深度采样的最大深度值可以用作当前区块的已导出视差矢量。
图7为相关深度区块决定的另一个例子的示意图。导出过程与图6所示的导出过程相似。但是，在决定虚拟深度区块之后，虚拟深度区块进一步分为四个深度子区块。当前纹理区块也分为四个纹理子区块。视差矢量可以基于每一虚拟深度子区块而导出。在图7中，帧710对应已编码纹理帧，以及帧720对应待编码的依赖视图纹理帧。帧730对应与纹理区块710相同视图中的已编码深度帧。区块724为帧720中待编码的区块。区块714以及734为已编码纹理帧以及已编码深度帧中分别的对应位置区块。已估计视差矢量(736)和对应位置区块734用于决定已编码深度帧中的相关深度区块732。相关深度区块(732)用作当前区块(724)的虚拟深度区块(744)。虚拟深度区块然后分为虚拟深度子区块。如上所述视差矢量导出技术可以用于虚拟深度区块(744)的每一深度子区块(744a-d)以导出用于当前纹理子区块(724a-d)的分别的视差矢量。举例说明，虚拟子区块744a的四个角的深度采样的最大深度值可以用作对应子区块(724a)的已导出视差矢量。在另一个例子中，虚拟子区块744a的四个角以及中心的深度采样的最大深度值可以用作对应子区块(724a)的已导出视差矢量。导出用于纹理子区块的最大视差矢量可以用于定位对应参考子区块(712a-d)，以用于当前子区块的视图之间运动预测或者视图之间残差预测。
图8为根据本发明一个实施例，整合视差矢量导出的3D编码或者解码系统流程示意图。该系统接收与当前纹理帧的当前纹理区块相关的第一数据，其中该当前纹理帧对应依赖视图，如步骤810所示。对于编码，与当前纹理区块相关的第一数据对应待编码的原始像素数据。在视图之间残差预测的情况下，与当前纹理区块相关的第一数据可以对应待视图之间预测的残差像素数据。在后者情况下，残差像素数据进一步使用视图之间预测而预测，以产生残差像素数据的视图之间预测残差。相应地，已揭示的视图之间残差数据可以对应应用视图之间预测在原始像素数据，或者在残差像素数据上所得到的视图之间残差数据。对于解码，第一数据对应待视图之间残差数据以用于重建原始像素数据，或者当前纹理区块的残差像素数据。第一数据可以从存储器例如计算机存储器、缓冲器(RAM或者DRAM)，或者其他媒介中获得。第一数据也可以从处理器例如控制器、中央处理单元、数字信号处理器，或者产生第一数据的电子电路中接收。用于当前纹理区块的相关深度区块被决定，如步骤820所示。然后步骤830中已得到视差矢量基于相关深度区块的深度采样的子集合而被决定，其中该子集合包含比相关深度区块的深度采样少的深度采样，以及该子集合将单一采样子集合排除在外，其中该单一像素子集合对应相关深度区块的中心采样。然后如步骤840所示，利用已导出视差矢量，视图之间预测编码或者解码用于第一数据。
上述流程用于描述基于从相关深度区块导出的视差矢量的视图之间预测的例子。所属领域技术人员可以修改每一步骤，调整步骤顺序，分割步骤，或者组合上述步骤以实现本发明，而没有脱离本发明精神范围内。
上述描述特定应用以及需求的内容背景下，用于使能所属领域技术人员实现本发明。对于所属领域技术人员，所述实施例的各种变形是显而易见的，以及所定义的一般原则可以用于其他实施例。因此，本发明不限于所示以及所描述的特定实施例，但是在最宽范围内符合所揭示的原则和新颖性特征。在上述细节描述中，各种特定细节用于提供对于本发明的透彻理解。但是，所属领域技术人员可以理解本发明可以被实现。
本发明上述实施例可以以各种硬件、软件或者上述两者的组合而实现。举例说明，本发明的实施例可以为集成到视频压缩芯片中的集成电路，或者整合到视频压缩软件中的程序代码以实现所述处理。本发明的一个实施例也可以为程序代码，以被DSP所实施以执行上述处理。本发明也包含计算机处理、数据信号处理器、微处理器或者FPGA所执行的多个功能。上述处理器，透过执行定义了本发明特定方法所体现的机器可读软件代码，或者固件代码，可以配置为根据本发明的特定任务。软件代码或者固件代码可以不同编程语言以及不同格式或者风格而被开发。软件代码也可以编译用于不同目标平台。但是，不同代码格式、风格以及软件代码语言，或者其他配置代码的方式，以根据本发明，不脱离本发明精神范围内执行任务。
在不脱离本发明精神以及核心特征范围内，本发明可以体现为其他特地形式。所述例子被认为是全面描述，仅用于说明，但是不是限制。本发明的保护范围，因此，由所附权利要求而不是前述描述而指示。在权利要求的意思以及范围内的所有变化可以被认为是包含在权利要求保护范围内。

Claims (13)

1.一种用于三维或者多视图编码或者解码的方法，该方法包含：
接收与当前纹理帧的当前纹理区块相关的第一数据，其中该当前纹理帧对应依赖视图；
为该当前纹理区块决定相关深度区块；
基于该相关深度区块的深度采样的子集合而决定已导出视差矢量，其中该自己和包含比该相关深度区块的深度采样更少的深度采样以及子集合将对应该相关深度区块的中心采样的单一采样子集合排除在外；以及
透过使用该已导出视差矢量而对该第一数据应用视图时间预测编码或者解码。
2.如权利要求1所述的方法，其特征在于，该已导出视差矢量用于帧间模式中视图之间运动/视差矢量预测子、融合或者跳过模式中视图之间运动/视差候选、或者视图之间视差预测。
3.如权利要求1所述的方法，其特征在于，该已导出视差矢量用于定位参考区块，该参考区块用于帧间模式中视图之间运动/视差矢量预测、融合或者跳过模式中视图之间候选、视图之间运动预测，或者视图之间残差预测。
4.如权利要求1所述的方法，其特征在于，该已导出视差矢量基于该相关深度区块的底部行中中心采样或者两个角采样、该相关深度区块的四个角采样，或者该相关深度区块的所述四个角采样以及该中心采样而决定。
5.如权利要求1所述的方法，其特征在于，该已导出视差矢量为基于该相关深度区块的任意行或者任意列中两个端采样，或者该相关深度区块中该中心采样以及两个角采样而决定。
6.如权利要求1所述的方法，其特征在于该已导出视差矢量对应该相关深度区块的该子集合中深度值的最大值、平均值、中值、最频繁出现值，或者该相关深度区块的该子集合中深度值的线性组合，其中该子集合包含两个或者多个深度采样。
7.如权利要求6所述的方法，其特征在于该已导出视差矢量对应该相关深度区块的四个角采样中的最大值。
8.如权利要求1所述的方法，其特征在于该相关深度区块为在参考视图中，基于已编码深度帧而决定。
9.如权利要求8所述的方法，其特征在于估计视差矢量基于该当前纹理帧以及参考纹理帧而决定，以及该已估计视差矢量用于根据该已估计视差矢量而从该参考视图中的该已编码深度帧而决定。
10.如权利要求9所述的方法，其特征在于该当前纹理区块分为多个当前纹理子区块，该相关深度区块分为多个深度子区块，以及独立视差矢量从每一深度子区块中导出，以用于对应当前纹理子区块。
11.一种用于三维或者多视图视频编码的方法，该方法包含：
接收对应当前纹理帧的当前纹理区块相关的第一数据，其中该当前纹理帧对应依赖视图；
为该当前纹理区块决定相关深度区块；
基于该相关深度区块中两个或者多个深度采样的最大值而决定已导出视差矢量；以及
透过使用该已导出视差矢量而对该第一数据应用视图之间残差预测。
12.如权利要求11所述的方法，其特征在于该相关深度区块的所述两个或者多个深度采样对应该相关深度区块中的所有深度采样。
13.一种用于三维或者多视图视频编码或者解码的装置，该装置包含：
用于接收第一数据的设备，其中该第一数据为与对应依赖视图的当前纹理帧的当前纹理区块相关；
为该当前纹理区块决定相关深度区块的设备；
基于该相关深度区块的深度采样的一个子集合而决定已导出视差矢量的设备，其中该子集合包含比该相关深度区块更少的深度采样，以及该子集合将对应该相关深度区块的中心采样的一单一采样子集合排除在外；以及
透过使用该已导出视差矢量而对该第一数据应用视图之间预测编码或者解码的设备。
CN201380034193.6A 2012-06-28 2013-06-27 3d视频编码中视差矢量导出的方法和装置 Active CN104429074B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261665707P 2012-06-28 2012-06-28
US61/665,707 2012-06-28
PCT/CN2013/078172 WO2014000664A1 (en) 2012-06-28 2013-06-27 Method and apparatus of disparity vector derivation in 3d video coding

Publications (2)

Publication Number Publication Date
CN104429074A true CN104429074A (zh) 2015-03-18
CN104429074B CN104429074B (zh) 2018-11-30

Family

ID=49782258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380034193.6A Active CN104429074B (zh) 2012-06-28 2013-06-27 3d视频编码中视差矢量导出的方法和装置

Country Status (5)

Country Link
US (1) US9961369B2 (zh)
EP (1) EP2868089B1 (zh)
CN (1) CN104429074B (zh)
AU (1) AU2013284038B2 (zh)
WO (1) WO2014000664A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014000664A1 (en) * 2012-06-28 2014-01-03 Mediatek Inc. Method and apparatus of disparity vector derivation in 3d video coding
WO2014044168A1 (en) 2012-09-21 2014-03-27 Mediatek Inc. Method and apparatus of virtual depth values in 3d video coding
KR102137266B1 (ko) * 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
KR20140051790A (ko) * 2012-10-22 2014-05-02 (주)휴맥스 3차원 영상의 뷰간(inter-view) 움직임 벡터 예측에서의 변이 벡터 유도 방법
WO2014075236A1 (en) * 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
EP2941883A4 (en) * 2013-01-07 2016-07-06 Mediatek Inc METHOD AND DEVICE FOR DEPTH-IN-DISPARITY VECTOR CONVERSION FOR THREE-DIMENSIONAL VIDEO-CODING
FR3002716A1 (fr) 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
US10477230B2 (en) 2013-04-10 2019-11-12 Mediatek Inc. Method and apparatus of disparity vector derivation for three-dimensional and multi-view video coding
US10356430B2 (en) * 2013-07-12 2019-07-16 Samsung Electronics Co., Ltd. Interlayer video decoding method and apparatus using view synthesis prediction and interlayer video encoding method and apparatus using view synthesis prediction
WO2015007159A1 (en) * 2013-07-15 2015-01-22 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3d video coding
WO2015139203A1 (en) 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
WO2015184605A1 (en) * 2014-06-04 2015-12-10 Mediatek Singapore Pte. Ltd. Depth coding compatible with arbitrary bit-depth
EP3160143A4 (en) 2014-06-18 2018-01-17 Samsung Electronics Co., Ltd. Multi-view image encoding/decoding methods and devices

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101512601A (zh) * 2006-09-04 2009-08-19 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
CN101690220A (zh) * 2007-04-25 2010-03-31 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US20100098157A1 (en) * 2007-03-23 2010-04-22 Jeong Hyu Yang method and an apparatus for processing a video signal
CN101754042A (zh) * 2008-10-30 2010-06-23 华为终端有限公司 图像重构方法和图像重构系统
US20100158129A1 (en) * 2007-08-15 2010-06-24 Polin Lai Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
US20110211638A1 (en) * 2010-02-26 2011-09-01 Samsung Electronics Co., Ltd. Multi-view image processing apparatus, method and computer-readable medium
CN102291579A (zh) * 2011-07-06 2011-12-21 北京航空航天大学 一种快速的多目立体视频分形压缩与解压缩方法
US20120062756A1 (en) * 2004-12-17 2012-03-15 Dong Tian Method and System for Processing Multiview Videos for View Synthesis Using Skip and Direct Modes

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
JP5303556B2 (ja) 2007-08-06 2013-10-02 トムソン ライセンシング 複数のインタービュー参照ピクチャを用いたモーションスキップモードのための方法及び装置
EP2328337A4 (en) 2008-09-02 2011-08-10 Huawei Device Co Ltd 3D VIDEO COMMUNICATION, TRANSMISSION DEVICE, SYSTEM AND IMAGE RECONSTRUCTION, SYSTEM
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
KR101927967B1 (ko) * 2011-08-09 2018-12-12 삼성전자주식회사 다시점 비디오 데이터의 깊이맵 부호화 방법 및 장치, 복호화 방법 및 장치
US20140241434A1 (en) * 2011-10-11 2014-08-28 Mediatek Inc Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
CN107071434A (zh) * 2011-11-08 2017-08-18 株式会社Kt 对视频信号进行解码的方法
WO2013068564A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Effective wedgelet partition coding using spatial prediction
US20130271567A1 (en) * 2012-04-16 2013-10-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for predicting motion vector and disparity vector
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
WO2014000664A1 (en) * 2012-06-28 2014-01-03 Mediatek Inc. Method and apparatus of disparity vector derivation in 3d video coding
US9253486B2 (en) * 2012-09-28 2016-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion field backward warping using neighboring blocks in videos

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120062756A1 (en) * 2004-12-17 2012-03-15 Dong Tian Method and System for Processing Multiview Videos for View Synthesis Using Skip and Direct Modes
CN101512601A (zh) * 2006-09-04 2009-08-19 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
US20100098157A1 (en) * 2007-03-23 2010-04-22 Jeong Hyu Yang method and an apparatus for processing a video signal
CN101690220A (zh) * 2007-04-25 2010-03-31 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US20100158129A1 (en) * 2007-08-15 2010-06-24 Polin Lai Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors
CN101785317A (zh) * 2007-08-15 2010-07-21 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
CN101754042A (zh) * 2008-10-30 2010-06-23 华为终端有限公司 图像重构方法和图像重构系统
US20110211638A1 (en) * 2010-02-26 2011-09-01 Samsung Electronics Co., Ltd. Multi-view image processing apparatus, method and computer-readable medium
CN102291579A (zh) * 2011-07-06 2011-12-21 北京航空航天大学 一种快速的多目立体视频分形压缩与解压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEIKO SCHWARZ ET AL: "Inter-view prediction of motion data in multiview video coding", 《IEEE PICTURE CODING SYMPOSIUM》 *
HEIKO SCHWARZ ET AL: "Test model under consideration for HEVC based on 3D video coding v3.0", 《MPEG MEETING， MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11》 *

Also Published As

Publication number Publication date
WO2014000664A1 (en) 2014-01-03
US9961369B2 (en) 2018-05-01
EP2868089B1 (en) 2017-12-20
EP2868089A4 (en) 2016-02-17
US20150201214A1 (en) 2015-07-16
AU2013284038B2 (en) 2015-11-05
AU2013284038A1 (en) 2015-01-22
CN104429074B (zh) 2018-11-30
EP2868089A1 (en) 2015-05-06

Similar Documents

Publication Publication Date Title
CN104429074B (zh) 3d视频编码中视差矢量导出的方法和装置
CN104521236B (zh) 三维视频编码或解码方法
CN104350749B (zh) 深度图估计的推导
CN104412597B (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN105144715B (zh) 后向视图合成预测
JP5234586B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
CN104471941B (zh) 3d视频编码中的视图间子分割预测的方法和装置
CN103907346A (zh) 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置
KR20120080122A (ko) 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
CN104412587A (zh) 三维视频编码中视图间候选获取的方法和设备
CN105075265A (zh) 3d视频译码中针对跳过和直接模式的视差向量导出
CN104396244A (zh) 用于视频编码和解码的装置、方法和计算机程序
KR20130117749A (ko) 화상 처리 장치와 화상 처리 방법
EP2920967A1 (en) Method and apparatus of constrained disparity vector derivation in 3d video coding
KR102572012B1 (ko) 시점 간 움직임 병합 후보 유도 방법 및 장치
KR20160002716A (ko) 비디오 신호 처리 방법 및 장치
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置
WO2012128241A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN105247862A (zh) 三维视频编码中的视点合成预测的方法及装置
KR102133936B1 (ko) ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법
US20130215966A1 (en) Image encoding method, image decoding method, image encoding device, image decoding device
CN105144714A (zh) 三维视频编码的视差向量推导的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160823

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: Hsinchu Science Park, Taiwan, China

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant