CN106471807B - 包括视角合成预测的三维或多视角视频的编码方法 - Google Patents

包括视角合成预测的三维或多视角视频的编码方法 Download PDF

Info

Publication number
CN106471807B
CN106471807B CN201580032169.8A CN201580032169A CN106471807B CN 106471807 B CN106471807 B CN 106471807B CN 201580032169 A CN201580032169 A CN 201580032169A CN 106471807 B CN106471807 B CN 106471807B
Authority
CN
China
Prior art keywords
dimensional
visual angle
candidate
merging
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580032169.8A
Other languages
English (en)
Other versions
CN106471807A (zh
Inventor
林建良
陈渏纹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of CN106471807A publication Critical patent/CN106471807A/zh
Application granted granted Critical
Publication of CN106471807B publication Critical patent/CN106471807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种用于三维和多视角视频的根据一个或多个三维使能标记使用具有修改列表大小的合并模式的相依视角纹理或深度数据的编码或解码方法和装置。根据包括视角合成预测标记的一个或多个三维使能标记，确定表示当前块的一个或多个额外的合并候选的额外候选数量。确定对应于所述额外候选数量和原始列表大小的总和的三维合并列表的修改列表大小。根据优先级顺序，基于用于获取基础视角中的视频数据的所述基础视角合并列表的原始合并候选和由所述三维使能标记使能的一个或多个三维合并候选，确定具有所述修改列表大小的三维合并列表。

Description

包括视角合成预测的三维或多视角视频的编码方法
交叉引用
本发明要求在2014年10月9日递交的申请号为62/061,834的美国临时专利申请的优先权。在此合并参考该美国临时专利申请案的申请标的。
技术领域
本发明有关于三维(3D)和多视角(multi-view)视频编码。特别是，本发明有关于包括纹理和深度数据的视角合成预测(View Synthesis Prediction，VSP)的三维编码的合并候选列表(Merge candidate list)的推导。
背景技术
三维电视是近年来的一种技术潮流，意在给观众带来非常好的观看体验。目前已开发出了各种使能3D观看的技术。其中，多视角视频是3D电视应用中的一项关键技术。传统的视频是二维(2D)媒介，只为观众提供来自相机视角的场景的单一视角(single view)。然而，多视角视频能够提供动态场景的任意视角，并为观众提供真实的感觉。
通常是通过同时使用多个摄像机来捕获场景以获得多视角视频，其中多个摄像机被设置在适当的位置，以使每个摄像机从一个视点(viewpoint)来捕捉该场景。因此，多个摄像机将捕获对应于多个视角的多个视频序列。为了提供更多视角，更多的摄像机已被用于生成与视角相关联的大量的视频序列的多视角视频。因此，多视角视频将需要大量的存储空间来存储和/或高带宽来传输。因此，已在该领域的开发出多视角视频编码技术，以减少所需的存储空间或传输带宽。
在基于三维编码标准(如，3D-HEVC)或多视角编码的高效视频编码(HighEfficiency Video Coding，HEVC)中，使用基础编码器(base coder)来编码纹理的独立基础视角(independent base-view)，基础编码器相当于普通视频编码器，如用于视频序列的标准HEVC编码器。另一方面，使用3D增强编码器来编码深度图和相依视角(dependent-view)纹理，如3D-HEVC编码器，其中使用纹理的编码独立基础视角(coded independentbase-view)。
在3D视频编码中，与帧间预测(Inter prediction)相关的预测(即时间预测)和视角间预测(inter-view prediction)可能需要标识相关的运动信息，如运动向量(motionvector，MV)、帧间编码的参考图像索引和参考图像列表、以及视角间预测的视差向量(disparity vector，DV)。为了有效地发信(signal)运动信息，使用称为合并模式(Mergemode)的编码模式。在合并模式中，产生合并候选列表(Merge candidate list)。如果从列表中选择出合并候选，则被编码或解码的当前块的运动信息与选定的合并候选的运动信息相同。选定的合并候选的合并索引在编码器端被发信，并在解码器端被解析。
在JCT3V-I1003(Chen,et al.,“Test Model 9 of 3D-HEVC and MV-HEVC”,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting:Sapporo,JP,3–9 July 2014,Document:JCT3V-I1003)中描述的3D-HEVC中，在相依视角中的纹理和深度的合并候选如表1所示。除了用于基础视角纹理数据的合并候选，用斜体来表示的合并候选为在3D-HEVC候选列表中的额外的合并候选(也叫额外的3D候选)。
表1
在表1中，基础视角纹理视频数据的合并候选包括五个空间(spatial)合并候选(即A0、A1、B0、B1和B2)和一个时间(temporal)合并候选。五个空间合并候选是来自空间上相邻的块，其中块的位置如图1A所示。时间合并候选T0如图1B所示。在传统的HEVC(又称non-3D-HEVC)以及在3D-HEVC中均使用空间合并候选和时间合并候选。
在表1中，MPI代表运动参数继承(motion parameter inheritance，MPI)的合并候选。在这种情况下，深度块继承了其相应的纹理块的运动特性。DDD代表根据视差来源深度(disparity derived depth，DDD)编码获得的合并候选，并将其应用于帧间编码(Inter-coded)的预测单元(PU)。因此，可以从其相应的视差向量获得深度值。另一方面，DV对应基于视差向量(DV)的合并候选，以及IVMP代表来自视角间运动预测的合并候选。此外，偏移IVMP和偏移DV也可以包括在合并列表中。根据优先级顺序(priority order)将候选插入到合并列表中。当合并列表的大小达到最大值时，合并列表已满，并且没有更多的候选被插入。表1中列出的候选是根据从上到下的优先级顺序。例如，如果存在IVMP候选，那么IVMP候选将被添加到纹理合并列表的第一个。如果存在候选A1，那么候选A1将被插入到IVMP候选之后。同样，如果存在候选B1，那么候选B1将被插入到候选A1之后，等等。
为了降低复杂度，对于具有8x4和4x8的块大小的预测单元，除了VSP(视角合成预测)继承，3D-HEVC合并候选(即表1中的额外的候选)均被删除。HEVC、具有大于或等于8x8的预测单元的3D-HEVC纹理/深度、以及具有在草案3D-HEVC标准版本11.0的8x4/4x8的预测单元的3D-HEVC纹理的合并候选集，在表2中进行说明。表2中示出了在草案3D-HEVC标准版本11.0中用于具有大于或等于8x8预测单元的HEVC、3D-HEVC纹理/深度以及具有8x4/4x8预测单元的3D-HEVC纹理的合并候选集。如表2所示，双预测(bi-predictive)(组合-双(combined-Bi))候选和零值向量(零)候选也被使用。VSP继承候选对应VSP编码的合并候选。
表2
因此，在当前的3D-HEVC中，有四种不同的合并候选集：
1.具有PU大小等于8x4或4x8的独立视角纹理和深度图：纹理和深度数据的HEVC候选集。
2.具有PU大小等于或大于8x8的独立视角纹理和深度图：纹理数据的HEVC候选集和深度数据的3D-HEVC候选集。
3.具有PU大小大于或等于8x8的相依视角纹理和深度图：纹理和深度数据的3D-HEVC候选集。
4.具有PU大小等于8x4或4x8的相依视角纹理和深度图：纹理数据的HEVC候选集+VSP继承，以及深度数据的HEVC候选集。
在草案3D-HEVC标准版11.0中的合并候选集的分类如表3所示。
表3
在当前的3D-HEVC规范中，在视频参数集延伸2(vps_extension2)中有三个控制标记(control flag)，用来控制如下总结的这些额外的候选的开/关：
·iv_mv_pred_flag：控制IVMP、DV、偏移IVMP和偏移DV候选的开/关。
·mpi_flag：控制MPI候选和DDD候选的开/关。
·view_synthesis_pred_flag：控制VSP候选的开/关。
在现有的3D-HEVC实践中，3D合并候选使能标记(enabling flag)在VPS(视频参数设置)中被发信。在根据现有的3D-HEVC的vps_extension2中的语法如表4所示。与VPS相关的纹理和深度数据将根据3D合并候选使能标记来使能使各自的3D合并候选。这些使能的3D合并候选可以根据优先级顺序插入到合并列表中。
表4
在表4中，iv_mv_pred_flag[layerId](由注释(4-1)指示的)表明具有nuh_layer_id等于layerId的层的解码过程是否使用视角间运动参数预测。iv_mv_pred_flag[layerId]等于0说明(specify)具有nuh_layer_id等于layerId的层没有使用视角间运动参数预测。iv_mv_pred_flag[layerId]等于1说明具有nuh_layer_id等于layerId的层可能会被用于视角间运动参数预测。当没有指定iv_mv_pred_flag[layerId]时，推断iv_mv_pred_flag[layerId]的值等于0。当NumDirectRefLayers[layerId]等于0时，iv_mv_pred_flag[layerId]的值应等于0。
在表4中，view_synthesis_pred_flag[layerId](由注释(4-2)指示的)等于0说明具有nuh_layer_id等于layerId的层没有使用视角合成预测合并候选。view_synthesis_pred_flag[layerId]等于1说明具有nuh_layer_id等于layerId的层可能会使用视角合成预测合并候选。当没有指定view_synthesis_pred_flag[layerId]时，推断view_synthesis_pred_flag[layerId]的值等于0。当NumDirectRefLayers[layerId]等于0时，view_synthesis_pred_flag[layerId]的值应等于0。
在表4中，mpi_flag[layerId](由注释(4-3)指示的)等于0说明具有nuh_layer_id等于layerId的层没有使用运动参数继承。mpi_flag[layerId]等于1说明具有nuh_layer_id等于layerId的层可能会使用运动参数继承。当没有指定mpi_flag[layerId]时，推断mpi_flag[layerId]的值等于0。
合并候选列表的大小是使用语法元素(five_minus_max_num_merge_cand)在比特流中发信的，five_minus_max_num_merge_cand，说明从5中减去切片中支持的合并MVP候选的最大数量的值。代表额外的合并候选的数量的变量NumExtraMergeCand可推导如下：
NumExtraMergeCand＝iv_mv_pred_flag[nuh_layer_id]||mpi_flag[nuh_layer_id]
如本领域众所周知的，“||”符号代表逻辑“或”操作。换句话说，如果iv_mv_pred_flag[nuh_layer_id]和mpi_flag[nuh_layer_id]中任意一个的值为1，则NumExtraMergeCand等于1。合并MVP候选的最大数量，MaxNumMergeCand可推导如下：
MaxNumMergeCand＝5-five_minus_max_num_merge_cand+NumExtraMergeCand
其中，MaxNumMergeCand的值的范围在1至(5+NumExtraMergeCand)之间。
根据现有的3D-HEVC规范中，候选列表的大小增加了1，以允许更多的合并候选包括到合并列表中。例如，当基础视角的候选列表的大小为5时，相依纹理视角和深度图的候选列表的大小为6。候选列表是否要增加1，只取决于3D合并候选标记，即iv_mv_pred_flag和mpi_flag。
发明内容
本发明公开一种用于三维和多视角视频的根据一个或多个三维使能标记使用具有修改列表大小的合并模式的相依视角纹理或相依/基础视角深度数据的编码或解码方法和装置。根据包括视角合成预测标记的一个或多个三维使能标记，确定与当前块的一个或多个额外的合并候选相关的额外候选数量。视角合成预测标记指示当前块是否使能视角合成预测。确定对应于所述额外候选数量和原始列表大小的总和的三维合并列表的修改列表大小(modified list size)。原始列表大小对应于基础视角合并列表的基础视角列表大小、默认大小或发送大小(transmitted size)。根据优先级顺序，基于用于获取基础视角中的视频数据的所述基础视角合并列表的原始合并候选和被所述三维使能标记使能的一个或多个三维合并候选，确定具有所述修改列表大小的三维合并列表。然后根据获取的三维合并列表，使用合并模式编码或解码当前块。
基础视角合并列表的基础视角列表大小可以在比特流中发信。在一个实施例中，如果所述三维使能标记中的任何一个的值为1，则所述额外候选数量设置为1。在另一个实施例中，如果所述视角合成预测标记、视角间运动预测标记和运动参数继承标记中的任意一个为1，则所述额外候选数量设置为1。在另一个实施例中，所述额外候选数量设置为具有值为1的所述三维使能标记的总数。例如，额外候选数量可以设置为视角合成预测标记、视角间运动预测标记和运动参数继承标记的值的总和。在一个实施例中，如果视角合成预测标记为1，则额外候选数量设置为1或增加1。
对于每一个编码树单元、最大编码单元、预测单元、编码单元、切片、图像、层、视角或序列，所述三维合并列表被更新。
在另一个实施例中，根据被当前块的一个或多个三维使能标记使能的一个或多个三维合并候选来确定额外候选数量。例如，如果三维合并候选的特难以一个被三维使能标记使能，则额外候选数量可以设置为1。另外，额外候选数量可以设置为三维使能标记使能的三维合并候选的总数。
在另一个实施例中，在预测单元层级上确定额外候选数量。特别是，根据是否只有非三维合并候选或根据是否只有非三维合并候选和视角合成预测继承候选被用于当前预测单元，来确定额外候选数量。例如，如果当前预测单元只允许非三维合并候选，则当前预测单元的额外候选数量设置为0。另一个例子，如果当前预测单元只允许非三维合并候选和视角合成预测继承候选，则当前预测单元的额外候选数量设置为0。
附图说明
图1A-1B为分别用于获取基础视角纹理数据的合并候选的当前块的空间相邻块和时间相邻块。
图2为根据本发明的一实施例包含修改列表大小的3D合并列表的相依视角纹理或深度数据的3D和多视角编码的示例性流程图。
具体实施方式
以下描述为本发明的较佳实施例。以下实施例仅用来举例阐释本发明的技术特征，并非用以限定本发明。本发明的保护范围当视权利要求书所界定为准。
在传统的3D-HEVC中，在关于是否增加候选列表的大小以包括额外的候选的决策过程中，不考虑view_synthesis_pred_flag。将view_synthesis_pred_flag加入用于与是否增加候选列表有关的决策应能提供额外的设计灵活性，并且可以提高编码性能。因此，本发明的实施例在获取相依视角纹理和深度图的候选列表大小时，会考虑view_synthesis_pred_flag。
第一实施例。根据本实施例，变量NumExtraMergeCand(也被称为“额外候选数量”)和合并MVP候选的最大数量(即MaxNumMergeCand)可推导如下：
NumExtraMergeCand＝iv_mv_pred_flag[nuh_layer_id]||mpi_flag[nuh_layer_id]||view_synthesis_pred_flag[nuh_layer_id]；
MaxNumMergeCand＝5-five_minus_max_num_merge_cand+NumExtraMergeCand。
换句话说，如果包括iv_mv_pred_flag、mpi_flag、view_synthesis_pred_flag的任何3D使能标记为真(true)，则NumExtraMergeCand设置为1。相依视角纹理或深度图的合并候选列表的大小则增加1。然而三个3D使能标记(即iv_mv_pred_flag、mpi_flag、view_synthesis_pred_flag)仅作为一个例子，也可以使用其他的3D使能标记。如前所述，除了原始列表大小，变量NumExtraMergeCand代表在相依视角中的编码相依视角纹理数据或者在基础视角和相依视角中的深度数据中允许的额外的合并候选的数量。原始列表大小可对应于根据常规编码系统(如用于常规视频数据的传统的HEVC标准)的基础视角纹理数据的合并列表大小，其中基础视角纹理数据的合并列表大小可以在比特流中来发信。原始列表大小也可以对应默认的合并列表大小或发送的合并列表大小。在第一实施例中所描述的原始列表大小也可以应用于本发明的其他实施例中。
第二实施例。根据本实施例，变量NumExtraMergeCand和合并MVP候选的最大数量(即maxnummergecand)可推导如下：
NumExtraMergeCand＝iv_mv_pred_flag[nuh_layer_id]+mpi_flag[nuh_layer_id]+view_synthesis_pred_flag[nuh_layer_id]；
MaxNumMergeCand＝5-five_minus_max_num_merge_cand+NumExtraMergeCand。
如上所示，NumExtraMergeCand等于iv_mv_pred_flag[nuh_layer_id]、mpi_flag[nuh_layer_id]和view_synthesis_pred_flag[nuh_layer_id]的值的总和。由于每个标记的值为0或1，因此NumExtraMergeCand对应于具有值为1的3D使能标记的数量。相依视角纹理或深度图的合并候选列表大小可以推导为基础视角的合并候选列表大小加上NumExtraMergeCand。然而三个3D使能标记(即iv_mv_pred_flag、mpi_flag、view_synthesis_pred_flag)仅作为一个例子，也可以使用其他的3D使能标记。
第三实施例。根据本实施例，如果在当前切片或图像中的VSP候选被使能，则将变量NumExtraMergeCand设置为1。相依视角纹理或深度图的合并候选列表大小可以推导为基础视角的合并候选列表大小加上NumExtraMergeCand。合并MVP候选的最大数量，即MaxNumMergeCand推导如下：
MaxNumMergeCand＝5-five_minus_max_num_merge_cand+NumExtraMergeCand。
第四实施例。根据本实施例，如果在当前切片或图像中的VSP候选被使能，则变量NumExtraMergeCand增加1。例如，首先可以在不考虑view_synthesis_pred_flag的情况下确定变量NumExtraMergeCand的初始值，然后，如果VSP候选被view_synthesis_pred_flag使能，则变量NumExtraMergeCand再增加1。相依视角纹理或深度图的合并候选列表大小可以推导为基础视角的合并候选列表大小加上NumExtraMergeCand。合并MVP候选的最大数量，即MaxNumMergeCand推导如下：
MaxNumMergeCand＝5-five_minus_max_num_merge_cand+NumExtraMergeCand。
第五实施例。根据本实施例，变量NumExtraMergeCand推导为被当前切片或图像中的各自的(respective)3D使能标记使能的可用的额外的候选(如IVMP、DV、偏移IVMP、偏移DV候选、MPI候选、DDD候选和VSP候选)的总数。相依视角纹理或深度图的合并候选列表大小可以推导为基础视角的合并候选列表大小加上NumExtraMergeCand。合并MVP候选的最大数量，即MaxNumMergeCand推导如下：
MaxNumMergeCand＝5-five_minus_max_num_merge_cand+NumExtraMergeCand。
第六实施例。根据本实施例，如果当前切片或图像中的各自的3D使能标记使能额外的候选中的任何一个，则变量NumExtraMergeCand可以设置为1。额外的候选可包括IVMP、DV、偏移IVMP、偏移DV候选、MPI候选、DDD候选和VSP候选。否则，变量NumExtraMergeCand设置为0。相依视角纹理或深度图的合并候选列表大小可以推导为基础视角的合并候选列表大小加上NumExtraMergeCand。合并MVP候选的最大数量，即MaxNumMergeCand推导如下：
MaxNumMergeCand＝5-five_minus_max_num_merge_cand+NumExtraMergeCand。
第七实施例。根据本实施例，变量NumExtraMergeCand是自适应预测单元的(PU-adaptive)。对于每个PU，如果只有非3D合并候选，例如使用HEVC合并候选，则变量NumExtraMergeCand设置为0。否则，根据先前提出的任一方法来确定变量NumExtraMergeCand。对于每个PU，合并MVP候选的最大数量，即MaxNumMergeCand推导如下：
MaxNumMergeCand＝5-five_minus_max_num_merge_cand+NumExtraMergeCand。
第八实施例。根据本实施例，变量NumExtraMergeCand是自适应预测单元的。对于每个PU，如果仅使用非3D合并候选和VSP继承候选，则变量NumExtraMergeCand设置为0。VSP继承候选对应于VSP编码的合并候选。因此，当前块从合并相邻块继承运动信息(即，VSP)。否则，根据先前提出的任一方法来确定变量NumExtraMergeCand。对于每个PU，合并MVP候选的最大数量，即MaxNumMergeCand推导如下：
MaxNumMergeCand＝5-five_minus_max_num_merge_cand+NumExtraMergeCand.
在上述实施例中，3D合并列表可更新，以用于每一个编码树单元(CTU)、最大编码单元(LCU)、预测单元(PU)、编码单元(CU)、切片、图像、层、视角或序列。
图2为根据本发明的一实施例包含修改列表大小的3D合并列表的相依视角纹理或深度数据的3D和多视角编码的示例性流程图。对相依视角的纹理数据或者相依视角或基础视角的深度数据，该系统接收与当前块相关的输入数据，如步骤210所示。对于编码，对应于相依视角的纹理数据或者相依视角或基础视角的深度数据的输入数据将被编码。对于解码，对应于相依视角的编码纹理数据或者基础视角或相依视角的编码深度数据的输入数据将被解码。输入数据可以从存储器(例如，计算机内存、缓冲区(RAM或DRAM)、或其他媒介)或处理器中得到。在步骤220中，根据包括VSP(视角合成预测)标记的一个或多个3D使能标记，确定与当前块的一个或多个额外的合并候选相关的额外候选数量。VSP标记表明当前块是否使能视角合成预测。在步骤230中，确定对应于额外候选数量和原始列表大小的总和的3D合并列表的修改列表大小。原始列表大小对应于基础视角合并列表的基础视角列表大小、默认大小或发送大小。在步骤240中，根据优先级顺序，基于用于获取基础视角中的视频数据的基础视角合并列表的原始合并候选和由所述一个或多个3D使能标记使能的一个或多个3D合并候选，推导具有修改列表大小的3D合并列表。然后基于3D合并列表，使用合并模式编码或解码当前块。
如上所示的流程图是根据本发明的实施例说明3D或多视角视频编码或解码的例子。本领域的技术人员可以修改每个步骤、重新安排步骤的顺序、拆分步骤或者结合某些步骤来实现本发明，而不脱离本发明的精神。
以上的描述是使本领域的技术人员在本文提供的特定应用和需求下能够实践本发明。本领域的技术人员将容易地观察到，在不脱离本发明的精神和范围内，可以进行多种修改和变动。因此，本发明并非限定在所示和描述的特定的实施例上，而本发明公开是为了符合原则和新颖性的最广泛的范围。在上述详细的描述中，各种具体的细节，用以提供对本发明的透彻的了解。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。
如上述所述的本发明的实施例，可以使用硬件、软件或其组合来实现。例如，本发明的一实施例可以是集成到视频压缩芯片中的电路或集成到视频压缩软件中的程序代码，以执行所描述的处理。本发明的实施例也可以是将在数字信号处理器上执行的程序代码来执行所描述的处理。本发明还涉及一系列的由计算机处理器、数字信号处理器、微处理器和现场可编程门阵列(FPGA)执行的功能。根据本发明，这些处理器可以被配置为执行特定任务，通过执行定义特定方法的计算机可读软件代码或固件代码来实现。软件代码或固件代码可以用不同的编程语言和不同的格式或样式来开发。软件代码也可以为不同的目标平台所编译。然而，软件代码的不同的代码格式、风格和语言，以及配置代码的其他方式以执行任务，均不脱离本发明之精神和范围。
本发明可以以其它具体形式实施而不背离其精神或本质特征。所描述的实施例在所有方面都仅是说明性的而不是限制性。本发明的范围因此由所附权利要求为准而不是由前面的描述所界定。因此，各种修改、改编以及所描述的实施例的各种特征的组合可以在不脱离本发明的范围如权利要求书中阐述的情况下实施。

Claims (19)

1.一种三维或多视角视频的编码或解码方法，其特征在于，该方法包括：
对相依视角的纹理数据，或者所述相依视角或基础视角的深度数据，接收与当前块相关的输入数据；
根据包括视角合成预测标记的一个或多个三维使能标记，确定与当前块的一个或多个额外的合并候选相关的额外候选数量，其中所述视角合成预测标记表明所述当前块是否使能视角合成预测；
确定对应于所述额外候选数量和原始列表大小的总和的三维合并列表的修改列表大小，其中所述原始列表大小对应于基础视角纹理数据的合并列表大小、默认的合并列表大小或发送的合并列表大小；
根据优先级顺序，基于用于获取基础视角中的视频数据的所述基础视角纹理数据的合并列表的原始合并候选和由所述一个或多个三维使能标记使能的一个或多个三维合并候选，推导具有所述修改列表大小的所述三维合并列表；以及
基于所述三维合并列表，使用合并模式编码或解码所述当前块。
2.如权利要求1所述的三维或多视角视频的编码或解码方法，其特征在于，所述基础视角纹理数据的合并列表大小在比特流中被发信。
3.如权利要求1所述的三维或多视角视频的编码或解码方法，其特征在于，如果所述视角合成预测标记、视角间运动预测标记和运动参数继承标记中的任意一个为1，则所述额外候选数量设置为1，其中所述视角间运动预测标记指示所述当前块是否使能视角间运动预测，以及所述运动参数继承标记指示所述当前块是否使能运动参数继承。
4.如权利要求1所述的三维或多视角视频的编码或解码方法，其特征在于，如果所述视角合成预测标记为1，则所述额外候选数量设置为1。
5.如权利要求1所述的三维或多视角视频的编码或解码方法，其特征在于，所述额外候选数量设置为所述视角合成预测标记、视角间运动预测标记和运动参数继承标记的值的总数，其中所述视角间运动预测标记指示所述当前块是否使能视角间运动预测，以及所述运动参数继承标记指示所述当前块是否使能运动参数继承。
6.如权利要求1所述的三维或多视角视频的编码或解码方法，其特征在于，如果所述视角合成预测标记为1，则所述额外候选数量增加1。
7.如权利要求1所述的三维或多视角视频的编码或解码方法，其特征在于，如果所述一个或多个三维使能标记中的任何一个的值为1，则所述额外候选数量设置为1。
8.如权利要求1所述的三维或多视角视频的编码或解码方法，其特征在于，所述额外候选数量设置为具有值为1的所述一个或多个三维使能标记的总数。
9.如权利要求1所述的三维或多视角视频的编码或解码方法，其特征在于，如果所述视角合成预测标记为1，则所述三维合并列表的所述修改列表大小对应于所述额外候选数量与所述基础视角纹理数据的合并列表大小的总和。
10.如权利要求1所述的三维或多视角视频的编码或解码方法，其特征在于，所述三维合并列表的所述修改列表大小对应于所述额外候选数量与所述基础视角纹理数据的合并列表大小的总和。
11.如权利要求1所述的三维或多视角视频的编码或解码方法，其特征在于，所述三维合并列表更新，以用于每一个编码树单元、最大编码单元、预测单元、编码单元、切片、图像、层、视角或序列。
12.一种三维或多视角视频的编码或解码方法，其特征在于，所述方法包括：
对相依视角的纹理数据，或者所述相依视角或基础视角的深度数据，接收与当前块相关的输入数据；
根据所述当前块的一个或多个三维使能标记使能的一个或多个三维合并候选，确定与所述当前块的一个或多个额外的合并候选相关的额外候选数量；
确定对应于所述额外候选数量和原始列表大小的总和的三维合并列表的修改列表大小，其中所述原始列表大小对应于基础视角纹理数据的合并列表大小、默认的合并列表大小或发送的合并列表大小；
根据优先级顺序，基于用于获取基础视角中的视频数据的所述基础视角纹理数据的合并列表的原始合并候选和所述一个或多个三维合并候选，推导具有所述修改列表大小的所述三维合并列表；以及
基于所述三维合并列表，使用合并模式编码或解码所述当前块。
13.如权利要求12所述的三维或多视角视频的编码或解码方法，其特征在于，如果所述一个或多个三维合并候选中的任意一个被所述一个或多个三维使能标记使能，则所述额外候选数量设置为1。
14.如权利要求12所述的三维或多视角视频的编码或解码方法，其特征在于，所述额外候选数量设置为被所述一个或多个三维使能标记使能的一个或多个三维合并候选的总数。
15.如权利要求12所述的三维或多视角视频的编码或解码方法，其特征在于，所述三维合并列表更新，以用于每一个编码树单元、最大编码单元、预测单元、编码单元、切片、图像、层、视角或序列。
16.一种三维或多视角视频的编码或解码方法，其特征在于，所述方法包括：
对相依视角的纹理数据，或者所述相依视角或基础视角的深度数据，接收与当前预测单元相关的输入数据；
根据是否只有非三维合并候选或者根据是否只有非三维合并候选和视角合成预测继承候选被用于所述当前预测单元，确定与所述当前预测单元的一个或多个额外的合并候选相关的额外候选数量；
确定对应于所述额外候选数量和原始列表大小的总和的三维合并列表的修改列表大小，其中所述原始列表大小对应于基础视角纹理数据的合并列表大小、默认的合并列表大小或发送的合并列表大小；
根据优先级顺序，基于用于获取基础视角中的视频数据的所述基础视角纹理数据的合并列表的原始合并候选和一个或多个三维合并候选，推导具有所述修改列表大小的所述三维合并列表；以及
基于所述三维合并列表，使用合并模式编码或解码所述当前预测单元。
17.如权利要求16所述的三维或多视角视频的编码或解码方法，其特征在于，如果所述当前预测单元只允许所述非三维合并候选，则额外候选数量设置为0。
18.如权利要求16所述的三维或多视角视频的编码或解码方法，其特征在于，如果仅有所述非三维合并候选和所述视角合成预测继承候选允许用于所述当前预测单元，则所述当前预测单元的额外候选数量设置为0。
19.如权利要求16所述的三维或多视角视频的编码或解码方法，其特征在于，所述三维合并列表更新，以用于每一个编码树单元、最大编码单元、预测单元、编码单元、切片、图像、层、视角或序列。
CN201580032169.8A 2014-10-09 2015-09-25 包括视角合成预测的三维或多视角视频的编码方法 Active CN106471807B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462061834P 2014-10-09 2014-10-09
US62/061,834 2014-10-09
PCT/CN2015/090667 WO2016054979A1 (en) 2014-10-09 2015-09-25 Method of 3d or multi-view video coding including view synthesis prediction

Publications (2)

Publication Number Publication Date
CN106471807A CN106471807A (zh) 2017-03-01
CN106471807B true CN106471807B (zh) 2019-08-23

Family

ID=55652579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580032169.8A Active CN106471807B (zh) 2014-10-09 2015-09-25 包括视角合成预测的三维或多视角视频的编码方法

Country Status (6)

Country Link
US (1) US9743110B2 (zh)
EP (1) EP3123718A4 (zh)
JP (1) JP6472877B2 (zh)
KR (1) KR20170041220A (zh)
CN (1) CN106471807B (zh)
WO (1) WO2016054979A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046704A (ko) * 2017-10-26 2019-05-07 한국전자통신연구원 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
EP3579561A1 (en) 2018-06-05 2019-12-11 InterDigital VC Holdings, Inc. Prediction for light-field coding and decoding
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新：fifo、约束的fifo
WO2020003284A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
WO2020003261A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Selection from multiple luts
KR102646649B1 (ko) 2018-06-29 2024-03-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
KR20210024502A (ko) 2018-06-29 2021-03-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝
CN110662059B (zh) 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
CN115134599A (zh) 2018-06-29 2022-09-30 抖音视界有限公司 更新查找表（lut）的条件
WO2020003270A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
CN110662063B (zh) 2018-06-29 2020-12-15 北京字节跳动网络技术有限公司 视频处理方法、装置和计算机可读存储介质
JP7181395B2 (ja) 2018-07-02 2022-11-30 北京字節跳動網絡技術有限公司 イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
CN113039801B (zh) 2018-11-17 2023-12-19 北京字节跳动网络技术有限公司 用运动矢量差候选构建Merge
CN113196773B (zh) 2018-12-21 2024-03-08 北京字节跳动网络技术有限公司 具有运动矢量差的Merge模式中的运动矢量精度
WO2020143741A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Invoke of lut updating
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN113545041A (zh) * 2019-03-07 2021-10-22 数字洞察力有限公司 图像编码/解码方法和设备
US10742972B1 (en) * 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction
WO2020192611A1 (en) * 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
US11375231B2 (en) * 2020-01-14 2022-06-28 Tencent America LLC Method and apparatus for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013070757A1 (en) * 2011-11-07 2013-05-16 Qualcomm Incorporated Generating additional merge candidates
CN103907346A (zh) * 2011-10-11 2014-07-02 联发科技股份有限公司 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013111596A1 (ja) * 2012-01-26 2015-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 動画像符号化方法および動画像符号化装置
US9843820B2 (en) 2012-07-05 2017-12-12 Mediatek Inc Method and apparatus of unified disparity vector derivation for 3D video coding
JP6258212B2 (ja) * 2012-10-02 2018-01-10 シャープ株式会社 画像復号装置
CN104718760B (zh) 2012-10-05 2019-04-05 寰发股份有限公司 用于三维和多视图视频编码的方法和装置
JP6042556B2 (ja) 2012-11-16 2016-12-14 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
US9288507B2 (en) * 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding
WO2015100710A1 (en) * 2014-01-02 2015-07-09 Mediatek Singapore Pte. Ltd. Existence of inter-view reference picture and availability of 3dvc coding tools
CN103747264B (zh) 2014-01-03 2017-10-17 华为技术有限公司 预测运动矢量的方法、编码设备和解码设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907346A (zh) * 2011-10-11 2014-07-02 联发科技股份有限公司 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置
WO2013070757A1 (en) * 2011-11-07 2013-05-16 Qualcomm Incorporated Generating additional merge candidates

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《3D-HEVC Draft Text 5》;Gerhard Tech et al.;《Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 9th Meeting: Sapporo》;20140813;全文 *
《Analysis of View Synthesis Prediction Architectures in Modern Coding Standards》;Tian, D. et al.;《SPIE - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING.PRCEEDINGS》;20130926;全文 *
《View synthesis prediction using skip and merge candidates for HEVC-based 3D video coding》;Feng Zou et al.;《2013 IEEE International Symposium on Circuits and Systems (ISCAS2013)》;20130523;全文 *

Also Published As

Publication number Publication date
KR20170041220A (ko) 2017-04-14
EP3123718A4 (en) 2017-05-03
WO2016054979A1 (en) 2016-04-14
JP2017536017A (ja) 2017-11-30
EP3123718A1 (en) 2017-02-01
CN106471807A (zh) 2017-03-01
US9743110B2 (en) 2017-08-22
US20170034529A1 (en) 2017-02-02
JP6472877B2 (ja) 2019-02-20

Similar Documents

Publication Publication Date Title
CN106471807B (zh) 包括视角合成预测的三维或多视角视频的编码方法
US20190191180A1 (en) Method for sub-pu motion information inheritance in 3d video coding
KR101753171B1 (ko) 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법
CN104704819B (zh) 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置
CN104718760B (zh) 用于三维和多视图视频编码的方法和装置
KR101653118B1 (ko) 3d 장면의 하나 이상의 비디오를 처리하는 방법
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
US9992494B2 (en) Method of depth based block partitioning
KR101861497B1 (ko) 3ｄ 비디오 코딩에서의 카메라 파라미터 시그널링의 방법 및 장치
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN104918032B (zh) 简化基于深度的块分割的方法
KR20120084629A (ko) 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
CN106210740A (zh) 使用视图间运动预测编码深度数据的方法及其装置
WO2012177063A2 (ko) 스킵 모드 부호화 복호화 방법 및 장치
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置
CN105247862A (zh) 三维视频编码中的视点合成预测的方法及装置
CN105432084B (zh) 用于三维视频编码的参考视图选择的方法
CN104412238B (zh) 获取图片中块的视图间候选运动矢量的方法和装置
CN105474643A (zh) 3d视频编码中简化的视图合成预测的方法
KR20160002194A (ko) 적응적 병합후보 선택방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant