CN107534781B - 支持分量间预测的3d视频编解码器 - Google Patents

支持分量间预测的3d视频编解码器 Download PDF

Info

Publication number
CN107534781B
CN107534781B CN201680020879.3A CN201680020879A CN107534781B CN 107534781 B CN107534781 B CN 107534781B CN 201680020879 A CN201680020879 A CN 201680020879A CN 107534781 B CN107534781 B CN 107534781B
Authority
CN
China
Prior art keywords
texture
depth
prediction
current picture
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680020879.3A
Other languages
English (en)
Other versions
CN107534781A (zh
Inventor
格哈特·泰希
卡尔斯滕·祖灵
德特勒夫·马尔佩
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN107534781A publication Critical patent/CN107534781A/zh
Application granted granted Critical
Publication of CN107534781B publication Critical patent/CN107534781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

通过使用数据流中的一个或多个标志来控制对当前画面的编码单元的分量间预测的可用性的启用/禁用，支持分量间预测的3D视频编码/解码关于具有深度的相关各个视图和分量间预测的停用/启用能够在更广泛的设置范围内进行操作。

Description

支持分量间预测的3D视频编解码器
技术领域
本申请涉及支持分量间预测的3D视频编码/解码。
背景技术
在3D-HEVC的当前设计中，当对当前画面进行解码时，若干新的3D-HEVC工具参考满足以下各项的画面：a)属于与当前画面的分量不同的分量(其中分量可以是纹理或深度)；b)包括在相同的访问单元(AU)中(其中AU包含具有相同画面顺序计数的相同时刻的所有画面)；以及c)不在当前画面的参考画面列表中。更具体地：
1.当对当前深度画面进行解码时，一些工具参考与深度画面属于相同的视图和AU的纹理参考画面。因此，当前分量是深度并且参考分量是纹理。
2.当对纹理画面进行解码时，一些工具参考属于当前纹理画面的AU和当前纹理画面的纹理参考画面的视图的深度画面。因此，当前分量是纹理并且参考分量是深度。
参见图1中的示例1，其示出了从深度到纹理的分量间预测。图1描绘了3D-HEVC多层比特流的各层的子集以及当前画面的分量间依赖性。当前画面是层6的画面1。当前分量是纹理并且参考分量是深度。在对当前画面的任何编码单元(CU)进行解码之前，对参数集合SPS、VPS；层1、3、5和6的画面0；层1、3和5的画面1；以及当前画面的切片首部进行解码。在当前画面的CU0、CU1和CU2被解码时，分别执行根据视图2、0和1的深度层的画面1的分量间预测。
在当前设计工具中，针对当前画面如下启用或禁用使用分量间预测：
–如果当前画面是深度画面，则参考分量是纹理。否则(当前画面是纹理画面)，参考分量是深度。
–当前画面的分量间预测可能需要的视图是从当前画面的VPS、SPS中的语法元素和切片首部导出的。以下，假设这些视图的索引包括在列表inCompRefViewIdcs中。
–如果以下所有条件都为真，则针对当前画面启用特定工具：
–针对inCompRefViewIdcs中的每个视图i，以下为真：
–VPS信号中的语法元素，视图i的参考分量层存在于比特流中并且可用作用于包含当前画面的层的参考层。
–使用分量间预测的特定工具能够通过SPS和/或VPS启用标志针对包含当前画面的层被启用。
–否则，使用分量间预测的特定工具针对当前画面被禁用。
作为示例2，再次参见图1：从深度进行的分量间预测可能需要的视图被导出为inCompRefViewIdcs＝{2,1,0}。针对所有视图，在比特流中存在深度层，使得可以对当前画面的所有CU(0、1和2)启用从深度使用分量间的工具。
目前用于启用分量间预测的方法有两个问题：
第一个问题：在比特流中存在参考分量层不需要存在其所有画面。因此，可能缺少本参考分量层的特定画面，并且仍然启用从所述画面进行的分量间预测。
参见图2中的示例3。在图2中，针对包含在inCompRefViewIdcs＝{2,1,0}中的所有视图，比特流中存在深度层，使得对当前层的所有CU启用从深度进行的分量间预测。然而，针对当前画面中CU 1的分量间预测失败，因为视图0的深度层的画面1丢失。
第二个问题：并非inCompRefViewIdcs中视图的所有参考分量层包括在比特流中，使得针对当前画面的所有CU禁用分量间预测。然而，分量间可以应用于对参考分量层的当前画面进行参考的当前画面的CU。
参见图3中的示例4。在图3中，视图0的深度层未包括在比特流中。因此，并非inCompRefViewIdcs＝{2,1,0}中包括的视图的所有深度层存在于比特流中，使得针对当前画面的所有CU禁用分量间预测。然而，可以应用分别针对CU0和CU2的从视图2的深度层和视图1的深度层的分量间预测。
上述问题自然也会出现在除3D-HEVC以外的3D视频编解码器中。因此，需要一种支持分量间预测的3D视频编解码器，其中，一方面，所述3D视频编解码器在伴随各个视图的更广泛的可能设置范围内正确地操作，另一方面，启用分量间预测。
发明内容
因此，本发明的一个目的是提供支持分量间预测的3D视频编解码器，其允许并且正确地在相针对伴随有深度的各个视图的广泛的设置范围内操作，以及激活/启用分量间预测。
该目的是通过未决的独主权利要求的主题来实现的。
本申请基于以下发现：支持分量间预测的3D视频编码/解码可以在数据流中的一个或多个标志用于控制对当前画面的编码单元的分量间预测的可用性的启用/禁用的情况下，针对具有深度的相关各个视图和分量间预测的停用/启用在更广泛的设置范围内进行操作。根据本申请的第一方面，这种标志的有条件信号化用于保持数据流内的辅助信息的附加支出为低：只有当一方面对其纹理由所选择的纹理参考层集合中的任何一个表示的视图的深度加以表示的层的潜在可用集合和另一方面由数据流包括且与视频的时间部分相关的深度参考层集合的交集等于所述潜在可以集合时时，所述标志才被数据流包括，其中所选择的纹理参考层集合由数据流中的与当前画面或当前画面的一部分相关的第二参数集合来指示，所述视频的时间部分包含当前画面的时间戳或与当前画面的时间戳相关或延展超过当前画面的时间戳。否则，所述标志不被数据流包括并且在解码侧被推断为指示针对当前编码单元禁用深度到纹理预测。因此，针对预定的编码单元，只有当针对由所选择的纹理参考层集合所包括且因此可用作对当前画面的当前编码单元进行视图间纹理预测的参考的表示纹理的每个层，存在深度参考层集合中表示深度的层时，分量间预测才可用。通过这种措施，编码器可以通过所述标志来用信号通知表示深度的每个层实际上是否具有与数据流中的当前画面相同的时间戳的画面。备选地，3D视频编码器还可以通过所述标志自发地禁用深度到纹理预测，尽管由所述交集包括的表示深度的每个层具有编码到数据流中的画面。3D视频解码器简单地从数据流中有条件地读取所述标志，并相应地启用/禁用分量间预测。根据本申请的第二方面，通过按由所述交集包括的表示深度的每层消耗一个标志来增加启用/禁用分量间预测的可变性。通过这种措施，即使由所述交集包括的表示深度的层中的至少一个层丢失了数据流中当前画面的时间戳的对应画面，也可以应用分量间预测。此外，纹理到深度预测可以另外地或备选地同样地被启用/禁用。
附图说明
本申请的有利实现是从属权利要求的主题。以下参照附图描述本申请的优选实施例，其中：
图1示出了视频的层结构的示意图，并以3D-HEVC当前设计为例说明了从深度到纹理的分量间预测；
图2示出了说明在图1的示例中发生的分量间预测中的问题的示意图；
图3示出了说明图1的分量间预测所涉及的另一个问题的示意图；
图4示出了根据第一方面的说明用于克服图2的问题的可能解决方案以说明本申请的实施例的优点和思想的示意图；
图5示出了说明用于克服图2的问题以及关于图3所示的问题的第二解决方案以便说明第二方面的参数的实施例的优点和思想的示意图；
图6示出了根据本申请的实施例的3D视频解码器的框图以及3D视频的图示；
图7示出了适应图6的解码器的3D视频编码器的框图；
图8a和图8b示出了说明承担针对深度到纹理预测的任务的责任的解码/编码核心的可能工具的示意图；
图9示出了根据本申请的第一方面的实施例的说明存在于数据流中并且在图6和图7的解码器和编码器的开关14和114的操作模式中涉及的数据的示意图；
图10示出了根据图9的实施例的变型的说明包含在数据流18编码单元中的另一个语法元素的示意图；
图11a至图11c示出了说明3D-HEVC如何可以使用图6至图10的实施例的语法示例；
图12示出了根据本申请的第二方面的图9的备选方案的示意图；
图13示意性地示出了图4的解决方案1；
图14示意性地示出了图5的解决方案2；以及
图15示出了[1]中讨论的备选方法。
具体实施方式
在描述针对涉及支持分量间预测的3D视频编码/解码的不同方面的本申请的实施例之前，下面通过回到对3D-HEVC的当前设计中涉及的问题的描述并说明如何解决所述问题来示意性地说明以下实施例的思想和优点。然而，该描述不应被解释为将后续说明的实施例限制为仅适用于3D-HEVC。相反，在本申请的说明书中关于3D-HEVC的介绍部分中所示出的问题也可以与其他3D视频编解码器相关联地发生，因此，尽管以下对思想和优点的考虑和解释针对易于理解是有价值的，但是具体细节不应被视为限制以下和后续说明的实施例。相反，这些细节应被视为形成后续实施例的可能实现。
通过回到关于3D-HEVC当前设计的问题的描述来说明与本申请的第一方面有关的实施例的思想和优点，在下文中称为“解决方案1”。
解决方案1通过有条件地以信号通知当前画面的切片首部(SH)中的标志in_comp_pred_flag来解决第一个问题。标志in_comp_pred_flag表示在当前画面的AU中是否存在inCompRefViewIdcs中包括的视图的所有参考分量层的画面。
针对画面启用或禁用使用分量间预测的工具，如下所示：
–如果当前画面是深度画面，则参考分量是纹理。否则(当前画面是纹理画面)，参考分量是深度。
–当前画面的分量间预测可能需要的视图是从当前画面的VPS、SPS中的语法元素和切片首部导出的。以下，假设这些视图的索引包括在列表inCompRefViewIdcs中。
–标志in_comp_pred_flag如下导出：
–如果以下两个条件都为真，则从当前画面的切片首部中解析标志in_comp_pred_flag：
–针对inCompRefViewIdcs中的每个视图i，以下为真：
–VPS信号中的语法元素，视图i的参考分量层存在于比特流中并且可用作用于包含当前画面的层的参考层。
–使用层间预测的一个或多个工具能够通过SPS和/或VPS启用标志针对包含当前画面的层被启用。
–否则，in_comp_pred_flag不被解析，而被推断为等于0。
–当in_comp_pred_flag等于1时，inCompRefViewIdcs中的视图的所有参考分量层的画面需要存在于当前画面的AU中。
–针对当前画面启用或禁用使用分量间预测的特定工具，如下所示：
–如果以下两个条件都为真，则为当前画面启用使用分量间预测的特定工具：
–标志in_comp_pred_flag等于1。
–使用层间预测的特定工具能够通过SPS和/或VPS启用标志针对包含当前画面的层被启用。
–否则，使用分量间预测的特定工具针对当前画面被禁用。
由于仅在切片首部中有条件地发送一个比特，所以解决方案1以非常少的附加信令开销来解决第一个问题。
参见图4中的示例5。如图4所示，视图0的深度的画面1缺失。然而，由于包括在inCompRefViewIdcs＝{2,1,0}中的所有视图的所有深度层都存在于比特流中，所以从当前切片的切片首部解析in_comp_pred_flag。由于in_comp_pred_flag等于0(由于不存在视图0的深度的画面1而需要其等于0)，所以针对当前画面，分量间预测被禁用。
当前3D-HEVC设计规范的语法和语义可以通过以下方式进行修改，以实现上述“解决方案1”。
与当前3D-HEVC草案相比的更改被标记为下划线，并且取消被标记为删除线。
I.7.3.6.1一般的切片分段首部语法
Figure GDA0002428523220000071
一般的切片分段首部语义
变量DepthFlag设置为等于VpsDepthFlag[nuh_layer_id]，变量ViewIdx设置为等于ViewOrderIdx[nuh_layer_id]。
列表inCompRefViewIdcs[i]、refCompLayerPresent[i]和变量inCompPredFlag按 以下规定导出：
Figure GDA0002428523220000072
–如果DepthFlag等于0，则depthOfRefViewsAvailFlag设置为等于1，并适用以下内容：
–针对在0至NumRefListLayers[nuh_layer_id]-1(包含)的范围内的i，适用以下内容：
–变量inCompRefViewIdcs[i]设置为等于ViewOrderIdx[RefPicLayerId[nuh_ layer_id][i]]。
–变量refCompLayerPresentFlag[i]设置为等于0。
Figure GDA0002428523220000081
–针对在0至MaxLayersMinus1(包含)的范围内的j，适用以下内容：
Figure GDA0002428523220000082
–当以下所有条件都为真时，refCompLayerPresentFlag[i]设置为等于1。
–direct_dependency_flag[LayerIdxInVps[nuh_layer_id]][j]等于1
–VpsDepthFlag[layer_id_in_nuh[j]]等于1
–ViewOrderIdx[layer_id_in_nuh[j]]等于ViewOrderIdx[IdRefListLayer[nuh_layer_id][i]]
–DependencyId[layer_id_in_nuh[j]]等于0
–AuxId[layer_id_in_nuh[j]]等于0
Figure GDA0002428523220000083
-变量depthOfRefViewsAvailFlag按以下规定导出：
-如果refCompLayerPresentFlag[i]等于1，则针对在0至NumRefListLayers[nuh_ layer_id]-1(包含)的范围内的所有i，depthOfRefViewsAvailFlag设置为等于1。
-否则，depthOfRefViewsAvailFlag设置为等于0。
-变量inCompPredFlag按以下规定导出：
inCompPredFlag＝depthOfRefViewsAvailFlag&&(
view_synthesis_pred_flag[DepthFlag]||
depth_based_blk_part_flag[DepthFlag]||
depth_refinement_flag[DepthFlag]) (I-12)
–否则(DepthFlag等于1)，适用以下内容：
–变量inCompRefViewIdcs[0]设置为等于ViewIdx。
–变量refCompLayerPresentFlag[0]设置为等于0。
–针对在0至MaxLayersMinus1(包括)的范围内的j，适用以下内容：
–当以下所有条件都为真时，refCompLayerPresentFlag[0]设置为等于1。
Figure GDA0002428523220000091
–direct_dependency_flag[LayerIdxInVps[nuh_layer_id]][j]等于1
–VpsDepthFlag[layer_id_in_nuh[j]]等于0
–ViewOrderIdx[layer_id_in_nuh[j]]等于ViewIdx
–DependencyId[layer_id_in_nuh[j]]等于0
–AuxId[layer_id_in_nuh[j]]等于0
-变量inCompPredFlag按以下规定导出：
inCompPredFlag＝refCompLayerPresentFlag[0]&&(
intra_contour_flag[DepthFlag]||
qt_pred_flag[DepthFlag]||mpi_flag[DepthFlag]))(I-12)
in_comp_pred_flag等于0表示当前画面的分量间预测所需的参考画面可能不存 在，并且当前画面的分量间预测被禁用。in_comp_pred_flag[i]等于1表示存在当前画面的 分量间预测所需的所有参考画面，并且当前画面的分量间预测被启用。当不存在时，in_ comp_pred_flag被推断为等于0。
当in_comp_pred_flag等于1时，以下内容适用于在0至(DepthFlag？0: NumRefListLayers[nuh_layer_id]-1)(包含)的范围内的i：
–比特流一致性的要求是，在DPB中存在PicOrderCntVal与当前画面的 PicOrderCntVal相等且具有nuh_layer_id值refNuhLayerId的画面，使得不等于 DepthFlag、ViewOrderIdx[refNuhLayerId]的VpsDepthFlag[refNuhLayerId]等于 inCompRefViewIdcs[i]，DependencyId[refNuhLayerId]等于DependencyId[nuh_layer_ id]，并且AuxId[refNuhLayerId]等于AuxId[nuh_layer_id]。
变量IvMvPredFlag、IvMvScalingFlag、SubPbSize、IvResPredFlag、ViewSynthesisPredFlag、DepthBasedBlkPartFlag、DepthRefinementFlag、MpiSubPbSize、IntraContourFlag、IntraSdcWedgeFlag、QtPredFlag、InterSdcFlag和DisparityDerivationFlag按如下规定导出：
...
ViewSynthesisPredFlag＝(nuh_layer_id>0)&&NumRefListLayers[nuh_layer_id]>0&&
view_synthesis_pred_flag[DepthFlag]&&in_comp_pred_flag
Figure GDA0002428523220000101
(I-16)
DepthBasedBlkPartFlag＝(nuh_layer_id>0)&&
depth_based_blk_part_flag[DepthFlag]&&in_comp_pred_flag
Figure GDA0002428523220000102
(I-17)
DepthRefinementFlag＝(nuh_layer_id>0)&&
depth_refinement_flag[DepthFlag]&&in_comp_pred_flag
Figure GDA0002428523220000103
(I-18)
MpiFlag＝(nuh_layer_id>0)&&mpi_flag[DepthFlag]&&in_comp_pred_flag
Figure GDA0002428523220000104
(I-19)
IntraContourFlag＝(nuh_layer_id>0)&&
intra_contour_flag[DepthFlag]&&in_comp_pred_flag
Figure GDA0002428523220000105
(I-21)
QtPredFlag＝(nuh_layer_id>0)&&qt_pred_flag[DepthFlag]&&in_comp_pred_ flag
Figure GDA0002428523220000106
(I-23)
...
通过回到关于3D-HEVC当前设计的问题的描述来说明与以下进一步关于本申请的第二方面描述的实施例有关的思想和优点，在下文中呈现被称为“解决方案2”的解决方案。
解决方案2通过以下操作解决第一个问题和第二个问题：
有条件地用信号通知每个参考分量层i的标志in_comp_pred_flag[i]，其中满足以下两项：a)存在于比特流中并且可用作包括当前画面的层的参考层；和b)根据包括在inCompRefViewIdcs中的视图
启用或禁用用于CU的工具，所述CU根据in_comp_pred_flag[x]需要特定参考分量层x的画面。
针对编码单元启用或禁用使用分量间预测的工具，如下所示：
–如果当前画面是深度画面，则参考分量是纹理。否则(当前画面是纹理画面)，参考分量是深度。
–当前画面的分量间预测可能需要的视图是从当前画面的VPS、SPS中的语法元素和切片首部导出的。以下，假设这些视图的索引包括在列表inCompRefViewIdcs中。
–针对在0至N-1的范围内的i，N表示inCompRefViewIdcs中的视图的数量，标志in_comp_pred_flag[i]如下导出：
–如果以下两个条件都为真，则从当前画面的切片首部中解析标志in_comp_pred_flag[i]：
–VPS信号中的语法元素，视图i的参考分量层存在于比特流中并且可用作用于包含当前画面的层的参考层。
–使用层间预测的一个或多个工具能够通过SPS和/或VPS启用标志针对包含当前画面的层被启用。
–否则，in_comp_pred_flag[i]不被解析，而被设置为等于0。
–针对在0至N-1的范围内的i，N表示inCompRefViewIdcs中的视图的数量，适用以下内容：
–当in_comp_pred_flag[i]等于1时，inCompRefViewIdcs中的第i视图的参考分量层的画面需要存在于当前画面的AU中。
–针对当前画面的当前CU启用或禁用使用分量间预测的特定工具，如下所示：
–如果以下两个条件都为真，则为当前画面的当前CU启用使用分量间预测的特定工具：
–标志in_comp_pred_flag[x]等于1，其中x具有如下值，所述值使得inCompRefViewIdcs[x]是用于当前CU的分量间预测的参考分量层的视图。
–通过SPS和/或VPS启用标志针对包含当前画面的层启用使用层间预测的特定工具。
–否则，使用分量间预测的特定工具针对当前画面的当前CU被禁用。
解决方案2解决了第一个问题和第二个问题。然而，与解决方案1相比，需要在切片首部中发出更多的比特。
让我们参考图5如下定义示例6。在inCompRefViewIdcs＝{2,1,0}中为每个视图导出标志in_comp_pred_flag，如下所示：因为在比特流中存在视图2(inCompRefViewIdcs[0])和视图1(inCompRefViewIdcs[1])的深度层，所以从当前画面的切片首部解析标志in_comp_pred_flag[0]和in_comp_pred_flag[1]。标志in_comp_pred_flag[2]设置为等于0，因为视图0(inCompRefViewIdcs[2])的深度层不存在于比特流中。
存在视图2(inCompRefViewIdcs[0])的深度层的画面。这通过使in_comp_pred_flag[0]的解析值等于1来指示，以使得对CU 0启用从深度进行的分量间预测。不存在视图0(inCompRefViewIdcs[2])的深度层的画面。这通过使in_comp_pred_flag[2]的推断值等于0来指示，以使得对CU 1禁用从深度进行的分量间预测。不存在视图1(inCompRefViewIdcs[1])的深度层的画面。这通过使in_comp_pred_flag[1]的解析值等于0来指示，以使得对CU2禁用从深度进行的分量间预测。
为了实现解决方案2，可以如下改变当前3D-HEVC规范的语法和语义。与当前3D-HEVC草案相比的更改再次被标记为下划线和删除线。
Figure GDA0002428523220000121
Figure GDA0002428523220000131
I.7.3.6.1一般的切片分段首部语法
条款F.7.4.7.1中的规范适用以下修改和补充。
变量DepthFlag设置为等于VpsDepthFlag[nuh_layer_id]，变量ViewIdx设置为等于ViewOrderIdx[nuh_layer_id]。
Figure GDA0002428523220000132
列表inCompRefViewIdcs[i]、refCompLayerPresent[i]和变量inCompPredFlag按 照下面的规定导出：
–如果DepthFlag等于0，则depthOfRefViewsAvailFlag设置为等于1，并适用以下条件：
针对在0至NumRefListLayers[nuh_layer_id]-1的范围内的i，包括以下内容：
Figure GDA0002428523220000133
–变量inCompRefViewIdcs[i]设置为等于ViewOrderIdx[RefPicLayerId[nuh_layer_id][i]]。
–变量refCompLayerPresentFlag[i]设置为等于0。
–针对在0至MaxLayersMinus1(包括)的范围内的j，适用以下内容：
Figure GDA0002428523220000134
–当以下所有条件都为真时，refCompLayerPresentFlag[i]设置为等于1。
–direct_dependency_flag[LayerIdxInVps[nuh_layer_id]][j]等于1
–VpsDepthFlag[layer_id_in_nuh[j]]等于1
–ViewOrderIdx[layer_id_in_nuh[j]]等于ViewOrderIdx[IdRefListLayer[nuh_layer_id][i]]
–DependencyId[layer_id_in_nuh[j]]等于0
–AuxId[layer_id_in_nuh[j]]等于0
Figure GDA0002428523220000141
-变量inCompPredFlag按以下规定导出：
inCompPredFlag＝(view_synthesis_pred_flag[DepthFlag]||
depth_based_blk_part_flag[DepthFlag]||depth_refinement_flag [DepthFlag])(I-12)
-否则(DepthFlag等于1)，适用以下内容：
–变量inCompRefViewIdcs[0]设置为等于ViewIdx。
–变量refCompLayerPresentFlag[0]设置为等于0。
–针对在0至MaxLayersMinus1(包括)的范围内的j，适用以下内容：
–当以下所有条件都为真时，refCompLayerPresentFlag[0]设置为等于1。
Figure GDA0002428523220000142
–refCompLayerPresentFlag[0]等于0。
–direct_dependency_flag[LayerIdxInVps[nuh_layer_id]][j]等于1
–VpsDepthFlag[layer_id_in_nuh[j]]等于0
–ViewOrderIdx[layer_id_in_nuh[j]]等于ViewIdx
–DependencyId[layer_id_in_nuh[j]]等于0
–AuxId[layer_id_in_nuh[j]]等于0
-变量inCompPredFlag按以下规定导出：
inCompPredFlag＝intra_contour_flag[DepthFlag]||
qt_pred_flag[DepthFlag]||mpi_flag[DepthFlag])(I-12)
in_comp_pred_flag[i]等于0表示当前画面的分量间预测所需的ViewIdx等于 inCompRefViewIdcs[i]的视图的参考画面可能不存在，并且从ViewIdx等于 inCompRefViewIdcs[i]的视图的参考画面进行的当前画面的分量间预测被禁用。in_comp_ pred_flag[i]等于1表示存在当前画面的分量间预测所需的ViewIdx等于 inCompRefViewIdcs[i]的视图的参考画面，并且从ViewIdx等于inCompRefViewIdcs[i]的 视图的参考画面进行的当前画面的分量间预测被启用。当不存在时，in_comp_pred_flag [i]被推断为等于0。
以下内容适用于在0至(DepthFlag？0:NumRefListLayers[nuh_layer_id]-1)(包 含)的范围内的i：
–当in_comp_pred_flag[i]等于1时，比特流一致性的要求是，在DPB中存在 PicOrderCntVal与当前画面的PicOrderCntVal相等且具有nuh_layer_id值refNuhLayerId 的画面，使得不等于DepthFlag、ViewOrderIdx[refNuhLayerId]的VpsDepthFlag [refNuhLayerId]等于inCompRefViewIdcs[i]，DependencyId[refNuhLayerId]等于 DependencyId[nuh_layer_id]，并且AuxId[refNuhLayerId]等于AuxId[nuh_layer_id]。
变量IvMvPredFlag、IvMvScalingFlag、SubPbSize、IvResPredFlag、ViewSynthesisPredFlag、DepthBasedBlkPartFlag、DepthRefinementFlag、MpiSubPbSize、IntraContourFlag、IntraSdcWedgeFlag、QtPredFlag、InterSdcFlag和DisparityDerivationFlag按如下规定导出：
...
ViewSynthesisPredFlag＝(nuh_layer_id>0)&&NumRefListLayers[nuh_layer_id]>0&&view_synthesis_pred_flag[DepthFlag]
Figure GDA0002428523220000151
Figure GDA0002428523220000152
(I-16)
DepthBasedBlkPartFlag＝(nuh_layer_id>0)&&depth_based_blk_part_flag[DepthFlag]
Figure GDA0002428523220000153
(I-17)
DepthRefinementFlag＝(nuh_layer_id>0)&&depth_refinement_flag[DepthFlag]
Figure GDA0002428523220000161
(I-18)MpiFlag＝(nuh_layer_id>0)&&mpi_flag[DepthFlag]
Figure GDA0002428523220000162
(I-19)IntraContourFlag＝(nuh_layer_id>0)&&intra_contour_flag[DepthFlag]
Figure GDA0002428523220000163
(I-21)
QtPredFlag＝(nuh_layer_id>0)&&qt_pred_flag[DepthFlag]
Figure GDA0002428523220000164
Figure GDA0002428523220000165
(I-23)
...
令maxViewIdx为比特流中所有层的ViewIdx的最大值。
针对在0至maxViewIdx-1(包含)的范围内的v，inCompPredEnabledFlag[v]设置为 等于0。
针对在0至(DepthFlag？0：NumRefListLayers[nuh_layer_id]-1)(包含)的范围内 的i，当in_comp_pred_flag[i]等于1时，inCompPredEnabledFlag[inCompRefViewIdcs[i]] 设置为等于1。
在CU级，当以下一个或多个条件为真时，使用从具有ViewIdxA的视图的特定参考 画面进行的分量间预测的特定工具被禁用：
–inCompPredEnabledFlag[ViewIdxA]等于0。
–相应的切片级工具启用标志等于0。(例如，用于MPI的MpiFlag)
通过测试这两个条件直接完成禁用，或通过要求从CU解析的潜在工具启用标志等 于0来间接地完成禁用。
图6示出了根据本申请的第一方面的3D视频解码器10。3D视频解码器包括视频解码核心12和分量间预测开关14。视频解码核心12被配置为从数据流18解码视频16的层序列。每个层由画面20的时间序列组成，它们在图6中被图示为矩形。在图6中，沿着时间轴，这些层被示出为一个层在彼此登记的另一个层之上，图6示例性地示出了四个层L0、L1、...、Li和Li+1，但是层的数量不限于任何具体数字。每个层与视频16的视图集合中的特定视图V#的纹理(T)和深度(D)之一相对应。例如，图6示出了层L0属于视图V1的纹理，层L1属于视图V1的深度，层Li属于Vj的纹理，层Li+1属于视图Vj的深度。视图的数量例如可以是大于1的任何数字，并且应当注意，例如，针对视频16中包含的视图集合ΩV中的每个视图不需要存在两个层，其中一个与相应视图的纹理相关，另一个与相应视图的深度相关。例如，针对集合ΩV中的每个视图，视频16可以包含一个纹理层，而视频16中的层序列不包括针对该视图的任何深度相关层。
因此，每个层的画面是纹理画面或深度画面或深度图。在图6中示例性地示出了属于相同时间戳T(四个连续时间戳T1至T4)的各个层的画面，在数据流18中形成一个访问单元。然而，应当注意的是，每个层不用针对每个时间戳具有被编码到数据流18中的画面。因此，例如，可能存在其中表示深度的深度层之一缺少相应时间戳的画面的时间戳。缺少这种画面的原因可能是多方面的，并且包括例如各个层之间的不同时间分辨率或画面间距等。
因此，以迄今为止概述的方式，视频三维地表示以下场景，所述场景使用表示例如与场景被捕获的不同视点相对应的不同视图Vj中的场景的层。深度相关层或表示深度的层在相应视图处提供该场景的深度信息，并且因此，表示纹理的层的画面表示在相应视图处的场景的空间采样，其中样本对应于亮度和/或色度或光亮度和/或彩度，并且与深度相关层相对应的画面表示从与深度值相关的样本的相应视图中看到的场景的深度的空间采样。关于不同层的画面的空间分辨率，根据实施例，可以彼此相同。然而，根据备选方案，允许不同层的画面的不同空间分辨率。
视频16被编码为数据流18，并且视频解码器核心12通过遵循在视频16的画面20之间定义的解码顺序对视频16进行解码。解码顺序确保当前解码/编码的画面仅依赖于已经根据解码顺序被遍历的画面的信息。根据解码顺序，在对另一个时间戳的画面进行编码/解码之前，在/从数据流18中对一个时间戳的画面进行编码/解码，其中在一个时间戳内，解码顺序沿着层ID(即，沿着层的相继顺序)遍历属于该时间戳的各个层的画面。如图6所示，例如，解码顺序可以以这样的方式遍历各层：在相同视图的相应纹理相关层之后，分别根据相继层顺序或解码顺序对特定视图Vj的深度相关层进行遍历。除此之外，相继顺序或解码顺序可以使得属于一个视图Vj-1的层在另一视图Vj的层被编码/解码之前被编码/解码。
此外，视频16以画面20的编码单元为单位被编码成数据流18，并且视频解码核心12相应地被配置为以画面20的编码单元为单位从数据流解码视频16的层序列。换句话说，编码单元20被细分为编码单元。例如，所述细分可以定期地对画面20进行空间细分，从而导致编码单元22的行和列。备选地，编码单元22可以表示画面20的空间递归多树细分的叶节点。事先，画面20可以被预先细分为以列和行规则排列的树根块，使得编码块20表示树根块的多树细分的叶块。编码单元可以根据视频编解码器所支持的不同模式中的一种被编码为数据流18，并且因此视频解码核心12可以被配置为针对每个编码单元22以数据流18中指示的模式对这些模式之一中的编码单元进行解码。编码模式可以使用层间预测，其中基于另一层(即，在层或解码顺序之前的层)对一个编码单元22进行预测。可以使用层内预测来对一些其他编码单元进行编码，例如，使用基于相同层但在解码顺序中靠前的画面的空间预测或时间预测。根据一些编码模式，预测可以从一个视图到另一视图。例如，可以基于另一视图的纹理层来预测一个视图的一个纹理层的编码单元，并且其同样适用于深度层。视频解码核心12不是仅支持从表示不同视图的纹理的层进行的视图间纹理预测。相反，视频解码核心12还允许如下编码模式：基于另一视图的深度层来预测特定的纹理层的编码单元22。这里，预测跨越视图和分量边界二者。可选地，视频解码核心12还可以支持如下编码模式，根据该编码模式，基于相同视图的纹理层对深度层的画面的编码单元进行分量间预测。
如下面更详细地描述的，分量间预测开关14的任务是向视频解码核心12通知从表示深度且属于不同视图的层对纹理层的编码单元进行的深度到纹理预测的启用/禁用。然而，在详细描述情况之前，参考图7，其示出了与图6的解码器相配的3D视频编码器。图7的3D视频编码器通常使用附图标记100来表示。图7的3D视频编码器100包括视频编码核心112和分量间预测开关114，视频编码核心112被配置为使用与上面描述的视频解码核心12所用的相同的预测将视频16的层序列解码为数据流18，并且以下面概述的方式，分量间预测开关114将数据流18内的标志传送给解码器10的开关14，使得就针对特定编码单元的深度到纹理预测的应用或不应用而言，编码核心112/解码核心12的操作模式被同步。
在详细讨论开关14和114的操作和协作的模式之前，提供如何在编码核心112/解码核心12中实现视图到纹理预测的示例。
图8a示出了例如编码核心112/解码核心12可以被配置为在将深度到纹理预测应用于这里位于对当前视图VC的纹理加以表示的层Lj的画面中的编码单元22时，从对参考视图Vr≠VC的深度加以表示的层Li(i<j)的画面的视差对应部分50导出编码单元22的分区。包括当前编码单元22和对应部分50的画面20所参考的时间戳可以是相同的。例如，部分50可以通过以下操作而位于参考层Li的画面20内：通过借助于编码核心112/解码核心12可基于层Li的画面20的深度值或其他视图的一些其他层的深度值而导出的视差矢量来相针对在图8a中由虚线52指示的层Li的画面20中的编码单元22的共同位置对部分50进行移位，或者通过从应用于层Lj的画面20的部分到与当前编码单元22相邻的部分的视差矢量对视差进行空间预测。可以使用部分50内的深度值的阈值，以便从其中导出部分50的双分区，并且该双分区可以通过编码核心112/解码核心12被转移到编码单元22上或被复制到编码单元22上，如箭头54所示，以将编码单元22划分成两个分区22a和22b。然而，也可以应用多于两个分区的划分。在任何情况下，解码核心12/编码核心112可随后例如通过对这些分区应用单独的运动信息或单独的运动矢量来使两个分区22a和22b经历单独的预测，以便对编码单元22的内容进行帧间预测。通过单独预测分区22a和22b而获得的该预测信号的残差信号可以通过编码单元112被编码为用于编码单元22的数据流18，并且通过解码核心112从数据流被解码并添加到预测信号上。代替帧间预测，分区22a和22b(并且因此编码单元22)可以经受另一种预测信号导出。例如，可以使用分区22a和22b的空间预测，对分区22a和22b应用单独的帧内预测方向，以形成用于编码单元22的预测信号。备选地，可以通过编码核心112经由数据流18来传送单独的参数，以分别合成分区22a和22b的内容，以形成用于编码单元22的预测信号。
附加地或备选地，图8b示出了编码核心112/解码核心12可以在对编码单元22应用深度到纹理预测时，从层Li的深度参考画面20的视差对应部分导出用于对当前编码单元22进行编码/解码的运动矢量。例如，核心12/112可以提供用于对编码单元22进行编码/解码的运动矢量的列表，并且根据该列表56，可以从参考层的对应部分50导出至少一个运动矢量候选。该推导由箭头58示出。代替获得(58)运动矢量，可以以这种方式导出用于编码单元22的视差矢量，其中编码单元在这种情况下是通过基于另一视图的纹理画面的视差补偿预测所预测的帧间预测编码单元。编码核心112可以在数据流18内明确地将索引传送到列表56中，或者可以使用固有信号化来导出用于编码单元22的运动/视差矢量的最终预测。运动矢量和视差矢量通常可以在列表56中被处理。
如上所述，以下提出的描述分别集中于由开关14/114对深度到纹理预测的启用/禁用，其中在开关14/114的这种控制下，解码核心12/编码核心112对编码单元22应用或不应用深度到纹理预测。在不应用深度到纹理预测的情况下，编码单元22例如可以被划分为相同数量的分区22a和22b，例如通过竖直或水平地平分编码单元22简单地将编码单元划分为具有相同大小和形状的分区22a和22b。在图8b的情况下，通过解码核心12/编码核心112对编码单元22的非深度到纹理预测备选处理可以形成列表56，而无需从部分50导出的矢量候选的任何贡献，从而预测编码单元22的运动/视差矢量，而无需层Li的任何帮助。
综上所述，直到现在，已经对编码核心112/解码核心12的操作模式的示例进行了说明。关于图8a和图8b，已经提供了关于在对当前视图的纹理层的特定编码单元20应用深度到纹理预测的情况下解码核心/编码核心可以如何操作的示例。也已经描述了在不对编码单元22应用深度到纹理预测的情况下解码核心/编码核心可以如何操作的示例。在下文中，描述了开关14/114的一个实施例，其允许解码核心12/编码核心112同步地决定对当前编码单元22应用还是不应用深度到纹理预测。
参考图9。图9示出了包括第一参数集合70和第二参数集合72的数据流18，其中第二参数集合72通过分量间预测开关114插入到数据流18中，并且在解码侧由开关14读取。两个集合都与诸如图8a和图8b的编码单元22之类的当前编码单元所属于的当前画面相关联。第一参数集合可以例如具有超出当前画面的画面边界的范围或有效性。例如，第一参数集合70可以涉及视频的时间部分，例如包括当前画面的画面序列或甚至整个视频。从关于3D-HEVC的讨论中变得清楚的是，在数据流是3D-HEVC数据流的情况下，第一参数集合70可以例如被包括在数据流18的VPS中。针对第一参数集合70所涉及的视频16的时间部分，第一参数集合70指示，并且解码器10的开关14基于其导出，针对当前纹理层的当前画面，表示纹理的层的参考层集合74。针对集合74的推导，该指示可以包括，并且相应地开关14/114可以使用，与当前画面的时间戳相对应的当前画面P的时间ID。针对参数集合70所涉及的视频16的时间部分，第一参数集合70还指示表示深度的层的深度参考层集合76。开关14/144不需要实际推导出集合76。相反，从随后的描述中将清楚的是，如果开关14/144能够检查某个深度层是否是集合76的成员就足够了。通常，集合74包括参考视图Vr#的纹理层，其层索引小于对当前视图VC的纹理进行参考或表示的层，并且集合76包含除当前视图VC之外的视图Vr#的相关深度层，其层索引也是当前画面所属于的当前视图的纹理层的层索引的层。也就是说，第一参数集合70通常指示各层之间的层间依赖性，并且具体指示用作当前画面的当前层的参考的参考层。作为附注，指出了针对纹理到深度预测启用/禁用控制，哪个开关14/144备选地或另外地对相关纹理层可以在相同视图VC中承担责任。还要注意，基于参数集合70对集合76的推导还可以涉及对当前画面特有的参数，例如当前画面的时间ID，在这种情况下，后一个参数可以被解释为属于参数集合70，然后具有画面范围，或者基于参数集合70对集合76的推导可以被解释为不仅依赖于参数集合70，还依赖于另外的画面特定参数。另外，应该提到的是，可以基于参数76仅以这样一种方式导出集合76，该方式使得集合76仅包括纹理层被包括在集合74内的视图的深度层。在集合74中没有相同视图的纹理层的其他深度层可以不包括在集合76中。
第二参数集合72还涉及当前画面或当前画面的一部分。例如，第二参数集合72可以仅对当前画面的切片或整个当前画面有效。针对当前画面的当前编码单元，第二参数集合72指示，并且解码器10的开关14从其中导出，纹理层的选定纹理参考层集合78。集合78从集合74中选择，并且因此是集合74的子集，但不一定是集合74的合适子集。例如，可以要求集合78内的层包括当前画面的时间戳处的画面，因为例如后者的画面可以用作视图间纹理预测的参考基准。也就是说，集合78的层的当前画面的时间戳画面表示除当前画面的编码单元所参考的当前视图之外的视图的画面，或者例如可以通过视差补偿视图间纹理预测来预测第二参数集合72所参考的当前部分的部分。然而，作为附注，应当提及的是，在例如从纹理到深度的轮廓预测的情况下，其中不存在视图间深度预测，而是仅从纹理到深度的分量间预测，78可以仅包括当前画面本身。
根据针对图9概述的实施例，标志80仅在有条件的基础上由数据流18包括。也就是说，与当前编码单元22相关的标志80、包含当前编码单元的切片或包含当前编码单元的当前画面由开关114在有条件的基础上插入到数据流18中并且由开关14在有条件的基础上从数据流18读取。标志80存在于数据流18中的条件取决于潜在可用且因此需要的一方面深度层集合82和另一方面深度参考层集合76的交集。集合82是准深度层集合，其具有用于集合78的每个纹理层的一个深度层，即，用于集合78包括纹理层的每个参考视图的深度层。集合82中的层仅仅是由数据流18包括的“潜在可用”或推定层，因为数据流18不一定包括用于集合78包括相应纹理层的每个参考层的深度层。然而，即使集合82的每个成员，即集合82的推定深度层中的每一个，被第一参数集合70所指示的深度参考层集合76所包括，这种情况对应于交集等于潜在可用的集合82的情况，也不清楚针对集合82中的这些层中的每一个或针对交集的每个层，是否存在具有与当前编码单元的当前纹理画面的时间戳相对应的时间戳的相应深度画面，并且相应地，标志80被数据流18所包括以指示深度到纹理预测被启用还是被禁用。根据图9的实施例，如果标志80不存在于数据流18中，则由于并非集合82的每个层都被集合76包括，所以很明显，集合82中的至少某些层不具有数据流18中的任何画面，使得标志80未由开关114插入到数据流中，并且未由开关14从数据流读取，而是该标志的值由开关14推断，以分别指示用于当前画面、当前切片或当前编码单元的深度到纹理预测的禁用。
根据一个实施例，如果存在于数据流18中，则编码器100的开关114将标志80设置为每当给出与潜在可用的集合82的前述交集的相等性并且针对该交集和集合82中这些层中的每个层，存在数据流18中存在的在时间戳上与当前画面一致的画面时指示启用深度到纹理预测的值，否则设置为指示禁用深度到纹理预测的值。然而，备选地，开关114或3D视频编码器100可以决定在如存在于数据流18中的标志80内用信号通知对当前画面、当前切片或当前编码单元的深度到纹理预测的禁用，即使当前画面的时间戳的集合82和交集的所有画面被编码到数据流18中并且因此深度到纹理预测可能被启用。
应当注意的是，不需要在交集中的层的层ID被收集在操作数数组中的意义上明确地导出交集。例如，如果集合76和82中的任一个的层被通过以确定与集合82和76的交集的相等性就足够了。如果集合82被通过，则甚至可能集合76不被完全导出或由开关14/144确定就足够了。相反，检查集合82的每个成员是否在76内就足够了。
还应当注意的是，附加的另一标志84可以可选地存在于数据流18中，即可以由3D视频编码器100插入数据流18中并由3D视频解码器10从数据流18读取，3D视频解码器10完全禁用或启用深度到纹理预测，使得标志80的整个条件插入/读取将取决于另一标志84：由标志84控制，如果标志84这样指示，则深度到纹理预测将不可避免地被禁用，并且只有在通过标志84发出启用的情况下，标志80的条件插入/读取才会发生。
再次，核心12/122可以另外支持纹理到深度预测，并且开关14/144可以另外控制纹理到深度预测。根据备选实施例，核心12/122仅支持纹理到深度预测，并且开关14/144仅控制纹理到深度预测，即，不涉及深度到纹理预测的功能。到目前为止，刚刚概述的功能将导致包括视频解码核心12和分量间预测开关(14)的3D视频解码器，该视频解码核心被配置为使用层内预测来从数据流解码视频的层序列，每个层表示多个视图中的相应的一个视图的深度或纹理，该视频解码核心针对表示当前视图的深度的层支持根据表示不同视图的深度的层的预测和根据表示纹理的层的纹理到深度预测，该分量间预测开关被配置为：
从数据流读取第一参数集合，第一参数集合涉及视频的与表示当前视图的深度的层的当前画面的时间戳有关的时间部分，
如果一方面表示一个或多个视图的纹理的一个或多个层的潜在可用集合和另一方面表示通过第一参数集合确定的纹理的层的纹理参考层集合的交集等于潜在可用的集合，所述一个或多个视图的深度由表示当前视图的深度的层来表示，则从数据流读取标志，所述标志与当前画面或当前画面的一部分相关，并指示针对当前画面或当前画面的所述部分内的编码单元是启用还是禁用纹理到深度预测，
如果所述交集不等于所述潜在可用集合，则将与当前画面或当前画面的所述部分内的编码单元相关的所述标志推断为指示针对所述编码单元禁用纹理到深度预测，
其中，所述视频解码核心被配置为响应所述标志，以根据所述标志来对当前画面或当前画面的所述部分内的编码单元中的当前编码单元应用或不应用纹理到深度预测。
相应的3D视频编码器将包括视频编码核心和分量间预测开关，该视频编码核心被配置为使用层内预测将视频的层序列编码为数据流，每个层表示多个视图中的相应的一个视图的深度或纹理，视频解码核心为针对表示当前视图的深度的层支持根据表示不同视图的深度的层的预测和根据表示当前层的深度的层的纹理到深度预测，该分量间预测开关被配置为：
将第一参数集合插入数据流中，第一参数集合涉及视频的与表示当前视图的深度的层的当前画面的时间戳有关的时间部分，并且针对当前画面指示表示纹理的层的纹理参考层集合，
如果一方面表示一个或多个视图的纹理的一个或多个层的潜在可用集合和另一方面纹理参考层集合的交集等于潜在可用的集合，所述一个或多个视图的深度由表示当前视图的深度的层来表示，则决定针对当前画面或当前画面的一部分内的编码单元是启用还是禁用纹理到深度预测，并且将标志插入数据流中，所述标志与当前画面或当前画面的一部分相关，并指示针对当前画面或当前画面的所述部分内的编码单元是启用还是禁用纹理到深度预测，以及
其中，所述视频编码核心被配置为根据针对所述当前编码单元启用或禁用深度到纹理预测，针对当前画面或当前画面的所述部分内的编码单元中的当前编码单元应用或不应用纹理到深度预测。
尽管编码核心112/解码核心12可以将深度到纹理预测应用于由开关14/114和可选地另一标志84启用深度到纹理预测的任何编码单元，但是3D视频编码器100可以备选地例如针对速率失真测量等来设置单独地用于经由开关114理论上启用深度到纹理预测的每个编码单元的语法元素90，并将相应编码单元的语法元素90插入数据流18中。这在图10中示出。类似地，开关14将根据针对特定编码单元是否由标志80理论上启用深度到纹理预测来从数据流18读取语法元素90，以便确定针对相应编码单元实际上是否将应用深度到纹理预测。
应当注意，图10所示的选项涉及3D视频编码器根据一些速率/失真优化方案来决定编码单元是否单独地将深度到纹理预测应用于经由标志80启用深度到纹理预测的编码单元中的相应编码单元。该决定经由语法元素90单独地发信号通知给编码单元。如上所述，标志80可以由开关114设置，而无需任何进一步的权重/失真优化目的，而是仅仅取决于集合82中的还需要存在于集合76中的每个层是否包括具有当前画面的时间戳的画面。然而，后一种情况取决于第一参数集合70和第二参数集合72。这些参数集合又可以是用户设置的结果或用户设置和速率/失真优化的混合。
图11a至图11c示例性地示出了图6至图10的实施例如何可以内置于3D-HEVC中，其中该图示与图6至图10的实施例之间的一致性通过重新使用后面附图的附图标记来提供。
换句话说，针对图6至图10，以下描述了3D视频解码器，包括：视频解码核心，例如，3D-HEVC核心，被配置为以画面的编码单元为单位使用诸如时间(运动补偿)预测或空间预测之类的层内预测来从数据流解码视频的层序列，每个层表示多个视图中的相应视图的深度或纹理，该视频解码核心针对表示纹理的层支持根据表示不同视图的纹理的层的视图间纹理预测(例如视差补偿预测)和根据表示深度的层的深度到纹理预测，
分量间预测开关，被配置为：
从数据流读取例如VPS中的超画面范围参数集合，所述超画面范围参数集合与视频的时间部分(例如，整个视频)有关，包含当前画面的时间戳，并且针对表示纹理的当前层的当前画面从中导出表示纹理的层的纹理参考层集合(例如，TRL)和与深度相关的层的深度参考层集合(例如，DRL)，
从数据流读取画面范围或更精细的范围参数集合，例如切片首部，所述画面范围或更精细的范围参数集合与当前画面的一部分(例如，切片或画面)(更准确地说：所述“部分”可以大于编码单元，因此，实际上对可能包括在诸如切片的部分中的所有CU执行该推导，其中这些CU还包括预定的即当前处理的CU)有关，并且针对当前画面的所述部分包含的当前画面的当前编码单元从其导出纹理参考层集合中表示纹理的层的所选择的纹理参考层集合(例如，TRLs cPic)，所选择的纹理参考层集合的每个层包括例如并且通过来自当前画面的所述部分的视图间纹理预测的方式被参考的当前画面的时间戳处的画面，并且基于所选择的纹理参考层集合，一方面表示视图(其纹理由所选择的纹理参考层集合中的任何一个来表示)的深度的层的潜在可用集合(例如，inCompRefViewIdc)和另一方面深度参考层集合的交集(参见“深度参考层...也包括在...”)，
如果交集等于潜在可用的集合(该集合也可以被命名为“分量间预测中可能参考并表示视图深度的层集合”)，则从数据流读取标志(例如，in_comp_pred_flag)，所述标志至少与当前编码单元有关(“至少”并且例如包括该CU的整个切片/部分/画面，即，该标志可以专门针对CU被发送，或者针对包括CU的一些较大部分被发送，例如针对“当前画面的部分”，即在画面范围或更精细的范围参数集合中)，并指示针对当前编码单元是启用还是禁用深度到纹理预测，以及
如果交集不等于潜在可用的集合，则将至少与当前编码单元相关的标志推断(即，跳过读取标志)为指示针对当前编码单元禁用深度到纹理预测，
其中，所述视频解码核心被配置为响应所述标志，以便根据所述标志来对当前编码单元应用(例如，除了诸如针对层内预测残差的层内预测之外)或不应用深度到纹理预测。
编码单元可以是预测单元。
只可对一个预测列表禁用分量间预测。
所选择的纹理参考层可以隐含地等于纹理参考层集合，而无需解析更精细的范围参数集合。
分量间预测可涉及运动矢量、视差矢量、深度分割模式的推导。
当标志为0时，使用分量间预测的工具/模式可能不可用，因此不能发出信号。
当标志为0时，工具/模式可以使用默认值，而不是从分量间预测导出的值。
纹理和深度可以交换。
所选择的纹理参考层集合可以被隐含地导出为仅包含当前画面的层。
可能需要交集中的所有层的所有深度画面(或针对解决方案2，交集中标志等于1的所有层)存在于AU中。
分量间预测的启用可以另外取决于对针对比特流启用使用分量间预测的工具加以指示的标志。
标志的存在还可以取决于对针对比特流启用使用分量间预测的工具加以指示的标志。
图12通过示出开关14/114的备选操作模式示出了图6和图7的3D视频解码器/编码器的备选实施例。图12的实施例涉及本申请的第二方面。这里，第一参数集合70和第二参数集合72被数据流包括并且被开关14/114像之前一样使用，而不是仅在集合76和82之间的交集95等于集合82的情况下有条件地在数据流18中消耗标志80，图12的实施例涉及开关114按交集95的每层插入标志97。根据本实施例，针对集合82的每个深度层单独进行深度到纹理预测是可行的，使得针对第二参数集合72所涉及的编码单元，例如当前画面的所有编码单元，至少针对数据流18中的相应标志92用信号告知启用的交集95的深度参考层可以应用深度到纹理预测。集合82的所有其他层，即，不被集合76包括或还被集合76包括但相应标志97用信号告知禁用的所有层，都不可用于深度到纹理预测，直到第二参数集合72所涉及的编码单元，并且相应地针对这些层禁用深度到纹理预测。
换句话说，针对以上各图，以下描述了3D视频解码器，包括：视频解码核心，例如，3D-HEVC核心，被配置为以画面的编码单元为单位使用诸如时间(运动补偿)预测或空间预测之类的层内预测来从数据流解码视频的层序列，每个层表示多个视图中的相应视图的深度或纹理，该视频解码核心针对表示纹理的层支持来自表示不同视图的纹理的层的视图间纹理预测(例如，视差补偿预测)和来自表示深度的层的深度到纹理预测，
分量间预测开关，被配置为：
从数据流读取例如VPS中的超画面范围参数集合，所述超画面范围参数集合与视频的时间部分有关，并且针对表示纹理的当前层的当前画面从中导出所述时间部分所包含的时间戳、表示纹理的层的纹理参考层集合(例如，TRL)和与深度相关的层的深度参考层集合(例如，DRL)，
从数据流读取画面范围或更精细的范围参数集合，例如切片首部，所述画面范围或更精细的范围参数集合与当前画面的一部分(例如，切片或画面)有关，并且针对当前画面的所述部分包含的当前画面的当前编码单元从其导出纹理参考层集合中表示纹理的层的所选择的纹理参考层集合(例如，TRLs cPic)，所选择的纹理参考层集合的每个层包括例如并且通过来自当前画面的所述部分的视图间纹理预测的方式被参考的当前画面的时间戳处的画面，并且基于所选择的纹理参考层集合，一方面表示视图(其纹理由所选择的纹理参考层集合中的任何一个来表示)的深度的层的潜在可用集合(例如，inCompRefViewIdc)和另一方面深度参考层集合的交集(参见“深度参考层...也包括在...”)，
从数据流按交集的每层读取标志(例如，in_comp_pred_flag)，所述标志至少与当前编码单元相关(“至少”并且例如包括该CU的整个切片/部分)，并且指示针对当前编码单元是启用还是禁用使用相应层作为深度到纹理预测参考的深度到纹理预测，以及
其中，所述视频解码核心被配置为响应所述交集的层的所述标志，以便根据所述标志来对当前编码单元应用(例如，除了诸如针对层内预测残差的层内预测之外)或不应用使用所述交集的一个或多个层作为深度到纹理预测参考的深度到纹理预测。针对不包含在交集中的潜在可用集合的任何层，至少与当前编码单元相关的相应标志可以被推断为指示针对当前编码单元禁用使用相应层作为深度到纹理参考的深度到纹理预测，并且所述视频解码核心将被配置为相应地不应用使用未包含在交集中的潜在可用集合的任何层的深度到纹理预测。实际使用哪个深度参考层，可以在CU级导出或确定。这可能取决于纹理CU的相邻块的编码。例如，在使用视图间预测的相邻块的情况下，可以使用该相邻块所参考的视图。
编码单元可以是预测单元。
只可对一个预测列表禁用分量间预测。
纹理参考层可以隐含地等于纹理参考层集合，而无需解析更精细的范围参数集合。
分量间预测可涉及运动矢量、视差矢量、深度分割模式的推导。
当标志为0时，使用分量间预测的工具/模式可能不可用，因此不能发出信号。
当标志为0时，工具/模式可以使用默认值，而不是从分量间预测导出的值。
纹理和深度可以交换。
所选择的纹理参考层集合可以被隐含地导出为仅包含当前画面的层。
可能需要交集中的所有层的所有深度画面(或针对解决方案2，交集中标志等于1的所有层)存在于AU中。
分量间预测的启用可以另外取决于对针对比特流启用使用分量间预测的工具加以指示的标志。
标志的存在还可以取决于对针对比特流启用使用分量间预测的工具加以指示的标志。
再次针对图13和图14示出用于从深度到纹理进行预测的分量间参考层的推导。
在图13中，示出了当前层的分量间预测所需的层的推导。
图13是当前设计和解决方案1的示例。TRL:纹理参考层，DRL:深度参考层，cPic:当前画面，ICP:分量间预测
TRL比特流:在VPS中用信号通知的当前层的纹理参考层。
DRL比特流:在VPS中用信号通知的当前层的深度参考层。
TRLs cPic:用于当前画面的纹理参考层。SH中指示的TRL比特流的子集。(必须是具有包括在当前AU中的画面的TRL比特流的子集层，也可以等于TRL比特流。)
inCompRefViewIdc:包括TRLs cPic中所包括的所有层的视图的列表。
cPic的ICP潜在需要的DRL:inCompRefViewIdc中的视图的深度层。其中的一些可能不存在。
DRLs cPic:来自“cPic的ICP潜在需要的DRL”的深度参考层，其也包括在DRL比特流中。(因此只有可用且存在的DRL)。
用于CU的TRL:当前CU使用的纹理参考层。CU选择的TRLs cPic中的语法元素。
用于CU的ICP所需的DRL:包括用于CU的TRL的视图的深度层。
在当前的3D-HEVC设计中，只有当“cPic的ICP潜在需要的DRL”等于DRL cPic时，才能对画面启用分量间预测。
根据解决方案1，当“cPic的ICP潜在需要的DRL”等于“DRLs cPic”时，在切片首部中发出单个标志，以指示是否对画面启用残差预测。因此，当用于一个或多个CU的层“用于CU的ICP所需的DRL”的画面不在“DRL cPic”中时，可以对整个切片禁用分量间预测。当“cPic的ICP潜在需要的DRL”不等于“DRL cPic”时，对画面禁用残差预测。
根据解决方案2，对于“DRLs cPic”中的每个层，在SH中发出标志，以指示该层的画面是否包括在当前AU中。如果这是真的，则该层包括在“DRLs cPic 2”中。只有当“用于CU的ICP所需的DRL”处于“DRL cPic 2”中时，才在CU级启用分量间预测。
为了完整起见，还要注意的是，从JCT3V-G0048已知另外的备选方法。其在图14中示出：
DRLs比特流:在VPS中用信号通知的当前层的深度参考层。
DRLs cPic:SH中指示的DRL比特流的子集。(必须是具有包括在当前AU中的画面的DRL比特流的子集层。当全部被包括时，也可以等于DRL比特流。)
只有当“用于CU的ICP所需的DRL”处于“DRL cPic”中时，才在CU级启用分量间预测。
虽然已经在装置的上下文中描述了一些方面，但是将清楚的是，这些方面还表示对应方法的描述，其中，块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。可以由(或使用)硬件装置(诸如，微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中，可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。
本发明的编码数据流或信号可以存储在数字存储介质上，或者可以在诸如无线传输介质或有线传输介质(例如，互联网)等的传输介质上传输。已经描述了将某些信息插入或编码到数据流中，同时将该描述理解为以下公开：所得到的数据流包括相应信息、标志的语法元素等。
取决于某些实现要求，可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现，该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该电子可读控制信号能够与可编程计算机系统协作从而执行本文所述的方法之一。
通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的计算机程序，该计算机程序用于执行本文所述的方法之一。
换言之，本发明方法的实施例因此是具有程序代码的计算机程序，该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
因此，本发明方法的另一实施例是包括其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质)，该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。
因此，本发明方法的另一实施例是表示计算机程序的数据流或信号序列，所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如，经由互联网)传送。
另一实施例包括处理装置，例如，配置为或适用于执行本文所述的方法之一的计算机或可编程逻辑器件。
另一实施例包括其上安装有计算机程序的计算机，该计算机程序用于执行本文所述的方法之一。
根据本发明的另一实施例包括被配置为向接收机(例如，以电子方式或以光学方式)传输计算机程序的装置或系统，该计算机程序用于执行本文所述的方法之一。接收机可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收机传送计算机程序的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常，方法优选地由任意硬件装置来执行。
本文描述的装置可以使用硬件装置，或使用计算机，或者使用硬件装置和计算机的组合来实现。
本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件中实现。
本文描述的方法可以使用硬件装置，或使用计算机，或者使用硬件装置和计算机的组合来执行。
本文描述的方法或本文描述的装置的任何组件可以至少部分地由硬件和/或由软件执行。
上述实施例对于本发明的原理仅是说明性的。应当理解的是：本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此，旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。
参考文献
JCT3V-G0048 3D-HEVC HLS:On inter-component reference pictures Y.-L.Chang,Y.-W.Chen,J.-L.Lin,Y.-P.Tsai,S.Lei(MediaTek).
G.Tech,K.Wegner,Y.Chen,S.Yea,"3D-HEVC Draft Text 6"；JCT3V-J1001

Claims (42)

1.一种3D视频解码器，包括：
视频解码核心(12)，被配置为使用层内预测从数据流解码视频的层序列，每个层表示多个视图中的相应视图的深度或纹理，所述视频解码核心针对表示纹理的层，支持根据表示不同视图的纹理的层的视图间纹理预测和根据表示深度的层的纹理到深度预测，
分量间预测开关(14)，被配置为：
从所述数据流读取第一参数集合，所述第一参数集合涉及视频的与当前画面的时间戳有关的时间部分，并且针对表示纹理的当前层的当前画面，从所述第一参数集合导出表示纹理的层的纹理参考层集合，
从所述数据流读取第二参数集合，所述第二参数集合与当前画面或当前画面的一部分相关，并且针对当前画面或当前画面的所述部分内的编码单元，从所述第二参数集合导出来自所述纹理参考层集合的表示纹理的层的所选择的纹理参考层集合，
如果一方面表示视图的深度的层的潜在可用集合和另一方面表示通过所述第一参数集合确定的表示深度的层的深度参考层集合的交集等于所述潜在可用集合，所述视图的纹理通过所选择的纹理参考层集合中的任何一个纹理参考层表示，则从所述数据流读取标志，所述标志与当前画面或当前画面的所述部分相关并指示针对当前画面或当前画面的所述部分内的编码单元是启用还是禁用深度到纹理预测，以及
如果所述交集不等于所述潜在可用集合，则将与当前画面或当前画面的所述部分内的编码单元相关的所述标志推断为指示针对所述编码单元禁用深度到纹理预测，
其中，所述视频解码核心被配置为响应所述标志，以根据所述标志来对当前画面或当前画面的所述部分内的编码单元中的当前编码单元，应用或不应用深度到纹理预测。
2.根据权利要求1所述的3D视频解码器，其中，所述标志和所述第二参数集合与当前画面的切片有关。
3.根据权利要求1所述的3D视频解码器，其中，所选择的纹理参考层集合的每个层包括当前画面的时间戳处的画面。
4.根据权利要求1所述的3D视频解码器，其中，所述视频解码核心(12)被配置为：支持层内预测中的时间预测和/或空间预测。
5.根据权利要求1所述的3D视频解码器，其中，所述视频解码核心(12)被配置为：在针对所述当前编码单元应用深度到纹理预测的过程中，从与所述交集的深度参考画面的视差对应部分导出以下各项：
将所述当前编码单元划分为用于单独预测的多于一个分区的划分，和/或
用于解码所述当前编码单元的运动矢量，和/或
用于解码所述当前编码单元的视差矢量。
6.根据权利要求1所述的3D视频解码器，其中，所述视频解码核心被配置为：
根据所述标志，从所述交集的深度参考画面的视差对应部分导出将所述当前编码单元划分为多于一个分区的划分或将所述当前编码单元划分为具有相等大小和形状的多于一个分区，和/或
根据所述标志，从运动矢量候选列表预测用于解码所述当前编码单元的运动矢量，所述运动矢量候选列表包括或不包括从所述交集的深度参考画面的视差对应部分导出的运动矢量，和/或
根据所述标志，从视差矢量候选列表预测用于解码所述当前编码单元的视差矢量，所述视差矢量候选列表包括或不包括从所述交集的深度参考画面的视差对应部分导出的视差矢量。
7.根据权利要求1所述的3D视频解码器，其中，所述视频解码核心被配置为根据所述标志通过以下操作针对所述当前编码单元应用深度到纹理预测：
如果所述标志指示针对所述当前编码单元启用深度到纹理预测，则从所述数据流读取针对所述当前编码单元特定的语法元素，所述语法元素用信号通知深度到纹理预测是否将应用于所述当前编码单元，
如果所述标志指示针对所述当前编码单元禁用深度到纹理预测，则跳过从所述数据流读取所述语法元素，以及
如果所述标志指示针对所述当前编码单元启用深度到纹理预测，并且如果所述语法元素指示深度到纹理预测将应用于所述当前编码单元，则针对所述当前编码单元应用深度到纹理预测。
8.根据权利要求1所述的3D视频解码器，其中，所述视频解码核心被配置为：在根据表示不同视图的纹理的层进行视图间纹理预测的过程中，执行视差补偿预测。
9.根据权利要求1所述的3D视频解码器，其中，所述第一参数集合的范围在所述数据流中，从而所述第一参数集合的所述视频的所述时间部分将所述视频作为整体或画面序列来涵盖。
10.根据权利要求1所述的3D视频解码器，其中，所述分量间预测开关被配置为：从当前画面的切片的切片首部读取所述标志。
11.根据权利要求1所述的3D视频解码器，其中，所述分量间预测开关被配置为在当前画面是双预测画面的情况下针对两个假设共同动作。
12.根据权利要求1所述的3D视频解码器，被配置为：如果针对所述当前编码单元启用深度到纹理预测，那么如果所述交集中的任何画面未被编码在所述数据流中，则检测画面丢失。
13.根据权利要求1所述的3D视频解码器，还被配置为：不管所述分量间预测开关如何，响应于所述数据流中的另一标志而针对所述当前编码单元禁用深度到纹理预测。
14.根据权利要求1所述的3D视频解码器，其中，所述分量间预测开关被配置为：在所述当前编码单元的深度到纹理预测被所述数据流中的另一标志禁用的情况下，抑制读取所述标志。
15.根据权利要求1所述的3D视频解码器，其中，所述视频解码核心还支持由所述分量间预测开关启用和禁用的纹理到深度预测。
16.根据权利要求1所述的3D视频解码器，其中，所述分量间开关被配置为：还使用当前画面的与当前画面的时间戳相对应的时间ID，以便从所述第一参数集合导出表示纹理的层的纹理参考层集合。
17.一种3D视频编码器，包括：
视频编码核心，被配置为使用层内预测将视频的层序列编码成数据流，每个层表示多个视图中的相应视图的深度或纹理，所述视频编码核心针对表示纹理的层，支持根据表示不同视图的纹理的层的视图间纹理预测和根据表示深度的层的纹理到深度预测，
分量间预测开关，被配置为：
将第一参数集合插入所述数据流，所述第一参数集合涉及视频的与当前画面的时间戳有关的时间部分，并且针对表示纹理的当前层的当前画面，指示表示纹理的层的纹理参考层集合和表示深度的层的深度参考层集合，
将第二参数集合插入所述数据流，所述第二参数集合与当前画面或当前画面的一部分相关，并且针对当前画面或当前画面的所述部分内的编码单元，指示来自所述纹理参考层集合的表示纹理的层的所选择的纹理参考层集合，
如果一方面表示视图的深度的层的潜在可用集合和另一方面所述深度参考层集合的交集等于所述潜在可用集合，所述视图的纹理通过所选择的纹理参考层集合中的任何一个纹理参考层表示，则决定针对当前画面或当前画面的所述部分是启用还是禁用深度到纹理预测，并且将标志插入所述数据流中，所述标志与当前画面或当前画面的所述部分相关，并指示针对当前画面或当前画面的所述部分内的编码单元是启用还是禁用深度到纹理预测，以及
如果所述交集不等于所述潜在可用集合，则抑制插入与当前画面或当前画面的所述部分内的编码单元相关的所述标志并且针对所述编码单元禁用深度到纹理预测，
其中，所述视频编码核心被配置为根据针对当前编码单元启用或禁用深度到纹理预测，针对当前画面或当前画面的所述部分内的编码单元中的当前编码单元，应用或不应用深度到纹理预测。
18.根据权利要求17所述的3D视频编码器，其中，所述标志和所述第二参数集合与当前画面的切片有关。
19.根据权利要求17所述的3D视频编码器，其中，所选择的纹理参考层集合的每个层包括当前画面的时间戳处的画面。
20.根据权利要求17所述的3D视频编码器，其中，所述视频编码核心被配置为：支持层内预测中的时间预测和/或空间预测。
21.根据权利要求17所述的3D视频编码器，其中，所述视频编码核心被配置为：在针对所述当前编码单元应用深度到纹理预测的过程中，从与所述交集的深度参考画面的视差对应部分导出以下各项：
将所述当前编码单元划分为单独预测的多于一个分区的划分，和/或
用于解码所述当前编码单元的运动矢量，和/或
用于解码所述当前编码单元的视差矢量。
22.根据权利要求17所述的3D视频编码器，其中，所述视频编码核心被配置为：
根据所述标志，从所述交集的深度参考画面的视差对应部分导出将所述当前编码单元划分为多于一个分区的划分或将所述当前编码单元划分为具有相等大小和形状的多于一个分区，和/或
根据所述标志，从运动矢量候选列表预测用于解码所述当前编码单元的运动矢量，所述运动矢量候选列表包括或不包括从所述交集的深度参考画面的视差对应部分导出的运动矢量，和/或
根据所述标志，从视差矢量候选列表预测用于解码所述当前编码单元的视差矢量，所述视差矢量候选列表包括或不包括从所述交集的深度参考画面的视差对应部分导出的视差矢量。
23.根据权利要求17所述的3D视频编码器，其中，所述视频编码核心被配置为根据所述标志通过以下操作针对所述当前编码单元应用深度到纹理预测：
如果针对所述当前编码单元启用深度到纹理预测，则决定深度到纹理预测是否将应用于所述当前编码单元，并且将针对所述当前编码单元特定的语法元素插入所述数据流中，所述语法元素表示深度到纹理预测是否将应用于所述当前编码单元，
如果针对所述当前编码单元禁用深度到纹理预测，则跳过将所述语法元素插入所述数据流，以及
如果针对所述当前编码单元启用深度到纹理预测并且深度到纹理预测将应用于所述当前编码单元，则针对所述当前编码单元应用深度到纹理预测。
24.根据权利要求17所述的3D视频编码器，其中，所述视频编码核心被配置为：在根据表示不同视图的纹理的层进行视图间纹理预测的过程中，执行视差补偿预测。
25.根据权利要求17所述的3D视频编码器，其中，所述第一参数集合的范围在所述数据流中，从而所述第一参数集合的所述视频的所述时间部分将所述视频作为整体或画面序列来涵盖。
26.根据权利要求17所述的3D视频编码器，其中，所述分量间预测开关被配置为：将所述标志插入当前画面的切片的切片首部。
27.根据权利要求17所述的3D视频编码器，其中，所述分量间预测开关被配置为：特别针对当前画面读取所述标志。
28.根据权利要求17所述的3D视频编码器，其中，所述分量间预测开关被配置为在当前画面是双预测画面的情况下针对两个假设共同动作。
29.根据权利要求17所述的3D视频编码器，还被配置为：不管所述分量间预测开关如何，禁用所述当前编码单元的深度到纹理预测并通过所述数据流中的另一标志用信号通知所述禁用。
30.根据权利要求17所述的3D视频编码器，其中，所述分量间预测开关被配置为：在所述当前编码单元的深度到纹理预测被所述数据流中的另一标志禁用的情况下，抑制读取所述标志。
31.根据权利要求17所述的3D视频编码器，其中，所述视频编码核心还支持由所述分量间预测开关启用和禁用的纹理到深度预测。
32.根据权利要求17所述的3D视频编码器，其中，所述分量间开关被配置为使得所述第一参数集合以涉及当前画面的与当前画面的时间戳相对应的时间ID的方式指示表示纹理的层的纹理参考层集合，以便进行推导。
33.一种3D视频解码器，包括：
视频解码核心(12)，被配置为使用层内预测从数据流解码视频的层序列，每个层表示多个视图中的相应视图的深度或纹理，所述视频解码核心针对表示当前视图的深度的层，支持根据表示不同视图的深度的层的预测和根据表示纹理的层的纹理到深度预测，
分量间预测开关(14)，被配置为：
从数据流读取第一参数集合，第一参数集合涉及视频的与表示当前视图的深度的层的当前画面的时间戳有关的时间部分，
如果一方面表示一个或多个视图的纹理的一个或多个层的潜在可用集合和另一方面表示通过第一参数集合确定的纹理的层的纹理参考层集合的交集等于潜在可用的集合，所述一个或多个视图的深度由表示当前视图的深度的层来表示，则从数据流读取标志，所述标志与当前画面或当前画面的一部分相关，并指示针对当前画面或当前画面的所述部分内的编码单元是启用还是禁用纹理到深度预测，
如果所述交集不等于所述潜在可用集合，则将与当前画面或当前画面的所述部分内的编码单元相关的所述标志推断为指示针对所述编码单元禁用纹理到深度预测，
其中，所述视频解码核心被配置为响应所述标志，以根据所述标志来对当前画面或当前画面的所述部分内的编码单元中的当前编码单元，应用或不应用纹理到深度预测。
34.一种3D视频编码器，包括：
视频编码核心，被配置为使用层内预测将视频的层序列编码为数据流，每个层表示多个视图中的相应视图的深度或纹理，所述视频编码核心针对表示当前视图的深度的层，支持根据表示不同视图的深度的层的预测和根据表示纹理的层的纹理到深度预测，
分量间预测开关，被配置为：
将第一参数集合插入数据流中，第一参数集合涉及视频的与表示当前视图的深度的层的当前画面的时间戳有关的时间部分，并且针对当前画面，指示表示纹理的层的纹理参考层集合，
如果一方面表示一个或多个视图的纹理的一个或多个层的潜在可用集合和另一方面纹理参考层集合的交集等于潜在可用的集合，所述一个或多个视图的深度由表示当前视图的深度的层来表示，则决定针对当前画面或当前画面的一部分内的编码单元是启用还是禁用纹理到深度预测，并且将标志插入数据流中，所述标志与当前画面或当前画面的一部分相关，并指示针对当前画面或当前画面的所述部分内的编码单元是启用还是禁用纹理到深度预测，以及
其中，所述视频编码核心被配置为根据针对当前编码单元启用或禁用纹理到深度预测，针对当前画面或当前画面的所述部分内的编码单元中的当前编码单元，应用或不应用纹理到深度预测。
35.一种3D视频解码方法，包括：
由视频解码核心执行使用层内预测从数据流解码视频的层序列，每个层表示多个视图中的相应视图的深度或纹理，所述视频解码核心针对表示纹理的层，支持根据表示不同视图的纹理的层的视图间纹理预测，
从所述数据流读取第一参数集合，所述第一参数集合涉及视频的与当前画面的时间戳有关的时间部分，并且针对表示纹理的当前层的当前画面，从所述第一参数集合导出表示纹理的层的纹理参考层集合和表示深度的层的深度参考层集合，
从所述数据流读取第二参数集合，所述第二参数集合与当前画面或当前画面的一部分相关，并且针对当前画面或当前画面的所述部分内的编码单元，从所述第二参数集合导出来自纹理参考层集合的表示纹理的层的所选择的纹理参考层集合，
如果表示视图的深度的层的潜在可用集合和表示通过所述第一参数集合确定的表示深度的层的深度参考层集合的交集等于所述潜在可用集合，所述视图的纹理通过所选择的纹理参考层集合中的任何一个纹理参考层表示，则从所述数据流读取标志，所述标志与当前画面或当前画面的所述部分相关并指示针对当前画面或当前画面的所述部分内的编码单元是启用还是禁用深度到纹理预测，以及
如果所述交集不等于所述潜在可用集合，则将与当前画面或当前画面的所述部分内的编码单元相关的所述标志推断为指示针对所述编码单元禁用深度到纹理预测，
其中，所述视频解码核心根据所述标志来对当前画面或当前画面的所述部分内的编码单元中的当前编码单元，应用或不应用深度到纹理预测。
36.一种3D视频编码方法，包括：
由视频编码核心执行使用层内预测将视频的层序列编码成数据流，每个层表示多个视图中的相应视图的深度或纹理，所述视频编码核心针对表示纹理的层，支持根据表示不同视图的纹理的层的视图间纹理预测和根据表示深度的层的纹理到深度预测，
将第一参数集合插入所述数据流，所述第一参数集合涉及视频的与当前画面的时间戳有关的时间部分，并且针对表示纹理的当前层的当前画面，指示表示纹理的层的纹理参考层集合和与深度相关的层的深度参考层集合，
将第二参数集合插入所述数据流，所述第二参数集合与当前画面或当前画面的一部分相关，并且针对当前画面或当前画面的所述部分内的编码单元指示表示来自所述纹理参考层集合的表示纹理的层的所选择的纹理参考层集合，
如果表示视图的深度的层的潜在可用集合和所述深度参考层集合的交集等于所述潜在可用集合，所述视图的纹理通过所选择的纹理参考层集合中的任何一个纹理参考层表示，则决定针对当前画面或当前画面的所述部分是启用还是禁用深度到纹理预测，并且将标志插入所述数据流中，所述标志与当前画面或当前画面的所述部分相关，并指示针对当前画面或当前画面的所述部分内的编码单元是启用还是禁用深度到纹理预测，以及
如果所述交集不等于所述潜在可用集合，则抑制插入与当前画面或当前画面的所述部分内的编码单元相关的所述标志并且针对所述编码单元禁用深度到纹理预测，
其中，所述视频编码核心根据针对当前编码单元启用或禁用深度到纹理预测，针对当前画面或当前画面的所述部分内的编码单元中的当前编码单元，应用或不应用深度到纹理预测。
37.一种存储计算机程序的计算机可读存储介质，所述计算机程序具有用于当在计算机上运行时执行根据权利要求35或36所述的方法的程序代码。
38.一种3D视频解码器，包括：
视频解码核心，被配置为使用层内预测从数据流解码视频的层序列，每个层表示多个视图中的相应视图的深度或纹理，所述视频解码核心针对表示纹理的层，支持根据表示不同视图的纹理的层的视图间纹理预测和根据表示深度的层的纹理到深度预测，
分量间预测开关，被配置为：
从所述数据流读取第一参数集合，所述第一参数集合涉及视频的时间部分，并且针对表示纹理的当前层的当前画面，从所述第一参数集合导出所述时间部分内包含的时间戳、表示纹理的层的纹理参考层集合，
从所述数据流读取第二参数集合，所述第二参数集合与当前画面或当前画面的一部分相关，并且针对当前画面的当前编码单元，从所述第二参数集合导出来自所述纹理参考层集合的表示纹理的层的所选择的纹理参考层集合，所选择的纹理参考层集合的每个层包括当前画面的时间戳处的画面，并且基于所选择的纹理参考层集合，导出一方面表示视图的深度的层的潜在可用集合和另一方面由所述第一参数集合确定的表示深度的层的深度参考层集合的交集，所述视图的纹理由所选择的纹理参考层集合中的任何一个表示，
按所述交集的层从所述数据流读取标志，所述标志至少与所述当前编码单元相关，并且指示针对所述当前编码单元是启用还是禁用使用相应层作为深度到纹理预测参考的深度到纹理预测，以及
其中，所述视频解码核心被配置为响应所述交集的层的所述标志，以便根据所述标志来针对所述当前编码单元，应用或不应用使用所述交集的一个或多个层作为深度到纹理预测参考的深度到纹理预测。
39.一种3D视频编码器，包括：
视频编码核心，被配置为使用层内预测将视频的层序列编码成数据流，每个层表示多个视图中的相应视图的深度或纹理，所述视频编码核心针对表示纹理的层，支持根据表示不同视图的纹理的层的视图间纹理预测和根据表示深度的层的纹理到深度预测，
分量间预测开关，被配置为：
将第一参数集合插入所述数据流中，所述第一参数集合涉及视频的时间部分，并且针对表示纹理的当前层的当前画面，指示所述时间部分内包含的时间戳、表示纹理的层的纹理参考层集合和与深度相关的层的深度参考层集合，
将第二参数集合插入所述数据流，所述第二参数集合与当前画面或当前画面的一部分相关，并且针对当前画面的当前编码单元指示来自所述纹理参考层集合的表示纹理的层的所选择的纹理参考层集合，所选择的纹理参考层集合的每个层包括当前画面的时间戳处的画面，
导出一方面表示视图的深度的层的潜在可用集合和另一方面所述深度参考层集合的交集，所述视图的纹理由所选择的纹理参考层集合中的任何一个表示，
按所述交集的层将标志插入数据流，所述标志至少与所述当前编码单元相关，并且指示针对所述当前编码单元是启用还是禁用使用相应层作为深度到纹理预测参考的深度到纹理预测，以及
其中，所述视频编码核心被配置为根据针对所述当前编码单元是启用还是禁用使用所述交集的层作为深度到纹理预测参考的深度到纹理预测，来针对所述当前编码单元，应用或不应用使用所述交集的层作为深度到纹理预测参考的深度到纹理预测。
40.一种3D视频解码方法，包括：
由视频解码核心执行使用层内预测从数据流解码视频的层序列，每个层表示多个视图中的相应视图的深度或纹理，所述视频解码核心针对表示纹理的层，支持根据表示不同视图的纹理的层的视图间纹理预测和根据表示深度的层的纹理到深度预测，
从所述数据流读取第一参数集合，所述第一参数集合涉及视频的时间部分，并且针对表示纹理的当前层的当前画面，从所述第一参数集合导出所述时间部分内包含的时间戳、表示纹理的层的纹理参考层集合和与深度有关的层的深度参考层集合，
从所述数据流读取第二参数集合，所述第二参数集合与当前画面或当前画面的一部分相关，并且针对当前画面的当前编码单元，从所述第二参数集合导出来自所述纹理参考层集合的表示纹理的层的所选择的纹理参考层集合，所选择的纹理参考层集合的每个层包括当前画面的时间戳处的画面，并且基于所选择的纹理参考层集合，导出一方面表示视图的深度的层的潜在可用集合和另一方面所述深度参考层集合的交集，所述视图的纹理由所选择的纹理参考层集合中的任何一个表示，
按所述交集的层从所述数据流读取标志，所述标志至少与所述当前编码单元相关，并且指示针对所述当前编码单元是启用还是禁用使用相应层作为深度到纹理预测参考的深度到纹理预测，以及
其中，所述视频解码核心根据所述交集的层的所述标志，来针对所述当前编码单元，应用或不应用使用所述交集的一个或多个层作为深度到纹理预测参考的深度到纹理预测。
41.一种3D视频编码方法，包括：
由视频编码核心执行使用层内预测将视频的层序列编码成数据流，每个层表示多个视图中的相应视图的深度或纹理，所述视频编码核心针对表示纹理的层，支持根据表示不同视图的纹理的层的视图间纹理预测和根据表示深度的层的纹理到深度预测，
将第一参数集合插入所述数据流中，所述第一参数集合涉及视频的时间部分，并且针对表示纹理的当前层的当前画面，指示所述时间部分内包含的时间戳、表示纹理的层的纹理参考层集合和与深度相关的层的深度参考层集合，
将第二参数集合插入所述数据流，所述第二参数集合与当前画面或当前画面的一部分相关，并且针对当前画面的当前编码单元指示来自所述纹理参考层集合的表示纹理的层的所选择的纹理参考层集合，所选择的纹理参考层集合的每个层包括当前画面的时间戳处的画面，
导出一方面表示视图的深度的层的潜在可用集合和另一方面所述深度参考层集合的交集，所述视图的纹理由所选择的纹理参考层集合中的任何一个表示，
按所述交集的层将标志插入数据流，所述标志至少与所述当前编码单元相关，并且指示针对所述当前编码单元是启用还是禁用使用相应层作为深度到纹理预测参考的深度到纹理预测，以及
其中，所述视频编码核心根据针对所述当前编码单元是启用还是禁用使用所述交集的层作为深度到纹理预测参考的深度到纹理预测，来针对所述当前编码单元，应用或不应用使用所述交集的层作为深度到纹理预测参考的深度到纹理预测。
42.一种存储计算机程序的计算机可读存储介质，所述计算机程序具有用于当在计算机上运行时执行根据权利要求40或41所述的方法的程序代码。
CN201680020879.3A 2015-02-05 2016-02-04 支持分量间预测的3d视频编解码器 Active CN107534781B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15153900.4 2015-02-05
EP15153900 2015-02-05
PCT/EP2016/052429 WO2016124711A1 (en) 2015-02-05 2016-02-04 3d-video codec supporting inter-component prediction

Publications (2)

Publication Number Publication Date
CN107534781A CN107534781A (zh) 2018-01-02
CN107534781B true CN107534781B (zh) 2020-11-06

Family

ID=52462173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680020879.3A Active CN107534781B (zh) 2015-02-05 2016-02-04 支持分量间预测的3d视频编解码器

Country Status (4)

Country Link
US (1) US10341681B2 (zh)
EP (1) EP3254466A1 (zh)
CN (1) CN107534781B (zh)
WO (1) WO2016124711A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102245088B1 (ko) * 2013-04-08 2021-04-28 지이 비디오 컴프레션, 엘엘씨 성분-간 예측
KR101764531B1 (ko) * 2016-02-29 2017-08-04 한경대학교 산학협력단 네트워크 기반 다중 카메라 영상 처리 및 데이터 전송 방법 및 그 시스템
WO2018037853A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置及び画像符号化装置
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
CN111698501B (zh) * 2019-03-11 2022-03-01 杭州海康威视数字技术股份有限公司 解码方法及装置
TW202101985A (zh) * 2019-03-11 2021-01-01 美商Ｖｉｄ衡器股份有限公司 子圖片適應性解析度改變方法及裝置
CN112887633B (zh) * 2021-01-14 2023-06-20 四川航天神坤科技有限公司 一种基于摄像头的视频拼接和三维监控显示方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012044124A2 (ko) * 2010-09-30 2012-04-05 한국전자통신연구원 영상 부호화 방법과 복호화 방법 및 이를 이용한 영상 부호화 장치와 복호화 장치
EP2781091B1 (en) * 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
US9258559B2 (en) * 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
KR102698537B1 (ko) * 2013-04-08 2024-08-23 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
US20150016503A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Tiles and wavefront processing in multi-layer context
US9667996B2 (en) * 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC

Also Published As

Publication number Publication date
CN107534781A (zh) 2018-01-02
US20180027258A1 (en) 2018-01-25
US10341681B2 (en) 2019-07-02
WO2016124711A1 (en) 2016-08-11
EP3254466A1 (en) 2017-12-13

Similar Documents

Publication Publication Date Title
CN107534781B (zh) 支持分量间预测的3d视频编解码器
US11785229B2 (en) Picture coding supporting block partitioning and block merging
JP6370898B2 (ja) レイヤを横切るピクチャパーティションに対するビットストリームの制限
CN108419076B (zh) 视频编码及解码方法、装置及系统
EP2941891B1 (en) Efficient scalable coding concept
CN110225356B (zh) 多视图解码器
US9813736B2 (en) Inter-view dependency type in MV-HEVC
CN107439015B (zh) 支持残差预测的多视图视频编解码器
CN118200542A (zh) 图像编码/解码方法、数据的发送方法以及存储介质
CN115767088A (zh) 图像编解码方法、发送比特流的方法和记录介质
WO2014029086A1 (en) Methods to improve motion vector inheritance and inter-view motion prediction for depth map
CN113574876B (zh) 对色度块使用分段限制的视频编码/解码方法和设备，以及发送比特流的方法
CN118827985A (zh) 对色度块使用分段限制的视频编码/解码方法和设备，以及发送比特流的方法
CN118827984A (zh) 对色度块使用分段限制的视频编码/解码方法和设备，以及发送比特流的方法
CN118827986A (zh) 对色度块使用分段限制的视频编码/解码方法和设备，以及发送比特流的方法
CN118827983A (zh) 对色度块使用分段限制的视频编码/解码方法和设备，以及发送比特流的方法
CN117478917A (zh) 图像解码和编码方法及发送比特流的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant