CN106464906B

CN106464906B - 基于高效率视频编码标准的3d视频编码中深度查找表发讯方法

Info

Publication number: CN106464906B
Application number: CN201580012848.9A
Authority: CN
Inventors: 张凯; 安基程; 张贤国; 黄晗
Original assignee: HFI Innovation Inc
Current assignee: HFI Innovation Inc
Priority date: 2014-03-18
Filing date: 2015-03-17
Publication date: 2019-08-09
Anticipated expiration: 2035-03-17
Also published as: US20180014029A1; BR112016021113B1; WO2015139203A1; WO2015139615A1; US10085041B2; CN110278440B; KR101779313B1; EP3108656A4; US20170019682A1; CN106464906A; US9800896B2; BR112016021113A2; EP3108656A1; KR20160132935A; CN110278440A

Abstract

本发明揭露一种在三维以及多视图编码系统中深度查找表(DLT)的发讯方法及其装置。根据本发明，如果图像仅包含纹理数据，则不将DLT信息并入对应图像的图像参数集合(PPS)。反之，如果图像包含深度数据，则由该图像的PPS决定与之相关联的该DLT。如果预测该DLT所需的先前DLT存在，则基于该先前DLT预测该DLT；将与该DLT相关的语法并入该PPS。此外，也将与该DLT的第一深度采样相关的第一比特深度信息并入该PPS，其中该第一比特深度信息与第二比特深度信息一致，并且对于包含所述一个或多个图像的序列的第二深度采样，在序列层数据中发讯上述第二比特深度信息。

Description

基于高效率视频编码标准的3D视频编码中深度查找表发讯方法

交叉引用

本发明要求如下优先权：编号为PCT/CN2014/073611，申请日为2014年3月18日的PCT专利申请。上述PCT专利申请在此一并作为参考。

技术领域

本发明涉及一种三维视频编码以及多视图视频编码。特别地，本发明涉及一种深度查找表(Depth Lookup Table)发讯(signaling)方法。

背景技术

近年来，三维(3D)电视渐成为一种技术趋势，其可给观看者带来震撼的观影体验。多视图视频(multi-view video)是一种捕获并渲染3D视频的技术。典型地，通过使用多个摄像机同时捕捉场景，产生多视图视频，其中可适当安排多个摄像机从而使得每个摄像机可从一个视点(viewpoint)捕捉场景。与多视图相关联的具有大量视频序列的多视图视频具有大量数据。相应地，多视图视频将需要较大存储空间用于存储及/或需要较大带宽用于传输。因此，本领域已经开发出了多视图视频编码技术以降低所需存储空间以及传输带宽。一种直接方法可分别对每个单一视图视频序列简单应用传统视频编码技术，并且忽视不同视图之间的任何关联性。这样直接的技术将导致较差的编码性能。为了提升多视图视频编码效率，多视图视频编码总是利用视图间冗余(inter-view redundancy)。两个不同摄像机的位置与角度导致两个视图之间的不一致。

深度查找表(Depth Lookup Table，DLT)已经被引入3D-HEVC。通常，在深度成分(depth component)中仅出现有限值。因此，DLT代表区块中的有效值。当在帧内深度编码(Intra simplified depth coding，SDC)模式或深度图建模(depth map modeling，DMM)模式中编码编码区块(Coding Unit，CU)时，使用DLT将有效深度值映射至DLT指数(index)。图1描述图像中深度值的DLT表现示例。当深度值范围从0至255时，仅有5个深度值(即50、108、110、112以及200)出现在图像中。因此，DLT包含具有从0至4指数的5个值。在图像参数集合(Picture Parameter Set，PPS)中发讯DLT并且支持编码器生成DLT。

在当前基于高效率视频编码的三维编码(3D-HEVC)标准草案中，发讯DLT作为图像参数集合(PPS)的扩展。在接下来的列表中描述与DLT发讯相关的语法元素。

如列表1所示，如果置位PPS扩展标志位pps_extension_type_flag[0]，则将DLT参数信息pps_dlt_parameters()并入PPS中。

列表1.

列表2显示DLT参数信息pps_dlt_parameters()的语法结构。当标志位dlt_present_flag具有为1的数值时，如列表2所示，将与DLT相关的信息并入pps_dlt_parameters()中。视图间DLT预测标志位inter_view_dlt_pred_enable_flag[i]等于1指示从第0个深度查找表的深度查找表预测第i个深度查找表。换句话说，标志位inter_view_dlt_pred_enable_flag[i]等于0指示不从任何其他深度查找表预测第i个深度查找表。

列表2.

根据现存3D-HEVC标准的DLT发讯技术具有许多问题。首先，如相应标志位inter_view_dlt_pred_enable_flag[i]所指示，可将视图间预测应用于DLT中。如果上述标志位设定为1，则从第0个DLT预测第i个DLT。换句话说，dlt_flag[i]指示是否存在第i个DLT。因此，如果dlt_flag[i]为0并且具有i>0的inter_view_dlt_pred_enable_flag[i]为1，则无法从现存DLT中预测第i个DLT。

在现存3D-HEVC标准中，发讯pps_bit_depth_for_depth_views_minus8以指示图像中深度成分采样的比特深度(bit-depth)。然而，如bit_depth_luma_minus8所指示，也在序列层发讯深度成分采样的比特深度，其中在序列参数集合(Sequence Parameter Set，SPS)中发讯bit_depth_luma_minus8。因此，如果上述两种语法元素不同，则在上述两种语法元素之间存在潜在矛盾。

在现存3D-HEVC标准中，既然可为纹理数据(texture data)将标志位dlt_present_flag设定为1，所以在比特流的所有PPS中发讯DLT，其中上述比特流包含所有视图的纹理视频。然而，仅每个视图的深度成分需要DLT。根据现存3D-HEVC标准，当存在3个视图时，在总共四个PPS中发讯DLT。如图2所示，对于三个视图的纹理成分(即T0、T1、T2)，分别发送三个PPS。换句话说，所有三个视图的深度组分(即D0、D1、D2)仅使用并分享一个PPS。因此，将在4个PPS中重复发讯相同DLT内容的4份副本，这样具有明显冗余。

开发方法在对性能无明显影响情况下克服上述问题是令人满意的。

发明内容

本发明揭露一种在三维以及多视图编码系统中深度查找表(DLT)发讯方法及其装置。根据本发明，如果图像仅包含纹理数据，则不将DLT信息并入对应图像的图像参数集合(PPS)。换句话说，如果图像包含深度数据，则决定与图像相关联的该DLT。如果预测该DLT所需的先前DLT存在，则基于该先前DLT预测该DLT；将与该DLT相关的语法并入该PPS。此外，也将与该DLT的第一深度采样相关的第一比特深度信息并入该PPS，其中该第一比特深度信息与第二比特深度信息一致，并且对于包含所述一个或多个图像的序列的第二深度采样，在序列层数据中发讯上述第二比特深度信息。

本发明一个方面涉及用于预测DLT的DLT发讯的有效性。如果用于预测该DLT所需的先前DLT不存在，则不管视图间DLT预测是否开启，不对该DLT进行预测编码。另外，不发讯指示是否对该DLT进行视图间DLT预测的标志位，并且该标志位的数值自动推断为零。此外，如果预测该DLT所需的该先前DLT不存在并且为该深度查找表置位指示是否使用视图间DLT预测的标志位，则为预测该DLT使用另一个DLT。该另一DLT对应现存先前DLT或预定DLT。

本发明另一方面涉及在序列层以及图像层的DLT发讯的一致性。第一比特深度信息指示的第一比特深度值与第二比特深度信息指示的第二比特深度值相同。如果该第一比特深度信息指示的第一比特深度值与该第二比特深度信息指示的第二比特深度值不同，则根据该第一比特深度值与该第二比特深度值，对该深度查找表应用按比例调整操作。此外，如果该第一深度值D1大于该第二深度值D2，则根据公式D’＝(D+offset)>>(D1–D2)将该DLT的深度值D按比例调整为新深度值D’；以及如果D1小于D2，则根据公式D’＝(D+offset)<<(D2–D1)将该深度值D按比例调整为新深度值D’，其中offset是偏移值，“>>”是右移操作算法以及是“<<”左移操作算法。

本发明另一方面涉及纹理数据的DLT发讯中的冗余。图像可对应与多视图相关联的多个深度图，并且该多视图的所有深度图共享该PPS中的该DLT。该图像可对应与每个视图相关的一个深度图，并且与每个视图相关联的该深度图使用该PPS中的该DLT。该图像对应与一个视图相关的一个深度图，并且该PPS包含仅为一个视图的该DLT。一个深度图中的条带可使用该PPS中发讯的该DLT，其中该图像参数集合包含与条带识别符slice_pic_parameter_set_id具有相同值的图像参数集合识别符pps_pic_parameter_set_id，并且该条带识别符在该条带的条带头中发讯。在第一PPS中发讯的第一DLT可预测在第二PPS中发讯的第二DLT。在这种情况下，为了预测该第二DLT，在该第二PPS中发讯的与该第一PPS相关联的PPS识别符pps_pic_parameter_set_id以查找该第一DLT。

附图说明

图1描述深度查找表示例，其中查找表包含对应指数0至4所指示的50、108、110、112以及200的5个条目；

图2描述根据传统方法对于纹理成分以及深度成分，在图像参数集合中发讯深度查找表示例；

图3描述根据本发明实施例对于纹理成分以及深度成分，在图像参数集合中发讯深度查找表示例；

图4描述根据本发明实施例对于纹理成分以及深度成分，在图像参数集合中发讯深度查找表另一示例；

图5是根据本发明实施例描述的在3D或多视图编码系统中深度查找表发讯的示例流程图。

具体实施方式

如前所述，在基于3D视频编码的现存高效率视频编码(HEVC)中，深度查找表(DLT)发讯具有许多问题。因此，揭露本发明实施例以克服这些问题。接下来的描述是实施本发明的最佳方式。所述描述仅为描述本发明基本原则的目的，并不应该当做限制。本发明的范围由权利要求书决定。

本发明一个方面涉及DLT预测的有效性。如现存3D-HEVC的PPS DLT参数语法所示，不管依赖DLT(depending DLT)是否存在，所有深度层允许可预测的DLT编码。在一种实施例中，首先检查用于预测当前DLT的相应DLT是否存在。如果相应DLT存在，则对于当前DLT，允许可预测的DLT编码以使用相应DLT作为预测子(predictor)。如果相应DLT不存在，则不管视图间DLT预测使能标志位inter_view_dlt_pred_enable_flag[i]指示的是否使用视图间DLT预测，不将可预测的DLT编码应用于当前DLT。或者，如果预测第i个DLT所需的相应DLT不存在，则将标志位inter_view_dlt_pred_enable_flag[i]强制设为0。在另一实施例中，如果用于预测第i个DLT的DLT不存在，则将标志位inter_view_dlt_pred_enable_flag[i]自动推断为0。

列表3显示本发明实施例的示例语法列表。对于第i个DLT，仅当存在第0个DLT，即dlt_flag[0]为1时，并入标志位inter_view_dlt_pred_enable_flag[i]。

列表3.

if(dlt_flag[i]){
		if(dlt_flag[0])
inter_view_dlt_pred_enable_flag[i]	u(1)

当标志位inter_view_dlt_pred_enable_flag[i]为1并且最初用来预测第i个DLT的DLT不存在时，第i个DLT的预测子可变为现存的另一DLT。代替改变现存DLT，在这种情况下也可使用预定DLT。例如，预定DLT可包含深度成分中的所有可能值，例如，0、1、2……255。在另一示例中，预定DLT不包含数值。

本发明另一方面涉及不同语法层中比特深度信息的一致性。例如，可为序列层检查比特深度指标的一致性。具体来说，在视频序列中发讯的深度数据的所有比特深度指标必须与序列参数集合(SPS)中发讯的比特深度指标相同。另外，可将PPS层比特深度指标(即，pps_bit_depth_for_depth_views_minus8)设定为与SPS层比特深度指标(即，bit_depth_luma_minus8)相同。

在另一实施例中，当不同层的比特深度指标不同时，通过按比例调整(scaling)取得比特深度一致性。例如，如果PPS层比特深度指标pps_bit_depth_for_depth_views_minus8与SPS层比特深度指标bit_depth_luma_minus8不同，则可按比例调整PPS中发讯的DLT深度值。例如，如果pps_bit_depth_for_depth_views_minus8大于bit_depth_luma_minus8，则可根据公式D’＝(D+offset)>>(pps_bit_depth_for_depth_views_minus8-bit_depth_luma_minus8)按比例调整DLT的深度值D。在另一示例中，如果pps_bit_depth_for_depth_views_minus8小于bit_depth_luma_minus8，则可根据公式D’＝D<<(bit_depth_luma_minus8-pps_bit_depth_for_depth_views_minus8)完成按比例调整的操作。该偏移值offset可为任意整数，例如0或(1<<(pps_bit_depth_for_depth_views_minus8-bit_depth_luma_minus8-1))。

本发明的另一方面涉及DLT发讯进程中的冗余。既然纹理数据无需DLT，则对于纹理成分，在PPS并不发讯DLT。换句话说，仅对纹理层的PPS不发讯DLT。换句话说，如图3所示，在单一PPS中可发讯所有视图深度数据的DLT，其中所有视图的深度成分共享上述单一PPS。或者，如图4所示，在单独PPS中可发讯每个视图深度数据的DLT，其中相应视图的特定深度成分使用上述单独PPS。

在一种实施例中，一个PPS仅为与一个视图相关联的深度成分发讯DLT。换句话说，一个PPS仅为一层发讯DLT。在另一种实施例中，条带(slice)可使用PPS中发讯的DLT，其中上述PPS包含PPS识别符pps_pic_parameter_set_id(其具有与本条带的条带头中的条带识别符slice_pic_parameter_set_id相同的数值)。

在一种实施例中，PPS(标为P0)中发讯的DLT可预测不同PPS(标为P1)中发讯的DLT。此外，可在P1中发讯P0的pps_pic_parameter_set_id以查找包含DLT的PPS(即，P0)，其中上述DLT用于PPS P1的DLT的预测子。

图5是根据本发明实施例描述的3D或多视图编码系统中深度查找表(DLT)发讯的示例流程图。如步骤510所示，系统标识待处理的一个或多个图像。在步骤520，检查上述一个或多个图像是否仅包含纹理数据。如果结果为“是”，则进程进入步骤570。如果结果为“否”，则进程进入步骤530。在步骤530中，确定与上述一个或多个图像相关联的DLT。如步骤540所示，如果预测DLT所需的先前DLT存在，则基于先前DLT将可预测的编码应用于DLT，并且如步骤550所示，将与DLT相关的语法并入PPS中。此外，如步骤560所示，将与DLT的第一深度采样相关的第一比特深度信息并入PPS中，其中第一比特深度信息与第二比特深度信息一致，并且对于包含所述一个或多个图像的序列的第二深度采样，在序列层发讯上述第二比特深度信息。接着如步骤570所示，在包含所述一个或多个图像的序列的视频比特流中发讯PPS。

上述流程图是为了描述根据本发明实施例的在三维及多视图编码中使用DLT发讯的3D/多视图示例。本领域技术人员可调整每个步骤、重组步骤、分割步骤或组合步骤以在不脱离本发明精神情况下实现本发明。

呈现上述描述以允许本领域技术人员根据特定应用以及其需要的内容实施本发明。所述实施例的各种修改对于本领域技术人员来说是显而易见的，并且可将上述定义的基本原则应用于其他实施例。因此，本发明不局限于所述的特定实施例，而是符合与揭露的原则及新颖特征相一致的最宽范围。在上述细节描述中，为了提供对本发明的彻底理解，描述了各种特定细节。然而，本领域技术人员可以理解本发明是可实施的。

上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明实施例可对应集成入视频压缩芯片的一个或多个电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数据信号处理器(Digital SignalProcessor,DSP)中执行的执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为说明的所有方面并且无限制。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化皆属于本发明的涵盖范围。

Claims

1.一种深度编码方法，用于三维及多视图编码系统中并使用深度查找表，所述深度编码方法包含：

标识待处理的一个或多个图像；

如果该一个或多个图像仅包含纹理数据，则在对应该一个或多个图像的图像参数集合中去除深度查找表信息；

如果该一个或多个图像包含深度数据：则决定与该一个或多个图像相关联的该深度查找表；如果预测该深度查找表所需的先前深度查找表存在，则基于该先前深度查找表，采用预测编码对该深度查找表进行编码；将与该深度查找表相关的语法并入该图像参数集合；以及将与该深度查找表的第一深度采样相关的第一比特深度信息并入该图像参数集合，其中该第一比特深度信息与第二比特深度信息一致并且对于包含该一个或多个图像的序列的第二深度采样，在序列层发讯该第二比特深度信息；以及

在包含该一个或多个图像的序列的视频比特流中发讯该图像参数集合。

2.如权利要求1所述的深度编码方法，其特征在于，如果预测该深度查找表所需的该先前深度查找表不存在，则不管视图间深度查找表预测是否开启，不对该深度查找表进行该预测编码。

3.如权利要求1所述的深度编码方法，其特征在于，如果预测该深度查找表所需的该先前深度查找表不存在，不发讯用于指示是否对该深度查找表进行视图间深度查找表预测的标志位，并且该标志位的数值自动推断为零。

4.如权利要求1所述的深度编码方法，其特征在于，如果预测该深度查找表所需的该先前深度查找表不存在并且为该深度查找表进行标志位置位，则为预测该深度查找表使用另一深度查找表，其中，该标志位用于指示是否使用视图间深度查找表预测。

5.如权利要求4所述的深度编码方法，其特征在于，该另一深度查找表对应现存先前深度查找表或预定深度查找表。

6.如权利要求1所述的深度编码方法，其特征在于，该第一比特深度信息指示的第一比特深度值与该第二比特深度信息指示的第二比特深度值相同。

7.如权利要求1所述的深度编码方法，其特征在于，如果该第一比特深度信息指示的第一比特深度值与该第二比特深度信息指示的第二比特深度值不同，则根据该第一比特深度值与该第二比特深度值，对该深度查找表应用按比例调整操作。

8.如权利要求7所述的深度编码方法，其特征在于，如果该第一深度值D1大于该第二深度值D2，则根据公式D’＝(D+offset)>>(D1–D2)将该深度查找表的深度值D按比例调整为新深度值D’；以及如果D1小于D2，则根据公式D’＝D<<(D2–D1)将该深度值D按比例调整为新深度值D’，其中offset是偏移值，“>>”是右移操作算法以及是“<<”左移操作算法。

9.如权利要求1所述的深度编码方法，其特征在于，该一个或多个图像对应与多视图相关联的多个深度图，并且该多视图的所有深度图共享该图像参数集合中的该深度查找表。

10.如权利要求1所述的深度编码方法，其特征在于，该一个或多个图像对应与每个视图相关的一个深度图，并且与每个视图相关联的该深度图使用该图像参数集合中的该深度查找表。

11.如权利要求1所述的深度编码方法，其特征在于，该一个或多个图像对应与一个视图相关的一个深度图，并且该图像参数集合包含仅为一个视图的该深度查找表。

12.如权利要求1所述的深度编码方法，其特征在于，一个深度图中的条带使用该图像参数集合中发讯的该深度查找表，其中该图像参数集合包含与条带识别符slice_pic_parameter_set_id具有相同值的图像参数集合识别符pps_pic_parameter_set_id，并且该条带识别符在该条带的条带头中发讯。

13.如权利要求1所述的深度编码方法，其特征在于，在第一图像参数集合中发讯的第一深度查找表预测在第二图像参数集合中发讯的第二深度查找表。

14.如权利要求13所述的深度编码方法，其特征在于，为了预测该第二深度查找表，在该第二图像参数集合发讯的与该第一图像参数集合相关联的图像参数集合识别符pps_pic_parameter_set_id以查找该第一深度查找表。

15.一种深度编码装置，用于三维及多视图编码系统中并使用深度查找表，所述深度编码装置包含：

标识模块，用于标识待处理的一个或多个图像；

处理器，如果该一个或多个图像仅包含纹理数据，则该处理器在对应该一个或多个图像的图像参数集合中去除深度查找表信息；

如果该一个或多个图像包含深度数据：则该处理器决定与该一个或多个图像相关联的该深度查找表；如果预测该深度查找表所需的先前深度查找表存在，则该处理器基于该先前深度查找表，采用预测编码对该深度查找表进行编码；将与该深度查找表相关的语法并入该图像参数集合；以及将与该深度查找表的第一深度采样相关的第一比特深度信息并入该图像参数集合，其中该第一比特深度信息与第二比特深度信息一致并且对于包含该一个或多个图像的序列的第二深度采样，在序列层发讯该第二比特深度信息；以及

发讯模块，用于在包含该一个或多个图像的序列的视频比特流中发讯该图像参数集合。