CN105519120B - 用于视频数据的三维或多视图视频编码的分区模式编码方法 - Google Patents

Abstract

本发明揭露了用于视频数据的三维或多视图视频编码的分区模式编码方法。接收与当前深度块相关联的输入数据；识别用于同位纹理块的当前纹理分区模式，其中，所述当前纹理分区模式是从一纹理分区模式组中选择，所述纹理分区模式被分类为由纹理分区变量表示的多个纹理分区类型；传送具有取决于当前纹理分区变量的part_mode值的语法元素part_mode以指示用于所述当前深度块的深度分区模式，其中，所述当前纹理分区变量与所述同位纹理块的所述纹理分区模式的当前纹理分区类型相关联；以及根据所述深度分区模式编码所述当前深度块。

Description

用于视频数据的三维或多视图视频编码的分区模式编码方法

【相关申请的交叉引用】

本发明主张申请于2014年6月20日序列号为PCT/CN2014/080406的PCT专利申请，申请于2014年6月23日序列号为PCT/CN2014/080516的PCT专利申请，申请于2015年2月6日序列号为PCT/CN2015/072428的PCT专利申请的优先权。将这些PCT专利申请以参考的方式并入本文中。

【技术领域】

本发明涉及三维以及多视图视频编码。特别地，本发明涉及三维以及多视图视频编码的多个方面，包括：子预测单元(prediction unit，PU)语法信令(syntax signaling)、亮度补偿(illumination compensation，IC)、以及依赖纹理的深度分区(texture-dependent depth partition)。

【背景技术】

三维(3D)视频编码被开发以编码或解码由多个相机同时捕捉的多个视图的视频数据。因为所有相机捕捉相同场景的纹理数据以及深度数据，所以相同视图中的纹理以及深度数据之间具有大量的冗余。根据高效视频编码(high efficiency video coding，HEVC)，编码过程被应用到称为编码单元(coding unit，CU)的每个块，且每个CU具有预测过程。每个CU可被分为一个或多个预测单元(prediction unit，PU)且预测过程(例如，帧内或帧间预测)被应用到每个PU。为了减少冗余，根据当前基于3D视频编码的HEVC(3D videocoding based on high efficiency video coding，3D-HEVC)，依赖纹理的深度分区被用于处理与相同四分树等级中对应纹理CU相对应的当前深度块。

为了利用视图间以及分量间(inter-component)冗余，附加的工具例如：视图间运动预测(inter-view motion prediction，IVMP)以及运动参数继承(motion parameterinheritance，MPI)被整合到现存的3D-HEVC以及3D高级视频编码(3D-Advanced VideoCoding，3D-AVC)编解码器中。为进一步提升编码效率，子PU等级IVMP以及子PU等级MPI被使用。根据IVMP，附属视图中与块相关联的运动信息是由与对应块(corresponding block)相关联的运动信息来预测，对应块是使用参考视图中的视差向量来定位。根据MPI，用于深度数据的纹理的运动参数的继承是通过将除了来自HEVC合并模式的通常空间以及时间候选以外的一个合并候选增加到当前深度块的合并列表中来获取。额外的候选是由同位(co-located)纹理块的运动信息产生。

于当前3D-HEVC中，语法元素iv_mv_pred_flag[layerId]被发送以用于层ID(layer ID)大于零的每个层，以指示IVMP是否被使用，其中，层ID大于零对应于附属视图。对于层ID大于零的每个层，另一语法元素log2_sub_pb_size_minus3[layerId]被发送以指示纹理子PU大小。对于深度编码，语法元素mpi_flag[layerId]被发送以用于层ID大于零的每个层，以指示MPI是否被使用。然而，用于MPI的子PU大小是由所有层共用，且由视频参数组(video parameter set，VPS)扩展中的语法元log2_mpi_sub_pb_size_minus3来指示。表1所示为3D-HEVC中的当前vps_extension2()语法设计。

表1

如表1所示，与iv_mv_pred_flag[layerId]、log2_sub_pb_size_minus3[layerId]、mpi_flag[layerId]、以及log2_mpi_sub_pb_size_minus3相关的语法元素出现于视频参数组扩展vps_extension2()中。这些语法元素的位置分别由表1的注解1-1到1-4所指示。众所周知，IVMP被用于纹理数据以利用不同视图之间的相关性。另一方面，MPI被用于深度数据以利用同位纹理数据中深度数据的依赖性。要注意，VPS中出现的语法元素log2_sub_pb_size_minus3[layerId]以及log2_mpi_sub_pb_size_minus3是独立的，不需要考虑当前视频数据是否为纹理数据或深度数据。因此，希望能开发出新的用于子PU语法元素信令的方法以提升性能。

于当前3D-HEVC中，亮度补偿(illumination compensation，IC)被用来补偿不同视图之间的亮度强度的差值。当亮度补偿被应用时，当前视图中当前块110的预测值是根据对应于y＝a*x+b的线性函数120来计算，其中，x为参考视图中参考块的样本值。于线性模型中，参数a被称为乘法项，且参数b被称为偏置项。两个参数a以及b是根据训练过程(training process)130使用如图1所描绘的当前块的相邻重建样本140以及参考块160的相邻重建样本150来导出。

图2所示为根据HEVC包含于训练过程的样本，其中，具有相同相关位置(即，同位)的参考块160的相邻参考样本x_i以及当前块110的相邻样本y_i被用作为一个训练对(training pair)。为了减少训练对的数量，每两个邻近样本中仅有一个被包含于训练组(training set)中。不具有标志(即，x_i或y_i)的相邻样本不会被用于训练过程。与x_i以及y_i相关联的上标“A”表示相邻样本位于块的上方。与x_i以及y_i相关联的上标“L”表示相邻样本位于块的左侧。

训练对的数量与块大小成比例。例如，对于8×8块有8个训练对，且对于64×64块有64个训练对。因此，对于更大的块，训练过程将会更复杂。

亮度补偿被单独地应用到每个颜色分量，例如：Y(亮度)，U(Cb)以及V(Cr)。训练过程也是单独地被执行。对于每个分量，参数a以及b是独立地被训练。

用于计算a以及b的基础过程如以下等式所示：

以及(1)

如上所述，亮度补偿的复杂性主要是因为编码器以及解码器中被用于训练更好的a以及b的线性最小二乘(linear least square，LLS)方法。基于LLS的训练过程需要多个常规乘法操作。根据现存的3D-HEVC或3D-AVC，亮度补偿过程被用于亮度以及色度分量两者的单向预测以及双向预测。因此，根据现存的3D-HEVC或3D-AVC，由于乘法操作，亮度补偿过程需要密集型计算。因此，希望简化亮度补偿过程，特别地是所包含的LLS过程。

于3D视频编码中，被称为依赖纹理的深度分区(texture-dependent depthpartition，TDDP)的编码工具已经被开发以用于利用纹理数据以及深度数据之间相关性的深度分区。于当前3D-HEVC中，为了减少冗余，在当前深度CU的对应CU(collocated codingunit)位于相同的四分树等级时，TDDP被使用。

图3所示为根据现存3D-HEVC的TDDP的所允许的深度分区以及对应纹理分区之间的对应，其中，非对称运动分区(asymmetric motion partition，AMP)被允许。纹理分区显示于左侧且深度分区显示于右侧。如图3所示，当位于相同四分树等级的对应纹理CU以垂直分区被编码，只有垂直分区以及2N×2N分区被允许用于对应深度CU。类似地，当位于相同的四分树等级的对应纹理CU以水平分区被编码时，只有水平分区以及2N×2N分区被允许用于对应深度CU。当位于相同的四分树等级的对应纹理CU以N×N分区被编码时，对应深度CU可以使用包括垂直以及水平分区、2N×2N分区以及N×N分区在内的所有分区。当位于相同的四分树等级的对应纹理CU以2N×2N分区被编码时，对应深度CU仅能使用2N×2N分区。如图3所示，垂直分区包括N×2N、nL×2N以及nR×2N，且水平分区包括N×2N、nL×2N以及nR×2N。表2以及表3显示了part_mode值以及用于帧间预测的预测分区之间的两种可能的对应。表2所显示的分区模式仅取决于part_mode。对于帧内编码，2N×2N以及N×N分区被允许，且part_mode的值为0或1。表3所显示的分区模式同时取决于part_mode以及分区变量partPredIdc。分区变量partPredIdc可被解释为一个纹理分区类型，其中，partPredIdc等于1表示水平分区，partPredIdc等于2表示垂直分区，且partPredIdc等于0表示其它分区(即，2N×2N或N×N)。

表2

表3

在语义中，当位于相同的四分树等级的对应纹理CU以水平或垂直分区来编码时，变量partPredIdc分别被设置为1或2。当对应纹理块具有较大深度或非水平以及非垂直分区时，partPredIdc被设置为0。以此方式，指示分区模式的part_mode旗标即可以由较短的二进制串来编码，也可以与HEVC中的做法相同。

然而，于现存的3D-HEVC(即，工作草案6)中，具有用于深度数据的分区模式的有效性检查。特别地，现存的3D-HEVC仅检查当前模式是否为帧内或帧间模式，以及AMP模式是否被启用。因此，当TDDP被使用且partPredIdc不等于0时，非法的分区模式可能由解码器接收。因此，希望能开发出一种用于TDDP的分区模式编码以确保非法的分区模式不会发生，或确保解码器在接收到非法的分区模式的情况下仍然能正常运行。

【发明内容】

本发明揭露了一种结合本发明实施例的用于三维或多视图视频编码系统的子预测单元(prediction unit，PU)语法元素信令的方法。与纹理子PU大小相关联的第一语法元素被传送仅用于纹理视频数据，且与深度子PU大小相关联的第二语法元素被传送仅用于深度视频数据。与纹理子PU大小相关联的第一语法元素用于导出被用于纹理块的视图间运动预测(inter-view motion prediction，IVMP)预测候选。与深度子PU大小相关联的第二语法元素被用于深度块的运动参数继承(motion parameter inheritance，MPI)预测候选。

第一语法元素以及第二语法元素可以于视频参数组(video parameter set，VPS)、序列参数组(sequence parameter set，SPS)、自适应参数组(adaptive parameterset，APS)、或切片标头中被传送。只有在每个纹理编码层的层ID大于零时，第一语法元素可以被传送。第一语法元素可对应于log2_sub_pb_size_minus3。只有当每个深度编码层的层ID大于零时，第二语法元素可以被传送。第二语法元素可对应于log2_mpi_sub_pb_size_minus3。

本发明还揭露了三维或多视图编码系统中视频数据的简化亮度补偿的方法。根据本发明的实施例，LLS过程(即，线性最小二乘过程)被略过(skip)或非LLS过程被用于导出由以下a、b、c所组成的组中选择的至少一个条件中的乘法项或偏置项，a、b、c所组成的组为：a)当视频数据由多个颜色分量组成时，至少一个颜色分量，b)于当前块使用多个预测方向被编码时，至少一个预测方向，以及c)于当前块使用多个帧间预测模式被编码时，至少一个帧间预测模式。

于当前块使用双向预测模式被编码时，用于导出双向预测模式中乘法项的LLS过程可被略过。于当前块使用双向预测模式被编码时，亮度补偿过程可被略过。可选地，当亮度补偿模式开启时，双向预测模式不会被使用。此外，当亮度补偿模式开启，视频流中指定预测方向的旗标可以被限制为前向(forward)预测方向或后向(backward)预测方向。

用于导出乘法项、偏置项或乘法项以及偏置项的非LLS过程可包括以下至少一个步骤：a)将乘法项以及偏置项设定为预定的值；b)仅将乘法项设定为预定的值，且以及从当前相邻样本以及参考相邻样本中导出偏置项；c)通过除法转换到乘法值运算(division-translated-to-multiplication values operation)来用对应于当前相邻样本的总和的分母(denominator)代替除法运算；以及d)根据来自传送于视频流中的语法元素的已解码值确定乘法项以及偏置项。例如，乘法项以及偏置项可分别被设置为1以及0。于另一示例中，乘法项可被设置为1，且偏置项可被设置为当前相邻样本的第一总和以及参考相邻样本的第二总和之间的差值。于又一示例中，乘法项以及偏置项是从传送于视频流的序列、图片、切片、CU、PU、或转换单元(transform unit，TU)等级的语法元素来确定。

当视频数据由多个颜色分量组成时，乘法项可被设置为1，且偏置项可被设置为用于色度分量的当前相邻样本的第一总和以及参考相邻样本的第二总和之间的差值。此外，于当前块小于M×L时，LLS过程可被略过以导出乘法项，其中，M以及L为正整数。如果双向预测被选择以用于当前块，LLS过程可被略过以导出乘法项以及偏置项，或前向预测方向被用于当前块以及其它预测信息保持不变。

本发明的另一方面解决了于3D或多视图编码系统中的非法的分区模式问题。在一个实施例中，编码器传送的语法元素part_mode具有取决于当前纹理分区变量的part_mode值以指示用于当前深度块的深度分区模式。当前纹理分区变量与同位纹理块的纹理分区模式的当前纹理分区类型相关联。编码器将确保所传送的语法元素part_mode总会导致用于深度块的合法分区模式。如果纹理分区变量具有对应于水平分区的值，所传送的语法元素part_mode被限制为水平模式或PART_2N×2N模式。如果非对称运动分区(asymmetricmotion partition，AMP)被允许，所传送的语法元素part_mode被限制于由PART_2N×2N模式、水平PART_2N×N模式、非对称水平2N×nU模式、以及非对称水平2N×nD模式所组成的组中。如果AMP不被允许，语法元素part_mode被限制于由PART_2N×2N模式以及水平PART_2N×N模式所组成的组中。

如果纹理分区变量具有对应于垂直分区的值，语法元素part_mode被限制为垂直模式或PART_2N×2N模式。如果AMP被允许，语法元素part_mode被限制于由PART_2N×2N模式、垂直PART_N×2N模式、非对称垂直nL×2N模式以及非对称垂直nR×2N模式所组成的组中。如果AMP不被允许，语法元素part_mode被限制于由PART_2N×2N模式以及垂直PART_N×2N模式所组成的组中。

如果纹理分区变量具有对应于水平分区或垂直分区的值，语法元素part_mode被限制为水平模式或PART_2N×2N模式。

在另一实施例中，用于解决3D以及多视图编码系统中非法的分区模式问题于解码器侧实现。解码器根据纹理预测信息确定用于语法元素part_mode的语法值是否合法。如果语法值不合法，语法值将由合法语法值来替代。接着，当前深度块根据由纹理预测信息以及具有合法语法值的语法元素part_mode共同指示的深度分区被解码。例如，如果用于当前纹理块的纹理预测模式以及分区对应于帧内模式或帧间模式，深度分区可被分别设置为PART_2N×2N帧内模式或PART_2N×2N帧间模式。于另一示例，如果用于当前纹理块的纹理预测模式以及分区对应于具有水平分区或垂直分区的帧间模式，深度分区可被分别设置为水平PART_2N×N模式或垂直PART_N×2N模式。于又一示例中，如果所接收的语法元素part_mode对应于一个合法AMP模式，且如果所接收的语法元素part_mode为非对称水平2N×nU模式或非对称水平2N×nD模式，深度分区被设置为水平PART_2N×N帧间模式。如果所接收的语法元素part_mode为非对称垂直nL×2N模式以及非对称垂直nR×2N模式，深度分区可被设置为垂直PART_N×2N帧间模式。

【附图说明】

图1所示为根据现存的3D-HEVC的亮度补偿的示例。

图2所示为根据现存的3D-HEVC的使用相邻样本作为训练样本的用于亮度补偿的线性模型导出的示例。

图3所示为根据现存的3D-HEVC的用于对应纹理块的不同预测分区的当前候选深度预测分区。

图4所示为根据本发明实施例的结合用于导出模型参数的简化的线性最小二乘(linear least squares，LLS)过程的编码系统的示范性流程图。

图5所示为根据本发明实施例的使用子PU大小语法元素信令的3D或多视图编码系统的示范性流程图。

图6所示为根据本发明实施例的使用用于导出模型参数的简化的LLS过程的3D或多视图编码系统的示范性流程图。

图7所示为根据本发明实施例的结合依赖纹理的深度分区模式编码的3D或多视图编码系统的示范性流程图。

图8所示为根据本发明实施例的结合依赖纹理的深度分区模式解码的3D或多视图编码系统的示范性流程图。

【具体实施方式】

下文的描述是实施本发明的最佳预期模式。这种描述是为了说明本发明的一般原理，而不应被理解成对本发明的限制。本发明的范围可通过参考所附权利要求做最好的确定。

如上所述，现存的3D-HEVC中，用于视图间运动预测(inter-view motionprediction，IVMP)以及运动参数继承(motion parameter inheritance，MPI)的子预测单元(prediction unit，PU)语法元素信令可能会具有冗余。因此，本发明揭露了一种传送子PU大小语法元素的改进的方法，其中，相同的语法元素被用于子PU等级IVMP以及子PU等级MPI，或子PU大小语法元素仅当被需要时传送。

在用于IVMP以及MPI的子PU语法信令的第一实施例中，如表4所示，子PU大小由所有层共用且由视频参数组(video parameter set，VPS)中的log2_sub_pb_size_minus3指示。根据本实施例，因为子PU大小由所有层共用，语法元素log2_sub_pb_size_minus3(由表4中注解4-1所指示)不依赖于层ID。于纹理编码中，log2_sub_pb_size_minus3指示IVMP的子PU大小。于深度编码中，log2_sub_pb_size_minus3指示MPI的子PU大小。

表4

在用于IVMP以及MPI的子PU语法元素信令的第二实施例中，如表5所示，子PU大小被传送到层ID大于0的每个层，且大小语法元素(size syntax element)由IVMP以及MPI共用，其中，层ID大于零指示附属视图，且层ID等于零指示基础视图。因此，语法元素log2_sub_pb_size_minus3[layerId](由表5中注解5-1所指示)被传送到层ID大于0的每个层以指示纹理编码中的IVMP的子PU大小以及深度编码中的MPI的子PU大小。与表1中的现有语法设计相比较，用于MPI的子PU大小log2_mpi_sub_pb_size_minus3不会被传送。

表5

log2_sub_pb_size_minus3的传送还可以IVMP以及MPI的使用作为条件。如果IVMP或MPI被使用(例如，iv_mv_pred_flag等于1或mpi_flag等于1)，则log2_sub_pb_size_minus3被传送。否则，log2_sub_pb_size_minus3不会被传送。

语法元素iv_mv_pred_flag以及mpi_flag还可被所有层共享，且于VPS中仅被传送一次。对于其它子PU等级技术，类似的用于子PU语法元素的统一方法可以被使用。

在用于IVMP以及MPI的子PU语法元素信令的第三实施例中，如表6所示，语法元素log2_sub_pb_size_minus3仅被发送到层ID大于零的每个纹理编码层以指示IVMP的子PU大小，其中，层ID大于零指示附属视图，且层ID等于零指示基础视图。如表6所示，语法元素log2_sub_pb_size_minus3[layerId](由表6中注解6-1所指示)的位置位于条件“if(！VpsDepthFlag[layerId])”中，其中，当层为纹理数据时，该条件被断言(asserted)。换句话说，语法元素log2_sub_pb_size_minus3[layerId]只在用于纹理数据时被并入。

表6

在用于IVMP以及MPI的子PU语法元素信令的第四实施例中，如表7所示，语法元素log2_mpi_sub_pb_size_minus3[layerId](由表7中注解7-1所指示)也被发送到层ID大于零的每个深度编码层以指示MPI的子PU大小，其中，层ID大于零指示附属视图。因为当条件“if(！VpsDepthFlag[layerId])”为假(false)时，语法元素log2_mpi_sub_pb_size_minus3[layerId]被并入，其对应于深度数据。换句话说，语法元素log2_mpi_sub_pb_size_minus3[layerId]只在用于深度数据时被并入。具体而言，当层ID大于零时，语法元素log2_sub_pb_size_minus3[layerId](由表7中注解6-1所指示)只在用于纹理编码层时被传送，而语法元素log2_mpi_sub_pb_size_minus3[layerId]只在用于深度编码层时被传送。对于具有层ID等于零的深度编码层(指示基础视图)，语法元素log2_mpi_sub_pb_size_minus3[layerId]被传送以指示此深度编码层的子PU大小。对于层ID等于零的纹理编码层，语法元素log2_sub_pb_size_minus3[layerId]将不会被发送到解码器。可选地，语法元素log2_sub_pb_size_minus3[layerId]可被发送，但是将不会被解码器所使用。

表7

用于IVMP以及MPI的所有相关的子PU语法元素还可于其它的高级语法(例如，序列参数组(sequence parameter set，SPS)、自适应参数组(adaptive parameter set，APS)、或切片标头)中被传送。以上方法也被应用于其他使用子PU等级处理的技术。

本发明的另一方面解决了亮度补偿过程。特别地，本发明揭露了通过减少线性最小二乘(linear least squares，LLS)过程的使用频率来进一步减少亮度补偿的复杂性的方法。本发明还检查是否LLS可以被略过。图4所示为根据本发明实施例的LLS略过的示例。于步骤410中，图4所示的示例确定预测方向。于步骤420中，检查预测方向是否为双向。如果结果为“是”，此过程进行至步骤470且不应用LLS来导出线性模型(例如，线性函数)的参数a(即，乘法项)以及参数b(即，偏置项)，其中，线性模型用于将当前块的当前样本关联至参考视图中参考块的参考样本。如果结果为“否”，此过程进行至步骤430以进一步确定块大小。于步骤440中，检查块大小是否小于M×L。如果结果为“是”，此过程进行至步骤470且没用LLS被应用于导出参数a以及b。如果结果为“否”，此过程进行至步骤450以进一步确定颜色分量。于步骤460中，检查颜色分量是否为色度分量。如果结果为“是”，此过程进行至步骤470且没有LLS被应用于导出参数a以及b。如果结果为“否”，此过程进行至步骤480且LLS被应用于导出参数a以及b。

于简化的亮度补偿过程的第一实施例中，在亮度补偿模式中，如果当前已导出的预测方向为双向预测，则双向预测被设置为前向预测方向，且其它预测信息没有变化。可选地，根据本实施例的亮度补偿过程可基于非LLS方法导出参数a以及b。

于简化的亮度补偿过程的第二实施例中，编码器将不会执行用于亮度补偿模式的双向预测，或将不会执行LLS过程来计算参数a以及b。

于简化的亮度补偿过程的第三实施例中，解码器将不会执行用于亮度补偿模式的双向预测，或将不会执行LLS过程来导出参数a以及b。

于简化的亮度补偿过程的第四实施例中，在当前块于亮度补偿模式中被编码时，视频比特流中识别预测方向的旗标被限制为前向方向以及后向方向。

于简化的亮度补偿过程的第五实施例中，在当前块于亮度补偿模式中被编码时，不是所有的颜色分量使用LLS过程来导出参数a以及b。

于简化的亮度补偿过程的第六实施例中，在当前块于亮度补偿模式中被编码时，且如果块大小小于M×L，则参数a等于用于某些颜色分量的Σy(i)/Σx(i)的舍入值(rounding value)，其中，y(i)对应于当前块的相邻样本，且x(i)为参考块的相邻样本。M以及L为正整数。

于简化的亮度补偿过程的第七实施例中，在当前块于亮度补偿模式中被编码时，且如果块大小小于M×L，参数a等于Σy(i)/Σx(i)的除法转换到乘法值(division-translated-to-multiplication values)。

于简化的亮度补偿过程的第八实施例中，在当前块于亮度补偿模式中被编码时，且如果块大小小于M×L，参数a等于1，且b等于用于某些颜色分量的Σy(i)-Σx(i)。

于简化的亮度补偿过程的第九实施例中，在当前块于亮度补偿模式中被编码时，且如果块大小小于M×L，参数a等于由用于某些颜色分量的某些附加的旗标导出的对应值。附加的旗标是于序列、切片、CU或TU等级中被传送。

于简化的亮度补偿过程的第十实施例中，在当前块于亮度补偿模式中被编码时，且如果块大小小于M×L，亮度补偿过程不会使用用于某些颜色分量的亮度补偿过程。作为替换，用于这些颜色分量的亮度补偿过程使用正常的预测模式(其等效于具有参数a＝1以及b＝0的亮度补偿过程)来完成预测。

于简化的亮度补偿过程的第十一实施例中，当前块于亮度补偿模式中被编码时，如果块大小小于M×L，亮度补偿过程不会使用LLS过程来计算用于色度分量的参数a。作为替换，用于这些色度分量的参数a被设置为1。

于简化的亮度补偿过程的第十二实施例中，以上实施例所提到的任何实例中，M以及L的值可被设置为大于64。

以上所述的实施例也可被合并。例如，当双向预测被使用，如第一实施例所描述的双向预测可被设置为前向预测方向。同时，根据第六实施例，用于某些颜色分量的参数a可等于Σy(i)/Σx(i)的舍入值。

结合本发明实施例的系统的性能与现有系统的性能做比较。当亮度补偿开启，结合本发明实施例的系统禁用双向预测。另一方面，当亮度补偿开启，现有的系统启用双向预测。由于简化的亮度补偿过程，在BD率方面的性能损耗非常小(大概为0.01％)。在视频编码领域，BD率是公知的性能度量。换句话说，本实施例简化了亮度补偿过程而不会有性能恶化。在另一实施例中，用于色度分量的参数a导出被禁用。再次说明，由于简化的亮度补偿过程，在BD率方面的性能损耗非常小(大概为0.01％)。

本发明通过处理用于解码器侧的不合法的part_mode值，和/或当纹理分区变量(例如partPredIdc)不等于0时，通过对分区模式的语法元素(例如，part_mode)的值范围施加限制，进一步解决了用于3D以及多视图视频编码系统的分区模式编码问题。

于分区模式编码的第一实施例中，当partPredIdc等于1(即，指示水平分区)时，只有对应于水平以及2N×2N分区的part_mode值被允许。

于分区模式旗标编码的第二实施例中，当partPredIdc等于2(即，指示垂直分区)，只有对应于垂直以及2N×2N分区的part_mode值被允许。

于分区模式旗标编码的第三实施例中，如果不同partPredIdc值中相同part_mode值指示相同分区模式以及非对称运动分区(asymmetric motion partition，AMP)模式被允许，当partPredIdc等于1时，只有0、1、4以及5(即，2N×2N，2N×N，2N×nU以及2N×nD)的part_mode值被允许。

于分区模式旗标编码的第四实施例中，如果不同partPredIdc值中相同part_mode值指示相同分区模式以及AMP模式不被允许，当partPredIdc等于2时，只有0以及2(即，2N×2N以及N×2N)的part_mode值被允许。

于分区模式旗标编码的第五实施例中，如果不同partPredIdc值中相同part_mode值指示相同分区模式以及AMP模式不被允许，当partPredIdc等于1时，只有0以及1(即，2N×2N以及2N×N)的part_mode值被允许。

于分区模式旗标编码的第六实施例中，如果不同partPredIdc值中相同part_mode值指示不同分区模式以及AMP模式被允许，当partPredIdc不等于0时，只有0、1、2以及3(即，2N×2N，2N×N，N×2N以及N×N)的part_mode值被允许。

于分区模式旗标编码的第七实施例中，如果不同partPredIdc值中相同part_mode值指示不同分区模式以及AMP模式不被允许，当partPredIdc不等于0时，只有0以及1(即，2N×2N以及2N×N)的part_mode值被允许。

于分区模式旗标编码的第八实施例中，如果被传送或被解码的part_mode是不合法的，合法模式中的一个指定分区模式被设置以用于当前预测单元。

于分区模式旗标编码的第九实施例中，如果被传送或被解码的part_mode是不合法的且当前预测模式为帧间模式，则当前预测单元使用2N×2N帧间模式。

于分区模式旗标编码的第十实施例中，如果被传送或被解码的part_mode是不合法的且当前预测模式为帧内模式，则当前预测单元使用2N×2N帧内模式。

于分区模式旗标编码的第十一实施例中，如果被传送或被解码的part_mode是不合法的且当前预测模式为帧间模式，当partPredIdc等于1时，当前预测单元使用2N×N帧间模式。

于分区模式旗标编码的第十二实施例中，如果被传送或被解码的part_mode是不合法的且当前预测模式为帧间模式，当partPredIdc等于2时，当前预测单元使用N×2N帧间模式。

于分区模式旗标编码的第十三实施例中，如果被传送或被解码的part_mode是不合法的AMP模式，当已解码分区模式为nL×2N或nR×2N时，当前预测单元使用N×2N帧间模式。

于分区模式旗标编码的第十四实施例中，如果被传送或被解码的part_mode是不合法的AMP模式，当已解码的分区模式为2N×nU或2N×nD时，当前预测单元使用2N×N帧间模式。

于分区模式旗标编码的第十五实施例中，如果被传送或被解码的part_mode是不合法的且当前预测模式为帧间模式，当前预测单元使用已解码的不合法帧间模式。

图5所示为根据本发明实施例的结合用于纹理数据以及深度数据的子PU语法元素编码的三维或多视图视频编码系统的示范性流程图。如步骤510所示，系统接收与当前PU相关联的输入数据。对于编码，输入数据对应于待编码的纹理数据或深度数据。对于解码，输入数据对应于待解码的已编码纹理数据或深度数据。输入数据可以从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)或处理器中得到。如步骤520所示，只有用于纹理视频数据时，与纹理子PU大小相关联的第一语法元素被传送(对于编码器)或解析(对于解码器)。于步骤530中，只有用于深度视频数据时，与深度子PU大小相关联的第二语法元素被传送(对于编码器)或解析(对于解码器)。于步骤540中，检查当前PU是否为纹理PU。如果结果为“是”(即，当前PU是纹理PU)，对应于用于附属视图中的纹理数据的IVMP的步骤552、562以及572被执行。如果结果为“否”(即，当前PU为深度PU)，对应于用于深度编码的MPI的步骤554、564以及574被执行。于步骤552中，根据纹理子PU大小，定位参考视图中对应于从当前PU分区的纹理子PU的参考纹理子PU。于步骤562中，识别与参考纹理子PU相关联的第一运动信息。于步骤572中，根据包括IVMP的纹理多候选运动预测，使用第一运动信息编码或解码纹理子PU。于步骤554中，根据深度子PU大小，定位参考视图中对应于从当前PU分区的深度子PU的同位纹理子PU。于步骤564中，识别与同位纹理子PU相关联的第二运动信息。于步骤574中，根据包括MPI的深度多候选运动预测，使用第二运动信息来编码或解码深度子PU。

图6所示为根据本发明实施例的使用用于导出模型参数的简化LLS过程的3D或多视图编码系统的示范性流程图。于步骤610中，系统接收与附属视图中当前纹理图片的当前块相关联的输入数据。于步骤620中，识别用于当前块的参考视图中的参考纹理图片的参考块。于步骤630中，识别当前纹理图片中的当前块的当前相邻样本。于步骤640中，识别参考纹理图片中参考块的参考相邻样本。于步骤650中，基于当前相邻样本以及参考相邻样本，确定将当前样本相关到参考样本的线性模型。在线性模型导出中，LLS过程(线性最小二乘过程)被略过或非LLS过程被用于在相同条件下导出线性模型，其中，一个或多个条件是从由以下条件组成的组中选择：

a)多颜色中的至少一个颜色分量，

b)多方向中至少一个预测方向，以及

c)多帧间预测模式中至少一个帧间预测模式。

于步骤660中，将使用包括乘法项以及偏置项的线性模型来导出的亮度补偿应用到参考块以形成最终参考块。于步骤670中，编码或解码使用最终参考块作为预测子的当前块。

图7所示为根据本发明实施例的结合依赖纹理的深度分区模式编码的3D或多视图编码系统的示范性流程图。如上所述，根据本发明，现存的3D-HEVC或3D-AVC中分区模式编码的问题可于编码器侧和/或解码器侧被解决。图7中的流程图对应于编码器侧的实施例。于步骤710中，接收与当前深度块相关联的输入数据。于步骤720中，识别用于同位纹理块的当前纹理分区模式，其中，当前纹理分区模式是从被分类为由纹理分区变量partPredIdc所表示的多个纹理分区类型的一组纹理分区模式中选择。例如，如表2以及表3所示，这组纹理分区模式对应于用于帧间编码的具有从0到7的值的分区模式。多个纹理分区类型可对应于与纹理分区变量partPredIdc相关联的纹理分区类型。于现存的3D-HEVC中，partPredIdc的值为1指示水平分区被使用，且partPredIdc的值为2指示垂直分区被使用。当partPredIdc等于0，2N×2N分区模式或N×N分区模式被使用。于步骤730中，传送具有取决于当前纹理分区变量partPredIdc的part_mode值的语法元素part_mode以指示用于当前深度块的深度分区模式以及当前纹理分区变量partPredIdc，其中，当前纹理分区变量partPredIdc相关联于同位纹理块的纹理分区模式的当前纹理分区类型。表3所示为由partPredIdc共同识别深度分区的示例。于步骤740中，根据深度分区模式编码当前深度块。

图8所示为根据本发明实施例的结合依赖纹理的深度分区模式解码的3D或多视图编码系统的示范性流程图。于步骤810中，接收视频比特流。于步骤820中，确定用于当前纹理块的关于纹理预测模式以及分区的纹理预测信息。于步骤830中，确定对应于与当前纹理块同位的当前深度块的深度分区的语法元素part_mode。于步骤840中，根据纹理预测信息确定语法元素part_mode的语法值是否为合法的。于步骤850中，如果语法值不合法，此语法值由合法语法值来替换，且根据由纹理预测信息以及具有合法语法值的语法元素part_mode共同指示的深度分区来解码当前深度块。

根据本发明的实施例，以上所示的流程图旨在说明3D以及多视图编码的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分割步骤，或合并步骤来实施本发明。

以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。

如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片的一个或多个电子电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。

在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (12)

1.一种用于视频数据的三维或多视图视频编码的分区模式编码方法，其特征在于，所述方法包括：

接收与当前深度块相关联的输入数据；

识别用于同位纹理块的当前纹理分区模式，其中，所述当前纹理分区模式是从一纹理分区模式组中选择，所述纹理分区模式被分类为由纹理分区变量表示的多个纹理分区类型；

传送具有取决于当前纹理分区变量的part_mode值的语法元素part_mode以指示用于所述当前深度块的深度分区模式，其中，所述当前纹理分区变量与所述同位纹理块的所述纹理分区模式的当前纹理分区类型相关联；以及

根据所述深度分区模式编码所述当前深度块。

2.如权利要求1所述的用于视频数据的三维或多视图视频编码的分区模式编码方法，其特征在于，如果所述纹理分区变量具有对应于水平分区的值，所述语法元素part_mode被限制为水平模式或PART_2N×2N模式。

3.如权利要求2所述的用于视频数据的三维或多视图视频编码的分区模式编码方法，其特征在于，如果非对称运动分区被允许，所述语法元素part_mode被限制于由PART_2N×2N模式、水平PART_2N×N模式、非对称水平2N×nU模式以及非对称水平2N×nD模式所组成的组中。

4.如权利要求2所述的用于视频数据的三维或多视图视频编码的分区模式编码方法，其特征在于，如果非对称运动分区不被允许，所述语法元素part_mode被限制于由PART_2N×2N模式以及水平PART_2N×N模式所组成的组中。

5.如权利要求1所述的用于视频数据的三维或多视图视频编码的分区模式编码方法，其特征在于，如果所述纹理分区变量具有对应于垂直分区的值，所述语法元素part_mode被限制为垂直模式或PART_2N×2N模式。

6.如权利要求5所述的用于视频数据的三维或多视图视频编码的分区模式编码方法，其特征在于，如果非对称运动分区被允许，所述语法元素part_mode被限制于由PART_2N×2N模式、垂直PART_N×2N模式、非对称垂直nL×2N模式以及非对称垂直nR×2N模式所组成的组中。

7.如权利要求5所述的用于视频数据的三维或多视图视频编码的分区模式编码方法，其特征在于，如果非对称运动分区不被允许，所述语法元素part_mode被限制于由PART_2N×2N模式以及垂直PART_N×2N模式所组成的组中。

8.如权利要求1所述的用于视频数据的三维或多视图视频编码的分区模式编码方法，其特征在于，如果所述纹理分区变量具有对应于水平分区或垂直分区的值，所述语法元素part_mode被限制为水平模式或PART_2N×2N模式。

9.一种用于视频数据的三维或多视图视频解码的分区模式编码的方法，其特征在于，所述方法包括：

接收视频比特流；

确定与用于当前纹理块的纹理预测模式及分区相关的纹理预测信息；

确定语法元素part_mode，所述语法元素part_mode对应于用于与所述当前纹理块同位的当前深度块的深度分区；

根据所述纹理预测信息，确定用于所述语法元素part_mode的语法值是否合法；以及

如果所述语法值不合法，使用合法语法值来替代所述语法值，以及根据由所述纹理预测信息以及具有所述合法语法值的所述语法元素part_mode共同指示的所述深度分区来解码所述当前深度块。

10.如权利要求9所述的用于视频数据的三维或多视图视频解码的分区模式编码的方法，其特征在于，如果用于所述当前纹理块的所述纹理预测模式以及分区对应于帧内模式，则所述深度分区被设置为PART_2N×2N帧内模式；如果用于所述当前纹理块的所述纹理预测模式以及分区对应于帧间模式，则所述深度分区被设置为PART_2N×2N帧间模式。

11.如权利要求9所述的用于视频数据的三维或多视图视频解码的分区模式编码的方法，其特征在于，如果用于所述当前纹理块的所述纹理预测模式以及分区对应于具有水平分区的帧间模式，则所述深度分区被设置为水平PART_2N×N模式；如果用于所述当前纹理块的所述纹理预测模式以及分区对应于具有垂直分区的帧间模式，则所述深度分区被设置为垂直PART_N×2N模式。

12.如权利要求9所述的用于视频数据的三维或多视图视频解码的分区模式编码的方法，其特征在于，如果所接收的所述语法元素part_mode对应于一个不合法的非对称运动分区模式，且如果所接收的所述语法元素part_mode为非对称水平2N×nU模式或非对称水平2N×nD模式，所述深度分区被设置为水平PART_2N×N帧间模式，以及如果所接收的所述语法元素part_mode为非对称垂直nL×2N模式以及非对称垂直nR×2N模式，所述深度分区被设置为垂直PART_N×2N帧间模式。