CN104935940B - 基于深度的块分割的信号传递方法 - Google Patents

Abstract

本发明提供至少一种基于深度的块分割的信号传递方法，其中一种用于多视点或三维视频解码的基于深度的块分割的信号传递方法包含：接收包含纹理图像中当前纹理编码单元的编码数据的比特流；从一组包含非2N×N分块模式的候选预测模式中为当前纹理编码单元确定预测分块模式，以用于将当前纹理编码单元分割为一个或多个预测单元；从比特流中解析出基于深度的块分割标志，以用于当前纹理编码单元的所有候选预测模式；以及若基于深度的块分割标志指示当前纹理编码单元使用基于深度的块分割，则从比特流中产生与当前纹理编码单元有关的一个或多个预测单元，并对编码后的当前纹理编码单元使用基于深度的块分割解码，以恢复当前纹理编码单元。

Description

基于深度的块分割的信号传递方法

相关案的交叉引用

本发明要求主张2014年3月17日提出的编号为PCT/CN2014/073547且命名为“Method of Signaling of Depth-Based Block Partitioning Mode for Three-Dimensional and Multi-View Video Coding(用于三维及多视点视频编码的基于深度的块分割模式的信号传递方法)”的PCT专利申请，2014年3月20日提出的编号为61/955868且命名为“Method of Signaling for PCM,SDC,and DBBP modes in 3-D and MultiviewVideo Coding(三维及多视点视频编码中脉冲编码调制模式，基于智能分割的直流系数编码模式及基于深度的块分割模式的信号传递方法)”美国临时专利申请，以及2014年6月26日提出的编号为PCT/CN2014/080862且命名为“Methods for the Transmission of FlagsRelated to DBBP(与基于深度的块分割有关的标志传送方法)”的PCT专利申请。这些PCT专利申请及美国临时专利申请的全部内容在此引用并合并参考。

技术领域

本发明是有关于三维(Three-dimensional,3D)及多视点(multi-view)视频编码，更具体地，本发明是有关于基于深度的块分割(Depth-Based Block Partitioning,DBBP)的信号传递以改善编码效率。

背景技术

3D电视(Television,TV)已成为近年来的技术发展趋势，趋向于为观看者带来生动的观看体验。各种技术已开发用于实现3D观看。在这些技术中，多视点视频是3DTV应用中的一项关键技术。传统视频是一种二维(Two-Dimensional,2D)媒体，仅为观看者提供来自摄像机(camera)视角(perspective)的场景(scene)的单一视点。然而，3D视频能够提供任意视点的动态场景，并为观看者提供身临其境的感受。

为了降低视点间(inter-view)冗余，视差补偿预测(Disparity-CompensatedPrediction,DCP)已用作运动补偿预测(Motion-Compensated Prediction,MCP)的一种可替代选择。图1显示使用运动补偿预测和视差补偿预测的三维/多视点编码的实施例。如图1所示，MCP指使用不同存取单元(access unit)中相同视点的已编码图像的图像间(inter-picture)预测，而DCP指使用相同存取单元中其它视点的已编码图像的图像间预测。3D/多视点数据包含纹理图像(texture pictures)(110)和深度图像(depth maps)(120)。运动补偿预测在时域(temporal)方向上(即，图1中的水平方向)应用于纹理图像或深度图像。视差补偿预测在视点方向上(即，图1中的垂直方向)应用于纹理图像或深度图像。用于DCP的矢量被称为视差矢量(Disparity Vector,DV)，类似于MCP中所使用的运动矢量(MotionVector,MV)。

作为高效视频编码(High Efficiency Video Coding,HEVC)的扩展，3D-HEVC(基于HEVC标准的3D视频编码)是开发用于3D视频的编码/解码。多个视点中的一个作为基础视点或独立视点。基础视点的编码与其它视点以及深度数据相互独立。此外，基础视点使用传统HEVC视频编码器进行编码。

在3D-HEVC中，仍然使用混合的基于区块的运动补偿DCT相似变换(Block-BasedMotion-Compensated DCT-like Transform)编码结构。压缩的基础单元，称为编码单元(Coding Unit,CU)，是2N×2N方块(N为大于等于4小于等于32的自然数)，且每个CU可递归地(recursively)切分为四个更小的CU，直至达到预定的最小尺寸。每个CU包含一个或多个预测单元(Prediction Units,PUs)。PU尺寸可为2N×2N，2N×N，N×2N或N×N。当支持非对称式运动分块(Asymmetric Motion Partition,AMP)时，PU尺寸也可为2N×nU，2N×nD，nL×2N及nR×2N(请参见3D-HEVC标准)。

3D视频通常通过使用配备抓取深度信息的有关装置的视频摄像机抓取场景来创建，或者同时使用多个摄像机抓取场景来创建，其中，这里的多个摄像机适当排布位置以便每个摄像机抓取一个视点的场景。对应于场景的纹理数据及深度数据通常展示出相当高的相关性。因此，深度信息可用于改善纹理数据的编码效率或降低处理复杂度，反之亦然。例如，纹理块的对应深度块揭示对应于像素级别的目标分割的类似信息。因此，深度信息可有助于实现基于像素级别分割的运动补偿。相应地，DBBP已用于当前3D-HEVC中的纹理视频编码。

在DBBP模式中，共位纹理块(collocated texture block)的任意形状的块分割是基于二元分割掩模(binary segmentation mask)来产生的，该二元分割掩模是由对应的深度图像计算得到的。两个分块(partitions)(例如前景块和背景块)分别进行运动补偿之后根据基于深度的分割掩模进行合并(merged)。

单个标志加入编码语法以发送信号至解码器，告知相关(underlying)的块使用DBBP进行预测。当当前编码单元使用DBBP模式编码时，对应的分块尺寸设置为SIZE_2N×2N，并继承了双向预测(bi-prediction)。

图2显示在从视点(dependent view)中当前纹理块的参考视点中产生对应深度块的产生处理示意图。如图2所示，由面向深度的相邻块视差矢量(Depth-orientedNeighboring Block Disparity Vector,DoNBDV)处理所产生的视差矢量用于识别参考视点中的对应深度块。在图2中，在从视点中，当前纹理块210的参考视点中的对应深度块220的位置是基于当前纹理块的位置及所产生的DV 212，其中DV 212是根据3D-HEVC标准使用DoNBDV产生的。对应的深度块具有与当前纹理块相同的尺寸。当找到深度块时，基于对应深度块内所有深度像素的平均值计算一阈值。此后，基于深度值及该阈值产生二元分割掩模m_D(x,y)。当位于相关坐标(x,y)处的深度值大于阈值时，二元分割掩模m_D(x,y)设置为1。否则，m_D(x,y)设置为0。图3显示基于从视点中当前纹理块的参考视点中对应深度块产生分割掩模的产生处理示意图。如图3所示为举例。在步骤320中，确定虚拟(virtual)块(310)的平均值。在步骤330中，将虚拟深度取样(samples)值与平均深度值进行比较，以产生分割掩模340。分割掩模以二进制数据进行表示，以指示相关像素属于分割部分(segment)1还是分割部分2，其中分割部分1和分割部分2在图3中由两种不同的线型所指示。

DoNBDV处理通过由深度图像中提取更加准确的视差矢量来增强相邻块视差矢量(Neighboring Block Disparity Vector,NBDV)。NBDV是基于相邻块的视差矢量来产生的。由NBDV处理所产生的视差矢量用于存取参考视点中的深度数据。然后，由深度数据中产生最后的视差矢量。

DBBP处理将2N×2N块分割为两个分块。为每个分块确定运动矢量。在解码处理中，两个解码运动参数中的每个是用于对整个2N×2N块所执行的运动补偿。作为结果的预测信号，即p_T0(x,y)和p_T1(x,y)使用DBBP掩模m_D(x,y)进行结合，如图4所示。结合处理定义如下

图4显示使用DBBP的3D或多视点编码的处理流程图。在图4中，根据分割掩模，以逐个像素为基础两个预测块合并为一个，这个过程称为双向分割补偿。在本实施例中，选择N×2N块分割类型，并分别为两个分块产生两个对应的运动向量(MV1和MV2)。每个运动向量用于补偿真个纹理块(410)。相应地，运动向量MV1用于纹理块420以根据运动向量MV1产生预测块430，以及运动向量MV2也用于纹理块420以根据运动向量MV2产生预测块432。两个预测块通过使用各自的分割掩模(440和442)进行合并，以产生最后的预测块450。

根据当前的3D-HEVC标准(Gerhard Tech等人，3D-HEVC Draft Text 3,JointCollaborative Team on 3D Video Coding Extension Development of ITU-T SG 16WP3and ISO/IEC JTC 1/SC 29/WG 11,7th Meeting:San Jose,USA,9Jan–17Jan.2014，文档号:JCT3V-G1001-v1)，如表1A所示，编码单元是否使用DBBP模式会以信号形式发出。在当前的设计中，DBBP标志dbbp_flag[x0][y0]根据传送的分块模式(由part_mode解码得到的PartMode)进行有条件性的信号发送。仅当传送的分块模式PartMode等于2N×N分块时，才会发送该标志的信号。

表1A

如表1A所示，当备注(1-1)所指示的条件满足时，如备注(1-2)所指示，结合了(incorporate)语法元素part_mode。当备注(1-3)所指示的条件满足时，如备注(1-4)所指示包含DBBP标志(即，dbbp_flag[x0][y0])。由备注(1-3)所指示的条件对应于出现DBBP标志(即depth_based_blk_part_flag[nuh_layer_id]＝＝1，nuh_layer_id为当前图像层次号)且分块模式为2N×N(即，PartMode＝＝PART_2N×N)。在表1A中，对于任意假定变量layerId,depth_based_blk_part_flag[layerId]等于0表示基于深度的块分割不适用于nuh_layer_id等于layerId的层(layer)。depth_based_blk_part_flag[layerId]等于1表示基于深度的块分割可用于nuh_layer_id等于layerId的层。当语法元素depth_based_blk_part_flag[layerId]未出现时，depth_based_blk_part_flag[layerId]的值推断为等于0。在解码端，解析(parse)得到DBBP标志(即，dbbp_flag[x0][y0])。然后，根据DBBP标志，DBBP解码处理将有条件性地应用于当前编码单元。若DBBP标志指示当前解码单元为DBBP编码，则对当前编码单元应用DBBP解码处理。

在表1A中，part_mode表示当前编码单元分割为一个或多个预测单元的分块模式。part_mode的语义取决于CuPredMode[x0][y0](即，当前块的预测模式)。变量PartMode是由part_mode的值产生的。在表1A中，变量prePartModeFlag表示part_mode是否通过分量间(inter-component)预测来进行预测。因此，条件“log2CbSize＝＝MinCbLog2SizeY)&&！predPartModeFlag”对应于“当前编码单元是最小编码单元且part_mode不是通过分量间预测进行预测的”。在解码端，解析语法元素part_mode。相应地，确定预测分块模式(即PartMode)。根据预测分块模式，编码单元分割为一个或多个预测单元。然后，对该一个或多个预测单元使用解码处理。

在3D-HEVC中，基于智能分割的直流系数编码方法(Segment-wise DC Coding,SDC)提供了一种可选的残差编码(residual coding)方法。利用SDC对残差数据(一个预测单元内的一个或两个常数残差值)进行编码，无需变换(transform)和量化(quantization)处理。以编码单元级别在编码单元参数结构中发送是否使用SDC的信号。使用SDC编码的编码单元的分割尺寸总是2N×2N。SDC可应用于所有深度帧内预测(intra prediction)模式，包含HEVC帧内预测模式和深度模型编码模式(Depth Modeling Modes,DMM)。对于HEVC帧内预测模式，整个预测单元视为一个分割部分，而对于DMM模式，存在两个分割部分。根据当前的3D-HEVC标准(Gerhard Tech等人，3D-HEVC Draft Text 3,Joint Collaborative Teamon 3D Video Coding Extension Development of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,7th Meeting:San Jose,USA,9Jan–17Jan.2014，文档号:JCT3V-G1001)与DBBP和SDC有关的编码单元级别的语法如表1B所示。编码单元扩展(coding unitextension)语法如表1C所示。

表1B

表1C

在表1B中，pcm_flag[x0][y0]等于1表示在位于坐标(x0,y0)处的编码单元中出现pcm_sample()语法结构以及未出现transform_tree()语法结构。pcm_flag[x0][y0]等于0表示pcm_sample()语法结构未出现。当pcm_flag[x0][y0]未出现时，可推断其等于0。脉冲编码调制(Pulse Coded Modulation,PCM)的表达是用于3D-HEVC的视频编码模式，其中，视频数据在传送时无需变换和预测。换言之，当选择PCM模式(如pcm_flag[x0][y0]所指示)时，发送视频取样(即，pcm_sample())。当i＝1..nCbS–1，j＝1..nCbS–1时，pcm_flag[x0+i][y0+j]的值推断为等于pcm_flag[x0][y0]，其中，nCbS对应于编码单元宽度。

在上述表格中，变量sdcEnableFlag指示是否使用SDC模式，且sdcEnableFlag的值产生如下

·若CuPredMode[x0][y0]等于MODE_INTER，则sdcEnableFlag设为等于(vps_inter_sdc_flag[nuh_layer_id]&&PartMode＝＝PART_2Nx2N)

·否则，若CuPredMode[x0][y0]等于MODE_INTRA，则sdcEnableFlag设为等于(vps_depth_modes_flag[nuh_layer_id]&&PartMode[x0][y0]＝＝PART_2Nx2N)

·否则(若CuPredMode[x0][y0]等于MODE_SKIP)，则sdcEnableFlag设为等于0

在上述表格中，sdc_flag[x0][y0]等于1表示对当前编码单元使用残差块的智能分割DC编码。sdc_flag[x0][y0]等于0表示对当前编码单元未使用残差块的智能分割DC编码。当未出现时，sdc_flag[x0][y0]的值推断为等于0。

在编码之前，通过使用深度查找表(Depth Lookup Table,DLT)，残差值映射至在原始的未补偿的深度图像中出现的数值。因此，残差值可通过只发送索引(index)的信号至该查找表来进行编码，这降低了残差振幅(residual magnitudes)的位深(bit depth)。该映射表发送至解码器，以便由索引反向查找到有效深度值。因在典型的深度图像中出现比较稀疏的深度值，所以使用该查找表的优点在于降低了残差索引的位深。

在解码器端，SDC处理使用原始深度值(d_ortg)和预测深度值(d_pred)的平均值。图5A显示8×8块的HEVC帧内预测模式的实施例的示意图，图5B显示8×8块的DMM帧内预测模式的实施例的示意图。如图5A中实施例所示，对于SDC(即HEVC帧内预测模式)，计算预测块中左上、右上、左下和右下取样(如圆圈所指示)的平均值作为d_pred。图5B所示为DMM模式1的一实施例，其中左侧分块的上部属于一个分割部分，以及右侧分块的下部(如斜线所指示)属于另一个分割部分。对于SDC(DMM模式1)，每个分割部分的d_pred是由预测块中属于同一个分割部分的左上、右上、左下及右下取样(如圆圈所指示)所产生的。然而对于SDC(DMM模式4)，每个分割部分d_pred设为等于预测模块中属于相同分割部分的任何取样值。这是因为一个分割部分内的所有取样共享同一个相同预测值。

发明内容

有鉴于此，本发明提供至少一种基于深度的块分割的信号传递方法。

根据本发明一实施例的一种基于深度的块分割的信号传递方法，用于多视点或三维视频解码，所述基于深度的块分割的信号传递方法包含：接收比特流，所述比特流包含纹理图像中的当前纹理编码单元的编码数据；从一组候选预测模式中为所述当前纹理编码单元确定预测分块模式，以用于根据所述预测分块模式将所述当前纹理编码单元分割为一个或多个预测单元，其中所述候选预测模式包含非2N×N分块模式；从所述比特流中解析出基于深度的块分割标志，以用于所述当前纹理编码单元的所有候选预测模式，其中所述候选预测模式包含所述非2N×N分块模式；以及若所述基于深度的块分割标志指示所述当前纹理编码单元使用所述基于深度的块分割，则从所述比特流中产生与所述当前纹理编码单元有关的一个或多个预测单元，并对编码后的所述当前纹理编码单元使用基于深度的块分割解码，以恢复所述当前纹理编码单元。

根据本发明另一实施例的一种基于深度的块分割的信号传递方法，用于多视点或三维视频编码，所述基于深度的块分割的信号传递方法包含：接收与纹理图像中的当前纹理编码单元有关的输入信号；从一组候选预测模式中为所述当前纹理编码单元确定预测分块模式，以用于根据所述预测分块模式将所述当前纹理编码单元分割为一个或多个预测单元，其中所述候选预测模式包含非2N×N分块模式；为具有任意候选预测模式的所述当前纹理编码单元发送基于深度的块分割标志的信号，以指示是否对所述当前纹理编码单元使用基于深度的块分割处理，其中所述候选预测模式包含所述非2N×N分块模式；以及若所述基于深度的块分割标志指示所述当前纹理编码单元使用所述基于深度的块分割，则对所述当前纹理编码单元使用基于深度的块分割编码。

根据本发明再一实施例的一种基于深度的块分割的信号传递方法，用于多视点或三维视频解码，所述基于深度的块分割的信号传递方法包含：接收包含比特流，所述比特流包含纹理图像中的当前纹理编码单元的编码数据；确定所述当前纹理编码单元是否使用帧内分块模式进行编码；若所述当前纹理编码单元未使用帧内分块模式进行编码，则从所述比特流中解析出基于深度的块分割标志；若所述基于深度的块分割标志指示所述当前纹理编码单元使用所述基于深度的块分割，则从所述比特流中产生与所述当前纹理编码单元有关的一个或多个预测单元，并对编码后的所述当前纹理编码单元使用基于深度的块分割解码，以恢复所述当前纹理编码单元；以及若所述基于深度的块分割标志指示所述当前纹理编码单元未使用所述基于深度的块分割，则从所述比特流的编码单元级别解析预测分块模式，以及根据所述预测分块模式对所述编码数据使用解码处理，其中所述编码数据与由所述当前纹理编码单元分割出的一个或多个预测单元有关。

本发明所提供的至少一种基于深度的块分割的信号传递方法，其优点之一在于简化了语法信号的发送和处理，且不会带来性能损失上的任何使用障碍。

附图说明

图1显示使用运动补偿预测和视差补偿预测的三维/多视点编码的实施例。

图2显示在从视点中当前纹理块的参考视点中产生对应深度块的产生处理示意图。

图3显示基于从视点中当前纹理块的参考视点中对应深度块产生分割掩模的产生处理示意图。

图4显示使用DBBP的3D或多视点编码的处理流程图。

图5A显示8×8块的HEVC帧内预测模式的实施例的示意图。

图5B显示8×8块的DMM帧内预测模式的实施例的示意图。

图6显示结合本发明一实施例的解码系统为当前编码单元的所有预测分块模式发送DBBP标志的信号的流程图。

图7显示结合本发明一实施例的编码系统为当前编码单元的所有预测分块模式发送DBBP标志的信号的流程图。

图8显示结合本发明一实施例的解码系统流程图，其中，若DBBP标志指示当前纹理编码单元使用DBBP，则不发送预测分块模式。

具体实施方式

在说明书及权利要求当中使用了某些词汇来指称特定的组件。本领域技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包含”及“包括”为一开放式的用语，故应解释成“包含但不限定于”。“大致”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电性连接于该第二装置，或通过其它装置或连接手段间接地电性连接至该第二装置。以下所述为实施本发明的较佳方式，目的在于说明本发明的精神而非用以限定本发明的保护范围，本发明的保护范围当视后附的权利要求所界定者为准。

请理解，此处所描述及显示在图中的本发明的组件可以多种不同配置进行安排和设计。因此，如图所表示，接下来有关本发明的系统及方法的多个实施例的更多详细描述，其目的并非用以限制本发明的范围，而仅用作本发明所选实施例的代表。

说明书中所出现的“一个实施例”、“一实施例”或类似语言表示与该实施例描述有关的特定特征、结构或特性可包含在本贩卖嫩构的至少一个实施例中。因此，说明书中多处所出现的短语“在一个实施例中”或“在一实施例中”并不是指代同一个实施例。

此外，上述特征、结构或特性可在一个或多个实施例中以任意合适的方式进行组合。然而本领域具有通常知识者能够理解，本发明可在无需一个或多个特定细节的情况下实施，或者也可以其它方法、组件等实施。在其他情况下，已知的结构或操作没有出现或进行详细描述，以避免混淆本发明一些方面。

本发明所示多个实施例将结合附图进行说明，附图中相同组件使用相同编号来表示。以下描述的目的仅用于举例，以及简单显示符合本发明此处所主张的装置和方法的某些所选实施例。

在当前DBBP语法设计中，为了传送DBBP模式的信号，编码器首先需要传送2N×N分块模式的信号至解码器端，然后发送表1A中所示的DBBP标志。由于DBBP的真实分块模式是隐含地(implicitly)由对应深度块中所产生，因而传送2N×N分块模式的信号实际上并不必需。为了克服冗余的问题，本发明揭示使用改进的信号传送设计的多个实施例。

实施例1。如表2所举例子所示，DBBP标志信号传送中的2N×N分块模式的关联(dependence)被移除。在表2中，备注(2-1)所指示的线框所标识的语法被替换为备注(2-2)所指示的新的语法。根据表2中修改后的语法设计，对于PartMode＝＝PART_2N×N的情形，标志dbbp_flag[x0][y0]将不会包含其中。

表2

实施例2。由于分块模式可隐含地由深度块产生，因此，在DBBP中，分块模式的信号传送不是必需的。相应地，当启用DBBP时，跳过发送分块模式语法的信号，以进一步减少冗余。用于编码单元的语法设计的例子如表3所示。

表3

在表3中，仅当如备注(3-1)所指示DBBP标志出现且块正在进行非帧内编码的条件满足时，传送标志dbbp_flag[x0][y0]的信号。此外，在备注(3-4)中，结合了语法part_mode的额外条件，该额外条件为由备注(3-3)所指示的标志dbbp_flag[x0][y0]指示未使用DBBP模式。

实施例3。当当前编码单元使用DBBP模式进行编码时，对应的分块尺寸设为SIZE_2N×2N，并且继承了双向预测。因此，仅当传送的分块模式为2N×2N分块模式时，传送DBBP标志。如表4所示，当分块模式为2N×2N(参见表4中备注(4-1))时，传送DBBP标志(参见表4中备注(4-2))的信号。

表4

实施例4。在本实施例中，仅当发送具有最长二进制码字(codeword)的传送分块模式时，传送DBBP标志。一实施例如表5所示，其中，当传送分块模式等于AMPxxx模式(即，PART_2N×nU、PART_2N×nD、PART_nL×2N或PART_nR×2N)时，传送DBBP标志的信号。

表5

如表5所示，当备注(5-1)所指示的条件满足时，如备注(5-2)所指示，传送标志dbbp_flag[x0][y0]的信号，其中，对应于depth_based_blk_part_flag[nuh_layer_id]的条件指示出现DBBP标志且分块模式为AMP模式中的一个。

实施例5。在本实施例中，DBBP标志的传送不依赖于传送分块模式。只要在当前编码片断(slice)或图像中启用DBBP模式，那么就总是会传送DBBP标志的信号。例如，标志depth_based_blk_part_flag[nuh_layer_id]可用于表示当前层是否使用了基于深度的块分割。若该标志的值指示使用了DBBP，如表6中备注(6-3)所指示，则如表6中备注(6-4)所指示，总是发送dbbp_flag[x0][y0]的信号。结合part_mode的条件如备注(6-2)所指示，这些条件与表1A中备注(1-1)所指示的条件相同。

表6

实施例6。在DBBP模式中，用于块分割的掩模及运动存储的分割可隐含地基于对应的深度块而产生，当使用DBBP模式进行编码时，可跳过分块模式的传送。在本实施例中，DBBP标志在分割标志之前进行传送。当启用DBBP模式时，跳过分割标志的传送。例子如表7所示。

表7

实施例7。在本实施例中，DBBP标志及分割标志均进行传送。当启用DBBP模式时，分割标志用于代表运动补偿的分块。例子如表8所示。

表8

实施例8。在本实施例中，当当前编码单元未使用帧内模式进行预测时，传送DBBP标志。当当前编码单元使用帧内预测时，没有传送dbbp_flag。例子如表9所示。

表9

在以上实施例中，由于DBBP隐含地将当前编码块分为多个分块(例如，2个或4个分块)以用于预测操作，因此，需要确保预测单元级别语法会根据分块地数目进行正确解析。为了解决该问题，一些语义上的限制可加入“part_mode”。例如，dbbp_flag等于1的编码单元的分块模式设为具有多个(2或4)分块(例如，PART_2N×N、PART_N×2N、PART_N×N或AMP分块)的分割类型。例如，在3D-HEVC(Gerhard Tech等人，3D-HEVC Draft Text 3,JointCollaborative Team on 3D Video Coding Extension Development of ITU-T SG 16WP3and ISO/IEC JTC 1/SC 29/WG 11,7th Meeting:San Jose,USA,9Jan–17Jan.2014，文档号:JCT3V-G1001-v1)的标准中，“part_mode”的语义描述可进行修改。语法part_mode表示当前编码单元的分块模式，其中，part_mode的语义取决于CuPredMode[x0][y0]。变量PartMode和IntraSplitFlag是由表10中所定义的part_mode和partPredIdc的值所产生的。当dbbp_flag等于1时，PartMode明确产生为PART_2N×N。

表10

解决该问题的另一种方法是在解析步骤加入条件。例如，当DBBP将当前块分为两个分块时，需要解析两个或4个预测单元级别的语法元素。

3D视频编码中的SDC模式、DBBP模式及PCM模式的现有语法设计可能效率比较低。本发明的另一方面是改进现有语法设计的效率。

实施例9。如表11所示实施例，在本实施例中，仅当SDC模式未启用时，发送PCM标志的信号。额外条件(即&&！sdc_flag[x0][y0])由备注(11-1)所指示。

表11

实施例10。在本实施例中，SDC标志在编码单元扩展时进行发送。如表12的实施例所示，仅当未启用PCM模式时，传送SDC标志的信号。如表12所示，当备注(12-1)指示SDC使能标志(即sdcEnableFlag)值为1且pcm_flag[x0][y0]值为0时，如备注(12-2)所指示，发送SDC标志的信号。

表12

实施例11。在本实施例中，在编码单元扩展中发送DBBP标志的信号。当在当前片断、图像、视点、层或序列级别中关闭DBBP模式时，当当前编码单元模式为帧内(intra)模式或非帧间(non-inter)模式时，或者当启用PCM模式时，可跳过DBBP标志。如表13中例子所示，对应语法如备注(13-1)和(13-2)所指示。

表13

实施例12。在本实施例中，在编码单元扩展中发送SDC标志和DBBP标志的信号。仅当PCM模式关闭时发送SDC标志的信号。当在当前片断、图像、视点、层或序列级别中关闭DBBP模式时，或者当当前编码单元模式为帧内模式或非帧间模式时，或当启用PCM模式时，可跳过DBBP标志。示例请参见表14，如备注(14-1)至(14-4)所指示结合额外的语法。

表14

实施例13。在本实施例中，仅当DBBP模式未启用时发送SDC标志的信号，以及仅当SDC模式未启用时发送DBBP模式的信号。可在编码单元或编码单元扩展语法中发送SDC标志和DBBP标志的信号。如表15所示，在DBBP标志之前发送SDC标志的信号，且仅当备注(15-1)至(15-4)所指示SDC模式未启用时，需要发送DBBP标志和SDC标志的信号。

表15

实施例14。在本实施例中，用于DBBP标志的最初上下文自适应二进制算术编码(Context-Adaptive Binary Arithmetic Coding,CABAC)步骤中的初始概率对于B-片断/图像、P-片断/图像及I-片断/图像如下所示均为161。

虽然用于DBBP标志的最初CABAC步骤中的初始概率对于B-片断/图像、P-片断/图像及I-片断/图像均为161，但是也可使用其它概率值。例如，对于B-片断/图像、P-片断/图像及I-片断/图像，该值可全部为162，192或176。在另一实施例中，对于B-片断/图像、P-片断/图像及I-片断/图像，该值也可不同。例如，对于B-片断/图像、P-片断/图像及I-片断/图像，该值可分别为192，176及176。

关于多种条件下dbbp_flag和part_mode的语法设计的额外实施例也进行了说明。在一类实施例中，当满足某些条件时，在part_mode之后发送dbbp_flag。这些条件可对应于：

1.part_mode表明2NxN或Nx2N预测单元分块，或

2.part_mode表明预测单元分块属于{2Nx2N,Nx2N,2NxN,NxN,2NxnU,2NxnD,nLx2N以及nRx2N}的子集(subset)。

当dbbp_flag在part_mode之后发送时，当满足某些条件时可在cu_extention语法表中发送dbbp_flag的信号。这些条件可对应于：

3.当前预测模式为非帧内模式且part_mode仅识别DBBP的两种分块模式，例如，Nx2N或2NxN，或

4.当前预测模式为且part_mode无法识别2Nx2N或NxN预测单元分块。

在另一类实施例中，dbbp_flag可在part_mode之前发送。语法信号的发送可为条件性的或者包含上述其它实施例的多种变形。一些例子列示如下。

1.仅当dbbp_flag不等于1时发送part_mode。在本实施例中，DBBP所使用的预测分块由虚拟深度块中所产生。

2.若dbbp_flag等于1，则part_mode仅识别DBBP的两种分块模式中的一个，即Nx2N或2NxN。例如，part_mode等于1可对应于2NxN DBBP。

3.对于不同的dbbp_flag值，part_mode的二进制化也不同。

4.对于不同的dbbp_flag值，用于part_mode进行编码的上下文(context)不同。

在另一类实施例中，当dbbp_flag等于1时，part_mode所识别的预测单元分块仅用于DBBP的预测分块。以上所列多种类型的实施例可进行任意组合。

结合本发明实施例的3D或多视点视频编码系统的性能与传统系统在HTM-10.0上进行了比较，如表16-17所示。表16对应于结合本发明第一实施例的系统的结果。表17对应于结合本发明第二实施例的系统的结果。BD率(Bjontegaard Distortion-rate,BD-rate)中的负值意味着新的系统具有比基准系统(anchor system)更好的表现。在所有情形下，纹理图像在视点1(视频1)、视点2(视频2)、单一纹理视频(视频峰值信噪比(PSNR)/视频比特率(bitrate))、纹理视频的总体比特率(纹理比特率和深度比特率)(视频PSNR/总体比特率)及编码(coded)和合成(synthesized)视频(合成PSNR/总体比特率)的总体比特率上，BD率差异很小。在编码时间(Enc time)、解码时间(Dec time)、多视生成时间(Ren time)方面的运行时长差不多相同。因此，根据本发明的第一和第二实施例可简化语法信号发送和处理，不会带来性能损失上的任何障碍。

表16

表17

图6显示结合本发明一实施例的解码系统为当前编码单元的所有预测分块模式发送DBBP标志的信号的流程图。如步骤610所示，系统接收比特流，该比特流包含纹理图像中当前纹理编码单元的编码数据。该比特流可由存储器(例如，计算机存储器，缓冲器如RAM或ROM，或者其它媒体)或由处理器处取回(retrieve)。在步骤620中，由一组候选预测模式中确定用于当前纹理编码单元的预测分块模式，以根据该预测分块模式将当前纹理编码单元分割为一个或多个预测单元，其中候选预测模式包含非2N×N分块模式。在步骤630中，由比特流中解析出DBBP标志，以用于当前纹理编码单元的所有候选预测模式。在步骤640中，若DBBP标志指示当前纹理编码单元使用DBBP，则由比特流中产生与当前纹理编码单元有关的一个或多个预测单元，并对已编码的当前纹理编码单元应用DBBP解码以恢复当前纹理编码单元。

图7显示结合本发明一实施例的编码系统为当前编码单元的所有预测分块模式发送DBBP标志的信号的流程图。在步骤710中，接收与纹理图像中的当前纹理编码单元有关的输入数据。该输入数据可由存储器(例如，计算机存储器，缓冲器如RAM或ROM，或者其它媒体)或由处理器处取回。在步骤720中，由一组候选预测模式中确定用于当前纹理编码单元的预测分块模式，以用于根据该预测分块模式将当前纹理编码单元分割为一个或多个预测单元，其中候选预测模式包含非2N×N分块模式。在步骤730中，为当前纹理编码单元发送DBBP标志的信号，以指示当前纹理编码单元是否使用了DBBP处理，其中，当前纹理编码单元具有包含非2N×N分块模式在内的任意候选预测模式。在步骤740中，若DBBP标志指示当前纹理编码单元使用DBBP，则对当前纹理编码单元应用DBBP编码。

图8显示结合本发明一实施例的解码系统流程图，其中，若DBBP标志指示当前纹理编码单元使用DBBP，则不发送预测分块模式。在步骤810中，系统接收包含纹理图像中当前纹理编码单元的编码数据的比特流。在步骤820中，执行测试以确定当前纹理编码单元是否使用帧内分块模式进行编码。若结果为“是”，则执行步骤880。若结果为“否”，则执行步骤830。在步骤830中，由比特流中解析得到DBBP标志，并在步骤840中测试结果。在步骤840中，执行有关DBBP标志是否指示当前纹理编码单元使用DBBP的测试。若步骤840的结果为“是”，则执行步骤850。若步骤840的结果为“否”，则执行步骤860和870。在步骤850中，由比特流中产生与当前纹理编码单元有关的一个或多个预测单元，并对已编码当前纹理编码单元应用DBBP解码以恢复当前纹理编码单元。步骤850之后结束处理。在步骤860中，由比特流的编码单元级别解析得到预测分块模式。步骤870中，根据预测分块模式对与当前纹理编码单元分块得到的一个或多个预测单元有关的编码数据应用解码操作。步骤870之后结束处理。在步骤880中，对当前编码单元应用帧内解码，并在步骤880之后结束处理。

以上流程图目的在于说明根据本发明的DBBP的多个实施例。本领域技术人员在不脱离本发明精神的前提下可修改每个步骤，重新安排这些步骤，拆分步骤或者组合步骤以实施本发明。

以上描述令本领域技术人员能够根据所提供的特定应用的文字极其要求来实施本发明。本领域技术人员能够清楚以上描述实施例的多种变形，此处所定义的发明原理也可应用于其它实施例。因此，本发明并非限定于以上显示及描述的特定实施例，应理解为符合与此处所述原则及新特征一致的最广范围。在上述详细描述中，所说明的各种特定细节是为了提供本发明的全面理解。然而，本领域技术人员能够理解，本发明可以实施。本发明可应用于3D HEVC，也可用于3DAVS(音频视频标准)。

本发明上述实施例可实施为多种硬件、软件代码或其组合。例如，本发明的实施例可为视频压缩芯片中所集成的电路，或视频压缩软件中所集成的程序代码，以用于执行此处所述的处理。本发明一实施例也可为用于执行此处所述处理的数字信号处理器(DigitalSignal Process,DSP)上所执行的程序代码。本发明也可包含由计算机处理器、数字信号处理器、微处理器或场效可编程门阵列(Field Programmable Gate Array,FPGA)所执行的多个功能。这些处理器可根据本发明配置为通过执行定义了本发明所体现的特定方法的机器可读软件代码或固件代码来执行特定任务。软件代码或固件代码可使用不同的编程语言及不同的格式或类型来开发。软件代码也可符合不同的目标平台。然而，软件代码的不同的代码格式、类型及语言及配置代码以根据本发明执行任务的其他方式，均不脱离本发明的精神及范围。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视后附的权利要求所界定者为准。

Claims (19)

1.一种基于深度的块分割的信号传递方法，用于多视点或三维视频解码，所述基于深度的块分割的信号传递方法包含：

接收比特流，所述比特流包含纹理图像中的当前纹理编码单元的编码数据；

从一组候选预测模式中为所述当前纹理编码单元确定预测分块模式，以用于根据所述预测分块模式将所述当前纹理编码单元分割为一个或多个预测单元，其中所述候选预测模式包含非2N×N分块模式；

从所述比特流中解析出基于深度的块分割标志，以用于所述当前纹理编码单元的所有候选预测模式，其中所述候选预测模式包含所述非2N×N分块模式；以及

若所述基于深度的块分割标志指示所述当前纹理编码单元使用所述基于深度的块分割，则从所述比特流中产生与所述当前纹理编码单元有关的一个或多个预测单元，并对编码后的所述当前纹理编码单元使用基于深度的块分割解码，以恢复所述当前纹理编码单元。

2.根据权利要求1所述的基于深度的块分割的信号传递方法，其特征在于，所述候选预测模式包含2N×N分块模式和N×2N分块模式。

3.根据权利要求1所述的基于深度的块分割的信号传递方法，其特征在于，所述候选预测模式包含PART_2N×nU分块模式，PART_2N×nD分块模式，PART_nL×2N分块模式和PART_nR×2N分块模式。

4.根据权利要求1所述的基于深度的块分割的信号传递方法，其特征在于，所述候选预测模式包含2N×2N分块模式，2N×N分块模式，N×2N分块模式和N×N分块模式。

5.根据权利要求1所述的基于深度的块分割的信号传递方法，其特征在于，所述候选预测模式包含2N×nU分块模式，2N×nD分块模式，nL×2N分块模式和nR×2N分块模式。

6.根据权利要求1所述的基于深度的块分割的信号传递方法，其特征在于，所述候选预测模式包含2N×2N分块模式，2N×N分块模式，N×2N分块模式，N×N分块模式，2N×nU分块模式，2N×nD分块模式，nL×2N分块模式和nR×2N分块模式。

7.根据权利要求1所述的基于深度的块分割的信号传递方法，其特征在于，所述基于深度的块分割标志是在所述比特流的编码单元级别解析得到。

8.根据权利要求7所述的基于深度的块分割的信号传递方法，其特征在于，所述基于深度的块分割标志是由所述比特流的编码单元级别中的编码单元扩展语法表解析得到的。

9.根据权利要求1所述的基于深度的块分割的信号传递方法，其特征在于，所述预测分块模式是由所述比特流的编码单元级别中的语法元素确定的。

10.根据权利要求1所述的基于深度的块分割的信号传递方法，其特征在于，所述预测分块模式用于表示基于深度的块分割中的运动信息存储的分块，并非用于表示运动补偿的分块。

11.一种基于深度的块分割的信号传递方法，用于多视点或三维视频编码，所述基于深度的块分割的信号传递方法包含：

接收与纹理图像中的当前纹理编码单元有关的输入信号；

从一组候选预测模式中为所述当前纹理编码单元确定预测分块模式，以用于根据所述预测分块模式将所述当前纹理编码单元分割为一个或多个预测单元，其中所述候选预测模式包含非2N×N分块模式；

为具有任意候选预测模式的所述当前纹理编码单元发送基于深度的块分割标志的信号，以指示是否对所述当前纹理编码单元使用基于深度的块分割处理，其中所述候选预测模式包含所述非2N×N分块模式；以及

若所述基于深度的块分割标志指示所述当前纹理编码单元使用所述基于深度的块分割，则对所述当前纹理编码单元使用基于深度的块分割编码。

12.根据权利要求11所述的基于深度的块分割的信号传递方法，其特征在于更包含：

在比特流的编码单元级别中发送所述预测分块模式的信号，其中所述比特流包含所述当前纹理编码单元的编码数据。

13.根据权利要求12所述的基于深度的块分割的信号传递方法，其特征在于，在所述比特流的所述编码单元级别中，对应于所述当前纹理编码单元的所述基于深度的块分割标志的第一语法元素位于对应于所述当前纹理编码单元的所述预测分块模式的第二语法单元之前。

14.根据权利要求12所述的基于深度的块分割的信号传递方法，其特征在于，在所述比特流的所述编码单元级别中，对应于所述当前纹理编码单元的所述基于深度的块分割标志的第一语法元素位于对应于所述当前纹理编码单元的所述预测分块模式的第二语法单元之后。

15.根据权利要求11所述的基于深度的块分割的信号传递方法，其特征在于，在包含所述当前纹理编码单元的编码数据的比特流的编码单元级别中发送所述基于深度的块分割标志的信号。

16.根据权利要求15所述的基于深度的块分割的信号传递方法，其特征在于，在所述比特流的所述编码单元级别中的编码单元扩展语法表中发送所述基于深度的块分割标志的信号。

17.根据权利要求11所述的基于深度的块分割的信号传递方法，其特征在于，所述基于深度的块分割用于所述当前纹理编码单元，所述预测分块模式用于表示在基于深度的块分割中运动信息存储的分块，并非用于表示运动补偿的分块。

18.根据权利要求11所述的基于深度的块分割的信号传递方法，其特征在于，所述候选预测模式包含2N×N分块模式和N×2N分块模式。

19.一种基于深度的块分割的信号传递方法，用于多视点或三维视频解码，所述基于深度的块分割的信号传递方法包含：

接收包含比特流，所述比特流包含纹理图像中的当前纹理编码单元的编码数据；

确定所述当前纹理编码单元是否使用帧内分块模式进行编码；

若所述当前纹理编码单元未使用帧内分块模式进行编码，则从所述比特流中解析出基于深度的块分割标志；

若所述基于深度的块分割标志指示所述当前纹理编码单元使用所述基于深度的块分割，则从所述比特流中产生与所述当前纹理编码单元有关的一个或多个预测单元，并对编码后的所述当前纹理编码单元使用基于深度的块分割解码，以恢复所述当前纹理编码单元；以及

若所述基于深度的块分割标志指示所述当前纹理编码单元未使用所述基于深度的块分割，则从所述比特流的编码单元级别解析预测分块模式，以及根据所述预测分块模式对所述编码数据使用解码处理，其中所述编码数据与由所述当前纹理编码单元分割出的一个或多个预测单元有关。