CN105814896A - 3d视频译码中的大型块和深度建模模式(dmm) - Google Patents

3d视频译码中的大型块和深度建模模式(dmm) Download PDF

Info

Publication number
CN105814896A
CN105814896A CN201480067948.7A CN201480067948A CN105814896A CN 105814896 A CN105814896 A CN 105814896A CN 201480067948 A CN201480067948 A CN 201480067948A CN 105814896 A CN105814896 A CN 105814896A
Authority
CN
China
Prior art keywords
cut section
depth
pattern
block
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480067948.7A
Other languages
English (en)
Inventor
赵欣
陈颖
张莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105814896A publication Critical patent/CN105814896A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一些实例中，一种在视频译码过程中解码深度数据的方法包含定义深度译码单元CU内的大小大于32×32的深度预测单元PU，和产生所述深度PU的一或多个分割区。所述方法也包含获得用于所述分割区中的每一者的残余数据；获得用于所述分割区中的每一者的预测数据；和基于用于所述分割区中的每一者的所述残余数据和所述预测数据重建构相应分割区。

Description

3D视频译码中的大型块和深度建模模式(DMM)
本申请案主张2013年12月16日申请的第61/916,780号美国临时申请案的权益，所述申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码，且更明确地说涉及三维(3D)视频译码的深度建模模式(DMM)。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准和这些标准的扩展中所描述的视频压缩技术。视频装置可以通过实施这些视频压缩技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，图片或图片的一部分)可以分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。
空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残余数据来编码的。经帧内译码块是根据帧内译码模式和残余数据来编码的。为了进一步压缩，可将残余数据从空间域变换到变换域，从而产生残余变换系数，接着可对残余变换系数进行量化。可扫描一开始按二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。
可通过(例如)从多个视角编码视图来产生多视图译码位流。多视图译码可允许解码器选择不同视图，或可能显现多个视图。另外，已经开发或正在开发的一些三维(3D)视频技术和标准利用多视图译码方面。举例来说，在一些3D视频译码过程中，不同视图可用以发射左眼和右眼视图以支持3D视频。其它3D视频译码过程可使用多视图加深度译码。在多视图加深度译码过程(例如由HEVC的3D-HEVC扩展定义的过程)中，3D视频位流可含有不仅包含纹理视图分量而且包含深度视图分量的多个视图。举例来说，给定视图可包括纹理视图分量和深度视图分量。纹理视图和深度视图分量可用以建构3D视频数据。
发明内容
一般来说本发明的技术涉及使用深度建模模式(DMM)译码64×64样本或更大大小译码单元(CU)的深度图。用于框内译码深度图的DMM技术可将深度图的深度块分割成由特定DMM样式指定的两个或两个以上区域。特定分割区中的每一深度值可基于用于分割区的帧内预测模式经帧内预测，其指示另一深度译码单元(CU)中的预测子。
将DMM技术应用于逐渐较大的PU大小可导致在确定特定DMM样式以分割深度块时的处理复杂度及/或存储要求增大。在一些实例中，本发明的技术可通过减小此处理复杂度及/或存储要求而改善用于帧内译码深度图的DMM技术的译码性能。本发明的技术可应用于视频译码标准和此类标准的扩展。
在一个实例中，在视频译码过程中解码深度数据的方法包含：定义深度译码单元(CU)内的大小大于32×32的深度预测单元(PU)；产生深度PU的一或多个分割区；获得用于分割区中的每一者的残余数据；获得用于分割区中的每一者的预测数据；和基于用于分割区中的每一者的残余数据和预测数据重建构相应分割区。
在一个实例中，用于译码视频数据的装置包含存储一或多个分割区样式的视频数据存储器，其中所述装置经配置以：定义深度译码单元(CU)内的大小大于32×32的深度预测单元(PU)；产生深度PU的一或多个分割区；确定用于分割区中的每一者的残余数据；确定用于分割区中的每一者的预测数据；和基于用于分割区中的每一者的残余数据和预测数据重建构相应分割区。
在一个实例中，一种设备用于译码数据，所述设备包含：用于定义深度译码单元(CU)内的大小大于32×32的深度预测单元(PU)的装置；用于产生深度PU的一或多个分割区的装置；用于获得用于分割区中的每一者的残余数据的装置；用于产生用于分割区中的每一者的预测数据的装置；和用于基于用于分割区中的每一者的残余数据和预测数据重建构相应分割区的装置。
在一个实例中，计算机程序产品包括上面存储有指令的计算机可读存储媒体，所述指令在经执行时引起用于译码视频数据的装置的处理器进行以下操作：定义深度译码单元(CU)内的大小大于32×32的深度预测单元(PU)；产生深度PU的一或多个分割区；确定用于分割区中的每一者的残余数据；确定用于分割区中的每一者的预测数据；和基于用于分割区中的每一者的残余数据和预测数据重建构相应分割区。
在附图和以下描述中阐述本发明的一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及从权利要求书而显而易见。
附图说明
图1是说明可利用用于深度译码的本发明的技术的实例视频编码和解码系统的框图。
图2大体说明与方向性帧内预测模式相关联的预测方向。
图3A和3B是说明深度建模模式(DMM)的实例的概念图。
图4A至4F是说明分割区样式的实例的概念图。
图5是说明可实施用于深度译码的技术的视频编码器的实例的框图。
图6是说明可实施用于深度译码的技术的视频解码器的实例的框图。
图7是说明编码视频数据的实例方法的流程图。
图8是说明使用DDM4编码视频数据的实例方法的流程图。
图9A至9B是说明使用楔波扩展技术产生和用信号发送大于32×32的楔波分割区样式的概念图。
图10是说明解码视频数据的实例方法的流程图。
具体实施方式
在三维(3D)视频译码中，例如，根据3D-HEVC(高效率视频译码)标准，使用多视图视频加深度格式来表示3D视频数据，其中所捕获的视频数据(也被称作纹理视图的纹理分量)与深度视图的对应深度图相关联。举例来说，纹理视图的纹理分量表示视频内容，且对应于纹理分量的深度分量提供表示纹理分量中的像素的相对深度的深度图。视频编码器经配置以编码纹理分量和深度图且将其编码成3D视频位流。视频解码器接收3D视频位流且解码纹理分量和深度图以重建构3D视频数据。
为了充分利用视频编码器的视频编码能力和视频解码器的解码能力，将深度图形成为灰阶视频，其中亮度样本表示深度值。以此方式，可使用视频编码器和视频解码器的现有能力来编码和解码深度值，而不必利用用于编码和解码深度值的一些额外专用编码和解码技术。
举例来说，视频编码器可经配置以利用帧间预测编码及/或帧内预测编码，且视频解码器可经配置以利用帧间预测解码及/或帧内预测解码来译码视频的图片。视频编码器和视频解码器可以类似方式分别使用帧间预测和帧内预测编码和解码技术来译码深度图。
在一些情况下，深度图包含锐边缘和恒定区域，其中当在边缘的一侧上的明度值与边缘的另一侧上的明度值之间存在相对大的差异时，出现锐边缘。归因于深度图样本(例如，明度值)的这些不同统计，可存在针对基于二维(2D)视频编解码器的深度图设计的不同译码方案。举例来说，对于二维视频译码，可不存在深度图。然而，对于包含深度图的3D视频译码，额外视频译码技术可适用于编码和解码深度图。
举例来说，3D-HEVC标准将如在HEVC标准中定义的2D视频译码的概念扩展到3D视频译码。3D-HEVC标准使用在HEVC标准中针对帧内预测编码和解码定义的帧内预测模式。另外，3D-HEVC标准利用深度建模模式(DMM)以及HEVC帧内预测模式以编码或解码深度图的切片的帧内预测单元(即，帧内预测深度切片的预测单元(PU))。
在DMM中，深度图的深度块(或“深度PU”)可分割成两个或两个以上区域，其中每一区域通过恒定值预测。视频编码器确定用于区域中的每一者的预测性值，视频解码器使用预测性值帧内预测深度图的块。视频编码器也可将用于区域中的每一者的预测性值用信号发送到视频解码器，或视频解码器可经配置以确定预测性值，而无来自视频编码器的显式信号发送。在任一情况下，视频解码器可利用预测性值来帧内预测深度图的块。
分割深度图的块(被称作深度块)的方式中的一者被称作楔波(Wedgelet)分割。在楔波分割中，视频编码器确定将深度块平分的线性线，从而产生两个区域。以此方式，楔波分割可被视为基于线的分割，且在一些实例中，形成非矩形分割区(但可有可能形成矩形分割区)。线性线可从深度块的一侧上的一点开始且结束于深度块的相对侧或正交侧上的一点。作为一实例，在一个定向上，线性线可从深度块的左侧上的一点开始且结束于深度块的顶侧上的一点。在另一定向上，线性线可从深度块的顶侧上的一点开始且结束于深度块的底侧上的一点。
楔波样式指可用平分线性线将深度图的块分割成两个区域的一种方式，且对于块可存在的楔波样式的数目可为块大小的函数。举例来说，对于给定分辨率(例如，像素、半像素或四分之一像素)，较小大小的块(例如，定义4像素乘4像素的二维阵列的4×4块)相比于较大大小的块(例如，定义64像素乘64像素的二维阵列的64×64块)来说，沿块的侧面存在较少的点。因此，如与较大大小的块相比，沿着较小大小的块的每一侧存在较少开始和结束点，从而导致较少楔波样式。
在利用DMM模式中的一者的实例中，视频编码器可确定深度块的楔波样式，且基于所确定的楔波样式帧内预测楔波样式。视频编码器可确定用于特定楔波样式的特定帧内预测模式。在一些实例中，由深度块中的楔波样式定义的用于每一区域的帧内预测模式可为相同模式。在一些实例中，由深度块中的楔波样式定义的用于每一相应区域的每一相应帧内预测模式可为不同帧内预测模式。因为视频解码器可经配置以执行逆过程以解码块，所以视频解码器可确定与视频编码器确定的楔波样式相同的楔波样式。举例来说，在一些实例中，视频编码器和视频解码器可各自存储楔波样式列表。视频编码器可在视频位流中将索引用信号发送到识别所确定的楔波样式的楔波样式列表中。视频解码器可接着基于楔波样式列表中的用信号发送的索引确定与视频编码器相同的楔波样式。作为另一实例，视频编码器可从对应的纹理块的视频内容特性确定深度块的楔波样式。视频解码器可经配置以实施与视频编码器相同的技术以确定楔波样式，使得视频解码器确定的楔波样式与视频编码器确定的楔波样式为相同的楔波样式。
在用于确定楔波样式的以上实例中，视频编码器和视频解码器可经配置以存储针对所有块大小用于所有楔波样式的信息。对于大于32×32的块大小(例如，64×64)，存储楔波分割区的信息需要的计算及/或存储器的量可能极大。换句话说，确定64×64和更大大小的深度块的楔波样式的存储器和处理要求可能相当大。在3D-HEVC中，可提供具有至多32×32PU大小的DMM模式；然而，相对于64×64块，DMM模式中至32×32PU大小的此局限性可导致译码效率降低。对于DMM模式来说，复杂度可相对于更大分割区大小(例如，64×64)显著增加。当前3D-HEVC支持具有至多32×32PU大小的DMM模式；然而，DMM模式中PU大小的此限制可导致译码效率损失。
本发明描述用于64×64和更大CU的3D-HEVC中的深度建模模式(DMM)的使用。更确切地说，提出了可将更大CU大小应用于DMM模式。根据本发明的技术，视频译码器(例如，视频编码器或视频解码器)可使用(在一些实例中)降低处理复杂度及/或存储要求的技术确定64×64和更大大小的深度块的楔波样式。举例来说，视频译码器可针对当前深度块从大小大于32×32的样式的预定义楔波样式列表选择大小大于32×32的楔波分割区样式，且将识别所确定的大小大于32×32的楔波分割区的索引用信号发送到大小大于32×32的预定义楔波样式列表中。在此些实例中，在半样本、全样本、两个样本、三个样本或四个样本的经指定开始/结束点分辨率的情况下，视频译码器可通过连接全部或一些可能的开始点位置与结束点位置而产生大小大于32×32的样式的预定义楔波样式列表。
在一些实例中，大小大于32×32的楔波分割区样式经产生作为经上取样的N×N分割区样式，其中N＝4、8、16或32。举例来说，N可小于64。N可等于32或32以下。视频编码器可确定64×64深度的楔波分割区样式，但视频译码器可用信号发送具有对应于64×64楔波分割区样式的形状及/或定向的形状及/或定向的N×N分割区样式，而非用信号发送64×64楔波分割区样式。因此，视频解码器可在重建构64×64深度块时上取样N×N分割区样式。以此方式，上取样技术可通过重用N×N分割区样式(例如，其中N小于64)减少楔波分割区样式需要的存储空间的量，而非产生和存储64×64楔波分割区样式外加一或多个N×N分割区样式的集合。
在一些实例中，如果(即，基于)从与更小大小的块相关联的分割区样式确定深度块的分割区样式，那么视频译码器需要针对大小大于32×32的深度块存储的分割区样式的数目可减少。换句话说，视频编码器可通过在给定位置处扩展N×N分割区样式(其中N＝4、8、16或32)来产生大小大于32×32的分割区样式。以此方式，由于视频译码器可使用特定数目个分割区样式来确定N×N块的分割区样式，因此视频译码器可需要存储用于大小大于32×32的深度块的X以下数目个分割区样式。
根据本发明的一些实例技术的视频译码器可仅从楔波分割区样式的缩减集合选择。通过仅从楔波分割区样式的缩减集合选择，视频译码器可减少确定将由视频译码器用信号发送的深度块的特定楔波样式所需要的存储及/或计算的量。举例来说，视频译码器可仅从大小大于32×32的水平和垂直楔波分割区样式(即，开始点和结束点具有相同水平座标或相同垂直座标)选择大小大于32×32的楔波分割区。
在一些实例中，在译码大小大于32×32的深度块的深度图时，可使用简化深度译码(SimplifiedDepthCoding；SDC)。在使用SDC时，视频译码器可针对每一相应分割区仅用信号发送一个相应DC残余值，其中那个DC残余值用于重建构分割区中的所有样本。通过针对每一相应分割区仅用信号发送单一相应DC残余值，视频译码器可减少视频译码器必须传送以重建构大小大于32×32的深度块的数据的量。
在一些实例中，视频译码器可计算大小大于32×32的纹理块中的所有样本的平均值。视频译码器可根据大小大于32×32的相同位置的纹理块中的样本大于平均值(分割区1)还是不大于平均值(分割区0)而导出大小大于32×32的分割区样式。在一些实例中，视频译码器可将等于平均值的样本指派到分割区1。在一些实例中，视频译码器可将等于平均值的样本指派到分割区0。在一些实例中，视频译码器可基于是否满足临限值而确定将等于平均值的样本指派到分割区1还是分割区2。在一些实例中，视频译码器可计算大小大于32×32的相同位置的纹理块的经下取样N×N块中的所有样本的平均值，且根据N×N块中的样本大于平均值(分割区1)还是不大于平均值(分割区0)而导出大小大于32×32的分割区样式，其中N可等于4、8、16或32。通过使用平均值，视频译码器可需要较少计算来确定用以产生深度分割区中的每一深度值的残余值的预测性样本。本文中进一步描述用于使用深度建模模式(DMM)译码64×64或更大大小的译码单元(CU)的深度图的各种技术。
图1是说明可利用用于深度译码的本发明的技术的实例视频编码和解码系统10的框图。如图1中所展示，系统10包含源装置12，其提供将在稍后时间由目的地装置14解码的经编码视频数据。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置、可穿戴计算装置或类似者。在一些情况下，源装置12和目的地装置14可经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。
可根据通信标准(例如，无线通信协议)调制经编码视频数据，并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络(例如因特网))的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取的数据存储媒体中的任一者，例如，硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。
目的地装置14可经由串流或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含万维网服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)来存取经编码视频数据。此连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置的发射可为流式传输发射、下载发射或其组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如，空中协议电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如，经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频重放、视频广播及/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用所述技术以用于多视图译码中的运动向量预测。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。
图1的所说明的系统10只是一个实例。根据本发明的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术通常由视频编码装置和视频解码装置来执行，但是所述技术也可由视频编码器/解码器(通常被称作“视频编解码器”)执行。此外，本发明的技术还可由视频预处理器执行。源装置12和目的地装置14仅为源装置12在其中产生经译码视频数据以供发射到目的地装置14的此类译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如用于视频流式传输、视频重放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置，例如，摄像机、含有先前所俘获视频的视频存档及/或从视频内容提供者接收视频的视频馈入接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般可适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，可由视频编码器20来编码经俘获的、经预先俘获的或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含暂时性媒体(例如，无线广播或有线网络发射)，或存储媒体(即，非暂时性存储媒体)，例如，硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据，并且(例如)经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可被理解为包含各种形式的一或多个计算机可读媒体。
本发明通常可指视频编码器20将某些信息“用信号发送”到另一装置(例如，视频解码器30)。然而，应理解，视频编码器20可通过使某些语法元素与视频数据的各种经编码部分相关联来用信号发送信息。也就是说，视频编码器20可通过将某些语法元素存储到视频数据的各种经编码部分的标头来“用信号发送”数据。在一些情况下，此些语法元素可在由视频解码器30接收和解码之前被编码和存储(例如，存储到计算机可读媒体16)。因而，术语“用信号发送”可总体上指代用于解码经压缩视频数据的语法或其它数据的通信，不论所述通信是实时或几乎实时发生还是在一段时间中发生，例如可在编码时将语法元素存储到媒体上接着可在存储到这个媒体之后的任何时间由解码装置检索的时候发生。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息也被视频解码器30使用，其包含描述块和其它经译码单元(例如GOP)的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，并且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件，以处置对共同数据流或单独数据流中的音频和视频两者的编码。如果适用，多路复用器-多路分用器单元可符合ITUH.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可经实施为可适用的多种合适的编码器或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为组合式视频编码器/解码器(编解码器)的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置(例如，蜂窝式电话)。
视频译码标准的一个实例包含ITU-TH.264/MPEG-4(AVC)标准，其由ITU-T视频译码专家组(VCEG)与ISO/IEC移动图片专家组(MPEG)一起制定，作为被称为联合视频小组(JVT)的集体伙伴的产品。另一视频译码标准包含H.264标准，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。H.264标准描述于ITU-T研究群组的ITU-T建议H.264“用于通用视听服务的高级视频译码”中。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。MVC的最新联合草案描述于2010年3月的“用于通用视听服务的高级视频译码”(ITU-T建议H.264)中。
视频译码标准还可包含ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual和ITU-TH.264(也称为ISO/IECMPEG-4AVC)，包含它的可缩放视频译码(SVC)和多视图视频译码(MVC)扩展，如先前所提及。MVC的最新联合草案描述于2010年3月的“用于通用视听服务的高级视频译码”(ITU-T建议H.264)中。此外，存在一种新的即将到来的视频译码标准，即高效率视频译码(HEVC)，其由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。HEVC的最近草案可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。
在一些实例中，视频编码器20和视频解码器30可根据高效率视频译码(HEVC)标准和HEVC标准的扩展操作，且可符合HEVC测试模型(HM)。HEVC由ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发。HEVC的最近草案可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v14.zip获得。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM根据(例如)ITU-TH.264/AVC假设视频译码装置相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九个帧内预测编码模式，但是HM可提供多达三十五个帧内预测编码模式。
一般来说，HM的工作模型描述视频图片(或“帧”)可被划分成包含明度和色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可定义LCU(其为就像素数目来说的最大译码单元)的大小。切片包含按译码次序的多个连续树块。图片可分割成一或多个切片。每一树块可根据四叉树而分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于树块。如果一个CU分裂成四个子CU，那么对应于CU的节点包含四个叶节点，所述叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的CU是否分裂成子CU。用于CU的语法元素可递归地定义，且可取决于CU是否分裂成子CU。如果CU未进一步分裂，那么将其称作叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU，即使不存在原始叶CU的明确分裂时也是如此。举例来说，如果16×16大小的CU未进一步分裂，那么四个8×8子CU将也被称作叶CU，虽然16×16CU从未分裂。
除了CU不具有大小区别以外，CU具有与H.264标准的宏块类似的目的。举例来说，树块可分裂成四个子级节点(也被称作子CU)，且每一子级节点又可为父节点且可分裂成另外四个子级节点。最终的未经分裂子级节点(被称作四叉树的叶节点)包括译码节点，也被称作叶CU。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，被称作最大CU深度，并且还可定义译码节点的最小大小。因此，位流还可定义最小译码单元(SCU)。本发明使用术语“块”来指HEVC的上下文中的CU、PU或TU中的任一者，或者其它标准的上下文中的类似数据结构(例如，其在H.264/AVC中的宏块和子块)。
CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可介于8×8像素到多达具有最大64×64像素或更大的树块大小的范围内。每一CU可含有一或多个PU和一或多个TU。与CU相关联的语法数据可描述(例如)将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述根据四叉树将CU分割成一或多个TU。TU可为正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小来设定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，可使用被称为“残余四叉树”(RQT)的四叉树结构将对应于CU的残余样本细分成较小单元。RQT的叶节点可被称作变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。
叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码(例如，经帧内预测编码)时，用于PU的数据可包含于残余四叉树(RQT)中，所述残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码(例如，经帧间预测编码)时，PU可包含定义PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片及/或运动向量的参考图片列表(例如，RefPicList0或RefPicList1)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可使用RQT(还被称作TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成其它子TU。当TU未进一步分裂时，其可被称作叶TU。总体上，对于帧内译码，属于一叶CU的所有叶TU共享相同的帧内预测模式。也就是说，一般应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器20可使用帧内预测模式针对每一叶TU计算残余值，作为CU的对应于TU的部分与原始块之间的差。TU未必限于PU的大小。因此，TU可比PU大或小。对于帧内译码(例如，帧内预测译码)，可将PU与用于同一CU的对应叶TU并置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。
此外，叶CU的TU还可与相应的四叉树数据结构(被称作残余四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四分树的根节点通常对应于叶CU，而CU四分树的根节点通常对应于树块(或LCU)。RQT的未分裂的TU被称作叶TU。一般来说，除非另外提及，否则本发明分别使用术语CU和TU来指代叶CU和叶TU。
视频序列通常包含一系列图片。如本文中所描述，“图片”与“帧”可互换使用。也就是说，含有视频数据的图片可被称为视频帧或简称为“帧”。图片群组(GOP)一般包括一系列的视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，所述语法数据描述GOP中所包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，并且根据所指定译码标准可在大小上有所不同。
作为一实例，HM支持各种PU大小的预测。假设特定CU的大小为2N×2N，那么HM支持2N×2N或N×N的PU大小的帧内预测，和2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N和nR×x2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，但是将另一方向分割成25％和75％。CU的对应于25％分割区的部分由“n”后接“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2N×nU”是指经水平地分割的2N×2NCU，其中顶部是2N×0.5NPU，且底部是2N×1.5NPU。
在本发明中，“N×N”与“N乘N”可互换使用来指代就垂直和水平尺寸来说的视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行和列。此外，块未必需要在水平方向与在垂直方向上具有相同数目个像素。举例来说，块可包括N×M像素，其中M未必等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算用于CU的TU的残余数据。PU可包括描述在空间域(也被称作像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可包括在对残余视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)后的变换域中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU，且接着变换TU以产生用于CU的变换系数。
在用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化大体上是指对变换系数进行量化以可能地减少用于表示系数的数据的量从而提供进一步压缩的过程。量化过程可减小与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间向下舍入到m位值，其中n大于m。
在量化之后，视频编码器20可扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(并且因此较低频率)的系数放置在阵列的前面，并且将较低能量(并且因此较高频率)的系数放置在阵列的后面。
在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
视频编码器20可(例如)在图片标头、块标头、切片标头或GOP标头中进一步将语法数据(例如，基于块的语法数据、基于图片的语法数据和基于GOP的语法数据)发送到视频解码器30。GOP语法数据可描述相应GOP中的图片的数目，且图片语法数据可指示用以编码对应图片的编码/预测模式。
视频解码器30可经配置以大体执行互逆步骤以解码视频数据和重建构视频编码器20用于编码目的的图片。举例来说，视频解码器30可从用信号发送的位流接收语法元素和视频数据且执行互逆操作以帧内预测解码及/或帧间预测解码视频数据以重建构图片。
此外，为简洁起见，可关于视频译码器描述本发明中描述的技术。视频译码器的实例包含当描述视频数据的编码时的视频编码器20和当描述视频数据的解码时的视频解码器30。本发明也可使用术语“译码(code或coding)”。在此情况下，术语译码(code)可一般指编码(encode)或解码(decode)，且术语译码(coding)可一般指编码(encoding)或解码(decoding)。举例来说，视频译码器可译码，其意味着视频编码器20可编码或视频解码器30可解码。
以上描述提供视频编码器20和视频解码器30可基于HEVC标准编码和解码视频数据的实例方式。在本发明中描述的技术中，视频编码器20和视频解码器30可经配置以用于三维(3D)视频编码和解码。举例来说，视频编码器20和视频解码器30可经配置以使用正在开发的充分利用HEVC视频译码标准的视频译码标准执行3D视频编码和解码。然而，本发明中描述的技术不受如此限制且可扩展到其它3D视频编码和解码技术。
在JCT-3V中，存在正被开发的两个HEVC扩展，被称作多视图扩展(MV-HEVC)和3D视频扩展(3D-HEVC)。用于3D-HEVC的参考软件3D-HTM(HTM)版本9.0可从以下链接下载：https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-9.0/。最新工作草案(文档编号：F1001)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V-F1001-v1.zip获得。
在3D-HEVC中，每一存取单元含有多个图片，且每一视图中的图片具有唯一视图id或视图次序索引。然而，同一视图的深度图片和纹理图片可具有不同层id。3D-HEVC标准的草案提供于GerhardTech等人的标题为“3D-HEVC草案文本6”(例如，“3D-HEVC工作草案(WD)”)的JCT3V-J1001文件中，从2014年10月24日起，其也可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/10_Strasbourg/wg11/JCT3V-J1001-v3.zip获得。
一般来说，使用3D视频译码技术译码的视频数据可经显现和显示以产生三维效果。举例来说，不同视图的两个图像(例如，对应于具有稍微不同水平位置的两个相机视角)可大体上同时显示，使得一个图像由观察者的左眼看见，且另一图像由观察者的右眼看见。
此3D效果可使用(例如)立体显示器或自动立体显示器实现。立体显示器可因此结合滤波两个图像的护目镜而使用。举例来说，无源眼镜可使用偏光透镜或不同有色透镜滤波图像以确保恰当眼睛查看恰当图像。作为另一实例，有源眼镜可与立体显示器协调地快速遮挡交替的镜片，所述立体显示器可在显示左眼图像与显示右眼图像之间交替。自动立体显示器以不需要眼镜的方式显示所述两个图像。举例来说，自动立体显示器可包含经配置以致使每一图像投影到观察者的适当眼睛中的镜或棱镜。
在3D视频译码中，存在多个视图且每一视图包含被称作纹理图片和深度图片(或简称为纹理分量和深度图)的多个图片。每一纹理分量可对应于一个深度图。纹理分量可包含图像内容，且对应的深度图指示像素在纹理中的相对深度。将被显示的不同视图的纹理分量大体上同时包含类似图像内容，但在不同视图的纹理中的对象之间存在水平视差。下文更详细地描述纹理和深度图。
在3D-HEVC中，存取单元包含纹理图片和将大体上同时显示的其对应的深度图片。每一视图中的纹理图片和深度图片具有唯一视图识别符(视图id)或视图次序索引以识别图片属于哪一视图。然而，同一视图的深度图片和纹理图片可具有不同层识别符(层id)。
本发明的技术涉及通过译码纹理分量和深度图来译码3D视频数据。一般来说，术语“纹理”用以描述图像的明度(亮度或“明度(luma)”)值和图像的色度(色彩或“色度(chroma)”)值。在一些实例中，纹理图像(即，纹理图片)可包含用于蓝色色调(Cb)和红色色调(Cr)的一组明度数据和两组色度数据。在例如4:2:2或4:2:0的某些色度格式中，相对于明度数据下取样色度数据。换句话说，色度像素的空间分辨率可低于对应明度像素的空间分辨率(例如，明度分辨率的二分之一或四分之一)。
深度数据通常描述对应纹理数据的深度值。举例来说，深度图像(例如，深度图片)可包含分别描述对应纹理图片的对应纹理数据的深度的一组深度像素。深度数据可用于确定对应纹理数据的水平视差。因此，接收纹理和深度数据的装置可显示一个视图(例如，左眼视图)的第一纹理图片，且通过使第一图片的像素值偏移基于深度值所确定的水平视差值而使用深度数据修改第一纹理图片以产生另一视图(例如，右眼视图)的第二纹理图片。一般来说，水平视差(或简称“视差”)描述左视图中的像素相对于右视图中的对应像素的水平空间偏移，其中两个像素对应于如在两个视图中所表示的相同对象的相同部分。
在又其它实例中，可针对垂直于图像平面的z维度中的像素定义深度数据，使得与给定像素相关联的深度是相对于针对所述图像定义的零视差平面而定义。此深度可用以产生用于显示像素的水平视差，使得所述像素取决于所述像素相对于零视差平面的z维度深度值而对于左眼和右眼以不同方式显示。零视差平面可针对视频序列的不同部分改变，且相对于零视差平面的深度的量也可改变。
可针对左眼和右眼以类似方式定义位于零视差平面上的像素。位于零视差平面前部的像素可对于左眼和右眼显示于不同位置中(例如，具有水平视差)，以便产生像素似乎是从垂直于图像平面的z方向上的图像出现的感觉。位于零视差平面后部的像素可显示为具有轻微模糊以轻微地感觉到深度，或可对于左眼和右眼显示于不同位置中(例如，具有与位于零视差平面前部的像素相反的水平视差)。许多其它技术也可用以传达或定义图像的深度数据。
二维视频数据通常经译码为离散图片的序列，所述离散图片中的每一者对应于特定时间例项。也就是说，每一图片具有相对于所述序列中的其它图像的重放时间的相关联重放时间。这些图片可被视为纹理图片或纹理图像。在基于深度的3D视频译码中，序列中的每一纹理图片也可对应于深度图片(也被称作深度图)。也就是说，对应于纹理图片的深度图描述对应纹理图片的深度数据。多视图视频数据可包含用于各种不同视图的数据，其中每一视图可包含纹理图片和对应深度图片的相应序列。
如上文所提及，图片可对应于特定时间例项。视频数据可使用存取单元序列来表示，其中每一存取单元包含对应于特定时间例项的所有数据。因此，举例来说，对于多视图视频数据加深度，来自针对共同时间例项的每一视图的纹理图片加所述纹理图片中的每一者的深度图可全部包含在特定存取单元(AU)内。存取单元可包含对应于纹理图片的纹理分量和对应于深度图的深度分量的数据。
以此方式，3D视频数据可使用多视图视频加深度(MV+D)格式来表示，其中所俘获或所产生的视图(纹理分量)与对应深度图相关联。此外，在3D视频译码中，纹理分量和深度图可经译码且多路复用到3D视频位流中。深度图可经译码为灰度图像，其中深度图的“明度”样本(即像素)表示深度值，且常规帧内和帧间译码方法可应用于深度图译码。一般来说，深度数据的块(深度图的样本的块)可被称作深度块。深度值可指代与深度样本相关联的明度值。
在任何情况下，帧内和帧间译码方法(例如，帧内预测编码和解码以及帧间预测编码和解码技术)都可应用于深度图译码。举例来说，如上文所描述，尽管深度图指示对应纹理图片的深度值，但视频编码器20和视频解码器30可使用视频译码技术编码和解码深度图，因为深度图形成为灰度图像，其中深度图的明度样本指示对应纹理图片中的对应像素的深度值。
深度图通常包含锐边缘和恒定区域，且深度图中的边缘通常呈现与对应纹理图片的对应纹理数据强的相关性。由于纹理与对应深度之间的不同统计和相关性，已经基于2D视频编解码器针对深度图设计并且持续设计不同译码方案。举例来说，除了基础HEVC标准中可用的视频译码方案外，还可存在充分利用纹理与对应深度之间的不同统计和相关性的额外视频译码方案以用于视频译码深度图。
作为一个实例，在当前HEVC标准中，用于每一预测单元(PU)的明度分量的帧内预测技术可利用33个角度预测模式(从2到34编索引)、DC模式(以1编索引)和平面模式(以0编索引)。图2大体说明与方向性帧内预测模式相关联的预测方向。在当前HEVC中，对于每一预测单元(PU)的明度分量，以33个角度预测模式(从2到34编索引)、DC模式(以1编索引)和平面模式(以0编索引)利用帧内预测方法，如图2中所展示。在平面模式的情况下，使用所谓的“平面”功能执行预测。在DC模式(例如，用于产生DC预测值)的情况下，可基于块内的平均像素值或基于块内的像素值中的单一一者执行预测。在方向性预测模式的情况下，基于相邻块的沿着特定方向(如由模式指示)的经重建构像素而执行预测。一般来说，图2中所展示的箭头的尾端表示从其检索值的相邻像素中的相对一者，而箭头的头部表示所检索值沿着其传播以形成预测性块的方向。
3D-HEVC标准使用与HEVC标准相同的帧内预测模式的定义。此外，3D-HEVC引入了深度建模模式(DMM)与HEVC帧内预测模式一起用以帧内预测编码或解码深度图的深度切片的深度块(例如，预测单元)。DMM可更好地适合于用于深度图的帧间预测译码(编码或解码)的深度图中的锐边缘的表示。
3D-HEVC工作草案的一些早期版本提供四个DMM模式：模式1(明确楔波用信号发送)、模式2(经帧内预测楔波分割)、模式3(分量间楔波分割)和模式4(分量间轮廓(Contour)分割)。在所有四个模式中，例如视频编码器20或视频解码器30的视频译码器可将深度块分割为由DMM样式指定的两个区域，其中每一区域由恒定值表示。可明确地用信号发送DMM样式(模式1)，通过空间相邻块预测DMM样式(模式2)，或使用相同位置的纹理块预测DMM样式(模式3和模式4)。
3D-HEVC工作草案的一些版本移除DMM模式2，保留DMM模式1、3和4。3D-HEVC工作草案的一些版本还移除DMM模式3，保留DMM模式1和4。
为了更好地表示深度图中的锐边缘，HTM可应用DMM方法来帧内译码深度图。在DMM中存在新的帧内预测模式，且在这些模式中，视频编码器20和视频解码器30可经配置以将深度块分割成由DMM样式(被称作分割区样式)指定的两个区域，其中每一区域由恒定值表示。举例来说，视频编码器20可经配置以使用不同分割区样式(上文所描述的分割区样式的实例)来帧内预测性地编码深度块，并确定哪一分割区样式提供最佳译码(例如，就压缩和视频质量来说的最佳译码)。视频编码器20可接着使用所确定的分割区样式帧内预测编码深度块。因为视频解码器30执行与视频编码器20互逆的过程以帧内预测性地解码深度块，所以视频解码器30可经配置以确定视频编码器20所确定的相同分割区样式以帧内预测性地解码深度块。
视频编码器20可将指示深度建模模式的信息用信号发送到视频解码器30，且视频解码器30可从用信号发送的指示深度建模模式的信息确定分割区样式。举例来说，如果视频编码器20用信号发送指示深度建模模式为一个(DMM模式1)的信息，那么视频解码器30可经配置以针对识别用于深度块的分割区样式的来自视频编码器20的信息剖析位流。换句话说，如果视频编码器20确定将使用DMM模式1，那么视频编码器20可明确地用信号发送指示使用DMM模式的信息且用信号发送视频解码器30用以识别用于深度块的分割区样式的信息。以此方式，视频编码器20和视频解码器30用于帧内预测译码深度块的分割区样式(例如，DMM样式)相同。在一些实例中，分割区样式可为视频解码器30存储的多个分割区样式中的一者。每一分割区样式可与识别样式的识别符或索引值相关联。在一些实例中，视频编码器20可用信号发送视频译码器30可用于识别特定分割区样式的特定分割区样式的特定识别符或分割区样式索引。
对于DMM模式3和4，视频编码器20可用信号发送指示DMM模式为模式3或4的信息，但可不用信号发送识别用于深度块的分割区样式的信息。确切地说，视频解码器30可经配置以从对应纹理图片中的相同位置的纹理块确定用于深度块的分割区样式。视频编码器20和视频解码器30可分别经配置以实施从用于DMM模式3的对应纹理图片中的相同位置的纹理块确定分割区样式(例如，DMM样式)的相同过程，且经配置以实施从用于DMM模式4的对应纹理图片中的相同位置的纹理块确定分割区样式(例如，DMM样式)的相同过程。
存在在DMM中定义的两个类型的分割模式，包含楔波分割和轮廓分割。图3A和3B是说明深度建模模式(DMM)的实例的概念图。图3A说明用于8×8块的楔波样式的一个实例，且图3B说明用于8×8块的轮廓样式的一个实例。
图3A(例如)说明使用楔波分割而分割的深度块110，且图3B作为另一实例说明使用轮廓分割而分割的深度块130。3D-HEVC包含用于分割块的深度建模模式(DMM)以及对深度切片的帧内预测单元进行译码的帧内预测模式的技术。因此，在3D-HEVC中，引入DMM与HEVC帧内预测模式一起译码深度切片的帧内预测单元。HTM版本3.1应用用于深度图的帧内译码的DMM方法，其在某些情况下可较好地表示深度图中的较尖锐边缘。
存在在DMM中定义的两种类型的分割模式，包含楔波分割和轮廓分割。再次，图3A说明楔波分割的实例，且图3B说明轮廓分割的实例。深度块110和130内的每一个别正方形分别表示深度块110和130的相应个别像素。正方形内的数值表示对应像素属于区域112(图3A的实例中的值“0”)还是区域114(图3A的实例中的值“1”)。图3A中还使用阴影来指示像素属于区域112(白色正方形)还是区域114(灰色阴影正方形)。
每一样式(即，楔波和轮廓两者)可由指示对应样本(即，像素)属于区域P1还是P2的uB×vB二进制数字大小阵列定义(其中P1对应于图3A中的区域112和图3B中的区域132，且P2对应于图3A中的区域114和图3B中的区域134A、134B)，其中uB和vB分别表示当前PU的水平和垂直大小。在图3A和图3B的实例中，PU分别对应于块110和130。例如视频编码器20和视频解码器30的视频译码器可在译码的开头(例如，编码的开头或解码的开头)初始化楔波样式。
如图3A的实例中所展示，对于楔波分割，通过具有位于(xS,yS)处的开始点118(或“开始位置”118)和位于(xE,yE)处的结束点120(或“结束位置”120)的直线116将深度块110分割成两个区域，区域112和区域114。在图3A的实例中，开始点118可经定义为点(8,0)且结束点120经定义为点(0,8)。
如图3B的实例中所展示，对于轮廓分割，例如深度块130的深度块可分割成两个不规则形状的区域。在图3B的实例中，深度块130分割成区域132和区域134A、134B。尽管区域134A中的像素不紧邻区域134B中的像素，但区域134A和134B经定义从而形成一个单一区域，以用于预测深度块130的PU的目的。轮廓分割可比楔波分割更灵活，但可能相对更难以用信号发送。在DMM模式4中，在3D-HEVC的情况下，轮廓分割样式是使用相同位置的纹理块的经重建构明度样本隐式地导出。
以此方式，例如视频编码器20和视频解码器30的视频译码器可使用如由开始点118和结束点120定义的线116来确定深度块110的像素属于区域112(其也可被称作区域“P1”)还是区域114(其也可被称作区域“P2”)。同样，视频译码器可使用图3B的线136、138来确定深度块130的像素属于区域132(其也可被称作区域“P1”)还是区域134(其也可被称作区域“P2”)。区域“P1”和“P2”是用于根据DMM分割的不同区域的默认命名规范，且因此，深度块110的区域P1不应被视为与深度块130的区域P1相同的区域。
如上文所提及，DMM中的每一者可由DMM使用楔波还是轮廓分割以及所述样式是明确地用信号发送还是隐式地确定来定义。DMM过程可作为替代方案集成到HEVC中指定的帧内预测模式(图2中所展示)。可针对每一PU用信号发送一位旗标以指定应用DMM还是常规帧内预测。
如图3A和3B中所展示的N×N分割区样式指示N×N二进制块。在本发明中，N×N二进制块的位置(i,j)处的值被称作位置(i,j)处的分割区样式的分割区值，其中i,j＝0,1,…,N-1。对于N×N分割区样式的每一位置，二进制数字值指示当前位置的分割区(0或1)。
举例来说，图3A说明线性线(例如，直线116)平分深度块110的楔波样式的一个实例。然而，可存在许多不同楔波样式。举例来说，不同于如图3A中所说明的从(0,8)开始且结束于(8,0)的线性线，在另一实例中，从(1,8)开始且结束于(8,1)的线性线是可能的。可存在楔波样式的更多得多的此类实例。
一般来说，楔波样式的数目可为块大小的函数。举例来说，较大大小的深度块包含比较小大小的深度块更多的开始点和结束点，意味着对于较大大小的深度块存在比对于较小大小的深度块更多的可能楔波样式。
在一些实例中，在初始化期间，视频译码器(例如，视频编码器20和视频解码器30)可产生所有可用楔波样式，且建构楔波样式的楔波样式列表。为此目的，产生用于开始与结束点位置的所有可能组合的楔波样式，且在译码过程之前，视频译码器在查找表中存储用于每一块大小的开始和结束点位置。在视频编码器20识别将哪一楔波样式用于深度块的帧内预测的实例中，视频编码器20可将索引用信号发送到楔波样式的查找表中，其中索引识别视频编码器20用于帧内预测编码深度块的楔波样式。视频解码器30将索引接收到视频编码器20在初始化期间建构的楔波样式的查找表中。视频解码器30可接着确定由索引识别的楔波样式，且将那个楔波样式用于深度块的帧内预测解码。以此方式，视频编码器20和视频解码器30可分别将同一楔波样式用于帧内预测编码和解码。
取决于连接开始和结束点位置的分割区界线的定向，可将开始和结束点位置的可能组合分类成六个类别。举例来说，平分深度块的线性线可从顶行延伸到左列、底行或右列。平分深度块的线性线可从左列延伸到底行或右列(在先前情况下已涵盖延伸到顶行)。平分深度块的线性线可从底行延伸到右列(在先前情况下已涵盖其它者)。以此方式，对于平分深度块的线性线，存在六个类别。这六个类别列在下表1中：
表1：连接开始和结束点的分割区界线的定向
开始点位置 结束点位置 定向
顶行 左列 0
右列 顶行 1
底行 右列 2
左列 底行 3
顶行 底行 4
右列 左列 5
为了产生N×N楔波分割区样式，给定开始点(xS,yS)和结束点(xE,yE)位置，视频编码器20和视频解码器30可首先产生临时K×K分割区样式，其中所有样本经初始化为0，其中对于半样本(半像素)准确性，K等于2N，且对于其它情况，K等于N。视频编码器20和视频解码器30可将形成连接(xS,yS)与(xE,yE)的分割区界线的样本设定为1，且将临时分割区样式划分为两个部分(例如，如图4A到4F中所说明的部分A和部分B)。
图4A到4F是说明临时分割区样式的实例的概念图。举例来说，图4A到4F说明在楔波样式产生中由分割区界线(即，平分深度块的线性线)划分的两个部分。为了产生N×N楔波分割区样式，给定开始点(xS,yS)和结束点(xE,yE)位置，视频编码器20和视频解码器30首先产生临时K×K分割区样式，其中所有样本经初始化为0，其中对于半样本(半像素)准确性，K等于2N，且对于其它情况，K等于N。接着，将形成连接(xS,yS)与(xE,yE)的分割区界线的样本设定为1，且将临时分割区样式划分为两个部分，即如图4A到4F中所说明的部分A和部分B。
在视频编码器20和视频解码器30将临时分割区样式划分为两个部分之后，视频编码器20和视频解码器30将两个部分中的一者选择为分割区1。视频编码器20和视频解码器30可经配置以基于楔波样式界线的定向选择所述部分中的哪一部分为分割区1。因为视频编码器20和视频解码器30被配置成以相同方式选择部分中的哪一部分为分割区1，所以视频编码器20和视频解码器30将相同部分选择为分割区1。又，因为另一分割区(即，不是分割区1的分割区)被默认为分割区0，所以视频编码器20和视频解码器30将同一部分选择为分割区0。
如上文所描述，且由表1所指示，对于楔波样式，可存在将深度块平分成两个分割区的线性线的六个定向。图4A到4F说明此类定向的实例。应理解，图4A到4F各自说明相应定向的一个实例，且还可存在其它实例。举例来说，图4B是针对定向1，且上表1指示定向1为右列到顶行。在图4B中，线性线从(8,5)开始且结束于(4,0)。在定向1的另一实例中，线性线可开始于(8,7)且结束于(1,0)。
下表2说明视频编码器20和视频解码器30基于分割区界线的定向选择哪一部分为分割区1的方式。举例来说，视频编码器20和视频解码器30可首先确定分割区界线的定向(即，平分深度块的线性线的定向)。接着，视频编码器20和视频解码器30可确定由平分线性线产生的两个分割区中的哪一分割区应被识别为1且哪一分割区应被识别为0。
作为一个实例，如表2中所指示，如果定向分割区界线为0，那么视频编码器20和视频解码器30选择部分A作为将由1识别的分割区。图4A说明经标记A的分割区将被识别为1且经标记B的分割区将被识别为0的一个实例。然而，图4A为定向分割区界线1的一个实例，且存在定向分割区界线1的其它实例。视频编码器20和视频解码器30可基于表2中阐述的准则针对定向1到5执行类似功能以确定哪一分割区被识别为1且哪一分割区被识别为0。
表2：选择分割区1的样本
分割区界线的定向 将被选择为1的样本部分
0 A
1 B
2 B
3 A
4 xS+xE<K？A:B
5 yS+yE<K？A:B
在图4A到4F中说明的实例中，线性线从深度块内的像素(例如，样本)开始且结束于深度块内的像素(例如，样本)。在这些实例中，线性线可被视为具有全样本准确度。然而，本发明中描述的技术不受如此限制。举例来说，可将技术扩展到半样本准确度或甚至四分之一样本准确度。
对于半样本准确度的情况，视频编码器20和视频解码器30可产生N×N分割区样式(也被称作bPattern)，作为临时K×K(K＝2N)分割区样式bTempPattern的经下取样版本。在此实例中，bPattern[i][j]＝bTempPattern[m][n]，其中i,j＝0,1,…,N-1，且m,n＝0,1,…,2N-1。在本发明中，临时K×K分割区样式被称作具有开始位置(xS,yS)和结束位置(xE,yE)的此N×N分割区样式的对应楔波样式，且此对应楔波样式具有大小2N×2N，其具有开始位置(2*xS,2*yS)和结束位置(2*xE,2*yE)。由于半样本准确度，2*xS、2*yS、2*xE和2*yE为整数数目，但xS、yS、xE和yE可为分数数目。(i,j)与(m,n)之间的映射取决于分割区界线的定向。可类似地针对四分之一样本准确度扩展所述技术。图9A到9B进一步描述针对半样本准确度的情况产生分割区样式的实例。出于说明的目的，针对定向0和定向1描述所述实例。
如上文所描述，在初始化期间，视频编码器20和视频解码器30可各自建构包含用于所有楔波样式的开始和结束点(即，用于针对每一定向将深度块平分成两个分割区的不同可能线性线的开始和结束点)的楔波样式列表。在一些情况下，两个楔波样式可相同。然而，视频编码器20和视频解码器30可在楔波样式列表初始化过程期间移除重复楔波样式，使得楔波样式列表包含仅唯一样式。
在产生楔波样式列表时，用于产生楔波样式的开始和结束位置的分辨率取决于块大小。对于32×32块，可能的开始和结束位置限于具有2个样本的准确度的位置。对于16×16块，使用全样本准确度，且对于4×4和8×8块，使用半样本准确度。因此，对于不同块大小，可能的楔波样式的数目可不同。一般来说，可能的楔波样式的数目与块的大小成正比(即，块大小越大，楔波样式越多，且块大小越小，楔波样式越少)。
在楔波样式列表初始化过程期间，为了避免将重复楔波样式添加到楔波列表中，视频编码器20和视频解码器30可各自仅在新近产生的楔波样式不表示与列表中的当前楔波样式中的任一者相同的样式时将所述新近产生的楔波样式添加到楔波列表的末尾。当比较大小N×N的两个楔波样式(即，PatternA[i][j]、PatternB[i][j]，其中i,j＝0,1,…,N-1)时，如果对于在[0,N-1]的范围中的i与j的所有可能组合，PatternA[i][j]始终等于PatternB[i][j]或PatternA[i][j]从不等于PatternB[i][j]，那么PatternA被视为与PatternB相同。
由于不同块大小和开始及结束点位置的不同准确度，不同数目和不同样式的楔波样式可用于不同块大小，如下表3中所列出。对于较大块大小，楔波样式的总数可大得多，这可增加用于样式产生的存储要求和复杂度。
表3：DMM中的可用楔波样式的数目
块大小 可用楔波样式的数目
4×4 86
8×8 782
16×16 1394
32×32 1503
64×64 6079
工作草案JCT3V-E1001的H.8.4.4.2.12、H.8.4.4.2.12.1和H.8.4.4.2.12.2中已经指定楔波列表初始化的详细过程。如上文所提及，JCT3V-E1001文件由Sullivan等人定名为“3D-HEVC草案文本1”，且从2014年10月13日起，其可从http://phenix.it-sudparis.eu/jct2/doc_end_user/current_document.php？id＝1361获得。
对于HEVC帧内预测模式，视频编码器20和视频解码器30可通过使用PU的相邻样本针对PU中的每一像素产生像素特定的预测性样本。HEVC和3D-HEVC工作草案两者中的子条款8.4.2中指定此类技术。对于其它深度帧内模式，视频编码器20和视频解码器30通过使用PU的至多两个相邻样本针对PU内的每一分割区计算分割区特定的DC预测子。
为了进一步说明通过使用PU的至多两个相邻样本针对PU内的每一分割区计算分割区特定的DC预测子，假设bPattern[x][y]为PU的分割区样式，其中x＝0..N-1、y＝0..N-1，且N为PU的宽度。bPattern[x][y]指示像素(x,y)属于哪一分割区，且bPattern[x][y]可等于0或1。在当前实例中，假设BitDepth为深度样本的位深度且假设RecSample[x][y]为PU的经重建构相邻样本，其中x＝-1且y＝0..N-1(对应于PU的左方相邻像素)或y＝-1，x＝0..N-1(对应于PU的上方相邻像素)，如下导出分割区X的DC预测子(即，DCPred[X])，其中X＝0或1：
●设定bT＝(bPattern[0][0]！＝bPattern[N-1][0])？1:0
●设定bL＝(bPattern[0][0]！＝bPattern[0][N-1])？1:0
●如果bT等于bL:
○那么
■DCPred[X]＝(RecSample[-1][0]+RecSample[0][-1])>>1
■DCPred[1-X]＝bL？(RecSample[-1][N-1]+RecSample[N-1][-1])>>1:2BitDepth-1
○否则
■DCPred[X]＝bL？RecSample[(N-1)>>1][-1]:RecSample[-1][(N-1)>>1]
■DCPred[1-X]＝bL？RecSample[-1][N-1]:RecSample[N-1][-1]
本发明中描述的技术也可结合简化深度译码(SDC)一起起作用，但所述技术不受如此限制且可在未利用SDC的实例中起作用。下文描述简化深度译码(SDC)模式。引入SDC模式与HEVC帧内预测模式、DMM模式及/或链译码模式一起译码深度切片的帧内PU。在当前3D-HEVC中，SDC仅应用于2N×2NPU分割区大小。替代译码经量化变换系数，SDC模式表示具有以下两个类型的信息的深度块：(1)当前深度块的分割区的类型，包含DMM模式1(2分割区)和平面(1分割区)，和(2)对于每一分割区，在位流中用信号发送的残余值(在像素域中)。
在SDC中定义两个子模式，包含SDC模式1和SDC模式2，其分别对应于平面和DMM模式1的分割区类型。在SDC中使用简化残余译码。在简化残余译码中，针对PU的每一分割区用信号发送一个DC残余值，且不应用变换或量化。
为了使用SDC模式用信号发送每一分割区的残余值，视频译码器可应用两种方法。在第一方法中，视频译码器可直接译码每一分割区的DC残余值，所述DC残余值通过减去预测子计算，由Pred标示，通过来自当前PU中的当前分割区的DC值(即，由Aver标示的平均值)的相邻样本产生。在一些实例中，Pred由相邻样本产生，且DC残余值通过从当前PU中的当前分割区的DC值减去Pred而计算。在第二方法中，当视频译码器发射深度查找表(DLT)时，视频译码器译码从索引查找表映射的Aver与Pred的索引差，而非译码DC残余值。视频译码器可通过从Aver的索引减去Pred的索引来计算索引差。在解码器侧处，视频译码器可基于DLT将经解码索引差与Pred的索引的总和映射回深度值。
本发明中描述的技术还可结合简化帧间模式深度译码(SIDC)起作用，但所述技术不受如此限制且可在未利用SIDC的实例中起作用。除了类似于纹理译码的视图间样本预测和视图间运动预测，3D-HEVC还可使用SIDC。SIDC将SDC扩展到帧间模式深度译码。因此，在以下上下文中将其简称为框间SDC。SIDC提供替代的残余译码方法且可仅编码PU的一个DC残余值。视频译码器可跳过变换和量化，且可以不需要任何额外残余，例如变换树。视频译码器用信号发送是否将框间SDC用于CU层级的通用译码单元参数。对于经框间SDC译码的CU，视频译码器可针对每一PU用信号发送一个DC残余值，且所述DC残余用作PU中的所有样本的残余以供框间译码。
为了减少针对框间SDC模式用信号发送的位，在一些实例中，仅允许非跳过CU应用框间SDC。此外，在一些实例中，为了避免框间SDC模式与跳过模式之间的可能重叠，视频译码器可仅在CU内的每一PU的DC残余非零时应用框间SDC模式。视频译码器可计算PU的DC残余作为PU的所有样本的原始样本值与预测样本值之间的差值的平均值。在一些实例中，由于视频译码器仅用信号发送原始块与预测块之间的DC差值，为了补偿AC差值，针对深度帧间模式译码采用均值移除运动估计。
在JCT3V-F0126(“CE5related:GenericSDCforallIntramodesin3D-HEVC”，其可从http://phenix.it-sudparis.eu/jct2/doc_end_user/current_document.php？id＝1463处获得)中，提出在深度译码中，简化残余译码可应用于额外深度帧内预测模式和原始HEVC帧内预测模式。此过程也描述于2013年10月15日申请的美国临时申请案第61/891,203号。在一些实例中，在使用简化残余译码时，针对PU的每一分割区用信号发送一个DC残余值。举例来说，用HEVC帧内预测模式译码的PU具有一个分割区(即，PU内的所有像素在同一分割区中)，且用额外深度帧内预测模式译码的PU具有两个分割区。另外，跳到变换和量化两者且不产生额外残余，即，基于HEVC的3D编解码器中不存在变换树。
以下为用于指示可由根据本发明的技术的视频编码器20和视频解码器30产生及/或使用的帧内帧间SDC模式的语法元素和相关联语义。
语法
H.7.3.2.1.2视频参数集扩展2语法
H.7.3.8.5译码单元语法
H.7.3.8.5.1深度模式参数语法
语义
等于1的vps_inter_sdc_flag[layerId]指定帧间SDC译码用于具有等于layerId的nuh_layer_id的层。等于0的vps_inter_sdc_flag[layerId]指定帧间SDC译码不用于具有等于layerId的nuh_layer_id的层。当不存在时，推断vps_inter_sdc_flag[layerId]的值等于0。
等于1的inter_sdc_flag指定残余块的简化深度译码用于当前译码单元。等于0的inter_sdc_flag指定残余块的简化深度译码不用于当前译码单元。当不存在时，推断inter_sdc_flag等于0。
inter_sdc_resi_abs_minus1[x0][y0][i]、inter_sdc_resi_sign_flag[x0][y0][i]用以如下导出InterSdcResi[x0][y0][i]：
(H-19)InterSdcResi[x0][y0][i]＝(1-2*inter_sdc_resi_sign_flag[x0][y0][i])*(inter_sdc_resi_abs_minus1[x0][y0][i]+1)
H.7.4.9.5.1深度模式参数语义
将变量Log2MaxDmmCbSize设定成等于5。
如下文中所指定导出变量depthIntraModeSet：
-如果log2CbSize等于6，那么将depthIntraModeSet设定成等于0。
-否则，如果log2CbSize等于3且PartMode[xC][yC]等于PART_NxN，那么将depthIntraModeSet设定成等于1。
-否则，将depthIntraModeSet设定成等于2。
depth_intra_mode[x0][y0]指定当前预测单元的深度帧内模式。表H-2指定取决于depthIntraModeSet的变量depthIntraModeMaxLen的值和变量DepthIntraMode的值以及取决于depth_intra_mode和depthIntraModeSet的相关联名称。
如以下所指定导出变量SdcFlag[x0][y0]：
(H-25)SdcFlag[x0][y0]＝(DepthIntraMode[x0][y0]＝＝INTRA_DEP_SDC_PLANAR)||(DepthIntraMode[x0][y0]＝＝INTRA_DEP_SDC_DMM_WFULL)
如以下所指定导出变量DmmFlag[x0][y0]：
(H-26)DmmFlag[x0][y0]＝(DepthIntraMode[x0][y0]＝＝INTRA_DEP_DMM_WFULL)||(DepthIntraMode[x0][y0]＝＝INTRA_DEP_DMM_CPREDTEX)
表H-2——DepthIntraMode的规格和取决于depthIntraModeSet和depth_intra_mode的相关联名称以及取决于depthIntraModeSet的depthIntraModeMaxLen的规格
wedge_full_tab_idx[x0][y0]指定当DepthIntraMode[x0][y0]等于INTRA_DEP_DMM_WFULL时对应样式列表中的楔波样式的索引。
等于1的depth_dc_flag[x0][y0]指定存在depth_dc_abs[x0][y0][i]和depth_dc_sign_flag[x0][y0][i]。等于0的depth_dc_flag[x0][y0]指定不存在depth_dc_abs[x0][y0][i]和depth_dc_sign_flag[x0][y0][i]。
depth_dc_abs[x0][y0][i]、depth_dc_sign_flag[x0][y0][i]用以如下导出DcOffset[x0][y0][i]：
(H-27)DcOffset[x0][y0][i]＝(1-2*depth_dc_sign_flag[x0][y0][i])*
(depth_dc_abs[x0][y0][i]-dcNumSeg+2)
图5是说明可经配置以实施本发明的技术的实例视频编码器20的框图。出于解释的目的而提供图5，且不应将其视为对如本发明中所广泛例示和描述的技术的限制。出于解释的目的，本发明在HEVC译码且更确切地说3D-HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
在图5的实例中，视频编码器20包含预测处理单元40、残余产生单元42、变换处理单元44、量化单元46、逆量化单元48、逆变换处理单元50、重建构单元52、滤波器单元54、经解码图片缓冲器56和熵编码单元58。预测处理单元40包含帧间预测处理单元60和帧内预测处理单元66。帧间预测处理单元60包含运动估计(ME)单元62和运动补偿(MC)单元64。
为便于说明，将预测处理单元40的组件说明且描述为执行纹理编码和深度编码两者。在一些实例中，纹理和深度编码可由预测处理单元40的相同组件或预测处理单元40内的不同组件执行。举例来说，在一些实施方案中可提供单独的纹理和深度编码器。并且，可提供多个纹理和深度编码器以对多个视图进行编码，例如用于多视图加深度译码。在任一情况下，预测处理单元40可经配置以对纹理数据和深度数据进行帧内或帧间编码，作为例如3D-HEVC过程的3D译码过程的部分。
因此，预测处理单元40可大体上根据(例如)如3D-HEVCWD中所描述的3D-HEVC操作，经受本发明中所描述的修改及/或添加，例如有关将更大CU大小应用于DMM模式的那些修改及/或添加。预测处理单元40可使用如本发明中所描述的SDC或非SDC残余译码技术产生和编码用于经帧内编码或经帧间编码深度数据的残余数据。在一些实例中，视频编码器20可包含比图5中所展示的更多、更少或不同的功能组件。
视频编码器20可接收视频数据。视频编码器20可对视频数据的图片的切片中的每一CTU进行编码。CTU中的每一者可与图片的大小相等的明度译码树块(CTB)和对应的CTB相关联。作为对CTU进行编码的部分，预测处理单元40可执行四叉树分割以将CTU的CTB划分为逐渐更小的块。所述更小的块可为CU的译码块。举例来说，预测处理单元40可将与CTU相关联的CTB分割成四个大小相等的子块，将子块中的一或多者分割成四个大小相等的子子块，等等。
视频编码器20可对CTU的CU进行编码以产生CU的经编码表示(即，经译码CU)。作为对CU进行编码的部分，预测处理单元40可在CU的一或多个PU当中分割与CU相关联的译码块。因此，每一PU可与明度预测块和对应的色度预测块相关联。
视频编码器20和视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小且PU的大小可指PU的明度预测块的大小。假设特定CU的大小为2N×2N，视频编码器20和视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，和用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器20和视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N和nR×2N的PU大小的不对称分割。根据本发明的方面，视频编码器20和视频解码器30还支持用于深度帧间译码的PU的非矩形分割。
帧间预测处理单元60可通过对CU的每一PU执行帧间预测而产生PU的预测性数据。用于PU的预测性数据可包含PU的预测性样本块和用于PU的运动信息。取决于PU是在I切片中、P切片中或B切片中，帧间预测处理单元60可对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU是在I切片中，那么帧间预测处理单元60不对PU执行帧间预测。因此，对于在I模式中编码的块，经预测块是使用来自同一帧内的经先前编码的相邻块的空间预测而形成。
如果PU在P切片中，那么运动估计(ME)单元62可针对PU的参考区域搜索参考图片列表(例如，“RefPicList0”)中的参考图片。参考图片可存储在经解码图片缓冲器56中。用于PU的参考区域可以是在参考图片内含有最紧密地对应于PU的样本块的样本块的区域。运动估计(ME)单元62可产生指示含有PU的参考区域的参考图片的RefPicList0中的位置的参考索引。另外，运动估计(ME)单元62可产生指示PU的译码块与关联于参考区域的参考位置之间的空间位移的运动向量(MV)。举例来说，MV可以是提供从当前经解码图片中的座标到参考图片中的座标的偏移的二维向量。运动估计(ME)单元62可输出参考索引和MV作为PU的运动信息。基于由PU的运动向量指示的参考位置处的实际样本或内插样本，运动补偿(MC)单元64可产生PU的预测性样本块。
如果PU是在B切片中，那么运动估计单元62可对PU执行单向预测或双向预测。为了对PU执行单向预测，运动估计单元62可搜索RefPicList0或用于PU的参考区域的第二参考图片列表(“RefPicList1”)的参考图片。运动估计(ME)单元62可输出以下各者作为PU的运动信息：指示含有参考区域的参考图片的RefPicList0或RefPicList1中的位置的参考索引、指示PU的样本块与和参考区域相关联的参考位置之间的空间位移的MV，以及指示参考图片是在RefPicList0中还是RefPicList1中的一或多个预测方向指示符。运动补偿(MC)单元64可至少部分地基于由PU的运动向量指示的参考区域处的实际样本或内插样本来产生PU的预测性样本块。
为了对PU执行双向帧间预测，运动估计单元62可在用于PU的参考区域的RefPicList0中搜索参考图片，并且还可在用于PU的另一参考区域的RefPicList1中搜索参考图片。运动估计(ME)单元62可产生指示含有参考区域的参考图片的RefPicList0和RefPicList1中的位置的参考图片索引。另外，运动估计(ME)单元62可产生指示和参考区域相关联的参考位置与PU的样本块之间的空间位移的MV。PU的运动信息可包含PU的参考索引和MV。运动补偿(MC)单元64可至少部分地基于由PU的运动向量指示的参考区域处的实际样本或内插样本来产生PU的预测性样本块。
帧内预测处理单元66可通过对PU执行帧内预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性样本块和各种语法元素。帧内预测处理单元66可对I切片、P切片和B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元66可使用多个帧内预测模式来产生PU的多组预测性数据，且接着(例如)使用速率失真最佳化技术来选择所述帧内预测模式中得到可接受或最佳译码性能(或“译码效率”)的一者。为了使用帧内预测模式以产生PU的一组预测性数据，帧内预测处理单元66可在与帧内预测模式相关联的方向上将样本从相邻PU的样本块延伸跨越PU的样本块。假设对于PU、CU和CTU采用从左到右、从上到下的编码次序，那么相邻PU可在所述PU的上方、右上方、左上方或左方。帧内预测处理单元66可使用各种数目的帧内预测模式，例如，33个方向性帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区域的大小。
另外，帧内预测处理单元66可经配置以译码深度图的深度块。举例来说，帧内预测处理单元66可使用来自基础(2D)HEVC标准的帧内预测模式(例如，如上文关于图2所描述)与深度建模模式(DMM)(例如，如上文关于图3A和3B所描述)一起来译码深度切片的经帧内预测PU。
预测处理单元40可从用于PU的由帧间预测处理单元60产生的预测性数据或用于PU的由帧内预测处理单元66产生的预测性数据当中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元40基于预测性数据集合的速率/失真量度选择用于CU的PU的预测性数据。所选预测性数据的预测性样本块在本文中可被称为所选预测性样本块。
残余产生单元42可基于CU的明度、Cb和Cr译码块以及CU的PU的所选预测性明度块、Cb块和Cr块产生CU的明度、Cb和Cr残余块。举例来说，残余产生单元42可产生CU的残余块，使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应所选预测性样本块中的对应样本之间的差的值。
变换处理单元44可执行四叉树分割以将与CU相关联的残余块分割成与CU的TU相关联的变换块。因此，TU可与明度变换块和两个色度变换块相关联。CU的TU的明度和色度变换块的大小和位置可或可不基于CU的PU的预测块的大小和位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与区域中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元44可通过将一或多个变换应用于TU的变换块而产生CU的每一TU的变换系数块。变换处理单元44可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元44可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元44不将变换应用于变换块。在此类实例中，变换块可被视作变换系数块。
量化单元46可量化系数块中的变换系数。量化过程可减小与变换系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。量化单元46可基于与CU相关联的量化参数(QP)值量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可导致信息的损耗，因此经量化变换系数可具有比原始变换系数更低的精度。
逆量化单元48和逆变换处理单元50可分别将逆量化和逆变换应用于系数块，以从系数块重建构残余块。重建构单元52可将经重建构残余块添加到来自由预测处理单元40产生的一或多个预测性样本块的对应样本，以产生与TU相关联的经重建构变换块。通过以此方式重建构CU的每一TU的变换块，视频编码器20可重建构CU的译码块。
滤波器单元54可执行一或多个解块操作以减小与CU相关联的译码块中的成块假象。经解码图片缓冲器56可在滤波器单元54对经重建构译码块执行一或多个解块操作之后存储经重建构译码块。帧间预测单元60可使用含有经重建构译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元66可使用经解码图片缓冲器56中的经重建构译码块以对与CU处于同一图片中的其它PU执行帧内预测。
熵编码单元58可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元58可从量化单元46接收系数块且可从预测处理单元40接收语法元素。熵编码单元58可对数据执行一或多个熵编码操作以产生经熵编码数据。举例来说，熵编码单元58可对数据执行CABAC操作、上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数-哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元58产生的经熵编码数据的位流。举例来说，位流可包含表示用于CU的RQT的数据。
视频编码器20是经配置以执行本发明中描述的技术中的任一者的视频编码器的实例。根据本发明的一或多种技术，视频编码器20内的一或多个单元可执行本文中描述的一或多种技术作为视频编码过程的部分。类似地，视频编码器20可使用本发明的技术中的任一者执行视频解码过程以再生用作用于随后经译码视频数据的参考的视频数据。如上文所论述，视频解码过程中可利用逆量化单元48、逆变换处理单元50和重建构单元52，以及视频编码器20的其它元件。视频编码器20内也可包含额外3D处理组件。
举例来说，预测处理单元40且更确切地说帧间预测处理单元60和帧内预测处理单元66可如本文中所描述分别执行用于深度帧间预测和深度帧内预测编码深度块的SDC模式。帧间预测处理单元60和帧内预测处理单元66在使用时可各自针对深度块(例如，PU或其每一分割区)确定DC残余值。预测处理单元60可产生指示用于当前CU的模式的语法元素及/或语法结构。
帧内预测处理单元66或帧间预测处理单元60可将深度块的DC残余值连同其它语法信息一起提供到熵编码单元58，(例如)如通过图6中的虚线所说明。帧内预测处理单元66或帧间预测处理单元60可将DC残余值提供到熵编码单元58，而所述值无需由变换处理单元44和量化单元46处理。在其它实例中，量化单元46可在熵编码单元58熵译码之前量化DC残余值。所述语法信息可包含本文中所描述的结合本发明的技术用信号发送的各种信息、旗标或其它语法元素。
举例来说，作为实例，语法信息可指示是否针对深度块执行SDC模式、使用基于分割区(例如，3D-HEVC)的模式还是非基于分割区(HEVC)的模式来确定DC残余值，以及使用哪一深度帧内预测模式来确定DC残余值。根据SDC模式，视频编码器20经配置以：基于深度帧内预测模式或深度帧间预测模式中的所指示一者而确定深度块(例如，CU的PU的分割区)的至少一个DC残余值，其中所述DC残余值表示深度块的多个像素的残余值；且将所述DC残余值或表示所述DC残余值的信息编码到位流中。
在此意义上，视频编码器20可经配置以实施本发明中所描述的一或多个实例技术。举例来说，帧内预测处理单元66可经配置以实施本发明中所描述的用于深度块的实例帧内预测编码技术。在一些实例中，与其它处理器组合的帧内预测处理单元66可经配置以实施本发明中描述的技术。
根据本发明的技术，预测处理单元40可在深度译码单元(CU)内定义64×64或更大深度预测单元(PU)。在定义64×64深度PU之后，预测处理单元40可产生64×64深度PU的一或多个分割区。预测处理单元40可进一步产生用于分割区中的每一者的预测数据，如本发明中所描述。使用预测数据和深度值，重建构单元52可产生用于分割区中的每一者的残余数据。在一些实例中，变换处理单元44、量化单元46及/或熵译码单元58可进一步处理残余数据。视频编码器20的预测处理单元40及/或一或多个其它组件可产生指示64×64深度PU的预测数据、残余数据和分割的语法数据。以此方式，视频编码器20可产生用于使用深度建模模式(DMM)(例如，楔波分割)译码64×64或更大大小译码单元(CU)的深度图的位流。本发明的图7到9中描述编码过程的其它细节。
在一些实例中，视频编码器20可使用将深度索引映射到深度值的深度查找表(DLT)。视频编码器20可使用DLT以通过用信号发送对应于深度值的索引值而非深度值自身而提高译码效率。为了建构DLT，视频编码器20可在编码全序列前分析第一周期内的帧。在一些实例中，按升序排序所有的有效深度值且将其插入到具有递增索引的DLT。
视频编码器20可不在所有译码情况下使用DLT。举例来说，如果在编码全序列之前分析第一周期内的帧时，从0到MAX_DEPTH_VALUE的一半以上的值(例如，8位深度样本的255个)出现在原始深度图中，那么视频编码器20可不使用DLT。否则的话，视频编码器20可将DLT编码在序列或视频参数集中。为了对DLT进行译码，视频编码器20首先用指数-哥伦布码对有效深度值的数目进行编码。随后，也用指数-哥伦布码对每一有效深度值进行译码。
有效深度值可为在编码全序列之前分析第一周期内的帧时出现在原始深度图中的值。因此，视频编码器20可从待译码的输入视频序列读取帧的预定义数目，且针对可用深度图值扫描所有样本。在此过程期间，视频编码器20可基于原始未经压缩深度图产生将深度值映射到有效深度值的映射表。
通过分析深度图Dt的以下技术导出深度查找表Idx2Depth(.)、索引查找表Depth2Idx(.)、深度映射表M(.)和有效深度值dvalid的数目：
1.初始化
●布尔型向量B(d)＝FALSE，对于所有深度值d
●索引计数i＝0
2.针对多个时间例项t处理Dt中的每一像素位置p：
●设定B(Dt(p))＝TRUE以标记有效深度值
3.计数B(d)中TRUE值→dvalid的数目
4.针对B(d)＝＝TRUE的每一d：
●设定Idx2Depth(i)＝d
●设定M(d)＝d
●设定Depth2Idx(d)＝i
●i＝i+1
5.针对B(d)＝＝FALSE的每一d：
●找到和
●设定
●设定
●从索引Idx返回到深度值d的映射如下：d＝Idx2Depth[Idx]。
●从深度值d到索引Idx的映射如下：Idx＝Depth2Idx[d]。
图6是说明经配置以执行本发明的技术的实例视频解码器30的框图。出于解释的目的而提供图6，且不应将其视为对如本发明中所广泛例示和描述的技术的限制。出于解释的目的，本发明在HEVC译码且确切地说3D-HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它3D视频译码标准或方法。
在图6的实例中，视频解码器30包含熵解码单元80、预测处理单元82、逆量化单元83、逆变换处理单元85、重建构单元88、滤波器单元90和经解码图片缓冲器92。预测处理单元82包含运动补偿(MC)单元84和帧内预测处理单元86。
为便于说明，将预测处理单元82的组件说明且描述为执行纹理解码和深度解码两者。在一些实例中，纹理和深度解码可由预测处理单元82的相同组件或预测处理单元82内的不同组件执行。举例来说，在一些实施方案中可提供单独的纹理和深度解码器。并且，可提供多个纹理和深度解码器以对多个视图进行解码，例如用于多视图加深度译码。在任一情况下，预测处理单元82可经配置以对纹理数据和深度数据进行帧内或帧间解码，作为例如3D-HEVC过程的3D译码过程的部分。
因此，预测处理单元82可大体上根据3D-HEVC操作，经受本发明中所描述的修改及/或添加，例如有关将更大CU大小应用于DMM模式的那些修改及/或添加。预测处理单元82可使用如本发明中所描述的SDC或非SDC残余译码技术从经帧内解码或经帧间解码的深度数据的经编码视频位流获得残余数据，且使用经帧内预测或经帧间预测深度数据和所述残余数据重建构CU。在一些实例中，视频解码器30可包含比图6中所展示的更多、更少或不同的功能组件。
视频解码器30可接收位流。熵解码单元80可剖析位流以对来自位流的语法元素进行解码。熵解码单元80可对位流中的经熵编码语法元素进行熵解码。预测处理单元82、逆量化单元83、逆变换处理单元85、重建构单元88和滤波器单元90可基于从位流提取的语法元素来产生经解码视频数据。
位流可包括一系列网络抽象层(NAL)单元。位流的NAL单元可包含经译码切片NAL单元。作为对位流进行编码的部分，熵解码单元80可从经译码切片NAL单元提取语法元素并且对所述语法元素进行熵解码。经译码切片中的每一者可包含切片标头和切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片参数集(PPS)的语法元素。PPS可指代序列参数集(SPS)，所述序列参数集又可指代视频参数集(VPS)。熵解码单元80还可对可包含语法信息的其它元素(例如，辅助增强信息(SEI)消息)进行熵解码。
切片标头、参数集或SEI消息中的任一者中的经解码语法元素可包含如根据本发明中所描述的实例技术用信号发送的本文中所描述的信息。可将此语法信息提供到预测处理单元82以用于根据本发明中描述的技术解码和重建构深度块。
一般来说，除了对来自位流的语法元素进行解码之外，视频解码器30可对未经分割CU执行重建构操作。为了对未经分割CU执行重建构操作，视频解码器30可对CU的每一TU执行重建构操作。通过对CU的每一TU执行重建构操作，视频解码器30可重建构CU的块。
作为对CU的TU执行重建构操作的部分，逆量化单元83可逆量化(即，解量化)与TU相关联的系数块。逆量化单元83可使用与TU的CU相关联的量化参数(QP)值以确定量化的程度且同样地确定逆量化单元83将应用的逆量化的程度。也就是说，可通过调整在量化变换系数时所使用的QP的值来控制压缩比，即用以表示原始序列与经压缩序列的位的数目的比。压缩比还可取决于所采用的熵译码的方法。
在逆量化单元83逆量化系数块之后，逆变换处理单元85可将一或多个逆变换应用于系数块以便产生与TU相关联的残余块。举例来说，逆变换处理单元85可将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于系数块。
如果使用帧内预测对PU进行编码，那么帧内预测处理单元86可执行帧内预测以产生PU的预测性块。帧内预测处理单元86可使用帧内预测模式以基于在空间上相邻的PU的预测块而产生PU的预测性明度块、Cb块和Cr块。帧内预测处理单元86可基于从位流解码的一或多个语法元素来确定用于PU的帧内预测模式。
预测处理单元82可基于从位流提取的语法元素来建构第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。此外，如果使用帧间预测对PU进行编码，那么熵解码单元80可提取用于PU的运动信息。运动补偿(MC)单元84可基于PU的运动信息而确定用于PU的一或多个参考区域。运动补偿(MC)单元84可基于PU的一或多个参考块处的样本块产生PU的预测性明度块、Cb块和Cr块。
现在继续参考图6。重建构单元88可在适当时使用与CU的TU相关联的明度、Cb和Cr变换块以及CU的PU的预测性明度块、Cb块和Cr块(即，帧内预测数据或帧间预测数据)来重建构CU的明度、Cb和Cr译码块。举例来说，重建构单元88可将明度、Cb和Cr变换块的样本添加到预测性明度块、Cb块和Cr块的对应样本以重建构CU的明度、Cb和Cr译码块。
滤波器单元90可执行解块操作以减少与CU的明度、Cb和Cr译码块相关联的成块假像。视频解码器30可在经解码图片缓冲器92中存储CU的明度、Cb和Cr译码块。经解码图片缓冲器92可提供参考图片以用于后续运动补偿、帧内预测和呈现在显示装置(例如，图2的显示装置32)上。举例来说，视频解码器30可基于经解码图片缓冲器92中的明度、Cb和Cr块对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可从位流提取重要明度系数块的变换系数层级，逆量化变换系数层级，对变换系数层级应用变换以产生变换块，至少部分基于变换块产生译码块并且输出译码块用于显示。
视频解码器30是经配置以执行用于将较大CU大小应用于DMM模式的技术中的任一者的视频解码器的实例，如本文中所描述。根据本发明的一或多种技术，视频解码器30内的一或多个单元可执行本文中描述的一或多种技术作为视频解码过程的部分。视频解码器30内也可包含额外3D译码组件。
举例来说，预测处理单元82并且更确切地说帧内预测处理单元86和运动补偿(MC)单元84可确定在适用时是否在例如3D-HEVC的3D视频译码过程的深度帧内预测模式和深度帧间预测模式中执行SDC。熵解码单元80可对深度块的一或多个DC残余值以及本文所描述的语法信息进行熵解码，所述语法信息(例如)指示是否使用深度帧内预测或深度帧间预测对所述块进行编码以及是否针对深度帧内预测或深度帧间预测执行SDC模式以对所述块进行编码。
熵解码单元80可将用于块的DC残余值和语法信息提供到预测处理单元82，如由图6中的虚线所指示。以此方式，DC残余值无需首先提供到用于逆量化和逆变换的逆量化单元83和逆变换处理单元85。在其它实例中，逆量化单元83可逆量化DC残余值，且将经解量化DC残余值提供到预测处理单元82。
运动补偿(MC)单元84可(例如)根据本文中所描述的技术中的任一者基于如由语法信息指示的深度帧间预测模式确定深度块的预测性样本。运动补偿(MC)单元84可利用从存储在经解码图片缓冲器92中的参考图片重建构的深度块来确定经帧间预测深度块的预测性样本。如果指示了SDC模式，即用于深度帧内预测和帧间预测，那么运动补偿(MC)单元84应用SDC以重建构深度块。
运动补偿(MC)单元84可通过对DC残余值与预测性样本求和来重建构深度块。在一些实例中，运动补偿(MC)单元84可利用重建构单元88以对经帧间预测深度块的残余与预测性样本求和。举例来说，熵解码单元80可将DC残余值提供到重建构单元88，且运动补偿(MC)单元84可将预测性样本提供到重建构单元88。
帧内预测处理单元86可(例如)根据本文中所描述的技术中的任一者基于由语法信息指示的深度帧内预测模式来确定深度块的预测性样本。帧内预测处理单元86可利用存储在经解码图片缓冲器92中的经重构深度块来确定预测性样本。帧内预测处理单元86可通过对残余值与预测性样本求和来重建构深度块，如本文中所描述。在一些实例中，帧内预测处理单元86可利用重建构单元88以对深度块的残余与预测性样本求和。举例来说，熵解码单元80可将残余值提供到重建构单元，且帧内预测处理单元86可将预测性样本提供到重建构单元。
上文所描述的技术可由视频编码器20(图1和5)及/或视频解码器30(图1和6)执行，其两者可通常被称作视频译码器。此外，视频译码在适用时可通常指视频编码及/或视频解码。
根据本发明的技术，预测处理单元82可在深度译码单元(CU)内定义大小大于32×32的深度预测单元(PU)。尽管关于作为大于32×32的深度PU的实例的64×64深度PU进行描述，但本发明的技术一般适用于大小大于32×32的深度PU。在定义64×64深度PU之后，预测处理单元82可产生64×64深度PU的一或多个分割区。预测处理单元82可进一步获得用于分割区中的每一者的预测数据，如本发明中所描述。使用包含在从视频编码器20接收的经编码视频数据中的预测数据和残余值，重建构单元88可获得分割区中的每一者的残余数据。在一些实例中，逆变换处理单元85、逆量化单元83及/或熵译码单元80可进一步处理残余数据。重建构单元88和预测处理单元82可基于指示64×64深度PU的预测数据、残余数据和分割的语法数据来重建构深度图的每一深度值。以此方式，视频编码器20可使用深度建模模式(DMM)来解码用于64×64或更大大小译码单元(CU)的深度图的位流。本发明的图8到10中描述编码过程的其它细节。
图7是说明编码视频数据的实例方法的流程图。出于说明的目的，在下文中在图1和5中的视频编码器20的上下文内描述实例操作。确切地说，图7说明将DMM模式(包含DMM模式1及/或DMM模式4以及任何其它深度建模模式)扩展到大小大于32×32的PU(例如，64×64PU)以用于3D-HEVC中的深度译码的视频编码器20的技术。在图7的实例中，预测处理单元40执行纹理编码和深度编码，尽管在其它实例中，视频编码器20内的不同组件也可执行一或多个纹理编码及/或深度编码技术。在任一情况下，预测处理单元40可经配置以对纹理数据和深度数据进行帧内或帧间编码，作为例如3D-HEVC过程的3D译码过程的部分。
根据本发明的技术，预测处理单元40接收包含纹理视图的纹理分量和深度视图的深度图的视频数据。视频数据可由存取单元序列表示，其中每一存取单元包含对应于特定时间例项的所有数据。在编码过程中，预测处理单元40可接收深度图并在深度译码单元(CU)内定义大小大于32×32的深度预测单元(PU)(700)。在一些实例中，为了定义大小大于32×32的PU，预测处理单元40可使用深度建模模式(DMM)1定义PU。
在一些实例中，为了产生大于32×32的楔波分割区样式，预测处理单元40可从用于当前PU的预定义楔波样式列表选择大小大于32×32的楔波分割区样式。视频编码器20用信号发送的大小大于32×32的楔波分割区样式可为包含大小大于32×32的楔波分割区样式的预定义样式列表中的分割区样式中的每一者中提供所确定(例如，基于速率失真量度或其它适合的测量值)的译码效率(例如，满足临限值的最佳或第一译码效率)的分割区样式。举例来说，预测处理单元40可存储包含(但不限于)大小大于32×32的多个不同预定义楔波分割区样式的样式列表。在一些实例中，最佳或最高译码效率可为大于临限值的速率失真量度或其它适合的测量值。在一些实例中，临限值可为另一楔波分割区样式的速率失真量度或其它适合的测量值。
样式列表中的每一楔波分割区样式可映射到识别分割区样式的特定识别符或索引值。预测处理单元40可通过连接具有半样本、全样本、两个样本、三个样本或四个样本的经指定开始/结束点分辨率的所有可能开始和结束点位置而产生预定义楔波样式列表。在一些实例中，以与介于4×4到32×32范围内的其它PU大小相同的方式，通过连接具有半样本、全样本、两个样本、三个样本或四个样本(仅举几个实例)的经指定开始/结束点分辨率的所有可能开始和结束点位置来产生64×64预定义楔波样式列表。因此，在一些实例中，预测处理单元40可以类似于3D-HEVC的介于4×4到32×32范围内的其它PU大小的方式执行用信号发送大小大于32×32的楔波分割区样式及/或DC预测过程。
预测处理单元40可产生大小大于32×32的深度PU的一或多个分割区(702)。所产生的分割区可基于包含于楔波样式列表中的分割区样式。如先前在图3A到3B中所描述，给定开始点(xS,yS)和结束点(xE,yE)位置，预测处理单元40可产生N×N楔波分割区样式。一开始，预测处理单元40可首先产生临时K×K分割区样式，其中所有样本经初始化为0。预测处理单元40可将形成连接(xS,yS)与(xE,yE)的分割区界线的样本设定为1，并将临时分割区样式划分为两个部分(例如，如图4A到4F中所说明的部分A和部分B)。在预测处理单元40将临时分割区样式划分为两个部分之后，预测处理单元40可选择两个部分中的一者为分割区1且剩余部分为分割区2。预测处理单元40可经配置以基于如图4A到4F中所描述的楔波样式界线的定向来选择所述部分中的哪一部分为分割区1。
在产生大小大于32×32的深度PU的一或多个分割区之后，预测处理单元40可产生用于分割区中的每一者的预测数据(704)。在一些实例中，预测数据为由预测处理单元40确定或以其它方式选择作为PU中的对应像素值的预测性样本的一或多个值。预测处理单元40基于预测性样本与对应像素值之间的差值产生残余数据。视频解码器30可使用残余数据来重建构视频数据。在一些实例中，预测数据可为像素特定的预测子值(或“预测性样本”)、平均值或单一值，仅举几个实例。对于HEVC帧内预测模式，预测处理单元40可通过使用PU的相邻样本产生PU中的每一像素的像素特定预测性样本，(例如)如HEVC工作草案中的子条款8.4.2中所指定。
在一些实例中，预测处理单元40可针对每一分割区使用不同预测技术。举例来说，预测处理单元40可使用第一特定预测技术(例如，第一帧内预测模式)来选择或以其它方式确定PU的第一分割区的预测性样本，且可使用第二不同预测技术(例如，第二帧内预测模式)来选择或以其它方式确定PU的第二分割区的预测性样本。在一些实例中，预测处理单元40可针对每一分割区使用相同预测技术来选择或以其它方式确定PU的分割区的预测性样本。
预测处理单元40可将预测性样本提供到残余产生单元42，所述残余产生单元产生分割区中的每一者的残余数据(706)。残余产生单元42可基于分割区的深度值和预测数据产生残余数据。举例来说，残余产生单元42可产生各自等于分割区中的深度像素值与预测数据的对应预测性样本之间的差值的残余值。
在一些实例中，对于样式列表中对应于不同块大小的不同、预定义楔波分割区样式中的每一者或子集，视频编码器20可存储指示或以其它方式适用于确定将特定楔波分割区样式应用于特定块大小的译码效率的信息。换句话说，视频编码器20可针对用于块大小的全部或子集的所有楔波样式执行图7的操作700到706，以产生指示或以其它方式适用于确定将特定楔波分割区样式应用于特定块大小的译码效率(例如，就速率失真量度来说)的信息。以此方式，预测处理单元40可基于所存储的信息针对特定块大小选择得到所确定译码效率(例如，满足临限值的最佳或第一译码效率)的楔波分割区样式。
在确定用于大小大于32×32的块大小的楔波分割区样式之后，预测处理单元40可产生指示预测数据、残余数据及/或大小大于32×32的PU的分割的语法数据(708)。指示预测数据的语法数据可包含指示视频编码器20用以确定或以其它方式选择分割区的预测性样本的特定预测技术的一或多个值。指示残余数据的语法数据可包含指示分割区中的深度值与预测数据的对应预测性样本之间的差值的一或多个值。指示大小大于32×32的PU的分割的语法数据可包含指示特定分割区样式、分割区样式的定向及/或特定分割区样式的PU的不同分割区中的一或多者的识别符的值。
在一些实例中，预测处理单元40可将大小大于32×32的的DC残余值连同其它语法信息一起提供到熵编码单元58，(例如)如由图5中的虚线所说明。预测处理单元40可将DC残余值提供到熵编码单元58而无需变换处理单元44和量化单元46处理所述值。在其它实例中，量化单元46可在熵编码单元58熵译码之前量化DC残余值。所述语法信息可包含本文中所描述的结合本发明的技术用信号发送的各种信息、旗标或其它语法元素。
举例来说，作为实例，语法信息可指示是否针对深度块执行SDC模式、使用DMM模式还是非DMM模式来确定DC残余值，以及使用哪一深度帧内预测模式来确定DC残余值。根据SDC模式，视频编码器20经配置以：基于深度帧内预测模式或深度帧间预测模式中的所指示一者而确定深度块(例如，CU的PU的分割区)的至少一个DC残余值，其中所述DC残余值表示深度块的多个像素的残余值；且将所述DC残余值或表示所述DC残余值的信息编码到位流中。
在一些实例中，预测处理单元40可产生大小大于32×32的楔波分割区样式作为经上取样N×N分割区样式，其中N＝4、8、16或32。预测处理单元40可以与当前3D-HEVC工作草案相同的方式导出N×N分割区样式，且以与N×N分割区样式相同的方式用信号发送大小大于32×32的分割区样式。举例来说，预测处理单元40可从样式列表选择现有N×N分割区样式且将所述样式上取样到大小大于32×32的PU。
为了将N×N分割区样式上取样到大小大于32×32，预测处理单元40可确定N×N分割区样式的开始和结束点(xS,yS)和(xE,yE)。预测处理单元40接着可将按比例放大函数f(x,y)应用于开始和结束点以产生经上取样的开始和结束点(xS',yS')和(xE',yE')。预测处理单元40可使用经上取样的开始和结束点以产生大小大于32×32的PU的N×N分割区样式。以此方式，预测处理单元40产生大小大于32×32的楔波分割区样式作为经上取样N×N分割区样式。在一些实例中，按比例放大函数f(x,y)可将一或多个线性偏移值应用于x和y值中的每一者。在其它实例中，上取样函数f(x,y)可以非线性方式更改x和y的值。在一些实例中，在预测处理单元40上取样分割区样式时，预测处理单元40可应用一或多种像素内插技术及/或像素抽取技术。
当预测处理单元40用N×N楔波样式产生大小大于32×32的楔波分割区样式时，预测处理单元40从当前3D-HEVC的N×N楔波样式列表选择经上取样N×N楔波分割区样式。预测处理单元40使用对应N×N分割区样式的楔波索引值用信号发送N×N楔波分割区样式。视频解码器30可上取样N×N分割区样式以导出大小大于32×32的楔波分割区样式，且预测处理单元40可使用与当前3D-HEVC相同的固定长度码二进制化楔波索引值。
在(例如)根据操作700到706确定得到所确定译码效率的N×N分割区样式之后，预测处理单元40可用信号发送N×N分割区样式而非大小大于32×32的分割区样式，其中N小于64。在一些实例中，所确定译码效率可为最佳译码效率，如本发明中所描述。在一些实例中，所确定译码效率可为相对于与其它分割区样式相关联的一或多个其它译码效率更有效的译码效率。在一些实例中，所确定译码效率可为满足临限值的译码效率。举例来说，所确定译码效率可为以可能分割区组的次序测试的分割区的第一译码效率。
指示N×N分割区样式的语法数据还可包含指示视频解码器30将上取样N×N分割区样式到适用于大小大于32×32的PU的样式的信息。在解码大小大于32×32的PU时，视频解码器30可使用同一按比例放大函数f(x,y)上取样视频编码器20用信号发送的N×N分割区样式。以此方式，视频编码器20和视频解码器30可不必存储及/或用信号发送大小大于32×32的PU的楔波分割区样式，同时仍保留将大小大于32×32的楔波分割区样式应用于大小大于32×32的PU的能力。
在一些实例中，预测处理单元40可从大小大于32×32的仅水平及/或垂直楔波分割区样式(例如，“水平分割区样式”和“垂直分割区样式”)选择大小大于32×32的楔波分割区样式。水平和垂直分割区可具有相同的水平座标或相同的垂直座标的开始和结束点。举例来说，水平分割区可具有与结束点相同的y坐标值的开始点，但对于开始和结束点具有不同x坐标。垂直分割区可具有与结束点相同的x坐标值的开始点，但对于开始和结束点具有不同y坐标。因此，在一些实例中，在产生大小大于32×32的深度PU的一或多个分割区时(例如，在操作702处)，预测处理单元40可使用大小大于32×32的仅水平及/或垂直楔波分割区样式。举例来说，预测处理单元40可不使用具有在x和y两个维度上不同的坐标值作为开始和结束点的分割区样式。换句话说，对于至少一个维度(例如，x或y)，坐标值对于开始和结束点必须相同。通过使用大小大于32×32的仅水平及/或垂直分割区样式，预测处理单元40可减少视频编码器20必须处理以确定得到所确定译码效率(例如，满足临限值的最佳或第一译码效率)的分割区样式的分割区样式的总数，如本发明中所描述。在一些实例中，大小大于32×32的水平/垂直分割区样式的开始/结束点准确度可为全样本、两个样本、三个样本或四个样本。在一些实例中，预测处理单元40使用具有log2 位的固定长度码二进制化大小大于32×32的楔波样式，其中固定长度码为给定楔波样式索引的二进制值表示，且C指示大小大于32×32的楔波样式的总数。
在一些实例中，除预测处理单元40针对大小大于32×32的PU使用DMM模式1(如关于图7所描述)之外，预测处理单元40还可应用SDC，且因此大小大于32×32的PU的每一分割区可具有用信号发送的仅一个DC残余值。替代译码经量化变换系数，SDC模式表示具有以下两个类型的信息的深度块：(1)当前深度块的分割区的类型，包含DMM模式1(2分割区)和平面(1分割区)，和(2)对于每一分割区，在位流中用信号发送的残余值(在像素域中)。因此，预测处理单元40可确定大小大于32×32的PU的分割区样式的类型和大小大于32×32的PU的每一分割区的单一残余值。在一些实例中，预测处理单元40可将大小大于32×32的楔波仅应用于SDC，意味着大小大于32×32的块的每一楔波分割区仅用SDC来译码。在其它实例中，预测处理单元40可仅在DMM1的情况下且不在SDC的情况下应用大小大于32×32的楔波。在又其它实例中，预测处理单元40可在SDC开启和关闭的两种情况下将大小大于32×32的楔波应用于大小大于32×32的分割区。换句话说，替代仅在SDC的情况下使用DMM1确定译码效率或仅在无SDC的情况下使用DMM1确定译码效率，预测处理单元40可(1)用DMM1并使用SDC和(2)用DMM1而不使用SDC确定将大小大于32×32的楔波应用于大小大于32×32的PU的译码效率，且基于译码效率结果针对不同PU使用这些不同模式。在使用SDC时，每一分割区的单一残余值可提供比确定和用信号发送深度图中的每一像素值的残余数据更好的译码效率。
图8是说明使用DMM4译码视频数据的实例方法的流程图。出于说明的目的，在下文中在图1、5和6中的视频编码器20和视频解码器30的上下文内描述实例操作。确切地说，图8进一步详细说明将DMM模式4扩展到大小大于32×32的深度PU以用于3D-HEVC中的深度译码的视频编码器20和视频解码器30的技术。如下文进一步描述，对于大小大于32×32的PU，视频编码器20和视频解码器30可计算大小大于32×32的纹理块中的所有样本的平均值，且接着视频编码器20和视频解码器30可根据大小大于32×32的相同位置的纹理块中的样本大于平均值(分割区1)还是不等于或大于平均值(分割区0)导出大小大于32×32的分割区样式。在一些实例中，相同位置的纹理块的样本可包含图像的一或多个明度(亮度或“明度(luma)”)值和纹理块的特定像素的一或多个色度(色彩“色度(chroma)”)值。在图8的实例中，预测处理单元40和预测处理单元82分别执行纹理编码和深度编码，尽管在其它实例中，视频编码器20和视频解码器30内的不同组件也可执行一或多个纹理编码及/或深度编码技术。在任一情况下，视频编码器20和视频解码器30可经配置以帧内或帧间编码纹理数据和深度数据，作为例如3D-HEVC过程的3D译码过程的部分。
根据本发明的技术，视频编码器20和视频解码器30可接收深度图并在深度译码单元(CU)内定义大小大于32×32的深度预测单元(PU)(800)。在一些实例中，为了定义大小大于32×32的深度PU，视频编码器20和视频解码器30可使用深度建模模式(DMM)4定义大小大于32×32的深度PU。使用DMM4，视频编码器20和视频解码器30可使用相同位置的纹理块来确定大小大于32×32的楔波分割区样式。举例来说，预测处理单元40可从纹理图片确定相同位置的纹理块(802)。在一些实例中，纹理图片可与包含大小大于32×32的PU的深度图在同一存取单元中。纹理图片内的相同位置的纹理块的位置可对应于深度图中大小大于32×32的PU的相同相对位置。视频编码器20和视频解码器30可因此基于深度图中大小大于32×32的PU的位置确定纹理图片中相同位置的纹理块的位置。
在确定相同位置的纹理块之后，视频编码器20和视频解码器30可确定相同位置的纹理块中的所有样本的平均值(804)。在一些实例中，视频编码器20和视频解码器30可确定相同位置的纹理块中的预测样本的所有样本的平均值。为了确定大小大于32×32的分割区样式，视频编码器20和视频解码器30可将相同位置的纹理块的每一样本与相同位置的纹理块的所有样本的平均值进行比较。基于比较，视频编码器20和视频解码器30可将与相同位置的纹理块的对应样本处于相同位置的深度值指派到分割区样式的特定分割区。以此方式，基于对与深度值处于相同位置的纹理样本的比较将深度图的每一深度值指派到分割区样式的特定分割区。因此，通过基于与深度图中的深度值处于相同位置的纹理块中的样本的比较而将每一深度值指派到特定分割区来定义分割区样式。
如图8中所展示，视频编码器20和视频解码器30确定相同位置的纹理块中的每一样本。举例来说，视频编码器20和视频解码器30确定相同位置的纹理块中的一样本(806)。视频编码器20和视频解码器30将所述样本与样本的平均值进行比较以确定所述样本是否大于或小于样本的平均值(808)。如果相同位置的纹理块中的样本小于平均值(810)，那么视频编码器20和视频解码器30可确定与所述样本处于相同位置的深度值包含在大小大于32×32的PU的第一分割区(例如，分割区0)中(812)。如果相同位置的纹理块中的样本大于平均值(811)，那么视频编码器20和视频解码器30确定与所述样本处于相同位置的深度值包含在大小大于32×32的PU的第二分割区(例如，分割区1)中(814)。以此方式，可以与处于相同位置的纹理像素相同的方式分割深度像素。为了指示对应深度值包含在哪一分割区中，视频编码器20和视频解码器30可针对深度图中的对应深度值的位置存储指示哪一分割区包含所述深度值的信息。
视频编码器20和视频解码器30可确定尚未与样本的平均值进行比较的另一样本是否存在于相同位置的纹理块中(816)。如果另一样本残存(818)，那么视频编码器20和视频解码器30确定所述样本并按需要对所述特定样本执行上文关于操作808、810、811、812、814描述的技术。如果相同位置的纹理块中的所有样本都已经与处于相同位置的块中的样本的平均值进行比较(820)，那么视频解码器30可获得用于所产生的分割区样式的分割区中的每一者的预测数据和残余数据(822)，如图10的操作中所描述。使用用于分割区中的每一者的预测数据和残余数据，视频解码器30可重建构大小大于32×32的深度PU的每一深度值。
在视频编码的情况下，视频编码器20可产生用于所产生的分割区样式的分割区中的每一者的预测数据和残余数据(822)，如图8的操作中所描述。在视频编码器20的情况下，在确定用于大小大于32×32的块大小的分割区样式之后，视频编码器20可产生指示预测数据、残余数据及/或大小大于32×32的PU的分割的语法数据。指示预测数据的语法数据可包含指示视频编码器20用以确定或以其它方式选择分割区的预测性样本的特定预测技术的一或多个值。指示残余数据的语法数据可包含指示分割区中的深度值与预测数据的对应预测性样本之间的差值的一或多个值。指示大小大于32×32的PU的分割的语法数据可包含指示特定分割区样式、分割区样式的定向及/或特定分割区样式的PU的不同分割区中的一或多者的识别符的值。
在一些实例中，视频编码器20和视频解码器30计算大小大于32×32的相同位置的纹理块的经下取样N×N块中的所有样本的平均值。视频编码器20和视频解码器30可接着根据N×N块中的样本大于平均值(分割区1)还是不大于平均值(分割区0)而导出大小大于32×32的分割区样式，其中N可等于4、8、16或32。举例来说，视频编码器20和视频解码器30可将大小大于32×32的相同位置的纹理块下取样到N×N纹理块。视频编码器20和视频解码器30可计算N×N块中的样本的平均值。在计算平均值之后，视频编码器20和视频解码器30可比较相同位置的纹理块的每一样本以确定N×N分割区样式，如上文关于图8中大小大于32×32的分割区样式所描述。视频编码器20和视频解码器30可确定N×N分割区样式在不同可能分割区样式和块大小中提供所确定的译码效率(例如，满足临限值的最佳或第一译码效率)，并产生指示DMM4和N×N的大小的一或多个语法元素。因此，通过将N×N分割区样式按比例放大到大小大于32×32并应用大小大于32×32的分割区样式，视频编码器20和视频解码器30可应用大小大于32×32的分割区样式以重建构大小大于32×32的PU。
在一些实例中，视频编码器20和视频解码器30除了针对大小大于32×32的PU使用DMM模式4(如关于图8所描述)之外，视频编码器20和视频解码器30还可应用SDC，且因此大小大于32×32的PU的每一分割区可具有用信号发送并用于解码的仅一个DC残余值。替代译码经量化变换系数，SDC模式表示具有以下两个类型的信息的深度块：(1)当前深度块的分割区的类型，包含DMM模式1(2分割区)和平面(1分割区)，和(2)对于每一分割区，在位流中用信号发送的残余值(在像素域中)。因此，视频编码器20和视频解码器30可确定用于大小大于32×32的PU的分割区样式的类型和大小大于32×32的PU的每一分割区的单一残余值。在一些实例中，视频编码器20和视频解码器30可将大小大于32×32的轮廓分割区样式仅应用于SDC，意味着大小大于32×32的块的每一轮廓分割区仅用SDC来译码。在其它实例中，视频编码器20和视频解码器30可仅在DMM4的情况下且不在SDC的情况下应用大小大于32×32的轮廓分割区样式。在又其它实例中，视频编码器20和视频解码器30可在SDC开启和关闭两种情况下将大小大于32×32的轮廓分割区样式应用于大小大于32×32的分割区。换句话说，替代仅在SDC的情况下使用DMM4确定译码效率或仅在无SDC的情况下使用DMM4确定译码效率，视频编码器20和视频解码器30可(1)用DMM4并使用SDC和(2)用DMM4而不使用SDC确定将大小大于32×32的轮廓分割区样式应用于大小大于32×32的分割区的译码效率。在使用SDC时，每一分割区的单一残余值可提供比确定和用信号发送深度图中的每一值的残余数据更好的译码效率。
图9A和9B是说明使用楔波扩展技术产生和用信号发送大小大于32×32的深度PU的楔波分割区样式的概念图，其中分割区样式通过在给定位置处扩展4×4楔波样式而产生。举例来说，图9A和9B说明从2N×2N分割区样式样本到N×N分割区样式样本的映射(例如，针对半样本准确度)。图9A和9B的技术是关于视频编码器20和视频解码器30来进行描述的。图9A说明定向0的实例，其中开始点在顶行且结束点在左列。图9B说明定向1的实例，其中开始点在右列且结束点在顶行。
在图9A和9B中，阴影块指示经下取样N×N分割区样式的样本。举例来说，图9A和9B中的块的大小可为2N×2N，且在图9A和9B中，阴影样本指示2N×2N块中的每一其它样本，从而产生N×N块。
在一些实例中，为了产生具有定向0的楔波样式，视频编码器20和视频解码器30可循环从(0,0)到(2N-1,0)的开始点((xS,yS))，并循环从(0,0)到(0,2N-1)的结束点((xE,yE))以涵盖用于具有定向0的楔波样式的所有可能开始和结束点。视频编码器20和视频解码器30也可针对定向0将(i,j)映射到(m,n)，其中m＝2i且n＝2j。在定向1的情况下，视频编码器20和视频解码器30可循环从(2N-1,0)到(2N-1,2N-1)的开始点((xS,yS))，并循环从(2N-1,0)到(0,0)的结束点((xE,yE))以涵盖用于具有定向1的楔波样式的所有可能开始和结束点。视频编码器20和视频解码器30也可针对定向1将(i,j)映射到(m,n)，其中m＝2i+1且n＝2j。
对于其它定向情况，视频编码器20和视频解码器30可类似地基于定向循环开始和结束点。用于针对所有定向映射的方程式可一般化为m＝2i+offsetX和n＝2j+offsetY，其中offsetX、offsetY为如下表4中所指定的移位值。视频编码器20和视频解码器30可实施方程式m＝2i+offsetX和n＝2j+offsetY以用于针对定向中的每一者的映射，其中offsetX和offsetY由表4加以定义。
表4：基于分割区界线的定向的offsetX和offsetY的设定
定向 offsetX offsetY
0 0 0
1 1 0
2 1 1
3 0 1
4 xS+xE<K？0:1 0
5 0 yS+yE<K？0:1
根据本发明的技术，对于大小大于32×32(例如，64×64)的块，可存在与基于楔波样式的帧内预测相关联的益处，且现有技术可能不支持基于用于大小大于32×32(例如，64×64)的块的楔波样式的这种帧内预测。图9A和9B的以下实例描述用于用于深度帧内译码的简化深度分割区样式产生的技术。以下实例技术可以由视频编码器20和视频解码器30来执行。举例来说，视频编码器20和/或视频解码器30可帧内译码(即，分别帧内预测编码或帧内预测解码)深度数据。而且，可单独地执行实例技术，或可按组合执行一或多种技术。
在图9A到9B中所描述的技术中，可从用于较小大小的块的楔波样式确定用于较大大小的深度块的楔波样式。以此方式，视频编码器20和视频解码器30可存储用于较小大小的块的楔波样式(例如，分割区样式)且存储较少或不存储用于较大大小的块的楔波样式，因为视频编码器20和视频解码器30可从用于较小大小的块的楔波样式中的楔波样式确定用于较大大小的深度块的楔波样式。
作为实例，视频编码器20和视频解码器30可经配置以构建用于第一块大小的块的分割区样式列表(例如，楔波样式列表)。分割区样式列表可包含与第一块大小的块相关联的一或多个分割区样式。对于大于第一块大小的第二块大小的深度块的帧内预测编码，视频编码器20可使用从用于第一块大小的块的分割区样式确定的分割区样式(例如，楔波样式)来帧内预测编码第二大小的深度块。换句话说，视频编码器20可使用与第一大小的块相关联的分割区样式来帧内预测编码第二大小的深度块。对于深度建模模式(DMM)1，视频编码器20可将索引用信号发送到包含与第一块大小的块相关联的一或多个分割区样式的分割区样式列表中。
对于第二块大小的深度块的帧内预测解码，视频解码器30可将索引接收到包含与第一块大小的块相关联的一或多个分割区样式的分割区样式列表中，且可从所述索引确定与第一大小的块相关联的分割区样式。同样，分割区样式与小于正被解码的深度块的第二块大小的第一块大小的块相关联。视频解码器30可接着从所确定的分割区样式确定用于第二块大小的深度块的分割区样式。视频解码器30可基于所确定的分割区样式帧内预测解码第二大小的深度块。
通过基于来自用于较小大小的块的分割区样式的分割区样式确定用于大小大于32×32的块的分割区样式，可减少需要针对较大大小的块存储的分割区样式的数目。举例来说，在先前实例中，视频编码器20和视频解码器30可建构包含与第一块大小的块相关联的一或多个分割区样式的分割区样式列表，并使用来自分割区样式列表的分割区样式中的一者来确定用于大于32×32的第二更大大小(例如，64×64)的深度块的分割区样式。因此，存储在分割区样式列表中的分割区样式的数目可减少，因为可从用于较小块大小的分割区样式确定大小大于32×32的分割区样式中的一或多者。
在一些实例中，视频编码器20和视频解码器30甚至可不建构用于大小大于32×32的块的分割区列表样式。在此些实例中，视频编码器20和视频解码器30可依赖于与较小大小的块相关联的分割区样式来确定用于大小大于32×32(例如，64×64)的深度块的分割区样式。如上文所描述，通过基于用于较小大小的块的分割区样式确定用于大小大于32×32的深度块的分割区样式，本发明中描述的技术可减少存储器要求且降低复杂度。在一些实例中，较小大小的块可为较大大小的深度块内的块。然而，本发明中描述的技术不受如此限制。在一些实例中，较小大小的块未必需要为正被帧内预测编码或解码的实际块。相反地，较小大小的块可为其分割区样式用以确定用于较大大小的块的分割区样式的概念块。
作为一个实例，假设经帧内预测编码或解码的深度块为64×64大小的深度块。在此实例中，视频编码器20可将索引用信号发送到用于大小16×16的块的分割区样式列表中。视频解码器30可将所述索引接收到用于大小16×16的块的分割区样式列表中，且从用于大小16×16的块的分割区样式确定分割区样式。在此实例中，视频编码器20和视频解码器30二者可经配置以从用于大小16×16的块的所确定分割区样式确定用于64×64大小的深度块的分割区样式。作为一个实例，视频编码器20和视频解码器30可上取样用于大小16×16的块的所确定分割区样式以确定用于64×64大小的深度块的分割区样式。
尽管视频编码器20和视频解码器30使用其分割区样式列表确定用于64×64大小的块的分割区样式的较小大小的块不需要为64×64大小的块的部分，但本发明中描述的技术是用较小大小的块为64×64大小的块内的块的实例来描述。举例来说，在用于深度译码(例如，深度块的帧内预测译码)的一个实例中，分割区样式独立于块大小。
应理解，在本发明中描述的技术中，视频编码器20和视频解码器30可确定用于较小大小的块的分割区样式，作为用于确定用于64×64大小的块的分割区样式的中间步骤。举例来说，较小大小的块可不基于较小大小的块的分割区样式来帧内预测编码或解码。相反地，可帧内预测编码或解码较小大小的块，作为较大64×64大小的块的帧内预测的部分。
作为实例，假设当前深度块(例如，当前深度PU)具有N×N的大小。在此实例中，当前深度块包含整数数目个M×M(其中M<N)块。在一些实例中，M×M块可为子PU。作为实例，如果当前深度块(例如，待帧内预测编码或解码的深度块)为64×64大小的块，那么64×64大小的块内存在十六个16×16大小的块，或64×64大小的块内存在二百五十六个4×4大小的块。
在一些实例中，视频编码器20可用信号发送识别一个特定M×M块(例如，其中M等于4)和基于线的分割区样式(例如，定义将M×M块平分成两个分割区的线性线的楔波样式)的信息。视频解码器30可接收识别M×M块和基于线的分割区样式的信息。基于特定M×M块的基于线的分割区样式，视频编码器20和视频解码器30可确定(例如，导出)用于整个N×NPU的基于线的分割区。换句话说，基于用于M×M块的分割区样式，视频编码器20和视频解码器30可确定用于整体N×N深度块的分割区样式，其中N×N深度块包含M×M块，其中M小于N。
在一个实例中，基于线的分割区样式可为如在当前3D-HEVC中应用于特定M×M块的DMM1的楔波样式。举例来说，视频编码器20可用信号发送指示深度建模模式(DMM)为1的信息，用信号发送识别N×N块内的M×M块的信息，且用信号发送用以识别用于M×M块的分割区样式的信息(例如，到用于大小M×M的块的分割区样式列表中的索引值)。视频解码器30可接收指示DMM为1的信息，基于所接收的识别M×M块的信息确定N×N块内的M×M块，且确定(例如，基于到用于大小M×M的块的分割区样式列表中的索引值)用于M×M块的分割区样式。视频解码器30可接着基于用于M×M块的所确定的分割区样式确定用于整个N×N块的分割区样式。
如本文中所描述，“整个”块可包含全部块，包含可包含于所述块中的任何子块。因此，对于具有四个子块的块，整个块可指包含所有四个子块的全部块。
举例来说，视频编码器20可确定用于用于帧内深度编码(帧内预测编码)的块(例如，为深度PU的N×N块)的子块的基于线的分割区样式(例如，定义将M×M块平分成两个分割区的线性线的楔波样式)，其中所述子块小于所述块。在一些实例中，视频编码器20可确定用于块的子块的基于线的分割区样式，而不使所确定的基于线的分割区样式基于块的大小(即，独立于块大小)。视频编码器20可基于用于子块的基于线的分割区样式确定用于块的基于线的分割区样式。视频编码器20可基于用于块的所确定的基于线的分割区样式帧内编码(帧内预测编码)块。视频编码器20可用信号发送指示用于子块的基于线的分割区样式的信息(例如，指示用于子块的基于线的分割区样式的编码信息)。在一些实例中，视频编码器20可用信号发送用以识别视频编码器20确定其基于线的分割区样式的块内的子块的信息；然而，此并不在每一实例中都需要。
视频编码器20可不用信号发送指示用于块的基于线的分割区样式的信息。举例来说，视频编码器20可避免编码或不编码指示用于块的基于线的分割区样式的信息。相反地，视频编码器20可用信号发送指示用于子块的基于线的分割区样式的信息。
视频解码器30可接收指示用于用于帧内深度解码(例如，用于帧内预测解码)的块的子块的基于线的分割区样式的信息(例如，指示用于子块的基于线的分割区样式的解码信息)。视频解码器30可基于用于子块的基于线的分割区样式确定用于块的基于线的分割区样式。视频解码器30可基于用于块的所确定的基于线的分割区样式帧内解码(帧内预测解码)块。在一些实例中，视频解码器30可接收用以识别其基于线的分割区样式由视频解码器30接收的块内的子块的信息；然而，此并不在每一实例中都需要。视频解码器30可确定用于块的基于线的分割区样式，而不接收指示用于块的基于线的分割区样式的信息。相反地，视频解码器30可从子块确定基于线的分割区样式。同样，视频解码器30可确定用于块的基于线的分割区样式，而不使所确定的基于线的分割区样式基于块的大小(即，独立于块大小)。
应理解，M×M子块未必需要为适合于较大N×N块内的块。相反地，M×M子块可为为了确定用于N×N块的基于线的分割区样式的目的而使用其基于线的分割区样式的概念块。换句话说，在以上实例中，视频编码器20可基于用于第二较小大小(例如，16×16或32×32)的块的分割区样式确定用于第一大小(例如，64×64)的深度块的分割区样式(例如，基于线的分割区样式状楔波样式)。视频编码器20可基于所确定的分割区样式帧内预测编码深度块。视频解码器30可类似地基于用于第二较小大小(例如，16×16或32×32)的块的分割区样式确定用于第一大小(例如，64×64)的深度块的分割区样式。同样，此较小大小的块不需要为图片中或深度块内的实际块，而是取而代之为其分割区样式用以确定用于较大块的分割区样式的概念块。
在一些实例中，视频编码器20用信号发送识别用于第二大小(例如，16×16)的块的分割区样式的信息，且视频解码器30基于用信号发送的信息确定用于第二大小的块的分割区样式。举例来说，视频编码器20可将索引用信号发送到用于第二大小的分割区样式的分割区样式列表，其中由所述索引识别的分割区样式为视频编码器20用以确定用于第一大小的深度块的分割区样式的分割区样式。视频解码器30可将索引接收到用于第二大小的分割区样式的分割区样式列表中，并基于用于第二大小的块的分割区样式确定用于第一大小(例如，64×64)的深度块的分割区样式，其中第二大小小于第一大小。
在以上实例中，较小大小的块为概念块且未必为包含深度块的图片的块，或深度块内的块。然而，在一些实例中，较小块可为较大大小的块内的块。在较小大小的块为较大大小的块内的块(例如，16×16块为64×64块内的十六个16×16块中的一者)的实例中，视频编码器20可用信号发送识别较小大小的块在较大大小的块中的位置的信息。视频解码器30可接着基于用于较小大小的块的分割区样式和较小大小的块在较大大小的64×64块内的位置确定用于较大64×64大小的块的分割区样式。举例来说，视频解码器30可向外延长平分较小大小的块的线性线，直到线性线遇到较大大小的64×64块的边缘。较大大小的64×64块的所得二等分可为从用于较小大小的块的分割区样式确定的用于较大大小的块的分割区样式。
换句话说，视频解码器30可将用于子块的分割区样式的线性线延长到深度块的边界。所得线性线可为用以帧内预测解码深度块的用于深度块的分割区样式。视频编码器20可类似地将用于子块的分割区样式的线性线延伸到深度块的边界，且所得线性线可为用以帧内预测编码深度块的用于深度块的分割区。
在一些实例中，视频编码器20可不需要用信号发送识别较小大小的块的位置的信息。在这些实例中，视频解码器30可经预配置以将设定的较小大小的块用作视频解码器30从其扩展分割区样式以确定用于较大大小的64×64深度块的分割区样式的块。在一些实例中，设定的较小大小的块可为固定大小。可在视频译码器的设计者译码及/或设定之前预定固定大小。
举例来说，视频编码器20可用信号发送特定M×M(例如，16×16)块(即，子块)的索引，视频解码器30接收所述索引，其具有相对水平和垂直索引(i,j)，其中ⅰ和j在0到N/M-1的范围中(包含0和N/M-1)。在此实例中，M×M块的左上方位置为(M*i,N*j)。以此方式，视频解码器30可确定M×M块的位置，并且通过延长线性线进一步确定用于整个N×N(例如，64×64)块的分割区样式，如下文更详细地描述。
视频编码器20和视频解码器30可分别用绕过模式或上下文建模来编码或解码M×M块的位置(i,j)。换句话说，视频编码器20可使用绕过模式或上下文建模来编码位置(i,j)，以用于识别其基于线的分割区样式经确定的子块，且视频解码器30可使用绕过模式或上下文建模来解码位置(i,j)，以识别其基于线的分割区样式经接收的子块。
替代地或另外，视频编码器20和视频解码器30可经预配置以设定特定M×M块以始终开始于当前PU的左界线M×M块或底界线M×M块。在此情况下，视频编码器20可用信号发送旗标，且只有一个偏移进一步由编码器用信号发送。举例来说，在此实例中，视频编码器20可用信号发送旗标和一个偏移以用于识别其基于线的分割区样式经确定的子块，且视频解码器30可接收旗标和一个偏移以识别其基于线的分割区样式经接收的子块。
在一些情况下，替代用信号发送在一个N×N块内的M×M单元中的水平和垂直索引，视频编码器20可用四叉树结构识别M×M块，其中每一层级表示具有零或零个以上“0”和一个“1”，且一旦达到“1”，那么终止并继续进行到较低层级。在此实例中，视频编码器20可不需要用信号发送用于识别子块的信息且视频解码器30可不需要接收用以识别子块的信息。举例来说，视频解码器30可类似地使用四叉树结构确定M×M块，视频解码器30确定用于所述块的分割区样式以用于确定用于N×N深度块的分割区样式。
在一些实例中，视频编码器20和视频解码器30可以所有M×M块的分割区样式在N×N块内部的方式(如果可用)将特定M×M(例如，16×16)块的基于线的分割区样式扩展到较大N×N(例如，64×64)块，共同形成用于整个PU(即，整个深度块)的基于线的分割区。举例来说，在特定M×M块的右上角的为N×N块内的另一M×M块的左下角。在一些实例中，视频编码器20和视频解码器30可将平分特定M×M块的线性线(例如，分割线)延长到连接到特定M×M块的右上角的其它块。类似地，在特定M×M块的左下角的为N×N块内的又一M×M块的右上角。在一些实例中，视频编码器20和视频解码器30可将平分特定M×M块的线性线(例如，分割线)延长到连接到特定M×M块的左下角的其它块。以此方式，视频编码器20和视频解码器30可将特定M×M块的基于线的分割区扩展到整个PU。
如上文所描述，视频编码器20和视频解码器30可经配置以延长平分较小大小的块的线性线，使得线性线平分较大大小的块以用于确定用于较大大小的深度块的分割区样式。在一些实例中，为了将特定M×M基于线的分割区样式扩展到当前PU(即，到整个较大大小的深度块)，视频编码器20和视频解码器30可首先通过确定M×M分割区样式的(M*i,M*j)以及开始和结束点位置导出分割区界线函数y＝a*x+b，其中a和b分别表示分割区界线的斜率和截距。换句话说，视频编码器20和视频解码器30可基于斜率线公式确定线性线的线等式。借由分割区界线函数，视频编码器20和视频解码器30可将为N×N二进制块的N×N分割区样式(被称作bPattern)导出为bPattern[x][y]＝(y-a*x)<b？1:0，其中x,y＝0,1,…N-1。此外，在一个实例中，a和b经舍入到整数。
在启用DMM模式3或4时，特定M×M块可由视频编码器20用信号发送且由视频解码器30接收。另外，在M×M块内部，视频编码器20以类似于如在当前3D-HEVC中视频编码器20以DMM模式3针对M×MPU(即，M×M块)用信号发送楔波样式的方式用信号发送基于线的分割区样式(例如，楔波样式)。在此情况下，视频编码器20可用信号发送相对于M×MPU(即，M×M块)的楔波子集索引。
如上文所描述，借由图9A到9B中所描述的技术，较大大小的块(例如，64×64块或更大块)所需要的分割区样式的数目可减少。举例来说，在本发明中描述的技术中，仅至多N/M(或2×N/M)个M×M块可需要分割区(即，视频编码器20和视频解码器30可需要建构包含仅至多N/M(或2×N/M)个M×M块的分割区列表)。因此，视频编码器20可仅需要用信号发送用于至多N/M(或2×N/M)个M×M块的分割区样式，并将分割区样式导出或扩展到至多N/M(或2×N/M)个M×M块。类似地，视频解码器30可仅需要接收用于至多N/M(或2×N/M)个M×M块的分割区样式，并将分割区样式导出或扩展到至多N/M(或2×N/M)个M×M块。
此外，如上文所描述，图9A到9B中描述的技术可减少需要存储的分割区样式的数目且降低使用分割区样式实施帧内预测的复杂度。因此，所述技术可借由支持用于64×64大小的深度块或更大深度块的基于线的分割(例如，楔波分割)而克服所述问题。换句话说，替代如在当前3D-HEVC中仅支持至多32×32基于线的分割区，使用本发明中描述的技术，楔波样式经扩展到可为64×64或更大的N×NPU。
除了描述使用用于N＝64的N×N大小的深度块的基于线的分割区样式的技术之外，图9A到9B的技术也可增加实施帧内预测编码和解码以用于基于线的分割(例如，楔波分割)的效率。举例来说，在视频编码器20处，为了加速在DMM1中针对N×N深度PU(即，深度块)的楔波搜索过程，当原始深度图片中的当前深度PU(即，深度块)的左上、右上、左下和右下样本具有相同值时，视频编码器20可跳过楔波样式搜索过程且视频编码器20可经配置以不选择DMM1用于当前PU(即，当前深度块)。
作为另一实例，替代地或另外，视频编码器20可检查多个相邻当前深度PU的值。视频编码器20可确定是否跳到搜索过程且可基于所述确定选择DMM1用于当前PU。替代地或另外，当原始深度图片中的当前深度PU的左上、右上、左下和右下样本具有相同值时，视频编码器20可跳过楔波样式搜索且选择一样本分割区样式(例如，左上样本属于所有其它样本的不同分割区)。
在一些实例中，在DMM3模式中，如果由相同位置的纹理明度帧内模式指定的N×N楔波子集为空，那么视频编码器20可跳过用于当前PU的DMM3模式。相同位置的纹理明度帧内模式为空意味着相同位置的纹理块的明度分量未经帧内预测编码或解码。举例来说，如果相同位置的纹理块的明度分量经帧间预测译码，那么不存在可用明度帧内模式。替代地或另外，视频解码器30可按以下方式受到约束：如果由相同位置的纹理明度帧内模式指定的N×N楔波子集为空，那么由视频解码器30解码的DMM模式索引可从不为用于当前PU的DMM3模式。
如上文所描述，对于DMM3，视频编码器20和视频解码器30可基于相同位置的纹理块确定用于深度块的分割区样式。然而，本发明中描述的技术不受如此限制。在一些实例中，在DMM3模式中，视频编码器20和视频解码器30可不通过与当前N×NPU处于相同位置的明度块导出楔波分割区样式。相反地，视频编码器20和视频解码器30可通过与当前M×M块处于相同位置的明度块确定基于线的分割区样式。
对于使用N×NPU的开始/结束点位置的半样本准确度的楔波样式，视频编码器20和视频解码器30可基于在具有对应的楔波样式的2N×2NPU中决策位置(2m,2n)属于的分割区来确定位置(m,n)属于的分割区。视频编码器20和视频解码器30可在不按(offsetX,offsetY)的偏移向量移位2N×2N块中的决策位置(2m,2n)的情况下确定位置(m,n)属于哪一分割区，其中offsetX或offsetY等于0或1且取决于如在当前3D-HEVC中的各种条件。
图10是说明解码视频数据的实例方法的流程图。出于说明的目的，在下文在图1和6中的视频解码器30的上下文内描述实例操作。确切地说，图10说明将DMM模式(包含DMM模式1及/或DMM模式4和任何其它深度建模模式)扩展到大小大于32×32的PU以用于3D-HEVC中的深度译码的视频解码器30的技术。在图10的实例中，预测处理单元82执行纹理解码和深度解码，尽管在其它实例中，视频编码器20内的不同组件也可执行一或多种纹理解码及/或深度解码技术。在任一情况下，预测处理单元82可经配置以对纹理数据和深度数据进行帧内或帧间编码，作为例如3D-HEVC过程的3D译码过程的部分。
根据本发明的技术，预测处理单元82接收可指示预测数据、残余数据及/或大小大于32×32的PU的分割的语法数据。在一些实例中，经编码视频数据可指语法数据。预测处理单元82可接收由视频编码器20产生的经编码视频数据。经编码视频数据可表示存取单元序列，其中每一存取单元包含对应于特定时间例项的经编码数据。如图7中所描述，语法数据可包含指示视频编码器20用以确定或以其它方式选择分割区的预测性样本的特定预测技术的预测数据。指示残余数据的语法数据可包含指示分割区中的深度值与预测数据的对应预测性样本之间的差值的一或多个值。指示大小大于32×32的PU的分割的语法数据可包含指示特定分割区样式、分割区样式的定向及/或特定分割区样式的PU的不同分割区中的一或多者的识别符的值。
在解码过程中，预测处理单元82可从定义深度译码单元(CU)内的大小大于32×32的深度预测单元(PU)的语法数据确定信息(1000)。在一些实例中，为了定义大小大于32×32的深度PU，预测处理单元82可使用深度建模模式(DMM)1定义大小大于32×32的深度PU。在一些实例中，为了产生大小大于32×32的楔波分割区样式，预测处理单元82可从用于当前PU的预定义64×64楔波样式列表选择大小大于32×32的楔波分割区样式。预测处理单元82可基于由视频解码器30接收作为语法数据的楔波索引值选择列表。视频解码器30接收的大小大于32×32的楔波分割区样式可为在包含大小大于32×32的楔波分割区样式的预定义样式列表中的分割区样式中的每一者中提供所确定译码效率(例如，满足临限值的最佳或第一译码效率)的分割区样式。举例来说，预测处理单元82可存储包含(但不限于)大小大于32×32的多个不同预定义楔波分割区样式的样式列表。
样式列表中的每一楔波分割区样式可映射到识别分割区样式的特定识别符或索引值。预测处理单元82可从视频编码器20接收指示预定义楔波样式列表的语法数据。通过连接具有半样本、全样本、两个样本、三个样本或四个样本的经指定开始/结束点分辨率的所有可能开始和结束点位置来确定样式列表的分割区样式。在一些实例中，以与介于4×4到32×32范围内的其它PU大小相同的方式，通过连接具有半样本、全样本、两个样本、三个样本或四个样本(仅举几个实例)的经指定开始/结束点分辨率的所有可能开始和结束点位置来产生大小大于32×32的样式的预定义楔波样式列表。因此，在一些实例中，预测处理单元82可以类似于3D-HEVC的介于4×4到32×32范围内的其它PU大小的方式接收指示及/或产生大小大于32×32的楔波分割区样式及/或DC预测过程的语法数据。
预测处理单元82可产生大小大于32×32的深度PU的一或多个分割区(1002)。所产生的分割区可基于包含在楔波样式列表中的分割区样式。如先前在图3A到3B中所描述，给定可用信号发送或可借由用信号发送的索引从存储器检索的开始点(xS,yS)和结束点(xE,yE)位置，视频解码器30可产生N×N楔波分割区样式。一开始，预测处理单元82可首先产生临时K×K分割区样式，其中所有样本经初始化为0。预测处理单元82可将形成连接(xS,yS)与(xE,yE)的分割区界线的样本设定为1，并将临时分割区样式划分为两个部分(例如，如图4A到4F中所说明的部分A和部分B)。在预测处理单元82将临时分割区样式划分为两个分割区之后，预测处理单元82可选择两个部分中的一者为分割区1且剩余部分为分割区2。预测处理单元82可经配置以基于如图4A到4F中所描述的楔波样式界线的定向来选择所述部分中的哪一部分为分割区1。
预测处理单元82可获得用于用信号发送的楔波分割区样式的分割区中的每一者的残余数据(1004)。在一些实例中，视频解码器30可接收包含对应于深度图的相应深度值的残余值的语法数据。在重建构大小大于32×32的PU的分割区中的每一深度值时，预测处理单元82可获得对应于每一深度值的残余值。
预测处理单元82可获得用于分割区中的每一者的预测数据(1006)。如图7中所描述，预测数据可为视频编码器20确定或以其它方式选择以产生视频解码器30用以重建构视频数据的残余数据的一或多个值。在一些实例中，预测数据可为像素特定预测性样本、平均值或单一值，仅举几个实例。在单一值的情况下，视频译码器可针对所有像素使用同一值。对于HEVC帧内预测模式，预测处理单元82可使用PU的相邻样本基于视频编码器20所接收的语法数据而产生PU中的每一像素的像素特定预测性样本，(例如)如HEVC工作草案中的子条款8.4.2中所指定。对于应用于3D-HEVC中的深度帧内译码的基于分割区的帧内预测模式(例如，DMM模式)，可根据给定分割区样式选择至多两个相邻参考样本用于每一分割区。接着对于每一分割区，可指派所选择的两个相邻参考样本的平均值或所选择的一个相邻参考样本的值作为用于当前分割区的预测值。
在一些实例中，预测处理单元82可基于从视频编码器20接收的语法数据针对每一分割区使用不同预测技术。举例来说，预测处理单元82可基于语法数据使用第一特定预测技术(例如，第一帧内预测模式)来选择或以其它方式确定用于PU的第一分割区的预测性样本，且可基于语法数据使用第二、不同预测技术(例如，第二帧内预测模式)来选择或以其它方式确定用于PU的第二分割区的预测性样本。在一些实例中，预测处理单元82可基于语法数据针对每一分割区使用相同预测技术来选择或以其它方式确定用于PU的分割区的预测性样本。
在确定用于大小大于32×32的PU中的深度值的残余数据和预测性样本之后，视频编码器20可重建构PU的每一分割区(1008)。重建构单元88可使用特定深度值的残余数据和对应预测性样本来重建构分割区的深度值。举例来说，重建构单元88可重建构各自等于残余值与预测数据的对应预测性样本的总和的深度值。对于大小大于32×32的PU的分割区中的每一深度值，重建构单元88可因此通过求和相应残余值与其对应的相应预测性样本而重建构相应深度值。
在一些实例中，预测处理单元82可产生大小大于32×32的楔波分割区样式作为经上取样N×N分割区样式，其中N＝4,8,16或32。预测处理单元82可基于指示N×N分割区样式的语法数据和指示N×N分割区样式将经上取样到大小大于32×32的信息导出N×N分割区样式。举例来说，基于指定N×N分割区样式的语法数据和上取样N×N分割区样式的信息，预测处理单元82可从样式列表选择现有的N×N分割区样式，并将所述样式上取样到大小大于32×32的PU。
为了将N×N分割区样式上取样到大小大于32×32，预测处理单元82可确定N×N分割区样式的开始和结束点(xS,yS)和(xE,yE)。预测处理单元82接着可将按比例放大函数f(x,y)应用于开始和结束点以产生经上取样的开始和结束点(xS',yS')和(xE',yE')。预测处理单元82可使用经上取样的开始和结束点以产生大小大于32×32的PU的N×N分割区样式。以此方式，预测处理单元82产生大小大于32×32的楔波分割区样式作为经上取样N×N分割区样式。在一些实例中，按比例放大函数f(x,y)可将一或多个线性偏移值应用于x和y值中的每一者。在其它实例中，按比例放大函数f(x,y)可以非线性方式更改x和y的值。在一些实例中，在预测处理单元82上取样分割区样式时，预测处理单元82可应用一或多种像素内插技术及/或像素抽取技术。
当预测处理单元82基于N×N楔波样式产生大小大于32×32的楔波分割区样式时，预测处理单元82从当前3D-HEVC的由视频编码器20用信号发送的N×N楔波样式列表选择N×N楔波分割区样式。预测处理单元82使用对应N×N分割区样式的楔波索引值选择N×N楔波分割区样式。视频解码器30可上取样N×N分割区样式以导出大小大于32×32的楔波分割区样式。在一些实例中，预测处理单元82可使用与当前3D-HEVC相同的固定长度码二进制化楔波索引值。
在一些实例中，预测处理单元82可从大小大于32×32的仅水平及/或垂直楔波分割区样式选择大小大于32×32的楔波分割区样式。如图7中所描述，水平和垂直分割区可具有相同的水平座标或相同的垂直座标的开始和结束点。举例来说，水平分割区可具有与结束点相同的y坐标值的开始点。垂直分割区可具有与结束点相同的x坐标值的开始点。因此，在一些实例中，在产生大小大于32×32的PU的一或多个分割区时，预测处理单元82可使用大小大于32×32的仅水平及/或垂直楔波分割区样式。举例来说，预测处理单元82可不使用或以其它方式存储具有在x和y两个维度上不同的坐标值作为开始和结束点的分割区样式。换句话说，对于至少一个维度(例如，x或y)，坐标值对于开始和结束点必须相同。通过使用大小大于32×32的仅水平及/或垂直分割区样式，预测处理单元82可减少视频解码器30必须处理及/或存储的分割区样式的总数。在一些实例中，大小大于32×32的水平/垂直分割区样式的开始/结束点准确度可为全样本、两个样本、三个样本或四个样本。在一些实例中，预测处理单元82使用具有log2 位的固定长度码二进制化大小大于32×32的楔波样式，其中C指示大小大于32×32的楔波样式的总数。
在一些实例中，除预测处理单元82针对大小大于32×32的PU使用DMM模式1(如关于图10所描述)之外，预测处理单元82还可应用SDC，且因此大小大于32×32的PU的每一分割区可具有仅一个DC残余值。替代译码经量化变换系数，SDC模式表示具有以下两个类型的信息的深度块：(1)当前深度块的分割区的类型，包含DMM模式1(2分割区)和平面(1分割区)，和(2)对于每一分割区，在位流中用信号发送的残余值(在像素域中)。因此，预测处理单元82可确定用于大小大于32×32的PU的分割区样式的类型和视频编码器20用信号发送的大小大于32×32的PU的每一分割区的单一残余值。在一些实例中，预测处理单元82可将大小大于32×32的楔波仅应用于SDC，意味着大小大于32×32的块的每一楔波分割区仅用SDC来重建构。在其它实例中，预测处理单元82可仅在DMM1的情况下且不在SDC的情况下应用大小大于32×32的楔波。在又其它实例中，预测处理单元82可在SDC开启和关闭的两种情况下将大小大于32×32的楔波应用于大小大于32×32的分割区。换句话说，预测处理单元82可(1)用DMM1并使用SDC和(2)用DMM1而不使用SDC将大小大于32×32的楔波应用于大小大于32×32的PU。在使用SDC时，每一分割区的单一残余值可提供比确定和用信号发送深度图中的每一值的残余数据更好的译码效率。
以下描述提供为执行本发明中描述的技术的一些方面而作出的语法元素和语义改变的实例。借由对如上所述的3D-HEVC的最新WD文本的更新，相对于JCT3V-F0126的相关内容呈现改变。举例来说，语法可相对于如由上文提到的文件JCT3V-F0126修改的3D-HEVC的语法经修改。在以下实例描述、语法表和语义中，使用斜体字表示对3D-HEVC的添加(如由文件JCT3V-F0126修改)且使用加括号的前面是“移除”的文本(例如，[移除：“移除的文本”])表示删除。一般来说，关于“要求”的陈述应理解为形成标准或标准扩展的文本的部分，而不是出于本发明的技术的目的的要求。
语法表
H.7.3.8.5译码单元语法
H.9.3.3二进制化过程
H.9.3.3.1通用
子条款9.3.3.1中的规范适用于以下修改。
-表H-20附加到表9-32的末尾。
…
表H-21——wedgeFullTabIdxBits[log2PUSize]的值
解码过程
支持64×64PU的DMM模式4
H.8.4.4.2.8帧内预测模式INTRA_DMM_CPREDTEX的规范
此过程的输入是：
-指定当前块的左上方样本相对于当前图片的左上方样本的样本位置(xTb,yTb)，
-相邻样本p[x][y]，其中x＝-1，y＝-1..nTbS*2-1且x＝0..nTbS*2-1，y＝-1，
-指定变换块大小的变量nTbS，
此过程的输出是：
-预测样本predSamples[x][y]，其中x,y＝0..nTbS-1。
通过以下有序步骤指定导出预测样本predSamples[x][y]的值，其中x,y＝0..nTbS-1：
1.将变量recTextPic设定成等于TexturePic的经重建构明度图片样本的阵列。
2.将变量stepText设定成等于nTbS>32？1:0。
3.如下文指定导出指定用于recTextPic的分段的临限值的变量textThresh。
-将变量sumTextPicVals设定成等于0。
-对于x＝0..nTbS–1，x＝x+stepText+1，以下适用
-对于y＝0..nTbS–1，y＝y+stepText+1，以下适用
(H-45)sumTextPicVals+＝recTextPic[xTb+x][yTb+y]
-将变量textThresh设定成等于(sumTextPicVals>>(2*(log2(nTbS)-stepText)))
4.如下文指定导出指定二进制分割区样式的变量wedgeletPattern[x][y]，其中x,y＝0..nTbS-1。
-对于x＝0..nTbS–1，以下适用
-对于y＝0..nTbS–1，以下适用
wedgeletPattern[x][y]＝(recTextPic[(xTb>>stepText)+x][(yTb>>stepText)+y]>textThresh)
5.如子条款H.8.4.4.2.9中指定的深度分割区值导出和指派过程调用相邻样本p[x][y]、二进制样式wedgeletPattern[x][y]、变换大小nT、设定成等于depth_dc_flag[xTb][yTb]的dcOffsetAvailFlag以及DC偏移DcOffset[xTb][yTb][0]和DcOffset[xTb][yTb][1]作为输入，且输出经指派到predSamples[x][y]。
本发明中描述的技术可由视频编码器20及/或视频解码器30执行，所述视频编码器及/或视频解码器二者通常可被称作视频译码器。此外，视频译码在适用时可通常指视频编码及/或视频解码。
视频解码器30为经配置以执行深度数据解码方法的装置的实例，所述方法包括：定义深度译码单元(CU)内的64×64深度预测单元(PU)；产生64×64PU的一或多个分割区；获得用于分割区中的每一者的残余数据；获得用于分割区中的每一者的预测数据；和基于用于分割区中的每一者的残余数据和预测数据重建构相应分割区。定义64×64PU可包括使用楔波分割区样式(例如，DMM模式1)定义64×64PU以产生64×64楔波分割区样式。
由解码器30执行的方法可进一步包括从预定义的64×64楔波样式的楔波样式列表选择楔波样式。解码器30可在经编码视频位流中接收用于从PU的楔波样式列表选择楔波样式的信息。所述方法可进一步包括基于连接具有半样本、全样本、两个样本、三个样本或四个样本的经指定开始/结束点分辨率的所有可能开始和结束位置来构建楔波样式列表。
在一些实例中，视频解码器30可在经编码视频位流中接收用于分割区中的每一者的残余数据。64×64楔波分割区样式可由解码器30产生作为经上取样的N×N分割区样式，其中N＝4,8,16或32，且以与3D-HEVCWD相同的方式导出N×N分割区样式，且以与N×N分割区样式相同的方式用信号发送64×64分割区样式。作为另一实例，编码器20可产生且解码器30可接收使用如2013年10月15日申请的临时专利申请案第61/891,203号中所描述的楔波扩展方法用信号发送的64×64楔波分割区样式，即，通过在给定位置处扩展4×4楔波样式产生64×64分割区样式。在一些实例中，视频解码器30可从仅水平/垂直64×64楔波分割区样式选择64×64楔波分割区样式，即，开始和结束点具有相同的水平座标或相同的垂直座标。
在一些实例中，用于每一分割区的残余数据包含使用分段DC译码(SDC)针对每一分割区产生的单一DC残余值。作为另一实例，用于分割区中的至少一些的残余数据包含使用分段DC译码(SDC)针对相应分割区产生的单一DC残余值。替代地，用于分割区的残余数据不用SDC来译码。
作为另一实例，通过视频解码器30定义64×64PU可包括使用DMM模式4分割区样式定义64×64PU以产生64×64分割区样式。对于64×64PU，可计算64×64纹理块中的所有样本的平均值，且接着可根据与深度PU处于相同位置的64×64纹理块中的样本大于平均值(分割区1)还是不大于平均值(分割区0)而导出用于PU的64×64分割区样式。
作为另一实例，对于64×64PU，可计算与深度PU处于相同位置的64×64纹理块的经下取样N×N块中的所有样本的平均值，且接着可根据N×N块中的样本大于平均值(分割区1)还是不大于平均值(分割区0)导出用于深度PU的64×64分割区样式，其中N可等于4、8、16或32。
在一些实例中，视频解码器30可在经编码视频位流中接收用于分割区中的每一者的残余数据。作为一个实例，用于每一分割区的残余数据包含使用分段DC译码(SDC)针对每一分割区产生的单一DC残余值。替代地，用于分割区中的至少一些的残余数据包含使用分段DC译码(SDC)针对相应分割区产生的单一DC残余值。作为另一替代方案，用于DMM4分割区的残余数据不用SDC来译码。
作为另一实例，在借由32×32楔波样式产生64×64楔波分割区样式时，从通过3D-HEVCWD指定的32×32楔波样式列表选择经上取样的32×32楔波分割区样式，且使用经上取样以导出64×64楔波分割区样式的对应32×32分割区样式的楔波索引值在位流中用信号发送64×64楔波分割区样式，且使用与3D-HEVCWD中相同的固定长度码二进制化楔波索引值。
出于实例目的，已经关于作为大于32×32的深度PU的实例的64×64深度PU描述本发明的技术。然而，本发明的技术可应用于大于32×32的PU大小，例如64×64、128×128等。以此方式，本发明的技术可为用于大于32×32的深度PU的视频译码提供一或多个改进。
虽然大体上关于3D-HEVC描述本发明的技术，但不以此方式限制所述技术。上文所描述的技术也可适用于用于3D视频译码的其它当前标准或未来标准。举例来说，用于深度译码的技术也可适用于涉及深度分量的译码的其它当前或未来标准，例如用于3D视频译码或其它应用。
应理解，取决于实例，本文中描述的方法中的任一者的某些动作或事件可用不同序列执行、可添加、合并或全部省略(例如，实践所述方法并不需要所有的所描述动作或事件)。此外，在某些实施例中，可例如经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。此外，虽然为了清晰起见，本发明的某些方面被描述为由单一模块或单元执行，但是应理解，本发明的技术可由与视频译码器相关联的单元或模块的组合执行。
虽然在上文描述所述技术的各个方面的特定组合，但提供这些组合仅为了说明本发明中描述的技术的实例。因此，本发明的技术不应限于这些实例组合且可涵盖本发明中描述的技术的各个方面的任何可设想的组合。
在一或多个实例中，所描述的功能可以在硬件、软件、固件或其任何组合中实施。如果以软件实施，那么所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或发射，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体(例如，数据存储媒体)或通信媒体，包含(例如)根据通信协议促进计算机程序从一处到另一处的传递的任何媒体。
以此方式，计算机可读媒体通常可对应于(1)有形计算机可读存储媒体，其是非暂时的，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用的媒体。计算机程序产品可包含计算机可读存储媒体和封装材料。
借助于实例而非限制，此类计算机可读存储媒体可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可以用于存储呈指令或数据结构形式的所要程序代码并且可以通过计算机存取的任何其它媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波的无线技术包含在媒体的定义中。
然而，应理解，所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、微控制器、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所描述的功能性可以提供于经配置以用于编码和解码的专用硬件及/或软件模块内，或者并入于组合式编码解码器中。并且，所述技术可以完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所公开技术的装置的功能方面，但未必需要通过不同硬件单元来实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编解码器硬件单元中，或通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已经描述了本发明的各种方面。这些和其它方面在所附权利要求书的范围内。

Claims (30)

1.一种在视频译码过程中解码深度数据的方法，所述方法包括：
定义深度译码单元CU内的大小大于32×32的深度预测单元PU；
产生所述深度PU的一或多个分割区；
获得用于所述分割区中的每一者的残余数据；
获得用于所述分割区中的每一者的预测数据；以及
基于用于所述分割区中的每一者的所述残余数据和所述预测数据重建构相应分割区。
2.根据权利要求1所述的方法，其中产生所述深度PU的所述一或多个分割区包括：
存储包括多个不同分割区样式的样式列表，其中每一相应分割区样式通过相应分割区样式索引识别；
基于分割区样式索引从所述样式列表选择分割区样式；以及
将所选分割区样式应用于所述深度PU以产生所述一或多个分割区。
3.根据权利要求1所述的方法，其中所述深度PU具有大小64×64。
4.根据权利要求2所述的方法，其中所述多个不同分割区样式包含至少一个楔波分割区样式，其中存储包括所述多个分割区样式的样式列表进一步包括：
基于所述深度PU的至少两个不同开始位置和至少两个不同结束位置确定所述多个不同分割区样式；
使所述多个不同分割区样式中的每一相应分割区样式与相应索引值关联；以及
将每一相应分割区样式与对应的相应索引值之间的相应关联存储在所述样式列表中。
5.根据权利要求4所述的方法，其中基于所述深度PU的所述至少两个不同开始位置和所述至少两个不同结束位置确定所述多个不同分割区样式进一步包括：
使用半样本、全样本、两个样本、三个样本或四个样本的分辨率连接所述两个不同开始位置中的至少一者与所述两个不同结束位置中的至少一者。
6.根据权利要求2所述的方法，其中N为32或32以下，其中所述分割区样式为N×N分割区样式，所述方法进一步包括：
将所述N×N分割区样式上取样到分割区样式，其中所述分割区样式为应用于所述深度PU的所选分割区样式。
7.根据权利要求1所述的方法，其中产生所述深度PU的一或多个分割区进一步包括：
接收识别所述深度PU内的子PU的信息，其中所述子PU的大小小于所述深度PU的大小；
将用于所述子PU的分割区样式的线性线延长到所述深度PU的边界，其中所得线性线定义用于所述深度PU的分割区样式；以及
基于所述分割区样式确定所述一或多个分割区。
8.根据权利要求1所述的方法，其中产生所述深度PU的一或多个分割区进一步包括：
仅基于水平分割区样式或垂直分割区样式中的至少一者产生所述深度PU的一或多个分割区。
9.根据权利要求1所述的方法，其中用于所述分割区中的至少一者的所述残余数据包含使用分段DC译码SDC针对所述分割区中的所述至少一者产生的单一DC残余值。
10.根据权利要求1所述的方法，其中产生所述深度PU的一或多个分割区进一步包括：
确定纹理块中的样本的平均值，所述纹理块包含在纹理图片的第一区域处，且所述第一区域与包含在深度图中的所述深度PU的第二区域处于相同位置；以及
基于比较所述纹理块的相应样本与样本的所述平均值针对所述深度图的每一深度值确定将所述深度值指派到的所述一或多个分割区中的分割区；以及
将所述深度值指派到所述一或多个分割区中的所述分割区。
11.根据权利要求10所述的方法，其中将所述深度值指派到所述一或多个分割区中的所述分割区进一步包括：
确定相应深度值在所述深度图内的第一位置；
确定相应样本在所述纹理块中的第二位置，其中所述深度PU中的所述第一位置与所述纹理块中的所述第二位置处于相同位置；以及
响应于确定所述相应样本大于样本的所述平均值，将所述第一位置的深度值指派到所述一或多个分割区的第一分割区。
12.一种用于译码视频数据的装置，其包括：
视频数据存储器，其存储一或多个分割区样式，其中所述装置经配置以：
定义深度译码单元CU内的大小大于32×32的深度预测单元PU；
产生所述深度PU的一或多个分割区；
确定用于所述分割区中的每一者的残余数据；
确定用于所述分割区中的每一者的预测数据；以及
基于用于所述分割区中的每一者的所述残余数据和所述预测数据重建构相应分割区。
13.根据权利要求12所述的用于译码视频数据的装置，
其中所述视频译码器包括视频解码器，
其中所述视频解码器经配置以：
存储包括多个不同分割区样式的样式列表，其中每一相应分割区样式通过相应分割区样式索引识别；
基于分割区样式索引从所述样式列表选择分割区样式；以及
将所选分割区样式应用于所述深度PU以产生所述一或多个分割区。
14.根据权利要求13所述的用于译码视频数据的装置，
其中所述视频解码器经配置以：
基于所述深度PU的至少两个不同开始位置和至少两个不同结束位置确定所述多个不同分割区样式；
使所述多个不同分割区样式的每一相应分割区样式与相应索引值关联；以及
将每一相应分割区样式与对应的相应索引值之间的相应关联存储在所述样式列表中。
15.根据权利要求12所述的用于译码视频数据的装置，
其中所述视频译码器包括视频解码器，
其中所述视频解码器经配置以：
确定纹理块中的样本的平均值，所述纹理块包含在纹理图片的第一区域处，且所述第一区域与包含在深度图中的所述深度PU的第二区域处于相同位置；以及
基于比较所述纹理块的相应样本与样本的所述平均值针对所述深度图的每一深度值确定将所述深度值指派到的所述一或多个分割区中的分割区；以及
将所述深度值指派到所述一或多个分割区的所述分割区。
16.根据权利要求15所述的用于译码视频数据的装置，
其中所述视频解码器经配置以：
确定相应深度值在所述深度图内的第一位置；
确定相应样本在所述纹理块中的第二位置，其中所述深度PU中的所述第一位置与所述纹理块中的所述第二位置处于相同位置；以及
响应于确定所述相应样本大于样本的所述平均值，将所述第一位置的深度值指派到所述一或多个分割区的第一分割区。
17.根据权利要求12所述的用于译码视频数据的装置，
其中所述视频译码器包括视频编码器，
其中所述视频编码器经配置以：
存储包括多个不同分割区样式的样式列表，其中每一相应分割区样式通过相应分割区样式索引识别；
基于分割区样式索引从所述样式列表选择分割区样式；以及
将所选分割区样式应用于所述深度PU以产生所述一或多个分割区。
18.根据权利要求17所述的用于译码视频数据的装置，
其中所述多个不同分割区样式包含至少一个楔波分割区样式，
其中所述视频编码器经配置以：
基于所述深度PU的至少两个不同开始位置和至少两个不同结束位置确定所述多个不同分割区样式；
使所述多个不同分割区样式的每一相应分割区样式与相应索引值关联；以及
将每一相应分割区样式与对应的相应索引值之间的相应关联存储在所述样式列表中。
19.根据权利要求12所述的用于译码视频数据的装置，
其中所述视频译码器包括视频解码器，
其中所述视频解码器经配置以：
确定纹理块中的样本的平均值，所述纹理块包含在纹理图片的第一区域处，且所述第一区域与包含在深度图中的所述深度PU的第二区域处于相同位置；以及
基于比较所述纹理块的相应样本与样本的所述平均值针对所述深度图的每一深度值确定将所述深度值指派到的所述一或多个分割区中的分割区；以及
将所述深度值指派到所述一或多个分割区的所述分割区。
20.根据权利要求19所述的用于译码视频数据的装置，
其中所述视频解码器经配置以：
确定相应深度值在所述深度图内的第一位置；
确定相应样本在所述纹理块中的第二位置，其中所述深度PU中的所述第一位置与所述纹理块中的所述第二位置处于相同位置；以及
响应于确定所述相应样本大于样本的所述平均值，将所述第一位置的深度值指派到所述一或多个分割区的第一分割区。
21.根据权利要求12所述的装置，其中所述装置选自由以下各者组成的群组：
集成电路IC；
微控制器；以及
无线装置，其包括所述视频译码器。
22.根据权利要求19所述的用于译码视频数据的装置，其中所述装置为视频解码器。
23.一种用于译码数据的设备，所述设备包括：
用于定义深度译码单元CU内的大小大于32×32的深度预测单元PU的装置；
用于产生所述深度PU的一或多个分割区的装置；
用于获得用于所述分割区中的每一者的残余数据的装置；
用于产生用于所述分割区中的每一者的预测数据的装置；以及
用于基于用于所述分割区中的每一者的所述残余数据和所述预测数据重建构相应分割区的装置。
24.根据权利要求23所述的用于译码视频数据的设备，所述设备包括：
用于存储包括多个不同分割区样式的样式列表的装置，其中每一相应分割区样式通过相应分割区样式索引识别；
用于基于分割区样式索引从所述样式列表选择分割区样式的装置；以及
用于将所选分割区样式应用于所述深度PU以产生所述一或多个分割区的装置。
25.根据权利要求24所述的用于译码视频数据的设备，所述设备包括：
用于基于所述深度PU的至少两个不同开始位置和至少两个不同结束位置确定所述多个不同分割区样式的装置；
用于使所述多个不同分割区样式的每一相应分割区样式与相应索引值关联的装置；以及
用于将每一相应分割区样式与对应的相应索引值之间的相应关联存储在所述样式列表中的装置。
26.根据权利要求23所述的用于译码视频数据的设备，所述设备包括：
用于确定纹理块中的样本的平均值的装置，所述纹理块包含在纹理图片的第一区域处，且所述第一区域与包含在深度图中的所述深度PU的第二区域处于相同位置；以及
用于基于比较所述纹理块的相应样本与样本的所述平均值针对所述深度图的每一深度值确定将所述深度值指派到的所述一或多个分割区中的分割区的装置；以及
用于将所述深度值指派到所述一或多个分割区的所述分割区的装置。
27.一种计算机程序产品，其包含上面存储有指令的计算机可读存储媒体，所述指令在经执行时引起用于译码视频数据的装置的处理器进行以下操作：
定义深度译码单元CU内的大小大于32×32的深度预测单元PU；
产生所述深度PU的一或多个分割区；
确定用于所述分割区中的每一者的残余数据；
确定用于所述分割区中的每一者的预测数据；以及
基于用于所述分割区中的每一者的所述残余数据和所述预测数据重建构相应分割区。
28.根据权利要求27所述的计算机程序产品，其包括上面存储有指令的所述计算机可读存储媒体，所述指令在经执行时引起用于译码视频数据的所述装置的所述处理器进行以下操作：
存储包括多个不同分割区样式的样式列表，其中每一相应分割区样式通过相应分割区样式索引识别；
基于分割区样式索引从所述样式列表选择分割区样式；以及
将所选分割区样式应用于所述深度PU以产生所述一或多个分割区。
29.根据权利要求28所述的计算机程序产品，其包括上面存储有指令的所述计算机可读存储媒体，所述指令在经执行时引起用于译码视频数据的所述装置的所述处理器进行以下操作：
基于所述深度PU的至少两个不同开始位置和至少两个不同结束位置确定所述多个不同分割区样式；
使所述多个不同分割区样式的每一相应分割区样式与相应索引值关联；以及
将每一相应分割区样式与对应的相应索引值之间的相应关联存储在所述样式列表中。
30.根据权利要求27所述的计算机程序产品，其包括上面存储有指令的所述计算机可读存储媒体，所述指令在经执行时引起用于译码视频数据的所述装置的所述处理器进行以下操作：
确定纹理块中的样本的平均值，所述纹理块包含在纹理图片的第一区域处，且所述第一区域与包含在深度图中的所述深度PU的第二区域处于相同位置；以及
基于比较所述纹理块的相应样本与样本的所述平均值针对所述深度图的每一深度值确定将所述深度值指派到的所述一或多个分割区中的分割区；以及
将所述深度值指派到所述一或多个分割区的所述分割区。
CN201480067948.7A 2013-12-16 2014-12-15 3d视频译码中的大型块和深度建模模式(dmm) Pending CN105814896A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361916780P 2013-12-16 2013-12-16
US61/916,780 2013-12-16
US14/569,126 US9756359B2 (en) 2013-12-16 2014-12-12 Large blocks and depth modeling modes (DMM'S) in 3D video coding
US14/569,126 2014-12-12
PCT/US2014/070400 WO2015095078A1 (en) 2013-12-16 2014-12-15 Large blocks and depth modeling modes (dmm's) in 3d video coding

Publications (1)

Publication Number Publication Date
CN105814896A true CN105814896A (zh) 2016-07-27

Family

ID=53370082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480067948.7A Pending CN105814896A (zh) 2013-12-16 2014-12-15 3d视频译码中的大型块和深度建模模式(dmm)

Country Status (4)

Country Link
US (1) US9756359B2 (zh)
EP (1) EP3085094A1 (zh)
CN (1) CN105814896A (zh)
WO (1) WO2015095078A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331727A (zh) * 2016-08-26 2017-01-11 天津大学 一种深度建模模式简化搜索方法
CN108737840A (zh) * 2018-05-28 2018-11-02 华侨大学 一种基于深度图纹理特性的3d-hevc帧内快速编码方法
WO2019141012A1 (en) * 2018-01-18 2019-07-25 Mediatek Inc. Video processing methods and apparatuses for processing video data coded in large size coding units
CN110650335A (zh) * 2019-08-13 2020-01-03 杭州电子科技大学 基于dwt的3d-hevc快速dmm预测决策方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102216585B1 (ko) * 2013-01-04 2021-02-17 삼성전자주식회사 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
US10129542B2 (en) * 2013-10-17 2018-11-13 Futurewei Technologies, Inc. Reference pixel selection and filtering for intra coding of depth map
WO2015123806A1 (en) 2014-02-18 2015-08-27 Mediatek Singapore Pte. Ltd. Methods for depth based block partitioning
KR101864979B1 (ko) * 2014-03-11 2018-06-05 에이치에프아이 이노베이션 인크. 비디오 코딩에 대한 단일 샘플 모드의 방법 및 장치
CN103841405B (zh) * 2014-03-21 2016-07-06 华为技术有限公司 深度图像的编解码方法和编解码装置
US10110916B2 (en) * 2014-04-22 2018-10-23 Sony Corporation Encoding device and encoding method
KR20170023000A (ko) * 2014-06-20 2017-03-02 삼성전자주식회사 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치
WO2015199040A1 (ja) * 2014-06-24 2015-12-30 シャープ株式会社 Ｄｍｍ予測部、画像復号装置、および画像符号化装置
EP3140988B1 (en) * 2014-06-26 2019-09-11 Huawei Technologies Co., Ltd. Method and device for reducing a computational load in high efficiency video coding
WO2016056550A1 (ja) * 2014-10-08 2016-04-14 シャープ株式会社 画像復号装置
CA2998098C (en) * 2015-09-11 2023-05-02 Kt Corporation Method and device for processing video signal
WO2017104699A1 (ja) * 2015-12-15 2017-06-22 日本電信電話株式会社 画像差異検出装置、画像差異検出方法及びコンピュータプログラム
CN105791862B (zh) * 2016-03-21 2018-09-14 杭州电子科技大学 基于边缘复杂度的三维视频编码深度图内部模式选择方法
US10944963B2 (en) * 2016-05-25 2021-03-09 Arris Enterprises Llc Coding weighted angular prediction for intra coding
US10430975B2 (en) * 2016-11-17 2019-10-01 Google Llc Advanced k-D tree encoding for point clouds by most significant axis selection
US10496336B2 (en) * 2016-11-17 2019-12-03 Google Llc K-D tree encoding for point clouds using deviations
KR102549178B1 (ko) 2016-12-07 2023-06-29 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN115118992B (zh) * 2017-08-22 2024-02-06 松下电器（美国）知识产权公司 图像编码器、图像解码器、和比特流生成设备
EP3467782A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing Method and device for generating points of a 3d scene
US10891758B2 (en) 2018-07-23 2021-01-12 Google Llc Geometry encoder
WO2020044253A1 (en) 2018-08-28 2020-03-05 Beijing Bytedance Network Technology Co., Ltd. Redundancy removal of partitioning methods
EP3848902A4 (en) * 2018-09-05 2021-10-27 Panasonic Intellectual Property Corporation of America METHOD FOR CODING THREE-DIMENSIONAL DATA, METHOD FOR DECODING THREE-DIMENSIONAL DATA, DEVICE FOR CODING THREE-DIMENSIONAL DATA AND DEVICE FOR DECODING THREE-DIMENSIONAL DATA
CN112789658A (zh) * 2018-10-02 2021-05-11 索尼公司 图像处理装置和方法
US20230052538A1 (en) * 2021-08-13 2023-02-16 Meta Platforms, Inc. Systems and methods for determining token rates within a rate-distortion optimization hardware pipeline
US20230108504A1 (en) * 2021-10-04 2023-04-06 Tencent America LLC On geometric partition mode with intra and inter prediction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130022111A1 (en) * 2011-07-22 2013-01-24 Qualcomm Incorporated Coding motion depth maps with depth range variation
WO2013068566A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive partition coding
WO2013107931A1 (en) * 2012-01-19 2013-07-25 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
WO2013157817A1 (ko) * 2012-04-16 2013-10-24 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2920970A4 (en) * 2013-04-11 2016-04-20 Mediatek Inc METHOD AND APPARATUS FOR PREDICTING THE DERIVATIVE OF AN INTRA CODING VALUE
US9571809B2 (en) * 2013-04-12 2017-02-14 Intel Corporation Simplified depth coding with modified intra-coding for 3D video coding
US9497485B2 (en) * 2013-04-12 2016-11-15 Intel Corporation Coding unit size dependent simplified depth coding for 3D video coding
US9544601B2 (en) 2013-10-15 2017-01-10 Qualcomm Incorporated Wedgelet pattern extension for depth intra coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130022111A1 (en) * 2011-07-22 2013-01-24 Qualcomm Incorporated Coding motion depth maps with depth range variation
WO2013068566A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive partition coding
WO2013107931A1 (en) * 2012-01-19 2013-07-25 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
WO2013157817A1 (ko) * 2012-04-16 2013-10-24 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
L. ZHANG, G. TECH, K. WEGNER, S. YEA: "3D-HEVC Test Model 5", 《5.JCT-3V MEETING》 *
X. ZHAO, L. ZHANG, Y. CHEN: "CE5 related: Wedgelet pattern extension from 4x4 block", 《6.JCT-3V MEETING》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331727A (zh) * 2016-08-26 2017-01-11 天津大学 一种深度建模模式简化搜索方法
CN106331727B (zh) * 2016-08-26 2019-03-08 天津大学 一种深度建模模式简化搜索方法
WO2019141012A1 (en) * 2018-01-18 2019-07-25 Mediatek Inc. Video processing methods and apparatuses for processing video data coded in large size coding units
US11051009B2 (en) 2018-01-18 2021-06-29 Mediatek Inc. Video processing methods and apparatuses for processing video data coded in large size coding units
CN108737840A (zh) * 2018-05-28 2018-11-02 华侨大学 一种基于深度图纹理特性的3d-hevc帧内快速编码方法
CN110650335A (zh) * 2019-08-13 2020-01-03 杭州电子科技大学 基于dwt的3d-hevc快速dmm预测决策方法
CN110650335B (zh) * 2019-08-13 2021-06-15 杭州电子科技大学 基于dwt的3d-hevc快速dmm预测决策方法

Also Published As

Publication number Publication date
US20150172717A1 (en) 2015-06-18
US9756359B2 (en) 2017-09-05
WO2015095078A1 (en) 2015-06-25
EP3085094A1 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
CN105814896A (zh) 3d视频译码中的大型块和深度建模模式(dmm)
CN105612747B (zh) 用于深度帧内译码的楔波样式扩展
CN105874797B (zh) 视频数据的编解码方法、装置、设备和存储媒体
CN104396250B (zh) 用于3d视频译码的深度图的帧内译码的方法和装置
CN105934948B (zh) 解码和编码视频数据的方法和装置及计算机可读存储介质
CN105103559B (zh) 三维(3d)视频译码方法及装置
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN105052147B (zh) 用于3d-hevc的深度数据的深度译码模式信令
CN105027571B (zh) 三维视频译码中导出的视差向量
CN106797479B (zh) 对于并行处理的帧内块复制预测限制
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
CN103503460B (zh) 译码视频数据的方法和设备
CN105191317B (zh) 视图内以及跨越视图的深度查找表的预测性译码
CN105580365B (zh) 处理视频数据的方法、装置及存储媒体
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN104170380B (zh) 视频译码中的视差矢量预测
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
CN104704843B (zh) 视频性质的指示
CN105874788B (zh) 对3d视频译码中较大预测块的逐段dc译码的简化
CN105308956B (zh) 用于深度图帧内译码的预测子
CN106105216A (zh) 用于3d视频译码的受约束深度帧内模式译码
CN110024403A (zh) 用于视频译码的仿射运动模型的运动向量生成
CN106063262A (zh) 3d视频译码中的增量dc残差译码的简化
CN110100439A (zh) 用于视频译码的帧内预测技术
CN109076218A (zh) 在视频译码中自适应环路滤波中的多个滤波器的混淆

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160727