CN105191317A

CN105191317A - 视图内以及跨越视图的深度查找表的预测性译码

Info

Publication number: CN105191317A
Application number: CN201480011946.6A
Authority: CN
Inventors: 张莉; 陈颖; 马尔塔·卡切维奇
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-03-05
Filing date: 2014-03-05
Publication date: 2015-12-23
Anticipated expiration: 2034-03-05
Also published as: CN105191317B; KR102092433B1; EP2965519B1; WO2014138224A2; KR20150126875A; US10271034B2; WO2014138224A3; JP2016514426A; JP6698351B2; US20140253682A1; EP2965519A2

Abstract

在实例中，一种对视频数据进行译码的方法包含确定深度查找表DLT的第一深度值，其中所述第一深度值与所述视频数据的第一像素相关联。所述方法还包含确定所述DLT的第二深度值，其中所述第二深度值与所述视频数据的第二像素相关联。所述方法还包含对所述DLT进行译码，包含相对于所述第一深度值对所述第二深度值进行译码。

Description

视图内以及跨越视图的深度查找表的预测性译码

本申请案主张2013年3月5日申请的第61/773,089号美国临时专利申请案、2013年3月27日申请的第61/805,771号美国临时申请案和2013年4月12日申请的第61/811,341号美国临时专利申请案的权益，以上申请案中的每一者的整个内容以引用的方式并入本文中。

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流装置及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分、高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准及目前正在开发的此类标准的扩展中所描述的视频压缩技术。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码和及/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，图片或图片的一部分)可以分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内编码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。

空间或时间预测导致待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据而编码。为了进一步压缩，可将残余数据从空间域变换到变换域，从而产生残余变换系数，接着可对残余变换系数进行量化。可扫描一开始按二维阵列排列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。

发明内容

本发明的技术包含与深度查找表(DLT)的信令和预测相关联的技术。举例来说，在三维(3D)视频译码的一些实例中，深度图可用以表示与图片的像素相关联的深度值。深度值可在DLT中组织，其中DLT的每一深度值具有相关联索引值。根据本发明的方面，DLT的一或多个值可相对于DLT的一或多个其它深度值而译码，进而实现相对于对实际深度值进行译码的位节省。另外或替代地，根据本发明的方面，可执行视图间DLT预测以减少一个以上视图的DLT中出现的深度值的冗余。

在一个实例中，本发明描述一种对视频数据进行译码的方法，所述方法包括：确定深度查找表(DLT)的第一深度值，其中所述第一深度值与所述视频数据的第一像素相关联；确定所述DLT的第二深度值，其中所述第二深度值与所述视频数据的第二像素相关联；以及对所述DLT进行译码，包含相对于所述第一深度值对所述第二深度值进行译码。

在另一个实例中，本发明描述一种用于对视频数据进行译码的设备，所述设备包含：存储器，其存储视频数据；以及一或多个处理器，其经配置以：确定深度查找表(DLT)的第一深度值，其中所述第一深度值与所述视频数据的第一像素相关联；确定所述DLT的第二深度值，其中所述第二深度值与所述视频数据的第二像素相关联；以及对所述DLT进行译码，包含相对于所述第一深度值对所述第二深度值进行译码。

在另一个实例中，本发明描述一种用于对视频数据进行译码的设备，所述设备包括：用于确定深度查找表(DLT)的第一深度值的装置，其中所述第一深度值与所述视频数据的第一像素相关联；用于确定所述DLT的第二深度值的装置，其中所述第二深度值与所述视频数据的第二像素相关联；以及用于对所述DLT进行译码的装置，所述译码包含相对于所述第一深度值对所述第二深度值进行译码。

在另一个实例中，本发明描述一种具有存储于其上的指令的非暂时计算机可读存储媒体，所述指令在被执行时致使一或多个处理器进行以下操作：确定深度查找表(DLT)的第一深度值，其中所述第一深度值与所述视频数据的第一像素相关联；确定所述DLT的第二深度值，其中所述第二深度值与所述视频数据的第二像素相关联；以及对所述DLT进行译码，包含相对于所述第一深度值对所述第二深度值进行译码。

在附图和下文描述中阐述本发明的一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书而显而易见。

附图说明

图1是说明可利用用于深度译码的本发明的技术的实例视频编码和解码系统的框图。

图2是说明可实施与本发明一致的用于深度译码的技术的视频编码器的实例的框图。

图3是说明可实施与本发明一致的用于深度译码的技术的视频解码器的实例的框图。

图4大体上说明与方向性帧内预测模式相关联的预测方向。

图5A和5B是说明深度建模模式(DMM)的实例的概念图。

图6是说明区边界链译码模式的概念图。

图7是说明使用简化深度译码(SDC)对深度信息进行帧内译码的框图。

图8是说明根据本发明的方面用于对深度查找表(DLT)进行编码的过程的流程图。

图9是说明根据本发明的方面的用于对DLT进行解码的过程的流程图。

具体实施方式

一般来说，本发明的技术涉及三维(3D)视频译码。也就是说，使用这些技术译码的视频数据可经再现且显示以产生三维效果。举例来说，不同视图的两个图像(也就是说，对应于具有稍微不同水平位置的两个相机视角)可大体上同时显示以使得一个图像由观察者的左眼看见，且另一图像由观察者的右眼看见。

3D效果可使用(例如)立体显示器或自动立体显示器实现。立体显示器可以结合相应地对所述两个图像进行过滤的护目镜而使用。举例来说，无源眼镜可使用偏光镜片或不同有色镜片对图像进行过滤以确保恰当眼睛观看恰当图像。作为另一实例，有源眼镜可与立体显示器协调地快速遮挡交替的镜片，所述立体显示器可在显示左眼图像与右眼图像之间交替。自动立体显示器以不需要眼镜的方式显示所述两个图像。举例来说，自动立体显示器可包含经配置以致使每一图像投影到观察者的适当眼睛中的镜或棱镜。

本发明的技术涉及通过译码纹理和深度数据来译码3D视频数据。一般来说，术语“纹理”用以描述图像的明度(即，亮度或“明度”)值及图像的色度(即，色彩或“色度”)值。在一些实例中，纹理可包含用于蓝色调(Cb)及红色调(Cr)的一组明度数据及两组色度数据。在例如4:2:2或4:2:0的某些色度格式中，相对于明度数据降低取样色度数据。即，色度像素的空间分辨率可低于对应明度像素的空间分辨率，例如为明度分辨率的二分之一或四分之一。

深度数据总体上描述对应纹理数据的深度值。举例来说，深度图像可包含各自描述对应纹理数据的深度的深度像素集合。深度数据可用于确定对应纹理数据的水平视差。因此，接收纹理和深度数据的装置可显示一个视图(例如，左眼视图)的第一纹理图像，且通过使第一图像的像素值偏移基于深度值所确定的水平视差值而使用深度数据修改第一纹理图像以产生另一视图(例如，右眼视图)的第二纹理图像。一般来说，水平视差(或简称“视差”)描述第一视图中的像素与右视图中的对应像素的水平空间偏移，其中两个像素对应于如于两个视图中所表示的相同对象的相同部分。

在又其它实例中，可针对垂直于图像平面的零维度(z-dimension)中的像素定义深度数据，使得与给定像素相关联的深度是相对于针对所述图像定义的零视差平面而定义。此深度可用以产生水平视差用于显示像素，使得所述像素取决于所述像素相对于零视差平面的z维度深度值而对于左眼与右眼以不同方式显示。

零视差平面可对于视频序列的不同部分改变，且相对于零视差平面的深度量也可改变。可对于左眼与右眼类似地定义位于零视差平面上的像素。位于零视差平面之前的像素可对于左眼与右眼显示于不同位置中(例如，具有水平视差)，以便产生像素似乎是从垂直于图像平面的z方向上的图像出现的感觉。位于零视差平面之后的像素可显示为具有轻微模糊以轻微地感觉到深度，或可对于左眼与右眼显示于不同位置中(例如，具有与位于零视差平面之前的像素相反的水平视差)。许多其它技术也可用于传达或定义图像的深度数据。

二维视频数据大体上经译码为离散图片的序列，所述离散图片中的每一者对应于特定时间实例。也就是说，每一图片具有相对于所述序列中的其它图像的重放时间的相关联重放时间。这些图片可视为纹理图片或纹理图像。在基于深度的3D视频译码中，序列中的每一纹理图片还可对应于深度图。也就是说，对应于纹理图片的深度图描述对应纹理图片的深度数据。多视图视频数据可包含各种不同视图的数据，其中每一视图可包含纹理图片和对应深度图片的相应序列。

如上所述，图像可对应于特定时间实例。视频数据可使用存取单元序列来表示，其中每一存取单元包含对应于特定时间实例的所有数据。因此，举例来说，对于多视图视频数据加深度，来自用于共同时间实例的每一视图的纹理图像加所述纹理图像中的每一者的深度图可全部包含在特定存取单元内。存取单元可包含对应于纹理图像的纹理分量和对应于深度图的深度分量的数据。

以此方式，3D视频数据可使用多视图视频加深度格式来表示，其中俘获或产生的视图(纹理)与对应深度图相关联。此外，在3D视频译码中，纹理及深度图可经译码且多路复用到3D视频位流中。深度图可经译码为灰度级图像，其中深度图的“明度”样本(即，像素)表示深度值。常规的帧内和帧间译码方法可应用于深度图译码。

深度图通常包含尖锐边缘和恒定区域，且深度图中的边缘通常呈现与对应纹理数据的强相关。由于纹理与对应深度之间的不同统计数据和相关，已经基于2D视频编解码器设计并且持续设计不同译码方案用于深度图。

如下文更详细地论述，特定于深度图译码的一些译码方案涉及将深度图的块分割为各种预测区。举例来说，可使用楔形波型式或轮廓线型式分割深度图的块，如下文更详细描述。一般来说，楔形波型式是由穿过深度图数据块绘制的任意线界定，而在轮廓线分割中，深度块可分割成两个不规则形状的区。

本发明的技术大体上涉及对深度信息进行译码，且可与高效率视频译码(HEVC)标准结合应用。举例来说，联合视频组(JVT)最近开发了HEVC的基础版本(2D)，其提供比先前开发的视频译码标准高的效率。3D视频译码联合合作小组(JCT-3V)当前在进行两个三维视频(3DV)解决方案的研究作为对HEVC的扩展。一个实例包含称为MV-HEVC的HEVC的多视图扩展。另一实例包含深度增强3D视频扩展(3D-HEVC)。用于3D-HEVC的参考软件3D-HTM版本5.1的实例在https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-5.1/公开可用。软件描述从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1005-v1.zip(文献编号B1005)可用。

在3D-HEVC中，每一存取单元含有多个视图分量，每一视图分量含有唯一视图id或视图次序索引或层id。视图分量含有纹理视图分量以及深度视图分量。纹理视图分量可经译码为一或多个纹理切片，而深度视图分量可经译码为一或多个深度切片。

在一些情况下，深度信息可经帧内译码，其依赖于空间预测来减少或移除给定图片内的空间冗余。举例来说，在3D-HEVC中，视频译码器(例如，视频编码器或视频解码器)可使用来自基础(2D)HEVC标准的帧内预测模式对深度切片的帧内预测单元进行译码。下文相对于图4更详细地描述HEVC标准的帧内模式。在另一个实例中，视频译码器可使用深度建模模式(DMM)对深度切片的帧内预测单元进行译码。下文相对于图5A和5B更详细地描述3D-HEVC的DMM。在另一个实例中，视频译码器可使用区边界链译码对深度切片的帧内预测单元进行译码。下文相对于图6更详细地描述区边界链译码。视频译码器可使用以上帧内模式(例如，HEVC帧内模式、DMM和/或区边界链译码)以产生残余深度值。视频译码器可随后变换且量化所述残余深度值，如下文更详细描述。

在一些情况下，视频译码器可使用简化深度译码(SDC)模式对深度切片的帧内预测单元进行译码。与上述帧内模式译码方案对比，当使用SDC模式时，视频译码器并不变换或量化残余深度值。而是，在一些实例中，视频译码器可直接对每一分区的残余深度值进行译码。在此些实例中，视频译码器可通过从当前分区的平均值减去预测符(例如，基于相邻样本产生)计算残余深度值。

在其它实例中，替代于对残余值进行译码，视频译码器可对从深度查找表(DLT)映射的索引差进行译码。举例来说，视频编码器可通过从当前分区的平均值的索引减去预测符的索引而计算所述索引差。视频解码器可计算经解码索引差与预测符的索引的总和，且可基于DLT将所述总和映射回到深度值。

以此方式，DLT可映射原始深度图的深度值。可通过在对全图片序列进行编码之前分析第一帧内周期的帧而构造DLT。在一些情况下，视频译码器可按升序分选所有有效的深度值，然后以增加的索引将所述值插入到DLT中。在一些情况下，当预测符或平均值的值不包含在DLT中时，所述值可映射到索引i，其中预测符值的绝对值除以平均值减DLT中的第i条目的值是最小值。

视频译码器可使用DLT作为任选的译码工具。举例来说，如果在分析阶段从0到最大深度值(例如，MAX_DEPTH_VALUE；对于8位深度样本为255)的值中超过二分之一出现在原始深度图中，那么视频编码器可不使用DLT。否则，视频编码器可对例如序列或视频参数集等参数集中的DLT进行译码。在一些情况下，可首先使用指数-哥伦布(Exp-Golomb)码对有效深度值的数目进行译码。随后可以指数-哥伦布码对每一有效深度值进行译码。

根据一个实例3D-HEVC设计，例如上文提到的版本5.1，当导出预测DC值时，视频译码器(例如，视频编码器或视频解码器)可直接对深度值进行译码而无需考虑深度值的上升特性(可能不是高效的)。另外，版本5.1中未利用不同视图的深度值之间的关系。因此，在用信号表示冗余深度值方面可浪费许多位。此外，当一个序列/视图内存在场景改变时在序列参数集(SPS)或视频参数集(VPS)中用信号表示DLT可能不是高效的。另外，指数-哥伦布码在对深度值进行译码时可为低效的，因为不存在具有较短码的深度值具有较高发生概率的假设。

本发明的方面大体上涉及DLT信令，且虽然不限于任何特定译码标准，但可经实施以解决上文相对于3D-HEVC描述的问题中的一或多者。举例来说，根据本发明的一些方面，DLT的深度值可相对于DLT的另一深度值而预测且译码。在用于说明目的的实例中，假定用于具有等于i的layer_id的深度视图分量的DLT中作为第j条目的深度值是由dlt_D[i][j]表示。在此实例中，第一有效深度值(例如，dlt_D[i][0])可直接在位流中用信号表示。DLT的剩余深度值可基于DLT中的先前深度值而以差分方式译码(例如，dlt_D[i][j]-dlt_D[i][j-1])。以此方式，DLT的第二深度值(dlt_D[i][j-1])可相对于DLT的第一值(dlt_D[i][j])而译码。

在另一个实例中，根据本发明的方面，DLT的深度值可在视图之间预测，即，视图间DLT预测。在此实例中，视频译码器可相对于第二不同视图中的DLT值对一个视图的DLT值进行译码。举例来说，基础视图可包含具有深度值的集合的相关联DLT。第二非基础视图可包含具有深度值的集合的其自身的相关联DLT，在此实例中称为第二DLT。根据本发明的方面，第二DLT的值可相对于用于基础视图的DLT而译码。举例来说，一或多个语法元素可指示第二DLT的值出现在基础视图DLT中，使得第二DLT的实际值不需要用信号表示。

以此方式，所述技术可减少位流中包含的用于深度译码的数据的量。举例来说，本发明的技术可减少与DLT相关联的冗余，进而减少经编码位流中用信号表示深度值所需的位数目。

图1是说明可利用用于深度译码的本发明的技术的实例视频编码和解码系统10的框图。如图1中所展示，系统10包含源装置12，其产生稍后由目的地装置14解码的经编码视频数据。确切地说，源装置12可将经编码视频数据存储到计算机可读媒体16以使得经编码视频可由目的地装置14存取。源装置12和目的地装置14可包含广泛范围的装置中的任一者，包含桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”垫、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似物。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。

如上所述，目的地装置14可存取已存储到计算机可读媒体16的待解码的经编码视频数据。计算机可读媒体16可包含能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的非暂时性媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。

经编码视频数据可根据例如无线通信协议等通信标准加以调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可能形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。

在一些实例中，经编码数据可从输出接口22输出到存储装置，使得计算机可读媒体16包含所述存储装置。类似地，可通过输入接口28从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或可存储源装置12产生的经编码视频的另一中间存储装置。

目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)来接入经编码视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码的视频数据从存储装置的发射可能是流式发射、下载发射或两者的组合。

本发明的技术未必限于无线应用或设置。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如，经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频串流、视频重放、视频广播和/或视频电话的应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用所述技术以用于多视图译码中的运动向量预测。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可以与外部显示装置介接，而非包括集成显示装置。

图1的所说明的系统10仅为一个实例。可以由任何数字视频编码和/或解码装置来执行用于深度译码的技术。尽管本发明的技术一般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编解码器”)来执行。此外，本发明的技术还可由视频预处理器来执行。源装置12及目的地装置14仅为这些译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以大体上对称的方式操作以使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如用于视频流式传输、视频重放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置，例如相机、含有先前所俘获视频的视频档案和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为视频摄像机，那么源装置12及目的地装置14可形成所谓的摄像机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，可由视频编码器20编码所捕获、预先捕获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可以从源装置12接收经编码视频数据，并且例如经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码的视频数据并且生产含有经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。

本发明可能总体上参考视频编码器20向另一装置(例如视频解码器30)“用信号表示”某些信息。但是，应理解，视频编码器20可以通过使某些语法元素与视频数据的各种经编码部分相关联来用信号发出信息。也就是说，视频编码器20可以通过将某些语法元素存储到视频数据的各种经编码部分的标头来“用信号表示”数据。在一些情况下，此些语法元素可在被视频解码器30接收和解码之前，先被编码和存储(例如，存储到计算机可读媒体16)。因而，术语“用信号表示”可能总体上指代用于解码经压缩的视频数据的语法或其它数据的通信，不论所述通信是实数或几乎实时发生还是在一段时间中发生，例如可能在编码时将语法元素存储到媒体上的时候发生，接着可以在存储到这个媒体上之后的任何时间由解码装置检索。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息也被视频解码器30使用，其包含描述块及其它经译码单元(例如GOP)的特性及/或处理的语法元素。显示装置32向用户显示经解码的视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，MUX-DEMUX单元可符合ITUH.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可以经实施为可适用的多种合适的编码器或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可以包括在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为组合视频编码器/解码器(编解码器)的一部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置，例如蜂窝式电话。

视频编码器20和视频解码器30可根据视频译码标准操作，例如ITU-TH.264/MPEG-4(AVC)标准，其由ITU-T视频译码专家组(VCEG)连同ISO/IEC动画专家组(MPEG)一起制定为被称为联合视频组(JVT)的集体合作伙伴的产品。另一视频译码标准包含H.264标准，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。H.264标准在ITU-T研究群组的ITU-T建议H.264“用于通用视听服务的高级视频译码”中描述。联合视频小组(JVT)持续致力于扩展H.264/MPEG-4AVC。MVC的最新联合草案描述于2010年3月的“用于通用视听服务的高级视频译码”(ITU-T建议H.264)中。

或者，视频编码器20和视频解码器30可以根据高效率视频译码(HEVC)标准操作，并且可以符合HEVC测试模型(HM)。HEVC由ITU-TVCEG和ISO/IECMPEG的JCT-VC开发。HEVC的最近草案从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v14.zip可用。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM根据(例如)ITU-TH.264/AVC假设视频译码装置相对于现存装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十五种帧内预测编码模式。

一般来说，HM的工作模型描述视频帧或图片可以被划分为包含明度和色度样本两者的树块或最大译码单元(LCU)的序列。位流内的语法数据可以定义LCU的大小，LCU是在像素数目方面的最大译码单元。切片包含按译码顺序的多个连续树块。图片可以分割成一或多个切片。每一树块可根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于所述树块。如果一个CU分裂成4个子CU，则对应于CU的节点包含4个叶节点，其中的每一者对应于所述子CU中的一者。

四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，从而指示对应于所述节点的所述CU是否分裂成子CU。用于CU的语法元素可以递归地来定义，且可以取决于CU是否分裂成数个子CU。如果CU不进一步分裂，那么将其称为叶CU。在本发明中，叶CU的子CU也将被称作叶CU，即使不存在原始叶CU的明确分裂时也是如此。举例来说，如果16x16大小的CU不进一步分裂，那么这四个8x8子CU将也被称作叶CU，虽然16x16CU从未分裂。

CU具有类似于H.264标准的宏块的目的，但是CU并不具有大小区别。举例来说，树块可以分裂成四个子节点(还称为子CU)，并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最终的未经分裂子节点(被称作四叉树的叶节点)包括译码节点，还被称作叶CU。与经译码位流相关联的语法数据可以定义树块可以分裂的最大次数，被称作最大CU深度，并且还可定义译码节点的最小大小。所以，位流还可界定最小译码单位(SCU)。本发明使用术语“块”来指HEVC的上下文中的CU、PU或TU中的任一者，或者其它标准的上下文中的类似数据结构(例如，其在H.264/AVC中的宏块及子块)。

CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小范围可从8x8像素到具有最大64x64像素或更大的树块的大小。每一CU可以含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述CU划分成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树分割成一或多个TU。TU可以是正方形或非正方形(例如，矩形)形状。

HEVC标准允许根据TU变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割的LCU定义的给定CU内的PU的大小来设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU残余样本可以使用一种被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生可经量化的变换系数。

叶CU可包含一或多个预测单元(PU)。总的来说，PU表示对应于对应CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。

具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可以使用RQT(还被称作TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU是否分裂成四个变换单元。接着，每一变换单元可以进一步分裂成其它子TU。当TU不进一步分裂时，其可被称为叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU共享相同的帧内预测模式。也就是说，一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器20可以使用帧内预测模式针对每一叶TU计算残余值，作为CU的对应于TU的部分与原始块之间的差。TU未必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可以与相同CU的相对应的叶TU位于同一地点。在一些实例中，叶TU的最大大小可以对应于对应的叶CU的大小。

此外，叶CU的TU还可与相应的四叉树数据结构(被称作残余四叉树(RQT))相关联。即，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未分裂的RQT的TU被称作叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶TU。

视频序列通常包含一系列图片。如本文所描述，术语“图片”与“帧”可以互换地使用。即，含有视频数据的图片可被称为视频帧或简称为“帧”。图片群组(GOP)一般包括一系列的一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。

作为一实例，HM支持各种PU大小的预测。假设特定CU的大小为2Nx2N，那么HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称划分。在不对称分割中，不分割CU的一个方向，但另一方向分割成25％和75％。CU的对应于25％分割区的部分表示成“n”，接着是用“上”、“下”、“左”或“右”指示。因此，例如，“2NxnU”是指经水平地分割的2Nx2NCU，其中顶部为2Nx0.5NPU，而底部为2Nx1.5NPU。

在本发明中，“NxN”与“N乘N”可以互换使用来指代在垂直和水平尺寸方面的视频块的像素尺寸，例如，16x16像素或16乘16像素。一般来说，16x16块块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，NxN块总体上在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。一块中的像素可布置成若干行和若干列。此外，块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。

在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可以计算用于CU的TU的残余数据。PU可包括描述在空间域(还称为像素域)中产生预测性像素数据的方法或模式的语法数据，并且TU可包括在对残余视频数据应用了变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后变换域中的系数。所述残余数据可对应于未编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。

在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化总体上是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被舍入到m位值，其中n大于m。

在量化之后，视频编码器20可以扫描变换系数，从包括经量化变换系数的二维矩阵产生一维向量。扫描可以经设计以将较高能量(并且因此较低频率)的系数放置在阵列正面，并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。

在一些实例中，视频编码器20可利用预定义扫描顺序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在对视频数据进行解码时使用。

视频编码器20可例如在图片标头、块标头、切片标头或GOP标头中进一步将例如基于块的语法数据、基于图片的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的数个图片，且图片语法数据可指示用以对对应图片进行编码的编码/预测模式。

在一些情况下，视频编码器20和/或视频解码器30可对深度信息进行帧内译码。举例来说，在3D-HEVC中，视频编码器20和/或视频解码器30可使用来自基础(2D)HEVC标准的帧内预测模式对深度切片的帧内预测单元进行译码。在另一个实例中，视频编码器20和/或视频解码器30可使用深度建模模式(DMM)对深度切片的帧内预测单元进行译码。在另一个实例中，视频编码器20和/或视频解码器30可使用区边界链译码对深度切片的帧内预测单元进行译码。在再一实例中，视频编码器20和/或视频解码器30可使用简化深度译码(SDC)模式对深度切片的帧内预测单元进行译码。

相对于SDC译码模式，视频编码器20和/或视频解码器30可对从DLT映射的索引差进行译码而不是对残余深度值进行译码。举例来说，视频编码器20可通过从当前分区的平均值的索引减去预测符的索引而计算索引差。视频解码器30可计算经解码索引差与预测符的索引的总和，且可基于DLT将所述总和映射回到深度值。以此方式，DLT可映射原始深度图的深度值。

本发明的方面涉及DLT。举例来说，根据本发明的方面，视频编码器20和/或视频解码器30可确定DLT的第一深度值，其中所述第一深度值与视频数据的第一像素相关联，确定DLT的第二深度值，其中所述第二深度值与视频数据的第二像素相关联，且对所述DLT进行译码，包含相对于第一深度值对第二深度值进行译码。

在用于说明目的的实例中，假定用于具有等于i的layer_id的深度视图分量的DLT中关于第j条目的深度值是由dlt_D[i][j]表示。根据本发明的方面，如下文更详细地描述，视频编码器20和/或视频解码器30可使用DLT的一或多个其它深度值预测DLT内的深度值。举例来说，视频编码器20可在经编码位流中用信号表示第一有效深度值(例如，dlt_D[i][0])。视频编码器20可随后基于DLT中的先前深度值以差分方式对DLT的剩余连续深度值进行编码(例如，dlt_D[i][j]-dlt_D[i][j-1])。也就是说，视频编码器20可在位流中对一个深度值与下一连续深度值之间的差的指示进行编码。

在以上实例中，视频解码器30可剖析且解码DLT的初始深度值。视频解码器30可随后通过应用在视频编码器20处应用的互逆过程来重构DLT的其余部分。即，视频解码器30可将所接收且经解码的差值添加到DLT中的先前连续深度值。其它实例也是可能的，如下文相对于图7更详细描述。

另外或替代地，根据本发明的方面，视频编码器20和/或视频解码器30可预测视图之间的DLT的值，即，视图间预测DLT。在此实例中，视频编码器20和/或视频解码器30可使用与一个视图相关联的DLT来预测且译码与第二不同视图相关联的DLT的至少一部分。

在用于说明目的的实例中，假定第一DLT包含深度值的第一集合。另外，第二DLT包含深度值的第二集合。第一集合中的深度值的数目等于第二集合中的深度值的数目。在此实例中，视频编码器和/或视频解码器30可经配置以针对第二DLT对第一DLT中与第二DLT中的那些深度值相同的深度值的位置的指示进行译码。在一些实例中，所述指示可为第一DLT中的开始位置和/或终止位置。在接收到第一DLT与第二DLT之间的重叠深度值的位置的指示后，视频解码器30可即刻使用第一DLT重构第二DLT。

在一些实例中，与第二DLT相关联的第二集合中的深度值的数目可大于与第一DLT相关联的第一集合中的深度值的数目。在此实例中，视频编码器20可用信号表示第二DLT包含第一DLT的所有深度值。另外，视频编码器20可用信号表示第二DLT的不包含在第一DLT中的任何深度值。因此，在接收到以上信息之后，视频解码器30可即刻通过复制第一DLT且将额外用信号表示的深度值添加到第二DLT而重构第二DLT。其它实例也是可能的，如下文相对于图7所描述。

图2是说明可实施用于深度译码的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内及帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指代若干基于时间的译码模式中的任一者。

如上所述，视频编码器20可适于执行多视图视频译码。在一些情况下，视频编码器20可经配置以对多视图HEVC进行译码，以使得时间实例中的每一视图可由例如视频解码器30的解码器处理。对于HEVC-3D，除编码每一视图的纹理图(即，明度和色度值)之外，视频编码器20可进一步编码每一视图的深度图。

在任何情况下，如图2中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构，视频编码器20还包含逆量化单元58、逆变换单元60和求和器62。还可包含解块滤波器(图2中未图示)以便对块边界进行滤波，以将成块效应假象从经重构的视频中去除。必要时，解块滤波器通常将对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未展示此类滤波器，但在需要时，这些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可以划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行所接收视频块的帧内预测性译码以提供空间预测。视频编码器20可以执行多个译码遍次，例如，以针对每一视频数据块选择一种适当的译码模式。

此外，分割单元48可基于先前译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说，分割单元48可起初将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割成若干子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU及一或多个TU。

模式选择单元40可以基于错误结果选择译码模式中的一者(帧内或帧间)，并且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残余块数据，并且提供到求和器62以便重构经编码块用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。

运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分别加以说明。运动估计单元42所执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测块是经发现在像素差异方面密切地匹配待译码的块的块，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异量度来确定。

在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此，运动估计单元42可以相对于全像素位置及分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。

运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置来计算PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56和运动补偿单元44。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量而获取或产生预测块。同样，在一些实例中，运动估计单元42和运动补偿单元44可以在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44即刻可以在参考图片列表中的一者中定位所述运动向量指向的预测性块。

求和器50通过从正译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42相对于明度分量执行运动估计，并且运动补偿单元44对于色度分量及明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块及视频切片相关联的供视频解码器30在解码视频切片的视频块时使用的语法元素。

作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测。确切地说，帧内预测单元46可以确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可以例如在分开的编码编次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测单元46(或在一些实例中为模式选择单元40)可以从所述测试模式中选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可以使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可以根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。

另外，帧内预测单元46可经配置以对深度信息进行译码，例如深度图的深度块。举例来说，帧内预测单元46可对深度信息进行帧内预测且确定残余值。帧内预测单元46可直接对每一分区的残余值进行译码，或可基于到DLT的索引对深度值进行译码而不是对残余值进行译码。举例来说，DLT可包含深度值的集合，其中每一深度值具有对应索引。帧内预测单元46可使用一或多个其它块的索引预测当前块(例如，分区)的索引。举例来说，帧内预测单元46可通过从与当前块(例如，分区)的平均深度值相关联的索引减去索引预测符的索引而计算索引差。

根据本发明的方面，视频编码器20的负责对DLT进行译码的单元(例如熵编码单元56)可相对于DLT的一或多个其它值预测DLT的值。举例来说，并非对DLT中的实际深度值进行编码，熵编码单元56可确定DLT的一或多个连续深度值之间的差且可对所述差值进行编码，如相对于图7更详细描述。这样做可减少与在位流中用信号表示DLT相关联的位数目。在一些实例中，熵编码单元56可产生指示连续条目之间的差值是相同的一或多个语法元素。在用于说明目的的实例中，如果所有深度值差是二(例如，关于DLT中0、2、4、6等的深度值)，那么熵编码单元56可用信号表示指示差值的相似性以及差值的旗标。

另外或替代地，根据本发明的方面，熵编码单元56可相对于与第二不同视图的DLT相关联的深度值用信号表示与一个视图的DLT相关联的深度值，即，视图间DLT预测。举例来说，熵编码单元56可在位流中包含一或多个语法元素，指示第一视图的DLT的一或多个深度值等于第二不同视图的DLT的一或多个深度值。熵编码单元56还可产生指示视图间DLT预测经启用的一或多个语法元素。

熵编码单元56可在参数集中对表示一或多个DLT的数据(包含上述差值)进行编码。举例来说，熵编码单元56可在图片参数集(PPS)中包含所述一或多个DLT。在一些实例中，DLT可仅存在于由基础视图的视图分量中的切片参考的PPS中。

视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示可执行此减法运算的组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。

在任何情况下，变换处理单元52向残余块应用所述变换，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述变换系数以进一步减小位速率。量化过程可减少与变换系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。

在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。就基于上下文的熵译码而论，上下文可以基于相邻块。在由熵编码单元56进行熵译码之后，可以将经编码位流发射到另一装置(例如，视频解码器30)，或者将所述经编码位流存档以用于稍后发射或检索。

逆量化单元58及逆变换单元60分别应用逆量化及逆变换以在像素域中重构残余块，例如以供稍后用作参考块。运动补偿单元44可以通过将残余块加到参考图片存储器64中的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构的残余块以计算子整数像素值用于运动估计。求和器62将经重构的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生经重构的视频块以用于存储在参考图片存储器64中。经重构视频块可由运动估计单元42及运动补偿单元44使用作为参考块以对后续视频帧中的块进行帧间译码。

应理解，视频编码器20的单元是出于说明的目的提供，且归于特定单元(例如熵编码单元56)的技术可由视频编码器20的一或多个其它或额外单元实行。

图3是说明可实施用于深度译码的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考图片存储器82及求和器80。视频解码器30在一些实例中可执行一般与关于视频编码器20(图2)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频块的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。

作为背景，视频解码器30可接收经压缩视频数据，所述视频数据已被压缩以用于经由网络发射到所谓的“网络抽象层单元”或NAL单元中。每一NAL单元可包含标头，其识别存储到NAL单元的数据的类型。存在通常存储到NAL单元的两个类型的数据。存储到NAL单元的第一类型的数据是视频译码层(VCL)数据，所述数据包含经压缩视频数据。存储到NAL单元的第二类型的数据被称作非VCL数据，所述数据包含例如参数集等额外信息，其界定大量NAL单元共用的标头数据和辅助增强信息(SEI)。

举例来说，参数集可含有序列层级标头信息(例如，在SPS或VPS中)以及不频繁改变的图片层级标头信息(例如，在PPS中)。参数集中含有的不频繁改变的信息不需要针对每一序列或图片重复，由此改进译码效率。此外，使用参数集使得标头信息能够带外发射，由此不再需要进行冗余发射以便进行错误恢复。

如上所述，视频解码器30可适于执行多视图视频译码。在一些情况下，视频解码器30可经配置以解码多视图HEVC。对于HEVC-3D，除解码每一视图的纹理图(即，明度和色度值)之外，视频解码器30可进一步解码每一视图的深度图。

在任何情况下，当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可以基于用信号表示的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。另外，帧内预测单元74可经配置以对深度信息进行译码，例如深度图的深度块。举例来说，帧内预测单元74可对深度信息进行帧内预测且接收残余值。

帧内预测单元74可直接接收且解码每一分区的残余值，或可基于到DLT的索引解码深度值。举例来说，如上所述，DLT可包含深度值的集合，其中每一深度值具有对应索引。帧内预测单元74可接收基于索引预测符的索引与和当前块的平均深度值相关联的索引之间的差的索引差。帧内预测单元74可基于通过经解码索引差和索引预测符的索引的总和所确定的索引而确定当前块的深度值。

根据本发明的方面，视频解码器30(例如，视频解码器30的熵解码单元70)可相对于DLT的一或多个其它值预测DLT的值。举例来说，并非对DLT中的实际深度值进行解码，熵解码单元70可剖析且解码DLT的一或多个连续深度值之间的差，如相对于图7更详细描述。熵解码单元70可通过将所接收差值添加到DLT中的先前深度值而重构实际深度值。

在一些实例中，熵解码单元70可接收指示连续条目之间的差值是相同的一或多个语法元素。在用于说明目的的实例中，如果所有深度值差是二(例如，关于DLT中0、2、4、6等的深度值)，那么视频解码器30可接收指示差值的相似性以及差值的旗标。

另外或替代地，根据本发明的方面，熵解码单元70可相对于与第二不同视图的DLT相关联的深度值确定与一个视图的DLT相关联的深度值，即，视图间DLT预测。举例来说，熵解码单元70可剖析且解码位流中的一或多个语法元素，所述语法元素指示第一视图的DLT的一或多个深度值等于第二不同视图的DLT的一或多个深度值。熵解码单元70可随后通过从另一视图复制DLT值而产生一个视图的DLT。熵解码单元70还可接收指示视图内DLT预测经启用的一或多个语法元素。

熵解码单元70可在参数集中对表示一或多个DLT的数据(包含上述差值)进行解码。举例来说，熵解码单元70可在PPS中接收所述一或多个DLT。在一些实例中，DLT可仅存在于由基础视图的视图分量中的切片参考的PPS中。

当视频帧被译码为经帧间译码(即，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生所述预测性块。视频解码器30可以基于存储在参考图片存储器92中的参考图片使用默认构造技术构造参考帧列表--列表0和列表1。

运动补偿单元72通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正被解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些语法元素确定用于译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。

运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可根据接收的语法元素而确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。

逆量化单元76将在位流中提供且由熵解码单元70解码的经量化变换系数逆量化，即，解量化。逆量化过程可包含使用视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度和同样逆量化程度的量化参数QP_Y。

逆变换单元78对变换系数应用逆变换，例如逆DCT、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的残余块。

在运动补偿单元72或帧内预测单元74基于运动向量或其它语法元素产生当前视频块(例如，纹理块或深度块)的预测性块之后，视频解码器30通过将来自逆变换单元78的残余块与由运动补偿单元72或帧内预测单元74产生的对应预测性块求和而形成经解码视频块。求和器80表示执行此求和运算的一或多个组件。

必要时，解块滤波器还可应用于对经解码块进行滤波以便移除成块效应假象。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器82中，所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后呈现在显示装置(例如，图1的显示装置32)上。

应理解，视频解码器30的单元是出于说明的目的提供，且归于特定单元(例如熵解码单元70)的技术可由视频解码器30的一或多个其它或额外单元实行。

图4大体上说明与方向性帧内预测模式相关联的预测方向。举例来说，如上所述，HEVC标准可包含三十五个帧内预测模式，包含平面模式(模式0)、DC模式(模式1)和33个方向性预测模式(模式2-34)。关于平面模式，使用所谓的“平面”功能执行预测。关于DC模式，基于块内的像素值的平均化而执行预测。关于方向性预测模式，基于相邻块的沿着特定方向(如由模式指示)的经重构像素而执行预测。一般来说，图4中所示的箭头的尾端表示从其检索值的相邻像素中的相对一者，而所述箭头的头部表示所检索值沿着其传播以形成预测性块的方向。

图4中所示的帧内模式可用于预测深度值。举例来说，图4中所示的角度帧内预测模式中的每一者可与楔形波模式的集合相关联，如下文相对于图5A和5B更详细描述。

图5A和5B是说明深度建模模式(DMM)的实例的概念图。图5A(例如)说明使用楔形波分割而分割的深度块110，且图5B作为另一实例说明使用轮廓线分割而分割的深度块130。3D-HEVC包含用于分割块的深度建模模式(DMM)连同对深度切片的帧内预测单元进行译码的帧内预测模式的技术。HTM版本3.1应用用于深度图的帧内译码的DMM方法，其在某些情况下可较好地表示深度图中的较尖锐边缘。

举例来说，3D-HEVC提供四个DMM模式：模式1(显式楔形波信令)，模式2(经帧内预测楔形波分割)，模式3(分量间楔形波分割)，以及模式4(分量间轮廓线分割)。在所有四个模式中，例如视频编码器20或视频解码器30的视频译码器可将深度块分割为由DMM模式指定的两个区，其中每一区由恒定值表示。可明确地用信号表示DMM型式(模式1)，通过空间相邻块预测DMM型式(模式2)，或通过处于位于同一地点的纹理块预测DMM型式(模式3及模式4)。

存在在DMM中定义的两种分割模型，包含楔形波分割及轮廓线分割。再次，图5A说明楔形波分割的实例，且图5B说明轮廓线分割的实例。深度块110和130内的每一个别正方形分别表示深度块110和130的相应个别像素。正方形内的数字值表示对应像素是否属于区112(图5A的实例中的值“0”)或区114(图5A的实例中的值“1”)。图5A中还使用着色来指示像素是否属于区112(白色正方形)或区114(灰色经着色正方形)。

每一型式(即，楔形波和轮廓线两者)可由大小u_BXv_B的二进制数位阵列标记界定，所述标记指示对应样本(即，像素)是否属于区P₁或P₂(其中P₁对应于图5A中的区112和图5B中的区132，且P₂对应于图5A中的区114和图5B中的区134A、134B)，其中u_B和v_B分别表示当前PU的水平和垂直尺寸。在图5A和图5B的实例中，PU分别对应于块110和130。例如视频编码器20和视频解码器30的视频译码器可在译码的开始、例如编码的开始或解码的开始初始化楔形波型式。

如图5A中的实例示出，对于楔形波分割，由直线116将深度块110分割成两个区：区112和区114，其中起始点118位于(Xs,Ys)处且结束点120位于(Xe,Ye)处。在图5A的实例中，起始点118可经界定为点(8,0)且结束点120经界定为点(0,8)。

如图5B的实例中示出，对于轮廓线分割，例如深度块130的深度块可分割成两个不规则形状的区。在图5B的实例中，深度块130分割成区132和区134A、134B。虽然区134A中的像素不紧邻于区134B中的像素，但区134A和134B经界定以形成一个单个区，用于预测深度块130的PU的目的。轮廓线分割比楔形波分割更灵活，但可相对较难以用信号表示。在DMM模式4中，在3D-HEVC的情况下，轮廓线分割型式是使用位于同一地点的纹理块的经重构亮度样本隐式地导出。

以此方式，例如视频编码器20和视频解码器30的视频译码器可使用如由起始点118和结束点120界定的线116以确定深度块110的像素是否属于区112(其也可被称作区“P₁”)或区114(其也可被称作区“P₂”)。同样，视频译码器可使用图5B的线136、138以确定深度块130的像素是否属于区132(其也可被称作区“P₁”)或区134(其也可被称作区“P₂”)。区“P₁”和“P₂”是用于根据DMM分割的不同区的默认命名惯例，且因此，深度块110的区P₁不应被视为与深度块130的区P₁相同的区。

如上所述，DMM中的每一者可由DMM是否使用楔形波或轮廓线分割以及所述型式是明确地用信号表示还是隐式地确定而界定。DMM过程可作为替代方案整合到HEVC中指定的帧内预测模式(图4中所示)。针对每一PU可用信号表示一位旗标以指定是否应用DMM或常规帧内预测。

图6是说明区边界链译码模式的概念图。举例来说，3D-HEVC包含区边界链译码模式，其允许分区边界的显式信令(例如，而不是如上文相对于DMM所描述基于位于同一地点的纹理的分割)。本发明可将“区边界链译码模式”称为“链译码”。

一般来说，链是样本与其八连接性样本中的一者之间的连接。如在图6的顶部所示，存在八个不同链方向类型，每一者被指派0到7范围内的方向索引。视频编码器(例如视频编码器20)可以链的开始位置用信号表示用于PU的链、所述链中的链路数目(例如，链码的数目)的指示，以及针对每一链码用信号表示方向索引。

图6中说明链码过程的一个实例。为了用信号表示图6中所示的任意分区型式，视频编码器20可识别分区型式且在经编码位流中对以下信息进行编码：一位“0”经编码以用信号表示链从顶部边界开始；三个位“011”经编码以用信号表示在顶部边界的开始位置“3”；四个位“0110”经编码以用信号表示链的总数为7；一系列连接的链索引“3,3,3,7,1,1,1”经编码，其中每一链索引使用在图6的相对顶部处展示的表转换成码字。

例如视频解码器30的视频解码器可剖析上述信令以确定块的分割型式。视频解码器30可随后解码每一分区的深度值。

图7是说明使用简化深度译码(SDC)对深度信息进行帧内译码的框图。下文相对于图7描述的实例可由视频编码器20、视频解码器30或多种其它编解码器和/或处理器执行。

在图7的实例中，如上所述，视频译码器(例如视频编码器20或视频解码器30)可使用上述帧内预测模式中的任一者(HEVC模式、DMM、链译码)对深度信息进行帧内预测。在此些实例中，视频译码器可实施图7的左分支(例如，分割、预测模式和残余译码)。

或者，视频译码器可用信号表示语法元素(例如，sdc_enable_flag)以指示深度信息是使用SDC译码的。当实施SDC时，视频译码器还可指示深度值的预测模式和DC偏移，如图7的右分支中所示。在当前3D-HEVC(如上所述版本5.1)中，SDC仅应用于2Nx2NPU分区大小。如上所述，SDC模式表示具有以下四种类型的信息的深度块而不是译码经量化变换系数：

1.当前深度块的分区类型，包含

a.DC(1个分区)

b.DMM模式1(2个分区)

c.DMM模式2(2个分区)

d.平面(1个分区)

2.对于每一分区，在位流中用信号表示残余值(像素域中)。

因此，SDC中界定的四个子模式包含SDC模式1、SDC模式2、SDC模式3和SDC模式4，其分别对应于DC、DMM模式1、DMM模式2和平面的分区类型。在SDC中，不应用变换或量化。为了用信号表示每一分区的残余值，视频编码器20可应用两个替代的过程。在第一过程中，视频编码器20直接对每一分区的残余值进行译码，其可通过从当前PU中的当前分区的平均值(Aver)减去相邻样本的产生预测符(Pred)而计算。

在第二过程中，视频编码器20可对已从DLT映射的索引差进行编码而不是直接译码残余值。举例来说，如上所述，DLT映射原始深度图的深度值。可通过在编码全序列之前分析帧内周期内的帧而构造DLT。在一些实例中，视频编码器20按升序分选所有有效的深度值且将深度值插入到DLT中以使得深度值在DLT中具有增加的索引。

视频编码器20通过从当前块的深度值的平均值(Aver)的索引减去预测符的索引(例如，预测性深度值(Pred))而计算上文提到的索引差。当DLT中不包含Pred或Aver的值时，视频编码器20可将所述值映射到DLT的具有与实际Pred或Aver值相对最接近的值的索引i(例如，对应于其中Pred/Aver的绝对值减DLT中的第i条目的值处于最小的深度值的索引)。

视频解码器30可接收所述索引值且以与视频编码器20相同方式确定预测符的索引。视频解码器30可随后组合预测符的索引与索引差以确定当前正经解码的深度值的索引。视频解码器30可使用所确定的索引和所接收DLT确定深度值。

在一些情况下，在分析步骤，使用DLT可为任选的且在从0到MAX_DEPTH_VALUE(例如，对于8位深度样本为255)的值中超过一半出现在原始深度图中的情况下不可使用。当使用DLT时，一般来说，可在序列和/或视频参数集中对DLT进行译码。为了对DLT进行译码，视频译码器(例如视频编码器20或视频解码器30)可初始地以指数-哥伦布码对DLT中的有效深度值的数目进行译码。视频译码器可随后以指数-哥伦布码对每一有效深度值进行译码。用于用信号表示DLT的相关语法元素和语义的一个实例在以下表1中展示：

表1

在上文表1的实例中，等于1的dlt_flag[i]指定使用DLT且简化深度经译码译码单元的残余值将解译为具有等于i的layer_id的深度视图分量的DLT的索引。另外，等于0的dlt_flag[i]指定不使用DLT且简化深度经译码译码单元的残余值不解译为具有等于i的layer_id的深度视图分量的索引。当dlt_flat[i]不存在时，其可推断为等于0。

另外，在上文表1的实例中，num_depth_values_in_dlt[i]指定具有等于i的layer_id的当前层的深度视图分量的DLT中的不同深度值的数目和元素的数目。另外，dlt_depth_value[i][j]指定具有等于i的layer_id的深度视图分量的DLT中的第j条目。在当前3D-HTM(上文提到的版本5.1)中，可在SPS中而不是如上定义的VPS中用信号表示DLT。

上述DLT方案可包含多种冗余，其可影响译码效率。为了说明潜在冗余，下文提供实例测试序列：

序列名称：气球

dlt_depth_value[0][38]＝

{58,64,69,74,80,85,90,96,101,106,112,117,122,128,133,138,143,149,154,159,165,170,175,181,186,191,197,202,207,213,218,223,228,234,239,244,250,255}；

dlt_depth_value[1][48]＝

{1,4,5,11,21,27,32,37,43,48,53,58,64,69,74,80,85,90,96,101,106,112,117,122,128,133,138,143,149,154,159,165,170,175,181,186,191,197,202,207,213,218,223,228,234,239,244,250,255}；

dlt_depth_value[2][44]＝

{2,25,27,37,43,48,53,58,64,69,74,80,85,90,96,101,106,112,117,122,128,133,138,143,149,154,159,165,170,175,181,186,191,197,202,207,213,218,223,228,234,239,244,250,255}；

如上文测试序列中示出，存在在一个以上视图中出现的许多冗余(相同)深度值(以上黑体且斜体的数字)。另外，DLT的深度值的范围是相对大的(例如，具有58到255的最小范围)。下文提供另一实例测试序列：

序列名称：PoznanHall2

dlt_depth_value[0][39]＝

{0,3,5,8,10,13,15,18,20,23,25,28,30,33,35,38,40,43,45,48,50,53,55,58,60,63,65,68,70,73,75,78,80,83,85,88,90,93,95}；

dlt_depth_value[1][35]＝

{3,5,8,10,13,15,18,20,23,25,28,30,33,35,38,40,43,45,48,50,53,55,58,60,63,65,68,70,73,75,78,80,83,85,88}；

dlt_depth_value[2][36]＝

{0,3,5,8,10,13,15,18,20,23,25,28,30,33,35,38,40,43,45,48,50,53,55,58,60,63,65,68,70,73,75,78,80,83,85,88}；

再次，如上文测试序列中示出，存在在一个以上视图中出现的许多冗余(相同)深度值(以上黑体且斜体的数字)。另外，DLT的深度值的范围是相对大的(例如，具有3到88的最小范围)。

如上所述，直接译码深度值而不考虑深度值的上升特性可为低效的。另外，当前设计(上文提到的版本5.1)中未利用不同视图之间的关系。因此，在用信号表示冗余深度值方面可浪费相对大的位数目。此外，当一个序列/视图内存在场景改变时在SPS或VPS中用信号表示DLT可能不是高效的。另外，指数-哥伦布码在对深度值进行译码时可为低效的，因为不存在具有较短码的深度值具有较高发生概率的假设。

本发明的方面大体上涉及DLT信令，且虽然不限于任何特定标准，但可以用于3D-HEVC。根据本发明的方面，DLT的一或多个深度值可相对于DLT的一或多个其它深度值而译码。举例来说，假定用于具有等于i的layer_id的深度视图分量的DLT中的第j条目的一个深度值由dlt_D[i][j]指示。在一实例中，视频编码器20可直接用信号表示第一有效的深度值(例如，dlt_D[i][0])且可通过将正译码的深度值与DLT中的先前深度值进行比较而将差分译码应用于随后的深度值(例如，dlt_D[i][j]-dlt_D[i][j-1])。视频解码器30可接收第一深度值且使用所接收的差分值例如通过将正经解码的深度值的差值添加到DLT的先前深度值而重构DLT。

在一个实例中，视频编码器20可以相同方式执行用于不同视图的DLT信令。即，在此实例中，视频编码器20和视频解码器30并不应用用于DLT的视图间预测。并且，视频编码器20和视频解码器30并不执行DLT之间的切片/帧层级预测。以下表2中展示此实例的实例VPS语法：

表2

G.7.3.2.1.1视频参数集扩展语法

在上文表2的实例中，斜体元素指示相对于表1从上述当前语法的偏离(且[移除：“…”]指示材料的移除)。在表2的实例中，num_depth_values_in_dlt[i]指定用于具有等于i的layer_id的当前层的深度视图分量的DLT中的不同深度值的数目和元素的数目。另外，dlt_depth_start_value[i]指定用于等于i的layer_id的深度视图分量的DLT中的第0条目。

虽然表2的实例展示以u(v)译码dlt_depth_start_value[i]，但在一些实例中，所述语法元素可用信号表示为固定长度，例如u(7)，或用信号表示为具有从0到255的范围的u(v)，或用信号表示为具有从0到(255-num_depth_values_in_dlt[i])的范围的u(v)。在另一个实例中，可用信号表示dlt_depth_start_value_minus1[i]而不是dlt_depth_start_value[i]，其中dlt_depth_start_value_minus1[i]加1指定用于具有等于1的layer_id的深度视图分量的DLT中的第0条目。

另外，根据本发明的方面，dlt_depth_value_diff[i][j]指定用于具有等于i的layer_id的深度视图分量的DLT中的第j条目与第(j-1)条目之间的深度值的差且j大于0。dltDepthValue[i][j]指示用于具有等于i的layer_id的深度视图分量的DLT中的第j条目且如下导出：

如果j等于0，那么将dltDepthValue[i][j]设定成等于dlt_depth_start_value[i]，

否则，将dltDepthValue[i][j]设定成等于dltDepthValue[i][j-1]+dlt_depth_value_diff[i][j]。

在另一个实例中，可用信号表示dlt_depth_value_diff_minus1[i][j]而不是dlt_depth_value_diff[i][j]，其中dlt_depth_value_diff_minus1[i][j]加1指定用于具有等于i的layer_id的深度视图分量的DLT中的第j条目与第(j-1)条目之间的深度值的差且j大于0。

在一些实例中，根据本发明的方面，用信号表示DLT的两个连续条目之间的任何差值的范围且取决于所述范围而以固定长度用信号表示所述差值。即，可基于最大差值或最小差值而用信号表示DLT差。

在一些实例中，可以u(v)而不是ue(v)用信号表示dlt_depth_value_diff[i][j]或dlt_depth_value_diff_minus1[i][j]且用信号表示此语法元素的范围。以下表3中展示此实例的实例VPS语法：

表3

在上文表3的实例中，斜体元素指示相对于表1从上述当前语法的偏离(且[移除：“…”]指示材料的移除)。在表3的实例中，max_diff_minus1[i]指定dlt_depth_value_diff_minus1[i][j]的范围。即，max_diff_minus1[i]提供DLT中两个连续深度值之间的最大数字差的指示。另外，dlt_depth_value_diff_minus1[i][j]加1指定用于具有等于i的layer_id的深度视图分量的DLT中的第j条目与第(j-1)条目之间的深度值的差。dlt_depth_value_diff_minus1在0到max_diff_minus1[i](包含性)的范围中。在其它实例中，num_depth_values_in_dlt[i]和dlt_depth_start_value[i]可经译码为ue(v)，或两者以不同给定范围经译码为u(8)或u(v)。

在一些实例中，将差分译码应用于两个连续深度值的差，即，用信号表示二阶差。即，当j大于1时，用信号表示(dlt_D[i][j]-dlt_D[i][j-1])-(dlt_D[i][j-1]-dlt_D[i][j-2])。当j等于1时，用信号表示(dlt_D[i][j]-dlt_D[i][j-1])。以下表4中展示此实例的实例VPS语法：

表4

在上文表4的实例中，斜体元素指示相对于表1从上述当前语法的偏离(且[移除：“…”]指示材料的移除)。在表4的实例中，dlt_depth_value_consecutive_diff[i][j]指定用于具有等于i的layer_id的深度视图分量的DLT中的第j条目与深度值和第(j-1)条目的差的二阶差。dltDepthValueDiff[i][j]指示用于具有等于i的layer_id的深度视图分量的DLT中的第j条目与第(j-1)条目之间的深度值的差且如下导出：

当j等于1时，将dltDepthValueDiff[i][j]设定成dlt_depth_value_consecutive_diff[i][1]，

否则(当j大于1且小于num_depth_values_in_dlt[i]时)，将dltDepthValueDiff[i][j]设定成dltDepthValueDiff[i][j-1]+dlt_depth_value_consecutive_diff[i][j]。

另外，dltDepthValue[i][j]指示用于具有等于i的layer_id的深度视图分量的DLT中的第j条目且如下导出：

否则，将dltDepthValue[i][j]设定成等于dltDepthValue[i][j-1]+dltDepthValueDiff[i][j]。

在一些实例中，dlt_depth_value_consecutive_diff[i][j]的范围可当j大于1时明确地用信号表示。以下表5中展示此实例的实例VPS语法：

表5

在上文表5的实例中，斜体元素指示相对于表1从上述当前语法的偏离(且[移除：“…”]指示材料的移除)。在表5的实例中，dlt_depth_start_value_diff[i]指定用于具有等于i的layer_id的深度视图分量的DLT中的第j条目与第(j-1)条目之间的深度值的差且j等于1。另外，dlt_depth_start_value_diff[i]在0到(256-num_depth_values_in_dlt[i]-dlt_depth_start_value[i])(包含性)的范围中。

另外，max_consecutive_diff_minus1[i]加1指定dlt_depth_value_consecutive_diff_abs[i][j]的范围。max_consecutive_diff_minus1[i]在0到(256-num_depth_values_in_dlt[i]-dlt_depth_start_value[i])(包含性)的范围中。

另外，dlt_depth_value_consecutive_diff_abs[i][j]指定用于具有等于i的layer_id的深度视图分量的DLT中的第j条目与深度值和第(j-1)条目的差的二阶差的绝对值。另外，dlt_depth_value_consecutive_diff_abs在0到(max_consecutive_diff_minus1[i]+1)(包含性)的范围中。

在一些实例中，max_consecutive_diff[i]语法元素可取代max_consecutive_diff_minus1[i]加1语法元素。在此些实例中，max_consecutive_diff[i]指定dlt_depth_value_consecutive_diff_abs[i][j]的范围。在一些情况下，max_consecutive_diff[i]可在0到(256-num_depth_values_in_dlt[i]-dlt_depth_start_value[i])(包含性)的范围中。另外，dlt_depth_value_consecutive_diff_abs可在0到max_consecutive_diff[i](包含性)的范围中。另外，当dlt_depth_value_consecutive_diff_abs[i][j]不等于0时，dlt_depth_value_consecutive_diff_sign[i][j]指定用于具有等于i的layer_id的深度视图分量的DLT中的第j条目与深度值和第(j-1)条目的差的二阶差的正负号值。

另外，dltDepthValueDiff[i][j]指示用于具有等于i的layer_id的深度视图分量的DLT中的第j条目与第(j-1)条目之间的深度值的差且可如下导出：

当j等于1时，将dltDepthValueDiff[i][j]设定成dlt_depth_start_value_diff[i]，

否则(当j大于1且小于num_depth_values_in_dlt[i]时)，将dltDepthValueDiff[i][j]设定成dltDepthValueDiff[i][j-1]+(1-2*dlt_depth_value_consecutive_diff_sign[i][j])*dlt_depth_value_consecutive_diff_abs[i][j]。

另外，dltDepthValue[i][j]指示用于具有等于i的layer_id的深度视图分量的DLT中的第j条目且可如下导出：

根据本发明的方面，可引入一或多个语法元素(例如，旗标)以指示DLT的连续条目之间的所有差是否相同，而不是如上所述用信号表示个别深度值差。举例来说，如果DLT的连续深度值之间的所有差相同(例如，1、2、3或类似物的差)，那么可使用旗标来指示所述差是一致的，且用信号表示深度值之间将应用的差值。以此方式，可实施此技术以减少信令成本，而不是用信号表示全部相同的深度差值的集合。

以下表6中展示指示第j条目与第(j-1)条目之间的所有差是否相同的旗标的实例以及所述差的值：

表6

在上文表6的实例中，斜体元素指示相对于表1从上述当前语法的偏离(且[移除：“…”]指示材料的移除)。斜体元素指示从上述当前语法的偏离。在表6的实例中，等于1的dlt_depth_delta_equal_flag[i]指示第(j+1)条目中的深度值与第j条目中的深度值之间的所有差是相同的。另外，等于0的dlt_depth_delta_equal_flag[i]指示并非第(j+1)条目中的深度值与第j条目中的深度值之间的所有差都是相同的。

另外，dlt_depth_detla_value[i]指示具有连续条目、即第(j+1)条目和第j条目的两个深度值之间的差。dlt_depth_detla_value[i]在0到((256-dlt_depth_start_value[i])/num_depth_values_in_dlt[i])(包含性)的范围中。当dlt_depth_delta_equal_flag[i]等于1时dlt_depth_detla_value[i]存在。在其它实例中，dlt_depth_detla_value[i]用信号表示为u(7)或u(8)。

否则，当dlt_depth_delta_equal_flag[i]等于0时将dltDepthValue[i][j]设定成等于dltDepthValue[i][j-1]+dlt_depth_value_diff[i][j]，且当dlt_depth_delta_equal_flag[i]等于1时设定成等于dltDepthValue[i][0]+dlt_depth_detla_value[i]*j。

上文相对于表2-6展示且描述的实例大体上涉及同一DLT内的深度值的预测。通过预测DLT的一或多个值，相关联DLT的值范围(以及用信号表示此些值需要的位)可减少。举例来说，可用信号表示相对较小的深度差值，而不是用信号表示0-255深度值的范围。

根据本发明的其它方面，一个视图的DLT可用以预测另一视图，在本文中被称作视图间DLT预测。在一个实例中，视频编码器20可编码(且视频解码器30可解码)一指示，其指示参考视图的DLT的连续条目与DLT另一视图的连续条目相同(具有可能的移位)。即，可使用一或多个语法元素指示相等深度值的位置。

在一个实例中，可用信号表示旗标以指示与另一DLT相同的DLT的第一条目的开始位置。在一些实例中，默认开始位置可等于0或等于基础视图的DLT的最大条目。举例来说，假定基础视图具有DLT中的深度值的第一集合，且非基础视图具有基础视图的所有深度值，以及小于基础视图的深度值的额外值。如果所有新添加的深度值小于基础视图中的DLT的第一条目，那么可通过将旗标设定为等于零而用信号表示开始位置。

在另一个实例中，假定基础视图具有DLT中的深度值的第一集合，且非基础视图具有基础视图的所有深度值，以及大于基础视图的深度值的额外值。如果所有新添加的深度值大于基础视图的DLT的最后条目，那么将等于一的旗标用信号表示为开始位置。

在其它实例中，可使用一或多个语法元素指示视图之间的重叠深度值。举例来说，此些语法元素可指示重叠深度值的开始位置以及待插入的深度值的数目(重叠深度值的数目)。在已经用信号表示DLT的所有深度值之后(例如，在所有对中用信号表示的深度值的数目的总和等于非基础视图与基础视图之间的深度值的差)，信令过程可终止。

在又其它实例中，可初始地用信号表示一或多个语法元素(例如，旗标)以指示所有新添加的深度值是否小于(或大于)最小(或最大)深度值。如果额外深度值并不全部小于或大于来自正用于预测的DLT的深度值，那么可初始地用信号表示语法元素对(指示重叠深度值的开始/结束)的数目的指示。在一些实例中，当用信号表示语法元素对的数目时，不用信号表示最后对中的深度值的数目。

在以上实例中的任一者中，可使用上述差分DLT信令用信号表示不重叠的深度值(即，并不出现在一个以上DLT中的深度值。

如上所述，基础视图和非基础视图可在其相应DLT中具有不同数目的深度值。举例来说，基础视图中的深度值的数目可小于非基础视图中的深度值的数目。当非基础视图中的不同深度值的数目小于基础视图的所述数目时，用信号表示基础视图的DLT的默认开始位置以指示非基础视图中的第一有效深度值的位置。在一些实例中，如上所述，可用信号表示一或多个语法元素对(例如，指示与当前开始位置相关联的待复制的深度值的开始位置和数目)。在所有对中用信号表示的深度值的数目的总和等于非基础视图和基础视图中的深度值之后，信令过程可终止。

在一些实例中，可初始地用信号表示一或多个语法元素(例如，旗标)以指示是否能够从基础视图的DLT的连续条目复制所有深度值。如果基础视图DLT的所有深度值无法复制到非基础视图，那么可初始地用信号表示语法元素对的数目。在一些实例中，当用信号表示语法元素对的数目时，不用信号表示最后对中待复制的深度值的数目。在一些实例中，用信号表示非基础视图与基础视图之间的不同深度值的数字(例如，DLT中的元素的数目)的差。

因此，根据本发明的方面，帧内DLT预测可用以减少用信号表示一个视图的DLT所需的数据量，且另外或替代地可使用视图间DLT预测以减少用信号表示其它视图的DLT所需的数据量。

在一些实例中，对于视图间DLT预测，当非基础视图的有效深度值的数目大于基础视图的所述数目时，将所有新添加的深度值插入在基础视图中的DLT的第一条目之前或最后条目之后。在其它实例中，当非基础视图的有效深度值的数目小于基础视图的所述数目时，从基础视图中的DLT复制的所有深度值具有基础视图中的DLT的连续条目。

以下表7展示视图间DLT预测的实例的实例VPS语法：

表7

在上文表7的实例中，斜体元素指示从上文相对于表1描述的当前语法的偏离。在表7的实例中，等于1的inter_view_dlt_pred_enable_flag[i]指示具有等于i的layer_id的深度视图使用视图间DLT预测方法来用信号表示当前视图中的DLT。另外，等于0的inter_view_DLT_pred_enable_flag[i]指示具有等于i的layer_id的深度视图并不使用视图间DLT预测方法来用信号表示当前视图中的DLT，而是以与基础视图相同的方式用信号表示DLT。

另外，等于1的left_side_crop_or_extend_flag[i]指示当num_depth_values_in_dlt[i]大于num_depth_values_in_dlt[1]时所有新添加的深度值插入在基础视图中的DLT的第一条目之前，且当num_depth_values_in_dlt[i]小于或等于num_depth_values_in_dlt[1]时将基础视图中的DLT的第一num_depth_values_in_dlt[i]条目直接复制到具有等于i的layer_id的视图中的DLT。

另外，等于0的left_side_crop_or_extend_flag[i]指示当num_depth_values_in_dlt[i]大于num_depth_values_in_dlt[1]时所有新添加的深度值插入在基础视图中的DLT的最后条目之后，且当num_depth_values_in_dlt[i]小于或等于num_depth_values_in_dlt[1]时将基础视图中的DLT的最后num_depth_values_in_dlt[i]条目直接复制到具有等于i的layer_id的视图中的DLT。

另外，dlt_depth_value_diff_minus1[i][j]加1指定当left_side_crop_or_extend_flag[i]等于1时用于具有等于i的layer_id的深度视图分量的DLT中的第((num_depth_values_in_dlt[i]-num_depth_values_in_dlt[1])-j)条目中的两个深度值与第((num_depth_values_in_dlt[i]-num_depth_values_in_dlt[1])-j-1)条目中的深度值相比的差，且dlt_depth_value_diff_minus1[i][-1]推断为0。当left_side_crop_or_extend_flag[i]等于0时，dlt_depth_value_diff_minus1[i][j]加1指定具有等于i的layer_id的深度视图分量的DLT中的第(j+num_depth_values_in_dlt[1])条目中的两个深度值与第(j-1+num_depth_values_in_dlt[1])条目中的深度值相比的差。

另外，dltDepthValue[i][j]指示用于具有等于i(i不等于1)的layer_id的深度视图分量的DLT中的第j条目且inter_view_dlt_pred_enable_flag[i]等于1，且是如下导出：

设定num_depth_values_in_dlt_view_diff[i]＝num_depth_values_in_dlt[i]-num_depth_values_in_dlt[1]；

设定StartPosInV0＝(num_depth_values_in_dlt_view_diff[i]>0||left_side_crop_or_extend_flag[i])？0:(0-num_depth_values_in_dlt_view_diff[i])；

设定NumTobeCopied＝num_depth_values_in_dlt_view_diff[i]>0？num_depth_values_in_dlt[1]:num_depth_values_in_dlt[i]；

设定StartPosInVi＝(num_depth_values_in_dlt_view_diff[i]<＝0||！left_side_crop_or_extend_flag[i])？0:num_depth_values_in_dlt_view_diff[i]；

for(n＝0；n<NumTobeCopied；n++)

dlt_depth_value[i][n+StartPosInVi]＝

dlt_depth_value[1][n+StartPosInV0]；

当num_depth_values_in_dlt_view_diff[i]大于0且left_side_crop_or_extend_flag[i]等于0时，以下适用：

for(j＝num_depth_values_in_dlt[1]；j<num_depth_values_in_dlt[i]；j++)

dlt_depth_value[i][j]＝dlt_depth_value[i][j-1]+

dlt_depth_value_diff_minus1[i][j-num_depth_values_in_dlt[1]]+1；

当num_depth_values_in_dlt_view_diff[i]大于0且left_side_crop_or_extend_flag[i]等于1时，以下适用：

for(j＝(num_depth_values_in_dlt_view_diff[i]-1)；j>＝0；j--)

dlt_depth_value[i][j]＝dlt_depth_value[i][j+1]-

(dlt_depth_value_diff_minus1[i][num_depth_values_in_dlt_view_diff[i]-1-j]

+1)；

在另一个实例中，用于视图间DLT预测的过程可类似于上述实例，然而，当非基础视图中的有效深度值的数目大于基础视图的所述数目时可改变一或多个语法元素和相关联语义以支持视图间DLT预测。在此实例中，新添加的深度值的部分插入在基础视图中的DLT的第一条目之前，且新添加的深度值的部分插入在基础视图中的DLT的最后条目之后。以下表8中展示此实例的实例VPS语法：

表8

在上文表8的实例中，斜体元素指示从上文相对于表1描述的当前语法的偏离。在表8的实例中，max_diff_minus1[i]指定dlt_depth_value_diff_minus1[i][j]的范围。语法元素max_diff_minus1[i]是由Ceil(Log2(2^BitDepthY-num_depth_values_in_dlt[i]))个位表示。另外，dlt_depth_value_diff_minus1[i][j]加1指定用于具有等于i的layer_id的深度视图分量的DLT中的第j条目与第(j-1)条目之间的深度值的差。语法元素dlt_depth_value_diff_minus1[i][j]是由Ceil(Log2(max_diff_minus1[i]+1))个位表示。

另外，depth_overlap_idc[i]指定具有等于i的layer_id的视图的深度值和基础视图的深度值的重叠状态。当不存在时，depth_overlap_idc[i]可推断为等于0。等于0的depth_overlap_idc[i]指示两个视图的深度值可能不重叠，此值当前经保留用于一旦depth_overlap_idc[i]存在的情况。大于0的depth_overlap_idc[i]指示具有等于i的layer_id的视图的深度值和基础视图的深度值是重叠的：将dlt_depth_value[i][j+k]设定成等于dlt_depth_value[1][j]，或将dlt_depth_value[i][j]设定成等于dlt_depth_value[1][j+k]，其中k等于或大于0，且连续相等深度值的数目等于numOverlapValues，其等于min(num_depth_values_in_dlt[i],num_depth_values_in_dlt[1])。

大于0的depth_overlap_idc[i]的值对应于以下情况：

等于1的depth_overlap_idc[i]指示将dlt_depth_value[i][j+k]设定成等于dlt_depth_value[1][j]，其中j是从0到numOverlapValues-1(包含性)，且k等于max(num_depth_values_in_dlt[i]-num_depth_values_in_dlt[1],0)。

等于2的depth_overlap_idc[i]指示将dlt_depth_value[i][j]设定成等于dlt_depth_value[1][j+k]，其中j是从0到numOverlapValues-1(包含性)，且k等于max(num_depth_values_in_dlt[1]-num_depth_values_in_dlt[i],0)。

等于3的depth_overlap_idc[i]指示当num_depth_values_in_dlt[i]大于num_depth_values_in_dlt[1]时将dlt_depth_value[i][j+k]设定成等于dlt_depth_value[1][j]，或当num_depth_values_in_dlt[i]小于num_depth_values_in_dlt[1]时dlt_depth_value[i][j]等于dlt_depth_value[1][j+k]，其中j是从0到numOverlapValues-1(包含性)，且k等于number_left_nonoverlap_depth_values[i]。

另外，仍参照表8中所示的实例，number_left_nonoverlap_depth_values[i]指定具有等于i或1的layer_id的视图的在重叠深度值区左侧的非重叠深度值的数目。在一些实例中，number_left_nonoverlap_depth_values[i]在0到Abs(num_depth_values_in_dlt[1]-num_depth_values_in_dlt[i])(非包含性)的范围中。当不存在时，number_left_nonoverlap_depth_values[i]可推断为等于0。当depth_overlap_idc[i]大于0且num_depth_values_in_dlt[i]大于num_depth_values_in_dlt[1]时，具有等于i的layer_id的视图的非重叠深度值如下导出：

设定numDepthValuesDiff＝num_depth_values_in_dlt[i]-num_depth_values_in_dlt[1]

设定numTobeInsertedLeft＝(depth_overlap_idc[i]＝＝1？numDepthValuesDiff:number_left_nonoverlap_depth_values[i])

if(depth_overlap_idc[i]&2)

for(j＝num_depth_values_in_dlt[1]+number_left_nonoverlap_depth_values[i]；j<

num_depth_values_in_dlt[i]；j++)

dlt_depth_value[i][j]＝dlt_depth_value[i][j-1]+

dlt_depth_value_diff_minus1[i][j-num_depth_values_in_dlt[1]]+1；

以下适用：

for(j＝numTobeInsertedLeft-1；j>＝0；j--)

dlt_depth_value[i][j]＝dlt_depth_value[i][j+1]-

(dlt_depth_value_diff_minus1[i][numTobeInsertedLeft-1-j]+1)；

在再一实例中，对于视图间DLT预测，即使当非基础视图的有效深度值的数目大于基础视图的所述数目时，新添加的深度值的一部分也可插入在基础视图中的DLT的第一条目之前，且新添加的深度值的一部分可插入在基础视图中的DLT的最后条目之后。在此实例中，仍可使用视图间DLT预测方法，即，等于1的inter_view_dlt_pred_enable_flag。以下表9中展示此实例的实例VPS语法：

表9

在上文表9的实例中，斜体元素指示从上文相对于表1描述的当前语法的偏离。在此实例中，等于1的crop_extend_both_side_flag[i]可指示非重叠深度值的一部分插入在基础视图中的DLT的第一条目之前且剩余深度值插入在基础视图中的DLT的最后条目之后，或基础视图的DLT的中等num_depth_values_in_dlt[i]深度值由具有等于i的layer_id的视图重叠。另外，等于0的crop_extend_both_side_flag[i]指示所有非重叠深度值插入在基础视图中的DLT的第一条目之前或最后条目之后，或基础视图中的DLT的第一或最后num_depth_values_in_dlt[i]深度值由具有等于i的layer_id的视图重叠。

另外，等于1的crop_extend_both_side_flag[i]指示当num_depth_values_in_dlt[i]大于num_depth_values_in_dlt[1]时dlt_depth_value[i][j+k]＝dlt_depth_value[1][j]，或当num_depth_values_in_dlt[i]小于num_depth_values_in_dlt[1]时dlt_depth_value[i][j]＝dlt_depth_value[0][j+k]，其中j是从0到numOverlapValues-1(包含性)，且k等于number_left_nonoverlap_depth_values[i]。另外，等于0的crop_extend_both_side_flag[i]和等于1的left_side_crop_or_extend_flag[i]指示dlt_depth_value[i][j+k]＝dlt_depth_value[1][j]，其中j是从0到numOverlapValues-1(包含性)，且k等于max(num_depth_values_in_dlt[i]-num_depth_values_in_dlt[1],0)。另外，等于0的crop_extend_both_side_flag[i]和等于0的left_side_crop_or_extend_flag[i]指示dlt_depth_value[i][j]＝dlt_depth_value[1][j+k]，其中j是从0到numOverlapValues-1(包含性)，且k等于max(num_depth_values_in_dlt[1]-num_depth_values_in_dlt[i],0)。

在上文实例中，number_left_nonoverlap_depth_values[i]指定具有等于i的layer_id的视图的在重叠深度值区的左侧的非重叠深度值的数目。number_left_nonoverlap_depth_values[i]可具有0到abs(num_depth_values_in_dlt[1]-num_depth_values_in_dlt[i])(非包含性)的范围。当不存在时，number_left_nonoverlap_depth_values[i]可推断为等于0。

另外，dltDepthValue[i][j]指示用于具有等于i(i不等于1)的layer_id的深度视图分量的DLT中的第j条目且inter_view_dlt_pred_enable_flag[i]等于1，且可如下导出：

当inter_view_dlt_pred_enable_flag[i]等于1，num_depth_values_in_dlt[i]大于num_depth_values_in_dlt[1]时，具有等于i的layer_id的视图的非重叠深度值如下导出：

设定numDepthValuesDiff＝num_depth_values_in_dlt[i]-num_depth_values_in_dlt[0]

设定leftStartPosVi＝crop_extend_both_side_flag[i]＝＝1？number_left_nonoverlap_depth_values[i]:0

设定numTobeInsertedLeft＝crop_extend_both_side_flag[i]＝＝1？number_left_nonoverlap_depth_values[i]:numDepthValuesDiff

当crop_extend_both_side_flag[i]等于1或left_side_crop_or_extend_flag[i]等于0时，以下适用：

for(j＝num_depth_values_in_dlt[1]+leftStartPosVi；j<num_depth_values_in_dlt

[i]；j++)

dlt_depth_value[i][j]＝dlt_depth_value[i][j-1]+

dlt_depth_value_diff_minus1[i][j-num_depth_values_in_dlt[1]]+1；

当crop_extend_both_side_flag[i]等于1或left_side_crop_or_extend_flag[i]等于1时，以下适用：

for(j＝numTobeInsertedLeft-1；j>＝0；j--)

dlt_depth_value[i][j]＝dlt_depth_value[i][j+1]–

(dlt_depth_value_diff_minus1[i][numTobeInsertedLeft-1-j]+1)；

本发明的方面还涉及DLT预测的信令。举例来说，虽然相对于VPS描述表2-9的实例，但在一些实例中，可在例如PPS的另一参数集中执行此信令。

在一实例中，如果仅在序列层级需要DLT，那么可在VPS或SPS中用信号表示DLT。然而，当(例如)在图片层级需要时，可用信号表示多个视图的DLT作为基础视图的切片标头扩展的部分。另外或替代地，可仅在以下情形中的一者中用信号表示DLT：当旗标指示DLT的存在时；当当前切片是随机存取切片时；当当前切片具有帧内的切片类型时。

在一些实例中，可不启用多个视图的DLT的视图间预测，且可在切片标头中以指示DLT的存在的旗标或当切片具有指示所述切片属于随机存取图片的NAL单元类型时用信号表示每一DLT。在其它实例中，可在如HEVC中阐述的自适应参数集中用信号表示DLT。

对于切片层级DLT预测，在一实例中，可在切片标头中用信号表示DLT且可用信号表示一个图片内的两个切片之间的深度值的数目(例如，DLT中的元素的数目)之间的差。在此实例中，可相对于视图间DLT预测使用本文所描述的技术的任何组合实现切片间DLT预测。

在又其它实例中，可在PPS中用信号表示DLT且用信号表示一个视图中的两个不同图片之间的深度值的数目(即，DLT中的元素的数目)之间的差。再次，在此实例中，可相对于视图间DLT预测使用本文所描述的技术的任何组合实现图片间DLT预测。

在一个实例中，DLT存在于切片标头中以通过将PPS中的slice_segment_header_extension_present_flag设定为1且以在slice_segment_header_extension_length的语法元素之后的字节传达信息来支持图片层级DLT信令。在此情况下，DLT可仅存在于与基础视图分量相关联的切片标头中。

在另一个实例中，可在一个切片标头(例如，切片标头“A”)中用信号表示DLT且可通过切片标头预测启用另一DLT的视图间预测。举例来说，可通过含有DLT的切片标头“A”预测一或多个切片标头(例如，对于同一存取单元内的视图分量)。

在另一个实例中，例如通过将pps_extension_flag设定于1，DLT可存在于PPS中。另外，DLT可仅存在于由基础视图的视图分量中的切片所参考的PPS中。在此情况下，PPS仍可由非基础视图的视图分量参考。一个PPS可含有用于多个视图的所有DLT。在其它实例中，视图分量的DLT可存在于PPS中且仅由属于同一视图的视图分量参考。

图8是说明用于对涉及视图合成预测的信息进行译码的实例方法的流程图。相对于视频编码器20(图1和2)阐释图8的方法。但是，应理解，其它视频译码装置可经配置以执行类似方法。此外，方法中的某些步骤可以不同次序或并行执行。同样，在各种实例中，某些步骤可省去，且可添加其它步骤。

在图8的实例中，视频编码器20可确定若干图片和/或切片的一或多个深度图(160)。在一些情况下，视频编码器20可编码多个视图，且可编码所述视图中的一或多者的深度图。视频编码器20可产生深度图的DLT且例如按升序分选深度图的深度值(162)。在其中视频编码器20编码多个视图的实例中，视频编码器20可产生所述视图中的一或多者的DLT。

根据本发明的一些方面，视频编码器20可确定第一DLT的第一深度值(164)。另外，视频编码器20可确定第一DLT的剩余深度值的差分值(166)。举例来说，视频编码器可相对于第一DLT的一或多个其它值编码第一DLT的一或多个深度值。在一些实例中，视频编码器20可确定第一DLT的连续值之间的差且编码所述差值。在其它实例中，如上所述，视频编码器20可确定例如两个以上连续值之间的二阶差。在一些实例中，视频编码器20可当对所述差值进行译码时考虑深度值差的范围(例如，最大差或最小差)。

视频编码器20可确定是否存在具有相关联DLT的一个以上视图(168)。在一些实例中，如果存在具有相关联DLT的一个以上视图，那么视频编码器20可确定其它视图的DLT的差分深度值(170)。举例来说，视频编码器20可对指示一个DLT的一或多个深度值与另一视图的另一DLT的一或多个深度值相同的一或多个语法元素进行编码。在一些实例中，如上所述，语法元素可指示重叠深度值(例如，在一个以上DLT中出现的深度值)的位置。

视频编码器20可随后在位流中对DLT进行编码(172)。举例来说，视频编码器20可对表示本文所描述的语法元素的数据进行编码，且在一些实例中可在例如PPS的参数集中包含此数据。

图9是说明用于对涉及视图合成预测的信息进行译码的实例方法的流程图。相对于视频解码器30(图1和3)阐释图9的方法。但是，应理解，其它视频译码装置可经配置以执行类似方法。此外，方法中的某些步骤可以不同次序或并行执行。同样，在各种实例中，某些步骤可省去，且可添加其它步骤。

在图9的实例中，视频解码器30从经编码位流解码经压缩DLT(180)。举例来说，视频解码器30可对深度差值的集合进行解码，其可相对于一或多个其它深度值的值指示一或多个深度值的值。另外，视频解码器30可对多种其它信息进行解码以辅助视频解码器30重构DLT(例如，例如上文相对于表2-9描述的另一语法)。

根据本发明的一些方面，视频解码器30可确定第一DLT的第一深度值(182)。举例来说，视频解码器30可接收指示第一DLT的相对第一深度值的值的一或多个语法元素且基于语法确定第一深度值。

另外，视频解码器30可使用所接收的剩余深度值的差分值重构第一DLT的剩余深度值(184)。举例来说，视频解码器30可接收相对于第一DLT的一或多个其它深度值指示所述一或多个深度值的值的一或多个语法元素。在一些实例中，视频解码器30可对指示第一DLT的连续值之间的差的一或多个语法元素进行解码。在其它实例中，如上所述，视频解码器30可接收指示例如两个以上连续值之间的二阶差的语法元素。在一些实例中，视频解码器30可当对所述差值进行解码时考虑深度值差的范围(例如，最大差或最小差)。在任何情况下，视频解码器30可基于所接收的值例如通过将差值添加到适当先前经重构深度值而重构第一DLT。

在一些情况下，视频解码器30可对多个视图进行解码，且可对所述视图中的一或多者的DLT和深度图进行解码。因此，视频解码器30可确定是否存在具有相关联DLT的一个以上视图(186)。在一些实例中，如果存在具有相关联DLT的一个以上视图，那么视频解码器30可使用所接收的其它视图的DLT的差分值重构其它视图的DLT(188)。举例来说，视频解码器30可对指示一个DLT的一或多个深度值与另一视图的另一DLT的一或多个深度值相同的一或多个语法元素进行解码。在一些实例中，如上所述，语法元素可指示重叠深度值(例如，在一个以上DLT中出现的深度值)的位置。

视频解码器30可随后使用经解码DLT确定图片的深度图(190)。举例来说，如上所述，视频解码器30可确定到用于图片的深度值的DLT的索引(例如，基于索引差值和预测符的组合)。

上文所描述的技术可由视频编码器20(图1及2)及/或视频解码器30(图1及3)执行，其两者可大体上被称作视频译码器。另外，视频译码在适用时可大体上涉及视频编码和/或视频解码。

虽然大体上相对于3D-HEVC描述本发明的技术，但不以此方式限制所述技术。上述技术也可以适用于其它当前标准或尚未开发的未来标准。举例来说，用于深度译码的技术也可以适用于HEVC的多视图扩展(例如，所谓的MV-HEVC)、对HEVC的可缩放扩展，或具有深度分量的其它当前或未来标准。

应理解，取决于实例，本文中的任何所描述的方法的某些动作或事件可以用不同顺序执行、可以添加、合并或全部省略(例如，实践所述方法并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非循序执行动作或事件。另外，虽然为了清晰起见，将本发明的某些方面描述为是通过单个模块或单元执行，但应理解，本发明的技术可以通过与视频译码器相关联的单元或模块的组合执行。

虽然在上文描述所述技术的各种方面的特定组合，但提供这些组合仅为了说明本发明中描述的技术的实例。因此，本发明的技术不应限于这些实例组合且可涵盖本发明中描述的技术的各种方面的任何可设想的组合。

在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可以作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体进行传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体(例如，数据存储媒体)，或包含任何促进将计算机程序从一处传送到另一处(例如，根据通信协议)的媒体的通信媒体。

以此方式，计算机可读媒体通常可对应于(1)有形计算机可读存储媒体，其是非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读存储媒体和封装材料。

借助于实例而非限制，此类计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的媒体。同样，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。

但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用的磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。

指令可由一个或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面，本文中所描述的功能性可在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入于组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在多种多样的装置或设备中实施，包括无线手持机、集成电路(IC)或IC集合(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地说，如上文所描述，各种单元可结合合适软件和/或固件组合于编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已经描述了本发明的各种方面。这些和其它方面在所附权利要求书的范围内。

Claims

1.一种对视频数据进行译码的方法，所述方法包括：

确定深度查找表DLT的第一深度值，其中所述第一深度值与所述视频数据的第一像素相关联；

确定所述DLT的第二深度值，其中所述第二深度值与所述视频数据的第二像素相关联；以及

对所述DLT进行译码，包含相对于所述第一深度值对所述第二深度值进行译码。

2.根据权利要求1所述的方法，其中所述第二深度值在所述DLT中连续跟随所述第一深度值，且其中对所述第二深度值进行译码包括确定所述第二深度值与所述第一深度值之间的差且对所述差值进行译码。

3.根据权利要求2所述的方法，其中所述第二深度值在所述DLT中连续跟随所述第一深度值，所述方法进一步包括：

确定所述DLT的与所述视频数据的第三像素相关联的第三深度值，其中所述第三深度值在所述DLT中连续跟随所述第二深度值；

对所述第三深度值与所述第二深度值之间的差值进行译码。

4.根据权利要求1所述的方法，其中所述DLT包含多个深度值，所述多个深度值包含所述第一深度值和所述第二深度值，所述方法进一步包括：

确定所述多个深度值中的连续深度值之间的差值；

基于所述差值中的最大差值确定所述DLT的所述差值的范围；且

其中对所述第二深度值进行译码包括基于所述范围对所述第二深度值进行译码。

5.根据权利要求1所述的方法，其中所述DLT包含多个深度值，所述多个深度值包含所述第一深度值和所述第二深度值，所述方法进一步包括：

确定所述多个深度值中的连续深度值之间的差值；

当所有所述差值相等时，对所有所述深度值相等的指示进行译码；且

其中相对于所述第一深度值对所述第二深度值进行译码包括对所述差值进行译码。

6.根据权利要求1所述的方法，其中对所述DLT进行译码包括以固定长度码对所述第一和第二深度值进行译码。

7.根据权利要求1所述的方法，其中对所述DLT进行译码包括对所述第一和第二深度值进行译码以使得所述第一和第二深度值具有相同位长度。

8.根据权利要求1所述的方法，其中所述DLT是与第一视图相关联的第一DLT，所述方法进一步包括：

确定第二DLT的至少一个深度值，其中第二DLT与第二不同视图相关联；

基于与所述第一视图相关联的所述第一DLT中的深度值对所述第二DLT的所述至少一个深度值进行译码；以及

对视图间DLT预测经启用的指示进行译码。

9.根据权利要求8所述的方法，其中所述第二DLT包含包含在所述第一DLT中的多个连续深度值，且其中对所述第二DLT的所述至少一个深度值进行译码包括对所述第二DLT的所述多个连续深度值在所述第一DLT中的位置的指示进行译码。

10.根据权利要求8所述的方法，其中对视图间DLT预测经启用的所述指示进行译码包括在图片参数集、序列参数集或切片标头中的至少一者中对所述指示进行译码。

11.根据权利要求1所述的方法，其中对所述DLT进行译码包括对所述DLT进行编码，且其中对所述DLT进行编码包括在经编码位流中对表示所述DLT的数据进行编码。

12.根据权利要求1所述的方法，其中对所述DLT进行译码包括对所述DLT进行解码，且其中对所述DLT进行解码包括从经编码位流对表示所述DLT的数据进行解码。

13.一种用于对视频数据进行译码的设备，所述设备包括：

存储器，其存储视频数据；以及

一或多个处理器，其经配置以：

14.根据权利要求13所述的设备，其中所述第二深度值在所述DLT中连续跟随所述第一深度值，且其中为了对所述第二深度值进行译码，所述一或多个处理器经配置以确定所述第二深度值与所述第一深度值之间的差且对所述差值进行译码。

15.根据权利要求14所述的设备，其中所述第二深度值在所述DLT中连续跟随所述第一深度值，且其中所述一或多个处理器进一步经配置以：

对所述第三深度值与所述第二深度值之间的差值进行译码。

16.根据权利要求13所述的设备，其中所述DLT包含多个深度值，所述多个深度值包含所述第一深度值和所述第二深度值，且其中所述一或多个处理器进一步经配置以：

确定所述多个深度值中的连续深度值之间的差值；

其中为了对所述第二深度值进行译码，所述一或多个处理器经配置以基于所述范围对所述第二深度值进行译码。

17.根据权利要求13所述的设备，其中所述DLT包含多个深度值，所述多个深度值包含所述第一深度值和所述第二深度值，且其中所述一或多个处理器进一步经配置以：

确定所述多个深度值中的连续深度值之间的差值；

其中为了相对于所述第一深度值对所述第二深度值进行译码，所述一或多个处理器经配置以对所述差值进行译码。

18.根据权利要求13所述的设备，其中为了对所述DLT进行译码，所述一或多个处理器经配置以用固定长度码对所述第一和第二深度值进行译码。

19.根据权利要求13所述的设备，其中为了对所述DLT进行译码，所述一或多个处理器经配置以对所述第一和第二深度值进行译码以使得所述第一和第二深度值具有相同位长度。

20.根据权利要求13所述的设备，其中所述DLT是与第一视图相关联的第一DLT，且其中所述一或多个处理器进一步经配置以：

对视图间DLT预测经启用的指示进行译码。

21.根据权利要求20所述的设备，其中所述第二DLT包含包含在所述第一DLT中的多个连续深度值，且其中为了对所述第二DLT的所述至少一个深度值进行译码，所述一或多个处理器经配置以对所述第二DLT的所述多个连续深度值在所述第一DLT中的位置的指示进行译码。

22.根据权利要求20所述的设备，其中为了对视图间DLT预测经启用的所述指示进行译码，所述一或多个处理器经配置以在图片参数集、序列参数集或切片标头中的至少一者中对所述指示进行译码。

23.根据权利要求13所述的设备，其中为了对所述DLT进行译码，所述一或多个处理器经配置以对所述DLT进行编码，且其中为了对所述DLT进行编码，所述一或多个处理器经配置以在经编码位流中对表示所述DLT的数据进行编码。

24.根据权利要求13所述的设备，其中为了对所述DLT进行译码，所述一或多个处理器经配置以对所述DLT进行解码，且其中为了对所述DLT进行解码，所述一或多个处理器经配置以从经编码位流对表示所述DLT的数据进行解码。

25.一种用于对视频数据进行译码的设备，所述设备包括：

用于确定深度查找表DLT的第一深度值的装置，其中所述第一深度值与所述视频数据的第一像素相关联；

用于确定所述DLT的第二深度值的装置，其中所述第二深度值与所述视频数据的第二像素相关联；以及

用于对所述DLT进行译码的装置，所述译码包含相对于所述第一深度值对所述第二深度值进行译码。

26.根据权利要求25所述的设备，其中所述第二深度值在所述DLT中连续跟随所述第一深度值，且其中用于对所述第二深度值进行译码的所述装置包括用于确定所述第二深度值与所述第一深度值之间的差且对所述差值进行译码的装置。

27.根据权利要求25所述的设备，其中所述DLT是与第一视图相关联的第一DLT，所述设备进一步包括：

用于确定第二DLT的至少一个深度值的装置，其中第二DLT与第二不同视图相关联；

用于基于与所述第一视图相关联的所述第一DLT中的深度值对所述第二DLT的所述至少一个深度值进行译码的装置；以及

用于对视图间DLT预测经启用的指示进行译码的装置。

28.一种具有存储于其上的指令的非暂时性计算机可读存储媒体，所述指令在被执行时致使一或多个处理器进行以下操作：

29.根据权利要求28所述的非暂时性计算机可读存储媒体，其中所述第二深度值在所述DLT中连续跟随所述第一深度值，且其中为了对所述第二深度值进行译码，所述指令致使所述一或多个处理器确定所述第二深度值与所述第一深度值之间的差且对所述差值进行译码。

30.根据权利要求28所述的非暂时性计算机可读存储媒体，其中所述DLT是与第一视图相关联的第一DLT，且所述非暂时性计算机可读存储媒体进一步包括致使所述一或多个处理器进行以下操作的指令：

对视图间DLT预测经启用的指示进行译码。