CN102714741B

CN102714741B - 深度图处理的方法和设备

Info

Publication number: CN102714741B
Application number: CN201080056691.7A
Authority: CN
Inventors: 赖旺霖; 刘淑杰; 田栋
Original assignee: Thomson Licensing SAS
Current assignee: Dolby International AB
Priority date: 2009-10-14
Filing date: 2010-10-14
Publication date: 2016-01-20
Anticipated expiration: 2030-10-14
Also published as: EP2499829A2; JP2016146655A; KR101807886B1; US10198792B2; JP2013509022A; BR112012008988A2; EP2499829B1; WO2011046607A3; CN102714741A; US20120200669A1; US20180165796A1; KR20120083913A; JP6158384B2; JP5909187B2; BR112012008988B1; WO2011046607A2; US10417748B2

Abstract

几种实现方式涉及，例如，3D视频（3DV）编码格式的深度编码和/或滤波。提供了划分深度图中沿着边缘的宏块（MB）的稀疏二元模式（308），以及可以包括对视频强度的变化和/深度的变化敏感的滤波器的自适应选择的深度图三边（或双边）滤波技术。一种实现方式划分深度画面，然后根据相应图像画面细化分区。另一种实现方式根据深度画面的一部分中一定范围像素的数值滤波所述部分。对于正在滤波的所述部分中的给定像素，滤波器通过基于地点距离、深度差和图像差的一个或多个的权重加权所述范围中的特定像素的数值。

Description

深度图处理的方法和设备

相关申请的交叉引用

本申请要求如下每个美国临时申请的提交日的权益，其通过引用而被整体合并于此：

（1）序列号61/278,989，于2009年10月14日提交，以及发明名称为“CodingandDecodingDepthMaps”；

（2）序列号61,278,984，于2009年10月14日提交，以及发明名称为“UpsamplingDepthMapsUsingVideoData”；

（3）序列号61/279,672，于2009年10月23日提交，以及发明名称为“JointFilteringForDepthMapCoding”；

（4）序列号61/284,272，于2009年12月16日提交，以及发明名称为“JointTrilateralFilteringforDepthCompression”；

（5）序列号61/336,380，于2010年1月21日提交，以及发明名称为“CodingDepthInformation”；

（6）序列号61/337,059，于2010年1月29日提交，以及发明名称为“AdaptiveJointFilters”；

（7）序列号61/337,375，于2010年2月3日提交，以及发明名称为“SparseDyadicModeforDepthCompression”；以及

（8）序列号61/325,017，于2010年4月16日提交，以及发明名称为“ProcessingDepthMaps”。

技术领域

本文描述涉及三维视频的实现。各种具体实现涉及深度图和边缘编码。

背景技术

诸如多视角加深度（MVD）和分层深度视频（LDV）那样的，包括传统2D（二维）视频和相应深度图的新数据格式使诸如3DTV（三维电视）和自由视点视频（FVV）那样的新应用成为可能。在像3DTV和FVV那样的视频应用中，再现除了捕获、编码和解码视图之外的虚拟视图通常是重要的。基于深度图像的再现（DIBR）是已经研究了许多年的再现虚拟视图的技术。为了在再现视图中达到足够高的质量，优选的是良好保护深度边界。传统视频编解码技术通常导致围绕锐边的巨大伪像。深度边缘的如实表示通常花费比编码其它区域多得多的位。

发明内容

按照一个一般方面，访问深度画面的一部分。所述深度画面包括指示图像画面中的相应地点的深度的信息。将所述深度画面的所述部分划分成多个分区。根据所述图像画面细化所述多个分区，以提供细化分区。根据所述细化分区编码所述深度画面的所述部分，以提供编码部分。

按照另一个一般方面，访问编码深度画面的一部分。所述深度画面包括指示图像画面中的相应地点的深度的信息。所述编码包括指示所述部分的多个分区的强度值的一个或多个数值指示符的编码。识别所述多个分区的至少一个。根据所述图像画面细化所述至少一个分区，解码所述一个或多个数值指示符的编码。根据所述一个或多个解码数值指示符为所述细化部分中的像素确定数值。

按照另一个一般方面，访问深度画面的一部分。所述深度画面包括指示图像画面中的相应地点的深度的信息。滤波所述部分以产生滤波深度部分。所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值。产生给定像素包括通过基于至少三种成分的权重加权所述范围内的特定像素的数值。第一种成分是从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离。第二种成分是特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差。第三种成分是图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差。

按照另一个一般方面，接收编码下采样深度图像。解码所述下采样深度图像。滤波所述解码下采样深度图像的一部分，以产生上采样的滤波深度部分。所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值。产生给定像素包括通过基于至少两种成分的权重加权所述范围内的特定像素的数值。第一种成分是从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离。第二种成分是图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差。

按照另一个一般方面，访问深度画面的一部分。所述深度画面包括指示图像画面中的相应地点的深度的信息。滤波所述部分以产生滤波深度部分。所述滤波深度部分中的给定像素基于所述部分中的一定范围像素的数值。产生给定像素包括通过基于至少三种成分的权重加权所述范围内的特定像素的数值。第一种成分是从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离。第二种成分是特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差的自适应加权。第三种成分是图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差的自适应加权。

在附图和下面的描述中给出一种或多种实现方式的细节。尽管以一种特定方式描述，但应该清楚，这些实现方式可以以各种方式配置或具体化。例如，一种实现方式可以作为方法来执行，或体现为诸如，例如，配置成执行一组操作的装置或存储执行一组操作的指令的装置那样的装置，或以信号形式体现。其它方面和特征将从结合附图考虑的详细描述和权利要求书中明显看出。

附图说明

图1是五种示例性稀疏二元（SD）分区的图；

图2是使用SD编码的传输系统的框架的高级方块图；

图3是进行深度图处理的方法的方块/流程图；

图4是具有代表值的简化SD分区的图；

图5是详细深度图恢复的方块/流程图；

图6是实现SD模式的深度编码器的图；

图7是使用SD模式以及不同MB分区预测宏块（MB）的处理的方块/流程图；

图8是为MB分区内的子宏块（MB）确定最佳SD分区的方块/流程图；

图9是SD分区细化的图形表示；

图10是描述SD分区细化的方块/流程图；

图11是管理深度图中的SD预测的解码器的图；

图12是SD预测的方块/流程图；

图13是根据准则确定代表值的方法的方块/流程图；

图14是空间相邻MB的预测量的图形表示；

图15是基于样本预测的方块/流程图；

图16是示出四种MB分区模式的图；

图17是使用MBMODE_16×16和SD分区MODE_VER的空间相邻MB的预测量的图；

图18是使用MBMODE_8×8的基于边界预测的图；

图19是使用MBMODE_8×16的基于边界预测的图；

图20是形成预测量的方块/流程图；

图21是样本视频的深度编解码的率失真（RD）的图；

图22是样本视频的深度编解码的率失真（RD）的图；

图23是联合双边滤波的框架的高级方块图；

图24是使用联合双边上采样生成全分辨率深度图的方块/流程图；

图25是并入残差的框架的图；

图26是编码具有增强层的深度图的方块/流程图；

图27是解码具有增强层的深度图的方块/流程图；

图28是作为深度编码的环内滤波器的联合双边滤波器的图；

图29是用作深度解码的环内滤波器的联合双边滤波器的图；

图30是综合去块和联合滤波处理的方块/流程图；

图31是去块滤波器与联合滤波器之间的切换的图；

图32是样本视频的深度编码的RD曲线的曲线图；

图33是样本视频的深度编码的RD曲线的曲线图；

图34是具有适应选择的双边滤波的方块/流程图；

图35是ε=0.5的混合函数的曲线图；

图36是ε=5的混合函数的曲线图；

图37是双步环内滤波处理的方块/流程图；

图38是在去块滤波器与自适应联合滤波器之间作自适应选择的环内滤波的方块/流程图；

图39是颜色值与自适应衰减因子σ之间的关系的图；

图40是示出四种不同衰减函数的曲线图；

图41是将传统编码器与并入多边（ML）滤波的编码器相比较的图；

图42是将传统输入与多视角加深度输入相比较的图；

图43是包括调制器的视频发送系统的图；以及

图44是包括解调器的视频接收系统的图。

具体实施方式

为了有效地编码深度图，简化深度变化和复杂边缘的表示是有利的。这些表示更容易编码得多，并且还导致新的编码模式，稀疏二元模式（SparseDyadicMode）。在一个实施例中，为了恢复深度图细节，与简化深度一起利用来自2D视频的边缘信息。所得系统可以在保持再现视图的同时降低深度位速率。而且，为了抑制压缩深度图中的强编码伪像，在特定实施例中使用新边缘保护去噪滤波器。为此，特定滤波器利用相应视频帧中，可选地，深度图中的边缘信息。特定滤波器的滤波权重由如下因素决定：样本位置的附近、视频帧中的同地点（collocated）像素之间的相似性、和可选地，深度样本之间的相似性。可以将滤波处理作为环内滤波器并入编码方案中。与诸如去块滤波器那样的传统环内滤波器相比，本原理可以在给定深度编码速率下提高再现质量。

下面的讨论将展示各种实施例，以及许多实施例共有的一些原理。但是，除非另有说明，一个或多个实施例特有的限制和约束只是那些实施例特有的，而不是可应用于所有实施例的一些限制或约束。

稀疏二元模式

稀疏二元分区在表示深度边缘中是有用的，因为它们可以用作可以更有效得多编码的底层详细深度的粗糙近似。提供稀疏二元编码模式是为了提高深度编码的效率。来自2D视频帧的边缘信息用于恢复深度图中的细节。使用传统2D视频恢复像深度图中的边缘那样的细节意味着无需很高保真度地编码深度图。这样，可以提供可以容易编码的简化深度图。当与视频组合时，可以为再现目的恢复详细深度图。

在图1中展示了称为稀疏二元（SD）分区的M×N深度块L的五种简化表示S_i。块内的样本值在S₀中只用单个值A，或在S₁~S₄中用通过直线分开的两个值A和B近似表示。借助于这样的少数几个数值和作为边界的直线，编码SD分区需要比编码原始详细深度块L少得多的位。由于直线边界只有四个可能位置，所以传信边界的边缘信息少于边界可以具有太多可能方向和位置的其它途径。

注意，这五种SD分区只是简化表示的例子。也可以利用提出的概念构建其它简化表示，例如，在提供足以恢复详细深度的信息的同时易于编码的粗略近似表示。

下面示出了深度编码的两个示例性实施例。对于第一实施例，首先处理原始深度图，得出使用SD分区的简化表示的块。然后，利用诸如H.264/AVC那样的传统视频编码方案编码简化深度。在第二实施例中，引入新编码模式“稀疏二元模式”。在率失真优化中，编码器评估新SD模式以及诸如H.264/AVC中那样的任何传统编码模式。为更好地评估利用新SD模式编码的块的失真，在进一步提高编码效率的第二实施例中提供“块细化”处理。

SD分区以及编码深度图的联合滤波

在第一实施例中，在编码器侧，处理原始深度图以获取利用SD分区的简化表示。然后，利用传统视频编码技术，例如，使用H.264/AVC编码所得深度图序列。在解码器侧，在解码简化深度图和相应视频帧之后，利用使用来自视频帧的信息的联合双边滤波器恢复详细深度图。

现在参照图2，示出这个实施例的框架的高级方块图。编码模块202接收输入视频序列和相应输入深度序列。输入视频序列通过传统视频编码器206编码。深度序列是在通过各自传统视频编码器206编码之前在滤波器204上得到处理的第一深度图。然后将两个编码信号发送给解码/再现模块208。每个信号由各自传统视频解码器210解码。两个解码器的输出被使用视频信息的深度图恢复模块212用于恢复滤掉的深度信息。然后视图合成块214使用视频和深度信息产生合成视图，以便显示3D视频。

现在参照图3，所示的是进行深度图处理的方法的方块/流程图。在302中将输入深度图划分成非重叠块。这些方块具有，例如，M×N大小。在304和306中将变量初始化，即将块索引设置成0，将失真的初始值D_max设置成大数（诸如M×N块的最大可能失真那样，等于255×M×N块），以及将SD分区索引设置成0。在308中，利用相应代表值为每个M×N块获取SD分区。代表值可以使用相应角区中的样本值来计算。参照，例如，图4，使用A和B分别通过L中的左上角样本值和右下角样本值确定的SD模式S₂表示深度块L。为每种SD模式计算代表值。这些代表值可以代表每个分区中的各个像素的亮度或色度，或可以代表多个这样像素的强度。

在310中，计算每种SD模式与深度块L之间的失真。失真度量D(L,S_i)可以使用像方程（1）那样的绝对差（SAD）之和或像方程（2）那样的平方误差（SSE）之和来计算，其中m和n是样本地点的索引：

\min_{i} Σ_{m = 0}^{M - 1} Σ_{n = 0}^{N - 1} | L (m, n) - S_{i} (m, n) | - - - (1)

\min_{i} Σ_{m = 0}^{M - 1} Σ_{n = 0}^{N - 1} {(L (m, n) - S_{i} (m, n))}^{2} - - - (2)

在方块312中对照最大失真检验每种SD模式的失真。如果给定SD模式的失真D_i小于最大失真，则在方块314中将那个失真D_i设为最大，并选择该SD模式。如果该失真大于最大失真，或如果选择了SD模式，则方块316确定是否还有SD模式要评估。如果是，则在方块318中将i加1，使处理返回到方块308考虑下一种模式。

一旦选择了最佳SD模式，则在320中使用所选SD模式表示深度块L。判定模块322确定是否还有深度块要处理。如果是，则在324中将块索引b加1，并使处理返回到306。如果不是，则在326中输出处理后深度图，可以将其发送到诸如H.264/AVC那样的传统视频编码器。对于这个实施例，编码器无需访问重构视频，并将编码模式判定与选择哪种稀疏二元分区来使用分开。这也暗示着与联合考虑稀疏二元分区和编码模式的选择的编码方案相比，编码效率不是最佳的。例如，虽然最初按最小失真选择特定稀疏二元分区，但在H.264/AVC编码之后，附加压缩失真可能使其不是表示原始块的最佳选择。

在图2中的“详细深度图恢复”块212中进行恢复详细深度。在解码器侧208，首先使用传统视频解码器210解码简化深度图S。为了恢复表示成S′的详细深度图，使用相应重构视频中的边界信息。尤其，跨过视频帧中的边界的样本值差可以用于识别深度边界。可以使用，例如，双边滤波器或加权最小二乘（WLS）滤波器在保护边缘的同时滤波图像。在这个实施例中，这样的滤波器可以与来自视频信道的边缘信息一起用于恢复深度图212中的细节。

在这个实施例中，作为一个例子，可以将联合双边滤波器用于使用视频边界信息恢复详细深度。对于深度图中的给定样本位置p，滤波输出S′_p是位置q（在中心在p上的Ω范围内）上的相邻样本的加权平均。权重根据两种因素确定：通过域滤波器f(||p-q||)确定的p与q之间的距离，以及视频帧中的相应样本之间的相似性，即，通过范围滤波器g(||I_p-I_q||)确定的I_p与I_q之间的相似性。术语“联合双边滤波器”指的是范围滤波器获取来自视频帧I的输入同时将权重应用于深度图S。一般说来，域滤波器将较小权重指定给远离位置p的样本，即，权重随距离||p-q||增大而减小。另一方面，范围滤波器将较小权重指定给其值与I_p较不相似的I_q，即，权重随I_p与I_q之间的差值增大而减小。可以将这个处理总结如下：

{S^{'}}_{p} = \frac{1}{K_{p}} Σ_{q &Element; Ω} (S_{q} f (| | p - q | |) g (| | I_{p} - I_{q} | |)) - - - (3)

其中，K_p＝∑_q＝Ω(f(||p-q||)g(||I_p-I_q)||))。如上所述，p和q是样本位置。S是具有SD分区的简化深度图，S′是滤波深度图，I_p和I_q是视频帧中位置p和q上的像素，以及K_p是归一化因子。在获得细化深度图S′之后，将它与解码视频序列一起馈送到“视图合成”块214，以便合成虚拟视图。

现在参照图5，示出了详细深度图恢复的方块/流程图。在方块502中接收解码深度图（如由，例如，视频解码器210产生）作为输入。在方块504中将深度样本索引p初始化成零。方块506通过使用来自视频帧的信息，例如，使用联合双边滤波器恢复详细深度S_p′。方块508确定块中是否还有像素要滤波。如果是，则将样本索引加1，并使处理返回到方块506。当再也没有像素时，结束处理。

深度图编解码的稀疏二元模式

在这个实施例中，在深度编码器/解码器中提供视频的新编解码模式，稀疏二元（SD）模式。与作为将信号馈送到传统视频编码器之前的预处理进行SD划分的上述实施例相比，新SD模式编码近似边缘和深度代表值。实验表明，就编码效率和再现质量而言，新引入SD模式具有超过上述实施例的优点。

现在参照图6，示出了实现SD模式的深度编码器。深度编码器可以实现成如下面参考图43所述的视频发送系统的一部分。输入深度序列到达加法器601以及位移补偿块620和位移估计块618。加法器601的另一个输入是通过开关623接收的多种可能参考信息之一。

例如，如果与开关623信号通信的模式判定模块624确定编码模式应该是参考当前正在编码的相同块或切片的帧内预测，则加法器从帧内预测模块622接收其输入。可替换地，如果模式判定模块624确定编码模式应该是参考与当前正在编码的块或切片不同的块或切片的位移补偿和估计，则加法器从位移补偿模块620接收其输入。并且，如果模式判定模块624确定编码模式应该是SD模式，则加法器601从与视频参考缓冲器614信号通信的SD预测模块616接收其输入。

加法器601将信号提供给变换模块602，变换模块602被配置成变换其输入信号并将变换信号提供给量化模块604。量化模块604被配置成对其接收信号进行量化，并将量化信息输出到熵编码器605。熵编码器605被配置成对其输入信号进行熵编码以生成位流。逆量化模块606被配置成接收来自量化模块604的量化信号并对量化信号进行逆量化。接着，逆变换模块608被配置成接收来自模块606的逆量化信号并对其接收信号进行逆变换。模块606和608重建或重构从加法器601输出的信号。

加法器或组合器609相加（组合）从逆变换模块608和开关623接收的信号，并将所得信号输出到帧内预测模块622和去块滤波器610。并且，帧内预测模块622使用其接收信号进行如上所述的帧内预测。类似地，去块滤波器610滤波从加法器609接收的信号，并将滤波信号提供给深度参考缓冲器612，深度参考缓冲器612将深度信息提供给位移估计和补偿模块618和620。SD预测模块616接收输入深度序列以及来自视频参考缓冲器614和加法器609的信息以便提供SD模式信息。

对于SD模式，使用每种SD分区具有简化深度表示（值A和B）的显示在图1中的五种SD划分类型。将SD划分进一步应用于四种MB分区类型，MODE_16×16、MODE_16×8、MODE_8×16、和MODE_8×8。例如，在MODE_16×8中，可以利用图1中的五种SD划分之一编码每个16×8块（顶部和底部）。作为一种附加模式，对照诸如各种帧间和帧内模式那样的其它传统编码模式评估SD模式。模式评估和判定处理可以基于率失真优化以达到高编码效率。

现在参照图7，示出了使用SD模式以及不同MB分区预测宏块（MB）的处理的方块/流程图。在方块702中，将率失真（RD）成本设置成大数，并将MB分区模式索引k设置成零。在方块704中，使用模式k划分当前MB，得出多个子MB。在方块706中将子MB索引j设置成零。对于每个sub_MBj，在方块708中根据失真D_k，j（参见上面的方程（1）和（2））评估SD分区以确定最佳SD。可选地，可以使用估计比率R_k，j来取代失真。这个步骤将在下面作更详细讨论。

如果方块710确定还有子MB要编码，则在方块712中将j加1，并使处理返回到方块708。如果不是，则方块714计算失真D_k＝∑_jD_k，j，并根据所有子MB的所选SD分区计算比率R_k。在方块718中计算MB分区k的RD成本为J_k＝D_k+λR_k。如果在方块720中RD成本小于最大值，则在方块722中将最大值设置成当前RD成本，并将MB分区模式设置成当前模式。如果不是，则让处理跳到方块724，确定是否还有MB分区模式要评估。如果没有，则结束处理。如果还有，则选择下一种MB分区模式，并使处理返回到方块704。图7代表用在图6中的稀疏二元预测块616中的示例性处理。

现在参照图8，示出了为MB分区k内的子MBj确定最佳SD分区的方块/流程图。如上面参考方块708所述。在方块802中，将最大失真设置成大数，并将SD分区索引设置成零。方块804获取要评估的SD分区S_i。方块806使用视频帧中的相应块细化分区S_i。细化分区将在下面作详细描述。方块808求出两个分区的代表值A和B。方块810计算细化、划分块与原始深度块L之间的失真D_i。可以使用像如下那样的SAD（方程（4））或SSE（方程（5））计算失真：

D_{i} = Σ_{m = 0}^{M - 1} Σ_{n = 0}^{N - 1} | L (m, n) - {\hat{S}}_{i} (m, n) | - - - (4)

D_{i} = Σ_{m = 0}^{M - 1} Σ_{n = 0}^{N - 1} {(L (m, n) - {\hat{S}}_{i} (m, n))}^{2} - - - (5)

其中m和n是样本地点索引。注意，失真是在原始深度与细化深度之间计算的。这将减小要编码的残差的数量。而且，然后将细化深度块作为重构块用于进一步块的预测编码（例如，相同帧中的INTRA块的预测符（predictor）或其它帧中的INTER块的预测符）。

方块812代表政策判定，确定在作出SD模式判定时是否使用RD。如果不使用RD，则方块814确定当前失真Di是否小于D_max。如果是，则选择当前分区，将D_max设置成当前失真，并使处理继续到方块828，确定是否还有SD模式要评估。如果不是，则方块814直接转到方块828。

如果要使用SD，则方块812采取第二分支，方块818计算代表值的预测符。方块820通过编码首先预测符与代表值之间的差值和其次残差D_i计算比率R_i。A和B的预测符可以使用空间相邻样本生成。在方块822中计算成本C_i为D_i+λR_i。方块824确定这个成本是否小于最大成本。如果是，则将最大成本设置成当前成本，并将SD分区设置成当前分区。然后处理转到方块828。

如果方块828确定还有SD模式要评估。则在方块830中在处理返回到方块804之前将SD模式索引加1。如果所有SD模式都得到评估，则方块832将MB分区模式k下的子MBj的失真设置成D_k，j＝D_max。累加在方块832中为每个子MBj求出的失真以获取MB分区k的总失真D_k。所选分区和每个子MBj的深度表示将用于计算MB分区k的比率。

SD分区为底层深度块提供非常粗糙表示。因此，如果像原始深度块与SD分区之间的差值那样直接计算失真，则与其它传统编码模式相比可能大得多，因此导致次最佳RD模式判定。而且，具有SD分区的块可能不包含足以用作相邻块（INTRA模式）或其它帧中的块（INTER模式）的预测符的细节。

SD分区的细化处理可以解决这些问题。这个处理对应于图8中的方块806。可以通过使用视频帧中的同地点块恢复深度边界细节来细化分区。这个处理的输入是：用SD分区i表示的与MB分区k内的子MBj相对应的深度块Si；以及重构视频中的同地点块。这个处理的输出是细化块图9示出了细化处理的图形表示。

现在参照图10，所示的是描述细化处理的方块/流程图。在方块1002中将深度块样本索引p设置成零，并创建两个空分区Pa′和Pb′。在方块1004中获取同地点视频样本I_p。在方块1006中，找出I_p的阈范围内的所有样本，其中差值T可以由用户选择。阈范围内的所有样本I_q的集合形成深度样本p的“相似区”。在图9的例子中，对于黑点位置上的样本，它的相似区是灰色区。

方块1008确定两个分区的哪一个与相似区更重叠。如果Pa′更重叠，则在方块1010中将样本p指定成Pa′。如果Pb′更重叠，则在方块1012中将样本p指定成Pb′。然后方块1014确定是否还有样本要处理。如果是，则将样本索引p加1，并使处理返回到方块1004。如果不是，则在方块1018中使所得Pa′和Pb′形成SD模式的细化分区。在获得细化块之后，计算代表值A和B。然后，我们计算原始深度L与之间的失真。

现在参照图11，示出了管理深度图中的SD预测的解码器的方块图。这个滤波器可以实现成如在下面显示的参考图44所述的视频接收系统4400中的解码器4406的一部分。再次参考图11，该解码器可以配置成使用位流接收器1102接收位流，位流接收器1102又与位流解析器1104信号通信并将位流提供给解析器1104。位流解析器1104可以配置成将残差位流发送给熵解码器1106，将控制语法元素发送给模式选择模块1116，并将位移（运动/差异）矢量信息发送给位移补偿模块1126。逆量化模块1108可以配置成对从熵解码器1106接收的熵解码信号进行逆量化。另外，逆变换模块1110可以配置成对从逆量化模块1108接收的逆量化信号进行逆变换，并将逆变换信号输出到加法器或组合器1112。

加法器1112可以取决于应用的解码模式地接收多种其它信号之一。例如，模式判定模块1116可以通过解析和分析控制语法元素确定编码器对当前处理块进行了SD预测，位移补偿还是帧内预测编码。取决于确定的模式，模式选择控制模块1116可以根据控制语法元素访问和控制开关1117，以便加法器1112可以接收来自SD预测模块1124，位移补偿模块1126或帧内预测模块1118的信号。

这里，帧内预测模块1118可以配置成，例如，进行帧内预测以便参考当前正在解码的相同块或切片解码一个块或切片。接着，位移补偿模块1126可以配置成，例如，进行位移补偿以便参考与当前正在解码的块或切片不同的、当前正在处理的相同帧或另一个以前处理帧的块或切片解码一个块或切片。并且，SD预测模块1124可以配置成，例如，进行SD预测以便参考与当前正在处理的深度图不同的、当前处理的相同帧或另一个以前处理帧的视频帧解码一个块。

在接收到预测或补偿信息信号之后，加法器1112可以将预测或补偿信息信号与逆变换信号相加以便发送到去块滤波器1114。去块滤波器1114可以配置成滤波其输入信号，输出解码画面。加法器1112也可以将相加信号输出到帧内预测模块1118以便在帧内预测中使用。并且，去块滤波器1114可以将滤波信号发送到深度参考编码器1120。深度参考编码器1120可以配置成解析其接收信号，以便允许和帮助深度参考编码器1120向其提供解析信号的元件1126进行位移补偿解码。这样的解析信号可以是，例如，各种深度图的全部或一部分。视频参考缓冲器1122将视频帧提供给SD预测模块1124以便在，例如，细化SD分区中使用。

在解码器侧，首先解码2D视频的帧。解码利用SD模式编码的特定MB的处理在SD预测块1124中进行。现在参照图12，示出了SD预测的方块/流程图。方块1202解析位流以便提取MB分区模式和SD分区模式的语法、深度代表值与它们的预测符之间的差值、和残差。方块1204通过，例如，使用上述的细化处理，使用视频帧中的相应块和来自方块1202的解析信息获取细化分区。方块1206导出代表值的预测符。如下面详细描述，预测符可以使用空间相邻样本导出。方块1208将在方块1206中计算的预测符与在方块120中解码的差值相加，以计算深度代表值。然后方块1210将残差与细化分区相加。

上面的例子将分区当中的角样本用作代表值A和B。参见，例如，图1。例如，通过对位于角上的小窗口求平均，或简单地拾取最左上角和最右下角样本值，将左上角和右下角上的样本用于计算A和B。但是，一般说来，角上的样本可能不是整个分区的良好代表。通过考虑分区内的更多样本和通过施加某些优化准则可以改进选择。

根据参考图10所述的细化处理的描述，可以无需知道A和B实际值地使用相应视频块和SD分区Pa和Pb构建细化分区Pa′和Pb′。换句话说，可以首先从视频信息中获取细化分区Pa′和Pb′，然后可以通过考虑细化分区内的样本确定每个分区的适当代表性样本值。

现在参照图13，示出了根据准则确定代表值的方法的方块/流程图。方块1302获取通过Pa和Pb描述的SD分区作为输入。使用同地点视频块，方块1304如上所述，从Pa和Pb中获取细化分区Pa′和Pb′。然后方块1306根据Pa′和Pb′中的样本计算代表值A和B。例如，将解析内的所有样本的平均值取作代表值，或取最多出现的样本值。另一种手段是对于分区内的所有样本i使SAD最小：

对于Pa′：min_A∑_i∈Pa′|i-A|，以及对于Pb′：min_B∑_i∈Pb′|i-B|(6)

这样，对于相应分区内的样本，所得值A和B将导致最小SAD。事实上，满足（6）的值A（或B）是Pa′（或Pb′）中的所有样本i的中值。在最佳SD模式的广泛搜索中，对每种SD模式都重复上述处理，以便与代表值A和B一起识别其细化分区Pa′和Pb′。

为了高效地编码SD分区中的深度表示（值A和B），使用预测编码来取代直接编码深度表示。可以从相邻块中导出预测符，并且只编码预测符之间的差值和深度表示。一般说来，可以利用时间和空间相邻块两者。在下面描述的实施例中，展示空间预测作为例子。

对于要利用SD模式编码的给定MB，从如图14所示，可以来自左上角、上方、右上角和左侧的空间相邻MB中导出预测符。在图14中，五个样本被强调成p0，p1，...，p4。如果（x,y）代表左上角的样本地点（在8×8MB中），则给出五个样本的样本地点的坐标如下：p0：（x,y）；p1：（x+7,y）；p2：（x+15,y）；p3：（x,y+7）；以及p4：（x,y+15）。

现在参照图15，示出了基于样本预测的方块/流程图。在方块1502中预测五个样本（p0，p1，p2，p3和p4）上的深度。当当前MB使显示在图14中的所有四个空间相邻MB都可用时，五个样本的预测方法如下表1给出的那样。否则，当当前MB沿着左边界或上边界时，也就是说，当并非所有四个相邻MB都存在时，预测方法如下表2所规定的那样。注意，Median{a,b,c}代表取a，b和c之间的中间值的运算符。

样本	预测深度值
		p0：(x，y)	Median{p(x-1，y)，p(x，y-1)，p(x-1，y-1)}
p1：(x+7，y)	Median{p(x+6，y-1)，p(x+7，y-1)，p(x+8，y-1)}
		p2：(x+15，y)	Median{p(x+14，y-1)，p(x+15，y-1)，p(x+16，y-1)}
p3：(x，y+7)	Median{p(x，y+6)，p(x，y+7)，p(x，y+8)}
		p4：(x，y+15)	Median{p(x，y+13)，p(x，y+14)，p(x，y+15)}

表1

表2

取决于如下表3所规定的MB分区和SD分区模式，在方块1504中根据方块1502中的五个样本上的预测深度导出深度代表值的预测符。如上所述，在四种MD分区模式MODE_16×16、MODE_16×8、MODE_8×16、和MODE_8×8下支持SD模式。在图16中例示了与H.264/AVC设计一致的每个MB分区的块分区索引。借助于这些MB分区，然后可以将SD模式应用于子MB。在图17中，将MODE_16×16用作一个例子。存在一个块分区索引为0的MB分区。如果SD分区模式是MODE_VER，则依据表3，分别给出A（左SD分区）和B（右SD分区）值的预测符为Median{p0,p1,p2}和p2。

表3

应该注意，概括在这个实施例中的处理只不过是描述基于样本预测的概念的例子，在具有一些变化的其它实施例中也可以实现类似的执行。例如，在第一步骤中也可以使用除了p0~p4之外的其它样本；类似地，表1~3仅仅是为了例示而提供的。

基于样本预测通常在从角样本中导出深度表示（A和B值）的情况下表现良好。但是，如果深度表示基于中值（例如，使SAD最小），则基于样本预测可能变得低效。另外，基于样本预测只考虑空间相邻MB来计算预测符。未启用MB内的子MB之间的预测。例如，在图16中的MODE_16x8中，可以从上16x8块（块分区索引为0）中预测下16x8块（块分区索引为1）的稀疏二元代表值。为了解决上述问题，可以从沿着空间相邻块的边界的相邻样本中生成预测符，下文称此为“基于边界预测”。

为了更好地例示该处理，提供了图18和图19作为基于边界预测的两个例子。在图18中，当前块是8×8块，而在图19中，当前块是8×16块。当当前块是子MB时，可以从相同MB内的其它子MB中生成其预测符。为了简化下面的叙述，定义了三条线：L1对应于样本在当前块的左侧的垂直线，L2对应于样本在当前块的顶部的水平线，和L3对应于样本从L2延伸出来以及其长度等于L1的长度的水平线。

现在参照图20，示出了形成预测符的方块/流程图。方块2002接收细化块分区Pa′和Pb′作为输入，并初始化两个空集Neighbor_Pa′和Neighbor_Pb′。对于L1上的每个样本p，方块2004检验其右侧的相应样本。如果相应样本属于Pa′，则将p放在集合Neighbor_Pa′中，如果相应样本属于Pb′，则将p放在集合Neighbor_Pb′中。对于L2上的每个样本p，方块2006检验在p下面的相应样本。如果相应样本属于Pa′，则将p放在集合Neighbor_Pa′中，如果相应样本属于Pb′，则将p放在集合Neighbor_Pb′中。

方块2008确定Neighbor_Pa′或Neighbor_Pb′是否是空的。如果是，则对于L3上的每个样本p，方块2010使用往当前块的右侧边界的45°投影角（参见图19）检验相应样本。如果相应样本属于空集，则将p加入那个集合中。注意，不可能两个集合都是空的。然后方块2012确定Neighbor集合是否仍然是空的。

如果仍然是空Neighbor集合，则方块2014将A和B两者的预测符设置成非空集合的中值。但是，如果Neighbor集合没有一个仍然是空的，则方块2016将A和B的预测符设置成各自Neighbor集合的中值。

在图18的例子中，将L1上的所有样本和L2上的左边三个样本加入Neighbor_Pa′的集合中，而将右边五个样本加入Neighbor_Pb′的集合中。然后，通过分别取Neighbor_Pa′和Neighbor_Pb′的中值设置预测符。至于图19的例子，将L1和L2上的所有例子加入Neighbor_Pa′中。由于没有当前块的顶边界和左边界上的样本属于Pb′，所以进一步检验L3上的样本。借助于45°投影，将用L3上的点标记的样本加入Neighbor_Pb′中以获取B的预测符。

注意，在可替代实施例中，可以考虑取代单样本线宽（例如，多样本线宽）的多个样本。可以使用不同的投影，以及除了Median(.)之外的其它运算也可以用作预测符。上面概括的处理只不过是描述基于边界预测的概念的例子。

在模拟时，可以将上述SD模式并入关闭了视图间预测的基于H.264/AVC的MVC（多视角视频编码）参考软件JMVM（联合多视角视频模型）中。使用分辨率为1024×768的测试序列。对于每种测试序列，编码深度图以及视图0和视图2的纹理视频序列。深度图利用JVT提供的公用编码设置之后的4个不同量化参数（QP）：22，27，32和37编码，而相应视频利用固定QP22编码。在序列被解码之后，通过MPEG提供的VSRS3.0（视图合成参考软件）生成视图1的虚拟视频。

图21和22提供了样本视频的深度编码的率失真（R-D）曲线，其中“H.264”指示H.264/AVC编码器，并且“具有SD模式的H.264”指示将SD模式作为新模式加入H.264/AVC中。在两条R-D曲线中，比率指示用于视图合成的压缩纹理视频和深度（即，再现视图1时视图0和视图2的压缩深度图和纹理视频序列）的总位速率。由于深度图序列用于再现而不是直接观看，所以可以计算使用压缩视图/深度序列的再现视图与使用未压缩视图/深度序列的再现视图之间的PSNR。从模拟结果中可以看出，对于具有相同编码位速率的再现视频，借助于提出的SD模式可以达到高达0.6dB（分贝）增益。

联合双边滤波器上采样

利用联合双边滤波器上采样的深度编码方法被用于更好地利用深度图的特性。对于平坦区域，下采样版本足以表示变化。另一方面，完全原始分辨率深度图中的详细边界可以使用相应视频帧中的样本信息来恢复。因此，所提出的方案只编码深度图的下采样版本，将基于联合双边滤波器的上采样用于生成完全原始分辨率深度图。滤波可以用在全尺寸深度图和下采样深度图上，但也可以应用于上采样深度图和下采样视频图像。可以对相互对应，但分辨率不相同深度和视频进行滤波。

这样，示出了只编码深度图序列的下采样版本并且使用联合双边滤波器借助于来自相应完全原始分辨率视频帧的边界信息上采样它的新深度图编码框架。另外，在编码框架下示出了联合双边深度上采样，以便只编码低分辨率深度图序列。

在编码器侧，首先下采样原始深度图序列，以获取低分辨率深度图序列。然后，利用传统视频编码技术，例如，使用H.264/AVC编码低分辨率深度图序列。在解码器侧，在解码了低分辨率深度图和相应视频帧之后，使用利用来自视频帧的边界信息的联合双边滤波器上采样生成全分辨率深度图。现在参照图23，示出了联合双边滤波的框架的高级方块图。

编码器2302接收输入深度序列和输入视频序列。深度图下采样模块2304接收深度序列并降低它的分辨率。然后两个序列在发送给解码器2308之前被各自传统视频编码器2306编码。其中的信号由传统视频解码器2310解码。解码、下采样深度序列和解码视频序列两者被联合双边滤波器用于上采样深度图。上采样深度图、下采样深度图、和视频序列在视图合成模块2314中使用以产生三维视图。编码2302和解码/再现2308可以分别实现成在图43和44中显示的发送和接收系统的一部分，并且可能分别涉及诸如元件4306和4404那样的调制器和解调器的使用。

在编码器侧2302，在所提出的框架下主要有两个步骤：深度图下采样和编程所得低分辨率深度图序列。由于可以利用传统方法，所以这两个步骤是非常直截了当的。在第一步骤（即，深度图下采样2304）中，有两个参数要选择：下采样比例（scale）N（例如，按2，4等下采样）以及下采样滤波器。另外，可以独立指定沿着水平和垂直方向的下采样比例，但在如下叙述中未使用。这两个参数的确切选择可以随实现方式而异。本文所列的方法只是为了例示的目的。

对于下采样比例N，最常用设置是诸如按2或按4（沿着水平和垂直方向）下采样那样，2的幂数。下采样比例可以与为率失真优化处理编码量化参数（QP）一起考虑，例如，通过测试N和QP设置的不同组合，以达到最高编码效率。

对于下采样滤波器，可以与上采样处理和彩色视频的内容无关地使用诸如双线性、小波等那样的传统滤波器。另一方面，下采样滤波器也可以根据上采样处理来构建。

在第二步骤中，可以将下采样深度图序列馈送到传统视频编码器2306。例如，可以将H.264/AVC用于编码下采样深度图序列。

在解码器侧2308，首先使用传统视频解码器2310解码低分辨率深度图S。将来自视频帧的边界信息用于上采样解码低分辨率深度图S尤其有利。为了生成表示成S′的全分辨率深度图，进行使用相应构建视频帧中的边界信息的联合双边滤波器上采样。这个处理在块上采样滤波方块2312中进行。

现在参照图24，示出了使用联合双边上采样生成全分辨率深度图的方块/流程图。方块2402接收低分辨率深度图和相应高分辨率视频帧作为输入。在方块2402中将深度样本索引p设置成零。方块2406根据来自视频帧的信息使用联合双边滤波器生成详细深度S_p′。对于要生成的全分辨率深度图S′中的深度样本p，计算它的样本（联合双边滤波器上采样）如下：

其中N是上采样因子，p和q是样本位置，和是下采样位置，代表下截断运算（flooroperation），S是解码低分辨率深度图，S′是重构全分辨率深度图，I_p和I_q是视频帧中p和q位置上的像素，以及K_p是归一化因子。

在（7）中，对于给定样本位置p，滤波输出S′_p是中心在上的Ω范围内的位置上的样本的加权平均。权重根据两种因素决定：由域滤波器f确定的与之间的距离、和视频帧中的相应样本值之间的相似性，即，由范围滤波器g确定的I_p与I_q之间的相似性。一般说来，域滤波器将较小权重指定给远离位置的样本，即，随距离增大而减小。另一方面，范围滤波器将较小权重指定给其值与I_p较不相似的样本I_q，即，权重随I_p与I_q之间的差值增大而减小。

方块2408确定是否还有样本要滤波。如果是，则方块2410将样本索引p加1，并且使处理返回到方块2406。如果不是，则结束处理。在获取细化深度S′之后，将它与解码视频序列一起馈送到图23中视图合成模块2314，以便合成虚拟视图。

上面经由联合双边滤波器上采样，只使用下采样深度图和相应视频帧生成全分辨率深度图。尽管联合双边上采样与其它上采样方法相比是先进技术，但上采样结果可能仍然包含较大误差。为了进一步提供深度质量，可以在深度图编码中引入增强层，该增强层编码原始深度图与上采样图之间的残差。这个残差补偿上采样深度图中的误差。

现在参照图25，所示的是并入残差的框架的图。图25包括来自图23的几个部件，但还包括启用增强层的部件。减法器2506求出输入信号与来自方块2504的上采样深度图之间的差值。增强层编码器2508使用这个信息编码残差信息，并将增强层发送到解码器2510。解码器2510上的增强层解码器2512接收增强层，并将它提供给加法器/组合器2514。加法器2514将增强层与联合双边滤波器上采样方块2312的输出组合，以便将增强、上采样深度图提供给视频合成方块2314。

现在参照图26，示出了利用增强层编码深度图的方块/流程图。方块2602下采样深度图并且方块2604编码下采样深度图。然后方块2606如上所述，使用联合双边滤波器上采样来生成全分辨率深度图。这种上采样遵循与解码器上的最终上采样相同的处理，以产生与解码时产生的深度图相同的深度图。方块2608计算原始深度图与上采样深度图之间的残差。在方块2610上利用增强层编码来编码这个残差，以产生可以，例如，使用可伸缩视频编解码提高解码质量的增强层。使编码下采样深度图和深度图残差两者都包括在位流中，发送给解码器。

现在参照图27，示出了利用增强层解码深度图的方块/流程图。方块2702解码下采样深度图。方块2704使用联合双边滤波器上采样来生成全分辨率深度图。方块2706从，例如，增强层中解码深度图残差。然后方块2708将那个残差加入方块2704生成的全分辨率深度图中。这个增强深度图与解码视频序列一起用在图25中的视频合成方块2314中产生虚拟视图。

应该注意到，虽然这里展示了让联合双边滤波器上采样深度图，但像加权最小二乘（WLS）滤波器那样的其它边缘保护滤波器也可以用于上采样。与使用的滤波器无关，这样的实施例可以将来自视频帧的信息用于上采样，以便虽然只利用低分辨率深度降低编码速率，但可以保护深度质量。

联合三边滤波器上采样

附加滤波可按照本原理用于在保护边缘的同时抑制编码伪像。下文所述的特征之一是利用相应帧中的视频样本之间的相似性计算滤波权重。所提出的联合滤波器可以取代传统去块滤波器。另外，环内滤波器可以是使用去块滤波器和联合滤波器两者的两步处理。还对去块滤波器与联合滤波器之间的自适应选择加以描述。虽然上述的SD模式在边缘边界上还可能存在误差，但三边滤波尤其善于校正这样的误差。

深度图往往存在常称为轮廓的假边缘。这些伪像和假边缘可以是由，例如，作为编码的一部分的量化引起的。为了解决这个问题，可以以考虑来自与深度图相对应的视频的信息的方式滤波重构深度图。这个相应视频往往没有相同的假边缘或伪像，可以将它用于适当滤波重构深度图，以便减少一些假边缘和/或伪像。这通常提供更接近地像原始深度图的重新深度图的滤波版本。这种更接近相似性一般使重新深度图的滤波版本更适合（比未滤波重构深度图）用在诸如，例如，基于深度图像再现（DIBR）中那样的处理中。这种更接近相似性一般还使重新深度图的滤波版本更适合用于根据深度图（或其它深度图）预测其它块。也就是说，更接近相似性通常为较小残差和较高编码效率创造了条件。将重构深度图的滤波版本用作预测符的这最后一个特征是将滤波称为“环内”而不是称为，例如，外部后处理算法的原因。

现在参照图28，示出了是作为深度编码的环内滤波器的联合双边滤波器的图。这个滤波器可以实现成如下面参考图43所述的视频发送系统4300所示的编码器4302的一部分。图28是图6的镜像，但没有SD预测模块并让环内滤波器2802取代去块滤波器。视频参考缓冲器614将信息提供给环内滤波器2802，环内滤波器2802将它与深度序列一起用于滤波和上采样深度图。然后环内滤波器2802将上采样深度图提供给深度参考缓冲器612。

在减法器601上输入深度序列并减去预测符形成残差。然后在方块602和604中变换和量化残差。然后量化元素在605上被熵编码形成位流，并且还在方块606和608上被逆量化和逆变换形成解码残差。在组合器609上将解码残差与适当预测符相加以便形成分区或块（例如）的重构深度。

将从深度中减去形成残差的预测符被显示成取决于在方块624中决定的编码模式的，来自帧内预测或来自位移补偿。帧内预测方块存储产生的重构深度，并且在帧内预测模式下，使用那些重构来计算正在编码的当前区域（块、分区等）的预测符。滤波这些重构，并将滤波版本存储在深度参考缓冲器612中。在位移模式下，位移估计方块618按所需访问（例如）所存储重构，以确定当前区域的运动矢量。位移补偿方块620也按所需访问（例如）所存储重构，并应用所确定运动矢量（例如）找出当前区域的预测符。

传统视频编解码器中的环内滤波器（诸如H.264/AVC中的去块滤波器那样）被使用视频参考缓冲器614的环内滤波器2802取代。将环内滤波器2802称为联合滤波器，因为该环内滤波器使用深度和视频信息。将视频参考缓冲器614加入这些图中，以便可以将视频帧中的样本用于计算滤波权重中。

现在参照图29，示出了用作深度解码的环内滤波器的联合双边滤波器的图。这个滤波器可以实现成如下面参考图44所述的视频接收系统440所示的解码器4406的一部分。图29是图11的镜像，但没有SD预测模块并让环内滤波器2902取代去块滤波器。视频参考缓冲器1122将视频帧提供给环内滤波器2902，使它可以产生解码深度图。

所提出的环内滤波器2902具有“联合双边滤波器”的形式，其中滤波权重由深度图S中的深度样本之间的接近性（proximity）和视频帧I中的同地点样本之间的相似性决定。术语“联合双边滤波器”指的是滤波器获取来自视频帧I的输入同时将权重应用于深度图S。这个处理在环内滤波器方块2902中完成。

注意，一般说来，滤波器的作用的是通过考虑围绕p的指定区域（常称为窗口）中的相邻地点q的数值，并通过将变化权重应用于每个地点q的数值取代地点p的数值。滤波方程的一般形式是求和每个节点q的加权值，然后将那个和值归一化，生成地点p的替代值。提供由两个因子组成的权重，第一个基于p与q之间的接近性，第二个基于与地点p和q相对应的视频样本之间的相似性。这样，权重不受深度图中的假边缘影响。并且，在相应视频值中权重受边缘影响，这往往表示样本（q）与p存在深度差。例如，如果地点q与p存在大视频差，则q也可能存在大深度差，因此，通常不是用作p的深度的替代者的好候选者。于是，q的滤波权重将随视频差增大而变小。

上面在图24中示出了双边的一般性概观。该处理可以在解码器和编码器两者上执行。在（7）中，对于给定样本位置p，滤波输出S′_p是中心在p上的Ω范围内的q位置上的深度样本的加权平均。Ω范围一般称为滤波器的大小，可以是，例如，3×3或10×10窗口。权重根据两种因素确定：通过域滤波器f(||p-q||)确定的p与q之间的距离，以及视频帧中的相应样本值之间的相似性，即，通过范围滤波器g(||I_p-I_q||)确定的I_p与I_q之间的相似性。一般说来，域滤波器将较小权重指定给远离位置p的样本，即，权重随距离||p-q||增大而减小。并且，一般说来，范围滤波器的权重随I_p与I_q之间的差值增大而减小。域滤波器f和范围滤波器g可以是，例如，具有相同或不同特征的高斯滤波器。在这样的情况下，高斯滤波器对于p-q的较大（绝对）值和I_p-I_q的较大（绝对）值返回较小值。

注意，在（7）中，与，例如，深度样本之间的距离，即，||S_p-S_q||不同，（1）中的范围滤波器的输入是||I_p-I_q||，尽管可以设想出其它实施例。可以将滤波器应用于整个深度图。可替代地，像，例如，只应用于边缘区域那样，可以局部应用滤波器。

在获得滤波深度图S′之后，将其分别存储在编码器和解码器中的深度参考缓冲器方块612和1120中，用作其它深度图的预测符。这样，将其描述成环内滤波器。

除了双边滤波器之外，还可以应用除了上述的域滤波器和范围滤波器之外，还并入一个或多个范围滤波器环内滤波处理的联合三边滤波器。这个附加范围滤波器考虑S中的深度样本之间的相似性。这使得滤波权重也取决于p与q地点之间的深度差。这可对于，例如，诸如黑白条纹壁那样具有变化视频值但具有共同深度值的区域中有用。在这样的状况下，即使q上的深度可以良好地替代p上的深度，基于视频差的滤波权重成分也小。在这个实施例中，基于深度差的滤波权重成分大，这将使q地点上的深度的总权重增加。

编码器和解码器方块图仍然与图28和29中的相同，但在“环内滤波器”方块中执行联合三边滤波处理。滤波处理的流程图也不变，只有滤波方程不同。取代使用方程（3），像如下那样计算滤波深度样本：

{S^{'}}_{p} = \frac{1}{K_{p}} Σ_{q = Ω} (S_{q} f (| | p - q | |) g^{I} (| | I_{p} - I_{q} | |) g^{S} (| | S_{p} - S_{q} | |)) - - - (9)

其中K_p＝∑_q∈n(f(||p-q||)g^I(||I_p-I_q||)g^s(||S_p-s_q||))

这些记号在其它方面与上面在方程（3）中所述的相同。给定样本位置p的滤波输出S′_p是中心在p上的Ω范围内的q位置上的深度样本的加权平均。现在对于联合三边滤波器，权重根据三种因素计算：通过域滤波器f(||p-q||)确定的p与q之间的距离、通过范围滤波器g^I(||I_p-I_q||)确定的相应样本值I_p与I_q之间的相似性、和通过另一个范围滤波g^S(||S_p-S_q||)确定的深度样本值S_p与S_q之间的相似性。一般说来，域滤波器将较小权重指定给远离位置p的样本。范围滤波器g^I的权重随I_p与I_q之间的差值增大而减小，类似地，范围滤波器g^S的权重随S_p与S_q之间的差值增大而减小。

上面实施例的滤波器以及其它实现可以适应与上采样和/或下采样一起工作。一种这样的适应类似于将低分辨率深度图和高分辨率视频帧用作输入的参考方程7和图24所述的实现方式。该适应要包括用于深度样本值之间的相似性的另一个范围滤波器。在这种实现方式中，域滤波器（函数“f”）和第二范围滤波器（函数“g^S”）两者使用分别由p/N和q/N决定而不是由p和q决定的变元。一种这样的方程是：

这些项在其它方面如上面参考方程7和9方程所述。其它实现方式可以将，例如，高分辨率深度图和低分辨率视频帧用作输入。

为了用于双边滤波，可以加强几种不同域和范围滤波器设计。例如，高斯滤波和滤波器可以根据特定问题的优化来设计。并非所有的域和范围滤波器都适用于深度信号。例如，最常见高斯滤波器就不良好工作，因为它将引起一定程度的沿边缘模糊，这在纹理图像去噪中是可接受的，但对于深度编码，模糊将使再现视图明显失真。而且，重要的是要考虑到三边滤波的复杂性，因为它作为环内滤波器包括在深度解码器中。在一种实现中，将域滤波器和范围滤波器两者都选成二进制滤波器，这意味着，当差值大于给定阈值时，滤波结果为0，否则为1。因此，围绕要滤波的位置p，域滤波器定义可能要用在求平均处理中，对像素的权重相同的相邻像素的窗口。在这个窗口内，两个范围滤波器识别其深度值S_q与S_p相似、和其图像像素值I_q与I_p相似的像素。与双边滤波相比，三边滤波通过考虑相应纹理视频可以得到更好边界。

在上述编码器和解码器中，传统去块滤波器完全被作为环内滤波器的联合滤波器取代。去块滤波器应该，例如，H.264/AVC中的环内滤波器消除了沿着MB或子MB边界的伪像，尤其在平坦区域内。另一方面，将联合滤波器设置成保护/恢复深度边界。为了解决这些有冲突目标，可以使用与联合滤波一起进行传统去块滤波的两步环内滤波器。这样的组合通常对于某些序列较好，而对于其它序列，应用于环内滤波器较好。

图28和29的编码器和解码器保持不变，环内滤波器现在进行去块滤波和联合滤波两者。现在参照图30，示出了综合去块和联合滤波处理的方块/流程图。方块3002接收重构深度图S和相应视频帧I作为输入。方块3004将去块滤波器应用于深度图S。方块3006开始遍及深度样本p的循环，检验深度图中每个这样的样本。方块3008使用利用来自视频帧的信息的联合滤波器计算滤波样本值S_p′。方块3010确定是否还有深度样本。如果是，则使处理返回到方块3006。如果不是，方块302将滤波深度图S_p发送到深度参考缓冲器，用作其它深度图的预测符。

应该注意，去块和联合滤波的次序可以交换。提出也可以实现传统去块滤波器与联合滤波器之间的切换，以便环内滤波器可以自适应地选择它们。该切换分别包括在显示在图28和29中的编码器和解码器中的“环内滤波器”方块中。现在参照图31，示出了去块滤波器与联合滤波器之间的切换。在方块3102上接收重构深度图S和相应视频帧I作为输入。方块3104检测深度图S和/或视频帧I中的边缘，并将每个MB标记成有边缘或没有边缘。对于深度图S中的每个MB，方块3106确定视频帧中的相应MB及其空间相邻MB是否有边缘。空间相邻MB可以包括正好在上面和左侧的MB。其它实施例也可以考虑在上面和右侧MB。一般说来，这三种MB是将去块滤波器应用于当前MB时处理的MB。这是因为去块滤波器一般处理围绕当前MB的左侧和顶部边界（两侧）的地点。如果存在边缘，则方块3106将联合滤波器应用于MB。如果没有，则方块3106将传统去块应用于MB。作为一种替代，例如，与相邻块是否有边缘无关，只有当当前块MB有边缘时才可以使用环内滤波器。

应该注意到，虽然作为实施例子展示了双边和三边滤波器，但使用来自视频帧的样本信息的概念可以应用于诸如加权最小二乘（WLS）滤波器和去伪像滤波器那样的其它边缘保护去噪滤波器。至此，描述了根据视频帧中的样本值计算权重的用于深度编码的环内滤波器。相同的概念，即，使用来自其它数据源的信息确定滤波权重也可以推广到编码一些其它类型的内容。例如，在可以与传统图像一起编码灰度曝光图的大动态范围（HDR）图像中，可以将联合滤波器应用于根据传统图像的图像样本值计算滤波权重的压缩曝光图。

图32和33画出了各自测试视频的深度编码的R-D（率失真）曲线，其中“H.264/AVC”表示带有去块滤波器的H.264/AVC编码器，和“提出的算法”表示使用所提出的三边滤波器取代H.264/AVC中诸如环内滤波器那样的去块滤波器。在两条R-D曲线中，比率表示用于视图合成的压缩纹理视频和深度（即，再现视图1时的压缩深度图和视图0和视图2的纹理视频序列）的总位速率。由于深度图序列用于再现而不是直接观看，所以可以在使用压缩视图/深度序列的再现视图与使用未压缩视图/深度序列的再现视图之间计算峰信噪比。从模拟结果中可以看出，所提出的三边滤波器对于具有相同编码位速率的再现视频达到大约0.8dB的增益，对于相同再现质量节约了大约10%位速率。

联合滤波中的自适应选择

作为上述方法的一种替代方法，可以实现对视频帧和深度图的两个范围滤波器的自适应选择/组合。这样的替代方法在如下状况下尤其有利：对于具有变化亮度/色度（因此在视频帧中呈现边缘）的对象，预期视频帧的范围滤波器产生较小权重，而在相应深度图中实际上没有边缘。其结果是，在最终加权求平均处理中，对一些有用深度样本的贡献可能减小。但是，下面所述的环内滤波方法可以以有益方式解决这种状况。

将环内滤波方法用于深度编码以便在保护边缘同时抑制编码伪像。联合滤波处理的一个方面是深度图中的样本之间的相似性和相应视频样本之间的相似性的自适应选择/组合。

一个环内滤波器具有“双边滤波器”的形式，其中滤波权重通过深度图S中的深度样本之间的近似性、和深度图S中的深度样本之间的相似性和视频帧I中的同地点样本之间的相似性的自适应选择来确定。自适应选择通过围绕要滤波的地点的深度样本的偏差测量值来确定。在一些步骤将描述一些细节。这个处理在图28和29中的“环内滤波器”方块中进行。

现在参照图34，示出了作自适应选择的双边滤波。方块3402接收重构深度图S和相应视频帧I作为输入。方块3404开始遍及深度图S中的所有深度样本p的循环。方块3406获取围绕深度样本p的偏差测量值V。方块3408使用自适应联合滤波器将那个偏差测量值用于计算滤波样本值S_p′。滤波样本值按如下计算：

其中p和q是样本位置，S是环内滤波之前的重构深度图，S′是滤波深度图，I_p和I_q是视频帧中p和q位置上的像素，K_p是归一化因子，和V(S_q|q∈Ω)是Ω内的深度样本的偏差测量值。

在（10）中，对于给定样本位置p，滤波输出S′_p是中心在p上的Ω范围内的q位置上的深度样本的加权平均。权重根据两种因素确定。第一项是根据p与q之间的距离计算其权重的域滤波器f(||p-q||)。一般说来，域滤波器将较小权重指定给远离位置p的样本，即，权重随距离||p-q||增大而减小。第二项是两个范围滤波器g^I(||I_p-I_q||)与g^S(||S_p-S_q||)之间的自适应选择。一般说来，范围滤波器g^I的权重随I_p与I_q之间的差值增大而减小。类似地，范围滤波器g^S的权重随S_p与S_q之间的差值增大而减小。

自适应选择通过Ω内的深度样本的偏差测量值V确定。当偏差大时，在Ω内很有可能存在边缘，双边滤波器将选择g^I来计算滤波权重，以便利用相应视频帧中的边缘信息（联合双边滤波）。另一方面，当偏差小时，在Ω内更有可能没有边缘，双边滤波器将反而选择g^S来计算滤波权重（传统双边滤波），以便相应视频帧中的亮度/色度的变化不影响滤波结果。存在几个可以供方程（10）考虑的偏差测量值V。如下是这样偏差测量值V的例子：

V(S_q|q∈Ω)＝max(S_q|q∈Ω)-min(S_q|q∈Ω)(11)

V (S_{q} | q &Element; Ω) = \max ({\hat{S}}_{q} | q &Element; Ω) - \min ({\hat{S}}_{q} | q &Element; Ω) - - - (12)

V(S_q|q∈Ω)＝variance((S_q|q∈Ω)(13)

其中是S_q的低通滤波版本。

如果所有深度样本都得到滤波，则方块3410终止循环。如果不是，则在下一个深度样本p上返回到方块3404。如果所有深度样本都得到滤波，则在方块3412上将滤波深度图S′加入深度参考缓冲器中。在获得滤波深度图S′之后，将其存储在图28和29中的“深度参考缓冲器”方块中，以便用作其它深度图的预测符（因此是环内滤波器）。

取代上述的自适应选择，使两个范围滤波器g^I和g^S自适应地与混合函数α组合。取代使用上面的方程（10），方块3208使用：

{S^{'}}_{p} = \frac{1}{K_{p}} \underset{q &Element; Ω}{Σ} S_{q} f (| | p - q | |) (α \cdot g^{I} (| | I_{p} - I_{q} | |) + (1 - α) \cdot g^{S} (| | S_{p} - S_{q})) - - - (14)

这些记号与上述相同。三个滤波器f，g^I和g^S的特征也与上述相同。

可以通过在Ω范围内对深度图的偏差测量值确定混合函数α。与上面的自适应选择类似，优选的是当偏差较大时使用较大α，以便组合权重更依靠相应视频帧中的边缘。类似地，优选的是当偏差较小时使用较小α，因此在组合权重中减小视频帧的影响。可以利用这些特征构成不同α。一些示例性α函数是：

α = \frac{1}{1 + e^{- ϵ (\max (S_{q} | q &Element; Ω) - \min (S_{q} | q &Element; Ω)}} - - - (15)

α = \frac{1}{1 + e^{- ϵ (variance (S_{q} | q &Element; Ω))}} - - - (16)

方程（15）和（16）中的ε将α的灵敏度控制到偏差测量值。

图35和36画出了α随1/(1+e^-εx)的变化，在图33(a)中，ε=0.5，在图33(b)中，ε=5。可以看出，当x增大，混合函数α逼近1。因此，在方程（14）中，范围滤波器g^I使组合权重更占优势。而且，较大的ε使混合函数对偏差测量值更敏感。

现在参照图37，所示的是利用去块滤波器进行自适应滤波的双步环内滤波处理。方块37接收重构深度图S和相应视频帧I作为输入。方块3704将去块滤波器应用于S。然后方块3706开始遍及深度图S中的所有深度样本p的循环。方块3708获取围绕深度样本p的某个范围中的偏差测量值V。通过使用这个偏差测量值，方块3710使用自适应联合滤波器计算滤波样本值S_p′。如上所述，自适应联合滤波器可以使用自适应选择或组合。然后方块3712确定是否还有深度样本要滤波。如果是，使处理返回到方块3406。如果不是，方块3714将滤波深度图放入深度参考缓冲器中。

现在参照图38，示出了在去块滤波器与自适应联合滤波器之间作自适应选择的环内滤波。方块3802接收重构深度图S和相应视频帧I作为输入。方块3804检测深度图S和/或视频帧I中的边缘。然后方块3804将每个MB标记成有边缘或没有边缘。对于深度图中的每个MB，如果视频帧中的相应MB及其空间相邻MB有边缘，则方块3806应用如上所述可以是自适应选择或自适应组合的自适应联合滤波器。如果没有边缘，则方块3806应用传统去块滤波器。

滤波器细节

域滤波器定义中心在地点p上的、其中的样本Sⁿ _q用在滤波处理的空间邻域。它还根据它们到p的距离确定它们的权重。通常，对于远离p的地点，权重较小。为了例示的目的，示出了窗口大小为5×5的域滤波器例子，滤波权重随p与q之间的2D欧几里得（Euclidean）距离指数衰减。例如，权重可以随衰减。下面为（2，2）上的点p提供了权重：

q＝(x，y)	X＝0	X＝1	X＝2	X＝3	X＝4
						Y＝0	0.2431	0.3269	0.3679	0.3269	0.2431
Y＝1	0.3269	0.4931	0.6065	0.4931	0.3269
						Y＝2	0.3679	0.6065	1	0.6065	0.3679
Y＝3	0.3269	0.4931	0.6065	0.4931	0.3269
						Y＝4	0.2431	0.3269	0.3679	0.3269	0.2431

表4

由于估计深度图中的深度值通常是稀疏的（即，它们趋向于聚集在某些深度水平上），所以可以使用简单硬加阈的范围滤波器g^S(||S_p-S_q||)：如果深度值S_q在S_p的某个范围内，则将权重1指定给该深度值；否则，权重是0。

第二范围滤波器g^I(||I_p-I_q||)考虑色（RGB）域中的像素值差而不是只考虑亮度通道。可能存在亮度非常相似但它们的颜色相差相当大的两个区域。如果只考虑亮度距离，则范围滤波器将跨过这样两侧具有不同颜色的边缘地处理。范围滤波器g^I是多达分别工作在R、G和B通道上的3个内核的组合。对于每个内核，权重都随距离指数衰减，可以总结如下：

g^{I} (| | I_{p} - I_{q} | |) = g^{R} (| | R_{p} - R_{q} | |) \cdot g^{G} (| | G_{p} - G_{q} | |) \cdot g^{B} (| | B_{p} - B_{q}) = e^{- | R_{p} - R_{q} | / σ^{R}} e^{- | G_{p} - G_{q} | / σ^{G}} e^{- | B_{p} - B_{q} | / σ^{B}}

其中R_p和R_q分别代表特定像素和给定像素的红色值，G_p和G_q代表绿色值，B_p和B_q代表蓝色值，以及σ^R、σ^G、和σ^B分别代表红色、绿色、和蓝色的自适应衰减因子。

除了在范围滤波器设计中使用颜色信息之外，也可以考虑照射反射模型：对于具有明亮颜色的区域，亮度与具有暗淡颜色的区域相比，在不同照明下变化更显著。较暗区域中的相同绝对差比较亮区域中的相同绝对差更有可能代表不同对象。因此，滤波权重对于较暗区域应该衰减得更快。在这个例子中，根据相应通道在p上的颜色值将单独自适应衰减因子σ用在上述方程中。在图39中例示颜色值（0-255）与σ之间的关系。例如，如果像素p具有红色通道值R_p70，则相应σ^R将是3。

在图40中提供了四种不同衰减函数。对于样本值较小的像素，衰减函数将下降得更快，因此只有具有非常相似值的样本对滤波处理有贡献。

为了示例的目的，设置如下两条准则，以便将范围滤波器g^I确定为不可用和不涉及上述的多边滤波处理中。

1.在视频帧中的5×5窗口（如域滤波器所定义）内，如果所有三种颜色的偏差小于给定阈值，则将这个邻域确定为均匀（homogenous）的。不使用范围滤波器g^I。

2.或者，如果在这个5×5窗口内，所有三个通道的最大值小于给定阈值，则将这个邻域确定为太暗检测不到边缘。不使用范围滤波器g^I。

注意，上面列出的滤波器内核设计只不过是说明所提出滤波手段的一些特征的一些例子。根据相同的一般概念，可以容易地推广到其它滤波器设计，诸如，利用高斯形状的滤波、具有拉普拉斯形状的滤波、在其它色域（HSV、YUV、YCbCr等）上的滤波、和实现自适应衰减函数的可替代方式。

由于深度边缘与视频边缘之间的未对准有时非常大，所以可以使用迭代滤波：在每次迭代时，使用相邻样本来获取加权平均结果。对于较大误差，需要更多次的迭代来校正它们。在域滤波器窗口大小与迭代次数之间存在折衷。对于较大的窗口大小，每次迭代时考虑较多的样本，潜在地提高了纠错的能力，并且因此减少了所需的迭代次数。但是，随着窗口大小增大，将牵涉到更远，并且因此有可能与当前样本较不关联的像素。这将导致较不可靠的滤波结果。解决这种冲突的一种方式是允许用户取决于内容和应用地设置窗口大小和迭代次数。

对于上述滤波处理，存在至少两种可能使用情况：将滤波用作编码器的一部分产生更易于编码的深度图，或将滤波用作深度估计方法的一部分以便使用深度图为任何应用实现更好深度质量。注意，存在像，例如，将滤波处理用在接收和解码的深度图上，以便在进行附加视图的再现/合成之前改进那些深度图那样的其它使用情况。

当将滤波用作编码器的一部分时，滤波然后编码输入估计深度。通过让假轮廓更少和让深度边缘对准得更好，可以在保护再现质量的同时更容易地编码滤波之后的深度图。图41描绘了原始编码器4114与并入多边（ML）滤波4106的新编码器4102之间的比较方案。峰信噪比（PSNR）的基准是使用未压缩深度图的合成视图。

原始编码器4114在视频编码器模块4104上编码捕获的视频并在深度编码模块4108上编码估计的深度。然后在方块4110上解码并在工作在1D模式下的视图合成参考软件（VSRS）方块4112上处理它们。这样就产生了当用于计算PSNR时与不同合成视图相比较的合成视图。ML编码器4102遵循相同处理，但在深度编码之前加入ML滤波模块4106。一个单独分支用于为预测目的提供编码视频信号。

另一种可替代方法是使用滤波深度图替代估计深度图。换句话说，在深度估计的立体匹配之后，接着利用上面提出的一种或多种滤波方法处理估计深度图，以便使质量更好。在这种情形下，将这些滤波深度图取作编码和再现的输入。图42描绘了将多视角加深度（MVD）输入的不同集合用于编码的比较方案。

方块4200代表未ML滤波的输入。捕获的视频在视频编码方块4206上编码，而估计的深度在深度编码4208上使用视频编码方块4206的结果来编码。然后在方块4210上以原始深度的编码速率解码这些编码信号。VSRS1D方块4212使用解码信号产生合成视频。上轨映射（mirror）下轨，但方块4202使用ML滤波来处理估计深度。然后深度编码方块4208编码滤波深度，随后由方块4210以ML滤波深度的编码速率解码该滤波深度。

现在参照图43，所示的是可以应用上述特征和原理的视频发送系统/装置4300。视频发送系统4300可以是，例如，使用诸如，例如，卫星、电缆、电话线或地面广播那样的多种媒体的任何一种发送信号的头端或发送系统。该发送可以在互联网或一些其它网络上进行。视频发送系统4300能够生成和输送，例如，视频内容和深度。

视频发送系统4300包括编码器4302和能够发送编码信号的发送器4304。编码器4302接收可以包括图像和深度信息两者的视频信息，并根据视频信息生成编码信号。编码器4302可以是，例如，上面详述的编码器之一。编码器4302可以包括子模块，这些子模块包括，例如，接收各种信息并将它们组装成结构化格式以便加以存储或发送的组装单元。各种信息可以包括，例如，编码或未编码视频、编码或未编码深度信息、和诸如，例如，运动矢量、编码模式指示符、和语法元素那样的编码或未编码元素。

发送器4304可以，例如，适于发送含有代表编码画面和/或与之有关的信息的一个或多个位流的节目信号。典型的发送器执行诸如，例如，提供纠错编码、交织信号中的数据、将信号中的能量随机化、和使用调制器4306将信号调制成一个或多个载波的一个或多个那样的功能。发送器4304可以包括天线（未示出），或可以与其交接。并且，发送器4304的实现方式可以包括调制器，或受调制器限制。

现在参照图44，示出了可以应用上述特征和原理的视频接收系统/装置4400。视频接收系统4400可以配置成在诸如，例如，卫星、电缆、电话线或地面广播那样的多种媒体上接收信号。该信号可以在互联网或一些其它网络上接收。

视频接收系统4400可以是，例如，蜂窝式电话、计算机、机顶盒、电视机、或接收编码视频并提供，例如，解码视频以便向用户显示或以便存储的其它设备。因此，视频接收系统4400可以将它的输出提供给，例如，电视机的屏幕、计算机监视器、计算机（用于存储、处理或显示）、或一些其它存储、处理或显示设备。

视频接收系统4400能够接收和处理包括视频信息的视频内容。视频接收系统4400包括能够接收诸如，例如，在本申请的实现中所述的信号那样的编码信号的接收器4402、和能够解码接收信号的解码器4406。

接收器4402可以，适于接收含有代表编码画面的多种位流的节目信号。典型的发送器执行诸如，例如，接收调制和编码数据信号、使用解调器4404从一个或多个载波中解调数据信号、对信号中的能量去随机化、对信号的数据去交织、和纠错解码信号的一种或多种那样的功能。接收器4402可以包括天线（未示出），或可以与其交接。发送器4402的实现可以包括解调器，或受解调器限制。

解码器4406输出包括视频信息和深度信息的视频信号。解码器4406可以是，例如，上面详述的解码器之一。

在图43中将系统4300的输入列出成“输入视频”，和在图44中将来自系统4400的输出列出成“输出视频”。应当清楚，至少在这些实现中，这些视频指的是包括用在生成三维视图中的深度信息的视频。

本原理采用给定地点的“视频”。提及“视频”可以包括各种视频成分或它们的组合的任何一种。这样的成分或它们的组合包括，例如，亮度、色度、Y（YUV或YCbCr或YPbPr的Y）、U（YUV的U）、V（YUV的V）、Cb（YCbCr的Cb）、Cr（YCbCr的Cr）、Pb（YPbPr的Pb）、Pr（YPbPr的Pr）、红色（RGB的红色）、绿色（RGB的绿色）、蓝色（RGB的蓝色）、S-Video、和这些成分的任何一种的补色或原色。

色度往往被二次采样，这可能需要划分p和q以便适当索引色度数据的阵列。例如，如果对色度二次采样4次，为四像素2×2区域提供一个值，则p和q的每一个可能需要被除以2，以便适当索引色度阵列。

这些各种成分的每一种可以提供可用在对给定地点的深度值加权中的信息。例如，p和q的颜色和/或亮度可以具有相似值，并且，即使在深度图中在p和q之间存在假轮廓，在p和q上真正的深度也可能相同。在一些状况下，诸如例如，当颜色不变（和真正深度不变）但亮度变化时那样，颜色可能更有用。在一些状况下，诸如例如，当亮度不变（和真正深度不变）但颜色变化时那样，亮度可能更有用。另外，在各种状况下，给予特定颜色以更大权重。例如，在一种实现方式中，将蓝色成分用在天空的区域中，将绿色成分用在草地的区域中。

其它实现方式考虑给定像素地点的多种视频成分，并以多种方式组合多种视频成分。例如，一种实现方式考虑三种视频成分，提供三个潜在加权因子，并将三个加权因子的平均值用作最终加权因子。另一种实现方式考虑三种视频成分，提供三个潜在加权因子，并将三个加权因子的中项（mean）用作最终加权因子。另一种实现方式考虑三种视频成分，提供三个潜在加权因子，并将相互最接近的两个加权因子的平均值用作最终加权因子。这最后一种实现方式考虑了偏远的潜在加权因子产生误导信息，因此忽略它。

本原理从而提供了具有特定特征和方面的一种或多种实现。尤其，示出了通过深度图和相应视频帧中的边缘信息的自适应选择/组合确定权重的用于深度编码的环内滤波器。相同的高级概念，即，使用来自其它数据源的信息自适应地确定滤波权重也可以推广到编码其它类型的内容。例如，在可以与传统图像一起编码灰度曝光图的大动态范围（HDR）图像中，可以将自适应联合滤波器应用于根据图像样本值计算滤波权重的压缩曝光图。而且，提供了与滤波深度图以便使边缘与相应视频图像中的边缘更好对准有关的几种实现方式。但是，可以在本公开的范围内设想出这些实现和附加应用的变型，以及所述的实现的各个特征和方面可以适用于其它实现方式。

例如，在本申请中所述的概念和实现方式可以应用于视差图以及深度图。在视差图中，前景对象通常具有与背景对象不同的视差值，因此在视差图中边缘也是明显的。本原理也可以在编码视频和/或编码其它类型数据的背景下使用。另外，这些实现和特征可以在标准的背景下使用，或适合用在标准的背景下。几种这样的标准是H.264/MPEG-4AVC(AVC)、用于多视角编码（MVC）的AVC扩展、用于可伸缩视频编码（SVC）的AVC扩展、和用于3-D视频编码（3DV）和用于高性能视频编码（HVC）的建议MPEG/JVT标准，但也可以使用其它标准（现有或将来）。当然，这些实现和特征无需在标准下使用。

提到本原理的“一个实施例”、“实施例”、“一种实现方式”或“实现方式”以及它们的其它变型是指结合所述实施例描述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，在说明书各处出现的短语“在一个实施例中”、“在实施例中”、“在一种实现方式中”或“在实现方式中”以及任何其它变种的出现不一定都指代相同的实施例。

另外，本申请或其权利要求书可能提到“确定”各种信息。确定信息可以包括，例如，估计信息、计算信息、预测信息、或从存储器中检索信息的一种或多种。

应当认识到，例如在“A/B”、“A和/或B”和“A和B的至少一个”的情况中对于术语“/”、“和/或”和“至少一个”的使用意欲包括只对第一个列出选项(A)的选择、只对第二个列出选项(B)的选择、或者对两个选项(A和B)的选择。作为另一示例，在“A、B和/或C”、“A、B和C的至少一个”、和“A、B或C的至少一个”的情况中，这种措辞意欲包括只对第一个列出选项(A)的选择、只对第二个列出选项(B)的选择、只对第三个列出的选项(C)的选择、只对第一个和第二个列出选项(A和B)的选择、只对第一个和第三个列出选项(A和C)的选择、只对第二个和第三个列出选项(B和C)的选择、或者对全部三个选项(A和B和C)的选择。如本领域和相关领域普通技术人员容易认识到的那样，这可以被扩展用于很多列出的项目。

另外，许多实现可以在，例如，编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的前处理器的一个或多个中实现。并且，其它实现也可以通过本公开设想出来。

本文所述的实现方式可以以，例如，方法或进程、装置、软件程序、数据流、或信号的形式实现。即使只在单种实现形式的背景下讨论（例如，只作为方法来讨论），所讨论的实现方式或特征也可以以其它形式（例如，装置或程序）实现。装置可以以，例如，适当硬件、软件、或固件的形式实现。方法可以在，例如，像例如处理器那样的装置中实现，处理器一般指处理设备，包括，例如，计算机、微处理器、集成电路、或可编程逻辑设备。处理器还包括诸如例如，计算机、蜂窝式电话、便携式/个人数据助理（“PDA”）、和有助于在最终用户之间传送信息的其它设备那样的通信设备。

本文所述的各种处理器和特征的实现可以具体化在多种不同装备或应用程序，尤其，例如，与数据编码、数据解码、视图生成、深度处理、和图像和相关深度和/或视差图的其它处理相联系的装备或应用程序中。这样装备的例子包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的前处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、蜂窝式电话、PDA、和其它通信设备。应当清楚，该装置可以是移动的，甚至安装在机动车中。

另外，这些方法可以通过由处理器执行的指令来实现，这样的指令（和/或通过实现方式产生的数据值）可以存储在诸如例如，集成电路、软件载体或诸如例如，硬盘、小型盘、随机访问存储器（“RAM”）或只读存储器（“ROM”）那样的其它存储设备那样的处理器可读介质上。这些指令可以形成有形地具体化在处理器可读介质上的应用程序。这些指令可以处在，例如，硬件、固件、软件、或它们的组合体中。这些指令可以在，例如，操作系统、独立应用程序、或它们的组合体中找到。因此，可以将处理器表征成，例如，配置成执行进程的设备和包括含有执行进程的指令的处理器可读介质（像存储设备那样）的设备。并且，除了指令之外或替代指令，处理器可读介质可以存储通过实现方式产生的数据值。

对于本领域的普通技术人员来说，显而易见，这些实现可以产生格式化成携带可以，例如，存储或发送的信息的多种信号。该信息可以包括，例如，执行方法的指令、或通过所述实现之一产生的数据。例如，信号可以被格式化成携带写入或读取编码标准的语法的规则作为数据，或携带通过实施例写入的实际语法值作为数据。这样的信号可以被格式化成，例如，电磁波（例如，使用频谱的射频部分）或基带。格式化可以包括，例如，编码数据流和将编码数据流调制在载波上。信号携带的信息可以是，例如，模拟或数字信息。众所周知，可以在多种不同有线或无线链路上发送信号。可以将信号存储在处理器可读介质中。

本文描述了许多实现方式。不过应该明白，可以作出各种修改。例如，可以组合，补充，修改，或除去不同实现的一些元素以形成其它实现。另外，本领域的普通技术人员应该明白，可以用其它结构和进程取代本文公开的那些，所得实现方式以至少基本相同的方式执行至少基本相同的功能，以获得与本文公开的实现至少基本相同的结果。于是，这些和其它实现可以通过本申请设想出来。

Claims

1.一种编码方法，包括：

访问深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息；

将所述深度画面的所述部分划分成多个分区；

根据所述图像画面细化所述多个分区，以提供细化分区；以及

根据所述细化分区编码所述深度画面的所述部分，以产生编码部分，

其中对于所述多个分区中的给定像素地点，所述细化包含：

形成给定像素的相似区，如果差值低于阈值，则所述相似区包括特定像素地点，所述差值是图像中特定像素地点上的像素的强度与图像中与给定像素地点相对应的像素的强度之间的差值；

确定所述多个分区中相似区最重叠的分区；以及

将给定像素地点指定给确定的分区。

2.如权利要求1所述的方法，进一步包含将单个分立值指定给每个细化分区作为细化分区中的像素的强度的代表值，其中所述编码包含编码单个分立值。

3.如权利要求2所述的方法，其中指定单个分立值包含：

将第一细化分区的左上角值作为单个数值用于第一细化分区；以及

将第二细化分区的右下角值作为单个数值用于第二细化分区。

4.如权利要求2所述的方法，其中：

所述划分包含按照多个划分选项之一将所述深度画面的所述部分划分成多个分区；以及

所述编码包含编码所述多个划分选项之一的指示符。

5.如权利要求1所述的方法，其中：

所述编码包含编码所述多个划分选项之一的指示符。

6.如权利要求5所述的方法，其中所述划分包含选择如下划分选项之一：(1)大小相等的右半部和左半部；(2)大小相等的上半部和下半部；(3)被延伸在所述部分的两个角之间的向前对角线划分的大小相等分段；以及(4)被延伸在所述部分的两个角之间的向后对角线划分的大小相等分段。

7.如权利要求5所述的方法，其中所述划分包含选择使失真函数最小的划分选项。

8.如权利要求1所述的方法，其中所述访问深度画面的一部分包含访问代表画面区域之间的边缘的深度画面的一部分。

9.一种编码装置，包括：

访问深度画面的一部分的部件，所述深度画面包括指示图像画面中的相应地点的深度的信息；

将所述深度画面的所述部分划分成多个分区的部件；

根据所述图像画面细化所述多个分区，以提供细化分区的部件；以及

根据所述细化分区编码所述深度画面的所述部分，以产生编码部分的部件，

其中对于所述多个分区中的给定像素地点，所述细化包含：

确定所述多个分区中相似区最重叠的分区；以及

将给定像素地点指定给确定的分区。

10.一种包含处理器的装置，所述处理器包括：

将所述深度画面的所述部分划分成多个分区的部件；

其中对于所述多个分区中的给定像素地点，所述细化包含：

确定所述多个分区中相似区最重叠的分区；以及

将给定像素地点指定给确定的分区。

11.一种包含一个或多个编码器的装置，所述编码器包括：

将所述深度画面的所述部分划分成多个分区的部件；

其中对于所述多个分区中的给定像素地点，所述细化包含：

确定所述多个分区中相似区最重叠的分区；以及

将给定像素地点指定给确定的分区。

12.一种编码装置，包括：一个或多个编码器

所述一个或多个编码器包括：

将所述深度画面的所述部分划分成多个分区的部件；

根据所述细化分区编码所述深度画面的所述部分，以产生编码部分的部件；以及

配置成调制包括编码部分的信号的调制器，

其中对于所述多个分区中的给定像素地点，所述细化包含：

确定所述多个分区中相似区最重叠的分区；以及

将给定像素地点指定给确定的分区。

13.一种解码方法，包括：

访问编码深度画面的一部分，所述深度画面包括指示图像画面中的相应地点的深度的信息，以及所述编码包括指示所述部分的多个分区的强度值的一个或多个数值指示符的编码；

识别所述多个分区中的至少一个分区；

根据所述图像画面细化所述至少一个分区以便提供细化分区；

解码所述一个或多个数值指示符的编码；以及

根据解码的所述一个或多个数值指示符为所述细化分区中的像素确定数值，

其中对于所述多个分区中的给定像素地点，所述细化包含：

确定所述多个分区中相似区最重叠的分区；以及

将给定像素地点指定给确定的分区。

14.如权利要求13所述的方法，其中：

对于细化分区，所述一个或多个数值指示符包含提供所述细化分区中的像素的强度的代表值的单个数值的指示符；以及

确定所述细化分区中的像素的数值包含根据所述代表值确定所述数值。

15.如权利要求14所述的方法，其中：

对于细化分区，所述一个或多个数值指示符包含所述细化分区中的像素的强度的多个指示符；以及

16.如权利要求13所述的方法，其中识别多个分区的至少一个基于默认划分。

17.如权利要求13所述的方法，其中：

所述访问编码进一步包括指示用在将所述部分划分成多个分区中的多个划分选项之一的划分指示符的编码；

所述方法进一步包含解码所述划分指示符的编码；以及

识别多个分区的至少一个基于解码的划分指示符。

18.一种解码装置，包括：

访问编码深度画面的一部分的部件，所述深度画面包括指示图像画面中的相应地点的深度的信息，以及所述编码包括指示所述部分的多个分区的强度值的一个或多个数值指示符的编码；

识别所述多个分区中的至少一个分区的部件；

根据所述图像画面细化所述至少一个分区以便提供细化分区的部件；

解码所述一个或多个数值指示符的编码的部件；以及

根据解码的所述一个或多个数值指示符为所述细化分区中的像素确定数值的部件，

其中对于所述多个分区中的给定像素地点，所述细化包含：

确定所述多个分区中相似区最重叠的分区；以及

将给定像素地点指定给确定的分区。

19.一种包含处理器的解码装置，所述处理器包括：

识别所述多个分区的至少一个分区的部件；

解码所述一个或多个数值指示符的编码的部件；以及

其中对于所述多个分区中的给定像素地点，所述细化包含：

确定所述多个分区中相似区最重叠的分区；以及

将给定像素地点指定给确定的分区。

20.一种包含解码器的装置，所述解码器包括：

识别所述多个分区中的至少一个分区的部件；

解码所述一个或多个数值指示符的编码的部件；以及

其中对于所述多个分区中的给定像素地点，所述细化包含：

确定所述多个分区中相似区最重叠的分区；以及

将给定像素地点指定给确定的分区。

21.一种解码装置，包括：

配置成解调包括编码深度画面的一部分的信号的解调器，所述深度画面包括指示图像画面中的相应地点的深度的信息，以及所述编码包括指示所述部分的多个分区的强度值的一个或多个数值指示符的编码；以及

包括如下部件的解码器：

访问所述深度画面的所述部分的所述编码的部件；

识别所述多个分区中的至少一个分区的部件；

解码所述一个或多个数值指示符的编码的部件；以及

其中对于所述多个分区中的给定像素地点，所述细化包含：

确定所述多个分区中相似区最重叠的分区；以及

将给定像素地点指定给确定的分区。

22.一种深度画面的处理方法，包括如下步骤：

滤波所述部分以产生滤波深度部分，其中所述滤波深度部分中的给定像素基于所述部分的一个范围内的像素的数值，以及产生给定像素包括通过基于如下因素的权重来加权所述范围内的特定像素的数值：

(i)从特定像素的地点到所述部分中与给定像素相对应的像素的地点之间的距离，该距离基于随着特定像素与给定像素之间的距离的增大而指数衰减的函数；

(ii)特定像素的数值与所述部分中与给定像素相对应的像素的数值之间的深度差；以及

(iii)图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差，该图像差基于随着特定像素与给定像素的颜色值之间的差的增大而指数衰减的函数，

其中将所述深度画面的所述部分划分成多个分区；

根据所述图像画面细化所述多个分区，以提供细化分区。

23.如权利要求22所述的方法，其中所述滤波将所述部分缺乏的、来自所述图像画面的相应部分的边缘细节提供给所述滤波深度部分。

24.如权利要求22所述的方法，其中所述函数是：

e^{- | | p - q | | / 2},

其中p是特定像素的地点和q是给定像素的地点。

25.如权利要求22所述的方法，其中所述函数是：

e^{- | R_{p} - R_{q} | / σ^{R}} e^{- | G_{p} - G_{q} | / σ^{G}} e^{- | B_{p} - B_{q} | / σ^{B}},

26.如权利要求22所述的方法，其中迭代地进行滤波，以便在每次迭代时，将相邻样本用于获取加权平均结果。

27.如权利要求26所述的方法，其中用户可以选择迭代次数以及窗口大小，该窗口大小确定有多少相邻样本被考虑。

28.一种包含如下部件的滤波器：

访问深度画面的一部分的部件，所述深度画面包括指示图像画面中的相应地点的深度的信息；以及

滤波所述部分以产生滤波深度部分的部件，其中所述滤波深度部分中的给定像素基于所述部分的一个范围内的像素的数值，以及产生给定像素包括通过基于如下因素的权重来加权所述范围内的特定像素的数值：

(iii)图像画面中与特定像素的地点相对应的像素的数值与图像画面中与给定像素的地点相对应的像素的数值之间的图像差，该图像差基于随着特定像素与给定像素的颜色值之间的差的增大而指数衰减的函数

其中将所述深度画面的所述部分划分成多个分区；

根据所述图像画面细化所述多个分区，以提供细化分区。