CN102682446A - 使用自适应联合双边滤波器生成稠密深度图的设备和方法 - Google Patents

Abstract

本发明提供了使用自适应联合双边滤波器生成稠密深度图的设备和方法。所述方法包括：将联合双边滤波器应用于第一深度图以生成第二深度图，其中所述联合双边滤波器的至少一个滤波器权重是基于由所述第一深度图表示的图像的内容来适配的，并且所述第二深度图具有比所述第一深度图高的分辨率。

Description

使用自适应联合双边滤波器生成稠密深度图的设备和方法

技术领域

本发明的实施例一般涉及深度图生成，更具体地涉及使用自适应联合双边滤波器生成稠密深度图的设备和方法。

背景技术

一般地，双边滤波器被用于图像处理以提供图像的保持边缘的平滑。双边滤波器提供图像的域(domain)滤波和范围(range)滤波两者以平滑图像内容，而仍维持图像内对象的边缘。但是，由于双边滤波涉及通过在大片邻居像素上估计像素值的加权和来更新像素值，因此这种滤波需要相当大的计算资源和长时间来完成计算。

此外，深度图表示相对于给定的焦平面的图像中的深度。焦平面通常位于图像的主要物体上，但是该平面(即当任意选择时的基准平面)可以位于场景内的任意位置。深度图则将相对于该平面的对象距离表示为正或负值，值的大小表示离平面的距离，符号表示对象位于基准平面之前还是之后。深度图通常是使用诸如激光或超声测距仪之类的测距技术以及诸如视差处理之类的成像技术来创建的。深度图可使用联合双边滤波来增强。联合双边滤波的目的是既通过平坦区域中深度值的平滑来去除反常深度值又改进深度图的空间分辨率和深度分辨率。一般地，双边滤波比较慢，并且现有的优化处理的方法采用大量额外存储器，或者采用可能产生错误结果的近似。

某些图像处理技术利用深度图来增强图像处理结果。例如，深度图在前景/背景分解、面部识别、对象跟踪等方面有用。深度图提供能够用于将图像分解成与其在图像内的深度有关的组成成分的深度信息。然而，使用低分辨率深度图来进行图像处理导致处理的精度和质量的严重损失。

因此，存在对用于高效地生成稠密深度图的设备和方法的需要。

发明内容

实施例一般包括用于生成稠密深度图的设备和方法。在一个实施例中，该方法包括将联合双边滤波器应用于第一深度图以生成第二深度图，其中联合双边滤波器的至少一个滤波器权重基于由第一深度图表示的图像的内容来适配，并且其中第二深度图具有比第一深度图更高的分辨率。

注释

DL_i，j：较低分辨率深度图中坐标(i，j)的像素的深度值

DH_i，j：较高分辨率深度图中坐标(i，j)的像素的深度值

X，Y：较高分辨率深度图中当前像素的坐标

i，j：较低分辨率深度图中细化窗口中的像素的坐标

IH_X，Y：来自较高分辨率图像的当前像素(X，Y)的像素强度

IL_i，j：来自较低分辨率图像的像素(i，j)的强度

WD_{X，Y，i，j}：基于像素(X，Y)和像素(i，j)之间的距离的权重

DD_{X，Y，i，j}：像素(X，Y)和像素(i，j)之间的距离项

DI_{X，Y，i，j}：用于像素(X，Y)和像素(i，j)之间的强度差的差项

WI_{X，Y，i，j}：基于像素(X，Y)和像素(i，j)之间的强度差的权重

L_{X，Y，i，j}：像素(X，Y)和像素(i，j)之间的强度差

M：用于第一细化方法的尺寸调整因子

N：用于第二细化方法的尺寸调整因子

P：将图像带入深度图的分辨率的尺寸调整因子

hs1：用于第一细化方法的细化窗口的一半尺寸

hs2：用于第二细化方法的细化窗口的一半尺寸

附图说明

所以，上面概述的发明的更具体描述、本发明的上述特征能够被详细理解的方式可参考实施例来获得，其中某些实施例在附图中示出。然而注意，附图仅例示了发明的典型实施例，因此不应理解为限制其范围，因为发明可承认其他等效实施例。

图1是根据一个或多个实施例的使用自适应双边滤波器来生成稠密深度图的系统的框图。

图2是表示根据一个实施例的深度图细化方法的功能框图。

图3是例示了根据一个实施例的用于处理深度图以生成稠密深度图的方法的流程图。

图4是例示了根据一个实施例的第一细化方法的流程图。

图5是例示了根据实施例的用于第一均匀性(uniformity)测试的方法的流程图。

图6是表示根据实施例的在第一细化方法中使用的子采样图像的功能框图。

图7是例示了根据一个实施例的第二细化方法的流程图。

图8是例示了根据实施例的用于第二均匀性测试的方法的流程图。

图9是表示根据实施例的在第二细化方法中使用的子采样图像的功能框图。

具体实施方式

图1是根据一个或多个实施例的使用自适应双边滤波器来生成稠密深度图的系统100的框图。系统100包括计算机110和图像源112以及深度图源114。计算机110包括中央处理单元(CPU)120、支撑电路130和存储器140。CPU 120可包含一个或多个市面上买得到的辅助数据处理和存储的微处理器或微控制器。各种支撑电路130辅助CPU 120的操作并且可包括时钟电路、总线、电源、输入/输出电路等。存储器140包括只读存储器、随机存取存储器、盘驱动存储器、光存储装置、可移除存储装置等。存储器140包括操作系统150、深度图处理器160、图像处理器170、中间(interim)深度图182、第一深度图180、第二深度图184、图像190和子采样版图像192。

计算机110与图像源112和深度图源114通信以分别获得图像190和第一深度图180。图像源112是捕捉图像的设备，例如数字相机、视频相机等。深度图源114是生成与图像190有关的第一深度图180的电路或设备。深度图源114可以是诸如激光或超声测距电路之类的深度传感器电路。在其他实施例中，源114可以是使用视差(parallax)处理从两个或更多个图像计算深度的电路。用于深度图生成的其他基于软件和/或硬件的技术可被使用。

从深度图源114获得的第一深度图180和从图像源112获得的图像190被存储在存储器140中。深度图处理器160例如参考图2由深度图细化方法200实施。深度图处理器160生成中间深度图182和稠密深度图184(这里也称为第二深度图)。第一深度图180是由深度图处理器160例如通过实施深度图细化方法200来细化的，以生成相继具有更高分辨率的深度图、中间深度图182然后是第二深度图184。

第一深度图180是例如表示相对于焦平面的图像190中的深度的低分辨率深度图。在其他实施例中，深度图可按绝对深度来表示，并且任意平面可被视为基准平面。在当前的实施方式中，焦平面通常位于图像190的主要物体上。然而，焦平面可位于任意位置。表示焦平面之后的对象或面的所有像素位置被分配极性或符号(例如，负)和表示离焦平面的距离的值。表示焦平面之前的对象的所有像素位置被分配极性(例如，正)和表示离焦平面的距离的值。

图像处理器170生成子采样版图像192。图像处理器170通过实施子采样对图像190进行编码，以生成低分辨率子采样版图像192。本领域技术人员将理解，子采样可通过诸如基于块的像素平均等各种已知子采样技术来实施。子采样版图像192包括变化分辨率的子采样图像(图1中未示出)，例如具有高分辨率1/P的子采样图像192a、例如具有中分辨率1/PN的子采样图像192b、例如具有低分辨率1/PMN的子采样图像192c(其中M、N和P是整数值)。在发明的一个实施例中，子采样图像被用于引导(适配)细化处理，所述细化处理用于从第一(输入)深度图创建稠密深度图。更具体地，子采样图像被用于适配双边滤波器，所述双边滤波器用于细化低分辨率深度图以形成稠密深度图。

作为示例，M＝4，N＝2，P＝8，所以高分辨率对应于输入图像的1/4分辨率，中分辨率对应于输入图像的1/16分辨率，并且低分辨率对应于输入图像的1/64分辨率。

图2是表示根据一个实施例的深度图细化方法200的功能框图。深度图细化方法200的输入是全分辨率图像190和第一深度图180。在图2例示的示例中，全尺寸图像190在步骤202被按1/P子采样以形成第一子采样图像192a(1/P图像)。第一子采样图像192a在步骤204被按1/N子采样以形成第二子采样图像192b(1/PN图像)。第二子采样图像192b在步骤206被按1/M子采样以形成第三子采样图像192c(1/PMN图像)。最低分辨率子采样图像192c具有与第一深度图180的低分辨率相匹配的分辨率。本领域技术人员将理解，子采样图像192c的分辨率与使用深度细化方法200细化的深度图的分辨率相称。

在块208a和208b，子采样图像192c和第一深度图180按需要被用像素填充，以创建相等数目像素的图像。例如，由于子采样图像192c和第一深度图180具有相同的分辨率1/PMN，因此子采样图像192c和第一深度图180二者被分别用近似图像和深度图边界的若干像素和深度图值填充，以使得在像素和深度图值中测得的每个图像的尺寸相同。在某些实施例中，填充不是必需的。经填充的子采样图像210和第二子采样图像192b被用于通过第一信号处理214来细化经填充的第一深度图212。下面参考图4来详细描述步骤214处的第一细化处理。第一细化处理214产生具有比第一深度图180高的分辨率的中间深度图182。中间深度图182的分辨率例如是1/PN，即，与第二子采样图像192b相同的分辨率。

在步骤216，中间深度图182按需要被填充，并且在步骤218，第二子采样图像192b被填充以生成具有与中间深度图182中包含的深度图值相同像素数目的图像。经填充的深度图220和经填充的图像222被耦合到第二细化步骤224。在第二细化步骤224，经填充的图像222和第一子采样图像192a被用于细化经填充的中间深度图220。下面参考图7来详细描述第二细化处理224。第二细化处理224产生第二深度图184。第二深度图184具有比第一深度图180和中间深度图182二者高的深度图值密度，即与第一子采样图像192a的分辨率相等的分辨率。如果必要的话，第二深度图184和第一子采样图像192a可分别在步骤226和228被填充以分别形成经填充的深度图230和经填充的图像232。

虽然，在图2例示的实施例中仅示出两个细化步骤，但是深度细化方法200可被任何数目的额外细化步骤扩展，如进一步细化处234所指示的。进一步细化处理234涉及针对每个所需的额外细化重复第二细化步骤。重复处理可涉及额外的自适应参数调谐和/或分辨率改变。

图3是例示了根据一个实施例的用于处理深度图以生成稠密深度图的方法300的流程图。方法300开始于步骤302并前进到步骤304。在步骤304，图像(例如，图1的图像190)被从存储器访问(或从图像源递送)。在步骤306，图像被子采样以生成子采样版图像(例如，图1的子采样版图像192)。在步骤308，子采样版图像被存储在存储器中。在步骤310，适当的子采样图像被从子采样版本中选择。根据某些实施例，子采样图像是根据要细化的深度图的分辨率来选择的。例如，第三子采样图像192c和第二子采样图像192b被选择以细化具有1/PMN分辨率的第一深度图(例如，图1的深度图180)。在步骤312，被选择的第三子采样图像192c可按需要被填充。

在步骤314，第一深度图180被从存储器访问，或者由深度图源提供。在步骤316，第一深度图180可按需要被填充以生成经填充的第一深度图。在步骤318，例如与图2的步骤214处的第一细化类似的第一细化方法被执行。下面参考图4来详细描述第一细化方法。在步骤320，由第一细化方法生成的中间深度图(例如，图1的中间深度图182)可按需要被填充。在步骤322，其他适当的子采样图像(图像192b和192a)被从子采样版图像中选择。子采样图像是根据中间深度图的分辨率来在步骤322选择的。例如，具有1/P分辨率的子采样图像192a被选择以引导中间深度图182的细化。在步骤324，被选择的子采样图像192b可按需要被填充。

在步骤326，第二细化方法(例如，图2的步骤224处的细化方法)被执行。下面参考图7来详细描述第二细化方法。在步骤328，由第二细化方法生成的第二深度图(例如，图1的第二深度图184)可按需要被填充。在步骤330，经填充的第二深度图被存储以供进一步处理并且方法300结束于步骤332。

图4是例示了根据一个实施例的实施图3的步骤326的第一细化方法400的流程图。第一细化方法400开始于步骤402并前进到步骤404。在步骤404，细化窗口在子采样图像(例如，图2的第二子采样图像192b和第三子采样图像192c)中被建立。在步骤404，相应的细化窗口(双边滤波窗口)在第一深度图(例如，第一深度图180)中被定位。在步骤407，计数器被设为零。该计数器值被用于下面将描述的第二均匀性测试。在步骤406，第一均匀性测试被可选地执行。可执行第一均匀性测试来判断深度图内的细化窗口是否包含均匀的一组深度图值。下面参考图5来描述第一均匀性测试的方法。如果方法400认为窗口内容是均匀的，则方法400前进到步骤410。如果窗口内容被认为不均匀，则方法400前进到步骤418(或者可选地，步骤409)而不更新深度图值。可选的平滑检查和实施的方法在下面详细描述。

在步骤410，用于双边滤波器的强度权重WI被计算，并且在步骤412，用于双边滤波器的距离权重WD被计算。就此而论，使用在子采样图像中建立的细化窗口来计算强度权重WI和距离权重WD。下面参考图6来详细描述WI和WD的计算方法。然而，本领域技术人员将理解，由于要处理的像素数目在低分辨率子采样图像中较小，因此使用具有低分辨率的子采样图像来计算WI和WD降低了计算时间和成本。通过步骤406至422，使用双边滤波器公式(更一般的版本由公式1给出)来计算细化窗口中心处的深度图值。在步骤416，更新后的深度图值被临时存储。随着窗口中的每个深度图值被处理，中心位置值的存储值被更新。

在步骤418，判断细化窗口中是否存在更多的深度图值待处理。如果细化窗口中存在更多的深度图值(选项“是”)，则在步骤420获得下一深度图值，方法400返回并重复步骤408至416。在该实施例中，窗口尺寸为离中心值±hs1(对于第二细化方法，±hs2)的位置。通过这种方式，窗口内的深度图值被加权并求和以提供用于更密的深度图的新值。如果细化窗口中再没有深度图值了(选项“否”)，则方法400前进到步骤422。

此时(选项“否”)，416中存储的值由下面的项给出：

$\underset{i=X/M-\mathrm{hs}1}{\overset{X/M+\mathrm{hs}1}{\mathrm{\Σ}}}\underset{j=Y/M-\mathrm{hs}1}{\overset{Y/M+\mathrm{hs}1}{\mathrm{\Σ}}}({\mathrm{DL}}_{i,j}\×{\mathrm{WI}}_{X,Y,i,j}\×{\mathrm{WD}}_{X,Y,i,j})---\left(1\right)$

在步骤422，使用以下公式来归一化来自416的更新后的深度图值：

${\mathrm{DH}}_{X,Y}=\frac{\underset{i=X/M-\mathrm{hs}1}{\overset{X/M+\mathrm{hs}1}{\mathrm{\Σ}}}\underset{j=Y/M-\mathrm{hs}1}{\overset{Y/M+\mathrm{hs}1}{\mathrm{\Σ}}}({\mathrm{DL}}_{i,j}\×{\mathrm{WI}}_{X,Y,i,j}\×{\mathrm{WD}}_{X,Y,i,j})}{\underset{i=X/M-\mathrm{hs}1}{\overset{X/M+\mathrm{hs}1}{\mathrm{\Σ}}}\underset{j=Y/M-\mathrm{hs}1}{\overset{Y/M+\mathrm{hs}1}{\mathrm{\Σ}}}({\mathrm{WI}}_{X,Y,i,j}\×{\mathrm{WD}}_{X,Y,i,j})}---\left(2\right)$

在步骤424，归一化后的深度图值被存储为中间深度图的值。

在步骤426，判断第一深度图是否完成。如果第一深度图未完成(选项“否”)，则方法400前进到步骤428。在步骤428，细化窗口在第一深度图中被重新定位，并且下一中心位置的值被计算。在一个实施例中，方法400将窗口移动预定距离并继续计算下一新的深度图值。该预定距离决定中间深度图的像素密度。例如，如果预定距离是第一深度图的深度图值间距的1/2，则分辨率将以因子2增加。如果第一深度图完成(选项“是”)，则方法400前进到步骤430结束。

图5是例示了根据实施例的用于第一均匀性测试(图4的步骤408)的方法500的流程图。如上所述，第一均匀性测试被用于确定细化窗口内深度图值的均匀性。就此而言，深度图包括具有或正或负的深度图值以分别指示焦平面之前或之后的距离的像素。细化窗口中深度图值的均匀性是通过将细化窗口中的深度值DL_i，j与细化窗口中心处的深度值DL_X/M，Y/M作比较来确定的。具有与中心位置的深度图值大不相同的深度图值的位置被从第一细化方法中排除，从而不贡献于应用到深度图上的双边滤波处理。在下面的段落中详细描述第一均匀性测试的方法500。

方法500开始于步骤504并前进到步骤506。在步骤506，细化窗口的中心位置的深度图值DL_X/M，Y/M被确定。低分辨率处的中心像素的坐标被表示为X/M，Y/M。图6中，中心位置在此仅被描述为针对细化窗口执行的均匀性测试的基准位置的示例，而非限制。细化窗口中的任何位置都可被用作基准位置。

在步骤508，坐标位置的深度图值DL_i，j被确定，其中(i，j)是中心位置以外的细化参考中当前位置的坐标。在步骤510，方法500计算DL_X，Y和DL_i，j之差DIFF。

值|DIFF|在步骤512的均匀性测试中被使用。在步骤512，判断|DIFF|是否高于预定的均匀性阈值“threshold_UT”以及DL_i，j的符号是否与DL_X/M，Y/M的符号相反。如果|DIFF|小于threshold_UT或者DL_i，j的符号不与DL_X/M，Y/M的符号相反(选项“否”)，则方法500认为当前位置处的值是均匀的并返回到图4中步骤410处的方法400。如果|DIFF|的值高于threshold_UT并且DL_i，j的符号与DL_X/M，Y/M的符号相反(选项“是”)，则该区域被认为是不均匀的并且方法500前进到步骤514，在步骤514，值COUNT(“计数”)被递增1并存储在存储器(例如，寄存器)中。方法500随后返回到图4的步骤409或418。与中心值差别大的深度图值表示深度图中的边界。使用窗口中的这种不连续性可能导致反常的滤波器结果。为此，该深度图值被从公式(1)的计算中排除。

如下所述，在第一均匀性测试中生成的值“计数”在第二细化方法(例如，图3的第二细化方法326)中被访问和使用。该计数表示与中心值符号相反且不均匀、即表示窗口中的深度边界的深度图值的个数。

图6是子采样图像620和610的示意性表示。子采样图像620具有比图像610的分辨率相对低的分辨率。例如，子采样图像620例如与子采样图像192c类似，并且子采样图像610例如与子采样图像192b类似。在一个实施例中，子采样图像620具有58×42的分辨率并且子采样图像610具有232×171的分辨率。

尺寸为(2*hs1/M+1)×(2*hs1/M+1)个像素的细化窗口622在子采样图像620中被建立，这与在目标分辨率图像610中获得尺寸为(2*hs1+1)×(2*hs1+1)的细化窗口612的效果类似。M是2个子采样图像620和610的分辨率比。例如，如果hs1为8且M为4，则仅通过在较低分辨率图像620中获得5×5的窗口，本方法就可在较高分辨率图像610中覆盖17×17的区域。就此而言，双边滤波器的强度权重WI_{X，Y，i，j}是使用子采样图像620和细化窗口622来计算的。

虽然前述说明采用了针对x轴和y轴二者相等的尺寸调整因子M(以及针对其他子采样图像的N和P)，但是在其他实施例中，尺寸调整因子可针对每个轴而不同，例如，以M_X、M_Y、N_X、N_Y、P_X和P_Y来进行子采样。

在图像620是以Y，C_r，C_b格式(亮度、蓝/黄、红/绿)给出的情况中，可以按下式给出的那样在三个通道中计算强度差：

DI_{X，Y，i，j}＝w_Y×|IHY_X，Y-ILY_i，j|+

             w_Cb×|IHCb_X，Y-ILCb_i，j|+

             w_Cr×|IHCr_X，Y-ILCr_i，j|             (3)

w_Y，w_Cb，w_Cr分别为Y，C_b和C_r的权重系数。在其他实施例中，图像可以被转换成诸如L*a*b之类的另一亮度/色度空间，并且可以使用已知的ΔE感知差(perceptual difference)或类似的距离度量来在这种空间中计算该距离。

如果图像是灰度格式的，则以上公式变为：

DI_{X，Y，i，j}＝|IH_X，Y-IL_i，j |    (4)

DI_{X，Y，i，j}可以随时计算或者该计算可经由类似于图670中的WI_{X，Y，i，j}的查找表来实现，以找出将在第一细化方法的细化窗口612中使用的级别权重WI_{X，Y，i，j}。WI_{X，Y，i，j}表的内容形成应用到窗口612中的深度值上的一维滤波器函数。在一个实施例中，该函数是线性的(如所示)。在其他实施例中，取决于所需滤波器效果，该函数是非线性的。另外，如果图5的均匀性测试已指示均匀性损坏，则被WI_{X，Y，i，j}设为零，并且不需要为该深度图位置计算WI_{X，Y，i，j}值。

此外，如上面参考图2所描述的，与中间深度图的分辨率相对应的分辨率的子采样图像(例如，子采样图像192b)被输入到第一细化方法。距离权重WD例如是使用子采样图像192b来计算的。使用以下公式来计算DD_{X，Y，i，j}：

γ＝为用于移动高分辨率处的中心的校正值

诸如欧拉距离之类的其他距离也可以用于计算DD_{X，Y，i，j}。

DD_{X，Y，i，j}被计算为从中心像素614(坐标为X，Y)到细化窗口中每个像素626(坐标为i，j)的目标分辨率的相应像素的水平距离的绝对值之和。取决于实施方式中使用的索引方法，项γ可能是

或

γ被用于补偿由较高分辨率和较低分辨率之间的子采样造成的索引的移动：(X，Y)是较高分辨率的坐标而(i，j)是较低分辨率的坐标。

WD_{X，Y，i，j}可以借助查找表来从DD_{X，Y，i，j}预先计算或者使用数学公式来计算(例如图660WD_{X，Y，i，j}所表示的)，以找出用于第一细化方法的距离权重WD_{X，Y，i，j}。虽然距离和/或级别与滤波器权重之间的线性关系被例示于图6中，但是根据滤波处理的要求，其他关系可被采用。虽然这里WD_{X，Y，i，j}被描述为使用子采样图像192b来计算，但是滤波器权重WD_{X，Y，i，j}和WI_{X，Y，i，j}二者可以使用诸如子采样图像192a之类的极低分辨率子采样图像来计算，以进一步降低双边滤波的计算成本。

按照前述说明，第一细化方法使用低分辨率图像来为应用到第一深度图上的第一双边滤波器计算滤波器权重，以引导(适配)权重计算。另外，均匀性测试被执行以从计算中排除某些深度值，其中所述值被认为表示深度图中的边界。结果是具有比第一深度图高的分辨率并具有平滑的内容而仍维持深度图的边界的中间深度图。

图7是例示了根据一个实施例的实施图3的步骤326的第二细化方法700的流程图。第二细化方法700开始于步骤702并前进到步骤704。在步骤704，细化窗口在子采样图像(例如，图2的经填充的子采样图像222)和经填充的中间深度图(例如，图2的220)中被建立。在步骤708，第二均匀性测试被执行。下面参考图8的方法800来描述第二均匀性测试的方法。如果区域被认为不均匀，则方法700从步骤708前进到步骤718(或者，可选的平滑检查步骤709)。实现步骤709的平滑检查的实施例在下面详细描述。如果区域在步骤708被认为是均匀的，则方法700从步骤708前进到步骤710。

在步骤710，第二双边滤波器的强度权重WI_{X，Y，i，j}被计算，并且在步骤712，第二双边滤波器的距离权重WD_{X，Y，i，j}被计算。就此而言，WI_{X，Y，i，j}和WD_{X，Y，i，j}是使用子采样图像中建立的细化窗口来计算的。下面参考图9来详细描述计算WI_{X，Y，i，j}和WD_{X，Y，i，j}的方法。通过步骤706至722，使用双边滤波器公式(请参见公式1)来计算细化窗口的中心处的深度图值。

在步骤716，中心深度图值DH_X，Y被临时存储。随着窗口中的每个深度图值被处理，中心位置值的存储值被更新。在步骤718，判断细化窗口中是否存在更多的尚未用来贡献于计算出的中心深度图值的深度图值。如果细化窗口中存在更多的深度图值(选项“是”)，则下一深度图值在步骤720被获得并且重复步骤710至步骤716。在本实施例中，窗口尺寸为中心像素X，Y周围的±hs2个值。通过这种方式，窗口中的深度图值被加权并求和以提供用于更密的深度图的新值。如果细化窗口中再没有深度图值了(选项“否”)，则方法700前进到步骤722。在步骤722，更新后的深度图值被归一化(请参见公式2)。在步骤724，归一化后的深度图值被存储在第二深度图中。

在步骤726，判断第二深度图是否完成。如果深度图未完成(选项“否”)，则方法700前进到步骤728。在步骤728，细化窗口在第一深度图中被重新定位并且下一中心值被计算。在一个实施例中，方法700将窗口移动预定距离并继续计算下一新的深度图值。该预定距离决定第二深度图的像素密度。如果第一深度图完成(选项“是”)，则方法700前进到步骤730结束。结果是具有更高分辨率的第二深度图，其中增加的分辨率由预定距离定义。

图8是例示了根据实施例的实施第二均匀性测试(图7的步骤708)的方法800的流程图。第二均匀性测试根据在第一均匀性测试中生成的计数来从第二细化方法排除深度图值。方法800开始于步骤802并前进到步骤804。在步骤804，方法800访问由第一均匀性测试(例如，步骤518的均匀性测试方法408)生成的计数。在第一均匀性测试中生成的计数提供从第一细化步骤中排除并不属于焦平面同一侧的细化窗口中的深度图值的数目。在步骤806，判断在细化窗口中处理的深度图值的计数是否超过预定计数阈值。在一个实施例中，计数阈值为第二细化窗口尺寸(2*hs2+1)×(2*hs2+1)中深度值总数的30％。如果计数超过预定计数阈值(选项“是”)，则方法800移动到步骤808，在步骤808，目前处理的深度图值的距离权重WD_{X，Y，i，j}被设为用于更锐利滤波器的固定值(即，值WD_{X，Y，i，j}被乘以常数H，其中H＞1)。将WD_{X，Y，i，j}设为大于一的值定义了比双边滤波器原本将使用的权重更锐利的权重。在实施例中，WD_{X，Y，i，j}被设为四，以定义比原本为“普通”双边滤波器定义的距离权重锐利四倍的距离权重。在设置WD之后，方法800返回到图7中的步骤709或步骤718处的方法700。如果计数未超过预定计数阈值(选项“否”)，则方法800返回到图7中的步骤710处的方法700。通过这种方式，第二细化确保了当值在边界附近时、深度图值是使用锐利滤波器(不太平滑)来生成的。

图9是在第二细化方法(例如，图7的第二细化方法700)中使用的子采样图像920和910(图2的子采样图像192a)的示意表示。子采样图像920具有与也被输入到第二细化处理的经填充的中间深度图220类似的分辨率，并且子采样图像910具有与第二细化处理的目标深度图分辨率类似的分辨率。

尺寸为(2*hs/N+1)×(2*hs/N+1)个像素的细化窗口922在子采样图像920中被建立。较低分辨率深度图中的(2*hs/N+1)×(2*hs/N+1)细化窗口等效于较高分辨率深度图中的(2*hs+1)×(2*hs+1)窗口。M是较低分辨率图像920和较高分辨率图像910之间的分辨率比。例如，如果hs2为8且N为2，则仅通过在较低分辨率图像上获得9×9像素细化窗口，就可以在高分辨率图像中覆盖大约17×17的区域，这降低了计算量。就此而言，双边滤波器的强度权重WI是使用子采样图像920和细化窗口922来计算的。

在图像620是以Y，C_r，C_b格式(亮度、蓝/黄、红/绿)给出的情况中，可以按下式给出的那样在三个通道中计算强度差：

DI_{X，Y，i，j}＝w_Y×|IHY_X，Y-ILY_i，j|+

            w_Cb×|IHCb_X，Y-ILCb_i，j|+

            w_Cr×|IHCr_X，Y-ILCr_i，j|    (6)

w_Y，w_Cb，w_Cr分别为Y，C_b和C_r的权重系数。在其他实施例中，图像可以被转换成诸如L*a*b之类的另一亮度/色度空间，并且可以使用已知的ΔE感知差或类似的距离度量来在这种空间中计算该距离。如果图像是灰度格式的，则以上公式变为：

DI_{X，Y，i，j}＝|IH_X，Y-IL_i，j |    (7)

基于DI来计算WI可以经由用于生成值的计算公式或查找表(如图970所表示的)来进行，以找出在第二细化方法的细化窗口912中使用的级别权重WI。在一个实施例中，该函数是线性的(如所示)。在其他实施例中，取决于所需滤波器效果，该函数是非线性的。

此外，如上面参考图2所描述的，与中间深度图的分辨率相对应的分辨率的子采样图像、中间深度图和与第二细化处理的目标分辨率相对应的分辨率的子采样图像被输入到第二细化方法。所述图像例如分别对应于图2的222、220和192a。距离权重WD例如是使用子采样图像192a来计算的。深度图220和子采样图像222中的细化窗口的尺寸相同。使用以下公式来计算DD_{X，Y，i，j}：

γ₂＝为用于移动高分辨率处的中心的校正值

诸如欧拉距离之类的其他距离也可以用于计算DD_{X，Y，i，j}。

项DD被计算为从坐标为(X，Y)的中心像素914到细化窗口中坐标为(i，j)的每个像素926的目标分辨率的相应像素的水平距离的绝对值加上这两个位置的垂直距离的绝对值之和。取决于实施方式中使用的索引方法，项γ₂可能是

或γ₂被用于补偿由较高分辨率和较低分辨率之间的子采样造成的索引的移动：(X，Y)是较高分辨率的坐标而(i，j)是较低分辨率的坐标。

项DD在用于生成值的计算公式或查找表(如图960WD)中被使用，以找出用于第二细化方法的距离权重WD。虽然DD距离和距离权重WD之间的线性关系被例示于图9中，但是根据滤波处理的要求，其他关系可被采用。另外，来自第二均匀性测试的锐化因子相应地被应用到WD上。

步骤409或709的可选平滑检查提供了对被第一或第二均匀性测试方法认为不均匀的区域的平滑检查。作为替代实施例，描述了两种可能的用于平滑的方法；其他平滑技术可被使用。在第一平滑方法中，如果经细化的深度图中当前像素周围的边缘强度超过某个值并且图像中的等效像素的边缘强度低于某一阈值，则按预定因子来平整(flatten)范围滤波器(WI)。该范围滤波器的平整取得了平滑的效果。

一种估计边缘强度的方式是使用梯度大小，梯度大小是使用有限的中心差(finite central difference)来计算的。其他用于测量边缘强度的方法也是可能的。

${\mathrm{EDGEDL}}_{X/M,Y/M}=\sqrt{{(({\mathrm{DL}}_{X/M-1,Y/M}-{\mathrm{DL}}_{X/M+1,Y/M})/2)}^2+{(({\mathrm{DL}}_{X/M,Y/M-1}-{\mathrm{DL}}_{X/M,Y/M+1})/2)}^2}$

${\mathrm{EDGEIL}}_{X/M,Y/M}=\sqrt{{(({\mathrm{IL}}_{X/M-1,Y/M}-{\mathrm{IH}}_{X/M+1,Y/M})/2)}^2+{(({\mathrm{IH}}_{X/M,Y/M-1}-{\mathrm{IH}}_{X/M,Y/M+1})/2)}^2}$

第一平滑方法：

计算EDGEDL_X/M，Y/M(第一细化)或EDGEDL_X/N，Y/N(第二细化)

计算EDGEIL_X/M，Y/M(第一细化)或EDGEIL_X/N，Y/N(第二细化)

应用平滑：

若EDGEDL_X/M，Y/M＞threshold_edge_DL且

EDGEIL_X/M，Y/M＜threshold_edge_I

则平整WI_{X，Y，i，j}

阈值的示例值为

threshold_edge_DL被设为最大深度的绝对值的大约10％；

threshold_edge I被设为最大强度值的大约20％.

在替代平滑方法中，为较低分辨率深度图计算边缘强度。原始较低分辨率深度图中的不够强的边缘是通过与阈值作比较来确定的。对于边缘被判定为小于预定阈值的边缘，应用第一方法中定义的平滑。一种估计边缘强度的方式是使用梯度大小，梯度大小是使用有限的中心差来计算的。其他用于测量边缘强度的方法也是可能的。

替代平滑方法：

计算EDGEDL_X/M，Y/M(第一细化)或EDGEDL_X/N，Y/N(第二细化)

${\mathrm{EDGEDL}}_{X/M,Y/M}=\sqrt{{(({\mathrm{DL}}_{X/M-1,Y/M}-{\mathrm{DL}}_{X/M+1,Y/M})/2)}^2+{(({\mathrm{DL}}_{X/M,Y/M-1}-{\mathrm{DL}}_{X/M,Y/M+1})/2)}^2}$

应用平滑

若EDGEDL_X/M，Y/M＜threshold_edge_DL

阈值的示例值为

threshold_edge_DL被设为绝对最大深度的大约15％.

前述两种平滑方法是在缺少图像的边缘强度和深度图中的置信度测量的情况下执行的。

在可获得图像边缘强度和深度图的置信度测量的情况中，针对何时触发平滑条件(平整WI_{X，Y，i，j})的更一般检查可以用公式表示如下：

若(CDL_X/M，Y/M＜threshold_CDL)或(CEDGEIL_X/M，Y/M＜threshold_CEDGE)，

则平整WI_{X，Y，i，j}

其中：

CDL_X/M，Y/M：DL_X/M，Y/M的置信度测量(低值指示深度估计的低置信度)

CEDGEIL_X/M，Y/M：IL_X/M，Y/M的边缘强度的置信度测量(低值指示边缘强度估计的低置信度)

threshold_CDL：用于判断深度图是否可信的阈值

threshold_CEDGE：用于判断边缘是否可信的阈值

这里描述的各种实施例提供了若干优势。例如，使用较低分辨率的子采样图像来计算联合双边滤波器的权重降低了应用联合双边滤波器来生成稠密深度图的计算成本。此外，用于确定细化窗口中深度图值的均匀性的均匀性测试允许联合双边滤波器将细化处理适配图像内容。

将理解，其他类似实施例可被使用。可对所述实施例进行修改/添加来执行本发明的相同功能而不背离本发明。因此，本发明不应限制在任何单个实施例，而是应根据所附权利要求的记载的范围和宽度来理解。

Claims (20)

1.一种用于生成稠密深度图的计算机实现的方法，包括：

将联合双边滤波器应用于第一深度图以生成第二深度图，其中所述双边滤波器的至少一个滤波器权重是基于由所述第一深度图表示的图像的内容来适配的，并且所述第二深度图具有比所述第一深度图高的分辨率。

2.根据权利要求1所述的方法，其中所述图像的内容由所述图像的子采样版本来表示。

3.根据权利要求2所述的方法，其中所述应用步骤包括：

使用已基于所述图像的内容来适配的所述联合双边滤波器的至少一个第一滤波器权重来执行所述第一深度图的第一细化，以生成中间深度图，其中所述中间深度图具有比所述第一深度图高的分辨率；以及

使用已基于所述图像的内容来适配的所述联合双边滤波器的至少一个第二滤波器权重来执行所述中间深度图的第二细化，以生成所述第二深度图。

4.根据权利要求3所述的方法，其中执行所述第一细化包括：

在所述第一深度图中定位细化窗口；

在所述细化窗口中针对每个深度图值执行第一均匀性测试；

使用已基于所述图像的内容来适配的所述双边滤波器的所述至少一个第一滤波器权重来更新所述中间深度图的深度图值；以及

在所述第一深度图中重新定位所述细化窗口，执行所述第一均匀性测试并更新所述中间深度图的深度图值，其中所述细化窗口被重新定位直到所述第一深度图完成。

5.根据权利要求4所述的方法，还包括在所述第一均匀性测试将所述细化窗口判定为不均匀后对所述细化窗口应用平滑检查。

6.根据权利要求5所述的方法，其中所述平滑检查包括确定与所述细化窗口中的深度图值有关的置信度测量或边缘强度。

7.根据权利要求5所述的方法，其中若平滑被认为是必需的，则在所述细化窗口中应用平整滤波器。

8.根据权利要求4所述的方法，其中执行所述第一均匀性测试包括：

若一深度图值与所述细化参考的基准深度图值大不相同，则从所述第一细化步骤排除该深度图值；以及

维持所述细化窗口中被排除并且不属于焦平面同一侧的深度图值的计数。

9.根据权利要求8所述的方法，其中从所述第一细化步骤排除深度图值包括：

若所述深度图值和中心像素的深度图值之差超过预定均匀性阈值，则将零值分配给所述深度图值的所述至少一个第一滤波器权重。

10.根据权利要求3所述的方法，其中执行所述第二细化包括：

在所述中间深度图和与所述中间深度图分辨率类似的子采样图像中定位细化窗口；

对所述细化窗口执行第二均匀性测试；

使用已基于所述图像的内容来适配的所述双边滤波器的所述至少一个第一滤波器权重来更新所述细化窗口中的深度图值；以及

在所述中间深度图中重新定位所述细化窗口，执行所述第二均匀性测试并更新所述细化窗口中的深度图值，

其中所述细化窗口被重新定位直至所述第二深度图完成。

11.根据权利要求10所述的方法，其中执行所述第二均匀性测试包括：

若所述细化窗口中从所述第一细化步骤排除并且不属于焦平面同一侧的深度图值的计数超过预定计数阈值，则从所述第二细化步骤排除深度图值。

12.根据权利要求11所述的方法，其中从所述第二细化步骤排除深度图值包括：

访问所述计数；以及

若所述计数超过预定计数阈值，则将所述至少一个第二滤波器权重设为大于一的预定值。

13.根据权利要求11所述的方法，还包括在所述第二均匀性测试将所述细化窗口判定为不均匀后对所述细化窗口应用平滑检查

14.根据权利要求13所述的方法，其中所述平滑检查包括确定与所述细化窗口中的深度图值有关的置信度测量或边缘强度。

15.根据权利要求13所述的方法，其中若平滑被认为是必需的，则在所述细化窗口中应用平整滤波器。

16.一种用于生成稠密深度图的设备，所述设备包括：

图像源和第一深度图；

图像处理器，用于处理所述图像并生成所述图像的至少一个子采样版本；以及

深度图处理器，用于通过将联合双边滤波器应用于所述第一深度图以生成第二深度图来处理所述第一深度图和生成第二深度图，其中所述联合双边滤波器的至少一个滤波器权重是基于由所述第一深度图表示的图像的内容来适配的，并且所述第二深度图具有比所述第一深度图高的分辨率。

17.一种用于存储软件的计算机可读介质，所述软件当被计算系统运行时令计算系统：

将联合双边滤波器应用于第一深度图以生成第二深度图，其中所述联合双边滤波器的至少一个滤波器权重是基于由所述第一深度图表示的图像的内容来适配的，并且所述第二深度图具有比所述第一深度图高的分辨率。

18.根据权利要求17所述的计算机可读介质，其中所述应用步骤包括：

使用已基于所述图像的内容来适配的所述双边滤波器的至少一个第一滤波器权重来执行所述第一深度图的第一细化，以生成中间深度图，其中所述中间深度图具有比所述第一深度图高的分辨率；以及

使用已基于所述图像的内容来适配的所述双边滤波器的至少一个第二滤波器权重来执行所述中间深度图的第二细化，以生成所述第二深度图。

19.根据权利要求18所述的计算机可读介质，其中所述第一细化包括：

在所述第一深度图中定位细化窗口；

在所述细化窗口中针对每个深度图值执行第一均匀性测试；

使用已基于所述图像的内容来适配的所述双边滤波器的所述至少一个第一滤波器权重来更新所述细化窗口中的深度图值；以及

在所述第一深度图中重新定位所述细化窗口，执行所述第一均匀性测试并更新所述细化窗口中的深度图值，

其中所述细化窗口被重新定位直到所述第一深度图完成。

20.根据权利要求19所述的计算机可读介质，其中所述第二细化包括：

在所述中间深度图中定位细化窗口；

对所述细化窗口执行第二均匀性测试；

使用已基于所述图像的内容来适配的所述双边滤波器的所述至少一个第一滤波器权重来更新所述细化窗口中的深度图值；以及

在所述中间深度图中重新定位所述细化窗口，执行所述第二均匀性测试并更新所述细化窗口中的深度图值，

其中所述细化窗口被重新定位直至所述中间深度图完成。

Images