CN105631851B - 深度图生成 - Google Patents

Abstract

从利用常规数字相机从相同视点使用不同配置设置(其可以对于每个图像任意选取)捕获的图像中的两个或者更多图像生成深度图。配置设置可以包括光圈和焦距设置和/或能够将模糊引入到图像中的其它配置设置。使用深度似然函数在离散的深度假定的集内评估所选取的图像分块的深度，深度似然函数被建模为在频域中使用平面先验来分析与模糊内核进行卷积的对应图像分块。以此方式，可以评估深度似然函数，而不用首先重建全景对焦图像。模糊内核在深度似然函数中使用，并且从深度和配置设置到模糊内核的映射来识别。这一映射从用于捕获两个或者更多图像的数字相机的校准数据来确定。

Description

深度图生成

技术领域

本公开总体上涉及用于估算数字图像内的深度的方法和系统，并且更具体地涉及估算使用常规数字相机捕获的数字图像内的深度。

版权公告

这一专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人传真复制专利文件或者专利公开，如其出现在专利和商标局的专利档案或者记录中的那样，但是在其他方面，无论什么都保留所有版权权利。

背景技术

数字相机(包括数字单反(DSLR)相机和集成到移动设备中的数字相机)通常具有使得用户能够使用不同的用户定义和相机定义的配置设置的组合捕获数字图像的复杂硬件和软件。数字图像提供特定场景的数字表示。随后数字图像可以被单独处理或者与其它图像组合处理，以便从图像取得附加信息。例如，可以处理一个或者多个图像以便估算场景内描绘的对象的深度，即每个对象距离从其拍摄图片的位置的距离。场景中每个对象(或者可能图像内每个像素)的深度估算被包括在称为“深度图”的文件中。除其它之外，深度图可以用于改进现有图像编辑技术(例如剪切、孔洞填充、拷贝到图像层等)。

常规深度估算技术包含依靠“图像先验”指导深度图生成的计算模型。“图像先验”为用于考虑关于场景的内容或者特性的某些假设的统计模型，并且用于解决当分析图像时可能遇到的深度歧义。例如，图像先验可以基于深度跨全景对焦(all-in-focus)图像平滑变化的假设来设计，除了存在深度不连续性的地方(例如，在场景内的对象的边缘或者轮廓处)。在图像域中，这一类型的图像先验可以用跨图像的期望梯度分布来表达。在傅里叶域中，可以定义可比拟图像先验，使得在特定频率处的能量的量与提升到某个功率的该频率成比例。在深度估算中使用这一类型的图像先验可以在一些情形下产生良好结果，但是当前景对象和背景对象之间的深度不连续性未被捕获在图像数据内时，将无法这么做。因此，在深度图生成中使用通用图像先验导致不精确的深度估算，因为底层假设基于一般性(generalization)并且必定不会适用于所有图像(例如，不是所有场景的实际纹理都将良好地适合定义的图像先验)。

用于估算数字图像内的深度的一些常规技术还要求输入从不同场景的一个或者多个图像取得的训练数据，以便于准确地生成深度图。一些技术要求要生成深度图的图像必须使用预定的光圈设置和预定的焦距设置来捕获。其它技术包含对从相同场景拍摄的多个图像的特性比较，并且可能要求多个图像以特定顺序或者依照预定义的光圈、焦距和/或其它相机配置设置的组合来捕获。一些模型还要求依照预定义的光圈、焦距和/或其它配置设置的组合或者使用随机选取的光圈、焦距和/或其它配置设置的组合来捕获图像的稠密集。

比较从相同场景拍摄的多个图像的特性的常规深度估算技术通常将图像分块与“模糊内核”进行比较，以便估算图像分块的深度。模糊内核是对图像内的离焦模糊的近似。然而，常规模型通常向选取具有更大模糊值的模糊内核偏置，特别在图像分块内存在噪声时(即，未被模型考虑的信息)。选取不与图像分块的模糊紧密近似的模糊内核将导致不精确的深度估算。

因此，现有深度估算技术可能是不精确、资源密集、耗费时间、复杂和不可预测的。据此，期望提供用于估算使用常规数字相机拍摄的图像内的对象的距离的改进的解决方案。

发明内容

提供系统和方法以用于从使用常规数字相机捕获的多个图像生成深度图。本文所描述的深度估算技术包含依靠平面图像先验(还称为“平面先验”)的计算模型。使用平面先验实际上意指未进行关于场景的内容或者特性的先验假设。通过将全景对焦图像(即，如果图像完全对焦，图像将看起来的样子)的贡献进行因子析出(factor out)或者边缘化而将平面先验并入到计算模型中，在常规计算模型中包括全景对焦图像的贡献。

在没有关于场景应该看起来什么样子的先验假设的情况下，本文所描述的深度估算技术在深度假定的离散范围(即可能的深度)内迭代计算图像分块的深度似然(likelihood)。在评估(evaluate)了所有深度假定之后，产生最大深度似然的深度假定被选取为图像分块的估算深度。使用如本文所描述的平面先验来评估深度似然提供了改进的精确性，因为深度似然函数依靠以图像数据表示的场景实际上看起来的样子，而不依靠关于场景应该看起来什么样子的假设。针对图像的所有图像分块重复迭代评估，直到生成图像的完整深度图。以此方式，独立于来自相同图像的所有其它图像分块来评估每个图像分块的深度。因此，与常规技术相比，对于任何给定图像分块的深度估算更加精确，因为其不受给定图像分块周围的图像分块的影响。

本文所描述的深度估算技术还包含归一化方法，该归一化方法用于考虑诸如噪声之类的因素，该噪声可以产生向具有更大模糊值的模糊内核的偏置。这导致了用于找到深度的准确估算的更具鲁棒性的方法，即使在存在噪声时。本文所描述的深度估算技术还可以适于考虑照明条件和场景动态的改变。这种技术提供生成深度图中的更精确的深度估算。

本文所描述的深度估算技术依靠用于捕获图像的数字相机的校准数据。校准数据用于确定校准设置(例如光圈设置和焦距设置)到模糊内核的映射。模糊内核表示对图像中的模糊的近似。具体而言，本文所描述的深度估算技术使用从基于校准的映射识别的对应模糊内核，在深度假定的离散集内，迭代评估图像分块的深度。

本文所描述的深度估算技术用于分析使用可以由操作者任意选取的诸如光圈设置和焦距设置之类的不同相机配置设置从相同视点捕获的图像集。因此，捕获图像的过程不受约束，原因在于不要求图像或者相机配置设置的模式或者组合。根据本文所描述的深度估算技术处理最少两个这种图像，以便产生与常规技术所提供的相比具有更高精确性的深度图。

提及这些说明性示例不是用于限制或者限定本公开，而是用于提供示例以便帮助对其理解。在具体实施方式中讨论了附加示例，并且那里提供了进一步的说明。

附图说明

本专利或者申请文件包含至少一个彩色附图。经请求并且支付任何必要费用，本专利或者专利申请公开的具有彩色附图的副本将由专利局提供。

当参照附图阅读下文的具体实施方式时，更好地理解本公开的上文描述的这些和其它特征、示例和优点，其中：

图1是描绘根据至少一个实施例的用于实现涉及估算数字图像内的深度的技术的深度生成引擎的示例的框图；

图2是描绘根据至少一个实施例的用于实现涉及估算数字图像内的深度的技术的示例环境的图；

图3是描绘根据至少一个实施例的涉及估算数字图像内的深度的某些技术的示例实施方式的图；

图4是描绘根据至少一个实施例的用于实现涉及估算数字图像内的深度的技术的方法的示例的流程图；

图5是描绘根据至少一个实施例的用于实现涉及估算数字图像内的深度的技术的方法的示例的流程图；并且

图6是描绘根据至少一个实施例的用于实现涉及估算数字图像内的深度的技术的示例网络环境的图。

具体实施方式

公开了用于估算数字图像内的深度的计算机实现的系统和方法。具体而言，从使用常规数字相机(诸如DSLR相机、集成到移动计算设备中的数字相机、或者任何其它数字相机或者成像设备)捕获的多个图像生成深度图。从基本上相同的视点拍摄最少两个图像，但是这些图像是不同的，因为每个图像使用光圈设置和焦距设置的不同组合来拍摄。在一些示例中，不同的光圈设置和焦距设置可以由操作者任何选取，如将讨论的。分析由光圈和焦距设置的不同组合造成的跨图像的模糊水平的不同，以便于确定深度图。

发明的深度估算技术包括深度似然函数，该深度似然函数用于使用模糊内核来分析图像分块深度。用于特定图像的模糊内核从校准设置(例如光圈和焦距)和深度到模糊内核的映射识别。映射从用于捕获待分析图像的特定相机的校准取得。模糊内核是图像内的模糊的近似。深度似然函数使用模糊内核，以在频域中使用平面先验分析来自输入图像集的对应图像分块，这意指全景对焦图像的贡献通过假设无穷的频率成分方差而被有效地因子析出。这一似然函数因此允许估算图像分块的深度，而不考虑全景对焦图像，不依靠关于从训练数据取得的其它相似场景的某些假设，并且不考虑场景的深度在空间上如何变化。

对于给定的图像分块，深度似然函数在深度假定(即可能的深度)的离散范围内被迭代评估，以便确定图像分块的深度似然。如本文中使用的，“迭代”评估(evaluate)指代按顺序评估(或求值)和/或并行评估(或求值)。产生最大深度似然的深度假定被确定为图像分块的估算深度。在评估第一图像的每个图像分块中，第二图像的对应图像分块被识别。作为评估的部分，用于第一图像的模糊内核与来自第二图像的图像分块进行卷积，并且用于第二图像的模糊内核与来自第一图像的对应图像分块进行卷积。评估的结果是来自图像分块的深度似然。深度似然函数用于评估输入图像内的所有对应图像分块，直到为每个图像的每个对应像素确定了深度估算。因为深度似然函数用于独立于其它图像分块地评估用于每个图像分块的深度假定，讨论中的图像分块的深度估算不受其周围图像分块的影响。

本文所描述的深度估算技术包括归一化步骤，该归一化步骤用于考虑可能产生向具有大的模糊值的模糊内核的偏置的因素。一个普遍的因素为噪声，并且噪声对模糊内核选取的影响通过归一化减少了。这使得深度似然函数能够使用具有最适于特定分块的深度假定的深度值的模糊内核来评估。这导致了用于找到深度的准确估算的更具鲁棒性的方法，即使在存在噪声时。

本文所描述的深度估算技术还可以适于考虑跨多个对应图像的照明条件的改变和场景动态的改变。这些改变可以通过调整第二图像分区相比于第一图像分块的偏置和增益来考虑。这可以通过将照明条件的改变建模为针对改变的图像分块的局部对比度改变和亮度偏移来实现。于是深度似然函数可以被调整为并入照明条件的这种建模改变。相似地，场景内对象的运动可以使用光流技术来考虑，以便估算相比于第一图像中的对应像素的位置的第二图像中的像素的新的位置。这种技术还包括通过将图像分块表示为频率和相位的集并且比较所有图像分块的幅度(而忽略相位)，将图像分块变换到傅里叶域。这种技术提供生成深度图中的更精确的深度估算。在一些示例中，光流技术和傅里叶域中的技术两者可以结合用于考虑场景内的对象的运动。光流技术可以在评估深度似然函数之前执行，并且傅里叶域中的技术可以作为评估深度似然函数的部分来执行。

在一个示例中，场景的第一图像使用具有第一配置设置的数字相机拍摄。该配置设置包括焦距设置和光圈设置。接着，场景的第二图像使用具有第二配置设置的数字相机从相同视点拍摄。第二配置设置在至少一个方面(例如焦距设置和/或光圈设置)与第一配置设置相比是不同的。在一些示例中，用户任意地、随机地或者系统地选取配置设置。在其它示例中，数字相机被配置为向用户显示优选的或者建议的配置设置，该配置设置可以是预定的(例如，对于所有场景或者对于特定类型的场景)或者可以通过分析将要成像的场景来实时地确定。在一些示例中，数字相机被配置为任意地、随机地或者系统地确定或者预定用于第一图像和第二图像的配置设置，并且还可以以程序方式拍摄第一图像、改变配置设置、以及接着拍摄第二图像。在一些示例中，用户被提供有配置设置，依照该配置设置来调整数字相机的设置，并且捕获第一图像和第二图像。第二图像从与第一图像大致相同的视点拍摄。接着依照本文所描述的技术来分析对应于第一和第二图像的图像文件。这一分析可以由适当装备和配置的相机来执行，或者图像文件可以被转移到被配置为执行分析的计算设备。

使用本文所描述的深度估算技术生成的深度图包括表示场景中的对象相距数字相机(即，在真实世界中从其拍摄图片的位置)的距离的深度信息。深度图的像素的距离值可以对应于图像的RGB像素。例如，深度图可以用于改进现有图像编辑技术。例如，图像的深度信息可以用于更准确地区分场景中的前景对象和背景对象。这种区分可以与选取图像内的对象(无论在前景还是背景中)有关。通过说明的方式，场景的图像可以描绘站在树(例如，背景元素)前方的儿童(例如，前景元素)。期望从场景中“剪切”儿童的用户可以通过使用图像编辑应用选取儿童的部分来这样指示。除了诸如颜色和纹理之类的选取线索之外，图像编辑应用可以使用与图像关联的深度信息来生成将要剪切的儿童的轮廓。

现在转到附图，图1示出了根据至少一个示例的用于实现涉及估算数字图像内的深度的技术的框图100。框图100包括深度生成引擎102。如本文中使用的，“引擎”指代以软件体现的指令集，当在处理器上执行时，该指令集使得处理器执行一个或者多个功能。具体而言，深度生成引擎102被配置为评估(或求值)深度似然函数，连同本文所描述的对深度似然函数的任何变化。深度生成引擎102被配置为接收图像104(1)-104(N)。在一些示例中，图像104(1)-104(N)已经使用数字相机预先捕获。图像104(1)-104(N)描绘了包括多个对象的场景。如图所示，图像104(1)-104(N)中的每个图像均包括对应的配置信息106(1)-106(N)。在一些示例中，配置信息106(1)-106(N)提供关于用于捕获图像104(1)-104(N)的数字相机的设置的细节，并且以与图像104(1)-104(N)关联的元数据的形式存储。例如，配置信息106(1)-106(N)可以包括关于数字相机的光圈设置的细节和关于数字相机的焦距设置的细节。光圈设置涉及当捕获图像104(1)-104(N)时允许进入数字相机的光的量。数字相机的光圈可以使用调整光量的叶片机制来调整。焦距设置涉及焦平面相距数字相机的距离，并且可以相应地调整。

在一些示例中，用于图像104(1)的配置信息106(1)与用于图像104(N)的配置信息106(N)不同，因为图像104(1)使用第一设置配置捕获而图像104(N)使用第二设置配置捕获。如何选取第一设置配置和第二设置配置依赖于深度生成引擎102的实施方式。例如，当在数字相机中实现深度生成引擎102时，数字相机以程序方式确定和改变设置，或者显示优选的或者建议的设置以用于用户手动改变。当在与数字相机分立的计算设备中实现深度生成引擎102时，计算设备显示设置或者使得设置向数字相机的用户显示。相机的用户接着相应地调整相机的设置。在任一示例和其它示例中，由用户或者在选取引擎(未示出)的协助下以程序方式，或者以任何其它适合的方式，任意地、随机地或者系统地选取设置。在一些示例中，图像104(1)-104(N)使用配置设置的随机集来捕获。例如，当在不考虑焦堆栈(focal stack)的情况下捕获图像104(1)-104(N)时，图像104(1)-104(N)还可以使用配置设置的随机集来捕获。例如，焦堆栈是图像集，该图像集使用用于该集中的每个图像的一个焦距设置和不同光圈设置来拍摄。还可以在不考虑光圈堆栈的情况下捕获图像104(1)-104(N)。光圈堆栈是图像集，该图像集使用用于该集中的每个图像的一个光圈设置和不同焦距设置来拍摄。在一些示例中，图像104(1)-104(N)在不考虑预定采样模式的情况下来捕获。如在上文的示例中所讨论的，本文所描述的深度估算技术使用两个或者更多图像以不论用于捕获图像的数字相机的配置设置的方式来实现，只要从基本上相同的视点使用两个不同的配置设置来捕获至少两个不同的图像。

在一些示例中，用于捕获图像104(1)-104(N)的数字相机的相机主体和镜头已经预先校准。某些校准技术包含配置设置(例如，光圈设置和焦距设置)和深度到模糊内核的映射。这种校准技术使得深度生成引擎102能够选取用于使用图像104(1)-104(N)进行深度估算的适当模糊内核。在一些示例中，图像104(1)-104(N)中的至少一些从基本上相同的视点使用已经相似地校准的不同数字相机的相机主体和镜头的不同组合来捕获。因此，在一些示例中，配置设置和深度到模糊内核的映射对于相机主体和镜头的组合以及对于相机主体和镜头的多个组合是唯一的。在这一示例中，深度生成引擎102在进行深度估算的同时考虑这些映射中的相似性和差异性。

继续讨论框图100，在深度生成引擎102接收图像104(1)-104(N)之后，深度生成引擎102执行本文所描述的技术以便生成深度图108。深度生成引擎102还可以计算全景对焦图像110并且确定不确定性的量度(未示出)。不确定性的量度指示用于给定深度的深度似然中有多少方差。全景对焦图像110表示对由图像104(1)-104(N)描绘的场景的重建，但是没有任何模糊。全景对焦图像110的计算和不确定性的量度对于实现本文所描述的技术是可选的。在一些示例中，全景对焦图像110由其它引擎(未示出)用于细化或者以其它方式改进现有深度图。在一些示例中，图像104(1)-104(N)的图像分块和模糊内核由深度生成引擎102比较作为生成深度图108的部分。如本文中使用的，“图像分块”指代图像(例如，图像104(1)-104(N))的包括多个像素的小区域。如本文中使用的，“模糊内核”是图像获取过程中的离焦模糊的模型。模糊内核可以由某个半径的圆盘、多边形、高斯分布、正方形或者在图像获取过程期间将离焦模糊建模的任何其它合适的特征来表示。考虑特定光圈设置和特定焦距设置，模糊内核包括关于针对特定深度的图像104(1)-104(N)中的模糊量的假设。在一些示例中，当生成模糊内核时，深度估算技术考虑可以影响图像中的模糊的其它配置设置(除了或者代替光圈和焦距设置)。

深度生成引擎102依照本文所描述的技术执行一个或者多个操作，以便评估深度似然函数并且输出深度图108。这一个或者多个操作包括比较(对于图像中的位置)图像104(1)的图像分块1与图像104(2)中的对应位置的某个模糊内核2的卷积和图像104(2)的图像分块2与图像104(1)中的对应位置的某个模糊内核1的卷积。如本文中使用的，“卷积”是当图像分块由模糊内核使用本文所描述的技术进行模糊时出现的模糊类型。模糊内核1、2(如本文中描述的)表示关于它们在使用特定配置设置的图像104(1)、104(2)内的对应位置处应当预期的模糊量的假设。对于该位置，可以针对深度假定的离散集执行上文建议的比较，并且接着逐个分块直到已经分析了全部图像104(1)、104(2)。在一些示例中，这一比较的至少一部分被归一化以便避免向图像104(1)、104(2)中存在的具有更大模糊水平的模糊内核偏置。在一些示例中，归一化涉及其中图像104(1)、104(2)中有噪声存在的情况。这可能是因为具有更大模糊值的模糊内核使噪声平滑并且减少噪声影响。当图像104(1)、104(2)的噪声非常大、但是仅轻微离焦时，噪声的这一影响是最普遍的。因此，本文所描述的技术通过将上文所讨论的深度似然函数的一部分归一化来考虑噪声的影响。例如，将深度似然函数的一部分归一化可以包括将卷积方程(1)||f2*i1–f1*i2||调整为产生的卷积方程(1’)||f2*i1–f1*i2||/sqrt(||f1||^2+||f2||^2)，其中||f||^2＝sum_q(f(q))^2。

在这一示例中，i1是图像I1中已经使用离焦内核k1模糊的图像分块。对于i2和k2而言是相似的。对(1)的评估(evaluation)是为了发现f1＝k1和f2＝k2。实际上当没有噪声时，i1＝k1*h且i2＝k2*h，其中h为全景对焦图像110，*为卷积，并且f1＝k1、f2＝k2将(1)最小化为具有最小值0：

k2*i1–k1*i2＝k2*(k1*h)–k1*(k2*h)＝(k2*k1-k1*k2)*h＝0，因为k2*k1＝k1*k2。

然而，当有噪声时，第一图像和第二图像：

i1＝k1*h+n1(都在像素p处评估)

i2＝k2*h+n2(都在像素p处评估)

具有零平均值正态噪声(方差＝s^2)

n1～N(0,s^2)

n2～N(0,s^2)

则有方程(2)f2*i1–f1*i2＝[(f2*k1–f1*k2)*h]+(f2*n1–f1*n2)。第一项可以使用f1＝k1、f2＝k2最小化，但是仍然存在第二项要考虑。当(f1,f2)＝(k1,k2)时，第一项为零。假设(f1,f2)＝(ff1,ff2)不是正确的模糊内核(k1,k2)对，但是给出了方括号中的第一项的小的值。取方程(2)中两项之和的范数(norm)可以为(ff1,ff2)提供比(k1,k2)更小的值。在一些示例中，这不是对(k1,k2)的合适选取。在一些示例中，第一和第二图像中的更大模糊将使噪声平滑并且减少噪声的影响，因为方程(2)中的差值将变得更小。卷积f2*n1、f1*n2使用由内核抽头(tap)给出的权重/权重f1(q)、f2(q)将像素q处的独立正态变量n1(q)、n2(q)加起来。因此，

f2*n1～N(0,s^2sum_q(f2(q))^2)(实际上f2*n1在像素p处评估)

f1*n2～N(0,s^2sum_q(f1(q))^2)(实际上f1*n2在像素p处评估)

f2*n1–f1*n2～N(0,s^2(sum_q(f1(q))^2+sum_q(f2(q))^2))(实际上f2*n1–f1*n2在像素p处评估)

也就是，方差乘以滤波器抽头的平方之和。当模糊具有半径R时，非零内核权重都为1/(pi*R^2)[其在具有半径R的圆的区域内为1]。因此具有半径R的圆形滤波器f具有

sum_q(f(q))^2＝sum_{在具有半径R的圆内的q}(1/pi*R^2)^2＝(1/pi*R^2)^2*sum_{在具有半径R的圆内的q}

＝(1/pi*R^2)^2*pi*R^2

＝1/pi*R^2

这意指当f1和f2为更大的模糊时，方程(2)的第二项f2*n1–f1*n2的方差s^2(sum_q(f1(q))^2+sum_q(f2(q))^2)更小。如果两个小的模糊是正确答案，但是两个更大模糊也给出相对小的第一项，则噪声可以使得一些方法不正确地选择更大的内核尺寸。并且更大的模糊(f1,f2)还减小了方程(2)的第一项的差值。

因此，本文所描述的技术将上文的卷积方程(1)归一化，以便通过产生的卷积方程(1’)||f2*i1–f1*i2||/sqrt(||f1||^2+||f2||^2)，其中||f||^2＝sum_q(f(q))^2，来考虑离焦模糊内核的水平。

卷积(例如，图像分块1与模糊内核2进行卷积)可以包括取特定像素周围的像素的加权平均。在一些示例中，产生的模糊分块被确定为卷积算子(使用模糊内核)，并且在全景对焦图像110的图像分块之上应用。模糊内核的尺寸依赖于对象相距镜头的距离和用于捕获图像104(1)、104(2)的相机的配置设置。

在一些示例中，深度图108是包括颜色信息和深度信息的图像文件。深度图108还可以是包括深度信息的专用图像文件。深度信息可以表示当捕获图像时场景内的对象相距数字相机的距离的估算。在一些示例中，生成深度图108包括在用于使用不同配置设置(例如光圈和焦距设置)拍摄的图像104(1)-104(N)中出现的图像分块的深度假定的离散集内评估深度似然函数。深度假定是对分块、像素等的深度的估算。从深度假定的离散集，用于每个像素的单独深度估算至少部分地通过在深度假定的离散集内使用深度似然函数评估每个图像分块来确定。实现最大似然的深度估算被选取为正确的深度估算。以此方式，在一定程度的自信下生成深度图108。在一些示例中，生成深度图108包括关于模糊图像分块和模糊内核进行调谐。

在一些示例中，如本文所描述的涉及估算技术的技术针对场景中的每个位置处的每个可能深度迭代地实现，该场景由两个或者多个图像捕获。例如，为了估算与两个图像I1和I2内的特定位置L关联的深度，来自两个图像中的每个图像的图像分块在深度假定的离散集内使用深度似然函数进行评估，并且选取来自该集的具有最大似然的深度假定。具有最大似然的深度假定表示用于正被评估的两个图像I1和I2中的特定位置L的最可能的深度估算。因此，第一深度假定包括第一深度假定DH1，并且用于选取用于图像分块P1(以L为中心的来自I1的图像分块)的第一模糊内核K1以及用于图像分块P2(以L为中心的来自I2的图像分块)的第二模糊内核K2。如本文所描述的评估深度似然包括将P1与K2进行卷积并且将P2与K1进行卷积，以便确定针对DH1的深度似然(即，DH1为真实世界深度的正确近似时的似然)。一旦计算了H1的深度似然，对P1和P2的评估使用深度似然函数在剩余深度假定DH2-DHn(例如，可以选取四十个离散深度)内继续进行，直到已经评估了深度假定集中的每个假定。接着从包括对应似然的深度假定的集中选取具有最大似然(例如，最可能的深度)的深度假定，作为针对特定位置L的真实世界深度的最可能近似。在一些示例中，针对两个对应图像内的每个位置(例如，逐个像素、逐个分块等)重复相似过程。以此方式，本文所描述的涉及估算深度的技术不仅针对特定位置处的每个深度假定进行迭代，而且还针对场景内的每个位置进行迭代。

图2示出了用于实现如本文所描述的涉及估算数字图像内的深度的技术的示例环境200。环境200包括利用数字相机204捕获场景206的图像的操作者202。操作者202可选地实现本文所描述的技术。在一些示例中，数字相机204可以安装在三脚架或者其它合适的设备上，并且场景206的图像可以很少或者不受操作者202协助以程序方式来捕获。在用于捕获场景206的图像的同时，数字相机204位于视点208处。场景206包括多个对象210-214。具体而言，在环境200中示出了场景206中的三个对象，其为胡萝卜210、树212以及栅栏214。如图所示，胡萝卜210更大程度上出现在场景206的前景中，而树212和栅栏214更大程度上出现在背景中。不论对象210-212出现在场景中何处，每个对象被定义为具有相距视点208的距离。在一些示例中，场景206内每个对象的距离从与数字相机204的镜头相交的线216开始测量。在一些示例中，场景206内每个对象的距离可以使用深度估算技术近似确定。

在一些示例中，操作者202任意选取或者系统地改变用于捕获场景206的图像的数字相机204的配置设置。配置设置包括光圈设置、焦距设置以及影响图像中的不同部分处的模糊水平的任何其它设置。例如，在捕获第一图像的同时，操作者202首先选取数字相机204上的光圈设置f/1.2(从例如f/1.2、f/2、f/4、f/5.6、f/8、f/16、f/22或者其它合适的光圈设置中选出)。操作者202接着将数字相机204聚焦在胡萝卜210上并且使用数字相机204捕获场景206。在捕获第二图像的同时，操作者202选取不同的光圈设置(例如f/4)，或者可以保持相同的光圈设置(即f/1.2)而将数字相机202聚焦在除胡萝卜210外的对象(例如树212)上。在捕获第三图像的同时，操作者202经过与用于捕获第一和第二图像所执行的相同的步骤，但是与当捕获第一和第二图像时所使用的那些配置设置相比，变化了数字相机204的配置设置。以此方式，操作者202使用不同的光圈设置和/或不同的焦距设置来捕获场景206的图像。依照本文所描述的技术，这样捕获的图像由深度生成引擎102用于输出一个或者多个深度图。在一些示例中，依照本文所描述的技术进行操作的深度生成引擎102为在离场景206大约50米远的最大距离处捕获的图像生成深度图。

图3示出了输入图像302-308集以及通过应用本文所描述的用于估算数字图像内的深度的技术产生的深度图310、314和全景对焦图像312、316的示例。在一些示例中，依照本文所描述的技术，输入图像302-308已经使用数字相机预先捕获。因此，在一些示例中，考虑到光圈设置或者焦距设置中的至少一个，输入图像302-308均与彼此不同。在一些示例中，输入图像302-308的光圈设置和焦距设置使用选取函数来最优地选取。然而，在其它示例中，输入图像302-308的光圈设置和焦距设置可以已经由数字相机的操作者任意地或者系统地选取。因为已经使用不同的输入设置捕获输入图像302-308，每个图像将被不同地模糊。

一旦接收了输入图像302-308，就可以计算深度图310和全景对焦图像312。在一些示例中，深度似然与去卷积算法(例如Weiner去卷积)一起用于恢复全景对焦图像312。例如，一旦已经通过独立地计算每个像素处的最大深度似然估算了用于所有输入图像中的每个图像分块的模糊内核，最大深度似然就用于计算全景对焦图像312。

在一些示例中，标准Weiner去卷积用于确定对于每个深度假定(不仅仅最大深度似然)而言，全景对焦分块将看起来的样子。在这一示例中，当计算全景对焦图像312时，考虑了深度估算中的每个分块的不确定性的量度。这是因为输出分块D的潜在版本的数目直接对应于深度假定D的数目。答案数目的加权线性组合用于找回全景对焦图像312的最终答案，其中分块的权重从深度假定dd导出，是分块在深度dd处的概率(即，在似然值被归一化为在所有深度内总和为1之后，深度dd的似然)。

一旦接收了输入图像302-308，还可以执行以下操作中的至少一部分，以便计算深度图310和全景对焦图像312。例如，考虑使用数字相机的焦距设置f和F数a捕获的输入图像302-308之一的局部模糊图像分块b。假设分块中的深度近似恒定，则b的外观依赖于深度d和场景纹理，场景纹理可以由特定参考焦距f₀的全景对焦图像h(例如全景对焦图像312)表示。依照本文所描述的技术，可以给出关于使用不同镜头设置捕获的共享相同全景对焦图像的若干模糊分块b的d和h的推断。

在一些示例中，关于从相同全景对焦图像形成单独模糊分块的程序可以包括放大、散焦模糊、采样以及噪声。关于放大，随着焦距改变，相同的场景点可以被投射在数字相机204的传感器平面上的不同位置处，对应于全局几何缩放。

由于重新聚焦，对应于下采样，并且缩放因子

关于散焦模糊，由于光圈的有限形状，离焦对象的图像出现模糊，并且模糊对应于放大的全景对焦图像和圆盘之间的卷积，该圆盘的半径由深度、焦距以及光圈确定。

关于采样，虽然传感器辐照度是连续的，数字图像仅在离散位置处对强度采样。因此，图像中仅特定频率可能已被采样。

最后，关于噪声，最终图像是纯净的采样图像的非线性、有噪声版本。在本公开的范围内，至少一些输入图像被线性化并且将图像噪声使用简单的高斯模型来建模。

在一些示例中，放大、散焦模糊和采样可以具有傅里叶对应。例如，放大(其可以是全局几何缩放算子)可以对应于傅里叶域中的几何缩放：

图像域的卷积可以是傅里叶域中按元素乘法的等效，

最后，图像域按元素乘法还可以表示为傅里叶域卷积，

因此，方程(5)可以在傅里叶域中表示为

其中N(ξ)不仅考虑图像噪声，而且还考虑超出Nyqvist频率的高频成分。

在一些示例中，可能便利的是，在评估深度似然函数的同时，通过缩放为在f₀处的放大倍数来校正模糊图像，使得

其中

是抗锯齿滤波器。因此其近似有

i_f，a≈h*ψ(d)+ε (13)

其中

因此在傅里叶域中

I_d，f，a(ξ)≈H(ε)·ψ_d，f，a(ξ)+N(ξ) (15)

接着，考虑N个对应校正分块

可以确定深度假定d的似然

因为已知每个像素的镜头设置，可以计算模糊内核

的序列，其中每个内核不仅考虑散焦模糊，而且考虑相位改变(如果已经使用了最近邻法)和用于校正的抗锯齿滤波器(如果已经使用了双线性和或插值)。

等效地，对于局部图像分块，可以评估成本函数(cost function)ε(d|{i_n})，其满足

接着，通过简单地针对单独像素挑选最小成本的深度假定，可以生成渴望的深度图标记。

在一些示例中，离散成本函数还可以用作Markov随机场的数据成本，以便并入空间平滑性先验。随后讨论其它方法，它们可以从这一成本矩阵生成值连续的深度估算而不是深度标记，并且可以将空间先验并入在连续域中。

在一些示例中，可以引入傅里叶域深度估算算法。可以假设关于深度的平面先验

Pr(d)＝常数 (18)

并且因此d的后段与模糊图像之间的联合分布成比例，并且深度可以为

全景对焦图像分块和深度当中的联合概率可以进一步表示为

其中

对应于图像噪声模型，且Pr(h)对应于图像先验。全景对焦图像h可以通过将其边缘化来因子析出。

在高斯噪声模型下，

以及高斯图像先验

似然的负对数则可以以闭合形式导出

可以进一步计算

随着

的极限，使得图像先验变为平面先验。因此，似然函数可以表示为

在一些示例中，方程24的实施方式可能是昂贵的，因为其提取针对整个图像的局部分块。备选地，方程24可以在图像域中重写，以便使用图像卷积来计算成本函数。

因为卷积理论和傅里叶变换的线性，一个观测(observation)可以为

以此方式，输入图像可以被收集为数据流并且存储在缓冲器中。

接着，ε(d)可以由下式计算

备选地，全景对焦图像可以由下式估算

h^*＝deconvwnr(v₁，v₂) (30)

在一些示例中，在对齐不同放大倍数的图像时，因为关于缩放操作的简化，方程13中的近似可能在弱纹理区域造成伪影。在一些示例中，当各自以每个焦距设置拍摄的不同光圈的两个图像被约束时，放大倍数可以固定。这可以至少部分地通过以下方式来实现：首先计算在每个焦距设置f_n下对于参考光圈设置的模糊内核尺寸σ_n*的MAP估算，并且然后将所测量的作为焦距设置的函数的模糊内核尺寸鲁棒拟合至校准的镜头模型。

其中γ为{σ_n*}中的噪声水平。

如果假设连续拍摄相同焦距设置的图像，则这一方法还可以保证连续帧之间的稠密匹配，因为运动和户外的照明改变通常是连续的。

已经生成深度图310，以使用颜色滑尺来指示相对深度(如图3所示)。例如，红色(图3中的3101、3141部分)表示更近的深度而蓝色(图3中的3102、3142部分)表示更远的深度。在一些示例中，深度图310可以包括绝对深度。一旦计算了深度图310和全景对焦图像312，就可以生成经调整的深度图314和经调整的全景对焦图像316。在一些示例中，经调整的深度图314和经调整的全景对焦图像316使用深度似然函数从输入图像302-308直接计算。在一些示例中，经调整的深度图314和经调整的全景对焦图像316被调整为考虑如在输入图像302-308之间的场景内对象的移动。例如，图像中右侧的树丛在捕获输入图像302-308的时间之间可能已经移动。在一些示例中，对象的移动通过下文所讨论的技术考虑。

在一个示例中，为了一次考虑图像对，方程24中的似然函数可以重写为：

在一些示例中，导出的能量函数与方程24的不同可以在于恒定偏移。因此，虽然它们是不相等的，但是它们可以以相似方式约束深度，因为它们可以对应于相同条件似然和最大似然的相同假定深度。

因此，深度似然函数的计算可以包括计算图像对之间的差异，其中散焦模糊对齐

j_mn＝i_m*φ_n (35)

j_mn＝i_n*φ_m (36)

或者比较它们的频率

J_mn＝I_mΦ_n (37)

J_mn＝I_nΦ_m (38)

基于此，可以实现以下技术以便考虑运动。当运动轻微时，可以将其近似为局部平移。在这一情形下，运动对傅里叶谱J_mn的贡献可以不大，而是主要贡献于傅里叶谱的相位。因此，实现运动鲁棒性的简单方法是忽略相位

为了处理更大的运动或者最好地使用相位信息，散焦对齐的图像j_mn和j_nm可以匹配到位移。在一些示例中，简单策略可以是简单地运行光流，以便估算从可以用作参考的第一图像到任何其它输入图像的相对运动。之后，输入图像可以被扭曲，以便使输入图像对齐并且将它们用作上述深度估算算法的输入。

最终，可以是可能的是，通过简单地将最小可实现成本函数记忆(mind)ε(d)和大成本的阈值区域检查为异常值，来检测场景中的异常值(其中对于光流或者线性照明模型而言场景改变过大)。

在一些示例中，经调整的深度图314和经调整的全景对焦图像316被调整为考虑场景内的照明条件。例如，输入图像302中的台阶上的扶手阴影与输入图像308中的阴影非常不同。在一些示例中，对象的改变的照明条件通过下文讨论的技术来考虑。

例如，照明改变可以被建模为局部恒定的对比度改变和亮度偏移

h_n＝p_nh+q_n (40)

因此，可以为

j_mn＝p_mnj_mn+q_mn， (41)

其中

q_mn＝q_m-p_mnq_n. (43)

因此，似然函数可以修改为

其中，

是j_mn(s,t)的平均值。

在一些示例中，照明改变鲁棒性可以被并入在傅里叶域公式中。在这一示例中，偏移可以仅影响DC分量，并且错误函数可以通过跨达到一定规模的ξ比较J_m(ξ)和J_n(ξ)来计算。针对照明改变的调整因此可以包括调整图像分块中的至少一些图像分块的部分的偏置和增益。

依照至少一个示例，以下讨论描述了使用本文所描述的技术执行的示例动作和/或程序。图4描绘了依照至少一个示例的包括涉及估算数字图像内的深度的示例动作或者技术的过程400。过程400中的一些或者所有(或者本文所描述的任何其它过程，或者其变化和/或组合)可以在配置有可执行指令的一个或者多个计算机系统的控制下执行，并且可以被实现为代码(例如，可执行指令、一个或者多个计算机程序或者一个或者多个应用)，该代码通过硬件或者其组合集体执行在一个或者多个处理器上。代码可以例如以包括可通过一个或者多个处理器执行的多个指令的计算机程序的形式存储在计算机可读存储介质上。计算机可读存储介质可以是非瞬态的。使用本文所描述的深度似然函数的深度生成引擎102(图1)执行图4中的过程400。过程400在块402处通过接收图像的集开始。在一些示例中，接收图像集包括接收描绘场景并且从基本上相似的视点捕获的图像集。在一些示例中，图像集中的图像已经由数字相机使用包括光圈设置和焦距设置的不同配置设置捕获。用于捕获图像集中的每个图像的配置设置以与图像关联的元数据来存储。可以依照生成并且提供到数字相机的设置来捕获图像。在这一示例中，生成指令的设备记录提供了哪些设置，并且当(之后)生成深度图时访问这些设置。在一些示例中，接收指示图像从视点捕获的用户输入。偶尔，因为在捕获图像的同时数字相机稍微移动，集中的一些图像在与其它图像稍微不同的位置捕获。当这一情况发生时，由在不同位置处捕获导致的图像之间的差异可以与由运动导致的差异的建模相似地建模。因此，可以执行光流或者其它调整技术以便考虑图像之间的差异。光流或者其它调整技术能够考虑两个图像之间的微小变化。

在404处，过程400比较使用特定模糊内核模糊的图像集中的第一图像的图像分块与使用特定模糊内核模糊的图像集中的第二图像的图像分块，以便确定针对图像分块中的每个图像分块的深度估算。在一些示例中，比较图像分块包括以避免向选取具有更大模糊水平的模糊内核的不适当偏置的方式来比较图像分块；特别地，在存在噪声时。在一些示例中，比较图像分块以便确定深度估算包括在深度假定的离散集内评估对应图像分块，并且将图像分块的估算深度选取为产生最大深度似然的深度假定。在图5中更详细地描述了404的过程。

在406处，过程400使用一个或多个计算的深度估算来生成深度图。在一些示例中，生成深度图包括生成包括深度信息的深度图，该深度信息对应于场景内的对象相距捕获图像处的基本上相似的视点的距离。通过将针对图像的每个图像分块的深度估算取为404处确定的深度估算，来生成深度图。在一些示例中，生成深度图包括提取针对全部捕获图像的局部分块，并且比较来自捕获图像中的不同捕获图像的局部分块，而不考虑关于全景对焦图像的某些假设。在一些示例中，生成深度图可以包括提取少于所有的针对全部捕获图像的局部分块。

在408处，过程400调整深度图以便考虑对象在场景的图像之间的运动。在一些示例中，调整深度图以便考虑对象的运动包括使用光流技术或者通过变换到傅里叶域(通过将图像集中的图像的图像分块表示为频率和相位的集)并且比较图像分块的幅度而忽略相位。

当捕获多个图像时，尤其在室外，由于对象移动，多个图像内的对象之间可能有轻微位置差异。这可能是风吹动对象的结果。例如，在操作者202捕获多个图像的同时，风可以使得树212的树叶或者胡萝卜210的顶部移动。因此，在第一图像中，胡萝卜210的顶部可以在第一图像内的第一位置，并且可以在第二图像内的第二位置。如果在深度图生成之前或者在深度图生成期间未考虑这些差别，则它们可能影响产生的深度图的质量。因此，在408处，执行对图像的部分的一个或者多个操作以便于补偿这种移动。这些操作包括例如：执行光流技术，以便估算与第一图像中的像素的位置相比，第二图像中的像素的新的位置；或者通过将图像的分块变换到傅里叶域(通过将它们表示为频率和相位的集)并且比较所有分块的幅度而忽略相位。这一第二方法是有用的，因为其可以对分块平移不敏感。在一些示例中，调整深度似然函数以便于还考虑运动。在一些示例中，通过在已经生成深度图之后执行的分立函数来考虑运动。

在410处，过程400调整深度图以便考虑场景的图像之间的照明条件的改变。在一些示例中，调整深度图以便考虑照明条件的改变包括将照明改变建模为亮度和对比度的局部恒定改变。例如，当捕获了多个图像时，尤其在室外，由于当捕获多个图像时其间的照明改变，多个图像内的图像分块中的颜色强度、图像分块的亮度等方面可能有轻微的照明改变。这可以是自然条件(例如，在图像之间，太阳进入云后方)或者非自然条件(例如，在捕获某些图像的同时闪光灯关闭，而在捕获其它图像的同时闪光灯不关闭)的结果。例如，当太阳在其右侧时，树212可以产生一定的阴影，但是当太阳在其左侧时，树可以产生不同的阴影。相似地，与太阳在云后方时相比，当太阳出来时，可以有更清晰的阴影。用于补偿照明条件的改变的方法包括例如将照明改变建模为亮度和对比度的局部恒定改变。考虑第一图像中的第一分块和第二图像中的第二分块之间的照明改变包括调整第二图像分块的偏置和增益。在一些示例中，调整深度似然函数以便于还考虑照明改变。在一些示例中，通过在已经生成深度图之后执行的分立函数来考虑照明改变。

在412处，过程400提供用于呈现的深度图。在一些示例中，提供用于呈现的深度图包括提供用于在用户设备上呈现的深度图。

图5描绘了用于估算图像分块的深度的示例性过程404(图4)。过程500在块502处通过识别来自至少两个图像的集中的第一图像的图像分块和来自至少两个图像的集中的第二图像的对应图像分块而开始。在一些示例中，识别通过计算机系统来执行。在步骤504处，来自深度假定的离散集的第一深度假定。深度假定的离散集可以包括任何合适数目的深度假定。在一些示例中，离散集中包括四十个深度假定。

在506处，第一模糊内核被识别，其依赖于所选取的深度假定和用于捕获第一图像的第一配置设置。如本文所描述的，第一模糊内核依赖于所选取的深度假定和第一配置设置，至少因为在校准数字相机期间，模糊内核被映射到深度和配置设置(即，光圈和焦距设置的变化)。相似地，在508处，第二模糊内核被识别，其依赖于所选取的深度假定和用于捕获第二图像的第二配置设置。如本文所描述的，第二模糊内核依赖于深度假定和第二配置设置，至少因为在校准数字相机期间，模糊内核被映射到配置设置(即，光圈和焦距设置的变化)和深度。

在510处，第一图像的图像分块与第二模糊内核进行卷积，并且来自第二图像的对应图像分块与第一模糊内核进行卷积，以便确定图像分块的深度似然。在一些示例中，卷积可以被归一化。在确定了由所选取的深度假定产生的深度似然之后，过程在512处确定是否存在要评估的其它深度假定。如果存在，则过程返回到步骤504以便选取另一深度假定并且从该点开始重复。接着，最终在步骤512处确定没有其它深度假定还要被评估，移动到设置514，在该处，产生最大深度似然的深度假定被确定为图像分块的深度估算。

接着转到图6，其中示出了用于实现如本文所描述的涉及估算数字图像内的深度的技术的示例架构600。架构600包括一个或者多个用户设备602(1)-602(N)(下文中，“用户设备602”)，一个或者多个用户设备经由一个或者多个网络624(下文中，“网络624”)与图像编辑服务604通信。网络624包括很多不同类型的网络(诸如线缆网络、因特网、无线网络、蜂窝网络、无线电网络、以及其它私人和/或公共网络)的任何一个或者组合。

用户设备602包括能够捕获图像和/或对图像执行一个或者多个操作的任何合适的设备。在一些示例中，用户设备602可以为任何合适的计算设备，诸如(但是不限于)数字相机、移动电话、智能电话、个人数字助理(PDA)、膝上型电脑、个人电脑、台式电脑、机顶盒、瘦客户端设备、或者其它计算设备。用户设备602由一个或者多个用户(未示出)利用用于与图像编辑服务604交互。贯穿本说明书，对“数字相机”的任何使用仅为了说明性目的，并且本领域普通技术人员将理解的是，用户设备602(1)-602(N)中的任何一个或者任何相似设备可以被替换。

因此，用户设备602包括处理器628，处理器628通信耦合到存储器626并且执行计算机可执行程序代码和/或访问存储在存储器626中的信息。在一些示例中，存储器626存储深度生成引擎102(A)和web服务应用632。处理器628可以包括微处理器、专用集成电路(“ASIC”)、状态机、或者其它处理设备。处理器628还包括若干处理设备(包括一个)中的任何一个。这种处理器可以包括存储指令的计算机可读介质或者可以与其通信，当由处理器628执行时，该指令使得处理器执行本文所描述的操作。Web服务应用632使得用户能够通过网络624与图像编辑服务604交互。用户设备602还包括图像捕获设备634。在一些示例中，图像捕获设备634可以被配置为捕获一个或者多个图像。在一些示例中，图像捕获设备634可以包括常规数字相机，该常规数字相机包括镜头、光圈设置、焦距设置、红外投影仪、或者结构化光设备。

图像编辑服务604可以是由用户设备602和其它设备经由网络624可访问的基于web的服务。例如，假设使用用户设备602(2)(例如数字相机)捕获了多个图像，则这些图像可以被传送到用户设备602(N)(例如计算机)，并且用户设备602(N)可以与图像编辑服务604通信，图像编辑服务604执行深度生成引擎102(B)以便从图像生成深度图。在这一方式中，图像编辑服务604可以被配置为通常实现本文所描述的技术。在一些示例中，图像编辑服务604由一个或者多个web服务器来实现，并且图像编辑服务604可以由用户设备602经由网络624访问，网络624可以是因特网、内联网、外联网或者任何其它数据和/或通信网络。

图像编辑服务604包括处理器606，处理器606通信耦合到存储器608并且执行计算机可执行程序代码和/或访问存储在存储器608中的信息。在一些示例中，存储器608存储深度生成引擎102(B)和操作系统612。操作系统612可以为配置用于与图像编辑服务604交互的任何合适的操作系统。处理器606可以包括微处理器、ASIC、状态机、或者其它处理设备。处理器606还可以包括若干处理设备(包括一个)中的任何一个。这种处理器可以包括存储指令的计算机可读介质或者可以与其通信，当由处理器606执行时，该指令使得处理器执行本文所描述的操作。

存储器608可以包括任何合适的计算机可读介质。计算机可读介质可以包括任何电子、光、磁存储设备、或者能够为处理器提供计算机可读指令或者其它程序代码的其它存储设备。计算机可读介质可以包括例如磁盘、存储器芯片、ROM、RAM、ASIC、经配置的处理器、光存储、磁带或者其它磁存储、或者计算机处理器可以从其读取指令的任何其它介质。指令可以包括由编译器和/或解译器从以任何合适的计算机编程语言编写的代码生成的处理器专用指令，该计算机编程语言包括例如C、C++、C#、Visual Basic、Java、Python、Perl、JavaScript以及ActionScript。

图像编辑服务604还包括诸如输入或者输出设备之类的若干外部或者内部设备。例如，图像编辑服务604包括一个或多个输入/输入(I/O)设备和/或端口614，诸如用于实现与键盘、鼠标、手写笔、语音输入设备、触摸输入设备、显示器、扬声器、打印机或者其它I/O设备的连接。图像编辑服务604还包括附加存储616，附加存储616可以包括可移除存储和/或非可移除存储。附加存储616可以包括(但是不限于)磁存储、光盘和/或带存储。盘驱动器以及它们关联的计算机可读介质可以提供对计算机可读指令、数据结构、程序模块、以及其它数据的非易失性存储。图像编辑服务604还可以包括用户接口618。用户接口618可以由操作者或者其它授权用户利用用于访问图像编辑服务604的部分。在一些示例中，用户接口618可以包括图形用户接口、基于web的应用、诸如应用编程接口(API)之类的编程接口、或者其它用户接口配置。图像编辑服务604还包括数据存储620。数据存储620可以包括用于存储信息的数据结构，该信息涉及本文所描述的技术的实施方式。这种信息可以被存储在图像数据库622中。在图像数据库622内可以存储输入图像、深度图、以及其它相似的图像和图，连同它们关联的信息。

总体考虑

本文阐述了众多具体细节，以便提供对所要求保护的主题的透彻理解。然而，本领域技术人员将理解的是，可以在没有这些具体细节的情况下实践所要求保护的主题。在其它实例中，将由普通技术人员已知的方法、装置或者系统未详细描述，以便不会模糊所要求保护的主题。

除非另外明确指出，要理解的是，贯穿本说明书，利用诸如“处理”、“计算”、“确定”以及“识别”等之类的术语的讨论指代计算设备(诸如一个或者多个计算机或者一个或者多个相似的电子计算设备)的动作或者处理，该计算设备操纵或者变换表示为计算平台的存储器、寄存器、或者其它信息存储设备、传输设备、或者显示设备内的物理电子或者磁学量的数据。

本文所讨论的一个或多个系统不限于任何特定的硬件架构或者配置。计算设备可以包括部件的任何合适的布置，其提供以一个或者多个输入为条件的结果。合适的计算设备包括访问被存储的软件的多用途的基于微处理器的计算机系统，该软件将计算系统从通用计算装置编程或者配置成实现本本题的一个或者多个实施例的专用计算装置。任何合适的编程、脚本编写、或者其它类型的语言或者语言组合可以用于实现本文中以软件方式包含的教导，该软件要在对计算设备进行编程或者配置中使用。

本文所公开的方法的实施例可以在操作这种计算设备中执行。以上示例中呈现的块的顺序可以变化——例如，块可以被重新排序、组合、和/或分解成子块。某些块或者过程可以并行地执行。

本文中“适于”或者“配置为”的使用意指作为开放性和包括性语言，其不排除适于或者被配置为执行附加任务或者步骤的设备。此外，“基于”的使用意指是开放性的和包括性的，原因在于，“基于”一个或者多个所记载的条件或者值的过程、步骤、计算或者其它动作可以在实践中基于除记载的那些之外的附加条件或者值。本文中包括的标题、列表以及编号仅为了便于解释并且不意指限制性的。

虽然已经关于其特定实施例详细描述了本主题，但是将理解的是，本领域技术人员在完成理解前述内容时，可以容易地产生对这种实施例的变更、变化和等效。因此，应该理解的是，为了示例而非限制目的，已给出本公开，并且如对于本领域普通技术人员来说将容易显而易见的，不排除包括对本主题的这种修改、变化和/或附加。

Claims (20)

1.一种用于从由数字相机捕获的图像生成深度图的计算机实现的方法，其中所述深度图使用深度似然函数生成，所述计算机实现的方法包括：

通过计算机系统，接收描绘场景并且从相同的视点捕获的至少两个图像的集，所述图像中的每个图像已经由所述数字相机使用与其它图像中的每个图像相比至少一个不同的配置设置捕获，所述至少一个不同的配置设置能够将模糊引入到至少两个图像的所述集中；

通过所述计算机系统，识别来自至少两个图像的所述集中的第一图像的多个图像分块和来自至少两个图像的所述集中的第二图像的多个对应图像分块；

通过所述计算机系统，在深度假定的离散集内使用深度似然函数迭代评估每个图像分块，所述深度似然函数在频域中使用平面先验将所述图像分块和其对应图像分块进行比较，其中对于每个深度假定，所述迭代评估包括：

识别第一模糊内核，所述第一模糊内核依赖于所述深度假定和用于捕获所述第一图像的第一配置设置，

识别第二模糊内核，所述第二模糊内核依赖于所述深度假定和用于捕获所述第二图像的第二配置设置，

将所述图像分块与所述第二模糊内核进行卷积并且将所述对应图像分块与所述第一模糊内核进行卷积，以便确定针对所述图像分块的深度似然，以及

将针对所述图像分块的深度估算确定为产生最大深度似然的所述深度假定；以及

通过所述计算机系统，使用针对每个图像分块的所述深度估算来生成深度图。

2.根据权利要求1所述的计算机实现的方法，其中所述第一模糊内核和所述第二模糊内核均从深度和配置设置到模糊内核的映射进行识别，其中所述映射从用于所述数字相机的校准数据确定。

3.根据权利要求1所述的计算机实现的方法，进一步包括在识别来自所述第一图像的所述多个图像分块和来自所述第二图像的所述多个对应图像分块之前，通过所述计算机系统，使用图像对应算法分析所述第一图像和所述第二图像，以便识别在捕获所述第一图像和捕获所述第二图像之间出现的所述场景内的对象位置的改变；以及

调整所述第一图像或所述第二图像中的至少一个图像以便考虑识别的所述改变。

4.根据权利要求1所述的计算机实现的方法，其中所述迭代评估进一步包括通过以下步骤分析所述图像分块和所述对应图像分块，以便考虑在捕获所述第一图像和捕获所述第二图像之间出现的所述场景内的对象位置的改变：

在所述频域中表示所述图像分块和所述对应图像分块；

计算所述图像分块和所述对应图像分块中的每个图像分块在空间频率集处的总功率；以及

通过削弱在所述空间频率集内的功率差异，比较所述图像分块和所述对应图像分块。

5.根据权利要求1所述的计算机实现的方法，其中所述深度似然函数适于在亮度和对比度方面对所述第一图像或者所述第二图像中的至少一个图像中的照明条件的改变进行建模。

6.根据权利要求1所述的计算机实现的方法，其中所述至少一个不同的配置设置包括光圈设置和焦距设置中的至少一个。

7.根据权利要求1所述的计算机实现的方法，其中在不考虑采样模式的情况下捕获所述图像中的每个图像，并且所述至少一个不同的配置设置是任意选取的。

8.根据权利要求1所述的计算机实现的方法，其中所述深度似然函数进一步包括归一化技术，以便避免向具有更大模糊水平的模拟内核的偏置。

9.根据权利要求1所述的计算机实现的方法，进一步包括使用去卷积算法从所述深度似然计算对应于至少两个图像的所述集的全景对焦图像。

10.根据权利要求1所述的计算机实现的方法，其中所述深度似然函数进一步确定针对每个图像分块的不确定性的量度，其中所述不确定性的量度指示针对给定深度假定的所述深度似然中的方差的量。

11.一种用于从由数字相机捕获的图像生成深度图的系统，其中所述深度图使用深度似然函数生成，所述系统包括：

存储器，存储用于生成深度图的计算机可执行指令和至少两个图像的集，所述至少两个图像描绘场景并且从相同的视点捕获，所述图像中的每个图像已经由所述数字相机使用与其它图像中的每个图像相比至少一个不同的配置设置捕获，所述至少一个不同的配置设置能够将模糊引入到至少两个图像的所述集中；以及

至少一个处理器，被配置为访问所述存储器并且执行所述计算机可执行指令以便使得所述系统执行操作，所述操作包括：

识别来自至少两个图像的所述集中的第一图像的多个图像分块和来自至少两个图像的所述集中的第二图像的多个对应图像分块，

在深度假定的离散集内使用在频域中从平面先验导出的深度似然函数迭代评估每个图像分块，所述深度似然函数使用模糊内核将所述图像分块和其对应图像分块进行比较以便确定针对所述图像分块的深度估算，以及

使用针对每个图像分块的所述深度估算生成所述深度图。

12.根据权利要求11所述的系统，其中对于每个深度假定，所述迭代评估包括：

识别第一模糊内核，所述第一模糊内核依赖于所述深度假定和用于捕获所述第一图像的第一配置设置，

识别第二模糊内核，所述第二模糊内核依赖于所述深度假定和用于捕获所述第二图像的第二配置设置，

将所述图像分块与所述第二模糊内核进行卷积并且将所述对应图像分块与所述第一模糊内核进行卷积，以便确定针对所述图像分块的深度似然；以及

将针对所述图像分块的深度估算确定为产生最大深度似然的所述深度假定。

13.根据权利要求12所述的系统，其中所述第一模糊内核和所述第二模糊内核均从深度和配置设置到模糊内核的映射进行识别，其中所述映射从用于所述数字相机的校准数据确定。

14.根据权利要求11所述的系统，其中执行所述计算机可执行指令进一步使得所述系统执行操作，所述操作包括：

在识别来自所述第一图像的所述多个图像分块和来自所述第二图像的所述多个对应图像分块之前，使用图像对应算法分析所述第一图像和所述第二图像，以便识别在捕获所述第一图像和捕获所述第二图像之间出现的所述场景内的对象位置的改变；以及

调整所述第一图像或者所述第二图像中的至少一个图像以便考虑识别的所述改变。

15.根据权利要求11所述的系统，其中所述深度似然函数适于在亮度和对比度方面对所述第一图像或者所述第二图像中的至少一个图像中的照明条件的改变进行建模。

16.根据权利要求11所述的系统，其中所述至少一个不同的配置设置包括光圈设置和焦距设置。

17.根据权利要求11所述的系统，其中在不考虑采样模式的情况下捕获所述图像中的每个图像，并且所述至少一个不同的配置设置是任意选取的。

18.一个或者多个计算机可读存储设备，用于存储计算机可执行指令，所述指令当由一个或者多个计算机系统执行时将所述一个或者多个计算机系统配置为通过执行操作从由数字相机捕获的图像生成深度图，所述操作包括：

接收描绘场景并且从相同的视点捕获的至少两个图像的集，所述图像中的每个图像已经由所述数字相机使用与其它图像中的每个图像相比至少一个不同的配置设置捕获，所述至少一个不同的配置设置包括光圈设置和焦距设置；

识别来自至少两个图像的所述集中的第一图像的多个图像分块和来自至少两个图像的所述集中的第二图像的多个对应图像分块；

在深度假定的离散集内使用在频域中从平面先验导出的深度似然函数迭代评估每个图像分块，所述深度似然函数将与模糊内核卷积的所述图像分块和其对应图像分块进行比较；以及

使用针对每个图像分块的深度估算生成所述深度图。

19.根据权利要求18所述的一个或者多个计算机可读存储设备，其中对于每个深度假定，所述迭代评估包括：

识别第一模糊内核，所述第一模糊内核依赖于所述深度假定和用于捕获所述第一图像的第一配置设置，

识别第二模糊内核，所述第二模糊内核依赖于所述深度假定和用于捕获所述第二图像的第二配置设置，

将所述图像分块与所述第二模糊内核进行卷积并且将所述对应图像分块与所述第一模糊内核进行卷积，以便确定针对所述图像分块的深度似然，以及

将针对所述图像分块的深度估算确定为产生最大深度似然的所述深度假定。

20.根据权利要求18所述的一个或者多个计算机可读存储设备，其中迭代评估进一步包括通过以下步骤分析所述图像分块和所述对应图像分块，以便考虑在捕获所述第一图像和捕获所述第二图像之间出现的所述场景内的对象位置的改变：

在所述频域中表示所述图像分块和所述对应图像分块；

计算所述图像分块和所述对应图像分块中的每个图像分块在空间频率集处的总功率；以及

通过削弱在所述空间频率集内的功率差异，比较所述图像分块和所述对应图像分块。

Images