CN102223477A - 基于双图片匹配的深度估计的四维多项式模型 - Google Patents

Abstract

本发明涉及基于双图片匹配的深度估计的四维多项式模型。响应于基于在不同的聚焦位置处捕获的图像之间计算的模糊差别的图片匹配所执行的相机深度估计。基于用模糊差别根据焦长、光圈、物距和镜头聚焦位置变化的一系列匹配曲线对相机进行表征，模糊差别被存储在相机中。四维多项式模型被创建，以拟合匹配曲线，用于估计物距。在操作期间，多个图像被捕获，用于估计物距。应用运动补偿，并确定模糊。模糊差别被用于多项式模型，以估计物距。物距估计可以被输出或用于自动聚焦过程，以提供精确的聚焦调节。

Description

基于双图片匹配的深度估计的四维多项式模型

技术领域

本发明一般地涉及相机深度估计，更具体地涉及利用图片匹配的深度估计。

背景技术

为了获得最令人满意的输出，在捕获图像时相机必须被适当地对焦。已经开发了多种系统来估计和/或获得适当的相机对焦。下面将对典型相机-镜头系统内的元件及其相关的特性进行简单讨论。

照相镜头的基本光学参数可能可以被认为是其最大光圈和焦长。焦长决定了视角，以及对于给定的与对象(subject)相距的距离(物距)，图像相对于物体(对象)尺寸的尺寸。最大光圈(光圈数(f-number)或光圈级数(f-stop))限制图像亮度以及可用于给定设置(焦长/有效光圈)最快快门速度，其数值越小，表示越多的光被提供到焦平面，所述焦平面通常可以被认为是简单数字相机中的图像传感器面。相机的焦长可以是单焦长或是可响应于调节所谓的“变焦”控制变化的。

一种形式的简单镜头具有单焦长并且也被称为“定焦镜头(prime lens)”，其在技术上是具有单个元件的镜头，但是通常使用更广泛。在利用单焦长镜头对相机进行对焦时，镜头和焦平面之间的距离被改变，导致照相对象到该平面上的焦点的变化。因此，虽然单焦长镜头具有固定的光学关系和焦长，但是其在相机中被用于对于在一定焦长范围内的对象进行聚焦。因此，不应根据调节该镜头相对于焦平面的位置改变焦长，来混淆镜头的焦长(一个或多个)与利用该镜头可在相机上获得的对焦范围。

为了使用单焦长镜头，调节光圈，以针对期望的快门速度选择光的量，然后根据物距调节对焦，此后快门被“松开”，图像被拍摄。应该理解，用于图像捕获的触发机构在此被称为“快门松开”，在数字相机中捕 获图像的过程在很大程度上是电子执行地。通常在其他的单焦长镜头上，宏观设置(macro setting)通常设有不同的焦长选择，用于拍摄特写镜头。远摄(telephoto)镜头以高倍率提供非常窄的视角，用于为画面帧(frame)填充来自远距物体的图像。

多焦长镜头通常被称为“变焦”镜头，因为图像倍率根据需要可以是“变焦的”或者“未变焦的”，从而获得更高或更低的倍率。变焦镜头允许用户选择对象的倍率量，或者换一种方式说，允许用户选择对象被变焦以填充画面帧的程度。了解到这些镜头或相机镜头系统的变焦功能在概念上与聚焦控制和光圈控制二者是分开的这一点是重要的。

不管是利用单焦长镜头还是利用多焦长镜头，都有必要针对给定的物距来适当地聚焦镜头。对于给定的聚焦设置，可接受的聚焦范围被称为“景深”，其是对物体空间或对象空间中的可接受锐度的深度的度量。例如，在15英尺的物距的情况下，高清晰度相机的可接受聚焦范围可以是约为几英寸，而最佳的聚焦可能要求更高的精度。将会认识到，随着聚焦从中间距离向外朝着“无限远”(例如拍摄远处的山、云等的图像)移动，景深增大，在该范围上当然具有无限制的景深。

对于单焦长镜头，在给定的光圈设置下，对于从相机到对象的给定距离(物距)将存在单个最佳聚焦设置。比相机的焦距更近或更远的对象部分将在所捕获的图像中显示出受到某种程度的模糊，这取决于影响景深的许多因素。然而，在多焦镜头中，对于镜头可获得的每个镜头倍率(镜头焦长)都存在最佳的焦点。为了提高实用性，镜头制造者大大降低了对响应于变焦设置而重新聚焦的需要，但是重新聚焦的必要性取决于所使用的特定相机镜头系统。另外，光圈设置可能需要响应于不同的变焦倍率水平而改变。

最初，相机聚焦仅仅可以响应于操作者的识别和手动聚焦调整而被确定和校正。然而，由于聚焦对结果的重要性，已经采用了聚焦辅助。最近，成像装置(imaging device)通常提供自动聚焦到对象上的能力，这是目前一般称为“自动聚焦”的功能。因为诸多的现有自动聚焦机制各自存在缺点和折衷，所以聚焦仍然是密集的技术开发点。

存在两种一般类型的自动聚焦(AF)系统，主动自动聚焦和被动自动聚焦。在主动自动聚焦中，一个或多个图像传感器被用来确定离焦点的距离，或者以其他方式在图像捕获镜头系统外部检测聚焦。主动AF系统可以执行快速聚焦，但是它们通常不会通过窗口来聚焦，或者在其他特定应用中由于声波和红外光被玻璃和其他表面反射而通常不会聚焦。在被动自动聚焦系统中，使用所观看的图像的特性来检测和设置聚焦。

多数高端SLR相机目前使用透过镜头型(through-the-lens)光学AF传感器，这些光学AF传感器例如可被用作测光计。这些现代AF系统的聚焦能力通常比通过普通取景器而手动获得的精度更高。

一种形式的被动AF例如通过以下方式利用相位检测：将通过分束器的入射光分成多对图像并且在AF传感器上对它们进行比较。两个光学棱镜捕获来自镜头的相反两侧的光线并且将其转向到AF传感器，从而创建基线与镜头直径相同的简单测距仪。响应于对类似的光强度图案和相位差进行检查来确定聚焦，其中相位差的计算是为了确定物体被认为在焦点前面还是在适当聚焦位置后面。

在另一类型的被动AF系统中，在通过镜头的传感器区域内进行对比度测量。该系统调整聚焦以使得相邻像素之间的强度差最大化，这种情况大致表示出正确的图像聚焦。因此，执行聚焦直到获得最大对比度水平为止。这种形式的聚焦慢于自动AF(尤其当在暗光下操作时)，但却是低端成像装置中利用的常见方法。被动系统在低对比度或低光照条件下进行聚焦判定是非常差的。

此外，当对象处于运动中时，例如针对“动作拍摄”，如玩耍中的儿童、体育运动、野外动物等等，许多聚焦系统表现很差。

因此，存在对改进的深度估计和/或自动聚焦技术的需要，所述改进的深度估计和/或自动聚焦技术在宽范围的条件和对象运动下提供快速和精确的物距估计和/或聚焦控制。本发明满足了这些以及其他要求，克服了现有相机聚焦技术的缺点。

发明内容

基于两个图片匹配和模糊差别的相机深度估计被提出。深度估计可以被用于向用户显示聚焦信息(例如，在手动或半自动聚焦设置下)和/或被用于自动调节相机聚焦的方法中(例如，在自动聚焦设置下)。本发明的方法计算在不同的聚焦位置处捕获的图像(临时存储)之间的模糊差别。不管是否运动，在图像之间应用运动补偿技术，以获得正确的聚焦。确定模糊差别，所述模糊差别根据焦长、光圈、物距和镜头聚焦位置而变化，并且在本发明中可以由多维多项式模型，优选四维多项式模式来近似。不那么优选的是，本发明可以用三维多项式模型来实施(诸如，响应于单焦长镜头的使用)。还将理解的是，在其中相机聚焦受到其他相机变量影响的应用中，可以使用高于四维的多项式模型来实现本发明。

模型可以用于计算对象深度，并且优选在整个焦距范围内校准，诸如通过捕获一个序列的阶跃边缘图像。本申请通过为由于运动导致的两个图片之间的重合失调和为处理可变相机设置(变焦和光圈)提供实际解决方案，扩展了根据两图片匹配的深度估计的适用性。

应该理解，为根据本发明估计物距所捕获的图像优选不是以与捕获要用的用户选定图像相同的方式捕获的。作为示例，当用户选定照相对象时，他们将在取景器中框定该对象，并且通常部分地按下“快门”按钮，以激活聚焦控制。在此期间，根据本发明的至少一个实施方式，相机将以不同的聚焦设置“捕获”至少两个图像。这些图像仅仅由相机装置在执行本发明的用于计算物距的方法中内部使用，并且通常将不会诸如响应于进入相机的“图像回看”模而可在由用户拍摄的图像集中访问。当诸如根据本发明的聚焦控制建立了正确的聚焦时，响应于检测“快门”按钮已经被完全按下，则用户选定的对象图像以传统的方式被捕获，并且存储在相机内，用于后续的回看、上传、打印和用户期望的任何其他操作。一旦用户选定对象图像被捕获，则为了物距估计临时“捕获”的图像不再被需要，因此优选被放弃以节约存储器。

本发明适用于以多种方式实现，包括但不限于如下的描述。

本发明的一种实施方式是一种用于以电子方式捕获图像的设备，诸如静态图像相机或具有静态图像捕获模式的视频相机，其包括：(a)成像元 件，其布置在图像捕获设备上；(b)聚焦控制元件，其耦合到所述成像元件；(c)计算机处理器，其耦合到所述成像元件和所述聚焦控制元件；(d)存储器，其耦合到所述计算机处理器，并被配置来保持从所述成像元件捕获的图像和保持可由所述计算机处理器执行的程序；(e)多维聚焦匹配模型，其作为拟合了与在一个范围内的不同的焦长处捕获的图像匹配曲线的模糊差别的多维多项式保持在存储器中；以及(f)可在所述计算机处理器上执行的程序，用于(f)(i)捕获多个物体图像(用于临时用于估计过程中)，包括至少第一图像和第二图像，并且寄存所述物体图像的焦长和光圈，(f)(ii)对于所述多个物体图像之间的运动进行补偿，(f)(iii)确定所述多个物体图像之间的模糊差别，以及(f)(iv)响应于将模糊差别应用于所述多维聚焦匹配模型，自动估计物距。所述多个物体图像包括至少两个利用相同的光圈设置和焦长在不同的聚焦位置上捕获的图像。对象深度估计可以在相机内被使用，用于显示物距信息，或者被用于自动聚焦控制程序内，其中计算机处理器响应于物距估计自动地调节相机设备的聚焦。或者，对象深度估计可以用于手动-自动组合模式，诸如用于提供半自动聚焦调节的模式中。

图像匹配曲线描述迭代次数和镜头聚焦位置之间的关系，诸如由对于相机和其镜头的表征过程来确定。根据本发明构建聚焦匹配模型，以表示对于给定的相机设置与焦距相关的模糊贡献。在至少一个优选的实现方式中，多维模糊差别模型包括关于对象深度、聚焦位置、焦长和光圈的四维多项式函数。

在至少一个实现方式中，在图像之间执行运动补偿，其中，第一图像的至少聚焦区域作为拟合被置于所述第二图像内，或者，第二图像的一部分作为拟合(fit)而被置于第一图像的聚焦区域内。响应于运动补偿，使得所得模糊差别计算更精确，因为利用在补偿之后被比较的第一和第二图像的部分之间的静态图像内容，更精确地呈现了模糊。在至少一个实现方式中，响应于通过模糊内核的一次或多次卷积来执行运动补偿，以确定模糊差别。在至少一个实现方式中，运动补偿根据如下关系来执行：

$\left({\hat{x}}_v{,\hat{y}}_v\right)=\underset{(x_v,y_v)}{\arg \min }\left|\right|f_i(x,y)-f_j(x-x_v,y-y_v)\left|\right|$

其中，两个图像f_i和f_j在一个序列中被捕获，以i＜j表示图像i在该序列中早于图像j拍摄，||·||是估计匹配误差的范数算子。f_i的聚焦区域与来自f_j的相同尺寸的位移区域比较。位移量(x_v，y_v)等于在水平和垂直方向上的例如±5个像素。对于所有的位移位置，找出产生最小匹配误差的一个 

经位移的图像 

表示具有f_i的聚焦区域最佳匹配的区域的与经位移的f_j。

在至少一个实现方式中，所述模糊差别I_{A_B}按如下计算：

其中，K是卷积运算，(x，y)是像素位置位移量，(x_v，y_v)是在给定搜索范围v内像素位置位移量，f_A是第一图片并且f_B是第二图片。

在至少一个实现方式中，所述模糊差别I_{A_B}通过如下方式来近似：令 

并且通过关系

确定模糊差别，其中K是卷积运算，(x，y)是像素位置位移量，(x_v，y_v)是在给定搜索范围v内像素位置位移量，f_A是第一图片，f_B是第二图片，并且 

是响应于运动补偿的所述第二图片。

在至少一个实现方式中，模糊差别响应于是f_i还是f_j更尖锐来确定，这可以响应于(a) 

以及(b) 

来确定，其中I₁和I₂是第一和第二模糊差别值，f_i和f_j是两个捕获的图像，f_j ^V是响应于运动补偿的捕获图像，并且K是模糊内核。其中，如果I₁大于I₂，则f_i比f_j更尖锐，并且所述模糊差别将由I₁给出，否则如果I₂大于I₁，则I₂更尖锐，并且所述模糊差别将由-I₂给出。所述模糊差别值的符号指示哪一个图像更尖锐。

在至少一个实现方式中，所述聚焦匹配模型包括响应于如下步骤确定的多维多项式函数：(a)找出所述多维多项式的系数，以拟合所述模糊差别 匹配曲线；(b)确定拟合误差并放弃局外点；以及(c)重复上述步骤，直到多项式拟合收敛到相对于与所述模糊差别匹配曲线的期望的精度。

在至少一个实现方式中，所述聚焦匹配模型通过执行表征(characterization)来创建，所述表征包括：(a)在针对焦距、光圈、对象深度和变焦设置的一个相机聚焦设置范围内拍摄的校准目标图像序列中，获得校准目标的多个图像；(b)确定个所述图像之间的模糊差别匹配曲线；以及(c)对于所述校准目标图像序列，基于匹配所述模糊差别，创建所述多维模型。

本发明的一种实施方式是一种用于以电子方式捕获图像的设备，包括：(a)成像元件，其布置在图像捕获设备内；(b)聚焦控制元件，其耦合到所述成像元件；(c)计算机处理器，其耦合到所述成像元件和所述聚焦控制元件；(d)存储器，其耦合到所述计算机处理器，并被配置来保持从所述成像元件捕获的图像和保持可由所述计算机处理器执行的程序；(e)多维聚焦匹配模型，其作为拟合了与在一个范围内的不同的焦长处捕获的图像匹配曲线的模糊差别的多维多项式保持在存储器中，其中所述图像匹配曲线描述迭代次数和镜头聚焦位置之间的关系；以及(f)可在所述计算机处理器上执行的程序，用于(f)(i)利用相同的光圈设置和焦长而在不同的聚焦位置捕获至少两个物体图像，即第一图像和第二图像，(f)(ii)对于所述两个物体图像之间的运动进行补偿，(f)(iii)确定所述两个物体图像之间的模糊差别，(f)(iv)响应于将模糊差别应用于所述多维聚焦匹配模型，自动估计物距，以及(f)(v)响应于对所述物距的估计，通过将聚焦控制变化通信到所述聚焦控制元件，自动地调节所述相机的聚焦。

本发明的一种实施方式是一种在用于以电子方式捕获图像的相机设备内估计对象深度的方法，包括：(a)生成多维聚焦匹配模型，用于作为拟合了与在一个范围内的不同的焦长处捕获的图像匹配曲线的模糊差别的多维多项式保持在相机设备内；(b)捕获多个物体图像，包括至少第一图像和第二图像，并且寄存焦长和光圈；(c)对于所述多个物体图像之间的运动进行补偿；(d)确定所述多个物体图像之间的模糊差别；以及(e)响应于将模糊差别应用于所述多维聚焦匹配模型，自动估计物距。

本发明提供多种有益特性，其可以被单独或以任何期望的组合来实现，而不会偏离本教导。

本发明的一个要素是用于响应于在不同的聚焦设置下捕获的两个图像(例如，两图像匹配)来精确地估计物距的设备和方法。

本发明的另一个要素是物距的精确估计，而不管在被比较的图像之间是否发生运动。

本发明的另一个要素是一种物距估计设备和方法，其利用针对相机的一组匹配曲线，所述匹配曲线在创建模糊差别模型的标准过程中获得。

本发明的另一个要素是一种物距估计设备和方法，其生成多维多项式模型，优选四维多项式模型，来表示针对聚焦改变的模糊差别。

本发明的另一个要素是一种物距估计设备和方法，其生成多维多项式模型，所述多维多项式模型的系数基于根据均方差、线性最小方差的拟合，或类似的匹配曲线达到期望收敛水平点的拟合来选择。

本发明的另一个要素是一种物距估计设备和方法，其可以对于不同的光圈设置(例如，光圈级数)和焦长(例如变焦)设置正确地估计物距。

本发明的另一个要素是一种物距估计设备和方法，其可以在固定或可拆卸镜头相机装置上实现，而不偏离本发明的教导。

本发明的另一个要素是其可以容易地在各种各样的现有相机装置上实现，而不需要附加的相机硬件。

本发明的其他要素将在说明书的以下部分中说明，其中详细的说明是为了全面公开本发明的优选实施方式，而不是对其施加限制。

附图说明

通过参考仅用于说明目的的下列附图将更全面地理解本发明：

图1是根据本发明一个方面在多个焦点处捕获多个图像的示意图。

图2A-图2B是根据本发明一个方面的校准目标(例如，阶跃边缘)图像的对比。

图3是根据本发明一个方面计算三次迭代中的模糊差别(blur difference)的示意图。

图4A-图4B是利用本发明的一个方面的运动估计和补偿的示意图。

图5是根据本发明一个方面的已经收集的匹配曲线的曲线图，该曲线示出了包含局外点和噪声。

图6是对于根据本发明一个方面的相机装置响应于变焦设置的镜头聚焦位置的曲线图。

图7是根据本发明一个方面的匹配曲线的多项式拟合的曲线图。

图8是根据本发明一个方面的相机表征的流程图。

图9是根据本发明一个方面创建模糊差别模型的流程图。

图10是根据本发明一个方面执行深度估计的流程图。

图11是根据本发明一个方面的生成深度估计的相机系统的框图。

具体实施方式

更具体地参考附图，为了说明的目的，本发明被体现在图1至图11所一般示出的设备中。将会认识到，设备的配置和部件的细节可以变化，并且方法的具体步骤和顺序可以变化，而不脱离这里公开的基本构思。

1.模糊差别

当对象处于对焦状态时，所见到的捕获图像是最尖锐的。所捕获的图像随着镜头离开对焦位置而变得模糊(“更模糊”)。一般而言，当以两个不同的焦距捕获(拍摄)了两张图片时，更接近于对象而拍摄的图片比更远地捕获的图片更尖锐。

在本发明中，用于拍摄图片的焦距和这两张图片之间的模糊差别量可用来估计实际的物距或深度。该技术提供了补偿了对象运动的精确深度估计。物距的精确估计允许基于该距离估计适当地调节相机聚焦。

考虑在位置A和B处拍摄两张图片f_A和f_B(其中f_A比f_B尖锐)的情况。可以通过从位置A到B的点扩散函数P对模糊的改变进行建模：

f_A*P＝f_B

其中*表示二维卷积运算。

应该认识到，术语“点扩散函数”(PSF)描述成像系统对于点源或点物体的响应，这也常常被称为脉冲响应，如在相机表征过程中对其拍摄图 像的阶跃边缘的两侧可见到的。在本文中，点物体的扩散(模糊)程度是对于成像系统的聚焦质量的度量。

本文所使用的术语“卷积”描述对于两个函数进行数学运算以生成第三函数，所述第三函数通常被认为是原始函数之一的改进形式。通常，第二函数翻转并且与第一函数的一部分重叠，为了更恰当地建模给定的数据集。

图1示出了在为了表征给定的相机镜头系统(此后简称为相机)而创建的一组匹配曲线的过程中拍摄多个图像的实施例10。在对于给定成像设备(例如，特定实施例、构造或型号的相机，或使用相同/相似光学成像元件的一类相机)时以不同的焦点位置(物距)拍摄校准目标(或校准对象)的多个图像。收集数据集包括对于在给定的放大倍率设置下的相机-镜头系统(例如，在固定焦长-“变焦”设置下的镜头)的表征方法。所示出的成像装置(相机)12可以在从最小焦长14直到无限远16的范围上聚焦。示出了最小焦距14(例如，在本情况中是35cm)以及在无限远16处的聚焦。根据本发明，聚焦沿着聚焦路径24在校准对象22(例如阶跃边缘图像、板、网格或者具有已知光学特性的类似目标)上收敛于第一焦点位置18然后收敛于第二焦点位置20。

作为例子并且不是限制性的，索尼相机在此被用于说明本发明的方法，但是本领域技术人员将理解该方法可以用于其它数字静态和/或视频相机。该相机的聚焦距离的范围在最小焦距(例如，35cm)与无限远之间。

图2A示出了对象32处于对焦状态的状况30，其中所捕获的图像是最尖锐的，如尖锐的对比度曲线34所示，该对比度曲线也被称为阶跃边缘的“边缘轮廓”。将会认识到，校准目标或者说对象优选地提供基于对比度来简单地确定聚焦的锐度的机制。例如在阶跃边缘目标中，在至少两种色彩、阴影、亮度之间作出清楚的阶跃边缘描绘，其中可以从对比度轮廓的锐度来容易地确定聚焦的锐度。本领域普通技术人员将会认识到，可以按多种不同方法中的任一种、按照与在测试视频捕获和输出的不同方面时使用不同色度键(chroma key)和色带图案(color bar pattern)相类似的方 式来配置目标。

图2B示出了物体38的图像随着镜头从“对焦”位置离开而变得越来越模糊的状况36，示出了所产生的倾斜对比度曲线40。用于拍摄图片的焦距和这两张图片之间的模糊差别量可用来估计实际的物距或深度。

可以通过使用模糊内核(blur kernel)K的一系列卷积来对点扩散函数P进行近似。

P＝K*K*...*K    (1)

在这里描述的示例性实施例中，内核K被选择为：

$K=\frac{1}{48}\left(\begin{array}{ccc}1& 4& 1\\ 4& 28& 4\\ 1& 4& 1\end{array}\right)---\left(2\right)$

于是可以通过式(1)中的卷积数目来度量f_A与f_B之间的模糊差别量。将会理解的是，此模糊内核表示模糊的一致量，并可以以多种不同的方法来构造，并表示各种不同的值，这没有偏离本发明的教导。在实际的实现方式中，模糊差别是通过迭代过程获得的。

其中||·||表示对f_A与f_B之间的模糊匹配误差进行求值的范数算子。

图3示出了在此用在图片f_A(左侧)和图片f_B(右侧)之间进行的三次迭代来举例说明迭代过程。

2.运动补偿

当在对象和相机之间的相对运动的条件下，例如如果对象在移动或相机在移动或两者在运动，捕获深度估计图像时，本发明提供了运动补偿。运动补偿技术确保不是根据第一和第二深度估计图像的捕获之间的相对运动而是响应于模糊差别来执行模糊差别计算。

图4A-4B示出了根据本发明的一方面所使用的运动补偿的实例，示出了图4A中来自第一图像的任何期望尺寸(在此描绘为54×44像素)的聚焦区域，对于该聚焦区域，相对于图4B中所示的第二图像执行了运动估计和/或补偿。对于[-5，5]×[-5，5]区域，计算总的均方差(MSE)。在运动 补偿过程中，来自第一图像的聚焦区域作为拟合被置于第二图像内。选择基于挑选在迭代收敛时具有最小次数的绝对卷积次数的一个来进行选择。据此，假定图4B中的图像2的运动量为在垂直方向上和在水平方向上最多±5像素。然后，在此[-5，5]×[-5，5]范围内检查图像2的每个可能的位移。对于每个位移，计算图1的聚焦区域和来自图像2的相同尺寸的经位移的区域之间模糊差别，获得迭代次数。从根据[-5，5]×[-5，5]范围内的所有位移获得的所有迭代次数中挑选具有最小绝对值的一个。提供该迭代次数的最小绝对值的相应位移是对于图4B中的图像2的运动估计。假定图4A中所示的聚焦区域的各个像素在图4B中所描绘的图像中的感兴趣的区域内具有相同的位移量，对此用运动矢量进行归因和确定。

设(x_v，y_v)表示f_B中像素位置位移(x，y)的量，则可以估计运动量。在一个实际实现方式中，在指定搜索范围诸如[-5，5]×[-5，5]内考虑(x_v，y_v)。假设f_A比f_B更尖锐.模糊差别按如下计算：

为了计算效率，上述过程可以通过在计算模糊差别之前执行运动补偿来近似。

$\left({\hat{x}}_v{,\hat{y}}_v\right)=\underset{(x_v,y_v)}{\arg \min }\left|\right|f_A(x,y)-f_B(x-x_v,y-y_y)\left|\right|---\left(5\right)$

设 

于是，模糊差别由下面的关系提供。

此外，本发明的多个方面允许按照如下为了提高精确性而在若干次卷积例如M次卷积内执行运动补偿。

于是，模糊差别可以按如下计算。

总结上文，式4提供了最高的精确性，但是最慢，而式6提供了最小的精确性，但是计算最快的。式8的性能在式4和式6之间。在大多数实际的应用中，式6在大多数情况下将提供足够的精确性，而利用式8(M＝1或2)提供了优异的结果。

3.匹配曲线

匹配曲线是迭代次数与镜头聚焦位置之间的关系。为了获得匹配曲线，针对镜头的整个聚焦范围来拍摄一序列的图片，然后确定每两张图片之间的模糊差别。作为示例但不是限制，示例性实施例描述了使用位于固定物距(例如，10cm)处的阶跃边缘图像。此方法可以以多种方式被用到而不偏离本发明的教导，诸如作为相机-镜头系统的一种表征形式，或作为校准过程，或者作为创建匹配曲线的方法或类似用语。

图5描绘了对于布置在固定距离处的阶跃边缘的图像获得的匹配曲线。在创建匹配曲线时，以无限远的焦距拍摄该序列的第一图片，然后每当镜头被调节以聚焦在更近的一个景深处时时拍摄一张图片，直到镜头到达最小焦距为止。该图片序列由f₀，f₁，...，f_N-1表示，其中N是序列长度。实际中，为了保证该序列覆盖整个聚焦范围，f₀优选在比“无限远”的聚焦设置稍微更远的距离处拍摄，而f_N-1优选在比指定的最小焦距处稍微更近的聚焦设置处拍摄。

在下面的描述中，式6被用作说明匹配曲线创建的实例。应该理解，用于确定模糊差别的其他等式，如式3、式4和式8可以以类似的方式被应用，而不会偏离本发明的教导。

在计算模糊差别之前，优选的是，确定图片中的哪一个更尖锐，例如，两个图片f_i和f_j(其中i＜j)的序列中哪一个更尖锐。将会认识到，锐度决定图像可以表达的细节的量，并且对于给定的相机配置，当聚焦处于其最大准确度时(就是说，当聚焦位置(距离)精确地匹配对象位置(距离)时)锐度最大。

首先，诸如根据下面的关系，执行运动补偿。

$\left({\hat{x}}_v{,\hat{y}}_v\right)=\underset{(x_v,y_v)}{\arg \min }\left|\right|f_i(x,y)-f(x-x_v,y-y_v)\left|\right|---\left(9\right)$

设 

下面的两个方程式可以确定图像f_i和f_j中哪一个是更尖锐的图像。

如果I₁大于I₂，则f_i比f_j更尖锐，并且模糊差别将由I₁给出。否则，如果I₂大于I₁，则I₂更尖锐，并且模糊差别将由-I₂给出。应当注意到，模糊差别值的符号仅仅提供了用于表示哪个图像更加尖锐的方便手段。

如果I₁和I₂相等，则比较误差。

在图5中，对于10cm深度，示出了迭代次数和聚焦位置之间的关系。该示例性序列是用Sony的DSC-HX1相机以焦长40mm和光圈设置f/3.5来拍摄的。在本示例中，f_i和f_i+4的模糊差别是针对i＝0，...，N-5计算的。“图片数目”轴表示对其计算了迭代次数的图像对。例如，图片数目0表示在f₀和f₄之间计算迭代次数。可以看到，这些示例中的迭代次数随着镜头聚焦位置从物距离开而增加。当对象处于对焦处时，产生过零点。

图6描绘了对于相机系统表征变焦设置和镜头聚焦位置之间的相互关系的示例。图线示出了镜头聚焦位置响应于相机聚焦设置的变化。数据利用聚焦在无限远处的9图像组成的序列捕获，其中，中间位置响应于三次样条插值来作图。本发明可以用于确定准确的聚焦设置，不论是使用简单镜头还是变焦镜头，因为在深度估计过程中考虑了镜头的焦长。还应该理 解的是，利用变焦表征提供用于插值中间值的手段，可以针对任何变焦改变的期望间隔尺寸创建匹配曲线。

4.四维多项式模型

模糊差别I可以被写为物距D(从相机镜头到对象的距离)、焦距L(聚焦设置)、光圈A(光圈数)和焦长Z(变焦设置)的函数。

I＝F(D，L，A，Z)            (14)

深度D和焦长L都通过图片数目来测量，所述图片数目在物理上是从对在无限远上的焦点或从图片0被定义处测量的景深的数号。深度估计是在给定I、L、A和Z的情况下确定D的过程。

应该理解，在某些应用中，诸如对应于固定光圈或变焦，本发明可以利用三维多项式模型来实现。或者，如果光圈和变焦两者都固定，则可以选择二维多项式表达。将会理解的是，这些更低阶的函数在适用上不那么通用，因为其不能被放大。

在本发明的一个方面中，四维多项式被用于建模由匹配曲线提供的相机镜头系统表征。

$I=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\underset{k=0}{\overset{p}{\mathrm{\Σ}}}\underset{l=0}{\overset{q}{\mathrm{\Σ}}}C(i,j,k,l)D^i{L}^i{A}^k{z}^l---\left(15\right)$

用于建模匹配曲线的术语“多项式”是多项式函数，诸如具有通式

y＝a_nxⁿ+a_n-1x^n-1+...+a₂x²+a₁x¹+a₀

其是一维多项式的实例，其中n是定义多项式的阶数的非负整数。应该注意，阶数为4的多项式是四次式，阶数为3的多项式是三次式，阶数为2的多项式是二次式，阶数为1的多项式是线性式，阶数为0的多项式是常量。多项式方程可以用于建模各种各样的经验确定的关系。

因为过零点对应于聚焦位置，所以当L＝D时，发生I＝0的边界条件。

通过对一组匹配曲线应用线性最小方差多项式拟合，或其他适当的数学拟合技术，来确定四维多项式的系数。如前面所描述的，在本实施例中，通过将阶跃边缘图像置于不同的物距并且利用不同的焦长和光圈设 置，来创建匹配曲线。在利用Sony DSC-HX1相机的示例性实施例中，约300条匹配曲线被用于确定四维多项式模型。根据所使用的具体镜头和应用，选择多项式m，n，p和q的阶数。对于在测试示例性实施例中所使用的DSC-HX1相机，m＝n＝p＝q＝2的取值工作得足够地好。

应该理解的是，由不同的焦长和光圈获得的匹配曲线可以具有不同的起始和终止聚焦位置。这些曲线采用共同的原点，以创建多项式模型。在本实例中，在无限远处的焦点被认为是原点，并且例如在无限远焦距处拍摄的图片在此总是被定义为图片数目0。

用于找出最佳系数C(i，j，k，l)的过程可以被总结如下。

1.找出四维多项式，其利用线性最小方差或类似的满足如下的多项式拟合，来对于匹配曲线数据拟合方程式15

∑C(i，j，k，l)＝0 for any c∈{0，...，m+n}(16)

{(i，j)|i+j＝c}

2.对于每一个匹配曲线数据点计算拟合误差。为了去除局外点(outlier)，放弃任何带来过大拟合误差(例如，大于全体拟合误差的标准差的两倍)的数据点。

因为认识到，术语“局外点”是统计术语，表示在实验数据集中一个或多个观察数据与数据集的其他数据在数值上显著不同和偏离。局外点可能表示系统错误、缺陷数据等等，但是预计在任何大的样本集中总是有少量的局外点。对包括“局外点”的数据集的建模的企图可能导致易于导致错误的模型，其中，一旦假定其没有适当地代表潜在的函数的特性，则其一般被放弃。

3.重复上述的步骤1和2，直到多项式拟合收敛于期望的精度水平。

图7示出了对如由在实验确定的匹配曲线数据的更宽的线当中的窄线所描绘的匹配曲线的多项式曲线拟合的结果。

5.深度估计

根据本发明，利用方程式15表示的模式，可以精确地并且以直接方式执行深度估计。在物距估计过程中，诸如在自动聚焦(AF)过程中，焦 长和光圈设置是已知和固定的。在不同的聚焦位置上拍摄至少两个图像，用于确定物距。

如前所述，在确定图像之间的模糊差别之前，优选执行运动估计和补偿，使得任何所捕获的图像帧之间的运动不会不利地影响模糊差别确定。

然后计算两个图片之间的模糊差别。对此，方程式15变为单一变量多项式方程。解该方程求D，其是物体的估计深度。应该理解的是，D可以由任何期望的格式表示，诸如整数、定点数或浮点数。对于自动聚焦应用，镜头可以被移动以聚焦在距离D处，然后以相同的方式估计新的深度。该过程被重复，直到迭代次数收敛到0，或低于某一指定的阈值，以保证已经获得了准确聚焦。

6.用于执行深度估计的程序化处理

根据本发明的深度估计方法的多个部分通过可在计算机处理装置(优选在对其执行深度估计的相机装置内的一个或多个嵌入式微处理器或微控制器)上执行的程序来实施。

图8示出了用于执行相机装置的表征以准备执行根据本发明的深度估计(诸如在用于控制自动聚焦的程序内)的程序的实例。如由步骤50所表示的，在整个相机聚焦设置的范围内，并且针对焦距以及针对光圈、对象深度和变焦设置，捕获多个图像。来自表征的数据被处理成一组匹配曲线，根据步骤52在两个聚焦设置之间对于给定的配制(例如，光圈、变焦设置、对象距离)由该组匹配曲线创建模糊差别模型。先前在对于Sony DSC-HX1相机的示例性实现方式中已经提到，利用约300条匹配曲线来确定所述的四维多项式模型。如在步骤54中所述，模糊差别模型被存储在该相机装置中，以在相机操作期间使用。应该理解的是，上述步骤优选对于给定的相机模型来执行，并且优选地，此模糊差别模型在制造相机期间被存储在相机中。

图9示例性但非限制性地示出了将一组匹配曲线转化为模糊差别模型(例如，I＝F(D，L，A，Z))，并且更具体地，转化为四维多项式模糊差别模型。在步骤60中，找出用于建模相机的匹配曲线的四维多项式的系数。 如在步骤62中描绘的，确定拟合误差并去除局外点。然后，如步骤64中所示的，该过程被重复，其中多项式系数被修改以根据步骤60找出改进的拟合，并且在步骤62中拟合误差被再次检查，直到多项式模型收敛到匹配匹配曲线的数据。

图10示出了利用根据本发明的实施例的深度估计，其中，模糊差别模型可被相机装置使用，优选地被存储在相机内作为描述四维多项式模糊差别模型的数据集。如步骤70所表示的，在相机操作期间在不同的聚焦位置处捕获多个图像。将会理解的是，镜头焦长是已知的，而捕获图像时的光圈和变焦设置由相机装置已知并被存储，因此程序寄存这些设置。此外，用于捕获至少两个不同图像的聚焦设置也被存储，用于模糊差别模型。

优选地，如操作步骤72中所示(用“*”表示的可选步骤)，在捕获的图像之间执行运动补偿。将会理解的是，作为示例但非限制，本发明的实现方式可以不经过运动补偿，诸如针对相机模式(例如，风景或静态设置)，或者针对所捕获的图像之间的静态条件的检测。但是，应该理解的是，虽然执行运动补偿需要处理用时(processingoverhead)，但是其对于整个静态(不变化)图像的应用不会引入误差或噪声，或不会以其他方式不利地影响对象深度估计精度。因此，因为在这些所捕获的图像帧之间可能容易发生移动，所以更优选的是，当根据本发明估计距离时，总是执行运动补偿步骤。

然后根据步骤74，确定经运动补偿的图像之间的模糊差别。然后，如步骤76中所示，将模糊差别用于所存储的模糊差别模型，以求解物距。

在本发明的至少一个实施例中，如在可选的(用“*”表示可选性)方框78中所描述的，在聚焦控制程序内，诸如在自动聚焦例程内，使用估计的物距，以对相机进行调焦。

图11示出了配置有根据本发明的对象深度估计表现的相机的示例性实施例90。应该理解的是，本发明的多个方面可以在各种相机和图像处理装置上实现，而没有偏离本发明的教导，下面所述的仅仅作为示例而不是限制。

所示的图像捕获装置(相机)90配置有镜头系统92和其相关的光学器件，而聚焦控制94被配置用于对镜头系统执行根据本发明的聚焦调节。聚焦控制94可以被可选地配置在相机系统上，以提供变化的焦长，诸如在正常设置和微距设置之间切换，或提供变焦控制以允许图像放大倍率的用户选择。成像器96被配置用于通过镜头系统92接收从对象反射的光，镜头系统92的聚焦和可选的变焦已经被手动设置或由照相机装置程序控制，从而数字化地捕获图像。

相机90的操作由一个或多个计算机处理器(中央处理单元-CPU)98和相关的存储器100(例如，处于CPU内部或处于一个或多个单独的电路中)控制。作为示例，还示出了辅助存储器102，诸如所捕获的图像和其他数据可以被存储在其上的存储卡。模糊差别优选被存储在相机装置上的存储器中，以在估计物距时诸如在执行聚焦时快速访问。将会理解的是，由相机90执行的处理可以由用于执行相机控制功能的单个处理器以及根据本发明所述的图像处理元件执行，或者其可以利用多个处理器，例如一个用于相机控制功能性的处理器以及一个或多个用于执行图像处理功能性的处理器。本领域的技术人员将理解可以程序可以各种方式在多个储存器之间执行。

计算机处理器98对于用相机90捕获的图像执行根据本发明的景深表现。作为示例，示出了可选的图像显示器104和触摸屏106，但是将会理解的是，根据本发明的方法可以在配置有成像器和相关的镜头和聚焦控制元件的各种图像捕获装置上实现。还示出了可选的非触摸屏界面108，以表明对于相机的控制可以使用任何期望形式的用户界面。将会理解的是，根据本发明的物距估计和/或自动聚焦控制可以显示物距信息和/或使其操作特性响应于利用用户输入/输出104，106和/或108的各种机制被修改。

应该理解的是，可以通过可在计算机处理器98上结合存储器100和/或辅助存储器102来执行的程序，进行根据本发明的物距估计。此程序可以在制造时被加载到相机中，在制造后下载到相机中，或以其他方式加载到相机中。将会理解的是，例如通过将相机的通信端口联接到个人电脑(从该个人电脑，包含新程序的软件可以被执行以将新的固件下载到相机 装置中)，可以修改相机的控制固件。

还应理解的是，本发明不限于在具有固定(不可拆卸)镜头系统92的相机上使用。本发明能够支持可交换镜头92，同时提供对于各个镜头唯一地设计的正确物距估计。在一个实例中，考虑了对于相机制造商在市场上销售一族镜头。在镜头系统92和CPU 98之间提供接口，以允许处理器检测那一种镜头系统被联接到相机，这样的用于检测镜头的机制在本领域中是已知的。可以认识到，镜头“系统”常常不只是包含光学元件(因此采用术语“系统”)，并且可以包含其他光学器件、机构和电子器件，用于将镜头与相机的主体整合。在一个在具有可交换镜头的相机上的实现方式中，相机制造商以一族镜头中的每个镜头来表征相机，以创建相关的模糊差别模型。用于这些镜头中的每一个的模糊差别模型可以在制造时被预装到相机中，或者制造商可以对于每一个被购买的镜头提供新的模糊差别模型的下载。或者，每一个镜头系统可以包含模糊建模信息被存储在其上的存储器。还将理解的是，可以响应于镜头更换，基于新镜头较之进行了相机表征的每一个镜头的不同性能，修改模糊差别模型。因此，将会理解的是，本发明可以在固定或可拆卸镜头成像装置上实现，而没有偏离本发明的教导。

本发明的教导可被应用于可以受益于物距估计或自动聚焦能力提高的各种相机装置和应用，诸如包含数字静态相机、视频相机等等。虽然本发明特别适合用于静态相机，但是应该理解的是，许多视频相机提供捕获单帧图像的静态相机功能。此外，应该理解的是，在此描述的技术可以应用于在视频捕获时出现的一些状况，诸如但不限于，响应于校正聚焦损失(其中，在不同的聚焦位置获得图像帧，并且寻找正确的聚焦位置，以在所捕获的图像帧序列中再次获得正确的聚焦)。

参考根据本发明实施例的方法流程图和系统描述了本发明的实施例。这些方法和系统可被实现为计算机程序产品。就此而言，流程图的每个框或步骤以及流程图中的框(和/或步骤)的组合可通过各种手段来实现，例如硬件、固件和/或软件，包括体现在计算机可读程序代码逻辑中的一个或多个计算机程序指令。将会认识到，任何这样的计算机程序指令可被加载 到计算机(包括但不限于通用计算机或专用计算机)或者用于制造机器的其他可编程处理设备，以使得在计算机或其他可编程处理设备上执行的计算机程序指令创建了用于实现在(一个或多个)流程图的(一个或多个)框中指定的功能的手段。

因此，流程图的框支持用于执行指定功能的手段的组合、用于执行指定功能的步骤的组合以及用于执行指定功能的计算机程序指令(例如体现在计算机可读程序代码逻辑手段中)。还将理解，流程图的每个框和流程图中的框的组合可以通过执行指定功能或步骤的基于专用硬件的计算机系统或者专用硬件和计算机可读程序代码逻辑手段的组合来实现。

此外，这些计算机程序指令(例如体现在计算机可读程序代码逻辑中)还可被存储在计算机可读存储器中，可以指示计算机或其他可编程处理设备以特定方式起作用，以使得存储在计算机可读存储器中的指令产生制造物品，包括实现在(一个或多个)流程图的(一个或多个)框中指定的功能的指令手段。计算机程序指令还可被加载到计算机或其他可编程处理设备上以使得在该计算机或其他可编程处理设备上执行一系列的操作步骤，从而产生计算机实现的过程，使得在计算机或其他可编程处理设备上执行的指令提供用于实现在(一个或多个)流程图的(一个或多个)框中指定的功能的步骤。

从前述内容将会理解，本发明提供了用于在相机自动聚焦过程中估计景深和/或控制深度调节的方法和设备。本发明的教导可以应用于各种设备和应用，包括静态相机、视频相机、针对处于可变深度的对象的各种成像装置等等。因此，如可理解的，本发明至少包括如下的发明实施方式：

1.一种用于以电子方式捕获图像的设备，包括：成像元件，其布置在图像捕获设备上；聚焦控制元件，其耦合到所述成像元件；计算机处理器，其耦合到所述成像元件和所述聚焦控制元件；存储器，其耦合到所述计算机处理器，并被配置来保持从所述成像元件捕获的图像和保持可由所述计算机处理器执行的程序；多维聚焦匹配模型，其以多维多项式的形式保持在存储器中，所述多维多项式拟合了与在一个范围内的不同的焦长处捕获的图像匹配曲线的模糊差别；以及可在所述计算机处理器上执行的程 序，用于(i)捕获多个物体图像，包括至少第一图像和第二图像，并且寄存所述物体图像的焦长和光圈，(ii)对于所述多个物体图像之间的运动进行补偿，(iii)确定所述多个物体图像之间的模糊差别，以及(iv)响应于将模糊差别应用于所述多维聚焦匹配模型，自动估计物距。

2.如实施方式1所述的设备，其中，所述多个物体图像包括利用相同的光圈设置和焦长而在不同的聚焦位置上捕获的至少两个图像。

3.如实施方式1所述的设备，还包括可在所述计算机处理器上执行的程序，用于响应于对所述物距的估计而自动调节所述设备的聚焦。

4.如实施方式1所述的设备，其中，在对运动进行所述补偿期间，来自所述第一图像的至少一个块作为拟合而被置于所述第二图像内。

5.如实施方式1所述的设备，其中，对运动的所述补偿被配置来响应于通过模糊内核的一次或多次卷积而执行，以确定模糊差别。

6.如实施方式1所述的设备，其中，对运动的所述补偿根据 来执行，其中，两个图像f_i和f_j在一个序列中被捕获，以i＜j表示图像i在该序列中早于图像j拍摄，||·||是估计匹配误差的范数算子，并且聚焦区域f_i与来自f_j的相同尺寸的位移区域比较，并且位移量(x_v，y_v)等于在水平和垂直方向上的预定数量的像素，从而对于所有的位移位置，找出产生最小匹配误差的一个 

7.如实施方式6所述的设备，其中，响应于是f_i还是f_j更尖锐，并且响应于 

并且 

来确定模糊差别，其中I₁和I₂是第一和第二模糊差别值，f_i和f_j是两个捕获的图像， 

是响应于运动补偿的捕获图像，并且K是模糊内核；其中，如果I₁大于I₂，则f_i比f_j更尖锐，并且所述模糊差别将由I₁给出，否则如果I₂大于I₁，则I₂更尖锐，并且所述模糊差别将由-I₂给出；以及其中，所述模糊差别值的符号指示哪一个图像更尖锐。

8.如实施方式1所述的设备，其中，所述模糊差别I_{A_B}按如下计算：

其中，K是卷积运算，(x，y)是像素位置位移量，(x_v，y_v)是在给定搜索范围v内像素位置位移量，f_A是第一图片并且f_B是第二图片。

9.如实施方式1所述的设备，其中，所述模糊差别I_{A_B}通过如下方式近似：令 

并且通过关系

来确定模糊差别，其中K是卷积运算，(x，y)是像素位置位移量，(x_v，y_v)是在给定搜索范围v内像素位置位移量，f_A是第一图片，f_B是第二图片，并且 

是响应于运动补偿的所述第二图片。

10.如实施方式1所述的设备，其中，所述第一图片和所述第二图片是为了估计将被拍摄的用户选定图像的物距而临时捕获的，并且被保持在所述存储器中。

11.如实施方式1所述的设备，其中，所述图像匹配曲线描述迭代次数和镜头聚焦位置之间的关系。

12.如实施方式1所述的设备，其中，所述聚焦匹配模型包括关于对象深度、聚焦位置、焦长和光圈的模糊差别四维多项式函数。

13.如实施方式1所述的设备，其中，所述聚焦匹配模型包括响应于如下步骤而确定的多维多项式函数：找出所述多维多项式的系数，以拟合所述模糊差别匹配曲线；确定拟合误差并放弃局外点；以及重复上述步骤，直到多项式拟合收敛到相对于与所述模糊差别匹配曲线的期望的精度。

14.如实施方式1所述的设备，其中，所述成像装置包括静态图像相 机或具有静态图像捕获模式的视频相机。

15.如实施方式1所述的设备，其中，所述聚焦匹配模型通过执行表征来创建，所述表征包括：在针对焦距、光圈、对象深度和变焦设置的一个相机聚焦设置范围内拍摄的校准目标图像序列中，获得校准目标的多个图像；确定各个所述图像之间的模糊差别匹配曲线；以及对于所述校准目标图像序列，基于匹配所述模糊差别，创建所述多维模型。

16.一种用于以电子方式捕获图像的设备，包括：成像元件，其布置在图像捕获设备内；聚焦控制元件，其耦合到所述成像元件；计算机处理器，其耦合到所述成像元件和所述聚焦控制元件；存储器，其耦合到所述计算机处理器，并被配置来保持从所述成像元件捕获的图像和保持可由所述计算机处理器执行的程序；多维聚焦匹配模型，其以多维多项式的形式保持在存储器中，所述多维多项式拟合了与在一个范围内的不同的焦长处捕获的图像匹配曲线的模糊差别，其中所述图像匹配曲线描述迭代次数和镜头聚焦位置之间的关系；以及可在所述计算机处理器上执行的程序，用于(i)利用相同的光圈设置和焦长而在不同的聚焦位置捕获至少两个物体图像，即第一图像和第二图像，(ii)对于所述两个物体图像之间的运动进行补偿，(iii)确定所述两个物体图像之间的模糊差别，(iv)响应于将模糊差别应用于所述多维聚焦匹配模型，自动估计物距，以及(v)响应于对所述物距的估计，通过将聚焦控制变化通信到所述聚焦控制元件，来自动地调节所述相机的聚焦。

17.如实施方式16所述的设备，其中，在对运动进行所述补偿期间，来自所述第一图像的至少一个块作为拟合而被置于所述第二图像内。

18.如实施方式16所述的设备，其中，对运动的所述补偿被配置来响应于通过模糊内核的一次或多次卷积而执行，以确定模糊差别。

19.如实施方式16所述的设备，其中，所述多维多项式函数包括关于对象深度、聚焦位置、焦长和光圈的模糊差别四维多项式函数。

20.一种在用于以电子方式捕获图像的相机设备内估计对象深度的方法，包括：生成多维聚焦匹配模型，用于以多维多项式的形式保持在相机设备内，所述多维多项式拟合了与在一个范围的不同的焦长处捕获的图像 匹配曲线的模糊差别；捕获多个物体图像，包括至少第一图像和第二图像，并且寄存焦长和光圈；对于所述多个物体图像之间的运动进行补偿；确定所述多个物体图像之间的模糊差别；以及响应于将模糊差别应用于所述多维聚焦匹配模型，自动估计物距。

虽然以上描述包含许多细节，但是这些细节不应当被解释为对本发明范围的限制，而是仅仅提供对本发明的一些当前优选实施例的说明。因此，将会认识到，本发明的范围充分涵盖对于本领域技术人员可能变得显而易见的其他实施例，并且本发明的范围因此仅由所附权利要求来限定，其中对单数形式的元素的提及不是意图表示“有且仅有一个”(除非明确这样声明)，而是“一个或多个”。本领域普通技术人员已知的、上述优选实施例的元件的全部结构和功能等同物明确地通过引用结合于此，并且意图由当前的权利要求所涵盖。此外，装置或方法不必解决本发明所试图解决的每一个问题，这是因为其将被当前的权利要求所涵盖。此外，本公开中的任何元件、组件或方法步骤都不意图奉献给公众，而不管该元件、组件或方法步骤是否明确在权利要求中描述。这里的权利要求要素都不在35U.S.C.112第6款的规定之下进行解释，除非该要素明确使用了短语“用于…的装置”进行了描述。

素材受版权保护的声明

本专利文献中的一部分素材受到美国和其他国家的版权法的版权保护。版权所有者不反对任何人对本专利文献或专利公开的复制，但在其他方面保留所有版权权利。版权所有者并不因此放弃将本专利文献保密的任何权利，包括但不限于根据37C.F.R.§1.14的权利。

Claims (20)

1.一种用于以电子方式捕获图像的设备，包括：

成像元件，其布置在图像捕获设备上；

聚焦控制元件，其耦合到所述成像元件；

计算机处理器，其耦合到所述成像元件和所述聚焦控制元件；

存储器，其耦合到所述计算机处理器，并被配置来保持从所述成像元件捕获的图像和保持可由所述计算机处理器执行的程序；

多维聚焦匹配模型，其以多维多项式的形式保持在存储器中，所述多维多项式拟合了与在一个范围内的不同的焦长处捕获的图像匹配曲线的模糊差别；以及

可在所述计算机处理器上执行的程序，用于

(i)捕获多个物体图像，包括至少第一图像和第二图像，并且寄存所述物体图像的焦长和光圈，

(ii)对于所述多个物体图像之间的运动进行补偿，

(iii)确定所述多个物体图像之间的模糊差别，以及

(iv)响应于将模糊差别应用于所述多维聚焦匹配模型，自动估计物距。

2.如权利要求1所述的设备，其中，所述多个物体图像包括利用相同的光圈设置和焦长而在不同的聚焦位置上捕获的至少两个图像。

3.如权利要求1所述的设备，还包括可在所述计算机处理器上执行的程序，用于响应于对所述物距的估计而自动调节所述设备的聚焦。

4.如权利要求1所述的设备，其中，在对运动进行所述补偿期间，来自所述第一图像的至少一个块作为拟合而被置于所述第二图像内。

5.如权利要求1所述的设备，其中，对运动的所述补偿被配置来响应于通过模糊内核的一次或多次卷积而执行，以确定模糊差别。

6.如权利要求1所述的设备，其中，对运动的所述补偿根据

来执行，其中，两个图像f_i和f_j在一个序列中被捕获，以i＜j表示图像i在该序列中早于图像j拍摄，||·||是估计匹配误差的范数算子，并且聚焦区域f_i与来自f_j的相同尺寸的位移区域比较，并且位移量(x_v，y_v)等于在水平和垂直方向上的预定数量的像素，从而对于所有的位移位置，找出产生最小匹配误差的一个

7.如权利要求6所述的设备，其中，响应于是f_i还是f_j更尖锐，并且响应于

并且来确定模糊差别，其中I₁和I₂是第一和第二模糊差别值，f_i和f_j是两个捕获的图像，

是响应于运动补偿的捕获图像，并且K是模糊内核；

其中，如果I₁大于I₂，则f_i比f_j更尖锐，并且所述模糊差别将由I₁给出，否则如果I₂大于I₁，则I₂更尖锐，并且所述模糊差别将由-I₂给出；以及

其中，所述模糊差别值的符号指示哪一个图像更尖锐。

8.如权利要求1所述的设备，其中，所述模糊差别I_{A_B}按如下计算：

其中，K是卷积运算，(x，y)是像素位置位移量，(x_v，y_v)是在给定搜索范围v内像素位置位移量，f_A是第一图片并且f_B是第二图片。

9.如权利要求1所述的设备，其中，所述模糊差别I_{A_B}通过如下方式近似：令

并且通过关系

来确定模糊差别，其中K是卷积运算，(x，y)是像素位置位移量，(x_v，y_v)是在给定搜索范围v内像素位置位移量，f_A是第一图片，f_B是第二图片，并且

是响应于运动补偿的所述第二图片。

10.如权利要求1所述的设备，其中，所述第一图片和所述第二图片是为了估计将被拍摄的用户选定图像的物距而临时捕获的，并且被保持在所述存储器中。

11.如权利要求1所述的设备，其中，所述图像匹配曲线描述迭代次数和镜头聚焦位置之间的关系。

12.如权利要求1所述的设备，其中，所述聚焦匹配模型包括关于对象深度、聚焦位置、焦长和光圈的模糊差别四维多项式函数。

13.如权利要求1所述的设备，其中，所述聚焦匹配模型包括响应于如下步骤而确定的多维多项式函数：

找出所述多维多项式的系数，以拟合所述模糊差别匹配曲线；

确定拟合误差并放弃局外点；以及

重复上述步骤，直到多项式拟合收敛到相对于与所述模糊差别匹配曲线的期望的精度。

14.如权利要求1所述的设备，其中，所述成像装置包括静态图像相机或具有静态图像捕获模式的视频相机。

15.如权利要求1所述的设备，其中，所述聚焦匹配模型通过执行表征来创建，所述表征包括：

在针对焦距、光圈、对象深度和变焦设置的一个相机聚焦设置范围内拍摄的校准目标图像序列中，获得校准目标的多个图像；

确定各个所述图像之间的模糊差别匹配曲线；以及

对于所述校准目标图像序列，基于匹配所述模糊差别，创建所述多维模型。

16.一种用于以电子方式捕获图像的设备，包括：

成像元件，其布置在图像捕获设备内；

聚焦控制元件，其耦合到所述成像元件；

计算机处理器，其耦合到所述成像元件和所述聚焦控制元件；

存储器，其耦合到所述计算机处理器，并被配置来保持从所述成像元件捕获的图像和保持可由所述计算机处理器执行的程序；

多维聚焦匹配模型，其以多维多项式的形式保持在存储器中，所述多维多项式拟合了与在一个范围内的不同的焦长处捕获的图像匹配曲线的模糊差别，其中所述图像匹配曲线描述迭代次数和镜头聚焦位置之间的关系；以及

可在所述计算机处理器上执行的程序，用于

(i)利用相同的光圈设置和焦长而在不同的聚焦位置捕获至少两个物体图像，即第一图像和第二图像，

(ii)对于所述两个物体图像之间的运动进行补偿，

(iii)确定所述两个物体图像之间的模糊差别，

(iv)响应于将模糊差别应用于所述多维聚焦匹配模型，自动估计物距，以及

(v)响应于对所述物距的估计，通过将聚焦控制变化通信到所述聚焦控制元件，来自动地调节所述相机的聚焦。

17.如权利要求16所述的设备，其中，在对运动进行所述补偿期间，来自所述第一图像的至少一个块作为拟合而被置于所述第二图像内。

18.如权利要求16所述的设备，其中，对运动的所述补偿被配置来响应于通过模糊内核的一次或多次卷积而执行，以确定模糊差别。

19.如权利要求16所述的设备，其中，所述多维多项式函数包括关于对象深度、聚焦位置、焦长和光圈的模糊差别四维多项式函数。

20.一种在用于以电子方式捕获图像的相机设备内估计对象深度的方法，包括：

生成多维聚焦匹配模型，用于以多维多项式的形式保持在相机设备内，所述多维多项式拟合了与在一个范围的不同的焦长处捕获的图像匹配曲线的模糊差别；

捕获多个物体图像，包括至少第一图像和第二图像，并且寄存焦长和光圈；

对于所述多个物体图像之间的运动进行补偿；

确定所述多个物体图像之间的模糊差别；以及

响应于将模糊差别应用于所述多维聚焦匹配模型，自动估计物距。

Images