CN102103248A - 具有置信度量的自动聚焦 - Google Patents

Abstract

本发明涉及具有置信度量的自动聚焦。在每次聚焦调整迭代，响应于先前的模糊差别深度估计值的加权和而执行自动聚焦。方差也是覆盖过去的和当前的估计而确定的，从而提供对给定图片的当前聚焦位置的置信度量。聚焦调整被调整，直到方差足够低从而表示出已获得了适当聚焦的置信为止。该方法提供了比基于最佳当前深度的技术所获得的聚焦更准确和快速的聚焦，这些基于最佳当前深度的技术例如是那些利用最近的深度估计来确定下一镜头位置的技术。与此相比，本发明的装置和方法将自动聚焦过程中所有先前深度估计结果相结合，以基于统计模型和置信度量来确定下一镜头位置。

Description

具有置信度量的自动聚焦

技术领域

本发明一般地涉及图像获取，更具体地涉及自动图像聚焦机制。

背景技术

相机和其他光学装置通常提供用于对对象获得正确聚焦的自动化机构。通常响应于部分地按下快门触发器(例如一半)而进行自动聚焦(AF)。在一些情况下，自动聚焦特征在捕获图像之前或者在捕获图像序列或视频期间持续保持聚焦。

将会认识到，在自动聚焦期间，相机镜头自动在三维景物上聚焦并且聚焦是针对深度来控制的。本领域中已知许多自动聚焦机制。一种传统的自动聚焦方案搜索自动聚焦曲线的峰值。在一个实施例中，相机利用来自图像梯度的自动聚焦曲线。随着分析区域变得越聚焦，图像梯度变得越大。自动聚焦算法的目的是在需要最小数目的相机聚焦位置的同时达到自动聚焦曲线的峰值。然而，现有的机制可能永远不收敛于适当的焦点，并且它们经常是缓慢的或者可能持续“搜寻”适当的焦点位置。

用于捕获所需图像的一个重要量度是适当地聚焦。已开发了许多系统来估计或获得适当的相机聚焦。因为相机镜头系统具有多个相关的元件和特性，因此随后对这些元件和它们的相关特性进行简要讨论。

一般而言，拍摄镜头的两个主要光学参数是最大光圈(maximum aperture)和焦长(focal length)。焦长决定了对于与对象相距给定距离(物距)情况下图像相对于物体(对象)的大小和视角。最大光圈(f数(f-number)或f光圈(f-stop))限制了对于给定的设置(焦长/有效光圈)而言可用的图像亮度和最快快门速度，较小的数字表示更多的光被提供给焦平面，焦平面通常可被看作是简单的数码相机中的图像传感器的面。

一种形式的典型简单镜头(在技术上是具有单个元件的镜头)具有单个焦长并且也被称为“定焦镜头(prime lens)”。在使用单焦长镜头来对相机聚焦时，镜头与焦平面之间的距离改变，这使得变动了焦点，拍摄对象图像在该焦点投向焦平面。这样，虽然单焦长镜头具有固定的光学关系和焦长，但是它在相机中用于在一段调焦范围跨度聚焦在对象上。因此，不应当将镜头的固定焦距与使用该镜头的相机上可获得的焦距范围相混淆，从而，调整该镜头相对于焦平面的位置就变动了焦距。

在使用单焦长镜头时，将调整光圈以针对所需的快门速度来选择光量，然后根据物距(也称为焦距)调整聚焦并随后捕获图像。在其他的单焦长镜头上，宏观设置(macro setting)通常设有不同的焦长选择，用于拍摄特写镜头。远摄(telephoto)镜头以高倍率提供非常窄的视角，用于为画面帧(frame)填充来自远距物体的图像。

多焦长镜头通常被称为“变焦”镜头，因为图像倍率随着情况的可能而可以是“变焦的”或者“未变焦的”。变焦镜头允许用户选择对象的倍率量，或者说是对象填充画面帧的程度。了解到这些镜头或相机镜头系统的变焦功能在概念上与聚焦控制和光圈控制二者是分开的这一点是重要的。

不管是利用单焦长镜头还是利用多焦长镜头，都有必要针对给定的物距来适当地聚焦镜头。对于给定的聚焦设置，可接受的聚焦范围被称为“景深”，其是对物体空间或对象空间中的可接受锐度的深度的度量。例如，在15英尺的物距的情况下，高清晰度相机的可接受聚焦范围可以是约为几英寸，而最佳的聚焦可能要求更高的精度。将会认识到，随着聚焦从中间距离向外朝着“无限远”(例如拍摄远处的山、云等的图像)移动，景深增大，在该范围上当然具有无限制的景深。

对于单焦长镜头，在给定的光圈设置下，对于从相机到对象的给定距离(物距)将存在单个最佳聚焦设置。比相机的焦距更近或更远的对象部分将在所捕获的图像中显示出受到某种程度的模糊，这取决于影响景深的许多因素。然而，在多焦镜头中，对于镜头可获得的每个镜头倍率(镜头焦长)都存在最佳的焦点。为了提高实用性，镜头制造者大大降低了对响应于变焦设置而重新聚焦的需要，但是重新聚焦的必要性取决于所使用的特定相机镜头系统。另外，光圈设置可能需要响应于不同的变焦倍率水平而改变。

最初，相机聚焦仅仅可以响应于操作者的识别和手动聚焦调整而被确定和校正。然而，由于聚焦对结果的重要性，已经采用了聚焦辅助。最近，成像装置(imaging device)通常提供自动聚焦在对象上的能力，这是目前一般称为“自动聚焦”的功能。因为诸多的现有自动聚焦机制各自存在缺点和折衷，所以聚焦仍然是密集的技术开发点。

存在两种一般类型的自动聚焦(AF)系统，主动自动聚焦和被动自动聚焦。在主动自动聚焦中，一个或多个图像传感器被用来确定离焦点的距离，或者以其他方式在图像捕获镜头系统外部检测聚焦。主动AF系统可以执行快速聚焦，但是它们通常不会通过窗口来聚焦，或者在其他特定应用中由于声波和红外光被玻璃和其他表面反射而通常不会聚焦。在被动自动聚焦系统中，使用所观看的图像的特性来检测和设置聚焦。

多数高端SLR相机目前使用透过镜头型(through-the-lens)光学AF传感器，这些光学AF传感器例如可被用作测光计。这些现代AF系统的聚焦能力通常比通过普通取景器而手动获得的精度更高。

一种形式的被动AF例如通过以下方式利用相位检测：将通过分束器的入射光分成多对图像并且在AF传感器上对它们进行比较。两个光学棱镜捕获来自镜头的相反两侧的光线并且将其转向到AF传感器，从而创建基线与镜头直径相同的简单测距仪。响应于对类似的光强度图案和相位差进行检查来确定聚焦，其中相位差的计算是为了确定物体被认为在焦点前面还是在适当聚焦位置后面。

在另一类型的被动AF系统中，在通过镜头的传感器区域内进行对比度测量。该系统调整聚焦以使得相邻像素之间的强度差最大化，这种情况大致表示出正确的图像聚焦。因此，执行聚焦直到获得最大对比度水平为止。这种形式的聚焦慢于自动AF(尤其当在暗光下操作时)，但却是低端成像装置中利用的常见方法。

被动系统在低对比度条件下进行聚焦判定是非常差的，特别是在大的单色表面(固体表面、天空等等)上或者在低光照条件下更是如此。被动系统依赖于对对象的某种程度的照明(不管是自然的还是其他)，而主动系统在必要时即使在完全黑暗的条件下也可以正确地聚焦。

因此，存在对以更确定的方式来控制相机聚焦的系统和方法的需要。这些需要和其他需要在本发明中得以满足，本发明克服了以前开发的自动聚焦系统和方法的不足。

发明内容

本发明教导了一种图片匹配自动聚焦方法，该方法能够比现有机制更容易且更准确地获得适当的聚焦。发明人的相关自动聚焦系统之一是利用最近的深度估计结果来确定下一镜头位置的相关双图片匹配方法。该方法在匹配曲线光滑时很好地工作。然而，当匹配曲线有频繁发生的噪声时，聚焦准确性和速度性能下降。本发明教导了一种新的克服了这些缺点的自动聚焦方法。本发明不是基于两张图片的关系来提供聚焦，而是利用如下新颖手段：在自动聚焦过程中将当前的和先前的(例如，用于该图片的所有深度估计)深度估计结果相结合，以基于统计模型和置信度量来确定下一镜头位置。本发明大大改善了聚焦准确性和速度，即使当匹配曲线有噪声时也是如此。本发明通过以下方式扩展了自动聚焦方法在真实世界条件下的可用性：(1)使用当前的和先前的(例如，用于该图片的所有先前预测)预测镜头位置而不是仅最近的一个镜头位置，来改善预测的准确性，以及(2)在自动聚焦期间生成对预测镜头位置的置信度量。

本发明可用多种方式来体现，包括但不限于以下描述。

本发明的一个实施例是一种用于控制自动聚焦的设备，其包括：(a)计算机处理器，被配置来控制成像装置和相关联的聚焦控制元件；(b)耦合到计算机处理器的存储器；(c)存储器上的可被计算机处理器执行以实现包括以下步骤的自动聚焦过程：(c)(i)捕获物体图像，(c)(ii)估计所捕获的图像对之间的深度，(c)(iii)覆盖当前的和先前的对于该图像所收集的图像对来确定深度的加权平均和方差，(c)(iv)响应于深度的加权平均来调整聚焦，以及(c)(v)重复上述步骤直到方差达到如下的值为止：该值表明对于已获得了适当聚焦有足够的置信。因而，本发明响应于将所有先前的深度估计结果相结合而不是只使用最近的深度估计，来在每次重复程序步骤时调整聚焦。另外，本发明的至少一个实施例被优选的配置来对检测到过多数目的镜头聚焦运动作出响应，并且终止聚焦过程、向估计结果指派大的方差、重置重复的次数并且继续自动聚焦、丢弃当前的深度估计值并且拍摄要根据其来计算新的深度估计值的另一对图片、或者执行为了获得适当聚焦的其他替代方式。

根据本发明，基于确定用于估计实际深度的图像对的两张图片之间的模糊差别量，在所捕获的图像对之间估计深度，所述对中的每个图像是以不同的焦距拍摄的。在本发明的至少一个实施例中，利用对象深度的最大似然估计(MLE)来估计深度。在至少一个实施例中，利用由下式给出的加权平均来估计深度，

$\stackrel{\‾}{d}=\frac{{\mathrm{\Σ}}_{i=1}^N(d_i/{\mathrm{\σ}}_i^2)}{{\mathrm{\Σ}}_{i=1}^N(1/{\mathrm{\σ}}_i^2)}$

其中N表示自动聚焦过程期间的镜头运动数目并且利用获得了N个无偏的(unbiased)深度估计结果d₁，...，d_N，其中μ是实际对象深度，d_i是距离，并且

是方差，μ的最大似然估计(MLE)由加权平均给出。通过每次聚焦迭代(iteration)来确定方差，作为对于所预测的镜头位置提供了最佳聚焦的置信度量。在至少一个实施例中，加权平均的方差由下式给出，

${\mathrm{\σ}}_{\stackrel{\‾}{d}}^2=\frac{1}{{\mathrm{\Σ}}_{i=1}^N(1/{\mathrm{\σ}}_i^2)}$

其中N表示自动聚焦过程期间的无偏深度估计结果的数目。

本发明的实施例(例如包括计算机处理器、成像装置和聚焦控制)可以并入在静态图像相机内，或者不那么优选地，运行视频相机的一些方面或者静态图像相机和视频图像相机的组合的一些方面。

本发明的一个实施例是一种用于以电子方式捕获图像的设备，其包括：(a)成像装置；(b)耦合到成像装置的聚焦控制元件；(c)耦合到成像装置和聚焦控制元件的计算机处理器；(d)耦合到计算机处理器的存储器；以及(e)可在计算机处理器上执行以实现包括以下步骤在内的的自动聚焦步骤，(e)(i)捕获物体图像，(e)(ii)估计所捕获的图像对之间的深度，(e)(iii)覆盖过去的和当前的所收集的图像对来确定深度的加权平均以及方差，(e)(iv)响应于深度的加权平均来调整聚焦，以及(e)(v)重复上述步骤直到方差达到如下的值为止：该值表明对于已获得适当聚焦有足够的置信。所捕获的图像对之间的深度估计优选地响应于(任何所需形式的)聚焦匹配模型而执行，该聚焦匹配模型基于响应于对比度改变而确定的模糊差别，所述对比度改变是当物距在相机的聚焦范围的至少一部分上改变时检测到的。

本发明的一个实施例是一种自动调整相机聚焦的方法，包括：(a)通过相机装置捕获第一物体图像；(b)通过相机装置捕获另一物体图像；(c)响应于将所捕获的物体图像之间的模糊差别输入到聚焦匹配模型中并且求解该模型以生成对离物体的距离的估计，来估计所捕获的图像对之间的深度；(d)覆盖过去的和当前的所收集图像对来确定深度的加权平均以及方差；(e)响应于深度的加权平均在自动聚焦过程中调整相机聚焦位置；以及(f)重复步骤(b)至(e)，直到方差达到如下的值为止：该值表明对于实现了适当聚焦有足够的置信(例如，低于方差阈值)。在至少一个实施例中，当确定步骤(b)至(e)的重复次数超过了所需阈值时，则通过执行以下步骤来改变自动聚焦过程：(e)(i)在当前聚焦位置处终止自动聚焦，或者(e)(ii)向估计结果指派大的方差并且继续自动聚焦过程，或者(e)(iii)放弃当前的深度估计值并且捕获将根据其来计算新的深度估计值的一个或多个另外的图片对。

本发明提供了多个有益方面，这些方面可被单独实现或者以任何所需组合来实现，而不脱离本发明的教导。

本发明的一个方面是图像获取期间的自动图像聚焦(AF)。

本发明的另一方面是提高自动聚焦(AF)机制的准确性。

本发明的另一方面是减少自动聚焦(AF)期间所需的镜头运动量。

本发明的另一方面是提高AF机制的确定性，使得以高水平的置信获得适当聚焦。

本发明的另一方面是根据基于模糊差别的先前距离估计的加权和来执行自动聚焦，而不是使用最近的估计来执行自动聚焦。

本发明的另一方面是在自动聚焦过程的每个步骤生成置信度量，该置信度量可用来控制聚焦迭代的程度以及是否需要采取其他动作来确保适当的聚焦。

本发明的另一方面是可在任何成像设备中实现的自动聚焦方法，该成像设备配置有成像装置和适于处理所捕获的图像的计算机处理器。

本发明的另一方面是可在任何类型的静态相机中实现的自动聚焦方法。

本发明的其他方面将在说明书的以下部分中说明，其中详细的说明是为了全面公开本发明的优选实施例，而不是对其施加限制。

附图说明

通过参考仅用于说明目的的下列附图将更全面地理解本发明：

图1是根据本发明一个方面在多个焦点处捕获多个图像的示意图。

图2A-2B是根据本发明一个方面的校准目标(例如，阶跃边缘)图像的示意图。

图3是根据本发明一个方面计算三次迭代中的模糊差别(blur difference)的示意图。

图4是已经收集的良好匹配曲线的曲线图，该曲线示出在自动聚焦期间迭代次数与图片数目的关系。

图5是已经收集的低劣匹配曲线的曲线图，该曲线示出在自动聚焦期间迭代次数与图片数目的关系。

图6是误差分布与迭代和方差的关系曲线图，示出了方差如何随着迭代次数而增大。

图7是示出在三个标准差上的聚焦置信的高斯分布曲线图。

图8是估计误差的平均值与迭代次数的关系曲线图，示出了聚焦置信。

图9是估计误差的曲线图，并且示出了方差随着迭代次数的增大而增大。

图10是将最近估计过程与根据本发明实施例的加权平均估计进行比较的聚焦误差测试结果的曲线图。

图11是将最近估计过程与根据本发明实施例的加权平均估计进行比较的镜头移动结果的曲线图。

图12是聚焦位置与景深(DOF)以及与深度估计置信水平的关系的线状图。

图13是置信水平与根据本发明实施例的加权平均估计的迭代次数的关系曲线图。

图14是根据本发明实施例利用置信度量执行加权平均估计的流程图。

图15是使用根据本发明实施例的利用了置信度量的加权平均估计方法来执行自动聚焦的相机的框图。

具体实施方式

更具体地参考附图，为了说明的目的，本发明被体现在图1至图15所一般示出的设备中。将会认识到，设备的配置和部件的细节可以变化，并且方法的具体步骤和顺序可以变化，而不脱离这里公开的基本概念。

利用了现有的双图片匹配的自动聚焦将最近的深度估计结果用于自动聚焦，但是不能适当地应对有噪声的匹配曲线。目的是开发一种在有噪声的情形下改善聚焦准确性并减小镜头移动次数的方法。该目的可以通过在自动聚焦过程期间将过去的和当前的(例如，为该图片生成的所有估计)深度估计结果相结合来实现。

1.模糊差别

当对象处于对焦状态时，所捕获的图像是最尖锐的(具有最高的对比度)。图像随着镜头离开对焦位置而变得模糊(更低的对比度)。一般而言，当以两个不同的焦距拍摄了两张图片时，更接近于物距而拍摄的图片比另一张图片更尖锐。用于拍摄图片的焦距和这两张图片之间的模糊差别量可用来估计实际的物距或深度。

图1示出了当表征给定的成像设备(例如，特定品牌或型号的相机)时以不同的焦点位置(物距)拍摄校准目标(或对象)的多个图像的实施例10。示出了成像装置(相机)12，其可以在从最小焦长14直到无限远16的范围上聚焦。示出了最小焦距14(例如，在本情况中是35cm)以及在无限远16处的聚焦。根据本发明，聚焦沿着聚焦路径24在校准对象22(例如阶跃边缘图像、板、网格或者具有已知光学特性的类似目标)上收敛于第一焦点位置18然后收敛于第二焦点位置20。例如，相机的聚焦距离的范围在最小焦距(例如，35cm)与无限远之间。

图2A示出了对象32处于对焦状态的状况30，其中所捕获的图像是最尖锐的，如尖锐的对比度曲线34所示，该对比度曲线也被称为阶跃边缘的“边缘轮廓”。将会认识到，校准目标或者说对象优选地提供基于对比度来简单地确定聚焦的锐度的机制。例如在阶跃边缘目标中，在至少两种色彩、阴影、亮度之间作出清楚的阶跃边缘描绘，其中可以从对比度轮廓的锐度来容易地确定聚焦的锐度。本领域普通技术人员将会认识到，可以按多种不同方法中的任一种、按照与在测试视频捕获和输出的不同方面时使用不同色度键(chroma key)和色带图案(color bar pattern)相类似的方式来配置目标。

图2B示出了物体38的图像随着镜头从“对焦”位置离开而变得越来越模糊的状况36，示出了所产生的倾斜对比度曲线40。一般而言，当以两个不同的焦距拍摄了两张图片时，更接近于物距而拍摄的图片比另一张图片更尖锐。用于拍摄图片的焦距和这两张图片之间的模糊差别可用来估计实际的物距或深度。

考虑在位置A和B处拍摄两张图片f_A和f_B(其中f_A比f_B尖锐)的情况。可以通过从位置A到B的点扩散函数P对模糊的改变进行建模。

f_A*P＝f_B

其中*表示二维卷积运算。此外，可以通过使用模糊内核(blur kernel)K的一系列卷积来对点扩散函数P进行近似。

P＝K*K*...*K                (1)

在这里执行的测试中，内核K被选择为：

$K=\frac{1}{64}\left(\begin{array}{ccc}1& 6& 1\\ 6& 36& 6\\ 1& 6& 1\end{array}\right)---\left(2\right)$

于是可以通过式(1)中的卷积数目来度量f_A与f_B之间的模糊差别量。在实际的实现方式中，模糊差别是通过迭代过程获得的。

其中‖·‖表示对f_A与f_B之间的模糊匹配误差进行求值的范数算子。

2.匹配曲线

匹配曲线是迭代次数与镜头聚焦位置之间的关系。为了获得针对给定深度的匹配曲线，针对镜头的整个聚焦范围来拍摄一序列的图片，然后计算每两张图片之间的模糊差别。以无限远的焦距拍摄该序列的第一图片，然后每当镜头以一个景深移近焦点时拍摄一张图片，直到镜头到达最小焦距为止。该图片序列由f₀，f₁，...，f_N-1表示，其中N是序列长度。

图4和图5示出了不同的匹配曲线，这些曲线示出与某一统计模型相一致的有噪声数据(图4)以及不与任何统计模型相一致的异常值(图5)。

图4示出了示例性测试结果的曲线图，其显示出作为聚焦范围上的聚焦位置与迭代次数之间的关系的匹配曲线。作为示例而非限制，该序列是用Sony的DSC-T200相机以焦长175mm(相当于35mm)和光圈f4.4来拍摄的，其中对象是阶跃边缘图像。例如，所捕获的图像的分辨率被降低，在本示例中降低到320×240像素。对于本示例，f_i和f_i+4的模糊差别是针对i＝0，...，N-5计算的。应当认识到，模糊差别值的符号仅仅提供了用于表示哪个图像更加尖锐的方便手段。如果符号是正，则f_i比f_i+4更尖锐；否则，如果符号为负，则f_i+4是更尖锐的图像。

图4的“图片数目”轴表示计算迭代次数所针对的图像对。在本示例中，图片数目i意味着在f_i-2和f_i+2之间计算迭代次数。可以看出，当镜头聚焦位置从物距离开时，迭代次数的绝对值增大。过零点(在图4中示出为在图片数目33附近相交)是对象对焦之处。

图5示出了示例性测试结果的曲线图，其显示出例如可能响应于计算异常值而产生的迭代次数与聚焦位置之间的“低劣”关系。这些结果之所以被称为“低劣”的，是因为它们未对适当的系统响应适当地建模。典型的自动聚焦机制在遇到像这样的“低劣”数据时不能实现适当的聚焦，这并不是不可思议的。

3.深度估计和自动聚焦

深度估计是响应于匹配曲线特性而执行的。将会认识到，可以通过线性斜率或多项式来对这些特性建模。在自动聚焦过程期间，在不同的聚焦位置处拍摄图片。计算每两张图片之间的模糊差别，并且利用匹配曲线模型来估计深度。

对于自动聚焦应用，在传统上将镜头移至估计距离处的焦点，然后以相同方式估计新的深度。然后重复该过程，直到迭代次数收敛于0(对焦)或者低于某个指定阈值为止。这些估计距离的最佳结果被认为是最近的深度估计。然而，这种“最近估计”方法存在若干缺点：(1)不保证收敛；(2)不保证下一深度估计会提供更高的准确性；(3)这是一个慢的过程，尤其当匹配曲线有噪声时更是如此；以及(4)该方法不能适当地应对模糊差别结果有缺陷(例如，异常值)的情形。

根据本发明的方法克服了这些缺点以非常容易地达到准确聚焦。

4.将多个深度估计结果相结合

深度估计误差被如下设计。

e＝d-f                (4)

其中d是估计的对象深度，f是实际对象深度。误差e是利用高斯分布e～N(μ，σ²)建模的，其中平均值μ表示估计偏差量，而方差σ²是对置信水平的度量。σ²的值越小，估计结果就提供越多的置信。

当镜头位置移到离实际聚焦位置更远时，则迭代次数的绝对值更大并且深度估计结果的置信水平一般更低。

图6示出了方差如何随着迭代次数的增大而增大，其中的曲线示出了方差为5.2的单次迭代(实线)以及方差为26.6的五次迭代(虚线)。将会观察到，随着镜头位置移到离聚焦位置更远，迭代次数增大。另外，随着迭代次数增大，曲线变得有更多噪声并且估计变得更不可靠。

图7示出了高斯分布内的置信区间。在所示的分布中，平均值μ是偏差量，而方差σ²度量估计结果的可靠性或者置信水平。将会认识到，对于高斯分布，大约68％的值在离平均值的一个标准差内；大约95％在两个标准差内，并且大约99.7％在三个标准差内。

例如，当迭代次数为0时，聚焦位置被估计为当前镜头位置。基于统计数据(DSC-T200远摄敞开)，估计方差是2.60。标准差是1.61。对于该估计在1.61DOF以内有68％的置信度；在3.22DOF内有95％的置信度，在4.83DOF内有99.7％的置信度。

图8示出了估计误差的平均值与迭代次数之间的关系。该曲线图显示出当迭代次数在11之上增大时，平均值急剧增大。理想情况下，估计将是无偏的，平均值对于所有迭代次数都是0。但是，估计响应于噪声、异常值、建模误差和其他误差源的存在而变得有偏差。为了使估计无偏，需要从估计结果中减去平均值。当迭代次数小于11时，平均值几乎为0。

图9示出了估计误差的方差并且显示出方差随着迭代次数增大而增大。将会注意到，方差在超过13-14次迭代时快速上升，如在本示例性结果中可以看到的。

本发明被配置为当需要多于一次镜头移动来用于自动聚焦时将估计结果相结合，并因而既使用在聚焦期间生成的过去的估计，又使用当前的估计，而不是只使用仅基于两张图片的最近估计。可以如下理解此处的目的。

假定已经在自动聚焦过程期间捕获了N对图像，并且利用

获得了N个无偏的深度估计结果d₁，...，d_N。平均值μ是实际对象深度。假定作为来自第i图像对的深度估计值的d_i是独立的，则在给出

的情况下，μ的最大似然估计(MLE)由加权平均给出。

$\stackrel{\‾}{d}=\frac{{\mathrm{\Σ}}_{i=1}^N(d_i/{\mathrm{\σ}}_i^2)}{{\mathrm{\Σ}}_{i=1}^N(1/{\mathrm{\σ}}_i^2)}---\left(5\right)$

${\mathrm{\σ}}_{\stackrel{\‾}{d}}^2=\frac{1}{{\mathrm{\Σ}}_{i=1}^N(1/{\mathrm{\σ}}_i^2)}---\left(6\right)$

方差

小于针对d_i的任何个体方差这意味着加权平均

比任何个体d_i给出更多的置信。因此应当将

用于自动聚焦，而不是依赖于最近的估计。该自动聚焦过程的收敛状况响应于

中足够的置信而出现，或当

低于指定阈值时出现。每个新的估计降低了加权平均的方差。如果采取了足够的镜头运动和图片，则可以获得高准确性的聚焦结果。

应当认识到，当使用最近估计方法时，迭代的镜头运动需要在其返回到前一位置时停止，以便防止无限循环，在无限循环中永远不会收敛到聚焦位置。相比之下，在本发明的加权平均方法中，镜头运动不需要停止，因为每个新的估计造成了更高的置信水平和改善的聚焦。

对于最近估计方法，收敛状况在迭代次数为0或者几乎为0时出现，但是不能适当地响应于有噪声的匹配曲线而起作用。然而，使用本发明的加权平均方法，自动聚焦响应于在结果中获得足够的置信而收敛，或当估计方差低于某个阈值时收敛。

在本发明的一种测试中，响应于利用Sony DSC-200相机拍摄的257个自然景物序列而生成测试结果。这些序列覆盖了不同的光照条件，室内和室外、精细和粗糙纹理等等。在这些序列中，37个序列具有太多的异常值以至于无法建立统计模型，并且被分开处理。在其余的序列中，发现219个序列是“更好的但是仍然有噪声的”序列，在这些序列当中，随机选择109个序列以用于训练(计算平均值和方差)，而其余110个序列用于测试。在这些测试中，阈值估计方差被设定为4.0，这在4个景深(DOF)内产生95％的置信。

图10示出了将根据本发明的加权平均估计(实线)与最近估计(虚线)进行比较的测试结果。从这些结果可以看出，使用所发明的具有少得多的聚焦误差的方法减少了聚焦误差。通过更仔细地查看可以看出，对于加权平均方法，97.5％的AF结果是在4个DOF内获得的。然而，最近估计方法(在现场测试中使用的当前实现方式)在4个DOF内仅提供87.4％的AF结果。对该方法的估计误差进行校正使得在4个DOF内产生了90.6％的AF结果。使用本发明的加权平均估计方法，性能的显著改善是明显的。

图11示出了加权平均估计方法(实线)和最近估计方法(虚线)之间的比较。将会认识到，除了准确性之外，与聚焦有关的另一重要量度涉及获得聚焦位置时所需的镜头运动量。

响应于加权平均估计，平均镜头运动数目是2.92，所捕获的平均图像数目是2.92对。然而，使用最近估计方法，平均镜头运动数目是5.66，所捕获的平均图像数目是6.66对。因此，与使用最近估计技术时所需的镜头运动和图片捕获相比，本发明需要更少的镜头运动和图片捕获(例如，约为一半)。

5.不带置信的深度估计

如果深度估计结果不优于使用随机“猜测”，则估计不提供置信(零置信)。在技术上，当方差是无穷大(均匀分布)时，置信水平为零。

图12示出了通过远摄而在Sony DSC-T200相机的聚焦范围中作为示例而非限制所选择的71图片数目(DOF)。如果估计结果在离聚焦位置18DOF内(36DOF区间，或者说聚焦范围的一半)的概率不高于50％，则这是不带置信的估计。

图13示出了深度估计在18DOF以内的频率(以匹配结果的百分比的形式)与迭代次数的关系。可以看到，估计值的方差随着迭代次数的增大而增大。迭代次数的阈值因此优选地建立在如下的点处或该点之前：在所述点处，结果并不好于随机猜测。对于本示例，可以看出，当迭代次数超过大约14时，估计结果中没有置信。

与诸如最近测试之类的方法不同，本发明的加权平均方法提供了关于聚焦置信的信息，因而当自动聚焦可能正在提供错误结果或者不大可能收敛于适当焦点时，可以进行识别并且采取适当动作。作为示例而非限制，下面概述了可以响应于无置信估计而执行的三个选项。

1.向估计结果指派大的方差(例如1000)，并且继续进行正常自动聚焦过程。例如，可以通过向每个大于或等于14的迭代次数指派1000来修改图9。

2.丢弃该结果，采用另一对图片，并且计算新的深度估计值。

3.终止自动聚焦过程。

在本发明所执行的测试中，例如选择了第一选项。应当认识到，可以按多种不同方式来利用生成聚焦置信值的能力，而不脱离本发明的教导。

6.自动聚焦方法的总结

本发明教导了对于镜头运动的每次迭代都使用过去的和当前的估计结果的加权平均，并且相对于仅基于最近估计的估计提供了改善。另外，本发明使用统计方差来生成用于控制、修改和/或终止自动聚焦(AF)过程的置信度量。本发明提供了改善的AF准确性，并且减少了达到适当焦点所需要的镜头运动数目和图像捕获数目。

图14示出了本发明的自动聚焦方法的示例性实施例。在步骤50中，过程被初始化，其中N＝1。按照步骤52拍摄图片并且按照步骤54计算深度估计值d_N。在步骤56中，针对所有的{d₁，...，d_N}，计算及其方差

按照框58，将镜头移至由

所表示的深度处。在方差

与指定阈值之间执行比较(60)。如果在步骤62确定该方差低于该阈值(或者，等于或小于该阈值)，则在步骤68终止自动聚焦过程。否则，如果

更大，则在步骤64中增大N，例如增大1(N＝N+1)。按照步骤66执行对N的大小的检查，如果N大于用于自动聚焦的镜头运动的最大允许数目，则自动聚焦过程可被终止(68)，否则处理可以返回到步骤52而继续进行。应当认识到，如果方差仍然过大，则即使已达到了N的最大值(在步骤66中检测到)，也可以选择除了终止自动聚焦之外的选项，而不脱离本发明的教导。

7.自动聚焦硬件实施例

应当认识到，可以在被配置来执行多种不同形式的图像捕获中的任一种的各种装置和系统上实现本发明。作为示例而非限制，下面描述了相机装置中的一个实施例。

图15示出了被配置来进行根据本发明的自动聚焦的图像捕获装置(相机)90的示例性实施例90。聚焦/变焦控制器94被示出为耦合到由计算机处理器(例如一个或多个CPU、微控制器和/或DSP)控制的成像光学器件92。计算机处理器96响应于来自存储器98和/或辅助存储器100的执行指令而执行自动聚焦方法。作为示例，为静态相机装置示出了可选的图像显示器102和触摸屏104，但是将会认识到，可以在配置有成像器、聚焦控制器、计算机处理器和存储器的各种图像捕获装置上实现根据本发明的方法。变焦、触摸屏、图像显示器、非触摸屏接口106和辅助存储器的存在对于体现本发明的图像捕获装置而言不是必要的，但是却被示出，这是因为它们存在于典型的相机系统上。

应当认识到，图14中一般示出的自动聚焦步骤是由计算机处理器96结合存储器98和/或辅助存储器100执行的。

本发明提供了相机聚焦控制的方法和设备。发明性的教导可以应用于需要自动聚焦方面的各种相机设备和应用，包括静态相机等等。

参考根据本发明实施例的方法流程图和系统描述了本发明的实施例。这些方法和系统可被实现为计算机程序产品。就此而言，流程图的每个框或步骤以及流程图中的框(和/或步骤)的组合可通过各种手段来实现，例如硬件、固件和/或软件，包括体现在计算机可读程序代码逻辑中的一个或多个计算机程序指令。将会认识到，任何这样的计算机程序指令可被加载到计算机(包括但不限于通用计算机或专用计算机)或者用于制造机器的其他可编程处理设备，以使得在计算机或其他可编程处理设备上执行的计算机程序指令创建了用于实现在(一个或多个)流程图的(一个或多个)框中指定的功能的手段。

因此，流程图的框支持用于执行指定功能的手段的组合、用于执行指定功能的步骤的组合以及用于执行指定功能的计算机程序指令(例如体现在计算机可读程序代码逻辑手段中)。还将了解到，流程图的每个框和流程图中的框的组合可以通过执行指定功能或步骤的基于专用硬件的计算机系统或者专用硬件和计算机可读程序代码逻辑手段的组合来实现。

此外，这些计算机程序指令(例如体现在计算机可读程序代码逻辑中)还可被存储在计算机可读存储器中，可以指示计算机或其他可编程处理设备以特定方式起作用，以使得存储在计算机可读存储器中的指令产生制造物品，包括实现在(一个或多个)流程图的(一个或多个)框中指定的功能的指令手段。计算机程序指令还可被加载到计算机或其他可编程处理设备上以使得在该计算机或其他可编程处理设备上执行一系列的操作步骤，从而产生计算机实现的过程，使得在计算机或其他可编程处理设备上执行的指令提供用于实现在(一个或多个)流程图的(一个或多个)框中指定的功能的步骤。

从这里的讨论将会认识到，可按照各种方式来体现本发明，包括以下方式：

1.一种用于控制自动聚焦的设备，包括：(a)计算机处理器，被配置来控制成像装置和相关联的聚焦控制元件；(b)耦合到所述计算机处理器的存储器；以及(c)存储在所述存储器中的程序，该程序可被所述计算机处理器执行以实现包括以下步骤的自动聚焦过程：(i)捕获物体图像；(ii)估计所捕获的图像对之间的深度以得出深度估计值；(iii)确定深度估计值的加权平均和方差，该确定过程覆盖(span)了过去的和当前的深度估计这两者；(iv)利用响应于所述深度估计值的加权平均而执行的聚焦运动来调整聚焦；(v)重复步骤(i)至(iv)，直到所述方差达到如下的值为止：该值表明对于已获得适当聚焦位置有足够的置信。

2.根据实施例1的设备，还包括可在所述计算机处理器上执行以实现包括以下在内的步骤的程序：确定过多数目的聚焦运动已被执行；以及在当前聚焦位置处终止所述自动聚焦过程。

3.根据实施例1的设备，还包括可在所述计算机处理器上执行以实现包括以下在内的步骤的程序：确定过多数目的聚焦运动已被执行；以及向估计结果指派大的方差并且继续执行自动聚焦步骤。

4.根据实施例1的设备，还包括可在所述计算机处理器上执行以实现包括以下在内的步骤的程序：确定过多数目的聚焦运动已被执行；以及丢弃深度估计值并且捕获另一对物体图像，从这一对物体对象进行另一深度估计并且继续所述自动聚焦过程。

5.根据实施例1的设备，其中，通过将当前的和先前的深度估计相结合而不是仅利用最近的深度估计，来响应于所述自动聚焦过程的每次重复而调整聚焦。

6.根据实施例1的设备，其中，所述深度估计是在所捕获的图像对之间执行的，这些图像对中的每个图像是在不同的聚焦位置处拍摄的，并且基于确定图像对内的捕获图像之间的模糊差别量来估计实际深度。

7.根据实施例1的设备，其中，所述深度估计是利用对象深度的最大似然估计(MLE)而执行的。

8.根据实施例1的设备，其中，所述深度估计是响应于由下式给出的加权平均

而确定的，

$\stackrel{\‾}{d}=\frac{{\mathrm{\Σ}}_{i=1}^N(d_i/{\mathrm{\σ}}_i^2)}{{\mathrm{\Σ}}_{i=1}^N(1/{\mathrm{\σ}}_i^2)}$

其中N表示自动聚焦过程期间的镜头运动数目，d_i是来自第i图像对的深度估计值，并且

是d_i的方差。

9.根据实施例1的设备，其中，所述方差包括置信度量，该置信度量是由可在所述计算机处理器上执行的所述程序响应于对所述自动聚焦过程期间进行的所有深度估计的考虑而生成的。

10.根据实施例1的设备：其中，所述方差包括置信度量，该置信度量是由可在所述计算机处理器上执行的所述程序响应于在所述自动聚焦过程期间预测的深度估计而生成的；并且其中，所述方差被确定为由下式给出的加权平均

${\mathrm{\σ}}_{\stackrel{\‾}{d}}^2=\frac{1}{{\mathrm{\Σ}}_{i=1}^N(1/{\mathrm{\σ}}_i^2)}$

其中N表示在所述自动聚焦过程期间执行的无偏的深度估计的数目，并且

是第i深度估计的方差。

11.根据实施例1的设备，其中，所述设备是静态图像相机的组件。

12.一种用于以电子方式捕获图像的设备，包括：(a)成像装置；(b)聚焦控制元件，该聚焦控制元件耦合到所述成像装置并且向所述成像装置提供聚焦范围；(c)计算机处理器，该计算机处理器耦合到所述成像装置和所述聚焦控制元件；(d)耦合到所述计算机处理器的存储器；以及(e)存储在所述存储器中的程序，该程序可在所述计算机处理器上执行以实现包括以下步骤的自动聚焦过程：(i)捕获物体图像；(ii)估计所捕获的图像对之间的深度以得出深度估计值；(iii)覆盖当前的和过去的所收集的图像对来确定深度估计值的加权平均并且确定方差；(iv)响应于所述深度估计值的加权平均来调整聚焦；以及(v)重复聚焦过程中的步骤(i)至(iv)，直到所述方差达到如下的值为止：该值表明对于已获得适当聚焦有足够的置信。

13.根据实施例12的设备，其中，所述设备是静态图像相机的组件。

14.根据实施例12的设备，其中，可在所述计算机处理器上执行的所述程序被配置成响应于聚焦匹配模型来估计所捕获的图像对之间的深度，该聚焦匹配模型基于响应于对比度改变而确定的模糊差别，所述对比度改变是在正在捕获其图像的物体的物距在所述成像装置的聚焦范围的至少一部分上改变时检测到的。

15.根据实施例12的设备，其中，可在所述计算机处理器上执行的所述程序被配置成：响应于确定所述自动聚焦过程已被执行了过多的次数而停止所述自动聚焦过程。

16.根据实施例12的设备，其中，可在所述计算机处理器上执行的所述程序被配置成：当确定在所述方差未达到预定阈值的情况下所述自动聚焦过程已被执行了过多的次数时，向所述方差指派大的值。

17.根据实施例12的设备，其中，可在所述计算机处理器上执行的所述程序被配置成：当确定在所述方差未达到预定阈值的情况下所述自动聚焦过程已被执行了过多的次数时，丢弃当前深度估计并且捕获另一对物体图像，深度估计将从这另一对物体图像来进行。

18.一种自动调整相机聚焦的方法，包括：(a)通过相机装置捕获第一物体图像；(b)通过所述相机装置捕获另一物体图像；(c)响应于将所捕获的物体图像之间的模糊差别值输入到聚焦匹配模型中而估计所捕获的图像对之间的深度，所述聚焦匹配模型被求解以生成深度估计值；(d)覆盖过去的和当前的深度估计来确定深度估计值的加权平均和方差；(e)响应于所述深度估计值的加权平均，在自动聚焦过程中利用相机聚焦运动来调整相机聚焦位置；以及(f)重复步骤(b)至(e)，直到所述方差达到如下的值为止：该值表明对于实现所述相机装置的适当聚焦有足够的置信。

19.根据实施例18的方法，其中，所述方法是在静态图像相机中执行的。

20.根据实施例18的方法，还包括：确定过多数目的聚焦运动已被执行；以及通过执行从包括以下各项的一组动作中选择的动作来改变所述自动聚焦过程：在当前聚焦位置处终止所述自动聚焦过程；向方差指派大的值并且继续所述自动聚焦过程；以及放弃当前的深度估计值并且捕获一个或多个另外的物体图像，新的深度估计将从这些另外的物体图像来进行。

虽然以上描述包含许多细节，但是这些细节不应当被解释为对本发明范围的限制，而是仅仅提供对本发明的一些当前优选实施例的说明。因此，将会认识到，本发明的范围充分涵盖对于本领域技术人员可能变得显而易见的其他实施例，并且本发明的范围因此仅由所附权利要求来限定，其中对单数形式的元素的提及不是意图表示“有且仅有一个”(除非明确这样声明)，而是“一个或多个”。本领域普通技术人员已知的、上述优选实施例的元件的全部结构和功能等同物明确地通过引用结合于此，并且意图由当前的权利要求所涵盖。此外，装置或方法不必解决本发明所试图解决的每一个问题，这是因为其将被当前的权利要求所涵盖。此外，本公开中的任何元件、组件或方法步骤都不意图奉献给公众，而不管该元件、组件或方法步骤是否明确在权利要求中描述。这里的权利要求要素都不在35U.S.C.112第6款的规定之下进行解释，除非该要素明确使用了短语“用于…的装置”进行了描述。

素材受版权保护的声明

本专利文献中的一部分素材受到美国和其他国家的版权法的版权保护。版权所有者不反对任何人对本专利文献或专利公开的复制，但在其他方面保留所有版权权利。版权所有者并不因此放弃将本专利文献保密的任何权利，包括但不限于根据37C.F.R.§1.14的权利。

Claims (20)

1.一种用于控制自动聚焦的设备，包括：

(a)计算机处理器，被配置来控制成像装置和相关联的聚焦控制元件；

(b)耦合到所述计算机处理器的存储器；以及

(c)存储在所述存储器中的程序，该程序可被所述计算机处理器执行以实现包括以下步骤的自动聚焦过程：

(i)捕获物体图像；

(ii)估计所捕获的图像对之间的深度以得出深度估计值；

(iii)确定深度估计值的加权平均和方差，该确定过程覆盖了过去的和当前的深度估计这两者；

(iv)利用响应于所述深度估计值的加权平均而执行的聚焦运动来调整聚焦；以及

(v)重复步骤(i)至(iv)，直到所述方差达到如下的值为止：该值表明对于已获得适当聚焦位置有足够的置信。

2.如权利要求1所述的设备，还包括可在所述计算机处理器上执行以实现包括以下在内的步骤的程序：

确定过多数目的聚焦运动已被执行；以及

在当前聚焦位置处终止所述自动聚焦过程。

3.如权利要求1所述的设备，还包括可在所述计算机处理器上执行以实现包括以下在内的步骤的程序：

确定过多数目的聚焦运动已被执行；以及

向估计结果指派大的方差并且继续执行自动聚焦步骤。

4.如权利要求1所述的设备，还包括可在所述计算机处理器上执行以实现包括以下在内的步骤的程序：

确定过多数目的聚焦运动已被执行；以及

丢弃深度估计值并且捕获另一对物体图像，从这一对物体对象进行另一深度估计并且继续所述自动聚焦过程。

5.如权利要求1所述的设备，其中，通过将当前的和先前的深度估计相结合而不是仅利用最近的深度估计，来响应于所述自动聚焦过程的每次重复而调整聚焦。

6.如权利要求1所述的设备，其中，所述深度估计是在所捕获的图像对之间执行的，这些图像对中的每个图像是在不同的聚焦位置处拍摄的，并且基于确定图像对内的捕获图像之间的模糊差别量来估计实际深度。

7.如权利要求1所述的设备，其中，所述深度估计是利用对象深度的最大似然估计(MLE)而执行的。

8.如权利要求1所述的设备，其中，所述深度估计是响应于由下式给出的加权平均而确定的，

$\stackrel{\‾}{d}=\frac{{\mathrm{\Σ}}_{i=1}^N(d_i/{\mathrm{\σ}}_i^2)}{{\mathrm{\Σ}}_{i=1}^N(1/{\mathrm{\σ}}_i^2)}$

其中N表示自动聚焦过程期间的镜头运动数目，d_i是来自第i图像对的深度估计值，并且

是d_i的方差。

9.如权利要求1所述的设备，其中，所述方差包括置信度量，该置信度量是由可在所述计算机处理器上执行的所述程序响应于对所述自动聚焦过程期间进行的所有深度估计的考虑而生成的。

10.如权利要求1所述的设备：

其中，所述方差包括置信度量，该置信度量是由可在所述计算机处理器上执行的所述程序响应于在所述自动聚焦过程期间预测的深度估计而生成的；并且

其中，所述方差被确定为由下式给出的加权平均

${\mathrm{\σ}}_{\stackrel{\‾}{d}}^2=\frac{1}{{\mathrm{\Σ}}_{i=1}^N(1/{\mathrm{\σ}}_i^2)}$

其中N表示在所述自动聚焦过程期间执行的无偏的深度估计的数目，并且

是第i深度估计的方差。

11.如权利要求1所述的设备，其中，所述设备是静态图像相机的组件。

12.一种用于以电子方式捕获图像的设备，包括：

(a)成像装置；

(b)聚焦控制元件，该聚焦控制元件耦合到所述成像装置并且向所述成像装置提供聚焦范围；

(c)计算机处理器，该计算机处理器耦合到所述成像装置和所述聚焦控制元件；

(d)耦合到所述计算机处理器的存储器；以及

(e)存储在所述存储器中的程序，该程序可在所述计算机处理器上执行以实现包括以下步骤的自动聚焦过程：

(i)捕获物体图像；

(ii)估计所捕获的图像对之间的深度以得出深度估计值；

(iii)覆盖当前的和过去的所收集的图像对来确定深度估计值的加权平均并且确定方差；

(iv)响应于所述深度估计值的加权平均来调整聚焦；以及

(v)重复聚焦过程中的步骤(i)至(iv)，直到所述方差达到如下的值为止：该值表明对于已获得适当聚焦有足够的置信。

13.如权利要求12所述的设备，其中，所述设备是静态图像相机的组件。

14.如权利要求12所述的设备，其中，可在所述计算机处理器上执行的所述程序被配置成响应于聚焦匹配模型来估计所捕获的图像对之间的深度，该聚焦匹配模型基于响应于对比度改变而确定的模糊差别，所述对比度改变是在正在捕获其图像的物体的物距在所述成像装置的聚焦范围的至少一部分上改变时检测到的。

15.如权利要求12所述的设备，其中，可在所述计算机处理器上执行的所述程序被配置成：响应于确定所述自动聚焦过程已被执行了过多的次数而停止所述自动聚焦过程。

16.如权利要求12所述的设备，其中，可在所述计算机处理器上执行的所述程序被配置成：当确定在所述方差未达到预定阈值的情况下所述自动聚焦过程已被执行了过多的次数时，向所述方差指派大的值。

17.如权利要求12所述的设备，其中，可在所述计算机处理器上执行的所述程序被配置成：当确定在所述方差未达到预定阈值的情况下所述自动聚焦过程已被执行了过多的次数时，丢弃当前深度估计并且捕获另一对物体图像，深度估计将从这另一对物体图像来进行。

18.一种自动调整相机聚焦的方法，包括：

(a)通过相机装置捕获第一物体图像；

(b)通过所述相机装置捕获另一物体图像；

(c)响应于将所捕获的物体图像之间的模糊差别值输入到聚焦匹配模型中而估计所捕获的图像对之间的深度，所述聚焦匹配模型被求解以生成深度估计值；

(d)覆盖过去的和当前的深度估计来确定深度估计值的加权平均和方差；

(e)响应于所述深度估计值的加权平均，在自动聚焦过程中利用相机聚焦运动来调整相机聚焦位置；以及

(f)重复步骤(b)至(e)，直到所述方差达到如下的值为止：该值表明对于实现所述相机装置的适当聚焦有足够的置信。

19.如权利要求18所述的方法，其中，所述方法是在静态图像相机中执行的。

20.如权利要求18所述的方法，还包括：

确定过多数目的聚焦运动已被执行；以及

通过执行从包括以下各项的一组动作中选择的动作来改变所述自动聚焦过程：

在当前聚焦位置处终止所述自动聚焦过程；

向方差指派大的值并且继续所述自动聚焦过程；以及

放弃当前的深度估计值并且捕获一个或多个另外的物体图像，新的深度估计将从这些另外的物体图像来进行。

Images