CN103650473A - 自动聚焦图像系统 - Google Patents

Abstract

本发明揭示一种自动聚焦图像系统，其包括一耦合到一聚焦信号产生器的像素阵列。该像素阵列捕捉一具有多个边缘的图像。该产生器产生一聚焦信号，该聚焦信号随多个边缘锐度度量而变，该等多个边缘锐度度量是从该等多个边缘中的每一者测得。该产生器将跨越该边缘的一梯度序列与通过从一非易失性存储器检索到的数据定义的一个或一个以上梯度参考序列和/或参考曲线进行比较。该产生器基于发现该梯度序列与该等参考序列或参考曲线之间的不相似度超过预定阈值而拒绝或者不再强调该边缘对该聚焦信号有贡献。

Description

自动聚焦图像系统

相关申请案的交叉参考

本申请案主张2010年12月7日申请的第PCT/IB2010/055649号PCT专利申请案的优先权。

技术领域

所揭示的标的物一般涉及自动聚焦电子捕捉的图像。

背景技术

例如数码相机和数字摄像机等摄影设备可包含电子图像传感器，其捕捉光以用于分别处理成静止或视频图像。电子图像传感器通常包含数百万个光捕捉元件，例如光电二极管。

例如相机等许多图像捕捉装置包括自动聚焦系统。自动聚焦过程包括以下步骤：捕捉图像；处理图像以确定其是否对焦；以及如果未对焦，那么产生用以改变聚焦透镜的位置（“聚焦位置”）的反馈信号。存在两种主要自动聚焦技术。第一种技术涉及对比度测量，另一技术考虑一对图像之间的相位差。在对比度方法中，分析邻近像素之间的强度差，且调整焦点，直到检测到最大对比度为止。尽管对于静态图片来说是可接受的，但对比度技术对于运动视频来说是不合适的。

相位差方法包括将传入图像分裂成两个图像，其由单独的图像传感器捕捉。将两个图像进行比较以确定相位差。调整聚焦位置，直到两个图像匹配为止。相位差方法需要额外零件，例如光束分裂器和额外图像传感器。另外，相位差方法分析相对小的固定检测点带。具有较小的检测点群组易于导致误差，因为噪声可叠加到一个或一个以上点上。如检测点不与图像边缘重合，那么此技术也是无效的。最后，因为相位差方法将光分裂，因此撞击在光传感器上的光的量被切为两半或更多。在图像光强度已经较低的暗淡环境中，这可成为问题。

发明内容

本发明揭示一种自动聚焦图像系统，其包括耦合到聚焦信号产生器的像素阵列。该像素阵列捕捉图像，该图像具有多个边缘。该产生器产生聚焦信号，该聚焦信号随着从该等多个边缘中的每一者测得的多个边缘锐度度量而变。该产生器将跨越该边缘的一梯度序列与通过从一非易失性存储器检索到的数据定义的一个或一个以上梯度参考序列和/或参考曲线进行比较。该产生器基于发现该梯度序列与该等参考序列或参考曲线之间的不相似度超过预定阈值而拒绝或者不再强调该边缘对该聚焦信号有贡献。

附图说明

图1是自动聚焦图像拾取设备的实施例的示意图；

图2是自动聚焦图像拾取设备的替代实施例的示意图；

图3是聚焦信号产生器的框图；

图4是图像信号矩阵上的水平索贝尔算子的运算的说明；

图5说明从水平梯度计算边缘宽度；

图6A、图6B是具有倾斜角度φ的垂直边缘的边缘宽度的计算的说明；

图6C、图6D是具有倾斜角度φ的水平边缘的边缘宽度的计算的说明；

图7是计算倾斜角度φ并校正具有倾斜度的垂直边缘的边缘宽度；

图8是垂直级联边缘的说明；

图9A是紧密堆积的垂直条的群组的说明；

图9B是越过图9A的图像信号的曲线图；

图9C是越过图9A的水平索贝尔梯度的曲线图；

图10是用以消除具有浅调制深度的紧密堆积边缘的过程的流程图；

图11是说明用于计算细聚焦信号的边缘宽度范围的边缘宽度的直方图；

图12是场景的说明；

图13是说明图12的场景的聚焦扫描期间的窄边缘计数的变化的曲线图；

图14是说明图12的场景的聚焦扫描期间的毛聚焦信号的变化的曲线图；

图15是说明聚焦位置范围上的细聚焦信号的变化的曲线图；

图16是显示场景中的多个对象以及该等对象中的一者上的选择标记的设备的说明；

图17是聚焦信号产生器的替代实施例的框图；

图18是自动聚焦图像拾取设备的替代实施例的示意图；

图19是具有主要像素阵列和辅助像素阵列的自动聚焦图像拾取设备的实施例的示意图；

图20是具有主要像素阵列和辅助像素阵列的自动聚焦图像拾取设备的替代实施例的示意图；

图21是具有主要像素阵列和辅助像素阵列的自动聚焦图像拾取设备的替代实施例的示意图；

图22是在不同聚焦位置处来自主要像素阵列的边缘宽度的变化以及来自辅助像素阵列的边缘宽度的变化的说明；

图23A说明跨相反极性（即，正负号）的两个邻近边缘（其中该等边缘不相互作用）的图像信号的梯度；

图23B说明跨相反极性（即，正负号）的两个邻近边缘（其中该等边缘相互作用）的图像信号的梯度；

图24A说明对照于作为连续第二导数之间的间距的倍数的距离而绘制的跨越一边缘的图像信号的第二导数序列，其展示（a）一对正峰和负峰之间的宽度W_s，（b）具有给定量值h₁的一对最外的经内插第二导数之间的宽度W₁，（c）具有给定量值h₁的一对内部的经内插第二导数之间的宽度W₂，以及（d）从（该对正峰与负峰之间的）过零到具有给定量值h₁的最外的经内插第二导数的距离D₁；

图24B说明对照于作为连续样本之间的间距的倍数的距离而绘制的图像信号的图像数据样本序列，其展示（a）边缘的两端处的两个样本之间的宽度W_edge和对比度C_edge，（b）具有样本值的最陡变化的一对样本之间的峰梯度值g_peak，（c）边缘的具有对比度C₁和宽度W_part1的未分部分，以及（d）边缘的具有对比度C₂和宽度W_part2的未分部分；

图24C说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的梯度序列，以及所绘制的梯度序列下的区的面积；

图24D说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的图像信号的梯度序列、一重心（即，矩心），以及梯度距该重心的距离；

图25说明通过内插来找到经内插峰的位置；

图26展示聚焦信号产生器的替代实施例；

图27到图29说明与梯度轮廓并排的梯度序列；

图30展示从峰到仅向下50%拟合于梯度轮廓的参考梯度序列；

图31展示仅替代地一侧且从峰到向下70%拟合于图bbb的梯度轮廓的参考梯度序列；

图32展示在第一次对准下对准于梯度轮廓内的梯度的参考梯度序列，其中在最近对的梯度与参考梯度之间的间距=0.2；

图33展示在第二次对准下对准于该等梯度的该序列，其中在最近对的梯度与参考梯度之间的间距=0.5，从而导致线段的更短总长度；

图34展示对准于梯度轮廓的参考梯度序列，使得参考峰在特定梯度水平下对准于该梯度轮廓的中点；

图35展示对准于图34的梯度轮廓的序列，使得参考峰对准于经内插峰，而不是梯度轮廓；

图36展示限定梯度轮廓的梯度轮廓检查器的实施例。

具体实施方式

所揭示的是一种自动聚焦图像系统，其包括耦合到聚焦信号产生器的像素阵列。该像素阵列捕捉图像，该图像具有具一宽度的至少一个边缘。聚焦信号产生器可产生聚焦信号，其随边缘宽度和/或边缘宽度的统计而变。所揭示的是一种自动聚焦图像系统，其包括耦合到聚焦信号产生器的像素阵列。该像素阵列捕捉图像，该图像具有具一宽度的至少一个边缘。该产生器产生聚焦信号，该聚焦信号随边缘宽度和边缘宽度的各种统计而变。该产生器可消除具有图像信号的梯度的不对称性的边缘。该产生器还可消除由于梯度中的相关联峰值而使模板失效的边缘。处理器接收聚焦信号和/或边缘宽度的统计，并调整聚焦透镜的聚焦位置。边缘宽度可由包括使用梯度在内的各种技术来确定。可使用边缘宽度的直方图来确定特定图像是聚焦还是未聚焦。具有大的较瘦边缘宽度计数的直方图指示已聚焦的图像。

架构

通过参考数字来更具体地参考图式，图1展示自动聚焦图像捕捉系统102的实施例。系统102可为数字静态相机的一部分，但将理解，该系统可在需要图像的受控聚焦的任何装置中实施。系统102可包括聚焦透镜104、像素阵列和电路108、A/D转换器110、处理器112、显示器114、存储器卡116以及驱动电动机/电路118。来自场景的光穿过透镜104进入。像素阵列和电路108产生模拟信号，模拟信号由A/D转换器110转换为数字信号。像素阵列108可并入有镶嵌色彩图案，例如拜耳图案。可将数字信号发送到处理器112，其执行各种处理，例如色彩内插、聚焦位置控制、色彩校正、图像压缩/解压缩、用户接口控制以及显示器控制；且可将数字信号发送到聚焦信号产生器120。在聚焦信号产生器120和处理器112驻存在不同封装内的情况下，可实施色彩内插单元148以对数字信号130执行色彩内插，以为聚焦信号产生器120估计每一像素上的缺失色彩信号。或者，在聚焦信号产生器120和处理器112一起驻存在封装144内的情况下，聚焦信号产生器120可如图2所示，在总线146上输入来自处理器112的经内插的色彩图像，或从由A/D转换器110产生的原始图像信号得出的单个图像信号，例如灰度级信号。

聚焦信号产生器120接收来自处理器112的一组控制信号132，另外，且可将信号134输出到处理器112。输出信号134可包括以下各项中的一者或一者以上：聚焦信号134、窄边缘计数以及代表图像中的边缘宽度的统计的一组数字。处理器112可产生聚焦控制信号136，其被发送到驱动电动机/电路118以控制聚焦透镜104。已聚焦的图像最终提供给显示器114且/或存储在存储器卡116中。用于调整聚焦位置的算法可由处理器112执行。

像素阵列和电路108、A/D转换器110、聚焦信号产生器120以及处理器112可全部驻存在一封装内。或者，像素阵列和电路108、A/D转换器110、聚焦信号产生器120可独立于处理器112而作为图1中所示的图像传感器150驻存在封装142内。或者，聚焦信号产生器120和处理器112可独立于像素阵列108和A/D转换器110而作为相机控制器160驻存在封装144内。聚焦信号产生器120（或任何替代实施例，例如，图26中所示的实施例）和处理器112可一起驻存在一半导体衬底（例如，硅衬底）上。

聚焦信号产生器

图3展示接收来自图像提供单元202的图像的聚焦信号产生器120的实施例。图像提供单元202可为图1中的色彩内插器148或图2中的处理器212。聚焦信号产生器120可包括边缘检测与宽度测量（EDWM）单元206、聚焦信号计算器210、长度滤波器212、以及宽度滤波器209。聚焦信号产生器120可进一步包括细化开关220，其由输入“细化”222控制。聚焦信号产生器120可提供来自宽度滤波器209的窄边缘计数以及来自聚焦信号计算器210的聚焦信号，该聚焦信号可在细聚焦信号与毛聚焦信号之间配置，其可由输入“细化”222选择。或者，可计算细聚焦信号和毛聚焦信号两者，并将其作为输出信号134的一部分输出。边缘检测与宽度测量单元206接收由图像提供单元202提供的图像。在图1和2的上下文中，控制信号（例如控制信号“细化”222）可由处理器112在信号132中提供。而且在图1和图2的情形中，可将输出信号134提供给处理器112，处理器112充当聚焦系统控制器，其控制聚焦透镜104的聚焦位置，以通过分析输出信号134以检测图像中的尖锐对象来使对象的图像达到像素阵列108上的尖锐聚焦。下文描述聚焦信号产生器120的各种组件。

EDWM单元206可变换输入图像，使得图像的三个信号红（R）、绿（G）和蓝（B）被转换为单个图像信号。可利用若干种技术来将图像变换为单个图像。可使用RGB值来计算亮度或色度值，或可取RGB值的特定比率来形成单个图像信号。举例来说，可用等式Y=0.2126*R+0.7152*G+0.0722*B来计算亮度值，其中Y为亮度值。该单个图像信号可接着由高斯滤波器或任何低通滤波器处理，以平滑相邻像素之间的图像数据样本值而移除噪声。

聚焦信号产生器120、120'、120"不限于灰度级信号。聚焦信号产生器120、120'、120"可对任何一个图像信号操作，以检测该图像信号中的一个或一个以上边缘。或者，聚焦信号产生器120、120'、120"可对图像信号的任何组合操作，例如Y、R-G或B-G。聚焦信号产生器120、120'、120"可分别对R、G、B图像信号中的每一者或其任何一个或一个以上组合操作，以检测边缘。聚焦信号产生器120、120'、120"可针对R、G、B图像信号中的每一者或其任何组合而形成边缘宽度的统计。聚焦信号产生器120、120'、120"可根据来自一个或一个以上图像信号的边缘宽度的统计形成聚焦信号。

聚焦信号产生器包含边缘检测器以识别图像信号中的边缘。边缘检测器可使用一阶边缘检测算子，例如，索贝尔（Sobel）算子、普瑞维特（Prewitt）算子、罗伯特（Roberts）交叉算子或罗伯特算子。边缘检测器可使用较高阶的边缘检测算子来识别边缘，例如二阶算子，例如拉普拉斯（Laplacian）算子。边缘检测器可使用已知边缘检测算子中的任一者或也用已知算子中的任一者的平常的边缘检测原理的任何经改进算子

在边缘检测器使用一阶边缘检测算子的情况下，计算图像信号的梯度（即，第一导数）。可用于计算梯度的方法有多种，包含使用各种一阶边缘检测算子中的任一者，例如索贝尔算子、普瑞维特算子、罗伯特交叉算子和罗伯特算子。罗伯特算子具有两个内核，其为单列或单行矩阵：[-1+1]及其转置。罗伯特交叉算子具有两个内核，其为2乘2矩阵：[+1,0;0,-1]和[0,+1;-1,0]，以[第一行向量；第二行向量；第三行向量]的格式展示，与在Matlab中一样。普瑞维特算子和索贝尔算子基本上具有相同的内核[-1,0,+1]，其取行方向上的梯度，且其转置取列方向上的梯度，进一步乘以执行垂直于相应梯度方向的低通滤波的不同低通滤波器的内核。可分别例如使用索贝尔X算子和索贝尔Y算子来计算列和行上的梯度，以分别检测垂直和水平边缘。通过等式Sx[k,q]=U[k,q+1]–U[k,q-1]给出像素位置[k,q]处的索贝尔X算子，其中k为行编号，且q为列编号。通过等式Sy[k,q]=U[k+1,q]–U[k-1,q]给出同一位置处的索贝尔Y算子，其中U是经处理图像的图像信号。

在边缘检测器使用二阶算子的情况下，计算出图像信号的第二导数（例如，拉普拉斯）。

定向加标签

如果垂直或水平梯度量值超过预定下限（“消除阈值”）（例如针对8位图像为5），那么可对每一像素加水平边缘（“H”）或垂直边缘（“V”）的标签，或如果两者都不是，那么加无边缘的标签。此下限消除因柔和阴影或噪声而导致的伪边缘。如果像素的水平梯度量值超过其垂直梯度量值预定的滞后量或以上（例如，对于8位图像来说为2），那么可将像素加标签为垂直边缘，且反之亦然。如果两个梯度量值相差小于滞后量，那么像素获得与其最近的具有已确定的方向标签的相邻者的方向标签相同的方向标签。举例来说，如果在每一行中从左到右并向下逐行地扫描图像，那么相邻像素的检查序列可为上方像素第一、左上方像素第二，且左侧像素第三，且右上方像素最后。应用此滞后有助于确保如果邻近像素中的每一者具有几乎相同的水平和垂直梯度量值，那么邻近像素获得类似标签。图4说明水平和垂直梯度的6x6阵列上的加标签的结果。在每一单元中，水平梯度位于左上，垂直梯度在右侧，且方向标签在底部。在此步骤中，仅具有超过5的水平或垂直梯度量值的像素合格，因为边缘像素以粗体印刷，且获得方向标签。

可针对垂直边缘水平扫描且针对水平边缘垂直扫描图像、梯度和标签。如果同一行中具有相同水平梯度极性且全部针对垂直边缘而加标签的每一连续像素群组的左侧或右侧的邻近像素不同样，那么可将该像素群组标示为垂直边缘。同样，如果同一列中具有相同垂直梯度极性且全部针对水平边缘而加标签的每一连续像素群组的上方或下方的邻近像素均不满足上述条件，那么可将该像素群组标示为水平边缘。因此，可识别水平和垂直边缘。

边缘宽度

可通过移除梯度量值小于边缘内的峰梯度量值的给定分数的像素来精细化每一边缘。图5说明使用等于边缘的峰梯度量值的三分之一的精细化阈值来将边缘宽度从原来的9向下精细化到3的此步骤。此边缘精细化辨别占优势的梯度分量（其设定在边缘的锐度的视觉感知中占优势的视在边缘宽度），而不管具有可能导致梯度在许多像素上柔和地衰退的多个重叠阴影的图像。

可在已知方法的任一者中计算边缘宽度。一种计算边缘宽度的方法是简单地对边缘内的像素的数目进行计数。图5中展示计算边缘宽度的替代方法。在图5中，通过从精细化阈值304进行内插，在经细化边缘的第一外像素（像素3）与邻近的外侧像素（像素2）之间找到第一分数像素位置（2.4）。同样，在第二外像素（像素5）与其邻近的外侧像素（像素6）之间找到第二分数像素位置（5.5）。认为边缘宽度为这两个分数像素位置之间的差，5.5–2.4=3.1。

另一替代的边缘宽度计算方法是计算出图像信号在边缘（具有或不具有边缘精细化）上的差，并将其除以边缘的峰梯度。

或者，边缘宽度可以是跨越该边缘的图像信号的二阶导数的一对正峰与负峰（或经内插峰）之间的距离。其它替代方案是可能的，将进一步在本说明书中的标题“边缘锐度度量”下描述。

进一步在本说明中的标题“边缘锐度度量”下将看到，存在与宽度不同的其它替代方案，而宽度仅仅为本质上与场景的照度无关的边缘锐度度量的一个实例。

倾斜度校正

尽管可将每一边缘指派给一个指定方向（例如垂直方向或水平方向），或另一正交的指定方向（例如，水平方向或垂直方向），且可具有在与那个所指派的边缘方向正交的方向上测得的边缘宽度，从中产生这些边缘的图像中的不同图像信号值的区之间的边界可不或通常不与任一指定方向完全对准。在图6A中，将边界（阴影带）展示为相对于垂直虚线以倾斜角φ倾斜，且将宽度a展示为在正交方向（即，水平方向）上测得。然而，在与边界的方向（也是形成边界的一部分的边缘的方向）正交的方向上测得的宽度b（如图中所指示）比宽度a更适合作为边界（以及边缘）的宽度。不是与相应的边缘方向正交测得的此些宽度a往往过大，且并不代表相应边界的真正厚度。

出于从边缘宽度计算聚焦信号的目的，在那些指定方向中的一者或另一者上测得的边缘宽度将通过将其减小到在与相应边缘的方向正交的方向上的宽度而进行校正。边缘检测与宽度测量单元206执行此对边缘宽度的校正。如图6A中所示，测得的宽度a为直角三角形的斜边的长度，该直角三角形的底边（用宽度b标记）正交地跨在阴影边界上（因此与边缘方向正交），且该直角三角形具有角φ。接着从测得的宽度a到与边缘方向正交的方向的投影获得经校正的宽度b。从基础三角学可知，此投影可由b=a cos（φ）给出，但只要近似法获得在20%以内的准确性，就可使用近似法。角φ或cos（φ）本身可由此项技术中已知的用于找出图像中的边缘的方向的任何方法，或通过图7中所示的流程图中所描述的更准确的方法来找出。

每一水平或垂直边缘的边缘宽度可针对其倾斜度而分别从水平或垂直定向（指定方向）进行校正。图6A、6B说明针对与垂直线具有倾斜度的边界（且因此形成该边界的边缘）在水平方向上测得的边缘宽度的校正计算。图6C、6D说明针对与水平线具有倾斜度的边界（且因此形成该边界的边缘）在垂直方向上测得的边缘宽度的校正计算。可通过使在指定方向（例如垂直方向或水平方向）上测得的边缘宽度乘以因子cosφ来进行该校正，其中φ为与指定方向的倾斜角度。

举例来说，图7展示用以针对从垂直线倾斜的边缘的倾斜度而校正边缘宽度的过程的流程图。（对于水平边缘，在流程图中，用“行”代替“列”，且将“垂直”与“水平”互换。

从步骤502到步骤506，找出倾斜角度φ。对于每一垂直边缘，在步骤502处，定位垂直梯度量值达到峰值的列位置，且找出水平梯度x。在步骤504处，找出垂直梯度量值沿列位置且在两个分开的像素内达到峰值，且找出垂直梯度y。

在步骤506处，找出倾斜角度φ=tan^-1(y/x)。在步骤506处，可通过查找查找表来找出倾斜角度。尽管步骤502到506呈现一种找出倾斜角度的特定程序和方法，但可改为使用此项技术中已知的其它程序和方法。

最后，在步骤508处，通过与cos(φ)或与其近似表示相乘来按比例缩小边缘宽度，如所属领域的技术人员在实践中通常做的那样。

图7中展示的过程的第一修改是通过提供具有输入值x和y的各种组合的条目的查找表来代替步骤506以及步骤508的部分。对于输入值x和y的每一组合，查找表返回边缘宽度校正因子。由查找表输出的边缘宽度校正因子可为cos(tan^-1(y/x))的在20%以内（优选在5%以内）的近似表示。接着使边缘宽度乘以此校正因子，以产生经倾斜度校正的边缘宽度。

第二修改为计算垂直梯度y与水平梯度x之间的商y/x，以产生商q，接着使用q来输入到具有针对q的各种值的条目的查找表。对于q的每一值，查找表返回边缘宽度校正因子。边缘宽度校正因子可为cos(tan^-1(q))的在20%以内（优选在5%以内）的近似表示。

为了找出倾斜角度φ（或其近似表示，使得校正因子准确到在20%以内）且随后找出校正因子cos(φ)（或其近似表示），或为了直接找出校正因子而不找出倾斜角度φ（如在第一和第二修改中），可在步骤502到506中获得x和y的值，但可改为使用其它方法。

第三修改是对边缘中的多个像素中的每一者执行以下操作：（a）为像素找出水平梯度x和垂直梯度y两者，（b）为此像素找出q=y/x，以及（c）找出对应于q的校正因子，例如cos(tan^-1(q))或其到20%以内的近似表示。最后，通过对来自多个像素中的每一者的校正因子求平均来找出用于该边缘宽度的校正因子。平均值可为经加权平均值，例如其中具有较大水平梯度的像素被给予比具有较小水平梯度的另一像素大的权重的平均值。

沿这些方向或其它方向的其它修改是可能的。

筛选阈值

如果邻近边缘的峰梯度量值低于邻近的较宽边缘的峰梯度量值的预定分数，那么可完全阻止该等邻近边缘对聚焦信号作贡献，或使其贡献削弱。图9A、图9B和图9C说明正解决的问题。

图9A说明由各自宽度为2个像素的两个窄黑空间分离的三个垂直白条。中间白条的宽度为窄条2个像素。图9B展示水平越过图9A中的图像的针对尖锐图像和模糊图像中的每一者而描绘的图像信号。图9C描绘图9B的针对尖锐图像和模糊图像的索贝尔x梯度。在图9C中，如所预期，模糊图像的第一边缘（像素2到5）比尖锐图像宽，且最后边缘（像素13到15）也是如此。然而，两个最窄边缘（像素9和10，以及像素11和12）在两个图像中具有宽度二。在图9B中，像素9和10以及像素11和12处的对应斜率各自取两个像素以完成过渡。然而，模糊图像具有从较宽边缘到较窄边缘的峰梯度量值的显著下降，多达50%。另一方面，尖锐图像在较宽边缘与窄边缘之间改变少于10%。

邻近于具有相对正负号梯度的较宽边缘的较窄边缘的峰梯度量值的显著下降（例如20%或更大）提示模糊的图像未经良好聚焦，且因此，不应依赖较窄边缘作为模糊图像为尖锐的指示。

同样，只要具有交替梯度极性的互相邻近的边缘彼此非常接近，例如相隔不超过1个像素（“最小边缘间隙”），就不应依靠其来用于此指示，即使其边缘宽度较小。最小边缘间隙是依据像素的数目，例如1或2或之间。

此外，假定一个边缘可能因具有小于消除阈值的峰梯度而已被消除，具有相同梯度极性且隔开不超过最小边缘间隙的两倍加上sharp_edge_width(sharp_edge_width为经指派以标示尖锐边缘的边缘宽度的数字）的两个连续边缘可用作用于消除或降级来自两个相互邻近的边缘中的一者或两者的贡献的条件。任一。

边缘检测与宽度测量单元206可执行以下算法，以用于基于从较宽边缘建立的筛选阈值以及可开启和关闭的调制筛选旗标而消除紧密堆积的较窄边缘。

对于每一边缘，根据图10中所示的流程图的过程来确定将用于相对极性的紧接下一边缘的筛选阈值和筛选旗标。

在给定筛选阈值和筛选旗标的情况下，可取消边缘，除非以下条件中的一者为真：（a）对于此边缘，筛选旗标关闭，（b）边缘的峰梯度量值不小于用于此边缘的筛选阈值。可将条件（c）添加到条件（a）和（b），边缘宽度不小于sharp_edge_width+1，其中已为sharp_edge_width指派一数字以标示尖锐边缘的边缘宽度，且其中可改变“+1”以设定高于sharp_edge_width的边缘宽度的范围，在该范围内，如果边缘无法达到（a）和（b），那么消除该等边缘。对于图9A到图9C中所示的实例，sharp_edge_width可为2。图10是为每一边缘确定筛选阈值和筛选旗标的流程图。对于垂直边缘，假定沿行从左到右扫描，但这不是要求的。（对于水平边缘，假定沿列从上到下扫描，但这不是要求的。）为sharp_edge_width指派一数字，且其对于图9A到图9C所示的实例可为2。在步骤702处，在第一边缘处开始，在步骤720处，询问每一边缘其边缘宽度是否大于或等于一加sharp_edge_width，值一是用于此说明的最小边缘间隙值，但可使用不同的值，例如在0.5与2.0之间。如果是，那么该边缘为较宽边缘，且步骤706接着将具有相对极性的紧接下一边缘的筛选阈值设定为β乘以边缘的峰梯度量值，β为从0.3到0.7，优选为0.55，接着步骤708开启用于下一边缘的筛选旗标，接着进行到下一个边缘。如果否，那么该边缘不是较宽边缘，且步骤730接着检查距相同梯度极性的前一边缘的间距是否大于最小边缘间隙（或不同的预定数字）的两倍加上sharp_edge_width，且相对极性的最接近的前一边缘（如果存在）是否大于远离的最小边缘间隙。如果是，那么步骤710接着关闭用于下一边缘的筛选旗标。如果否，那么保持用于下一边缘的筛选旗标和筛选阈值，且进行到下一边缘。β可为预定分数，或其可为依据预定公式计算的分数，例如边缘宽度的函数。在后者情况下，β可从图像的一部分到另一部分不等。

替代实施例

像素网格的定向：

由聚焦信号产生器120输入的图像可具有位于相对于图像的矩形帧旋转45度的矩形网格（“像素网格”）中的像素。在此情况下，边缘检测操作和宽度测量操作的X方向和Y方向可同样旋转。

边缘锐度度量：

在以上描述中，边缘的图像的锐度是由从跨越该边缘的梯度序列所测量得到的边缘的宽度来表示的，其中该等梯度定向成跨越该边缘，存在依靠类似原理工作的替代方案。本质上，允许以此方式产生聚焦信号的原因在于，个别边缘贡献了与使图像数据按比例缩放（例如）20%无关或本质上无关（例如，在图像数据按比例缩小20%的情况下，改变不超过5%）的量（后文称为“边缘锐度度量”），从而与常规对比度检测方法相比，有助于使聚焦信号与图像的场景的照度或场景中的对象的反射率无关或很少相关。

在本发明的聚焦信号产生器120中，具有与图像数据按比例缩小20%无关或实质上无关的上述特性的任何边缘锐度度量也是从一梯度或经内插梯度到同一梯度值的另一梯度或经内插梯度测得的宽度的良好替代。

替代的边缘锐度度量的单位优选地不包含能量单位。基于以下两点来确定边缘锐度度量的单位：（a）一阶边缘检测算子对其运算的图像数据的每一样本具有能量单位，（b）样本之间的距离具有长度单位。基于点（a）及（b），梯度值的单位是能量单位除以长度单位。同样地，跨越该边缘或跨越该边缘的任一未分部分上的对比度具有能量单位。因此，对比度不是良好的边缘锐度度量，因为该单位显露出其受场景的照度和对象的反射率所影响。边缘的峰梯度也不是良好的边缘锐度度量，因为峰梯度的单位中具有能量单位，从而也指示其会对场景的照度的变化作出响应。另一方面，边缘的峰梯度除以边缘的对比度是良好的边缘锐度度量，因为其单位是长度单位的倒数。作为另一实例，梯度值超过峰梯度的某一预定分数的梯度的计数是良好的边缘锐度度量，因为该计数仅为以连续梯度之间的间距大小来量化的距离度量，因此具有长度单位。

此处应注意，在产生边缘锐度度量的过程中，可使用用以检测边缘的一阶边缘检测算子来产生梯度，或可使用不同的第一导数算子（即，梯度算子）来产生梯度。举例来说，虽然索贝尔算子（或甚至二阶边缘检测算子，例如拉普拉斯算子）可用以检测边缘，但其内核简单地为[-1,+1]及其转置（其简单地将图像数据的一个样本从梯度算子的定向上的下一样本减去）的罗伯特算子使所得梯度位于两个样本之间的正中。可独立于产生边缘锐度度量或下一部分中所述的形状度量中的任一者中所使用的一个或一个以上导数算子，用比一阶高阶的边缘检测算子来检测边缘。

换个角度来看，边缘锐度度量的单位应是长度单位的幂，例如，长度单位的平方、长度单位的倒数、长度单位本身或长度单位的平方根。

任一此类替代的边缘锐度度量均可替代聚焦信号产生器120中的边缘宽度。

为了对边缘的倾斜进行校正，应转换上文参考图6A到6D以及图7所述的校正因子（下文称为“宽度校正因子”），以采用同一幂。举例来说，如果边缘锐度度量为峰梯度除以对比度，即其单位是该度量长度单位的倒数，那么用于边缘锐度度量的适当的校正因子是上文参考图6A到6D以及图7所述的校正因子的倒数。作为另一实例，如果边缘锐度度量的单位是长度单位的平方，那么用于边缘锐度度量的倾斜校正因子应视为宽度校正因子的平方。

下文参考图24A到图24D中的图式来描述替代的边缘锐度度量的若干实例。

图24C说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的梯度序列，以及所绘制的梯度序列下的阴影区的面积A₃。在此实例中，该区被限定在两个梯度水平L₁与L₂之间，其可相对于梯度序列的经内插峰梯度值（或者，峰梯度值）而定义为（例如）经内插峰梯度值的预定部分。阴影区具有经内插梯度的四个隅角。面积除以经内插峰梯度值（或者，峰梯度值）是良好的边缘锐度度量，因为其具有长度单位。注意，该区的替代的限定是可能的。举例来说，该区可由梯度序列而非梯度水平L₁来从上进行定界。

图24D说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的图像数据的样本的梯度序列、一重心3401（即，矩心）以及梯度（具有梯度值g₂、g₃、g₄、g₅及g₆）距重心的距离u₂、u₃、u₄、u₅及u₆。良好的边缘锐度度量为重心周围的梯度的第k阶中心矩，即梯度距重心的距离的经加权平均值，其中权重为相应梯度的量值，k为偶整数。举例来说，k可为2，其使边缘锐度度量为方差，仿佛梯度序列是概率分布那样。在此实例中，边缘锐度度量的单位是长度单位的平方。更一般地说，边缘锐度度量可以是梯度序列的多个梯度距相对于该多个梯度而预定义的位置的距离的函数，该序列为跨越该边缘的阵列。不同于重心，该预定义位置可以是梯度序列的经内插峰位置。可根据预定义准则来选择边缘梯度的适当子集来参与此计算。举例来说，可要求该等梯度的梯度值至少是该峰梯度或该梯度序列的经内插峰的梯度值的预定分数。

图24A说明对照于作为连续第二导数之间的间距的倍数的距离而绘制的跨越一边缘的图像数据的样本序列的第二导数序列，其展示（a）一对正峰与负峰之间的宽度W_s，（b）具有给定量值h₁的一对最外的经内插第二导数之间的宽度W₁，（c）具有给定量值h₁的一对内部的经内插第二导数之间的宽度W₂，以及（d）从（该对正峰与负峰之间的）过零到具有给定量值h₁的最外的经内插第二导数的距离D₁。可将该等三个宽度W_s、W₁和W₂中的任一者用作边缘锐度度量。

此外，在图24A的实例中，边缘锐度度量可以是该等第二导数从（该对正峰与负峰之间，且可经内插）该过零的距离的经加权的总和，其中的权重为相应的第二导数的量值。更一般地说，边缘锐度度量可以是跨过该边缘的多个第二导数距相对于该等多个第二导数而预定义的位置的距离的函数。过零位置之外，重心也是该预定义位置的良好候选者，以权重为该等第二导数的量值。该预定义位置的又一良好候选者可为该对正梯度与负梯度之间的中点。

图24B说明来自对照于作为连续像素之间的间距的倍数的距离而绘制的边缘的像素的图像数据的样本序列，其展示（a）边缘的两端处的两个样本之间的宽度W_edge和对比度C_edge，（b）具有样本值的最陡变化的一对样本之间的峰梯度值g_peak（由罗伯特算子产生），（c）边缘的具有对比度C₁和宽度W_part1的最窄未分部分，以及（d）边缘的具有对比度C₂和宽度W_part2的最窄未分部分。如前面所提到，峰梯度值g_peak除以对比度C_edge是一良好的边缘锐度度量。宽度W_edge是另一个良好的边缘锐度度量。宽度W_part1和W_part2也是良好的替代。可将对比度C₁和/或C₂定义为边缘对比度C_edge的预定部分。或者，可将其中的任一者定义为边缘的峰梯度（例如，峰梯度g_peak）的预定倍数。此处还应注意，“最窄未分部分”可由图像数据的经内插样本（例如，在图24B中以正方形展示）或通过下舍入或上舍入到最近的像素计数来定界。

限定边缘

限定边缘的以下方法可在边缘检测与宽度测量单元206中执行，且在下文参考图27到图35进行描述。

在此方法中，将梯度轮廓与参考梯度序列进行比较。参考梯度中的每一者具有一梯度值以及到该序列中的下一参考梯度的间距。该等参考梯度是根据它们之间的预定义关系而产生。举例来说，该序列可从查找表中的一序列而产生且/或存储为查找表中的一序列。作为另一实例，可通过数学公式来定义该序列。

图27说明与由分别在位置2、3、4和5处的梯度3502、3504、3506、3508（标记“x”）组成的梯度轮廓一起绘制的参考梯度3402、3404、3406、3406的序列。参考梯度3402具有到下一参考梯度3404的间距D1。参考梯度3404具有到下一参考梯度3406的间距D2。参考梯度3406具有到下一参考梯度3408的间距D3。参考梯度3402、3404、3406、3406落在钟形参考梯度曲线3400（虚线曲线）上，钟形参考梯度曲线3400在位置3与4之间具有参考峰位置3401。参考梯度曲线3400表示在给定参考梯度与参考峰位置3401的距离的情况下参考梯度应采用何种值。

可经由数学公式来定义参考梯度曲线3402。该公式可针对参考梯度曲线3402的不同区段而使用不同的数学表达式。举例来说，其可使用双曲线公式来定义从参考梯度曲线3402的参考峰到从参考峰以下50%的范围，且在曲线的每一侧上使用三次多项式来定义从参考峰以下50%进一步向下的范围。优选的是，可通过一个或一个以上参数来将数学公式参数化（或相关联），举例来说，参考宽度、边缘倾斜角度（其可用于与边缘的倾斜角度匹配）、峰梯度水平、（相机上的变焦镜头的）变焦因子、（相机的镜头的）光圈大小等中的任何一者或一者以上。定义公式的系数可被存储在查找表中（例如，非易失性存储器中，或被加载到读取-可写入存储器中，例如来自非易失性存储器的SRAM或DRAM），且通过参数值的各种组合来编制索引（即，加密）。

替代地，可经由查找表和/或在查找表中定义参考梯度。该查找表可指定一个以上序列。可用每一参考梯度的梯度值以及到序列中的下一参考梯度值的间距在查找表中指定每一序列。如果间距在整个序列中是恒定的，那么可针对整个序列指定仅一次间距。如果间距针对所有序列的整个查找表是恒定的，那么可针对查找表指定仅一次间距。或者，间距可采用默认值，例如1.0。可针对序列指定参考峰具有一峰梯度水平以及与序列中的参考梯度的一相对位置（即，间距以及其是在前面或后面）。

可从直接从作为预定义参考梯度产生器的源（例如，查找表或数学公式）产生的参考梯度来内插以进一步的参考梯度。将参考梯度内插到梯度轮廓中具有较陡的斜度的地方可较有用。举例来说，在图27中，从参考梯度将经内插参考梯度3412（标记“+”）内插在梯度3504所在的位置3处。在图28到图35中同样地将经内插参考梯度标记为“+”。

另一方面，可从梯度轮廓将梯度内插到参考梯度相对于梯度轮廓定位的地方。将经内插梯度内插到参考梯度所在的地方可能较有用。举例来说，从梯度3502、3504、3506将经内插梯度3514（标记“□”）内插成接近参考梯度3402。在图28到图35中同样地将经内插梯度标记为“□”。

查找表可存储多个序列，每一序列用于参数值的不同组合。可通过一个或一个以上参数来将每一序列参数化（或相关联），举例来说，参考宽度、边缘倾斜角度、峰梯度水平、（相机上的变焦镜头的）变焦因子、（相机的镜头的）光圈大小等中的任何一者或一者以上。举例来说，查找表中所存储的序列可对应于2倍的变焦因子、F3.5的光圈、从峰向下50%处的4.5的宽度、30度的边缘倾斜角度，而另一序列可对应于0.5倍的变焦因子、F2.8的光圈、从峰向下50%处的3.7的宽度，以及0度的边缘倾斜角度。

可将查找表存储在存储器中，该存储器可为RAM（SRAM或DRAM）或非易失性存储器，例如快闪存储器或仅为一组寄存器。可将查找表存储在位于聚焦信号产生器之外但位于图像捕捉系统102内的非易失性存储器上。

可从存储在查找表中的序列提取较短的序列，使得所提取的序列由存储在查找表中的序列的参考梯度的适当子集组成。可一起提取所提取的参考梯度之间的间距，以及其它数据，例如所提取的参考梯度相对于参考峰的相对位置。举例来说，存储在查找表中的30个参考梯度的序列可具有连续的参考梯度之间的均匀间距0.2，且可具有与序列中的第16个参考梯度重合的参考峰，而一提取会提取第7个，第13个和第22个参考梯度以形成由这三个参考梯度组成的较短的序列。在此实例的所提取序列中，从第一参考梯度到第二参考梯度的间距是1.2，从第二参考梯度到第三参考梯度的间距是1.9，且注意到参考峰位于第二参考梯度与第三参考梯度之间，且与第二参考梯度的间距为0.6。

参考梯度的序列可曲线拟合到梯度轮廓或其部分。举例来说，序列可从峰梯度且向下50%拟合到梯度轮廓，如图30展示。作为另一实例，序列可例如从峰梯度到从峰梯度向下70%拟合到梯度轮廓的仅一侧，如图31展示。优选的是，至少一个参考梯度具有高于峰梯度（或者，经内插峰梯度）的梯度水平的70%的梯度值。更优选的是，该梯度值高于85%。而且，优选的是，至少一个参考梯度具有低于峰梯度（或者，经内插峰梯度）70%且更优选低于50%的梯度值。所有参考梯度值可乘以缩放因子以改善曲线拟合。所拟合的所有梯度值可乘以缩放因子以改善曲线拟合。

所有参考梯度可一起相对于梯度轮廓在位置上移位，从而实现更佳的曲线拟合。举例来说，梯度轮廓可具有第一、第二、第三和第四梯度，且可具有从一个梯度到下一梯度的均匀间距1.0，而由第一、第二、第三和第四参考梯度组成且具有从一个参考梯度到下一参考梯度的均匀间距1.0的参考梯度序列可相对于梯度轮廓而定位，使得第一参考梯度位于第一梯度与第二梯度之间，且与第一梯度的间距为0.2，第二参考梯度位于第二梯度与第三梯度之间，且与第二梯度的间距为0.2，以此类推，如图32中展示，或者，该序列可定位成使得第一参考梯度与第一梯度的间距为0.5，第二参考梯度与第二梯度的间距为0.5，以此类推，如图33中展示。后者导致更佳的曲线拟合，其中曲线拟合准则指定更佳的曲线拟合减小了连结最近对的梯度/参考梯度的线段（粗实线）的总长度。可使用用来找出更佳的曲线拟合的替代准则。举例来说，一替代方案是内插参考梯度以与梯度配对（或反之亦然），且取梯度（参考梯度）与配对的参考梯度（配对的梯度）之间的差的平方和。每一对内的梯度和参考梯度不一定共享确切相同的位置，而是优选地间隔开0.25或更小，且更优选地为0.1或更小。可使用其它替代方案。

如果参考峰位置是与参考梯度的序列一起提供的，那么可通过以预定方式使参考峰对准于从梯度轮廓确定的位置而使该序列对准于梯度轮廓。存在用来确定此位置的一种以上方式。在一种方式中，此位置可为两个梯度/经内插梯度之间的中点，一者以预定梯度水平位于梯度轮廓的两侧中的每一者上，该梯度水平可被指定为从经内插峰的峰梯度的梯度水平向下预定百分比，如图34中展示。在图34中，使参考峰位置3401与在梯度3802与经内插梯度3824之间的中点重合。在另一方式中，可使参考峰对准于经内插峰位置，如图35展示。更一般来说或者替代地，可以一种方式使序列对准于梯度轮廓，使得参考峰位于一对梯度之间，例如图34中的在中点（或者，经内插峰）侧面的梯度3804、3806。

可根据预定义方式将梯度轮廓与序列进行比较以产生比较结果，该方式可与曲线拟合的准则相同或不相同或相似或不相似。可将经内插梯度/参考梯度包括在比较中，尤其在这样做可提高比较的精度和/或准确度的情况下。一种比较方法是评估梯度轮廓的宽度如何与序列的参考宽度相关。可在梯度水平下测量两个宽度，该梯度水平可被预定为从峰梯度或经内插峰向下预定百分比。举例来说，在图27中，参考宽度W_Ref和梯度轮廓宽度W1（在经内插梯度3512与梯度3508之间测得）两者均涉及同一梯度水平（水平虚线）。或者，其可在不同梯度水平下测得。举例来说，可预期参考宽度为（理想上）梯度轮廓的宽度的70%，其中参考宽度对应于从参考梯度曲线的参考峰向下30%处的参考梯度曲线的宽度，而在从梯度轮廓的峰梯度或经内插峰向下50%处测得梯度轮廓的宽度。可由序列产生器连同序列一起提供参考宽度。或者，参考宽度可从所提供的序列测得。在此方法中，该比较可基于这两个宽度在预定准则下如何类似或者如何不相似来报告是/否结果，所述预定准则例如为对照于宽度中的一者的预定百分比进行的宽度之间的差的比较。或者，该比较可产生一参数，该参数报告一等级，该等级的范围为从表示高度相似的水平到表示高度不相似的水平，以及用来表示这两个水平之间的不相似/相似的中间水平的其它水平。

用来比较梯度轮廓和参考序列的另一方法是成对地在个别梯度与参考梯度之间进行比较。如图27中展示，梯度/经内插梯度3514、3504、3506、3508分别与参考梯度/经内插参考梯度3402、3412、3406、3408成对。评估前者与后者之间的算术差，且将基于此类比较中的一者或一者以上的最终比较结果（例如，算术差）以二进制、是或否的方式进行报告，或者以多步骤、渐变的方式进行报告，使得报告相似或不相似的不同等级。举例来说，在图28和图29中，在每一对（五对当中）梯度和参考梯度（任一者或两者可被内插）旁边，放置“I”标记来指示它们的梯度水平相隔多大。每一对内的梯度和参考梯度不需要一定共享确切相同的位置，但优选地在彼此的0.25以内，且更优选在彼此的0.1以内。该比较可基于梯度水平的五个差当中的最大一者来报告二进制结果或渐变的结果。或者，该比较可基于五个差的平方上的和的平方根来报告。存在所属领域的技术人员可想到的用来定量地表示五个梯度与参考梯度的偏差的其它可能的方式。为了报告二进制结果，从这些差中的一者或一者以上而产生的例如上文所描述的渐变的结果可与预定阈值进行比较。

可选择一个或一个以上序列来曲线拟合梯度轮廓。如果选择一个以上序列，那么可将最佳地拟合梯度轮廓的序列选择为具有其所报告的比较结果。可基于与梯度轮廓相关联的一个或一个以上参数来选择序列，例如在从峰梯度或经内插峰向下预定百分比处测得的梯度轮廓的宽度，或在从峰梯度或经内插峰向下预定百分比处从经内插峰位置到梯度/经内插梯度测得的梯度轮廓的一侧宽度，或与梯度轮廓相关联或引起梯度轮廓的边缘的倾斜角度，或梯度轮廓下方的区域（向下到从峰/经内插峰向下某一百分比），或经内插峰位置与峰梯度的间距，或变焦镜头变焦因子，或镜头光圈的大小等。

如果比较结果指示存在超过阈值的不相似度，那么聚焦信号产生器可完全不再强调或拒绝与梯度轮廓相关联的边缘及其边缘宽度参与聚焦信号或边缘计数或聚焦控制的计算。

如图36中的实施例中展示，参数提取器接收图像的梯度且将在梯度当中从梯度轮廓提取的一个或一个以上参数输出到序列选择器，该序列选择器将一个或一个以上参数转换为地址。这些地址由序列产生器接收，序列产生器作为响应将定义对应的参考梯度曲线的一个或一个以上参考梯度序列或一个或一个以上系列的参数输出到评估单元。评估单元执行曲线拟合和比较以产生比较结果。例如边缘倾斜角度和边缘宽度等所提取的参数被输入到评估单元。评估单元包括算术电路以执行曲线拟合和/或比较。该评估单元可进一步包括耦合到该算术电路的存储器。这些块是边缘检测与宽度测量单元206的一部分。可在存储在图像捕捉系统102中的非易失性存储器中的计算机指令的控制下执行序列/曲线产生、曲线拟合和比较中的一者或一者以上。可在边缘检测与宽度测量单元206中执行以上方法。

注意，在本发明中，当来自边缘的量（例如，梯度水平）除以（默认，除非另有指定）边缘的峰梯度值或经内插峰的梯度值时，可称该量被规格化。举例来说，在图23B中，峰梯度3212具有正好为1的规格化值，而在图24C中，经内插峰3270不同于峰梯度3212，且图24C中所示的梯度相对于经内插峰3270而不是峰梯度3212被规格化。

长度滤波器

下文描述长度滤波器212的功能。广义上说，长度滤波器212形成对各自连接到类似定向的一个或一个以上边缘的边缘的偏好。群组内类似定向且相互连接的边缘群组（“级联边缘”）与不接触类似定向的任何其它边缘的隔离边缘相比，较不可能由噪声引起。因此，级联在一起的具有类似定向的边缘越多，其由噪声引起的概率就越小。该群组由噪声引起的概率随着群组内的边缘的数目增加而以指数方式下降，且远快于线性方式。可利用此性质来舍弃噪声，尤其是在光线暗淡或短曝光情形下，其中信噪比较弱，例如小于10，在图像内或在所关注区内。可在任何合理方法中实施偏好以表达此偏好。下文所描述的若干方式仅为实例。

第一种方法是消除属于具有小于级联长度阈值的长度的垂直/水平级联边缘的边缘。当所关注区较暗淡时，级联长度阈值可较大。举例来说，级联长度阈值可开始小至2，但随着所关注区内的信噪比降到5而增加到8。级联长度阈值可由处理器112、112'、112"（例如通过图3所示的“长度命令”信号）作为信号132的一部分而提供。或者，可根据聚焦信号产生器上的公式来计算阈值。

第二种方法是在长度滤波器212中针对每一边缘提供一长度权重，且在聚焦信号计算器210中应用该长度权重来计算聚焦信号。与作为较短级联边缘的一部分的边缘相比，作为较长级联边缘的一部分的边缘接收较大的权重。举例来说，长度权重可为级联边缘的长度的平方。因此，可使每一边缘对聚焦信号的贡献乘以因子A/B，之后对所有贡献进行求和以形成聚焦信号，其中B是进入聚焦信号计算的所有边缘的长度权重的总和，且A是边缘的长度权重。同样，可作为信号134的一部分输出的边缘宽度直方图可具有作为较长级联边缘的成员的边缘，因此，优选的是，更多地贡献对应于其相应边缘宽度且因此为优选的区间，而不是所有边缘均贡献相同的量，例如+1。因此，举例来说，每一边缘可贡献A/C，其中C为该边缘上的A的平均值。类似地，窄边缘计数可具有作为贡献较多的较长级联边缘的成员的边缘。因此，举例来说，来自每一边缘的贡献可乘以A/D，其中D是在窄边缘计数中计数的边缘之间的A的平均值。

N个垂直（水平）边缘的群组（其中，顶部（最左）和底部（最右）边缘除外），每一边缘接触两个其它垂直（水平）边缘，一个其它边缘在边缘本身上方（左侧），且在该边缘本身下方（右侧）另一其它边缘为长度为N的垂直（水平）级联边缘。顶部（最左）边缘仅需要触碰在其本身下方（右侧）的一个边缘。底部（最右）边缘仅需要触碰其上方（左侧）的一个边缘。

图8说明垂直级联边缘及其长度。在图8中，单元R2C3和R2C4形成第一垂直边缘，单元R3C3、R3C4以及R3C5一起形成第二垂直边缘，且单元R4C4和R4C5一起形成第三垂直边缘。第一和第三垂直边缘各自仅触碰一个其它垂直边缘，而第二垂直边缘触碰两个其它垂直边缘。第一、第二和第三垂直边缘一起形成具有长度3的垂直级联边缘。

在垂直（水平）级联边缘具有两个或两个以上分支（即，在行（列）中具有两个边缘）的情形（未图示）中，可将长度定义为级联边缘内的边缘的总数。或者，可将长度定义为从其中的最顶部（最左）边缘到其中的最底部（最右）边缘加一的垂直（水平）距离。

除以上提议之外，有其它可能的方法来定义级联长度。举例来说，级联边缘的长度的定义应具有以下性质：长度与级联边缘内至少达三个的成员边缘的数目成比例。这将与先前陈述的推论一致，该推论为较多边缘通过彼此接触而相互连接将以指数方式降低由噪声引起的级联边缘的概率，且因此长度应表达与级联边缘内达合理数目的成员边缘的数目的比例性，该合理数目充分增强级联边缘中超过针对单个成员的置信度的置信度。长度滤波器212可取消强调或消除且因此（一般地说）区别对待级联长度为一的边缘。长度滤波器212可区别对待级联长度为二的边缘。长度滤波器212可区别对待级联长度为三的边缘，以进一步降低噪声的影响。长度滤波器212可根据来自处理器的命令进行这些动作中的任一者。

尽管图3中展示为紧跟在边缘检测与宽度测量单元206之后，但其它布置是可能的。举例来说，可在聚焦信号计算器210之前插入长度滤波器212，其中由长度滤波器212处理的边缘是穿过宽度滤波器209的边缘，其取决于“细化”信号。

在聚焦信号产生器的替代实施例中，可移除细化开关220，使得聚焦信号计算单元210接收未由宽度滤波器209滤波的第一组数据以及经滤波的第二组数据，且针对每一者计算不同聚焦信号，针对前者计算毛聚焦信号，针对后者计算细聚焦信号，且将上述两种信号输出到处理器112、112'。

宽度滤波器

接下来参看图3以理解宽度滤波器209的操作。图11描绘边缘宽度的直方图，即边缘计数对边缘宽度的曲线图。在边缘宽度2处，即前面提到的sharp_edge_width，存在峰，其指示图像中尖锐边缘的存在。然而，在边缘宽度4和5处，存在峰，其指示可能因对应的成像对象在焦点外、与产生尖锐边缘的对象相比在远离聚焦透镜的不同距离处而模糊的边缘。为了计算聚焦信号，可使用宽度滤波器209来不再强调宽度在预定范围（“窄边缘范围”）外的边缘。宽度滤波器209可针对在窄边缘范围外的边缘宽度产生较小的权重，以供聚焦信号计算中使用。举例来说，可为边缘宽度指派权重1.0，而为在上限840右侧大于+1的边缘宽度指派权重0，且为之间的边缘宽度指派在0与1.0之间的权重，随边缘宽度而单调下降。或者，宽度滤波器209可防止此些边缘全部进入聚焦信号计算。适当的上限830和下限840取决于若干因素，包括像素阵列108中的串扰、用以产生由聚焦信号产生器120接收的图像的缺失色彩的内插方法，以及用于边缘检测与宽度测量单元206中所使用的低通滤波器中的滤波器系数。可通过捕捉各种尖锐程度的图像并检查边缘宽度直方图来为图像拾取设备102、102'确定适当的上限830和下限840以及参数sharp_edge_width。举例来说，如果尖锐图像在边缘宽度2处具有峰，那么适当的下限和上限可分别为1.5和3，且可将sharp_edge_width设定为2.0。可如上确定下限和上限以及sharp_edge_width，且通过处理器112、112"提供给聚焦信号产生器120、120'、120"。当“细化命令”为ON时，如此计算的细聚焦信号不再强调在窄边缘范围外的边缘宽度。

另外，宽度滤波器209可计算边缘宽度落在窄边缘范围内的边缘的总计数，且作为输出信号134的一部分而输出。可将窄边缘计数输入到聚焦系统控制器（处理器112）且由聚焦系统控制器（处理器112）使用，以检测尖锐图像的存在且/或用于起始跟踪。

聚焦信号

接下来参看图3的聚焦信号计算器210，聚焦信号计算器210接收边缘宽度且输出聚焦信号。可将聚焦信号计算为所有边缘宽度的经加权平均值，其中权重为针对每一边缘宽度的边缘计数，即聚焦信号=Σw_ie_i/Σw_i，其中e_i为边缘宽度，w_i为权重，其中此处w_i=c_i，c_i为边缘宽度e_i处的边缘计数，i为边缘宽度的直方图的区间数目。或者，每一边缘宽度处的权重可为针对边缘宽度的边缘计数乘以边缘宽度本身，即w_i=c_ie_i。另外，来自宽度滤波器209的按照权重而表达的偏好可进一步乘以每一边缘宽度。举例来说，对于宽度滤波器209所产生的权重Ω_i，ΣΩ_i=1，可将聚焦信号计算为Σ　Ω_iw_ie_i/ΣΩ_iw_i。如果控制信号“细化”为ON，且“排除”为OFF，那么聚焦信号将为非常靠近图11中所示的实例的尖锐边缘宽度2.0的值，从而指示在将产生在2.0与3.0之间的边缘宽度的在聚焦距离范围内的对象细节之中，大多数对象细节实际上处于尖锐聚焦。如果控制信号“细化”为OFF，且“排除”为OFF，那么聚焦信号可为靠近5.0的值，从而指示存在在焦点外的图像的大部分细节。接通细化开关220允许聚焦信号较多地响应略微模糊的对象，而较少地响应完全模糊的对象。当细化开关220为ON时，将把聚焦信号称为细聚焦信号，而当细化开关220为OFF时，将把聚焦信号称为毛聚焦信号。如前面所提到，可以若干方式中的一种方式将长度滤波器212所表达的强调并入到聚焦信号中，例如消除不再强调的边缘使其不进入聚焦信号计算，或降低边缘对对应边缘宽度区间的计数e_i的贡献的权重。

图15简述细聚焦信号对对象处于尖锐聚焦的地方附近的聚焦位置的调整的响应。细聚焦信号达到最小值，近似在sharp_edge_width处，其中聚焦位置使图像达到尖锐聚焦，且否则便增加。细聚焦信号可用于跟踪已已聚焦或非常接近于聚焦的对象。对于移动对象，细聚焦信号允许聚焦控制系统使对象保持尖锐聚焦，即使聚焦距离不断地变化也是如此。细聚焦信号还可用于获取尚未处于尖锐聚焦但足够靠近的对象的尖锐聚焦（“获取”），使得该对象产生宽度落在窄边缘范围内的边缘。由于边缘宽度直方图在对应于远离sharp_edge_width的对象的边缘宽度处展现峰，从而导致细聚焦信号大于sharp_edge_width，因此聚焦控制系统可通过以下动作来响应：调整聚焦位置以使细聚焦信号值朝向sharp_edge_width，从而因边缘宽度值处的对象等于sharp_edge_width而使边缘宽度的峰居中。

基本使用

图12到图16说明可如何使用窄边缘计数、毛聚焦信号和细聚焦信号来执行聚焦控制以实现尖锐图像。

图12说明在不同的聚焦距离处具有3个对象群组的户外场景：在前景中的“人”、在背景中的“山脉、太阳和地平线”，以及在其之间的“车”。

图13是当聚焦透镜104的聚焦位置从远到近地扫掠过图12中所说明的场景时，对照时间而描绘的窄边缘计数的说明。当聚焦位置使对象达到像素阵列108上的尖锐图像时，窄边缘计数到达峰。因此，窄边缘计数曲线展现3个峰，在扫掠期间，“山脉、太阳和地平线”、“汽车”和“人”以此次序各一个峰。

图14展示对照时间而描绘的毛聚焦信号。当聚焦位置接近窄边缘计数达到峰的3个聚焦位置中的每一者时，毛聚焦信号展现最小值。然而，在每一最小值处，毛聚焦信号并不处于尖锐边缘宽度水平，其在此实例中为2.0，因为在焦点外的其它对象所贡献的边缘宽度较大。

图15说明对照在图12的场景中的“汽车”的尖锐聚焦位置附近的聚焦位置而描绘的细聚焦信号。细聚焦信号本质上实现尖锐边缘宽度，其在此实例中为2，尽管存在模糊对象（“人”和“山脉、太阳和地平线”）。再次参看图11，其中宽度4和5处的两个峰由所述两个模糊对象群组贡献，这可理解为宽度滤波器324已减小权重或完全消除来自在上限840右侧的边缘宽度的贡献。

聚焦控制系统可在搜索模式中使用毛聚焦信号来搜索最近的尖锐聚焦位置。聚焦控制系统可将聚焦位置移离当前聚焦位置，以确定毛聚焦信号是增加还是减小。举例来说，如果当聚焦位置向内（向外）移动时，毛聚焦信号增加（减小），那么存在离当前聚焦位置较远的尖锐聚焦位置。处理器112、112'、112"可接着提供聚焦驱动信号，以在朝向邻近的尖锐聚焦位置的方向上移动聚焦透镜104。

聚焦控制系统可使用细聚焦信号来跟踪已经处于尖锐聚焦的对象，以使对应的图像维持尖锐（因此“跟踪模式”），而不管场景的变化、对象的移动或图像拾取设备的移动。当对象处于尖锐聚焦时，细聚焦信号电平是稳定的，而不管此些变化。因此，细聚焦信号的变化暗示对象距图像拾取设备的聚焦距离的变化。通过将聚焦控制系统“锁定”到最小值附近的给定细聚焦信号电平，例如在此实例中介于2.0与2.5之间，明确地说2.1，细聚焦信号电平的任何移位会立即告知处理器112、112'、112"对象的聚焦距离的变化。处理器112、112'、112"可接着确定方向，且致使聚焦透镜104移动以使细聚焦信号电平回到“锁定”电平。因此，图像拾取设备102、103、103'、103"能够跟踪移动对象。

聚焦控制系统（例如在处理器112、112'、112"中的算法中实施）可使用窄边缘计数来触发从搜索模式到跟踪模式的改变。在跟踪模式下，聚焦控制系统使用细聚焦信号来“锁定”对象。在聚焦位置充分靠近对象的尖锐聚焦位置之前，聚焦控制系统可使用毛聚焦信号来识别移动方向并调节透镜的移动速度。当对象进入尖锐聚焦时，窄边缘计数急剧地达到峰。在检测到窄边缘计数的急剧升高或达峰或两者后，处理器112、112'、112"可即刻切换到跟踪模式中，且使用细聚焦信号来进行聚焦位置控制。可将阈值（每一不同尖锐聚焦位置可不同）指派给从端到端聚焦位置“扫描”找到的每一对象群组，且随后当窄边缘计数超过此阈值时，检测对应的对象群组。对于静止场景，例如对于静态图像拍摄，端到端聚焦位置扫描可返回最大计数列表，窄边缘计数的每一达峰具有一个最大计数。可（例如）通过取最大计数的50％而从最大计数列表产生阈值列表。

图16说明图像拾取设备102，其具有显示器114、包括按钮的输入装置107，以及在显示器114中加亮的选择标记1920。用户可使用输入装置107来创建、定形和操纵选择标记1920。尽管此实例中展示为包括按钮，但输入装置107可包括上覆于显示器114上的触摸屏，以检测显示器114上的触摸或敲击位置。输入装置107和处理器112、112'、112"或用于输入装置107的单独的专用控制器（未图示）可确定选择区。可经由总线132（或在聚焦信号产生器120是处理器112的一部分的情况下，在处理器112内部）将用于描述选择区的参数发射到聚焦信号产生器120、120'、120"。作为响应，聚焦信号产生器120可将聚焦信号计算或窄边缘计数或两者限于由所述参数描述的选择区内的边缘，或不再强调选择区外的边缘。这样做可不再强调来自聚焦信号的非所要对象，且接着甚至毛聚焦信号也将展现出单个最小值和在尖锐边缘宽度的1.0或以下内的最小电平。

替代实施例

图17展示聚焦信号产生器120'的替代实施例。聚焦信号产生器120'输出边缘和边缘宽度的统计。在控制器120'输出的边缘宽度统计之中可为以下各项中的一者或一者以上：边缘宽度直方图，其包括不同边缘宽度下的边缘计数；其中边缘宽度计数达到最大值的边缘宽度；一组系数，其代表估计不同边缘宽度下的边缘计数的样条函数；以及可代表边缘宽度的函数的任何数据。普查单元240可接收在具有聚焦信号产生器120'的其它单元中的一者或一者以上中计算的数据以计算边缘宽度的统计。一般来说，聚焦信号产生器120'可输出具有边缘宽度的分布的指示的信号。

参看图18，因此在信号134中向替代自动聚焦图像拾取设备102'中的处理器112'的替代实施例提供的边缘宽度统计可由处理器112'用来根据上文所论述的方法或其等效物来计算毛和/或细聚焦信号以及窄边缘计数。另外，可将在聚焦信号产生器120'中计算的任何数据作为输出信号134的一部分输出到处理器112'。

除包括于图1的处理器112中的功能之外，处理器112'可在内部产生聚焦信号和/或窄边缘计数。

像素阵列108、A/D转换器110、色彩内插器148和产生器120'可驻存在封装142内，一起构成与处理器112'分开的图像传感器150'。

辅助像素阵列

图19展示自动聚焦图像拾取系统103的替代实施例。除包括于系统102中的元件之外，系统103可包括部分反射镜2850、全反射镜2852、光学低通滤波器2840、主像素阵列2808以及主A/D转换器2810。部分反射镜2850可将传入光束分裂成第一分光束和第二分光束，一者被透射，且另一者被反射。第一分光束在最终到达主像素阵列2808之前可进一步穿过光学低通滤波器2840，其检测第一分光束并将其转换为模拟信号。第二分光束在最终到达辅助像素阵列108"之前可由全反射镜2852反射，辅助像素阵列108"对应于图1所示的系统102中的像素阵列108。第一光束与第二光束的光强度的比率可为1比1或大于1比1。举例来说，比率可为4比1。

主像素阵列2808可由彩色镶嵌图案（例如拜耳图案）的彩色滤光片阵列覆盖。光学低通滤波器2808防止聚焦在像素阵列2808上的最小光点过小而导致混叠。在镶嵌图案的彩色滤光片覆盖像素阵列2808的地方，混叠可在色彩内插之后引起色彩摩尔纹假象。举例来说，通过使用光学低通滤波器，包围主像素阵列2808上的光点的可见光功率的84％的圆的最小直径（“最小主直径”）可保持大于一又二分之一像素宽度，但小于两个像素宽度。举例来说，如果主像素阵列2808具有4.5um的像素宽度，而最小直径为2.0um，而无光学低通滤波，那么可选择光学低通滤波器2840以使光点的直径为6.7um或更大。

辅助像素阵列108"可包括一个或一个以上光电检测器阵列。所述阵列中的每一者可由或可不由彩色镶嵌图案的彩色滤光片阵列覆盖。辅助像素阵列108"中的阵列在模拟信号中输出图像，所述模拟信号由A/D转换器110转换成数字信号130。将图像发送到聚焦信号产生器120。色彩内插器148可产生从由彩色滤光片覆盖的像素产生的图像的缺失色彩。如果辅助像素阵列108"包括多个光电检测器阵列，那么每一阵列可捕捉对应于由主像素阵列2808捕捉到的图像的一部分的子图像。所述多个阵列可物理上分开一百个以上像素宽度，且可共享或可不共享半导体衬底。在辅助像素阵列108"内的像素阵列不共享半导体衬底的情况下，所述像素阵列可一起容纳在一封装（未图示）中。

主A/D转换器2810将来自主像素阵列2808的模拟信号转换成数字主图像数据信号2830，其被发送到处理器112，其中在主像素阵列2808上捕捉到的图像可接受图像处理，例如色彩内插、色彩校正以及图像压缩/解压缩，且最后存储在存储器卡116中。

辅助像素阵列108"中的光电检测器阵列可具有小于主像素阵列2808的像素宽度（“主像素宽度”）的像素宽度（“辅助像素宽度”）。辅助像素宽度可小至主像素宽度的一半。如果辅助像素由彩色滤光片覆盖，且在无光学低通滤波的情况下，辅助像素宽度小于可见光的最小光点的1.3倍，那么可在辅助阵列108"前面插入第二光学低通滤波器，以使辅助像素阵列108"上的最小直径（“最小辅助直径”）增加到在1.3倍到2倍大之间，但仍小于最小主直径，优选为1.5。辅助图像中的轻微摩尔纹不成问题，因为辅助图像并不作为最终捕捉图像向用户呈现。

图22说明针对来自主像素阵列2808的主图像（实曲线）和来自辅助像素阵列108"的辅助图像（虚曲线），边缘宽度可如何关于尖锐聚焦位置而变化。正当主图像到达所定标的尖锐边缘宽度2时，辅助图像给出较尖锐的斜率。准许辅助图像达到低于所定标的尖锐边缘宽度，因为因混叠而导致的摩尔纹在辅助像素中并不那么关键，因为辅助图像并不作为最终图像向用户呈现。这有助于使尖锐边缘宽度下方和上方的斜率尖锐。较尖锐的斜率也由小于主像素宽度的辅助像素宽度促进。

图22中的阴影区指示在其内控制聚焦位置以使主图像保持尖锐聚焦的良好区。聚焦位置向外的改变将导致边缘宽度在辅助图像中增加，而向内改变将导致边缘宽度在辅助图像中减小。为了使主图像的边缘宽度维持接近尖锐边缘宽度，可使用线性反馈控制系统以将中间辅助边缘宽度值定目标在阴影区内，且将从辅助图像产生的边缘宽度用作反馈信号。

辅助像素阵列108"、A/D转换器110、聚焦信号产生器120一起可容纳在封装142中，且构成辅助传感器150。辅助传感器150可进一步包括色彩内插器148。

图20展示除聚焦信号产生器120'代替聚焦信号产生器120外类似于设备103的自动聚焦图像拾取设备103'的替代实施例。辅助像素阵列108"、A/D转换器110、聚焦信号产生器120一起可容纳在封装142中，且构成辅助传感器150'。辅助传感器150可进一步包括色彩内插器148。

图21展示自动聚焦图像拾取设备103"的替代实施例。聚焦信号产生器120和处理器112"可作为相机控制器容纳在封装144中，与辅助像素阵列108"分离。处理器112"类似于处理器112，不同之处在于处理器112"接收来自主像素阵列2808以及辅助像素阵列108"的图像。处理器112"可执行色彩内插、色彩校正、压缩/解压缩以及将在信号2830上接收到的图像存储到存储器卡116，类似于图2中处理器112可对信号130执行的处理。不同于图2中的是，此处在信号130上接收到的图像无需接受压缩/解压缩且存储到存储器卡116。处理器112"可针对由辅助像素阵列108"中的彩色滤光片覆盖的像素对在信号130上接收到的图像执行色彩内插，且在信号146上将经色彩内插的图像发送到聚焦信号产生器120。

自动聚焦图像拾取系统102、102'、103、103'、103"可包括计算机程序存储媒体（未图示），其包括分别致使处理器112、112'、112"和/或聚焦信号产生器120、120'执行本文所描述的功能中的一者或一者以上的指令。举例来说，所述指令可致使处理器112或产生器120'根据图7的流程图对边缘宽度执行倾斜度校正。作为另一实例，所述指令可致使处理器112'或产生器120根据上文针对宽度滤波器209的描述执行边缘宽度滤波。或者，处理器112、112'或产生器120、120'可经配置以具有用于本文所包括的功能中的一者或一者以上的固件与硬件的组合或纯硬件实施方案。举例来说，在产生器120中，可在纯硬件中执行倾斜度校正，且根据固件中的指令执行长度滤波器212。

图26展示聚焦信号产生器120'的又一实施例。此实施例可用于以上图像捕捉系统中的任一者中。

虽然将存储器卡116展示为系统102的部分，但可改为使用任何非易失性存储媒体，例如硬盘驱动器，其中存储在其中的图像可由用户存取，且可复制到系统102外且远离系统102的不同位置。

用于所述系统中的一个或一个以上参数（例如sharp_edge_width）可存储在系统内的装置中的非易失性存储器中。所述装置可为快闪存储器装置、处理器或图像传感器，或作为与之分离的装置的聚焦信号产生器。用于系统中的一个或一个以上公式（例如用于计算级联长度阈值，或用于计算β）可同样作为参数或作为计算机可执行指令存储在那些装置中的一者或一者以上中的非易失性存储器中。

虽然附图中已描述并展示了某些示范性实施例，但将理解，此些实施例仅说明而非限制本发明，且本发明不限于所展示和描述的特定构造和布置，因为所属领域的技术人员可想到各种其它修改。

Claims (12)

1.一种基于一图像中的多个边缘来评估该图像中的一锐度的图像捕捉系统，其包括：

存储器或一组寄存器，其存储（存储器构件，其用于存储）定义一个或一个以上参考梯度曲线和/或参考梯度序列的数据。

2.根据权利要求1所述的图像捕捉系统，其中所述数据是定义一参考峰与所述一个或一个以上序列中的至少一者中的一参考梯度的一间距。

3.根据权利要求1所述的图像捕捉系统，其进一步包括：

评估单元，所述评估单元经配置以将在所述存储器中定义的一参考梯度序列或参考梯度曲线与跨越所述多个边缘中的一者的梯度轮廓进行比较，所述参考梯度序列或参考梯度曲线是所述一个或一个以上参考梯度曲线或序列当中的一者。

4.根据权利要求3所述的图像捕捉系统，其中所述评估单元将该参考梯度序列或参考梯度曲线的一参数与从该梯度轮廓测得的一参数进行比较。

5.根据权利要求4所述的图像捕捉系统，其中所述评估单元包括一算术电路。

6.根据权利要求5所述的图像捕捉系统，其中所述评估单元包括一存储器。

7.根据权利要求1所述的图像捕捉系统，其进一步包括：

参数提取单元，所述参数提取单元经配置以从所述梯度轮廓提取描述所述梯度轮廓的一个或一个以上参数。

8.根据权利要求1所述的图像捕捉系统，其进一步包括：

序列选择器，所述序列选择器经配置以基于所述一个或一个以上参数来选择所述多个序列当中的一者或一者以上。

9.一种基于一图像中的多个边缘来评估所述图像中的锐度的方法，其包括：

使所述多个边缘当中的一边缘的一梯度轮廓与两个或两个以上参考梯度的一序列曲线拟合，在所述两个或两个以上参考梯度当中，至少两个参考梯度具有不同的梯度值；

在一预定准则下执行所述序列与所述梯度轮廓的一比较；以及，

至少部分地基于所述比较的一结果，作出如何使用来自所述梯度轮廓和/或所述序列的一个或一个以上量来评估所述锐度的一确定。

10.根据权利要求9所述的方法，其进一步包括：

基于所述确定经由修改来自所述边缘的一贡献而从所述多个边缘产生一聚焦信号。

11.根据权利要求10所述的方法，其中如果所述比较发现在所述预定准则下所述梯度轮廓不充分地类似于所述序列，那么阻止所述边缘影响所述聚焦信号的所述产生。

12.根据权利要求10所述的方法，其中所述比较产生一渐变的结果，且所述聚焦信号接收所述边缘的一边缘宽度在与其它边缘相比之下的一相对程度下的贡献，所述相对程度取决于所述渐变的结果。

Images