CN103262524B - 自动聚焦图像系统 - Google Patents
自动聚焦图像系统 Download PDFInfo
- Publication number
- CN103262524B CN103262524B CN201180059197.0A CN201180059197A CN103262524B CN 103262524 B CN103262524 B CN 103262524B CN 201180059197 A CN201180059197 A CN 201180059197A CN 103262524 B CN103262524 B CN 103262524B
- Authority
- CN
- China
- Prior art keywords
- edge
- gradient
- measurement
- grad
- peak
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明揭示一种自动聚焦图像系统,其包括一耦合到一聚焦信号产生器的像素阵列。该像素阵列捕捉一具有多个边缘的图像。该产生器产生一聚焦信号,该聚焦信号随多个边缘锐度度量而变,每一边缘锐度度量是从该等多个边缘中的一者测得。该产生器可基于从多个样本对差异测得的边缘的一对形状度量,来确定减小该边缘对该聚焦信号的贡献的一相对程度。其中每一样本对差异为该边缘的一预定邻域内的一对图像数据样本之间的一差。该等形状度量中的一者可为该边缘的该边缘锐度度量。
Description
相关申请案的交叉参考
本申请案主张2010年12月7日申请的第PCT/IB2010/055649号PCT专利申请案的优先权。
技术领域
所揭示的标的物一般涉及自动聚焦电子捕捉的图像。
背景技术
例如数码相机和数字摄像机等摄影设备可包含电子图像传感器,其捕捉光以用于分别处理成静止或视频图像。电子图像传感器通常包含数百万个光捕捉元件,例如光电二极管。
例如相机等许多图像捕捉装置包括自动聚焦系统。自动聚焦过程包括以下步骤:捕捉图像;处理图像以确定其是否对焦;以及如果未对焦,那么产生用以改变聚焦透镜的位置(“聚焦位置”)的反馈信号。存在两种主要自动聚焦技术。第一种技术涉及对比度测量,另一技术考虑一对图像之间的相位差。在对比度方法中,分析邻近像素之间的强度差,且调整焦点,直到检测到最大对比度为止。尽管对于静态图片来说是可接受的,但对比度技术对于运动视频来说是不合适的。
相位差方法包括将传入图像分裂成两个图像,其由单独的图像传感器捕捉。将两个图像进行比较以确定相位差。调整聚焦位置,直到两个图像匹配为止。相位差方法需要额外零件,例如光束分裂器和额外图像传感器。另外,相位差方法分析相对小的固定检测点带。具有较小的检测点群组易于导致误差,因为噪声可叠加到一个或一个以上点上。如检测点不与图像边缘重合,那么此技术也是无效的。最后,因为相位差方法将光分裂,因此撞击在光传感器上的光的量被切为两半或更多。在图像光强度已经较低的暗淡环境中,这可成为问题。
发明内容
本发明揭示一种自动聚焦图像系统,其包括耦合到聚焦信号产生器的像素阵列。该像素阵列捕捉图像,该图像具有多个边缘。该产生器产生聚焦信号,该聚焦信号随着从该等多个边缘中的每一者测得的多个边缘锐度度量而变。该产生器可基于从多个样本对差异所测得的边缘的一对形状度量来确定减少边缘对聚焦信号作出的贡献的相对程度,其中每一样本对差异为边缘的预定邻域内的一对图像数据样本之间的差异。该等形状度量中的一者可为该边缘的边缘锐度度量。
附图说明
图1是自动聚焦图像拾取设备的实施例的示意图;
图2是自动聚焦图像拾取设备的替代实施例的示意图;
图3是聚焦信号产生器的框图;
图4是图像信号矩阵上的水平索贝尔算子的运算的说明;
图5说明从水平梯度计算边缘宽度;
图6A、图6B是具有倾斜角度φ的垂直边缘的边缘宽度的计算的说明;
图6C、图6D是具有倾斜角度φ的水平边缘的边缘宽度的计算的说明;
图7是计算倾斜角度φ并校正具有倾斜度的垂直边缘的边缘宽度;
图8是垂直级联边缘的说明;
图9A是紧密堆积的垂直条的群组的说明;
图9B是越过图9A的图像信号的曲线图;
图9C是越过图9A的水平索贝尔梯度的曲线图;
图10是用以消除具有浅调制深度的紧密堆积边缘的过程的流程图;
图11是说明用于计算细聚焦信号的边缘宽度范围的边缘宽度的直方图;
图12是场景的说明;
图13是说明图12的场景的聚焦扫描期间的窄边缘计数的变化的曲线图;
图14是说明图12的场景的聚焦扫描期间的毛聚焦信号的变化的曲线图;
图15是说明聚焦位置范围上的细聚焦信号的变化的曲线图;
图16是显示场景中的多个对象以及该等对象中的一者上的选择标记的设备的说明;
图17是聚焦信号产生器的替代实施例的框图;
图18是自动聚焦图像拾取设备的替代实施例的示意图;
图19是具有主要像素阵列和辅助像素阵列的自动聚焦图像拾取设备的实施例的示意图;
图20是具有主要像素阵列和辅助像素阵列的自动聚焦图像拾取设备的替代实施例的示意图;
图21是具有主要像素阵列和辅助像素阵列的自动聚焦图像拾取设备的替代实施例的示意图;
图22是在不同聚焦位置处来自主要像素阵列的边缘宽度的变化以及来自辅助像素阵列的边缘宽度的变化的说明;
图23A说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一良好边缘的图像信号的对称梯度序列,以及针对两对经内插梯度(每一对处于不同的梯度水平)所测得的两个宽度;
图23B说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一伪边缘的图像信号的另一对称梯度序列,以及针对两对经内插梯度(每一对处于不同的梯度水平)所测得的两个宽度,较小宽度与较大宽度的比率为图23A中所示比率的几乎两倍;
图24A说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的对称梯度序列,以及距峰梯度预定义距离处的经内插梯度的规格化梯度值;
图24B说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的梯度序列,以及所绘制的梯度序列下的区的面积;
图24C说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的图像信号的梯度序列,以及在相对于经内插峰梯度定义的梯度水平处取得的所绘制的梯度序列的斜率(即,图像信号的第二导数);
图24D说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的图像信号的梯度序列、一重心(即,矩心),以及梯度距该重心的距离;
图25说明对照于作为连续第二导数之间的间距的倍数的距离而绘制的跨越一边缘的图像信号的第二导数序列,其展示(a)一对正峰和负峰之间的宽度Ws,(b)具有给定量值h1的一对最外的经内插第二导数之间的宽度W1,(c)具有给定量值h1的一对内部的经内插第二导数之间的宽度W2,以及(d)从(该对正峰与负峰之间的)过零到具有给定量值h1的最外的经内插第二导数的距离D1;
图26说明对照于作为连续样本之间的间距的倍数的距离而绘制的图像信号的图像数据样本序列,其展示(a)边缘的两端处的两个样本之间的宽度Wedge和对比度Cedge,(b)具有样本值的最陡变化的一对样本之间的峰梯度值gpeak,(c)边缘的具有对比度C1和宽度Wpart1的未分部分,以及(d)边缘的具有对比度C2和宽度Wpart2的未分部分;
图27A说明对照于作为每一序列的连续样本之间的间距的倍数的距离而绘制的两个对称梯度序列,该等序列相对于其相应的峰梯度而规格化,其中用于一个序列的曲线图具有三角形形状,且用于另一序列的曲线图具有帽子形状;
图27B说明对照于作为每一序列的连续样本之间的间距的倍数的距离而绘制的两个对称梯度序列,该等序列相对于其相应的峰梯度而规格化,其中用于一个序列的曲线图具有向下到规格化梯度水平的三角形形状,且用于另一序列的曲线图具有圆顶形状;
图28展示第一和第二形状度量的四对预期值(w1b,w1a)、(w2b,w2a)、(w3b,w3a)、(w4b,w4a)的散布图,且说明第一形状度量的值w'b是通过从第二形状度量的值w'a进行内插而找到的;
图29说明通过内插来找到经内插峰的位置;
图30展示聚焦信号产生器的替代实施例。
具体实施方式
所揭示的是一种自动聚焦图像系统,其包括耦合到聚焦信号产生器的像素阵列。该像素阵列捕捉图像,该图像具有具一宽度的至少一个边缘。聚焦信号产生器可产生聚焦信号,其随边缘宽度和/或边缘宽度的统计而变。所揭示的是一种自动聚焦图像系统,其包括耦合到聚焦信号产生器的像素阵列。该像素阵列捕捉图像,该图像具有具一宽度的至少一个边缘。该产生器产生聚焦信号,该聚焦信号随边缘宽度和边缘宽度的各种统计而变。该产生器可消除具有图像信号的梯度的不对称性的边缘。该产生器还可消除由于梯度中的相关联峰值而使模板失效的边缘。处理器接收聚焦信号和/或边缘宽度的统计,并调整聚焦透镜的聚焦位置。边缘宽度可由包括使用梯度在内的各种技术来确定。可使用边缘宽度的直方图来确定特定图像是聚焦还是未聚焦。具有大的较瘦边缘宽度计数的直方图指示已聚焦的图像。
架构
通过参考数字来更具体地参考图式,图1展示自动聚焦图像捕捉系统102的实施例。系统102可为数字静态相机的一部分,但将理解,该系统可在需要图像的受控聚焦的任何装置中实施。系统102可包括聚焦透镜104、像素阵列和电路108、A/D转换器110、处理器112、显示器114、存储器卡116以及驱动电动机/电路118。来自场景的光穿过透镜104进入。像素阵列和电路108产生模拟信号,模拟信号由A/D转换器110转换为数字信号。像素阵列108可并入有镶嵌色彩图案,例如拜耳图案。可将数字信号发送到处理器112,其执行各种处理,例如色彩内插、聚焦位置控制、色彩校正、图像压缩/解压缩、用户接口控制以及显示器控制;且可将数字信号发送到聚焦信号产生器120。在聚焦信号产生器120和处理器112驻存在不同封装内的情况下,可实施色彩内插单元148以对数字信号130执行色彩内插,以为聚焦信号产生器120估计每一像素上的缺失色彩信号。或者,在聚焦信号产生器120和处理器112一起驻存在封装144内的情况下,聚焦信号产生器120可如图2所示,在总线146上输入来自处理器112的经内插的色彩图像,或从由A/D转换器110产生的原始图像信号得出的单个图像信号,例如灰度级信号。
聚焦信号产生器120接收来自处理器112的一组控制信号132,另外,且可将信号134输出到处理器112。输出信号134可包括以下各项中的一者或一者以上:聚焦信号134、窄边缘计数以及代表图像中的边缘宽度的统计的一组数字。处理器112可产生聚焦控制信号136,其被发送到驱动电动机/电路118以控制聚焦透镜104。已聚焦的图像最终提供给显示器114且/或存储在存储器卡116中。用于调整聚焦位置的算法可由处理器112执行。
像素阵列和电路108、A/D转换器110、聚焦信号产生器120以及处理器112可全部驻存在一封装内。或者,像素阵列和电路108、A/D转换器110、聚焦信号产生器120可独立于处理器112而作为图1中所示的图像传感器150驻存在封装142内。或者,聚焦信号产生器120和处理器112可独立于像素阵列108和A/D转换器110而作为相机控制器160驻存在封装144内。聚焦信号产生器120(或任何替代实施例,例如,图30中所示的实施例)和处理器112可一起驻存在一半导体衬底(例如,硅衬底)上。
聚焦信号产生器
图3展示接收来自图像提供单元202的图像的聚焦信号产生器120的实施例。图像提供单元202可为图1中的色彩内插器148或图2中的处理器112。聚焦信号产生器120可包括边缘检测与宽度测量(EDWM)单元206、聚焦信号计算器210、长度滤波器212、以及宽度滤波器209。聚焦信号产生器120可进一步包括细化开关220,其由输入“细化”222控制。聚焦信号产生器120可提供来自宽度滤波器209的窄边缘计数以及来自聚焦信号计算器210的聚焦信号,该聚焦信号可在细聚焦信号与毛聚焦信号之间配置,其可由输入“细化”222选择。或者,可计算细聚焦信号和毛聚焦信号两者,并将其作为输出信号134的一部分输出。边缘检测与宽度测量单元206接收由图像提供单元202提供的图像。在图1和2的上下文中,控制信号(例如控制信号“细化”222)可由处理器112在信号132中提供。而且在图1和图2的情形中,可将输出信号134提供给处理器112,处理器112充当聚焦系统控制器,其控制聚焦透镜104的聚焦位置,以通过分析输出信号134以检测图像中的尖锐对象来使对象的图像达到像素阵列108上的尖锐聚焦。下文描述聚焦信号产生器120的各种组件。
EDWM单元206可变换输入图像,使得图像的三个信号红(R)、绿(G)和蓝(B)被转换为单个图像信号。可利用若干种技术来将图像变换为单个图像。可使用RGB值来计算亮度或色度值,或可取RGB值的特定比率来形成单个图像信号。举例来说,可用等式Y=0.2126*R+0.7152*G+0.0722*B来计算亮度值,其中Y为亮度值。该单个图像信号可接着由高斯滤波器或任何低通滤波器处理,以平滑相邻像素之间的图像数据样本值而移除噪声。
聚焦信号产生器120、120'、120"不限于灰度级信号。聚焦信号产生器120、120'、120"可对任何一个图像信号操作,以检测该图像信号中的一个或一个以上边缘。或者,聚焦信号产生器120、120'、120"可对图像信号的任何组合操作,例如Y、R-G或B-G。聚焦信号产生器120、120'、120"可分别对R、G、B图像信号中的每一者或其任何一个或一个以上组合操作,以检测边缘。聚焦信号产生器120、120'、120"可针对R、G、B图像信号中的每一者或其任何组合而形成边缘宽度的统计。聚焦信号产生器120、120'、120"可根据来自一个或一个以上图像信号的边缘宽度的统计形成聚焦信号。
聚焦信号产生器包含边缘检测器以识别图像信号中的边缘。边缘检测器可使用一阶边缘检测算子,例如,索贝尔(Sobel)算子、普瑞维特(Prewitt)算子、罗伯特(Roberts)交叉算子或罗伯特算子。边缘检测器可使用较高阶的边缘检测算子来识别边缘,例如二阶算子,例如拉普拉斯(Laplacian)算子。边缘检测器可使用已知边缘检测算子中的任一者或也用已知算子中的任一者的平常的边缘检测原理的任何经改进算子
在边缘检测器使用一阶边缘检测算子的情况下,计算图像信号的梯度(即,第一导数)。可用于计算梯度的方法有多种,包含使用各种一阶边缘检测算子中的任一者,例如索贝尔算子、普瑞维特算子、罗伯特交叉算子和罗伯特算子。罗伯特算子具有两个内核,其为单列或单行矩阵:[-1+1]及其转置。罗伯特交叉算子具有两个内核,其为2乘2矩阵:[+1,0;0,-1]和[0,+1;-1,0],以[第一行向量;第二行向量;第三行向量]的格式展示,与在Matlab中一样。普瑞维特算子和索贝尔算子基本上具有相同的内核[-1,0,+1],其取行方向上的梯度,且其转置取列方向上的梯度,进一步乘以执行垂直于相应梯度方向的低通滤波的不同低通滤波器的内核。可分别例如使用索贝尔X算子和索贝尔Y算子来计算列和行上的梯度,以分别检测垂直和水平边缘。通过等式Sx[k,q]=U[k,q+1]–U[k,q-1]给出像素位置[k,q]处的索贝尔X算子,其中k为行编号,且q为列编号。通过等式Sy[k,q]=U[k+1,q]–U[k-1,q]给出同一位置处的索贝尔Y算子,其中U是经处理图像的图像信号。
在边缘检测器使用二阶算子的情况下,计算出图像信号的第二导数(例如,拉普拉斯)。
定向加标签
如果垂直或水平梯度量值超过预定下限(“消除阈值”)(例如针对8位图像为5),那么可对每一像素加水平边缘(“H”)或垂直边缘(“V”)的标签,或如果两者都不是,那么加无边缘的标签。此下限消除因柔和阴影或噪声而导致的伪边缘。如果像素的水平梯度量值超过其垂直梯度量值预定的滞后量或以上(例如,对于8位图像来说为2),那么可将像素加标签为垂直边缘,且反之亦然。如果两个梯度量值相差小于滞后量,那么像素获得与其最近的具有已确定的方向标签的相邻者的方向标签相同的方向标签。举例来说,如果在每一行中从左到右并向下逐行地扫描图像,那么相邻像素的检查序列可为上方像素第一、左上方像素第二,且左侧像素第三,且右上方像素最后。应用此滞后有助于确保如果邻近像素中的每一者具有几乎相同的水平和垂直梯度量值,那么邻近像素获得类似标签。图4说明水平和垂直梯度的6x6阵列上的加标签的结果。在每一单元中,水平梯度位于左上,垂直梯度在右侧,且方向标签在底部。在此步骤中,仅具有超过5的水平或垂直梯度量值的像素合格,因为边缘像素以粗体印刷,且获得方向标签。
可针对垂直边缘水平扫描且针对水平边缘垂直扫描图像、梯度和标签。如果同一行中具有相同水平梯度极性且全部针对垂直边缘而加标签的每一连续像素群组的左侧或右侧的邻近像素不同样,那么可将该像素群组标示为垂直边缘。同样,如果同一列中具有相同垂直梯度极性且全部针对水平边缘而加标签的每一连续像素群组的上方或下方的邻近像素均不满足上述条件,那么可将该像素群组标示为水平边缘。因此,可识别水平和垂直边缘。
边缘宽度
可通过移除梯度量值小于边缘内的峰梯度量值的给定分数的像素来精细化每一边缘。图5说明使用等于边缘的峰梯度量值的三分之一的精细化阈值来将边缘宽度从原来的9向下精细化到3的此步骤。此边缘精细化辨别占优势的梯度分量(其设定在边缘的锐度的视觉感知中占优势的视在边缘宽度),而不管具有可能导致梯度在许多像素上柔和地衰退的多个重叠阴影的图像。
可在已知方法的任一者中计算边缘宽度。一种计算边缘宽度的方法是简单地对边缘内的像素的数目进行计数。图5中展示计算边缘宽度的替代方法。在图5中,通过从精细化阈值304进行内插,在经细化边缘的第一外像素(像素3)与邻近的外侧像素(像素2)之间找到第一分数像素位置(2.4)。同样,在第二外像素(像素5)与其邻近的外侧像素(像素6)之间找到第二分数像素位置(5.5)。认为边缘宽度为这两个分数像素位置之间的差,5.5–2.4=3.1。
另一替代的边缘宽度计算方法是计算出图像信号在边缘(具有或不具有边缘精细化)上的差,并将其除以边缘的峰梯度。
或者,边缘宽度可以是跨越该边缘的图像信号的二阶导数的一对正峰与负峰(或经内插峰)之间的距离。其它替代方案是可能的,将进一步在本说明书中的标题“边缘锐度度量”下描述。
进一步在本说明中的标题“边缘锐度度量”下将看到,存在与宽度不同的其它替代方案,而宽度仅仅为本质上与场景的照度无关的边缘锐度度量的一个实例。
倾斜度校正
尽管可将每一边缘指派给一个指定方向(例如垂直方向或水平方向),或另一正交的指定方向(例如,水平方向或垂直方向),且可具有在与那个所指派的边缘方向正交的方向上测得的边缘宽度,从中产生这些边缘的图像中的不同图像信号值的区之间的边界可不或通常不与任一指定方向完全对准。在图6A中,将边界(阴影带)展示为相对于垂直虚线以倾斜角φ倾斜,且将宽度a展示为在正交方向(即,水平方向)上测得。然而,在与边界的方向(也是形成边界的一部分的边缘的方向)正交的方向上测得的宽度b(如图中所指示)比宽度a更适合作为边界(以及边缘)的宽度。不是与相应的边缘方向正交测得的此些宽度a往往过大,且并不代表相应边界的真正厚度。
出于从边缘宽度计算聚焦信号的目的,在那些指定方向中的一者或另一者上测得的边缘宽度将通过将其减小到在与相应边缘的方向正交的方向上的宽度而进行校正。边缘检测与宽度测量单元206执行此对边缘宽度的校正。如图6A中所示,测得的宽度a为直角三角形的斜边的长度,该直角三角形的底边(用宽度b标记)正交地跨在阴影边界上(因此与边缘方向正交),且该直角三角形具有角φ。接着从测得的宽度a到与边缘方向正交的方向的投影获得经校正的宽度b。从基础三角学可知,此投影可由b=a cos(φ)给出,但只要近似法获得在20%以内的准确性,就可使用近似法。角φ或cos(φ)本身可由此项技术中已知的用于找出图像中的边缘的方向的任何方法,或通过图7中所示的流程图中所描述的更准确的方法来找出。
每一水平或垂直边缘的边缘宽度可针对其倾斜度而分别从水平或垂直定向(指定方向)进行校正。图6A、6B说明针对与垂直线具有倾斜度的边界(且因此形成该边界的边缘)在水平方向上测得的边缘宽度的校正计算。图6C、6D说明针对与水平线具有倾斜度的边界(且因此形成该边界的边缘)在垂直方向上测得的边缘宽度的校正计算。可通过使在指定方向(例如垂直方向或水平方向)上测得的边缘宽度乘以因子cosφ来进行该校正,其中φ为与指定方向的倾斜角度。
举例来说,图7展示用以针对从垂直线倾斜的边缘的倾斜度而校正边缘宽度的过程的流程图。(对于水平边缘,在流程图中,用“行”代替“列”,且将“垂直”与“水平”互换。
从步骤502到步骤506,找出倾斜角度φ。对于每一垂直边缘,在步骤502处,定位垂直梯度量值达到峰值的列位置,且找出水平梯度x。在步骤504处,找出垂直梯度量值沿列位置且在两个分开的像素内达到峰值,且找出垂直梯度y。
在步骤506处,找出倾斜角度φ=tan-1(y/x)。在步骤506处,可通过查找查找表来找出倾斜角度。尽管步骤502到506呈现一种找出倾斜角度的特定程序和方法,但可改为使用此项技术中已知的其它程序和方法。
最后,在步骤508处,通过与cos(φ)或与其近似表示相乘来按比例缩小边缘宽度,如所属领域的技术人员在实践中通常做的那样。
图7中展示的过程的第一修改是通过提供具有输入值x和y的各种组合的条目的查找表来代替步骤506以及步骤508的部分。对于输入值x和y的每一组合,查找表返回边缘宽度校正因子。由查找表输出的边缘宽度校正因子可为cos(tan-1(y/x))的在20%以内(优选在5%以内)的近似表示。接着使边缘宽度乘以此校正因子,以产生经倾斜度校正的边缘宽度。
第二修改为计算垂直梯度y与水平梯度x之间的商y/x,以产生商q,接着使用q来输入到具有针对q的各种值的条目的查找表。对于q的每一值,查找表返回边缘宽度校正因子。边缘宽度校正因子可为cos(tan-1(q))的在20%以内(优选在5%以内)的近似表示。
为了找出倾斜角度φ(或其近似表示,使得校正因子准确到在20%以内)且随后找出校正因子cos(φ)(或其近似表示),或为了直接找出校正因子而不找出倾斜角度φ(如在第一和第二修改中),可在步骤502到506中获得x和y的值,但可改为使用其它方法。
第三修改是对边缘中的多个像素中的每一者执行以下操作:(a)为像素找出水平梯度x和垂直梯度y两者,(b)为此像素找出q=y/x,以及(c)找出对应于q的校正因子,例如cos(tan-1(q))或其到20%以内的近似表示。最后,通过对来自多个像素中的每一者的校正因子求平均来找出用于该边缘宽度的校正因子。平均值可为经加权平均值,例如其中具有较大水平梯度的像素被给予比具有较小水平梯度的另一像素大的权重的平均值。
沿这些方向或其它方向的其它修改是可能的。
筛选阈值
如果邻近边缘的峰梯度量值低于邻近的较宽边缘的峰梯度量值的预定分数,那么可完全阻止该等邻近边缘对聚焦信号作贡献,或使其贡献削弱。图9A、图9B和图9C说明正解决的问题。
图9A说明由各自宽度为2个像素的两个窄黑空间分离的三个垂直白条。中间白条的宽度为窄条2个像素。图9B展示水平越过图9A中的图像的针对尖锐图像和模糊图像中的每一者而描绘的图像信号。图9C描绘图9B的针对尖锐图像和模糊图像的索贝尔x梯度。在图9C中,如所预期,模糊图像的第一边缘(像素2到5)比尖锐图像宽,且最后边缘(像素13到15)也是如此。然而,两个最窄边缘(像素9和10,以及像素11和12)在两个图像中具有宽度二。在图9B中,像素9和10以及像素11和12处的对应斜率各自取两个像素以完成过渡。然而,模糊图像具有从较宽边缘到较窄边缘的峰梯度量值的显著下降,多达50%。另一方面,尖锐图像在较宽边缘与窄边缘之间改变少于10%。
邻近于具有相对正负号梯度的较宽边缘的较窄边缘的峰梯度量值的显著下降(例如20%或更大)提示模糊的图像未经良好聚焦,且因此,不应依赖较窄边缘作为模糊图像为尖锐的指示。
同样,只要具有交替梯度极性的互相邻近的边缘彼此非常接近,例如相隔不超过1个像素(“最小边缘间隙”),就不应依靠其来用于此指示,即使其边缘宽度较小。最小边缘间隙是依据像素的数目,例如1或2或之间。
此外,假定一个边缘可能因具有小于消除阈值的峰梯度而已被消除,具有相同梯度极性且隔开不超过最小边缘间隙的两倍加上sharp_edge_width(sharp_edge_width为经指派以标示尖锐边缘的边缘宽度的数字)的两个连续边缘可用作用于消除或降级来自两个相互邻近的边缘中的一者或两者的贡献的条件。任一。
边缘检测与宽度测量单元206可执行以下算法,以用于基于从较宽边缘建立的筛选阈值以及可开启和关闭的调制筛选旗标而消除紧密堆积的较窄边缘。
对于每一边缘,根据图10中所示的流程图的过程来确定将用于相对极性的紧接下一边缘的筛选阈值和筛选旗标。
在给定筛选阈值和筛选旗标的情况下,可取消边缘,除非以下条件中的一者为真:(a)对于此边缘,筛选旗标关闭,(b)边缘的峰梯度量值不小于用于此边缘的筛选阈值。可将条件(c)添加到条件(a)和(b),边缘宽度不小于sharp_edge_width+1,其中已为sharp_edge_width指派一数字以标示尖锐边缘的边缘宽度,且其中可改变“+1”以设定高于sharp_edge_width的边缘宽度的范围,在该范围内,如果边缘无法达到(a)和(b),那么消除该等边缘。对于图9A到图9C中所示的实例,sharp_edge_width可为2。图10是为每一边缘确定筛选阈值和筛选旗标的流程图。对于垂直边缘,假定沿行从左到右扫描,但这不是要求的。(对于水平边缘,假定沿列从上到下扫描,但这不是要求的。)为sharp_edge_width指派一数字,且其对于图9A到图9C所示的实例可为2。在步骤702处,在第一边缘处开始,在步骤720处,询问每一边缘其边缘宽度是否大于或等于一加sharp_edge_width,值一是用于此说明的最小边缘间隙值,但可使用不同的值,例如在0.5与2.0之间。如果是,那么该边缘为较宽边缘,且步骤706接着将具有相对极性的紧接下一边缘的筛选阈值设定为β乘以边缘的峰梯度量值,β为从0.3到0.7,优选为0.55,接着步骤708开启用于下一边缘的筛选旗标,接着进行到下一个边缘。如果否,那么该边缘不是较宽边缘,且步骤730接着检查距相同梯度极性的前一边缘的间距是否大于最小边缘间隙(或不同的预定数字)的两倍加上sharp_edge_width,且相对极性的最接近的前一边缘(如果存在)是否大于远离的最小边缘间隙。如果是,那么步骤710接着关闭用于下一边缘的筛选旗标。如果否,那么保持用于下一边缘的筛选旗标和筛选阈值,且进行到下一边缘。β可为预定分数,或其可为依据预定公式计算的分数,例如边缘宽度的函数。在后者情况下,β可从图像的一部分到另一部分不等。
替代实施例
像素网格的定向:
由聚焦信号产生器120输入的图像可具有位于相对于图像的矩形帧旋转45度的矩形网格(“像素网格”)中的像素。在此情况下,边缘检测操作和宽度测量操作的X方向和Y方向可同样旋转。
边缘锐度度量:
在以上描述中,边缘的图像的锐度是由从跨越该边缘的梯度序列所测量得到的边缘的宽度来表示的,其中该等梯度定向成跨越该边缘,存在依靠类似原理工作的替代方案。本质上,允许以此方式产生聚焦信号的原因在于,个别边缘贡献了与使图像数据按比例缩放(例如)20%无关或本质上无关(例如,在图像数据按比例缩小20%的情况下,改变不超过5%)的量(后文称为“边缘锐度度量”),从而与常规对比度检测方法相比,有助于使聚焦信号与图像的场景的照度或场景中的对象的反射率无关或很少相关。
在本发明的聚焦信号产生器120中,具有与图像数据按比例缩小20%无关或实质上无关的上述特性的任何边缘锐度度量也是从一梯度或经内插梯度到同一梯度值的另一梯度或经内插梯度测得的宽度的良好替代。
替代的边缘锐度度量的单位优选地不包含能量单位。基于以下两点来确定边缘锐度度量的单位:(a)一阶边缘检测算子对其运算的图像数据的每一样本具有能量单位,(b)样本之间的距离具有长度单位。基于点(a)及(b),梯度值的单位是能量单位除以长度单位。同样地,跨越该边缘或跨越该边缘的任一未分部分上的对比度具有能量单位。因此,对比度不是良好的边缘锐度度量,因为该单位显露出其受场景的照度和对象的反射率所影响。边缘的峰梯度也不是良好的边缘锐度度量,因为峰梯度的单位中具有能量单位,从而也指示其会对场景的照度的变化作出响应。另一方面,边缘的峰梯度除以边缘的对比度是良好的边缘锐度度量,因为其单位是长度单位的倒数。作为另一实例,梯度值超过峰梯度的某一预定分数的梯度的计数是良好的边缘锐度度量,因为该计数仅为以连续梯度之间的间距大小来量化的距离度量,因此具有长度单位。
此处应注意,在产生边缘锐度度量的过程中,可使用用以检测边缘的一阶边缘检测算子来产生梯度,或可使用不同的第一导数算子(即,梯度算子)来产生梯度。举例来说,虽然索贝尔算子(或甚至二阶边缘检测算子,例如拉普拉斯算子)可用以检测边缘,但其内核简单地为[-1,+1]及其转置(其简单地将图像数据的一个样本从梯度算子的定向上的下一样本减去)的罗伯特算子使所得梯度位于两个样本之间的正中。可独立于产生边缘锐度度量或下一部分中所述的形状度量中的任一者中所使用的一个或一个以上导数算子,用比一阶高阶的边缘检测算子来检测边缘。
换个角度来看,边缘锐度度量的单位应是长度单位的幂,例如,长度单位的平方、长度单位的倒数、长度单位本身或长度单位的平方根。
任一此类替代的边缘锐度度量均可替代聚焦信号产生器120中的边缘宽度。
为了对边缘的倾斜进行校正,应转换上文参考图6A到6D以及图7所述的校正因子(下文称为“宽度校正因子”),以采用同一幂。举例来说,如果边缘锐度度量为峰梯度除以对比度,即其单位是该度量长度单位的倒数,那么用于边缘锐度度量的适当的校正因子是上文参考图6A到6D以及图7所述的校正因子的倒数。作为另一实例,如果边缘锐度度量的单位是长度单位的平方,那么用于边缘锐度度量的倾斜校正因子应视为宽度校正因子的平方。
下文参考图24B、图24D、图25和图26中的图式来描述替代的边缘锐度度量的若干实例。
图24B说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的梯度序列,以及所绘制的梯度序列下的阴影区的面积A3。在此实例中,该区被限定在两个梯度水平L1与L2之间,其可相对于梯度序列的经内插峰梯度值(或者,峰梯度值)而定义为(例如)经内插峰梯度值的预定部分。阴影区具有经内插梯度的四个隅角。面积除以经内插峰梯度值(或者,峰梯度值)是良好的边缘锐度度量,因为其具有长度单位。注意,该区的替代的限定是可能的。举例来说,该区可由梯度序列而非梯度水平L1来从上进行定界。
图24D说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的图像数据的样本的梯度序列、一重心3401(即,矩心)以及梯度(具有梯度值g2、g3、g4、g5及g6)距重心的距离u2、u3、u4、u5及u6。良好的边缘锐度度量为重心周围的梯度的第k阶中心矩,即梯度距重心的距离的经加权平均值,其中权重为相应梯度的量值,k为偶整数。举例来说,k可为2,其使边缘锐度度量为方差,仿佛梯度序列是概率分布那样。在此实例中,边缘锐度度量的单位是长度单位的平方。更一般地说,边缘锐度度量可以是梯度序列的多个梯度距相对于该多个梯度而预定义的位置的距离的函数,该序列为跨越该边缘的阵列。不同于重心,该预定义位置可以是梯度序列的经内插峰位置。可根据预定义准则来选择边缘梯度的适当子集来参与此计算。举例来说,可要求该等梯度的梯度值至少是该峰梯度或该梯度序列的经内插峰的梯度值的预定分数。
图25说明对照于作为连续第二导数之间的间距的倍数的距离而绘制的跨越一边缘的图像数据的样本序列的第二导数序列,其展示(a)一对正峰与负峰之间的宽度Ws,(b)具有给定量值h1的一对最外的经内插第二导数之间的宽度W1,(c)具有给定量值h1的一对内部的经内插第二导数之间的宽度W2,以及(d)从(该对正峰与负峰之间的)过零到具有给定量值h1的最外的经内插第二导数的距离D1。可将该等三个宽度Ws、W1和W2中的任一者用作边缘锐度度量。
此外,在图25的实例中,边缘锐度度量可以是该等第二导数从(该对正峰与负峰之间,且可经内插)该过零的距离的经加权的总和,其中的权重为相应的第二导数的量值。更一般地说,边缘锐度度量可以是跨过该边缘的多个第二导数距相对于该等多个第二导数而预定义的位置的距离的函数。过零位置之外,重心也是该预定义位置的良好候选者,以权重为该等第二导数的量值。该预定义位置的又一良好候选者可为该对正梯度与负梯度之间的中点。
图26说明来自对照于作为连续像素之间的间距的倍数的距离而绘制的边缘的像素的图像数据的样本序列,其展示(a)边缘的两端处的两个样本之间的宽度Wedge和对比度Cedge,(b)具有样本值的最陡变化的一对样本之间的峰梯度值gpeak(由罗伯特算子产生),(c)边缘的具有对比度C1和宽度Wpart1的最窄未分部分,以及(d)边缘的具有对比度C2和宽度Wpart2的最窄未分部分。如前面所提到,峰梯度值gpeak除以对比度Cedge是一良好的边缘锐度度量。宽度Wedge是另一个良好的边缘锐度度量。宽度Wpart1和Wpart2也是良好的替代。可将对比度C1和/或C2定义为边缘对比度Cedge的预定部分。或者,可将其中的任一者定义为边缘的峰梯度(例如,峰梯度gpeak)的预定倍数。此处还应注意,“最窄未分部分”可由图像数据的经内插样本(例如,在图26中以正方形展示)或通过下舍入或上舍入到最近的像素计数来定界。
边缘限定
图23A和图23B展示对照于作为连续梯度之间的间距的倍数的距离所绘制的跨越两个不同边缘的图像信号的一对对称梯度序列。在每一图中,针对两对经内插梯度来测量两个宽度(上部宽度和下部宽度),每一对处于不同的梯度水平。
可看出,虽然两个梯度序列的下部宽度仅相差10%,但图23B中的上部宽度几乎为图23A中的上部宽度的两倍。并非上述两者均可被接受为用于从中导出可靠聚焦信号的有效边缘。
本发明的发明人认识到,仅由边缘处或边缘周围的图像数据的样本进行的单个测量不足以区分伪边缘,即使伪形状可具有跨越其本身的梯度的完美反射对称性也如此。本发明的发明人认识到,有必要由边缘的预定义邻域内的图像数据的样本进行至少两个测量,以便确定一边缘应被减轻或完全不对聚焦信号作出贡献。
EDWM单元实施此类方法来对边缘参与产生聚焦信号进行限定。该方法是基于取得由边缘的预定邻域内的图像数据的样本进行的至少两个测量(下文称为“形状度量”)。预定邻域可以是用于计算边缘内的所有梯度和/或第二导数以检测该边缘的所有图像数据样本。或者,预定邻域可以是边缘的预定距离内的所有像素,例如8个像素,或足以包含用于检测边缘和/或计算该边缘的边缘锐度度量的所有图像数据样本的最小距离。
根据至少两个样本对差异来测量边缘的每一形状度量,其中每一样本对差异为一对图像数据样本之间的差异,这些样本来自排列成跨越该边缘的图像数据的样本序列。
该方法接着可依据边缘的至少两个形状度量的值来减少边缘对聚焦信号作贡献的相对程度(与对聚焦信号作贡献的其它边缘相比)。举例来说,在将聚焦信号计算为允许作贡献的所有边缘的经加权平均值的情况下,已经通过其它方法(例如,下一部分中描述的长度滤波器)来确定权重,可通过与从该确定而计算作为相对程度的因子(下文称为“形状限定因子”)相乘来进一步减小边缘的权重(与其它边缘相比)。
该方法可确定该等至少两个形状度量是否一起满足准则,以便确定边缘对聚焦信号作的贡献的减少相对程度。举例来说,该准则可表达为使相对程度无减少或很少减少的区与第一度量对照于第二度量的二维散布图中的所有其它区分开的边界。可定义轮廓,使得将被指派相同相对程度的第一度量值与第二度量值对位于同一轮廓上,且通过查找边缘的该对所属的轮廓来从存储器读取相对程度。举例来说,该方法可评估该等至少两个形状度量中的一者是否满足取决于其它形状度量中的一者或一者以上的准则。举例来说,该准则可要求第一形状度量在预期值的预定容限内,该预定容限是第二形状度量的函数。评估之后,在产生聚焦信号时,在不满足准则的情况下,可忽略该边缘或减轻其权重。举例来说,在将减轻该边缘权重的情况下,相对程度可以是在满足该准则的一个值(例如一)与不满足该准则的另一值(例如零)之间变化且相对于第一度量的值与预期值之间的差异的变化而具有平滑转变的函数,且在计算聚焦信号之前通过使聚焦信号中的边缘的权重与此相对程度相乘,可使用相对程度来减小该权重,其中聚焦信号为来自对其作贡献的边缘的经加权平均值。此函数优选地采取相对于该差异的S形函数的形状。
或者,该方法可将该相对程度计算为至少两个形状度量的函数。举例来说,可将该相对程度计算为X/E,其中E是预期值(通过将第二度量的边缘的测得值插入该函数中找到),且X是第一形状度量的测得值。
可通过记录于计算机可读媒体(例如,非易失性存储器(例如快闪存储器))中且检索到EDWM单元中以供执行的数学公式来表达依据第二度量的第一度量的预期值。或者,可使用存储在计算机可读媒体中的查找表。参看图28,其展示第一和第二形状度量的四对值(w1b,w1a)、(w2b,w2a)、(w3b,w3a)、(w4b,w4a)的散布图,且说明通过从第二形状度量的值w'a内插而找到第一形状度量的值w'b。该查找表可存储第一和第二度量的若干对值,且EDWN检索若干对以供内插,以鉴于另一形状度量的测得值来找到一个形状度量的预期值。
此处应注意,该方法不基于跨越边缘的梯度序列偏离完美反射对称的程度来确定相对程度。明确地说,如紧接在参考各自绘制边缘的完美对称梯度序列的图23A和23B的本发明标题下所述,存在该方法将排斥的边缘,尽管该等边缘在跨越其本身的相应梯度序列中具有完美反射对称性。从本部分后面的实例将清楚,在跨越边缘的梯度序列中具有完美反射对称性不会防止边缘被排斥(即,其相对程度减小)。
更具体地说,存在具有完美反射对称性的梯度序列,使得如果边缘具有跨越其本身的梯度序列,那么其相对程度将在此方法下减小。作为一实例,此类序列可以是{0.1,0.15,0.2,0.9,0.9,1,0.9,0.9,0.2,0.15,0.1}。作为另一实例,此类序列可以是{0,0.2,0.2,0.7,0.7,1,0.7,0.7,0.2,0.2,0},其为图27A中所示的采取帽子形状的序列8002。作为第三实例,此类序列可以是{0,0.25,0.5,0.75,1,0.75,0.5,0.25,0},其展示为图27B中呈等腰三角形形状的序列8000。
形状度量中的一者可以是边缘锐度度量,但这不是必要的。在边缘锐度度量不是形状度量中的一者且边缘没有资格(即,忽略)对聚焦信号作贡献的情况下,可忽略对该边缘的边缘锐度度量的计算。
形状度量在以下意义上相互无关:在不进一步涉及来自针对其计算任何形状度量的、边缘的预定邻域的至少一个图像数据样本的情况下,任何形状度量均不可从其它形状度量计算得到。
优选的是,不从针对其计算形状度量的每个边缘的一个正梯度和一个负梯度来计算形状度量。对于大多数边缘,要找到边缘上的经内插梯度并不要求在正梯度与负梯度之间进行内插。
优选的是,对边缘的形状度量作评估并不取决于对另一边缘的检测。通常,边缘具有其自己的与另一边缘无关的规格化梯度的分布,且基于边缘的此特性而制定的形状度量不受其它边缘的检测与否所影响,尤其是在其它边缘和此边缘的预定邻域并不重叠的情况下。
优选的是,并不选择形状度量来测量边缘,除非降低场景的20%将不影响是否允许边缘对聚焦信号作贡献。或者,优选地不选择形状度量来测量边缘,除非降低预定邻域内的图像信号值的20%将不影响是否接受该边缘对聚焦信号作贡献。
一般来说,可使用在标题“边缘锐度度量”下描述的用于计算边缘锐度度量的方法中的任一者来产生一个或一个以上形状度量,只要所有形状度量和边缘锐度均以不同方式进行计算即可。举例来说,参看图23B,第一形状度量可以是上部规格化梯度水平3310处的两个经内插梯度之间的宽度W2,且第二形状度量是下部梯度水平3312处的一对经内插梯度之间所测得的宽度W1。还可将第二形状度量用作此实例的边缘的边缘锐度度量。或者,边缘锐度度量可以是不同于上部3310和下部3312规格化梯度水平的第三规格化梯度水平处的度量。又或者,可使用另一形状度量方法来测量第二度量或边缘锐度度量,例如,作为边缘上的梯度距预定义位置(例如,重心)的距离的函数,其中距离的二阶矩是梯度的距离的此类函数的一个实例,或例如,作为从排列成跨越边缘的第二导数序列内插的一对外部的经内插第二导数之间的距离。
上文相对于图23B论述的实例且使用两个宽度(或偶数像素计数,其是以邻近像素之间的间距来量化的经量化距离)在两个不同的梯度水平处进行测量,其它组合是可能的,如以下其它实例所论述。
此外,使用相对于峰梯度值或经内插峰梯度值的幂的规格化进行边缘锐度度量的方法中的任一者可绕过规格化,以产生形状度量的单位内不是没有能量单位的形状度量。举例来说,在通过测量梯度序列下的区的面积来进行边缘锐度度量(见图24B以及其在标题“边缘锐度度量”下的相关论述)以及通过峰梯度值或经内插峰梯度值来规格化该面积而进行边缘锐度度量的情况下,可避免规格化,从而得出具有梯度单位乘以长度单位的单位(因此能量单位)的形状度量的面积。
除该等边缘锐度度量方法中的任一者之外,形状度量还可利用其它方法。下文描述其它实例。
图24A说明对照于作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的对称梯度序列,以及在距峰梯度有预定义距离D3处的经内插梯度的规格化梯度值。此梯度序列具有峰梯度3212。可将在规格化梯度水平L0处测得的宽度W0用作第二形状度量。可相对于宽度W0来限定距离D3(例如,作为宽度W0的预定分数),或相对于从边缘锐度度量中的任一者所测得的边缘的另一宽度来限定距离D3(例如,作为梯度距梯度的重心的距离的方差的平方根的预定倍数)。在距离D3处,计算出规格化经内插梯度值L3。此经内插梯度值将针对不同梯度序列而变化,该等梯度序列在梯度水平L0处具有相同宽度W0,但其梯度值随距峰梯度3212的距离而比图24A中所示的当前梯度序列下降得快。因此,对(D3,W0)可对照准则进行检查,以从其梯度序列中找出边缘的相对程度。
图24C说明对照作为连续梯度之间的间距的倍数的距离而绘制的跨越一边缘的图像信号的梯度序列,以及在相对于经内插峰3270而限定的规格化梯度水平3274处取得的所绘制的规格化梯度序列的斜率SL(即,图像信号的规格化第二导数)。在此梯度序列与图24A中所示的梯度序列之间,可清楚地看到,对于规格化梯度水平L0处的相同宽度,在此水平或另一规格化梯度水平处所测得的斜率将在当前梯度序列的形状与图24A中所示的形状之间不同。这些序列无法两者均有益于产生聚焦信号。因此,该斜率也是形状度量的候选方法。
作为形状度量的另一方法,可使用跨越该边缘的梯度序列的多个规格化梯度值的幂的总和。另外,如果此总和进一步由峰梯度值或经内插峰的梯度值的同一幂所规格化,那么其可用作边缘锐度度量,且其单位是长度单位的倒数。
在用于确定边缘的相对程度的第一形状度量与第二形状度量之间,可选择两个形状度量,使得两者均不受按比例地缩放来自边缘的前述预定邻域的图像数据样本所影响。举例来说,如在参看图23B的以上论述中,宽度W1和W2两者均不受按比例地缩放进入所显示的梯度序列中的梯度的计算的图像数据所影响。或者,选择两个度量,使得其均不受按比例地缩放图像数据所影响。举例来说,第一度量可以是距梯度序列的经内插峰或峰梯度有预定义距离D3处的经内插梯度值L3,如图24A中所示且上文所论述,且第二度量可以是对照于距离所绘制的梯度序列下的区的面积,如图24B中所示且上文所论述,但未规格化。
注意,在本发明中,当来自边缘的量(例如,梯度水平)除以(默认,除非另有指定)边缘的峰梯度值或经内插峰的梯度值时,可称该量被规格化。举例来说,在图23B中,峰梯度3212具有正好为1的规格化值,而在图24C中,经内插峰3270不同于峰梯度3212,且图24C中所示的梯度相对于经内插峰3270而不是峰梯度3212被规格化。
长度滤波器
下文描述长度滤波器212的功能。广义上说,长度滤波器212形成对各自连接到类似定向的一个或一个以上边缘的边缘的偏好。群组内类似定向且相互连接的边缘群组(“级联边缘”)与不接触类似定向的任何其它边缘的隔离边缘相比,较不可能由噪声引起。因此,级联在一起的具有类似定向的边缘越多,其由噪声引起的概率就越小。该群组由噪声引起的概率随着群组内的边缘的数目增加而以指数方式下降,且远快于线性方式。可利用此性质来舍弃噪声,尤其是在光线暗淡或短曝光情形下,其中信噪比较弱,例如小于10,在图像内或在所关注区内。可在任何合理方法中实施偏好以表达此偏好。下文所描述的若干方式仅为实例。
第一种方法是消除属于具有小于级联长度阈值的长度的垂直/水平级联边缘的边缘。当所关注区较暗淡时,级联长度阈值可较大。举例来说,级联长度阈值可开始小至2,但随着所关注区内的信噪比降到5而增加到8。级联长度阈值可由处理器112、112'、112"(例如通过图3所示的“长度命令”信号)作为信号132的一部分而提供。或者,可根据聚焦信号产生器上的公式来计算阈值。
第二种方法是在长度滤波器212中针对每一边缘提供一长度权重,且在聚焦信号计算器210中应用该长度权重来计算聚焦信号。与作为较短级联边缘的一部分的边缘相比,作为较长级联边缘的一部分的边缘接收较大的权重。举例来说,长度权重可为级联边缘的长度的平方。因此,可使每一边缘对聚焦信号的贡献乘以因子A/B,之后对所有贡献进行求和以形成聚焦信号,其中B是进入聚焦信号计算的所有边缘的长度权重的总和,且A是边缘的长度权重。同样,可作为信号134的一部分输出的边缘宽度直方图可具有作为较长级联边缘的成员的边缘,因此,优选的是,更多地贡献对应于其相应边缘宽度且因此为优选的区间,而不是所有边缘均贡献相同的量,例如+1。因此,举例来说,每一边缘可贡献A/C,其中C为该边缘上的A的平均值。类似地,窄边缘计数可具有作为贡献较多的较长级联边缘的成员的边缘。因此,举例来说,来自每一边缘的贡献可乘以A/D,其中D是在窄边缘计数中计数的边缘之间的A的平均值。
N个垂直(水平)边缘的群组(其中,顶部(最左)和底部(最右)边缘除外),每一边缘接触两个其它垂直(水平)边缘,一个其它边缘在边缘本身上方(左侧),且在该边缘本身下方(右侧)另一其它边缘为长度为N的垂直(水平)级联边缘。顶部(最左)边缘仅需要触碰在其本身下方(右侧)的一个边缘。底部(最右)边缘仅需要触碰其上方(左侧)的一个边缘。
图8说明垂直级联边缘及其长度。在图8中,单元R2C3和R2C4形成第一垂直边缘,单元R3C3、R3C4以及R3C5一起形成第二垂直边缘,且单元R4C4和R4C5一起形成第三垂直边缘。第一和第三垂直边缘各自仅触碰一个其它垂直边缘,而第二垂直边缘触碰两个其它垂直边缘。第一、第二和第三垂直边缘一起形成具有长度3的垂直级联边缘。
在垂直(水平)级联边缘具有两个或两个以上分支(即,在行(列)中具有两个边缘)的情形(未图示)中,可将长度定义为级联边缘内的边缘的总数。或者,可将长度定义为从其中的最顶部(最左)边缘到其中的最底部(最右)边缘加一的垂直(水平)距离。
除以上提议之外,有其它可能的方法来定义级联长度。举例来说,级联边缘的长度的定义应具有以下性质:长度与级联边缘内至少达三个的成员边缘的数目成比例。这将与先前陈述的推论一致,该推论为较多边缘通过彼此接触而相互连接将以指数方式降低由噪声引起的级联边缘的概率,且因此长度应表达与级联边缘内达合理数目的成员边缘的数目的比例性,该合理数目充分增强级联边缘中超过针对单个成员的置信度的置信度。长度滤波器212可取消强调或消除且因此(一般地说)区别对待级联长度为一的边缘。长度滤波器212可区别对待级联长度为二的边缘。长度滤波器212可区别对待级联长度为三的边缘,以进一步降低噪声的影响。长度滤波器212可根据来自处理器的命令进行这些动作中的任一者。
尽管图3中展示为紧跟在边缘检测与宽度测量单元206之后,但其它布置是可能的。举例来说,可在聚焦信号计算器210之前插入长度滤波器212,其中由长度滤波器212处理的边缘是穿过宽度滤波器209的边缘,其取决于“细化”信号。
在聚焦信号产生器的替代实施例中,可移除细化开关220,使得聚焦信号计算单元210接收未由宽度滤波器209滤波的第一组数据以及经滤波的第二组数据,且针对每一者计算不同聚焦信号,针对前者计算毛聚焦信号,针对后者计算细聚焦信号,且将上述两种信号输出到处理器112、112'。
宽度滤波器
接下来参看图3以理解宽度滤波器209的操作。图11描绘边缘宽度的直方图,即边缘计数对边缘宽度的曲线图。在边缘宽度2处,即前面提到的sharp_edge_width,存在峰,其指示图像中尖锐边缘的存在。然而,在边缘宽度4和5处,存在峰,其指示可能因对应的成像对象在焦点外、与产生尖锐边缘的对象相比在远离聚焦透镜的不同距离处而模糊的边缘。为了计算聚焦信号,可使用宽度滤波器209来不再强调宽度在预定范围(“窄边缘范围”)外的边缘。宽度滤波器209可针对在窄边缘范围外的边缘宽度产生较小的权重,以供聚焦信号计算中使用。举例来说,可为边缘宽度指派权重1.0,而为在上限840右侧大于+1的边缘宽度指派权重0,且为之间的边缘宽度指派在0与1.0之间的权重,随边缘宽度而单调下降。或者,宽度滤波器209可防止此些边缘全部进入聚焦信号计算。适当的上限830和下限840取决于若干因素,包括像素阵列108中的串扰、用以产生由聚焦信号产生器120接收的图像的缺失色彩的内插方法,以及用于边缘检测与宽度测量单元206中所使用的低通滤波器中的滤波器系数。可通过捕捉各种尖锐程度的图像并检查边缘宽度直方图来为图像拾取设备102、102'确定适当的上限830和下限840以及参数sharp_edge_width。举例来说,如果尖锐图像在边缘宽度2处具有峰,那么适当的下限和上限可分别为1.5和3,且可将sharp_edge_width设定为2.0。可如上确定下限和上限以及sharp_edge_width,且通过处理器112、112"提供给聚焦信号产生器120、120'、120"。当“细化命令”为ON时,如此计算的细聚焦信号不再强调在窄边缘范围外的边缘宽度。
另外,宽度滤波器209可计算边缘宽度落在窄边缘范围内的边缘的总计数,且作为输出信号134的一部分而输出。可将窄边缘计数输入到聚焦系统控制器(处理器112)且由聚焦系统控制器(处理器112)使用,以检测尖锐图像的存在且/或用于起始跟踪。
聚焦信号
接下来参看图3的聚焦信号计算器210,聚焦信号计算器210接收边缘宽度且输出聚焦信号。可将聚焦信号计算为所有边缘宽度的经加权平均值,其中权重为针对每一边缘宽度的边缘计数,即聚焦信号=Σwiei/Σwi,其中ei为边缘宽度,wi为权重,其中此处wi=ci,ci为边缘宽度ei处的边缘计数,i为边缘宽度的直方图的区间数目。或者,每一边缘宽度处的权重可为针对边缘宽度的边缘计数乘以边缘宽度本身,即wi=ciei。另外,来自宽度滤波器209的按照权重而表达的偏好可进一步乘以每一边缘宽度。举例来说,对于宽度滤波器209所产生的权重Ωi,ΣΩi=1,可将聚焦信号计算为如果控制信号“细化”为ON,且“排除”为OFF,那么聚焦信号将为非常靠近图11中所示的实例的尖锐边缘宽度2.0的值,从而指示在将产生在2.0与3.0之间的边缘宽度的在聚焦距离范围内的对象细节之中,大多数对象细节实际上处于尖锐聚焦。如果控制信号“细化”为OFF,且“排除”为OFF,那么聚焦信号可为靠近5.0的值,从而指示存在在焦点外的图像的大部分细节。接通细化开关220允许聚焦信号较多地响应略微模糊的对象,而较少地响应完全模糊的对象。当细化开关220为ON时,将把聚焦信号称为细聚焦信号,而当细化开关220为OFF时,将把聚焦信号称为毛聚焦信号。如前面所提到,可以若干方式中的一种方式将长度滤波器212所表达的强调并入到聚焦信号中,例如消除不再强调的边缘使其不进入聚焦信号计算,或降低边缘对对应边缘宽度区间的计数ei的贡献的权重。
图15简述细聚焦信号对对象处于尖锐聚焦的地方附近的聚焦位置的调整的响应。细聚焦信号达到最小值,近似在sharp_edge_width处,其中聚焦位置使图像达到尖锐聚焦,且否则便增加。细聚焦信号可用于跟踪已已聚焦或非常接近于聚焦的对象。对于移动对象,细聚焦信号允许聚焦控制系统使对象保持尖锐聚焦,即使聚焦距离不断地变化也是如此。细聚焦信号还可用于获取尚未处于尖锐聚焦但足够靠近的对象的尖锐聚焦(“获取”),使得该对象产生宽度落在窄边缘范围内的边缘。由于边缘宽度直方图在对应于远离sharp_edge_width的对象的边缘宽度处展现峰,从而导致细聚焦信号大于sharp_edge_width,因此聚焦控制系统可通过以下动作来响应:调整聚焦位置以使细聚焦信号值朝向sharp_edge_width,从而因边缘宽度值处的对象等于sharp_edge_width而使边缘宽度的峰居中。
基本使用
图12到图16说明可如何使用窄边缘计数、毛聚焦信号和细聚焦信号来执行聚焦控制以实现尖锐图像。
图12说明在不同的聚焦距离处具有3个对象群组的户外场景:在前景中的“人”、在背景中的“山脉、太阳和地平线”,以及在其之间的“车”。
图13是当聚焦透镜104的聚焦位置从远到近地扫掠过图12中所说明的场景时,对照时间而描绘的窄边缘计数的说明。当聚焦位置使对象达到像素阵列108上的尖锐图像时,窄边缘计数到达峰。因此,窄边缘计数曲线展现3个峰,在扫掠期间,“山脉、太阳和地平线”、“汽车”和“人”以此次序各一个峰。
图14展示对照时间而描绘的毛聚焦信号。当聚焦位置接近窄边缘计数达到峰的3个聚焦位置中的每一者时,毛聚焦信号展现最小值。然而,在每一最小值处,毛聚焦信号并不处于尖锐边缘宽度水平,其在此实例中为2.0,因为在焦点外的其它对象所贡献的边缘宽度较大。
图15说明对照在图12的场景中的“汽车”的尖锐聚焦位置附近的聚焦位置而描绘的细聚焦信号。细聚焦信号本质上实现尖锐边缘宽度,其在此实例中为2,尽管存在模糊对象(“人”和“山脉、太阳和地平线”)。再次参看图11,其中宽度4和5处的两个峰由所述两个模糊对象群组贡献,这可理解为宽度滤波器324已减小权重或完全消除来自在上限840右侧的边缘宽度的贡献。
聚焦控制系统可在搜索模式中使用毛聚焦信号来搜索最近的尖锐聚焦位置。聚焦控制系统可将聚焦位置移离当前聚焦位置,以确定毛聚焦信号是增加还是减小。举例来说,如果当聚焦位置向内(向外)移动时,毛聚焦信号增加(减小),那么存在离当前聚焦位置较远的尖锐聚焦位置。处理器112、112'、112"可接着提供聚焦驱动信号,以在朝向邻近的尖锐聚焦位置的方向上移动聚焦透镜104。
聚焦控制系统可使用细聚焦信号来跟踪已经处于尖锐聚焦的对象,以使对应的图像维持尖锐(因此“跟踪模式”),而不管场景的变化、对象的移动或图像拾取设备的移动。当对象处于尖锐聚焦时,细聚焦信号电平是稳定的,而不管此些变化。因此,细聚焦信号的变化暗示对象距图像拾取设备的聚焦距离的变化。通过将聚焦控制系统“锁定”到最小值附近的给定细聚焦信号电平,例如在此实例中介于2.0与2.5之间,明确地说2.1,细聚焦信号电平的任何移位会立即告知处理器112、112'、112"对象的聚焦距离的变化。处理器112、112'、112"可接着确定方向,且致使聚焦透镜104移动以使细聚焦信号电平回到“锁定”电平。因此,图像拾取设备102、103、103'、103"能够跟踪移动对象。
聚焦控制系统(例如在处理器112、112'、112"中的算法中实施)可使用窄边缘计数来触发从搜索模式到跟踪模式的改变。在跟踪模式下,聚焦控制系统使用细聚焦信号来“锁定”对象。在聚焦位置充分靠近对象的尖锐聚焦位置之前,聚焦控制系统可使用毛聚焦信号来识别移动方向并调节透镜的移动速度。当对象进入尖锐聚焦时,窄边缘计数急剧地达到峰。在检测到窄边缘计数的急剧升高或达峰或两者后,处理器112、112'、112"可即刻切换到跟踪模式中,且使用细聚焦信号来进行聚焦位置控制。可将阈值(每一不同尖锐聚焦位置可不同)指派给从端到端聚焦位置“扫描”找到的每一对象群组,且随后当窄边缘计数超过此阈值时,检测对应的对象群组。对于静止场景,例如对于静态图像拍摄,端到端聚焦位置扫描可返回最大计数列表,窄边缘计数的每一达峰具有一个最大计数。可(例如)通过取最大计数的50%而从最大计数列表产生阈值列表。
图16说明图像拾取设备102,其具有显示器114、包括按钮的输入装置107,以及在显示器114中加亮的选择标记1920。用户可使用输入装置107来创建、定形和操纵选择标记1920。尽管此实例中展示为包括按钮,但输入装置107可包括上覆于显示器114上的触摸屏,以检测显示器114上的触摸或敲击位置。输入装置107和处理器112、112'、112"或用于输入装置107的单独的专用控制器(未图示)可确定选择区。可经由总线132(或在聚焦信号产生器120是处理器112的一部分的情况下,在处理器112内部)将用于描述选择区的参数发射到聚焦信号产生器120、120'、120"。作为响应,聚焦信号产生器120可将聚焦信号计算或窄边缘计数或两者限于由所述参数描述的选择区内的边缘,或不再强调选择区外的边缘。这样做可不再强调来自聚焦信号的非所要对象,且接着甚至毛聚焦信号也将展现出单个最小值和在尖锐边缘宽度的1.0或以下内的最小电平。
替代实施例
图17展示聚焦信号产生器120'的替代实施例。聚焦信号产生器120'输出边缘和边缘宽度的统计。在控制器120'输出的边缘宽度统计之中可为以下各项中的一者或一者以上:边缘宽度直方图,其包括不同边缘宽度下的边缘计数;其中边缘宽度计数达到最大值的边缘宽度;一组系数,其代表估计不同边缘宽度下的边缘计数的样条函数;以及可代表边缘宽度的函数的任何数据。普查单元240可接收在具有聚焦信号产生器120'的其它单元中的一者或一者以上中计算的数据以计算边缘宽度的统计。一般来说,聚焦信号产生器120'可输出具有边缘宽度的分布的指示的信号。
参看图18,因此在信号134中向替代自动聚焦图像拾取设备102'中的处理器112'的替代实施例提供的边缘宽度统计可由处理器112'用来根据上文所论述的方法或其等效物来计算毛和/或细聚焦信号以及窄边缘计数。另外,可将在聚焦信号产生器120'中计算的任何数据作为输出信号134的一部分输出到处理器112'。
除包括于图1的处理器112中的功能之外,处理器112'可在内部产生聚焦信号和/或窄边缘计数。
像素阵列108、A/D转换器2710、色彩内插器148和产生器120'可驻存在封装142内,一起构成与处理器112'分开的图像传感器150'。
辅助像素阵列
图19展示自动聚焦图像拾取系统103的替代实施例。除包括于系统102中的元件之外,系统103可包括部分反射镜2850、全反射镜2852、光学低通滤波器2840、主像素阵列2808以及主A/D转换器2810。部分反射镜2850可将传入光束分裂成第一分光束和第二分光束,一者被透射,且另一者被反射。第一分光束在最终到达主像素阵列2808之前可进一步穿过光学低通滤波器2840,其检测第一分光束并将其转换为模拟信号。第二分光束在最终到达辅助像素阵列108"之前可由全反射镜2852反射,辅助像素阵列108"对应于图1所示的系统102中的像素阵列108。第一光束与第二光束的光强度的比率可为1比1或大于1比1。举例来说,比率可为4比1。
主像素阵列2808可由彩色镶嵌图案(例如拜耳图案)的彩色滤光片阵列覆盖。光学低通滤波器2808防止聚焦在像素阵列2808上的最小光点过小而导致混叠。在镶嵌图案的彩色滤光片覆盖像素阵列2808的地方,混叠可在色彩内插之后引起色彩摩尔纹假象。举例来说,通过使用光学低通滤波器,包围主像素阵列2808上的光点的可见光功率的84%的圆的最小直径(“最小主直径”)可保持大于一又二分之一像素宽度,但小于两个像素宽度。举例来说,如果主像素阵列2808具有4.5um的像素宽度,而最小直径为2.0um,而无光学低通滤波,那么可选择光学低通滤波器2840以使光点的直径为6.7um或更大。
辅助像素阵列108"可包括一个或一个以上光电检测器阵列。所述阵列中的每一者可由或可不由彩色镶嵌图案的彩色滤光片阵列覆盖。辅助像素阵列108"中的阵列在模拟信号中输出图像,所述模拟信号由A/D转换器110转换成数字信号130。将图像发送到聚焦信号产生器120。色彩内插器148可产生从由彩色滤光片覆盖的像素产生的图像的缺失色彩。如果辅助像素阵列108"包括多个光电检测器阵列,那么每一阵列可捕捉对应于由主像素阵列2808捕捉到的图像的一部分的子图像。所述多个阵列可物理上分开一百个以上像素宽度,且可共享或可不共享半导体衬底。在辅助像素阵列108"内的像素阵列不共享半导体衬底的情况下,所述像素阵列可一起容纳在一封装(未图示)中。
主A/D转换器2810将来自主像素阵列2808的模拟信号转换成数字主图像数据信号2830,其被发送到处理器112,其中在主像素阵列2808上捕捉到的图像可接受图像处理,例如色彩内插、色彩校正以及图像压缩/解压缩,且最后存储在存储器卡116中。
辅助像素阵列108"中的光电检测器阵列可具有小于主像素阵列2808的像素宽度(“主像素宽度”)的像素宽度(“辅助像素宽度”)。辅助像素宽度可小至主像素宽度的一半。如果辅助像素由彩色滤光片覆盖,且在无光学低通滤波的情况下,辅助像素宽度小于可见光的最小光点的1.3倍,那么可在辅助阵列108"前面插入第二光学低通滤波器,以使辅助像素阵列108"上的最小直径(“最小辅助直径”)增加到在1.3倍到2倍大之间,但仍小于最小主直径,优选为1.5。辅助图像中的轻微摩尔纹不成问题,因为辅助图像并不作为最终捕捉图像向用户呈现。
图22说明针对来自主像素阵列2808的主图像(实曲线)和来自辅助像素阵列108"的辅助图像(虚曲线),边缘宽度可如何关于尖锐聚焦位置而变化。正当主图像到达所定标的尖锐边缘宽度2时,辅助图像给出较尖锐的斜率。准许辅助图像达到低于所定标的尖锐边缘宽度,因为因混叠而导致的摩尔纹在辅助像素中并不那么关键,因为辅助图像并不作为最终图像向用户呈现。这有助于使尖锐边缘宽度下方和上方的斜率尖锐。较尖锐的斜率也由小于主像素宽度的辅助像素宽度促进。
图22中的阴影区指示在其内控制聚焦位置以使主图像保持尖锐聚焦的良好区。聚焦位置向外的改变将导致边缘宽度在辅助图像中增加,而向内改变将导致边缘宽度在辅助图像中减小。为了使主图像的边缘宽度维持接近尖锐边缘宽度,可使用线性反馈控制系统以将中间辅助边缘宽度值定目标在阴影区内,且将从辅助图像产生的边缘宽度用作反馈信号。
辅助像素阵列108"、A/D转换器2810、聚焦信号产生器120一起可容纳在封装142中,且构成辅助传感器150。辅助传感器150可进一步包括色彩内插器148。
图20展示除聚焦信号产生器120'代替聚焦信号产生器120外类似于设备103的自动聚焦图像拾取设备103'的替代实施例。辅助像素阵列108"、A/D转换器2910、聚焦信号产生器120一起可容纳在封装142中,且构成辅助传感器150'。辅助传感器150可进一步包括色彩内插器148。
图21展示自动聚焦图像拾取设备103"的替代实施例。聚焦信号产生器120和处理器112"可作为相机控制器容纳在封装144中,与辅助像素阵列108"分离。处理器112"类似于处理器112,不同之处在于处理器112"接收来自主像素阵列2808以及辅助像素阵列108"的图像。处理器112"可执行色彩内插、色彩校正、压缩/解压缩以及将在信号2830上接收到的图像存储到存储器卡3016,类似于图2中处理器112可对信号130执行的处理。不同于图2中的是,此处在信号130上接收到的图像无需接受压缩/解压缩且存储到存储器卡3016。处理器112"可针对由辅助像素阵列108"中的彩色滤光片覆盖的像素对在信号130上接收到的图像执行色彩内插,且在信号146上将经色彩内插的图像发送到聚焦信号产生器120。
自动聚焦图像拾取系统102、102'、103、103'、103"可包括计算机程序存储媒体(未图示),其包括分别致使处理器112、112'、112"和/或聚焦信号产生器120、120'执行本文所描述的功能中的一者或一者以上的指令。举例来说,所述指令可致使处理器112或产生器120'根据图7的流程图对边缘宽度执行倾斜度校正。作为另一实例,所述指令可致使处理器112'或产生器120根据上文针对宽度滤波器209的描述执行边缘宽度滤波。或者,处理器112、112'或产生器120、120'可经配置以具有用于本文所包括的功能中的一者或一者以上的固件与硬件的组合或纯硬件实施方案。举例来说,在产生器120中,可在纯硬件中执行倾斜度校正,且根据固件中的指令执行长度滤波器212。
图30展示聚焦信号产生器120'的又一实施例。此实施例可用于以上图像捕捉系统中的任一者中。
虽然将存储器卡116展示为系统102的部分,但可改为使用任何非易失性存储媒体,例如硬盘驱动器,其中存储在其中的图像可由用户存取,且可复制到系统102外且远离系统102的不同位置。
用于所述系统中的一个或一个以上参数(例如sharp_edge_width)可存储在系统内的装置中的非易失性存储器中。所述装置可为快闪存储器装置、处理器或图像传感器,或作为与之分离的装置的聚焦信号产生器。用于系统中的一个或一个以上公式(例如用于计算级联长度阈值,或用于计算β)可同样作为参数或作为计算机可执行指令存储在那些装置中的一者或一者以上中的非易失性存储器中。
虽然附图中已描述并展示了某些示范性实施例,但将理解,此些实施例仅说明而非限制本发明,且本发明不限于所展示和描述的特定构造和布置,因为所属领域的技术人员可想到各种其它修改。
Claims (64)
1.一种用于从一场景的一图像的多个边缘产生一聚焦信号以指示一图像尖锐程度的方法,其包括:
在一计算装置中,评估从该图像所检测到的一边缘上的一第一度量和一第二度量,以分别找出一第一值和一第二值;以及,
通过使用所述第一和第二值来确定减小与对该聚焦信号作贡献的其它边缘相比之下该边缘在对所述聚焦信号作贡献中所占的权重,
其中,任何边缘的所述第一和第二度量各自是一个取决于至少两个图像样本差的量,每一个图像样本差为一对图像数据样本之间的差,所述样本来自跨越所述任何边缘上的一图像数据样本序列。
2.根据权利要求1所述的方法,其中,所述评估所述第一度量并不取决于另一边缘的检测。
3.根据权利要求1所述的方法,其中,降低所述场景的照度20%将不影响是否允许所述边缘对所述聚焦信号作贡献。
4.根据权利要求3所述的方法,其中,所述确定是确定所述第一值是否满足一取决于所述第二值的预定准则,以便确定所述权重。
5.根据权利要求4所述的方法,其进一步包括:在所述产生该聚焦信号中,在所述边缘不满足该预定准则的情况下,忽略所述边缘或减轻其权重。
6.根据权利要求3所述的方法,其中,所述确定将所述权重定为所述第一和第二度量的一函数。
7.根据以上任一权利要求所述的方法,其中,所述确定不是基于测量一跨越所述边缘的梯度序列其偏离完美反射对称性的程度。
8.根据权利要求7所述的方法,其中,对所述聚焦信号作贡献的任一边缘贡献的是一边缘锐度度量,所述边缘锐度度量为从所述任一边缘的一预定邻域内的多个图像数据样本来计算的一量。
9.根据权利要求8所述的方法,其中,所述边缘锐度度量是所述第二度量。
10.根据权利要求8所述的方法,其中,所述边缘锐度度量不是所述第一度量也不是所述第二度量。
11.根据权利要求10所述的方法,其中,在从所述产生该聚焦信号忽略掉所述边缘的情况下,不评估所述边缘的所述边缘锐度度量。
12.根据权利要求10所述的方法,其中,所述边缘锐度度量是所述任一边缘的一预定义部分的一宽度,所述预定义部分是根据预定方式来预定义的。
13.根据权利要求10所述的方法,其中,所述边缘锐度度量为所述任一边缘的一峰梯度值除以跨越所述任一边缘或跨越所述任一边缘的一预定义部分的一对比度。
14.根据权利要求10所述的方法,其中,所述边缘锐度度量是跨越所述任一边缘的一梯度序列中的梯度的二阶矩。
15.根据权利要求7所述的方法,其中,每一边缘由沿着一第一方向连续地排列的多个像素组成,且为一边缘检测器所检测到。
16.根据权利要求15所述的方法,其中,所述边缘检测器使用一阶边缘检测算子来检测所述每一边缘。
17.根据权利要求7所述的方法,其中,所述第一和第二度量相互无关,即:在不进一步牵涉来自针对其计算所述第一和第二度量的、该边缘的一预定邻域的至少一个图像数据样本的情况下,所述第一和第二度量的任一者均不可从另一者计算得到。
18.根据权利要求8所述的方法,其中,从所述任一边缘的一预定邻域内的多个图像数据样本来计算所述任一边缘的所述第一和第二度量以及所述边缘锐度度量。
19.根据权利要求8所述的方法,其中,鉴于梯度与像素计数之间的距离具有一长度单位、梯度值的单位是一能量单位除以一单位长度、以及规格化梯度值是没有单位的,所述任一边缘的所述边缘锐度度量的单位是一长度单位的一幂。
20.根据权利要求8所述的方法,其中,鉴于梯度与像素计数之间的距离具有一长度单位、梯度值的单位是一能量单位除以一单位长度、以及规格化梯度值是没有单位的,在每一图像数据样本具有一能量单位、以及任一对图像数据样本之间的差除以该对样本之间的距离而有的单位是一能量单位除以一长度单位的情况下,所述任一边缘的所述边缘锐度度量的单位中是没有能量单位的。
21.根据权利要求8所述的方法,其中,在从所述产生所述聚焦信号忽略所述边缘的情况下,不评估所述边缘的所述边缘锐度度量。
22.根据权利要求8所述的方法,其中,在不把其它图像数据样本按比例地缩放但把所述多个图像数据样本以一非零缩放因子按比例地缩放,对所述第一和第二度量并不产生影响。
23.根据权利要求8所述的方法,其中,所述第一和第二度量两者均受以一非零缩放因子按比例地缩放所述多个图像数据样本所影响。
24.根据权利要求7所述的方法,其中,所述第一度量为一宽度、一梯度值或梯度值之间的差、梯度的一第一导数、以及对照于距离而绘制的跨越所述边缘的梯度序列下的一面积中的任一者。
25.根据权利要求7所述的方法,其中,所述第一度量为一梯度值或梯度值之间的差、梯度的一第一导数、以及对照于距离而绘制的跨越所述边缘的梯度序列下的一面积中的任一者,且为所述边缘的一峰梯度值或经内插峰梯度值所规格化。
26.根据权利要求7所述的方法,其中,所述第一度量是由一峰梯度值或经内插峰梯度值所规格化的经内插梯度值,并距一跨越所述边缘的梯度序列的一峰梯度或经内插峰有一预定义距离。
27.根据权利要求8所述的方法,其中,所述任一边缘的所述第一度量是所述任一边缘的一预定义未分部分的一宽度,所述预定义未分部分是以预定方式针对所述任一边缘的所述多个图像数据样本而定义的。
28.根据权利要求8所述的方法,其中,所述任一边缘的所述第二度量是所述任一边缘的一预定义未分部分的一宽度,所述预定义未分部分是以预定方式针对所述任一边缘的所述多个图像数据样本而定义的。
29.根据权利要求8所述的方法,其中,所述任一边缘的所述边缘锐度度量是所述任一边缘的一预定义未分部分的一宽度,所述预定义未分部分是以预定方式针对所述任一边缘的所述多个图像数据样本而定义的。
30.根据权利要求27或28或29所述的方法,其中,所述预定义未分部分是所述任一边缘的、具有某对比度的最窄未分部分,该某对比度是跨越所述任一边缘的对比度的一预定部分。
31.根据权利要求27或28或29所述的方法,其中,所述预定义未分部分由所述边缘的具有高于一预定阈值的梯度值的所有像素组成。
32.根据权利要求27或28或29所述的方法,其中,所述预定义未分部分为一跨越所述边缘的二阶导数序列的一正峰(或经内插峰)与一负峰(或经内插峰)之间的一最宽未分部分。
33.根据权利要求7所述的方法,其中,任一边缘的所述第二度量为一宽度、一梯度值或梯度值之间的差、梯度的一第一导数、以及对照距离而绘制的跨越所述边缘的梯度序列下的一面积中的任一者。
34.根据权利要求8所述的方法,其中,所述任一边缘的所述第二度量是梯度值之间的一差以及梯度的一第一导数中的任一者,且为所述任一边缘的一峰梯度值或经内插峰梯度值所规格化,且所述第二度量不是所述任一边缘的所述边缘锐度度量。
35.根据权利要求8所述的方法,其中,所述任一边缘的所述第二度量是为一跨越所述任一边缘的梯度序列的一峰梯度或经内插峰的梯度值所规格化的、在距所述峰梯度或经内插峰一预定义距离处的一经内插梯度值,且所述第二度量不是所述任一边缘的所述边缘锐度度量。
36.根据权利要求7所述的方法,其中,任一边缘的所述第二度量测量一梯度或经内插梯度与另一梯度或经内插梯度之间的一距离,所述梯度或经内插梯度和所述另一梯度或经内插梯度两者均为一跨越所述任一边缘的一梯度序列的部分,且共有从所述梯度序列的一峰梯度或经内插峰向下一给定百分比处的一梯度值。
37.根据权利要求7所述的方法,其中,任一边缘的所述第二度量测量对照于距离而绘制的所述任一边缘的一梯度序列下的一区的一面积,且为所述梯度序列的一峰梯度值或经内插峰梯度值所规格化。
38.根据权利要求7所述的方法,其中,任一边缘的所述第二度量为一跨越所述任一边缘的一梯度序列的一峰梯度值除以一跨越所述任一边缘的对比度。
39.根据权利要求7所述的方法,其中,任一边缘的所述第二度量为从一跨越所述任一边缘的一梯度序列的多个梯度到相对于所述多个梯度的一预定义位置的距离的一函数。
40.根据权利要求39所述的方法,其中,将梯度值当作权重时,所述预定义位置为所述多个梯度的重心。
41.根据权利要求40所述的方法,其中,所述函数测量所述多个梯度围着所述预定义位置的一第k阶中心矩,k为一正偶整数。
42.根据权利要求8所述的方法,其中,所述任一边缘的所述第二度量等于来自一跨越所述任一边缘的一梯度序列的多个梯度值的一幂的总和,且为一峰梯度值或一针对所述梯度序列而内插的经内插峰梯度值的所述幂所规格化,且所述第二度量不是所述任一边缘的所述边缘锐度度量。
43.根据权利要求42所述的方法,其中,所述多个梯度值中的每一梯度值都超过或等于所述峰梯度值或所述经内插峰梯度值的一预定分数。
44.根据权利要求43所述的方法,其中,对于所述多个梯度值中的每一梯度值,从所述第二度量减去等于所述预定分数的一常数。
45.根据权利要求8所述的方法,其中,所述任一边缘的所述边缘锐度度量是测量一梯度或经内插梯度与另一梯度或经内插梯度之间的一距离,所述梯度或经内插梯度和所述另一梯度或经内插梯度两者均为一跨越所述任一边缘的梯度序列的部分,且共有从所述梯度序列的一峰梯度或经内插峰向下一给定百分比处的梯度值。
46.根据权利要求8所述的方法,其中,所述任一边缘的所述边缘锐度度量是测量对照于距离而绘制的所述任一边缘的一梯度序列下的一区的一面积,并除以所述梯度序列的一峰梯度值或经内插峰梯度值。
47.根据权利要求8所述的方法,其中,所述任一边缘的所述边缘锐度度量为一跨越所述任一边缘的一梯度序列的一峰梯度值除以一跨越所述任一边缘的一对比度。
48.根据权利要求8所述的方法,其中,所述任一边缘的所述边缘锐度度量是从一跨越所述任一边缘的一梯度序列的多个梯度到相对于所述多个梯度的一预定义位置的距离的函数。
49.根据权利要求书48所述的方法,其中,将梯度值当作权重时,所述预定义位置为所述多个梯度的重心。
50.根据权利要求书48所述的方法,其中,所述函数测量所述多个梯度围着所述预定义位置的一第k阶中心矩,k为一正偶整数。
51.根据权利要求书48所述的方法,其中,所述多个梯度值中的每一梯度值超过或等于所述梯度序列的一峰梯度值或经内插峰梯度值的一预定分数。
52.根据权利要求书51所述的方法,其中,对于所述多个梯度值中的每一梯度值,从所述第二度量减去等于所述预定分数的一常数。
53.根据权利要求7所述的方法,其进一步包括:取决于所述权重,将所述边缘存储在一存储器中。
54.根据权利要求8所述的方法,其进一步包括:视乎所述权重,在一显示器上显示所述边缘。
55.根据权利要求7所述的方法,其中,所述计算装置包括一缓冲器,每一次存储所述图像的至少一部分。
56.根据权利要求1-6中任一权利要求所述的方法,其中,存在一具有完美反射对称性的伪梯度序列,使得如果所述伪梯度序列跨越所述边缘,那么所述确定将减小所述权重。
57.根据权利要求56所述的方法,其中,所述伪梯度序列为{0,0.2,0.2,0.7,0.7,1,0.7,0.7,0.2,0.2,0}。
58.根据权利要求7所述的方法,其中,并非任一边缘的所述第一和第二度量两者均涉及从一跨越所述任一边缘的梯度序列来测量处于不同梯度水平的宽度或像素计数。
59.根据权利要求7所述的方法,其中,在从一跨越所述边缘的梯度序列来评估所述第一和第二度量两者的情况下,所述第一和第二度量两者并非都取决于该梯度序列的一峰梯度的两侧的多个梯度。
60.根据权利要求7所述的方法,其中,所述第一和第二度量两者都不是从一个正梯度和一个负梯度来计算而得到。
61.根据权利要求4或5所述的方法,其中,不是对于每一如下所述的可能的边缘所述第一度量都会产生满足所述准则的值,即,该可能的边缘的一预定邻域中的图像数据样本中有沿着一条垂直于该边缘且穿过该边缘的一中点的线的完美反射对称性。
62.一种电路,其从一场景的一图像的多个边缘产生一聚焦信号以指示一图像尖锐程度,该电路包括:
一边缘检测与宽度测量(EDWM)构件;以及,
一聚焦信号计算构件,
其中,该边缘检测与宽度测量构件检测该图像的图像数据中的多个边缘,针对所述多个边缘确定其个别的权重,且针对将对该聚焦信号作贡献的边缘评估其边缘锐度度量,
其中,考虑到所述权重,该聚焦信号计算构件从所述边缘锐度度量产生一聚焦信号,
其中,该边缘检测与宽度测量(EDWM)构件实施权利要求1-6中任一权利要求所述的方法。
63.根据权利要求62所述的电路,其中,存在一具有完美反射对称性的伪梯度序列,使得如果所述伪梯度序列跨越所述边缘,那么所述确定将减小所述权重。
64.一种图像捕捉系统,其包括:
一聚焦透镜;
一孔口;
一图像传感器,其包括一图像感测像素阵列;
一聚焦透镜电动机构件;以及,
权利要求63所述的电路。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2011/052515 WO2012076992A1 (en) | 2010-12-07 | 2011-06-09 | Auto-focus image system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103262524A CN103262524A (zh) | 2013-08-21 |
CN103262524B true CN103262524B (zh) | 2018-01-05 |
Family
ID=48964013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180059197.0A Expired - Fee Related CN103262524B (zh) | 2011-06-09 | 2011-06-09 | 自动聚焦图像系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103262524B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015209404B4 (de) * | 2015-05-22 | 2018-05-03 | Sirona Dental Systems Gmbh | Verfahren und Kamera zur dreidimensionalen Vermessung eines dentalen Objekts |
CN108282623B (zh) * | 2018-01-26 | 2019-10-11 | 北京灵汐科技有限公司 | 成像元件、成像设备和图像信息处理方法 |
CN113826376B (zh) * | 2019-05-24 | 2023-08-15 | Oppo广东移动通信有限公司 | 用户设备和斜视校正方法 |
CN117097984B (zh) * | 2023-09-26 | 2023-12-26 | 武汉华工激光工程有限责任公司 | 一种基于标定和复合搜索的相机自动对焦方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6876775B2 (en) * | 2001-02-16 | 2005-04-05 | Canesta, Inc. | Technique for removing blurring from a captured image |
CN101065959A (zh) * | 2004-10-05 | 2007-10-31 | 诺基亚公司 | 用于检验数字图像的取景和锐度的系统和方法 |
US7343047B2 (en) * | 2004-09-22 | 2008-03-11 | Hewlett-Packard Development Company, L.P. | Systems and methods for arriving at an auto focus Figure of Merit |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1624672A1 (en) * | 2004-08-07 | 2006-02-08 | STMicroelectronics Limited | A method of determining a measure of edge strength and focus |
-
2011
- 2011-06-09 CN CN201180059197.0A patent/CN103262524B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6876775B2 (en) * | 2001-02-16 | 2005-04-05 | Canesta, Inc. | Technique for removing blurring from a captured image |
US7343047B2 (en) * | 2004-09-22 | 2008-03-11 | Hewlett-Packard Development Company, L.P. | Systems and methods for arriving at an auto focus Figure of Merit |
CN101065959A (zh) * | 2004-10-05 | 2007-10-31 | 诺基亚公司 | 用于检验数字图像的取景和锐度的系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103262524A (zh) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103416052B (zh) | 自动聚焦控制系统的产生聚焦信号的方法 | |
RU2466438C2 (ru) | Способ облегчения фокусировки | |
US8630504B2 (en) | Auto-focus image system | |
CN103262524B (zh) | 自动聚焦图像系统 | |
JP2014078021A (ja) | オートフォーカス画像システム | |
CN103650473B (zh) | 自动聚焦图像方法 | |
JP2014504375A5 (zh) | ||
AU2011340207A1 (en) | Auto-focus image system | |
JP6057086B2 (ja) | 画像の鮮明さ度合いを決定する方法および画像ピックアップ装置 | |
CN103283215B (zh) | 自动聚焦图像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180105 Termination date: 20210609 |