CN101849407B - 自动聚焦信号产生方法 - Google Patents

Abstract

一种自动聚焦图像系统，其包括耦合到一控制器的一图像传感器。该图像传感器捉取一图像，所述图像具有至少一个具有一宽度的边缘。该控制器产生一聚焦信号，其随该边缘宽度而变。一透镜接收该聚焦信号且调整一聚焦。该边缘宽度可通过各种技术来确定，包括梯度的使用。边缘宽度的一直方图可用以确定一特定图像是已聚焦还是未聚焦。具有一大的瘦边缘宽度计数的一直方图表示有一已聚焦图像。

Description

自动聚焦信号产生方法

相关申请案的交叉参考 

本申请案主张2007年10月22日申请的第61/000,053号美国临时申请案和2008年4月11日申请的第12/082,577号美国非临时申请案的优先权。 

技术领域

所揭示的标的物大体上涉及自动聚焦以电子方式捉取的图像。 

背景技术

例如数码相机和数字摄像机等照相设备可包含电子图像传感器，所述电子图像传感器捉取光以用于分别处理为静态或视频图像。电子图像传感器通常包含数百万个例如光电二极管等光捉取元件。 

例如相机等许多图像捉取装置包括一自动聚焦系统。自动聚焦的过程包括以下步骤：捉取一图像，处理该图像以确定其是否已聚焦，且如果没有，那么产生一反馈信号，其用以改变装置透镜的聚焦。存在两种主要的自动聚焦技术。第一种技术涉及对比度测量，另一技术着眼于成对图像之间的相位差。在该对比度方法中，分析邻近像素之间的强度差，且调整该聚焦，直到检测到一最大对比度为止。虽然对于静态图片可接受，但该对比度技术不适用于运动视频。 

该相位差方法包括将一传入的图像分裂为由分开的多个图像传感器捉取的两个图像。将该等两个图像进行比较以确定一相位差。调整该聚焦，直到该等两个图像匹配为止。该相位差方法需要额外的部件，例如光束分裂器和一额外的图像传感器。另外，该相位差方法分析一相对小的地带的固定检测点。具有一小组的检测点容易出错，因为噪声可能叠加到一个或一个以上点上。此技术在该等检测点不与一图像边缘重合的情况下也是无效的。最终，因为该相位差方法分裂该光，所以撞击在一光传感器上的光的量减半。这在该图像光强度已较低的暗淡环境中可出现问题。 

发明内容

一种自动聚焦图像系统，其包括耦合到一控制器的一图像传感器。该图像传感器捉取一图像，其具有至少一个具有一宽度的边缘。该控制器产生一聚焦信号，其随该边缘的宽度而变。 

附图说明

图1是一自动聚焦图像系统的一图解； 

图2是展示一自动聚焦过程的一流程图； 

图3是展示该系统的一控制器的一示意图； 

图4是该控制器的另一实施例的一示意图； 

图5是该控制器的另一实施例的一示意图； 

图6是展示一高斯滤波器的脉冲响应的一曲线图； 

图7a是展示一阈值滤波器的一曲线图； 

图7b是展示多个图像像素的若干水平和垂直梯度的一图解； 

图7c是展示若干水平边缘的一图解； 

图7d是展示若干垂直边缘的一图解； 

图8a和8b是展示与垂直和水平边缘成一近似45度关系的多个像素的该等梯度的图解； 

图8c和8d是展示从图8a和8b中所示的该像素阵列的边缘的该划分识别的图解； 

图8e是展示利用梯度滞后的对垂直边缘的识别的一图解； 

图8f是展示利用梯度滞后的对水平边缘的识别的一图解；

图9是展示一确定一边缘宽度的过程的一流程图； 

图10a是展示一选定边缘的该等像素的一图解； 

图10b是展示具有超过一阈值的若干梯度的该等像素的一图解； 

图10c是展示用于一经聚焦边缘和一未经聚焦边缘的亮度值的一图解； 

图10d是展示用于一经聚焦边缘和一未经聚焦边缘的若干梯度值的一图解； 

图11a是展示用于一边缘的像素的若干亮度值的一图解； 

图11b是展示用于两个边缘的像素的若干梯度值的一图解； 

图12是一控制器的一替代实施例的一示意图； 

图13是展示一用以确定边缘的极性的过程的一流程图； 

图14是一控制器的一替代实施例的一示意图； 

图15是展示一用以确定边缘宽度的过程的一流程图； 

图16a是用于一未经聚焦图像的边缘宽度的一直方图； 

图16b是用于一经聚焦图像的边缘宽度的一直方图； 

图17a是具有用于一未经聚焦图像的经加权边缘宽度的一直方图； 

图17b是具有用于一经聚焦图像的经加权边缘宽度的一直方图。 

具体实施方式

所揭示的是一种自动聚焦图像系统，其包括耦合到一控制器的一图像传感器。该图像传感器捉取一图像，其具有至少一个具有一宽度的边缘。该控制器产生一聚焦信号，其随边缘宽度而变。一透镜接收该聚焦信号且调整一聚焦。该边缘宽度可通过各种技术确定，包括梯度的使用。边缘宽度的一直方图可用以确定一特定图像经聚焦还是未经聚焦。具有一大的计数的瘦边缘宽度的一直方图指示一经聚焦图像。 

更仔细地通过参考数字参看附图，图1展示一自动聚焦图像系统102的一实施例。该系统102可为一数字静态相机的部分，但应了解，该系统可实施在任何需要对一图像进行受控聚焦的装置之中。该系统102可包括一透镜104、一光圈106、一图像传感器108、一A/D转换器110、一处理器112、一显示器114、一存储器卡116和一透镜致动器118。来自一场景的光通过该透镜104进入。该光圈106控制进入该图像传感器108中的光的量。该图像传感器108产生一模拟信号，其由该A/D转换器110转换为一数字信号。该数字信号随后被发送到该处理器112，处理器112执行各种处理，例如内插。该处理器112产生一聚焦控制信号，其被发送到该透镜致动器118以控制该光圈106和该透镜104两者。一经聚焦图像最终被提供到该显示器114和/或存储在该存储器卡116中。该处理器112执行用以聚焦的算法。该图像传感器108、A/D转换器110和处理器112可全部驻留在相同的集成电路芯片上。 

图2展示一用以自动聚焦一图像的过程的一流程图。在框202中，在当前聚焦位置处捉取一图像。在框204中，处理该图像以确定一聚焦信号FEV。在决策框206中，该处理器基于该聚焦信号FEV而确定 该图像是否已聚焦。如果该图像被认为模糊，那么该过程前进到框208，其中选择一不同的聚焦位置且重复过程框202、204和206。如果该图像经聚焦，那么该过程结束。 

图3展示一图像提供单元302，其连接到一自动聚焦控制器304。该单元302将若干图像提供到该控制器304。该控制器304可实施为一电子装置的一部分，例如一相机或一类似装置中的一处理单元。一图像提供单元302可为一数字静态相机，但不限于此一实施例。该单元302可为一扫描仪、一数字摄像机、一网络摄像机或可提供数字图像以及允许对该图像到该透镜的焦距进行调整的任何装置。该单元302也可为一存储器卡、一具有若干数字图像的硬盘，或可向该控制器304提供具有变化程度的聚焦距离的数字图像的任何装置。 

该聚焦控制器304可包括一边缘检测单元306、一宽度测量单元308以及一聚焦信号产生单元310。该边缘检测单元306从由该图像提供单元302提供的该等数字图像中的数据中检测边缘的存在。该等检测到的边缘随后被发送到该宽度测量单元308，其中测量和计算该等边缘的宽度。该等计算出的边缘宽度被提供到该聚焦信号产生单元310，其中基于该等边缘的该等宽度测量该图像的锐度。该图像的该锐度是以该控制器304产生的一聚焦信号312来表示。 

图4展示连接到一图像提供单元402的一聚焦控制器400的另一实施例。该控制器400包括一梯度测量单元404和一聚焦信号产生单元406。该梯度测量单元404从由该图像提供单元402提供的该等数字图像中的数据中检测边缘的存在。该等检测到的边缘随后被发送到该聚焦信号产生单元406，其产生表示图像锐度的一聚焦信号408。 

图5展示接收一图像502的一边缘检测单元306的一实施例。该边缘检测单元306包括一RGB变换单元504，其变换该图像以使得一图像的三个信号红、绿和蓝转换为一单个信号。此信号可通过将该图像变换为一灰度级图像而产生。若干技术可用以将一图像变换为一灰度级。RGB值可用以计算一亮度或色度值，或可采用一特定比率的RGB值来形成该灰度级图像。举例来说，可用以下等式计算该亮度值： 

Y＝0.2126*R+0.7152*G+0.0722*B，其中Y＝亮度值。 

来自该灰度级图像的该信号随后由一噪声移除单元506处理，其中对该图像执行一先前噪声移除。该噪声移除单元506可为一低通滤 波器或一高斯滤波器。图6说明一高斯滤波器的脉冲响应。该高斯滤波器弄平周围像素之间的像素信号值。 

参看图5，随后用一梯度产生单元508来计算该经处理图像的该梯度。存在各种方法可用以计算该梯度，包括拉普拉斯算子(Laplacian)和索贝尔算子(Sobel)。在一个实施例中，该边缘检测单元306分别的检测垂直和水平边缘。因此，计算跨越复数的列的该梯度和跨越复数的行的该梯度分别以一Sobel-X算子和一Sobel-Y算子来分别检测垂直边缘和水平边缘。像素位置[k，q]处的Sobel X算子(其中k为行数且q为列数)由该等式Sx[k，q]＝G[k，q+1]-G[k，q-1]给出。同一位置处的Sobel Y算子由等式Sy[k，q]＝G[k+1，q]-G[k-1，q]给出。 

一旦计算出该梯度，一滤波器便在一倾斜边缘指派单元510中将若干倾斜边缘指派为水平边缘或垂直边缘。该滤波器可呈一简单阈值滤波器或一滞后滤波器的形式。图7a展示一阈值滤波器。图7b展示来自一图像的一部分的多个像素与每一像素的水平和垂直梯度。每一像素的该水平梯度展示于每一正方形的左上角，其中每一正方形表示一像素，而该垂直梯度展示于右下角。对于图7a中所示的该阈值滤波器，如果其水平梯度大于其垂直梯度，则将一边缘标记为一垂直边缘，反之亦然。图7c和图7d展示因图7b所示的该梯度而分别标示为水平边缘H和垂直边缘V的多个像素。 

用于指派边缘的另一技术是使用一滞后。假定该等像素是从顶部到底部沿该等列扫描，且从左到右依序逐列扫描。(一替代扫描方案可沿该行水平扫描，且从顶部到底部依序逐行扫描。)对已经扫描的若干像素执行将一像素指派到一垂直或一水平边缘。对于一当前像素，已经扫描的三个最近像素位于顶部、左边和左上方处。在这三个像素中，具有最大梯度的一个像素(无论垂直还是水平)被选作一参考像素。该参考像素的选定边缘方向是该当前像素的优选方向。给定一正梯度滞后值。如果该优选方向是水平的，那么如果该水平梯度不大于该垂直梯度与该梯度滞后的总和，则将该当前像素标记为水平的；否则将该像素标记为垂直的。如果该优选方向是垂直的，那么如果该垂直梯度不大于该水平梯度与该梯度滞后的总和，则将该当前像素标记为垂直的；否则将该像素标记为水平的。图8e和8f分别展示一垂直边缘梯度图和一水平边缘梯度图，其使用一滞后2。该滞后滤波器方法优 于该阈值滤波器方法的一优点是一较低的边缘断裂的可能性，该边缘断裂源自一近45度边缘相对於中的像素的随机指派为水平和垂直边缘，其缘自几乎相等的垂直和水平梯度量值，例如图8a所示的情形。这可导致一边缘分裂为若干窄的边缘，如图8c和8d所示。这将与图8e和8f所示的未展现此些问题的结果进行比较。 

再次参看图5，一边缘精细化单元512把该倾斜边缘指派单元510所提供的该等边缘精细化。此精细化在存在许多边缘挤在一起而使得多个边缘可能彼此重叠时是必要的。边缘精细化确保在该多个重叠边缘当中只有最陡的边缘得以保留。在精细化之后，将该经处理图像提供到噪声移除单元514，其移除噪声。该噪声移除单元514可排除具有落在一预定窗之外的梯度级的边缘。该噪声移除单元514的目的是确保在亮区域和暗区域中由噪声引起的伪边缘被消除。由单元514提供一经处理数据信号516。 

图9展示一由该边缘精细化单元512执行的过程。在过程框902中起初找到同一边缘中的多个像素中的最大梯度。如果多个像素是邻接的、具有非零梯度且具有相同的梯度极性，那么该等像素在同一边缘中。接下来，在框904中消除其量值小于一预定阈值的梯度。扫描剩余梯度以分别在框906和908中挑选出该斜坡的开始和结束。图10a展示一边缘的全部梯度值的一趋势，其在执行边缘精细化之前在位置2开始且在位置9结束。该趋势的在位置4的峰代表该边缘最显著的位置。边缘精细化是在可能存在边缘的拥挤从而引起梯度信号的一重叠时进行。因此当计算该边缘的宽度时仅考虑邻近于该梯度趋势的峰的若干显著梯度值。阈值1004被计算为该边缘的峰梯度值1002的一预定分数；因此移除梯度值小于该阈值1004的若干像素，从而在此实例中仅留下具有高于该阈值1004的梯度值的三个像素。因此，此特定边缘的该宽度是3个像素宽。该斜坡的该开始被修正到位置3，且该结束被修正到位置5。 

图5所示的噪声移除单元514检查每一边缘且决定该边缘上的梯度量值是否过低，且如果是，则丢弃该边缘。此具有一益处，即移除伪边缘，其在一暗淡区中缘自于噪声，或在一亮区中缘自于场景的反射率的一微小改变，其不表示真实的边缘。噪声移除单元514的一个实施例是取该亮度信号(或一般来说，RGB变换单元504的输出信号) 于该边缘的开始位置处和结束位置处的之间的差。其量值于边缘精细化单元512所提供且在图9所示的该流程图的框906和908中描述的若干位置处与该等相同开始和结束位置处的信号的平均值的一预定分数(另外称为边缘舍弃阈值)相比较。如果该差较小，那么将该边缘认作伪的而舍弃。在该噪声移除单元514的另一实施例中，将该边缘内的最大梯度量值与该边缘的开始位置处和结束位置处的亮度信号(或一般来说，RGB变换单元504的该输出信号)的平均值的一预定分数进行比较，且在该最大梯度量值较小的情况下将该边缘认作伪的而舍弃。 

图10c说明使用一边缘过渡宽度来产生聚焦反馈信号的一方法。线1006是该相同边缘上的一相对未聚焦图像的该图像信号。线1008表示一边缘上的一相对尖锐的经聚焦图像的一图像信号。其信号值可为该图像的亮度，或色度通道中的一者。该水平轴是从左到右的一像素计数。该垂直轴是该信号值。该较差聚焦图像信号1008需要约5个像素来进行从左侧的较低信号值到右侧的较高信号值的过渡，其在像素3处开始且在像素7处结束。较佳聚焦图像信号1008需要约3个像素来进行从像素4到6的过渡。该较差聚焦图像信号1006的过渡宽度是5，因此大于该较佳聚焦图像信号1008的过渡宽度(其为3)。 

图10d说明使用梯度和在基于一相邻像素区中的峰梯度的一分数的阈值来计算该过渡宽度。因此该梯度通过索贝尔算子计算。举例来说，像素5处的梯度是像素7处的一信号值减去5处的信号值。可使用一不同的梯度计算方法，只要其产生与该过渡斜坡的陡度成比例的值。线1010表示该较差聚焦图像信号1006的一梯度曲线。线1012表示较尖锐聚焦图像信号1008的一梯度曲线。该经聚焦图像的峰值在60，而该较差聚焦图像的峰值在一较低值，大约30的。该梯度阈值计算为在该相邻像素区中的峰值的三分之一(1/3)，在此情况下分别为对于1012为60且对于1010为30，从而分别对于1012产生20且对于1010产生10。该等梯度阈值分别展示为1014和1016的线。为了给1008计算边缘过渡宽度，对梯度值1012高于阈值1016的邻接像素进行计数，从而给出3。同样，该相同的程序对于1006给出5。 

图11a展示2个连续边缘的多个亮度信号值，且展示一第一边缘1102的平均值和1104的平均值。图11b说明该等相同像素的梯度量值。 一第一边缘在位置2开始且在位置5结束。具有一低得多的峰梯度的一第二边缘在位置8开始且在位置9结束。从图11a所示的平均值找到分别针对第一和第二边缘的边缘舍弃阈值电平1106和1108。该第一边缘的峰梯度出现在位置4处，且远高于该边缘舍弃阈值1106，因此不舍弃该第一边缘1102。另一方面，该第二边缘具有一峰梯度在位置8处，其低于该边缘舍弃阈值1108，因此舍弃该第二边缘1104。作为一实例，该边缘舍弃阈值可为该边缘的亮度信号平均值的5％。在计算该边缘舍弃阈值时，该边缘信号平均值可为该边缘内的所有像素上的平均值，或开始位置处和结束位置处的平均值，或成比例地表示该边缘内的平均信号电平的任何公式。 

图12展示该边缘检测单元306的另一实施例，其接收一图像1202。该图像是提供到一RGB变换单元1204，其中一图像的三个信号红、绿和蓝被转换为一单个信号。该信号可通过将该图像变换为一灰度级图像而产生。若干方法可用以将一图像变换为一灰度级图像。举例来说，RGB值可用以计算亮度或色度值，或可采用一特定比率的RGB值来形成该灰度级图像。举例来说，可用以下等式计算该亮度值： 

Y＝0.2126*R+0.7152*G+0.0722*B，其中Y＝亮度值。 

来自该灰度级图像的该信号是由噪声移除单元1206来处理，其中对该图像执行一先前噪声移除。该噪声移除单元1206可为一低通滤波器或一高斯滤波器。随后由一梯度产生单元1208计算该经处理图像的梯度。存在各种方法可用以计算该梯度，包括拉普拉斯算子和索贝尔算子。该计算出的梯度表示该等图像内的边缘，且可用以确定该图像的锐度。该梯度产生单元1208提供经处理数据1210。 

图13是可由该梯度产生单元508和1208执行的一过程的一流程图。在框1302中，该索贝尔边缘检测算子是应用在该图像上。该索贝尔算子基于给于该算子的信号而检测该图像中的一改变。举例来说如上所述，可将该图像亮度、色度或仅仅是红、绿和蓝值之间的一比率馈送到该索贝尔算子以作为信号G。像素位置[k，q]处的Sobel X算子(其中k为行数且q为列数)由等式Sx[k，q]＝G[k，q+1]-G[k，q-1]给出。同一位置处的该Sobel Y算子由等式Sy[k，q]＝G[k+1，q]-G[k-1，q]给出。在此实施例中，该索贝尔算子通过表示一负梯度来检测信号电平中的一减小的改变，且使用一正梯度来检测一增加的改变。取决于 如何应用该索贝尔算子，可使用其它表示法来表达信号电平中的改变。在框1304中，可使用极性的差异来确定该等边缘及其相应宽度。 

参看图3，该宽度测量单元308接收由该边缘检测单元306识别的边缘。在一个实施例中，该宽度测量单元308接收例如在图9的步骤906和908中产生的每一边缘的开始位置和结束位置，且进一步传递到图5所示的噪声移除单元514。该边缘的宽度是该结束位置与该开始位置之间的差加1。 

作为一说明，考虑图8e，其展示一垂直边缘梯度图。从左到右水平地且从该顶部行到底部行依序扫描，且考虑到低于5的梯度量值被舍弃而高于5的梯度量值被接受的所有像素，报告给宽度测量单元308的第一边缘具有一宽度3，在行R1、列C1处开始且在行R1、列C3处结束。第二边缘具有一宽度3，在行R2、列C2处开始且在行R2、列C4处结束。第三边缘具有一宽度3，在行R3、列C3处开始且在行R3、列C5处结束。第四且最后的边缘具有一宽度3，在行R4、列C4处开始且在行R4、列C6处结束。 

类似地扫描图8f中的水平边缘梯度图，但是以转置方式，即沿列垂直地从顶部到底部且从左边列到右边列依序地扫描。找到两个边缘：列C5中的具有一宽度1的一第一边缘以及列C6中的具有一宽度2的一第二边缘。 

图14展示该聚焦信号产生单元310的一实施例。来自该宽度测量单元308的宽度1402由该聚焦信号产生单元310使用以测量该图像的锐度。落在预定阈值外的宽度将被丢弃，而将在宽度选择单元1404中选择剩余边缘。一聚焦信号计算单元1406基于该选定的边缘宽度产生一聚焦信号1408。或者，由该宽度测量单元308计算的所有该等宽度的平均宽度可用作该聚焦信号1408。 

图15是展示一用以确定该等边缘宽度的平均值的过程的一流程图。基于框1502和1504中的预定阈值而丢弃若干边缘宽度。在框1506和1508中，可通过取该等剩余宽度的平均值或者对该数据的其它操作(例如对较大宽度施加较高权重且随后取其平均值)来计算该聚焦信号。 

图16a和图16b分别展示一模糊图像和一尖锐图像的典型宽度分布。该x轴表示该宽度大小，而该y轴表示该边缘计数。因此观察到， 模糊图像具有约4到5个像素宽的较宽宽度，而尖锐图像具有约2到3个像素宽的较小宽度。一图像的锐度与该等边缘宽度之间的关系是所产生的聚焦信号的基础。 

从例如图16b的一已聚焦位置到例如图16a的一未聚焦位置的直方图的典型改变使得该未聚焦位置处的较宽区间中的峰计数数目小于该已聚焦位置处的较窄区间中的峰计数。这可如下理解。在该已聚焦位置处，存在许多窄边缘。这些窄边缘可在未聚焦位置处消失，因为其梯度落在预定阈值以下，或者其合并在一起以形成较宽边缘，其于是在数目上较少。经验上，宽边缘的数目与边缘宽度成反比。为了抵消此影响以使得在一未聚焦位置处该等较宽边缘区间有计数类似于与在已聚焦位置处较窄边缘的区间具有的计数，将每一区间中的计数乘以一不同的权重，使得较宽区间接收到较大的权重。图17a展示一模糊图像在施加权重之前的一宽度分布，且图17b展示在权重的该施加之后的一宽度分布。在此实施例中，对于每一宽度，置于该边缘计数上的该权重是该宽度本身。举例来说，如果存在处于宽度2的10个边缘的一计数，那么这10个边缘将乘以2以获得20，一新的计数。 

该自动聚焦控制器的一个优点是若干不同图像的最小聚焦信号FEV具有近似相同的值。这确保即使该相机正在摇动，该透镜也将保持在相同的位置，但该图像仍保持尖锐。另一优点在于具有不同聚焦距离的一场景的最大与最小聚焦信号之间的范围足够宽以确保可获得最佳聚焦。 

虽然已在附图中描述和展示了特定示范性实施例，但应理解，此些实施例只是说明而不是限制本发明，且本发明不限于所展示和描述的特定构造和布置，因为所属领域的一般技术人员可进行各种其它修改。 

Claims (6)

1.一种用于产生一聚焦信号的方法，其包括：

捉取一图像，所述图像具有至少一个边缘，其具有一宽度；

产生一聚焦信号，其随该边缘宽度而变，

其中，该聚焦信号的该产生包括计算多个图像像素的多个梯度，并且

该方法进一步包括通过去除低于作为一峰梯度的一分数的一阈值的梯度来精细化该边缘宽度。

2.根据权利要求1所述的方法，其中在产生该聚焦信号时，给予该多个边缘宽度多个不同权重，且对一较大边缘宽度施加一第一权重，该第一权重大于对一较小边缘宽度所施加的一第二权重。

3.根据权利要求2所述的方法，其进一步包括：

取得该多个边缘宽度的一经加权平均值。

4.根据权利要求1所述的方法，其中基于多个边缘宽度的一直方图而产生所述聚焦信号，且该多个边缘中的每一边缘被包括在一区间计数中，该方法进一步包括：

将每一区间中的计数乘以一不同的权重，使得较宽区间接收到较大的权重。

5.根据权利要求1所述的方法，其中每一边缘宽度属于该图像中的多个边缘中的一者。

6.根据权利要求1所述的方法，该多个图像像素邻接排列且具有在第一方向上全部共有一梯度极性的多个非零梯度。

Images