CN102455568B - 用于对焦的方法 - Google Patents

用于对焦的方法 Download PDF

Info

Publication number
CN102455568B
CN102455568B CN201110324330.2A CN201110324330A CN102455568B CN 102455568 B CN102455568 B CN 102455568B CN 201110324330 A CN201110324330 A CN 201110324330A CN 102455568 B CN102455568 B CN 102455568B
Authority
CN
China
Prior art keywords
focus
distance
focus area
camera
camera lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110324330.2A
Other languages
English (en)
Other versions
CN102455568A (zh
Inventor
西蒙·莫林
丹尼斯·尼尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN102455568A publication Critical patent/CN102455568A/zh
Application granted granted Critical
Publication of CN102455568B publication Critical patent/CN102455568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

本发明涉及一种用于在相机视图中选择焦点区域的相机和方法,其中在所述相机视图中定义多个焦点区域。所述方法包括:通过将所述相机的镜头距离设置为不同的镜头距离值,来重复设置所述相机的焦点距离以对焦于不同的距离处;响应于设置镜头距离,确定所设置的镜头距离值下每个焦点区域的焦点值;在已确定出多个焦点值和镜头距离值对时,针对多个焦点区域估计至少二维的函数,其中所述函数以镜头距离值的函数表示焦点值;针对函数已被估计的每个焦点区域,计算所述函数的局部最大值点,所述局部最大值点具有镜头距离值;基于所述焦点区域的局部最大值点的镜头距离值和所述焦点区域之间的空间距离,对焦点区域进行分组;对从焦点区域的分组而得到的焦点区域组进行评级;并且基于所述对焦点区域组进行评级来选择焦点区域。

Description

用于对焦的方法
技术领域
本发明涉及相机中的自动对焦和相机视图中的焦点区域选择。
背景技术
捕获相机视图的感兴趣部分中焦点未对准的静止视频或运动视频可能会令人很烦扰。这可能例如是由于相机对焦于相机视图的不同部分或相机根本没有对焦于相机图像视图的任意物体或对象。
已开发和提议出相当多的自动对焦方案来解决这个问题。两个主要的方法分别被称为主动自动对焦和被动自动对焦。主动自动对焦方案包括测量距待捕获的对象的距离并相应地调节相机的焦点。测量一般通过发射例如超声波或红外线来执行。被动自动对焦方案一般包括被动分析来自进入相机的图像视图的光。被动自动对焦方案可以基于相位检测或对比度检测。大多数对比度检测方案包括计算所捕获的相机视图的焦点值,即焦点测量值,然后确定焦点值是否指示清晰图像。在大多数焦点方案中,过程包括计算多个不同镜头距离下的多个焦点值,并且基于该多个或数据点确定在哪个镜头距离下实现了指示清晰图像的焦点值。该过程通常迭代。镜头距离是相机的焦平面与相机镜头的透镜之间的空间关系。因此,镜头距离是在相机/镜头的焦点从附近的物体改变到更远的物体时改变并且反之亦然的镜头属性。
用于查找最佳清晰度的一个普遍使用的方法是用于查找曲线的最大值或最小值的叫做线搜索的一维搜索方法。这在处理自动对焦时非常有利,因为物镜会沿着镜头位置轴查找产生最大焦点值的镜头距离。应用于自动对焦方案的线搜索方法导致需要很少迭代并且稳定的方案。存在许多线搜索方法,这些方法确保在有效和相当低数目的迭代内收敛。两个这种快速方法为黄金分割搜索和斐波那契搜索。这些方法通过逐渐缩小比较边界点与内部点所获得的间隔,然后以迭代方式将边界点移动到内部点的一系列过程来工作。
用于查找导致最清晰图像的镜头距离的频繁使用的另一同类方法为具有自适应步长的爬山算法。爬山算法通过以连续方式步进通过曲线来操作。步长经常根据焦点值阈值来调节,使得对焦马达在最大值附近时采取较小的步长。
发明内容
本发明的目的在于提供一种改进的相机和改进的对焦方法。
具体来说,根据本发明的一个实施例,一种用于在相机视图中选择焦点区域的方法,其中在相机视图中定义多个焦点区域,所述方法包括:通过将所述相机的镜头距离设置为不同的镜头距离值,来重复设置所述相机的焦点距离以对焦于不同的距离处;响应于设置镜头距离,确定所设置的镜头距离值下每个焦点区域的焦点值;在已确定出多个焦点值和镜头距离值对时,针对多个焦点区域估计至少二维的函数,其中所述函数以镜头距离值的函数表示焦点值;针对函数已被估计的每个焦点区域,计算所述函数的局部最大值点,所述局部最大值点具有镜头距离值;基于所述焦点区域的局部最大值点的镜头距离值和所述焦点区域之间的空间距离,对焦点区域进行分组;对从焦点区域的分组而得到的焦点区域组进行评级;并且基于所述对焦点区域组进行评级来选择焦点区域。
该实施例的一个优点在于,其能够仅仅利用少数不同的镜头距离来找到焦点的局部最大值。其原因在于,用于估计这种函数的算法仅仅需要少数点,并且这些点可以比在仅使用普通爬山算法的情况下间隔更远。因此,本发明的方法较快地找到局部焦点最大值,因为设置新的镜头距离所需的时间段相对于处理器周期较长。而且,需要镜头距离的少数设置的事实使被布置为控制镜头的焦点的对焦马达比在利用现有技术方法的实施方式中持续更长时间。进一步,通过基于焦点区域中局部最大值点的镜头距离值对焦点区域进行分组,可以在很大程度上改善对焦,因为与感兴趣的物体相关的焦点值不会由于离相机更远或更近的物体而偏斜。
根据另一实施例,镜头距离的焦点值利用对比度测量方法来确定,这使得可以利用例如包括普通图像传感器和运行分析代码的处理装置的简单硬件配置来测量焦点值。
在一个实施例中,估计函数的动作是估计多项式,这使得可以非常快速地估计局部焦点最大值。
在另一实施例中,估计函数的动作是估计样条函数,其具有使得局部焦点最大值的预测更精确的潜能,但与利用多项式估计的方法相比可能会稍微损失速度。
根据另一实施例,所述对焦点区域进行分组包括:利用每个焦点区域的镜头距离值以及从每个焦点区域到所有其它焦点区域的空间距离,对所述焦点区域应用图像分割算法。图像分隔算法被用于快速查找图像中感兴趣的物体。通过对焦点区域使用这些算法,可以快速地产生一个或多个焦点区域组,每个组包括可能包括相同物体的图像信息的焦点区域。
在一个实施例中,所使用的图像分割算法为图论聚类算法。由于一次计算产生多个例如按照大小减小的顺序排序的物体,因此该算法在本申请中具有优势。因而该方法比在利用其它图像分割算法时变得更快。而且,因为仅仅需要考虑少数变量,因此算法的适配简单。
根据另一实施例,所述对焦点区域组进行评级是基于所述组的大小对所述焦点区域组进行评级,较大的焦点区域组相对于较小的焦点区域组被评级为优选的。基于大小进行评级的优点在于,大小的度量容易处理,并且在许多应用中会是感兴趣物体的最明显的特征。因此,增加了选择包括在感兴趣的物体中的焦点区域的机会。
根据又一实施例,所述对焦点区域组进行评级是基于所述焦点区域组在相机视图内的位置来对所述焦点区域组进行评级,位置较接近于预定位置的焦点区域组相对于位置在离预定义位置较远距离下的焦点区域组被评级为优选的。基于位置进行评级的优点在于,在许多应用中可以预测感兴趣的物体会出现在哪里。因此,增加了选择包括在感兴趣物体中的焦点区域的机会。将以上提及的这两种评级特征进行结合更会增加选择正确的焦点区域的机会。
根据一个实施例,所述评级通过分配得分来执行,较优选的焦点区域组比不是同样优选的焦点区域组得到更多的得分,并且其中所述选择焦点区域是选择包括在已得到可利用得分的一半以上的焦点区域组中的焦点区域。通过如上所述的基于得分选择焦点区域,在相对于时间进行平均时,选择过程变得更快,这是因为该过程不需要在选择焦点区域之前分配所有的得分。而且,可能不需要针对所有区域查找所有的最大值,从而需要的处理减少。
根据一个实施例,所述评级通过分配得分来执行,较优选的焦点区域组比不是同样优选的焦点区域组得到更多的得分,并且其中所述选择焦点区域是选择包括在已得到比留待分配的得分更多得分的焦点区域组中的焦点区域。通过如上所述的基于得分选择焦点区域,在相对于时间进行平均时,选择过程变得更快,这是因为该过程不需要在选择焦点区域之前分配所有的得分。而且,可能不需要针对所有区域查找所有的最大值,从而需要的处理减少。
根据另一实施例,所述用于在相机视图中选择焦点区域的方法被用在用于在相机中进行对焦的方法中。在选择焦点区域时,该方法运行焦点搜索算法,以在所选择的焦点区域中开始搜索计算出的焦点值的局部最大值的镜头距离值,并且将所述镜头距离值设置成由所述焦点搜索算法找到的镜头距离值。
在对焦方法或自动对焦方法中使用焦点区域选择方法的优点在于,焦点区域选择方法在以下过程中利用较少的镜头距离改变步骤实现表示良好焦点值的镜头距离,该过程即使在基于焦点区域选择中所实现的镜头距离应用精细调整过程时也使得对焦过程更快。因此,该对焦过程可以实现快速且精确的自动对焦操作。
根据另一实施例,所述焦点搜索算法限于在包括所选择的焦点区域的焦点区域组中的焦点区域内操作。通过将焦点搜索限制到焦点区域组,在焦点值的计算中仅需考虑感兴趣的区域的焦点,从而限制了非相关图像信息的量。因此,可以显著增加焦点值的质量和镜头距离。
根据本发明的另一方面,一种相机包括:相对于所述相机的相机视图而定义的多个焦点区域;用于将所述相机的镜头距离重复设置为不同镜头距离值的装置;用于响应于设置镜头距离,确定所设置的镜头距离值下每个焦点区域的焦点值的装置,其特征在于,被布置为在确定出多个焦点值和镜头距离值对时,针对每个焦点区域估计至少二维的函数的函数估计器,其中所述函数以镜头距离值的函数表示焦点值;用于针对每个焦点区域,计算所述函数的局部最大值点的装置,所述局部最大值点包括镜头距离值;被布置为基于每个焦点区域的局部最大值点的镜头距离值和所述区域之间的空间距离,对焦点区域进行分组的区域分组装置;被布置为对从焦点区域的分组而得到的焦点区域组进行评级的评级装置;以及被布置为基于所述对焦点区域组进行评级来选择焦点区域的焦点区域选择器。这些设备和装置的优点与实施针对上述方法所公开的相应功能的优点相对应。
本发明的更多应用范围从下面给出的详细描述中将变得明显。然而,应当理解,由于在本发明范围内的各种改变和修改对于本领域技术人员来说从该详细描述中将变得明显,因此将仅通过示例的方式给出示出本发明优选实施例的详细描述和特定示例。
附图说明
从以下参照附图的目前优选实施例的详细描述中,本发明的其它特征和优点将变得明显,附图中:
图1示出根据本发明一个实施例的相机的示意性框图,
图2示出如何针对具体的相机视图限定出焦点区域的示例,
图3a-c示出根据本发明一个实施例的在相机中用于选择焦点区域并进行对焦的方法的流程图,
图4示出根据本发明一个实施例的用于初始查找镜头距离和相对应的焦点值,从而能够估计函数曲线的方法的流程图,
图5示出根据本发明一个实施例的用于精细调整镜头距离,以便基于之前计算的局部焦点最大值查找最佳焦点值的方法的流程图。
具体实施方式
在详细描述本发明之前,应当理解,本发明不限于所描述设备的具体组成部分或所描述方法的具体步骤,这是因为这种设备和方法可以改变。还应当理解,此次使用的术语仅仅用于描述具体实施例的目的,而并不意在进行限制。必须注意,如在说明书和所附权利要求中所使用的那样,冠词、不定冠词和“所述”及其变体意在意味着存在一个或多个元件,除非上下文另外清楚地进行指示。因此,例如,对“一个传感器”或“所述传感器”的引用可以包括若干传感器等。此外,词“包括”不排除其它元件或步骤。而且,在附图中,相同的附图标记在若干幅图中始终指代相同或相应的部件。
图1中示出被布置为执行本发明的一个实施例的相机10。相机10包括外壳12、镜头14、用于记录相机视图的图像的图像传感器16、用于进行初始图像处理的图像处理单元18、用于总体控制并执行程序代码的中央处理单元20、用于临时存储信息的易失性存储器22、用于永久存储信息的非易失性存储器24以及用于通过网络接收和/或传输指令、信息和图像数据的网络接口26。而且,中央处理单元20被布置为实现区域分组装置30、函数估计器32、用于根据函数计算局部焦点最大值的装置33、焦点值计算器34、用于对区域进行评级的评级装置36、用于基于评级选择区域的焦点区域选择器38以及自动对焦控制器40。这些功能可以由中央处理单元20通过布置在运行时执行这些设备的功能的程序代码来实现。进一步,本领域技术人员理解,这些设备的功能也可以使用逻辑电路或其它硬件配置来实施。
自动对焦控制器40被布置为控制镜头14处的对焦马达42,以便调节镜头14的镜头距离,从而调节图像16所捕获的相机视图的焦点。在由中央处理单元20所控制时,自动对焦控制器可以被布置为将相机的镜头距离重复设置为不同的镜头距离值,以便能够在不同的镜头距离设置下采样多个焦点值。镜头距离为相机的焦平面与相机镜头的透镜之间的空间关系。因此,镜头距离是在相机/镜头的焦点从附近的物体改变到更远的物体时改变并且反之亦然的镜头属性。
焦点值计算器34被布置为针对当前的镜头距离计算焦点值。焦点值计算器可以被布置为针对基本上整个相机视图计算焦点值,或者它可以被布置为针对每个焦点区域计算焦点值。如果针对每个区域计算焦点值,则这些值可以被累积或增加到针对基本上整个相机视图的焦点值。
函数估计器32被布置为估计表示多个焦点值-镜头位置对的至少二维的函数。下面将公开该设备的详细功能。
区域分组装置30被布置为对焦点区域进行分组,如以下在相应功能的描述中所描述的那样。
评级装置36被布置为对焦点区域组进行评级,如在下面的过程中所描述的那样。焦点区域选择器38被布置为基于焦点区域组的评级选择至少一个焦点区域。
根据一个实施例,提供一种用于查找可能包括处于焦点对准的影像的焦点区域的方法。
焦点区域为相机视图的子范围。在一个实施例中,为相机视图100定义多个焦点区域101-115,参见图2。焦点区域被布置为覆盖基本上整个相机视图,而彼此不重叠。换句话说,如果焦点区域的范围被叫做Pi,其中i为从1到为相机视图100定义的焦点区域101-115的数目,则范围Pi不相交,并且P1∪P2∪...∪Pn=Ω,其中Ω基本上对应于全相机视图范围,并且n为焦点区域101-115的数目。
在图2中,描绘出15个焦点区域,然而,本发明并不考虑限于这个数目的焦点区域101-115,因为附图仅表示示例,并且本领域技术人员将会理解,焦点区域的数目可以依赖于应用的特点和/或执行环境而改变。
而且,图2的焦点区域101-115被定义为矩形面积。本领域技术人员应当认识到,焦点区域本质上可以是任意形状,只要焦点区域的边界基本上追踪邻近焦点区域的边界即可。然而,使用矩形或正方形焦点区域的一个优点在于,它便于并简化区域的使用以及与区域相关的数学计算。
参见图3a-b,在用于选择相机视图中的焦点区域的方法的一个实施例中,过程响应于事件而开始,即该过程等待步骤202中自动对焦操作的触发。
触发自动对焦算法以查找对焦更好的镜头位置的事件或条件可以根据下列方法中的任意一种来实施:
在基本上整个图像范围上连续计算焦点值,并且如果焦点值低于与初始的“稳定状态”-焦点值相关的预定阈值,则触发自动对焦。
在基本上整个图像范围上连续计算多个区域的像素强度的平均值。如果任意平均强度与初始平均强调之间的绝对差大于预定的阈值,则触发自动对焦。
连续计算在相机视图中定义的每个焦点区域的焦点值,从而也计算图像范围中的焦点值。如果属于焦点物体的焦点区域的焦点测量值以某一预定值改变,则该焦点区域从其被编组的焦点物体中删除,将焦点区域分组成焦点物体将在以下描述。然后,对图像视图的焦点物体进行重新评级,如果当前处于焦点对准中的焦点物体不再被认为是感兴趣的物体,则触发自动对焦。这后来的进程类似于首先提议的过程,但在焦点区域水平上而不是在图像面积的每个独立像素上操作,并且利用与分组的物体相关的信息。
当在步骤202中已触发自动对焦操作时,在步骤204检查与前一自动对焦操作相关的焦点物体是否存储在存储器中。如果在步骤206处,这种焦点物体存在于存储器中,则在步骤208处,该过程检查存储器中的焦点物体是否仍然处于焦点对准中。检查可以通过针对一个焦点区域、针对多个焦点区域或针对焦点物体的所有焦点区域来计算焦点值,并将该焦点值与预定的阈值进行比较来执行。可以使用任意已知方法,例如基于梯度、基于相关性、基于统计、基于变换或基于边缘的焦点测量来进行计算,更多信息请参见由YiYao、BesmaR.Abidi和MongiA.Abidi于2007年2月发表在Journalofmultimedia(多媒体杂志)第2卷第1期的“ExtremeZoomSurveillance:SystemDesignandImageRestoration(极度缩放监控:系统设计和图像恢复)”。如果在步骤210处确定焦点物体仍然处于焦点对准中,则该过程返回步骤202处等待自动对焦触发的进程。然而,如果确定焦点物体不处于焦点对准中,则开始选择焦点区域或待对焦的焦点物体的过程。焦点物体可以包括一个或多个焦点区域。
选择过程通过在步骤212处由相机指令镜头将镜头距离设置为新值而开始。在步骤214,针对目前镜头距离下的基本上整个相机视图来计算焦点值。计算出的焦点值被存储,并且当针对不同镜头距离而计算出的多个焦点值可用时,在步骤216,评估不同镜头距离下的包括至少两个焦点值的一系列焦点值。如果焦点值被考虑为镜头距离的函数,则可以构建焦点曲线图,并且该焦点值曲线图中的最大值指示至少与相邻镜头距离相比高度对焦的镜头距离。如果在步骤218,焦点值序列指示在设置新的镜头距离值时还未通过这种焦点值高点,则该过程返回步骤212,针对镜头设置新的镜头距离值。
然而,如果在步骤218,焦点值序列指示已通过这种焦点值高点,则该过程已发现相机视图的图像范围最可能在从焦点值序列的最新镜头距离到前一镜头距离的范围内的镜头距离下具有处于焦点对准中的特征。步骤212设置镜头距离、步骤214计算焦点值、步骤216评估焦点序列、然后只要在步骤218处序列未指示出焦点值顶点就返回步骤212的过程,可以例如实施为线搜索或通过爬山算法来实施。该过程这一初始部分的结果的精度不是非常重要,而是快速地自动导向顶点,并利用极少的镜头距离改变,以便节约对焦时所涉及的对焦马达和机械部件。因此,两个连续的镜头距离设置之间的差可以很大,例如两个连续的镜头距离设置之间的距离可以是在十五次镜头距离改变内指示为最高的焦点值的大小。
现在参见图3b,当已实现在特定镜头距离范围内指示局部焦点值最大值时,在步骤220,该过程通过基于离每个焦点区域不同镜头距离下的至少三个焦点值来估计至少二维的函数。然后,在步骤222,使用所估计的函数的特点,将焦点区域分组为焦点区域组,即基于所估计的与每个焦点区域相关的函数的特点将焦点区域分组为焦点区域组。根据一个实施例,在给定每个焦点区域的函数的局部焦点最大值的镜头距离,并且考虑焦点区域之间的欧几里德几何距离的情况下,焦点区域的分组利用图像分割方法来执行。可以使用的一个图像分割方法例如是被称为图论聚类的方法,该方法在下面并且在2003年PrenticeHall的“ComputerVision,AModernApproach(计算机视觉、现代方式)”第317-323页(由位于伯克利的加利福利亚大学的DavidA.Forsyth和位于厄乌尔班纳—尚佩恩的伊利诺伊大学的JeanPonce所著)中进一步描述。
当在步骤222执行焦点区域的分组时,在步骤224,评估所得到的焦点区域组,并且基于该评估给予每个焦点区域组等级或得分。评估可以考虑诸如焦点区域组的尺寸(例如包括在焦点区域组中的焦点区域的数目)、焦点区域组与相机视图中的特定点的接近度(例如到图像视图的中央、到门、窗户的距离)之类的焦点区域组特征,从相机到物体的距离等。评估也可以考虑焦点区域组是否包括特定特征,例如人脸。这种特征可以使用存在于相机中的资源来检测。然后,在步骤226检查新获得的焦点区域组的得分以及与所存储的来自前一焦点区域分组但在同一焦点区域选择会话期间的焦点区域组相关联的得分,以便找出是否任意焦点区域组已获得其它焦点区域组不可能取得更好得分的大小的得分。可以在检查步骤226中考虑迄今为止在该会话中识别出的所有焦点区域分组,并且如果使用固定的得分范围,则即使在焦点区域组未获得大部分得分的情况下也可以选择焦点区域组。因此,如果剩下用于分配的得分小于一个单个焦点区域组的得分,则可以选择焦点区域组。
根据一个实施例,使用归一化的得分系统,并且如果得分范围为1,则在下列情况下选择焦点区域组:
Scorefocusregiongroup>1-ΣScoreotherfocusregiongroups
这也就意味着,如果焦点区域组的得分大于0.5,则选择该焦点区域组。
如果在步骤228,焦点区域组的得分不足以被选择,则在步骤230,该过程通过存储已识别的焦点区域组的得分而继续。然后,该过程返回步骤212,以便识别其他焦点区域组来考虑选择。
然而,如果焦点区域组的得分足够,则在步骤228处选择该焦点区域组,并且在步骤232处,焦点区域组作为所选择的焦点区域组而输出。该进程的一个优点在于,不需要查找、分析和评级存在于图像视图中的所有焦点区域组,因为只要具体的焦点区域组在得分方面很明显不能被超过,该过程就通过选择焦点区域组来继续。在一个实施例中,不需要输出整个焦点区域组,而只要输出包括在所选择的焦点区域组中的一个焦点区域或焦点区域的子集。这种焦点区域的选择可以实施为选择具有最大焦点值、焦点区域组内最中央位置等的区域。
而且,所选择的焦点区域组、焦点区域可以输出给被布置为精细调整相机的镜头距离的焦点精细调整过程,参见图3c。根据一个实施例,在步骤240处,该精细调整过程通过基于从所选择的焦点区域组中选择的焦点区域或从所选择的焦点区域组中选择的多个焦点区域的估计的焦点值函数的局部最大值,设置相机的初始镜头距离而开始。然后,通过在步骤242处将相机的镜头距离设置为新值来再次开始改变镜头距离的过程。然后,在步骤243,针对处于当前镜头距离下的当前相机视图计算焦点值。计算出的焦点值被存储,并且当针对不同镜头距离计算出的多个焦点值可用时,在步骤244评估不同镜头距离下的包括至少两个焦点值的焦点值序列。考虑表示焦点值镜头距离的曲线图,则该焦点值曲线图中的顶点指示了表示至少与相邻的镜头距离相比高度对焦的镜头距离。如果在步骤246,焦点值序列指示在设置新的镜头距离值时还未通过这种焦点值高点,则该过程返回步骤242针对镜头设置新的镜头距离值。在精细调整过程中,两个连续设置的镜头距离值之差小于在步骤212中设置的两个镜头距离值之差。根据一个实施例,精细调整的两个连续设置的镜头距离值之差为在步骤212中设置的两个连续的镜头距离值之差的1/10到1/100。步骤242-246的精细调整的步骤例如可以利用爬山算法或线搜索来实现。
如果在步骤246中指示出焦点值函数的局部最大值,则已找出当前相机视图的合适的镜头距离,并且在步骤248中设置该镜头距离。该镜头距离可以被设置为与最大焦点值相对应的镜头距离,即之前到最新计算出的焦点值,或者它可以被设置为两个最新焦点值的镜头距离之间的镜头距离。当镜头距离被设置,因而相机视图被再次正确对焦时,该过程返回步骤202等待触发新的焦点设置的另一事件。
根据一个实施例,通过使用很少的迭代来实施用于查找所建议的焦点最大值的第一迭代过程,即图3a中的步骤212-218,以快速识别出处于可能是焦点最大值的范围中的镜头距离值。这可以通过图4的过程实现,该过程由步骤402将镜头距离设置为合适的开始搜索值x0而开始。开始搜索值可以依赖于该过程是否在自动对焦会话中第一次运行或该过程是否已从识别焦点区域组返回但还不能做出选择而改变。在该过程在自动对焦会话中第一次运行的情况下,镜头距离开始值可以被设置为与相机非常接近的镜头距离,并且在该过程从识别焦点区域组返回时,镜头距离开始值x0可以被设置为所存储的镜头距离值加上预先设置的连续镜头距离之间的距离,连续镜头距离之间的距离将在下面被称为步进距离s。步进距离的值可以在迭代期间改变,如果当前镜头距离x下的焦点值f(x)基本上为零,即无焦点,则s表示比在步骤404中所计算的焦点值f(x)基本上不为零的情况大的步长slarge。在步骤405,f(x)基本上不为零的步进距离被称为smedium。根据一个实施例,步进距离smedium为较大步长slarge的距离的大约一半。然而,本领域技术人员理解,smedium步进距离可以为导致所需要的步骤较少并且记录最大值周围的足够多的焦点值以用于多项式的估计的任意值。
然后,该过程通过在步骤407将第一次迭代i=1的镜头距离设置为与前一镜头距离值xi-1加上步进距离s即xi=xi-1+s相对应的值而继续,对于第一迭代,这与x1=x0+s相对应。在步骤408处,使用之前提及的焦点测量计算方案来计算新镜头距离的焦点值f(xi)并进行记录,然后检查焦点值以便以与在步骤404、405中相同的方式在步骤410、411中确定步进距离s的大小。然后,在步骤412中,重复从步骤406中设置镜头距离的步骤到确定步进大小s的步骤,直到最新的焦点值f(xi)小于前一焦点值f(xi-1),即f(xi)<f(xi-1)。当这种情况出现时,该过程指示已找到顶点,并且该过程可以继续图3b中的步骤220。
可以以与查找所建议的焦点最大值的过程类似的方式来实施用于进行精细对焦的精细调整过程,即图3c中的步骤240-246。然而,精细调整过程的目的在于查找焦点最大值和极其接近于最可能的焦点最大值的镜头距离以及焦点区域或焦点区域组的镜头距离。由于通过根据之前估计的函数计算局部最大值而实现的焦点最大值可能接近于真实的最大值,因此精细调整过程可能很简单。
图5中示出这种精细调整过程,该过程在步骤502处以下述步骤开始:将初始镜头距离y0设置为由所估计的所选择焦点区域的函数的局部最大值给出的镜头距离值,或者设置为根据包括在所选择焦点区域组中的焦点区域的镜头距离值计算出的平均镜头距离值,并且针对镜头距离y0计算焦点值f(y0)。在步骤504,镜头距离步进s被设置为小值的步进值ssmall,以便实现可接受的最终对焦精度。
然后,通过将初始镜头距离增加或缩减步进值s来设置第二镜头距离。为了便于理解该过程,仅示出增加初始镜头距离的实施方式。因此,在步骤506处,第二镜头距离y1被设置为y1=y0+s。然后,比较初始镜头距离x0的焦点值f(y0)和第二镜头距离y1的焦点值f(y1),以便确定是否要减少或增加镜头距离来使得镜头距离接近于焦点最大值的镜头距离。由于第二镜头距离y1被选择为大于初始镜头距离y0,因此可以通过比较第二焦点值f(y1)和第一焦点值f(y0)来决定方向。
如果第二焦点值f(y1)小于第一焦点值f(y0),则焦点最大值位于较小的镜头距离值处,因此用于下一焦点值计算的镜头距离值将小于第一组两个镜头距离值y1、y0,另外,焦点最大值位于较大的镜头距离值处,因此用于下一焦点值计算的镜头距离值大于第一组两个镜头距离值y1、y0。这在步骤508中被检查,并且在步骤510或512中设置步进方向,如果镜头距离将被减少,则在步骤510处将变量d设置为负值,而如果镜头距离将被增加,则在步骤512处将变量d设置为正值。
在步骤514中,用于识别不同镜头距离和焦点值的计数i被设置为1,然后,在步骤516处,计数加一以指示将处理下一焦点值。然后,在步骤518处,通过将与方向变量d相乘的步进距离s增加到前一镜头距离yi-1上来计算新的镜头距离yi。在步骤520处,利用镜头距离yi来计算新的焦点值f(yi)。
然后,在步骤522中,重复从步骤516中增加计数i的步骤的过程,直到找到小于前一焦点值的焦点值,即f(yi)<f(yi-1)。当找到这种焦点值时,在步骤524中,该焦点值为最大焦点值,并且镜头距离是将在相机中使用的镜头距离。现在,该过程返回图3c中的步骤248设置相机的镜头距离。
为了实现被动自动对焦,可以根据任意种类的焦点测量,例如基于梯度、基于相关性、基于统计、基于变换和基于边缘的方法,来执行焦点值的计算,如较早讨论的。
基于梯度的方法涉及通过微分或高通滤波器来估计图像梯度。一个这种梯度方法是被叫做Tenenbaum梯度的方法,参见由加拿大斯坦福的斯坦福大学计算机科学系的J.M.Tenenbaum博士于1970年发表的“AccommodationinComputerVision(计算机视觉中的自适应调节)”。该方法基于分别利用水平和垂直Sobel内核来对图像进行卷积并将它们的平方求和以形成焦点值。
其它可能的方法为拉普拉斯滤波器(Laplacianfilter)或一维微分计算的使用。另外可能的方法为利用被称为中频离散余弦变换运算器(MidfrequencyDiscreteCosineTransformOperator)的滤波器内核,其由S.Lee、Y.Kumar、J.Cho、S.Lee和S.Kim根据在图像的离散余弦变换中确定本底频率而推导出,参见由Sang-YongLee、YogendraKumar、Ji-manCho、Sang-WonLee和Soo-WonKim于2008年9月发表在IEEETransactionsonCircuitsandSystemsforVideoTechnology(用于视频技术的电路和系统)第18卷第9期上的“EnhancedAutofocusAlgorithmUsingRobustFocusMeasureandFuzzyReasoning(使用鲁棒性焦点测量和模糊推理的改进的自动对焦算法)”。
更多的方法通过基于相关性的测量而给出,其通过简单的乘法给出相邻像素之间的依赖性的量。一个方法可以用于计算自相关性函数的一个样本,参见由A.Santos、C.OrtizDeSolorzano、J.J.Vaquero、J.M.Pena、N.Malpica和F.DelPozo于1997年12月发表在JournalofMicroscopy(显微镜学杂志)第188卷第3期第264-272页的“Evaluationofautofocusfunctionsinmolecularcytogeneticanalysis(分子细胞生成分析中的自动对焦功能的评估)”。由P.T.Yap和P.Raveendran建议的另一方法利用像素与Chebyshev力矩(Chebyshevmoments)之间的相关性,参见P.T.Yap和P.Raveendarn于2004年4月发表在IEEEproc.-Vis.ImageSignalProcess第151卷第2期的“ImagefocusmeasurebasedonChebyshevmoments(基于Chebyshev力矩的图像焦点测量)”。
基于统计的方法的示例为由Shirvaikar示出的AbsoluteCentralMoment(绝对中心力矩),参见位于USATX75799泰勒的得克萨斯州立大学电机工程系的MukulV.Shirvailar于2004发表的“AnOptimalMeasureforCameraFocusandExposure(用于相机对焦和曝光的光学测量)”,其相对于诸如灰度级变化之类的基于直方图的其它测量,在对焦和曝光方面具有良好的辨别力。这些方法均涉及像素值之差的求和并对所有像素值的平均。
另一简单的测量被定义为最大和最小灰度级之差,参见由YiYao、BesmaR.Abidi和MongiA.Abidi于2007年2月发表在Journalofmultimedia(多媒体杂志)第2卷第1期的“ExtremeZoomSurveillance:SystemDesignandImageRestoration(极度缩放监控:系统设计和图像恢复)”。还存在若干基于熵的测量,例如图像灰度级的相对频率的熵,参见由A.Santos、C.OrtizDeSolorzano、J.J.Vaquero、J.M.Pena、N.Malpica和F.DelPozo于1997年12月发表在JournalofMicroscopy(显微镜学杂志)第188卷第3期第264-272页的“Evaluationofautofocusfunctionsinmolecularcytogeneticanalysis(分子细胞生成分析中的自动对焦功能的评估)”,以及最近提议的利用通过对图像进行的归一化余弦变换的贝叶斯熵函数,参见由斯洛文尼亚卢布尔雅那1001Trzaska25卢布尔雅那大学电机工程系的MatejKristan、JanezPers、MatejPerse和StanislavKovacic于2005年发表的“ABayesspectral-entropy-basedmeasureofcamerafocususingadiscretecosinetransform(利用离散余弦变换的基于贝叶斯光谱熵的相机焦点测量)”,其将基于统计的方法与基于频率的方法进行结合。
而且,基于变换的方法是基于利用FFT、DCT或小波将图像变换到频域,然后在大多数情况下,测量所选择的频率系数集的能量,参见由YiYao、BesmaR.Abidi和MongiA.Abidi于2007年2月发表在Journalofmultimedia(多媒体杂志)第2卷第1期的“ExtremeZoomSurveillance:SystemDesignandImageRestoration(极度缩放监控:系统设计和图像恢复)”,以及由Ge.Yang和Nelson,B.J.在“IntelligentRobotsandSystems(智能机器人和系统),2003.(IROS2003).Proceedings.2003IEEE/RSJInternationalConferenceon”第2143-2148页发表的“Wavelet-basedautofocusingandunsupervisedsegmentationofmicroscopicimages(显微图像的基于小波的自动对焦和未监控分割)”。
基于边缘的测量利用阶梯型边缘看起来像的理想模型,包括作为对比度、方位和比例的参数,参见由美国夏普实验室数字视频部的XinLi于2002年发表的“BlindImageQualityAssessment(盲图像质量评估)”。
用于选择焦点区域或焦点区域组的方法包括针对相机视图的每个焦点区域估计至少二维的函数的动作,参见图3b中的步骤220。函数的估计可以利用几个不同的方法来执行。这些方法具有共同的特点,其在于它们使用多个焦点值-镜头距离对,即在特定镜头距离下计算的焦点值。因此,该系统必须至少临时存储这种对。
这些方法之一包括利用多项式,例如在下列示例中示出的二次多项式,对点进行插值。即使示例针对二维多项式示出,本领域技术人员也理解,可以对较高次多项式进行插值。在该示例中,三个最新的镜头距离[x1,x2,x3]具有相对应的计算出的焦点值[y1,y2,y3]。这些点将利用一些二次多项式来进行插值,即:
y i = a 1 x i 2 + a 2 x i + a 3
这导致线性方程系统:
x 1 2 x 1 1 x 2 2 x 2 1 x 3 2 x 3 1 a 1 a 2 a 3 = y 1 y 2 y 3
利用X表示镜头位置矩阵,利用a表示系数矩阵,并且利用y表示焦点值矩阵。假设每个镜头位置,xi≥1是唯一的,则很明显,X具有满秩,因此是可逆的。系数通过以下公式获得:
a=X-1y
然后,可以充分接近这些样本地估计任意镜头位置的焦点值。此外,估计可能的焦点峰值的位置的可能性很小。
y′=2a1x+a2
0 = 2 a 1 x ^ + a 2
x ^ = - a 2 2 a 1
该方法可应用于较高次多项式,尽管根的计算对于阶数≥4来说不是完全毫无意义的。注意,多项式的阶数n需要所使用的样本数目为n+1。
用于估计函数的另一方法为基于最小平方拟合的方法。该方法涉及以多项式(该示例再一次为二次多项式)拟合数据集。然而,在该方法中,系统是超定的。在下面的示例中,三个最新的镜头距离[x1,x2,x3,x4]具有相对应的计算出的焦点值[y1,y2,y3,y4],这导致超定的系统:
x 1 2 x 1 1 x 2 2 x 2 1 x 3 2 x 3 1 x 4 2 x 4 1 a 1 a 2 a 3 = y 1 y 2 y 3 4
这可以写成矩阵形式:
Xa=y
这可以通过与X的转置矩阵相乘来求解。
XT y=XTXa
对a进行求解
a=(XTX)-1XTy
该逆运算可以用数值方法计算或直接拟合得很好。如果x位置被转化在起点周围,并且在一些情况下被映射在其周围(如果x位置等间隔分开),则容易实现直接求解。这种类型的LSQ拟合最小化从焦点值y到计算出的多项式的垂直偏移。因此,添加了一定程度的噪声减少。
可以使用的又一方法为利用样条函数对点进行插值。这是直线(straight-forward)唯一多项式拟合的扩展。该想法是将数据点的整个集合分成n+1个点的片段,其中每个片断由n次多项式插值。这意味着每个片段的最后一个点也将是下一片段的第一个点,因而由两个不同的多项式插值。
通用样条函数是三次样条函数,其中每个片段由三次多项式和二次样条函数插值,其中每个片段由多项式插值。在下列方程中,xi表示镜头距离,并且yi表示相对应的焦点值,即在多项式变体的示例中,符号与以上使用的符号相对应。三次样条函数具有下列特性:
S ( x ) = S 0 ( x ) , x 0 &le; x &le; x 1 S 1 ( x ) , x 1 &le; x &le; x 2 &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; S N - 1 ( x ) , x N - 1 &le; x &le; x N
其中
Si=aix3+bix2+cix+di
由于每个Si具有4个未知量[ai,bi,ci,di],因此问题是具有4N个未知变量。如果样条函数对N+1个点进行插值,则由于下列原因以4N-2个条件结束:
Si(xi)=yi,其中0≤i≤N-1,并且SN-1(xN)=yN,其给出N+1个条件
Si-1(xi)=Si(xi),其中1≤i≤N-1,其给出N-1个条件
S’i-1(xi)=S’i(xi),其中1≤i≤N-1,给出N-1个条件
S”i-1(xi)=S”i(xi),其中1≤i≤N-1,给出N-1个条件
为了解决该问题,需要利用两个额外的条件。自然三次样条函数包括下列两个边界条件:
S”(x0)=S”(xN)=0
现在,假设hi=xi+1-xi,并且zi=S”(xi)。获得该问题的解如下:
S i ( x ) = z i 6 h i ( x - x i ) 3 + z i 6 h i ( x i + 1 - x ) 3 + C i ( x - x i ) + D i ( x i + 1 - x )
其中
C i = y i + 1 h i - h i 6 z i + 1
D i = y i h i - h i 6 z i
对从样条函数的递归特性获得的三对角矩阵方程进行求解来确定zi值。
H z 1 z 2 &CenterDot; &CenterDot; &CenterDot; z N - 2 z N - 1 = 6 ( b 1 - b 0 ) 6 ( b 2 - b 1 ) &CenterDot; &CenterDot; &CenterDot; 6 ( b N - 2 - b N - 3 ) 6 ( b N - 1 - b N - 2 )
其中
由于H为三对角矩阵,因此可以相对快地计算出H的逆矩阵。
可以使用的另一方法是平滑样条函数。这是用于对样条函数进行平滑,从而抑制数据中的噪声的方法。具有连续的两个第二导数的平滑样条函数通过以下公式获得:
m i n S ( x ) &lsqb; &Sigma; i = 0 N { y i - S ( x i ) } 2 + &lambda; &Integral; { S &prime; &prime; ( x ) } 2 d x &rsqb;
其中λ≥0为调节平滑参数。如果λ→0,则其收敛到非平滑样条函数。相反,如果λ→∞,则其收敛到最小平方估计。尽管在无限维函数空间上限定出该最小值,但其具有清楚的有限维的唯一解:在xi的唯一值处具有结点的自然三次样条函数。
为了对此进行求解,将样条函数重写为:
S ( x ) = &Sigma; j = 1 N N j ( x ) z j
其中Nj(x),1≤j≤N是表示自然样条函数族的基本函数的N维集合。
最小值可以重写为矩阵形式:
min m i n N , z &lsqb; ( y - N z ) T ( y - N z ) + &lambda;z T &Omega; N z &rsqb;
其中{N}ij=Nj(xi)并且{ΩN}jk=∫N”j(x)N”k(x)dx。最后,平滑样条函数可以写为:
S ^ ( x ) = &Sigma; j = 1 N N j ( x ) ( N T N + &lambda;&Omega; N ) - 1 N T y
然后,必须选择合适的λ。存在用于自动选择λ的技术,但是因为SNR(信噪比)已知,因此选择以SNR为基础。
根据一个实施例,在用于选择焦点区域的方法中和在用于执行自动对焦的方法中执行焦点区域的分组,例如图3b的步骤222。如早先所提及的,可以使用的分组方法是称为图论聚类的方法。该方法通常用于分割数字图像中的元素,例如,人物、动物、物体等。
至少利用针对每个焦点区域计算出的局部最大值以及区域之间的欧几里得几何距离,将分组方法应用于图像视图的焦点区域。
在分组方法中,假定G=(V,E)是加权曲线图,即权重与链接两个最高点Vk和Vl的各个边缘Ei相关联。假设,曲线图是完整的,这意味着每个独特的最高点对通过唯一的边缘连接。此外,针对每个最高点,利用半环对曲线图进行扩展。如果每个最高点由唯一的索引来表示,则曲线图可以由下面的对称方阵来表示。
G = 1 0.4 0.3 0.4 0.4 1 0.2 0.3 0.3 0.2 1 0.8 0.4 0.3 0.8 1
矩阵的第i、j元素与曲线图中的第i和第j最高点之间的权重相对应。所述图像分割方法例如可以通过使每个最高点对应于图像中的每个焦点区域而在本发明中实施。现在,曲线图中的权重将被视作焦点区域之间的一种称为亲和度测量(affinitymeasure)的“相似度测量”。该亲和度测量提供以聚类形式将焦点区域分组在一起从而形成焦点区域组的基础。
不同的亲和度测量分别用于不同的目的,但是共同的特性应当在于,类似的最高点应当产生大的权重,而不同的最高点应当产生小的权重。两个不同的亲和度测量可以同时使用。在一个实施例中,使用距离亲和度和强度亲和度。
由于两个近的焦点区域比两个远的焦点区域更可能属于同一物体,因此距离亲和度测量可以包括图像中的空间欧几里得几何距离。建议以与高斯分布类似的指数形式作为亲和度测量:
A d ( x , y ) = e - ( x - y ) T ( x - y ) 2 &sigma; d 2
其中x为第一物镜焦点区域的位置向量,而y为其它物镜焦点区域的位置向量。
强度亲和度的使用还可以与分组相关,这是因为物体上的强度可能类似。相同的指数形式用于该测量:
A I ( x , y ) = e - ( I ( x ) - I ( y ) ) T ( I ( x ) - I ( y ) ) 2 &sigma; I 2
其中I(x)为第一物镜焦点区域的强度,而I(y)为其它物镜焦点区域的强度。
变量σd和σI是方差。
两个不同的亲和度测量通过下列公式组合:
A(x,y)=Ad(x,y)·Al(x,y)
假定wn为相机视图的第n聚类的关联向量。这意味着对于每个焦点区域wn具有一个元素,并且这些元素在相对应的焦点区域被分到该聚类的情况下应当是大的。物镜函数可以被构建为:
w n T Aw n
其中A为亲和度矩阵。这实际上是下列形式的各项的和:
(元素i与聚类n的关联度)×(i和j之间的亲和度)×(元素j与聚类n的关联度)
包括在聚类中的元素应当与该聚类具有大的关联权重,并且所包括的元素之间的亲和度应当是大的。因此,问题变成为相对于wn最大化物镱函数并且以为条件。该问题通过构建拉格朗日函数并使其最大化而得到解决:
w n T Aw n + &lambda; ( w n T w n - 1 )
微分生成特征值方程:
Awn=λwn
很明显,wn是A的特征向量,因此属于第n聚类的元素由第n特征向量的较大元素所定义。由于因此在下列情况下可以考虑元素wn(i)足够大:
1 L &le; w n ( i )
其中L为向量wn的长度。根据与最大特征值相对应的特征向量来获得最好的聚类。
图论聚类涉及与主特征值相对应的特征向量的计算。用于计算这种特征向量的简单算法叫做幂迭代,并且可以描述如下:
b0=[0...0]T
b 1 = &lsqb; 1 L ... 1 L &rsqb; T
while((bk-bk-1)T(bk-bk-1)≥T
b k + 1 = Ab k | | Ab k | |
k=k+1
end
bk为估计的特征向量,而T为在估计足够接近时确定的某一阈值。
结合图3b讨论步骤224的焦点区域组的评估,包括给与每个焦点区域组得分的动作。用于计算焦点区域组的得分的一个方法是使用归一化的得分系统。然而,本领域技术人员应当理解,存在可应用于该应用的多个得分方法。对于该具体的实施例,焦点区域组的大小和焦点区域组在相机视图中的布置被用于计算归一化的得分。与相机的距离也可以包括在计算中。在加起来为一的意义上来对得分进行归一化。当物体被识别并且记下得分时,很明显,留下了哪些可能剩余的物体得分。假定O为形成焦点区域组的焦点区域的集合。进一步假定则得分大小被计算为:
SizeScore O = &Sigma; i = 0 n P i &cap; O n
&Sigma; i = 0 n P t n = 1
其中n为使用的焦点区域的数目。
往往更感兴趣位于正中心的物体,因此可以推导出中心得分。中心得分可以通过将焦点区域栅格与在相机视图中心具有峰值的离散二维高斯分布相乘而计算出:
CenterScore O = &Sigma; i = 0 n ( G i * P i ) &cap; O
&Sigma; i = 0 n G i = 1
最后得分被计算为大小和中心得分的平均。
FinalScore O = SizeScore O + CenterScore O 2

Claims (14)

1.一种用于对相机进行对焦的方法,其中在相机视图中定义多个焦点区域,所述方法包括:
通过将所述相机的镜头距离设置为不同的镜头距离值,来重复设置所述相机的焦点距离以对焦于不同的距离处;
响应于设置镜头距离,确定所设置的镜头距离值下每个焦点区域的焦点值;
在已确定出多个焦点值和镜头距离值对时,针对多个焦点区域估计至少二维的函数,其中所述函数以镜头距离值的函数表示焦点值;
针对函数已被估计的每个焦点区域,计算所述函数的局部最大值点,所述局部最大值点具有镜头距离值;
基于所述焦点区域的局部最大值点的镜头距离值和所述焦点区域之间的空间距离,对焦点区域进行分组;
对从焦点区域的分组而得到的焦点区域组进行评级;并且
基于所述对焦点区域组进行评级来选择焦点区域;
运行焦点搜索算法,以在所选择的焦点区域中开始搜索计算出的焦点值的局部最大值的镜头距离值;并且
将所述镜头距离值设置成由所述焦点搜索算法找到的镜头距离值。
2.根据权利要求1所述的用于对相机进行对焦的方法,其中镜头距离的焦点值利用对比度测量方法来确定。
3.根据权利要求1或2所述的用于对相机进行对焦的方法,其中估计函数的动作是估计多项式。
4.根据权利要求1或2所述的用于对相机进行对焦的方法,其中估计函数的动作是估计样条函数。
5.根据权利要求1或2所述的用于对相机进行对焦的方法,其中所述对焦点区域进行分组包括:利用每个焦点区域的镜头距离值以及从每个焦点区域到所有其它焦点区域的空间距离,对所述焦点区域应用图像分割算法。
6.根据权利要求5所述的用于对相机进行对焦的方法,其中所使用的图像分割算法为图论聚类算法。
7.根据权利要求1所述的用于对相机进行对焦的方法,其中所述对焦点区域组进行评级是基于所述组的大小对所述焦点区域组进行评级,较大的焦点区域组相对于较小的焦点区域组被评级为优选的。
8.根据权利要求1所述的用于对相机进行对焦的方法,其中所述对焦点区域组进行评级是基于所述焦点区域组在相机视图内的位置来对所述焦点区域组进行评级,位置较接近于预定位置的焦点区域组相对于位置在离预定义位置较远距离下的焦点区域组被评级为优选的。
9.根据权利要求7或8所述的用于对相机进行对焦的方法,其中所述评级通过分配得分来执行,较优选的焦点区域组比不是同样优选的焦点区域组得到更多的得分,并且其中所述选择焦点区域是选择包括在已得到可利用得分的一半以上的焦点区域组中的焦点区域。
10.根据权利要求7或8所述的用于对相机进行对焦的方法,其中所述评级通过分配得分来执行,较优选的焦点区域组比不是同样优选的焦点区域组得到更多的得分,并且其中所述选择焦点区域是选择包括在已得到比留待分配的得分更多得分的焦点区域组中的焦点区域。
11.根据权利要求1所述的用于对相机进行对焦的方法,其中所述焦点搜索算法限于在包括所选择的焦点区域的焦点区域组中的焦点区域内操作。
12.一种相机,包括:
相对于所述相机的相机视图而定义的多个焦点区域;
用于将所述相机的镜头距离重复设置为不同镜头距离值的装置;
用于响应于设置镜头距离,确定所设置的镜头距离值下每个焦点区域的焦点值的装置;
被布置为在确定出多个焦点值和镜头距离值对时,针对每个焦点区域估计至少二维的函数的函数估计器,其中所述函数以镜头距离值的函数表示焦点值;
用于针对每个焦点区域,计算所述函数的局部最大值点的装置,所述局部最大值点包括镜头距离值;
被布置为基于每个焦点区域的局部最大值点的镜头距离值和所述区域之间的空间距离,对焦点区域进行分组的区域分组装置;
被布置为对从焦点区域的分组而得到的焦点区域组进行评级的评级装置;以及
被布置为基于所述对焦点区域组进行评级来选择焦点区域的焦点区域选择器。
13.根据权利要求12所述的相机,其中所述函数估计器被布置为基于所确定的多个焦点值和镜头距离值对来估计多项式。
14.根据权利要求12-13中任一项所述的相机,其中所述区域分组装置被布置为通过利用每个焦点区域的镜头距离值和从每个角度区域到所有其它焦点区域的空间距离,对所述焦点区域应用图像分割算法来对所述区域进行分组。
CN201110324330.2A 2010-10-28 2011-10-17 用于对焦的方法 Active CN102455568B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP10189216.4A EP2448246B1 (en) 2010-10-28 2010-10-28 Method for focusing
EP10189216.4 2010-10-28
US40884210P 2010-11-01 2010-11-01
US61/408,842 2010-11-01

Publications (2)

Publication Number Publication Date
CN102455568A CN102455568A (zh) 2012-05-16
CN102455568B true CN102455568B (zh) 2016-05-04

Family

ID=43478673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110324330.2A Active CN102455568B (zh) 2010-10-28 2011-10-17 用于对焦的方法

Country Status (4)

Country Link
US (1) US8472798B2 (zh)
EP (1) EP2448246B1 (zh)
JP (1) JP2012093754A (zh)
CN (1) CN102455568B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2448246B1 (en) * 2010-10-28 2019-10-09 Axis AB Method for focusing
CN102780847B (zh) * 2012-08-14 2015-10-21 北京汉邦高科数字技术股份有限公司 一种针对运动目标的摄像机自动对焦控制方法
CN103838058A (zh) * 2012-11-23 2014-06-04 鸿富锦精密工业(深圳)有限公司 自动对焦方法
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
CN104459940B (zh) * 2013-09-25 2017-07-14 北京环境特性研究所 一种快速自适应自动聚焦方法
US9183620B2 (en) * 2013-11-21 2015-11-10 International Business Machines Corporation Automated tilt and shift optimization
JP2015105996A (ja) * 2013-11-29 2015-06-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9354489B2 (en) 2014-02-10 2016-05-31 Raytheon Company Robust autofocus algorithm for multi-spectral imaging systems
US9196027B2 (en) 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9300857B2 (en) 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
US9192295B1 (en) 2014-06-11 2015-11-24 L&R Medical Inc. Focusing algorithm in OCT-only systems
US9451155B2 (en) 2014-07-30 2016-09-20 Apple Inc. Depth-segmenting peak tracking autofocus
CN106031155B (zh) * 2014-09-26 2018-06-19 深圳市大疆创新科技有限公司 基于统计数据的自动对焦系统和方法
EP3076657B1 (en) 2015-04-02 2017-05-24 Axis AB Method for determination of focal length for a zoom lens
TWI706181B (zh) * 2015-09-11 2020-10-01 新加坡商海特根微光學公司 具有自動對焦控制的成像裝置
CN105323481B (zh) * 2015-10-15 2018-11-20 广东欧珀移动通信有限公司 一种基于超声波的拍照方法及装置
US9715721B2 (en) 2015-12-18 2017-07-25 Sony Corporation Focus detection
CN105611156B (zh) * 2015-12-22 2018-10-02 唐小川 全画面对焦方法及照相机
US10078888B2 (en) * 2016-01-15 2018-09-18 Fluke Corporation Through-focus image combination
US9910247B2 (en) 2016-01-21 2018-03-06 Qualcomm Incorporated Focus hunting prevention for phase detection auto focus (AF)
WO2018004035A1 (ko) 2016-06-30 2018-01-04 엘지전자 주식회사 카메라 모듈 및 그의 오토 포커스 방법
CN108122216B (zh) * 2016-11-29 2019-12-10 京东方科技集团股份有限公司 用于数字图像的动态范围扩展的系统和方法
CN108646384B (zh) * 2018-04-13 2020-09-01 维沃移动通信有限公司 一种对焦方法、装置及移动终端
JP6714802B2 (ja) * 2018-07-23 2020-07-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、飛行体、制御方法、及びプログラム
TWI767066B (zh) * 2018-09-28 2022-06-11 揚明光學股份有限公司 鏡頭裝置及其製造方法
CN109348129B (zh) * 2018-11-13 2020-11-03 信利光电股份有限公司 一种定焦摄像头的清晰度检测方法及系统
CN110531484B (zh) * 2019-07-24 2021-04-20 中国地质大学(武汉) 一种对焦过程模型可设定的显微镜自动对焦方法
CN111010507B (zh) * 2019-11-26 2021-08-03 迈克医疗电子有限公司 相机自动聚焦方法和装置、分析仪器和存储介质
WO2022032126A1 (en) * 2020-08-07 2022-02-10 Nanotronics Imaging, Inc. Deep learning model for auto-focusing microscope systems
CN111983633B (zh) * 2020-08-26 2023-12-05 中国科学院半导体研究所 用于铁路监测的多线三维雷达及其扫描方法
US11394865B1 (en) 2021-06-28 2022-07-19 Western Digital Technologies, Inc. Low-power, fast-response machine learning autofocus enhancements
CN113960778B (zh) * 2021-09-29 2024-07-30 成都西图科技有限公司 一种基于中频滤波的动态步长聚焦方法
TWI779957B (zh) * 2021-12-09 2022-10-01 晶睿通訊股份有限公司 影像分析模型建立方法及其影像分析設備

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426093A (zh) * 2007-10-29 2009-05-06 株式会社理光 图像处理设备、图像处理方法及计算机程序产品

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3715721B2 (ja) * 1996-07-22 2005-11-16 キヤノン株式会社 自動焦点調節装置および方法
US5842059A (en) 1996-07-22 1998-11-24 Canon Kabushiki Kaisha Automatic focus adjusting device
US6078688A (en) 1996-08-23 2000-06-20 Nec Research Institute, Inc. Method for image segmentation by minimizing the ratio between the exterior boundary cost and the cost of the enclosed region
US5939148A (en) 1996-09-13 1999-08-17 Kansai Paint Co., Ltd. Visible laser-curable composition
JPH10142790A (ja) * 1996-09-13 1998-05-29 Kansai Paint Co Ltd 可視光レーザー硬化性組成物
JPH10142490A (ja) * 1996-11-15 1998-05-29 Canon Inc 環境認識装置及びカメラ
JP2001061096A (ja) * 1999-08-23 2001-03-06 Olympus Optical Co Ltd 電子カメラ
JP2001272594A (ja) * 2000-03-28 2001-10-05 Sanyo Electric Co Ltd ビデオカメラ
JP2002006206A (ja) * 2000-06-23 2002-01-09 Funai Electric Co Ltd 撮像装置
US20040130546A1 (en) * 2003-01-06 2004-07-08 Porikli Fatih M. Region growing with adaptive thresholds and distance function parameters
KR101058009B1 (ko) * 2004-08-06 2011-08-19 삼성전자주식회사 디지털 촬영 장치에서의 자동 포커싱 방법, 및 이 방법을채용한 디지털 촬영 장치
JP2006106484A (ja) * 2004-10-07 2006-04-20 Pentax Corp 焦点検出方法
GB2420669A (en) * 2004-11-26 2006-05-31 Snell & Wilcox Ltd Image segmentation
GB2430095B (en) * 2005-09-08 2010-05-19 Hewlett Packard Development Co Image data processing method and apparatus
JP4874641B2 (ja) * 2005-12-16 2012-02-15 Hoya株式会社 自動焦点調節装置を備えたカメラ
US7474846B2 (en) * 2006-02-15 2009-01-06 Micron Technology, Inc. Method and apparatus of determining the best focus position of a lens
JP2007322978A (ja) * 2006-06-05 2007-12-13 Pentax Corp 焦点検出方法および焦点検出装置
JP4827662B2 (ja) * 2006-08-31 2011-11-30 Hoya株式会社 焦点調節装置を備えたカメラ
JP5381060B2 (ja) * 2008-02-05 2014-01-08 株式会社リコー 撮像装置およびその画像処理方法
JP5272551B2 (ja) * 2008-07-15 2013-08-28 株式会社リコー 撮像装置及び方法
JP5063546B2 (ja) * 2008-09-24 2012-10-31 キヤノン株式会社 焦点調節装置、焦点調節制御方法、及びプログラム
JP5324195B2 (ja) * 2008-11-25 2013-10-23 三星電子株式会社 撮像装置及び撮像方法
EP2448246B1 (en) * 2010-10-28 2019-10-09 Axis AB Method for focusing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426093A (zh) * 2007-10-29 2009-05-06 株式会社理光 图像处理设备、图像处理方法及计算机程序产品

Also Published As

Publication number Publication date
US8472798B2 (en) 2013-06-25
EP2448246B1 (en) 2019-10-09
EP2448246A1 (en) 2012-05-02
US20120106937A1 (en) 2012-05-03
JP2012093754A (ja) 2012-05-17
CN102455568A (zh) 2012-05-16

Similar Documents

Publication Publication Date Title
CN102455568B (zh) 用于对焦的方法
CN114092820B (zh) 目标检测方法及应用其的移动目标跟踪方法
CN108764006B (zh) 一种基于深度强化学习的sar图像目标检测方法
CN112884742B (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN107038717A (zh) 一种基于立体栅格自动分析3d点云配准误差的方法
Izady et al. Application of NN-ARX model to predict groundwater levels in the Neishaboor Plain, Iran
Wu et al. Prediction of hourly solar radiation with multi-model framework
Ren et al. Empirical mode decomposition-k nearest neighbor models for wind speed forecasting
CN115905857A (zh) 基于数学形态学和改进Transformer的非侵入式负荷分解方法
CN112131794A (zh) 基于lstm网络的水工建筑物多效应量优化预测及可视化方法
CN114065649A (zh) 一种配电变压器顶层油温短期预测方法及预测系统
CN113947025B (zh) 短时交通流的预测方法、装置、终端设备及存储介质
CN113920159A (zh) 一种基于全卷积孪生网络的红外空中小目标跟踪方法
CN110598711B (zh) 一种结合分类任务的目标分割方法
Karevan et al. Black-box modeling for temperature prediction in weather forecasting
Nazeri-Tahroudi et al. Estimation of dew point temperature in different climates of Iran using support vector regression
CN110083732B (zh) 图片检索方法、装置及计算机存储介质
CN116226468B (zh) 基于网格化终端业务数据存储管理方法
CN112182026A (zh) 一种考虑流形排序算法的电网截面数据检索方法
CN116879979A (zh) 一种基于时空神经网络的积雪深度预报方法以及系统
CN116342480A (zh) 一种遮挡鲁棒的柔性线缆状态感知方法、装置和设备
Son et al. Refrigerant Charge Estimation for an Air Conditioning System using Artificial Neural Network Modelling
CN110879952B (zh) 一种视频帧序列的处理方法及装置
Abed et al. Application of k-nearest neighbors (KNN) technique for predicting monthly pan evaporation
Sun et al. SPSN: seed point selection network in point cloud instance segmentation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant