CN103226279A - 用于自适应自动聚焦算法的方法和系统 - Google Patents
用于自适应自动聚焦算法的方法和系统 Download PDFInfo
- Publication number
- CN103226279A CN103226279A CN2012105761813A CN201210576181A CN103226279A CN 103226279 A CN103226279 A CN 103226279A CN 2012105761813 A CN2012105761813 A CN 2012105761813A CN 201210576181 A CN201210576181 A CN 201210576181A CN 103226279 A CN103226279 A CN 103226279A
- Authority
- CN
- China
- Prior art keywords
- focus
- image
- lens
- measured
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
本发明提出了一种用于自适应自动聚焦算法的方法和系统,其在图像获取装置接收图像、确定图像的焦点测量、并通过在第一方向上移动图像获取装置中移动透镜调节图像的焦点直到达到最大焦点测量位置。然后,该方法和系统估算焦点测量的噪声水平,并通过在第一方向上进一步移动透镜持续调节图像的焦点直到焦点测量减小自适应阈值量,其中自适应阈值量基于焦点测量的噪声水平。然后,该方法和系统通过在第二方向上移动透镜到最大焦点测量位置调节图像的焦点。
Description
技术领域
本发明涉及图像处理,更具体地,涉及基于焦点测量的噪声水平的图像自动聚焦。
背景技术
许多当前的数字式照相机提供自动聚焦特征,其由具有一个或更多传感器的光学系统和沿着光轴定位透镜从而自动检测最佳焦点的控制系统组成。传感器估算该焦点测量(通常是图像中梯度的和),并且将透镜停止在最大焦点测量的位置(是最尖锐焦点的位置)。
为了确定已经发现实际最尖锐焦点位置,许多数字式照相机采用自动聚焦算法,其包括通过持续将透镜移动过可疑的最尖锐焦点从而使图像变模糊而超过最尖锐焦点的过程。如果该模糊发生,那么照相机假设实际上已经找到最尖锐焦点位置,并且将透镜返回到焦点测量最大化的位置。
照相机到达最尖锐焦点所用的时间对能够获取期望图像是关键。为了试图最小化到达最尖锐焦点位置的时间,自动聚焦算法可以限制过调的量,同时试图验证最尖锐焦点。然而,这样做导致不可靠的验证并且可能导致错过最尖锐焦点位置。更慎重的自动聚焦算法可以显著地增加过调以保证验证最尖锐焦点的位置,但是可能导致令人不快的模糊显示给照相机操作人员。
自动聚焦算法中过调的理想选择实际上取决于聚焦的特定场景(scene),包括对象的移动、场景的照明度和图像内的对比度。在具有高对比度的高度照明的图像中,只需要少量过调验证最尖锐焦点的位置。在低光条件中,图像和焦点测量随图像中的噪声变模糊,由此促使更长时间的过调。
典型的自动聚焦算法引入预定义模糊过调阈值,该阈值是为“正常”条件集合设计的,但是其在高亮度/低噪声环境中不是最有效的,并且不可用于低亮度/高噪声环境。这些不足导致在高焦点测量情形和低焦点测量情形中非最佳的自动聚焦,并且可能不能在低亮度条件中自动聚焦。
因此,需要能够基于焦点测量的噪声水平确定过调阈值的自适应自动聚焦算法。进一步地,自适应阈值被设计成焦点测量的多个当前噪声水平。
发明内容
为了解决上述问题,本发明提供了以下自动聚焦系统和自动聚焦方法:
(1)一种用于自动聚焦的系统,包括:
图像获取装置,被配置为接收图像;
控制器,被配置为确定所述图像的焦点测量和所述焦点测量的噪声水平;以及
聚焦系统,被配置为:
基于所述噪声水平确定自适应阈值;以及
使用自适应阈值水平,通过移动所述图像获取装置中的透镜调节所述图像的焦点,直到达到最大焦点测量位置。
(2)根据(1)所述的系统,其中,所述控制器持续确定所述焦点测量和所述焦点测量的所述噪声水平。
(3)根据(1)所述的系统,其中,所述聚焦系统将用于所述焦点测量的所述自适应阈值确定为所述焦点测量的多个所述噪声水平。
(4)根据(1)所述的系统,其中,所述焦点系统通过将所述最大焦点测量位置过调一自适应阈值量然后返回到所述最大焦点测量位置,验证所述最大焦点测量位置。
(5)根据(1)所述的系统,其中,所述控制器基于强度确定所述焦点测量。
(6)根据(1)所述的系统,其中,所述控制器基于所述图像的梯度和确定所述焦点测量。
(7)一种用于自动聚焦的系统,包括:
图像获取装置,被配置为接收图像;
控制器,被配置为确定所述图像的焦点测量和所述焦点测量的噪声水平;以及
聚焦系统,被配置为:
基于所述焦点测量的所述噪声水平确定所述焦点测量的自适应阈值;
通过在第一方向上移动所述图像获取装置中的透镜来调节所述图像的焦点,直到所述焦点测量值减小等于所述自适应阈值的值;以及
在第二方向上移动所述图像获取装置中的所述透镜。
(8)根据(7)所述的系统,其中,所述聚焦系统在所述第二方向上移动所述透镜,直到所述焦点测量达到最大值,然后从所述最大值减小等于所述自适应阈值的值。
(9)根据(7)所述的系统,其中,所述聚焦系统在所述第二方向上移动所述透镜,直到达到最大焦点测量位置。
(10)一种用于自动聚焦的方法,包括:
在图像获取装置中接收图像;
确定所述图像的焦点测量;
通过在第一方向上移动所述图像获取装置中的透镜,调节所述图像焦点;
估算所述焦点测量的噪声水平;
通过在所述第一方向上进一步移动所述透镜来持续调节所述图像的焦点,直到所述焦点测量减小自适应阈值量;以及
通过在第二方向上将所述透镜移动到最大焦点测量位置来调节所述图像的焦点,
其中,所述自适应阈值量基于所述焦点测量的噪声水平。
(11)根据(10)所述的方法,其中,所述估算所述焦点测量的噪声水平是持续执行的。
(12)根据(10)所述的方法,其中,所述估算所述焦点测量的噪声水平是周期性执行的。
(13)根据(10)所述的方法,其中,所述自适应阈值量是持续估算的。
(14)根据(10)所述的方法,其中,所述自适应阈值量是所述焦点测量的多个噪声水平。
(15)根据(10)所述的方法,其中,所述自适应阈值由于所述图像的照明度减小而增加。
(16)根据(10)所述的方法,其中,所述焦点测量的确定基于光强度。
(17)根据(10)所述的方法,其中,所述焦点测量的确定包括对所述图像的梯度求和。
(18)根据(10)所述的方法,进一步包括,在通过在所述第一方向上移动所述图像获取装置中的所述透镜来调节所述图像的焦点直到达到最大焦点测量位置之前,在所述第二方向上移动所述透镜,其中所述焦点测量减小。
(19)根据(18)所述的方法,进一步包括:
一旦确定所述焦点测量在减小,通过在所述第一方向上移动所述透镜来调节所述图像的焦点。
(20)根据(19)所述的方法,其中,确定所述焦点测量在减小包括在所述第二方向上移动所述透镜,直到所述焦点测量减小自适应阈值量。
附图说明
参考附图描述了示例性的实施方式。在附图中,类似参考数字指示相同的或者功能类似的元件。另外,参考数字的最左侧数字识别参考数字首次出现的图。
图1示出用于图像获取装置的自动聚焦系统的实例;
图2是示出在自动聚焦系统中给定焦点测量的透镜位置的示图实例,其排除焦点测量的噪声水平分量;
图3是示出在自动聚焦系统中给定焦点测量的透镜位置的示图实例,其示出焦点测量估算的噪声采样;
图4是示出根据本发明实施方式的在自动聚焦系统中给定焦点测量的透镜位置的详细示图,其示出焦点测量估算的噪声采样;
图5是示出根据本发明实施方式的在具有低噪声的自动聚焦系统中给定焦点测量的透镜位置的示图;
图6是示出根据本发明实施方式的在具有高噪声的自动聚焦系统中给定焦点测量的透镜位置的示图;
图7和图8示出根据本发明实施方式的用于基于焦点测量的噪声水平的自适应自动聚焦算法的示例性方法的方框图;以及
图9是根据本发明实施方式的自动聚焦系统的实例实施示图。
现在参考附图描述示例性的实施方式。
具体实施方式
下列详细说明参考附图从而说明示例性的实施方式。详细说明中提到的“一个示例性实施方式”、“示例性实施方式”等表示所描述的示例性实施方式可以包括特定的特征、结构或者特点,但是每个示例性的实施方式可以不必包括特定特征、结构或者特点。此外,这种短语不必指相同的示例性实施方式。进一步地,当结合示例性实施方式描述特定特征、结构、特点时,在本领域技术人员已知的范围内,无论是否明确描述,结合其他示例性的实施方式会影响这些特征、结构或者特点。
这里所秒述的示例性实施方式是为说明性目的提供的,而不是限制。其他实施例也是可能的,并且在本公开的精神和范围内可以对示例性实施方式作出修改。因此,该详细说明不是意图限制。而是本发明的保护范围仅仅按照权利要求和其等价物限定。
实施方式可以以硬件(例如,数字照相机和/或电路)、固件、软件、或者其任何组合执行。实施方式也可实施为在机器可读介质上存储的指令,其可以由一个或更多处理器读取并执行。机器可读介质可以包括用于存储由机器(例如,计算装置)可读形式的信息的任何机构。例如,机器可读介质可以包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储器介质;光存储介质;闪速存储装置。进一步地,这里可以将固件、软件、例行程序、指令描述为执行某些动作。然而,应该理解,这些描述仅仅为了方便起见,并且这些动作实际上源于计算装置、处理器、控制器、或者执行固件、软件、例行程序、指令等等的其他装置。
为了讨论的目的,术语“模块”应该被理解为包括软件、固件、和硬件(诸如电路、微芯片、或装置,或者其任何组合中的一个或多个)、和其任何组合的至少一个。此外,应当清楚,每个模块在实际装置内可以包括一个或多于一个的组件,并且形成所述模块的一部分的每个组件可以与形成该模块一部分的任何其他组件合作或者独立地起作用。相反地,这里描述的多个模块可以表示实际装置内的单个组件。进一步,模块内的组件可以在单个装置中,或者以有线或无线的方式分布在多个装置之间。
示例性实施方式的下列详细说明会完全揭示其总体性质,其他的能够通过应用本领域技术人员已知知识,容易在不偏离本公开的精神和保护范围为不同应用改进和/或改变,而无需过多实验。因此,这些改变和改进在根据这里给出的教导和指导的示例性实施方式的意义和多个等价物内。应当理解,这里的短语或术语用于描述的目的而不是限制目的,以便本说明书的术语或者短语会由本领域技术人员按照这里的教导解释。
尽管实施方式的描述是按照图像获取装置(具体地,数字式照相机)描述的,但是本领域技术人员会认识到,该实施方式可以适用于其他成像装置,而不偏离本公开的精神和范围。
数字成像
图1示出根据本发明实施方式的自动聚焦(AF)系统100的方框图。AF系统100包括能够接收并获取对象120的图像的图像获取装置110。图像获取装置110包括可移动透镜112、图像传感器114、模-数转换器(ADC)116、数字图像信号处理器(ISP)118、照相机控制器120以及聚焦驱动系统122。
透镜112由聚焦驱动系统122在任何方向上移动,但被示出为在由运动方向113指示的平面上移动。照相机控制器120分析图像传感器114的输出,从而确定透镜112是否应该由聚焦驱动系统122移动,以便使得对象120的图像(这里称为图像120)聚焦在图像传感器114上。ADC116将图像120的模拟图像数据转换为数字图像数据。
照相机控制器120通过测量焦点测量确定图像120是否焦点对准,焦点测量是通过在ISP118中处理图像120估算的。焦点测量是从在图像传感器114上图像120的像素值处理获得的数学值。存在许多用于处理图像120的算法,包括图像上梯度和的简单焦点测量,例如邻近像素之间的绝对差的和。以这种算法,如果图像是模糊的,则邻近像素会具有非常近似的值,并因此焦点测量会相对低。如果图像是尖锐的,则邻近像素之间的差会相对高,并因此焦点测量会相对高。最尖锐的图像对应于邻近像素差值的最大和,并且表示图像120聚焦的点。
在更加复杂的AF算法中,附加处理可用于执行额外的图像分析。例如,只分析图像特定区域的像素,例如在图像中心的像素,或者可应用例如用于像素亮度、颜色、和立体频率的滤波器。
照相机控制器120在图像传感器114分析图像120时也面临图像120内含有的其他信息,例如噪声。图像噪声是数字照相中的常见问题。图像噪声能够被看作模拟胶片照相中的胶片颗粒。图像噪声通常是所获取图像中的照明或者颜色的随机变化,其增加了虚假和外来信息。
图像噪声在低光条件下变得更加明显。在低光下,图像的适当曝光需要使用更长的快门速度、更高ISO设定(例如,增益或者曝光指数)、或这两者的结合。在数字式照相机中,较长的快门速度和/或较高ISO设定导致图像120内的噪声相对增加。为了快速有效地达到焦点,如后面所讨论的,ISP118引入图像120中噪声水平的分析和随后聚焦驱动系统122和透镜112的控制。
自动聚焦期间的过调
图2是示出根据本发明实施方式的AF算法的基本循环的示图实例,其示出给定焦点测量的透镜位置。图2中示图没有示出如后面所讨论的任何图像噪声或对焦点测量的关联影响。
如前面所提到的,为了确定已经发现实际最尖锐焦点位置,数字式照相机通常采用自动聚焦算法,其包括通过持续将透镜移动过怀疑的最尖锐焦点从而使图像变模糊的过调最尖锐焦点。当该模糊发生时,照相机假设已经找到并经过最尖锐焦点位置,并且将透镜返回到焦点测量最大化的位置。
图2示出焦点测量作为透镜位置的函数的曲线图。焦点测量最大化的位置(在点D)指示最尖锐焦点位置。点A指示透镜112可能的起始位置。聚焦驱动系统122任意选择透镜112开始移动的方向113。在选择“正确”方向的情形中,透镜112开始从点A向点D移动。然而,为了确定点D是否是最大焦点测量,照相机控制器120指示聚焦驱动系统122持续在相同方向上移动透镜112,直到照相机控制器120确定图像传感器114上的图像120的焦点测量在减小。一旦照相机控制器120作出这样的决定,其指示聚焦驱动系统122将透镜112在相反方向上移动,返回点D。
当聚焦驱动系统122不正确地选择移动透镜112的起始方向113时,透镜112开始从点A向点B移动。照相机控制器120感测到聚焦在减小,然后逆反透镜112的移动方向113使得透镜112向点D移动。如在先前的实例中,为了确定点D是否是最大焦点测量,照相机控制器120指示聚焦驱动系统122持续在相同方向上移动,直到照相机控制器120确定图像传感器114上的图像120的焦点测量在减小。一旦照相机控制器120作出这样的决定,其指示聚焦驱动系统122将透镜112在相反方向上移动,返回点D。
透镜112从点A到B和从点D到C的移动可以被认为与对达到最尖锐聚焦点的过程的适得其反。同样,如果在图像120中不存在噪声,那么透镜在从A到B的不正确的初始方向上和从点D到C的过调验证情形中的移动能够最小化到由于透镜移动基本上无低效出现的点。然而,由于数字图像本身包括噪声,特别在低光线且高ISO设定中,过调验证是必需的。
自动聚焦期间的噪声影响
图3是根据本发明实施方式的AF算法的基本循环的示图实例,其包括图像噪声的影响。尽管图2示出点之间的平滑过渡,但是图3包括随机图像噪声,如具有用于对比的参考点A、B、C、和D的较小点所示。实际上,如图2所示,AF算法不具有平滑清楚的焦点测量曲线,而是面临在透镜位置被修改的某些时间点的焦点测量估计的有噪声样本。
图3中的测量是有噪声的并且由于图像中的固有噪声随机波动,而且由于其他因素随机地波动,例如照相机的随机振动、运动、变化的照明度、ISO值设定等等。因此,在任何方向上从初始透镜位置A向B或者D的移动会导致一些点聚焦值减小。在这种情况下,不是指示已经达到最尖锐聚焦点,而是仅指示已经找到“局部”峰值点。
图4示出这种情况,其中AF系统中的透镜112具有由点A,a所示的初始位置。聚焦驱动系统122向点D移动透镜116,试图定位最尖锐焦点,例如焦点测量最大化的点。随着透镜116向点D开始移动,焦点测量值增加然后减小。在无噪声环境中,照相机控制器120会得出达到最大焦点测量值的结论,因为焦点测量值开始减小。然而,如图4所示,由于图像噪声,“最大”检测点不是最尖锐焦点,而只是局部最大值。
随着透镜116持续移动经过局部最大点,达到局部最小点,其后焦点测量值再次增加并超越局部最大值。这种情况表明还没有达到真实的最大焦点测量,并且怀疑的最大焦点测量值仅仅是局部最大值。
为了避免这种错误检测,必须在证实已经检测到真实焦点测量点并且逆反透镜112的移动方向返回到实际尖锐聚焦点之前,检测大量的焦点测量。过调的值是任何AF算法内的关键权衡。如果过调的量太小,那么会在最大焦点测量点错误地识别局部最大值。如果过调的值太大,那么在超过尖锐焦点位置之后发生过度过调、浪费时间并产生观察得到的模糊图像。典型AF算法试图通过定义在大部分情形中其作用的中程过调值,减轻错误识别和过度过调的发生,该中程过调值在整个噪声条件的范围不是最佳的。图5和6将讨论具有全范围噪声情形的自适应自动聚焦。
在低噪声中自适应自动聚焦
图5是示出根据本发明实施方式的自适应AF算法的循环的示图实例,其示出在具有低噪声信息含量的自动聚焦系统中给定焦点测量的透镜位置。如前面所提到的,图像噪声在低光、高ISO情形中增加,而噪声信息在高亮度、低ISO环境中减小。自适应自动聚焦算法识别图像中含有的相对低的噪声信息,且因此减小相应过调值的阈值。图5再次示出透镜112在点A的初始开始位置。还示出在无噪声情况下焦点测量和透镜位置之间的关系,被标作无噪声轨迹。照相机控制器120周期性或持续地确定所接收图像中的噪声信息的量。噪声信息的量被图示为特定点和无噪声轨迹之间的偏移。示出点W和标记低噪声delta(Δ)的实例。
在具有低噪声Δ的情况下,照相机控制器120基于噪声Δ的量(例如,低噪声Δ)分配过调阈值。在实施例中,该阈值在特定时间点被设定为多个噪声测量例如,3x噪声Δ。因此,验证真实最尖锐焦点位置是点D所需的过调量示为点D和点X之间的过调Δ。
由于图像噪声水平不必需是常数,所以在实施方式中,照相机控制器120持续地监视所接收图像中的噪声的量并能够持续修改过调阈值。在另一个实施方式中,照相机控制器120周期地确定所接收焦点测量中的噪声的量并修改过调阈值。无论如何,该过调阈值自适应所接收焦点测量中的噪声水平。
尽管在实施方式中移动透镜112,但是在AF系统100内持续监视当前焦点测量。初始当前焦点测量值存储在AF系统100内并被称作最大焦点测量。当当前焦点测量超过所存储的最大焦点测量时,所存储的最大焦点测量以新的最大焦点测量替换。透镜移动持续,直到焦点测量开始减小。由于焦点测量的减小能够由随机噪声波动引起,所以透镜移动在相同方向上持续,直到观察到焦点测量统计上的显著减小。此时两种不同情形都是可能的。
第一个情形发生,其中在透镜移动期间焦点测量一直减小,在透镜移动期间没有达到和经过统计上显著的最大值。在该情形中,透镜移动方向被反向,并且重复该过程。给定该反方向,会达到最大聚焦,随后焦点测量下降。
第二种情形发生,其中在透镜移动期间焦点测量最初增加,达到统计上显著的最大值,然后焦点测量开始减小。在这个情形中,确定最大聚焦的位置,并且透镜被移回最大聚焦位置。
在传统现有技术中,AF算法由预定或试探性定义的常数确定过调阈值。在本公开中,所需过调被确定为焦点测量噪声的统计上显著最大值。该方法给出最小化过调的优点。用户通常认为当察觉的图像显著模糊时,AF系统预先形成不必要的、或者过度的、自动聚焦搜索。在本发明实施方式中,透镜刚好移动到由于散焦的模糊与由于噪声的模糊可比的点,因此不会观察到感觉过度的模糊。然而,在显著图像噪声的情况下,会相应增加阈值并且会保持鲁棒性和可靠的AF操作。
同样的方法用于这样的情形,其中从初始透镜开始位置A,聚焦驱动系统122在焦点D的相反方向上选择透镜112的前进方向。在该情形中,照相机控制器120将基于多个噪声测量确定图像120的噪声含量并选择过调阈值。当超过阈值时,聚焦系统113会逆反透镜112的前进方向。
在高噪声中自适应自动聚焦
图6是示出根据本发明实施方式的自适应AF算法循环的示图实例,其示出在具有高噪声信息含量的自动聚焦系统中给定焦点测量的透镜位置。自适应自动聚焦算法识别图像中含有的相对较高的噪声信息,因此增加相应过调值的阈值,以便保证精确的最大焦点测量判断。虽然低噪声中自适应自动聚焦允许更快更有效的最尖锐聚焦位置确定,但是高噪声环境中自适应自动聚焦允许精确的最大焦点测量判断,其中典型的AF算法不能确定任何类型的最大焦点测量位置。
图6再次示出透镜112在点A的初始开始位置。还示出在无噪声情况下焦点测量和透镜位置之间的关系,被标作无噪声轨迹。照相机控制器120周期性或持续地确定所接收图像中的噪声信息的量。噪声信息的量被图示为特定点和无噪声轨迹之间的偏移。示出点Y和标记的高噪声Δ的实例。注意,高噪声Δ大于图5所示的低噪声Δ。
在高噪声Δ的情形中,照相机控制器120基于噪声Δ量分配过调阈值,例如高噪声Δ。在实施方式中,该阈值设定在任何特定时间点的多个噪声测量,例如3x噪声Δ。因此,验证真实最尖锐焦点位置是点D所需的过调量被示为点D和Z之间的过调Δ。再次,注意高噪声过调Δ大于图5中所示的低噪声过调。
如前面所提,图像噪声水平不必是常数,并且照相机控制器120能够持续或周期性监视所接收图像中的噪声量并修改关联的过调阈值。
一旦已经得到阈值水平,照相机控制器120指示聚焦系统113将透镜112返回到最大焦点测量位置,该位置由图6中的点D指示。由于已知在特定点的噪声水平的量,并且在这个实例中已经确定相对大,需要合理量的过调行进验证点D实际上是最大焦点测量位置。因此,实际上可确定最尖锐聚焦位置D,然而典型AF算法使用不基于图像的当前噪声信息含量的“标准”或者名义上过调阈值,且不能确定任何类型的非焦点位置。
同样的方法用于在这样的情形,其中从初始透镜开始位置A,聚焦驱动系统122在焦点D的相反方向上选择透镜112的前进方向。在该情形中,照相机控制器120将基于多个噪声测量确定图像120的噪声含量并选择过调阈值。当超过阈值时,聚焦系统113将逆反透镜112的前进方向。
自适应自动聚焦算法的示例性方法
结合图2至图6中所示的自适应自动聚焦算法和图1中所述的系统描述根据实施方式的方法,但不限制于此。
图7是根据本发明实施方式的基于焦点测量的噪声水平的自适应自动聚焦算法的示例性方法700的流程图。为了易于解释,参考使用图2至图6中方法的图1中自适应自动聚焦系统描述方法700,但是方法实施方式不限制于此。
方法700从在图像获取装置接收图像的步骤702开始。在实施方式中,自动聚焦系统100包括能够接收并获取对象120的图像的图像获取装置110。
方法700通过在步骤704中确定图像的焦点测量而继续。在实施方式中,图像获取装置110在图像传感器114接收对象120的图像。照相机控制器120确定图像传感器114的焦点测量。
方法700通过在步骤706中通过在第一方向上移动图像获取装置中的透镜调节图像的焦点直到得到最大焦点测量而继续。在实施方式中,聚焦驱动系统122任意选择开始移动透镜112的方向113。如图2所示,在选择“正确”方向的情形中,透镜112开始从点A向点D移动,其为最大焦点测量。
方法700通过在步骤708估算焦点测量的噪声水平而继续。在实施方式中,照相机控制器120周期或持续地确定所接收图像中的噪声信息的量。噪声信息的量示为特定点和无噪声轨迹之间的偏移。图5示出点W并标记为低噪声Δ的实例。
方法700通过在步骤710中在第一方向上进一步移动透镜持续调节图像的焦点直到焦点测量减小自适应阈值量而继续。在实施方式中,为了确定点D是否是最大焦点测量,照相机控制器120指示聚焦驱动系统122持续在相同方向上移动透镜120,直到照相机控制器120确定图像传感器114上的图像120的焦点测量减小。一旦照相机控制器120作出这样的确定,其指示聚焦驱动系统122在相反方向上移动透镜112返回到点D。
方法700通过在步骤712中基于自适应阈值量证实最大焦点测量表示尖锐焦点位置而继续。在实施方式中,在如图5所示的相对低噪声Δ的情形中,照相机控制器120基于噪声Δ量(例如,低噪声Δ)分配过调阈值。在实施方式中,该阈值在任何特定时间点被设定在多个噪声测量,例如3x噪声Δ。因此,验证真实最尖锐焦点位置是点D所需要的过调的量被示为点D和X之间的过调Δ。
方法700通过在步骤714中通过在第二方向上移动透镜到尖锐焦点位置来调节图像的焦点而继续,其中自适应阈值量基于焦点测量的噪声水平。在实施方式中,一旦已经得到该阈值水平,照相机控制器120指示聚焦系统113将透镜112返回到最大焦点测量位置,该位置由图5和6中的点D指示。然后,方法700结束。
图8是根据本公开实施方式的用于基于焦点测量的噪声水平的自适应自动聚焦算法的示例性方法800的流程图。为了易于解释,参考图1的自适应自动聚焦系统使用图2至图6的方法描述方法800,但是该方法的实施方式不限制于此。
方法800从步骤802开始,选择透镜的移动方向并在所选择方向上移动透镜。在实施方式中,自动聚焦系统100包括能够接收并获取对象120的图像的图像获取装置110。在实施方式中,聚焦驱动系统122任意选择开始移动透镜112的方向113,并且开始在该方向上移动透镜112。
方法800通过在步骤804中确定图像的焦点测量而继续。在实施方式中,图像获取装置110在图像传感器114接收对象120的图像。照相机控制器120确定在图像传感器114的图像120的焦点测量。
方法800通过在步骤806中移动透镜直到与焦点测量的噪声水平相比焦点测量统计上显著减小而继续。在实施方式中,聚焦驱动系统122在方向113上移动透镜112的位置,同时由ISP118监视焦点测量。如果当前焦点测量值超过先前的焦点测量,那么ISP118以新值更新存储的最大焦点测量。持续该过程直到观察到焦点测量统计上显著减小。
方法800通过在步骤808中估算是否已经得到统计上显著的聚焦最大值而继续。在实施方式中,照相机控制器120周期性或持续地确定所接收图像中的噪声信息的量。噪声信息的量被示为特定点和无噪声轨迹之间的偏移。图5中示出点W和标记为低噪声Δ的实例。在实施方式中,为了确定点D是否是最大焦点测量,照相机控制器120指示聚焦驱动系统122持续在相同方向上移动透镜112,直到照相机控制器120确定图像传感器114上的图像120的焦点测量正在减小。
方法800通过在步骤810判定是否已经得到最大焦点测量而继续。如果判定实际上已经得到最大焦点测量,那么方法800直接进入步骤812,从而透镜移动到最尖锐焦点置。如果没有得到最大焦点测量,那么步骤810改变透镜的移动方向,并且移动透镜直到观察到焦点测量统计上显著减小。在实施方式中,一旦照相机控制器120作出还没有得到聚焦最大值的判定,则指示聚焦驱动系统122在相反方向上移动透镜112,返回到点D。
方法800通过在步骤812移动透镜到最尖锐焦点位置而继续。在实施方式中,一旦已经得到阈值水平,照相机控制器120指示聚焦系统113将透镜112返回到最大焦点测量位置,该位置由图5和6中的点D指示。然后,方法800结束。
相关领域技术人员将认识到,该方法可额外地或可替换地包括上面讨论的自动聚焦系统100的任何功能,并且示例性方法的上面描述既不应该被视为限制该方法,也不应该被视为限制自适应自动聚焦系统的描述。
实例处理器系统实施
图9使出根据本发明实施方式的自动聚焦(AF)系统900的方框图。AF系统900包括能够接收并获取对象920的图像的图像获取装置910。图像获取装置910包括沿着光轴913可移动的透镜912、图像传感器914、模-数转换器(ADC)916、数字图像信号处理器(ISP)918、照相机控制器920、聚焦驱动系统922、存储单元930、RAM940和视频输出端口950。
在实施方式中,从图像传感器914获得信号,并且该信号由ADC916转换为数字格式。然后该数字格式图像由ISP918处理,ISP918处理数字图像并且在视频输出端口950生成图像获取装置910的输出视频。视频输出信号可以是数字或者模拟形式的,用于在照相机屏幕上显示、和/或存储、和/或经由电缆或者无线传输,和/或进一步的信号处理和/或播放、压缩和/或编码等等。
ISP918也估算诸如图像亮度和对比度的参数,用于照相机控制和图像调谐。ISP918通过处理图像或者视频流估算这些参数。特别是ISP918估算焦点测量,其被传输到照相机控制器920,进而经由聚焦驱动系统922控制透镜位置。
结论
应当理解,具体实施方式而非摘要旨在用于解释权利要求。摘要可以阐述一个或更多而不是全部示例性的实施方式,因此并未旨在以任何方式限制权利要求。
上面借助功能性结构单元描述了实施方式,这些功能性结构单元示出特定功能及其关系的实施。这些功能性结构单元的边界在此为了描述的便利任意定义。也可定义可替换边界,只要其中特定功能和关系是适当执行的。
对于相关领域技术人员而言,显然可以在不偏离本发明的精神和范围的情况下对形式和细节进行不同改变。因此本发明不受任何上述示例性实施方式限制,而是仅由所附权利要求及其等价物限定。
Claims (10)
1.一种用于自动聚焦的系统,包括:
图像获取装置,被配置为接收图像;
控制器,被配置为确定所述图像的焦点测量和所述焦点测量的噪声水平;以及
聚焦系统,被配置为:
基于所述噪声水平确定自适应阈值;以及
使用自适应阈值水平,通过移动所述图像获取装置中的透镜调节所述图像的焦点,直到达到最大焦点测量位置。
2.根据权利要求1所述的系统,其中,所述控制器持续确定所述焦点测量和所述焦点测量的所述噪声水平,或所述聚焦系统将用于所述焦点测量的所述自适应阈值确定为所述焦点测量的多个所述噪声水平。
3.根据权利要求1所述的系统,其中,所述焦点系统通过将所述最大焦点测量位置过调一自适应阈值量然后返回到所述最大焦点测量位置,验证所述最大焦点测量位置。
4.根据权利要求1所述的系统,其中,所述控制器基于强度或基于所述图像的梯度和确定所述焦点测量。
5.一种用于自动聚焦的系统,包括:
图像获取装置,被配置为接收图像;
控制器,被配置为确定所述图像的焦点测量和所述焦点测量的噪声水平;以及
聚焦系统,被配置为:
基于所述焦点测量的所述噪声水平确定所述焦点测量的自适应阈值;
通过在第一方向上移动所述图像获取装置中的透镜来调节所述图像的焦点,直到所述焦点测量值减小等于所述自适应阈值的值;以及
在第二方向上移动所述图像获取装置中的所述透镜。
6.根据权利要求5所述的系统,其中,所述聚焦系统在所述第二方向上移动所述透镜,直到所述焦点测量达到最大值,然后从所述最大值减小等于所述自适应阈值的值,或所述聚焦系统在所述第二方向上移动所述透镜,直到达到最大焦点测量位置。
7.一种用于自动聚焦的方法,包括:
在图像获取装置中接收图像;
确定所述图像的焦点测量;
通过在第一方向上移动所述图像获取装置中的透镜,调节所述图像焦点;
估算所述焦点测量的噪声水平;
通过在所述第一方向上进一步移动所述透镜来持续调节所述图像的焦点,直到所述焦点测量减小自适应阈值量;以及
通过在第二方向上将所述透镜移动到最大焦点测量位置来调节所述图像的焦点,
其中,所述自适应阈值量基于所述焦点测量的噪声水平。
8.根据权利要求7所述的方法,进一步包括,在通过在所述第一方向上移动所述图像获取装置中的所述透镜来调节所述图像的焦点直到达到最大焦点测量位置之前,在所述第二方向上移动所述透镜,其中所述焦点测量减小。
9.根据权利要求7所述的方法,进一步包括:
一旦确定所述焦点测量在减小,通过在所述第一方向上移动所述透镜来调节所述图像的焦点。
10.根据权利要求7所述的方法,其中,确定所述焦点测量在减小包括在所述第二方向上移动所述透镜,直到所述焦点测量减小自适应阈值量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161549495P | 2011-10-20 | 2011-10-20 | |
US13/361,579 | 2012-01-30 | ||
US13/361,579 US20130100334A1 (en) | 2011-10-20 | 2012-01-30 | Method and System for an Adaptive Auto-Focus Algorithm |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103226279A true CN103226279A (zh) | 2013-07-31 |
Family
ID=48135540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012105761813A Pending CN103226279A (zh) | 2011-10-20 | 2012-12-26 | 用于自适应自动聚焦算法的方法和系统 |
Country Status (3)
Country | Link |
---|---|
US (5) | US20130100334A1 (zh) |
CN (1) | CN103226279A (zh) |
TW (1) | TW201329554A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107844727A (zh) * | 2016-09-19 | 2018-03-27 | 手持产品公司 | 点撞击标记图像获取 |
CN109416458A (zh) * | 2016-06-30 | 2019-03-01 | 株式会社尼康 | 相机 |
CN109521547A (zh) * | 2018-12-21 | 2019-03-26 | 广州医软智能科技有限公司 | 一种变步长的自动调焦方法及系统 |
CN113269211A (zh) * | 2020-02-14 | 2021-08-17 | 郑桂忠 | 感测器内处理单元及存储器内运算单元的整合方法及系统 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9479677B2 (en) * | 2012-09-05 | 2016-10-25 | Intel Corproation | Protocol for communications between platforms and image devices |
KR101417387B1 (ko) * | 2012-11-01 | 2014-07-09 | 주식회사 팬택 | 휴대 단말기 및 휴대 단말기의 사용자 인터페이스 제공방법 |
WO2014081711A1 (en) * | 2012-11-20 | 2014-05-30 | Utility Associates, Inc | System and method for securely distributing legal evidence |
KR101956073B1 (ko) * | 2012-12-20 | 2019-03-08 | 삼성전자주식회사 | 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법 |
US9483118B2 (en) * | 2013-12-27 | 2016-11-01 | Rovi Guides, Inc. | Methods and systems for selecting media guidance functions based on tactile attributes of a user input |
US10136061B2 (en) | 2015-01-30 | 2018-11-20 | Microsoft Technology Licensing, Llc | Automatic processing of automatic image capture parameter adjustment |
CN105138962A (zh) * | 2015-07-28 | 2015-12-09 | 小米科技有限责任公司 | 图像显示方法及装置 |
TWI579826B (zh) * | 2016-03-30 | 2017-04-21 | 佳世達科技股份有限公司 | 顯示裝置及其運作方法 |
US10049625B1 (en) * | 2016-12-21 | 2018-08-14 | Amazon Technologies, Inc. | Context-based rendering |
CN107086027A (zh) * | 2017-06-23 | 2017-08-22 | 青岛海信移动通信技术股份有限公司 | 文字显示方法及装置、移动终端及存储介质 |
KR102646750B1 (ko) * | 2018-03-21 | 2024-03-13 | 삼성전자주식회사 | 표시 객체의 확산 정도에 기반하여 초점을 조절하는 방법 및 이를 구현한 전자 장치 |
TWI724788B (zh) * | 2020-02-14 | 2021-04-11 | 國立清華大學 | 感測器內處理單元及記憶體內運算單元之整合方法及其系統 |
CN113938599B (zh) * | 2020-07-14 | 2024-03-08 | 浙江宇视科技有限公司 | 一种电动镜头聚焦方法、装置、电子设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5260736A (en) * | 1991-09-04 | 1993-11-09 | Fuji Photo Film Co., Ltd. | Auto focus control device |
US5933187A (en) * | 1993-05-27 | 1999-08-03 | Canon Kabushiki Kaisha | Video camera apparatus with automatic focus operation dependent on electronic zoom condition |
JP2005055618A (ja) * | 2003-08-01 | 2005-03-03 | Seiko Precision Inc | プロジェクタ、その焦点調節方法、及びその焦点調節プログラム |
JP2005156971A (ja) * | 2003-11-26 | 2005-06-16 | Tamron Co Ltd | オートフォーカス装置及びそれを備えたカメラ、カメラ本体 |
US20050280734A1 (en) * | 2004-06-16 | 2005-12-22 | Pentax Corporation | Focus detection method and focus detection apparatus |
US7969501B2 (en) * | 2007-05-01 | 2011-06-28 | Samsung Electronics Co., Ltd. | Method and apparatus for auto-focusing in image sensor |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496277B1 (en) * | 1999-07-23 | 2002-12-17 | Xerox Corporation | Data flow control and storage facility for an image reproduction system |
US7079289B2 (en) * | 2001-10-01 | 2006-07-18 | Xerox Corporation | Rank-order error diffusion image processing |
US7538815B1 (en) * | 2002-01-23 | 2009-05-26 | Marena Systems Corporation | Autofocus system and method using focus measure gradient |
US7187413B2 (en) * | 2002-07-25 | 2007-03-06 | Lockheed Martin Corporation | Method and system for using an image based autofocus algorithm |
EP1528419B1 (en) * | 2002-08-07 | 2018-01-24 | Panasonic Intellectual Property Management Co., Ltd. | Focusing device |
WO2005091067A2 (en) * | 2004-03-15 | 2005-09-29 | 1... Limited | Camera autofocus |
US8432582B2 (en) * | 2004-08-20 | 2013-04-30 | Xerox Corporation | Uniformity compensation in halftoned images |
US8154769B2 (en) * | 2005-02-15 | 2012-04-10 | Ricoh Co. Ltd | Systems and methods for generating and processing evolutionary documents |
KR20080034508A (ko) * | 2005-08-08 | 2008-04-21 | 요셉 러브너 | 적응형 노출 제어 |
US7956929B2 (en) * | 2005-10-31 | 2011-06-07 | Broadcom Corporation | Video background subtractor system |
TW200723077A (en) * | 2005-12-14 | 2007-06-16 | Elan Microelectronics Corp | Movement detection method for multiple objects on a capacitive touchpad |
EP1976268A1 (en) * | 2005-12-28 | 2008-10-01 | Olympus Corporation | Imaging system and image processing program |
JP5431148B2 (ja) * | 2006-05-31 | 2014-03-05 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ストレージ用論理データオブジェクトの変換方法およびシステム |
KR100780957B1 (ko) * | 2006-08-21 | 2007-12-03 | 삼성전자주식회사 | 영상선택 장치 및 방법 |
US8144186B2 (en) * | 2007-03-09 | 2012-03-27 | Polycom, Inc. | Appearance matching for videoconferencing |
CN101828145B (zh) * | 2007-10-19 | 2012-03-21 | 高通Mems科技公司 | 具有集成光伏元件的显示器 |
US8432372B2 (en) * | 2007-11-30 | 2013-04-30 | Microsoft Corporation | User input using proximity sensing |
US20110109764A1 (en) * | 2008-09-24 | 2011-05-12 | Li Hong | Autofocus technique utilizing gradient histogram distribution characteristics |
JP4620150B2 (ja) * | 2008-10-23 | 2011-01-26 | 株式会社東芝 | 電子機器および映像処理方法 |
US8289286B2 (en) * | 2008-12-19 | 2012-10-16 | Verizon Patent And Licensing Inc. | Zooming keyboard/keypad |
US8294858B2 (en) * | 2009-03-31 | 2012-10-23 | Intel Corporation | Integrated photovoltaic cell for display device |
US8655146B2 (en) * | 2009-03-31 | 2014-02-18 | Broadcom Corporation | Collection and concurrent integration of supplemental information related to currently playing media |
TW201118823A (en) * | 2009-11-27 | 2011-06-01 | Univ Nat Taiwan | Transflective display device |
US8120838B2 (en) * | 2010-05-19 | 2012-02-21 | Au Optronics Corporation | Electrophoretic display device |
JP5569329B2 (ja) * | 2010-10-15 | 2014-08-13 | 大日本印刷株式会社 | 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等 |
US20120306767A1 (en) * | 2011-06-02 | 2012-12-06 | Alan Stirling Campbell | Method for editing an electronic image on a touch screen display |
-
2012
- 2012-01-30 US US13/361,579 patent/US20130100334A1/en not_active Abandoned
- 2012-02-15 US US13/397,240 patent/US8749607B2/en active Active
- 2012-03-30 US US13/435,909 patent/US20130101275A1/en not_active Abandoned
- 2012-09-10 TW TW101133027A patent/TW201329554A/zh unknown
- 2012-09-27 US US13/628,750 patent/US20130101162A1/en not_active Abandoned
- 2012-10-19 US US13/655,910 patent/US20130100026A1/en not_active Abandoned
- 2012-12-26 CN CN2012105761813A patent/CN103226279A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5260736A (en) * | 1991-09-04 | 1993-11-09 | Fuji Photo Film Co., Ltd. | Auto focus control device |
US5933187A (en) * | 1993-05-27 | 1999-08-03 | Canon Kabushiki Kaisha | Video camera apparatus with automatic focus operation dependent on electronic zoom condition |
JP2005055618A (ja) * | 2003-08-01 | 2005-03-03 | Seiko Precision Inc | プロジェクタ、その焦点調節方法、及びその焦点調節プログラム |
JP2005156971A (ja) * | 2003-11-26 | 2005-06-16 | Tamron Co Ltd | オートフォーカス装置及びそれを備えたカメラ、カメラ本体 |
US20050280734A1 (en) * | 2004-06-16 | 2005-12-22 | Pentax Corporation | Focus detection method and focus detection apparatus |
US7969501B2 (en) * | 2007-05-01 | 2011-06-28 | Samsung Electronics Co., Ltd. | Method and apparatus for auto-focusing in image sensor |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109416458A (zh) * | 2016-06-30 | 2019-03-01 | 株式会社尼康 | 相机 |
CN107844727A (zh) * | 2016-09-19 | 2018-03-27 | 手持产品公司 | 点撞击标记图像获取 |
CN109521547A (zh) * | 2018-12-21 | 2019-03-26 | 广州医软智能科技有限公司 | 一种变步长的自动调焦方法及系统 |
CN113269211A (zh) * | 2020-02-14 | 2021-08-17 | 郑桂忠 | 感测器内处理单元及存储器内运算单元的整合方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US8749607B2 (en) | 2014-06-10 |
US20130101275A1 (en) | 2013-04-25 |
US20130100235A1 (en) | 2013-04-25 |
TW201329554A (zh) | 2013-07-16 |
US20130100334A1 (en) | 2013-04-25 |
US20130100026A1 (en) | 2013-04-25 |
US20130101162A1 (en) | 2013-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103226279A (zh) | 用于自适应自动聚焦算法的方法和系统 | |
KR101345093B1 (ko) | 자동 초점 제어 장치, 이미지 캡처 장치 및 초점 자동 조절 방법 | |
US7929042B2 (en) | Imaging apparatus, control method of imaging apparatus, and computer program | |
KR101228978B1 (ko) | 메인 얼굴 선택장치, 그 제어방법, 및 촬상장치 | |
JP4748244B2 (ja) | 画像選択装置、画像選択方法及びプログラム | |
US7801432B2 (en) | Imaging apparatus and method for controlling the same | |
US8736747B2 (en) | Camera autofocus adaptive blur matching model fitting | |
JP5446076B2 (ja) | デジタルカメラ | |
US8520130B2 (en) | Image capturing apparatus and auto-focus control method thereof | |
US8848094B2 (en) | Optimal blur matching selection for depth estimation | |
JP4364078B2 (ja) | 撮像方法及び撮像装置 | |
US9204034B2 (en) | Image processing apparatus and image processing method | |
US20100157135A1 (en) | Passive distance estimation for imaging algorithms | |
US9906708B2 (en) | Imaging apparatus, imaging method, and non-transitory storage medium storing imaging program for controlling an auto-focus scan drive | |
US10623623B2 (en) | Lens control apparatus and control method thereof | |
US8411195B2 (en) | Focus direction detection confidence system and method | |
US10310213B2 (en) | Lens control apparatus and control method thereof | |
US10200630B2 (en) | Image capturing apparatus capable of changing an aperture value based on a change in an aperture diameter, controlling method of the same, and recording medium | |
CN110708463B (zh) | 对焦方法、装置、存储介质及电子设备 | |
JP2009198951A (ja) | 撮像装置および対象物の検出方法 | |
US9160916B2 (en) | Focus adjustment apparatus with a size detector | |
CN107465880B (zh) | 对焦方法、装置、终端和计算机可读存储介质 | |
US9407811B2 (en) | Focus control unit in imaging apparatus, method of controlling the focus control unit and medium for controlling the focus control unit | |
WO2013094551A1 (ja) | 撮像装置、その制御方法およびプログラム | |
EP2621161A2 (en) | Method and system for an adaptive auto-focus algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1184864 Country of ref document: HK |
|
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130731 |
|
REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1184864 Country of ref document: HK |