CN111556250A - 使用激光自动聚焦减少散焦的方法和设备 - Google Patents

使用激光自动聚焦减少散焦的方法和设备 Download PDF

Info

Publication number
CN111556250A
CN111556250A CN202010430295.1A CN202010430295A CN111556250A CN 111556250 A CN111556250 A CN 111556250A CN 202010430295 A CN202010430295 A CN 202010430295A CN 111556250 A CN111556250 A CN 111556250A
Authority
CN
China
Prior art keywords
scene
frames
lens position
lens
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010430295.1A
Other languages
English (en)
Other versions
CN111556250B (zh
Inventor
桑基·克里希穆尔蒂·萨加尔
卢应辰
鲁本·曼纽尔·维拉尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111556250A publication Critical patent/CN111556250A/zh
Application granted granted Critical
Publication of CN111556250B publication Critical patent/CN111556250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

本发明涉及使用激光自动聚焦减少散焦的方法和设备。举例来说,一种方法包含用成像装置捕捉描绘场景的多个帧,选择至少一个帧的所述场景中对应于所述场景的物体的一部分,和检测所述场景的变化。所述方法进一步包含针对所述多个帧中的每一个检测所述物体与所述成像装置之间的距离,基于每一帧的所述所确定距离来确定每一帧的镜头位置,和在所述场景不断变化时朝向每一帧的所述镜头位置移动镜头。所述方法还包含确定所述场景稳定,和基于对所述场景稳定的所述确定而发起自动聚焦搜索操作。

Description

使用激光自动聚焦减少散焦的方法和设备
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2016年3月22日、申请号为201680019329.X、发明名称为“使用激光自动聚焦减少散焦的方法和设备”的发明专利申请案。
技术领域
本发明的实施例涉及成像装置,且确切地说,涉及用于成像装置自动聚焦的方法和设备。
背景技术
数字处理技术与成像装置的集成已实现更有力且更容易地使用摄影产品。举例来说,以数字方式控制成像装置的快门速度、光圈和传感器灵敏度而不需摄影者针对每一环境手动确定和设置这些参数的能力已提供多种成像环境中改进的图片质量。
具有自动聚焦能力(其成像装置和方法在本文中可简称为“自动聚焦”)的成像装置还通过使几乎任一摄影者不管技术如何都能在大多数成像环境中获得清晰图像而使得捕捉高质量相片变得更加容易。自动聚焦还可能减少专业摄影者的工作负荷。这可使摄影者能够将其更多精力集中在其职业的创造性方面,使得这些摄影者制作的相片的质量相应地提高。
现有自动聚焦搜索操作可引起若干问题。举例来说,由于成像装置必须在近和远两个方向上进行搜索,因此寻找最佳聚焦镜头位置的搜索时间可能较长,从而在可捕捉经恰当聚焦的图像之前产生延迟。因为这一点,自动聚焦失败的比率可能增加,且由于在自动聚焦搜索操作开始时散焦而不是接收渐锐聚焦,用户可能具有不良体验。因此,在自动聚焦搜索操作期间,用户可查看稍微离焦的图像,自动聚焦搜索操作接着可在成像装置在不正确方向上进行搜索时使图像逐渐散焦,且最后成像装置可在相反方向上进行搜索以定位最佳聚焦镜头位置。仍需要去除此效应并使在自动聚焦搜索操作期间所需的时间减到最少。
发明内容
本发明实施例中的一些可包含一种通过确定首先在哪个方向上移动成像装置的镜头以获得更快速且更锐利的聚焦来聚焦成像装置的方法。此方法可包含用成像装置捕捉描绘场景的多个图像帧,选择至少一个帧的场景中对应于所述场景的物体的一部分,和检测场景的变化。在一些实施例中,成像装置经配置以在连续自动聚焦模式中操作。所述方法还包含针对每一图像帧检测物体与成像装置之间的距离,和基于每一帧的所确定距离来确定每一帧的镜头位置。在一些实施例中,镜头位置是最佳聚焦镜头位置的估计值。所述方法进一步包含在场景不断变化时朝向每一帧的镜头位置移动镜头,确定场景稳定,和基于对于所述场景稳定的确定而发起自动聚焦搜索操作。
所述方法可进一步包含监测图像帧,其中监测图像帧包含确定每一帧的变化量词且将每一帧的变化量词与阈值变化量词进行比较。变化量词可为明度量词、移动量词和距离量词中的至少一个。检测场景的变化可以基于所述监测,其中当至少一个帧的变化量词大于阈值变化量词时检测到场景的变化。
在一些实施例中,确定每一图像帧的镜头位置包含通过距离传感器报告每一图像帧的所检测距离,接收每一图像帧的所检测距离,以及基于锚定距离、锚定镜头位置和至少一个成像装置规格中的至少一个来将每一图像帧的所检测距离转换成每一帧的镜头位置。
在一些实施例中,所述方法进一步包含基于对最佳聚焦镜头位置的估计而确定近边界极限和远边界极限。朝向镜头位置移动镜头可包含朝向近边界移动镜头。
在一些实施例中,发起自动聚焦搜索操作可包含执行精细自动聚焦搜索操作和确定实际最佳聚焦镜头位置,其中实际最佳聚焦镜头位置靠近所估计的最佳聚焦镜头位置且在近边界极限与远边界极限之间。
另一方面包含一种成像装置,例如用于减少在自动聚焦搜索操作期间出现的散焦事件的设备。所述设备可包含:镜头,其经配置以将来自场景的光聚焦在镜头的焦平面处;大致位于镜头的焦平面处的图像传感器,其经配置以捕捉基于来自场景的经聚焦光描绘所述场景的多个图像帧;距离传感器,其经配置以检测场景的物体与成像装置之间的距离;处理器,其可操作地耦合到图像传感器和镜头;和存储器组件,其可操作地耦合到处理器。在一些实施例中,距离传感器包括激光传感器和双相机系统中的至少一个,且距离传感器可进一步经配置以报告每一帧的所检测距离。处理器和存储器组件可共同经配置以选择至少一个帧的场景中对应于所述场景中的物体的一部分,检测场景的变化,基于每一帧的所确定距离来确定每一帧的镜头位置,在场景不断变化时朝向每一帧的镜头位置移动镜头,确定场景是稳定的,且基于对于场景稳定的确定而发起自动聚焦搜索操作。在一些实施例中,镜头位置是最佳聚焦镜头位置的估计值。
在一些实施例中,处理器和存储器组件进一步经配置以监测多个帧,确定每一帧的变化量词,且将每一帧的变化量词与阈值变化量词进行比较。变化量词可为明度量词、移动量词和距离量词中的至少一个。检测场景的变化可以基于所述比较,其中当至少一个帧的变化量词大于阈值变化量词时检测到场景的变化。
在其它实施例中,处理器和存储器组件可进一步经配置以接收每一帧的所检测距离,且基于每一帧的所检测距离以及锚定距离、锚定镜头位置和至少一个成像装置规格中的至少一个来确定每一帧的镜头位置。
在又其它实施例中,处理器和存储器组件可进一步经配置以基于所确定的镜头位置来确定近和远边界极限,且朝向近边界极限移动镜头。
在一些实施例中,处理器和存储器组件可进一步经配置以执行精细自动聚焦搜索操作,且确定实际最佳聚焦镜头位置,其中实际最佳聚焦镜头位置靠近所估计的最佳聚焦镜头位置且在近边界极限与远边界极限之间。
在一些实施例中,存储器组件可包含以下中的至少一个:输入处理模块、变化确定模块、镜头位置确定模块、镜头控制模块、稳定性确定模块、自动聚焦控制模块和边界极限确定模块。
另一方面包含一种用于减少在自动聚焦搜索操作期间出现的散焦事件的设备。所述设备可包含:用于捕捉描绘场景的多个帧的装置;用于检测场景的物体与成像装置之间的距离的装置;用于选择至少一个帧的场景中对应于所述场景中的物体的一部分的装置;用于检测场景的变化的装置;用于基于每一帧的所确定距离来确定每一帧的镜头位置的装置;用于在场景不断变化时朝向每一帧的镜头位置移动镜头的装置;用于确定场景稳定的装置;和用于基于对场景稳定的确定而发起自动聚焦搜索操作的装置。在一些实施例中,所述设备可包含用于报告每一帧的所检测距离的装置。在其它实施例中,用于确定镜头位置的装置可经配置以接收每一帧的所检测距离,且基于每一帧的所检测距离以及锚定距离、锚定镜头位置和至少一个成像装置规格中的至少一个来确定每一帧的镜头位置。在一些实施例中,镜头位置是最佳聚焦镜头位置的估计值。
在其它实施例中,所述设备可进一步包含用于基于最佳聚焦镜头位置的估计值来确定近和远边界极限的装置。用于移动镜头的装置随后可经配置以朝向近边界移动镜头。
在另一方面中,提供一种非暂时性计算机可读媒体。所述非暂时性计算机可读媒体可包含指令,所述指令在经执行时使处理器执行用于减少在自动聚焦搜索操作期间出现的散焦事件的方法。所述方法可包含:用成像装置捕捉描绘场景的多个帧;选择至少一个帧的场景中对应于所述场景的物体的一部分;检测场景的变化;针对多个帧中的每一个检测物体与成像装置之间的距离;基于每一帧的所确定距离来确定每一帧的镜头位置;在场景不断变化时朝向每一帧的镜头位置移动镜头;确定场景稳定;和基于对场景稳定的确定而发起自动聚焦搜索操作。在一些实施例中,所述确定每一帧的镜头位置可进一步包含通过距离传感器报告每一帧的所检测距离,接收每一帧的所检测距离,以及基于锚定距离、锚定镜头位置和至少一个成像装置规格中的至少一个来将每一帧的所检测距离转换成每一帧的镜头位置。在一些实施例中,所述方法还可包含基于镜头位置确定近和远边界极限,且所述移动镜头可包含朝向近边界移动镜头。
附图说明
将在下文中结合附图来描述所揭示方面,提供附图是为了说明但不限制所揭示方面,其中相同符号表示相同元件。
图1说明成像装置中的自动聚焦事件的示范性实施方案的自动聚焦事件时间线。
图2A是说明成像装置的实施例的实例的框图。
图2B是说明图2A的成像装置的传感器模块的实施例的实例的框图。
图3是说明针对给定场景和传感器模块按镜头位置绘制的聚焦值自动聚焦方法的实例的曲线图。
图4说明根据一个实施例的示范性自动聚焦事件的自动聚焦事件时间线。
图5是说明确定最佳聚焦镜头位置的方向的过程的实例的流程图。
具体实施方式
在以下描述中,给出具体细节以提供对实例的透彻理解。然而,所属领域的一般技术人员将理解,可在没有这些具体细节的情况下实践所述实例。举例来说,可在框图中展示电组件/装置,以免用不必要的细节混淆所述实例。在其它示例中,可详细展示此类组件、其它结构和技术以进一步解释所述实例。
还应注意,可将所述实例描述成过程,所述过程被描绘成流程图、流图、有限状态图、结构图或框图。虽然流程图可将操作描述成循序过程,但许多操作可并行或同时执行,并且所述过程可重复。另外,可以重新布置操作的次序。过程在其操作完成时终止。过程可以对应于方法、功能、程序、子例程、子程序等。当过程对应于软件功能时,过程的终止对应于功能返回到调用功能或主功能。
可使用多种不同技艺和技术中的任一者来表示信息和信号。举例来说,可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个上文描述中可能参考的数据、指令、命令、信息、信号、位、符号和码片。
可通过多种类型的致动器在图像装置中执行自动聚焦。相机使用在可移动范围内移动以实现聚焦的镜头将场景聚焦到图像传感器上。自动聚焦成像装置使用音圈电机(VCM)、压电或MEMS解决方案来使镜头移动。
可在现代数字成像装置中使用多种自动聚焦(“AF”)方法来确定机械移动将使镜头移动的方向和距离。举例来说,因为具有较高对比度的图像可能倾向于具有较锐利聚焦,所以一些自动聚焦方法寻求提供具有最高对比度的图像的镜头位置。这可被称为聚焦值方法,其中比较不同镜头位置处的聚焦值以确定哪个图像具有最高对比度。自动聚焦方法的另一实例是基于物体深度估计,其中所述算法基于所估计的目标物体距成像装置的深度或位置,将镜头直接移动到所估计的镜头位置。基于估计的可信度,可能需要基于最小对比度的自动聚焦。然而,当用于最佳聚焦的镜头位置未知时,成像装置可使用聚焦值方法。最佳镜头位置是指产生最大聚焦值或最高对比度值的镜头位置。
聚焦值方法的一些实施方案可以从不知道用于聚焦在目标物体上的最佳聚焦的镜头位置的情况开始。为开始自动聚焦搜索操作,所述算法首先搜索最佳聚焦镜头位置。所述搜索以选择移动镜头的方向开始以获得连续样本图像帧。所述算法取得连续图像帧,将所述图像帧进行比较,并且基于具有较高对比度的样本来确定聚焦位置方向。
关于在哪个方向上开始搜索的决策是一个困难的决策,这是因为从自动聚焦搜索操作一开始就不知道用于目标物体的最佳聚焦的镜头位置。在一些实施例中,所述方向决策部分地基于当前镜头位置和预定义边界。预定义边界可为物体相对于成像装置的位置范围。所述边界的范围可介于在成像装置附近的距离到无限距距离之间。应认识到,预定义边界可对于不同的成像装置而不同。在许多成像装置中,附近位置距相机约10厘米,且无限距位置距相机约200厘米或更远。由于此决策和不知道最佳聚焦镜头位置,所以选择使镜头移动的正确方向的总成功率为大约50%。
一些自动聚焦方法可能在某些成像环境中无法达到足够的聚焦。举例来说,在距图像传感器不同距离处在图像内呈现多个物体的成像环境可能使自动聚焦方法难以确定应选择所述多个物体中的哪个或哪些物体来进行聚焦。其它成像环境可包含处于运动中的物体。传统的自动聚焦方法可能无法辨识处于运动中的物体。这与本文中所揭示的方法相比可能造成较差聚焦。
本文中所描述的实施例包含经配置以在成像装置的自动聚焦搜索操作开始之时或之前确定使镜头朝向最佳聚焦镜头位置移动的方向的方法、设备和计算机可读媒体。在一些实施例中,所述方法可针对可确定所捕捉场景的每一图像帧的最佳聚焦镜头位置的方法和图像捕捉装置。通过确定最佳聚焦镜头位置和知道当前镜头位置,可使成像装置的镜头在最佳聚焦镜头位置的方向上移动。这可带来自动聚焦速度和总体准确度的潜在改进,从而改进图像捕捉装置中的图像质量。因此,一个实施例引入一种在自动聚焦搜索操作初始化开始之时或之前确定最佳聚焦镜头位置方向的软件解决方案。
在所述方法和设备的一些实施例中,成像装置可包含经配置以确定成像装置与被聚焦的目标物体之间的距离的距离传感器。在一个实施例中,所述距离传感器为激光模块或激光传感器。在另一实施例中,所述距离传感器可为双相机系统。在一些实施例中,所述距离传感器可经配置以确定成像装置与单个帧中的任一物体之间的距离。
在所述方法和设备的一些实施例中,成像装置可经配置以检测待由所述成像装置捕捉的场景的变化。场景的变化可以通过用户将成像装置从一个既定图像移动到下一图像、既定在移动中捕捉的物体等来表示。成像装置可经配置以检测场景的变化并确定在捕捉图像之前需要聚焦操作或自动聚焦搜索操作来聚焦于所述场景。检测场景变化的一些示范性方法包含(但不限于)基于图像帧的光强度测量词(例如亮度或明度)、成像装置的物理移动的陀螺测量值或检测、连续图像之间的帧物体的距离比较连续图像帧或用以向成像装置指示场景已变化的任何方法。
在本文中所揭示方法的一些实施例中,一旦检测到场景变化,则成像装置可经配置以在场景由于用户(例如成像装置水平移动)或由于正捕捉的图像而不断变化时估计每一图像帧的最佳聚焦镜头位置。在一些实施例中,成像装置可利用距离传感器来确定成像装置与每一图像帧的物体之间的距离。成像装置可基于每一图像帧的所确定距离来估计每一图像帧的最佳聚焦镜头位置。因此,即使成像装置水平移动或场景在每一图像帧内发生变化(例如场景不稳定),成像装置也能够确定每一图像帧的最佳聚焦镜头位置。
在所述方法的说明性实施例中,成像装置随后经配置以在场景不断变化和不稳定时使镜头朝向每一图像帧的最佳聚焦镜头位置移动。因此,不同于在传统自动聚焦搜索方法中,一旦已检测到场景变化,则镜头在最佳镜头聚焦位置的方向上移动,即使装置可能仍在水平移动或图像并不稳定。这是因为成像装置能够根据基于由距离传感器(在场景变化之后)针对每一帧返回的物理距离对最佳聚焦镜头位置的估计来确定在哪个方向上移动镜头。以此方式,成像装置知道使镜头移动的方向和使镜头移动的量。相比之下,传统聚焦值方法自动聚焦搜索操作在场景变化时不知道使镜头移动的方向或量,成像装置被迫等待直到场景稳定为止,且随后基于每一帧的对比度或聚焦值的比较而试图聚焦所述场景。
在说明性实施例中,本文中所揭示的方法和设备在连续自动聚焦模式中操作。在一些成像装置(例如移动电话中的相机)中,连续自动聚焦模式为默认选择。在其它成像装置(例如DSLR相机)中,存在用户可从中进行选择的众多模式(例如自动模式、触摸自动聚焦模式、连续自动聚焦模式等)。连续自动聚焦模式的特征可在于对连续或多个图像帧的连续监测。在连续自动聚焦模式的一些实施例中,成像装置选择场景的物体,例如位于场景中心处的物体,并且持续监测连续帧中的所述物体。在一些实施例中,用户可通过(例如经由触摸屏或其它输入装置)选择进行聚焦的物体来选择退出连续自动聚焦模式或在连续自动聚焦模式外操作,从而将成像装置的操作变换成聚焦于用户选定物体且仅监测所选定图像帧。
“散焦事件”在本文中用作广义术语,其是指场景被聚焦且随后在系统通过将镜头位置的同一区域对折来搜索最佳聚焦时散焦。本文中所揭示的方法和设备的一个说明性非限制性优点为散焦事件(散焦事件的出现)由于镜头在成像装置水平移动或场景不稳定时移动而减少。因此,在开始自动聚焦搜索操作之前镜头已经较靠近最佳聚焦位置。用户将不大可能在成像装置的预览画面中看见散焦事件。因此,通过比传统自动聚焦搜索操作更早且更精确地移动镜头,本文中所揭示的方法和设备显著减少散焦事件。
下文结合图1到5更详细地描述上文所论述的系统和方法的实例实施方案。
图1说明成像装置中的自动聚焦事件的示范性实施方案的自动聚焦事件时间线的实例。在图1中所说明的实施例中,沿表示经过的时间(t)的轴线绘制时间线。每一自动聚焦事件包含涉及自动聚焦的速度和性能的两个分量,所述分量为监测阶段110和自动聚焦搜索阶段120。在一些实施例中,自动聚焦事件完全以连续自动聚焦模式出现,包含监测阶段110和搜索阶段120。监测阶段110在监测阶段开始点132处开始,其中成像装置针对场景变化持续监测场景的每一图像帧。场景变化可以由用户使成像装置水平移动或移动和/或正试图捕捉的场景在成像装置的图像帧内移动来表示。在监测阶段110期间,成像装置(例如移动电话中的相机)在点135处检测所跟踪场景的变化。接着,成像装置监测所述成像装置的水平移动或场景变化(例如确定场景不断变化),并且一旦场景稳定,如在点137处所确定,则在点145处触发搜索阶段(例如触发自动聚焦搜索)。
上文所描述的使用聚焦值自动聚焦方法的一些实施方案使用监测阶段110来持续跟踪场景,以检测场景变化的出现且监测所述场景变化,从而确定所述场景是否稳定。在一些系统中,成像装置在监测阶段期间并不移动镜头。这类成像装置等待场景变稳定且随后切换到自动聚焦搜索阶段120,在所述阶段中移动镜头以基于聚焦值或对比度值来定位聚焦位置。然而,如下文将详细论述,本文中所揭示的方法和设备使得镜头能够在自动聚焦搜索阶段120之前的监测阶段110期间移动,从而改进成像装置的自动聚焦的速度和总体准确度。
监测阶段110包含:(i)在时间线上的点135处检测场景变化,和(ii)在点137处确定场景在成像装置内是否稳定或成像装置是否仍在水平移动。存在可用于检测场景变化的众多方法。出于说明的目的,本文中描述了三种示范性方法:(i)基于亮度(例如明度)的变化,(ii)基于成像装置方向性移动的变化(例如,如通过陀螺仪或加速度计所确定的成像装置的位置或方向性移动的变化),和(iii)基于距离的场景变化(例如,经由激光跟踪监测成像装置与场景之间的距离)。在针对每一方法的一些实施例中,可设定阈值,使得一旦成像装置检测到具有等于或大于所述阈值的值的图像帧,所述成像装置则经配置以确定场景已变化。在一些实施例中,在成像装置预览阶段期间作出场景变化确定,其中用户能够在成像装置的显示器上查看图像和对图像进行组帧而不用实际捕捉图像。
在一些实施方案中,对于阈值来说,不存在定值或比值。所选择的阈值可基于每一成像装置中使用的模块、镜头和致动器而变化。因此,阈值为调谐或校准过程的一方面,其中制造商可基于对每一个别成像装置的偏好而改变阈值。举例来说,如果将阈值设定成较小数字,那么成像装置可为敏感的。如果将阈值设定成较大数字,那么成像装置可更精密。以此方式,用户可选择确定场景变化的灵敏度或精密度并且可据此设定阈值。
举例来说,基于亮度或明度的场景变化检测每一帧的光的总强度。在一些实施例中,明度值经归一化且表示帧之间的相对亮度变化。可测量每一帧的明度值,其中所述明度值经归一化到例如10个位,使得值0表示完全黑暗(例如不存在亮度)且1024(例如210)表示最高的可能亮度等级。因此,每一帧的明度值可在0到1024的范围内,且提供用于比较从每一帧检测到的强度的归一化基础。在一些实施例中,检测帧的给定区的明度值。在其它实施例中,跨整个帧计算明度值。在一些实施例中,成像装置预览在强光条件下以30每秒帧数(“fps”)进行且在弱光条件下以15fps进行。在这个实例中,可跨整个显示器计算每一帧的明度值,所述显示器由多个像素组成。在监测阶段110开始时,计算第一帧的明度值,且其表示指示稳定和无变化场景的参考帧。计算后续预览帧的明度值,并且将每一后续帧的值与参考帧进行比较。如果后续帧与参考帧之间的明度值的绝对差(正或负)大于阈值,那么成像装置经配置以确定已发生场景变化。举例来说,可将阈值设定成100明度,且在监测阶段110开始时,参考帧的明度值为200。如果第二帧的明度值为202,那么成像装置经配置以确定尚未发生场景变化。然而,如果计算出后续帧的明度值为350,其与参考帧的差大于阈值100,那么成像装置经配置以确定已发生场景变化。虽然前述实例包含设定成100明度的阈值,但可基于场景变化确定的所要灵敏度而选择任何阈值。
在另一说明性实例中,成像装置中可包含陀螺仪和加速度计。这些元件经配置以检测成像装置的位置、定向或移动的变化。举例来说,近年来,振动陀螺仪传感器已包含到成像装置中作为用于小型摄像机和静物相机的抖动检测系统、视频游戏的动作感应和车辆电子稳定性控制(防滑)系统以及其它。在一些实施例中,这些传感器返回角速度的x、y、z坐标。类似于明度值确定,设定阈值,并且在给定帧与参考帧之间的角速度的坐标的平方根(例如(x2+y2+z2))的差大于阈值的情况下,成像装置则确定已发生场景变化。
另一说明性实例使用激光传感器来确定已发生场景变化。激光传感器可返回每一帧的物理距离。在一些实施例中,所述距离是在毫米的量级上进行测量。在另一实施例中,所述距离是基于飞行时间计算(例如发射光与检测返回光或反射光之间的时间差)来确定的。在监测阶段110开始时,确定成像装置与参考帧的场景之间的距离,且当在后续帧与参考帧之间检测到的距离之间的差大于某一阈值时,检测到场景变化。举例来说,类似于基于明度值和移动的确定,可将阈值设定成100mm。在监测阶段110的第一帧处,可确定物体距成像装置的距离为200mm,且随后在某一后续帧处,确定从成像装置到物体的距离为600mm。因此,参考帧与后续帧的距离的差大于阈值,且成像装置经配置以确定场景已变化。虽然前述实例包含设定成100mm的阈值,但可基于场景变化确定的所要灵敏度而选择任何阈值。
一旦检测到场景变化,成像装置则可在监测阶段110期间监测场景以确定场景是否稳定,例如确定场景并未不断变化或成像装置并未水平移动。一旦场景并未变化或成像装置不再水平移动,则所述场景被视为稳定的。用于确定场景稳定的实例方法包含(i)基于明度值的稳定确定,和(ii)基于移动(例如陀螺仪和/或加速度计)的确定。对于每一方法,设定一条件,且成像装置经配置以在给定数目的连续帧中监测所述条件的出现。举例来说,当成像装置基于检测值确定检测到预定数目的连续帧满足所述条件(例如连续帧之间的值的差低于指示场景未变化的某一阈值)时,成像装置确定场景稳定。
在说明性实例中,如上文所描述,成像装置可使用亮度值或明度值来确定场景是否正发生变化。类似于基于明度值的场景变化检测,计算每一帧的明度值。然而,不同于场景变化检测,稳定性是基于连续帧的绝对差。举例来说,设定稳定性阈值(例如5明度),且设定差低于阈值的帧的数目(例如设定成3)。本文中所使用的稳定性阈值和帧数目既定用于说明性目的,且基于稳定性确定的所要灵敏度,其它稳定性阈值和帧数目是可能的。在说明性实例中,第一帧可具有值200明度且第三帧可具有值350,从而指示场景变化,其中场景变化阈值为100,如上文所描述。接着,后续帧(第四到第八帧)可具有明度值360、370、374、375和375。为了确定场景为稳定的,计算连续帧的差,例如确定第五帧值(360明度)减去第四帧值(350明度),且此处差为10明度,其大于阈值5明度,由此成像装置经配置以确定场景尚未稳定。随后计算出第六帧值(370明度)减去第五帧值(360明度)为10,且因此场景还是不稳定。接下来,计算第七帧值(374明度)减去第六帧值(370明度),计算结果小于5,其指示场景在第七帧与第六帧之间是稳定的。随后,计算出第八帧值(375明度)减去第七帧值(374明度)小于5,其指示第七帧与第八帧之间的第二稳定性个例。最后,计算出第九帧值(375明度)减去第八帧值(375明度)小于5,其指示第九帧与第八帧之间的稳定性个例。因此,成像装置已检测到三个稳定帧。成像装置可经配置以随后确定场景稳定,此时所述成像装置可经配置以进行到自动聚焦搜索阶段120。
在另一说明性实例中,成像装置可利用移动信息以例如基于陀螺仪测量值来确定场景的稳定性。类似于基于陀螺仪的场景变化确定,计算出角速度的坐标的平方根(例如(x2+y2+z2)),且将其与阈值进行比较。然而,不同于确定场景已变化,将连续帧进行比较直到检测到预定数目的帧低于阈值,且随后成像装置可经配置以确定场景稳定。举例来说,类似于上文所描述的基于明度值的确定,将阈值设定成0.3且将等待的帧数目设定成3。当对于3个连贯帧来说连续帧的平方根(x2+y2+z2)的值的差小于0.3时,成像装置确定场景稳定或不抖动。
参看图1,一旦已检测到场景变化135且场景在点137处被视为稳定,如在监测阶段110期间所确定,则可执行自动聚焦搜索阶段120(例如成像装置移动镜头以寻找聚焦位置)。在自动聚焦搜索阶段120期间,成像装置将镜头移动到位于点145(自动聚焦开始)与点150(自动聚焦结束)之间的某一位置处的最佳聚焦镜头位置。
图2A示出说明具有传感器模块210的成像装置200的实施例的实例的框图。图2B说明传感器模块210的实施例。所说明的成像装置200包含以操作方式连接到传感器模块210、工作存储器270、存储装置275、显示器280、距离传感器230和输入装置290的处理器205。处理器205还连接到存储器220。存储器220存储若干模块,所述模块存储定义用以配置处理器205以执行成像装置200的功能的指令的数据值,如将在下文更详细地描述。
另外,如图2B中所说明,传感器模块210可包含镜头212、自动聚焦组件214和图像传感器216。光从场景240进入镜头212且聚焦在成像传感器216上。在一个方面中,成像传感器216利用电荷耦合装置。在另一方面中,成像传感器216利用CMOS或CCD传感器。镜头212耦合到自动聚焦组件214且通过自动聚焦组件214的致动器(图中未展示)移动。致动器经配置以使镜头212在可移动范围250内的一系列一或多个镜头位置中移动。在图2B中所展示的实施例中,可使镜头沿可移动范围250在方向251上朝向无限距机械端255且在方向252上朝向微距(macro)机械端254移动,且镜头沿可移动范围250的位置在本文中将被描述为“镜头位置”。在一些实施例中,可移动范围250的镜头位置为镜头可通过致动器而移动到的离散位置。自动聚焦组件214可包含所属领域中已知用于致动镜头212的任何方法,包含音圈电机(VCM)、微机电系统(MEMS)或形状记忆合金(SMA)。图2B的实施例包含传感器模块210的安装空间218,所述安装空间可为至少部分地在镜头212与图像传感器216之间的空腔。安装空间218为传感器模块210中用于安装机械装置的区域。举例来说,在一些实施例中,安装空间218可容纳用于安装自动聚焦组件的托架和其它支架。安装空间218可为托架和其它安装装置提供用于安装图像传感器216的区域。因此,安装空间218可包含用以增加自动聚焦组件214、镜头212和图像传感器216的结构完整性的一或多个组件,且经设定尺寸(或经配置)以允许图像聚焦在图像传感器216上并维持沿镜头212的光轴的对准。
返回到图2A,处理器205可利用工作存储器270来存储在成像装置200的操作期间动态创建的数据。举例来说,来自存储于(下文论述的)存储器220中的任何模块的指令在由处理器205执行时可存储于工作存储器270中。工作存储器270还可存储动态运行时间数据,例如,由在处理器205上执行的程序所利用的堆叠或堆积数据。存储装置275可用以存储由成像装置200所创建的数据。举例来说,经由镜头212捕捉到的图像可存储于存储装置275上。显示器280经配置以显示经由镜头212捕捉到的图像,且还可用以实施装置200的配置功能。
图2A的实施例中所说明的显示器280经配置以显示经由镜头212捕捉的图像和帧,且也可用于实施装置200的配置功能。在一个实施方案中,显示器280可经配置以显示由成像装置的用户经由输入装置290选择的一或多个物体。
输入装置290可取决于实施方案而呈现许多形式。在一些实施方案中,输入装置290可与显示器280集成,以便形成触摸屏显示器。在其它实施方案中,输入装置290可包含成像装置200上的单独按键或按钮。这些按键或按钮可提供用于导航显示器280上显示的菜单的输入。在其它实施方案中,输入装置290可为输入端口。举例来说,输入装置290可提供另一装置到成像装置200的操作性耦合。成像装置200随后可经由输入装置290从附接的键盘或鼠标接收输入。
图2A的实施例中所说明的距离传感器230经配置以确定成像装置200与被聚焦的物体240之间的距离。在一个实施例中,距离传感器230为激光模块或激光传感器。在一个实施例中,所述距离是基于飞行时间计算,其中激光传感器经由红外发射器朝向场景240发送光脉冲,且超快光检测器收集反射脉冲。激光模块随后可精确地测量脉冲发射与反射检测之间的时间差。基于所测量时间和已知的光速,可确定物体240与成像装置200之间的距离。在另一实施例中,距离传感器230可为双相机系统。双相机系统的一个实施方案可类似于并排定位的人眼。此类双相机系统可捕捉左侧图像和右侧图像且应用三角测量技术来确定所捕捉图像中物体240的距离。双相机系统可经配置以估计由于单独相机而在成像装置200前方的物体240的距离,其中所述单独图像属于同一场景。成像装置200随后可基于这两个图像来计算距物体240的距离。在一些实施例中,距离传感器230可经配置以确定成像装置200与单个帧中的任一物体240之间的距离。在一个实施例中,距离传感器230可将成像装置200与物体230之间的所检测距离发送到下文论述的存储器220。在另一实施例中,距离传感器230可将所检测距离发送到工作存储器270和/或存储装置275。因此,距离传感器230可为用于针对一个图像帧和/或多个帧检测和确定物体240与成像装置200之间的距离的一个装置。
存储器220可被视为计算机可读媒体且可存储一或多个模块。模块存储定义用于处理器205的指令的数据值。这些指令配置处理器205以执行装置200的功能。举例来说,在一些方面中,存储器220可经配置以存储使处理器205执行方法500的指令或其部分,如下文所描述且如图5中所说明。在所说明的实施例中,存储器220包含输入处理模块221、场景变化检测模块222、镜头位置确定模块223、边界极限确定模块224、镜头控制模块225、稳定性检测模块226和自动聚焦控制模块227。
输入处理模块221包含配置处理器205以从输入装置290读取输入数据的指令。在一个方面中,输入处理模块221可配置处理器205检测由图像传感器212捕捉的图像帧内的物体240或其部分。在另一方面中,输入处理模块221可配置处理器205从输入装置290接收用户输入且基于输入装置290的用户操控而识别用户选择或配置。因此,输入处理模块221中的指令可表示用于识别或选择图像帧内的一或多个物体240的一个装置。在一些实施例中,输入处理模块221可配置处理器205将表示图像帧的所选择物体或部分的数据发送到工作存储器270以供由存储器220的其它模块使用和存取。
仍参看图2,场景变化检测模块222中的指令可配置处理器205以至少部分地基于从来自输入处理模块221的输入数据接收的场景的所选择物体或部分来检测场景变化。在一些实施例中,场景变化检测模块222中的指令可配置处理器205以基于通过所监测场景获得的信息来检测场景变化,所述信息例如是光强度测量值、与成像装置的物理移动有关的陀螺仪测量值和/或从距离传感器230接收的距离测量值。因此,场景变化检测模块222中的指令可表示用于至少部分地基于图像帧的所选择物体或部分来检测场景变化的一个装置。在一些实施例中,场景变化检测模块222中的指令可将指示场景变化的信息发送到镜头位置确定模块223和/或镜头控制模块225。因此,场景变化检测模块222中的指令可表示用于指示场景已变化的一个装置。镜头控制模块225和/或镜头位置确定模块223中的指令可表示用于接收指示场景已变化和/或正不断变化的信息的一个装置。
镜头位置确定模块223中的指令可配置处理器205以至少部分地基于通过距离传感器230检测到的物体240与成像装置200之间的距离来确定每一帧的镜头位置。在一些实施例中,镜头位置确定模块223中的指令可配置处理器205以从距离传感器230接收距离测量值。另外,镜头位置确定模块223中的指令可配置处理器205以从工作存储器270和/或存储装置275检索校准输入,例如传感器模块210的设计规格和锚定值,如下文将参考方程式1到3所描述。在一些实施例中,镜头位置确定模块223中的指令可配置处理器205以至少部分地基于传感器模块210的设计规格和锚定值而将来自距离传感器230的距离测量值转换为经估计最佳聚焦镜头位置,如下文参考方程式1到3所详述。因此,镜头位置确定模块223中的指令可表示用于根据从距离传感器230接收的距离测量值来确定传感器模块210中的镜头212的经估计最佳聚焦估计镜头位置的一个装置。在一些实施例中,镜头位置确定模块223中的指令可配置处理器205以在场景不断变化时(如通过场景变化确定模块222中的指令所确定),将来自距离传感器230的距离测量值转换为镜头位置。因此,镜头位置确定模块223可表示接收指示场景变化的信息的一个装置。在一些实施例中,镜头位置确定模块223中的指令可将经估计最佳聚焦镜头位置发送到边界极限确定模块224和/或镜头控制模块225。因此,镜头位置确定模块223中的指令可表示用于产生定义经估计最佳聚焦镜头位置的输入参数的一个装置,所述经估计最佳聚焦镜头位置至少部分地基于物体240与成像装置200之间的所检测距离。此外,边界极限确定模块224和/或镜头控制模块225中的指令可表示用于接收定义经估计最佳聚焦镜头位置的输入参数的一个装置。
边界极限确定模块224中的指令可配置处理器205以至少部分地基于经估计最佳聚焦镜头位置来确定边界极限,所述经估计最佳聚焦镜头位置是通过处理器205基于来自镜头位置确定模块223的指令而确定。在一些实施例中,边界极限确定模块224中的指令可配置处理器205以在场景不断变化时接收每一图像帧的经估计最佳聚焦镜头位置,且确定涵盖所述经估计最佳聚焦镜头位置的近和远边界极限。因此,边界极限确定模块224可表示用于确定关于经估计最佳聚焦镜头位置的多个边界极限的一个装置。在一些实施例中,边界极限确定模块224中的指令可配置处理器205以将定义近和远边界极限的边界输入发送到镜头控制模块225。因此,边界极限确定模块224中的指令可表示用于至少部分地基于经估计最佳聚焦镜头位置来产生边界输入的一个装置。此外,镜头控制模块225中的指令可表示用于接收至少包含边界极限的输入参数的一个装置。
镜头控制模块225中的指令可配置处理器205以至少部分地基于通过镜头位置确定模块223确定的经估计最佳聚焦镜头位置来实现镜头212的镜头位置。在一些实施例中,镜头控制模块225中的指令可配置处理器205以使镜头212在朝向从镜头位置确定模块223接收的经估计最佳聚焦镜头位置的方向上移动。在一个实施例中,移动镜头212一直到从边界极限确定模块224接收的边界极限。因此,镜头控制模块225可表示用于基于从存储器220的一或多个模块接收的输入参数而移动镜头212的一个装置。在一些实施例中,镜头控制模块225中的指令可配置处理器205以在场景仍然不稳定且不断变化时基于所接收的输入参数移动镜头212。因此,镜头控制模块225中的指令可表示接收指示场景变化的信息的一个装置。在一些实施例中,镜头控制模块225中的指令可配置处理器205以在场景变化时仅将镜头移动到近边界极限。
稳定性确定模块226中的指令可配置处理器205以至少部分地基于场景的物体240或部分来确定场景是否稳定。在一些实施例中,稳定性确定模块226中的指令可配置处理器205以至少部分地基于从所监测场景获得的信息来确定场景是否稳定,所述信息例如光强度测量值、与成像装置的物理移动有关的陀螺仪测量值和/或从距离传感器230接收的距离测量值。因此,稳定性确定模块226中的指令可表示用于至少部分地基于图像帧的所选择物体或部分和从存储器220的一或多个模块接收的输入来确定场景稳定的一个装置。在一些实施例中,稳定性确定模块226中的指令可将指示场景稳定的信息发送到镜头位置确定模块223、镜头控制模块225和/或自动聚焦控制模块227。因此,稳定性确定模块226中的指令可表示用于指示场景稳定的一个装置。镜头位置确定模块223、镜头控制模块225和/或自动聚焦控制模块227中的指令可表示用于接收指示场景稳定的信息的一个装置。
在一些实施例中,一旦通过由稳定性确定模块226中的指令配置的处理器205确定场景稳定,则镜头控制模块225中的指令可配置处理器205以停止基于所接收输入移动镜头212。此外,镜头位置确定模块223中的指令也可配置处理器205以停止基于来自距离传感器230的所检测距离来确定估计最佳聚焦镜头位置。更进一步,在一些实施例中,自动聚焦控制模块227中的指令可配置处理器以至少部分地基于对场景稳定的确定而发起自动聚焦搜索操作。因此,自动聚焦控制模块227可表示执行自动聚焦搜索的一个装置。在一些实施例中,自动聚焦控制模块226中的指令可配置处理器205以至少部分地基于从镜头控制模块225接收的输入而发起自动聚焦搜索。举例来说,可在镜头212定位在近极限处时(如本文中详细描述)和在确定场景稳定时发起自动聚焦搜索操作。在一些实施例中,自动聚焦控制模块227中的指令可将用于执行自动聚焦搜索操作的自动聚焦搜索参数(例如步长)发送到镜头控制模块225。镜头控制模块225中的指令可配置处理器205以通过基于自动聚焦搜索参数移动镜头212来实现自动聚焦搜索。因此,镜头控制模块225可表示用于执行自动聚焦搜索操作的另一装置。
图3是说明针对给定场景和传感器模块(例如图2B中所示的传感器模块210)按镜头位置(x轴)绘制的聚焦值自动聚焦方法(y轴)的实例的曲线图。各圆点301到310说明镜头的镜头位置,所述镜头例如是通过自动聚焦组件214移动的镜头212。在每一镜头位置处,处理器205可经配置以确定聚焦值,且成像装置检测到最高聚焦值的镜头位置为最佳聚焦镜头位置。出于说明性目的,可将可移动范围250设定为从0到100,其中镜头位置0表示镜头定位在微距机械端254处(例如成像装置聚焦在近物体上),且镜头位置100表示无限距机械端255(例如成像装置聚焦在远物体上)。在一些实施例中,0到100之间的每一整数可表示单个离散镜头位置。因此,当镜头沿可移动范围250(图2B)移动时,成像装置计算表示最佳聚焦镜头位置的最高聚焦值。随后,当镜头移动离开最佳聚焦镜头位置时,聚焦值将降低,从而提供图3中所说明的曲线。
在一些成像装置中,一旦成像装置确定场景稳定并发起自动聚焦搜索阶段,则成像装置通过移动镜头经过沿着从镜头位置0到镜头位置100的可移动范围250的镜头位置来执行自动聚焦搜索。自动聚焦搜索可在可移动范围的一端(例如微距机械端254)处开始且执行较大粗略阶跃301到307。对于每一阶跃301到307,成像装置可计算聚焦值,从而提供类似于图3的形状的大致形状。以此方式,成像装置能够估计峰值聚焦值在何处。一旦每一阶跃的聚焦值相对于前一阶跃降低,则成像装置可经配置以围绕峰值执行较小阶跃308到310,以定位最佳聚焦镜头位置。然而,当成像装置以越来越小或越来越精细的步长进行多个遍次时,一些自动聚焦搜索需要将可移动范围的先前横跨区域对折,如图3的精细搜索中所说明。
图4说明根据一个实施例的示范性自动聚焦事件的自动聚焦事件时间线。在图4中,沿表示经过的时间(t)的轴线绘制时间线。在一些实施例中,自动聚焦事件完全在连续自动聚焦模式中出现,包含监测阶段310和搜索阶段320。如图4中所展示,在监测阶段起点在点330处的监测阶段310期间检测到场景变化331。可通过各种方法检测场景变化,如上文参看图1所描述。一旦检测到场景变化,则距离传感器230针对每一帧332到335报告场景的至少一个物体与成像装置200之间的距离。在一些实施例中,距离传感器230为可报告大约为数毫米的距离的激光模块。在一个实施例中,所述距离是基于飞行时间计算,其中激光传感器经由红外发射器朝向场景发送光脉冲,且超快光检测器收集反射脉冲。激光模块随后可精确地测量脉冲发射与反射检测之间的时间差。基于测量时间和已知的光速,可确定物体与成像装置200之间的距离。在另一实施例中,距离传感器230可为双相机系统,所述双相机系统经配置以用类似于激光模块的方法提供物理距离。双相机系统的一个实施方案可类似于并排定位的人眼。此类双相机系统可捕捉左侧图像和右侧图像且应用三角测量技术来确定所捕捉图像中物体的距离。一般来说,双相机系统可经配置以估计由于单独相机而在成像装置200前方的物体的距离,其中所述单独图像属于同一场景。成像装置200随后可基于这两个图像来计算距场景的距离。
仍参看图4,在本文中所揭示的一些实施例中,成像装置200基于从距离传感器接收的每一帧332到335的所报告距离来计算所述帧的镜头位置。在一些实施例中,镜头位置是实际镜头位置的估计值,是因为实际确定可受来自周围环境的外部因素影响。基于每一帧的所报告距离的所确定镜头位置,分别设定镜头位置的任一侧上的边界范围,例如近边界极限340和远边界极限350。近边界极限将被理解为指代最接近于镜头的当前镜头位置的边界,使得边界在物理上定位于当前镜头位置与最佳聚焦镜头位置之间。远边界极限将被理解为指代距镜头的当前镜头位置最远的边界,使得最佳聚焦镜头位置定位于远边界极限与当前镜头位置之间。在估计出最佳聚焦镜头位置以及近和远极限边界之后,成像装置200可经配置以确定移动镜头212的方向。在所确定的最佳聚焦镜头位置的方向上移动镜头212,同时距离传感器230持续检测每一帧的场景变化,直到镜头212的当前镜头位置为近边界极限和/或场景稳定。在一些实施例中,在达到近极限和/或场景稳定时,成像装置200可经配置以发起近极限与远极限内的自动聚焦搜索操作。在一些实施例中,自动聚焦搜索操作可包含精细镜头阶跃,从而执行精细自动聚焦搜索操作。精细镜头阶跃可指与粗略镜头阶跃相比量级较小的镜头阶跃,例如,与经说明为图3的粗略阶跃301到307的粗略镜头阶跃相比,经说明为图3的较小阶跃308到310的镜头阶跃可表示精细镜头阶跃。在一些实施例中,精细镜头阶跃可为较大粗略镜头阶跃的分数。
举例来说,可将镜头的可移动范围设定为0到100镜头位置,且在本文中所揭示的方法之前,可通过确定50cm远的物体的镜头位置来校准成像装置。为此,可将物体放置在与成像装置200相距50cm处,且成像装置基于校准或调谐过程记录最好聚焦镜头位置。举例来说,50cm远的物体的最佳聚焦镜头位置可经确定为镜头位置60,其为表示镜头212沿传感器模块210的可移动范围的位置的一整数。这表示锚定镜头距离50cm和锚定镜头位置60。锚定镜头距离和镜头位置可用于计算其它距离的镜头位置,所述其它距离是在自动聚焦事件的监测阶段期间通过激光模块检测到的。成像装置200可经配置以基于锚定距离、锚定镜头位置和传感器模块规格(例如镜头的焦距、F数、图像传感器的像素大小和成像装置的灵敏度)而将检测到的物理距离转换成镜头位置。
因此,可如下计算镜头位置,其中距离传感器230报告物体与成像装置200相距20cm:
PLL=PAL-(abs(X1-X0)/S) 方程式(1)
其中PLL为镜头位置,PAL为锚定镜头位置,S为从成像装置的规格导出的灵敏度,且通过以下方程式确定X1和X0:
X1=(f2/(XD-f))*1000; 方程式(2)
X0=(f2/(DA-f))*1000; 方程式(3)
其中f为成像装置的镜头的焦距,XD为距离传感器所报告的距离,且DA为锚定距离。因此,当预定锚定距离为500mm、锚定镜头位置为60、灵敏度为1且焦距为3.83时,与成像装置相距200mm定位的物体的镜头位置大约为14。这表明,为了使成像装置聚焦在位于20cm远的物体上,应将镜头定位在沿可移动范围的镜头位置14周围某处。镜头位置14为所计算的估计值,但在现实世界中,最佳聚焦镜头位置将大约在镜头位置10与20之间。这是因为镜头将经历重力、热量、摩擦和其它外部因素的变化和影响。因此,为补偿偏差,方法可在镜头位置10与20之间执行精细自动聚焦搜索,所述镜头位置表示取决于镜头当前沿可移动范围定位的位置的近和远边界极限。
在一些实施例中,可基于成像装置的景深(“DOF”)来确定实际最佳聚焦镜头位置有可能位于其中的镜头位置范围。在摄影中,DOF为场景中为可接受锐利或聚焦的最近物体与最远物体之间的距离。对于物体的每一距离,存在对应的DOF。因此,在一些实施例中,最佳聚焦镜头位置可在针对给定图像帧确定的物体距离的DOF范围内的任何处。
在本文中所揭示的一些实施例中,不同于在传统自动聚焦搜索方法中,一旦已检测到场景变化,则使镜头朝向近极限移动,即使装置可能仍在水平移动或不稳定。这是因为成像装置能够通过根据由距离传感器(在场景变化之后)针对每一帧返回的物理距离而估计目标镜头位置来确定使镜头在哪个方向上移动。以此方式,成像装置知道使镜头移动的方向和使镜头移动的量。相比之下,传统对比度自动聚焦搜索操作在场景已变化时不知道使镜头移动的方向或量,在监测相位期间,成像装置被迫等待直到场景稳定为止,且随后基于对比度的比较而试图聚焦所述场景。
举例来说且如上文所描述,可将镜头的可移动范围设定为从0到100,其中每一整数(例如0、1等)表示镜头位置,且镜头当前可定位在100处。首先,成像装置(例如基于如上文所描述的明度、移动或距离)确定场景已变化,且距离传感器针对给定帧检测并发射新的距离。举例来说,针对给定帧,距离传感器确定物体位于距成像装置50cm处。成像装置或包含在其中的存储器220的模块随后基于方程式(1)到(3)确定镜头位置为60,其中60为镜头位置的估计值,其表示最佳聚焦镜头位置可在60周围。其可恰好为60或在60附近某处。因此,为确保定位实际最佳聚焦镜头位置,成像装置可利用近和远边界极限进行精细自动聚焦搜索。分别将近和远极限设定为(例如)80和40。当成像装置仍在水平移动和/或不稳定(例如成像装置当前在监测阶段中)时,使镜头朝向近边界极限80移动,且当场景快要稳定时,镜头应位于近边界极限周围。在说明性实例中,当前位置为100,且当处于监测阶段中(例如成像装置当前正水平移动或不稳定)时,使镜头针对每一帧移动达阶跃10(其中如上文所陈述地估计聚焦位置且又设定近边界极限)。因此,在下一帧处,镜头将在90处且随后在80处。当镜头在80处时,其将已到达近边界极限,且在一些实施例中,成像装置可执行精细自动聚焦搜索。在一些实施例中,可基于镜头到达近边界极限而发起自动聚焦搜索阶段。在另一实施例中,可基于成像装置确定场景稳定和/或成像装置已停止水平移动而发起自动聚焦搜索阶段。在一些情况下,成像装置可在镜头离开近边界极限时变得稳定,且在这些情况下,镜头可在发起自动聚焦搜索阶段之前直接移动到近边界极限。
本文中所揭示的实施例的说明性非限制性优势包含:由于在成像装置水平移动的同时移动镜头,散焦事件的出现减少,这是因为在开始自动聚焦搜索阶段之前镜头已经更接近最佳聚焦镜头位置。用户将不大可能在成像装置的预览画面中看见散焦事件。因此,由于比传统自动聚焦搜索操作更早且更精确地使镜头移动,本文中所揭示的实施例将显著减少散焦事件。
图5是在成像装置的自动聚焦搜索操作开始之时或之前确定最佳聚焦镜头位置的方向的过程的流程图。过程500可通过图2A和2B中所说明的成像装置200执行。在一些实施例中,确定最佳聚焦镜头位置的方向的方法可通过存储器220或存储器220的模块的任何组合而实施为软件解决方案,或实施于成像装置200中的其它处,例如通过处理器205中的逻辑装置执行的一或多个处理器。
过程500在开始框处开始且随后移动到框502,其中成像装置监测场景。在一个实施例中,框502发起成像装置的监测阶段。在一些实施例中,成像装置在成像装置的显示器上捕捉和/或预览场景的多个图像帧。在一些实施例中,成像装置自动选择将监测的所关注物体。
作为监测阶段的一部分,过程500移动到决策框504,其中过程500确定是否已发生场景变化。就这点来说,成像装置可利用检测场景变化的任何方法。如上文所描述,实例方法包含基于明度值、移动和距离的场景变化检测。如果成像装置确定场景未变化,那么过程返回到框502且持续监测场景,直到检测到场景变化为止。如果检测到场景变化,那么过程在检测到场景变化之后移动到针对每一帧的子过程506。
针对每一帧,过程500移动到框508,其中距离传感器检测物体与成像装置之间的距离。在一些实施例中,距离传感器为经配置以基于所发射的光(例如飞行时间计算)来检测距离的激光模块或激光传感器。在另一实施例中,距离传感器为经配置以确定成像装置与物体之间的距离的双相机系统。距离传感器可经配置以将检测到的距离报告或发送到存储器220以供评估和处理。
在框508中确定距离之后,过程500移动到框510,其中基于在框508中检测到的距离来确定镜头位置。可根据上述描述参考方程式(1)到(3)来计算镜头位置。
在针对给定帧确定镜头位置之后,过程500移动到框512,其中设定近和远边界极限。在一个实施例中,基于所确定的镜头位置来设定近和远边界极限。在其它实施例中,近边界极限经设定成在物理上沿当前镜头位置与最佳聚焦镜头位置之间的可移动范围定位。在另一实施例中,远边界极限经设定成在物理上沿可移动范围定位,其中最佳聚焦镜头位置位于远边界极限与当前镜头位置之间。
在设定近和远边界极限之后,过程500移动到框514,其中在朝向近边界极限的方向上移动镜头。在一些实施例中,成像装置、图2B的自动聚焦组件214和/或存储器220的模块可单独或联合地操作以将镜头朝向近边界极限移动。在一些实施例中,针对每一帧使镜头移动达预定离散步长,例如针对给定帧朝向近边界极限移动10个镜头位置。在另一实施例中,在连续运动中沿可移动范围移动镜头,直到发起对下一帧的分析、直到场景稳定和/或直到镜头位于近边界极限处。在一个实施例中,对每一步长的镜头位置数目的选择可为调谐或校准步骤的一部分。用户或制造商可依照其偏好设定值,例如10个镜头位置或11个镜头位置。可能不存在步长必须为其的镜头位置的定数。然而,某些实施例可包含某些默认值。在选择步长时的考虑因素至少可包含定位最佳聚焦镜头位置的准确度和自动聚焦搜索所需的时间量。举例来说,设定较小步长可返回精确的最佳聚焦镜头位置,但其代价是自动聚焦搜索时间增加。替代地,设定较大的镜头位置数目作为步长可在以准确度为代价的情况下减少搜索时间。
在朝向近边界极限移动镜头之后,过程500移动到决策框516,其中作出关于场景是否稳定的确定。上文所描述的实例方法包含基于明度值和移动的稳定性确定。如果成像装置确定场景不稳定,那么过程返回到子过程506的开始且针对下一帧重复所述过程。
如果确定场景稳定,那么过程500移动到决策框518,其中作出关于镜头是否位于近边界极限处的确定。在一些实施例中,当确定场景稳定时,镜头应位于近边界极限处或附近。在这些情况下,决策框518确定镜头位于近边界极限处且进行到框522。然而,在一些情况下,当场景稳定时镜头并不位于近边界极限处。在这些情况下,决策框518确定镜头离开近边界极限且随后进行到框520。随后在框520处,将镜头移动到近边界极限。
在确定镜头处于近边界极限处或确定在框520处移动镜头到近边界极限之后,过程500可移动到框522。框522可表示监测阶段的结束,其中场景稳定且成像装置不再水平移动。因此,框522也可表示自动聚焦搜索阶段的发起。在框522处,过程500可基于每一阶跃的聚焦值执行精细自动聚焦搜索操作,如上文参看图3所描述。以此方式,过程500可使得成像装置能够快速且精确地定位最佳聚焦镜头位置。
以下描述包含本文中所揭示的方法和设备的许多示范性变化形式。示范性变化形式意图用于本文中所揭示的实施例的说明性目的且并不意图以任何方式具有限制性。在以下说明性实例中,可将镜头的可移动范围设定为从0到100,其中0为微距机械端且100为无限距机械端。首先,成像装置检测场景变化,且距离传感器检测给定帧的新距离,例如50cm。成像装置随后基于给定帧的所检测物体距离确定镜头位置为60,其中60为镜头位置的估计值,其表示最佳聚焦镜头位置可能在60周围。其可恰好为60或在60附近某处。因此,为确保定位实际最佳聚焦镜头位置,成像装置可经配置以在镜头位置60周围进行精细自动聚焦搜索。
在一个说明性实例中,当前镜头位置可在10处。在此情况下,当前镜头位置处于微距机械区域中,意味着镜头位于微距机械端与最佳聚焦镜头位置之间。由于成像装置已确定最佳聚焦镜头位置在镜头位置60附近某处,因此可将近和远边界极限分别设定在(例如)40和80处。成像装置开始沿可移动范围以10镜头位置的步长朝向近边界极限(例如在此情况下为40)移动镜头,即使装置可能正在水平移动。因此,对于下一帧,镜头位于镜头位置20处,随后对于下一帧位于30处,且最后对于下一帧位于40。当镜头在镜头位置40处时,场景也可为稳定的。当场景稳定时,成像装置随后可发起自动聚焦阶段,且在近边界极限与远边界极限(例如镜头位置40和80)的范围内开始精细自动聚焦搜索以定位最佳聚焦镜头位置。
在另一说明性实例中,当前镜头位置可在100处。类似于前述实例,物体可位于距成像装置50cm处,且经估计最佳聚焦镜头位置在镜头位置60周围。在此情况下,近和远边界极限为镜头位置80和40。应注意,在此情况下,近边界极限为镜头位置80而不是40。这是因为当前镜头位置在无限距机械区域中的100处,因此最接近当前镜头位置的边界极限为镜头位置80而不是40。成像装置确定最佳聚焦镜头位置在镜头位置60周围某处且朝向60移动。因此,成像装置开始以阶跃10朝向近边界极限(例如镜头位置80)移动镜头。由此,对于下一帧,镜头将在镜头位置90处,且随后在镜头位置80处,并且随后成像装置可确定场景稳定。一旦确定场景稳定,则成像装置可发起自动聚焦阶段,且在近边界极限与远边界极限(例如镜头位置80和40)的范围内开始精细自动聚焦搜索以定位最佳聚焦镜头位置。
在另一说明性实例中,确定场景稳定但镜头不在近极限处。在此情况下,当前镜头位置可在镜头位置10处。如在先前说明中,物体可位于距成像装置50cm处,由此最佳聚焦镜头位置应在镜头位置60周围。由于当前镜头位置在微距机械区域中且最佳聚焦镜头位置在60周围,因此成像装置分别将近和远边界极限设定为镜头位置40和80。成像装置随后使镜头朝向近边界极限(例如镜头位置40)移动达到10个镜头位置的增量。举例来说,成像装置在下一帧中将镜头移动到镜头位置20。现在,出于说明性目的,在此帧处,成像装置确定场景稳定,但镜头当前在并非近边界极限(例如镜头位置40)的镜头位置20处。然而,从镜头位置40的近边界极限开始,成像装置将开始精细自动聚焦搜索。在此情况下,在开始精细自动聚焦搜索操作之前,成像装置检查当前镜头位置以确定镜头是否在近边界极限处。如果镜头当前不在近边界极限处,那么成像装置将镜头移动到近边界极限并开始精细自动聚焦搜索。在本文中的说明性情况中,当镜头位于镜头位置20处时,成像装置确定场景稳定,由于镜头不在近边界极限处,因此成像装置将镜头移动到近边界极限(例如镜头位置40)并开始精细自动聚焦搜索。
替代地,当场景不稳定但镜头位于近边界极限处时,且随后成像装置经配置以继续监测场景,直到成像装置确定场景稳定为止。一旦场景稳定,则成像装置可开始精细自动聚焦搜索。在一些实施例中,当镜头位于近边界极限处时,成像装置等待直到其确定场景稳定为止。在其它实施例中,成像装置继续监测场景的稳定性,且针对每一帧,重新估计每一帧的最佳聚焦镜头位置。因此,成像装置在继续监测场景的稳定性的同时将继续确定每一帧的近边界极限。
在另一说明性实例中,当成像装置确定场景稳定时,当前镜头位置可位于近边界极限与远边界极限之间。在此情况下,在确定场景稳定之后,成像装置可经配置以将镜头移动到近边界极限且随后继续进行精细自动聚焦搜索。举例来说,成像装置可确定最佳聚焦镜头位置在镜头位置60周围,由此近和远边界极限为40和80,这取决于镜头当前位于何处。
在第一实例中,当场景稳定时,当前镜头位置为镜头位置45,因此镜头位于近边界极限与远边界极限内。在此情况下,将近边界极限设定成镜头位置40且将远边界极限设定成镜头位置80。因此,当成像装置确定场景稳定时,成像装置可经配置以将镜头移动到近位置(例如镜头位置40),且随后开始从镜头位置40(近边界极限)到镜头位置80(远边界极限)的精细自动聚焦搜索。
在第二实例中,当场景稳定时,当前镜头位置为镜头位置70,因此镜头位于近边界极限与远边界极限内。在此情况下,将近边界极限设定成镜头位置80且将远边界极限设定成镜头位置40。因此,当成像装置确定场景稳定时,成像装置可经配置以将镜头移动到近位置(例如镜头位置80),且随后开始从镜头位置80(近边界极限)到镜头位置40(远边界极限)的精细自动聚焦搜索。
所属领域的技术人员将进一步了解,结合本文所揭示的实施方案而描述的各种说明性逻辑块、模块、电路和过程步骤可实施为电子硬件、计算机软件或两者的组合。为清晰地说明硬件与软件的此可互换性,以上已大体就其功能性来描述了各种说明性组件、块、模块、电路和步骤。此功能性是实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述的功能性,但这样的实施决策不应被解释为会引起脱离本发明实施例的范围。所属领域的一般技术人员将理解,一个部分或一部分可包括小于或等于整体的内容。举例来说,像素集合的一个部分可能是指那些像素的子集合。
可使用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施方案而描述的各种说明性逻辑块、模块及电路。通用处理器可为微处理器,但在替代方案中,处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心,或任何其它此类配置。
结合本文中所揭示的实施方案而描述的方法或过程的步骤可直接体现于硬件、由处理器执行的软件模块或所述两者的组合中。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可换磁盘、CD-ROM,或所属领域中已知的任何其它形式的非暂时性存储媒体中。示范性计算机可读存储媒体耦合到处理器,使得处理器可从计算机可读存储媒体读取信息并向计算机可读存储媒体写入信息。在替代方案中,存储媒体可与处理器成一体。处理器和存储媒体可驻存于ASIC中。ASIC可以驻存在用户终端、相机或其它装置中。在替代方案中,处理器和存储媒体可作为离散组件驻存于用户终端、相机或其它装置中。
本文中包含数个标题,是为了参考和辅助定位各个部分。这些标题并不旨在限制关于其描述的概念的范围。此类概念可在整个说明书中都适用。
提供对所揭示的实施方案的先前描述以使得所属领域的技术人员能够制作或使用本文中所描述的实施例。所属领域的技术人员将易于了解对这些实施方案的各种修改,且本文中定义的一般原理可应用于其它实施方案而不脱离实施例的精神或范围。因此,所揭示的实施例并不旨在限于本文中所示的实施方案,而应被赋予与本文中所揭示的原理和新颖特征相一致的最广泛范围。

Claims (33)

1.一种用于减少在自动聚焦搜索操作期间出现的散焦事件的方法,所述方法包括:
检测场景的变化,且在所述场景变化时:
用成像装置捕捉描绘所述场景的多个帧,所述场景的一部分对应于物体;
针对所述多个帧中的一或多个帧检测所述物体与所述成像装置之间的距离;
针对所述一或多个帧基于所述物体的经检测距离来确定所述一或多个帧的镜头位置;及
在所述场景变化时朝向经确定镜头位置移动所述镜头;及
响应于确定所述场景不再变化,发起自动聚焦搜索操作。
2.根据权利要求1所述的方法,其中所述成像装置经配置而以连续自动聚焦模式操作。
3.根据权利要求1所述的方法,其进一步包括监测所述多个帧,其中监测所述多个帧包含确定一或多个帧的变化量词和将所述一或多个帧的所述变化量词与阈值变化量词进行比较。
4.根据权利要求2所述的方法,其中所述变化量词为明度量词、移动量词和距离量词中的至少一个。
5.根据权利要求3所述的方法,其中当至少一个帧的所述变化量词大于所述阈值变化量词时检测到所述场景的变化。
6.根据权利要求1所述的方法,其中所述确定所述帧的镜头位置进一步包括:
通过距离传感器报告所述一或多个帧的所述经检测距离;
接收所述一或多个帧的所述经检测距离;及
基于锚定距离、锚定镜头位置和至少一个成像装置规格中的至少一个来将所述一或多个帧的所述经检测距离转换成所述一或多个帧的镜头位置。
7.根据权利要求1所述的方法,其进一步包括基于所述经确定镜头位置而确定近和远边界极限。
8.根据权利要求7所述的方法,其中所述朝向所述镜头位置移动所述镜头进一步包括朝向所述近边界移动所述镜头。
9.根据权利要求8所述的方法,其中所述发起自动聚焦搜索操作进一步包括:
确定最佳聚焦镜头位置,其中所述最佳聚焦镜头位置在所述近边界极限与所述远边界极限之间。
10.根据权利要求1所述的方法,其中所述场景的所述变化包含所述成像装置的一或多个移动以及所述物体的移动。
11.一种成像设备,其包括:
镜头,其经配置以将来自场景的光聚焦在所述镜头的焦平面处;
图像传感器,其大致定位在所述镜头的所述焦平面处,经配置以捕捉基于来自所述场景的所述经聚焦光描绘所述场景的多个帧;
处理器,其可操作地耦合到所述图像传感器和所述镜头;及
存储器组件,其可操作地耦合到所述处理器,所述处理器经配置以:
检测场景的变化,且在所述场景变化时:
捕捉描绘所述场景的多个帧,所述场景的一部分对应于物体;
针对所述多个帧中的一或多个帧检测所述物体与所述成像设备之间的距离;
针对所述一或多个帧基于所述物体的经检测距离来确定所述一或多个帧的镜头位置;及
在所述场景变化时朝向经确定镜头位置移动所述镜头;及
响应于确定所述场景不再变化,发起自动聚焦搜索操作。
12.根据权利要求11所述的设备,其中所述成像设备包括激光传感器和双相机系统中的至少一个。
13.根据权利要求11所述的设备,其中处理器和所述存储器组件进一步经配置以:
监测所述多个帧;
确定一或多个帧的变化量词;及
将所述一或多个帧的所述变化量词与阈值变化量词进行比较。
14.根据权利要求13所述的设备,其中所述变化量词为明度量词、移动量词和距离量词中的至少一个。
15.根据权利要求13所述的设备,其中所述处理器和所述存储器组件经配置以基于所述比较来检测所述场景的变化,其中所述处理器和所述存储器组件经配置以在至少一个帧的所述变化量词大于所述阈值变化量词时检测到所述场景的变化。
16.根据权利要求11所述的设备,其中所述成像设备包括距离传感器,所述距离传感器进一步经配置以报告所述一或多个帧的所述经检测距离。
17.根据权利要求16所述的设备,其中所述处理器和所述存储器组件经配置以:
接收所述一或多个帧的所述经检测距离;及
基于所述一或多个帧的所述经检测距离以及锚定距离、锚定镜头位置和至少一个成像装置规格中的至少一个来确定所述一或多个帧的镜头位置。
18.根据权利要求17所述的设备,其中所述处理器和所述存储器组件进一步经配置以基于所述经确定镜头位置来确定近和远边界极限。
19.根据权利要求18所述的设备,其中所述处理器和所述存储器组件进一步经配置以朝向所述近边界移动所述镜头。
20.根据权利要求19所述的设备,其中所述处理器和所述存储器组件进一步经配置以:
执行精细自动聚焦搜索操作;及
确定最佳聚焦镜头位置,其中所述最佳聚焦镜头位置靠近所述经估计最佳聚焦镜头位置且在所述近边界极限与所述远边界极限之间。
21.根据权利要求18所述的设备,其中所述存储器组件包括以下中的至少一个:输入处理模块、变化确定模块、镜头位置确定模块、镜头控制模块、稳定性确定模块、自动聚焦控制模块和边界极限确定模块。
22.根据权利要求11所述的设备,其中所述场景的所述变化包含所述成像设备的一或多个移动以及所述物体的移动。
23.一种用于减少在自动聚焦搜索操作期间出现的散焦事件的设备,所述设备包括:
用于检测场景的变化的装置;
用于在所述场景变化时捕捉描绘所述场景的多个帧的装置,所述场景的一部分对应于物体;
用于在每次捕捉所述多个帧中的一或多个帧时检测所述物体与所述设备之间的距离的装置;
用于针对所述一或多个帧基于所述物体的经检测距离来确定所述一或多个帧的镜头位置的装置;
用于在所述场景变化时朝向经确定镜头位置移动所述镜头的装置;
用于确定所述场景不再变化的装置;及
用于基于对所述场景不再变化的所述确定而发起自动聚焦搜索操作的装置。
24.根据权利要求23所述的设备,其进一步包括用于报告所述一或多个帧的所述经检测距离的装置。
25.根据权利要求24所述的设备,其中所述用于确定镜头位置的装置经配置以:
接收所述一或多个帧的所述经检测距离;及
基于所述一或多个帧的所述经检测距离以及锚定距离、锚定镜头位置和至少一个成像装置规格中的至少一个来确定所述一或多个帧的镜头位置。
26.根据权利要求25所述的设备,其进一步包括用于基于所述经确定镜头位置来确定近和远边界极限的装置。
27.根据权利要求26所述的设备,其中所述用于移动所述镜头的装置进一步经配置以朝向所述近边界移动所述镜头。
28.根据权利要求23所述的设备,其中所述场景的所述变化包含所述设备的一或多个移动以及所述物体的移动。
29.一种包括指令的非暂时性计算机可读媒体,所述指令在经执行时使处理器执行用于减少在自动聚焦搜索操作期间出现的散焦事件的方法,所述方法包括:
检测场景的变化,且在所述场景变化时:
用成像装置捕捉描绘所述场景的多个帧,所述场景的一部分对应于物体;
针对所述多个帧中的一或多个帧检测所述物体与所述成像装置之间的距离;
针对所述一或多个帧基于所述物体的经检测距离来确定所述一或多个帧的镜头位置;及
在所述场景变化时朝向经确定镜头位置移动所述镜头;及
响应于确定所述场景不再变化,发起自动聚焦搜索操作。
30.根据权利要求29所述的非暂时性计算机可读媒体,其中所述确定所述一或多个帧的镜头位置进一步包括:
通过距离传感器报告所述一或多个帧的所述经检测距离;
接收所述一或多个帧的所述经检测距离;及
基于锚定距离、锚定镜头位置和至少一个成像装置规格中的至少一个来将所述一或多个帧的所述经检测距离转换成所述一或多个帧的镜头位置。
31.根据权利要求29所述的非暂时性计算机可读媒体,其进一步包括基于所述经确定镜头位置确定近和远边界极限。
32.根据权利要求31所述的非暂时性计算机可读媒体,其中所述朝向所述镜头位置移动所述镜头进一步包括朝向所述近边界移动所述镜头。
33.根据权利要求29所述的非暂时性计算机可读媒体,其中所述场景的所述变化包含所述成像装置的一或多个移动以及所述物体的移动。
CN202010430295.1A 2015-04-10 2016-03-22 使用激光自动聚焦减少散焦的方法和设备 Active CN111556250B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562146118P 2015-04-10 2015-04-10
US62/146,118 2015-04-10
US14/754,048 US11240421B2 (en) 2015-04-10 2015-06-29 Methods and apparatus for defocus reduction using laser autofocus
US14/754,048 2015-06-29
CN201680019329.XA CN107439006B (zh) 2015-04-10 2016-03-22 使用激光自动聚焦减少散焦的方法和设备
PCT/US2016/023583 WO2016164167A1 (en) 2015-04-10 2016-03-22 Methods and apparatus for defocus reduction using laser autofocus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680019329.XA Division CN107439006B (zh) 2015-04-10 2016-03-22 使用激光自动聚焦减少散焦的方法和设备

Publications (2)

Publication Number Publication Date
CN111556250A true CN111556250A (zh) 2020-08-18
CN111556250B CN111556250B (zh) 2022-05-10

Family

ID=55646914

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010430295.1A Active CN111556250B (zh) 2015-04-10 2016-03-22 使用激光自动聚焦减少散焦的方法和设备
CN201680019329.XA Active CN107439006B (zh) 2015-04-10 2016-03-22 使用激光自动聚焦减少散焦的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680019329.XA Active CN107439006B (zh) 2015-04-10 2016-03-22 使用激光自动聚焦减少散焦的方法和设备

Country Status (6)

Country Link
US (2) US11240421B2 (zh)
EP (1) EP3281398B1 (zh)
JP (1) JP2018517165A (zh)
KR (1) KR20170135854A (zh)
CN (2) CN111556250B (zh)
WO (1) WO2016164167A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240421B2 (en) 2015-04-10 2022-02-01 Qualcomm Incorporated Methods and apparatus for defocus reduction using laser autofocus
JP6604908B2 (ja) * 2016-06-10 2019-11-13 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
CN107079102B (zh) 2016-09-26 2019-02-22 深圳市大疆创新科技有限公司 对焦方法、摄像装置和无人机
EP3340603B1 (en) 2016-12-22 2018-12-19 Axis AB Focusing of a camera monitoring a scene
US10375293B2 (en) 2017-08-31 2019-08-06 Qualcomm Incorporated Phase disparity engine with low-power mode
US10498948B1 (en) 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance
KR20200100498A (ko) * 2019-02-18 2020-08-26 삼성전자주식회사 전자 장치 및 그 전자 장치의 자동 초점 제어 방법
KR102649194B1 (ko) * 2019-04-04 2024-03-20 삼성전자주식회사 외부 물체와의 거리를 측정하기 위한 전자 장치의 cross-talk 방지 구조
US11159737B2 (en) * 2019-10-14 2021-10-26 Google Llc Exposure change control in low light environments
CN111757005A (zh) * 2020-07-06 2020-10-09 Oppo广东移动通信有限公司 拍摄控制方法及装置、计算机可读介质和电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002960A1 (en) * 2006-06-30 2008-01-03 Yujiro Ito Auto-focus apparatus, image-capture apparatus, and auto-focus method
US20090009651A1 (en) * 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Imaging Apparatus And Automatic Focus Control Method
US20100208126A1 (en) * 2009-02-17 2010-08-19 Canon Kabushiki Kaisha Focus adjustment apparatus and focus adjustment method
US20110168890A1 (en) * 2010-01-08 2011-07-14 Flir Systems Ab Displacement-based focusing of an ir camera
CN103398696A (zh) * 2013-07-15 2013-11-20 深圳市金立通信设备有限公司 一种终端摄像头测距方法及终端
CN103546692A (zh) * 2013-11-04 2014-01-29 苏州科达科技股份有限公司 一种实现一体化摄像机自动聚焦的方法及系统
CN103595919A (zh) * 2013-11-15 2014-02-19 深圳市中兴移动通信有限公司 手动对焦方法和拍摄装置
CN103856717A (zh) * 2014-03-06 2014-06-11 浙江宇视科技有限公司 一种摄像机对焦控制方法及装置
US20140176786A1 (en) * 2012-12-25 2014-06-26 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
CN104052932A (zh) * 2014-07-03 2014-09-17 深圳市世尊科技有限公司 一种快速对焦的手机摄像模组
US20140267757A1 (en) * 2013-03-15 2014-09-18 Fluke Corporation Parallax correction in thermal imaging cameras
CN104243828A (zh) * 2014-09-24 2014-12-24 宇龙计算机通信科技(深圳)有限公司 一种拍摄照片的方法、装置及终端
CN104503189A (zh) * 2014-12-31 2015-04-08 信利光电股份有限公司 一种自动对焦方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3635687B2 (ja) 1994-09-07 2005-04-06 株式会社ニコン 自動合焦装置
US20020080257A1 (en) 2000-09-27 2002-06-27 Benjamin Blank Focus control system and process
US7423686B2 (en) 2002-03-14 2008-09-09 Canon Kabushiki Kaisha Image pickup apparatus having auto-focus control and image pickup method
US7728904B2 (en) * 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP2009031760A (ja) 2007-07-04 2009-02-12 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
KR20100134085A (ko) * 2008-04-01 2010-12-22 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 디지털 이미지에서 객체 검출 속도 향상을 위한 시스템 및 방법
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5527955B2 (ja) * 2008-09-09 2014-06-25 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム及び記憶媒体
JP5297222B2 (ja) * 2009-02-17 2013-09-25 キヤノン株式会社 焦点調節装置、及び焦点調節方法
US8233078B2 (en) * 2009-02-19 2012-07-31 Apple Inc. Auto focus speed enhancement using object recognition and resolution
JP5334311B2 (ja) * 2009-08-21 2013-11-06 富士フイルム株式会社 レンズ装置
JP5330942B2 (ja) * 2009-09-17 2013-10-30 富士フイルム株式会社 レンズ装置
AU2009251086B2 (en) * 2009-12-22 2013-12-05 Canon Kabushiki Kaisha Method of foreground/background separation
CN101852970B (zh) 2010-05-05 2011-07-20 浙江大学 一种用于成像视场扫描状态下的相机自动对焦方法
JP5641836B2 (ja) * 2010-09-10 2014-12-17 キヤノン株式会社 自動合焦装置、撮像装置、合焦制御方法およびプログラム
WO2012063449A1 (ja) * 2010-11-08 2012-05-18 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
US8922707B2 (en) * 2011-01-26 2014-12-30 Aptina Imaging Corporation Systems and methods for luminance-based scene-change detection for continuous autofocus
EP2674801A4 (en) * 2011-02-07 2017-09-13 FUJIFILM Corporation Lens device
JP5769436B2 (ja) * 2011-02-08 2015-08-26 キヤノン株式会社 撮像装置、通信装置及びカメラシステム
WO2013055737A1 (en) 2011-10-14 2013-04-18 Pelco, Inc. Focus control for ptz cameras
US8840273B2 (en) * 2012-02-09 2014-09-23 Danny H Sooferian Adjustable focus light
US8995785B2 (en) * 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
JP6101074B2 (ja) * 2012-12-27 2017-03-22 キヤノン株式会社 光学機器、像ブレ補正装置、撮像装置、およびその制御方法、プログラム、記憶媒体
JP6172955B2 (ja) * 2013-01-30 2017-08-02 キヤノン株式会社 光量調整装置、レンズ鏡筒および撮像装置
US20140276088A1 (en) * 2013-03-15 2014-09-18 Steven H. Drucker Illumination Optics for a Visible or Infrared Based Apparatus and Methods for Viewing or Imaging Blood Vessels
ITTO20130534A1 (it) * 2013-06-28 2014-12-28 St Microelectronics Srl Procedimento e sistema per autofocus, dispositivo e prodotto informatico corrispondenti
US9448382B2 (en) * 2013-11-06 2016-09-20 Corephotonics Ltd. Electromagnetic actuators for digital cameras
US9532041B2 (en) * 2014-07-11 2016-12-27 Intel Corporation Method and system for automatic focus with self-calibration
US10455137B2 (en) * 2014-07-28 2019-10-22 Orbotech Ltd. Auto-focus system
US9509891B2 (en) * 2014-10-21 2016-11-29 Microsoft Technology Licensing, Llc Controlling focus lens assembly
US11240421B2 (en) 2015-04-10 2022-02-01 Qualcomm Incorporated Methods and apparatus for defocus reduction using laser autofocus

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002960A1 (en) * 2006-06-30 2008-01-03 Yujiro Ito Auto-focus apparatus, image-capture apparatus, and auto-focus method
US20090009651A1 (en) * 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Imaging Apparatus And Automatic Focus Control Method
US20100208126A1 (en) * 2009-02-17 2010-08-19 Canon Kabushiki Kaisha Focus adjustment apparatus and focus adjustment method
US20110168890A1 (en) * 2010-01-08 2011-07-14 Flir Systems Ab Displacement-based focusing of an ir camera
US20140176786A1 (en) * 2012-12-25 2014-06-26 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
US20140267757A1 (en) * 2013-03-15 2014-09-18 Fluke Corporation Parallax correction in thermal imaging cameras
CN103398696A (zh) * 2013-07-15 2013-11-20 深圳市金立通信设备有限公司 一种终端摄像头测距方法及终端
CN103546692A (zh) * 2013-11-04 2014-01-29 苏州科达科技股份有限公司 一种实现一体化摄像机自动聚焦的方法及系统
CN103595919A (zh) * 2013-11-15 2014-02-19 深圳市中兴移动通信有限公司 手动对焦方法和拍摄装置
CN103856717A (zh) * 2014-03-06 2014-06-11 浙江宇视科技有限公司 一种摄像机对焦控制方法及装置
CN104052932A (zh) * 2014-07-03 2014-09-17 深圳市世尊科技有限公司 一种快速对焦的手机摄像模组
CN104243828A (zh) * 2014-09-24 2014-12-24 宇龙计算机通信科技(深圳)有限公司 一种拍摄照片的方法、装置及终端
CN104503189A (zh) * 2014-12-31 2015-04-08 信利光电股份有限公司 一种自动对焦方法

Also Published As

Publication number Publication date
EP3281398A1 (en) 2018-02-14
EP3281398B1 (en) 2019-11-06
JP2018517165A (ja) 2018-06-28
CN111556250B (zh) 2022-05-10
US20160301852A1 (en) 2016-10-13
CN107439006A (zh) 2017-12-05
WO2016164167A1 (en) 2016-10-13
US20220124252A1 (en) 2022-04-21
KR20170135854A (ko) 2017-12-08
US11956536B2 (en) 2024-04-09
CN107439006B (zh) 2020-05-26
US11240421B2 (en) 2022-02-01

Similar Documents

Publication Publication Date Title
US11956536B2 (en) Methods and apparatus for defocus reduction using laser autofocus
US10848680B2 (en) Zooming control apparatus, image capturing apparatus and control methods thereof
US10061182B2 (en) Systems and methods for autofocus trigger
CN107257934B (zh) 用于深度辅助式自动聚焦的搜索范围扩展
US8379138B2 (en) Imaging apparatus, imaging apparatus control method, and computer program
US20090190909A1 (en) Imaging apparatus, imaging apparatus control method, and computer program
US11750922B2 (en) Camera switchover control techniques for multiple-camera systems
CN106922181B (zh) 方向感知自动聚焦
JP2007133301A (ja) オートフォーカスカメラ
US9854150B2 (en) Auto-focus control in a camera to prevent oscillation
JP6525710B2 (ja) 撮像装置及びその制御方法、並びにプログラム
US12015845B2 (en) Object depth estimation and camera focusing techniques for multiple-camera systems
KR102669853B1 (ko) 다중-카메라 시스템들에 대한 카메라 스위칭오버 제어 기술들
JP2010060932A (ja) 自動合焦装置および自動合焦方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant