CN106922181B - 方向感知自动聚焦 - Google Patents

Abstract

本发明揭示用于确定在自动聚焦操作中使镜头移动的第一方向的方法和成像装置。举例来说，一种方法包含：俘获描绘场景的多个帧；选择至少一个帧的对应于所显示帧中的对象的部分；以及跟踪所述多个帧中的所述对象，其中跟踪所述对象为所述多个帧中的每一者提供所述对象的参考参数。所述方法可进一步包括：检测至少在所述多个帧的第一帧与第二帧之间的所述参考参数的改变；基于所述参考参数的所述改变来确定聚焦方向；和通过基于所述所确定的聚焦方向使所述成像装置的镜头移动来起始聚焦操作。

Description

方向感知自动聚焦

技术领域

本发明的实施例涉及成像装置，且确切地说，涉及用于成像装置自动聚焦的方法和设备。

背景技术

数字处理技术与成像装置的集成已实现更有力且更容易使用的摄影产品。举例来说，以数字方式控制成像装置的快门速度、光圈和传感器灵敏度而不需摄影者针对每一环境手动确定和设置这些参数的能力已提供多种成像环境中改进的图片质量。

具有自动聚焦能力(其成像装置和方法可在本文中简单地成为“自动聚焦”)的成像装置还使得俘获高质量相片变得更加容易，其使几乎任一摄影者不管其技术如何都能在大多数成像环境中获得清晰图像。自动聚焦还可能已减少专业摄影者的工作负荷。这可使摄影者能够将其更多精力集中在其职业的创造性方面，使得这些摄影者制作的相片的质量对应地增加。

现有自动聚焦搜索操作可引起数个问题。举例来说，可能由于成像装置必须在远近两个方向上进行搜索而花费用于最佳镜头位置的较长搜索时间，因此引起在可俘获经恰当地聚焦的图像之前有延迟。因为这一点，自动聚焦失败的比率可能增加，且由于在自动聚焦搜索操作开始时散焦(而不是接收渐锐聚焦)，用户可能具有非所要的体验。因此，在自动聚焦搜索操作期间，用户可查看稍微离焦的图像，自动聚焦搜索操作接着可当成像装置在不正确方向上进行搜索时，致使图像渐增地散焦，且最后成像装置可在相反方向上进行搜索以定位最佳聚焦位置。仍需要去除此效应并使在自动聚焦搜索操作期间所需的时间降到最小。

发明内容

本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。本文中所描述的创新、方面和特征的组合可并入在系统、方法和装置的各种实施例中，且此类组合不受本文中所描述的实施例的实例(包含下文描述的发明内容)限制。

一些实施例可包含一种通过确定使成像装置的镜头首先在哪个方向上移动来使成像装置进行聚焦以便获得更快速并且更锐利的聚焦的方法。此方法可包含用成像装置俘获描绘场景的多个帧以及选择至少一个帧的对应于所显示帧中的对象的部分。在一些实施例中，所述选择至少一个帧的对应于对象的部分可包含显示所述多个帧中的至少一者，并且接收用户输入以选择所述所显示帧的对应于所述所显示帧中的对象的部分。所述方法还包含跟踪所述多个帧中的所述对象，其中跟踪所述对象提供所述多个帧中的每一者的所述对象的参考参数。所述方法还包括检测至少在所述多个帧的第一帧与第二帧之间的所述参考参数的改变，以及基于所述参考参数的所述改变来确定聚焦方向。所述方法还包含通过基于所述所确定的聚焦方向使所述成像装置的镜头移动来起始聚焦操作。

在一些实施例中，所述参考参数可对应于所述对象相对于描绘所述对象所在的帧的大小。在这点上，所述跟踪所述多个帧中的所述对象可包含检测所述第一帧中的所述对象的大小，以及检测所述第二帧中的所述对象的大小，其中所述第二帧是在俘获所述第一帧之后俘获的所述多个帧中的一者。在一些实施例中，所述参考参数的所述改变是所述第一帧中的所述对象的所述大小与所述第二帧中的所述对象的所述大小之间的差。

在其它实施例中，所述方法可包含针对所述多个帧中的所述对象的每一描述确定围绕所述对象的限界矩形。在这些实施例中，每一帧的所述参考参数可基于所述限界矩形的尺寸。在一些实施例中，每一帧的所述参考参数可基于限界框的x尺寸、所述限界矩形的y尺寸或所述限界矩形的对角线中的一者。

在一些实施例中，可在完成自动聚焦搜索操作之后执行所述方法。在这些实施例中，在完成先前自动聚焦搜索操作之后，所述检测所述参考参数的改变可包含从所述先前聚焦操作识别所述多个帧的最后帧，以及从所述先前自动聚焦搜索操作确定所述最后帧的参考参数。所述方法还可包含将用于当前自动聚焦搜索操作的所述第一帧的所述参考参数设置为来自所述先前自动聚焦搜索操作的所述最后帧的所述参考参数。

在另一实施例中，所述检测所述参考参数的改变可包含将所述第一帧的所述参考参数与在所述第一帧之后俘获的每一帧的所述参考参数进行比较，以产生参考参数改变集。接着可调整所述参考参数改变集。在一个实施例中，调整所述参考参数改变集包括平滑化所述参考参数改变集。在再一实施例中，平滑化所述参考参数改变集可包含将滤波器应用于所述参考参数改变集，并且所述滤波器可经配置以减少第一帧与多个帧的每一后续帧之间的参考参数改变集中的噪声。

在一些实施例中，所述方法可包含产生指示所述第一帧的所述参考参数与在所述第一帧之后俘获的每一帧的所述参考参数之间的所述差的趋势的参考参数改变指示符。在一个实施例中，所述参考参数改变指示符可指示当每一帧的所述参考参数之间的所述差的所述趋势相对于所述第一帧的所述参考参数增加时，所述对象正在靠近所述成像装置。在另一实施例中，所述参考参数改变指示符可指示当每一帧的所述参考参数之间的所述差的所述趋势相对于所述第一帧的所述参考参数减小时，所述对象正在远离所述成像装置。

在一个实施例中，所述确定所述聚焦方向可包含确定具有第一边界值和第二边界值的阈值。可将所述参考参数的所述改变与所述第一边界值和所述第二边界值进行比较，并且仅当所述参考参数的所述改变大于所述阈值的所述第一边界值或小于所述阈值的所述第二边界值时才可确定所述聚焦方向。在一些实施例中，所述第一边界值和所述第二边界值对应于所述对象相对于所述成像装置的位置。在另一实施例中，所述第一边界值和所述第二边界值可为动态的并且经配置以针对单独的聚焦操作进行调整。在一些实施例中，当每一帧的所述参考参数的所述改变相对于所述第一帧的所述参考参数增加并且所述参考参数的所述改变大于所述阈值的所述第一边界值时，可确定所述聚焦方向为靠近的。当确定所述聚焦方向为靠近的时，可通过使镜头移动远离对象来起始聚焦操作。在其它实施例中，当每一帧的所述参考参数的所述改变相对于所述第一帧的所述参考参数减小并且所述参考参数的所述改变小于所述阈值的所述第二边界值时，可确定所述聚焦方向为远离的。当确定所述聚焦方向为远离的时，可通过使镜头朝向对象移动来起始聚焦操作。在一些实施例中，所述第一边界值可对应于所述阈值的上边界值，且所述第二边界值可对应于所述阈值的下边界值。

根据另一方面，揭示一种用于确定使成像装置进行聚焦的方向的设备。所述设备包含：镜头；图像传感器，其经配置以俘获描绘场景的多个帧；处理器，其可操作地耦合到所述图像传感器和所述镜头；和存储器，其可操作地耦合到所述处理器。存储器经配置以存储输入处理模块、对象跟踪模块、参考参数确定模块、改变确定模块和自动聚焦控制模块。所述输入处理模块经配置以选择至少一个帧的对应于对象的部分。所述对象跟踪模块经配置以跟踪所述多个帧中的所述对象。

所述参考参数确定模块经配置以基于对所述多个帧的所述跟踪来确定所述多个帧中的每一者的所述对象的参考参数。在一些实施例中，所述参考参数确定模块可进一步经配置以针对所述多个帧中的所述对象的每一描述确定围绕所述对象的关注区，其中每一帧的参考参数是基于所述关注区的至少一个尺寸。在另一实施例中，所述参考参数确定模块可进一步经配置以在完成先前聚焦操作之后，从所述先前操作识别所述多个帧的最后帧，从所述先前聚焦操作确定所述最后帧的参考参数，以及将用于当前聚焦操作的所述第一帧的所述参考参数设置为来自所述先前聚焦操作的所述最后帧的所述参考参数。

所述改变确定模块经配置检测至少在所述多个帧的第一帧与第二帧之间的所述参考参数的改变。在一些实施例中，所述参考参数的所述改变可为所述第一帧的所述参考参数与所述第二帧的所述参考参数之间的差。在其它实施例中，所述改变确定模块可进一步经配置以产生参考参数改变集，所述参考参数改变集包含所述第一帧的所述参考参数与在所述第一帧之后俘获的每一帧的所述参考参数之间的所述参考参数的多个改变。所述改变确定模块可进一步经配置以调整所述参考参数改变集，从而平滑化所述参考参数改变集，以及产生指示所述第一帧的所述参考参数与在所述第一帧之后俘获的每一帧的所述参考参数之间的所述差的趋势的参考参数改变指示符。在一些实施例中，参数改变指示符可指示当每一帧的所述参考参数之间的所述差的所述趋势相对于所述第一帧的所述参考参数增加时，所述对象正在靠近所述成像装置。在其它实施例中，参数改变指示符可指示当每一帧的所述参考参数之间的所述差的所述趋势相对于所述第一帧的所述参考参数减小时，所述对象正在远离所述成像装置。

在一些实施例中，存储器可进一步经配置以存储阈值确定模块。所述阈值确定模块可经配置以基于所述对象相对于所述成像装置的位置来确定具有第一边界值和第二边界值的阈值，并且经配置以将所述参考参数的所述改变与所述第一边界值和所述第二边界值进行比较。

所述自动聚焦控制模块经配置以基于所述参考参数的所述改变来确定聚焦方向，并且通过基于所述聚焦方向使所述镜头移动来起始聚焦操作。在一些实施例中，所述自动聚焦控制模块经配置以仅当所述参考参数的所述改变大于所述第一边界值或小于所述第二边界值时才确定所述聚焦方向。

根据另一方面，揭示一种用于确定使成像装置进行聚焦的方向的设备。所述设备包含：用于俘获描绘场景的多个帧的装置；用于选择至少一个帧的对应于对象的部分的装置；以及用于跟踪所述多个帧中的所述对象的装置。所述设备还包含：用于基于对所述多个帧的所述跟踪来确定所述多个帧中的每一者的所述对象的参考参数的装置；以及用于检测至少在所述多个帧的第一帧与第二帧之间的所述参考参数的改变的装置。所述设备还包括：用于基于所述参考参数的所述改变来确定聚焦方向的装置；和用于通过基于所述聚焦方向使所述镜头移动来起始聚焦操作的装置。

根据另一方面，揭示一种上面存储有指令的非暂时性计算机可读媒体，所述指令在执行时致使处理器执行起始聚焦操作的方法。由所执行的代码执行的方法包含：用成像装置俘获描绘场景的多个帧；和选择至少一个帧的对应于所显示帧中的对象的部分。所述方法还包含跟踪所述多个帧中的所述对象，其中跟踪所述对象提供所述多个帧中的每一者的所述对象的参考参数，以及检测至少在所述多个帧的第一帧与第二帧之间的所述参考参数的改变。所述方法还包括基于所述参考参数的所述改变来确定聚焦方向，以及通过基于所述聚焦方向使所述成像装置的镜头移动来起始聚焦操作。

附图说明

将在下文中结合附图描述所揭示的方面，提供附图是为了说明而非限制所揭示的方面，在附图中，相同标号表示相同元件。

图1说明其中成像装置在正确方向上起始自动聚焦搜索操作的实例。

图2A说明其中成像装置在不正确方向上模拟自动聚焦搜索操作的实例。

图2B描绘图2A的自动聚焦搜索操作的图形表示。

图3是包含自动聚焦控制模块的成像装置的框图。

图4A到4C说明根据一个实施例的选定对象的至少一个参考参数的改变。

图5说明根据一个实施例的基于参考参数的聚焦方向的确定。

图6是说明根据一个实施例的方向决策的动态阈值的图表。

图7是根据一个实施例的确定自动聚焦搜索操作的方向的过程的流程图。

图8是根据一个实施例的初始化对象跟踪的过程的流程图。

图9是根据一个实施例的初始化自动聚焦搜索操作的过程的流程图。

具体实施方式

在以下描述中，给出具体细节以提供对实例的透彻理解。然而，所属领域的技术人员将理解，可在没有这些具体细节的情况下实践所述实例。举例来说，可在框图中展示电组件/装置，以免用不必要的细节混淆所述实例。在其它示例中，可详细展示此类组件、其它结构和技术以进一步解释所述实例。

还应注意，可将所述实例描述成过程，所述过程被描绘成流程图、流图、有限状态图、结构图或框图。虽然流程图可将操作描述成循序过程，但许多操作可并行或同时执行，并且所述过程可重复。另外，可以重新布置操作的次序。过程在其操作完成时终止。过程可以对应于方法、功能、程序、子例程、子程序等。当过程对应于软件功能时，过程的终止对应于功能返回到调用功能或主功能。

所属领域的技术人员将理解，可使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个上文描述中可能参考的数据、指令、命令、信息、信号、位、符号和码片。

可通过多种类型的致动器在图像装置中执行自动聚焦。相机使用在可移动范围内移动的镜头将场景聚焦到图像传感器上以实现聚焦。自动聚焦成像装置使用音圈电机(VCM)、压电或MEMS解决方案来使镜头移动。

可在现代数字成像装置中使用多种自动聚焦(“AF”)方法来确定机械移动将使镜头移动的方向以及距离。举例来说，因为具有较高对比度的图像可能倾向于具有较锐利聚焦，所以一些自动聚焦方法寻找提供具有最高对比度的图像的聚焦位置。这可被称为聚焦值算法，其中将不同镜头位置处的聚焦值进行比较以确定哪个图像具有最高对比度。自动聚焦方法的另一实例是基于对象深度估计，其中所述算法基于所估计的目标对象距成像装置的深度或位置，将镜头直接移动到所估计的位置。基于估计的可信度，可使用基于最小对比度的自动聚焦。然而，当用于最佳聚焦的最佳镜头位置或最佳聚焦位置未知时，成像装置使用基于对比度的自动聚焦或聚焦值自动聚焦方法。最佳镜头位置是指产生最大聚焦值或最高对比度值的镜头位置。

聚焦值方法的一些实施方案可以待聚焦的目标对象的未知最佳镜头位置开始。为开始自动聚焦，所述算法首先搜索最佳镜头位置。所述搜索以选择使镜头移动的方向以获得连续样本开始。所述算法取得连续样本，将所述样本进行比较，并且基于具有较高对比度的样本来确定聚焦位置方向。

关于在哪个方向上开始搜索的决策是困难的决策，这是因为从自动聚焦搜索操作一开始就不知道目标对象的最佳聚焦位置。在一些实施例中，所述方向决策部分地基于当前镜头位置和预定义的边界。预定义的边界可为对象相对于成像装置的位置范围。所述边界范围可介于从在成像装置附近的距离到无限远的距离之间。应认识到，预定义的边界对于不同的成像装置可为不同的。通常，附近位置距相机约10厘米，且无穷远的位置距相机约200厘米或更大。由于此决策以及未知实际最佳镜头位置，选择使镜头移动的正确方向的总成功率我大约50％。

一些自动聚焦方法可能在特定成像环境中没有能力达成足够的聚焦。举例来说，在距图像传感器不同距离处在图像内呈现多个对象的成像环境可能使自动聚焦方法难以确定应选择多个对象中的哪个/些对象进行聚焦。其它成像环境可包含处于运动中的对象。传统的自动聚焦方法可能无法辨识处于运动中的对象。这与本文中所揭示的方法相比可能造成较差聚焦。

本文中所描述的实施例包含经配置以确定在成像装置的自动聚焦搜索操作中使镜头移动的第一方向的方法、设备和计算机可读媒体。在一些实施例中，所述方法可针对于可确定在AF操作开始时使镜头移动的初始聚焦方向的方法和图像俘获装置。通过确定聚集方向，可使成像装置的镜头在提供对象的较锐利聚集的恰当方向上移动。这可引起AF速度和总准确度的可能改进，进而改进图像俘获装置中的图像质量。因此，一个实施例提出确定在AF操作初始化期间的聚焦方向的软件解决方案。

在所述方法和设备的一些实施例中，聚焦方向可基于参考参数的改变。在此类实施方案中，成像装置可经配置以俘获选定对象的多个图像或帧。接着可经由成像装置的跟踪模块通过所述多个帧跟踪所述对象，以提供跟踪数据。跟踪模块可包含例如包跟踪、激光跟踪以及类似者的技术。举例来说，跟踪模块可实施由高通技术公司(QualcommTechnologies,Inc.)研发的。所述方法和设备使用跟踪信息监测对象的参考参数的改变。举例来说，在多个帧中跟踪对象的参考参数，并可将所述参考参数与先前参考参数进行比较以确定所述多个帧当中的参考参数是否已经改变。所述参考参数可与对象的大小有关，借此对象的大小可在连续帧之间改变。在一个实施方案中，对象大小的增加可指示对象正在靠近成像装置。成像装置可经配置以基于参考参数的改变来推断出聚焦方向。举例来说，当确定对象正在靠近成像装置时，可确定致使成像装置的致动器使镜头移动远离所述对象的聚焦方向，进而提供更锐利的聚焦。另外，当确定对象正在移动远离成像装置时，可确定使得成像装置的致动器使镜头朝向对象移动的聚焦方向，进而提供更锐利的聚焦。

在一些实施例中，可基于参考参数的改变推断或推导出移动方向估计。举例来说，成像装置可能能够估计场景中的每一对象的移动方向。对象的移动可在附近，例如较靠近成像装置，或远处，例如距成像装置较远。可为自动聚焦成像装置提供估计的移动方向，并且作为自动聚焦过程的部分，基于相对于成像装置的移动方向，成像装置可确定使镜头移动的恰当方向。成像装置可能能够减小用于搜索聚焦于选定对象上的最佳镜头位置的时间，这是将仅在一个方向上搜索镜头位置。成像装置将避免在起初做出不正确确定的情况下必须顺原路折回。成像装置可使用选定对象的移动方向优化用户体验、搜索速度和自动聚焦成像装置的成功率。

在一些实施例中，可从跟踪参考参数推断出选定对象的移动方向估计。在一个实施方案中，对象跟踪可返回与参考参数有关的可包含对象大小的改变或参考参数的改变的指示的信息。在一个实施方案中，所述大小可基于连续图像之间的相对参考参数信息。个别大小确定可能较不可靠，因此成像装置可使用总体参考参数的改变趋势产生关于对象的参考参数如何改变的更可信确定。成像装置可将中值滤波器应用于所跟踪的参考参数以输出可靠的改变趋势，其中跟踪信息可包含表示被跟踪对象的有界框。在一个实施方案中，中值滤波器可为能够对图像或信号执行降噪的滤波器，其中对应于单个帧的一个条目的信号经替换为相邻条目的中值。在一个实施方案中，可在跟踪信息的宽度上使用具有长度5的一维中值滤波器来防止噪声，使得中值滤波器可将即时条目替换为五个相邻条目的中值。在一些实施例中，相邻条目包含在即时条目之前的条目。在其它实施例中，相邻条目包含在即时条目之后的条目。在又其它实施例中，相邻条目包含在即时条目前后两者的条目。参考参数的改变趋势可指示对象的平均或总体移动方向。如上文所描述，所述方法和设备接着可确定使镜头移动的方向，以基于所确定的移动方向来起始自动聚焦搜索操作。与使用聚焦值方法确定自动聚焦搜索操作的开始方向的方法相比，此类方法可实现明显更快且平滑的被跟踪对象聚焦。

在所述方法和设备的一些实施例中，可提供用于决定移动方向的动态阈值。可将参考参数信息映射到选定对象的物理距离。由此，使镜头在哪个方向上移动的决策可基于如从参考参数推导出的对象物理地定位在何处的确定。所述方向决策可在对象物理地定位在距图像装置较远处或某一距离处时较不敏感。所述方向决策可在对象物理地定位在距图像装置较近或附近时较敏感。

在一个实施方案中，可在成像装置的显示器上在预览模式中查看为获得方向信息正在跟踪的选定对象。成像装置的显示器可为图像装置的用户提供选定对象的预览以便对准优选的图像。举例来说，成像装置的显示器可在自动聚焦搜索操作之前描绘整个场景的帧，并可在显示器内提供第二窗口(例如，画中画窗口)以用于预览被跟踪对象。在此预览阶段期间，成像装置可开始跟踪对象以获取参考参数的改变，所述成像装置可从所述参考参数的改变推导出聚焦方向信息。

在另一实施方案中，自动聚焦搜索操作可从自动聚焦搜索操作开始逐渐地改进到更锐利的聚焦。以此方式，成像装置可在稍后的移动期间通过到最佳镜头位置的较大步长和渐进式步长来搜索最佳镜头位置。较大步长可提供每一连续步长之间的较大对比度值，进而限制错误方向自动聚焦搜索操作的情况。

图1说明其中成像装置在正确方向上起始自动聚焦搜索操作的实例。成像装置包含具有第一和/或起始方向的镜头105。在图1中展示的自动聚焦搜索操作中，成像装置的用户可能希望俘获具有最佳镜头位置115的场景或对象(未示出)的图像。在图1中所说明的情况下，成像装置通过使镜头105在起始方向120上沿着成像装置的光轴110朝向最佳镜头位置115移动来开始自动聚焦搜索操作。

图2A说明其中成像装置在不正确方向上起始自动聚焦搜索操作的实施例的另一实例。图2A与图1的类似之处在于，镜头105具有起始位置并在起始方向220上沿着光轴110移动。然而，图2A包含位于与起始方向220相反的方向上的最佳镜头位置215。在此情况下，镜头105首先在起始方向220上远离最佳镜头位置215移动。成像装置移动镜头105直到镜头105到达方向检测边界225，在此点处，成像装置确定起始方向220不正确。在确定起始方向220不正确后，成像装置使镜头105往回朝向起始位置，并且还朝向最佳镜头位置215移动。因此，成像装置不仅必须使镜头105在原始不正确方向220上移动，而且成像装置还必须使镜头105第二次跨越同一距离移动以返回到起始位置，且接着经过必要的距离到达最佳镜头位置215。结果是，自动聚焦搜索操作执行起来花费了较大时间量，这是因为其进行了额外且不必要的移动，并且成像装置的用户在远离最佳镜头位置215的不正确移动期间经历散焦图像。

图2B描绘图2A的自动聚焦搜索操作。图2B说明类似于图2A的方法。图2B以图形方式说明随镜头位置而变的聚焦值，其说明为曲线230。聚焦值可为图像对比度测量值，其中由较高对比度表示较锐利的聚焦。因此，展示其中存在最高聚焦值216的最佳镜头位置215。类似于图2A，镜头105的起始镜头位置位于图2B的曲线230的尾端。当成像装置使镜头在不正确的起始方向220上移动时，每一连续图像的聚焦值基本上相同，因此成像装置不能够确定最佳聚焦所在的方向。如此类的典型聚焦值可能致使成像装置失败，这是因为散焦图像的聚焦值在每一镜头位置之间基本上类似。成像装置在比较每一镜头位置之间的聚焦值以确定成像装置是否应颠倒使镜头移动的方向方面没有可信度。成像装置不能够从围绕当前镜头位置的镜头位置之间的聚焦值的比较确定应使镜头在哪个方向上移动。因此，成像装置可能会由于周围镜头位置的聚焦值的类似性而继续使镜头在不正确方向(例如，方向220)上无限期地移动。为纠正镜头在不正确方向上的继续移动，成像装置可采用方向决策边界225，如上文所描述，在此点处，可致使成像装置使镜头往回跨越原始距离朝向起始位置移动。

图3是说明包含自动聚焦控制功能性的成像装置300的实施例的框图的实例。成像装置300包含处理器305，其以可操作方式连接到图像传感器314、镜头310、致动器312、工作存储器370、存储装置375、显示器380和输入装置390。另外，处理器305连接到存储器320。存储器320存储数个模块，其存储定义用以配置处理器305以执行成像装置300的功能的指令的数据值。存储器320包含镜头控制模块325、对象跟踪模块340和自动聚焦控制模块360，以及操作系统365。成像装置300还包含输入处理模块330、参考参数确定模块335、改变确定模块345、阈值确定模块350，以及参考参数改变指示符确定模块355。虽然图3说明独立于对象跟踪模块340的多个模块，但将理解，所展示的模块中的任一者可被个别地或组合地包含为对象跟踪模块340的子模块。

在说明性实施例中，光进入镜头310并聚焦于图像传感器314上。在一个方面中，图像传感器314使用电荷耦合装置。在另一方面中，图像传感器314使用CMOS或CCD传感器。镜头310耦合到致动器312，并被致动器312移动。致动器312经配置以在自动聚焦搜索操作期间使镜头310在一系列的一或多个镜头移动中移动。当镜头310到达其移动范围的边界时，镜头310或致动器312可被称为饱和的。可通过包含音圈电机(VCM)、微电子机械系统(MEMS)或形状记忆合金(SMA)的多种方法和组件中的任一者来致动镜头310。

图3的实施例中所说明的显示器380经配置以显示经由镜头310俘获的图像和帧并且也可用以实施装置300的配置功能。在一个实施方案中，显示器380可经配置以显示成像装置的用户经由输入装置390选择的一或多个对象。

输入装置390可视实施方案而呈现多种形式。在一些实施方案中，输入装置390可与显示器380集成在一起以便形成触摸屏显示器。在其它实施方案中，输入装置390可在成像装置300上包含单独的键或按钮。这些键或按钮可提供针对显示器380上显示的菜单的导航的输入。在其它实施方案中，输入装置390可为输入端口。举例来说，输入装置390可提供另一装置到成像装置300的可操作耦合。成像装置300接着可经由输入装置390从附接的键盘或鼠标接收输入。

仍参考图3的实施例，处理器305可使用工作存储器370存储在成像装置300的操作期间动态地产生的数据。举例来说，来自存储于存储器320中的模块中的任一者的指令(下文论述)可在由处理器305执行时存储于工作存储器370中。工作存储器370还可存储动态运行时间数据，例如由正在处理器305上执行的程序所使用的堆栈或堆数据。存储装置375可用以存储由成像装置300产生的数据。举例来说，经由镜头310俘获的图像可存储于存储装置375上。

存储器320可被视为计算机可读媒体并存储数个模块。所述模块存储定义用于处理器305的指令的数据值。这些指令配置处理器305以执行装置300的功能。举例来说，在一些方面中，存储器320可经配置以存储致使处理器305执行如下文所描述且如图7中所说明的过程700或其部分的指令。在所说明的实施例中，存储器320包含镜头控制模块325、对象跟踪模块340和自动聚焦控制模块360，以及操作系统365。存储器320可进一步包含输入处理模块330、参考参数确定模块335、改变确定模块345、阈值确定模块350，以及参考参数改变指示符确定模块355。

操作系统365包含配置处理器305以管理装置300的硬件和软件资源的指令。

图3的实施例中所说明的镜头控制模块325包含配置处理器305以控制镜头310的指令。镜头控制模块325中的指令可配置处理器305以实现镜头310的镜头位置。在一些方面中，镜头控制模块325中的指令可配置处理器305控制镜头310与图像传感器314结合以俘获图像。因此，镜头控制模块325中的指令可表示一种用于使用图像传感器314和镜头310俘获图像的装置。

输入处理模块330包含配置处理器305以从输入装置390读取输入数据的指令。在一个方面中，输入处理模块330可配置处理器305以检测由图像传感器314俘获的图像帧内的对象。在另一方面中，输入处理模块330可配置处理器305以从输入装置390接收用户输入，并基于输入装置390的的用户操控来识别用户选择或配置。因此，输入处理模块330中的指令可表示一种用于识别或选择图像帧内的一或多个对象的装置。

参考参数确定模块335中的指令可配置处理器305以至少部分地基于用户选定对象来确定参考参数。在一些方面中，参考参数可基于对象的可测量特征。举例来说，参考参数可与相对于所俘获图像的帧的对象大小有关。在另一实例中，参考参数可与经配置以涵盖选定对象的有界框有关，借此有界框的尺寸中的至少一者界定参考参数。因此，参考参数确定模块335中的指令可表示一种用于至少部分地基于用户选定对象来确定参考参数的装置。

对象跟踪模块340中的指令可配置处理器305以提供对象跟踪能力。在一些实施例中，可在对象围绕显示器380移动时跟踪所述对象。在对象围绕显示器380移动时，参考参数确定模块335可连续地确定所跟踪图像的每一帧的参考参数。在一些实施例中，跟踪成像装置与本发明集成在一起。举例来说，其内容整体并入本文中的第8,483,437号美国专利揭示用于使用训练图像跟踪图像中的对象的特征；其内容整体并入本文中的第2013/0258141号美国专利申请公开案揭示用于检测并跟踪视频帧中的对象并且丢弃错误肯定的特征；其内容整体并入本文中的第2014/0205141号美国专利申请公开案揭示用于跟踪视频帧中的对象以产生定位结果的特征；以及其内容整体并入本文中的第8,249,299号美国专利揭示用于识别并跟踪视频中的对象的特征。

在一些方面中，对象跟踪模块340可配置处理器305以接收至少包含与被跟踪对象的连续图像帧之间的参考参数有关的信息的对象跟踪数据。因此，对象跟踪模块340中的指令表示一种用于跟踪用户选定对象的装置。

改变确定模块345中的指令可配置处理器305以至少部分地基于当前参考参数和最后保存的参考参数(下文描述)来确定参考参数的改变。举例来说，改变确定模块345可包含用以基于由图像传感器314俘获的一或多个图像来估计参考参数的改变的指令。处理器305可经配置以将来自参考参数确定模块335的先前参考参数与当前参考参数进行比较，并使用改变确定模块345中的指令确定参考参数的改变。因此，改变确定模块345中的指令表示一种用于确定参考参数的改变的装置。

在一些方面中，改变确定模块345可由处理器305进行配置以至少部分地基于在自动聚焦搜索操作期间跨连续图像帧的参考参数的改变来确定参考参数改变集。举例来说，改变确定模块345可包含用以配置处理器305以确定最后保存的参考参数与连续跟踪的图像帧的每一参考参数之间的改变的指令。因此，改变确定模块345中的指令可表示一种用于产生参考参数改变集的装置。

阈值确定模块350中的指令可配置处理器305以至少部分地基于对象距成像装置的距离来确定阈值。举例来说，对象距离可基于对象与成像装置的镜头之间的物理距离，并且阈值可与给定对象距离相关。对象距离可为镜头的位置的函数，借此具有来自镜头控制模块325的镜头位置的成像装置可确定对象距离。举例来说，可例如基于致动器位置通过成像装置固有的特性来确定镜头位置。在一个实施例中，阈值是动态的并且可基于对象的距离针对每一自动聚焦搜索操作进行更新。

在另一实施例中，阈值可包含第一边界值和第二边界值。举例来说，阈值可表示参考参数的改变百分率，借此成像装置可以可信地确定参考参数正在改变，且所检测到的改变不是离群值或额外数据点。举例来说，阈值确定模块350可配置处理器305以确定具有第一边界值和第二边界值的阈值。处理器305可接收阈值，并且接着可被阈值确定模块350配置以评估参考参数的百分率改变(增加或减小)是否在第一和/或第二边界值之外。举例来说，如果阈值基于对象距离经确定为0.15或15％的改变，那么第一或上边界将为参考参数的15％增加，并且第二或下边界将为参考参数的15％减小。自动聚焦控制模块360接着将配置处理器305以仅在参考参数的改变15％时确定自动聚焦搜索操作方向。因此，阈值确定模块350中的指令可表示一种用于确定具有第一边界和第二边界的阈值的装置。

在一个方面中，参考参数改变指示符确定模块355中的指令可配置处理器305以接收参考参数改变集并确定参考参数改变指示符。在一个实施例中，参考参数改变指示符是参考参数的改变的趋势，其表示多个图像帧之间的参考参数的平均改变。举例来说，参考参数改变集可由如被参考参数确定模块335配置的处理器305产生。然而，参考改变集可包含连续图像之间的参考参数的每个数据点，使得大部分数据点指示参考参数的减小，但所述集包含指示参考参数的增加的离群值。在一个实施例中，参考参数改变指示符确定模块355中的指令可配置处理器305以完全移除或忽略离群值。在另一实施例中，处理器305可经配置以应用滤波器(例如，中值滤波器)来平滑化所述数据集，从而确定连续图像之间的参考参数的改变的平均值或趋势。因此，参考参数改变指示符确定模块355中的指令可表示一种用于确定参考参数的改变的趋势或估计的装置。

自动聚焦控制模块360包含配置处理器305以自动聚焦镜头310的指令。自动聚焦控制模块360中的指令可配置处理器305以实现镜头310的镜头位置。在一实施例中，自动聚焦控制模块360中的指令可发送镜头位置信息以及其它输入参数到镜头控制模块325。镜头位置信息可包含当前镜头位置、目标镜头位置，以及至少部分地基于由改变确定模块345和/或参考参数改变指示符确定模块355产生的结果的自动聚焦搜索操作方向确定。在一些方面中，自动聚焦控制模块360中的指令可表示一种用于初始化自动聚焦搜索操作的装置。在一些方面中，自动聚焦控制模块360中的指令可表示一种用于至少部分地基于参考参数的改变来确定自动聚焦搜索操作的镜头移动的幅值和/或方向的装置。

图4A到4C说明选定对象的至少一个参考参数的改变。展示具有查看窗口400的装置的实施例，所述查看窗口通过各自具有尺寸430、440和450的多个所俘获图像(或帧)410a(图4A)、410b(图4B)和410c(图4C)来显示一场景。在一个实施例中，尺寸430、440和450分别表示所显示场景的y尺寸、x尺寸和对角线尺寸。在另一实施例中，尺寸430、440和450在多个图像410a、410b和410c中的每一者之间基本上相同。查看窗口400可在显示器380上或来自例如图3的成像装置300的装置，包含摄像机、移动电话、平板计算机、计算机等。在一些实施例中，查看窗口400可展示成像装置所俘获或记录的图像。

查看窗口描绘、俘获和/或记录具有可被称为参考对象的选定对象420b的第一场景410b。在图4B的说明性实例中，关注对象描绘为猫。关注对象可为可在场景或成像装置中成像的任何数目个项。用户可(例如)通过触摸对象在触摸屏装置的屏幕上的位置来手动选择关注对象420b。也可自动选择所述对象。举例来说，可以使用对象辨识特征，例如在以下专利中揭示的那些对象辨识特征：第2013/0335575号美国专利申请公开案，其全部内容整体并入本文中，并揭示用于通过使用对象的边缘检测飞行中的对象的特征；第8,254,699号美国专利，其全部内容整体并入本文中，并揭示用于视频的对象辨识算法；第8,064,685号美国专利，其全部内容整体并入本文中，并揭示用于3D对象辨识的特征。在一些实施例中，可验证关注对象420b的选择。举例来说，成像装置可请求对关注对象420b的选择的验证。在一些实施例中，可远程选择关注对象420b。举例来说，查看窗口400可展示经由因特网连接查看的场景，例如由监控摄像机观察的传输到图3的显示器380的场景。接着可(例如)通过触摸移动电话显示器上的触摸屏的关注对象420b所在的区域来选择关注对象420b。

成像装置可经配置以在对象420b在(例如)从410b到410a或410b到410c的连续图像帧中改变时跟踪所述对象。如所展示，可在对象420b分别在连续图像410a、410b和410c之间改变和/或移动时跟踪所述对象。在一些实施例中，如上文所描述，也可跟踪第二对象(未示出)。

在一个方面中，成像装置可确定用于多个图像410a到410c中的关注对象420a到420c的每一描述的关注区(ROI)，例如有界矩形425a到425c。在一个实施例中，ROI可在查看窗口400中显示并可被用户查看。在另一实施例中，ROI仅记录于图3的工作存储器370或存储装置375中作为参考。有界矩形425a到425c各自包含x尺寸(470a到470c)、y尺寸(460a到460c)和对角线尺寸(480a到480c)。如上文所描述，成像装置可经配置以基于从与第一对象420b有关的参考参数和与第二对象(例如，420a或420c)有关的参考参数之间的差推导出的参考参数的改变来推断出自动聚焦搜索操作的聚焦方向。在一个实施例中，参考参数是基于有界框的x尺寸、y尺寸或对角线尺寸中的至少一者。在另一实施例中，参考参数是基于关注对象自身的区域的计算。在又一实施例中，参考参数是基于ROI或关注对象的像素计数。

在一个方面中，成像装置经配置以基于多个图像410a到410c之间的对象420b的改变来确定参考参数的改变。在参考图3的一个实施例中，改变确定模块345包含配置处理器305以至少部分地基于对象420a到420c通过多个图像帧410a到410c的改变来确定参考参数的改变的指令。举例来说，第一图像帧410b的对象420b可为具有第一图像的参考参数的参考对象420b。在一个实施例中，图像410b可改变或移动到图像410a，使得对象420b变成具有第二图像的参考参数的对象420a。对象420a与参考对象420b相比看起来相对于查看窗口400是较小的。类似地，对应于对象420a的参考参数将小于对应于参考对象420b的参考参数。因此，第一图像410b和第二图像410a的参考参数之间的减小表示指示对象正在移动远离成像装置的参考参数的改变。替代地，第一图像410b可改变为第二图像410c，使得对象420b变成具有第一图像410b和第二图像410c之间的参考参数的改变的对象420c。对象420c现在表现为大于参考对象420b。因此，所述参考参数的差表示指示对象正在移动靠近成像装置的参考参数的改变。

在一些实施例中，参考参数的改变可以由分别在图4A、4B和4C中所说明的有界矩形425a到425c的x尺寸、y尺寸或对角线尺寸中的至少一者的改变表示。举例来说，图像410b可表示具有由至少具有x尺寸470b的有界矩形425b表示的对象420b的第一图像。在此情况下，参考参数可以由第一或参考图像420b的尺寸470b表示。尺寸470b可为绝对值，例如像素计数，或可为相对于查看窗口400的总尺寸440的值。可俘获第二或多个图像，产生具有对象420a和表示第二图像410a的参考参数的尺寸470a的图像410a。尺寸470a同样可为绝对值，例如像素计数，或可为相对于查看窗口400的总尺寸440的值。查看窗口尺寸440在图像410b和410a之间可不改变。然而，尺寸470b到470a的改变可表示参考参数的减小。替代地，后续图像可为图像410c，进而表示尺寸470b到470c的增加。以此方式，成像装置可确定被跟踪关注对象的多个图像之间的参考参数的改变。

图5说明根据一个实施例的基于参考参数的改变确定聚焦方向的实例。线500和510指示参考参数跨连续俘获的连续图像帧的改变。举例来说，图5描绘图4的对象420a到420c，其中对象420b说明可被视为参考对象420b的对象420b的第一所俘获图像。参考对象420b可具有如上文参考图4B所描述的对应参考参数。所述参考参数可为被指示我倾斜线510与底线500之间的距离的大小或高度。随着对象的参考参数从对象420b到420c或420b到420a改变(例如，增加或减小)，分别通过线510和500之间的间隙增大或变窄来说明参考参数的改变。在一个实施例中，可由成像装置300用(例如)图3的对象跟踪模块340和改变确定模块345来执行图5的方面。

图5还描绘表示其中对象420b的参考参数减小(示出为对象420b变小)的情况的示范性对象420a。第二示范性对象420c表示其中对象420b的参考参数增加(示出为对象420b变大)的情况。以此方式，成像装置可经配置以经由对象跟踪模块340监测参考参数，并且成像装置可能能够确定对象是在变大还是在变小。

在图5中推导出的参考参数的改变可以线性方式映射到对象所在的距成像装置的相对物理距离。举例来说，图3的参考参数改变指示符确定模块355可包含用以在第二图像帧的参考参数相对于第一图像帧的参考参数增加(例如，对象的大小在图像帧之间增加)时指示对象正在移动靠近成像装置的指令。替代地，图3的参考参数改变指示符确定模块355可包含用以在当前或第二图像帧的参考参数相对于第一图像帧的参考参数减小(例如，对象的大小在帧之间减小)时指示关注对象正在移动远离成像装置的指令。基于相对距离到当前或第二图像帧的参考参数的映射，成像装置可做出使镜头在最佳镜头位置的方向上移动的聚焦方向决策。最佳镜头位置方向决策可用以在对象的方向被指示为远离时使镜头从起始位置朝向对象移动。在另一实施方案中，镜头位置聚焦方向决策可用以在对象的方向被指示为正在靠近时使镜头从起始位置远离对象移动。

在图5中展示的说明性实施例中，聚焦方向确定也可部分地基于阈值(视为阈值边界530和520)。成像装置可具有成像装置将借以基于参考参数的总改变趋势确定对象是正在移动靠近还是远离的阈值。在一个实施例中，成像装置300可用(例如)图3的阈值确定模块350、改变确定模块345和/或自动聚焦控制模块360执行图5的方面。

在图5的说明性实施例中，阈值包含第一边界值520和第二边界值530。在一个实施例中，第一边界值和第二边界值可被视为上边界值和下边界值。在一个实施例中，图3的自动聚焦控制模块360可包含用以仅在参考参数的改变处于第一边界值520和第二边界值530之外时基于所述参考参数的改变来确定聚焦方向的指令。举例来说，第二边界值530可表示第一图像帧和第二图像帧的参考参数之间的百分率改变。在对象420b和对应参考参数在大小上减小到对象420a和对应参考参数的情况下，成像装置300(图3)确定参考参数的改变指示仅在对象420b到420a的减小低于阈值530的情况下的减小。接着，图3的参考参数改变指示符确定模块355可基于第一图像帧和第二图像帧的参考参数之间的减小来指示聚焦方向。替代地，当第一图像帧和第二图像帧的参考参数之间的差增加到超出到对象420c的第一边界值520时，则聚焦方向可基于关注对象420b和420c的参考参数之间的增加。在说明性实施例中，阈值界定可推导出聚焦方向的第一边界和第二边界。

如图5中所见，一旦参考参数相对于最后保存的图像帧或第一图像帧的参考参数的改变达到阈值便可做出聚焦方向确定，所述阈值可具有上边界值或下边界值。所述阈值可提供成像装置300的第一边界值530和第二边界值520以确定聚焦方向。举例来说，第一图像帧中的对象(例如，对象420b)的参考大小可设置为值1和基于对象距成像装置的距离的阈值0.15。第一边界可确定为1×1.15，且第二边界可为1/1.15。仅具有1.15×第一图像帧的参考参数或1/1.15×第一图像帧的参考参数的参考参数平均改变或改变趋势的第一帧和第二帧的参考参数的改变可产生方向确定。在另一实施例中，针对每一聚焦操作，第一图像帧的参考参数可更新或保存于图3的工作存储器370和/或存储装置375中，且经更新参考参数可针对下一聚焦操作设置为1。

图6是说明聚焦方向确定的动态阈值的图表。图6描绘由线610表示的阈值的图表，其基于由线620表示的对象的物理距离和图6中如箭头表示的致动器位置635。可基于致动器位置确定对象的物理距离。举例来说，致动器可基于成像装置中的致动器的设计和制造仅移动到设置的离散致动器位置635。在自动聚焦搜索操作结束时，致动器将位于与对象的物理距离(例如，曲线620)相关的致动器位置635中的一者处。可从曲线610确定基于致动器位置的给定距离的阈值。因此，在自动聚焦搜索操作完成之后，保存基于致动器的位置的先前阈值以用于所述操作。可由成像装置300(例如)用如参考图3所描述的对象跟踪模块340、改变确定模块345和阈值确定模块350来执行图6的方面。

在一个方面中，方向确定可包含如上文参考图5详细描述，将仅在被超过时才做出聚焦方向的确定的阈值。然而，如图6中所描绘，远离对象的方向确定与在对象靠近时的确定需求相比可需要为较不敏感的。举例来说，可在对象处于超过5或6米远处时不需要方向决策，这是因为致动器以及因此镜头将定位在无限远的聚焦位置处。因此，如图6中所展示，方向确定阈值可随物理距离增加而增加。阈值可取决于实际相机镜头和图像传感器，并且可能需要基于总成像装置300进行微调。

图7是根据一个实施例的确定聚焦方向的过程的流程图。可由图3中所说明的成像装置300执行过程700。在一些实施例中，可由与存储器320的模块中的任一者通信的镜头控制模块325来执行确定自动聚焦搜索操作的聚焦方向的方法。所述方法可由存储器320实施为软件解决方案，或实施于成像装置300中的其它处，例如由处理器305中的逻辑装置执行的一或多个处理器处。

过程700开始于开始框并且接着移动到过程框710，其中成像装置开始自动聚焦搜索操作和对象跟踪。在一个实施例中，通过成像装置的用户对场景取帧以最终俘获至少一个关注对象的图像，来开始自动聚焦搜索操作。在另一实施例中，当用户操作输入装置以起始相片的拍摄或场景记录时，开始自动聚焦搜索操作。在此实施例中，自动聚焦搜索操作可紧接在用户操作输入装置之后但在成像装置将相片记录在成像装置存储装置中之前发生。将在下文参考图8进一步详细解释过程框710的子过程。

在自动聚焦搜索操作开始之后，过程700移动到框720，其中至少部分地基于当前图像帧的跟踪结果确定当前参考参数。当前帧的参考参数也可被称作第二帧的参考参数，且每一连续帧可具有对应参考参数。在一些实施例中，参考参数可基于关注对象的相对大小，其中对象大小是相对于显示器的尺寸。在另一实施例中，参考参数可基于包封关注对象的有界矩形的至少一个尺寸，例如有界矩形的x、y或对角线尺寸。在一个实施例中，如参考图3更详细地描述，处理器305被参考参数确定模块335配置以接受至少部分地基于用户选定的关注对象的跟踪操作的参考参数。如在本文中更完整地解释，可基于对象和/或ROI的大小确定参考参数。在一个实施例中，如在图3中所说明，参考参数是基于所确定的有界矩形的x尺寸、y尺寸或对角线尺寸中的至少一者。包含在参考参数确定模块335中的指令可配置处理器305以将阈值记录在工作存储器370或存储装置375中。

在确定当前参考参数之后，过程700继续到框730，其中检索自动聚焦搜索操作的最后图像帧的最后保存的参考参数以及阈值。在参考图3的一个实施例中，处理器305经配置以存取工作存储器370和/或存储装置375，从而检索最后保存的参考参数。在一个实施例中，如参考框790更详细地描述，可由参考参数确定模块335中的指令基于在先前自动聚焦搜索操作中确定的最后参考参数来确定最后保存的参考参数，在一个实施例中，在第一情况下，过程700接受第一框架的当前参考参数作为最后保存的参考参数。在一些实施例中，最后保存的参考参数也可被视为第一图像帧的参考参数，或可用作用于确定是否已在随后俘获的图像帧中发生参考参数的改变的基础的参考用参考参数。举例来说，如将参考框750更详细地描述，通过将最后保存的参考参数与当前或第二图像帧的参考参数进行比较，可确定先前自动聚焦操作与当前或第二图像帧之间的参考参数的改变。

此外，过程700可在框730处确定阈值。在一个实施例中，阈值是基于对象距成像装置的物理距离，其是如参考图5和6所描述至少部分地基于对象的参考参数而推导出。在一个实施例中，阈值可基于当前致动器位置。在另一实施例中，阈值可基于由先前自动聚焦搜索操作引起的当前致动器位置。在参考图3的又一实施例中，阈值确定模块350可基于从对象跟踪模块340获得的跟踪信息来确定具有第一边界值和第二边界值的阈值。包含在阈值确定模块350中的指令可配置处理器305以将阈值记录在工作存储器370或存储装置375中。

过程700接着移动到框740，其中滤波和监测对象的当前图像帧的参考参数。每一帧的参考参数的每一确定可为较不可靠的，因此过程700可确定参考参数改变集(例如，参考参数的改变趋势)以平滑化或推断出可在跟踪对象时发生的离群值或额外参考参数。举例来说，最后保存的图像帧与第一当前图像帧之间的参考参数的改变可指示参考参数减小(例如，对象正在移动远离)，但最后保存的帧与第二当前帧之间的参考参数的改变可指示可归因于成像装置的突然移动引起的增加(例如，对象正在靠近)。在此情况下，成像装置可监测和滤波参考参数改变集，以最小化或移除额外参考参数的改变的效应，所述集包含最后保存的参考参数与每一帧的参考参数的比较。以此方式，可确定参考参数的改变趋势，所述趋势可指示对象移动的一般性或总体方向。在一个实施例中，如图3中所说明，参考参数改变指示符确定模块355可包含用以配置处理器305以确定参考参数的改变趋势的指令。在另一实施例中，框740包含用以应用平滑滤波器，进而确定跨越多个图像的参考参数的相对平均改变的指令。举例来说，可将中值滤波器应用于参考参数改变集以输出可靠的改变趋势。在一个实施方案中，中值滤波器可为能够对图像或信号执行降噪的滤波器，其中对应于单个帧的一个条目的信号经替换为相邻条目的中值。在一个实施方案中，可在跟踪信息的宽度上使用具有长度5的一维中值滤波器来防止噪声，使得中值滤波器可将即时条目替换为五个相邻条目的中值。在一些实施例中，所述相邻条目包含在即时条目之前的条目。在其它实施例中，相邻条目包含在即时条目之后的条目。在又其它实施例中，相邻条目包含在即时条目前后两者的条目。以此方式，改变趋势可指示对象移动的平均或一般性方向。

过程700接着可移动到框750，其中过程700至少部分地基于当前帧的参考参数与最后保存的图像帧或第一图像帧的参考参数(例如，来自先前聚焦操作的最后保存的参考参数或对应于第一帧的参考参数)的比较，来确定参考参数的改变。在一个实施例中，如图3中所说明，经由对象跟踪模块340将第一图像帧的参考参数与连续俘获的帧的每一参考参数进行比较，并且由基于来自改变确定模块345的指令经配置的处理器305对其进行分析。在一个实施例中，可如参考图4A到4C详细描述地确定参考参数的改变。举例来说，参考图3，将具有第一参考参数的第一图像的对象与具有当前参考参数的当前跟踪的帧的对象进行比较，并且由基于来自改变确定模块345的指令的处理器305来记录改变。在另一实施例中，如上文所描述，可记录第一图像的参考参数与连续跟踪的帧的参考参数之间的改变以产生参考参数改变集。

过程700接着移动到决策框760，其中过程700确定如在框750中确定的参考参数的改变是否已达到相对于阈值的条件。如图3中所说明，可在阈值确定模块350和/或自动聚焦控制模块360中做出决策框760的确定。在一个实施例中，阈值包含第一边界值和第二边界值，借此如上文参考图5和6详细描述，参考参数的改变必须大于第一边界值或小于第二边界值。如果参考参数的改变尚未达到相对于阈值的条件，那么过程700返回到框720并重复过程700直到参考参数的改变高于或低于阈值为止。如果参考参数的改变的改变已达到相对于阈值的条件，那么过程700可移动到过程框770。

在框770处，过程700记录参考参数改变指示符。在参考图3的一个实施例中，参考参数改变指示符确定模块355包含用以配置处理器305以将参考参数改变指示符记录在工作存储器370和/或存储装置375中的指令。在参考图3的另一实施例中，参考参数改变指示符确定模块355包含用以配置处理器305以发射参考参数改变指示符到自动聚焦控制模块360的指令。以此方式，如下文参考图9描述，图3的自动聚焦控制模块360可在执行自动聚焦搜索操作时使用参考参数改变指示符。

在记录了参考参数改变指示符之后，过程700接着可移动到决策框780。在决策框780处，过程700可确定自动聚焦搜索操作是否已结束。如果自动聚焦搜索操作未完成，那么过程可返回到框720并重复所述过程以确定适当聚焦方向。如果成像装置确定自动聚焦搜索操作完成，那么过程700移动到框790。在框790处，过程700将参考参数更新为最后保存的参考参数并更新阈值。可基于对应于最后保存的图像帧的最后保存的参考参数来更新第一图像帧的参考参数，其中最后保存的参考参数是对应于先前自动聚焦搜索操作的最后帧的参考参数。可基于归因于先前自动聚焦搜索操作引起的当前镜头或致动器位置来更新阈值。在一些实施例中，在每个聚焦操作之后更新最后保存的参考参数和阈值。如在图7的框790中所说明，可在同一阶段执行最后保存的参考参数和阈值的更新。然而，所述操作是单独且独立的。在参考图3的一个实施例中，处理器305经配置以将由参考参数确定模块335确定的对象的最后参考参数作为最后保存的参考参数记录在工作存储器370和/或存储装置375。在参考图3的另一实施例中，处理器305经配置以记录至少部分地基于由于自动聚焦搜索操作引起的镜头的位置的阈值。一旦参考参数和阈值经更新，过程便移动到框730以针对后续自动聚焦操作进行重复。

图8是可在图7的过程框710处执行的用于初始化对象的跟踪的子过程的流程图。在参考图3的一个实施例中，由被来自对象跟踪模块340和/或输入处理模块330的指令配置的处理器305来执行对象跟踪。所述子过程在开始框处开始并且接着前进到框810，其中通过成像装置俘获图像帧。图像可为由成像装置俘获的静态相片或视频。在说明性实施例中，来自图像或场景的光进入镜头310并聚焦在图3的图像传感器314上，进而俘获图像。所述图像可包含可为移动或静止的一个或数个关注对象。

在图8中所展示的图7的过程框710的子过程接着移动到框820，其中可显示图像。举例来说，可在成像装置的显示器(例如，图3的成像装置300的显示器380)上显示图像。可记录或当前地记录图像(例如，录播或现场直播)。此外，所俘获图像可来自显示图像的同一装置，或其可来自不同装置。

过程框710的子过程接着移动到框830，其中接收选择关注对象的输入。在一些实施例中，可以通过用户触摸屏幕或显示所述对象当前在显示器上所处位置来接收对象的选择。在其它实施例中，由成像装置或其部分基于包含在存储器(例如，图3的存储器320)中的指令来选择对象。在其它实施例中，也可通过接收识别对象的信息来接收对象的选择。举例来说，可将对象的描述存储在所述装置中。在一些实施例中，选择对象包含产生包含所述对象的关注区(ROI)。举例来说，可形成围绕对象的ROI，指示已选择所述区中的对象。在一些实施例中，所述区可能不可见。在一个实施例中，如图3中所说明，处理器305可经配置以基于来自输入处理模块330的指令和与输入装置390的用户交互来接收用户选定的关注对象。

在用户或成像装置选择关注对象之后，过程框710的子过程继续到结束框。过程框710的子过程一旦经完成便可返回到过程700并继续到如上文参考图7所描述的框720。

图9是根据一个实施例的在自动聚焦搜索操作中使用方向确定的过程900的流程图。举例来说，过程900可由图3中所说明的成像装置300执行。在一个实施例中，如图3中所说明，过程900可由与存储器320的模块中的任一者通信的镜头控制模块325和/或自动聚焦控制模块360执行。所述方法可由存储器320实施为软件解决方案，或实施于成像装置300中的其它处，例如由图3的处理器305中的逻辑装置执行的一或多个处理器处。

过程900开始于自动聚焦搜索操作的开始并前进到决策框910。在决策框910处，做出关于方向信息是否可用的确定。在参考图3的一个实施例中，可由已被改变确定模块345、阈值确定模块350和/或参考参数改变指示符确定模块355更新的处理器305做出所述确定。如果不在决策框910处做出方向信息不可用的确定，那么过程移动到框920。在框920处，过程900可基于上文所论述的传统方法来起始自动聚焦搜索操作。

如果在决策框910处做出方向信息可用的确定，那么过程900移动到框930。在框930处，如参考图7所描述，基于跟踪结果来检索参考参数改变指示符。在一个实施例中，参考参数改变指示符至少部分地基于参考参数的改变趋势和/或阈值。在一个实施例中，如图3中所说明，参考参数改变指示符确定模块355中的指令包含用以配置处理器305以从工作存储器370和/或存储装置375检索参考参数改变指示符的指令。

一旦过程900检索参考参数改变指示符，过程900便继续到决策框940。在决策框940处，做出关于参考参数改变指示符是否指示参考参数减小的确定。在图9的说明性实施例中，如果做出参考参数改变指示符指示参考参数减小的确定，那么过程900继续到框950。在框950处，将聚焦操作的聚焦方向设置为远离。在一些实施例中，参考参数改变指示符正在减小的确定指示，第一图像帧或最后保存的图像帧的参考参数与跟在第一帧之后的每一帧的参考参数之间的差已跨越多个帧平均起来已减小。在一个实施例中，参考参数之间的差的减小可指示对象的选定大小已减小，进而指示相对于第一图像帧或最后保存的图像帧的参考参数，对象正在移动远离成像装置。

替代地，如果做出参考参数改变指示符指示第一图像帧或最后保存的图像帧的参考参数与对应于每一后续帧的参考参数之间的差增加的确定，那么过程900移动到框960。在框960处，将自动聚焦搜索操作的聚焦方向设置为靠近。在一个实施例中，参考参数之间的差的增加可指示对象的大小已增加，进而指示相对于第一图像帧或最后保存的图像帧的参考参数，选定对象正在移动靠近成像装置。

过程900接着移动到框970，其中基于所确定的方向开始自动聚焦搜索操作。在一个实施例中，图3的自动聚焦控制模块360可通过基于在框960中的确定致使致动器312使镜头310移动来起始自动聚焦搜索操作。在一个实施例中，自动聚焦控制模块360包含用以配置处理器305来基于参考参数改变指示符确定聚焦方向的指令。以此方式，过程900能够通过在自动聚焦搜索操作开始时使镜头在适当聚焦方向上移动，进而使镜头朝向最佳聚焦位置快速且有效地移动，来开始自动聚焦搜索操作。

所属领域的技术人员将进一步了解，结合本文所揭示的实施方案而描述的各种说明性逻辑块、模块、电路和过程步骤可实施为电子硬件、计算机软件或两者的组合。为清晰地说明硬件与软件的此可互换性，以上已大体就其功能性来描述了各种说明性组件、块、模块、电路和步骤。此功能性是实施为硬件还是软件取决于特定应用以及施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述功能性，但此类实施决策不应解释为致使偏离本发明的所揭示的实施例或方面的范围。所属领域的技术人员将理解，一个部分或一部分可包括小于或等于整体的内容。举例来说，像素集合的一个部分可能是指那些像素的子集合。

可使用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施方案而描述的各种说明性逻辑块、模块及电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此类配置。

结合本文中所揭示的实施方案而描述的方法或演算法的步骤可直接体现于硬件、由处理器执行的软件模块或其两者的组合中。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM，或此项技术中已知的任何其它形式的存储媒体中。示范性计算机可读存储媒体耦合到处理器，使得处理器可从计算机可读存储媒体读取信息，以及向计算机可读存储媒体写入信息。在替代方案中，存储媒体可集成到处理器。处理器和存储媒体可驻存于ASIC中。ASIC可以驻存在用户终端、相机或其它装置中。在替代方案中，处理器和存储媒体可作为离散组件驻存于用户终端、相机或其它装置中。

本文中包含数个标题，是为了参考和辅助定位各个部分。这些标题不欲限制关于其描述的概念的范围。此类概念可在整个说明书中都适用。

提供所揭示实施方案的先前描述以使得所属领域的技术人员能够作出或使用本文中所揭示的创新的实施例。所属领域的技术人员将易于了解对这些实施方案的各种修改，且本文中定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此，本发明所描述的实施例并不意在限于本文中所展示的实施方案，而是应被赋予与本文中所揭示的原理和新颖特征相一致的最广范围。

Claims (23)

1.一种确定使成像装置进行聚焦的方向的方法，其包括：

用成像装置俘获描绘场景的多个帧，所述多个帧由所述成像装置在第一镜头位置俘获；

确定至少一个帧的对应于对象的部分；

跟踪所述多个帧中的所述对象，其中跟踪所述对象为所述多个帧中的每一者提供所述对象的参考参数；

产生第一帧的参考参数与在所述第一帧之后俘获的每个帧的参考参数之间的多个差；

计算所述多个差的平均值；

基于所述平均值来确定聚焦方向；和

通过基于确定的聚焦方向使所述成像装置的镜头从所述第一镜头位置移动到第二镜头位置来起始聚焦操作,

其中确定所述聚焦方向进一步包括：

确定具有第一边界值和第二边界值的阈值；

将所述平均值与所述第一边界值和所述第二边界值进行比较；和

当所述平均值大于所述阈值的所述第一边界值或小于所述阈值的所述第二边界值时确定所述聚焦方向。

2.根据权利要求1所述的方法，其中所述确定至少一个帧的对应于对象的部分进一步包括：

显示所述多个帧中的至少一个帧；和

接收用户输入以选择所述所显示帧的对应于所述对象的部分。

3.根据权利要求1所述的方法，其中所述参考参数对应于所述对象相对于描绘所述对象所在的帧的大小。

4.根据权利要求3所述的方法，其中所述跟踪所述对象进一步包括：

检测所述第一帧中的所述对象的大小；和

检测在所述第一帧之后俘获的每个帧中的所述对象的大小。

5.根据权利要求1所述的方法，其进一步包括针对所述多个帧中的所述对象的每一描述确定围绕所述对象的限界矩形，其中每一帧的所述参考参数是基于所述限界矩形的尺寸。

6.根据权利要求5所述的方法，其中每一帧的所述参考参数是基于限界框的x尺寸、所述限界矩形的y尺寸或所述限界矩形的对角线中的一者。

7.根据权利要求1所述的方法，在完成先前聚焦操作之后，其进一步包括：

从所述先前聚焦操作识别所述多个帧的最后帧；

从所述先前聚焦操作确定所述最后帧的参考参数；和

将用于当前聚焦操作的所述第一帧的所述参考参数设置为来自所述先前聚焦操作的所述最后帧的所述参考参数。

8.根据权利要求1所述的方法，其进一步包括：

平滑化所述多个差；和

产生指示经平滑化的所述多个差的参考参数改变指示符。

9.根据权利要求8所述的方法，其中所述参考参数改变指示符指示当所述平均值相对于所述第一帧的所述参考参数增加时，所述对象正在靠近所述成像装置。

10.根据权利要求8所述的方法，其中所述参考参数改变指示符指示当所述平均值相对于所述第一帧的所述参考参数减小时，所述对象正在远离所述成像装置。

11.根据权利要求1所述的方法，其中所述第一边界值和所述第二边界值对应于所述对象相对于所述成像装置的位置。

12.根据权利要求1所述的方法，其中所述第一边界值和所述第二边界值是动态的并且经配置以针对单独的聚焦操作进行调整。

13.根据权利要求1所述的方法，其中当所述平均值相对于所述第一帧的所述参考参数增加并且所述平均值大于所述阈值的所述第一边界值时，确定所述聚焦方向为靠近的。

14.根据权利要求1所述的方法，其中当所述平均值相对于所述第一帧的所述参考参数减小并且所述平均值小于所述阈值的所述第二边界值时，确定所述聚焦方向为远离的。

15.根据权利要求1所述的方法，其中所述第一边界值对应于所述阈值的上边界值，且所述第二边界值对应于所述阈值的下边界值。

16.一种用于确定使成像装置进行聚焦的方向的设备，其包括：

镜头；

图像传感器，其经配置以俘获描绘场景的多个帧，所述多个帧由所述成像装置在第一镜头位置俘获；

存储器电路，其存储聚焦指令；

至少一个处理器，其可操作地耦合到所述图像传感器、镜头和所述存储器电路，并且被所述指令配置以至少：

确定至少一个帧的对应于对象的部分；

跟踪所述多个帧中的所述对象；

基于对所述多个帧的所述跟踪来为所述多个帧中的每一者确定所述对象的参考参数；

产生第一帧的参考参数与在所述第一帧之后俘获的每个帧的参考参数之间的多个差；

计算所述多个差的平均值；和

基于所述平均值来确定聚焦方向，并通过基于所述聚焦方向使所述镜头从所述第一镜头位置移动到第二镜头位置来起始聚焦操作,

其中所述至少一个处理器经配置以基于所述对象相对于所述成像装置的位置来确定具有第一边界值和第二边界值的阈值，将所述平均值与所述第一边界值和所述第二边界值进行比较，并且当所述平均值大于所述第一边界值或小于所述第二边界值时确定所述聚焦方向。

17.根据权利要求16所述的设备，其中所述至少一个处理器经配置以针对所述多个帧中的所述对象的每一描述确定围绕所述对象的关注区，其中每一帧的参考参数是基于所述关注区的至少一个尺寸。

18.根据权利要求16所述的设备，其中在先前聚焦操作完成之后，所述至少一个处理器进一步经配置以：

从所述先前操作识别所述多个帧的最后帧；

从所述先前聚焦操作确定所述最后帧的参考参数；和

将用于当前聚焦操作的所述第一帧的所述参考参数设置为来自所述先前聚焦操作的所述最后帧的所述参考参数。

19.根据权利要求16所述的设备，其中所述至少一个处理器经配置以平滑化所述多个差并产生指示经平滑化的所述多个差的参数改变指示符。

20.根据权利要求19所述的设备，其中参数改变指示符指示当所述平均值相对于所述第一帧的所述参考参数增加时，所述对象正在靠近所述成像装置。

21.根据权利要求19所述的设备，其中参数改变指示符指示当所述平均值相对于所述第一帧的所述参考参数减小时，所述对象正在远离所述成像装置。

22.一种用于确定使成像装置进行聚焦的方向的设备，其包括：

用于在第一镜头位置俘获描绘场景的多个帧的装置；

用于确定至少一个帧的对应于对象的部分的装置；

用于跟踪所述多个帧中的所述对象的装置；

用于基于对所述多个帧的所述跟踪来为所述多个帧中的每一者确定所述对象的参考参数的装置；

用于检测第一帧的参考参数与在所述第一帧之后俘获的每个帧的参考参数之间的多个差的装置；

用于计算所述多个差的平均值的装置；

用于基于所述平均值来确定聚焦方向的装置；和

用于通过基于所述聚焦方向使所述用于聚焦的装置从第一位置移动到第二位置来起始聚焦操作的装置,

其中用于基于所述平均值来确定聚焦方向的装置进一步包括：

用于确定具有第一边界值和第二边界值的阈值的装置；

用于将所述平均值与所述第一边界值和所述第二边界值进行比较的装置；和

用于当所述平均值大于所述阈值的所述第一边界值或小于所述阈值的所述第二边界值时确定所述聚焦方向的装置。

23.一种包括指令的非暂时性计算机可读媒体，所述指令在执行时致使处理器执行起始聚焦操作的方法，所述方法包括：

用成像装置在第一镜头位置俘获描绘场景的多个帧；

确定至少一个帧的对应于对象的部分；

跟踪所述多个帧中的所述对象，其中跟踪所述对象为所述多个帧中的每一者提供所述对象的参考参数；

产生第一帧的参考参数与在所述第一帧之后俘获的每个帧的参考参数之间的多个差；

计算所述多个差的平均值；

基于所述平均值来确定聚焦方向；和

通过基于所述聚焦方向使所述成像装置的镜头从所述第一镜头位置移动到第二镜头位置来起始聚焦操作，

其中确定所述聚焦方向进一步包括：

确定具有第一边界值和第二边界值的阈值；

将所述平均值与所述第一边界值和所述第二边界值进行比较；和

当所述平均值大于所述阈值的所述第一边界值或小于所述阈值的所述第二边界值时确定所述聚焦方向。