CN105493147A - 用于跟踪显示器上的对象的系统、装置及方法 - Google Patents

Abstract

本发明揭示用于电子装置的改进的跟踪的系统、装置及方法。本发明使用高级曝光补偿及/或稳定技术。可因此在电子装置中使用跟踪特征以在剧烈改变的光照条件下及/或当暴露于例如抖动等不稳定影响时改进跟踪性能。有利地使用与含有被跟踪对象的关注区的光照条件及/或移动相关的历史数据以在此类条件下改进跟踪系统。

Description

用于跟踪显示器上的对象的系统、装置及方法

技术领域

本发明大体上涉及跟踪由数字图像传感器俘获的对象的系统和方法。具体来说，揭示使用视频记录装置跟踪对象的系统和方法。

背景技术

随着廉价及较小的记录系统的出现，记录产业在增长。越来越多的人喜欢使用例如摄像机及移动装置等数字记录系统记录他们的环境中的对象。所述记录可用于多种应用中，例如用于专业人员使用、用于嬉戏及愉悦，或用于记录感情记忆。在记录的大量使用的情况下，需要这些记录装置的更多特征及能力。

数字记录系统可因此具有的特征中的一者是可跟踪其视野中的对象的跟踪系统。举例来说，其中的每一者的内容以全文并入本文中的美国专利第8,483,437号；第8,310,665号；第8,249,299号；第8,224,029号揭示用于跟踪对象的记录系统。然而，对于记录系统的一些使用，需要在剧烈改变的光照条件下稳定地跟踪所俘获的对象的能力。例如，用户可在运动选手从明亮区域到阴影区域跑动时跟踪英式足球运动选手。在此类条件下操作的常规的跟踪系统在他们的跟踪系统努力保持锁定从明亮区域移动到较暗区域的目标时可能没有最佳表现。举例来说，常规的自动曝光系统通常用于根据光照中的这些改变进行调整。然而，这些系统可能不响应于足够快速的光中的显著改变以维持锁定场景中的目标对象，并且因此可能并非最佳用于具有跟踪能力的记录系统。

此外，一些常规的跟踪系统可能难以区别被跟踪的项目的真实移动对实际上归因于系统中的噪声(例如来自记录装置的摇动)而引起的表观移动。

发明内容

揭示使用电子装置跟踪所关注场景中所俘获的对象的方法的实施例。在一些实施例中，所述方法包括：确定包括所述对象的第一图像帧的区中的像素的平均光强度；确定包括所述对象的第二图像帧的所述区中的像素的平均光强度；将所述第一和第二图像帧中的所述区的所述所确定的平均光强度进行比较；当所述区中的像素的平均光强度中的改变大于强度限值时，调整所述第二图像帧中的像素的强度；及使用所述第二图像帧中的所述像素跟踪所述对象。

在一些实施例中，所述调整包括将参考值界定为包括所述对象的所述第一图像帧的所述区中的像素的所述平均光强度。

在一些实施例中，所述区中的像素的所述平均光强度中的所述改变包括所述参考值与所述第二图像帧的所述区中的像素的所述平均光强度之间的差值。

在一些实施例中，所述调整包括从所述第二图像帧的每个像素减去所述差值。

在一些实施例中，所述方法进一步包括在所述差值小于强度限值的情况下周期性地将所述参考值重新界定为所述第二图像帧的所述区中的像素的所述平均光强度。

在一些实施例中，所述跟踪所述对象包括基于所述区的当前及历史参数而计算所述区的变化指示符。

在一些实施例中，所述跟踪所述对象进一步包括基于所述变化指示符与所述历史参数的比较而计算置信水平。

在一些实施例中，所述方法进一步包括当所述置信水平大于指定置信度阈值时将所述第二图像帧传递到所述跟踪系统。

在一些实施例中，所述当前及历史参数分别包括所述区的当前及历史大小。

在一些实施例中，所述当前及历史参数分别包括所述区的当前及历史位置。

揭示用于使用电子装置跟踪对象的系统的若干实施例。在一些实施例中，所述系统包括处理器，所述处理器经配置以：确定包括对象的第一图像帧的区中的像素的平均光强度；确定包括所述对象的第二图像帧的所述区中的像素的平均光强度；将所述第一和第二图像帧中的所述区的所述所确定的平均光强度进行比较；当所述区中的像素的平均光强度中的改变大于强度限值时，调整所述第二图像帧中的像素的强度；及使用所述第二图像帧中的所述像素跟踪所述对象。

在一些实施例中，所述调整包括将参考值界定为包括所述对象的所述第一图像帧的所述区中的像素的所述平均光强度，其中所述区中的像素的所述平均光强度中的所述改变包括所述参考值与所述第二图像帧的所述区中的像素的所述平均光强度之间的差值。

在一些实施例中，所述调整进一步包括从所述第二图像帧的每个像素减去所述差值。

在一些实施例中，所述处理器进一步经配置以在所述差值小于强度限值的情况下周期性地将所述参考值重新界定为所述第二图像帧的所述区中的像素的所述平均光强度。

在一些实施例中，所述跟踪所述对象包括基于所述区的当前大小及位置及所述区的历史大小及位置而计算所述区的变化指示符。

在一些实施例中，所述跟踪所述对象进一步包括基于所述变化指示符与所述区的历史大小及位置的比较而计算置信水平。

在一些实施例中，所述系统进一步包括当所述置信水平大于指定置信度阈值时将所述第二图像帧传递到所述跟踪系统。

在一些实施例中，一种用于使用电子装置跟踪对象的系统包括：用于确定包括所述对象的第一图像帧的区中的像素的平均光强度的装置；用于确定包括所述对象的第二图像帧的所述区中的像素的平均光强度的装置；用于将所述第一和第二图像帧中的所述区的所述所确定的平均光强度进行比较的装置；用于当所述区中的像素的平均光强度中的改变大于强度限值时调整所述第二图像帧中的像素的强度的装置；及用于使用所述第二图像帧中的所述像素跟踪所述对象的装置。

在一些实施例中，所述用于调整的装置包括将参考值界定为包括所述对象的所述第一图像帧的所述区中的像素的所述平均光强度，其中所述区中的像素的所述平均光强度中的所述改变包括所述参考值与所述第二图像帧的所述区中的像素的所述平均光强度之间的差值。

在一些实施例中，所述用于调整的装置进一步包括用于从所述第二图像帧的每个像素减去所述差值的装置。

在一些实施例中，所述系统进一步包括用于在所述差值小于强度限值的情况下周期性地将所述参考值重新界定为所述第二图像帧的所述区中的像素的所述平均光强度的装置。

在一些实施例中，所述用于跟踪所述对象的装置包括用于基于所述区的当前大小及位置及所述区的历史大小及位置而计算所述区的变化指示符的装置。

在一些实施例中，所述用于跟踪所述对象的装置进一步包括用于基于所述变化指示符与所述区的历史大小及位置的比较而计算置信水平的装置；及用于当所述置信水平大于指定置信度阈值时将所述第二图像帧传递到所述跟踪系统的装置。

揭示经配置以存储指令的非暂时性计算机可读媒体的若干实施例，所述指令在由处理器执行时执行用于使用电子装置跟踪对象的方法。在一些实施例中，所述方法包括：确定包括对象的第一图像帧的区中的像素的平均光强度；确定包括所述对象的第二图像帧的所述区中的像素的平均光强度；将所述第一和第二图像帧中的所述区的所述所确定的平均光强度进行比较；当所述区中的像素的平均光强度中的改变大于强度限值时，调整所述第二图像帧中的像素的强度；及使用所述第二图像帧中的所述像素跟踪所述对象。

在一些实施例中，所述计算机可读媒体的所述方法进一步包括将参考值界定为等于包括所述对象的所述第一图像帧的所述区中的像素的所述平均光强度，其中所述区中的像素的所述平均光强度中的所述改变包括所述参考值与所述第二图像帧的所述区中的像素的所述平均光强度之间的差值。

在一些实施例中，所述计算机可读媒体的所述方法进一步包括从所述第二图像帧的每个像素减去所述差值。

在一些实施例中，所述计算机可读媒体的所述方法进一步包括在所述差值小于强度限值的情况下周期性地将所述参考值重新界定为所述第二图像帧的所述区中的像素的所述平均光强度。

在一些实施例中，所述计算机可读媒体的所述方法进一步包括基于所述区的当前大小及位置及所述区的历史大小及位置而计算所述区的变化指示符。

在一些实施例中，所述计算机可读媒体的所述方法进一步包括基于所述变化指示符与所述区的历史大小及位置的比较而计算置信水平；及当所述置信水平大于指定置信度阈值时将所述第二图像帧传递到所述跟踪系统。

附图说明

通过以下描述和所附权利要求书结合附图理解，本发明的前述和其它特征将变得更加完全清楚。应理解，这些图式只描绘了根据本发明的几个实施例，并且因此不应被视为限制了本发明的范围，将通过使用这些附图用额外的特性和细节来描述本发明。在以下详细描述中参考附图，附图形成本文的一部分。在图中，相似的符号通常识别相似的组件，除非上下文另外规定。在详细描述、图式以及权利要求书中所描述的说明性实施方案并不有意作为限制性的。在不脱离本文呈现的主题的精神或范围的情况下，可以利用其它实施例，并且可以作出其它改动。将容易了解的是，如本文中所一般描述且在图中说明的本发明的各方面可以广泛多种不同配置来布置、取代、组合和设计，所有广泛多种不同配置明确被预期并构成本发明的部分。

图1描绘常规的自动曝光过程及由此产生的所得图像帧的实施例。

图2描绘补偿曝光过程及由此产生的所得图像帧的实施例。

图3A到3B描绘由具有拥有曝光补偿及稳定的跟踪系统的记录装置产生的图像帧的实施例。

图4A到4B是展示改变光照强度水平及对应的补偿强度水平及参考值中的改变的实施例的图表。

图5描绘包括具有用于管理曝光补偿及稳定的模块的跟踪系统的记录装置的框图。

图6是用图解法表示用于初始化关注区的参考值及参数的方法的一个实施例的流程图。

图7是用图解法表示用于曝光补偿及稳定的方法的概述的一个实施例的流程图。

图8是展示用于使用参考值及变化指示符进行曝光补偿及稳定的方法的一个实施例的流程图。

图9是展示用于确定变化指示符及置信水平的计算工具的结果的一个实施例的坐标图。

图10A到H是展示使用计算工具确定增益值的结果的一个实施例的线图。

具体实施方式

以下详细描述是针对如参考图1到7所描述的研发的某些特定实施例。在此描述中，参考图式，为了清楚起见，贯穿图式可以类似标号指示类似部分或步骤。本说明书中提及“一个实施例”、“实施例”或“在一些实施例中”意指结合实施例描述的特定特征、结构或特性包含于本发明的至少一个实施例中。在说明书中的各处出现的短语“一个实施例”、“实施例”或“在一些实施例中”未必全部参考同一实施例，也并非相互排斥其它实施例的单独的或替代的实施例。此外，描述了各种特征，这些特征可以通过一些实施例而不通过其它实施例呈现。类似地，描述了各种要求，这些要求可以是对于一些实施例的要求但不是对于其它实施例的要求。

描述用于跟踪由数字成像装置俘获的所关注场景中的对象的系统、装置及方法。例如，可希望在玩游戏时跟踪体育事件中的一个特定运动选手。其允许系统比现场或球场上的其它运动选手更紧密地记录所述特定运动选手的移动。在一个实施例中，通过使用曝光补偿及稳定技术增强所述系统的跟踪特征以维持对所关注对象的跟踪锁定。例如，一个实施例使用基于将历史图像数据与更当前的图像数据进行比较以保持对指定对象的跟踪锁定的曝光补偿及稳定技术。因此增强数码相机跟踪所关注对象的能力。曝光补偿可减轻改变的光照条件对跟踪系统的不利影响，所述改变的光照条件可导致跟踪系统丢失被跟踪的对象。

在一个实施例中，所述数字成像装置包含经配置以减轻抖动、摇动、滞后及其它不利因素对其跟踪系统的影响的图像稳定模块。此允许所述装置在使用应用于经加权过滤器的置信水平的同时更准确地识别实际对象移动。找到这些系统及相关联的方法以产生用于数字成像装置的更平滑、更可靠的跟踪系统。

在操作中，数字成像系统的实施例具有图像俘获系统，所述图像俘获系统包含图像传感器及透镜以形成数码相机。在一个实施例中，随时间针对关注区中的光的平均强度对相机的视野进行取样。另外，所述系统可确定被跟踪的对象的大小、位置及定向。所俘获的光数据的平均强度随后可用于补偿所关注的被跟踪对象中的曝光改变，而由成像传感器随时间俘获的移动信息可用于稳定图像以允许更准确地跟踪所关注对象。

在一个实施例中，所述数字成像系统经配置以确定所俘获的帧是否应首先以某一方式被调节，之后发送到集成跟踪系统。在作出此确定的过程中，将来自当前图像帧的光数据与来自较早图像帧的历史光数据进行比较。所述光数据可为所俘获图像帧的视野中的关注区上的平均像素值。如果检测到超出指定阈值的光照条件中的显著改变，那么所述历史光数据可被界定为将在光照条件改变时使用的“参考值”。在显著光照改变的周期期间，基于较早图像帧的参考值补偿每一新俘获的图像帧。在一个实施例中，通过取得参考值与所述帧的光照条件之间的差值且从整个图像减去所述差值而使用所述参考值补偿所俘获的帧。此经更新的图像随后被传输到跟踪系统以用于处理。只要光照条件中的显著改变随时间继续，此补偿便继续。当光照条件不剧烈改变时，可将不变或略微改变的图像帧传递到跟踪系统上，且参考值在此时间期间周期性地更新以准备下一剧烈光照条件。

在另一实施例中，将关注区中的对象的历史移动数据与更当前的移动数据进行比较以确定被跟踪的对象是否已实际上移动或是否存在相机摇动或抖动。通过比较两组移动数据，计算对象的移动的量值及方向。为确定所计算的量值及方向是实际移动还是仅为抖动，应用置信水平，借此仅高于某一置信度阈值的那些移动致使系统在所述方向上跟踪。此外，还应用过滤器加权或增益，其结合历史移动数据增强辨别对象的真实移动的能力且减小典型跟踪算法的滞后影响。

在一些实施例中，所述系统将首先应用曝光补偿且随后应用稳定。因此，将首先评估光数据以便将恰当光照的图像帧传输到跟踪系统。随后，将在恰当光照的图像帧中分析移动数据以辨别所述移动是抖动还是被跟踪对象的实际移动。

现在转向图1，展示常规的自动曝光过程50及由此产生的所得的图像帧。所述过程可开始于正常光条件100。在此光照条件下，可出现输入到装置以用于与跟踪系统一起使用的图像，如同在图像110中一样。接下来，可出现光条件改变120，借此光照更亮。因此，被记录的项目经受亮光条件101。此导致所述图像被曝光过度而具有降级的图像质量，如饱和图像111中所展示。

在稍后时间仍存在亮光条件101以作为持续的亮光条件102。装置(例如相机)可使用其自动曝光以调整到亮光条件。所述自动曝光随后在十个或更多帧之后缓慢起作用，且用于跟踪的图像仍具降级的质量，如图像112中所描绘。在稍后时间点，亮光条件102现在是亮光条件103且自动曝光在大约十五个帧之后工作，且用于跟踪的图像具有更好的质量，如图像113中所描绘。

接下来，可出现时间点121处的光条件改变，借此光照比在亮光条件103处变得更暗。所述改变可回到先前的正常光照条件100，如从亮光条件104回到正常光条件的改变所展示。此时，图像可能曝光不足且用于跟踪的图像因此具有降级的质量且可如变暗图像114中所描绘。在稍后时间点，在正常光条件105下，自动曝光可在大约十五个帧之后工作且用于跟踪系统的图像可具有更好的质量，如图像115中所展示。如所展示，在光照中的剧烈改变出现时用于随时间俘获图像的此常规的过程对改变的照明条件极其缓慢地反应。

与图1的过程相比，图2描绘补偿曝光过程及由此产生的所得图像帧的实施例。展示可在一些实施例中相对于原始图像出现的补偿图像。在一些实施例中，图像输入到跟踪系统。图2的左边的列展示在不具有曝光补偿的情况下出现的图像的实施例，而右边的列展示可输入到跟踪系统的补偿图像。

可使用本文中揭示的装置及方法产生图2的右边列的补偿图像。例如，在正常光条件下用于跟踪器的原始图像输入可作为图像200出现。通过使用曝光补偿方法或装置，在正常光条件下的对应补偿图像可作为图像202出现。在光照条件对于原始图像200是正常时，补偿图像202可显得与原始图像200相同或类似。

然而，在亮光条件下，原始图像可如图像204中所描绘而出现。在自动曝光的情况下，图像204中的亮光条件可能未被足够调整以在此些条件下可靠地跟踪项目。补偿图像可提高跟踪器能力。补偿图像206可输入到跟踪系统且产生更可靠的跟踪。在光改变回到正常条件时，原始图像可如图像208中所描绘而出现。此原始图像208对于跟踪系统来说次于最佳。因此，补偿图像210可用作用于跟踪系统的更好的输入图像。

图2中展示的图像是一些图像帧可如何出现的实施例。其它图像帧可不同地出现。仅为了说明的目的而展示所述图像。具有更亮或更暗外观或具有其它变化的属性的其它图像可以用于本文中揭示的方法和系统中且在本发明的范围内。

图3A到3B描绘由具有拥有曝光补偿及稳定的跟踪系统的记录装置产生的图像帧300、302的实施例。图3A中的帧300描绘光照条件320中的被跟踪对象305，例如飞行的鸟。光照条件320与如图3B中所展示的也在光照条件320中跟踪对象305的帧302相比可较亮或较暗。帧300、302描绘具有光照强度315的关注区310内部的被跟踪对象305。图3B中的区310内部的强度比图3A中的区310更亮，因为帧302中的被跟踪的对象现在更接近亮光源太阳。在区310外部，帧300具有光照强度320，其可与区310内部的强度315相同或不同。

图3A描绘在一时刻在第一位置中的被跟踪对象305，而图3B描绘在稍后时刻在不同位置及/或定向中的相同被跟踪对象305。如本文所使用的“位置”及/或“定向”可指对象305在帧300的平面中及/或进入及/或离开帧300的平面的仅移动或平移。位置及定向还可指对象305的旋转或其它移动。对象305的任何可想象的移动(包含振动移动及/或平滑移动)在本发明的范围内且可通过例如位置、定向、定位、坐标及类似者等此类术语表示。此外，此移动涉及对象305与产生帧300的装置之间的相对移动。举例来说，在一些实施例中，所述装置可静止，而对象305移动。在一些实施例中，所述装置可移动，而对象305静止。在一些实施例中，所述装置及对象305两者都可移动。此外，此移动可归因于记录装置的缩放特征。例如，对象305可分别归因于对象305上的缩小或放大而在帧300内显得移动得更远离或更靠近。预期移动的任何组合或产生帧300、302且导致对象305相对于记录装置的表观相对运动的记录装置的特征。

在图3A中，已经界定俘获被跟踪对象305的关注区310。如本文中例如相对于图6及10A到10H更详细地论述，可通过选择要跟踪的对象305而自动或手动地界定关注区310。如图3A中所展示，区310使用具有宽度及高度的矩形状方框包围对象305。在优选实施例中，区310以一方式俘获对象305，使得允许在对象305移动时维持对象305在区310内部。举例来说，区310可被设定大小以使得其俘获对象305并且还提供围绕对象305的额外边界以确保对区310中的对象305的完全俘获。因此，在一些实施例中，区310可完全包含对象305，如所示。此外，在一些实施例中，区310可部分俘获对象305，例如，在对象305正在移动且区310响应于对象305的移动时。

在仍其它实施例中，区310可俘获帧300的比所展示的区域更大的区域。例如，区310可归因于更大的指定边界而更大以便确保俘获对象305。“边界”在此处是指其常见及普通的意义，包含所述区的超过仅俘获对象305所必需的区的额外放大。举例来说，区310可为矩形且基于如所示的对象305的宽度而被设定大小。区310还可基于对象305的高度而被设定大小。俘获对象305的区310的其它实施例及配置(虽然在本文中未明确阐述或展示)在本发明的范围内。举例来说，预期多于或少于四边的区310，例如圆形、三角形或其它多边形。此外，区310可例如通过具有与对象305相同或类似的形状或轮廓而符合被跟踪的对象305的形状。

参看图3B，帧302展示在对象305在太阳(亮光源)附近时对象305被关注区310跟踪。如所展示，对象305现在更靠近太阳且因此在更亮的区域中。因此，区310内部的强度在帧302中与帧300相比更亮。帧300、302中的光照强度中的其它改变是可能的。举例来说，光照条件320可在帧302中与帧300相比更亮。图3B的相对更亮的光照条件320可归因于若干因素，包含例如环境光照中的改变。光照320中的改变可归因于(例如)记录装置从较亮位置移动到较暗位置、环境中的改变(例如引入云层或落山的太阳)、移除更亮的光源(例如太阳或其它光源)、遮住记录装置、将记录装置或对象305从暗建筑物内部移动到白天外部等。

虽然如此处所论述的区310内部的强度及/或光照条件320可随时间从较暗条件移动到较亮条件，但预期光照改变中的其它变化。在一些实施例中，区310内部的强度及/或光照条件320可从较亮改变为较暗。在一些实施例中，区310内部的强度及/或光照条件320可从较暗到较亮到较暗改变，或从较亮到较暗到较亮改变等。预期区310内部的改变的强度及/或光照条件320中的其它变化(即使未明确阐述或展示)且在本发明的范围内。

如图3B中所展示的关注区310完全俘获对象305。对象305已如所示从左到右从帧300移动到帧302。此移动可归因于对象305及/或记录装置的移动，及/或装置的缩放特征，或其任何组合。此外，如图3B的帧302中所展示的对象305及区310相对于如图3A的帧300中所展示的对象305及区310较小。如所提到，此可归因于对象305移动更远离记录装置，及/或记录装置移动更远离对象305，及/或记录装置缩小对象305，及/或本文中论述的其它移动，或其任何组合。

在一些实施例中，关注区310可在其跟踪对象305时自动改变大小和/或形状。举例来说，如图3B中所展示的区310是相对于图3A具有减小的宽度及高度尺寸的矩形。图3B的区310具有相对较小的宽度及高度且大小的其它改变也是可能的，例如更大的宽度及高度。在一些实施例中，在区310跟踪对象305时，区310还可在形状上变化。举例来说，所述区可变形或以其它方式更改其形状以在对象305如帧300中所观看而改变形状时与被跟踪的对象305一致。此可归因于对象305实际上在现实中改变形状或其可仅通过帧300、302如此观看，例如在对象305相对于记录装置旋转的情况下。区310的其它形状也是可能的，例如上文所论述的形状。

此外，区310的位置或大小从一个帧300到另一帧302的改变可具有不同的量。例如，区310可从一个帧到另一帧略微改变，或区310可剧烈地改变，或在其间的任何量，或完全不改变。因此，区310的改变可处于不同的量。可通过基于这些改变计算变化指示符而进行对区310的大小、位置等中的改变的量的确定，如本文中例如相对于图6及10A到10H更详细地论述。

在区310跟踪对象305时区310在位置、大小、形状中及/或任何其它属性中的改变可被记录及/或用作历史区数据或参数。如本文中例如相对于图7及10A到10H更详细地论述，此数据可在依序揭示的跟踪方法的一些实施例中使用以稳定跟踪系统。

此外，对区310的任何单一属性(例如位置)中的改变的任何参考在其意义中包含区310的任何其它属性(例如大小或形状)的改变。因此，举例来说，虽然可在本发明中参考区310的“位置”中的改变，但应理解，此语言还包含区310的大小、形状、定向及/或任何其它属性中的改变。

虽然对象305可从图3A到3B保持在帧300、302内，但在一些实施例中，其还可在帧300之后留下且在帧302中返回。在一些实施例中，帧300及302可不连续，而是可相隔大量时间。在一些实施例中，本文中揭示的跟踪系统及方法可辨识出当对象305返回到记录装置的视野时的对象305。因此，当对象305可见时可在帧300中跟踪对象305，随后在其不可见时在帧300及302之间不对其跟踪，且随后当其再次可见时在帧302中再次跟踪。对象305可因为其离开记录装置的视野或出于任何其它原因而不可见，例如其可能被图像帧中的另一对象遮挡。

如图3A及3B中所展示，区310内部的光照强度被称作光照强度315。在一些实施例中，此强度315是区310中所俘获的平均光照强度。举例来说，区310中的所有或大多数像素的强度可被确定且随后平均。在一些实施例中，光照强度315可为来自区310内部的少于大多数像素的取样的平均值。在一些实施例中，光照强度315可为仅取样而不执行任何平均或其它计算。在其它实施例中，光照强度315可为除对区310中的所有、大多数或一些像素执行的平均之外的某一其它计算，其指示区310中的光照强度。区310中所俘获的像素的其它样本大小及其它计算可被执行且可表示为光照强度315。这些仅是一些操作及样本大小，但其它操作及样本大小也在本发明的范围内。本文例如相对于图6到8描述此些计算的一些实施例的进一步细节。

如图3A到3B中所展示，被跟踪对象305已从图3A中的在帧300中的相对较暗的位置移动到图3B中的帧302的相对较亮位置。图3A中的区310内部的光照强度315因此与图3B中的区310内部的光照强度315相比较暗。如所展示，这归因于环境光照条件320中的改变，因为图3B中的对象现在更靠近太阳的视线。然而，如上文所论述，区310内部的光照强度315的改变可归因于多种其它因素，例如将记录装置从较暗室内移动到较亮室外等。

此外，从一个帧300到另一帧的光照强度315中的此改变可具有不同的量。例如，光照强度315可从一个帧到另一帧略微改变，或光照强度315可剧烈地改变。此后一情形(即，光照强度315的剧烈的改变)可在本文中以多个方式提及，其全部表示相同的想法。举例来说，光照强度315中的此“剧烈”改变可被称为主要、极大、很大、严重、强烈、大、异常等。类似地，不剧烈的改变可在本文中以各种方式被称为例如微量、小、不显著、轻微、极少、正常等。可通过将光照强度315中的改变与强度限值进行比较而进行光照强度315中的改变是大还是小的确定，如本文中例如相对于图6到8更详细地论述。

本文中揭示的跟踪系统、装置及方法解决了光照条件320及/或光照强度315的无论剧烈或以其它方式的前述改变，及关注区310的前述改变。光照强度中的此些改变部分通过当前图像帧的光照强度水平的曝光补偿来解决。图4A是展示改变的光照强度水平与对应的补偿强度水平的实施例的图表。图4B是展示可以用于补偿装置及方法中的参考值如何相对于图4A中展示的改变的光照强度水平而改变的实施例的图表。本文中例如相对于图6到8更详细地论述如何通过使用参考值实现补偿强度的细节，而图4A到4B展示这些值可如何响应于改变的光照条件而改变。所展示的值是本发明的实施例的示范且不打算提供定量要求。替代地，图4A到4B中展示的值用于描述它们之间的代表性定性关系，如现将论述。

图4A到4B因此描绘补偿强度水平及参考值可如何在改变的原始光照条件下改变。具体来说，图4A描绘原始强度水平(举例来说，从图3A到3B的光照强度315)及补偿强度水平可如何改变。图4A中的垂直轴线可为强度值且水平轴线可为时间或随时间测得的帧。图4B描绘参考值可如何改变。图4B中的垂直轴线可为参考值的强度且水平轴线可为时间或随时间测得的帧。

此外，图4A及4B的水平轴可对准，使得来自图4A的给定帧或时间点对应于图4B中的相同帧或时间点。举例来说，图4A的水平轴线含有开始于值“0”且结束于“250”的标记。同样，图4B的水平轴线含有开始于值“0”且结束于“250”的标记。图4A和4B的水平轴上的这些标记表示相同的帧或时间点。

在图4A中，例如在406处通过虚线展示原始强度水平。例如在405处通过实线展示补偿强度水平。图4B描绘参考值可如何对应地改变且例如通过线400展示。例如，参考值可起初等于原始强度水平。随后，如图4A到4B中所展示，在其中强度不剧烈地改变的正常光照条件下，且如本文中相对于图8更详细地所论述，参考值可周期性地更新以随着原始强度水平改变而匹配原始强度水平。在图4B中识别的周期426上展示此周期性更新周期，其对应于图4A中标示的第一“正常光”条件。在此时间期间，如图4A中所见，原始强度水平不剧烈地改变。因此，补偿强度水平具有与原始强度水平类似的值，如通过例如图4A中的位置402所示。参考值周期性地更新，但仅准备用于光照中非剧烈改变。因为周期426中法光不剧烈地改变，所以参考值不用于补偿强度且因此补偿强度水平类似于原始强度水平。因此，补偿强度水平随时间保持相对平坦且与原始强度水平一致。

在正常光的周期426之后，光照条件随后可剧烈地改变。在第一亮光条件下，例如在图4A上的位置404处，所展示的改变是剧烈的。原始光强度可从404剧烈地跳跃，如由位置406所示。图4B描绘光在周期428处的此剧烈改变周期。参考值可随后停止周期性地更新，如由通过周期428标示的位置上的平坦线400所示。一旦参考值400停止周期性地更新，随后补偿强度水平如图4A中在405处所展示，因为图像使用参考值经过补偿。原始强度水平被如408处所示的自动曝光影响，但跟踪系统未充分响应。

光照条件可随后改变回到正常光照条件且原始强度水平可下降到410处展示的值。此可导致补偿水平中的轻微改变，如410处所示。这归因于用于曝光补偿系统中的特定时序及阈值水平。所述轻微改变可为负的，如所展示，或为正的。原始强度水平现在在412处，而补偿强度水平归因于参考值而在411处，如图4B中所描绘，保持恒定。

另一亮光条件可例如在图4A上的位置414处后继，且改变再次可为剧烈的。原始光强度可从414剧烈地跳跃，如例如由位置416所展示。图4B描绘光在周期428处的此剧烈改变周期。参考值可仍不周期性地更新，如由周期428上的线400所示。一旦参考值400停止周期性地更新，随后补偿强度水平如图4A中在415处所展示，因为图像使用参考值经过补偿。原始强度水平被如418处所示的自动曝光影响，但对于跟踪系统并不充分。

光照条件可随后改变回到正常光照条件且原始强度水平可下降到420处展示的值。此可导致补偿水平中的轻微改变，如420处所示。这归因于用于曝光补偿系统中的特定时序及阈值水平。所述轻微改变可为正的，如所展示，或为负的。原始强度水平现在在422处，而补偿强度水平归因于参考值而在421处，如图4B中所描绘，保持恒定。

另一正常光条件可后继，且原始强度水平可增加到图4A中在424处展示的水平。在424处，光照条件中不存在更剧烈的改变，且因此参考值可开始再次周期性地更新，如图4B中在430处所展示。补偿强度水平可如图4A中在424处所示。

上文所论述的在原始强度水平、补偿强度水平及参考值之间的归因于改变的光照条件的关系仅是示范性的。这些值中的其它变化是可能的且在本发明的范围内。举例来说，虽然已经论述涉及更亮光照的剧烈光照条件，但应理解，还预期涉及较暗光照的剧烈光照条件。相对于图4使用剧烈更亮的光照是仅用于说明的目的，且不限制本发明的范围。光照中的这些各种改变可被补偿，且光照与参考值之间的这些各种关系可用于多种装置及跟踪系统中。现将描述一个此类装置。

图5描绘包括具有曝光补偿及稳定的跟踪系统的数字成像装置500的框图。装置500具有一组组件，其包含连接到成像传感器515的处理器520。工作存储器505、存储装置510、电子显示器525及存储器530也与处理器520通信。

装置500可为手机、数码相机、个人数字助理、平板计算机或具有至少一个成像传感器的类似设备。装置500还可为更静止的装置，例如桌上型个人计算机、视频会议台或类似者。多个应用可为可由用户在装置500上使用的。这些应用可包含传统的摄影应用、高动态范围成像、全景视频或例如3D图像或3D视频等立体成像。

处理器520可为通用处理单元或专门针对成像应用设计的处理器。如所展示，处理器520连接到存储器530及工作存储器505。在所说明的实施例中，存储器530存储成像传感器控制模块535、所关注对象检测模块540、触摸屏输入模块555、设定管理模块560、窗口显示模块570、预览控制模块575、操作系统580、光测量模块585及跟踪模块590。这些模块包含配置处理器以执行各种图像处理及装置管理任务的指令。工作存储器505可由处理器520使用以存储存储器530的模块中含有的一组工作的处理器指令。或者，工作存储器505还可由处理器520使用以存储在装置500的操作期间产生的动态数据。

如上文所提及，处理器由存储在存储器中的若干模块来配置。成像传感器控制模块535包含配置处理器520以调整成像传感器515的焦点位置的指令。成像传感器控制模块535还包含配置处理器520以使用成像传感器515俘获图像的指令。因此，处理器520与图像俘获控制模块535、成像传感器515及工作存储器505一起表示一个用于使用成像传感器俘获图像的装置。所关注对象检测模块540提供配置处理器520以检测由成像传感器515所俘获的图像中的所关注对象的指令。在一些实施例中，所关注对象可为被跟踪对象。触摸屏输入模块555可包含配置处理器520以从例如显示器525等触摸屏显示器接收触摸输入的指令。设定管理模块560可包含用以管理装置500的各种参数设定的指令。例如，与预览窗口的配置相关的参数可由模块560管理。窗口显示模块570可包含用以管理在装置500内的显示器525上所产生的预览窗口内的数据的布局的指令。例如，所述预览窗口可包含其内的一个以上图像“窗口”。一些“窗口”可在不同尺度下显示数据。窗口显示模块570内的指令可配置处理器将与这些子窗口中的每一者相关的数据翻译为用于显示器525的显示命令。

预览控制模块575包含配置处理器以根据本文中所描述的方法在电子显示器525上显示器预览窗口的指令。例如，预览控制模块575可包含调用成像控制模块535中的子例程以便配置处理器520使用成像传感器515俘获第一图像的指令。预览控制模块575随后可调用所关注对象检测模块540以检测由成像传感器515所俘获的第一图像中的所关注对象。预览控制模块中的指令可随后调用设定管理模块560以确定操作者已如何配置预览窗口在显示器525上显示。此信息可提供到窗口显示模块570，以便使用由成像传感器515俘获的图像数据及由所关注对象检测模块540确定的所关注对象信息如所配置来布局预览窗口。窗口显示模块570可调用操作系统580中的指令来控制显示器且致使所述显示器在电子显示器525上显示适当的预览窗口配置。

操作系统模块580配置处理器以管理装置500的存储器及处理资源。举例来说，操作系统模块580可包含用以管理例如电子显示器525、存储装置510或成像传感器515等硬件资源的装置驱动器。因此，在一些实施例中，上文所讨论的预览图像处理模块中含有的指令可不直接与这些硬件资源交互，而是替代地通过标准子例程或位于操作系统组件580中的API进行交互。操作系统580内的指令随后可直接与这些硬件组件交互。

处理器520可将数据写入到存储模块510。虽然存储模块510以图形方式表示为传统的磁盘装置，但是所属领域的技术人员将了解，多个实施例可以包含基于磁盘的存储装置或若干其它类型的存储媒体中的一者以包含存储器磁盘、USB驱动器、快闪驱动器、远程连接的存储媒体、虚拟磁盘驱动器或类似者。

虽然图5描绘了包括分开的组件以包含处理器、成像传感器和存储器的装置，但是所属领域的技术人员将认识到，这些分开的组件可以用多种方式组合以便实现特定的设计目标。举例来说，在替代实施例中，存储器组件可与处理器组件组合以节省成本且改进性能。

另外，虽然图5说明两个存储器组件，以包含包括若干模块的存储器组件530及包括工作存储器的单独的存储器505，但所属领域的技术人员将认识到利用不同存储器架构的若干实施例。例如，一设计可利用ROM或静态RAM存储器用于实施存储器530中含有的模块的处理器指令的存储。或者，处理器指令可在系统启动时从磁盘存储装置读取，所述磁盘存储装置集成到装置500中或经由外部装置端口连接。然后，可将处理器指令加载到RAM中，以便于由处理器执行。例如，工作存储器505可以是RAM存储器，其中指令在由处理器520执行之前被加载到工作存储器505中。

一些装置500可具有曝光补偿及稳定能力。此允许装置500在项目相对于装置500的视野以稳定方式移动时跟踪所述项目且补偿光照条件中的剧烈改变。在一些实施例中，为了这些目的，装置500可包含光测量模块585及跟踪模块590。

跟踪模块590包含配置处理器以根据本文中所描述的方法在电子显示器525上跟踪预览窗口中的对象的指令。例如，跟踪模块590可包含调用成像控制模块535中的子例程以便配置处理器520使用成像传感器515来俘获第一图像的指令。跟踪模块590可随后调用所关注对象检测模块540以检测且随后跟踪由成像传感器515俘获的第一图像中的所关注对象。预览控制模块575中的指令可随后调用设定管理模块560以确定操作者已如何例如针对关注区配置预览窗口以在显示器525上显示。此信息可提供到窗口显示模块570，以便使用由成像传感器515俘获的图像数据及由所关注对象检测模块540确定的所关注对象信息如所配置来布局关注区。窗口显示模块570可调用操作系统580中的指令来控制显示器且致使所述显示器在电子显示器525上显示适当的预览窗口配置。

装置500可以各种方式实施补偿。举例来说，图像500或504或508可所述成像传感器515感测且被传送到处理器520。举例来说，成像传感器控制模块535或所关注对象检测模块540可分析被跟踪的关注区中的平均光照强度以计算参考值405。使用所述参考值执行的操作(例如从当前亮光条件强度值减去所述参考值)可由操作系统580或处理器520执行。数据可存储在工作存储器505或存储模块510中。所述数据还可输入到窗口显示模块570或预览控制模块575中的跟踪系统。这些模块可将补偿图像502或506或510输入到装置500的那些或任何其它模块中的跟踪系统。

在一些实施例中，光测量模块585可用于补偿剧烈的光照条件。模块585包含配置处理器以根据本文中所描述的方法测量电子显示器525上及/或关注区中的光强度的指令。例如，光测量模块585可包含调用成像控制模块535中的子例程以便配置处理器520例如通过使用成像传感器515分析第一图像帧的指令。光测量模块585可随后调用所关注对象检测模块540以检测由成像传感器515俘获的第一图像(例如关注区)中的所关注对象。模块585或540可随后例如通过比较来自不同图像帧的光照强度水平而分析关注区中或图像帧中其它地方的光的强度。光测量模块585可进一步经配置以使用此分析的结果来更改整个图像帧的光照强度。举例来说，光测量模块585可调用设定管理模块560或预览控制模块575减去强度水平或将强度水平添加到图像帧以便补偿光照条件中的剧烈改变。这些或其它模块可进一步包含配置处理器以将图像帧发送到跟踪系统的指令。此外，可对其它图像帧执行这些或类似操作以便执行本文中揭示的补偿方法。

可实施操作的许多其它变化及用于实行所述操作的模块。此外，所述模块中的功能中的任一者可由各种模块执行且无需限于用于一个能力的仅一个模块。针对各种模块叙述的功能性不是能够实行前述功能的唯一模块或组件，而是仅列举出来以作为可如何实施所揭示的特征的实例。

本文中揭示的系统及装置可使用多种补偿及稳定方法。图6到8是用于跟踪的曝光补偿及稳定的方法的不同实施例的流程图，而图9及10A到10H展示可用于这些方法的一些实施例的一些步骤中的计算工具的细节。

参看图6，展示初始化跟踪系统的某些实施例的方法600的实施例。方法600可开始于步骤610，其中接收对将被跟踪的对象的选择。在一些实施例中，手动地进行选择。例如，用户可从图像帧300选择要跟踪的对象305。在一实施方案中，帧300在触摸屏上显示且用户触摸屏幕的其中定位着对象305的区域。在一些实施例中，给出将被跟踪的对象305的确认。

随后可在步骤620中界定关注区310。区310可在显示器125上环绕对象305。在一些实施例中，区310的界定可为自动的。举例来说，可在第一实例中例如通过以下操作自动辨识对象305：分析视野中的对象；将它们与预先指定的对象描述进行比较；及辨识匹配那些描述的对象。在一些实施例中，在对象305离开及随后返回到记录装置的视野且再次在帧300中展示之后自动辨识对象305。

此外，对于步骤620，可使用各种形状及/或大小界定区310。在一些实施例中，可基于对象305的特性(例如对象305的形状、大小、移动或其它属性)自动产生这些形状及/或大小。在一些实施例中，可由用户指定区310的形状或大小。举例来说，用户可指定关注区310的特定形状(例如矩形)及边界(例如英寸)。区310随后将呈现矩形形状且留下围绕被跟踪的对象的英寸边界。用于选择将被跟踪的对象305及用于界定在其中跟踪对象的关注区310的其它变化及配置(虽然在本文中未明确阐述)在本发明的范围内。

方法600可接下来移动到步骤630，其中初始参考值被界定为关注区310中的像素的所述平均光强度。所述强度可指对应于像素的亮度的值。在一实施方案中，测量区310中含有的所有或大多数像素且基于所述测量值而计算平均值。在一些实施例中，基于少于区310中的大多数像素而计算平均光强度。在一些实施例中，对区310中测得的像素执行指示亮度或强度的其它计算。此外，可在除关注区310以外的图像帧的区域中分析光。举例来说，如果区310内部测得的强度导致错误，那么邻近于或较远离区310的像素也可被测量且用于计算。

在步骤630中界定初始参考值之后，方法600可移动到步骤640，其中确定关注区310的初始大小及位置。初始大小可包含例如矩形区310的高度及宽度。初始位置可包含例如区310的中心点的坐标。在一些实施例中，在X及Y坐标中给出区310的位置，其中X表示例如帧300的水平坐标且Y表示垂直坐标。如所提到，应理解，大小及位置包含与区310相关的其它参数，例如区域、轮廓、形状等。

区310的位置可用作跟踪系统的跟踪位置。因此，初始跟踪位置可被界定为图像帧300中的区310的中心的位置或坐标。在另一帧(例如帧302)中，跟踪位置可改变为帧302中的区310的中心的改变的坐标。可执行类似操作以界定初始大小、区域、形状等。

由方法600执行的初始化可进一步以其它次序进行且无需以上文描述的次序执行。举例来说，在步骤640中的所述区的初始大小及位置可在步骤630中界定参考值之前执行。方法600中的步骤的次序的其它变化是可能的且在本发明的范围内。此外，方法600可反复地进行，使得确定及存储大小、位置等的多个值。例如，方法600可重复七次，使得存储参考值的七个条目，其中每一值对应于过去的一图像帧。此外，例如，区310的大小及位置的七个条目可同样被存储为历史参数。历史参数可随后用于稳定跟踪系统，如相对于图7及10A到10H中更详细地描述。

在起初已界定参考值及关注区310的历史参数之后，例如如上文相对于图6所描述，可执行与补偿及稳定跟踪系统相关的其它方法。在图7中展示一个此类方法700的实施例的概述。

图7描绘用于使用曝光补偿及稳定特征进行跟踪的方法700的实施例的概述。方法700可通过接收当前图像帧而开始于步骤710。当前图像帧(例如帧302)可由记录装置供应。接下来，在步骤720中，可补偿帧中的光照中的任何剧烈改变。举例来说，在亮光条件下的帧204可被补偿为帧206。在补偿之后，方法700移动到步骤730，其中基于历史参数稳定跟踪位置。如所论述，所述跟踪位置可为区310的中心。因此，在一些实施例中，可使用历史参数稳定区310的中心，所述历史参数可包含区310的位置及大小。在稳定之后，在步骤740中，当前图像帧被传输到跟踪系统。

以上描述是曝光补偿及稳定的方法的实施例的概述。现将相对于图8中展示的方法800的实施例描述所述方法的细节。

一旦已经在方法700中界定区310的参考值及历史参数，可执行如图8中所展示的用于持续补偿及稳定的方法800。然而，应理解，方法800可并入方法700。此外，方法700、800的连续论述不打算暗示执行它们的任何次序。

如图8中所展示，方法800可开始于步骤815，其中测量当前图像帧的区中的像素的光强度。在一些实施例中，测量所有或大多数像素的光强度且计算平均值。接下来，在步骤817中，计算参考值与平均强度(来自步骤815)之间的差值。在一些实施例中，通过从平均强度减去参考值而计算此差值。

在下一步骤820中，分析在步骤817中计算的差值。在步骤820的一些实施例中，确定差值与强度限值的关系。如所展示，在步骤820中，可确定所述差值是否大于强度限值。可由用户指定或自动配置所述强度限值。

如果所述差值大于强度限值，那么过程移动到步骤825以调整图像帧。如所展示，在步骤825的一些实施例中，通过从整个图像帧减去所述差值而调整图像帧。例如，图像帧302中的每个像素的亮度值将从其减去所述差值。如果此差值是正值，意味着平均强度大于参考值，那么在帧302中的每一像素将在所述减法之后显得较暗。此可在图2中在原始帧204及相对较暗的补偿帧206中看到。相反，如果差值是负值，意味着平均强度小于参考值，那么在帧302中的每一像素将在所述减法之后显得较亮。此情形可在图2中在原始帧208及相对较亮的补偿帧210中看到。在步骤825之后，过程800移动到步骤840，其中计算变化指示符，如下文所论述。

如果在步骤817中计算的差值不大于强度限值，那么过程移动到步骤830。在步骤830中，确定是否到了更新参考值的时间。在一些实施例中，参考值被周期性地更新。可每秒、每数秒、每分钟或其某一部分更新所述参考值。更新的周期可由用户指定或其可自动配置。如果到了更新参考值的时间，那么方法800移动到步骤835，其中参考值被复位或重新界定为当前图像帧的关注区中的像素的平均光强度。此处的“复位”不一定是指其被设定成先前值或零。其仅指参考值基于当前图像帧的关注区中的像素的强度被重新界定或再次设定为一值，所述值可与或可不与先前参考值相同。如果没有到更新参考值的时间，那么方法800替代地移动到步骤840。

在步骤840中，基于关注区的属性的改变而计算变化指示符。在一些实施例中，如所展示，这些属性是包含所述区的大小及/或位置的参数。所述变化指示符可表示所述区的参数的改变的程度或量值以及方向。举例来说，如果所述区的大小已增加较大的量，那么所述变化指示符可为正且大。在一些实施例中，如果所述区已在特定方向上移动特定量，那么所述指示符可反映此。举例来说，可使用典型的X-Y坐标系统，其中值到右上为正且到左下为负。如果移动是到右上，那么指示符可为正。此外，如果到右上的移动较大，那么所述指示符可同样较大。可针对相反的改变给出相反的值。本文中例如相对于图9更详细地描述使用X-Y坐标系统对变化指示符的计算。

在一些实施例中，所述指示符可俘获所述区的大小中的改变。例如，在帧300中的矩形区310具有第一宽度及高度。在帧302中的区310具有大于第一宽度及高度的第二宽度及高度。可通过从帧302中的尺寸减去帧300中的尺寸而表征大小中的此改变。

在一些实施例中，所述变化指示符可为向量。所述向量可指示所述区的改变的量值及方向。在一些实施例中，可使用阵列记录多个属性的改变或属性的细节的改变。举例来说，阵列的第一列可包含关于矩形区的水平大小的数据，第二列可包含关于区的垂直大小的数据，第三列可包含关于所述区的移动的方向的数据，且第四列可包含关于所述区的移动的量值的数据。所有这些值可个别地用于方法800中，或可使用基于各个值中的一些或全部而计算的最终变化指示符。可针对所述区可拥有的各种形状、大小、位置等而实施其它变化指示符。

在一些实施例中，可确定及存储多个变化指示符。举例来说，可已重复初始化方法600。或，方法800可在每次执行方法800时重复及存储变化指示符。在一些实施例中，存储被分析的每一帧的变化指示符。在一些实施例中，存储仅有限数目的过去的变化指示符，例如五个、十个、二十个、一百个等，使得仅存储某一数目的最近过去的指示符以及当前指示符。

一旦已经计算变化指示符，方法800移动到步骤845且基于变化指示符而计算置信水平。在一些实施例中，基于指示符的历史值而计算置信水平。举例来说，如果变化指示符类似于最近一组指示符值，那么产生较高的置信水平。此归因于以下事实：如果所述区中的改变类似于最近已经测得的改变，那么所述方法认为所述改变是归因于对象的移动有较高的置信度。相反，如果当前指示符不类似于最近一组指示符值，那么产生较低的置信水平。低置信度指示所述区中的改变可能不归因于对象的移动，而是归因于其它因素，例如记录装置的摇动或抖动。本文中例如相对于图9及10A到10H描述基于历史变化指示符对置信水平进行计算的进一步细节。

一旦计算置信水平，方法800移动到步骤850，其中基于置信水平而计算加权或增益。所述增益随后在步骤855中用于计算增益过滤器。随后，在步骤857中，将所述增益过滤器应用于跟踪位置。在一些实施例中，所述跟踪位置是区310的位置及/或大小。在应用所述增益过滤器之后，方法800随后移动到步骤860，其中图像帧302被传递到跟踪系统。在一些实施例中，方法800可针对下一图像帧重复。下文且相对于图9及10A到10H描述计算置信水平、增益及增益过滤器以及将增益过滤器应用于区310的进一步细节。

图9描绘可用于计算变化指示符并获得置信水平的计算工具的实施例。因此，以下描述可应用于方法800中的步骤840及845的一些实施例。如所展示，可使用笛卡尔X-Y坐标系统910。系统910具有与垂直Y轴相交的水平X轴，其中所述轴上的箭头指示它们的相应的正方向。两个对角线也与所述轴相交，使得界定八个区域900到907。因此，例如，具有正X及Y值的一些移动可为在方向920上的进入区域906的移动。

可使用来自两个图像帧的坐标计算区310的移动。如所提到，图像帧302中的区310的位置可由对应于区310的中心的坐标表示。可通过从当前坐标减去先前坐标而计算区310从一个图像帧302到下一图像帧的移动。举例来说，当前图像帧中的所述区的中心(由t₀表示)可具有X-Y坐标(X₀,Y₀)＝(3,4)。类似地，先前图像帧中的所述区的中心(由t_-1表示)可具有X-Y坐标(X_-1,Y_-1)＝(1,0)。所述移动因此可表示为差(X₀,Y₀)-(X_-1,Y_-1)＝(3,4)-(1,0)＝(2,4)。因此，所述区在X方向上移动+2单位且在Y方向上移动+4单位。此方向可在坐标系统900上例如通过延伸到区域960中的箭头905指示。

在一些实施例中，可将X方向上的改变与Y方向上的改变进行比较以确定变化指示符定位在哪一区域900到907中。在一些实施例中，可使用X及Y改变的正负号与那些改变的量值的比率。例如，对于X方向上+2单位及Y方向上+4单位的移动，两个移动的正负号为正。此外，可如下计算这些改变的幅值的比率：

$\frac{\left|\mathrm{\Δ}X\right|}{\left|\mathrm{\Δ}Y\right|}=\frac{\left|2\right|}{\left|4\right|}=\frac{2}{4}=0.5$

因此，在X及Y改变两者都为正且幅值的比率小于一的情况下，此对应于区域906。可对其它移动进行类似操作以确定哪一区域900到907指派给变化指示符。举例来说，如果X上的改变为正，Y上的改变为负，且比率大于一，那么这将对应于区域905。对于在区域900到907的边界上的变化指示符，可选择所述边界的两侧上的一个或另一区域。举例来说，如果指示符在X轴上，那么可选择区域905或907。此可例如在所述改变中的任一者为零的情况下出现。在一些实施例中，建立用以处置这些及其它情况的规则。一组此类规则展示于表1中。

ΔX	ΔY	|ΔX|/|ΔY|	区域
				<0	<0	<1	900
<0	<0	≥1	901
				<0	≥0	<1	902
<0	≥0	≥1	903
				≥0	<0	<1	904
≥0	<0	≥1	905
				≥0	≥0	<1	906
≥0	≥0	≥1	907

表1.

在一些实施例中，历史变化指示符可以用于确定归于当前指示符的置信水平。在一些实施例中，如果许多历史指示符对应于某一区域900到907，那么那个相同区域900到907中的当前指示符将产生较高的置信水平。例如，如果过去的七个帧(其可表示为{t_-7,t_-6,t_-5,t_-4,t_-3,t_-2,t_-1})已全部具有那些相应帧的区域906中的变化指示符(其可表示为{906,906,906,906,906,906,906})，那么也在区域906中的当前指示符920将产生最高的置信水平。在一些实施例中，通过计算多少历史变化指示符匹配当前变化指示符而确定置信水平的值。持续所述实例，因为区域906中的当前指示符匹配所有七个历史指示符，于是置信水平是八，因为区域906中存在八个指示符(前面七个及当前指示符920)。然而，如果当前指示符920在区域900中，那么其将匹配零个历史指示符，且置信水平将因此为一，因为在区域900中仅存在一个指示符(当前指示符920)。因此，在一些实施例中，置信水平被计算为当前指示符920的实例的数目，其中当前指示符920包含在所述数目中。

在一些实施例中，置信水平可用于确定当前及先前帧的各种增益值。因此，以下描述应用于方法800中的步骤850的一些实施例。图10A到10H分别描绘关系1001到1008的实施例，其可用于将置信水平转换为当前增益值。各种关系1001到1008分别对应于置信水平一到八。因此，例如，如果当前置信水平是一，那么使用如图10A中所展示的关系1001，如果当前置信水平是二，那么使用如图10B中所展示的关系1002等。图表1001到1008的水平轴对应于各种增益变量，其中“8”对应于当前增益变量，“7”是紧接在前面的帧的增益变量等。增益变量的值可表示为{a_-7,a_-6,a_-5,a_-4,a_-3,a_-2,a_-1,a₀}，其中增益变量分别表示当前帧及先前七个帧的增益值。举例来说，帧t_-7具有由a_-7表示的增益值，帧t_-6具有由a_-6表示的增益值等。通过使用针对适当的关系1001到1008展示的线而向增益变量指派对应于水平轴上的标记1-8的Y轴值。举例来说，如果当前置信水平是六，那么使用如图10F中所展示的关系1006。在关系1006中，将为增益变量{a_-7,a_-6,a_-5,a_-4,a_-3,a_-2,a_-1,a₀}指派的Y轴值将分别为{0.000,0.002,0.009,0.031,0.086,0.182,0.301,0.386}。在一些实施例中，当使用关系1001到1008时，向所有增益变量重新指派新的值。此外，新的增益值可与或可不与先前值相同。将针对其它置信水平指派其它增益值。

应理解，图10A到10H中展示的关系1001到1008仅用于说明的目的。可使用其它关系基于置信水平计算增益值。

所述增益值可随后用于增益过滤器中。增益过滤器根据先前确定的增益值对当前帧加权。例如，对于最高置信度八，使用如图10H中所展示的关系1008，借此所有增益变量具有零值，除了a₀及a_-1(即，当前帧及紧接在前面的帧)，其分别具有大约0.982及0.018的值。增益值的此分布将当前帧最多地加权，且先前帧具有极小的加权，这归因于当前帧中的高置信度。在一些实施例中，分布在所述帧之间的增益值的总和是1。

增益过滤器中的增益值{a_-7,a_-6,a_-5,a_-4,a_-3,a_-2,a_-1,a₀}的经加权分布可用于稳定当前帧的区310的大小及/或位置。因此，以下描述应用于方法800中的步骤857的一些实施例。在一些实施例中，对于当前帧及先前的七个帧，可存储对应于那些帧中的区310的位置的X及Y坐标。例如，(X_-7,Y_-7)可对应于帧t_-7中的区310的中心的X及Y坐标，且a_-7的增益值因此用于对那些坐标加权以确定稳定坐标(X_S,Y_S)。可针对其它帧及它们的相应的坐标进行类似加权。举例来说，区310的位置的稳定的X_S坐标可如下确定：

X_S＝(X_-7×a_-7)+(X_-6×a_-6)+(X_-5×a_-5)+(X_-4×a_-4)

+(X_-3×a_-3)+(X_-2×a_-2)+(X_-1×a_-1)+(X₀×a₀)

可针对Y_S坐标进行类似计算。以此方式，可将区310的当前坐标(X₀,Y₀)调整到稳定坐标(X_S,Y_S)。区310因此在跟踪系统中位于(X_S,Y_S)处。

在一些实施例中，区310的历史大小用于稳定跟踪系统。可对区310的大小执行如上文相对于区310的位置所描述的类似操作。例如，可通过使用区310的各种尺寸来计算当前帧t₀与先前帧t_-1相比的所述区的大小中的改变。举例来说，当前图像帧中的所述区可具有三的宽度及四的高度且表达为数据集(X₀,Y₀)＝(3,4)。类似地，先前图像帧中的所述区的大小可具有二的宽度及五的高度且表达为(X_-1,Y_-1)＝(2,5)。大小中的改变因此可表示为差(X₀,Y₀)-(X_-1,Y_-1)＝(3,4)-(2,5)＝(1,-1)。因此，所述区的宽度增加1个单位且高度减小1个单位。可针对一定数目的先前帧进行类似计算，使得界定一定数目的变化指示符。当前及历史变化指示符随后可用于如上文所描述而确定置信水平、增益及增益过滤器。

逻辑块、模块及流程图序列仅具说明性。所属领域的技术人员将理解，本文中描述的流程图中体现的步骤、决策及过程可以除本文中描述的次序之外的次序执行。因此，特定流程图及描述并不希望将相关联的过程限制为以所描述的特定次序执行。

所属领域的技术人员将认识到，结合本文中揭示的实施例而描述的各种说明性逻辑块、模块及方法步骤可实施为电子硬件、存储在计算机可读媒体上且可由处理器执行的软件，或两者的组合。为清晰地说明硬件与软件的此可互换性，以上已大体就其功能性来描述了各种说明性组件、块、模块和步骤。此类功能性是实施为硬件还是软件取决于具体应用及施加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但这样的实施方案决策不应被解释为会引起脱离本发明的范围。

可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或经设计以执行本文所描述的功能的其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此类配置。

软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM，或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器从存储媒体读取信息和将信息写入到存储媒体。在替代方案中，存储媒体可集成到处理器。处理器及存储媒体可以驻留在ASIC中。

虽然以上详细描述已展示、描述并指出应用于各种实施例的本发明的新颖特征，但将了解，所属领域的技术人员可在不脱离本发明精神的情况下作出所说明的装置或工艺的形式和细节上的各种省略、替换和改变。如将认识到，本发明可在不提供本文陈述的所有特征和益处的形式内体现，因为一些特征可与其它特征分开使用或实践。因此，本发明的范围由所附权利要求书而不是由前述描述指示。在权利要求书等效物的含义和范围内的所有变化均涵盖在其范围内。

所属领域的技术人员将认识到，这些子系统中的每一者可互连且使用多种技术及硬件可控地连接，且本发明不限于任何特定的连接方法或连接硬件。

所述技术通过众多其它通用或专用计算系统环境或配置而操作。可适合与本发明一起使用的众所周知的计算系统、环境及/或配置的实例包含(但不限于)个人计算机、服务器计算机、手持式或膝上型装置、多处理器系统、基于微处理器的系统、微控制器或基于微控制器的系统、可编程消费型电子装置、网络PC、微型计算机、大型计算机、包含以上系统或装置中的任一者的分布式计算环境，及类似者。

如本文中所使用，指令涉及用于处理系统中的信息的计算机实施的步骤。指令可以在软件、固件或硬件中实施且包含由系统的组件进行的任何类型的编程步骤。

微处理器可为任何常规的通用单芯片或多芯片微处理器，例如处理器、Pro处理器、8051处理器、处理器、Power处理器或处理器。另外，所述微处理器可为例如数字信号处理器或图形处理器等任何常规的专用微处理器。所述微处理器通常具有常规的地址线、常规的数据线，及一或多个常规的控制线。

所述系统可结合例如或Microsoft等各种操作系统使用。

可以任何常规的编程语言(例如C、C++、BASIC、Pascal、.NET(例如，C#)或Java)编写系统控制，且在常规的操作系统下运行。C、C++、BASIC、Pascal、Java及FORTRAN是业界标准编程语言，许多商业编译者可使用其创建可执行代码。还可以使用例如Perl、Python或Ruby的解译语言来编写系统控制。还可使用其它语言，例如PHP、JavaScript及类似者。

前述描述详述了本文中揭示的系统、装置和方法的某些实施例。然而，应了解，不管前述内容在文本中如何详细地显现，皆可以许多方式来实践所述系统、装置和方法。同样如上文所陈述，应注意，在描述本发明的某些特征或方面时使用特定术语不应被理解为暗示所述术语在本文中被重新界定以限于包含所述术语所相关联的技术的特征或方面的任何特定特性。

所属领域的技术人员将了解，在不脱离所描述的技术的范围的情况下可以作出各种修改及改变。此些修改及改变希望属于实施例的范围内。所属领域的技术人员还将了解，在一个实施例中所包含的部分可与其它实施例互换；来自所描绘的实施例的一或多个部分可与其它所描绘的实施例以任何组合包含在一起。举例来说，可将本文中描述和/或图中所描绘的各种组件中的任一者进行组合、互换或从其它实施例排除。

关于本文中实质上任何复数和/或单数术语的使用，所属领域的技术人员可在适于上下文和/或应用的情况下将复数转换成单数和/或将单数转换成复数。为清晰起见，本文中可明确地阐述各种单数/复数排列。

所属领域的技术人员将理解，一般来说，本文中所使用的术语一般意图作为“断开”术语(例如，术语“包含(including)”应当解释为“包含但不限于(includingbutnotlimitedto)”，术语“具有”应当解释为“至少具有”，术语“包含(includes)”应当解释为“包含但不限于(includesbutisnotlimitedto)”，等)。所属领域的技术人员将进一步理解，如果希望引入特定数目的权利要求叙述，那么此意图将明确叙述于所述权利要求中，且在不存在此叙述的情况下，不存在此意图。例如，作为对理解的辅助，以下随附权利要求书可含有介绍性短语“至少一个”和“一或多个”的使用，以便引入权利要求叙述。然而，此类短语的使用不应解释为暗示通过不定冠词“一”引入权利要求叙述将含有如此引入的权利要求叙述的任何特定权利要求限于仅含有一个此类叙述的实施例，即使当同一个权利要求包含介绍性短语“一或多个”或“至少一个”和例如“一”的不定冠词时也如此(例如，“一”通常应解释为意味“至少一个”或“一或多个”)；这同样适用于使用定冠词来引入权利要求叙述的情况。

另外，即使明确叙述所引入权利要求叙述的特定数字，所属领域的技术人员也将认识到此类叙述通常应被解释为意味着至少所叙述数字(例如，无其它修饰语的纯粹叙述“两种叙述”通常意味着至少两种叙述或两种或更多种叙述)。此外，在使用类似于“A、B和C中的至少一者等”的惯例的那些情况下，一般来说，此构造希望以所属领域的技术人员将理解所述惯例的意义来理解(例如，“具有A、B和C中的至少一者的系统”将包含(但不限于)具有单独A、单独B、单独C、A与B一起、A与C一起、B与C一起和/或A、B与C一起的系统等)。

所属领域内的技术人员将进一步理解，无论在说明书、权利要求还是图式中，应将呈现两种或两种以上替代性术语的实际上任何分离性词语及/或短语理解为涵盖包含所述术语中的一者、所述术语中的任一者或两种术语的可能性。举例来说，短语“A或B”应理解为包含“A”或“B”或“A及B”的可能性。

本文中所引用的所有参考文献都以全文引用的方式并入本文中。在以引用的方式并入的公开和专利或专利申请与本说明书中所包含的披露内容相抵触的情况下，本说明书打算替代和/或优先于任何这类矛盾材料。

如本文所用的术语“包括”与“包含”、“含有”或“特征在于”同义，且为包括性的或开放式的且不排除额外未叙述的要素或方法步骤。

说明书及权利要求书中所使用的所有表达数量的数字将被理解为在所有情况下由术语“大约”修饰。因此，除非指示为相反情况，否则在说明书和所附权利要求书中所阐述的数值参数是可能取决于试图通过本发明获得的所需性质而变化的近似值。最低限度地，且不试图限制将等效物原则应用于权利要求书的范围，应根据有效数位的数字和一般四舍五入方法来理解每一数值参数。

以上描述揭示本发明的若干方法、装置及系统。本发明容易受到方法、装置及系统中的修改。通过考虑本发明或实践本文中揭示的本发明，此类修改对于所属领域的技术人员将变得显而易见。因此，不希望本发明限于本文中揭示的特定实施例，而是涵盖处于如所附权利要求书中体现的本发明的真实范围及精神内的所有修改及替代方案。

Claims (30)

1.一种使用电子装置跟踪对象的方法，所述方法包括：

基于图像帧的包括所述对象的区中的像素的平均光强度而界定参考值；

确定当前图像帧的包括所述对象的所述区中的像素的平均光强度；

计算所述参考值与所述当前图像帧中的所述区的所述所确定的平均光强度之间的差值；

当所述差值大于强度限值时调整所述当前图像帧中的像素的所述强度；

将增益过滤器应用于所述当前图像帧；及

使用所述当前图像帧中的所述像素跟踪所述对象。

2.根据权利要求1所述的方法，其中调整包括从所述当前图像帧的每个像素减去所述差值。

3.根据权利要求1所述的方法，其进一步包括当所述差值小于强度限值时周期性地将所述参考值重新界定为所述当前图像帧的所述区中的像素的所述平均光强度。

4.根据权利要求1所述的方法，其中应用增益过滤器包括基于所述区的当前及历史参数而计算所述区的变化指示符。

5.根据权利要求4所述的方法，其中应用增益过滤器进一步包括基于所述变化指示符而确定置信水平。

6.根据权利要求5所述的方法，其中应用增益过滤器进一步包括基于所述置信水平而确定增益且基于所述增益而确定所述增益过滤器。

7.根据权利要求6所述的方法，其中跟踪所述对象包括基于所述增益过滤器而调整所述当前图像帧的所述区。

8.一种用于使用电子装置跟踪对象的系统，所述系统包括：

处理器，其经配置以：

基于图像帧的包括所述对象的区中的像素的平均光强度而界定参考值；

确定当前图像帧的包括所述对象的所述区中的像素的平均光强度；

计算所述参考值与所述当前图像帧中的所述区的所述所确定的平均光强度之间的差值；

当所述差值大于强度限值时调整所述当前图像帧中的像素的所述强度；

将增益过滤器应用于所述当前图像帧；及

使用所述当前图像帧中的所述像素跟踪所述对象。

9.根据权利要求8所述的系统，其中所述处理器经配置以通过从所述当前图像帧的每个像素减去所述差值而调整像素的所述强度。

10.根据权利要求8所述的系统，其中所述处理器进一步经配置以当所述差值小于强度限值时周期性地将所述参考值重新界定为所述当前图像帧的所述区中的像素的所述平均光强度。

11.根据权利要求8所述的系统，其中所述处理器经配置以通过基于所述区的当前及历史参数计算所述区的变化指示符而应用增益过滤器。

12.根据权利要求11所述的系统，其中所述当前及历史参数分别包括所述区的当前及历史大小。

13.根据权利要求11所述的系统，其中所述当前及历史参数分别包括所述区的当前及历史位置。

14.根据权利要求11所述的系统，其中所述处理器经配置以通过基于所述变化指示符确定置信水平而应用增益过滤器。

15.根据权利要求14所述的系统，其中所述处理器经配置以通过基于所述置信水平确定增益且基于所述增益确定所述增益过滤器而应用所述增益过滤器。

16.根据权利要求15所述的系统，其中所述处理器经配置以通过基于所述增益过滤器调整所述当前图像帧的所述区而跟踪所述对象。

17.根据权利要求16所述的系统，其中调整所述区包括调整所述区的所述位置。

18.根据权利要求16所述的系统，其中调整所述区包括调整所述区的所述大小。

19.一种用于使用电子装置跟踪对象的系统，所述系统包括：

用于基于图像帧的包括所述对象的区中的像素的平均光强度而界定参考值的装置；

用于确定当前图像帧的包括所述对象的所述区中的像素的平均光强度的装置；

用于计算所述参考值与所述当前图像帧中的所述区的所述所确定的平均光强度之间的差值的装置；

用于当所述差值大于强度限值时调整所述当前图像帧中的像素的所述强度的装置；

用于将增益过滤器应用于所述当前图像帧的装置；及

用于使用所述当前图像帧中的所述像素跟踪所述对象的装置。

20.根据权利要求19所述的系统，其中所述用于调整的装置包括用于从所述当前图像帧的每个像素减去所述差值的装置。

21.根据权利要求19所述的系统，其中所述系统进一步包括用于当所述差值小于强度限值时周期性地将所述参考值重新界定为所述当前图像帧的所述区中的像素的所述平均光强度的装置。

22.根据权利要求19所述的系统，其中所述用于应用增益过滤器的装置包括：

用于基于所述区的当前及历史参数而计算所述区的变化指示符的装置；及

用于基于所述变化指示符而确定置信水平的装置。

23.根据权利要求22所述的系统，其中所述用于应用增益过滤器的装置进一步包括：

用于基于所述置信水平而确定增益的装置；及

用于基于所述增益而确定所述增益过滤器的装置。

24.根据权利要求23所述的系统，其中所述用于跟踪所述对象的装置包括用于基于所述增益过滤器而调整所述当前图像帧的所述区的装置。

25.一种非暂时性计算机可读媒体，其经配置以存储指令，所述指令在由处理器执行时执行用于使用电子装置跟踪对象的方法，所述方法包括：

基于图像帧的包括所述对象的区中的像素的平均光强度而界定参考值；

确定当前图像帧的包括所述对象的所述区中的像素的平均光强度；

计算所述参考值与所述当前图像帧中的所述区的所述所确定的平均光强度之间的差值；

当所述差值大于强度限值时调整所述当前图像帧中的像素的所述强度；

将增益过滤器应用于所述当前图像帧；及

使用所述当前图像帧中的所述像素跟踪所述对象。

26.根据权利要求25所述的计算机可读媒体，其中调整包括从所述当前图像帧的每个像素减去所述差值。

27.根据权利要求25所述的计算机可读媒体，其中所述方法进一步包括当所述差值小于强度限值时周期性地将所述参考值重新界定为所述当前图像帧的所述区中的像素的所述平均光强度。

28.根据权利要求25所述的计算机可读媒体，其中应用增益过滤器包括：

基于所述区的当前及历史参数而计算所述区的变化指示符；及

基于所述变化指示符而确定置信水平。

29.根据权利要求28所述的计算机可读媒体，其中应用增益过滤器进一步包括：

基于所述置信水平而确定增益；及

基于所述增益而确定所述增益过滤器。

30.根据权利要求29所述的计算机可读媒体，其中跟踪所述对象包括基于所述增益过滤器而调整所述当前图像帧的所述区。