CN112292686B - 检测双波段红外光源以进行对象跟踪 - Google Patents

Abstract

一种对象跟踪的方法。该方法包括：使用具有第一和第二感测矩阵的光学传感器捕获场景的图像，分析图像的第一像素，以从第一和第二感测矩阵检测不平衡的像素感测值，分析图像的第二像素，以从第一和第二感测矩阵检测平衡的像素感测值，比较不平衡像素感测值和平衡像素感测值以生成结果，并基于该结果确定与第一像素相关联的场景的第一部分对应于场景的背景，以及与第二像素相关联的场景的第二部分对应于预定光源。

Description

检测双波段红外光源以进行对象跟踪

背景

视场(FOV)是由相机成像的场景的范围。FOV内部的对象将出现在相机捕获和/或输出的图像中。例如，FOV可对应于相机镜头将输入到相机的光学传感器的光透射到其中的立体角。

概述

总体上，在一个方面，本发明涉及一种用于对象(object)跟踪的方法。该方法包括：使用包括第一和第二感测矩阵的光学传感器捕获场景的图像，分析图像的第一像素以从第一和第二感测矩阵检测不均衡的像素感测值，分析图像的第二像素检测来自第一和第二感测矩阵的均衡的像素感测值，比较所述不均衡的像素感测值和均衡的像素感测值以产生结果，并基于该结果确定与第一像素相关联的场景的第一部分对应于场景的背景，以及与第二像素相关联的场景的第二部分对应于预定光源。

总体上，在一个方面，本发明涉及一种跟踪控制器。所述跟踪控制器包括计算机处理器和存储指令的存储器，在被执行时使计算机处理器从包括第一和第二感测矩阵的光学传感器中获得场景的图像，分析图像的第一像素以检测来自第一和第二感测矩阵的不均衡的像素感测值，分析图像的第二像素以进行检测来自第一和第二感测矩阵的均衡的像素感测值，比较不均衡的像素感测值和均衡的像素感测值以产生结果，并基于该结果确定与第一像素相关联的场景的第一部分对应于场景的背景，以及与第二像素相关联的场景的第二部分对应于预定光源。

总体上，一方面，本发明涉及一种非暂时性计算机可读介质，其存储用于对象跟踪的指令。该指令由计算机处理器执行时，包括以下功能：从包括第一和第二感测矩阵的光学传感器获得场景的图像，分析图像的第一像素以从第一和第二感测矩阵检测不均衡的像素感测值，分析图像的第二像素以从第一和第二感测矩阵检测均衡的像素感测值，比较不均衡的像素感测值和均衡的像素感测值以产生结果，并基于该结果确定与第一像素相关联的场景的第一部分对应于场景的背景，以及与第二像素相关联的场景的第二部分对应于预定光源。

通过以下描述和所附权利要求书，本发明的其他方面将变得显而易见。

附图说明

图1.1、1.2、1.3和1.4示出了根据本发明的一个或多个实施方案的系统的示意性框图。

图2.1和2.2示出了根据本发明的一个或多个实施方案的方法流程图。

图3.1、3.2、3.3、3.4、4、5和6示出了根据本发明的一个或多个实施方案的各种示例。

图7.1和7.2示出了根据本发明的一个或多个实施方案的计算系统。

详述

现在将参考附图详细描述本发明的特定实施方案。为了一致性，各个附图中的相同元件可以由相同的附图标记表示。

在下面对本发明的实施方案的详细描述中，阐述了许多具体细节以便提供对本发明的更透彻的理解。然而，对于本领域的普通技术人员将显而易见的是，本发明可以在没有这些具体细节的情况下被实施。在其他情况下，没有详细描述众所周知的特征，以避免不必要地使描述变得复杂。

在以下描述中，在本发明的各种实施方案中，附图描述的任何组件可以等同于任何其他附图描述的一个或多个相同名称的组件。为了简洁起见，基于各种图例隐式地标识了这些组件的至少一部分。此外，将不再重复每个附图中关于这些组件的描述。因此，每个附图的组件的每个和每一个实施方案通过引用的方式并入，并假定为可选地存在于具有一个或多个相同名称的组件的每个其他附图中。另外，根据本发明的各种实施方案，对附图的组件的任何描述都将被解释为可选的实施方案，该可选的实施方案可以附加地、结合于或代替与其他任何附图中对应的类似名称的组件相关的实施方案而实现。在附图中，黑色实线共线点表示可以可选地存在与实线共线点之前和/或之后的组件相似的附加组件。此外，连接附图的各组件的实线或虚线表示所连接的组件之间的关系。虚线表示该关系可能不包括任何物理连接或物理元件或不与之相关联。

在整个申请中，序数(例如，第一、第二、第三等)可以用作元素(即，申请中的任何名词)的形容词。除非明确公开，例如通过使用术语“之前”，“之后”，“单个”和其他此类术语，否则序数的使用并不暗示或创建元素的任何特定顺序，也不意味着将任何元素限制为单个元素。相反，使用序数是为了区分元素。举例来说，第一元素不同于第二元素，并且第一元素可以包含一个以上的元素，并且可以按照元素的顺序在第二元素之后(或之前)。

总体上，本发明的实施方案提供一种用于跟踪在相机设备视场中的对象(object)的系统、方法和计算机可读介质。在本发明的一个或多个实施例中，在使用相机设备捕获图像序列的同时，将光源附加到对象。在一个或多个实施方案中，光源发射不时改变光强度和/或颜色(即，波长)的频闪光。基于图像序列的局部光变化模式，可在FOV中检测光源。响应于检测到光源，将图像内的光源的位置与目标位置进行比较以产生结果例如位移或运动参数。因此，基于该结果产生控制信号以控制相机设备支架。具体地，相机设备支架基于控制信号来调整FOV，以使得光源与FOV内的目标位置实质对准。在一个或多个实施方案中，图像序列是视频记录的一部分，并且控制信号使对象出现在视频记录中的FOV内的目标位置处。

本发明的实施方案使用具有不可见光(例如，红外(IR)光)的光源，以防止光源在捕获的图像或记录的视频中变得可见。通过利用光学传感器的IR的像素感测值和可见通道的差异来减轻背景中来自环境光(例如，室外日光)的干扰。基于具有像素感测值的各个预定均衡曲线(profile)的像素，分析所捕获的图像以识别相对于背景的光源。因此，可以如上所述在FOV中跟踪对象。

图1.1示出了根据一个或多个实施方案的系统100。在一个或多个实施方案中，图1.1中所示的一个或多个模块和元件可可以被省略、重复和/或替换。因此，本发明的实施方案不应被认为限于图1.1所示的模块的特定布置。

如图1.1所示，系统100包括具有和图像捕获组件关联的相机镜头111、跟踪控制器120、相机设备支架130、场景140、相机镜头111的视场(FOV)141，出现在FOV 141内的对象142和与该对象对象142相连的光源143。此外，相机设备110，跟踪控制器120和相机设备支架130彼此通信地耦合。在本发明的一个或多个实施方案中，相机设备110、跟踪控制器120和相机设备支架130中的两个或更多个被集成到单个设备中。例如，跟踪控制器120的至少一部分可以被包括在相机设备110中。在另一示例中，跟踪控制器120的至少一部分可以被包括在相机设备支架130中。在又一示例中，跟踪控制器120的一部分被包括在相机设备110中，而跟踪控制器120的另一部分被包括在相机设备支架130中。

在本发明的一个或多个实施方案中，光源143是任何发光的设备或元件。在一个或多个实施方案中，光源143包括发光二极管(LED)。在一个或多个实施方案中，光源143发出频闪光，其不时改变强度和/或颜色(即波长)。例如，频闪灯可以根据特定的占空比(即，当光模式具有亮水平或特定颜色/波长时的时间百分比)和重复率(即在一个单位时间内强度改变的时间)发射自由运行的光变化模式。如本文所使用的，光变化模式是光的强度和/或颜色/波长变化的模式。在一个或多个实施方案中，与相机设备110的帧速率相比，光源143以低重复率(例如10赫兹、20赫兹等)发射光变化模式。帧速率是在单位时间内由相机设备110捕获的图像的数量(例如，一连串静止图像或视频记录)。在一个或多个实施方案中，光源143发出与相机设备110的帧速率同步的光变化模式。

在本发明的一个或多个实施方案中，相机设备110是具有相机镜头(例如，相机镜头111)和的相关组件的设备。相机设备110是具有相机镜头(例如，相机镜头111)和用于拍摄照片和/或视频记录的相关组件(例如，滤光器112、光学传感器113)的设备。例如，滤光器112可以选择性地透射特定波长的光。相机镜头111和滤光器112可以在相机设备110中集成在一起或彼此分离。光学传感器113可以是参考以下图1.3描述的互补金属氧化物半导体(CMOS)传感器。在一个或多个实施方案中，光学传感器113是RGB CMOS传感器，并且滤光器112具有可见光波段和IR波段透射曲线。这样的实施方案的示例描述于下面的图3.1和3.2。在一个或多个实施方案中，光学传感器113是RGB-IR CMOS传感器，并且在相机设备110中省略了滤光器112(即，除去了滤光器或不使用滤光器)。这样的实施方案的示例描述于下面的图3.1和3.2。

具有通信能力的专用相机是相机设备110的实例。在一个或多个实施方案中，相机设备110是移动设备，例如具有内置相机的移动电话，称为智能电话。智能电话可以具有带有图形用户界面的显示器，该显示器占据正面的很大一部分(例如70％或更大)。相机镜头111可以在智能电话的正面或背面(即正面相对的面)。在一个或多个实施方案中，相机设备110包括定时器，以基于光源143的占空比和/或重复率来控制图像捕获的帧速率。

在一个或多个实施方案中，场景140是发生由相机设备110成像的动作或事件的地方。动作或事件通常与感兴趣的对象，例如对象142相关联。在这种情况下，与对象142分开的场景140的剩余范围被称为背景144。换句话说，在对象跟踪的情况下，与对象142相比，场景140中的其他对象和/或元素很少或没有兴趣。带光源143的对象142和背景144都被相机设备110捕获为图像。更具体地，从背景144发射的环境光143a和从光源143发射的光源发射143b被相机镜头111捕获并引导到光学传感器113上形成图像。

视场(FOV)141是由相机设备110使用相机镜头111成像的场景140的范围。换句话说，FOV 141内部的对象对象将出现在由相机设备110捕获和/或输出的图像中。例如，FOV141可以对应于立体角，在该立体角内，相机镜头111透射输入到相机设备110的相关联的光学传感器113的光。在一个或多个实施方案中，FOV 141根据相机镜头111如何朝向场景140定向、相对于场景140变焦或相对于场景140定位而对应于场景140的不同部分。在一个或多个实施方案中，相机设备110包括硬件组件、软件组件或它们的组合。在一个或多个实施方案中，相机设备110可包括或使用参考下面的图7.1和7.2描述的计算系统700和网络720的至少一部分来实现。

在本发明的一个或多个实施方案中，相机设备支架130被配置为机械地保持相机设备110并响应于来自跟踪控制器120的控制信号来调整相机镜头111的FOV 141。例如，相机设备支架130可以包括用于调整相机镜头111的相机角度的电动倾斜和旋转设备。在另一个示例中，相机设备支架130可以包括用于调整相机镜头111相对于场景140的位置的电动水平和垂直滑动设备。滑动设备可以包括用于保持和移动相机设备110的机械平台。相机设备支架130的示例参照下面的图3.3和3.4的描述。

在一个或多个实施方案中，跟踪控制器120包括硬件组件、软件组件或其组合，其被配置为调整相机镜头111的FOV 141。例如，跟踪控制器120可以通过控制相机设备支架130来控制FOV 141。在另一示例中，跟踪控制器120可以通过控制相机镜头111的变焦水平来进一步控制FOV 141。在一个或多个实施方案中，跟踪控制器120控制FOV 141，使得对象对象142出现在FOV 141内的目标位置。在一个或多个实施方案中，跟踪控制器120使用参考下面的图2.1和/或2.2描述的方法来控制FOV 141。在一个或多个实施方案中，跟踪控制器120包括参考下述图1.2描述的组件。

图1.2示出了根据一个或多个实施方案的跟踪控制器120的细节。图1.2的下列描述是指以上图1.1中描述的各种组件。在一个或多个实施方案中，图1.2中所示的模块和元件中的一个或多个可包括多个组件可以被省略、重复和/或替换。因此，本发明的实施方案不应被认为限于图1.2所示的模块的特定布置。

如图1.2所示，跟踪控制器120包括硬件处理器121、存储器122和存储库123。在本发明的一个或多个实施方案中，硬件处理器121对应于以下图7.1所示的计算机处理器702。类似地，存储器122和存储库123对应于以下图7.1中所描绘的非持久性存储器704和/或持久性存储器706。例如，存储器122可以存储软件指令，该软件指令在被执行时使硬件处理器121执行以上图1.1中描绘的相机设备110的FOV调整功能。在一个或多个实施方案中，FOV调整功能使使用相机设备110的图像捕获稳定。在一个或多个实施方案中，跟踪控制器120根据参考下面的图2.1和2.2描述的方法流程图来执行FOV调整或其他跟踪功能。在一个或多个实施方案中，存储器122存储指令以执行参考下面的图2.1和2.2描述的方法流程图的一个或多个部分。在一个或多个实施方案中，跟踪控制器120和相机设备110被集成到单个设备中。在这样的实施方案中，执行参考图2.1和2.2描述的方法流程图的一个或多个部分的指令是移动应用程序或移动app的一部分，移动应用程序是一种用户可安装的软件应用程序，设计为在智能手机或其他移动设备上运行。

进一步如图1.2所示，储存库123包括图像序列126、光变化模式124、位移125、运动参数128和目标位置127。特别地，图像序列126包括由相机设备110捕获的连续图像(例如，图像A 126a)。例如，图像A 126a对应于场景140的在特定时间点被FOV 141覆盖的部分。光变化模式124是光强度和/或颜色/波长在图像序列126的不同强度水平和/或颜色/波长之间交替的模式。在一个或多个实施方案中，光变化模式124对应于图像序列126的每个图像中的斑点。例如，可以通过每个图像中的像素位置或连接的像素位置的集合来定义斑点。在一个或多个实施方案中，光变化模式124由从光源143发射的频闪光产生，并指示光源143在每个图像内的位置。换句话说，可以基于在图像序列126上找到光变化模式124的位置来确定每个图像内的光源143的位置。例如，光变化模式124指示光源143在图像A 126a中的位置A 127a处。类似地，图像序列126中的每个其他图像与光源143的位置相关联。目标位置127是跟踪控制器120被配置为用于跟踪对象142的预定位置。例如，目标位置127可以被定义为FOV 141的中心，其对应于图像序列126中的每个图像的中心。换句话说，跟踪控制器120被配置为调整FOV 141，使得对象对象142出现在调整之后的图像的中心(即，目标位置127)。在其他示例中，目标位置127可以被定义为与FOV 141的中心不同的位置。位移125是目标位置127和图像中的光源143的位置(例如，位置A 127a)在一个或多个实施方案中，位移125包括基于多个像素或任何其他合适的距离比例表示的水平距离和垂直距离。帧矢量F(t)可以基于多个像素或任何其他合适的距离比例来表示。在一个或多个实施方案中，对象142可以是运动对象，使得光源143的位置(例如，位置A 127a)可以在图像序列126中从一个图像到另一个图像变化。在这样的实施方案中，运动参数128是光源143的位置(例如，位置A 127a)随时间的变化率。例如，帧加速矢量FA(t)可以与光源143的位置(例如，位置A 127a)从图像序列126中的一个图像到下一个图像的改变相关联。取决于对象142的移动方向，运动参数128可以包括水平部分和垂直部分。在数学上，运动参数128对应于位移125随时间的导数。

在一个或多个实施方案中，跟踪控制器120基于如上所述的图像序列126、光变化模式124，位移125、运动参数128和目标位置127执行FOV调整或其他跟踪功能。具体地，跟踪控制器120使用参考下面的图2.1和2.2描述的方法来执行FOV调整或其他跟踪功能。在环境光干扰下检测光变化模式124的示例描述于以下的图3.1和3.2。使用图像序列126和光变化模式124提取位移125和运动参数128的示例描述于以下的图4-6。

图1.3示出了以上图1.1中描绘的光学传感器113的示例细节。特别是，图1.3示出了RGB-IR传感器的示例，其包括以重复模式布置的CMOS感测元件的阵列。RGB-IR传感器的每个像素感测元件(例如，像素感测元件113a)包括分别标记为“R”、“G”、“B”和“IR”的一组相邻的感测元件。标记为“R”的感测元件对红色波长范围敏感，并为每个像素产生像素感测值，称为R通道。标记为“G”的感测元件对绿色波长范围敏感，并为称为G通道的每个像素产生像素感测值。标记为“B”的感测元件对蓝色波长范围敏感，并为称为B通道的每个像素产生像素感测值。标记为“IR”的感测元件对红外波长范围敏感，并为每个像素产生像素感测值，称为IR通道。

尽管未明确示出，但是标记为“IR”的感测元件可以从图1.3中省略以表示RGB传感器。特别是，RGB传感器为没有IR通道的R、G和B通道产生像素感测值。

图1.4示出了以上图1.2中描绘的图像A 126a的示例细节。例如，图1.4中所示的图像A 126a可以由以上图1.3中描述的RGB-IR传感器或RGB传感器产生如图1.4所示，图像A126包括行和列的像素，例如可以由感测元件113a产生的像素A 113a。像素A 113a包括上述R、G、B和IR通道的像素感测值。例如，值A 114a、值B 114b、值C 114c和值D 114d可以分别对应于R、G、B和IR通道的像素感测值。如果像素A 113a具有彼此实质相似(即，差异小于5％或其他预定义百分比)的两个或更多个像素感测值，则像素A 113a被称为在特定的至少两个像素感测值中具有一个均衡的像素感测值。如果像素A 113a具有彼此实质不同(即，相差超过5％或其他预定义百分比)的两个或更多个像素感测值，则像素A 113a被称为在特定的至少两个像素感测值中具有一个不均衡的像素感测值。

虽然图1.3和1.4涉及RGB-IR传感器，可以从光学传感器113和图像A 126a中省略标记为“IR”和值D 114d的感测元件，以表示示例性RGB传感器。

基于上面参考图1.3和1.4描述的示例RGB传感器和相应的捕获图像，可以使用双峰滤光镜过滤掉对红外光源的识别产生不利影响的大部分光，仅保留特定的波段的红外光的红外部分以及绿色或蓝色波段的可见部分。从通过相机镜头的光中，只有红外光源发出的光和经过过滤的可见光(绿色或蓝色)到达RGB传感器，以产生像素感测值。使用差分算法将IR光源与太阳光散射产生的环境光区分开。由于R、G和B通道对IR波长范围的光敏响应，具有R/G/B感测值且亮度相似且足够的白色像素(即均衡的像素感测值)指示从红外光源发出的光。相反，具有足够的绿色或蓝色像素感测值(即，不均衡的像素感测值)的绿色或蓝色像素指示来自背景的可见环境光。利用该算法，可见环境光和IR光源在捕获的图像A 126a中分离。参照下面的图3.1和3.2描述进一步的细节。

基于上面参考图1.3和1.4描述的示例RGB-IR传感器和相应的捕获图像，R、G和B通道中的可见环境光的像素感测值相对高于IR通道。换句话说，IR通道与R、G和B通道中的任何一个之间的像素感测值差(即，不均衡的像素感测值)指示来自背景的环境光。相反，R、G和B通道中IR光源的像素感测值类似于IR通道。换句话说，IR通道与R、G和B通道中的任一个之间的相似的像素感测值(即，不均衡的像素感测值)指示来自IR光源的光源发射。根据该启发式规则，可见环境光和IR光源在捕获图像A 126a中分离。参照下面的图3.1和3.2描述进一步的细节。

图2.1和2.2示出了根据一个或多个实施方案方案的流程图。图2.1和2.2所示的过程是由例如，可以通过以上参考以上图1.1-1.4讨论的一个或多个组件来执行。图2.1和2.2中所示的一个或多个步骤在本发明的不同实施方案之间，可以以不同的顺序省略、重复和/或执行。因此，不应将本发明的实施方案视为限于图2.1和2.2中所示的步骤的特定数目和布置。

图2.1示出了使用附加在对象上的光源进行对象跟踪的方法。最初，在步骤201中，激活场景内的光源。在本发明的一个或多个实施方案中，光源被附加到场景中的对象。在一个或多个实施方案中，光源发射频闪光，其不时改变强度和/或颜色。例如，频闪灯响应于光源被激活(例如，接通)而发出自由运行的光模式。在一个或多个实施方案中，与相机设备的帧速率相比，光源发射具有低重复率(例如10赫兹，20赫兹等)的频闪光。在一个或多个实施方案中，光源发射与相机设备的帧速率同步的频闪光。例如，可以基于从跟踪控制器和/或相机设备发送的触发信号来启动和/或同步频闪光。

在步骤202中，由相机设备捕获场景的图像序列。尤其是，对象在相机镜头的视场(FOV)内，并出现在图像序列中。例如，图像序列可以包括一连串静止图像或作为其一部分。在另一个示例中，图像序列可以包括视频记录或可以是视频记录的一部分。在一个或多个实施方案中，在光源发射频闪光的同时捕获场景的图像序列。在一个或多个实施方案中，基于光源的占空比和/或重复率来选择图像序列的帧速率，以使得连续图像(或序列中具有特定间隔的一对图像)包括光源的交替亮水平和暗水平，和/或交替颜色。例如，光源可以是自由运行的，并且基于自由运行光源的预定占空比和/或重复率来选择帧速率。在一个或多个实施方案中，相机设备的定时器用于根据所选择的帧速率来控制图像捕获。

在一个或多个实施方案中，基于图像序列的帧速率来选择光源的占空比和/或重复率，使得连续图像(或在序列中具有特定间隔的一对图像)包括光源的交替亮水平和暗水平，和/或交替颜色。例如，帧速率可以是预定的，并且光源例如基于来自相机设备的触发信号而与帧速率同步。

在步骤203中，基于图像序列的局部光变化模式，检测场景中的光源。具体地，从光源发射的频闪光引起由相机设备的光学传感器接收的光强度和/或颜色/波长的改变，从而引起图像序列中的局部光变化模式。在一个或多个实施方案中，调整频闪光的强度以控制在每个图像中发现局部强度变化模式的位置的大小。例如，位置大小可以被限制为FOV的水平和垂直尺寸的百分比(例如，1％，3％等)。在一个或多个实施方案中，定义位置和大小，在该位置和大小中，相机设备的光学传感器识别出的连续图像中交替亮水平和暗水平和/或交替颜色之差超过预定阈值。在一个或多个实施方案中，该位置被称为光源在图像中的位置。

在一个或多个实施方案中，例如由于室外太阳光，光源的光变化模式受到环境光的干扰。在这样的实施方案中，使用参考以下图2.2描述的方法从光学传感器输出提取光变化模式。

在一个或多个实施方案中，通过减去对应像素的强度和/或颜色/波长值来比较图像序列中的一对图像。具体地，强度和/或颜色值由光学传感器产生。特别地，从另一图像中的相应像素的强度和/或颜色值中减去一个图像中的像素的强度和/或颜色值以产生减法结果。选择在减法结果中发现交替的亮水平和暗水平和/或交替的颜色的差异的像素作为光源在图像中的位置的一部分。根据光源的占空比/重复率与图像序列的帧速率的关系，这对图像可以是连续图像，也可以是被特定数量的图像分开的两个图像，例如每三个图像等。

在步骤204中，分析图像序列以确定光源在至少一个图像中的位置以及光源在图像序列中的运动。在一个或多个实施方案中，基于相机设备的光学传感器识别出的图像序列中的交替的亮水平和暗水平和/或交替的颜色之差超过预定阈值的位置来确定光源的位置。在一个或多个实施方案中，基于图像序列中的位置的变化率来确定光源的运动。

在步骤205中，响应于检测光源，将光源的位置和至少一个图像内的目标位置进行比较以产生结果。在一个或多个实施方案中，结果包括从该位置到目标位置的位移。在一个或多个实施方案中，位移可以在图像序列中从一个图像到另一个图像变化，指示该对象是运动对象。在这样的实施方案中，例如，从一个图像到下一图像的位移随时间的变化率被计算为运动参数。

在步骤206中，基于用于定向相机设备的结果产生控制信号。在一个或多个实施方案中，控制信号被配置为在与位移相反的方向上调整相机镜头的方向。例如，如果该位移指示目标位置在图像内的光源位置的右侧，则控制信号将相机镜头的方向向左调整。在一个或多个实施方案中，控制信号被配置为在与位移相反的方向上调整相机相对于场景的相对位置。例如，如果位移指示目标位置在图像内光源位置的右侧，则控制信号将相机的相对位置向左调整。在一个或多个实施方案中，在微调由控制信号引起的调整量时考虑运动参数。

在步骤207中，将控制信号发送到安装有相机设备的相机设备支架(例如，倾斜和旋转设备或机械平台)。因此，在与位移相反的方向上调整相机镜头的方向或相机设备的相对位置。

在步骤208中，在相机设备的FOV内检测目标位置和光源之间的实质对准。特别地，实质对准是在与位移相反的方向上调整相机镜头的方向或相机设备的相对位置的结果。

在步骤209中，响应于检测实质对准，捕获场景的附加图像。在一个或多个实施方案中，相机设备以规则的重复率(即，帧速率)连续地捕获并输出连续的图像。在这样的实施方案中，被分析以产生控制信号的图像序列被限制为在附加图像之前的滚动时间窗口(例如，2个连续图像、5个连续图像、10个连续图像等的滚动序列)。随着时间的流逝，附加图像成为图像更新序列的一部分，用于产生更新的控制信号以连续跟踪FOV中的对象。

在一个或多个实施方案中，被分析以产生控制信号的图像序列被指定为控制信息，而不由相机设备输出。相反，相机设备输出其中光源(因此对象)与目标位置实质对准的附加图像。例如，控制信息可以与附加图像分开存储，直到被丢弃或以其他方式从相机设备移除为止。

在步骤210中，确定是否继续图像捕获。如果确定为肯定，即，将继续图像捕获，则该方法返回步骤202。如果确定为否定，即，将不继续图像捕获，则该方法结束。

图2.2示出了一种在环境光干扰下检测光源的方法。在一个或多个实施方案中，图2.2中描述的方法可以用于在例如由于室外太阳光的环境光的干扰下提取光源的光变化模式。例如，图2.2中描述的方法可以包括在以上图2.1描述的步骤203中。

最初在步骤211中，使用具有第一和第二感测矩阵的光学传感器捕获场景的图像。在本发明的一个或多个实施方案中，第一和第二感测矩阵对应于通过可见光波段滤光器接收光的RGB传感器的一部分。特别地，选择可见光波段滤光器以减少在至少一个可见光波段中的光透射，例如绿色波长范围或任何其他预定的可见光波长范围。与可见光波段滤光器配合，第一感测矩阵包括一个或多个对至少一个可见光波段(例如，绿色波长范围)敏感的光敏通道(例如，G通道)。相反，第二感测矩阵包括对至少一个可见光波段不敏感的一个或多个光敏通道(例如，R或B通道)。在一个或多个实施方案中，具有与IR波段实质相似的灵敏度的所有光敏通道的RGB传感器被用于捕获图像。

在本发明的一个或多个实施方案中，第一和第二感测矩阵对应于RGB-IR传感器的可见光感测矩阵和红外(IR)感测矩阵。例如，第一感测矩阵可以包括R、G或B通道中的一个或多个，而第二感测矩阵可以包括IR通道。

在一个或多个实施方案中，场景包括环境光，该环境光干扰附加到对象的光源。因此，图像包括与环境光一致的色调特性。例如，色调特性包括来自太阳的辐射的波长谱中的强度分布。

在步骤212中，分析图像的第一像素以从第一和第二感测矩阵检测不均衡的像素感测值。在使用RGB传感器的实施方案中，不均衡的像素感测值由RGB传感器响应于来自由可见光波段滤光器过滤的环境光的光照而产生，以在至少一个可见光波段中具有降低的水平。在使用RGB-IR传感器的其他实施方案中，不均衡的像素感测值是由RGB-IR传感器响应于来自环境光的光照而产生的，环境光在IR波段比在至少一个可见光波段具有更低的水平(例如5％或其他预定百分比)。

在步骤213中，分析图像的第二像素以从第一和第二感测矩阵检测均衡的像素感测值。在使用RGB传感器的实施方案中，均衡的像素感测值是由RGB传感器响应于来自光源的光照而产生的，该光源具有与至少一个可见光波段分开的波长范围。特别地，第一感测矩阵(例如，G通道)和第二感测矩阵(例如，R或B通道)在不可见波长范围内例如红外范围内具有均衡的响应(例如，小于5％或其他预定的百分比差)

在使用RGB-IR传感器的其他实施方案中，响应于来自具有不可见波长范围的光源的光照，由RGB-IR传感器产生均衡的像素感测值。特别地，第一感测矩阵(例如，R、G或B通道)和第二感测矩阵(例如，IR通道)在不可见波长中例如IR范围具有均衡(例如，小于5％或其他预定百分比差)的响应。

在步骤214中，将不均衡的像素感测值与均衡的像素感测值进行比较以产生结果。在一个或多个实施方案中，结果包括其中每个像素具有不均衡的像素感测值的图像的第一部分和其中每个像素具有均衡的像素感测值的图像的第二部分。

在步骤215中，将图像的第一部分(与不均衡的像素感测值相关联，例如第一像素)确定为与场景的背景相对应，并且将图像的第二部分(与均衡的像素感测值相关联，例如第二像素)被确定为与预定光源相对应。

图3.1、3.2、3.3、3.4、4、5和6示出了根据本发明的一个或多个实施方案的各种示例。图3.1-6所示的示例可以例如基于上面的图1.1和1.2以及图2.1和2.2中描述的方法流程图中描绘的一个或多个组件。对图1至图5的以下描述包括以下内容。图3.1-6的下列描述是指以上图1.1-1.3中描绘的各种组件。在一个或多个实施方案中，图3.1-6中所示的模块和元件中的一个或多个可以被省略、重复和/或替换。因此，本发明的实施方案不应被认为限于图3.1-6所示的模块的特定布置。

图3.1示出了检测用于对象跟踪的双波段红外光源的示例。在一个示例场景中，使用双通道滤光器以允许IR波长范围通过，并允许特定可见光波长范围(例如，绿色或蓝色)通过。目的是从具有完整反射光谱的复杂背景(包括可见光和红外光)中仅分离IR光源信号。

如图3.1所示，环境光143a可能是由室外场景中太阳的辐射光谱引起的。为光源143选择940纳米(nm)波长，以利用940nm处相对较低强度的太阳辐射光谱。在日光环境中，环境光强度可能足够高超过光敏元件的检测最大值，从而引起捕获的图像曝光过度。曝光过度的图像不能用于检测场景中的光源143。

在光学传感器113是RGB传感器的一个示例场景中，使用具有以下图3.2所示的双波段透射曲线(dual band transmission profile)320的滤光器112。特别地，图3.2中的水平轴和垂直轴分别对应于滤光器112的波长和透射率。双波段透射曲线320包括分别在530nm(绿光)和940nm(IR)的波段A 112a和波段B 112b。环境光143a穿过滤光器112的波段112a，由RGB传感器捕获，从而产生不均衡的像素感测值(即，每个像素具有比R和B通道更高的G通道感测值)。例如，某些不均衡的像素感测值可以对应于背景144中的树叶。相反，光源发射143b穿过滤光器112的波段B 112b，由RGB传感器捕获，从而产生均衡的像素感测值(即，每个像素对于R、G、和B频道)。因此，光源143和背景144由硬件处理器121区分，以确定光源143在图像A 126a内的对应位置。该示例方法提供了RGB传感器的低成本优势；但是，使用530nm绿色滤光器，捕获的图像具有绿色色调，并且未经后期处理无法使用。

在光学传感器113是具有以下图3.2所示的传感器曲线321的RGB-IR传感器的另一示例场景中，未使用滤光器112。在图3.2中，水平轴对应于波长，而垂直轴对应于RGB-IR传感器的每个通道的传感器灵敏度。特别地，R通道321a在红光和IR的范围内敏感，G通道321b在绿光和IR的范围内敏感，以及B通道321c在蓝光和IR的范围内敏感。相反，IR通道321d仅在IR范围内敏感。特别地，尽管IR、R、G和B通道响应于可见波长产生不同水平的感测值，但是IR、R、G和B通道响应于IR波长产生相似的感测值水平。因此，由RGB-IR传感器捕获的环境光143a产生不均衡的像素感测值(即，每个像素的IR通道感测值低于R、G和B通道的至少一个感测值)。例如，某些不均衡的像素感测值可以对应于背景144中的树叶。相反，由RGB-IR传感器捕获的光源发射143b产生均衡的像素感测值(即，每个像素对于IR、R、G和B通道具有相似的感测值)。因此，光源143和背景144由硬件处理器121区分，以确定光源143在图像A126a内的对应位置。

图3.3示出了电动摄像机移动设备支架210，作为以上图1.1中所示的相机设备支架130的示例。另外，由电动相机移动设备支架210机械地保持的相机移动设备201(例如，具有相机镜头220)的智能手机是以上图1.1所示的相机设备110的示例。在本发明的一个或多个实施方案中，电动相机移动设备支架210是机电组件，其包括支架221、倾斜轴203、托架(bracket)204、旋转轴209和支架(stand)222。支架221被构造成机械地保持相机移动设备201并且机械地联接至倾斜轴203。支架222被配置为在放置在固体表面上时保持电动相机移动设备支架210的机械稳定性。尽管未明确示出，但是托架204容纳耦合至倾斜轴203的倾斜电机、耦合至旋转轴209的旋转电机、以及被配置为与图1.1中描述的相机设备110和/或跟踪控制器120通信的通信接口。例如，通信接口可以基于蓝牙、NFC、USB或其他无线/有线通信接口。在一个或多个实施方案中，响应于经由通信接口从跟踪控制器120接收到的控制信号，旋转轴209可通过旋转电机绕旋转轴209-1旋转。类似地，响应于经由通信接口从跟踪控制器120接收到的控制信号，倾斜轴203可通过倾斜电机绕倾斜轴203-1旋转。响应于使支架221围绕倾斜轴203-1倾斜和/或使支架221与倾斜轴203和托架204一起围绕旋转轴209-1旋转，可以调整相机镜头220的方向。因此，根据相机镜头220的方向来调整相机镜头220的FOV 220-1。

图3.4示出了作为以上图1.1所示的相机设备支架130的示例的相机移动设备手持式手柄800。另外，由相机移动设备手持式手柄800机械地保持的相机移动设备201(例如，具有相机镜头220的智能电话)是以上图1.1中描绘的相机设备110的示例。在本发明的一个或多个实施方案中，相机移动设备手持式手柄800是一种机电组件，包括支架221、倾斜轴203、倾斜电机213、旋转轴209、旋转电机219和手持式手柄222。支架221被构造成机械地保持相机移动设备201并机械地联接至倾斜轴203。手持式手柄222被配置为在被观看者手持时保持相机移动设备手持式手柄800的机械稳定性。尽管未明确示出，但是手持式手柄222包括通信接口，该通信接口被配置为与以上图1.1所示的相机设备110和/或跟踪控制器120通信。例如，通信接口可以基于蓝牙、NFC、USB或其他无线/有线通信接口。在一个或多个实施方案中，旋转轴209响应于经由通信接口从跟踪控制器120接收到的控制信号，由旋转电机219绕旋转轴209-1旋转。类似地，倾斜轴203响应于经由通信接口从跟踪控制器120接收到的控制信号而由倾斜电机213绕倾斜轴203-1是可旋转的。响应于使支架221围绕倾斜轴203-1倾斜和/或使支架221与倾斜轴203和倾斜电机213一起围绕旋转轴209-1，可以调整相机镜头220的方向。因此，根据相机镜头220的方向来调整相机镜头220的FOV 220-1。

图4示出了以上图1.1和1.2所示的光源143的光变化模式124的示例。如图4所示，水平轴对应于时间，垂直轴对应于光强度。特别是，光变化模式124是随着时间在亮水平(light level)400a和暗水平(dark level)400b之间交替的光强度(例如IR强度)的模式。例如，光强度的亮水平400a在时间段A 410上维持，并且可以一定的重复率随时间重复出现。当光强度随时间在亮水平400a和暗水平400b之间交替时，相机设备会定期捕获图像序列。例如，可以在彼此分开时间段B 420、时间段C 430，等的时间点A 401a、时间点B 401b、时间点C 401c等处捕获序列中的连续图像。具体而言，时间段A 410包含至少一个图像捕获时间点，例如时间点B 401b。尽管在图4中描绘的光变化模式124是光强度变化的模式，但是在其他示例中，光变化模式124也可以包括颜色变化(例如IR波长变化)。换句话说，亮水平400a和暗水平400b可以用不同的颜色(即波长)代替或补充以表示颜色变化。

图5示出了以上图1.1和1.2中描绘的场景140的图像序列126的示例。如图5所示。图像序列126包括在以上图4描述的时间点A 401a、时间点B 401b、时间点C 401c等捕获的图像A 126a、图像B 126b、图像C 126c等。根据参考以上图4描述的光变化模式124的示例，光源143在图像A 126a、图像B 126b、图像C 126c等中标记为“a”的位置处显示为交替的暗点和亮点。相反，像素感测值在图像A 126a、图像B 126b、图像C 126c等中标记为“b”的另一个位置实质保持恒定。例如，可以通过减去图像A 126a和图像B 126b中的对应像素的感测值来确定标记为“a”的位置以产生减法结果126d。类似地，可以通过减去图像B 126b和图像C 126c中的对应像素的感测值以产生减法结果126d来进一步确定标记为“a”的位置。在减法结果126d中，黑色表示无差异，而白色表示非零差异。因此，光源的位置对应于减法结果126d中的白点。

进一步如图5所示，将每个图像的中心定义为目标位置127。因此，从标记为“a”的位置到目标位置127的距离对应于位移125。图5所示的标记为“a”的位置、目标位置127和位移125分别是以上图5所描述的位置A 127a、目标位置127和位移125的示例。在一个或多个实施方案中，标记为“a”的位置在图像A 126a、图像B 126b、图像C 126c等之间变化。标记为“a”的位置在图像A 126a、图像B 126b、图像C 126c等上的变化率对应于以上图1.2所示的运动参数128。

图6示出了示例视频记录600的示例，其包括参考以上图4描述的图像序列126的示例。在示例场景中，目标位置是图像的中心。如图6所示，在图像序列126中的图像(例如，图像A 126a)的左侧部分的位置处识别光源143。特别地，光源143由男性(即，对象142)的两只手握持。例如，基于以上图5所示的图像A 126a、图像B 126b、图像C 126c等中的交替的暗点和亮点来识别光源143的位置。换句话说，光源143对应于图5所示的图像A 126a、图像B126b、图像C 126c等中标记为“a”的位置。因为目标位置(即，图像中心)在光源位置的右侧，所以对象跟踪控制器120被配置为将相机设备110朝向左侧定向，使得男性(即，握持光源143的对象142)出现在图像的中心。因此，基于所识别的光源143的位置“a”来调整相机设备110的方向，使得对象142出现在图像X 126x的中心。

本发明的实施方案可以在计算系统上实现。可以使用移动设备、台式机、服务器、路由器、交换机、嵌入式设备或其他类型的硬件的任何组合。例如，如图7.1所示，计算系统700可以包括一个或多个计算机处理器702、非持久性存储器704(例如，易失性存储器，诸如随机存取存储器(RAM)、高速缓存存储器)、持久性存储器706(例如，硬盘，诸如光盘(CD)驱动器或数字多功能盘(DVD)驱动器之类的光盘驱动器、闪存等)、通信接口712(例如，蓝牙接口、红外接口、网络接口、光接口等)以及许多其他元件和功能。

计算机处理器702可以是用于处理指令的集成电路。例如，一个或多个计算机处理器可以是处理器的一个或多个核心或微核心。计算系统700还可以包括一个或多个输入设备710，例如触摸屏键盘鼠标麦克风触摸板电子笔或任何其他类型的输入设备。

通信接口712可以包括用于将计算系统700连接到网络(未示出)(例如，局域网(LAN)，例如互联网、移动网络或任何其他类型的网络)和/或连接到另一个设备，例如另一个计算设备。

此外，计算系统700可以包括一个或多个输出设备708，例如屏幕(例如，液晶显示器(LCD)、等离子显示器、触摸屏、阴极射线管(CRT)监视器、投影仪或其他显示设备)、打印机、外部存储设备或其他任何输出设备。一个或多个输出设备可以与输入设备相同或不同。输入和输出设备可以本地或远程地连接到计算机处理器702、非持久性存储器704和持久性存储器706。存在许多不同类型的计算系统，并且前述输入和输出设备可以采取其他形式。

用于执行本发明的实施方案的计算机可读程序代码形式的软件指令可以全部或部分地临时或永久地存储在非暂时性计算机可读介质上，例如CD、DVD、存储设备、软盘、磁带、闪存、物理内存或任何其他计算机可读存储介质。具体地，软件指令可以对应于计算机可读程序代码，其在被处理器执行时被配置为执行本发明的一个或多个实施方案。

图7.1中的计算系统700可以连接到网络或成为网络的一部分。例如，如图7.2所示，网络720可以包括多个节点(例如，节点X722、节点Y724)。每个节点可以对应于计算系统，使得图7.1中所示的计算系统或者组合的一组节点可以对应于图7.1中所示的计算系统。举例来说，本发明的实施方案可以在连接到其他节点的分布式系统的节点上实现。作为另一示例，本发明的实施方案可以在具有多个节点的分布式计算系统上实现，其中本发明的每个部分可以位于分布式计算系统内的不同节点上。此外，前述计算系统700的一个或多个元件可以位于远程位置并通过网络连接到其他元件。

尽管未在图7.2中示出，该节点可以对应于服务器机箱中的刀片，该刀片服务器通过底板连接到其他节点。作为另一示例，该节点可以对应于数据中心中的服务器。作为另一示例，该节点可以对应于具有共享存储器和/或资源的计算机处理器或计算机处理器的微核。

网络720中的节点(例如，节点X722、节点Y724)可以被配置为为客户端设备726提供服务。例如，节点可以是云计算系统的一部分。所述节点可以包括以下功能：从客户端设备726接收请求并且将响应发送到客户端设备726。客户端设备726可以是计算系统，例如图7.1中所示的计算系统。此外，客户端设备726可以包括和/或执行本发明的一个或多个实施方案的全部或一部分。

在图7.1和7.2中描述的计算系统或一组计算系统可以包括执行本文公开的各种操作的功能。例如，一个或多个计算系统可以在相同或不同系统上的进程之间执行通信。采用某种形式的主动或被动通信的各种机制可以促进同一设备上进程之间的数据交换。代表这些进程间通信的示例包括但不限于文件、信号、套接字、消息队列、管道、信号灯、共享内存，消息传递和内存映射文件的实现。

图7.1中的计算系统可以实现和/或连接到数据存储库。例如，一种类型的数据存储库是数据库。数据库是为简化数据检索、修改、重组和删除而配置的信息的集合。数据库管理系统(DBMS)是一个软件应用程序，它为用户提供了定义、创建、查询、更新或管理数据库的界面。

用户或软件应用程序可以向DBMS提交语句或查询。然后，DBMS解释该语句。该语句可以是用于请求信息的选择语句、更新语句、创建语句、删除语句等。此外，该语句可以包括指定数据或数据容器(数据库、表、记录、列、视图等)的参数、标识符、条件(比较运算符)、函数(例如，联接、完全联接、计数、平均等)、排序(例如，升序、降序)或其他。DBMS可以执行该语句。例如，DBMS可以访问存储缓冲区，引用或索引文件以进行读取、写入、删除或其任何组合，以响应该语句。DBMS可以从持久性或非持久性存储中加载数据，并执行计算以响应查询。DBMS可以将结果返回给用户或软件应用程序。

以上对功能的描述仅呈现了由图7.1的计算系统和图7.1和图7.2中的节点和/或客户端设备执行的功能的一些示例。可以使用本发明的一个或多个实施方案来执行其他功能。

虽然已经用有限数量的实施方案描述了本发明，但是受益于本发明的本领域技术人员将理解，可以设计出不脱离所公开的本发明的范围的其他实施方案。因此，本发明的范围应仅由所附权利要求书限制。

Claims (23)

1.一种用于对象跟踪的方法，包括：

使用包括第一和第二感测矩阵的光学传感器捕获场景的图像；

分析所述图像的第一像素以从第一和第二感测矩阵检测不均衡的像素感测值；

分析所述图像的第二像素以从第一和第二感测矩阵检测均衡的像素感测值；

比较所述不均衡的像素感测值与均衡的像素感测值以产生结果；和

基于所述结果，确定与所述第一像素相关联的场景的第一部分对应于场景的背景，并且与所述第二像素相关联的场景的第二部分对应于预定光源。

2.根据权利要求1所述的方法，

其中所述第一和第二感测矩阵对应于通过可见光波段滤光器接收光的RGB传感器的一部分，其中所述可见光波段滤光器减少了至少一个可见光波段中的光透射，

其中所述不均衡的像素感测值是由RGB传感器响应于来自环境光的光照而产生的，其在至少一个可见光波段中具有降低的水平，以及

其中所述均衡的像素感测值是由RGB传感器响应于来自波长范围与至少一个可见光波段分开的预定光源的光照而产生的，所述第一和第二感测矩阵在所述波长范围内具有均衡的响应。

3.根据权利要求1所述的方法，

其中所述第一和第二感测矩阵分别对应于RGB-IR传感器的可见光感测矩阵和红外(IR)感测矩阵，

其中所述不均衡的像素感测值是由RGB-IR传感器响应于来自环境光的光照而产生的，所述环境光引起来自IR感测矩阵的传感器响应低于来自可见光感测矩阵的传感器响应，以及

其中所述均衡的像素感测值是由RGB-IR传感器响应于来自预定光源的光照而产生的，所述预定光源引起来自IR感测矩阵和可见光感测矩阵的实质相同的传感器响应。

4.根据权利要求3所述的方法，

其中所述图像包括与环境光一致的色调特征，以及

其中，所述预定光源在图像中不可见。

5.根据权利要求1所述的方法，还包括：

使用包含光学传感器的相机设备，捕获包含图像的图像序列；

基于图像序列中的局部光变化模式，检测场景中的预定光源；

响应于检测到所述预定光源，比较所述预定光源在图像序列的至少一个图像中的位置和在至少一个图像内的目标位置以产生结果；和

基于所述结果，生成用于改变相机设备的视场的控制信号，以使所述预定光源与视场内的目标位置实质对准。

6.根据权利要求5所述的方法，还包括：

发送控制信号至安装有相机设备的相机设备支架；

响应于发送控制信号，检测视场内目标位置与预定光源之间实质对准；和

使用相机设备并响应于检测到实质对准来进一步捕获场景的附加图像，

其中，所述预定光源被附加到场景中的对象上，使得所述对象出现在附加图像中的目标位置处。

7.根据权利要求5所述的方法，

其中所述图像序列中的局部光变化模式是由预定光源发出的频闪光产生的。

8.根据权利要求1所述的方法，

其中所述均衡的像素感测值包括至少两个像素感测值，其相差小于预定阈值，以及

其中所述不均衡的像素感测值包括至少两个像素感测值，其相差大于预定阈值。

9.一种跟踪控制器，包括：

计算机处理器；和

存储指令的存储器，其在执行时使计算机处理器执行以下操作：

从包括第一和第二感测矩阵的光学传感器获得场景的图像；

分析图像的第一像素以从第一和第二感测矩阵检测不均衡的像素感测值；

分析图像的第二像素以从第一和第二感测矩阵检测均衡的像素感测值；

比较所述不均衡像素感测值与均衡像素感测值以产生结果；以及

基于所述结果，确定与所述第一像素相关联的场景的第一部分对应于场景的背景，以及与所述第二像素相关联的场景的第二部分对应于预定光源。

10.根据权利要求9所述的跟踪控制器，

其中所述第一和第二感测矩阵对应于通过可见光波段滤光器接收光的RGB传感器的一部分，其中所述可见光波段滤光器减少了至少一个可见光波段中的光透射，

其中所述不均衡的像素感测值是由RGB传感器响应于来自环境光的光照而产生的，其在至少一个可见光波段中具有降低的水平，以及

其中所述均衡的像素感测值是由RGB传感器响应于来自预定光源的光照而产生的，所述预定光源的波长范围与至少一个可见光波段分开，所述第一和第二感测矩阵在该波长范围内具有均衡的响应。

11.根据权利要求9所述的跟踪控制器，

其中所述第一和第二感测矩阵分别对应于RGB-IR传感器的可见光感测矩阵和红外(IR)感测矩阵，

其中所述不均衡的像素感测值是由RGB-IR传感器响应于来自环境光的光照而产生的，所述环境光引起来自IR感测矩阵的传感器响应低于来自可见光感测矩阵的传感器响应，以及

其中所述均衡的像素感测值是由RGB-IR传感器响应于来自预定光源的光照而产生的，所述预定光源引起来自IR感测矩阵和可见光感测矩阵的实质相同的传感器响应。

12.根据权利要求11所述的跟踪控制器，

其中所述图像包括与环境光一致的色调特征，以及

其中所述预定光源在图像中不可见。

13.根据权利要求9所述的跟踪控制器，所述指令在被执行时还使所述计算机处理器执行以下操作：

从包含光学传感器的相机设备获取含有图像的图像序列；

基于图像序列中的局部光变化模式，检测场景中的光源；

响应于检测光源，比较光源在图像序列的至少一幅图像中的位置和在至少一幅图像内的目标位置以产生结果；和

基于所述结果，生成用于改变相机设备的视场的控制信号，以使得光源与视场内的目标位置实质对准。

14.根据权利要求13所述的跟踪控制器，所述指令在被执行时还使所述计算机处理器执行以下操作：

发送控制信号至安装有相机设备的相机设备支架；

检测视场内目标位置与光源之间实质对准；和

响应于检测到实质对准，使相机设备进一步捕获场景的附加图像，

其中，所述光源被附加到场景中的对象，使得所述对象出现在附加图像中的目标位置。

15.根据权利要求13所述的跟踪控制器，

其中所述图像序列中的局部光变化模式是由光源发出的频闪光产生的。

16.根据权利要求9所述的跟踪控制器，

其中所述均衡的像素感测值包括至少两个像素感测值，其相差小于预定阈值，以及

其中所述不均衡的像素感测值包括至少两个像素感测值，其相差大于预定阈值。

17.一种非暂时性计算机可读介质，其存储用于对象跟踪的指令，所述指令在由计算机处理器执行时包括用于执行以下操作的功能：

从包含第一和第二感测矩阵的光学传感器获得场景的图像；

分析图像的第一像素以从第一和第二感测矩阵检测不均衡的像素感测值；

分析图像的第二像素以从第一和第二感测矩阵检测均衡的像素感测值；

比较所述不均衡像素感测值与均衡像素感测值以产生结果；以及

基于所述结果，确定与所述第一像素相关联的场景的第一部分对应于场景的背景，以及与所述第二像素相关联的场景的第二部分对应于预定光源。

18.根据权利要求17所述的非暂时性计算机可读介质，所述指令，

其中所述第一和第二感测矩阵对应于通过可见光波段滤光器接收光的RGB传感器的一部分，其中所述可见光波段滤光器减少了至少一个可见光波段中的光透射，

其中所述不均衡的像素感测值是由RGB传感器响应于来自环境光的光照而产生的，其在至少一个可见光波段中具有降低的水平，以及

其中，所述均衡的像素感测值是由RGB传感器响应于来自预定光源的光照而产生的，所述预定光源的波长范围与至少一个可见光波段分开，所述第一和第二感测矩阵在该波长范围内具有均衡的响应。

19.如权利要求17所述的非暂时性计算机可读介质，

其中所述第一和第二感测矩阵分别对应于RGB-IR传感器的可见光感测矩阵和红外(IR)感测矩阵，

其中所述不均衡的像素感测值是由RGB-IR传感器响应于来自环境光的光照而产生的，所述环境光引起来自IR感测矩阵的传感器响应低于来自可见光感测矩阵的传感器响应，以及

其中所述均衡的像素感测值是由RGB-IR传感器响应于来自预定光源的光照而产生的，所述预定光源导致来自IR感测矩阵和可见光感测矩阵的实质相同的传感器响应。

20.根据权利要求19所述的非暂时性计算机可读介质，

其中所述图像包括与环境光一致的色调特征，以及

其中所述预定光源在图像中不可见。

21.根据权利要求17所述的非暂时性计算机可读介质，所述指令在由所述计算机处理器执行时还包括用于执行以下操作的功能：

从包含光学传感器的相机设备获取含有图像的图像序列；

基于图像序列中的局部光变化模式，检测场景中的光源；

响应于检测到光源，比较光源在图像序列的至少一幅图像中的位置和在至少一幅图像内的目标位置以产生结果；和

基于所述结果，生成用于改变相机设备的视场的控制信号，以使光源与视场内的目标位置实质对准。

22.根据权利要求21所述的非暂时性计算机可读介质，所述指令在由所述计算机处理器执行时还包括执行以下操作的功能：

发送控制信号至安装有相机设备的相机设备支架；

响应于发送控制信号，检测视场内目标位置与光源之间实质对准；和

使用相机设备并响应于检测到实质对准来进一步捕获场景的附加图像，

其中所述光源被附加到场景中的对象，以使所述对象出现在附加图像中的目标位置，以及

其中所述图像序列中的局部光变化模式是由光源发出的频闪光产生的。

23.根据权利要求17所述的非暂时性计算机可读介质，

其中所述均衡的像素感测值包括至少两个像素感测值，其相差小于预定阈值，以及

其中所述不均衡的像素感测值包括至少两个像素感测值，其相差大于预定阈值。