CN205080731U - 用于遥控交通工具的系统 - Google Patents

Abstract

本实用新型提供了一种用于遥控交通工具的系统。该遥控交通工具系统可包括诸如图像辅助的遥控交通工具的运动控制的装置和遥控装置。该运动控制的装置可包括一个或多个成像模块，例如热成像模块和/或非热成像模块。可以使用红外成像模块来捕获轨道的一部分的红外图像。可以基于所述边界来修改所述交通工具的操作。以这种方式来修改交通工具的操作可以使远程控制的交通工具便于使用槽轨车轨道组、提供遥控汽车的灵活性和使用户能够涉及他们自己的轨道的能力。

Description

用于遥控交通工具的系统

相关申请的交叉引用

本申请是申请号为14/101,245，申请日为2013年12月9日，题为“LOWPOWERANDSMALLFORMFACTORINFRAREDIMAGING”的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

申请号为14/101,245的美国专利申请是申请号为PCT/US2012/041744，申请日为2012年6月8日，题为“LOWPOWERANDSMALLFORMFACTORINFRAREDIMAGING”的国际专利申请的继续申请，通过引用的方式将其作为整体合并于此。

国际专利申请No.PCT/US2012/041744要求申请号为61/656,889，申请日为2012年6月7日，题为“LOWPOWERANDSMALLFORMFACTORINFRAREDIMAGING”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

国际专利申请No.PCT/US2012/041744要求申请号为61/545,056，申请日为2011年10月7日，题为“NON-UNIFORMITYCORRECTIONTECHNIQUESFORINFRAREDIMAGINGDEVICES”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

国际专利申请No.PCT/US2012/041744要求申请号为61/495,873，申请日为2011年6月10日，题为“INFRAREDCAMERAPACKAGINGSYSTEMSANDMETHODS”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

国际专利申请No.PCT/US2012/041744要求申请号为61/495,879，申请日为2011年6月10日，题为“INFRAREDCAMERASYSTEMARCHITECTURES”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

国际专利申请PCT/US2012/041744要求申请号为61/495,888，申请日为2011年6月10日，题为“INFRAREDCAMERACALIBRATIONTECHNIQUES”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

本申请是申请号为14/099,818，申请日为2013年12月6日，题为“NON-UNIFORMITYCORRECTIONTECHNIQUESFORINFRAREDIMAGINGDEVICES”的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

申请号为14/099,818的美国专利申请是申请号为PCT/US2012/041749，申请日为2012年6月8日，题为“NON-UNIFORMITYCORRECTIONTECHNIQUESFORINFRAREDIMAGINGDEVICES”的国际专利申请的继续申请，通过引用的方式将其作为整体合并于此。

国际专利申请PCT/US2012/041749要求申请号为61/545,056，申请日为2011年10月7日，题为“NON-UNIFORMITYCORRECTIONTECHNIQUESFORINFRAREDIMAGINGDEVICES”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

国际专利申请PCT/US2012/041749要求申请号为61/495,873，申请日为2011年6月10日，题为“INFRAREDCAMERAPACKAGINGSYSTEMSANDMETHODS”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

国际专利申请PCT/US2012/041749要求申请号为61/495,879，申请日为2011年6月10日，题为“INFRAREDCAMERASYSTEMARCHITECTURES”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

国际专利申请PCT/US2012/041749要求申请号为61/495,888，申请日为2011年6月10日，题为“INFRAREDCAMERACALIBRATIONTECHNIQUES”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

本申请是申请号为14/101,258，申请日为2013年12月9日，题为“INFRAREDCAMERASYSTEMARCHITECTURES”的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

美国专利申请14/101,258是申请号为PCT/US2012/041739，申请日为2012年6月8日，题为“INFRAREDCAMERASYSTEMARCHITECTURES”的国际专利申请的继续申请，通过引用的方式将其作为整体合并于此。

国际专利申请PCT/US2012/041739要求申请号为61/495,873，申请日为2011年6月10日，题为“INFRAREDCAMERAPACKAGINGSYSTEMSANDMETHODS”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

国际专利申请PCT/US2012/041739要求申请号为61/495,879，申请日为2011年6月10日，题为“INFRAREDCAMERASYSTEMARCHITECTURES”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

国际专利申请PCT/US2012/041739要求申请号为61/495,888，申请日为2011年6月10日，题为“INFRAREDCAMERACALIBRATIONTECHNIQUES”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

本申请是申请号为13/437,645，申请日为2012年4月2日，题为“INFRAREDRESOLUTIONANDCONTRASTENHANCEMENTWITHFUSION”的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

美国专利申请13/437,645是申请号为13/105,765，申请日为2011年5月11日，题为“INFRAREDRESOLUTIONANDCONTRASTENHANCEMENTWITHFUSION”的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

美国专利申请13/437,645还要求申请号为61/473,207，申请日为2011年4月8日，题为“INFRAREDRESOLUTIONANDCONTRASTENHANCEMENTWITHFUSION”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

美国专利申请13/437,645还是申请号为12/766,739，申请日为2010年4月23日，题为“INFRAREDRESOLUTIONANDCONTRASTENHANCEMENTWITHFUSION”的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

美国专利申请13/105,765是申请号为PCT/EP2011/056432，申请日为2011年4月21日，题为“INFRAREDRESOLUTIONANDCONTRASTENHANCEMENTWITHFUSION”的国际专利申请的继续申请，通过引用的方式将其作为整体合并于此。

美国专利申请13/105,765还是申请号为12/766,739的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

国际专利申请No.PCT/EP2011/056432是申请号为12/766,739的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

国际专利申请No.PCT/EP2011/056432还要求申请号为61/473,207的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

本申请是申请号为14/138,058，申请日为2013年12月21日，题为“COMPACTMULTI-SPECTRUMIMAGINGWITHFUSION”的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

美国专利申请No.14/138,058要求申请号为61/748,018，申请日为2012年12月31日，题为“COMPACTMULTI-SPECTRUMIMAGINGWITHFUSION”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

本申请是申请号为12/477,828，申请日为2009年6月3日，题为“INFRAREDCAMERASYSTEMSANDMETHODSFORDUALSENSORAPPLICATIONS”的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

本申请是申请号为14/138,040，申请日为2013年12月21日，题为“TIMESPACEDINFRAREDIMAGEENHANCEMENT”的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

美国专利申请No.14/138,040要求申请号为61/792,582，申请日为2013年3月15日，题为“TIMESPACEDINFRAREDIMAGEENHANCEMENT”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

美国专利申请No.14/138,040还要求申请号为61/746,069，申请日为2012年12月26日，题为“TIMESPACEDINFRAREDIMAGEENHANCEMENT”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

本申请是申请号为14/138,052，申请日为2013年12月21日，题为“INFRAREDIMAGINGENHANCEMENTWITHFUSION”的美国专利申请的部分继续申请，通过引用的方式将其作为整体合并于此。

美国专利申请No.14/138,052要求申请号为61/793,952，申请日为2013年3月15日，题为“INFRAREDIMAGINGENHANCEMENTWITHFUSION”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

美国专利申请No.14/138,052还要求申请号为61/746,074，申请日为2012年12月26日，题为“INFRAREDIMAGINGENHANCEMENTWITHFUSION”的美国临时专利申请的权益，通过引用的方式将其作为整体合并于此。

技术领域

本实用新型的一个或多个实施方式总体涉及一种红外成像装置，更具体地涉及例如图像辅助的用于遥控交通工具的系统。

背景技术

遥控交通工具(例如，远程控制的汽车)一般包括用户使用遥控装置操作的交通工具。这些遥控交通工具可包括可自由控制的交通工具或槽轨车交通工具。

可自由控制的遥控交通工具可以给用户(尤其是幼年儿童和习惯于视频游戏控制的用户，在视频游戏控制中交通工具被限制于轨道)在交通工具的导向控制和速度方面提供很多的灵活性以享受乐趣。例如，用户可能发现难于控制遥控交通工具已与其他遥控交通工具竞速，原因其难以停留在轨道上。另一方面，有轨道上的凹槽或狭槽引导的槽轨车的灵活性可能不利地被限制，原因是它们缺乏导向控制。因此，用户在它们开始游玩槽轨车后一般都会感到无趣。

因此，期望提供一种改进的遥控交通工具。

实用新型内容

公开了用于图像辅助的遥控交通工具的系统和方法的各种实施方式。图像辅助的遥控交通工具系统可包括运动控制的装置(例如图像辅助的遥控交通工具)和遥控装置(遥控器)，使用遥控装置可以操作运动控制的装置。运动控制的装置可以包括一个或多个成像模块，例如热成像模块和/或非热成像模块。

图像辅助的遥控交通工具系统可以是用于由红外成像和/或图像辅助的遥控装置(例如，具有安装的红外成像模块的运动控制的装置)辅助的遥控交通工具的系统。运动控制的装置可以是行进在陆地、水和/或空中的遥控交通工具，例如汽车、船、潜艇、直升机、飞机等。

图像辅助的遥控交通工具系统可包括控制交通工具的遥控器。遥控器可以与交通工具无线通信。遥控器包括输入部件，例如用于用户输入交通工具的方向和速度的实体控件或触摸屏。在一些实施方式中，遥控器包括移动装置，例如移动电话、平板电脑等。

可以处理图像(例如，使用红外成像模块捕获的红外图像)以检测边界，例如轨道的边界。例如，可以在运动控制的装置的操作过程中使用红外成像模块捕获红外图像。可以通过检测顺序捕获的图像之间的变化(例如，因为在图像中出现在先前捕获的图像中未出现过的轨道的边界)和/或通过直接检测捕获的图像中的边界(例如，通过检测图像中的边缘或者通过检测边界的温度、颜色或其他已知特性)来检测所述边界。

图像辅助的遥控交通工具系统可包括一个或多个处理器，并且一个或多个处理器中的每一个都可以布置在交通工具中或在遥控器上。一个或多个处理器处理红外图像并检测边界。当检测到边界时，一个或多个处理器可操作以基于该边界修改交通工具的操作。一个或多个处理器可操作以例如在交通工具接近该边界时减小交通工具的速度和/或远离该边界转向。以这种方式，红外成像模块能够用于辅助交通工具停留在边界内。

在一个实施方式中，图像辅助的遥控交通工具系统可以实施为遥控交通工具，其由红外成像辅助以停留在轨道的航道内。例如，一个或多个处理器可以配置成确定由交通工具每一侧上的边界限定的航道。一个或多个处理器可以通过减小航道和行进方向之间的角度来改变交通工具的操作从而将交通工具保持在航道内。

在一个实施方式中，提供了一种系统，其包括遥控交通工具；安装在遥控交通工具上的红外成像模块，其中红外成像模块配置成捕获轨道的一部分的红外图像；以及配置成与红外成像模块通信的处理器，其中所述处理器配置成：使用红外图像检测轨道的边界；以及基于所述边界修改遥控交通工具的操作。

在一个实施方式中，提供了一种用于遥控交通工具的系统，其包括：遥控交通工具；安装在所述遥控交通工具上的红外成像模块，其中所述红外成像模块配置成捕获轨道的一部分的红外图像；以及处理器，其配置成基于使用红外图像检测的轨道的边界修改所述遥控交通工具的操作。

在一个优选实施方式中，该系统还包括控制装置，其配置成传输操作指令，其中所述处理器配置成基于所述操作指令修改所述遥控交通工具的操作。

在一个优选实施方式中，该系统的所述处理器布置在所述遥控交通工具中并且还配置成将所述红外图像传输到所述控制装置。

在一个优选实施方式中，该系统的所述控制装置包括移动装置。

在一个优选实施方式中，该系统的所述处理器还配置成确定所述边界的位置和所述边界相对于所述遥控交通工具的取向。

在一个优选实施方式中，所述遥控交通工具包括运动传感器，所述运动传感器配置成确定所述遥控交通工具的速度，并且其中所述处理器配置成基于所述遥控交通工具的速度修改所述遥控交通工具的操作。

在一个优选实施方式中，该系统的所述处理器配置成在所述遥控交通工具接近所述边界时通过减小所述遥控交通工具的速度来修改所述遥控交通工具的操作。

在一个优选实施方式中，该系统的所述处理器配置成在所述遥控交通工具接近所述边界时通过远离所述边界转向来修改所述遥控交通工具的操作。

在一个优选实施方式中，该系统的所述处理器还配置成通过减小使用所述红外图像确定的航道和所述遥控交通工具行进的方向之间的角度来修改所述遥控交通工具的操作，其中所述航道由所述边界和附加边界限定，其中所述边界和所述附加边界位于所述遥控交通工具的相对侧上。

在一个优选实施方式中，所述边界包括绝缘带或铝带。

在一个优选实施方式中，所述红外成像模块包括红外微辐射计阵列。

在一个优选实施方式中，该系统还包括安装在所述遥控交通工具上的至少一个非热成像模块。

在一个实施方式中，提供了一种方法，其包括使用遥控交通工具上的红外成像模块捕获轨道的一部分的红外图像；在红外图像中检测轨道的边界；以及基于所述边界修改遥控交通工具的操作。

在一些实施方式中，所述方法还可包括基于红外图像确定所述边界和遥控交通工具之间的距离；基于红外图像确定遥控交通工具正在接近所述边界的速度；以及基于红外图像确定所述边界相对于遥控交通工具的行进方向的取向。

图像辅助的遥控交通工具可以包括外壳结构，成像模块(例如红外成像模块)位于外壳结构中。外壳结构可以是可拆卸结构，其可以从遥控交通工具拆卸或者一体地与遥控交通工具形成。

本实用新型的范围由权利要求书限定，通过引用的方式将这部分合并于此。通过考虑下面对一个或者多个实施方式的详细描述，将会向本领域技术人员提供对本实用新型实施方式的更加完整的理解以及其中附加的优点的实现。下面将参考首先会简要描述的附图。

附图说明

图1示出了根据本公开实施方式的、被配置为在主机装置中实现的红外成像模块。

图2示出了根据本公开实施方式的、装配后的红外成像模块。

图3示出了根据本公开的实施方式的、并列的置于插座之上的红外成像模块的分解图。

图4示出了根据本公开的实施方式的、包括红外传感器阵列的红外传感器组件的框图。

图5示出了根据本公开实施方式的、确定NUC项的各种操作的流程图。

图6示出了根据本公开实施方式的、相邻像素之间的差值。

图7示出了根据本公开实施方式的平场校正技术。

图8示出了根据本公开实施方式的、应用在图像处理流水线中的图5的各种图像处理技术和其他操作。

图9示出了根据本公开实施方式的时域噪声削减步骤。

图10示出了根据本公开实施方式的、图6的图像处理流水线的几个步骤的具体的实施细节。

图11示出了根据本公开实施方式的、附近像素中的空间相关的FPN。

图12示出了根据本公开实施方式的、包括红外传感器阵列和低压差稳压器的红外传感器组件的另一个实现方式的框图。

图13示出了根据本公开实施方式的、图12的红外传感器组件的一部分的电路图。

图14示出了根据本公开实施方式的、具有红外成像模块和可见光摄像机的主机系统的框图。

图15示出了根据本公开实施方式的、可使用红外成像模块捕获并由处理器分析的实例热图像。

图16示出了根据本公开实施方式的、用于组合热图像和可见光图像的过程。

图17示出了根据本公开实施方式的、实施成具有红外成像模块的图像辅助的遥控交通工具的主机系统的框图。

图18示出了根据本公开实施方式的图像辅助的遥控交通工具系统。

图19示出了根据本公开实施方式的、图像辅助的遥控交通工具系统的实施方式的图，其显示了在轨道上的图像辅助的遥控交通工具。

图20示出了根据本公开实施方式的、用于操作图像辅助的遥控交通工具系统的过程。

通过参考下面的详细说明，将会更好的理解本实用新型的实施方式及其优点。应当理解的是，相同的参考数字用于表示在一副或者多幅附图中示出的相同元件。

具体实施方式

图1示出了根据本公开实施例的、被配置为在主机装置102中实现的红外成像模块100(例如，红外摄像机或者红外成像装置)。在一个或者多个实施例中，可根据晶圆级封装技术或者其他封装技术，实现小形状因子的红外成像模块100。

在一个实施例中，红外成像模块100可被配置为在主机装置102中实现，例如，遥控交通工具、移动电话、平板计算装置、膝上型计算装置、个人数字助理、可见光摄像机、音乐播放器、可穿戴成像装置或者任何其他合适的装置。就这方面而言，红外成像模块100可用于向主机装置102提供红外成像功能。例如，红外成像模块100可被配置为捕获、处理、和/或管理红外图像，并将该红外图像提供给主机装置102，主机装置102能够以任何期望的方式来使用该红外图像(例如，对该红外图像进行进一步的处理、存储到存储器中、显示、由运行在主机装置102中的各种应用程序使用、输出到其他装置、或者其他应用)。

在各种实施例中，红外成像模块100可被配置为在低电压电平和宽温度范围内工作。例如，在一个实施例中，红外成像模块100可使用约2.4伏、2.5伏、2.8伏或更低的电压的电源工作，并且可在约-20℃到约+60℃的温度范围中工作(例如，在约80℃的环境温度范围中提供合适的动态范围和性能)。在一个实施例中，通过使红外成像模块100在低电压电平下工作，与其他类型的红外成像装置相比，红外成像模块100自身所产生的热量较少。因此，红外成像模块100在工作时，可利用简化的措施来补偿这种自身产生的热量。

如图1所示，主机装置102可包括插座104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其他部件198。插座104可被配置为如箭头101所示的接收红外成像模块100。就这方面而言，图2示出了根据本公开实施例的、装配在插座104中的红外成像模块100。

可由一个或者多个加速度计、陀螺仪或者可用于检测主机装置102的运动的其他合适的装置来实现运动传感器194。处理模块160或者处理器195可对运动传感器194进行监控并且运动传感器194向处理模块160或者处理器195提供信息，以检测运动。在各种实施例中，运动传感器194可实现为主机装置102的一部分(如图1所示)，也可实现为红外成像模块100、或者连接到主机装置102或与主机装置102接触的其他装置的一部分。

处理器195可实现为任何合适的处理装置(例如，逻辑装置、微控制器、处理器、专用集成电路(ASIC)或者其他装置)，主机装置102可使用上述处理装置来执行适当的指令，例如，存储在存储器196中的软件指令。显示器197可用于显示捕获的和/或处理后的红外图像和/或其他图像、数据和信息。其他部件198可用于实现主机装置102的任何功能，如可能期望的各种应用(例如，时钟、温度传感器、可见光摄像机或者其他部件)。另外，机器可读介质193可用于存储非临时性指令，可将该非临时性指令加载到存储器196中并由处理器195执行。

在各种实施例中，可大量生产红外成像模块100和插座104，以推动它们的广泛应用，例如，其可应用在移动电话或者其他装置(例如，需要小形状因子的装置)中。在一个实施例中，当红外成像模块100安装到插座104中时，红外成像模块100和插座104的组合所显示出的整体尺寸大约为8.5mm×8.5mm×5.9mm。

图3示出了根据本公开的实施例的、并列的置于插座104之上的红外成像模块100的分解图。红外成像模块100可包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基座150和处理模块160。

透镜镜筒110可至少部分的装入光学元件180(例如，透镜)，通过透镜镜筒110中的孔112，所述光学元件180在图3中部分的可见。透镜镜筒110可包括大致呈圆柱形的延长部分114，其可用于使透镜镜筒110与外壳120中的孔122接触。

例如，可由安装在基板140上的帽130(例如，盖子)来实现红外传感器组件128。红外传感器组件128可包括按列或者其他方式设置在基板140上并由帽130覆盖的多个红外传感器132(例如，红外探测器)。例如，在一个实施例中，红外传感器组件128可实现为焦平面阵列(FPA)。这种焦平面阵列可实现为例如真空封装的组件(例如，由帽130和基板140密封)。在一个实施例中，红外传感器组件128可实现为晶片级封装(例如，红外传感器组件128可以是与设置在晶片上一组真空包装组件相分离的单片)。在一个实施例中，红外传感器组件128可实现为使用约2.4伏、2.5伏、2.8伏或者类似的电压的电源来工作。

红外传感器132可被配置为检测目标场景的红外辐射(例如，红外能量)，所述目标场景包括：例如中波红外波段(MWIR)、长波红外波段(LWIR)、和/或如在特定应用中所期望的其他热成像波段。在一个实施例中，可根据晶片级封装技术来提供红外传感器组件128。

红外传感器132可实现为例如微辐射热计探测器，或者以任意期望的阵列方向图案配置以提供多个像素的其他类型的热成像红外传感器。在一个实施例中，红外传感器132可实现为具有17微米像素间距的氧化钒(VOx)探测器。在各种实施例中，可使用约32×32阵列的红外传感器132、约64×64阵列的红外传感器132、约80×64阵列的红外传感器132或者其他大小的阵列。

基板140可包括各种电路，其中包括例如读出集成电路(ROIC)，在一个实施例中，该读出集成电路(ROIC)的尺寸比约5.5mm×5.5mm小。基板140还可包括接合焊盘142，其可用于当如图5A，5B和5C所示的那样装配好红外成像模块100时，与放置在外壳120的内表面上的相辅相成的连接点相接触。在一个实施例中，可利用执行电压调节的低压差稳压器(LDO)来实现ROIC，以降低引入到红外传感器组件128中的噪声，从而提供改进的电源抑制比(PSRR)。另外，通过实现具有ROIC的LDO(例如，在晶圆级封装内)，可消耗更少的管芯面积并且需要的离散管芯(或者芯片)较少。

图4示出了根据本公开的实施例的、包括红外传感器132阵列的红外传感器组件128的框图。在示出的实施例中，红外传感器132作为ROIC402的单位晶格阵列的一部分。ROIC402包括偏压产生和定时控制电路404、列放大器405、列多路复用器406、行多路复用器408和输出放大器410。可通过输出放大器410将红外传感器132捕获的图像帧(即，热图像)提供给处理模块160、处理器195和/或任何其他合适的部件，以执行本文所描述的各种处理技术。尽管图4示出的是8×8的阵列，但是任何期望的阵列配置均可用于其他实施例中。ROIC和红外传感器的进一步描述可在2000年2月22日公开的美国专利No.6,028,309中找到，通过引用的方式将其作为整体合并于此。

红外传感器阵列128可捕获图像(例如，图像帧)，并以各种速率从它的ROIC提供这种图像。处理模块160可用于对捕获的红外图像执行适当的处理，并且可以根据任何适当的结构来实现该处理模块160。在一个实施例中，处理模块160可实现为ASIC。就这方面而言，这种ASIC可被配置为高性能的和/或高效率的执行图像处理。在另一个实施例中，可利用通用中央处理单元(CPU)来实现处理模块160，所述CPU可被配置为执行适当的软件指令，以进行图像处理、调整以及通过各种图像处理块进行图像处理、处理模块160和主机装置102之间的互相配合的交互和/或其他操作。在另一个实施例中，可利用现场可编程门阵列(FPGA)来实现处理模块160。在其他实施例中，如本领域技术人员所理解的，可利用其他类型的处理和/或逻辑电路来实现处理模块160。

在这些和其他实施例中，处理模块160还可与其他合适的部件来实现，例如，易失性存储器、非易失性存储器和/或一个或者多个接口(例如，红外检测器接口、内部集成电路(I2C)接口、移动行业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如，IEEE1149.1标准测试访问端口和边界扫描结构)、和/或其他接口)。

在一些实施例中，红外成像模块100可进一步包括一个或者多个致动器199，其可用于调整红外传感器组件128捕获的红外图像帧的焦点。例如，致动器199可用于移动光学元件180、红外传感器132和/或彼此相关的其他部件，以根据本文所描述的技术来选择性地聚焦和散焦红外图像帧。可根据任何类型的运动感应设备或者装置来实现致动器199，并且可将致动器199放置在红外成像模块100内部或者外部的任何位置，以适应不同的应用。

当将红外成像模块100装配好后，外壳120随后可将红外传感器组件128、基座150以及处理模块160完全的密封起来。外壳120可便于红外成像模块100的各种部件的连接。例如，在一个实施例中，外壳120可提供用于连接各种部件的电连接部件126，下面将对其进行详细描述。

当将红外成像模块100装配好时，电连接部件126(例如，导电路径、电气轨迹或者其他类型的电连接部件)可与接合焊盘142电气连接。在各种实施例中，可将电连接部件126嵌入到外壳120中、设置在外壳120的内表面上和/或由外壳120提供所述电连接部件126。如图3所示，电连接部件126可终止于突出于外壳120的底表面的连接部件124中。当将红外成像模块100装配好时，连接部件124可与电路板170连接(例如，在各种实施例中，外壳120可置于电路板170的顶部)。处理模块160可通过合适的电连接部件与电路板170电连接。因此，红外传感器组件128可例如通过导电路径与处理模块160电连接，所述导电路径可由接合焊盘142、外壳120内部表面上的相辅相成的连接点、外壳120的电连接部件126、连接部件124及电路板170提供。有利的是，这种布置的实现可无需在红外传感器组件128和处理模块160之间设置焊线。

在各种实施例中，可使用任何期望的材料(例如，铜或者任何其他合适的导电材料)来制造外壳120中的电连接部件126。在一个实施例中，电连接部件126可有助于对红外成像模块100产生的热量进行散热。

其他连接可用于其他实施例中。例如，在一个实施例中，传感器组件128可通过陶瓷板连接到处理模块160，所述陶瓷板通过焊线连接到传感器组件128并通过球栅阵列(BGA)连接到处理模块160。在另一个实施例中，传感器组件128可直接安装到刚柔性板上并与焊线电连接，并且可利用焊线或者BGA将处理模块160安装并且连接到刚柔性板。

本文所阐述的红外成像模块100和主机装置102的各种应用只是为了举例，而不是限制。就这方面而言，本文所描述的各种技术中的任何一个均可应用到任何红外摄像机系统、红外成像器或者用于进行红外/热成像的其他装置。

红外传感器组件128的基板140可安装到基座150上。在各种实施例中，基座150(例如，底座)可例如由通过金属注射成形(MIM)形成的铜制造，并且对所述基座150进行黑色氧化处理或者镍涂层处理。在各种实施例中，基座150可由任何期望的材料制造，例如，可根据特定应用，由例如锌、铝或者镁制造，并且，基座150可通过任何期望的应用流程形成，例如，可根据特定应用，例如通过铝铸件、MIM或者锌的快速铸造来形成。在各种实施例中，基座150可用于提供结构支撑、各种电路路径、热散热器性能以及其他合适的功能。在一个实施例中，基座150可以是至少部分使用陶瓷材料实现的多层结构。

在各种实施例中，电路板170可容纳外壳120，从而可在物理上支撑红外成像模块100的各种部件。在各种实施例中，电路板170可实现为印刷电路板(例如，FR4电路板或者其他类型的电路板)、刚性或者柔性的互连设备(例如，互连带或者其他类型的互连设备)、柔性电路基板、柔性塑料基板或者其他合适的结构。在各种实施例中，基座150可实现为具有描述的电路板170的各种功能和属性，反之亦然。

插座104可包括被配置为容纳红外成像模块100(例如，如图2所示的装配后的视图)的腔体106。红外成像模块100和/或插座104可包括合适的卡片、臂、销、紧固件或者任何其他合适的接合部件，所述接合部件可用于通过摩擦、张力、粘附和/或任何其他合适的方式将红外成像模块100固定到插座104，或者将红外成像模块100固定到插座104内部。插座104可包括接合部件107，其可在当红外成像模块100插入到插座104的腔体106中时，接合外壳120的表面109。其他类型的接合部件可用于其他实施例中。

红外成像模块100可通过适当的电连接部件(例如，触点、销、电线或者任何其他合适的连接部件)与插座104电连接。例如，插座104可包括电连接部件108，其可与红外成像模块100的相应的电连接部件(例如，互连焊盘、触点、或者在电路板170侧面或者底表面上的其他电连接部件、接合键盘142或者基座150上的其他电连接部件、或者其他连接部件)接触。电连接部件108可由任何期望的材料(例如，铜或者任何其他合适的导电材料)制造。在一个实施例中，电连接部件108可被机械的压扁，以当红外成像模块100插入到插座104的腔体106中时可贴着红外成像模块100的电连接部件。在一个实施例中，电连接部件108可至少部分的将红外成像模块100固定到插座104中。其他类型的电连接部件可用于其他实施例中。

插座104可通过类似类型的电连接部件与主机102电连接。例如，在一个实施例中，主机102可包括穿过孔190与电连接部件108连接的电连接部件(例如，焊接连接、搭扣式连接或者其他连接)。在各种实施例中，这种电连接部件可置于插座104的侧面和/或底部。

可通过倒装芯片技术来实现红外成像模块100的各种部件，所述倒装芯片技术可用于将部件直接安装到电路板上，而无需通常用于焊线连接的额外的间隙。倒装芯片连接例如可用于在紧凑小形状因子应用中减少红外成像模块100的整体尺寸。例如，在一个实施例中，可使用倒装芯片连接部件将处理模块160安装到电路板170。例如，可使用这种倒装芯片配置来实现红外成像模块100。

在各种实施例中，可根据如申请号为12/844,124，申请日为2010年7月27日的美国专利申请和申请号为61/469,651，申请日为2011年3月30日的美国临时专利申请所记载的各种技术(例如，圆晶级封装技术)，来实现红外成像模块100和/或相关的部件，通过引用的方式将其作为整体合并于此。另外，根据一个或者多个实施例，可根据如下所述文献记载的各种技术来实现、校正、测试和/或使用红外成像模块100和/或相关的部件，所述文献例如为：如公开号为7,470,902、公开日为2008年12月30日的美国专利，公开号为6,028,309、公开日为2000年2月22日的美国专利，公开号为6,812,465、公开日为2004年11月2日的美国专利，公开号为7,034,301、公开日为2006年4月25日的美国专利，公开号为7,679,048、公开日为2010年3月16日的美国专利，公开号为7,470,904、公开日为2008年12月30日的美国专利，申请号为12/202,880、申请日为2008年9月2日的美国专利申请以及申请号为12/202,896、申请日为2008年9月2日的美国专利申请，通过引用的方式将上述文献作为整体合并于此。

再次参考图1，在各种实施例中，主机装置102可包括快门105。就这方面而言，可在红外成像模块100安装在插座中时，将快门105选择性的放置在插座104上(例如，如箭头103所确定的方向)。就这方面而言，快门105例如可用于在红外成像模块100不使用时对其进行保护。快门105还可用作温度参考，如本领域技术人员所应当理解的，所述温度参考作为红外成像模块100的校正过程(例如，非均匀性校正(NUC)过程或者其他校正过程)的一部分。

在各种实施例中，快门105可由各种材料制造，例如，聚合物、玻璃、铝(例如，涂漆的或者经过阳极氧化处理后的)或者其他材料。在各种实施例中，快门105可包括一个或者多个涂层(例如，均匀的黑体涂层或者反射性的镀金涂层)，其用于选择性地过滤电磁辐射和/或调整快门105的各种光学属性。

在另一个实施例中，可将快门105固定在适当位置以全天候的保护红外成像模块100。在这种情况下，快门105或者快门105的一部分可由基本上不会过滤掉需要的红外线波长的合适的材料(例如，聚合物，或者诸如硅、锗、硒化锌或硫系玻璃的红外透射材料)制造。如本领域技术人员所应当理解的，在另一个实施例中，快门可实现为红外成像模块100的一部分(例如，在透镜镜筒或者红外成像模块100的其他部件内，或者作为透镜镜筒或者红外成像模块100的其他部件的一部分)。

可选的，在另一个实施例中，无需提供快门(例如，快门105或者其他类型的外部或者内部快门)，而是可使用无快门的技术进行NUC步骤或者其他类型的校正。在另一个实施例中，使用无快门技术的NUC步骤或者其他类型的校正可与基于快门的技术结合进行。

可根据下述文献记载的各种技术中的任意一种来实现红外成像模块100和主机装置102，所述文献为：申请号为61/495,873，申请日为2011年6月10日的美国临时专利申请；申请号为61/495,879，申请日为2011年6月10日的美国临时专利申请；以及申请号为61/495,888，申请日为2011年6月10日的美国临时专利申请。通过引用的方式将上述文献作为整体合并于此。

在各种实施例中，主机装置102和/或红外成像模块100的部件可实现为本地系统，或者实现为部件之间通过有线和/或无线网络进行通信的分布式系统。因此，可根据特定实施的需要，通过本地和/或远程部件来执行本公开所提及的各种操作。

图5示出了根据本公开实施例的、确定NUC项的各种操作的流程图。在一些实施例中，可由对红外传感器132捕获的图像帧进行处理的处理模块160或者处理器195(二者通常也指处理器)来执行图5的操作。

在块505，红外传感器132开始捕获场景的图像帧。通常，场景将会是主机装置102当前处于的真实环境。就这方面而言，快门105(如果可选的提供)可打开以允许红外成像模块从场景接收红外辐射。在图5所示的所有操作期间，红外传感器132可连续地捕获图像帧。就这方面而言，连续地捕获图像帧可用于如下文所进一步讨论的各种操作。在一个实施例中，可对捕获的图像帧进行时域滤波(例如，根据块826的步骤对捕获的图像帧进行时域滤波，本文将根据图8对其进一步描述)，并且在所述图像帧被用于图5所示的操作之前，由其他项(例如，工厂增益项812、工厂偏移项816、先前确定的NUC项817、列FPN项820以及行FPN项824，本文将根据图8对其做进一步描述)对它们进行处理。

在块510，检测到NUC步骤的启动事件。在一个实施例中，NUC步骤可响应于主机装置102的物理移动而启动。例如，可由被处理器轮询的运动传感器194来检测这种移动。在一个例子中，用于可能会以特定的方式来移动主机装置102，例如，通过有意的来回移动主机装置102，使主机装置102做“消除”或者“重击”运动。就这方面而言，用户可根据预定的速率和方向(速度)，例如，通过上下、左右或者其他类型的运动来移动主机装置102从而启动NUC步骤。在这个例子中，这种移动的使用可允许用户直观的操作主机装置102，以模拟对捕获的图像帧的噪声“消除”。

在另一个例子中，如果运动超过阈值(例如，运动超过了期望的正常使用)，则可由主机装置102来启动NUC步骤。可以预期的是，主机装置102的任何期望的类型的空间移位均可用于启动NUC步骤。

在另一个例子中，如果自从先前执行的NUC步骤以来，已经过去了最小时间，则可由主机装置102启动NUC步骤。在另一个例子中，如果自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度改变，则可由主机装置102启动NUC步骤。在另外的例子中，可连续地启动并重复NUC步骤。

在块515，检测到NUC步骤启动事件之后，确定是否应该真正地执行NUC步骤。就这方面而言，可基于一个或者多个附加条件是否满足，来选择性地启动NUC步骤。例如，在一个实施例中，除非自从先前执行的NUC步骤以来，已经过去了最小时间，否则不会执行NUC步骤。在另一个实施例中，除非自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度变化，否则不会执行NUC步骤。其他标准或者条件可用于其他实施例中。如果已经满足合适的标准或者条件，流程图就会继续到块520。否则，流程图返回到块505。

在NUC步骤中，模糊图像帧可用于确定NUC项，所述NUC项可应用于捕获的图像帧以校正FPN。如所讨论的，在一个实施例中，可通过累加运动场景的多个图像帧(例如，当场景和/或热成像仪处于运动的状态时捕获的图像帧)来获得模糊图像帧。在另一个实施例中，可通过使热成像仪的光学元件或者其他部件散焦，来获得模糊图像帧。

因此，块520提供了两种方法的选择。如果使用基于运动的方法，则流程图继续到块525。如果使用基于散焦的方法，则流程图继续到块530。

现在参考基于运动的方法，在块525，检测到运动。例如，在一个实施例中，可基于红外传感器132捕获的图像帧检测运动。就这方面而言，合适的运动检测步骤(例如，图像配准步骤、帧到帧的差值计算或者其他合适的步骤)可应用于捕获的图像帧，以确定是否存在运动(例如，是否已经捕获到静态的或者运动的图像帧)。例如，在一个实施例中，能够确定连续图像帧的像素的周围的像素或者区域发生改变的数量已经超过了用户定义的数量(例如，百分比和/或阈值)。如果至少给定百分比的像素已经发生改变且发生改变的像素的数量至少为用户定义的数量，则可以非常肯定的检测到运动，从而流程图转到块535。

在另一个实施例中，可以在每个像素的基础上确定运动，其中，只累加那些显示出明显变化的像素，以提供模糊图像帧。例如，可以为每个像素设置计数器，所述计数器用于保证每个像素累加的像素值的数量相同，或者用于根据每个像素实际上累加的像素值的数量来对像素值取平均。可执行其他类型的基于图像的运动检测，例如，执行拉东(Radon)变换。

在另一个实施例中，可基于运动传感器194提供的数据来检测运动。在一个实施例中，这种运动检测可包括检测主机装置102是否在空间中沿着相对笔直的轨迹移动。例如，如果主机装置102正沿着相对笔直的轨迹移动，那么下述情况是可能的：出现在成像后的场景中的某些对象可能不够模糊(例如，场景中的对象与笔直轨迹对准或者基本上沿着平行于所述笔直轨迹的方向移动)。因此，在该实施例中，只有主机装置102显示出运动、或者没有显示出运动但沿着特定轨迹运动时，运动传感器194才能检测到运动。

在另一个实施例中，可使用运动检测步骤和运动传感器194二者。因此，使用这些各种实施例中任意一个，能够确定在场景的至少一部分和主机装置102相对于彼此之间运动的同时(例如，这可由主机装置102相对于场景移动、场景的至少一部分相对于主机装置102移动或者上述两种情况引起)，是否捕获到每个图像帧。

可以预期的是，检测到运动的图像帧可显示出捕获的场景的某些次级模糊(例如，与场景相关的模糊的热图像数据)，所述次级模糊是由于红外传感器132的热时间常数(例如，微辐射热时间常数)与场景移动交互而引起的。

在块535，对检测到运动的图像帧进行累加。例如，如果检测到连续的一系列图像帧的运动，则可对系列图像帧进行累加。做为另外一个例子，如果只检测到某些图像帧的运动，则可忽略掉没有运动的图像帧并不对这些没有运动的图像帧进行累加。因此，可基于检测到的运动，选择连续的或者不连续的一系列图像帧进行累加。

在块540，对累加的图像帧进行平均以提供模糊图像帧。因为累加的图像帧是在运动期间捕获到的，所以我们期望图像帧之间实际的场景信息将会不同，从而导致模糊之后的图像帧中的场景信息被进一步的模糊(块545)。

与此相反，在运动期间，在至少短时间内以及场景辐射的至少有限变化时，FPN(例如，由红外成像模块100的一个或者多个部件引起的)保持不变。结果是，在运动期间捕获到的时间和空间上接近的图像帧将会遭受相同的或者至少类似的FPN。因此，尽管连续图像帧中的场景信息可能会改变，但是FPN将保持基本不变。通过对运动期间捕获到的多个图像帧进行平均，所述多个图像帧将会模糊场景信息，但是不会模糊FPN。结果是，与场景信息相比，FPN将在块545提供的模糊图像帧中保持的更加清楚。

在一个实施例中，在块535和540中，对32个或者更多图像帧进行累加和平均。然而，任何期望数量的图像帧均可用在其他实施例中，只是随着帧的数量的减少，校正精度通常会降低。

现在参考基于散焦的方法，在块530，进行散焦操作以有意地使红外传感器132捕获的图像帧散焦。例如，在一个实施例中，一个或者多个致动器199可用于调整、移动或者平移光学元件180、红外传感器组件128和/或红外成像模块100的其他部件，以使得红外传感器132捕获场景的模糊的(例如，没有聚焦)图像帧。也可考虑使用其他不基于致动器的技术来有意地使红外图像帧散焦，例如，如人工(例如，用户启动的)散焦。

尽管图像帧中的场景可能会出现模糊，但是通过散焦操作，FPN(例如，由红外成像模块100的一个或者多个部件引起)将会保持不受影响。结果是，场景的模糊图像帧(块545)将会具有FPN，并且与场景信息相比，所述FPN将在所述模糊图像中保持的更加清楚。

在上面的讨论中，已经描述的基于散焦的方法与单个捕获的图像帧有关。在另一个实施例中，基于散焦的方法可包括当红外成像模块100已经被散焦时对多个图像帧进行累加，并且对散焦的图像帧进行平均以消除时域噪声的影响并在块545提供模糊图像帧。

因此，可以理解的是，既可通过基于运动的方法也可通过基于散焦的方法来在块545提供模糊的图像帧。因为运动、散焦或者上述二者均会使很多的场景信息模糊，所以可实际上将模糊图像帧认为是原始捕获的有关场景信息的图像帧的低通滤波版本。

在块505，对模糊图像帧进行处理以确定更新的行和列的FPN项(例如，如果之前没有确定行和列的FPN项，那么更新的行和列的FPN项可以是块550的第一次迭代中的新的行和列的FPN项)。如本公开所使用的，根据红外传感器132和/或红外成像模块100的其他部件的方向，术语行和列可互换的使用。

在一个实施例中，块550包括确定每行模糊图像帧(例如，每行模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项，以及还确定每列模糊图像帧(例如，每列模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项。这种处理可用于减少空间并减少热成像仪固有的行和列FPN的缓慢变化(1/f)，这种缓慢变化例如是由ROIC402中的放大器的1/f噪声特征引起，所述1/f噪声特征可表现为图像帧中的垂直和水平条。

有利的是，通过利用模糊图像帧确定空间行和列的FPN，会降低将实际成像的场景中的垂直和水平物体误认为是行和列噪声的风险(例如，真实场景内容被模糊，而FPN保持不被模糊)。

在一个实施例中，可通过考虑模糊图像帧的相邻像素之间的差值来确定行和列FPN项。例如，图6示出了根据本公开实施例的、相邻像素之间的差值。具体地，在图6中，将像素610与它附近的8个水平相邻像素进行比较：d0-d3在一侧，d4-d7在另一侧。可对相邻像素之间的差值进行平均，以获得示出的像素组的偏移误差的估计值。可对行或者列中的每个像素的偏移误差均进行计算，并且得到的平均值可用于校正整个行或者列。

为了防止将真实的场景数据解释为噪声，可使用上限阈值和下限阈值(thPix和-thPix)。落入该阈值范围之外的像素值(在该例子中，是像素d1和d4)不用于获得偏移误差。另外，这些阈值可限制行和列FPN校正的最大量。

申请号为12/396,340，申请日为2009年3月2日的美国专利申请记载了执行空间行和列FPN校正处理的更具体的技术，通过引用的方式将其作为整体合并于此。

再次参考图5，将在块550确定的更新的行和列FPN项进行存储(块552)并将其应用于(块555)块545提供的模糊图像帧。在应用这些项之后，可降低模糊图像帧中的一些空间行和列的FPN。然而，因为这些项通常应用于行和列，所以附加的FPN可保持，例如，空间不相关的FPN与像素到像素的偏移或者其他原因相关。与单个行和列可能不直接相关的、空间相关的FPN的邻域也可保持不变。因此，可进行进一步的处理以确定NUC项，下面将对其进行描述。

在块560，确定模糊图像帧中的局部反差值(例如，相邻像素或者小组像素之间的梯度边缘值或者绝对值)。如果模糊图像帧中的场景信息包括还没有被明显模糊的反差区域(例如，原始场景数据中的高反差边缘)，那么可由块560的反差确定步骤来识别这些特征。

例如，可计算模糊图像帧中的局部反差值，或者任何其他类型的边缘检测步骤可应用于识别作为局部反差区域的一部分的、模糊图像中的某些像素。可以认为以这种方式标记的像素包含很高空间频率的场景信息，可将该很高空间频率的场景信息解释为FPN(例如，这种区域可对应于还没有被充分模糊的场景的部分)。因此，可将这些像素排除在用于进一步确定NUC项的处理之外。在一个实施例中，这种反差检测处理可依赖于高于与FPN相关的期望反差值的阈值(例如，可以认为显示出的反差值高于阈值的像素是场景信息，而认为那些低于阈值的像素是显示FPN)。

在一个实施例中，在行和列FPN项已经应用于模糊图像帧之后，可对模糊图像帧执行块560的反差确定(例如，如图5所示)。在另一个实施例中，可在块550之前执行块560，以在确定行和列FPN项之前确定反差(例如，以防止基于场景的反差对于确定该项有影响)。

在块560之后，可以预期的是，残留在模糊图像帧中的任何高空间频率分量可一般的归因于空间不相关的FPN。就这方面而言，在块560之后，已经将很多其他噪声或者真正需要的基于场景的信息去除或者排除在模糊图像帧之外，这是因为：对图像帧的有意地模糊(例如，通过从块520到545的运动或者散焦)、行和列FPN项的应用(块555)以及反差的确定(块560)。

因此，可以预期的是，在块560之后，任何残留的高空间频率分量(例如，显示为模糊图像帧中的反差或者差别区域)均可归因于空间不相关的FPN。因此，在块565，对模糊图像帧进行高通滤波。在一个实施例中，这可包括应用高通滤波器以从模糊图像帧中提取高空间频率分量。在另一个实施例中，这可包括对模糊图像帧应用低通滤波器，并提取低通滤波后的图像帧和没有滤波的图像帧之间的差值以获得高空间频率分量。根据本公开的各种实施例，可通过计算传感器信号(例如，像素值)和其相邻信号之间的平均差值来实现高通滤波器。

在块570，对高通滤波后的模糊图像帧进行平场校正处理，以确定更新的NUC项(例如，如果先前没有进行NUC步骤，那么更新的NUC项可以是块570的第一次迭代中的新的NUC项)。

例如，图7示出了根据本公开实施例的平场校正技术700。在图7中，可通过使用像素710的相邻像素712到726的值来确定模糊图像帧的每个像素710的NUC项。对于每个像素710来说，可基于各种相邻像素的值之间的绝对差值来确定数个梯度。例如，可确定下述像素之间的绝对差值：像素712和714之间(从左到右的对角梯度)、像素716和718之间(从上到下的垂直梯度)、像素720和722之间(从右到左的对角梯度)以及像素724和726之间(从左到右的水平梯度)。

可对这些绝对差值进行求和，以提供像素710的求和梯度。可确定像素710的权重值，所述权重值与求和梯度成反比。可对模糊图像帧的全部像素710执行该步骤，直到为每个像素710提供加权值。对于具有低梯度的区域(例如，被模糊的区域或者具有低对比度的区域)来说，权重值将会接近1。相反，对于具有高梯度的区域来说，权重值将会为0或者接近0。如由高通滤波器估计的NUC项的更新值与权重值相乘。

在一个实施例中，通过将一定量的时间衰减应用到NUC项确定步骤，能够进一步地降低将场景信息引入到NUC项的风险。例如，可选择位于0和1之间的时间衰减因子λ，这样存储的新的NUC项(NUC_NEW)是旧的NUC项(NUC_OLD)和估计的更新的NUC项(NUC_UPDATE)的平均加权值。在一个实施例中，这可表示为：NUC_NEW＝λ·NUC_OLD+(1-λ)·(NUC_OLD+NUC_UPDATE)。

尽管已经描述了根据梯度来确定NUC项，但是适当的时候也可使用局部反差值来代替梯度。也可使用其他技术，例如，标准偏差计算。可执行其他类型的平场校正步骤以确定NUC项，包括：例如公开号为6,028,309，公开日为2000年2月22日的美国专利；公开号为6,812,465，公开日为2004年11月2日的美国专利；以及申请号为12/114,865，申请日为2008年5月5日的美国专利申请所记载的各种步骤。通过引用的方式将上述文献作为整体合并于此。

再次参考图5，块570可包括对NUC项的附加处理。例如，在一个实施例中，为了保留场景信号的平均值，可通过从每个NUC项中减去NUC项的平均值来将全部NUC项的和归一化到0。同样的在块570，为了避免行和列噪声影响NUC项，可从每行和列的NUC项中减去每行和列的平均值。结果是，使用在块550确定的行和列FPN项的行和列FPN滤波器可以更好地过滤掉将NUC项应用到捕获的图像之后(例如，在块580所进行的步骤，本文将对此作进一步地描述)的进一步的迭代中(例如，如图8所详细示出的)的行和列噪声。就这方面而言，行和列FPN滤波器通常可使用更多的数据来计算每行和每列的偏移系数(例如，行和列的FPN项)，并且与基于高通滤波器来捕获空间上不相关的噪声的NUC项相比，可从而提供更加可靠的、用于减少空间相关的FPN的可选项。

在块571-573，可以可选地对更新的NUC项执行附加高通滤波和进一步的确定处理以消除空间相关的FPN，所述空间相关的FPN具有比先前由行和列FPN项消除的空间频率更低的空间频率。就这方面而言，红外传感器132或者红外成像模块100的其他部件的一些变化可产生空间相关的FPN噪声，不能容易地将所产生的空间相关的FPN噪声建模为行或者列噪声。这种空间相关的FPN可包括例如传感器组件或者红外传感器132组上的窗样缺损，所述红外传感器132组与相邻的红外传感器132相比，其响应不同的辐射度。在一个实施例中，可使用偏移校正来减少这种空间相关的FPN。如果这种空间相关的FPN的数量很多，则也可在模糊图像帧中检测到噪声。由于这种类型的噪声可影响相邻像素，具有很小内核的高通滤波器可能不能检测到相邻像素中的FPN(例如，高通滤波器使用的全部值可从与受到影响的像素附近的像素中提取，从而所述全部值可被同样的偏移误差影响)。例如，如果使用小的内核执行块565的高通滤波(例如，只考虑落入受到空间相关的FPN影响的像素的附近范围中的直接相邻的像素)，则可能不能检测到广泛分布的空间相关的FPN。

例如，图11示出了根据本公开实施例的、附近像素中的空间相关的FPN。如采样的图像帧1100所示，像素1110附近的像素可表现出空间相关的FPN，所述空间相关的FPN不准确的与单个行和列相关，并且分布于附近的多个像素(例如，在该例子中，附近的像素约为4×4的像素)。采样的图像帧1100还包括一组像素1120和一组像素1130，所述像素1120表现出在滤波计算中没有使用的基本上均匀的响应，所述像素1130用于估计像素1110附近的像素的低通值。在一个实施例中，像素1130可以是可分为2个的多个像素，以便于硬件或者软件的有效计算。

再次参考图5，在块571-573，可以可选的对更新的NUC项执行附加高通滤波和进一步的确定处理，以消除空间相关的FPN，例如，像素1110表现出的空间相关的FPN。在块571，将在块570确定的更新的NUC项应用到模糊图像帧。因此，此时，模糊图像帧将会已经用于初步校正空间相关的FPN(例如，通过在块555应用更新的行和列FPN项)，并且也用于初步校正空间不相关的FPN(例如，通过在块571应用更新的NUC项)。

在块572，进一步的应用高通滤波器，该高通滤波器的核比块565中使用的高通滤波器的核大，并且可在块573进一步地确定更新的NUC项。例如，为了检测像素1110中存在的空间相关的FPN，在块572应用的高通滤波器可包括来自像素的足够大的相邻区域的数据，从而能够确定没有受到影响的像素(例如，像素1120)和受到影响的像素(例如，像素1110)之间的差值。例如，可使用具有大核的低通滤波器(例如，远大于3×3像素的N×N内核)，并且可减去得到的结果以进行适当的高通滤波。

在一个实施例中，为了提高计算效率，可使用稀疏内核，从而仅使用N×N附近区域内的较少数量的相邻像素。对于任何给定的使用较远的相邻像素的高通滤波器操作(例如，具有大核的高通滤波器)来说，存在将实际的(可能模糊的)场景信息建模为空间相关的FPN的风险。因此，在一个实施例中，可将用于在块573确定的更新的NUC项的时间衰减因子λ设置为接近1。

在各种实施例中，可重复块571-573(例如，级联)，以利用递增的核尺寸迭代地执行高通滤波，从而提供进一步更新的NUC项，所述进一步更新的NUC项用于进一步校正需要的相邻尺寸区域的空间相关的FPN。在一个实施例中，可根据通过块571-573的先前操作所得到的更新的NUC项是否已经将空间相关的FPN真正的消除，来确定执行这种迭代的决定。

在块571-573完成之后，作出是否将更新的NUC项应用到捕获的图像帧的决定(块574)。例如，如果整个图像帧的NUC项的绝对值的平均值小于最小的阈值，或者大于最大的阈值，则可认为该NUC项是假的或者不能提供有意义的校正。可选的，可将阈值标准应用到各个像素，以确定哪个像素接收到更新的NUC项。在一个实施例中，阈值可对应于新计算的NUC项和先前计算的NUC项之间的差值。在另一个实施例中，阈值可独立于先前计算的NUC项。可应用其他测试(例如，空间相关性测试)以确定是否应用该NUC项。

如果认为NUC项是假的或者不可能提供有意义的校正，则流程图返回到块505。否则，存储最新确定的NUC项(块575)以替代先前的NUC项(例如，由图5中先前执行的迭代确定)，并将所述最新确定的NUC项应用到(块580)捕获的图像帧。

图8示出了根据本公开实施例的、应用在图像处理流水线800中的图5的各种图像处理技术和其他操作。就这方面而言，流水线800标识了在用于校正红外成像模块100提供的图像帧的全部迭代图像的处理方案的情况下，图5的各种操作。在一些实施例中，可由对通过红外传感器132捕获的图像帧进行操作的处理模块160或者处理器195(二者通常也指处理器)来提供流水线800。

可将红外传感器132捕获的图像帧提供给帧平均器804，所述帧平均器804求多个图像帧的积分以提供具有改进的信噪比的图像帧802。可通过红外传感器132、ROIC402以及实现为支持高图像捕获速率的红外传感器组件128的其他组件来有效地提供帧平均器804。例如，在一个实施例中，红外传感器组件128可以以240Hz的帧速率(例如，每秒捕获240幅图像)来捕获红外图像帧。在该实施例中，例如可通过使红外传感器组件128工作在相对较低的电压(例如，与移动电话的电压相兼容)，以及通过使用相对较小的红外传感器132阵列(例如，在一个实施例中，为64×64的红外传感器阵列)，来实现这样高的帧速率。

在一个实施例中，可以以较高的帧速率(例如，240Hz或者其他帧速率)将这种来自红外传感器组件128的红外图像帧提供给处理模块160。在另一个实施例中，红外传感器组件128可以在较长的时间段或者多个时间段进行积分，从而以较低的帧速率(例如，30Hz、9Hz或者其他帧速率)将积分后的(例如，取平均后的)红外图像帧提供给处理模块160。有关可用于提供较高图像捕获速率的实现方案的详细信息可在本文之前引用过的申请号为61/495,879的美国临时专利申请中找到。

通过流水线800处理的图像帧802用于确定各种调整项和增益补偿，其中，由各种项、时域滤波来对所述图像帧802进行调整。

在块810和814，将工厂增益项812和工厂偏移项816应用于图像帧802，以分别补偿在制造和测试期间所确定的各种红外传感器132和/或红外成像模块100的其他部件之间的增益和偏移差。

在块580，将NUC项817应用于图像帧802，以如上所述的校正FPN。在一个实施例中，如果还没有确定NUC项817(例如，在已经启动NUC步骤之前)，则可能不会执行块580，或者可将初始值用于不会导致图像数据改变的NUC项817(例如，每个像素的偏移值将等于0)。

在块818到822，分别将列FPN项820和行FPN项824应用到图像帧802。如上所述可根据块550来确定列FPN项820和行FPN项824。在一个实施例中，如果还没有确定列FPN项820和行FPN项824(例如，在已经启动NUC步骤之前)，则可能不会执行块818和822，或者可将初始值用于不会导致图像数据改变的列FPN项820和行FPN项824(例如，每个像素的偏移值将等于0)。

在块826，根据时域噪声消减(TNR)步骤对图像帧802执行时域滤波。图9示出了根据本公开实施例的TNR步骤。在图9中，对当前接收到的图像帧802a和先前时域滤波后的图像帧802b进行处理以确定新的时域滤波后的图像帧802e。图像帧802a和802b包括分别以像素805a和805b为中心的局部相邻像素803a和803b。相邻像素803a和803b对应于图像帧802a和802b内的相同位置，并且是图像帧802a和802b全部像素的子集。在示出的实施例中，相邻像素803a和803b包括5×5像素的区域。其他尺寸的相邻像素可用于其他实施例中。

确定相邻像素803a和803b对应的像素的差值并对其求平均，以为对应于像素805a和805b的位置提供平均增量值805c。平均增量值805c可用于在块807确定权重值，以将其应用到图像帧802a和802b的像素805a和805b。

在一个实施例中，如曲线图809所示，在块807确定的权重值可与平均增量值805c成反比，以使得当相邻像素803a和803b之间差别较大时，权重值迅速的降低到0。就这方面而言，相邻像素803a和803b之间较大差别可表示场景内已经发生了变化(例如，由于运动而发生的变化)，并且在一个实施例中，可对像素802a和802b进行适当的加权，以避免在遇到帧到帧的场景改变时引入模糊。权重值和平均增量值805c之间的其他关联可用于其他实施例中。

在块807确定的权重值可用于像素805a和805b，以确定图像帧802e的相应像素805e的值(块811)。就这方面而言，像素805e可具有根据在块807确定的平均增量值805c和权重值对像素805a和805b加权平均(或者其他组合)后的值。

例如，时域滤波后的图像帧802e的像素805e可能是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差别是由于噪声引起的，那么可以预期的是，相邻像素805a和805b之间的平均值的变化将会接近于0(例如，对应于不相关的变化的平均值)。在这种情况下，可以预期的是，相邻像素805a和805b之间的差值的和将会接近于0。在这种情况下，可对图像帧802a的像素805a进行适当的加权，以有助于生成像素805e的值。

然而，如果该差值的和不为0(例如，在一个实施例中，甚至很接近于0)，那么可将变化解释为是由运动引起的，而不是由噪声引起的。因此，可基于相邻像素805a和805b所表现出的平均值的变化来检测运动。在这种情况下，可对图像帧802a的像素805a施加较大的权重，而对图像帧802b的像素805b施加较小的权重。

其他实施例也是可以考虑的。例如，尽管描述的是根据相邻像素805a和805b来确定平均增量值805c，但是在其他实施例中，可根据任何期望的标准(例如，根据单个像素或者其他类型的由一系列像素组成的像素组)来确定平均增量值805c。

在上面的实施例中，已经将图像帧802a描述为当前接收到的图像帧，并且已经将图像帧802b描述为先前经过时域滤波后的图像帧。在另一个实施例中，图像帧802a和802b可以是红外成像模块100捕获到的还没有经过时域滤波的第一和第二图像帧。

图10示出了与块826所执行的TNR步骤有关的详细的实施细节。如图10所示，分别将图像帧802a和802b读入到行缓冲器1010a和1010b，并且在将图像帧802b(例如，先前图像帧)读入到行缓冲器1010b之前，可将其存储到帧缓冲器1020中。在一个实施例中，可由红外成像模块100和/或主机装置102的任何合适的部件提供的一块随机存储器(RAM)来实现行缓冲器1010a-b和帧缓冲器1020。

再次参考图8，可将图像帧802e传送到自动增益补偿块828，其对图像帧802e进行进一步地处理，以提供主机装置102可根据需要使用的结果图像帧830。

图8进一步地示出了用于如所讨论的确定行和列FPN项以及NUC项所执行的各种操作。在一个实施例中，这些操作可使用如图8所示的图像帧802e。因为已经对图像帧802e进行了时域滤波，所以可消除至少某些时域噪声，从而不会不经意的影响对行和列FPN项824和820以及NUC项817的确定。在另一个实施例中，可使用没有经过时域滤波的图像帧802。

在图8中，图5的块510、515和520集中的表示在一起。如所讨论的，可响应于各种NUC步骤启动事件以及基于各种标准或者条件来选择性地启动和执行NUC步骤。还如所讨论的，可根据基于运动的方法(块525、535和540)或者基于散焦的方法(块530)来执行NUC步骤，以提供模糊的图像帧(块545)。图8进一步地示出了先前所讨论的关于图5的各种附加块550、552、555、560、565、570、571、572、573和575。

如图8所示，可确定行和列FPN项824和820以及NUC项817，并且以迭代的方式应用上述项，以使得使用已经应用了先前项的图像帧802来确定更新的项。结果是，图8的所有步骤可重复地更新，并应用这些项以连续地减少主机装置102将要使用的图像帧830中的噪声。

再次参考图10，其示出了图5和图8中与流水线800有关的各种块的详细的实施细节。例如，将块525、535和540显示为以通过流水线800接收的图像帧802的正常帧速率操作。在图10所示的实施例中，将在块525所做的决定表示为决定菱形(decisiondiamond)，其用于确定给定图像帧802是否已经充分的改变，从而可以认为如果将图像帧加入到其他图像帧中，该图像帧将会增强模糊，因此将该图像帧进行累加(在该实施例中，通过箭头来表示块535)和平均(块540)。

同样的在图10中，将对列FPN项820的确定(块550)显示为以更新速率操作，在该例子中，由于在块540执行的平均处理，该更新速率为传感器帧速率(例如，正常帧速率)的1/32。其他更新速率可用于其他实施例中。尽管图10仅标识出了列FPN项820，但是可以以相同的方式，以降低的帧速率来实现行FPN项824。

图10还示出了与块570的NUC确定步骤有关的详细的实施细节。就这方面而言，可将模糊图像帧读入到行缓冲器1030(例如，由红外成像模块100和/或主机装置102的任何合适的部件提供的一块RAM来实现)。可对模糊图像帧执行图7的平场校正技术700。

鉴于本公开的内容，应当理解的是，本文描述的技术可用于消除各种类型的FPN(例如，包括很高幅度的FPN)，例如，空间相关的行和列FPN以及空间不相关的FPN。

其他实施例也是可以考虑的。例如，在一个实施例中，行和列FPN项和/或NUC项的更新速率可与模糊图像帧中的模糊的估计数量成反比，和/或与局部反差值(例如，在块560确定的局部反差值)的大小成反比。

在各种实施例中，描述的技术优于传统的基于快门的噪声校正技术。例如，通过使用无快门的步骤，不需要设置快门(例如，如快门105)，从而可以减少尺寸、重量、成本和机械复杂度。如果不需要机械的操作快门，还可降低提供给红外成像模块100或者由红外成像模块100产生的电源和最大电压。通过将作为潜在的故障点的快门去除，将会提高可靠性。无快门的步骤还消除了由通过快门成像的场景的暂时性堵塞所引起的潜在的图像中断。

同样的，通过有意地使用从真实场景(不是快门提供的均匀场景)捕获的模糊图像帧来校正噪声，可对辐射水平与期望成像的那些真实场景类似的图像帧进行噪声校正。这能够改进根据各种描述的技术所确定的噪声校正项的精度和效率。

如所讨论的，在各种实施例中，红外成像模块100可被配置为在低电压下工作。特别的，可通过被配置为在低功耗下工作和/或根据其他参数工作的电路来实现红外成像模块100，所述其他参数允许红外成像模块100方便有效地在各种类型的主机装置102(例如，移动装置及其他装置)中实现。

例如，图12示出了根据本公开实施例的、包括红外传感器132和低压差稳压器(LDO)1220的红外传感器组件128的另一个实现方式的框图。如图所示，图12还示出了各种部件1202、1204、1205、1206、1208和1210，可以以与先前描述的有关图4的相应的部件相同或者相似的方式来实现这些部件。图12还示出了偏压校正电路1212，其可用于对提供给红外传感器132的一个或者多个偏压电压进行调整(例如，以补偿温度改变、自热和/或其他因素)。

在一些实施例中，可将LDO1220设置为红外传感器组件128的一部分(例如，位于相同的芯片上和/或晶片级封装为ROIC)。例如，可将LDO1220设置为具有红外传感器组件128的FPA的一部分。如所讨论的，这种实现可减少引入到红外传感器组件128中的电源噪声，从而提供改进的PSRR。另外，通过利用ROIC来实现LDO，可消耗较少的模片面积，并且需要较少的分离模片(或者芯片)。

LDO1220通过馈电线1232接收电源1230提供的输入电压。LDO1220通过馈电线1222向红外传感器组件128的各种部件提供输出电压。就这方面而言，LDO1220可响应于从电源1230接收到的单输入电压，向红外传感器组件128的各个部件提供基本上相同的调节输出电压。

例如，在一些实施例中，电源1230可提供从大约2.8v到大约11v范围的输入电压(例如，在一个实施例中为大约2.8v)，并且LDO1220可提供从大约1.5v到大约2.8v范围的输出电压(例如，在一个实施例中大约为2.5v)。就这方面而言，无论电源1230是提供大约9v到大约11v的传统电压范围，还是提供低电压(例如，大约2.8v)，LDO1220都可用于提供恒定的调节输出电压。因此，尽管为输入和输出电压提供了多种电压范围，但是可以预期的是，不管输入电压如何变化，LDO1220的输出电压将会保持不变。

与用于FPA的传统电源相比，将LDO1220实现为红外传感器组件128的一部分具有很多优点。例如，传统的FPA通常依赖于多个电源，所述多个电源中的每一个可分开的向FPA供电，并且分开的分布于FPA的各个部件。通过由LDO1220对单电源1230进行调节，合适的电压可分别的提供给(例如，以减少可能的噪声)低复杂性的红外传感器组件128的所有部件。即使来自电源1230的输入电压发生改变(例如，如果由于电池或者用于电源1230的其他类型的装置的充电或者放电而使输入电压增加或者降低)，LDO1220的使用还使得红外传感器组件128仍能以恒定的方式工作。

图12中示出的红外传感器组件128的各种部件也可实现为在比传统装置使用的电压更低的电压下工作。例如，如所讨论的，LDO1220可实现为提供低电压(例如，大约2.5v)。这与通常用于为传统的FPA供电的多个较高电压形成了鲜明的对比，所述多个较高电压例如为：用于为数字电路供电的大约3.3v到大约5v的电压；用于为模拟电路供电的大约3.3v的电压；以及用于为负载供电的大约9v到大约11v的电压。同样的，在一些实施例中，LDO1220的使用可减少或者消除对提供给红外传感器组件128的单独负参考电压的需要。

参考图13，可进一步地理解红外传感器组件128的低电压操作的其他方面。图13示出了根据本公开实施例的、图12的红外传感器组件128的一部分的电路图。特别的，图13示出了连接到LDO1220和红外传感器132的偏压校正电路1212的其他部件(例如，部件1326、1330、1332、1334、1336、1338和1341)。例如，根据本公开的实施例，偏压校正电路1212可用于补偿偏置电压中依赖于温度的变化。通过参考公开号为7,679,048、公开日为2010年3月16的美国专利中标示的相似的部件，可进一步地理解这些其他附件的操作，通过引用的方式将其作为整体合并于此。还可根据公开号为6,812,465、公开日为2004年11月2日的美国专利中标示的各种部件来实现红外传感器组件128，通过引用的方式将其作为整体合并于此。

在各种实施例中，全部或者部分偏压校正电路1212可实现在如图13所示的整体阵列基础上(例如，用于集中在阵列中的所有红外传感器132)。在其他实施例中，可在单个传感器基础上实现全部或者部分偏压校正电路1212(例如，对每个传感器132都全部或者部分地复制)。在一些实施例中，图13的偏压校正电路1212和其他部件可实现为ROIC1202的一部分。

如图13所示，LDO1220向沿着馈电线1222中的一个的偏压校正电路1212提供负载电压Vload。如所讨论的，在一些实施例中，Vload可以大约为2.5v，与此形成对比的是，可用作传统红外成像装置中的负载电压的大小大约为9v到大约11v的较高的电压。

基于Vload，偏压校正电路1212在节点1360提供传感器偏置电压Vbolo。Vbolo可通过适合的开关电路1370(例如，由图13中的虚线表示的)分发至一个或者多个红外传感器132。在一些例子中，可根据本文之前引用的公开号为6,812,465和7,679,048的专利中标示出的合适的部件来实现开关电路1370。

每个红外传感器132均包括通过开关电路1370接收Vbolo的节点1350以及可接地的另一个节点1352、基底和/或负参考电压。在一些实施例中，节点1360处的电压与节点1350处的Vbolo基本相同。在其他实施例中，可调整在节点1360处的电压，以补偿与开关电路1370和/或其他因素有关的可能的压降。

可利用通常比传统红外传感器偏压所使用的电压较低的电压来实现Vbolo。在一个实施例中，Vbolo可以在从大约0.2v到大约0.7v的范围。在另一个实施例中，Vbolo可以在大约0.4v到大约0.6v的范围。在另一个实施例中，Vbolo大约为0.5v。相比之下，传统红外传感器通常使用的偏置电压大约为1v。

与传统的红外成像装置相比，根据本公开的红外传感器132的较低偏置电压的使用使得红外传感器组件128能够具有显著降低的功耗。特别的，每个红外传感器132的功耗以偏置电压的平方减少。因此，电压的降低(例如，从1.0v降到0.5v)提供了显著的功耗的降低，特别是当所述电压的降低应用到红外传感器阵列中的多个红外传感器132时。这种功率的降低还可导致红外传感器阵列128的自热的减少。

根据本公开的其他实施例，提供了用于降低由工作在低电压的红外成像装置提供的图像帧中的噪声效应的各种技术。就这方面而言，当红外传感器组件128以所描述的低电压工作时，如果不对噪声、自热和/或其他现象进行校正，所述噪声、自热和/或其他现象会在红外传感器组件128所提供的图像帧中变得更加明显。

例如，参考图13，当LDO1220以本文所述的方式保持在低电压Vload时，Vbolo也将保持在它的相应的低电压，并且可降低它的输出信号的相对尺寸。因此，噪声、自热和/或其他现象可对从红外传感器132读出的较小的输出信号产生较大的影响，从而导致输出信号的变化(例如，错误)。如果不进行校正，这些变化可能表现为图像帧中的噪声。此外，尽管低电压工作可以降低某些现象(例如，自热)的总体数量，但是较小的输出信号可使得残留的误差源(例如，残留的自热)在低电压工作期间对输出信号产生不成比例的影响。

为了补偿这种现象，可利用各种阵列尺寸、帧率和/或帧平均技术来实现红外传感器组件128、红外成像模块100和/或主机装置102。例如，如所讨论的，各种不同的阵列尺寸可考虑用于红外传感器132。在一些实施例中，可利用范围从32×32到160×120的阵列尺寸的红外传感器132来实现红外传感器132。其他例子的阵列尺寸包括80×64、80×60、64×64以及64×32。可使用任何期望的尺寸。

有利的是，当利用这种相对小的阵列尺寸实现红外传感器组件128时，所述红外传感器组件128可以在无需对ROIC及相关电路进行较大变动的情况下，以相对高的帧率来提供图像帧。例如，在一些实施例中，帧率的范围可以从大约120Hz到大约480Hz。

在一些实施例中，阵列尺寸和帧率可以相对于彼此之间增减(例如，以成反比例的方式或者其他方式)，以使得较大的阵列实现为具有较低的帧率，而较小的阵列实现为具有较高的帧率。例如，在一个例子中，160×120的阵列可提供大约为120Hz的帧率。在另一个实施例中，80×60的阵列可提供相应的大约为240Hz的较高的帧率。其他帧率也是可以考虑的。

通过阵列尺寸和帧率相对于彼此之间的增减，无论实际的FPA尺寸或者帧率为多少，FPA的行和/或列的特定读出定时都可以保持不变。在一个实施例中，读出定时可以为大约每行或列63微秒。

如之前关于图8的讨论，红外传感器132捕获的图像帧可提供给帧平均器804，所述帧平均器804求多个图像帧的积分以提供具有低帧率(例如，大约30Hz、大约60Hz或者其他帧率)和改进的信噪比的图像帧802(例如，处理后的图像帧)。特别的，通过对由相对小的FPA提供的高帧率图像帧进行平均，可将图像帧802中由于低电压工作而产生的图像噪声有效的平均掉和/或显著的减少。因此，红外传感器组件128可以工作在由如所讨论的LDO1220提供的相对低的电压，并且在帧平均器804对产生的图像帧802进行处理之后，红外传感器组件128不会受到所述产生的图像帧802中的额外的噪声及相关的副作用的影响。

其他实施例也是可以考虑的。例如，尽管示出了红外传感器132的单个阵列，但是可以预期的是，可一起使用多个这样的阵列以提供较高分辨率的图像帧(例如，一个场景可以在多个这样的阵列上成像)。这种阵列可设置在多个红外传感器组件128和/或设置在同样的红外传感器组件128中。如所描述的，每个这样的阵列均可工作在低电压，并且也可为每个这样的阵列配置相关的ROIC电路，以使得每个阵列仍然可以相对高的帧率工作。共享或者专用帧平均器804可对由这种阵列提供的高帧率图像帧进行平均，以减少和/或消除与低电压工作相关的噪声。因此，当工作在低电压时仍然可获得高分辨率红外图像。

在各种实施例中，可将红外传感器组件128实现为合适的尺寸，以使得红外成像模块100能够与小形状因子的插座104(例如，用于移动装置的插座)一起使用。例如，在一些实施例中，可将红外传感器组件128实现为范围为大约4.0mm×大约4.0mm到大约5.5mm×大约5.5mm(例如，在一个实施例中，大约4.0mm×大约5.5mm)的芯片尺寸。可将红外传感器组件128实现为这种尺寸或者其他合适的尺寸，以使得能够与实现为各种尺寸的插座104一起使用，所述插座104的尺寸例如为：8.5mm×8.5mm、8.5mm×5.9mm、6.0mm×6.0mm、5.5mm×5.5mm、4.5mm×4.5mm和/或其他插座尺寸，例如，如本文之前引用的申请号为61/495,873的美国临时专利申请表1所示的那些尺寸。

现在参考图14，示出了主机系统的另一实现方式的框图，其示出了根据本公开的实施方式，除了一个或多个红外成像模块(例如，红外成像模块100)之外，系统102可如何包括一个或多个非热成像模块(例如，可见光摄像机模块1406)。系统102可用于监测真实世界场景(例如，场景1430(例如，包括具有边界的轨道的场景))。

系统102可包括一个或多个红外成像模块100、一个或多个可见光摄像机1406以及上述与图1相关的附加部件(例如，处理器195、存储器196、显示器197、一个或多个运动传感器194和/或其他部件198，例如控制面板、警告部件或通信部件)。在各种实施方式中，图14的系统102的部件可以以与图1的主机装置102的对应部件相同或相似的方式实施。另外，系统102的部件可配置成执行本文描述的各种NUC过程和其他过程。

如图14所示，在一些实施方式中，红外成像模块100可包括引导来自场景1430的红外辐射到红外成像模块100的FPA的各种光学元件1403(例如，一个或多个红外传送透镜、一个或多个红外传送棱镜、一个或多个红外反射镜、或者一个或多个红外光纤元件)。在一些实施方式中，光学元件1403可用于合适地限定或更改红外成像模块100的FOV1404。可以提供可切换的FOV(例如，可由红外成像模块100和/或处理器195选择)，其例如在需要场景1430的一部分的选择的特写视图时可能是有用的。

光学元件1403还可包括一个或多个滤波器(例如，短波红外(SWIR)滤波器、中波红外(MWIR)滤波器、长波红外(LWIR)滤波器和窄带滤波器)，其适于使一些波长的红外辐射通过但基本上阻挡其他波长的红外辐射。这样的滤波器可用于适应地修改红外成像模块100，以增加对于红外波长的需要的波段的敏感度。例如，在一些情况下，可能需要检测人或动物呼出的气息。在这种情况下，通过利用仅在匹配呼出的气息的二氧化碳(CO₂)或其他组分气体的特定吸收/发射谱的波长上透过的窄带滤波器可以取得更加结果。在一些实施方式中，滤波器是可选择的(例如，提供为可选择滤波器轮)。在其他实施方式中，适宜于系统102的需要的应用，滤波器可以是固定的。

可见光摄像机1406可以是小形状因子非热成像模块或成像装置，并且可以以类似于本文中公开的红外成像模块100的各种实施方式的方式实现，但是其中一个或多个传感器响应非热辐射(例如，电磁频谱中的可见、近红外、短波红外或其他非热部分中的辐射)。例如，在一些实施方式中，可见光摄像机1406可以用电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、互补金属氧化物半导体(CMOS)传感器、科学级CMOS(sCMOS)传感器、增强型电荷耦合器件(ICCD)或其他传感器实现。

如图14所示，在一些实施方式中，可见光摄像机1406可包括将来自场景1430的非热辐射引导至可见光摄像机模块1406的各种光学元件1405(例如，一个或多个透镜、一个或多个颜色滤波器、一个或多个棱镜、一个或多个反光镜或一个或多个光纤元件)。在一些实施方式中，光学元件1405可以用于合适地限定或更改可见光摄像机模块1406的FOV1407。可以提供可切换的FOV(例如，可由可见光摄像机模块1406和/或处理器195选择)，其例如在需要场景1430的一部分的选择的特写视图时可能是有用的。如果需要，元件1403和1405可以可操作以在系统102的红外成像模式和可见光成像模式之间交替切换。

光学元件1405还可以包括一个或多个滤波器(例如，红色滤波器、蓝色滤波器、绿色滤波器、近红外色滤波器、短波红外滤波器和窄带滤波器)，其适于使一些波长(颜色)的辐射通过但是基本阻挡其他波长的辐射。在一些实施方式中，元件1405的滤波器是可选择的(例如，提供为可选择滤波器轮)。在其他实施方式中，适宜于系统102的需要的应用，元件1405的滤波器可以是固定的。尽管摄像机模块1406在本文中有时作为实例被称为可见光摄像机模块，然而应当理解摄像机模块1406可以是本文描述的任何合适的非热摄像机模块，其响应于具有任何合适的对应范围的非热波长(例如，可见光波长、近红外波长、短波红外波长或相对热红外波长更短的其他波长)的入射光而产生图像。

在一些实施方式中，可以由可见光摄像机1406捕获的非热图像(比如，可见光图像)由处理器195接收，如下文进一步描述的，处理器195可配置成将可见光图像与红外成像模块100捕获的热图像融合、叠加或以其他方式组合。

在一些实施方式中，可见光摄像机1406可以与外壳结构中的红外成像模块100协同定位并被定向成使得可见光摄像机1406的FOV1407至少部分重叠红外成像模块100的FOV1404。在一个实例中，根据通过引用的方式并入本文的申请号为61/748,018的美国临时专利申请描述各种技术，红外成像模块100和可见光摄像机1406可被实现为共用公共基板的双传感器模块。这样的双传感器模块实现方式可以包括用于红外成像和可见光成像的公共电路和/或公共限制装置，借此相比于红外成像模块100和可见光摄像机1406被实施为单独的模块的实施方式潜在地减小了系统102的整体尺寸。另外，双传感器模块的实现方式可适于通过减小红外成像模块100和可见光摄像机1406之间的距离来减小红外成像模块100和可见光摄像机1406捕获的图像之间的视差。

红外成像模块100捕获、处理和/或以其他方式管理的红外图像可以是在辐射测定上标准化的红外图像(例如。热图像)。即，组成捕获的图像的像素可以包括校准的热数据(例如，温度数据)。如上面相关于图1讨论的，可以使用合适的技术来校准红外成像模块100和/或相关部件，以使得由红外成像模块100捕获的图像是被适当地校准的热图像。在一些实施方式中，可以由红外成像模块100和/或处理器195周期地执行合适的校准过程，以使得红外成像模块100并且因此由其捕获的热图像可以保持适当校准。

辐射测定的标准化使得红外成像模块100和/或处理器195能够从热图像中高效地检测具有特定温度范围的物体。红外成像模块100和/或处理器195可以高效并有效地检测这样的物体(例如，轨道的边界)，因为具有特定温度的物体的热图像可以容易地从背景和其他物体辨别出来，并且同时较不受照明条件和遮挡的影响。

还是参考图15，示出了可以由红外成像模块100捕获的实例热图像1530(为了容易理解，示出为用户可视热图像)。如该实例热图像示出的，轨道边界1501的一部分可展现与背景不同的温度或者发射与背景相同温度差不多的辐射，所述背景例如是轨道的一部分1503和轨道外侧的表面的一部分1504。这样，可以使用本文和其他文件中描述的合适检测和跟踪操作来准确并高效地区分和跟踪在热图像(例如，图像1530)中检测的边界(例如，边界1501)的各种特征。例如，处理器195可在热图像1530上执行边缘检测操作以检测边界1501的边缘1502。也可以使用顺序捕获的图像内的边界1501的位置来确定边界1501正相对于交通工具以例如方向1501和/或以特定速度移动。

在一些实施方式中，如果可见光摄像机1406捕获的可见光图像是可以利用的，则处理器195可配置成附加地或可选地基于可见光图像来追踪场景的特征(例如，用于远程控制的交通工具的轨道的边界)。例如，在某些环境光条件下，可见光图像相比于热图像可提供更多细节和对比，并且因而可使用在这样有利的光条件下合适的边界检测算法来分析可见光图像。在另一实例中，可以分析可见光图像和热图像两者来互补地增加检测和追踪准确性。在另一实例中，可以如在下文进一步描述地组合或融合可见光图像和热图像，并且可以分析组合或融合的图像以追踪场景的特征。如果处理器195被配置成使用可见光图像来检测和追踪场景的特征，则处理器195可进一步被配置成将可见光图像中被追踪特征的像素坐标转换到热图像中的对应像素坐标。

在一些实施方式中，可以融合或组合来自一个或多个红外成像模块(例如，红外成像模块100)的热图像和来自一个或多个非热摄像机模块(例如，可见光摄像机模块1406)的非热图像以产生具有更高清晰度、对比度和/或细节的图像。

可以参考图16更加详细地描述根据一个或多个实施方式的融合或组合操作，图16是组合或融合热图像和非热(例如，可见光)图像的过程1600的流程图。组合图像可包括辐射测定数据和/或对应于场景1430的其他红外特性，但是相比于一般由热或非热图像单独提供的图像相比具有显著更多的物体细节(例如，轮廓或边缘细节)和/或对比。这样，例如，这些实例中产生的组合图像可有利地提供充分的辐射测定数据、细节和对比，以使得能够对场景1430中物体(例如，轨道的边界)的存在、场所、位置或其他特征进行更容易的识别和/或解读。

尽管本文相关于图16描述的过程作为实例讨论了融合或组合热图像和可见光图像，然而应当理解该过程可以适用于组合热图像和任何合适的非热图像(例如，可见光图像、近红外图像、短波红外图像、EMCCD图像、ICCD图像或其他非热图像)。

在块1602，可以接收可见光图像和红外图像(例如，热图像)。例如，可以由可见光摄像机1406捕获场景1430的可见光图像并且可以由处理器195接收捕获的可见光图像。处理器195例如可以使用热图像和非热图像两者执行过程1600的各种操作。

在块1604，可以从在块1602中接收的可见光图像和热图像中的一个或多个获得来自可见光图像和热图像中的一个或多个的高空间频率内容。根据各种实施方式获得的高空间频率内容可以包括例如从可见光图像和热图像中的一个或多个提取的边缘/轮廓细节和/或高对比像素。

在一个实施方式中，可以通过在图像上执行高通滤波(例如，空间滤波)操作而从接收的图像获得高空间频率内容，其中高通滤波操作的结果是高空间频率内容。在可选的实施方式中，可以通过在图像上执行低通滤波操作并且然后从原始图像减去该结果以得到剩余内容而从接收的图像获得高空间频率内容，该剩余内容即高空间频率内容。在另一实施方式中，可以例如通过差分成像从选择的图像获得高空间频率内容，其中将一个图像从第二图像减去，第二图像以某种方式从第一图像扰动得出，并且减去的结果即高空间频率内容。例如，红外成像模块100的光学元件1403和/或可见光摄像机1406的光学元件1405可配置成将抖动、散焦和/或运动假象引入由红外成像模块100和可见光摄像机1406中的一者或二者捕获的一系列图像中。可以从图像(例如，该一系列图像中相邻的图像)的相减获得高空间频率内容。

在一些实施方式中，可以仅从可见光图像或热图像获得高空间频率内容。在其他实施方式中，可以仅从单个可见光图像或热图像获得高空间频率内容。在另外的实施方式中，可以从可见光图像和/或热图像的一个或多个分量(例如，举例来说，可见光图像的亮度分量，或热图像的辐射测定分量)获得高空间频率内容。产生的高空间频率内容可以临时存储(例如，在存储器196中)和/或可根据块1608进一步处理。

在块1606，可以去噪一个或多个热图像。例如，处理器195可配置成利用各种图像处理操作去噪、平滑或模糊场景1430的一个或多个热图像。在一个实施方式中，从热图像去除高空间频率噪声使得经处理的热图像能够与根据块1604获得的高空间频率内容组合，其中极大减小了将双边缘(例如，边缘噪声)引入场景1430的组合图像中描绘的物体中的风险。

在一个实施方式中，从热图像去除噪声可包括在图像上执行低通滤波(例如，空间和/或时间滤波)操作，其中低通滤波的结果是经去噪或经处理的热图像。在另外的实施方式中，从一个或多个热图像去除噪声可包括向下采样热图像并且然后向上采样图像回到原始分辨率。

在另一实施方式中，可以通过主动模糊场景1430的热图像来获得经处理的热图像。例如，光学元件1403可配置成轻微散焦红外成像模块100捕获的一个或多个热图像。如下文进一步描述的，产生的经有意模糊的热图像可以是经充分去噪或模糊的，以便减少或消除将双边缘引入场景1430的组合图像的风险。在其他实施方式中，模糊或平滑图像处理操作可以由处理器195在接收的热图像上作为选择或作为使用光学元件1403主动地模糊场景1430的热图像的增补来执行。产生的经处理的热图像可以临时存储(例如，在存储器196中)和/或可根据块1608进一步处理。

在块1608，可以将高空间频率内容与一个或多个热图像混合。例如，处理器195可以配置成混合在块1604中获得的高空间频率内容和场景1430的一个或多个热图像，例如在块1606中提供的经处理的热图像。

在一个实施方式中，高空间频率内容可以通过将高空间频率内容叠加到热图像上而与热图像混合，其中高空间频率内容替代或覆盖热图像的与高空间频率内容存在位置对应的那些部分。例如，高空间频率内容可以包括描绘在场景1430的图像中的物体边缘，但是可以不存在于这些物体的内部。在这样的实施方式中，如在块1610中描述的，经混合的图像数据可以只包括高空间频率内容，其随后可以被编码成组合图像的一个或多个分量。

例如，热图像的辐射测定分量可以是热图像的色度分量，并且高空间频率内容可以来源于可见光图像的亮度和/或色度分量。在这种实施方式中，组合图像可以包括编码成组合图像的色度分量的辐射测定分量(例如，热图像的色度分量)和直接编码成(例如，作为混合图像数据但是没有热图像贡献)组合图像的亮度分量的高空间频率内容。如此，可以保持热图像的辐射测定分量的辐射测定校准。在类似实施方式中，混合图像数据可以包括加到热图像的亮度分量的高空间频率内容，和编码成由此产生的组合图像的亮度分量的由此产生的混合数据。

在其他实施方式中,可以从一个或一系列可见光和/或热图像的一个或多个特定分量获得高空间频率内容，并且高空间频率内容可以编码成组合图像的对应的一个或多个分量。例如，可以从可见光谱图像的亮度分量获得高空间频率内容，并且在该实施方式中全部都为亮度图像数据的高空间频率内容可以编码成组合图像的亮度分量。

在另一实施方式中，可以利用混合参数和算数等式来将高空间频率内容与热图像混合。例如，在一个实施方式中，可以从可见光图像的亮度分量获得高空间频率内容。在这种实施方式中，可以根据混合参数和混合等式来将高空间频率内容与热图像的对应亮度分量混合以产生混合图像数据。混合的图像数据可例如编码成组合图像的亮度分量，并且热图像的色度分量可以编码成组合图像的色度分量。在红外图像的辐射测定分量可以是它们的色度分量的实施方式中，组合图像可以保持热图像的辐射测定校准。在其他实施方式中，辐射测定分量的部分可以与高空间频率内容混合并且然后编码成组合图像。

更一般地，可以从可见光图像和/或热图像的一个或多个分量获得高空间频率内容。在这样的实施方式中，可以将高空间频率内容与热图像的一个或多个分量混合以产生混合图像数据(例如，利用混合参数和混合等式)，并且产生的组合图像可包括编码成组合图像的对应的一个或多个分量的混合图像数据。在一些实施方式中，混合数据的一个或多个分量没有必要对应于组合图像的最终的一个或多个分量(例如，可以执行彩色空间/格式转换作为编码过程的一部分)。

可以由用户选择混合参数值，或者可以由处理器195例如根据背景或其他数据或根据系统102期望的图像增强水平来自动地确定混合参数值。在一些实施方式中，混合参数可以在组合图像正在被显示(例如，由显示器197)时调整或改善。在一些实施方式中，可以将混合参数选择成使得混合图像数据仅包括热特性，或者可选地，仅包括可见光特性。可以也对混合参数例如在范围上进行限制，以便不产生相对于特定彩色空间/格式或显示器的动态范围超出边界的混合数据。

除了上面描述的处理之外或者作为上面描述的处理的备选，如在美国专利申请No.13/437,645中公开的，根据高对比模式的处理可包括一个或多个处理步骤、处理步骤的排序、算数组合和/或对混合参数的调整。例如，下述等式可以用于利用来自经高通滤波的可见光图像的Y分量和来自热图像的Cr和Cb分量确定组合图像的分量Y、Cr和Cb。

hp_y_vis＝highpass(y_vis)

(y_ir,cr_ir,cb_ir)＝colored(lowpass(ir_signal_linear))

在上面的等式中，highpass(y_vis)可以是从对可见光图像的亮度分量的高通滤波获得的高空间频率内容。colored(lowpass(ir_signal_linear))可以是在热图像经低通滤波后产生的热图像的亮度和色度分量。在一些实施方式中，热图像可包括被选择为0.5倍最大亮度(例如，显示器或处理步骤的最大亮度)的亮度分量。在相关实施方式中，热图像的辐射测定分量可以是热图像的色度分量。在一些实施方式中，可以丢弃热图像的y_ir分量并且组合图像的分量可以是(hp_y_vis,cr_ir,cb_ir)，其中利用了上面的记号。

在另一实施方式中，可以使用下面的方程利用来自经高通滤波的可见光图像的Y分量和来自热图像的Cr和Cb分量确定组合图像的Y、Cr和Cb分量。

comb_y＝y_ir+alpha×hp_y_vis

comb_cr＝cr_ir

comb_cb＝cb_ir

alpha的变化因此赋予用户决定在组合图像中需要多少对比的机会。当alpha接近零时，将只显示出热图像，但是当alpha非常高时，在组合图像中可以看到非常清晰的轮廓/边缘。理论上，alpha可以是无穷大的数，但是在实践中将可能需要限制，以将可以选择的alpha的大小限制到便于当前应用的大小。

一旦高空间频率内容与一个或多个热图像混合，处理即可行进到块1610，其中混合数据可以编码成组合图像的分量以便形成组合图像。

在块1610，混合数据可以编码成组合图像的一个或多个分量。例如，处理器195可配置成将根据块1608获得或产生的混合数据编码成组合图像，该组合图像增加、改善或以其他方式增强由被独立观看的可见光图像或热图像传达的信息。在一些实施方式中，将混合图像数据编码成组合图像的分量可包括另外的图像处理操作，举例来说，例如动态范围调整、归一化、增益和偏移操作、降噪和彩色空间转换。

另外，处理器195可配置成将其他图像数据编码成组合图像。例如，如果混合图像数据被编码成组合图像的亮度分量，则可见光图像或热图像的色度分量可以被编码成组合图像的色度分量。可以例如通过用户输入而做出源图像的选择，或者可以基于背景或其他数据自动确定源图像的选择。更一般地，在一些实施方式中，组合图像的未利用混合数据编码的分量可以利用可见光图像或热图像的对应分量编码。通过这样做，可以在产生的组合图像中保持热图像的辐射测定校准和/或可见光图像的彩色空间校准。

在一些实施方式中，在此描述的处理器195的至少某部分或一些功能可以实施为上面相关于图3描述的处理模块160处的红外成像模块100的一部分。在一些实施方式中，处理器195的至少某部分或一些功能可以是外部装置的其他既有处理器的一部分或者利用外部装置的其他既有处理器来实施，外部装置例如移动电话、平板装置、移动手持机、膝上型计算机、桌面计算机、汽车信息显示系统或者可用于呈现来自监测系统的监测信息的任何其他装置。在其他实施方式中，处理器195可以与这样的其他外部处理器及与这样的处理器关联的部件接口和通信。

在本文中不时作为实例进行讨论的一个合适配置中，系统102可以实施为运动控制的装置(例如，图17的图像辅助的遥控交通工具1700)。如图17所示，图像辅助的遥控交通工具1700可以包括一个或多个运动控制的部件(例如,运动控制的部件1701)和一个或多个红外成像模块100。图像辅助的遥控交通工具1700可以是例如具有一个或多个红外成像模块100的遥控交通工具,一个或多个红外成像模块100，每一个都具有覆盖场景(例如，场景1430)的一部分的视场(FOV)。

在一个实施方式中,图像辅助的遥控交通工具1700可以是诸如小比例遥控汽车的遥控交通工具。然而，这仅仅是示意性的。如果需要，图像辅助的遥控交通工具1700可以实施成具有各种尺寸并且可以是另外类型的遥控交通工具，例如、遥控卡车、坦克、船、飞机、直升机或安装有或结合有一个或多个红外成像装置的任何其他合适的遥控交通工具。

图像辅助的遥控交通工具1700包括运动控制的部件1701，运动控制的部件1701控制图像辅助的遥控交通工具1700的运动。运动控制的部件1701可包括车轮、螺旋桨或其他推进、转向或驱动系统或部件。运动控制的部件1701可以由电池(例如，电池1704)或独立的电源供电。

如图17所示，图像辅助的遥控交通工具1700可包括一个或多个可见光摄像机1406、一个或多个运动传感器194、一个或多个电池(例如，电池1704)、存储器(例如，存储器196)、一个或多个处理器(例如，处理器195)和通信部件(例如，有线或无线通信部件1706)。

在一个实施方式中，电池1704可以是锂离子电池、锂聚合物电池、镍镉电池、镍金属氢化物电池或用于遥控交通工具的电池技术的其他任何类型的电池。系统1700可包括一个、两个、三个或三个以上的电池，或者如果需要系统1700可以由外部电池或电池组供电(例如，通过至背包或其他便携式容器中的电池的有线连接)。在其他实施方式中，可以另外地或者可选地使用发动机(例如，内燃发动机)用作电池1704。

存储器196可包括存储包括红外图像和监测信息的数据和信息的一个或多个存储器装置。一个或多个存储器装置可包括用于红外图像和其他信息存储的各种类型的存储器，包括易失性和非易失性存储器装置，例如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪速存储器和/或磁盘驱动器。在一个实施方式中，存储在一个或多个存储器装置中的热图像和监测信息可以随后重新取回以用于回顾和/或进一步诊断装置1700监测的环境状况的目的。在各种实施方式中，处理器195可配置成执行存储在存储器196中的软件指令以以本文描述的方式执行各种方法、过程或操作。

显示器197可配置成呈现、指示或以其他方式传达由处理器195、红外成像模块100和/或可见光摄像机1406产生的监测信息。在各种实施方式中，显示器197可以利用电子显示屏实现，例如液晶显示器(LCD)、阴极射线管(CRT)、发光二极管(LED)或各种其他类型的周知视频显示器和监视器。根据这样的实施方式的显示器197可以适用于呈现由处理器195从红外成像模块100捕获的热图像转换的用户可视热图像。

在一些实施方式中，外部装置(例如，移动电话、平板装置、膝上型计算机、桌面计算机、汽车信息显示系统或任何其他装置)上的既有显示屏可接收热图像和/或来自图像辅助的遥控交通工具1700的监测信息以将监测信息呈现给用户。

就这方面而言，通信部件1706可配置成处理、管理或以其他方式促进图像辅助的遥控交通工具的各种部件之间以及图像辅助的遥控交通工具和外部装置之间的有线和/或无线通信。例如，图像辅助的遥控交通工具1700可通过通信部件1706将数据发射到控制装置(例如，图18中示出的控制装置1802)并从控制装置接收数据。控制装置可将操作指令传输到图像辅助的遥控交通工具1700，并可接收和进一步处理原始/经处理的热图像和/或监测信息用于通过配置成管理无线和/或有线连接的通信部件1706呈现给用户。在另一实例中，图像辅助的遥控交通工具1700可进一步将数据传输到具有显示器的外部装置，其还可以接收和进一步处理原始/经处理的热图像和/或监测信息用于通过通信部件1706呈现给用户。

在各种实施方式中，通信部件1706可包括无线通信部件(例如，基于IEEE802.11WiFi标准、Bluetooth^TM标准、ZigBee^TM标准或其他合适的短距离无线通信标准)、无线宽带部件(例如，基于WiMax技术)、移动蜂窝部件、无线卫星部件或其他合适的无线通信部件。通信模块1706还可以配置成用于基于射频(RF)、微波频率(MWF)、红外频率(IRF)和/或其他合适的无线传输技术的专有无线通信协议和接口。通信部件1706可包括联接到其上的天线以用于无线通信目的。这样，在一个实例中，通信部件1706可通过建立到控制装置1902、另一外部装置(例如，移动装置、平板装置、移动手持机、膝上型计算机、桌面型计算机等)或其他合适的无线联网装置来处理、管理或以其他方式促进无线通信。

在各种实施方式中，通信部件1706可配置成经由有线通信部件(例如，以太网接口、电力线调制解调器、数字用户线(DSL)调制解调器、公共交换电话网(PSTN)调制解调器、电缆调制解调器和/或用于有线通信的其他合适部件)与有线网络接口。专有有线通信协议和接口可以由通信部件1706支持。通信部件1706可配置成在用于有线通信目的的有线链路上(例如，通过网络路由器、交换机、集线器或其他网络装置)进行通信。例如，有线链路可以利用电力线缆、同轴电缆、光纤缆或支持相应的有线网络技术的其他合适缆或线来实现。

在一些实施方式中，图像辅助的遥控交通工具可包括用于图像辅助的遥控交通工具的各种应用来说尽可能多的此类通信部件1706以适应各种类型的监测环境。在其他实施方式中，通信部件1706可以结合到图像辅助的遥控交通工具1700的各种其他部件的一部分或者实施为图像辅助的遥控交通工具1700的各种其他部件的一部分。例如，红外成像模块100、处理器195和显示器197每个都可包括子部件，该子部件可配置成执行通信部件1706的操作并且可以在没有单独的部件1706的情况下经由有线和/或无线连接进行通信。

处理器195可以配置成接收红外成像模块100和/或可见光摄像机1406捕获的红外图像数据。处理器195可以配置成在接收的场景的红外图像上执行本文进一步描述的各种红外图像处理和分析操作，以例如检测和追踪边界和确定与边界相关的各种属性。处理器195可以配置成收集、编辑、分析或其他方式处理输出图像或红外图像处理和分析操作的经分析的边界数据以产生监测信息(例如，边界检测和/或追踪信息)。处理器195可使用边界数据确定提供以用于控制运动控制的部件1701的操作修改信息(例如，速度、功率、方向等)，以修改遥控交通工具的操作。

可以由红外成像模块100和/或处理器195监测运动传感器194并且运动传感器194可将信息提供给红外成像模块100和/或处理器195以用于执行本文描述的各种NUC技术。处理器195可以访问运动传感器194以确定图像辅助的遥控交通工具1700的速度、取向和/或加速度的一个或多个空间特性。可以在调整图像辅助的遥控交通工具1700的操作时使用该空间特性。

在不同的实施例中，图像辅助的遥控交通工具1700的一个或多个部件可以根据需要或者应用的要求来组合和/或执行。例如，处理器195可以与红外成像模块100、存储器196和/或通信部件1706组合。在另一实施例中，处理器195与仅仅具有在红外成像模块100中的电路(例如，处理器、逻辑装置、微处理器、微控制器等)执行的处理器195的特定操作的红外成像模块100组合。

图像辅助的遥控交通工具1700的红外成像模块100配置成捕获、处理和/或以其他方式管理场景(例如，场景1430(见图14))的红外图像(例如，包括热图像)。在这方面，红外成像模块100可以附接、装架、安装或以其他方式布置在装置1700上或内的允许场景的至少一部分置于每个红外成像模块100的视场(FOV)1404内的任意合适位置。

图18是框图，其示出了图像辅助的遥控交通工具1700可以如何通信耦接于控制装置1802(在本文中有时称为遥控器或遥控装置)。如图18所示，系统1800可以包括图像辅助的遥控交通工具1700和控制装置1802。图像辅助的遥控交通工具1700可以通过通信路径1808(例如，无线射频通信路径)通信地耦接到控制装置1802。在一些实施方式中，图像辅助的遥控交通工具1700可以通过天线(例如，天线1804)和/或通过网络(例如，网络1806(例如，封闭的专有网络或者全球网络，比如因特网))与控制装置1802通信。

例如，控制装置1802可通过路径1834(例如，有线或无线通信路径)将信号传输到天线1804并且天线1804可以通过路径1812(例如，有线或无线通信路径)将一些或所有接收的信号传输到图像辅助的遥控交通工具1700。作为另一实例，控制装置1802可通过路径1836将信号传输到网络1806，网络1806可通过路径1835(例如，有线或无线通信路径)将一些或所有接收的信号传输到天线1804并且图像辅助的遥控交通工具1700可通过路径1812(例如，有线或无线通信路径)接收与信号相关的信息。

控制装置1802可以与图像辅助的遥控交通工具1700位于相同的地理位置或者可以位于远离图像辅助的遥控交通工具1700的位置。例如，控制装置1802可以是移动装置，例如智能手机、无线蜂窝手机、卫星电话、计算平板(例如，的iPad^TM)、可穿戴计算装置、智能手表(例如，的GalaxyGear^TM)、具有合适的计算机硬件资源的眼镜(例如，的GoogleGlass^TM)和/或通过网络或多网络的组合与图像辅助的遥控交通工具1700通信的其他类型的计算装置。在另一实例中，控制装置1802是配置成与图像辅助的遥控交通工具1700通信的独立遥控装置。

控制装置1802可包括各种计算模块，这些计算模块适于用于与装置1700通信、用于产生包括操作指令的信号、并用于处理和存储图像和/或从装置1700接收的其他监测信息。控制装置1802可包括视频分析应用1814、一个或多个显示器1816、存储装置(例如，存储器1818)、处理设备(例如，处理器1820)、通信部件(例如，通信模块1822)、控制部件(例如，控制面板1828)、输入部件(例如，输入部件1830)和/或输出部件(例如，输出部件1832)。在一个实施方式中，处理器1820可以是处理器195的实现方式。通信模块1822可包括一个或多个天线1824和附加通信电路1826(例如，射频前端电路、信号产生电路、调制电路等)。输入部件1830可包括麦克风、键盘、触屏、鼠标和/或适于接收用户输入的其他部件。输出部件1832可包括一个或多个扬声器、耳机或其他输出部件。

如果场景的可见光图像是可用的(例如，由可见光摄像机1406捕获)，那么处理器1820可以配置成叠加、融合、混合或以其他方式组合红外图像和可见光图像以检测轨道边界和/或产生具有更高清晰度和/或对比的用户可视图像，并在控制装置1802的显示器1816上呈现这种图像。例如，如在文本进一步描述的，处理器1820可配置成产生组合的图像，该组合的图像包括辐射测定数据和/或对应于场景的其他红外特性，但是相比于一般单独由红外图像或可见光图像具有显著更多的边界细节和/或对比(例如，轮廓和/或边缘细节)。在另一实例中，如在本文引用的各种专利申请中公开的合适实施方式描述的，组合图像可以包括辐射测定数据和对应于场景中一个或多个边界的可见光特性(例如，可见光谱色彩)，所述专利申请例如：美国专利申请No.61/473,207、61/746,069、61/746,074、61/792,582、61/793,952、12/766,739、13/105,765或13/437,645，或者国际专利申请No.PCT/EP2011/056432或者其他合适的申请。在这些实例中产生的组合图像可提供充足的辐射测定数据、边缘细节和对比以允许更容易地识别和/或解读轨道和边界的存在、场所和位置。

在一个实施方式中，视频分析应用1814使用红外图像和/或非热图像检测轨道的边界并产生用于修改图像辅助的遥控交通工具1700的操作的指令。在一个实例中，视频分析应用1814可以从交通工具1700接收红外图像并修改用于在输入部件1830上由用户输入的操作指令。在另一实例中，运行在图像辅助的遥控交通工具1700上的视频分析应用可用于修改从控制装置1802接收的操作指令。

在一个实施方式中，一个或多个红外成像模块100可以安装在图17的图像辅助的遥控交通工具1700上。在图19的实例中，图17的图像辅助的遥控交通工具1700实施为遥控交通工具1901。已经实施为图19中示出的类型的图像辅助的遥控交通工具的图像辅助的遥控交通工具1700可以提供有一个或多个成像模块1904。例如，在图19中，成像模块1904可以安置在遥控交通工具1901的下前部分上并面对前方。成像模块1904可以包括一个或多个红外成像模块100和/或一个或多个可见光摄像机1406。

图像辅助的遥控交通工具1700上可以在外壳(例如，外壳1906)中包括成像模块1904。在一些实施方式中，外壳1906可包括夹具、架子、吸杯或合适的附接机构以可释放地将外壳1906并且因此将成像部件(例如，红外成像部件100)附接到合适的运动控制的装置，例如遥控交通工具1901。在一些实施方式中，外壳1906可以使用合适的紧固件固定附接到安装结构。外壳1906可以可选地是交通工具的外壳的组成部分并且可以从交通工具突出出去或者可以与交通工具的外壳表面安装平齐(例如，在开口中或者在红外透明窗之后)。

其他部件(例如，处理器195、通信部件1706和存储器196)可以位于外壳1906内或者在遥控交通工具1901的其他部分中。

图像辅助的遥控交通工具1700可以放置在具有边界1932的轨道1930上。在各种实施方式中，用户可以通过在某一表面(例如，室内或室外地面)上放置或画出边界1932来创建轨道1930。例如，用户可以放置或画出边界1932来创建轨道1930，轨道1930具有在图像辅助的遥控交通工具1700的每一侧上的边界，以形成任何期望构型(例如，在图19的实例中的环形)的航道。边界1902可包括具有不同于边界放置在上面的表面的发射率、温度、颜色或其他可见和/或热属性的任何材料。具有不同发射率的材料在相同温度下不同地发射热辐射。当具有高发射率的材料(例如，油漆、混凝土、木材等)和具有低发射率的材料(例如，铝、银、铜等)在相同温度时，具有高发射率的材料相比于具有低发射率的材料更强烈地发射热辐射。不同的发射率可以反映在红外图像中，例如，相比于具有高发射率的材料，具有低发射率的材料显得更暗。在一个实施方式中，边界1932包括具有低发射率的材料，例如绝缘带或线，或者铝带或线。具有低发射率的的边界1932可以尤其适用于具有高发射率的表面，例如混凝土或木材表面。在其他实施方式中，边界1902包括具有高发射率的材料，例如油漆或木棍。具有高发射率的边界1932可以尤其适用于具有低发射率的表面，例如金属表面。

如在图19的实施方式中示出的，控制装置1802可以实施为可以用手(例如，用户的手1912)把持的移动装置。用户可以利用控制装置1802通过发送操作指令到图像辅助的遥控交通工具1700来控制图像辅助的遥控交通工具1700。例如，用户可以在控制面板、呈现在触屏上的GUI、控制杆、旋钮、按钮或按钮组合、或其他输入部件1830上输入方向和速度指令来控制图像辅助的遥控交通工具1700的方向和速度。在一个实施方式中，控制装置1802从图像辅助的遥控交通工具1700接收红外图像。

包括一个或多个红外成像模块100的成像模块1904可以捕获轨道1930的一部分的红外图像。可以位于图像辅助的遥控交通工具1700、控制装置1910或者两者中的一个或多个处理器基于红外图像来检测边界1932。可以基于图像差异检测边界1932，图像差异归因于例如边界1932和轨道1930的表面的其余部分之间的发射率差异。例如，相比于图像的其他区域，捕获的红外图像中的边界1932可以显示为相对更暗或相对更亮的区域。在一些实施方式中，处理器195执行边缘检测以确定边界1932的更准确位置。在进一步的实例中，可以使用一个或多个图像分析操作(例如，视频分析)来执行该检测，所述图像分析操作可包括场景重建操作和/或边界追踪操作。

在一个实施方式中，图像辅助的遥控交通工具1700(例如，处理器195)可以由一个或多个成像模块1904产生图像数据(例如，红外图像)并在红外图像中检测对应于边界或可能的边界(例如，由具有相对低的发射率(例如，绝缘带或铝带的发射率)的材料或具有与背景场景材料或物体不同的发射率的材料形成的边界)的像素的连续线或块(也称为边缘、先或连续线)。这样的边缘可指示装置1700附近存在边界，并且可以如本文进一步描述地分析这样的边缘以证实存在边界、追踪边界、确定边界相对于交通工具的位置、确定边界相对于交通工具的取向和/或确定与检测的边界相关的各种其他属性。

现在参考图20，示出了用于检测边界(例如，边界1932)并基于检测的边界修改图像辅助的遥控交通工具(例如，图像辅助的遥控交通工具1700)的操作的过程2000的流程图。

在块2002，可以通过一个或多个成像模块(例如，诸如遥控交通工具1901的运动控制的装置上的红外成像模块100)捕获包括轨道的一部分的场景的图像(例如，包含具有辐射测定数据像素的图像)。成像模块安装在遥控交通工具(例如，图像辅助的遥控交通工具1700)上或者其中，基于从控制装置(例如，控制装置1802)接收的操作指令来远程操作该遥控交通工具。如上面相关于红外成像模块100描述的，捕获的红外图像可以是辐射测定上校准的红外图像。如果需要，也可以使用在运动控制的装置(例如，遥控交通工具1901)上的可见光摄像机1406在块2002块捕获可见光图像。

在块2004，可以在捕获的红外图像上执行处理操作。处理操作可包括NUC校正、其他噪声校正、校准操作、平滑操作、滤波操作、边缘检测操作、透视校准操作或其他图像处理操作。还可以在块2002可选地捕获的可见光图像上执行附加的处理操作。在一些实施方式中，在块2004执行的图像处理操作可包括在上面相关于图14和16(作为实例)描述的对红外图像和可见光图像的组合或融合。可以在捕获的红外图像上执行NUC校正过程以例如通过使用本文公开的各种NUC技术来去除其中的噪声。

在一些实施方式中，可以对捕获的红外图像进行缩放和/或透视校准。缩放和透视校准操作可以手动执行或者利用存储在存储器196中的缩放或透视校准数据和/或传感器数据(例如，指示交通工具的取向的数据)来自动执行。

在块2006，可以使用经处理的红外图像检测一个或多个边界(例如，边界1932)。检测边界可包括识别对应于边界(例如，归因为由于边界材料与周围材料的差异(例如，发射率差异)产生的图像强度差异，归因于由于边界材料和周围材料温度上的差异产生的辐射测定上校准的图像中的检测到的温度差异，归因于在对应于边界材料的边缘的图像中的检测的边缘)的红外图像中的图像像素或者以其他方式识别对应于待检测的期望边界的图像的特性。

例如，可以使用捕获的红外图像执行各种分析和处理操作以检测和/或追踪边界，并确定与检测的边界相关的各种属性(例如，到边界的距离)。在一个实施方式中，可以在图像(例如，红外图像(例如，未校准或辐射测定上校准的红外图像))中检测与其他区域相比具有不同强度或温度值的连续像素的区域，以检测边界。例如，检测操作可使用图像像素值差异以区分具有与轨道的其余部分不同的表面发射率分布的边界。在另一个实施方式中，可以从辐射测定上校准的红外图像中检测具有在特定范围中的温度值的连续像素的区域以检测边界。可以例如通过执行各种滤波操作并分析边界的尺寸、形状和/或红外特性来进一步处理和/或分析其红外图像和在其中检测的边界，以检测边界并进一步确定边界的位置。

在另一实施方式中，可以分析红外图像以例如使用背景建模技术、边缘检测技术或适于用于红外图像的其他边界检测技术来检测一个或多个候选边界。然后可以分析候选边界的尺寸和形状和/或发射特性以确定它们是否对应于可能存在于场景中的边界的尺寸和形状和/或发射特性。例如，在图像中检测的物体，例如轨道或轨道表面的表面特征上的另一交通工具，可以最初被检测为候选边界。然而，可以确定检测的物体具有指示检测的目标不具有边界的特性并且因此不是边界的形状或其他特性(例如，非线性形状或边缘或者不同于轨道边界的先前描绘部分的取向、强度或温度)。还可以分析候选边界的辐射测定属性(例如，温度)，以使得可以基于检测的候选边界的尺寸、形状和辐射测定属性来确定所述检测。如上所述，如果需要确定边界的特征的位置和追踪边界的特征，则可以执行进一步的处理和分析操作。相比于使用可见光图像的边界检测技术，使用红外图像的边界检测可以能够较不受假性边界的错误检测的影响并且可以利于使用通常的家用材料(例如，绝缘带或铝带)进行定制设计和构建相对简单和低价的轨道。然而，这仅仅是示意性的。在一些实施方案中，轨道边界材料可提供有对于红外图像中的检测来说特别需要的热特性的材料。

在该实施方式的一个方面，背景建模技术可以用来检测场景中的边界。由于场景的背景(例如，轨道表面)可能具有与边界的发射特性不同的发射特性，并且由于红外图像一般对变化的照明条件不敏感，因此可以构建背景模型(例如，对应于背景材料的像素值)，并且特定图像中不同于背景的像素区域(也称之为“兴趣区域”)可以容易地区别为候选前景边界。如上所述，然后可以分析这样的兴趣区域(ROI)的尺寸、形状和/或辐射测定属性以进一步确认检测的ROI是否有可能代表边界。在一个实施方式中，图像辅助的遥控交通工具1700可以配置成通过在红外图像和其中包含的辐射测定数据上执行其他合适的处理和分析操作来计算边界的近似发射率或温度。

在各种实施方式中，可以省略或包括对于块2006描述的各种处理和分析操作，并且，对于块2006描述的各种处理和分析操作可以以合适于检测边界的任何其他顺序执行。例如，在一些实施方式中，在红外图像中检测线性延伸的特征可以足以检测和追踪场景中的边界，而在其他实施方式中，可能要组合地执行各种红外图像分析以提高检测的准确性。

在一些实施方式中，如果可见光图像是可用的(例如，由可见光摄像机1406捕获)，那么块2006的操作可以附加地或可选地包括在可见光图像或可见光图像和红外图像的组合图像上执行合适的边界检测和追踪算法。如果是使用可见光图像执行边界的检测和追踪，则块2006的操作可进一步包括将可见光图像中被追踪边界的像素坐标转换到红外图像中的对应像素坐标。用于通过分析红外图像、可见光图像和/或组合图像来检测红外图像中的边界的其他合适技术也可以用于块2006。

在块2008，可以确定一个或多个检测的边界(例如，边界1932)的位置。在一个实施方式中，相对于图像辅助的遥控交通工具1700确定边界的位置。确定检测的边界的位置可包括确定若干个成像模块中的哪个捕获了在其中检测到边界的图像。在一些实施方式中，确定边界的位置可以包括确定边界在特定成像模块捕获的图像内的位置，以便进一步确定经确定的位置。确定边界在捕获的图像内的位置可包括确定在图像中的哪些像素包括边界。确定检测的边界的位置可包括确定边界在图像辅助的遥控交通工具1700的参考系中边界的角位置。例如，图像辅助的遥控交通工具1700的参考系可以具有对于直接在图像辅助的遥控交通工具1700前面的前向位置的零度角位置。在该实例中，直接在图像辅助的遥控交通工具1700下面的边界可以具有正或负90度的角位置。然而，这仅仅是示意性的。如果需要，检测的边界的角位置可以在任何合适的参考系或坐标系统中确定，例如固定到围绕图像辅助的遥控交通工具1700的物理环境的参考系。

确定检测的边界的位置还可包括确定从图像辅助的遥控交通工具1700到边界的距离。例如，确定到边界的位置可包括使用存储的比例和/或透视校准数据确定到边界的距离。在另一实例中，确定到边界的距离可包括确定边界在图像中的厚度、确定边界的厚度并基于边界在图像中的厚度和边界的厚度计算距离。在一个实施方式中，可以通过用作边界的铝或线带的平均厚度来确定厚度(例如，1cm、5cm、10cm等)。在另一实施方式中，可以基于透视校准数据和在轨道上时收集的厚度数据来确定厚度。在进一步的实施方式中，可以通过用户输入确定厚度。

在一个实施方式中，可以在块2008通过进一步的分析和处理和/或在对于检测执行的处理和分析过程中确定附加的边界信息。例如，可以通过分析和处理红外图像来确定边界相对于图像辅助的遥控交通工具1700的方向或交通工具正在接近边界的速度。

在一些实施方式中，如果成像模块1804中可见光摄像机1406捕获的可见光图像可用，则图像辅助的遥控交通工具1700可以配置成附加地或可选地基于可见光图像来追踪场景的特征(例如，一个或多个边界)和/或一个或多个边界的取向。例如，可见光图像在某些环境光条件下可以提供比红外图像更多的细节和对比，并且因而可使用在这样有利的光条件下合适的边界追踪算法来分析可见光图像。在另一实例中，可以分析可见光图像和红外图像两者来互补地增加检测和追踪准确性。在另一实例中，可以如在下文进一步描述地组合或融合可见光图像和红外图像，并且可以分析组合或融合的图像以追踪场景的特征。如果图像辅助的遥控交通工具1700被配置成使用可见光图像来检测和追踪场景的特征，则处理器195可进一步被配置成将可见光图像中被追踪特征的像素坐标转换到红外图像中的对应像素坐标。

在块2010，可以基于检测的图像辅助的遥控交通工具1700正在接近的边界(例如，如果是基于确定的位置和到边界的距离确定该边界)修改图像辅助的遥控交通工具1700的操作。在一个实施方式中，处理器(例如，处理器195)配置成在图像辅助的遥控交通工具1700接近边界时通过减小图像辅助的遥控交通工具1700的速度来修改操作。当处理器基于红外图像确定图像辅助的遥控交通工具1700正在接近边界时，可以例如减小速度以给用户更多的时间来转向交通工具并停留在轨道内。

在其他实施方式中，处理器(例如，处理器195)配置成在图像辅助的遥控交通工具1700接近边界时通过远离边界转向来修改遥控交通工具1700的操作。当处理器195基于红外图像确定图像辅助的遥控交通工具1700正在接近边界时，可以将行进的方向调整为主动确定的角度以将交通工具保持在轨道内和/或给用户更多的时间来转向交通工具。行进方向的调整可以基于边界的确定的取向。例如，当边界垂直于行进的方向时，这样图像辅助的遥控交通工具1700正在直接朝边界驶去，则可以通过以大角度(例如，90度转弯)调整行进方向和/或可以急剧减小速度(例如，通过减小到车轮的功率或刹车)。在另一实例中，当边界相对于行进方向成45度角度时，通过相对较小的转弯图像辅助的遥控交通工具1700可躲避边界，这样可以以较小的角度(例如，45度转弯)调整行进方向并且减速量可以相对较小。

在进一步的实施方式中，处理器(例如，处理器195)配置成基于一个或多个红外图像确定航道、确定航道的角度并通过减小航道和行进方向之间的角度来修改图像辅助的遥控交通工具1700的操作。航道可以通过基于红外图像检测的两个边界限定，其中两个边界中的每一个位于图像辅助的遥控交通工具1700的相对侧上。航道的角度可以由两个边界例如相对于行进方向的平均角度限定。当处理器基于红外图像确定图像辅助的遥控交通工具1700正在朝向边界行进时，调整行进方向一个角度以使得行进方向更靠近平行于航道。行进方向的调整可以是航道角度的函数。例如，当航道相对于行进方向成45度角时，图像辅助的遥控交通工具1700可以转向行进方向以使得航道相对于行进方向的角度减小(例如，0-30度)。

可以基于到检测的边界的距离来修改操作。例如，基于到边界的距离，减速和/或对图像辅助的遥控交通工具1700行进方向的修改可以是成反比的或者其他比例(例如，当确定交通工具相对接近边界，与当确定交通工具相对远离边界时的调整相比，可以相对较大的程度减小速度和/或可以相对较大的程度调整行进方向)。在一些实施方式中，仅在确定交通工具处于离边界预定距离内时才修改操作。

在某些实施方式中，处理器(例如，处理器195)配置成通过上述方法的组合来修改图像辅助的遥控交通工具的操作。例如，处理器195可在图像辅助的遥控交通工具1700正在接近边界时减小速度并改变图像辅助的遥控交通工具1700的行进方向。

在各种实施方式中，处理器195利用视频分析应用1814来确定对操作的修改，例如修改的类型(例如，减小速度、改变方向等)和修改的程度。一个或多个处理器(例如，处理器195)可以位于图像辅助的遥控交通工具1700或控制装置1802或二者中。确定对操作的修改的处理器与基于红外图像检测边界1932的处理器可以是相同的处理器或不同的处理器。在一些实施方式中，确定对操作的修改的处理器位于图像辅助的遥控交通工具1700上并直接修改图像辅助的遥控交通工具1700的操作。在其他实施方式中，确定对操作的修改的处理器位于控制装置1802上并通过向图像辅助的遥控交通工具1700发送修改指令来修改图像辅助的遥控交通工具1700的操作。

在块2012，当根据图像确定图像辅助的遥控交通工具1700没有正在接近边界时，处理器(例如，处理器195)使用连续捕获的图像(例如，红外图像和/或可见光图像)继续监测场景。

尽管已经描述了各种图像处理技术，但是可以使用在本文参考的专利申请的任一个中阐述的各种处理技术中的任一种。例如，在一些实施方式中，可以根据在下述专利申请中阐述的任何技术来混合或以其他方式组合可见光图像和/或红外图像：美国专利申请61/473,207、61/746,069、61/746,074、61/792,582、61/793,952、12/766,739、13/105,765或13/437,645，或者国际专利申请PCT/EP2011/056432，或者合适的其他专利申请。

在合适的情况下，可通过硬件、软件或者硬件和软件的结合来实现本公开所提供的各种实施例。同样的在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件合并为包括软件、硬件和/或二者的复合部件。在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件分离为包括软件、硬件或二者的子部件。另外，在合适的情况下，可以预期的是，软件部件能够实现为硬件部件，反之亦然。

根据本公开的软件，例如，非暂时性指令、程序代码和/或数据可存储在一个或者多个非暂时性机器可读介质中。还可以预期的是，可使用一个或者多个通用或者专用计算机和/或计算机系统、网络和/或其他方式来实现本文所提及的软件。在合适的情况下，本文所描述的各种步骤的顺序可以改变、合并为复合步骤和/或分离为子步骤，以提供本文所描述的功能。

以上所描述的实施例仅为了举例说明，而不是限制本实用新型。还应当理解的是，根据本实用新型的原理，许多修改和改变是可能的。因此，本实用新型的范围仅由下面的权利要求书限定。

Claims (12)

1.一种用于遥控交通工具的系统，其特征在于，包括：

遥控交通工具；

安装在所述遥控交通工具上的红外成像模块，其中所述红外成像模块配置成捕获轨道的一部分的红外图像；以及

处理器，其配置成基于使用红外图像检测的轨道的边界修改所述遥控交通工具的操作。

2.根据权利要求1所述的系统，其特征在于，还包括控制装置，其配置成传输操作指令，其中所述处理器配置成基于所述操作指令修改所述遥控交通工具的操作。

3.根据权利要求2所述的系统，其特征在于，所述处理器布置在所述遥控交通工具中并且还配置成将所述红外图像传输到所述控制装置。

4.根据权利要求2所述的系统，其特征在于，所述控制装置包括移动装置。

5.根据权利要求1所述的系统，其特征在于，所述处理器还配置成确定所述边界的位置和所述边界相对于所述遥控交通工具的取向。

6.根据权利要求1所述的系统，其特征在于，所述遥控交通工具包括运动传感器，所述运动传感器配置成确定所述遥控交通工具的速度，并且其中所述处理器配置成基于所述遥控交通工具的速度修改所述遥控交通工具的操作。

7.根据权利要求1所述的系统，其特征在于，所述处理器配置成在所述遥控交通工具接近所述边界时通过减小所述遥控交通工具的速度来修改所述遥控交通工具的操作。

8.根据权利要求1所述的系统，其特征在于，所述处理器配置成在所述遥控交通工具接近所述边界时通过远离所述边界转向来修改所述遥控交通工具的操作。

9.根据权利要求1所述的系统，其特征在于，所述处理器配置成通过减小使用所述红外图像确定的航道和所述遥控交通工具行进的方向之间的角度来修改所述遥控交通工具的操作，其中所述航道由所述边界和附加边界限定，其中所述边界和所述附加边界位于所述遥控交通工具的相对侧上。

10.根据权利要求1所述的系统，其特征在于，所述边界包括绝缘带或铝带。

11.根据权利要求1所述的系统，其特征在于，所述红外成像模块包括红外微辐射计阵列。

12.根据权利要求1所述的系统，其特征在于，还包括安装在所述遥控交通工具上的至少一个非热成像模块。