CN205449295U - 装置附件 - Google Patents

Abstract

公开了各种技术以用于提供一种装置附件，该装置附件配置为可拆卸地连接到手机或其他便携式电子装置并为它们提供红外成像功能。例如，装置附件可包括在其后表面具有成形为至少部分接收用户装置的槽的外壳；布置在外壳内并配置为捕获热红外图像数据的红外传感器组件；以及通信地耦合到红外传感器组件并配置为传输热红外图像数据到用户装置的处理模块。热红外图像数据可通过红外传感器组件来捕获，并响应在用户装置上运行的应用程序或其他软件/硬件例行程序传输的请求，由处理模块传输到用户装置。

Description

装置附件

相关申请的交叉参考

本申请要求2013年9月20日提出的且题为“DEVICEATTACHMENTWITHINFRAREDIMAGINGSENSOR”的美国临时专利申请No.61/880,827的权益，通过引用的方式将其整体合并于此。

本申请是2013年5月23日提出的且题为“DEVICEATTACHMENTWITHINFRAREDIMAGINGSENSOR”的美国专利申请号No.13/901,428的部分连续申请案，通过引用的方式将其整体合并于此。

本申请要求2013年3月15日提出的且题为“TIMESPACEDINFRAREDIMAGEENHANCEMENT”的美国临时专利申请No.61/792,582的权益，通过引用的方式将其整体合并于此。

本申请要求2012年12月31日提出的且题为“COMPACTMULTI-SPECTRUMIMAGINGWITHFUSION”的美国临时专利申请No.61/748,018的权益，通过引用的方式将其整体合并于此。

本申请要求2012年12月26日提出的且题为“TIMESPACEDINFRAREDIMAGEENHANCEMENT”的美国临时专利申请No.61/746,069的权益，通过引用的方式将其整体合并于此。

技术领域

本实用新型的一个或多个实施例通常涉及红外成像装置，更具体地说，例如，用于便携式设备的红外成像装置，和例如使用红外成像装置的多光谱成像的系统和方法。

背景技术

各种类型的便携式电子装置，诸如智能手机、手机、平板设备、便携式媒体播放器、便携式游戏装置、数码摄像机和笔记本电脑，都在广泛使用。这些装置通常包括使用户能够拍摄静止图像或视频片段的可见光图像传感器或摄像机。这种嵌入式摄像机日益普及的一个原因是移动电话和其他便携式电子装置的普遍性。即，因为用户已经携带了移动电话和其他便携式电子装置，所以当用户需要时这种嵌入式摄像机一直在手中。日益普及的另一个原因是越来越多的处理能力、存储容量和/或显示能力，其使用手机和其他便携式电子装置能够足够快地捕获、处理和存储大的高质量图像。

然而，在这些便携式电子装置中使用的图像传感器通常是限制于捕获可见光图像的基于CCD或基于CMOS的传感器。如此，这些传感器的最佳检测范围仅是可见光或波长或接近可见光(例如，当用红外光主动照亮物体时的近红外光)的非常有限的范围。相反，真实红外图像传感器可以捕获温度高于绝对零度的所有物体所发出的热能量辐射的图像，因此能够用于产生能够有益地用于各种情况的红外图像(例如，温谱图)，该各种情况包括：在低或无光照条件下观察、检测人体体温异常(例如，用于检测疾病)、检测不可见的气体、检查结构的漏水和绝缘损坏、检测电气和机械设备的看不见的损害、以及真实红外图像可提供有用信息的其他情况。即使能处理、显示和存储红外图像的移动手机和其他便携式电子装置都在广泛的日常使用，由于缺乏真实的红外成像传感器，这些装置也不能被用于红外成像。

实用新型内容

公开了用于提供装置附件的各种技术，该装置附件被配置为可拆卸地连接到手机或其他便携式电子装置并为它们提供红外成像功能。例如，装置附件可包括在其后表面具有成形为至少部分接收用户装置的部分封闭(例如，槽或切口)的外壳；布置在外壳内并配置为捕获热红外图像数据的红外传感器组件；以及通信地耦合到红外传感器组件并配置为传输热红外图像数据到用户装置的处理模块。热红外图像数据可通过红外传感器组件来捕获，并响应在用户装置上运行的应用程序或其他软件/硬件例行程序的发送请求通过处理模块将其传输给用户装置。热红外图像数据可通过装置连接器或无线连接传输给用户装置。

在一个实施例中，装置附件包括配置为可拆卸地附接到用户装置的外壳；在外壳内的红外传感器组件，该红外传感器组件配置为捕获热红外图像数据；和通信地耦合到红外传感器组件并配置为传输热红外图像数据到用户装置的处理模块。

在另一个实施例中，为用户装置提供红外成像功能的方法包括将装置附件可拆卸地附接到用户装置，该装置附件包括红外传感器组件和处理模块；在红外传感器组件捕获红外热图像数据；和使用处理模块将热红外图像数据传输给用户装置。

在另一个实施例中，装置附件进一步包括配置为将红外辐射传送到红外传感器组件的透镜。

在另一个实施例中，装置附件进一步包括配置为将热红外图像数据从处理模块传送到用户装置的装置连接器。

在另一个实施例中，该装置连接器进一步配置为给用户装置传送电力以供用户装置使用。

在另一个实施例中，外壳包括形成凹槽的后壁和至少一个侧壁，该凹槽配置为接收用户装置，其中，用户装置是移动个人电子装置。

在另一个实施例中，该装置连接器进一步包括外壳内的非热摄像机模块，该非热摄像机模块配置为捕获非热图像数据。

在另一个实施例中，非热摄像机模块包括可见光摄像机模块。

在另一个实施例中，非热摄像机模块被配置为在第一时间从场景捕获非热图像数据；红外传感器组件被配置为在第二时间从场景捕获热红外图像数据，其中，红外图像包括辐射测定分量；和处理模块被配置为处理热红外图像数据和非热图像数据以产生合成图像，该合成图像包括来自非热图像数据的场景的可见光谱特征和来自热红外图像数据的辐射测定分量的场景的红外特征。

在另一个实施例中，处理模块被配置为响应从用户装置发送的请求，将热红外图像数据传输给用户装置。

在另一个实施例中，热红外图像数据包括有意模糊的图像帧和未模糊的图像帧；和处理模块被配置为基于有意模糊的图像帧确定多个非均匀校正项，并将该非均匀校正项应用到未模糊的图像帧以从未模糊的图像帧去除噪声。

在另一个实施例中，红外传感器组件包括配置为捕获热红外图像数据的焦平面阵列；和该焦平面阵列包括微测辐射热仪的阵列，该微测辐射热仪的阵列适于接收从0.2v到0.7v的范围选择的偏置电压。

本实用新型的范围由权利要求书限定，通过引用的方式将这部分合并于此。通过考虑下面对一个或者多个实施例的详细描述，将会向本领域技术人员提供对本实用新型实施例的更加完整的理解以及其中附加的优点的实现。下面将参考首先会简要描述的附图。

附图说明

图1示出了根据本公开实施例的被配置为在主机装置中实现的红外成像模块。

图2示出了根据本公开实施例的装配后的红外成像模块。

图3示出了根据本公开实施例的并置于插座之上的红外成像模块的分解图。

图4示出了根据本公开实施例的包括红外传感器阵列的红外传感器组件的框图。

图5示出了根据本公开实施例的确定NUC项的各种操作的流程图。

图6示出了根据本公开实施例的相邻像素之间的差值。

图7示出了根据本公开实施例的平场校正技术。

图8示出了根据本公开实施例的应用在图像处理流水线中的图5的各种图像处理技术和其他操作。

图9示出了根据本公开实施例的时域噪声削减步骤。

图10示出了根据本公开实施例的图6的图像处理流水线的几个步骤的具体的实施细节。

图11示出了根据本公开实施例的附近像素中的空间相关的FPN。

图12示出了根据本公开实施例的具有红外传感器组件的装置附件的左后仰视透视图。

图13示出了根据本公开实施例的具有红外传感器组件的装置附件的左后仰视透视图，其示出了可拆卸地附接到其的用户装置。

图14示出了根据本公开实施例的具有红外传感器组件的装置附件的前立面视图。

图15示出了根据本公开实施例的具有红外传感器组件的装置附件的后立面视图。

图16示出了根据本公开实施例的具有红外传感器组件的装置附件的左侧立面视图。

图17示出了根据本公开实施例的具有红外传感器组件的装置附件的右侧立面视图。

图18示出了根据本公开实施例的具有红外传感器组件的装置附件的俯视平面图。

图19示出了根据本公开实施例的具有红外传感器组件的装置附件的仰视平面图。

图20示出了根据本公开另一实施例的具有红外传感器组件的装置附件的左前俯视透视图。

图21示出了根据本公开另一实施例的具有红外传感器组件的装置附件的左后仰视透视图。

图22示出了根据本公开另一实施例的具有红外传感器组件的装置附件的后视图，其示出了可拆卸地附接至其的用户装置。

图23示出了根据本公开实施例的如何合成热图像和非热图以形成处理图像的流程图。

图24示出了根据本公开实施例的装置和装置附件的框图，其示出了使用装置的处理器如何将来自装置中的非热摄像机模块的非热图像与来自装置附件的热图像合成在一起。

图25示出了根据本公开实施例的装置和装置附件的框图，其示出了使用装置附件的处理器如何将来自装置中的非热摄像机模块的非热图像与来自装置附件的热图像合成在一起。

图26示出了根据本公开实施例的装置和装置附件的框图，其示出了如何将来自装置附件中的非热摄像机模块的非热图像与来自装置附件的热图像合成在一起。

图27示出了根据本公开实施例的使用装置和装置附件捕获和合成热和非热图像的过程。

图28示出了根据本公开实施例的装置附件的前透视图。

图29示出了根据本公开实施例的装置附件的后透视图。

图30示出了根据本公开实施例的装置附件的前透视图。

图31示出了根据本公开实施例的装置附件的后透视图。

图32示出了根据本公开实施例的包括红外传感器阵列和低压差稳压器的红外传感器组件的另一个实现方式的框图。

图33示出了根据本公开实施例的图32的红外传感器组件的一部分的电路图。

图34示出了根据本公开实施例的适于成像场景的成像系统的框图。

图35示出了根据本公开实施例的增强场景的红外成像的各种操作的流程图。

图36示出了根据本公开实施例的组合热图像和非热图像的各种操作的流程图。

图37示出了根据本公开实施例的适于成像场景的成像系统的框图。

图38示出了根据本公开实施例的用于适于成像场景的成像模块的装配系统的框图。

图39示出了根据本公开实施例的适于成像场景的成像模块的布置的框图。

通过参考下面的详细说明，将会更好的理解本实用新型的实施例及其优点。应当理解的是，相同的参考数字用于表示在一副或者多幅附图中示出的相同元件。

具体实施方式

图1示出了根据本公开实施例的被配置为在主机装置102中实现的红外成像模块100(例如，红外摄像机或者红外成像装置)。在一个或者多个实施例中，可根据晶圆级封装技术或者其他封装技术，实现小形状因子的红外成像模块100。

在一个实施例中，红外成像模块100可被配置为在小型的便携式主机装置102中实现，例如，移动电话、平板电脑装置、膝上型电脑装置、个人数字助理、可见光照摄像机、音乐播放器或者任何其他合适的移动装置(例如，任何类型的移动个人电子装置)。就这方面而言，红外成像模块100可用于向主机装置102提供红外成像功能。例如，红外成像模块100可被配置为捕获、处理、和/或管理红外图像，并将该红外图像提供给主机装置102，主机装置102能够以任何期望的方式来使用该红外图像(例如，对该红外图像进行进一步的处理、存储到存储器中、显示、由运行在主机装置102中的各种应用程序使用、输出到其他装置、或者其他应用)。

在各种实施例中，红外成像模块100可被配置为在低电压电平和宽温度范围内工作。例如，在一个实施例中，红外成像模块100可使用约2.4伏、2.5伏、2.8伏或更低的电压的电源工作，并且可在约-20℃到约+60℃的温度范围中工作(例如，在约80℃的环境温度范围中提供合适的动态范围和性能)。在一个实施例中，通过使红外成像模块100在低电压电平下工作，与其他类型的红外成像装置相比，红外成像模块100自身所产生的热量较少。因此，红外成像模块100在工作时，可利用简化的措施来补偿这种自身产生的热量。

如图1所示，主机装置102可包括插座104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其他部件198。插座104可被配置为如箭头101所示的接收红外成像模块100。就这方面而言，图2示出了根据本公开实施例的装配在插座104中的红外成像模块100。

可由一个或者多个加速度计、陀螺仪或者可用于检测主机装置102的运动的其他合适的装置来实现运动传感器194。处理模块160或者处理器195可对运动传感器194进行监控并且运动传感器194向处理模块160或者处理器195提供信息，以检测运动。在各种实施例中，运动传感器194可实现为主机装置102的一部分(如图1所示)，也可实现为红外成像模块100、或者连接到主机装置102或与主机装置102接触的其他装置的一部分。

处理器195可实现为任何合适的处理装置(例如，逻辑装置、微控制器、处理器、专用集成电路(ASIC)或者其他装置)，主机装置102可使用上述处理装置来执行适当的指令，例如，存储在存储器196中的软件指令。显示器197可用于显示捕获的和/或处理后的红外图像和/或其他图像、数据和信息。其他部件198可用于实现主机装置102的任何功能，如可能期望的各种应用(例如，时钟、温度传感器、可见光照摄像机或者其他部件)。另外，机器可读介质193可用于存储非临时性指令，可将该非临时性指令加载到存储器196中并由处理器195执行。

在各种实施例中，可大量生产红外成像模块100和插座104，以推动它们的广泛应用，例如，其可应用在移动电话或者其他装置(例如，需要小形状因子的装置)中。在一个实施例中，当红外成像模块100安装到插座104中时，红外成像模块100和插座104的组合所显示出的整体尺寸大约为8.5mm×8.5mm×5.9mm。

图3示出了根据本公开的实施例的并置于插座104之上的红外成像模块100的分解图。红外成像模块100可包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基座150和处理模块160。

透镜镜筒110可至少部分的装入光学元件180(例如，透镜)，通过透镜镜筒110中的孔112，所述光学元件180在图3中部分的可见。透镜镜筒110可包括大致呈圆柱形的延长部分114，其可用于使透镜镜筒110与外壳120中的孔122接触。

例如，可由安装在基板140上的帽130(例如，盖子)来实现红外传感器组件128。红外传感器组件128可包括按列或者其他方式设置在基板140上并由帽130覆盖的多个红外传感器132(例如，红外探测器)。例如，在一个实施例中，红外传感器组件128可实现为焦平面阵列(FPA)。这种焦平面阵列可实现为例如真空封装的组件(例如，由帽130和基板140密封)。在一个实施例中，红外传感器组件128可实现为晶片级封装(例如，红外传感器组件128可以是与设置在晶片上一组真空包装组件相分离的单片)。在一个实施例中，红外传感器组件128可实现为使用约2.4伏、2.5伏、2.8伏或者类似的电压的电源来工作。

红外传感器132可被配置为检测目标场景的红外辐射(例如，红外能量)，所述目标场景包括：例如中波红外波段(MWIR)、长波红外波段(LWIR)、和/或如在特定应用中所期望的其他热成像波段。在一个实施例中，可根据晶片级封装技术来提供红外传感器组件128。

红外传感器132可实现为例如微辐射热计探测器，或者以任意期望的阵列方向图案配置以提供多个像素的其他类型的热成像红外传感器。在一个实施例中，红外传感器132可实现为具有17微米像素间距的氧化钒(VOx)探测器。在各种实施例中，可使用约32×32阵列的红外传感器132、约64×64阵列的红外传感器132、约80×64阵列的红外传感器132或者其他大小的阵列。

基板140可包括各种电路，其中包括例如读出集成电路(ROIC)，在一个实施例中，该读出集成电路(ROIC)的尺寸比约5.5mm×5.5mm小。基板140还可包括接合焊盘142，其可用于当如图5所示的那样装配好红外成像模块100时，与放置在外壳120的内表面上的相辅相成的连接点相接触。在一个实施例中，可利用执行电压调节的低压差稳压器(LDO)来实现ROIC，以降低引入到红外传感器组件128中的噪声，从而提供改进的电源抑制比(PSRR)。另外，通过实现具有ROIC的LDO(例如，在晶圆级封装内)，可消耗更少的管芯面积并且需要的离散管芯(或者芯片)较少。

图4示出了根据本公开的实施例的包括红外传感器132阵列的红外传感器组件128的框图。在示出的实施例中，红外传感器132作为ROIC402的单位晶格阵列的一部分。ROIC402包括偏压产生和定时控制电路404、列放大器405、列多路复用器406、行多路复用器408和输出放大器410。可通过输出放大器410将红外传感器132捕获的图像帧(即，热图像)提供给处理模块160、处理器195和/或任何其他合适的部件，以执行本文所描述的各种处理技术。尽管图4示出的是8×8的阵列，但是任何期望的阵列配置均可用于其他实施例中。ROIC和红外传感器的进一步描述可在2000年2月22日公开的美国专利No.6,028,309中找到，通过引用的方式将其作为整体合并于此。

红外传感器阵列128可捕获图像(例如，图像帧)，并以各种速率从它的ROIC提供这种图像。处理模块160可用于对捕获的红外图像执行适当的处理，并且可以根据任何适当的结构来实现该处理模块160。在一个实施例中，处理模块160可实现为ASIC。就这方面而言，这种ASIC可被配置为高性能的和/或高效率的执行图像处理。在另一个实施例中，可利用通用中央处理单元(CPU)来实现处理模块160，所述CPU可被配置为执行适当的软件指令，以进行图像处理、调整以及通过各种图像处理块进行图像处理、处理模块160和主机装置102之间的互相配合的交互和/或其他操作。在另一个实施例中，可利用现场可编程门阵列(FPGA)来实现处理模块160。在其他实施例中，如本领域技术人员所理解的，可利用其他类型的处理和/或逻辑电路来实现处理模块160。

在这些和其他实施例中，处理模块160还可与其他合适的部件来实现，例如，易失性存储器、非易失性存储器和/或一个或者多个接口(例如，红外检测器接口、内部集成电路(I2C)接口、移动行业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如，IEEE1149.1标准测试访问端口和边界扫描结构)、和/或其他接口)。

在一些实施例中，红外成像模块100可进一步包括一个或者多个致动器199，其可用于调整红外传感器组件128捕获的红外图像帧的焦点。例如，致动器199可用于移动光学元件180、红外传感器132和/或彼此相关的其他部件，以根据本文所描述的技术来选择性地聚焦和散焦红外图像帧。可根据任何类型的运动感应设备或者装置来实现致动器199，并且可将致动器199放置在红外成像模块100内部或者外部的任何位置，以适应不同的应用。

当将红外成像模块100装配好后，外壳120可基本将红外传感器组件128、基座150以及处理模块160围住。外壳120可便于红外成像模块100的各种部件的连接。例如，在一个实施例中，外壳120可提供用于连接各种部件的电连接126，下面将对其进行详细描述。

当将红外成像模块100装配好时，电连接126(例如，导电路径、电气轨迹或者其他类型的电连接部件)可与接合焊盘142电气连接。在各种实施例中，可将电连接126嵌入到外壳120中、设置在外壳120的内表面上和/或由外壳120提供所述电连接126。如图3所示，电连接126可终止于突出于外壳120的底表面的连接部件124中。当将红外成像模块100装配好时，连接部件124可与电路板170连接(例如，在各种实施例中，外壳120可置于电路板170的顶部)。处理模块160可通过合适的电连接部件与电路板170电连接。因此，红外传感器组件128可例如通过导电路径与处理模块160电连接，所述导电路径可由接合焊盘142、外壳120内部表面上的相辅相成的连接点、外壳120的电连接126、连接部件124及电路板170提供。有利的是，这种布置的实现可无需在红外传感器组件128和处理模块160之间设置焊线。

在各种实施例中，可使用任何期望的材料(例如，铜或者任何其他合适的导电材料)来制造外壳120中的电连接126。在一个实施例中，电连接126可有助于对红外成像模块100产生的热量进行散热。

其他连接可用于其他实施例中。例如，在一个实施例中，传感器组件128可通过陶瓷板连接到处理模块160，所述陶瓷板通过焊线连接到传感器组件128并通过球栅阵列(BGA)连接到处理模块160。在另一个实施例中，传感器组件128可直接安装到刚柔性板上并与焊线电连接，并且可利用焊线或者BGA将处理模块160安装并且连接到刚柔性板。

本文所阐述的红外成像模块100和主机装置102的各种应用只是为了举例，而不是限制。就这方面而言，本文所描述的各种技术中的任何一个均可应用到任何红外照摄像机系统、红外成像器或者用于进行红外/热成像的其他装置。

红外传感器组件128的基板140可安装到基座150上。在各种实施例中，基座150(例如，底座)可例如由通过金属注射成形(MIM)形成的铜制造，并且对所述基座150进行黑色氧化处理或者镍涂层处理。在各种实施例中，基座150可由任何期望的材料制造，例如，可根据特定应用，由例如锌、铝或者镁制造，并且，基座150可通过任何期望的应用流程形成，例如，可根据特定应用，例如通过铝铸件、MIM或者锌的快速铸造来形成。在各种实施例中，基座150可用于提供结构支撑、各种电路路径、热散热器性能以及其他合适的功能。在一个实施例中，基座150可以是至少部分使用陶瓷材料实现的多层结构。

在各种实施例中，电路板170可容纳外壳120，从而可在物理上支撑红外成像模块100的各种部件。在各种实施例中，电路板170可实现为印刷电路板(例如，FR4电路板或者其他类型的电路板)、刚性或者柔性的互连设备(例如，互连带或者其他类型的互连设备)、柔性电路基板、柔性塑料基板或者其他合适的结构。在各种实施例中，基座150可实现为具有描述的电路板170的各种功能和属性，反之亦然。

插座104可包括被配置为容纳红外成像模块100(例如，如图2所示的装配后的视图)的腔体106。红外成像模块100和/或插座104可包括合适的卡片、臂、销、紧固件或者任何其他合适的接合部件，所述接合部件可用于通过摩擦、张力、粘附和/或任何其他合适的方式将红外成像模块100固定到插座104，或者将红外成像模块100固定到插座104内部。插座104可包括接合部件107，其可在当红外成像模块100插入到插座104的腔体106中时，接合外壳120的表面109。其他类型的接合部件可用于其他实施例中。

红外成像模块100可通过适当的电连接部件(例如，触点、销、电线或者任何其他合适的连接部件)与插座104电连接。例如，插座104可包括电连接108，其可与红外成像模块100的相应的电连接部件(例如，互连焊盘、触点、或者在电路板170侧面或者底表面上的其他电连接部件、接合键盘142或者基座150上的其他电连接部件、或者其他连接部件)接触。电连接108可由任何期望的材料(例如，铜或者任何其他合适的导电材料)制造。在一个实施例中，电连接108可被机械的压扁，以当红外成像模块100插入到插座104的腔体106中时可贴着红外成像模块100的电连接部件。在一个实施例中，电连接108可至少部分的将红外成像模块100固定到插座104中。其他类型的电连接部件可用于其他实施例中。

插座104可通过类似类型的电连接部件与主机102电连接。例如，在一个实施例中，主机102可包括穿过孔190与电连接108连接的电连接部件(例如，焊接连接、搭扣式连接或者其他连接)。在各种实施例中，这种电连接部件可置于插座104的侧面和/或底部。

可通过倒装芯片技术来实现红外成像模块100的各种部件，所述倒装芯片技术可用于将部件直接安装到电路板上，而无需通常用于焊线连接的额外的间隙。倒装芯片连接例如可用于在紧凑小形状因子应用中减少红外成像模块100的整体尺寸。例如，在一个实施例中，可使用倒装芯片连接部件将处理模块160安装到电路板170。例如，可使用这种倒装芯片配置来实现红外成像模块100。

在各种实施例中，可根据如申请号为12/844,124、申请日为2010年7月27日的美国专利申请和申请号为61/469,651、申请日为2011年3月30日的美国临时专利申请所记载的各种技术(例如，圆晶级封装技术)，来实现红外成像模块100和/或相关的部件，通过引用的方式将其作为整体合并于此。另外，根据一个或者多个实施例，可根据如下所述文献记载的各种技术来实现、校正、测试和/或使用红外成像模块100和/或相关的部件，所述文献例如为：如公开号为7,470,902、公开日为2008年12月30日的美国专利，公开号为6,028,309、公开日为2000年2月22日的美国专利，公开号为6,812,465、公开日为2004年11月2日的美国专利，公开号为7,034,301、公开日为2006年4月25日的美国专利，公开号为7,679,048、公开日为2010年3月16日的美国专利，公开号为7,470,904、公开日为2008年12月30日的美国专利，申请号为12/202,880、申请日为2008年9月2日的美国专利申请以及申请号为12/202,896、申请日为2008年9月2日的美国专利申请，通过引用的方式将上述文献作为整体合并于此。

再次参考图1，在各种实施例中，主机装置102可包括快门105。就这方面而言，可在红外成像模块100安装在插座中时，将快门105选择性的放置在插座104上(例如，如箭头103所确定的方向)。就这方面而言，快门105例如可用于在红外成像模块100不使用时对其进行保护。快门105还可用作温度参考，如本领域技术人员所应当理解的，所述温度参考作为红外成像模块100的校正过程(例如，非均匀性校正(NUC)过程或者其他校正过程)的一部分。

在各种实施例中，快门105可由各种材料制造，例如，聚合物、玻璃、铝(例如，涂漆的或者经过阳极氧化处理后的)或者其他材料。在各种实施例中，快门105可包括一个或者多个涂层(例如，均匀的黑体涂层或者反射性的镀金涂层)，其用于选择性地过滤电磁辐射和/或调整快门105的各种光学属性。

在另一个实施例中，可将快门105固定在适当位置以全天候的保护红外成像模块100。在这种情况下，快门105或者快门105的一部分可由基本上不会过滤掉需要的红外线波长的合适的材料(例如，聚合物，或者诸如硅、锗、硒化锌或硫系玻璃的红外透射材料)制造。如本领域技术人员所应当理解的，在另一个实施例中，快门可实现为红外成像模块100的一部分(例如，在透镜镜筒或者红外成像模块100的其他部件内，或者作为透镜镜筒或者红外成像模块100的其他部件的一部分)。

可选地，在另一个实施例中，无需提供快门(例如，快门105或者其他类型的外部或者内部快门)，而是可使用无快门的技术进行NUC步骤或者其他类型的校正。在另一个实施例中，使用无快门技术的NUC步骤或者其他类型的校正可与基于快门的技术结合进行。

可根据下述文献记载的各种技术中的任意一种来实现红外成像模块100和主机装置102，所述文献为：申请号为61/495,873、申请日为2011年6月10日的美国临时专利申请；申请号为61/495,879、申请日为2011年6月10日的美国临时专利申请；以及申请号为61/495,888、申请日为2011年6月10日的美国临时专利申请，通过引用的方式将上述文献作为整体合并于此。

在各种实施例中，主机装置102和/或红外成像模块100的部件可实现为本地系统，或者实现为部件之间通过有线和/或无线网络进行通信的分布式系统。因此，可根据特定实施的需要，通过本地和/或远程部件来执行本公开所提及的各种操作。

图5示出了根据本公开实施例的确定NUC项的各种操作的流程图。在一些实施例中，可由对红外传感器132捕获的图像帧进行处理的处理模块160或者处理器195(二者通常也指处理器)来执行图5的操作。

在块505，红外传感器132开始捕获场景的图像帧。通常，场景将会是主机装置102当前处于的真实环境。就这方面而言，快门105(如果可选的提供)可打开以允许红外成像模块从场景接收红外辐射。在图5所示的所有操作期间，红外传感器132可连续地捕获图像帧。就这方面而言，连续地捕获图像帧可用于如下文所进一步讨论的各种操作。在一个实施例中，可对捕获的图像帧进行时域滤波(例如，根据块826的步骤对捕获的图像帧进行时域滤波，本文将根据图8对其进一步描述)，并且在所述图像帧被用于图5所示的操作之前，由其他项(例如，工厂增益项812、工厂偏移项816、先前确定的NUC项817、列FPN项820以及行FPN项824，本文将根据图8对其做进一步描述)对它们进行处理。

在块510，检测到NUC步骤的启动事件。在一个实施例中，NUC步骤可响应于主机装置102的物理移动而启动。例如，可由被处理器轮询的运动传感器194来检测这种移动。在一个例子中，用于可能会以特定的方式来移动主机装置102，例如，通过有意的来回移动主机装置102，使主机装置102做“消除”或者“重击”运动。就这方面而言，用户可根据预定的速率和方向(速度)，例如，通过上下、左右或者其他类型的运动来移动主机装置102从而启动NUC步骤。在这个例子中，这种移动的使用可允许用户直观的操作主机装置102，以模拟对捕获的图像帧的噪声“消除”。

在另一个例子中，如果运动超过阈值(例如，运动超过了期望的正常使用)，则可由主机装置102来启动NUC步骤。可以预期的是，主机装置102的任何期望的类型的空间移位均可用于启动NUC步骤。

在另一个例子中，如果自从先前执行的NUC步骤以来，已经过去了最小时间，则可由主机装置102启动NUC步骤。在另一个例子中，如果自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度改变，则可由主机装置102启动NUC步骤。在另外的例子中，可连续地启动并重复NUC步骤。

在块515，检测到NUC步骤启动事件之后，确定是否应该真正地执行NUC步骤。就这方面而言，可基于一个或者多个附加条件是否满足，来选择性地启动NUC步骤。例如，在一个实施例中，除非自从先前执行的NUC步骤以来，已经过去了最小时间，否则不会执行NUC步骤。在另一个实施例中，除非自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度变化，否则不会执行NUC步骤。其他标准或者条件可用于其他实施例中。如果已经满足合适的标准或者条件，流程图就会继续到块520。否则，流程图返回到块505。

在NUC步骤中，模糊图像帧可用于确定NUC项，所述NUC项可应用于捕获的图像帧以校正FPN。如所讨论的，在一个实施例中，可通过累加运动场景的多个图像帧(例如，当场景和/或热成像仪处于运动的状态时捕获的图像帧)来获得模糊图像帧。在另一个实施例中，可通过使热成像仪的光学元件或者其他部件散焦，来获得模糊图像帧。

因此，块520提供了两种方法的选择。如果使用基于运动的方法，则流程图继续到块525。如果使用基于散焦的方法，则流程图继续到块530。

现在参考基于运动的方法，在块525，检测到运动。例如，在一个实施例中，可基于红外传感器132捕获的图像帧检测运动。就这方面而言，合适的运动检测步骤(例如，图像配准步骤、帧到帧的差值计算或者其他合适的步骤)可应用于捕获的图像帧，以确定是否存在运动(例如，是否已经捕获到静态的或者运动的图像帧)。例如，在一个实施例中，能够确定连续图像帧的像素的周围的像素或者区域发生改变的数量已经超过了用户限定的数量(例如，百分比和/或阈值)。如果至少给定百分比的像素已经发生改变且发生改变的像素的数量至少为用户限定的数量，则可以非常肯定的检测到运动，从而流程图转到块535。

在另一个实施例中，可以在每个像素的基础上确定运动，其中，只累加那些显示出明显变化的像素，以提供模糊图像帧。例如，可以为每个像素设置计数器，所述计数器用于保证每个像素累加的像素值的数量相同，或者用于根据每个像素实际上累加的像素值的数量来对像素值取平均。可执行其他类型的基于图像的运动检测，例如，执行拉东(Radon)变换。

在另一个实施例中，可基于运动传感器194提供的数据来检测运动。在一个实施例中，这种运动检测可包括检测主机装置102是否在空间中沿着相对笔直的轨迹移动。例如，如果主机装置102正沿着相对笔直的轨迹移动，那么下述情况是可能的：出现在成像后的场景中的某些物体可能不够模糊(例如，场景中的物体与笔直轨迹对准或者基本上沿着平行于所述笔直轨迹的方向移动)。因此，在该实施例中，只有主机装置102显示出运动、或者没有显示出运动但沿着特定轨迹运动时，运动传感器194才能检测到运动。

在另一个实施例中，可使用运动检测步骤和运动传感器194二者。因此，使用这些各种实施例中任意一个，能够确定在场景的至少一部分和主机装置102相对于彼此之间运动的同时(例如，这可由主机装置102相对于场景移动、场景的至少一部分相对于主机装置102移动或者上述两种情况引起)，是否捕获到每个图像帧。

可以预期的是，检测到运动的图像帧可显示出捕获的场景的某些次级模糊(例如，与场景相关的模糊的热图像数据)，所述次级模糊是由于红外传感器132的热时间常数(例如，微辐射热时间常数)与场景移动交互而引起的。

在块535，对检测到运动的图像帧进行累加。例如，如果检测到连续的一系列图像帧的运动，则可对系列图像帧进行累加。做为另外一个例子，如果只检测到某些图像帧的运动，则可忽略掉没有运动的图像帧并不对这些没有运动的图像帧进行累加。因此，可基于检测到的运动，选择连续的或者不连续的一系列图像帧进行累加。

在块540，对累加的图像帧进行平均以提供模糊图像帧。因为累加的图像帧是在运动期间捕获到的，所以我们期望图像帧之间实际的场景信息将会不同，从而导致模糊之后的图像帧中的场景信息被进一步的模糊(块545)。

与此相反，在运动期间，在至少短时间内以及场景辐射的至少有限变化时，FPN(例如，由红外成像模块100的一个或者多个部件引起的)保持不变。结果是，在运动期间捕获到的时间和空间上接近的图像帧将会遭受相同的或者至少类似的FPN。因此，尽管连续图像帧中的场景信息可能会改变，但是FPN将保持基本不变。通过对运动期间捕获到的多个图像帧进行平均，所述多个图像帧将会模糊场景信息，但是不会模糊FPN。结果是，与场景信息相比，FPN将在块545提供的模糊图像帧中保持的更加清楚。

在一个实施例中，在块535和540中，对32个或者更多图像帧进行累加和平均。然而，任何期望数量的图像帧均可用在其他实施例中，只是随着帧的数量的减少，校正精度通常会降低。

现在参考基于散焦的方法，在块530，进行散焦操作以有意地使红外传感器132捕获的图像帧散焦。例如，在一个实施例中，一个或者多个致动器199可用于调整、移动或者平移光学元件180、红外传感器组件128和/或红外成像模块100的其他部件，以使得红外传感器132捕获场景的模糊的(例如，没有聚焦)图像帧。也可考虑使用其他不基于致动器的技术来有意地使红外图像帧散焦，例如，如人工(例如，用户启动的)散焦。

尽管图像帧中的场景可能会出现模糊，但是通过散焦操作，FPN(例如，由红外成像模块100的一个或者多个部件引起)将会保持不受影响。结果是，场景的模糊图像帧(块545)将会具有FPN，并且与场景信息相比，所述FPN将在所述模糊图像中保持的更加清楚。

在上面的讨论中，已经描述的基于散焦的方法与单个捕获的图像帧有关。在另一个实施例中，基于散焦的方法可包括当红外成像模块100已经被散焦时对多个图像帧进行累加，并且对散焦的图像帧进行平均以消除时域噪声的影响并在块545提供模糊图像帧。

因此，可以理解的是，既可通过基于运动的方法也可通过基于散焦的方法来在块545提供模糊的图像帧。因为运动、散焦或者上述二者均会使很多的场景信息模糊，所以可实际上将模糊图像帧认为是原始捕获的有关场景信息的图像帧的低通滤波版本。

在块550，对模糊图像帧进行处理以确定更新的行和列的FPN项(例如，如果之前没有确定行和列的FPN项，那么更新的行和列的FPN项可以是块550的第一次迭代中的新的行和列的FPN项)。如本公开所使用的，根据红外传感器132和/或红外成像模块100的其他部件的方向，术语行和列可互换的使用。

在一个实施例中，块550包括确定每行模糊图像帧(例如，每行模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项，以及还确定每列模糊图像帧(例如，每列模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项。这种处理可用于减少空间并减少热成像仪固有的行和列FPN的缓慢变化(1/f)，这种缓慢变化例如是由ROIC402中的放大器的1/f噪声特征引起，所述1/f噪声特征可表现为图像帧中的垂直和水平条。

有利的是，通过利用模糊图像帧确定空间行和列的FPN，会降低将实际成像的场景中的垂直和水平物体误认为是行和列噪声的风险(例如，真实场景内容被模糊，而FPN保持不被模糊)。

在一个实施例中，可通过考虑模糊图像帧的相邻像素之间的差值来确定行和列FPN项。例如，图6示出了根据本公开实施例的相邻像素之间的差值。具体地，在图6中，将像素610与它附近的8个水平相邻像素进行比较：d0-d3在一侧，d4-d7在另一侧。可对相邻像素之间的差值进行平均，以获得示出的像素组的偏移误差的估计值。可对行或者列中的每个像素的偏移误差均进行计算，并且得到的平均值可用于校正整个行或者列。

为了防止将真实的场景数据解释为噪声，可使用上限阈值和下限阈值(thPix和-thPix)。落入该阈值范围之外的像素值(在该例子中，是像素d1和d4)不用于获得偏移误差。另外，这些阈值可限制行和列FPN校正的最大量。

申请号为12/396,340、申请日为2009年3月2日的美国专利申请记载了执行空间行和列FPN校正处理的进一步的技术，通过引用的方式将其作为整体合并于此。

再次参考图5，将在块550确定的更新的行和列FPN项进行存储(块552)并将其应用于(块555)块545提供的模糊图像帧。在应用这些项之后，可降低模糊图像帧中的一些空间行和列的FPN。然而，因为这些项通常应用于行和列，所以附加的FPN可保持，例如，空间不相关的FPN与像素到像素的偏移或者其他原因相关。与单个行和列可能不直接相关的、空间相关的FPN的邻域也可保持不变。因此，可进行进一步的处理以确定NUC项，下面将对其进行描述。

在块560，确定模糊图像帧中的局部反差值(例如，相邻像素或者小组像素之间的梯度边缘值或者绝对值)。如果模糊图像帧中的场景信息包括还没有被明显模糊的反差区域(例如，原始场景数据中的高反差边缘)，那么可由块560的反差确定步骤来识别这些特征。

例如，可计算模糊图像帧中的局部反差值，或者任何其他类型的边缘检测步骤可应用于识别作为局部反差区域的一部分的、模糊图像中的某些像素。可以认为以这种方式标记的像素包含很高空间频率的场景信息，可将该很高空间频率的场景信息解释为FPN(例如，这种区域可对应于还没有被充分模糊的场景的部分)。因此，可将这些像素排除在用于进一步确定NUC项的处理之外。在一个实施例中，这种反差检测处理可依赖于高于与FPN相关的期望反差值的阈值(例如，可以认为显示出的反差值高于阈值的像素是场景信息，而认为那些低于阈值的像素是显示FPN)。

在一个实施例中，在行和列FPN项已经应用于模糊图像帧之后，可对模糊图像帧执行块560的反差确定(例如，如图5所示)。在另一个实施例中，可在块550之前执行块560，以在确定行和列FPN项之前确定反差(例如，以防止基于场景的反差对于确定该项有影响)。

在块560之后，可以预期的是，残留在模糊图像帧中的任何高空间频率分量可一般的归因于空间不相关的FPN。就这方面而言，在块560之后，已经将很多其他噪声或者真正需要的基于场景的信息去除或者排除在模糊图像帧之外，这是因为：对图像帧的有意地模糊(例如，通过从块520到545的运动或者散焦)、行和列FPN项的应用(块555)以及反差的确定(块560)。

因此，可以预期的是，在块560之后，任何残留的高空间频率分量(例如，显示为模糊图像帧中的反差或者差别区域)均可归因于空间不相关的FPN。因此，在块565，对模糊图像帧进行高通滤波。在一个实施例中，这可包括应用高通滤波器以从模糊图像帧中提取高空间频率分量。在另一个实施例中，这可包括对模糊图像帧应用低通滤波器，并提取低通滤波后的图像帧和没有滤波的图像帧之间的差值以获得高空间频率分量。根据本公开的各种实施例，可通过计算传感器信号(例如，像素值)和其相邻信号之间的平均差值来实现高通滤波器。

在块570，对高通滤波后的模糊图像帧进行平场校正处理，以确定更新的NUC项(例如，如果先前没有进行NUC步骤，那么更新的NUC项可以是块570的第一次迭代中的新的NUC项)。

例如，图7示出了根据本公开实施例的平场校正技术700。在图7中，可通过使用像素710的相邻像素712到726的值来确定模糊图像帧的每个像素710的NUC项。对于每个像素710来说，可基于各种相邻像素的值之间的绝对差值来确定数个梯度。例如，可确定下述像素之间的绝对差值：像素712和714之间(从左到右的对角梯度)、像素716和718之间(从上到下的垂直梯度)、像素720和722之间(从右到左的对角梯度)以及像素724和726之间(从左到右的水平梯度)。

可对这些绝对差值进行求和，以提供像素710的求和梯度。可确定像素710的权重值，所述权重值与求和梯度成反比。可对模糊图像帧的全部像素710执行该步骤，直到为每个像素710提供加权值。对于具有低梯度的区域(例如，被模糊的区域或者具有低对比度的区域)来说，权重值将会接近1。相反，对于具有高梯度的区域来说，权重值将会为0或者接近0。如由高通滤波器估计的NUC项的更新值与权重值相乘。

在一个实施例中，通过将一定量的时间衰减应用到NUC项确定步骤，能够进一步地降低将场景信息引入到NUC项的风险。例如，可选择位于0和1之间的时间衰减因子λ，这样存储的新的NUC项(NUC_NEW)是旧的NUC项(NUC_OLD)和估计的更新的NUC项(NUC_UPDATE)的平均加权值。在一个实施例中，这可表示为：NUC_NEW＝λ·NUC_OLD+(1-λ)·(NUC_OLD+NUC_UPDATE)。

尽管已经描述了根据梯度来确定NUC项，但是适当的时候也可使用局部反差值来代替梯度。也可使用其他技术，例如，标准偏差计算。可执行其他类型的平场校正步骤以确定NUC项，包括：例如公开号为6,028,309、公开日为2000年2月22日的美国专利；公开号为6,812,465、公开日为2004年11月2日的美国专利；以及申请号为12/114,865、申请日为2008年5月5日的美国专利申请所记载的各种步骤，通过引用的方式将上述文献作为整体合并于此。

再次参考图5，块570可包括对NUC项的附加处理。例如，在一个实施例中，为了保留场景信号的平均值，可通过从每个NUC项中减去NUC项的平均值来将全部NUC项的和归一化到0。同样的在块570，为了避免行和列噪声影响NUC项，可从每行和列的NUC项中减去每行和列的平均值。结果是，使用在块550确定的行和列FPN项的行和列FPN滤波器可以更好地过滤掉将NUC项应用到捕获的图像之后(例如，在块580所进行的步骤，本文将对此作进一步地描述)的进一步的迭代中(例如，如图8所详细示出的)的行和列噪声。就这方面而言，行和列FPN滤波器通常可使用更多的数据来计算每行和每列的偏移系数(例如，行和列的FPN项)，并且与基于高通滤波器来捕获空间上不相关的噪声的NUC项相比，可从而提供更加可靠的、用于减少空间相关的FPN的可选项。

在块571-573，可以可选地对更新的NUC项执行附加高通滤波和进一步的确定处理以消除空间相关的FPN，所述空间相关的FPN具有比先前由行和列FPN项消除的空间频率更低的空间频率。就这方面而言，红外传感器132或者红外成像模块100的其他部件的一些变化可产生空间相关的FPN噪声，不能容易地将所产生的空间相关的FPN噪声建模为行或者列噪声。这种空间相关的FPN可包括例如传感器组件或者红外传感器132组上的窗样缺损，所述红外传感器132组与相邻的红外传感器132相比，其响应不同的辐射度。在一个实施例中，可使用偏移校正来减少这种空间相关的FPN。如果这种空间相关的FPN的数量很多，则也可在模糊图像帧中检测到噪声。由于这种类型的噪声可影响相邻像素，具有很小内核的高通滤波器可能不能检测到相邻像素中的FPN(例如，高通滤波器使用的全部值可从与受到影响的像素附近的像素中提取，从而所述全部值可被同样的偏移误差影响)。例如，如果使用小的内核执行块565的高通滤波(例如，只考虑落入受到空间相关的FPN影响的像素的附近范围中的直接相邻的像素)，则可能不能检测到广泛分布的空间相关的FPN。

例如，图11示出了根据本公开实施例的附近像素中的空间相关的FPN。如采样的图像帧1100所示，像素1110附近的像素可表现出空间相关的FPN，所述空间相关的FPN不准确的与单个行和列相关，并且分布于附近的多个像素(例如，在该例子中，附近的像素约为4×4的像素)。采样的图像帧1100还包括一组像素1120和一组像素1130，所述像素1120表现出在滤波计算中没有使用的基本上均匀的响应，所述像素1130用于估计像素1110附近的像素的低通值。在一个实施例中，像素1130可以是可分为2个的多个像素，以便于硬件或者软件的有效计算。

再次参考图5，在块571-573，可以可选的对更新的NUC项执行附加高通滤波和进一步的确定处理，以消除空间相关的FPN，例如，像素1110表现出的空间相关的FPN。在块571，将在块570确定的更新的NUC项应用到模糊图像帧。因此，此时，模糊图像帧将会已经用于初步校正空间相关的FPN(例如，通过在块555应用更新的行和列FPN项)，并且也用于初步校正空间不相关的FPN(例如，通过在块571应用更新的NUC项)。

在块572，进一步的应用高通滤波器，该高通滤波器的核比块565中使用的高通滤波器的核大，并且可在块573进一步地确定更新的NUC项。例如，为了检测像素1110中存在的空间相关的FPN，在块572应用的高通滤波器可包括来自像素的足够大的相邻区域的数据，从而能够确定没有受到影响的像素(例如，像素1120)和受到影响的像素(例如，像素1110)之间的差值。例如，可使用具有大核的低通滤波器(例如，远大于3×3像素的N×N内核)，并且可减去得到的结果以进行适当的高通滤波。

在一个实施例中，为了提高计算效率，可使用稀疏内核，从而仅使用N×N附近区域内的较少数量的相邻像素。对于任何给定的使用较远的相邻像素的高通滤波器操作(例如，具有大核的高通滤波器)来说，存在将实际的(可能模糊的)场景信息建模为空间相关的FPN的风险。因此，在一个实施例中，可将用于在块573确定的更新的NUC项的时间衰减因子λ设置为接近1。

在各种实施例中，可重复块571-573(例如，级联)，以利用递增的核尺寸迭代地执行高通滤波，从而提供进一步更新的NUC项，所述进一步更新的NUC项用于进一步校正需要的相邻尺寸区域的空间相关的FPN。在一个实施例中，可根据通过块571-573的先前操作所得到的更新的NUC项是否已经将空间相关的FPN真正的消除，来确定执行这种迭代的决定。

在块571-573完成之后，作出是否将更新的NUC项应用到捕获的图像帧的决定(块574)。例如，如果整个图像帧的NUC项的绝对值的平均值小于最小的阈值，或者大于最大的阈值，则可认为该NUC项是假的或者不能提供有意义的校正。可选的，可将阈值标准应用到各个像素，以确定哪个像素接收到更新的NUC项。在一个实施例中，阈值可对应于新计算的NUC项和先前计算的NUC项之间的差值。在另一个实施例中，阈值可独立于先前计算的NUC项。可应用其他测试(例如，空间相关性测试)以确定是否应用该NUC项。

如果认为NUC项是假的或者不可能提供有意义的校正，则流程图返回到块505。否则，存储最新确定的NUC项(块575)以替代先前的NUC项(例如，由图5中先前执行的迭代确定)，并将所述最新确定的NUC项应用到(块580)捕获的图像帧。

图8示出了根据本公开实施例的应用在图像处理流水线800中的图5的各种图像处理技术和其他操作。就这方面而言，流水线800标识了在用于校正红外成像模块100提供的图像帧的全部迭代图像的处理方案的情况下，图5的各种操作。在一些实施例中，可由对通过红外传感器132捕获的图像帧进行操作的处理模块160或者处理器195(二者通常也指处理器)来提供流水线800。

可将红外传感器132捕获的图像帧提供给帧平均器804，所述帧平均器804求多个图像帧的积分以提供具有改进的信噪比的图像帧802。可通过红外传感器132、ROIC402以及实现为支持高图像捕获速率的红外传感器组件128的其他组件来有效地提供帧平均器804。例如，在一个实施例中，红外传感器组件128可以以240Hz的帧速率(例如，每秒捕获240幅图像)来捕获红外图像帧。在该实施例中，例如可通过使红外传感器组件128工作在相对较低的电压(例如，与移动电话的电压相兼容)，以及通过使用相对较小的红外传感器132阵列(例如，在一个实施例中，为64×64的红外传感器阵列)，来实现这样高的帧速率。

在一个实施例中，可以以较高的帧速率(例如，240Hz或者其他帧速率)将这种来自红外传感器组件128的红外图像帧提供给处理模块160。在另一个实施例中，红外传感器组件128可以在较长的时间段或者多个时间段进行积分，从而以较低的帧速率(例如，30Hz、9Hz或者其他帧速率)将积分后的(例如，取平均后的)红外图像帧提供给处理模块160。有关可用于提供较高图像捕获速率的实现方案的详细信息可在本文之前引用过的申请号为61/495,879的美国临时专利申请中找到。

通过流水线800处理的图像帧802用于确定各种调整项和增益补偿，其中，由各种项、时域滤波来对所述图像帧802进行调整。

在块810和814，将工厂增益项812和工厂偏移项816应用于图像帧802，以分别补偿在制造和测试期间所确定的各种红外传感器132和/或红外成像模块100的其他部件之间的增益和偏移差。

在块580，将NUC项817应用于图像帧802，以如上所述的校正FPN。在一个实施例中，如果还没有确定NUC项817(例如，在已经启动NUC步骤之前)，则可能不会执行块580，或者可将初始值用于不会导致图像数据改变的NUC项817(例如，每个像素的偏移值将等于0)。

在块818和822，分别将列FPN项820和行FPN项824应用到图像帧802。如上所述可根据块550来确定列FPN项820和行FPN项824。在一个实施例中，如果还没有确定列FPN项820和行FPN项824(例如，在已经启动NUC步骤之前)，则可能不会执行块818和822，或者可将初始值用于不会导致图像数据改变的列FPN项820和行FPN项824(例如，每个像素的偏移值将等于0)。

在块826，根据时域噪声消减(TNR)步骤对图像帧802执行时域滤波。图9示出了根据本公开实施例的TNR步骤。在图9中，对当前接收到的图像帧802a和先前时域滤波后的图像帧802b进行处理以确定新的时域滤波后的图像帧802e。图像帧802a和802b包括分别以像素805a和805b为中心的局部相邻像素803a和803b。相邻像素803a和803b对应于图像帧802a和802b内的相同位置，并且是图像帧802a和802b全部像素的子集。在示出的实施例中，相邻像素803a和803b包括5×5像素的区域。其他尺寸的相邻像素可用于其他实施例中。

确定相邻像素803a和803b对应的像素的差值并对其求平均，以为对应于像素805a和805b的位置提供平均增量值805c。平均增量值805c可用于在块807确定权重值，以将其应用到图像帧802a和802b的像素805a和805b。

在一个实施例中，如曲线图809所示，在块807确定的权重值可与平均增量值805c成反比，以使得当相邻像素803a和803b之间差别较大时，权重值迅速的降低到0。就这方面而言，相邻像素803a和803b之间较大差别可表示场景内已经发生了变化(例如，由于运动而发生的变化)，并且在一个实施例中，可对像素802a和802b进行适当的加权，以避免在遇到帧到帧的场景改变时引入模糊。权重值和平均增量值805c之间的其他关联可用于其他实施例中。

在块807确定的权重值可用于像素805a和805b，以确定图像帧802e的相应像素805e的值(块811)。就这方面而言，像素805e可具有根据在块807确定的平均增量值805c和权重值对像素805a和805b加权平均(或者其他组合)后的值。

例如，时域滤波后的图像帧802e的像素805e可能是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差别是由于噪声引起的，那么可以预期的是，相邻像素805a和805b之间的平均值的变化将会接近于0(例如，对应于不相关的变化的平均值)。在这种情况下，可以预期的是，相邻像素805a和805b之间的差值的和将会接近于0。在这种情况下，可对图像帧802a的像素805a进行适当的加权，以有助于生成像素805e的值。

然而，如果该差值的和不为0(例如，在一个实施例中，甚至很接近于0)，那么可将变化解释为是由运动引起的，而不是由噪声引起的。因此，可基于相邻像素805a和805b所表现出的平均值的变化来检测运动。在这种情况下，可对图像帧802a的像素805a施加较大的权重，而对图像帧802b的像素805b施加较小的权重。

其他实施例也是可以考虑的。例如，尽管描述的是根据相邻像素805a和805b来确定平均增量值805c，但是在其他实施例中，可根据任何期望的标准(例如，根据单个像素或者其他类型的由一系列像素组成的像素组)来确定平均增量值805c。

在上面的实施例中，已经将图像帧802a描述为当前接收到的图像帧，并且已经将图像帧802b描述为先前经过时域滤波后的图像帧。在另一个实施例中，图像帧802a和802b可以是红外成像模块100捕获到的还没有经过时域滤波的第一和第二图像帧。

图10示出了与块826所执行的TNR步骤有关的详细的实施细节。如图10所示，分别将图像帧802a和802b读入到行缓冲器1010a和1010b，并且在将图像帧802b(例如，先前图像帧)读入到行缓冲器1010b之前，可将其存储到帧缓冲器1020中。在一个实施例中，可由红外成像模块100和/或主机装置102的任何合适的部件提供的一块随机存储器(RAM)来实现行缓冲器1010a-b和帧缓冲器1020。

再次参考图8，可将图像帧802e传送到自动增益补偿块828，其对图像帧802e进行进一步地处理，以提供主机装置102可根据需要使用的结果图像帧830。

图8进一步地示出了用于如所讨论的确定行和列FPN项以及NUC项所执行的各种操作。在一个实施例中，这些操作可使用如图8所示的图像帧802e。因为已经对图像帧802e进行了时域滤波，所以可消除至少某些时域噪声，从而不会不经意的影响对行和列FPN项824和820以及NUC项817的确定。在另一个实施例中，可使用没有经过时域滤波的图像帧802。

在图8中，图5的块510、515和520集中的表示在一起。如所讨论的，可响应于各种NUC步骤启动事件以及基于各种标准或者条件来选择性地启动和执行NUC步骤。还如所讨论的，可根据基于运动的方法(块525、535和540)或者基于散焦的方法(块530)来执行NUC步骤，以提供模糊的图像帧(块545)。图8进一步地示出了先前所讨论的关于图5的各种附加块550、552、555、560、565、570、571、572、573和575。

如图8所示，可确定行和列FPN项824和820以及NUC项817，并且以迭代的方式应用上述项，以使得使用已经应用了先前项的图像帧802来确定更新的项。结果是，图8的所有步骤可重复地更新，并应用这些项以连续地减少主机装置102将要使用的图像帧830中的噪声。

再次参考图10，其示出了图5和图8中与流水线800有关的各种块的详细的实施细节。例如，将块525、535和540显示为以通过流水线800接收的图像帧802的正常帧速率操作。在图10所示的实施例中，将在块525所做的决定表示为决定菱形(decisiondiamond)，其用于确定给定图像帧802是否已经充分的改变，从而可以认为如果将图像帧加入到其他图像帧中，该图像帧将会增强模糊，因此将该图像帧进行累加(在该实施例中，通过箭头来表示块535)和平均(块540)。

同样的在图10中，将对列FPN项820的确定(块550)显示为以更新速率操作，在该例子中，由于在块540执行的平均处理，该更新速率为传感器帧速率(例如，正常帧速率)的1/32。其他更新速率可用于其他实施例中。尽管图10仅标识出了列FPN项820，但是可以以相同的方式，以降低的帧速率来实现行FPN项824。

图10还示出了与块570的NUC确定步骤有关的详细的实施细节。就这方面而言，可将模糊图像帧读入到行缓冲器1030(例如，由红外成像模块100和/或主机装置102的任何合适的部件提供的一块RAM来实现)。可对模糊图像帧执行图7的平场校正技术700。

鉴于本公开的内容，应当理解的是，本文描述的技术可用于消除各种类型的FPN(例如，包括很高幅度的FPN)，例如，空间相关的行和列FPN以及空间不相关的FPN。

其他实施例也是可以考虑的。例如，在一个实施例中，行和列FPN项和/或NUC项的更新速率可与模糊图像帧中的模糊的估计数量成反比，和/或与局部反差值(例如，在块560确定的局部反差值)的大小成反比。

在各种实施例中，描述的技术优于传统的基于快门的噪声校正技术。例如，通过使用无快门的步骤，不需要设置快门(例如，如快门105)，从而可以减少尺寸、重量、成本和机械复杂度。如果不需要机械的操作快门，还可降低提供给红外成像模块100或者由红外成像模块100产生的电源和最大电压。通过将作为潜在的故障点的快门去除，将会提高可靠性。无快门的步骤还消除了由通过快门成像的场景的暂时性堵塞所引起的潜在的图像中断。

此外，通过有意地使用从真实场景(不是快门提供的均匀场景)捕获的模糊图像帧来校正噪声，可对辐射水平与期望成像的那些真实场景类似的图像帧进行噪声校正。这能够改进根据各种描述的技术所确定的噪声校正项的精度和效率。

现在参考图12至19，各种视图示出的是根据本公开实施例的具有红外线传感器组件1202的装置附件1200。图12是装置附件1200的左后仰视透视图，图13是装置附件1200的左后俯视透视图并示出了根据本公开实施例的可拆卸地安装至其的用户装置1250。

用户装置1250可以是提供图1的主机装置102的所有或部分功能的任何类型的便携式电子装置。用户装置1250可以是被配置为与装置附件1200通信以接收由红外传感器组件1202捕获的红外图像的、任何类型的便携式电子装置。例如，用户装置1250可以是智能手机(例如，苹果公司的iPhone^TM设备、运动研究公司的Blackberry^TM设备、各种生产厂家的Android^TM设备或其他类似的手机)、具有一些处理能力的手机、个人数字助理(PDA)设备、平板设备(例如，苹果公司的ipad^TM、三星电子公司的GalaxyTab^TM或者平板形式的其他类似的便携式电子装置)、便携式视频游戏设备(例如，索尼电脑娱乐公司的PlayStation^TM、任天堂公司的NintendoDS^TM)、便携式媒体播放器(例如，苹果公司的iPodTouch^TM)、笔记本电脑或便携式计算机、数码摄像机、摄像录像机或数字录像机。

装置附件1200可包括可拆卸安装到用户装置1250的外壳1230。就这方面而言，外壳1230可包括在其后表面上形成的并由凹后壁1234、内壁1236和侧壁1238A-1238C限定的槽1232(例如，也称为池或凹陷)。槽1232可被成形为至少部分接收用户装置1250，使得用户装置1250的至少一部分可被恰当地插入到槽1232中，如图13所示。在另一个实施例中，一个或多个侧壁1238A-1238C和内壁1236可以是易弯曲的并包括向槽1232的中心延伸的悬臂式顶边缘，以使得当将用户装置1250插入槽1232时，悬臂式边缘覆盖用户装置1250的前侧的一部分。在另一个实施例中，凹后壁1234可铰链附接到外壳1230，使得凹后壁1234可被掀开以提供例如电池舱的入口。

当适当地插入槽1232时，用户装置1250可以安全地且可移动地连接到装置附件1200。就这方面而言，在一些实施例中，外壳1230还可包括用于增加安全性的啮合机构1233(例如，具有可拆卸接合用户装置1250的连接器插孔或插座的弹簧锁的连接插头，可拆卸接合用户装置1250的连接器插孔的钩子，或者可拆卸接合用户装置1250的任何合适部分以帮助用户装置1250就位的其它啮合机构)，如示出装置附件1200的后视图的图15所示。

在各种其他实施例中，代替接收槽1232中的用户装置1250或类似结构，装置附件1200可以以任何其它合适的方式可拆卸地附接到用户装置1250。例如，可通过夹具或类似紧固机构将装置附件1200夹住、夹紧或以其他方式可拆卸附接到用户装置1250的一侧(例如，用户装置1250的顶侧)。在另一个实例中，可通过包括弹簧锁的连接器插头将装置附件1200可拆卸连接到用户装置1250，弹簧锁可拆卸接合装置1250的连接器插孔。

因为当附接用户装置1250时，对用户装置1250的一些特征(诸如各种按钮、开关、连接器、摄像机、扬声器和麦克风)的访问可被外壳1230挡住，所以附件设备1200可包括使用户能够访问这种特征的各种复制部件和/或切口。例如，装置附件1200可包括摄像机切口1240、复制的按钮1242A–1242C、开关切口1244、复制的麦克风和扬声器1246A-1246B和/或复制耳机/麦克风插口1248。装置附件1200的各种部件可被配置为在复制部件和用户装置1250之间传输信号(例如，将来自用户装置1250的音频信号传输给复制扬声器1246B，将来自复制按钮1242A–1242C的按钮凹陷信号传输给用户装置1250)。在一些实施例中，切口和/或弹性杯(例如，使用户能够将按钮按到下面)可用于代替复制按钮、开关、扬声器和/或麦克风。

复制部件和/或切口的位置、数量和类型可以是专用于用户装置1250的，并可根据附件设备1200的特定应用需要来实现或不实现各种复制部件和切口。应该意识到，也可根据不包括用于附接到用户装置1250的槽1232或类似结构的装置附件的其他实施例中的需要，来实现复制部件和/或切口。

装置附件1200可包括布置在其主体部分1231中的外壳1230内的红外线传感器组件1202。主体部分1231可容纳装置附件1200的内部部件，并在一个实施例中，可被布置在外壳1230顶部部分中的内壁1236上方。红外传感器组件1202可以以与图4的红外传感器组件128相同或相似的方式来实现。例如，红外传感器组件1202可包括根据本文公开的各种实施例实现的FPA和ROIC。因此，红外传感器组件1202可捕获红外图像数据(例如，热红外图像数据)并以各种帧速率从其ROIC提供这些数据。

红外传感器组件1202捕获的红外图像数据可提供给处理模块1204进行进一步处理。处理模块1204可以以与本文所述的处理模块160相同或类似的方式来实现。在一个实施例中，可以以本文描述的关于红外传感器组件128、处理模块160和红外成像模块100的各种方式，将处理模块1204电连接到红外传感器组件1202。因此，在一个实施例中，可将红外传感器组件1202和处理模块1204相互电连接并封装在一起，以形成本文所述的红外成像模块(例如，红外成像模块(100)。在其它实施例中，可以以其他适当方式将红外传感器组件1202和处理模块1204相互电和/或通信耦合在外壳1230中，该其他方式包括但不限制于通过PCB导线或总线通信的多芯片模块(MCM)和其他小规模的印刷电路板(PCB)。

处理模块1204可被配置为执行捕获的红外图像数据的适当处理，并将原始和/或处理的红外图像数据传送给用户装置1250。例如，当将装置附件1200连接到用户装置1250时，处理模块1204可通过有线装置连接器或无线地通过本文进一步描述的适当的无线部件，将原始和/或处理的红外图像数据发送到用户装置1250。因此，例如，用户装置1250可被适当地配置为从处理模块1204接收红外图像数据，以向用户显示用户可视的红外图像(例如，热像图)并允许用户存储红外图像数据和/或用户可视的红外图像。也就是，用户装置1250可被配置为运行适当的软件指令(例如，智能手机应用软件，也称作为“应用(app)”)，以作为使用户能够取景并获得红外静止图像、视频或两者的红外摄像机。装置附件1200和用户装置1250可被配置为执行其他红外成像功能，诸如存储和/或分析包含在红外图像数据内的红外数据(例如，温度信息)。

就这方面而言，各种红外图像处理操作可通过处理模块1204、用户装置1250的处理器或者两者以协调的方式来执行。例如，可通过将包含在红外图像数据中的热数据(例如，温度数据)转换成灰阶或彩色阶像素以构建人能看得到的图像来执行将红外图像数据转换成用户可视图像。用户可视图像可选择性包括表明对应像素颜色和/或强度的近似温度的图例或规模。这种转换操作可以通过以下执行：在向用户装置1250传输完全转换的用户可视图像之前通过处理模块1204执行，在接收红外图像数据之后通过用户装置1250的处理器执行，通过执行一些步骤的处理模块1208和执行剩余步骤的用户装置1250的处理器执行，或者通过处理模块1204和用户装置1250的处理器两者以并行方式(例如，并行处理)执行。相似地，本文描述的各种NUC过程可通过处理模块1208、用户装置1250的处理器或者两者以协调方式执行。此外，用户装置1250和装置附件1200的各种其他部件可用于执行本文描述的各种NUC过程。例如，如果用户装置1250配备有运动传感器，则它们可用于检测关于图5和8所述的NUC过程的发起事件。

处理模块1204可被配置为响应于来自用户装置1250的发送请求，将原始和/或处理的红外图像数据发送给用户装置1250。例如，当app启动并准备好在显示器上显示用户可视图像以便用户取景和获取红外静止或视频镜头时，用户装置1250上运行的app或其他软件/硬件例行程序可被配置为请求传输红外图像数据。当通过有线连接(例如，通过装置连接器)或无线连接从用户装置1250上的app接收请求时，处理模块1204可以启动发送由红外传感器组件1202捕获的红外图像数据。在另一个实施例中，当用户获得静止和/或视频片段时，用户装置1250上的app或其他软件/硬件例行程序可请求红外图像数据，然而在用户获得片段之前，使用由存在于用户装置1250上的可见光摄像机捕获的可见光图像数据来呈现取景的图像。在另一个实施例中，app或其他软件/硬件例行程序可使用红外图像数据呈现取景的图像，但允许用户获得可见光静止和/或视频片段(例如，允许在低或无光照条件下取景可见光闪光摄影)。

装置附件1200可包括布置在外壳1230的可访问位置(例如，在顶侧表面上)的可编程按钮1249。可编程按钮1249可通过例如用户装置1250上的app或其他软件/硬件例行程序来使用，以便为特定功能或应用所需的功能提供快捷方式，诸如为红外成像启动app，或者作为用户可按下获得静止或视频片段的“快门按钮”。处理模块1204可被配置为检测可编程按钮1249的凹陷，并将检测到的按钮凹陷传递给用户装置1250。

装置附件1200可包括例如布置在主体部分1231中的外壳1230前侧面1237上的透镜组件1205。在其他实施例中，可将透镜组件1205放置在适合为到达红外传感器阵列1202的红外辐射提供孔径的外壳1230的任何其他位置上。透镜组件1205可包括透镜1206，该透镜1206可由适当材料(例如，聚合物或红外传输材料，诸如硅、锗、硒化锌或硫系玻璃)制成并被配置为传送红外辐射直到红外传感器组件。透镜组件1205还可包括以与主机装置102的快门105相同或相似的方式实现的快门1207。在一些实施例中，透镜组件1205可以包括其他的光学元件，诸如装置附件1200的各种应用所需的红外透射棱镜、红外反射镜和红外滤光片。例如，透镜组件1205可包括一个或多个滤波器，其适于通过特定波长的红外辐射，但基本上挡住其他波长(例如，短波红外(SWIR)滤波器、中波红外(MWIR)滤波器、长波红外(LWIR)滤波器和窄波段滤波器)。这种滤波器可用于使红外传感器组件1202适于增加对红外波长所需波段的灵敏度。

装置附件1200还可包括例如布置在凹后壁1234和前侧面1237之间的外壳1230内的电池1208。在其他实施例中，电池1208可布置在包括外壳1230的主体部分1231的任何其他适当位置，其为容纳电池1208提供了空间。电池1208可被配置为用作为装置附件1200的内部部件(例如，红外传感器组件1202、处理模块1204)的电源，以便当附接时使装置附件1200不耗尽用户装置1250的电池。此外，电池1208还可被配置为例如通过装置连接器给用户装置1250提供电功率。因此，电池1208可以为用户装置1250的运行和充电提供备用电源。相反，如果用户期望即使当电池1208被耗尽时还使用装置附件1200的功能，装置附件1200的各种部件可被配置为使用来自用户装置1200的电池的电力(例如，通过装置连接器)。

使用适当技术可将电池1208实现为可充电电池(例如，镍镉(NiCd)、镍金属氢化物(NIMH)、锂离子(Li离子)或锂离子聚合物(LiPo)可充电电池)。就这方面而言，装置附件1200可包括电源插座1241，其用于连接(例如，通过电缆或电线)至外部电源并从外部电源(例如，AC电源出口、DC电源适配器或其他类似的适当电源)接收电力来为电池1208充电和/或驱动装置附件1200的内部部件。

在一些实施例中，装置附件1200还可接受标准尺寸的电池，当电池耗尽时其广泛可用并可方便获得，以使得即使当用户手中没有适当的电池充电器或直流电源适配器时，用户通过简单购买并安装标准电池也可以继续使用装置附件1200和/或用户1250。如上所述，凹内壁1234或外壳1230的另一部分可铰连和/或可拆卸以移除/安装电池。

如上所述，装置附件1200可包括装置连接器(例如，在一些实施例中，以与本文进一步描述的图21的装置连接器插头2052相同或类似的方式实现的)，该装置连接器在附接时，向用户装置1250输送各种信号和电功率和从用户装置1250获取各种信号和电功率。装置连接器可布置在与用户装置1250的对应装置连接器插孔或插座适当对准的位置，以便当将装置附件1200附接到用户装置1250时，装置连接器可以接合用户装置1250的对应装置连接器插孔或插座。例如，如果用户装置1250在其底面上配备有连接器插孔，则装置连接器可布置在侧壁上1238C上的适当位置。如关于啮合机构1233所述，装置连接器还可包括用于支持和/或对准用户装置的机械夹具(例如，锁定/锁住连接器插头)。

装置连接器可根据与用户装置1250的类型相关的连接器规范来实现。例如，装置连接器可实现专有连接器(例如，用于iPod^TM和iPhone^TM的底座连接器，诸如“Lightning”连接器、30针连接器等)或标准连接器(例如，各种版本的通用串行总线(USB)连接器、便携式数字媒体接口(PDMI)或用户装置中所提供的其他标准连接器)。

在一个实施例中，可交替地提供装置连接器，以使装置附件1200可以容纳不同类型的用户装置，该用户装置能够接收不同的装置连接器。例如，可提供各种类型的装置连接器插头并将其配置为附接外壳1230上的底座连接器，以使在将装置附件1200连接到用户装置1250之前，与用户装置1250兼容的连接器插头可以附接底座连接器。在另一实施例中，可以固定地提供装置连接器。

在某些实施例中，另一个装置连接器可在外壳1230上实现，以提供到其他外部装置的连接。例如，电源插座1241也可充当为能向和从外部设备(诸如没有连接到装置附件1200的台式计算机或其他设备)通信的连接器(例如，通过适当的电缆或电线)，因此，还允许将装置附件1250用作为外部设备的红外成像附件。此外，如果需要，电源插座1241可用于连接用户装置1250，作为将装置附件连接到用户装置1250的另一种方式。

装置附件1200还可通过无线连接与用户装置1250进行通信。就这方面而言，装置附件1200可包括无线通信模块1209，其被配置为便于在用户装置1250和处理模块1204或装置附件1200的其他部件之间进行无线通信。在各种实施例中，无线通信模块1209可支持IEEE802.11WiFi标准、Bluetooth^TM标准、ZigBee^TM标准或其他适当的短距离无线通信标准。因此，如果通过装置连接器的连接不可用或者不期望时，可在不依赖于装置连接器的情况下，将装置附件1200用于用户装置1250。

在一些实施例中，无线通信模块1209可被配置为管理处理模块1204和其他外部设备(诸如台式计算机)之间的无线通信，因此，还能将装置附件1250用作为外部设备的红外成像附件。

在某些实施例中，装置附件1250可进一步包括配置为更有效冷却内部部件的散热片1247。散热片1247可布置在内部部件附近的外壳1230的外侧表面(例如，顶侧表面)上，并包括多个翼片或叶片以增加与空气接触的表面积。

在各种实施例中，装置附件1250还可包括其他各种部件，它们可在图1的主机装置102中实现，但可忽略可将装置附件1250用于用户装置的特定类型。例如，如果运动传感器没有实现在用户装置1250中，则可以以与主机装置102的运动传感器194相同或类似的方式将运动传感器实现在装置附件1250中。可通过处理模块1204、用户装置1250的处理器或两者来使用运动传感器执行如本文所述的NUC操作。

图20-22示出了根据本公开另一实施例的装置附件2000的各种视图。装置附件2000可包括具有槽2032(例如，也称池或凹陷)的外壳2030，该槽2032被成型为至少部分地接收用户装置2050、透镜组件2005、摄像机切口2040、电源插座2041、复制按钮2042A–2042C、开关切口2044、散热片2047(例如，热沉和散热片)以及复制耳机/麦克风插口2048，从图20-22可以看出，除了一些部件的位置和形状有些不同之外，它们中的任何一个可以以与图12-19的装置附件1200的对应部件相同或类似的方式来实现。装置附件2000可包括布置在外壳2030内的各种内部部件，诸如红外传感器组件、处理模块和无线通信模块。这种内部部件中的任何一个部件都可以以与装置附件1200的对应部件相同或类似的方式来实现。

在该实例中，固定装置连接器插头2052可以实现装置附件2000的装置连接器，当用户装置2050可拆卸地安全插入槽2032时，其还可提供一些额外的支撑。该实例还示出了保护性包围装置附件2000的至少一些内部部件的防护罩2054。防护罩2054可包括半透明标识和用于照亮半透明标识的光源(例如，LED灯)。就这方面而言，散热片2047可被进一步配置为形成热沉的一部分或者耦合到热沉，以便除了冷却内部部件(例如，电子器件和照亮标识的光源和/或与装置附件2000的红外传感器组件或红外传感器相关的电子器件)之外，还更有效地冷却光源。

因此，装置附件1200/2000的各种实施例可拆卸地连接到各种常规电子装置，并有益地为这种常规电子装置提供红外成像能力。随着装置附件1200/2000的附加，已广泛使用的手机和其他常规电子装置，可用于红外成像的各种有利应用。

在一些实施例中，红外图像数据(诸如使用装置附件1200/2000捕获的热图像)可与非热图像数据(例如，可见光图像，诸如红色图像、蓝色图像、绿色图像，近红外图像等)图像合成在一起。在一个实施例中，非热图像数据可由出现在手机上的可见光摄像机或者可拆卸地连接到装置附件1200/2000的其他常规电子装置捕获。在另一实施例中，非热图像数据可由出现在装置附件1200/2000上的可见光摄像机捕获。

图23示出了合成热和非热图像的过程的实例。如图23所示，诸如红外成像模块6000的红外成像器可用于捕获一个或多个热图像6007。红外成像模块6000可以是例如装置附件2000/1200的红外成像模块100的一种实现。

诸如非热摄像机模块6002的非热摄像机模块可用于捕获非热图像6006。非热摄像机模块6002可被实现为小形状因子非热成像模块或者成像装置，其具有响应非热辐射(例如，可见光、近红外、短波红外或电磁频谱的其它非热部分的辐射)的一个或多个传感器。例如，在一些实施例中，摄像机模块6002可用电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、互补金属氧化物半导体(CMOS)传感器、科学级CMOS(SCMOS)传感器、增强型电荷耦合器件(ICCD)或其他传感器来实现。如下文所述，非热摄像机模块6002可以是诸如装置1250的用户装置的部件，或者可以是装置附件1200/2000的部件。

如图23所示，可将一个或多个热图像6007和一个或多个非热图像6006提供给处理器，诸如处理器6004。在各种实施例中，处理器6004可以是与装置附件1200/2000相关的处理器(例如，处理模块1204)、与装置1250相关的处理器，或者处理器6004可代表装置1250和装置附件1200/2000的组合处理能力。

处理器6004可以合并、叠加或以其他方式将非热图像6006与下文进一步描述的热图像6007合成在一起，以形成处理的图像6008。可将处理的图像6008提供给装置1250的显示器，存储在装置1250或装置附件1200的存储器中，或者发送到外部设备(作为实例)。

图24、25和26示出了装置1250和可拆卸连接的装置部件的各种示例性实施方式，可拆卸连接的装置部件例如装置附件1200(仅为实例目的确定的；在适当的情况下，在本文描述的任何实施例中可交替使用的任何装置附件1200、1201、1203和2000等)，在需要捕获并合成非热和热图像时可以使用可拆卸连接的装置部件。

在图24示出的实施例中，非热摄像机模块6002被实现为装置1250的部件。在该实施例中，非热图像6006使用装置1250的非热摄像机模块6002来捕获并被提供给装置处理器6102。热图像6007使用装置附件1200中的红外成像模块1202来捕获，并无线地或通过装置连接器6020(例如，关于图12-19的所述类型的装置连接器)和装置1250上的匹配连接器6104也被提供给装置处理器6102。匹配连接器6104可以是专有连接器、标准化的连接器(诸如通用串行总线(USB)连接器或便携式数字媒体接口(PDMI))或设置在用户装置中的其他标准连接器。如果需要，热图像6007在提供给装置处理器6102之前，可使用处理模块1204进行一些处理。

在图25示出的实施例中，非热图像6006使用装置1250中的非热摄像机模块6002来捕获，并无线地或通过连接器6104和6020提供给装置附件处理器1204。在该实施例中，热图像6007也从红外成像模块1202提供给处理器1204，以与非热图像6006合成在一起形成处理的图像6008。如果需要，非热图像6006在提供给装置附件处理器6102之前，可使用处理器6102进行一些处理。在该实施例中，处理的图像6008可被提供给处理器6102以存储、显示或由处理器6102以其他方式处理。

在图26示出的实施例中，非热摄像机模块6002被实现为装置附件1200的部件。在该实施例中，非热图像6006和热图像6007都使用装置附件1200中的成像传感器来捕获。在该实施例中，非热图像6006使用装置附件1200的非热成像模块6002来捕获，热图像6007使用红外成像模块1202来捕获，热图像6007和非热图像6006都提供给装置附件处理器1204以进行合成从而形成处理的图像6008。非热图像6006和热图像6007在提供给装置处理器6102之前，可用装置附件处理器1204如期望那样部分或完全地合成，未处理的非热图像6006和热图像6007可提供给装置处理器6102以便处理和合成，或者非热图像6006和热图像6007的图像处理操作可由处理器1204和6102共享。

图27示出了使用装置和装置附件捕获并合成热和非热图像的过程6200。

在块6202，可以捕获热和非热图像。可使用连接到装置的装置附件中的红外成像传感器来捕获热图像。可使用装置(参照，例如图24和25)中或装置附件(参照，例如图26)中的非热摄像机模块来捕获非热图像。

在块6204，可处理在块6202捕获的热和非热图像。热与非热图像可受到单个处理操作和/或合成、合并或叠加图像的处理操作。处理热和非热图像可包括基于用于捕获图像的非热摄像机模块和红外成像传感器之间的距离的视差校正。可使用装置中的处理器(参照，例如图24和26)和/或使用装置附件中的处理器(参照，例如图25)来处理热和非热图像，以形成本文进一步所述的处理后的(例如，合成的、合并的或叠加的)图像，例如，参考图35和36。处理热图像还可包括执行各种图像校正操作，诸如本文所述的NUC过程。

在块6206，可对处理的图像采取适当操作。适当操作可包括显示处理的图像(例如，使用装置的显示器)、存储处理的图像(例如，在装置和/或装置附件上)和/或传送处理的图像(例如，在装置和装置附件之间，或传送到外部设备)。

图28-29和30-31分别是配置为接收各种类型的用户装置的其他装置附件1201和1203的透视图。在图28-29和30-31示出的实施例中，装置附件1201和1203也可包括热和非热成像部件，并可根据本文描述的装置附件1200和2000的各种特征中的任一种特征来实现。

在图28的实施例中，示出了具有接收苹果公司的设备(例如，iPhone^TM设备、ipad^TM设备或iPodTouch^TM设备)的形状的装置附件的后透视图。如图28所示，装置附件1200可包括摄像机窗口1243，通过它装置照相机(例如，非热摄像机模块，诸如设备中的可见光摄像机模块)可捕获图像；以及多个成像部件，诸如红外传感器7000和非热摄像机模块7002。如果需要，装置附件1201还可包括机械快门，诸如用户可操作快门7004。用户可操作快门7004可由装置附件1200的用户来移动，以选择性地阻止或允许成像部件7000和/或7002。在一些实施例中，用户可操作快门7004当移动到阻止或允许成像部件7000和7002时，还可断开或接通装置附件1200。在一些实施例中，用户可操作快门7004可用于例如在不使用时保护成像部件7000和7002。如本领域的一个技人员所应理解的，快门7004还可被用作为红外传感器7000的校准过程(例如，NUC过程、辐射测定校准过程或其他校准过程)的一部分的参考温度。

红外传感器7000可包括红外成像模块(诸如红外传感器100)和本文所述的红外传感器的其他适当部件(例如，透镜、滤波器和/或窗口)。红外传感器7000和非热摄像机模块7002可用于产生各自的红外(例如，热)和非热图像，以待单独使用或如参照图23、26和27和/或下文中描述的其他图像合成过程那样合成使用。例如，红外传感器7000可以是红外成像模块1202的实现方式，非热摄像机模块7002可以是非热摄像机模块6002的实现方式(参照，例如图26)。

如图28所示，装置附件1250可包括前部分7007和后部分7009。前部分7007可由外壳形成，该外壳封装了装置附件的功能部件，诸如电池、连接器、成像部件、处理器、存储器、通信部件和/或如本文所述的装置附件的其他部件。后部分的7009可以是结构性外壳部分，其具有能可拆卸连接用户装置的凹槽的形状。

图29是图28装置附件的前透视图，其示出如何将苹果公司的用户装置1250可拆卸连接到装置附件1201(例如，通过将装置插入到装置附件的外壳部分中的凹槽中，该装置附件由至少部分包围设备的后壁和至少一个侧壁形成)。

在图30的实施例中，示出了具有接收三星电子公司的设备(例如，GalaxyTab^TM设备、GalaxyS^TM设备、GalaxyNote^TM设备、其他Galaxy^TM设备或三星的其他设备)的形状的装置附件1203的后透视图。如图30所示，装置附件1203可包括摄像机窗口1245，通过它装置摄像机(例如，非热摄像机模块，诸如装置中的可见光摄像机模块)能捕获图像；和多个成像部件，诸如红外传感器7001和非热摄像机模块7003。如果需要，装置附件1200还可包括机械快门，诸如用户可操作快门7005。用户可操作快门7005可由装置附件1203的用户来移动，以选择性阻止或允许成像部件7001和/或7003。在一些实施例中，用户可操作快门7005当移动到阻止或允许成像部件7001和7003时，还可断开或接通装置附件1203。在这种类型的布置中，装置附件1203还可包括附接构件(诸如啮合构件7006)，其配置为围绕用户装置的一部分延伸，以安全地且可拆卸地连接到用户装置的装置附件1203。在一个实施例中，可省略非热摄像机模块7003，快门7005可包括在示出非热摄像机模块7003位置中的延伸部分，其用户移动快门7005时在红外传感器7001上方滑动。

图31是图30的装置附件1203的前透图，其示出如何将三星电子公司的用户装置1251可拆卸连接到装置附件1203(例如，通过将用户装置1251插入到装置附件1203的外壳的凹槽中，该装置附件1203由至少部分包围设备的后壁和至少一个侧壁形成)。

如图29和31所示(作为实例)，装置附件1201/1203可被布置，以使得当将装置附件1201/1203连接到装置时，用户装置1250/1251的显示器仍然可见并用户可访问。

图28、29、30和31的实例仅仅是示例性的。如果需要，附件设备1200可被配置为具有适合接收来自任何制造商的用户装置的尺寸和形状。

例如，在图34-39中，进一步详细论述了其中关于例如图23-27所述的将非热图像与热图像合成的各种实施例。关于图34-39所述的实例描述了合成或合并热图像与可见光图像，然而应该意识到，描述的装置、过程和技术可适于合成或合并任何适当的热和非热图像。

在讨论其中非热摄像机模块用于产生与热图像合成或合并的非热图像的各种实施例之前，图32和33描述了红外成像模块的低功耗实现。

如所讨论的，在各种实施例中，红外成像模块100可被配置为在低电压下工作。特别的，可通过被配置为在低功耗下工作和/或根据其他参数工作的电路来实现红外成像模块100，所述其他参数允许红外成像模块100方便有效地在各种类型的主机装置102(例如，移动装置及其他装置)中实现。

例如，图32示出了根据本公开实施例的包括红外传感器132和低压差稳压器(LDO)8220的红外传感器组件128的另一个实现方式的框图。如图所示，图32还示出了各种部件8202、8204、8205、8206、8208和8210，可以以与先前描述的有关图4的相应的部件相同或者相似的方式来实现这些部件。图32还示出了偏压校正电路8212，其可用于对提供给红外传感器132的一个或者多个偏压电压进行调整(例如，以补偿温度改变、自热和/或其他因素)。

在一些实施例中，可将LDO8220设置为红外传感器组件128的一部分(例如，位于相同的芯片上和/或晶片级封装为ROIC)。例如，可将LDO8220设置为具有红外传感器组件128的FPA的一部分。如所讨论的，这种实现可减少引入到红外传感器组件128中的电源噪声，从而提供改进的PSRR。另外，通过利用ROIC来实现LDO，可消耗较少的模片面积，并且需要较少的分离模片(或者芯片)。

LDO8220通过馈电线8232接收电源8230提供的输入电压。LDO8220通过馈电线8222向红外传感器组件128的各种部件提供输出电压。就这方面而言，LDO8220可响应于从电源8230接收到的单输入电压，向红外传感器组件128的各个部件提供基本上相同的调节输出电压。

例如，在一些实施例中，电源8230可提供从大约2.8v到大约11v范围的输入电压(例如，在一个实施例中为大约2.8v)，并且LDO8220可提供从大约1.5v到大约2.8v范围的输出电压(例如，在一个实施例中大约为2.5v)。就这方面而言，无论电源8230是提供大约9v到大约11v的传统电压范围，还是提供低电压(例如，大约2.8v)，LDO8220都可用于提供恒定的调节输出电压。因此，尽管为输入和输出电压提供了多种电压范围，但是可以预期的是，不管输入电压如何变化，LDO8220的输出电压将会保持不变。

通过由LDO8220对单电源8230进行调节，合适的电压可分别的提供给(例如，以减少可能的噪声)低复杂性的红外传感器组件128的所有部件。即使来自电源8230的输入电压发生改变(例如，如果由于电池或者用于电源8230的其他类型的装置的充电或者放电而使输入电压增加或者降低)，LDO8220的使用还使得红外传感器组件128仍能以恒定的方式工作。

LDO8220可实现为提供低电压(例如，大约2.5v)。这与通常用于为传统的FPA供电的多个较高电压形成了鲜明的对比，所述多个较高电压例如为：用于为数字电路供电的大约3.3v到大约5v的电压；用于为模拟电路供电的大约3.3v的电压；以及用于为负载供电的大约9v到大约11v的电压。同样的，在一些实施例中，LDO8220的使用可减少或者消除对提供给红外传感器组件128的单独负参考电压的需要。

参考图33，可进一步地理解红外传感器组件128的低电压操作的其他方面。图33示出了根据本公开实施例的图32的红外传感器组件128的一部分的电路图。特别的，图33示出了连接到LDO8220和红外传感器132的偏压校正电路8212的其他部件(例如，部件9326、9330、9332、9334、9336、9338和9341)。例如，根据本公开的实施例，偏压校正电路8212可用于补偿偏置电压中依赖于温度的变化。通过参考公开号为7,679,048、公开日为2010年3月16的美国专利中标示的相似的部件，可进一步地理解这些其他附件的操作，通过引用的方式将其作为整体合并于此。还可根据公开号为6,812,465、公开日为2004年11月2日的美国专利中标示的各种部件来实现红外传感器组件128，通过引用的方式将其作为整体合并于此。

在各种实施例中，全部或者部分偏压校正电路8212可实现在如图33所示的整体阵列基础上(例如，用于集中在阵列中的所有红外传感器132)。在其他实施例中，可在单个传感器基础上实现全部或者部分偏压校正电路8212(例如，对每个传感器132都全部或者部分地复制)。在一些实施例中，图33的偏压校正电路8212和其他部件可实现为ROIC8202的一部分。

如图33所示，LDO8220向沿着馈电线8222中的一个的偏压校正电路8212提供负载电压Vload。如所讨论的，在一些实施例中，Vload可以大约为2.5v，与此形成对比的是，可用作传统红外成像装置中的负载电压的大小大约为9v到大约11v的较高的电压。

基于Vload，偏压校正电路8212在节点9360提供传感器偏置电压Vbolo。Vbolo可通过适合的开关电路9370(例如，由图13中的虚线表示的)分发至一个或者多个红外传感器132。在一些例子中，可根据本文之前引用的公开号为6,812,465和7,679,048的专利中标示出的合适的部件来实现开关电路9370。

每个红外传感器132均包括通过开关电路9370接收Vbolo的节点9350以及可接地的另一个节点9352、基底和/或负参考电压。在一些实施例中，节点9360处的电压与节点9350处的Vbolo基本相同。在其他实施例中，可调整在节点9360处的电压，以补偿与开关电路9370和/或其他因素有关的可能的压降。

可利用通常比传统红外传感器偏压所使用的电压较低的电压来实现Vbolo。在一个实施例中，Vbolo可以在从大约0.2v到大约0.7v的范围。在另一个实施例中，Vbolo可以在大约0.4v到大约0.6v的范围。在另一个实施例中，Vbolo大约为0.5v。相比之下，传统红外传感器通常使用的偏置电压大约为1v。

与传统的红外成像装置相比，根据本公开的红外传感器132的较低偏置电压的使用使得红外传感器组件128能够具有显著降低的功耗。特别的，每个红外传感器132的功耗以偏置电压的平方减少。因此，电压的降低(例如，从1.0v降到0.5v)提供了显著的功耗的降低，特别是当所述电压的降低应用到红外传感器阵列中的多个红外传感器132时。这种功率的降低还可导致红外传感器阵列128的自热的减少。

根据本公开的其他实施例，提供了用于降低由工作在低电压的红外成像装置提供的图像帧中的噪声效应的各种技术。

例如，参考图33，当LDO8220以本文所述的方式保持在低电压Vload时，Vbolo也将保持在它的相应的低电压，并且可降低它的输出信号的相对尺寸。因此，噪声、自热和/或其他现象可对从红外传感器132读出的较小的输出信号产生较大的影响，从而导致输出信号的变化(例如，错误)。

为了补偿这种现象，可利用各种阵列尺寸、帧率和/或帧平均技术来实现红外传感器组件128、红外成像模块100和/或主机装置102。例如，如所讨论的，各种不同的阵列尺寸可考虑用于红外传感器132。在一些实施例中，可利用范围从32×32到160×120的阵列尺寸的红外传感器132来实现红外传感器132。其他例子的阵列尺寸包括80×64、80×60、64×64以及64×32。可使用任何期望的尺寸。

有利的是，当利用这种相对小的阵列尺寸实现红外传感器组件128时，所述红外传感器组件128可以在无需对ROIC及相关电路进行较大变动的情况下，以相对高的帧率来提供图像帧。例如，在一些实施例中，帧率的范围可以从大约120Hz到大约480Hz。

在一些实施例中，阵列尺寸和帧率可以相对于彼此之间增减(例如，以成反比例的方式或者其他方式)，以使得较大的阵列实现为具有较低的帧率，而较小的阵列实现为具有较高的帧率。例如，在一个例子中，160×120的阵列可提供大约为120Hz的帧率。在另一个实施例中，80×60的阵列可提供相应的大约为240Hz的较高的帧率。其他帧率也是可以考虑的。

通过阵列尺寸和帧率相对于彼此之间的增减，无论实际的FPA尺寸或者帧率为多少，FPA的行和/或列的特定读出定时都可以保持不变。在一个实施例中，读出定时可以为大约每行或列63微秒。

如之前关于图8的讨论，红外传感器132捕获的图像帧可提供给帧平均器804，所述帧平均器804求多个图像帧的积分以提供具有低帧率(例如，大约30Hz、大约60Hz或者其他帧率)和改进的信噪比的图像帧802(例如，处理的图像帧)。特别的，通过对由相对小的FPA提供的高帧率图像帧进行平均，可将图像帧802中由于低电压工作而产生的图像噪声有效的平均掉和/或显著的减少。因此，红外传感器组件128可以工作在由如所讨论的LDO8220提供的相对低的电压，并且在帧平均器804对产生的图像帧802进行处理之后，红外传感器组件128不会受到所述产生的图像帧802中的额外的噪声及相关的副作用的影响。

尽管示出了红外传感器132的单个阵列，但是可以预期的是，可一起使用多个这样的阵列以提供较高分辨率的图像帧(例如，一个场景可以在多个这样的阵列上成像)。这种阵列可设置在多个红外传感器组件128和/或设置在同样的红外传感器组件128中。如所描述的，每个这样的阵列均可工作在低电压，并且也可为每个这样的阵列配置相关的ROIC电路，以使得每个阵列仍然可以相对高的帧率工作。共享或者专用帧平均器804可对由这种阵列提供的高帧率图像帧进行平均，以减少和/或消除与低电压工作相关的噪声。因此，当工作在低电压时仍然可获得高分辨率红外图像。

在各种实施例中，可将红外传感器组件128实现为合适的尺寸，以使得红外成像模块100能够与小形状因子的插座104(例如，用于移动装置的插座)一起使用。例如，在一些实施例中，可将红外传感器组件128实现为范围为大约4.0mm×大约4.0mm到大约5.5mm×大约5.5mm(例如，在一个实施例中，大约4.0mm×大约5.5mm)的芯片尺寸。可将红外传感器组件128实现为这种尺寸或者其他合适的尺寸，以使得能够与实现为各种尺寸的插座104一起使用，所述插座104的尺寸例如为：8.5mm×8.5mm、8.5mm×5.9mm、6.0mm×6.0mm、5.5mm×5.5mm、4.5mm×4.5mm和/或其他插座尺寸，例如，如本文之前引用的申请号为61/495,873的美国临时专利申请表1所示的那些尺寸。

在一些实施例中，诸如关于例如图23-27所述的那些，红外成像模块100可被配置为产生红外图像，该红外图像能够与非热图像(例如，可见光谱图像)合成，产生场景的高分辨率、高对比度和/或目标的对比度合成图像，其包括对应于场景中的一个或多个物体的高精度辐射测定数据(例如，红外信息)。

现在参考图34，图34示出了根据本公开实施例的适于图像场景4030的成像系统4000的框图。例如，系统4000可表示本文描述的任何用户装置和任何装置附件的组合。系统4000可包括一个或多个成像模块，诸如可见光谱成像模块4002a和红外成像模块4002b(例如，这可分别表示本文描述的任何非热摄像机模块和红外成像模块，或者它们的组合)、处理器4010(例如，这可表示本文描述的任何处理器，或它们的组合)、存储器4012(例如，在本文描述的任何用户装置和/或装置附件中提供并以例如与主机装置102的存储器196类似的方式实现的一个或多个存储器)、通信模块4014、显示器4016和其他部件4018。在适当的情况下，系统4000的元件可以以与本文描述的其他装置和系统相同或类似的方式实现，并可被配置为执行本文描述的各种NUC过程和其他过程。

例如，系统4000可形成装置附件1200的一部分。例如，可见光谱成像模块4002a可以是非热摄像机模块的实现，和/或红外成像模块4002b可以是红外传感器的实现。虽然系统4000被描述为包括可见光谱成像模块4002a，但应该意识到，可见光谱成像模块4002a可以用任何适当的非热摄像机模块来代替。如此，此处合成可见光光谱图像与热图像的描述可类似地适用于热图像与不同于可见光光谱图像的非热图像(例如，近红外图像、短波红外图像等)的合成。

如图34所示，场景4030(例如，如俯视平面图所示)可包括各种主要固定元素，诸如建筑物4032、窗4034和人行道4036，也可包括各种主要瞬态元素，诸如车辆4040、手推车4042和行人4050。每当场景4030被环境光(例如，日光)或例如人造可见光谱光源可见地照亮时，只要场景4030的这些元素不被例如烟、雾或其他环境条件遮蔽，建筑物4032、窗4034、人行道4036、车辆4040、手推车4042和行人4050都可由可见光谱成像模块4002a成像。例如，当场景4030没有被可见地照亮时(例如，通过可见光光谱)，建筑物4032、窗4034、人行道4036、车辆4040、手推车4042和行人4050都可由红外成像模块4002b成像以提供场景4030的实时成像和/或低光成像。

在一些实施例中，例如，为了产生合成图像，该合成图像包括对应于场景4030的辐射测定数据和/或其他红外特征，但比单独由红外或可见光光谱图像通常提供的图像有更多的物体细节和/或对比度，成像系统4000可被配置为将由可见光谱成像模块4002a在第一时间(例如，当场景4030被可见地照亮时)捕获的可见光光谱图像与由红外成像模块4002b在第二时间(例如，当场景4030没有被可见地照亮时)捕获的红外图像合成在一起。在其他实施例中，合成图像可包括例如对应于场景4030内一个或多个物体的辐射测定数据和例如可见光谱特征，该可见光谱特征诸如物体(例如，主要的静止物体)的可见光谱颜色。在一些实施例中，红外图像和合成图像基本上都是场景4030的实时图像或视频。在其它实施例中，与捕获对应的红外和/或可见光光谱图像的时间相比，例如，使用存储的红外和/或可见光光谱图像和/或视频产生场景4030的合成图像基本上较晚。在进一步的实施例中，合成图像可包括在捕获对应红外图像之前或之后捕获的场景4030的可见光谱图像。

在每个实施例中，可以处理包括场景4030(诸如建筑物4032、窗4034、人行道4036)的可见光谱图像，以在与红外图像组合时能提供更容易识别和/或解释合成图像的可见光谱特征。

在各种实施例中，根据应用需要，可以组合和/或实现或不组合和/或实现系统4000的一个或多个部件。例如，处理器4010可以与任何成像模块4002a-b、存储器4012、显示器4016和/或通信模块4014组合在一起。在另一个实例中，处理器4010可与任何成像模块4002a-b组合在一起，成像模块4002a-b仅具有由任何红外成像模块内的电路(例如，处理器、逻辑器件、微处理器，微控制器等)执行的处理器4010的某些操作。

因此，可将系统4000的一个或多个部件安装在场景4030的视图中，以在低光情况下提供对场景4030的实时和/或增强的红外监测。

转到图35，图35示出了根据本公开实施例的增强场景的红外成像的过程4100的流程图。例如，可通过系统4000的处理器4010和/或各个成像模块4002a-b并利用任何光学元件4004a-b、存储器4012、通信模块4014、显示器4016或其他部件4018来执行过程4100的一个或多个部分，其中各个成像模块4002a-b和/或光学元件40104a-b可安装在场景的至少一部分的视图中。在一些实施例中，系统4000的一些元件可以以分布式的方式安装(例如，放置在场景4030内或外的不同区域中)，并使用一个或多个通信模块4014将它们彼此无线地耦合。在进一步的实施例中，成像模块4002a-b可以位于场景4030视图的外但可通过光学元件4004a-b接收场景4030的视图。

应该意识到，仅为了举例的目的确定系统4000和场景4030，且任何其它适当的系统可包括安装在任何其他类型的场景视图中的一个或多个部件并执行过程4100的全部或一部分。还应该意识到，可以按顺序或按不同于图35所示的实施例的布置执行过程4100的任何步骤、子步骤、子过程或块。例如，虽然过程4100描述了在捕获红外图像之前捕获可见光光谱图像，但在其他实施例中，可在捕获红外图像之后捕获可见光光谱图像。

在一些实施例中，可在环路中实现过程4100的任何部分，以对一连串红外和/或可见光光谱图像(诸如场景4030的视频)进行连续地操作。在其它实施例中，可在局部反馈回路中实现过程4100，该局部反馈回路包括例如向用户显示中间处理(例如，在接收红外和/或可见光光谱图像之后/同时，执行预处理操作，产生合成图像，执行后处理操作，或执行过程4100的其他处理)和/或包括接收用户输入，诸如指向任何中间处理步骤的用户输入。

在块4102，系统4000可接收(例如，接受)用户输入。例如，显示器4016和/或其他部件4018可包括用户输入设备，诸如触敏屏幕、键盘、鼠标、拨号盘或操纵杆。系统4000的处理器4010可被配置为提示用户输入。例如，系统4000可提示用户选择用于产生场景4030的合成图像的混合或高对比度模式，并基于接收的用户输入，系统4000可继续进行选择的模式。

在块4104，系统4000可确定处理4100中所使用的一个或多个阈值。例如，处理器4010和/或成像模块4002a-b可被配置为由在块4102接收到的用户输入来确定阈值。在一个实施例中，处理器4010可被配置为根据由系统4000的一个或多个模块捕获的图像和/或图像数据来确定阈值。在各种实施例中，处理器4010可被配置为使用这种阈值来设置、调整或改善本文所述的一个或多个控制参数、混合参数或其他操作参数。例如，阈值可与一个或多个处理操作相关，诸如图35的块4120-4140。

在块4110，系统4000可捕获一个或多个可见光光谱图像。例如，处理器4010和/或可见光谱成像模块4002a可被配置为在第一时间(诸如在场景4030被可见地照亮时)捕获场景4030的可见光光谱图像。在一个实施例中，处理器4010、可见光谱成像模块4002a和/或其他部件4018可被配置为检测背景数据(诸如一天和/或照明的时间或环境条件)并通过确定有足够的环境光和环境清晰度来确定适当的第一时间，以捕获具有足够细节和/或对比度的可见光光谱图像从而辨别物体，或者为系统4000的特定应用(诸如入侵监测或消防安全监测)产生有足够细节和/或对比度的合成图像。在其它实施例中，处理器4010和/或可见光谱成像模块4002a可被配置成根据用户输入和/或计划来捕获可见光光谱图像。可见光谱成像模块4002a可被配置为以包括原始的或未经压缩格式的各种颜色空间/格式来捕获可见光图像。在其它实施例中，可使用可拆卸连接到4000系统的附加装置(诸如用户装置(例如，用户装置1250))来捕获可见光光谱图像(或其他非热图像)。

在块4112，系统4000可以接收和/或存储可见光光谱图像和相关的背景信息。例如，处理器4010和/或可见光谱成像模块4002a可被配置为从可见光谱成像模块4002a的传感器部分接收场景4030的可见光光谱图像，从其他部件4018接收背景数据，然后将具有背景数据的可见光光谱图像存储在可见光谱成像模块4002a的存储部分和/或存储器4012中。

背景数据可包括与场景4030的图像相关的各种特征和环境条件，诸如时间戳、环境温度、环境气压、场景4030中的运动检测、一个或多个成像模块4002a-b的定向、一个或多个光学元件4004a-b的配置、从成像开始消逝的时间，和/或场景4030内物体和其在一个或多个可见光谱或红外图像中的坐标的识别。

背景数据可以指导如何处理、分析和/或使用图像。例如，背景数据可以揭示已在高环境光水平时获取图像。这种信息可表明捕获的可见光光谱图像需要额外的曝光校正预处理。在这种和其他各种方式中，可以利用背景数据(例如，由处理器4010)来确定相关图像的适当应用。背景数据还可为执行如下进一步描述的图像分析和处理提供输入参数。在不同的实施例中，背景数据可在处理器(例如，处理器4010)被直接收集、处理或者以其他方式管理，而不被存储在单独的存储器中。

可以以各种颜色空间/格式存储可见光谱图像，该各种颜色空间/格式可以是或不是接收到的可见光光谱图像的颜色空间/格式。例如，处理器4010可被配置为以RGB颜色空间从可见光谱成像模块4002a接收可见光光谱图像，然后转换并以YCbCr颜色空间保存可见光光谱图像。在其它实施例中，处理器4010和/或可见光谱成像模块4002a可被配置为在存储该图像之前，对接收的可见光光谱图像执行其他图像处理，如缩放、增益校正、颜色空间匹配以及关于块4120所述的其他预处理操作。

在块4114，系统4000可选择性地被配置为等待一段时间。例如，处理器4010可被配置为一直等待，直到场景4030不被可见地照亮(例如，在可见光谱)，或者直到场景4030在可见光谱中被环境条件掩盖，例如，在继续进行过程4100之前。在其他实施例中，处理器4010可被配置为等待规定时间段，或者一直等待，直到继续进行处理4100之前的规定时间段。例如，可根据环境光水平和/或环境条件来调整时间和/或时间段。在一些实施例中，时间段可以是相当长的一段时间，诸如十二小时、几天、几周或与场景4030内物体(例如，车辆、行人)运动的一般时间相比相当长的其它时间段。

在块4116，系统4000可捕获一个或多个红外图像。例如，处理器4010和/或红外成像模块4002b可被配置为在第二时间(诸如在场景4030没有被可见地照亮时)或者在块4114中执行的特定时间段之后，捕获场景4030的红外图像。

在某些实施例中，第二时间可基本不同于在块4110中提到的第一时间，例如，与瞬态物体进入和离开场景4030通常所需的时间相关。处理器4010和/或红外成像模块4002b可被配置为检测背景数据，诸如时间、日期和照明条件，并通过以下步骤确定适当的第二时间：确定环境光水平过低而不能捕获具有足够细节和/或对比度的可见光图像，以便根据系统4000的特定应用而辨别场景4030中的物体。在一些实施例中，处理器4010和/或红外成像模块4002b可被配置为通过分析成像模块4002a-b捕获的一个或多个可见光谱和/或红外图像来确定适当的第二时间。在其它实施例中，处理器4010和/或红外成像模块4002b可被配置为根据用户输入和/或计划捕获红外图像。红外成像模块4002b可被配置为以包括原始或未经压缩格式的各种颜色空间/格式来捕获红外图像。这种图像可包括编码成红外图像的辐射测定分量的辐射测定数据。

在块4118，系统4000可接收和/或存储红外图像和相关的背景信息。例如，处理器4010和/或红外成像模块4002b可被配置为从红外成像模块4002a的传感器部分接收场景4030的红外图像，从其他部件4018接收背景数据，然后将具有背景数据的红外图像存储在红外成像模块4002b的存储器部分和/或存储器4012中。背景数据可包括与图像相关的各种特征和环境条件，例如，其可指导如何处理、分析和/或使用图像。

可以以各种颜色空间/格式存储红外图像，该各种颜色空间/格式可以是或不是接收的红外图像的颜色空间/格式。例如，处理器4010可被配置为以原始辐射测定数据格式从红外成像模块4002b接收红外图像，然后转换并以YCbCr颜色空间保存红外图像。在某些实施例中，辐射测定数据可被完全编码成例如红外图像的亮度(例如，Y)分量、色度(例如，Cr和Cb)分量或者亮度和色度分量两者。在其他实施例中，处理器4010和/或红外成像模块4002b可被配置为在存储该图像之前对接收的红外图像执行其他图像处理(诸如缩放、增益校正、颜色空间匹配)以及关于块4120所述的其他预处理操作。

在块4120，系统4000可执行各种预处理操作。例如，一个或多个成像模块4002a-b和/或处理器4010可被配置为对成像模块4002a-b捕获的场景4030的可见光谱和/或红外图像执行一个或多个预处理操作。

预处理操作可包括例如对全部或部分图像(诸如对图像的分量或图像的像素选择)或者对系列图像的选择，执行的各种数值、比特和/或合成操作。在一个实施例中，处理操作可包括校正操作，其对由具有不同FOV或非共线性光轴的成像模块4002a-b产生的不同FOV和/或视差进行校正。这种校正可包括例如图像裁剪、图像变形(例如，映射像素数据到图像中的新位置)、空间滤波以及重采样。在另一个实施例中，可见光谱和/或红外图像的分辨率可被缩放成，接近或匹配对应图像的分辨率(例如，可见光谱到红外、或者红外到可见光谱)、图像的一部分(例如，画中画(PIP)效果)、显示器4016的分辨率或由用户、监测系统或特定图像处理步骤所指定的分辨率。分辨率缩放可包括例如重采样(例如，上采样或下采样)图像，或者可包括空间滤波和/或裁剪图像。

在另一个实施例中，预处理操作可包括时域和/或空间降噪操作，其可对见光谱和/或红外图像执行，并可包括使用例如由一个或两个成像模块4002a-b提供的系列图像。在进一步的实施例中，例如，可通过使用本文公开的各种NUC技术，对捕获的和存储的图像执行NUC过程以其中的去除噪声。在另一个实施例中，可以对由一个或两个成像模块4002a-b提供的一个或多个红外图像执行红外图像的其他校准过程，诸如绘制轮廓图、瞄准、基线参数构造以及其他统计分析。由这种过程产生的校准参数可被应用于例如图像以校正、校准或以其他方式调整红外图像中的辐射测定数据，或者校正一个或多个可见光光谱图像的颜色或强度数据。

在一个实施例中，图像可被分析以确定图像的一个或多个分量的强度分布。例如，整体增益和/或偏移可以基于这种分布确定，并且例如用于调整该分布以使得其符合预期(例如，校正的)或期望的(例如，目标的)的分布。在其他实施例中，可确定整体增益和/或偏移，从而使分布的特定间隔利用图像的特定分量或分量的多个动态范围。

在一些实施例中，第一图像的动态范围(例如，红外图像的辐射测定分量)可被标准化为第二图像的动态范围(例如，可见光光谱图像的亮度分量)。在其他实施例中，可根据例如直方图均衡方法、线性缩放方法或它们两个组合来调整特定图像的动态范围，从而根据特定图像中包含的信息或图像的选择来分配动态范围。

在进一步的实施例中，可在保持红外图像的辐射测定分量的校准的同时，执行对图像的动态范围或其他方面的调整和/或标准化。例如，可以调整红外图像的非辐射测定分量的动态范围，而不调整红外图像的辐射测定分量的动态范围。在其他实施例中，红外图像的辐射测定分量可被调整为例如强调特定的热区间，并可用红外图像来存储该调整，以便除了将对应于热图像和/或包括来自红外图像的红外特征的合成图像的用户可视图像呈现给用户以外，还将精确的温度对应(例如，伪彩色和/或强度对应)呈现给用户。

在其他实施例中，预处理操作可包括将可见光谱和/或红外图像转换为不同或共同的颜色空间。在其它实施例中，可将原始的或未经压缩格式的图像转换为共同的RGB或YCbCr颜色空间。在一些实施例中，伪调色板(诸如用户在块4102中选择的伪调色板)可被应用为在块4120执行的预处理操作的一部分。与动态范围调整一样，例如，在保持红外图像的辐射测定分量的校准或可见光光谱图像的颜色空间校准的同时，可执行调色板的应用。

在另一个实施例中，预处理操作可包括将图像分解成各种分量。例如，可将包括原始的或未压缩的辐射测定分量的颜色空间/格式的红外图像转换为YcbCr颜色空间的红外图像。该原始辐射测定分量可被编码为例如转换的红外图像的亮度(例如，Y)分量，或编码为转换的红外图像的色度(例如，Cr和/或CB)分量，或编码为转换的红外图像的亮度和色度分量。在一些实施例中，例如，未使用的分量可被丢弃，或被设置为已知值(例如，黑色、白色、灰色或特定主色)。例如，还可以以类似的方式将可见光光谱图像转换并分解为组成分量。例如，分解后的图像可代替原始图像被存储，该分解后的图像可包括指示所有颜色空间转换和分解的背景数据，以便可能地保留原始图像的辐射和/或颜色空间校准。

更普遍地，例如，预处理的图像可代替原始图像被存储，该预处理的图像可包括指示所有应用的预处理操作的背景数据，以便可能保留原始图像的辐射测定和/或颜色空间校准。

在块4130，系统4000可由捕获的和/或预处理的图像产生一个或多个合成图像。例如，一个或多个成像模块4002a-b和/或处理器4010(或者，如果需要的话，可拆卸连接用户装置的处理器)可被配置为由成像模块4002a-b捕获的可见光谱和红外图像产生场景4030的合成图像。在一个实施例中，可在红外图像之前捕获可见光光谱图像。在可替代的实施例中，可在可见光光谱图像之前捕获红外图像。与由单独可见光谱或红外图像所提供的影像相比，这种合成图像可用于提供增强的影像。

在一个实施例中，处理器4010可被配置为根据真彩色模式产生合成图像。例如，合成图像可包括根据混合参数与可见光光谱图像的对应分量混合在一起的场景4030的红外图像的辐射测定分量。在这种实施例中，合成图像的其余部分可来自于场景4030的可见光谱和/或红外图像的对应部分。

在另一实施例中，处理器4010可被配置为根据高对比度模式产生合成图像。例如，合成图像可包括红外图像的辐射测定分量和混合分量，该混合分量包括根据混合参数与高空间频率含量合并在一起的来自可见光谱和/或红外图像的场景4030的红外特征。

更普遍地，处理器4010可被配置为产生合成图像，该合成图像增加或改善了由可见光光频谱或红外图像本身所表达的信息。例如，为了后续的后处理和/或呈现给用户或监测系统，或例如可被用来产生一个或多个其他部件4018的控制信号，可将合成图像存储在存储器4012中。

在块4140，系统4000可对合成图像执行各种后处理操作。例如，一个或多个成像模块4002a-b和/或处理器4010可被配置为对合成图像执行一个或多个后处理操作，该合成图像由场景4030的可见光谱和红外特征产生，例如来源于成像模块4002a-b捕获的图像。

与关于块4120所述的预处理操作相同，后处理操作可包括例如对全部或部分图像(诸如对图像的分量或图像的像素选择)或者对系列图像的选择执行的各种数值、比特和/或组合操作。例如，以上针对对捕获的图像执行的预处理描述的任何动态范围调整操作也可对一个或多个合成图像执行。在一个实施例中，可将特定调色板诸如(例如，晚间或是日间调色板或者伪调色板)应用于合成图像。例如，特定调色板可由用户在块4102指定，或可通过背景或其他数据，诸如一天中的当前时间、合成图像的类型或合成图像的动态范围来确定。

在其它实施例中，为了减少合成图像中可能存在的污迹或伪象的印记，后处理操作可包括将高分辨率噪声添加到合成图像。在一个实施例中，添加的噪声可包括高分辨率时域噪声(例如，“白色”信号噪声)。在进一步的实施例中，后处理操作可包括一个或多个降噪操作，以减少或消除由例如图像处理(诸如混叠、结合、动态范围偏移和相关点噪声的数值计算)引入合成图像中的噪声或其他非物理伪影。

在一些实施例中，为了确保在没有广泛颜色数据的区域上强调具有广泛颜色数据的区域，后处理操作可包括对图像亮度值的颜色加权(例如，色度加权)调整。例如，在块4130，在红外图像的辐射测定分量被编码成例如合成图像的色度分量的情况下，可以调整合成图像的亮度分量，以提高具有高水平辐射测定数据的合成图像的区域的亮度。高水平辐射测定数据可相当于例如高温度或温度梯度或者例如具有广泛分布的不同强度红外发射的图像区域(例如，与具有窄或单一分布的强度红外发射的区域相反)。其他标准化加权方案可用于对于具有显著颜色内容的像素偏移合成图像的亮度分量。在可替代的实施例中，可以以类似的方式对图像的色度值进行亮度加权调整。

更普遍地，为了提供自动化图像增强，后处理操作可包括使用合成图像的一个或多个分量来调整合成图像的其他分量。在一些实施例中，后处理操作可包括调整动态范围、分辨率、颜色空间/格式或合成图像的其他方面，以匹配或接近例如显示器的对应方面或例如监测系统预料或用户选择的对应方面。

例如，后处理的合成图像可代替原始合成图像被存储，并可例如包括指示所有应用的后处理操作的背景数据，以便可能保留原始合成图像的辐射测定和/或颜色空间校准。

在块4150，系统4000可产生与合成图像有关的控制信号。例如，处理器4010可被配置为根据由合成图像提供的增强成像检测的条件，产生适于激励和/或操作警报器、报警器、通知系统、安全灯或一个或多个其他部件4018中任一个的控制信号。当合成图像包含检测的物体或条件时，例如，诸如一个或多个行人4050和/或车辆4040进入或在场景4030中闲置时，可产生这种控制信号。在其他实施例中，处理器4010可被配置为产生通知检测场景4030中物体或条件的监测系统的控制信号。

在块4152，系统4000可向用户显示图像。例如，处理器4010可被配置为将可见光谱、红外和/或合成图像(例如，从块4130和/或4140)转换为用户可视的合成图像，并利用显示器4016将用户可视的合成图像呈现给用户。在其他实施例中，处理器4010还可被配置为将包括用户可视的合成图像的合成图像传输给监测系统(例如，使用通信模块4014)，以进行进一步处理、通知、产生控制信号和/或显示给远程用户。如上所述，过程4100的实施例可包括例如块4152的附加实施例。在一些实施例中，块4152的一个或多个实施例可实现为例如包括块4102和/或4104的实施例的一个或多个反馈回路的一部分。

在块4154，系统4000可存储图像和其他相关数据。例如，处理器4010可被配置为例如将包括相关背景数据和指示预处理和后处理操作的其他数据的可见光谱、红外或合成图像中的一个或多个存储到存储器4012，或例如存储到外部或便携式存储器。

图36示出了根据本公开实施例的组合场景的热图像和非热图像的过程4200的流程图。例如，通过处理器4010和/或系统4000的每个成像模块4002a-b并利用光学元件4004a-b、存储器4012、通信模块4014、显示器4016或其他部件4018中任何一个，可执行过程4200的一个或多个部分，其中每个成像模块4002a-b和/或光学元件4004a-b可被安装在场景4030的至少一部分的视图中。在一些实施例中，过程4200可被实现为例如图27的过程6200中的块6204的实施例，以产生处理的图像，诸如来自在过程6200的块6202中捕获的热红外图像和非热图像的多光谱图像。

还应该意识到，可以按不同于图36所示的实施例的顺序或布置执行过程4200的任何步骤、子步骤、子过程或块。例如，虽然过程4200描述了独特的混合和高对比度模式，但在其他实施例中，可使用混合和/或高对比度模式处理操作的任何部分、顺序或合成来合成捕获的图像。在一些实施例中，可在环路中实现过程4200的任何部分，以对一连串红外和/或可见光光谱图像，诸如场景4030的视频，进行连续地操作。

在块4230，处理器4010可接收捕获的热图像和非热图像(例如，热红外图像和可见光光谱图像)。例如，可以以与过程6200的块6202所述的不同方式，捕获热图像和非热图像。一旦接收到捕获的热图像和非热图像，处理器4010就可确定产生合成图像的模式。这种模式例如可由用户在图35的块4102中选定，或者例如可根据背景数据或交替模式来确定，其中操作模式基于选择的计划或特定监测系统期望值在配置模式之间交替。

在图36示出的实施例中，处理器可以确定包括块4233和4235中一个或多个的真彩色模式或包括块4232、4234和4236中一个或多个的高对比度模式。在其他实施例中，过程4200可包括例如包括不同于图36所描绘那些过程的其他可选模式，或可只包括单一模式，诸如包括一个或多个可调式混合参数的模式。在多个可能模式的实施例中，一旦确定了模式，过程4200可继续进行选择的模式。

在块4233，系统4000可以对一个或多个热图像和非热图像执行各种预组合操作。例如，如果在块4230确定为真彩色模式，则处理器4010可被配置为对在块4230接收到一个或多个热图像和/或非热图像执行预组合操作。在一个实施例中，预组合操作可包括关于图35的块4120所述的任何预处理操作。例如，接收到的图像的颜色空间可被转换和/或分解为共同组成分量。

在其他实施例中，预组合操作可包括应用高通滤波器，应用低通滤波器、非线性低通滤波器(例如，中值滤波器)，调整动态范围(例如，通过组合直方图均衡化和/或线性缩放)，缩放动态范围(例如，通过应用增益和/或偏移)，以及将来源于这些操作的图像数据添加到彼此以便形成处理的图像。例如，预组合操作可包括使用高通空间滤波器从红外图像的辐射测定分量提取细节和背景部分，对背景部分的动态范围进行直方图均衡化和缩放，缩放细节部分的动态范围，添加调整的背景和细节部分以形成处理后的红外图像，然后将处理后的红外图像的动态范围线性映射到显示器的动态范围。在一个实施例中，红外图像的辐射测定分量可以是红外图像的亮度分量。在其他实施例中，可以对可见光光谱图像的一个或多个分量执行这种预组合操作。

与其他图像处理操作一样，可以一种方式应用预组合操作，以保留最初接收到的图像的辐射测定和/或颜色空间校准。可以存储和/或可以根据块4235进一步处理产生的经过处理的图像。

在块4235，处理器4010可将一个或多个非热图像(例如，可见光光谱图像或其他非热图像)与一个或多个热图像混合在一起。例如，处理器4010可被配置为将一个或多个可见光光谱图像与一个或多个热红外图像混合在一起，其中一个或多个可见光光谱和/或热红外图像可以被处理为最初在块4230接收到的图像的版本(例如，根据块4233)。

在一个实施例中，合并可包括根据混合参数将红外图像的辐射测定分量添加到可见光光谱图像的对应分量。例如，红外图像的辐射测定分量可以是红外图像的亮度分量(例如，Y)。在这种实施例中，混合红外图像与可见光光谱图像可包括根据混合参数ζ和下面的第一混合方程式按比例添加图像的亮度分量，第一混合方程式为：

YCI＝ζ*YVSI+(1-ζ)*YIRI

其中YCI是合成图像的亮度分量，YVSI是可见光光谱图像的亮度，YIRI是红外图像的亮度分量，以及ζ从0到1变化。在本实施例中，合成图像的产生的亮度分量是混合图像数据。

在其他实施例中，在红外图像的辐射测定分量不是红外图像的亮度分量的情况下，混合红外图像与可见光光谱图像可包括根据第一混合方程式添加图像的色度分量(例如，通过用图像的对应色度分量更换亮度分量)，产生的合成图像的色度分量是混合图像数据。更普遍地，混合可包括将红外图像的分量(其可以是红外图像的辐射测定分量)添加到(例如，按比例)可见光光谱图像的对应分量。一旦由可见光谱和红外图像的分量得到混合图像数据，该混合图像数据就可被编码成合成图像的对应分量，如关于块4238的进一步说明。在一些实施例中，将混合图像数据编码成合成图像的分量可包括例如额外的图像处理步骤，例如诸如动态范围调整、标准化、增益和偏移操作和颜色空间转换。

在将辐射测定数据编码成红外图像的多于一个的颜色空间/格式分量的实施例中，例如，可以单独添加红外和可见光光谱图像的单个颜色空间/格式分量，或者在添加合成的颜色空间/格式分量之前，可算术的合成单个颜色空间分量。

在进一步的实施例中，可使用不同的算术合成来混合可见光光谱和红外图像。例如，混合红外图像与可见光光谱图像可包括根据混合参数ζ和下面的第二混合方程式添加图像的亮度分量，第二混合方程式为：

YCI＝ζ*YVSI+YIRI

其中将YCI、YVSI和YIRI限定为如关于第一混合方程式所述，ζ从0变化到大于相关图像分量(例如，亮度、色度、辐射测定或其他图像分量)的动态范围的值。与第一个混合方程式一样，第二混合方程式可用于将红外图像的其他分量与可见光谱图像的对应分量混合在一起。在其它实施例中，为了强调具有高水平辐射测定数据的区域，可以重写第一和第二混合方程式，以包括例如类似于关于图35的块4140所述的分量加权调整的混合参数的每像素颜色加权或亮度加权调整。

在一些实施例中，除了红外图像的那些对应辐射测定分量的其他图像分量可被截断，或被设置为已知值，或丢弃。在其他实施例中，除了用混合图像数据编码的其他合成图像分量可以用可见光谱或红外图像的对应分量编码。例如，在一个实施例中，合成图像可包括编码成合成图像的色度分量的可见光光谱图像的色度分量和编码成合成图像的亮度分量的混合图像数据，其中混合图像数据包括与可见光光谱图像的亮度分量混合在一起的红外图像的辐射测定分量。在可替代的实施例中，合成图像可包括编码成合成图像的色度分量的红外图像的色度分量。

混合参数值可由用户选择，或者可以由处理器根据例如背景或其他数据或根据由耦合的监测系统所期望的图像增强水平确定。在一些实施例中，混合参数可使用例如耦合到处理器的旋钮、操纵杆或键盘来调整或改善，同时例如由显示器显示合成图像。在某些实施例中，由第一和第二的混合方程式可以选择混合参数，以使混合图像数据只包括红外特征，或者可替代地只包括可见光谱特征。

除此上述处理之外或作为替代，根据真彩色模式的处理可包括一个或多个处理步骤、处理步骤的调整、算法合成和/或对在2009年6月3日提出的美国专利申请No.12/477,828所记载的混合参数的调整，该申请通过引用的方式整体并入本文。例如，混合参数ζ可适于影响红外图像和可见光光谱图像的两种亮度分量的比例。一方面，ζ可用在0(零)至1范围中的值标准化，其中1值产生类似于可见光光谱图像的图像(例如，混合图像数据和/或合成图像)。另一方面，如果ζ设置为0，合并图像可具有类似于红外图像的亮度的亮度。然而，在后一种情况下，可以保留可见光光谱图像的色度(Cb和Cr)。ζ的每个其他值可适于产生混合图像，其中亮度部分(Y)包括来自可见光和红外图像的信息。例如，ζ可乘以可见光光谱图像的亮度部分(Y)并加上由1-ζ的值乘以红外图像的亮度部分(Y)获得的值。混合亮度部分(Y)的这种附加值可用于提供混合图像(例如，混合图像数据和/或合成图像)。

在一个实施例中，混合算法可被称为真彩色红外成像。例如，在日间成像中，混合图像可包括包含亮度元素和色度元素的可见光谱彩色图像，其亮度值由来自热红外图像的亮度值替换。来自热红外图像的亮度数据的使用会使真实的可见光光谱彩色图像的强度根据物体的温度来变亮或变暗。因此，混合算法提供了日间或可见光图像的热IR成像。

在将一个或多个可见光光谱图像(或其他非热图像)与一个或多个红外图像(诸如热图像)混合在一起之后，处理可继续进行到块4238，其中为了形成合成图像，可将混合数据编码成合成图像的分量。

在块4232，处理器4010可从一个或多个热图像和非热图像获得高空间频率含量。例如，如果在块4230确定高对比度模式，则处理器4010可被配置为从在块4230接收到一个或多个热图像和非热图像获得高空间频率含量。

在一个实施例中，可通过对图像执行高通滤波(例如，空间滤波)操作，从图像获得高空间频率含量，其中高通滤波操作的结果是高空间频率含量。在可替代的实施例中，可通过对图像执行低通滤波操作并且然后从原图像中减去该结果以得到作为高空间频率含量的剩余内容，而从图像获得高空间频率含量。在另一个实施例中，可通过例如不同成像从图像的选择获得高空间频率含量，其中从以某种方式由第一图像扰动的第二图像减去一个图像，减法的结果是高空间频率含量。例如，摄像机的光学元件可被配置为将振动、聚焦/散焦和/或运动伪像引入到由红外摄像机和非热摄像机中一个或两者捕获的一系列图像中。高空间频率含量可由减去该系列中的相邻或半相邻图像来获得。

在一些实施例中，高空间频率含量可仅从非热图像或仅从热图像获得。在其他实施例中，高空间频率含量可仅从单个热或非热图像获得。在进一步的实施例中，高空间频率含量可来自热图像和/或非热图像的一个或多个分量(例如可见光光谱图像的亮度分量)或热红外图像的辐射测定分量。产生的高空间频率含量可被暂时存储和/或可根据块4234被进一步处理。

在块4234，处理器4010可去噪一个或多个热图像。例如，处理器4010可被配置为使用各种图像处理操作去噪、平滑或模糊一个或多个红外图像。在一个实施例中，从热图像去除高空间频率噪声允许处理的热图像能够与根据块4232获得的高空间频率含量合成在一起，这具有将双边缘(例如，边缘噪声)引入在合成图像中所描绘的物体的风险明显很小。

在一个实施例中，从热图像去除噪声可包括对图像执行低通滤波(例如，空间和/或时域滤波)操作，其中低通滤波操作的结果是去噪的或处理的热图像。在进一步的实施例中，从一个或多个热图像去除噪声可包括向下采样该热图像，然后将该图像向上采样回到原始分辨率。

在另一个实施例中，处理的热图像可通过有意模糊热图像来获得。例如，光学元件4004b可被配置为使红外成像模块4002b捕获的一个或多个热图像略微散焦。产生的有意模糊的热图像可被充分去噪或模糊，以便降低或消除如下进一步描述的将双边缘引入合成图像的风险。在其它实施例中，模糊或平滑图像处理操作可由处理器4010对在块4230接收到热图像进行，作为一种替代或补充，利用光学元件4004b主动模糊红外图像。产生的经过处理的红外图像可被暂时存储和/或可根据块4236被进一步处理。

在块4236，处理器4010可将高空间频率含量与一个或多个热图像混合在一起。例如，处理器可被配置为将在块4232得到的高空间频率含量与一个或多个热图像(诸如在块4234提供的处理的热图像)混合在一起。

在一个实施例中，通过将高空间频率含量叠加到热图像，可将高空间频率含量与热图像混合在一起，其中高空间频率含量会取代或覆盖对应于存在高空间频率含量的位置的这部分的热图像。例如，高空间频率含量可包括图像中所描绘的物体边缘，但不可存在于这种物体的内部。在这种实施例中，混合图像数据可简单地包括高空间频率含量，随后如块4238所述，可将该高空间频率含量编码成合成图像的一个或多个分量。

例如，热图像的辐射测定分量可以是热图像的色度分量，高空间频率含量可来自可见光光谱图像的亮度和/或色度分量。在该实施例中，合成图像可包括编码成合成图像的色度分量的辐射测定分量(例如，热图像的色度分量)和直接编码(例如，没有热图像贡献的混合图像数据)成合成图像的亮度分量的高空间频率含量。通过这样做，可以保留热图像的辐射测定分量的辐射测定校准。在类似的实施例中，混合图像数据可包括添加到热图像的亮度分量中的高空间频率含量和编码成产生的合成图像的亮度分量的产生的混合数据。

在其他实施例中，高空间频率含量可来自一个或一系列非热图像和/或热图像的一个或多个特定分量，并且高空间频率含量可被编码成合成图像的对应的一个或多个分量。例如，高空间频率含量可来自可见光光谱图像的亮度分量，高空间频率含量(其在该实施例中为所有亮度图像数据)可被编码成合成图像的亮度分量。

在另一个实施例中，可使用混合参数和算术方程式，诸如上述的第一和二混合方程式，将高空间频率含量与热图像混合在一起。例如，在一个实施例中，高空间频率含量可来自可见光光谱图像的亮度分量。在该实施例中，可根据混合参数和第二次混合方程式，将高空间频率含量与热图像的对应亮度分量混合在一起以产生混合图像数据。例如，混合图像数据可被编码成合成图像的亮度分量，并且例如热图像的色度分量可被编码成的合成图像的色度分量。在红外图像的辐射测定分量是其色度分量的实施例中，合成图像可以保留热图像的辐射测定校准。在其他实施例中，可将辐射测定分量的一部分与高空间频率含量混合在一起，然后将其编码成合成图像。

更普遍地，高空间频率含量可来自热图像和/或非热图像的一个或多个分量。在该实施例中，高空间频率含量可与热图像的一个或多个分量混合在一起以产生混合图像数据(例如，使用混合参数和混合方程式)，产生的合成图像可包括编码成合成图像的对应的一个或多个分量的混合图像数据。在一些实施例中，混合数据的一个或多个分量可不必对应于合成图像的最终的一个或多个分量(例如，可以执行颜色空间/格式转换作为编码过程的一部分)。

例如，混合参数值可由用户选择，或者可由处理器根据背景或其他数据或根据耦合的监测系统所期望的图像增强水平自动确定根据。在一些实施例中，混合参数可使用系统4000的控制部件(例如，开关、按钮或触摸屏)来调整或改善，例如，同时用显示器4016显示合成图像。在一些实施例中，可以选择混合参数，以使混合图像数据仅包括热特征，或者可替代地，仅包括非热特征。例如，还可以限定混合参数的范围，以免产生相对于特定颜色空间/格式或显示的动态范围出界的混合数据。

除此上述处理之外或作为替代，根据高对比度模式的处理可包括一个或多个处理步骤、处理步骤的调整、算法组合和/或如2012年4月2日提出的美国专利申请No.13/437,645的所记载的对混合参数的调整，该申请通过引用的方式整体并入本文。例如，可以使用下面的方程式来确定用于合成图像的分量Y、Cr和Cb，其中Y分量来自于高通滤波的可见光谱图像，Cr和Cb分量来自于热图像。

hp_y_vis＝highpass(y_vis)

(y_ir,cr_ir,cb_ir)＝colored(lowpass(ir_signal_linear))

在另一个表示法中可以被写成：

hpy_vis＝highpass(y_vis)

(y_ir,cr_ir,cb_ir)＝colored(lowpass(ir_signallinear))

在上述方程式中，highpass(y_vis)可以是从高通滤波可见光光谱图像的亮度分量获得的高空间频率含量。colored(lowpass(ir_signal_linear))可以是热图像被低通滤波之后，热图像的产生的亮度和色度分量。在一些实施例中，热图像可包括选择为最大亮度(例如，显示和/或处理步骤)的0.5倍的亮度分量。在相关的实施例中，热图像的辐射测定分量可以是热图像的色度分量。在一些实施例中，可以省略热图像的y_ir分量，使用上面的符号，合成图像的分量可以是(hp_y_vis，cr_ir，cb_ir)。

在另一个实施例中，可以使用下面的方程式来确定用于合成图像的分量Y、Cr和Cb，其中Y分量来自于高通滤波的可见光谱图像，Cr和Cb分量来自于热图像。

comb_y＝y_ir+alpha×hp_y_vis

comb_cr＝cr_ir

comb_cb＝cb_ir

在另一个表示法中可以被写成：

comb_y＝y_ir+alpha*hpy_vis

comb_cr＝cr_ir

comb_cb＝cb_ir

alpha的变化给用户提供了确定合成图像中需要多大对比度的机会。对于接近于零的alpha，将显示单独的热图像，但对于非常高的alpha，在合成图像中可以看到非常尖锐的轮廓。理论上讲，alpha可以无限大的数，但在实践中，可能需要限制来限制alpha的大小，该大小应该被选择成有利于当前的应用的值。在上述方程式中，alpha可相当于混合参数ζ。

一旦将高空间频率含量与一个或多个热图像混合在一起，处理就可继续进行到块4238，其中为了形成合成图像，将混合数据编码成合成图像的分量。

在块4238，处理器4010可将混合数据编码成合成图像的一个或多个分量。例如，处理器4010可被配置为将根据块4235和/或块4236获得或产生的混合数据编码成合成图像，该合成图像增加、改善或以其他方式提高了由热图像或非热图像他们本身所表达的信息。

在一些实施例中，将混合图像数据编码成合成图像的分量可包括例如额外的图像处理步骤，例如诸如动态范围调整、标准化、增益和偏移操作、降噪以及颜色空间转换。

此外，处理器4010可被配置为将其他图像数据编码成合成图像。例如，如果混合图像数据被编码成合成图像的亮度分量，非热图像或热图像的色度分量可被编码成合成图像的色度分量。例如，源图像的选择可通过用户输入产生，或可根据背景或其他数据来自动确定。更普遍地，在一些实施例中，未用混合数据编码的合成图像的分量可用热图像或非热图像的对应分量来编码。通过这样做，例如，在产生的合成图像中可以保留热图像的辐射测定校准和/或可见光光谱图像的颜色空间校准。这种校准的合成图像可用于增强热红外成像应用，特别是在不同时间和/或不同的环境照明水平捕获场景的构成的热图像和非热图像的情况下。

现在参考图37，其示出了根据本公开实施例的适于成像场景的紧凑型成像系统5300的框图。例如，系统5300可包括全部物理耦合到公共基底5310并适合以各种频谱成像场景(例如，图34场景4030)的成像模块4002a-c(例如，所有这些都可以用例如红外成像模块100的任何特征来实现)。在一些实施例中，可将处理器4010、存储器4012、通信模块4014、以及一个或多个其他部件4018物理或非物理耦合到公共基底5310。

在图37所示的实施例中，系统5300包括物理耦合到公共基底5310并适于接收两个成像模块4002a-b并彼此对准的双模块插座5320。在一些实施例中，双模块插座5320可包括类似于图3的插座104中所发现的那些特征。在进一步的实施例中，双模块插座5320可包括适于通过其物理布置或形状可见地表示成像模块的适当插入物的固定弹簧、夹子或其他物理约束装置。在进一步的实施例中，双模块插座5320可适于提供成像模块4002a-b的一个或多个顶点、斜坡或旋转对准，这比在将成像模块直接焊接到公共基板5310或将他们插入到多个单模块插座的条件下要好(例如，更对准)。双模块插座5320可包括用于服务成像模块4002a-b的公共电路和/或公共固定装置，从而与成像模块4002a-b具有单个插座的实施例相比，潜在地减少系统5300的整个尺寸。此外，双模块插座5320通过使成像模块较紧密地一起隔开，可适于减少成像模块4002a-b捕获的图像之间的视差。

还示出了与双模块插座5320和成像模块4002a-b隔开的接收成像模块4002c的单模块插座5324。例如，成像模块4002c可对与由成像模块4002a-b中一个或两者感测的频谱相同、重叠或不同的频谱敏感。在成像模块4002c与成像模块4002a-b中任一个一样对频谱敏感的实施例中，系统5300可适于在那个频谱中以立体(例如，3D)的方式捕获常见场景的附加图像和场景的图像部分。在这种实施例中，成像模块4002c和成像模块4002a-b中任一个之间的空间距离通过增加视差误差来增加增加立体成像的敏锐度。在一些实施例中，系统5300可被配置为产生合成图像，该合成图像包括从成像模块4002a-c捕获的一个或多个图像获得的常见场景的立体成像特征。在其他实施例中，立体成像可用于确定到场景中物体的距离，确定自动聚焦参数，进行一系列计算，自动调整视差误差，产生场景中红外和/或其他光谱的范围特定的大气吸附的图像，和/或其他立体成像特征。

在成像模块4002c对成像模块4002a-b感测的频谱以外的频谱敏感的实施例中，系统5300可被配置为产生合成图像，该合成图像包括从场景的三个不同光谱视图获得的场景特征。在这种实施例中，可以使用人脸的多光谱图像或合成图像进行高精度的面部识别操作。

虽然用与单模块插座5324分开的双模块插座5320描述系统5300，但在其他实施例中，系统5300可包括适于接收三个或更多个成像模块的三元组(或更高阶)模块插座。而且，在期望平面紧凑的情况下，可以多层交错布置的方式布置相邻模块，以使它们的光轴比通常允许的它们的平面区域更紧密地放置在一起。例如，双模块插座5320可适于在比红外成像模块4002b更高的水平(例如，高于图37的页面)上接收可见光谱成像模块4002a并重叠红外成像模块4002b的非光敏感区域。

图37额外示出了接收光源模块/垂直腔面发射体激光器(VCSEL)5330的照明器插座5322。系统5300可被配置为使用VCSEL5330以一个或多个成像模块4002a-c感测的频谱照亮场景的至少一部分。在一些实施例中，VCSEL5330可以通过耦合的微机电透镜和由处理器4010和成像模块4002a-c中一个或多个控制的其他系统，选择性地可调和/或定向瞄准。照明器插座5322可被实现为例如具有与单模块插座5324相同或类似的结构，或可被实现为多模块插座。在一些实施例中，热图像可用于检测图像中的“热”点，诸如断路器箱的图像。照明模块可用于照亮断路器的标签以潜在地确定热点的原因。在其它实施例中，照明模块可方便长距离车牌成像，特别是在该照明器是相对校准的激光光源时。在一些实施例中，立体成像可以用于确定VCSEL5330的瞄准点。

在一些实施例中，处理器4010和成像模块4002a-c中的任何一个都可被配置为接收表明由第一成像模块(例如，红外成像模块4002b)成像的感兴趣部分的用户输入(例如，来自一个或多个其他部件4018，耦合到系统5300的触敏显示器，和/或本文公开的任何用户输入装置)，控制照明模块(例如，VCSEL5330)以用由第二成像模块(例如，可见光谱成像4002a)感测的频谱照亮至少部分感兴趣部分，接受来自第二成像模块的感兴趣部分的照亮的捕获图像，并产生包括从照亮的捕获图像获得的场景的照明特征的合成图像。

图38示出了根据本公开实施例的用于适合成像场景的成像模块的装配系统5400的框图。例如，成像模块4002a-b可用公共外壳5440(例如，在一些实施例中，类似于图3的外壳120)来实现，以使他们布置在基底5310上更紧凑和/或更对准。如图38所示，系统5400可包括公共外壳插座5420、处理模块5404a-b、传感器组件5405a-b、FPAs5406a-b、公共外壳5440和透镜筒5408a-b(例如，类似于图3的透镜筒110)。公共外壳5440可以用于进一步使成像模块4002a-b的部件与其光轴对准，而不是与单个成像模块对准。在图38所示的实施例中，成像模块可以保留单独的光学器件(例如，在图3中的透镜筒120和光学元件180)，但要紧密地放置在一起，以减少视差误差。在其他实施例中，公共外壳5440可被放置在例如整个成像模块4002a-b上(例如，保留自己的单独外壳)，并可以是用于便携式主机装置的外壳的一部分。

图39示出了根据本公开实施例的适于成像场景的成像模块的布置5600的框图。例如，在图39中，两个成像模块4002a-b的至少部分可以以交错布置的方式布置，其中成像模块4002b(例如，潜在地包括FPA5606b)的传感器组件5605b的部分重叠成像模块4002a传感器组件5605a的部分(例如，但不重叠FPA5606a的任何部分)。

在一些实施例中，成像模块4002a-b可用公共处理模块/电路板5604来实现(例如，在一些实施例中，类似于图3中的处理模块160和电路板170)。公共处理模块/电路板5604可被实现为能够执行指令和/或执行如本文所述的图像处理操作的任何适当的处理装置(例如，逻辑器件、微控制器、处理器、ASIC、数字信号处理器(DSP)、图像信号处理器(ISP)或包括上述多通道实现的其他装置)。在一些实施例中，公共处理模块/电路板5604可适于使用例如标准，和/或如本文所述的使用共同数据格式将可见光谱和红外图像存储到共同数据文件。在进一步的实施例中，处理器4010可被实现为通用处理模块。

在合适的情况下，可通过硬件、软件或者硬件和软件的结合来实现本公开所提供的各种实施例。同样的在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件合并为包括软件、硬件和/或二者的复合部件。在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件分离为包括软件、硬件或二者的子部件。另外，在合适的情况下，可以预期的是，软件部件能够实现为硬件部件，反之亦然。

根据本公开的软件，例如，非暂时性指令、程序代码和/或数据可存储在一个或者多个非暂时性机器可读介质中。还可以预期的是，可使用一个或者多个通用或者专用计算机和/或计算机系统、网络和/或其他方式来实现本文所提及的软件。在合适的情况下，本文所描述的各种步骤的顺序可以改变、合并为复合步骤和/或分离为子步骤，以提供本文所描述的功能。

以上所描述的实施例仅为了举例说明，而不是限制本实用新型。还应当理解的是，根据本实用新型的原理，许多修改和改变是可能的。因此，本实用新型的范围仅由下面的权利要求书限定。

Claims (13)

1.一种装置附件，其特征在于，包括：

配置为可拆卸地附接到用户装置的外壳，该外壳在附接时处于用户装置的外部；

在外壳内的红外传感器组件，该红外传感器组件配置为捕获热红外图像数据；和

通信地耦合到红外传感器组件并配置为传输热红外图像数据到用户装置的处理模块。

2.根据权利要求1所述的装置附件，其特征在于，进一步包括配置为将红外辐射传送到红外传感器组件的透镜。

3.根据权利要求1所述的装置附件，其特征在于，进一步包括配置为将热红外图像数据从处理模块传送到用户装置的装置连接器。

4.根据权利要求3所述的装置附件，其特征在于，该装置连接器进一步配置为给用户装置传送电力以供用户装置使用。

5.根据权利要求1所述的装置附件，其特征在于，外壳包括形成凹槽的后壁和至少一个侧壁，该凹槽配置为接收用户装置，其中，用户装置是移动个人电子装置。

6.根据权利要求1所述的装置附件，其特征在于，进一步包括外壳内的非热摄像机模块，该非热摄像机模块配置为捕获非热图像数据。

7.根据权利要求6所述的装置附件，其特征在于，非热摄像机模块包括可见光摄像机模块。

8.根据权利要求6所述的装置附件，其特征在于，

非热摄像机模块被配置为在第一时间从场景捕获非热图像数据；

红外传感器组件被配置为在第二时间从场景捕获热红外图像数据，其中，红外图像包括辐射测定分量；和

处理模块被配置为处理热红外图像数据和非热图像数据以产生合成图像，该合成图像包括来自非热图像数据的场景的可见光谱特征和来自热红外图像数据的辐射测定分量的场景的红外特征。

9.根据权利要求1所述的装置附件，其特征在于，处理模块被配置为响应从用户装置发送的请求，将热红外图像数据传输给用户装置。

10.根据权利要求1所述的装置附件，其特征在于，

热红外图像数据包括有意模糊的图像帧和未模糊的图像帧；和

处理模块被配置为基于有意模糊的图像帧确定多个非均匀校正项，并将该非均匀校正项应用到未模糊的图像帧以从未模糊的图像帧去除噪声。

11.根据权利要求1所述的装置附件，其特征在于，

红外传感器组件包括配置为捕获热红外图像数据的焦平面阵列；和

该焦平面阵列包括微测辐射热仪的阵列，该微测辐射热仪的阵列适于接收从0.2v到0.7v的范围选择的偏置电压。

12.根据权利要求1所述的装置附件，其特征在于，进一步包括用户可操作快门，所述用户可操作快门适于选择性地阻止外部红外辐射被红外传感器组件接收以及为校准过程提供温度参考。

13.根据权利要求1所述的装置附件，其特征在于，进一步包括配置为将热红外图像数据从处理模块传送到用户装置的装置连接器，其中所述外壳通过所述装置连接器可拆卸地附接到用户装置。