CN104995909A - 时间间隔的红外图像增强 - Google Patents

Abstract

成像系统可以包括可见光谱成像模块、红外成像模块和用于与用户和/或监视系统交互的其他模块。可见光谱成像模块和红外成像模块可以位于将被监视的场景附近，而场景的仅可见光谱图像要么不可用，要么比场景的红外图像更加不期望。成像模块可被配置为在不同时间捕获场景的图像。图像分析和处理可以用于生成合成图像，其具有红外成像特征和增加的细节和对比度。可以在捕获的图像上执行三重融合处理，所述三重融合处理包括非均匀校正处理、真彩色处理和高对比处理的可选方面。基于合成图像的控制信号可以呈现给用户和/或监视系统。

Description

时间间隔的红外图像增强

相关申请的交叉引用

本申请要求2013年3月15日提交的且题为“TIME SPACEDINFRARED IMAGE ENHANCEMENT”的美国临时专利申请No.61/792,582的权益，通过引用将上述申请的全部内容并入本文中。

本申请要求2013年3月15日提交的且题为“INFRARED IMAGINGENHANCEMENT WITH FUSION”的美国临时专利申请No.61/793,952的权益，通过引用将上述申请的全部内容并入本文中。

本申请要求2012年12月26日提交的且题为“TIME SPACEDINFRARED IMAGE ENHANCEMENT”的美国临时专利申请No.61/746,069的权益，通过引用将上述申请的全部内容并入本文中。

本申请要求2012年12月26日提交的且题为“INFRARED IMAGINGENHANCEMENT WITH FUSION”的美国临时专利申请No.61/746,074的权益，通过引用将上述申请的全部内容并入本文中。

本申请是2013年12月9日提交的且题为“LOW POWER AND SMALLFORM FACTOR INFRARED IMAGING”的美国专利申请No.14/101,245的部分连续申请，通过引用将上述申请的全部内容并入本文中。

本申请是2013年12月6日提交的且题为“NON-UNIFORMITYCORRECTION TECHNIQUES FOR INFRARED IMAGING DEVICES”的美国专利申请No.14/099,818的部分连续申请，通过引用将上述申请的全部内容并入本文中。

本申请是2013年12月9日提交的且题为“INFRARED CAMERASYSTEM ARCHITECTURES”的美国专利申请No.14/101,258的部分连续申请，通过引用将上述申请的全部内容并入本文中。

本申请要求2012年12月31日提交的且题为“COMPACTMULTI-SPECTRUM IMAGING WITH FUSION”的美国临时专利申请No.61/748,018的权益，通过引用将上述申请的全部内容并入本文中。

本申请是2013年9月17日提交的且题为“PIXEL-WISE NOISEREDUCTION IN THERMAL IMAGES”的美国专利申请No.14/029,683的部分连续申请，通过引用将上述申请的全部内容并入本文中。

美国专利申请No.14/029,683要求2012年12月21日提交的且题为“ROW AND COLUMN NOISE REDUCTION IN THERMAL IMAGES”的美国临时专利申请No.61/745,489的权益，通过引用将上述申请的全部内容并入本文中。

美国专利申请No.14/029,683要求2012年12月21日提交的且题为“PIXEL-WISE NOISE REDUCTION IN THERMAL IMAGES”的美国临时专利申请No.61/745,504的权益，通过引用将上述申请的全部内容并入本文中。

本申请是2013年9月17日提交的且题为“ROW AND COLUMNNOISE REDUCTION IN THERMAL IMAGES”的美国专利申请No.14/029,716的部分连续申请，通过引用将上述申请的全部内容并入本文中。

美国专利申请No.14/029,716要求2012年12月21日提交的且题为“ROW AND COLUMN NOISE REDUCTION IN THERMAL IMAGES”的美国临时专利申请No.61/745,489的权益，通过引用将上述申请的全部内容并入本文中。

美国专利申请No.14/029,716要求2012年12月21日提交的且题为“PIXEL-WISE NOISE REDUCTION IN THERMAL IMAGES”的美国临时专利申请No.61/745,504的权益，通过引用将上述申请的全部内容并入本文中。

技术领域

本发明的一种或多种实施方式大体上涉及红外成像装置，并且具体地，例如涉及利用红外成像设备的增强成像的系统和方法。

背景技术

可见光谱摄像机用于各种成像应用中以捕获源自可见光的彩色或单色图像。可见光谱摄像机通常用于日间应用，或者有充足环境光或图像细节不会被不利地影响可见光谱的烟、雾和或其他环境状况模糊的其他应用中。

红外摄像机用在将来自物体的红外(例如热)发射捕获为红外图像的各种成像应用中。红外摄像机可用于夜间应用或者环境光不足或者环境状况以其他方式不利于可见光谱成像的其他应用。红外摄像机也可以用于期望获得与场景有关的额外的不可见光谱信息的应用中。传统的红外摄像机通常产生难以解读的红外图像，举例来说，这是因为缺乏分辨度、物体之间缺乏对比度以及过多噪声。

发明内容

公开的技术涉及利用小形状因素的红外成像模块来成像场景的系统和方法。在一种实施方式中，成像系统可包括一个或多个可见光谱成像模块和红外成像模块、处理器、存储器、显示器、通信模块和与用户和/或监视和通知系统交互的模块。可见光谱成像模块和红外成像模块可以位于将被监视的场景附近，而场景的仅可见光谱图像要么不可用，要么比场景的红外图像更加不期望。

可见光谱成像模块可被配置为在第一时间捕获场景的可见光谱图像，并且红外成像模块可被配置为在第二时间捕获场景的红外图像。第二时间可以大体上不同于第一时间，或者这两个时间大体上是同时的。可以在捕获的图像上执行各种图像分析和处理以生成合成图像，其具有红外成像特征和增加的可用细节和对比度。

在一种实施方式中，可以在捕获的图像上执行三重融合处理，所述三重融合处理包括非均匀校正处理、真彩色处理和高对比处理的可选方面。可以基于合成图像生成通知和控制信号，并且随后将该通知和控制信号呈现给用户和/或监视和通知系统。

在另一种实施方式中，系统包括适于接收场景的可见光谱图像和场景的红外图像的存储器以及与存储器通信的处理器。处理器可被配置成接收控制参数，从至少一个图像得出场景的色彩特征，并且从至少一个图像得出高空间频率含量。在一些实施方式中，用于得出色彩特征和高空间频率的图像可以是或者可以不是相同的图像和/或图像类型。处理器可被配置为生成合成图像，该合成图像包括色彩特征和高空间频率含量的相关贡献，其中，可以通过控制参数来确定相关贡献。

在另一实施方式中，方法包括接收场景的可见光谱图像和场景的红外图像，接收控制参数，从至少一个图像得出场景的色彩特征，以及从至少一个图像得出高空间频率含量。在一些实施方式中，用于得出色彩特征和高空间频率的图像可以是或者可以不是相同的图像和/或图像类型。方法可以包括生成合成图像，该合成图像包括色彩特征和高空间频率含量的相关贡献，其中，可以通过控制参数来确定相关贡献。

另一种实施方式可包括一种非易失性的机器可读的介质，其具有多个机器可读的指令，当通过成像系统的一个或多个处理器执行指令时，这些指令适于使成像系统执行成像场景的方法。该方法可包括接收场景的可见光谱图像和场景的红外图像，接收控制参数，从至少一个图像得出场景的色彩特征，以及从至少一个图像得出高空间频率含量。在一些实施方式中，用于得出色彩特征和高空间频率含量的图像可以是或者可以不是相同的图像和/或图像类型。方法可以包括生成合成图像，该合成图像包括色彩特征和高空间频率含量的相关贡献，其中，可以通过控制参数来确定相关贡献。

在另一种实施方式中，系统包括配置为在第一时间捕获场景的可见光谱图像的可见光谱成像模块，以及配置为在第二时间捕获场景的红外图像的红外成像模块，其中，红外图像包括辐射测定分量。与可见光谱成像模块和红外成像模块通信的处理器可被配置为处理可见光谱图像和红外图像以生成合成图像，该合成图像包括从可见光谱图像得到的场景的可见光谱特征和从红外图像的辐射测定分量得到的场景的红外特征。

在另一实施方式中，方法包括接收通过可见光谱成像模块在第一时间捕获的场景的可见光谱图像；以及接收通过红外成像模块在第二时间捕获的场景的红外图像，其中，红外图像包括辐射测定分量。该方法还可包括处理可见光谱图像和红外图像以生成合成图像，该合成图像包括从可见光谱图像得到的场景的可见光谱特征和从红外图像的辐射测定分量得到的场景的红外特征。

另一种实施方式可包括一种非易失性的机器可读介质，其具有多个机器可读指令，当通过成像系统的一个或多个处理器执行指令时，这些指令适于使成像系统执行成像场景的方法。该方法可包括接收通过可见光谱成像模块在第一时间捕获的场景的可见光谱图像；以及接收通过红外成像模块在第二时间捕获的场景的红外图像，其中，红外图像包括辐射测定分量。该方法还可包括处理可见光谱图像和红外图像以生成合成图像，该合成图像包括从可见光谱图像得到的场景的可见光谱特征和从红外图像的辐射测定分量得到的场景的红外特征。

本发明的范围由权利要求书限定，通过引用的方式将这部分合并于此。通过考虑下面对一个或者多个实施例的详细描述，将会向本领域技术人员提供对本发明实施例的更加完整的理解以及其中附加的优点的实现。下面将参考首先会简要描述的附图。

附图说明

图1示出了根据本公开实施例的、被配置为在主机装置中实现的红外成像模块。

图2示出了根据本公开实施例的、装配后的红外成像模块。

图3示出了根据本公开的实施例的、并列的置于插座之上的红外成像模块的分解图。

图4示出了根据本公开的实施例的、包括红外传感器阵列的红外传感器组件的框图。

图5示例了根据该公开实施例的确定非均匀校正(NUC)项的各种操作的流程图。

图6示出了根据本公开实施例的、相邻像素之间的差值。

图7示出了根据本公开实施例的平场校正技术。

图8示出了根据本公开实施例的、应用在图像处理流水线中的图5的各种图像处理技术和其他操作。

图9示出了根据本公开实施例的时域噪声削减步骤。

图10示例了根据该公开实施例的图8的图像处理流水线的几个过程的具体实施细节。

图11示例了根据该公开实施例的像素的邻近区域中的空间相关的固定图形噪声(FPN)。

图12示出了根据本公开实施例的、包括红外传感器阵列和低压差稳压器的红外传感器组件的另一个实现方式的框图。

图13示出了根据本公开实施例的、图12的红外传感器组件的一部分的电路图。

图14示出了根据该公开实施例的用于红外图像处理的系统的框图。

图15A-C是示例根据该公开实施例的噪声滤波红外图像的方法的流程图。

图16A-C是示例根据该公开实施例的红外图像数据和红外图像的处理的图表。

图17示出了根据该公开实施例的详述处理技术的传感器数据行的一部分。

图18A-C示出了根据该公开实施例的用于红外图像的列和行噪声滤波的示范性实现。

图19A示出了根据该公开实施例的包括小的垂直结构的场景的红外图像。

图19B示出了根据该公开实施例的图19A的红外图像的校正版。

图20A示出了根据该公开实施例的包括大的垂直结构的场景的红外图像。

图20B示出了根据该公开实施例的图20A的红外图像的校正版。

图21是示例根据该公开实施例的噪声滤波红外图像的另一个方法的流程图。

图22A示出了根据该公开实施例的准备用于图19A的红外图像的直方图。

图22B示出了根据该公开实施例的准备用于图20A的红外图像的直方图。

图23A示例了根据该公开实施例的场景的红外图像。

图23B是示例根据该公开实施例的噪声滤波红外图像的又一个方法的流程图。

图23C-E示出了根据该公开实施例的准备用于图23A的红外图像的所选像素周围的邻近像素的直方图。

图24示出了根据本公开实施方式的适于成像场景的成像系统的框图。

图25示出了根据本公开实施方式的用于增强场景的红外成像的各种操作的流程图。

图26示出了根据本公开实施方式的用于增强场景的红外成像的各种操作的流程图。

图27示出了根据本公开实施方式的用于增强场景的红外成像的各种操作的流程图。

图28示出了根据本公开实施方式的适于成像场景的成像系统的用户接口。

图29示了根据本公开实施方式的红外图像。

图30示了根据本公开实施方式的在低能滤波之后的图29的红外图像。

图31示出了根据本公开实施方式的利用高通滤波从可见光谱图像中得出的高空间频率含量。

图32示出了图30的低通滤波红外图像与根据本公开实施方式产生的图31的高通滤波的可见光谱图像的组合。

图33示出了根据本公开实施方式的场景的低分辨率红外图像。

图34示出了根据本公开实施方式的在重新采样、处理和与得自场景的可见光谱图像的高空间频率含量组合之后的图33的红外图像。

图35示了根据本公开实施方式生成的合成图像。

图36示出了根据本公开实施方式生成的红外图像的一部分的缩放和最终的合成图像。

通过参考下面的详细说明，将会更好的理解本发明的实施例及其优点。应当理解的是，相同的参考数字用于表示在一副或者多幅附图中示出的相同元件。

具体实施方式

图1示出了根据本公开实施例的、被配置为在主机装置102中实现的红外成像模块100(例如，红外照相机或者红外成像装置)。在一个或者多个实施例中，可根据晶圆级封装技术或者其他封装技术，实现小形状因素的红外成像模块100。

在一个实施例中，可以配置红外成像模块100以在小的便携式主机装置102(诸如手机、平板电脑装置、膝上型电脑装置、个人数字助理、可见光摄像机、音乐播放机或者其它任何适当的移动装置)中实现。在这一点上，红外成像模块100可用于将红外成像特征提供给主机装置102。例如，红外成像模块100可以配置成捕获、处理和/或以其它方式管理红外图像(例如，也被称为图像帧)并将这种红外图像提供给主机装置102以用于任何期望形式(例如，用于进一步处理，以存储在存储器中、显示、由运行于主机装置102的各种应用使用、输出到其它装置或者其它用途)。

在各种实施例中，红外成像模块100可被配置为在低电压电平和宽温度范围内工作。例如，在一个实施例中，红外成像模块100可使用约2.4伏、2.5伏、2.8伏或更低的电压的电源工作，并且可在约-20℃到约+60℃的温度范围中工作(例如，在约80℃的环境温度范围中提供合适的动态范围和性能)。在一个实施例中，通过使红外成像模块100在低电压电平下工作，与其他类型的红外成像装置相比，红外成像模块100自身所产生的热量较少。因此，红外成像模块100在工作时，可利用简化的措施来补偿这种自身产生的热量。

如图1所示，主机装置102可包括插座104、快门105、运动传感器194、处理器195、存储器196、显示器197和/或其他部件198。插座104可被配置为如箭头101所示的接收红外成像模块100。就这方面而言，图2示出了根据本公开实施例的、装配在插座104中的红外成像模块100。

可由一个或者多个加速度计、陀螺仪或者可用于检测主机装置102的运动的其他合适的装置来实现运动传感器194。处理模块160或者处理器195可对运动传感器194进行监控并且运动传感器194向处理模块160或者处理器195提供信息，以检测运动。在各种实施例中，运动传感器194可实现为主机装置102的一部分(如图1所示)，也可实现为红外成像模块100、或者连接到主机装置102或与主机装置102接触的其他装置的一部分。

处理器195可实现为任何合适的处理装置(例如，逻辑装置、微控制器、处理器、专用集成电路(ASIC)或者其他装置)，主机装置102可使用上述处理装置来执行适当的指令，例如，存储在存储器196中的软件指令。显示器197可用于显示捕获的和/或处理后的红外图像和/或其他图像、数据和信息。其他部件198可用于实现主机装置102的任何功能，如可能期望的各种应用(例如，时钟、温度传感器、可见光照相机或者其他部件)。另外，机器可读介质193可用于存储非临时性指令，可将该非临时性指令加载到存储器196中并由处理器195执行。

在各种实施例中，可大量生产红外成像模块100和插座104，以推动它们的广泛应用，例如，其可应用在移动电话或者其他装置(例如，需要小形状因素的装置)中。在一个实施例中，当红外成像模块100安装到插座104中时，红外成像模块100和插座104的组合所显示出的整体尺寸大约为8.5mm×8.5mm×5.9mm。

图3示出了根据本公开的实施例的、并列的置于插座104之上的红外成像模块100的分解图。红外成像模块100可包括透镜镜筒110、外壳120、红外传感器组件128、电路板170、基座150和处理模块160。

透镜镜筒110可至少部分的装入光学元件180(例如，透镜)，通过透镜镜筒110中的孔112，所述光学元件180在图3中部分的可见。透镜镜筒110可包括大致呈圆柱形的延长部分114，其可用于使透镜镜筒110与外壳120中的孔122接触。

例如，可由安装在基板140上的帽130(例如，盖子)来实现红外传感器组件128。红外传感器组件128可包括按列或者其他方式设置在基板140上并由帽130覆盖的多个红外传感器132(例如，红外探测器)。例如，在一个实施例中，红外传感器组件128可实现为焦平面阵列(FPA)。这种焦平面阵列可实现为例如真空封装的组件(例如，由帽130和基板140密封)。在一个实施例中，红外传感器组件128可实现为晶片级封装(例如，红外传感器组件128可以是与设置在晶片上一组真空包装组件相分离的单片)。在一个实施例中，红外传感器组件128可实现为使用约2.4伏、2.5伏、2.8伏或者类似的电压的电源来工作。

红外传感器132可被配置为检测目标场景的红外辐射(例如，红外能量)，所述目标场景包括：例如中波红外波段(MWIR)、长波红外波段(LWIR)、和/或如在特定应用中所期望的其他热成像波段。在一个实施例中，可根据晶片级封装技术来提供红外传感器组件128。

红外传感器132可实现为例如微测辐射热计，或者以任意期望的阵列方向图案配置以提供多个像素的其他类型的热成像红外传感器。在一个实施例中，红外传感器132可实现为具有17微米像素间距的氧化钒(VOx)探测器。在各种实施例中，可使用约32×32阵列的红外传感器132、约64×64阵列的红外传感器132、约80×64阵列的红外传感器132或者其他大小的阵列。

基板140可以包括例如在一个实施例中包括具有小于约5.5mm乘5.5mm尺寸的读出集成电路(ROIC)的各种电路。基板140还可以包括接合垫142，当如图3所示装配红外成像模块100时，接合垫142可用于接触位于外壳120内表面上的补充连接。在一个实施例中，ROIC可以用低压差调压器(LDO)实现以执行电压调节，从而减小引入到红外传感器组件128的电源噪声并因此提供改善的电源抑制比(PSRR)。另外，通过用ROIC实现LDO(例如，在晶片级封装范围内)，可以消耗较少的管芯面积且需要更小的分立管芯(或芯片)。

图4示出了根据本公开的实施例的、包括红外传感器132阵列的红外传感器组件128的框图。在示出的实施例中，红外传感器132作为ROIC 402的单位晶格阵列的一部分。ROIC 402包括偏压产生和定时控制电路404、列放大器405、列多路复用器406、行多路复用器408和输出放大器410。可通过输出放大器410将红外传感器132捕获的图像帧(即，热图像)提供给处理模块160、处理器195和/或任何其他合适的部件，以执行本文所描述的各种处理技术。尽管图4示出的是8×8的阵列，但是任何期望的阵列配置均可用于其他实施例中。ROIC和红外传感器的进一步描述可在2000年2月22日公开的美国专利No.6,028,309中找到，通过引用的方式将其作为整体合并于此。

红外传感器阵列128可捕获图像(例如，图像帧)，并以各种速率从它的ROIC提供这种图像。处理模块160可用于对捕获的红外图像执行适当的处理，并且可以根据任何适当的结构来实现该处理模块160。在一个实施例中，处理模块160可实现为ASIC。就这方面而言，这种ASIC可被配置为高性能的和/或高效率的执行图像处理。在另一个实施例中，可利用通用中央处理单元(CPU)来实现处理模块160，所述CPU可被配置为执行适当的软件指令，以进行图像处理、调整以及通过各种图像处理块进行图像处理、处理模块160和主机装置102之间的互相配合的交互和/或其他操作。在另一个实施例中，可利用现场可编程门阵列(FPGA)来实现处理模块160。在其他实施例中，如本领域技术人员所理解的，可利用其他类型的处理和/或逻辑电路来实现处理模块160。

在这些和其他实施例中，处理模块160还可与其他合适的部件来实现，例如，易失性存储器、非易失性存储器和/或一个或者多个接口(例如，红外检测器接口、内部集成电路(I2C)接口、移动行业处理器接口(MIPI)、联合测试行动组(JTAG)接口(例如，IEEE1149.1标准测试访问端口和边界扫描结构)、和/或其他接口)。

在一些实施例中，红外成像模块100可进一步包括一个或者多个致动器199，其可用于调整红外传感器组件128捕获的红外图像帧的焦点。例如，致动器199可用于移动光学元件180、红外传感器132和/或彼此相关的其他部件，以根据本文所描述的技术来选择性地聚焦和散焦红外图像帧。可根据任何类型的运动感应设备或者装置来实现致动器199，并且可将致动器199放置在红外成像模块100内部或者外部的任何位置，以适应不同的应用。

当将红外成像模块100装配好后，外壳120随后可将红外传感器组件128、基座150以及处理模块160完全的密封起来。外壳120可便于红外成像模块100的各种部件的连接。例如，在一个实施例中，外壳120可提供用于连接各种部件的电连接部件126，下面将对其进行详细描述。

当将红外成像模块100装配好时，电连接部件126(例如，导电路径、电气轨迹或者其他类型的电连接部件)可与接合焊盘142电气连接。在各种实施例中，可将电连接部件126嵌入到外壳120中、设置在外壳120的内表面上和/或由外壳120提供所述电连接部件126。如图3所示，电连接部件126可终止于突出于外壳120的底表面的连接部件124中。当将红外成像模块100装配好时，连接部件124可与电路板170连接(例如，在各种实施例中，外壳120可置于电路板170的顶部)。处理模块160可通过合适的电连接部件与电路板170电连接。因此，红外传感器组件128可例如通过导电路径与处理模块160电连接，所述导电路径可由接合焊盘142、外壳120内部表面上的相辅相成的连接点、外壳120的电连接部件126、连接部件124及电路板170提供。有利的是，这种布置的实现可无需在红外传感器组件128和处理模块160之间设置焊线。

在各种实施例中，可使用任何期望的材料(例如，铜或者任何其他合适的导电材料)来制造外壳120中的电连接部件126。在一个实施例中，电连接部件126可有助于对红外成像模块100产生的热量进行散热。

其他连接可用于其他实施例中。例如，在一个实施例中，传感器组件128可通过陶瓷板连接到处理模块160，所述陶瓷板通过焊线连接到传感器组件128并通过球栅阵列(BGA)连接到处理模块160。在另一个实施例中，传感器组件128可直接安装到刚柔性板上并与焊线电连接，并且可利用焊线或者BGA将处理模块160安装并且连接到刚柔性板。

本文所阐述的红外成像模块100和主机装置102的各种应用只是为了举例，而不是限制。就这方面而言，本文所描述的各种技术中的任何一个均可应用到任何红外照相机系统、红外成像器或者用于进行红外/热成像的其他装置。

红外传感器组件128的基板140可安装到基座150上。在各种实施例中，基座150(例如，底座)可例如由通过金属注射成形(MIM)形成的铜制造，并且对所述基座150进行黑色氧化处理或者镍涂层处理。在各种实施例中，基座150可由任何期望的材料制造，例如，可根据特定应用，由例如锌、铝或者镁制造，并且，基座150可通过任何期望的应用流程形成，例如，可根据特定应用，例如通过铝铸件、MIM或者锌的快速铸造来形成。在各种实施例中，基座150可用于提供结构支撑、各种电路路径、热散热器性能以及其他合适的功能。在一个实施例中，基座150可以是至少部分使用陶瓷材料实现的多层结构。

在各种实施例中，电路板170可容纳外壳120，从而可在物理上支撑红外成像模块100的各种部件。在各种实施例中，电路板170可实现为印刷电路板(例如，FR4电路板或者其他类型的电路板)、刚性或者柔性的互连设备(例如，互连带或者其他类型的互连设备)、柔性电路基板、柔性塑料基板或者其他合适的结构。在各种实施例中，基座150可实现为具有描述的电路板170的各种功能和属性，反之亦然。

插座104可包括被配置为容纳红外成像模块100(例如，如图2所示的装配后的视图)的腔体106。红外成像模块100和/或插座104可包括合适的卡片、臂、销、紧固件或者任何其他合适的接合部件，所述接合部件可用于通过摩擦、张力、粘附和/或任何其他合适的方式将红外成像模块100固定到插座104，或者将红外成像模块100固定到插座104内部。插座104可包括接合部件107，其可在当红外成像模块100插入到插座104的腔体106中时，接合外壳120的表面109。其他类型的接合部件可用于其他实施例中。

红外成像模块100可通过适当的电连接部件(例如，触点、销、电线或者任何其他合适的连接部件)与插座104电连接。例如，插座104可包括电连接部件108，其可与红外成像模块100的相应的电连接部件(例如，互连焊盘、触点、或者在电路板170侧面或者底表面上的其他电连接部件、接合键盘142或者基座150上的其他电连接部件、或者其他连接部件)接触。电连接部件108可由任何期望的材料(例如，铜或者任何其他合适的导电材料)制造。在一个实施例中，电连接部件108可被机械的压扁，以当红外成像模块100插入到插座104的腔体106中时可贴着红外成像模块100的电连接部件。在一个实施例中，电连接部件108可至少部分的将红外成像模块100固定到插座104中。其他类型的电连接部件可用于其他实施例中。

插座104可通过类似类型的电连接部件与主机102电连接。例如，在一个实施例中，主机102可包括穿过孔190与电连接部件108连接的电连接部件(例如，焊接连接、搭扣式连接或者其他连接)。在各种实施例中，这种电连接部件可置于插座104的侧面和/或底部。

可通过倒装芯片技术来实现红外成像模块100的各种部件，所述倒装芯片技术可用于将部件直接安装到电路板上，而无需通常用于焊线连接的额外的间隙。倒装芯片连接例如可用于在紧凑小形状因素应用中减少红外成像模块100的整体尺寸。例如，在一个实施例中，可使用倒装芯片连接部件将处理模块160安装到电路板170。例如，可使用这种倒装芯片配置来实现红外成像模块100。

在各种实施例中，可根据如申请号为12/844,124，申请日为2010年7月27日的美国专利申请和申请号为61/469,651，申请日为2011年3月30日的美国临时专利申请所记载的各种技术(例如，圆晶级封装技术)，来实现红外成像模块100和/或相关的部件，通过引用的方式将其作为整体合并于此。另外，根据一个或者多个实施例，可根据如下所述文献记载的各种技术来实现、校正、测试和/或使用红外成像模块100和/或相关的部件，所述文献例如为：如公开号为7,470,902、公开日为2008年12月30日的美国专利，公开号为6,028,309、公开日为2000年2月22日的美国专利，公开号为6,812,465、公开日为2004年11月2日的美国专利，公开号为7,034,301、公开日为2006年4月25日的美国专利，公开号为7,679,048、公开日为2010年3月16日的美国专利，公开号为7,470,904、公开日为2008年12月30日的美国专利，申请号为12/202,880、申请日为2008年9月2日的美国专利申请以及申请号为12/202,896、申请日为2008年9月2日的美国专利申请，通过引用的方式将上述文献作为整体合并于此。

在一些实施方式中，主机装置102可以包括其他部件198，例如非热照相机(例如，可见光照相机或者其他类型的非热成像仪)。非热成像照相机可以是小形状因素成像模块或者成像装置，并在一些实施方式中，可以与本文中公开的红外成像模块100的各种实施方式相类似的方式实施，其中一个或多个传感器和/或传感器阵列响应于非热频谱中的辐射(例如，可见光波长、紫外线波长和/或其他非热波长下的辐射)。例如，在一些实施方式中，非热照相机可以被实施有电荷耦合装置(CCD)传感器、电子乘法CCD(EMCCD)传感器、互补金属氧化物半导体(CMOS)传感器、科学级CMOS(sCMOS)传感器或其他滤波器和/或传感器。

在一些实施方式中，非热照相机可以与红外成像模块100位于同一位置并且定向成使得非热照相机的视场(FOV)至少部分重叠红外成像模块100的FOV。在一个实例中，红外成像模块100和非热照相机可以实施成分享公共基板的双传感器模块，其根据在2012年12月31日提交的美国临时专利申请No.61/748,018中描述的各种技术，通过援引将该申请并入本文。

对于具有非热光照相机的实施方式，各种部件(例如，处理器195、处理模块160和/或其他处理部件)可以被配置成使红外成像模块100捕获的红外图像(例如，包括热图像)和非热照相机捕获的非热图像(例如，包括可见光图像)叠加、合并、混合或者要不然合成，无论基本上同时捕获或者不同时捕获(例如，时间上相隔数小时、数天、日间:晚上和/或其他)。

在一些实施方式中，热和非热图像可以被处理成产生合成图像(例如，在一些实施方式中，在这种图像上进行的一个或多个处理)。例如，可以执行基于场景的NUC处理(下文进一步描述)，可以执行真彩色处理，和/或可以执行高对比处理。

关于真彩色处理，可以通过例如根据混合参数将热图像的辐射测定分量和非热图像的对应分量混合而将热图像与非热图像混合，在一些实施方式中，混合参数可以由用户和/或机器调节。例如，可以根据混合参数合成热图像和非热图像的亮度或色度分量。在一个实施方式中，这种混合技术可以被称为真彩色红外影像。例如，在日间成像时，混合图像可以包括非热彩色图像，其包括亮度分量和色度分量，其中其亮度值由来自热图像的亮度值替代。来自热图像的亮度数据的使用使得真非热彩色图像基于物体的温度变量或变暗。这样，这些混合技术提供了日间的热成像或者可见光图像。

关于高对比处理，高空间频率含量可以由热和非热图像中的一个或多个获得(例如，通过执行高通滤波、差分成像和/或其他技术)。合成图像可以包括热图像的辐射测定分量和包括场景的红外(例如，热)特性的混合分量，场景的红外特性根据混合参数与高空间频率含量混合，在一些实施方式中，混合参数可以由用户和/或机器调节。在一些实施方式中，来自非热图像的高空间频率含量可以通过将高空间频率含量叠加在热图像上而与热图像混合，其中高空间频率含量替代或重写热图像的与高空间频率含量存在位置对应的那些部分。例如，高空间频率含量可以包括描绘在场景图像中的物体边缘，但是可以不存在于这些物体的内部。在这种实施方式中，混合图像可以只包括高空间频率含量，其随后可以被编码成合成图像的一个或多个分量。

例如，热图像的辐射测定分量可以是热图像的色度分量，并且高空间频率含量可以来源于非热图像的亮度和/或色度分量。在这种实施方式中，合成图像可以包括辐射测定分量(例如，热图像的色度分量)和高空间频率含量，辐射测定分量编码到合成图像的色度分量，高空间频率含量直接编码(例如，混合图像但是没有热图像贡献)到合成图像的亮度分量。如此，可以保持热图像的辐射测定分量的辐射测定校准。在相似实施方式中，混合图像数据可以包括添加到热图像的亮度分量的高空间频率含量和产生的合成数据，该合成数据编码到产生的合成图像的亮度分量。

例如，以下申请中公开的任何技术都可以用于各种实施方式：2009年6月3日提交的美国专利申请No.12/477,828、2010年4月23日提交的美国专利申请No.12/766,739、2011年5月11日提交的美国专利申请No.13/105,765、2012年4月2日提交的美国专利申请No.13/437,645、2011年4月8日提交的美国临时专利申请No.61/473,207、2012年12月26日提交的美国临时专利申请No.61/746,069、2012年12月26日提交的美国临时专利申请No.61/746,074、2012年12月31日提交的美国临时专利申请No.61/748,018、2013年3月15日提交的美国临时专利申请No.61/792,582、2013年3月15日提交的美国临时专利申请No.61/793,952以及2011年4月21日提交的美国专利申请No.PCT/EP2011/056432，所有这些申请整体通过援引并入本文。本文描述的、或者在其他申请中描述的或者在本文涉及的专利中描述的任何技术都可以应用于任何本文描述各种热装置、非热装置和用途。

再次参考图1，在各种实施例中，主机装置102可包括快门105。就这方面而言，可在红外成像模块100安装在插座中时，将快门105选择性的放置在插座104上(例如，如箭头103所确定的方向)。就这方面而言，快门105例如可用于在红外成像模块100不使用时对其进行保护。快门105还可用作温度参考，如本领域技术人员所应当理解的，所述温度参考作为红外成像模块100的校正过程(例如，非均匀性校正(NUC)过程或者其他校正过程)的一部分。

在各种实施例中，快门105可由各种材料制造，例如，聚合物、玻璃、铝(例如，涂漆的或者经过阳极氧化处理后的)或者其他材料。在各种实施例中，快门105可包括一个或者多个涂层(例如，均匀的黑体涂层或者反射性的镀金涂层)，其用于选择性地过滤电磁辐射和/或调整快门105的各种光学属性。

在另一个实施例中，可将快门105固定在适当位置以全天候的保护红外成像模块100。在这种情况下，快门105或者快门105的一部分可由基本上不会过滤掉需要的红外线波长的合适的材料(例如，聚合物，或者诸如硅、锗、硒化锌或硫系玻璃的红外透射材料)制造。如本领域技术人员所应当理解的，在另一个实施例中，快门可实现为红外成像模块100的一部分(例如，在透镜镜筒或者红外成像模块100的其他部件内，或者作为透镜镜筒或者红外成像模块100的其他部件的一部分)。

备选地，在另一个实施例中，无需提供快门(例如，快门105或者其他类型的外部或者内部快门)，而是可使用无快门的技术进行NUC步骤或者其他类型的校正。在另一个实施例中，使用无快门技术的NUC步骤或者其他类型的校正可与基于快门的技术结合进行。

可根据下述文献记载的各种技术中的任意一种来实现红外成像模块100和主机装置102，所述文献为：申请号为61/495,873，申请日为2011年6月10日的美国临时专利申请；申请号为61/495,879，申请日为2011年6月10日的美国临时专利申请；以及申请号为61/495,888，申请日为2011年6月10日的美国临时专利申请。通过引用的方式将上述文献作为整体合并于此。

在各种实施例中，主机装置102和/或红外成像模块100的部件可实现为本地系统，或者实现为部件之间通过有线和/或无线网络进行通信的分布式系统。因此，可根据特定实施的需要，通过本地和/或远程部件来执行本公开所提及的各种操作。

图5示出了根据本公开实施例的、确定NUC项的各种操作的流程图。在一些实施例中，可由对红外传感器132捕获的图像帧进行处理的处理模块160或者处理器195(二者通常也指处理器)来执行图5的操作。

在块505，红外传感器132开始捕获场景的图像帧。通常，场景将会是主机装置102当前处于的真实环境。就这方面而言，快门105(如果可选的提供)可打开以允许红外成像模块从场景接收红外辐射。在图5所示的所有操作期间，红外传感器132可连续地捕获图像帧。就这方面而言，连续地捕获图像帧可用于如下文所进一步讨论的各种操作。在一个实施例中，可对捕获的图像帧进行时域滤波(例如，根据块826的步骤对捕获的图像帧进行时域滤波，本文将根据图8对其进一步描述)，并且在所述图像帧被用于图5所示的操作之前，由其他项(例如，工厂增益项812、工厂偏移项816、先前确定的NUC项817、列FPN项820以及行FPN项824，本文将根据图8对其做进一步描述)对它们进行处理。

在块510，检测到NUC步骤的启动事件。在一个实施例中，NUC步骤可响应于主机装置102的物理移动而启动。例如，可由被处理器轮询的运动传感器194来检测这种移动。在一个例子中，用于可能会以特定的方式来移动主机装置102，例如，通过有意的来回移动主机装置102，使主机装置102做“消除”或者“重击”运动。就这方面而言，用户可根据预定的速率和方向(速度)，例如，通过上下、左右或者其他类型的运动来移动主机装置102从而启动NUC步骤。在这个例子中，这种移动的使用可允许用户直观的操作主机装置102，以模拟对捕获的图像帧的噪声“消除”。

在另一实例中，如果检测到运动超过了阈值(例如，运动大于正常使用的预期)，则可以用主机装置102发起NUC过程。可以预期是，主机装置102的任何期望类型的空间平移都可用于发起NUC过程。

在另一个例子中，如果自从先前执行的NUC步骤以来，已经过去了最小时间，则可由主机装置102启动NUC步骤。在另一个例子中，如果自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度改变，则可由主机装置102启动NUC步骤。在另外的例子中，可连续地启动并重复NUC步骤。

在块515，检测到NUC步骤启动事件之后，确定是否应该真正地执行NUC步骤。就这方面而言，可基于一个或者多个附加条件是否满足，来选择性地启动NUC步骤。例如，在一个实施例中，除非自从先前执行的NUC步骤以来，已经过去了最小时间，否则不会执行NUC步骤。在另一个实施例中，除非自从先前执行的NUC步骤以来，红外成像模块100已经经历了最小的温度变化，否则不会执行NUC步骤。其他标准或者条件可用于其他实施例中。如果已经满足合适的标准或者条件，流程图就会继续到块520。否则，流程图返回到块505。

在NUC步骤中，模糊图像帧可用于确定NUC项，所述NUC项可应用于捕获的图像帧以校正FPN。如所讨论的，在一个实施例中，可通过累加运动场景的多个图像帧(例如，当场景和/或热成像仪处于运动的状态时捕获的图像帧)来获得模糊图像帧。在另一个实施例中，可通过使热成像仪的光学元件或者其他部件散焦，来获得模糊图像帧。

因此，块520提供了两种方法的选择。如果使用基于运动的方法，则流程图继续到块525。如果使用基于散焦的方法，则流程图继续到块530。

现在参考基于运动的方法，在块525，检测到运动。例如，在一个实施例中，可基于红外传感器132捕获的图像帧检测运动。就这方面而言，合适的运动检测步骤(例如，图像配准步骤、帧到帧的差值计算或者其他合适的步骤)可应用于捕获的图像帧，以确定是否存在运动(例如，是否已经捕获到静态的或者运动的图像帧)。例如，在一个实施例中，能够确定连续图像帧的像素的周围的像素或者区域发生改变的数量已经超过了用户定义的数量(例如，百分比和/或阈值)。如果至少给定百分比的像素已经发生改变且发生改变的像素的数量至少为用户定义的数量，则可以非常肯定的检测到运动，从而流程图转到块535。

在另一个实施例中，可以在每个像素的基础上确定运动，其中，只累加那些显示出明显变化的像素，以提供模糊图像帧。例如，可以为每个像素设置计数器，所述计数器用于保证每个像素累加的像素值的数量相同，或者用于根据每个像素实际上累加的像素值的数量来对像素值取平均。可执行其他类型的基于图像的运动检测，例如，执行拉东(Radon)变换。

在另一个实施例中，可基于运动传感器194提供的数据来检测运动。在一个实施例中，这种运动检测可包括检测主机装置102是否在空间中沿着相对笔直的轨迹移动。例如，如果主机装置102正沿着相对笔直的轨迹移动，那么下述情况是可能的：出现在成像后的场景中的某些物体可能不够模糊(例如，场景中的物体与笔直轨迹对准或者基本上沿着平行于所述笔直轨迹的方向移动)。因此，在该实施例中，只有主机装置102显示出运动、或者没有显示出运动但沿着特定轨迹运动时，运动传感器194才能检测到运动。

在另一个实施例中，可使用运动检测步骤和运动传感器194二者。因此，使用这些各种实施例中任意一个，能够确定在场景的至少一部分和主机装置102相对于彼此之间运动的同时(例如，这可由主机装置102相对于场景移动、场景的至少一部分相对于主机装置102移动或者上述两种情况引起)，是否捕获到每个图像帧。

可以预期的是，检测到运动的图像帧可显示出捕获的场景的某些次级模糊(例如，与场景相关的模糊的热图像数据)，所述次级模糊是由于红外传感器132的热时间常数(例如，微辐射热时间常数)与场景移动交互而引起的。

在块535，对检测到运动的图像帧进行累加。例如，如果检测到连续的一系列图像帧的运动，则可对系列图像帧进行累加。做为另外一个例子，如果只检测到某些图像帧的运动，则可忽略掉没有运动的图像帧并不对这些没有运动的图像帧进行累加。因此，可基于检测到的运动，选择连续的或者不连续的一系列图像帧进行累加。

在块540，对累加的图像帧进行平均以提供模糊图像帧。因为累加的图像帧是在运动期间捕获到的，所以我们期望图像帧之间实际的场景信息将会不同，从而导致模糊之后的图像帧中的场景信息被进一步的模糊(块545)。

与此相反，在运动期间，在至少短时间内以及场景辐射的至少有限变化时，FPN(例如，由红外成像模块100的一个或者多个部件引起的)保持不变。结果是，在运动期间捕获到的时间和空间上接近的图像帧将会遭受相同的或者至少类似的FPN。因此，尽管连续图像帧中的场景信息可能会改变，但是FPN将保持基本不变。通过对运动期间捕获到的多个图像帧进行平均，所述多个图像帧将会模糊场景信息，但是不会模糊FPN。结果是，与场景信息相比，FPN将在块545提供的模糊图像帧中保持的更加清楚。

在一个实施例中，在块535和540中，对32个或者更多图像帧进行累加和平均。然而，任何期望数量的图像帧均可用在其他实施例中，只是随着帧的数量的减少，校正精度通常会降低。

现在参考基于散焦的方法，在块530，进行散焦操作以有意地使红外传感器132捕获的图像帧散焦。例如，在一个实施例中，一个或者多个致动器199可用于调整、移动或者平移光学元件180、红外传感器组件128和/或红外成像模块100的其他部件，以使得红外传感器132捕获场景的模糊的(例如，没有聚焦)图像帧。也可考虑使用其他不基于致动器的技术来有意地使红外图像帧散焦，例如，如人工(例如，用户启动的)散焦。

尽管图像帧中的场景可能会出现模糊，但是通过散焦操作，FPN(例如，由红外成像模块100的一个或者多个部件引起)将会保持不受影响。结果是，场景的模糊图像帧(块545)将会具有FPN，并且与场景信息相比，所述FPN将在所述模糊图像中保持的更加清楚。

在上面的讨论中，已经描述的基于散焦的方法与单个捕获的图像帧有关。在另一个实施例中，基于散焦的方法可包括当红外成像模块100已经被散焦时对多个图像帧进行累加，并且对散焦的图像帧进行平均以消除时域噪声的影响并在块545提供模糊图像帧。

因此，可以理解的是，既可通过基于运动的方法也可通过基于散焦的方法来在块545提供模糊的图像帧。因为运动、散焦或者上述二者均会使很多的场景信息模糊，所以可实际上将模糊图像帧认为是原始捕获的有关场景信息的图像帧的低通滤波版本。

在块505，对模糊图像帧进行处理以确定更新的行和列的FPN项(例如，如果之前没有确定行和列的FPN项，那么更新的行和列的FPN项可以是块550的第一次迭代中的新的行和列的FPN项)。如本公开所使用的，根据红外传感器132和/或红外成像模块100的其他部件的方向，术语行和列可互换的使用。

在一个实施例中，块550包括确定每行模糊图像帧(例如，每行模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项，以及还确定每列模糊图像帧(例如，每列模糊图像帧可具有其自身的空间FPN校正项)的空间FPN校正项。这种处理可用于减少空间并减少热成像仪固有的行和列FPN的缓慢变化(1/f)，这种缓慢变化例如是由ROIC 402中的放大器的1/f噪声特征引起，所述1/f噪声特征可表现为图像帧中的垂直和水平条。

有利的是，通过利用模糊图像帧确定空间行和列的FPN，会降低将实际成像的场景中的垂直和水平物体误认为是行和列噪声的风险(例如，真实场景内容被模糊，而FPN保持不被模糊)。

在一个实施例中，可通过考虑模糊图像帧的相邻像素之间的差值来确定行和列FPN项。例如，图6示出了根据本公开实施例的、相邻像素之间的差值。具体地，在图6中，将像素610与它附近的8个水平相邻像素进行比较：d0-d3在一侧，d4-d7在另一侧。可对相邻像素之间的差值进行平均，以获得示出的像素组的偏移误差的估计值。可对行或者列中的每个像素的偏移误差均进行计算，并且得到的平均值可用于校正整个行或者列。

为了防止将真实的场景数据解释为噪声，可使用上限阈值和下限阈值(thPix和-thPix)。落入该阈值范围之外的像素值(在该例子中，是像素d1和d4)不用于获得偏移误差。另外，这些阈值可限制行和列FPN校正的最大量。

申请号为12/396,340，申请日为2009年3月2日的美国专利申请记载了执行空间行和列FPN校正处理的更具体的技术，通过引用的方式将其作为整体合并于此。

再次参考图5，将在块550确定的更新的行和列FPN项进行存储(块552)并将其应用于(块555)块545提供的模糊图像帧。在应用这些项之后，可降低模糊图像帧中的一些空间行和列的FPN。然而，因为这些项通常应用于行和列，所以附加的FPN可保持，例如，空间不相关的FPN与像素到像素的偏移或者其他原因相关。与单个行和列可能不直接相关的、空间相关的FPN的邻域也可保持不变。因此，可进行进一步的处理以确定NUC项，下面将对其进行描述。

在块560，确定模糊图像帧中的局部反差值(例如，相邻像素或者小组像素之间的梯度边缘值或者绝对值)。如果模糊图像帧中的场景信息包括还没有被明显模糊的反差区域(例如，原始场景数据中的高反差边缘)，那么可由块560的反差确定步骤来识别这些特征。

例如，可计算模糊图像帧中的局部反差值，或者任何其他类型的边缘检测步骤可应用于识别作为局部反差区域的一部分的、模糊图像中的某些像素。可以认为以这种方式标记的像素包含很高空间频率的场景信息，可将该很高空间频率的场景信息解释为FPN(例如，这种区域可对应于还没有被充分模糊的场景的部分)。因此，可将这些像素排除在用于进一步确定NUC项的处理之外。在一个实施例中，这种反差检测处理可依赖于高于与FPN相关的期望反差值的阈值(例如，可以认为显示出的反差值高于阈值的像素是场景信息，而认为那些低于阈值的像素是显示FPN)。

在一个实施例中，在行和列FPN项已经应用于模糊图像帧之后，可对模糊图像帧执行块560的反差确定(例如，如图5所示)。在另一个实施例中，可在块550之前执行块560，以在确定行和列FPN项之前确定反差(例如，以防止基于场景的反差对于确定该项有影响)。

在块560之后，可以预期的是，残留在模糊图像帧中的任何高空间频率分量可一般的归因于空间不相关的FPN。就这方面而言，在块560之后，已经将很多其他噪声或者真正需要的基于场景的信息去除或者排除在模糊图像帧之外，这是因为：对图像帧的有意地模糊(例如，通过从块520到545的运动或者散焦)、行和列FPN项的应用(块555)以及反差的确定(块560)。

因此，可以预期的是，在块560之后，任何残留的高空间频率分量(例如，显示为模糊图像帧中的反差或者差别区域)均可归因于空间不相关的FPN。因此，在块565，对模糊图像帧进行高通滤波。在一个实施例中，这可包括应用高通滤波器以从模糊图像帧中提取高空间频率分量。在另一个实施例中，这可包括对模糊图像帧应用低通滤波器，并提取低通滤波后的图像帧和没有滤波的图像帧之间的差值以获得高空间频率分量。根据本公开的各种实施例，可通过计算传感器信号(例如，像素值)和其相邻信号之间的平均差值来实现高通滤波器。

在块570，对高通滤波后的模糊图像帧进行平场校正处理，以确定更新的NUC项(例如，如果先前没有进行NUC步骤，那么更新的NUC项可以是块570的第一次迭代中的新的NUC项)。

例如，图7示出了根据本公开实施例的平场校正技术700。在图7中，可通过使用像素710的相邻像素712到726的值来确定模糊图像帧的每个像素710的NUC项。对于每个像素710来说，可基于各种相邻像素的值之间的绝对差值来确定数个梯度。例如，可确定下述像素之间的绝对差值：像素712和714之间(从左到右的对角梯度)、像素716和718之间(从上到下的垂直梯度)、像素720和722之间(从右到左的对角梯度)以及像素724和726之间(从左到右的水平梯度)。

可对这些绝对差值进行求和，以提供像素710的求和梯度。可确定像素710的权重值，所述权重值与求和梯度成反比。可对模糊图像帧的全部像素710执行该步骤，直到为每个像素710提供加权值。对于具有低梯度的区域(例如，被模糊的区域或者具有低对比度的区域)来说，权重值将会接近1。相反，对于具有高梯度的区域来说，权重值将会为0或者接近0。如由高通滤波器估计的NUC项的更新值与权重值相乘。

在一个实施例中，通过将一定量的时间衰减应用到NUC项确定步骤，能够进一步地降低将场景信息引入到NUC项的风险。例如，可选择位于0和1之间的时间衰减因子λ，这样存储的新的NUC项(NUCNEW)是旧的NUC项(NUCOLD)和估计的更新的NUC项(NUCUPDATE)的平均加权值。在一个实施例中，这可表示为：NUCNEW＝λ·NUCOLD+(1-λ)·(NUCOLD+NUCUPDATE)。

尽管已经描述了根据梯度来确定NUC项，但是适当的时候也可使用局部反差值来代替梯度。也可使用其他技术，例如，标准偏差计算。可执行其他类型的平场校正步骤以确定NUC项，包括：例如公开号为6,028,309，公开日为2000年2月22日的美国专利；公开号为6,812,465，公开日为2004年11月2日的美国专利；以及申请号为12/114,865，申请日为2008年5月5日的美国专利申请所记载的各种步骤。通过引用的方式将上述文献作为整体合并于此。

再次参考图5，块570可包括对NUC项的附加处理。例如，在一个实施例中，为了保留场景信号的平均值，可通过从每个NUC项中减去NUC项的平均值来将全部NUC项的和归一化到0。同样的在块570，为了避免行和列噪声影响NUC项，可从每行和列的NUC项中减去每行和列的平均值。结果是，使用在块550确定的行和列FPN项的行和列FPN滤波器可以更好地过滤掉将NUC项应用到捕获的图像之后(例如，在块580所进行的步骤，本文将对此作进一步地描述)的进一步的迭代中(例如，如图8所详细示出的)的行和列噪声。就这方面而言，行和列FPN滤波器通常可使用更多的数据来计算每行和每列的偏移系数(例如，行和列的FPN项)，并且与基于高通滤波器来捕获空间上不相关的噪声的NUC项相比，可从而提供更加可靠的、用于减少空间相关的FPN的可选项。

在块571-573，可以可选地对更新的NUC项执行附加高通滤波和进一步的确定处理以消除空间相关的FPN，所述空间相关的FPN具有比先前由行和列FPN项消除的空间频率更低的空间频率。就这方面而言，红外传感器132或者红外成像模块100的其他部件的一些变化可产生空间相关的FPN噪声，不能容易地将所产生的空间相关的FPN噪声建模为行或者列噪声。这种空间相关的FPN可包括例如传感器组件或者红外传感器132组上的窗样缺损，所述红外传感器132组与相邻的红外传感器132相比，其响应不同的辐射度。在一个实施例中，可使用偏移校正来减少这种空间相关的FPN。如果这种空间相关的FPN的数量很多，则也可在模糊图像帧中检测到噪声。由于这种类型的噪声可影响相邻像素，具有很小内核的高通滤波器可能不能检测到相邻像素中的FPN(例如，高通滤波器使用的全部值可从与受到影响的像素附近的像素中提取，从而所述全部值可被同样的偏移误差影响)。例如，如果使用小的内核执行块565的高通滤波(例如，只考虑落入受到空间相关的FPN影响的像素的附近范围中的直接相邻的像素)，则可能不能检测到广泛分布的空间相关的FPN。

例如，图11示出了根据本公开实施例的、附近像素中的空间相关的FPN。如采样的图像帧1100所示，像素1110附近的像素可表现出空间相关的FPN，所述空间相关的FPN不准确的与单个行和列相关，并且分布于附近的多个像素(例如，在该例子中，附近的像素约为4×4的像素)。采样的图像帧1100还包括一组像素1120和一组像素1130，所述像素1120表现出在滤波计算中没有使用的基本上均匀的响应，所述像素1130用于估计像素1110附近的像素的低通值。在一个实施例中，像素1130可以是可分为2个的多个像素，以便于硬件或者软件的有效计算。

再次参考图5，在块571-573，可以可选的对更新的NUC项执行附加高通滤波和进一步的确定处理，以消除空间相关的FPN，例如，像素1110表现出的空间相关的FPN。在块571，将在块570确定的更新的NUC项应用到模糊图像帧。因此，此时，模糊图像帧将会已经用于初步校正空间相关的FPN(例如，通过在块555应用更新的行和列FPN项)，并且也用于初步校正空间不相关的FPN(例如，通过在块571应用更新的NUC项)。

在块572，进一步的应用高通滤波器，该高通滤波器的核比块565中使用的高通滤波器的核大，并且可在块573进一步地确定更新的NUC项。例如，为了检测像素1110中存在的空间相关的FPN，在块572应用的高通滤波器可包括来自像素的足够大的相邻区域的数据，从而能够确定没有受到影响的像素(例如，像素1120)和受到影响的像素(例如，像素1110)之间的差值。例如，可使用具有大核的低通滤波器(例如，远大于3×3像素的N×N内核)，并且可减去得到的结果以进行适当的高通滤波。

在一个实施例中，为了提高计算效率，可使用稀疏内核，从而仅使用N×N附近区域内的较少数量的相邻像素。对于任何给定的使用较远的相邻像素的高通滤波器操作(例如，具有大核的高通滤波器)来说，存在将实际的(可能模糊的)场景信息建模为空间相关的FPN的风险。因此，在一个实施例中，可将用于在块573确定的更新的NUC项的时间衰减因子λ设置为接近1。

在各种实施例中，可重复块571-573(例如，级联)，以利用递增的核尺寸迭代地执行高通滤波，从而提供进一步更新的NUC项，所述进一步更新的NUC项用于进一步校正需要的相邻尺寸区域的空间相关的FPN。在一个实施例中，可根据通过块571-573的先前操作所得到的更新的NUC项是否已经将空间相关的FPN真正的消除，来确定执行这种迭代的决定。

在块571-573完成之后，作出是否将更新的NUC项应用到捕获的图像帧的决定(块574)。例如，如果整个图像帧的NUC项的绝对值的平均值小于最小的阈值，或者大于最大的阈值，则可认为该NUC项是假的或者不能提供有意义的校正。可选的，可将阈值标准应用到各个像素，以确定哪个像素接收到更新的NUC项。在一个实施例中，阈值可对应于新计算的NUC项和先前计算的NUC项之间的差值。在另一个实施例中，阈值可独立于先前计算的NUC项。可应用其他测试(例如，空间相关性测试)以确定是否应用该NUC项。

如果认为NUC项是假的或者不可能提供有意义的校正，则流程图返回到块505。否则，存储最新确定的NUC项(块575)以替代先前的NUC项(例如，由图5中先前执行的迭代确定)，并将所述最新确定的NUC项应用到(块580)捕获的图像帧。

图8示出了根据本公开实施例的、应用在图像处理流水线800中的图5的各种图像处理技术和其他操作。就这方面而言，流水线800标识了在用于校正红外成像模块100提供的图像帧的全部迭代图像的处理方案的情况下，图5的各种操作。在一些实施例中，可由对通过红外传感器132捕获的图像帧进行操作的处理模块160或者处理器195(二者通常也指处理器)来提供流水线800。

可将红外传感器132捕获的图像帧提供给帧平均器804，所述帧平均器804求多个图像帧的积分以提供具有改进的信噪比的图像帧802。可通过红外传感器132、ROIC 402以及实现为支持高图像捕获速率的红外传感器组件128的其他组件来有效地提供帧平均器804。例如，在一个实施例中，红外传感器组件128可以以240Hz的帧速率(例如，每秒捕获240幅图像)来捕获红外图像帧。在该实施例中，例如可通过使红外传感器组件128工作在相对较低的电压(例如，与移动电话的电压相兼容)，以及通过使用相对较小的红外传感器132阵列(例如，在一个实施例中，为64×64的红外传感器阵列)，来实现这样高的帧速率。

在一个实施例中，可以以高的帧速率(例如，240Hz或者其他帧速率)将这种来自红外传感器组件128的红外图像帧提供给处理模块160。在另一个实施例中，红外传感器组件128可以在较长的时间段或者多个时间段进行积分，从而以较低的帧速率(例如，30Hz、9Hz或者其他帧速率)将积分后的(例如，取平均后的)红外图像帧提供给处理模块160。有关可用于提供高图像捕获速率的实现方案的详细信息可在本文之前引用过的申请号为2011年6月10提交的61/495,879的美国临时专利申请中找到。

通过流水线800处理的图像帧802用于确定各种调整项和增益补偿，其中，由各种项、时域滤波来对所述图像帧802进行调整。

在块810和814，将工厂增益项812和工厂偏移项816应用于图像帧802，以分别补偿在制造和测试期间所确定的各种红外传感器132和/或红外成像模块100的其他部件之间的增益和偏移差。

在块580，将NUC项817应用于图像帧802，以如上所述的校正FPN。在一个实施例中，如果还没有确定NUC项817(例如，在已经启动NUC步骤之前)，则可能不会执行块580，或者可将初始值用于不会导致图像数据改变的NUC项817(例如，每个像素的偏移值将等于0)。

在块818到822，分别将列FPN项820和行FPN项824应用到图像帧802。如上所述可根据块550来确定列FPN项820和行FPN项824。在一个实施例中，如果还没有确定列FPN项820和行FPN项824(例如，在已经启动NUC步骤之前)，则可能不会执行块818和822，或者可将初始值用于不会导致图像数据改变的列FPN项820和行FPN项824(例如，每个像素的偏移值将等于0)。

在块826，根据时域噪声消减(TNR)步骤对图像帧802执行时域滤波。图9示出了根据本公开实施例的TNR步骤。在图9中，对当前接收到的图像帧802a和先前时域滤波后的图像帧802b进行处理以确定新的时域滤波后的图像帧802e。图像帧802a和802b包括分别以像素805a和805b为中心的局部相邻像素803a和803b。相邻像素803a和803b对应于图像帧802a和802b内的相同位置，并且是图像帧802a和802b全部像素的子集。在示出的实施例中，相邻像素803a和803b包括5×5像素的区域。其他尺寸的相邻像素可用于其他实施例中。

确定相邻像素803a和803b对应的像素的差值并对其求平均，以为对应于像素805a和805b的位置提供平均增量值805c。平均增量值805c可用于在块807确定权重值，以将其应用到图像帧802a和802b的像素805a和805b。

在一个实施例中，如曲线图809所示，在块807确定的权重值可与平均增量值805c成反比，以使得当相邻像素803a和803b之间差别较大时，权重值迅速的降低到0。就这方面而言，相邻像素803a和803b之间较大差别可表示场景内已经发生了变化(例如，由于运动而发生的变化)，并且在一个实施例中，可对像素802a和802b进行适当的加权，以避免在遇到帧到帧的场景改变时引入模糊。权重值和平均增量值805c之间的其他关联可用于其他实施例中。

在块807确定的权重值可用于像素805a和805b，以确定图像帧802e的相应像素805e的值(块811)。就这方面而言，像素805e可具有根据在块807确定的平均增量值805c和权重值对像素805a和805b加权平均(或者其他组合)后的值。

例如，时域滤波后的图像帧802e的像素805e可能是图像帧802a和802b的像素805a和805b的加权和。如果像素805a和805b之间的平均差别是由于噪声引起的，那么可以预期的是，相邻像素805a和805b之间的平均值的变化将会接近于0(例如，对应于不相关的变化的平均值)。在这种情况下，可以预期的是，相邻像素805a和805b之间的差值的和将会接近于0。在这种情况下，可对图像帧802a的像素805a进行适当的加权，以有助于生成像素805e的值。

然而，如果该差值的和不为0(例如，在一个实施例中，甚至很接近于0)，那么可将变化解释为是由运动引起的，而不是由噪声引起的。因此，可基于相邻像素805a和805b所表现出的平均值的变化来检测运动。在这种情况下，可对图像帧802a的像素805a施加较大的权重，而对图像帧802b的像素805b施加较小的权重。

其他实施例也是可以考虑的。例如，尽管描述的是根据相邻像素805a和805b来确定平均增量值805c，但是在其他实施例中，可根据任何期望的标准(例如，根据单个像素或者其他类型的由一系列像素组成的像素组)来确定平均增量值805c。

在上面的实施例中，已经将图像帧802a描述为当前接收到的图像帧，并且已经将图像帧802b描述为先前经过时域滤波后的图像帧。在另一个实施例中，图像帧802a和802b可以是红外成像模块100捕获到的还没有经过时域滤波的第一和第二图像帧。

图10示出了与块826所执行的TNR步骤有关的详细的实施细节。如图10所示，分别将图像帧802a和802b读入到行缓冲器1010a和1010b，并且在将图像帧802b(例如，先前图像帧)读入到行缓冲器1010b之前，可将其存储到帧缓冲器1020中。在一个实施例中，可由红外成像模块100和/或主机装置102的任何合适的部件提供的一块随机存储器(RAM)来实现行缓冲器1010a-b和帧缓冲器1020。

再次参考图8，可将图像帧802e传送到自动增益补偿块828，其对图像帧802e进行进一步地处理，以提供主机装置102可根据需要使用的结果图像帧830。

图8进一步地示出了用于如所讨论的确定行和列FPN项以及NUC项所执行的各种操作。在一个实施例中，这些操作可使用如图8所示的图像帧802e。因为已经对图像帧802e进行了时域滤波，所以可消除至少某些时域噪声，从而不会不经意的影响对行和列FPN项824和820以及NUC项817的确定。在另一个实施例中，可使用没有经过时域滤波的图像帧802。

在图8中，图5的块510、515和520集中的表示在一起。如所讨论的，可响应于各种NUC步骤启动事件以及基于各种标准或者条件来选择性地启动和执行NUC步骤。还如所讨论的，可根据基于运动的方法(块525、535和540)或者基于散焦的方法(块530)来执行NUC步骤，以提供模糊的图像帧(块545)。图8进一步地示出了先前所讨论的关于图5的各种附加块550、552、555、560、565、570、571、572、573和575。

如图8所示，可确定行和列FPN项824和820以及NUC项817，并且以迭代的方式应用上述项，以使得使用已经应用了先前项的图像帧802来确定更新的项。结果是，图8的所有步骤可重复地更新，并应用这些项以连续地减少主机装置102将要使用的图像帧830中的噪声。

再次参考图10，其示出了图5和图8中与流水线800有关的各种块的详细的实施细节。例如，将块525、535和540显示为以通过流水线800接收的图像帧802的正常帧速率操作。在图10所示的实施例中，将在块525所做的决定表示为决定菱形(decision diamond)，其用于确定给定图像帧802是否已经充分的改变，从而可以认为如果将图像帧加入到其他图像帧中，该图像帧将会增强模糊，因此将该图像帧进行累加(在该实施例中，通过箭头来表示块535)和平均(块540)。

此外，在图10中，将对列FPN项820的确定(块550)显示为以更新速率操作，在该例子中，由于在块540执行的平均处理，该更新速率为传感器帧速率(例如，正常帧速率)的1/32。其他更新速率可用于其他实施例中。尽管图10仅标识出了列FPN项820，但是可以以相同的方式，以降低的帧速率来实现行FPN项824。

图10还示出了与块570的NUC确定步骤有关的详细的实施细节。就这方面而言，可将模糊图像帧读入到行缓冲器1030(例如，由红外成像模块100和/或主机装置102的任何合适的部件提供的一块RAM来实现)。可对模糊图像帧执行图7的平场校正技术700。

鉴于本公开的内容，应当理解的是，本文描述的技术可用于消除各种类型的FPN(例如，包括很高幅度的FPN)，例如，空间相关的行和列FPN以及空间不相关的FPN。

其他实施例也是可以考虑的。例如，在一个实施例中，行和列FPN项和/或NUC项的更新速率可与模糊图像帧中的模糊的估计数量成反比，和/或与局部反差值(例如，在块560确定的局部反差值)的大小成反比。

在各种实施例中，描述的技术优于传统的基于快门的噪声校正技术。例如，通过使用无快门的步骤，不需要设置快门(例如，如快门105)，从而可以减少尺寸、重量、成本和机械复杂度。如果不需要机械的操作快门，还可降低提供给红外成像模块100或者由红外成像模块100产生的电源和最大电压。通过将作为潜在的故障点的快门去除，将会提高可靠性。无快门的步骤还消除了由通过快门成像的场景的暂时性堵塞所引起的潜在的图像中断。

此外，通过有意地使用从真实场景(不是快门提供的均匀场景)捕获的模糊图像帧来校正噪声，可对辐射水平与期望成像的那些真实场景类似的图像帧进行噪声校正。这能够改进根据各种描述的技术所确定的噪声校正项的精度和效率。

如所讨论的，在各种实施例中，红外成像模块100可被配置为在低电压下工作。特别的，可通过被配置为在低功耗下工作和/或根据其他参数工作的电路来实现红外成像模块100，所述其他参数允许红外成像模块100方便有效地在各种类型的主机装置102(例如，移动装置及其他装置)中实现。

例如，图12示出了根据本公开实施例的、包括红外传感器132和低压差稳压器(LDO)1220的红外传感器组件128的另一个实现方式的框图。如图所示，图12还示出了各种部件1202、1204、1205、1206、1208和1210，可以以与先前描述的有关图4的相应的部件相同或者相似的方式来实现这些部件。图12还示出了偏压校正电路1212，其可用于对提供给红外传感器132的一个或者多个偏压电压进行调整(例如，以补偿温度改变、自热和/或其他因素)。

在一些实施例中，可将LDO 1220设置为红外传感器组件128的一部分(例如，位于相同的芯片上和/或晶片级封装为ROIC)。例如，可将LDO1220设置为具有红外传感器组件128的FPA的一部分。如所讨论的，这种实现可减少引入到红外传感器组件128中的电源噪声，从而提供改进的PSRR。另外，通过利用ROIC来实现LDO，可消耗较少的模片面积，并且需要较少的分离模片(或者芯片)。

LDO 1220通过馈电线1232接收电源1230提供的输入电压。LDO 1220通过馈电线1222向红外传感器组件128的各种部件提供输出电压。就这方面而言，根据在例如2013年12月9日提交的美国专利申请No.14/101,245中描述的各种技术(其整体通过援引并入本文)，LDO 1220可响应于从电源1230接收到的单输入电压，向红外传感器组件128的各个部件提供基本上相同的调节输出电压。

例如，在一些实施例中，电源1230可提供从大约2.8v到大约11v范围的输入电压(例如，在一个实施例中为大约2.8v)，并且LDO 1220可提供从大约1.5v到大约2.8v范围的输出电压(例如，在一个实施例中大约为2.8、2.5、2.4v，和/或在各种实施方式中较低的电压)。就这方面而言，无论电源1230是被实施有大约9v到大约11v的传统电压范围，还是实施有低电压(例如，大约2.8v)，LDO 1220都可用于提供恒定的调节输出电压。因此，尽管为输入和输出电压提供了多种电压范围，但是可以预期的是，不管输入电压如何变化，LDO 1220的输出电压将会保持不变。

与用于FPA的传统电源相比，将LDO 1220实现为红外传感器组件128的一部分具有很多优点。例如，传统的FPA通常依赖于多个电源，所述多个电源中的每一个可分开的向FPA供电，并且分开的分布于FPA的各个部件。通过由LDO1220对单电源1230进行调节，合适的电压可分别的提供给(例如，以减少可能的噪声)低复杂性的红外传感器组件128的所有部件。即使来自电源1230的输入电压发生改变(例如，如果由于电池或者用于电源1230的其他类型的装置的充电或者放电而使输入电压增加或者降低)，LDO 1220的使用还使得红外传感器组件128仍能以恒定的方式工作。

图12中示出的红外传感器组件128的各种部件也可实现为在比传统装置使用的电压更低的电压下工作。例如，如所讨论的，LDO 1220可实现为提供低电压(例如，大约2.5v)。这与通常用于为传统的FPA供电的多个较高电压形成了鲜明的对比，所述多个较高电压例如为：用于为数字电路供电的大约3.3v到大约5v的电压；用于为模拟电路供电的大约3.3v的电压；以及用于为负载供电的大约9v到大约11v的电压。同样的，在一些实施例中，LDO 1220的使用可减少或者消除对提供给红外传感器组件128的单独负参考电压的需要。

参考图13，可进一步地理解红外传感器组件128的低电压操作的其他方面。图13示出了根据本公开实施例的、图12的红外传感器组件128的一部分的电路图。特别的，图13示出了连接到LDO 1220和红外传感器132的偏压校正电路1212的其他部件(例如，部件1326、1330、1332、1334、1336、1338和1341)。例如，根据本公开的实施例，偏压校正电路1212可用于补偿偏置电压中依赖于温度的变化。通过参考公开号为7,679,048、公开日为2010年3月16的美国专利中标示的相似的部件，可进一步地理解这些其他附件的操作，通过引用的方式将其作为整体合并于此。还可根据公开号为6,812,465、公开日为2004年11月2日的美国专利中标示的各种部件来实现红外传感器组件128，通过引用的方式将其作为整体合并于此。

在各种实施例中，全部或者部分偏压校正电路1212可实现在如图13所示的整体阵列基础上(例如，用于集中在阵列中的所有红外传感器132)。在其他实施例中，可在单个传感器基础上实现全部或者部分偏压校正电路1212(例如，对每个传感器132都全部或者部分地复制)。在一些实施例中，图13的偏压校正电路1212和其他部件可实现为ROIC 1202的一部分。

如图13所示，LDO 1220向沿着馈电线1222中的一个的偏压校正电路1212提供负载电压Vload。如所讨论的，在一些实施例中，Vload可以大约为2.5v，与此形成对比的是，可用作传统红外成像装置中的负载电压的大小大约为9v到大约11v的较高的电压。

基于Vload，偏压校正电路1212在节点1360提供传感器偏置电压Vbolo。Vbolo可通过适合的开关电路1370(例如，由图13中的虚线表示的)分发至一个或者多个红外传感器132。在一些例子中，可根据本文之前引用的公开号为6,812,465和7,679,048的专利中标示出的合适的部件来实现开关电路1370。

每个红外传感器132均包括通过开关电路1370接收Vbolo的节点1350以及可接地的另一个节点1352、基底和/或负参考电压。在一些实施例中，节点1360处的电压与节点1350处的Vbolo基本相同。在其他实施例中，可调整在节点1360处的电压，以补偿与开关电路1370和/或其他因素有关的可能的压降。

可利用通常比传统红外传感器偏压所使用的电压较低的电压来实现Vbolo。在一个实施例中，Vbolo可以在从大约0.2v到大约0.7v的范围。在另一个实施例中，Vbolo可以在大约0.4v到大约0.6v的范围。在另一个实施例中，Vbolo大约为0.5v。相比之下，传统红外传感器通常使用的偏置电压大约为1v。

与传统的红外成像装置相比，根据本公开的红外传感器132的较低偏置电压的使用使得红外传感器组件128能够具有显著降低的功耗。特别的，每个红外传感器132的功耗以偏置电压的平方减少。因此，电压的降低(例如，从1.0v降到0.5v)提供了显著的功耗的降低，特别是当所述电压的降低应用到红外传感器阵列中的多个红外传感器132时。这种功率的降低还可导致红外传感器阵列128的自热的减少。

根据本公开的其他实施例，提供了用于降低由工作在低电压的红外成像装置提供的图像帧中的噪声效应的各种技术。就这方面而言，当红外传感器组件128以所描述的低电压工作时，如果不对噪声、自热和/或其他现象进行校正，所述噪声、自热和/或其他现象会在红外传感器组件128所提供的图像帧中变得更加明显。

例如，参考图13，当LDO 1220以本文所述的方式保持在低电压Vload时，Vbolo也将保持在它的相应的低电压，并且可降低它的输出信号的相对尺寸。因此，噪声、自热和/或其他现象可对从红外传感器132读出的较小的输出信号产生较大的影响，从而导致输出信号的变化(例如，错误)。如果不进行校正，这些变化可能表现为图像帧中的噪声。此外，尽管低电压工作可以降低某些现象(例如，自热)的总体数量，但是较小的输出信号可使得残留的误差源(例如，残留的自热)在低电压工作期间对输出信号产生不成比例的影响。

为了补偿这种现象，可利用各种阵列尺寸、帧速率和/或帧平均技术来实现红外传感器组件128、红外成像模块100和/或主机装置102。例如，如所讨论的，各种不同的阵列尺寸可考虑用于红外传感器132。在一些实施例中，可利用范围从32×32到160×120的阵列尺寸的红外传感器132来实现红外传感器132。其他例子的阵列尺寸包括80×64、80×60、64×64以及64×32。可使用任何期望的尺寸。

有利的是，当利用这种相对小的阵列尺寸实现红外传感器组件128时，所述红外传感器组件128可以在无需对ROIC及相关电路进行较大变动的情况下，以相对高的帧速率来提供图像帧。例如，在一些实施例中，帧速率的范围可以从大约120Hz到大约480Hz。

在一些实施例中，阵列尺寸和帧速率可以相对于彼此之间增减(例如，以成反比例的方式或者其他方式)，以使得较大的阵列实现为具有较低的帧速率，而较小的阵列实现为具有较高的帧速率。例如，在一个例子中，160×120的阵列可提供大约为120Hz的帧速率。在另一个实施例中，80×60的阵列可提供相应的大约为240Hz的较高的帧速率。其他帧速率也是可以考虑的。

通过缩放阵列尺寸和帧速率相对于彼此的比例，FPA的行和/列的具体读取时间可以保持恒定，与实际的FPA尺寸或帧速率无关。在一个实施方式中，读取时间可以是每行或列大约63微秒。

如之前关于图8的讨论，红外传感器132捕获的图像帧可提供给帧平均器804，所述帧平均器804求多个图像帧的积分以提供具有较低帧速率(例如，大约30Hz、大约60Hz或者其他帧速率)和改进的信噪比的图像帧802(例如，处理后的图像帧)。特别地，通过对由相对小的FPA阵列提供的高帧速率图像帧进行平均，可将图像帧802中由于低电压工作而产生的图像噪声有效地平均和/或显著的减少。因此，红外传感器组件128可以工作在由如所讨论的LDO 1220提供的相对低的电压，并且在帧平均器804对产生的图像帧802进行处理之后，红外传感器组件128不会受到所述产生的图像帧802中的额外的噪声及相关的副作用的影响。

其他实施例也是可以考虑的。例如，尽管示出了红外传感器132的单个阵列，但是可以预期的是，可一起使用多个这样的阵列以提供较高分辨率的图像帧(例如，一个场景可以在多个这样的阵列上成像)。这种阵列可设置在多个红外传感器组件128和/或设置在同样的红外传感器组件128中。如所描述的，每个这样的阵列均可工作在低电压，并且也可为每个这样的阵列配置相关的ROIC电路，以使得每个阵列仍然可以相对高的帧率工作。共享或者专用帧平均器804可对由这种阵列提供的高帧率图像帧进行平均，以减少和/或消除与低电压工作相关的噪声。因此，当工作在低电压时仍然可获得高分辨率红外图像。

在各种实施例中，可将红外传感器组件128实现为合适的尺寸，以使得红外成像模块100能够与小形状因素插座104(例如，用于移动装置的插座)一起使用。例如，在一些实施例中，可将红外传感器组件128实现为范围为大约4.0mm×大约4.0mm到大约5.5mm×大约5.5mm(例如，在一个实施例中，大约4.0mm×大约5.5mm)的芯片尺寸。可将红外传感器组件128实现为这种尺寸或者其他合适的尺寸，以使得能够与实现为各种尺寸的插座104一起使用，所述插座104的尺寸例如为：8.5mm×8.5mm、8.5mm×5.9mm、6.0mm×6.0mm、5.5mm×5.5mm、4.5mm×4.5mm和/或其他插座尺寸，例如，如2011年6月10日提交的美国临时专利申请No.61/495,873的表1所示的那些尺寸，该申请通过援引整体并入本文。

如关于图14-23E的进一步描述，描述了各种图像处理技术，其可应用于例如红外图像(例如，热图像)以降低红外图像内的噪声(例如，改善图像细节和/或图像质量)和/或提供非均匀性校正。

虽然图14-23E将主要针对系统2100描述，但描述的技术可通过对红外传感器132捕获的图像帧进行操作的处理模块160或处理器195(两者通常还称为处理器)来执行，反之亦然。

在一些实施例中，有关图14-22B描述的技术用于执行方框550(见图5和8)的操作以确定行和/或列FPN项。例如，这种技术可应用于图5和8的方框545提供的有意模糊的图像。在一些实施例中，有关图23A-E描述的技术可用于代替和/或附加到方框565-573(见图5和8)的操作以估算FPN和/或确定NUC项。

现在参考图14-22B，噪声的重要部分可被定义为行和列噪声。这种类型的噪声在读出集成电路(ROIC)中可由非线性说明。这种类型的噪声，如果不消除，在最终的图像中会显示为垂直和水平条纹且人类观察者会尤其感受到这种类型的图像伪影。如果行和列噪声存在，依赖于来自红外传感器的成像的其它系统(诸如自动目标跟踪器)也会遭受到性能退化。

由于红外探测器和读出集成电路(ROIC)组件的非线性行为，所以即使当执行快门操作或外部黑体标定时，也会存在残留的行和列噪声(例如，成像的场景可能不具有与快门精确相同的温度)。行和列噪声的量可在偏移校准之后随着时间增加，渐近地增加到某个最大值。在一个方面，这可被称为1/f类型噪声。

在任何指定的帧中，行和列噪声可被看作是高频率空间噪声。通常，这种类型的噪声可使用空间域(例如，局部线性或非线性低通滤波器)或频率域(例如，傅里叶或微波空间低通滤波器)滤波器来降低。然而，这些滤波器有负面影响，诸如图像模糊和微弱细节的潜在损失。

本领域的技术人员应该意识到，关于列或行的任何引用可以包括部分列或部分行，且术语“行”和“列”是可互换的且不是限制的。因此，在不偏离该发明的范围的情况下，基于该申请，术语“行”可用于描述一行或一列，同样地，术语“列”也可用于描述一行或一列。

图14示出了根据实施例的红外图像捕获和处理的系统2100(例如，红外摄像机)的框图。在一些实施例中，系统2100可用红外成像模块100、主机装置102、红外传感器组件128和/或本文描述的各种部件(例如，参见图1-13)来实现。因此，虽然描述了关于系统2100的各种技术，但是这种技术可类似地应用于红外成像模块100、主机装置102、红外传感器组件128和/或本文描述的各种部件，反之亦然。

在一个实现中，系统2100包括处理部件2110、存储部件2120、图像捕获部件2130、控制部件2140和显示部件2150。可选地，系统2100可包括传感部件2160。

系统2100可表示捕获和处理图像(诸如场景2170的视频图像)的红外成像装置，诸如红外摄像机。系统2100可表示适合检测红外辐射的任何类型的红外摄像机并提供代表性数据和信息(例如，场景的红外图像数据)。例如，系统2100可表示用于近、中和/或远红外频谱的红外摄像机。在另一个实例中，红外图像数据可包括用于如本文所述的处理的场景2170的非均匀性数据(例如，不是从快门或黑体得到的真实图像数据)。系统2100可包括便携装置并可被并入到例如车辆中(例如，汽车或其它类型的地面车辆、飞机或宇宙飞船)或要求存储和/或显示的红外图像的非移动安装。

在各种实施例中，处理部件2110包括处理器，诸如微处理器、单核处理器、多核处理器、微控制器、逻辑装置(例如，配置成执行处理功能的可编程逻辑装置(PLD))、数字信号处理(DSP)装置等中的一个或多个。处理部件2110可适合与部件2120、2130、2140和2150接口和通信，以执行本文所述的方法和处理步骤和/或操作。处理部件2110可包括适合实现噪声减少和/或消除算法(例如，噪声滤波算法，诸如本文描述的任何算法)的噪声滤波模块2112。在一个方面，处理部件2110可适合执行包括缩放红外图像数据的各种其他图像处理算法，或者作为噪声滤波算法的一部分或者与噪声滤波算法分离。

应该意识到，噪声滤波模块2112可整合在作为处理部件2110的一部分的软件和/或硬件中，其中用于噪声滤波模块2112的编码(例如，软件或配置数据)存储在例如存储部件2120中。如本文公开的噪声滤波算法的实施例可通过由计算机(例如，逻辑系统或基于处理器的系统)执行的单独的计算机可读介质(例如，存储器，诸如硬盘、光盘、数字视频光盘或闪速存储器)来存储以执行本文公开的各种方法和操作。在一个方面，计算机可读介质可以是便携的和/或与具有存储的噪声滤波算法的系统2100分开，该存储的噪声滤波算法通过将计算机可读介质耦合到系统2100和/或通过系统2100从计算机可读介质下载(例如，经由有线链接和/或无线链接)噪声滤波算法来提供到系统2100。

在一个实施例中，存储部件2120包括适合存储包括红外数据和信息的数据和信息的一个或多个存储装置。存储装置2120可包括一个或多个各种类型的存储装置，其包括易失性和非易失性存储装置，诸如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪速存储器等。处理部件2110可适合执行存储在存储部件2120中的软件以执行本文描述的方法和处理步骤和/或操作。

在一个实施例中，图像捕获部件2130包括用于捕获代表图像(诸如场景2170)的红外图像数据(例如，静止图像数据和/或视频数据)的一个和多个红外传感器(例如，任何类型的多像素红外探测器，诸如焦平面阵列)。在一个实施例中，图像捕获部件2130的红外传感器用于将捕获的图像数据表示(例如，转换)为数字数据(例如，经由作为红外传感器的一部分而被包括的或作为系统2100的一部分而与红外传感器分开的模数转换器)。在一个方面，红外图像数据(例如，红外视频数据)可包括图像(诸如场景2170)的非均匀性数据(例如，真实图像数据)。处理部件2110可适合处理红外图像数据(例如，提供处理的图像数据)、在存储部件2120中存储红外图像数据、和/或从存储部件2120中检索存储的红外图像数据。例如，处理部件2110可适合处理存储在存储部件2120中的红外图像数据以提供处理的图像数据和信息(例如，捕获和/或处理的红外图像数据)。

在一个实施例中，控制部件2140包括用户输入和/或适合产生用户输入信号的接口装置，诸如可旋转旋钮(例如，电位器)、按钮、滑杆、键盘等。处理部件2110可适合经由控制部件2140感测用户的输入信号并响应从那接收的任何感测的控制输入信号。处理部件2110可适合将这种控制输入信号解释为通常被本领域的技术人员理解的值。

在一个实施例中，控制部件2140可包括具有适合与用户交互并接收用户输入控制值的按钮的控制单元(例如，有线或无线手持控制单元)。在一个实现中，控制单元的按钮可用于控制系统2100的各种功能，诸如自动聚焦、菜单启用和选择、视野、亮度、对比度、噪声滤波、高通滤波、低通滤波和/或本领域的技术人员所理解的各种其它特征。在另一个实现中，一个或多个按钮可用于提供噪声滤波算法的输入值(例如，一个或多个噪声滤波器值、调整参数、特性等)。例如，一个或多个按钮可用于调整由系统2100捕获和/或处理的红外图像的噪声滤波特性。

在一个实施例中，显示装置2150包括图像显示装置(例如，液晶显示器(LCD))或各种其它类型的通常已知的视频显示器或监视器。处理部件2110可适合在显示部件2150上显示图像数据和信息。处理部件2110可适合从存储部件2120检索图像数据和信息并在显示部件2150上显示任何检索到的图像数据和信息。显示部件2150可包括电子显示屏，其可被处理部件2110用于显示图像数据和信息(例如，红外图像)。显示部件2150可适合经由处理部件2110直接从图像捕获部件2130接收图像数据和信息，或者图像数据和信息可以经由处理部件2110从存储部件2120转移。

在一个实施例中，正如本领域的技术人员将理解的，根据应用或实施要求，可选的传感部件2160包括一个或多个各种类型的传感器。可选的传感部件2160的传感器至少向处理部件2110提供数据和/或信息。在一个方面，处理部件2110可适合与传感部件2160通信(例如，通过从传感部件2160接收传感器信息)和与图像捕获部件2130通信(例如，通过从图像捕获部件2130接收数据和信息以及向系统2100的一个或多个其它部件提供指令、控制和/或其它信息和/或从系统2100的一个或多个其他部件接收指令、控制和/或其他信息)。

在各种实现中，传感部件2160可提供有关环境条件的信息，诸如外部温度、照亮条件(例如，日间、晚上、黄昏和/或黎明)、湿度水平、特定天气条件(例如，晴天、下雨和/或下雪)、距离(例如，激光测距)和/或是否已进入或退出通道或其它类型的外壳。传感部件2160可表示本领域的技术人员通常已知的用于监视各种条件(例如，环境条件)的常规传感器，该常规传感器可对由图像捕获部件2130提供的数据有影响(例如，对图像外观)。

在一些实现中，可选的传感部件2160(例如，一个或多个传感器)可包括经由有线和/或无线通信将信息中继给处理部件2110的装置。例如，可选的传感部件2160可适合通过本地广播(例如，无线电频率(RF))传输、通过移动或蜂窝网络和/或通过基础设施中的信息信标(例如，运输或公路信息信标基础设施)或各种其它有线和/或无线技术从卫星接收信息。

在各种实施例中，根据期望或根据应用或要求，系统2100的部件可与或者不与表示相关系统的各种功能块的系统2100组合和/或实现。在一个实例中，处理部件2110可与存储部件2120、图像捕获部件2130、显示部件2150和/或可选的传感部件2160组合。在另一个实例中，处理部件2110可与图像捕获部件2130组合，其中处理部件2100仅有某些功能由图像捕获部件2130内的电路(例如，处理器、微处理器、逻辑装置、微控制器等)执行。而且，系统2100的各种部件可以彼此远离(例如，图像捕获部件2130可包括具有处理部件2110等的远程传感器，处理部件2110表示可与或者不可与图像捕获部件2130通信的计算机)。

按照该公开的实施例，图15A示出了噪声滤波红外图像的方法2220。在一个实现中，该方法2220涉及减少和/或去除红外成像装置(诸如图14的红外成像系统2100)的时域、1/f和/或固定空间噪声。方法2220适合在噪声滤波算法中利用红外图像数据的基于行和列的噪声分量。在一个方面，基于行和列的噪声分量可控制红外传感器成像中的噪声(例如，在典型的基于微测辐射热仪的系统中，总噪声的约2/3可以是空间的)。

在一个实施例中，图15A的方法2220包括行和列噪声滤波算法的高级框图。在一个方面，可最优化行和列噪声滤波算法以使用最小硬件资源。

参考图15A，方法2220的工艺流程实行操作的递归模式，其中在计算行和列噪声之前应用先前校正项，这可能会允许较低空间频率的校正。在一个方面，当空间校正行和列噪声时，递归方法是有用的。这有时也被称为条带，且在列噪声情况下，可显现为受类似偏移误差影响的几个邻近列。当用于差分计算的几个近邻受到类似误差时，可能会使用于计算误差的平均差偏离，且该误差仅可以被部分校正。通过在计算当前帧的误差之前应用部分校正，误差校正可被递归减少直到使误差最小或被消除。在递归情况下，如果不应用HPF(方框2208)，则当混入噪声模型时，作为图像部分的自然梯度在几个反复之后可能会被扭曲。在一个方面，自然水平梯度可呈现为低的空间相关的列噪声(例如，严重的条带)。在另一方面，HPF可防止极低的频率场景信息干扰噪声估算，因此限制了递归滤波的负面影响。

参考图15A的方法2220，将红外图像数据(例如，原始视频源，诸如来自图14的图像捕获部件2130的)接收为输入视频数据(方框2200)。接下来，将列校正项应用于输入视频数据(方框2201)，将行校正项应用于输入视频数据(方框2202)。接下来，在将列和行校正应用于输入视频数据之后将视频数据(例如，“清洁的”视频数据)提供为输出视频数据(2219)。在一个方面，术语“清洁的”指的是经由例如噪声滤波算法的一个或多个实施例从输入视频数据去除或减少噪声(方框2201、2202)。

参考图15A的处理部分(例如，递归处理)，经由数据信号路径2219a将HPF应用于(方框2208)输出视频数据2219。在一个实现中，将高通滤波的数据分别提供给列噪声滤波部分2201a和行噪声滤波部分2202a。

参考列噪声滤波部分2201a，方法2220可适合如下处理输入视频数据2200和/或输出视频数据2219：

1.将在先前帧中计算的先前列噪声校正项应用于当前帧(方框2201)。

2.例如，如参考图16A-16C所述，通过减去低通滤波(LPF)操作的结果高通滤波当前帧的行(方框2208)。

3.对于每个像素，计算中心像素和一个或多个(例如，八个)最近近邻之间的差值(方框2214)。在一个实现中，最近近邻包括一个或多个最近的水平近邻。在不偏离该发明的范围的情况下，最近近邻可包括一个或多个垂直的或其它非水平的近邻(例如，不纯水平，即在同一行上)。

4.如果计算出的差值低于预定阈值，则将计算出的差值增加到特定列的差的直方图(方框2209)。

5.在当前帧的末端，通过检测累积差值的直方图找到中间差值(方框2210)。在一个方面，为了增加稳健性，可以仅使用与出现的一些特定最小量有关的差值。

6.延迟当前校正项达一个帧(方框2211)，即将它们应用于下一个帧。

7.将中间差值(方框2210)增加到先前列校正项以提供更新的列校正项(方框2213)。

8.在下一个帧中应用更新的列噪声校正项(方框2201)。

参考行噪声滤波部分2202a，方法2220可适合如下处理输入视频数据2200和/或输出视频数据2219：

1.将在先前帧中计算的先前行噪声校正项应用于当前帧(方框2202)。

2.如类似于上述列噪声滤波部分2201a所述，通过减去低通滤波(LPF)操作的结果高通滤波当前帧的列(方框2208)。

3.对于每个像素，计算中心像素和一个或多个(例如，八个)最近近邻之间的差值(方框2215)。在一个实现中，最近近邻包括一个或多个最近的垂直近邻。在不偏离该发明的范围的情况下，最近近邻可包括一个或多个水平的或其它非垂直的近邻(例如，不纯垂直，即在同一列上)。

4.如果计算出的差值低于预定阈值，则将计算出的差值增加到特定行的差值的直方图(方框2207)。

5.在当前行(例如，排)的末端，通过检测累积差值的直方图找到中间差值(方框2206)。在一个方面，为了增加稳健性，可以仅使用与出现的一些特定最小量有关的差值。

6.使当前帧延长一个与使用的最近垂直近邻的量(例如八个)相等的时间周期。

7.将中间差值(方框2204)增加到先前帧的行校正项(方框2203)。

8.在当前帧中应用更新的行噪声校正项(方框2202)。在一个方面，这可能需要行缓冲器(例如，如在6中所提到的)

在一个方面，对于每列中的所有像素(或者它们的至少大子集)，可将同一偏移项(或项组)应用于每个相关的列。这可以防止滤波器在空间上使局部细节模糊。

类似地，在一个方面，对于每行中的所有像素(或者它们的至少大子集)，可分别应用同一偏移项(或项组)。这可以抑制滤波器空间模糊局部细节。

在一个实例中，列偏移项的估算可以仅使用行的子集(例如，前32行)来计算。在这种情况下，仅需要32行延迟在当前帧中应用列校正项。这可以改善滤波器消除高时域频率列噪声的性能。备选地，可设计具有最小延迟的滤波器，且一旦(例如，使用32行的数据)计算出适当的估算就只应用校正项一次。在这种情况下，只有33行及以上的可被最佳过滤。

在一个方面，可以不需要所有样品，且在这种情况下，例如仅使用每个第2或第4行计算列噪声。在另一方面，当计算行噪声时同样可以应用，在这种情况下，例如只可以使用每个第4列的数据。本领域的技术人员应该意识到，在不偏离该发明的范围的情况下可以使用各种其它迭代法。

在一个方面，滤波器可以递归模式操作，其中代替被滤波的原始数据，经滤波的数据被过滤。在另一个方面，如果使用递归(IIR)滤波器计算估算的相继平滑值，则可以以有效的方式使一行中的像素和邻近行中的像素之间的平均差值逼近。例如，代替获得平均近邻差值(例如，八个近邻的差值)，可计算像素和平均近邻之间的差值。

按照该公开的实施例，图15B示出了噪声滤波红外图像数据的替代方法2230。参考图15A和15B，改变了图15A的方法2220的一个或多个过程步骤和/或操作的顺序，或者改变或组合成图15B的方法2230。例如，计算行和列近邻差值的操作(方框2214、2215)可被消除，或者与其它操作诸如产生行和列近邻差值的直方图(方框2207、2209)组合在一起。在另一个实例中，可在找到中间差值(方框2206)之后执行延迟操作(方框2205)。在各种实例中，应该意识到，类似的过程步骤和/或操作具有与图15A中先前描述的类似的范围，因此将不再重复描述。

在关于方法2220和2230的其它替代方法中，实施例可以不包括直方图，且代替计算中值差异而来依赖于计算平均差异。在一个方面，这可以略微降低稳健性但可以允许类似实现列和行噪声滤波器。例如，通过实现为无限冲击响应(IIR)滤波器的相继平滑值可使邻近行和列的各个平均值逼近。在行噪声的情况下，IIR滤波器实现可减少或甚至消除对平均计算几行数据的缓冲器的需要。

在关于方法2220和2230的其它替代方法中，可在视频数据的每个帧中计算新噪声估算并将其仅应用在下一个帧中(例如，在噪声估算之后)。在一个方面，这种替代方法可提供较少的性能但可易于实现。在另一个方面，这种替代方法可称为如本领域的技术人员所理解的非递归方法。

例如，在一个实施例中，图15C的方法2240包括行和列噪声滤波算法的高级框图。在一个方面，可最优化行和列噪声滤波算法以使用最小硬件资源。参考图15A和15B，类似的过程步骤和/或操作可具有类似的范围，因此不再重复描述。

参考图15C，方法2240的工艺流程实行操作的非递归模式。如所示的，方法2240将列偏移校正项2201和行偏移校正项2202应用于视频源2200的未校正的输入视频数据，以产生例如校正的或清洁的输出视频信号2219。在列噪声滤波部分2201a中，列偏移校正项2213基于特定列中的像素值和属于邻近列2214的一个或多个像素之间的平均差2210来计算。在行噪声滤波部分2202a中，行偏移校正项2203基于特定行中的像素值和属于邻近行2215的一个或多个像素之间的平均差2206来计算。在一个方面，可将其中将行或列偏移校正项2203、2213应用于视频源2200的输入视频数据的顺序(例如，行第一或列第一)考虑为随意的。在另一方面，行和列校正项在视频帧终止之前不是完全已知的，因此，如果不延迟视频源2200的输入视频数据，则不可以将行和列校正项2203、2213应用于由它们计算的输入视频数据。

在该发明的一个方面，列和行噪声滤波器算法可对由红外成像传感器(图14的图像捕获部件)提供的图像数据进行连续操作。与需要均匀场景(例如，如由快门或外部校准黑体所提供的)估算空间噪声的常规方法不同，如一个或多个实施例所述的，列和行噪声滤波算法可以对实时场景数据进行操作。在一个方面，假定对于位置[x,y]附近的一些小的近邻，由于它们是紧密接近的场景成像部分，所以邻近红外传感器元件应该提供类似的值。如果特定红外传感器元件的红外传感器读数不同于近邻，则这可能是空间噪声的结果。然而，在一些情况下，对于特定行和列中的每个传感器元件(例如，由于属于场景正常部分的局部梯度)这可能不是真的，但平均起来，行和列可具有与邻近行和列的值接近的值。

对于一个或多个实施例，通过首先去除一个或多个低空间频率(例如，使用高通滤波器(HPF))，可最小化场景贡献以去除与真实行和列空间噪声高度相关的差异。在一个方面，通过使用边缘保持滤波器，诸如中值滤波器或双边滤波器，由于图像中的强边，所以一个或多个实施例可以最小化伪影。

按照该公开的一个或多个实施例，图16A至16C示出了滤波红外图像的图形化实现(例如，数字计数对数据列)。图16A示出了在成像场景时作为实例的来自传感器元件行的典型值的图解说明(例如，图2300)。图16B示出了图16A的图像数据值的低通滤波(LPF)结果的图解说明(例如，图2310)。图16C示出了从图16A的原始图像数据减去图16B的低通滤波器(LPF)输出的图解说明，这产生了从图16A的原始图像数据场景去除低和中频率分量的高通滤波器(HPF)轮廓。因此，图16A-16C示例了可用于一个或多个实施例(例如，如同方法2220和/或2230)的HPF技术。

在该发明的一个方面，列和/或行噪声的最终估算可称为所有测量差异的平均或中值估算。由于通常已知红外传感器的噪声特性，所以可以将一个或多个阈值应用于噪声估算。例如，如果测量60数字计数的差异，但已知噪声通常小于10数字计数，则可以忽略该测量结果。

按照该公开的一个或多个实施例，图17示出了具有列5数据2402和八个最邻近近邻的数据(例如，最邻近像素近邻，列5数据2402左边的4列2410和列5数据2402右边的4列2411)的传感器数据行2401(例如，用于行中多个像素的像素数据行)的图解说明2400(例如，数字计数对数据列)。在一个方面，参考图17，传感器数据行2401是由多像素红外传感器或探测器(例如，图14的图像捕获部件2130)捕获图像或场景的传感器数据行的一部分。在一个方面，列5数据2402是被校正的数据列。对于该传感器数据行2401，列5数据2402和其邻近列(2410、2411)的平均数2403之间的差用箭头2404表示。因此，基于近邻数据可得到并解释的噪声估算。

按照该公开的一个或多个实施例，图18A至18C示出了列和行噪声滤波红外图像(例如，来自红外视频数据的图像帧)的示范性实现。图18A示出了具有从存在严重的行和列噪声的场景估算的列噪声的红外图像2500和列校正项的对应图表2502。图18B示出了红外图像2510和行校正项的对应图表2512，红外图像2520的列噪声消除且空间行噪声仍然存在，其中行校正项从图18A的场景估算。图18C示出了图18A中场景的作为行和列噪声消除(例如，应用图18A-18B的列和行校正项)的纯净的红外图像的红外图像2520。

在一个实施例中，图18A示出了具有严重行和列噪声的红外视频帧(即，红外图像2500)。如本文所述的，计算列噪声校正系数以产生例如639校正项，即每列一个校正项。图表2502示出了列校正项。从图18A的红外视频帧2500减去这些偏移校正项以产生图18B中的红外图像2510。如图18B所示，行噪声依然存在。如本文所述的，计算行噪声校正系数以产生例如639行项，即每行一个校正项。图表2512示出了行偏移校正项，从图18B中的红外图像2510减去它以产生图18C中的具有显著减少或消除的行和列噪声的清洁的红外图像2520。

在各种实施例中，应该理解不需要行和列两种滤波。例如，可在方法2220、2230或2240中或者执行列噪声滤波2201a或者执行行噪声滤波2202a。

应该意识到，对一列或一行的任何引用可包括一部分列或一部分行，且术语“行”和“列”是可互换的且不是限制的。例如，在不偏离该发明的范围的情况下，基于该申请，术语“行”可用于描述一行或一列，同样地，术语“列”可用于描述一行或一列。

在各种方面，按照如本文所述的噪声滤波算法的实施例，列和行噪声可通过查看真实场景(例如，不是快门或黑体)来估算。列和行噪声可通过测量特定行(和/或列)中元件的传感器读数和邻近行(和/或列)的传感器读数之间的中值或平均差来估算。

可选地，可在测量差异之前将高通滤波器应用于图像数据，这样可减少或至少最小化使属于场景部分的梯度变形和/或引入伪影的风险。在一个方面，在平均值和中值估算中只可以使用相差少于可配置阈值的传感器读数。可选地，直方图可用于有效地估算中值。可选地，当从直方图中找出中值估算时，只可以使用超过最小计数的直方图。可选地，递归IIR滤波器可用于估算像素和其近邻之间的差异，这可以减少或至少使存储用于处理例如行噪声部分(例如，如果从传感器的行方向读出图像数据)的图像数据的需要最小化。在一个实现中，用于行j的列i的当前平均列值可使用下面的递归滤波器算法来估算。

${\stackrel{\‾}{C}}_{i,j}=(1-\mathrm{\α})\·{\stackrel{\‾}{C}}_{i-1,j}+\mathrm{\α}\·C_{i,j}$

${\mathrm{\ΔR}}_i=\frac{1}{N}\underset{j=1}{\overset{N}{\Σ}}{C}_{i,j}-{\stackrel{\‾}{C}}_{i-1,j}$

在该等式中，α是阻尼系数且可以设置为例如0.2，在这种情况下，处于行j的特定列i的相继平滑值的估算将是处于行j的列i-1的估算的相继平滑值和处于行j和列i的当前像素值的加权和。通过得到每个值C_i，j和上述行近邻的相继平滑的递归值之间的差，现在可使行j的值和近邻行的值之间的估算差异逼近。由于仅使用上述行，但与存储几行的真实像素值相比，它需要仅存储一行的相继平滑值，所以估算平均差的这种方式不像得到的真实平均差一样精确。

在一个实施例中，参考图15A，方法2220的工艺流程可实行操作的递归模式，其中在计算行和列噪声之前应用先前的列和行校正项，当在估算噪声前高通滤波图像时，这允许了较低空间频率的校正。

通常，在处理期间，递归滤波器会重新使用至少部分的输出数据作为输入数据。递归滤波器的反馈输入可称为无限脉冲响应(IIR)，其特征在于例如指数增长输出数据、指数下降输出数据或正弦输出数据。在一些实现中，递归滤波器可不具有无限脉冲响应。因此，例如，移动平均滤波器的一些实现起到递归滤波器的作用但具有有限脉冲响应(FIR)。

如图19A至22B描述的进一步所述，考虑确定行和/或列校正项的附加技术。例如，在一些实施例中，这种技术可用于在不过度补偿在场景2170中的存在的垂直和/或水平物体的情况下提供校正项。这种技术可用在可频繁捕获这种物体的任何适当的环境中，包括例如市内应用、乡下应用、车辆应用以及其它等等。在一些实施例中，与用于确定校正项的其它方法相比，这种技术可提供具有减小的存储器和/或减少的处理开销的校正项。

图19A示出了根据该公开实施例的场景2170的红外图像2600(例如，红外图像数据)。虽然将红外图像2600描绘为具有16行和16列，但可以考虑其它图像尺寸的红外图像2600和本文论述的各种其它的红外图像。例如，在一个实施例中，红外图像2600可以具有640列和512行。

在图19A中，红外图像2600描绘了相对均匀的场景2170，其中红外图像2600的大多数像素2610具有相同或类似强度(例如，相同或类似数字计数数量)。而且在该实施例中，场景2170包括出现在红外图像2600的列2620A的像素2622A-D中的物体2621。在这一点上，描述了稍微暗于红外图像2600的其它像素2610的像素2622A-D。为了论述的目的，假定较暗色像素可与较高数字计数数量相关，然而，如果期望，较浅色像素可与其它实现中的较高数字计数数量相关。如所示的，列2620A的剩余像素2624具有与像素2610基本一致的强度。

在一些实施例中，物体2621可以是垂直物体，诸如建筑物、电话杆、灯杆、输电线、蜂窝塔、树、人类和/或其它物体。如果将图像捕获部件2130布置在接近物体2621的车辆中，则当车辆不动地充分远离物体2621时，物体2621也可以相对固定地出现在红外图像2600中(例如，物体2621可依然主要用像素2622A-D表示且可在红外图像2600内没有明显的偏移位置)。如果将图像捕获部件2130布置在相对于物体2621的固定位置，则物体2621也可以相对固定地出现在红外图像2600中(例如，如果物体2621被固定和/或位于充分远离的位置)。也可以考虑图像捕获部件2130相对于物体2621的其它布置。

红外图像2600还包括由例如时域噪声、固定空间噪声、故障传感器/电路、真实场景信息和/或其它源引起的另一个像素2630。如图19A所示，像素2630比所有的像素2610和2622A-D暗(例如，具有较高数字计数数量)。

对于一些列校正技术，垂直物体(诸如用像素2622A-D描绘的物体2621)通常是不确定的。在这一点上，当在不考虑出现在场景2170中的小的垂直物体的可能存在的情况下计算列校正项时，依然主要布置在一个或几个列中的物体可能会导致过度补偿。例如，当比较列2620A的像素2622A-D和附近列2620B-E的像素时，一些列校正技术可以将像素2622A-D解释为列噪声，而不是真实场景信息。实际上，相对于像素2610的像素2622A-D的明显较暗的外观和布置在列2620A中的相对小的宽度可偏离充分校正整个列2620A的列校正项的计算，虽然列2620A的仅有小部分实际上包括较暗的场景信息。结果，为了补偿假定的列噪声，针对列2620A确定的列校正项可明显使列2620A变亮(例如，增加或减少数字计数的数量)。

例如，图19B示出了图19A的红外图像2600的校正版2650。如图19B所示，已显著变亮列2620A。使像素2622A-D显著变亮以与像素2610大致一样，且像素2622A-D中包含的真实场景信息(例如，物体2621的描绘)已大部分丢失。另外，显著变亮列2620A的剩余像素2624以使它们不再与像素2610基本一致。实际上，应用于列2620A的列噪声校正项在相对于场景2170的剩余部分的像素2624中实际上引入了新的非均匀性。

本文描述的各种技术可用于在不过度补偿可出现在场景2170的各种垂直物体的外观的情况下确定列校正项。例如，在一个实施例中，当将这种技术应用于图19A的列2620A时，暗像素2622A-D的存在可以不对列2620A的列校正项引起任何进一步变化(例如，应用校正之后，列2620A可以呈现为如图19A所示而不是如图19B所示)。

按照本文进一步描述的各种实施例，在不过度补偿出现在场景2170中的垂直物体的存在的情况下，可确定用于每列红外图像的对应列校正项。在这一点上，可以比较红外图像的选择列的第一像素(例如，存在于特定行中的列的像素)和在与第一像素有关的在近邻内的对应的一组其它像素(例如，也称为邻近像素)。在一些实施例中，近邻可对应于与在列范围内的第一像素同一行中的像素。例如，近邻可用交叉点来定义：与第一像素相同的行；和预先确定的列的范围。

列的范围可以是选择列的左侧、右侧或左和右两侧上的任何期望的列数。在这一点上，如果列的范围对应于选择列两侧上的两列，则可以进行第一像素的四个比较(例如，选择列左边的两列和选择列右边的两列)。虽然在此进一步描述了选择列两侧上的两列的范围，但也可以考虑其它范围(例如，5列、8列或任何期望的列数)。

基于比较，调整(例如，增加、减少或以其它方式更新)一个或多个计数器(例如，记录器、存储位置、累加器和/或在处理部件2110、噪声滤波模块2112、存储部件2120和/或其它部件中的其它实现)。在这一点上，对于其中选择列的像素小于比较像素的每个比较，可以调整计数器A。对于其中选择列的像素具有与比较像素相等(例如，精确等于或充分等于)的值的每个比较，可以调整计数器B。对于其中选择列的像素具有比比较像素大的值的每个比较，可以调整计数器C。因此，如果列范围对应于如上述实例中确定的选择列任一侧上的两列，则总共4个调整(例如，计数)可由计数器A、B和C共同拥有。

在比较选择列的第一像素和其对应近邻中的所有像素之后，对选择列中的所有剩余像素(例如，红外图像每行的一个像素)重复该过程，并响应对剩余像素执行的比较继续调整计数器A、B和C。在这一点上，在一些实施例中，可比较选择列的每个像素和像素的不同对应近邻(例如，像素属于：与选择列的像素在同一行中；和在列范围内)，并基于这种比较结果调整计数器A、B和C。

结果，在比较选择列的所有像素之后，计数器A、B和C可以确定选择列像素大于、等于或小于邻近像素的比较数量。因此，继续上述实例，如果红外图像具有16行，则可以分布穿过计数器A、B和C的用于选择列的总共64个计数(例如，每行4个计数x16行＝64个计数)。考虑可以使用其它计数数量。例如，在具有512行且使用10列范围的大阵列中，可使用5120个计数(例如，512行x 10列)确定每列校正项。

基于计数器A、B和C中的计算的分布，基于使用一个或多个计数器A、B和/或C的值执行的一个或多个计算，可使选择列的列校正项选择性的增加、减少或保持相同。例如，在一个实施例中：如果计数器A－计数器B－计数器C＞D，则可增加列校正项；如果计数器C－计数器A－计数器B＞D，则可减少列校正项；在所有其它情况下列校正项可保持相同。在这种实施例中，D可以是小于由每列的计数器A、B和C累积的比较总量的值，诸如常数。例如，在一个实施例中，D可具有等于(行数)/2的值。

为了确定(例如，计算和/或更新)用于红外图像每列的对应列校正项，可对红外图像的剩余列重复执行该过程。另外，在确定用于一列或多列的列校正项之后，可在将列校正项应用于同一红外图像和/或另一个红外图像(例如，随后捕获的红外图像)之后，对一列或多列重复该过程(例如，增加、减少或不改变一列或多列校正项)。

如所述的，计数器A、B和C识别小于、等于或大于选择列像素的比较像素的数量。这与用于确定列校正项的的各种其它技术形成了对比，在各种其他技术中可使用比较像素之间的实际差异(例如，计算的差值)。

通过基于小于、等于或大于关系(例如，而不是不同像素的数字计数之间的实际数值差异)确定列校正项，列校正项可能会因为出现在红外图像中的小的垂直物体的存在而出现较小偏离。在这一点上，通过使用该方法，具有高数字计数数量的小的物体(诸如物体2621)不会无故计算过度补偿这种物体的列校正项(例如，导致如图19B所示的不期望的红外图像2650)。相反，使用这种方法，物体2621不会对列校正项产生任何变化(例如，导致如图19A所示的未变化的红外图像2600)。然而，通过列校正的项的调整可适当减少可合理识别为列噪声的较大的物体(诸如2721)(例如，导致如图20B所示的校正的红外图像2750)。

另外，使用该方法可减少其它类型的场景信息对列校正项值的影响。在这一点上，计数器A、B和C识别选择列像素和邻近像素之间的相对关系(例如，小于、等于或大于关系)。在一些实施例中，这种相对关系可对应于例如选择列的像素的值和邻近像素的值之间差异的符号(例如，正、负或零)。通过使用这种相对关系而不是实际数值差，指数场景变化(例如，非线性场景信息梯度)可较少对列校正项确定起作用。例如，为了比较的目的，某些像素中的指数较高的数字计数可被处理成简单地大于或小于其它像素，因此将不过分偏离列校正项。

另外，通过识别这种相对关系而不是计数器A、B和C的实际数值差，在一些实施例中能够减少高通滤波。在这一点上，在低频率场景信息或噪声在整个比较的像素近邻保持相当一致的情况下，这种低频率含量不会显著影响比较像素之间的相对关系。

有利地，计数器A、B和C提供了计算列校正项的一种有效方法。在这一点上，在一些实施例中，只使用三个计数器器A、B和C来存储对选择列执行的所有像素比较的结果。这与存储更多唯一值(例如，其中存储特定数值差，或这种数值差的出现次数)的各种其它方法形成了对比。

在一些实施例中，其中红外图像的总行数是已知的，通过省略计数器B可实现进一步的效率。在这一点上，基于用于比较的列范围和红外图像的行数，可知道计数的总数。另外，可假定不会导致计数器A或计数器C被调整的任何比较将对应于像素具有相等值的那些比较。因此，计数器B具有的值可由与计数器A和C来确定(例如，(行数x范围)－计数器A值－计数器B值＝计数器C值)。

在一些实施例中，可以仅使用单个计数器。在这一点上，对于其中选择列像素具有比比较像素大的值的每个比较，单个计数器可被选择性以第一方式(例如，增加或减少)调整；对于其中选择列像素具有比比较像素小的值的每个比较，单个计数器可被选择性以第二方式调整(例如，减少或增加)；以及对于其中选择列像素具有与比较像素相等(例如，精确等于或充分等于)的值的每个比较，单个计数器不被调整(例如，保持其现存值)。因此，单个计数器的值可以表示大于或小于选择列像素的比较像素的相对数量(例如，在比较选择例的所有像素和对应邻近像素之后)。

基于单个计数器的值，可以更新(例如，增加、减少或保持相同)选择列的列校正项。例如，在一些实施例中，如果在执行比较之后单个计数器表现出基准值(例如，零或其它数)，则列校正项可以保持相同。在一些实施例中，如果单个计数器大于或小于基准值，则列校正项可选择性地适当增加或减少以降低比较像素和选择列像素之间的整体差异。在一些实施例中，更新列校正项的条件是：基于具有不同于选择列像素值的比较像素的限制数量，单个计数器具有不同于基准值至少阈值量的值以防止列校正项过度偏离。

这些技术也可用于适当地补偿红外图像中的较大的垂直异常现象。例如，图20A示例了根据该公开实施例的场景2170的红外图像2700。类似于红外图像2600，红外图像2700描绘了相对均匀的场景2170，其中红外图像2700的大多数像素2710具有相同或类似强度。而且在该实施例中，红外图像2700的列2720A包括稍微暗于像素2710的像素2711A-M，而列2720A的剩余像素2724具有与像素2710基本一致的强度。

然而，与图19A的像素2622A-D相比，图20A的像素2722A-M占了列2720A的绝大多数。如此，用像素2722A-M描绘的物体2721实际上可能是异常现象(诸如列噪声)或其它不期望的源，而不是真实结构或其它真实场景信息。例如，在一些实施例中，考虑到占用至少一列的绝大多数的真实场景信息将也可能占一行或多行的大部分水平部分。例如，紧密接近于图像捕获部件2130的垂直结构可能会占红外图像2700的多列和/或多行。由于物体2721呈现为仅占一列2721A的绝大多数的高窄波带，所以物体2721实际上很可能是列噪声。

图20B示出了图20A的红外图像2700的校正版2750。如图20B所示，列2720A已经变亮，但不像红外图像2650的列2620A一样明显。像素2722A-M已经变亮，但看上去仍然稍微暗于像素2710。在另一个实施例中，可校正列2720A以使像素2722A-M约与像素2710一致。还如图20B所示，列2720A的剩余像素2724已经变亮，但不像红外图像2650的像素2624一样明显。在另一个实施例中，可以进一步变亮像素2724或者可保持与像素2710基本一致。

关于图21和22A-B，进一步说明了这些技术的各种方面。在这一点上，图21是示出根据该公开实施例的噪声滤波红外图像的方法2800的流程图。虽然引用了与图21的特定方框有关的系统2100的特定部件，但是关于图21的各种操作可以通过任何适当部件来执行，诸如图像捕获部件2130、处理部件2110、噪声滤波模块2112、存储部件2120、控制部件2140和/或其它等。

在方框2802中，图像捕获部件2310捕获场景2170的红外图像(例如，红外图像2600或2700)。在方框2804中，噪声滤波模块2112将现有的行和列校正项应用于红外图像2600/2700。在一些实施例中，这种现有的行和列校正项可用本文描述的各种技术、工厂校准操作和/或其它适当的技术中的任何一种技术来确定。在一些实施例中，应用在方框2804中的列校正项在方框2804的第一循环期间可不确定(例如，零)，可在图21的一个或多个循环期间确定并更新。

在方框2806中，噪声滤波模块2112选择红外图像2600/2700的列。虽然在下面的描述中将引用列2620A和2720A，但是可以使用任何期望的列。例如，在一些实施例中，在方框2806的第一循环可以选择红外图像2600/2700的最右边或最左边的列。在一些实施例中，方框2806还可以包括将计数器A、B和C重新设置为零或其它适当的缺省值。

在方框2808中，噪声滤波模块2112选择红外图像2600/2700的行。例如，在方框2808的第一循环可以选择红外图像2600/2700的最上边的行。在其它实施例中可以选择其它行。

在方框2810中，噪声滤波模块2112选择附近的另一列以比较列2620A。在该实例中，近邻具有列2620A/2720A两侧上的两列(例如，列2620B-E/2720B-E)的范围，对应于像素2602A/2702A的任一侧上的行2601A/2701A中的像素2602B-E/2702B-E。因此，在一个实施例中，在方框2810的该循环中可选择列2620B/2720B。

在方框2812中，噪声滤波模块2112比较像素2602B/2702B和像素2602A/2702A。在方框2814中，如果像素2602A/2702A具有小于像素2602B/2702B的值，则调整计数器A。如果像素2602A/2702A具有等于像素2602B/2702B的值，则调整计数器B。如果像素2602A/2702A具有大于像素2602B/2702B的值，则调整计数器C。在该实例中，像素2602A/2702A具有等于像素2602B/2702B的值。因此将调整计数器B，且在方框2814的该循环中将不调整计数器A和C。

在方框2816中，如果依然比较近邻中的附加列(例如，列2620C-E/2720C-E)，则重复方框2810-2816以比较近邻的剩余像素和像素2602A/2702A(例如，属于列2620C-E/2720C-E中和行2601A/2701A中的像素2602B-E/2702B-E)。在图19A/20A中，像素2602A/2702A具有与所有像素2602B-E/2702B-E相等的值。因此，在比较像素2602A/2702A和其近邻的所有像素之后，计数器B将被调整4个计数，且计数器A和C将不被调整。

在方框2818中，如果附加行依然在红外图像2600/2700中(例如，行2601B-P/2701B-P)，则以如上所述的一行行为基础地重复方框2808-2818，以比较列2620A/2720A的剩余像素和列2602B-E/2702B-E的剩余像素。

方框2818之后，将列2620A/2720A的16个像素中的每个像素与4个像素比较(例如，列2620A/2720A的每个比较像素一样的属于同一行中的列2620B-E的像素)，总共64次比较。64个调整的结果由计数器A、B和C共享。

图22A示出了根据该公开实施例的在列2620A的所有像素与包括在列2620B-E中的像素的各个近邻比较之后用直方图2900表示的计数器A、B和C的值。在该实例中，计数器A、B和C的值分别为1、48和15。因为列2620A的像素2622A具有小于列2620B的像素2630的值，所以计数器A仅被调整了一次。因为当与列2620B-E的邻近像素比较时(例如，除如上指出的像素2630之外)像素2622A-D每个都具有较大值，所以计数器C被调整了15次。因为列2620A的剩余像素2624具有与列2620B-E的剩余邻近像素相等的值，所以计数器B被调整了48次。

图22B示出了根据该公开实施例的在列2720A的所有像素与包括在列2720B-E中的像素的各个近邻比较之后用直方图2950表示的计数器A、B和C的值。在这种情况下，计数器A、B和C的值分别为1、12和51。与图22A类似，因为列2720A的像素2722A具有小于列2720B的像素2730的值，所以图22B中计数器A仅被调整一次。因为当与列2720B-E的邻近像素比较时(例如，除如上指出的像素2730之外)像素2722A-M每个都具有较大值，所以计数器C被调整了51次。因为列2720A的剩余像素具有与列2720B-E的剩余近邻比较像素相等的值，所以计数器B被调整了12次。

再次参考图21，在方框2820中，基于计数器A、B和C的值，更新(例如，选择性增加、减少或保持相同)列2620A/2720A的列校正项。例如，如上所述，在一个实施例中，如果计数器A－计数器B－计数器C＞D，则可以增加列校正项；如果计数器C－计数器A－计数器B＞D，则可以减少列校正项；在所有其它情况下，列校正项可以保持相同。

在红外图像2600的实例中，将上述计算应用于图22A中确定的计数器值导致列校正项没有变化(例如，1(计数器A)－48(计数器B)－15(计数器C)＝－62，其不大于D，其中D等于(16行)/2；和15(计数器C)－1(计数器A)－48(计数器B)＝－34，其也不大于D，其中D等于(16行)/2)。因此，在这种情况下，计数器A、B和C的值和其上执行计算表示像素2622A-D的值与场景2710的真实物体(例如，物体2621)相关。因此，用像素2622A-D表示的小的垂直结构2621将不会导致在列2620A的列校正项中的任何过度补偿。

在红外图像270的实例中，将上述计算应用于图22B中确定的计数器值导致列校正项减少(例如，51(计数器C)－1(计数器A)－12(计数器B)＝38，其大于D，其中D等于(16行)/2)。因此，在这种情况下，计数器A、B和C的值和其上执行计算表示像素2722A-M的值与列噪声相关。因此，用像素2722A-M表示的大的垂直结构2721将会使导致2720A变亮以改善如20B所示的校正的红外图像2750的均匀性。

在方框2822，如果附加列依然使它们的列校正项更新，则该过程返回到方框2806，其中重复方框2806-2822以更新另一列的列校正项。在所有列校正项更新之后，该过程返回到捕获另一红外图像的方框2802。在该方式中，可重复图21以便为每个新捕获的红外图像更新列校正项。

在一些实施例中，每个新捕获的红外图像都可充分不同于新近的前面的红外图像。这可以由例如基本静态场景2170、缓变场景2170、红外图像的时域滤波和/或其它传感器产生。在这些情况下，由图21确定的列校正项的精确性可以改善，像在图21的每个循环中可选择性的增加、减少它们或使它们保持不变一样。结果，在一些实施例中，许多列校正项最终可达到基本稳定状态，其中在图21的足够数量的循环之后和当红外图像基本不变时，它们保持相对不变。

也可以考虑其它实施例。例如，可重复方框2820多次以使用用于每个更新的相同的红外图像更新一个或多个列校正项。在这一点上，在方框2820中更新一个或多个列校正项之后，图21的过程可以返回到方框2804以将更新的列校正项应用于用于确定更新的列校正项的相同的红外图像。结果，使用相同红外图像可反复更新列校正项。这种方法可用在例如脱机(非实时)处理中和/或用在具有足够处理能力的实时实现中。

另外，可适当地将关于图19A-22B描述的各种技术中任何一种技术与本文描述的其它技术组合在一起。例如，可以如期望地组合本文描述的各种技术的一些或所有部分以执行噪声滤波。

虽然关于图19A-22B主要论述了列校正项，但也可以将描述的技术应用于基于行的处理。例如，这种技术可用于在不过度补偿出现在场景2170中的小的水平结构的情况下确定并更新行校正项，同时适当地补偿真实行噪声。除了或替代本文描述的基于列的各种处理之外，可执行这种基于行的处理。例如，可以为这种基于行的处理提供附加计数器A、B和/或C的实现。

在一些以行为基础读出红外图像的实施例中，由于行校正项被更新，可以迅速地提供行校正的红外图像。类似地，在一些以列为基础读出红外图的实施例中，由于列校正项被更新，可以迅速地提供列校正的红外图像。

现在参考图23A-E，如所述的，在一些实施例中，关于图23A-E描述的技术可用于替代和/或附加到方框565-573(参照图5和8)的一个或多个操作以估算FPN和/或确定NUC项(例如，平场校正项)。例如，在一些实施例中，这种技术可用于在不需要高通滤波器的情况下确定NUC项以校正空间相关的FPN和/或空间不相关(例如，随意的)的FPN。

图23A示例了根据该公开实施例的场景2170的红外图像3000(例如，红外图像数据)。虽然描绘了具有16行和16列的红外图像3000，但可考虑其它图像尺寸的红外图像3000和本文论述的各种其它红外图像。

在图23A中，红外图像3000描述了相对均匀的场景2170，其中红外图像3000的多数像素3010具有相同或类似强度(例如，相同或类似数字计数数量)。而且在该实施例中，红外图像3000包括描绘得比红外图像3000的其它像素3010稍微暗的像素3020和描绘得稍微亮的像素3030。正如前面所提到的，为了论述的目的，假定较暗的像素可与较高数字计数数量相关，然而，如果期望，较亮的像素可与其它实现中的较高数字计数数量相关。

在一些实施例中，红外图像3000可以是在本文先前描述的图5和8的方框560和/或方框565接收的图像帧。在这一点上，红外图像3000可以是由方框555和/或560提供的有意模糊的图像帧，其中多数高频率含量因为例如时域滤波、散焦、运动、累积的图像帧和/或其它适当的技术而被滤出。如此，在一些实施例中，仍然在红外图像3000中的任何剩余的高空间频率含量(例如，呈现为对比区域或模糊图像帧中的差异)可被认为是空间相关的FPN和/或空间不相关的FPN。

因此，假定基本均匀像素3010通常对应于模糊的场景信息，像素3020和3030对应于FPN。例如，如图23A所示，像素3020和3030被布置在几个组中，它们中每个都被放置在贯穿多行和列的红外图像3000的总区域中，但不与单行或列相关。

本文描述的各种技术可用于在不过度补偿附近暗或亮像素的存在的情况下确定NUC项。如本文的进一步描述，当这种技术用于确定红外图像3000的单个像素(例如，3040、3050和3060)的NUC项时，在不过度补偿FPN的其它情况下，可以确定适当的NUC项以在某些情况下适当地补偿FPN。

按照本文进一步描述的各种实施例，可以为红外图像的每个像素确定对应的NUC项。在这一点上，可以将红外图像的所选像素与对应组的在与所选像素有关的近邻范围内的其它像素(例如，也称为邻近像素)比较。在一些实施例中，近邻可以对应于在所选像素的选择的距离范围内(例如，在选择的核心尺寸范围内)的像素(例如，在所选像素周围和/或邻近所选像素的像素的N乘N近邻)。例如，在一些实施例中，可使用5的核心，但也可以考虑更大或更小的尺寸。

如关于图19A-22B的类似论述，基于比较调整(例如，增加、减少或以其它方式更新)一个或多个计数器(例如，记录器、存储位置、累加器和/或在处理部件2110、噪声滤波模块2112、存储部件2120和/或其它部件中的其它实现)。在这一点上，对于所选像素具有比近邻比较像素小的值的每个比较，可以调整计数器E。对于所选像素具有等于(例如，精确等于或充分等于)近邻比较像素的值的每个比较，可以调整计数器F。对于所选像素具有比近邻比较像素大的值的每个比较，可以调整计数器G。因此，如果近邻使用5的核心，则在所选像素和其邻近像素之间产生总共24个比较。因此，总共24个调整(例如，计数)可由计数器E、F和G共同拥有。在这一点上，计数器E、F和G可以识别邻近像素大于、等于或小于所选像素的比较数量。

在比较所选像素和其近邻中的所有像素之后，基于计数器E、F和G的值，可为像素确定(例如，调整)NUC项。基于计数器E、F和G中计数的分布，所选像素的NUC项可以基于使用一个或多个计数器E、F和/或G的值执行的一个或多个计算选择性增加、减少或保持相同。

NUC项的这种调整可按照任何期望的计算来执行。例如，在一些实施例中，如果计数器F明显大于计数器E和G或者在特定阈值以上(例如，表示大量邻近像素精确等于或充分等于所选像素)，则可以判定NUC项应保持相同。在这种情况下，即使几个邻近像素展现出明显高于或低于所选像素的值，那些邻近像素也不会偏离在其它的基于平均值或基于中值的计算中出现的NUC项。

作为另一个实例，在一些实施例中，如果计数器E或计数G在特定阈值以上(例如，表示大量邻近像素大于或小于所选像素)，则可以判定NUC项应该适当地增加或减少。在这种情况下，由于基于大量大于、等于或小于所选像素的邻近像素，可增加或减少NUC项(例如，而不是这种邻近像素的真实像素值)，所以在不引入非故意过度补偿像素值差异的迅速变化的情况下，可以渐进的方式调整NUC项。

通过重新设置计数器E、F和G、选择红外图像3000的另一个像素、执行与其邻近像素的比较并基于计数器E、F和G的新值确定它的NUC项，可重复该过程。这些操作可以如期望地重复，直到为红外图像3000的每个像素确定NUC项。

在一些实施例中，在为所有像素确定NUC项之后，该过程可被重复以使用同一红外图像3000(例如，在应用NUC项之后)和/或另一红外图像(例如，随后捕获的红外图像)进一步更新NUC项。

如所述的，计数器E、F和G识别大于、等于或小于所选像素的邻近像素的数量。这与用于确定NUC项的各种其它技术形成对比，在各种其他技术中可使用比较像素之间的真实差异(例如，计算差值)。

计数器E、F和G识别所选像素和其邻近像素之间的相对关系(例如，小于、等于或大于关系)。在一些实施例中，这种相对关系可对应于例如所选像素和其邻近像素的值之间差异的符号(例如，正、负或零)。通过基于相对关系而不是实际数值差确定NUC项，NUC项可以不会因为具有数字计数的广泛偏离所选像素的少量邻近像素而出现了偏离。

另外，使用该方法可以减少其它类型场景信息对NUC项值的影响。在这一点上，由于计数器E、F和G识别像素之间的相对关系而不是实际数值差，指数场景变化(例如，非线性场景信息梯度)可对NUC项确定起较少作用。例如，为了比较的目的，某些像素中的指数较高的数字计数可被处理为简单地大于或小于其它像素，因此将不过分偏离列校正项。而且，在不需要无意使表示非线性斜率的红外图像变形的情况下，可以使用该方法。

有利地，计数器E、F和G提供了计算NUC项的有效方法。在这一点上，在一些实施例中，仅三个计数器E、F和G用于存储对所选像素执行的所有邻近像素比较的结果。这与各种其它方法形成了对比，在各种其他方法中存储更多唯一值(例如，其中存储特定数值差，或这种数值差的出现次数)、使用中值滤波器(例如，其需要存储并利用包括计算密集型除法运算的高通或低通滤器以得到邻近像素值的加权平均值)。

在一些近邻和/或核心的尺寸是已知的实施例中，通过省略计数器E可实现进一步的效率。在这一点上，基于在该近邻中已知的像素的数量，可以知道计数的总数。另外，可假定不会导致计数器E或计数器G调整的任何比较将对应于像素具有相等值的那些比较。因此，计数器F拥有的值可由计数器E和G来确定(例如，(邻近像素数)－计数器E值－计数器G值＝计数器F值)。

在一些实施例中，可以仅使用单个计数器。在这一点上，对于所选像素具有比邻近像素大的值的每个比较，单个计数器可被选择性地以第一方式(例如，增加或减少)调整，对于所选像素具有比邻近像素小的值的每个比较，单个计数器可被选择性地以第二方式调整(例如，减少或增加)，对于所选像素具有等于(例如，精确等于或充分等于)邻近像素的值的每个比较，单个计数器可以不被调整(例如，保持其现存值)。因此，单个计数器的值可以表示大于或小于所选像素的比较像素的相对数量(例如，在比较所选像素和所有其对应的邻近像素之后)。

基于单个计数器的值，可以更新(例如，增加、减少或保持相同)所选像素的NUC项。例如，在一些实施例中，如果单个计数器在执行比较之后表现出基准值(例如，零或其它数)，则NUC项可以保持相同。在一些实施例中，如果单个计数器大于或小于基准值，则NUC项可选择性地适当增加或减少以降低所选像素和其对应邻近像素之间的整体差异。在一些实施例中，更新NUC项的条件是：基于具有不同于所选像素值的邻近像素的限制数量，单个计数器具有不同于基准值至少阈值量的值以防止NUC项过度偏离。

关于图23B-E，进一步说明了这些技术的各种方面。在这一点上，图23B是示出根据该公开实施例的噪声滤波红外图像的方法3100的流程图。虽然引用了与图23B的特定方框有关的系统2100的特定部件，但是关于图23B描述的各种操作可以通过任何适当部件来执行，诸如图像捕获部件2130、处理部件2110、噪声滤波模块2112、存储部件2120、控制部件2140和/或其它等。在一些实施例中，可例如代替图5和8的方框565-573执行图23B的操作。

在方框3110中，接收图像帧(例如，红外图像3000)。例如，如所述的，红外图像3000可以是由方框555和/或560提供的有意模糊的图像帧。

在方框3120中，噪声滤波模块2112选择将要确定NUC项的红外图像3000的像素。例如，在一些实施例中，所选像素可以是像素3040、3050或3060。然而，可以选择红外图像3000的任何像素。在一些实施例中，方框3120还可以包括将计数器E、F和G重新设置为零或其它适当的缺省值。

在方框3130中，噪声滤波模块2112选择与所选像素有关的近邻(例如，像素近邻)。如所述的，在一些实施例中，这些近邻可对应于在所选像素的选择距离范围内的像素。在所选像素3040的情况中，5的核心对应于近邻3042(例如，包括在所选像素3040周围的24个邻近像素)。在所选像素3050的情况中，5的核心对应于近邻3052(例如，包括在所选像素3050周围的24个邻近像素)。在所选像素3060的情况中，5的核心对应于近邻3062(例如，包括在所选像素3060周围的24个邻近像素)。如所述的，也可以考虑更大和更小核心尺寸。

在方框3140和3150中，噪声滤波模块2112比较所选像素和其邻近像素并基于在方框3140中执行的比较调整计数器E、F和G。可以以期望的组合执行方框3140和3150，以在执行每个比较之后和/或在所有比较之后更新计数器E、F和G。

在所选像素3040的情况中，图23C示出了在所选像素3040与邻近像素3042比较之后用直方图3200表示的计数器E、F和G的调整值。与所选像素3040相比，近邻3042包括具有高值的4个像素、具有等值的17个像素和具有低值的3个像素。因此，计数器E、F和G可被调整为图23C示出的值。

在所选像素3050的情况中，图23D示出了在所选像素3050与邻近像素3052比较之后用直方图3250表示的计数器E、F和G的调整值。与所选像素3050相比，近邻3052包括具有高值的0个像素、具有等值的6个像素和具有低值的18个像素。因此，计数器E、F和G可被调整为图23D示出的值。

在所选像素3060的情况中，图23E示出了在所选像素3060与邻近像素3062比较之后用直方图3290表示的计数器E、F和G的调整值。与所选像素3060相比，近邻3062包括具有高值的19个像素、具有等值的5个像素和具有低值的0个像素。因此，计数器E、F和G可被调整为图23E示出的值。

在方框3160中，基于计数器E、F和G的值更新(例如，选择性增加、减少或保持相同)所选像素的NUC项。这种更新可按照使用计数器E、F和G的值的任何适当的计算来执行。

例如，在所选像素3040的实例中，图23C中的计数器F表示大多数邻近像素(例如，17个邻近像素)具有等于所选像素3040的值，而计数器E和G表示少量邻近像素具有大于(例如，4个邻近像素)或小于(例如，3个邻近像素)所选像素3040的值。而且，具有大于和小于所选像素3040的值的邻近像素的数量是类似的(例如，分别是4个和3个邻近像素)。因此，在这种情况下，由于所选像素3040的进一步偏移很可能会将额外的非均匀性引入到红外图像3000中，所以噪声滤波模块2112可选择保持所选像素3040的NUC项相同(例如，不变化)。

在所选像素3050的情况中，图23D中的计数器G表示大多数邻近像素(例如，18个邻近像素)具有小于所选像素3050的值，而计数器F表示少量邻近像素(例如，6个邻近像素)具有等于所选像素3050的值，计数器E表示没有邻近像素(例如，0个邻近像素)具有大于所选像素3050的值。这些计数器值表明所选像素3050正展示出暗于大多数邻近像素的FPN。因此，在这种情况下，噪声滤波模块2112可选择减少所选像素3050的NUC项(例如，变亮所选像素3050)，以使它和具有较低值的大量邻近像素呈现出更多均匀性。

在所选像素3060的情况中，图23E中的计数器E表示大多数邻近像素(例如，19个邻近像素)具有大于所选像素3060的值，而计数器F表示少量邻近像素(例如，5个邻近像素)具有等于所选像素3060的值，计数器G表示没有邻近像素(例如，0个邻近像素)具有小于所选像素3060的值。这些计数器值表明所选像素3060正展示出亮于大多数邻近像素的FPN。因此，在这种情况下，噪声滤波模块2112可选择增加所选像素3060的NUC项(例如，使所选像素3060变暗)，以使它和具有更高值的大量邻近像素呈现出更多均匀性。

在方框3160中，可以递增地进行对所选像素的NUC的变化。例如，在一些实施例中，在方框3160中NUC项可以增加或减少小的量(例如，在一些实施例中仅一个或几个数字计数)。这种递增量可以防止NUC项大量快速变化，该NUC项可能会非故意地在红外图像3000中引入不期望的非均匀性。在图5和8的每个循环期间可以重复图23B的过程(例如，代替方框565和/或570)。因此，如果需要NUC项的大量变化，则在每个循环期间可重复地增加和/或减少NUC项，直到NUC值变稳定(例如，在进一步循环期间保持基本相同)。在一些实施例中，方框3160可进一步包括基于局部梯度和/或本文所述的时间阻尼加权于更新的NUC项。

在方框3170，如果仍然选择红外图像3000的附加像素，则该过程返回到方框3120，其中重复方框3120-3170以更新另一个所选像素的NUC项。在这一点上，方框3120-3170对红外图像3000的每个像素可至少循环一次以更新每个像素的NUC项(例如，可选择红外图像3000的每个像素并在方框3120-3170的对应循环期间更新其对应的NUC项)。

在方框3180中，在对红外图像3000的所有像素更新NUC项之后，该过程继续到图5和8的方框575。除了图23B的过程之外，也可以执行一个或多个方框565-573的操作。

图23B的过程可重复用于由方框555和/或560提供的每个有意模糊的图像帧。在一些实施例中，在方框3110接收的每个新图像帧都可基本不同于其它新近接收的图像帧(例如，在图23B过程的先前循环中)。这可以由例如基本静态场景2170、缓变场景2170、红外图像时域滤波和/或其它传感器产生。在这些情况下，因为在图23B的每个循环中可选择性的增加、减少它们或使它们保持不变一样，由图23B确定的NUC项的精确性会提高。结果，在一些实施例中，许多NUC项最终可达到基本稳定状态，其中在图23B的足够数量的循环之后和当图像帧基本不变时，它们保持相对不变。

也可以考虑其它实施例。例如，可重复方框3160多次以使用用于每个更新的同一红外图像更新一个或多个NUC项。在这一点上，在方框3160中更新一个或多个NUC项之后，或者在方框3160的附加循环中更新多个NUC项之后，图23B的过程可首次将一个或多个更新的NUC项(例如，还在方框3160中)应用于用于确定更新的NUC项的同一红外图像并返回到方框3120，以使用该实施例中的同一红外图像反复更新一个或多个NUC项。这种方法可用在例如脱机(非实时)处理中和/或用在具有足够处理能力的实时实现中。

可适当地将关于图23A-E描述的各种技术中任何一种技术与本文描述的其它技术组合在一起。例如，可以如期望地组合本文描述的各种技术的一些或所有部分以执行噪声滤波。

成像系统用于监视公众生活的几乎所有方面。公共区域的可见光谱图像(例如，海上航道、道路、地铁、公园、建筑物和建筑物内部)可以用于支撑大量的整体安全和安全组织和应用。然而，可见光谱监视通常局限于被例如太阳或人造可见光谱照明可见地照亮的区域或场景，以及例如局限于要不然不会被周围条件模糊的场景。根据本公开的各种实施方式，根据具体应用需要，在可见光谱监视未提供足够信息来监视场景时，可以使用红外监视来补充可见光谱监视。

可以使用包括红外成像模块的成像系统(诸如本文所公开的那些)来将监视系统的可用的时间范围拓展到场景未被可见地照亮的时间，例如在低光照条件下，或者拓展到例如场景中的可见光谱细节或者场景中的物体以其他方式被模糊的时间。具体地，包括本文所述的红外成像模块100的各种实施方式的成像系统具有超越常规监视系统的多个优点。

例如，红外成像模块100可以配置成实时或者接近实时地以相对高的细节以及相对高的精确度监视场景的温度和条件，其中场景不需要被充分照亮以供可见光谱成像模块同时成像。这就允许成像系统提供详细且可识别的图像，其包括场景的图像流(例如，视频)，而这与当前的环境条件是否允许场景的可见光谱成像无关。

在一些实施方式中，红外成像模块100可以配置成产生红外图像，其可以与在不同时间捕获的可见光谱图像合成并且产生场景的高分辨率、高对比度和/或目标的对比合成图像，该图像例如包括对应于场景中的一个或多个物体的非常精确的辐射测定数据(例如，红外信息)。例如，包括红外成像模块100的成像系统可以配置成检测热偏差(例如，不正常的温度)、多种类型的气体(例如，一氧化碳、甲烷、燃料废气和/或其他气体或类气体的雾化液体)、稠密/部分稠密的气体和流体泄露，并且例如可以在不经历常规传感器中出现的各种类型的热或其他传感器滞后的情况下实现上述目的。此外，包括红外成像模块100的成像系统可以配置成记录随时间变化的以上任何因素，并且检测检测到的红外发射、温度或其他相关场景情况的瞬间变化。

在附加实施方式中，红外成像模块100可以配置成产生红外图像，其可以与在基本上同时和/或在不同时间捕获的可见光谱图像合成并且产生场景的高分辨率、高对比度和/或目标的对比合成图像。在一些实施方式中，可以使用三重融合处理操作合成红外图像和可见光谱图像，该处理操作例如可以包括如本文所述的不均匀校正处理、真彩色处理和高对比度处理的可选择方面。在这样的实施方式中，可以通过用户输入、阈值、控制参数、缺省参数和/或成像系统的其他操作参数确定各种处理操作的可选择方面。例如，用户可以将不均匀校正、真彩色处理图像和/或高对比度处理图像的每个独立的相对贡献选择和/或精炼到显示给用户的合成图像。合成图像可以包括所有三个处理操作的方面，其可以在程序上和/或通过使用合适的用户接口实时调节。

在一些实施方式中，各种图像分析和处理可以根据与应用、场景、场景条件、成像系统配置、用户输入、成像系统的操作参数和/或其他逻辑关注点有关的具体模式或背景执行。例如，在航海成像的整个背景下，这种模式可以包括夜间停泊模式、人员落水模式、夜间巡航模式、日间巡航模式、薄雾条件模式、海岸线模式、夜间显示模式、混合模式、仅可见光模式、仅红外光模式和/或其他模式，例如美国专利申请No.12/477,828描述和/或提供的任何模式。分析和处理的类型可以包括高通和低通滤波、直方图均衡化、线性比例缩放、水平检测、线性映射、算术图像分量合成和其他在美国专利申请No.12/477,828和/或美国专利申请No.13/437,645中描述的其他分析和处理。

现在参照图24，图24示出了根据本公开的实施方式的适于图像场景4030的成像系统4000的结构图。系统4000可以包括一个或多个成像模块(例如，可见光谱成像模块4002a和红外成像模块4002b)、处理器4010、存储器4012、通信模块4014、显示器4016和其他部件4018。在合适的情况下，系统4000的元件可以按照与本文中所描述的其他装置和系统相同或相似的方式实施，并且可以配置成执行各种NUC处理和本文所述的其他处理。

如图24中所示，场景4030(例如，顶部平面图所示)可以包括各种重要的静态元素，例如，建筑物4032、窗户4034和人行道4036，并且场景4030还可以包括各种重要的瞬时元素，例如，车辆4040、推车4042和行人4050。每当场景4030由环境光(例如，日光)或者人造可见光谱光源可见地照亮时，例如，只要场景4030的那些元素没有被烟、雾或者其他环境条件以其他方式模糊，建筑物4032、窗户4034、人行道4036、车辆4040、推车4042和行人4050就可以通过可见光谱成像模块4002a成像。当例如场景4030没有被可见地照亮(例如，通过可见光谱光)时，建筑物4032、窗户4034、人行道4036、车辆4040、推车4042和行人4050可以由红外成像模块4002b成像，以提供场景4030的实时成像和/或低光照成像。

在一些实施方式中，成像系统4000可以配置成将第一次(例如，当场景4030被可见地照亮时)捕获到的来自可见光谱成像模块4002a的可见光谱图像与例如第二次(例如，当场景4030未被可见地照亮时)捕获到的来自红外成像模块4002b的红外图像合成，以例如产生合成图像，其包括辐射测定数据和/或其他红外特征，它们对应于场景4030但具有的物体细节和/或对比度比红外或可见光谱图像单方通常提供的多很多。在其他实施方式中，合成图像可以包括与场景4030中的一个或多个物体对应的辐射测定数据以及例如可见光谱特征，例如物体的可见光谱颜色(例如，重要的静态物体)。在一些实施方式中，红外图像和合成图像两者都可以是场景4030的基本上实时的图像或视频。在其他实施方式中，场景4030的合成图像在时间上可以基本上比例如使用存储的红外和/或可见光谱图像和/或视频捕获对应的红外和/或可见光谱图像迟地产生。在再进一步的实施方式中，合成图像可以包括在已经捕获对应的红外图像之前或之后捕获的场景4030的可见光谱图像。

在每个实施方式中，可以将包括场景4030的重要的静态元素(例如，建筑物4032、窗户4034和人行道4036)的可见光谱图像处理成提供可见光谱特征，其在与红外图像合成时，允许较容易地识别和/或解译合成图像。在一些实施方式中，较容易的识别和/或解译拓展到场景4030中的重要的静态元素和一个或多个瞬时元素(例如，车辆4040、推车4042和行人4050)。

例如，在场景4030被可见地照亮时由可见光谱成像模块4002a第一次捕获的建筑物4032、窗户4034和人行道4036的可见光谱图像可以与由红外成像模块4002b第二次(例如，在场景4030中的物体在可见光谱中模糊或者未被可见地照亮时)捕获的相对低分辨率和/或实时红外图像合成，以生成具有足够辐射测定数据、细节和对比度的合成图像，从而允许查看合成图像(例如，在显示器4016上)的用户更加容易地检测和/或识别车辆4040、推车4042和行人4050中的每个。

在进一步实施方式中，这种合成图像可以允许用户或者监视系统更加容易地检测和/或识别相对于红外成像模块4002b位于车辆4040之后的行人4050。例如，源于场景4030的现有可见光谱图像的可见光谱特征可以用于将足够的对比度和细节增加至包括实时红外图像的辐射测定分量(辐射测定数据)的合成图像，以使得用户和/或监视系统能够检测和识别在行人4050的呼出物、车辆4040的排放废气和建筑物4032、窗户4034或人行道4036的环境温度中的一个或多个之间的空间区别、温度差异和气体类型差异中的至少一个。

可见光谱成像模块4002a可以实施为能够在可见光谱中成像场景4030的至少一部分的任何类型的可见光谱照相机或成像装置。在一些实施方式中，可见光谱成像模块4002a可以是小形状因素可见光谱照相机或成像装置，并且可见光谱成像模块4002a可以与本文所公开的红外成像模块的各种实施方式相类似地实施，但是其中一个或多个传感器适于在可见光谱中俘获辐射。例如，在一些实施方式中，成像模块4002a可以实施有电荷荷藕装置(CCD)传感器、电子乘法CCD(EMCCD)传感器、互补金属氧化物半导体(CMOS)传感器、科学级CMOS(sCMOS)传感器或其他传感器。

可见光谱成像模块4002a可以包括可见光谱传感器的FPA，并且可以例如配置成捕获、处理和/或管理场景4030的可见光谱图像。可见光谱成像模块4002a可以配置成根据多种不同的色彩空间/格式(例如，YCbCr、RGB和YUV)存储和/或传送捕获的可见光谱图像，并且例如单独的可见光谱图像可以根据它们的指定色彩空间和/或可见光谱成像模块4002a的具体特征而被色彩修正和/或校准。

在一些实施方式中，红外成像模块4002b可以是根据本文所公开的各种实施方式实施的小形状因素红外照相机或成像装置。例如，红外成像模块4002b可以包括根据本文所公开的各种实施方式实施的或者要不然合适的FPA。红外成像模块4002b可以配置成捕获、处理和/或管理红外图像，其包括场景4030的至少部分的热图像。例如，图29示出了根据本公开的实施方式的由红外成像模块捕获的未处理的红外图像4500。图35示出了根据本公开的另一实施方式的画中画合成图像5100，其包括由红外成像模块捕获的场景的低分辨率红外图像5102。

红外成像模块4002b可以配置成根据多种不同的色彩空间/格式(例如，YCbCr、RGB和YUV)存储和/或传送捕获的红外图像，例如其中辐射测定数据可以编码到特定色彩空间/格式的一个或多个元素。在一些实施方式中，公共的色彩空间可以用于存储和/或传送红外图像和可见光谱图像。

可以安装红外模块4002a-b，以使得至少一部分场景4030在成像模块4002a-b的共享视场(FOV)内。在各种实施方式中，成像模式4002a-b可以包括各自的光学元件4004a-b(例如，可见光谱和/或红外透射透镜、棱镜、反射镜、光纤)，其将可见光谱和/或红外辐射从场景4030引导到红外模块4002a-b的传感器(例如，FPA)。当将成像模块安装在特定FOV限定的位置是困难或者不可能时，可以使用这种光学元件。例如，可以将柔性光纤线缆用于将可见光谱和/或红外辐射从密封的建筑隔断(例如，银行金库或空气调节口)引至安装在密封的建筑物隔断外的成像模块。这种光学元件还可以用于适当地限制或改变成像模块的FOV。可以可选地提供可切换FOV(例如，由对应的成像模块和/或处理器4010可选择的)以提供部分场景4030的交替的远景和近景视图，或者例如提供场景4030的聚焦和散焦视图。

在一些实施方式中，可见光谱成像模块4002a和/或红外成像模块4002b中的一个或多个可以配置成被摇动、倾斜和/或缩放，以从任何期望的方向查看周围环境(例如，场景4030的任何期望部分和/或环境的其他部分)。例如，在一些实施方式中，可见光谱成像模块4002a和/或红外成像模块4002b可以是摇动-倾斜-缩放(PTZ)照相机，其可以由成像系统4000的合适部件远程控制。

在一些实施方式中，可以预期：至少一个成像模块4002a/4002b可以捕获场景4030的相当大部分的图像，并且成像模块4002a/4002b中的至少另一个可以随后捕获场景4030的较小子集的另一个图像(例如，以提供场景4030的感兴趣区域的图像)。例如，可以预期：可以捕获场景4030的大部分的红外图像的可见光谱或红外图像，并且场景4030的子集的红外或可见光谱图像可以被随后捕获并且覆盖之前的图像、与之前的图像混合和/或要不然合成，以允许用户选择性地查看可能是理想的场景4030的子集的可见光谱和/或红外图像部分。

如图24中所示的系统4000的实施方式所示，可以实施成像模块4002a-b，以使得可见光谱成像模块4002a的光轴平行于红外成像模块4002b的光轴，并且距红外成像模块4002b的光轴距离为“d”。此外，成像模块4002a和4002b可以具有不同的FOV，其在图24中由各自的角度α和β表示，它们可以是不同的角度(例如，如图24中所示)或者基本上相同。在这样的实施方式中，当如本文所述那样产生合成图像时，成像模块4002a-b和/或处理器4010中的一个或多个可以配置成修正由非零“d”和/或(α-β)产生的不同的FOV和/或视差。

在一些实施方式中，系统4000可以包括两种类型的多个成像模块(例如，两个或更多个)，其中成像模块组可以具有多种不平行的光轴和场景4030的不同的FOV。在这样的实施方式中，当产生的合成图像包括源于捕获的可见光谱图像的场景4030的可见光谱特征和源于捕获的红外图像的场景4030的红外特征(例如，红外图像的辐射测定分量)时，构成的成像模块和/或处理器4010中的一个或多个可以配置成修正未对准的光学装置中的所有或一些子集。

在其他实施方式中，可以实施成像模块以共享光学元件的单个可选集(例如，根据捕获的图像的类型，具有可选的可见光谱和红外光学元件)，例如以使得成像模块具有相同的视场和相同的光轴。在这种实施方式中，可以不执行FOV和/或视差校正。

可以通过各种色彩空间(例如，YCbCr、RGB、YUV)和其他已知的或专用色彩空间中的成像模块4002b和处理器4010中的一个或多个，存储、传送和/或处理由成像模块4002b捕获、存储和/或传送的红外图像。在一些实施方式中，可以将辐射测定数据编码成红外图像中的一个或多个分量，该辐射测定数据对应于作用于红外传感器或红外传感器的FPA的红外发射碰撞的测量。例如，在用于红外图像的指定的色彩空间是YCbCr的情况下，可以将红外成像模块4002b捕获的辐射测定数据编码成红外图像的发光度分量(例如，Y)。在相关实施方式中，可以取消、删除和/或不使用红外图像的对应的色度分量(例如，Cr和Cb)，或者可以将其设置成特定的已知值，例如，一个或多个基色的灰度或组合。

在其他实施方式中，在亮度分量(例如,Y)被设置成特定的已知值(例如，中级值)时，可以将辐射测定数据编码成对应的红外图像的色度分量(例如，Cr和Cb)。例如，可以将辐射测定数据的范围编码成单个基色的范围，或者例如可以将其编码成基色的组合的范围。在一个实施方式中，将辐射测定数据编码成一个或多个基色可以包括将假色调色板应用到红外图像的辐射测定分量。

在进一步的实施方式中，可以将辐射测定数据编码成红外图像的亮度和色度分量(例如，Y和Cr和Cb)。例如，红外成像模块4002b可以适于感测跨越红外频率的特定带宽的红外辐射。亮度分量可以包括对应于红外辐射的强度的辐射测定数据，色度分量可以包括对应于正被感测的红外辐射的频率值(例如，根据假色调色板)的辐射测定数据。在这种实施方式中，产生的红外图像的辐射测定分量可以包括红外图像的亮度和色度分量。

在再进一步的实施方式中，可以根据模块专用的色彩空间存储红外成像模块4002b捕获的红外图像，例如可以将其存储为用于红外成像模块4002b的每个像素的原始辐射测定数据(例如，未压缩的)。在一些实施方式中，产生的红外图像的辐射测定分量可以包括原始辐射测定数据，并且红外模块4002a-b和/或处理器4010中的一个或多个可以配置成处理原始辐射测定数据，以产生包括场景4030的红外特征的合成图像。

红外成像模块4002b捕获、处理和要不然管理的红外图像可以是在辐射测定上规范化的红外图像(例如，热图像)。构成捕获图像的像素可以包括校准的热数据(例如，绝对温度)。如以上结合图1的红外成像模块100所讨论，可以使用合适的技术校准红外成像模块4002b和/或相关的部件，以使得红外成像模块捕获的图像是适当校准的红外图像。在一些实施方式中，合适的校准处理可以通过红外成像模块4002b和/或处理器4010周期性地执行，以使得红外成像模块及其捕获的红外图像保持精确校准。在其他实施方式中，红外成像模块4002b和/或处理器4010可以配置成执行其他处理，以强调辐射测定数据的期望范围或间隔，以及例如根据辐射测定数据的期望范围分配产生的红外图像的一个或多个分量的动态范围。因此，红外图像的辐射测定分量可以包括校准的辐射测定数据、未校准的辐射测定数据和/或调节的辐射测定数据。

可以将处理器4010实施成本文所述的合适的处理装置。在一些实施方式中，处理器4010可以是其他的常规处理器的一部分或者用其他的常规处理器实施，并且控制监视场景4030的监视系统的电子装置。例如，用于场景4030的监视系统可以包括一个或多个处理器或者控制电子装置，控制电子装置用于控制警报、处理图像或视频数据和/或通知各种用户，上述中的任何一个可以用于实施所有或部分处理器4010。在其他实施方式中，处理器4010可以与这种其他的控制电子装置和处理器以及与这种处理器有关的任何监视系统接口和通信。在一些实施方式中，处理器4010可以配置成控制、监视和/或通信在场景4030中或靠近场景4030中的光、动画信号或者警笛，例如，在一些实施方式中，根据用户、技术人员或者出厂默认设置的方案这样配置。这种方案可以决定是否将特定通知或通知类型提供给用户，或者例如以确定何时使能一个或多个检测系统部件。

处理器4010可以配置成与系统4000中的其他部件接口和通信，以执行本文所述的方法和处理，本文所述的方法和处理包括提供控制信号给监视场景4030的监视系统的一个或多个部件。处理器4010可以配置成接收由图像模块4002a-b在第一次和第二次(例如，在可见地照亮时以及在未可见地照亮时)捕获的场景4030中的至少一部分的可见光谱和红外(例如，热)图像，执行本文所述的图像处理操作，以及由捕获的图像产生合成图像以例如提供场景4030中的物体和/或部分物体的高分辨率、高对比度或者目标的对比合成图像。处理器4010还可以配置成编辑、分析或者要不然处理可见光谱图像、红外图像和背景数据(例如，时间、日期、环境条件)，以产生关于场景4030的监视信息，例如，关于场景4030中的检测物体的监视信息。

例如，处理器4010可以根据合成图像确定场景4030中的物体或部分物体的总温度，合成图像包括来自由红外成像模块4002b提供的校准的红外图像的辐射测定数据。处理器4010可以产生监视信息，其包括例如基于确定的温度读取的温度。处理器4010还可以确定物体的温度是否在典型的操作温度范围内，以及产生包括通知或警报的监视信息，该通知或警报表明温度在典型范围之外。

在另一实例中，处理器4010可以执行对场景4030中的物体的可见光谱、红外和/或合成图像的各种图像处理操作和图像分析，以获得物体的温度分布和差异图表。处理器4010可以将获得的图表关联和/或匹配到正常条件的图表，以检测例如溢流的井盖、场景4030中的物体附近产生的大量的甲烷或其他气体、泄露的消防栓、运行的车辆(例如，排放废气)或者场景4030的其他情况。

再另一实例中，处理器4010可以执行场景4030的可见光谱、红外和/或合成图像的各种图像处理操作和图像分析，以检测进入场景4030的瞬时物体。基于该检测，处理器4010可以产生包括警报或其他视觉和听觉通知的监视信息，该警报或其他视觉和听觉信息表明瞬时物体到达。

在一些实施方式中，处理器4010可以配置成使用合适的方法和算法将动力系统4030一部分的可见光谱、红外和/或合成图像转换成用户可见的图像(例如，温谱图)。例如，可以将包含在红外和/或合成图像中的温谱数据转换成灰度标度或色彩标度的像素，以构造可以在显示器上看到的图像。这种转换可以包括调节合成图像的一个或多个分量的动态范围以匹配显示器4016的动态范围，从而例如强调特定辐射间隔和/或增加用户可见图像的感觉到的对比度。用户可见图像可以可选地包括说明或标度，其表明对应像素颜色和/或强度的大致温度。这种用户可见图像如果出现在显示器(例如，显示器4016)上，则可以用于确定或者更好地理解系统4000检测的场景4030的情况。处理器4010产生的监视信息可以包括这种用户可见图像。

存储器4012可以包括一个或多个存储器装置(例如，存储器部件)，以存储包括可见光谱、红外和/或合成图像、背景数据和监视信息的数据和信息。存储器装置可以包括各种类型的存储器以用于图像和其他信息存储，其包括易失性和非易失性存储器装置，例如RAM(随机访问存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪存、磁盘驱动器和本文描述的其他类型的存储器。在一个实施方式中，可以检索(例如，由用户)存储在存储器装置中的图像、背景数据和监视信息，以查看和进一步确定场景4030的检测情况或从捕获的可见光谱和红外图像提炼一种产生合成图像的方法。在另一个实施方式中，存储器4012可以包括便携式存储器装置，其可以从系统4000去除，并且用于将存储的数据转送到包括监视系统的其他系统，以例如进一步处理和检查。在一些实施方式中，处理器4010可以配置成执行存储在存储器4012和/或机器可读媒介193上的软件指令，以根据本文所述的方式执行各种方法、处理或操作。

显示器4016可以配置成成像、表明或者要不然传送由处理器4010产生的合成图像和/或监视信息。在一个实施方式中，显示器4016可以实施有各种发光的图标、符号、指示物和/或度量，其可以与常规指示物、度量和常规监视系统的警报灯相似。发光的图标、符号和/或指示物可以表明与合成图像和/或监视信息相关的一个或多个通知或警报。发光的图标、符号或指示物还可以与字母数字显示面板(例如，分离的LED面板)配合，以显示表示其他监视信息的字母和数据，例如，温度读数、检测条件的说明或分类等。

在其他实施方式中，显示器4016可以实施有电子显示屏，例如，液晶显示器(LCD)、电子射线管(CRT)或者各种其他类型的公知的视频显示器和监视器，包括触控式显示器。显示器4016可以适于呈现用户可见的可见光谱、红外和/或合成图像，所述图像由处理器4010从图像模块4002a-b捕获的图像检索和/或产生。可以预期：可以将常规监视系统显示屏用作显示器4016。

通信模块4014可以配置成促进系统4000的各个部件之间的通信和连接。例如，诸如成像模块4002a-b、显示器4016和/或其他部件4018的元件可以通过通信模块4014将数据传送到处理器4010，以及通过通信模块4014从处理器4010接收数据，通信模块4014可以管理各种部件之间的有线和/或无线连接(例如，通过专用RF链接、专用红外链接和/或标准的无线通信协议，诸如IEEE802.11WiFi标准和Bluetooth^TM)。这种无线连接可以允许成像模块4002a-b安装在其将便于提供例如有线连接的位置。

通信模块4014可以进一步配置成允许系统4000的部件与监视场景4030的监视系统的其他部件通信和接口。例如，处理器4010可以通过通信模块4014与运动检测器、烟雾检测器和其他现有的传感器和电子部件通信。这样，通信模块4014可以支持用于联网的各种接口、协议和标准，例如，控制器局域网络(CAN)总线、局域互连网络(LIN)总线、面向媒体的系统传输(MOST)网络、或ISO 11738(或ISO总线)标准。此外，通信模块4014可以配置成使用这些接口和协议发送处理器4010产生的控制信号。

在一些实施方式中，系统4000可以包括多个通信模块4014，其适于针对各种类型场景的系统4000的各种应用。在其他实施方式中，通信模块4014可以集成或者实施成系统4000的各种其他部件的一部分。例如，成像模块4002a-b、处理器4010和显示器4016可以每个都包括可以配置成执行通信模块4014的操作的子部件，并且可以在没有分离的通信模块4014的情况下，通过有线和/或无线通信彼此间通信。

在一些实施方式中，其他部件4018可包括其他传感器，比如温度传感器(例如，热电偶、红外测温计)、湿度传感器、电传感器(例如，电压计/电流计/电阻计)、压力传感器(例如，气压计)和/或可见光谱照度计。来自诸如温度、湿度、压力或光传感器等的传感器的数据可被处理器4010利用以检测并潜在地补偿环境状况(例如，雾、烟或其他低光状况)，并且借此获得场景4030的更准确并更易于解读的合成图像和衍生状况。

其他部件4018还可包括有益于系统4000的各种应用的任何其他装置。在一些实施方式中，其他部件4018可包括报时装置、具有用于产生音调的相关电路的扬声器或可用于基于由处理器4010生成的合成图像发出可听警报或通告的其他装置。在另外的实施方式中，其他部件4018可包括用户接口以接受例如期望的生成合成图像的方法、目标对比度或相应的辐射测定间隔和/或动态范围、系统4000的通告设置、外部传感器数据或上下文信息的用户输入。

在各种实施方式中，取决于应用要求，系统4000的一个或多个部件可以组合和/或实施或者不实施。例如，处理器4010可以与成像模块4002a-b、存储器4012、显示器4016、和/或通信模块4014组合。在另一实例中，处理器4010可以与成像模块4002a-b中的任何一个组合，仅处理器4010的某些操作由红外成像模块中的任何一个内的电路(例如，处理器、逻辑器件、微处理器、微控制器等)执行。

因此，可以根据场景4030安装系统4000的一个或多个部件以在微光情况下提供场景4030的实时和/或增强的红外监视。例如，系统4000可用于检测场景4030中的瞬时物体、液体泄漏、气体积聚和反常温度。

转到图25，图25示意了根据公开的实施方式增强场景的红外成像的过程4100的流程图。举例来说，过程4100的一个或多个部分可以通过处理器4010和/或系统4000的成像模块4002a-b中的任何一个以及利用光学元件4004a-b、存储器4012、通信模块4014、显示器4016或其他部件4018中的任何一个来执行，其中可以根据场景4030的至少一部分来安装成像模块4002a-b和/或光学元件40104a-b中的每一个。在一些实施方式中，可以以分布式方式安装系统4000的某些元件(即，可以安置在场景4030内部和外部的不同区域中)并且可以使用一个或多个通信模块4014无线地彼此耦接。在另外的实施方式中，成像模块4002a-b可以位于场景4030的视野外但是可以通过光学元件40104a-b接收场景4030的视野。

应当理解，识别系统4000和场景4030仅出于给出示例的目的并且任何其他合适的系统可包括根据任何其他类型的场景安装的一个和多个部件并且执行过程4100的全部或部分。还应当理解，可以以与图25示意的实施方式不同的顺序或布置执行过程4100的任何步骤、子步骤、子过程或块。例如，尽管过程4100描述了在捕获红外图像之前捕获了可见光谱图像，然而在其他实施方式中，可以在捕获红外图像之后捕获可见光谱图像。

在一些实施方式中，过程4100的任何部分可以在回路中实施以便在一系列红外和/或可见光谱图像(比如，场景4030的视频)上连续地执行。在其他实施方式中，过程4100可以在部分反馈回路中实施，部分反馈回路包括例如将中间处理(例如，在接收红外和/或可见光谱图像之后或之时，执行预处理器操作、生成合成图像、执行后处理操作或执行过程4100的其他处理)显示给用户，和/或包括例如接收用户输入，比如涉及任何中间处理步骤的用户输入。

在块4102，系统4000可接收(例如，接受)用户输入。例如，显示器4016和/或其他部件4018可包括用户输入装置，比如触敏屏、键盘、鼠标、拨盘或控制杆。系统4000的处理器4010可配置成例如使用显示器4016或可听音调提示用户输入，并例如从用户输入装置(例如，一个或多个其他部件4018)接收用户输入以确定生成合成图像的方法、选择辐射测定间隔、输入上下文和/或传感器数据、选择颜色或假色调色板以用于一个或多个图像类型、选择或改善混合参数、选择或改善控制参数、选择或改善阈值或确定系统4000的其他操作参数，如本文所述。例如，系统4000可提示用户去选择用于生成场景4030的合成图像的混合或高对比度模式，并且在接收用户输入之后，系统4000可继续模式。

系统4000可配置成在过程4100期间在任何点处接收用户输入。例如，块4102的实施方式可以放置于过程4100的任何块之前、之后或其中。在一些实施方式中，系统4000可配置成在系统4000正在执行块4130的包含反馈回路的实施方式(例如，产生合成图像)的同时，接收用户输入以选择或改善例如混合参数、控制参数和/或其他操作参数。在此类实施方式中，反馈回路可包括在例如接收用户输入选择、改善或调整混合参数和/或生成合成图像的方法的同时(例如，利用显示器4016)向用户显示合成图像。用户输入例如可用于生成新的和/或调整的合成图像，然后将新的和/或调整的合成图像显示给用户进行评估(例如，块4152的实施方式)。在另外的实施方式中，反馈回路可包括接收附加的用户输入以例如退出反馈回路并继续过程4100，或在过程4100的任何步骤、子步骤、子过程处重新进入过程4100。

在其他实施方式中，用户输入可用于控制成像模块4002a-b中一个或多个的环视、倾斜和或变焦功能。例如，反馈回路可包括给用户显示由成像模块4002a-b中的一个根据第一视角捕获的场景4030的第一图像、接收用户输入以使另外的成像模块环视、倾斜或变焦到相似的和/或进一步放大的第二视角以突出场景4030的感兴趣部分，并且然后将由另外的成像模块捕获的第二图像和/或包括第一视角和第二视角的方面的合成图像显示给用户。在一些实施方式中，合成图像可以是根据本文描述的处理操作生成的第二图像和第一图像的叠覆和/或混合。

图35示意了可以根据这种反馈回路生成的合成图像5100。例如，红外成像模块4002b可以根据第一视角捕获红外图像5102并将其显示给用户。然后，系统4000可以接受用户输入以使可见光谱成像模块4002a环视、倾斜或变焦到第二视角(由部分5104示意)并根据第二视角捕获可见光谱图像。然后，系统4000可将包括第一视角(例如，红外图像5102)的方面和第二视角(例如，对应于高空间频率含量5106的可见光谱图像和/或高空间频率含量5106)的方面的合成图像5100显示给用户。因此，系统4000的实施方式允许用户和/或监视系统在相同时间或在不同时间成像/监视场景4030的不同视角，并且然后调整成像模块的一个或多个视角以成像/监视场景1430的感兴趣部分。

在块4104处，系统4000可确定用于过程4100的一个或多个阈值。例如，处理器4010和/或成像模块4002a-b可配置成根据在块4102中接收的用户输入确定阈值。在一种实施方式中，处理器4010可配置成根据由系统4000的一个或多个模块捕获的图像和/或图像数据确定阈值。在不同的实施方式中，处理器4010可配置成使用这些阈值来设定、调整或改善一个或多个控制参数、混合参数或其他操作参数，如本文所述。例如，阈值例如可以与一个或多个处理操作相关，比如图25的块4120-4140、图26的块4232-4238以及图27的块4320-4326。

在一种实施方式中，如在下文全面描述的，阈值与用于生成合成图像的方法相关。这些阈值可用于确定用于生成合成图像的方法、生成混合图像数据的混合参数、与对图像去噪声相关的极限或增益、用于确定对于合成图像的相对贡献的一个或多个控制参数或用于确定本文所述的生成合成图像的其他方面。在一些实施方式中，阈值例如可用于确定基于逐像素的处理步骤的方面，或者例如可用于可见光谱、红外和/或合成图像的区域。在一个实施方式中，阈值可用于选择默认参数(例如，混合参数、控制参数和其他操作参数)以用于本文描述的一个或多个处理操作。

以与块4102相似的方式，系统4000可配置成在过程4100期间任何点处确定阈值。例如，块4104的实施方式可以放置于过程4100的任何块之前、之后或其中，包括带有包含的反馈回路的实施方式。在这些实施方式中，反馈回路可包括例如在确定与选择、改善或调整混合参数、控制参数、生成合成图像的方法和/或其他操作参数相关的阈值的同时，将合成图像(例如，利用显示器4016)显示给用户。确定的阈值可用于生成新的和/或调整的合成图像，然后将新的和/或调整的合成图像显示给用户进行评估(例如，块4152的实施方式)。

在块4110处，系统4000可捕获一个或多个可见光谱图像。例如，处理器4010和/或可见光谱成像模块4002a可配置成在第一时间捕获场景4030的可见光谱图像，比如在场景4030被可视地照明的时候。在一种实施方式中，处理器4010、可见光谱成像模块4002a和/或其他部件4018可配置成检测上下文数据，比如日间的时间和/或照明或环境状况，并通过以下来确定合适的第一时间：确定存在充足的环境光和环境清晰度来确定第一时间，以捕获具有足够细节和/或对比度的可见光谱图像，从而辨别物体或生成具有足够细节和/或对比度的合成图像以用于系统4000的特定应用，比如侵入监视或消防安全监视。在其他实施方式中，处理器4010和/或可见光谱成像模块4002a可配置成根据用户输入和/或安排捕获可见光谱图像。可见光谱成像模块4002a可配置成捕获各种彩色空间/格式的可见光图像，包括原始(raw)或未压缩格式。

在块4112处，系统4000可接收和/或存储可见光谱图像和相关的上下文信息。例如，处理器4010和/或可见光谱成像模块4002a可配置成从可见光谱成像模块4002a的传感器部分接收场景4030的可见光谱图像、从其他部件4018接收上下文数据并且然后将可见光谱图像和上下文数据一起存储在可见光谱成像模块4002a的存储器部分中和/或存储器4012中。

上下文数据可以包括与场景4030的图像相关的各种性质和环境条件，例如时间戳、环境温度、环境气压、场景4030中的运动的检测、图像模块4002a-b中一个或多个的定向、光学元件400a-b中一个或多个的配置、自成像开始起消耗的时间和/或场景4030中的物体的识别以及可见光谱或它们在红外图像的一个或多个中的坐标。

上下文数据可指导如何处理、分析和使用图像。例如，上下文数据可揭示图像是在环境光水平高时摄取的。这种信息可指示捕获的可见光谱图像可能需要附加的曝光修正预处理。以这种和各种其他方式，(例如，通过处理器4010)可利用上下文数据来确定相关图像的合适应用。如在下文进一步描述的，上下文信息还提供用于执行图像分析和处理的输入参数。在不同的实施方式中，上下文数据可以在处理器(例如，处理器4010)处直接收集、处理和以其他方式进行管理而不存储在单独的存储器中。

可以以是或不是接收的可见光谱图像的彩色空间/格式的各种彩色空间/格式存储可见光谱图像。例如，处理器4010可配置成从RGB彩色空间中的可见光谱成像模块4002a接收可见光谱图像，然后在YCbCr彩色空间中转换并存储该可见光谱图像。在其他实施方式中，处理器4010和/或可见光谱成像模块4002a可配置成在存储图像之前在接收的可见光谱图像上执行其他处理，比如缩放、增益修正、彩色空间匹配和本文相对于块4120描述的其他预处理操作。

在块4114，系统4000可可选地配置成等待一个时间段。例如，处理器4010可配置成例如在继续过程4100之前等待直到场景4030不被可视地照明，或者直到由于环境状况场景4030在可见光谱中变得模糊。在其他实施方式中，处理器4010可配置成在继续过程4100之前等待安排的时间段或者直到安排的时间。取决于例如环境光水平和/或环境状况可以对该时间和/或时间段调整。在一些实施方式中，该时间段可以是相当长的时间段，比如十二小时、几天、几个星期或者相比于场景4030内物体(例如，车辆、行人)运动的典型时间相对长的其他时间段。

在块4116，系统4000可捕获一个或多个红外图像。例如，处理器4010和/或红外成像模块4002b可配置成在第二时间(比如，当场景4030不被可视地照明时，或在块4114中执行的特定时间段后)捕获场景4030的红外图像。由红外成像模块捕获的未处理器的红外图像的实例在图17和21中提供。

在一些实施方式中，该第二时间可以与块4110中涉及的、例如相对于瞬时物体进入并离开场景4030一般需要的第一时间显著不同。处理器4010和/或红外成像模块4002b可配置成检测上下文数据，比如时间、日期和照明状况，并通过根据系统4000的特定应用确定环境光水平过低而不能捕获具有足够细节和/或对比度的可见光谱图像以辨别场景4030中的物体来确定第二时间。在一些实施方式中，处理器4010和/或红外成像模块4002b可配置成通过分析由成像模块4002a-b捕获的一个或多个可见光谱和/或红外图像来确定合适的第二时间。在其他实施方式中，处理器4010和/或红外成像模块4002b可配置成根据用户输入和/或安排来捕获红外图像。红外成像模块4002b可配置成捕获各种彩色空间/格式的红外图像，包括原始或未压缩格式。这些图像可包括编码成红外图像的辐射测定分量的辐射测定数据。

在块4118，系统4000可接收和/或存储红外图像和相关的上下文信息。例如，处理器4010和/或红外成像模块4002b可配置成从红外成像模块4002a的传感器部分接收场景4030的红外图像，从其他部件4018接收上下文数据，并且然后将红外图像和上下文数据一起存储在红外成像模块4002b的存储器部分中和/或存储器4012中。上下文数据可包括例如与图像相关的各种属性和环境状况，并且例如可指导如何处理、分析和使用图像。

可以以是或不是接收的红外图像的彩色空间/格式的各种彩色空间/格式存储红外图像。例如，处理器4010可配置成从红外成像模块4002b接收原始辐射测定数据格式的红外图像，然后在YCbCr彩色空间中转换并存储该红外图像。在其他实施方式中，辐射测定数据例如可编码成红外图像的亮度分量(例如，Y)、色度分量(例如，Cr和Cb)或亮度分量和色度分量。在其他实施方式中，处理器4010和/或红外成像模块4002b可配置成在存储图像之前在接收的红外图像上执行其他处理，比如缩放、增益修正、彩色空间匹配和本文相对于块4120描述的其他预处理操作。

在块4120，系统4000可执行各种预处理操作。例如，成像模块4002a-b和/或处理器4010中的一个或多个可配置成在由成像模块4002a-b捕获的场景4030的可见光谱和/或红外图像上执行一个或多个预处理操作。

预处理操作可包括在图像的全部或部分上(比如，图像的分量，或者例如图像的像素的选择，或者在选择上或者在图像系列的选择上)执行的各种数值、位和/或组合的操作。在一种实施方式中，处理操作可包括对于由于成像模块4002a-b具有不同的FOV或非共线光轴导致的不同FOV和/或视差进行修正的操作。这些修正可包括例如图像裁剪、图像变形(比如，将像素数据映射到图像中的新位置)、空间滤波和重采样。在另一实施方式中，可以将可见光谱和/或红外图像的分辨率缩放以近似或匹配对应图像的分辨率(例如，可见光谱到红外，或红外到可见光谱)、图像的一部分(例如，用于画中画(PIP)效果)、显示器4016的分辨率、或由用户、监视系统或特定的图像处理步骤执行的分辨率。分辨率缩放可包括例如对图像重采样(例如，上采样或下采样)或可包括空间滤波和/或裁剪图像。

在另一实施方式中，预处理操作可包括时间和/或空间噪声减小操作，其可在可见光谱和/或红外图像上执行，并且其包括使用例如由成像模块4002a-b中的一个或者两个提供的一系列图像。图30示意了包括根据公开的实施方式在低通滤波以减小噪声之后的图29的红外图像4500的红外图像4600。在另一实施方式中，例如通过使用本文描述的各种NUC技术，可以在捕获并存储的图像上执行NUC过程以消除其中的噪声。在一种实施方式中，可以分析与红外图像相关的上下文数据以选择将由本文描述的NUC过程使用的模糊的红外图像(例如，基于运动和/或基于对焦模糊的热图像)。在另一实施方式中，可以执行红外图像的其他校准过程，比如在由成像模块4002a-b中的一个或者两个提供的一个或多个图像上执行剖析、训练、基线参数构造和其他统计分析。由这种过程产生的校准参数可以应用至图像以修正、校准或者要不然调整红外图像中的辐射测定数据，或者修正一个或多个可见光谱图像的颜色或强度数据。

在另外的实施方式中，预处理操作可包括在其中多个一般图像特征可被归一化和/或修正的操作。在一种实施方式中，可以分析图像以确定图像的一个或多个分量的强度分布，例如RGB彩色空间图像中红色强度的分布，或者YUV或YCbCr彩色空间图像中亮度强度的分布。基于这类分布例如可以确定对于图像的整体增益和/或补偿，并且整体增益和/或补偿可用于调整分布使其匹配预期的(例如，修正的)或需要的(目标的)分布。在其他实施方式中，可以确定整体增益和/或补偿以便分布的特定区间更多地利用图像的特定分量或者多个分量的动态范围。

在一些实施方式中，第一图像的动态范围(例如，红外图像的辐射测定分量的动态范围)可以均一化到第二图像的动态范围(例如，可见光谱图像的亮度分量的动态范围)。在其他实施方式中，可以根据例如直方图均衡方法、线性缩放方法或者该两种方法的组合调整特定图像的动态范围，以根据包含在特定图像或选择的图像中的信息来分布动态范围。

在另外的实施方式中，可以执行图像动态范围或其他方面的调整和/或均一化，同时保持红外图像的辐射测定分量的校准。例如，可以调整红外图像的非辐射测定分量的动态范围而不调整红外图像的辐射测定分量的动态范围。在其他实施方式中，可以调整图像的辐射测定分量以例如强调特定的热区间，并且例如可以和红外图像一起存储调整，以便可以将准确的温度对应性(例如，假色和/或强度对应性)连同对应于热图像和/或包括源自热图像的红外特征的合成图像的用户可观看图像呈现给用户。

在其他实施方式中，预处理操作可包括将可见光谱和/或红外图像转换到不同的或共同的彩色空间。例如，可将可见光谱图像和/或红外图像例如从RGB彩色空间转换到共同的YCbCr彩色空间。在其他实施方式中，可以将原始或未压缩格式的图像转换到共同的RGB或YCbCr彩色空间。在一些实施方式中，假色调色板(例如由用户在块4102中选择的假色调色板)可以被应用作为块4120中执行的预处理操作的一部分。如同动态范围调整，可以执行彩色调色板的应用而同时保持例如红外图像的辐射测定分量的校准，或可见光谱图像的彩色空间校准。

在另一实施方式中，处理操作可包括将图像分解成各种分量。例如，包括原始或未压缩辐射测定分量的彩色空间/格式的红外图像可以转换成YCbCr彩色空间中的红外图像。原始辐射测定分量可以例如编码成转换的红外图像的亮度分量(例如，Y)，或编码成转换的红外图像的色度分量(例如，Cr和/或Cb)，或编码成转换的红外图像的亮度分量和色度分量。在一些实施方式中，可以例如丢弃未使用的分量，或将其设置到已知值(例如，黑、白、灰或特定的原色)。以相似的方式，可见光谱图像也可以转换和分解成组成的分量。可以例如替换原始图像存储分解的图像，并且分解的图像可包括上下文数据，上下文数据指示所有的彩色空间转换和分解以便潜在地保持原始图像的辐射测定和/或彩色空间校准。

更一般地，可以例如替换原始图像存储预先处理的图像，并且预先处理的图像可包括上下文数据，上下文数据指示所有应用的预处理操作以便潜在地保持原始图像的辐射测定和/或彩色空间校准。

在块4130处，系统4000可根据捕获的和/或预处理的图像生成一个或多个合成图像。例如，成像模块4002a-b和/或处理器4010中的一个或多个可配置成从由成像模块4002a-b捕获的可见光谱和红外图像生成场景4030的合成图像。在一种实施方式中，可以在红外图像之前捕获可见光谱图像。在可选的实施方式中，可以在可见光谱图像之前捕获红外图像。相比于可见光谱图像或红外图像单独提供的图像化描述，这些合成图像可用于提供增强的图像化描述。

在一种实施方式中，处理器4010可配置成根据真彩色模式生成合成图像，如关于由图26的流程图示意的过程4200的块4233、4235和4238描述的那样。例如，合成图像可包括根据混合参数与可见光谱图像的对应分量混合的场景4030的红外图像的辐射测定分量。在这类实施方式中，合成图像的其余部分可以来源于场景4030的可见光谱和/或红外图像的对应部分。

在另一实施方式中，处理器4010可配置成根据高对比度模式生成合成图像，如关于由图26的流程图示意的过程4200的块4233、4234、4236和4238描述的那样。例如，合成图像可包括红外图像的辐射测定分量和混合的分量，该混合的分量包括根据混合参数混合有来源于可见光谱和/或红外图像的高空间频率含量的场景4030的红外特征。

更一般地，处理器4010可配置成增加或改善由可见光谱或红外图像它们自身观察的传达的信息。合成的图像可例如存储在存储器4012，用于随后的后处理和/或呈现给例如用户或监视系统，或者可用于生成用于一个或多个其他部件4018的控制信号。

在块4140处，系统4000可以在合成图像上执行各种后处理操作。例如，成像模块4002a-b和/或处理器4010中的一个或多个可配置成在根据例如来源于由成像模块4002a-b捕获的图像场景4030的可见光谱和红外特征生成的合成图像上执行一个或多个后处理操作。

相似于关于块4120描述的预处理操作，后处理操作可包括在图像全部或部分上(比如，图像的分量，或者例如图像的像素的选择，或者在选择上或者在图像系列的选择上)执行的各种数值、位和/或组合的操作。例如，上述关于在捕获的图像上执行的预处理操作的任何动态范围调整操作也可以在一个或多个合成图像上执行。在一种实施方式中，特定的彩色调色板(比如夜晚或日间调色板或假色调色板)可以应用到合成图像。例如，特定的彩色调色板可以由用户在块4102中指定，或者可以由上下文数据、比如一天的当前时间、合成图像的类型或合成图像的动态范围而确定。

在其他实施方式中，后处理操作可包括给合成图像添加高分辨率噪声以降低可能存在于合成图像中的污点或其他假想的影痕。在一种实施方式中，添加的噪声可包括高分辨率时间噪声(例如，“白”信号噪声)。在另外的实施方式中，后处理操作可包括一个或多个噪声减小操作以减小或消除噪声或者通过诸如混叠、镶边、动态范围漂移和数值计算相关的位噪声的图像处理导入合成图像的其他非物理假像。

在一些实施方式中，后处理操作可包括对图像的色度值的彩色加权(例如，色度加权)的调整，以便确保对具有集中的彩色数据的区域的强调超过没有集中的彩色数据的区域。例如，在红外图像的辐射测定分量被编码成合成图像的色度分量的时候，例如在块4130中，可以调整合成图像的亮度分量以增加合成图像的具有高水平的辐射测定数据的区域的亮度。高水平的辐射测定数据可例如对应于高温或高温度梯度，或者图像的具有宽分布的不同强度的红外发射的区域(例如，相对于具有窄或统一分布强度的红外发射)。可以使用其他归一化加权方案来偏移具有显著彩色内容的像素的合成图像的亮度分量偏移。在可选的实施方式中，对于图像色度值的亮度加权的调整可以以相同方式进行。

更一般地，后处理操作可包括使用合成图像的一个或多个分量来调整合成图像的其他分量以提供自动的图像增强。在一些实施方式中，后处理操作可包括调整合成图像的动态范围、分辨率、彩色空间/格式或其他方面，以匹配或近似例如显示器的对应方面或者由监视系统预期或者用户选择的对应方面。

可以例如替换原始的合成图像存储后处理的合成图像，并且后处理的合成图像可包括上下文数据，上下文数据指示所有应用的后处理操作以便潜在地保持原始的合成图像的辐射测定和/或彩色空间校准。

在块4150，系统4000可生成与合成图像相关的控制信号。例如，处理器4010可配置成根据从由合成图像提供的增强的图像化描述检测到的状况来生成适于激励和/或操作警报、汽笛、消息系统、安全灯或一个或多个其他部件4018的控制信号。这类控制信号可以例如在合成图像包含检测的物体或状况，比如一个或多个行人4050和/或车辆进入或者停滞在场景4030中而生成。在其他实施方式中，处理器4010可配置成生成控制信号，其通知监视系统在场景4030中检测到物体或状况。

在块4152，系统4000可给用户显示图像。例如，处理器4010可配置成将可见光谱、红外和/或合成图像(例如，来自于块4130和/或4140)转换成用户可观看的合成图像并将该用户可观看的合成图像呈现给使用显示器4016的用户。在其他实施方式中，处理器4010还可配置成将包括用户可观察的合成图像的合成图像传输到监视系统(例如，使用通信模块4014)，以用于进一步处理、通告、控制信号生成和/或显示给远处的远程用户。如上所述，过程4100的实施方式可以包括例如块4152的附加实施方式。在一些实施方式中，块4152的一个或多个实施方式可作为例如一个或多个反馈回路的一部分实施，其中一个或多个反馈回路可包括块4102和/或4104的实施方式。

在块4154处，系统4000可存储图像和其他相关数据。例如，处理器4010可配置成将包含上下文数据和指示预处理和后处理操作的其他数据的可见光谱、红外或合成图像中的一个或多个存储到例如存储器4012，或者存储到外部或便携式存储装置。

现在转到图26，图26示意了根据公开的实施方式的用以增强场景的红外成像的过程4200的流程图。例如，过程4200的一个或多个部分可以由系统4000的处理器4010和/或成像模块4002a-b中的每一个执行并且可以利用存储器4012、通信模块4014、显示器4016或其他部件4018中的任一个。在一些实施方式中，过程4200可实施为例如图25的过程4100中的块4130的实施方式，以根据在过程4100的块4112和/或4118中接收的捕获的红外和/或可见光谱图像生成合成图像。

应当理解，识别系统4000和场景4030仅出于给出示例的目的并且包括任何其他类型的场景的图像的任何其他合适的系统可执行过程4200的全部或部分。还应当理解，可以以与图26示意的实施方式不同的顺序执行过程4200的任何步骤、子步骤、子过程或块，此外，过程4200的任何步骤、子步骤、子过程或块可以在图25的过程4100中的一个或多个块之前、之后或之内执行，包括除了块4130的其他块。例如，尽管过程4200描述了独特的混合和高对比度模式，然而在其他实施方式中，可以使用混合和/或高对比度模式处理操作的任何部分、顺序或组合来合成捕获的图像。

在块4230，系统4000可接收预处理的可见光谱和红外图像。例如，系统4000的处理器4010可配置成从可见光谱成像模块4002a接收一个或多个可见光谱图像并从红外成像模块4002b接收一个或多个红外图像。在一种实施方式中，可以根据图25的块4120预处理可见光谱和/或红外图像。一旦可见光谱和红外图像被处理器4010接收，处理器4010即可配置成确定生成合成图像的模式。此模式例如可以在图25的块4102中由用户选择，或者可以根据上下文数据或者交替模式确定，其中操作模式根据选择的安排或特定的监视系统预期在配置的模式之间交替。

在图26示意的实施方式中，处理器4010可确定真彩色模式，其包括块4233和4235中的一个或多个或者高对比度模式，包括块4232、4234和4236中的一个或多个。在其他实施方式中，过程4200可包括包含例如不同于图26描述过程的过程的其他可选择模式，或者可包括单一模式，比如包含一个或多个可调整混合参数的模式。在具有多个可能模式的实施方式中，一旦确定了模式，过程就可以以选择的模式进行。

在块4233，系统4000可以在一个或多个可见光谱和红外图像上执行各种预合成操作。例如，如果在块4230中确定了真彩色模式，那么处理器4010可配置成在块4230中接收的一个或多个可见光谱/红外图像上执行预合成操作。在一种实施方式中，预合成操作可包括关于图25的块4120描述的预处理操作中的任一个。例如，接收的图像的彩色空间可转换和/或分解成共同的组成分量。

在其他实施方式中，预合成操作可包括应用高通滤波器、应用低通滤波器、非线性低通滤波器(例如，中值滤波器)、调整动态范围(例如，通过直方图均衡和/或线性缩放)、缩放动态范围(例如，通过应用增益和/或补偿)和给这些操作彼此添加来源于这些操作的图像数据以形成处理的图像。例如，预合成操作可包括使用高通空间滤波器从红外图像的辐射测定分量提取细节和背景部分、在背景部分的动态范围上执行直方图均衡和缩放、缩放细节部分的动态范围、添加调整的背景和细节部分以形成处理的红外图像，并且然后将处理的红外图像的动态范围线性地映射到显示器4016的动态范围。在一种实施方式中，红外图像的红外测定分量可以是红外图像的亮度分量。在其他实施方式中，此类预合成操作可以在可见光谱图像的一个或多个分量上执行。

正如其他图像处理操作，预合成操作可以以如此的方式应用，使得保持原始的接收的图像的辐射测定和/或彩色空间校准。将产生的处理的图像临时存储(例如，在存储器4012中)并根据块1235进行进一步处理。

在块4235，系统4000可以将一个或多个可见光谱图像与一个或多个红外图像混合。例如，处理器4010可被配置为将场景4030的一个或多个可见光谱图像与场景4030的一个或多个红外图像混合，其中，一个或多个可见光谱和/或红外图像可以是在块4230中的原始接收的图像的处理版本(例如，根据块4233)。

在一种实施方式中，混合可以包括：根据混合参数，将红外图像的辐射测定分量添加到可见光谱图像的相应分量。例如，红外图像的辐射测定分量可以是红外图像的亮度分量(例如Y)。在这种实施方式中，将红外图像与可见光谱图像混合可能包括：根据混合参数ζ和下述的第一混合等式将图像的亮度分量成比例地添加：

Y_CI＝ζ*Y_VSI+(1-ζ)*Y_IRI

其中，Y_CI是合成图像的亮度分量，Y_VSI是可见光谱图像的亮度，Y_IRI是红外图像的亮度分量，并且ζ在0-1之间变化。在该实施方式中，合成图像的最终亮度分量是混合图像数据。

在红外图像的辐射测定分量可以不是红外图像的亮度分量的其他实施方式中，混合红外图像和可见光谱图像可以包括将图像的色度分量根据第一混合等式(例如，通过用图像的相应色度分量替代亮度分量)添加，并且产生的合成图像的色度分量是混合图像数据。更一般地，混合可包括将红外图像的分量(其可以是红外图像的辐射测定分量)添加(例如，成比例地)到可见光谱图像的相应分量。一旦从可见光谱图像和红外图像的分量得到了混合图像数据，混合图像数据可以编码到合成图像的相应分量中，如相对于块4238进一步描述的那样。在一些实施方式中，将混合图像数据编码到合成图像的分量中可包括额外的图像处理步骤，例如，动态范围调整、归一化、增益和偏移操作以及彩色空间转变。

在辐射测定数据编码到红外图像的不止一个彩色空间/格式分量的实施方式中，例如，红外和可见光谱图像的各个彩色空间/格式分量可以被独立地添加，或者，在添加到组合彩色空间/格式分量之前，独立的彩色空间分量可以在算术上组合。

在其他实施方式中，不同的算术组合可以用于混合可见光谱图像和红外图像。例如，将红外图像与可见光谱图像混合可包括：根据混合参数ζ和下述的第二混合等式添加图像的亮度分量：

Y_CI＝ζ*Y_VSI+Y_IRI

其中，Y_CI、Y_VSI和Y_IRI按上中文相对于第一混合等式那样定义，并且ζ在0至大于相关图像分量(例如：亮度、色度、辐射或者其他图像分量)的动态范围的值之间变化。类似于第一混合等式，第二混合等式可以用于将红外图像的其他分量与可见光谱图像的相应分量混合。在其他实施方式中，可以重写第一和第二混合等式以包括混合参数的每像素的色彩加权或者亮度加权调整，例如，类似于相对于图25的框4140描述的分量加权的调整，从而加强具有高级别的辐射测定数据的区域。

在一些实施方式中，除了对应于红外图像的辐射测定分量的图像分量之外的图像分量可以被删节、设置为已知值或者被丢弃。在其他实施方式中，除了利用混合图像数据编码的图像分量之外的合成图像分量可以利用可见光谱图像或红外图像的相应分量来编码。例如，在一种实施方式中，合成图像可以包括编码到合成图像的色度分量的可见光谱图像的色度分量以及编码到合成图像的亮度分量的混合图像数据，其中，混合图像数据包括与可见光谱图像的亮度分量混合的红外图像的辐射测定分量。在替代实施方式中，合成图像可以包括编码到合成图像的色度分量的红外图像的色度分量。

用户可以选择(例如在图25的框4102中)混合参数，或者，例如可以由处理器4010根据上下文或其他数据或者根据耦接的监视系统所期望的图像增强水平来确定混合参数。在一些实施方式中，举例来说，混合参数可以利用耦接到处理器4010的旋钮、操纵杆或键盘来调节或改善，同时利用显示器4016显示合成图像。在一些实施方式中，根据第一和第二混合等式，混合参数可以选择成使得混合图像数据仅包括红外特征，或者可选的，仅包括可见光谱特征。

除上述的处理之外或者作为对上述处理的替代，根据真彩色模式的处理可以包括一个或多个处理步骤、处理步骤的排序、算术组合和/或混合参数的调整，如美国专利申请No.12/477,828中公开的那样。例如，混合参数ζ可以适于影响红外图像和可见光谱图像的两个亮度分量的比例。一方面，ζ可以利用0(零)至1范围中的值来归一化，其中，值1产生类似于可见光谱图像的混合图像(例如，混合图像数据和/或合成图像)。另一方面，如果ζ被设置为0，则混合的图像可以具有类似于红外图像亮度的亮度。然后，在后一个例子中，可以保持可见图像的色度(Cr和Cb)。ζ的每个其他值可以适于产生混合图像，其中，亮度部分(Y)包括来自可见光谱图像和红外图像的信息。例如，ζ可以与可见光谱图像的亮度部分(Y)相乘并且被添加到通过将值1-ζ与红外图像的亮度部分(Y)相乘而获得的值上。用于混合的亮度部分(Y)的这种添加值可以用于提供混合的图像(例如，混合图像数据和/或合成图像)。

在一种实施方式中，混合算法可以被称为真彩红外影像。例如，在日间成像中，混合图像可以包括可见光谱彩色图像，其包括亮度元素和色度元素，其亮度值由来自红外图像的亮度值替代。使用来自红外图像的亮度数据使得真可见光谱彩色图像的强度基于物体的温度变亮或者变暗。因此，混合算法提供了日间或可见光图像的IR成像。

在一个或多个可见光谱图像与一个或多个红外图像混合之后，处理可以继续进行到块4238，其中，混合的数据可以编码到合成图像的分量中以形成合成图像。

在块4232，系统4000可以从可见光谱图像和红外图像中的一个或多个得出高空间频率含量。例如，如果在块4230中确定了高对比模式，则处理器4010可被配置为从在块4230中接收到的可见光谱图像和红外图像中的一个或多个得出高空间频率含量。

在一种实施方式中，可以通过对图像执行高通滤波器(例如空间滤波器)操作而从图像得出高空间频率含量，其中，高通滤波器操作的结果是高空间频率含量。图31示出了图像4700，其包括根据本公开实施方式的利用高通滤波从可见光谱图像中得出的高空间频率含量。在一种替代实施方式中，可以通过对图像执行低通滤波器操作并且随后从原始图像中减去滤波结果以获得剩余含量而从图像得出高空间频率含量，其中，剩余含量是高空间频率含量。在另一种实施方式中，例如，可以从通过不同成像的图像选择得出高空间频率含量，例如，其中，从以某种方式受第一图像扰动的第二图像中减去一个图像，而该减法的结果即为高空间频率含量。例如，光学元件4004a-b中的一个或两个可以配置为将震动、聚焦/散焦和/或移动物品引入到成像模块4002a-b中的一个或两个所捕获的一系列图像中。高空间频率含量可以得自该系列中的相邻或半相邻图像的减法。

在一些实施方式中，可以仅根据可见光谱图像或红外图像得到高空间频率含量。在其他实施方式中，可以仅根据单个可见光谱图像或红外图像得到高空间频率含量。在其他实施方式中，可以从可见光谱图像和/或红外图像的一个或多个分量得到高空间频率含量，例如可见光谱图像的亮度分量，或者例如红外图像的辐射测定分量。产生的高空间频率含量可以被临时地存储(例如存储在存储器4012中)和/或可以根据块4236被进一步处理。

在块4234，系统4000可以降噪一个或多个红外图像。例如，处理器4010可以配置为利用多种图像处理操作降噪、平滑或模糊场景4030的一个或多个红外图像。在一种实施方式中，从红外图像中移除高空间频率噪声允许处理的红外图像与根据块4232得出的高空间频率含量相组合，同时将双边缘(例如边缘噪声)引入到场景4030的合成图像中描绘的物体的风险明显更小。

在一种实施方式中，将噪声从红外图像中移除可以包括在图像上执行低通滤波(例如，空间和/或时域滤波)操作，其中，低通滤波操作的结果是被降噪或者被处理过的红外图像。图30示出了根据本公开实施方式的处理过的图像4600，其来自图29的红外图像4500的低通滤波，从而降低了噪声。在另一实施方式中，从一个或多个红外图像中移除噪声可以包括向下采样红外图像并且随后将图像向上采样回到原始分辨率。

在另一种实施方式中，可以通过主动地模糊场景4030的红外图像得到处理过的红外图像。例如，光学元件4004b可以被配置为轻微地散焦由红外成像模块4002b捕获的一个或多个红外图像。产生的故意模糊的图像可以是被充分地降噪或模糊的，从而降低或消除将双边缘引入到场景4030的合成图像中的风险，如下所述。在其他实施方式中，可以通过处理器4010在块4230接收的红外图像上执行模糊或平滑图像处理操作，作为利用光学元件4004b主动地模糊场景4030的红外图像的替代或补充。产生的处理过的红外图像可以被临时地存储(例如存储在存储器4012中)和/或可以根据块4236被进一步处理。

在块4236，系统4000可以将高空间频率含量与一个或多个红外图像混合。例如，处理器4010可被配置为将块4232中得到的高空间频率含量与场景4030的一个或多个红外图像混合，例如块4234中提供的处理过的红外图像。

在一种实施方式中，可以通过将高空间频率含量重叠到红外图像上而将高空间频率含量与红外图像混合，其中，高空间频率含量替代或重写了红外图像中对应于存在高空间频率含量的地方的那些部分。例如，高空间频率含量可以包括在场景4030的图像中描绘的物体的边缘，但是可以不存在于这些物体的内部。在这些实施方式中，混合图像数据可以简单地包括高空间频率含量，其随后可以被编码到合成图像的一个或多个分量中，如块4238中所述。图32示出了包括图30的低通滤波红外图像4600与根据本公开实施方式产生的图31的高通滤波的可见光谱图像4700的合成的合成图像4800。

例如，红外图像的辐射测定分量可以是红外图像的色度分量，并且可以从可见光谱图像的亮度和/或色度分量得到高空间频率含量。在该实施方式中，合成图像可以包括编码到合成图像的色度分量中的辐射测定分量(例如，红外图像的色度分量)以及直接编码到(例如，如混合图像数据那样，但是没有红外图像的贡献)合成图像的亮度分量的高空间频率含量。通过这样做，可以保持红外图像的辐射测定分量的辐射测定校准。在类似实施方式中，混合图像数据可以包括添加到红外图像的亮度分量的高空间频率含量，以及编码到产生的合成图像的亮度分量的产生的混合数据。

在其他实施方式中，可以从可见光谱图像和/或红外图像中的一个或一系列的一个或多个特定分量得出高空间频率含量，并且高空间频率含量可以被编码到合成图像的相应的一个或多个分量中。例如，可以从可见光谱图像的亮度分量得到高空间频率含量，并且高空间频率含量(其在该实施方式中是所有的亮度图像数据)可以被编码到合成图像的亮度分量中。

在另一种实施方式中，高空间频率含量可以利用混合参数和算术等式与红外图像混合，算术等式例如以上的第一和第二混合等式。例如，在一种实施方式中，可以从可见光谱图像的亮度分量得出高空间频率含量。在这样的实施方式中，高空间频率含量可以根据混合参数和第二混合等式与红外图像的相应亮度分量混合，从而产生混合图像数据。例如，混合图像数据可以编码到合成图像的亮度分量中，并且例如红外图像的色度分量可以编码到合成图像的色度分量中。在红外图像的辐射测定分量是其色度分量的实施方式中，合成图像可以保留红外图像的辐射测定校准。在其他实施方式中，辐射测定分量的一些部分可以与高空间频率含量混合，并且随后被编码到合成图像中。

更一般地，可以从可见光谱图像和/或红外图像的一个或多个分量得出高空间频率含量。在这样的实施方式中，高空间频率含量可以与红外图像的一个或多个分量混合以产生混合图像数据(例如，利用混合参数和混合等式)，并且产生的合成图像可以包括编码到合成图像的相应的一个或多个分量的混合图像数据。在一些实施方式中，混合数据的一个或多个分量不一定对应于合成图像的最终的一个或多个分量(例如，彩色空间/格式转换可能作为编码过程的一部分来执行)。

用户可以选择(例如在图25的框4102中)混合参数，或者，例如可以由处理器根据上下文或其他数据或者根据耦接的监视系统所期望的图像增强水平来自动地确定混合参数。在一些实施方式中，举例来说，混合参数可以利用耦接到处理器4010的旋钮来调节或改善，同时利用显示器4016显示合成图像。在一些实施方式中，混合参数可以选择成使得混合图像数据仅包括红外特征，或者可选的，仅包括可见光谱特征。例如，也可以在范围上对混合参数加以限制，从而不会产生相对于特定色彩空间/格式的范围或者显示器而言超出边界的混合数据。

除上述的处理之外或者作为对上述处理的替代，根据高对比模式的处理可以包括一个或多个处理步骤、处理步骤的排序、算术组合和/或混合参数的调整，如美国专利申请No.13/437,645中公开的那样。例如，下述等式可以用于确定合成图像的分量Y、Cr和Cb，其中，Y分量来自高通滤波的可见光谱图像，Cr和Cb分量来自红外图像。

hp_y_vis＝highpass(y_vis)

(y_ir,cr_ir,cb_ir)＝colored(lowpass(ir_signal_linear))

其在另一种标记形式中可以被写成：

${\mathrm{hp}}_{y_{vis}}=highpass\left(y_{vis}\right)$

(y_ir，cr_ir，cb_ir)＝colored(lowpass(ir_{signal linear}))

在上述等式中，highpass(y_vis)可以是通过对可见光谱图像的亮度分量进行高通滤波所得到的高空间频率含量。Colored(lowpass(ir_signal_linear))可以是在红外图像被低通滤波之后的红外图像的产生的亮度和色度分量。在一些实施方式中，红外图像可以包括被选择成最大亮度(例如，显示器和/或处理步骤的最大亮度)的0.5倍的亮度分量。在相关实施方式中，红外图像的辐射测定分量可以是红外图像的色度分量。在一些实施方式中，红外图像的y_ir分量可以下降，并且，利用上述的标记形式，合成图像的分量可以是(hp_y_vis,cr_ir,cb_ir)。

在另一种实施方式中，下述等式可以用于确定合成图像的分量Y、Cr和Cb，其中，Y分量来自高通滤波的可见光谱图像，Cr和Cb分量来自红外图像。

comb_y＝y_ir+alpha×hp_y_vis

comb_cr＝cr_ir

comb_cb＝cb_ir

其在另一种标记形式中可以被写成：

${\mathrm{comb}}_y=y_{ir}+alpha*{\mathrm{hp}}_{y_{vis}}$

comb_cr＝cr_ir

comb_cb＝cb_ir

由此，alpha的变化给了用户一个机会去决定在合成图像中需要多大的对比度。当alpha接近于0时，IR图像将被单独地示出，但当alpha十分高时，可以在合成图像中看见十分锐利的轮廓。理论上，alpha可以是无穷大的数，但实际上，限制可能是必要的，从而限制alpha的大小，可以将其大小选择成在当前应用中提供便利。在上述等式中，alpha可能对应于混合参数ζ。

一旦高空间频率含量与一个或多个红外图像混合，处理就可以继续进行到块4238，其中，混合的数据可以编码到合成图像的分量中以形成合成图像。

在块4238，系统4000可以将混合的数据编码到合成图像的一个或多个分量中。例如，处理器4010可以被配置成将根据块4235和/或4236得出或产生的混合数据编码到合成图像中，该合成图像增加、完善或以其他方式增强了通过其自身可查看的可见光谱图像或红外图像传输的信息。

在一些实施方式中，将混合图像数据编码到合成图像的分量中可包括额外的图像处理步骤，例如，动态范围调整、归一化、增益和偏移操作、降噪以及彩色空间转变。图34示出了合成图像5000，其包括根据本公开实施方式的在重新采样、处理和与得自场景的可见光谱图像的高空间频率含量组合之后的图33的低分辨率红外图像4900。

此处，处理器4010可以被配置为将其他图像数据编码到合成图像。例如，如果混合图像数据被编码到合成图像的亮度分量，则可见光谱图像或者红外图像的色度分量可以被编码到合成图像的色度分量。例如，可以通过用户输入来进行源图像的选择，或者可以基于上下文或其他数据来自动地确定源图像的选择。更一般地，在一些实施方式中，合成图像的未与混合数据编码的分量可以与可见光谱图像或红外图像的相应分量编码。如此，红外图像的辐射测定校准和/或可见光谱图像的彩色空间校准可以在生成的合成图像中被保留。这种校准的合成图像可以用于增强的红外成像应用，尤其是场景的组成的可见光谱图像和红外图像在不同时间和/或不同的环境灯光级别被捕获。

图35示了根据本公开实施方式生成的合成图像5100。图35的合成图像是画中画的合成图像，包括在第一时间捕获的相对低分辨率的红外图像5102，而可见光谱图像的部分5104的高空间频率含量5106在第二时间被捕获。图36示了根据本公开另一实施方式生成的合成图像5204。合成图像5204呈如下形式：在第一时间捕获的红外图像5200的缩放部分5202与在第二时间捕获的可见光谱图像的高空间频率含量组合。

现在参考图27，其示出了根据本公开实施方式的用于增强场景的红外成像的过程4300的流程图。例如，过程4300的一个或多个部分可以通过处理器4010和/或系统4000的各个成像模块4002a-b并且利用存储器4012、通信模块4014、显示器4016或其他部件4018来执行。

应该意识到，仅仅出于给出实例的目的来标识系统4000和场景4030，并且包括场景的任何其他类型的图像的任何其他合适的系统可执行过程4300的全部或一部分。应该意识到，过程4300的任何步骤、子步骤、子过程或者块可以以不同于图27所示的实施方式中的顺序来执行，并且此外，可以在图25的过程4100和/或图26的过程4200中的一个或多个块之前、之后或者并行地执行。例如，尽管过程4300描述了在捕获图像之后接收用户输入、执行三重融合处理操作和/或将图像显示给用户，在其他实施方式中，用户输入可以过程4300内的任意一个点或多个点处被接收。

在块4310，系统4000可以捕获可见光谱图像和红外图像。例如，处理器4010和/或系统4000的成像模块4002a-b可被配置成捕获场景4030的一个或多个可见光谱图像和红外图像。在一些实施方式中，块4310可以对应于图25中的过程4100的块4110-4118中的一个或多个。在其他实施方式中，可见光谱图像可以大体上同时与红外图像被捕获。一旦至少一个可见光谱图像和/或红外图像被捕获，过程4300可以继续到块4320。

在块4320，系统4000可以在场景4030的一个或多个捕获的图像上执行三重融合处理操作，以生成合成图像(例如，在一些实施方式，在这些图像上执行至少三次处理)。例如，系统4000的处理器4010可以被配置为在块4310中捕获的一个或多个图像上执行可调的基于场景的NUC处理(例如，块4322)、真彩色处理(例如，块4324)和高对比处理(例如，块4326)，并且随后生成场景4030的相应的合成图像，其包括各种处理操作的相关贡献。在一些实施方式中，对合成图像的相关贡献可以由一个或多个控制参数来确定。在这些实施方式中，可以通过一个或多个用户输入、阈值和/或系统4000的其他操作参数来确定控制参数。在一些实施方式中，可以在块4320中执行多于或少于三个的处理操作。在一些实施方式中，作为对图示操作的替代和/或除了图示操作之外，可以在块4320中执行其他处理操作。

例如，特定处理操作的相关贡献可以包括中间图像的一个或多个分量，例如，真彩色处理操作(例如，根据图26的真彩色模式的处理)乘以相应的控制参数的结果。例如，用于确定相关贡献的一个或多个控制参数可以是相互依赖的，从而来自块4320的生成的合成图像包括特定显示器的动态范围内或例如通信耦接的监视系统所期望的动态范围内的图像分量(例如，亮度、色度、辐射或其他分量)。在其他实施方式中，一个控制参数可用于在算术上确定所有的相关贡献，类似于本文描述的各种混合处理操作。在其他实施方式中，多个控制参数可被用于确定一个或多个相关贡献，并且后处理操作(例如，类似于图25的块4140的实施方式)可以用于适当地调整生成的合成图像的动态范围。

在又一些其他实施方式中，例如，可以在逐个像素的基础上使用例如阈值确定控制参数。举例来说，这些阈值可以用于补偿中间图像和/或合成图像的过低和/或过高的光度和/或色度值，或者，例如用于选择中间图像的与特定控制参数和/或相关贡献关联的那些部分。例如，在一种实施方式中，一个或多个阈值可以用于将0.75的控制参数(例如对合成图像的总贡献的75％)应用到真彩色处理过的中间图像的那些亮度值高于中间值(例如，在该实施方式中的阈值)的部分，并且将0.25的控制参数(例如对合成图像的总贡献的25％)应用到真彩色处理过的中间图像的那些亮度值低于中间值的部分。

在一种实施方式中，系统4000的处理器4010可以被配置成接收用于处理来自存储器4012的捕获的图像的控制参数，从至少一个捕获的可见光谱图像和/或红外图像得出场景4030的色彩特征，从至少一个捕获的可见光谱图像和/或红外图像(例如，其可以与用于得出场景的色彩特征的图像相同或不同)得出高空间频率含量，并且生成包括由控制参数中的一个或多个确定的色彩特征和高空间频率含量的相关贡献的合成图像。

在一些实施方式中，得出场景1430的色彩特征(例如，真彩色处理4324)可以涉及与结合图26中的块4233、4235和4238(例如，真彩色模式)所讨论的那些步骤类似的一个或多个处理步骤。在一些实施方式中，得出场景1430的高空间频率含量(例如，高对比处理4326)可以涉及与结合图26中的块4232、4234、4236和4238(例如，高对比模式)所讨论的那些步骤类似的一个或多个处理步骤。在其他实施方式中，基于场景的NUC处理4322、真彩色处理4324和高对比处理4326中的任意一个或者组合可以包括与结合图25的块4110-4140所讨论的步骤相同和/或类似的一个或多个处理步骤。此外，替代块4322、4324和/或4326或者除它们之外，可以根据美国专利申请No.12/477,828和/或美国专利申请No.13/437,645中提供的方法执行其他图像分析和处理。

在一种实施方式中，例如，处理器4010可以被配置为通过使能或禁用校正或者通过根据应用到校正项的全部或至少一部分上的整体增益实施校正，而选择性地将基于场景的NUC处理应用到一个或多个红外图像。在一些实施方式中，举例来说，选择可以涉及控制参数(例如，与控制参数成比例)。在另一种实施方式中，红外成像模块4002b可以被配置成选择性地将基于场景的NUC处理应用到一个或多个红外图像。

在一些实施方式中，真彩色处理4324可以包括从通过可见光谱成像模块4002a捕获的场景4030的可见光谱图像的色度分量得出场景4030的色彩特征。在这些实施方式中，合成图像可以包括来自通过红外成像模块4002b捕获的场景4030的红外图像的亮度分量，其中，红外图像的亮度分量的相关贡献(例如，其乘法因子、增益或强度)大体上与色彩特征的相关贡献相匹配。在一些实施方式中，确定色彩特征的相关贡献的控制参数可以用于确定红外图像的亮度分量的相关贡献。在其他实施方式中，在生成的混合图像数据应用到合成图像中替代红外图像的亮度分量之前，红外图像的亮度分量可以与可见光谱图像的亮度分量混合。在各种实施方式中，红外图像的亮度分量可以对应于红外图像的辐射测定分量。

在一些实施方式中，高对比处理4326可以包括从通过可见光谱成像模块4002a捕获的场景4030的可见光谱图像的亮度分量得出高空间频率含量。在这些实施方式中，合成图像可以包括来自通过红外成像模块4002b捕获的场景4030的红外图像的色度分量，其中，红外图像的色度分量的相关贡献大体上与高空间频率含量的相关贡献相匹配。在一些实施方式中，确定高空间频率含量的相关贡献的控制参数可以用于确定红外图像的色度分量的相关贡献。在其他实施方式中，在生成的混合图像数据应用到合成图像中替代高空间频率含量之前，高空间频率含量可以与红外图像的亮度分量混合。在各种实施方式中，红外图像的色度分量可以对应于红外图像的辐射测定分量。

在各种实施方式中，可以以任何期望的顺序(例如，串行、并行或其组合)执行块4322、4324和4326的处理。

一旦通过块4320中的处理生成了一个或多个合成图像，过程4300可以移向块4330以将合成图像显示给用户。

在块4330，系统4000可以给用户显示图像。例如，系统4000的处理器4010可以被配置为利用显示器4016显示从块4320生成的合成图像、来自块4310的捕获的和/或处理的图像或者其他图像，例如，存储在存储器4012中的图像。在一些实施方式中，除了例如一个或多个图像之外，处理器4010可被配置为显示信息，例如，指示相关贡献和/或混合参数值的文本。在显示器4016被实施为触摸显示器的其他实施方式中，例如，处理器4010可以被配置为显示代表接收用户输入的用户输入设备的图像，例如，滑块控制、可选择按钮或区域、旋钮和其他用户输入设备。在一些实施方式中，块4330可以对应于图25中的过程4100的块4152。在各种实施方式中，块4330的一个或多个实施方式可以被实施为一个或多个反馈回路的一部分，例如，所述反馈回路可以包括图25的过程4100的块4102和/或4104的实施方式。

在块4340，系统4000可以接收用户输入和/或基于机器的输入。例如，系统4000的处理器4010可被配置成从用户接口接收用户输入，该用户接口选择、调整、改善或以其他方式确定用于根据块4320生成合成图像的一个或多个控制参数。在一些实施方式中，这种用户输入可以选择、调整、改善或以其他方式确定一个或多个混合参数，例如，用于块4324中的真彩色处理的混合参数或用于块4326中的高对比处理的混合参数。在其他实施方式中，这种用户输入可以选择、调整、改善或以其他方式确定用于选择性地应用如上所述的块4322中的基于场景的NUC处理的控制参数。可以从用户接口的一个或多个用户输入设备接收用户输入，例如，滑块控制、旋钮或操纵杆、按钮或者由触摸显示器显示的这些控制的图像。也可以设想其他类型的用户输入设备。在一些实施方式中，举例来说，用户输入可以涉及过程4300的选定退出点，或者过程4100、4200和/或4300中的一个或多个的进入点或再进入点。在一种实施方式中，一旦系统4000接收了用户输入，过程4300就可以继续到块4310，其中，举例来说，已经被捕获的图像可以根据更新的控制、混合或其他操作参数被重新处理和/或重新显示，或者新捕获的图像可以被处理和显示，如本文所述。

在其他实施方式中，可选地或此外，系统4000的处理器4010可以被配置为接收基于机器的输入(例如，从一个或多个其他部件4018和/或本文描述的任何部件提供的信息)，并且适于选择、调整、改善或以其他方式确定用于根据块4320生成合成图像的一个或多个控制参数(例如，混合参数、用于NUC处理的控制参数或其他操作参数)。在一些实施方式中，这些参数可以用于选择特定的处理方法，或者从处理方法的一个选择变形到另一个选择，如本文所述。在各种实施方式中，举例来说，基于机器的输入可以涉及一天中的特定时间、环境光的水平、环境温度、其他环境状况和/或各种类型的传感器提供的其他数据。在其他实施方式中，例如，基于机器的输入可以作为一个或多个图像的根据本文描述的各种技术的处理结果来提供。

在一种实施方式中，过程4300可以适于捕获可见光谱图像和/或红外图像(例如，块4310)，从可见光谱图像得出高空间频率含量和/或可见光谱色彩数据(例如，色度分量)(例如，块4324和4326的一些部分)，并且将高空间频率含量和可见光谱色彩与相应的红外图像混合(例如，块4320-4326的一些部分，并且其中，红外图像可以根据如块4322中的各种NUC处理技术来处理)以形成包括增强的红外图像的各个方面的合成图像。

现在参考图28，图28示出了根据本公开实施方式的用于成像系统4000的用户接口4400。用户接口4400可以包括接口壳体4410、显示器、一个或多个滑块控制4418-4419和/或旋钮/操纵杆4424。在一些实施方式中，用户接口4400可以对应于图24中的系统4000的显示器4016和其他部件4018中的一个或多个。例如，显示器4416可以被实施为触摸显示器，并且用户接口4400可以包括用户输入设备的用户可选图像，例如滑块控制4420和/或可选文本框4422。每个用户输入设备可以接收用户输入以确定生成合成图像的方法，选择辐射间隔，输入环境和/或传感器数据，为一个或多个图像类型选择彩色或假色调色板，选择或改善混合参数，选择或改善控制参数，选择或改善阈值，和/或确定系统4000的其他操作参数，如本文所述。

如图28所示，显示器4416可被配置为显示根据本文描述的图像分析和其他处理操作处理过的一个或多个合成图像4430或一系列合成图像(例如视频)。在一些实施方式中，显示器4416可被配置为显示三重融合处理过的合成图像、真彩色处理过的组合或中间图像、高对比处理过的组合或中间图像、NUC处理过的图像、未处理的捕获图像和/或根据本文描述的任意处理操作处理过的捕获的图像。

在一种实施方式中，用户可以调整用户输入设备(例如，通过移动滑块向上、下、左或右，旋转旋钮，操作操纵杆，选择触摸屏显示的图像或区域)，并且举例来说，用户接口4400和/或显示器4014可以通过在可选文本框4422中显示文本或者更新(例如，利用系统4000的其他部件)显示器4416显示的图像来提供和用户输入有关的可见反馈。在一种实施方式中，用户可以选择相关贡献(例如，特定图像处理技术的相关贡献，例如NUC处理，高对比处理，真彩色处理，各种预处理，各种后处理，和/或本文描述的任何其他处理)以通过在可选文本框4422中选择图像或区域(例如，可选文本框4422内的矩形区域，例如，当选择时以实线示出的)来进行调整，并且随后通过操纵滑块控制4418-4420和/或旋钮/操纵杆4424中的一个或多个来调整该相关贡献的控制参数。

例如，在一些实施方式中，滑块控制4418-4420中的一个可被分配给控制参数，并且改变控制参数，该控制参数用于设置应用到得自高对比处理的中间图像的一个或多个分量上的相关增益(例如相关贡献)，并且由此改变用户显示的图像中的高对比处理的贡献。在其他实施方式中，滑块控制4418-4420中的任意一个可以被分配给相应的控制参数并且改变相应的控制参数，该相应的控制参数用于设置应用到得自真彩色处理(例如，块4324)和/或本文描述的任意其他处理(例如，过程4100和/或4200的块4320和/或各种块)的中间图像的一个或多个分量上的相关增益(例如相关贡献)，并且由此改变它们在用户显示的图像中的相关贡献。

在其他实施方式中，例如，用户可以使用可选文本框4422来将一个或多个控制参数、混合参数或其他操作参数分配给滑块控制4418-4420和/或旋钮/操纵杆4424中的任意一个，从而为大体上同时进行的调整选择多个操作参数。包括类似于用户接口4400的用户接口的成像系统的实施方式可以显示组合的和/或其他处理过的或未经处理的图像，这些图像被调整以用于特定的应用和/或时间敏感的需求。这些组合的图像可以用于增强的红外图像应用，这些应用受益于增加的场景细节、对比度或者本文公开的其他处理操作。

本文描述的各种方法、过程和/或操作中的任意一个可以由各种系统、设备和/或部件中的任意一个在合适时执行。

例如，在各种实施方式中，图24中的成像系统可以适于使用本文公开的各种图像处理方法来在众多不同的环境状况、应用需要和/或用户需求/期望下提供可变的成像体验。

在一种实施方式中，成像系统4000可以适于根据可用的光选择一个或多个方法。

当有足够的日光时，成像系统4000可以适于提供包括实时可见光谱特征的合成图像和/或视频，所述实时可见光谱特征与实时红外特征混合和/或以其他方式利用实时红外特征来增强(例如，可见光谱图像和红外图像大体上被同时地捕获，并且随后根据本文描述的方法中的任意一种或组合来混合)。例如，可见光谱图像的亮度分量可以与相应红外图像的辐射测定亮度分量混合，从而根据图像中物体的温度(例如，真彩色处理，类似于相对于块4324和/或过程4200的一些部分描述的)来调制可见光谱色彩的亮度。在其他实施方式中，三重融合、高对比和/或真彩色处理中的任意一个或组合可以被用于生成这种混合的合成图像(例如，块4320-4326)。在其他实施方式(例如，当有足够的环境光时)中，成像系统4000可以适于提供非红外的增强可见光谱图像和/或视频(例如，未将可见光谱图像与红外图像混合)。

当具有中等量的日光时(例如黄昏)，或者当其他环境状况降低了可用的光时，成像系统4000可以适于提供包括实时红外特征的合成图像和/或视频，该实时红外特征与如本文所述的时间间隔的可见光谱特征(例如，在红外成像之前捕获的)混合，与实时可见光谱特征(例如，利用可见光)混合，或者与时间间隔的可见光谱特征的和实时的可见光谱特征的组合相混合。例如，红外图像的辐射测定亮度分量可以与相应的实时和/或时间间隔的可见光谱图像的色度分量混合，从而生成的合成图像包括与精确的和/或半精确的可见光谱色彩混合的红外图像(例如，块4324和/或过程4200的一些部分)。在另一种实施方式中，红外图像的辐射测定亮度分量可以与得自相应的实时和/或时间间隔的可见光谱图像的高对比含量混合(例如，利用高对比处理、块4326、过程4200的一些部分和/或如本文所述的)，从而生成的合成图像包含边缘和其他细节增强的红外图像，这些边缘和其他细节在原始红外图像中不可用。在其他实施方式中，三重融合、高对比和/或真彩色处理中的任意一个或组合可以被用于生成这种混合的合成图像(例如，块4320-4326)。

当具有十分少的日光或者完全没有日光时(例如夜晚)，或者当其他环境状况降低了可用的光时，成像系统4000可以适于提供包括实时红外特征的合成图像和/或视频，该实时红外特征与如本文所述的时间间隔的可见光谱特征(例如，在红外成像之前捕获的)混合。例如，红外图像的辐射测定亮度分量可以与相应的时间间隔的可见光谱图像的色度分量混合，从而生成的合成图像包括与代表性的可见光谱色彩混合的红外图像(例如，块4324和/或过程4200的一些部分)。在另一种实施方式中，红外图像的辐射测定亮度分量可以与得自相应的时间间隔的可见光谱图像的高对比含量混合(例如，利用高对比处理，块4326，过程4200的一些部分和/或如本文所述的)，从而生成的合成图像包含时间间隔的边缘和其他细节增强的红外图像，这些时间间隔的边缘和其他细节在原始红外图像中不可用。在其他实施方式中，三重融合、高对比和/或真彩色处理中的任意一个或组合可以被用于生成这种混合的合成图像(例如，块4320-4326)。在其他实施方式(例如，当基本上没有环境光时)中，成像系统4000可以适于提供非可见光谱红外图像和/或视频(例如，未将红外图像与可见光谱图像混合)。

在各种实施方式中，成像系统4000可以适于：基于可用环境光和/或日光的测得量(例如，由可见光谱成像模块4002a，或者由一个或多个其他部件4018检测的)，选择特定的处理方法或者从处理方法的一个选择变到另一个选择。例如，根据不同的方法得出的不同的合成图像可以根据合成图像的可用光的测量而混合在一起。在一些实施方式中，成像系统4000可以适于：根据可用的环境光的量和/或捕获图像的部分中检测到的日光，针对捕获图像的不同部分使用不同组的处理方法。在其他实施方式中，成像系统400可以适于：根据安排，基于各种信息(例如，图像传感器4002a,b和/或各种其他部件4018测量的传感器数据)，基于各种处理操作(例如，预处理、后处理、高对比处理、真彩色处理、NUC处理、三重融合处理、基于时间的处理和/或本文描述的其他类型的处理)和/或基于其他合适的技术，选择和/或改变各种处理方法。在这些实施方式中，如本文所述，成像系统4000可以适于在具有和/或不具有用户输入的情况下(例如，响应于基于机器的输入)改变一个或多个处理方法。

在合适的情况下，可通过硬件、软件或者硬件和软件的结合来实现本公开所提供的各种实施例。同样的在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件合并为包括软件、硬件和/或二者的复合部件。在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件分离为包括软件、硬件或二者的子部件。另外，在合适的情况下，可以预期的是，软件部件能够实现为硬件部件，反之亦然。

根据本公开的软件，例如，非暂时性指令、程序代码和/或数据可存储在一个或者多个非暂时性机器可读介质中。还可以预期的是，可使用一个或者多个通用或者专用计算机和/或计算机系统、网络和/或其他方式来实现本文所提及的软件。在合适的情况下，本文所描述的各种步骤的顺序可以改变、合并为复合步骤和/或分离为子步骤，以提供本文所描述的功能。

以上所描述的实施例仅为了举例说明，而不是限制本发明。还应当理解的是，根据本发明的原理，许多修改和改变是可能的。因此，本发明的范围仅由下面的权利要求书限定。

Claims (29)

1.一种系统，包括：

可见光谱成像模块，其被配置为在第一时间捕获场景的可见光谱图像；

红外成像模块，其被配置为在第二时间捕获场景的红外图像，其中，红外图像包括辐射测定分量；及

处理器，其与可见光谱成像模块和红外成像模块通信，并且被配置为处理可见光谱图像和红外图像以生成合成图像，该合成图像包括从可见光谱图像得到的场景的可见光谱特征和从红外图像的辐射测定分量得到的场景的红外特征。

2.如权利要求1所述的系统，其中：

从可见光谱图像或红外图像得到高空间频率含量；及

合成图像包括编码到合成图像的一个或多个分量的高空间频率含量。

3.如权利要求2所述的系统，其中：

辐射测定分量包括红外图像的色度分量；

从可见光谱图像得到高空间频率含量；及

合成图像包括编码到合成图像的色度分量的辐射测定分量以及编码到合成图像的亮度分量的高空间频率含量。

4.如权利要求2所述的系统，其中：

通过在可见光谱图像和/或红外图像上执行的高通滤波和/或差分成像得到高空间频率含量。

5.如权利要求2所述的系统，其中：

高空间频率含量与红外图像的一个或多个分量混合以产生混合图像数据；及

合成图像包括编码到合成图像的一个或多个分量的混合图像数据。

6.如权利要求1所述的系统，其中：

辐射测定分量包括红外图像的亮度分量；

合成图像包括编码到合成图像的色度分量的可见光谱图像的色度分量以及编码到合成图像的亮度分量的混合图像数据；及

混合图像数据包括与可见光谱图像的亮度分量混合的辐射测定分量。

7.如权利要求1所述的系统，其中：

在场景被可见地照亮时，通过可见光谱成像模块捕获可见光谱图像；及

在场景未被可见地照亮时，通过红外成像模块捕获红外图像。

8.如权利要求1所述的系统，其中：

第二时间大体上早于第一时间。

9.如权利要求1所述的系统，其中：

红外图像或可见光谱图像的第一分辨率大致缩放到显示器、相应图像或者指定分辨率的第二分辨率。

10.如权利要求1所述的系统，其中：

可见光谱成像模块和红外成像模块适于具有大约相同的视场。

11.如权利要求1所述的系统，还包括：

配置成将合成图像呈现给用户的显示器。

12.如权利要求1所述的系统，其中：

红外成像模块包括被配置为捕获场景的红外图像的焦平面阵列(FPA)；及

FPA包括微测辐射热计的阵列，其适于接收偏置电压，该偏置电压选自大约0.2伏至大约0.7伏的范围。

13.如权利要求12所述的系统，其中：

微测辐射热计的阵列的尺寸大约为80乘60；及

红外成像模块适于插入到尺寸小于大约8.5mm乘8.5mm的插槽中。

14.如权利要求1所述的系统，其中：

红外图像是场景的未模糊的红外图像；

红外成像模块被配置为捕获场景的故意模糊的红外图像；及

处理器被配置为：基于故意模糊的红外图像确定多个非均匀校正(NUC)项，并且将NUC项应用到未模糊的红外图像上以从未模糊的红外图像移除噪声。

15.一种方法，包括：

接收通过可见光谱成像模块在第一时间捕获的场景的可见光谱图像；

接收通过红外成像模块在第二时间捕获的场景的红外图像，其中，红外图像包括辐射测定分量；及

处理可见光谱图像和红外图像以生成合成图像，该合成图像包括从可见光谱图像得到的场景的可见光谱特征和从红外图像的辐射测定分量得到的场景的红外特征。

16.如权利要求15所述的方法，其中：

从可见光谱图像或红外图像得到高空间频率含量；及

合成图像包括编码到合成图像的一个或多个分量的高空间频率含量。

17.如权利要求16所述的方法，其中：

辐射测定分量包括红外图像的色度分量；

从可见光谱图像得到高空间频率含量；及

合成图像包括编码到合成图像的色度分量的辐射测定分量以及编码到合成图像的亮度分量的高空间频率含量。

18.如权利要求16所述的方法，其中：

通过在可见光谱图像和/或红外图像上执行的高通滤波和/或差分成像得到高空间频率含量。

19.如权利要求16所述的方法，其中：

高空间频率含量与红外图像的一个或多个分量混合以产生混合图像数据；及

合成图像包括编码到合成图像的一个或多个分量的混合图像数据。

20.如权利要求15所述的方法，其中：

辐射测定分量包括红外图像的亮度分量；

合成图像包括编码到合成图像的色度分量的可见光谱图像的色度分量以及编码到合成图像的亮度分量的混合图像数据；及

混合图像数据包括与可见光谱图像的亮度分量混合的辐射测定分量。

21.如权利要求15所述的方法，其中：

在场景被可见地照亮时，通过可见光谱成像模块捕获可见光谱图像；及

在场景未被可见地照亮时，通过红外成像模块捕获红外图像。

22.如权利要求15所述的方法，其中：

第二时间大体上早于第一时间。

23.如权利要求15所述的方法，其中：

红外图像或可见光谱图像的第一分辨率大致缩放到显示器、相应图像或者指定分辨率的第二分辨率。

24.如权利要求15所述的方法，其中：

可见光谱成像模块和红外成像模块适于具有大约相同的视场。

25.如权利要求15所述的方法，还包括：

将合成图像显示给用户。

26.如权利要求15所述的方法，其中：

红外成像模块包括被配置为捕获场景的红外图像的焦平面阵列(FPA)；及

FPA包括微测辐射热计的阵列，该方法还包括：

为微测辐射热计提供偏置电压，该偏置电压选自大约0.2伏至大约0.7伏的范围。

27.如权利要求26所述的方法，其中：

微测辐射热计的阵列的尺寸大约为80乘60；及

红外成像模块适于插入到尺寸小于大约8.5mm乘8.5mm的插槽中。

28.如权利要求15所述的方法，其中：

红外图像是场景的未模糊的红外图像，该方法还包括：

从红外成像模块接收场景的故意模糊的红外图像；

基于故意模糊的红外图像确定多个非均匀校正(NUC)项；及

将NUC项应用到未模糊的红外图像以从未模糊的红外图像移除噪声。

29.一种非易失性的机器可读的介质，包括多个机器可读的指令，当通过系统的一个或多个处理器执行指令时，这些指令适于使系统执行包括下述步骤的方法：

接收通过可见光谱成像模块在第一时间捕获的场景的可见光谱图像；

接收通过红外成像模块在第二时间捕获的场景的红外图像，其中，红外图像包括辐射测定分量；及

处理可见光谱图像和红外图像以生成合成图像，该合成图像包括从可见光谱图像得到的场景的可见光谱特征和从红外图像的辐射测定分量得到的场景的红外特征。