CN204967995U - 用于机柜的监测系统 - Google Patents

Abstract

提供了用于监测电气设备的各种技术。在一些实现方式中，用于机柜的监测系统可包括红外摄像机和非热摄像机。红外摄像机可被配置成捕获放置在机柜的内部腔室中的电气设备的至少一部分的一个或多个热图像。非热摄像机可被配置成捕获电气设备的一部分的一个或多个非热图像，诸如可见光图像。在一些实现方式中，可产生包括供用户观看的热图像和非热图像的特征的组合图像。在一些实现方式中，摄像机可通过物理耦合到机柜内的电连接器和/或通过电磁能量收获技术接收电能。还提供了其他实现方式。

Description

用于机柜的监测系统

相关申请的交叉参考

本申请要求2013年9月25日提出且题为“ELECTRICALCABINNETINFRAREDMONITORSYSTEMSADNMETHOS”的美国临时专利申请No.61/882,546的权益，通过引用的方式将其整体合并于此。

本申请是2013年4月3日提出且题为“ELECTRICALCABINETINFRAREDMONITOR”的国际专利申请No.PCT/US2013/35149的部分继续申请案，通过引用的方式将其整体合并于此。

本申请是2013年3月15日提出且题为“ELECTRICALCABINETINFRAREDMONITOR”的美国专利申请No.13/839,118的部分继续申请案，通过引用的方式将其整体合并于此。

本申请是2013年12月9日提出且题为“LOWPOWERANDSMALLFORMFACTORINFRAREDIMGAING”的美国专利申请No.14/101,245的部分继续申请案，通过引用的方式将其整体合并于此。

本申请是2013年12月6日提出且题为“NON-UNIFORMITYCORRECTIONTECHNIQUESFORINFRAREDIMAGINGDEVICES”的美国专利申请No.14/099,818的部分继续申请案，通过引用的方式将其整体合并于此。

本申请是2013年12月9日提出且题为“INFRAREDCAMERASYSTEMARCHITECHURES”的美国专利申请No.14/101,258的部分继续申请案，通过引用的方式将其整体合并于此。

本申请是2013年12月21日提出且题为“COMPACTMULTI-SPECTRUMIMAGING”的美国专利申请No.14/138,058的部分继续申请案，通过引用的方式将其整体合并于此。

美国专利申请No.14/138,058要求2012年12月31日提出且题为“COMPACTMULTI-SPECTRUMIMAGINGWITHFUSION”的美国临时专利申请No.61/748,018的权益，通过引用的方式将其整体合并于此。

本申请是2013年12月21日提出且题为“TIMESPACEDINFRAREDIMAGEENHANCEMENT”的美国专利申请No.14/138,040的部分继续申请案，通过引用的方式将其整体合并于此。

美国专利申请No.14/138,040要求2013年3月15日提出且题为“TIMESPACEDINFRAREDIMAGEENHANCEMENT”的美国临时专利申请No.61/792,582的权益，通过引用的方式将其整体合并于此。

美国专利申请No.14/138,040的还要求2012年12月26日提出且题为“TIMESPACEDINFRAREDIMAGEENHANCEMENT”的美国临时专利申请No.61/746,069的权益，通过引用的方式将其整体合并于此。

本申请是2013年12月21日提出且题为“INFRAREDIMAGINGENHANCEMENTWITHFUSION”的美国专利申请No.14/138,052的部分继续申请案，通过引用的方式将其整体合并于此。

美国专利申请No.14/138,052要求2013年3月15日提出且题为“INFRAREDIMAGINGENHANCEMENTWITHFUSION”的美国临时专利的申请No.61/793,952的权益，通过引用的方式将其整体合并于此。

美国专利申请No.14/138,052还要求2012年12月26日提出且题为“INFRAREDIMAGINGENHANCEMENTWITHFUSION”的美国临时专利申请No.61/746,074的权益，通过引用的方式将其整体合并于此。

技术领域

本申请涉及传感器，尤其涉及用于电气柜的摄像机监测系统。

背景技术

工厂厂房，办公室等内的配电系统通常包括许多用于容纳诸如隔离开关和断路器的开关设备的机壳(例如，电气柜)是常见的。检查开关设备对于安全来说非常重要。例如，开关设备过热是引起建筑火灾的主要原因。因此，通常要进行电气柜的定期检查和维护。

电气开关设备的检查涉及利用红外摄像机查找热的热点。但是，为安全起见，在机柜打开之前，一般必须关闭电源，因此，这项检查是一个繁琐的过程。相应地，现有技术中需要改进的电气柜热监测系统和技术。

实用新型内容

根据本公开文本的一个方面，一种用于机柜的监测系统包括：红外摄像机，其配置成捕获放置在机柜的内部腔室中的电气设备的至少一部分的热图像；以及通信接口，其配置成传输来自红外摄像机的热图像以供用户外部查看。

根据本公开文本的另一个方面，一种监测机柜内部腔室的方法包括：通过红外摄像机捕获放置在机柜内部腔室中的电气设备的至少一部分的热图像；以及通过通信接口传输来自红外摄像机的热图像以供用户外部查看。

根据本公开文本的另一个方面，提供一种用于电气柜的监测系统，其包括：用于接收来自电气柜内的导体的电磁能的电磁耦合器；用于从电磁耦合器收获电能的能量收获电路；用于存储收获的电能并为监控系统供电的电池；以及配置成对电气柜的内部进行热成像的红外摄像机。

根据本公开文本的另一个方面，提供一种监测电气柜的方法，其包括：从电气柜内的至少一个导体收获电磁能；将收获的电磁能存储在储能装置中；对由储能装置提供能量的电器柜的内部进行热成像；以及将热图像无线地传输至远程系统。

根据本公开文本的另一个方面，一种系统包括：红外摄像机，其配置成捕获放置在机柜的内部腔室中的电气设备的至少一部分的热图像；非热摄像机，其配置成捕获放置在机柜的内部腔室中的电气设备的至少一部分的非热图像；以及通信接口，其配置成传输热图像和非热图像以供用户外部查看。

根据本公开文本的另一个方面，一种方法包括：用红外摄像机捕获放置在机柜的内部腔室中的电气设备的至少一部分的热图像；用非热摄像机捕获放置在机柜的内部腔室中的电气设备的至少一部分的非热图像；以及用通信接口传输热图像和非热图像以供用户外部查看。

根据本公开文本的另一个方面，一种用于机柜的监测系统包括：红外摄像机，其配置成捕获放置在机柜的内部腔室中的电气设备的至少一部分的热图像；非热摄像机，其配置成捕获放置在机柜的内部腔室中的电气设备的至少一部分的非热图像；和通信接口，其配置成传输热图像和非热图像以供用户外部查看。

根据本公开文本的另一个方面，用于机柜的监测系统进一步包括配置为产生组合图像的处理器，该组合图像包括来自非热图像的可见光谱特征和来自热图像的辐射测定分量的热特征。

根据本公开文本的另一个方面，组合图像包括：编码成组合图像的亮度分量的非热图像的高空间频率含量；和编码成组合图像的亮度分量的和/或编码成组合图像的色度分量的辐射测定分量。

根据本公开文本的另一个方面，组合图像包括编码成组合图像的色度分量的非热图像的色度分量；辐射测定分量包括热图像的亮度分量；组合图像包括含有辐射测定分量和可见光谱图像的亮度分量的混合图像数据；和混合图像数据被编码成组合图像的亮度分量。

根据本公开文本的另一个方面，用于机柜的监测系统进一步包括配置成显示组合图像的用户可视屏幕。

根据本公开文本的另一个方面，用户可视屏幕安装在机柜的外表面上。

根据本公开文本的另一个方面，用户可视屏幕远离机柜。

根据本公开文本的另一个方面，用于机柜的监测系统进一步包括：附加红外摄像机，其配置成捕获电气设备的相应部分的附加热图像；附加非热摄像机，其配置成捕获电气设备的相应部分的附加非热图像；和其中通信接口被配置成传输附加热图像和附加非热图像供用户外部观看。

根据本公开文本的另一个方面，非热摄像机包括可见光摄像机。

根据本公开文本的另一个方面，用于机柜的监测系统进一步包括：电磁耦合器，其配置成从机柜内的至少一个导体接收电磁能量；能量收获电路，其配置成从电磁耦合器提供电力；电池，其配置成给红外摄像机和非热摄像机供以电力。

根据本公开文本的另一个方面，热图像是电气设备的至少一部分的未模糊的热图像；和该系统还包括处理器，该处理器配置为：基于由热摄像机捕获的故意模糊的热图像，确定多个非均匀校正项，和将该非均匀校正项应用于未模糊的热图像，以从未模糊的热图像去除噪声。

本实用新型的保护范围由权利要求限定，其并入该部分作为参考。通过参照下面一个或多个实施方式的详细描述，将使本领域技术人员更完整地理解本实用新型的实施方式，并能知晓其额外的优势。下面将参照后附的附图页，首先对其作简要描述。

附图说明

图1示意了根据本公开文本实施方式的监测系统的示例。

图2示意了根据本公开文本实施方式的配置成在电气柜监测系统中实现的红外成像模块。

图3示意了根据本公开文本实施方式的确定NUC项的各种操作的流程图。

图4示意了根据本公开文本实施方式的监测系统的另一示例。

图5-6示意了根据本公开文本实施方式的显示系统的示意性用户界面。

图7示出了根据本公开实施例的具有热和非热成像能力的摄像机的监测系统的示例。

图8示出了根据本公开实施例的具有热和非热成像能力的多光谱摄像机的示例。

图9示出了根据本公开实施例的具有热和非热成像能力的多光谱摄像机的另一示例。

图10示出了根据本公开实施例的具有热和非热成像能力的多光谱摄像机的、图1所示类型的监测系统的示例。

图11示出了根据本公开实施例的具有热和非热成像能力的多光谱摄像机的、图4所示类型的监测系统的示例。

图12示出了根据本公开实施例的具有热和非热成像能力的各种摄像机的、图4所示类型的监测系统的另一示例。

图13示出了根据本公开实施例的示出如何捕获和组合热和非热图像的流程图。

图14示出了根据本公开实施例的用于捕获和组合热图像和非热图像以形成多光谱图像的过程的流程图。

图15示出了根据本公开实施例的用于处理热图像和非热图像的过程的流程图。

图16示出了根据本公开实施例的增强场景的红外成像的各种操作的流程图。

图17示出了根据本公开实施例的增强场景的红外成像的各种操作的流程图。

图18示出了根据本公开实施例的适于成像场景的成像系统的框图。

图19示出了根据本公开实施例的用于适于成像场景的成像模块的监测系统的框图。

图20示出了根据本公开实施例的适于成像场景的成像模块的布局的框图。

通过参照下面一个或多个实施方式的详细描述，将使本领域技术人员更完整地理解本实用新型的实施方式，并能知晓其额外的优势。下面将参照后附的附图页，首先对其作简要描述。

具体实施方式

为了解决热监测技术中的缺陷，公开了一种红外摄像机，其配置成永久地与电气柜集成。以这种方式，可进行连续热监测，无需任何电气系统关机。为了提供更大的便利，红外摄像机可通过电能收集(powerscavenging)技术供电，使得无需更换电池。在一些实施方式中，红外摄像机可以通过在该电能收集技术上增加，或替换为电气柜内的物理电气连接来供电。在一些实施例中，可以设置多个红外摄像机。在某些实施例中，还可将非热摄像机配置为与电气柜永久集成。在一些实施例中，非热摄像机可通过电能收集技术供电，使得无需更换电池。在一些实施例中，红外摄像机和非热摄像机可包含在共用的多光谱摄像机封装中。

在一些实施例中，可提供一个或多个红外(例如，热)摄像机和一个或多个非热感摄像机(例如，可见光摄像机或其他类型的非热成像器)以监测电气柜。例如，红外摄像机和非热摄像机可被提供小形状因子成像模块。非热成像摄像机可用例如响应非热频谱中的辐射(例如，可见光波长、紫外线波长和/或其他非热波长中的辐射)的一个或多个传感器和/或传感器阵列实现。例如，在一些实施例中，非热成像摄像机可用电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、互补金属氧化物半导体(CMOS)传感器、科学的CMOS(sCMOS)传感器或其他的滤波器和/或传感器实现。

在一些实施例中，非热摄像机可与红外成像模块共同布置并将它们定向，使得非热摄像机的视野(FOV)至少部分重叠红外成像模块的FOV。在一个实例中，根据2012年12月31日提出的美国临时专利申请No.61/748,018所描述的各种技术，红外成像模块和非热摄像机可被实现为共享公共基底的双传感器模块，上述专利申请通过援引并入本文。

对于具有这种非热光摄像机的实施例，各种部件(例如，一个或多个处理部件)可被配置成叠加、融合、混合或其它方式组合红外成像模块所捕获的红外图像(例如，包括热图像)和非热摄像机所捕获的非热图像(例如，包括可见光图像)，不管是在基本同一时间还是在不同时间(例如，时间间隔在几时、几天、白天与夜间，等)捕获的。

在一些实施例中，可处理热和非热图像以产生组合图像(例如，在一些实施例中，对这些图像执行的一个或多个处理)。例如，可执行基于场景的NUC处理(如下文进一步所述)，可执行真彩色处理，和/或可执行高对比度的处理。

对于真彩色处理，可根据在一些实施例中由用户和/或机器调节的混合参数，通过例如将热图像的辐射测定分量与非热图像的对应分量混合在一起，而将热图像与非热图像混合在一起。例如，根据混合参数可组合热和非热图像的亮度或色度分量。在一个实施例中，这种混合技术可被称为真彩色红外成像。例如，在白天成像时，混合图像可包括含有亮度分量和色度分量的非热彩色图像，其亮度值由热图像的亮度值替代和/或与其混合。来自热图像的亮度数据的使用使得真实的非热彩色图像的强度基于物体的温度变亮或变暗。如此，这些混合技术为白天或可见光图像提供了热成像。

对于高对比度处理，高空间频率含量可从一幅或多幅热和非热图像中获得(例如，通过执行高通滤波、差分成像和/或其他技术)。组合图像可包括热图像的辐射测定分量和混合分量，该混合分量包括根据在一些实施例中由用户和/或机器调节的混合参数，与高空间频率含量混合在一起的场景的红外(例如，热)特征。在一些实施例中，通过将高空间频率含量叠加到热图像上，可将非热图像的高空间频率含量与热图像混合在一起，其中高空间频率含量取代或覆盖对应于存在高空间频率含量的热图像的那些部分。例如，高空间频率含量可包括在场景的图像中所描绘的物体的边缘，但不可存在这种物体的内部。在这种实施例中，混合图像数据可简单包括随后将被编码成组合图像的一个或多个分量的高空间频率含量。

例如，热图像的辐射测定分量可以是该热图像的色度分量，高空间频率含量可来自非热图像的亮度和/或色度分量。在该实施例中，组合图像可包括编码成组合图像的色度分量的辐射测定分量(例如，热图像的色度分量)和直接编码(例如，没有热图像贡献的混合图像数据)成组合图像的亮度分量的高空间频率含量。通过这样做，可以保留热图像的辐射测定分量的辐射校准。在类似的实施例中，混合图像数据可包括加入热图像的亮度分量的高空间频率含量和编码成结果组合图像的亮度分量的结果混合数据。

例如，下列申请中公开的各种技术可用在各种实施例中：2009年6月3日提出的美国专利申请No.12/477,828的；2010年4月23日提出的美国专利申请No.12/766,739的；2011年5月11日提出的美国专利申请No.13/105,765；2012年4月2日提出的美国专利申请No.13/437,645；2011年4月8日提出的美国临时专利申请No.61/473,207；2012年12月26日提出的美国临时专利申请No.61/746,069；2012年12月26日提出的美国临时专利申请No.61/746,074；2012年12月31日提出的美国临时专利申请No.61/748,018；2013年3月15日提出的美国临时专利申请No.61/792,582；2013年3月15日提出的美国临时专利申请No.61/793,952；2011年4月21日提出的国际专利申请No.PCT/EP2011/056432；2013年9月25日提出的美国临时专利申请No.61/882,546；2013年4月3日提出的国际专利申请No.PCT/US2013/35149；2013年3月15日提出的美国专利申请No.13/839,118；和2012年4月6日提出的美国临时专利申请No.61/621,385；所有这些申请都通过引用的方式整体并入本文。本文所描述的或者引用本文的其他申请或专利中所描述的各种技术都可应用于各种热装置、非热装置以及本文描述的应用。

现在转向附图，图1示出了电气监测系统100的示例。电气柜105装有各种电气设备，例如，电气开关设备，导体，计算机，服务器，和/或其他恰当的设备。该电气设备可包括示例的电导体110。放置红外摄像机115以监测机柜105内的电气设备的热状态。例如，可安装摄像机115以利用机柜105上的观察口120对电气设备成像。以这种方式，由于通常情况下，电气柜内导体周围需要一定量的空隙，因此，摄像机115的主要部分实际位于机柜105的外部，以增强安全性和合规问题。但是，可以理解摄像机115也可以基本或全部放置在机柜105内。例如，摄像机115可以利用磁铁、紧固件、粘合剂、和/或其他恰当的技术，固定到机柜105的内表面或者机柜105内其他恰当的表面。虽然图1中示出了单个摄像机115，但是可以根据需要设置另外的摄像机，以对机柜105内的电气设备一些或所有部分成像。

可使用由流经电导体110的电流产生的电磁场以方便地为摄像机115供电，以避免技术人员需要周期性的更换用于供电的电池或硬导线AC或DC。可以利用电感耦合或电容耦合收获电磁场。例如，电感耦合收获由电导体110内的电流130同轴产生的磁场125。电感耦合因此包括和磁场125正交放置的线圈135，使得在线圈135中感应出电流。电导体110因此用作初级线圈，其通过空芯将电能传递至次级线圈135。在替代的实施方式中，磁芯变压器可用于感应地收获电能。线圈135可以构造为具有谐振槽路，以增加与电导体110的耦合。为了利用该生成的电流来产生电源，电能收获电路140耦合至线圈135，并对电池(或超级电容器)145充电。电池145为摄像机115、控制电子器件150以及无线通信接口155供电。控制电子器件150控制摄像机115，用以利用无线接口155和(一个或多个)天线160将产生的热图像无线发送至远程监测站(例如，图4的一个或多个显示系统420)。外壳165保护监测系统100。

还可用发送可见光图像和/或其他非热图像作为发送热图像的补充。因此，可以用可见光摄像机或其他非热成像传感器作为红外摄像机115的补充。另外，也可以发送关于热图像的参数数据，例如帧速率和曝光时间。并且，无线发送可以包括识别监测的电气柜(例如，识别码)和其位置的信息。另外，系统100可监测电气参数，例如电流，功率，电压或相角信息，并将监测的电气参数无线发送至远程监测站。

控制电子器件150可以针对设置故障条件，即图像指示温度超过预设容忍度，来分析来自摄像机115的热图像。在这方面，监测系统100可以构造为具有嵌入在电气柜门或者外壳的点式温度传感器，其经布置以用于监测电气柜105内的特殊目标。系统100可以将温度读数与热图像的无线传输打包。另外，电气柜105可以进一步构造为具有有机玻璃窗口，以允许技术人员直观地观察机柜内部。

在替代的实施方式中，监测系统100可以利用电容耦合来代替线圈135。在电容耦合中，线圈135由导电板136代替。导电板136中的一者接地于电气柜105的地面137。机柜105内的电气活动在板136之间感应出差分电荷，其被收获用于为监测系统100供电。不管使用电感还是电容耦合，可以理解通过这样的耦合能收获的电量一般很小。例如，由电能收获电路140产生的能量通常是微瓦至毫瓦的范围。与此相比，典型地，红外摄像机的运行和通过例如WiFi或蓝牙的无线传输需要多得的电能。为了节省电能，控制电子器件150可以命令摄像机115仅周期性的捕获图像。例如，帧速率可以是每分钟几帧的范围或更少。

为了成功利用这些相对较少的电能来运行，摄像机115可以构造为如图2所示。在该小形状因子的实施方式中，摄像机115通过不包含快门来节省电能和成本。根据下面对噪声的讨论，能更好的理解图2的实施方式。红外成像设备(例如，热成像器)，经常受到各种类型噪声，例如，高空间频率固定图案噪声(FPN)。一些FPN可和红外传感器的行和/或列相关。例如，以列噪声出现的FPN噪声可能由列放大器中的变化引起，并可包括l/f分量。该列噪声会抑制在想要的场景的垂直特征和垂直FPN之间进行区分的能力。其他FPN在空间上可不相关，例如，由像素至像素的信号偏移引起的噪声，其也包括l/f分量。

传统的移除FPN的方法依赖于内部或外部快门，其选择性的放置在红外成像设备的红外传感器的前面，以提供基本均匀的场景。在快门放置在红外传感器前面时，可以基于基本均匀的场景捕获的图像，校准红外传感器。该过程记为非均匀性校正(NUC)程序。但是，在本文讨论的应用中，想要实现红外成像的小形状因子和低功率操作。包括快门会增加尺寸，成本以及这些设备的电能需求。因此，本文公开的红外摄像机通过创新性的NUC程序避免需要快门。

图2示意了配置成实现没有快门的NUC的低功率、小形状因子红外摄像机的实施方式115的分解图。红外摄像机115可以包括透镜筒210，外壳220(例如，包括配置成接收用于基于插座的安装方式的插座的接合部件的表面209)，红外传感器组件228，电路板270，基座250，以及处理模块260。

透镜筒210可至少部分围绕光学元件280(例如，透镜)，光学元件280在图2中通过透镜筒210中的孔212部分可见。透镜筒210包括基本为圆柱形的延伸部件214，其用于将透镜筒210与外壳220中的孔222连接。

红外传感器组件228实现为，例如，具有安装在衬底240上的帽230(例如，盖子)。红外传感器组件228可以包括多个红外传感器232(例如，红外检测器)，其中多个红外传感器232在衬底240上以阵列或其他方式实现且由帽230覆盖。例如，在一个实施方式中，红外传感器组件228可以实现为焦平面阵列(FPA)。这样的焦平面阵列可以实现为，例如，真空封装组件(例如，由帽230和衬底240密封)。在一个实施方式中，红外传感器组件228可以实现为晶圆级封装(例如，红外传感器组件228可以从晶片上设置的一组真空封装组件中单分出来)。在一个实施方式中，红外传感器组件228可以配置成利用大约2.4伏，2.5伏，2.8伏，或相似电压的电源来运行。

红外传感器232可配置成检测来自电气柜内目标场景的红外辐射(例如，红外能量)，其包括，例如，中波红外波带(MWIR)，长波红外波带(LWIR)，和/或其他在特殊实现方式中想要的热成像带。在一个实施方式中，红外传感器组件228可以根据晶圆级封装技术提供。

红外传感器232可以实现为，例如，以任何想要的阵列图案布置的微测辐射热计或其他类型的热成像红外传感器，以提供多个像素。在一个实施方式中，红外传感器232可以实现为具有17μm像素间距的氧化钒(VOx)检测器。在各种实施方式中，可以使用大约为32乘32的红外传感器阵列，大约64乘64的红外传感器阵列，大约80乘64的红外传感器阵列，或其他阵列大小的红外传感器阵列，来布置红外传感器232。

衬底240可以包括各种电路，包括，例如，读出集成电路(ROIC)，其在一个实施方式中的尺寸为小于大约5.5mm乘5.5mm。衬底240也可以包括焊垫242，其用于接触从位于摄像机外壳220内表面的电气连接件226延伸出来的互补的突出连接件224和/或接触外壳165的恰当的连接件(图1)。

在一个实施方式中，ROIC可以实现为具有低压差调节器(LDO)以执行电压调整，从而降低引入红外传感器组件228的电源噪声，并因此提供改进的电源抑制比(PSRR)。并且，通过与ROIC实现LDO(例如，晶圆级封装内)，会消耗更少的裸片面积，并且需要更少的离散的裸片(或芯片)。

红外传感器组件228可以捕获图像(例如，图像帧)，并以不同速率从ROIC提供这些图像。处理模块260可以用于对捕获的红外图像执行恰当的处理并且可以根据任何恰当的架构实现。在一个实施方式中，处理模块260可以实现为ASIC。在这方面，这种ASIC可以配置成以高性能和/或高效率执行图像处理。在另一实施方式中，处理模块260用通用中央处理单元(CPU)实现，其配置成执行恰当的软件指令以执行图像处理并和控制电子器件150配合(图1)。

参考图3的流程图，可更好地理解摄像机115实行的NUC程序。在块305，红外传感器232开始捕获电气柜场景的图像帧。在块310，检测NUC过程发起事件。例如，如果从先前执行的NUC过程开始已经消逝最小时间，则NUC过程可由控制电子器件150发起(图1)。在进一步的实例中，如果从先前执行的NUC过程开始红外摄像机110已经经历了最低温度变化，则NUC过程可由控制电子器件150发起。

在块315，检测到NUC过程起始事件之后，确定是否确实实际应该执行NUC过程。就这方面而言，基于是否满足一个或多个附加条件，可选择性发起NUC过程。例如，在一个实施例中，除非从先前执行的NUC过程开始红外摄像机115已经经历了最小温度变化，否则不执行NUC过程。在其他实施例中可使用其他标准或条件。如果已经满足合适的标准或条件，则流程图继续到块320。否则，流程图返回到块305。

在块320，可执行散焦操作以有意地使红外传感器232捕获的图像帧散焦。例如，在一个实施例中，一个或多个致动器299(图2)可用于调整、移动或以其他方式平移光学元件280、红外传感器组件228和/或红外摄像机110的其他部件，以使红外传感器232捕获电气柜场景的模糊的(例如，未聚焦的)图像帧。也可考虑其他基于非致动器的技术以有意地使红外图像帧散焦，例如手动(例如，用户发起的)散焦。在块345，电气柜场景的模糊图像帧会被提供有FPN，该FPN在该模糊图像中比在聚焦图像中限定得更清楚。

在上面的讨论中，已针对单独捕获的图像帧描述了基于散焦的方法。在另一个实施例中，基于散焦的方法可包括在红外摄像机115已经散焦时积累多个图像帧，并将散焦图像帧进行平均，以移除时间噪声的影响并在块345提供模糊的图像帧。该散焦过程可被认为充当对电气柜图像的低通滤波器。也可以考虑其他技术以获得模糊图像诸如，例如，2012年6月8日提出的国际专利申请No.PCT/US2012/041749和2011年10月7日提出的美国专利申请No.61/545,056所阐述的各种的技术，通过引用的方式将它们整体并入本文。在块350，处理该模糊图像帧以确定更新的行和列FPN项(例如，如果先前没有确定行和列FPN项，则该更新的行和列FPN项可以是在块350第一次迭代中的新的行和列FPN项)。如在本公开文本中使用的，取决于红外传感器232和/或红外摄像机115的其他部件的取向，可以互换地使用术语行和列。

在一个实施方式中，块350包括对于模糊图像帧的每一行确定空间FPN校正项(例如，每行都具有其自己的空间FPN校正项)，也包括对于模糊图像帧的每一列确定空间FPN校正项(例如，每列都具有其自己的空间FPN校正项)。可以使用该处理来降低在热图像中固有的、由例如l/f噪声特性引起的空间的且缓慢变化(l/f)的行和列FPN，其中该l/f噪声特性在图像帧中会呈现为垂直和水平条纹。

有利地，通过利用模糊图像帧确定空间行和列FPN项，会降低实际成像的场景中的垂直和水平物体被错认为是行和列噪声的风险(例如，在FPN保持不模糊时，真实场景内容将被模糊)。

在一个实施方式中，可以通过考虑模糊图像帧的相邻像素之间的差异来确定行和列FPN项。例如，模糊图像帧中的像素可以和其最相近的8个水平相邻像素比较。可将相邻像素之间的差异求平均，以获得产生的像素组的偏移误差的估计。可以对于行或列中每个像素计算偏移误差，并且平均的结果可用于校正整个行或列。

为了防止真实场景的数据被解释为噪声，可以使用上限和下限阈值。落于这些阈值外面的像素值则不能用于获得偏移误差。另外，行和列FPN校正的最大量可以由这些阈值限制。

在2009年3月2日申请的美国专利申请No.12/396,340中提出了用于执行空间行和列FPN校正处理的其他技术，在本文中将其全部并入作为参考。

再次参考图3，在块350中确定的更新的行和列FPN项在块352中存储，并在块355中应用于在块345中获得模糊图像的帧。在应用这些项后，可以减少模糊图像帧中的空间行和列FPN中的一些。然而，由于这些项通常用于行和列，所以会保留另外的FPN，例如与像素至像素的漂移或其他原因相关的空间非相关FPN。空间相关FPN的邻域也可保留，其不直接与各个行和列相关。因此，可以按照下述讨论执行进一步处理以确定NUC项。

在块360，确定模糊图像帧中的局部对比度值(例如，在相邻的像素或像素小组之间的梯度的边缘或绝对值)。如果模糊图像帧中的场景信息包括没有明显模糊的反差区域(例如，原始场景数据中的高对比度边缘)，那么，可以通过块360中的对比度确定过程识别该特征。

例如，可以计算模糊图像帧中的局部对比度值，或者可以应用任何其他期望类型的边缘检测过程来将模糊图像中的某些像素识别为局部对比度区域的一部分。用该种方式标记的像素可以认为包含过量的高空间频率的场景信息，其会解释为FPN(例如，这些区域可对应于没有被充分模糊的场景的部分)。因此，可以排除这些像素而不在对NUC项的进一步确定中使用这些像素。在一个实施方式中，该对比度检测处理可依赖于比与FPN相关的期望对比度值高的阈值(例如，展示了高于阈值的对比度值的像素可以认为是场景信息，而那些低于阈值的像素可以认为是展示了FPN)。

在一个实施方式中，可在行和列FPN项已经应用于模糊图像的帧之后，在模糊图像帧上执行块360的对比度确定。在另一实施方式中，块360可以在块350之前执行，以在确定行和列FPN项之前确定对比度(例如，防止基于场景的对比度对这些项的确定做出贡献)。

块360之后，可预期在模糊图像帧中保留的任何高空间频率含量可大体上归因于空间不相关FPN。在这方面，块360之后，其他噪声或者实际的想要的基于场景的信息中的许多已经从模糊图像帧中去除或者排除，这是由于：对图像帧的有意的模糊(在块320中的散焦)、行和列FPN项的应用(块355)以及对比度确定(块360)。

因此，可以预期在块360之后，任何保留的高空间频率含量(例如，被显示为模糊图像帧中的对比度或差异的区域)可都归因于空间不相关FPN。相应的，在块365中，模糊图像帧被高通滤波。在一个实施方式中，这可包括应用高通滤波器以从模糊图像帧中提取高空间频率含量。在另一实施方式中，这可包括将低通滤波器应用于模糊图像帧，并取低通滤波后的图像帧和未滤波的模糊图像帧之间的差以获得高空间频率含量。根据本公开文本的各种实施方式，可以通过计算传感器信号(例如，像素值)和其相邻者之间的平均差来实现高通滤波器。

在块370中，在高通滤波后的模糊图像帧上执行平场校正过程，以确定更新的NUC项(例如，如果NUC过程之前没有执行过，那么更新的NUC项可以是块370的第一次迭代中的新的NUC项)。为了执行平场校正，对于模糊图像帧的每个像素可以利用其相邻像素的值来确定NUC项。对于每个像素来说，可以基于各种相邻像素的值之间的绝对差确定几个梯度。例如，可以在像素之间确定绝对值差，以建立从左至右的对角梯度，从顶端至底端的垂直梯度，从右至左的对角梯度以及从左至右的水平梯度。

这些绝对差可被求和，以用于为正在被检查的像素提供合计的梯度。可以为被检查的像素确定权重值，其与合计的梯度成反比。可以对模糊图象帧的所有像素执行该过程，直到为每个像素提供权重值。对于具有低梯度的区域来说(例如，模糊的或具有低对比度的区域)，权重值将接近于一。相反，对于具有高梯度的区域来说，权重值将为零或者接近于零。由高通滤波器估计的NUC项的更新与权重值相乘。

在一个实施方式中，通过将一定量的时间衰减应用于NUC项确定过程可以进一步减少将场景信息引入NUC项的风险。例如，可以在0和1之间选择时间衰减因数λ，使得存储的新的NUC项(NUCNEW)是旧的NUC项(NUCOLD)和估计的更新的NUC项(NUCUPDATE)的加权平均。在一个实施方式中，这可以表达为NUCNEW＝λ·NUCOLD+(1-λ)·(NUCOLD+NUCUPDATE)。

虽然已经就梯度描述了NUC项的确定，但是如果合适则可以使用局部对比度值替代。也可以使用其他的技术，例如，标准偏差计算。可以执行其他类型的平场校正过程确定NUC项，包括，例如，2000年2月22日公布的美国专利No.6,028,309，2004年11月2日公布的美国专利No.6,812,465，以及2008年5月5日申请的美国专利申请No.12/114,865中提出的各种过程，其全部并入本文作为参考。

再次参考图3，块370可包括NUC项的附加处理。例如，在一个实施方式中，为了保留场景信号均值，可以通过从每个NUC项中减去NUC项均值将所有NUC项的和归一化为零。另外在块370中，为了避免行和列噪声影响NUC项，可以从每行和列的NUC项中减去每行和列的平均值。因此，在NUC项应用于捕获的图像之后(例如，在进一步讨论的块380中)，使用在块350中确定的行和列FPN项的行和列FPN滤波器能够更好地在进一步的迭代中滤除行和列噪声。在这方面，行和列FPN滤波器通常可以使用更多的数据以计算每行和每列的偏差系数(例如，行和列FPN项)，并且因此，与基于高通滤波以捕获空间不相关噪声NUC项相比，能够提供更稳定的替代项，以减少空间相关FPN。

在块371-373中，可以选择性地执行额外的高通滤波和进一步确定更新的NUC项，以去除空间相关FPN，其具有比之前由行和列FPN项移除的FPN更低的空间频率。在这方面，红外传感器232或红外摄像机110的其他组件中的一些变化性会产生空间相关FPN噪声，其不能轻易地模型化为行或列噪声。该空间相关FPN可包括，例如，传感器封装或红外传感器232簇上的窗口缺陷，其相比于附近的红外传感器对辐射的响应不同。在一个实施方式中，可以利用偏差校正减轻该空间相关FPN。如果该空间相关FPN的量显著，那么噪声也可以在模糊图像帧中检测到。由于该种类型的噪声会影响像素邻域，那么具有小内核的高通滤波器可能不会检测到邻域中的FPN(例如，高通滤波器中使用的所有值从受影响的像素的邻域中提取，并且因此，其会受相同偏移误差的影响)。例如，如果块365中的高通滤波是利用小内核执行的(例如，仅考虑落入受空间相关FPN影响的像素邻域中最紧邻的像素)，那么，广泛分布的空间相关FPN可能不会被检测到。

再次参考图3，在块371-373中，可以选择性执行额外的高通滤波和进一步确定更新的NUC项，以去除空间相关FPN。在块371中，将在块370中确定的更新的NUC项应用于模糊图像帧。因此，此时，模糊图像帧对于空间相关FPN来说已经被初始校正(例如，通过应用块355中的更新的行和列FPN项)，并且对于空间不相关FPN来说，也被初始校正(例如，通过应用在块371中的更新的NUC项)。

在块372中，应用更进一步的高通滤波器，其具有比在块365中使用的更大的内核，并且可以在块373中确定进一步更新的NUC项。例如，为了检测散焦的图像帧像素中存在的空间相关FPN，在块372中应用的高通滤波器可包括来自足够大的像素邻域的数据，使得可以确定未受影响的像素和受影响的像素之间的差。例如，可以使用具有大内核的低通滤波器(例如，比3乘3像素大得多的N乘N内核)，并且可以减去该结果以执行适当的高通滤波。

在一个实施方式中，为了计算效率，可以使用稀疏内核，使得仅使用N乘N邻域内的少量的相邻像素。对于任何给定的使用远离邻者的高通滤波器操作(例如，大的内核)来说，存在将实际的(可能是模糊的)场景信息模型化为空间相关FPN的风险。因此，在一个实施方式中，时间衰减因数λ可以设置为接近1用于块373中确定的更新的NUC项。

在各种实施方式中，可重复块371-373(例如，级联)以迭代地执行高通滤波，且内核大小逐渐增加，以提供进一步的更新的NUC项，进一步校正想要的邻域大小的空间相关FPN。在一个实施方式中，通过空间相关FPN实际上是否已经被之前执行的块371-373中的更新的NUC项移除，来确定执行这样的迭代的决定。

块371-373完成后，会对是否将更新的NUC项应用于捕获的图像帧作出决定(块374)。例如，如果对于整个图像帧的NUC项的绝对值的平均小于最小的阈值或大于最大阈值，那么NUC项可被认为是假性的或不可能提供有意义的校正。可选地，阈值化标准可以应用于各个像素以确定那些像素接收更新的NUC项。在一个实施方式中，阈值可以对应于新计算的NUC项和以前计算的NUC项之间的差。在另一个实施方式中，阈值可以独立于之前计算的NUC项。可以应用其他测试(例如，空间相关性测试)以确定是否应该应用NUC项。

如果认为NUC项是假性的或者不可能提供有意义的校正，那么流程图返回到块305。否则，新确定的NUC项被存储(块375)以代替之前的NUC项(例如，由图3的之前执行的迭代确定的)并被用于(块380)捕获的图像的帧。关于该有利的NUC算法的另外的细节在2011年10月7日申请的美国临时申请No.61/545,056中有讨论，其内容全部并入本文作为参考。

图4示意了根据公开文本的实施方式的另一监测系统400的示例。监测系统400可用于，例如，捕获、传送、处理、和/或显示放置在电气柜405内部腔室401中的的电气设备403的热图像。监测系统400可包括，例如，一个或多个红外摄像机115(例如，在图4中表示为115A-E)，一个或多个通信接口455，和一个或多个显示系统420(例如，在图4中表示为420A-C)。

红外摄像机115可以位于电气柜405的内部腔室401内的不同位置，以提供对电气设备403的查看。虽然特定的红外摄像机115示意为围绕电气设备403基本成半球状布置，但是也可以使用任何期望的摄像机布置。例如，在一些实施方式中，各种红外摄像机115可布置为完全包围电气设备403，以查看电气设备403的所选部分或其他布置。

红外摄像机115A和115E示意为安装到电气柜405的内表面402。为清楚起见，红外摄像机115B-D示意为没有相应的支撑结构。然而，任何期望的支撑结构可用于红外摄像机115中的任何一者。

虽然电气设备403示意为接近电气柜405的一个壁(例如，后壁)放置，但是，电气设备403可放置在电气柜405内的任何一个或多个位置。取决于电气柜405内电气设备403的特定位置，红外摄像机115可以放置在需要的位置，以查看电气设备403的恰当部分。

在一些实施方式中，电气柜405包括电连接器451，其用来为红外摄像机115提供电能。在这方面，红外摄像机头115A和115E示意为通过至电连接器451的物理耦合接收电能。为清楚起见，红外摄像机115B-D示意为无相应的电连接器。

图4的电连接器451和/或图1的电磁场收获/储存/供电组件的任意期望的组合可以用于为红外摄像机115供电。例如，红外摄像机115A-E中的任意一者可以由物理电连接器451，收获的电磁能，和/或两者供电。

红外摄像机115可以通过各种通信总线452将捕获的热图像和/或其他数据提供至通讯接口455。在图4中，通信接口455示意为有线通信接口。但是，通信接口455可以实现为无线通信接口(例如，以无线通信接口155的方式)或支持任何所需的与红外摄像机115和/或其他组件有线和/或无线通信的组合的混合的有线/无线接口。在一些实施方式中，通信接口455可以实现成包括前述的控制电子器件150。在一些实施方式中，控制器150可以脱离通信接口455实现。

通信接口455和/或其他组件可以根据任何适当的协议，例如，Modbus、ModbusTCP、以太网、WiFi、蓝牙、和/或其他协议，实现通信。

通信接口455还可以从一个或多个传感器456(例如，温度传感器，电流传感器，功率传感器，电压传感器，相位角度传感器，和/或其他传感器)接收数据，其可以作为监测系统400的一部分设置在电气柜405内和/或外部的任何期望的位置。例如，在图4中所示，各种传感器456可以放置在电气设备403上或远离电气设备403。可以通过各种通信总线452由通信接口455接收传感器数据，并且可由通信接口455将其传递给期望的其他组件。

可以提供一个或多个显示系统420(例如，由420A-C表示)，以便允许对由通信接口455所提供的热图像和数据的监测。例如，显示系统420A包括外壳465，图像处理器422，用户可视屏幕424和用户控件467。

图像处理器422可以处理从通信接口455接收的热图像，以准备将在屏幕424上显示的用户可视图像。例如，在一些实施方式中，图像处理器422可配置成将热图像提供给屏幕424以供用户同时查看。

在一些实施方式中，图像处理器422可配置成通过执行各种图像处理将热图像组合成复合热图像。例如，可以组装(例如，“缝合在一起”)多个热图像以提供复合热图像，其显示电气设备403的全景视图或其他视图。图像处理器422可将这种复合热图像提供至屏幕424供用户查看。可提供该复合热图像以增补和/或替代原始的热图像，以允许用户在需要的情况下方便地在不同视图之间切换(例如，通过用户控件467控制图像处理器422的操作)。

在一些实施方式中，图像处理器422可以在提供至屏幕424的热图像和/或复合热图像中嵌入附加信息(例如，传感器456提供的传感器)。在一些实施例中，图像处理器422可以执行本文所述的，或并入本文作为参考的各种图像处理中的任一个，包括，例如NUC。也可以执行其他图像处理，例如，测量、着色、降噪或其他处理。在一些实施方式中，图像处理器422可以结合或脱离控制器150、通信接口455、处理模块260、和/或其他组件来执行各种处理操作。

虽然示意了监测系统400的各种组件放置在电气柜405的内部(例如，在内部腔室401中)以及其他组件放置在外部，但是为满足特定实现方式所需，各种组件的任一个可以被放置在内部或外部。例如，在一些实施方式中，图像处理器422和/或其他组件可以放置在电气柜405外部并且在外壳465内，以防止此类组件散发的热量影响温度或从电气柜405内捕获的热图像。在其它实施方式中，此类组件中某些或全部可被放置在电气柜405内，或其壁内。在其他实施方式中，控制器150，通信接口455，和/或其他组件可以安装在电气柜405的外部(例如，在外壳465内或其他地方)。

如图4所示，显示系统420A可安装，例如，在电气柜405的外表面404(例如，门或面板)上。在这方面，屏幕424可以被定位，使得用户在接近电气柜405时可以方便地查看热图像或复合热图像。。

也可以预期其他显示系统。例如，显示系统420B可以远离电气柜405放置。在这方面，显示系统420B可以通过网络453(例如，一个或多个有线和/或无线网络)与监测系统400的其他部分通信。

作为另一个示例，显示系统420C可实现为移动设备。在这方面，显示系统420C可以用专门的硬件，运行在通用或专门的硬件上的软件(例如，运行在智能手机或平板电脑上的应用程序)和/或其他实现方式来实现。如图4所示，显示系统420C可通过无线信号454(例如，实现为给无线通信提供支持时，由通信接口455接收的)与监测系统400的其他部分通信。在一些实施方式中，红外摄像机115可以实现为具有用于无线通信的内置支持，以允许与显示系统420A-C中的任何一者无线通信。

显示系统420A-C中的任何一者可以实现为具有图像处理器422，屏幕424，用户控件467，外壳465，通信组件，处理器，存储器，和/或其他适当的组件。可以预期各种显示系统可以共享组件。例如，在一些实施方式中，可以为监测系统400提供单个图像处理器422。在这方面，热图像和/或复合热图像可从图像处理器422通过适当的有线或无线通信技术提供给显示系统420A-C中的任何一者。

图5-6示出了根据公开文本的实施方式的显示系统420的用户界面的示例。参照图5，屏幕424同时显示由相应的红外摄像机115A-E捕获的图像500A、500B、500C、500D和500E。屏幕424还显示了信息510，诸如与电气设备403和/或电气柜405相关的各种参数。在一些实施方式中，该信息可由红外摄像机115，传感器456，控制电子器件150，和/或其他组件通过通信接口455传递到图像处理器422和/或显示器424。例如，在一些实施方式中，信息510可以基于由传感器456提供的读数和/或对由红外摄像机115捕获的热图像执行的处理。

此外，如图5A所示，可以提供各种用户控件467，以允许用户选择要在屏幕424上显示的不同的热图像和/或信息。例如，在一些实施方式中，控件467的用户操作可将恰当的控制信号发送给屏幕424，图像处理器422，通信接口455，控制电子器件150，摄像机115，传感器456和/或其他组件。虽然控件430示意为按钮，但是可以提供任何所需类型的用户控件。例如，在一些实施方式中，屏幕424可以是实现为触摸屏的用户控件。

参照图6，屏幕424同时显示由对图像500A-E的恰当处理而准备的复合热图像550。在这方面，复合热图像550可提供由红外摄像机115A-E共同提供的电气设备403的全景视图。

在一些实施例中，监测系统400配置成响应于用户控件467(例如，响应于用户对在屏幕424上提供的图像的浏览，或者在屏幕424上提供的信息而执行的由用户启动的操作)而提供警报和/或采取校正动作(例如，禁用和/或以其他方式调整电气设备403的操作)。在一些实施方式中，监测系统400配置成自动响应于对图像和/或传感器数据的处理而提供警报和/或采取校正动作。

在某些情况下，可取的是获得额外的图像，诸如柜中的电气设备的一个或多个部分的非热图像，诸如图1的电气柜105中的电气设备、图4的电气设备403或其他电气设备。例如，监测系统的用户可能希望比单独使用红外成像获得的场景(例如，感兴趣的区域，诸如基于那部分的热图像展现出不良高温的电气设备的部分)的特定部分的图像有更高的分辨率。为了提供电气系统的加强监测，因此，监测系统可提供除一个或多个红外摄像机115之外的一个或多个非热摄像机。

图7示出了除包括一个或多个红外摄像机115之外还包括一个或多个非热摄像机725的监测系统700。作为实例，监测系统700可以是图1的监测系统100、图4的监测系统400或其他适当的监测系统的实施例。如图7所示，一个或多个非热摄像机725和一个或多个红外摄像机115可提供在共同封装中，诸如多光谱摄像机715。然而，这仅仅是说明性的。如果需要，系统700可提供一个或多个非热摄像机725和一个或多个单独的红外摄像机115。

在一些实施例中，监测系统可包括具有基本上重叠视野的非热摄像机和红外摄像机。在其他实施例中，监测系统可包括具有基本上不同视野的非热摄像机和红外摄像机。

如本文进一步详细描述的，分别来自红外摄像机115和非热摄像机725的热图像和非热图像可被融合、叠加或以其它方式进行组合，以形成处理后的图像，诸如多光谱图像。多光谱图像可向监测系统的用户提供被监测设备的高分辨率、高对比度和/或有针对性的对比组合图像。照这样，可为监测系统的用户提供有利的增强定位能力或以其他方式分析被监测设备的可能有问题的部分。

图8和9示出了多光谱摄像机715的配置示例。如图8所示，多光谱摄像机715可由连接到共同的电路板800(例如，刚性或柔性印刷电路)的红外传感器组件802和非热传感器组件804形成。

红外传感器组件可包括形成在红外传感器衬底806上的红外传感器阵列808和将红外光导向到红外传感器阵列上的光学元件810。例如，如上所述，传感器阵列808、衬底806和光学元件810可在图2示出的类似连接的部件中实现。

非热传感器组件804可包括形成在非热传感器衬底812上的非热图像传感器元件814。非热传感器组件804还可包括将非热辐射(例如，可见光、近红外光、短波红外光或其他非热光)导向到非热图像传感器元件814上的光学元件816(例如，一个或多个透镜、一个或多个滤波器、一个或多个反射镜或其他适当的光导向元件)。

非热图像传感器元件814可包括电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、互补金属氧化物半导体(CMOS)传感器、科学的CMOS(sCMOS)传感器、增强型电荷耦合器件(ICCD)传感器、近红外传感器或其他非热辐射传感器。

如图9所示，在另一个实施例中，多光谱摄像机715的成像部件可形成在共同衬底上。在图9的实例中，非热摄像机725可由非热图像传感器元件908形成，非热图像传感器元件908与红外传感器元件(诸如红外传感器元件904)形成在共同的衬底902上。衬底902还可连接到印刷电路，诸如印刷电路900(例如，柔性或刚性印刷电路)。

非热摄像机725还可包括将非热辐射(例如，可见光、近红外光、短波红外光或其他非热光)导向到非热图像传感器元件908(例如，电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、互补金属氧化物半导体(CMOS)传感器、科学的CMOS(sCMOS)传感器、增强型电荷耦合器件(ICCD)传感器、近红外传感器或其他非热辐射传感器)上的光学元件910(例如，一个或多个透镜、一个或多个滤波器、一个或多个反射镜或其他适当的光导向元件)。光学元件906可将红外光导向到红外传感器元件904上。然而，图8和9的实例仅仅是示例性的，其中红外摄像机115和非热摄像机725被实现在形成多光谱摄像机715的共同封装中。如果需要，监测系统可包括单独的红外摄像机115和非热摄像机725。

图10、11和12示出了其中本文所述的监测系统提供有热和非热两种成像能力的示例性实施例。

如图10所示，系统100可提供代替红外摄像机115的多光谱摄像机，诸如多光谱摄像机715。通常，可以与图1的红外摄像机115类似的方式将摄像机715布置、安装以及耦合到系统100的其他部件。例如，如关于图1的摄像机105所描述，摄像机715可被布置为从柜中的电器部件获得电力。摄像机715可捕获并提供热图像和非热图像到控制电子器件150进行处理(例如，组合)。

如图11所示，系统400可提供代替图4的摄像机115A-E的多光谱摄像机715A-E。每个摄像机715可提供一个或多个红外摄像机115和一个或多个非热摄像机725。通常，可以与图4的红外摄像机115A-E类似的方式将摄像机715A-E布置、安装以及耦合到系统400的其他部件。摄像机715可捕获并提供热图像和非热图像到控制器422进行处理(例如，组合)。如关于例如图4、5和6所描述，可通过任何显示系统420显示组合图像，诸如多光谱图像。在一些实施例中，如关于图6的图像550所描述的，可将多光谱图像拼接在一起以形成用于显示的复合的多光谱图像。然而，图11的实例仅仅是示例性的，其中所有的红外摄像机115都被替换为多光谱摄像机715。如果需要，系统400可提供一个或多个多光谱摄像机715、与多光谱摄像机715分开的一个或多个红外摄像机115，和/或与多光谱摄像机715分开的一个或多个非热摄像机。

在图12的实例中，系统400包括红外摄像机115A、115B、115C和115D和非热摄像机725A、725B、725C和725D。如图所示，一些红外摄像机115(例如，红外摄像机115A、115C和115D)可具有相关的非热感摄像机(例如，非热摄像机725A、725C和725D)。此外，400系统可包括不与任何非热感摄像机725相关的红外摄像机115(例如，红外摄像机115B)和/或不与任何红外摄像机相关的非热摄像机725(例如，非热摄像机725B)。通常，监测系统可提供监测例如电气设备所需的红外和非热摄像机的任何适当的组合。

具有相关的非热摄像机(例如，相关的单独的非热摄像机和/或共同封装中的非热摄像机)的红外摄像机可与相关的非热摄像机具有部分或完全重叠的视野，以方便组合捕获的热和非热图像。

图13和14是组合红外图像(例如，热图像)和非热图像(例如，可见光图像、近红外图像、短波红外图像和/或其他非热图像)的过程的示例。

如图13所示，热图像1300和非热图像1302可提供给处理器，诸如处理器1304。在各种实施例中，处理器1304可以是与监测系统相关的处理器，诸如系统100的控制电子器件150和/或系统400的图像处理器422。

处理器1304可用于如本文进一步描述的融合、叠加或以其他方式组合非热图像1302与热图像1304，以形成处理后的图像，诸如多光谱图像1306。多光谱图像1306可由单一的热图像1304和单一的非热图像1302形成，或者多光谱图像1306可以是由多光谱图像形成的复合拼接图像，该多光谱图像由例如视图部分重叠柜中的电气设备的一部分的几个多光谱摄像机捕获。多光谱图像1306可提供至显示器，存储在存储器中，或发送到外部设备(作为实例)。

图14示出了在监测系统中使用处理器捕获并组合热与非热图像的过程1400的流程图。

在块1402，使用监测系统中的一个或多个红外摄像机捕获热图像。每个热图像都可在红外摄像机的那些的焦平面阵列(FPA)被捕获，诸如本文所描述。如果需要，热图像可使用每个都观看被监测的电器设备的一部分的多个摄像机捕获。

在块1404，诸如本文所描述，可以使用监测系统中的一个或多个非热摄像机捕获非热图像。诸如本文所描述，非热摄像机在监测系统中可与红外摄像机分开形成，或可与多光谱摄像机中的一个或多个红外摄像机形成在共同封装中。捕获非热图像可包括捕获重叠热图像的至少一部分的非热图像。

在块1406，可处理在块1402和1404捕获的热和非热图像。热和非热图像可受到单独的处理操作和/或用于组合、融合或叠加图像以形成多光谱图像的处理操作。处理热和非热图像可包括基于用于捕获图像的非热摄像机和红外摄像机之间的距离的视差校正。处理热和非热图像可包括将一个或多个热图像拼接在一起、将一个或多个非热图像拼接在一起，和/或将一个或多个多光谱图像拼接在一起。处理热图像可包括图像校正操作，诸如如本文所述的NUC过程。

在块1408，对处理后的图像可采取适当的操作。适当的操作可包括显示处理后的图像、存储处理后的图像和/或发送处理后的图像(例如，到外部设备)。显示处理后的图像可包括显示一个或多个热图像和/或如关于图5和6所述的(作为实例)一个或多个拼接的热图像，显示一个或多个非热图像和/或一个或多个拼接的非热图像，显示一个或多个热图像和一个或多个多光谱图像，显示一个或多个多光谱图像，或者显示一个或多个拼接的多光谱图像(作为实例)。

在有时本文作为实例讨论的一个适当的实施例中，可处理红外图像，诸如热图像，并将其与可见光图像(有时本文称为可见光谱图像)组合在一起。在该实施例中，非热摄像机725可以是配置为捕获可见光图像的可见光摄像机。然而，应该意识到，本文所讨论的实例仅仅是示例性的，其中将可见光谱图像与红外(例如，热图像)组合在一起，本文所述的过程和方法可用于将红外(例如，热)图像与任何适当的非热图像(诸如近红外图像、短波红外图像、EMCCD图像、ICCD图像等)组合在一起。图15、16和17示出了在本实施例中处理和/或组合热和可见光谱图像可执行的操作。因此，应该意识到，对于可见光谱图像的本文关于图15、16和17所描述的操作也可应用于不同于可见光谱图像的非热图像。

现在转到图15，图15示出根据本公开实施例的处理使用监测系统捕获的热和非热图像的过程4100的流程图。在一些实施例中，过程4100可被实现为例如图14的过程1400中块1406的实施例，以产生处理后的图像，诸如来自在过程1400的块1402和1404捕获的红外(例如，热)和非热图像的多光谱图像。

还应该意识到，可以按不同于图15所示的实施例的顺序或布置执行过程4100的任何步骤、子步骤、子过程或块。在一些实施例中，可以环路的方式实现过程4100的部分，以便对一连串红外和/或可见光光谱图像(诸如场景4030的视频)进行连续地操作。在其它实施例中，可以局部反馈回路的方式实现过程4100，该局部反馈回路包括例如向用户显示中间处理(例如，在接收红外和/或可见光谱图像之后，或者在接收红外和/或可见光谱图像的同时，执行预处理操作，产生组合图像，执行后处理操作或执行过程4100的其他处理)，和/或包括接收用户输入，诸如指向任何中间处理块的用户输入。

在块4120，可对一个或多个捕获的热和非热图像执行预处理操作。

预处理操作可包括例如对全部或部分图像(诸如对图像的分量或图像的像素选择)或者对系列图像的选择执行的各种数值、点和/或组合操作。在一个实施例中，处理操作可包括校正操作，其对由具有不同FOVs或非共线性光轴的成像模块4002a-b产生的不同FOVs和/或视差进行校正。这种校正可包括例如图像裁剪、图像变形(例如，映射像素数据到图像的新位置)、空间滤波以及重采样。在另一个实施例中，可见光谱和/或红外图像的分辨率可被缩放成接近或匹配对应图像的分辨率(例如，可见光谱到红外、或者红外到可见光谱)、图像的一部分(例如，画中画(PIP)效果)、显示器4016的分辨率或由用户、监测系统或特定图像处理块所指定的分辨率。分辨率缩放可包括例如重采样(例如，上采样或下采样)图像，或者可包括空间滤波和/或裁剪图像。

在另一个实施例中，预处理操作可包括时域和/或空间降噪操作，其可对可见光谱和/或红外图像执行，并且可包括使用例如由红外摄像机和非热摄像机(诸如可见光摄像机)中一个或两个提供的系列图像。在进一步的实施例中，例如，可通过使用本文公开的各种NUC技术，对捕获的和存储的图像执行NUC过程以去除其中的噪声。在另一个实施例中，可对一个或多个图像执行用于红外图像的其他校准过程，诸如分析、瞄准、基线参数构造，以及其他统计分析。由这种过程产生的校准参数可被应用于图像，以校正、校准或以其他方式调整红外图像的辐射测定数据，或者校正一个或多个可见光谱图像的颜色或强度数据。

在一个实施例中，图像可被分析以确定图像的一个或多个分量的强度分布。例如，整体增益和/或偏移可以基于这种分布确定，并且例如用于调整该分布以使得其符合预期(例如，校正的)或期望的(例如，目标的)的分布。在其他实施例中，可确定整体增益和/或偏移，从而使分布的特定间隔利用图像的特定分量或分量的多个动态范围。

在一些实施例中，第一图像的动态范围(例如，诸如热图像的红外图像的辐射测定分量)可被归一化为第二图像的动态范围(例如，可见光谱图像的亮度分量)。在其他实施例中，可根据例如直方图均衡方法、线性缩放方法或它们两个组合来调整特定图像的动态范围，以根据特定图像中包含的信息或图像的选择来分配动态范围。

在进一步的实施例中，可在保持红外图像的辐射测定分量的校准的同时，执行对图像的动态范围或其他方面的调整和/或归一化。例如，可以调整红外图像的非辐射测定分量的动态范围，而不调整红外图像的辐射测定分量的动态范围。在其他实施例中，红外图像的辐射测定分量可被调整为例如强调特定的热区间，并该调整可与红外图像一起存储，以便将精确的温度对应(例如，伪彩色和/或强度对应)以及对应于热图像的用户可视图像和/或包括来自红外图像的红外特征的组合图像一起呈现给用户。

在其他实施例中，预处理操作可包括将可见光谱和/或红外图像转换为不同或共同的颜色空间。在其它实施例中，可将原始的或未经压缩格式的图像转换为共同的RGB或YCbCr颜色空间。在一些实施例中，伪调色板(诸如用户选择的伪调色板)可被应用为在块4120执行的预处理操作的一部分。与动态范围调整一样，例如，在保持红外图像的辐射测定分量的校准或可见光谱图像的颜色空间校准的同时，可执行调色板的应用。

在另一个实施例中，预处理操作可包括将图像分解成各种分量。例如，包括原始的或未压缩的辐射测定分量的颜色空间/格式的红外图像可被转换为YcbCr颜色空间的红外图像。该原始辐射测定分量可被编码为例如转换的红外图像的亮度(例如，Y)分量，或编码为转换的红外图像的色度(例如，Cr和/或CB)分量，或编码为转换的红外图像的亮度和色度分量。在一些实施例中，例如，未使用的分量可被丢弃，或被设置为已知值(例如，黑色、白色、灰色或特定主色)。例如，还可以以类似的方式将可见光光谱图像转换并分解为组成分量。例如，分解后的图像可代替原始图像被存储，该分解后的图像可包括指示所有颜色空间转换和分解的背景数据，以便大概保留原始图像的辐射测定和/或颜色空间校准。

更普遍地，例如，预处理后的图像可代替原始图像被存储，该预处理后的图像可包括指示所有应用的预处理操作的背景数据，以便可能地保留原始图像的辐射测定和/或颜色空间校准。

在块4130，监测系统可产生一个或多个组合图像，诸如来自捕获的预处理后的图像的多光谱图像。与由单独的可见光谱或红外图像所提供的影像相比，这种组合图像可用于提供增强的影像。

在一个实施例中，系统的处理器可根据真彩色模式产生组合图像。例如，组合图像可包括根据混合参数与可见光谱图像的对应分量混合在一起的红外图像的辐射测定分量。在这种实施例中，组合图像的剩余部分可来源于可见光谱和/或红外图像的对应部分。

在另一实施例中，处理器可被配置为根据高对比度模式产生组合图像。例如，组合图像可包括红外图像的辐射测定分量和混合分量，该混合分量包括根据混合参数与来自可见光谱和/或红外图像的高空间频率含量混合在一起的图像的红外特征。

更普遍地，处理器可被配置为产生组合图像，该组合图像增加或改善了由可见光频谱图像或红外图像本身所表达的信息。例如，为了后续的后处理和/或呈现给监测系统的用户，可存储组合图像。

在块4140，处理器可对组合图像执行各种后处理操作。与关于块4120所述的预处理操作类似，后处理操作可包括例如对全部或部分图像(诸如对图像的分量或图像的像素选择)或者对系列图像的选择执行的各种数值、点和/或组合操作。例如，对捕获的图像执行的关于预处理所述的任何动态范围的调整操作也可对一个或多个组合图像执行。在一个实施例中，可将特定调色板(诸如，晚间或是日间调色板)或者伪调色板应用于组合图像。例如，特定颜色调色板可由用户指定，或可通过背景或其他数据、诸如一天中的当前时间、组合图像的类型或组合图像的动态范围来确定。

在其它实施例中，为了减少组合图像中可能存在的污迹或伪象的印记，后处理操作包括将高分辨率噪声添加到组合图像。在一个实施例中，附加的噪声可包括高分辨率时域噪声(例如，“白色”信号噪声)。在进一步的实施例中，后处理操作可包括一个或多个降噪操作，以减少或消除由例如图像处理(诸如混叠、结合、动态范围偏移和相关点噪声的数值计算)引入组合图像的噪声或其他非物理伪影。

在一些实施例中，为了确保在没有广泛颜色数据的区域上强调具有广泛颜色数据的区域，后处理操作可包括对图像亮度值的颜色加权(例如，色度加权)调整。例如，在块4130，在红外图像的辐射测定分量被编码成例如组合图像的色度分量的情况下，可以调整组合图像的亮度分量，以提高具有高水平辐射测定数据的组合图像的区域的亮度。高水平辐射测定数据可相当于例如高温度或温度梯度，或者具有广泛分布的不同强度红外发射的图像的区域(例如，与具有窄或单一分布的强度红外发射的区域相反)。其他归一化加权方案可用于偏移具有显著颜色内容的像素的组合图像的亮度分量。在可替代的实施例中，可以以类似的方式对图像的色度值进行亮度加权调整。

更普遍地，为了提供自动化图像增强，后处理操作可包括使用组合图像的一个或多个分量来调整组合图像的其他分量。在一些实施例中，后处理操作可包括调整动态范围、分辨率、颜色空间/格式或组合图像的其他方面，以匹配或接近例如显示器的对应方面或监测系统或用户选择所期望的对应方面。

例如，后处理的组合图像可代替原始组合图像被存储，并可包括指示所有应用的后处理操作的背景数据，以便可能保留原始组合图像的辐射和/或颜色空间校准。

现在转到图16，图16示出了根据本公开实施例的增强场景的红外成像的过程4200的流程图。在一些实施例中，过程4200可被实现为例如图15的过程4100中的块4130的实施例，以产生来自图14的过程1400的块1402和1404中接收的捕获的热红外和可见光谱图像的组合图像。

还应该意识到，可以按不同于图16所示的实施例的顺序执行过程4200的任何步骤、子步骤、子过程或块，而且，可在包括不同于块4130的块的图15的过程4100中的一个或多个块之前、之后或在块内执行它们。例如，虽然过程4200描述了独特的混合和高对比度模式，但在其他实施例中，可使用混合和/或高对比度模式处理操作的任何部分、顺序或组合来组合捕获的图像。

在块4230，监测系统的处理器可接收预处理的可见光谱和红外图像(作为实例)。处理器一旦接收到可将光谱和红外图像，处理器可被配置确定产生组合图像的模式。这种模式例如可由用户选择，或者可根据背景数据或交替模式来确定，其中操作模式依据选择的调度或特定监测系统期望在配置个模式之间交替。

在图16示出的实施例中，处理器可以确定包括一个或多个块4233和4235的真彩色模式或包括一个或多个块4232、4234和4236的高对比度模式。在其他实施例中，过程4200可包括例如包括不同于图16所描绘那些过程的其他可选模式，或可只包括单一模式，诸如包括一个或多个可调式混合参数的模式。在多个可能模式的实施例中，一旦确定了模式，过程4200可继续进行选择的模式。

在块4233，系统可以对一个或多个可见光谱和红外图像执行各种预组合操作。例如，如果在块4230确定为真彩色模式，则处理器可被配置为对在块4230接收到一个或多个可见光谱和红外图像执行预组合操作。在一个实施例中，预组合操作可包括关于图15的块4120所述的任何预处理操作。例如，接收到的图像的颜色空间可被转换和/或分解为共同组成分量。

在其他实施例中，预组合操作可包括应用高通滤波器，应用低通滤波器、非线性低通滤波器(例如，中值滤波器)，调整动态范围(例如，通过组合直方图均衡化和/或线性缩放)，缩放动态范围(例如，通过应用增益和/或偏移)，以及将来源于这些操作的图像数据添加到彼此以便形成处理后的图像。例如，预组合操作可包括使用高通空间滤波器从红外图像的辐射测定分量提取细节和背景部分，对背景部分的动态范围进行直方图均衡化和缩放，缩放细节部分的动态范围，添加调整的背景和细节部分以形成处理后的红外图像，然后将处理后的红外图像的动态范围线性映射到显示器的动态范围。在一个实施例中，红外图像的辐射测定分量可以是红外图像的亮度分量。在其他实施例中，可以对可见光光谱图像的一个或多个分量执行这种预组合操作。

与其他图像处理操作一样，可以一种方式应用预组合操作，以保留最初接收到的图像的辐射和/或颜色空间校准。可以根据块4235存储和/或进一步处理处理后的图像。

在块4235，处理器可将一个或多个可见光谱图像(或其他非热图像)与一个或多个红外图像混合在一起。例如，处理器可被配置为将一个或多个可见光谱图像与一个或多个红外图像混合在一起，其中一个或多个可见光谱和/或红外图像可以被处理为最初在块4230接收到的图像的版本(例如，根据块4233)。

在一个实施例中，混合可包括根据混合参数将红外图像的辐射测定分量添加到可见光谱图像的对应分量。例如，红外图像的辐射测定分量可以是红外图像的亮度分量(例如，Y)。在这种实施例中，混合红外图像与可见光谱图像可包括根据混合参数ζ和下面的第一混合方程式按比例添加图像的亮度分量：

YCI＝ζ*YVSI+(1-ζ)*YIRI

其中YCI是组合图像的亮度分量，YVSI是可见光谱图像的亮度，YIRI是红外图像的亮度分量，以及ζ从0变化到1。在本实施例中，组合图像的亮度分量是混合图像数据。

在其他实施例中，在红外图像的辐射测定分量不是红外图像的亮度分量的情况下，混合红外图像与可见光谱图像可包括根据第一混合方程式添加图像的色度分量(例如，通过用图像的对应色度分量更换亮度分量)，产生的组合图像的色度分量是混合图像数据。更普遍地，混合可包括将红外图像的分量(其可以是红外图像的辐射测定分量)添加到(例如，按比例)可见光谱图像的对应分量。一旦由可见光谱和红外图像的分量得到混合图像数据，该混合图像数据就可被编码成组合图像的对应分量，如关于块4238的进一步说明。在一些实施例中，将混合图像数据编码成组合图像的分量可包括例如额外的图像处理步骤，例如诸如动态范围调整、归一化、增益和偏移操作和颜色空间转换。

在将辐射测定数据编码成红外图像的多于一个的颜色空间/格式分量的实施例中，例如，可以单独添加红外和可见光谱图像的单个颜色空间/格式分量，或者在添加组合颜色空间/格式分量之前，可算术组合单个颜色空间分量。

在进一步的实施例中，可使用不同的算术组合来混合可见光谱和红外图像。例如，混合红外图像与可见光谱图像可包括根据混合参数ζ和下面的第二混合方程式添加图像的亮度分量：

YCI＝ζ*YVSI+YIRI

其中将YCI、YVSI和YIRI定义为如关于第一混合方程式所述，ζ从0变化到大于相关图像分量(例如，亮度、色度、辐射测定或其他图像分量)的动态范围的值。与第一个混合方程式一样，第二混合方程式可用于将红外图像的其他分量与可见谱图像的对应分量混合在一起。在其它实施例中，为了强调具有高水平辐射测定数据的区域，可以重写第一和第二混合方程式，以包括例如类似于关于图15的块4140所述的分量加权调整的、混合参数的每个像素的颜色加权或亮度加权调整。

在一些实施例中，不同于红外图像的那些对应辐射测定分量的图像分量可被截断，或被设置为已知值，或丢弃。在其他实施例中，与混合图像的那些编码不同的组合图像分量可用可见光谱或红外图像的对应分量编码。例如，在一个实施例中，组合图像可包括编码成组合图像的色度分量的可见光谱图像的色度分量和编码成组合图像的亮度分量混合图像数据，其中混合图像数据包括与可见光谱图像的亮度分量混合在一起的红外图像的辐射测定分量。在可替代的实施例中，组合图像可包括编码成组合图像的色度分量的红外图像的色度分量。

混合参数值可由用户选择，或可根据例如背景或其他数据或根据耦合监测系统所期望的图像增强水平由处理器确定。在一些实施例中，混合参数可使用例如耦合到处理器的旋钮、操纵杆或键盘来或改善，同时用显示器显示组合图像。在某些实施例中，由第一和第二的混合方程式，可以选择混合参数，以使混合图像数据只包括红外特征，或者可替代地，只包括可见光谱特征。

除此上述处理之外或作为替代，根据真彩色模式的处理可包括一个或多个处理步骤、处理步骤的调整、算法组合，和/或如2009年6月3日提出的美国专利申请No.12/477,828的所记载的混合参数的调整，该申请通过引用的方式整体并入本文。例如，混合参数ζ可适于影响红外图像和可见光谱图像的两种亮度分量的比例。一方面，ζ可用在0(零)至1范围中的值归一化，其中1值产生类似于可见光谱图像的混合图像(例如，混合图像数据和/或组合图像)。另一方面，如果ζ设置为0，混合图像的亮度可类似于红外图像的亮度。然而，在后一种情况下，可以保留可见光谱图像的色度(Cb和Cr)。ζ的每个其他值可适于产生其中亮度部分(Y)包括可见光和红外图像的信息的混合图像。例如，可将ζ乘以可见光谱图像的亮度部分(Y)并加上由1-ζ的值乘以红外图像的亮度部分(Y)获得的值。混合亮度部分(Y)的这种附加值可用于提供混合图像(例如，混合图像数据和/或组合图像)。

在一个实施例中，混合算法可被称为真彩色红外成像。例如，在日间成像中，混合图像可包括包含亮度元素和色度元素的可见光谱彩色图像，其具有用红外图像的亮度值替换的亮度值。红外图像的亮度数据的使用会使真实的可见光谱彩色图像的亮度根据物体的温度来变亮或变暗。因此，混合算法提供了日间的IR成像或可见光图像。

在将一个或多个可见光谱图像(或其他非热图像)与一个或多个红外图像(诸如热图像)混合在一起之后，处理可继续进行到块4238，其中为了形成组合图像可将混合数据编码成组合图像的分量。

在块4232，处理器可从一个或多个可见光谱和红外图像获得高空间频率含量。例如，如果在块4230确定为高对比度模式，则处理器可被配置为从在块4230接收到可见光谱和红外图像中的一个或多个获得高空间频率含量。

在一个实施例中，可通过对图像执行高通滤波(例如，空间滤波)，从图像获得高空间频率含量，其中高通滤波操作的结果是高空间频率含量。在可替代的实施例中，可通过对图像执行低通滤波操作，然后从原始图像中减去该结果以得到作为高空间频率含量的剩余内容，而从图像获得高空间频率含量。在另一个实施例中，可通过例如不同成像从选择的图像获得高空间频率含量，其中从以某种方式受第一图像扰动的第二图像减去一个图像，减法的结果是高空间频率含量。例如，摄像机的光学元件可被配置为将振动、聚焦/散焦和/或运动伪像引入到由红外摄像机和非热摄像机中的一者或两者捕获的一系列图像中。高空间频率含量可由减去系列中的相邻或半相邻图像来获得。

在一些实施例中，高空间频率含量可仅从可见光谱图像或红外图像获得。在其他实施例中，高空间频率含量可仅从单一的可见光谱或红外图像获得。在进一步的实施例中，高空间频率含量可来自可见光谱和/或红外图像的一个或多个分量，例如诸如可见光谱图像的亮度分量，或红外图像的辐射测定分量。产生的高空间频率含量可根据块4234被暂时存储和/或可被进一步处理。

在块4234，处理器可去噪一个或多个红外图像。例如，处理器可被配置为使用各种图像处理操作去噪、平滑或模糊一个或多个红外图像。在一个实施例中，去除红外图像的高空间频率噪声使处理后的红外图像能够与根据块4232获得的高空间频率含量组合在一起，这会显著地减少将双边缘(例如，边缘噪声)引入在组合图像中描绘的物体的风险。

在一个实施例中，去除红外图像的噪声可包括对图像执行低通滤波(例如，空间和/或时域滤波)操作，其中低通滤波操作的结果是去噪的或处理后的红外图像。在进一步的实施例中，去除一个或多个红外图像的噪声可包括向下采样红外图像，然后将该图像向上采样回到原始分辨率。

在另一个实施例中，处理后的红外图像可通过主动模糊红外图像来获得。例如，红外摄像机的光学元件可被配置为使由红外成像模块捕获的一个或多个红外图像略微散焦。产生的有意模糊热图像可被充分去噪或被模糊，以便降低或消除如下进一步描述的将双边缘引入组合图像的风险。在其它实施例中，模糊或平滑图像处理操作可由处理器对在块4230接收到红外图像进行，作为一种替代或补充，使用光学元件主动模糊红外图像。产生的处理后的红外图像可根据块4236被暂时存储和/或进一步处理。

在块4236，处理器可将高空间频率含量与一个或多个红外图像混合在一起。例如，处理器可被配置为将在块4232得到的高空间频率含量与一个或多个红外图像(诸如在块4234提供的处理后的热图像)混合在一起。

在一个实施例中，通过将高空间频率含量叠加到红外图像上，可将高空间频率含量与红外图像混合在一起，其中高空间频率含量会取代或覆盖对应于存在高空间频率含量的位置的那部分红外图像。例如，高空间频率含量可包括图像中所描绘的物体边缘，但不可存在于这种物体的内部。在这种实施例中，混合图像数据可简单地包括高空间频率含量，随后如块4238所述，可将其编码成组合图像的一个或多个分量。

例如，红外图像的辐射测定分量可以是红外图像的色度分量，高空间频率含量可来自可见光谱图像的亮度和/或色度分量。在该实施例中，组合图像可包括编码成组合图像的色度分量的辐射测定分量(例如，红外图像的色度分量)和直接编码(例如，没有红外图像贡献的混合图像数据)成组合图像的亮度分量的高空间频率含量。通过这样做，可以保留红外图像的辐射测定分量的辐射校准。在类似的实施例中，混合图像数据可包括添加到红外图像的亮度分量的高空间频率含量和编码成结果组合图像的亮度分量的结果混合数据。

在其他实施例中，高空间频率含量可来自一个或一系列可见光谱和/或红外图像的一个或多个特定分量，且高空间频率含量可被编码成组合图像的对应的一个或多个分量。例如，高空间频率含量可来自可见光谱图像的亮度分量，且高空间频率含量可被编码成组合图像的亮度分量，该高空间频率含量在该实施例中为所有亮度图像数据。

在另一个实施例中，可使用混合参数和算术方程式，诸如上述的第一和二混合方程式，将高空间频率含量与红外图像混合在一起。例如，在一个实施例中，高空间频率含量可来自可见光谱图像的亮度分量。在该实施例中，可根据混合参数和第二次混合方程式，将高空间频率含量与红外图像的对应亮度分量混合在一起，以产生混合图像数据。例如，混合图像数据可被编码成组合图像的亮度分量，红外图像的色度分量可被编码成的组合图像的色度分量。在红外图像的辐射测定分量是其色度分量的实施例中，组合图像可以保留红外图像的辐射校准。在其他实施例中，可将辐射测定分量的一部分与高空间频率含量混合在一起，然后编码成组合图像。

更普遍地，高空间频率含量可来自可见光谱图像和/或红外图像的一个或多个分量。在该实施例中，高空间频率含量可与红外图像的一个或多个分量混合在一起以产生混合图像数据(例如，使用混合参数和混合方程式)，结果组合图像可包括编码成组合图像的对应的一个或多个分量的混合图像数据。在一些实施例中，混合数据的一个或多个分量可不必对应于组合图像的最终的一个或多个分量(例如，可以执行作为编码过程的一部分的颜色空间/格式转换)。

例如，混合参数值可由用户选择，或者可根据背景或其他数据或根据耦合监测系统所期望的图像增强水平由处理器自动确定根据。在一些实施例中，例如，混合参数可使用耦合到处理器的旋钮来调整或改善，同时用显示器显示组合图像。在一些实施例中，可以选择混合参数，使得混合图像数据仅包括红外特征，或者可替代地，仅包括可见光谱特征。例如，还可以限定混合参数的范围，以免产生相对于特定颜色空间/格式或动态范围显示器出界的混合数据。

除此之外或作为上述处理的替代，根据高对比度模式的处理可包括一个或多个处理步骤、处理步骤的调整、算法组合和/或如2009年6月3日提出的美国专利申请No.12/477,828所记载的混合参数的调整，该专利申请通过引用的方式整体并入本文。例如，可以使用下面的方程式来确定组合图像的分量Y、Cr和Cb，其中Y分量来自高通滤波的可见光谱图像，Cb和Cr分量来自红外图像。

hp_y_vis＝highpass(y_vis)

(y_ir,cr_ir,cb_ir)＝colored(lowpass(ir_signal_linear))

在另一个表示法中可以被写成：

hpy_vis＝highpass(y_vis)

(y_ir,cr_ir,cb_ir)＝colored(lowpass(ir_signallinear))

在上述方程式中，highpass(y_vis)可以是从高通滤波可见光谱图像的亮度分量获得的高空间频率含量。colored(lowpass(ir_signal_linear))可以是低通滤波红外图像之后的红外图像的结果亮度和色度分量。在一些实施例中，红外图像可包括选择为最大亮度(例如，显示和/或处理步骤)的0.5倍的亮度分量。在相关的实施例中，红外图像的辐射测定分量可以是红外图像的色度分量。在一些实施例中，使用上面的表示方法，可以省略红外图像的y_ir分量，组合图像的分量可以是(hp_y_vis，cr_ir，cb_ir)。

在另一个实施例中，例如，可以使用下面的方程式来确定组合图像的分量Y、Cr和Cb，其中Y分量来自高通滤波的可见光谱图像，Cb和Cr分量来自红外图像。

comb_y＝y_ir+alpha×hp_y_vis

comb_cr＝cr_ir

comb_cb＝cb_ir

在另一个表示法中可以被写成：

comb_y＝y_ir+alpha*hpy_vis

comb_cr＝cr_ir

comb_cb＝cb_ir

alpha的变化因而给用户提供了确定组合图像中需要多大对比度的机会。对于接近于零的alpha，将显示单独的IR图像，但对于非常高的alpha，在组合图像中可以看到非常尖锐的轮廓。理论上讲，alpha可以无限大的数，但在实践中为适合当前应用选择alpha的大小可能是必须的。在上述方程式中，alpha可相当于混合参数ζ。

一旦将高空间频率含量与一个或多个红外图像混合在一起，处理就可继续进行到块4238，其中为了形成组合图像可将混合数据编码成组合图像的分量。

在块4238，处理器可将混合数据编码成组合图像的一个或多个分量。例如，处理器可被配置为将根据块4235和/或块4236获得或产生的混合数据编码成组合图像，该组合图像增加、改善或以其他方式提高了由可见光谱图像或红外图像他们本身所表达的信息。

在一些实施例中，将混合图像数据编码成组合图像的分量可包括例如额外的图像处理步骤，例如诸如动态范围调整、归一化、增益和偏移操作、降噪以及颜色空间转换。

此外，处理器可被配置为将其他图像数据编码成组合图像。例如，如果混合图像数据被编码成组合图像的亮度分量，可见光谱图像或红外图像的色度分量可被编码成组合图像的色度分量。例如，源图像的选择可通过用户输入产生，或可根据背景或其他数据来自动确定。更普遍地，在一些实施例中，未用混合数据编码的组合图像的分量可用可见光谱图像或红外图像的对应分量来编码。通过这样做，例如，在结果组合图像中可以保留红外图像的辐射校准和/或可见光谱图像的颜色空间校准。这种校准的组合图像可用于增强红外成像应用，特别是在不同时间和/或不同的环境照明水平捕获场景的可见光谱图像和红外图像分量的情况下。

现在转到图17，图17示出了根据本公开实施例的增强场景的红外成像的过程4300的流程图。

还应该意识到，可以按不同于图17所示的实施例的顺序执行过程4300的任何步骤、子步骤、子过程或块，而且，可在图15的过程4100和/或图16的过程4200中的一个或多个块之前、之后或与之并行执行它们。

在块4310，监测系统的处理器可捕获可见光谱图像(或其它非热图像)和红外图像(例如，热图像)。在一些实施例中，块4310可对应于图14的过程1400中的一个或多个块1402和1404。一旦捕获至少一个可见光谱图像和/或红外图像被，过程4300就可继续到块4320。

在块4320，处理器可对一个或多个捕获的图像执行三重融合处理操作以产生组合图像(例如，在一些实施例中，对这种图像执行至少三个过程)。例如，处理器可被配置为对在块4310中捕获一个或多个图像执行基于场景的可调NUC处理(例如，块4322)、真彩色处理(例如，块4324)和高对比度的处理(例如，块4326)，然后产生包括各种处理操作的相对贡献的相应组合图像。在一些实施例中，组合图像的相对贡献可通过一个或多个控制参数来确定。在该实施例中，控制参数可由一个或多个用户输入、阈值和/或监测系统的其他操作参数确定。在一些实施例中，可在块4320中执行多于或少于三个处理操作的操作。在一些实施例中，可在块4320中执行代替和/或除所述操作之外的其他处理操作。

例如，特定处理操作的相对贡献可包括中间图像的一个或多个分量，诸如例如乘以相应控制参数的真彩色处理操作的结果(例如，根据图16的真彩色模式的处理)。例如，用于确定相对贡献的一个或多个控制参数可以是相互依存的，使得块4320的结果组合图像包括例如特定显示的动态范围内或通信耦合的监测系统所期望的动态范围内的图像分量(例如，亮度、色度、辐射或其他分量)。在其他实施例中，与本文所述的各种混合处理操作类似，一个控制参数可用于算术确定所有的相对贡献。在进一步的实施例中，多个控制参数可用于确定一个或多个相对贡献，后处理操作(例如，与图15的块4140中的实施例类似)可用于适当地调整结果组合图像的动态范围。

在进一步的实施例中，例如，可使用阈值对逐像素分量(pixel-by-pixelbasis)确定控制参数。这种阈值可用于补偿例如中间值和/或组合图像的过低和/或过高的亮度和/或色度值，或选择与特定控制参数和/或相对贡献相关的中间图像的部分。例如，在一个实施例中，一个或多个阈值可用于将0.75倍的控制参数(例如，对组合图像的总贡献的75％)应用于亮度值高于中间值(例如，在本实施例中的阈值)的真彩色处理的中间图像的部分，将0.25倍的控制参数(例如，对组合图像的总贡献的25％)应用于亮度值低于中间值的真彩色处理的中间图像的部分。

在一个实施例中，处理器可被配置为接收用于处理来自系统存储器的捕获的图像的控制参数，从至少一个捕获的可见光谱图像和/或红外图像获得成像场景的颜色特征，从至少一个捕获可见光谱图像和/或红外图像获得高空间频率含量(例如，其可相同或不同于用于获得场景的颜色特征的图像)，并产生组合图像，该组合图像包括由一个或多个控制参数确定的颜色特征和高空间频率含量的相对贡献。

在一些实施例中，获得的场景的颜色特征(例如，真彩色处理4324)可涉及一个或多个处理步骤，其类似于参考图16中的块4233、4235和4238(例如，真彩色模式)所讨论的那些步骤。在其他实施例中，获得高空间频率含量(例如，高对比度处理4326)可涉及一个或多个处理步骤，其类似于参考图16中的块4232、4234、4236和4238(例如，高对比度模式)所讨论的那些步骤。在进一步的实施例中，基于场景的NUC处理4322、真彩色处理4324和高对比度处理4326中任何一个或者它们组合可包括一个或多个处理步骤，其相同和/或类似于参考图15中的块4120-4140所讨论的那些步骤。此外，根据2009年6月3日提出美国专利申请No.12/477,828和/或2012年4月2日提出的美国专利申请No.13/437,645提供的方法(通过引入的方式将其整体并入本文)，可执行代替或除块4322、4324和/或4326之外的其他图像分析和处理。

在一个实施例中，处理器可被配置为例如通过启用或禁用校正或通过根据应用于校正项的全部或至少一部分的整体增益实施校正，将基于场景的NUC处理选择性地应用于一个或多个红外图像。在某些实施例中，例如，选择可与(例如，成比例的)控制参数有关。在另一个实施例中，红外摄像机可被配置为将基于场景的NUC处理选择性地应用于一个或多个红外图像。

在一些实施例中，真彩色处理4324可包括从由可见光谱成像模块(诸如监测系统中的非热摄像机)捕获的场景的可见光谱图像的色度分量获得场景的颜色特征。在该实施例中，组合图像可包括红外图像的亮度分量的相对贡献，其中红外图像的亮度分量的相对贡献(例如，其乘法因子、增益或强度)基本匹配于颜色特征的相对贡献。在一些实施例中，确定颜色特征的相对贡献的控制参数可用于确定红外图像的亮度分量的相对贡献。在进一步的实施例中，在代替红外图像的亮度分量，使结果混合图像数据贡献于组合图像之前，可将红外图像的亮度分量与可见光谱图像的亮度分量混合在一起。在各种实施例中，红外图像的亮度分量可对应于红外图像的辐射测定分量。

在一些实施例中，高对比度处理4326可包括从可见光谱(或其他非热图像)的亮度分量获得高空间频率含量。在该实施例中，组合图像可包括红外图像的色度分量的相对贡献，其中红外图像的色度分量的相对贡献基本匹配于高空间频率含量的相对贡献。在一些实施例中，确定高空间频率含量的相对贡献的控制参数可用于确定红外图像的色度分量的相对贡献。在进一步的实施例中，在代替高空间频率含量，使结果混合图像数据贡献于组合图像之前，可将高空间频率含量与红外图像的亮度分量混合在一起。在各种实施例中，红外图像的色度分量对应于红外图像的辐射测定分量。

在各种实施例中，可以任何期望的顺序(例如，串行、并行或它们的组合)执行块4322、4324和4326的处理。

图18示出了根据本公开实施例的适于成像场景的紧凑型成像系统的框图。例如，图18的系统5300可以是多光谱摄像机715(参照图7-11)的实施例。

在图18所示的实施例中，系统5300包括双模块插座5320，其物理耦合到公共衬底5310的并适于接收两个成像模块(诸如红外成像模块4002b和非热成像模块4002a)和使它们彼此对齐。在一个实施例中，红外成像模块4002b可以是红外摄像机115的实施例，且非热成像模块4002a可以是非热摄像机725的实施例(例如，参照图7)。在进一步的实施例中，双模块插座5320可包括适于通过其物理布置或形状明显标示成像模块的适当插入物的固定弹簧、夹子或其他物理约束装置。在进一步的实施例中，双模块插座5320可适于提供成像模块4002a-b的一个或多个顶点、斜坡或旋转对准，这比在将成像模块直接焊接到公共基板5310或将他们插入到多个单模块插座的条件下要多(例如，更多的对准)。双模块插座5320可包括用于成像模块4002a-b的公共电路和/或公共固定装置，因此，与成像模块4002a-b具有单个插座的实施例相比，潜在地减少系统5300的整个尺寸。此外，通过间隔使成像模块紧密联系在一起，双模块插座5320可适于减少成像模块4002a-b捕获的图像之间的视差。

还示出了接收与双模块插座5320隔开的成像模块4002c和成像模块4002a-b的单模块插座5324。例如，成像模块4002c可对与由成像模块4002a-b一方或双方感测的频谱相同、重叠或不同的频谱敏感。在成像模块4002c对与成像模块4002a-b任一方频谱相同的频谱敏感的实施例中，系统5300可适于在那个频谱中以立体(例如，3D)的方式捕获常见场景的附加图像和场景的图像部分。在这种实施例中，成像模块4002c和成像模块4002a-b任一方之间的空间距离通过增加视差误差来增加立体成像的敏锐度。在一些实施例中，系统5300可被配置为产生组合图像，该组合图像包括从由成像模块4002a-c捕获的一个或多个图像获得的常见场景的立体成像特征和/或多光谱特征。在其他实施例中，立体成像可用于确定到场景中物体的距离，确定自动聚焦参数，进行一系列计算，自动调整视差误差，产生大气吸附场景中红外和/或其他光谱的特定范围的图像和/或其他立体成像特征。

在成像模块4002c对成像模块4002a-b感测的频谱以外的频谱敏感的实施例中，系统5300可被配置为产生包括从场景的三个不同光谱视图获得的场景特征(例如，包括被监测的一些或所有电气设备的场景)的组合图像。

虽然用与单模块插座5324分开的双模块插座5320描述了系统5300，但在其他实施例中，系统5300可包括适于接收三个或更多个成像模块的三元组(或更高阶)模块插座。而且，在期望紧凑的情况下，可以多层交错布局的方式布置相邻模块，使得它们的光轴比通常允许的它们的平面区域能更紧密地放置在一起。例如，双模块插座5320可适于在比红外成像模块4002b高的水平上接收可见光谱成像模块4002a并重叠红外成像模块4002b的非光敏感区域。

图18额外示出了接收光源模块/垂直腔面发射体激光器(VCSEL)5330的照明器插座5322。系统5300可被配置为使用VCSEL5330以一个或多个成像模块4002a-c感测的频谱照亮场景的至少一部分。在一些实施例中，通过耦合的微机电透镜和由一个或多个处理器4010和成像模块4002a-c控制的其他系统，VCSEL5330可以是选择性可调的和/或定向瞄准的。照明器插座5322可被实现为例如具有与单模块插座5324相同或类似的结构，或可被实现为多模块插座。在一些实施例中，热图像可用于检测图像中的“热”点，诸如断路器箱的图像。照明模块可用于照亮断路器的标签以潜在确定热点的原因。在一些实施例中，立体成像可以用于确定VCSEL5330的瞄准点。

在一些实施例中，处理器4010和成像模块4002a-c中的任何一个都可被配置为接收指示由第一成像模块(例如，红外成像模块4002b)成像的感兴趣部分的用户输入(例如，来自一个或多个其他部件4018，耦合到系统5300的触敏显示器，和/或本文公开的任何用户输入设备)，控制照明模块(例如，VCSEL5330)以第二成像模块(例如，非热成像模块4002a)感测的频谱照亮感兴趣部分的至少部分，接受来自第二成像模块的感兴趣部分的照亮捕获的图像，并产生包括来自照亮捕获的图像的、场景的照明特征的组合图像。

在图18示出的实施例中，系统5300还包括处理器4010、存储器4012、通信模块4014和其他部件4018，其中任何一种都可根据本文描述的各种技术来实现。

应该意识到，系统5300可被提供或者不提供任何或所有部件5320、4010、4012、4014和/或4018。成像模块4002a-c和/或VCSEL5330的处理、存储、输入/输出和通信可用其中实现系统5300的更大的系统来提供，诸如监测系统100或监测系统400。

图19示出了根据本公开实施例的、适合成像场景的成像模块的装配系统5400的框图。例如，成像模块4002a-b(例如，监测系统的红外摄像机和非热摄像机)可用公共外壳5440来实现，使得他们在多光谱摄像机诸如摄像机715内的布置更紧凑和/或更整齐。如图19所示，系统5400可包括公共外壳插座5420、处理模块5404a-b、传感器组件5405a-b、FPA5406a-b、公共外壳5440和透镜筒5408a-b(例如，类似于图2的透镜筒210)。公共外壳5440可以用于进一步对齐例如具有其光轴的成像模块4002a-b的部件，而不是单个成像模块。在图19所示的实施例中，成像模块可被公共成像模块外壳覆盖。在其他实施例中，公共外壳5440可被放置在整个成像模块4002a-b上(例如，保留他们自己的单独外壳)，并可以是例如用于便携式主机设备的外壳的一部分。

图20示出了根据本公开实施例的适于成像场景的成像模块的布局5600的框图。例如，在图20中，两个成像模块4002a-b的至少部分可以以交错布局的方式布置，其中成像模块4002b(例如，潜在包括FPA5606b)的传感器组件5605b的部分重叠了成像模块4002a传感器组件5605a的部分(例如，但不重叠FPA5606a的任何部分)。

在一些实施例中，成像模块4002a-b可用公共处理模块/电路板5604来实现(例如，在一些实施例中，类似于图2中的处理模块260和电路板270)。公共处理模块/电路板5604可被实现为能够执行指令和/或执行如本文所述的图像处理操作的任何适当的处理装置(例如，逻辑器件、微控制器、处理器、ASIC、数字信号处理器(DSP)、图像信号处理器(ISP)或包括上述多通道实现的其他装置)。在一些实施例中，公共处理模块/电路板5604可适于使用例如标准，和/或使用如本文所述的共同数据格式将非热图像(例如，可见光谱像)和红外图像(例如，热图像)存储到共同数据文件。

虽然已经描述了关于电气柜的各种监测系统，但是本文所述的技术可以用在任何对热图像的监测是有用的环境中，例如，数据中心或其他适当的地点处的电气设备的监测。

在合适的情况下，可通过硬件、软件或者硬件和软件的结合来实现本公开所提供的各种实施例。同样的在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件合并为包括软件、硬件和/或二者的复合部件。在合适的情况下，在不脱离本公开的精神的情况下，可将本文所提出的各种硬件部件和/或软件部件分离为包括软件、硬件或二者的子部件。另外，在合适的情况下，可以预期的是，软件部件能够实现为硬件部件，反之亦然。而且，本文描述的关于一些部件的各种技术可适当地应用于其他部件。

根据本公开的软件，例如，程序代码和/或数据可存储在一个或者多个非暂时性机器可读介质中。还可以预期的是，可使用一个或者多个通用或者专用计算机和/或计算机系统、网络和/或其他方式来实现本文所提及的软件。在合适的情况下，本文所描述的各种步骤的顺序可以改变、合并为复合步骤和/或分离为子步骤，以提供本文所描述的功能。

虽然结合为数有限的实施方式详细介绍了本实用新型，但是容易理解本实用新型并不局限于这些公开的实施方式。而在此基础上，本实用新型可以被修改以包含任意数量的变化、变更、替代或未在本文描述的等效布置，但是其都与本实用新型的精神和保护范围相称。此外，虽然已经介绍了本实用新型的各种实施方式，但是可以理解本实用新型的各个方面可能仅包括所描述的实施方式的某些。因此，本实用新型不限于上述的描述，仅受限于所附权利要求的保护范围。

Claims (11)

1.一种用于机柜的监测系统，其特征在于，包括：

红外摄像机，其配置成捕获放置在机柜的内部腔室中的电气设备的至少一部分的热图像；

非热摄像机，其配置成捕获放置在机柜的内部腔室中的电气设备的至少一部分的非热图像；和

通信接口，其配置成传输热图像和非热图像以供用户外部查看。

2.根据权利要求1所述的系统，其特征在于，进一步包括配置为产生组合图像的处理器，该组合图像包括来自非热图像的可见光谱特征和来自热图像的辐射测定分量的热特征。

3.根据权利要求2所述的系统，其特征在于，组合图像包括：

编码成组合图像的亮度分量的非热图像的高空间频率含量；和

编码成组合图像的亮度分量的和/或编码成组合图像的色度分量的辐射测定分量。

4.根据权利要求2所述的系统，其特征在于：

组合图像包括编码成组合图像的色度分量的非热图像的色度分量；

辐射测定分量包括热图像的亮度分量；

组合图像包括含有辐射测定分量和可见光谱图像的亮度分量的混合图像数据；和

混合图像数据被编码成组合图像的亮度分量。

5.根据权利要求2所述的系统，其特征在于，进一步包括配置成显示组合图像的用户可视屏幕。

6.根据权利要求5所述的系统，其特征在于，用户可视屏幕安装在机柜的外表面上。

7.根据权利要求5所述的系统，其特征在于，用户可视屏幕远离机柜。

8.根据权利要求1所述的系统，其特征在于，进一步包括：

附加红外摄像机，其配置成捕获电气设备的相应部分的附加热图像；

附加非热摄像机，其配置成捕获电气设备的相应部分的附加非热图像；和

其中通信接口被配置成传输附加热图像和附加非热图像供用户外部观看。

9.根据权利要求1所述的系统，其特征在于，非热摄像机包括可见光摄像机。

10.根据权利要求1所述的系统，其特征在于，进一步包括：

电磁耦合器，其配置成从机柜内的至少一个导体接收电磁能量；

能量收获电路，其配置成从电磁耦合器提供电力；

电池，其配置成给红外摄像机和非热摄像机供以电力。

11.根据权利要求1所述的系统，其特征在于：

热图像是电气设备的至少一部分的未模糊的热图像；和

该系统还包括处理器，该处理器配置为：

基于由热摄像机捕获的故意模糊的热图像，确定多个非均匀校正项，和

将该非均匀校正项应用于未模糊的热图像，以从未模糊的热图像去除噪声。