CN103179355A - 用于红外重新拍摄的热成像相机 - Google Patents

Abstract

本发明公开了一种用于重新拍摄图像的热成像相机以及利用热成像相机重新拍摄图像的方法，其中所述方法包括创建和使用有助于引导所述相机回到拍摄原始图像的位置的姿态模板。

Description

用于红外重新拍摄的热成像相机

相关申请

本申请与下列共同转让的实用新型专利申请相关，该实用新型专利申请与本申请同时提交，且其整体通过引用并入本文，其标题为：用于红外重新拍摄的热成像相机，从业者文案号No.56581.6.102。在该相关申请中针对重新拍摄红外照片所述的相机部分和方法的任意部分可与在本申请中针对重新拍摄红外照片所述的方法或相机的任意部分相结合。例如，在该相关申请中用于将相机返回到第一张照片位置的处理器的方法步骤或程序可与在本申请中所述的用于将相机返回到第一张照片位置的处理器的方法步骤或程序相结合。

技术领域

本公开涉及热成像相机，并且更具体而言涉及用于重新拍摄红外图像的热成像相机。

背景技术

在各种情况下使用热成像相机。例如，在对热检查设备进行维修检查期间经常会使用热成像相机。示例性设备可以包括旋转机械，配电盘，或行线路断路器以及其它类型的设备。所述热检查可以检测设备热点，例如过热的机械或电气部件，有助于确保在产生更严重的问题之前及时维修或更换过热设备。

根据相机的构造，热成像相机也可对同一对象生成可见光图像。所述相机会以协同的方式显示红外图像和可见光图像，例如，有助于操作者诠释由热成像相机所生成的热图像。不同于通常在不同对象之间提供良好对比度的可见光图像，通常难以识别和区分热图像中与真实场景相比的不同特征。为此原因，操作者可以依赖可见光图像来帮助诠释和调节热图像。

在其中热成像相机被配置成生成热图像和可见光图像两者的应用中，相机可以包括独立的两组光学系统：可见光光学系统，其将可见光聚焦于可见光传感器上以生成可见光图像；以及红外光学系统，其将红外辐射聚焦于红外传感器上以生成红外图像。

有时对相同的一个或多个对象的以前红外图像与当前红外图像进行红外图像的比较是有用的。通过这种方式，能够检测到仅仅通过观察当前图像可能不是很明显的变化。然而，如果在以前拍摄图像的相机位置和状态与当前拍摄图像的相机位置和状态不同，那么在实际没有产生任何变化的情况下对象的红外图像可能表现出有所变化，或者相比于其实际情况表现出或多或少的变化。因此，为了尽可能精确地进行比较，被比较的图像应该在相同位置和相同状态下进行拍摄。然而，找到相机的精确位置以及确定所应用的确切相同状态可能是非常困难和费时的。因此，提高为了检测随时间的变化的目的而重复热图像的容易度是有用的。

发明内容

本发明的某些实施例包括便携手持式热成像相机，其具有可见光（VL）透镜组件和红外（IR）透镜组件，所述可见光（VL）透镜组件具有用于检测目标场景的VL图像的相关VL传感器，所述红外（IR）透镜组件具有用于检测目标场景的IR图像的相关IR传感器。所述相机还包括显示器、存储器和处理器。所述处理器被编程有用于在第一位置处和第一时间点与拍摄第一IR图像的同时来拍摄第一VL图像的指令。所述处理器还被编程有用于处理第一图像以创建姿态模板（pose template）的指令。所述姿态模板的部分可以在与所述相机独立的计算机上生成。所述姿态模板包括提供第一位置指示的所述第一IR图像和/或所述第一VL图像的增强特征。所述处理器还被编程有下述指令，其将具有所述姿态模板的显示器上的所述场景的活动图像的姿态模板与所述活动图像相结合以有助于用户将相机重新定位到第一位置，从而在第一位置处或第一位置附近捕获（拍摄）目标场景的第二红外图像。

本发明的某些实施例还包括重新拍摄场景红外（IR）图像的方法，其使用一个或多个热成像相机以及由第一图像创建的姿态模板。所述方法包括将姿态模板与场景活动图像相结合，以及重新定位所述热成像相机，直到所述活动图像的特征与姿态模板的特征对准，其表明所述热成像相机位于第一图像被捕获的位置处或其附近，然后捕获第二图像以便重新拍摄第一图像。

本发明的某些实施例包括便携手持式的热成像相机，其具有可见光（VL）透镜组件和红外（IR）透镜组件，所述可见光（VL）透镜组件具有用于检测目标场景的VL图像的相关VL传感器，所述红外（IR）透镜组件具有用于检测目标场景的IR图像的相关IR传感器。所述相机还包括显示器、存储器和处理器。所述处理器被编程有用于在第一位置和第一时间点处捕获第一IR图像的指令。所述处理器还被编程有用于从场景的活动IR图像减去第一IR图像以创建差别图像的指令，从而有助于用户将相机与第一位置对准，以便在第一位置处或所述第一位置附近拍摄所述目标场景的第二红外图像。

在附图和下面描述中阐述了一个或多个示例的细节。从说明书、附图和权利要求将明了其它特征、目的和优势。

附图说明

图1是示例性热成像相机的前透视图；

图2是图1的示例性热成像相机的后透视图；、

图3是示出了图1和图2的热成像相机示例性部件的功能性方框图；

图4是可视图像和红外图像的示例性画中画类型的同时显示的概念说明图；

图5是用于重新拍摄热图像过程的流程图。

具体实施方式

下面的详细描述在本质上是示例性的，并非意旨以任何方式限制本发明的范围、应用或构造。相反，下面的描述为实施本发明的实例提供一些实践说明。为所选元件提供构造，材料，尺寸和制造工艺的示例，以及所有其它元件采用对于本发明领域中的那些普通技术人员而言公知的构造，材料，尺寸和制造工艺。本领域技术人员将认识到许多特定示例具有各种合适的替代方案。

热成像相机可以用于检测跨过所观察场景的热模式。热成像相机可以检测到由场景发出的红外辐射且将该红外辐射转换成表示热模式的红外图像。在一些示例中，热成像相机还可以从场景捕获可见光以及将可见光转换成可见光图像。根据热成像相机的配置，相机可以包括用于将红外辐射聚焦于红外传感器上的红外光学系统以及用于将可见光聚焦于可见光传感器上的可见光光学系统。可以同时拍摄场景的可见光图像和红外图像，使得可更容易地识别红外图像的位置。

为了检测红外辐射随时间的变化，本发明的实施例使得用户能够将在相同位置处重新拍摄的红外图像作为较早的红外图像。通过这种方式，较早的红外图像可以与当前的红外图像进行比较，因此可以更容易地识别表示热模式变化的红外图像中的变化。此外，为了尽可能精确地进行比较，本发明的实施例可以处理图像以创建可视的姿态模板，以有助于用户将相机重新定位到合适的位置。例如，图像处理可以包括识别、提取和/或增加先前拍摄的图像中的一个或多个特征以创建姿态模板。然后，用户可以使用姿态模板以便更迅速且更精确地将相机与先前的相机位置对准。

检测红外图像中的变化在某些情况下是特别有用的。例如，当对象经常产生热量时，可能难以确定红外图像是否显示出问题。然而，较早的和较晚的图像之间的比较可以显示对象正产生增加的热量，因此可能存在问题。例如，一个人可以从许多不同机器（包括工业窑炉或工业用电炉）的大致相同的有利位置定期地捕获红外图像。这种窑炉包含折射材料，且这种电炉包含绝缘材料。通过监测这种设备随时间的温谱图，以及考虑到所测得温度的变化率，用户可以确定折射材料或绝缘材料是否退化或何时退化，从而确定折射材料或绝缘材料是否需要更换或何时需要更换。然而，如果上述比较表明产生的热量是稳定的，则对象可以正常运作。为了尽可能有用地进行比较，优选在相同的位置、利用相同的设置和在相同的条件下重新拍摄图像。本发明的实施例有助于将相机定位于初始位置的处理。

图1和2分别示出了可以用于各实施例的热成像相机10的前透视图和后透视图。相机10包括壳体12、红外透镜组件14、可见光透镜组件16、显示器18、激光器19以及触发控制器20。壳体12容纳热成像相机10的各部件。红外透镜组件14接收来自场景的红外辐射并且将该辐射聚焦于红外传感器上，以生成场景的红外图像。可见光透镜组件16接收来自场景的可见光并且将可见光聚焦于可见光传感器上，以生成同一场景的可见光图像。热成像相机10响应于按压触发控制器20来拍摄可见光图像和/或红外图像。此外，热成像相机10控制显示器18显示由相机生成的红外图像和可见光图像，例如，协助操作者对场景进行热检查。当相机10被用于从与先前获得的热图像相同的位置来重新拍摄热图像时，显示器18还可以显示指导用户重新定位相机10的可视指示。热成像相机10还可包括耦接到红外透镜组件14的聚焦机构，其被配置成移动红外透镜组件的至少一个透镜以调节由热成像相机生成的红外图像的焦距。

在操作中，热成像相机10通过接收从场景以红外波长光谱发射的能量并处理所述红外能量以生成热图像来检测场景中的热模式。热成像相机10还可以通过接收可见光波长光谱中的能量并处理该可见光能量以生成可见光图像来生成同一场景的可见光图像。正如下面更详细描述的那样，热成像相机10可以包括被配置成捕获场景的红外图像的红外相机模块以及被配置成捕获同一场景的可见光图像的可见光相机模块。所述红外相机模块可以接收通过红外透镜组件14投射的红外辐射并且由其生成红外图像数据。所述可见光相机模块可以接收通过可见光透镜组件16投射的光并且由其生成可见光数据。

在一些示例中，热成像相机10基本同时（例如，在同一时间）收集或捕获红外能量和可见光能量，使得由相机生成的可见光图像和红外图像是基本同一时间的同一场景。在这些示例中，由热成像相机10生成的红外图像表示在特定时间段所述场景内的局部温度，而由相机生成的可见光图像是同一时间段同一场景的表示。在其它示例中，热成像相机可以在不同的时间段捕获来自场景的红外能量和可见光能量。

由热成像相机10拍摄的场景取决于其位置和设置。该位置不仅包括热成像相机10在三维空间内的位置，还包括热成像相机10在三个旋转轴内的旋转，因此利用总共六个变量来确定相机的位置。例如所述设置包括缩放、透镜类型或辅助透镜的使用、焦距、光圈系数、发射率、反射温度设置、窗口传输设置。当为了确定红外图像随时间存在的变化的目的而重新拍摄红外图像时，优选再现上述位置和设置。

可见光透镜组件16包括将可见光能量聚焦于可见光传感器上以生成可见光图像的至少一个透镜。可见光透镜组件16限定通过所述组件的至少一个透镜的曲率中心的可见光光轴26。可见光能量投射通过透镜的前部且聚焦于透镜的相对侧。可见光透镜组件16可以包括单个透镜或连续布置的多个透镜（例如，两个、三个、或更多个透镜）。此外，可见光透镜组件16可以具有固定焦距，或可以包括用于改变可见光光学系统的焦距的焦距调节机构。在其中可见光透镜组件16包括焦距调节机构的实例中，焦距调节机构可以是手动调节机构或自动调节机构。

红外透镜组件14还包括将红外能量聚焦于红外传感器上以生成热图像的至少一个透镜。红外透镜组件14限定通过所述组件的至少一个透镜的曲率中心的红外光轴22。在操作期间，红外能量被引导通过透镜的前部并聚焦于透镜的相对侧。红外透镜组件14可以包括单个透镜或连续布置的多个透镜（例如，两个、三个、或更多个透镜）。

如上面简要描述的，热成像相机10包括用于调节由相机所拍摄的红外图像的焦距的焦距调节机构。在图1和图2所示的示例中，热成像相机10包括聚焦环24。聚焦环24可操作地耦合（例如，机械耦合和/或电耦合）至红外透镜组件14的至少一个透镜并且被配置成将所述至少一个透镜移动到各个焦点位置，以聚焦由热成像相机10拍摄的红外图像。在不同的示例中，热成像相机10可以包括手动焦距调节机构，其以聚焦环24之外的配置来实现，例如可致动开关。备选地，热成像相机10可以包括手动焦距调节机构之外的或代替它的自动焦距调节机构。在这种示例的一些应用中，热成像相机10可以使用激光器19以电子测量目标场景中的对象和相机之间的距离。

在热成像相机10的操作期间，操作者可能希望观察由热成像相机10生成的场景热图像和/或同一场景的可见光图像。为此，热成像相机10可以包括显示器。在图1和图2的示例中，热成像相机10包括显示器18，其位于壳体12的与红外透镜组件14和可见光透镜组件16相对的后部。显示器18可以被配置成显示可见光图像、红外图像，和／或同时显示可见光图像和红外图像的融合图像。在不同的示例中，显示器18可以远离（例如，独立于）热成像相机10的红外透镜组件14和可见光透镜组件16，或显示器18可以相对于红外透镜组件14和/或可见光透镜组件16处于不同的空间布置内。因此，虽然图2中示出显示器18位于红外透镜组件14和可见光透镜组件16的后面，但是对于显示器18而言其它位置也是可能的。

热成像相机10可以包括用于控制相机的操作和调节相机的不同设置的各种用户输入媒介。示例性控制功能可以包括调节红外和/或可见光光学系统的焦距、打开/关闭快门、拍摄红外和/或可见光图像等。在图1和图2所示的示例中，热成像相机10包括用于拍摄红外和可见光图像的可按压触发控制器20、以及用于控制相机其它方面操作的按钮28。不同数量或设置的用户输入媒介是可能的，并且应当理解本公开并不限于这方面。例如，热成像相机10可以包括触摸屏显示器18，其通过按压屏幕不同部分来接收用户的输入。

图3是示出了热成像相机10的示例部件的功能方框图，所述热成像相机10包括红外相机模块100、可见光相机模块102、显示器104、处理器106、用户接口108、存储器110以及电源112。处理器通信地耦合到红外相机模块100、可见光相机模块102、显示器104、用户接口108以及存储器110。电源112给热成像相机10的各个组件输送工作电力，并且在一些示例中，可以包括可再充电或不可再充电的电池以及发电电路。

红外相机模块100可以被配置成可接收由目标场景发射的红外能量且将红外能量聚焦于红外传感器上，以生成红外能量数据，例如，其可以以红外图像的形式显示于显示器104上和/或存储于存储器110中。红外相机模块100可以包括用于执行归因于这里所述模块的功能的任何适当部件。在图3的示例中，红外相机模块100被示出为包括红外透镜组件14和红外传感器114。如上相对于图1和图2所述的那样，红外透镜组件14包括接收由目标场景发射的红外能量且将红外能量聚焦于红外传感器114上的至少一个透镜。红外传感器114通过生成可以被转换成且显示为显示器104上的红外图像的电信号而响应于所聚焦的红外能量。

红外透镜组件14可以具有不同的配置。在一些示例中，红外透镜组件14限定特定大小的光圈系数（其也可以被称为焦比或光圈级数）。通过将透镜（例如，红外透镜组件14的最外侧透镜）的焦距长度除以透镜入口直径可以确定光圈系数，其可以表示进入透镜的红外辐射的量。通常，增加红外透镜组件14的光圈系数可以增加景深或目标场景中处于透镜组件可接受焦距内的最近和最远对象之间的距离。当用设定于超焦距位置处的热成像相机10的红外光学系统来观察目标场景内的不同对象时，增加景深可以有助于获得可接受的焦距。然而如果红外透镜组件14的光圈系数增加太多，则空间分辨率（例如，清晰度）可能降低，使得目标场景不在可接受的焦距内。

在各示例中，红外透镜组件14可以限定大于0.5的光圈系数，例如大于1.0、大于约1.2、或大于约1.3。在其它示例中，红外透镜组件14可以限定范围从约0.85至约2的光圈系数，例如范围从约1至约1.8、约1.2至约1.5、或约1.3至约1.4。红外透镜组件14可以限定其它可接受的光圈系数，并且应当理解本公开并不限于这方面。

红外传感器114可以包括响应于通过红外透镜组件14接收到的红外能量而产生电信号的一个或多个焦平面阵列（FPA）。每个FPA可以包括多个红外传感器元件，例如包括测辐射热仪、光子检测器、或其它合适的红外传感器元件。在操作中，每个都可以被称为传感器像素的每个传感器元件可以响应于从目标场景接收的吸收红外能量来改变电特性（例如，电压或电阻）。反过来，电特性的改变可以提供电信号，其由处理器106接收且处理成显示于显示器104上的红外图像。

例如，在其中红外传感器114包括多个测辐射热仪的示例中，每个测辐射热仪可以吸收通过红外透镜组件14聚焦的红外能量，并且响应于所吸收的能量而使温度升高。每个测辐射热仪的电阻可以随着测辐射热仪的温度变化而发生变化。处理器106可以通过将电流（或电压）施加到每个测辐射热仪来测量每个测辐射热仪的电阻变化并且测量测辐射热仪两端的最终电压（或电流）。基于这些数据，处理器106可以确定由目标场景的不同部分所发出的红外能量的量并且控制显示器104显示目标场景的热图像。

独立于包括在红外传感器114FPA中的特定类型的红外传感器元件，FPA阵列可以限定任何合适的尺寸和形状。在一些示例中，红外传感器114包括被布置成栅格模式的多个红外传感器元件，例如被布置成垂直列和水平行的传感器元件阵列。在各示例中，红外传感器114可以包括垂直列乘水平行的阵列，例如，16×16、50×50、160×120、120×160或640×480。在其它示例中，红外传感器114可以包括较小数目的垂直列和水平行（例如，1×1）、较大数目的垂直列和水平行（例如，1000×1000）、或列与行的不同比率。

在热成像相机10的操作期间，处理器106可以控制红外相机模块100生成红外图像数据，以创建红外图像。处理器106可以通过测量来自包括在红外传感器114的FPA中的每个红外传感器元件的电信号来生成红外图像数据的“帧”。来自每个红外传感器元件的电信号（例如，电压、电流）的大小可以对应于由每个红外传感器元件接收到的红外辐射的量，其中接收不同量的红外辐射的传感器元件表现出具有不同大小的电信号。通过生成红外图像数据的帧，处理器106在给定时间点捕获目标场景的红外图像。

处理器106可以通过单次测量包括在红外传感器114的FPA内的每个红外传感器元件的电信号来捕获目标场景的单个红外图像或“快照”。替代地，处理器106可以通过重复测量包括在红外传感器114的FPA内的每个红外传感器元件的电信号来捕获目标场景的多个红外图像。在其中处理器106重复地测量包括在红外传感器114的FPA内的每个红外传感器元件的电信号的示例中，处理器106可以生成目标场景的动态热图像（例如，视频表示）。例如，处理器106可以以足以生成热图像数据的视频表示的频率（例如，30赫兹或60赫兹）来测量包括在FPA内的每个红外传感器元件的电信号。处理器106可以执行在捕获红外图像中的其它操作，例如依次致动快门（未示出）以打开和关闭红外透镜组件14的光圈等。

由于红外传感器114的每个传感器元件用作传感器像素，因此通过将每个传感器元件的电特性（例如，电阻）中的变化转化成可被处理例如以在显示器104上可视或存储于存储器110内的时分制多路传输电信号，处理器106可以生成表示来自目标场景的红外辐射的两维图像或图片。处理器106可以执行计算，以将原始红外图像数据转换成场景温度，在一些示例中其包括对应于场景温度的颜色。

处理器106可以控制显示器104以显示所捕获目标场景的至少一部分红外图像。在一些示例中，处理器106控制显示器104，使得红外传感器114的每个传感器元件的电响应与显示器104上的单个像素相关联。在其它示例中，处理器106可以增大或减小红外图像的分辨率，使得在显示器104上显示与红外传感器114中传感器元件相比更多或更少的像素。处理器106可以控制显示器104以显示整个红外图像（例如，由热成像相机10拍摄的目标场景的所有部分）或少于整个红外图像（例如，由热成像相机10拍摄的整个目标场景的较少部分）。处理器106可以执行其它图像处理功能，如在下面更详细描述的那样。

虽然在图3中未示出，热成像相机10可以包括各种信号处理或调节电路，以将来自红外传感器114的输出信号转换成显示器104上的热图像。示例性电路可以包括用于测量红外传感器114的每个传感器元件两端的偏置电压的偏置发生器、模数转换器、信号放大器等。独立于特定电路，热成像相机10可以被配置成处理表示目标场景的数据，以提供可以被显示、存储、传输或由用户另外使用的输出。

热成像相机10包括可见光相机模块102。可见光相机模块102可以被配置成接收来自目标场景的可见光能量并且将可见光能量聚焦于可见光传感器上，以产生可见光能量数据，例如，其可以以可见光图像的形式显示于显示器104上和/或存储于存储器110内。可见光相机模块102可以包括用于执行归因于本文所述模块功能的任何合适部件。在图3的示例中，可见光相机模块102被示出为包括可见光透镜组件16和可见光传感器116。如上相对于图1和图2所述的那样，可见光透镜组件16包括接收由目标场景发射的可见光能量并且将可见光能量聚焦于可见光传感器116上的至少一个透镜。可见光传感器116通过产生可以被转换成且显示为显示器104上的可见光图像的电信号而响应于所聚焦的能量。

可见光传感器116可以包括多个可见光传感器元件，例如像CMOS检测器、CCD探测器、PIN二极管、雪崩光电二极管等。可见光传感器元件的数目可以与红外光传感器元件的数目相同或不同。

在操作中，从目标场景接收的光学能量可以通过可见光透镜组件16并且聚焦于可见光传感器116上。当光学能量碰撞到可见光传感器116的可见光传感器元件上时，光检测器内的光子可以被释放且转换成检测电流。处理器106可以处理该检测电流以形成目标场景的可见光图像。

在热成像相机10的使用期间，处理器106可以控制可见光相机模块102从来自捕获的目标场景生成可见光图像数据，以生成可见光图像。可见光数据可以包括表示与所捕获目标场景的不同部分相关联的颜色和/或与所捕获目标场景的不同部分相关联的光幅度的发光度数据。处理器106可以通过单次测量热成像相机10的每个可见光传感器元件的响应来生成可见光图像数据的“帧”。通过生成可见光数据的帧，处理器106在给定的时间点捕获目标场景的可见光图像。处理器106还可重复地测量热成像相机10的每个可见光传感器元件的响应，以产生目标场景的动态热图像（例如，视频表示），如上关于红外相机模块100所述的那样。

由于可见光相机模块102的每个传感器元件用作传感器像素，因此通过将每个传感器元件的电响应转化成可以被处理例如在显示器104上可视或存储于存储器110内的时分制多路传输电信号，处理器106可以生成表示来自目标场景可见光的两维图像或图片。

处理器106可以控制显示器104来显示所拍摄目标场景的至少一部分可见光图像。在一些示例中，处理器106控制显示器104，使得可见光相机模块102的每个传感器元件的电响应与显示器104上的单个像素相关联。在其它示例中，处理器106可以增大或减小可见光图像的分辨率，使得在显示器104上显示与可见光相机模块102中传感器元件相比更多或更少的像素。处理器106可以控制显示器104来显示整个可见光图像（例如，由热成像相机10拍摄的目标场景的所有部分）或少于整个可见光图像（例如，由热成像相机10拍摄的整个目标场景的较少部分）。

如上所述，处理器106可以被配置成确定热成像相机10和由相机产生的可见光图像和/或红外图像所捕获的目标场景中的对象之间的距离。处理器106可以基于与相机相关联的红外光学系统的焦点位置来确定上述距离。例如，处理器106可以检测与相机的红外光学系统相关联的焦距调节机构的位置（例如，物理位置）（例如，与红外光学系统相关联的焦点位置）并且确定与上述位置相关联的到目标值的距离。然后处理器106可以参考存储于存储器110内的具有与到目标值的距离不同距离的不同位置相关联的数据，以确定热成像相机10与目标场景中的对象之间的特定距离。

在这些和其它示例中，处理器106可以控制显示器104以同时显示由热成像相机10所拍摄的可见光图像的至少一部分以及由热成像相机10所拍摄的红外图像的至少一部分。这种同时显示可能是有用的，因为操作者可以参考在可见光图像中显示的特征来帮助理解在红外图像中同时显示的特征，因为与红外图像相比，操作者可以更容易地识别和区分可见光图像中的不同现场真实特征。在各种示例中，处理器106可以控制显示器104以并排布置、画中画布置（一个图像环绕着另一个图像）或其中可以同时显示可见光图像和红外图像的任意其它合适布置来显示可见光图像和红外图像。

例如，处理器106可以控制显示器104以融合布置来显示可见光图像和红外图像。在融合布置中，可见光图像和红外图像可以叠加于彼此的顶部上。操作者可以与用户接口108交互来控制在显示器104上显示的一个或两个图像的透明性或不透明性。例如，操作者可以与用户接口108交互以便在完全透明和完全不透明之间调节红外图像，此外还可以在完全透明和完全不透明之间调节可见光图像。融合布置（其可以被称为α-混合布置）的这种示例可以允许操作者将显示器104调节成仅显示红外图像、仅显示可见光图像、或在仅红外图像和仅可见光图像极端情况之间的两个图像的任何重叠组合。

被描述为热成像相机10内处理器（包括处理器106）的部件可以实现为一个或多个处理器，例如可以单独使用或以任何合适组合使用的一个或多个微处理器、数字信号处理器（DSP）、特定应用集成电路（ASIC）、现场可编程门阵列（FPGA）、可编程逻辑电路等。

通常，存储器110存储程序指令和相关的数据，当由处理器106执行时，导致热成像相机10和处理器106执行在本公开中归因于它们的功能。存储器110可以包括任何固定的或可移动磁的、光学或电介质，例如RAM、ROM、CD-ROM、硬盘或软盘磁盘，、EEPROM等。存储器110也可以包括可移动存储部，其可以用于提供存储更新或增加内存容量。可移动存储器也可以允许将图像数据容易地转移到另一个计算设备，或在热成像相机10用于另一个应用中之前被移除。

操作者可以经由用户接口108与热成像相机10进行交互，用户接口108可以包括按钮、键或用于接受来自用户输入的其它机构。操作者可以经由显示器104接受来自热成像相机10的输出。显示器104可以被配置成以任何可接受的调色板或配色方案来显示可见光图像和/或红外图像，并且调色板例如响应于用户控制而会有所不同。在一些示例中，显示器104被配置成以诸如灰度或琥珀色的单色调色板来显示红外图像。在其它示例中，显示器104被配置成以诸如像铁红、蓝红或其它高对比度配色方案的彩色调色板来显示红外图像。还可以想到灰度和彩色调色板显示的组合。

虽然处理器106可以控制显示器104以任意合适的布置来同时显示红外图像的至少一部分和可见光图像的至少一部分，通过以相邻对准的方式来显示同一场景的相应可见光图像，画中画布置可以有助于操作者容易聚焦和/或诠释热图像。图4是可见光图像240和红外图像242的一个示例性画中画类型显示的概念说明图。在图4所示的示例中，可见光图像240环绕着红外图像242，然而在其它实施例中，红外图像242可以环绕可见光图像240，或可见光图像240和红外图像242可以具有与所示那样不同的相对大小或形状，并且应当理解本公开并不限于该方面。

在热成像相机10的操作期间，处理器106在与存储于存储器110内的程序信息相关联的指令帮助下来控制红外相机模块100和可见光相机模块102，以生成目标场景的可见光图像和红外图像。处理器106还控制显示器104以显示由热成像相机10产生的可见光图像和/或红外图像。存储器110还可以存储红外图像、可见光图像、红外图像与可见光图像的融合图像以及与用来获得图像的相机设置相关的数据。程序信息可以进一步控制用于将同一位置的红外图像重新拍摄为较早红外图像所必需的操作。例如，处理器可以包括编程以用于形成重新拍摄图像时可以使用的姿态模板。替代地，上述编程可以单独存储于计算机，例如个人计算机中，或可以存储于其它地方，（例如“云”内），且用户可以通过因特网，例如通过个人计算机或通过热成像相机10，来访问上述地方。

用于处理图像以创建姿态模板的编程可以识别图像中的特征、提取该特征以及增强该特征。例如，可识别的特征包括不同的对象、交叉线、几何形状以及其它独特特征。例如，可以利用线或边缘检测编程或自动对象识别编程（其可以识别出特定机械设备，例如电机轮廓）来识别上述特征。替代地，用户可以通过视觉检测来识别图像内的特征，并且可以选择某些特征来增强。例如，用户可以经由按钮28利用可在PC或相机上可用的简单绘图工具（例如线、矩形、或其它形状）来例如手动圈出在图像中发现的对象，增强在图像中形成不同形状的线，或高亮显示图像中的边缘。

可以利用某些图像特征的最终得到的增强图像来形成姿态模板的全部或部分。这种增强特征可以显现为勾勒线条，其限定上述特征，例如通过增强特征的边缘。例如，姿态模板可以增强图像的一个、两个，三个或更多的特征。例如，姿态模板可以通过在其一侧或多侧上勾勒轮廓来增强特征。在一些实施例中，姿态模板可以在所有侧面勾勒特征以形成围绕对象的框架。在其它实施例中，姿态模板可以增强形成直线或交叉直线的边缘。增强可以是具有对比颜色线、黑线、粗线或高亮的形式，例如其可为实心或至少部分透明的。

在一些实施例中，处理器106包括用于创建负红外图像的程序信息，其用于产生差别图像。在这种实施例中，编程将在第一红外或融合图像中所示的红外能量从相同类型的活动图像减去，或反之亦然。如果活动场景的热能量与第一图像相比是不变的，那么当热成像相机与初始位置对准时，负图像应该消失。即，如果活动场景的热能量未变化以及相机与初始位置对准，则活动热图像和作为负热图像应用的第一图像在不同的图像中应该彼此抵消。通过从基于逐像素的第二红外图像（或其部分）减去基于逐像素的第一红外图像（或其部分）来生成差别图像。但是，当热成像相机10的位置与初始位置不同时，某些特征的边缘可能会显现到最终的差别图像上，表示需要进一步重新定位。

图5示出根据本发明一些实施例的重新拍摄红外图像过程的流程图。在步骤300中，由热成像相机在第一位置处拍摄第一图像。第一图像可以是可见光图像、热能量图像、或红外图像和可见光图像的融合图像。

在一些实施例中，第一图像是在同一位置与红外图像或融合图像相同时间所拍摄的可见光图像。可见光图像用于创建姿态模板，而相关的红外图像或融合图像可用于与较晚的图像或融合图像进行比较。

第一图像可以被存储于热成像相机10的存储器110内，直到随后被选择进行处理。替代地，第一图像可以被传送到计算机以进行处理。在其它替代中，第一图像可以被传送到存储介质且存储于存储介质上。随后其可被传送到热成像相机10以进行处理，热成像相机10可以是原始的热成像相机或可以是第二热成像相机10。所存储的第一图像还可以包括用于拍摄第一图像的相机设置有关的数据，例如可以与图像一起存储的焦距、光圈级数、缩放、透镜类型。

接下来，在步骤310，第一图像由热成像相机10或单独的计算机来处理以创建姿态模板。如上所述，图像处理识别且增强第一图像的特征以创建姿态模板。

在步骤320，将拍摄第一图像时采用的一个或多个或所有图像设置均应用于活动图像上。如下所述，上述设置可以自动应用或由用户手动应用。第二图像可以是红外图像或红外和可见光图像的融合图像，并且与可见光图像同时或几乎同时来拍摄。

在步骤330，将姿态模板与活动图像组合。在用户的方向上用户可以在热成像相机10的显示器104中看到组合的活动图像和姿态模板。在一些实施例中，活动图像叠加或覆盖于所述第一图像上。在其它实施例中，层压顺序是相反的。姿态模板被示为显示器104上的静态图像，例如一组线或形状，当热成像相机10重新定位时，上述静态图像不移动。与此相反，当热成像相机10重新定位时，显示器104上的活动图像移动。

在流程图中，步骤320在步骤330之前。然而，替代地，步骤330可在步骤320之前。在一些实施例中，步骤320和330可以同时发生，使得当用户指引相机以将姿态模板应用到活动图像时，该指向还可给相机发出信号以便自动地将第一相机设置应用于活动图像上。

在一些实施例中，在步骤330中可以由热成像相机自动地应用第一相机设置。在其它实施例中，在步骤330中由用户手动地将第一相机设置应用到热成像相机上。热成像相机可以向用户通知第一相机设置（例如通过将其指示到显示器上）以提示用户应用它们。还在另一些实施例中，可以自动地应用一个或多个设置以及手动地应用一个或多个设置。

接下来，在步骤340用户将相机重新定位以将活动图像与姿态模板对准。如上所述，姿态模板在显示器104上形成静态图像，并且显示器104上的活动图像在热成像相机10被重新定位时移动。因此，用户可以重新定位热成像相机10，直到其被增强以创建姿态模板的活动图像的特征与显示器104上的姿态模板对准。一旦活动图像与姿态模板对准或与姿态模板大致对准，热成像相机处于第一位置，或充分接近第一位置以重新拍摄图像。

一旦热成像相机的第二位置与所述第一位置相同或充分接近，在步骤350拍摄第二图像。第二图像可以是红外图像或红外图像和可见光图像的融合图像，且可以与可见光图像同时或几乎同时拍摄。当用户根据姿态模板与活动图像的对准确定相机处于或充分地接近第一位置时，用户可以激活热成像相机10来拍摄第二图像，例如通过按下触发器20。替代地，当热成像相机10根据姿态模板与活动图像的对准确定其处于或充分地接近第一位置时，热成像相机10可以自动地拍摄第二图像或可以例如通过显示器104上的可见提示给用户发出捕获图像的信号。

在一些实施例中，第二图像是与第一图像相同类型的图像。例如，第一和第二图像两者可以均为红外图像或融合图像。在其它实施例中，第一图像和第二图像可以是不同类型的图像。例如，第一图像可以是可见光图像（其可与红外图像或融合图像相关联），并且第二图像可以是红外图像或融合图像。在步骤320和330中的活动图像可以是与第一图像、第二图像相同的类型，或在步骤320和330中的活动图像的类型与第一图像、第二图像不同的类型。在一些实施例中，第一图像和活动图像可以均为可见光图像，并且所述第二图像是红外或融合图像。

替代地，用于重新拍摄热图像的过程可以利用如上所述的负热图像。在这种实施例中，第一热图像在第一位置处以第一设置进行捕获。第一图像可以是红外图像或融合图像。接着随后获得活动图像，其是与第一图像相同类型的图像，并且可以由与第一图像相同的热能相机10拍摄或由不同的热能相机拍摄。如上所述，可以将一个或多个或所有第一设置应用到活动图像。然后处理第一图像和活动图像以生成显示于显示器104上的负热图像。然后，用户观察热图像且将热成像相机10重新定位。热成像相机随着热成像相机10重新定位而继续处理第一图像和活动图像，产生活动差别图像。当热成像相机处于或充分接近第一位置时，捕获第二图像，其可以是红外图像或融合图像，或者可以是与第一图像为相同类型的图像或与第一图像为不同类型的图像。

利用程序信息可以确定相机位置是否充分接近可以拍摄原始图像的位置。例如，在热成像相机10中可预先设定有从初始位置的特定量的公差变化。替代地，基于用户对场景的观察以及活动图像与姿态模板对准的接近度，可以由用户作出上述确定。此外，在一些实施例中，当在足够接近的位置（在允许公差内）处拍摄图像时，程序信息可以使得所拍摄的图像偏移（回到中心位置）以更精确地与原始图像对准。这种偏移可自动发生或由用户指导下发生。

通过具有在不同的时间点但是从大致相同的位置拍摄的第一和第二红外图像，可以进行比较以确定红外图像如何变化。通过这种方式，第一红外图像、或融合图像和可见光图像可以与第二红外图像、或融合图像和可见光图像进行比较，使得可以更容易地识别代表热模式变化的图像红外方面的变化。上述比较可以并排方式手动地进行比较。图像也可以被叠加以更容易地识别热变化。或者，可以应用处理器106或其它非相机软件以执行两个红外图像的热分析以便确定热差异。热变化可以表示在其成为更大问题之前可以进行补救的潜在故障。

示例性的热成像相机和相关技术已被描述。本公开中所述的技术也可以体现或编码到计算机可读介质内，例如包含指令的非暂时性计算机可读存储介质。例如，当执行指令时，嵌入或编码到计算机可读存储介质中的指令可以导致可编程处理器，或其它处理器执行上述方法。计算机可读存储介质可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、光学介质、或其它计算机可读介质。

已经描述了各种示例。这些和其它示例在所附权利要求的范围内。

Claims (23)

1.一种便携手持式热成像相机，包括：

红外（IR）透镜组件，具有用于检测目标场景的热图像的相关IR传感器；

可见光（VL）透镜组件，具有用于检测所述目标场景的VL图像的相关VL传感器；

显示器，适于显示所述VL图像的至少一部分或所述IR图像的至少一部分；

存储器，适于存储目标场景的第一VL图像，所述目标场景的第一VL图像是在第一位置处与所述目标场景的第一IR图像同时拍摄的，所述存储器适于存储所述目标场景的第二IR图像；以及

处理器，被编程有用于在所述第一位置处和第一时间点与拍摄所述第一IR图像的同时来拍摄所述第一VL图像的指令；

所述处理器被编程有用于处理所述第一IR图像和／或所述第一VL图像以创建姿态模板的指令，所述姿态模板包括提供所述第一位置的表示的所述第一图像的增强特征；所述处理器被编程有如下指令：将具有所述姿态模板的显示器上的所述场景的活动图像的所述姿态模板与所述活动图像相结合以有助于用户将所述相机重新定位到所述第一位置，以在所述第一位置处或所述第一位置附近拍摄所述目标场景的第二IR图像。

2.根据权利要求1所述的相机，其中所述第一图像仅是红外图像，或融合的红外和可见光图像。

3.根据权利要求1或2所述的相机，其中所述姿态模板具有位于所述显示器上的固定位置，并且所述活动图像随着所述相机被重新定位而移动。

4.根据权利要求1-3中任一项所述的相机，其中所述处理器被编程有用于识别且增强所述场景的一个或多个特征以创建所述姿态模板的指令。

5.根据权利要求4所述的相机，其中增强包括强调所述特征的一个或多个边缘。

6.根据前述权利要求中任一项所述的相机，其中所述存储器还适于存储拍摄所述第一图像时应用的一个或多个相机设置。

7.根据权利要求6所述的相机，其中所述处理器被编程有在显示所述场景的活动图像的同时自动将所述一个或多个相机设置中的一个或多个相机设置应用于所述相机的指令。

8.根据前述权利要求中任一项所述的相机，其中所述处理器被编程有在第二位置和第二时间点拍摄第二VL图像的指令，所述第二时间点在所述第一时间点之后。

9.一种便携手持式热成像相机，包括：

红外（IR）透镜组件，具有用于检测目标场景的热图像的相关IR传感器；

可见光（VL）透镜组件，具有用于检测所述目标场景的VL图像的相关VL传感器；

显示器，适于显示所述VL图像的至少一部分或所述IR图像的至少一部分；

存储器，适于存储均在第一位置处拍摄的目标场景的第一VL图像和所述目标场景的第一IR图像，所述存储器适于存储所述目标场景的第二IR图像；以及

处理器，被编程有指令，所述指令用于从所述场景的活动IR图像减去所述第一IR图像以创建差别图像，从而有助于用户将所述相机与第一位置对准，以在所述第一位置处或所述第一位置附近拍摄所述目标场景的第二IR图像。

10.根据权利要求9所述的相机，其中所述第一和第二IR图像仅包括红外图像，或融合的IR和VL图像。

11.根据权利要求9或10所述的相机，其中所述存储器还适于存储在拍摄所述第一图像时应用的一个或多个相机设置。

12.根据权利要求11所述的相机，其中所述处理器被编程有用于自动将所述一个或多个相机设置应用于所述场景的所述活动图像的指令。

13.根据权利要求9-12中任一项所述的相机，其中所述处理器被编程有用于显示所述第一VL图像以及所述差别图像以有助于所述用户将所述相机对准于所述第一位置内的指令。

14.一种重新拍摄场景的红外（IR）图像的方法，包括：

选择在第一位置利用第一热成像相机拍摄的所述场景的第一图像；

处理所述第一图像以识别且增强所述第一图像的特征，从而创建姿态模板;

将所述姿态模板与指向所述场景的第二热成像相机的显示器上的所述场景的活动图像组合；

重新定位所述第二热成像相机，直到与所述姿态模板对准的所述活动图像的特征表示所述第二热成像相机位于所述第一位置处或所述第一位置附近，其中所述活动图像的所述特征与所述第一图像的被增强特征对准；

当所述第二热成像相机处于所述第一位置或接近所述第一位置时，拍摄所述场景的第二图像；

其中所述第一热成像相机和所述第二热成像相机是相同的相机或者是不同的相机。

15.根据权利要求14所述的方法，其中所述第二图像仅是IR图像，或融合的IR和VL图像。

16.根据权利要求14或15所述的方法，其中所述姿态模板具有位于所述显示器上的固定位置，并且所述活动图像随所述相机重新定位而移动。

17.根据权利要求14-16中任一项所述的方法，其中增强包括强调所述特征的一个或多个边缘。

18.根据权利要求14-17中任一项所述的方法，其中所述相机自动将拍摄所述第一图像时使用的一个或多个设置应用于所述活动图像。

19.一种重新拍摄场景的红外（IR）图像的方法，包括：

选择利用第一热成像相机拍摄的所述场景的第一IR图像；

获取所述场景的活动IR图像；

引导第二热成像相机来处理所述第一IR图像和所述活动IR图像以显示差别IR图像；

利用所述差别图像来重新定位所述相机，直到所述相机处于所述第一位置处或所述第一位置附近；

其中所述第一热成像相机和所述第二热成像相机是相同的相机或者是不同的相机。

20.根据权利要求19所述的方法，其中处理所述第一IR图像和所述活动IR图像以显示差别IR图像包括从所述活动IR图像减去所述第一IR图像。

21.根据权利要求19或20所述的方法，其中所述第一和第二IR图像仅包括红外图像，或融合的IR和VL图像。

22.根据权利要求19-21中任一项所述的方法，还包括将一个或多个设置应用于所述活动IR图像，其中所述一个或多个设置与拍摄所述第一IR图像时使用的设置是相同的。

23.根据权利要求19-22中任一项所述的方法，其中所述相机自动将一个或多个设置应用于所述场景的活动图像，其中所述设置与拍摄所述第一IR图像时使用的设置是相同的。

Images