CN102142143A

CN102142143A - 红外图像比较

Info

Publication number: CN102142143A
Application number: CN2010106108933A
Authority: CN
Inventors: R·施密特
Original assignee: FOLUC CORP
Current assignee: FOLUC CORP; Fluke Corp
Priority date: 2009-11-20
Filing date: 2010-11-22
Publication date: 2011-08-03
Anticipated expiration: 2030-11-22
Also published as: EP2345994B1; US20110122251A1; US8599264B2; EP2345994A1; CN102142143B

Abstract

提供了用于进行红外线图像数据比较和/或用于生成红外线图像比较数据的方法。在一种方法中，从场景的一个或多个观察点选择包括可见光和红外图像数据的两个图像数据集。能够比较来自于每一个数据集的可见光图像数据以确定所述可见光数据的不同观察点之间的对准相关性。所述对准相关性然后可用来将来自于每一个数据集的红外图像数据相关联。能够比较所述相关联的红外图像数据以生成红外比较图像数据。还提供了能执行如此方法的热成像相机。

Description

红外图像比较

背景技术

热或红外成像相机广为所知并已经在很多装置中用于测量和/或比较多个对象的温度或者单个对象在一段时间内的温度分布。除其它应用外，这些仪器经常作为预防维修程序的一部分用于工业应用。这些类型的程序典型地依赖对车间或工厂的资产进行周期性的检查以在可能的故障发生前发现它们。例如，车间人员经常开发一些调查途径(route)用来日常收集标识的设备上的温度数据。

按途径为每一件设备收集热基线图像以后，通过将该设备后面的热图像与该基线图像或其它在先图像的比较，技术人员于是能够识别出数个检查过程中的热特征的变化。热特征的变化在某些情况下能够指示部件将要发生的故障，这使得技术人员可以在故障发生之前安排维修或更换。

在简单状况下，技术人员能够视觉比较两个或多个热或者红外图像来确定一段时间内发生的热特征的变化。两个红外图像的视觉比较有时可能是困难的，因为与作为反射的可见光的结果的可见光图像相比，大多数红外图像本性上没有那么锐利。例如，就具有许多电气元件和互连件的工业机器的电气控制板来说，由于不同的颜色和良好限定的形状，其可见光图像是锐利且清晰的。由于从高温部到相邻部的热传递，红外图像将不会呈现出那么锐利。另外，在可见光图像中清楚显示的色彩、文字和编号将不会出现在红外图像中。

与可视图像相比时，红外图像经常具有较低的分辨率，并且当场景或图像的部分呈现出较低的红外图像对比度时，其可能特别难以解释和比较。因此，由于较低分辨率下的对象和特征边界难以辨别，可能难以关联两幅红外图像中的特征和对象。此外，在图像采集之间，热图像分布可能已经变化，使得呈现在一幅红外图像中的特征在相同场景的第二幅红外图中不再可见(例如，作为场景背景的相同温度)。因此，尽管可以怀疑温度上的变化，但是要确定场景内哪些对象或对象的部分呈现该热变化可能是困难的，其部分因为难以辨别在第一幅图像中哪些对象与第二幅红外图中的对象相对应。

为了帮助红外图像视觉比较，一些红外成像相机允许用户使用设置在热成像相机中的独立的可见光相机采集场景的可见光图像(经常称之为“控制图像”)。这些热成像相机中的一些允许用户并行察看红外图像与可见光图像。一些热成像相机还提供同时察看互相交叠并混合在一起的红外图像和可见光图像。例如，Fluke公司(Fluke Corporation)的FlexCam系列相机并入了称之为IR-Fusion(红外融合)的软件特征，其允许用户将红外和可见光图像以从100％可见到100％红外的任意比例混合在一起。该特征对每一幅红外图像给操作者提供有可见光图像参考，从而使得红外图像的视觉比较变得稍微容易。

图像处理软件也可以用来比较两个或更多红外图像，并且，在很多情况下，比单纯的视觉检查能提供两红外图像的多得多的信息和定量比较。例如，图像处理软件可以从同一场景较早的红外图像减去较后的红外图像以确定是否已发生该场景的热特征变化。

更复杂的图像比较能够从未对准或失准的红外图像产生。在某些情况下，固定或静止的红外成像相机可以用来采集场景的高配准连续热图像。然而，经常许多红外图像是使用手持热成像相机采集的。因此，在不同时间对同一场景采集的图像可以显示出该相同场景的不同景色。例如，连续红外图像可能具有些微不同的场景透视，可能用不同的缩放因数进行采集，和/或互相间进行了平移(例如水平地和/或竖直地)。红外图像间的上述这类失准能够使热图像难以相互比较，视觉地或通过软件比较都是如此，其中，软件比较中计算出来的比较数据不是很有用。

发明内容

依照本发明的一方面，提出了一种用于比较代表场景的红外(IR)图像数据的方法。所述方法包括：选择场景的第一和第二图像数据集。所述第一图像数据集包括从第一可见光(VL)观察点采集的第一VL图像数据和从第一IR观察点采集的第一IR图像数据。所述第二图像数据集包括从第二VL观察点采集的第二VL图像数据和从第二IR观察点采集的第二IR图像数据。在一些情况下，所述第一VL观察点与所述第一IR观察点具有第一已知相关性，和/或所述第二VL观察点与所述第二IR观察点具有第二已知相关性。所述方法还包括，将所述第一VL图像数据与所述第二VL图像数据进行比较以确定所述第一VL观察点和所述第二VL观察点之间的对准相关性。然后能够使用来自所述VL图像数据的对准相关性将所述第二IR图像数据与所述第一IR图像数据相关联。在一些情况下，还使用所述第一和/或第二已知相关性将所述IR图像数据相关联。所述方法还包括将所述第一IR图像数据的至少一部分与所述第二IR图像数据的相关联部分进行比较以生成IR比较图像数据。在一些实施例中，将所述第一IR图像数据的所述部分与所述第二IR图像数据的所述相关联部分进行比较包括从所述第一IR图像数据的所述部分减去所述第二IR图像数据的所述相关联部分。

依照本发明的另一方面，提出了一种具有用于执行前述方法的计算机可执行指令的计算机可读存储介质。

依照本发明的另一方面，提出了一种IR成像相机。除其它元件外，所述IR或热成像相机包括：VL相机模块，具有用于从场景采集VL图像数据的VL传感器；IR相机模块，具有用于从所述场景采集IR图像数据的IR传感器。所述IR相机模块与所述VL相机模块具有已知空间相关性。所述相机还包括显示器，用于显示所述VL图像数据的至少一部分和/或所述IR图像数据的至少一部分。

依照优选实施例，所述相机还包括可编程处理器，所述可编程处理器与所述显示器和所述IR和所述VL相机模块耦接。所述处理器编程有指令，用于：(a)选择所述场景的第一图像数据集，所述第一图像数据集包括由所述VL相机模块从第一VL观察点采集的第一VL图像数据和由所述IR相机模块从第一IR观察点采集的第一IR图像数据，所述第一VL观察点和所述第一IR观察点通过所述已知空间相关性相关联；(b)选择所述场景的第二图像数据集，所述第二图像数据集包括由所述VL相机模块从第二VL观察点采集的第二VL图像数据和由所述IR相机模块从所述第二IR观察点采集的第二IR图像数据，所述第二VL观察点和所述第二IR观察点通过所述已知空间相关性相关联；以及(c)根据所述第一IR图像数据和所述第二IR图像数据生成IR比较图像数据，包括：(1)将所述第一VL图像数据与所述第二VL图像数据进行比较以确定所述第一VL观察点和所述第二VL观察点之间的对准相关性；(2)使用所述已知空间相关性和所述对准相关性将所述第二IR图像数据与所述第一IR图像数据相关联，以及(3)将所述第一IR图像数据的至少一部分与所述第二IR图像数据的相关联部分进行比较以生成所述IR比较图像数据。

依照本发明的另一方面，提出了一种跟踪场景内局部温度变化的方法。所述包括在第一时刻采集场景的第一VL图像数据和所述场景的第一IR图像数据。所述第一IR图像数据指示在所述第一时刻所述场景内的局部温度。所述方法还包括在第二时刻采集所述场景的第二VL图像数据和所述场景的第二IR图像数据，其中所述第二IR图像数据指示在所述第二时刻所述场景内的所述局部温度。确定所述第一VL图像数据和所述第二VL图像数据之间的对准相关性，然后使用所述对准相关性将所述第二IR图像数据与所述第一IR图像数据相关联。所述方法还能够包括将所述第一IR图像数据的至少一部分与所述第二IR图像数据的相关联部分进行比较。这可以生成指示在所述第一时刻和所述第二时刻所述场景内的所述局部温度之间的差的IR比较图像数据。最后，在一些实施例中，可以显示所述IR比较图像数据的至少一部分。

附图说明

以下附图是本发明具体实施例的示例，因此不是对本发明范围的限制。附图不是按比例的(除非如此声明)而是与下文的详细描述中的解释结合使用。以下将结合附图描述本发明的实施例，其中相同数字代表相同元件。

图1是依照本发明的实施例示例比较红外图像数据的方法的流程图；

图2A和2B是依照本发明的实施例的红外成像相机的透视图；

图3是依照本发明的实施例的红外成像相机的框图；

图4A-4B示例依照本发明的实施例的代表场景的第一和第二图像数据集；

图4C示例依照本发明的实施例的IR图像数据和VL图像数据之间的已知相关性；

图4D-4E示例依照本发明的实施例比较VL图像数据；

图4F-4G示例依照本发明的实施例利用对准相关性将第一和第二IR图像数据关联；

图4H示例依照本发明的实施例比较部分IR图像数据以生成IR比较图像数据；

图5A示例依照本发明的实施例显示组合有VL图像数据的IR比较图像数据；

图5B示例依照本发明的实施例显示组合有VL图像数据的IR比较图像数据。

具体实施方式

下面的详细描述本质上是示例性的，并非意在以任何方式来限制本发明的范围、适用性或构造。更确切地，下面的描述为实现本发明示例性实施例提供了实用的说明。为选择的元件提供了结构、材料、尺寸和制造工艺的范例，所有其它元件使用本领域技术人员已知的技术。本领域技术人员将清楚所提供的许多范例具有可使用的其它合适替代。

本发明实施例有益于比较由热成像相机采集的红外(例如，热)图像数据(即，对应于场景的图像)以例如确定红外图像数据中的温差。例如，一些实施例能够确定一段时间内场景内发生的温度变化。这种确定可用在在很多情形和应用中。仅仅作为一个范例，本发明的一些实施例能够实施于预防维修领域中，以确定和定位设备随时间的热特征变化。

转向图1，其示出了依照本发明的实施例的一种比较红外图像数据的方法100的流程图。方法100包括选择第一图像数据集102和选择第二图像数据集104用于比较。例如，该第一图像数据集可包括代表场景的一个或多个图像的图像数据，而该第二图像数据集可包括代表大致相同场景的一个或多个不同图像的图像数据。

在一些实施例中，该第一图像数据集包括场景的第一可见光(VL)图像数据和第一红外(IR)图像数据。某一情况下，该第一VL图像数据代表该场景的第一VL图像，而该第一IR图像数据代表该相同场景的第一IR图像。可在同一时间(例如，第一时刻)收集或采集该第一VL和IR图像数据，使得该图像数据代表大致同时采集的该场景的VL和IR图像，其中IR图像数据指示在该第一时刻该场景内的局部温度。当然，在一些实施例中，该第一VL和该第一IR图像数据不必同时收集。

类似地，该第二图像数据集包括代表与该第一VL和该第一IR图像数据大致相同的场景的第二VL图像数据和第二IR图像数据。某一情况下，该第二VL图像数据代表该场景的第二VL图像，而该第二IR图像数据代表该相同场景的第二IR图像。能够在同一时间(例如，第二时刻)收集该第二VL和IR图像数据，使得该图像数据代表大致同时采集的该场景的VL和IR图像，其中该第二IR图像数据指示在该第二时刻该场景内的局部温度。在一些实施例中，优选地，在比采集该第一VL和IR图像数据更早或更晚的时间采集该第二VL和IR图像数据。如此定时能允许随时间的图像数据比较，这指示在第一和第二时刻该场景内局部温度之间的差别。

在一些实施例中，在该第一和第二图像数据集中的该VL和IR图像数据是从该场景的一个或多个不同观察点采集的。因此，该图像数据(和对应的图像)可代表大致相同的场景，而一些图像数据可从稍微不同的透视(例如，该数据是关于该场景的竖直、水平和/或旋转变换)反映该场景的景物。在一些实施例中，可从与用来采集该第一IR图像数据的第一IR观察点不同的第一VL观察点采集该第一VL图像数据。例如，由于例如用来采集图像数据的VL和IR相机的空间分离，在该第一VL和IR观察点之间可能引入视差。

类似地，可从与用来采集该第二IR图像数据的第二IR观察点不同的第二VL观察点采集该第二VL图像数据。另外，在一些实施例中，该第一和第二VL观察点可以彼此不同，和/或该第一和该第二IR观察点可以彼此不同。正如前面所讨论的，从不同观察点采集IR图像数据会使得难以精确比较该IR图像数据。例如，如果该第一IR图像数据关于该第二IR图像数据经过了空间变换，逐个像素地直接比较该IR图像数据实际上比较的是该场景的不同点从而导致不精确的比较。

回到图1，在本发明一些实施例中，比较IR图像数据的方法包括将该第一VL图像数据与该第二VL图像数据进行比较以基于该VL图像数据确定对准相关性106(例如，基于该第一VL观察点和第二VL观察点之间的差异)。例如，一个或多个图像处理算法能用来确定在该第一和第二VL图像数据中的场景数据的哪些像素彼此对应。在一些情况下，该对准相关性可用来说明该第一和第二IR观察点之间的差异，因而允许将该第一IR图像数据和该第二IR图像数据相关联108，用于更精确的比较。

因此，在一些情况下，不必确定该第一和该第二IR图像数据和图像之间的直接对准关系或空间相关性就能处理该第一和第二IR图像数据(和对应的图像)的失准。有时会难于直接表征IR图像和图像数据之间的失准，因为，例如，该IR图像数据可能具有有限的分辨率，热经常会越过视觉边界，和/或该IR图像数据可能具有较低的红外图像对比度。基于该第一和该第二VL图像数据的对准相关性将该第一和第二IR图像数据相关联(例如，导致对准或配准的对应IR图像)有利地避免了这些类型的影响的限制。

除了该第一和第二VL观察点之间的对准相关性之外，一些实施例利用附加的数据相关性来更精确地将该第一IR图像数据与该第二IR图像数据相关联。一些情况下，该第一VL观察点通过第一已知相关性关联到该第一IR观察点。例如，该第一VL和IR图像数据能够通过双透镜热成像相机来采集，且该第一已知相关性可以是该相机里的VL透镜和IR透镜的位置之间的视差。在一些实施例中，该第一已知相关性(例如，视差)可能是固定的。该第二VL和该第二IR观察点之间的第二已知相关性也可以用来更精确地将该IR图像数据相关。一些情况下，比较IR图像数据的方法包括使用该第一和第二已知相关性连同该对准相关性来将该第一和第二IR图像数据相关联。在一些实施例中，该第一VL和IR观察点之间的该第一已知相关性与该第二VL和IR观测点之间的该第二已知相关性相同。例如，可用同一个热成像相机来采集该第一和第二图像数据集二者。

在将该第一和该第二IR图像数据相关联之后，能够将该第一IR图像数据的至少一部分与该第二IR图像数据的相关联部分进行比较110。因为该IR图像数据被相关联，在该第一IR图像数据中的特定场景像素能够匹配该第二IR图像数据中的相同场景像素，允许实际场景数据的逐个像素的比较。该比较能够识别在该第一和第二IR图像数据被采集的时间之间的一段时间内出现的该场景中的差异。如前所述，识别场景温度变化在广泛多样的应用中是有益的，包括例如，预防维修领域。

在一些实施例中，比较该IR图像数据能够生成指示该第一和第二IR图像数据之间的差异的IR比较图像数据。例如，该IR比较图像数据可以与该场景内的温差相关联。在一些场合下，该比较包括从该第一IR图像数据的该至少一部分减去该第二IR图像数据的相关联部分。这种情况下，该IR比较图像数据包括该第一和第二IR图像数据之间的该差别。

在一些实施例中，该IR比较图像数据能以多种方式显示以允许操作者来观察和分析该数据。例如，该IR比较图像数据可以与该第一VL图像数据或者该第二VL图像数据之一组合显示以产生VL和IR比较图像。该IR比较图像数据也可以与VL图像数据融合以生成VL和IR融合比较图像。

在优选实施例中，该IR比较图像数据与该第一和该第二IR图像数据之间的温差相关联。在一些情况下，相关联的温差用于设置IR比较图像数据的阈值。设置阈值使得识别出该IR比较图像数据中超过预定阈值温差的子集。因此能够筛选该IR比较图像数据来确保最显著的温差是可识别的。

依照本发明一些实施例，该第一和第二图像数据集的该VL和IR图像能够通过任意已知的红外和可见光成像装置来产生。通常该VL和IR图像数据通过也具有可见光成像能力的红外成像相机来采集。这样的红外成像相机的一个范例在图2A和2B中用透视图示出。依照一些实施例的该红外成像相机的框图也在图3中示出。

图2A和2B分别是依照本发明某些实施例的红外成像相机200的正面透视图和背面透视图。该红外相机200包括红外相机模块和可见光相机模块。具体地，该红外相机200包括相机外壳202、可见光透镜204、红外透镜206、聚焦环208和激光指示器210，以及将要参照图3来描述的位于该外壳内的各种电子组件。如图2A所示，一些情况下，该VL透镜204和该IR透镜206可以相互偏置，这样将在由该相机200采集的VL与IR图像数据和图像之间提供已知的、固定的空间相关性。例如，一些情况下，该VL透镜204和该IR透镜206可以设置成使得该可见和红外光轴尽可能近且大体相互平行。参考图2A，例如，该VL透镜204和该IR透镜206可以协同定位在该IR光轴的竖直平面内。当然，其它空间布置也是可能的，例如，协同定位在水平平面内。

在一个实施例中，LED手电筒/闪光灯212位于该可见光透镜204的每侧上以帮助在黑暗环境中提供足够的光。显示器214位于该相机的背部，使得IR图像、VL图像和/或从该VL和该IR图像数据生成的混合图像可以被观察到。另外，可以显示目标点温度(包括温度测量斑大小)和距离读数。用户控制器216也位于该相机背部以控制显示模式和激活或停用该激光指示器。

图3是示出根据本发明一个实施例的该红外成像相机200的内部电子组件的框图。该相机200通常包括可见光相机模块332、红外相机模块334、和从该相机模块接收和处理图像数据并输出对应的图像数据到显示器338的处理子系统336。该可见光相机模块332在一些实施例中可以包括CMOS、CCD或其它类型的可见光相机系统。其还可以包括例如LED手电筒/闪光灯和/或激光指示器之类的附件。该可见光相机模块332包括采集场景的VL图像并生成和输出(stream)对应的VL图像数据(例如，RGB，10Hz)到该处理子系统336的可见光传感器。尽管在一些实施例中VL相机模块可包括视频相机，但这不是必需的，其输出可只包括静态照片或图像。

IR相机模块334通常可包括与采集场景的IR图像、并生成和输出原始(raw)IR图像数据(例如，30Hz)到处理子系统336的红外传感器连接并控制该红外传感器的模拟引擎。正如VL相机模块一样，该红外传感器可包括静态图像采集或视频采集。在一个实施例中，在该子系统336内，该IR图像数据被引导至数字信号处理器(DSP)340，数字信号处理器(DSP)340执行计算以将该原始IR图像数据转换为场景温度，然后转换为例如对应于该场景温度和所选调色板的RGB颜色。例如，全部并入于此的名称为“Microbolometer Focal Plane Array With Controlled Bias”(“带受控偏压的微辐射热测量计焦平面阵列”)的美国专利第6,444,983号，就公开了一种这样的红外相机。

该DSP 340将所得的组合有颜色数据(例如，RGB形式)的IR图像数据输出到FPGA 342，在此，其可选地与VL图像数据相组合。在另一实施例中，该DSP 340可将该IR图像数据直接提供给该FPGA 342而不将其转换为场景温度和/或颜色。该FPGA 342然后将该IR图像数据和该VL图像数据以期望的程度进行组合并将该组合后的图像数据发送到显示器338。

将IR图像数据与VL图像数据相组合能够有利于提供一组允许操作者以多种方式观察相同场景的图像。例如，一些情况下，提供包括由相机200大致同时采集的一个或多个IR和VL图像的图像集。在另一个范例中，IR和VL图像可以组合成合成图像以允许操作者用IR和VL光谱二者同时观察场景。依照某些实施例，该合成图像可以包括“融合的”IR和VL图像数据，其允许用户将IR和VL图像以从100％可见到100％红外的任意比例混合在一起。

除其它组成元件外，该处理子系统336包括通用微处理器344，其为相机操作者提供图形用户接口(GUI)。这个GUI接口由菜单、文本和图形显示元件组成，它们被发送到FPGA 342，在这里它们被缓冲在存储器348中，然后发送到显示器338。微控制器350与包括相机按钮、鼠标、LCD背光的用户接口346和电源352(例如，智能电池)接口。它读取这些输入并将这些信息提供给处理器344，在此，它被用来控制该GUI和提供其它系统控制功能。

FPGA 342以组合有VL图像数据、红外图像数据和/或GUI数据驱动显示器338(例如LCD和/或TV)。该FPGA 342从该VL和IR相机模块请求VL和IR图像数据二者并在一些实施例中将二者进行alpha混合(alphablend)。它也可以将得到的显示图像与GUI数据进行alpha混合来产生发送到显示器338的最终的混合或融合图像。当然，与本发明实施例关联的显示器338不限于LCD类型显示器。该FPGA 342在DSP 340的控制下工作，而该DSP 340进一步受处理器344的控制。附加存储器354可编程有指令以控制该DSP 340、FPGA 342和/或通用处理器344。在一些情况下，该处理子系统336可输出报警信号到报警模块356以在某些的温度事件已发生时警告相机使用者。

在一些实施例中，该处理子系统336可调整相机200自身上的图像的图像处理和显示。在一些实施例中，该处理系统336可附加或替代地将VL和IR图像数据传输到外部计算系统，例如用数据传输线、无线协议、存储卡等等耦接到该相机200的个人电脑。该外部计算系统通常将包括也包含有编程有软件指令的存储器的通用微处理器，用来比较和/或将该VL和IR图像数据显示为该个人电脑显示器上的VL和IR图像。

转至图4A-4H，示出了多个VL和IR图像视图用来示例根据本发明一些实施例的比较IR图像数据的范例。图4A示出了代表包含有对象406的场景(非独立指示的)的包括第一VL图像数据402和第一IR图像数据404的第一图像数据集400。应该意识到，尽管为容易理解本发明一些原理，图4A-4H示例了该场景的各种图像，但这几幅图的讨论是就图像数据而言的，所述图像数据代表了该场景，且能够用来生成所示出的图像。本发明一些实施例在不需要显示从该图像数据生成的对应图像的情况下采集、关联、比较一起另外地处理和使用VL和IR图像数据。例如，在一些实施例中，处理VL和IR图像数据以生成IR比较图像数据，其然后可能被显示给用户而不单独显示该VL和IR图像数据。但是，在一些实施例中，也可如期望的显示来自于各种初步和中间的步骤和处理的VL和IR图像数据。

图4B示例代表包含有对象406的场景的包括第二VL图像数据412和第二IR图像数据414的第二图像数据集410。从图4A和4B的比较可知，该第一图像数据集400和该第二图像数据集410代表大致相同的场景，但是是从不同的观察点采集的。因此，虽然对象406相对该场景保持静止状态，但由于观察点不同，该对象406还是显示在该图像数据里的不同位置。依照一些实施例，该第一VL图像数据402是从第一VL观察点采集的，该第一IR图像数据404是从第一IR观察点采集的，该第二VL图像数据412是从第二VL观察点采集的，且该第二IR图像数据414是从第二IR观察点采集的。一些观察点可根据本发明的具体实施例而相同或不同。

转到图4C，在一些实施例中，该第一VL观察点和该第一IR观察点由第一已知相关性420关联。尽管没有示出，在一些情况下，该第二VL观察点也可以通过第二已知相关性与该第二IR观察点关联。回到图4C，一些情况下，该第一已知相关性表示针对该第一VL和该第一IR图像数据402、404之间的视差的校正。例如，当用图2A和2B的相机采集VL和IR图像数据时，可能导入这样的视差，其中该VL透镜204安装在该IR透镜206上方。因此，一些场合下该第一已知相关性可以是固定的相关性。然而，本发明不限于使用单个热/可见成像相机来实现，并且该第一已知相关性420在宽广意义上来说仅仅是该第一VL和IR观察点之间的已知关系，不管图像数据是由单个相机还是由多个相机在一个或多个时间点采集。

图4D是该第一VL图像数据402和该第二VL图像数据412的比较的示意图。根据本发明一些实施例，能够将该第一VL图像数据402与该第二VL图像数据412进行比较以确定将该第一VL观察点与该第二VL观察点相关联的对准相关性430。该对准相关性430然后可以被用来，例如，对准或配准对应于该第一和第二VL图像数据402、412的图像。图4E示例如何能够将在该第一和第二VL图像数据402、412中的像素相关联，以对准对应的VL图像。对准相关性430也能够允许相关联的VL图像数据对直接比较而无需生成对应的图像。

许多不同的图像数据处理算法可以用来比较该第一和第二VL图像数据，以确定该对准相关性430。在一些实施例中，基于区域或基于特征的配准方法可以用来关联该图像数据。例如，在基于特征的配准方法中，可实现Prewitt算子、Sobel算子或者Roberts算子以在图像数据中检测边缘。优选地，确定对准相关性430的该实现方法可说明该第一和第二VL图像数据之间多种形式的失准。例如，在一些实施例中，该对准相关性430能在对应的场景像素之间提供映射，该映射说明例如该第一和第二VL观察点之间的水平和/或竖直平移、旋转、缩放和其它差异。在一些实施例中，从

编程语言或由Mathworks提供的图像处理工具箱调用的函数能提供期望的对准相关性430。一旦确定该对准相关性430，就可以将其存储在存储器中以为后用。应该意识到，本领域技术人员熟悉用于对准或配准图像数据的许多这样的图像处理方法，本发明不限于任何一种方法。

图4F示例依照一些实施例使用对准相关性430将第一IR图像数据404和第二IR图像数据414相关联。图4G示例该场景像素根据该对准相关性430对准的该第一和第二IR图像数据。因此，不需要确定该第一与第二IR图像数据和图像之间的直接对准关系或空间相关性就能解决该第一和第二IR图像数据(和对应图像)的失准。有时难于直接表征IR图像和图像数据之间的失准。基于该第一和第二VL图像数据的对准相关性将该第一和第二IR图像数据相关联(例如，导致对准或配准对对应的IR图像)有利地避免了这些类型影响的限制。

转到图4H，其描述了示例IR图像数据对比较的示意性流程图。在一些实施例中，将该第一IR图像数据404的至少一部分440与该第二IR图像数据414的相关联部分444进行比较442。一些情况下，该第一和第二IR图像数据的比较的部分440、444可以代表“交叠”的图像数据的全部部分，交叠也就是在另一IR图像数据中具有对应的像素，例如如图4G和4H中所示。然而，在一些情况下，可比较该“交叠”区域的更小子集。

取决于期望的输出，该IR图像数据的部分440、444的比较442能够包括各种功能。在一些实施例中，该比较442包括从第一IR图像数据的部分440减去第二IR图像数据的部分444。在一些实施例中，该比较442包括在该第一和第二部分440、444内比较温度梯度。一旦比较该IR图像数据的该部分440、444，就能够从该比较生成IR比较图像数据450。如图4H所示，该IR比较图像数据450是一个相减比较的结果。该IR图像数据的该部分440、444之间温差的区域452能够被看到，而具有相同温度的该IR图像数据部分的区域被移除。因此，操作者可以容易地确定一段时间内该场景温度分布的变化。

如果需要，能够以多种方式显示该IR比较图像数据450。例如，转到图5A，在一些实施例中，该整个IR比较图像数据450可能与该第一VL图像数据402或者该第二VL图像数据412交叠或融合。在一些实施例中，阈值或滤波函数可用来进一步处理该IR比较图像数据。例如，阈值可施加于该IR比较图像数据，使得呈现比预定温度变化量小的变化的像素被过滤掉而不显示。这能够使得温度变化最突出的区域突显出来，在预防维修中可使技术人员更容易去识别和修补问题区域。此外，在一些实施例中，当温度变化超过预定水平时会发出报警。如图5B所示，设定阈值的数据(这种情况下不同温度的全部区域452)可与VL图像数据组合显示(例如，通过融合或另外的组合方法)以允许操作者更为容易地识别问题区域。

这样，已公开了本发明的实施例。虽然参照某些公开的实施例已相当详细地描述了本发明，然而提供所公开实施例目的在于说明而非限制，本发明其它的实施例也是可能的。本领域技术人员会理解，可以不脱离本发明的精神和所附权利要求的范围做出各种改变、调整和修改。

Claims

1.一种用于比较代表场景的红外(IR)图像数据的方法，包括：

选择场景的第一图像数据集，所述第一图像数据集包括从第一可见光(VL)观察点采集的第一VL图像数据和从第一IR观察点采集的第一IR图像数据，所述第一VL观察点与所述第一IR观察点具有第一已知相关性；

选择所述场景的第二图像数据集，所述第二图像数据集包括从第二VL观察点采集的第二VL图像数据和从第二IR观察点采集的第二IR图像数据，所述第二VL观察点与所述第二IR观察点具有第二已知相关性；

将所述第一VL图像数据与所述第二VL图像数据进行比较以确定所述第一VL观察点和所述第二VL观察点之间的对准相关性；

使用所述第一已知相关性、所述第二已知相关性和所述对准相关性，将所述第二IR图像数据与所述第一IR图像数据相关联；以及

将所述第一IR图像数据的至少一部分与所述第二IR图像数据的相关联部分进行比较以生成IR比较图像数据。

2.如权利要求1所述的方法，还包括将所述IR比较图像数据与所述第一VL图像数据或所述第二VL图像数据进行融合以产生VL和IR融合比较图像。

3.如权利要求1或2所述的方法，其中将所述第一IR图像数据的所述部分与所述第二IR图像数据的所述相关联部分进行比较包括从所述第一IR图像数据的所述部分减去所述第二IR图像数据的所述相关联部分。

4.如权利要求1、2或3所述的方法，还包括将所述IR比较图像数据与温差相关联。

5.如权利要求1-4中任一项所述的方法，还包括对所述IR比较图像数据设定阈值，以识别所述IR比较图像数据的超过阈值温差的子集。

6.如权利要求1-5中任一项所述的方法，其中所述第一已知相关性与所述第二已知相关性相同。

7.如权利要求1-6中任一项所述的方法，其中所述第一已知相关性是固定的。

8.一种红外(IR)成像相机，包括：

可见光(VL)相机模块，具有用于从场景采集VL图像数据的VL传感器；

IR相机模块，具有用于从所述场景采集IR图像数据的IR传感器，所述IR相机模块与所述VL相机模块具有已知空间相关性；

显示器，用于显示所述VL图像数据的至少一部分和/或所述IR图像数据的至少一部分；以及

可编程处理器，与所述显示器、所述IR相机模块和所述VL相机模块耦接，所述处理器编程有指令，用于：

(a)选择所述场景的第一图像数据集，所述第一图像数据集包括由所述VL相机模块从第一VL观察点采集的第一VL图像数据和由所述IR相机模块从第一IR观察点采集的第一IR图像数据，所述第一VL观察点和所述第一IR观察点通过所述已知空间相关性相关联，

(b)选择所述场景的第二图像数据集，所述第二图像数据集包括由所述VL相机模块从第二VL观察点采集的第二VL图像数据和由所述IR相机模块从所述第二IR观察点采集的第二IR图像数据，所述第二VL观察点和所述第二IR观察点通过所述已知空间相关性相关联，以及

(c)根据所述第一IR图像数据和所述第二IR图像数据生成IR比较图像数据，包括：

(1)将所述第一VL图像数据与所述第二VL图像数据进行比较以确定所述第一VL观察点和所述第二VL观察点之间的对准相关性，

(2)使用所述已知空间相关性和所述对准相关性将所述第二IR图像数据与所述第一IR图像数据相关联，以及

(3)将所述第一IR图像数据的至少一部分与所述第二IR图像数据的相关联部分进行比较以生成所述IR比较图像数据。

9.如权利要求8所述的方法，其中将所述第一IR图像数据的所述部分与所述第二IR图像数据的所述相关联部分进行比较包括从所述第一IR图像数据的所述部分减去所述第二IR图像数据的所述相关联部分。

10.如权利要求8或9所述的方法，还包括将所述IR比较图像数据与温差相关联。

11.如权利8、9或10所述的方法，还包括对所述IR比较图像数据设定阈值，以识别所述IR比较图像数据的超过阈值温差的子集。

12.一种跟踪场景内局部温度变化的方法，包括：

在第一时刻采集场景的第一可见光(VL)图像数据和所述场景的第一红外(IR)图像数据，所述第一IR图像数据指示在所述第一时刻所述场景内的局部温度；

在第二时刻采集所述场景的第二VL图像数据和所述场景的第二IR图像数据，所述第二IR图像数据指示在所述第二时刻所述场景内的所述局部温度；

确定所述第一VL图像数据和所述第二VL图像数据之间的对准相关性；

使用所述对准相关性将所述第二IR图像数据与所述第一IR图像数据相关联；

将所述第一IR图像数据的至少一部分与所述第二IR图像数据的相关联部分进行比较以生成指示在所述第一时刻和所述第二时刻所述场景内的所述局部温度之间的差的IR比较图像数据；以及

显示所述IR比较图像数据的至少一部分。

13.如权利要求12所述的方法，其中将所述第一IR图像数据的所述部分与所述第二IR图像数据的所述相关联部分进行比较包括从所述第一IR图像数据的所述部分减去所述第二IR图像数据的所述相关联部分。

14.如权利要求12或13所述的方法，还包括对所述IR比较图像数据设定阈值，以识别所述IR比较图像数据的超过阈值温差的子集。

15.如权利要求14所述的方法，其中显示所述IR比较图像数据的所述至少一部分包括仅仅显示所述IR比较图像数据的超过所述阈值温差的所述子集。

16.如权利要求12-15中任一项所述的方法，还包括将所述IR比较图像数据与所述第一VL图像数据或所述第二VL图像数据进行融合以产生VL和IR融合比较图像。