CN102334141A

CN102334141A - 利用融合的红外线分辨率与对比度增强

Info

Publication number: CN102334141A
Application number: CN2011800005828A
Authority: CN
Inventors: K·斯特兰德马尔
Original assignee: Flir Systems AB
Current assignee: Flir Systems AB
Priority date: 2010-04-23
Filing date: 2011-04-21
Publication date: 2012-01-25
Anticipated expiration: 2031-04-21
Also published as: CA2797054A1; CN102334141B; CA2797054C; KR20130054281A; KR101773887B1

Abstract

本公开内容涉及图像的组合。根据一种实施方式的方法包括：接收场景的可见图像和红外线(IR)图像；从所述可见图像提取高空间频率内容；以及组合从所述可见图像所提取出的高空间频率内容和所述IR图像，以产生组合的图像，其中用于可见图像和IR图像的分辨率是大致相同的。

Description

利用融合的红外线分辨率与对比度增强

技术领域

本公开内容涉及用于改进红外线(“IR”)图像的方法、成像设备、软件与系统。

背景技术

在图像处理领域中，包括一个或多个物体的场景的IR图像可以通过与来自可见图像的图像信息的组合来增强，所述组合称为融合。当试图实现这种组合与增强时，出现了多个技术问题。

一般来说，提供照相机形式的成像设备来捕获可见图像和IR图像并处理这些图像，使得它们可以一起显示。在利用来自IR图像的IR数据识别物体的温度变化同时显示来自可见图像的足够多的数据、从而为使用该成像设备的用户简化所产生的图像中物体的取向与识别的方面，这种组合是有利的。

由于IR图像和可见图像的捕获可以由成像设备的不同组件来执行，因此成像部件之间的光轴可能彼此有一定距离，并且造成称为视差的光学现象。为了消除这种视差和由于光轴之间的角度所造成的误差，图像必须对准。

当组合IR图像与可见图像时，有多种不同的方法是已知的。最常用的称为阈值融合和画中画融合(picture-in-picture fusion)。

在用于执行图像的阈值融合的方法中，捕获相同场景的可见图像和IR图像。在IR图像中，选择一个温度间隔，而且只有对应于所选间隔之内温度的那些图像像素才被选择并与来自所有其它像素的信息数据一起显示。除可以检测到所选间隔之内温度的那些区域之外，所产生的组合图像显示可见图像，并且在这些像素中改为显示来自IR图像的数据。例如，当要检测墙上湿的污点时，可以使用阈值融合，通过将温度阈值设置成造成该污点的液体温度附近的间隔来确定湿度范围。墙的其它部分将更接近室温并将在屏幕上显示为可见数据，使得可以确定污点的确切位置。通过查看墙的纹理，例如壁纸的图案，可以进一步以非常精确的方式确定该污点的位置。

当执行画中画融合时，捕获显示包含一个或多个物体的相同场景的可见图像和IR图像，并且预定区域(通常是方形形式的)内的像素是根据IR图像显示的，而组合图像的其余部分示为可见数据。例如，当检测假定为具有大致相同温度的一行物体中的偏差时，方形可以围绕多个物体创建并移动，直到在正确活动物体之外捕获到出错的物体，而且不同之处也将很容易发现。通过在这个方形之外显示来自可见图像的元素，例如文字或者图案，具有特定温度的物体的精确位置可以更加容易和可靠地确定。

用于阈值融合和画中画融合的方法全都将组合图像的选定区显示为IR数据，而将其余部分示为可见数据。这样做的缺点是，当显示该同一区域的IR图像时，可见图像中可见的细节丢失了。同样，来自IR图像的温度数据不能与由同一区域的可见图像所给出的形状和纹理一起显示。

存在一些在同一图像中混合IR数据和可见数据的方法。但是，由于来自IR图像的温度数据与可见图像的彩色数据混合到了一起，其中所述温度数据显示为与调色板不同的颜色或者不同的灰度级，因此该结果通常是难以解释的而且对于用户来说是混乱的。因此，例如，不可能辨别红色物体与热物体或者蓝色物体与冷物体之间的不同。通常，当将IR图像与可见图像混合时，图像的辐射度量或者其它IR相关的方面，即来自调色板或者灰度级的颜色的重要性，受到损失。

因此，需要一起提供包括来自IR图像的数据和来自可见图像的数据的组合图像的改进方式。

相关技术

以下出版物示出了相关技术的例子：

用于对准IR图像与可见光图像的方法在WO2009/008812 A1(Flir Systems AB)中公开，其中图像是基于聚焦电动机的位置对准的，该聚焦电动机用于确定到由成像部分捕获的物体的距离。

文献US20020113210 A1公开了用于利用近红外线辐射显微镜化学成像的系统与方法。

由Xue Z.等人所写的文献“Fusion of Visual and IR Images forConcealed Weapon Detection”示出了用于可见光图像和IR图像的图像融合的方法。

以上列出的相关技术没有任何一个教导了本发明的特征与创新技术。

发明内容

本公开内容的一种或多种实施方式可以解决或者至少最小化以上提到的问题。这是通过根据权利要求所述的方法、成像设备和/或非暂时性计算机程序产品实现的，其中IR图像与可见图像的高空间频率内容(content)组合到一起，产生组合图像。组合是通过可见图像的高空间频率内容与IR图像的叠加来执行的，或者可选地将IR图像叠加到可见图像的高空间频率内容上。因此，来自可见图像的对比度可以插入到显示温度变化的IR图像中，由此组合两种图像类型的优点，而不会损失所产生的图像的清晰度和可解释性。

以下解释本公开内容的实施方式的更具体的方面。

根据本发明实施方式的方法包括确保要组合的图像的分辨率大致是相同的，即确保可见图像和IR图像的分辨率大致是相同的。在第一种示例实施方式中，这可以通过配置具有IR传感器和可见图像传感器的成像设备使得IR传感器和可见图像传感器具有大致相同的分辨率来实现。在另一种可选实施方式中，成像传感器的分辨率事先已知不是大致相同的，例如相差超过预定的差异阈值。在又一种可选实施方式中，如果成像传感器的分辨率不是事先已知的，则所发明的方法可以包括检查所接收到的图像的分辨率是否大致相同的步骤。检查可以通过比较所接收到的图像的分辨率来执行，其中关于图像的分辨率的信息可以从单独的成像传感器获得，或者可以从所接收到的图像获取/基于其计算。通过事先对传感器分辨率的了解或者通过分辨率的检查，如果发现分辨率不是大致相同的，则确保分辨率大致相同还包括对所接收到的图像中的至少一个进行重新采样。

由于IR图像的分辨率通常比可见图像的分辨率小得多，这是由于IR成像设备相比于可见成像设备的属性造成的，因此IR图像的分辨率可以增加采样(up-sample)到大致与可见图像的分辨率相同。因此，可以实现提高的细节级别，并且可以呈现给用户更容易分析的组合图像。在另一个例子中，可见图像可以减少采样(down-sample)到大致与IR图像的分辨率相同。

在进一步的例子中，如果合适的话，两个图像可以采样为符合第三分辨率。两个图像最初可以具有大致相同的分辨率，或者图像的分辨率可以不同。但是在重新采样到符合第三分辨率之后，两个图像将具有大致相同的分辨率。这使得图像可以方便且合适的方式被组合，而不管它们要如何显示。在一个例子中，第三分辨率可以是要显示组合图像的显示屏幕的分辨率。

此外，可以优选地执行可见图像中高空间频率内容的提取和IR图像的去噪声和/或模糊。一般来说，这是通过使用跨图像一个像素一个像素移动的空间滤波器对可见图像进行高通滤波和对IR图像进行低通滤波来实现的。对本领域技术人员来说，很显然其它众所周知的图像处理方法也可以用于得到相同的结果。作为对IR图像执行滤波的结果，与原始的IR图像相比，IR图像可以变得平滑和/或包含减少数量的噪声。此外，从可见图像提取出的高空间频率内容包含关于可见图像中大对比度的信息，即，关于例如物体轮廓的尖锐边缘位于可见图像中什么位置的信息。对IR图像执行滤波的步骤是可选的。即使没有对IR图像的滤波，用于本发明实施方式的方法也对向用户示出的所产生的图像给出了有益的效果，并且用户将能够清楚地辨别场景中的一个或多个物体及与成像场景关联的温度信息。但是，由于原始IR图像中可见的尖锐边缘和噪声在滤波过程中被除去或者至少减少了，因此所产生的图像的可见性可以通过对IR图像的滤波进一步提高，而且组合图像中在IR图像和可见图像未对准的地方显示双边缘的危险也减小了。

除了高通滤波，用于提取图像中高空间频率内容的方法的例子还可以包括提取描绘相同场景的两个图像之间的差异(通常称为差异图像)，其中第一个图像是在一个时刻捕获的，而第二个图像是在第二个时刻捕获的，其中第二个时刻优选地在时间上接近第一个时刻。这两个图像一般是一个图像帧序列中的两个连续的图像帧。除非成像的场景从第一个时刻到第二个时刻完全没变而且成像传感器保持完全静止，否则表示场景中物体边缘与轮廓的高空间频率内容将出现在差异图像中。由于成像场景中的光的变化或者所描绘物体的移动，场景可以例如从一个帧变化到下一个帧。而且，在几乎每一种情况下，成像传感器都将不会保持完全静止。如果成像设备是手持式的，那么很显然将存在由于成像设备的用户造成的移动。如果照相机是固定的，例如在一个架子上，则成像设备的振动或者周围环境可能造成成像传感器的移动。成像设备的振动可以例如是由于图像稳定系统造成的，所述图像稳定系统通常用在可见成像设备中，以便补偿成像设备的移动。实现图像稳定的不同方式在本领域中是众所周知的。在具有图像稳定系统的成像设备中，成像传感器可以放到使得能够响应所测量到的成像设备的移动而移动成像传感器的元件上。如果成像传感器的移动被控制成对应于连续的图像帧之间的某个预先定义的差异，则这种构造可以用于捕获差异图像中的边缘/轮廓。在这种情况下，差异还可以对应于差异图像的边缘/轮廓的特定宽度，该宽度是根据环境选择的。获得可以从其得出差异图像的图像的另一种方式是使用成像设备的聚焦电动机来移动成像设备的一个或多个透镜。用于移动成像设备中的透镜的聚焦电动机的使用在本领域中是众所周知的。在这种情况下，当焦点稍微未对准时，由成像设备捕获到的图像将是可以直接对应于低通滤波图像的平滑且去噪声的图像。在重新设置成像设备的焦点之后，可以捕获聚焦的图像，并且可以通过从该聚焦图像减去焦点未对准的图像来获得该聚焦图像的高空间频率内容。利用成像设备中一个或多个透镜的重新聚焦的图像传感器的振动的方法还不必要求任何数字图像处理，并且因此可以与模拟成像设备一起使用。就像对本领域技术人员显然的那样，由于在相减之后只剩下了低空间频率内容，因此通过从图像减去由以上所述任何方法获得的所提取出的高空间频率内容，获得图像的对应低通滤波版本。当组合图像时，将可见图像的高通滤波或提取出的高空间频率内容加到IR图像，给IR图像增加了轮廓和对比度，但不会改变它。因此，由图像捕获到的物体的边界和边缘可以在组合图像中清晰地看出，而且同时还保持了高级别的辐射度量或者其它相关的IR信息。

在一个例子中，为了保存IR图像的彩色或者灰度级调色板，只有滤波后可见图像的亮度分量可以添加到IR图像。因此，颜色没有改变，而且原始IR调色板的属性也保持了，同时添加了期望的对比度。由于辐射度量或者其它相关的IR信息可以贯穿处理保持而且由此可以方便用户对组合图像的解释，因此贯穿处理和显示的所有阶段保持IR调色板是有益的。

当组合可见图像的亮度与IR图像时，因子α可以用于确定两个图像之间的平衡。这个因子可以由成像设备或者成像系统本身利用用于确定从可见图像创建好图像所需的轮廓级别的合适参数来决定，但是也可以通过用户向成像设备或者成像系统给出输入来决定。该因子还可以在以后的阶段(例如当图像存储在系统中或者PC等中时)改变，而且可以调整成适合用户的任何需求。

在向用户显示所产生的组合图像之前，高分辨率噪声可以添加到图像，以便产生高分辨率的印象和增加的细节，并且使图像更容易让用户解释。

附图说明

图1示出了根据示例实施方式的方法的流程图。

图2示出了具有根据示例实施方式的方法的不同阶段的图像的示意图。

图3a示出了半色调的IR图像。

图3b示出了低通滤波后的半色调的图3a的IR图像。

图3c示出了半色调的可见图像的提取出的高空间频率内容，其中在这个例子中高空间频率内容是通过高通滤波获得的。

图3d示出了半色调的图3b的低通滤波IR图像和图3c的高通滤波可见图像的组合。

图4示出了用于执行根据示例实施方式的方法的图像处理系统的示例实施方式。

图5a示出了不同温度区域用不同图案标记的图3a的IR图像。

图5b示出了不同温度区域用不同图案标记的图3b的图像。

图5c示出了图3c的图像。

图5d示出了不同温度区域用不同图案标记的图3d的图像。

图6a示出了一个场景的低分辨率IR图像。所示图像具有32×32像素的分辨率。

图6b示出了在IR图像被重新采样、处理并与描绘相同场景的可见图像的提取出的高空间频率内容组合之后的图6a的IR图像。

具体实施方式

在图1中，可以看到根据本公开内容实施方式的示例方法。在块101捕获可见图像并且在块102捕获IR图像。可见图像和IR图像可以分别由光学传感器和IR传感器来捕获。在捕获之后，可见图像和IR图像可以在块103对准，以便补偿光轴之间的视差，该视差通常是由于用于捕获所述图像的传感器放置的差异和在这些轴之间产生的角度造成的，其中光轴之间的角度是由于机械容限造成的，所述机械容限通常阻碍光轴精确地平行安装。

块101、102可以同时执行或者一个接一个地执行。在一个例子中，图像可以同时或者以尽可能小的时间差捕获，因为这将减小由于捕获可视和IR图像的成像设备单元移动造成的对准差的危险。

在块103对准之后，确保可见图像分辨率和IR图像分辨率大致相同是在块110执行的。在第一种示例实施方式中，这可以通过配置具有IR传感器和可见图像传感器的成像设备使得IR传感器和可见图像传感器具有大致相同的分辨率来实现。在另一种示例实施方式中，成像传感器的分辨率事先已知不是大致相同的，例如差异超过预定的差异阈值。在又一种示例实施方式中，如果成像传感器的分辨率不是事先已知的，则该发明方法可以包括在块109检查所接收的图像的分辨率是否大致相同的步骤。检查可以通过比较所接收的图像的分辨率来执行，其中关于图像的分辨率的信息可以从独立的成像传感器获得或者可以从所接收的图像获取或者基于其计算。通过事先对传感器分辨率的了解或者通过分辨率的检查，如果发现分辨率不是大致相同的，则确保分辨率大致相同还包括在块104对所接收的图像中至少一个的重新采样。

在一种示例实施方式中，IR图像可以被重新采样，以便增加或者减小其分辨率。一般来说，所捕获的IR图像的分辨率具有与所捕获的可见图像不同的分辨率；通常IR图像具有比可见图像低的分辨率。用于IR图像的普通分辨率可以是例如320×240像素，而用于可见图像的普通分辨率可以是大约5M像素。如果要组合的图像的分辨率不是大致相同的，则它们中的至少一个可以改变其分辨率来匹配另一个，以便补偿差异并且更成功地组合图像。在一个例子中，这可以通过插值以增加采样IR图像到可见图像的分辨率来实现。还有可能配置具有IR传感器和可见图像传感器的成像设备具有大致相同的分辨率。

作为增加采样IR图像的可选方案，可见图像可以减少采样，来符合IR图像的分辨率，或者两个图像可以都采样到符合第三分辨率。两个图像最初可以具有大致相同的分辨率，或者图像的分辨率可以不同。但是，在重新采样到符合第三分辨率之后，两个图像将具有大致相同的分辨率。这使得能够以方便而合适的方式组合图像，而不管它们要如何显示。

如果所组合的图像要被具有高分辨率的IR照相机、PC或者其它设备存储和显示到例如图像数据结构和/或图像显示装置，那么增加采样IR图像以符合可见图像通常更高的分辨率是方便的。但是，如果组合图像要由具有低得多的分辨率的系统显示，则减少采样可见图像以符合这个需求可能更合适。根据示例实施方式，第三分辨率可以选择成要呈现组合图像的显示屏幕的分辨率。两个图像最初可以具有大致相同的分辨率，或者图像的分辨率可以不同。但是，在图像组合之前如果可见图像和IR图像各自的分辨率大致相同是有益的，使得可以执行用于图像每个像素的数据的合适匹配。

在块105，例如通过利用空间滤波器对可见图像高通滤波，可以提取可见图像的高空间频率内容。除高通滤波之外，用于提取图像中高空间频率内容的方法的例子可以包括提取描绘相同场景的两个图像之间的差异(通常称为差异图像)，其中第一个图像是在一个时刻捕获的，而第二个图像是在第二个时刻捕获的，其中第二个时刻优选地在时间上靠近第一个时刻。这两个图像一般可以是一个图像帧序列中的两个连续的图像帧。除非成像的场景从第一个时刻到第二个时刻完全没变而且成像传感器保持完全静止，否则代表场景中物体边缘和轮廓的高空间频率内容将出现在差异图像中。由于成像场景中光的变化或者所示物体的移动，场景可以例如从一个帧变化到下一个帧。而且，在几乎每一种情况下，成像传感器都将不会保持完全静止。如果成像设备是手持式的，很显然将存在由于成像设备的用户造成的移动。如果照相机是固定的，例如在架子上，则成像设备的振动或者周围环境可能造成成像传感器的移动。成像设备的振动可以例如是由于图像稳定系统造成的，所述图像稳定系统通常用在可见成像设备中，以便补偿成像设备的移动。实现图像稳定的不同方式在本领域中是众所周知的。在具有图像稳定系统的成像设备中，成像传感器可以放到使得能够响应于所测量到的成像设备的移动而移动成像传感器的元件上。如果成像传感器的移动被控制成对应于连续图像帧之间的某个预先定义的差异，则这种构造可以用于捕获差异图像中的边缘/轮廓。在这种情况下，差异还可以对应于差异图像的边缘/轮廓的特定宽度，所述宽度是根据环境选择的。获得可以从其得出差异图像的图像的另一种方式是使用成像设备的聚焦电动机来移动成像设备的一个或多个透镜。用于移动成像设备中的透镜的聚焦电动机的使用在本领域中是众所周知的。在这种情况下，当其焦点稍微未对准时，由成像设备捕获的图像将是可以直接对应到低通滤波图像的平滑且去噪声的图像。在重新设置成像设备的焦点之后，可以捕获聚焦的图像，并且可以通过从该聚焦图像减去焦点未对准的图像获得该聚焦图像的高空间频率内容。利用成像设备中的一个或多个透镜重新聚焦的图像传感器的振动的方法还不必要求任何数字图像处理，并且因此可以与模拟成像设备一起使用。就像对本领域技术人员显然的那样，由于在相减之后只剩下了较低的空间频率内容，因此通过从图像减去由以上所述任何方法获得的所提取的高空间频率内容，获得图像的对应低通滤波版本。

在块106，例如通过空间低通滤波器的使用，可以处理IR图像，从而减少图像中的噪声和/或模糊图像。低通滤波可以通过对于图像的每个像素设置空间核心并通过使用相邻像素中的值和所述空间核心的系数为所述像素计算新值来执行。在另一个例子中，图像可以单独利用软件来滤波。

空间低通滤波核心可以是在每个位置具有系数1的3×3滤波器核心，并且滤波后的像素值可以通过将原始像素值和八个相邻像素中每一个乘以其滤波器系数、把它们加到一起，然后除以9来计算。在对IR图像中的每个像素执行这个操作之后，可以产生具有更平滑外观的低通滤波图像。为了对IR图像进行高通滤波，可以使用相同的滤波器系数，从而以本领域中众所周知的方式，通过每次一个像素地从原始图像减去低通滤波图像形成高通滤波图像。但是，应当指出，滤波器核心的系数可以设置成不同的值，并且滤波器核心的大小可以与以上所述的3×3滤波器核心不同。

所产生的处理后的可见图像和可能进行处理的IR图像可以在块107组合到一起。在显示所产生的组合图像之前，可以在块108添加高分辨率噪声，例如高分辨率时间噪声。

在块106执行IR图像滤波的步骤是可选的。即使没有IR图像的滤波，用于本发明实施方式的方法也对向用户示出的所产生的图像给出了有益的效果，并且用户将能够清楚地辨别成像场景中的物体及成像场景的温度信息。在块106执行的低通滤波的目的是从在块102捕获到的原始IR图像中存在的噪声平滑掉IR图像的不均衡。由于原始IR图像中可见的尖锐边缘和噪声在滤波过程中被除去或者至少减少了，因此所产生的图像的可见性通过IR图像的滤波进一步提高了，而且在组合图像中IR图像和可见图像未对准的地方显示双边缘的危险也减小了。

高通滤波是为了提取图像中的高空间频率内容而执行的，换句话说是为了定位对比区域，即，相邻像素的值显示很大差异的区域(例如尖锐的边缘)而执行的。所产生的高通滤波图像可以通过从原始图像减去低通滤波图像(一个像素一个像素地计算)来获得，如以下将具体描述的。

图2示出了在图1所说明方法的不同块所产生的图像的示例实施方式。在块101捕获的可见图像301和在块102捕获的IR图像302用作处理303过程中增加采样和滤波的输入，其中处理303对应于块103、104、105、106。

在处理303之后，显示可见图像的提取出的高空间频率内容304，其中可以看到在原始可见图像301中存在的物体的轮廓。根据本发明的示例实施方式，IR图像302处理成低通滤波且增加采样的图像305。增加采样增加了图像的分辨率，现在成像场景中的每个物体都可以更清楚地看到，而没有显示出形式为低通滤波图像305中的模糊或颗粒的太多噪声。从可见图像304的提取出的高空间频率内容和低通滤波IR图像305(现在可以描述为处理过的图像304、305)开始的箭头指示用于形成组合图像307的这些图像304、305的组合，其中显示成像场景中平滑温度分布的处理过的IR图像305与显示原始可见图像301的物体的轮廓边缘的处理过的可见图像304组合到一起。因此，组合后的图像307显示了IR图像302的优点，其中跨物体的任何温度差异都被示出，还有来自处理过的可见图像304的轮廓，从而更清楚地示出每个物体的形状。这种组合优选地是通过在IR图像上叠加可见图像的高空间频率内容或者可选地在可见图像的高空间频率内容叠加IR图像来实现的。

根据本发明的示例实施方式，IR图像可以利用非常低分辨率的IR成像设备来捕获，分辨率例如低到64×64或者32×32像素，但是，如本领域技术人员容易理解的，许多其它分辨率也是同样适用的。32×32像素的IR图像本身包含非常少的信息，而且观看者很难解释图像中的信息。具有32×32像素的分辨率的IR图像的例子在图6a中示出。本发明人发现如果将边缘和轮廓(高空间频率)信息从可见图像添加到组合图像，则非常低分辨率的IR图像的使用将仍然给出用户可以清楚地区分所示物体和关于它们的温度或其它IR信息的组合图像。图6b示出了在IR图像重新采样并且与描绘相同场景的可见图像的提取的高空间频率内容组合之后的图6a的IR图像。这使得实施方式的发明方法能够与非常小且便宜的图像检测器组合使用，仍然给出非常有利的结果。

根据另一种示例实施方式，IR图像可以利用高分辨率IR成像设备捕获。随着技术的发展，IR成像设备继续获得更高的分辨率。如今，高分辨率IR成像设备将具有例如640×640像素的分辨率。用这种高分辨率成像设备捕获到的IR图像本身就可能足以向观看者显示边缘和轮廓信息。通过组合这种高分辨率IR图像和对应可见图像的高空间频率内容可以使观看者能够看到在IR图像中未示出的可见图像的更多细节。例如，被识别出水渍的区域可以用笔在墙上画出/勾勒出。这种信息对于与所测量出的温度信息组合是有利的。在另一个例子中，图像中可能有序列号或者其它标识字母或数字，其可能有助于识别所示场景或者场景中的物体。高分辨率IR图像可以有利地较大程度地减少采样和/或去噪声/低通滤波，由此，当得到所示场景的温度信息时，所产生的处理后的IR图像及包含非常低程度的噪声，但仍然具有非常高的灵敏度。

对应于块108，高分辨率噪声306可以添加到组合图像307，以便向观看者更清楚地给出所产生的图像并且减少由于原始IR图像302中的噪声而可能存在的污点等的印象，其中噪声在所述IR图像302的低通滤波过程中被保留了下来。

图3a示出了紧接着在块102捕获之后的IR图像302。成像场景表示书柜，结合体(binder)按行布置，并且书架在某个高度安装。如可以看到的，场景中的物体处于不同的温度(示为不同的区)，其中图像最上面的部分和放在中间书架上的结合体比下面的书架或者结合体旁边或上面的区域更热。所示物体的真正形状是难以辨别的，因为除不同温度之间的线条之外没有显示物体的轮廓。因此，对于仅仅面对这个图像的用户来说，很难识别某个温度的特定物体。通过向滤波后的信号添加颜色，IR图像根据所选择的色彩空间(以下进一步描述)着色。

在本发明的示例实施方式中，所捕获的IR图像通过低通滤波进行处理。图3b示出了低通滤波的IR图像305。空间滤波平滑掉了所捕获的IR图像302中的不均衡，由此使得更容易区分场景中的不同物体。而且，滤波还从图像302中除去了噪声。而且，这些物体之间的边缘已经被平滑掉了。由于轮廓要从滤波后的可见图像304添加，而且图像之间的任何对准误差将导致可能使观看者分心的双轮廓，因此可以这么做。

在本发明的示例实施方式中，所捕获的可见图像的高空间频率内容通过可见图像的高通滤波来提取。这种作为所捕获的可见图像301高通滤波的结果的高通滤波的可见图像304在图3c中示出。在高通滤波的可见图像304中，主要是可以看到在原始可见图像301中成像的场景中的物体的轮廓和边缘。物体之间的轮廓和边缘及例如结合体上的文字或书的图案的线是可见的。

图3d示出了在原始IR图像302增加采样、低通滤波并且与相同场景的高通滤波可见图像组合之后的组合图像307。不同温度的区域仍然可以看到，但它们之间的边界变得更加清晰，而且结合体和书架的轮廓线已经添加，这些轮廓线来自高通滤波的可见图像并且显示了在IR图像中无法看到的细节，例如文字或者其它可见图案。增加的清晰度还来自IR图像的低通滤波，其中更大不同温度区域中的噪声像素已经被平滑掉，从而形成更相似的更大区域。因此，至少一部分可能由于捕获原始图像的环境造成的噪声可以消除。

图5a-5d描绘了以上所述的图3a-3d的图像，但是采用不同温度区域由不同图案而不是半色调标记的方式。因此，参考图3a-3d所述的一切都可以分别直接应用到图5a-5d。

对IR图像302执行的低通滤波可以通过使用具有合适的滤波器核心的空间滤波器来执行，以便依赖先前的值和周围像素的值来为每个像素计算新值。高通滤波通常是通过应用低通滤波器并从原始图像减去所产生的低通滤波图像来执行的，在高通滤波的图像中只留下线条和边缘可以看到。如前面所提到的，应用空间滤波器的方法在本领域中是众所周知的，并且任何这样的方法都可以使用。

当选择调色板时，例如根据YCbCr色彩空间族，Y分量(即，亮度)可以选择成在整个调色板中是常量。在一个例子中，Y分量可以选择成最大亮度的0.5倍。因此，当组合基于所选调色板的IR图像和可见图像时，处理后的可见图像304的Y分量可以添加到处理后的IR图像305，并产生期望的对比度，而不会改变处理后的IR图像305的颜色。由此，在原始IR图像302的处理过程中，保持了颜色的特定细微差别的重要性。

当计算颜色分量时，对于Y分量来自高通滤波的可见图像304而Cr和Cb分量来自IR图像305的信号的组合图像307，以下公式可以用于确定分量Y、Cr和Cb。

hp_y_vis＝highpass(y_vis)

(y_ir，cr_ir，cb_ir)＝colored(lowpass(ir_signal_linear))

其在另一种表示法中可以写成：

hp_yvis＝highpass(y_vis)

(y_ir，cr_ir，cb_ir)＝colored(lowpass(ir_{signal linear}))

当然，除YCbCr之外的其它色彩空间也可以与本公开内容的实施方式一起使用。不同色彩空间(例如RGB、YCbCr、HSV、CIE 1931XYZ或者CIELab)的使用，及色彩空间之间的变换，对本领域技术人员来说是众所周知的。例如，当使用RGB色彩模型时，亮度可以作为所有颜色分量的均值来计算，而且通过将计算亮度的公式从一个色彩空间变换到另一个色彩空间，为每个色彩空间确定用于确定亮度的新表达式。

在一种实施方式中，组合处理过的可见图像304和处理过的IR图像305的块107可以只利用来自处理过的可见图像304的亮度分量Y来执行。

应当指出，根据一种或多种实施方式，如果合适的话，以上所述方法的块可以不同的次序执行。

图4示出了用于执行根据本公开内容的方法的图像处理系统的实施方式的示意图。成像设备单元1可以包括具有可见传感器的可见成像设备11和具有IR传感器的IR成像设备12，安装成使得可见成像设备11的可见传感器的光轴与IR成像设备12的IR传感器相距距离d。可见成像设备可以是任何已知类型的可见成像设备，例如CCD成像设备、EMCCD成像设备、CMOS成像设备或者sCMOS成像设备。IR成像设备可以是能够检测至少在例如0.7至20μm之间的间隔中的电磁辐射的任何类型的成像设备。可见成像设备具有大约53°的视野α，而IR成像设备具有大约24°的视野β。本领域普通技术人员应当认识到，例如通过使用可替换光学元件或者包括光学元件的镜头，其它的视角也可以使用。对于IR成像设备，可替换光学元件或者包括光学元件的镜头可以例如给出15-45°的视野。块101、102，即，可见图像301和IR图像302的捕获，可以通过成像设备单元1来执行，并且所捕获的图像发送到处理单元2，也称为处理器，在那里执行其余的块。根据另一种实施方式，图1的块106中的可选步骤，即，减小噪声并模糊所捕获的IR图像，可以通过成像设备中所结合的图像处理装置或者图像处理器来执行，在可见图像和处理过的IR图像发送到处理单元2之后，在那里执行图1的其余块的方法步骤。所述处理单元2可以是例如通用或者专用处理引擎的处理器，例如微处理器、微控制器或者其它控制逻辑或FPGA(现场可编程门阵列)，其包括存储在计算机可读存储介质上的固定成执行某些任务的代码区，以及存储在计算机可读存储介质上的可以在使用过程中改变的其它代码区。这种可以改变的区可以包括要用作各种任务的输入的参数，其中，所述各种任务例如IR成像设备12的校准、可见成像设备11和IR成像设备12的对准、采样速率或者用于图像空间滤波的滤波器。

在本文档中，术语“计算机程序产品”和“计算机可读存储介质”通常可以用于指代非临时性的介质，例如存储器41、处理单元2的存储介质或者控制单元42的存储介质。这些和其它形式的计算机可读存储介质可以用于向处理单元2提供要执行的指令。这种指令，总体上称为“计算机程序代码”或者计算机程序代码部分(可以以计算机程序或者其它分组的形式来分组)，适于控制数据处理系统执行发明方法的步骤和功能。因此，当执行时，该计算机程序代码部分使成像设备单元1或者计算机能够执行当前技术的实施方式的特征或者功能。而且，如在此所使用的，处理逻辑或者逻辑可以包括硬件、软件、固件或者其组合。

处理单元2与存储器41通信，在存储器中这种参数准备好以便由处理单元2使用，而且如果用户期望的话，由处理单元2处理的图像可以保存在存储器41中。存储器41可以是随机存取存储器(RAM)、寄存器存储器、处理器高速缓冲存储器、硬盘驱动器、软盘驱动器、磁带驱动器、光盘驱动器、CD或DVD驱动器(R或者RW)或者其它可拆卸或固定介质驱动器。存储器41又与控制单元42通信，其中所述参数源自该控制单元42，例如通过来自可以从制造商提供的校准文件43文件的输入、通过由图像处理系统本身提供的参数，例如来自传感器等的关于从成像设备单元1到捕获其图像的物体的距离的数据，或者通过由用户提供的参数。控制单元42可以是可编程的单元，并且确定执行示例方法所需的参数和这种参数应当如何与处理单元2交互并且为了方便处理单元2的获取而将这些参数存储到存储器41中。

在处理单元2执行对准图像(块103)、增加采样原始IR图像302以便生成增加采样的IR图像(块104)、对原始可见图像301的高通滤波以便生成处理过的可见图像304(块105)、对增加采样的IR图像的低通滤波以便生成处理过的IR图像305(块106)、组合处理过的可见图像304和处理过的IR图像305以便生成组合图像307(块107)并向所述组合图像307添加高频噪声(块108)的操作之后，所产生的图像在显示单元3中呈现，以便由图像处理系统的用户观看。如果期望，用户可以将组合图像307或者对应于不同方法步骤的任何其它图像保存到存储器41中，以便以后观看或者传送到另一个单元，例如计算机，用于进一步的分析和存储。

在可选实施方式中，所公开的方法可以由例如PC的计算设备来实现，其中PC可以包含特别适于执行本发明的一种或多种实施方式的方法步骤的FPGA单元的功能或者包含根据联系图4所述的通用处理单元2。该计算设备还可以包括存储器41和控制单元42，还可以包括显示单元3。可以以直播方式使用所公开的方法，即用于可以作为电影记录和重放的例如30Hz的实时滤波与组合的图像流集合，但是也可以使用静止的图片。

在一个例子中，可以允许用户改变正因子α，以便确定例如通过使用以下的公式要用于与IR图像302、305组合的来自可见图像301、304的亮度有多少。组合图像307的亮度Y是通过将处理过的IR图像305的亮度加上高通滤波的可见图像的亮度乘以因子α来实现的。组合的分量Cr和Cb直接取自IR图像302、305，因此不受该处理的影响。如果使用另一种色彩空间，则在使用之前当然要变换公式。

comb_y＝y_ir+α×hp_y_vis

comb_cr＝cr_ir

comb_cb＝cb_ir

其在另一种表示法中将写为：

comb_y＝y_ir+α×hp_yvis

comb_cr＝cr_ir

comb_cb＝cb_ir

因此，α的变化给了用户决定在组合图像中需要多少对比度的机会。当α接近零时，将单独显示IR图像，但对于非常高的α，在组合图像中可以看到非常尖锐的轮廓。理论上讲，α可以是无限大的数，但实践当中限制将有可能是必需的，以便将可以选择的α的大小限制到当前应用中方便的值。

在块104对IR图像302的分辨率的增加采样可以另选地作为对可见图像301的减少采样来执行，以便匹配IR图像302的分辨率，或者实际上是IR图像302的增加采样和可见图像301的减少采样的组合，达到不是图像301、302中任何一个原始具有的分辨率，只要结果是在采样步骤之后IR图像302和可见图像301具有相同的分辨率即可。依赖要显示组合图像307的显示区域，例如显示单元3，来确定分辨率并采样图像301、302以便匹配最适合显示单元3的分辨率可能是方便的。

应当认识到，为了清晰，以上描述参考不同的功能单元和处理器描述了技术的实施方式。但是，很显然，在不偏离该技术的情况下，不同功能单元、处理器或者领域之间功能的任何适当分布都可以使用。例如，例示为由分立的处理器或控制器执行的功能可以由同一处理器或控制器执行。由此，对特定功能单元的参考只能看作是对用于提供所述功能的合适装置的参考，而不是指示严格的逻辑或者物理结构或组织。

如本领域技术人员很容易理解的，本公开内容不应当看作是被以上所述的实施方式限制的，而是可以在权利要求的范围内变化。

Claims

1.一种方法，包括：

接收场景的可见图像和红外线(IR)图像；

从所述可见图像提取高空间频率内容；及

组合从所述可见图像提取出的所述高空间频率内容和所述IR图像，以产生组合的图像，其中用于可见图像和IR图像的分辨率大致相同。

2.如前述权利要求所述的方法，还包括确保用于可见图像和IR图像的分辨率是大致相同的。

3.如前面任何一项权利要求所述的方法，还包括检查用于可见图像和IR图像的分辨率是否大致相同；并且其中，如果用于可见图像和IR图像的分辨率不是大致相同的，则改变可见图像的分辨率和/或IR图像的分辨率，使得用于可见图像和IR图像的分辨率大致相同。

4.如前面任何一项权利要求所述的方法，还包括改变所述可见图像的分辨率和所述IR图像的分辨率中的至少一个，使得可见图像和IR图像大致具有相同的分辨率。

5.如前面任何一项权利要求所述的方法，还包括增加采样所述IR图像的分辨率到大致所述可见图像的分辨率和/或减少采样所述可见图像的分辨率到大致所述IR图像的分辨率。

6.如前面任何一项权利要求所述的方法，还包括将所述可见图像的分辨率和所述IR图像的分辨率改变成大致与第三分辨率相同。

7.如前面任何一项权利要求所述的方法，其中所接收的IR图像的分辨率是64×64像素或者更小。

8.如前面任何一项权利要求所述的方法，其中所接收的IR图像的分辨率是32×32像素或者更小。

9.如前面任何一项权利要求所述的方法，其中从所述可见图像提取高空间频率内容是通过利用至少一个空间滤波器的高通滤波来进行的。

10.如前面任何一项权利要求所述的方法，还包括处理所述IR图像，以减少该IR图像中的噪声和/或平滑该IR图像。

11.如前面任何一项权利要求所述的方法，还包括在组合之前对所述IR图像进行低通滤波。

12.如前面任何一项权利要求所述的方法，还包括在组合之前通过使用空间滤波器来对所述IR图像进行低通滤波。

13.如前面任何一项权利要求所述的方法，其中组合包括将从所述可见图像提取出的所述高空间频率内容叠加到所述IR图像上。

14.如前面任何一项权利要求所述的方法，其中组合包括将所述IR图像叠加到从所述可见图像提取出的所述高空间频率内容上。

15.如前面任何一项权利要求所述的方法，其中组合还包括将所述可见图像的亮度分量添加到所述IR图像。

16.如前面任何一项权利要求所述的方法，其中组合还包括将乘以一个因子的所述可见图像的亮度分量添加到所述IR图像。

17.如前面任何一项权利要求所述的方法，其中所述因子是可以基于从来自用户的输入接收的控制参数变化的。

18.如前面任何一项权利要求所述的方法，还包括向所述组合图像添加高分辨率噪声。

19.如前面任何一项权利要求所述的方法，还包括对所述IR图像和/或对所述组合图像保持IR调色板。

20.如前面任何一项权利要求所述的方法，还包括捕获场景的可见图像和IR图像，并且其中由包括IR图像捕获设备和可见图像捕获设备的成像设备执行如权利要求1所述的方法。

21.如前面任何一项权利要求所述的方法，所述方法在适于接收场景的可见图像和IR图像的计算机中执行。

22.一种用于组合IR图像与可见图像的非临时性计算机程序产品，该计算机程序产品包括计算机程序代码部分，所述计算机程序代码部分设计成控制数据处理系统执行以下操作，包括：

接收场景的可见图像和红外线(IR)图像；

从所述可见图像提取高空间频率内容；以及

组合从所述可见图像提取出的所述高空间频率内容和所述IR图像，以产生组合的图像，其中用于可见图像和IR图像的分辨率是大致相同的。

23.如前面权利要求所述的计算机程序产品，还包括计算机程序代码部分，所述计算机程序代码部分设计成控制数据处理系统执行如权利要求2-21任何一项所述的步骤或功能。

24.一种成像设备，包括：

可见图像传感器，用于捕获可见图像；

IR图像传感器，用于捕获IR图像；以及

处理单元，适于从所述可见图像提取高空间频率内容并组合从所述可见图像提取出的所述高空间频率内容和所述IR图像，以产生组合的图像，其中用于可见图像和IR图像的分辨率是大致相同的。

25.如前面权利要求所述的成像设备，还包括适于执行如权利要求2-21任何一项所述的步骤或功能的处理器。