CN106796720A - 图像融合方法、装置和红外热像设备 - Google Patents

Abstract

一种图像融合方法、装置和红外热像设备，所述方法包括：以相同的视角和比例，采集可见光图像和红外热图像；计算每一帧红外热图像的融合比；以及根据所述融合比，将每一帧红外热图像与相应的一帧可见光图像进行灰度值融合。

Description

图像融合方法、装置和红外热像设备

技术领域

本发明涉及图像处理领域，特别涉及一种图像融合方法、装置和红外热像设备。

背景技术

红外热像设备是利用红外探测器和光学成像物镜接收被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热图像。这种红外热图像与物体表面的热分布场相对应。也就是说，红外热像设备就是将物体发出的不可见红外能量转变为可见的红外热图像。红外热图像的不同颜色代表被测物体的不同温度。红外热像设备将物体温度的差异用颜色表示出来，但在物体表面温度和环境温度一致或者接近时就不能识别物体。因此，一般较高级的红外热像设备都会附加一个可见光传感器，用于当温差不大时辅助红外热像设备识别目标物体。

现有技术虽然能利用可见光传感器对红外热图像进行图像融合增强，但是在红外热图像比较清晰的时候仍然将可见光图像叠加到红外热图像，这会造成红外热图像细节的损失。另外，传统的图像融合方法，在不同的场景需要手动不停调整融合比例，已达到准确识别目标物体的目的，这样不但操作复杂，而且对操作者有一定专业知识的要求，不利于红外热像设备的智能化和普及化。

发明内容

基于此，有必要提供一种红外热图像细节损失较小的图像融合方法、装置和红外热像设备。

一种图像融合方法，包括：

以相同的视角和比例，采集可见光图像和红外热图像；

计算每一帧红外热图像的融合比；以及

根据所述融合比，将每一帧红外热图像与相应的一帧可见光图像进行灰度值融合。

一种红外热像设备，包括：

至少一个处理器；以及

存储指令的至少一个存储器，当所述至少一个处理器执行所述指令，使得以下被执行：

以相同的视角和比例，采集可见光图像和红外热图像；

计算每一帧红外热图像的融合比；以及

根据所述融合比，将每一帧红外热图像与相应的一帧可见光图像进行灰度值融合。

一种图像融合装置，包括：

采集模块，用于以相同的视角和比例，采集可见光图像和红外热图像；

计算模块，用于计算每一帧红外热图像的融合比；以及

融合模块，用于根据所述融合比，将每一帧红外热图像与相应的一帧可见光图像进行灰度值融合。

上述图像融合方法、装置和红外热像设备，对每一帧红外热图像计算融合比，由此在整个图像采集过程中能自动辨别红外目标和环境的温差，最大的利用了红外热图像和可见光图像的优势互补，使得在温差较小和红外图像模糊时，自动计算出红外-可见光图像的融合比，实现目标细节得到最大的体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。

图1是一实施例的通过红外热像设备执行的图像融合方法的流程图；

图2是图1所示的计算每一帧红外热图像的融合比步骤的流程图；

图3是图2所示的计算所述每一帧红外热图像的参考区域的预定数量的像素点的平均温度步骤的流程图；

图4是图2所示的确定所述每一帧红外热图像中的像素点的最高温度和最低温度步骤的流程图；

图5是图2所示的根据所述平均温度、所述最高温度和所述最低温度，计算所述融合比步骤的流程图；

图6是一实施例的红外热像设备的模块图；

图7是一实施例的图像融合装置的模块图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如在本申请中所使用的，术语“模块”旨在表示计算机相关的实体，它可以是硬件、硬件和软件的组合、软件、或者执行中的软件。

图1示出了一实施例的通过红外热像设备执行的图像融合方法的流程图。该方法由上述红外热像设备操作执行。具体地，如图6所示，该红外热像设备包括至少一个处理器140(例如，图像处理器)、存储指令的至少一个存储器130、可见光传感器120和红外探测器110。该方法通过处理器140、存储器130、可见光传感器120和红外探测器110的相互配合来完成以下步骤：

步骤S10：可见光传感器120(例如，摄像头)和红外探测器110以相同的视角和比例，采集可见光图像和红外热图像，也就是说，每一帧的可见光图像和红外热图像均是一一对应的。然后可见光传感器120和红外探测器110将采集到的可见光图像和红外热图像存储到存储器130中。另外，存储器130中存储有执行图像融合的指令。

步骤S20：处理器140从存储器130读取指令来执行计算每一帧红外热图像的融合比。也就是说，处理器140为每一帧红外热图像分别计算相应的融合比，由此融合比是逐帧动态变化的。以及

步骤S30：接着，处理器140对于每一帧红外热图像，根据每一帧红外热图像的融合比，将每一帧红外热图像与相应的一帧可见光图像进行灰度值融合。也就是说，在图像融合时，处理器140将根据融合比，调节红外热图像和可见光图像的像素点的灰度值。由此，能自动辨别红外目标和环境的温差，最大的利用了红外热图像和可见光图像的优势互补，使得在温差较小和红外图像模糊时，自动计算出红外-可见光图像的融合比，实现目标细节得到最大的体现。

如图2所示，处理器140从存储器130读取指令来执行以下过程从而完成步骤S20：

步骤S21：处理器140计算每一帧红外热图像的参考区域的预定数量的像素点的平均温度。该参考区域可以在每一帧红外热图像的任意位置。在一实施例中，该参考区域是矩形图像帧的中心区域。也就是说，参考区域的像素点数量的选择可根据实际需要进行灵活设置。该预定数量的像素点可预先固定设置，也可以是在图像融合过程中动态改变的。在一实施例中，可选择中心矩形区域的像素点，即a*b个像素点，其中a和b均是正整数。

步骤S22：接着，处理器140确定每一帧红外热图像中的像素点的最高温度和最低温度。以及

步骤S23：然后，处理器140根据上述平均温度T1、最高温度T_max和最低温度T_min，计算融合比。也就是说，融合比是基于上述平均温度T1、最高温度T_max和最低温度T_min来计算得出的。在一实施例中，该融合比与最高温度T_max与平均温度T1的差的绝对值△T1＝|T1-T_max|以及最低温度T_min与平均温度T1的差的绝对值△T2＝|T1-T_min|相关。

如图3所示，处理器140从存储器130读取指令来执行以下过程从而完成步骤S21：

步骤S211：处理器140选取每一帧红外热图像的参考区域的预定数量的像素点。也就是说，根据实际需要，处理器140对于每一帧红外热图像均选取固定数量的像素点，也可以对于不同帧的红外热图像，选取不同数量的像素点，以及

步骤S212：在确定像素点的数量后，处理器140计算该预定数量的像素点的所述平均温度。

如图4所示，处理器140从存储器130读取指令来执行以下过程从而完成步骤S22：

步骤S221：处理器140将统计每一帧红外热图像中所有像素点的温度值。

步骤S222：然后，对于这些温度值，处理器140将去除这些温度值中的预定数量的极值温度。也就是说，处理器140将去除统计的温度值两端的一部分极值。例如，根据实际情况，将温度值按照从高到低进行排序，处理器140去除从最高温值起的10个高温极值和从最低温值起的10个低温极值。由此可去除红外热图像中并非观察有兴趣的像素点。例如，吸烟时燃烧的烟头所对应的高温像素点，或者冷饮中冰块所对应的低温像素点。以及

步骤S223：处理器140将剩余温度值中的最高温度值和最低温度值分别确定为每一帧红外热图像的最高温度T_max和最低温度T_min。

如图5所示，处理器140从存储器130读取指令来执行以下过程从而完成步骤S23：

步骤S231：处理器140将计算每一帧红外热图像的整帧平均温度T_avg；

步骤S232：处理器140将判断平均温度T1是否大于或等于整帧平均温度T_avg。

步骤S233：如果是，即当平均温度T1大于或等于整帧平均温度T_avg时，以平均温度T1与最低温度T_min的差的绝对值△T2作为自变量，采用多项式函数计算融合比Y；以及

步骤S234：如果否，即当平均温度T1小于整帧平均温度T_avg时，以最高温度T_max与平均温度T1的差的绝对值T1作为自变量，采用上述多项式函数计算所述融合比。也就是说，处理器140将根据平均温度T1、最高温度T_max、最低温度T_min和整帧平均温度T_avg来选择动态自变量以应用于相同的多项式函数。在一实施例中，该多项式函数是三次多项式函数。

在一实施例中，处理器140采用三次多项式函数F＝0.00000005702*T³-0.0009722*T²+0.5705*T+147.5计算融合因子F。然后将将该融合因子F除以预定义的系数得到融合比Y。例如，该预定义的系数可以选择为二进制整数256或1024。即Y＝F/256或F/1024。得到融合比Y后，处理器140将根据该融合比Y调节红外热图像和可见光图像的灰度值比例，进行红外热图像和可见光图像的融合，由此在整个图像采集过程中能自动辨别红外目标和环境的温差，最大的利用了红外热图像和可见光图像的优势互补，使得在温差较小和红外图像模糊时，自动计算出红外-可见光图像的融合比，实现目标细节得到最大的体现。在一实施例中，当一帧红外热图像的参考区域为一杯热水时，热水的温度值是大大高于整帧图像的平均温度，此时如果预定义的系数为256，则可计算出融合因子F为256，最后得出融合比Y为1，即，全部为红外热图像。在一实施例中，当一帧红外热图像的参考区域为人的手臂时，手臂的温度稍高于整帧图像的平均温度，此时如果预定义的系数为256，可以算出来融合参数F为180，最后得出融合比Y为0.7。在一实施例中，当一帧红外热图像的参考区域为书本时，书本的温度和环境温度很接近，此时如果预定义的系数为256，可以算出来融合参数F为130，最后得出融合比0.5。

图7示出了一实施例的图像融合装置的模块图。该图像融合装置包括采集模块310、计算模块320和融合模块330。其中，采集模块310以相同的视角和比例，采集可见光图像和红外热图像。计算模块320计算每一帧红外热图像的融合比。融合模块330根据计算出的融合比，将每一帧红外热图像与相应的一帧可见光图像进行灰度值融合。

在一个实施例中，计算模块320还用于计算所述每一帧红外热图像的参考区域的预定数量的像素点的平均温度；确定所述每一帧红外热图像中的像素点的最高温度和最低温度；以及根据所述平均温度、所述最高温度和所述最低温度，计算所述每一帧红外热图像的融合比。

在一个实施例中，计算模块320还用于选取所述每一帧红外热图像的参考区域的所述预定数量的像素点；以及计算所述预定数量的像素点的所述平均温度。

在一个实施例中，计算模块320还用于统计所述每一帧红外热图像中所有像素点的温度值；去除所述温度值中的预定数量的极值温度；以及将剩余温度值中的最高温度值和最低温度值分别确定为所述每一帧红外热图像的最高温度和最低温度。

在一个实施例中，计算模块320还用于计算所述每一帧红外热图像的整帧平均温度；当所述平均温度大于或等于所述整帧平均温度时，以所述平均温度与所述最高温度的差的绝对值作为自变量，采用多项式函数计算所述融合比；以及当所述平均温度小于所述整帧平均温度时，以所述最低温度与所述平均温度的差的绝对值作为自变量，采用所述多项式函数计算所述融合比。

在一个实施例中，计算模块320还用于采用所述多项式函数计算融合因子；以及将所述融合因子除以预定义的系数得到所述融合比。预定义的系数是256或1024。

三次多项式函数为：F＝0.00000005702*T³-0.0009722*T²+0.5705*T+147.5，其中F是所述融合因子，T是所述自变量。

本领域普通技术人员可以理解：实现上述方法实施例的步骤或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (20)

1.一种图像融合方法，所述方法包括：

以相同的视角和比例，采集可见光图像和红外热图像；

计算每一帧红外热图像的融合比；以及

根据所述融合比，将每一帧红外热图像与相应的一帧可见光图像进行灰度值融合。

2.根据权利要求1所述的方法，其中所述计算每一帧红外热图像的融合比包括：

计算所述每一帧红外热图像的参考区域的预定数量的像素点的平均温度；

确定所述每一帧红外热图像中的像素点的最高温度和最低温度；以及

根据所述平均温度、所述最高温度和所述最低温度，计算所述每一帧红外热图像的融合比。

3.根据权利要求2所述的方法，其中所述融合比相关于所述最高温度与所述平均温度的差的绝对值以及相关于所述最低温度与所述平均温度的差的绝对值。

4.根据权利要求2所述的方法，其中所述计算所述每一帧红外热图像的参考区域的预定数量的像素点的平均温度包括：

选取所述每一帧红外热图像的参考区域的所述预定数量的像素点；以及

计算所述预定数量的像素点的所述平均温度。

5.根据权利要求2所述的方法，其中所述确定所述每一帧红外热图像中的像素点的最高温度和最低温度包括：

统计所述每一帧红外热图像中所有像素点的温度值；

去除所述温度值中的预定数量的极值温度；以及

将剩余温度值中的最高温度值和最低温度值分别确定为所述每一帧红外热图像的最高温度和最低温度。

6.根据权利要求2所述的方法，其中所述根据所述平均温度、所述最高温度和所述最低温度，计算所述融合比包括：

计算所述每一帧红外热图像的整帧平均温度；

当所述平均温度大于或等于所述整帧平均温度时，以所述平均温度与所述最高温度的差的绝对值作为自变量，采用多项式函数计算所述融合比；以及

当所述平均温度小于所述整帧平均温度时，以所述最低温度与所述平均温度的差的绝对值作为自变量，采用所述多项式函数计算所述融合比。

7.根据权利要求6所述的方法，其中所述采用所述多项式函数计算所述融合比包括：

采用所述多项式函数计算融合因子；以及

将所述融合因子除以预定义的系数得到所述融合比。

8.根据权利要求7所述的方法，其中所述预定义的系数是256或1024。

9.根据权利要求6所述的方法，其中所述多项式函数是三次多项式函数。

10.根据权利要求9所述的方法，其中所述三次多项式函数为：F＝0.00000005702*T³-0.0009722*T²+0.5705*T+147.5，其中F是所述融合因子，T是所述自变量。

11.一种图像融合装置，包括：

采集模块，用于以相同的视角和比例，采集可见光图像和红外热图像；

计算模块，用于计算每一帧红外热图像的融合比；以及

融合模块，用于根据所述融合比，将每一帧红外热图像与相应的一帧可见光图像进行灰度值融合。

12.根据权利要求11所述的图像融合装置，其中所述计算模块还用于计算所述每一帧红外热图像的参考区域的预定数量的像素点的平均温度；确定所述每一帧红外热图像中的像素点的最高温度和最低温度；以及根据所述平均温度、所述最高温度和所述最低温度，计算所述每一帧红外热图像的融合比。

13.根据权利要求12所述的图像融合装置，其中所述计算模块还用于选取所述每一帧红外热图像的参考区域的所述预定数量的像素点；以及计算所述预定数量的像素点的所述平均温度。

14.根据权利要求12所述的图像融合装置，其中计算模块还用于统计所述每一帧红外热图像中所有像素点的温度值；去除所述温度值中的预定数量的极值温度；以及将剩余温度值中的最高温度值和最低温度值分别确定为所述每一帧红外热图像的最高温度和最低温度。

15.根据权利要求12所述的图像融合装置，其中所述计算模块还用于计算所述每一帧红外热图像的整帧平均温度；当所述平均温度大于或等于所述整帧平均温度时，以所述平均温度与所述最高温度的差的绝对值作为自变量，采用多项式函数计算所述融合比；以及当所述平均温度小于所述整帧平均温度时，以所述最低温度与所述平均温度的差的绝对值作为自变量，采用所述多项式函数计算所述融合比。

16.根据权利要求15所述的图像融合装置，其中所述计算模块还用于采用所述多项式函数计算融合因子；以及将所述融合因子除以预定义的系数得到所述融合比。

17.根据权利要求16所述的图像融合装置，其中所述预定义的系数是256或1024。

18.根据权利要求16所述的图像融合装置，其中所述多项式函数是三次多项式函数。

19.根据权利要求18所述的图像融合装置，其中所述三次多项式函数为：F＝0.00000005702*T³-0.0009722*T²+0.5705*T+147.5，其中F是所述融合因子，T是所述自变量。

20.一种红外热像设备，包括：

至少一个处理器；以及

存储指令的至少一个存储器，当所述至少一个处理器执行所述指令，使得以下被执行：

以相同的视角和比例，采集可见光图像和红外热图像；

计算每一帧红外热图像的融合比；以及

根据所述融合比，将每一帧红外热图像与相应的一帧可见光图像进行灰度值融合。