CN105989585B - 一种红外图像与可见光图像融合的方法及系统 - Google Patents

Abstract

本发明提供一种红外图像与可见光图像融合的方法及系统，涉及图像处理技术领域。该方法包括：获取同一视角的红外图像与可见光图像；对可见光图像进行平滑滤波处理；对平滑滤波处理后的可见光图像进行浮雕处理，以获取对应浮雕图像；对浮雕图像与红外图像进行融合处理，得到融合图像。本发明可以使红外图像中的细节显示更加明确，使检修人员可以快速获取设备的温度、位置及形态信息，进而能够快速、准确的识别出设备中超过指定温度极限的部件，提高检修人员对故障部件的检修效率。

Description

一种红外图像与可见光图像融合的方法及系统

技术领域

本发明属于图像处理，尤其涉及一种红外图像与可见光图像融合的方法及系统。

背景技术

红外图像传感器通过获取目标的红外辐射进行成像，所以我们可以通过红外图像获取目标的温度信息。在利用红外传感器来检测设备是否正常运行的场景中，就是通过红外温度显示来判断设备是否正常运行，此时，红外图像传感器所提供的红外图像是设备运行时红外温度显示图，用户可从该红外图像中判断设备中是否存在过热的情况，但是由于红外图像传感器对背景的亮度变化不敏感，成像分辨率低，导致红外图像的分辨率较低、对边缘不敏感、背景信息模糊不清，进而会使用户可以通过红外图像看见设备中有过热的部分，但是不能准确的识别出设备中过热的具体部位，即无法快速的分辨出是设备中的哪个部件出现了故障，这样不仅会耽搁维修进度，而且还可能造成故障部件判断错误。

发明内容

本发明实施例的目的在于提供一种红外图像与可见光图像融合的方法及系统，旨在解决上述通过红外传感器提供的红外图像检测设备是否正常运行时，无法快速的分辨出是设备中的哪个部件出现了故障，这样不仅会耽搁维修进度，而且还可能造成故障部件判断错误的问题。

本发明实施例是这样实现的，一种红外图像与可见光图像融合的方法，包括：

获取同一视角的红外图像与可见光图像；

对可见光图像进行平滑滤波处理；

对平滑滤波处理后的可见光图像进行浮雕处理，以获取对应浮雕图像；

对所述浮雕图像与所述红外图像进行融合处理，得到融合图像。

在本发明实施例所述的红外图像与可见光图像融合的方法中，所述对可见光图像进行平滑滤波处理具体包括：

若所述可见光图像为灰度图像，则直接使用高斯滤波器对所述可见光图像进行平滑滤波处理；

若所述可见光图像为彩色图像，则使用高斯滤波器对所述彩色图像中三个颜色分量的图像分别进行平滑滤波处理。

在本发明实施例所述的红外图像与可见光图像融合的方法中，所述对平滑滤波处理后的可见光图像进行浮雕处理，以获取对应浮雕图像具体包括：

若所述可见光图像为灰度图像，则直接采用浮雕算法对所述可见光图像进行浮雕处理，以获取对应的浮雕图像；

若所述可见光图像为彩色图像，则找出所述可见光图像的三个颜色分量中当前像素点的颜色值与其右下相邻像素点的颜色值之间的差值绝对值最大的颜色分量的图像，采用浮雕算法对所述差值绝对值最大的颜色分量的图像进行浮雕处理，以获取对应的浮雕图像。

在本发明实施例所述的红外图像与可见光图像融合的方法中，对所述浮雕图像与所述红外图像进行融合处理，得到融合图像具体包括：

提取所述浮雕图像的图像轮廓信息，并将所述图像轮廓信息转移到所述红外图像上，生成融合图像。

在本发明实施例所述的红外图像与可见光图像融合的方法中，在对所述浮雕图像与所述红外图像进行融合处理，得到融合图像之后还包括：

对所述融合图像进行伪彩色处理，以获取对应的伪彩色图像。

本发明实施例的另一目的在于提供一种红外图像与可见光图像融合的系统，包括：

图像获取模块，用于获取同一视角的红外图像与可见光图像；

滤波处理模块，用于对可见光图像进行平滑滤波处理；

浮雕处理模块，用于对平滑滤波处理后的可见光图像进行浮雕处理，以获取对应浮雕图像；

融合处理模块，用于对所述浮雕图像与所述红外图像进行融合处理，得到融合图像。

在本发明实施例所述的红外图像与可见光图像融合的系统中，所述滤波处理模块具体用于：

若所述可见光图像为灰度图像，则直接采用浮雕算法对所述可见光图像进行浮雕处理，以获取对应的浮雕图像；

若所述可见光图像为彩色图像，则使用高斯滤波器对所述彩色图像中三个颜色分量的图像分别进行平滑滤波处理。

在本发明实施例所述的红外图像与可见光图像融合的系统中，所述浮雕处理模块包括：

浮雕算法处理单元，用于若所述可见光图像为灰度图像，则直接采用浮雕算法对所述可见光图像进行浮雕处理，以获取对应的浮雕图像；

彩色图像颜色分量处理单元，用于若所述可见光图像为彩色图像，则找出所述可见光图像的三个颜色分量中当前像素点的颜色值与其右下相邻像素点的颜色值之间的差值绝对值最大的颜色分量的图像；

所述浮雕算法处理单元，还用于采用浮雕算法对所述差值绝对值最大的颜色分量的图像进行浮雕处理，以获取对应的浮雕图像。

在本发明实施例所述的红外图像与可见光图像融合的系统中，所述融合处理模块具体用于：

将所述浮雕图像的图像轮廓信息转移到所述红外图像上，生成融合图像。

在本发明实施例所述的红外图像与可见光图像融合的系统中，还包括：

伪彩色处理模块，用于对所述融合图像进行伪彩色处理，以获取对应的伪彩色图像。

本发明实施例由于首先获取同一视角的红外图像与可见光图像，然后对可见光图像进行平滑滤波处理、对平滑滤波处理后的可见光图像进行浮雕处理，以获取对应浮雕图像，最后对浮雕图像与红外图像进行融合处理，得到融合图像，从而可以使红外图像中的细节显示更加明确，使检修人员可以快速获取设备的温度、位置及形态信息，进而能够使检修人员快速、准确的识别出设备中超过指定温度极限的部件，提高检修人员对故障部件的检修效率。

附图说明

图1是本发明实施例提供的红外图像与可见光图像融合的方法的具体实现流程图；

图2是本发明另一实施例提供的红外图像与可见光图像融合的方法的具体实现流程图；

图3是本发明实施例提供的红外图像与可见光图像融合的系统的结构框图；

图4是本发明另一实施例提供的红外图像与可见光图像融合的系统的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1是本发明实施例提供的红外图像与可见光图像融合的方法的具体实现流程图。参见图1所示，本发明实施例提供的一种红外图像与可见光图像融合的方法，包括：

在S101中，获取同一视角的红外图像与可见光图像。

在本实施例中，为了获取噪声较小的红外图像，可选用非制冷型红外传感器拍摄红外图像；为了使可见光图像有较好的清晰度，可选用高分辨率的可见光传感器用于拍摄可见光图像。

在S102中，对所述可见光图像进行平滑滤波处理。

在本实施例中，采用高斯滤波器Gaussfilter(N,δ)对可见光图像进行平滑滤波处理，以去除可见光图像上的噪声。高斯滤波器Gaussfilter(N,δ)对于抑制服从正态分布的噪声非常有效，其定义为：

其中，N为高斯滤波窗口大小，取值范围为[3,7]；δ为高斯滤波器的方差系数，取值范围为[0.3,0.8]；i、j为可见光图像中的二维坐标，取值范围为[-(N-1)/2,(N-1)/2]。

进一步的，若所述可见光图像为灰度图像，则直接使用高斯滤波器Gaussfilter(N,δ)对所述可见光图像进行平滑滤波处理，即：

其中，为卷积运算符，Img为原始可见图像，x为原始可见光图像中像素点的横坐标，y为原始可见光图像中像素点的纵坐标，Img_denoise为去噪后的图像。

进一步的，若所述可见光图像为彩色图像，则使用高斯滤波器对所述彩色图像中三个颜色分量的图像分别进行平滑滤波处理，即:

其中，为卷积运算符，ImgR为原始可见光图像的R分量，ImgG为原始可见光图像的G分量，ImgB为原始可见光图像的B分量，x为原始可见光图像中像素点的横坐标，y为原始可见光图像中像素点的纵坐标，Img_denoise为去噪后的可见光图像。

在S103中，对平滑滤波处理后的可见光图像进行浮雕处理，以获取对应浮雕图像。

在本实施例中，若所述可见光图像为灰度图像，则直接采用浮雕算法对所述可见光图像进行浮雕处理，以获取对应的浮雕图像，其浮雕算法如下：

Img_emb(x,y)＝Img_denoise(x,y)-Img_denoise(x+1,y+1)+128；

其中，Img_denoise为去噪后的可见光图像，x为原始可见光图像中像素点的横坐标，y为原始可见光图像中像素点的纵坐标，Img_emb为生成的浮雕图像。

在本实施例中，若所述可见光图像为彩色图像，则找出所述可见光图像的三个颜色分量中当前像素点的颜色值与其右下相邻像素点的颜色值之间的差值绝对值最大的颜色分量的图像，采用浮雕算法对所述差值绝对值最大的颜色分量的图像进行浮雕处理，以获取对应的浮雕图像，其具体实现过程如下：

a.找出去噪后的可见光图像中三个颜色分量中当前像素点的颜色值与其右下相邻像素点的颜色值之间的差值绝对值最大的颜色分量的图像：

[diff,index]＝max(|ImgR_deniose(x,y)-ImgR_deniose(x+1,y+1)|,

|ImgG_deniose(x,y)-ImgG_deniose(x+1,y+1)|,|ImgB_deniose(x,y)-ImgB(x+1,y+1)|)

其中，ImgR_deniose为去噪后可见光图像的R分量，ImgG_deniose为去噪后可见光图像的的G分量，ImgB_deniose为去噪后可见光图像的B分量，x为原始可见光图像中像素点的横坐标，y为原始可见光图像中像素点的纵坐标，diff为最大差值的绝对值，index为差值绝对值最大的颜色分量，max()为最大值函数。

b.选择差值绝对值最大的颜色分量的图像，采用浮雕算法对其进行浮雕处

理，以获取对应的浮雕图像：

Img_emb(x,y)＝Img_index(x,y)-Img_index(x+1,y+1)+128

其中，Img_emb为生成的浮雕图像，x为原始可见光图像中像素点的横坐标，y为原始可见光图像中像素点的纵坐标，Img_index为上一步中找到的最大颜色分量的图像。

在S104中，对所述浮雕图像与所述红外图像进行融合处理，得到融合图像。

在本实施例中，红外传感器所获取的红外图像是灰度图像，步骤S103中所获取的浮雕图像也为灰度图像，为了将浮雕图像上的图像轮廓信息转移到红外图像上，采用了以下处理方式：

Img_mix(x,y)＝Img_IR(x,y)+Img_emb(x,y)-128

其中，Img_mix为生成的融合图像，Img_IR为红外图像，Img_emb为浮雕图像，x为原始可见光图像中像素点的横坐标，y为原始可见光图像中像素点的纵坐标。

本发明实施例提供的红外图像与可见光图像融合的方法由于首先获取同一视角的红外图像与可见光图像，然后对可见光图像进行平滑滤波处理、对平滑滤波处理后的可见光图像进行浮雕处理，以获取对应浮雕图像，最后对浮雕图像与红外图像进行融合处理，得到融合图像，从而可以使图像中的细节显示更加明确，使检修人员可以快速获取设备的温度、位置及形态信息，进而能够使检修人员快速、准确的识别出设备中超过指定温度极限的部件，提高检修人员对故障部件的检修效率。

图2是本发明另一实施例提供的红外图像与可见光图像融合的方法的具体实现流程图。参见图2所示，相对于上一实施例，本实施例中在S204之后还包括：

在S205中，对所述融合图像进行伪彩色处理，以获取对应的伪彩色图像。

本实施例中的S201～S204与上一实施例中的S101～S104完全相同，因此，这里不再详细阐述。相对于上一实施例，本实施例中进一步将融合图像转化为伪彩色图像，更能表现出温度差异的变化，进一步提高了检测人员检修人员识别出设备中超过指定温度极限的部件的速度与准确率，提高检修人员对故障部件的检修效率。

图3示出了本发明实施例提供的红外图像与可见光图像融合的系统的结构框图，该系统用于执行本发明图1实施例所述的红外图像与可见光图像融合的方法。为了便于说明，仅示出了与本实施例相关的部分。

参见图3所示，本发明实施例提供的红外图像与可见光图像融合的系统包括：

图像获取模块1，用于获取同一视角的红外图像与可见光图像；

滤波处理模块2，用于对可见光图像进行平滑滤波处理；

浮雕处理模块3，用于对平滑滤波处理后的可见光图像进行浮雕处理，以获取对应浮雕图像；

融合处理模块4，用于对所述浮雕图像与所述红外图像进行融合处理，得到融合图像。

进一步的，所述滤波处理模块2具体用于：

若所述可见光图像为灰度图像，则直接采用浮雕算法对所述可见光图像进行浮雕处理，以获取对应的浮雕图像；

若所述可见光图像为彩色图像，则使用高斯滤波器对所述彩色图像中三个颜色分量的图像分别进行平滑滤波处理。

进一步的，所述浮雕处理模块包括：

浮雕算法处理单元31，用于若所述可见光图像为灰度图像，则直接采用浮雕算法对所述可见光图像进行浮雕处理，以获取对应的浮雕图像；

彩色图像颜色分量处理单元32，用于若所述可见光图像为彩色图像，则找出所述可见光图像的三个颜色分量中当前像素点的颜色值与其右下相邻像素点的颜色值之间的差值绝对值最大的颜色分量的图像；

浮雕算法处理单元31，还用于采用浮雕算法对所述差值绝对值最大的颜色分量的图像进行浮雕处理，以获取对应的浮雕图像。

进一步的，所述融合处理模块4具体用于：

将所述浮雕图像的图像轮廓信息转移到所述红外图像上，生成融合图像。

本发明实施例提供的红外图像与可见光图像融合的系统由于首先获取同一视角的红外图像与可见光图像，然后对可见光图像进行平滑滤波处理、对平滑滤波处理后的可见光图像进行浮雕处理，以获取对应浮雕图像，最后对浮雕图像与红外图像进行融合处理，得到融合图像，从而可以使图像中的细节显示更加明确，使检修人员可以快速获取设备的温度、位置及形态信息，进而能够使检修人员快速、准确的识别出设备中超过指定温度极限的部件，提高检修人员对故障部件的检修效率。

图4示出了本发明另一实施例提供的红外图像与可见光图像融合的系统的结构框图，该系统用于执行本发明图2实施例所述的红外图像与可见光图像融合的方法。为了便于说明，仅示出了与本实施例相关的部分。

参见图4所示，相对于上一实施例本实施例提供的红外图像与可见光图像融合的系统还包括：

伪彩色处理模块5，用于对所述融合图像进行伪彩色处理，以获取对应的伪彩色图像。

相对于上一实施例，本实施例中的伪彩色处理模块5可以进一步将融合图像转化为伪彩色图像，其更能表现出温度差异的变化，进一步提高了检测人员检修人员识别出设备中超过指定温度极限的部件的速度与准确率，提高检修人员对故障部件的检修效率。

上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种红外图像与可见光图像融合的方法，其特征在于，包括：

获取同一视角的红外图像与可见光图像；

对所述可见光图像进行平滑滤波处理；

对经过平滑滤波处理后的可见光图像进行浮雕处理，以获取对应的浮雕图像，包括：

若所述可见光图像为灰度图像，则直接采用浮雕算法对所述可见光图像进行浮雕处理，以获取对应的浮雕图像，其浮雕算法如下：

Img_emb(x,y)＝Img_denoise(x,y)-Img_denoise(x+1,y+1)+128；

Img_denoise为经过平滑处理后的可见光图像，x为经过平滑处理后的可见光图像中像素点的横坐标，y为经过平滑处理后的可见光图像中像素点的纵坐标，Img_emb为生成的浮雕图像；

若所述可见光图像为彩色图像，则找出所述可见光图像的三个颜色分量中当前像素点的颜色值与其右下相邻像素点的颜色值之间的差值绝对值最大的颜色分量的图像，采用浮雕算法对所述差值绝对值最大的颜色分量的图像进行浮雕处理，以获取对应的浮雕图像；

对所述浮雕图像与所述红外图像进行融合处理，得到融合图像；

对所述融合图像进行伪彩色处理，以获取对应的伪彩色图像。

2.如权利要求1所述的红外图像与可见光图像融合的方法，其特征在于，所述对可见光图像进行平滑滤波处理具体包括：

若所述可见光图像为灰度图像，则直接使用高斯滤波器对所述可见光图像进行平滑滤波处理；

若所述可见光图像为彩色图像，则使用高斯滤波器对所述彩色图像中三个颜色分量的图像分别进行平滑滤波处理。

3.如权利要求2所述的红外图像与可见光图像融合的方法，其特征在于，对所述浮雕图像与所述红外图像进行融合处理，得到融合图像具体包括：

将所述浮雕图像的图像轮廓信息转移到所述红外图像上，生成融合图像。

4.一种红外图像与可见光图像融合的系统，其特征在于，包括：

图像获取模块，用于获取同一视角的红外图像与可见光图像；

滤波处理模块，用于对所述可见光图像进行平滑滤波处理；

浮雕处理模块，用于对经过平滑滤波处理后的可见光图像进行浮雕处理，以获取对应的浮雕图像，包括：

若所述可见光图像为灰度图像，则直接采用浮雕算法对所述可见光图像进行浮雕处理，以获取对应的浮雕图像，其浮雕算法如下：

Img_emb(x,y)＝Img_denoise(x,y)-Img_denoise(x+1,y+1)+128；

Img_denoise为经过平滑处理后的可见光图像，x为经过平滑处理后的可见光图像中像素点的横坐标，y为经过平滑处理后的可见光图像中像素点的纵坐标，Img_emb为生成的浮雕图像；

若所述可见光图像为彩色图像，则找出所述可见光图像的三个颜色分量中当前像素点的颜色值与其右下相邻像素点的颜色值之间的差值绝对值最大的颜色分量的图像，采用浮雕算法对所述差值绝对值最大的颜色分量的图像进行浮雕处理，以获取对应的浮雕图像；

融合处理模块，用于对所述浮雕图像与所述红外图像进行融合处理，得到融合图像；对所述融合图像进行伪彩色处理，以获取对应的伪彩色图像。

5.如权利要求4所述的红外图像与可见光图像融合的系统，其特征在于，所述滤波处理模块具体用于：

若所述可见光图像为灰度图像，则直接采用浮雕算法对所述可见光图像进行浮雕处理，以获取对应的浮雕图像；

若所述可见光图像为彩色图像，则使用高斯滤波器对所述彩色图像中三个颜色分量的图像分别进行平滑滤波处理。

6.如权利要求5所述的红外图像与可见光图像融合的系统，其特征在于，所述融合处理模块具体用于：

提取所述浮雕图像的图像轮廓信息，并将所述图像轮廓信息转移到所述红外图像上，生成融合图像。