CN113298192A - 红外光图像与可见光图像的融合方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种红外光图像与可见光图像的融合方法、装置及存储介质，针对由于环境亮度不足，在拍摄时，需要将图像采集设备的曝光量和增益调节到非常大，则会引入大量的噪声遮蔽细节，而采用红外光拍摄的话，则缺乏对场景中色彩的捕捉，导致拍摄效果差的问题，通过将可见光图像的亮度调节至不低于红外光图像的亮度；以红外光图像作为引导图像，对可见光图像进行引导滤波，消除可见光图像的噪声；将滤波后的可见光图像转换为YUV格式的图像，将YUV格式图像中的Y通道数据替换为红外光图像的数据，将替换数据之后的YUV图像转换为RGB格式的图像，完成可见光图像与红外光图像的融合。从而使图像传感器得到色彩丰富且细节清晰的图像。

Description

红外光图像与可见光图像的融合方法、装置及存储介质

技术领域

本发明属于图像处理的技术领域，尤其涉及一种红外光图像与可见光图像的融合方法、装置及存储介质。

背景技术

目前，在一些拍摄的应用场合，单一可见光图像难以达到理想的拍摄效果，如由于环境亮度的不足，需要将图像采集设备的曝光量和增益调节到非常大，这样虽然能够保证图像的亮度达到预期，但却会引入大量的噪声，拍摄的场景会被大量的噪声遮蔽细节。而红外光具有优异的成像效果，在昏暗的环境下也能得到细节完整的图像，但是其缺乏对场景中色彩的捕捉。

若能将可见光图像与红外光图像进行融合，则可得到色彩丰富且细节清晰的图像。但是，一般的图像采集设备器难以实现二者有效地融合。

发明内容

本发明的目的是提供一种红外光图像与可见光图像的融合方法、装置及存储介质，能快速有效地融合可见光图像和红外光图像，使应用该融合方法的图像传感器无论环境亮度如何，都能得到色彩丰富且细节清晰的图像。

为解决上述问题，本发明的技术方案为：

一种红外光图像与可见光图像的融合方法，包括以下步骤：

提供初始可见光图像及初始红外光图像，对所述初始可见光图像及所述初始红外光图像进行运算调节，以对应得到第一可见光图像及第一红外光图像，其中，所述第一可见光图像的亮度不低于所述第一红外光图像的亮度；

以所述第一红外光图像作为引导图像，对所述第一可见光图像进行引导滤波，以降低所述第一可见光图像的噪声，得到第二可见光图像；

将所述第二可见光图像转换为YUV格式的图像，并将所述YUV格式的图像中的Y通道数据替换为所述第一红外光图像的数据，得到数据替换图像，将所述数据替换图像转换为RGB格式的图像，以得到融合图像。

根据本发明一实施例，获取所述第一可见光图像及所述第一红外光图像的方式包括：

计算所述初始可见光图像的平均亮度值及所述初始红外光图像的平均亮度值，如果前者大于等于后者，则所述初始可见光图像作为所述第一可见光图像，所述初始红外光图像作为所述第一红外光图像；如果前者小于后者，则调节所述初始可见光图像及所述初始红外光图像中至少一者的亮度，以对应得到所述第一可见光图像及所述第一红外光图像。

根据本发明一实施例，调节初始可见光图像及初始红外光图像中至少一者的亮度的方法包括：

调节曝光时间、增益及Gamma曲线中的至少一者，以使得得到的所述第一可见光图像的亮度不低于所述第一红外光图像的亮度。

根据本发明一实施例，当所述初始可见光图像的平均亮度值小于所述初始红外光图像的平均亮度值时，得到所述第一可见光图像及所述第一红外光图像的方式包括：

调节所述初始可见光图像的亮度以得到所述第一可见光图像，使得所述第一可见光图像的亮度不低于所述初始红外光图像的亮度，所述初始红外光图像作为所述第一红外光图像。

根据本发明一实施例，获取所述第一可见光图像的亮度及所述第一红外光图像的亮度方式包括：

计算所述第一红外光图像的平均亮度值Nir_average，作为所述第一红外光图像的亮度值；

将所述第一可见光图像转为灰度图像Gray_Vis，统计Gray_Vis图像的平均亮度值Vis_average，作为所述第一可见光图像的亮度值；

其中，控制所述平均亮度值Vis_average不低于所述平均亮度值Nir_average，以得到所述第一可见光图像及所述第一红外光图像。

根据本发明一实施例，将所述第一可见光图像按如下公式转为灰度图像Gray_Vis：

Gray_Vis＝Vis_R*0.299+Vis_G*0.587+Vis_B*0.114

其中，Vis_R，Vis_G，Vis_B分别为所述第一可见光图像的R通道，G通道，B通道的像素值。

根据本发明一实施例，得到所述第二可见光图像的方式包括：

分别创建图像矩阵Var_Nir，Cov_Nir，aMat，bMat，按照如下公式求解图像矩阵Var_Nir，Cov_Nir，aMat，bMat的值：

Var_Nir＝Nir_square_ave-Nir_ave*Nir_ave

Cov_Nir＝Cov_ave-Vis_ave*Nir_ave

aMat＝Cov_Nir/(Var_Nir+1)

bMat＝Vis_ave-aMat*Nir_ave

其中，Vis_ave为所述第一可见光图像Vis的平均值图像矩阵，Nir_ave为所述第一红外光图像Nir的平均值图像矩阵，Nir_square_ave为所述第一红外光图像的平方的平均值图像矩阵，Cov_ave为所述第一红外光图像与所述第一可见光图像的像素点乘积的平均值图像矩阵；

设进行引导滤波的结果图像为Res_GF，得到所述第二可见光图像，则：

Res_GF＝aMat_ave*Nir+bMat_ave

其中，aMat_ave为aMat图像矩阵的平均值图像矩阵，bMat_ave为bMat图像矩阵的平均值图像矩阵。

根据本发明一实施例，获取平均值图像矩阵的方式包括：

对于像素点i，计算以i为中心以R为半径窗口内的像素平均值ave_(i)，将ave_(i)数值赋予平均值图像矩阵的像素点i。

根据本发明一实施例，将所述第二可见光图像转换为所述YUV格式图像的方式包括：

设第二可见光图像为Res_GF，按如下公式将所述第二可见光图像Res_GF转换为YUV格式的图像YUV_GF：

YUV_GFY＝0.299*Res_GF_R+0.587*Res_GF_G+0.114*Res_GF_B

YUV_GFU＝-0.147*Res_GF_R-0.289*Res_GF_G+0.436*Res_GF_B

YUV_GFV＝0.615*Res_GF_R-0.515*Res_GF_G-0.100*Res_GF_B

其中，YUV_GFY，YUV_GFU，YUV_GFV分别表示YUV_GF图像的Y，U，V通道的像素值，Res_GF_R，Res_GF_G，Res_GF_B分别为Res_GF图像R，G，B通道的像素值。

根据本发明一实施例，得到所述融合图像的方式包括：

按如下公式得到所述融合图像FusionRes：

FusionRes_R＝Nir+1.14*YUV_GFV

FusionRes_G＝Nir-0.39*YUV_GFU-0.58*YUV_GFV

FusionRes_B＝Nir+2.03*YUV_GFU

其中，FusionRes_R，FusionRes_G，FusionRes_B分别为所述融合图像FusionRes的R，G，B通道的像素值，其中，所述YUV格式的图像中的Y通道数据替换为所述第一红外光图像Nir的数据。

根据本发明一实施例，所述初始可见光图像及所述初始红外光图像基于一帧获得。

一种图像获取装置，所述图像获取装置包括图像融合模块，所述图像融合模块用于基于本发明一实施例中的红外光图像与可见光图像的融合方法进行图像融合。

根据本发明一实施例，所述图像融合模块包括以下模块：

亮度调节模块，用于对所述初始可见光图像及所述初始红外光图像进行运算调节，以对应得到第一可见光图像及第一红外光图像，其中，所述第一可见光图像的亮度不低于所述第一红外光图像的亮度；

导向滤波模块，用于以所述第一红外光图像作为引导图像，对所述第一可见光图像进行引导滤波，以降低所述第一可见光图像的噪声，得到第二可见光图像；

融合模块，用于将所述第二可见光图像转换为YUV格式的图像，并将所述YUV格式的图像中的Y通道数据替换为所述第一红外光图像的数据，得到数据替换图像，将所述数据替换图像转换为RGB格式的图像，以得到融合图像。

根据本发明一实施例，所述图像获取装置包括通讯连接的图像传感器及运算单元，所述亮度调节模块及所述融合模块集成在所述图像传感器上，所述导向滤波模块集成在所述运算单元上。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明一实施例中的红外光图像与可见光图像的融合方法。

本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：

本发明一实施例中的红外光图像与可见光图像的融合方法，可以有效实现可见光图像和红外光图像的融合；针对由于环境亮度不足，在拍摄时，需要将图像采集设备的曝光量和增益调节到非常大，从而引入大量的噪声遮蔽细节，而采用红外光拍摄的话，则缺乏对场景中色彩的捕捉，导致拍摄效果差的问题，通过将可见光图像的亮度调节至不低于红外光图像的亮度；以红外光图像作为引导图像，对可见光图像进行引导滤波，消除可见光图像的噪声；将滤波后的可见光图像转换为YUV格式的图像，将YUV格式图像中的Y通道数据替换为红外光图像的数据，将替换数据之后的YUV图像转换为RGB格式的图像，完成可见光图像与红外光图像的融合。从而使图像传感器在得到色彩丰富的可见光图像和细节清晰的红外光图像之后，进行快速有效地融合，得到色彩丰富且细节清晰的图像。

附图说明

图1为本发明一实施例中的红外光图像与可见光图像的融合方法流图；

图2(a)为本发明一实施例中的一种像素阵列排布示意图；

图2(b)为本发明一实施例中的另一种像素阵列排布示意图；

图3为本发明一实施例中的像素点位置示意图；

图4为本发明一实施例中的红外光图像与可见光图像的融合装置框图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种红外光图像与可见光图像的融合、装置及存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。

实施例一

本实施例针对在一些拍摄的应用场合，单一可见光图像难以达到理想的拍摄效果，如由于环境亮度不足，在拍摄时需要将图像采集设备的曝光量和增益调节到非常大，从而引入大量的噪声遮蔽细节，而采用红外光拍摄的话，则缺乏对场景中色彩的捕捉，导致拍摄效果差的问题，提供了一种红外光图像与可见光图像的融合方法，可有效地实现对可见光图像与红外光图像的融合。从而使图像传感器在得到色彩丰富的可见光图像和细节清晰的红外光图像之后，进行有效地融合，即便在昏暗的环境下，也能得到色彩丰富且细节清晰的图像。

具体的，请参看图1，该红外光图像与可见光图像的融合方法包括以下步骤：

S1：提供初始可见光图像及初始红外光图像，对初始可见光图像及初始红外光图像进行运算调节，以对应得到第一可见光图像及第一红外光图像，其中，第一可见光图像的亮度不低于第一红外光图像的亮度；

S2：以第一红外光图像作为引导图像，对第一可见光图像进行引导滤波，以降低第一可见光图像的噪声，得到第二可见光图像；

S3：将第二可见光图像转换为YUV格式的图像，并将YUV格式的图像中的Y通道数据替换为第一红外光图像的数据，得到数据替换图像，将数据替换图像转换为RGB格式的图像，以得到融合图像。

在步骤S1中，提供初始可见光图像及初始红外光图像的图像传感器的像素阵列包括可以接收可见光的像素和可以接收红外光的像素，该初始可见光图像及初始红外光图像可以来自图像传感器的一帧或不同帧。

在一示例中，初始可见光图像及初始红外光图像来自图像传感器的同一帧，在一帧曝光过程中同时获得可见光的信息和红外光的信息有利于提高合成图像的质量。在一可选示例中，该图像传感器的像素阵列可如图2(a)或2(b)排列，通过这两种像素排列方式，都可在同一帧获得初始可见光图像及初始红外光图像。以图2(a)为例，对于4×4的像素阵列，可以是同时得到2×2排布的RGGB初始可将光图像和2×2排布的IR对应的初始红外光图像，可以采用现有的插值方式获取，当然，也可以是其他同时获得所述初始可见光图像和所述初始红外光图像的方式。其中，IR对应只透过红外光的像素，可较好地捕捉图像细节；R、G、B主要对应可透过可见光的像素，能较好地捕捉图像色彩。

获取第一可见光图像及第一红外光图像的方式包括：

计算初始可见光图像的平均亮度值及初始红外光图像的平均亮度值，如果前者大于等于后者，则该初始可见光图像作为第一可见光图像，该初始红外光图像作为第一红外光图像；如果前者小于后者，则调节该初始可见光图像及该初始红外光图像中至少一者的亮度，以对应得到第一可见光图像及第一红外光图像。

其中，调节初始可见光图像及初始红外光图像中至少一者的亮度的方法包括：调节曝光时间、增益及Gamma曲线中的至少一者，以使得得到的第一可见光图像的亮度不低于第一红外光图像的亮度。

在实际应用中，可通过图像采集设备调节初始可见光图像与初始红外光图像的曝光时间、增益以及Gamma曲线中的至少一者，使得得到的第一可见光图像的亮度Vis_average不低于第一红外光图像的亮度Nir_average。例如，可以是在图像传感器senser上集成现有的用于调节亮度的模块，基于该模块实现对图像的曝光时间、增益以及Gamma曲线中的至少一者的调节，得到所需的亮度需求。另外，还可以是采用外置的模块demo进行调节，得到满足需要条件对应的参数，如曝光时长、增益等，将该参数存储至图像传感器senser中，从而得到满足条件的第一可见光图像和第一红外光图像。另外，在另一示例中，当图像传感器senser具有自动曝光功能时，还可以是直接设定对应第一可见光图像像素的目标亮度参数和对应第一红外光图像的目标亮度参数，从而可以直接得到满足要求的图像。

其中，得到第一可见光图像及第一红外光图像的方式包括：调节初始可见光图像的亮度以得到第一可见光图像，使得该第一可见光图像的亮度不低于初始红外光图像的亮度，该初始红外光图像作为第一红外光图像。

获取第一可见光图像的亮度及第一红外光图像的亮度方式包括：计算第一红外光图像的平均亮度值Nir_average，作为该第一红外光图像的亮度值。

在一示例中，将第一可见光图像转为灰度图像Gray_Vis，统计灰度图像Gray_Vis的平均亮度值Vis_average，作为该第一可见光图像的亮度值；控制平均亮度值Vis_average不低于平均亮度值Nir_average，以得到第一可见光图像及第一红外光图像。

其中，将第一可见光图像按如下公式转为灰度图像Gray_Vis：

Gray_Vis＝Vis_R*0.299+Vis_G*0.587+Vis_B*0.114式中，Vis_R，Vis_G，Vis_B分别为第一可见光图像的R通道，G通道，B通道的像素值。

关于平均亮度值的计算为现有技术，例如，可以是像素阵列中每一像素的亮度值加和取平均，在此不做详细介绍。

在步骤S2中，以第一红外光图像作为引导图像，对第一可见光图像进行引导滤波，以降低第一可见光图像的噪声，得到第二可见光图像。该步骤中，以细节清晰的红外光图像作为引导图像，对含有大量噪声的可见光图像进行引导滤波，消除可见光图像存在的噪声。

可由如下步骤实现：

依次进行如下的计算：

(1)创建平均值图像矩阵Vis_ave：

遍历第一可见光图像Vis的所有像素点，进行如下计算：对于第一可见光图像的像素点i，计算以i为中心，以R为半径窗口内的像素平均值ave_Vis(i)，将ave_Vis(i)数值赋予该平均值图像矩阵Vis_ave的像素点i，其中，R为以i的中心为起点，向周围延伸的距离。该距离可以是两像素中心的距离，也可以是根据经验预设的距离。以此创建得到平均值图像矩阵Vis_ave。

在实际应用中，如图3所示，对于中间像素为i时，以R为半径窗口是指以i的中心为圆心，R为半径的圆(参见图中虚线所示)所覆盖的范围，在一可选示例中，R为像素i与最近邻像素的中心之间的距离，其中，最近邻像素是指，i像素的周围像素中，中心与像素i的中心之间的距离最短的像素。对于侧边接触的像素或角部对应的像素，虽然距离中间像素的距离不同，但是若在覆盖范围内的，就同属于一个窗口内的像素，也即该圆所遍历的像素属于一个窗口内的像素，如图3所示，填充像素为中间像素i，周围的8的未填充的像素为以R为半径的窗口内的像素。另外，在一示例中，计算平均值的过程中，可以是包括i的方式，也可以不包括i本身。此外，对于边缘上的像素，周围有几个就进行几个像素的平均，或者，不进行处理直接采用本身的像素值。

在一示例中，像素平均值ave_Vis(i)，可通过以下两种方式得到：

一种是，对于像素i以插值得到的RGB三通道的值进行矩阵创建。例如，像素i对应红色滤色器R，可以是采用现有的方式先插值得出对应的G和B值，然后，对应三个通道各自按照上述方式进行计算，即，构造的矩阵每个像素对应三个通道的值，后续计算中仍以此进行计算。

另一种是，以像素i本身对应的像素值进行计算，在得到第二可见光图像后，再插值成三通道的值。例如，像素i对应红色滤色器R，不考虑周围窗口内的像素对应的滤色器的颜色，以各像素对应的值进行计算，直到得到所述第二可见光图像后，再将得到的值采用现有插值方式得到三通道值。

(2)创建平均值图像矩阵Nir_ave：

遍历第一红外光图像Nir的所有像素点，进行如下计算：对于第一红外光图像的像素点i，计算以i为中心，以R为半径窗口内的像素平均值ave_Nir(i)，将ave_Nir(i)数值赋予该平均值图像矩阵Vis_ave的像素点i，其中，R为两像素中心的距离，以此创建得到平均值图像矩阵Nir_ave。

(3)创建平方值图像矩阵Nir_square和平均值平方图像矩阵Nir_square_ave：

遍历第一红外光图像Nir的所有像素点，进行如下计算：对于像素点i，计算其像素值的平方Val_square(i)，将Val_square(i)数值赋予平方值图像矩阵Nir_square的像素点i，以此创建得到平方值图像矩阵Nir_square。

进一步地，遍历该平方值图像矩阵Nir_square的所有像素点，对于像素点i，计算以i为中心，以R为半径窗口内的像素平均值ave_Nir_square(i)，将ave_Nir_square(i)数值赋予平均值图像Nir_square_ave的像素点i，以此创建得到平均值平方图像矩阵Nir_square_ave。

(4)创建图像矩阵Cov和平均值图像矩阵Cov_ave：

遍历第一红外光图像Nir和第一可见光图像Vis的所有像素点，进行如下计算：对于像素点i，计算第一红外光图像Nir的像素点i的值与第一可见光图像Vis像素点i的值的乘积Cov(i)，将Cov(i)数值赋予Cov图像矩阵的像素点i，以此创建得到图像矩阵Cov。

进一步地，遍历图像矩阵Cov的所有像素点，对于像素点i，计算以i为中心，以R为半径窗口内的像素平均值ave_Cov(i)，将ave_Cov(i)数值赋予平均值图像Cov_ave的像素点i，以此创建得到平均值图像矩阵Cov_ave。

(5)分别创建图像矩阵Var_Nir，Cov_Nir，aMat，bMat：

按照如下公式求解图像矩阵Var_Nir，Cov_Nir，aMat，bMat的值：

Var_Nir＝Nir_square_ave-Nir_ave*Nir_ave

Cov_Nir＝Cov_ave-Vis_ave*Nir_ave

aMat＝Cov_Nir/(Var_Nir+1)

bMat＝Vis_ave-aMat*Nir_ave

其中，“-”表示左右两侧矩阵相同位置的像素值相减，“*”表示左右两侧矩阵相同位置的像素值相乘，“＝”表示运算结果赋予左侧矩阵的相同位置，Var_Nir+1表示矩阵Var_Nir每个位置的值都加1。

(6)创建平均值图像矩阵aMat_ave：

遍历图像矩阵aMat的所有像素点，进行如下计算：对于像素点i，计算以i为中心，以R为半径窗口内的像素平均值ave_aMat(i)，将ave_aMat(i)数值赋予平均值图像矩阵aMat_ave的像素点i，以此创建得到平均值图像矩阵aMat_ave。

(7)创建平均值图像矩阵bMat_ave：

遍历图像矩阵bMat的所有像素点，进行如下计算：对于像素点i，计算以i为中心，以R为半径窗口内的像素平均值ave_bMat(i)，将ave_bMat(i)数值赋予平均值图像矩阵bMat_ave的像素点i，以此创建得到平均值图像矩阵bMat_ave。

(8)设导向滤波的结果图像为Res_GF，以此得到第二可见光图像：

Res_GF＝aMat_ave*Nir+bMat_ave

其中，“*”表示左右两侧矩阵相同位置的像素值相乘，“+”表示左右两侧矩阵相同位置的像素值相加，“＝”表示运算结果赋予左侧矩阵的相同位置。

在步骤S3中，将第二可见光图像转换为YUV格式的图像，并将YUV格式的图像中的Y通道数据替换为第一红外光图像的数据，得到数据替换图像，将数据替换图像转换为RGB格式的图像，以得到融合图像。

可由以下方式实现：

(1)按如下公式将第二可见光图像转换为YUV格式的图像YUV_GF：

YUV_GFY＝0.299*Res_GF_R+0.587*Res_GF_G+0.114*Res_GF_B

YUV_GFU＝-0.147*Res_GF_R-0.289*Res_GF_G+0.436*Res_GF_B

YUV_GFV＝0.615*Res_GF_R-0.515*Res_GF_G-0.100*Res_GF_B

其中，YUV_GFY，YUV_GFU，YUV_GFV分别表示YUV_GF图像的Y，U，V通道的像素值，Res_GF_R，Res_GF_G，Res_GF_B分别为Res_GF图像R，G，B通道的像素值。

需要说明的是，此处以上述示例中的Res_GF表示所述第二可见光图像，以便于描述，可以理解的，当采用其他方式得到所述第二可见光图像时，仍可以采用本示例中步骤S3的方式得到所述融合图像。

(2)将YUV格式的图像YUV_GF中的Y通道数据替换为第一红外光图像Nir的数据，得到数据替换图像，将数据替换图像转换为RGB格式的图像，以得到融合图像。按如下公式得到图像YUV_GF和第一红外光图像Nir的融合结果图像FusionRes：

FusionRes_R＝Nir+1.14*YUV_GFV

FusionRes_G＝Nir-0.39*YUV_GFU-0.58*YUV_GFV

FusionRes_B＝Nir+2.03*YUV_GFU

其中，FusionRes_R，FusionRes_G，FusionRes_B分别为融合结果图像FusionRes的R，G，B通道的像素值。

本实施例中的红外光图像与可见光图像的融合方法，可以有效实现可见光图像和红外光图像的融合；针对由于环境亮度不足，在拍摄时，需要将图像采集设备的曝光量和增益调节到非常大，从而引入大量的噪声遮蔽细节，而采用红外光拍摄的话，则缺乏对场景中色彩的捕捉，导致拍摄效果差的问题，通过将可见光图像的亮度调节至不低于红外光图像的亮度；以红外光图像作为引导图像，对可见光图像进行引导滤波，消除可见光图像的噪声；将滤波后的可见光图像转换为YUV格式的图像，将YUV格式图像中的Y通道数据替换为红外光图像的数据，将替换数据之后的YUV图像转换为RGB格式的图像，完成可见光图像与红外光图像的融合。从而使图像传感器在得到色彩丰富的可见光图像和细节清晰的红外光图像之后，进行快速有效地融合，得到色彩丰富且细节清晰的图像。

在图像采集设备具有自动曝光调节功能时，设置好可见光图像与红外光图像的目标亮度值之后，无需人工干预，能够自动完成可见光图像与红外光图像的融合任务。本实施例提供的红外光图像与可见光图像的融合方法适用于图像和视频的可见光与红外光图像融合，尤其适用于夜间拍摄的图像传感器。

实施例二

本实施例提供了一种图像获取装置，该图像获取装置包括图像融合模块，该图像融合模块用于基于上述实施例一中的红外光图像与可见光图像的融合方法进行图像融合。可以理解，该图像获取装置可以与获取初始可见光图像及初始红外光图像的图像传感器连接，也可以包含该图像传感器，以快速地获取初始可见光图像及初始红外光图像，从而完成对红外光图像与可见光图像的融合。

具体的，请参看图4，该图像融合模块包括以下模块：

亮度调节模块1，用于对初始可见光图像及初始红外光图像进行运算调节，以对应得到第一可见光图像及第一红外光图像，其中，第一可见光图像的亮度不低于第一红外光图像的亮度；

导向滤波模块2，用于以第一红外光图像作为引导图像，对第一可见光图像进行引导滤波，以降低第一可见光图像的噪声，得到第二可见光图像；

融合模块3，用于将第二可见光图像转换为YUV格式的图像，并将YUV格式的图像中的Y通道数据替换为第一红外光图像的数据，得到数据替换图像，将数据替换图像转换为RGB格式的图像，以得到融合图像。

在实际应用中，该图像获取装置可以包括通讯连接的图像传感器及运算单元，亮度调节模块1及融合模块3可集成在图像传感器上，而导向滤波模块2集成在运算单元上。该图像获取装置工作时，首先通过图像传感器获取初始可见光图像及初始红外光图像，并传输给亮度调节模块1进行亮度调节，得到第一可见光图像及第一红外光图像，且满足第一可见光图像的亮度不低于第一红外光图像的亮度；然后，将第一可见光图像及第一红外光图像输出至运算单元中的导向滤波模块2，导向滤波模块2以第一红外光图像作为引导图像，对第一可见光图像进行引导滤波，以降低第一可见光图像的噪声，得到第二可见光图像；最后将第二可见光图像与第一红外光图像输出至图像传感器中的融合模块3，该融合模块3将第二可见光图像转换为YUV格式的图像，并将YUV格式的图像中的Y通道数据替换为第一红外光图像的数据，得到数据替换图像，将数据替换图像转换为RGB格式的图像，以得到融合图像。

该图像传感器可以是CMOS图像传感器，该运算单元可以是FPGA，二者之间可以是采用mipi、dvp、lvdp传输协议进行数据交互。

上述亮度调节模块1、导向滤波模块2及融合模块3的功能及实现方法均如上述实施例一中所述，在此不再赘述。

实施例三

本实施例提供了一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的红外光图像与可见光图像的融合方法的步骤。

实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only memory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (15)

1.一种红外光图像与可见光图像的融合方法，其特征在于，包括以下步骤：

提供初始可见光图像及初始红外光图像，对所述初始可见光图像及所述初始红外光图像进行运算调节，以对应得到第一可见光图像及第一红外光图像，其中，所述第一可见光图像的亮度不低于所述第一红外光图像的亮度；

以所述第一红外光图像作为引导图像，对所述第一可见光图像进行引导滤波，以降低所述第一可见光图像的噪声，得到第二可见光图像；

将所述第二可见光图像转换为YUV格式的图像，并将所述YUV格式的图像中的Y通道数据替换为所述第一红外光图像的数据，得到数据替换图像，将所述数据替换图像转换为RGB格式的图像，以得到融合图像。

2.如权利要求1所述的红外光图像与可见光图像的融合方法，其特征在于，获取所述第一可见光图像及所述第一红外光图像的方式包括：

计算所述初始可见光图像的平均亮度值及所述初始红外光图像的平均亮度值，如果前者大于等于后者，则所述初始可见光图像作为所述第一可见光图像，所述初始红外光图像作为所述第一红外光图像；如果前者小于后者，则调节所述初始可见光图像及所述初始红外光图像中至少一者的亮度，以对应得到所述第一可见光图像及所述第一红外光图像。

3.如权利要求2所述的红外光图像与可见光图像的融合方法，其特征在于，调节初始可见光图像及初始红外光图像中至少一者的亮度的方法包括：

调节曝光时间、增益及Gamma曲线中的至少一者，以使得得到的所述第一可见光图像的亮度不低于所述第一红外光图像的亮度。

4.如权利要求2所述的红外光图像与可见光图像的融合方法，其特征在于，当所述初始可见光图像的平均亮度值小于所述初始红外光图像的平均亮度值时，得到所述第一可见光图像及所述第一红外光图像的方式包括：

调节所述初始可见光图像的亮度以得到所述第一可见光图像，使得所述第一可见光图像的亮度不低于所述初始红外光图像的亮度，所述初始红外光图像作为所述第一红外光图像。

5.如权利要求1所述的红外光图像与可见光图像的融合方法，其特征在于，获取所述第一可见光图像的亮度及所述第一红外光图像的亮度方式包括：

计算所述第一红外光图像的平均亮度值Nir_average，作为所述第一红外光图像的亮度值；

将所述第一可见光图像转为灰度图像Gray_Vis，统计Gray_Vis图像的平均亮度值Vis_average，作为所述第一可见光图像的亮度值；

其中，控制所述平均亮度值Vis_average不低于所述平均亮度值Nir_average，以得到所述第一可见光图像及所述第一红外光图像。

6.如权利要求5所述的红外光图像与可见光图像的融合方法，其特征在于，将所述第一可见光图像按如下公式转为灰度图像Gray_Vis：

Gray_Vis＝Vis_R*0.299+Vis_G*0.587+Vis_B*0.114

其中，Vis_R，Vis_G，Vis_B分别为所述第一可见光图像的R通道，G通道，B通道的像素值。

7.如权利要求1所述的红外光图像与可见光图像的融合方法，其特征在于，得到所述第二可见光图像的方式包括：

分别创建图像矩阵Var_Nir，Cov_Nir，aMat，bMat，按照如下公式求解图像矩阵Var_Nir，Cov_Nir，aMat，bMat的值：

Var_Nir＝Nir_square_ave-Nir_ave*Nir_ave

Cov_Nir＝Cov_ave-Vis_ave*Nir_ave

aMat＝Cov_Nir/(Var_Nir+1)

bMat＝Vis_ave-aMat*Nir_ave

其中，Vis_ave为所述第一可见光图像Vis的平均值图像矩阵，Nir_ave为所述第一红外光图像Nir的平均值图像矩阵，Nir_square_ave为所述第一红外光图像的平方的平均值图像矩阵，Cov_ave为所述第一红外光图像与所述第一可见光图像的像素点乘积的平均值图像矩阵；

设进行引导滤波的结果图像为Res_GF，得到所述第二可见光图像，则：

Res_GF＝aMat_ave*Nir+bMat_ave

其中，aMat_ave为aMat图像矩阵的平均值图像矩阵，bMat_ave为bMat图像矩阵的平均值图像矩阵。

8.如权利要求7所述的红外光图像与可见光图像的融合方法，其特征在于，获取平均值图像矩阵的方式包括：

对于像素点i，计算以i为中心，以R为半径窗口内的像素平均值ave_(i)，将ave_(i)数值赋予平均值图像矩阵的像素点i。

9.如权利要求1所述的红外光图像与可见光图像的融合方法，其特征在于，将所述第二可见光图像转换为所述YUV格式图像的方式包括：

设第二可见光图像为Res_GF，按如下公式将第二可见光图像转换为YUV格式的图像YUV_GF：

YUV_GFY＝0.299*Res_GF_R+0.587*Res_GF_G+0.114*Res_GF_B

YUV_GFU＝-0.147*Res_GF_R-0.289*Res_GF_G+0.436*Res_GF_B

YUV_GFV＝0.615*Res_GF_R-0.515*Res_GF_G-0.100*Res_GF_B

其中，YUV_GFY，YUV_GFU，YUV_GFV分别表示YUV_GF图像的Y，U，V通道的像素值，Res_GF_R，Res_GF_G，Res_GF_B分别为Res_GF图像的R，G，B通道的像素值。

10.如权利要求9所述的红外光图像与可见光图像的融合方法，其特征在于，得到所述融合图像的方式包括：

按如下公式得到所述融合图像FusionRes：

FusionRes_R＝Nir+1.14*YUV_GFV

FusionRes_G＝Nir-0.39*YUV_GFU-0.58*YUV_GFV

FusionRes_B＝Nir+2.03*YUV_GFU

其中，FusionRes_R，FusionRes_G，FusionRes_B分别为所述融合图像FusionRes的R，G，B通道的像素值，其中，所述YUV格式的图像中的Y通道数据替换为所述第一红外光图像Nir的数据。

11.如权利要求1-10中任意一项所述的红外光图像与可见光图像的融合方法，其特征在于，所述初始可见光图像及所述初始红外光图像基于一帧获得。

12.一种图像获取装置，其特征在于，所述图像获取装置包括图像融合模块，所述图像融合模块用于基于如权利要求1-11中任意一项所述的红外光图像与可见光图像的融合方法进行图像融合。

13.根据权利要求12所述的图像获取装置，其特征在于，所述图像融合模块包括以下模块：

亮度调节模块，用于对所述初始可见光图像及所述初始红外光图像进行运算调节，以对应得到第一可见光图像及第一红外光图像，其中，所述第一可见光图像的亮度不低于所述第一红外光图像的亮度；

导向滤波模块，用于以所述第一红外光图像作为引导图像，对所述第一可见光图像进行引导滤波，以降低所述第一可见光图像的噪声，得到第二可见光图像；

融合模块，用于将所述第二可见光图像转换为YUV格式的图像，并将所述YUV格式的图像中的Y通道数据替换为所述第一红外光图像的数据，得到数据替换图像，将所述数据替换图像转换为RGB格式的图像，以得到融合图像。

14.如权利要求13所述的图像获取装置，其特征在于，所述图像获取装置包括通讯连接的图像传感器及运算单元，所述亮度调节模块及所述融合模块集成在所述图像传感器上，所述导向滤波模块集成在所述运算单元上。

15.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11中任意一项所述的红外光图像与可见光图像的融合方法。

Images