CN111369486B - 一种图像融合处理方法及装置 - Google Patents

Abstract

本发明提供了一种图像融合处理方法及装置，其中，该方法包括：获取彩色图像和红外图像；将所述彩色图像进行颜色空间转换；分别确定转换后的彩色图像的Y通道图像与该红外图像的亮度差图像、梯度差图像；根据该亮度差图像、该梯度差图像以及该彩色图像的颜色差异系数确定该彩色图像与红外图像的目标权重判定图；确定该红外图像的初始融合权重图，并根据该目标权重判定图对该初始融合权重图进行修正，得到该Y通道图像与该红外图像的目标融合权重图；根据该Y通道图像与该彩色图像的目标融合权重图对该Y通道图像与该红外图像进行图像融合，得到融合图像，可以解决相关技术中红外图像和可见光图像的融合只考虑了亮度空间的融合，容易产生偏色现象的问题，避免出现偏色现象。

Description

一种图像融合处理方法及装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图像融合处理方法及装置。

背景技术

当环境较暗时，相机或监控设备用可见光摄取的图像和视频质量常常很差，主要表现为画面亮度低，噪声较大。而夜间红外图像的亮度和细节信息都远好于可见光图像，所以红外图像和可见光图像的融合问题亟待解决。该融合技术主要应用于视频监控领域的低照度成像优化。

现有的红外图像和可见光图像融合方法只考虑了亮度空间的融合，因为红外光只含有红外的反射信息，没有颜色信息，使用融合后的亮度图直接转换到彩色图像很容易产生偏色的现象，对饱和度较低且亮度较小的区域尤为明显。

针对相关技术中红外图像和可见光图像的融合只考虑了亮度空间的融合，容易产生偏色现象的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种图像融合处理方法及装置，以至少解决相关技术中红外图像和可见光图像的融合只考虑了亮度空间的融合，容易产生偏色现象的问题。

根据本发明的一个实施例，提供了一种图像融合处理方法，包括：

获取彩色图像和红外图像，并将所述彩色图像进行颜色空间转换；

分别确定转换后的所述彩色图像的Y通道图像与所述红外图像的亮度差图像、梯度差图像；

根据所述亮度差图像、所述梯度差图像以及所述彩色图像的颜色差异系数确定所述彩色图像与红外图像的目标权重判定图，其中，所述颜色差异系数用于指示颜色的偏色程度；

确定所述红外图像的初始融合权重图，并根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图；

根据所述第一目标融合权重图与所述第二目标融合权重图对所述Y通道图像与所述红外图像进行图像融合，得到融合图像。

可选地，分别确定转换后的所述彩色图像的Y通道图像与所述红外图像的亮度差图像、梯度差图像包括：

确定所述Y通道图像与所述红外图像的亮度差，将小于0的所述亮度差的值设置为0之后确定亮度差图像；

确定所述Y通道图像的梯度图与所述红外图像的梯度图的梯度差，将小于0的所述梯度差设置为0之后确定梯度差图像。

可选地，根据所述亮度差图像、所述梯度差图像以及所述彩色图像的颜色差异系数确定所述彩色图像与红外图像的目标权重判定图包括：

根据所述彩色图像的Cb通道图像与Cr通道图像确定所述彩色图像的颜色差异系数；

对所述颜色差异系数进行归一化处理，得到归一化之后的颜色差异系数；

根据所述亮度差图像、所述梯度差图像以及所述归一化之后的颜色差异系数确定所述目标权重判定图。

可选地，所述方法还包括：

通过以下方式根据所述彩色图像的Cb通道图像与Cr通道图像确定所述彩色图像的颜色差异系数：

C_d(x)＝|C_b(x)-0.5|+|C_r(x)-0.5|，其中，x为图像中的一个像素，C_d(x)为的所述颜色差异系数，C_b(x)为所述Cb通道图像中像素x的颜色值，C_r(x)为所述Cr通道图像中像素x的颜色值；

通过以下方式对所述颜色差异系数进行归一化处理，得到归一化之后的颜色差异系数：

C'_d(x)＝(C_d(x)-C_{d_min}(x))(C_{d_max}(x)-C_{d_min}(x))，C_'d(x)为所述归一化之后的颜色差异系数，C_{d_min}(x)为所述C_d(x)中像素x的最小值，C_{d_max}(x)为所述C_d(x)中像素x的最大值。

可选地，根据所述亮度差图像、所述梯度差图像以及所述归一化之后的颜色差异系数确定所述目标权重判定图包括：

通过以下方式根据所述归一化之后的颜色差异系数与所述亮度差图像确定第一权重判定图：

W₁(x)＝(1-C'_d(x))·y(x)，W₁(x)为所述第一权重判定图，C'_d(x)为所述归一化之后的颜色差异系数，y(x)为所述亮度差图像；

通过以下方式根据所述梯度差图像与所述初始权重判定图确定第二权重判定图：

W₂(x)为所述第二权重判定图，g(x)为所述梯度差图像：

通过以下方式对所述第二权重判定图进行过滤，得到第三权重判定图：

W'(x)为所述W₂(x)中第0.1％的像素的值，W₃(x)为所述第三权重判定图；

通过以下方式对所述第三权重判定图进行归一化处理，得到所述目标权重判定图：

W(x)＝(W₃(x)-W_{3_min}(x))/(W_{3_max}(x)-W_{3_min}(x))，W(x)为所述目标权重判定图，W_{3_min}(x)为W₃(x)中的最小值，W_{3_max}(x)为W₃(x)中的最大值。

可选地，所述方法还包括：

通过以下方式根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图：

其中，W_b(x)为所述第一目标融合权重图，W(x)为所述目标权重判定图，W_c(x)为所述第二目标融合权重图，l_c(x)为所述初始融合权重图。

可选地，根据所述第一目标融合权重图与所述第二目标融合权重图对所述Y通道图像与所述红外图像进行图像融合，得到融合图像包括：

分别将所述第一目标融合权重图与所述第二目标融合权重图分解为预定层数的高斯金字塔；

将所述Y通道图像与所述红外图像分解成所述预定层数的拉普拉斯金字塔；

将所述第一目标融合权重图的高斯金字塔与所述Y通道图像的拉普拉斯金字塔的对应层相乘，将所述第二目标融合权重图的高斯金字塔与所述红外图像的拉普拉斯金金字塔的对应层相乘，并将对应层的乘积相加，得到目标金字塔；

根据所述目标金字塔从低层向上构建融合后的目标亮度图；

将所述目标亮度图与所述Cb通道图像、所述Cr通道图像在颜色空间上转换到RGB空间，得到所述彩色图像与所述红外图像的融合图像。

根据本发明的另一个实施例，还提供了一种图像融合处理装置，包括：

转换模块，用于获取彩色图像和红外图像，并将所述彩色图像进行颜色空间转换；

第一确定模块，用于分别确定转换后的所述彩色图像的Y通道图像与所述红外图像的亮度差图像、梯度差图像；

第二确定模块，用于根据所述亮度差图像、所述梯度差图像以及所述彩色图像的颜色差异系数确定所述彩色图像与红外图像的目标权重判定图，其中，所述颜色差异系数用于指示颜色的偏色程度；

修正模块，用于确定所述红外图像的初始融合权重图，并根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图；

融合模块，用于根据所述第一目标融合权重图与所述第二目标融合权重图对所述Y通道图像与所述红外图像进行图像融合，得到融合图像。

可选地，所述第一确定模块包括：

第一确定子模块，用于确定所述Y通道图像与所述红外图像的亮度差，将大于0的所述亮度差确定为亮度差图像；

第二确定子模块，用于确定所述Y通道图像的梯度图与所述红外图像的梯度图的梯度差，将大于0的所述梯度差确定梯度差图像。

可选地，所述第二确定模块包括：

第三确定子模块，用于根据所述彩色图像的Cb通道图像与Cr通道图像确定所述彩色图像的颜色差异系数；

归一化子模块，用于对所述颜色差异系数进行归一化处理，得到归一化之后的颜色差异系数；

第四确定子模块，用于根据所述亮度差图像、所述梯度差图像以及所述归一化之后的颜色差异系数确定所述目标权重判定图。

可选地，所述第三确定子模块，还用于通过以下方式根据所述彩色图像的Cb通道图像与Cr通道图像确定所述彩色图像的颜色差异系数：

C_d(x)＝|C_b(x)-0.5|+|C_r(x)-0.5|，其中，x为图像中的一个像素，C_d(x)为的所述颜色差异系数，C_b(x)为所述Cb通道图像中像素x的颜色值，C_r(x)为所述Cr通道图像中像素x的颜色值；

所述归一化子模块，还用于通过以下方式对所述颜色差异系数进行归一化处理，得到归一化之后的颜色差异系数：

C'_d(x)＝(C_d(x)-C_{d_min}(x))/(C_{d_max}(x)-C_{d_min}(x))，C'_d(x)为所述归一化之后的颜色差异系数，C_{d_min}(x)为所述C_d(x)中像素x的最小值，C_{d_max}(x)为所述C_d(x)中像素x的最大值。

可选地，所述第四确定子模块包括：

第一确定单元，用于通过以下方式根据所述归一化之后的颜色差异系数与所述亮度差图像确定第一权重判定图：

W₁(x)＝(1-C'_d(x))·y(x)，W₁(x)为所述第一权重判定图，C'_d(x)为所述归一化之后的颜色差异系数，y(x)为所述亮度差图像；

第二确定单元，用于通过以下方式根据所述梯度差图像与所述初始权重判定图确定第二权重判定图：

W₂(x)为所述第二权重判定图，g(x)为所述梯度差图像；

过滤单元，用于通过以下方式对所述第二权重判定图进行过滤，得到第三权重判定图：

W'(x)为所述W₂(x)中第0.1％的像素的值，W₃(x)为所述第三权重判定图；

归一化单元，用于通过以下方式对所述第三权重判定图进行归一化处理，得到所述目标权重判定图：

W(x)＝(W₃(x)-W_{3_min}(x))/(W_{3_max}(x)-W_{3_min}(x))，W(x)为所述目标权重判定图，W_{3_min}(x)为W₃(x)中的最小值，W_{3_max}(x)为W₃(x)中的最大值。

可选地，所述修正模块，还用于通过以下方式根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图：

其中，W_b(x)为所述第一目标融合权重图，W(x)为所述目标权重判定图，W_c(x)为所述第二目标融合权重图，l_c(x)为所述初始融合权重图。

可选地，所述融合模块包括：

第一分解子模块，用于分别将所述第一目标融合权重图与所述第二目标融合权重图分解为预定层数的高斯金字塔；

第二分解子模块，用于将所述Y通道图像与所述红外图像分解成所述预定层数的拉普拉斯金字塔；

处理子模块，用于将所述第一目标融合权重图的高斯金字塔与所述Y通道图像的拉普拉斯金字塔的对应层相乘，将所述第二目标融合权重图的高斯金字塔与所述红外图像的拉普拉斯金金字塔的对应层相乘，并将对应层的乘积相加，得到目标金字塔；

构建子模块，用于根据所述目标金字塔从低层向上构建融合后的目标亮度图；

转换子模块，用于将所述目标亮度图与所述Cb通道图像、所述Cr通道图像在颜色空间上转换到RGB空间，得到所述彩色图像与所述红外图像的融合图像。

根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，获取彩色图像和红外图像，并将该彩色图像进行颜色空间转换；分别确定转换后的所述彩色图像的Y通道图像与所述红外图像的亮度差图像、梯度差图像；根据所述亮度差图像、所述梯度差图像以及所述彩色图像的颜色差异系数确定所述彩色图像与红外图像的目标权重判定图，其中，所述颜色差异系数用于指示颜色的偏色程度；确定所述红外图像的初始融合权重图，并根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图；根据所述第一目标融合权重图与所述第二目标融合权重图对所述彩色图像与所述红外图像进行图像融合，得到融合图像，可以解决相关技术中红外图像和可见光图像的融合只考虑了亮度空间的融合，容易产生偏色现象的问题，通过红外图像和彩色图像的亮度差、梯度差以及彩色图像的颜色差异系数，得到权重判定图，利用权重判定图修正亮度的初始融合权重图，之后进行图像融合，避免出现偏色现象。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的图像融合处理方法的移动终端的硬件结构框图；

图2是根据本发明实施例的图像融合处理方法的流程图；

图3是根据本发明实施例的基于权重判定图的红外图像与彩色图像融合的流程图；

图4是根据本发明实施例的图像融合处理装置的框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的图像融合处理方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的报文接收方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述移动终端或网络架构的图像融合处理方法，图2是根据本发明实施例的图像融合处理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取彩色图像和红外图像，并将所述彩色图像进行颜色空间转换；

步骤S204，分别确定转换后的所述彩色图像的Y通道图像与所述红外图像的亮度差图像、梯度差图像；

步骤S206，根据所述亮度差图像、所述梯度差图像以及所述彩色图像的颜色差异系数确定所述彩色图像与红外图像的目标权重判定图，其中，所述颜色差异系数用于指示颜色的偏色程度；

步骤S208，确定所述红外图像的初始融合权重图，并根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图；

进一步的，通过以下方式根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述Y通道图像的第一目标融合权重图以及所述彩色图像的第二目标融合权重图：

其中，W_b(x)为所述第一目标融合权重图，W(x)为所述目标权重判定图，W_c(x)为所述第二目标融合权重图，l_c(x)为所述初始融合权重图。

步骤S210，根据所述第一目标融合权重图与所述第二目标融合权重图对所述Y通道图像与所述红外图像进行图像融合，得到融合图像。

进一步的，上述步骤S210具体可以包括：

分别将所述第一目标融合权重图与所述第二目标融合权重图分解为预定层数的高斯金字塔；

将所述Y通道图像与所述红外图像分解成所述预定层数的拉普拉斯金字塔；

将所述第一目标融合权重图的高斯金字塔与所述Y通道图像的拉普拉斯金字塔的对应层相乘，将所述第二目标融合权重图的高斯金字塔与所述红外图像的拉普拉斯金金字塔的对应层相乘，并将对应层的乘积相加，得到目标金字塔；

根据所述目标金字塔从低层向上构建融合后的目标亮度图；

将所述目标亮度图与所述Cb通道图像、所述Cr通道图像在颜色空间上转换到RGB空间，得到所述彩色图像与所述红外图像的融合图像。

通过上述步骤S202至S210，可以解决相关技术中红外图像和可见光图像的融合只考虑了亮度空间的融合，容易产生偏色现象的问题，通过红外图像和彩色图像的亮度差、梯度差以及彩色图像的颜色差异系数，得到权重判定图，利用权重判定图修正亮度的初始融合权重图，之后进行图像融合，避免出现偏色现象。即通过目标权重判定图修正初始融合权重图，对于目标权重判定图内值较大的区域，最终的融合图像尽量融合到彩色图像的部分，可以达到防止颜色畸变。

本发明实施例中，上述步骤S204具体可以包括：

S2041，确定所述Y通道图像与所述红外图像的亮度差，将小于0的所述亮度差的值设置为0之后确定亮度差图像；

S2042，确定所述Y通道图像的梯度图与所述红外图像的梯度图的梯度差，将小于0的所述梯度差设置为0之后确定梯度差图像。

本发明实施例中，上述步骤S206具体可以包括：

S2061，根据所述彩色图像的Cb通道图像与Cr通道图像确定所述彩色图像的颜色差异系数；

具体的，可以通过以下方式确定所述彩色图像的颜色差异系数：

C_d(x)＝|C_b(x)-0.5|+|C_r(x)-0.5|，其中，x为图像中的一个像素，C_d(x)为的所述颜色差异系数，C_b(x)为所述Cb通道图像中像素x的颜色值，C_r(x)为所述Cr通道图像中像素x的颜色值；

通过以下方式对所述颜色差异系数进行归一化处理，得到归一化之后的颜色差异系数：

C'_d(x)＝(C_d(x)-C_{d_min}(x))/(C_{d_max}(x)-C_{d_min}(x))，C'_d(x)为所述归一化之后的颜色差异系数，C_{d_min}(x)为所述C_d(x)中像素x的最小值，C_{d_max}(x)为所述C_d(x)中像素x的最大值。

S2062，对所述颜色差异系数进行归一化处理，得到归一化之后的颜色差异系数；

S2063，根据所述亮度差图像、所述梯度差图像以及所述归一化之后的颜色差异系数确定所述目标权重判定图。

进一步的，上述步骤S2063具体可以包括：

通过以下方式根据所述归一化之后的颜色差异系数与所述亮度差图像确定第一权重判定图：

W₁(x)＝(1-C'_d(x))·y(x)，W₁(x)为所述第一权重判定图，C'_d(x)为所述归一化之后的颜色差异系数，y(x)为所述亮度差图像；

通过以下方式根据所述梯度差图像与所述初始权重判定图确定第二权重判定图：

W₂(x)为所述第二权重判定图，g(x)为所述梯度差图像；

通过以下方式对所述第二权重判定图进行过滤，得到第三权重判定图：

W'(x)为所述W₂(x)中第0.1％的像素的值，W₃(x)为所述第三权重判定图；

通过以下方式对所述第三权重判定图进行归一化处理，得到所述目标权重判定图：

W(x)＝(W₃(x)-W_{3_min}(x))/(W_{3_max}(x)-W_{3_min}(x))，W(x)为所述目标权重判定图，W_{3_min}(x)为W₃(x)中的最小值，W_{3_max}(x)为W₃(x)中的最大值。

下面举例对本发明实施例进行说明。

彩色图像经过颜色空间的转换，获得Y、Cb、Cr三个通道的分量，通过Y通道与红外图像计算亮度差和梯度差，通过Cb和Cr通道计算颜色差异系数。基于亮度差、梯度差和颜色差异系数计算出融合权重判定图。使用亮度差和颜色差异系数，是因为红外图像和彩色图像的亮度差异较大且偏灰色的区域融合后更容易发生颜色畸变，加入梯度差项是为了保留图像融合的细节。例如，摄像机对着一面黑色的墙，在彩色的画面下，这个墙是黑色的。但是这个墙反摄红外光，红外图像就会非常亮。直接在亮度通道融合，这个墙就会变成灰色的，如果画面有一点偏色，整个图像的偏色现象就会加剧。在平坦的区域，红外图像不但不能提供什么细节，还会导致偏色的异常，所以需要权重判定图来纠正。即找到红外比彩色亮度大，红外图像也不能提供细节且偏灰色的区域，这些部分融合的时候，尽量融合到彩色亮度图的部分，以防颜色畸变。用该判定图与Y通道、红外图像得到的初始融合权重图进行计算，获得最终的融合权重图。最后基于拉普拉斯和高斯的金字塔对Y通道和红外图像进行融合，将所得到的图像与Cb和Cr通道进行颜色空间的转换可获得最终的彩色融合图像。图3是根据本发明实施例的基于权重判定图的红外图像与彩色图像融合的流程图，如图3所示，包括：

步骤S301，将彩色图像进行颜色空间转换，得到Y通道图像、Cb通道图像以及Cr通道图像；

步骤S302，计算彩色图像的颜色差异系数；

步骤S303，计算Y通道图像的梯度；

步骤S304，计算Y通道图像与红外图像的亮度差；

步骤S305，计算红外图像的梯度；

步骤S306，计算红外图像的初始融合权重图；

步骤S307，基于上述的颜色差异系数、Y通道图像的梯度、红外图像的梯度，Y通道图像与红外图像的亮度差计算融合的权重判定图；

步骤S308，基于判定权重图、红外图像的初始融合权重图计算最终的巧合权重图(对应上述的目标融合权重图)；

步骤S309，基于拉普拉斯金字塔进行图像融合；

步骤S310，将融合后的图像进行颜色空间转换，转回RGB空间，得到融合图像；

步骤S311，输出融合图像。

下面对上述过程进行详细说明。

步骤1,将彩色图像转换到YCbCr空间，获得表示亮度分量的Y通道图像和表示色彩(或颜色)分量的Cb和Cr通道。

步骤2,计算彩色图像的Y通道与红外图像的亮度差，并对小于0的像素阈值截断。找到红外图像比彩色图像中亮度大的部分，直接减会产生负值，所以用0截断。

y_diff(x)＝black_y(x)-color_y(x)；

其中，x指图像中的一个像素，black_y是红外图像素，color_y是彩色图像的Y通道，y_diff是亮度差图像，对应上述的y(x)。

步骤3,基于sobel算子计算彩色图像Y通道和红外图像的梯度，然后计算这两个梯度图的差，对小于0的像素阈值截断。找到红外不能产生更多细节的部分，直接减会产生负值，所以需要用0截断。

grad_diff(x)＝grad_black(x)-grad_color(x)；

其中，x指图像中的一个像素，grad_black是红外图像的sobel梯度图，grad_color是彩色图像Y通道的sobel梯度图，grad_diff是梯度差图像，对应上述的g(x)。

步骤4,通过彩色图像的Cb和Cr通道计算初始的颜色差异系数color_diff，并对然后对颜色差异系数color_diff进行归一化：其中，颜色差异系数主要反映颜色的偏色程度，因为Cb和Cr通道为蓝色和红色的浓度偏移量成份，越远离0.5，偏移的程度越大，所以可以根据Cb和Cr计算出颜色差异系数。具体可以通过以下公式：

color_diff(x)＝|color_cb(x)-0.5|+|color_cr(x)-0.5|；

colordiff_normal(x)＝(color_diff(x)-colordiff_min)/(colordiff_max-colordiff_min)；

其中，color_Cr和color_Cb分别是彩色图像的Cr和Cb通道，color_diff是初始的颜色差异系数图，colordiff_min是color_diff所有像素的最小值，colordiff_max是color_diff所有像素的最大值。colordiff_normal是归一化后的颜色差异系数，对应上述的C'_d(x)。

步骤5,通过亮度差图、梯度差图和归一化后的颜色差异系数计算融合权重判定图，梯度项只是为了剔除掉能增加细节的区域，即如果融合能增加细节(grad_diff>0.5)，还是取红外为主，否则失去了融合的意义，融合就是为了在红外路获得纹理和边缘信息。

weight_jud(x)＝(1-colordiff_normal(x)).*y_diff(x)，

将图像weight_jud的全部像素从大到小排序，获得第0.1％的像素的值jud_thr，并根据此值进行截断和归一化：

通过线性乘积计算得到的weight_jud,在较大的值高度集中，不利于归一化，所以用jud_thr截断，用剩余的部分进行归一化。

weightjud_normal(x)＝(weight_jud(x)-weightjud_min)/(weightjud_min-weightjud_min)，

其中，weightjud_min是weight_jud所有像素的最小值，weightjud_max是weight_jud所有像素的最大值。weightjud_normal是归一化后的融合权重判定图，对应上述的目标权重判定图W(x)。

步骤6，通过彩色图像Y通道分量和红外图像计算初始融合权重图：

lumweightmap_color(x)＝exp(-(color_y(x)-0.5)²/2×sigma²)；

lumweightmap_black(x)＝exp(-(black_y(x)-0.5)²/2×sigma²)；

其中，l umweightmap_color为彩色图像Y通道分量的初始融合权重图，对应上述的l_c，lumweightmap_b lack为红外图像初始融合权重图，exp是以e为底的指数运算。

步骤7，计算红外图像和彩色图像Y通道的最终融合权重图：

weightmap_black(x)＝(1-weightjud_normal(x))×lumweightmap_black；

weightmap_color(x)＝1-weightmap_black(x)；

其中，weightmap_black是红外图像的最终融合权重图，对应上述的第一目标融合权重图W_b(x)，weightmap_color为彩色图像Y通道的最终融合权重图，对应上述的第二目标融合权重图W_c(x)。

步骤8，将得到的weightmap_black和weightmap_color分别分解成五层的高斯金字塔，将black_y和color_y分别分解成五层的拉普拉斯金字塔。将weightmap_black和black_y对应的金字塔层逐像素相乘，weightmap_color和color_y对应的金字塔层逐像素相乘，把计算得到的两个金字塔对应层相加，最后将该金字塔从低层向上构建融合后的亮度图。

步骤9，将融合后的亮度图与Cr和Cb在颜色空间反转到RGB空间，获得最终的融合图像。

实施例2

根据本发明的另一个实施例，还提供了一种图像融合处理装置，图4是根据本发明实施例的图像融合处理装置的框图，如图4所示，包括：

转换模块42，用于获取彩色图像和红外图像，并将所述彩色图像进行颜色空间转换；

第一确定模块44，用于分别确定转换后的所述彩色图像的Y通道图像与所述红外图像的亮度差图像、梯度差图像；

第二确定模块46，用于根据所述亮度差图像、所述梯度差图像以及所述彩色图像的颜色差异系数确定所述彩色图像与红外图像的目标权重判定图，其中，所述颜色差异系数用于指示颜色的偏色程度；

修正模块48，用于确定所述红外图像的初始融合权重图，并根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图；

融合模块410，用于根据所述第一目标融合权重图与所述第二目标融合权重图对所述Y通道图像与所述红外图像进行图像融合，得到融合图像。

可选地，所述第一确定模块44包括：

第一确定子模块，用于确定所述Y通道图像与所述红外图像的亮度差，将大于0的所述亮度差确定为亮度差图像；

第二确定子模块，用于确定所述Y通道图像的梯度图与所述红外图像的梯度图的梯度差，将大于0的所述梯度差确定梯度差图像。

可选地，所述第二确定模块46包括：

第三确定子模块，用于根据所述彩色图像的Cb通道图像与Cr通道图像确定所述彩色图像的颜色差异系数；

归一化子模块，用于对所述颜色差异系数进行归一化处理，得到归一化之后的颜色差异系数；

第四确定子模块，用于根据所述亮度差图像、所述梯度差图像以及所述归一化之后的颜色差异系数确定所述目标权重判定图。

可选地，所述第三确定子模块，还用于通过以下方式根据所述彩色图像的Cb通道图像与Cr通道图像确定所述彩色图像的颜色差异系数：

C_d(x)＝|C_b(x)-0.5|+|C_r(x)-0.5|，其中，x为图像中的一个像素，C_d(x)为的所述颜色差异系数，C_b(x)为所述Cb通道图像中像素x的颜色值，C_r(x)为所述Cr通道图像中像素x的颜色值；

所述归一化子模块，还用于通过以下方式对所述颜色差异系数进行归一化处理，得到归一化之后的颜色差异系数：

C'_d(x)＝(C_d(x)-C_{d_min}(x))/(C_{d_max}(x)-C_{d_min}(x))，C'_d(x)为所述归一化之后的颜色差异系数，C_{d_min}(x)为所述C_d(x)中像素x的最小值，C_{d_max}(x)为所述C_d(x)中像素x的最大值。

可选地，所述第四确定子模块包括：

第一确定单元，用于通过以下方式根据所述归一化之后的颜色差异系数与所述亮度差图像确定第一权重判定图：

W₁(x)＝(1-C'_d(x))·y(x)，W₁(x)为所述第一权重判定图，C'_d(x)为所述归一化之后的颜色差异系数，y(x)为所述亮度差图像；

第二确定单元，用于通过以下方式根据所述梯度差图像与所述初始权重判定图确定第二权重判定图：

W₂(x)为所述第二权重判定图，g(x)为所述梯度差图像；

过滤单元，用于通过以下方式对所述第二权重判定图进行过滤，得到第三权重判定图：

W'(x)为所述W₂(x)中第0.1％的像素的值，W₃(x)为所述第三权重判定图；

归一化单元，用于通过以下方式对所述第三权重判定图进行归一化处理，得到所述目标权重判定图：

W(x)＝(W₃(x)-W_{3_min}(x))/(W_{3_max}(x)-W_{3_min}(x))，W(x)为所述目标权重判定图，W_{3_min}(x)为W₃(x)中的最小值，W_{3_max}(x)为W₃(x)中的最大值。

可选地，所述修正模块48，还用于通过以下方式根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述Y通道图像的第一目标融合权重图以及所述彩色图像的第二目标融合权重图：

其中，W_b(x)为所述第一目标融合权重图，W(x)为所述目标权重判定图，W_c(x)为所述第二目标融合权重图，l_c(x)为所述初始融合权重图。

可选地，所述融合模块410包括：

第一分解子模块，用于分别将所述第一目标融合权重图与所述第二目标融合权重图分解为预定层数的高斯金字塔；

第二分解子模块，用于将所述Y通道图像与所述红外图像分解成所述预定层数的拉普拉斯金字塔；

处理子模块，用于将所述第一目标融合权重图的高斯金字塔与所述Y通道图像的拉普拉斯金字塔的对应层相乘，将所述第二目标融合权重图的高斯金字塔与所述红外图像的拉普拉斯金金字塔的对应层相乘，并将对应层的乘积相加，得到目标金字塔；

构建子模块，用于根据所述目标金字塔从低层向上构建融合后的目标亮度图；

转换子模块，用于将所述目标亮度图与所述Cb通道图像、所述Cr通道图像在颜色空间上转换到RGB空间，得到所述彩色图像与所述红外图像的融合图像。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取彩色图像和红外图像，并将所述彩色图像进行颜色空间转换；

S2，分别确定转换后的所述彩色图像的Y通道图像与所述红外图像的亮度差图像、梯度差图像；

S3，根据所述亮度差图像、所述梯度差图像以及所述彩色图像的颜色差异系数确定所述彩色图像与红外图像的目标权重判定图，其中，所述颜色差异系数用于指示颜色的偏色程度；

S4，确定所述红外图像的初始融合权重图，并根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图；

S5，根据所述第一目标融合权重图与所述第二目标融合权重图对所述Y通道图像与所述红外图像进行图像融合，得到融合图像。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-On ly Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

实施例4

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取彩色图像和红外图像，并将所述彩色图像进行颜色空间转换；

S2，分别确定转换后的所述彩色图像的Y通道图像与所述红外图像的亮度差图像、梯度差图像；

S3，根据所述亮度差图像、所述梯度差图像以及所述彩色图像的颜色差异系数确定所述彩色图像与红外图像的目标权重判定图，其中，所述颜色差异系数用于指示颜色的偏色程度；

S4，确定所述红外图像的初始融合权重图，并根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图；

S5，根据所述第一目标融合权重图与所述第二目标融合权重图对所述Y通道图像与所述红外图像进行图像融合，得到融合图像。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像融合处理方法，其特征在于，包括：

获取彩色图像和红外图像，并将所述彩色图像进行颜色空间转换；

分别确定转换后的所述彩色图像的Y通道图像与所述红外图像的亮度差图像、梯度差图像；

通过以下方式根据所述彩色图像的Cb通道图像与Cr通道图像确定所述彩色图像的颜色差异系数：C_d(x)＝|C_b(x)-0.5|+|C_r(x)-0.5|，其中，x为图像中的一个像素，C_d(x)为所述颜色差异系数，C_b(x)为所述Cb通道图像中像素x的颜色值，C_r(x)为所述Cr通道图像中像素x的颜色值；

根据所述亮度差图像、所述梯度差图像以及所述彩色图像的颜色差异系数确定所述彩色图像与红外图像的目标权重判定图，其中，所述颜色差异系数用于指示颜色的偏色程度；

确定所述红外图像的初始融合权重图，并根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图；

根据所述第一目标融合权重图与所述第二目标融合权重图对所述Y通道图像与所述红外图像进行图像融合，得到融合图像。

2.根据权利要求1所述的方法，其特征在于，分别确定转换后的所述彩色图像的Y通道图像与所述红外图像的亮度差图像、梯度差图像包括：

确定所述Y通道图像与所述红外图像的亮度差，将小于0的所述亮度差的值设置为0之后确定亮度差图像；

确定所述Y通道图像的梯度图与所述红外图像的梯度图的梯度差，将小于0的所述梯度差设置为0之后确定梯度差图像。

3.根据权利要求1所述的方法，其特征在于，根据所述亮度差图像、所述梯度差图像以及所述彩色图像的颜色差异系数确定所述彩色图像与红外图像的目标权重判定图包括：

对所述颜色差异系数进行归一化处理，得到归一化之后的颜色差异系数；

根据所述亮度差图像、所述梯度差图像以及所述归一化之后的颜色差异系数确定所述目标权重判定图。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

通过以下方式对所述颜色差异系数进行归一化处理，得到归一化之后的颜色差异系数：

C'_d(x)＝(C_d(x)-C_{d_min}(x))/(C_{d_max}(x)-C_{d_min}(x))，C'_d(x)为所述归一化之后的颜色差异系数，C_{d_min}(x)为所述C_d(x)中像素x的最小值，C_{d_max}(x)为所述C_d(x)中像素x的最大值。

5.根据权利要求3所述的方法，其特征在于，根据所述亮度差图像、所述梯度差图像以及所述归一化之后的颜色差异系数确定所述目标权重判定图包括：

通过以下方式根据所述归一化之后的颜色差异系数与所述亮度差图像确定第一权重判定图：

W₁(x)＝(1-C'_d(x))·y(x)，W₁(x)为所述第一权重判定图，C'_d(x)为所述归一化之后的颜色差异系数，y(x)为所述亮度差图像；

通过以下方式根据所述梯度差图像与所述第一权重判定图确定第二权重判定图：

W₂(x)为所述第二权重判定图，g(x)为所述梯度差图像；

通过以下方式对所述第二权重判定图进行过滤，得到第三权重判定图：

W'(x)为所述W₂(x)中第0.1％的像素的值，W₃(x)为所述第三权重判定图；

通过以下方式对所述第三权重判定图进行归一化处理，得到所述目标权重判定图：

W(x)＝(W₃(x)-W_{3_min}(x))/(W_{3_max}(x)-W_{3_min}(x))，W(x)为所述目标权重判定图，W_{3_min}(x)为W₃(x)中的最小值，W_{3_max}(x)为W₃(x)中的最大值。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过以下方式根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图：

其中，W_b(x)为所述第一目标融合权重图，W(x)为所述目标权重判定图，W_c(x)为所述第二目标融合权重图，l_c(x)为所述初始融合权重图。

7.根据权利要求1至6中任一项所述的方法，其特征在于，根据所述第一目标融合权重图与所述第二目标融合权重图对所述Y通道图像与所述红外图像进行图像融合，得到融合图像包括：

分别将所述第一目标融合权重图与所述第二目标融合权重图分解为预定层数的高斯金字塔；

将所述Y通道图像与所述红外图像分解成所述预定层数的拉普拉斯金字塔；

将所述第一目标融合权重图的高斯金字塔与所述Y通道图像的拉普拉斯金字塔的对应层相乘，将所述第二目标融合权重图的高斯金字塔与所述红外图像的拉普拉斯金金字塔的对应层相乘，并将对应层的乘积相加，得到目标金字塔；

根据所述目标金字塔从低层向上构建融合后的目标亮度图；

将所述目标亮度图与所述Cb通道图像、所述Cr通道图像在颜色空间上转换到RGB空间，得到所述彩色图像与所述红外图像的融合图像。

8.一种图像融合处理装置，其特征在于，包括：

转换模块，用于获取彩色图像和红外图像，并将所述彩色图像进行颜色空间转换；

第一确定模块，用于分别确定转换后的所述彩色图像的Y通道图像与所述红外图像的亮度差图像、梯度差图像；

第二确定模块，用于通过以下方式根据所述彩色图像的Cb通道图像与Cr通道图像确定所述彩色图像的颜色差异系数：C_d(x)＝|C_b(x)-0.5|+|C_r(x)-0.5|，其中，x为图像中的一个像素，C_d(x)为所述颜色差异系数，C_b(x)为所述Cb通道图像中像素x的颜色值，C_r(x)为所述Cr通道图像中像素x的颜色值；

第二确定模块，还用于根据所述亮度差图像、所述梯度差图像以及所述彩色图像的颜色差异系数确定所述彩色图像与红外图像的目标权重判定图，其中，所述颜色差异系数用于指示颜色的偏色程度；

修正模块，用于确定所述红外图像的初始融合权重图，并根据所述目标权重判定图对所述初始融合权重图进行修正，得到所述红外图像的第一目标融合权重图以及所述Y通道图像的第二目标融合权重图；

融合模块，用于根据所述第一目标融合权重图与所述第二目标融合权重图对所述Y通道图像与所述红外图像进行图像融合，得到融合图像。

9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器运行时执行所述权利要求1至7中任一项所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7中任一项所述的方法。

Images