CN114331937A - 基于反馈迭代调节的低光照条件下多源图像融合方法 - Google Patents

Abstract

一种基于反馈迭代调节的低光照条件下多源图像融合方法，属于计算机图像融合技术领域。本发明针对现有多源图像融合方法没有考虑如何保留可见光图像颜色信息使低光照强度环境下的场景复原效果差的问题。包括：采集可见光原始图像和近红外原始图像，并进行预处理；进行小波变换，获得近红外图像低频分量和近红外图像高频分量以及可见光图像亮度分量I的低频分量和高频分量；根据融合系数进行融合，再进行小波重构得到重构后新的亮度分量；再进行HSI逆变换，得到融合后RGB图像；计算相似度指标SSIM_M，并计算获得下一次迭代的融合系数；直到连续5次迭代的相似度指标SSIM_M没有新解终止迭代，获得最终融合后图像。本发明用于低光照条件下多源图像融合。

Description

基于反馈迭代调节的低光照条件下多源图像融合方法

技术领域

本发明涉及基于反馈迭代调节的低光照条件下多源图像融合方法，属于计算机图像融合技术领域。

背景技术

工作波长的不同决定了不同图像传感器适用于不同的工作环境。目前任何一种单独波段的图像传感器所采集到的图像都会受到图像传感器本身成像特性以及环境因素的影响，而具有一定程度的片面性。由于单独波段的图像传感器采集到的图像不能全面反映出图像内部物体的细节与特征，因此难以满足实际应用场景下的需求，并为后续的目标检测及目标追踪等图像处理带来了很大难度。

近红外图像传感器利用了目标的辖射能量，在低光照环境下成像清晰，且具备一定的穿雾能力。但是，近红外传感器所采集的图像为单通道图像，不具备颜色信息；可见光传感器利用了物体的反射光，其图像动态范围较大且光谱信息十分丰富，颜色特征鲜明。但是，在光照较弱能见度较低的环境下成像效果有局限性。由此可见，近红外图像与可见光图像互相之间具有优势互补特性，适合进行图像融合。

现有的增强HSI-Curvelet变换融合可见光和红外图像的方法，利用Curvelet分解得到待融合图像的低频部分和高频部分，采用设计的权值自动调节策略融合低频部分，采用模值取大策略融合高频部分。这种方法虽然可以自动调节低频部分融合策略，但是不能保证融合效果，同时没有考虑在低光照情况下的融合系数初始权重问题。

现有的基于近红外与可见光图像融合的方法，首先对近红外和可见光图像进行双树复小波变换，得到一系列的高频子带图像和低频子带图像；其中高频部分依据图像的空间频率融合，低频部分使用加权平均法融合，然后再对图像进行颜色校正并进行滤波处理。这种方法操作简单、计算量小，但是没有考虑如何保留可见光图像颜色信息的问题，并且不具备很强的泛化性。

因此需要提供一种低光照强度环境下多源图像融合的方法。

发明内容

针对现有多源图像融合方法没有考虑如何保留可见光图像颜色信息使低光照强度环境下的场景复原效果差的问题，本发明提供一种基于反馈迭代调节的低光照条件下多源图像融合方法。

本发明的一种基于反馈迭代调节的低光照条件下多源图像融合方法，包括，

步骤一：采集监测目标的可见光原始图像和近红外原始图像，并进行预处理，获得预处理后的可见光图像和近红外图像；

步骤二：对所述近红外图像进行基于Haar小波的小波变换，获得小波变换后近红外图像低频分量和近红外图像高频分量；

同时对所述可见光图像从RGB颜色空间转换到HSI颜色空间，得到转换后色度分量H、转换后饱和度分量S和转换后亮度分量I；对转换后亮度分量I进行基于Haar小波的小波变换，获得小波变换后可见光图像亮度分量I的低频分量和亮度分量I的高频分量；

步骤三：根据光照强度影响因子确定初始可见光低频融合系数及初始近红外低频融合系数，并对可见光图像亮度分量I的低频分量和近红外图像低频分量进行融合，获得初始低频融合结果；

同时采用像素灰度值绝对值取大法对可见光图像亮度分量I的高频分量和近红外图像高频分量进行融合，获得高频融合结果；

步骤四：对低频融合结果和高频融合结果分别进行小波重构，再对重构的结果进行结合得到重构后新的亮度分量；

步骤五：对重构后新的亮度分量、转换后色度分量H和转换后饱和度分量S进行HSI逆变换，得到融合后RGB图像；

步骤六：再分别计算融合后RGB图像与可见光图像和近红外图像的相似度指标，并取平均值作为融合后RGB图像与预处理后图像的相似度指标SSIM_M；比较当前次与相邻前一次相似度指标SSIM_M的大小，保留相似度指标SSIM_M较大值对应的可见光低频融合系数作为下一次迭代的可见光对比系数，并对当前对比系数利用高斯分布生成的0.8到1.5的随机系数进行调整，得到调整后可见光低频融合系数；根据调整后可见光低频融合系数计算获得调整后近红外低频融合系数；相似度指标SSIM_M的初值置0；

步骤七：以调整后可见光低频融合系数和调整后近红外低频融合系数作为新的低频融合系数，重复步骤三至步骤七，直到连续5次迭代的相似度指标SSIM_M没有新解，则终止迭代，并以当前的融合后RGB图像作为最终融合后图像。

根据本发明的基于反馈迭代调节的低光照条件下多源图像融合方法，

步骤二中，对所述可见光图像从RGB颜色空间转换到HSI颜色空间的方法包括：

式中R为可见光图像红色颜色值，G为可见光图像绿色颜色值，B为可见光图像蓝色颜色值。

根据本发明的基于反馈迭代调节的低光照条件下多源图像融合方法，近红外图像或可见光图像的转换后亮度分量I在进行小波变换前，先按行进行滤波后下采样，再按列进行滤波后下采样。

根据本发明的基于反馈迭代调节的低光照条件下多源图像融合方法，近红外图像或可见光图像的转换后亮度分量I经小波变换后，分别被分解为四张子图像；

近红外图像对应的四张子图像为一张近红外图像低频分量和三张近红外图像高频分量；

可见光图像的转换后亮度分量I对应的四张子图像为一张可见光图像低频分量和三张可见光图像高频分量。

根据本发明的基于反馈迭代调节的低光照条件下多源图像融合方法，步骤三中，光照强度影响因子μ为：

式中P(i,j)表示可见光图像第i行、第j列的像素值，M表示可见光图像的长，N表示可见光图像的宽，ρ表示转换系数。

根据本发明的基于反馈迭代调节的低光照条件下多源图像融合方法，初始可见光低频融合系数ω_V和初始近红外低频融合系数ω_N为：

根据本发明的基于反馈迭代调节的低光照条件下多源图像融合方法，低频融合结果F_L(i,j)为：

F_L(i,j)＝ω_V×V_L(i,j)+ω_NN_L(i,j)，

V_L(i,j)为可见光图像亮度分量I的低频分量，N_L(i,j)为近红外图像低频分量；

高频融合结果F_H(i,j)为：

V_H(i,j)为可见光图像亮度分量I的高频分量，N_H(i,j)为近红外图像高频分量。

根据本发明的基于反馈迭代调节的低光照条件下多源图像融合方法，融合后RGB图像的可见光图像红色颜色值R′、可见光图像绿色颜色值G′和可见光图像蓝色颜色值B′的表示方法为：

式中I′为步骤四中重构后新的亮度分量。

根据本发明的基于反馈迭代调节的低光照条件下多源图像融合方法，融合后RGB图像与预处理后图像的相似度指标SSIM_M的计算方法包括：

式中

为可见光图像与融合后RGB图像的相似度指标，

为近红外图像与融合后RGB图像的相似度指标；

μ_V为可见光图像亮度均值，μ_F为融合后RGB图像亮度均值，C₁为常数，C₁＝6.5，σ_V为可见光图像方差，σ_F为融合后RGB图像方差，C₂为常数，C₂＝58.5；

μ_N为近红外图像亮度均值，σ_N为近红外图像方差。

根据本发明的基于反馈迭代调节的低光照条件下多源图像融合方法，调整后可见光低频融合系数ω_V'为：

ω_V'＝ω_V×λ，

式中ω_V为根据相似度指标SSIM_M较大值保留的可见光低频融合系数；

调整后近红外低频融合系数ω_N'为：

ω_N'＝1-ω_V'，

式中λ为利用高斯分布生成的0.8到1.5的随机系数。

本发明的有益效果：本发明方法可以在低光照强度环境下，基于反馈迭代调节的思想来进行图像融合，达到在光照较弱、能见度较低的环境下使融合后的图像既保留可见光图像丰富的颜色信息，又能突显近红外图像清晰的细节纹理特征。可以适应拍摄场景，在低光照强度下具备了一定的鲁棒性。

本发明方法基于反馈迭代思想、小波变换以及HSI色彩空间变换进行多源图像融合，利用可见光图像和近红外图像有效解决了在低光照强度环境下场景复原问题，可以为后续的工程应用提供新的思路。

本发明在多源图像的融合策略方面吸取了反馈调节思想，根据SSIM_M指标对低频融合系数进行迭代优化，避免了现有算法中开环融合效果差的问题，可以更好地表达细节纹理信息。

本发明方法在低频部分的初始参数选择中考虑到了光照条件影响，有助于在反馈迭代低频融合系数时更快找到最佳融合权重。

本发明方法可以在雾气及能见度低的情况下还原真实场景。

附图说明

图1是本发明所述基于反馈迭代调节的低光照条件下多源图像融合方法的流程图；

图2是采集获得的模拟卫星模型可见光原始图像；

图3是采集获得的模拟卫星模型近红外原始图像；

图4是对图2预处理后的可见光图像；

图5是对图3预处理后的近红外图像；

图6是采用本发明方法由图2和图3获得的最终融合后图像；

图7是采用加权平均法由图2和图3获得的最终融合后图像；

图8是采用HSI-小波变换算法由图2和图3获得的最终融合后图像；

图9是可见光原始图像局部放大图；

图10是近红外原始图像局部放大图；

图11是图7的局部放大图；

图12是图8的局部放大图；

图13是图6的局部放大图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一、结合图1所示，本发明提供了一种基于反馈迭代调节的低光照条件下多源图像融合方法，包括，

步骤一：使用可见光和近红外相机采集监测目标的可见光原始图像和近红外原始图像，并进行预处理，获得预处理后的可见光图像和近红外图像；所述预处理包括对原始图像进行去噪、增强、滤波及配准等操作；

步骤二：对所述近红外图像进行基于Haar小波的小波变换，获得小波变换后近红外图像低频分量和近红外图像高频分量；

同时对所述可见光图像从RGB颜色空间转换到HSI颜色空间，得到转换后色度分量H、转换后饱和度分量S和转换后亮度分量I；对转换后亮度分量I进行基于Haar小波的小波变换，获得小波变换后可见光图像亮度分量I的低频分量和亮度分量I的高频分量；

步骤三：根据光照强度影响因子确定初始可见光低频融合系数及初始近红外低频融合系数，并对可见光图像亮度分量I的低频分量和近红外图像低频分量进行融合，获得初始低频融合结果；

同时采用像素灰度值绝对值取大法对可见光图像亮度分量I的高频分量和近红外图像高频分量进行融合，获得高频融合结果；

步骤四：对低频融合结果和高频融合结果分别进行小波重构，再对重构的结果进行结合得到重构后新的亮度分量；

步骤五：对重构后新的亮度分量、转换后色度分量H和转换后饱和度分量S进行HSI逆变换，得到融合后RGB图像；

步骤六：再分别计算融合后RGB图像与可见光图像和近红外图像的相似度指标，并取平均值作为融合后RGB图像与预处理后图像的相似度指标SSIM_M；比较当前次与相邻前一次相似度指标SSIM_M的大小，保留相似度指标SSIM_M较大值对应的可见光低频融合系数作为下一次迭代的可见光对比系数，并对当前对比系数利用高斯分布生成的0.8到1.5的随机系数进行调整，得到调整后可见光低频融合系数；根据调整后可见光低频融合系数计算获得调整后近红外低频融合系数；相似度指标SSIM_M的初值置0；

步骤七：以调整后可见光低频融合系数和调整后近红外低频融合系数作为新的低频融合系数，重复步骤三至步骤七，直到连续5次迭代的相似度指标SSIM_M没有新解，则终止迭代，并以当前的融合后RGB图像作为最终融合后图像，即为优化结果。

本实施方式中，第一次计算融合后RGB图像的过程中，根据初始可见光低频融合系数及初始近红外低频融合系数对图像的低频分量进行融合；第二次计算过程中，根据第一次计算获得的调整后可见光低频融合系数和调整后近红外低频融合系数对图像的低频分量进行融合；此时对相似度指标SSIM_M进行对比，以前一次相似度指标SSIM_M的初值为0与当前相似度指标SSIM_M进行对比；在第三次计算过程中，对相似度指标SSIM_M的对比，即为当前次计算获得的相似度指标SSIM_M与当前相邻前一次计算获得的相似度指标SSIM_M的对比。具体实施过程如下：设初始低频融合系数可见光亮度部分为a，近红外为b，此时a、b是由光照影响因素决定的，他们的关系是a+b＝1。由a、b进行第一次的融合得到融合图像F1，计算F1的SSIM值为SSIM₁。

利用高斯分布产生0.8到1.5的随机数，与a相乘，得到a'＝随机数*a，此时b'＝1-a'，再通过a',b'产生新的融合图像F2，计算F2的SSIM值为SSIM₂，再对比SSIM₂与SSIM₁的大小，若SSIM₁>SSIM₂，保留a、b，否则保留a'、b'。并继续用高斯分布生成随机数与保留下来的a或者a'相乘得到新的a”。

SSIM值作为一个评判指标，用来评价迭代的效果，不直接参与系数本身的变换，而是由SSIM来决定融合系数是否要被保留到下次迭代。融合系数初始值和光照条件有关，后面产生的迭代值主要是与高斯分布产生的随机数相乘有关。

进一步，步骤二中，对所述可见光图像从RGB颜色空间转换到HSI颜色空间的方法包括：

式中R为可见光图像红色颜色值，G为可见光图像绿色颜色值，B为可见光图像蓝色颜色值。

再进一步，近红外图像或可见光图像的转换后亮度分量I在进行小波变换前，先按行进行滤波后下采样，再按列进行滤波后下采样。

对可见光图像的亮度通道和近红外图像进行基于Haar小波的小波变换，将其分成具备各自独特方向特性的频率通道。

令尺度因子a取离散值

平移因子b取

m,n∈Z，ψ为基本的小波函数，则基本离散小波ψ_m,n(x)为：

信号f(x)的离散小波变换式W_f(m,n)为：

当对图像进行小波分解时，会先对图像按行进行滤波后下采样，然后按列实现滤波后进行下采样，原始图像会被分解为四个分别代表低频和高频分量的子图像，被离散小波分解后，一张图像被分为低频部分和高频部分，

式中

为为近似系数也称低频系数，j_o为在频域上的伸缩，

为一组小波基，W_ψ(j,k)为细节系数也称高频系数。

其中低频部分包含了图像的大部分能量，内容与原图像较为相近，而高频部分包含了图像的灰度变化剧烈的部分，即纹理、边缘和细节特征。

再进一步，近红外图像或可见光图像的转换后亮度分量I经小波变换后，分别被分解为四张子图像；

近红外图像对应的四张子图像为一张近红外图像低频分量和三张近红外图像高频分量；

可见光图像的转换后亮度分量I对应的四张子图像为一张可见光图像低频分量和三张可见光图像高频分量。

高低频部分融合系数的设定。低频分量的融合加权系数初值根据环境亮度计算，即通过计算可见光图像的亮度来制定，低频分量代表图像的大致信息，在光照强度高的场景下，可见光成像效果较好，可以在低频部分占据更多的权重。

高低频部分融合系数初始值的主要的影响因素是光照强度条件，因此定义了一个光照强度影响因子μ。通过计算可见光图像的亮度来制定初始融合权重，对高频系数按照像素绝对值取大策略进行融合。

再进一步，步骤三中，光照强度影响因子μ为：

式中P(i,j)表示可见光图像第i行、第j列的像素值，M×N表示图像的大小，M表示可见光图像的长，N表示可见光图像的宽，ρ表示转换系数。

再进一步，初始可见光低频融合系数ω_V和初始近红外低频融合系数ω_N为：

再进一步，低频融合结果F_L(i,j)为：

F_L(i,j)＝ω_V×V_L(i,j)+ω_NN_L(i,j)，

V_L(i,j)为可见光图像亮度分量I的低频分量，N_L(i,j)为近红外图像低频分量；

高频融合结果F_H(i,j)为：

V_H(i,j)为可见光图像亮度分量I的高频分量，N_H(i,j)为近红外图像高频分量。

分别对融合后的高频低频部分进行离散小波重构得到新的亮度分量I'。首先对得到的融合结果按列进行一维离散小波逆变换，再按行进行一维离散小波逆变换，即可获得新的亮度分量I'。离散小波重构的过程如下：

将新的亮度分量I'和可见光图像的原始的色调H、饱和度S分量进行HSI逆变换，转换回RGB图像进行显示。

再进一步，融合后RGB图像的可见光图像红色颜色值R′、可见光图像绿色颜色值G′和可见光图像蓝色颜色值B′的表示方法为：

式中I′为步骤四中重构后新的亮度分量。

在变换的过程中，对于得到的[0，1]内的HSI值，为了在相同的值域得到对应的RGB值，H的取值为其中的关键，其转换格式上式所示。

再进一步，融合后RGB图像与预处理后图像的相似度指标SSIM_M的计算方法包括：

式中

为可见光图像与融合后RGB图像的相似度指标，

为近红外图像与融合后RGB图像的相似度指标；

μ_V为可见光图像亮度均值，μ_F为融合后RGB图像亮度均值，C₁为常数，C₁＝6.5，σ_V为可见光图像方差，σ_F为融合后RGB图像方差，C₂为常数，C₂＝58.5；亮度均值体现了亮度信息；

μ_N为近红外图像亮度均值，σ_N为近红外图像方差，方差体现了对比度信息。

本实施方式中采用反馈迭代调节低频融合系数，利用高斯分布生成0.8到1.5的随机系数λ，将随机系数与可见光图像权重值相乘作为下一次计算新的权重值进行迭代，得到调整后可见光图像低频融合系数ω_V'调整后近红外图像低频融合系数为ω_N'。比较新融合后的图像的SSIM_M值与相邻前一次的大小，若新融合后的图像值大，保留这个新的权值，否则保留上一次的权值。再以SSIM_M为评判指标进行迭代优化。

再进一步，调整后可见光低频融合系数ω_V'为：

ω_V'＝ω_V×λ，

式中ω_V为根据相似度指标SSIM_M较大值保留的可见光低频融合系数；

调整后近红外低频融合系数ω_N'为：

ω_N'＝1-ω_V'，

式中λ为利用高斯分布生成的0.8到1.5的随机系数。

具体实施例：

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明实施方案作进一步详细描述。

第一步：模拟低光照强度环境，利用MER-502-79U3C可见光相机和MER-232-48GM-PNIR相机拍摄近红外图像与可见光图像。将模拟卫星模型置于实验室阴暗处，调节相机曝光时间与焦距至适宜范围，使用可见光和近红外相机分别对不同姿态下的模拟卫星模型进行拍摄，并观察成像效果。

第二步：图像的预处理方法

通过加权平均法将RGB彩色图像三分量的亮度值进行加权求和，得到灰度图像的灰度值，利用高斯滤波器处理图像消除高斯噪声。采用改进后的ORB算法进行特征点的提取。在编程设计中，首先要对两幅图像进行预处理，然后设置关键点匹配条件，根据匹配好的关键点对的距离以及角度进行筛选，最后利用筛选后的匹配点计算可见光图像映射到近红外图像的单应性矩阵，通过单应性矩阵进行图像的配准。

第三步：对预处理配准后的可见光图像进行HSI变换得到其亮度、色调和饱和度三个分量。

第四步：对可见光图像的亮度分量和近红外图像进行基于Haar小波的小波变换，得到代表水平细节、垂直细节、对角线细节的高频信息图像，以及代表图像主要信息的低频部分图像。

第五步：高低频部分融合系数初值的设定。采用可见光和近红外低频权重自动调节的策略融合低频部分。主要的影响因素是光照强度，因此定义了一个光照强度影响因子μ与系数λ，低频分量的融合初始加权系数通过计算可见光图像的亮度来制定。对高频系数按照像素绝对值取大策略进行融合。

第六步：分别对融合后的高频低频系数进行离散小波重构得到新的亮度分量。

第七步：将新的亮度信号分量和可见光图像的原始的色调H、饱和度S分量进行HSI逆变换，随后再转换回RGB图像进行显示。

第八步：计算融合图像的SSIM_M指标，利用高斯分布生成转换系数，计算新的权重值，并且进行迭代。比较新融合后的图像的SSIM_M值大小，若新融合后的图像值大，保留这个新的权值，否则保留上一次的权值。

第九步：重复第五步到第九步进行反馈迭代调节，得到最终优化后的图像。

本发明方法可进行程序的整体编写，只需要加载可见光与近红外图像，即可得到融合图像，不需要人工调参。下面给出一个完整的处理过程，对本发明做进一步说明。本仿真条件：Windows10操作系统、Visual Studio软件。

红外相机和可见光相机采集到的图像数据经预处理、HSI变换、小波分解、高低频系数融合、小波重构、HSI反变换后得到初始融合图像，然后根据优化指标SSIM_M对融合系数进行迭代优化，最终得到低光照强度环境下保留色彩信息且细节纹理信息充足的融合图像，程序共包括main.cpp，Fusion_method.cpp，HSI_transform.cpp，optim.cpp，WDCT.cpp,Blur.cpp源文件以及对应的头文件。

一.图像采集：

可见光和近红外相机采集到对应于同一时间空间的模拟卫星模型图像，见图2和图3。

二.图像预处理：

(1)图像滤波

文件中，采用3×3大小的模板对两种图像进行均值滤波来消除源图像中存在的噪点，使用模板大小为3×3的均值滤波函数GuassBlur()对两种图像进行滤波，达到滤除噪声的目的。

(2)图像配准

以红外图像为参考图像，利用改进的ORB算法实现特征点提取，首先通过vector<KeyPoint>keyPoints_1,keyPoints_2语句来定义关键点、用vector<DMatch>matches来定义匹配点，利用d_orb->detectAndCompute(img_1,Mat(),keyPoints_1,d_descriptorsL)和d_orb->detectAndCompute(img_2,Mat(),keyPoints_2,d_descriptorsR)、match(d_descriptorsL,d_descriptorsR,matches)实现初始的特征点匹配；然后利用改进的特征点筛选方法，利用特征点对的距离和角度来进行筛选。从而实现两幅图像配准工作，得到去除了噪声、时间空间配准的预处理图像，见图4和图5。

三.HSI正变换

主要包含在HSI_transform.cpp文件中，编写HSI正变换函数HSI2RGB(Mat src,Mat&dst)，src代表输入图像，dst代表输出图像。使用该函数把预处理后的RGB色彩空间的可见光图像转换到HSI色彩空间，得到亮度I。

四.离散小波变换分解图像

主要包含在WDCT.cpp文件中，利用normalize(src1,src1_gray,0,255,CV_MINMAX)让图像像素归一化到0到255这个区间，利用WDT(src1_gray,N)对图像进行小波变换，src1_gray为待处理的图像，N是要分解的层数；WDT函数主要由Haar小波高通滤波器HighFilter和低通滤波器LowFilter组成，包含对近红外图像和可见光图像的亮度分量按行和列处理。

五.高频低频系数融合

主要包含在Fusion_method.cpp文件中，对低频系数按照经过反馈调节优化后的权值自动调整策略进行融合；对高频系数，按照像素绝对值取大策略进行融合。

六.小波重构

调用小波重构函数对融合后的高低频系数进行小波重构，从而得到可见光图像的新亮度分量。

七.HSI逆变换

编写HSI逆变换函数HSI2RGB(Mat src,Mat&dst)，使用该函数把图像从HSI色彩空间转化到RGB色彩空间，得到经过一次融合后的完整图像。

八.主要在optim.cpp文件中，编写ssim(Mat&i1,Mat&i2)函数计算融合后图像的SSIM_M指标，其中i1和i2分别是两幅输入图像，返回值是SSIM_M值。利用高斯分布生成0.8到1.5的随机数，将随机数与可见光图像权重值相乘作为下一次计算新的权重值进行迭代。比较新融合后的图像的SSIM_M值大小，若新融合后的图像值大，保留这个新的权值，否则保留上一次的权值。

九.重复反馈迭代，直到连续5次迭代没有出现新的低频融合权重系数，得到最终优化后的图像。

八、实验结果说明：

为了验证本发明方法的有效性，选取HSI-小波变换、低频系数加权平均的两种不同算法与本发明方法进行比较，HSI-小波变换、加权平均两种算法的融合结果如图6、图7所示。

对比图7加权平均法和图6本发明方法，可以看到图7中模拟卫星模型颜色信息并不充足，并且在细节纹理上稍显模糊，卫星模型上的模拟尖端位置不明显，图像清晰度低。图6中清晰度明显优于图7，图6由于使用了HSI变换并利用的是亮度分量，因此可以保留可见光图像的金属颜色信息部分，并且由于经过小波变换提取了高频信息，因此融合图像保留了近红外图像的纹理特征。

对比图8没有经过迭代的HSI-小波变换和图6本发明方法，可以看到图8中虽然存在一定的金属颜色信息，但是仍然呈现出一个较为昏暗的效果，同时对比度较低，周围还出现了光晕，轮廓特征不够显著。而图6中本发明方法所使用的根据计算融合后图像的SSIM_M值对融合系数进行优化迭代，可以看到融合后的图像对比明显，无阴影部分，纹理清晰，极大程度保留了可见光图像和近红外图像各自的优越性。

图9和图10是原始可见光和近红外图像的局部放大图，与图11至图13对比可以明显看出本发明方法融合得到的图像解决了由于配准误差存在的阴影问题，细节纹理部分更加清晰可见，同时保留了金属颜色特征。

为了客观地评价本发明方法效果，标准差、平均梯度、信息熵以及峰值信噪比这四个指标，对上述几种算法的融合图像进行数据分析，结果如表1所示。

从表1可以看出，本发明的方法融合后的图像较小波变换-HSI方法和加权平均法标准差分别提高了15.07％和30.12％，标准差的显著提升表明本发明方法对比度有显著提高，灰度范围增加。本发明方法融合图像的平均梯度分别提高了27.78％、56.98％，表明使用本发明方法的融合图像边缘、轮廓、纹理等细节信息比小波变换算法的更加丰富，图像清晰度大幅提升。本发明方法融合图像的信息熵较小波变换-HSI方法和加权平均法信息熵分别提高了1.36％、8.57％，本发明方法融合图像的峰值信噪比较小波变换-HSI方法和加权平均法峰值信噪比分别提高了15.99％、19.03％，表明本发明提出的方法能保留更多的原始图像特征信息。

表1：融合图像的客观评价

通过计算图像的平均梯度、标准差、信息熵、峰值信噪比等客观评价指标可以看出，本发明提出的基于小波变换、HSI色彩空间变换以及反馈迭代的多源图像融合方法，在光照强度、角度较低、原始可见光图像存在阴影的情况下，融合后的图像既保持了可见光图像丰富的颜色信息，同时继承了近红外图像清晰的纹理特征，融合后的图像信息利用率高、纹理清晰色彩鲜明，更加符合人眼视觉感官。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (10)

1.一种基于反馈迭代调节的低光照条件下多源图像融合方法，其特征在于包括，

步骤一：采集监测目标的可见光原始图像和近红外原始图像，并进行预处理，获得预处理后的可见光图像和近红外图像；

步骤二：对所述近红外图像进行基于Haar小波的小波变换，获得小波变换后近红外图像低频分量和近红外图像高频分量；

同时对所述可见光图像从RGB颜色空间转换到HSI颜色空间，得到转换后色度分量H、转换后饱和度分量S和转换后亮度分量I；对转换后亮度分量I进行基于Haar小波的小波变换，获得小波变换后可见光图像亮度分量I的低频分量和亮度分量I的高频分量；

步骤三：根据光照强度影响因子确定初始可见光低频融合系数及初始近红外低频融合系数，并对可见光图像亮度分量I的低频分量和近红外图像低频分量进行融合，获得初始低频融合结果；

同时采用像素灰度值绝对值取大法对可见光图像亮度分量I的高频分量和近红外图像高频分量进行融合，获得高频融合结果；

步骤四：对低频融合结果和高频融合结果分别进行小波重构，再对重构的结果进行结合得到重构后新的亮度分量；

步骤五：对重构后新的亮度分量、转换后色度分量H和转换后饱和度分量S进行HSI逆变换，得到融合后RGB图像；

步骤六：再分别计算融合后RGB图像与可见光图像和近红外图像的相似度指标，并取平均值作为融合后RGB图像与预处理后图像的相似度指标SSIM_M；比较当前次与相邻前一次相似度指标SSIM_M的大小，保留相似度指标SSIM_M较大值对应的可见光低频融合系数作为下一次迭代的可见光对比系数，并对当前对比系数利用高斯分布生成的0.8到1.5的随机系数进行调整，得到调整后可见光低频融合系数；根据调整后可见光低频融合系数计算获得调整后近红外低频融合系数；相似度指标SSIM_M的初值置0；

步骤七：以调整后可见光低频融合系数和调整后近红外低频融合系数作为新的低频融合系数，重复步骤三至步骤七，直到连续5次迭代的相似度指标SSIM_M没有新解，则终止迭代，并以当前的融合后RGB图像作为最终融合后图像。

2.根据权利要求1所述的基于反馈迭代调节的低光照条件下多源图像融合方法，其特征在于，

步骤二中，对所述可见光图像从RGB颜色空间转换到HSI颜色空间的方法包括：

式中R为可见光图像红色颜色值，G为可见光图像绿色颜色值，B为可见光图像蓝色颜色值。

3.根据权利要求2所述的基于反馈迭代调节的低光照条件下多源图像融合方法，其特征在于，近红外图像或可见光图像的转换后亮度分量I在进行小波变换前，先按行进行滤波后下采样，再按列进行滤波后下采样。

4.根据权利要求3所述的基于反馈迭代调节的低光照条件下多源图像融合方法，其特征在于，近红外图像或可见光图像的转换后亮度分量I经小波变换后，分别被分解为四张子图像；

近红外图像对应的四张子图像为一张近红外图像低频分量和三张近红外图像高频分量；

可见光图像的转换后亮度分量I对应的四张子图像为一张可见光图像低频分量和三张可见光图像高频分量。

5.根据权利要求4所述的基于反馈迭代调节的低光照条件下多源图像融合方法，其特征在于，

步骤三中，光照强度影响因子μ为：

式中P(i,j)表示可见光图像第i行、第j列的像素值，M表示可见光图像的长，N表示可见光图像的宽，ρ表示转换系数。

6.根据权利要求5所述的基于反馈迭代调节的低光照条件下多源图像融合方法，其特征在于，初始可见光低频融合系数ω_V和初始近红外低频融合系数ω_N为：

7.根据权利要求6所述的基于反馈迭代调节的低光照条件下多源图像融合方法，其特征在于，

低频融合结果F_L(i,j)为：

F_L(i,j)＝ω_V×V_L(i,j)+ω_NN_L(i,j)，

V_L(i,j)为可见光图像亮度分量I的低频分量，N_L(i,j)为近红外图像低频分量；

高频融合结果F_H(i,j)为：

V_H(i,j)为可见光图像亮度分量I的高频分量，N_H(i,j)为近红外图像高频分量。

8.根据权利要求7所述的基于反馈迭代调节的低光照条件下多源图像融合方法，其特征在于，融合后RGB图像的可见光图像红色颜色值R′、可见光图像绿色颜色值G′和可见光图像蓝色颜色值B′的表示方法为：

式中I′为步骤四中重构后新的亮度分量。

9.根据权利要求8所述的基于反馈迭代调节的低光照条件下多源图像融合方法，其特征在于，

融合后RGB图像与预处理后图像的相似度指标SSIM_M的计算方法包括：

式中

为可见光图像与融合后RGB图像的相似度指标，

为近红外图像与融合后RGB图像的相似度指标；

μ_V为可见光图像亮度均值，μ_F为融合后RGB图像亮度均值，C₁为常数，C₁＝6.5，σ_V为可见光图像方差，σ_F为融合后RGB图像方差，C₂为常数，C₂＝58.5；

μ_N为近红外图像亮度均值，σ_N为近红外图像方差。

10.根据权利要求9所述的基于反馈迭代调节的低光照条件下多源图像融合方法，其特征在于，

调整后可见光低频融合系数ω_V'为：

ω_V'＝ω_V×λ，

式中ω_V为根据相似度指标SSIM_M较大值保留的可见光低频融合系数；

调整后近红外低频融合系数ω_N'为：

ω_N′＝1-ω_V′，

式中λ为利用高斯分布生成的0.8到1.5的随机系数。

Images