CN114092369A - 基于视觉显著映射与最小二乘优化的图像融合方法 - Google Patents

Abstract

本发明提供了一种基于视觉显著映射与最小二乘优化的图像融合方法，所述方法包括：基于循环引导滤波与第一高斯滤波对红外可见光图像进行多尺度分解，得到基本层和细节层；基于视觉显著映射对所述基本层进行融合，得到目标基本层；基于加权最小二乘优化对所述细节层进行融合，得到目标细节层；基于所述目标基本层和目标细节层重建并得到融合图像；本发明输出的红外与可见光融合图像包含更少的红外噪声，并且图像中的细节信息更加清晰，更加自然；提出的融合方法恰当地结合了红外特征与可见光特征各自的优势，产生了更好的融合结果。

Description

基于视觉显著映射与最小二乘优化的图像融合方法

技术领域

本发明属于图像融合技术领域，尤其涉及一种基于视觉显著映射与最小二乘优化的图像融合方法。

背景技术

近些年来，独立单波段光学目标检测技术已取得了很大的成就。但在光线较暗的情况下，或者遇到伪装、遮挡、大雾等恶劣的状况，单波段目标检测系统将很难取得理想的目标检测效果。为此，在军用民用等领域中，日益依赖多波段图像的配合来完成指定的目标检测任务，这其中红外与可见光多波段图像目标检测技术受到了越来越多的关注。利用红外与可见光多波段图像进行目标检测，获得的信息比单用其中任何一个都要丰富得多，且特征具有很强的互补性。

可见光传感器成像分辨率较高，且细节丰富，有利于场景理解与目标的识别分类，但成像系统在光线较暗时成像较差，且较难检测到受遮挡、伪装的目标。红外传感器基于物体的热辐射成像，受光线、天气等条件的影响较小，且能够检测识别出伪装、遮挡下的目标，但红外传感器的成像分辨率较低，缺乏场景的细节信息。为此，国内外对红外与可见光多波段图像融合技术进行了深入的研究，证明可充分利用不同传感器的优势，有效弥补单一传感器的不足。

发明内容

针对上述技术问题，本发明提供了一种基于视觉显著映射与最小二乘优化的图像融合方法，所述方法包括：

基于循环引导滤波与第一高斯滤波对红外可见光图像进行多尺度分解，得到基本层和细节层；

基于视觉显著映射对所述基本层进行融合，得到目标基本层；

基于加权最小二乘优化对所述细节层进行融合，得到目标细节层。

优选地，所述基于循环引导滤波与第一高斯滤波对红外可见光图像进行多尺度分解，得到基本层和细节层，包括：

基于第二高斯滤波对所述红外可见光图像进行小尺度结构移除；

基于引导滤波对所述红外可见光图像进行迭代边缘恢复；

基于所述循环引导滤波对所述红外可见光图像进行多次滤波，得到所述基本层和细节层。

优选地，所述基于视觉显著映射对所述基本层进行融合，得到目标基本层，包括：

提取所述红外可见光图像的视觉显著性映射；

基于所述视觉显著性映射对所述基本层进行加权融合，得到所述目标基本层。

优选地，所述视觉显著性映射是根据图像中一个像素与所有其他像素的差值来定义像素级的显著性。

优选地，所述基于加权最小二乘优化对所述细节层进行融合，得到目标细节层，包括：

基于“取最大绝对值”规则对所述细节层进行融合，得到初始融合结果；

基于加权最小二乘优化能量方程对所述初始融合结果和所述细节层进行优化，得到所述目标细节层。

优选地，所述加权最小二乘优化包括：

获取所述目标细节层和所述细节层的第一平方差；其中，所述第一平方差表征所述目标细节层和所述细节层的相似度；

获取所述目标细节层与可见光图像细节层的第二平方差；其中，所述第二平方差表征所述目标细节层与所述可见光图像细节层的相似度。

优选地，所述加权最小二乘优化还包括：

获取加权最小二乘优化的自适应权重；其中，所述自适应权重用于平衡所述第一方差和所述第二方差的重要度。

优选地，所述方法还包括：

基于所述目标基本层和目标细节层重建并得到融合图像。

本发明的有益技术效果：

本发明输出的红外与可见光融合图像包含更少的红外噪声，并且图像中的细节信息更加清晰，更加自然。提出的融合方法恰当地结合了红外特征与可见光特征各自的优势，产生了更好的融合结果。

附图说明

图1是本发明实施例提供的流程图；

图2是本发明实施例提供的融合效果图。

具体实施方式

请参阅图1-2，为了有效融合红外与可见光多波段图像，使融合图像更有利于人眼对周围环境的感知，首先采用循环引导滤波和高斯滤波对红外与可见光图像执行多尺度分解，该分解策略可按尺度大小对图像进行模糊处理，且能够有效地保持住图像结构的边缘；然后设计了基于视觉显著性的基本层融合规则以提高融合图像的对比度；同时设计了加权最小二乘优化能量方程来融合细节层以减少融合图像的噪声，使其视觉效果更好。

下面是具体描述：

一、基于循环引导滤波与高斯滤波的多尺度分解

循环引导滤波同时具备了边缘保持能力和尺度感知能力，具有较好的多尺度分解效果，本发明采用循环引导滤波实现多波段图像的多尺度分解。循环引导滤波主要包括两步：小尺度结构移除和边缘恢复。

(1)使用高斯滤波进行小尺度结构移除。输入图像表示为I，经过高斯滤波模糊后的输出图像表示为G，则有

G＝Gaussian(I,σ_s) (1)

其中，Gaussian(I,σ_s)表示标准差为σ_s的高斯滤波，σ_s在这里表示为尺度参数。根据尺度空间理论，该滤波可以移除尺度小于σ_s的图像结构。

(2)由于引导滤波具有高效的执行效率与较好的边缘保持能力，所以本发明采用引导滤波作为联合滤波进行边缘恢复。边缘恢复是一个迭代的过程，其中初始图像J¹为高斯滤波的输出图像G，则在第t次迭代中，输出图像J^t+1可表示为

J^t+1＝GuidedFilter(J^t,I,σ_s,σ_r ²) (2)

其中，GuidedFilter()表示引导滤波，I与σ_s的定义与式(1)中的定义相同，Jt表示引导图像，σ_r表示正则化参数，在本发明中σ_r＝0.05。循环引导滤波由式(1)和式(2)执行实现，可以将其表示简化为

u＝RGF(I,σ_s,σ_r,T) (3)

其中，T表示迭代次数，设置为4，u表示循环引导滤波器的输出图像。

在多尺度分解中，基本层是由高斯滤波得到的。一般来讲，基本层是输入多波段图像最粗糙的版本，包含了粗糙尺度的结构信息，基本层可以控制融合图像的全局对比度，因此基本层没有必要保持输入图像的边缘和细节信息。由于基本层主要用来融合粗糙尺度的结构信息，所以当基本层中包含一些边缘或细节信息时，输出图像就会损失一些边缘或细节信息。尽管最粗糙尺度的基本层可以由循环引导滤波设计较大的σ_r和σ_s得到，但是滤波的迭代过程是较花费时间的并且在实际中是没有必要的。为此，本发明采用高斯滤波来获得基本层，这样在保证融合效果的同时还可以减少计算量。

基于循环引导滤波和高斯滤波的多尺度分解公式如下：

d^j＝u^j-1-u^j,(j＝1,…,N-1) (5)

d^j＝u^j-1-u^j,(j＝N) (7)

其中，u^j表示第j层的滤波输出图像，d^j表示第j层的细节层，N表示多尺度分解的层数(设置为4)。初始图像u⁰为输入图像，即u⁰＝I。基本层B(即u^N)是由高斯滤波(式(1))得到的。设置

以获得越来越粗糙的图像，且

通过多尺度分解，输入的红外图像I₁能被分解为基本层B₁和细节层

输入的可见光图像I₂能被分解为基本层B₂和细节层

二、基本层融合

对于基于多尺度分解的融合方法来讲，当分解的层数足够大时，基本层将只包含输入图像的平均值信息。在这种情况下，使用传统的“取平均值”融合规则可以得到令人满意的融合效果。实际上，这也是大部分传统融合方法采用这个简单的融合规则来融合基本层的原因。然而，考虑到要减少计算消耗，在实际中多尺度分解的层数常常是有限的。这种情况下，基本层中就会残留大量的低频信息，这些低频信息可以控制融合图像的对比度与外观。而传统的“取平均值”规则不能够有效地提取这些低频信息，最终造成融合图像中对比度的丢失。

为解决“取平均值”规则存在的问题，发明提出一种基于视觉显著性的加权平均技术来实现基本层的融合。视觉显著性技术可以识别出图像中显著的结构、区域和物体，使其与周围不显著的物体区分开。视觉显著性技术广泛应用于许多计算机视觉与计算机图形应用中。在图像融合中，由于视觉显著性映射能够反映出显著的图像特征，所以经常被用于细节层的融合。在本发明中，视觉显著性映射被用于融合基本层，以避免对比度信息的丢失。

视觉显著性映射根据图像中一个像素与所有其他像素的对比度来定义像素级的显著性。I_p表示图像I中像素p的强度值，像素p的显著性值V(p)被定义为

V(p)＝|I_p-I₁|+I_p-I₂|+…+I_p-I_N| (8)

其中，N表示图像I中像素的总数目。如果两个像素具有相同的强度值，那么它们的显著性值也相同，则式(8)可表示为

其中，I表示像素强度值，M_j表示强度为j的像素的数目，L为像素强度值的总数目(即为256)。然后将V(p)归一化到[0,1]即可。

输入红外图像与可见光图像的显著性映射分别表示为V₁和V₂。则融合的基本层B_F可通过下面的加权平均得到：

B_F＝W_bB₁+(1-W_b)B₂ (10)

其中，权重W_b被定义为

上式(10)和(11)是考虑了视觉显著性的加权平均技术。如果在图像的某些位置V₁等于V₂，那么权重W_b将退化为普通的“取平均值”权重。如果在某些位置V₁大于V₂，那么权重W_b将大于0.5，这种情况下将使基本层B₁中更多的信息融合进B_F。否则，当V₁小于V₂时，将使基本层B₂中更多的信息融合进B_F。

三、细节层融合

与可见光图像相比，红外图像常常包含有粗糙尺度的结构信息与噪声，而缺少精细尺度的细节信息。简单的使用传统的“取最大绝对值”规则来融合细节层，并没有考虑红外图像与可见光图像之间不同的特性，使融合图像缺少精细尺度的细节信息，而含有较多的红外噪声。因此，改进“取最大绝对值”融合规则以使融合图像更适合人类视觉感知是很有必要的。为了实现这种改进，本发明提出一种基于加权最小二乘优化的融合规则来融合细节层。

首先，“取最大绝对值”规则的加权系数Wj定义为

为了减少噪声，使用高斯滤波平滑系数W^j：

其中，

是W^j平滑后的输出，标准差σ_s＝2。然后使用“取最大绝对值”规则融合的第j层的细节层M^j定义为

那么第j层融合的细节层D^j可通过最小化下面的加权最小二乘能量方程获得：

其中，空间自适应权重

定义为

定义中p表示像素的空间位置，ε是一很小的常数(设置为0.0001)，以防分母为0，ω_p是以像素p为中心的正方形窗口。较大尺寸的正方形窗口会模糊融合图像并且增加计算消耗，而较小尺寸的窗口不能移除红外噪声和不相关细节的影响。一般来讲，当窗口尺寸为7×7时，可以获得令人满意的融合结果。

式(15)中的第一项

目的是最小化D^j与M^j之间的欧氏距离，第二项倾向于使融合的细节层D^j更靠近可见光图像的细节层

参数λ负责控制公式中两项的平衡(设置为0.01)。然后将式(15)改写为矩阵形式：

其中，D^j,M^j,

全部以向量形式表示，A^j是由权重a^j组成的对角矩阵。

使式(16)最小的向量D^j可通过解下面的线性方程得出：

由于A^j是一个对角矩阵，所以A^j＝(A^j)^T。那么式(17)可简化为

由于(I+λA^j)是一个对角矩阵，所以可以快速求解上式，D^j表示为

最后，通过结合融合的基本层B_F和融合的细节层D¹,D²,…,D^N来重建融合图像F：

F＝B_F+D¹+D²+…+D^N (20)

Claims (8)

1.一种基于视觉显著映射与最小二乘优化的图像融合方法，其特征在于，所述方法包括：

基于循环引导滤波与第一高斯滤波对红外可见光图像进行多尺度分解，得到基本层和细节层；

基于视觉显著映射对所述基本层进行融合，得到目标基本层；

基于加权最小二乘优化对所述细节层进行融合，得到目标细节层。

2.根据权利要求1所述的方法，其特征在于，所述基于循环引导滤波与第一高斯滤波对红外可见光图像进行多尺度分解，得到基本层和细节层，包括：

基于第二高斯滤波对所述红外可见光图像进行小尺度结构移除；

基于引导滤波对所述红外可见光图像进行迭代边缘恢复；

基于所述循环引导滤波对所述红外可见光图像进行多次滤波，得到所述基本层和细节层。

3.根据权利要求2所述的方法，其特征在于，所述基于视觉显著映射对所述基本层进行融合，得到目标基本层，包括：

提取所述红外可见光图像的视觉显著性映射；

基于所述视觉显著性映射对所述基本层进行加权融合，得到所述目标基本层。

4.根据权利要求3所述的方法，其特征在于，所述视觉显著性映射是根据图像中一个像素与所有其他像素的差值来定义像素级的显著性。

5.根据权利要求1所述的方法，其特征在于，所述基于加权最小二乘优化对所述细节层进行融合，得到目标细节层，包括：

基于“取最大绝对值”规则对所述细节层进行融合，得到初始融合结果；

基于加权最小二乘优化能量方程对所述初始融合结果和所述细节层进行优化，得到所述目标细节层。

6.根据权利要求5所述的方法，其特征在于，所述加权最小二乘优化包括：

获取所述目标细节层和所述细节层的第一平方差；其中，所述第一平方差表征所述目标细节层和所述细节层的相似度；

获取所述目标细节层与可见光图像细节层的第二平方差；其中，所述第二平方差表征所述目标细节层与所述可见光图像细节层的相似度。

7.根据权利要求6所述的方法，其特征在于，所述加权最小二乘优化还包括：

获取加权最小二乘优化的自适应权重；其中，所述自适应权重用于平衡所述第一方差和所述第二方差的重要度。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标基本层和目标细节层重建并得到融合图像。

Images