CN110223265B - 基于多尺度变换分解的目标显著的图像融合方法及系统 - Google Patents

Abstract

本发明公开了一种基于多尺度变换分解的目标显著的图像融合方法及系统，本发明的方法与传统的多尺度分解方法的不同之处主要在于低频信息的融合，首先采用具体的多尺度分解方法将红外图像和可见光图像分解为低频带和高频带，高频部分采用常见的“最大绝对值”的融合规则来进行融合；为了突出目标，利用红外图像分解的低频信息所表征的红外特征确定低频信息的融合权重，最终的融合图像既能突出显著的红外目标特征，又能保持可见光图像清晰的背景、纹理细节和对比度信息。

Description

基于多尺度变换分解的目标显著的图像融合方法及系统

技术领域

本发明涉及图像处理领域，更具体地说，涉及一种基于多尺度变换分解的目标显著的图像融合方法及系统。

背景技术

近年来，随着物联网的发展，越来越多的传感器被应用到数据采集中，对同一场景的数据采集也由单传感器转变为多种不同类型的传感器采集以获得该场景更加全面、准确的信息。但是不同类型的传感器采集到的信息存在着大量的冗余，这些信息浪费传输带宽以及存储空间，而且不同传感器采集的信息分布在不同图片中也不利于后续的处理。为了解决这些问题，图像融合技术受到越来越多的关注。

红外与可见光图像的融合研究是多源传感器信息融合领域研究内容的分支。红外传感器反映的是景物温度差或辐射差，不易受光照和风沙烟雾等复杂条件的影响，并且可以全天候工作。但是，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，可视性较差。可见光成像传感器与红外传感器不同，它只与目标场景的反射有关，能够捕获具有丰富外观信息。将红外和可见光图像的特征信息融合到一幅图像，有利于突出目标，增强图像中的有用信息，便于在隐匿或者迷惑等复杂的情况下更精确、快速地探测目标。

现在，图像融合技术已经被广泛应用于在医学、遥感、军事、农业、计算机视觉等多个领域。图像融合可以在以下三个不同层次进行：像素级、特征级和决策级。像素级图像融合是最低层次的融合，是其他层次图像融合的基础，直接对两幅或多幅图像中的对应像素点进行信息综合处理，主要强调的是对有用的信息的强化和丰富。目前应用最为广泛的是基于多尺度变换的图像融合方法，最常用的是金字塔变换和小波变换，如拉普拉斯金字塔和离散小波变换。后来，一些新的多尺度变换也被引入到图像融合中，如双树复小波变换、曲波变换、非下采样轮廓波变换和剪切波变换。基于多尺度分解的融合方法包括三个步骤。首先，将源图像分解成具有低频信息和高频信息的多尺度表示；然后根据相应的融合规则分别将相应的低频和高频进行融合；最后，通过逆变换来重构融合图像。基于多尺度分解的方法除了选择变换域之外，高频或低频带中的融合规则对融合结果也有很大的影响。通常，高频系数的绝对值作为高频融合的活动水平测量，即在每个像素位置选择具有最大绝对值的系数。后来，又提出了利用相邻系数信息来改进高频融合规则。与高频融合规则相比，大多数基于多尺度分解的融合方法中只是简单的通过“平均规则”来实现低频的融合。

基于多尺度变换的方法对不同的源图像使用相同的表示，并尝试保留源图像中的边缘和纹理等显著特征，得到的图像与人类视觉系统一致。红外图像中的热辐射信息由像素强度表征，并且目标的强度通常比背景大很多，因此很容易检测到；而可见光图像中的纹理信息主要由梯度表征，提供场景的细节信息。所以在融合的过程中对两种类型的图像使用相同的表示是不合适的。而梯度转移融合方法虽然可以保留红外图像中的目标强度信息，但是却丢失了可见光图像中大部分的细节纹理信息。

发明内容

为了尽可能多地保留重要的信息，使得融合的图像保持红外图像中目标的强度和可见光图像中的纹理细节，所以提出了一种基于多尺度变换分解的目标显著的图像融合方法及系统。

根据本发明的其中一方面，本发明解决其技术问题所采用的技术方案是：构造一种基于多尺度变换分解的目标显著的图像融合方法，包含如下步骤：

S1、基于可见光成像传感器与红外传感器分别对同一目标进行成像，对应的得到红外图像A和可见光图像B；

S2、多尺度变换分解的方法分别对红外图像A和可见光图像B进行分解，分解为低频带{LA_N，LB_N}和高频带{LA_l，LB_l}，N表示顶层，1表示其它层；其中，参数中字母A代表红外图像A的数据，字母B代表可见光图像B的数据；

S3、对从红外图像分解出来的低频部分的每个像素点x分别取绝对值，则得到红外特征的显著性强度R(x)：

R(x)＝|LA_N|；

根据下述公式对所有像素点处的R(x)进行归一化和非线性变换处理，得到C：

式中，函数S_λ：[0，1]→[0，1]为非线性变换函数，定义为：

其中，Ω表示整个图像区域内的像素点，函数的参数λ为预设值，λ＞0；

S4、根据下述公式计算得到低频融合结果LF_N：

LF_N＝C·LA_N+(1-C)·LB_N；

S5、根据下述公式计算得到高频融合结果LF：

S6、在LF_N与LF_l上执行与步骤S2中所述多尺度变换分解的方法的逆变换，重建最终融合图像。

进一步地，在本发明的基于多尺度变换分解的目标显著的图像融合方法中，所述多尺度变换分解的方法包括：拉普拉斯金字塔、低频比率金字塔、离散小波变换、双树复小波变换、曲波变换或非下采样轮廓波变换。

进一步地，在本发明的基于多尺度变换分解的目标显著的图像融合方法中，所述多尺度变换分解的方法为拉普拉斯金字塔，所述步骤S6中的逆变换的方法为：从最高层开始逐层按照分解方法相对应的逆变换进行递推，可以恢复各图层，最终重建融合图像：

式中，N为金字塔的总层数，I_l表示第1层的递推结果，LF_l表示融合后金字塔的第1层，

表示第l+1层膨胀后图像。

根据本发明的另一方面，本发明为解决其技术问题，本发明还提供了一种基于多尺度变换分解的目标显著的图像融合系统，包含如下模块：

图像获取模块，用于基于可见光成像传感器与红外传感器分别对同一目标进行成像，对应的得到红外图像A和可见光图像B；

变换分解模块，用于多尺度变换分解的方法分别对红外图像A和可见光图像B进行分解，分解为低频带{LA_N，LB_N}和高频带{LA_l，LB_l}，N表示顶层，l表示其它层；其中，参数中字母A代表红外图像A的数据，字母B代表可见光图像B的数据；

显著性计算模块，用于对从红外图像分解出来的低频部分的每个像素点x分别取绝对值，则得到红外特征的显著性强度R(x)：

R(x)＝|LA_N|；

根据下述公式对所有像素点处的R(x)进行归一化和非线性变换处理，得到C：

式中，函数S_λ：[0，1]→[0，1]为非线性变换函数，定义为：

其中，Ω表示整个图像区域内的像素点，函数的参数λ为预设值，λ＞0；

低频融合模块，用于根据下述公式计算得到低频融合结果L_F：

LF_N＝C·LA_N+(1-C)·LB_N；

高频融合模块，用于根据下述公式计算得到高频融合结果H_F：

图像重建模块，用于在LF_N与LF_l上执行与步骤S2中所述多尺度变换分解的方法的逆变换，重建最终融合图像。

进一步地，在本发明的基于多尺度变换分解的目标显著的图像融合方法中，所述多尺度变换分解的方法包括：拉普拉斯金字塔、低频比率金字塔、离散小波变换、双树复小波变换、曲波变换或非下采样轮廓波变换。

进一步地，在本发明的基于多尺度变换分解的目标显著的图像融合方法中，所述多尺度变换分解的方法为拉普拉斯金字塔，所述步骤S6中的逆变换的方法为：从最高层开始逐层按照分解方法相对应的逆变换进行递推，可以恢复各图层，最终重建融合图像：

式中，N为金字塔的总层数，I_l表示第l层的递推结果，LF_l表示融合后金字塔的第1层，

表示第l+1层膨胀后图像。

实施本发明的基于多尺度变换分解的目标显著的图像融合方法及系统，具有以下有益效果：本发明的方法与传统的多尺度分解方法的不同之处主要在于低频信息的融合，首先采用具体的多尺度分解方法将红外图像和可见光图像分解为低频带和高频带，高频部分采用常见的“最大绝对值”的融合规则来进行融合；为了突出目标，利用红外图像分解的低频信息所表征的红外特征确定低频信息的融合权重，最终的融合图像既能突出显著的红外目标特征，又能保持可见光图像清晰的背景、纹理细节和对比度信息。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是基于多尺度变换分解的图像融合的原理图；

图2是不同参数情况下的非线性变换函数曲线

图3(a)是可见光图像；

图3(b)是红外图像；

图3(c)是传统MST方法融合结果；

图3(d)是GTF融合结果；

图3(e)是本发明所提方法的融合结果；

图4是本发明的方法与传统多尺度分解的定性比较图；

图5是本发明的方法与其他方法的定性比较图，从上到下：可见光图像、红外图像、ASR、FPDE、GFF、MISF、MSVD、GTF和本发明的方法的结果。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

参考图1，本发明的基于多尺度变换分解的目标显著的图像融合方法，包含如下步骤：

S1、基于可见光成像传感器与红外传感器分别对同一目标进行成像，对应的得到红外图像A和可见光图像B。

S2、多尺度变换分解的方法分别对红外图像A和可见光图像B进行分解，分解为低频带{LA_N，LB_N}和高频带{LA_l，LB_l}，N表示顶层，l表示其它层；其中，在本发明的各个参数中，字母A代表红外图像A的数据，字母B代表可见光图像B的数据。常见的多尺度变换分解的方法包括：拉普拉斯金字塔、低频比率金字塔、离散小波变换、双树复小波变换、曲波变换或非下采样轮廓波变换。本领域人员应当理解的是，本发明中所述的高频和低频是二者相对的高低，并不代表绝对值的大小。

以拉普拉斯金字塔为例。

设原图像为I，对原始输入图像进行高斯低通滤波和隔行的下采样，得到高斯金字塔的第一层；再对第一层图像低通滤波和下采样，得到高斯金字塔的第二层；重复以上过程，构成高斯金字塔。高斯金字塔序列中的每一级图像均为前一级图像低通滤波后作隔行隔列降采样，即：

(1≤l≤N，0≤i＜R_l，0≤j＜C_l) (1)

其中，I_l(i，j)为第1层高斯金字塔图像，I₀是原图像高斯金字塔的底层；N是金字塔的总层数，R_l为第1层的行数，而C_l为第1层的列数；w(m，n)＝h(m)×h(n)是5×5二维可分离高斯滤波器，h是高斯密度分布函数。

在构造了一个尺寸逐渐减半的高斯金字塔序列后，利用插值法对高斯金字塔进行插值膨胀，使第1层图像I_l膨胀后的尺寸与第1-1层图像I_l-1尺寸相同，算法如下(上标*表示膨胀后的图像)：

(0＜l≤N，0≤i＜R_l，0≤j＜C_l) (2)

其中，当

为整数时

其他情况时：

对高斯金字塔各层分别进行插值膨胀，得到膨胀序列

则拉普拉斯金字塔的第l层图像为：

LP_N＝I_N (6)

由LP₀，LP₁，...，LP_N构成的金字塔即为拉普拉斯金字塔，它的每一层子图为高斯金字塔相应层图像与其上一层图像经插值膨胀后所得的图像之差，这个过程相当于带通滤波过程。

本步骤所提的方法就是先将红外和可见光的源图像先分别进行分解，可采用拉普拉斯金字塔分解，其中两幅源图像{I_A，I_B}分别被分解为低频带{LA_N，LB_N}和高频带{LA_l，LB_l}，0≤l＜N。其中低频带为分解的顶层，也称之为基层，高频带为其他细节纹理层。

S3、低频部分能够表示图像大部分灰度平滑区域，包含了一幅图像的大部分能量，通常代表了图像的背景信息。传统的基于多尺度变换分解的图像融合方法的低频带采用“平均”融合规则，这样往往会在源头上丢失一些能量信息，最终融合的图像就会降低对比度。为了解决这一问题，提出利用分解的红外低频信息确定低频部分的融合权重的方法。

对从红外图像分解出来的低频部分的每个像素点x分别取绝对值，则得到红外特征的显著性强度R(x)：

R(x)＝|LA_N|；

对于图像中的某点x，R(x)的值越大，红外特征越显著。

然后根据下述公式对所有像素点处的R(x)进行归一化和非线性变换处理，得到C：

式中，函数S_λ：[0，1]→[0，1]为非线性变换函数，定义为：

其中，Ω表示整个图像区域内的像素点，函数的参数λ为预设值，λ＞0；

C反映了红外特征分布情况，C(x)的值决定低频融合权重，C(x)值比较大，红外特征比较明显，说明此处是目标的可能性就比较大，融合时所占的比率就应该相对较大，这样才能避免丢失过多的能量信息，降低融合图像的对比度。

S4、根据下述公式计算得到低频融合结果LF_N：

LF_N＝C·LA_N+(1-C)·LB_N；

S5、高频系数通常表征了图像的边缘、轮廓、噪声等高频信息，能够体现图像对应位置的信息丰富程度。通常，高频系数的绝对值越大，包含的纹理信息越鲜明，特别是边缘部分的高频系数绝对值特别大。所以采用比较常用的“最大绝对值”规则来合并高频带可以得到包含源图像中的边缘信息的LF_l，即根据下述公式计算得到高频融合结果LF_l：

S6、在LF_N与LF_l(0≤l＜N)上执行与步骤S2中所述多尺度变换分解的方法的逆变换，重建最终融合图像。

在多尺度变换分解的方法为拉普拉斯金字塔时，所述步骤S6中的逆变换的方法为：从最高层开始逐层按照下述公式进行递推，可得到各层的子图，其中顶层即为低频融合结果，高频融合结果为其它各个层：

式中，N为金字塔的总层数，I_l表示第1层的递推结果，LF_l表示融合后金字塔的第1层，

表示第l+1层膨胀后图像。

图2给出了非线性变换函数S_λ(α)在不同的参数λ下的曲线形状。其中α∈[0，1]表示函数的自变量，λ(λ＞0)是函数的参数。增大参数λ时，曲线形状缓慢变陡峭，相应的非线性变换逐渐变得强烈。因此，通过调整参数λ可以比较方便的对融合进的红外图像信息量进行控制。

参考图3(a)-图3(e)，图3(a)与图3(b)是将要融合的源图像，其中可见光包含详细的背景，红外图像突出显示目标，即建筑物。图3(c)是传统的基于多尺度变换分解方法的融合结果。我们可以看到融合图像中背景细节纹理能够很好的保持，目标也更加明亮，但是很难从背景中辨别出目标。所以保持红外图像中的热辐射信息就十分重要了。在军事应用中，当场景中出现假目标(例如：诱饵)时，这种方法的融合结果就很难分辨出真正的目标。图3(d)是基于梯度转移方法的融合结果，图中目标信息十分突出，但是很多可见光图像中的纹理细节丢失。所以就需要一种既能突出目标又能保留纹理细节的融合方法。图3(e)是本发明所提方法的融合结果。显然，本发明的方法不但保留了详细的背景信息，而且红外图像中的热辐射信息也很突出，很容易识别出目标。

本发明的方法与传统的多尺度变换分解的方法进行比较，结果如图4。由图4可以看出我们的方法可以看出本发明的方法较传统的多尺度分解方法保留了更多的红外信息，同时纹理细节也没有大量丢失。

然后与当前较先进的方法比较，见图5。图片由上到下每行分别是可见光图像、红外图像、ASR、FPDE、GFF、MISF、MSVD、GTF和我们方法融合的结果。本发明的方法不仅有清晰的纹理，而且目标也十分突出，便于后续的跟踪识别等工作。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (6)

1.一种基于多尺度变换分解的目标显著的图像融合方法，其特征在于，包含如下步骤：

S1、基于可见光成像传感器与红外传感器分别对同一目标进行成像，对应的得到红外图像A和可见光图像B；

S2、多尺度变换分解的方法分别对红外图像A和可见光图像B进行分解，分解为低频带{LA_N，LB_N}和高频带{LA_l，LB_l}，N表示顶层，l表示其它层；其中，参数中字母A代表红外图像A的数据，字母B代表可见光图像B的数据；

S3、对从红外图像分解出来的低频部分的每个像素点x分别取绝对值，则得到红外特征的显著性强度R(x)：

R(x)＝|LA_N|；

根据下述公式对所有像素点处的R(x)进行归一化和非线性变换处理，得到C：

式中，函数S_λ：[0，1]→[0，1]为非线性变换函数，定义为：

其中，Ω表示整个图像区域内的像素点，函数的参数λ为预设值，λ＞0；

S4、根据下述公式计算得到低频融合结果LF_N：

LF_N＝C·LA_N+(1-C)·LB_N；

S5、根据下述公式计算得到高频融合结果LF：

S6、在LF_N与LF_l上执行与步骤S2中所述多尺度变换分解的方法的逆变换，重建最终融合图像。

2.根据权利要求1所述的基于多尺度变换分解的目标显著的图像融合方法，其特征在于，所述多尺度变换分解的方法包括：拉普拉斯金字塔、低频比率金字塔、离散小波变换、双树复小波变换、曲波变换或非下采样轮廓波变换。

3.根据权利要求1所述的基于多尺度变换分解的目标显著的图像融合方法，其特征在于，所述多尺度变换分解的方法为拉普拉斯金字塔，所述步骤S6中的逆变换的方法为：从最高层开始逐层按照分解方法相对应的逆变换进行递推，可以恢复各图层，最终重建融合图像：

式中，N+1为金字塔的总层数，I_l表示第l层的递推结果，LF_l表示融合后金字塔的第l层，

表示第l+1层膨胀后图像。

4.一种基于多尺度变换分解的目标显著的图像融合系统，其特征在于，包含如下模块：

图像获取模块，用于基于可见光成像传感器与红外传感器分别对同一目标进行成像，对应的得到红外图像A和可见光图像B；

变换分解模块，用于多尺度变换分解的方法分别对红外图像A和可见光图像B进行分解，分解为低频带{LA_N，LB_N}和高频带{LA_l，LB_l}，N表示顶层，1表示其它层；其中，参数中字母A代表红外图像A的数据，字母B代表可见光图像B的数据；

显著性计算模块，用于对从红外图像分解出来的低频部分的每个像素点x分别取绝对值，则得到红外特征的显著性强度R(x)：

R(x)＝|LA_N|；

根据下述公式对所有像素点处的R(x)进行归一化和非线性变换处理，得到C：

式中，函数S_λ：[0，1]→[0，1]为非线性变换函数，定义为：

其中，Ω表示整个图像区域内的像素点，函数的参数λ为预设值，λ＞0；

低频融合模块，用于根据下述公式计算得到低频融合结果L_F：

LF_N＝C·LA_N+(1-C)·LB_N；

高频融合模块，用于根据下述公式计算得到高频融合结果H_F：

图像重建模块，用于在LF_N与LF_l上执行与步骤S2中所述多尺度变换分解的方法的逆变换，重建最终融合图像。

5.根据权利要求4所述的基于多尺度变换分解的目标显著的图像融合系统，其特征在于，所述多尺度变换分解的方法包括：拉普拉斯金字塔、低频比率金字塔、离散小波变换、双树复小波变换、曲波变换或非下采样轮廓波变换。

6.根据权利要求4所述的基于多尺度变换分解的目标显著的图像融合系统，其特征在于，

所述多尺度变换分解的方法为拉普拉斯金字塔，所述步骤S6中的逆变换的方法为：从最高层开始逐层按照分解方法相对应的逆变换进行递推，可以恢复各图层，最终重建融合图像：

式中，N+1为金字塔的总层数，I_l表示第l层的递推结果，LF_l表示融合后金字塔的第l层，

表示第l+1层膨胀后图像。

Images