CN110047058A - 一种基于残差金字塔的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于残差金字塔的图像融合方法，本发明首先对来自不同传感器的每一幅配准过的图像分别采用残差金字塔变换进行分解,得到变换域一系列不同尺度、不同方向、方向可调的金字塔子图像序列，根据融合规则,对分解得到的残差金字塔子图像分别进行融合处理,得到融合后图像所对应的残差金字塔子图像；其中融合规则包括低频系数融合规则和高频系数融合规则；对融合所得的残差图像进行金字塔逆变换重构，得到融合图像。本发明有效地融合了高分辨率图像的低频分量信息,消除了融合方法图像中的分块效应,其融合图像边界清楚,在保留光谱信息的同时空间细节信息也得到提高。

Description

一种基于残差金字塔的图像融合方法

技术领域

本发明涉及卷积，反卷积，图像残差，图像融合技术领域，具体涉及一种基于残差金字塔的图像融合方法。

背景技术

目前数字图像技术随着科技的进步得到了很大的发展并得到更加广泛的应用，本文采用一种残差金字塔结构来对图像进行优化处理，图像金字塔是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。层级越高，则图像越小，分辨率越低。

由于拍摄的传感器不同，拍图像光源和信息描述的侧重点也不一样，本文解决的问题是将两幅不同传感器拍摄的同一目标进行图像融合，从而得到一副信息更丰富，更清晰的图像。具体系统流程图如图1所示。

发明内容

本发明针对现有技术的不足，提出了一种基于残差金字塔的图像融合方法。

本发明一种基于残差金字塔的图像融合方法，具体包括以下步骤：

步骤一、图像下采样金字塔的建立

图像下采样金字塔是通过高斯平滑和卷积获得一些下采样图像，也就是说第y层高斯金字塔通过平滑、下采样获得y+1层高斯图像。

设原始的输入图像为A和B，作为图像下采样金字塔的最底层A₀和B₀；分别对A图像和B图像进行卷积；取A图像为例，对A₀进行低通滤波和向下采样，得到图像下采样金字塔的上一层。如此重复，即生成图像A和B的下采样金字塔，其中m，n表示卷积核m 行n列对应的像素，i，j表示图像第i行第j列对应的像素。：

其中0＜l≤N，0＜i≤C_l，0＜j≤R_l；w(m，n)对应一个5x5的卷积核且满足可分离性、归一性、对称性和奇偶项四个约束条件，C_l表示下采样金字塔第l层图像的行数，R_l表示下采样金字塔第l层图像的列数，N表示下采样金字塔层层数。

步骤二：图像上采样金字塔的建立

图像上采样金字塔是通过反卷积的方式获得一些上采样的图像。

上采样就是将图像在每个方向扩大为原来的两倍，新增的行和列以0填充，然后使用w(m，n)与放大后的图像进行反卷积，获得新增像素的近似值；分别对步骤一处理后的图像进行上采样；以经步骤一处理后的A图像为例：从图像上采样金字塔的最顶层A_N开始对其进行高斯卷积核滤波，再进行上采样，得到图像金字塔F_N-1层。如此重复，即可得到步骤一处理后的图像的上采样金字塔。其中图像A经步骤一处理后的图像上采样金字塔的最顶层F_N为图像下采样的最顶层A_N，即：

其中0＜l≤N，0＜i≤C_l，0＜j≤R_l；

步骤三：残差金字塔的建立

残差金字塔是在图像金字塔的基础上建立的。将图像金字塔下采样后的第A_l层与图像金字塔上采样后的第F_l层做差值得到对应差值图像第G_l层，即为原图像的高频边缘信息。通过重复上述过程多次得到图像A和B的残差金字塔。以A图像为例，其中残差金字塔A′最顶层与图像金字塔顶层保持一致，即：

步骤四、图像融合

将上述图像A和B转化后的残差金字塔A′和B′进行融合，得到一个新的残差金字塔子图像。其中融合规则包括低频系数融合规则和高频系数融合规则；

Step4.1低频系数融合规则

设C(X)表示图像X经残差金字塔变换后的低频系数矩阵，表示该矩阵中的空间位置，表示残差金字塔变换低频成分系数矩阵下标为(u，v)元素的值，以为中心的邻域窗口大小为S和T，取为5x5窗口。

图像X的残差金字塔低频系数矩阵在点处的邻域能量显著性用表示，计算式子如下：

其中w(s，t)表示权值，并且满足∑_{s∈S，t∈T}w(s，t)＝1。

则新金字塔低频融合系数计算式子如下：

其中，α的取值在0-0.5范围内，当取α＝0.5时，则为平均融合，分别是残差金字塔A′和B′的金字塔变换低频系数矩阵在点处的邻域能量显著性。

Step4.2高频系数融合规则

设D(X)表示图像X经残差金字塔变换后的高频系数矩阵，表示该矩阵中的空间位置，表示残差金字塔变换高频成分系数矩阵下标为(u，v)元素的值。针对原图像分解得到的某一尺度下的高频子带系数，定义点处的对比度为

其中，以为中心的邻域窗口大小为S和T，表示位置处局部窗口内的均值，邻域窗口大小取为5x5。s，t表示窗口S和T内的元素值。

对于位于平滑区域而言，局部窗口中的系数差别不大，显著性测度较小，对于突变部分，局部窗口内系数差别较大，显著性测度也较大，因此用来指导图像融合系数选择，高频融合规则函数描述如下

这里，表示图像X经残差金字塔变换后的第l层w方向的高频系数矩阵。

将A′和B′图像金字塔对应层融合后得到一个新的图像金字塔；

步骤五、残差金字塔逆变化

为了得到重构后的图像，需将步骤四得到的转化后的残差金字塔逆变化得到重构图像，设融合后的残差金字塔为K，K_l表示重构后残差金字塔的第l层，其中0≤l≤N，

于是计算公式为：

累加得到输出图像Z。

本发明相对于现有技术所具有的有益效果：提出了一种基于主分量变换与残差金字塔变换结合的自适应图像融合方法。该方法有效地融合了高分辨率图像的低频分量信息，消除了融合方法图像中的分块效应，其融合图像边界清楚，在保留光谱信息的同时空间细节信息也得到提高。

附图说明

图1为系统流程图；

图2为图像融合规则；

图3为系统框图。

具体实施方式

如图1所示，一种基于残差金字塔的图像融合方法，其特征在于该方法具体包括以下步骤：

步骤一、图像下采样金字塔的建立

图像下采样金字塔是通过高斯平滑和卷积获得一些下采样图像，也就是说第y层高斯金字塔通过平滑、下采样获得y+1层高斯图像。

设原始的输入图像为A和B，作为图像下采样金字塔的最底层A₀和B₀；分别对A图像和B图像进行卷积；取A图像为例，对A₀进行低通滤波和向下采样，得到图像下采样金字塔的上一层。如此重复，即生成图像A和B的下采样金字塔，其中m，n表示卷积核 m行n列对应的像素，i，j表示图像第i行第j列对应的像素。：

其中0＜l≤ N，0＜i≤C_l，0＜j≤R_l；w(m，n)对应一个5x5的卷积核且满足可分离性、归一性、对称性和奇偶项四个约束条件，C_l表示下采样金字塔第l层图像的行数，R_l表示下采样金字塔第l层图像的列数，N表示下采样金字塔层层数。

步骤二：图像上采样金字塔的建立

图像上采样金字塔是通过反卷积的方式获得一些上采样的图像，上采样就是将图像在每个方向扩大为原来的两倍，新增的行和列以0填充，然后使用w(m，n)卷积核与放大后的图像进行反卷积，获得新增像素的近似值；分别对步骤一处理后的图像进行上采样；以经步骤一处理后的A图像为例：从图像上采样金字塔的最顶层A_N开始对其进行高斯卷积核滤波，再进行上采样，得到图像金字塔F_N-1层。如此重复，即可得到步骤一处理后的图像的上采样金字塔。其中图像A经步骤一处理后的图像上采样金字塔的最顶层F_N为图像下采样的最顶层A_N，即：

其中0＜l≤N，0＜i≤C_l，0＜j≤R_l；

步骤三：残差金字塔的建立

残差金字塔是在图像金字塔的基础上建立的。将图像金字塔下采样后的第A_l层与图像金字塔上采样后的第F_l层做差值得到对应差值图像第G_l层，即为原图像的高频边缘信息。通过重复上述过程多次得到图像A和B的残差金字塔。以A图像为例，其中残差金字塔A′最顶层与图像金字塔顶层保持一致，即：

步骤四、图像融合

将上述图像A和B转化后的残差金字塔A′和B′进行融合，得到一个新的残差金字塔子图像。融合规则如图2所示，

系统框图如图3所示：

Step4.1低频系数融合规则

设C(X)表示图像X经残差金字塔变换后的低频系数矩阵，表示该矩阵中的空间位置，表示残差金字塔变换低频成分系数矩阵下标为(u，v)元素的值，以为中心的邻域窗口大小为S和T，取为5x5窗口。

图像X的残差金字塔低频系数矩阵在点处的邻域能量显著性用表示，计算式子如下：

其中w(s，t)表示权值，并且满足∑_{s∈S，t∈T}w(s，t)＝1。

则新金字塔低频融合系数计算式子如下：

其中，α的取值在0-0.5范围内，当取α＝0.5时，则为平均融合，分别是残差金字塔A′和B′的金字塔变换低频系数矩阵在点处的邻域能量显著性。

Step4.2高频系数融合规则

设D(X)表示图像X经残差金字塔变换后的高频系数矩阵，表示该矩阵中的空间位置，表示残差金字塔变换高频成分系数矩阵下标为(u，v)元素的值。针对原图像分解得到的某一尺度下的高频子带系数，定义点处的对比度为

其中，以为中心的邻域窗口大小为S和T，表示位置处局部窗口内的均值，邻域窗口大小取为5x5。s，t表示窗口S和T内的元素值。

对于位于平滑区域而言，局部窗口中的系数差别不大，显著性测度较小，对于突变部分，局部窗口内系数差别较大，显著性测度也较大，因此用来指导图像融合系数选择，高频融合规则函数描述如下

这里，表示图像X经残差金字塔变换后的第l层w方向的高频系数矩阵。

将A′和B′图像金字塔对应层融合后得到一个新的图像金字塔，融合规则如图2所示：步骤五、残差金字塔逆变化

为了得到重构后的图像，需将步骤四得到的转化后的残差金字塔逆变化得到重构图像，设融合后的残差金字塔为K，K_l表示重构后残差金字塔的第l层，其中0≤l≤N，

于是计算公式为：

累加得到输出图像Z。

Claims (3)

1.一种基于残差金字塔的图像融合方法，其特征在于，该方法具体包括以下步骤：

步骤一、图像下采样金字塔的建立

图像下采样金字塔是通过高斯平滑和卷积获得一些下采样图像，也就是说第y层高斯金字塔通过平滑、下采样获得y+1层高斯图像；

设原始的输入图像为A和B，作为图像下采样金字塔的最底层A₀和B₀；分别对A图像和B图像进行卷积；取A图像为例，对A₀进行低通滤波和向下采样，得到图像下采样金字塔的上一层；如此重复，即生成图像A和B的下采样金字塔，其中m，n表示卷积核m行n列对应的像素，i，j表示图像第i行第j列对应的像素；

其中0＜l≤N，0＜i≤C_l，0＜j≤R_l；w(m，n)对应一个5x5的卷积核且满足可分离性、归一性、对称性和奇偶项四个约束条件，C_l表示下采样金字塔第l层图像的行数，R_l表示下采样金字塔第l层图像的列数，N表示下采样金字塔层层数；

步骤二：图像上采样金字塔的建立

图像上采样金字塔是通过反卷积的方式获得一些上采样的图像，

上采样就是将图像在每个方向扩大为原来的两倍，新增的行和列以0填充，然后使用w(m，n)与放大后的图像进行反卷积，获得新增像素的近似值；分别对步骤一处理后的图像进行上采样；以经步骤一处理后的A图像为例：从图像上采样金字塔的最顶层A_N开始对其进行高斯卷积核滤波，再进行上采样，得到图像金字塔F_N-1层；如此重复，即可得到步骤一处理后的图像的上采样金字塔；其中图像A经步骤一处理后的图像上采样金字塔的最顶层F_N为图像下采样的最顶层A_N，即：

其中0＜l≤N，0＜i≤C_l，0＜j≤R_l；

步骤三：残差金字塔的建立

残差金字塔是在图像金字塔的基础上建立的；将图像金字塔下采样后的第A_l层与图像金字塔上采样后的第F_l层做差值得到对应差值图像第G_l层，即为原图像的高频边缘信息；通过重复上述过程多次得到图像A和B的残差金字塔；以A图像为例，其中残差金字塔A′最顶层与图像金字塔顶层保持一致，即：

步骤四、图像融合

将上述图像A和B转化后的残差金字塔A′和B′进行融合，得到一个新的残差金字塔子图像；其中融合规则包括低频系数融合规则和高频系数融合规则；

步骤五、残差金字塔逆变化

为了得到重构后的图像，需将步骤四得到的转化后的残差金字塔逆变化得到重构图像，设融合后的残差金字塔为K，K_l表示重构后残差金字塔的第l层，其中0≤l≤N，

于是计算公式为：

累加得到输出图像Z。

2.根据权利要求1所述的一种基于残差金字塔的图像融合方法，其特征在于：所述的低频系数融合规则具体为：

设C(X)表示图像X经残差金字塔变换后的低频系数矩阵，表示该矩阵中的空间位置，表示残差金字塔变换低频成分系数矩阵下标为(u，v)元素的值，以为中心的邻域窗口大小为S和T，取为5x5窗口；

图像X的残差金字塔低频系数矩阵在点处的邻域能量显著性用表示，计算式子如下：

其中w(s，t)表示权值，并且满足∑_{s∈S，t∈T}w(s，t)＝1；

则新金字塔低频融合系数计算式子如下：

其中，α的取值在0-0.5范围内，当取α＝0.5时，则为平均融合，分别是残差金字塔A′和B′的金字塔变换低频系数矩阵在点处的邻域能量显著性。

3.根据权利要求1所述的一种基于残差金字塔的图像融合方法，其特征在于：所述的高频系数融合规则具体为：

设D(X)表示图像X经残差金字塔变换后的高频系数矩阵，表示该矩阵中的空间位置，表示残差金字塔变换高频成分系数矩阵下标为(u，v)元素的值；针对原图像分解得到的某一尺度下的高频子带系数，定义点处的对比度为：

其中，以为中心的邻域窗口大小为S和T，表示位置处局部窗口内的均值，邻域窗口大小取为5x5；s，t表示窗口S和T内的元素值；

对于位于平滑区域而言，局部窗口中的系数差别不大，显著性测度较小，对于突变部分，局部窗口内系数差别较大，显著性测度也较大，因此用来指导图像融合系数选择，高频融合规则函数描述如下：

这里，表示图像X经残差金字塔变换后的第l层w方向的高频系数矩阵；

将A′和B′图像金字塔对应层融合后得到一个新的图像金字塔。