CN103793899A

CN103793899A - 基于多相位小波变换和mtfc的真彩色图像融合方法

Info

Publication number: CN103793899A
Application number: CN201410032074.3A
Authority: CN
Inventors: 王密; 张柄先; 潘俊; 李德仁
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2014-01-23
Filing date: 2014-01-23
Publication date: 2014-05-14
Anticipated expiration: 2034-01-23
Also published as: CN103793899B

Abstract

一种基于多相位小波变换和MTFC的真彩色图像融合方法，包括将彩色影像从RGB色彩空间转换到IHS色彩空间；将彩色图像的亮度分量以及全色影像分别采用两种初始相位参数I、II进行小波分解；根据自适应融合准则，对彩色图像的亮度分量以及全色影像采用初始相位参数I进行小波分解的结果进行融合处理，对彩色图像的亮度分量以及全色影像采用初始相位参数II进行小波分解的结果进行融合处理；进行灰度畸变替换处理；基于MTFC复原方法，对经过去畸变处理的亮度成分进行影像复原处理，得到复原后的亮度分量；对复原后的亮度分量以及彩色影像的色度分量与饱和度分量进行IHS反变换，获取融合后的影像。

Description

基于多相位小波变换和MTFC的真彩色图像融合方法

技术领域

本发明属于遥感影像处理领域，涉及一种基于多相位小波变换和MTFC（调制传递函数补偿）的真彩色图像融合方法。

背景技术

目前，遥感卫星能够通过不同的传感器和传输通道分别获取全色影像和真彩色影像用于影像解译和目标识别。其中，两种影像所包含的信息各不相同，各有优势与不足，全色影像包含高空间分辨率信息，但是却不包含色彩信息，真彩色影像包含色彩信息，但是却不包含高空间分辨率信息。影像融合作为遥感影像处理的一类方法，其作用就是将全色影像和真彩色影像中的有用信息融入到一张影像当中，增加地物判读的信息量，从而提高目标识别和影像解译的精度。在各式融合方法中，IHS融合方法由于运算简单，速度快，因此被广泛运用于影像融合的实际生产当中。随着卫星载荷技术的发展，全色相机和多光谱相机的光谱耦合度变得越来越低，导致相同地物在全色影像和多光谱影像中的相关性有所降低，在这种情况下，采用传统的IHS融合方法会引入光谱畸变。为了解决这个问题，有学者提出将多尺度变换，如小波变换引入到影像融合当中，并进一步发展成了两种方法联合使用的新的融合方式。这类方法虽然能够在一定程度上抑制IHS融合方法带来的光谱畸变，但是并没有更好的去消除这类畸变的存在，另外方法本身没有考虑到小波变换可能会带来的灰度畸变以及在融合过程中存在的细节信息丢失的问题，因此有必要研究新的多尺度融合模型来提升真彩色图像融合结果的质量。

发明内容

本发明所要解决的问题是，针对现有的IHS融合方法与小波融合方法融合结果存在光谱畸变以及灰度畸变的现象，提供一种有效的基于多相位小波变换和MTFC的真彩色图像融合方法。

本发明的技术方案为基于多相位小波变换和MTFC的真彩色图像融合方法，包括以下步骤：

步骤1，将彩色影像从RGB色彩空间转换到IHS色彩空间，得到彩色图像的亮度分量、色度分量与饱和度分量；

步骤2，将彩色图像的亮度分量以及全色影像分别采用两种初始相位参数I、II进行小波分解；

步骤3，根据自适应融合准则，对彩色图像的亮度分量以及全色影像采用初始相位参数I进行小波分解的结果进行融合处理，对彩色图像的亮度分量以及全色影像采用初始相位参数II进行小波分解的结果进行融合处理，分别获得相应融合后的亮度分量；

步骤4，根据初始相位参数I、II分别相应的融合后的亮度分量进行灰度畸变替换处理，得到经过去畸变处理的亮度成分；

步骤5，基于MTFC复原方法，对经过去畸变处理的亮度成分进行影像复原处理，得到复原后的亮度分量；

步骤6，对步骤5所得复原后的亮度分量以及步骤1所得彩色影像的色度分量与饱和度分量进行IHS反变换，获取融合后的影像。

而且，设步骤2经过小波分解后图像包含四个部分，LL部分为近似的降采样影像，LH、HH、HL分别表示0°、45°、90°方向的纹理细节变化频率，

所述自适应融合准则如下式，

\{\begin{matrix} f = C (x, y) \times f_{A} (x, y) + (1 - C (x, y)) \times f_{B} (x, y) . . . . . . . . f_{A} (x, y) &GreaterEqual; f_{B} (x, y), (x, y) &Element; LL \\ f = C (x, y) \times f_{B} (x, y) + (1 - C (x, y)) \times f_{A} (x, y) . . . . . . . . f_{A} (x, y) < f_{B} (x, y), (x, y) &Element; LL \\ f = f_{A} (x, y) . . . . . . . . f_{A} (x, y) &GreaterEqual; f_{B} (x, y), (x, y) &Element; LH, HL, HH \\ f = f_{B} (x, y) . . . . . . . . f_{A} (x, y) < f_{B} (x, y), (x, y) &Element; LH, HL, HH \end{matrix}

C (x, y) = 1 - e^{\frac{- 1}{| f_{A} (x, y) - f_{B} (x, y) |}}

其中，f为融合结果，C(x,y)表示权重，f_A(x,y)和f_B(x,y)分别表示全色影像以及彩色影像亮度成分的小波系数，(x,y)表示像素在影像中的位置。

而且，步骤4中，根据初始相位参数I、II分别相应的融合后的亮度分量进行灰度畸变替换处理，在替换强的灰度畸变成分前根据下式进行定位，

rate = Σ_{i = 1}^{l} Σ_{x = 0, y = 0}^{x = M - 1, y = N} (I_{i} (x + 1, y) - I_{i} (x, y))

其中，l是波段号，I_i(x,y)表示像素位置在(x,y)处的灰度值，M和N表示图像的宽和高。

本发明对现有技术问题提出了一种基于多相位小波变换和MTFC的真彩色图像融合方法。由于现有方法的融合准则存在不足，导致融合结果中依旧存在有一定程度的光谱畸变，同时现有方法没有考虑到小波变换用于融合当中可能会引起的灰度畸变，融合过程中必然会存在的细节信息丢失等问题，导致融合后的影像质量存在一个较大的提升空间。本文方法引入改进的自然对数组成的自适应融合准则，能够在现有方法基础上更好的抑制光谱畸变，同时本文方法采用多相位的模式来抑制小波变换可能带来的灰度畸变，并在融合后采用MTFC影像复原方法来弥补影像融合过程中的细节信息损失，使融合后影像的质量能够得到提升。

附图说明

图1为本发明实施例的融合方法流程图。

图2为本发明实施例的MTFC复原方法流程图。

具体实施方式

本发明技术方案可采用计算机软件技术实现自动运行流程，以下结合附图和实施例详细说明本发明技术方案。参见图1，实施例的流程可以分为以下6个步骤：

步骤1，将彩色影像从RGB色彩空间转换到IHS色彩空间，得到彩色图像的亮度分量、色度分量与饱和度分量。

具体实施时，使用的转换公式如下所示：

其中R，G，B表示24位量化的彩色影像中像素在三个波段（红、绿、蓝）中的灰度值，I，H，S表示亮度、色度、饱和度；min()表示取小运算。中间参数

的定义如下：

步骤2，将彩色图像的亮度分量以及全色影像分别采用两种初始相位参数I、II进行小波分解。

如图1所示，波段一、波段二、波段三分别表示原始彩色影像的R、G、B三个通道数据，通过HIS正变换后得到亮度、色度、饱和度分量，对亮度分量以及全色影像同时进行小波分解。相位I以及相位II表示引入小波分解时所使用的两种不同初始相位参数。分解后的图像包含四个部分，LL部分为近似的降采样影像，LH、HH、HL分别表示0°、45°、90°方向的纹理细节变化频率。其中，亮度分量进行相位I小波分解后，得到的四个部分记为LH₁ ^I、LL₁ ^I、HH₁ ^I、HL₁ ^I，亮度分量进行相位II小波分解后，得到的四个部分记为LH₂ ^I、LL₂ ^I、HH₂ ^I、HL₂ ^I，全色影像进行相位I小波分解后，得到的四个部分记为LH₁ ^P、LL₁ ^P、HH₁ ^P、HL₁ ^P，全色影像进行相位II小波分解后，得到的四个部分记为LH₂ ^P、LL₂ ^P、HH₂ ^P、HL₂ ^P。

步骤3，根据自适应融合准则，并对彩色图像的亮度分量以及全色影像采用初始相位参数I进行小波分解的结果进行融合处理，对彩色图像的亮度分量以及全色影像采用初始相位参数II进行小波分解的结果进行融合处理，分别获得相应融合后的亮度分量。

由于图像经过小波分解后，各个部分所包含的信息不同，因此融合准则对于这四类不同区域应有所差异，为此依据各类区域的特点，本发明构建了一个自适应融合准则，具体如下：

\{\begin{matrix} f = C (x, y) \times f_{A} (x, y) + (1 - C (x, y)) \times f_{B} (x, y) . . . . . . . . f_{A} (x, y) &GreaterEqual; f_{B} (x, y), (x, y) &Element; LL \\ f = C (x, y) \times f_{B} (x, y) + (1 - C (x, y)) \times f_{A} (x, y) . . . . . . . . f_{A} (x, y) < f_{B} (x, y), (x, y) &Element; LL \\ f = f_{A} (x, y) . . . . . . . . f_{A} (x, y) &GreaterEqual; f_{B} (x, y), (x, y) &Element; LH, HL, HH \\ f = f_{B} (x, y) . . . . . . . . f_{A} (x, y) < f_{B} (x, y), (x, y) &Element; LH, HL, HH \end{matrix}

LH,HL,HH包含的是纹理变化的信息，因此值越大说明纹理细节越丰富，为了保证融合后影像中细节信息尽量少丢失，此处采取“取大”的原则构建融合准则：对于LL区域而言，由于该区域是原图像的近似降采样图像，因此融合结果既需要包含多光谱的亮度成分又需要包含全色影像的成分，相对于其他区域而言，较为复杂。为了更好的将有用的信息融入到融合结果之中，本发明采用了基于自然对数的改进方法来衡量同类地物在两种成分中的相关性，并以此相关性作为权重来选取不同的信息。同样由于小波系数越大越能说明包含的信息丰富，所以在取值的时候，通常给值大的一方赋较大的权。

改进的自然对数的表达式如下：

C (x, y) = 1 - e^{\frac{- 1}{| f_{A} (x, y) - f_{B} (x, y) |}}

从上式中可以看出，当f_A(x,y)和f_B(x,y)的值越接近的时候，C(x,y)的取值接近于1，当f_A(x,y)和f_B(x,y)的值疏远的时候，C(x,y)的取值接近于0。并且上式不会出现病态无解的现象。

如图1所示，以某像素的融合处理为例：对亮度分量进行相位I小波分解后得到的四个部分LH₁ ^I、LL₁ ^I、HH₁ ^I、HL₁ ^I和全色影像进行相位I小波分解后得到的四个部分LH₁ ^P、LL₁ ^P、HH₁ ^P、HL₁ ^P，进行融合处理，其中LH₁ ^I≥LH₁ ^P、LL₁ ^I<LL₁ ^P、HH₁ ^I≥HH₁ ^P、HL₁ ^I≥HL₁ ^P，根据自适应融合准则获得相应融合后的亮度分量为LH₁ ^I、LL₁′、HH₁ ^I、HL₁ ^I，LL₁′根据f＝C(x,y)×f_B(x,y)+(1-C(x,y))×f_A(x,y)计算得到；对亮度分量进行相位II小波分解后得到的四个部分LH₂ ^I、LL₂ ^I、HH₂ ^I、HL₂ ^I和全色影像进行相位II小波分解后得到的四个部分LH₂ ^P、LL₂ ^P、HH₂ ^P、HL₂ ^P，进行融合处理，其中LH₂ ^I≥LH₂ ^P、LL₂ ^I≥LL₂ ^P、HL₂ ^I≥HL₂ ^P，获得相应融合后的亮度分量记为LH₂ ^I、LL₂′、HH₂ ^I、HL₂ ^I，LL₂′根据f＝C(x,y)×f_A(x,y)+(1-C(x,y))×f_B(x,y)计算得到。

步骤4，根据初始相位参数I、II分别相应的融合后的亮度分量进行灰度畸变替换处理，得到经过去畸变处理的亮度成分。

如前所述，小波变换由于自身的性质，在引入外来成分时，可能会产生灰度畸变，根据对实际图像的作用可知，该类畸变包含两种成分，一强一弱，其中强弱主要依据灰度跃变的大小来区分，强的灰度畸变其灰度跃变一般为20个DN值左右，弱的灰度畸变其灰度跃变一般为5个DN值左右。弱的灰度畸变位置固定，与小波变换时使用的初始相位的值有关，可以直接定位。由于采用相位I的小波变换和采用相位II的小波变换的初始相位不同，因此两者融合的结果中，弱的灰度畸变的位置不同，可以利用采用相位II的小波变换的融合结果中没有灰度畸变的成分替换采用相位I的小波变换的融合结果中弱的灰度畸变成分；同理，可以利用采用相位II的小波变换的融合结果中没有灰度畸变的成分替换采用相位I的小波变换的融合结果中强的灰度畸变成分，但是由于强的灰度畸变成分位置不固定，因此要替换强的灰度畸变成分需要首先确定其位置，具体的定位公式如下：

rate = Σ_{i = 1}^{l} Σ_{x = 0, y = 0}^{x = M - 1, y = N} (I_{i} (x + 1, y) - I_{i} (x, y))

其中，l是波段号。I_i(x,y)表示像素位置在(x,y)处的灰度值。M和N表示图像的宽和高。rate表示灰度变化率，其中相位I的小波变换的融合结果中rate超过预设阈值的像素位置，就是要替换强的灰度畸变成分的位置。为了更加容易的找到畸变的位置，本发明采取三个波段(红R、绿G、蓝B)“取和”的方式，突出畸变特征，即l=3。

如图1所示，以步骤3某像素的融合处理例子继续按步骤4的方式替换处理，其中替换处理的方法在步骤4中有详细说明，在此不赘述。相位I的小波变换融合结果中HH₁ ^I、HL₁ ^I保持不变，LH₁ ^I、LL₁′被替换为LH₃ ^I、LL₃′（即相位II的小波变换融合结果中的LH₂ ^I、LL₂′）。

步骤5，对经过去畸变处理的亮度成分进行影像复原处理，得到复原后的亮度分量。

实施例的影像复原处理先对步骤4所得替换处理后的亮度成分进行反转小波变换得到新的亮度信息，再采用现有技术中的MTFC复原方法对新的亮度信息处理，得到复原后的亮度信息。MTFC复原方法如图2所示，依次进行靶标图像、边缘定位、边缘扩展函数获取、线扩展函数获取、MTF曲线获取、MTF矩阵获取，基于MTF矩阵从原始影像得到复原后影像；详细实现可以参见文献Dennis L,Helder D,Choi T.IKONOS Satellite in Orbit Modulation TransferFunction Measurement using Edge and Pulse Method[D].South Dakota State University:Electrical EngineeringDepartment,2002.。其复原的关键是求取衡量影像退化程度的MTF曲线，并构建对应的复原模型，本发明从影像自身出发，选取亮度分量中包含的刃边靶标求取MTF曲线。同时为了简化计算复杂度，可选取复原模型为经典的维纳滤波模型。

步骤6，对复原后的亮度分量以及原始影像的色度与饱和度进行IHS反变换，得到融合后波段一、波段二、波段三获取融合后的影像。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于多相位小波变换和MTFC的真彩色图像融合方法，其特征在于，包括以下步骤：

2.如权利要求1所述基于多相位小波变换和MTFC的真彩色图像融合方法，其特征在于：设步骤2经过小波分解后图像包含四个部分，LL部分为近似的降采样影像，LH、HH、HL分别表示0°、45°、90°方向的纹理细节变化频率，

所述自适应融合准则如下式，

\{\begin{matrix} f = C (x, y) \times f_{A} (x, y) + (1 - C (x, y)) \times f_{B} (x, y) . . . . . . . . f_{A} (x, y) &GreaterEqual; f_{B} (x, y), (x, y) &Element; LL \\ f = C (x, y) \times f_{B} (x, y) + (1 - C (x, y)) \times f_{A} (x, y) . . . . . . . . f_{A} (x, y) < f_{B} (x, y), (x, y) &Element; LL \\ f = f_{A} (x, y) . . . . . . . . f_{A} (x, y) &GreaterEqual; f_{B} (x, y), (x, y) &Element; LH, HL, HH \\ f = f_{B} (x, y) . . . . . . . . f_{A} (x, y) < f_{B} (x, y), (x, y) &Element; LH, HL, HH \end{matrix}

C (x, y) = 1 - e^{\frac{- 1}{| f_{A} (x, y) - f_{B} (x, y) |}}

3.如权利要求1或2所述基于多相位小波变换和MTFC的真彩色图像融合算法，其特征在于：步骤4中，根据初始相位参数I、II分别相应的融合后的亮度分量进行灰度畸变替换处理，在替换强的灰度畸变成分前根据下式进行定位，

rate = Σ_{i = 1}^{l} Σ_{x = 0, y = 0}^{x = M - 1, y = N} (I_{i} (x + 1, y) - I_{i} (x, y))