CN104361570A - 一种基于分数阶傅里叶变换的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于分数阶傅里叶变换的图像融合方法，包括以下步骤：对两幅或两幅以上经过对准的原始图像分别进行分数阶傅里叶变换，得到各个原始图像的分数阶傅里叶域图像；将各个原始图像的分数阶傅里叶域图像的幅值和相位分离；选取幅值融合准则，将得到的各个原始图像的分数阶傅里叶域图像的幅值部分进行融合，得到融合后的幅值；选取相位融合准则，将得到的各个原始图像的分数阶傅里叶域图像的相位部分进行融合，得到融合后的相位；将融合后的幅值和融合后的相位结合，然后进行逆分数阶傅里叶变换，得到输出图像。本发明充分考虑了相位和幅值在反应图像信息能力时的差异，分别对相位和幅值进行融合，显著提高了融合后图像的质量。

Description

一种基于分数阶傅里叶变换的图像融合方法

技术领域

本发明涉及图像处理、数字信息融合技术，具体是涉及一种图像融合方法。

背景技术

图像融合是指,将不同时间或来自不同传感器对应于同一场景的多幅图像融合为一幅图像。对应同一场景多幅图像之间往往具有大量的冗余和互补信息，采用有效的算法将它们融合在一起,人们可以获得信息更加丰富、质量更高的图像。融合后的图像更适合人的视觉理解以及计算机的分析处理。目前图像融合技术已广泛应用在军事侦察、机器视觉、图像处理、遥感等领域。常用的图像融合方法有很多，如主成份分析、金子塔分解方法、小波变换、分数阶傅里叶变换(Fractional Fourier Transform,FRFT)等，但是到目前为止还没有一种适用于所有图像类型的融合方法。各种方法在计算复杂度、融合效果等方面各有优缺点。

目前基于分数阶傅里叶变换的图像融合方法的一般步骤如图1所示，首先对原始图像分别进行分数阶傅里叶变换，再选择一种融合准则，得到分数阶傅里叶域的融合结果，再进行逆分数阶傅里叶变换(Inverse FractionalFourier Transform,IFRFT)，得到融合后的图像。该方法优点是计算简单，缺点是忽略了图像相位和幅值反映图像信息能力的差异，融合后的图像质量有待提高。

发明内容

本发明提出了一种新型的图像融合技术，利用分数阶傅里叶变换技术对相位和幅值分别进行融合，能明显提高融合后图像的质量。

本发明的方法包括以下步骤：

步骤1，对两幅或两幅以上经过对准的原始图像分别进行分数阶傅里叶变换，得到各个原始图像的分数阶傅里叶域图像；

步骤2,将各个原始图像的分数阶傅里叶域图像的幅值和相位分离；

步骤3，选取幅值融合准则，将步骤2中得到的各个原始图像的分数阶傅里叶域图像的幅值部分进行融合，得到融合后的幅值；

步骤4，选取相位融合准则，将步骤2中得到的各个原始图像的分数阶傅里叶域图像的相位部分进行融合，得到融合后的相位；

步骤5，将融合后的幅值和融合后的相位结合，得到分数阶傅里叶域的融合图像，然后进行逆分数阶傅里叶变换，得到输出图像。

与现有技术相比，本发明所具有的有益效果是：图像经过分数阶傅里叶变换后，相位部分和幅值部分反映原始图像光谱信息的能力是不同的，由相位恢复的图像往往比由幅值部分恢复的图像包含更多的信息，本发明充分考虑了相位和幅值在反映图像信息能力时的差异，利用这些特点，分别对相位和幅值进行融合，显著提高了融合后图像的质量，并较好地保留了原始图像的光谱信息。与已有的基于分数阶傅里叶变换或小波变换的融合技术相比，本发明方法将产生更好的融合效果。

附图说明

图1为一种已有的基于分数阶傅里叶变换的图像融合方法流程框图；

图2为原始图像；

图3为图2按照流程图20操作，在分数阶傅里叶变换的旋转角度时的相位重构图像；

图4为图2按照流程图20操作，在分数阶傅里叶变换的旋转角度时的幅值重构图像；

图5为图2按照流程图20操作，在分数阶傅里叶变换的旋转角度时的相位重构图像；

图6为图2按照流程图20操作，在分数阶傅里叶变换的旋转角度时的幅值重构图像；

图7为图2按照流程图20操作，在分数阶傅里叶变换的旋转角度时的相位重构图像；

图8为图2按照流程图20操作，在分数阶傅里叶变换的旋转角度时的幅值重构图像；

图9为具体实施方式的流程框图；

图10为实验例1中原始图像之前对焦图像；

图11为实验例1中原始图像之后对焦图像；

图12为实验例1中采用本发明方法产生的融合效果图；

图13为实验例1中采用已有的分数阶傅里叶变换的融合方法得到的融合效果图；

图14为实验例1中采用小波变换(Wavelet Transform,WT)得到的融合效果图；

图15为实验例2中原始图像之红外图像；

图16为实验例2中原始图像之可见光图像；

图17为实验例2中采用本发明方法产生的融合效果图；

图18为实验例2中采用已有的分数阶傅里叶变换的融合方法得到的融合效果图；

图19为实验例2中采用小波变换得到的融合效果图；

图20为计算获得原始图像的相位重构图像和幅值重构图像的流程框图。

具体实施方式

分数阶傅里叶变换(FRFT)是傅里叶变换的广义形式，是一种新型的时频分析工具，信号经过分数阶傅里叶变换后可以同时反映出信号在时域和频域的特征。一个信号x(t)的分数阶傅里叶变换能被定义为：

$X_{\mathrm{\α}}=\left\{F^{\mathrm{\α}}\right[x\left(t\right)\left]\right\}\left(u\right)={\∫}_{\∞}^{\∞}x\left(t\right)K_{\mathrm{\α}}(t,u)\mathrm{dt}---\left(1\right)$

K_α(t,u)是变换内核：

$K_{\mathrm{\α}}(t,u)=\left\{\begin{array}{cc}\sqrt{\frac{1-j\cot a}{2\mathrm{\π}}}\exp \left[j(\frac{x^2+u^2}{2\tan a}-\frac{\mathrm{xu}}{\sin a})\right]& \mathrm{\α}\≠\mathrm{n\π}\\ \mathrm{\δ}(x-u)& \mathrm{\α}2\mathrm{n\π}\\ \mathrm{\δ}(x+u)& \mathrm{\α}=(2n\±1)\mathrm{\π}\end{array}\right.---\left(2\right)$

在公式(1)、(2)中，α是旋转角度。当分数阶傅里叶变换的旋转角度α为0或π/2时，计算结果分别对应信号在时域或频域的表示。当和时，分数阶傅里叶变换就成为普通的傅里叶变换和逆傅里叶变换。分数阶傅里叶变换具备旋转相加性，即F^β[F^α(u)](x)＝[F^β+α(u)](x)，因此，原信号的逆分数阶傅里叶变换可以被写作：F^-α[F^α(u)](x)＝f(x)。

信号f(x,y)的二维分数阶傅里叶变换定义如下：

$F_{\mathrm{\α},\mathrm{\β}}(k,h)={\mathrm{FRFT}}_{\mathrm{\β}}^{y\→h}\left\{{\mathrm{FRFT}}_{\mathrm{\α}}^{x\→k}\right[f(x,y)\left]\right\}---\left(3\right)$

其中α,β是二维分数阶傅里叶变换在两个维度上的旋转角度。在本具体实施方式中，旋转角度α,β取相同值。

在分数阶傅里叶域图像的相位和幅值可以定义为：

F(k,h)＝|F(k,h)|·P(k,h)＝A(k,h)·P(k,h)          (4)

F(k,h)是图像经过二维分数阶傅里叶变换后的结果，F(k,h)能够分解成幅值部分A(k,h)和相位部分P(k,h)。a(x,y)和p(x,y)是对A(k,h)和P(k,h)分别进行逆分数阶傅里叶变换得到的幅值重构图像和相位重构图像，即：

$a(x,y)={\mathrm{IFRFT}}_{-\mathrm{\β}}^{h\→y}\left\{{\mathrm{IFRFT}}_{-\mathrm{\α}}^{k\→x}\right[A(k,h)\left]\right\}---\left(5\right)$

$p(x,y)={\mathrm{IFRFT}}_{-\mathrm{\β}}^{h\→y}\left\{{\mathrm{IFRFT}}_{-\mathrm{\α}}^{k\→x}\right[P(k,h)\left]\right\}---\left(6\right)$

以上流程如图20所示。

如图2所示为原始图像，图3至图8为对应不同的旋转角度α，利用分数阶傅立叶变换得到的重构的相位图像和幅值图像。如图3所示，当α＝3π/8时,重构的相位图像包含较多的边缘信息，好比原始图像通过了高通滤波器。如图5所示，当α＝π/3，相位重构图像好比原始图像通过了介于高通和全通之间的滤波器。如图7所示，当α＝π/6时，相位重构图像包含大量的低频信息和少量高频信息，原始图像好比通过了低通滤波器。图4，图6，图8分别是当α＝3π/8，α＝π/3，α＝π/6时的幅值重构图像，可以发现只有在较小的分数阶旋转角度时幅值重构图像才包含较多原始图像信息。因此，对应不同分数阶次的分数阶傅里叶变换，相位和幅值部分反映原始图像信息的能力是不同的。

本具体实施方式的流程如图9所示，包括以下步骤：

步骤1，对两幅或两幅以上经过对准的原始图像分别进行分数阶傅里叶变换，得到各个原始图像的分数阶傅里叶域图像。

步骤2,将各个原始图像的分数阶傅里叶域图像的幅值和相位分离。

步骤3，关于幅值部分。选取幅值融合准则时，将各原始图像分别经过分数阶傅里叶变换，将结果中各对应项的最大的幅值作为融合后的幅值。

步骤4，关于相位部分。将各原始图像分别进行分数阶傅里叶变换，将各变换域结果中的相位部分进行逆分数阶傅里叶变换，于是得到空域中各原始图像对应的相位重构图像；然后在空域中选择各对应像素中灰度值最大的像素作为融合后的像素，再对由此获得的相位图像进行分数阶傅里叶变换得到融合后的相位。

步骤5，将融合后的幅值和融合后的相位结合，得到分数阶傅里叶域的融合图像，然后进行逆分数阶傅里叶变换，得到输出图像。

一般图像的高频部分幅值较小，但是包含了大量细节信息。使用该方法的本质是在考虑了相位和幅值反映图像信息能力不同的前提下，将高频部分幅值放大，因此融合后图像将获得更多细节和边界信息。

实验例1

将本具体实施方式的图像融合方法(FRFT-phase-amplitude)和已有的基于FRFT和WT(小波变换)的融合方法进行比较。如图10、11所示的两幅图像分别聚焦在前景和后景，分别经过FRFT-phase-amplitude、FRFT、WT方法融合。

基于FRFT-phase-amplitude的融合方法如图9所示。

采用现有的基于FRFT图像融合方法按照图1所示的实施方式进行，融合准则为在分数阶傅里叶域选取对应项的最大幅值。基于小波变换的融合方法，采用db3小波基，进行2层小波分解，选取绝对值最大融合准则。

三种融合方法得到的融合图像效果如图12、13、14所示。在采用FRFT-phase-amplitude和FRFT方法进行融合时，将角度α从0逐次递增到采用主观评价的方法，在所有的方法中，发现当时的FRFT-phase-amplitude方法可以导致最好的融合效果。

实验例2

图15、16分别对应红外图像和可见光图像，三种融合方法如实验例1中采用的方法相同，融合效果图分别如图17、18、19所示。采用主观评价的方法，在所有方法中，发现当时的FRFT-phase-amplitude方法可以导致最好的融合效果。

对图像融合的效果进行评价，除了人的主观评价外，还可以采用客观评价指标，常用的指标有：信息熵，平均梯度，空间频率。

1)信息熵

信息熵常被用来评价图像信息量的大小，信息熵被定义为：

$E=-\stackrel{m}{\mathrm{\Σ}}{P}_i{\log }_2{P}_i---\left(7\right)$

其中m是灰度等级的数目，P是每个灰度级发生的概率，如果每个灰度级有相同的概率，熵达到最大。如果整幅图像有相同像素值，熵为0。熵越大，信息量越多。

2)平均梯度

平均梯度反映一幅图像的清晰度和纹理特征。平均梯度越大，图像清晰度越好，其定义为：

$\stackrel{\‾}{\mathrm{AG}}=\frac{1}{(M-1)(N-1)}\underset{i=1}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N-1}{\mathrm{\Σ}}}\sqrt{\frac{{(F(i,j)-F(i+1,j))}^2+{(F(i,j)-F(i,j+1))}^2}{2}}$

3)空间频率

空间频率反映一幅图像空间域像素值的总体活跃程度，它由空间行频率和列频率构成：

空间行频率为 $\mathrm{RF}=\sqrt{\frac{1}{\mathrm{MN}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=2}{\overset{N}{\mathrm{\Σ}}}{[I(x,y)-I(x,y-1)]}^2}$

空间列频率为 $\mathrm{CF}=\sqrt{\frac{1}{\mathrm{MN}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}\underset{x=2}{\overset{M}{\mathrm{\Σ}}}{[I(x,y)-I(x-1,y)]}^2}$

图像空间频率为 $\mathrm{SF}=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2}$

实验例1和实验例2的客观评价指标的比较结果如表1所示。

表1

从表1中可以看出，与传统融合方法相比，本发明建议的FRFT-phase-amplitude融合方法，在图像平均梯度和空间频率等指标上有明显提升；在信息熵指标上，与传统方法相当。在图像融合领域，本发明提出的方法能明显提高融合图像的质量，更好地保留了图像的光谱信息。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于分数阶傅里叶变换的图像融合方法，其特征在于，包括以下步骤：

步骤1，对两幅或两幅以上经过对准的原始图像分别进行分数阶傅里叶变换，得到各个原始图像的分数阶傅里叶域图像；

步骤2,将各个原始图像的分数阶傅里叶域图像的幅值和相位分离；

步骤3，选取幅值融合准则，将步骤2中得到的各个原始图像的分数阶傅里叶域图像的幅值部分进行融合，得到融合后的幅值；

步骤4，选取相位融合准则，将步骤2中得到的各个原始图像的分数阶傅里叶域图像的相位部分进行融合，得到融合后的相位；

步骤5，将融合后的幅值和融合后的相位结合，然后进行逆分数阶傅里叶变换，得到输出图像。

2.如权利要求1所述的基于分数阶傅里叶变换的图像融合方法，其特征在于：所述步骤3中，选取幅值融合准则时，将各原始图像分别经过分数阶傅里叶变换，将结果中各对应项中最大的幅值作为融合后该项的幅值。

3.如权利要求2所述的基于分数阶傅里叶变换的图像融合方法，其特征在于：所述步骤4中，将所述步骤2中得到的各变换域结果中的相位部分进行逆分数阶傅里叶变换，于是得到空域中各原始图像对应的相位重构图像；然后在空域中选择各对应像素中灰度值最大的像素作为融合后的像素，再对由此获得的相位图像进行分数阶傅里叶变换得到融合后相位。

4.如权利要求3所述的基于分数阶傅里叶变换的图像融合方法，其特征在于：所述步骤5中，将所述步骤3得到幅值与和所述步骤4中得到的相位结合，得到分数阶傅里叶域的融合图像，经过逆分数阶傅立叶变换得到输出图像。