CN105574835A - 基于线性正则变换的图像融合方法 - Google Patents

Abstract

本发明涉及基于线性正则变换的图像融合方法，属于信息融合领域，适用于多聚焦图像的融合。基于自线性正则函数分解和重构理论，结合离散余弦变换(DCT)或离散正弦变换(DST)得到融合图像。本发明的基于线性正则变换的图像融合方法，把原图像分解在不同的时频平面上，继而采用离散余弦变换或离散正弦变换得到新的融合图像。由于线性正则变换具有3个自由量，在融合时可以利用不同参数的变化得到较好的融合图像。采用本发明的图像融合技术提高了融合图像的质量，有利于后续对图像的识别和分析。

Description

基于线性正则变换的图像融合方法

技术领域

本发明涉及基于线性正则变换的图像融合方法，属于信息融合领域，适用于多聚焦图像的融合。

背景技术

随着传感器技术的飞速发展，越来越多的传感器应用于各个领域中。系统中传感器数量的不断增加，系统获得信息的多样性以及信息量的急剧增加，使得以往的信息处理方法已无法满足这种新的情况，不能很好的适用于多传感器组合使用所带来的新问题，必须发展新的方法和技术去解决面临的新问题。信息融合正是基于这种需求所发展起来的一种新的方法。来自多个传感器的信号所提供的信息具有冗余性和互补性，信息融合可以最大限度地获取对目标或场景的完整信息描述。

图像融合是信息融合范畴内主要以图像为对象的研究领域，它所处理的数据主要是各种图像。多聚焦图像融合是图像融合的一个典型的研究领域。光学传感器对某一场景进行成像时,由于场景中不同目标与传感器的距离可能不同,这时想使场景中的所有目标都成像清晰是非常困难的,而采用多传感器图像融合技术可以完成这一目标。即针对不同的目标得到多幅图像,经过融合处理,提取各自的清晰信息,综合成一幅新的图像,便于人眼观察或计算机进一步处理。多聚焦图像融合技术能够有效地提高图像信息的利用率、系统对目标探测识别的可靠性。这些优点使得多聚焦图像融合技术可以广泛地应用于机器视觉和目标识别等领域。

多聚焦图像融合技术可分为空域图像融合技术和变换域图像融合技术。大量研究表明，空间域融合方法缺乏细节表现力，难以分辨图像中的清晰区域和边界特征，融合图像往往存在对比度低、细节模糊以及块效应等问题。与空域图像融合技术相比，变换域图像融合技术更受关注，因为在变换域图像融合是在不同尺度和方向上对图像特征进行融合处理，融合图像不会出现人为的拼接痕迹，具有良好的可视效果和融合一致性。本发明专利提出的基于线性正则思想的融合属于变换域融合技术。

在变换域图像融合技术中，时频分析方法受到了很多学者的青睐，利用图像在频域的能量聚集性，可以得到较好的融合图像。例如小波变换把图像分解为低频图像和三个方向的高频图像；离散余弦变换把图像分解为低频、中频和高频图像。线性正则变换(LCT)是在上世纪70年代提出的一种时频变换，最初应用于光学领域，随之成为了信号处理领域的研究热点之一。它具有3个自由参量，当选取不同的矩阵参数时，它能够转变为传统傅里叶变换、分数阶傅里叶变换和Fresnel变换，因此在进行图像处理时，参数的灵活性使得它获得比传统的变换更好的特性。

发明内容

本发明的目的是为了提供一种基于线性正则变换的图像融合方法方法，该方法基于自线性正则函数的分解和重构，能够有效的提高融合图像的质量。

本发明的目的是通过下述技术方案实现的。

基于上述自线性正则函数分解和重构理论，结合离散余弦变换(DCT)或离散正弦变换(DST)得到融合图像,简记两种融合方法分别为：SLCFs+DCT，SLCFs+DST。

本发明基于线性正则变换思想的图像融合技术，实现融合的步骤如下：

步骤1：分解原图像f_i(x,y)(i＝1,2)为M个图像g_i(x,y)_M,L(L＝1,2…,M)，其中g_i(x,y)_M,L是不变的线性正则函数(SLCFs)。

步骤2：对步骤一得到的每个g_i(x,y)_M,L做T[·]得到变换系数，得到多组变换系数，其中T[·]代表DCT或DST；

步骤3：对步骤2得到的多组变换系数进行融合，所述融合规则为绝对值最大的融合规则，得到新的变换系数；

步骤4：对步骤3得到的新的变换系数做T^-1[·]，利用公式(1)重构得到融合图像。

步骤1所述的分解方法如下：

任意一个图像f(x,y)都可分解为M个图像g(x,y)_M,L，即

$f(x,y)=\underset{L=0}{\overset{M-1}{\Σ}}g{(x,y)}_{M,L}---\left(1\right)$

其中每一个g(x,y)_M,L都是自线性正则函数(SLCFs)。

步骤1所述的分解方法具体步骤如下：

首先二维信号f(x,y)的LCT变换可以表示为：

$F_A(u,v)=R^A\[f\left(x,y\right)\](u,v)={\∫}_{R^2}f(x,y)K_A(u,v;x,y)dxdy,$

其中R^A是LCT算子,矩阵参数 $A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$ 满足ad-bc＝1，核函数满足

K_A(u,v；x,y)＝K_A(v,y)K_A(u,x),

$K_A(u,x)=\sqrt{\frac{1}{b}}\exp (-\frac{j\mathrm{\π}}{4})\exp \[j\mathrm{\π}\left(\frac{{\mathrm{du}}^2-2ux+{\mathrm{ax}}^2}{b}\right)\],$

$K_A\left(v,y\right)=\sqrt{\frac{1}{b}}\exp \left(-\frac{j\mathrm{\π}}{4}\right)\exp \[j\mathrm{\π}\left(\frac{{\mathrm{dv}}^2-2vy+{\mathrm{ay}}^2}{b}\right)\].$

当b≠0时，令a＝γ/β,b＝1/β,c＝-β+αγ/β,d＝α/β，则具有三个自由量的核函数为

$K_A(u,x)=\sqrt{\mathrm{\β}}\exp (-\frac{j\mathrm{\π}}{4})\exp \[i\mathrm{\π}\left({\mathrm{\αu}}^2-2\mathrm{\β}x+{\mathrm{\γx}}^2\right)\].$

本专利研究对象为M×N的二维图像，记为f(m,n).在此仅考虑矩阵参数b≠0的情况。

令δ_x＝(M|β|)^-1/2,δ_y＝(N|β|)^-1/2,x＝mδ_x,y＝nδ_y(m＝1,2,…M,n＝1,2,…,N),那么f(m,n)的离散线性正则变换(DLCT)可以表示为：

$F_{A,B}(u,v)=R^A\[f\left(m,n\right)\](u,v)=\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{N}{\Σ}}f(m-1,n-1)C_A(u-1,m-1)C_A(v-1,n-1)$

其中

$C_A(u,m)=\frac{\sqrt{\mathrm{\β}}\exp (-j\mathrm{\π}/4)}{\sqrt{N\left|\mathrm{\β}\right|}}\exp \[\frac{j\mathrm{\π}}{\sqrt{N\left|\mathrm{\β}\right|}}\left({\mathrm{\αu}}^2-2\mathrm{\β}um+{\mathrm{\γm}}^2\right)\]$

其次，若函数f(x,y)满足R^Af(x,y)＝c₀f(x,y)，那么f(x,y)是一个自线性正则函数,其中 $A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right),$ 是一个复常数。

由Parserval等式知|c₀|＝1，并且是实数。已知LCT算子R^A关于特征值c₁＝exp[-j(n+1/2)θ]的特征函数为

${\mathrm{\ψ}}_n\left(x\right)={(\sqrt{\mathrm{\π}}{2}^{n}n!)}^{-1/2}\exp (-\frac{1+j\mathrm{\ξ}}{2{\mathrm{\λ}}^2}{x}^2)H_n(x/\mathrm{\λ}),(n\∈N)$

其中H_n(u)是Hermite多项式,θ,λ和ξ分别定义为

$\mathrm{\θ}=arccos\left(\frac{a+d}{2}\right),{\mathrm{\λ}}^2=2b{\[4-{\left(a+d\right)}^2\]}^{-1/2},\mathrm{\ξ}=(a-d){\[4-{\left(a+d\right)}^2\]}^{-1/2}.$

我们在本专利中仅考虑当|a+d|＜2时，θ,λ和ξ都是实数的情况。

最后基于以上的知识，可以得到：如果矩阵参数 $A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$ 满足ad-bc＝1和那么自线性正则函数g(x,y)_M,L可以由任意生成元函数f(x,y)生成，即

$g{(x,y)}_{M,L}=\frac{1}{M}\underset{L=0}{\overset{M-1}{\Σ}}\exp \[\frac{j2\mathrm{\π}(L+1)(k-1)}{M}\]R^{A^{k-1}}f(x,y)\·---\left(2\right)$

有益效果

本发明的基于线性正则变换的图像融合方法，把原图像分解在不同的时频平面上，继而采用离散余弦变换或离散正弦变换得到新的融合图像。由于线性正则变换具有3个自由量，在融合时可以利用不同参数的变化得到较好的融合图像。采用本发明的图像融合技术提高了融合图像的质量，有利于后续对图像的识别和分析。

附图说明

图1为第一组多聚焦原图像“钟表”,每幅图像中包括左右两个目标,其中图像(a)聚焦在左面目标；图像(b)聚焦在右面目标；图像(c)是一幅全聚焦图像且作为参考图像，用以比较融合图像与参考图像之间的差异；

图2为第二组多聚焦原图像“书本”,每幅图像中包括左右两个目标,其中图像(a)聚焦在左面目标；图像(b)聚焦在右面目标；图像(c)是一幅全聚焦图像且作为参考图像，用以比较融合图像与参考图像之间的差异；

图3为基于自线性正则函数的图像融合流程图；

图4为以变量M为横坐标，融合图像的MI为纵坐标做出折线图；

图5为以变量M为横坐标，融合图像的Q^AB/F为纵坐标做出折线图；

图6为对第一组原图像“钟表”进行融合得到的融合图像，其中所使用的参数为：M＝4,λ＝1,ξ＝2；融合方法分别为：SLCFs+DCT，SLCFs+DST；

图7为对第二组原图像“书本”进行融合得到的融合图像，其中所使用的参数为：M＝4,λ＝1,ξ＝2；融合方法为：SLCFs+DCT，SLCFs+DST；

图8为对第一组原图像“钟表”进行融合得到的融合图像，其中所使用的融合方法为：SLCFs+DCT、SLCFs+DST、DWTrbio2.2、DWTbior1.5；

图9为对第二组原图像“书本”进行融合得到的融合图像，其中所使用的融合方法为：SLCFs+DCT、SLCFs+DST、DWTrbio2.2、DWTbior1.5。

具体实施方式

实施例1

本发明首先选取了一组在融合试验中普遍使用的大小为512×512的多聚焦图像，记为“钟表”。以此为实施例1介绍本发明的实施步骤，具体为：

(1)首先将两幅原图像f_i(x,y)(i＝1,2)各自分解为M个图像g_i(x,y)_M,L，即

$f_i(x,y)=\underset{L=0}{\overset{M-1}{\Σ}}{g}_i{(x,y)}_{M,L},$

其中g_i(x,y)_M,L是SLCFs。

(2)对图像g_i(x,y)_M,L做变换T[·]得到T[g_i(x,y)_M,L]，这里T[·]代表DCT或DST。

(3)对于T[g₁(x,y)_M,L]和T[g₂(x,y)_M,L]，应用绝对值最大的融合规则，表示如下：

$T\[g{\left(x,y\right)}_{M,L}\]=\left\{\begin{array}{cc}T\[g_1{\left(x,y\right)}_{M,L}\]& \left|T\[g_1{\left(x,y\right)}_{M,L}\]\right|\≥\left|T\[g_2{\left(x,y\right)}_{M,L}\]\right|\\ T\[g_2{\left(x,y\right)}_{M,L}\]& \left|T\[g_1{\left(x,y\right)}_{M,L}\]\right|\≤\left|T\[g_2{\left(x,y\right)}_{M,L}\]\right|\end{array}\right.$

(4)对T[g(x,y)_M,L]做T^-1[·]得到g(x,y)_M,L，这里T^-1[·]代表逆DCT或逆DST

(5)利用公式(1)重构得到融合图像。

(6)由于自线性正则函数中包含3个自由量，因此我们有必要研究这3个自由量是否影响融合图像的质量以及自由量的选择是否存在一定的规律。首先固定λ＝1,ξ＝2，视M为变量，选取M为3到9的正整数，融合方法为SLCFs+DCT和SLCFs+DST，得到融合图像。以上分析找到了最优的参数M，接下来固定M为此最优的参数，分别视λ和ξ为变量，融合方法仍然为SLCFs+DCT和SLCFs+DST，得到融合图像。

实施例2

本例中选取了另外的一组多聚焦图像，记为“书本”，采用与实施例1同样的融合步骤去融合图像，并研究了各个参数对融合效果的影响。

本专利选取了2组具有不同聚焦点的图像“钟表”和“书本”，见图1(a)和(b)和图2(a)和(b)，而且为了比较融合之后图像的效果，选取了相应的一幅全聚焦图像作为参考图像，见图1(c)和图2(c)。图3展示了本专利所提的基于线性正则变换的图像融合方法的流程。本专利中使用了如下的5个客观评价指标：信息熵(InformationEntropy，IE)、标准偏差(StandardDeviation，STD)、结构相似度(StructureSimilarity,Q^AB/F)、互信息(MutualInformation，MI)、均方根误差(RootMeanSquareError，RMSE)。其中信息熵的大小反映了图像所包含的平均信息量的多少；标准偏差的大小反映了图像的灰度分散程度；结构相似度反映了融合图像与两幅原图像的整体相似程度；互信息反映融合图像和原图像信息的相关性，互信息越大表明融合图像从源图像获取的信息越丰富；均方根误差反映了融合图像与参考图像的差异程度。这里需要指出：融合图像的信息熵、标准偏差、结构相似度和互信息的数值越大说明融合图像的质量越好，而均方根误差恰恰相反，数值越小说明融合图像与原图像差异越小。

首先以第一组原图像“钟表”为例进行实验，固定λ＝1,ξ＝2，视M为变量，其中M选取3到9的正整数，融合方法为SLCFs+DCT和SLCFs+DST得到融合图像，计算以上指标，列表如下：

表1融合方法为SLCFs+DCT，M为变量得到的融合图像的客观指标

表2融合方法为SLCFs+DST，M为变量得到的融合图像的客观指标

为了直观的感受融合图像的质量与参数M之间的关系，选取其中2个指标MI和Q^AB/F的数据绘制图像，分别如图4、图5所示。由以上可知，当M＝4时融合图像的各个指标相对优于其他M，由此可知当M＝4时融合图像的质量最高。接下来基于以上的结论，固定M＝4，分别选取λ和ξ作为参数中的变量，得到融合图像,并计算融合图像的各个指标，列表如下

表3融合方法为SLCFs+DCT,λ为变量得到的融合图像的客观指标

表4融合方法为SLCFs+DCT,ξ为变量得到的融合图像的客观指标

分析以上数据发现，参数λ并不影响融合图像的质量，参数ξ影响融合图像的质量，但是没有明显的规律。基于以上的分析结果，选取最优的参数进行融合，得到的融合图像如图6所示.

接下来使用第二组原图像“书本”进行实验，得到融合图像并计算各个指标，如图7、表5和表6，分析数据可得同样的结论。

表5融合方法为SLCFs+DCT,M为变量得到的融合图像的客观指标

表6融合方法为SLCFs+DST，M为变量得到的融合图像的客观指标

小波变换是传统的融合方法，可以得到效果较好的融合图像。本发明以小波变换作为参照方法，采用上面介绍的的5个评价指标，比较几种方法所得到的融合图像的效果，从不同方面反映本发明所提方法的优劣性。基于两组多聚焦图像，使用小波变换和本文提出的算法分别得到融合图像，如图8和9所示，(a)为基于SLCFs+DCT的融合结果；(b)为基于SLCFs+DST的融合结果；(c)为基于DWTrbio2.2的融合结果；(d)为基于DWTbior1.5的融合结果。其中小波融合方法中采用2层小波分解。计算融合图像的各个指标，列表如下：

表7不同方法得到的融合图像的客观指标

从表中可以得出，相比小波的融合方法，使用SLCFs+DCT方法得到的融合图像，在STD、RMSE、IE和Q^AB/F指标上均高于使用DWT方法得到的融合图像，所以本融合方法可以适当改善融合图像的质量。

Claims (3)

1.基于线性正则变换思想的图像融合方法，其特征在于：实现融合的步骤如下：

步骤1：分解原图像f_i(x,y)(i＝1,2)为M个图像g_i(x,y)_M,L(L＝1,2…,M)，其中g_i(x,y)_M,L是不变的线性正则函数(SLCFs)；

步骤2：对步骤一得到的每个g_i(x,y)_M,L做T[·]得到多组变换系数，其中T[·]代表DCT或DST；

步骤3：对步骤2得到的多组变换系数进行融合，所述融合规则为绝对值最大的融合规则，得到新的变换系数；

步骤4：对步骤3得到的新的变换系数做T^-1[·]，利用公式(1)重构得到融合图像。

2.如权利要求1所述的基于线性正则变换思想的图像融合方法，其特征在于：所述步骤1的分解方法如下：

任意一个图像f(x,y)都可分解为M个图像g(x,y)_M,L，即

其中每一个g(x,y)_M,L都是自线性正则函数(SLCFs)。

3.如权利要求1或2所述的基于线性正则变换思想的图像融合方法，其特征在于：所述步骤1的分解方法的具体步骤如下：

首先二维信号f(x,y)的LCT变换可以表示为：

其中R^A是LCT算子,矩阵参数满足ad-bc＝1，核函数满足

K_A(u,v；x,y)＝K_A(v,y)K_A(u,x),

当b≠0时，令a＝γ/β,b＝1/β,c＝-β+αγ/β,d＝α/β，则具有三个自由量的核函数为

本专利研究对象为M×N的二维图像，记为f(m,n).在此仅考虑矩阵参数b≠0的情况；

令

δ_x＝(M|β|)^-1/2,δ_y＝(N|β|)^-1/2,x＝mδ_x,y＝nδ_y(m＝1,2,…M，n＝1，2，…，N)，那么f(m,n)的离散线性正则变换(DLCT)可以表示为：

其中

其次，若函数f(x,y)满足R^Af(x,y)＝c₀f(x,y)，那么f(x,y)是一个自线性正则函数,其中 是一个复常数。

由Parserval等式知|c₀|＝1，并且是实数；已知LCT算子R^A关于特征值c₁＝exp[-j(n+1/2)θ]的特征函数为

其中H_n(u)是Hermite多项式,θ,λ和ξ分别定义为:

我们在本专利中仅考虑当|a+d|＜2时，θ,λ和ξ都是实数的情况；

最后基于以上的知识，可以得到：如果矩阵参数满足ad-bc＝1和那么自线性正则函数g(x,y)_M,L可以由任意生成元函数f(x,y)生成，即