CN103164850A - 一种基于压缩感知的多聚焦图像融合方法及装置 - Google Patents

一种基于压缩感知的多聚焦图像融合方法及装置 Download PDF

Info

Publication number
CN103164850A
CN103164850A CN2013100781707A CN201310078170A CN103164850A CN 103164850 A CN103164850 A CN 103164850A CN 2013100781707 A CN2013100781707 A CN 2013100781707A CN 201310078170 A CN201310078170 A CN 201310078170A CN 103164850 A CN103164850 A CN 103164850A
Authority
CN
China
Prior art keywords
theta
observation vector
image
fusion
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100781707A
Other languages
English (en)
Other versions
CN103164850B (zh
Inventor
杨真真
杨震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201310078170.7A priority Critical patent/CN103164850B/zh
Publication of CN103164850A publication Critical patent/CN103164850A/zh
Application granted granted Critical
Publication of CN103164850B publication Critical patent/CN103164850B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于压缩感知的多聚焦图像融合方法,属于图像信号处理技术领域。本发明首先对待融合的两幅图像分别进行压缩采样,得到两幅图像的观测向量;对两幅图像的观测向量进行融合,得到融合观测向量;利用融合观测向量重构出待融合的两幅图像的融合图像。本发明采用自适应局部能量测度(ALEM)融合准则对观测向量进行融合,并利用快速持续线性增广Lagrangian法(FCLALM)进行图像重构。本发明还公开了一种基于压缩感知的多聚焦图像融合装置。相比现有技术,本发明可获得更高的图像融合质量,且具有更高的信噪比和更快速的收敛速度。

Description

一种基于压缩感知的多聚焦图像融合方法及装置
技术领域
本发明公开了一种基于压缩感知的多聚焦图像融合方法及装置,属于图像信号处理技术领域。
背景技术
对某一场景成像时,由于光学系统的聚焦范围有限,一般的光学成像系统难以对同一场景中不同焦距上的物体都形成清晰的像。当成像系统的焦点聚焦在某个物体上时,它可以在像平面上形成一个清晰的像。这时,位于其它位置上的物体,在像平面上所成的像将呈现出不同程度的模糊。因此,仅依靠成像系统难以得到同一场景中所有物体都清晰的图像。为了更加全面、真实地反映某一场景的信息,希望得到一幅该场景中所有物体都清晰的图像。解决这一问题的一种方法就是对场景中的物体分别进行聚焦,得到多幅该场景的多聚焦图像,然后对这些多聚焦的图像进行融合。图像融合是将传感器在同一时间或不同时间获取的关于某个场景的两个或两个以上的图像或图像序列加以综合,以获得信息更加丰富、更适合于视觉感知或更适合于进一步处理的新图像的信息处理过程,其应用已遍及医学图像、遥感和计算机视觉等。多聚焦图像融合是图像融合的一个重要分支。
在过去的十年间,提出了很多图像融合的方法,主要分为基于单个像素的融合准则和基于区域特征的融合准则。基于单个像素的融合准则虽然比基于区域特征的融合准则简单,但前者有对边缘敏感等缺点。此外,所有的样本都是基于Nyquist采样定理进行采样的,这势必会增加数据存储、计算和处理的负担。因此,近年提出了基于压缩感知(Compressed Sensing,CS)的图像融合方法。CS可以减少计算和传输的损耗,成为图像融合的有效方法。
近年,提出了许多基于CS的图像融合方法。Wan等提出了用2维Fourier矩阵进行观测并采用最大值选取的方法融合观测向量。Li等提出了用2维Fourier矩阵进行观测并采用线性加权平均的方法融合观测向量。然而,Fourier矩阵仅与时域稀疏的信号不相干,应用范围较窄。Luo等提出用相似性分类的思想融合观测向量,但这种方法的计算量很大。Zebhi等提出了基于DCT的稀疏采样方法的图像融合,但当采样矩阵不是正交矩阵时,这种方法的计算量非常大。Luo等提出了一种有效的线性加权平均的融合准则,但该方法没有考虑多聚焦图像的自身特性。
基于CS的图像融合方法有两大关键技术:(1)设计合适的融合准则融合观测向量;(2)设计一种重构算法解决l1-最小化问题。一种好的融合准则应保留源图像的所有显著特征,并且尽可能消除块效应。例如最大值选取(Maximum Selection,MS)准则、标准差加权平均(Standard Deviation Weighted Average,SDWV)准则、熵测度加权平均(EntropyMetrics Weighted Average,EMWV)准则、简单加权平均(Simple Weighted Average,SWV)准则等一些基于CS的多聚焦图像融合方法被提出,但这些融合准则均存在缺点。此外,增广Lagrangian法(Augmented Lagrangian Method,ALM)虽可以有效解决l1-最小化问题,但其收敛速度太慢。
发明内容
本发明所要解决的技术问题在于克服现有技术不足,提供一种基于压缩感知的多聚焦图像融合方法及装置,采用自适应局部能量测度(ALEM)融合准则对观测向量进行融合,能够提供更高的融合质量。
本发明的基于压缩感知的多聚焦图像融合方法,首先对待融合的两幅图像分别进行压缩采样,得到两幅图像的观测向量;对两幅图像的观测向量进行融合,得到融合观测向量;利用融合观测向量重构出待融合的两幅图像的融合图像;所述对两幅图像的观测向量进行融合,具体按照以下方法:
首先将待融合的两幅图像的观测向量y1=(u1,u2,…,uM)、y2=(v1,v2,…,vM)分段表示为y1=(u1,u2,…,uP)T和y2=(v1,v2,…,vP)T;其中,uj=(u(j-1)·q+1,u(j-1)·q+2,…,uj·q)T,vj=(v(j-1)·q+1,v(j-1)·q+2,…,vj·q)T,j=1,2,…P,P×q=M;
然后按照下式分别计算分段向量uj和vj的能量匹配度Dj
D j = 2 E 12 j E 1 j + E 2 j ,
式中,E1j、E2j分别为uj、vj的局部能量测度,E12j为uj和vj的混合能量测度,根据下式得到: E 12 j = Σ ( j - 1 ) · q + 1 jq | u j v j | / q ;
根据能量匹配度Dj与预设阈值T∈(0.5,1)的比较结果,按照以下方法计算融合观测向量y=(w1,w2,…,wP)T的分段向量wj,j=1,2,…P:
若Dj<T,则:
w j = u j if E 1 j &GreaterEqual; E 2 j v j if E 1 j < E 2 j ( j = 1,2 , . . . , P ) ,
若Dj≥T,则:
wj=ωuj+(1-ω)vj(j=1,2,…,P)
其中ω为自适应加权因子,按照下式计算:
&omega; = E 1 j E 1 j + E 2 j ;
最终得到融合观测向量y=(w1,w2,…,wP)T
作为本发明技术方案的进一步改进方案,在利用融合观测向量重构出待融合的两幅图像的融合图像时,所述融合图像的稀疏系数Θ通过求解以下的l1-最小化问题得到:
min &Theta; | | &Theta; | | 1 s . t . y = A&Theta; ,
式中,y为融合观测向量,A为对所述压缩采样所使用的观测矩阵;
求解采用快速持续线性增广Lagrangian法,具体包括以下步骤:
步骤1、初始化:设置初始惩罚参数μ0>0,最大惩罚参数μmax0,参数α>0,初始变量t0=1,放大因子η>1,初始稀疏系数Θ0,初始辅助变量
Figure BDA00002902344400037
初始乘子d0,初始迭代次数k=0;
步骤2、更新辅助变量 &Theta; &OverBar; : &Theta; &OverBar; k + 1 = soft ( &Theta; k - &alpha; A T ( A &Theta; k - d k ) , &alpha; &mu; k ) ;
步骤3、更新变量 t : t k + 1 = 1 + 1 + 4 t k 2 2 ;
步骤4、更新稀疏系数 &Theta; : &Theta; k + 1 = &Theta; &OverBar; k + 1 + ( t k - 1 t k + 1 ) ( &Theta; &OverBar; k + 1 - &Theta; &OverBar; k ) ;
步骤5、更新惩罚参数μ:μk+1=min{ημkmax};
步骤6、更新乘子 d : d k + 1 = y - &mu; k &mu; k + 1 ( A &Theta; k + 1 - d k ) ;
步骤7、若满足终止条件则算法终止,否则,令k=k+1转步骤2。
优选地,所述压缩采样利用离散小波变换进行稀疏表示;在利用融合观测向量重构出待融合的两幅图像的融合图像时,通过对融合图像的稀疏系数进行反离散小波变换得到。
优选地,所述压缩采样采用随机高斯矩阵进行观测。
根据同一发明构思可得到本发明的基于压缩感知的多聚焦图像融合装置,包括压缩采样模块、融合模块以及图像重构模块;所述压缩采样模块用于对待融合图像进行压缩采样,得到待融合图像的观测向量;所述融合模块用于对两幅待融合图像的观测向量进行融合,得到融合观测向量;所述图像重构模块用于对融合观测向量进行图像重构,得到融合图像;所述融合模块对两幅待融合图像的观测向量进行融合,具体按照以下方法:
首先将待融合的两幅图像的观测向量y1=(u1,u2,…,uM)、y2=(v1,v2,…,vM)分段表示为y1=(u1,u2,…,uP)T和y2=(v1,v2,…,vP)T;其中,uj=(u(j-1)·q+1,u(j-1)·q+2,…,uj·q)T,vj=(v(j-1)·q+1,v(j-1)·q+2,…,vj·q)T,j=1,2,…P,P×q=M;
然后按照下式分别计算分段向量uj和vj的能量匹配度Dj
D j = 2 E 12 j E 1 j + E 2 j ,
式中,E1j、E2j分别为uj、vj的局部能量测度,E12j为uj和vj的混合能量测度,根据下式得到: E 12 j = &Sigma; ( j - 1 ) &CenterDot; q + 1 jq | u j v j | / q ;
根据能量匹配度Dj与预设阈值T∈(0.5,1)的比较结果,按照以下方法计算融合观测向量y=(w1,w2,…,wP)T的分段向量wj,j=1,2,…P:
若Dj<T,则:
w j = u j if E 1 j &GreaterEqual; E 2 j v j if E 1 j < E 2 j ( j = 1,2 , . . . , P ) ,
若Dj≥T,则:
wj=ωuj+(1-ω)vj(j=1,2,…,P)
其中ω为自适应加权因子,按照下式计算:
&omega; = E 1 j E 1 j + E 2 j ;
最终得到融合观测向量y=(w1,w2,…,wP)T
进一步地,所述图像重构模块通过快速持续线性增广Lagrangian法(以下简称FCLALM)求解以下的l1-最小化问题得到融合图像的稀疏系数Θ:
min &Theta; | | &Theta; | | 1 s . t . y = A&Theta; ,
式中,y为融合观测向量,A为对所述压缩采样所使用的观测矩阵;
具体包括以下步骤:
步骤1、初始化:设置初始惩罚参数μ0>0,最大惩罚参数μmax0,参数α>0,初始变量t0=1,放大因子η>1,初始稀疏系数Θ0,初始辅助变量
Figure BDA00002902344400052
初始乘子d0,初始迭代次数k=0;
步骤2、更新辅助变量 &Theta; &OverBar; : &Theta; &OverBar; k + 1 = soft ( &Theta; k - &alpha; A T ( A &Theta; k - d k ) , &alpha; &mu; k ) ;
步骤3、更新变量 t : t k + 1 = 1 + 1 + 4 t k 2 2 ;
步骤4、更新稀疏系数 &Theta; : &Theta; k + 1 = &Theta; &OverBar; k + 1 + ( t k - 1 t k + 1 ) ( &Theta; &OverBar; k + 1 - &Theta; &OverBar; k ) ;
步骤5、更新惩罚参数μ:μk+1=min{ημkmax};
步骤6、更新乘子 d : d k + 1 = y - &mu; k &mu; k + 1 ( A &Theta; k + 1 - d k ) ;
步骤7、若满足终止条件则算法终止,否则,令k=k+1转步骤2。相比现有技术,本发明具有以下有益效果:
(1)采用自适应局部能量测度(ALEM)融合准则对观测向量进行融合,能够提供更高的融合质量。
(2)采用快速持续线性增广Lagrangian法来重构出融合图像的稀疏系数,具有更高的信噪比和更快速的收敛速度。
附图说明
图1为本发明的基于压缩感知的多聚焦图像融合方法流程框图;
图2a、图2b、图2c分别为参考图像Lab、Pepsi、Clock在基于DCT基和DWT基的FCLALM算法的PSNRs;
图3a、图3b分别为采用不同算法重构Pepsi参考图像的PSNR和迭代次数;
图4a~图4h依次为Lab参考图像、两幅不同聚焦的参考图像,以及分别采用ALEM、MS、SWV、SDWV和EMWV融合准则所得到的融合图像;
图5a~图5h依次为Pepsi参考图像、两幅不同聚焦的参考图像,以及分别采用ALEM、MS、SWV、SDWV和EMWV融合准则所得到的融合图像;
图6a~图6h依次为Clock参考图像、两幅不同聚焦的参考图像,以及分别采用ALEM、MS、SWV、SDWV和EMWV融合准则所得到的融合图像。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
本发明的基于压缩感知的多聚焦图像融合装置,包括压缩采样模块、融合模块以及图像重构模块;所述压缩采样模块用于对待融合图像进行压缩采样,得到待融合图像的观测向量;所述融合模块用于对两幅待融合图像的观测向量进行融合,得到融合观测向量;所述图像重构模块用于对融合观测向量进行图像重构,得到融合图像。
正如背景技术部分所述,基于CS的图像融合方法有两大关键技术:(1)设计合适的融合准则融合观测向量;(2)设计一种重构算法解决l1-最小化问题。一种好的融合准则应保留源图像的所有显著特征,并且尽可能消除块效应。例如最大值选取(MS)准则、标准差加权平均(SDWV)准则、熵测度加权平均(EMWV)准则、简单加权平均(SWV)准则等一些基于CS的多聚焦图像融合方法被提出,但这些融合准则均存在缺点。局部能量通常比平均梯度更体现融合图像的高分辨率等特性,具有大的局部能量的图像通常包含更多的信息。此外,基于区域特征的融合准则可以改善图像的清晰度。基于上述考虑,本发明为了获得更高的融合质量,提出了一种自适应局部能量测度(ALEM)融合准则对观测向量进行融合。
本发明的基于压缩感知的多聚焦图像融合方法,包括以下步骤:
步骤A、对待融合的两幅图像分别进行压缩采样,得到两幅图像的观测向量。
对待融合图像进行压缩采样,可采用现有各种压缩采样方法,例如首先对源图像在DCT域或DFT域进行稀疏表示,然后进行观测。本发明优选在小波域进行稀疏表示,并优选随机高斯矩阵进行观测。具体如下:在采样阶段,将待融合的源图像x1∈Rn×n和x2∈Rn×n分别列向量化,并用离散小波变换(DWT)进行稀疏表示,得到各自的长度为N=n2的稀疏系数Θ1和Θ2;然后,用随机高斯矩阵A分别对Θ1和Θ2进行观测,得到观测向量y1和y2
步骤B、对两幅图像的观测向量进行融合,得到融合观测向量。
局部能量通常比平均梯度更体现融合图像的高分辨率等特性,具有大的局部能量的图像通常包含更多的信息。此外,基于区域特征的融合准则可以改善图像的清晰度。基于上述考虑,本发明提出了一种新的称为自适应局部能量测度(ALEM)的融合准则。具体如下:
首先将待融合的两幅图像的观测向量y1=(u1,u2,…,uM)、y2=(v1,v2,…,vM)分段表示为y1=(u1,u2,…,uP)T和y2=(v1,v2,…,vP)T;其中,uj=(u(j-1)·q+1,u(j-1)·q+2,…,uj·q)T,vj=(v(j-1)·q+1,v(j-1)·q+2,…,vj·q)T,j=1,2,…P,P×q=M,M为观测向量的维数。
分段向量uj和vj的传统局部能量测度分别定义为:
E 1 j = &Sigma; ( j - 1 ) &CenterDot; q + 1 jq u j 2 / q - - - ( 1 )
E 2 j = &Sigma; ( j - 1 ) &CenterDot; q + 1 jq v j 2 / q - - - ( 2 )
分段向量uj和vj的传统混合局部能量测度定义为:
E j = &Sigma; ( j - 1 ) &CenterDot; q + 1 jq u j v j / q - - - ( 3 )
局部能量测度为现有技术,具体可参见文献[Local energy based multi-focus image fusion methodon curvelet transforms]。
为了避免ujvj的值为负数,本发明用|ujvj|代替ujvj,则得到分段向量uj和vj的混合局部能量测度:
E 12 j = &Sigma; ( j - 1 ) &CenterDot; q + 1 jq | u j v j | / q - - - ( 4 )
定义分段向量uj和vj的能量匹配度Dj
D j = 2 E 12 j E 1 j + E 2 j - - - ( 5 )
若Dj<T(其中T∈(0.5,1)为预设阈值),则融合观测向量y=(w1,w2,…,wP)T可以由下式得到
w j = u j if E 1 j &GreaterEqual; E 2 j v j if E 1 j < E 2 j ( j = 1,2 , . . . , P ) - - - ( 6 )
若Dj≥T,定义自适应加权因子ω为
&omega; = E 1 j E 1 j + E 2 j - - - ( 7 )
则融合观测向量y=(w1,w2,…,wP)T可以由下式得到
wj=ωuj+(1-ω)vj(j=1,2,…,P)    (8)
当Dj<T时,ALEM采用选取最大绝对值的融合准则;当Dj≥T时,ALEM采用基于局部能量测度的自适应选取准则。
因为x=ΨΘ且Ψ为正交基,故有
| | x | | 2 2 = | | &Psi;&Theta; | | 2 2 = ( &Psi;&Theta; ) T &Psi;&Theta; = &Theta; T &Psi; T &Psi;&Theta; = &Theta; T &Theta; = | | &Theta; | | 2 2 - - ( 9 )
也就是说稀疏系数Θ含有x的全部能量。此外,观测矩阵A的约束等距条件(RestrictedIsometry Property,RIP)为
( 1 - &delta; K ) | | &Theta; | | 2 2 &le; | | A&Theta; | | 2 2 &le; ( 1 + &delta; K ) | | &Theta; | | 2 2 - - - ( 10 )
即有
( 1 - &delta; K ) | | &Theta; | | 2 2 &le; | | y | | 2 2 &le; ( 1 + &delta; K ) | | &Theta; | | 2 2 - - - ( 11 )
其中δK∈(0,1)为常数。由RIP条件可以得到观测向量y含有Θ的几乎全部能量。从而,观测向量y含有x的几乎全部能量。因具有大的局部能量的图像通常包含更多的信息。所以,相比其他基于CS的融合准则,ALEM是一种更好的融合准则。
步骤C、利用融合观测向量重构出待融合的两幅图像的融合图像。
利用得到的融合观测向量y=(w1,w2,…,wP)T,即可利用的现有的各种重构算法重构出融合图像的稀疏系数Θ,进而重构出融合图像。图像重构的应用已经遍及到医学图像、天文图像、核磁共振成像、图像和视频编码等领域。CS技术是近几年出现的一种新兴的信号采样和压缩技术,基于该理论所获得的原始信号采样值,不仅数量大大低于基于传统Nyquist准则的采样值,而且CS技术还具有对未知信号边采样边压缩的特性。基于CS的图像重构问题是一个病态的欠定问题,可以利用一些先验信息对其进行求解。l1-最小化问题便是一种标准的小波域图像重构问题。基于CS的图像重构问题假设图像x∈RN可以用一个正交基
Figure BDA00002902344400091
表示为
Figure BDA00002902344400092
其中,为投影系数。当Θ满足||Θ||0=K(K<<N)时,称图像x是K-稀疏的,其中||Θ||0表示向量Θ中非零元素的个数。
若图像x在Ψ域上是K-稀疏的,我们直接用矩阵A∈RM×N对其稀疏系数Θ进行线性测量,得到观测向量y∈RM
y=AΘ    (13)
其中A称为观测矩阵。
稀疏系数Θ可以通过求解如下的l1-最小化问题
min &Theta; | | &Theta; | | 1 s . t . y = A&Theta; - - - ( 14 )
进而通过式(12)重构出图像x。
l1-最小化问题可以转化为线性问题通过经典的线性规划(Linear Programming,LP)的方法对其进行求解。但是,当观测矩阵为大规模、稠密的随机高斯矩阵时,这种方法的收敛速度将非常慢。因此,本发明提出了采用快速持续线性增广Lagrangian法(FCLALM)来解决l1-最小化问题,该算法重构的图像与基于LP算法重构的图像具有同样好的精度,但该算法具有更快速的收敛速度。
式(14)的l1-最小化问题的乘子函数为
&Gamma; ( &Theta; , &lambda; , &mu; ) = | | &Theta; | | 1 - &lambda; T ( A&Theta; - y ) + &mu; 2 | | A&Theta; - y | | 2 2 = | | &Theta; | | 1 + &mu; 2 | | A&Theta; - y - &lambda; &mu; | | 2 2 - - - ( 5 )
其中,λ为Lagrange乘子,μ为惩罚参数。
对于给定的λk
&Theta; &OverBar; k + 1 = min &Theta; &Gamma; ( &Theta; , &lambda; k , &mu; ) = min &Theta; | | &Theta; | | 1 + &mu; 2 | | A&Theta; - ( y + &lambda; k 2 ) | | 2 2 - - - ( 16 )
优化问题(16)很难求解,借助于线性化的思想,提出用线性化增广Lagrangian法(LALM)来求解此优化问题。通过线性化的思想,二次项
Figure BDA00002902344400102
可以近似表示为
1 2 | | A&Theta; - ( y + &lambda; k &mu; ) | | 2 2 &ap; 1 2 | | A &Theta; k - ( y + &lambda; k &mu; ) | | 2 2 + < g k , &Theta; - &Theta; k > + 1 2 &alpha; | | &Theta; - &Theta; k | | 2 2 - - - ( 17 )
其中α>0为近似参数,<gk,Θ-Θk>表示向量gk和向量Θ-Θk的内积,且
g k = A T ( A &Theta; k - ( y + &lambda; k &mu; ) ) - - - ( 18 )
Figure BDA00002902344400105
在Θk的梯度。将式(18)代入式(16)得到
&Theta; &OverBar; k + 1 = min &Theta; | | &Theta; | | 1 + &mu; ( < g k , &Theta; - &Theta; k > + 1 2 &alpha; | | &Theta; - &Theta; k | | 2 2 )
= min &Theta; &alpha; &mu; | | &Theta; | | 1 + 1 2 | | &Theta; - ( &Theta; k - &alpha; g k ) | | 2 2
= soft ( &Theta; k - &alpha; g k , &alpha; &mu; ) - - - ( 19 )
= soft ( &Theta; k - &alpha; A T ( A &Theta; k - ( y + &lambda; k &mu; ) ) , &alpha; &mu; )
其中soft(·,Th)为阈值是Th的软阈值函数。
在经典的ALM算法中,惩罚参数μ是固定的。大量研究表明基于固定参数的ALM收敛速度非常慢,LALM也具有此特点。因此,选取动态变化的惩罚参数是很有必要的。采用持续策略来选取μ以此来加速LALM的收敛速度。采用持续策略式(19)可以变为
&Theta; &OverBar; k + 1 = soft ( &Theta; k - &alpha; A T ( A &Theta; k - ( y + &lambda; k &mu; k ) ) , &alpha; &mu; k ) - - - ( 20 )
持续惩罚参数μ可以定义为
μk+1=min{ημkmax}    (21)
其中η>1为放大因子。
d k = y + &lambda; k &mu; k , 则有
&Theta; &OverBar; k + 1 = soft ( &Theta; k - &alpha; A T ( A &Theta; k - d k ) , &alpha; &mu; k ) - - - ( 22 )
为了加速上述迭代的收敛速度,采用快速思想对变量Θ进行如下的二次更新
&Theta; k + 1 = &Theta; &OverBar; k + 1 + ( t k - 1 t k + 1 ) ( &Theta; &OverBar; k + 1 - &Theta; &OverBar; k ) - - - ( 23 )
其中 t k + 1 = 1 + 1 + 4 t k 2 2 , t0=1, t k - 1 t k + 1 &Element; [ 0,1 ] 为步长。
此外,使用下式更新Lagrange乘子
λk+1kk(AΘk+1-y)     (24)
又因为 d k = y + &lambda; k &mu; k , 故有
d k = y - &mu; k &mu; k + 1 ( A &Theta; k + 1 - d k ) - - - ( 25 )
综上所述,本发明的FCLALM的算法步骤为:
步骤1、初始化:设置初始惩罚参数μ0>0,最大惩罚参数μmax0,参数α>0,初始变量t0=1,放大因子η>1,初始稀疏系数Θ0,初始辅助变量
Figure BDA000029023444001112
初始乘子d0,初始迭代次数k=0;
步骤2、更新辅助变量 &Theta; &OverBar; : &Theta; &OverBar; k + 1 = soft ( &Theta; k - &alpha; A T ( A &Theta; k - d k ) , &alpha; &mu; k ) ;
步骤3、更新变量 t : t k + 1 = 1 + 1 + 4 t k 2 2 ;
步骤4、更新稀疏系数 &Theta; : &Theta; k + 1 = &Theta; &OverBar; k + 1 + ( t k - 1 t k + 1 ) ( &Theta; &OverBar; k + 1 - &Theta; &OverBar; k ) ;
步骤5、更新惩罚参数μ:μk+1=min{ημkmax};
步骤6、更新乘子 d : d k + 1 = y - &mu; k &mu; k + 1 ( A &Theta; k + 1 - d k ) ;
步骤7、若满足终止条件则算法终止,否则,令k=k+1转步骤2。
通过上述算法即可重构出融合图像的稀疏系数Θ,对稀疏系数Θ进行反离散小波变换(IDWT)即可得到最终的融合图像。
本发明方法的基本流程如图1所示。
FCLALM算法的复杂度主要在步骤2和步骤5,其计算量为O(MN),而步骤3、4、6的计算量均仅为O(1)。FCLALM算法的优点在于它可以直接对问题(3)进行求解,而其他算法仅解决的是该问题的近似问题。此外,线性化、持续、快速的思想可以充分加速该算法的收敛速度。因此,FCLALM算法比其他重构图像的算法具有更好的性能和更快速的收敛速度。
接下来,我们将通过LALM、FPC(Fixed-Point Continuation)和FISTA(Fast IterativeShrinkage/Thresholding Algorithm)的收敛性给出FCLALM算法的收敛性。
引理1设
Figure BDA00002902344400121
其中ρmax(ATA)表示矩阵ATA的最大特征值。对于任意固定的μ>0,给定初始迭代点Θ0,LALM算法生成的序列{Θk}收敛于优化问题(14)的解Θ*
引理2对于任意的μmax0>0,给定初始迭代点Θ0,FPC算法生成的序列{Θk}收敛于优化问题(14)的解Θ*
引理3给定初始迭代点Θ0,FISTA算法生成的序列{Θk}收敛于优化问题(14)的解Θ*
定理1设
Figure BDA00002902344400122
对于任意的μmax0>0,给定初始迭代点Θ0,FCLALM算法生成的序列{Θk}收敛于优化问题(14)的解Θ*
通过引理1,2和3很容易证明定理1。因优化问题(14)是凸优化问题,所以该问题的解若存在,则唯一。由引理1和式(19)可以得到,LALM算法生成的序列{Θk}收敛于优化问题(14)的解Θ*。通过引理2和3可以得到,基于持续和快速思想的LALM算法也收敛于Θ*。因此,FCLALM算法生成的序列{Θk}收敛于优化问题(14)的解Θ*
为了验证本发明所提出的FCLALM算法的性能,进行了以下实验。实验对象为:Lab(512×512)、Pepsi(512×512)和Clock(256×256)。首先将n×n的图像转化为N×1的向量,然后将N×1的向量分成n段,每段的长度为n。压缩比定义为
Figure BDA00002902344400131
其中n为每段向量的维数,m为其相应的观测向量的维数。
将本发明的FCLALM重构算法与LALM、FPC、FISTA和OMP(Orthogonal MatchingPursuit)4种经典的重构算法进行了比较,并用仿真实验验证了FCLALM算法的有效性和普适性。
FCLALM算法的终止准则为
| | &Theta; k + 1 - &Theta; k | | 2 | | &Theta; k | | 2 < &epsiv; - - - ( 26 )
其中ε>0是一个预先给定的较小的常量。
FCLALM算法的参数设置如表1所示:
表1FCLALM算法的参数设置
Figure BDA00002902344400133
其中0表示零向量,即其所有元素均为零。
理论上,惩罚参数μ越大,重构图像的性能越好。但在实际中,当
Figure BDA00002902344400134
时,重构图像的PSNR将是一个常数不再变化。因此,设
Figure BDA00002902344400135
&mu; max = 10 8 &CenterDot; 1 &rho; max ( A T A ) . 假设 0 < &alpha; &le; 1 &rho; max ( A T A ) 是为了保证FCLALM算法的收敛,此外,α越大,FCLALM算法的收敛速度越快,因此我们取
Figure BDA00002902344400138
取η=2,取
Figure BDA00002902344400139
Θ0=0,λ0=0。因为令
Figure BDA000029023444001310
故取d0=y。较小的阈值(例如ε=10-4)并不一定能改进算法的重构精度,但却会到来迭代次数的增加,所以我们取ε=10-3
基于DCT基和DWT基的FCLALM算法重构3组参考图像在不同正交基下的PSNRs如图2所示。很显然,在相同压缩比下,基于DWT基的FCLALM算法重构图像的PSNRs值大于基于DCT基的FCLALM算法重构图像的PSNRs值。因此,本发明优选DWT基作为图像的稀疏正交基。
为了进一步验证FCLALM算法的性能,采用PSNR和迭代次数作为衡量指标。
各种重构算法在不同压缩比下重构Lab图像的PSNR如表2所示
表2重构Lab图像的PSNR
Figure BDA00002902344400141
由表2可以看出,各种重构算法均可以较好的重构Lab图像。特别地,当压缩比r≥0.5时,所有的PSNR值均超过40dB。此外,随着压缩比数值的增大,所有算法重构图像的PSNR值均增大。也就是说,通过增大观测数目,可以提高重构图像的质量。最重要的是,在相同压缩比条件下,FCLALM算法重构图像的质量高于LALM、FPC、FISTA和OMP重构图像的质量。例如,当压缩比r=0.5,FCLALM重构图像的PSNR值为43.527dB,而LALM、FPC、FISTA和OMP重构图像的PSNR值分别为42.631dB、42.407dB、42.012dB、40.578dB。此时,FCLALM重构图像的PSNR值比OMP重构图像的PSNR值高大约3dB。特别地,当压缩比r=1时,提出的FCLALM重构图像的PSNR值比OMP重构图像的PSNR值高10.892dB。由表2可以看出,在相同压缩比条件下,FCLALM算法的性能优于LALM、FPC、FISTA和OMP算法的性能。
各种重构算法在不同压缩比下重构Lab图像的迭代次数如表3所示。
表3重构Lab图像的迭代次数
Figure BDA00002902344400142
由表3可以看出,随着压缩比数值的增大,所有重构算法的迭代次数均增大。而且,在相同压缩比条件下,FCLALM算法的迭代次数小于LALM、FPC、FISTA和OMP算法的迭代次数。也即,此时,FCLALM算法的收敛速度快于其他4种算法的收敛速度。
为了验证FCLALM算法具有普适性,将该算法用来重构Pepsi参考图像,并与LALM、FPC和FISTA算法进行了比较。各种重构算法重构图像的PSNR和迭代次数分别如图3a、图3b所示。
因为重构图像的PSNR和迭代次数都与压缩比有关,有必要选择一种合适的压缩比,本实验取压缩比r=0.5。
为了验证本发明所提出的ALEM融合准则的效果,将本发明的ALEM融合准则与经典的MS、SWV、SDWV和EMWV融合准则进行了比较。重构算法采用本发明的FCLALM算法,压缩比为r=0.5,实验结果分别如图4a~图4h、图5a~图5h和图6a~图6h所示,其中,图4a~图4h依次为Lab参考图像、两幅不同聚焦的参考图像,以及分别采用ALEM、MS、SWV、SDWV和EMWV融合准则所得到的融合图像;图5a~图5h依次为Pepsi参考图像、两幅不同聚焦的参考图像,以及分别采用ALEM、MS、SWV、SDWV和EMWV融合准则所得到的融合图像;图6a~图6h依次为Clock参考图像、两幅不同聚焦的参考图像,以及分别采用ALEM、MS、SWV、SDWV和EMWV融合准则所得到的融合图像。
由图可以看出,压缩比r=0.5时,基于各种融合准则的融合图像均较好。但是,ALEM融合图像保留了参考图像的更多信息,更加接近于原参考图像。此外,ALEM融合图像比MS、SWV、SDWV和EMWV融合图像更清晰。也就是说,从视觉效果上来看,ALEM融合图像的效果最好。
为了定量地评价提出的图像融合与重构装置的性能,采用PSNR、扭曲度(WarpingDegree,WD)、平均梯度(Average Gradient,AG)和空间频率(Spatial Frequency,SF)作为评价指标。实验结果如表4所示。
表4融合结果的定量评价
Figure BDA00002902344400151
由表4可以看出,对于评价指标PSNR和WD,ALEM融合准则的性能好于MS、SWV、SDWV和EMWV融合准则的性能。对于评价指标AG和SF,ALEM融合准则的性能稍好于MS、SWV、SDWV和EMWV融合准则的性能。从而有,提出的ALEM融合准则比其他4种经典的基于CS的图像融合准则具有更好的性能。

Claims (6)

1.一种基于压缩感知的多聚焦图像融合方法,首先对待融合的两幅图像分别进行压缩采样,得到两幅图像的观测向量;对两幅图像的观测向量进行融合,得到融合观测向量;利用融合观测向量重构出待融合的两幅图像的融合图像;其特征在于,所述对两幅图像的观测向量进行融合,具体按照以下方法:
首先将待融合的两幅图像的观测向量y1=(u1,u2,…,uM)、y2=(v1,v2,…,vM)分段表示为y1=(u1,u2,…,uP)T和y2=(v1,v2,…,vP)T;其中,uj=(u(j-1)·q+1,u(j-1)·q+2,…,uj·q)T,vj=(v(j-1)·q+1,v(j-1)·q+2,…,vj·q)T,j=1,2,…P,P×q=M;
然后按照下式分别计算分段向量uj和vj的能量匹配度Dj
D j = 2 E 12 j E 1 j + E 2 j ,
式中,E1j、E2j分别为uj、vj的局部能量测度,E12j为uj和vj的混合能量测度,根据下式得到: E 12 j = &Sigma; ( j - 1 ) &CenterDot; q + 1 jq | u j v j | / q ;
根据能量匹配度Dj与预设阈值T∈(0.5,1)的比较结果,按照以下方法计算融合观测向量y=(w1,w2,…,wP)T的分段向量wj,j=1,2,…P:
若Dj<T,则:
w j = u j if E 1 j &GreaterEqual; E 2 j v j if E 1 j < E 2 j ( j = 1,2 , . . . , P ) ,
若Dj≥T,则:
wj=ωuj+(1-ω)vj(j=1,2,…,P)
其中ω为自适应加权因子,按照下式计算:
&omega; = E 1 j E 1 j + E 2 j ;
最终得到融合观测向量y=(w1,w2,…,wP)T
2.如权利要求1所述基于压缩感知的多聚焦图像融合方法,其特征在于,在利用融合观测向量重构出待融合的两幅图像的融合图像时,所述融合图像的稀疏系数Θ通过求解以下的l1-最小化问题得到:
min &Theta; | | &Theta; | | 1 s . t . y = A&Theta; ,
式中,y为融合观测向量,A为对所述压缩采样所使用的观测矩阵;
求解采用快速持续线性增广Lagrangian法,具体包括以下步骤:
步骤1、初始化:设置初始惩罚参数μ0>0,最大惩罚参数μmax0,参数α>0,初始变量t0=1,放大因子η>1,初始稀疏系数Θ0,初始辅助变量
Figure FDA00002902344300021
初始乘子d0,初始迭代次数k=0;
步骤2、更新辅助变量 &Theta; &OverBar; : &Theta; &OverBar; k + 1 = soft ( &Theta; k - &alpha; A T ( A &Theta; k - d k ) , &alpha; &mu; k ) ;
步骤3、更新变量 t : t k + 1 = 1 + 1 + 4 t k 2 2 ;
步骤4、更新稀疏系数 &Theta; : &Theta; k + 1 = &Theta; &OverBar; k + 1 + ( t k - 1 t k + 1 ) ( &Theta; &OverBar; k + 1 - &Theta; &OverBar; k ) ;
步骤5、更新惩罚参数μ:μk+1=min{ημkmax};
步骤6、更新乘子 d : d k + 1 = y - &mu; k &mu; k + 1 ( A &Theta; k + 1 - d k ) ;
步骤7、若满足终止条件则算法终止,否则,令k=k+1转步骤2。
3.如权利要求1或2所述基于压缩感知的多聚焦图像融合方法,其特征在于,所述压缩采样利用离散小波变换进行稀疏表示;在利用融合观测向量重构出待融合的两幅图像的融合图像时,通过对融合图像的稀疏系数进行反离散小波变换得到。
4.如权利要求1或2所述基于压缩感知的多聚焦图像融合方法,其特征在于,所述压缩采样采用随机高斯矩阵进行观测。
5.一种基于压缩感知的多聚焦图像融合装置,包括压缩采样模块、融合模块以及图像重构模块;所述压缩采样模块用于对待融合图像进行压缩采样,得到待融合图像的观测向量;所述融合模块用于对两幅待融合图像的观测向量进行融合,得到融合观测向量;所述图像重构模块用于对融合观测向量进行图像重构,得到融合图像;其特征在于,所述融合模块对两幅待融合图像的观测向量进行融合,具体按照以下方法:
首先将待融合的两幅图像的观测向量y1=(u1,u2,…,uM)、y2=(v1,v2,…,vM)分段表示为y1=(u1,u2,…,uP)T和y2=(v1,v2,…,vP)T;其中,uj=(u(j-1)·q+1,u(j-1)·q+2,…,uj·q)T,vj=(v(j-1)·q+1,v(j-1)·q+2,…,vj·q)T,j=1,2,…P,P×q=M;
然后按照下式分别计算分段向量uj和vj的能量匹配度Dj
D j = 2 E 12 j E 1 j + E 2 j ,
式中,E1j、E2j分别为uj、vj的局部能量测度,E12j为uj和vj的混合能量测度,根据下式得到: E 12 j = &Sigma; ( j - 1 ) &CenterDot; q + 1 jq | u j v j | / q ;
根据能量匹配度Dj与预设阈值T∈(0.5,1)的比较结果,按照以下方法计算融合观测向量y=(w1,w2,…,wP)T的分段向量wj,j=1,2,…P:
若Dj<T,则:
w j = u j if E 1 j &GreaterEqual; E 2 j v j if E 1 j < E 2 j ( j = 1,2 , . . . , P ) ,
若Dj≥T,则:
wj=ωuj+(1-ω)vj(j=1,2,…,P)
其中ω为自适应加权因子,按照下式计算:
&omega; = E 1 j E 1 j + E 2 j ;
最终得到融合观测向量y=(w1,w2,…,wP)T
6.如权利要求5所述基于压缩感知的多聚焦图像融合装置,其特征在于,所述图像重构模块通过快速持续线性增广Lagrangian法求解以下的l1-最小化问题得到融合图像的稀疏系数Θ:
min &Theta; | | &Theta; | | 1 s . t . y = A&Theta; ,
式中,y为融合观测向量,A为对所述压缩采样所使用的观测矩阵;
具体包括以下步骤:
步骤1、初始化:设置初始惩罚参数μ0>0,最大惩罚参数μmax0,参数α>0,初始变量t0=1,放大因子η>1,初始稀疏系数Θ0,初始辅助变量
Figure FDA00002902344300045
初始乘子d0,初始迭代次数k=0;
步骤2、更新辅助变量 &Theta; &OverBar; : &Theta; &OverBar; k + 1 = soft ( &Theta; k - &alpha; A T ( A &Theta; k - d k ) , &alpha; &mu; k ) ;
步骤3、更新变量 t : t k + 1 = 1 + 1 + 4 t k 2 2 ;
步骤4、更新稀疏系数 &Theta; : &Theta; k + 1 = &Theta; &OverBar; k + 1 + ( t k - 1 t k + 1 ) ( &Theta; &OverBar; k + 1 - &Theta; &OverBar; k ) ;
步骤5、更新惩罚参数μ:μk+1=min{ημkmax};
步骤6、更新乘子 d : d k + 1 = y - &mu; k &mu; k + 1 ( A &Theta; k + 1 - d k ) ;
步骤7、若满足终止条件则算法终止,否则,令k=k+1转步骤2。
CN201310078170.7A 2013-03-11 2013-03-11 一种基于压缩感知的多聚焦图像融合方法及装置 Expired - Fee Related CN103164850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310078170.7A CN103164850B (zh) 2013-03-11 2013-03-11 一种基于压缩感知的多聚焦图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310078170.7A CN103164850B (zh) 2013-03-11 2013-03-11 一种基于压缩感知的多聚焦图像融合方法及装置

Publications (2)

Publication Number Publication Date
CN103164850A true CN103164850A (zh) 2013-06-19
CN103164850B CN103164850B (zh) 2016-09-21

Family

ID=48587908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310078170.7A Expired - Fee Related CN103164850B (zh) 2013-03-11 2013-03-11 一种基于压缩感知的多聚焦图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN103164850B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559696A (zh) * 2013-09-29 2014-02-05 南京邮电大学 一种基于压缩感知的图像融合方法
CN103593833A (zh) * 2013-10-25 2014-02-19 西安电子科技大学 基于压缩感知和能量规则的多聚焦图像融合方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN105915868A (zh) * 2016-04-22 2016-08-31 南京理工大学 基于扩展小波树的彩色成像系统及方法
CN105915869A (zh) * 2016-04-22 2016-08-31 南京理工大学 一种彩色自适应压缩计算鬼成像系统及方法
CN106204666A (zh) * 2015-06-12 2016-12-07 江苏大学 一种压缩传感图像重构方法
CN108782145A (zh) * 2018-05-30 2018-11-13 深圳市创艺工业技术有限公司 一种智能化果园管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540045A (zh) * 2009-03-25 2009-09-23 湖南大学 基于同步正交匹配追踪的多源图像融合方法
CN102393958A (zh) * 2011-07-16 2012-03-28 西安电子科技大学 基于压缩感知的多聚焦图像融合方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540045A (zh) * 2009-03-25 2009-09-23 湖南大学 基于同步正交匹配追踪的多源图像融合方法
CN102393958A (zh) * 2011-07-16 2012-03-28 西安电子科技大学 基于压缩感知的多聚焦图像融合方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559696A (zh) * 2013-09-29 2014-02-05 南京邮电大学 一种基于压缩感知的图像融合方法
CN103559696B (zh) * 2013-09-29 2016-04-13 南京邮电大学 一种基于压缩感知的图像融合方法
CN103593833A (zh) * 2013-10-25 2014-02-19 西安电子科技大学 基于压缩感知和能量规则的多聚焦图像融合方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN106204666A (zh) * 2015-06-12 2016-12-07 江苏大学 一种压缩传感图像重构方法
CN105915868A (zh) * 2016-04-22 2016-08-31 南京理工大学 基于扩展小波树的彩色成像系统及方法
CN105915869A (zh) * 2016-04-22 2016-08-31 南京理工大学 一种彩色自适应压缩计算鬼成像系统及方法
CN108782145A (zh) * 2018-05-30 2018-11-13 深圳市创艺工业技术有限公司 一种智能化果园管理系统
CN108782145B (zh) * 2018-05-30 2020-11-13 宁夏悦丰生态农业科技股份有限公司 一种智能化果园管理系统

Also Published As

Publication number Publication date
CN103164850B (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
CN103164850A (zh) 一种基于压缩感知的多聚焦图像融合方法及装置
Ongie et al. Off-the-grid recovery of piecewise constant images from few Fourier samples
Ren et al. Dn-resnet: Efficient deep residual network for image denoising
Sahu et al. Different image fusion techniques–a critical review
Wang et al. Compressed sensing of a remote sensing image based on the priors of the reference image
CN104123705B (zh) 一种超分辨率重建图像质量Contourlet域评价方法
Chan et al. Half-Quadratic Algorithm for-Problems with Applications to TV-Image Restoration and Compressive Sensing
CN103247028A (zh) 一种多假设预测的分块压缩感知图像处理方法
Lin et al. Nonlocal SAR interferometric phase filtering through higher order singular value decomposition
Muduli et al. A novel technique for wall crack detection using image fusion
Xu et al. A denoising algorithm via wiener filtering in the shearlet domain
Deeba et al. Wavelet integrated residual dictionary training for single image super-resolution
Xie et al. Underdetermined blind source separation of speech mixtures unifying dictionary learning and sparse representation
Zebhi et al. Image fusion using PCA in CS domain
CN116228616A (zh) 基于边界约束的可解释压缩感知图像重建方法
Manimala et al. Sparse recovery algorithms based on dictionary learning for MR image reconstruction
Yang et al. Median filter based compressed sensing model with application to MR image reconstruction
Tran et al. Local sensing with global recovery
CN103839235B (zh) 基于非局部方向修正的全局条带波变换域去噪方法
Wang et al. Selection order framework algorithm for compressed sensing
Tamilmathi et al. Deep Learned Quantization-Based Codec for 3D Airborne LiDAR Point Cloud Images
Wang et al. Iterative forward-backward pursuit algorithm for compressed sensing
Cheng et al. Compressive sensing multi-focus image fusion
Ji et al. Edge detection of ghost imaging based on frequency domain filtering
Sale et al. Wavelet Based selection for fusion of Medical images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20130619

Assignee: Jiangsu Nanyou IOT Technology Park Ltd.

Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS

Contract record no.: 2016320000212

Denomination of invention: Method and device for multi-focus image fusion based on compressed sensing

Granted publication date: 20160921

License type: Common License

Record date: 20161118

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Jiangsu Nanyou IOT Technology Park Ltd.

Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS

Contract record no.: 2016320000212

Date of cancellation: 20180116

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160921