CN109859153B - 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法 - Google Patents

一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法 Download PDF

Info

Publication number
CN109859153B
CN109859153B CN201910049204.7A CN201910049204A CN109859153B CN 109859153 B CN109859153 B CN 109859153B CN 201910049204 A CN201910049204 A CN 201910049204A CN 109859153 B CN109859153 B CN 109859153B
Authority
CN
China
Prior art keywords
image
multispectral
fused
gradient
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910049204.7A
Other languages
English (en)
Other versions
CN109859153A (zh
Inventor
田昕
张蒙亮
李松
王玥
马跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910049204.7A priority Critical patent/CN109859153B/zh
Publication of CN109859153A publication Critical patent/CN109859153A/zh
Application granted granted Critical
Publication of CN109859153B publication Critical patent/CN109859153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自适应光谱‑空间梯度稀疏正则化的多光谱遥感图像与全色图像的融合方法,包括如下步骤:步骤1:获得同一时间同一地理区域已配准的多光谱图像和全色图像;步骤2:基于步骤1的结果,对融合图像进行下采样,获得融合图像和多光谱图像的l2范数;步骤3:计算融合图像和复制的全色图像的差值图像在空间和光谱方向上的梯度和权重矩阵,从而获得融合图像和全色图像的l1范数;步骤4:基于步骤2和步骤3,获得融合图像与多光谱图像,全色图像的能量函数,并迭代求解获得融合图像。本发明主要针对多光谱遥感图像与全色图像融合的应用需求,考虑到多光谱图像的光谱一致特性和空间梯度稀疏特性。

Description

一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融 合方法
技术领域
本发明属于图像融合技术领域,涉及一种全变分正则化图像融合方法,具体涉及一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法,适用于多光谱遥感图像与全色图像的融合。
背景技术
多光谱遥感图像的影像数据含有多个波段的光谱图像,不同光谱的组合可以轻易地发现从全色图像中观察不到的信息,广泛应用于环境监测,精准农业,矿产勘探等领域。一般来说,多光谱图像的光谱分辨率较高,空间分辨率较低,而全色图像的光谱分辨率较低,空间分辨率较高。显然,只使用多光谱图像获得的空间信息较少。通过图像融合的方法,融合图像可以同时保持较高的光谱分辨率和空间分辨率,为环境监测,精准农业等提供更精确的信息。
常用的多光谱遥感图像融合方法有的是基于成分替换的思路,即使用矩阵变换,把多光谱图像投影到一个新的空间,投影变化可以从不同的光谱带图像中提取空间结构,然后用全色图像替换多光谱图像的结构成分信息,最后逆变换得到融合图像,典型的方法有Intensity-Hue-Saturation(IHS),Principal Component Ananlysis(PCA)和Wavelet;这几种方法可以提供较好的视觉效果,但是它们都会造成一定程度的光谱畸变。基于滤波器的融合方法是用滤波器提取全色图像的高频分量,即空间信息的细节部分,然后将高频分量加入到多光谱图像中形成融合图像,例如HPF,Laplacian Pyramid(LP),
Figure GDA0002579463880000011
trous-wavelet transform based pansharpening(AWLP)。这些方法可以较好地保存光谱信息和空间信息,但会存在一些噪声,伪影或模糊。还有一些是基于变分的方法,即基于某种弱假设构造一个能量函数,然后对能量函数进行优化,例如P+XS方法。这种方法较好地表达了融合图像与多光谱图像,全色图像的关系,但没有考虑到多光谱图像光谱之间的关系。
同一地区对相邻光谱的响应程度是相似的,所以在同一地区,相邻光谱有较小的梯度变化,我们称之为“光谱一致性”,我们提出的方法考虑到这种光谱一致性,使得融合图像的光谱之间的梯度也满足这一性质。
发明内容
本发明针对现有技术的不足,提供一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法。
本发明所采用的技术方案是:一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法,其特征在于考虑到多光谱图像在空间和光谱方向的梯度稀疏性,引入自适应权重矩阵来突出融合图像的边缘信息同时平滑噪声。该方法包括以下步骤:
步骤1:获得同一时间同一地理区域已配准的多光谱图像M和全色图像P。本步骤在于获得同一时间同一地理区域已配准的多光谱图像和全色图像,并对下面的步骤用到的符号做出规定。我们定义多光谱图像为
Figure GDA0002579463880000021
全色图像为P∈Rm×n,融合图像为
Figure GDA0002579463880000022
其中m,n表示图像的行数和列数,b表示图像的光谱数,c表示全色图像与多光谱图像的分辨率之比。
步骤2:基于步骤1的结果,获得融合图像F与多光谱图像M的l2范数。
步骤3:计算融合图像和复制的全色图像的差值图像在空间和光谱方向上的梯度和权重矩阵,从而获得融合图像F与全色图像P的l1范数。
步骤4:基于步骤2和步骤3,获得融合图像F与多光谱图像M,全色图像P的能量函数,并迭代求解获得融合图像F。
作为优选,步骤2的具体实现包括以下子步骤:
步骤2.1:假设融合图像的下采样图像的光谱信息与多光谱图像相似。故对融合图像F进行下采样操作,下采样操作符为ψ,使下采样的融合图像与多光谱图像M有相同的大小。
步骤2.2:获得融合图像的下采样图像与多光谱图像的l2范数。则融合图像与多光谱图像的l2范数如下所示:
Figure GDA0002579463880000023
作为优选,步骤3的具体实现包括以下子步骤:
步骤3.1:获得复制的全色图像
Figure GDA0002579463880000024
即对全色图像进行复制,并在光谱方向上进行拼接,使复制的全色图像
Figure GDA0002579463880000031
和融合图像F谱段数相同。
步骤3.2:获得融合图像F与复制后的全色图像
Figure GDA0002579463880000032
的差值图像X,其中
Figure GDA0002579463880000033
步骤3.3:对差值图像X求空间和光谱方向上的梯度。梯度信息多数存在于地物的边缘,所以梯度信息在多光谱图像中是稀疏的,对差值图像求水平和竖直方向上的梯度可以获得一个谱段的空间信息的分布情况。另外,相邻谱段之间同一地区也有一个梯度,即光谱间的梯度信息,同一地区对谱段相邻的光谱的响应程度是相似的,所以在同一地区,相邻光谱有较小的梯度变化,这是很少考虑到的。故本步骤对差值图像求空间和光谱方向上的梯度可得:
Figure GDA0002579463880000034
其中
Figure GDA0002579463880000035
分别表示对差值图像求其水平方向,竖直方向和光谱方向上的梯度。βq=1,2,3分别是赋予水平方向,竖直方向和光谱方向上梯度的系数,当βq=1=0时表示水平方向上梯度系数为0,即不考虑水平方向上的梯度,i,j,d分别代表F在水平、垂直和光谱方向的坐标。
步骤3.4:基于步骤3.3的结果,获得自适应权重矩阵W。差值图像X表示融合图像F与复制的全色图像
Figure GDA0002579463880000036
的差值。差值越大,说明融合图像和全色图像在该像素的灰度值的差别越大;差值变化越剧烈,说明融合图像的梯度变化与全色图像的梯度变化越不相似。为了使融合图像的梯度信息与全色图像的梯度信息尽可能一致,我们对不同谱段,不同区域赋予不同的权重,得到一个自适应矩阵。该矩阵对差值较小的区域赋予较大的权重,对差值较大的区域赋予较小的权重,从而使融合图像的梯度信息与全色图像的梯度信息尽可能保持一致。
令Zi,j表示所有像素在空间和光谱方向上的梯度的平方根,即:
Figure GDA0002579463880000037
则自适应权重矩阵Wi,j定义如下:
Figure GDA0002579463880000041
Figure GDA0002579463880000042
Figure GDA0002579463880000043
μ是一个常数,取值范围为[0,1],
Figure GDA0002579463880000044
是τi,j的均值,Wi,j表示τi,j
Figure GDA0002579463880000045
的比值。Wi,j在梯度不同的谱段和区域有不同的权重,当梯度较大时,Wi,j较小,反之权重较大,这样使得融合图像既能保持边缘信息的清晰,同时也能使内部区域保持平滑。
步骤3.5:基于步骤3.4的结果,获得融合图像F与全色图像P的l1范数。融合图像F与全色图像P的l1范数如下:
Figure GDA0002579463880000046
作为优选,步骤4的具体实现包括以下子步骤:
步骤4.1:基于步骤2和步骤3,获得融合过程的能量函数E。融合问题转化成求能量函数最小值的问题,即:
E(F)=E1+λE'2 (8)
其中,λ为正则化参数,为一常数;
根据(1)和(7),上述方程的具体形式为:
Figure GDA0002579463880000047
方程(9)的第一项使得融合图像与多光谱图像有相似的光谱信息,第二项在梯度不同的区域赋予其不同的权重,使得融合图像与扩展的全色图像有相似的梯度信息。
步骤4.2:根据可分离估计稀疏重建算法,更新Zt。在方程(9)中,两个优化项都是凸函数。根据可分离估计稀疏重建算法(Sparse Reconstruction Algorithm bySeparable Approximation)。上述的方程可以转化为:
Figure GDA0002579463880000051
其中
Figure GDA0002579463880000052
α代表一个变量参数,t代表迭代次数,αt代表第t次迭代时α的值;为了求解方程(10),我们使用扩展的拉格朗日方法来求解。我们引入矩阵
Figure GDA0002579463880000053
为了描述方便,我们将其中的部分矩阵改换为了列向量形式,大写字母代表矩阵,小写字母代表矩阵对应的列向量(将矩阵的每一列首尾相连形成一个列向量)。则方程(10)的拉格朗日形式如下:
Figure GDA0002579463880000054
<>表示向量或者矩阵的内积,R=[r1,r2,r3]表示拉格朗日乘子矩阵。
步骤4.3:根据交替迭代算法,更新Fv。使用交替方向迭代法,方程(12)可以转化为下列形式:
Figure GDA0002579463880000055
Figure GDA0002579463880000056
Figure GDA0002579463880000057
ρ为一常数,v代表内层的迭代次数(本发明中有两层循环,内层是嵌套在外层循环里面),其中vec把矩阵转换成相应的行向量,例如F∈Rm×n×b表示为f∈Rmnb×1
Figure GDA0002579463880000058
根据交替迭代算法,更新Fv
Figure GDA0002579463880000061
这里I表示单位矩阵,D表示梯度运算对应的变换矩阵。因此:
Figure GDA0002579463880000062
(I+ρDTD)*表示I+ρDTD的逆变换。
步骤4.4:根据迭代收缩算法,更新Lv。(14)可以表示为:
Figure GDA0002579463880000063
其中
Figure GDA0002579463880000064
代表rq(q=1,2,3)在第v次迭代时的结果。
步骤4.5:根据扩展的拉格朗日方法,更新Rv。R的更新方式为:
Figure GDA0002579463880000065
步骤4.6:根据Barzilai-Borwein方法更新αt+1=ηαt,η为常数,循环步骤4.2至步骤4.5,输出融合图像F。
本发明主要针对多光谱遥感图像与全色图像融合的应用需求,考虑到多光谱图像的光谱一致特性和空间梯度稀疏特性,引入了自适应光谱-空间梯度稀疏正则化的概念,通过计算光谱-空间方向上的梯度信息,并赋予其自适应矩阵,建立一种多光谱遥感图像与全色图像的融合方法。
本发明引入全变分正则化思想,一方面假设融合图像的下采样图像的光谱信息与多光谱图像相似,从而构造能量函数的保真项;另一方面利用融合图像在光谱和空间方向上梯度稀疏性构造能量函数的正则项,引入自适应权重矩阵来突出融合图像的边缘信息同时平滑噪声。
附图说明
图1:是本发明实施例的能量函数构造流程图。
图2:是本发明实施例的多光谱图像。
图3:是本发明实施例的全色图像。
图4:是本发明实施例的参考图像。
图5:使用本发明方法获得的融合图像。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施实例仅用于说明和解释本发明,并不用于限定本发明。
如图1所示,本发明提供的一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法,包括如下步骤:
步骤1,获得同一时间同一地理区域已配准的多光谱图像M和全色图像P,设多光谱图像为
Figure GDA0002579463880000071
全色图像为P∈Rm×n,融合图像为
Figure GDA0002579463880000072
其中m,n表示图像的行数和列数,b表示图像的光谱数,c表示全色图像与多光谱图像的分辨率之比;
步骤2,基于步骤1的结果,获得融合图像F与多光谱图像M的l2范数,具体实现包括以下子步骤,
步骤2.1,假设融合图像的下采样图像的光谱信息与多光谱图像相似,故对融合图像F进行下采样操作,下采样操作符为ψ,使下采样的融合图像与多光谱图像M有相同的大小;
步骤2.2,获得融合图像的下采样图像与多光谱图像的l2范数,则融合图像与多光谱图像的l2范数如下所示:
Figure GDA0002579463880000073
步骤3,计算融合图像和复制的全色图像的差值图像在空间和光谱方向上的梯度和权重矩阵,从而获得融合图像F与全色图像P的l1范数;具体实现包括以下子步骤,
步骤3.1,获得复制的全色图像
Figure GDA0002579463880000074
即对全色图像进行复制,并在光谱方向上进行拼接,使复制的全色图像
Figure GDA0002579463880000075
和融合图像F谱段数相同;
步骤3.2,获得融合图像F与复制后的全色图像
Figure GDA0002579463880000081
的差值图像X,其中
Figure GDA0002579463880000082
步骤3.3,对差值图像X求空间和光谱方向上的梯度,
Figure GDA0002579463880000083
其中
Figure GDA0002579463880000084
分别表示对差值图像求其水平方向,竖直方向和光谱方向上的梯度,βq=1,2,3分别是赋予水平方向,竖直方向和光谱方向上梯度的系数,当βq=1=0时表示水平方向上梯度系数为0,即不考虑水平方向上的梯度,i,j,d分别代表F在水平、垂直和光谱方向的坐标;
步骤3.4,基于步骤3.3的结果,获得自适应权重矩阵W,该矩阵对差值较小的区域赋予较大的权重,对差值较大的区域赋予较小的权重,使融合图像的梯度信息与全色图像的梯度信息尽可能保持一致;
令Zi,j表示所有像素在空间和光谱方向上的梯度的平方根,即:
Figure GDA0002579463880000085
则自适应权重矩阵Wi,j定义如下:
Figure GDA0002579463880000086
Figure GDA0002579463880000087
Figure GDA0002579463880000088
μ是一个常数,取值范围为[0,1],
Figure GDA0002579463880000089
是τi,j的均值,Wi,j表示τi,j
Figure GDA00025794638800000810
的比值;Wi,j在梯度不同的谱段和区域有不同的权重;
步骤3.5,基于步骤3.4的结果,获得融合图像F与全色图像P的l1范数,融合图像F与全色图像P的l1范数如下:
Figure GDA0002579463880000091
步骤4,基于步骤2和步骤3,获得融合图像F与多光谱图像M,全色图像P的能量函数,并迭代求解获得融合图像F,具体实现包括以下子步骤,
步骤4.1,基于步骤2和步骤3,获得融合过程的能量函数E,融合问题转化成求能量函数最小值的问题,即:
E(F)=E1+λE'2 (8)
其中,λ为正则化参数,为一常数。
根据(1)和(7),上述方程的具体形式为:
Figure GDA0002579463880000092
方程(9)的第一项使得融合图像与多光谱图像有相似的光谱信息,第二项在梯度不同的区域赋予其不同的权重,使得融合图像与扩展的全色图像有相似的梯度信息;
步骤4.2,根据可分离估计稀疏重建算法,更新Zt;在方程(9)中,两个优化项都是凸函数,根据可分离估计稀疏重建算法,上述的方程转化为:
Figure GDA0002579463880000093
其中
Figure GDA0002579463880000094
α代表一个变量参数,t代表迭代次数,c代表第t次迭代时α的值;为了求解方程(10),使用扩展的拉格朗日方法来求解,引入矩阵
Figure GDA0002579463880000095
为了描述方便,将其中的部分矩阵改换为了列向量形式,大写字母代表矩阵,小写字母代表矩阵对应的列向量,则方程(10)的拉格朗日形式如下:
Figure GDA0002579463880000096
<>表示向量或者矩阵的内积,R=[r1,r2,r3]表示拉格朗日乘子矩阵;
步骤4.3,根据交替迭代算法,更新Fv,使用交替方向迭代法,方程(12)可以转化为下列形式:
Figure GDA0002579463880000101
Figure GDA0002579463880000102
Figure GDA0002579463880000103
ρ为一常数,v代表内层的迭代次数,根据交替迭代算法,更新Fv
Figure GDA0002579463880000104
这里I表示单位矩阵,D表示梯度运算对应的变换矩阵;因此:
Figure GDA0002579463880000105
(I+ρDTD)*表示I+ρDTD的逆变换;
步骤4.4,根据迭代收缩算法,更新Lv,(14)可以表示为:
Figure GDA0002579463880000106
其中
Figure GDA0002579463880000107
代表rq(q=1,2,3)在第v次迭代时的结果;
步骤4.5,根据扩展的拉格朗日方法,更新Rv,R的更新方式为:
Figure GDA0002579463880000108
步骤4.6,根据Barzilai-Borwein方法更新αt+1=ηαt,η为常数,循环步骤4.2至步骤4.5,输出融合图像F。
下面以一个实施例对本发明方法的具体实施进行说明。
请见图2,图3,图2是多光谱图像,分辨率为400*400*3,图3是全色图像,分辨率为800*800,为了便于对融合结果进行评价,我们采用一种常见的策略,即把原始多光谱图像和全色图像进行下采样,得到的新的多光谱图像和全色图像用于融合,而原始多光谱图像用作参考图像。则多光谱图像分辨率为200*200*3,全色图像分辨率为400*400*3,参考图像的分辨率为400*400*3。如图1所述,本实施例提供一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法,包括以下步骤:
步骤1:获得同一时间同一地理区域已配准的多光谱图像和全色图像。
本步骤在于获得同一时间同一地理区域已配准的多光谱图像和全色图像,并对下面的步骤用到的符号做出规定。我们假设已经获得同一时间同一地理区域已配准的多光谱图像和全色图像。定义多光谱图像为
Figure GDA0002579463880000111
全色图像为P∈Rm×n,融合图像为F=[F1,...,Fb]∈Rm×n×b,其中m,n表示图像的行数和列数,b表示图像的光谱数,c表示全色图像与多光谱图像的分辨率之比。在此例中多光谱图像分辨率为200*200*3,全色图像分辨率为400*400*3,参考图像分辨率为400*400*3,故m=400,n=400,b=3,c=2。
步骤2:基于步骤1的结果,获得融合图像与多光谱图像的l2范数。
本步骤进一步包含以下子步骤:
步骤2.1:对融合图像F进行下采样操作,下采样操作符为ψ,使下采样的融合图像与多光谱图像M有相同的大小。
步骤2.2:本步骤使融合图像与多光谱图像保持相似的光谱信息。由于融合图像的分辨率为400*400*3,多光谱图像的分辨率为200*200*3,我们可以假设下采样后的融合图像和多光谱图像具有相似的光谱信息,从而得到式(1)。
步骤3:计算融合图像与全色图像的l1范数。
本步骤进一步包括以下子步骤:
步骤3.1:由于融合图像的分辨率为400*400*3,全色图像的分辨率为400*400,我们对全色图像进行复制,使得全色图像的分辨率也为400*400*3,得到复制的全色图像
Figure GDA0002579463880000112
步骤3.2:获得融合图像F与复制的全色图像
Figure GDA0002579463880000113
的差值图像X,其中
Figure GDA0002579463880000114
该差值图像的分辨率也是400*400*3。
步骤3.3:对差值图像X求空间和光谱方向上的梯度。默认βq=1,2,3=1,即表示水平方向,竖直方向和光谱方向上梯度系数均为1。
步骤3.4:基于步骤3.3的结果,获得自适应矩阵Wi,j
步骤3.5:基于步骤3.4的结果,获得融合图像F与全色图像P的l1范数,得到式(7)。
步骤4:基于步骤2和步骤3,获得融合图像与多光谱图像,全色图像的能量函数E,并迭代求解获得融合图像。本步骤中,α0=0.4,η=1.1,循环次数为50次。F的初始值为M上采样得到。
本步骤进一步包含以下子步骤:
步骤4.1:基于步骤2和步骤3,获得融合过程的能量函数E。
步骤4.2:在方程(9)中,两个优化项都是凸函数。根据可分离估计稀疏重建算法(Sparse Reconstruction Algorithm by Separable Approximation)。上述的方程可以转化为(10),(11)。
为了求解方程(10),我们使用扩展的拉格朗日方法来求解。我们引入矩阵
Figure GDA0002579463880000121
则方程(10)的拉格朗日形式转化为(12)。使用交替方向迭代法,方程(12)可以转化为(13),(14)。
上述方程的求解可以转化为下面三个步骤:
步骤4.3:根据交替迭代算法,更新Fv
步骤4.4:根据迭代收缩算法,更新Lv
步骤4.5:根据扩展的拉格朗日方法,更新Rv
步骤4.6:根据Barzilai-Borwein方法更新αt+1=ηαt,循环步骤4.2至步骤4.5,输出融合图像F。
步骤5:基于上述操作得到融合图像F,为了对融合图像进行定量地评价,引入一些评价指标,包括均方根误差(RMSE),相关系数(CC),全局相对光谱误差(ERGAS),光谱角映射(SAM),通用图像质量指数(UIQI)。
其中表1是本发明实施例的算法求解流程;为了和其他方法进行比较,我们也使用IHS,PCA,Wavelet等方法和我们的方法进行比较,得出的结果如表2:
表1
Figure GDA0002579463880000131
表2不同融合方法的定量分析
Figure GDA0002579463880000132
Figure GDA0002579463880000141
可以看到,我们提出的方法由于考虑到光谱方向上的梯度变化,并且给予不同区域相应的权重,得到的融合图像的各项指标均最接近理想值。
本发明引入自适应光谱-空间梯度稀疏正则化思想,多光谱图像融合是把光谱信息和空间信息融合到同一张图像的过程。本发明一方面假设融合图像的下采样图像的光谱信息与多光谱图像相似,从而构造能量函数的保真项;另一方面利用融合图像在光谱和空间方向上梯度稀疏性构造能量函数的正则项,引入权重矩阵来突出融合图像的边缘信息同时平滑噪声。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (2)

1.一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法,其特征在于,包括如下步骤:
步骤1,获得同一时间同一地理区域已配准的多光谱图像M和全色图像P,设多光谱图像为
Figure FDA0002660793070000011
全色图像为P∈Rm×n,融合图像为
Figure FDA0002660793070000012
其中m,n表示图像的行数和列数,b表示图像的光谱数,c表示全色图像与多光谱图像的分辨率之比;
步骤2,基于步骤1的结果,获得融合图像F与多光谱图像M的l2范数;
步骤3,计算融合图像和复制的全色图像的差值图像在空间和光谱方向上的梯度和权重矩阵,从而获得融合图像F与全色图像P的l1范数;
步骤3的具体实现包括以下子步骤,
步骤3.1,获得复制的全色图像
Figure FDA0002660793070000013
即对全色图像进行复制,并在光谱方向上进行拼接,使复制的全色图像
Figure FDA0002660793070000014
和融合图像F谱段数相同;
步骤3.2,获得融合图像F与复制后的全色图像
Figure FDA0002660793070000015
的差值图像X,其中
Figure FDA0002660793070000016
步骤3.3,对差值图像X求空间和光谱方向上的梯度,
Figure FDA0002660793070000017
其中
Figure FDA0002660793070000018
分别表示对差值图像求其水平方向,竖直方向和光谱方向上的梯度,βq=1,2,3分别是赋予水平方向,竖直方向和光谱方向上梯度的系数,当βq=1=0时表示水平方向上梯度系数为0,即不考虑水平方向上的梯度,i,j,d分别代表F在水平、垂直和光谱方向的坐标;
步骤3.4,基于步骤3.3的结果,获得自适应权重矩阵W,该矩阵对差值较小的区域赋予较大的权重,对差值较大的区域赋予较小的权重,使融合图像的梯度信息与全色图像的梯度信息尽可能保持一致;
令Zi,j表示所有像素在空间和光谱方向上的梯度的平方根,即:
Figure FDA0002660793070000019
则自适应权重矩阵Wi,j定义如下:
Figure FDA0002660793070000021
Figure FDA0002660793070000022
Figure FDA0002660793070000023
μ是一个常数,取值范围为[0,1],
Figure FDA0002660793070000024
是τi,j的均值,Wi,j表示τi,j
Figure FDA0002660793070000025
的比值;Wi,j在梯度不同的谱段和区域有不同的权重;
步骤3.5,基于步骤3.4的结果,获得融合图像F与全色图像P的l1范数,融合图像F与全色图像P的l1范数如下:
Figure FDA0002660793070000026
步骤4,基于步骤2和步骤3,获得融合图像F与多光谱图像M,全色图像P的能量函数,并迭代求解获得融合图像F;具体实现包括以下子步骤,
步骤4.1,基于步骤2和步骤3,获得融合过程的能量函数E,融合问题转化成求能量函数最小值的问题,即:
E(F)=E1+λE'2 (8)
其中,λ为正则化参数,为一常数;
根据(1)和(7),方程(8)的具体形式为:
Figure FDA0002660793070000027
方程(9)的第一项使得融合图像与多光谱图像有相似的光谱信息,第二项在梯度不同的区域赋予其不同的权重,使得融合图像与扩展的全色图像有相似的梯度信息;
步骤4.2,根据可分离估计稀疏重建算法,更新Zt;在方程(9)中,两个优化项都是凸函数,根据可分离估计稀疏重建算法,方程(9)转化为:
Figure FDA0002660793070000028
其中
Figure FDA0002660793070000031
α代表一个变量参数,t代表迭代次数,αt代表第t次迭代时α的值;为了求解方程(10),使用扩展的拉格朗日方法来求解,引入矩阵
Figure FDA0002660793070000032
为了描述方便,将其中的部分矩阵改换为了列向量形式,大写字母代表矩阵,小写字母代表矩阵对应的列向量,则方程(10)的拉格朗日形式如下:
Figure FDA0002660793070000033
<>表示向量或者矩阵的内积,R=[r1,r2,r3]表示拉格朗日乘子矩阵;
步骤4.3,根据交替迭代算法,更新Fv,使用交替方向迭代法,方程(12)转化为下列形式:
Figure FDA0002660793070000034
Figure FDA0002660793070000035
Figure FDA0002660793070000036
ρ为一常数,v代表内层的迭代次数,根据交替迭代算法,更新Fv
Figure FDA0002660793070000037
这里I表示单位矩阵,D表示梯度运算对应的变换矩阵;因此:
Figure FDA0002660793070000038
(I+ρDTD)*表示I+ρDTD的逆变换;
步骤4.4,根据迭代收缩算法,更新Lv,方程(14)表示为:
Figure FDA0002660793070000039
其中
Figure FDA0002660793070000041
Figure FDA0002660793070000042
代表rq(q=1,2,3)在第v次迭代时的结果;
步骤4.5,根据扩展的拉格朗日方法,更新Rv,R的更新方式为:
Figure FDA0002660793070000043
步骤4.6,根据Barzilai-Borwein方法更新αt+1=ηαt,η为常数,循环步骤4.2至步骤4.5,输出融合图像F。
2.如权利要求1所述的一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法,其特征在于:步骤2的具体实现包括以下子步骤,
步骤2.1,假设融合图像的下采样图像的光谱信息与多光谱图像相似,故对融合图像F进行下采样操作,下采样操作符为ψ,使下采样的融合图像与多光谱图像M有相同的大小;
步骤2.2,获得融合图像的下采样图像与多光谱图像的l2范数,则融合图像与多光谱图像的l2范数如下所示:
Figure FDA0002660793070000044
CN201910049204.7A 2019-01-18 2019-01-18 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法 Active CN109859153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910049204.7A CN109859153B (zh) 2019-01-18 2019-01-18 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910049204.7A CN109859153B (zh) 2019-01-18 2019-01-18 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法

Publications (2)

Publication Number Publication Date
CN109859153A CN109859153A (zh) 2019-06-07
CN109859153B true CN109859153B (zh) 2020-10-30

Family

ID=66895238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910049204.7A Active CN109859153B (zh) 2019-01-18 2019-01-18 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法

Country Status (1)

Country Link
CN (1) CN109859153B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223049B (zh) * 2020-01-07 2021-10-22 武汉大学 一种基于结构-纹理分解的遥感图像变分融合方法
CN112183325B (zh) * 2020-09-27 2021-04-06 哈尔滨市科佳通用机电股份有限公司 基于图像对比的公路车辆检测方法
CN114119443B (zh) * 2021-11-28 2022-07-01 特斯联科技集团有限公司 一种基于多光谱相机的图像融合系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894365A (zh) * 2010-07-13 2010-11-24 武汉大学 一种自适应变分遥感影像融合方法
CN102842124A (zh) * 2012-07-16 2012-12-26 西安电子科技大学 基于矩阵低秩分解的多光谱图像与全色图像融合方法
CN103218796A (zh) * 2013-05-14 2013-07-24 中国科学院自动化研究所 一种全色—多光谱遥感图像融合方法
CN104867124A (zh) * 2015-06-02 2015-08-26 西安电子科技大学 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法
CN103208102B (zh) * 2013-03-29 2016-05-18 上海交通大学 一种基于稀疏表示的遥感图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894365A (zh) * 2010-07-13 2010-11-24 武汉大学 一种自适应变分遥感影像融合方法
CN102842124A (zh) * 2012-07-16 2012-12-26 西安电子科技大学 基于矩阵低秩分解的多光谱图像与全色图像融合方法
CN103208102B (zh) * 2013-03-29 2016-05-18 上海交通大学 一种基于稀疏表示的遥感图像融合方法
CN103218796A (zh) * 2013-05-14 2013-07-24 中国科学院自动化研究所 一种全色—多光谱遥感图像融合方法
CN104867124A (zh) * 2015-06-02 2015-08-26 西安电子科技大学 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Hyperspectral Image Denoising Employing a Spectral–Spatial Adaptive Total Variation Model;Qiangqiang Yuan et al.;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20121130;第50卷(第10期);全文 *
Infrared and visible image fusion via gradient transfer and total variation minimization;Jiayi Ma et al.;《Information Fusion》;20160209;全文 *
Locality Adaptive Discriminant Analysis for Spectral–Spatial Classification of Hyperspectral Images;Qi Wang et al.;《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20171231;第14卷(第11期);全文 *
SIRF: Simultaneous Satellite Image Registration and Fusion in a Unified Framework;Chen Chen et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20151130;第24卷(第11期);第4213-4224页 *

Also Published As

Publication number Publication date
CN109859153A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
JP6012408B2 (ja) 辞書を用いてパンクロマチック画像及びマルチスペクトル画像をパンシャープン化する方法
Irmak et al. A MAP-based approach for hyperspectral imagery super-resolution
CN109859153B (zh) 一种基于自适应光谱-空间梯度稀疏正则化的多光谱图像融合方法
US8699790B2 (en) Method for pan-sharpening panchromatic and multispectral images using wavelet dictionaries
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
Dijkstra et al. Hyperspectral demosaicking and crosstalk correction using deep learning
CN109447922B (zh) 一种改进的ihs变换遥感影像融合方法及系统
CN104867124B (zh) 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
Li et al. Hyperspectral pansharpening via improved PCA approach and optimal weighted fusion strategy
CN108288256B (zh) 一种多光谱马赛克图像复原方法
Dian et al. Hyperspectral image super-resolution via local low-rank and sparse representations
CN111223049B (zh) 一种基于结构-纹理分解的遥感图像变分融合方法
CN107016641B (zh) 一种基于改进比值变换的全色与高光谱图像融合方法
Amiri et al. A step by step recovery of spectral data from colorimetric information
CN115984155A (zh) 一种基于光谱解混的高光谱、多光谱和全色图像融合方法
CN115147321A (zh) 一种基于可解译神经网络的多光谱图像融合方法
CN113205453B (zh) 一种基于空间-光谱全变分正则化的高光谱融合方法
CN110163830B (zh) 基于Riesz-Lap变换及PCNN的图像融合方法
KR20210096925A (ko) 대용량 항공정사영상의 효율적인 색상보정 방법
CN115131258A (zh) 一种基于稀疏张量先验的高光谱、多光谱和全色图像融合方法
CN114638761B (zh) 一种高光谱图像全色锐化方法、设备及介质
CN110097501B (zh) 一种基于非局部均值梯度稀疏正则化的ndvi图像融合方法
Meenakshisundaram Quality assessment of IKONOS and Quickbird fused images for urban mapping
Aiazzi et al. Deployment of pansharpening for correction of local misalignments between MS and Pan

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant