CN117253125A - 一种空-谱互注图像融合方法、系统及可读存储介质 - Google Patents

一种空-谱互注图像融合方法、系统及可读存储介质 Download PDF

Info

Publication number
CN117253125A
CN117253125A CN202311284702.2A CN202311284702A CN117253125A CN 117253125 A CN117253125 A CN 117253125A CN 202311284702 A CN202311284702 A CN 202311284702A CN 117253125 A CN117253125 A CN 117253125A
Authority
CN
China
Prior art keywords
band
fusion
image
multispectral
wave band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311284702.2A
Other languages
English (en)
Other versions
CN117253125B (zh
Inventor
余顺超
刘超群
贾正雷
杨敏
王晓刚
高俊
刘淑冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pearl River Hydraulic Research Institute of PRWRC
Original Assignee
Pearl River Hydraulic Research Institute of PRWRC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pearl River Hydraulic Research Institute of PRWRC filed Critical Pearl River Hydraulic Research Institute of PRWRC
Priority to CN202311284702.2A priority Critical patent/CN117253125B/zh
Publication of CN117253125A publication Critical patent/CN117253125A/zh
Application granted granted Critical
Publication of CN117253125B publication Critical patent/CN117253125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种空‑谱互注图像融合方法、系统及可读存储介质。所述方法包括:输入遥感影像全色波段及多光谱波段;配准多光谱影像与全色影像,并对各影像波段重采样,用多光谱影像构建中介波段后封装融合对象,统计各参与融合影像波段的均值、均方差和相关系数矩阵;在全色波段和多光谱波段影像中分别选取融合目标波段和融合源波段,对多光谱影像各波段进行均值滤波图像的融合计算;再计算均值滤波图像融合成果的均值及均方差,按照多光谱影像的直方图对均值滤波融合成果进行直方图匹配,获得最终融合成果。本发明可有效提高全色波段与多光谱波段图像空‑谱融合的稳定性、适应性,高度保持多光谱影像丰富光谱信息及全色影像的精细空间信息。

Description

一种空-谱互注图像融合方法、系统及可读存储介质
技术领域
本发明涉及图像处理技术领域,更具体地,涉及一种空-谱互注图像融合方法、系统及可读存储介质。
背景技术
随着多平台、多传感器、多天候、多时相、多分辨率遥感技术的发展,可供各行各业利用的遥感影像种类日益丰富。这些丰富多彩的遥感影像既为遥感图像应用研究提供了灵活的对象选择空间,也为遥感图像的选取、综合、纠正、增强等图像应用前处理研究提出了挑战。
不同的遥感影像数据具有不同的空间分辨率、时间分辨率、光谱分辨率等影像基本特征,其在不同的应用领域具有不同的应用表现和应用潜力。传统的遥感图像处理侧重单一图种的色彩、纹理、层次等一般图像特征的增强;遥感影像融合处理侧重于将不同影像的基本特征综合在一幅新的遥感影像图上,充分挖掘其综合应用潜力,提高其应用表现。近二十多年来,作为遥感图像处理的新方向,遥感图像融合技术得到了长足的发展,取得了系列新成果。
例如经典的Gram-Schmidt融合方法通常需要将卫星影像高空间分辨率的全色波段与高光谱分辨率的多光谱波段进行融合增强处理,获得既具有高空间分辨率的地物纹理与细节信息,又保持地物丰富光谱和色彩信息的遥感影像。
经典的Gram-Schmidt融合方法是由美国学者Craig A Laben、Bernard V.Brower在2000年1月4号的美国发明专利(专利号:US6011875A)中提出的,并成为遥感软件ENVI中的一个功能模块。一般认为,Gram-Schmidt融合方法具有高保真特点,是高保真融合方法的一个代表(李存军等,两种高保真遥感影像融合方法比较,中国图像图形学报,2004年11月,第9卷第11期,p1376-1385;赵珍梅等,三种高保真遥感影像融合方法效果评价与分析,地质与勘探,2010年7月,第46卷第4期,p705-709;)。Gram-Schmidt变换的关键步骤如下:
设有多光谱数据低分辨率M1、M2、……、Mn,全色高分辨率数据P。
(1)使用多光谱低空间分辨率影像对高分辨波段影像进行模拟,模拟的高分辨率影像如下式:
I=ω1M12M2+…+ωnMn
其中,
ω12+…+ωn=1
ωi≥0(i=1,2,…,n)
(2)利用模拟的高分辨率波段影像作为Gram-Schmidt变换第1个分量来对模拟的高分辨波段影像和低分辨率波段影像进行Gram-Schmidt变换。
GS1(i,j)=I(i,j)-μI
μI、μT分别为I、MT(T=1,2,……,n)的均值。i,j为波段图像的行数与列数。Cov(MT,GSl)、Cov(GSl,GSl)分别为多光谱图像MT与GSl的协方差、GSl的方差。
(3)对上述变换进行逆变换。
(4)将高分辨率波段影像的直方图匹配到GS1,获得经过修改的高分辨率波段影像。如下:
(5)用匹配的P'替换逆变换中的GS1,获得空谱融合成果影像。如下:
自Gram-Schmidt融合方法问世以来,关于Gram-Schmidt方法的研究多用在与其它方法混合使用,以进一步提高融合效果和性能(张涛等,结合Gram-Schmidt变换的高光谱影像谐波分析融合算法,测绘学报,2015年9月,第44卷第9期,p1042-1047;刘川等,基于IHS变换的Gram-Schmidt改进融合算法研究,测绘工程,2018年11月,第27卷第11期,p9-14;Yingying Kong等,A Fusion Method of Optical Image and SAR Image Based onDense-UGAN and Gram–Schmidt Transformation,Remote Sens.2021,13,4274),也有极少数独立利用Gram-Schmidt变换的形成新的融合方法(于洋等,基于Gram-Schmidt变换的高光谱遥感图像改进融合方法,地理与地理信息科学,2007年9月第23卷第5期,p39-42;),主要是采用光谱重采样方法模拟产生Gram Schmidt变换的第一分量。
多光谱遥感影像的光谱信息丰富,水体、植被、建筑物、裸露岩石、裸露土壤等地物的色彩信息十分丰富,不同地物的光谱信息及色彩显示差异明显,但多光谱影像的空间分辨率较低,地物纹理及细节信息缺乏,导致遥感分析时对地物类型及位置识别不准确,影响了多光谱影像的应用效果。
发明内容
鉴于上述问题,本发明的目的是提供一种空-谱互注图像融合方法、系统及可读存储介质。
本发明第一方面提供了一种空-谱互注图像融合方法,所述方法包括以下步骤:
输入遥感影像全色波段P及多光谱波段Mi
将全色波段P与多光谱波段Mi进行空间配准,使全色波段P与多光谱波段Mi影像中同一地物的几何空间位置一致;
利用多光谱波段Mi构建中介波段I,将全色波段P、中介波段I和多光谱波段Mi按高空间分辨率影像重采样,并将全色波段P、中介波段I和多光谱波段Mi合成一个影像文件;
计算全色波段P、中介波段I和多光谱波段M的均值μ、均方差σ和相关系数r矩阵;
在全色波段P和多光谱波段Mi中选取融合目标波段和融合源波段,以中介波段I为中介进行均值滤波图像融合,并进行均值滤波图像融合成果的计算;
计算均值滤波图像融合成果的均值与均方差,按照多光谱波段的直方图对均值滤波图像融合成果进行直方图匹配,得到空-谱互注融合成果;合成并存储空-谱融合影像成果。
优选地,所述中介波段I为低分辨率多光谱波段Mi的线性组合:
I=ω1M12M2+...+ωnMn
其中,ω12+...+ωn=1,ωi≥0(i=1,2,...,n);n为低分辨率多光谱波段的数量。
特别地,所述中介波段可以为所有低分辨率多光谱波段的平均强度。
优选地,所述均值滤波图像融合包括将多光谱波段信息注入全色波段的融合方案和将全色波段信息注入多光谱波段的融合方案。
优选地,所述均值滤波图像融合成果的计算具体为:
其中,f为均值滤波图像融合成果,T为融合目标波段,S为融合源波段,T'为融合目标波段的均值滤波图像,S'为融合源波段的均值滤波图像,I'为中介波段的均值滤波图像,r(T,I)表示融合目标波段与中介波段之间的相关系数,r(T,S)表示融合目标波段与融合源波段之间的相关系数,r(S,I)表示融合源波段与中介波段之间的相关系数,σT为融合目标波段的均方差,σS为融合源波段的均方差,σI为中介波段的均方差。
优选地,T'=T-μT,S'=S-μS,I'=I-μI
其中,μT为融合目标波段T的均值,μS为融合源波段S的均值,μI为中介波段I的均值。
优选地,所述均值滤波图像融合成果的均值的计算公式为:
其中,μf为均值滤波图像融合成果的均值,C为均值滤波图像融合成果像素矩阵的总行数,R为均值滤波图像融合成果像素矩阵的总列数,f(p,q)为均值滤波图像融合成果第p行第q列像素点值。因各融合因子均值都为0,因而均值滤波图像融合成果的均值μf≈0。
优选地,所述均值滤波图像融合成果的均方差的计算公式为:
其中,σf为均值滤波图像融合成果的均方差。
优选地,所述空-谱互注融合成果为:
其中,Mf为空-谱互注融合后的多光谱波段,σM为多光谱波段M的均方差,σf为均值滤波图像融合成果的均方差,μM为对应多光谱波段的均值。
本发明第二方面提供了一种空-谱互注图像融合系统,包括存储器和处理器,所述存储器中包括空-谱互注图像融合方法程序,所述空-谱互注图像融合方法程序被所述处理器执行时实现一种空-谱互注图像融合方法的步骤。
本发明第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质中包括空-谱互注图像融合方法程序,所述空-谱互注图像融合方法程序被处理器执行时,实现一种空-谱互注图像融合方法的步骤。
与现有技术相比,本发明技术方案的有益效果是:本发明所述方法将高空间分辨率全色波段的空间信息与多光谱波段的丰富光谱信息有机融合,融合后多光谱影像的空间分辨率得到了极大提升,空间信息得到了极大丰富,影像上地物的几何纹理、空间细节、边缘的清晰度和层次性得到全面提升,同时,能够高度保持原始多光谱影像的丰富地物光谱特征与色彩显示的真实性和稳定性,大幅提升了遥感影像信息丰富程度和影像整体质量。
附图说明
图1为实施例1所述一种空-谱互注图像融合方法的流程图。
图2为全色波段(P)影像图(2米分辨率)。
图3为多光谱蓝波段(B)影像图(8米分辨率)。
图4为多光谱绿波段(G)影像图(8米分辨率)。
图5为多光谱红波段(R)影像图(8米分辨率)。
图6为多光谱近红外波段(N)影像图(8米分辨率)。
图7多光谱影像RGB真彩色合成图(8米分辨率)(按照envi缺省设置1%拉伸的效果图)。
图8为多光谱影像NRG标准假彩色影像图(8米分辨率)(按照envi缺省设置1%拉伸的效果图)。
图9为中介波段I影像图(8米分辨率)。
图10为多光谱波段信息注入全色波段融合后的蓝波段(B’)影像图(2米分辨率)。
图11为多光谱波段信息注入全色波段融合后的绿波段(G’)影像图(2米分辨率)。
图12为多光谱波段信息注入全色波段融合后的红波段(R’)影像图(2米分辨率)。
图13为多光谱波段信息注入全色波段融合后的近红外(N’)影像图(2米分辨率)。
图14为多光谱波段信息注入全色波段融合后的多光谱R’G’B’波段真彩色合成图(2米分辨率)。
图15为多光谱波段信息注入全色波段融合后的多光谱N’R’G’波段标准假彩色合成图(2米分辨率)。
图16为全色波段信息注入多光谱波段的空-谱互注图像融合后的蓝波段(B’)影像图(2米分辨率)。
图17为全色波段信息注入多光谱波段的空-谱互注图像融合后的绿波段(G’)影像图(2米分辨率)。
图18为全色波段信息注入多光谱波段的空-谱互注图像融合后的红波段(R’)影像图(2米分辨率)。
图19为全色波段信息注入多光谱波段的空-谱互注图像融合后的近红外(N’)影像图(2米分辨率)。
图20为全色波段信息注入多光谱波段的空-谱互注图像融合后的多光谱R’G’B’波段真彩色合成图(2米分辨率)。
图21为全色波段信息注入多光谱波段的空-谱互注图像融合后的多光谱N’R’G’波段标准假彩色合成图(2米分辨率)。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
如图1所示,本实施例公开了一种空-谱互注图像融合方法,所述方法包括以下步骤:
S1:输入遥感影像全色波段P及多光谱波段Mi(近红外N、红R、绿G、蓝B等),本发明不限制多光谱波段的数量。
S2:将全色波段P与多光谱波段Mi进行空间配准,使全色波段P与多光谱波段Mi中同一地物的几何空间位置一致;
S3:利用多光谱波段Mi构建中介波段I,将全色波段P、中介波段I和多光谱波段Mi按高空间分辨率影像重采样,并将全色波段P、中介波段I和多光谱波段Mi合成一个影像文件;
S4:计算全色波段P、中介波段I和多光谱波段M的均值μ、均方差σ以及协方差Cov矩阵和相关系数r矩阵;
S5:在全色波段P和多光谱波段Mi中选取融合目标波段和融合源波段,以中介波段I为中介进行均值滤波图像融合,并进行均值滤波图像融合成果的计算;
S6:计算均值滤波图像融合成果的均值与均方差,按照多光谱波段的直方图对均值滤波图像融合成果进行直方图匹配,得到空-谱互注融合成果;
S7:合成并存储空-谱融合影像成果。
根据本发明实施例,所述中介波段I为低分辨率多光谱波段Mi的线性组合。
需要说明的是,对于低分辨率多光谱波段M1、M2、……、Mn和高分辨率全色波段P。设二者融合的中介波段I为M1、M2、……、Mn的线性组合,即:
I=ω1M12M2+...+ωnMn
其中,
ω12+...+ωn=1
ωi≥0(i=1,2,...,n)
特别地,中介波段可以为所有低分辨率多光谱波段的平均强度,如下式:
即:
其中,n为低分辨率多光谱波段的数量。
根据本发明实施例,所述均值滤波图像融合包括将多光谱波段信息注入全色波段的融合方案,以及将全色波段信息注入多光谱波段的融合方案。
根据本发明实施例,所述均值滤波图像融合成果的计算具体为:
其中,f为均值滤波图像融合成果,σf为均值滤波图像融合成果的均方差,T为融合目标波段,S为融合源波段,T′为融合目标波段的均值滤波图像,S′为融合源波段的均值滤波图像,I′为中介波段的均值滤波图像,r(T,I)表示融合目标波段与中介波段之间的相关系数,r(T,S)表示融合目标波段与融合源波段之间的相关系数,r(S,I)表示融合源波段与中介波段之间的相关系数,σT为融合目标波段的均方差,σS为融合源波段的均方差,σI为中介波段的均方差,σf为均值滤波图像融合成果的均方差。
根据本发明实施例,X′=X-μX
Y′=Y-μY
I′=I-μI
其中,μX为融合目标波段X的均值,μY为融合源波段Y的均值,μI为中介波段I的均值。
需要说明的是,在本实施例中一种空-谱互注图像融合包括将多光谱波段信息注入全色波段融合方案和将全色波段信息注入多光谱波段融合方案。
(1)若选取全色波段为融合目标波段,任一多光谱波段为融合源波段,则得到多光谱波段注入全色波段的均值滤波融合成果为:
(2)若选取任一多光谱波段为融合目标波段,全色波段为融合源波段,则得到全色波段注入多光谱波段的均值滤波融合成果为:
其中M′、P′、I′分别为多光谱波段、全色波段、中介波段的均值滤波图像,表达式如下:
M′=Mi′=Mii
P′=P-μP
I=I-μI
μM为任意一个多光谱波段的均值,表达式为:
μM=μMi
r(M,P)、r(M,I)、r(P,I)分别为多光谱波段与全色波段、多光谱波段与中介波段、全色波段与中介波段的相关系数,表达式为:
r(M,P)=r(Mi,P)
r(M,I)=r(Mi,I)
r(P,I)=r(P,I)
根据本发明实施例,所述空-谱互注融合成果为:
其中,C为均值滤波图像融合成果像素矩阵的总行数,R为均值滤波图像融合成果像素矩阵的总列数,f(p,q)为均值滤波图像融合成果第p行第q列像素点值,μf为均值滤波图像融合成果的平均值,理论上,均值滤波图像融合成果均值μf=0;Mf为空-谱互注融合后的多光谱波段,σM为多光谱波段M的均方差,σf为均值滤波图像融合成果的均方差,μM为任意一个多光谱波段的均值。
需要说明的是,本发明基于两波段Gram Schmidt变换的空-谱互注图像融合方法,主要依据以下原理:
(1)选取中介波段均值滤波图像和全色波段均值滤波图像共两个波段组成图像向量序列,将中介波段均值滤波图像作为Gram Schmidt变换的第一分量,求取Gram Schmidt变换的第二分量并对其进行逆变换,再利用匹配的多光谱波段均值滤波图像替换逆变换表达式中的GS变换的第一分量,建立图像融合成果、全色波段均值滤波图像和信息提取因子的关系表达式。
(2)为消除信息提取因子与全色波段均值滤波图像之间的信息冗余,令二者线性无关,从而获得多光谱波段注入全色波段的均值滤波图像空-谱互注图像融合公式。
(3)按照对应低分辨率多光谱波段的直方图,对各均值滤波图像的融合成果进行匹配,得到对应的高分辨率多光谱波段图像。
(4)根据线性融合的对称性,交换全色波段与多光谱波段的位置,得到全色波段信息注入多光谱波段的空-谱互注图像融合方案。
基于两波段Gram-Schmidt变换的空-谱互注图像融合方法具体算法如下:
(1)多光谱波段信息注入全色波段融合方案
式中,Mf为融合后的多光谱波段;μM、μP、μI分别为多光谱波段M、全色波段P、中介波段I的均值;σM、σP、σI分别为多光谱波段M、全色波段P、中介波段I的均方差;r(P,I)、r(P,M)、r(M,I)分别为P与I、P与M、M与I的相关系数,μM为多光谱波段的均值。
(2)全色波段信息注入多光谱波段融合方案
根据融合的定义,图像融合是相互的,具有互补特性和对称性。既可以将全色数据融入多光谱数据,也可以将多光谱数据融入全色数据。因此,根据线性融合的对称性,可实现将全色波段注入多光谱波段,得到融合方案如下:
本发明所述方法仅基于两个遥感图像波段进行GS变换,适用于对遥感图像高空间分辨率全色波段与高光谱分辨率多光谱波段进行空-谱互注融合,以增强多光谱影像的空间分辨率与几何纹理信息,在增强多光谱影像的空间分辨率与空间几何细节信息的同时,能够实现原多光谱影像和融合后多光谱影像的光谱特征和色彩信息的高度一致;本发明所述方法也适用于将某一多光谱波段(如近红外波段)注入其它多光谱波段(如红、绿、蓝波段)的谱间融合,以增强某一多光谱波段的信息特征。同经典的GS融合方法一样,本发明所述方法对参与融合的多光谱影像波段数量没有限制。
作为一个具体的实施例,本实施例结合具体实例进行详细说明:
为实现基于两波段GS变换的空-谱互注图像融合的目的,本实施例主要利用ENVI遥感图像处理软件来实现,以一幅具有全色波段(P)、蓝波段(B)、绿波段(G)、红波段(R)、近红外(N)的卫星遥感影像图为例进一步描述本发明方法。包括将多光谱波段信息注入全色波段的空-谱互注图像融合方案,以及将全色波段信息注入多光谱波段的空-谱互注图像融合方案。
(1)将多光谱波段信息注入全色波段的空-谱互注图像融合方案。
步骤1.输入遥感影像图。
打开一幅具有全色波段(P)、蓝波段(B)、绿波段(G)、红波段(R)、近红外(N)的国产GF6遥感影像(案例影像取自GF6_PMS_E112_8_N23_2_20210118_L1A1120072629)。图2为全色波段图(2米分辨率);图3为多光谱蓝波段图(8米分辨率);图4为多光谱绿波段图(8米分辨率);图5为多光谱红波段图(8米分辨率);图6为多光谱近红外波段图(8米分辨率);图7多光谱影像RGB真彩色合成图(8米分辨率);图8为多光谱影像NRG标准假彩色影像图(8米分辨率)(所有影像均为按照envi缺省设置1%拉伸的效果图)。
步骤2.在ENVI中利用4个多光谱波段影像来构建中介波段I,其波段运算表达式为I=(1.0*b1+b2+b3+b4)/4,其中b1、b2、b3、b4分别为蓝波段(B)、绿波段(G)、红波段(R)、近红外(N)。计算成果融合目标影像的中介波段I如图9所示。
步骤3.利用ENVI软件将全色波段P、中介波段I和多光谱波段B、G、R、N按高空间分辨率的融合源影像重采样,合成一个影像文件,然后计算各波段影像的均值μ、标准差σ等影像特征统计参数。各波段影像基本特征统计参数见表1。各波段影像相关系数如表2所示。
表1各波段影像基本特征统计参数表
影像波段 均值/μ 标准差/σ
全色波段P 939.023781 417.18821
中介波段I 1023.304574 418.674114
蓝波段B 829.566598 249.690351
绿波段G 922.839695 374.027315
红波段R 930.09925 509.989961
近红外N 1409.212089 647.255742
表2各波段影像相关系数表
步骤4.重构融合后的多光谱影像。
重构融合后的蓝波段(B’)影像,运算表达式为ceil((249.690351/(417.18821*SQRT(1+(0.954806*0.954806-2*0.880094*0.954806*0.944628+0.880094*0.944628))))*((b2-939.023781)+0.954806*(417.18821/249.690351*(b1-829.566598)-0.880094/0.954806*417.18821/418.674114*(b3-1023.304574)))+829.566598),其中b1为蓝波段(B),b2为全色波段P,b3为中介波段I,计算获得融合后的蓝波段(B’)影像(2米分辨率)见图10。
②重构融合后的绿波段(G’)影像,运算表达式为ceil((374.027315/(417.18821*SQRT(1+(0.954806*0.954806-2*0.899293*0.954806*0.958134+0.899293*0.958134))))*((b2-939.023781)+0.954806*(417.18821/374.027315*(b1-922.839695)-0.899293/0.954806*417.18821/418.674114*(b3-1023.304574)))+922.839695),其中b1为绿波段(G),b2为全色波段P,b3为中介波段I,计算获得融合后的绿波段(G’)影像(2米分辨率)见图11。
③重构融合后的红波段(R’)影像,运算表达式为ceil((509.989961/(417.18821*SQRT(1+(0.954806*0.954806-2*0.921517*0.954806*0.975014+0.921517*0.975014))))*((b2-939.023781)+0.954806*(417.18821/509.989961*(b1-930.09925)-0.921517/0.954806*417.18821/418.674114*(b3-1023.304574)))+930.09925),其中b1为红波段(R),b2为全色波段P,b3为中介波段I,计算获得融合后的红波段(R’)影像(2米分辨率)见图12。
④重构融合后的近红外(N’)影像,运算表达式为ceil((647.255742/(417.18821*SQRT(1+(0.954806*0.954806-2*0.885177*0.954806*0.90106+0.885177*0.90106))))*((b2-939.023781)+0.954806*(417.18821/647.255742*(b1-1409.212089)-0.885177/0.954806*417.18821/418.674114*(b3-1023.304574)))+1409.212089),其中b1为红波段(N),b2为全色波段P,b3为中介波段I,计算获得融合后的近红外(N’)影像(2米分辨率)见图13。
步骤5.合成重构的彩色影像图
将融合后的红波段(R’)、绿波段(G’)与蓝波段(B’)按照红、绿、蓝通道合成的真彩色影像如图14;将融合后的近红外波段(N’)、红波段(R’)与绿波段(G’)按照红、绿、蓝通道合成的标准假彩色影像如图15。
(2)将全色波段信息注入多光谱波段的空-谱互注图像融合方案。
步骤1.输入遥感影像图。
打开一幅具有全色波段(P)、蓝波段(B)、绿波段(G)、红波段(R)、近红外(N)的国产GF6遥感影像(案例影像取自GF6_PMS_E112_8_N23_2_20210118_L1A1120072629)。
步骤2.利用4个多光谱波段影像来构建中介波段I。
步骤3.利用ENVI软件将全色波段P、中介波段I和多光谱波段B、G、R、N按高空间分辨率的融合源影像重采样,合成一个影像文件,然后计算各波段影像的均值μ、标准差σ等影像特征统计参数。以上步骤1-3同将多光谱波段信息注入全色波段的空-谱互注图像融合方案的步骤1-3,在此不重复阐述。
步骤4.重构融合后的多光谱影像
重构融合后的蓝波段(B’)影像,运算表达式为ceil((249.690351/(249.690351*SQRT(1+(0.944628*0.944628-2*0.880094*0.944628*0.954806+0.880094*
0.880094))))*((b1-829.566598)+0.944628*(249.690351/417.18821*(b2-939.023781)-0.880094/0.944628*249.690351/418.674114*(b3-1023.304574)))+829.566598),其中b1为蓝波段(B),b2为全色波段P,b3为中介波段I,计算获得融合后的蓝波段(B’)影像(2米分辨率)见图16。
②重构融合后的绿波段(G’)影像,运算表达式为ceil((374.027315/(374.027315*SQRT(1+(0.958134*0.958134-2*0.899293*0.958134*0.954806+0.899293*
0.899293))))*((b1-922.839695)+0.958134*(374.027315/417.18821*(b2-939.023781)-0.899293/0.958134*374.027315/418.674114*(b3-1023.304574)))+922.839695),其中b1为绿波段(G),b2为全色波段P,b3为中介波段I,计算获得融合后的绿波段(G’)影像(2米分辨率)见图17。
③重构融合后的红波段(R’)影像,运算表达式为ceil((509.989961/(509.989961*SQRT(1+(0.975014*0.975014-2*0.921517*0.975014*0.954806+0.921517*
0.921517))))*((b1-930.09925)+0.975014*(509.989961/417.18821*(b2-939.023781)-0.921517/0.975014*509.989961/418.674114*(b3-1023.304574)))+930.09925),其中b1为红波段(R),b2为全色波段P,b3为中介波段I,计算获得融合后的红波段(R’)影像(2米分辨率)见图18。
④重构融合后的近红外(N’)影像,运算表达式为ceil((647.255742/(647.255742*SQRT(1+(0.90106*0.90106-2*0.885177*0.90106*0.954806+0.885177*
0.885177))))*((b1-1409.212089)+0.90106*(647.255742/417.18821*(b2-939.023781)-0.885177/0.90106*647.255742/418.674114*(b3-1023.304574)))+1409.212089),其中b1为红波段(N),b2为全色波段P,b3为中介波段I,计算获得融合后的近红外(N’)影像(2米分辨率)见图19。
步骤5.合成重构的彩色影像图
将融合后的红波段(R’)、绿波段(G’)与蓝波段(B’)按照红、绿、蓝通道合成的真彩色影像如图20;将融合后的近红外波段(N’)、红波段(R’)与绿波段(G’)按照红、绿、蓝通道合成的标准假彩色影像如图21。
本案例将GF6原始多光谱影像、本发明方法融合多光谱影像(MtoP方案)、本发明方法融合多光谱影像(PtoM方案)进行了波段数据统计分析,其影像波段统计特征参数对比见表3。由表中数据可见,对比原始多光谱影像,采用本发明方法融合后多光谱影像(MtoP方案)的空间分辨率从原来的8米提高到2米,空间精度大幅提升,地物空间纹理与几何细节信息明显增强;融合后影像同时兼具了原多光谱和全色影像信息,信息一致性指标为从0.948提升到0.957;其中,真彩色影像的梯度信息从107.034增强到310.204;标准假彩色影像的梯度信息从160.979增强到422.566,融合后多光谱波段在信息熵基本保持不变的情况下,影像梯度信息得到了大幅增强和提升,地物空间信息更加丰富,利于地物识别、解译、分析等各类影像应用的开展。由表中数据可见,与本发明方法的MtoP方案相比,采用本发明方法的PtoM方案融合后多光谱波段间的相关系数更低,信息冗余量更小,真彩色和标准假彩色组合图像的信息熵指标数据更高,梯度指标数据稍低,对地物丰富的光谱信息保持更好。
表3原始多光谱影像与本方法融合影像的波段统计特征参数对比表
本实施例主要针对具有全色波段和近红外、红、绿、蓝等多光谱波段的遥感影像,运用两波段GS变换方法,实现全色波段精细空间信息与多光谱波段丰富光谱信息的互注融合。首先,将全色波段与多光谱波段影像进行空间配准,使上述两种影像中同一地物的几何空间位置一致;然后,利用多光谱波段影像构建中介波段,将全色波段P、中介波段I和多光谱波段Mi按高空间分辨率影像重采样,将上述三种影像合成一个影像文件,计算参与融合影像各波段的均值μ、均方差σ及相关系数r矩阵;最后,按照融合方案选取全色波段、多光谱波段以及中介波段逐次进行空-谱互注图像融合,实现将多光谱波段丰富光谱信息注入全色波段,获得空-谱融合多光谱遥感影像成果。
本实施例所述方法适用于将多光谱波段与全色波段进行融合,具体地既可以将各多光谱波段依次注入全色波段,也可以将多光谱波段作为融合源,将全色波段依次注入各多光谱波段,从而实现基于两波段GS变换的空-谱互注图像融合,以增强多光谱影像中地物的空间几何、纹理、边缘、层次等信息,提升其影像清晰度和空间分辨率,同时,多光谱影像融合成果能够高度保持原多光谱影像各类地物光谱特征和色彩显示的稳定性。该技术方法理论基础扎实、物理意义明确,应用对象广泛,操作简便、运算效率高。融合后的影像色彩鲜明、信息丰富、光谱信息稳定、易于目视和自动分类,尤其在当前高分辨率卫星遥感快速发展背景下,对于推动国产高分辨率影像在国内外各行各业的推广应用具有巨大的促进作用。
具体而言,本实施例具有以下优点:
1.融合算法各参数物理意义明确,结构清晰,运算快捷。
该本实施例所述方法基于两个波段图像构建Gram Schmidt变换式,进而实现低分辨率多光谱波段和高分辨率全色波段的空-谱互注融合,既增强了多光谱遥感影像融合前后空间信息,又高度保持了融合前后多光谱信息的稳定真实。相比原影像,融合后影像中地物的几何细节、纹理、边缘、层次等空间信息得到极大丰富,并且与原多光谱影像相比,在融合后多光谱影像中,水体、植被、裸露地表、建筑物等地物的光谱特征和色彩显示保持稳定。该融合算法属线性融合模型,物理意义明确,表达式简洁明了,计算快捷高效。
2.本实施例所述方法既可以将多光谱波段丰富光谱信息注入全色波段,也可以将全色波段精细空间信息注入多光谱波段,丰富了空-谱融合的路径,开辟了空-谱互注融合的新方向。
本实施例所述方法为线性融合模型,与全色波段、多光谱波段的次序无关,两者位置可以互换,既可以将多光谱波段作为融合目标波段而全色波段作为融合的源波段,也可以将全色波段作为融合目标波段而多光谱波段作为融合源波段。当全色波段作为融合目标波段时,融合方案为多光谱波段的光谱信息注入全色波段;当多光谱波段作为融合目标波段时,融合方案为全色波段空间信息注入多光谱波段,并且仅需基于两个波段图像进行GS变换,开阔了遥感图像空-谱融合的思路,丰富了空-谱融合的路径,开辟了空-谱互注融合的新方向。
3.融合方法对多光谱影像的波段数量没有限制,具有开放性。
本实施例所述方法的多光谱影像波段数大于或等于1个就可以,即:可以对一个波段的多光谱影像进行融合处理,也可以对2个波段、3个波段、4个波段甚至更多波段的多光谱影像进行处理,对多少波段的多光谱影像进行融合,就可以得到相应数量波段的影像融合成果。算法本身对多光谱影像的波段数量没有限制,具有开放性。
实施例2
本实施例公开了一种空-谱互注图像融合系统,包括存储器和处理器,所述存储器中包括空-谱互注图像融合方法程序,所述空-谱互注图像融合方法程序被所述处理器执行时实现实施例1所述的一种空-谱互注图像融合方法的步骤。
实施例3
本实施例公开了一种计算机可读存储介质,所述计算机可读存储介质中包括空-谱互注图像融合方法程序,所述空-谱互注图像融合方法程序被处理器执行时,实现实施例1所述的一种空-谱互注图像融合方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种空-谱互注图像融合方法,其特征在于,所述方法包括以下步骤:
输入遥感影像全色波段P与多光谱波段Mi
将全色波段P与多光谱波段Mi进行空间配准,使全色波段P与多光谱波段Mi中同一地物的几何空间位置一致;
利用多光谱波段Mi构建中介波段I,将全色波段P、中介波段I和多光谱波段Mi按高空间分辨率影像重采样,并将全色波段P、中介波段I和多光谱波段Mi合成一个影像文件;
计算全色波段P、中介波段I和多光谱波段Mi的均值μ、均方差σ和相关系数r矩阵;
在全色波段P和多光谱波段Mi中选取融合目标波段和融合源波段,以中介波段I为中介进行均值滤波图像融合,并进行均值滤波图像融合成果的计算;
计算均值滤波图像融合成果的均值与均方差,按照多光谱波段的直方图对均值滤波融合成果进行直方图匹配,得到空-谱互注融合成果;
合成并存储空-谱融合影像成果。
2.根据权利要求1所述的一种空-谱互注图像融合方法,其特征在于,所述中介波段I为低分辨率多光谱波段Mi的线性组合:
I=ω1M12M2+...+ωnMn
其中,ω12+...+ωn=1,ωi≥0(i=1,2,...,n);n为低分辨率多光谱波段的数量。
3.根据权利要求2所述的一种空-谱互注图像融合方法,其特征在于,所述中介波段为所有低分辨率多光谱波段的平均强度。
4.根据权利要求2或3所述的一种空-谱互注图像融合方法,其特征在于,所述空-谱互注图像融合包括将多光谱波段信息注入全色波段的融合方案和将全色波段信息注入多光谱波段的融合方案。
5.根据权利要求4所述的一种空-谱互注图像融合方法,其特征在于,所述均值滤波图像融合成果的计算具体为:
其中,f为均值滤波图像融合成果,T为融合目标波段,S为融合源波段,T′为融合目标波段的均值滤波图像,S′为融合源波段的均值滤波图像,I′为中介波段的均值滤波图像,r(T,I)表示融合目标波段与中介波段之间的相关系数,r(T,S)表示融合目标波段与融合源波段之间的相关系数,r(S,I)表示融合源波段与中介波段之间的相关系数,σT为融合目标波段的均方差,σS为融合源波段的均方差,σI为中介波段的均方差。
6.根据权利要求5所述的一种空-谱互注图像融合方法,其特征在于,
T′=T-μT
S′=S-μS
I′=I-μI
其中,μT为融合目标波段T的均值,μs为融合源波段S的均值,μI为中介波段I的均值。
7.根据权利要求5或6所述的一种空-谱互注图像融合方法,其特征在于,所述空-谱互注融合成果为:
其中,Mf为空-谱互注融合后的多光谱波段,σM为多光谱波段M的均方差,σf为均值滤波图像融合成果的均方差,μf为均值滤波图像融合成果的均值,μM为对应多光谱波段的均值。
8.根据权利要求7所述的一种空-谱互注图像融合方法,其特征在于,所述均值滤波图像融合各因子均值都为0,因而融合成果的均值μf≈0。
9.一种空-谱互注图像融合系统,其特征在于,包括存储器和处理器,所述存储器中包括空-谱互注图像融合方法程序,所述空-谱互注图像融合方法程序被所述处理器执行时实现如权利要求1至8中任一项所述的一种空-谱互注图像融合方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括空-谱互注图像融合方法程序,所述空-谱互注图像融合方法程序被处理器执行时,实现如权利要求1至8中任一项所述的一种空-谱互注图像融合方法的步骤。
CN202311284702.2A 2023-10-07 2023-10-07 一种空-谱互注图像融合方法、系统及可读存储介质 Active CN117253125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311284702.2A CN117253125B (zh) 2023-10-07 2023-10-07 一种空-谱互注图像融合方法、系统及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311284702.2A CN117253125B (zh) 2023-10-07 2023-10-07 一种空-谱互注图像融合方法、系统及可读存储介质

Publications (2)

Publication Number Publication Date
CN117253125A true CN117253125A (zh) 2023-12-19
CN117253125B CN117253125B (zh) 2024-03-22

Family

ID=89131083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311284702.2A Active CN117253125B (zh) 2023-10-07 2023-10-07 一种空-谱互注图像融合方法、系统及可读存储介质

Country Status (1)

Country Link
CN (1) CN117253125B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141659A1 (en) * 2003-01-17 2004-07-22 Yun Zhang System and method for image fusion
US20080129752A1 (en) * 2006-12-01 2008-06-05 Harris Corporation Spatial and Spectral Calibration of a Panchromatic, Multispectral Image Pair
CN103186893A (zh) * 2012-12-19 2013-07-03 中国科学院对地观测与数字地球科学中心 一种普适的高分辨率遥感图像融合方法
CN112166692B (zh) * 2012-06-29 2014-07-30 二十一世纪空间技术应用股份有限公司 一种遥感图像交叉融合方法
US20140301659A1 (en) * 2013-04-07 2014-10-09 Bo Li Panchromatic Sharpening Method of Spectral Image Based on Fusion of Overall Structural Information and Spatial Detail Information
CN105096286A (zh) * 2015-06-30 2015-11-25 中国石油天然气股份有限公司 遥感图像的融合方法及装置
CN106384332A (zh) * 2016-09-09 2017-02-08 中山大学 基于Gram‑Schmidt的无人机影像与多光谱影像融合方法
CN107958450A (zh) * 2017-12-15 2018-04-24 武汉大学 基于自适应高斯滤波的全色多光谱影像融合方法及系统
CN109993717A (zh) * 2018-11-14 2019-07-09 重庆邮电大学 一种结合引导滤波和ihs变换的遥感图像融合方法
CN110533600A (zh) * 2019-07-10 2019-12-03 宁波大学 一种同/异质遥感影像高保真广义空-谱融合方法
CN111539900A (zh) * 2020-04-24 2020-08-14 河南大学 一种基于引导滤波的ihs遥感图像融合方法
CN112070111A (zh) * 2020-07-28 2020-12-11 浙江大学 一种适配多波段图像的多目标检测方法和系统
CN113870110A (zh) * 2021-09-10 2021-12-31 深圳市魔方卫星科技有限公司 遥感影像的图像融合方法、装置、电子设备和存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141659A1 (en) * 2003-01-17 2004-07-22 Yun Zhang System and method for image fusion
US20080129752A1 (en) * 2006-12-01 2008-06-05 Harris Corporation Spatial and Spectral Calibration of a Panchromatic, Multispectral Image Pair
CN112166692B (zh) * 2012-06-29 2014-07-30 二十一世纪空间技术应用股份有限公司 一种遥感图像交叉融合方法
CN103186893A (zh) * 2012-12-19 2013-07-03 中国科学院对地观测与数字地球科学中心 一种普适的高分辨率遥感图像融合方法
US20140301659A1 (en) * 2013-04-07 2014-10-09 Bo Li Panchromatic Sharpening Method of Spectral Image Based on Fusion of Overall Structural Information and Spatial Detail Information
CN105096286A (zh) * 2015-06-30 2015-11-25 中国石油天然气股份有限公司 遥感图像的融合方法及装置
CN106384332A (zh) * 2016-09-09 2017-02-08 中山大学 基于Gram‑Schmidt的无人机影像与多光谱影像融合方法
CN107958450A (zh) * 2017-12-15 2018-04-24 武汉大学 基于自适应高斯滤波的全色多光谱影像融合方法及系统
CN109993717A (zh) * 2018-11-14 2019-07-09 重庆邮电大学 一种结合引导滤波和ihs变换的遥感图像融合方法
CN110533600A (zh) * 2019-07-10 2019-12-03 宁波大学 一种同/异质遥感影像高保真广义空-谱融合方法
CN111539900A (zh) * 2020-04-24 2020-08-14 河南大学 一种基于引导滤波的ihs遥感图像融合方法
CN112070111A (zh) * 2020-07-28 2020-12-11 浙江大学 一种适配多波段图像的多目标检测方法和系统
CN113870110A (zh) * 2021-09-10 2021-12-31 深圳市魔方卫星科技有限公司 遥感影像的图像融合方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
樊旭艳;尹连旺;付春龙;汤钟;张杰;: "QuickBird遥感影像数据融合方法研究", 装备指挥技术学院学报, no. 03, 28 June 2006 (2006-06-28), pages 44 - 45 *
郑丽;: "SPOT多光谱影像与全色影像融合研究", 佳木斯大学学报(自然科学版), no. 06, 15 November 2015 (2015-11-15), pages 12 - 14 *

Also Published As

Publication number Publication date
CN117253125B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Deng et al. Machine learning in pansharpening: A benchmark, from shallow to deep networks
Zhou et al. Pyramid fully convolutional network for hyperspectral and multispectral image fusion
Xie et al. Hyperspectral image super-resolution using deep feature matrix factorization
CN110070518B (zh) 一种基于双路径支持下的高光谱图像超分辨率制图方法
CN112819737B (zh) 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN102708576B (zh) 基于结构字典的分块图像压缩感知重建方法
CN105261000B (zh) 一种基于端元提取与光谱解混的高光谱图像融合方法
Xu et al. HAM-MFN: Hyperspectral and multispectral image multiscale fusion network with RAP loss
CN111260576A (zh) 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN111127374A (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN105046672A (zh) 一种图像超分辨率重建方法
CN112184554A (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN109493338A (zh) 基于联合提取空谱特征的高光谱图像异常检测方法
CN113066037B (zh) 基于图注意力机制的多光谱与全色图像融合方法及系统
CN105825217A (zh) 基于活动轮廓模型的高光谱影像感兴趣区域自动提取方法
CN114863173B (zh) 一种面向土地资源审计的自互注意力高光谱图像分类方法
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN115272093A (zh) 一种基于空间结构信息约束的高光谱图像解混方法
CN115311184A (zh) 基于半监督深度神经网络的遥感图像融合方法及系统
CN115272144A (zh) 面向高光谱图像和多光谱图像的时空谱融合方法
CN117058053B (zh) 基于均值滤波的ihs空-谱融合方法、系统、设备及介质
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
He et al. Super-resolving and composing building dataset using a momentum spatial-channel attention residual feature aggregation network
CN117253125B (zh) 一种空-谱互注图像融合方法、系统及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant