CN112991249B - 一种基于深度可分离cnn模型的遥感图像融合方法 - Google Patents

一种基于深度可分离cnn模型的遥感图像融合方法 Download PDF

Info

Publication number
CN112991249B
CN112991249B CN202110290788.4A CN202110290788A CN112991249B CN 112991249 B CN112991249 B CN 112991249B CN 202110290788 A CN202110290788 A CN 202110290788A CN 112991249 B CN112991249 B CN 112991249B
Authority
CN
China
Prior art keywords
image
fusion
color image
depth separable
prepan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110290788.4A
Other languages
English (en)
Other versions
CN112991249A (zh
Inventor
袁兆祥
齐立忠
韩文军
孙小虎
苏晓云
谢非
王�琦
赵斌
吴冰
陈红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Economic And Technological Research Institute Co LtdB412 State Grid Office
Nanjing Normal University
Economic and Technological Research Institute of State Grid Zhejiang Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Economic And Technological Research Institute Co LtdB412 State Grid Office
Nanjing Normal University
Economic and Technological Research Institute of State Grid Zhejiang Electric Power Co Ltd
Economic and Technological Research Institute of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Economic And Technological Research Institute Co LtdB412 State Grid Office, Nanjing Normal University, Economic and Technological Research Institute of State Grid Zhejiang Electric Power Co Ltd, Economic and Technological Research Institute of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Economic And Technological Research Institute Co LtdB412 State Grid Office
Priority to CN202110290788.4A priority Critical patent/CN112991249B/zh
Publication of CN112991249A publication Critical patent/CN112991249A/zh
Application granted granted Critical
Publication of CN112991249B publication Critical patent/CN112991249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度可分离CNN模型的遥感图像融合方法，包括如下步骤：通过预处理后的原始彩色图像，构建融合模型训练集图像；根据融合模型训练集图像，训练深度可分离CNN模型；获取全色图像和多光谱图像，通过预处理将全色图像转换成PrePan图像，将多光谱图像上采样至PrePan图像大小；将PrePan图像和上采样至PrePan图像大小的多光谱图像送入训练好的深度可分离CNN模型；通过深度可分离CNN模型获取到全色图像和多光谱图像的融合图像。本发明将深度可分离CNN模型应用于全色图像和多光谱图像的融合，在提高融合图像的精度的同时，也加快了融合速度，能够得到同时具备高光谱分辨率和高空间分辨率两种信息的融合图像，对遥感图像的应用具有极大的意义。

Description

一种基于深度可分离CNN模型的遥感图像融合方法
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种基于深度可分离CNN模型的遥感图像融合方法。
背景技术
遥感数据在各行业需求巨大。但由于多种原因，如场景的复杂性、输入数据集的时间和光谱变换、不同的空间数据标准、特定的数据以及特定的空间对象分类和分类体系等，遥感数据在精度和形式上存在很多差异。如今，在地球以外的各种观测平台上，已经有许多具有不同功能的遥感卫星。这些卫星可以提供不同的空间、时间和光谱图像，即遥感图像。由于卫星传感器的局限性，遥感卫星不能同时获得高光谱图像和高空间分辨率图像，只能分别获得高光谱的多光谱图像和高空间分辨率的全色图像。但是在实际应用中，既需要高光谱分辨率的图像，又需要高空间分辨率的图像，这使得图像融合具有重要的应用价值。
地理信息数据具有不同分辨率、不同精度、不同覆盖范围等多尺度特征，数字电网中的地理信息数据主要包括遥感影像数据、航飞数据、数字高程模型等数据，在实际应用中往往需要同时具备高光谱分辨率和高空间分辨率两种信息的图像。目前传统的融合算法还存在着融合精度不高，速度较慢的问题，导致融合效果不是很理想。
所以，需要一个新的技术方案来解决这个问题。
发明内容
发明目的：为了克服现有技术中存在的不足，提供一种基于深度可分离CNN模型的遥感图像融合方法，以解决目前传统的融合算法还存在着多光谱和全色图像融合精度不高，速度较慢的问题。
技术方案：为实现上述目的，本发明提供一种基于深度可分离CNN模型的遥感图像融合方法，包括如下步骤：
S1：通过预处理后的原始彩色图像，构建融合模型训练集图像；
S2：根据融合模型训练集图像，训练深度可分离CNN模型；
S3：获取全色图像和多光谱图像，通过预处理将全色图像转换成PrePan图像，将多光谱图像上采样至PrePan图像大小；
S4：将PrePan图像和上采样至PrePan图像大小的多光谱图像送入训练好的深度可分离CNN模型；
S5：通过深度可分离CNN模型获取到全色图像和多光谱图像的融合图像。
进一步地，所述步骤S1中融合模型训练集图像的构建方法为：
A1：对获得的原始彩色图像进行下采样和上采样，得到并保存训练集多光谱图像；
A2：对获得的原始彩色图像进行处理，得到并保存原始彩色图像在HLS空间的L分量作为训练集PrePan图像。
进一步地，所述步骤A1具体为：
B1：根据以下公式，对原始彩色图像进行下采样，得到原始彩色图像的下采样图像：
f(i+u,j+v)＝ABC
其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点；S(x)为插值核；
B2：根据以下公式，对步骤B1中计算所得的原始彩色图像下采样后的图像进行上采样，获得训练集多光谱图像：
f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)
其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点。
进一步地，所述步骤A2具体为：
根据以下公式，计算原始彩色图像在HLS空间的L分量作为训练集PrePan图像：
其中，max(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最大值，min(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最小值。
进一步地，所述步骤S2中深度可分离CNN模型的训练方法为：
C1：搭建深度可分离CNN模型；
C2：将步骤A1获得的多光谱图像和步骤A2获得的PrePan图像送入步骤C1搭建的深度可分离CNN模型，并进行模型训练。
进一步地，所述步骤C1中深度可分离CNN模型的搭建方法为：
假设F(i,j)为融合图像在第i行和第j列的像素点的像素，其对应的第i行和第j列全色图像和多光谱图像的像素分别为P(i,j)和M(i,j)，为了计算F(i,j)，考虑P(i,j)和M(i,j)的临近像素，计算待融合像素NP(i,j)和NM(i,j)，再通过NP(i,j)和NM(i,j)来计算融合像素F(i,j)；
将全色图像和多光谱图像分别进行深度可分离卷积运算，得到NP和NM，然后利用1*1大小的卷积核来对NP和NM卷积得到融合图像F，在卷积后进行非线性运算，最终的卷积运算定义为：
其中X为卷积输入，w为卷积核，ReLU为非线性激活函数：
ReLU(x)＝max{0，x}
MS1中的待融合像素是在原始多光谱图像中每个像素考虑其邻近N*N个窗口中的像素卷积计算而来，MS2至MS5则是分别在前一次卷积的结果上再进行一次N*N卷积；随着层数的增加，生成图像中的待融合像素对应于原始图像中的像素区域越大；PAN1至PAN5同理，计算如下：
其中PANo＝PAN，MSo＝MS，w为卷积核，o为卷积运算；
PanMS1至PanMS5以及Fusion是在原始MS图像和PAN图像融合像素的基础上，在不同大小相邻区域的影响下，进行卷积运算的结果，每一级融合都会考虑到上一级融合的结果，可视为一种特殊的多尺度融合，最终的融合图像Fusion则是在不同尺度下融合图像整合的结果；PanMSk和Fusion的计算分别为：
其中，PANo＝PAN，MSo＝MS，PanMSo为空，[]运算是特征Map通道方向的拼接，o运算是卷积运算。
进一步地，所述步骤S3中PrePan图像的获取过程为：
D1：根据以下公式，计算获取的多光谱图像在HLS空间的L分量作为LMS图像：
其中，max(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最大值，min(R,G,B)为所述数据集中原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最小值；
D2：根据以下公式，将全色图像和步骤D1获取的LMS图像先进行三级非下采样金字塔分解，再将高频带通经过方向滤波器组得到方向子带：
其中，和Pan0分别是LMS和Pan的低频子带，/>(1<i<N)和Pani(1<i<N)分别代表是LMS和Pan的第i个高频子带，NSCT是非下采样轮廓波变换，利用非下采样金字塔分解和非下采样方向滤波器组，可以在不同尺度下得到图像多个方向上的轮廓信息；对于非下采样金字塔分解，经过三级分解可以得到三个高频带通和一个低频带通，并且低频带通包含了图像的光谱信息；
D3：将全色图像进行NSCT分解后的低频子带Pan0替换为LMS分解后的低频子带
D4：根据以下公式，使用NSCT逆变换来重构LFusion，LFusion也就是融合模型中的PrePan：
其中，iNSCT为NSCT逆变换。
进一步地，所述步骤S3中将多光谱图像上采样至PrePan图像大小的方法为：
根据以下公式，将获取的多光谱图像上采样至获取的PrePan图像大小：
f(i+u，j+v)＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)
其中，f(i+u,j+v)为获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值，点(i,j)是第i行和第j列的像素点。
本发明提供一种基于深度可分离CNN模型的遥感图像融合方法。首先在数据集中获取原始彩色图像，对原始彩色图像进行预处理，构建融合模型训练集图像；然后，搭建深度可分离卷积CNN模型，利用融合模型训练集图像训练深度可分离卷积CNN模型。最后，对全色图像和多光谱图像进行处理，并送入深度可分离卷积CNN模型，得到同时具备高光谱分辨率和高空间分辨率两种信息的融合图像。
本发明的设计原理可细分为如下四点：
(1)提供了一种图像预处理的方法，从数据集中获得原始彩色图像，对原始彩色图像进行预处理，构建融合模型训练集图像。
(2)提供了一种基于深度可分离CNN模型，使用深度可分离卷积并加深卷积层数，使得融合结果更准确，速度更快。
(3)提供了一种图像预处理的方法，通过预处理将全色图像转换成PrePan图。
(4)提供了一种图像融合方法，使用深度可分离CNN融合遥感图像中的多光谱与全色图像，提升了图像融合精度，加快了融合速度。
有益效果：本发明与现有技术相比，将深度可分离CNN模型应用于全色图像和多光谱图像的融合，在提高融合图像的精度的同时，也加快了融合速度，解决了目前传统的融合算法还存在着多光谱和全色图像融合精度不高，速度较慢的问题，能够得到同时具备高光谱分辨率和高空间分辨率两种信息的融合图像，提高了融合质量，提升了融合效果，对遥感图像的应用具有极大的意义。
附图说明
图1是本发明方法的工作流程示意图；
图2是本发明实施例提供的一种Downsampled ImageNet数据集提供训练集原始彩色图像；
图3是本发明实施例提供的一种数据集中获得原始彩色图像进行下采样和上采样后得到的训练集多光谱图像；
图4是本发明实施例提供的一种数据集中获得原始彩色图像在HLS空间的L分量作为训练集PrePan图像；
图5是本发明实施例提供的一种获取全色图像转换成的PrePan图像；
图6是本发明实施例提供的一种获取多光谱图像并上采样至PrePan图像大小；
图7是本发明实施例提供的一种将PrePan图像和上采样至PrePan图像大小的多光谱图像经深度可分离CNN模型融合后图像。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明提供一种基于深度可分离CNN模型的遥感图像融合方法，本实施例中将该方案应用于全色图像和多光谱图像的融合，由Downsampled ImageNet数据集提供训练集原始彩色图像，由地理空间数据云数据库提供全色图像和多光谱图像。通过上位机软件对含菌落的培养皿的彩色图像进行图像处理，利用液晶显示屏进行处理结果显示，上位机的主频为2.8Hz，内存为8G。
参照图1，包括如下步骤：
S1：从Downsampled ImageNet数据集中获得原始彩色图像，对原始彩色图像进行预处理，构建融合模型训练集图像；
S2：根据融合模型训练集图像，训练深度可分离CNN模型；
S3：获取全色图像和多光谱图像，通过预处理将全色图像转换成PrePan图像，将多光谱图像上采样至PrePan图像大小；
S4：将PrePan图像和上采样至PrePan图像大小的多光谱图像送入训练好的深度可分离CNN模型；
S5：通过深度可分离CNN模型获取到全色图像和多光谱图像的融合图像，显示并保存该融合图像。
本实施例中步骤S1具体为：
A1：对数据集中获得的原始彩色图像进行下采样和上采样，得到并保存训练集多光谱图像；
这里原始彩色图像如图2所示，获取的训练集多光谱图像如图3所示。
A2：对获得的原始彩色图像进行处理，得到并保存原始彩色图像在HLS空间的L分量作为训练集PrePan图像，具体如图4所示。
本实施例中步骤A1具体为：
B1：根据以下公式，对原始彩色图像进行下采样，得到原始彩色图像的下采样图像：
f(i+u，j+v)＝ABC
其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点；S(x)为插值核；
B2：根据以下公式，对步骤B1中计算所得的原始彩色图像下采样后的图像进行上采样，获得训练集多光谱图像：
f(i+u，j+v)＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)
其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点。
步骤A2具体为：
根据以下公式，计算原始彩色图像在HLS空间的L分量作为训练集PrePan图像：
其中，max(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最大值，min(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最小值。
本实施例步骤S2中深度可分离CNN模型的训练方法为：
C1：搭建深度可分离CNN模型；
C2：将步骤A1获得的多光谱图像和步骤A2获得的PrePan图像送入步骤C1搭建的深度可分离CNN模型，并进行模型训练。
步骤C1中深度可分离CNN模型的搭建方法为：
假设F(i,j)为融合图像在第i行和第j列的像素点的像素，其对应的第i行和第j列全色图像和多光谱图像的像素分别为P(i,j)和M(i,j)，为了计算F(i,j)，考虑P(i,j)和M(i,j)的临近像素，计算待融合像素NP(i,j)和NM(i,j)，再通过NP(i,j)和NM(i,j)来计算融合像素F(i,j)；
将全色图像和多光谱图像分别进行深度可分离卷积运算，得到NP和NM，然后利用1*1大小的卷积核来对NP和NM卷积得到融合图像F，在卷积后进行非线性运算，最终的卷积运算定义为：
其中X为卷积输入，w为卷积核，ReLU为非线性激活函数：
ReLU(x)＝max{0，x}
MS1中的待融合像素是在原始多光谱图像中每个像素考虑其邻近N*N个窗口中的像素卷积计算而来，MS2至MS5则是分别在前一次卷积的结果上再进行一次N*N卷积；随着层数的增加，生成图像中的待融合像素对应于原始图像中的像素区域越大；PAN1至PAN5同理，计算如下：
其中PANo＝PAN，MSo＝MS，w为卷积核，o为卷积运算；
PanMS1至PanMS5以及Fusion是在原始MS图像和PAN图像融合像素的基础上，在不同大小相邻区域的影响下，进行卷积运算的结果，每一级融合都会考虑到上一级融合的结果，可视为一种特殊的多尺度融合，最终的融合图像Fusion则是在不同尺度下融合图像整合的结果；PanMSk和Fusion的计算分别为：
其中，PANo＝PAN，MSo＝MS，PanMSo为空，[]运算是特征Map通道方向的拼接，o运算是卷积运算。
本实施例的步骤S3中PrePan图像的获取过程为：
D1：根据以下公式，计算获取的多光谱图像在HLS空间的L分量作为LMS图像：
其中，max(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最大值，min(R,G,B)为数据集中原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最小值；
D2：根据以下公式，将全色图像和步骤D1获取的LMS图像先进行三级非下采样金字塔分解，再将高频带通经过方向滤波器组得到方向子带：
其中，和Pan0分别是LMS和Pan的低频子带，/>(1<i<N)和Pani(1<i<N)分别代表是LMS和Pan的第i个高频子带，NSCT是非下采样轮廓波变换，利用非下采样金字塔分解和非下采样方向滤波器组，可以在不同尺度下得到图像多个方向上的轮廓信息；对于非下采样金字塔分解，经过三级分解可以得到三个高频带通和一个低频带通，并且低频带通包含了图像的光谱信息；
D3：将全色图像进行NSCT分解后的低频子带Pan0替换为LMS分解后的低频子带
D4：根据以下公式，使用NSCT逆变换来重构LFusion，LFusion也就是融合模型中的PrePan：
其中，iNSCT为NSCT逆变换。
获取到如图5所示的PrePan图像。
本实施例的步骤S3中将多光谱图像上采样至PrePan图像大小的方法为：
根据以下公式，将获取的多光谱图像上采样至获取的PrePan图像大小：
f(i+u，j+v)＝(1-u)×(1-v)×f(i，j)+(1-u)×v×f(i，j+1)+u×(1-v)×f(i+1，j)+u×v×f(i+1，j+1)
其中，f(i+u,j+v)为获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值，点(i,j)是第i行和第j列的像素点。
图6为本实施例中上采样至PrePan图像大小的多光谱图像。
本实施例中最终经过步骤S5获取到如图7所示的将PrePan图像和上采样至PrePan图像大小的多光谱图像经深度可分离CNN模型融合后图像。
本实施例还提供一种基于深度可分离CNN模型的遥感图像融合系统，该系统包括网络接口、存储器和处理器；其中，网络接口，用于在与其他外部网元之间进行收发信息过程中，实现信号的接收和发送；存储器，用于存储能够在所述处理器上运行的计算机程序指令；处理器，用于在运行所述计算机程序指令时，执行本发明方法的步骤。
本实施例还提供一种计算机存储介质，该计算机存储介质存储有计算机程序，在处理器执行所述计算机程序时可实现以上所描述的方法。所述计算机可读介质可以被认为是有形的且非暂时性的。非暂时性有形计算机可读介质的非限制性示例包括非易失性存储器电路(例如闪存电路、可擦除可编程只读存储器电路或掩膜只读存储器电路)、易失性存储器电路(例如静态随机存取存储器电路或动态随机存取存储器电路)、磁存储介质(例如模拟或数字磁带或硬盘驱动器)和光存储介质(例如CD、DVD或蓝光光盘)等。计算机程序包括存储在至少一个非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括或依赖于存储的数据。计算机程序可以包括与专用计算机的硬件交互的基本输入/输出系统(BIOS)、与专用计算机的特定设备交互的设备驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (5)

1.一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，包括如下步骤：
S1：通过预处理后的原始彩色图像，构建融合模型训练集图像；
S2：根据融合模型训练集图像，训练深度可分离CNN模型；
S3：获取全色图像和多光谱图像，通过预处理将全色图像转换成PrePan图像，将多光谱图像上采样至PrePan图像大小；
S4：将PrePan图像和上采样至PrePan图像大小的多光谱图像送入训练好的深度可分离CNN模型；
S5：通过深度可分离CNN模型获取到全色图像和多光谱图像的融合图像；
所述步骤S1中融合模型训练集图像的构建方法为：
A1：对获得的原始彩色图像进行下采样和上采样，得到并保存训练集多光谱图像；
A2：对获得的原始彩色图像进行处理，得到并保存原始彩色图像在HLS空间的L分量作为训练集PrePan图像；
所述步骤S2中深度可分离CNN模型的训练方法为：
C1：搭建深度可分离CNN模型；
C2：将步骤A1获得的多光谱图像和步骤A2获得的PrePan图像送入步骤C1搭建的深度可分离CNN模型，并进行模型训练；
所述步骤C1中深度可分离CNN模型的搭建方法为：
假设F(i,j)为融合图像在第i行和第j列的像素点的像素，其对应的第i行和第j列全色图像和多光谱图像的像素分别为P(i,j)和M(i,j)，为了计算F(i,j)，考虑P(i,j)和M(i,j)的邻近像素，计算待融合像素NP(i,j)和NM(i,j)，再通过NP(i,j)和NM(i,j)来计算融合像素F(i,j)；
将全色图像和多光谱图像分别进行深度可分离卷积运算，得到NP(i,j)和NM(i,j)，然后利用卷积核来对NP(i,j)和NM(i,j)卷积得到融合图像F，在卷积后进行非线性运算，最终的卷积运算定义为：
其中X为卷积输入，w为卷积核，ReLU为非线性激活函数：
Re LU(x)＝max{0,x}
MS1中的待融合像素是在原始多光谱图像中每个像素考虑其邻近N*N个窗口中的像素卷积计算而来，MS2至MS5则是分别在前一次卷积的结果上再进行一次N*N卷积；随着层数的增加，生成图像中的待融合像素对应于原始图像中的像素区域越大；PAN1至PAN5同理，计算如下：
其中PANo＝PAN，MSo＝MS，w为卷积核，o为卷积运算；K的取值范围为2～6；
PanMS1至PanMS5以及Fusion是在原始MS图像和PAN图像融合像素的基础上，在不同大小相邻区域的影响下，进行卷积运算的结果，每一级融合都会考虑到上一级融合的结果，可视为一种特殊的多尺度融合，最终的融合图像Fusion则是在不同尺度下融合图像整合的结果；PanMSk和Fusion的计算分别为：
其中，PANo＝PAN，MSo＝MS，PanMSo为空，[]运算是特征Map通道方向的拼接，o运算是卷积运算。
2.根据权利要求1所述的一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，所述步骤A1具体为：
B1：根据以下公式，对原始彩色图像进行下采样，得到原始彩色图像的下采样图像：
f(i+u,j+v)＝ABC
其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点；S(x)为插值核；
B2：根据以下公式，对步骤B1中计算所得的原始彩色图像下采样后的图像进行上采样，获得训练集多光谱图像：
f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)
+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)
其中，f(i+u,j+v)为数据集中获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值；点(i,j)是第i行和第j列的像素点。
3.根据权利要求1所述的一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，所述步骤A2具体为：
根据以下公式，计算原始彩色图像在HLS空间的L分量作为训练集PrePan图像：
其中，max(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最大值，min(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最小值。
4.根据权利要求1所述的一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，所述步骤S3中PrePan图像的获取过程为：
D1：根据以下公式，计算获取的多光谱图像在HLS空间的L分量作为LMS图像：
其中，max(R,G,B)为原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最大值，min(R,G,B)为数据集中原始彩色图像在红(R)、绿(G)、蓝(B)三个颜色通道中的最小值；
D2：根据以下公式，将全色图像和步骤D1获取的LMS图像先进行三级非下采样金字塔分解，再将高频带通经过方向滤波器组得到方向子带：
其中，和Pan0分别是LMS和Pan的低频子带，/>和Pani分别代表是LMS和Pan的第i个高频子带，1<i<N，NSCT是非下采样轮廓波变换；对于非下采样金字塔分解，经过三级分解可以得到三个高频带通和一个低频带通，并且低频带通包含了图像的光谱信息；
D3：将全色图像进行NSCT分解后的低频子带Pan0替换为LMS分解后的低频子带
D4：根据以下公式，使用NSCT逆变换来重构LFusion，LFusion也就是融合模型中的PrePan：
其中，iNSCT为NSCT逆变换。
5.根据权利要求1所述的一种基于深度可分离CNN模型的遥感图像融合方法，其特征在于，所述步骤S3中将多光谱图像上采样至PrePan图像大小的方法为：
根据以下公式，将获取的多光谱图像上采样至获取的PrePan图像大小：
f(i+u,j+v)＝(1-u)×(1-v)×f(i,j)+(1-u)×v×f(i,j+1)
+u×(1-v)×f(i+1,j)+u×v×f(i+1,j+1)
其中，f(i+u,j+v)为获得原始彩色图像中第(i+u)行和第(j+v)列的代求像素点像素值，点(i,j)是第i行和第j列的像素点。
CN202110290788.4A 2021-03-18 2021-03-18 一种基于深度可分离cnn模型的遥感图像融合方法 Active CN112991249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110290788.4A CN112991249B (zh) 2021-03-18 2021-03-18 一种基于深度可分离cnn模型的遥感图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110290788.4A CN112991249B (zh) 2021-03-18 2021-03-18 一种基于深度可分离cnn模型的遥感图像融合方法

Publications (2)

Publication Number Publication Date
CN112991249A CN112991249A (zh) 2021-06-18
CN112991249B true CN112991249B (zh) 2023-11-24

Family

ID=76333208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110290788.4A Active CN112991249B (zh) 2021-03-18 2021-03-18 一种基于深度可分离cnn模型的遥感图像融合方法

Country Status (1)

Country Link
CN (1) CN112991249B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661680B (zh) * 2022-11-15 2023-04-07 北京轨道未来空间科技有限公司 卫星遥感图像处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272010A (zh) * 2018-07-27 2019-01-25 吉林大学 基于卷积神经网络的多尺度遥感图像融合方法
CN111524063A (zh) * 2019-12-24 2020-08-11 珠海大横琴科技发展有限公司 一种遥感图像融合方法及装置
WO2020188998A1 (en) * 2019-03-19 2020-09-24 Mitsubishi Electric Corporation Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network
CN112488978A (zh) * 2021-02-05 2021-03-12 湖南大学 基于模糊核估计的多光谱图像融合成像方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272010A (zh) * 2018-07-27 2019-01-25 吉林大学 基于卷积神经网络的多尺度遥感图像融合方法
WO2020188998A1 (en) * 2019-03-19 2020-09-24 Mitsubishi Electric Corporation Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network
CN111524063A (zh) * 2019-12-24 2020-08-11 珠海大横琴科技发展有限公司 一种遥感图像融合方法及装置
CN112488978A (zh) * 2021-02-05 2021-03-12 湖南大学 基于模糊核估计的多光谱图像融合成像方法及系统

Also Published As

Publication number Publication date
CN112991249A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
WO2020081902A1 (en) Generation of synthetic high-elevation digital images from temporal sequences of high-elevation digital images
CN113222825B (zh) 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN109785279B (zh) 一种基于深度学习的图像融合重建方法
CN116935214B (zh) 一种卫星多源遥感数据的时空谱融合方法
CN111861028A (zh) 一种基于时空数据融合的犯罪数量预测方法
CN112991249B (zh) 一种基于深度可分离cnn模型的遥感图像融合方法
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN113239736A (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统
CN111402131B (zh) 基于深度学习的超分辨率土地覆被分类图的获取方法
CN113744134B (zh) 基于光谱解混卷积神经网络的高光谱图像超分辨方法
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
Li et al. A pseudo-siamese deep convolutional neural network for spatiotemporal satellite image fusion
CN114462486A (zh) 图像处理模型的训练方法、图像处理方法及相关装置
CN112686184A (zh) 基于神经网络的遥感房屋变化检测方法
Stucker et al. U-TILISE: A Sequence-to-Sequence Model for Cloud Removal in Optical Satellite Time Series
Meng Digital image processing technology based on MATLAB
CN114638761A (zh) 一种高光谱图像全色锐化方法、设备及介质
CN115496654A (zh) 基于自注意力机制的图像超分辨率重建方法、设备及介质
CN115223181A (zh) 基于文本检测的报告材料印章文字识别方法和装置
CN110706167B (zh) 一种遥感图像待修复区域的精细补全处理方法及装置
KR20220023841A (ko) 알츠하이머 병 분류를 위한 mr 이미지 분석 시스템 및 방법
CN113066030A (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及系统
CN112328584B (zh) 多维时空谱数据融合方法、装置、电子设备和存储介质
Rane et al. Comparative Study of Image Fusion Methods
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant