CN114998101A - 一种基于深度学习的卫星影像超分辨率方法 - Google Patents

一种基于深度学习的卫星影像超分辨率方法 Download PDF

Info

Publication number
CN114998101A
CN114998101A CN202210588433.8A CN202210588433A CN114998101A CN 114998101 A CN114998101 A CN 114998101A CN 202210588433 A CN202210588433 A CN 202210588433A CN 114998101 A CN114998101 A CN 114998101A
Authority
CN
China
Prior art keywords
layer
resolution
super
convolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210588433.8A
Other languages
English (en)
Inventor
郑泽忠
邵添明
金伟士
彭庆军
朱浩玮
牟范
李江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210588433.8A priority Critical patent/CN114998101A/zh
Publication of CN114998101A publication Critical patent/CN114998101A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

该发明公开了一种基于深度学习的卫星影像超分辨率方法,属于图像处理领域。本发明搭建扩展性深层超分辨率网络,对遥感卫星影像进行4倍超分,能够很好的重构输电线路杆塔绝缘子特征,具有保真度高、处理速度快的特点;为了提高超分辨率网络学习遥感卫星影像特征的能力,进一步的,采用了数据增广的方式,权重归一化层替换批处理归一化层的方式,更加精确的学习到遥感卫星影像的特征;进一步的,引入跳接的像素重组放大模块,不经过一系列的额外卷积,加快了计算速度,很好的应用到了电网遥感影像处理中。可用于后续输电线路检视、输电线路杆塔识别和绝缘子检测等用途。

Description

一种基于深度学习的卫星影像超分辨率方法
技术领域
本发明属于卫星影像处理领域,特别是对卫星影像的超分辨率方法。
背景技术
为了更准确更广泛的对输电线路绝缘子进行识别和故障监测,云南电网开展了一批基于卫星技术的电网‘天空地协同’巡视关键技术研究。随着基于卫星技术的电网巡视关键技术的开展,电网部门积累了大量的遥感卫星影像数据、无人机巡检数据和输电线路绝缘子台账数据,但是在目前的输电线路绝缘子故障监测过程中,只运用了无人机巡检数据和一部分输电线路绝缘子台账数据,没有使用高分辨率的遥感卫星影像数据。在输电线路绝缘子识别和监测中,传统的方式是从无人机巡检数据中提取绝缘子特征,一般只考虑形状和颜色等特征,也有基于深度学习的方法,使用目标检测网络自动的学习绝缘子特征。但是在遥感卫星影像中,这类方法都不适用,因为遥感卫星影像分辨率有限,不能精细地反映输电线路绝缘子特征。
发明内容
本发明目的在于提供一种基于深度学习的卫星影像超分辨率方法,用于解决现有基于遥感卫星影像输电线路绝缘子识别的特征精细化提取问题,依靠4倍分辨率的提升,可以较为清晰的重构输电线路绝缘子特征。本发明解决了基于遥感卫星影像输电线路绝缘子识别分辨率不足问题,解决了基于遥感卫星影像输电线路绝缘子特征难以提取的问题。
为实现上述目的,本发明的技术方案是:一种基于深度学习的卫星影像超分辨率方法,该方法包括:
步骤1:获取卫星影像;
步骤2:使用90m×90m的高程数据对卫星影像进行正射校正;
步骤3:对正射校正后的遥感卫星影像进行多光谱和全色波段融合,融合后的影像为红波段、绿波段、蓝波段和近红外波段四通道影像;
步骤4:利用双立方插值下采样算法,对正射校正后的遥感卫星影像进行4倍下采样,然后进行水平翻转、竖直翻转的数据增广,原始多光谱影像作为标签真值,获得训练影像对;
步骤5:搭建超分辨率网络;
所述超分辨率网络为4通道,对应红波段、绿波段、蓝波段和近红外波段四通道,每个通道输入后分为两支,其中主支依次经过第一卷积层、十个残差网络模块、第四卷积层、像素重组上采样4倍层I;分支首先经过第五卷积层,然后再分为两支,其中一支依次经过第六卷积层和像素重组上采样4倍层II,另一支依次经过第七卷积层、第八卷积层和像素重组上采样4倍层III;将像素重组上采样4倍层I、像素重组上采样4倍层II、像素重组上采样4倍层III的输出相加后的结果,作为整个超分辨率网络的输出;所述残差网络模块依次包括:第一卷积层、权重归一化层、线性整流层、第二卷积层和权重归一化层;
步骤6:将步骤4获得的训练影像对作为步骤5超分辨率网络的输入,训练一个超分辨率网络;
步骤7:在对待超分影像进行超分时,首先将影像进行分割裁剪,然后对裁剪后的每个区域影像进行超分,最后将超分后的各区域影像进行拼接;
步骤8:对超分后的影像进行红波段、近红外波段和蓝波段三通道假彩色和1%线性拉伸,输出。
进一步的,所述步骤5的残差网络模块中,第一卷积层卷积核边长为3,输出通道数为192,卷积步长为1,第二卷积层卷积核边长为3,输出通道数为192,卷积步长为1;主支的第三卷积层卷积核边长为3,输出通道为32,卷积步长为1,第四卷积层卷积核边长为3,输出通道为12,卷积步长为1。第一侧支的第五卷积层卷积核边长为3,输出通道数为96,卷积步长为1,第六卷积层卷积核边长为5,输出通道数为12,卷积步长为1。第二侧枝的第七卷积层卷积核边长为3,输出通道数为32,卷积步长为1,第八卷积层卷积核边长为5,输出通道数为12,卷积步长为1;
进一步的,所述步骤6中,设置训练轮次为100,初始学习率为0.0002,并在第25000,50000,75000个单次循环分别按0.5的比例对学习率进行衰减,批尺寸Batch size为16。
本发明采用一种基于深度学习的多源遥感卫星影像超分辨率方法,搭建扩展性深层超分辨率网络,对SuperView-1和WorldView-3遥感卫星影像进行4倍超分,能够很好的重构输电线路杆塔绝缘子特征,具有保真度高、处理速度快的优点;本发明还对有限的遥感卫星影像进行了数据增广,使得遥感卫星影像特征更多更广,绝缘子特征学习更好。为了不产生影像超分后灰度拉伸的效果,在卷积层后采用了权重归一化层,同时起到加速收敛、防止梯度消失和爆炸以及防止过拟合的作用;进一步的,引入跳接的像素重组上采样4倍层,不经过一系列的额外卷积,从而减小了计算量,加快了计算速度。本发明提出了一种基于深度学习的多源遥感卫星影像超分辨率方法。该方法从深度学习的角度出发,设计了一个轻量的超分辨率网络,并根据两类遥感卫星影像数据特性,研究制定了一套自动化超分流程,构建了高保真度的遥感卫星影像超分模型。目前已应用到云南电网遥感卫星影像处理中,可用于后续输电线路检视、输电线路杆塔识别和绝缘子检测等。
附图说明
图1是本发明基于深度学习的遥感卫星影像绝缘子超分辨率方法的流程图;
图2是本发明的超分辨率网络结构图;
图3是本发明的SuperView-1影像中杆塔部分超分结果图;
图4是本发明的WordView-3影像中杆塔部分超分结果图;
图5是本发明的SuperView-1影像大范围超分结果图。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明的技术方案如图1,以云南省昆明市某输电线路为例进行说明,包括以下步骤:
步骤1:数据处理
首先将收集到的指定区域SuperView-1和Worldview-3多光谱影像和全色波段影像在Envi软件中打开,选择默认的高程数据(DEM)进行正射校正。随后使用Gram-Schmidt遥感卫星影像融合算法,获得四通道(RGBN)遥感卫星影像,其中SuperView-1融合影像分辨率为0.5m,WorldView-3融合影像为0.3m。然后将影像数据压缩到0-255范围之间。
步骤2:数据集制作
将正射后的SuperView-1和WorldView-3影像按照512像素步长大小进行裁剪,获得高分辨率(HR)训练数据集,作为真值。并根据双立方插值下采样算法对原始影像进行4倍下采样,其中4倍下采样后的数据按照128像素步长大小进行裁剪,获得低分辨率(LR)训练数据集。两者组成训练数据对。
步骤3:超分辨率网络搭建
超分辨率网络搭建如图2,主要使用了十个用权重归一化层替换批处理归一化层的改进残差网络模块来构建网络。残差网络模块主要由第一卷积层、权重归一化层、线性整流层、第二卷积层和权重归一化层组成,其中,第一卷积层卷积核边长为3,输出通道数为192,卷积步长为1。第二卷积层卷积核边长为3,输出通道数为32,卷积步长为1。残差网络模块的输入通过跳接的方式和最后一个权重归一化层的输出相加,组成残差网络模块最后的输出。同时搭建三个像素重组放大模块,一个主要由第四卷积层和像素重组上采样4倍层组成Ⅰ,第二个和第三个为分支,第二分支主要由第五卷积层、第六卷积层和像素重组上采样4倍层Ⅱ组成。其中第五卷积层卷积核边长为3,输出通道为96,卷积步长为1。第六卷积层卷积核边长为5,输出通道为12,卷积步长为1。第三分支主要由第七卷积层、第八卷积层和像素重组上采样4倍层Ⅲ组成。其种第七卷积层卷积核边长为3,通道为32,卷积步长为1,第八卷积层卷积核边长为5,输出通道为12,卷积步长为1。一个像素重组放大模块串联在残差网络模块后,另外两个分别跳接在网络输入端,最终再相加获得最终的输出。
步骤4:超分辨率网络训练
将步骤2中获得的训练数据对放入步骤3搭建的超分辨率网络中,对最终训练参数设置为:初始学习速率为0.0002,按在第25000,50000,75000个单次循环分别按0.5的比例对学习率进行衰减,批尺寸Batch size=16,优化算法采用Adam算法,训练总循环次数为100,并得到最终超分辨率模型。
根据获得的超分辨率训练影像对,原始影像进行512×512像素尺寸裁剪,下采样后的影像进行128×128像素尺寸裁剪;然后进行水平翻转、竖直翻转的数据增广,共生成9900对训练影像。
步骤5:模型测试
将步骤1中Gram-Schmidt融合后的SuperView-1和WorldView-3影像(不同于训练集影像)首先进行512×512像素尺寸裁剪,批量输入到训练好的超分辨率模型中,获得超分后的输出,输出影像其中SuperView-1分辨率为0.125m,WorldView-3分辨率为0.75m,同时借助Gdal库保留坐标信息,最终将裁剪的超分输出影像合并成原始影像。
步骤6:分析评价和指标评估
采用全局影像质量指数(Universal Image Quality Index,UQI),平均结构相似性指标(Mean Similarity Index,MSSIM)以及加权峰值信噪比(Weighted Peak Signal-to-Noise Ratio,WPSNR)三种评价指标来评价各模型对下采样4倍后的2m分辨率影像超分辨率4倍后与原始0.5m高分辨率影像的相似程度(由于Gram-Schmidt融合后的影像超分后无真值,所以这里用下采样影像超分后与原始高分辨率影像计算评价指标)。结果如表1,可见训练得到的超分辨率模型在SuperView-1和WorldView-3卫星影像上都可以取得很高的评价指标,说明超分过后的影像可以获得较高的保真度,同时查看输电线路杆塔超分结果图,图3至图4,可以看出输电线路杆塔得到了更明显的细节增强,杆塔结构更加明显,同时绝缘子特征也更加明显,有益于后续遥感影像输电线路目标检测应用。
表1超分评价指标表
Figure BDA0003664070260000051
本发明的有益效果是能够快速的对输电线路遥感卫星影像进行4倍超分放大,获得更清晰的输电线路遥感卫星影像。由本发明训练得到的超分辨率模型,对于两类遥感卫星影像的超分可视化结果都获得了很好的验证,评价指标如UQI都高于0.99,MSSIM都高于0.91,WPSNR都高于32,说明结果具有较高的可信度,并且已经应用到云南电网遥感卫星处理中,可以为输电线路检视和绝缘子目标检测等提供更清楚的影像。

Claims (3)

1.一种基于深度学习的卫星影像超分辨率方法,该方法包括:
步骤1:获取卫星影像;
步骤2:使用90m×90m的高程数据对卫星影像进行正射校正;
步骤3:对正射校正后的遥感卫星影像进行全色波段融合,融合后的影像为红波段、绿波段、蓝波段和近红外波段四通道影像;
步骤4:利用双立方插值下采样算法,对正射校正后的遥感卫星影像进行4倍下采样,然后进行水平翻转、竖直翻转的数据增广,原始多光谱影像作为标签真值,获得训练影像对;
步骤5:搭建超分辨率网络;
所述超分辨率网络为4通道,对应红波段、绿波段、蓝波段和近红外波段四通道,每个通道输入后分为两支,其中主支依次经过第一卷积层、十个残差网络模块、第四卷积层、像素重组上采样4倍层I;分支首先经过第五卷积层,然后在分为两支,其中一支依次经过第六卷积层和像素重组上采样4倍层II,另一支依次经过第七卷积层、第八卷积层和像素重组上采样4倍层III;将像素重组上采样4倍层I、像素重组上采样4倍层II、像素重组上采样4倍层III的输出相加后的结果,作为整个超分辨率网络的输出;所述残差网络模块依次包括:第一卷积层、权重归一化层、线性整流层、第二卷积层和权重归一化层;
步骤6:将步骤4获得的训练影像对作为步骤5超分辨率网络的输入,训练一个超分辨率网络;
步骤7:在对待超分影像进行超分时,首先将影像进行分割裁剪,然后对裁剪后的每个区域影像进行超分,最后将超分后的各区域影像进行拼接;
步骤8:对超分后的影像进行红波段、近红外波段和蓝波段三通道假彩色和1%线性拉伸,输出。
2.如权利要求1所述的一种基于深度学习的卫星影像超分辨率方法,其特征在于,所述步骤5的残差网络模块中,第一卷积层卷积核边长为3,输出通道数为192,卷积步长为1,第二卷积层卷积核边长为3,输出通道数为192,卷积步长为1;主支的第三卷积层卷积核边长为3,输出通道为32,卷积步长为1,第四卷积层卷积核边长为3,输出通道为12,卷积步长为1。第一侧支的第五卷积层卷积核边长为3,输出通道数为96,卷积步长为1,第六卷积层卷积核边长为5,输出通道数为12,卷积步长为1。第二侧枝的第七卷积层卷积核边长为3,输出通道数为32,卷积步长为1,第八卷积层卷积核边长为5,输出通道数为12,卷积步长为1。
3.如权利要求1所述的一种基于深度学习的卫星影像超分辨率方法,其特征在于,所述步骤6中,设置训练轮次为100,初始学习率为0.0002,并在第25000,50000,75000个单次循环分别按0.5的比例对学习率进行衰减,批尺寸Batch size为16。
CN202210588433.8A 2022-05-26 2022-05-26 一种基于深度学习的卫星影像超分辨率方法 Pending CN114998101A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210588433.8A CN114998101A (zh) 2022-05-26 2022-05-26 一种基于深度学习的卫星影像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210588433.8A CN114998101A (zh) 2022-05-26 2022-05-26 一种基于深度学习的卫星影像超分辨率方法

Publications (1)

Publication Number Publication Date
CN114998101A true CN114998101A (zh) 2022-09-02

Family

ID=83029170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210588433.8A Pending CN114998101A (zh) 2022-05-26 2022-05-26 一种基于深度学习的卫星影像超分辨率方法

Country Status (1)

Country Link
CN (1) CN114998101A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564653A (zh) * 2022-09-30 2023-01-03 江苏济远医疗科技有限公司 一种多因子融合的图像超分辨率方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564653A (zh) * 2022-09-30 2023-01-03 江苏济远医疗科技有限公司 一种多因子融合的图像超分辨率方法

Similar Documents

Publication Publication Date Title
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN111275618A (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
CN111738111A (zh) 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法
CN111985543A (zh) 一种高光谱图像分类模型的构建方法、分类方法及系统
CN113763299B (zh) 一种全色与多光谱图像融合方法、装置及其应用
CN114066755B (zh) 一种基于全波段特征融合的遥感影像薄云去除方法及系统
CN114283158A (zh) 一种视网膜血管图像分割方法、装置及计算机设备
CN111652039B (zh) 基于残差网络和特征融合模块的高光谱遥感地物分类方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN115205147A (zh) 一种基于Transformer的多尺度优化低照度图像增强方法
CN116229283A (zh) 基于深度可分离卷积模块的遥感图像变化检测系统及方法
CN114494821A (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN113222819A (zh) 一种基于深度卷积神经网络的遥感图像超分辨重建方法
CN114782298A (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN115661655A (zh) 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN115601236A (zh) 一种基于特征信息蒸馏网络的遥感图像超分辨重建方法
CN114998101A (zh) 一种基于深度学习的卫星影像超分辨率方法
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN105719323A (zh) 一种基于优化图谱理论的高光谱降维方法
CN114429424B (zh) 一种适用于退化方式不定的遥感图像超分重建方法
CN114155246B (zh) 一种基于可变形卷积的输电塔销钉缺陷检测方法
CN114092327B (zh) 一种利用异构知识蒸馏的高光谱图像超分辨率方法
CN114782254A (zh) 一种融合边缘信息的红外图像超分辨率重建系统及方法
CN113421258A (zh) 一种基于高分辨率遥感影像的自动云检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination