CN115018708A - 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法 - Google Patents

一种基于多尺度特征融合的机载遥感图像超分辨率重建方法 Download PDF

Info

Publication number
CN115018708A
CN115018708A CN202210703691.6A CN202210703691A CN115018708A CN 115018708 A CN115018708 A CN 115018708A CN 202210703691 A CN202210703691 A CN 202210703691A CN 115018708 A CN115018708 A CN 115018708A
Authority
CN
China
Prior art keywords
picture
resolution
remote sensing
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210703691.6A
Other languages
English (en)
Inventor
刘虎
褚凤国
曹志远
王梓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210703691.6A priority Critical patent/CN115018708A/zh
Publication of CN115018708A publication Critical patent/CN115018708A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度特征融合的机载遥感图像超分辨率重建方法，将低分辨率图像处理为高分辨率图像，从而在图片中获得更多的信息。将待处理的低分辨率图片ILR输入到构建好的神经网络中，经过浅层特征提取，深度特征提取，上采样模块和图像重建模块最终得到重建高分辨率图片ISR。其中，深度特征提取由MFDM（多尺度特征融合密集模块）实现，通过充分提取图片的高频特征，使得重建高分辨率图片ISR和真实高分辨率图片IHR的SSIM（结构相似度）更小，使ISR拥有更多的细节信息。

Description

一种基于多尺度特征融合的机载遥感图像超分辨率重建方法
技术领域
本发明属于机器学习技术领域，是一种基于多尺度特征融合的机载遥感图像超分辨率重建方法。
背景技术
随着航空航天领域的发展，人们对地面信息的需求日益增加，图像信息采集方式也日渐丰富。与造价高昂、适用面较窄的卫星遥感图像相比，机载遥感图像以其容易获取、经济实用等诸多优势，被广泛应用于生产生活的各个方面，特别是在无人机上的应用，可以为地面提供更多的信息。但是，机载遥感图像受到周围环境影响比较大，如拍摄过程中遇到气流、抖动会造成图像模糊，硬件本身的问题可能会造成机载遥感图像的分辨率比较低，这样的低分辨率图像无法得到更加有效的信息，大大降低了其应用价值。故利用图像超分辨率重建技术，通过软件对获取到的机载遥感图像进行超分辨率重建。
高分辨率的机载遥感图像，包含的信息量较大、细节较为清晰、像素密度较高，满足了人们对于机载遥感图像中地物清晰和丰富细节的要求。而高分辨率机载遥感图像的获取最直接的方法是对图像采集的硬件设备进行改进。例如，通过改进传感器的CMOS感光元件或芯片来实现图像质量增强。但是，这样的方法存在着噪声引入、成本较高以及提升程度有限等缺点，并不适宜广泛的使用，无法满足人们对于高分辨率机载遥感图像的迫切需求。因此，通过软件的方法来提高机载遥感图像分辨率即超分辨率重建，受到了极大的重视。
目前，传统的超分辨率图像重建在面对纹理细节较为复杂的机载遥感图像，重建出图像丰富且有真实细节比较困难，在人工智能高速发展的今天，深度学习的出现为图像超分辨率重建提供了巨大的发展。相比于传统的方法只能提取一些较浅的特征信息，应用深层卷积神经网络可以更好的提取图像的细节信息，但在面临着层数的增加和网络的退化问题中，也同时有难以训练的难题。
利用多尺度特征提取，可以更加有效的提取并利用图片的高频特征信息。在特征提取模块设计上，将残差网络和密集网络思路相结合，可以将各层提取到的信息更好的传递到后面的网络层中，从而充分利用高频与低频信息；同时，也去除了网络中的批量归一化层，减轻了网络参数过大带来的负担。最终重建出具有丰富纹理细节的机载遥感图像，最大化保留了原有的图像信息。
发明内容
本发明提供了一种基于多尺度特征融合的机载遥感图像超分辨率重建方法，以解决目前纹理细节信息重建不够清晰的问题，而且计算量较少，最大化的保留了原有图像的细节信息。
为了实现上述目的，本发明采用以下技术方案：
一种基于多尺度特征融合的机载遥感图像超分辨率重建方法，包括以下步骤：
步骤一、对需要输入网络中的低分辨率图片ILR进行预处理；
步骤二、对图片进行浅层特征提取；
步骤三、对图片采用多尺度特征融合密集模块MFDM来进行深度特征提取；
步骤四、利用上采样模块对图片上采样到需要的高分辨率尺寸；
步骤五、对图片进行重建得到最终输出重建的高分辨率图片ISR。
进一步的，所述步骤一具体为：
输入的图片为RGB格式，先将RGB格式的图片转换为YCbCr格式，YCbCr格式的三个通道中Y为颜色的亮度，Cb和Cr分别代表蓝色和红色的浓度偏移量，由于人眼对颜色亮度比较敏感而对Cb和Cr不敏感，故只对Y通道输入网络进行训练。
进一步的，所述步骤二具体为：
浅层特征处理：浅层特征处理模块仅存在一个卷积层，负责将低分辨率图片ILR从图像域映射到特征域，
Fin＝fconv(ILR)
其中：ILR为低分辨率图片，大小为3×H×W，H和W分别表示特征图的高和宽，fconv()表示卷积操作，Fin表示经过浅层特征提取模块得到的特征图，维度大小为C×H×W，C表示通道维度大小，设为64。
进一步的，所述步骤三具体为：
深度特征提取模块：将Fin代入MFDM多尺度特征融合密集模块来提取更深层次的信息，经过上下两条线路，分别代表两个不同尺寸的特征，以此来获得更加充分的信息；同时结合长距离跳过连接和短距离跳过连接，来保证低频信息的流通，使得网络专注于学习高频信息，
Fout＝fmfdm(Fin)
其中：fmfdm()表示上下两条线路特征的提取，以及其中的级联和深度残差结构，Fout为输出的特征图，大小为C×H×W，C表示通道维度大小，设为64；
所述深度特征提取模块包括CG级联组，所述CG包括多个WRB宽残差块和通道注意力机制，通道注意力机制的添加使网络不再平等的对待特征层的每个通道，再通过网络的训练；
所述宽残差块WRB包括卷积和PReLU激活函数。
进一步的，所述步骤四具体为：
上采样模块：使用的是亚像素卷积加激活函数的方式，激活函数选取的是PReLU，
Fup＝fup(Fout)
其中：Fout大小为C×H×W，C设为64，fup()表示上采样操作，Fup为上采样后的特征图，维度大小为C×rH×rW，r表示上采样的倍率。
进一步的，所述步骤五具体为：
图像重建模块：对应于浅层特征提取模块，是将图像从特征域映射回图像域，
ISR＝fconv(Fup)
其中：fconv()表示卷积操作，ISR为重建的高分辨率图片，图像大小为3×rH×rW，r表示上采样的倍数。
与现有技术相比，本发明具有以下有益效果：
本发明针对原始卷积神经网络模型特征提取能力差导致的重建图像缺乏细节信息的问题，提出一种基于多尺度特征融合的机载遥感图像超分辨率重建模型，提高了网络对机载遥感图像特征的提取能力，能够有效对机载遥感图像进行图像特征提取，并恢复出更清晰的细节纹理，且该模型具有对不同机载遥感图像重建的泛化能力，同时最大化保留了原有的图像信息。
附图说明
图1是本发明的流程图；
图2是本发明的神经网络模型图；
图3是本发明神经网络模型图中的级联组结构图；
图4是本发明级联组结构中的宽残差块结构图。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
如图1-4所示，本发明提供的一种基于多尺度特征融合的机载遥感图像超分辨率重建方法，低分辨率图片ILR依次进行浅层特征提取，深度特征提取，上采样模块和图像重建，最终得到重建的高分辨率图片ISR。
作为一个优选方案，如图1和2所示，一种基于多尺度特征融合的机载遥感图像超分辨率重建方法，包括以下步骤：
步骤一、对需要输入网络中的低分辨率图片ILR进行预处理；
所述步骤一具体为：
输入的图片一般为RGB格式，由于RGB图片三通道之间的联系都比较密切，故直接对RGB格式图片进行神经网络的训练会破坏图片原本的结构，故先将图片转换为YCbCr格式，这种格式的三个通道，其中Y为颜色的亮度，Cb和Cr代表蓝色和红色的浓度偏移量，由于人眼对颜色亮度比较敏感而对Cb和Cr不敏感，故只对Y通道输入网络进行训练；
步骤二、对图片进行浅层特征提取；
所述步骤二具体为：
浅层特征处理模块：模块仅存在一个卷积层，负责将ILR图片从图像域映射到特征域。
Fin＝fconv(ILR)
其中：ILR为低分辨率图片，大小为3×H×W，fconv()表示卷积操作，Fin表示经过浅层特征提取模块得到的特征图，维度大小为C×H×W，C表示通道维度大小，设为64，H和W分别表示特征图的高和宽；
步骤三、对图片采用MFDM(多尺度特征融合密集模块)来进行深度特征提取；
如图2所示，所述步骤三具体为：
深度特征提取：将Fin代入MFDM(多尺度特征融合密集模块)来提取更深层次的信息，经过上下两条线路，分别代表两个不同尺寸的特征，以此来获得更加充分的信息。同时结合长距离跳过连接和短距离跳过连接，来保证低频信息的流通，使得网络专注于学习高频信息。
Fout＝fmfdm(Fin)
其中：fmfdm()表示上下两条线路特征的提取，以及其中的级联和深度残差结构，Fout为输出的特征图，大小为C×H×W，C表示通道维度大小，设为64。
如图3所示，深度特征提取其主要组成部分为CG(级联组)，而CG由多个WRB(宽残差块)和通道注意力机制组成，通道注意力机制的添加可以使网络不再平等的对待特征层的每个通道，而是有重点的关注某些通道上，再通过网络的训练，在有益于高频信息的通道上投入较多的算力，从而避免盲目的浪费网络的性能，CG的使用可以提取图片中更多的高频信息。
如图4所示，宽残差块(WRB)由卷积和PReLU激活函数组成，宽残差块的设计能在不提升网络的计算量情况下有效提升网络的非线性表征能力、优化网络的超分辨率重建性能；
步骤四、利用上采样模块对图片上采样到需要的高分辨率尺寸；
所述步骤四具体为：
上采样模块：使用的是亚像素卷积加激活函数的方式，相比于使用去卷积操作，可以使恢复的特征更加清晰，而且运行速度也较快，激活函数选取的是PReLU，相比于ReLU函数，可以更加有效的解决梯度消失的问题。
Fup＝fup(Fout)
其中：Fout大小为C×H×W，C设为64，fup()表示上采样操作，Fup为上采样后的特征图，维度大小为C×rH×rW，r表示上采样的倍率，即Fout大小为C×H×W，经过上采样后大小发生变化，为C×rH×rW；
步骤五、对图片进行重建得到最终输出重建的高分辨率图片ISR；
所述步骤五具体为：
图像重建模块：图像重建模块对应于浅层特征提取模块，是将图像从特征域映射回图像域。
ISR＝fconv(Fup)
其中：fconv()表示卷积操作，ISR为重建的高分辨率图片，图像大小为3×rH×rW，r表示上采样的倍数，即输出图片大小与输入图像大小发生变化。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于多尺度特征融合的机载遥感图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤一、对需要输入网络中的低分辨率图片ILR进行预处理；
步骤二、对图片进行浅层特征提取；
步骤三、对图片采用多尺度特征融合密集模块MFDM来进行深度特征提取；
步骤四、利用上采样模块对图片上采样到需要的高分辨率尺寸；
步骤五、对图片进行重建得到最终输出重建的高分辨率图片ISR。
2.根据权利要求1所述的基于多尺度特征融合的机载遥感图像超分辨率重建方法，其特征在于，
所述步骤一具体为：
输入的图片为RGB格式，先将RGB格式的图片转换为YCbCr格式，YCbCr格式的三个通道中Y为颜色的亮度，Cb和Cr分别代表蓝色和红色的浓度偏移量，由于人眼对颜色亮度比较敏感而对Cb和Cr不敏感，故只对Y通道输入网络进行训练。
3.根据权利要求2所述的基于多尺度特征融合的机载遥感图像超分辨率重建方法，其特征在于，
所述步骤二具体为：
浅层特征处理：浅层特征处理模块仅存在一个卷积层，负责将低分辨率图片ILR从图像域映射到特征域，
Fin＝fconv(ILR)
其中：ILR为低分辨率图片，大小为3×H×W，H和W分别表示特征图的高和宽，fconv()表示卷积操作，Fin表示经过浅层特征提取模块得到的特征图，维度大小为C×H×W，C表示通道维度大小，设为64。
4.根据权利要求3所述的基于多尺度特征融合的机载遥感图像超分辨率重建方法，其特征在于，
所述步骤三具体为：
深度特征提取模块：将Fin代入MFDM多尺度特征融合密集模块来提取更深层次的信息，经过上下两条线路，分别代表两个不同尺寸的特征，以此来获得更加充分的信息；同时结合长距离跳过连接和短距离跳过连接，来保证低频信息的流通，使得网络专注于学习高频信息，
Fout＝fmfdm(Fin)
其中：fmfdm()表示上下两条线路特征的提取，以及其中的级联和深度残差结构，Fout为输出的特征图，大小为C×H×W，C表示通道维度大小，设为64；
深度特征提取模块包括CG级联组，所述CG包括多个WRB宽残差块和通道注意力机制，通道注意力机制的添加使网络不再平等的对待特征层的每个通道，再通过网络的训练；
宽残差块WRB包括卷积和PReLU激活函数。
5.根据权利要求4所述的基于多尺度特征融合的机载遥感图像超分辨率重建方法，其特征在于，
所述步骤四具体为：
上采样模块：使用的是亚像素卷积加激活函数的方式，激活函数选取的是PReLU，
Fup＝fup(Fout)
其中：Fout大小为C×H×W，C设为64，fup()表示上采样操作，Fup为上采样后的特征图，维度大小为C×rH×rW，r表示上采样的倍率。
6.根据权利要求5所述的基于多尺度特征融合的机载遥感图像超分辨率重建方法，其特征在于，
所述步骤五具体为：
图像重建模块：对应于浅层特征提取模块，是将图像从特征域映射回图像域，
ISR＝fconv(Fup)
其中：fconv()表示卷积操作，ISR为重建的高分辨率图片，图像大小为3×rH×rW，r表示上采样的倍数。
CN202210703691.6A 2022-06-21 2022-06-21 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法 Pending CN115018708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210703691.6A CN115018708A (zh) 2022-06-21 2022-06-21 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210703691.6A CN115018708A (zh) 2022-06-21 2022-06-21 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN115018708A true CN115018708A (zh) 2022-09-06

Family

ID=83076658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210703691.6A Pending CN115018708A (zh) 2022-06-21 2022-06-21 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115018708A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546033A (zh) * 2022-12-05 2022-12-30 耕宇牧星(北京)空间科技有限公司 一种基于遥感图像的图像矫正方法
CN117218005A (zh) * 2023-11-08 2023-12-12 华侨大学 基于全距离特征聚合的单帧图像超分辨率方法及系统
CN117474765A (zh) * 2023-12-28 2024-01-30 成都理工大学 基于参考影像纹理转移的dem超分辨率重建系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546033A (zh) * 2022-12-05 2022-12-30 耕宇牧星(北京)空间科技有限公司 一种基于遥感图像的图像矫正方法
CN117218005A (zh) * 2023-11-08 2023-12-12 华侨大学 基于全距离特征聚合的单帧图像超分辨率方法及系统
CN117218005B (zh) * 2023-11-08 2024-03-01 华侨大学 基于全距离特征聚合的单帧图像超分辨率方法及系统
CN117474765A (zh) * 2023-12-28 2024-01-30 成都理工大学 基于参考影像纹理转移的dem超分辨率重建系统
CN117474765B (zh) * 2023-12-28 2024-03-01 成都理工大学 基于参考影像纹理转移的dem超分辨率重建系统

Similar Documents

Publication Publication Date Title
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
CN115018708A (zh) 一种基于多尺度特征融合的机载遥感图像超分辨率重建方法
CN111784582B (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN113284064B (zh) 一种基于注意力机制跨尺度上下文低照度图像增强方法
CN116152120B (zh) 一种融合高低频特征信息的低光图像增强方法及装置
CN112001843B (zh) 一种基于深度学习的红外图像超分辨率重建方法
CN112348747A (zh) 图像增强方法、装置及存储介质
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN112767283A (zh) 一种基于多图像块划分的非均匀图像去雾方法
CN112017116B (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN116188325A (zh) 一种基于深度学习和图像颜色空间特性的图像去噪方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN117351340A (zh) 基于双颜色空间的水下图像增强算法
CN111161189A (zh) 一种基于细节弥补网络的单幅图像再增强方法
CN110675320A (zh) 一种空间参数变化及复杂场景下目标图像清晰化方法
CN115527258A (zh) 一种基于身份信息响应的人脸交换方法
CN112070676B (zh) 一种双通道多感知卷积神经网络的图片超分辨率重建方法
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法
Han et al. Low-light images enhancement and denoising network based on unsupervised learning multi-stream feature modeling
CN115601242B (zh) 一种适用于硬件部署的轻量级图像超分辨率重建方法
Chen et al. Infrared and visible image fusion with deep wavelet-dense network
Wang et al. Lowlight image enhancement based on unsupervised learning global-local feature modeling
Hu A Review of Super-Resolution Reconstruction Based on Supervised Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination