CN114549306A - 一种遥感图像空间和光谱分辨率恢复方法及系统 - Google Patents
一种遥感图像空间和光谱分辨率恢复方法及系统 Download PDFInfo
- Publication number
- CN114549306A CN114549306A CN202210070704.0A CN202210070704A CN114549306A CN 114549306 A CN114549306 A CN 114549306A CN 202210070704 A CN202210070704 A CN 202210070704A CN 114549306 A CN114549306 A CN 114549306A
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- map
- channel
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000003595 spectral effect Effects 0.000 title claims abstract description 68
- 230000002776 aggregation Effects 0.000 claims abstract description 49
- 238000004220 aggregation Methods 0.000 claims abstract description 49
- 238000011084 recovery Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 35
- 230000000694 effects Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种遥感图像空间和光谱分辨率恢复方法及系统，包括：获取全色图像并进行预处理，得到退化后的全色图像；基于多分支特征提取网络对所述全色图像进行特征提取，得到四个特征图；将所述特征图进行特征聚合，得到特征聚合图；基于特征重建网络对所述特征聚合图进行特征恢复，得到特征重建图；所述特征重建图为Lab三通道图像；将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像。本发明提出一个端到端的遥感图像空间和光谱分辨率恢复方法，仅输入全色图像就可以生成高空间分辨率的彩色图像，同时恢复了遥感图像的空间分辨率和光谱分辨率。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种遥感图像空间和光谱分辨率恢复方法及系统。
背景技术
高质量的遥感图像通常在城市规划、环境监测、资源勘探、目标识别等遥感应用领域中发挥着重要作用。现有的遥感卫星通常能获取一对全色(panchromatic，PAN)图像和多光谱(multispectral，MS)图像，其中PAN图像空间分辨率高但缺少光谱信息，MS图像具有光谱信息但空间分辨率低。空间分辨率是区分遥感影像空间细节的能力，高空间分辨率的影像有利于目标识别和视觉解译。光谱分辨率是区分遥感影像中地物光谱细节的能力，高光谱分辨率对遥感影像中地物的分类识别具有重要意义。由于设备的限制难以获取到同时具有高空间分辨率和高光谱分辨率的遥感图像，并且在图像生成和传输的过程中都会导致获取到的遥感图像质量变差。使用图像彩色化方法可以恢复遥感图像的光谱分辨率，使用图像超分辨率方法可恢复遥感图像的空间分辨率。
图像彩色化旨在将灰度图像转化为彩色图像来提高图像的视觉效果。现有的图像彩色化方法主要分为基于用户指导的和无用户指导两种。基于用户指导的方法依赖于用户提供的信息，例如涂鸦、参考图像和语义信息等实现图像着色。这种方法不仅需要大量的用户交互还要求用户具有一定的专业性，否则难以得到令人满意的彩色化效果。近年来，深度学习在图像处理领域取得了巨大的成就，将深度学习应用于图像彩色化可以改善基于用户指导的图像彩色化方法的局限性。深度学习根据训练数据集是否有标签信息，大致可以分为有监督学习和无监督学习。基于卷积神经网络(CNN)的灰度图像彩色化算法属于监督学习，使用大量彩色图像作为标签进行训练，实现图像彩色化。生成对抗网络(GAN)可以被视为无监督学习网络，它由一个生成器和一个判别器组成。生成器用来生成彩色的图像，判别器用来判别输入的图像是真实的图像还是由生成器生成的图像，基于GAN的图像彩色化方法可以生成丰富多彩的彩色图像。现有研究表明，深度学习在图像彩色化任务中发挥着重要作用，但现有的图像彩色化方法仍有一定的局限性，例如无法解决多模态问题，依赖于颜色分布或物体检测算法，需要大量的数据来训练等。
早期的图像彩色化方法是基于用户指导的，例如使用草图和涂鸦的颜色为汽车，卧室和面部等生成逼真的颜色。或是基于草图为线稿着色，该方案提出的模型从具有稀疏线条和彩色笔触的插图中生成逼真的颜色。基于用户指导的图像彩色化方法需要用户提高额外指导，具有一定的局限性。将深度学习应用于图像彩色化任务可以打破基于用户指导的彩色化方法的局限性。基于深度学习的方法用彩色图像作为标签来训练神经网络模型，通过训练好的模型灰度图像可以在没有人为参与的情况下进行图像全自动彩色化。现有技术中还提出将图像着色任务转化为自监督学习任务，并在自动图像彩色化领域取得了进展。他们针对图像彩色化的多模态问题建立模型，并鼓励探索颜色多样性。但是全色图像彩色化需要彩色化模型生成与真实情况一致的颜色，而不是为同一全色图像生成不同的颜色。CNN逐渐成为解决包括图像彩色化在内的各种图像预测任务的主力军。CNN通过学习来最小化损失，虽然学习过程是自动化的，但需要大量的人力来设计一个有效的损失函数。GAN可以根据特定目标(如生成与真实图像难以区分的图像)自动设计适合目标的损失函数，从而减少设计损失函数的人力消耗。现有技术中使用条件GAN提出了一个通用的图像转换网络，可以将灰度图像转换为彩色图像.目前基于深度学习的图像自动彩色化技术已经取得了很大进展，但这些方法都需要大量的训练数据，在小样本的情况下图像彩色化效果仍然较差。现有技术还针对小样本问题提出了一种彩色化记忆模型，用有限的数据生成高质量的彩色图像。现有技术提出的ChromaGAN以语义线索为条件来推断给定灰度图像的色度，排除一些不可能的颜色，例如蓝色的苹果。然而ChromaGAN仅适用于语义清晰的图像，不适用于背景复杂且语义信息不明确的遥感图像。现有的一些图像彩色化方法在遥感图像上表现不佳，存在颜色溢出，稀有颜色上色失败等情况。因此，图像彩色化仍然是一个具有挑战性的问题，有待进一步的探索。
图像超分辨率旨在从低空间分辨率图像生成高空间分辨率图像。在计算机视觉中提高图像的空间分辨率是一种重要的图像处理技术。超分辨率对图像压缩也有帮助，我们可以使用小图来传输或保存图像，查看时再使用大图，这样可以减少传输和保存图像的数据量。深度学习为基础的图像超分辨率通过训练一个神经网络模型实现低空间分辨率图像到高空间分辨率图像的映射，训练过程中高空间分辨率图像作为真实标签，低空间分辨率图像作为输入。
近年来，基于深度学习的图像超分辨率取得了重大进步。在众多方法中，SRCNN模型是深度学习在图像超分辨率中的第一个应用，它使用CNN实现低空间分辨率和高空间分辨率图像之间的端到端映射。现有技术中提出的FSRCNN增强了SRCNN，加快了模型的推理速度，并提高了输出图像的质量。有很多方法从模型的角度来优化图像超分辨率的性能，如引入通道注意力机制或引入密集卷积模块等。图像超分辨率是一个不适定问题，通过放大不同尺寸的低空间分辨率图像可以获得相同的高空间分辨率图像。使用均方误差或平均绝对误差作为损失函数训练的模型通常会产生模糊图像。要解决上述图像超分辨率方法存在的问题，适合图像超分辨率的模型和损失函数还有待进一步的研究。
发明内容
为了克服现有技术的不足，本发明的目的是提供一种遥感图像空间和光谱分辨率恢复方法及系统。
为实现上述目的，本发明提供了如下方案：
一种遥感图像空间和光谱分辨率恢复方法，包括：。
获取全色图像并进行预处理，得到退化后的全色图像；
基于多分支特征提取网络对所述全色图像进行特征提取，得到四个特征图；
将所述特征图进行特征聚合，得到特征聚合图；
基于特征重建网络对所述特征聚合图进行特征恢复，得到特征重建图；所述特征重建图为Lab三通道图像；
将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像。
优选地，所述获取基于遥感图像的全色图像，包括：
获取所述遥感图像；
对所述遥感图像进行格式转换，并使用双三次插值法进行下采样，得到退化的所述全色图像。
优选地，所述基于多分支特征提取网络对所述全色图像进行特征提取，得到四个特征图，包括：
基于特征通道混合网络对所述全色图像的特征的通道相关性进行增强，得到增强特征图；
将所述增强特征图输入到VGG-19网络中，得到第一特征图、第二特征图、第三特征图和第四特征图；所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图的形状均不相同；
将所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图分别输入到四个分支上进行上采样和跨步卷积，得到四个形状相同的所述特征图。
优选地，所述特征通道混合网络的公式为：
out(p,q)＝S(Φ(C(v1,v2,…,vc),W(p,q)),X(p,q))；
其中，I(i,j)是输入的所述全色图像的特征图的第i个通道的第j部分，i的取值为[1,c]，c是特征图的通道数，j的取值为1或2；out(p,q)表示所述特征通道混合网络的输出特征图在(p,q)像素点的值，K(.)表示双流自卷积网络，Φ(.)表示卷积操作，C(.)表示聚合操作，W(p,q)表示卷积操作在像素点(p,q)处的权重，X(p,q)表示输入特征在像素点(p,q)处的值，S(.)表示双流注意力网络。
优选地，所述将所述特征图进行特征聚合，得到特征聚合图，包括：
利用子像素向上卷积网络和卷积网络对四个所述特征图进行处理，得到融合特征图；
根据多项式滤波器对所述融合特征图进行特征增强，得到特征增强后的所述特征聚合图。
优选地，所述多项式滤波器的公式为：
其中，
表示多项式滤波在像素点(i,j)处的值，J(.)表示卷积、池化和全连接操作网络，F(i,j)表示多项式的输入特征在像素点(i,j)处的值，W(i,j)表示J(.)操作的权重，P(X,Y)表示一个三次多项式，X为H×H的矩阵，Y为W×W的矩阵，H和W分别为所述多项式滤波器的输入特征图的高和宽。
优选地，所述基于特征重建网络对所述特征聚合图进行特征恢复，得到特征重建图，包括：
利用两个自卷积网络对所述特征聚合图进行扩大，得到扩大后的特征聚合图；所述自卷积网络包括内卷积、子像素向上卷积和两个标准卷积；
利用两个使用标准卷积操作的分支调整扩大后的特征聚合图的通道数，分别得到第一通道特征图和第二通道特征图；
在通道维度使用拼接操作将所述第一通道特征图和所述第二通道特征图进行拼接，得到所述特征重建图。
优选地，所述将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像，包括：
将所述Lab三通道图像由Lab颜色空间转换到RGB颜色空间，得到转换数据；
对所述转换数据进行转换和保存，得到了生成图像；所述生成图像为所述最终的恢复了空间和光谱分辨率的图像。
优选地，所述将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像之后，还包括：
基于多种客观评价指标，将所述生成图像与原始的所述全色图像和多光谱图对比，分析所述生成图像的空间和光谱分辨率恢复效果。
一种遥感图像空间和光谱分辨率恢复系统，包括：。
获取模块，用于获取全色图像并进行预处理，得到退化后的全色图像；
特征提取模块，用于基于多分支特征提取网络对所述全色图像进行特征提取，得到四个特征图；
聚合模块，用于将所述特征图进行特征聚合，得到特征聚合图；
重建模块，用于基于特征重建网络对所述特征聚合图进行特征恢复，得到特征重建图；所述特征重建图为Lab三通道图像；
转化模块，用于将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种遥感图像空间和光谱分辨率恢复方法及系统，包括：获取全色图像并进行预处理，得到退化后的全色图像；基于多分支特征提取网络对所述全色图像进行特征提取，得到四个特征图；将所述特征图进行特征聚合，得到特征聚合图；基于特征重建网络对所述特征聚合图进行特征恢复，得到特征重建图；所述特征重建图为Lab三通道图像；将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像。本发明提出一个端到端的遥感图像空间和光谱分辨率恢复方法，仅输入全色图像就可以生成高空间分辨率的彩色图像，同时恢复遥感图像的空间分辨率和光谱分辨率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的实施例中的遥感图像空间和光谱分辨率恢复方法的流程图；
图2为本发明提供的实施例中的恢复过程的流程图；
图3为本发明提供的实施例中的特征通道混合模块的结构示意图；
图4为本发明提供的实施例中的DInv块的结构示意图；
图5为本发明提供的实施例中的DSE块的结构示意图；
图6为本发明提供的实施例中的多项式滤波器的结构示意图；
图7为本发明提供的实施例中的神经网络架构示意图；
图8为本发明提供的实施例中的空间分辨率和光谱分辨率恢复效果图；
图9为本发明提供的实施例中的方法与其他算法的光谱分辨率恢复效果对比结果图；
图10为本发明提供的实施例中的方法与其他光谱分辨率恢复算法的客观评价指标数据对比结果；
图11为本发明提供的实施例中的方法与其他算法的空间分辨率恢复效果对比结果图；
图12为本发明提供的实施例中的方法与其他空间分辨率恢复算法的客观评价指标数据对比结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤、过程、方法等没有限定于已列出的步骤，而是可选地还包括没有列出的步骤，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤元。
本发明的目的是提供一种遥感图像空间和光谱分辨率恢复方法及系统，能够端到端的将遥感图像空间和光谱分辨率进行恢复，仅输入全色图像就可以生成高空间分辨率的彩色图像，同时恢复遥感图像的空间分辨率和光谱分辨率。
本实施例中提出了一种基于卷积神经网络的多分支遥感图像空间和光谱分辨率恢复网络(MPCSRnet)来同时恢复遥感图像的空间和光谱分辨率。MPCSRnet采用多分支结构提取丰富的特征，并利用特征通道混合块(FCMB)增强特征的相邻通道之间的相互作用。MPCSR-Net中的特征聚合用于从每个分支中学习更有效的特征，然后使用一个多项式滤波器来增强聚合的特征。在获得丰富的特征后，本发明使用U形结构作为恢复架构的主体结构来生成高空间分辨率和高光谱分辨率的图像。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的实施例中的遥感图像空间和光谱分辨率恢复方法的流程图，如图1所示，本发明提供了一种遥感图像空间和光谱分辨率恢复方法，包括：。
步骤100：获取全色图像并进行预处理，得到退化后的全色图像；
步骤200：基于多分支特征提取网络对所述全色图像进行特征提取，得到四个特征图；
步骤300：将所述特征图进行特征聚合，得到特征聚合图；
步骤400：基于特征重建网络对所述特征聚合图进行特征恢复，得到特征重建图；所述特征重建图为Lab三通道图像；
步骤500：将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像。
优选地，所述步骤100包括：
获取所述遥感图像；
对所述遥感图像进行格式转换，并使用双三次插值法进行下采样，得到退化的所述全色图像。
图2为本发明提供的实施例中的恢复过程的流程图，如图2所示，本实施例的第一个步骤为使用双三次插值法对全色图像进行下采样得到退化的全色图像，将其作为MPCSR-Net的输入。
优选地，所述步骤200包括：
基于特征通道混合网络对所述全色图像的特征的通道相关性进行增强，得到增强特征图；
将所述增强特征图输入到VGG-19网络中，得到第一特征图、第二特征图、第三特征图和第四特征图；所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图的形状均不相同；
将所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图分别输入到四个分支上进行上采样和跨步卷积，得到四个形状相同的所述特征图。
优选地，所述特征通道混合网络的公式为：
out(p,q)＝S(Φ(C(v1,v2,…,vc),W(p,q)),X(p,q))；
其中，I(i,j)是输入的所述全色图像的特征图的第i个通道的第j部分，i的取值为[1,c]，c是特征图的通道数，j的取值为1或2；out(p,q)表示所述特征通道混合网络的输出特征图在(p,q)像素点的值，K(.)表示双流自卷积网络，Φ(.)表示卷积操作，C(.)表示聚合操作，W(p,q)表示卷积操作在像素点(p,q)处的权重，X(p,q)表示输入特征在像素点(p,q)处的值，S(.)表示双流注意力网络。
具体的，本实施例第二个步骤为使用多分支特征提取模块提取特征。在进行分支前先使用一个特征通道混合模块(FCMB)来增强输入特征的通道相关性，再使用VGG-19作为主干网络提取到四个特征图。将这四个特征图输入到四个分支中，每个分支最开始都使用了一个上采样块，第一个分支使用4个3×3的步长为2的卷积，并结合FCMB模块提取的特征；第二个分支使用3个3×3的步长为2的卷积；第三个分支使用2个3×3的步长为2的卷积；第四个分支使用1个3×3的步长为2的卷积。由于步长为2的卷积会使特征图的尺寸变小，为使每个分支得到的特征图最后输出尺寸都保持一致，我们每个分支中卷积操作的数量都不一致。
进一步地，本实施例第二个步骤首先使用本发明出的特征通道混合模块(FCMB)来增强通道间的相关性。FCMB中的双流自卷积块(DInv)为相邻通道的特征赋予权重来增加相邻通道的相关性。FCMB结构如图3所示。FCMB分五步实现。第一步，把输入图像在通道维度将输入图像划分成C个特征图(C为输入图像的通道数)，将这些特征图标记为ui；第二步，将ui对半划分分别得到特征ui1和ui2；第三步，使用DInv块来根据混合相邻通道之间的特征，得到混合后的特征记为vi；第四步，使用拼接操作(concat)将所有的vi特征合在一起；第五步，通过一个双流注意力块(DSE)为输入特征和第四步得到的特征分配权重。
其次，DInv块的输入是两个特征图，分别记为x和y，DInv块的结构如图4所示。x通过平均池化操作和两个1×1卷积得到大小为k×k的卷积核，利用得到的卷积核对y进行卷积得到输出特征图。
再次，DSE块的输入是两个特征图，分别记为x和y，DSE块的结构如图5所示。x通过一个平均池化层和全连接层得到权重，把所得的权重赋给y得到输出特征图。
优选地，所述步骤300包括：
利用子像素向上卷积网络和卷积网络对四个所述特征图进行处理，得到融合特征图；
根据多项式滤波器对所述融合特征图进行特征增强，得到特征增强后的所述特征聚合图。
优选地，所述多项式滤波器的公式为：
其中，
表示多项式滤波在像素点(i,j)处的值，J(.)表示卷积、池化和全连接操作网络，F(i,j)表示多项式的输入特征在像素点(i,j)处的值，W(i,j)表示J(.)操作的权重，P(X,Y)表示一个三次多项式，X为H×H的矩阵，Y为W×W的矩阵，H和W分别为所述多项式滤波器的输入特征图的高和宽。
具体的，本实施例中第三个步骤为使用子像素向上卷积将S2中提取到的四个尺寸相同的特征聚合在一起以增大特征图的尺寸，再利用一个多项式滤波器增强聚合后的特征。
进一步地，本实施例第三个步骤首先使用多项式滤波器的特征的目的是增强重要的信息，抑制不重要的信息，即为特征分配不同的权重。多项式滤波器的结构如图6所示。输入特征通过交叠四个卷积操作和三个最大池化操作、全局池化操作和全连接操作得到一个向量，将这个向量与由输入特征的宽和高构造出来的多项式相乘，得到一个权重矩阵，最后输入特征与权重矩阵相乘得到输出特征图。
优选地，所述步骤400包括：
利用两个自卷积网络对所述特征聚合图进行扩大，得到扩大后的特征聚合图；所述自卷积网络包括内卷积、子像素向上卷积和两个标准卷积；
利用两个使用标准卷积操作的分支调整扩大后的特征聚合图的通道数，分别得到第一通道特征图和第二通道特征图；
在通道维度使用拼接操作将所述第一通道特征图和所述第二通道特征图进行拼接，得到所述特征重建图。
具体的，本实施例中第四个步骤将第三个步骤得到的特征图输入到特征重建模块进行特征恢复。特征重建模块由两个自卷积块(SCB)、六个卷积操作和一个拼接操作构成。
进一步地，本实施例中第四个步骤的SCB由两个标准卷积层、一个内卷积层和一个子像素向上卷积层组成。SCB利用对内卷积层来减少通道上的内核冗余。标准卷积核具有空间不可知和信道特定这两个显著特性，内卷积具有与标准卷积相反的特征，内卷积具有空间特定和信道不可知两个特征，即内卷积核在空间上不同，但它们在信道中是共享的。在特征恢复阶段，增大特征图的尺寸是不可避免的，因此本实施例利用子像素卷积层来扩大特征图的尺寸。
其次把六个卷积操作划分成两组，分别得到L通道(通道数为1)和ab通道(通道数为2)的输出。
再次使用拼接操作将所述L通道和ab通道的输出拼接起来得到三通道(L、a、b通道)的输出图像。
优选地，所述步骤500包括：
将所述Lab三通道图像由Lab颜色空间转换到RGB颜色空间，得到转换数据；
对所述转换数据进行转换和保存，得到了生成图像；所述生成图像为所述最终的恢复了空间和光谱分辨率的图像。
具体的，本实施例中第五个步骤是将第四个步骤中的输出图像由Lab颜色空间转到RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像。
优选地，所述步骤500之后还包括：
基于多种客观评价指标，将所述生成图像与原始的所述全色图像和多光谱图对比，分析所述生成图像的空间和光谱分辨率恢复效果。
图7为本发明提供的实施例中的神经网络架构示意图，如图7所示，本实施例中还包括以下步骤：
S1：利用双三次插值将形状为256×256×1的全色图像退化为形状为128×128×1的图像，将图像转换成Numpy的数据格式，在通道维度上复制两次得到128×128×3的数据，记为。
S2：将S1中得到的数据输入到多分支特征提取模块中。
S2-1：通过FCMB块得到形状为128×128×3的特征图，FCMB的公式如下：
out(p,q)＝S(Φ(C(v1,v2,…,vc),W(p,q)),X(p,q))；
其中，I(i,j)是输入特征图第i个通道的第j部分，i的取值为[1,c],c是特征图的通道数，j的取值为1或2。out(p,q)表示FCMB模块的输出特征图在(p,q)像素点的值，K(.)表示双流自卷积块，Φ(.)表示卷积操作，C(.)表示聚合操作，W(p,q)表示卷积操作在像素点(p,q)处的权重，X(p,q)表示输入特征在像素点(p,q)处的值，S(.)表示双流注意力块。通过上述操作，使得输出特征的形状与输入特征的形状一致。
S2-2：将S2-1得到的特征图输入到VGG-19网络中得到四个形状分别为128×128×64、64×64×128、32×32×256和16×16×512的特征。
S2-3：将S2-2得到的四个特征图输入到四个分支中，每个分支先使用一个上采样操作来扩大特征图，分别得到形状为256×256×64、128×128×128、64×64×256和32×32×512的特征图。进一步的,每个分支使用不同数量的步长为2的跨步卷积，一个步长为2的跨步卷积可以使特征图的尺寸缩小一半，四个分支分别使用四个、三个、两个和一个步长为2的跨步卷积得到四个形状为16×16×192的特征图。
S3：将S2中各个分支提取到的特征图输入到特征聚合模块中。
S3-1：四个形状为16×16×192通过一个子像素向上卷积操作得到一个形状为32×32×192的特征图，使用一个卷积操作调整通道数得到形状为32×32×160的特征图，再通过一个子像素向上卷积操作得到一个形状为64×64×160的特征图。通过一个卷积操作调整特征图的通道数得到形状为64×64×128的特征图。
S3-2：使用一个多项式滤波器为特征赋予权重来增强特征，多项式滤波的公式如下：
其中
表示多项式滤波在像素点(i,j)处的值，J(.)表示卷积、池化和全连接操作模块，F(i,j)表示多项式的输入特征在像素点(i,j)处的值，W(i,j)表示J(.)操作的权重，P(X,Y)表示一个三次多项式，X为H×H的矩阵，Y为W×W的矩阵，H和W分别为多项式滤波器的输入特征图的高和宽。通过多项式滤波器得到形状为64×64×128的增强后的特征图。
S4：将S3得到的特征图输入到特征重建模块。
S4-1：通过两个自卷积块扩大特征图，自卷积块由两个标准卷积、一个内卷积和一个子像素向上卷积构成，标准卷积用于调整特征图的通道数，内卷积用来实现通道共享，子像素向上卷积用来扩大特征图的尺寸。通过两个自卷积块得到形状为256×256×64的特征图。
S4-2：通过两个使用标准卷积操作的分支来调整通道数，分别得到形状为256×256×1和256×256×2的两个特征图，记为
和
S4-3：在通道维度使用拼接操作将S4-2中的两个特征图拼接起来得到一个形状为256×256×3的特征图，记为
S4-4：
与原始的全色图像(记为SPAN)计算L1损失，
与多光谱图像的ab通道(记为YMS_ab)计算L1损失，
与全色图像和多光谱拼接的图像(记为C(SPAN,YMS_ab))计算结构相似度损失。损失函数设置为：
其中：
S5：把S4中得到的
由Lab颜色空间转换到RGB颜色空间。
S6:将S5生成的数据编译成图像并保存得到最终的高空间分辨率的彩色图像。
S7：通过多种客观评价指标与原全色图和多光谱图对比，分析生成图像的空间和光谱分辨率恢复效果。
参见图7所示，本实施例中还包括以下步骤：
S1：获取遥感图像，将图像转换成Numpy的数据格式，全色图像数据的形状为256×256×1，多光谱图像数据的形状为64×64×3，在全色图像数据的通道维度上复制两次得到形状为256×256×3的全色图像数据，记为Y。
S2：将Y输入到特征提取模块，得到四个形状为32×32×192的特征图。
S3：将S2得到的四个特征图输入到特征聚合模块得到形状为128×128×128的特征图。
S4：将S3得到的特征图输入到特征重建模块得到形状为512×512×3的数据。
S5：将S4得到的数据由Lab颜色空间转到RGB颜色空间。
S6:将S5生成的数据编译成图像并保存得到最终的高空间分辨率的彩色图像。
S7：通过多种客观评价指标与原全色图和多光谱图对比，分析生成图像的空间分辨率和光谱分辨率恢复效果。
图8为本发明提供的实施例中的空间分辨率和光谱分辨率恢复效果图，如图8所示，其中(a)为MS图像，(b)为本发明的输入图像，(c)为本发明的输出图像。由图8可知，本发明能够为不同尺寸的遥感图像实现空间分辨率和光谱分辨率恢复。
图9为本发明方法与其他算法的光谱分辨率恢复效果对比结果。其中(a)为放大4倍的MS图像，(b)为输入图像，(c)-(g)分别为Iizuka等人提出的方法，Zhang等人提出的方法，Isola等人提出的方法，Yoo等人提出的方法，Vitoria等人提出的方法。(h)为本发明提出的方法。由图9可看出：1)与其他方法相比，本发明方法生成图像的光谱信息更接近多光谱图像。例如，图9的第一行，本发明提出的方法可以正确地为屋顶、土地和植被着色，而其他方法有一些错误的颜色(例如，左上角的屋顶是灰色的，而在多光谱图像中是蓝色的；红色矩形框中的土地是绿色的，而在多光谱图像中是棕色的)。2)我们的模型特别擅长给罕见的实例着色。例如，图9的第四行，MS图像在红色框中有一个绿色的植被；只有我们本发明的方法使该植被着色为绿色，而所有其他方法均把该植被着色为褐色。3)我们的方法没有颜色溢出的问题。例如，图8的最后一行，(d)中的道路显示为蓝色，(f)和(g)中的道路显示为绿色，但蓝色和绿色都不是道路的颜色。然而，本发明的方法生成了与多光谱图像相同的道路颜色。
为了更好的对图像光谱分辨率恢复结果进行分析和对比，本发明使用了多种图像质量评价指标(PSNR、SSIM、CC、UIQI、MSE、SAM和ERGAS)对恢复了光谱分辨率后的图像进行客观评价，客观评价指标数据如图10所示。由图10可知，本发明方法在除了ERGAS之外的所有指标上都是最优的，这是因为我们的多分支结构模型可以提取出丰富的特征，使得最终生成的图像质量高。总之，本发明方法在视觉效果和客观评价指标上都优于对比算法。
图11为本发明提供的实施例中的方法与其他算法的空间分辨率恢复效果对比结果图，如图11所示，为本发明方法与其他算法的空间分辨率恢复效果对比结果。其中(a)为输入图像，(b)-(h)分别为Dong等人提出的SRCNN，Dong等人提出的FSRCNN，Ledig等人提出的SRGAN，Lim等人提出的EDSR，Lai等人提出的LapSR，Li等人提出的MSRN，Zhang等人提出的RDN。(i)为本发明提出的方法。由图11可看出我们可以看到，本发明的空间分辨率恢复方法生成的图像在视觉上与其他方法生成的图像具有可比性。特别是，我们的方法不会产生明显的伪影。
为了更好的对图像的空间分辨率恢复结果进行分析和对比，本发明使用了多种图像质量评价指标(PSNR、SSIM、CC、UIQI、MSE、SAM和ERGAS)对恢复空间分辨率后的图像进行客观评价，客观评价指标数据如图12所示。由图12可知，本发明方法可以看出，我们的方法优于其他方法，进一步说明了本发明提出的多分支模型的有效性。
本实施例还提供了一种遥感图像空间和光谱分辨率恢复系统，包括：
获取模块，用于获取全色图像并进行预处理，得到退化后的全色图像；
特征提取模块，用于基于多分支特征提取网络对所述全色图像进行特征提取，得到四个特征图；
聚合模块，用于将所述特征图进行特征聚合，得到特征聚合图；
重建模块，用于基于特征重建网络对所述特征聚合图进行特征恢复，得到特征重建图；所述特征重建图为Lab三通道图像；
转化模块，用于将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像。
本发明的有益效果如下：
(1)本发明提出一个端到端的遥感图像空间和光谱分辨率恢复方法，仅输入全色图像就可以生成高空间分辨率的彩色图像，同时恢复了遥感图像的空间分辨率和光谱分辨率。
(2)本发明使用多分支结构提取多个维度的特征，并将每个分支提取到的特征聚合起来以提高特征提取能力。
(3)本发明设计了一个特征通道混合模块(FCMB)来利用通道间的相关性。
(4)受到cubic滤波器的启发，本发明设计了一个多项式滤波器来增强特征。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种遥感图像空间和光谱分辨率恢复方法，其特征在于，包括：
获取全色图像并进行预处理，得到退化后的全色图像；
基于多分支特征提取网络对所述全色图像进行特征提取，得到四个特征图；
将所述特征图进行特征聚合，得到特征聚合图；
基于特征重建网络对所述特征聚合图进行特征恢复，得到特征重建图；所述特征重建图为Lab三通道图像；
将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像。
2.根据权利要求1所述的遥感图像空间和光谱分辨率恢复方法，其特征在于，所述获取基于遥感图像的全色图像，包括：
获取所述遥感图像；
对所述遥感图像进行格式转换，并使用双三次插值法进行下采样，得到退化的所述全色图像。
3.根据权利要求1所述的遥感图像空间和光谱分辨率恢复方法，其特征在于，所述基于多分支特征提取网络对所述全色图像进行特征提取，得到四个特征图，包括：
基于特征通道混合网络对所述全色图像的特征的通道相关性进行增强，得到增强特征图；
将所述增强特征图输入到VGG-19网络中，得到第一特征图、第二特征图、第三特征图和第四特征图；所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图的形状均不相同；
将所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图分别输入到四个分支上进行上采样和跨步卷积，得到四个形状相同的所述特征图。
4.根据权利要求3所述的遥感图像空间和光谱分辨率恢复方法，其特征在于，所述特征通道混合网络的公式为：
out(p，q)＝S(Φ(C(v1，v2，…，vc)，W(p，q))，X(p，q))；
其中，I(i，j)是输入的所述全色图像的特征图的第i个通道的第j部分，i的取值为[1，c]，c是特征图的通道数，j的取值为1或2；out(p，q)表示所述特征通道混合网络的输出特征图在(p，q)像素点的值，K(.)表示双流自卷积网络，Φ(.)表示卷积操作，C(.)表示聚合操作，W(p，q)表示卷积操作在像素点(p，q)处的权重，X(p，q)表示输入特征在像素点(p，q)处的值，S(.)表示双流注意力网络。
5.根据权利要求1所述的遥感图像空间和光谱分辨率恢复方法，其特征在于，所述将所述特征图进行特征聚合，得到特征聚合图，包括：
利用子像素向上卷积网络和卷积网络对四个所述特征图进行处理，得到融合特征图；
根据多项式滤波器对所述融合特征图进行特征增强，得到特征增强后的所述特征聚合图。
6.根据权利要求5所述的遥感图像空间和光谱分辨率恢复方法，其特征在于，所述多项式滤波器的公式为：
其中，
表示多项式滤波在像素点(i，j)处的值，J(.)表示卷积、池化和全连接操作网络，F(i，j)表示多项式的输入特征在像素点(i，j)处的值，W(i，j)表示J(.)操作的权重，P(X，Y)表示一个三次多项式，X为H×H的矩阵，Y为W×W的矩阵，H和W分别为所述多项式滤波器的输入特征图的高和宽。
7.根据权利要求1所述的遥感图像空间和光谱分辨率恢复方法，其特征在于，所述基于特征重建网络对所述特征聚合图进行特征恢复，得到特征重建图，包括：
利用两个自卷积网络对所述特征聚合图进行扩大，得到扩大后的特征聚合图；所述自卷积网络包括内卷积、子像素向上卷积和两个标准卷积；
利用两个使用标准卷积操作的分支调整扩大后的特征聚合图的通道数，分别得到第一通道特征图和第二通道特征图；
在通道维度使用拼接操作将所述第一通道特征图和所述第二通道特征图进行拼接，得到所述特征重建图。
8.根据权利要求1所述的遥感图像空间和光谱分辨率恢复方法，其特征在于，所述将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像，包括：
将所述Lab三通道图像由Lab颜色空间转换到RGB颜色空间，得到转换数据；
对所述转换数据进行转换和保存，得到了生成图像；所述生成图像为所述最终的恢复了空间和光谱分辨率的图像。
9.根据权利要求8所述的遥感图像空间和光谱分辨率恢复方法，其特征在于，所述将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像之后，还包括：
基于多种客观评价指标，将所述生成图像与原始的所述全色图像和多光谱图对比，分析所述生成图像的空间和光谱分辨率恢复效果。
10.一种遥感图像空间和光谱分辨率恢复系统，其特征在于，包括：
获取模块，用于获取全色图像并进行预处理，得到退化后的全色图像；
特征提取模块，用于基于多分支特征提取网络对所述全色图像进行特征提取，得到四个特征图；
聚合模块，用于将所述特征图进行特征聚合，得到特征聚合图；
重建模块，用于基于特征重建网络对所述特征聚合图进行特征恢复，得到特征重建图；所述特征重建图为Lab三通道图像；
转化模块，用于将所述Lab三通道图像的颜色空间转化为RGB颜色空间，得到最终的恢复了空间和光谱分辨率的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210070704.0A CN114549306A (zh) | 2022-01-21 | 2022-01-21 | 一种遥感图像空间和光谱分辨率恢复方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210070704.0A CN114549306A (zh) | 2022-01-21 | 2022-01-21 | 一种遥感图像空间和光谱分辨率恢复方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549306A true CN114549306A (zh) | 2022-05-27 |
Family
ID=81672075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210070704.0A Pending CN114549306A (zh) | 2022-01-21 | 2022-01-21 | 一种遥感图像空间和光谱分辨率恢复方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549306A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079105A (zh) * | 2023-08-04 | 2023-11-17 | 中国科学院空天信息创新研究院 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
-
2022
- 2022-01-21 CN CN202210070704.0A patent/CN114549306A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079105A (zh) * | 2023-08-04 | 2023-11-17 | 中国科学院空天信息创新研究院 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
| CN117079105B (zh) * | 2023-08-04 | 2024-04-26 | 中国科学院空天信息创新研究院 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275618B (zh) | 一种基于双支感知的深度图超分辨率重建网络构建方法 | |
| CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN108648197B (zh) | 一种基于图像背景掩膜的目标候选区域提取方法 | |
| Guo et al. | Super-resolution integrated building semantic segmentation for multi-source remote sensing imagery | |
| CN111754438A (zh) | 基于多分支门控融合的水下图像复原模型及其复原方法 | |
| CN113902915A (zh) | 一种基于低光照复杂道路场景下的语义分割方法及系统 | |
| CN109558806A (zh) | 高分遥感图像变化的检测方法和系统 | |
| CN112489050A (zh) | 一种基于特征迁移的半监督实例分割算法 | |
| CN110059728A (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN110866879A (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
| CN114187520B (zh) | 一种建筑物提取模型的构建及应用方法 | |
| CN113902646A (zh) | 基于深浅层特征加权融合网络的遥感影像泛锐化方法 | |
| CN111145290A (zh) | 一种图像彩色化方法、系统和计算机可读存储介质 | |
| CN114897742B (zh) | 一种纹理和结构特征两次融合的图像修复方法 | |
| CN111833261A (zh) | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 | |
| CN109993806A (zh) | 一种颜色识别方法、装置及电子设备 | |
| CN116485934A (zh) | 一种基于CNN和ViT的红外图像彩色化方法 | |
| CN117252936A (zh) | 一种适配多种训练策略的红外图像彩色化方法及系统 | |
| CN114549306A (zh) | 一种遥感图像空间和光谱分辨率恢复方法及系统 | |
| CN117495718A (zh) | 一种多尺度自适应的遥感图像去雾方法 | |
| CN112508847A (zh) | 一种基于深度特征与结构加权lbp特征的图像质量评价方法 | |
| CN115035377B (zh) | 基于双流编码和交互解码的显著性检测网络系统 | |
| CN116664421A (zh) | 一种基于多光照角度图像融合的航天器图像去阴影的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |