CN114332625A - 基于神经网络的遥感图像彩色化和超分辨率方法及系统 - Google Patents

基于神经网络的遥感图像彩色化和超分辨率方法及系统 Download PDF

Info

Publication number
CN114332625A
CN114332625A CN202111670503.6A CN202111670503A CN114332625A CN 114332625 A CN114332625 A CN 114332625A CN 202111670503 A CN202111670503 A CN 202111670503A CN 114332625 A CN114332625 A CN 114332625A
Authority
CN
China
Prior art keywords
network
remote sensing
resolution
sensing image
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111670503.6A
Other languages
English (en)
Inventor
金鑫
冯佳男
江倩
冯雨婷
王汝欣
刘玲
董云云
王普明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202111670503.6A priority Critical patent/CN114332625A/zh
Publication of CN114332625A publication Critical patent/CN114332625A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于神经网络的遥感图像彩色化和超分辨率方法及系统，该方法包括：获取待处理的遥感图像；对遥感图像进行预处理，得到低分辨率遥感图像；构建残差卷积分支网络；根据残差卷积分支网络构建MRB网络；根据MRB网络提取低分辨率遥感图像的高维特征信息；获取改进的U‑net++网络对所述高维特征信息进行处理，得到特征图；利用卷积计算对特征图进行处理，得到高分辨率彩色图像。本发明能够提高遥感图像彩色化和超分辨率的效果。

Description

基于神经网络的遥感图像彩色化和超分辨率方法及系统
技术领域
本发明涉及计算机视觉领域，特别是涉及一种基于神经网络的遥感图像彩色化和超分辨率方法及系统。
背景技术
遥感图像是记录了丛林、地面田径、矩形农田、房屋建筑、山地等各种地物的电磁波反射照片，其蕴含的遥感信息，除了能够真实形象地展示地物分布现状，还能发现地物间相互影响变化的情况。遥感图像凭借信息量大、宏观、和动态监测等特点可有效帮助人们观察了解地球信息。近年来，遥感图像与场景分类、目标检测、目标定位等多种技术结合为人们提供了许多有价值的实际应用。
图像彩色化为目标灰度图像的每个像素分配合适的颜色，从而增加图像的色彩信息，提高视觉效果。近年来，图像彩色化技术在历史照片还原、影视制作、壁画修复等方面得到广泛应用。因此，将彩色化技术应用于遥感图像，可通过丰富遥感图像视觉信息进一步提升其可读性。
目前，针对图像彩色化问题存在多种解决方案，这些方案大致可以分为三类：基于涂鸦的彩色化方法、基于参考图的彩色化方法和基于学习的彩色化方法。(1)基于涂鸦的彩色化方法需要手动向目标图像添加颜色线条，通过扩散或变分等方法将涂鸦扩散到整幅图像，以此完成图像彩色化。由于真实图像的复杂性和多样性，人类很难通过颜色线条为每个特定区域指定合适的色彩。(2)基于参考图的彩色化方法是把参考图像的色彩信息转移到目标灰度图像上，然而该方法需要人为设定参考图像。在实际应用中，选择合适的彩色参考图像非常困难。以上两种方法不仅需要大量的人工介入，而且其性能严重依赖于人工涂鸦色彩和参考图像色彩，错误的涂鸦信息或色彩参考有可能造成不合常理的彩色化效果。(3)随着深度学习的引入，基于深度学习的图像彩色化方法应运而生，该类方法利用卷积神经网络、生成对抗网络等模型直接将输入的灰度图像转换成彩色图像，其克服了传统彩色化方法对人工介入的需求，节省大量资源。
Zhang等人将图像彩色化视为分类问题，将图像亮度信息输入CNN模型以得到特征信息，再根据颜色分布概率获得色度信息。该方法的网络结构较为简单，彩色化后的图像饱和度较低，且出现了颜色溢出现象。Iizuka等人引入全局特征提取网络，结合先验信息完成上色，但该方法在颜色变化不明显的图像上会失效。Yoo等人提出了新颖的增强型记忆网络，并使用条件GAN实现了小样本的彩色化，但是GAN在学习的过程中很容易发生模型崩溃的情况，如:生成器只会产生一种结果导致判别器无法有效地监督生成器继续学习，从而无法继续训练。Su等人利用预训练的Mask R-CNN分割出目标图像和背景图像，再将两者分别上色，最后融合成一幅完整的彩色图像，该方法非常依赖于分割处理算法，对于分割处理失败的图像，上色效果一般，而且将目标图像和背景图像分开上色也会导致整体颜色过渡不协调。
图像的超分辨率是用特定算法将同一场景中的LR图像转换成HR图像。HR图像具有高像素密度，可以获得图像更多的细节特征。超分辨率技术凭借其灵活性及高实用性，已经被普遍应用在图像压缩、医学成像、遥感成像、公共安防等领域，是目前图像处理领域的研究热点。
图像的超分辨率方法大致可以分为三类：(1)基于插值的超分算法，这类算法比较简单，但是使用这类算法重建的图像有伪影和振铃。(2)基于建模的超分辨率算法，这类算法相较于插值法重建效果较好，但模型运算效率低且受放大因子的影响较大。(3)随着深度学习技术被应用在各类人工智能任务中，基于深度学习的超分辨率技术也得到了积极的发展。目前已经提出了多种基于深度学习的超分辨率方法，这些方法主要有三种策略：a.预先上采样:先将图像直接上采样到高分辨率，再利用深度神经网络进行精调。虽然其输入的低分辨率图像尺寸不受限制，但预先上采样方法对低分辨率图像进行扩展时，会产生噪声放大和模糊等副作用。b.渐进式上采样超分辨：上采样块集成在网络的中间或末端。由于该方法只在低维空间产生较大的计算代价，因此它得到了广泛的应用。c.上下采样迭代超分辨：交替连接上采样层和下采样层，并使用所有中间过程来重建超分辨率结果。
Dong等人提出了一个卷积神经网络模型SRCNN，该模型使用双三次插值将低分辨率图像放大成目标尺寸，接着通过三层卷积网络拟合非线性映射，最后输出高分辨率图像结果。受到ResNet的启发，残差学习也被引入到VDSR超分辨率网络。Kim等人提出了一种深度递归卷积网络DRCN模型。Lai等人结合传统图像算法拉普拉斯金字塔与深度学习，提出了实现超分辨率的网络LapSRN。Shi等人在亚像素卷积网络ESPCN中使用子像素向上卷积代替去卷积块。之后，Lim等人提出了一种具有良好性能的增强深度超分辨率网络EDSR，该算法从原始残块中去除批处理的归一化层，提高了计算效率。深度剩余信道注意网络RCAN是由Zhang等人提出的，这是首次将信道注意机制应用到超分辨率网络中。
从上面分析可以看到，遥感图像实现彩色化和超分辨率是图像处理的重要方面。本发明提出的CSRDNN采用了RGB颜色空间，根据灰度图像预测RGB彩色图像，构建了一个端到端的模型，从而避免了色彩空间变换。
发明内容
本发明的目的是提供一种基于神经网络的遥感图像彩色化和超分辨率方法及系统，能够提高遥感图像彩色化和超分辨率的效果。
为实现上述目的，本发明提供了如下方案：
一种基于神经网络的遥感图像彩色化和超分辨率方法，包括：
获取待处理的遥感图像；
对所述遥感图像进行预处理，得到低分辨率遥感图像；
构建残差卷积分支网络；
根据所述残差卷积分支网络构建MRB网络；
根据所述MRB网络提取所述低分辨率遥感图像的高维特征信息；
获取改进的U-net++网络；
根据所述改进的U-net++网络对所述高维特征信息进行处理，得到特征图；
利用卷积计算对所述特征图进行处理，得到高分辨率彩色图像。
可选的，所述预处理包括下采样和灰度化。
可选的，采用BiCubic插值算法对所述遥感图像进行下采样操作。
可选的，所述MRB网络以平行的方式组织四个残差卷积分支网络，在每个所述残差卷积分支网络中均引入了跳层连接来进一步保持梯度。
可选的，所述根据MRB网络提取所述低分辨率遥感图像的高维特征信息，具体包括：
将所述低分辨率遥感图像输入所述MRB网络，得到第一特征信息；
将所述第一特征信息再次输入所述MRB网络，得到所述高维特征信息。
可选的，所述改进的U-net++网络包括IDB子网络、IMUB子网络和ATB子网络，所述IDB子网络用于特征提取，所述IMUB子网络用于特征重建，所述ATB子网络用于跳跃连接。
可选的，采用cvtColor函数对所述遥感图像进行灰度化处理。
一种基于神经网络的遥感图像彩色化和超分辨率系统，包括：
图像获取模块，用于获取待处理的遥感图像；
预处理模块，用于对所述遥感图像进行预处理，得到低分辨率遥感图像；
残差卷积分支网络构建模块，用于构建残差卷积分支网络；
MRB网络构建模块，用于根据所述残差卷积分支网络构建MRB网络；
特征提取模块，用于根据所述MRB网络提取所述低分辨率遥感图像的高维特征信息；
网络获取模块，用于获取改进的U-net++网络；
特征图模块，用于根据所述改进的U-net++网络对所述高维特征信息进行处理，得到特征图；
卷积计算模块，用于利用卷积计算对所述特征图进行处理，得到高分辨率彩色图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了基于神经网络的遥感图像彩色化和超分辨率方法及系统，遥感图像通过端到端的彩色化和超分辨率深度神经网络能够同时实现图像彩色化和超分辨率，整个过程包括特征提取阶段和结构恢复阶段。首先，低分辨率遥感图像经过残差感受域块MRB构成的特征提取网络，得到提取的高维特征信息。其次，高维特征信息经过以U-net++为基本结构的色彩信息重建网络实现图像彩色化和超分辨率。采用本发明可以在输入较少的信息情况下达到较好的图像彩色化和超分辨率性能，得到的图像在视觉效果和评价指标方面具有较强的竞争力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于神经网络的遥感图像彩色化和超分辨率方法流程图；
图2为本发明MRB网络结构示意图；
图3为本发明改进的U-net++网络结构示意图；
图4为本发明IDB子网络结构示意图；
图5为本发明IMUB子网络结构示意图；
图6为本发明ATB子网络结构示意图；
图7为本发明在NWPU-45数据集上超分辨率放大4倍结果对比图；
图8为本发明AID数据集上超分辨率放大8倍结果对比图；
图9为本发明在NWPU-45数据集上彩色化结果对比图；
图10为本发明在NWPU-45数据集上超分辨率放大2倍和彩色化结果对比图；
图11为本发明基于神经网络的遥感图像彩色化和超分辨率系统模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于神经网络的遥感图像彩色化和超分辨率方法及系统，能够提高遥感图像彩色化和超分辨率的效果。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于神经网络的遥感图像彩色化和超分辨率方法流程图，如图1所示，一种基于神经网络的遥感图像彩色化和超分辨率方法，包括：
步骤101：获取待处理的遥感图像。
遥感图像为现有数据集，把这些数据集的图像作为标签遥感图像。
步骤102：对所述遥感图像进行预处理，得到低分辨率遥感图像。
其中，预处理包括下采样和灰度化处理：
S2-1下采样操作：使用双三次插值(BiCubic插值算法)对高分辨遥感图像进行下采样操作，得到低分辨率的遥感图像。其利用待采样点周围16个点的灰度值作三次插值，不仅需要考虑4个直接相邻点的灰度值，还需要考虑到各邻点间灰度值变化率。假设源图像A大小为m×n，缩放后的目标图像B的大小为M×N。那么根据缩放比例我们可以得到B(X，Y)在A上的对应坐标为A(x，y)＝A(X*(m/M)，Y*(n/N))。这个时候求得的x，y是小数值，我们可以通过这个小数值坐标找到距离最近的16个像素点，利用BiCubic基函数，求出对应的每个像素的权值，最终获得B(X，Y)。
S2-2灰度化处理：真彩色是指在组成一幅彩色图像的每个像素值中，有R，G，B三个基色分量，每个基色分量是直接决定显示设备的基色强度，这样产生的彩色称为真彩色，是真实的原图彩色，因此彩色图像有3个通道。灰度图像是对应位置只有一个灰度值的图像，因此只有1个通道。图像是由像素点矩阵组成的，对图像的操作即为对像素点矩阵的操作。只要在这个像素点矩阵中找到这个像素点的位置，比如第x行，第y列，所以这个像素点在这个像素点矩阵中的位置就可以表示成(x，y)，因为一个像素点的颜色由红、绿、蓝三个颜色变量表示(R，G，B)，通过给这三个变量赋值，可以改变这个像素点的颜色。我们使用opencv库的cvtColor函数使得图像中每个像素点的三个颜色变量相等，即R＝G＝B，最终得到灰度化后的遥感图片。
步骤103：构建残差卷积分支网络。
步骤104：根据所述残差卷积分支网络构建MRB网络。
步骤105：根据所述MRB网络提取所述低分辨率遥感图像的高维特征信息。
步骤103-步骤105具体包括：
分辨率遥感图像经过两个Multi-scale Residual Block(MRB)网络从输入信号中提取多尺度的高维特征信息。
MRB网络以平行的方式组织四个残余卷积分支，每个特征图都具有不同的感受野。在每个分支中引入了跳层连接来进一步保持梯度。与初始的InceptionV1和V3相比，MRB网络去除了池化层并且加深了网络深度，其结构如图2所示。
我们在每个分支中添加残差结构将重建的信息添加到原始信息中。
S5-1:MRB利用一个1×1卷积决定输出的维度；MRB的输入包含宽、高、通道这三个维度。卷积核可以看作对某个局部的加权求和，它是对应局部感知，先从局部开始认识图像，在将所有的局部信息进行组合，这就对应了卷积操作。卷积核的尺寸大小一般有1×1，3×3和5×5，卷积核的个数与希望输出通道数相对应。当1×1卷积核的个数小于输入特征的通道数时，起到降维的作用；当1×1卷积核的个数大于输入特征的通道数时，起到升维的作用。如输入为6×6×32时，1×1卷积的形式是1×1×32，当只有1个1×1卷积核的时候，输出为6×6×1，实现降维的作用，当有64个1×1卷积核的时候，输出为6×6×64，实现升维的作用。
S5-2:将特征送入不同分支，每个分支由不同数量的3×3卷积块和残差结构组成，用于提取不同尺度的特征信息；其中第一个分支使用一个1×1卷积，第二个分支使用1个3×3卷积，第三个分支使用2个3×3卷积，第4个分支使用3个3×3卷积，所有卷积操作的步长都为1，并且使用了SAME填充，SAME的意思是卷积后输出的尺寸与输入尺寸保持一致(步长为1)。通过将卷积核的中心与输入的第一个点进行对齐确定卷积核起始位置，然后补齐对应padding即可。SAME模式下当卷积核边长为偶数时，可以通过在其中一边增加多一行(列)padding，实现输出尺寸与输入尺寸保持一致。因此，通过四个分支最终能输出四个具有相同的尺寸(宽和高)的特征图
S5-3:使用Pytorch的concat()函数将四个感受域下的特征信息在通道维度上进行组合，在PyTorch中，可以通过torch.concat(tensors，dim＝1)函数拼接张量，其中参数tensor保存了所有需要合并张量的序列(任何Python的序列对象，比如列表、元组等)，dim参数指定了需要合并的维度索引。
S5-4:根据卷积操作原理可知1×1卷积不改变输出特征的宽和高，且输出特征的通道数等于卷积核的个数。因此，用一个1×1的卷积改变特征信息的通道数来恢复特征的维度，得到高维特征信息。
MRB网络中引入了大量的残差结构，残差结构如公式(1)所示。其中Ck表示带有激活函数的k×k卷积操作，X表示输入，Resk表示残差块。
Resk(X)＝Ck(X)+X (1)
步骤106：获取改进的U-net++网络。
步骤107：根据所述改进的U-net++网络对所述高维特征信息进行处理，得到特征图。
步骤106-步骤107具体包括：
将高维特征信息输入到改进的U-net++网络，为了描述方便，记为IRA(Information RecoveryArchitecture)网络，其结构如图3所示，改进的U-net++网络包括IDB(nvolution Based Down-sample Block)，IMUB(Intensive Multi-scale Up-sampleBlock)和ATB(Attention Based Transfer Block)三个子网络，利用IDB，IMUB和ATB三个子网络进一步提取特征信息并且重建高分辨率色彩信息得到一个尺寸比输入图像大的特征信息，IDB子网络用于特征提取，IMUB子网络用于特征重建，ATB子网络用于跳跃连接，旨在传递重要的信息。
在IRA网络中，第一层网络能够稳定地传递特征，其他层的网络产生不同尺度的新信息，然后连续地向第一层提供新信息。IRA网络中没有使用密集块，使用注意力机制和残差结构代替原本的跳层结构，根块和端块被设计用来面对不同的计算机视觉任务。IRA网络结构如公式(2)所示。其中Xi，j表示特征图，
Figure BDA0003452839260000081
表示IDB块，
Figure BDA0003452839260000082
表示ATB块，
Figure BDA0003452839260000083
表示IMUB块。
Figure BDA0003452839260000084
S7-1：IDB子网络结构图如图4所示，该模块的整体结构由三个卷积层和对应的激活层构成。第一个1*1卷积层用于修改输出特征的通道维度，而后的3*3卷积层用于生成降采样2倍的特征信息，最后的3*3卷积则用于对降采样的特征进行重组并输出结果。
S7-2：IMUB子网络结构图如图5所示，该模块是在MRB结构的基础上，结合金字塔结构构建的。IMUB的整体结构由接收多尺度特征的提取块以及特征调整和结合模块组成。特征提取块由几个组合卷积层构成，以提取不同尺寸的特征，并将这些特征连接输出。特征提取块采用拉普拉斯金字塔网络的思想，通过调整输入特征的大小，得到一组多尺度特征。其后它们被输送进特征调整模块，调整为所需的维度，这些特征随后会被组合连接成最终的结果输出。
S7-3：ATB子网络结构图如图6所示，该模块在给定中间特征图后，ATB模块利用通道注意力机制CA和空间注意力机制SA在不同的维度上的注意力操作。最后将注意力模块输出的特征连接原输入特征避免梯度消失并输出。
步骤108：利用卷积计算对所述特征图进行处理，得到高分辨率彩色图像。
步骤107得到的特征尺寸大于输入图像的尺寸，在RGB颜色空间下，彩色图像是用R、G、B三个通道表示的，由于卷积操作的卷积核个数能决定输出特征的通道数。因此，步骤108利用一堆卷积操作改变步骤107中得到的特征的通道数输出高分辨率的彩色图像。
此外，为了验证提出的各个模块的有效性，本发明进行了关于MRB网络、IDB子网络和IMRUB子网络和ATB子网络的消融实验：
MRB网络:为了证明MRB网络的作用，使用原始的Inception结构代替MRB进行实验。
IDB子网络:为了证明IDB子网络的作用，使用卷积操作代替IDB进行实验。
IMRUB子网络:为了证明IMRUB子网络的作用，使用卷积、子像素向上卷积和反卷积操作代替IMRUB进行实验。
ATB子网络：为了证明ATB子网络的作用，分别采用去除注意力机制和用CBAM代替ATB两种方式进行实验。
为了验证IRA网络的性能，本发明提出的IRA网络分别与先进的图像超分辨率方法和图像彩色化方法进行了比较。
图7是不同方法在NWPU-45数据集上超分辨率放大4倍的视觉效果对比。采用本发明生成的结果不仅具有最高的PSNR和SSIM，而且具有准确的纹理信息，最接近原始图像。
图8是不同方法在AID数据集上超分辨率放大8倍的视觉效果对比。采用本发明生成的结果不仅具有最高的PSNR和SSIM，而且能够重建出合理的细节。
图9是不同方法在NWPU-45数据集上彩色化所得的视觉效果。如图9所示，采用本发明能够有效重建颜色信息，实验结果与真实图像相近。
图10是IRA网络在NWPU-45数据集上超分辨率放大2倍和彩色化所得视觉效果。如图10所示，采用本发明能够重建出合理的细节和颜色信息。
为了从客观角度评价图像质量，本发明采用一些常用的客观评价指标来检验本发明的性能，包括：峰值信噪比(Peak Signal to Noise Ratio，PSNR)、结构相似度(Structural Similarity Index，SSIM)。表1为消融实验所得结果，表2为超分辨率对比实验的客观指标，表3为彩色化对比实验的客观指标。
表1消融实验所得结果
Figure BDA0003452839260000101
表2超分辨率对比实验的客观指标
Figure BDA0003452839260000102
Figure BDA0003452839260000111
表3彩色化对比实验的客观指标
Methods PSNR SSIM
Iizukas’ 28.547 0.978
Isolas’ 33.366 0.984
Sus’ 32.972 0.988
Yoos’ 31.068 0.979
Ours(depth＝4) 34.597 0.989
由表1可知，使用原始的Inception结构代替MRB使平均PSNR降低了，结果表明引入MRB使感受视野更大，从而提高模型的性能。用卷积操作代替IDB模块会使平均PSNR值和平均SSIM值降低，这表明下采样采用IDB模块比卷积操作更合适。用卷积操作加子像素向上卷积或反卷积代替IMRUB模块均使平均PSNR值和SSIM值下降了，表明引入IMRUB模块是有用的。用简单的跳层结构或CBAM块代替ATB模块时平均PSNR值和SSIM值都下降了，表明ATB模块传递了重要的特征信息，提高模型性能。
由表2可知，与其他超分辨率方法相比，本发明处理得到后的图像具有最高的PSNR和SSIM。与其他超分辨率方法相比，IRA能够重建出合理的细节，具有更准确的纹理信息。因此，本发明提出的IRA的具有良好的图像超分辨率性能。
由表3可知，与其他彩色化方法相比，本发明处理得到后的图像具有最高的PSNR和SSIM。IRA网络可以生成着色精度更高并且图像质量更好的彩色图像。因此，本发明提出的IRA网络具有良好的图像彩色化性能。
基于上述方法，本发明还公开了一种基于神经网络的遥感图像彩色化和超分辨率系统，如图11所示，包括：
图像获取模块201，用于获取待处理的遥感图像；
预处理模块202，用于对所述遥感图像进行预处理，得到低分辨率遥感图像；
残差卷积分支网络构建模块203，用于构建残差卷积分支网络；
MRB网络构建模块204，用于根据所述残差卷积分支网络构建MRB网络；
特征提取模块205，用于根据所述MRB网络提取所述低分辨率遥感图像的高维特征信息；
网络获取模块206，用于获取改进的U-net++网络；
特征图模块207，用于根据所述改进的U-net++网络对所述高维特征信息进行处理，得到特征图；
卷积计算模块208，用于利用卷积计算对所述特征图进行处理，得到高分辨率彩色图像。
综上所述，本发明的创新点在于：
1、本发明为遥感图像设计了相同的架构SR和彩色化。尽管SR和着色确实彼此不同，但提出的架构可以满足它们。通过对卫星数据的分析，验证了该方法的有效性。
2、本发明将SR和着色两个视觉问题结合到一个集成任务中，这意味着所提出的体系结构在给定灰色LR图像时产生一个彩色HR结果。
3、受到Inception网络的启发，本发明提出了一个多尺度残差块(MRB)用于特征提取和重构。在MRB中引入多尺度路径和残差学习。
4、受注意力机制模块的启发，本发明设计了一种新的注意块(ATB)，通过融合通道注意层和空间注意层来传递更重要的特征信息。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于神经网络的遥感图像彩色化和超分辨率方法，其特征在于，包括：
获取待处理的遥感图像；
对所述遥感图像进行预处理，得到低分辨率遥感图像；
构建残差卷积分支网络；
根据所述残差卷积分支网络构建MRB网络；
根据所述MRB网络提取所述低分辨率遥感图像的高维特征信息；
获取改进的U-net++网络；
根据所述改进的U-net++网络对所述高维特征信息进行处理，得到特征图；
利用卷积计算对所述特征图进行处理，得到高分辨率彩色图像。
2.根据权利要求1所述的基于神经网络的遥感图像彩色化和超分辨率方法，其特征在于，所述预处理包括下采样和灰度化。
3.根据权利要求2所述的基于神经网络的遥感图像彩色化和超分辨率方法，其特征在于，采用BiCubic插值算法对所述遥感图像进行下采样操作。
4.根据权利要求1所述的基于神经网络的遥感图像彩色化和超分辨率方法，其特征在于，所述MRB网络以平行的方式组织四个残差卷积分支网络，在每个所述残差卷积分支网络中均引入了跳层连接来进一步保持梯度。
5.根据权利要求1所述的基于神经网络的遥感图像彩色化和超分辨率方法，其特征在于，所述根据MRB网络提取所述低分辨率遥感图像的高维特征信息，具体包括：
将所述低分辨率遥感图像输入所述MRB网络，得到第一特征信息；
将所述第一特征信息再次输入所述MRB网络，得到所述高维特征信息。
6.根据权利要求1所述的基于神经网络的遥感图像彩色化和超分辨率方法，其特征在于，所述改进的U-net++网络包括IDB子网络、IMUB子网络和ATB子网络，所述IDB子网络用于特征提取，所述IMUB子网络用于特征重建，所述ATB子网络用于跳跃连接。
7.根据权利要求1所述的基于神经网络的遥感图像彩色化和超分辨率方法，其特征在于，采用cvtColor函数对所述遥感图像进行灰度化处理。
8.一种基于神经网络的遥感图像彩色化和超分辨率系统，其特征在于，包括：
图像获取模块，用于获取待处理的遥感图像；
预处理模块，用于对所述遥感图像进行预处理，得到低分辨率遥感图像；
残差卷积分支网络构建模块，用于构建残差卷积分支网络；
MRB网络构建模块，用于根据所述残差卷积分支网络构建MRB网络；
特征提取模块，用于根据所述MRB网络提取所述低分辨率遥感图像的高维特征信息；
网络获取模块，用于获取改进的U-net++网络；
特征图模块，用于根据所述改进的U-net++网络对所述高维特征信息进行处理，得到特征图；
卷积计算模块，用于利用卷积计算对所述特征图进行处理，得到高分辨率彩色图像。
CN202111670503.6A 2021-12-31 2021-12-31 基于神经网络的遥感图像彩色化和超分辨率方法及系统 Pending CN114332625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111670503.6A CN114332625A (zh) 2021-12-31 2021-12-31 基于神经网络的遥感图像彩色化和超分辨率方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111670503.6A CN114332625A (zh) 2021-12-31 2021-12-31 基于神经网络的遥感图像彩色化和超分辨率方法及系统

Publications (1)

Publication Number Publication Date
CN114332625A true CN114332625A (zh) 2022-04-12

Family

ID=81021443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111670503.6A Pending CN114332625A (zh) 2021-12-31 2021-12-31 基于神经网络的遥感图像彩色化和超分辨率方法及系统

Country Status (1)

Country Link
CN (1) CN114332625A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018705A (zh) * 2022-05-27 2022-09-06 南京航空航天大学 一种基于增强型生成对抗网络的图像超分辨率方法
CN116740211A (zh) * 2023-06-15 2023-09-12 云南大学 一种面向边缘设备的近红外图像彩色化方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018705A (zh) * 2022-05-27 2022-09-06 南京航空航天大学 一种基于增强型生成对抗网络的图像超分辨率方法
CN116740211A (zh) * 2023-06-15 2023-09-12 云南大学 一种面向边缘设备的近红外图像彩色化方法
CN116740211B (zh) * 2023-06-15 2024-01-30 云南大学 一种面向边缘设备的近红外图像彩色化方法

Similar Documents

Publication Publication Date Title
Dong et al. Remote sensing image super-resolution using novel dense-sampling networks
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Mei et al. Spatial and spectral joint super-resolution using convolutional neural network
EP3644270A1 (en) Image processing device, imaging device, image processing method, program, and storage medium
Li et al. Dual-stage approach toward hyperspectral image super-resolution
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
Fu et al. Residual scale attention network for arbitrary scale image super-resolution
CN114332625A (zh) 基于神经网络的遥感图像彩色化和超分辨率方法及系统
Zhu et al. Stacked U-shape networks with channel-wise attention for image super-resolution
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
Xu et al. Joint demosaicing and super-resolution (JDSR): Network design and perceptual optimization
Zhao et al. A novel infrared image super-resolution method based on sparse representation
Yu et al. E-DBPN: Enhanced deep back-projection networks for remote sensing scene image superresolution
CN116664397B (zh) TransSR-Net结构化图像超分辨重建方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
Pan et al. Structure–color preserving network for hyperspectral image super-resolution
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
Yang et al. MRDN: A lightweight Multi-stage residual distillation network for image Super-Resolution
Gao et al. Bayesian image super-resolution with deep modeling of image statistics
He et al. Unsupervised video satellite super-resolution by using only a single video
Li et al. Model-informed Multi-stage Unsupervised Network for Hyperspectral Image Super-resolution
Liu et al. A densely connected face super-resolution network based on attention mechanism
Yang et al. Deep networks for image super-resolution using hierarchical features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination