CN113850813B - 基于空间分辨率域自适应的无监督遥感图像语义分割方法 - Google Patents
基于空间分辨率域自适应的无监督遥感图像语义分割方法 Download PDFInfo
- Publication number
- CN113850813B CN113850813B CN202111086003.8A CN202111086003A CN113850813B CN 113850813 B CN113850813 B CN 113850813B CN 202111086003 A CN202111086003 A CN 202111086003A CN 113850813 B CN113850813 B CN 113850813B
- Authority
- CN
- China
- Prior art keywords
- resolution
- domain
- remote sensing
- super
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000005070 sampling Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 49
- 230000004913 activation Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 239000011800 void material Substances 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 239000000523 sample Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于空间分辨率域自适应的无监督遥感图像语义分割领域，基于空间分辨率域自适应的无监督遥感图像语义分割方法包括如下步骤：获取源域低分辨率遥感图像数据集和目标域高分辨率遥感图像数据集，分为：图像语义分割训练集和图像语义分割测试集；搭建基于对抗学习的超分辨率‑语义分割多任务网络；搭建好的基于对抗学习的超分辨率网络进行网络预训练；训练基于对抗学习的超分辨率‑语义分割多任务网络；将图像语义分割测试集输入已训练好的基于对抗学习的超分辨率‑语义分割多任务网络生成器得到最终预测结果。
Description
技术领域
本发明涉及基于空间域自适应的遥感图像语义分割方法，属于遥感图像语义分割方法技术领域。
背景技术
图像语义分割，又被称作图像标注，是指为图像中的每一像素分配语义标签，基于语义单元将图像分割为若干具有不同语义标识的区域。语义分割在遥感图像信息提取中扮演重要角色，是低高层遥感图像处理及分析的重要衔接。
全卷积网络等基于深度学习的图像语义分割技术因其强大的特征自动表达能力在遥感影像语义分割的研究中取得突破性进展，实现了端到端和像素到像素式图像自动语义分割。尽管现有的许多深度神经网络模型在图像语义分割上已经有了许多成功的表现，但是深度学习是一种基于数据驱动的学习技术，模型的性能高度依赖大量多样高精度像素级标注的训练样本。而且高分辨率遥感图像地物特征呈现出类间差距小、类内差距大和尺度变化范围大的特点，往往需要更加复杂的模型以增强模型特征表达能力，进而会导致模型性能更加依赖大规模数据集。目前高分辨率遥感图像样本标注目前大多只能依赖人工，因而我们往往只能利用少量由专家标注的数据得到一个成像条件单调(如特定时间段、有限个别地域和特定遥感探测器等)的小样本集。缺乏足够的训练样本将导致严重的过拟合，即模型在测试集上分割性能大幅下降；而成像条件的单调导致了这些模型及其有限的泛化性能，即领域偏移(Domain Shifts)。
为了解决领域偏移和充分利用现有数据集，无监督域自适应方法通过迁移在源域数据集学习的知识实现无标签的目标域数据集的语义分割任务，其中，采用对抗生成网络的域自适应方法通过生成器和判别器的对抗来学习域不变特征，可以有效缩小域间差异。
不同于目前大多数遥感图像域自适应方法仅考虑不同探测器之间风格差异即光谱差异，基于空间分辨率域自适应(Resolution Domain Adaptation，RDA)的无监督语义分割方法注意到不同探测器所获取的遥感图像具有分辨率上的差异，同时考虑到超分辨率和语义分割可以相互促进性能提升，因而探索利用超分辨率和语义分割多任务多尺度生成对抗网络同时学习光谱和尺度不变特征实现遥感图像的无监督域自适应语义分割。但是传统上采样模型无法实现图像分辨率任意倍数的放大，如果放大倍数变化，就需要重新设计上采样模块，这将造成大量重复计算，使得语义分割任务非常耗时。此外，传统上采样模型还要求上采样倍数必须是整数，而不同探测器遥感图像之间的空间分辨率比值并不总是整数。这些不足严重地限制了该模型的实际应用。
发明内容
本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种可以在单个模型上实现任意放大倍数甚至是非整数倍数的空间分辨率域自适应方法，并以此为基础实现遥感图像的无监督语义分割。
为了解决上述技术问题，本发明采用的技术方案为：基于空间分辨率域自适应的遥感图像语义分割方法，包括如下步骤：
一种基于空间域自适应的无监督遥感图像语义分割方法，其特征在于：包括如下步骤：
步骤一：获取源域低分辨率遥感图像数据集和目标域高分辨率遥感图像数据集，对源域低分辨率遥感图像数据集和目标域高分辨率遥感图像数据集进行预处理，将获取的目标域高分辨率遥感图像数据集分为：目标域训练集Mx和目标域测试集Mc两部分；
由源域低分辨率遥感图像数据集和目标域训练集Mx构成图像语义分割训练集Fx，由目标域测试集Mc构成图像语义分割测试集Fc；
步骤二：搭建基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg，所述基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg由特征编码模块、上采样模块、像素级域判别模块、特征解码模块、输出空间域判别模块组成；
特征编码模块、上采样模块和像素级域判别模块构成基于对抗学习的超分辨率网络GANsr，其中特征编码模块和上采样模块构成基于对抗学习的超分辨率网络GANsr中的生成器Gsr；
像素级域判别模块构成基于对抗学习的超分辨率网络GANsr中的判别器Dsr；
特征解码模块通过金字塔特征聚合结构接收来自特征编码模块和上采样模块的低级特征信息，实现语义预测功能；
特征编码模块、上采样模块和特征解码模块构成基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg的生成器Gsr-seg；
像素级域判别模块和输出空间域判别模块组成基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg的判别器Dsr-seg；
步骤三：对步骤二中搭建好的基于对抗学习的超分辨率网络GANsr进行预训练；
步骤四：训练基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg；
步骤五：将图像语义分割测试集Fc数据输入到步骤四中已经训练好的基于对抗学习的超分辨率-语义分割多任务网络中GANsr-seg的生成器模型Gsr-seg，输出图像语义分割测试集的分割结果。
所述步骤一中的源域低分辨率遥感图像数据集包括低分辨率遥感图像及其标签数据图像，目标域高分辨率遥感图像数据集包括高分辨率遥感图像，其中源域低分辨率遥感图像和目标域高分辨率遥感图像通过遥感卫星获取。
所述步骤一中对源域低分辨率遥感图像数据集和目标域高分辨率遥感图像集数据集进行的预处理具体包括图像裁剪和图像采样；
所述图像裁剪将目标高分辨率遥感图像的尺寸裁剪为源域低分辨率遥感图像尺寸的r倍(r是尺度因子，即源域低分辨率遥感图像和目标域高分辨率遥感图像对应空间分辨率的倍数)；
所述图像采样将目标域训练集中的高分辨率遥感图像进行下采样至空间分辨率与源域低分辨率遥感图像相同，将源域低分辨率遥感图像数据集进行上采样至空间分辨率与目标域高分辨率遥感图像相同。
所述步骤二中的特征编码模块依次由三个低层特征提取单元、一个最大池化层、一个残差连接模块和两个多尺度特征提取单元组成，其中低层特征提取单元由一个卷积层和一个LeakyReLU激活函数层构成，多尺度特征提取单元由一个残差空洞空间卷积池化金字塔模块和一个残差连接模块组成；
所述步骤二中的上采样模块由一个反卷积层、一个元上采样模块和一个卷积核大小为9×9、填充率为4的卷积层组成，其中反卷积层负责恢复特征编码过程中的空间分辨率损失，元上采样模块用于超分辨率；
所述步骤二中的特征解码模块有两个特征解码解码单元和一个卷积核大小为9×9、填充率为4的卷积层组成，其中特征解码解码单元由一个双线性插值操作、一个聚合操作和一个3×3卷积层组成；
所述步骤二中的像素级域判别模块由五个卷积核大小为4×4、步长为2、填充率为1的卷积层组成，其中前两个卷积通过LeakyReLU激活函数连接，其余卷积之间通过实例正则化层和LeakyReLU激活函数层以此连接，该模块对输入图像所属域进行判断，从而降低源域图像和目标域图像的外观或风格差异；
所述步骤二中的输出空间域判别模块由通过四个LeakyReLU激活函数连接的五个卷积核大小为4×4、步长为2、填充率为1的卷积层组成，实现对像素标签分布所属域进行判断，从而实现输出空间域自适应。
所述的特征编码模块的三个低层特征提取单元中,卷积层的具体参数如下：核大小为3×3、填充率和步长均为1，输出通道数分别为64、128和256；
所述LeakyReLU激活函数的具体参数：当输入小于零时的斜率为0.1；
所述最大池化层具体参数为：核大小为3×3、步长为2、填充率为1；
所述残差空洞空间卷积池化金字塔模块由三个连续的残差空洞空间卷积池化金字塔单元构成，每个残差空洞空间卷积池化金字塔单元进行如图-3所示一系列操作：首先聚合空洞率分别为1、4和8的3×3卷积输出，然后通过1×1卷积将特征图通道数恢复到与模块输入相同，最后将3×3卷积的输入和1×1卷的输出通过残差连接的方式进行叠加，从而得到多尺度的特征图；
所述残差连接模块中由两个步长为1，核大小为3×3，且输入和输出通道数不变的卷积和位于二者之间的LeakyReLU激活函数(具体参数为：当输入小于零时的斜率为0.1)组成，第一个卷积层的输入和第二个卷积层的输出用残差连接实现叠加；
所述元上采样模块依次由一个大小为HW×3的输入矢量和一个权重预测网络组成，最后输出一组卷积核与来自反卷积层的低分辨率特征图卷积实现超分辨率，其中H代表超分辨率图像高度，W代表超分辨率图像宽度(单位是像素个数)，HW是H与W的乘积；权重预测网络由两个通过ReLU激活函数连接的全连接层组成；输入矢量为：
上式中i＝0,1,2…H，j＝0,1,2…W，表示向下取整运算；
元上采样模块通过动态预测权重技术，实现单一模型对输入图像进行任意尺度的上采样。
所述步骤三具体包括：
步骤3.1：对基于对抗学习的超分辨率网络进行参数随机初始化，图像语义分割训练集中的源域低分辨率遥感图像和降采样的目标域高分辨率遥感图像输入基于对抗学习的超分辨率网络GANsr中的生成器模块Gsr，生成超分辨率图像，然后计算超分辨率损失lsr；
步骤3.2：将生成的超分辨率图像和原高分辨率图像输入像素级域判别模块，对输入图像的所属域进行判别，并计算像素级域判别损失；
步骤3.3：通过计算并最小化基于对抗学习的超分辨率网络中的生成器Gsr和判别器Dsr的损失函数，交替优化基于对抗学习的超分辨率网络中的生成器Gsr和判别器Dsr的参数，最终完成基于对抗学习的超分辨率网络GANsr参数的优化；
步骤3.4：训练完成后，将训练好的基于对抗学习的超分辨率网络GANsr参数进行保存。
所述基于对抗学习的超分辨率网络GANsr中，超分辨率损失lsr为：
其中lmse是目标域高分辨率遥感图像降采样后再进行超分辨率所得图像和目标域高分辨率遥感图像之间的均方损失(即目标值和估计值差值的平方和)、lper是源域低分辨率遥感图像超分辨后所得图像与上采样后的源域低分辨率遥感图像之间的感知损失(通过两个图像在VGG-16中间层的均方损失计算)、是源域低分辨率遥感图像和降采样的源域低分辨率遥感图像的超分辨结果，分别输入特征编码模块所得结果之间的L1正则化损失(即目标值和估计值的绝对差值和)；
所述基于像素级域判别器损失函数，其计算公式为：
ldsr＝ES[(Is-1)2]+ET[(It)2]
ldsrinv＝ES[(Is)2]+ET[(It-1)2]；
上式中：ldsr为训练特征编码模块和元上采样模块时像素级域判别器的损失函数，ldsrinv为训练像素级域判别器时像素级域判别器本身的损失函数，Is和It分别为像素级域判别器对源域低分辨率遥感图像的超分辨率结果和目标域高分辨率遥感图像的判别输出，ES为对所有输入属于源域S的损失求期望，ET为对所有属于目标域T的损失求期望；
所述基于对抗学习的超分辨率网络GANsr中，生成器Gsr损失函数为：
其中，β时超分辨率权重系数；
所述基于对抗学习的超分辨率网络GANsr中，判别器Dsr损失函数为：
所述步骤四具体包括：
步骤4.1：使用步骤三中保存好模型参数初始化基于对抗学习的超分辨率网络，同时对特征解码模块和输出空间域判别模块的参数进行随机初始化，将步骤一中经过预处理的训练集数据输入至步骤二中的基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg中的生成器Gsr-seg，计算GANsr-seg生成器损失
步骤4.2：将上采样模块生成的高分辨率图像和原高分辨率图像输入像素级域判别模块，同时将特征解码模块生成的语义预测图输入到输出空间域判别模块，计算GANsr-seg判别器损失
步骤4.3：计算并最小化GANsr-seg网络的生成器Gsr-seg和判别模块Dsr-seg，交替优化GANsr-seg网络的生成器Gsr-seg和判别模块Dsr-seg的网络参数，最终完成GANsr-seg网络参数的优化；
步骤4.4：训练完成后，将训练好的GANsr-seg网络模型参数进行保存。
基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg中生成器Gsr-seg的损失函数为：
其中，α是语义分割权重系数，lseg为语义分割损失，ldse为训练GANsr-seg网络的生成器Gsr-seg时输出空间域判别模块的损失；
所述的基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg中判别器Dsr-seg的损失函数为：
上式中ldseinv为训练输出空间域判别模块时输出空间域判别模块的损失。
所述lseg，通过：源域低分辨率遥感图像和降采样后的源域低分辨率遥感图像超分辨后的结果，分别输入基于对抗学习的超分辨率-语义分割多任务网络中生成器输出的语义预测图，再分别与上采样所得源域标签图的交叉熵损失函数之和来计算；
所述ldse为训练输出空间域判别模块时输出空间域判别模块的损失，通过：源域低分辨率遥感图像和降采样的目标域高分辨率遥感图像分别通过基于对抗学习的超分辨-语义分割多任务网络中生成器后所得语义预测图，分别作为真假图像输入输出空间域判别模块所得判别输出的交叉熵损失来计算；
所述ldseinv通过：降采样的目标域高分辨率遥感图像和源域低分辨率遥感图像分别通过基于对抗学习的超分辨-语义分割多任务网络中生成器后所得语义预测图，分别作为真假图像输入输出空间域判别模块所得判别输出的交叉熵损失来计算。
本发明相对于现有技术具备的有益效果为：
本发明方法在超分辨-语义分割多任务网络中利用元上采样技术替代传统上采样技术，不用改变网络结构就可以实现任意尺度因子下，基于空间分辨率域自适应的高分辨率遥感图像语义分割。该特点不仅可以避免大量重复计算，而且还能克服现有超分辨-语义分割多任务网络无法实现非整数任意尺度因子下，域自适应语义分割任务的难题。
附图说明
下面结合附图对本发明做进一步说明：
图1为本发明方法中构建的基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg和基于对抗学习的超分辨率网络GANsr的组成结构示意图；
图2为本发明方法中构建的基于对抗学习的超分辨率-语义分割多任务网络中特征编码模块的组成结构示意图；
图3为本发明方法中构建的图像语义分割网络中残差空洞空间卷积池化金字塔单元的组成结构示意图；
图4为本发明方法中构建的基于对抗学习的超分辨率-语义分割多任务网络中残差连接模块的组成结构示意图；
图5为本发明方法中构建的基于对抗学习的超分辨率-语义分割多任务网络中特征解码模块的组成结构示意图；
图6为本发明方法中构建的基于对抗学习的超分辨率-语义分割多任务网络中元上采样模块的组成结构示意图；
图7为本发明方法中构建的基于对抗学习的超分辨率-语义分割多任务网络中像素级域判别模块的组成结构示意图；
图8为本发明方法中构建的基于对抗学习的超分辨率-语义分割多任务网络输出空间域判别模块的组成结构示意图。
具体实施方式
如图1至图8所示，本发明涉及一种基于空间分辨率域自适应的无监督遥感图像语义分割方法，通过元上采样模块代替传统上采样模块，不用改变网络结构就可以实现任意尺度因子下基于空间分辨率域自适应的高分辨率遥感图像语义分割，其包括如下步骤：
步骤一：获取源域低分辨率遥感图像数据集和目标域高分辨率遥感图像数据集，对源域低分辨率遥感图像数据集和目标域高分辨率遥感图像数据集进行预处理，将获取的目标域高分辨率遥感图像数据集分为：目标域训练集Mx和目标域测试集Mc两部分；
由源域低分辨率遥感图像数据集和目标域训练集Mx构成图像语义分割训练集Fx，由目标域测试集Mc构成图像语义分割测试集Fc；
所述源域低分辨率遥感图像数据集包括低分辨率遥感图像及其标签数据图像，目标域高分辨率遥感图像数据集包括高分辨率遥感图像，其中源域低分辨率遥感图像和目标域高分辨率遥感图像通过遥感卫星获取。
所述步骤一中对源域低分辨率遥感图像数据集和目标域高分辨率遥感图像集数据集进行的预处理具体包括图像裁剪和图像采样；
所述图像裁剪将目标高分辨率遥感图像的尺寸裁剪为源域低分辨率遥感图像尺寸的r倍(r是尺度因子，即源域低分辨率遥感图像和目标域高分辨率遥感图像对应空间分辨率的倍数)，例如所述图像裁剪具体为：将源域原始图像和标签数据图像裁剪为114像素×114像素、分辨率为1米每像素的图像，将目标域训练集和测试集图像裁剪为380像素×380像素、分辨率为0.3米每像素的图像,此时r＝10/3；
所述图像采样将目标域训练集中的高分辨率遥感图像进行下采样至空间分辨率与源域低分辨率遥感图像相同，将源域低分辨率遥感图像数据集进行上采样至空间分辨率与目标域高分辨率遥感图像相同，例如所述图像采样具体为：将源域低分辨率遥感图像和标签数据图像进行上采样，得到380像素×380像素、分辨率为0.3米每像素的高分辨率图像；将目标域高分辨率遥感图像进行下采样，得到114像素×114像素、分辨率为1米每像素的低分辨率图像。
步骤二：如图1所示，搭建基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg，所述基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg由特征编码模块、上采样模块、像素级域判别模块、特征解码模块、输出空间域判别模块组成；
特征编码模块、上采样模块和像素级域判别模块构成基于对抗学习的超分辨率网络GANsr，其中特征编码模块和上采样模块构成基于对抗学习的超分辨率网络GANsr中的生成器Gsr；
像素级域判别模块构成基于对抗学习的超分辨率网络GANsr中的判别器Dsr；
特征解码模块通过金字塔特征聚合结构接收来自特征编码模块和上采样模块的低级特征信息，实现语义预测功能；
特征编码模块、上采样模块和特征解码模块构成基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg的生成器Gsr-seg；
像素级域判别模块和输出空间域判别模块组成基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg的判别器Dsr-seg；
如图2所示，所述特征编码模块依次由三个低层特征提取单元、一个最大池化层、一个残差连接模块和两个多尺度特征提取单元组成，其中低层特征提取单元由一个卷积层和一个LeakyReLU激活函数层构成，多尺度特征提取单元由一个残差空洞空间卷积池化金字塔模块和一个残差连接模块组成；
所述的特征编码模块的三个低层特征提取单元中,卷积层的具体参数如下：核大小为3×3、填充率和步长均为1，输出通道数分别为64、128和256；
所述LeakyReLU激活函数的具体参数：当输入小于零时的斜率为0.1；
所述最大池化层具体参数为：核大小为3×3、步长为2、填充率为1；
所述残差空洞空间卷积池化金字塔模块由三个连续的残差空洞空间卷积池化金字塔单元构成，每个残差空洞空间卷积池化金字塔单元进行如图-3所示一系列操作：首先聚合空洞率分别为1、4和8的3×3卷积输出，然后通过1×1卷积将特征图通道数恢复到与模块输入相同，最后将3×3卷积的输入和1×1卷的输出通过残差连接的方式进行叠加，从而得到多尺度的特征图；
如图4所示，所述残差连接模块中由两个步长为1，核大小为3×3，且输入和输出通道数不变的卷积和位于二者之间的LeakyReLU激活函数(具体参数为：当输入小于零时的斜率为0.1)组成，第一个卷积层的输入和第二个卷积层的输出用残差连接实现叠加。
所述上采样模块由一个反卷积层、一个元上采样模块和一个卷积核大小为9×9、填充率为4的卷积层组成，其中反卷积层负责恢复特征编码过程中的空间分辨率损失，元上采样模块用于超分辨率；
如图5所示，所述元上采样模块依次由一个大小为HW×3的输入矢量和一个权重预测网络组成，最后输出一组卷积核与来自反卷积层的低分辨率特征图卷积实现超分辨率，其中H代表超分辨率图像高度，W代表超分辨率图像宽度(单位是像素个数)，HW是H与W的乘积；权重预测网络由两个通过ReLU激活函数连接的全连接层组成；输入矢量为：
上式中i＝0,1,2…H，j＝0,1,2…W，表示向下取整运算；
元上采样模块通过动态预测权重技术，实现单一模型对输入图像进行任意尺度的上采样。
如图6所示，所述特征解码模块有两个特征解码解码单元和一个卷积核大小为9×9、填充率为4的卷积层组成，其中特征解码解码单元由一个双线性插值操作、一个聚合操作和一个3×3卷积层组成；
如图7所示，所述像素级域判别模块由五个卷积核大小为4×4、步长为2、填充率为1的卷积层组成，其中前两个卷积通过LeakyReLU激活函数连接，其余卷积之间通过实例正则化层和LeakyReLU激活函数层以此连接，该模块对输入图像所属域进行判断，从而降低源域图像和目标域图像的外观或风格差异；
如图8所示，所述输出空间域判别模块由通过四个LeakyReLU激活函数连接的五个卷积核大小为4×4、步长为2、填充率为1的卷积层组成，实现对像素标签分布所属域进行判断，从而实现输出空间域自适应。
步骤三：对步骤二中搭建好的基于对抗学习的超分辨率网络GANsr进行预训练；
具体包括：
步骤3.1：对基于对抗学习的超分辨率网络进行参数随机初始化，图像语义分割训练集中的源域低分辨率遥感图像和降采样的目标域高分辨率遥感图像输入基于对抗学习的超分辨率网络GANsr中的生成器模块Gsr，生成超分辨率图像，然后计算超分辨率损失lsr；
步骤3.2：将生成的超分辨率图像和原高分辨率图像输入像素级域判别模块，对输入图像的所属域进行判别，并计算像素级域判别损失；
步骤3.3：通过计算并最小化基于对抗学习的超分辨率网络中的生成器Gsr和判别器Dsr的损失函数，交替优化基于对抗学习的超分辨率网络中的生成器Gsr和判别器Dsr的参数，最终完成基于对抗学习的超分辨率网络GANsr参数的优化；
步骤3.4：训练完成后，将训练好的基于对抗学习的超分辨率网络GANsr参数进行保存。
所述基于对抗学习的超分辨率网络GANsr中，超分辨率损失lsr为：
其中lmse是目标域高分辨率遥感图像降采样后再进行超分辨率后所得图像和目标域高分辨率遥感图像之间的均方损失(即目标值和估计值差值的平方和)、lper是源域低分辨率遥感图像超分辨后所得图像与上采样后的源域低分辨率遥感图像之间的感知损失(通过两个图像在VGG-16中间层的均方损失计算)、是源域低分辨率遥感图像和降采样的源域低分辨率遥感图像进行超分辨后输入特征编码模块所得结果之间的L1正则化损失(即目标值和估计值的绝对差值和)；
所述基于对抗学习的超分辨率网络中，像素级域判别损失函数，其计算公式为：
ldsr＝ES[(Is-1)2]+ET[(It)2] (3)
ldsrinv＝ES[(Is)2]+ET[(It-1)2] (4)
上式中：ldsr为训练特征编码模块和元上采样模块时的像素级域判别模块Dsr的损失，ldsrinv为训练像素级判别器模块时的像素级域判别模块Dsr的损失，Is和It分别为像素级域判别模块对源域低分辨率遥感图像生成的超分辨率图像和目标域高分辨率遥感图像的判别输出，ES为对所有输入属于源域S的损失求期望，ET为对所有属于目标域T的损失求期望；
所述基于对抗学习的超分辨率网络GANsr中，生成器Gsr损失函数为：
其中，β＝10时超分辨率权重系数；
所述基于对抗学习的超分辨率网络GANsr中，判别器Dsr损失函数为：
步骤四：训练基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg：
具体包括：
步骤4.1：使用步骤三中保存好模型参数初始化基于对抗学习的超分辨率网络，同时对特征解码模块和输出空间域判别模块的参数进行随机初始化，将步骤一中经过预处理的训练集数据输入至步骤二中的基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg中的生成器Gsr-seg，计算GANsr-seg生成器损失
步骤4.2：将上采样模块生成的高分辨率图像和原高分辨率图像输入像素级域判别模块，同时将特征解码模块生成的语义预测图输入到输出空间域判别模块，计算GANsr-seg判别器损失
步骤4.3：计算并最小化GANsr-seg网络的生成器Gsr-seg和判别模块Dsr-seg，交替优化GANsr-seg网络的生成器Gsr-seg和判别模块Dsr-seg的网络参数，最终完成GANsr-seg网络参数的优化；
步骤4.4：训练完成后，将训练好的GANsr-seg网络模型参数进行保存。
基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg中生成器Gsr-seg的损失函数为：
其中，α＝2.5是语义分割权重系数，lseg为语义分割损失，ldse为训练GANsr-seg网络的生成器Gsr-seg时输出空间域判别模块的损失；
所述的基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg中判别器Dsr-seg的损失函数为：
上式中ldseinv为训练输出空间域判别模块时输出空间域判别模块的损失。
所述lseg，通过：源域低分辨率遥感图像和降采样后的源域低分辨率遥感图像超分辨后的结果，分别输入基于对抗学习的超分辨率-语义分割多任务网络中生成器输出的语义预测图，再分别与上采样所得源域标签图的交叉熵损失函数之和来计算；
所述ldse为训练输出空间域判别模块时输出空间域判别模块的损失，通过：源域低分辨率遥感图像和降采样的目标域高分辨率遥感图像分别通过基于对抗学习的超分辨-语义分割多任务网络中生成器后所得语义预测图，分别作为真假图像输入输出空间域判别模块所得判别输出的交叉熵损失来计算；
所述ldseinv通过：降采样的目标域高分辨率遥感图像和源域低分辨率遥感图像分别通过基于对抗学习的超分辨-语义分割多任务网络中生成器后所得语义预测图，分别作为真假图像输入输出空间域判别模块所得判别输出的交叉熵损失来计算。
步骤五：将图像语义分割测试集Fc数据输入到步骤四中已经训练好的基于对抗学习的超分辨率-语义分割多任务网络中GANsr-seg的生成器模型Gsr-seg，输出图像语义分割测试集的分割结果。
本发明公开了一种基于空间分辨率域自适应的无监督遥感图像语义分割方法，首先将源域低分辨率遥感图像数据集和目标域高分辨率遥感图像数据集分为：图像语义分割训练集和图像语义分割测试集；然后构建基于对抗学习的超分辨率-语义分割多任务网络；输入训练集图像训练，对基于对抗学习的超分辨率网络进行与训练后，再对基于对抗学习的超分辨率-语义分割多任务网络进行训练，待到网络收敛时保存模型参数；最后将图像语义分割测试集输入已训练好的基于对抗学习的超分辨率-语义分割多任务网络生成器得到最终预测结果。与现有技术相比较，本发明通过用元上采样技术代替传统上采样模块的方式，实现基于空间分辨率域自适应的遥感图像无监督语义分割。优点是可以在不改变网络结构的情况下，实现任意尺度因子的空间分辨率域自适应语义分割，这样不仅可以避免大量重复计算，而且还能克服现有超分辨-语义分割多任务网络无法实现非整数任意尺度因子下域自适应语义分割任务的难题。
关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种基于空间分辨率域自适应的无监督遥感图像语义分割方法，其特征在于：包括如下步骤：
步骤一：获取源域低分辨率遥感图像数据集和目标域高分辨率遥感图像数据集，对源域低分辨率遥感图像数据集和目标域高分辨率遥感图像数据集进行预处理，将获取的目标域高分辨率遥感图像数据集分为：目标域训练集Mx和目标域测试集Mc两部分；
由源域低分辨率遥感图像数据集和目标域训练集Mx构成图像语义分割训练集Fx，由目标域测试集Mc构成图像语义分割测试集Fc；
步骤二：搭建基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg，所述基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg由特征编码模块、上采样模块、像素级域判别模块、特征解码模块、输出空间域判别模块组成；
特征编码模块、上采样模块和像素级域判别模块构成基于对抗学习的超分辨率网络GANsr，其中特征编码模块和上采样模块构成基于对抗学习的超分辨率网络GANsr中的生成器Gsr；所述基于对抗学习的超分辨率网络GANsr中，超分辨率损失lsr为：
其中lmse是目标域高分辨率遥感图像降采样后再进行超分辨率所得图像和目标域高分辨率遥感图像之间的均方损失即目标值和估计值差值的平方和，lper是源域低分辨率遥感图像超分辨后所得图像与上采样后的源域低分辨率遥感图像之间的感知损失，通过两个图像在VGG-16中间层的均方损失计算，是源域低分辨率遥感图像和降采样的源域低分辨率遥感图像的超分辨结果，分别输入特征编码模块所得结果之间的L1正则化损失，即目标值和估计值的绝对差值和；
所述基于像素级域判别器损失函数，其计算公式为：
ldsr＝ES[(Is-1)2]+ET[(It)2]
ldsrinv＝ES[(Is)2]+ET[(It-1)2]；
上式中：ldsr为训练特征编码模块和元上采样模块时像素级域判别器的损失函数，ldsrinv为训练像素级域判别器时像素级域判别器本身的损失函数，Is和It分别为像素级域判别器对源域低分辨率遥感图像的超分辨率结果和目标域高分辨率遥感图像的判别输出，ES为对所有输入属于源域S的损失求期望，ET为对所有属于目标域T的损失求期望；
所述基于对抗学习的超分辨率网络GANsr中，生成器Gsr损失函数为：
其中，β时超分辨率权重系数；
所述基于对抗学习的超分辨率网络GANsr中，判别器Dsr损失函数为：
像素级域判别模块构成基于对抗学习的超分辨率网络GANsr中的判别器Dsr；
特征解码模块通过金字塔特征聚合结构接收来自特征编码模块和上采样模块的低级特征信息，实现语义预测功能；
特征编码模块、上采样模块和特征解码模块构成基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg的生成器Gsr-seg；
像素级域判别模块和输出空间域判别模块组成基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg的判别器Dsr-seg；
步骤三：对步骤二中搭建好的基于对抗学习的超分辨率网络GANsr进行预训练；
步骤四：训练基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg；
步骤五：将图像语义分割测试集Fc数据输入到步骤四中已经训练好的基于对抗学习的超分辨率-语义分割多任务网络中GANsr-seg的生成器模型Gsr-seg，输出图像语义分割测试集的分割结果。
2.根据权利要求1所述的基于空间分辨率域自适应的无监督遥感图像语义分割方法，其特征在于：所述步骤一中对源域低分辨率遥感图像数据集和目标域高分辨率遥感图像集数据集进行的预处理具体包括图像裁剪和图像采样；
所述图像裁剪将目标高分辨率遥感图像的尺寸裁剪为源域低分辨率遥感图像尺寸的r倍，r是尺度因子，即源域低分辨率遥感图像和目标域高分辨率遥感图像对应空间分辨率的倍数；
所述图像采样将目标域训练集中的高分辨率遥感图像进行下采样至空间分辨率与源域低分辨率遥感图像相同，将源域低分辨率遥感图像数据集进行上采样至空间分辨率与目标域高分辨率遥感图像相同。
3.根据权利要求1所述的基于空间分辨率域自适应的无监督遥感图像语义分割方法，其特征在于：所述步骤二中的特征编码模块依次由三个低层特征提取单元、一个最大池化层、一个残差连接模块和两个多尺度特征提取单元组成，其中低层特征提取单元由一个卷积层和一个LeakyReLU激活函数层构成，多尺度特征提取单元由一个残差空洞空间卷积池化金字塔模块和一个残差连接模块组成；
所述步骤二中的上采样模块由一个反卷积层、一个元上采样模块和一个卷积核大小为9×9、填充率为4的卷积层组成，其中反卷积层负责恢复特征编码过程中的空间分辨率损失，元上采样模块用于超分辨率；
所述步骤二中的特征解码模块有两个特征解码单元和一个卷积核大小为9×9、填充率为4的卷积层组成，其中特征解码单元由一个双线性插值操作、一个聚合操作和一个3×3卷积层组成；
所述步骤二中的像素级域判别模块由五个卷积核大小为4×4、步长为2、填充率为1的卷积层组成，其中前两个卷积通过LeakyReLU激活函数连接，其余卷积之间通过实例正则化层和LeakyReLU激活函数层以此连接，该模块对输入图像所属域进行判断，从而降低源域图像和目标域图像的外观或风格差异；
所述步骤二中的输出空间域判别模块由通过四个LeakyReLU激活函数连接的五个卷积核大小为4×4、步长为2、填充率为1的卷积层组成，实现对像素标签分布所属域进行判断，从而实现输出空间域自适应。
4.根据权利要求3所述的基于空间分辨率域自适应的无监督遥感图像语义分割方法，其特征在于：所述的特征编码模块的三个低层特征提取单元中,卷积层的具体参数如下：核大小为3×3、填充率和步长均为1，输出通道数分别为64、128和256；
所述LeakyReLU激活函数的具体参数：当输入小于零时的斜率为0.1；
所述最大池化层具体参数为：核大小为3×3、步长为2、填充率为1；
所述残差空洞空间卷积池化金字塔模块由三个连续的残差空洞空间卷积池化金字塔单元构成，每个残差空洞空间卷积池化金字塔单元进行如图-3所示一系列操作：首先聚合空洞率分别为1、4和8的3×3卷积输出，然后通过1×1卷积将特征图通道数恢复到与模块输入相同，最后将3×3卷积的输入和1×1卷的输出通过残差连接的方式进行叠加，从而得到多尺度的特征图；
所述残差连接模块中由两个步长为1，核大小为3×3，且输入和输出通道数不变的卷积和位于二者之间的LeakyReLU激活函数组成，具体参数为：当输入小于零时的斜率为0.1，第一个卷积层的输入和第二个卷积层的输出用残差连接实现叠加。
5.根据权利要求4所述的基于空间分辨率域自适应的无监督遥感图像语义分割方法，其特征在于：所述元上采样模块依次由一个大小为HW×3的输入矢量和一个权重预测网络组成，最后输出一组卷积核与来自反卷积层的低分辨率特征图卷积实现超分辨率，其中H代表超分辨率图像高度，W代表超分辨率图像宽度，单位是像素个数，HW是H与W的乘积；权重预测网络由两个通过ReLU激活函数连接的全连接层组成；输入矢量为：
上式中i＝0,1,2…H，j＝0,1,2…W，表示向下取整运算；
元上采样模块通过动态预测权重技术，实现单一模型对输入图像进行任意尺度的上采样。
6.根据权利要求1所述的基于空间分辨率域自适应的无监督遥感图像语义分割方法，其特征在于：所述步骤三具体包括：
步骤3.1：对基于对抗学习的超分辨率网络进行参数随机初始化，图像语义分割训练集中的源域低分辨率遥感图像和降采样的目标域高分辨率遥感图像输入基于对抗学习的超分辨率网络GANsr中的生成器模块Gsr，生成超分辨率图像，然后计算超分辨率损失l sr；
步骤3.2：将生成的超分辨率图像和原高分辨率图像输入像素级域判别模块，对输入图像的所属域进行判别，并计算像素级域判别损失；
步骤3.3：通过计算并最小化基于对抗学习的超分辨率网络中的生成器Gsr和判别器Dsr的损失函数，交替优化基于对抗学习的超分辨率网络中的生成器Gsr和判别器Dsr的参数，最终完成基于对抗学习的超分辨率网络GANsr参数的优化；
步骤3.4：训练完成后，将训练好的基于对抗学习的超分辨率网络GANsr参数进行保存。
7.根据权利要求1所述的基于空间分辨率域自适应的无监督遥感图像语义分割方法，其特征在于：所述步骤四具体包括：
步骤4.1：使用步骤三中保存好模型参数初始化基于对抗学习的超分辨率网络，同时对特征解码模块和输出空间域判别模块的参数进行随机初始化，将步骤一中经过预处理的训练集数据输入至步骤二中的基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg中的生成器Gsr-seg，计算GANsr-seg生成器损失
步骤4.2：将上采样模块生成的高分辨率图像和原高分辨率图像输入像素级域判别模块，同时将特征解码模块生成的语义预测图输入到输出空间域判别模块，计算GANsr-seg判别器损失
步骤4.3：计算并最小化GANsr-seg网络的生成器Gsr-seg和判别模块Dsr-seg，交替优化GANsr-seg网络的生成器Gsr-seg和判别模块Dsr-seg的网络参数，最终完成GANsr-seg网络参数的优化；
步骤4.4：训练完成后，将训练好的GANsr-seg网络模型参数进行保存。
8.根据权利要求7所述的基于空间分辨率域自适应的无监督遥感图像语义分割方法，其特征在于：所述的基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg中生成器Gsr-seg的损失函数为：
其中，α是语义分割权重系数，lseg为语义分割损失，ldse为训练GANsr-seg网络的生成器Gsr-seg时输出空间域判别模块的损失；
所述的基于对抗学习的超分辨率-语义分割多任务网络GANsr-seg中判别器Dsr-seg的损失函数为：
上式中ldseinv为训练输出空间域判别模块时输出空间域判别模块的损失。
9.根据权利要求8所述的基于空间分辨率域自适应的无监督遥感图像语义分割方法，其特征在于：所述lseg通过：源域低分辨率遥感图像和降采样后的源域低分辨率遥感图像超分辨后的结果，分别输入基于对抗学习的超分辨率-语义分割多任务网络中生成器输出的语义预测图，再分别与上采样所得源域标签图的交叉熵损失函数之和来计算；
所述l dse为训练输出空间域判别模块时输出空间域判别模块的损失，通过：源域低分辨率遥感图像和降采样的目标域高分辨率遥感图像分别通过基于对抗学习的超分辨-语义分割多任务网络中生成器后所得语义预测图，分别作为真假图像输入输出空间域判别模块所得判别输出的交叉熵损失来计算；
所述l dseinv通过：降采样的目标域高分辨率遥感图像和源域低分辨率遥感图像分别通过基于对抗学习的超分辨-语义分割多任务网络中生成器后所得语义预测图，分别作为真假图像输入输出空间域判别模块所得判别输出的交叉熵损失来计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111086003.8A CN113850813B (zh) | 2021-09-16 | 2021-09-16 | 基于空间分辨率域自适应的无监督遥感图像语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111086003.8A CN113850813B (zh) | 2021-09-16 | 2021-09-16 | 基于空间分辨率域自适应的无监督遥感图像语义分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113850813A CN113850813A (zh) | 2021-12-28 |
| CN113850813B true CN113850813B (zh) | 2024-05-28 |
Family
ID=78974248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111086003.8A Active CN113850813B (zh) | 2021-09-16 | 2021-09-16 | 基于空间分辨率域自适应的无监督遥感图像语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113850813B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549322B (zh) * | 2022-02-24 | 2024-04-16 | 中山大学 | 基于无监督领域自适应的图像超分辨方法及装置 |
| CN114882220B (zh) * | 2022-05-20 | 2023-02-28 | 山东力聚机器人科技股份有限公司 | 基于域自适应先验知识引导gan的图像生成方法及系统 |
| CN114937206A (zh) * | 2022-06-15 | 2022-08-23 | 西安电子科技大学 | 基于迁移学习和语义分割的高光谱图像目标检测方法 |
| CN114972759A (zh) * | 2022-06-15 | 2022-08-30 | 西安电子科技大学 | 基于分级轮廓代价函数的遥感图像语义分割方法 |
| CN115424059B (zh) * | 2022-08-24 | 2023-09-01 | 珠江水利委员会珠江水利科学研究院 | 一种基于像素级对比学习的遥感土地利用分类方法 |
| CN116312860B (zh) * | 2023-03-24 | 2023-09-12 | 江南大学 | 基于监督迁移学习的农产品可溶性固形物预测方法 |
| CN116721313B (zh) * | 2023-06-21 | 2024-10-11 | 广东工业大学 | 一种基于无监督学习的rgb图像高光谱重建方法及系统 |
| CN118570457A (zh) * | 2024-08-05 | 2024-08-30 | 山东航天电子技术研究所 | 一种基于遥感目标识别任务驱动的图像超分辨方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
| CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
| CN112270644A (zh) * | 2020-10-20 | 2021-01-26 | 西安工程大学 | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 |
| CN112991353A (zh) * | 2021-03-12 | 2021-06-18 | 北京航空航天大学 | 一种跨域遥感图像的无监督语义分割方法 |
| CN113160234A (zh) * | 2021-05-14 | 2021-07-23 | 太原理工大学 | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 |
| KR102289045B1 (ko) * | 2020-03-23 | 2021-08-11 | 주식회사 픽스트리 | 멀티 스케일 객체 이미지 복원 방법 및 장치 |
-
2021
- 2021-09-16 CN CN202111086003.8A patent/CN113850813B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
| CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
| KR102289045B1 (ko) * | 2020-03-23 | 2021-08-11 | 주식회사 픽스트리 | 멀티 스케일 객체 이미지 복원 방법 및 장치 |
| CN112270644A (zh) * | 2020-10-20 | 2021-01-26 | 西安工程大学 | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 |
| CN112991353A (zh) * | 2021-03-12 | 2021-06-18 | 北京航空航天大学 | 一种跨域遥感图像的无监督语义分割方法 |
| CN113160234A (zh) * | 2021-05-14 | 2021-07-23 | 太原理工大学 | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于类别相关的领域自适应交通图像语义分割方法;贾颖霞;郎丛妍;冯松鹤;;计算机研究与发展;20200414(04);全文 * |
| 多模型集成的弱监督语义分割算法;熊昌镇;智慧;;计算机辅助设计与图形学学报;20190515(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113850813A (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113850813B (zh) | 基于空间分辨率域自适应的无监督遥感图像语义分割方法 | |
| CN113160234B (zh) | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 | |
| US20200210773A1 (en) | Neural network for image multi-label identification, related method, medium and device | |
| CN113486897A (zh) | 一种卷积注意力机制上采样解码的语义分割方法 | |
| CN111210435A (zh) | 一种基于局部和全局特征增强模块的图像语义分割方法 | |
| CN114008663A (zh) | 实时视频超分辨率 | |
| CN111369440A (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN113837938B (zh) | 基于动态视觉传感器重建潜在图像的超分辨率方法 | |
| CN107392855B (zh) | 基于稀疏自编码网络与极速学习的图像超分辨重建方法 | |
| CN109949224A (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
| Chen et al. | RBPNET: An asymptotic Residual Back-Projection Network for super-resolution of very low-resolution face image | |
| CN116152591A (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| CN113393435B (zh) | 一种基于动态上下文感知滤波网络的视频显著性检测方法 | |
| CN117292017B (zh) | 一种草图到图片跨域合成方法、系统及设备 | |
| CN114511785A (zh) | 基于瓶颈注意力模块的遥感图像云检测方法及系统 | |
| Kim et al. | Resolution reconstruction of climate data with pixel recursive model | |
| CN117455770A (zh) | 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法 | |
| CN116051850A (zh) | 神经网络目标检测方法、装置、介质和嵌入式电子设备 | |
| Liu et al. | Second-order attention network for magnification-arbitrary single image super-resolution | |
| CN115861343B (zh) | 基于动态隐式图像函数的任意尺度图像表示方法及系统 | |
| CN114092328A (zh) | 基于元学习的任意尺度图像下采样方法 | |
| Hua et al. | The Image Super-Resolution with Hopfield Neural Network | |
| CN115760577A (zh) | 一种漫画图像着色方法、系统、装置和存储介质 | |
| He et al. | A Wavelet-based Progressive Super-Resolution Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |