CN113888547A - 基于gan网络的无监督域自适应遥感道路语义分割方法 - Google Patents
基于gan网络的无监督域自适应遥感道路语义分割方法 Download PDFInfo
- Publication number
- CN113888547A CN113888547A CN202111135771.8A CN202111135771A CN113888547A CN 113888547 A CN113888547 A CN 113888547A CN 202111135771 A CN202111135771 A CN 202111135771A CN 113888547 A CN113888547 A CN 113888547A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- resolution
- domain
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000002372 labelling Methods 0.000 abstract 1
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Abstract
本发明公开了一种基于GAN网络的无监督域自适应遥感道路语义分割方法，通过对RGB三通道的遥感图像进行标注，生成标签图像，将图像划分为测试集和训练集，对训练集图像进行预处理；之后构建基于深度学习方法的遥感图像语义分割网络和域判别网络，输入训练集图像交替训练遥感图像语义分割网络和域判别网络，待到网络收敛时保存模型参数；最后将测试集图像输入图像语义分割网络得到标签。与现有技术相比较，本发明通过添加基于特征空间和输出空间的域自适应的方式实现无监督遥感图像的语义分割。优点是最终分割效果好且鲁棒性强。
Description
技术领域
本发明涉及机器学习技术领域，具体而言，涉及一种基于GAN网络的无监督域自适应遥感道路语义分割方法。
背景技术
近些年来随着遥感卫星技术的不断提高，高分辨率的遥感卫星图像成为了数字图像处理一大重要的数据来源。高分辨率遥感图像的语义分割对于土地利用，土地制图等应用至关重要，已经成为近年来的研究热点。
随着技术发展，深度学习方法广泛应用于遥感图像处理领域，并展现了其优秀的特征提取能力。基于深度学习的方法对于数据集的依赖度较高，需要像素级标注的遥感图像标签，才能发挥良好的效果。同时对于不同数据集场景下的提取，模型的分割准确率会大幅下降。无监督域自适应方法通过迁移在源域数据集学习的知识实现无标签的目标域数据集的语义分割任务，其中，采用对抗生成网络的域自适应方法通过生成器和判别器的对抗来学习域不变特征，可以有效缩小域间差异。
考虑到不同遥感卫星所获取的遥感图像具有分辨率上的差异，同时不同种类地物在遥感图像中的尺寸不同，如何有效利用不同分辨率下数据集实现无监督条件下的道路分割成为一个急需解决的问题。
发明内容
本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于GAN网络的无监督域自适应遥感道路语义分割方法。
本发明解决其技术问题所采用的技术方案是：本发明公开一种基于GAN网络的无监督域自适应遥感道路语义分割方法，包括如下步骤：
步骤一：制作遥感道路数据集：
获得高分辨率遥感图像和低分辨率遥感图像，其中，高分辨率遥感图像数据集作为目标域图像，低分辨率遥感图像作为源域图像；所述源域和目标域遥感图像数据集通过遥感卫星获取；对源域低分辨率图像进行人工标记，制作成包括低分辨率原始图像和经过人工标记的标签的源域数据集，高分辨率目标域图像不进行标注，只包括高分辨率原始图像；将制作的目标域图像数据集按照一定的比例划分为训练和测试两部分，由源域数据和目标域训练图像构成遥感图像道路分割的训练集图像，由目标域的测试图像构成遥感图像道路分割的测试集图像；
对训练集遥感图像进行预处理，得到经过数据增强后的遥感图像训练数据集；
步骤二：搭建深度遥感图像语义分割网络：
步骤2.1：构建特征提取网络，将输入训练集遥感图像进行特征提取，得到多尺度的图像特征信息；特征提取是通过卷积和最大池化操作，实现图像从底层细节特征到高层语义特征的分层特征提取；对图像进行最大池化操作和步长为2的卷积操作实现网络的底层特征提取，通过三次步长为2的卷积操作来实现图像高层信息的提取；最终得到底层特征图和高层特征图；
步骤2.2：构建超分辨率网络，将底层特征图经过超分辨率处理得到高分辨率图像，实现遥感低分辨率图像到高分辨率图像的超分辨率转换，生成底层特征图的高分辨率图像；
步骤2.3：构建标签预测网络，将底层特征图、高层特征图和底层特征图的高分辨率图像提取的特征一起进行图像标签预测，实现对于遥感图像数据的语义分割；
步骤三：搭建域判别器模型：
通过所述域判别器，对语义分割过程中源域和目标域的生成特征图进行判别，确定特征图和概率图所属的域类别；其中，使用特征空间和输出空间两种方法对于网络的语义分割过程进行域间差异消除；
步骤四：模型训练及参数优化；
步骤4.1：对遥感图像道路分割网络的参数进行初始化，采用resnet-34网络在ImageNet数据集上训练的参数来初始化特征提取网络，对其余网络参数进行随机初始化；将经过预处理的训练集数据输入至遥感图像道路分割网络中，生成遥感图像的语义分割概率图，计算超分辨率损失和语义分割损失；将语义分割概率图输入域判别器模型，实现对于语义分割网络生成概率图所属域的判别，计算域判别损失；
步骤4.2：损失反向传播，交替优化语义分割网络、特征空间域判别器模型和输出空间域判别器模型的参数，以损失函数最小化作为优化目标，最终完成语义分割网络参数的优化；
步骤4.3：训练完成后，将训练好的语义分割网络模型参数进行保存；
步骤五：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
其中，对遥感图像训练集数据进行预处理包括图像裁剪、图像采样和对训练集中原始图像和标签进行数据增强；
所述图像裁剪具体为：将源域训练集图像和标签裁剪为512像素*512像素、分辨率为1米每分辨率的图像；将目标域训练和测试集图像裁剪为1024像素*1024像素、分辨率为0.5米每分辨率的图像；
所述图像采样具体为：将源域图像和标签进行上采样，得到1024像素*1024像素、分辨率为0.5米每分辨率的高分辨率图像；将目标域图像进行下采样，得到512像素*512像素、分辨率为1米每分辨率的低分辨率图像；
所述数据增强包括：将遥感图像语义分割训练集中的图像进行图像旋转、图像垂直翻转、图像水平翻转。图像垂直加水平翻转。
其中，特征提取网络结构如下：
编码器从初始块开始，进行卷积核大小为7×7且步长为2的卷积；此块之后为步长为2的最大池化；网络的后面部分由重复的残差块组成；在每个残差块中，第一个卷积操作以步长为2的卷积核实现采样，其余卷积操作使用步幅1的卷积操作；将特征编码器网络进行两次下采样后提取的特征图称为底层特征图，作为超分辨率网络的输入特征；将经过四次下采样后最终生成的高层特征图作为语义分割网络的输入特征；
残差块中的两个卷积操作以步长为1，卷积核为3×3的卷积实现特征通道融合，所述残差块中设置有用于加快网络收敛的短路连接。
其中，所述超分辨率网络通过残差块来对特征编码器提取的底层特征图进行特征的再次提取和整合，通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，最终生成低分辨率遥感图像所对应的高分辨率遥感图像；其中，先对输入的底层特征图进行两次卷积，再通过残差块进行进一步的特征提取和整合，得到新的特征图；
所述标签预测网络将从编码器提取的高层特征图进行送入上下文信息模块，提取并整合网络的上下文信息，使用提取的特征图通过注意力模块对来自特征提取网络和超分辨率网络的特征图进行权重调整；将权重调整后的特征图和上采样的特征图进行叠加；依次经过各个解码器模块，每个解码器模块均包括1×1卷积运算，该运算将通道数减半，然后进行批量归一化和转置卷积以对特征图实现上采样过程；通过最后的反卷积层生成只有道路和非道路两种标签的单通道图像；
为解决图像分辨率之间的差异，语义分割模块经过了五次上采样，生成超分辨率的图像语义标签图；同时在最后两次反卷积的过程中融合了来自超分辨率模块传递的底层特征，实现超分辨率模块对于语义分割过程的辅助作用。
其中，所述域判别器模型分别通过对特征空间和输出空间的域对抗训练，提取源域和目标域的域不变特征，提升目标域图像的分割精度；
其中，所述特征空间域判别网络中，选择标签预测网络中经过上下文信息提取的特征图作为域对抗网络的目标；通过五个连续的卷积核大小为3*3，步长为2的卷积层来收缩图像的通道和分辨率，得到最终的语义分割域标签特征图；
所述输出空间域判别网络中，以最终输出的语义分割概率图作为域自适应的对象；输出空间域判别器网络结构超分辨率域判别器网络结构类似，通过五个连续的卷积核大小为3*3，步长为2的卷积层，得到最终的语义分割域标签特征图；输出空间域判别器的生成结果为32×32×1的特征图。
其中，超分辨率损失为均方损失函数作为损失函数，其中，在二分类的情况下，所述均方差损失函数的计算公式为：
上式中：X为超分辨率网络生成的超分辨率图，Y为真实的高分辨率图像；
所述步骤三中语义分割损失使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，在二分类的情况下，所述交叉熵损失函数的计算公式为：
上式中：y为真实的标签图，y'为预测的标签图，N为图像的数量；
所述Dice系数损失函数的计算公式为：
上式中：X为生成的预测标签图，Y为真实的标签图，|X∩Y|为真实和预测标签图之间的交集，|X|为预测标签图的元素个数，|Y|为真实标签的元素个数；
域判别器损失为均方损失函数，计算过程如下所示：
LDs＝ES[(Is-1)2]+ET[(Is)2] (4)
LDsinv＝ES[(Is)2]+ET[(Is-1)2] (5)
上式中：Is为源域低分辨率图像生成的超分辨率图，It为目标域下采样低分辨率图像生成的高分辨率图像，LDs表示训练语义分割网络过程中的损失，LDsinv表示训练超分辨率域判别器过程中的损失；训练过程中的总损失函数如下所示：
式中，α表示语义分割损失的权重，β表示超分辨率损失的权重；在训练特征提取模块E，标签预测模块S和超分辨率模块SR组成的语义分割生成器网络时，通过最小化损失函数LG来优化语义分割生成器部分的网络参数；在训练由超分辨率域判别模块和语义分割域判别模块组成的域判别器网络时，我们通过最小化损失函数LD来优化域判别器部分Ds的网络参数；通过语义分割生成器网络和域判别器网络的交替对抗训练，最终实现目标域遥感图像的无监督语义分割。
本发明相对于现有技术具备的有益效果为：
1)本发明方法在编码器部分使用Resnet-34网络的卷积层，并采用预训练的参数进行参数的初始化。在特征提取过程中，不同的图像任务中所采用的特征具有相似性，通过使用其余任务中训练的参数来初始化网络模型，这样做可以确保模型特征提取的效果，加快模型收敛的速度。
2)本发明方法同时使用了特征层面和输出空间层面的域自适应方法。特征层面的域自适应针对高维的特征的对齐，输出空阿金的域自适应侧重于低维特征的对齐，通过同时对特征空间和输出空间的域对抗训练，提取源域和目标域的域不变特征，提升目标域图像的分割精度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明提供的一种基于GAN网络的无监督域自适应遥感道路语义分割方法的流程示意图。
图2是本发明提供的一种基于GAN网络的无监督域自适应遥感道路语义分割方法中遥感图像道路语义分割网络的结构示意图。
图3是本发明提供的一种基于GAN网络的无监督域自适应遥感道路语义分割方法中遥感图像道路语义分割网络的组成示意图。
图4是本发明提供的一种基于GAN网络的无监督域自适应遥感道路语义分割方法中特征空间域判别网络的组成结构示意图。
图5是本发明提供的一种基于GAN网络的无监督域自适应遥感道路语义分割方法中输出空间域判别网络的组成结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步的详细说明。应当理解，此外所描述的具体实施例仅用以解释本发明，但并不用于限定本发明。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都将属于本发明保护的范围。
如图1-3所示，本发明提供一种基于GAN网络的无监督域自适应遥感道路语义分割方法，包括如下步骤：
步骤一：制作遥感道路数据集：
获得高分辨率遥感图像和低分辨率遥感图像，其中，高分辨率遥感图像数据集作为目标域图像，低分辨率遥感图像作为源域图像；所述源域和目标域遥感图像数据集通过遥感卫星获取；对源域低分辨率图像进行人工标记，制作成包括低分辨率原始图像和经过人工标记的标签的源域数据集，高分辨率目标域图像不进行标注，只包括高分辨率原始图像；将制作的目标域图像数据集按照一定的比例划分为训练和测试两部分，由源域数据和目标域训练图像构成遥感图像道路分割的训练集图像，由目标域的测试图像构成遥感图像道路分割的测试集图像；
对训练集遥感图像进行预处理，得到经过数据增强后的遥感图像训练数据集；
步骤二：搭建深度遥感图像语义分割网络：
步骤2.1：构建特征提取网络，将输入训练集遥感图像进行特征提取，得到多尺度的图像特征信息；特征提取是通过卷积和最大池化操作，实现图像从底层细节特征到高层语义特征的分层特征提取；对图像进行最大池化操作和步长为2的卷积操作实现网络的底层特征提取，通过三次步长为2的卷积操作来实现图像高层信息的提取；最终得到底层特征图和高层特征图；
步骤2.2：构建超分辨率网络，将底层特征图经过超分辨率处理得到高分辨率图像，实现遥感低分辨率图像到高分辨率图像的超分辨率转换，生成底层特征图的高分辨率图像；
步骤2.3：构建标签预测网络，将底层特征图、高层特征图和底层特征图的高分辨率图像提取的特征一起进行图像标签预测，实现对于遥感图像数据的语义分割；
步骤三：搭建域判别器模型：
通过所述域判别器，对语义分割过程中源域和目标域的生成特征图进行判别，确定特征图和概率图所属的域类别；其中，使用特征空间和输出空间两种方法对于网络的语义分割过程进行域间差异消除；
步骤四：模型训练及参数优化；
步骤4.1：对遥感图像道路分割网络的参数进行初始化，采用resnet-34网络在ImageNet数据集上训练的参数来初始化特征提取网络，对其余网络参数进行随机初始化；将经过预处理的训练集数据输入至遥感图像道路分割网络中，生成遥感图像的语义分割概率图，计算超分辨率损失和语义分割损失；将语义分割概率图输入域判别器模型，实现对于语义分割网络生成概率图所属域的判别，计算域判别损失；
步骤4.2：损失反向传播，交替优化语义分割网络和两个域判别器模型的参数，以损失函数最小化作为优化目标，最终完成语义分割网络参数的优化；
步骤4.3：训练完成后，将训练好的语义分割网络模型参数进行保存；
步骤五：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
其中，对遥感图像训练集数据进行预处理包括图像裁剪、图像采样和对训练集中原始图像和标签进行数据增强；
所述图像裁剪具体为：将源域训练集图像和标签裁剪为512像素*512像素、分辨率为1米每分辨率的图像；将目标域训练和测试集图像裁剪为1024像素*1024像素、分辨率为0.5米每分辨率的图像；
所述图像采样具体为：将源域图像和标签进行上采样，得到1024像素*1024像素、分辨率为0.5米每分辨率的高分辨率图像；将目标域图像进行下采样，得到512像素*512像素、分辨率为1米每分辨率的低分辨率图像；
所述数据增强包括：将遥感图像语义分割训练集中的图像进行图像旋转、图像垂直翻转、图像水平翻转。图像垂直加水平翻转。
其中，特征提取网络结构如下：
编码器从初始块开始，进行卷积核大小为7×7且步长为2的卷积；此块之后为步长为2的最大池化；网络的后面部分由重复的残差块组成；在每个残差块中，第一个卷积操作以步长为2的卷积核实现采样，其余卷积操作使用步幅1的卷积操作；将特征编码器网络进行两次下采样后提取的特征图称为底层特征图，作为超分辨率网络的输入特征；将经过四次下采样后最终生成的高层特征图作为语义分割网络的输入特征；
残差块中的两个卷积操作以步长为1，卷积核为3×3的卷积实现特征通道融合，所述残差块中设置有用于加快网络收敛的短路连接。
其中，超分辨率网络通过残差块来对特征编码器提取的底层特征图进行特征的再次提取和整合，通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，最终生成低分辨率遥感图像所对应的高分辨率遥感图像；其中，先对输入的底层特征图进行两次卷积，再通过残差块进行进一步的特征提取和整合，得到新的特征图；
所述标签预测网络将从编码器提取的高层特征图进行送入上下文信息模块，提取并整合网络的上下文信息，使用提取的特征图通过注意力模块对来自特征提取网络和超分辨率网络的特征图进行权重调整；将权重调整后的特征图和上采样的特征图进行叠加；依次经过各个解码器模块，每个解码器模块均包括1×1卷积运算，该运算将通道数减半，然后进行批量归一化和转置卷积以对特征图实现上采样过程；通过最后的反卷积层生成只有道路和非道路两种标签的单通道图像；
为解决图像分辨率之间的差异，语义分割模块经过了五次上采样，生成超分辨率的图像语义标签图；同时在最后两次反卷积的过程中融合了来自超分辨率模块传递的底层特征，实现超分辨率模块对于语义分割过程的辅助作用。
其中，域判别器模型分别通过对特征空间和输出空间的域对抗训练，提取源域和目标域的域不变特征，提升目标域图像的分割精度；
如图4所示，所述特征空间域判别网络中，选择标签预测网络中经过上下文信息提取的特征图作为域对抗网络的目标；通过五个连续的卷积核大小为3*3，步长为2的卷积层来收缩图像的通道和分辨率，得到最终的语义分割域标签特征图；
如图5所示，所述输出空间域判别网络中，以最终输出的语义分割概率图作为域自适应的对象；输出空间域判别器网络结构超分辨率域判别器网络结构类似，通过五个连续的卷积核大小为3*3，步长为2的卷积层，得到最终的语义分割域标签特征图；输出空间域判别器的生成结果为32×32×1的特征图。
其中，步骤三中，超分辨率损失为均方损失函数作为损失函数，其中，在二分类的情况下，所述均方差损失函数的计算公式为：
上式中：X为超分辨率网络生成的超分辨率图，Y为真实的高分辨率图像；
所述步骤三中语义分割损失使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，在二分类的情况下，所述交叉熵损失函数的计算公式为：
上式中：y为真实的标签图，y'为预测的标签图，N为图像的数量；
所述Dice系数损失函数的计算公式为：
上式中：X为生成的预测标签图，Y为真实的标签图，|X∩Y|为真实和预测标签图之间的交集，|X|为预测标签图的元素个数，|Y|为真实标签的元素个数；
域判别器损失为均方损失函数，计算过程如下所示：
LDs＝ES[(Is-1)2]+ET[(Is)2] (4)
LDsinv＝ES[(Is)2]+ET[(Is-1)2] (5)
上式中：Is为源域低分辨率图像生成的超分辨率图，It为目标域下采样低分辨率图像生成的高分辨率图像，LDs表示训练语义分割网络过程中的损失，LDsinv表示训练超分辨率域判别器过程中的损失；
训练过程中的总损失函数如下所示：
式中，α表示语义分割损失的权重，β表示超分辨率损失的权重。在训练特征提取模块E，标签预测模块S和超分辨率模块SR组成的语义分割生成器网络时，我们通过最小化损失函数LG来优化语义分割生成器部分的网络参数；在训练由超分辨率域判别模块和语义分割域判别模块组成的域判别器网络时，我们通过最小化损失函数LD来优化域判别器部分Ds的网络参数。通过语义分割生成器网络和域判别器网络的交替对抗训练，最终实现目标域遥感图像的无监督语义分割。
本发明公开了基于GAN网络的无监督域自适应遥感道路语义分割方法，首先对RGB三通道的遥感图像进行标注，生成标签图像。将图像划分为测试集和训练集，对训练集图像进行预处理；之后构建基于深度学习方法的遥感图像语义分割网络和域判别网络，输入训练集图像交替训练遥感图像语义分割网络和域判别网络，待到网络收敛时保存模型参数；最后将测试集图像输入图像语义分割网络得到标签。与现有技术相比较，本发明通过添加基于特征空间和输出空间的域自适应的方式实现无监督遥感图像的语义分割。优点是最终分割效果好且鲁棒性强。
关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。
Claims (6)
1.一种基于GAN网络的无监督域自适应遥感道路语义分割方法，其特征在于，包括如下步骤：
步骤一：制作遥感道路数据集：
获得高分辨率遥感图像和低分辨率遥感图像，其中，高分辨率遥感图像数据集作为目标域图像，低分辨率遥感图像作为源域图像；所述源域和目标域遥感图像数据集通过遥感卫星获取；对源域低分辨率图像进行人工标记，制作成包括低分辨率原始图像和经过人工标记的标签的源域数据集，高分辨率目标域图像不进行标注，只包括高分辨率原始图像；将制作的目标域图像数据集按照一定的比例划分为训练和测试两部分，由源域数据和目标域训练图像构成遥感图像道路分割的训练集图像，由目标域的测试图像构成遥感图像道路分割的测试集图像；
对训练集遥感图像进行预处理，得到经过数据增强后的遥感图像训练数据集；
步骤二：搭建深度遥感图像语义分割网络：
步骤2.1：构建特征提取网络，将输入训练集遥感图像进行特征提取，得到多尺度的图像特征信息；特征提取是通过卷积和最大池化操作，实现图像从底层细节特征到高层语义特征的分层特征提取；对图像进行最大池化操作和步长为2的卷积操作实现网络的底层特征提取，通过三次步长为2的卷积操作来实现图像高层信息的提取；最终得到底层特征图和高层特征图；
步骤2.2：构建超分辨率网络，将底层特征图经过超分辨率处理得到高分辨率图像，实现遥感低分辨率图像到高分辨率图像的超分辨率转换，生成底层特征图的高分辨率图像；
步骤2.3：构建标签预测网络，将底层特征图、高层特征图和底层特征图的高分辨率图像提取的特征一起进行图像标签预测，实现对于遥感图像数据的语义分割；
步骤三：搭建域判别器模型：
通过所述域判别器，对语义分割过程中源域和目标域的生成特征图进行判别，确定特征图和概率图所属的域类别；其中，使用特征空间和输出空间两种方法对于网络的语义分割过程进行域间差异消除；
步骤四：模型训练及参数优化；
步骤4.1：对遥感图像道路分割网络的参数进行初始化，采用resnet-34网络在ImageNet数据集上训练的参数来初始化特征提取网络，对其余网络参数进行随机初始化；将经过预处理的训练集数据输入至遥感图像道路分割网络中，生成遥感图像的语义分割概率图，计算超分辨率损失和语义分割损失；将语义分割概率图输入域判别器模型，实现对于语义分割网络生成概率图所属域的判别，计算域判别损失；
步骤4.2：损失反向传播，交替优化语义分割网络、特征空间域判别器模型和输出空间域判别器模型的参数，以损失函数最小化作为优化目标，最终完成语义分割网络参数的优化；
步骤4.3：训练完成后，将训练好的语义分割网络模型参数进行保存；
步骤五：经过处理的实时的遥感道路数据输入到训练好的遥感图像语义分割网络中，输出遥感图像数据的精确分割结果。
2.根据权利要求1所述的基于GAN网络的无监督域自适应遥感道路语义分割方法，其特征在于：对遥感图像训练集数据进行预处理包括图像裁剪、图像采样和对训练集中原始图像和标签进行数据增强；
所述图像裁剪具体为：将源域训练集图像和标签裁剪为512像素*512像素、分辨率为1米每分辨率的图像；将目标域训练和测试集图像裁剪为1024像素*1024像素、分辨率为0.5米每分辨率的图像；
所述图像采样具体为：将源域图像和标签进行上采样，得到1024像素*1024像素、分辨率为0.5米每分辨率的高分辨率图像；将目标域图像进行下采样，得到512像素*512像素、分辨率为1米每分辨率的低分辨率图像；
所述数据增强包括：将遥感图像语义分割训练集中的图像进行图像旋转、图像垂直翻转、图像水平翻转。图像垂直加水平翻转。
3.根据权利要求1所述的基于GAN网络的无监督域自适应遥感道路语义分割方法，其特征在于：特征提取网络结构如下：
编码器从初始块开始，进行卷积核大小为7×7且步长为2的卷积；此块之后为步长为2的最大池化；网络的后面部分由重复的残差块组成；在每个残差块中，第一个卷积操作以步长为2的卷积核实现采样，其余卷积操作使用步幅1的卷积操作；将特征编码器网络进行两次下采样后提取的特征图称为底层特征图，作为超分辨率网络的输入特征；将经过四次下采样后最终生成的高层特征图作为语义分割网络的输入特征；
残差块中的两个卷积操作以步长为1，卷积核为3×3的卷积实现特征通道融合，所述残差块中设置有用于加快网络收敛的短路连接。
4.根据权利要求3所述的基于GAN网络的无监督域自适应遥感道路语义分割方法，其特征在于：所述超分辨率网络通过残差块来对特征编码器提取的底层特征图进行特征的再次提取和整合，通过三个反卷积模块逐步恢复图像的分辨率，同时减少网络的通道数，最终生成低分辨率遥感图像所对应的高分辨率遥感图像；其中，先对输入的底层特征图进行两次卷积，再通过残差块进行进一步的特征提取和整合，得到新的特征图；
所述标签预测网络将从编码器提取的高层特征图进行送入上下文信息模块，提取并整合网络的上下文信息，使用提取的特征图通过注意力模块对来自特征提取网络和超分辨率网络的特征图进行权重调整；将权重调整后的特征图和上采样的特征图进行叠加；依次经过各个解码器模块，每个解码器模块均包括1×1卷积运算，该运算将通道数减半，然后进行批量归一化和转置卷积以对特征图实现上采样过程；通过最后的反卷积层生成只有道路和非道路两种标签的单通道图像；
为解决图像分辨率之间的差异，语义分割模块经过了五次上采样，生成超分辨率的图像语义标签图；同时在最后两次反卷积的过程中融合了来自超分辨率模块传递的底层特征，实现超分辨率模块对于语义分割过程的辅助作用。
5.根据权利要求1所述的基于GAN网络的无监督域自适应遥感道路语义分割方法，其特征在于：所述域判别器模型分别通过对特征空间和输出空间的域对抗训练，提取源域和目标域的域不变特征，提升目标域图像的分割精度；
其中，所述特征空间域判别网络中，选择标签预测网络中经过上下文信息提取的特征图作为域对抗网络的目标；通过五个连续的卷积核大小为3*3，步长为2的卷积层来收缩图像的通道和分辨率，得到最终的语义分割域标签特征图；
所述输出空间域判别网络中，以最终输出的语义分割概率图作为域自适应的对象；输出空间域判别器网络结构超分辨率域判别器网络结构类似，通过五个连续的卷积核大小为3*3，步长为2的卷积层，得到最终的语义分割域标签特征图；输出空间域判别器的生成结果为32×32×1的特征图。
6.根据权利要求1所述的基于GAN网络的无监督域自适应遥感道路语义分割方法，其特征在于：
超分辨率损失为均方损失函数作为损失函数，其中，在二分类的情况下，所述均方差损失函数的计算公式为：
上式中：X为超分辨率网络生成的超分辨率图，Y为真实的高分辨率图像；
所述步骤三中语义分割损失使用的损失函数为Dice系数损失函数和交叉熵损失函数共同作为损失函数，其中，在二分类的情况下，所述交叉熵损失函数的计算公式为：
上式中：y为真实的标签图，y'为预测的标签图，N为图像的数量；
所述Dice系数损失函数的计算公式为：
上式中：X为生成的预测标签图，Y为真实的标签图，|X∩Y|为真实和预测标签图之间的交集，|X|为预测标签图的元素个数，|Y|为真实标签的元素个数；
域判别器损失为均方损失函数，计算过程如下所示：
LDs＝ES[(Is-1)2]+ET[(Is)2] (4)
LDsinv＝ES[(Is)2]+ET[(Is-1)2] (5)
上式中：Is为源域低分辨率图像生成的超分辨率图，It为目标域下采样低分辨率图像生成的高分辨率图像，LDs表示训练语义分割网络过程中的损失，LDsinv表示训练超分辨率域判别器过程中的损失；训练过程中的总损失函数如下所示：
式中，α表示语义分割损失的权重，β表示超分辨率损失的权重；在训练特征提取模块E，标签预测模块S和超分辨率模块SR组成的语义分割生成器网络时，通过最小化损失函数LG来优化语义分割生成器部分的网络参数；在训练由超分辨率域判别模块和语义分割域判别模块组成的域判别器网络时，通过最小化损失函数LD来优化域判别器部分Ds的网络参数；通过语义分割生成器网络和域判别器网络的交替对抗训练，最终实现目标域遥感图像的无监督语义分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111135771.8A CN113888547A (zh) | 2021-09-27 | 2021-09-27 | 基于gan网络的无监督域自适应遥感道路语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111135771.8A CN113888547A (zh) | 2021-09-27 | 2021-09-27 | 基于gan网络的无监督域自适应遥感道路语义分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113888547A true CN113888547A (zh) | 2022-01-04 |
Family
ID=79006989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111135771.8A Pending CN113888547A (zh) | 2021-09-27 | 2021-09-27 | 基于gan网络的无监督域自适应遥感道路语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888547A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549322A (zh) * | 2022-02-24 | 2022-05-27 | 中山大学 | 基于无监督领域自适应的图像超分辨方法及装置 |
| CN114882220A (zh) * | 2022-05-20 | 2022-08-09 | 山东力聚机器人科技股份有限公司 | 基于域自适应先验知识引导gan的图像生成方法及系统 |
| CN115439871A (zh) * | 2022-09-13 | 2022-12-06 | 北京航星永志科技有限公司 | 档案自动化采集方法、装置和电子设备 |
| CN116310348A (zh) * | 2023-05-18 | 2023-06-23 | 安徽农业大学 | 一种基于cgan的语义分割数据集增广的方法 |
| WO2023201772A1 (zh) * | 2022-04-18 | 2023-10-26 | 浙江大学 | 基于迭代域内适应和自训练的跨域遥感图像语义分割方法 |
| WO2023201681A1 (zh) * | 2022-04-22 | 2023-10-26 | 北京航空航天大学杭州创新研究院 | 面向粗标签的语义分割模型的训练方法和装置 |
| CN117079142A (zh) * | 2023-10-13 | 2023-11-17 | 昆明理工大学 | 无人机自动巡检的反注意生成对抗道路中心线提取方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020238734A1 (zh) * | 2019-05-27 | 2020-12-03 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法、装置、计算机设备和存储介质 |
| CN112183258A (zh) * | 2020-09-16 | 2021-01-05 | 太原理工大学 | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN113160234A (zh) * | 2021-05-14 | 2021-07-23 | 太原理工大学 | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 |
| CN113378906A (zh) * | 2021-06-04 | 2021-09-10 | 武汉大学 | 一种特征自适应对齐的无监督域适应遥感图像语义分割方法 |
| CN113408537A (zh) * | 2021-07-19 | 2021-09-17 | 中南大学 | 一种遥感影像域适应语义分割方法 |
-
2021
- 2021-09-27 CN CN202111135771.8A patent/CN113888547A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020238734A1 (zh) * | 2019-05-27 | 2020-12-03 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法、装置、计算机设备和存储介质 |
| CN112183258A (zh) * | 2020-09-16 | 2021-01-05 | 太原理工大学 | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN113160234A (zh) * | 2021-05-14 | 2021-07-23 | 太原理工大学 | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 |
| CN113378906A (zh) * | 2021-06-04 | 2021-09-10 | 武汉大学 | 一种特征自适应对齐的无监督域适应遥感图像语义分割方法 |
| CN113408537A (zh) * | 2021-07-19 | 2021-09-17 | 中南大学 | 一种遥感影像域适应语义分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘雨溪;张铂;王斌;: "基于生成式对抗网络的遥感图像半监督语义分割", 红外与毫米波学报, no. 04, 15 August 2020 (2020-08-15) * |
| 张小娟;汪西莉;: "完全残差连接与多尺度特征融合遥感图像分割", 遥感学报, no. 09, 16 September 2020 (2020-09-16) * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549322A (zh) * | 2022-02-24 | 2022-05-27 | 中山大学 | 基于无监督领域自适应的图像超分辨方法及装置 |
| CN114549322B (zh) * | 2022-02-24 | 2024-04-16 | 中山大学 | 基于无监督领域自适应的图像超分辨方法及装置 |
| WO2023201772A1 (zh) * | 2022-04-18 | 2023-10-26 | 浙江大学 | 基于迭代域内适应和自训练的跨域遥感图像语义分割方法 |
| WO2023201681A1 (zh) * | 2022-04-22 | 2023-10-26 | 北京航空航天大学杭州创新研究院 | 面向粗标签的语义分割模型的训练方法和装置 |
| CN114882220A (zh) * | 2022-05-20 | 2022-08-09 | 山东力聚机器人科技股份有限公司 | 基于域自适应先验知识引导gan的图像生成方法及系统 |
| CN114882220B (zh) * | 2022-05-20 | 2023-02-28 | 山东力聚机器人科技股份有限公司 | 基于域自适应先验知识引导gan的图像生成方法及系统 |
| CN115439871A (zh) * | 2022-09-13 | 2022-12-06 | 北京航星永志科技有限公司 | 档案自动化采集方法、装置和电子设备 |
| CN116310348A (zh) * | 2023-05-18 | 2023-06-23 | 安徽农业大学 | 一种基于cgan的语义分割数据集增广的方法 |
| CN116310348B (zh) * | 2023-05-18 | 2023-08-22 | 安徽农业大学 | 一种基于cgan的语义分割数据集增广的方法 |
| CN117079142A (zh) * | 2023-10-13 | 2023-11-17 | 昆明理工大学 | 无人机自动巡检的反注意生成对抗道路中心线提取方法 |
| CN117079142B (zh) * | 2023-10-13 | 2024-01-26 | 昆明理工大学 | 无人机自动巡检的反注意生成对抗道路中心线提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113888547A (zh) | 基于gan网络的无监督域自适应遥感道路语义分割方法 | |
| CN111047551B (zh) | 一种基于U-net改进算法的遥感影像变化检测方法及系统 | |
| CN110232394B (zh) | 一种多尺度图像语义分割方法 | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN111210443B (zh) | 基于嵌入平衡的可变形卷积混合任务级联语义分割方法 | |
| CN110287849B (zh) | 一种适用于树莓派的轻量化深度网络图像目标检测方法 | |
| CN111723585B (zh) | 一种风格可控的图像文本实时翻译与转换方法 | |
| CN111652217B (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
| CN112183258A (zh) | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 | |
| CN113160234B (zh) | 基于超分辨率和域自适应的无监督遥感图像语义分割方法 | |
| CN115601549B (zh) | 基于可变形卷积和自注意力模型的河湖遥感图像分割方法 | |
| CN111524135A (zh) | 基于图像增强的输电线路细小金具缺陷检测方法及系统 | |
| CN112183203A (zh) | 一种基于多尺度像素特征融合的实时交通标志检测方法 | |
| CN113888550A (zh) | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 | |
| CN111310666A (zh) | 一种基于纹理特征的高分辨率影像地物识别与分割方法 | |
| CN113657388A (zh) | 一种融合图像超分辨率重建的图像语义分割方法 | |
| CN112347970A (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
| CN112052899A (zh) | 一种基于生成对抗网络的单幅舰船目标sar图像生成方法 | |
| CN114048822A (zh) | 一种图像的注意力机制特征融合分割方法 | |
| CN113255837A (zh) | 工业环境下基于改进的CenterNet网络目标检测方法 | |
| CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN115512103A (zh) | 多尺度融合遥感图像语义分割方法及系统 | |
| CN113011288A (zh) | 一种基于Mask RCNN算法的遥感建筑物检测方法 | |
| CN110633640A (zh) | 优化PointNet对于复杂场景的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220314 Address after: 030024 No. 79 West Main Street, Taiyuan, Shanxi, Yingze Applicant after: Taiyuan University of Technology Applicant after: Shanxi Communications Technology Research and Development Co., Ltd Address before: 030024 No. 79 West Main Street, Taiyuan, Shanxi, Yingze Applicant before: Taiyuan University of Technology |
|
| TA01 | Transfer of patent application right |