CN111598174B - 基于半监督对抗学习的模型训练方法及图像变化分析方法 - Google Patents

Abstract

本发明提出了一种基于半监督对抗学习的模型训练方法及图像变化分析方法，其中训练方法包括：获取待训练的多时相图像；所述待训练的多时相图像包括进行像素级标注的已标注图像和未标注图像；将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，所述对抗训练包括语义分割网络和判别网络；将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，并以可信赖区域作为监督信号对经过对抗训练后的语义分割网络进行半监督训练，得到图像地物要素分类模型。本发明提出的方法和系统减少了数据标注工作量，易于操作，能够实现对图像中各种地物要素的准确精细化分类。

Description

基于半监督对抗学习的模型训练方法及图像变化分析方法

技术领域

本发明涉及遥感图像处理与分析和计算机视觉技术领域，具体涉及一种基于半监督对抗学习的模型训练方法及图像变化分析方法。

背景技术

21世纪是城市化快速发展的阶段，过快、无序地城市扩张会产生一系列的负面影响，有效地对城市进行变化检测可以分析土地使用和土地覆盖(LULC)的变化，分析不同时期的城市扩张驱动力，为城市管理和规划、土地利用保护提供参考，预测城市未来发展趋势，因此深入研究城市扩张变化对于促进城市的可持续发展至关重要。

遥感变化检测是利用多时相遥感影像分析地表变化特征和信息的技术，是遥感图像处理与分析的一个重要方向。随着机器学习地不断发展，出现了许多从遥感图像中提取信息的分类方法，在美国NASA陆地卫星获取的较高分辨率(30米)的遥感数据上，对地物要素分类进而分析城市扩建取得了很大进展，但很少研究高分辨率图像。图像语义分割是像素级别的分类，近年来，基于深度学习的方法在语义分割领域显示出优势，但是通用框架性能好坏取决于标注数据的多少，而且都采用完全监督的训练方式，而像素级标注不仅费时、费力、昂贵，而且人工标注难以保证较高的准确度。

为了减少数据标注工作量，提高语义分割模型的泛化能力，近年来出现了许多半监督和弱监督方法，数据集对样本进行标注的工作量繁重，并且需要多次迭代训练。尤其是具有高分辨率的遥感图像场景复杂，具有复杂的地表特征和丰富的背景干扰，像素级标注的工作量更加繁重，现有框架均不适用于遥感图像的训练和分析。

发明内容

为了克服现有技术的缺陷，本发明的目的在于提出一种基于半监督对抗学习的模型训练方法及图像变化分析方法，用于解决在减少前期图像标注工作量的同时，实现图像精细化分类/分析。

为了实现上述发明目的，本发明提出基于半监督对抗学习的模型训练方法，其改进之处在于，包括如下步骤：

获取待训练的多时相图像；所述待训练的多时相图像包括进行像素级标注的已标注图像和未标注图像；

将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，所述对抗训练包括语义分割网络和判别网络；

将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，并以可信赖区域作为监督信号对经过对抗训练后的语义分割网络进行半监督训练，得到图像地物要素分类模型。

优选的，所述将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，包括：

将已标注图像输入至语义分割网络中进行分割预测训练，获得第一分割预测图；

将第一分割预测图和经过编码处理的已标注图像输入至判别网络中进行对抗训练，直至语义分割网络和判别网络的损失函数达到收敛，生成对抗训练后的语义分割网络和判别网络。

优选的，所述语义分割网络采用包括五层卷积层的Resnet101网络作为骨干网络，所述骨干网络包括依次连接的特征提取模块、多层特征动态融合模块、边界注意力模块和输出模块；

所述将已标注图像输入至语义分割网络中进行分割预测训练，获得第一分割预测图，包括：

将已标注图像输入至骨干网络中，通过骨干网络中的特征提取模块提取已标注图像的低层空间特征和高层语义特征，获得与五层卷积层对应的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；

利用多层特征动态融合模块对第三特征图、第四特征图、第五特征图进行级联处理得到第六特征图，对第六特征图进行通道加权处理后输出至边界注意力模块；

利用边界注意力模块将第一特征图与第二特征图进行级联处理得到第七特征图，计算第七特征图的边界注意力因子；基于第七特征图的边界注意力因子对第一特征图进行边界加权处理，将加权处理后的第一特征图与第四特征图进行残差连接得到第八特征图，计算第八特征图的边界注意力因子；基于第八特征图的边界注意力因子对第一特征图进行边界加权处理，加权处理后的第一特征图与第五特征图进行残差连接得到第九特征图，计算第九特征图的边界注意力因子；基于第九特征图的边界注意力因子对通道加权处理后的第六特征图进行边界加权处理后得到第十特征图传至输出模块；

通过输出模块对第十特征图进行1×1卷积降维，使用双线性插值法对第十特征图进行上采样，获得与原始已标注图像大小相同的第一分割预测图；

其中，所述低层空间特征包括图像中各种地物要素的位置和形状信息，所述高层语义特征包括各种地物要素的类别信息。

优选的，所述边界注意力模块通过下式计算边界注意力因子：

所述边界注意力模块通过下式进行边界加权处理：

O＝F⊙A+F

式中，O为进行边界加权处理后获得的特征图，F为经过多层特征动态融合模块处理后输出的特征图，A为边界注意力因子，⊙为按元素相乘，exp()为指数函数，C为骨干网络中两张特征图经过级联处理得到的一张特征图。

优选的，所述判别网络包括编码器和解码器，所述编码器包括依次连接的3个残差块和2个卷积层；

所述将第一分割预测图和经过编码处理的已标注图像输入至判别网络中进行对抗训练，直至语义分割网络和判别网络的损失函数达到收敛，生成对抗训练后的语义分割网络和判别网络，包括：

将第一分割预测图和已标注图像分别输入到预先构建的判别网络中，通过判别网络中编码器的残差块提取第一分割预测图和已标注图像的局部特征和全局特征，并将相同图像对应的局部特征和全局特征进行残差连接后，获得第一分割预测图和已标注图像的特征图；

通过判别网络的解码器对第一分割预测图和已标注图像的特征图进行逐步上采样，获得与原始已标注图像大小相同的第一分割预测图和已标注图像的第一置信图；

通过第一分割预测图和已标注图像的第一置信图中每个像素的置信度值大小判断每个像素来源于已标注图像或者第一分割预测图，分别计算语义分割网络和判别网络的损失函数，当训练达到预设迭代次数后得到对抗训练后的语义分割网络和判别网络。

优选的，所述语义分割网络的损失函数为：

L_SEG＝L_mce+λ_semiL_semi+λ_advL_adv

其中，L_mce，L_semi和L_adv分别为多分类交叉熵损失，半监督损失和对抗损失，λ_semi和λ_adv分别为半监督损失和对抗损失的权重。

优选的，所述判别网络的损失函数为：

式中，X为输入到语义分割网络中的原始图像，Y为已标注图像，S(X)为第一分割预测图，D(S(X))为第一分割预测图对应的判别网络输出的第一置信图，D(S(X))_h,w为第一分割预测图对应的判别网络输出的第一置信图中的置信度值，D(Y)为已标注图像对应的判别网络输出的第一置信图，D(Y)_h,w为已标注图像对应的判别网络输出的第一置信图中的置信度值，y为(h,w)处像素的标签、取值为0或1。

优选的，所述将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，包括：

将未标注图像输入对抗训练后的语义分割网络中，获得第二分割预测图；

将所述第二分割预测图输入对抗训练后的判别网络中，获得第二置信图；

对第二置信图进行二值化处理，将满足阈值要求的区域作为未标注图像中接近已标注图像的可信赖区域。

另一方面，本发明还提供一种基于半监督对抗学习的图像变化分析方法，其改进之处在于，包括如下步骤：

获取待分析的多时相图像；

通过训练好的图像地物要素分类模型获取多时相图像中各种地物要素的分类结果；

根据所述分类结果，分析目标区域中各种地物要素的变化情况；

所述图像地物要素分类模型通过如上任一所述的模型训练方法进行训练。

优选的，所述根据所述分类结果，分析目标区域中各种地物要素的变化情况，包括：

计算不同时相的各种地物要素占地面积；

根据地物要素各种地物要素占地面积，获得各种地物要素所占面积与不同时相对应的折线图和统计直方图；

根据各种地物要素所占面积与不同时相对应的折线图和统计直方图，分析目标区域中各种地物要素的变化趋势。

另一方面，本发明还提供一种基于半监督对抗学习的图像变化分析系统，其改进之处在于，包括如下各模块：

采集模块，用于获取待分析的多时相图像；

获取模块，用于通过训练好的图像地物要素分类模型获取多时相图像中各种地物要素的分类结果；

分析模块，用于根据所述分类结果，分析目标区域中各种地物要素的变化情况；

其中，所述图像地物要素分类模型通过图像地物要素分类模型的训练系统进行训练。

与现有技术相比，本发明的有益效果为：

本发明提供的技术方案，包括获取待训练的多时相图像；所述待训练的多时相图像包括进行像素级标注的已标注图像和未标注图像；将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，所述对抗训练包括语义分割网络和判别网络；将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，并以可信赖区域作为监督信号对经过对抗训练后的语义分割网络进行半监督训练，得到图像地物要素分类模型。本发明提出的方法和系统减少了数据标注工作量，易于操作，能够实现对图像中各种地物要素的准确精细化分类。

本发明提供的技术方案，还可以进一步应用于对图像分析中，对实现准确精细地分析城市扩建的变化，具有重要意义。

附图说明

图1为本发明实施例一中基于半监督对抗学习的模型训练方法的流程示意图；

图2为本发明实施例一中基于第一分割预测图和已标注图像进行对抗训练的流程示意图；

图3为本发明实施例一中语义分割网络的结构示意图；

图4为本发明实施例一中判别网络的残差块结构示意图；

图5为本发明实施例一中基于半监督对抗学习的模型训练系统的结构示意图；

图6为本发明实施例二中基于半监督对抗学习的图像变化分析方法的流程示意图；

图7为本发明实施例二中基于半监督对抗学习的图像变化分析系统的结构示意图。

具体实施方式

为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。

实施例一

本发明的实施例提供了一种基于半监督对抗学习的图像地物要素分类模型的训练方法，其基本流程如图1所示，包括如下步骤：

S11、获取待训练的多时相图像；所述待训练的多时相图像包括进行像素级标注的已标注图像和未标注图像；

S12、将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，所述对抗训练包括语义分割网络和判别网络；

S13、将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，并以可信赖区域作为监督信号对经过对抗训练后的语义分割网络进行半监督训练，得到图像地物要素分类模型。

本发明实施例中以获取某个地区/区域(例如城市)的多时相高分辨率遥感图像为例对本发明的技术方案进行具体说明：

上述S11中，对获取的部分图像进行像素级标注，形成包含10类地物要素的数据集，具体包括如下步骤：

S111、通过谷歌地球下载同一个城市地区多个时相的高分辨率遥感图像，分辨率为0.27米，从中选取涵盖各个场景的部分图像作为本发明实施例的数据集，共包含180张像素大小为2000×2000的RGB图像；

S112、按照预设比例对数据集中的已标注图像进行像素级标注，具体包括：

数据集中图像的地物要素可以划分为10类，包括：草地、林地、耕地、裸地、水体、道路、不透水地面、居民区、工业区和背景；

用PhotoShop软件进行像素级标注，对预先配置好比例的已标注图像进行精细标注，剩余图片不进行标注。

结合高分辨遥感图像的分辨率，观察图像所覆盖地区的地物类型及分布情况，结合要分割的地物要素的实际情况，忽略图像中像素大小小于8×8的物体，因为尺度过小的物体通过网络后被降采样，很难分割出来，过小的物体在整幅图像中所占的比例很小，对于分析整个区域的变化的影响很小。

本发明实施例中可以用白色表示不透水地面、品红色表示工厂、深蓝色表示住宅(除工厂外的建筑物)、浅蓝色表示水体、黄色表示道路、浅绿色表示草地、深绿色表示林地、灰色表示耕地、红色表示裸地、黑色表示背景。用PhotoShop的套索工具勾勒出每个物体的轮廓边缘，然后按照预先定义的颜色映射用油漆桶工具在轮廓内填充对应的颜色，将图像中的各个物体的RGB值都标注成对应的颜色，最后得到的由10种颜色组成的新的RGB图像即为标注结果。

数据集共包含180张图像，已标注图像和未标注图像的比例可以按照1：4设置，用120张无标注的图像作为训练集中无标注图像，从60张已标注图像中选取30张作为数据集中的已标注图像，剩余30张可以作为后续验证模型准确性的测试集，通过测试级验证本模型准确性的方案不属于本发明保护范畴，因此本实施例不做过多说明。

由于有可能原始图片的尺寸过大，因此对于这种图像可以先对图像进行预处理后再形成包含待训练的多时相图像的训练集，预处理的具体步骤包括：

对数据集中的图像进行图像增强，包括裁剪、水平反转、镜像变换和添加随机噪声；其中，将裁剪为采用滑动窗口的方式将图像裁切成513×513大小的图像切片。

上述S12中，将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，对抗训练的基本流程如图2所示，具体包括如下步骤：

S121、将已标注图像输入至语义分割网络中进行分割预测训练，获得第一分割预测图；

S122、将第一分割预测图和经过one-hot编码处理的已标注图像输入至判别网络中进行对抗训练，直至语义分割网络和判别网络的损失函数达到收敛，生成对抗训练后的语义分割网络和判别网络。

上述S121中的语义分割网络基本结构图如图3所示，可以采用包括五层卷积层的Resnet101网络作为骨干网络，所述骨干网络中包括依次连接的特征提取模块、多层特征动态融合模块、边界注意力模块和输出模块；

上述S121中，已标注图像可以是维度为H×W×3的RGB图像，将已标注图像输入预先构建的语义分割网络中，自底向上逐层提取低层到高层的特征，通过设计的多层特征动态融合模块得到具有丰富语义和空间信息的特征，再经过边界注意力模块对语义边界相关的特征进行加权，得到与原始RGB图像大小相同、且维度为H×W×C的类概率图，即为第一分割预测图，其中C＝10是地物要素类别数目，具体包括如下步骤：

S1211、将已标注图像输入至骨干网络中，通过骨干网络中的特征提取模块提取已标注图像的低层空间特征和高层语义特征，获得与五层卷积层对应的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；

S1212、将利用多层特征动态融合模块对第三特征图、第四特征图、第五特征图进行级联处理得到第六特征图，对第六特征图进行通道加权处理后输出至边界注意力模块；

S1213、将利用边界注意力模块将第一特征图与第二特征图进行级联处理得到第七特征图，计算第七特征图的边界注意力因子；基于第七特征图的边界注意力因子对第一特征图进行边界加权处理，将加权处理后的第一特征图与第四特征图进行残差连接得到第八特征图，计算第八特征图的边界注意力因子；基于第八特征图的边界注意力因子对第一特征图进行边界加权处理，加权处理后的第一特征图与第五特征图进行残差连接得到第九特征图，计算第九特征图的边界注意力因子；基于第九特征图的边界注意力因子对通道加权处理后的第六特征图进行边界加权处理后得到第十特征图传至输出模块；

S1214、将通过输出模块对第十特征图进行1×1卷积降维，使用双线性插值法对第十特征图进行上采样，获得与原始已标注图像大小相同的第一分割预测图；

其中，低层空间特征包括图像中各种地物要素的位置和形状信息，高层语义特征包括各种地物要素的类别信息。

本发明实施例中，由于采用多层特征动态融合模块对中间特征图进行特征融合，以及基于边界注意力模块利用特征图的边界注意力因子进行边界加权处理后，所获得的第一分割预测图中包括了更多的边界信息，为实现图像精细和准确分类提供了基础。

上述S1213中，边界注意力模块首先用空间信息充足的低层空间特征经过sigmoid函数计算边界注意力因子，如下式：

最后对低层空间特征加权后，再与高层语义特征进行残差连接，以解决改善分割边界模糊的问题。如下式：

O＝F⊙A+F

式中，O为加权处理模块中进行边界加权处理后获得的特征图，F为经过多层特征动态融合模块处理后输出的特征图，A为边界注意力因子，⊙为按元素相乘，exp()为指数函数，C为骨干网络中两张特征图经过级联处理得到的一张特征图。

上述S122中的判别网络可以采用一个基于U-Net的网络，包括用于特征提取的编码器和用于上采样的解码器。解码器可以使用转置卷积，用于恢复原始图像大小；编码器包括依次连接的3个残差块和2个卷积层，每个残差块的结构如图4所示，包括两个分支：

第一分支包括依次连接的第一激活函数(ReLU)、第一3×3卷积层(Conv 3×3)、第二激活函数(ReLU)、第二3×3卷积层(Conv 3×3)以及第一平均池化层；

第二分支包括依次连接的1×1卷积层(Conv 1×1)和第二平均池化层；

每个残差块对图像进行处理的具体步骤包括：

首先，残差块先通过第一分支中的2个3×3卷积逐步扩大感受野，提取局部特征，再经过第一分支中的平均池化操作提取全局特征，得到特征图I；

其次，残差块通过第二分支中的1×1卷积层对图像进行降维，再通过平均池化操作提取图像的全局特征，得到特征图II；

最后，残差块将特征图I和特征图II进行残差连接后输出，本发明实施例中残差块的结构设置使得两个网络进行对抗训练的过程更加稳定。

本发明实施例还可以通过在第3个残差块中插入non-local注意力模块，用来捕获长距离依赖关系。编码器中的2个3×3卷积层和每个残差块中的3×3卷积层均具有扩大感受野的作用。

上述S122，可以把经过one-hot编码的已标注图像和第一分割预测图分别输入到预先构建的判别网络中进行对抗训练，判断图像中每个像素来自已标注图像还是第一分割预测图。输入维度H×W×C的第一分割预测图和已标注图像，输出大小为H×W×1的第一置信图，第一置信图中每个位置的像素值表示采样像素样本来自于分割预测图还是真实标签图。

判别网络中的编码器自底向上提取特征获得特征图，再通过判别网络中的解码器对特征图进行逐步上采样，输出大小为H×W×1的第一置信图，第一置信图中像素值越大代表该像素来源于已标注图像的可能性越大。在对抗训练过程中，语义分割网络和对抗网络可以相互对抗、相互促进，对抗训练用于监督语义分割网络产生更加接近于已标注图像的分割预测图，通过与判别网络的对抗博弈，进一步提升语义分割网络的性能。具体包括如下步骤：

S1221、将第一分割预测图和已标注图像分别输入到预先构建的判别网络中，通过判别网络中编码器的残差块提取第一分割预测图和已标注图像的局部特征和全局特征，并将相应图像对应的局部特征和全局特征进行残差连接后，获得第一分割预测图和已标注图像的特征图；

S1222、通过判别网络的解码器对第一分割预测图和已标注图像的特征图进行逐步上采样，获得与已标注图像大小相同的第一分割预测图和已标注图像的第一置信图；

S1223、通过第一置信图中每个像素的置信度值大小判断每个像素来源于已标注图像或者第一分割预测图，第一置信图中像素值大于预设阈值，则代表该像素来源于已标注图像；分别计算语义分割网络和判别网络的损失函数，当训练达到预设迭代次数后得到对抗训练后的语义分割网络和判别网络；

在对抗训练过程中，需要利用梯度反向传播分别不断更新语义分割网络和判别网络的参数，从而在判别网络的损失函数达到收敛时，获得语义分割网络和判别网络的最优参数。

上述S1223中，语义分割网络进行分割预测训练、对抗训练和半监督训练的损失函数均如下式：

L_SEG＝L_mce+λ_semiL_semi+λ_advL_adv

其中，L_mce，L_semi和L_adv分别为多分类交叉熵损失，半监督损失和对抗损失，λ_semi和λ_adv分别为半监督损失和对抗损失的权重。本实施例中，λ_semi可以取值为1，λ_adv可以取值为0.01。

上述S1223中，判别网络的损失函数可以采用Wasserstein距离函数，有利于网络训练过程中的稳定性，具体如下式：

式中，X为输入到语义分割网络中的原始图像，Y为已标注图像，S(X)为第一分割预测图，D(S(X))为第一分割预测图对应的判别网络输出的第一置信图，D(S(X))_h,w为第一分割预测图对应的判别网络输出的第一置信图中的置信度值，D(Y)为已标注图像对应的判别网络输出的第一置信图，D(Y)_h,w为已标注图像对应的判别网络输出的第一置信图中的置信度值，y为(h,w)处像素的标签、取值为0或1。

上述S13中，将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，具体包括如下步骤：

S131、将未标注图像输入对抗训练后的语义分割网络中，获得第二分割预测图；

S132、将所述第二分割预测图输入对抗训练后的判别网络中，获得第二置信图；

S133、对第二置信图进行二值化处理，将满足阈值要求的区域作为未标注图像中接近已标注图像的可信赖区域。

上述S131中获得其第二分割预测图的过程与上述S121中获得其第一分割预测图的过程基本相同，此处不再赘述。唯有不同之处在于：

S121中将已标注图像输入至预先构建的语义分割网络中，输出为第一分割预测图；而S131中将未标注图像输入至对抗训练得到的语义分割网络中，输出为第二分割预测图。

上述S132中获得第二置信图的过程与上述S122中获得第一置信图的过程基本相同，此处不再赘述。唯有不同之处在于：

S122中将第一分割预测图和已标注图像分别输入到各自预先构建的判别网络中，输出为第一分割预测图和已标注图像的第一置信图；而S132中将第二分割预测图输入至对抗训练后的判别网络中，输出为第二置信图。

上述S133中的具体步骤包括：

首先：设置阈值α对第二置信图按下式进行二值化处理：

式中，g(h,w)表示经过二值化处理后第二置信图的置信度值，S(X′)为第二分割预测图，D(S(X′))^(h,w)表示在位置(h,w)处经过判别网络输出的置信度值；

然后，将二值化处理后的第二置信图与第二分割预测图进行点乘，得到第二分割预测图中接近已标注图像的可信赖区域。

上述S13中，先利用上述S131-S133获得第二分割预测图中接近已标注图像的可信赖区域，即经过二值化处理后第二置信图中置信度值g(h,w)为1的区域为可信赖区域；

以可信赖区域作为监督信号，基于已标注图像和未标注图像对经过对抗训练后的语义分割网络进行半监督训练；

本发明实施例中通过对半监督训练的监督信号进行了优化，因此进一步提升了语义分割网络的性能，进而得到训练好的图像地物要素分类模型。

其中，基于已标注图像和未标注图像对经过对抗训练后的语义分割网络进行半监督训练可以采用本领域技术人员公知的现有技术，因此本实施例中不再赘述。

基于同一发明构思，本发明实施例还提供了基于半监督对抗学习的图像地物要素分类模型的训练系统，其基本结构如图5所示，包括如下部件：

采集单元，用于获取待训练的多时相图像；所述待训练的多时相图像包括进行像素级标注的已标注图像和未标注图像；

训练单元，用于将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，所述对抗训练包括语义分割网络和判别网络；

生成单元，用于将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，并以可信赖区域作为监督信号对经过对抗训练后的语义分割网络进行半监督训练，得到图像地物要素分类模型。

实施例二

本发明实施例提供一种基于半监督对抗学习的图像变化分析方法，其基本流程如图6所示，包括：

S21、获取待分析的多时相图像；

S22通过训练好的图像地物要素分类模型获取多时相图像中各种地物要素的分类结果；

S23、根据所述分类结果，分析目标区域中各种地物要素的变化情况；

其中，图像地物要素分类模型是采用实施例一的方法进行训练得到的。

由于有可能原始图片的尺寸过大，对于这种图像可以先对图像进行预处理后再形成包含待训练的多时相图像的训练集，因此上述S21之前，还可以包括：：

对分析数据集中待分析的多时相图像进行图像增强，包括裁剪、水平反转、镜像变换和添加随机噪声；其中，将裁剪为采用滑动窗口的方式将图像裁切成513×513大小的图像切片，该图像切片即为待分析的多时相图像。

上述S22的具体步骤包括：

用经过实施例一训练好的图像地物要素分类模型，对整个城市的多时相图像进行分割预测，获取得到不同时间的城市图中不同地物要素的分类图，即多时相图像中各种地物要素的分类结果。

上述S23的具体步骤包括：

S231、计算不同时相的各种地物要素占地面积；

S232、根据地物要素各种地物要素占地面积，获得各种地物要素所占面积与不同时相对应的折线图和统计直方图；

S233、根据各种地物要素所占面积与不同时相对应的折线图和统计直方图，分析目标区域中各种地物要素的变化趋势。

基于同一发明构思，本发明实施例还提供基于半监督对抗学习的图像变化分析系统，如图7所示，其具体部件包括：

采集模块，用于获取待分析的多时相图像；

获取模块，用于通过训练好的图像地物要素分类模型获取多时相图像中各种地物要素的分类结果；

分析模块，用于根据所述分类结果，分析目标区域中各种地物要素的变化情况；

其中，所述图像地物要素分类模型利用实施例一中基于半监督对抗学习的图像地物要素分类模型的训练系统进行训练。

本发明提供了一种基于半监督对抗学习的模型训练方法及系统，在不损失分类预测准确度的前提下大大减少了前期数据标注工作量，易于操作，能够实现对图像中各种地物要素的准确精细化分类。

本发明还提供了一种基于半监督对抗学习的图像变化分析方法及系统，用训练好的分割网络对待分析的多时相图像进行语义分割，对比不同时相的分类结果，分析城市扩建中地物要素的变化，能够准确精、细地分析城市扩建的变化，对未来城市规划建设具有重要的指导意义。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (10)

1.一种基于半监督对抗学习的模型训练方法，其特征在于，包括：

获取待训练的多时相图像；所述待训练的多时相图像包括进行像素级标注的已标注图像和未标注图像；

将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，所述对抗训练包括语义分割网络和判别网络；

将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，并以可信赖区域作为监督信号对经过对抗训练后的语义分割网络进行半监督训练，得到图像地物要素分类模型；

所述语义分割网络采用包括五层卷积层的Resnet101网络作为骨干网络，所述骨干网络包括依次连接的特征提取模块、多层特征动态融合模块、边界注意力模块和输出模块；

所述将已标注图像输入至语义分割网络中进行分割预测训练，获得第一分割预测图，包括：

将已标注图像输入至骨干网络中，通过骨干网络中的特征提取模块提取已标注图像的低层空间特征和高层语义特征，获得与五层卷积层对应的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；

利用多层特征动态融合模块对第三特征图、第四特征图、第五特征图进行级联处理得到第六特征图，对第六特征图进行通道加权处理后输出至边界注意力模块；

利用边界注意力模块将第一特征图与第二特征图进行级联处理得到第七特征图，计算第七特征图的边界注意力因子；基于第七特征图的边界注意力因子对第一特征图进行边界加权处理，将加权处理后的第一特征图与第四特征图进行残差连接得到第八特征图，计算第八特征图的边界注意力因子；基于第八特征图的边界注意力因子对第一特征图进行边界加权处理，加权处理后的第一特征图与第五特征图进行残差连接得到第九特征图，计算第九特征图的边界注意力因子；基于第九特征图的边界注意力因子对通道加权处理后的第六特征图进行边界加权处理后得到第十特征图传至输出模块；

通过输出模块对第十特征图进行1×1卷积降维，使用双线性插值法对第十特征图进行上采样，获得与原始已标注图像大小相同的第一分割预测图；

其中，所述低层空间特征包括图像中各种地物要素的位置和形状信息，所述高层语义特征包括各种地物要素的类别信息。

2.如权利要求1所述的方法，其特征在于，所述将已标注图像与基于已标注图像获得的第一分割预测图进行对抗训练，包括：

将已标注图像输入至语义分割网络中进行分割预测训练，获得第一分割预测图；

将第一分割预测图和经过编码处理的已标注图像输入至判别网络中进行对抗训练，直至语义分割网络和判别网络的损失函数达到收敛，生成对抗训练后的语义分割网络和判别网络。

3.如权利要求1所述的方法，其特征在于，所述边界注意力模块通过下式计算边界注意力因子：

所述边界注意力模块通过下式进行边界加权处理：

O＝F⊙A+F

式中，O为进行边界加权处理后获得的特征图，F为经过多层特征动态融合模块处理后输出的特征图，A为边界注意力因子，⊙为按元素相乘，exp()为指数函数，C为骨干网络中两张特征图经过级联处理得到的一张特征图。

4.如权利要求2所述的方法，其特征在于，所述判别网络包括编码器和解码器，所述编码器包括依次连接的3个残差块和2个卷积层；

所述将第一分割预测图和经过编码处理的已标注图像输入至判别网络中进行对抗训练，直至语义分割网络和判别网络的损失函数达到收敛，生成对抗训练后的语义分割网络和判别网络，包括：

将第一分割预测图和已标注图像分别输入到预先构建的判别网络中，通过判别网络中编码器的残差块提取第一分割预测图和已标注图像的局部特征和全局特征，并将相同图像对应的局部特征和全局特征进行残差连接后，获得第一分割预测图和已标注图像的特征图；

通过判别网络的解码器对第一分割预测图和已标注图像的特征图进行逐步上采样，获得与原始已标注图像大小相同的第一分割预测图和已标注图像的第一置信图；

通过第一分割预测图和已标注图像的第一置信图中每个像素的置信度值大小判断每个像素来源于已标注图像或者第一分割预测图，分别计算语义分割网络和判别网络的损失函数，当训练达到预设迭代次数后得到对抗训练后的语义分割网络和判别网络。

5.如权利要求1、2或4所述的方法，其特征在于，所述语义分割网络的损失函数为：

L_SEG＝L_mce+λ_semiL_semi+λ_advL_adv

其中，L_mce，L_semi和L_adv分别为多分类交叉熵损失，半监督损失和对抗损失，λ_semi和λ_adv分别为半监督损失和对抗损失的权重。

6.如权利要求1、2或4所述的方法，其特征在于，所述判别网络的损失函数为：

式中，X为输入到语义分割网络中的原始图像，Y为已标注图像，S(X)为第一分割预测图，D(S(X))为第一分割预测图对应的判别网络输出的第一置信图，D(S(X))_h,w为第一分割预测图对应的判别网络输出的第一置信图中的置信度值，D(Y)为已标注图像对应的判别网络输出的第一置信图，D(Y)_h,w为已标注图像对应的判别网络输出的第一置信图中的置信度值，y为(h,w)处像素的标签、取值为0或1。

7.如权利要求1所述的方法，其特征在于，所述将未标注图像输入对抗训练后的判别网络中，得到未标注图像中接近已标注图像的可信赖区域，包括：

将未标注图像输入对抗训练后的语义分割网络中，获得第二分割预测图；

将所述第二分割预测图输入对抗训练后的判别网络中，获得第二置信图；

对第二置信图进行二值化处理，将满足阈值要求的区域作为未标注图像中接近已标注图像的可信赖区域。

8.一种基于半监督对抗学习的图像变化分析方法，其特征在于，包括：

获取待分析的多时相图像；

通过训练好的图像地物要素分类模型获取多时相图像中各种地物要素的分类结果；

根据所述分类结果，分析目标区域中各种地物要素的变化情况；

所述图像地物要素分类模型通过如权利要求1-7任一所述的方法进行训练。

9.如权利要求8所述的方法，其特征在于，所述根据所述分类结果，分析目标区域中各种地物要素的变化情况，包括：

计算不同时相的各种地物要素占地面积；

根据地物要素各种地物要素占地面积，获得各种地物要素所占面积与不同时相对应的折线图和统计直方图；

根据各种地物要素所占面积与不同时相对应的折线图和统计直方图，分析目标区域中各种地物要素的变化趋势。

10.一种基于半监督对抗学习的图像变化分析系统，其特征在于，包括：

采集模块，用于获取待分析的多时相图像；

获取模块，用于通过训练好的图像地物要素分类模型获取多时相图像中各种地物要素的分类结果；

分析模块，用于根据所述分类结果，分析目标区域中各种地物要素的变化情况；

其中，所述图像地物要素分类模型通过如权利要求1-7任一所述的方法进行训练。

Images