CN115482463B - 一种生成对抗网络矿区土地覆盖识别方法及系统 - Google Patents

一种生成对抗网络矿区土地覆盖识别方法及系统 Download PDF

Info

Publication number
CN115482463B
CN115482463B CN202211064803.4A CN202211064803A CN115482463B CN 115482463 B CN115482463 B CN 115482463B CN 202211064803 A CN202211064803 A CN 202211064803A CN 115482463 B CN115482463 B CN 115482463B
Authority
CN
China
Prior art keywords
network
generating
convolution
module
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211064803.4A
Other languages
English (en)
Other versions
CN115482463A (zh
Inventor
李全生
刘海涛
杜守航
郭俊廷
李军
滕腾
张村
阎跃观
张成业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
National Institute of Clean and Low Carbon Energy
Original Assignee
China University of Mining and Technology Beijing CUMTB
National Institute of Clean and Low Carbon Energy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB, National Institute of Clean and Low Carbon Energy filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN202211064803.4A priority Critical patent/CN115482463B/zh
Publication of CN115482463A publication Critical patent/CN115482463A/zh
Application granted granted Critical
Publication of CN115482463B publication Critical patent/CN115482463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明公开了一种生成对抗网络矿区土地覆盖识别方法及系统,其方法包括:S1、获取一个区域内影像块数据集和土地覆盖标签数据集;S2、基于Pytorch构建包含生成网络和判别网络的生成对抗网络模型;S3、构建生成对抗网络模型的损失函数:S4、利用联合感知损失函数对生成对抗网络模型进行动态训练直到达到纳什平衡;S5、向训练后的生成网络输入研究区的影像块数据,输出矿区土地覆盖识别结果图。本发明通过土地覆盖样本数据集对构建的生成对抗网络模型进行训练,采用联合感知损失函数,最终实现对输入研究区影像块数据的矿区土地覆盖识别并输出特征图,提高了高分遥感影像中矿区土地覆盖的识别精度及分割效果。

Description

一种生成对抗网络矿区土地覆盖识别方法及系统
技术领域
本发明涉及矿区遥感数据处理及识别领域,尤其涉及一种生成对抗网络矿区土地覆盖识别方法及系统。
背景技术
矿物资源是重要的自然资源,但矿物资源的开采过程会严重破坏矿区及其周边的地形和环境。对矿区及其周边区域的土地覆盖进行识别和监测对于全面了解开采活动、评价环境影响、识别非法破坏行为至关重要。传统矿区土地覆盖监测通常通过人工外业调查的方式实现,这种方式消耗大量的人力、物力和财力,并且监测时效性低、效果较差。随着遥感技术和深度学习的快速发展,可以获得大量的高分辨率遥感影像,同时高分辨率遥感影像提供了地面丰富的细节信息,使得基于高分辨率遥感影像用地识别的方式可以逐渐替代了传统的人工识别方式。传统的遥感识别方法受限于人工特征选取,土地覆盖识别精度有限。深度学习卷积神经网络的层次化结构,可以学习影像中深层次的特征,与人工特征相比,具有更强的类别可分能力,极大地提高了影像的识别精度。语义分割是通过特定方法获取影像每个像素对应的类别结果,即实现像素级别的分类,在矿区土地覆盖识别任务中,即实现对影像中矿区内不同土地覆盖区域的分割。尽管现有的很多卷积神经网络模型在图像语义分割上已经有了很成功的表现,但有时候并不能很好地学到训练数据中的一些特征,尤其是在图像语义分割任务中,分割模型通常对每个像素的类别进行预测,像素级别的准确率可能会很高,但像素与像素之间的相互关系容易被忽略,使得分割结果中的物体不够完整或者分割结果中的某些物体的尺寸、形状与标签中的尺寸、形状差别较大,并且现实场景中目标对象的大量变化、不同场景中物体的遮挡和重叠、缺乏高辨识度的特征和光照变化等都是使分割模型缺少泛化能力的影响因素。采用现有Unet网络进行矿区土地覆盖识别,存在下述技术问题:(1)矿区内不同土地覆盖区域的形状与尺度存在较大异质性,而Unet存在池化与上采样操作,对影像尺寸先缩小再扩大,在这个过程中存在特征信息的损失,使得识别结果中不同土地覆盖区域边缘识别不准确。(2)Unet网络在土地覆盖的识别过程中仍是对每个像素的类别进行预测,对像素之间的相互关系信息利用率不高,需要提高对像素间关系信息的利用,获得更好的土地覆盖识别结果。
发明内容
针对背景技术所存在的技术问题,本发明的目的在于提供一种生成对抗网络矿区土地覆盖识别方法及系统,通过土地覆盖样本数据集对构建的生成对抗网络模型进行训练,生成对抗网络模型采用联合感知损失函数,最终实现对输入研究区影像块数据的矿区土地覆盖识别输出特征图,提高了高分遥感影像中矿区土地覆盖的识别精度及分割效果。
本发明的目的通过下述技术方案实现:
一种生成对抗网络矿区土地覆盖识别方法,其方法包括:
S1、获取一个区域内土地覆盖样本数据集进行标注、裁剪处理得到影像块数据集和相对应的土地覆盖标签数据集;
S2、基于Pytorch构建包含生成网络和判别网络的生成对抗网络模型,生成网络由空洞卷积模块、残差模块和CBAM注意力机制模块所构成的Unet网络,判别网络包括五个卷积模块;
S3、利用感知损失函数和L1损失函数联合构成联合感知损失函数并作为生成对抗网络模型的损失函数:
L(a,b,D,G)=LGAN(D,G)+αLPERC(a,G(b))+βLAD(a,G(b));
LGAN(D,G)为原始损失函数,LPERC(a,G(b))为感知损失函数,LAD(a,G(b))为L1损失函数,D表示判别器,G表示生成器,a是真实样本,G(b)是生成样本,α、β为系数;
S4、将影像块数据集输入生成对抗网络模型的生成网络,将土地覆盖标签数据集输入生成对抗网络模型的判别网络,利用联合感知损失函数对生成对抗网络模型进行动态训练直到达到纳什平衡,进而得到训练后的生成对抗网络模型;
S5、向训练后的生成对抗网络模型的生成网络输入研究区的影像块数据,生成网络输出的特征图即为矿区土地覆盖识别结果图。
优选地,本发明生成对抗网络矿区土地覆盖识别方法中的方法S1包括:
S11、土地覆盖样本数据集中包括遥感影像,利用ArcGIS软件系统对土地覆盖样本数据集中的遥感影像按照土地覆盖区域的特征进行类别标签标注划分,将遥感影像中不同类别的土地覆盖区域作为学习对象;
S12、将土地覆盖样本数据集中的遥感影像裁剪为512像素×512像素的影像块并得到影像块数据集和相对应的土地覆盖标签数据集。
优选地,本发明生成对抗网络矿区土地覆盖识别方法中的方法S2中残差模块作为生成网络编码块的下采样部分,空洞卷积模块包含膨胀率为1、2的两个空洞卷积并作为生成网络解码块的上采样部分,残差模块与空洞卷积模块均设有CBAM注意力机制模块,CBAM注意力机制模块沿着通道、空间两个独立维度依次推断注意力图并将注意力图与输入的特征图相乘以进行自适应特征优化;生成网络进行下采样、上采样和跳跃连接操作对影像块数据集中数据对土地覆盖区域特征进行提取与识别。
优选地,本发明生成对抗网络矿区土地覆盖识别方法中的方法S2中残差模块包括第一个卷积核大小为3×3的普通卷积、第一个归一化层、第一个ReLU激活层、第二个卷积核大小为3×3的普通卷积、第二个归一化层、第二个ReLU激活层、第三个卷积核大小为3×3的普通卷积,并且在残差模块中加入短路连接,将第一个卷积的输入与第三个卷积的输出相加作为整个残差模块的输出,在残差模块的后面再加入一个ReLU激活层;方法S2中空洞卷积模块包括膨胀率为1且卷积核大小为3×3的空洞卷积、第一个归一化层、第一个ReLU激活层、膨胀率为2且卷积核大小为3×3的空洞卷积、第二个归一化层、第二个ReLU激活层;判别网络的卷积模块包括第一个卷积层、第一个归一化层、第一个激活层、第二个卷积层、第二个归一化层、第二个激活层,相邻两个卷积模块具有一个最大池化层。
优选地,本发明生成对抗网络矿区土地覆盖识别方法中的联合感知损失函数中原始损失函数LGAN(D,G)为:
Figure BDA0003827252580000041
其中,z表示随机噪声,x表示真实样本,D表示判别器,G表示生成器,Pdata(x)表示真实样本x的分布,Pz(z)表示输入噪声的分布,D(x)表示x来自真实图像的概率,G(z)表示生成器根据随机噪声产生的样本。
优选地,本发明生成对抗网络矿区土地覆盖识别方法中的感知损失函数LPERC(a,G(b))为:
Figure BDA0003827252580000042
其中,a表示真实样本,G(b)表示生成样本,CHW表示特征图的通道数、高和宽,φi表示网络中第i层的特征。
优选地,本发明生成对抗网络矿区土地覆盖识别方法中的L1损失函数LAD(a,G(b))为:
LAD(a,G(b))=Ea,b||a-G(b)||
其中,a表示真实样本,G(b)表示生成样本。
优选地,本发明生成对抗网络矿区土地覆盖识别方法中的方法S4还包括:
S41、随机从影像块数据集及相对应的土地覆盖标签数据集选取80%的影像块与对应的土地覆盖标签作为训练数据集,同时选取20%的影像块与对应的土地覆盖标签作为测试数据集;
S42、将训练数据集中影像块输入生成对抗网络模型的生成网络,将训练数据集中土地覆盖标签数据集输入生成对抗网络模型的判别网络,利用联合感知损失函数对生成对抗网络模型进行训练,让生成网络所生成的特征图与标签图之间差异越来越小,直到生成网络与判别网络达到纳什平衡,最终得到训练后的生成对抗网络模型。
一种生成对抗网络矿区土地覆盖识别系统,包括生成对抗网络模型、数据处理模块、获取模块和输入模块,生成对抗网络模型基于Pytorch构建的Unet网络模型,生成对抗网络模型包括生成网络和判别网络,获取模块用于获取与研究区相关区域内土地覆盖样本数据集;数据处理模块包括ArcGIS软件系统,数据处理模块对土地覆盖样本数据集进行标注、裁剪处理得到影像块数据集和相对应的土地覆盖标签数据集,土地覆盖标签数据集中数据为与影像块相对应的标签图像;生成网络包括空洞卷积模块、残差模块和CBAM注意力机制模块,判别网络包括五个卷积模块,生成对抗网络模型为利用联合感知损失函数对生成网络输入影像块得到特征图与判别网络的标签图像进行模型训练直到达到纳什平衡而得到;输入模块向训练后的生成对抗网络模型的生成网络输入研究区的影像块数据并输出矿区土地覆盖识别结果。
本发明较现有技术相比,具有以下优点及有益效果:
(1)本发明通过土地覆盖样本数据集对构建的生成对抗网络模型进行训练,生成对抗网络模型采用联合感知损失函数,最终实现对输入研究区影像块数据的矿区土地覆盖识别输出特征图,提高了高分遥感影像中矿区土地覆盖的识别精度及分割效果。
(2)本发明生成对抗网络模型下采样过程中编码模块包含残差模块,减少下采样过程中特征的损失,提高了特征信息的传递速度,加快网络的学习速率,提高了网络语义分割效果,上采样过程中解码模块包含空洞卷积,提高上采样过程中特征图的感受野以及提高物体间相关性,同事残差模块的后面与每个解码块的第二个空洞卷积后加入CBAM注意力机制模块,能够沿着两个独立的维度依次推断注意力图,然后将注意力图与输入的特征图相乘以进行自适应特征优化,使网络在特征提取的过程中更关注矿区土地覆盖区域特征,提高矿区不同土地覆盖区域的分割效果。
(3)本发明将空洞卷积、残差模块和CBAM注意力机制模块的Unet网络作为生成对抗网络模型的生成网络,将生成网络输出的分割结果图与生成网络输入数据对应的标签图输入判别网络,使生成网络和判别网络进行对抗训练,使得生成网络在训练过程中使得像素之间的关系得到利用,最终提高了生成网络对矿区土地覆盖识别精度。
(4)本发明构建联合感知损失函数使网络缩小分割样本与目标样本的语义分布上的距离,使得分割结果细节更丰富,提高分割样本与真实样本的语义相似性,使得矿区土地覆盖识别精度进一步提升,同时可以加快网络的收敛速度。
附图说明
图1为实施例中生成对抗网络的原理结构图;
图2为实施例中矿区土地覆盖识别方法的流程图;
图3为实施例中残差模块的结构示意图;
图4为实施例中生成对抗网络模型中生成网络的结构示意图;
图5为实施例中生成对抗网络模型中判别网络的结构示意图;
图6为实施例中矿区土地覆盖识别系统的原理结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为便于对本发明实施例的理解,下面将结合附图以具体实施例做进一步的解释说明,实施例并不构成对本发明实施例的限定。
如图1~图5所示,一种生成对抗网络矿区土地覆盖识别方法,其方法包括:
S1、获取一个区域内土地覆盖样本数据集进行标注、裁剪处理得到影像块数据集和相对应的土地覆盖标签数据集。
本实施例方法S1中包括:
S11、土地覆盖样本数据集中包括遥感影像,利用ArcGIS软件系统对土地覆盖样本数据集中的遥感影像按照土地覆盖区域的特征进行类别标签标注划分,将遥感影像中不同类别的土地覆盖区域作为学习对象;
S12、将土地覆盖样本数据集中的遥感影像裁剪为512像素×512像素的影像块并得到影像块数据集和相对应的土地覆盖标签数据集。
S2、基于Pytorch构建包含生成网络和判别网络的生成对抗网络模型,生成网络由空洞卷积模块、残差模块和CBAM注意力机制模块所构成的Unet网络,图4举例示出生成网络的结构及原理示意图,判别网络包括五个卷积模块,图5举例示出判别网络的结构及原理示意图。
在一些实施例中,方法S2中残差模块作为生成网络编码块的下采样部分,空洞卷积模块包含膨胀率为1、2的两个空洞卷积并作为生成网络解码块的上采样部分,残差模块与空洞卷积模块均设有CBAM注意力机制模块,CBAM注意力机制模块沿着通道、空间两个独立维度依次推断注意力图并将注意力图与输入的特征图相乘以进行自适应特征优化;生成网络进行下采样、上采样和跳跃连接操作对影像块数据集中数据对土地覆盖区域特征进行提取与识别。
在一些实施例中,如图3所示,方法S2中残差模块包括第一个卷积核大小为3×3的普通卷积、第一个归一化层、第一个ReLU激活层、第二个卷积核大小为3×3的普通卷积、第二个归一化层、第二个ReLU激活层、第三个卷积核大小为3×3的普通卷积,并且在残差模块中加入短路连接,将第一个卷积的输入与第三个卷积的输出相加作为整个残差模块的输出,在残差模块的后面再加入一个ReLU激活层。优选地,使用残差模块作为生成对抗网络模型下采样部分每个编码块中的第二个普通卷积,减少下采样过程中信息丢失损耗,还可以加快网络的收敛速度。在一些实施例中,生成对抗网络模型中的编码模块包括一个卷积核大小为3×3的普通卷积,一个归一化层与一个ReLU激活层,一个残差模块,一个窗口大小为2×2的最大池化层;残差模块的使用有助于解决梯度消失与梯度爆炸的问题,还可以加快信息的传递进一步提升整个网络的学习速率,提高网络的特征提取效果,进而提升语义分割效果。
如图4所示,方法S2中空洞卷积模块包括膨胀率为1且卷积核大小为3×3的空洞卷积、第一个归一化层、第一个ReLU激活层、膨胀率为2且卷积核大小为3×3的空洞卷积、第二个归一化层、第二个ReLU激活层;优选地,使用膨胀率为1、2的两个空洞卷积作为生成对抗网络模型上采样部分每个解码块中的两次普通卷积,增大上采样过程中每个解码块得到特征图的感受野,即增大每个解码块得到特征图的感受野但不必增加网络的计算量,空洞卷积的使用还提高了物体之间的相关性。优选地,生成对抗网络模型每个编码块中残差模块的后面与每个解码块的第二个空洞卷积后面加入CBAM注意力机制模块,CBAM注意力机制模块会沿着两个独立的维度(通道与空间)依次推断注意力图,然后将注意力图与输入的特征图相乘以进行自适应特征优化;输入CBAM注意力机制模块(包含通道注意力模块和通道注意力模块)的特征图会通过通道注意力模块得到加权结果之后,再经过一个空间注意力模块,最终加权得到结果,CBAM注意力机制模块的加入能够对传递的特征图信息进行筛选,抑制非矿区土地覆盖区域的特征信息,能够加强网络对土地覆盖区域特征的关注度,从而提升土地覆盖区域的分割效果。本实施例加入空洞卷积模块、残差模块和CBAM注意力机制模块的Unet网络作为生成对抗网络的生成网络,将生成网络输入数据输入加入空洞卷积模块、残差模块和CBAM注意力机制模块的Unet网络,加入空洞卷积模块、残差模块和CBAM注意力机制模块的Unet网络进行下采样、上采样和跳跃连接操作对矿区内不同土地覆盖区域所对应特征进行提取,同时生成网络上述模块的加入使得网络对矿区内土地覆盖区域的细节特征的提取能力增强,对土地覆盖区域边缘识别能力增强。优选地,每个解码块包括上采样层,膨胀率为1、卷积核大小为3×3的空洞卷积,第一个归一化层,第一个ReLU激活层,膨胀率为2、卷积核大小为3×3的空洞卷积,第二个归一化层,第二个ReLU激活层,其中第四个解码块最后还包括一个卷积核大小为1×1的普通卷积层;上采样采用最近邻插值;其中第四个编码块与第一个解码块之间包括一个膨胀率为1、卷积核大小为3×3的空洞卷积与一个膨胀率为2、卷积核大小为3×3的空洞卷积。
如图5所示,判别网络包括五个卷积模块(分别为第一个卷积模块~第五个卷积模块),判别网络的卷积模块包括第一个卷积层、第一个归一化层、第一个激活层、第二个卷积层、第二个归一化层、第二个激活层,相邻两个卷积模块具有一个最大池化层;优选地,在第五个卷积模块结尾加入一个全连接层以及一个Sigmoid层。
根据本发明生成对抗网络模型的结构及功能,本发明进一步举例说明如下:本实施例使用的生成网络输入数据的尺寸为512×512×3,将生成网络输入数据输入生成网络后经过第一个编码块后可以得到256×256×64的特征图,再将得到的特征图(256×256×64)输入第二个编码块得到128×128×128的特征图,再将得到的特征图(128×128×128)输入第三个编码块得到64×64×256的特征图,再将得到的特征图(64×64×256)输入第四个编码块得到32×32×512的特征图,再经过两个空洞卷积,得到32×32×512的特征图,将经过两个空洞卷积的特征图输入第一个解码块得到64×64×256的特征图,再将得到的特征图(64×64×256)输入第二个解码块得到128×128×128的特征图,再将得到的特征图(128×128×128)输入第三个解码块得到256×256×64的特征图,再将得到的特征图(256×256×64)输入第四个解码块得到512×512×1的特征图;本实施例将生成对抗网络模型中下采样过程中编码模块的第二个普通卷积替换为残差模块,减少下采样过程中特征的损失,提高网络中特征信息的传递速度,加快网络的学习速率,提高网络语义分割效果,将上采样过程中的解码模块的普通卷积替换为空洞卷积,提高上采样过程中特征图的感受野以及提高物体间相关性,在残差模块的每个编码块中残差模块的后面与每个解码块的第二个空洞卷积后面加入CBAM注意力机制模块,抑制来自下采样过程中特征图的非土地覆盖区域特征信息,使网络在特征提取的过程中更关注土地覆盖区域特征,提高土地覆盖区域的分割效果。
S3、利用感知损失函数和L1损失函数联合构成联合感知损失函数并作为生成对抗网络模型的损失函数:
L(a,b,D,G)=LGAN(D,G)+αLPERC(a,G(b))+βLAD(a,G(b));
LGAN(D,G)为原始损失函数,LPERC(a,G(b))为感知损失函数,LAD(a,G(b))为L1损失函数,D表示判别器,G表示生成器,a是真实样本,G(b)是生成样本,α、β为系数;
联合感知损失函数中原始损失函数LGAN(D,G)为:
Figure BDA0003827252580000101
其中,z表示随机噪声,x表示真实样本,D表示判别器,G表示生成器,Pdata(x)表示真实样本x的分布,Pz(z)表示输入噪声的分布,D(x)表示x来自真实图像的概率,G(z)表示生成器根据随机噪声产生的样本。
感知损失函数LPERC(a,G(b))为:
Figure BDA0003827252580000102
其中,a表示真实样本,G(b)表示生成样本,CHW表示特征图的通道数、高和宽,φi表示网络中第i层的特征。
L1损失函数LAD(a,G(b))为:
LAD(a,G(b))=Ea,b||a-G(b)||
其中,a表示真实样本,G(b)表示生成样本。
S4、将影像块数据集输入生成对抗网络模型的生成网络,将土地覆盖标签数据集输入生成对抗网络模型的判别网络,利用联合感知损失函数对生成对抗网络模型进行动态训练直到达到纳什平衡,进而得到训练后的生成对抗网络模型。本实施例方法S4包括:
S41、随机从S12中影像块数据集及相对应的土地覆盖标签数据集选取80%的影像块与对应的土地覆盖标签作为训练数据集,同时选取20%的影像块与对应的土地覆盖标签作为测试数据集;
S42、将训练数据集中影像块输入生成对抗网络模型的生成网络,将训练数据集中土地覆盖标签数据集输入生成对抗网络模型的判别网络,利用联合感知损失函数对生成对抗网络模型进行训练,让生成网络所生成的特征图与标签图之间差异越来越小,直到生成网络与判别网络达到纳什平衡,最终得到训练后的生成对抗网络模型。
本实施例将训练数据集中的影像块输入步骤S2中构建的生成网络中,得到分割结果图,将分割结果图与高分遥感影像块对应的土地覆盖标签再作为步骤S2中构建的判别网络的输入,利用步骤S3中构建的联合感知损失函数对生成网络与判别网络进行训练,在训练过程中生成网络和判别网络动态训练,两者达到纳什平衡,即生成网络生成的特征图与标签图之间的差异越来越小,试图使判别网络无法区分输入数据是标签图像还是来自生成网络的分割结果图,而判别网络可以最好地识别标签图像与来自生成网络的分割结果图之间的差异,最终得到训练后的生成对抗网络中的生成网络。优选地,通过土地覆盖识别结果与测试数据集中数据对比确定本发明生成对抗网络模型的测试精度。
S5、向训练后的生成对抗网络模型的生成网络输入研究区的影像块数据(影像块数据一般为包括矿区的遥感影像裁剪为512×512大小的一系列遥感影像),生成网络输出的特征图即为矿区土地覆盖识别结果图。
如图6所示,一种生成对抗网络矿区土地覆盖识别系统,包括生成对抗网络模型、数据处理模块、获取模块和输入模块,生成对抗网络模型基于Pytorch构建的Unet网络模型,生成对抗网络模型包括生成网络和判别网络,获取模块用于获取与研究区相关区域内土地覆盖样本数据集;数据处理模块包括ArcGIS软件系统,数据处理模块对土地覆盖样本数据集进行标注、裁剪处理得到影像块数据集和相对应的土地覆盖标签数据集,土地覆盖标签数据集中数据为与影像块相对应的标签图像;生成网络包括空洞卷积模块、残差模块和CBAM注意力机制模块,判别网络包括五个卷积模块,生成对抗网络模型为利用联合感知损失函数对生成网络输入影像块得到特征图与判别网络的标签图像进行模型训练直到达到纳什平衡而得到;输入模块向训练后的生成对抗网络模型的生成网络输入研究区的影像块数据并输出矿区土地覆盖识别结果。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种生成对抗网络矿区土地覆盖识别方法,其特征在于:其方法包括:
S1、获取一个区域内土地覆盖样本数据集进行标注、裁剪处理得到影像块数据集和相对应的土地覆盖标签数据集;
S2、基于Pytorch构建包含生成网络和判别网络的生成对抗网络模型,生成网络是由空洞卷积模块、残差模块和CBAM注意力机制模块构成的Unet网络,判别网络包括五个卷积模块;
残差模块作为生成网络编码块的下采样部分,空洞卷积模块包含膨胀率为1、2的两个空洞卷积并作为生成网络解码块的上采样部分,残差模块与空洞卷积模块均设有CBAM注意力机制模块,CBAM注意力机制模块沿着通道、空间两个独立维度依次推断注意力图并将注意力图与输入的特征图相乘以进行自适应特征优化;生成网络进行下采样、上采样和跳跃连接操作对影像块数据集中数据对土地覆盖区域特征进行提取与识别;
残差模块包括第一个卷积核大小为3×3的普通卷积、第一个归一化层、第一个ReLU激活层、第二个卷积核大小为3×3的普通卷积、第二个归一化层、第二个ReLU激活层、第三个卷积核大小为3×3的普通卷积,并且在残差模块中加入短路连接,将第一个卷积的输入与第三个卷积的输出相加作为整个残差模块的输出,在残差模块的后面再加入一个ReLU激活层;空洞卷积模块包括膨胀率为1且卷积核大小为3×3的空洞卷积、第一个归一化层、第一个ReLU激活层、膨胀率为2且卷积核大小为3×3的空洞卷积、第二个归一化层、第二个ReLU激活层;判别网络的卷积模块包括第一个卷积层、第一个归一化层、第一个激活层、第二个卷积层、第二个归一化层、第二个激活层,相邻两个卷积模块具有一个最大池化层;
S3、利用感知损失函数和L1损失函数联合构成联合感知损失函数并作为生成对抗网络模型的损失函数:
L(a,b,D,G)=LGAN(D,G)+αLPERC(a,G(b))+βLAD(a,G(b));
LGAN(D,G)为原始损失函数,LPERC(a,G(b))为感知损失函数,LAD(a,G(b))为L1损失函数,D表示判别器,G表示生成器,a是真实样本,G(b)是生成样本,α、β为系数;
原始损失函数LGAN(D,G)为:
其中,z表示随机噪声,x表示真实样本,D表示判别器,G表示生成器,Pdata(x)表示真实样本x的分布,Pz(z)表示输入噪声的分布,D(x)表示x来自真实图像的概率,G(z)表示生成器根据随机噪声产生的样本;
感知损失函数LPERC(a,G(b))为:
其中,a表示真实样本,G(b)表示生成样本,CHW表示特征图的通道数、高和宽,φi表示网络中第i层的特征;
L1损失函数LAD(a,G(b))为:
LAD(a,G(b))=Ea,b||a-G(b)||
其中,a表示真实样本,G(b)表示生成样本;
S4、将影像块数据集输入生成对抗网络模型的生成网络,将土地覆盖标签数据集输入生成对抗网络模型的判别网络,利用联合感知损失函数对生成对抗网络模型进行动态训练直到达到纳什平衡,进而得到训练后的生成对抗网络模型;
S5、向训练后的生成对抗网络模型的生成网络输入研究区的影像块数据,生成网络输出的特征图即为矿区土地覆盖识别结果图。
2.按照权利要求1所述的一种生成对抗网络矿区土地覆盖识别方法,其特征在于:步骤S1中包括:
S11、土地覆盖样本数据集中包括遥感影像,利用ArcGIS软件系统对土地覆盖样本数据集中的遥感影像按照土地覆盖区域的特征进行类别标签标注划分,将遥感影像中不同类别的土地覆盖区域作为学习对象;
S12、将土地覆盖样本数据集中的遥感影像裁剪为512像素×512像素的影像块并得到影像块数据集和相对应的土地覆盖标签数据集。
3.按照权利要求1所述的一种生成对抗网络矿区土地覆盖识别方法,其特征在于:步骤S4还包括:
S41、随机从影像块数据集及相对应的土地覆盖标签数据集选取80%的影像块与对应的土地覆盖标签作为训练数据集,同时选取20%的影像块与对应的土地覆盖标签作为测试数据集;
S42、将训练数据集中影像块输入生成对抗网络模型的生成网络,将训练数据集中土地覆盖标签数据集输入生成对抗网络模型的判别网络,利用联合感知损失函数对生成对抗网络模型进行训练,让生成网络所生成的特征图与标签图之间差异越来越小,直到生成网络与判别网络达到纳什平衡,最终得到训练后的生成对抗网络模型。
4.一种生成对抗网络矿区土地覆盖识别系统,其特征在于:包括生成对抗网络模型、数据处理模块、获取模块和输入模块,生成对抗网络模型为基于Pytorch构建得到的Unet网络模型,生成对抗网络模型包括生成网络和判别网络,获取模块用于获取与研究区相关区域内土地覆盖样本数据集;数据处理模块包括ArcGIS软件系统,数据处理模块对土地覆盖样本数据集进行标注、裁剪处理得到影像块数据集和相对应的土地覆盖标签数据集,土地覆盖标签数据集中数据为与影像块相对应的标签图像;生成网络包括空洞卷积模块、残差模块和CBAM注意力机制模块,判别网络包括五个卷积模块,生成对抗网络模型为利用联合感知损失函数对生成网络输入影像块得到特征图与判别网络的标签图像进行模型训练直到达到纳什平衡而得到,其中联合感知损失函数得到方法如下:利用感知损失函数和L1损失函数联合构成联合感知损失函数并作为生成对抗网络模型的损失函数:
L(a,b,D,G)=LGAN(D,G)+αLPERC(a,G(b))+βLAD(a,G(b));
LGAN(D,G)为原始损失函数,LPERC(a,G(b))为感知损失函数,LAD(a,G(b))为L1损失函数,D表示判别器,G表示生成器,a是真实样本,G(b)是生成样本,α、β为系数;
联合感知损失函数中原始损失函数LGAN(D,G)为:
其中,z表示随机噪声,x表示真实样本,D表示判别器,G表示生成器,Pdata(x)表示真实样本x的分布,Pz(z)表示输入噪声的分布,D(x)表示x来自真实图像的概率,G(z)表示生成器根据随机噪声产生的样本;
感知损失函数LPERC(a,G(b))为:
其中,a表示真实样本,G(b)表示生成样本,CHW表示特征图的通道数、高和宽,φi表示网络中第i层的特征;
L1损失函数LAD(a,G(b))为:
LAD(a,G(b))=Ea,b||a-G(b)||
其中,a表示真实样本,G(b)表示生成样本;输入模块向训练后的生成对抗网络模型的生成网络输入研究区区的影像块数据并输出矿区土地覆盖识别结果;
残差模块作为生成网络编码块的下采样部分,空洞卷积模块包含膨胀率为1、2的两个空洞卷积并作为生成网络解码块的上采样部分,残差模块与空洞卷积模块均设有CBAM注意力机制模块,CBAM注意力机制模块沿着通道、空间两个独立维度依次推断注意力图并将注意力图与输入的特征图相乘以进行自适应特征优化;生成网络进行下采样、上采样和跳跃连接操作对影像块数据集中数据对土地覆盖区域特征进行提取与识别;
残差模块包括第一个卷积核大小为3×3的普通卷积、第一个归一化层、第一个ReLU激活层、第二个卷积核大小为3×3的普通卷积、第二个归一化层、第二个ReLU激活层、第三个卷积核大小为3×3的普通卷积,并且在残差模块中加入短路连接,将第一个卷积的输入与第三个卷积的输出相加作为整个残差模块的输出,在残差模块的后面再加入一个ReLU激活层;中空洞卷积模块包括膨胀率为1且卷积核大小为3×3的空洞卷积、第一个归一化层、第一个ReLU激活层、膨胀率为2且卷积核大小为3×3的空洞卷积、第二个归一化层、第二个ReLU激活层;判别网络的卷积模块包括第一个卷积层、第一个归一化层、第一个激活层、第二个卷积层、第二个归一化层、第二个激活层,相邻两个卷积模块具有一个最大池化层。
CN202211064803.4A 2022-09-01 2022-09-01 一种生成对抗网络矿区土地覆盖识别方法及系统 Active CN115482463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211064803.4A CN115482463B (zh) 2022-09-01 2022-09-01 一种生成对抗网络矿区土地覆盖识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211064803.4A CN115482463B (zh) 2022-09-01 2022-09-01 一种生成对抗网络矿区土地覆盖识别方法及系统

Publications (2)

Publication Number Publication Date
CN115482463A CN115482463A (zh) 2022-12-16
CN115482463B true CN115482463B (zh) 2023-05-05

Family

ID=84422015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211064803.4A Active CN115482463B (zh) 2022-09-01 2022-09-01 一种生成对抗网络矿区土地覆盖识别方法及系统

Country Status (1)

Country Link
CN (1) CN115482463B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403212B (zh) * 2023-05-16 2024-02-02 西安石油大学 基于改进U-net网络的金相图像的像素中小颗粒识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887459A (zh) * 2021-10-12 2022-01-04 中国矿业大学(北京) 一种基于改进Unet++的露天矿区采场变化区域检测方法
CN113936204A (zh) * 2021-11-22 2022-01-14 安徽师范大学 融合地形数据与深度神经网络的高分辨率遥感影像云雪识别方法及装置
CN114220001A (zh) * 2021-11-25 2022-03-22 南京信息工程大学 基于双注意力神经网络的遥感影像云与云阴影检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111640100B (zh) * 2020-05-29 2023-12-12 京东方科技集团股份有限公司 肿瘤图像的处理方法和装置、电子设备、存储介质
CN112287978B (zh) * 2020-10-07 2022-04-15 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN113936217B (zh) * 2021-10-25 2024-04-30 华中师范大学 先验语义知识引导的高分辨率遥感影像弱监督建筑物变化检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887459A (zh) * 2021-10-12 2022-01-04 中国矿业大学(北京) 一种基于改进Unet++的露天矿区采场变化区域检测方法
CN113936204A (zh) * 2021-11-22 2022-01-14 安徽师范大学 融合地形数据与深度神经网络的高分辨率遥感影像云雪识别方法及装置
CN114220001A (zh) * 2021-11-25 2022-03-22 南京信息工程大学 基于双注意力神经网络的遥感影像云与云阴影检测方法

Also Published As

Publication number Publication date
CN115482463A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN112232149B (zh) 一种文档多模信息和关系提取方法及系统
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN113674140B (zh) 一种物理对抗样本生成方法及系统
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN112489054A (zh) 一种基于深度学习的遥感图像语义分割方法
CN110807485B (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN110929621B (zh) 一种基于拓扑信息细化的道路提取方法
CN111160205A (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN112766089B (zh) 一种基于全局-局部对抗学习框架的跨域道路提取方法
CN112907598A (zh) 一种基于注意力cnn文档证件类图像篡改检测方法
CN115482463B (zh) 一种生成对抗网络矿区土地覆盖识别方法及系统
CN116206185A (zh) 一种基于改进YOLOv7的轻量级小目标检测方法
CN114882599A (zh) 基于双分支神经网络的离线手写签名分割系统和方法
Asri et al. A real time Malaysian sign language detection algorithm based on YOLOv3
CN115965789A (zh) 一种基于场景感知类注意力的遥感图像语义分割方法
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN113096133A (zh) 一种基于注意力机制的语义分割网络的构建方法
CN102034102B (zh) 图像显著对象提取方法、互补显著度图学习方法及系统
CN112036290A (zh) 一种基于类标编码表示的复杂场景文字识别方法及系统
CN117011701A (zh) 一种层次化特征自主学习的遥感图像特征提取方法
CN111666977A (zh) 一种单色图像的阴影检测方法
CN112597925B (zh) 手写字迹的识别/提取、擦除方法及擦除系统、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant