CN115205692B - 基于生成对抗网络的典型地物要素智能识别与提取方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的典型地物要素智能识别与提取方法，涉及遥感图像解译技术领域，包括以下步骤：依据测图要求和生成对抗网络模型训练要求，构建地物目标分割样本数据库，获取地物目标分割样本；地物目标分割模型训练，生成地物目标分割生成对抗网络模型；基于弱监督的区域生成对抗网络来进行数据增强以及样本扩充，进行地物要素识别提取；对提取的结果进行矢量化处理，分别生成线状和面状地物要素的中心线或者轮廓线；对地物要素解译数据进行智能优化。该方法可以实现利用大批的遥感图像信息智能化识别出所需的地物信息。

Description

基于生成对抗网络的典型地物要素智能识别与提取方法

技术领域

本发明涉及遥感图像解译技术领域，具体涉及一种基于生成对抗网络的典型地物要素智能识别与提取方法。

背景技术

地形图数据是地表特征地貌和地物的符号表达，是遥感图像解译和实地测量的结果。地形图数据中包含了丰富的地物类别、属性等语义信息，为保证地形图数据的现势性，需要不断的更新。遥感技术为地形图更新提供了充分、快速便捷的数据获取渠道，成为获取地物信息最重要的一环。遥感图像包含丰富的场景语义信息，地物的多样性、空间分布的复杂性提高了地物要素提取的难度，目前地物信息采集仍以手工作业方式进行遥感图像目视解译和实地测量为主，其劳动强度大、成本高、效率低。

发明内容

为了解决上述问题，本发明提出了一种基于生成对抗网络的典型地物要素智能识别与提取方法，以光学遥感影像为数据源，以居民地、道路、水域、植被等典型地物要素为处理对象，通过构建地物要素提取样本库训练生成对抗网络模型，进行地物要素智能识别与提取和地物要素解译数据智能优化，以实现利用大批的遥感图像信息智能化识别出所需的地物信息。

为达到上述目的，本发明采用的技术方案是：一种基于生成对抗网络的典型地物要素智能识别与提取方法，包括以下步骤：

S10、依据测图要求和生成对抗网络模型训练要求，构建地物目标分割样本数据库，获取地物目标分割样本；

S20、地物目标分割模型训练，生成地物目标分割生成对抗网络模型；

S30、基于弱监督的区域生成对抗网络来进行数据增强以及样本扩充，进行地物要素识别提取；

S40、对提取的结果进行矢量化处理，分别生成线状和面状地物要素的中心线或者轮廓线；

S50、对地物要素解译数据进行智能优化。

进一步的技术方案为，所述步骤S10具体包括以下步骤：

（1）构建样本分类体系，典型地物要素分类依据测图要求划分，为下一步样本数据采集制定采样范围；

（2）采取“机器自动生成+人工辅助标注”的模式进行样本库的构建，由人工标注一部分样本，形成初始样本库，后引入基于弱监督的生成对抗网络学习进行样本增强，之后利用全卷积网络针对原始影像进行提取，自动生成样本数据，并进行人工辅助判读修正，扩充样本数量；

（3）样本数据管理。

进一步的技术方案为，所述样本数据管理包括样本增加、删除、修改以及查询管理，采集的样本格式包含栅格切片及元数据。

进一步的技术方案为，所述步骤S20具体包括以下步骤：

（1）按构建的样本分类体系，初始化地物类别数目K，以图像块即像素点的邻域作为提取区域，邻域大小在充足的上下文信息和合适的数据量之间进行折中，对遥感影像进行有重叠地滑窗处理，以中心像素点的标签作为整个区域的标签；将所有的区域按照中心像素点的标签进行分组，一共分为K个组，因为标记样本很少，所以只存储有标签的区域，滤除K个组中无标签的区域；

（2）构建生成网络G，用于从噪声生成样本；生成网络通过5层转置卷积生成图像，转置卷积层之间添加Batch Norm层，并用Relu层作为激活函数，最后一层用Tanh函数输出；

（3）构建判别网络D，用于判别样本是否为真实样本；判别网络用5层卷积判别图像真假，卷积层之间采用Batch Norm层，用LeakyRelu作为激活函数，最后一层用Sigmoid函数输出；

（4）在类别信息的约束下，由随机噪声通过生成网络不断生成对应类别的样本，达到扩充样本的目的；

（5）设置整体的损失函数，使用随机梯度下降算法对生成网络的损失和判别网络的损失进行交替循环优化；有标注的损失函数是L_supervised，未标注的损失函数是L_unsupervised：

L _supervised =-E_{x,y~pdata（x,y）}log p_model（y|x，y＜K＋1）

L _unsupervised =-{E_{x~pdata（x）}log [1-p_model(y=K＋1|x)]+ E_x~G log[p_model(y=K＋1|x)] }

其中p_data代表数据的真实分布，p_model代表生成模型的噪声分布，E表示数学期望，x表示输入遥感图像，y表示输入遥感图像x对应的真实类标图，K为地物类别数；

（6）分别构建K个区域生成网络，每个网络生成特定类的数据。

进一步的技术方案为，所述步骤S30具体为：

在样本类别信息的约束下，由随机噪声通过生成网络不断生成对应类别的样本，达到扩充样本的目的；对进行数据增强的影像区域，使用基于通道注意力模块和残差模块的分类识别网络进行地物识别，通过将增强的数据输入网络，进而提取出特征图，然后将特征图分别交替经过残差模块和通道注意力模块，最后使用Softmax对特征进行分类；

构建一个条件生成对抗网络CGAN与卷积生成对抗网络DCGAN相结合的、面向小样本语义嵌入的生成对抗网络来解决样本数据少的问题，面向小样本的语义嵌入生成对抗网络的总体损失函数由两部分加权相加组成，即原始生成对抗网络损失L_GAN以及像素级语义损失L_pixel；

L_GAN=E _{x-pdata（x）}[logD(x)]+ E _x-pz（x）[log(1-D(G(z)))]，

，

，

其中，其中p_data代表数据的真实分布，p_z代表输入噪声的分布，D代表判别网络，G代表生成网络，m代表训练过程中一个批次图像的数量，i代表当前批次中不同样本的序号，j代表每一张图像当中像素的序号，M，N代表图像的长宽尺寸，x表示输入遥感图像，y表示输入遥感图像x对应的真实类标图，α，β分别对应两部分损失的权重， z表示一个噪声向量。

进一步的技术方案为，所述残差模块是通过恒等映射，在加深网络的同时，避免梯度消失，在引入恒等映射前，使用1x1的卷积层，整合所有通道的信息；通道注意力模块是将高层特征和底层特征同时引入，生成权重向量，对特征图重新加权。

进一步的技术方案为，所述步骤S40包括以下步骤：

（1）针对线状地物数据的矢量化，采用逐点判断方法对中心线封闭式跟踪并以Freeman链码描述，最终获取地物中心骨架线的单像素位置编码；

（2）针对面状地物数据的矢量化，首先二值化栅格数据，然后利用数学形态学算法提取二值化的区域边界，通过边界跟踪算法逐点去除区域内部点而只保留边界点，最终获取外部轮廓的矢量化数据。

进一步的技术方案为，所述步骤S50包括以下步骤：

（1）通过光滑处理消除毛刺；利用高斯滤波器光滑地物曲线；高斯滤波器定义：

式中：x，y为坐标，σ为核宽度参数。曲线的水平和垂直坐标分别与高斯核进行卷积处理；

（2）冗余点去除；

（3）居民地规整化和综合，依照地形图的数据标准，对边界线进行拟合和规则化的处理，获取符合规范要求的居民地轮廓。

进一步的技术方案为，步骤（2）具体为：通过提取线条特征点，删除冗余点，得到地物轮廓线的矢量数据，以少量的折线段代替曲线并保持其基本形状，最终用较少的数据和简洁的形式表达和描述地物轮廓，在实现中以距离d判定是否可以用直线代替曲线，其中d为曲线中的点A与曲线两端点连线的最大距离：

1）将起始点(x0，y0)作为第一个特征点并记录，令x[t]=x0，y[t]=y0；

2）从点(x[t]，y[t])开始与后面的曲线点(x[i]，y[i])连线，并计算第k(k∈(t，i))点到直线的距离dk。

3）判断dk与起始点距离d0间的关系，如果dk<d0，则重复2）；如果存在dk>d0，将第k点记录为特征点，令x[t]=x[k]，y[t]=y[k]，再重复2）。

4）重复2）、3），曲线上所有的点运算完毕，并将曲线上最后一个点也记为特征点。

进一步的技术方案为，步骤（3）包括步骤：

1）主方向旋转，首先计算居民地的主方向，再将主方向旋转至水平，便于后面处理过程中保持边界水平或垂直，减少计算；

2）居民地轮廓去凸补凹处理，去除小的凸起，填补小的凹进，消除边界局部细节，拉直边线；

3）边界冗余点去除；

4）边界垂直调整，依照水平/垂直方向调整边界，并合并处理，确保边界最大限度地准确；

5）主方向逆旋转，输出结果。

与现有技术相比，本发明具有如下有益效果：本发明提出了一种基于生成对抗网络的典型地物要素智能识别与提取方法，以光学遥感影像为数据源，以居民地、道路、水域、植被等典型地物要素为处理对象，通过构建地物要素提取样本库训练生成对抗网络模型，进行地物要素智能识别与提取和地物要素解译数据智能优化，以实现利用大批的遥感图像信息智能化识别出所需的地物信息。

附图说明

图1为基于生成对抗网络的典型地物要素智能识别与提取方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行进一步的解释和说明。

实施例1

如图1所示，本发明提供了一种基于生成对抗网络的典型地物要素智能识别与提取方法，包括步骤：

S10：依据测图要求和生成对抗网络模型训练要求，构建地物目标分割样本数据库，获取地物目标分割样本，包括步骤：

1）构建样本分类体系，典型地物要素分类依据测图要求划分，为下一步样本数据采集制定采样范围。

2）采取“机器自动生成+人工辅助标注”的模式进行样本库的构建，由人工标注一部分样本，形成初始样本库，后引入基于弱监督的生成对抗网络学习进行样本增强，之后利用全卷积网络针对原始影像进行提取，自动生成样本数据，并进行人工辅助判读修正，扩充样本数量。

3）样本数据管理，包括样本增加、删除、修改、查询等。采集的样本格式包含了栅格切片及元数据等。

S20：地物目标分割模型训练，生成地物目标分割生成对抗网络模型，包括步骤：

（1）按构建的样本分类体系，初始化地物类别数目，以图像块即像素点的邻域作为提取区域，邻域大小在充足的上下文信息和合适的数据量之间进行折中，对遥感影像进行有重叠地滑窗处理，以中心像素点的标签作为整个区域的标签；将所有的区域按照中心像素点的标签进行分组，一共分为K个组，因为标记样本很少，所以只存储有标签的区域，滤除K个组中无标签的区域；

（2）构建生成网络G，用于从噪声生成样本；生成网络通过5层转置卷积生成图像，转置卷积层之间添加Batch Norm层，并用Relu层作为激活函数，最后一层用Tanh函数输出；

（3）构建判别网络D，用于判别样本是否为真实样本；判别网络用5层卷积判别图像真假，卷积层之间采用Batch Norm层，用LeakyRelu作为激活函数，最后一层用Sigmoid函数输出；

（4）在类别信息的约束下，由随机噪声通过生成网络不断生成对应类别的样本，达到扩充样本的目的；

（5）设置整体的损失函数，使用随机梯度下降算法对生成网络的损失和判别网络的损失进行交替循环优化；有标注的损失函数是L_supervised，未标注的损失函数是L_unsupervised：

L _supervised =-E_{x,y~pdata（x,y）}log p_model（y|x，y＜K＋1）

L _unsupervised =-{E_{x~pdata（x）}log [1-p_model(y=K＋1|x)]+ E_x~G log[p_model(y=K＋1|x)] }

其中p_data代表数据的真实分布，p_model代表生成模型的噪声分布，E表示数学期望，x表示输入遥感图像，y表示输入遥感图像x对应的真实类标图，K为地物类别数；

（6）分别构建K个区域生成网络，每个网络生成特定类的数据。

S30：基于弱监督的区域生成对抗网络来进行数据增强、样本扩充，进行地物要素识别提取。

在样本类别信息的约束下，由随机噪声通过生成网络不断生成对应类别的样本，达到扩充样本的目的；对进行数据增强的影像区域，使用基于通道注意力模块和残差模块的分类识别网络进行地物识别。将增强的数据输入网络，进而提取出特征图，然后将特征图分别交替经过残差模块和通道注意力模块，最后使用Softmax对特征进行分类。残差模块是通过恒等映射，在加深网络的同时，避免梯度消失；在引入恒等映射前，使用1x1的卷积层，整合所有通道的信息。通道注意力模块则是将高层特征和底层特征同时引入，生成权重向量，对特征图重新加权，可以抑制无效特征，提升有效特征的权重。通过上述两个模块提升生成对抗网络性能，提高分类准确率。

尽管进行了样本数据扩充，样本数据仍然很有限，通过构建一个CGAN（条件生成对抗网络）与DCGAN（卷积生成对抗网络）相结合的、面向小样本语义嵌入的生成对抗网络来解决样本数据少的问题。

面向小样本的语义嵌入生成对抗网络的总体损失函数由两部分加权相加组成，即原始生成对抗网络损失L_GAN以及像素级语义损失L_pixel；

L_GAN=E _{x-pdata（x）}[logD(x)]+ E _x-pz（x）[log(1-D(G(z)))]，

，

，

其中，p_data代表数据的真实分布，p_z代表输入噪声的分布，D代表判别网络，G代表生成网络，m代表训练过程中一个批次图像的数量，i代表当前批次中不同样本的序号，j代表每一张图像当中像素的序号，M，N代表图像的长宽尺寸，x表示输入遥感图像，y表示输入遥感图像x对应的真实类标图，α，β分别对应两部分损失的权重，z表示一个噪声向量。

S40：对提取的结果进行矢量化处理，分别生成线状、面状等地物要素的中心线或者轮廓线，包括步骤：

1）针对线状地物数据的矢量化，采用逐点判断方法对中心线封闭式跟踪并以Freeman链码描述，最终获取地物中心骨架线的单像素位置编码；

2）针对面状地物数据的矢量化，首先二值化栅格数据，然后利用数学形态学算法提取二值化的区域边界，通过边界跟踪算法逐点去除区域内部点而只保留边界点，最终获取外部轮廓的矢量化数据。

S50：对地物要素解译数据进行智能优化，包括步骤：

1）通过光滑处理消除毛刺。利用高斯滤波器光滑地物曲线。高斯滤波器定义：

式中：x，y为坐标，σ为核宽度参数，曲线的水平和垂直坐标分别与高斯核进行卷积处理。

2）冗余点去除。通过提取线条特征点，删除冗余点，得到地物轮廓线的矢量数据。以少量的折线段代替曲线并保持其基本形状，最终用较少的数据和简洁的形式表达和描述地物轮廓，在实现中以距离d判定是否可以用直线代替曲线，其中d为曲线中的点A与曲线两端点连线的最大距离：

（1）将起始点(x0，y0)作为第一个特征点并记录，令x[t]=x0，y[t]=y0；

（2）从点(x[t]，y[t])开始与后面的曲线点(x[i]，y[i])连线，并计算第k(k∈(t，i))点到直线的距离dk。

（3）判断dk与起始点距离d0间的关系，如果dk<d0，则重复（2）；如果存在dk>d0，将第k点记录为特征点，令x[t]=x[k]，y[t]=y[k]，再重复（2）。

（4）重复（2）、（3），曲线上所有的点运算完毕，并将曲线上最后一个点也记为特征点。

3）居民地规整化和综合，依照地形图的数据标准，对边界线进行拟合和规则化的处理，获取符合规范要求的居民地轮廓。包括步骤：

（1）主方向旋转。首先计算居民地的主方向，再将主方向旋转至水平，便于后面处理过程中保持边界水平或垂直，减少计算。

（2）居民地轮廓去凸补凹处理。去除小的凸起，填补小的凹进，消除边界局部细节，拉直边线。

（3）边界冗余点去除。

（4）边界垂直调整。依照水平/垂直方向调整边界，并合并处理，确保边界最大限度地准确。

（5）主方向逆旋转，输出结果。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (9)

1.一种基于生成式对抗网络的典型地物要素智能识别与提取方法，其特征在于，包括以下步骤：

S10、依据测图要求和生成对抗网络模型训练要求，构建地物目标分割样本数据库，获取地物目标分割样本；

S20、地物目标分割模型训练，生成地物目标分割生成对抗网络模型；所述步骤S20具体包括以下步骤：

（1）按构建的样本分类体系，初始化地物类别数目K，以图像块即像素点的邻域作为提取区域，邻域大小在上下文信息和数据量之间进行折中，对遥感影像进行有重叠地滑窗处理，以中心像素点的标签作为整个区域的标签；将所有的区域按照中心像素点的标签进行分组，一共分为K个组，因为标记样本很少，所以只存储有标签的区域，滤除K个组中无标签的区域；

（2）构建生成网络G，用于从噪声生成样本；生成网络通过5层转置卷积生成图像，转置卷积层之间添加Batch Norm层，并用Relu层作为激活函数，最后一层用Tanh函数输出；

（3）构建判别网络D，用于判别样本是否为真实样本；判别网络用5层卷积判别图像真假，卷积层之间采用Batch Norm层，用LeakyRelu作为激活函数，最后一层用Sigmoid函数输出；

（4）在类别信息的约束下，由随机噪声通过生成网络不断生成对应类别的样本，达到扩充样本的目的；

（5）设置整体的损失函数，使用随机梯度下降算法对生成网络的损失和判别网络的损失进行交替循环优化；有标注的损失函数是L_supervised，未标注的损失函数是L_unsupervised：

其中P_data代表数据的真实分布，P_model代表生成模型的噪声分布，E表示数学期望，x表示输入遥感图像，y表示输入遥感图像x对应的真实类标图，K为地物类别数；

（6）分别构建K个区域生成网络，每个网络生成特定类的数据；

S30、基于弱监督的区域生成对抗网络来进行数据增强以及样本扩充，进行地物要素识别提取；

S40、对提取的结果进行矢量化处理，分别生成线状和面状地物要素的中心线或者轮廓线；

S50、对地物要素解译数据进行智能优化。

2.根据权利要求1所述的基于生成式对抗网络的典型地物要素智能识别与提取方法，其特征在于，所述步骤S10具体包括以下步骤：

（1）构建样本分类体系，典型地物要素分类依据测图要求划分，为下一步样本数据采集制定采样范围；

（2）采取“机器自动生成+人工辅助标注”的模式进行样本库的构建，由人工标注一部分样本，形成初始样本库，后引入基于弱监督的生成对抗网络学习进行样本增强，之后利用全卷积网络针对原始影像进行提取，自动生成样本数据，并进行人工辅助判读修正，扩充样本数量；

（3）样本数据管理。

3.根据权利要求2所述的基于生成式对抗网络的典型地物要素智能识别与提取方法，其特征在于，所述样本数据管理包括样本增加、删除、修改以及查询管理，采集的样本格式包含栅格切片及元数据。

4.根据权利要求1所述的基于生成式对抗网络的典型地物要素智能识别与提取方法，其特征在于，所述步骤S30具体为：

在样本类别信息的约束下，由随机噪声通过生成网络不断生成对应类别的样本，达到扩充样本的目的；对进行数据增强的影像区域，使用基于通道注意力模块和残差模块的分类识别网络进行地物识别，通过将增强的数据输入网络，进而提取出特征图，然后将特征图分别交替经过残差模块和通道注意力模块，最后使用Softmax对特征进行分类；

构建一个条件生成对抗网络CGAN与卷积生成对抗网络DCGAN相结合的、面向小样本语义嵌入的生成对抗网络来解决样本数据少的问题，面向小样本的语义嵌入生成对抗网络的总体损失函数由两部分加权相加组成，即原始生成对抗网络损失L_GAN以及像素级语义损失L_pixel；

，

，

，

其中，P_data代表数据的真实分布，P_z代表输入噪声的分布，D代表判别网络，G代表生成网络，m代表训练过程中一个批次图像的数量，i代表当前批次中不同样本的序号，j代表每一张图像当中像素的序号，M，N代表图像的长宽尺寸，x表示输入遥感图像，y表示输入遥感图像x对应的真实类标图，α，β分别对应两部分损失的权重。

5.根据权利要求4所述的基于生成式对抗网络的典型地物要素智能识别与提取方法，其特征在于，所述残差模块是通过恒等映射，在加深网络的同时，避免梯度消失，在引入恒等映射前，使用1x1的卷积层，整合所有通道的信息；通道注意力模块是将高层特征和底层特征同时引入，生成权重向量，对特征图重新加权。

6.根据权利要求1所述的基于生成式对抗网络的典型地物要素智能识别与提取方法，其特征在于，所述步骤S40包括以下步骤：

（1）针对线状地物数据的矢量化，采用逐点判断方法对中心线封闭式跟踪并以Freeman链码描述，最终获取地物中心骨架线的单像素位置编码；

（2）针对面状地物数据的矢量化，首先二值化栅格数据，然后利用数学形态学算法提取二值化的区域边界，通过边界跟踪算法逐点去除区域内部点而只保留边界点，最终获取外部轮廓的矢量化数据。

7.根据权利要求1所述的基于生成式对抗网络的典型地物要素智能识别与提取方法，其特征在于，所述步骤S50包括以下步骤：

（1）通过光滑处理消除毛刺；利用高斯滤波器光滑地物曲线；

（2）冗余点去除；

（3）居民地规整化和综合，依照地形图的数据标准，对边界线进行拟合和规则化的处理，获取符合规范要求的居民地轮廓。

8.根据权利要求7所述的基于生成式对抗网络的典型地物要素智能识别与提取方法，其特征在于，步骤（2）具体为：通过提取线条特征点，删除冗余点，得到地物轮廓线的矢量数据。

9.根据权利要求7所述的基于生成式对抗网络的典型地物要素智能识别与提取方法，其特征在于，步骤（3）包括步骤：

1）主方向旋转，首先计算居民地的主方向，再将主方向旋转至水平，便于后面处理过程中保持边界水平或垂直，减少计算；

2）居民地轮廓去凸补凹处理，去除小的凸起，填补小的凹进，消除边界局部细节，拉直边线；

3）边界冗余点去除；

4）边界垂直调整，依照水平/垂直方向调整边界，并合并处理，确保边界最大限度地准确；

5）主方向逆旋转，输出结果。

Images