CN112232102B - 一种基于深度神经网络和多任务学习的建筑物目标识别方法和系统 - Google Patents

Abstract

本发明公开了一种基于深度神经网络和多任务学习的建筑物目标识别方法和系统。本方法的目的是为了建筑物个体提取，主要包括：改进U‑Net深度神经网络和构建损失函数，基于改进的U‑Net深度神经网络获取影像的二值分类结果和像素点的高维特征向量矩阵，通过均值漂移算法进行聚类分析，最终得到建筑物实例分割结构，即判定建筑物个体。本发明在建筑物二分类的基础上，同时实现了建筑物的实例分割，并一定程度地提高了建筑物二分类提取的精度。

Description

一种基于深度神经网络和多任务学习的建筑物目标识别方法 和系统

技术领域

本发明属于目标检测领域，尤其涉及一种基于深度神经网络和多任务学习的建筑物目标识别方法和系统。

背景技术

随着深度学习理论的完善和在计算机视觉方面应用的发展，深度神经网络应用于高分辨率遥感影像的研究越来越热门，在深度神经网络与高分辨率影像融合方面，虽然在建筑物二分类提取研究取得了一定的成果，但在精度方面，还有很大的提升空间。

通过增加辅助任务，能够进一步提升深度神经网络提取建筑物的精度，但相关算法研究比较少。在识别建筑物二分类的同时，进行建筑物的实例分割，能表达目标的更多信息，不仅可以提高建筑物提取的精度，在城市规划、道路交通、灾情评估、防灾减灾等多方面更能发挥实际高效的应用价值。但基于高分辨率影像、深度神经网络和辅助任务，同时实现建筑物提取和实例分割的研究几乎没有。

发明内容

本发明的目的是为了在建筑物二分类的基础上，实现实例分割，提高建筑物二分类提取的精度。

本发明基于高分辨率影像、改进的U-Net深度神经网络和采用多任务学习，实现了建筑物二分类的同时进行实例分割。其中多任务学习是指深度网络学习和聚类分析两个任务结合。

本发明公开了一种基于深度神经网络和多任务学习的建筑物目标识别方法，包括以下步骤：

1)改进U-Net深度神经网络，将其编码器中第二层至第六层的卷积层替换为Xception卷积神经网络模型；

2)基于改进的U-Net深度神经网络获取影像的建筑物二值分类结果和像素点的高维特征向量矩阵；

3)通过均值漂移算法对高维特征向量矩阵中建筑物的高维特征向量进行聚类分析；

步骤4)利用获得的聚类结果调整建筑物二值分类结果，最终得到建筑物实例分割结构，即判定建筑物个体。

步骤1)包括如下步骤：

a.搭建U-Net深度神经网络，包括编码器和解码器两个部分，两者都是由连续的卷积层构成；

b.利用Xception卷积神经网络模型替换掉编码器中第二层至第六层的卷积层；

c.构建判别损失函数L_d：

L_d＝αL_var+βL_dist+γL_reg

式中，L_var为同一建筑物的像素点的聚类程度，L_dist为不同建筑物的聚类中心的远离程度，L_reg为权重的正则化，x_i为建筑物的高维向量，C为建筑物个数，c为像素点个数，N_c为建筑物的像素点个数，A和B为不同建筑物，μ_c为建筑物的聚类中心，δ_v为方差，μC_A和μC_B为不同建筑物的聚类中心，2δ_d为两个建筑物的聚类中心的最小距离，α、β、γ为权重。

d.构建总损失函数L_t：

L_t＝L_d+L_b

式中L_b为改进的U-Net深度神经网络的损失函数。

步骤2)包括如下步骤：

a.将高分辨率影像训练集和验证集输入到改进的U-Net深度神经网络中，对U-Net深度神经网络进行训练，得到训练后的U-Net网络模型；

b.利用测试集对训练后的U-Net网络模型进行测试，当测试集的准确率满足要求时，得到最终的改进U-Net网络模型，否则重复步骤2)中的步骤a，直到测试集的准确率满足要求，得到baseline(基线)的改进U-Net网络模型。

c.利用baseline的改进U-Net网络模型对高分辨率影像进行建筑物的二分类提取，得到改进U-Net网络的损失函数L_b，并生成每个像素点的特征的高维矩阵，即像素点的高维特征向量矩阵，也即像素点的高维特征空间。其中，“建筑物的二分类提取”是指影像中，如果像素点为建筑物的话，其值取为1；如果像素点为非建筑物，其值取为0。

步骤3)包括如下步骤：

a.对每个像素点的高维特征向量矩阵进行过滤，滤除非建筑物的高维特征向量；比如可以利用python中的where函数进行过滤，像素点的值为0时即为非建筑物，基于建筑物的二分类提取结果，根据where(mask！＝0)语句，滤除非建筑物的高维特征向量；

b.基于建筑物的高维特征向量，利用均值漂移算法(Mean Shift算法)进行聚类，得到聚类中心数目，不同的建筑物拥有不同的聚类中心，属于不同聚类中心的像素点，对应不同的建筑物。

步骤4)包括如下步骤：

a.根据步骤3)中步骤b的聚类结果计算判别损失函数L_d；

b.根据改进的U-Net网络的损失函数L_b和判别损失函数L_d，计算总损失函数L_t；

c.当总损失函数L_t收敛时，即得到基于多任务学习和建筑物二分类结果的实例分割结果，进而判定出建筑物的个体和数量；否则重复步骤2)中的步骤c、步骤3)中的步骤a、b和步骤4)中的步骤a、b，直到总损失函数L_t收敛。

基于同一发明构思，本发明还提供一种基于深度神经网络和多任务学习的建筑物目标识别系统，其包括：

深度神经网络构建模块，负责构建改进的U-Net深度神经网络，将其编码器中第二层至第六层的卷积层替换为Xception卷积神经网络模型；

训练学习模块，负责基于改进的U-Net深度神经网络获取影像的二值分类结果和像素点的高维特征向量矩阵；

聚类模块，负责通过均值漂移算法对高维特征向量矩阵中建筑物的高维特征向量进行聚类分析；

建筑物实例分割模块，负责利用获得的聚类结果调整建筑物二值分类结果，最终得到建筑物实例分割结构，即判定建筑物个体。

本发明的有益效果是：

本发明提出了新的建筑物识别的方法，基于高分辨率遥感影像和改进的深度神经网络，利用多任务学习(深度网络学习和聚类分析两个任务结合)，实现了建筑物的二分类提取，同时实现了建筑物的实例分割。本发明提高了建筑物二分类提取的精度，精度达95％以上。

附图说明

图1是本发明方法的流程图。

图2是本发明改进的U-Net深度神经网络架构图。

图3是输入的高分辨影像示意图。

图4是本发明方法识别的效果展示图。

图5是本发明的基于深度神经网络和多任务学习的建筑物目标识别系统的模块构成图。

具体实施方式

为使本发明的上述和/或其他方面的优点更加清楚，下面结合实施例和附图来详细说明本发明，但本发明并不限于此。

如图1所示，上述技术方案中，所述的一种基于深度神经网络和多任务学习的目标识别方法是在改进深度神经网络和构建损失函数后，输入高分辨率遥感影像，经过对改进的U-Net深度神经网络进行训练，得到baseline的U-Net深度神经网络，预测高分辨影像的二值分类结果和生成像素点的高维特征向量矩阵，由此构成2个任务(任务1是二值分类，任务2是生成高维特征向量)，滤除非建筑物的高位特征向量，经过均值漂移算法对高维特征向量进行聚类分析，对baseline的U-Net进行训练，调整二值分类的结果，当损失函数收敛时，最终得到建筑物实例分割结构，即判定建筑物个体。

如图2所示，本发明改进的U-Net深度神经网络架构图，设计过程如下：

U-Net深度神经网络包括编码器和解码器两部分，两者都是由连续的卷积层构成。

在编码器中，第一层为pre-covn全卷积层，第二层为下采样层，本发明利用Xception卷积层(图2中称为Xception模型，一种现有的神经网络模型)替换第二层中原有的全卷积层，得到该层对应的特征图(feature map)，此层的特征图相比上一层分辨率降低。第三层至第六层均为下采样层，同样由Xception卷积层替换原有的全卷积层，得到不同尺度的特征图(feature map)，不同尺度的特征图均被保存。

在解码器中，主要包含上采样层(up-covn)和post-covn全卷积层。对应编码器中的5级下采样层，解码器中有5级上采样层，编码器中不同尺度的特征图，通过跳跃式连接(skip-connection)的方式，将对应下采样层保存的特征图传给相应的上采样层。最后一层为post-covn全卷积层。

如图3所示，是输入到U-Net网络的原始图像。

如图4所示，是图3所示的图像，经过本发明算法提取后，得到的建筑物实例分割图，不同的颜色(或不同的灰度)表示不同的建筑物，相比于传统的U-Net网络，建筑物二分类提取精度提高了1.9％。

实施例：

本实施例包括以下步骤：

1)下载高分辨率遥感影像数据集(Inria航空影像数据集)，该数据集已经完成辐射校正、大气校正、几何校正等预处理过程。将图像裁剪为416×416，剔除没有建筑物的样本。

2)搭建U-Net网络架构；

3)使用PyTorch深度学习框架搭建改进的U-Net网络，图2中卷积层具有相同参数设置，核步长为1，核大小为3。滤波器数目分别为(64，64，128，128，256，256，512(编码器)；256，128，128，64，64，2(解码器))。

4)构建损失函数：

5)构建判别损失函数：

L_d＝αL_var+βL_dist+γL_reg

式中，L_var为同一建筑物的像素点的聚类程度，L_dist为不同建筑物的聚类中心的远离程度，L_reg为权重的正则化，x_i为建筑物的高维向量，C为建筑物个数，c为像素点个数，N_c为建筑物的像素点个数，A和B为不同建筑物，μ_c为建筑物的聚类中心，δ_v为方差，μC_A和μC_B为不同建筑物的聚类中心，2δ_d为两个建筑物的聚类中心的最小距离，α、β、γ为权重。

6)构建总损失函数L_t：

L_t＝L_d+L_b

式中L_b为改进的U-Net深度神经网络的损失函数。

7)数据增广：

以p＝0.5对训练数据集进行水平翻转与镜像翻转。同时以均匀概率，采取90°，180°，270°对训练数据进行旋转。

8)训练改进的U-Net网络：

将训练样本、验证集和测试集输入到U-Net网络中，配置的显卡为NVIDIA TITANXp，CPU为Intel i7-8700K。当损失值收敛时，停止训练，得到baseline的U-Net网络，并得到图像的二值分类和生成像素点的高维特征向量。

9)编写多任务程序，网络结构仍采用baseline的U-Net网络，编写聚类分析、判断损失函数、总函数等的程序。

10)输入图像，运行多任务程序，训练baseline的U-Net网络，当损失值收敛时，停止训练，得到最终的网络结构，并得到建筑物的实例分割结果。

基于同一发明构思，本发明另一实施例提供一种基于深度神经网络和多任务学习的建筑物目标识别系统，如图5所示，其包括：

深度神经网络构建模块，负责构建改进的U-Net深度神经网络，将其编码器中第二层至第六层的卷积层替换为Xception卷积神经网络模型；

训练学习模块，负责基于改进的U-Net深度神经网络获取影像的二值分类结果和像素点的高维特征向量矩阵；

聚类模块，负责通过均值漂移算法对高维特征向量矩阵中建筑物的高维特征向量进行聚类分析；

建筑物实例分割模块，负责利用获得的聚类结果调整建筑物二值分类结果，最终得到建筑物实例分割结构，即判定建筑物个体。

基于同一发明构思，本发明的另一个实施例提供一种计算机/服务器，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明所述方法中各步骤的指令。

基于同一发明构思，本发明的另一个实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明所述方法的步骤。

本发明方案中的网络结构可以根据实际应用进行调整。比如网络层数的增减，采用Xception模型替换任意层的卷积层等。

本发明提供了一种基于深度神经网络和多任务学习的目标识别方法，还可有其它多种实施例，在此指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (2)

1.一种基于深度神经网络和多任务学习的建筑物目标识别方法，其特征在于，包括以下步骤：

1)改进U-Net深度神经网络，将其编码器中第二层至第六层的卷积层替换为Xception卷积神经网络模型；

2)基于改进的U-Net深度神经网络获取影像的二值分类结果和像素点的高维特征向量矩阵；

3)通过均值漂移算法对高维特征向量矩阵中建筑物的高维特征向量进行聚类分析；

4)利用获得的聚类结果调整建筑物二值分类结果，最终得到建筑物实例分割结构，即判定建筑物个体；

步骤1)包括：

a.搭建U-Net深度神经网络，包括编码器和解码器两个部分，两者都是由连续的卷积层构成；

b.利用Xception卷积神经网络模型替换编码器中第二层至第六层的卷积层；

c.构建判别损失函数L_d：

L_d＝αL_var+βL_dist+γL_reg

式中，L_var为同一建筑物的像素点的聚类程度，L_dist为不同建筑物的聚类中心的远离程度，L_reg为权重的正则化，xi为建筑物的高维向量，C为建筑物个数，c为像素点个数，N_c为建筑物的像素点个数，A和B为不同建筑物，μ_c为建筑物的聚类中心，δ_v为方差，μC_A和μC_B为不同建筑物的聚类中心，2δ_d为两个建筑物的聚类中心的最小距离，α、β、γ为权重；

d.构建总损失函数L_t：

L_t＝L_d+L_b

式中L_b为改进的U-Net深度神经网络的损失函数；

步骤2)包括：

a.将高分辨率影像训练集和验证集输入到改进的U-Net深度神经网络中，对U-Net深度神经网络进行训练，得到训练后的U-Net网络模型；

b.利用测试集对训练后的U-Net网络模型进行测试，当测试集的准确率满足要求时，得到最终的改进U-Net网络模型，否则重复步骤2)中的步骤a，直到测试集的准确率满足要求，得到基线的改进U-Net网络模型；

c.利用基线的改进U-Net网络模型对高分辨率影像进行建筑物的二分类提取，得到改进U-Net网络的损失函数L_b，并生成每个像素点的特征的高维矩阵，即像素点的高维特征向量矩阵；

步骤3)包括：

a.对每个像素点的高维特征向量矩阵进行过滤，滤除非建筑物的高维特征向量；

b.基于建筑物的高维特征向量，利用均值漂移算法进行聚类，得到聚类中心数目，不同的建筑物拥有不同的聚类中心，属于不同聚类中心的像素点，对应不同的建筑物；

步骤4)包括：

a.根据聚类结果计算判别损失函数L_d；

b.根据改进的U-Net网络的损失函数L_b和判别损失函数L_d，计算总损失函数L_t；

c.当总损失函数L_t收敛时，即得到基于多任务学习和建筑物二分类结果的实例分割结果，进而判定出建筑物的个体和数量；否则重复步骤2)中的步骤c、步骤3)中的步骤a、b和步骤4)中的步骤a、b，直到总损失函数L_t收敛；

改进的U-Net深度神经网络包括编码器和解码器，两者都是由连续的卷积层构成；

所述编码器中，第一层为pre-covn全卷积层，第二层至第六层均为下采样层，由Xception卷积层替换第二层至第六层原有的全卷积层，得到不同尺度的特征图；

所述解码器中，包含五级上采样层和post-covn全卷积层；所述编码器通过跳跃式连接的方式，将对应下采样层保存的特征图传给相应的上采样层。

2.一种基于深度神经网络和多任务学习的建筑物目标识别系统，其特征在于，包括：

深度神经网络构建模块，负责构建改进的U-Net深度神经网络，将其编码器中第二层至第六层的卷积层替换为Xception卷积神经网络模型；

训练学习模块，负责基于改进的U-Net深度神经网络获取影像的二值分类结果和像素点的高维特征向量矩阵；

聚类模块，负责通过均值漂移算法对高维特征向量矩阵中建筑物的高维特征向量进行聚类分析；

建筑物实例分割模块，负责利用获得的聚类结果调整建筑物二值分类结果，最终得到建筑物实例分割结构，即判定建筑物个体；

所述深度神经网络构建模块构建的总损失函数L_t为：

L_t＝L_d+L_b

式中，L_b为改进的U-Net深度神经网络的损失函数；L_d为判别损失函数，计算公式如下：

L_d＝αL_vdr+βL_dist+γL_reg

式中，L_var为同一建筑物的像素点的聚类程度，L_dist为不同建筑物的聚类中心的远离程度，L_reg为权重的正则化，x_i为建筑物的高维向量，C为建筑物个数，c为像素点个数，N_c为建筑物的像素点个数，A和B为不同建筑物，μ_c为建筑物的聚类中心，δ_v为方差，和为不同建筑物的聚类中心，2δ_d为两个建筑物的聚类中心的最小距离，α、β、γ为权重；

所述训练学习模块执行以下操作：

a.将高分辨率影像训练集和验证集输入到改进的U-Net深度神经网络中，对U-Net深度神经网络进行训练，得到训练后的U-Net网络模型；

b.利用测试集对训练后的U-Net网络模型进行测试，当测试集的准确率满足要求时，得到最终的改进U-Net网络模型，否则重复训练学习模块执行的操作a，直到测试集的准确率满足要求，得到基线的改进U-Net网络模型；

c.利用基线的改进U-Net网络模型对高分辨率影像进行建筑物的二分类提取，得到改进U-Net网络的损失函数L_b，并生成每个像素点的特征的高维矩阵，即像素点的高维特征向量矩阵；

所述聚类模块执行以下操作：

a.对每个像素点的高维特征向量矩阵进行过滤，滤除非建筑物的高维特征向量；

b.基于建筑物的高维特征向量，利用均值漂移算法进行聚类，得到聚类中心数目，不同的建筑物拥有不同的聚类中心，属于不同聚类中心的像素点，对应不同的建筑物；

所述建筑物实例分割模块执行以下操作：

a.根据聚类结果计算判别损失函数L_d；

b.根据改进的U-Net网络的损失函数L_b和判别损失函数L_d，计算总损失函数L_t；

c.当总损失函数收敛时，即得到基于多任务学习和建筑物二分类结果的实例分割结果，进而判定出建筑物的个体和数量；

改进的U-Net深度神经网络包括编码器和解码器，两者都是由连续的卷积层构成；

所述编码器中，第一层为pre-covn全卷积层，第二层至第六层均为下采样层，由Xception卷积层替换第二层至第六层原有的全卷积层，得到不同尺度的特征图；

所述解码器中，包含五级上采样层和post-covn全卷积层；所述编码器通过跳跃式连接的方式，将对应下采样层保存的特征图传给相应的上采样层。