CN112101309A - 基于深度学习分割网络的地物目标识别方法和装置 - Google Patents

基于深度学习分割网络的地物目标识别方法和装置 Download PDF

Info

Publication number
CN112101309A
CN112101309A CN202011262998.4A CN202011262998A CN112101309A CN 112101309 A CN112101309 A CN 112101309A CN 202011262998 A CN202011262998 A CN 202011262998A CN 112101309 A CN112101309 A CN 112101309A
Authority
CN
China
Prior art keywords
remote sensing
ground object
sensing image
image
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011262998.4A
Other languages
English (en)
Inventor
严华
李林锦
刘建明
杨晓冬
张丽莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Daoda Tianji Technology Co ltd
Original Assignee
Beijing Daoda Tianji Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Daoda Tianji Technology Co ltd filed Critical Beijing Daoda Tianji Technology Co ltd
Priority to CN202011262998.4A priority Critical patent/CN112101309A/zh
Publication of CN112101309A publication Critical patent/CN112101309A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了基于深度学习分割网络的地物目标识别方法和装置。所述方法包括:获取当前遥感影像,所述当前遥感影像包括多个待识别的地物目标;将所述当前遥感影像输入预先训练的地物目标识别模型;根据对遥感影像的识别结果及对应的概率输出从所述当前遥感影像中识别出的地物目标。以此方式,能够对卫星遥感影像进行图像语义分割,并且能够提高分割精度和分割后的目标完整度,使得分割后的目标更加完整,边缘更加平整。

Description

基于深度学习分割网络的地物目标识别方法和装置
技术领域
本公开的实施例一般涉及卫星遥感影像处理技术领域,并且更具体地,涉及基于深度学习分割网络的地物目标识别方法和装置。
背景技术
遥感技术是从地面到空间各种对地球、天体观测的综合性技术系统的总称。可从遥感技术平台获取卫星数据、由遥感仪器以及信息接受、处理与分析。
现有技术中对遥感影像进行图像语义分割可分为 3 种类型的方法:
(1)传统图像分割方法
在计算机硬件设备还不足以支持深度学习神经网络时,传统图像分割最常用的是利用图割法实现对图像的语义分割技术。基于图割法的图像语义分割技术,最常用的就是Normalized cut(N-cut)和Grab cut方法,N-cut提出了一种考虑全局信息的方法来进行图割(graph partitioning)用以改变经典的 min-cut算法操作中的不足,创新点在于将两个分割部分与全图节点的连接权重也考虑进算法之中,根据图像中的像素给出的阈值将图像一分为二。
(2)深度学习与传统方法结合的图像语义分割方法
该方法主要是利用卷积神经网络算法(Convolutional Neural Networks,CNN)实现语义分割效果,先利用传统的分割算法获得像素级的处理效果,然后利用 CNN 神经网络模型训练像素的特征分类器实现语义分割效果。
(3)深度学习图像语义分割方法
全卷积神经网络在深度学习中表现出了强大的潜力,计算机在图片通过深度学习网络进行深度学习后能够清楚地归纳出输入图片中的具有相同语义含义的像素点。
FCN 网络结构为图像语义分割技术提供了能够达到像素级语义分割的基础,更加为后来的研究人员提供了一种全新的思路和探索的方向,使得语义分割的精度得到极大的提高。研究人员以全卷积神经为基础提出了U-Net网络结构模型。
但是,现有技术中的图像分割方法,仍然存在许多不足之处,具体地:
传统图像分割方法缺点在于分割方式比较简单直接,只能利用图像的像素进行分割,对于整体物体的影响考虑不周。深度学习与传统方法结合的图像语义分割方法准确性受到传统语义分割方法诸多不足的限制,因此准确性普遍较低。FCN网络在处理遥感影像会在达到像素级预测分类的深度学习任务中会出现显著的误差,且对于图像中比较小的像素图像,空洞卷积会成为降低分割精度的原因。
发明内容
根据本公开的实施例,提供了一种能够提高分割精度和分割后目标完整度的基于深度学习分割网络的地物目标识别方案。
在本公开的第一方面,提供了一种基于深度学习分割网络的地物目标识别方法,包括:
获取当前遥感影像,所述当前遥感影像包括多个待识别的地物目标;
将所述当前遥感影像输入预先训练的地物目标识别模型,其中,所述地物目标识别模型为multi-Unet网络结构的模型,包括收缩路径、扩展路径和分类层,所述收缩路径包括多个重复结构,每一个重复结构包括卷积层、修正线性单元和最大池化层以完成下采样,在每一次下采样操作中,都把特征通道的数量翻倍,所述扩展路径与所述收缩路径的结构对应,包括多个重复结构,每一个重复结构包括反卷积层、修正线性单元和反向传播层以完成上采样,在每一次上采样过程中,先将特征通道数量减半,然后将所述收缩路径中对应的裁剪过的特征图与反卷积的结果进行拼接,所述分类层用于输出对输入的遥感影像的识别结果及对应的概率;
根据对遥感影像的识别结果及对应的概率输出从所述当前遥感影像中识别出的地物目标。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述地物目标识别模型通过以下方式获得:
以预设数量的高分辨率的遥感影像为训练样本集,对所述训练样本集中的训练样本进行区域标注,标注出所述训练样本中的地物目标所在的图像区域;
将所述训练样本集中的训练样本输入到预先建立的深度学习分割网络模型,对所述训练样本集中的训练样本进行学习,输出训练样本中的地物目标所在的图像区域,当输出的训练样本中的地物目标所在的图像区域与标注的训练样本中的地物目标所在的图像区域的差异度大于预设阈值时,对深度学习分割网络模型的参数进行修正;
重复上述过程,直到输出的训练样本中的地物目标所在的图像区域与标注的训练样本中的地物目标所在的图像区域的差异度小于预设阈值。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述训练样本集中的训练样本包括不同季节采集到的高分辨率的遥感影像。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,还包括:
在所述训练样本集的训练样本中预先添加季节标签;
所述输出从所述当前遥感影像中识别出的地物目标,包括:
输出从所述当前遥感影像中识别出的带有季节标签的地物目标。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,还包括:
对所述训练样本集中的训练样本进行数据增强,具体包括将训练样本做随机旋转、镜像操作、模糊处理、增加噪声中的一种或多种。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,还包括:
对所述训练样本集中的训练样本和所述当前遥感影像进行大气误差校正处理。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,还包括:
在训练过程中,采用 Adagrad 算法对所述地物目标识别模型的各个参数分配不同学习率,其公式如下:
Figure DEST_PATH_IMAGE001
其中g t,i 为t时刻下θ i 的梯度, α为学习速率,θ i 为所述地物目标识别模型的参数,i为所述地物目标识别模型的层数,G t,ii 为t时刻下i层的累计梯度的平方和,ε为小正数。
在本公开的第二方面,提供了一种基于深度学习分割网络的地物目标识别装置,包括:
遥感影像获取模块,用于获取当前遥感影像,所述当前遥感影像包括多个待识别的地物目标;
输入模块,用于将所述当前遥感影像输入预先训练的地物目标识别模型,其中,所述地物目标识别模型为multi-Unet网络结构的模型,包括收缩路径、扩展路径和分类层,所述收缩路径包括多个重复结构,每一个重复结构包括卷积层、修正线性单元和最大池化层以完成下采样,在每一次下采样操作中,都把特征通道的数量翻倍,所述扩展路径与所述收缩路径的结构对应,包括多个重复结构,每一个重复结构包括反卷积层、修正线性单元和反向传播层以完成上采样,在每一次上采样过程中,先将特征通道数量减半,然后将所述收缩路径中对应的裁剪过的特征图与反卷积的结果进行拼接,所述分类层用于输出对输入的遥感影像的识别结果及对应的概率;
输出模块,用于输出从所述当前遥感影像中识别出的地物目标。
在本公开的第三方面,提供了一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如以上所述的方法。
在本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如以上所述的方法。
应当理解,发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
通过本公开的基于深度学习分割网络的地物目标识别方法,能够对卫星遥感影像进行图像语义分割,并且能够提高分割精度和分割后目标完整度,使得分割后的目标更加完整,边缘更加平整。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:
图1示出了本公开实施例一的基于深度学习分割网络的地物目标识别方法的流程图;
图2示出了本公开实施例二的地物目标识别模型生成方法的流程图;
图3示出了本公开实施例三的基于深度学习分割网络的地物目标识别装置的功能结构示意图;
图4示出了本公开实施例四的基于深度学习分割网络的地物目标识别设备的结构示意图;
图5示出了卫星遥感影像的原图;
图6示出了利用FCN方法对卫星遥感影像进行目标识别的结果图;
图7示出了利用U-net方法对卫星遥感影像进行目标识别的结果图;
图8示出了利用multi-Unet方法对卫星遥感影像进行目标识别的结果图;
图9为multi-Unet网络结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例,都属于本公开保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本公开实施例的基于深度学习分割网络的地物目标识别方法,能够对卫星遥感影像进行图像语义分割,并且能够提高分割精度和分割后目标完整度,使得分割后的目标更加完整,边缘更加平整。
本发明是基于U-net网络结构提出的multi-Unet网络结构遥感图像地物目标自动分割技术。虽然目前已有一些深度学习模型被应用到遥感图像语义分割中,但总体来说还是比较少,而且结果也不够理想。虽然U-net不具备处理多时相高分遥感影像的能力,但是鉴于其在医学影像上的良好表现,且作为一种端到端模型,能够在少量训练数据下获得较好的训练效果,本发明对其进行改进,并提出multi-Unet网络结构的遥感图像地物目标自动分割技术。
下面结合具体实施例介绍本公开的改进的遥感图像地物目标自动分割技术的具体实现过程和原理。
首先,如图1所示,为本公开实施例一的基于深度学习分割网络的地物目标识别方法的流程图。从图1中可以看出,本实施例的方法,可以包括以下步骤:
S101:获取当前遥感影像,所述当前遥感影像包括多个待识别的地物目标。
由地物反射或自身发射的电磁辐射,通过成像系统处理后产生与原物相似的形象称影像,特点是可以点对点地表现物体,即只有在某一视场角内的物体才能在影像平面上以点的形式显示,且每一物点的辐射能只能投射到影像平面的相应点上。不管是可见光还是不可见波都可以形成直观影像,记录存贮在感光材料或在显示器上显示,也可以以数字数据的潜像形式记录存贮在磁带上。通过安装在遥感平台上的遥感器对地球表面摄影或扫描获得的影像称遥感影像。遥感影像经过处理或再编码后产生的与原物相似的形象称遥感图像。为区别不同成像方式的遥感影像,常称光学摄影成像的二维连续的影像为像片、扫描成像的一维连续一维离散或二维离散的影像为图像。
在遥感应用中有按遥感平台类型分称航天、航空、地面遥感图像;按影像记录的电磁波波段分为紫外、可见光、近红外、热红外、微波图像和多波段、超多波段图像;按影像比例尺有大中、小比例尺图像。遥感影像还有彩色和黑白,彩色图像又有真彩色和假彩色之分。
通过对遥感影像进行地物目标识别,可以检测土地覆盖、森林覆盖、草地覆盖、湿地覆盖,也可以对居住区中的建筑、道路分布进行识别,为卫星导航提供条件等。
在本实施例中,当对遥感影像进行地物目标识别时,首先需要获取待识别的遥感影像(即当前遥感影像),所述当前遥感影像包括多个待识别的地物目标,本实施例中的待识别的地物目标是指地物目标的轮廓待识别,例如地物目标为房屋,则识别后的地物目标为遥感影像上房屋所在位置处的轮廓在遥感影像上的体现,简单的说,就是识别出地物目标在卫星和该地物目标连线方向上的投影的边界线。
S102:将所述当前遥感影像输入预先训练的地物目标识别模型。
在获取到当前遥感影像后,将所述当前遥感影像输入到预先训练的地物目标识别模型,本实施中的地物目标识别模型为multi-Unet网络结构的模型,关于该模型的具体生成过程参见后续实施例,本实施例不做具体说明。
S103:输出从所述当前遥感影像中识别出的地物目标。
当将所述当前遥感影像输入到预先训练的地物目标识别模型后,地物目标识别模型对所述当前遥感影像进行处理,输出所述当前遥感影像中包括的地物目标。如图8所示,为利用multi-Unet方法对卫星遥感影像进行目标识别的结果图。从图8中可以看出,识别出的地物目标用白色块表示,而黑色的区域表示道路、草地等区域。本实施中,白色块表示建筑物,其他非建筑物区域都用黑色区域表示。
当然,在本申请的其他一些实施例中,可以用灰度值不同的色块表示不同的地物目标,从而可以识别出多种类型的地物目标,例如用灰度值较低的色块表示草地,灰度值较高的色块表示树丛等。
通过本公开的基于深度学习分割网络的地物目标识别方法,能够对卫星遥感影像进行图像语义分割,并且能够提高分割精度和分割后目标完整度,使得分割后的目标更加完整,边缘更加平整。
如图2所示,为本公开实施例二的地物目标识别模型生成方法的流程图。从图2中可以看出,本公开实施例中的地物目标识别模型的生成过程,可以包括以下步骤:
S201:以预设数量的高分辨率的遥感影像为训练样本集,对所述训练样本集中的训练样本进行区域标注,标注出所述训练样本中的地物目标所在的图像区域。
在本实施例中,为了训练地物目标识别模型,首先需要构建训练样本集。因为地物在不同季节所反映的特征不同,若只采用一个季节的遥感影像来训练神经网络,那么可能因为季节原因而使得神经网络无法识别目标地物,因此本实施例采用不同季节采集到的高分辨率的遥感影像作为训练样本集中的训练样本,所述不同季节可以是两个不同的季节、三个不同的季节或者四个不同的季节。如图5所示,为卫星遥感影像的原图。
在生成训练样本集后,还可以对所述训练样本集中的训练样本进行数据增强,具体包括:将训练样本做随机旋转,和/或,将训练样本做镜像操作,和/或,将训练样本做模糊处理,和/或,将训练样本增加噪声。
在进行数据增强后,对所述训练样本集中的训练样本进行区域标注,即标注出训练样本集中卫星遥感影像的地物目标的轮廓。相对于标框标注,区域标注更加精确,并且边缘可以是柔性的。
S202:将所述训练样本集中的训练样本输入到预先建立的深度学习分割网络模型,对所述训练样本集中的训练样本进行学习,输出训练样本中的地物目标所在的图像区域,当输出的训练样本中的地物目标所在的图像区域与标注的训练样本中的地物目标所在的图像区域的差异度大于预设阈值时,对深度学习分割网络模型的参数进行修正。
S203:重复上述过程,直到输出的训练样本中的地物目标所在的图像区域与标注的训练样本中的地物目标所在的图像区域的差异度小于预设阈值。
具体地,在完成对所述训练样本集中的训练样本的区域标注后,将区域标注后的训练样本输入到深度学习分割网络模型(multi-Unet)中对模型进行训练。
如图9为multi-Unet网络结构示意图,multi-Unet方法网络由两部分构成,分别是左边的 Contracting path(收缩路径)和右边的 Expansive path(扩展路径)。Contractingpath遵循的是典型的卷积网络架构,它包含多个重复结构,每一个重复结构都有2个卷积核大小均为 3* 3 的卷积层,且卷积层后面接着修正线性单元和一个2* 2的步长为2的maxpooling(最大池化层)以完成下采样。该模型的特征通道数量为64,并在每一次下采样操作中,都把特征通道的数量翻倍,即对输入的图像的每个像素放大2x2倍(长度放大2倍,宽度放大2倍),然后进行下采样。Expansive path与Contracting path的结构类似,包括多个重复结构,每个重复结构都有2个卷积核大小均为 3* 3 的反卷积层,反卷积层后面接着修正线性单元和一个2* 2的步长为2的反向传播层,以完成上采样。在Expansive path中的每一步都首先使用能将特征通道数量减半的反卷积,然后将经过裁剪的Contracting path中输出的特征图与反卷积的结果拼接起来。在每次卷积后,特征图的尺寸都会减小,所以裁剪操作是必要的。对拼接后的特征图进行2次3* 3的卷积,激活函数使用ReLU。在Contractingpath后面还设置有分类层,所述分类层为卷积核大小为1* 1的卷积层,用于将64通道的特征图映射到所要求的类别数,即输出输入图像的分类结果以及属于对应分类结果的概率。
在对模型进行训练过程中,首先对各个训练样本进行前向传播操作,前向传播操作的公式如下:
Figure DEST_PATH_IMAGE002
式中:net(l+1)是第l+1层的输入加权和,W l 是第l层与第l+1层之间的连接权重,x l 是第l层的节点值,b l 是第l层的偏置项。
Figure DEST_PATH_IMAGE003
式中:f(•)是激活函数。
利用以上前向传播公式,可得到第2层、第3层直到输出层的节点值。为了求出能够使得代价函数L(W,b)最小的参数W和b,先计算输出层L nl 的残差:
Figure DEST_PATH_IMAGE004
式中:net nl 是输出层的输入加权和。
l=n l -1,n l -2,n l -3,...,的各个层,根据以下公式计算它们的残差:
Figure DEST_PATH_IMAGE005
然后,计算单个样本的代价函数的偏导数:
Figure DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
接着计算所有样本的代价函数的偏导数之和:
Figure DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE009
最后更新权重参数:
Figure DEST_PATH_IMAGE010
Figure DEST_PATH_IMAGE011
式中:α是学习速率,λ是权重衰减参数。
如果所有参数使用同一种学习速率,可能会出现有的参数已经到了只需要微调的阶段,而有的参数还在需要大幅度调整的阶段,为了解决这一问题,本实施例采用 Adagrad算法来自适应地为各个参数分配不同学习率。其公式如下:
Figure 677487DEST_PATH_IMAGE001
其中g t,i t时刻下θ i 的梯度,α为学习速率,θ i 为所述地物目标识别模型的参数,i为所述地物目标识别模型的层数,G t,ii t时刻下i层的累计梯度的平方和,ε为小正数。
使用这种方式可以在多分类中对低频的参数做较大的更新,对高频的参数做较小的更新,因此,对于多分类数据它的表现很好,大大地提高了本文算法的鲁棒性。
重复这些迭代步骤来减小代价函数L(W,b)的值,直到完成对模型的训练,训练完成后的模型可以用来识别遥感影像中的地物目标。
本实施例的基于深度学习分割网络的地物目标识别方法,能够对卫星遥感影像进行图像语义分割,并且能够提高分割精度和分割后目标完整度,使得分割后的目标更加完整,边缘更加平整。
作为本公开的一个可选实施例,在上述实施例中,还可以包括对训练样本集中的样本进行大气误差校正处理的过程。主要分为两种类型:统计型和物理型。统计型是基于陆地表面变量和遥感数据的相关关系,例如经验线性定标法,内部平场域法等,另一方面,物理模型遵循遥感系统的物理规律,也可以建立因果关系。如果初始的模型不好,通过加入新的知识和信息就可以知道应该在哪部分改进模型。
作为本公开的一个可选实施例,在上述实施例中,还可以在所述训练样本集的训练样本中预先添加季节标签;所述输出从所述当前遥感影像中识别出的地物目标,包括:输出从所述当前遥感影像中识别出的带有季节标签的地物目标。
图6示出了利用FCN方法对卫星遥感影像进行目标识别的结果图。图7示出了利用U-net方法对卫星遥感影像进行目标识别的结果图。图8示出了利用multi-Unet方法对卫星遥感影像进行目标识别的结果图。从图6、图7和 图8中可以看出,本公开的multi-Unet方法对卫星遥感影像进行目标识别的结果更加精确,边缘更加平整。
此外,本公开实施例还可以利用混淆矩阵评判模型结果的指标。以模型中的建筑物分割模型为例,最终需要判断样本的结果是Building还是NoBuilding。
通过样本的标注,能够直接知道真实情况下,哪些数据结果是Building,哪些结果是NoBuilding。同时,通过用样本数据跑出分割模型的结果,也可以知道模型认为这些数据哪些是Building,哪些是NoBuilding。
因此,能得到这样四个基础指标,即一级指标(最底层的):
真实值是Building,模型认为是Building的数量(True Building=TB)
真实值是Building,模型认为是NoBuilding的数量(False Building=FN):这就是统计学上的第二类错误(Type II Error)
真实值是NoBuilding,模型认为是Building的数量(False Building=FB):这就是统计学上的第一类错误(Type I Error)
真实值是NoBuilding,模型认为是NoBuilding的数量(True Negative=TN)
将这四个指标一起呈现在表格中,就能得到如下这样一个矩阵,即混淆矩阵(Confusion Matrix):
Figure DEST_PATH_IMAGE012
但是,混淆矩阵里面统计的是个数,有时候面对大量的数据,光凭算个数,很难衡量模型的优劣。因此混淆矩阵在基本的统计结果上又延伸了如下4个指标,即二级指标(通过最底层指标加减乘除得到的):
准确率(Accuracy)—— 分类模型所有判断正确的结果占总观测值的比重。
精确率(Precision)——在模型预测是Buliding的所有结果中,模型预测对的比重。
灵敏度(Sensitivity)——在真实值是Building的所有结果中,模型预测对的比重
特异度(Specificity)——在真实值是NoBuilding的所有结果中,模型预测对的比重。
其中准确率的计算公式如下:
Figure DEST_PATH_IMAGE013
进而可以使用准确率来评价本文模型,并计算分割准确率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍,以下通过装置实施例,对本公开所述方案进行进一步说明。
如图3所示,为本公开实施例三的基于深度学习分割网络的地物目标识别装置的功能结构示意图,本实施例的基于深度学习分割网络的地物目标识别装置,包括:
遥感影像获取模块301,用于获取当前遥感影像,所述当前遥感影像包括多个待识别的地物目标。
输入模块302,用于将所述当前遥感影像输入预先训练的地物目标识别模型,其中,所述地物目标识别模型为multi-Unet网络结构的模型,包括收缩路径、扩展路径和分类层,所述收缩路径包括多个重复结构,每一个重复结构包括卷积层、修正线性单元和最大池化层以完成下采样,在每一次下采样操作中,都把特征通道的数量翻倍,所述扩展路径与所述收缩路径的结构对应,包括多个重复结构,每一个重复结构包括反卷积层、修正线性单元和反向传播层以完成上采样,在每一次上采样过程中,先将特征通道数量减半,然后将所述收缩路径中对应的裁剪过的特征图与反卷积的结果进行拼接,所述分类层用于输出对输入的遥感影像的识别结果及对应的概率。
输出模块303,用于输出从所述当前遥感影像中识别出的地物目标。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,所述描述的模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图4示出了本公开实施例四的基于深度学习分割网络的地物目标识别设备的结构示意图。图4示出的终端设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示,计算机系统包括中央处理单元(CPU)401,其可以基于存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中,还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也基于需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,基于需要安装在驱动器410上,以便于从其上读出的计算机程序基于需要被安装入存储部分408。
特别地,基于本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本申请的方法中限定的上述功能。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种基于深度学习分割网络的地物目标识别方法,其特征在于,包括:
获取当前遥感影像,所述当前遥感影像包括多个待识别的地物目标;
将所述当前遥感影像输入预先训练的地物目标识别模型,其中,所述地物目标识别模型为multi-Unet网络结构的模型,包括收缩路径、扩展路径和分类层,所述收缩路径包括多个重复结构,每一个重复结构包括卷积层、修正线性单元和最大池化层以完成下采样,在每一次下采样操作中,都把特征通道的数量翻倍,所述扩展路径与所述收缩路径的结构对应,包括多个重复结构,每一个重复结构包括反卷积层、修正线性单元和反向传播层以完成上采样,在每一次上采样过程中,先将特征通道数量减半,然后将所述收缩路径中对应的裁剪过的特征图与反卷积的结果进行拼接,所述分类层用于输出对输入的遥感影像的识别结果及对应的概率;
根据对遥感影像的识别结果及对应的概率输出从所述当前遥感影像中识别出的地物目标。
2.根据权利要求1所述的基于深度学习分割网络的地物目标识别方法,其特征在于,所述地物目标识别模型通过以下方式获得:
以预设数量的高分辨率的遥感影像为训练样本集,对所述训练样本集中的训练样本进行区域标注,标注出所述训练样本中的地物目标所在的图像区域;
将所述训练样本集中的训练样本输入到预先建立的深度学习分割网络模型,对所述训练样本集中的训练样本进行学习,输出训练样本中的地物目标所在的图像区域,当输出的训练样本中的地物目标所在的图像区域与标注的训练样本中的地物目标所在的图像区域的差异度大于预设阈值时,对深度学习分割网络模型的参数进行修正;
重复上述过程,直到输出的训练样本中的地物目标所在的图像区域与标注的训练样本中的地物目标所在的图像区域的差异度小于预设阈值。
3.根据权利要求2所述的基于深度学习分割网络的地物目标识别方法,其特征在于,所述训练样本集中的训练样本包括不同季节采集到的高分辨率的遥感影像。
4.根据权利要求3所述的基于深度学习分割网络的地物目标识别方法,其特征在于,还包括:
在所述训练样本集的训练样本中预先添加季节标签;
所述输出从所述当前遥感影像中识别出的地物目标,包括:
输出从所述当前遥感影像中识别出的带有季节标签的地物目标。
5.根据权利要求4所述的基于深度学习分割网络的地物目标识别方法,其特征在于,还包括:
对所述训练样本集中的训练样本进行数据增强,具体包括将训练样本做随机旋转、镜像操作、模糊处理、增加噪声中的一种或多种。
6.根据权利要求5所述的基于深度学习分割网络的地物目标识别方法,其特征在于,还包括:
对所述训练样本集中的训练样本和所述当前遥感影像进行大气误差校正处理。
7.根据权利要求1至6任一项所述的基于深度学习分割网络的地物目标识别方法,其特征在于,还包括:
在训练过程中,采用 Adagrad 算法对所述地物目标识别模型的各个参数分配不同学习率,其公式如下:
Figure 471035DEST_PATH_IMAGE001
其中g t,i t时刻下θ i 的梯度,α为学习速率,θ i 为所述地物目标识别模型的参数,i为所述地物目标识别模型的层数,G t,ii t时刻下i层的累计梯度的平方和,ε为小正数。
8.一种基于深度学习分割网络的地物目标识别装置,其特征在于,包括:
遥感影像获取模块,用于获取当前遥感影像,所述当前遥感影像包括多个待识别的地物目标;
输入模块,用于将所述当前遥感影像输入预先训练的地物目标识别模型,其中,所述地物目标识别模型为multi-Unet网络结构的模型,包括收缩路径、扩展路径和分类层,所述收缩路径包括多个重复结构,每一个重复结构包括卷积层、修正线性单元和最大池化层以完成下采样,在每一次下采样操作中,都把特征通道的数量翻倍,所述扩展路径与所述收缩路径的结构对应,包括多个重复结构,每一个重复结构包括反卷积层、修正线性单元和反向传播层以完成上采样,在每一次上采样过程中,先将特征通道数量减半,然后将所述收缩路径中对应的裁剪过的特征图与反卷积的结果进行拼接,所述分类层用于输出对输入的遥感影像的识别结果及对应的概率;
输出模块,用于输出从所述当前遥感影像中识别出的地物目标。
9.一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~7中任一项所述的方法。
CN202011262998.4A 2020-11-12 2020-11-12 基于深度学习分割网络的地物目标识别方法和装置 Pending CN112101309A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011262998.4A CN112101309A (zh) 2020-11-12 2020-11-12 基于深度学习分割网络的地物目标识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011262998.4A CN112101309A (zh) 2020-11-12 2020-11-12 基于深度学习分割网络的地物目标识别方法和装置

Publications (1)

Publication Number Publication Date
CN112101309A true CN112101309A (zh) 2020-12-18

Family

ID=73785319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011262998.4A Pending CN112101309A (zh) 2020-11-12 2020-11-12 基于深度学习分割网络的地物目标识别方法和装置

Country Status (1)

Country Link
CN (1) CN112101309A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633242A (zh) * 2020-12-31 2021-04-09 长光卫星技术有限公司 一种基于改进UNet网络的港口矿堆分割及储量计算方法
CN112926532A (zh) * 2021-04-01 2021-06-08 深圳前海微众银行股份有限公司 信息处理方法、装置、设备、存储介质及计算机程序产品
CN112966548A (zh) * 2021-01-18 2021-06-15 中国农业科学院农业信息研究所 一种大豆地块识别方法及系统
CN112989919A (zh) * 2020-12-25 2021-06-18 首都师范大学 一种从影像中提取目标对象的方法及系统
CN113486728A (zh) * 2021-06-15 2021-10-08 北京道达天际科技有限公司 基于特征融合的地表三维变化检测方法和装置
CN113869262A (zh) * 2021-10-11 2021-12-31 中科三清科技有限公司 一种基于Unet模型的目标区域用地信息的预测方法和装置
CN114241326A (zh) * 2022-02-24 2022-03-25 自然资源部第三地理信息制图院 一种渐进式遥感影像地物要素智能生产方法及系统
US11669990B2 (en) 2021-01-21 2023-06-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Object area measurement method, electronic device and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107918652A (zh) * 2017-11-15 2018-04-17 浙江大学 一种利用多模态网络学习进行基于社交关系的电影推荐的方法
CN108020511A (zh) * 2016-11-01 2018-05-11 中国科学院遥感与数字地球研究所 一种浅水草型湖泊水质参数遥感监测方法与装置
CN110443306A (zh) * 2019-08-06 2019-11-12 深圳大学 葡萄酒木塞的分类方法
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
CN111738165A (zh) * 2020-06-24 2020-10-02 中国农业科学院农业信息研究所 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法
CN111915592A (zh) * 2020-08-04 2020-11-10 西安电子科技大学 基于深度学习的遥感图像云检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108020511A (zh) * 2016-11-01 2018-05-11 中国科学院遥感与数字地球研究所 一种浅水草型湖泊水质参数遥感监测方法与装置
CN107918652A (zh) * 2017-11-15 2018-04-17 浙江大学 一种利用多模态网络学习进行基于社交关系的电影推荐的方法
CN110443306A (zh) * 2019-08-06 2019-11-12 深圳大学 葡萄酒木塞的分类方法
CN110598600A (zh) * 2019-08-27 2019-12-20 广东工业大学 一种基于unet神经网络的遥感图像云检测方法
CN111738165A (zh) * 2020-06-24 2020-10-02 中国农业科学院农业信息研究所 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法
CN111915592A (zh) * 2020-08-04 2020-11-10 西安电子科技大学 基于深度学习的遥感图像云检测方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989919A (zh) * 2020-12-25 2021-06-18 首都师范大学 一种从影像中提取目标对象的方法及系统
CN112989919B (zh) * 2020-12-25 2024-04-19 首都师范大学 一种从影像中提取目标对象的方法及系统
CN112633242A (zh) * 2020-12-31 2021-04-09 长光卫星技术有限公司 一种基于改进UNet网络的港口矿堆分割及储量计算方法
CN112966548A (zh) * 2021-01-18 2021-06-15 中国农业科学院农业信息研究所 一种大豆地块识别方法及系统
CN112966548B (zh) * 2021-01-18 2023-10-27 中国农业科学院农业信息研究所 一种大豆地块识别方法及系统
US11669990B2 (en) 2021-01-21 2023-06-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Object area measurement method, electronic device and storage medium
CN112926532A (zh) * 2021-04-01 2021-06-08 深圳前海微众银行股份有限公司 信息处理方法、装置、设备、存储介质及计算机程序产品
CN112926532B (zh) * 2021-04-01 2024-05-10 深圳前海微众银行股份有限公司 信息处理方法、装置、设备、存储介质及计算机程序产品
CN113486728A (zh) * 2021-06-15 2021-10-08 北京道达天际科技有限公司 基于特征融合的地表三维变化检测方法和装置
CN113869262A (zh) * 2021-10-11 2021-12-31 中科三清科技有限公司 一种基于Unet模型的目标区域用地信息的预测方法和装置
CN114241326A (zh) * 2022-02-24 2022-03-25 自然资源部第三地理信息制图院 一种渐进式遥感影像地物要素智能生产方法及系统
CN114241326B (zh) * 2022-02-24 2022-05-27 自然资源部第三地理信息制图院 一种渐进式遥感影像地物要素智能生产方法及系统

Similar Documents

Publication Publication Date Title
CN112101309A (zh) 基于深度学习分割网络的地物目标识别方法和装置
Over et al. Processing coastal imagery with Agisoft Metashape Professional Edition, version 1.6—Structure from motion workflow documentation
EP3997616B1 (en) Object-based change detection using a neural network
Gruszczyński et al. Comparison of low-altitude UAV photogrammetry with terrestrial laser scanning as data-source methods for terrain covered in low vegetation
CN112668663B (zh) 一种基于YOLOv4的航拍小汽车检测方法
CN113076842B (zh) 一种用于提升极端天气与环境下交通标志识别精度的方法
US11657533B2 (en) Computer vision systems and methods for ground surface condition detection and extraction from digital images
CN112712535B (zh) 基于模拟困难样本的Mask-RCNN滑坡分割方法
US10509987B1 (en) Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US20180075319A1 (en) 3d building extraction apparatus, method and system
US10402692B1 (en) Learning method and learning device for fluctuation-robust object detector based on CNN using target object estimating network adaptable to customers' requirements such as key performance index, and testing device using the same
CN111929683B (zh) 滑坡形变聚集区预测模型生成方法和滑坡形变聚集区预测方法
CN112883900B (zh) 遥感影像裸地反演可视图的方法及装置
KR20210072689A (ko) 딥러닝 영상인식을 활용한 지장물 예측 모델 생성 방법 및 장치
CN116977311A (zh) 一种洪涝灾害区域检测方法、系统、电子设备及存储介质
CN112990024B (zh) 一种城市扬尘的监测方法
Lin et al. A template-matching based approach for extraction of roads from very high-resolution remotely sensed imagery
CN113096129B (zh) 高光谱卫星影像中的云量检测方法和装置
CN115019174B (zh) 基于像素重组和注意力的上采样遥感图像目标识别方法
CN114881763B (zh) 养殖业贷后监管方法、装置、设备和介质
CN113486728A (zh) 基于特征融合的地表三维变化检测方法和装置
CN116363530B (zh) 高速公路路面病害的定位方法和装置
Sui et al. A boundary aware neural network for road extraction from high-resolution remote sensing imagery
CN118115732A (zh) 一种融合光学与sar通道关联性的语义分割方法和装置
CN117372638A (zh) 一种基于语义分割算法的小尺度数字露头岩性填图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201218