CN112767413A - 综合区域连通和共生知识约束的遥感影像深度语义分割方法 - Google Patents

综合区域连通和共生知识约束的遥感影像深度语义分割方法 Download PDF

Info

Publication number
CN112767413A
CN112767413A CN202110011549.0A CN202110011549A CN112767413A CN 112767413 A CN112767413 A CN 112767413A CN 202110011549 A CN202110011549 A CN 202110011549A CN 112767413 A CN112767413 A CN 112767413A
Authority
CN
China
Prior art keywords
loss
constraint
knowledge
target
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110011549.0A
Other languages
English (en)
Other versions
CN112767413B (zh
Inventor
李彦胜
欧阳松
张永军
史特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110011549.0A priority Critical patent/CN112767413B/zh
Publication of CN112767413A publication Critical patent/CN112767413A/zh
Application granted granted Critical
Publication of CN112767413B publication Critical patent/CN112767413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种综合区域连通和共生知识约束的遥感影像深度语义分割方法。该方法在深度语义分割网络的损失函数项中加入基于区域连通的目标整体性约束和基于空间共生知识的目标空间分布约束，网络通过优化加入约束的综合损失函数项来调整网络模型，从而自主学习目标级特征表示和利用空间共生知识自动优化分割目标的空间分布。本发明创新性地提出了综合区域连通约束和空间共生知识约束的遥感影像深度语义分割方法，首次在语义分割领域实现对目标整体的约束；并通过空间共生条件概率将空间共生知识量化，成功地将非结构化的知识嵌入到数据驱动的深度语义分割网络中，有效改善深度语义分割网络的分割精度和分割结果。

Description

综合区域连通和共生知识约束的遥感影像深度语义分割方法
技术领域
本发明属于遥感影像解译与人工智能的交叉领域，涉及一种综合区域连通和共生知识约束的深度语义分割方法，具体包含一种联合基于区域连通的目标整体性约束和基于空间共生知识的目标空间分布约束的遥感影像深度语义分割方法。
背景技术
视觉是人类获取信息的重要途径，时刻提供给人们对周围环境的感知信息，包括目标轮廓、位置、空间关系等语义信息。得益于计算机技术和机器观测技术的发展，计算机视觉已成为了自动识别现实世界的主要技术手段，赋予了机器智能感知的能力。作为计算机视觉三大任务之一，语义分割通过指定每个像素的类别来完成对图像的像素级描述，广泛地应用于自然影像处理、医学影像分析，遥感影像解译等领域，具有巨大的应用价值。图像是复杂的数据，包含了丰富的颜色特征、纹理特征、形状特征和空间关系语义信息，在语义分割过程中需要综合考虑这些信息才能取得好的分割结果。相比于自然影像，遥感影像的“同谱异物、同物异谱”现象显著，这给语义分割带来了巨大的挑战。
传统的图像语义分割方法包括最大似然法(MLE)、随机森林(RF)、决策树(DT)和支持向量机(SVM)等基于浅层特征判别的监督分类方法。这类方法一般根据人工设计的特征描述子从图像中提取得到的光谱、纹理和几何结构特征进行分类。传统的分割方法高度依赖于人工设计特征，难以跨越底层图像数据与高层逻辑信息的语义鸿沟，其鲁棒性和精度较差。随着人工智能理论与技术的快速发展，深度学习方法广泛地运用到了图像解译中，在图像语义分割任务中取得了突破性的进展。基于深度学习的语义分割方法包括全卷积网络(FCN)、U型网络(U-Net)、金字塔场景解析网络(PSPNet)、掩模区域卷积网络(Mask R-CNN)和深度分割网络(DeepLab)等深度语义分割网络方法。深度语义分割网络通过端到端的学习机制完成对特征提取与分类一体化模型的自动学习，从而自适应地完成分割工作，使得分割的准确度大幅提高、分割的过程也更加智能化。然而，深度语义分割网络是大数据驱动的像素级别的分类方法，通过聚合像素信息来提取特征和减低每个像素上的损失来反向优化网络模型。由于缺乏目标级别的学习，无法有效提取出目标形状特征，导致分割结果边界模糊、缺乏整体性、随机噪声分布现象明显。同时受制于数据驱动方法的缺陷，往往难以利用目标间丰富的语义信息(如空间关系)和地学先验知识。以上两点严重制约了深度语义分割网络性能的提升，亟需在分割过程中综合考虑目标级别的整体性约束以及目标间的空间语义信息和地学先验知识。
发明内容
本发明主要是解决现有技术在遥感影像语义分割过程中由目标级别学习的缺乏、空间关系和地学先验知识利用不足所导致的分割结果整体性差和精度低等问题，提供了一种综合区域连通和空间共生知识约束的遥感影像深度语义分割方法，可以有效地提高遥感影像语义分割结果的准确性和可靠性。
生物视觉系统之所以能从复杂目标组成的影像中快速准确地完成检测和识别，是因为生物视觉感知从整体出发，以目标而不是像素为处理单元，综合光谱特征、形状特征、空间关系等信息和先验知识进行推理，从而完成识别。目标级建模可以有效减低像素级随机噪声的干扰，有助于构建目标级特征和空间关系知识，这些目标级的信息能够极大增强识别的性能和鲁棒性。目标之间的空间关系是人类感知周围环境时需要借助的重要信息。事实上，不同类别物体的空间分布具有很强的共生关系，例如建筑物往往靠近道路，桥梁一般横跨在水面上等。这些事实说明了空间共生等空间关系知识对于视觉识别系统至关重要。尽管深度学习在图像解译领域取得了巨大的进步，但并未达到生物视觉系统的水平，究其原因，生物视觉系统是在目标级单元的基础上综合运用视觉特征、语义信息和先验知识进行感知的，而深度语义分割网络本质上是大数据驱动的面向像素的分类方法，一方面受制于像素级别尺度，无法完成目标级别的建模，缺乏整体性，另一方面无法跨越结构化数据和非结构化知识之间的鸿沟，难以充分利用空间关系语义信息和地学先验知识。
基于上述分析，为在深度语义分割网络分割过程中实现目标级别的学习以及充分利用目标之间的空间关系和先验知识，本发明提出了一种综合区域连通和空间共生知识约束的遥感影像深度语义分割方法。该方法在深度语义分割网络的损失函数项中加入基于区域连通的目标整体性约束和基于空间共生知识的目标空间分布约束，网络通过优化加入约束的综合损失函数项来调整网络模型，从而学习到目标级特征表示和自主利用空间共生知识引导分割。数据集中人工标注的标签影像包含大量的连通域，这些连通域是地物目标的分割结果。地物目标的空间分布是领域先验知识的体现，空间共生等知识可以从地物目标的空间分布中抽取。基于区域连通的约束和基于空间共生知识的约束均以目标连通域为处理单元，前者计算每一个目标单元而不是像素的损失，以实现对目标整体的约束；后者利用空间共生知识完成邻域内目标对中心目标的打分，再根据分值计算每个目标的损失，从而实现对目标的空间分布的约束。在区域连通约束和空间共生知识约束损失的引导下，深度语义分割网络在训练的过程中自主学习目标级别的特征表示、根据空间共生知识自动优化目标的空间分布，使得最终输出的分割结果更具整体性、边界模糊和随机噪声现象得到抑制，分割精度较大幅度提高，同时目标的空间分布更接近真实地物的空间分布。
本发明所采用的技术方案是：综合区域连通和共生知识约束的遥感影像深度语义分割方法，包括以下步骤：
步骤1，遥感知识图谱构建。所述遥感知识图谱作为语义网络，用于描述地物目标的属性以及目标之间的关系。其中，遥感本体是遥感知识图谱的骨架，标签影像中的地物目标作为本体的实例化对象组成了遥感知识图谱的基本单元。所述遥感本体作为地物目标的本体表达，用于定义地物类及其属性关系。
步骤2，空间共生知识提取。所述空间共生关系是指不同目标在图像局部或全局区域内同时出现的情况。本发明以空间相邻(具有公共边)作为空间共生关系，空间共生知识可由空间关系的统计概率表示，具体做法是在遥感知识图谱中推理得出邻域内不同类别目标出现的条件概率。
步骤3，目标单元构建。所述目标单元是对图像中物体的表达，作为基本的处理单元。从训练样本的每幅标签图像中按类别提取连通域，将获取的连通域视为目标单元，并赋予每个单元类别(真实类别)，从而离线地完成目标构建。
步骤4，基于区域连通约束的损失设计。图像原始数据输入深度语义分割网络，输出分类置信图，在置信图上按通道取最大值对应的序号即得到分割结果。为构建目标整体性约束，基于区域连通约束的损失以步骤3中目标为单元进行损失计算。首先在分类置信图上对每个目标单元区域内所有像素的分类置信度向量按通道计算均值向量，这个向量作为该目标单元的分类置信度向量；然后根据目标的分类置信度向量和真实类别计算损失；最后对所有目标单元的损失求均值，该均值即为基于区域连通约束的损失。
步骤5，基于空间共生知识约束的损失构建。与基于区域连通约束的损失构建一样，基于空间共生知识约束的损失以步骤3中目标为单元进行损失计算。首先确定每个目标单元的分类类别，取步骤4中每个目标单元的分类置信度向量的最大值及其对应的序号分别作为该目标单元的分类置信度和分类类别；其次给对每个目标单元打分，取中心目标单元邻域内的目标单元对中心目标单元打分，中心目标单元的分值向量由邻域内所有目标单元的分类置信度和步骤2中的共生条件概率按类别加权求和而来，该向量代表中心目标单元在当前邻域空间分布下所属各类的分类置信度；最后根据目标单元的基于空间分布的分类置信度向量和真实类别计算损失，取所有目标单元损失项的均值作为基于空间共生知识约束的损失。
步骤6，深度语义分割网络训练。图像原始数据输入深度语义分割网络，输出分类置信度图，根据分类置信度图及其标签影像计算总体损失，通过后向传播算法降低总体损失，从而优化深度语义分割网络。其中总体损失包括基于像素计算的常规损失项、基于区域连通约束的损失项和基于空间共生知识约束的损失项。
步骤7，图像语义分割。利用训练好的深度语义分割网络模型对待分割的原始图像进行分割，即得到语义分割结果。
进一步的，步骤1中遥感知识图谱构建包括以下内容，
所述遥感知识图谱作为语义网络，用于描述地物目标的属性以及目标之间的关系。其中，遥感本体是遥感知识图谱的骨架，标签影像中的地物目标作为本体的实例化对象组成了遥感知识图谱的基本单元。所述遥感本体作为地物目标的本体表达，用于定义地物类及其属性关系。本体地物类分为根类、一级子类和二级子类。地物对象类为根类，其余子类从中衍生。一级子类包括水体类、植被类、地面类、农业用地类、城镇用地类、交通工具类和其他类。二级子类在一级子类的基础上细分为湖泊类、河流类、海洋类、草地类、树木类、裸地类、荒地类、耕地类、牧场类、建筑类、道路类、车辆类、船只类和飞机类。遥感本体的属性关系主要包括从属等层级关系，方位、相邻、环绕等空间关系属性以及多数类等统计属性。本发明以原始影像上超像素分割块对应于标签影像的区域作为本体类的实体。利用超像素(实体)实例化本体类，超像素中具有多数像素的地物类别作为对应实体的本体类类别，即实体的多数类属性。超像素的空间关系属性和统计属性作为实体的属性。
进一步的，步骤2中空间共生知识提取包括以下内容，
所述空间共生关系是指不同目标在图像局部或全局区域内同时出现的情况。本发明以空间相邻(具有公共边)作为空间共生关系，空间共生知识可由空间关系的统计概率表示，具体做法是在遥感知识图谱中推理得出邻域内不同类别实体出现的条件概率。以类别Ci(1≤i≤C)为例，统计遥感知识图谱中出现Ci类实体的概率P(Ci)以及邻域内同时出现类别为Ci和Cj的实体的概率P(Ci,Cj)，再根据下式即可计算出在Ci类实体出现的条件下邻域内出现Cj类实体的概率P(Cj|Ci)。
Figure BDA0002885360340000051
进一步的，步骤3中目标单元构建包括以下内容，
所述目标单元是对图像中物体的表达，作为基本的处理单元。目标单元的分割结果构成一个连通域。训练样本具有C类。从训练样本的每幅标签图像中按类别提取连通域，将获取的连通域视为目标单元Si(1≤i≤N，N表示目标单元的个数)，并赋予每个单元类别Y(真实类别，1≤Y≤C)，从而离线完成目标单元构建。
进一步的，步骤4中设计基于区域连通约束的损失lR，具体实现方式如下，
图像原始数据I输入深度语义分割网络，输出分类置信度图F，在F上按通道取最大值对应的序号即得到分割结果。为构建目标整体性约束，基于区域连通约束的损失以步骤3中目标为单元进行损失计算。首先在分类置信度图F上对Si(1≤i≤N)目标单元区域内所有像素Pi的分类置信度向量D按通道计算均值，得到维数为C的向量，这个向量作为该目标单元的分类置信度向量
Figure BDA0002885360340000052
然后根据目标单元的分类置信度向量
Figure BDA0002885360340000053
和真实类别Yi计算损失；最后对所有目标单元的损失求均值，该均值即为基于区域连通域约束的损失lR。
Figure BDA0002885360340000054
Figure BDA0002885360340000055
进一步的，步骤5中构建基于空间共生知识约束的损失lK，具体实现方式如下，
与基于区域连通约束的损失构建一样，基于空间共生知识约束的损失以步骤3中目标为单元进行损失计算。首先确定每个目标单元的分类类别，取目标单元Si(1≤i≤N)的分类置信度向量
Figure BDA0002885360340000056
将向量
Figure BDA0002885360340000057
中最大值及其对应序号分别作为该目标单元的分类置信度
Figure BDA0002885360340000058
和分类类别k(1≤k≤C)；其次给目标单元Si打分，取中心目标单元Si邻域内的目标单元{Sj|Sj Adjacent to Si}对Si打分(邻域内共Ni个目标单元)，Si的分值由邻域内所有目标单元的分类置信度向量
Figure BDA0002885360340000059
的最大值
Figure BDA00028853603400000510
和步骤2中的共生条件概率P按类别加权求和而来，得到分值向量
Figure BDA00028853603400000511
该向量代表中心目标单元在当前邻域空间分布下所属各类的分类置信度；最后根据目标单元的基于空间分布的分类置信度向量Hi和真实类别Yi计算损失，取所有目标单元损失的均值作为基于空间共生知识约束的损失lK。
Figure BDA00028853603400000512
Figure BDA0002885360340000061
Figure BDA0002885360340000062
其中，1≤i≤N，Ni是指中心节点i的相邻节点个数，q代指类别，1≤q≤C，P(Cq|Ck)表示条件概率。
进一步的，步骤6中训练深度语义分割网络，具体实现方式如下，
图像原始数据I输入深度语义分割网络，输出分类置信度图
Figure BDA0002885360340000063
根据分类置信度图F及其标签影像
Figure BDA0002885360340000064
计算总体损失，通过后向传播算法降低总体损失，从而优化深度语义分割网络。其中总体损失
Figure BDA0002885360340000065
包括基于像素计算的常规损失项lP、基于区域连通约束的损失项lR和基于空间共生知识约束的损失项lK。
F＝φ(I,Wθ)(式7)
lP＝loss(F,Y)(式8)
Figure BDA0002885360340000066
其中，φ(·)为深度语义分割网络的层次化映射函数，代表网络模型。Wθ为深度语义分割网络的参数。C、H和W分别为图像的通道数、高度和宽度。lP指基于像素计算的常规损失项，lR是基于区域连通约束的损失项，lK为基于空间共生知识约束的损失项。α和β为常数，α,β∈{0,1}。当α＝β＝0时，深度语义分割网络进行无约束的常规训练；当α＝1,β＝0时，深度语义分割网络进行基于区域连通域约束的训练；当α＝0,β＝1时，深度语义分割网络进行基于空间共生约束的训练；当α＝β＝1时，网络进行综合区域连通约束和空间共生约束的训练。
进一步的，步骤7中图像语义分割，具体实现方式如下，
使用训练好的深度语义分割网络模型φ(·)对原始图像I进行分割，即得到语义分割结果。
本发明具有以下优点：现有深度语义分割网络训练过程基本采用常规的基于像素计算的损失函数，无法完成对目标整体性学习，同时受制于结构化数据驱动的缺陷，难以充分利用空间关系等非结构化的语义信息和先验知识。针对以上问题，本发明创新性地提出了综合区域连通和空间共生知识约束的遥感影像深度语义分割方法。前者计算每一个目标单元而不是像素的损失，实现对目标整体的约束；后者通过共生条件概率将空间共生知识量化，成功地将非结构化的知识嵌入到数据驱动的深度语义分割网络中，具体实现上利用空间共生知识完成邻域内目标对中心目标的打分，再根据分值计算每个目标的损失，从而实现对目标的空间分布的约束。基于区域连通的约束损失引导深度语义分割网络在训练的过程中自主学习目标级别的特征表示，使得网络输出的分割结果更具整体性、边界模糊和随机噪声现象得到抑制。基于空间共生知识约束的损失根据空间先验知识调整目标的空间分布，从而实现对目标的空间分布的自动优化。在综合区域连通和空间共生知识约束损失的引导下，可以有效地改善深度语义分割网络的分割精度和分割结果。
附图说明
图1：为本发明实施例的总体流程图。
图2：为本发明实施例的遥感本体层级图。
图3：为本发明实施例的图像语义分割结果示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
步骤1，遥感知识图谱构建。所述遥感知识图谱作为语义网络(这里的“语义网络”是指地物目标及其之间的语义关系所形成的网络)，用于描述地物目标的属性以及目标之间的关系。其中，遥感本体是遥感知识图谱的骨架，标签影像中的地物目标作为本体的实例化对象组成了遥感知识图谱的基本单元。所述遥感本体作为地物目标的本体表达，用于定义地物类及其属性关系。使用网络本体语言(Web Ontology Language，OWL)符号化描述遥感本体。遥感本体地物类分为根类、一级子类和二级子类。地物对象类(rs:GeoObject)为根类，其余子类从中衍生。一级子类包括水体类(rs:Water)、植被类(rs:Vegetation)、地面类(rs:Ground)、农业用地类(rs:Agriculturaland)、城镇用地类(rs:Urbanland)、交通工具类(rs:Vehicle)和其他类(rs:Unknown)。二级子类在一级子类的基础上细分为湖泊类(rs:Lake)、河流类(rs:River)、海洋类(rs:Sea)、草地类(rs:Grass)、树木类(rs:Tree)、裸地类(rs:Bareland)、荒地类(rs:Wasteland)、耕地类(rs:Farmland)、牧场类(rs:Rangeland)、建筑类(rs:Building)、道路类(rs:Pavement)、车辆类(rs:Car)、船只类(rs:Ship)和飞机类(rs:Airplane)。遥感本体的属性关系主要包括从属等层级关系(geo:isA)，方位(geo:directionOf)、相邻(geo:adjacentTo)、环绕(geo:surround)等空间关系属性以及多数类(geo:voteClass)等统计属性。本发明以原始影像上超像素分割块对应于标签影像的区域作为本体类的实体。利用超像素(实体)实例化本体类，超像素中具有多数像素的地物类别作为对应实体的本体类类别，即实体的多数类属性。超像素的空间关系属性和统计属性作为实体的属性。超像素块由简单线性迭代聚类(Simple Linear Iterative Cluster，SLIC)超像素分割方法分割得到，SLIC超像素分割方法基于颜色和距离相似性进行分割，可以分割出大小基本一致、形状趋于规则的超像素。
步骤2，空间共生知识提取。所述空间共生关系是指不同目标在图像局部或全局区域内同时出现的情况。本发明以空间相邻(具有公共边)作为空间共生关系，空间共生知识可由空间关系的统计概率表示，具体做法是在遥感知识图谱中推理得出邻域内不同类别实体出现的条件概率。本发明以公开的UCM遥感地物分类数据集为例，数据集中包含8类(C＝8)地物类，分别为植被(rs:Vegetation)、建筑(rs:Building)、道路(rs:Pavement)、裸地(rs:Bareland)、水体(rs:Water)、车辆(rs:Car))、船(rs:Ship)和飞机(rs:Airplane)，令C1代表植被类，依此类推。以类别Cbuilding(C2)建筑类为例，首先遥感知识图谱中出现建筑类的实体的概率P(Cbuilding)以及邻域内同时出现类别为建筑类和Cpavement(C3)道路类实体的概率P(Cbuilding,Cpavement)，再根据下式即可计算出在建筑类实体出现的条件下邻域内出现道路类实体的概率P(Cpavement|Cbuilding)；最后得到空间共生条件概率P(Ci,Cj),1≤i,j≤C如表1。
Figure BDA0002885360340000081
表1空间共生条件概率
Figure BDA0002885360340000082
步骤3，目标单元构建。所述目标单元是对图像中物体的表达，作为基本的处理单元。目标单元的分割结果构成一个连通域。训练样本具有C类。从训练样本的每幅标签图像中按类别提取连通域，将获取的连通域视为目标单元Si(1≤i≤N)，并赋予每个目标单元类别Y(真实类别，1≤Y≤C)，从而离线完成目标单元构建。
步骤4，基于区域连通约束的损失设计。图像原始数据I输入深度语义分割网络，输出分类置信度图F，在F上按通道取最大值对应的序号即得到分割结果。为构建目标整体性约束，基于区域连通约束的损失以步骤3中目标为单元进行损失计算。首先在分类置信度图F上对Si(1≤i≤N)目标单元区域内所有像素Pi的分类置信度向量D按通道计算均值，得到维数为C的向量，这个向量作为该目标单元的分类置信度向量
Figure BDA0002885360340000091
然后根据目标单元的分类置信度向量
Figure BDA0002885360340000092
和真实类别Yi计算损失；最后对所有目标单元的损失求均值，该均值即为基于区域连通域约束的损失lR。
Figure BDA0002885360340000093
Figure BDA0002885360340000094
步骤5，基于空间共生知识约束的损失构建。与基于区域连通约束的损失构建一样，基于空间共生知识约束的损失以步骤3中目标为单元进行损失计算。首先确定每个目标单元的分类类别，取目标单元Si(1≤i≤N)的分类置信度向量
Figure BDA0002885360340000095
将向量
Figure BDA0002885360340000096
中最大值及其对应序号分别作为该目标单元的分类置信度
Figure BDA0002885360340000097
和分类类别k(1≤k≤C)；其次给目标单元Si打分，取中心目标单元Si邻域内的目标单元{Sj|Sj Adjacent to Si}对Si打分(邻域内共Ni个目标单元)，Si的分值由邻域内所有目标单元的分类置信度向量
Figure BDA0002885360340000098
的最大值
Figure BDA0002885360340000099
和步骤2中的共生条件概率P按类别加权求和而来，得到分值向量
Figure BDA00028853603400000910
该向量代表中心目标单元在当前邻域空间分布下所属各类的分类置信度；最后根据目标单元的基于空间分布的分类置信度向量Hi和真实类别Yi计算损失，取所有目标单元损失的均值作为基于空间共生知识约束的损失lK。
Figure BDA00028853603400000911
Figure BDA00028853603400000912
Figure BDA00028853603400000913
其中，1≤i≤N，Ni是指中心节点i的相邻节点个数，q代指类别，1≤q≤C，P(Cq|Ck)表示条件概率。
步骤6，深度语义分割网络训练。图像原始数据I输入深度语义分割网络，输出分类置信度图
Figure BDA00028853603400000914
根据分类置信度图F及其标签影像
Figure BDA00028853603400000915
计算损失，通过后向传播算法降低损失，从而优化深度语义分割网络。其中总体损失
Figure BDA00028853603400000916
包括基于像素计算的常规损失项lP、基于区域连通约束的损失项lR和基于空间共生知识约束的损失项lK。本发明以深度语义分割网络U-Net为例进行阐述，U-Net是一个经典的编解码结构的图像语义分割网络，其中编码器由卷积层、最大池化层和激活层组合，解码器由卷积层、反卷积层以及激活层组成。交叉熵(Cross Entropy)和随机梯度下降法(Stochastic Gradient Descent，SGD)分别作为深度语义分割网络的损失函数loss(·)和优化器。
F＝φ(I,Wθ) (式7)
lP＝loss(F,Y) (式8)
Figure BDA0002885360340000101
其中，φ(·)为深度语义分割网络的层次化映射函数，代表网络模型。Wθ为深度语义分割网络的参数。C、H和W分别为图像的通道数、高度和宽度。lP指基于像素计算的常规损失项，lR是基于区域连通约束的损失项，lK为基于空间共生知识约束的损失项。α和β为常数，α,β∈{0,1}。当α＝β＝0时，深度语义分割网络进行无约束的常规训练；当α＝1,β＝0时，深度语义分割网络进行基于区域连通域约束的训练；当α＝0,β＝1时，深度语义分割网络进行基于空间共生约束的训练；当α＝β＝1时，网络进行综合区域连通约束和空间共生约束的训练。
步骤7，图像语义分割。使用训练好的深度语义分割网络模型φ(·)对原始图像I进行分割，即得到语义分割结果。各方法分割精度对比如表2。
表2.各方法分割精度对比
Figure BDA0002885360340000102
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种综合区域连通和共生知识约束的遥感影像深度语义分割方法，其特征在于，包括以下步骤：
步骤1，遥感知识图谱构建；所述遥感知识图谱作为语义网络，用于描述地物目标的属性以及目标之间的关系，其中，遥感本体是遥感知识图谱的骨架，标签影像中的地物目标作为本体的实例化对象组成了遥感知识图谱的基本单元，所述遥感本体作为地物目标的本体表达，用于定义地物类及其属性关系；
步骤2，空间共生知识提取；所述空间共生关系是指不同目标在图像局部或全局区域内同时出现的情况，以空间相邻作为空间共生关系，空间共生知识由空间关系的统计概率表示，具体做法是在遥感知识图谱中推理得出邻域内不同类别目标出现的条件概率；
步骤3，目标单元构建；所述目标单元是对图像中物体的表达，作为基本的处理单元，从训练样本的每幅标签图像中按类别提取连通域，将获取的连通域视为目标单元，并赋予每个单元类别，从而离线地完成目标单元构建；
步骤4，基于区域连通约束的损失设计；图像原始数据输入深度语义分割网络，输出分类置信图，在置信图上按通道取最大值对应的序号即得到分割结果；为构建目标整体性约束，基于区域连通约束的损失以步骤3中目标为单元进行损失计算，首先在分类置信图上对每个目标单元区域内所有像素的分类置信度向量按通道计算均值向量，这个向量作为该目标单元的分类置信度向量；然后根据目标单元的分类置信度向量和真实类别计算损失；最后对所有目标单元的损失求均值，该均值即为基于区域连通约束的损失；
步骤5，基于空间共生知识约束的损失构建；与基于区域连通约束的损失构建一样，基于空间共生知识约束的损失以步骤3中目标为单元进行损失计算；首先确定每个目标单元的分类类别，取步骤4中每个目标单元的分类置信度向量的最大值及其对应的序号分别作为该目标单元的分类置信度和分类类别；其次给对每个目标单元打分，取中心目标单元邻域内的目标单元对中心目标单元打分，中心目标单元的分值向量由邻域内所有目标单元的分类置信度和步骤2中的共生条件概率按类别加权求和而来，该向量代表中心目标单元在当前邻域空间分布下所属各类的分类置信度；最后根据目标单元的基于空间分布的分类置信度向量和真实类别计算损失，取所有目标单元损失项的均值作为基于空间共生知识约束的损失；
步骤6，深度语义分割网络训练；图像原始数据输入深度语义分割网络，输出分类置信度图，根据分类置信度图及其标签影像计算总体损失，通过后向传播算法降低总体损失，从而优化深度语义分割网络；其中总体损失包括基于像素计算的常规损失项、基于区域连通约束的损失项和基于空间共生知识约束的损失项；
步骤7，图像语义分割；利用训练好的深度语义分割网络对待分割的原始图像进行分割，即得到语义分割结果。
2.根据权利要求1所述的一种综合区域连通和共生知识约束的遥感影像深度语义分割方法，其特征在于：步骤1遥感本体的具体内容包括，
所述遥感本体作为地物目标的本体表达，用于定义地物类及其属性关系；本体地物类分为根类、一级子类和二级子类；地物对象类为根类，其余子类从中衍生；一级子类包括水体类、植被类、地面类、农业用地类、城镇用地类、交通工具类和其他类；二级子类在一级子类的基础上细分为湖泊类、河流类、海洋类、草地类、树木类、裸地类、荒地类、耕地类、牧场类、建筑类、道路类、车辆类、船只类和飞机类；遥感本体的属性关系包括从属层级关系，方位、相邻、环绕空间关系属性以及多数类统计属性；以原始影像上超像素分割块对应于标签影像的区域作为本体类的实体，利用超像素实例化本体类，超像素中具有多数像素的地物类别作为对应实体的本体类类别，即实体的多数类属性；超像素的空间关系属性和统计属性作为实体的属性。
3.根据权利要求1所述的一种综合区域连通和共生知识约束的遥感影像深度语义分割方法，其特征在于：步骤2中在遥感知识图谱中推理得出邻域内不同类别目标出现的条件概率，具体实现方式如下，
以类别Ci为例，1≤i≤C，统计遥感知识图谱中出现Ci类实体的概率P(Ci)以及邻域内同时出现类别为Ci和Cj的实体的概率P(Ci,Cj)，再根据下式即可计算出在Ci类实体出现的条件下邻域内出现Cj类实体的概率P(Cj|Ci)
Figure FDA0002885360330000021
4.根据权利要求1所述的一种综合区域连通和共生知识约束的遥感影像深度语义分割方法，其特征在于：步骤4中设计基于区域连通约束的损失lR，具体实现方式如下，
图像原始数据I输入深度语义分割网络，输出分类置信度图F，在F上按通道取最大值对应的序号即得到分割结果；为构建目标整体性约束，基于区域连通约束的损失以步骤3中目标为单元进行损失计算；首先在分类置信度图F上对Si目标单元区域内所有像素Pi的分类置信度向量D按通道计算均值，得到维数为C的向量，这个向量作为该目标单元的分类置信度向量
Figure FDA0002885360330000031
然后根据目标单元的分类置信度向量
Figure FDA0002885360330000032
和真实类别Yi计算损失；最后对所有目标单元的损失求均值，该均值即为基于区域连通域约束的损失lR；
Figure FDA0002885360330000033
Figure FDA0002885360330000034
其中，1≤i≤N，N表示目标单元的个数。
5.根据权利要求1所述的一种综合区域连通和共生知识约束的遥感影像深度语义分割方法，其特征在于：步骤5中构建基于空间共生知识约束的损失lK，具体实现方式如下，
与基于区域连通约束的损失构建一样，基于空间共生知识约束的损失以步骤3中目标为单元进行损失计算；首先确定每个目标单元的分类类别，取目标单元Si的分类置信度向量
Figure FDA0002885360330000035
将向量
Figure FDA0002885360330000036
中最大值及其对应序号分别作为该目标单元的分类置信度
Figure FDA0002885360330000037
和分类类别k，1≤k≤C；其次给目标单元Si打分，取中心目标单元Si邻域内的目标单元{Sj|Sj Adjacent toSi}对Si打分，邻域内共Ni个目标单元，Si的分值由邻域内所有目标单元的分类置信度向量
Figure FDA0002885360330000038
的最大值
Figure FDA0002885360330000039
和步骤2中的共生条件概率P按类别加权求和而来，得到分值向量
Figure FDA00028853603300000310
该向量代表中心目标单元在当前邻域空间分布下所属各类的分类置信度；最后根据目标单元的基于空间分布的分类置信度向量Hi和真实类别Yi计算损失，取所有目标单元损失的均值作为基于空间共生知识约束的损失lK；
Figure FDA00028853603300000311
Figure FDA00028853603300000312
Figure FDA00028853603300000313
其中，1≤i≤N，Ni是指中心节点i的相邻节点个数，q代指类别，1≤q≤C，P(Cq|Ck)表示条件概率。
6.根据权利要求1所述的一种综合区域连通和共生知识约束的遥感影像深度语义分割方法，其特征在于：步骤6中训练深度语义分割网络，具体实现方式如下，
图像原始数据I输入深度语义分割网络，输出分类置信度图
Figure FDA00028853603300000314
根据分类置信度图F及其标签影像
Figure FDA00028853603300000315
计算总体损失，通过后向传播算法降低总体损失，从而优化深度语义分割网络；其中总体损失
Figure FDA0002885360330000041
包括基于像素计算的常规损失项lP、基于区域连通约束的损失项lR和基于空间共生知识约束的损失项lK；
F＝φ(I,Wθ) (式7)
lP＝loss(F,Y) (式8)
Figure FDA0002885360330000042
其中，φ(·)为深度语义分割网络的层次化映射函数，代表网络模型；Wθ为深度语义分割网络的参数，C、H和W分别为图像的通道数、高度和宽度；lP指基于像素计算的常规损失项，lR是基于区域连通约束的损失项，lK为基于空间共生知识约束的损失项；α和β为常数，α,β∈{0,1}；当α＝β＝0时，深度语义分割网络进行无约束的常规训练；当α＝1,β＝0时，深度语义分割网络进行基于区域连通域约束的训练；当α＝0,β＝1时，深度语义分割网络进行基于空间共生约束的训练；当α＝β＝1时，网络进行综合区域连通约束和空间共生约束的训练。
CN202110011549.0A 2021-01-06 2021-01-06 综合区域连通和共生知识约束的遥感影像深度语义分割方法 Active CN112767413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110011549.0A CN112767413B (zh) 2021-01-06 2021-01-06 综合区域连通和共生知识约束的遥感影像深度语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110011549.0A CN112767413B (zh) 2021-01-06 2021-01-06 综合区域连通和共生知识约束的遥感影像深度语义分割方法

Publications (2)

Publication Number Publication Date
CN112767413A true CN112767413A (zh) 2021-05-07
CN112767413B CN112767413B (zh) 2022-03-15

Family

ID=75699881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110011549.0A Active CN112767413B (zh) 2021-01-06 2021-01-06 综合区域连通和共生知识约束的遥感影像深度语义分割方法

Country Status (1)

Country Link
CN (1) CN112767413B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538429A (zh) * 2021-09-16 2021-10-22 海门市创睿机械有限公司 基于图像处理的机械零件表面缺陷检测方法
CN114399513A (zh) * 2021-12-10 2022-04-26 北京百度网讯科技有限公司 用于训练图像分割模型和图像分割的方法、装置
TWI823819B (zh) * 2023-05-15 2023-11-21 先進車系統股份有限公司 行車輔助系統及行車輔助運算方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018101336A4 (en) * 2018-09-12 2018-10-11 Hu, Yuan Miss Building extraction application based on machine learning in Urban-Suburban-Integration Area
CN111047551A (zh) * 2019-11-06 2020-04-21 北京科技大学 一种基于U-net改进算法的遥感影像变化检测方法及系统
US20200193603A1 (en) * 2017-01-27 2020-06-18 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN111428762A (zh) * 2020-03-12 2020-07-17 武汉大学 联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法
CN111797703A (zh) * 2020-06-11 2020-10-20 武汉大学 基于鲁棒深度语义分割网络的多源遥感影像分类方法
CN112132006A (zh) * 2020-09-21 2020-12-25 西南交通大学 一种面向耕地保护的林地和建筑物智能提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200193603A1 (en) * 2017-01-27 2020-06-18 Arterys Inc. Automated segmentation utilizing fully convolutional networks
AU2018101336A4 (en) * 2018-09-12 2018-10-11 Hu, Yuan Miss Building extraction application based on machine learning in Urban-Suburban-Integration Area
CN111047551A (zh) * 2019-11-06 2020-04-21 北京科技大学 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN111428762A (zh) * 2020-03-12 2020-07-17 武汉大学 联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法
CN111797703A (zh) * 2020-06-11 2020-10-20 武汉大学 基于鲁棒深度语义分割网络的多源遥感影像分类方法
CN112132006A (zh) * 2020-09-21 2020-12-25 西南交通大学 一种面向耕地保护的林地和建筑物智能提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SONG OUYANG 等: "Combining Deep Semantic Segmentation Network and Graph Convolutional Neural Network for Semantic Segmentation of Remote Sensing Imagery", 《REMOTE SENSING》 *
苏健民 等: "基于U-Net的高分辨率遥感图像语义分割方法", 《计算机工程与应用》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538429A (zh) * 2021-09-16 2021-10-22 海门市创睿机械有限公司 基于图像处理的机械零件表面缺陷检测方法
CN113538429B (zh) * 2021-09-16 2021-11-26 海门市创睿机械有限公司 基于图像处理的机械零件表面缺陷检测方法
CN114399513A (zh) * 2021-12-10 2022-04-26 北京百度网讯科技有限公司 用于训练图像分割模型和图像分割的方法、装置
CN115984309A (zh) * 2021-12-10 2023-04-18 北京百度网讯科技有限公司 用于训练图像分割模型和图像分割的方法、装置
CN115984309B (zh) * 2021-12-10 2024-03-15 北京百度网讯科技有限公司 用于训练图像分割模型和图像分割的方法、装置
TWI823819B (zh) * 2023-05-15 2023-11-21 先進車系統股份有限公司 行車輔助系統及行車輔助運算方法

Also Published As

Publication number Publication date
CN112767413B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN112767413B (zh) 综合区域连通和共生知识约束的遥感影像深度语义分割方法
CN109145939B (zh) 一种小目标敏感的双通道卷积神经网络语义分割方法
Wang et al. Scene classification of high-resolution remotely sensed image based on ResNet
CN111428762B (zh) 联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法
CN106909902B (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN105787501B (zh) 输电线路走廊区域自动选择特征的植被分类方法
CN109409240A (zh) 一种结合随机游走的SegNet遥感图像语义分割方法
CN105930868A (zh) 一种基于层次化增强学习的低分辨率机场目标检测方法
CN109558806A (zh) 高分遥感图像变化的检测方法和系统
CN109034066B (zh) 基于多特征融合的建筑物识别方法
CN106651865B (zh) 一种新的高分辨率遥感影像的最优分割尺度自动选择方法
CN105894490A (zh) 基于模糊积分多分类器融合的宫颈细胞图像识别方法及装置
CN106611422B (zh) 基于素描结构的随机梯度贝叶斯sar图像分割方法
CN105931241A (zh) 一种自然场景图像的自动标注方法
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN110675421B (zh) 基于少量标注框的深度图像协同分割方法
CN105389821B (zh) 一种基于云模型和图割相结合的医学图像分割方法
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN110399840A (zh) 一种快速的草坪语义分割及边界检测方法
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
Zhu et al. Change detection based on the combination of improved SegNet neural network and morphology
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及系统
Wang et al. Improved minimum spanning tree based image segmentation with guided matting
CN105512670A (zh) 基于keca特征降维和聚类的hrct周围神经分割
CN107480693A (zh) 条件随机场框架嵌入配准信息的弱监督图像场景理解方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant