CN113553949A - 一种基于摄影测量数据的尾矿库语义分割方法 - Google Patents

一种基于摄影测量数据的尾矿库语义分割方法 Download PDF

Info

Publication number
CN113553949A
CN113553949A CN202110835831.0A CN202110835831A CN113553949A CN 113553949 A CN113553949 A CN 113553949A CN 202110835831 A CN202110835831 A CN 202110835831A CN 113553949 A CN113553949 A CN 113553949A
Authority
CN
China
Prior art keywords
data
semantic segmentation
channel
point
pond
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110835831.0A
Other languages
English (en)
Inventor
廖文景
朱远乐
谢长江
蒋瑛
卿自强
张胜光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Mingsheng Safety Technology Co ltd
Changsha Institute of Mining Research Co Ltd
Original Assignee
Hunan Mingsheng Safety Technology Co ltd
Changsha Institute of Mining Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Mingsheng Safety Technology Co ltd, Changsha Institute of Mining Research Co Ltd filed Critical Hunan Mingsheng Safety Technology Co ltd
Priority to CN202110835831.0A priority Critical patent/CN113553949A/zh
Publication of CN113553949A publication Critical patent/CN113553949A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于摄影测量数据的尾矿库语义分割方法，包括采集历史尾矿库数据，包括测区的多视角照片和空间位置数据；对采集到的历史尾矿库数据进行数据重建，生成三维点云数据、数字正射影像数据和数字高程数据；对生成的三维点云数据进行随机下采样，生成倾斜摄影测量点云数据集；生成尾矿库语义分割模型；对采集的待分析尾矿库摄影测量数据进行实时语义分割，实时生成带尾矿库语义分割结果的摄影测量图像。本发明结合倾斜摄影测量生产的点云数据和DOM数据，基于深度学习模型对尾矿库进行语义分割，能够准确高效地对尾矿库土地类型进行分割，方法简单，成本低。

Description

一种基于摄影测量数据的尾矿库语义分割方法
技术领域
本发明属于图像数据处理领域，具体涉及一种基于摄影测量数据的尾矿库语义分割方法。
背景技术
尾矿库是用以堆存金属或非金属矿山进行矿石选别后排出的尾矿或其他工业废渣的场所，是矿山企业必不可少的基础设施及环境保护工程。尾矿库具有的高势能使得矿山作业现场存在人造泥石流的潜在危险。一旦失事，极易造成溃坝并引发重特大安全事故。
尾矿库地物信息(例如初期坝、堆积坝、水面、干滩等)的语义分割是对尾矿库现状进行分析的重要基础，尾矿库地物信息的语义分割是测量干滩长度等指标的重要支撑。传统的尾矿库现状分析方法通常依靠人工，通过人工现场排查或者人工使用测量工具获取尾矿库的几何信息；但是，人工作业模式效率低、数据完整性不强。
发明内容
本发明的目的在于提供一种基于摄影测量数据的尾矿库语义分割方法，该方法能够快速地对尾矿库进行语义分割。
本发明提供的这种基于摄影测量数据的尾矿库语义分割方法，包括如下步骤：
S1.采集历史尾矿库数据，包括测区的多视角照片和空间位置数据；
S2.对采集到的历史尾矿库数据进行数据重建，生成三维点云数据、数字正射影像数据和数字高程数据；
S3.对生成的三维点云数据进行随机下采样，生成倾斜摄影测量点云数据集；
S4.生成尾矿库语义分割模型；
S5.对采集的待分析尾矿库摄影测量数据进行实时语义分割，实时生成带尾矿库语义分割结果的摄影测量图像。
所述的步骤S1，历史尾矿库数据包括尾矿库初期坝数据、堆积坝数据、水面数据和干滩数据；具体为采用航测多旋翼无人机进行数据采集，航测多旋翼无人机包括智能避障模块、高精度三轴云台和集成RTK模块；RTK模块能够为无人机提供实时厘米级定位数据，同时设计无人机的飞行航线和相机工作模式参数。
所述的步骤S2，具体为采用影像处理软件，生成三维点云数据、数字正射影像数据和数字高程数据。
所述的步骤S3，具体为生成倾斜摄影测量点云数据集Data＝{Xi}，其中，倾斜摄影测量点云数据集中的第i个采样点表示为Xi＝{xi,yi,zi,ri,gi,bi}；其中，xi表示点的经度，yi表示点的纬度，zi表示点的高度，ri表示RGB红色，gi表示RGB绿色，bi表示RGB蓝色；i＝1,2,…,N，N为采样点个数。
所述的步骤S4中，尾矿库语义分割模型的生成方法具体采用有监督深度学习方法得到，同时采用的模型引入注意力机制的动态图卷积神经网络，有监督深度学习方法包括如下步骤：
A1.选取一个尾矿库语义分割场景，获取步骤S1-S3得到的下采样之后的倾斜摄影测量点云数据集、数字正射影像数据和数字高程数据；
A2.在数字正射影像数据上通过经验将初期坝、堆积坝、水面和干滩进行手工分割，为每个像素标识类别；
A3.根据三维点和数字正射影像像素点的关系，为步骤A1得到的倾斜摄影测量点云数据集中的每个点Xi找到在数字正射影像数据的对应像素点，将对应像素点的类别标签Yi作为Xi的标签，最后将Xi和Yi合并，生成初始训练数据集；
A4.选择若干个尾矿库语义分割场景，重复步骤A1-A3，获得多场景的训练数据集；
A5.构建基于深度学习的尾矿库语义分割模型；尾矿库语义分割模型包括动态图卷积神经网络模块和通道注意力模块；其中，动态图卷积神经网络模块用于对点云中邻域样本点的关系进行建模；通道注意力模块用于对若干个通道间的特征聚合关系进行建模；
A6.选择神经网络训练平台，设置目标优化函数和优化方法，设置尾矿库语义分割模型中的迭代次数、学习率、训练误差和批训练数目训练参数，采用步骤A4中的多场景的训练数据集进行测试。
所述的步骤A5，具体构建基于深度学习的尾矿库语义分割模型的方法如下：基于深度学习的尾矿库语义分割模型，包括1个输入层、2个边卷积层、3个多层感知器和1个输出层，在边卷积层和多层感知器层之间引入通道注意力模块；其中，边卷积层用于提取和融合每个点的独立特征和该点的局域特征；多层感知器用来对边卷积获得的特征信息进行特征融合和特征降维，最后接输出层输出四类别的one-hot编码。
所述的边卷积层具体为网络的每一层构造具有顶点和边的局部有向图结构，设为二元组Gl＝(Vl,El)；其中，Vl为第l层点云顶点；El为第l层点云边；对任意中心顶点
Figure BDA0003177256960000031
通过基于点向欧几里得距离的KNN算法获取最近邻域点集{xi1,xi2,…,xiK}，并建立中心顶点xi与领域xj之间边特征
Figure BDA0003177256960000032
的联系；顶点的特征融合了上一层网络的顶点特征和当前层网络动态更新的邻域特征，并随着网络深度不断迭代更新；
在计算领域动态特征时，边卷积层定义边缘特征为：
Figure BDA0003177256960000033
其中，hΘ表示使用可学习参数Θ构成的非线性函数；xi为中心顶点；xj为领域；边卷积模块通过通道注意力模块提取动态特征。
所述的通道注意力模块，具体为将边卷积层提取的局部空间信息压缩成一个通道描述器，对多个通道间的特征聚合关系进行建模，计算每个通道特征聚合时的权重，最后加权聚合每个通道表示来获得局部通道结构信息；通道注意力模块主要包括全局信息嵌入和权重自适应调整两个步骤：
B1.全局信息嵌入将每个通道的全局空间信息压缩为一个通道描述符，作为该通道重要性的一个统计量；对于特征矩阵
Figure BDA0003177256960000034
其中，K为特征的维数，C为特征通道的数目，分别从第c个通道的K维空间计算各个通道的通道统计量Zc：
Figure BDA0003177256960000035
其中，k为特征维度的序号；
Figure BDA0003177256960000036
表示第c个通道第k个维度的特征；
B2.权重自适应调整具体为，通道特征聚合时的权重，自适应步骤基于全局信息嵌入得到的统计量来建立通道的依赖关系；通过门控机制和激活函数，并设计两层全连接层来计算第c个通道的依赖关系sc：
sc＝σ(W2g(W1Zc))
其中，c∈{1,2,...,C}；g(·)选用ReLU函数作为激活函数；σ(·)选用sigmoid函数作为激活函数；W1为升维全连接参数；W2为降维全连接层参数。
所述的步骤S4，具体为根据尾矿库语义分割模型，输出长度为N＝3的独热编码W；语义分割模型有4个输出节点，每个节点有0和1两种状态；对于倾斜摄影测量点云数据集中的第i个采样点Xi＝{xi,yi,zi,ri,gi,bi}；其中，xi表示点的经度，yi表示点的纬度，zi表示点的高度，ri表示RGB红色，gi表示RGB绿色，bi表示RGB蓝色；i＝1,2,…,N，N为采样点个数；4个输出节点中有且仅有一个输出节点的输出状态为1，剩余3个输出节点的输出状态为0。
所述的步骤S5，语义分割结果包括关于初期坝、堆积坝、水面和干滩的语义分割结果。
本发明提供的这种基于摄影测量数据的尾矿库语义分割方法，结合倾斜摄影测量生产的点云数据和DOM数据，基于深度学习模型对尾矿库进行语义分割，能够准确高效地对尾矿库土地类型进行分割，方法简单，成本低，数据完整性高。
附图说明
图1为本发明系统的结构示意图。
图2为本发明实施例的基于深度学习的尾矿库语义分割模型示意图。
图3为本发明实施例中第一个边卷积模块示意图。
具体实施方式
如图1为本发明方法的流程示意图：本发明提供的这种基于摄影测量数据的尾矿库语义分割方法，包括如下步骤：
S1.采集历史尾矿库数据，包括测区的多视角照片和空间位置数据；
S2.对采集到的历史尾矿库数据进行数据重建，生成三维点云数据、数字正射影像数据(DOM)和数字高程数据(DSM)；
S3.对生成的三维点云数据进行随机下采样，生成倾斜摄影测量点云数据集；
S4.生成尾矿库语义分割模型；
S5.对采集的待分析尾矿库摄影测量数据进行实时语义分割，实时生成带尾矿库语义分割结果的摄影测量图像。
所述的步骤S1，历史尾矿库数据包括尾矿库初期坝数据、堆积坝数据、水面数据和干滩数据；在实施例中具体为根据尾矿库观测需求，采用航测多旋翼无人机采集数据，航测多旋翼无人机包括智能避障模块、高精度三轴云台和集成RTK模块；RTK模块能够为无人机提供实时厘米级定位数据，同时设计无人机的飞行航线和相机工作模式参数。
所述的步骤S2，具体为采用影像处理软件，生成三维点云数据、数字正射影像数据(DOM)和数字高程数据(DSM)。
所述的步骤S3，具体为生成倾斜摄影测量点云数据集Data＝{Xi}，其中，倾斜摄影测量点云数据集中的第i个采样点表示为Xi＝{xi,yi,zi,ri,gi,bi}；其中，xi表示点的经度，yi表示点的纬度，zi表示点的高度，ri表示RGB红色，gi表示RGB绿色，bi表示RGB蓝色；i＝1,2,…,N，N为采样点个数。
所述的步骤S4中，尾矿库语义分割模型的生成方法具体采用有监督深度学习方法得到，同时采用的模型引入注意力机制的动态图卷积神经网络(DGCNN)，有监督深度学习方法包括如下步骤：
A1.选取一个尾矿库语义分割场景，获取步骤S1-S3得到的下采样之后的倾斜摄影测量点云数据集、数字正射影像数据和数字高程数据；
A2.在数字正射影像数据上通过经验将初期坝、堆积坝、水面和干滩进行手工分割，为每个像素标识类别；
A3.根据三维点和数字正射影像像素点的关系，为步骤A1得到的倾斜摄影测量点云数据集中的每个点Xi找到在数字正射影像数据的对应像素点，将对应像素点的类别标签Yi作为Xi的标签，最后将Xi和Yi合并，生成初始训练数据集；
A4.选择多个尾矿库语义分割场景，重复步骤A1-A3，获得多场景的训练数据集；
A5.构建基于深度学习的尾矿库语义分割模型；尾矿库语义分割模型包括动态图卷积神经网络模块和通道注意力模块；其中，动态图卷积神经网络模块用于对点云中领域样本点的关系进行建模；通道注意力模块用于对若干个通道间的特征聚合关系进行建模；
A6.在本实施例中选择Pyotrch为神经网络训练平台，设置目标优化函数和优化方法；目标优化函数包括交叉熵函数；优化方法包括Adam方法，设置尾矿库语义分割模型中的迭代次数、学习率、训练误差和批训练数目等训练参数，采用步骤A4中的多场景的训练数据集进行测试。
所述的步骤S4，具体为根据尾矿库语义分割模型，输出长度为N＝3的独热编码W(在本实施例中，0001表示初期坝，0010表示堆积坝，0100表示水面，1000表示干滩)；语义分割模型有4个输出节点，每个节点有0和1两种状态；对于倾斜摄影测量点云数据集中的第i个采样点Xi＝{xi,yi,zi,ri,gi,bi}；其中，xi表示点的经度，yi表示点的纬度，zi表示点的高度，ri表示RGB红色，gi表示RGB绿色，bi表示RGB蓝色；i＝1,2,…,N，N为采样点个数；4个输出节点中有且仅有一个输出节点的输出状态为1，剩余3个输出节点的输出状态为0。
所述的步骤S5，尾矿库语义分割结果包括关于初期坝、堆积坝、水面和干滩的语义分割结果。
在本实施例中，如图2为本发明实施例的基于深度学习的尾矿库语义分割模型示意图：
输入：倾斜摄影测量生成点云第i个采样点Xi＝{xi,yi,zi,ri,gi,bi}；其中，xi表示点的经度，yi表示点的纬度，zi表示点的高度，ri表示RGB红色，gi表示RGB绿色，bi表示RGB蓝色；i＝1,2,…,N，N为采样点个数。
输出：初期坝、堆积坝、水面和干滩四个类别的one-hot编码0001，0010，0100,1000。
基于深度学习的尾矿库语义分割模型，包括1个输入层、2个边卷积层(EdgeConv)、3个多层感知器和1个输出层，2个边卷积层采用相同的结构，在边卷积层和多层感知器层之间引入通道注意力模块(Channel Attension Pooling)；其中，边卷积层提取、融合每个点的独立特征和该点的局域特征；多层感知器用来对边卷积获得的特征信息进行特征融合和特征降维，最后接softmax层(本实施例中输出层采用softmax层)输出四类别的one-hot编码；多层感知器网络模块MLP{a,b}，表示该感知器第一隐含层有a个节点，输出层有b个节点。
边卷积层(EdgeConv)具体为网络的每一层构造具有顶点和边的局部有向图结构，形式上描述为二元组Gl＝(Vl,El)；其中，Vl为第l层点云顶点；El为第l层点云边；图2的结构表述为点云中每个点及其邻域点之间的相似关系。在邻域样本的选择上，对任意中心顶点
Figure BDA0003177256960000071
通过基于点向欧几里得距离的KNN算法获取最近邻域点集{xi1,xi2,…,xiK}，并建立中心顶点xi与领域xj之间边特征
Figure BDA0003177256960000072
的联系。顶点的特征融合了上一层网络的顶点特征和当前层网络动态更新的邻域特征，并随着网络深度不断迭代更新。
在计算领域动态特征时，边卷积层定义边缘特征为：
Figure BDA0003177256960000073
其中，hΘ表示使用可学习参数Θ构成的非线性函数，一般使用多层感知器网络来实现；hΘ(xi,xj-xi)在求解边特征时考虑到了xi，以及xi与领域xj的差xj-xi，同时兼顾了全局形状信息和局部邻域信息，具有较强的点云特征提取与特征融合能力。
如图3为本发明实施例中第一个边卷积(EdgeConv MLP{64,64})模块示意图。由于在网络学习过程中，每次迭代各层网络节点的数值都在发生变化，导致每层构造的图结构也会发生变化，使得边卷积(EdgeConv)模块具有动态提取特征的能力。
边卷积模块通过通道注意力模块提取动态特征；通道注意力模块：将边卷积层提取的局部空间信息压缩成一个通道描述器，对多个通道间的特征聚合关系进行建模，计算每个通道特征聚合时的权重，最后加权聚合每个通道表示来获得局部通道结构信息。通道注意力模块主要包括全局信息嵌入和权重自适应调整两个步骤：
B1.全局信息嵌入实现的是将每个通道的全局空间信息压缩为一个通道描述符，实际上相当于使用平均池化来对每个通道的特征图降维到一维，作为该通道重要性的一个统计量。
对于特征矩阵
Figure BDA0003177256960000074
其中，K为特征的维数，C为特征通道的数目，分别从第c个通道的K维空间计算各个通道的通道统计量Zc：
Figure BDA0003177256960000075
其中，k为特征维度的序号；
Figure BDA0003177256960000081
表示第c个通道第k个维度的特征；
B2.通道特征聚合时的权重，自适应步骤主要基于全局信息嵌入得到的统计量来建立通道的依赖关系。具体而言，通过简单的门控机制、激活函数，并设计两层全连接层来计算第c个通道的依赖关系sc：
sc＝σ(W2g(W1Zc))
其中，c∈{1,2,...,C}；g(·)选用ReLU函数作为激活函数；σ(·)选用sigmoid函数作为激活函数；W1为升维全连接参数；W2为降维全连接层参数。

Claims (10)

1.一种基于摄影测量数据的尾矿库语义分割方法，其特征在于包括如下步骤：
S1.采集历史尾矿库数据，包括测区的多视角照片和空间位置数据；
S2.对采集到的历史尾矿库数据进行数据重建，生成三维点云数据、数字正射影像数据和数字高程数据；
S3.对生成的三维点云数据进行随机下采样，生成倾斜摄影测量点云数据集；
S4.生成尾矿库语义分割模型；
S5.对采集的待分析尾矿库摄影测量数据进行实时语义分割，实时生成带尾矿库语义分割结果的摄影测量图像。
2.根据权利要求1所述的基于摄影测量数据的尾矿库语义分割方法，其特征在于所述的步骤S1，历史尾矿库数据包括尾矿库初期坝数据、堆积坝数据、水面数据和干滩数据；具体为采用航测多旋翼无人机采集数据，航测多旋翼无人机包括智能避障模块、高精度三轴云台和集成RTK模块；RTK模块能够为无人机提供实时厘米级定位数据，同时设计无人机的飞行航线和相机工作模式参数。
3.根据权利要求1所述的基于摄影测量数据的尾矿库语义分割方法，其特征在于所述的步骤S2，具体为采用影像处理软件，生成三维点云数据、数字正射影像数据和数字高程数据。
4.根据权利要求3所述的基于摄影测量数据的尾矿库语义分割方法，其特征在于所述的步骤S3，具体为生成倾斜摄影测量点云数据集Data＝{Xi}，其中，倾斜摄影测量点云数据集中的第i个采样点表示为Xi＝{xi,yi,zi,ri,gi,bi}；其中，xi表示点的经度，yi表示点的纬度，zi表示点的高度，ri表示RGB红色，gi表示RGB绿色，bi表示RGB蓝色；i＝1,2,…,N，N为采样点个数。
5.根据权利要求4所述的基于摄影测量数据的尾矿库语义分割方法，其特征在于所述的步骤S4中，尾矿库语义分割模型的生成方法具体采用有监督深度学习方法得到，同时采用的模型引入注意力机制的动态图卷积神经网络，有监督深度学习方法包括如下步骤：
A1.选取一个尾矿库语义分割场景，获取步骤S1-S3得到的下采样之后的倾斜摄影测量点云数据集、数字正射影像数据和数字高程数据；
A2.在数字正射影像数据上通过经验将初期坝、堆积坝、水面和干滩进行手工分割，为每个像素标识类别；
A3.根据三维点和数字正射影像像素点的关系，为步骤A1得到的倾斜摄影测量点云数据集中的每个点Xi找到在数字正射影像数据的对应像素点，将对应像素点的类别标签Yi作为Xi的标签，最后将Xi和Yi合并，生成初始训练数据集；
A4.选择若干个尾矿库语义分割场景，重复步骤A1-A3，获得多场景的训练数据集；
A5.构建基于深度学习的尾矿库语义分割模型；尾矿库语义分割模型包括动态图卷积神经网络模块和通道注意力模块；其中，动态图卷积神经网络模块用于对点云中领域样本点的关系进行建模；通道注意力模块用于对若干个通道间的特征聚合关系进行建模；
A6.选择神经网络训练平台，设置目标优化函数和优化方法，设置尾矿库语义分割模型中的迭代次数、学习率、训练误差和批训练数目训练参数，采用步骤A4中的多场景的训练数据集进行测试。
6.根据权利要求5所述的基于摄影测量数据的尾矿库语义分割方法，其特征在于所述的步骤A5，具体构建基于深度学习的尾矿库语义分割模型的方法如下：基于深度学习的尾矿库语义分割模型，包括1个输入层、2个边卷积层、3个多层感知器和1个输出层，在边卷积层和多层感知器层之间引入通道注意力模块；其中，边卷积层用于提取和融合每个点的独立特征和该点的局域特征；多层感知器用来对边卷积获得的特征信息进行特征融合和特征降维，最后接输出层输出四类别的one-hot编码。
7.根据权利要求6所述的基于摄影测量数据的尾矿库语义分割方法，其特征在于所述的边卷积层具体为网络的每一层构造具有顶点和边的局部有向图结构，设为二元组Gl＝(Vl,El)；其中，Vl为第l层点云顶点；El为第l层点云边；对任意中心顶点
Figure FDA0003177256950000021
通过基于点向欧几里得距离的KNN算法获取最近邻域点集{xi1,xi2,…,xiK}，并建立中心顶点xi与领域xj之间边特征
Figure FDA0003177256950000022
的联系；顶点的特征融合了上一层网络的顶点特征和当前层网络动态更新的邻域特征，并随着网络深度不断迭代更新；
在计算领域动态特征时，边卷积层定义边缘特征为：
Figure FDA0003177256950000031
其中，hΘ表示使用可学习参数Θ构成的非线性函数；xi为中心顶点；xj为领域；边卷积模块通过通道注意力模块提取动态特征。
8.根据权利要求7所述的基于摄影测量数据的尾矿库语义分割方法，其特征在于所述的通道注意力模块，具体为将边卷积层提取的局部空间信息压缩成一个通道描述器，对多个通道间的特征聚合关系进行建模，计算每个通道特征聚合时的权重，最后加权聚合每个通道表示来获得局部通道结构信息；通道注意力模块主要包括全局信息嵌入和权重自适应调整两个步骤：
B1.全局信息嵌入将每个通道的全局空间信息压缩为一个通道描述符，实际上相当于使用平均池化来对每个通道的特征图降维到一维，作为该通道重要性的一个统计量；对于特征矩阵
Figure FDA0003177256950000032
其中，K为特征维数，C为特征通道的数目，分别从第c个通道的K维空间计算各个通道的通道统计量Zc：
Figure FDA0003177256950000033
其中，k为特征维度的序号；
Figure FDA0003177256950000034
表示第c个通道第k个维度的特征；
B2.权重自适应调整具体为，通道特征聚合时的权重，自适应步骤基于全局信息嵌入得到的统计量来建立通道的依赖关系；通过门控机制和激活函数，并设计两层全连接层来计算第c个通道的依赖关系sc：
sc＝σ(W2g(W1Zc))
其中，c∈{1,2,...,C}；g(·)选用ReLU函数作为激活函数；σ(·)选用sigmoid函数作为激活函数；W1为升维全连接参数；W2为降维全连接层参数。
9.根据权利要求5所述的基于摄影测量数据的尾矿库语义分割方法，其特征在于所述的步骤S4，具体为根据尾矿库语义分割模型，输出长度为N＝3的独热编码W；语义分割模型有4个输出节点，每个节点有0和1两种状态；对于倾斜摄影测量点云数据集中的第i个采样点Xi＝{xi,yi,zi,ri,gi,bi}；其中，xi表示点的经度，yi表示点的纬度，zi表示点的高度，ri表示RGB红色，gi表示RGB绿色，bi表示RGB蓝色；i＝1,2,…,N，N为采样点个数；4个输出节点中有且仅有一个输出节点的输出状态为1，剩余3个输出节点的输出状态为0。
10.根据权利要求9所述的基于摄影测量数据的尾矿库语义分割方法，其特征在于所述的步骤S5，尾矿库语义分割结果包括关于初期坝、堆积坝、水面和干滩的语义分割结果。
CN202110835831.0A 2021-07-23 2021-07-23 一种基于摄影测量数据的尾矿库语义分割方法 Pending CN113553949A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110835831.0A CN113553949A (zh) 2021-07-23 2021-07-23 一种基于摄影测量数据的尾矿库语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110835831.0A CN113553949A (zh) 2021-07-23 2021-07-23 一种基于摄影测量数据的尾矿库语义分割方法

Publications (1)

Publication Number Publication Date
CN113553949A true CN113553949A (zh) 2021-10-26

Family

ID=78104216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110835831.0A Pending CN113553949A (zh) 2021-07-23 2021-07-23 一种基于摄影测量数据的尾矿库语义分割方法

Country Status (1)

Country Link
CN (1) CN113553949A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984355A (zh) * 2023-03-20 2023-04-18 上海米度测控科技有限公司 一种基于深度学习计算尾矿库干滩长度的方法
CN116310915A (zh) * 2023-05-22 2023-06-23 山东科技大学 基于uav与深度学习的尾矿干滩指标识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080455A1 (en) * 2017-09-12 2019-03-14 Beihang University Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112785611A (zh) * 2021-01-29 2021-05-11 昆明理工大学 一种3d点云弱监督语义分割方法及系统
CN113128405A (zh) * 2021-04-20 2021-07-16 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080455A1 (en) * 2017-09-12 2019-03-14 Beihang University Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN112785611A (zh) * 2021-01-29 2021-05-11 昆明理工大学 一种3d点云弱监督语义分割方法及系统
CN113128405A (zh) * 2021-04-20 2021-07-16 北京航空航天大学 一种结合语义分割与点云处理的植物识别与模型构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张雅玲;于泽宽;何炳蔚;: "基于GCNN的CBCT模拟口扫点云数据牙齿分割算法", 计算机辅助设计与图形学学报, no. 07 *
杨军;党吉圣;: "采用深度级联卷积神经网络的三维点云识别与分割", 光学精密工程, no. 05 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984355A (zh) * 2023-03-20 2023-04-18 上海米度测控科技有限公司 一种基于深度学习计算尾矿库干滩长度的方法
CN116310915A (zh) * 2023-05-22 2023-06-23 山东科技大学 基于uav与深度学习的尾矿干滩指标识别方法
CN116310915B (zh) * 2023-05-22 2023-08-18 山东科技大学 基于uav与深度学习的尾矿干滩指标识别方法

Similar Documents

Publication Publication Date Title
CN109886066B (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN111242041B (zh) 基于伪图像技术的激光雷达三维目标快速检测方法
CN107784283B (zh) 面向对象的无人机高分影像煤火区土地覆被分类方法
Lu et al. Object-oriented change detection for landslide rapid mapping
Zhou et al. Seamless fusion of LiDAR and aerial imagery for building extraction
Viswanath et al. Offseg: A semantic segmentation framework for off-road driving
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN113705636B (zh) 一种自动驾驶车辆轨迹预测方法、装置及电子设备
CN113553949A (zh) 一种基于摄影测量数据的尾矿库语义分割方法
CN113034444A (zh) 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法
CN113052106B (zh) 一种基于PSPNet网络的飞机起降跑道识别方法
CN113936139A (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN111985325B (zh) 特高压环境评价中的航拍小目标快速识别方法
CN114898212B (zh) 一种高分辨率遥感图像多地物变化信息提取方法
CN110222767A (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
EP4174792A1 (en) Method for scene understanding and semantic analysis of objects
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN113139489A (zh) 基于背景提取和多尺度融合网络的人群计数方法及系统
Akshay et al. Satellite image classification for detecting unused landscape using CNN
CN115512247A (zh) 基于图像多参数提取的区域建筑损伤等级评定方法
CN115497002A (zh) 一种多尺度特征融合的激光雷达遥感分类方法
CN112767244B (zh) 一种高分辨率地表要素无缝感知方法与系统
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
CN113191271A (zh) 一种基于深度学习的堰塞坝表层颗粒物质检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination