CN116977572B - 一种多尺度动态图卷积的建筑物立面结构提取方法 - Google Patents
一种多尺度动态图卷积的建筑物立面结构提取方法 Download PDFInfo
- Publication number
- CN116977572B CN116977572B CN202311188932.9A CN202311188932A CN116977572B CN 116977572 B CN116977572 B CN 116977572B CN 202311188932 A CN202311188932 A CN 202311188932A CN 116977572 B CN116977572 B CN 116977572B
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- building
- features
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000006116 polymerization reaction Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 9
- 239000000284 extract Substances 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种多尺度动态图卷积的建筑物立面结构提取方法，在卷积神经网络的基础上提出了一种针对建筑立面细部结构的端到端提取网络，该网络结合了DGCNN边卷积模块和多尺度点云数据空间的特点，其中边卷积神经网络相较于传统方法能更加灵活地提取点云局部和全局特征，此外，本发明还融合了球查询方法构建建筑点云的多尺度空间，提高网络在对几何特征描述上的处理效率；通过在多尺度特征融合的过程中加入Attention模块，使得网络能够自适应捕获用于目标提取的最有效尺度结构特征。同时针对不同尺度的特征分别设置了Loss函数进行约束，提高了网络精度，能够更加精确地识别建筑点云中的细部结构。
Description
技术领域
本发明涉及激光点云测量数据智能处理和城市三维建模技术领域，特别是涉及一种多尺度动态图卷积的建筑物立面结构提取方法。
背景技术
随着数字化城市建设的不断推进，对高精度城市三维模型的需求日益增长，如何实现建筑物立面的精细化重建成为关键问题之一。三维激光扫描技术作为一种能够高效、高精度获取建筑物空间几何信息的方法，已成为城市精细化建模数据的重要来源之一。在此背景下，研究对三维激光点云数据中建筑物立面特征的精准识别与提取，并准确获得立面结构目标如窗户等非墙面元素的完整几何特征与空间相对位置，是实现建筑物精细化重建的必要步骤。因此，基于三维激光点云的建筑立面细部结构提取研究具有重要的学术价值和实际意义。
目前，现有的建筑点云立面结构提取方法可分为：传统几何方法和基于深度学习的方法。传统几何方法主要从建筑影像和几何关系出发，通过分析建筑立面的几何形态、分布规律和特征信息，以实现对建筑立面结构的点云提取和特征识别。
在Müller, P., Zeng, G., Wonka, P., Van Gool, L. Image-basedprocedural modeling of facades[J].ACM Trans on Graph, 2007, 26(3): 85.1-85.9.中，该文献从建筑影像出发，通过计算机自动识别提取重复结构区域，构建处包含细节特征的建筑立面三维模型；
在Jia, K., Li, Hezhi., Wu, Z., A new window feature extraction method[J]. Engineering of Surveying and Mapping, 2016, 25(10):64-68.中，该文献将建筑立面点云投影成二维图像，并从影像中提取窗户等结构的边界，进而由图像和点云间的映射关系提取窗户等目标点云；
在Elberink, S.O., Vosselman, G., Building reconstruction by target-based graph matching on incomplete laser data: analysis and limitations[J].Sensors, 2009, 9 (8): 6101-6118.中，该文献则进一步考虑了立面结构间的拓扑关系，根据不同结构之间的拓扑关系，利用区域增长算法对建筑立面点云进行面片分割，得到面片中的大小、位置、方向等特征，进而自动识别出场景中的立面、及门窗等立面细部结构；
在Schmittwilken, J., Plumer, L., Model⁃based reconstruction andclassification of facade parts in 3D point clouds[J]. IEEE, 2010, 38(1):269-274.中，该文献根据建筑立面细部结构的先验知识，应用决策树方法对特征明显的区域提取特征提取，进而提取出明显聚类特征的点云子集。这些传统几何方法在特定的场景中性能优异，但在处理较复杂的场景时，基于算法的解析结果难以与真实结果保持一致。
与传统方法相比，深度学习方法在建筑点云立面结构提取方面具有巨大潜力，它们能够更有效地处理复杂建筑场景，提高建筑点云细部结构提取的准确性和鲁棒性，因此深度学习类的方法得到了广泛关注和应用。
在Dai, M., Ward, W. O., Meyers, G., Tingley, D. D., and Mayfield, M.,Residential building facade segmentation in the urban environment[J].Building and Environment, 2021, 199:107921.中，该文献采用了U-net架构提取建筑立面点云的细部结构，包括烟囱、门、窗户、屋顶和墙壁，并利用Faster R-CNN模型通过边界框来定位目标对象；
在Yu, B., Hu, J., Dong, X., Dai, K., Xiao, D., Zhang, B., Wu, T., Hu,Y., Wang, B., A Robust Automatic Method to Extract Building Facade Maps from3D Point Cloud Data[J]. Remote Sensing. 2022, 14, 3848.中，该文献利用共平面和垂直平面约束来消除伪平面和非建筑立面，再通过聚类算法来细化建筑立面，最后将建筑立面点云转化为特征图像，进而采用深度学习中图像处理技术来提取门、窗等细部结构；
在Chen, D., Xiang, G., Peethambaran, J., Zhang, L., Li, J., Hu, F.,AFGL-Net: Attentive Fusion of Global and Local Deep Features for Building Façades Parsing[J]. Remote Sensing. 2021, 13, 5039.中，该文献提出了AFGL-Net网络，该网络包含了局部特征编码模块来对门、窗等部件进行特征表示，并采用自注意力机制来推断建筑立面部件的几何形状，此外，AFGL-Net能够捕获全局上下文信息，这对于识别出受噪声、异常值、遮挡和不规则性影响的立面点云中不明显的门窗具有很大帮助；
在Morbidoni, C., Pierdicca, R., Quattrini, R.,&Frontoni, E., Graphcnn with radius distance for semantic segmentation of historical buildingstls point clouds[J]. The International Archives of the Photogrammetry, RemoteSensing and Spatial Information Sciences, 2020, 44: 95-102.中，该文献采用DGCNN的点云语义分割网络来提取古建筑点云的细部构件，并用球形邻域来代替原网络的KNN获取最邻近点，从而可以学习到更多结构特征的点云，DGCNN中的边缘卷积模块可以计算每个点与相邻点之间的边缘特征，每层的卷积模块动态地输入K个最邻近点，并实时更新邻域空间，提高模型泛化能力。
然而，建筑点云具有数据量大，密度分布不均匀的特点，这导致提取建筑点云细部结构存在耗时长，提取结果不精确等方面的问题，针对上述难点，如何实现高效、准确的建筑点云细部结构提取已成为一个亟待解决的问题
发明内容
为了解决以上技术问题，本发明提供一种多尺度动态图卷积的建筑物立面结构提取方法，包括以下步骤
S1、构建建筑立面细部结构提取神经网络模型以及模型所需数据集，建筑立面细部结构提取神经网络模型包括特征提取模块和特征传播模块，特征提取模块包括两个分支动态图卷积网络和一个通道注意力SENet；
S2、构建多尺度点云数据空间，并将不同尺度的点云输入到动态图卷积网络中；
S3、特征提取模块对不同尺度的点云的深度特征进行提取；
S4、采用通道注意力机制SENet融合不同尺度点云的深度特征，对不同深度特征附上不同的权重；
S5、对于不同尺度点云的深度特征都建立起相应的损失函数来做约束，并附上不同的权重相加为最终的损失函数；
S6、通过距离加权插值的方法对点云进行上采样，以保证不同尺度点云的深度特征的数量一致性，进而在通道维度上拼接得到代表该建筑立面点云的总特征；
S7、对点云的总特征经过连续的卷积层进行处理，并计算每个点云在不同部件类别上的概率分布；
S8、选取具有最大概率的部件类别作为点云数据的预测标签，进而对建筑点云中细部结构进行提取；
S9、对建筑立面细部结构提取神经网络模型进行精度评估。
本发明进一步限定的技术方案是：
进一步的，步骤S1中，使用地面激光扫描仪获得的建筑物立面点云数据集，即模型所需数据集，其中包含三维坐标信息；且对原始的点云数据进行去噪、语义标注以及数据增强，将模型所需数据集划分为训练集、验证集以及测试集。
前所述的一种多尺度动态图卷积的建筑物立面结构提取方法，步骤S2包括以下分步骤
S2.1、通过最远点采样的方法对输入点云进行下采样，通过设置不同的采样参数获得不同数量的点云；
S2.2、对每个采样后的点云分别设置两个不同半径的球形邻域，并从两个球形邻域中选择一定数量的点，即对应的邻近点数量K，构成不同尺寸的网络感受野输入到动态图卷积网络中，得到不同尺度的点云。
前所述的一种多尺度动态图卷积的建筑物立面结构提取方法，步骤S2.2中，计算球形邻域内除了球心点以外的每个点与球形邻域的球心点之间的欧氏距离，如果该欧氏距离小于球形邻域的半径，则该点被视为邻近点，并按照距离的升序进行排序，从中选取前K个点输入到动态图卷积网络中；若球形邻域内的邻近点数量小于K，则通过重复最近的相邻点来扩充至K个点。
前所述的一种多尺度动态图卷积的建筑物立面结构提取方法，步骤S3中，计算中心点特征与邻近点特征之差以获得边特征，并使用聚合函数将边特征和中心点特征进行拼接，具体公式表达如下：
其中，di和dj分别表示中心点特征和邻近点特征，（di-dj）为边特征，pij为最后聚合的特征，为聚合操作；
接着最后聚合的特征经过两个不同维度的卷积层和最大池化层，其中每个卷积层都包含有使用ReLU函数的激活层以及一个用于正则化的BatchNorm层，
其中，Conv表示卷积操作，MaxPool为最大池化操作，为边卷积得到的深度特征。
前所述的一种多尺度动态图卷积的建筑物立面结构提取方法，步骤S4中，采用通道注意力机制SENet融合不同尺度点云的深度特征，计算过程如下，
其中，和/>分别为不同尺度点云的特征，Favg为对输入的特征在通道维度上进行全局平均池化，Conv为对平均池化后的特征进行两次卷积操作，/>为sigmoid函数将卷积后的数值正则化至0到1之间，Wse为最终的权重参数，/>为输入特征在通道维度上与对应的权重相乘，P为最后得到的点云的深度特征。
前所述的一种多尺度动态图卷积的建筑物立面结构提取方法，步骤S5中，针对不同尺度点云的深度特征构建相应的损失函数来进行约束，并在最后附上不同的权重值进行相加，同时构建第四个分量来增强不同尺度点云特征预测值的一致性，
其中，为对应权重的超参数，分别设置为/>，/>，1以及N为总点数，N1和N2为对应采样后的点数量，pre1,pre2,pre表示不同尺度点云的深度特征的预测值，gt1,gt2,gt为对应的真值；Lseg(pre1,gt1)；Lseg(pre2,gt2)；Lseg(pre,gt)都是通过交叉熵损失函数Lseg对不同尺度的点云预测的结果做了约束；
交叉熵损失函数如下式所示：
其中，p(xi)为第i个点的真实标签值，q(xi)为模型对第i个点的预测值；
使用第四个分量来增强不同尺度点云的深度特征的预测值的一致性，
其中，为pre1在pre2对应的值，index2表示pre1在pre2中对应点的索引，N2为pre2的总点数。
前所述的一种多尺度动态图卷积的建筑物立面结构提取方法，步骤S6中，距离加权插值的计算公式为：
其中，x为插值点坐标，xi为已知点坐标，pi(xi)为已知点的特征值，为计算两点欧氏距离，N=2即选取邻近的两个已知点来插值未知点；
当不同尺度的点云特征在数量维度上保持一致后，再在通道维度上进行拼接；接着通过特征传播模块获得代表该建筑点云的总特征，
其中，和/>为两个不同的点云深度特征，P为最后的总特征。
前所述的一种多尺度动态图卷积的建筑物立面结构提取方法，步骤S9中，采用精度和交并比两种系数作为精度评估的检测指标，精度和交并比的计算公式如下：
其中，Accuracy表示精度，IoU表示交并比，xii为分类正确的点，xij和xji均为分类错误的点，k为分类的类别个数。
本发明的有益效果是：
本发明中，针对建筑点云数据量大，密度分布不均匀等特点，本发明采用融合球查询方法构建建筑点云的多尺度空间，提高网络在建筑几何特征描述上的处理效率，并通过动态图卷积网络（Dynamic Graph CNN，DGCNN）的边卷积模块更加灵活地提取点云的全局和局部特征。针对多尺度特征的自适应融合，本发明引入了通道注意力机制SENet，使得网络能够自适应捕获用于目标提取的最有效尺度结构特征。同时，对每个尺度的点云特征都设置了Loss函数进行约束，提高了网络识别和提取建筑点云细部结构的准确率。上述改进使得本发明具有较高的稳定性和实用性，具有显著的实用价值。
附图说明
图1为本发明实施例的整体流程图；
图2为本发明建筑立面细部结构提取神经网络模型的结构示意图；
图3为本发明特征提取模块的结构示意图；
图4为本发明通道注意力机制SENet的结构示意图；
图5为本发明中采集的数据集示意图；
图6为本发明中测试集的提取结果示意图。
实施方式
本实施例提供的一种多尺度动态图卷积的建筑物立面结构提取方法，该提取方法的实施采用计算机软件方式运行，如图1所示，包括以下步骤
S1、构建建筑立面细部结构提取神经网络模型（Multi-Scale EdgeConvNet，MEC-Net）以及模型所需数据集，使用地面激光扫描仪获得的建筑物立面点云数据集，即模型所需数据集，其中包含三维坐标信息；模型所需数据集共有8个建筑物立面，每个立面上都有窗户和墙两个部分，选取其中的四面墙作为训练集，两面墙为验证集，最后两面墙为测试，数据集如图5所示。
为训练神经网络，需要对每个点云进行真实的语义标签分类。因此，需要对获取的点云数据进行标注；由于训练的数据集较少，需要对点云数据进行数据增强，以提高模型的泛化性能；本实施例中主要分割的细部结构是窗户，两者主要区别是凹凸墙面的距离不同，可以通过绕着z轴旋转随机角度θ来增强训练集数据；为了更好的突显窗户和墙的区别，本实施例中θ=90°，一共获得了8面墙的训练数据。
如图2所示，建筑立面细部结构提取神经网络模型包括特征提取模块和特征传播模块，特征提取模块包括两个分支动态图卷积网络和一个通道注意力SENet。
S2、构建多尺度点云数据空间，并将不同尺度的点云输入到动态图卷积网络中，具体包括以下分步骤
S2.1、通过最远点采样方法获得不同数量级的点云，在对点云进行下采样之前，将建筑点云划分为大小一致的块Block，本实施例中块的大小Block_size为1m，选取N=2048个点进行采样；设置三个数量大小的点云，采样数分别为1024、512以及256，分别记为N1、N2以及N3，通过设置不同的采样参数来获得不同数量的点云，以加快网络处理效率；
S2.2、为防止部分区域点云分布过于稀疏而影响局部特征的有效提取，对每个采样后的点云分别设置两个不同半径R的球形邻域和对应的邻近点数量K，在数量为N1的点云中，球形邻域半径设置为0.05m和0.1m，对应的K分别为32和64；在数量为N2的点云中，球形邻域半径R为0.1m和0.2m，对应的K为16和32；在数量为N3的点云中，球形邻域半径R为0.2m和0.4m，对应的K为16和32，从而共得到6个不同尺度的点云数据；最后，将不同尺度的点云输入到特征提取模块中以提取特征。
步骤S2.2中，球形邻域的构建主要是通过计算球形邻域内除了球心点以外的每个点与球形邻域的球心点之间的欧氏距离，如果该欧氏距离小于球形邻域的半径，则该点被视为邻近点，并按照距离的升序进行排序，从中选取前K个点输入到动态图卷积网络中；若球形邻域内的邻近点数量小于K，则通过重复最近的相邻点来扩充至K个点。
S3、特征提取模块对不同尺度的点云的深度特征进行提取；如图3所示，将不同尺度的点云输入到动态图卷积网络中提取深度特征，具体过程为：计算中心点特征与邻近点特征之差以获得边特征，并使用聚合函数将边特征和中心点特征进行拼接，具体公式表达如下：
其中，di和dj分别表示中心点特征和邻近点特征，（di-dj）为边特征，pij为最后聚合的特征，为聚合操作；
接着最后聚合的特征经过两个不同维度的卷积层和最大池化层，其中每个卷积层都包含有使用ReLU函数的激活层以及一个用于正则化的BatchNorm层，
其中，Conv表示卷积操作，MaxPool为最大池化操作，为边卷积得到的深度特征。
S4、由于不同尺度的点云特征对建筑立面细部结构提取贡献的权重不同，因此采用通道注意力机制SENet融合不同尺度点云的特征，通过对不同特征附上不同的权重，使得网络能够自适应捕获用于细部结构提取最有效的尺度特征；在获取了多尺度点云特征后，由于不同尺度的点云对最终立面细部结构提取的贡献不同，无法直接融合，为了自适应提取最有效的尺度特征，本实施例采用了基于通道的注意力机制，通过对不同特征的通道赋权操作，使得网络可以实现自适应捕获有用的特征，通道注意力机制的结构如图4所示，计算过程如下，
其中，和/>分别为不同尺度点云的特征，Favg为对输入的特征在通道维度上进行全局平均池化，Conv为对平均池化后的特征进行两次卷积操作，/>为sigmoid函数将卷积后的数值正则化至0到1之间，Wse为最终的权重参数，/>为输入特征在通道维度上与对应的权重相乘，P为最后得到的点云的深度特征。
不同尺度点云对应的特征提取模块获取的深度特征维度也有所不同，对于N1，每种球形邻域的点云都经过动态图卷积模块后，得到64维的深度特征，再将两种尺度64维的深度特征输入到通道注意力SENet中自适应融合，得到128维的点云特征，则为代表N1的点云深度特征；同理，对于N2和N3也采用相似的策略分别得到256和512维度的特征，也即点数越少，语义信息丰富，表达更抽象。
S5、对于不同尺度点云的深度特征都建立起相应的损失函数来做约束，并附上不同的权重相加为最终的损失函数；针对不同尺度点云的深度特征构建相应的损失函数来进行约束，并在最后附上不同的权重值进行相加；同时考虑到对于同一建筑立面点云的不同尺度的特征虽然数目不同，但是其中共同点所属类别的真值是相同的，因此构建第四个分量来增强不同尺度点云特征预测值的一致性，
其中，为对应权重的超参数，分别设置为/>，/>，1以及N为总点数，N1和N2为对应采样后的点数量，pre1,pre2,pre表示不同尺度点云的深度特征的预测值，gt1,gt2,gt为对应的真值；Lseg(pre1,gt1)；Lseg(pre2,gt2)；Lseg(pre,gt)都是通过交叉熵损失函数Lseg对不同尺度的点云预测的结果做了约束；
交叉熵损失函数如下式所示：
其中，p(xi)为第i个点的真实标签值，q(xi)为模型对第i个点的预测值；
在理想情况下，不同尺度点云特征的预测值pre1，pre2应当一致，使用第四个分量来增强不同尺度点云的深度特征的预测值的一致性，
其中，为pre1在pre2对应的值，index2表示pre1在pre2中对应点的索引，N2为pre2的总点数。
S6、通过距离加权插值的方法对点云进行上采样，以保证不同尺度点云的深度特征的数量一致性，进而在通道维度上拼接得到代表该建筑立面点云的总特征；距离加权插值的计算公式为：
其中，x为插值点坐标，xi为已知点坐标，pi(xi)为已知点的特征值，为计算两点欧氏距离，N=2即选取邻近的两个已知点来插值未知点；
当不同尺度的点云特征在数量维度上保持一致后，再在通道维度上进行拼接；接着通过特征传播模块获得代表该建筑点云的总特征，
其中，和/>为两个不同的点云深度特征，P为最后的总特征。
由于不同尺度的点云特征包含的点数存在差异，直接进行拼接并不可行，如N3尺度（256个点）点云的特征，为实现与N2尺度（512个点）的点云特征融合，需将其上采样至与N2相同的点数，从而实现与N2尺度的点云特征在通道维度上拼接。
同样地，N2与N1尺度点云的特征拼接也遵循类似策略，确保最后得到每个建筑立面点云有效的总体特征，在本发明实施例中，对于点云上采样采用距离加权插值方法；完成两个不同尺度的点云特征在通道维度上的拼接后，再将其输入特征传播模块，该模块包含两个两层卷积层，使得两个点云特征维度保持一致；最终，获得代表该点云数据的64维总体特征。
S7、对点云的总特征经过连续的卷积层进行处理，并计算每个点云在不同部件类别上的概率分布。
S8、选取具有最大概率的部件类别作为点云数据的预测标签，进而对建筑点云中细部结构进行提取。
最后的建筑点云细部结构提取主要是通过给每个数据点分配不同类别的标签来实现，依次通过两个卷积层，并在最后一层卷积层中，通道数与标签类别数相等；计算得出每个点在各个语义类别上的得分，将具有最高得分的类别作为该点的预测值，从而完成最终细部结构提取。
在获得64维的总体特征后，将其通过两层卷积层，维度数分别为64，labels；其中labels为标签数。在本实施例中，分割的部件主要有两个，即窗户和墙，因此，labels设为2；从而就可以得到每个点在墙和窗户标签上的得分，选取其中得分最大的标签作为该点云所属建筑部件，从而完成对建筑立面点云的细部构件提取。
S9、对建筑立面细部结构提取神经网络模型进行精度评估；采用精度和交并比两种系数作为精度评估的检测指标，精度和交并比的计算公式如下：
其中，Accuracy表示精度，IoU表示交并比，xii为分类正确的点，xij和xji均为分类错误的点，k为分类的类别个数；
此外，还设置了完整率和消耗时间进一步评估模型，完整率表示模型提取完整的窗户占所有窗户的比重，消耗时间反应模型分割出窗户点云的效率。
如图6和下表1所示，本实施例中采用训练好的模型参数对测试集的两个建筑立面进行细部构件提取，此细部构件即窗户；从图6的可视化结果中可以看到，绝大部分窗户部件被成功提取，但仍有少量区域的窗户未被识别和提取。
表 1
模型的提取精度如表1所示，建筑立面a的精度Accuracy为90.97%，交并比IoU为81.34%，完整率为92.66%，消耗时间为41s；建筑立面b的精度Accuracy为93.36%，交并比IoU为84.21%，完整率为97.83%，消耗时间为73s；定量结果表明，本发明的实施例实现了较高的精度和交并比以及提取较多完整的窗户点云。
综上所述，本发明提出了一种基于多尺度特征融合的建筑立面细部结构提取网络，该网络基于DGCNN的边卷积模块来提取点云的局部和全局特征，相较于传统方法更加灵活；此外，采用了融合球查询方法来构建建筑点云的多尺度空间，提高了网络对于点云特征提取上的处理效率；对于多尺度点云特征的自适应融合，本网络引入了通道注意力机制，可以自主地捕获用于目标提取最有效尺度结构特征；同时，对于不同尺度的点云特征分别设置了Loss函数进行约束，提高了网络在识别和提取建筑点云细部结构方面的准确性和鲁棒性。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。
Claims (9)
1.一种多尺度动态图卷积的建筑物立面结构提取方法，其特征在于：包括以下步骤
S1、构建建筑立面细部结构提取神经网络模型以及模型所需数据集，建筑立面细部结构提取神经网络模型包括特征提取模块和特征传播模块，特征提取模块包括两个分支动态图卷积网络和一个通道注意力SENet；
S2、构建多尺度点云数据空间，并将不同尺度的点云输入到动态图卷积网络中；
S3、特征提取模块对不同尺度的点云的深度特征进行提取；
S4、采用通道注意力机制SENet融合不同尺度点云的深度特征，对不同深度特征附上不同的权重；
S5、对于不同尺度点云的深度特征都建立起相应的损失函数来做约束，并附上不同的权重相加为最终的损失函数；
S6、通过距离加权插值的方法对点云进行上采样，以保证不同尺度点云的深度特征的数量一致性，进而在通道维度上拼接得到代表该建筑立面点云的总特征；
S7、对点云的总特征经过连续的卷积层进行处理，并计算每个点云在不同部件类别上的概率分布；
S8、选取具有最大概率的部件类别作为点云数据的预测标签，进而对建筑点云中细部结构进行提取；
S9、对建筑立面细部结构提取神经网络模型进行精度评估。
2.根据权利要求1所述的一种多尺度动态图卷积的建筑物立面结构提取方法，其特征在于：所述步骤S1中，使用地面激光扫描仪获得的建筑物立面点云数据集，即模型所需数据集，其中包含三维坐标信息；且对原始的点云数据进行去噪、语义标注以及数据增强，将模型所需数据集划分为训练集、验证集以及测试集。
3.根据权利要求1所述的一种多尺度动态图卷积的建筑物立面结构提取方法，其特征在于：所述步骤S2包括以下分步骤
S2.1、通过最远点采样的方法对输入点云进行下采样，通过设置不同的采样参数获得不同数量的点云；
S2.2、对每个采样后的点云分别设置两个不同半径的球形邻域，并从两个球形邻域中选择一定数量的点，即对应的邻近点数量K，构成不同尺寸的网络感受野输入到动态图卷积网络中，得到不同尺度的点云。
4.根据权利要求3所述的一种多尺度动态图卷积的建筑物立面结构提取方法，其特征在于：所述步骤S2.2中，计算球形邻域内除了球心点以外的每个点与球形邻域的球心点之间的欧氏距离，如果该欧氏距离小于球形邻域的半径，则该点被视为邻近点，并按照距离的升序进行排序，从中选取前K个点输入到动态图卷积网络中；若球形邻域内的邻近点数量小于K，则通过重复最近的相邻点来扩充至K个点。
5.根据权利要求1所述的一种多尺度动态图卷积的建筑物立面结构提取方法，其特征在于：所述步骤S3中，计算中心点特征与邻近点特征之差以获得边特征，并使用聚合函数将边特征和中心点特征进行拼接，具体公式表达如下：
其中，di和dj分别表示中心点特征和邻近点特征，（di-dj）为边特征，pij为最后聚合的特征，为聚合操作；
接着最后聚合的特征经过两个不同维度的卷积层和最大池化层，其中每个卷积层都包含有使用ReLU函数的激活层以及一个用于正则化的BatchNorm层，
其中，Conv表示卷积操作，MaxPool为最大池化操作，为边卷积得到的深度特征。
6.根据权利要求1所述的一种多尺度动态图卷积的建筑物立面结构提取方法，其特征在于：所述步骤S4中，采用通道注意力机制SENet融合不同尺度点云的深度特征，计算过程如下，
其中，和/>分别为不同尺度点云的特征，Favg为对输入的特征在通道维度上进行全局平均池化，Conv为对平均池化后的特征进行两次卷积操作，/>为sigmoid函数将卷积后的数值正则化至0到1之间，Wse为最终的权重参数，/>为聚合操作，/>为输入特征在通道维度上与对应的权重相乘，P为最后得到的点云的深度特征。
7.根据权利要求1所述的一种多尺度动态图卷积的建筑物立面结构提取方法，其特征在于：所述步骤S5中，针对不同尺度点云的深度特征构建相应的损失函数来进行约束，并在最后附上不同的权重值进行相加，同时构建第四个分量来增强不同尺度点云特征预测值的一致性，
其中，为对应权重的超参数，分别设置为/>，/>，1以及N为总点数，N1和N2为对应采样后的点数量，pre1,pre2,pre表示不同尺度点云的深度特征的预测值，gt1,gt2,gt为对应的真值；Lseg(pre1,gt1)；Lseg(pre2,gt2)；Lseg(pre,gt)都是通过交叉熵损失函数Lseg对不同尺度的点云预测的结果做了约束；
交叉熵损失函数如下式所示：
其中，p(xi)为第i个点的真实标签值，q(xi)为模型对第i个点的预测值；
使用第四个分量来增强不同尺度点云的深度特征的预测值的一致性，
其中，为pre1在pre2对应的值，index2表示pre1在pre2中对应点的索引，N2为pre2的总点数。
8.根据权利要求1所述的一种多尺度动态图卷积的建筑物立面结构提取方法，其特征在于：所述步骤S6中，距离加权插值的计算公式为：
其中，x为插值点坐标，xi为已知点坐标，pi(xi)为已知点的特征值，为计算两点欧氏距离，N=2即选取邻近的两个已知点来插值未知点；
当不同尺度的点云特征在数量维度上保持一致后，再在通道维度上进行拼接；接着通过特征传播模块获得代表该建筑点云的总特征，
其中，Conv表示卷积操作，为聚合操作，/>和/>为两个不同的点云深度特征，P为最后的总特征。
9.根据权利要求1所述的一种多尺度动态图卷积的建筑物立面结构提取方法，其特征在于：所述步骤S9中，采用精度和交并比两种系数作为精度评估的检测指标，精度和交并比的计算公式如下：
其中，Accuracy表示精度，IoU表示交并比，xii为分类正确的点，xij和xji均为分类错误的点，k为分类的类别个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311188932.9A CN116977572B (zh) | 2023-09-15 | 2023-09-15 | 一种多尺度动态图卷积的建筑物立面结构提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311188932.9A CN116977572B (zh) | 2023-09-15 | 2023-09-15 | 一种多尺度动态图卷积的建筑物立面结构提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116977572A CN116977572A (zh) | 2023-10-31 |
| CN116977572B true CN116977572B (zh) | 2023-12-08 |
Family
ID=88481744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311188932.9A Active CN116977572B (zh) | 2023-09-15 | 2023-09-15 | 一种多尺度动态图卷积的建筑物立面结构提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977572B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827302A (zh) * | 2019-11-14 | 2020-02-21 | 中南大学 | 基于深度图卷积网络的点云目标提取方法及装置 |
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| CN111242208A (zh) * | 2020-01-08 | 2020-06-05 | 深圳大学 | 一种点云分类方法、分割方法及相关设备 |
| CN112149725A (zh) * | 2020-09-18 | 2020-12-29 | 南京信息工程大学 | 基于傅立叶变换的谱域图卷积3d点云分类方法 |
| CN112633350A (zh) * | 2020-12-18 | 2021-04-09 | 湖北工业大学 | 一种基于图卷积的多尺度点云分类实现方法 |
| CN113989547A (zh) * | 2021-10-15 | 2022-01-28 | 天津大学 | 基于图卷积深度神经网络的三维点云数据分类结构及方法 |
| US11350066B1 (en) * | 2020-12-10 | 2022-05-31 | Texas Instruments Incorporated | Camera-assisted projection optics distortion characterization and correction |
| CN114694022A (zh) * | 2022-03-11 | 2022-07-01 | 华北水利水电大学 | 一种基于球形邻域的多尺度多特征算法的语义分割方法 |
| CN114998638A (zh) * | 2022-04-14 | 2022-09-02 | 上海理工大学 | 基于动静态卷积融合神经网络的多视图三维点云分类方法 |
| CN115375877A (zh) * | 2022-09-20 | 2022-11-22 | 广东工业大学 | 一种基于通道注意力机制的三维点云分类方法及装置 |
-
2023
- 2023-09-15 CN CN202311188932.9A patent/CN116977572B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827302A (zh) * | 2019-11-14 | 2020-02-21 | 中南大学 | 基于深度图卷积网络的点云目标提取方法及装置 |
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| CN111242208A (zh) * | 2020-01-08 | 2020-06-05 | 深圳大学 | 一种点云分类方法、分割方法及相关设备 |
| CN112149725A (zh) * | 2020-09-18 | 2020-12-29 | 南京信息工程大学 | 基于傅立叶变换的谱域图卷积3d点云分类方法 |
| US11350066B1 (en) * | 2020-12-10 | 2022-05-31 | Texas Instruments Incorporated | Camera-assisted projection optics distortion characterization and correction |
| CN112633350A (zh) * | 2020-12-18 | 2021-04-09 | 湖北工业大学 | 一种基于图卷积的多尺度点云分类实现方法 |
| CN113989547A (zh) * | 2021-10-15 | 2022-01-28 | 天津大学 | 基于图卷积深度神经网络的三维点云数据分类结构及方法 |
| CN114694022A (zh) * | 2022-03-11 | 2022-07-01 | 华北水利水电大学 | 一种基于球形邻域的多尺度多特征算法的语义分割方法 |
| CN114998638A (zh) * | 2022-04-14 | 2022-09-02 | 上海理工大学 | 基于动静态卷积融合神经网络的多视图三维点云分类方法 |
| CN115375877A (zh) * | 2022-09-20 | 2022-11-22 | 广东工业大学 | 一种基于通道注意力机制的三维点云分类方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| AFGL-Net：Attentive Fusion of Global and Local Deep Features for Building Facedes Parsing;Dong Chen;《remote sensing》;1-25 * |
| 基于二维地形图与深度学习的激光点云训练样本自动生成方法;杨志爽;《中国博士学位论文全文数据库 基础科学辑》(第6期);A008-34 * |
| 采用独立分支网络的多源遥感数据自适应融合地物分类;戴莫凡;《光学 精密工程》;第31卷(第5期);644-655 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116977572A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| US11816907B2 (en) | Systems and methods for extracting information about objects from scene information | |
| Zhang et al. | A review of deep learning-based semantic segmentation for point cloud | |
| Xia et al. | Geometric primitives in LiDAR point clouds: A review | |
| Zhang et al. | Deep learning-based classification and reconstruction of residential scenes from large-scale point clouds | |
| Brilakis et al. | Toward automated generation of parametric BIMs based on hybrid video and laser scanning data | |
| Balali et al. | Multi-class US traffic signs 3D recognition and localization via image-based point cloud model using color candidate extraction and texture-based recognition | |
| CN112818925B (zh) | 一种城市建筑和树冠识别方法 | |
| Liu et al. | 3D Point cloud analysis | |
| Hu et al. | Efficient and automatic plane detection approach for 3-D rock mass point clouds | |
| Yang et al. | Automated semantics and topology representation of residential-building space using floor-plan raster maps | |
| Jiang et al. | Extracting 3-D structural lines of building from ALS point clouds using graph neural network embedded with corner information | |
| CN112634447B (zh) | 一种露头岩层分层方法、装置、设备及存储介质 | |
| Xin et al. | Accurate and complete line segment extraction for large-scale point clouds | |
| CN116977572B (zh) | 一种多尺度动态图卷积的建筑物立面结构提取方法 | |
| CN116386042A (zh) | 一种基于三维池化空间注意力机制的点云语义分割模型 | |
| De Geyter et al. | Automated training data creation for semantic segmentation of 3D point clouds | |
| Fang et al. | Semantic supported urban change detection using ALS point clouds | |
| Yoon et al. | UAV-based automated 3D modeling framework using deep learning for building energy modeling | |
| Widyaningrum | Automatic object extraction from airborne laser scanning point clouds for digital base map production | |
| Tsige | Scan-vs-BIM automated registration using columns segmented by deep learning for construction progress monitoring | |
| Wang et al. | Map matching navigation method based on scene information fusion | |
| Zhang et al. | 3d convolutional neural network for semantic scene segmentation based on unstructured point clouds | |
| CN117523548B (zh) | 基于神经网络的三维模型对象提取和识别方法 | |
| CN115222988B (zh) | 激光雷达点云数据城市地物PointEFF精细分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |