CN114510772B - 基于斜扫数据建筑面轮廓的快速生成方法 - Google Patents
基于斜扫数据建筑面轮廓的快速生成方法 Download PDFInfo
- Publication number
- CN114510772B CN114510772B CN202210362614.9A CN202210362614A CN114510772B CN 114510772 B CN114510772 B CN 114510772B CN 202210362614 A CN202210362614 A CN 202210362614A CN 114510772 B CN114510772 B CN 114510772B
- Authority
- CN
- China
- Prior art keywords
- building
- target
- layer
- target building
- buildings
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000005516 engineering process Methods 0.000 claims abstract description 4
- 239000010410 layer Substances 0.000 claims description 111
- 239000013598 vector Substances 0.000 claims description 48
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 11
- 239000011229 interlayer Substances 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 102000002274 Matrix Metalloproteinases Human genes 0.000 claims description 2
- 108010000684 Matrix Metalloproteinases Proteins 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000013506 data mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于斜扫数据建筑面轮廓的快速生成方法,属于数据处理技术领域。该方法包括以下步骤:利用倾斜摄影技术得到目标建筑的三维模型,判断目标建筑中是否存在待修补层,若存在,则根据隶属度最大的设定个数的楼层得到目标建筑的三维点云基元和建筑纹理基元;将目标建筑对应的特征描述符与数据库中各样本建筑对应的特征描述符共同记为待聚类目标数据,并对所述待聚类目标数据进行聚类,得到目标建筑所属的类别,并根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补,生成最终的目标建筑。本发明解决了现有建筑面轮廓生成方法存在的精度不高的问题。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及基于斜扫数据建筑面轮廓的快速生成方法。
背景技术
传统倾斜摄影基于多目重建的方法,通过对相机位姿的识别及连续数据中特征点的匹配,重建出带有纹理的稠密点云或者稠密网格。现有建筑面轮廓生成方法存在以下问题:(1)由于玻璃,大面积纯色墙面特征点较少会导致重建模型上存在破洞,凹陷或破碎;(2)由于树木遮挡、建筑群落过于密集等因素会导致空中相机各视角无法拍摄到建筑物之间的缝隙处,没有照片参与此处的空三和贴图导致重建模型在缝隙处有破洞或者粘连;(3)由于无人机飞行次数和高度的限制导致建筑过高、过低的位置畸变严重畸变和模糊,需要人工参与修复,且修复后重建模型网格噪声过多,储存的点线面信息过多。上述问题导致现有的建筑面轮廓生成方法的精度不高。
发明内容
为了解决现有建筑面轮廓生成方法存在的精度不高的问题,本发明提供了一种基于斜扫数据建筑面轮廓的快速生成方法的技术方案,包括以下步骤:
利用倾斜摄影技术得到目标建筑的三维模型,基于深度神经网络对所述目标建筑的三维模型进行楼层语义切片处理,得到目标建筑的各层切片;构建目标建筑各层切片对应的语义向量,根据目标建筑各层切片对应的语义向量得到目标建筑对应的基准语义向量;
根据目标建筑各层切片对应的三维点云数据得到目标建筑各层切片对应的平面轮廓;根据目标建筑各层切片对应的平面轮廓得到目标建筑各层切片对应的点云异常变形度;根据目标建筑各层切片对应的点云异常变形度计算目标建筑各层与其它层之间的隶属度;
根据所述隶属度判断目标建筑中是否存在待修补层,若存在,则根据隶属度最大的设定个数的楼层得到目标建筑的三维点云基元和建筑纹理基元;根据目标建筑对应的基准语义向量、三维点云基元和建筑纹理基元构建目标建筑对应的特征描述符;将目标建筑对应的特征描述符与数据库中各样本建筑对应的特征描述符共同记为待聚类目标数据,并对所述待聚类目标数据进行聚类,得到目标建筑所属的类别,并根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补,生成最终的目标建筑。
进一步地,所述根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补,包括:
将目标建筑所属类别中样本建筑对应的基元复制为关联建筑数据集,从所述关联建筑数据集中为待修补楼层选取最优的若干基元,基元数量大于待修补楼层数量;基元包括基础语义向量、三维点云和建筑纹理信息;
使用Kuhn-Munkres实现最大分配:对于若干基元和待替换的J个楼层模型中,关联建筑数据集的若干基元的第p个和待修补的楼层模型中某一层q,匹配评价因子为:,其中q是修补楼层,为第p个基元到模型q层的L2差异值;
基于最优匹配结果,将基元以最优方式替换至建筑的夹层q-1层和q+1层之间将目标建筑所属类别中样本建筑对应的基元复制为关联建筑数据集,从所述关联建筑数据集中为待修补楼层选取最优的若干基元,基元数量大于待修补楼层数量;
使用Kuhn-Munkres实现最大分配:对于若干基元和待替换的J个楼层模型中,关联建筑数据集的若干基元的第p个和待修补的楼层模型中某一层q,匹配评价因子为:,其中q是修补楼层,为第p个基元到模型q层的L2差异值;
基于最优匹配结果,将最优匹配结果对应的基元替换至建筑的夹层q-1层和q+1层之间。
进一步地,所述对所述待聚类目标数据进行聚类,得到目标建筑所属的类别,包括:
如果,那么建筑k就是核心建筑,开始一个组的聚类;从核心建筑k开始聚类一个组,就是该组的一部分,然后再从中的所有建筑中找核心建筑,如果存在核心建筑q,则将该核心建筑的eps-邻域的中的所有建筑也归到该组中,将这些建筑都标记为已处理,并且从新加入的建筑中搜索核心建筑;
重复上述步骤,不断聚类,直到没有新的核心建筑为止,所有加入该组的建筑组成一个建筑组;一个组聚类结束后,再从未标记为已处理的建筑中随机选择一个建筑,继续上述所有的步骤,直到所有建筑都被标记为已处理,判定所有建筑或者是噪声建筑,或者已经被分好组,到此为止,建筑分组结束,得到目标建筑所属的类别。
进一步地,所述深度神经网络为MaskR-CNN。
进一步地,利用如下公式计算目标建筑各层与其它层之间的隶属度:
进一步地,所述根据所述隶属度判断目标建筑中是否存在待修补层,包括:
基于隶属度对建筑各层切片进行递增排序,当最差的隶属度高于设定阈值时,判定该建筑无需修补;当最差的隶属度不高于设定阈值时则判定存在待修补层。
有益效果:本发明实现了对目标建筑的快速准确生成,解决了斜扫数据贴图由于无人机高度和观测角度导致的畸变和模糊,后期修补时人工参与步骤过多,三维重建模型网格噪声过多,储存的点线面信息过多等问题。
附图说明
图1是本发明的基于斜扫数据建筑面轮廓的快速生成方法流程图;
图2是目标建筑各层的语义标签和各层实例示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行介绍。
本发明的目的在于解决现有建筑面轮廓生成方法存在的精度不高的问题。如图1所示,本实施例的基于斜扫数据建筑面轮廓的快速生成方法包括以下步骤:
(1)利用倾斜摄影技术得到目标建筑的三维模型,基于深度神经网络对所述目标建筑的三维模型进行楼层语义切片处理,得到目标建筑的各层切片;构建目标建筑各层切片对应的语义向量,根据目标建筑各层切片对应的语义向量得到目标建筑对应的基准语义向量;
①本实施例根据实际倾斜摄影得到的三维模型数据,基于深度神经网络进行楼层语义切片处理,得到目标建筑的各层切片,具体过程如下:
将扫描的目标建筑的四个侧面视图进行重新渲染和裁剪,得到目标建筑的侧面四个视图的图像;
基于先前的数据集训练MaskR-CNN,基于训练好的MaskR-CNN可以得到输入图像对应的建筑各层的语义标签和各层实例。本实施例将获取的目标建筑的侧面四个视图的图像输入到训练好的MaskR-CNN,基于Mask R-CNN得到目标建筑各层的语义标签、各层实例和各层实例的上下边界,如图2所示,基于边界对目标建筑进行分层裁切。具体地,四侧的边界的上下边界可以在建筑模型上对应其分界的垂直高度,并估计四个边界的平均高度,从而提高分层裁切的精度。
对于如何基于MaskR-CNN得到边界,如何对建筑模型进行逐层裁切,既可以自动裁切,也可以是交互式手动裁切。如何裁切建筑三维模型,得到各层的裁切楼层切片,是现有技术,此处不再赘述。
②构建目标建筑各层切片对应的语义向量,根据目标建筑各层切片对应的语义向量得到目标建筑对应的基准语义向量,具体过程如下:
对于一层裁切模型,有四面的语义图像,对所有语义图像做如下处理,得到四个语义向量:对于一侧模型,其对应的语义分割结果,采用最中间行的语义标签生成当前层的语义向量的一个子向量;重复上述操作,得到目标建筑任一层四侧的语义向量,其中i为楼层号,其中语义向量包括四个子向量,子向量被最近邻重采样至128维,包含的语义标签中,0为墙体,1为窗口,其余分类结果作为墙体标签0,这样做的目的是,每层建筑的语义标签都被提取为窗户和墙体。
由于玻璃,大面积纯色墙面特征点较少导致重建模型上存在破洞,凹陷或破碎,树木遮挡、建筑群落过于密集等因素导致空中相机各视角无法拍摄到建筑物之间的缝隙处的语义标签与重建质量较好的语义标签的向量相比距离较大。
接下来根据目标建筑各层的语义向量的相似度,构建目标建筑对应的基准语义向量,具体过程如下:
通过重复上述操作,得到任一层的语义向量,其中i为楼层号,对于任一层语义向量,有四个子向量,四个子向量可以构成高维的假想空间,用于描述一层建筑可能包含的语义的所有可能状态。对于每层四个向量的每个子向量,其向量由0和1构成,因此可以作为一种二进制编码,通过取目标建筑中每层子向量中每个位的二进制状态出现最多的值,可以得到基准语义向量的子向量。基于每侧基准语义向量的子向量,可以重构目标建筑的基准语义向量。比如,目标建筑的某一侧包括3层,该侧的第一层的语义向量的第1位二进制数为1,该侧的第二层的语义向量的第1位二进制数为1,该侧的第三层的语义向量的第1位二进制数为0,那么目标建筑的该侧的基准语义向量的第1位二进制数为1。
由于无人机飞行次数和高度的限制导致建筑过高、过低的位置畸变严重,因此通过上述方式得到子向量可以重建建筑最具代表性的较准确的语义向量。
(2)根据目标建筑各层切片对应的三维点云数据得到目标建筑各层切片对应的平面轮廓;根据目标建筑各层切片对应的平面轮廓得到目标建筑各层切片对应的点云异常变形度;根据目标建筑各层切片对应的点云异常变形度计算目标建筑各层与其它层之间的隶属度;
①根据目标建筑各层切片对应的三维点云数据得到目标建筑各层切片对应的平面轮廓;根据目标建筑各层切片对应的平面轮廓得到目标建筑各层切片对应的点云异常变形度;具体过程如下
对于任一楼层的切片,还可以基于倾斜摄影的数据获得建筑模型中该层对应的三维点云,对点云进行如下处理,得到平面轮廓:首先将该层点云的Z值置零,得到xy平面的二维顶视图投影后点云,其中i代表楼层号,该点云分布能够描述建筑在该层的外轮廓。
由于玻璃,大面积纯色墙面特征点较少导致重建模型上存在破洞,凹陷或破碎,树木遮挡、建筑外挂异物等遮挡因素导致重建模型在缝隙处有粘连。因此该点云可以描述当前层的外轮廓异常程度T。
②根据目标建筑各层切片对应的点云异常变形度计算目标建筑各层与其它层之间的隶属度,具体过程如下:
其中T是由ICP通过控制不优化罗德里格斯矩阵而得到的平移解,是一种平移向量。隶属度基于计算该层与其余层平移解的累计模长来表示该层与整个建筑其余层的隶属程度。其中ICP为Iterative Closest Point算法的平移解的平移向量模的输出,ICP也叫迭代最近点,是一种点云配准算法,能够通过迭代寻找罗德里格斯矩阵和平移距离。其中j为目标建筑中其余楼层的索引,i为计算当前层的索引,为目标建筑第i层的点云,为目标建筑第j层的点云,为和的ICP平移解。
通过将所有层的误差之和累计的方式可以计算当前层与其余层之间的误差总和,当总和较低时,隶属度较高,反之隶属度较低。在楼层之间计算点云的隶属度过程中,罗德里格斯矩阵被固定,因此假设楼层轮廓之间没有旋转关系。此时ICP估计的平移距离起到了描述当前层是否能够和其余楼层之间差异较小的作用。当建筑出现凹陷、物体粘连时,ICP算法为了尽可能对齐点云,通过移动点云的方式最小化误差,会导致平移距离T较大。当某一层点云和另一层点云的差异较大时,其xy坐标与其余点云之间的相似程度较低,则解得的点云质心平移距离T较大。
(3)根据所述隶属度判断目标建筑中是否存在待修补层,若存在,则根据隶属度最大的设定个数的楼层得到目标建筑的三维点云基元和建筑纹理基元;根据目标建筑对应的基准语义向量、三维点云基元和建筑纹理基元构建目标建筑对应的特征描述符;将目标建筑对应的特征描述符与数据库中各样本建筑对应的特征描述符共同记为待聚类目标数据,并对所述待聚类目标数据进行聚类,得到目标建筑所属的类别,并根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补,生成最终的目标建筑。
本实施例基于隶属度对建筑各层切片进行递增排序,当最差的隶属度高于一定阈值时,认为该建筑无需修补;反之,则判定存在需要修补层,需对目标建筑进行修补,本实施例将待修补的楼层个数记为J,本实施例在目标建筑中存在待修补层时进行如下修补过程:
①根据隶属度最大的设定个数的楼层得到目标建筑的三维点云基元和建筑纹理基元;根据目标建筑对应的基准语义向量、三维点云基元和建筑纹理基元构建目标建筑各层对应的特征描述符;具体过程如下:
本实施例基于隶属度的top-K个楼层,计算得到合成的三维点云基元。三维点云基元的合成是通过如下数据的整合得到的,首先对top-K个楼层的xy二维点云数据进行ICP对齐,该ICP对齐过程不固定罗德里格斯矩阵,即进行罗德里格斯矩阵的优化,从而得到最小化的K个点云重合后的结果,重合后的结果即是建筑侧面的最准确轮廓。
重合后的结果存在如下问题:点云复杂度高,向Z拉伸后曲面较多;点云无序,对齐后的细微噪声会导致三角化产生破面。因此对重合后的点云进行RANSAC处理,去除噪声外点,然后进行网格法重采样,得到下采样后的点云。如何去除噪声外点和下采样为现有技术,此处不再赘述。
基于上述方法得到的下采样点云能够最大限度保证基元的准度,最小化基元的数据量。基于上述方法得到的点云进行逆时针或顺时针轮廓的标记,得到轮廓,基于轮廓向Z轴拉伸一定高度得到单层基元的三角面信息,三角面信息用于贴图渲染,三角面的顶点为三维点云P’,P’是基元的三维点云。
然后对top-K个楼层的侧面纹理数据进行低饱和度合成:由于异物和树木等物体相对建筑外立面是高饱和度的,因此对于top-K个楼层的侧面纹理数据,按照语义分割的相同视图,以一侧模型为例:对每个纹理图像进行逐像素的比较,将每个像素的RGB分量的最小极差的RGB分量值作为目标图像的RGB分量值;最小极差的RGB分量值包含较低的饱和度,因此符合建筑的外立面纹理的规律。至此得到侧面纹理数据,对应的是第1侧面的纹理数据,对应的是第2侧面的纹理数据。
通过上述步骤,可以得到目标建筑对应的三维点云基元和建筑纹理基元。得到基元的有益效果是:基于语义方式得到最优的参照,从而过滤得到top-K个楼层的最优纹理,开拓了楼层模型无法逐层语义分析的新思路,同时解决了楼层模型的异常点云修补、模型压缩和纹理修补的问题。上述K为设定楼层切片数,过滤得到top-K个的最优纹理能够避免倾斜摄影采集纹理中异常遮挡物的纹理,过滤得到top-K个的点云信息能够最优化建筑侧面的轮廓精度,同时压缩建筑模型。
接下来计算基元指标,得到目标建筑基元的特征描述符:构建特征描述符,其中为基元的基准语义向量,包括四个128维度的二进制子向量。其中P’为基元的三维点云,P’的数量不定长。为基元的四侧纹理所有像素的RGB直方图。其中RGB直方图的计算被量化为4*3的数组,其中4为灰度统计时被分为四等分,3为RGB三个颜色分量。如何得到RGB直方图的方法为现有技术,此处不再赘述。此处RGB直方图的作用是方便与其它基元比较外立面的纹理是否相似。
②将目标建筑对应的特征描述符与数据库中各样本建筑对应的特征描述符共同记为待聚类目标数据,并对所述待聚类目标数据进行聚类,得到目标建筑所属的类别;具体过程如下:
预先构建数据库,数据库中存储有利用倾斜摄影得到的样本建筑的三维模型数据;将利用倾斜摄影得到的样本建筑的三维模型数据均按照上述方式计算其基元,构建大量的基元数据库,基元包括基础语义向量、三维点云和建筑纹理信息。在数据库中基于非监督方式自动重构分类,得到不同簇集下相似的建筑各基元,用于后期的建筑填补。基于建筑之间的编码距离,使用DBSCAN聚类算法进行分组,分组前要设置好参数eps和。
其中,为语义信息的汉明距离差异,差异越大,语义上越不相似,建筑的外形和外观在语义层面上观测起来越不相似。为点云的几何距离差异,其中计算点云几何距离差异时,需要先进行三维点云的ICP配准,然后计算点云之间的L2距离。进行三维点云的ICP配准并计算L2距离是点云配准中的常见操作。此处的目的是计算点云之间的几何和尺寸差异,避免不同的建筑类型被分为统一簇。
首先随机选择一个建筑k作为初始样本,并且遍历所有未标记为“已处理”的建筑。找出可以从建筑k直接密度可达的建筑集合,得到建筑k的eps-邻域,即在建筑k的eps半径内的所有建筑的集合。如果,那么建筑k就是异常的建筑。将该建筑标记为“已处理”,然后再从未标记为“已处理”的建筑中随机选择下一个建筑。
如果,那么建筑k就是核心建筑,就可以开始一个组的聚类了;从核心建筑k开始聚类一个组,就是该组的一部分,然后再从中的所有建筑中找核心建筑,如果存在核心建筑q,则将该核心建筑的eps-邻域的中的所有建筑也归到该组中,将这些建筑都标记为“已处理”,并且从新加入的建筑中搜索核心建筑。
重复上述步骤,不断聚类,直到没有新的核心建筑为止,所有加入该组的建筑就组成了一个建筑组;一个组聚类结束后,再从未标记为“已处理”的建筑中随机选择一个建筑,继续上述所有的步骤,直到所有建筑都被标记为“已处理”,这时候所有建筑或者是噪声建筑,或者已经被分好组,到此为止,建筑分组阶段就结束了。
至此,建筑基于纹理、语义被区分为若干个簇,即可得到目标建筑所属的类别(也称之为簇)。
③根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补,生成最终的目标建筑;具体过程如下:
基于候选建筑基元反向索引到建筑库中的建筑模型,基于建筑模型,构建关联建筑数据集;由于DBSCAN得到了多个簇,基于当前的建筑基元可以选择距离最近的簇,基于距离最近的簇即可反向索引到建筑库中的建筑模型,每种建筑模型都在语义、纹理、轮廓上与待修补的建筑的基元相似。
下面基于该类别进行相似建筑基元的替换,从而生成建筑模型合成结果。具体修补方式为:从关联建筑数据集中为上述J个待修补楼层选取最优的若干基元,基元数量大于J个。考虑到一些楼是较为独特的,与数据集中其余楼差异较大,则基元可以以一定重复次数出现,例如一栋楼的基元出现5次,则需要个楼的基元即可完成修补,若重复次数较少,则修补的建筑的多样性较好,若重复次数较多,则修补的建筑的统一性较好。
本实施例最优基元的选取方式是使用Kuhn-Munkres实现最大分配。对于若干基元和待替换的J个楼层模型中,关联建筑数据集的若干基元的第p个和楼层模型中某一层q,有如下匹配评价因子:,其中q是修补楼层,R为第p个基元到模型q层的L2差异值。差异值越大,意味着形状越不匹配,且颜色越不统一。因此基于R可得到建筑第q层待替换时,夹层q-1和q+1的兼容性S:
基于最优匹配结果,基元可以以最优方式替换至建筑的夹层q-1层和q+1层之间,其中,将最优匹配结果对应的基元对应的三维点云替换至夹层q-1层和q+1层之间即将三维点云对应的三角面信息替换至夹层q-1层和q+1层之间。至此,修补得到的目标建筑模型为颜色较为自然、语义无错误、无畸变、破面的建筑模型。由于无人机飞行次数和高度的限制导致建筑过高、过低的位置畸变严重畸变和模糊,需要修补的楼层周围的区域往往成像也比较差,因此,本实施例没有直接根据目标建筑的基元对待修补层进行了修补,而是结合了数据库中的样本建筑对目标建筑的待修补层进行了修补,生成的结果更准确。
本实施例基于非监督的带语义的基元生成和基元替换方式为建筑生成最优的修补解。基于修补解,本实施例可以基于语义和点云关联度的方式,以无监督的方式构建关联建筑数据集的最修补优解,从而基于最佳修补解生成修补后的建筑面轮廓。本实施例解决了斜扫数据贴图由于无人机高度和观测角度导致的畸变和模糊,后期修补时人工参与步骤过多,三维重建模型网格噪声过多,储存的点线面信息过多等问题。
需要说明的是,尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造概念,则可对这些实施例作出另外的变更和修改。所以,上述变动和修改也落入本发明的范围。
Claims (6)
1.一种基于斜扫数据建筑面轮廓的快速生成方法,其特征在于,包括以下步骤:
利用倾斜摄影技术得到目标建筑的三维模型,基于深度神经网络对所述目标建筑的三维模型进行楼层语义切片处理,得到目标建筑的各层切片;构建目标建筑各层切片对应的语义向量,根据目标建筑各层切片对应的语义向量得到目标建筑对应的基准语义向量;
根据目标建筑各层切片对应的三维点云数据得到目标建筑各层切片对应的平面轮廓;根据目标建筑各层切片对应的平面轮廓得到目标建筑各层切片对应的点云异常变形度;根据目标建筑各层切片对应的点云异常变形度计算目标建筑各层与其它层之间的隶属度;
根据所述隶属度判断目标建筑中是否存在待修补层,若存在,则根据隶属度最大的设定个数的楼层得到目标建筑的三维点云基元和建筑纹理基元;根据目标建筑对应的基准语义向量、三维点云基元和建筑纹理基元构建目标建筑对应的特征描述符;将目标建筑对应的特征描述符与数据库中各样本建筑对应的特征描述符共同记为待聚类目标数据,并对所述待聚类目标数据进行聚类,得到目标建筑所属的类别,并根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补,生成最终的目标建筑。
2.根据权利要求1所述的基于斜扫数据建筑面轮廓的快速生成方法,其特征在于,所述根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补,包括:
将目标建筑所属类别中样本建筑对应的基元复制为关联建筑数据集,从所述关联建筑数据集中为待修补楼层选取最优的若干基元,基元数量大于待修补楼层数量;基元包括基础语义向量、三维点云和建筑纹理信息;
使用Kuhn-Munkres实现最大分配:对于若干基元和待替换的J个楼层模型中,关联建筑数据集的若干基元的第p个和待修补的楼层模型中某一层q,匹配评价因子为:,其中q是修补楼层,为第p个基元到模型q层的L2差异值;
基于最优匹配结果,将最优匹配结果对应的基元替换至建筑的夹层q-1层和q+1层之间。
3.根据权利要求1所述的基于斜扫数据建筑面轮廓的快速生成方法,其特征在于,所述对所述待聚类目标数据进行聚类,得到目标建筑所属的类别,包括:
如果,那么建筑k就是核心建筑,开始一个组的聚类;从核心建筑k开始聚类一个组,就是该组的一部分,然后再从中的所有建筑中找核心建筑,如果存在核心建筑q,则将该核心建筑的eps-邻域的中的所有建筑也归到该组中,将这些建筑都标记为已处理,并且从新加入的建筑中搜索核心建筑;
重复上述步骤,不断聚类,直到没有新的核心建筑为止,所有加入该组的建筑组成一个建筑组;一个组聚类结束后,再从未标记为已处理的建筑中随机选择一个建筑,继续上述所有的步骤,直到所有建筑都被标记为已处理,判定所有建筑或者是噪声建筑,或者已经被分好组,到此为止,建筑分组结束,得到目标建筑所属的类别。
4.根据权利要求1所述的基于斜扫数据建筑面轮廓的快速生成方法,其特征在于,所述深度神经网络为MaskR-CNN。
6.根据权利要求1所述的基于斜扫数据建筑面轮廓的快速生成方法,其特征在于,所述根据所述隶属度判断目标建筑中是否存在待修补层,包括:
基于隶属度对建筑各层切片进行递增排序,当最差的隶属度高于设定阈值时,判定该建筑无需修补;当最差的隶属度不高于设定阈值时则判定存在待修补层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210362614.9A CN114510772B (zh) | 2022-04-08 | 2022-04-08 | 基于斜扫数据建筑面轮廓的快速生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210362614.9A CN114510772B (zh) | 2022-04-08 | 2022-04-08 | 基于斜扫数据建筑面轮廓的快速生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114510772A CN114510772A (zh) | 2022-05-17 |
CN114510772B true CN114510772B (zh) | 2022-06-17 |
Family
ID=81555266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210362614.9A Active CN114510772B (zh) | 2022-04-08 | 2022-04-08 | 基于斜扫数据建筑面轮廓的快速生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114510772B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115203462B (zh) * | 2022-07-12 | 2023-04-28 | 中国建筑西南设计研究院有限公司 | 一种基于多维度编码的建筑结构边缘构件识别方法和装置 |
CN116628834B (zh) * | 2023-07-26 | 2023-10-20 | 北京飞渡科技股份有限公司 | 一种基于神经网络的轮廓分段矫正方法及装置 |
CN116958454B (zh) * | 2023-09-21 | 2023-12-12 | 北京飞渡科技股份有限公司 | 基于图网络的建筑轮廓构建方法及装置 |
CN117475095B (zh) * | 2023-10-11 | 2024-07-16 | 吉奥时空信息技术股份有限公司 | 一种实景三维建筑的分层分户建模方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598796A (zh) * | 2020-12-28 | 2021-04-02 | 华东交通大学 | 基于广义点云的三维建筑物信息模型构建与自动更新的方法 |
WO2021186067A1 (en) * | 2020-03-20 | 2021-09-23 | Bim & Scan Limited | A method for detecting correspondence of a built structure with a designed structure |
CN114120149A (zh) * | 2021-11-09 | 2022-03-01 | 肇庆市城市规划设计院 | 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质 |
-
2022
- 2022-04-08 CN CN202210362614.9A patent/CN114510772B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021186067A1 (en) * | 2020-03-20 | 2021-09-23 | Bim & Scan Limited | A method for detecting correspondence of a built structure with a designed structure |
CN112598796A (zh) * | 2020-12-28 | 2021-04-02 | 华东交通大学 | 基于广义点云的三维建筑物信息模型构建与自动更新的方法 |
CN114120149A (zh) * | 2021-11-09 | 2022-03-01 | 肇庆市城市规划设计院 | 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质 |
Non-Patent Citations (3)
Title |
---|
基于多基元特征向量融合的机载LiDAR点云分类;胡海瑛等;《中国激光》;20200831(第08期);全文 * |
建筑点云几何模型重建方法研究进展;杜建丽等;《遥感学报》;20190525(第03期);全文 * |
建筑物立面点云语义分割方法研究;张瑞菊等;《城市勘测》;20171015(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114510772A (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114510772B (zh) | 基于斜扫数据建筑面轮廓的快速生成方法 | |
CN109410321B (zh) | 基于卷积神经网络的三维重建方法 | |
CN113128405B (zh) | 一种结合语义分割与点云处理的植物识别与模型构建方法 | |
CN111815757B (zh) | 基于图像序列的大型构件三维重建方法 | |
CN112489212B (zh) | 一种基于多源遥感数据的建筑物智能化三维测图方法 | |
US11544900B2 (en) | Primitive-based 3D building modeling, sensor simulation, and estimation | |
Yi et al. | Urban building reconstruction from raw LiDAR point data | |
Poullis | A framework for automatic modeling from point cloud data | |
CN104090972B (zh) | 用于三维城市模型检索的图像特征提取和相似性度量方法 | |
CN104331699B (zh) | 一种三维点云平面化快速搜索比对的方法 | |
CN109544681B (zh) | 一种基于点云的果实三维数字化方法 | |
CN111666434B (zh) | 基于深度全局特征的街景图片检索方法 | |
CN112347882A (zh) | 一种智能分拣控制方法和智能分拣控制系统 | |
CN112347550A (zh) | 耦合式室内三维语义建图及建模方法 | |
CN112926441A (zh) | 基于机器视觉的家居识别方法、系统、装置及介质 | |
CN115032648A (zh) | 一种基于激光雷达密集点云的三维目标识别与定位方法 | |
CN116129118A (zh) | 基于图卷积的城市场景激光LiDAR点云语义分割方法 | |
CN117710603B (zh) | 一种直线几何结构约束下无人机图像三维建筑物建模方法 | |
CN115482268A (zh) | 一种基于散斑匹配网络的高精度三维形貌测量方法与系统 | |
CN115035193A (zh) | 一种基于双目视觉与图像分割技术的散装粮随机扦样方法 | |
CN114463396A (zh) | 一种利用平面形状和拓扑图投票的点云配准方法 | |
CN111597367B (zh) | 基于视图和哈希算法的三维模型检索方法 | |
Budianti et al. | Background blurring and removal for 3d modelling of cultural heritage objects | |
Sahebdivani et al. | Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings | |
Sapkota | Segmentation of coloured point cloud data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Room Y579, 3rd Floor, Building 3, No. 9 Keyuan Road, Daxing District Economic Development Zone, Beijing 102600 Patentee after: Beijing Feidu Technology Co.,Ltd. Address before: 102600 608, floor 6, building 1, courtyard 15, Xinya street, Daxing District, Beijing Patentee before: Beijing Feidu Technology Co.,Ltd. |
|
CP03 | Change of name, title or address |