CN114510772A - 基于斜扫数据建筑面轮廓的快速生成方法 - Google Patents

基于斜扫数据建筑面轮廓的快速生成方法 Download PDF

Info

Publication number
CN114510772A
CN114510772A CN202210362614.9A CN202210362614A CN114510772A CN 114510772 A CN114510772 A CN 114510772A CN 202210362614 A CN202210362614 A CN 202210362614A CN 114510772 A CN114510772 A CN 114510772A
Authority
CN
China
Prior art keywords
building
target
layer
target building
buildings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210362614.9A
Other languages
English (en)
Other versions
CN114510772B (zh
Inventor
何文武
宋彬
朱旭平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Feidu Technology Co ltd
Original Assignee
Beijing Feidu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Feidu Technology Co ltd filed Critical Beijing Feidu Technology Co ltd
Priority to CN202210362614.9A priority Critical patent/CN114510772B/zh
Publication of CN114510772A publication Critical patent/CN114510772A/zh
Application granted granted Critical
Publication of CN114510772B publication Critical patent/CN114510772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Architecture (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于斜扫数据建筑面轮廓的快速生成方法，属于数据处理技术领域。该方法包括以下步骤：利用倾斜摄影技术得到目标建筑的三维模型，判断目标建筑中是否存在待修补层，若存在，则根据隶属度最大的设定个数的楼层得到目标建筑的三维点云基元和建筑纹理基元；将目标建筑对应的特征描述符与数据库中各样本建筑对应的特征描述符共同记为待聚类目标数据，并对所述待聚类目标数据进行聚类，得到目标建筑所属的类别，并根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补，生成最终的目标建筑。本发明解决了现有建筑面轮廓生成方法存在的精度不高的问题。

Description

基于斜扫数据建筑面轮廓的快速生成方法
技术领域
本发明涉及数据处理技术领域，具体涉及基于斜扫数据建筑面轮廓的快速生成方法。
背景技术
传统倾斜摄影基于多目重建的方法，通过对相机位姿的识别及连续数据中特征点的匹配，重建出带有纹理的稠密点云或者稠密网格。现有建筑面轮廓生成方法存在以下问题：（1）由于玻璃，大面积纯色墙面特征点较少会导致重建模型上存在破洞，凹陷或破碎；（2）由于树木遮挡、建筑群落过于密集等因素会导致空中相机各视角无法拍摄到建筑物之间的缝隙处，没有照片参与此处的空三和贴图导致重建模型在缝隙处有破洞或者粘连；（3）由于无人机飞行次数和高度的限制导致建筑过高、过低的位置畸变严重畸变和模糊，需要人工参与修复，且修复后重建模型网格噪声过多，储存的点线面信息过多。上述问题导致现有的建筑面轮廓生成方法的精度不高。
发明内容
为了解决现有建筑面轮廓生成方法存在的精度不高的问题，本发明提供了一种基于斜扫数据建筑面轮廓的快速生成方法的技术方案，包括以下步骤：
利用倾斜摄影技术得到目标建筑的三维模型，基于深度神经网络对所述目标建筑的三维模型进行楼层语义切片处理，得到目标建筑的各层切片；构建目标建筑各层切片对应的语义向量，根据目标建筑各层切片对应的语义向量得到目标建筑对应的基准语义向量；
根据目标建筑各层切片对应的三维点云数据得到目标建筑各层切片对应的平面轮廓；根据目标建筑各层切片对应的平面轮廓得到目标建筑各层切片对应的点云异常变形度；根据目标建筑各层切片对应的点云异常变形度计算目标建筑各层与其它层之间的隶属度；
根据所述隶属度判断目标建筑中是否存在待修补层，若存在，则根据隶属度最大的设定个数的楼层得到目标建筑的三维点云基元和建筑纹理基元；根据目标建筑对应的基准语义向量、三维点云基元和建筑纹理基元构建目标建筑对应的特征描述符；将目标建筑对应的特征描述符与数据库中各样本建筑对应的特征描述符共同记为待聚类目标数据，并对所述待聚类目标数据进行聚类，得到目标建筑所属的类别，并根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补，生成最终的目标建筑。
进一步地，所述根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补，包括：
将目标建筑所属类别中样本建筑对应的基元复制为关联建筑数据集，从所述关联建筑数据集中为待修补楼层选取最优的若干基元，基元数量大于待修补楼层数量；基元包括基础语义向量、三维点云和建筑纹理信息；
使用Kuhn-Munkres实现最大分配：对于若干基元和待替换的J个楼层模型中，关联建筑数据集的若干基元的第p个和待修补的楼层模型中某一层q，匹配评价因子为：
Figure 614762DEST_PATH_IMAGE001
，其中q是修补楼层，
Figure 591945DEST_PATH_IMAGE002
为第p个基元到模型q层的L2差异值；
基于
Figure 457133DEST_PATH_IMAGE003
得到目标建筑第q层待替换时，夹层q-1和q+1的兼容性S：
Figure 251782DEST_PATH_IMAGE004
构建二分图，一侧为若干个大于J个基元，一侧为J个待替换楼层，基于
Figure 631948DEST_PATH_IMAGE005
得到邻接矩阵，再基于Kuhn-Munkres算法得到二分图的最优匹配结果；
基于最优匹配结果，将基元以最优方式替换至建筑的夹层q-1层和q+1层之间将目标建筑所属类别中样本建筑对应的基元复制为关联建筑数据集，从所述关联建筑数据集中为待修补楼层选取最优的若干基元，基元数量大于待修补楼层数量；
使用Kuhn-Munkres实现最大分配：对于若干基元和待替换的J个楼层模型中，关联建筑数据集的若干基元的第p个和待修补的楼层模型中某一层q，匹配评价因子为：
Figure 616085DEST_PATH_IMAGE001
，其中q是修补楼层，
Figure 7883DEST_PATH_IMAGE002
为第p个基元到模型q层的L2差异值；
基于
Figure 114379DEST_PATH_IMAGE003
得到目标建筑第q层待替换时，夹层q-1和q+1的兼容性S：
Figure 919524DEST_PATH_IMAGE004
构建二分图，一侧为若干个大于J个基元，一侧为J个待替换楼层，基于
Figure 130188DEST_PATH_IMAGE005
得到邻接矩阵，再基于Kuhn-Munkres算法得到二分图的最优匹配结果；
基于最优匹配结果，将最优匹配结果对应的基元替换至建筑的夹层q-1层和q+1层之间。
进一步地，所述对所述待聚类目标数据进行聚类，得到目标建筑所属的类别，包括：
计算任意两个建筑之间的距离，得到编码距离邻接矩阵
Figure 766705DEST_PATH_IMAGE006
，矩阵中第
Figure 653890DEST_PATH_IMAGE007
个元素表示建筑k和建筑j之间的距离，表示为：
Figure 680752DEST_PATH_IMAGE008
其中，
Figure 334587DEST_PATH_IMAGE009
为语义信息的汉明距离差异；
Figure 684666DEST_PATH_IMAGE010
为点云的几何距离差异；
Figure 70648DEST_PATH_IMAGE011
是基元的纹理的RGB直方图差异；
随机选择一个建筑k作为初始样本，并且遍历所有未标记为已处理的建筑，找出可以从建筑k直接密度可达的建筑集合，得到建筑k的eps-邻域
Figure 912702DEST_PATH_IMAGE012
，
Figure 714436DEST_PATH_IMAGE012
为在建筑k的eps半径内的所有建筑的集合；
如果
Figure 997650DEST_PATH_IMAGE013
，那么建筑k就是异常的建筑；将该建筑标记为已处理，然后再从未标记为已处理的建筑中随机选择下一个建筑；
如果
Figure 616850DEST_PATH_IMAGE014
，那么建筑k就是边缘建筑，不对建筑k进行任何操作，而是从未标记为已处理的建筑中随机选择下一个建筑；
如果
Figure 306719DEST_PATH_IMAGE015
，那么建筑k就是核心建筑，开始一个组的聚类；从核心建筑k开始聚类一个组，
Figure 974461DEST_PATH_IMAGE012
就是该组的一部分，然后再从
Figure 174498DEST_PATH_IMAGE012
中的所有建筑中找核心建筑，如果存在核心建筑q，则将该核心建筑的eps-邻域的
Figure 105545DEST_PATH_IMAGE016
中的所有建筑也归到该组中，将这些建筑都标记为已处理，并且从新加入的建筑中搜索核心建筑；
重复上述步骤，不断聚类，直到没有新的核心建筑为止，所有加入该组的建筑组成一个建筑组；一个组聚类结束后，再从未标记为已处理的建筑中随机选择一个建筑，继续上述所有的步骤，直到所有建筑都被标记为已处理，判定所有建筑或者是噪声建筑，或者已经被分好组，到此为止，建筑分组结束，得到目标建筑所属的类别。
进一步地，所述深度神经网络为MaskR-CNN。
进一步地，利用如下公式计算目标建筑各层与其它层之间的隶属度：
Figure 125454DEST_PATH_IMAGE017
其中，
Figure 862466DEST_PATH_IMAGE018
为目标建筑第i层的点云，
Figure 307222DEST_PATH_IMAGE019
为目标建筑第j层的点云，
Figure 2646DEST_PATH_IMAGE020
为
Figure 978692DEST_PATH_IMAGE018
和
Figure 191499DEST_PATH_IMAGE019
的ICP平移解，
Figure 100549DEST_PATH_IMAGE021
为目标建筑第i层与其它层之间的隶属度，j为目标建筑中除第i层之外的其它层。
进一步地，所述根据所述隶属度判断目标建筑中是否存在待修补层，包括：
基于隶属度对建筑各层切片进行递增排序，当最差的隶属度高于设定阈值时，判定该建筑无需修补；当最差的隶属度不高于设定阈值时则判定存在待修补层。
有益效果：本发明实现了对目标建筑的快速准确生成，解决了斜扫数据贴图由于无人机高度和观测角度导致的畸变和模糊，后期修补时人工参与步骤过多，三维重建模型网格噪声过多，储存的点线面信息过多等问题。
附图说明
图1是本发明的基于斜扫数据建筑面轮廓的快速生成方法流程图；
图2是目标建筑各层的语义标签和各层实例示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行介绍。
本发明的目的在于解决现有建筑面轮廓生成方法存在的精度不高的问题。如图1所示，本实施例的基于斜扫数据建筑面轮廓的快速生成方法包括以下步骤：
（1）利用倾斜摄影技术得到目标建筑的三维模型，基于深度神经网络对所述目标建筑的三维模型进行楼层语义切片处理，得到目标建筑的各层切片；构建目标建筑各层切片对应的语义向量，根据目标建筑各层切片对应的语义向量得到目标建筑对应的基准语义向量；
①本实施例根据实际倾斜摄影得到的三维模型数据，基于深度神经网络进行楼层语义切片处理，得到目标建筑的各层切片，具体过程如下：
将扫描的目标建筑的四个侧面视图进行重新渲染和裁剪，得到目标建筑的侧面四个视图的图像；
基于先前的数据集训练MaskR-CNN，基于训练好的MaskR-CNN可以得到输入图像对应的建筑各层的语义标签和各层实例。本实施例将获取的目标建筑的侧面四个视图的图像输入到训练好的MaskR-CNN，基于Mask R-CNN得到目标建筑各层的语义标签、各层实例和各层实例的上下边界，如图2所示，基于边界对目标建筑进行分层裁切。具体地，四侧的边界的上下边界可以在建筑模型上对应其分界的垂直高度，并估计四个边界的平均高度，从而提高分层裁切的精度。
对于如何基于MaskR-CNN得到边界，如何对建筑模型进行逐层裁切，既可以自动裁切，也可以是交互式手动裁切。如何裁切建筑三维模型，得到各层的裁切楼层切片，是现有技术，此处不再赘述。
②构建目标建筑各层切片对应的语义向量，根据目标建筑各层切片对应的语义向量得到目标建筑对应的基准语义向量，具体过程如下：
对于一层裁切模型，有四面的语义图像，对所有语义图像做如下处理，得到四个语义向量：对于一侧模型，其对应的语义分割结果，采用最中间行的语义标签生成当前层的语义向量的一个子向量；重复上述操作，得到目标建筑任一层四侧的语义向量
Figure 435715DEST_PATH_IMAGE022
，其中i为楼层号，其中语义向量
Figure 44596DEST_PATH_IMAGE023
包括四个子向量，子向量被最近邻重采样至128维，
Figure 185727DEST_PATH_IMAGE024
包含的语义标签中，0为墙体，1为窗口，其余分类结果作为墙体标签0，这样做的目的是，每层建筑的语义标签都被提取为窗户和墙体。
由于玻璃，大面积纯色墙面特征点较少导致重建模型上存在破洞，凹陷或破碎，树木遮挡、建筑群落过于密集等因素导致空中相机各视角无法拍摄到建筑物之间的缝隙处的语义标签与重建质量较好的语义标签的向量相比距离较大。
接下来根据目标建筑各层的语义向量的相似度，构建目标建筑对应的基准语义向量，具体过程如下：
通过重复上述操作，得到任一层的语义向量
Figure 90229DEST_PATH_IMAGE024
，其中i为楼层号，对于任一层语义向量
Figure 330718DEST_PATH_IMAGE024
，有四个子向量，四个子向量可以构成高维的假想空间，用于描述一层建筑可能包含的语义的所有可能状态。对于每层四个向量的每个子向量，其向量由0和1构成，因此可以作为一种二进制编码，通过取目标建筑中每层子向量中每个位的二进制状态出现最多的值，可以得到基准语义向量的子向量。基于每侧基准语义向量的子向量，可以重构目标建筑的基准语义向量
Figure 343673DEST_PATH_IMAGE025
。比如，目标建筑的某一侧包括3层，该侧的第一层的语义向量的第1位二进制数为1，该侧的第二层的语义向量的第1位二进制数为1，该侧的第三层的语义向量的第1位二进制数为0，那么目标建筑的该侧的基准语义向量的第1位二进制数为1。
由于无人机飞行次数和高度的限制导致建筑过高、过低的位置畸变严重，因此通过上述方式得到子向量可以重建建筑最具代表性的较准确的语义向量。
（2）根据目标建筑各层切片对应的三维点云数据得到目标建筑各层切片对应的平面轮廓；根据目标建筑各层切片对应的平面轮廓得到目标建筑各层切片对应的点云异常变形度；根据目标建筑各层切片对应的点云异常变形度计算目标建筑各层与其它层之间的隶属度；
①根据目标建筑各层切片对应的三维点云数据得到目标建筑各层切片对应的平面轮廓；根据目标建筑各层切片对应的平面轮廓得到目标建筑各层切片对应的点云异常变形度；具体过程如下
对于任一楼层的切片，还可以基于倾斜摄影的数据获得建筑模型中该层对应的三维点云，对点云进行如下处理，得到平面轮廓：首先将该层点云的Z值置零，得到xy平面的二维顶视图投影后点云
Figure 881971DEST_PATH_IMAGE018
，其中i代表楼层号，该点云分布能够描述建筑在该层的外轮廓。
由于玻璃，大面积纯色墙面特征点较少导致重建模型上存在破洞，凹陷或破碎，树木遮挡、建筑外挂异物等遮挡因素导致重建模型在缝隙处有粘连。因此该点云可以描述当前层的外轮廓异常程度T。
②根据目标建筑各层切片对应的点云异常变形度计算目标建筑各层与其它层之间的隶属度，具体过程如下：
计算外轮廓异常程度T，得到每层与其余层之间的隶属度
Figure 968876DEST_PATH_IMAGE021
Figure 442582DEST_PATH_IMAGE017
其中T是由ICP通过控制不优化罗德里格斯矩阵而得到的平移解，是一种平移向量。隶属度
Figure 287041DEST_PATH_IMAGE021
基于计算该层与其余层平移解的累计模长来表示该层与整个建筑其余层的隶属程度。其中ICP为Iterative Closest Point算法的平移解的平移向量模的输出，ICP也叫迭代最近点，是一种点云配准算法，能够通过迭代寻找罗德里格斯矩阵和平移距离。其中j为目标建筑中其余楼层的索引，i为计算当前层的索引，
Figure 707659DEST_PATH_IMAGE018
为目标建筑第i层的点云，
Figure 445807DEST_PATH_IMAGE019
为目标建筑第j层的点云，
Figure 982093DEST_PATH_IMAGE020
为
Figure 641745DEST_PATH_IMAGE026
和
Figure 397211DEST_PATH_IMAGE019
的ICP平移解。
通过将所有层的误差之和累计的方式可以计算当前层与其余层之间的误差总和，当总和较低时，隶属度较高，反之隶属度较低。在楼层之间计算点云的隶属度过程中，罗德里格斯矩阵被固定，因此假设楼层轮廓之间没有旋转关系。此时ICP估计的平移距离起到了描述当前层是否能够和其余楼层之间差异较小的作用。当建筑出现凹陷、物体粘连时，ICP算法为了尽可能对齐点云，通过移动点云的方式最小化误差，会导致平移距离T较大。当某一层点云和另一层点云的差异较大时，其xy坐标与其余点云之间的相似程度较低，则解得的点云质心平移距离T较大。
对所有层计算
Figure 396391DEST_PATH_IMAGE027
，其中n为层高，最终对
Figure 211900DEST_PATH_IMAGE028
进行缩放，使得
Figure 93269DEST_PATH_IMAGE028
的和为1。此时
Figure 777060DEST_PATH_IMAGE021
为隶属度，隶属度越大，当前层与其余层之间的相似程度越大。
（3）根据所述隶属度判断目标建筑中是否存在待修补层，若存在，则根据隶属度最大的设定个数的楼层得到目标建筑的三维点云基元和建筑纹理基元；根据目标建筑对应的基准语义向量、三维点云基元和建筑纹理基元构建目标建筑对应的特征描述符；将目标建筑对应的特征描述符与数据库中各样本建筑对应的特征描述符共同记为待聚类目标数据，并对所述待聚类目标数据进行聚类，得到目标建筑所属的类别，并根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补，生成最终的目标建筑。
本实施例基于隶属度对建筑各层切片进行递增排序，当最差的隶属度高于一定阈值时，认为该建筑无需修补；反之，则判定存在需要修补层，需对目标建筑进行修补，本实施例将待修补的楼层个数记为J，本实施例在目标建筑中存在待修补层时进行如下修补过程：
①根据隶属度最大的设定个数的楼层得到目标建筑的三维点云基元和建筑纹理基元；根据目标建筑对应的基准语义向量、三维点云基元和建筑纹理基元构建目标建筑各层对应的特征描述符；具体过程如下：
本实施例基于隶属度的top-K个楼层，计算得到合成的三维点云基元。三维点云基元的合成是通过如下数据的整合得到的，首先对top-K个楼层的xy二维点云数据进行ICP对齐，该ICP对齐过程不固定罗德里格斯矩阵，即进行罗德里格斯矩阵的优化，从而得到最小化的K个点云重合后的结果，重合后的结果即是建筑侧面的最准确轮廓。
重合后的结果存在如下问题：点云复杂度高，向Z拉伸后曲面较多；点云无序，对齐后的细微噪声会导致三角化产生破面。因此对重合后的点云进行RANSAC处理，去除噪声外点，然后进行网格法重采样，得到下采样后的点云。如何去除噪声外点和下采样为现有技术，此处不再赘述。
基于上述方法得到的下采样点云能够最大限度保证基元的准度，最小化基元的数据量。基于上述方法得到的点云进行逆时针或顺时针轮廓的标记，得到轮廓，基于轮廓向Z轴拉伸一定高度得到单层基元的三角面信息，三角面信息用于贴图渲染，三角面的顶点为三维点云P’，P’是基元的三维点云。
然后对top-K个楼层的侧面纹理数据进行低饱和度合成：由于异物和树木等物体相对建筑外立面是高饱和度的，因此对于top-K个楼层的侧面纹理数据，按照语义分割的相同视图，以一侧模型为例：对每个纹理图像进行逐像素的比较，将每个像素的RGB分量的最小极差的RGB分量值作为目标图像的RGB分量值；最小极差的RGB分量值包含较低的饱和度，因此符合建筑的外立面纹理的规律。至此得到侧面纹理数据
Figure 755380DEST_PATH_IMAGE029
，
Figure 945053DEST_PATH_IMAGE030
对应的是第1侧面的纹理数据，
Figure 251401DEST_PATH_IMAGE031
对应的是第2侧面的纹理数据。
通过上述步骤，可以得到目标建筑对应的三维点云基元和建筑纹理基元。得到基元的有益效果是：基于语义方式得到最优的参照，从而过滤得到top-K个楼层的最优纹理，开拓了楼层模型无法逐层语义分析的新思路，同时解决了楼层模型的异常点云修补、模型压缩和纹理修补的问题。上述K为设定楼层切片数，过滤得到top-K个的最优纹理能够避免倾斜摄影采集纹理中异常遮挡物的纹理，过滤得到top-K个的点云信息能够最优化建筑侧面的轮廓精度，同时压缩建筑模型。
接下来计算基元指标，得到目标建筑基元的特征描述符：构建特征描述符
Figure 614249DEST_PATH_IMAGE032
，其中
Figure 384759DEST_PATH_IMAGE033
为基元的基准语义向量，包括四个128维度的二进制子向量。其中P’为基元的三维点云，P’的数量不定长。
Figure 168169DEST_PATH_IMAGE034
为基元的四侧纹理所有像素的RGB直方图。其中RGB直方图的计算被量化为4*3的数组，其中4为灰度统计时被分为四等分，3为RGB三个颜色分量。如何得到RGB直方图的方法为现有技术，此处不再赘述。此处RGB直方图的作用是方便与其它基元比较外立面的纹理是否相似。
②将目标建筑对应的特征描述符与数据库中各样本建筑对应的特征描述符共同记为待聚类目标数据，并对所述待聚类目标数据进行聚类，得到目标建筑所属的类别；具体过程如下：
预先构建数据库，数据库中存储有利用倾斜摄影得到的样本建筑的三维模型数据；将利用倾斜摄影得到的样本建筑的三维模型数据均按照上述方式计算其基元，构建大量的基元数据库，基元包括基础语义向量、三维点云和建筑纹理信息。在数据库中基于非监督方式自动重构分类，得到不同簇集下相似的建筑各基元，用于后期的建筑填补。基于建筑之间的编码距离，使用DBSCAN聚类算法进行分组，分组前要设置好参数eps和
Figure 86447DEST_PATH_IMAGE035
。
通过计算任意两个建筑之间的距离，得到编码距离邻接矩阵
Figure 862773DEST_PATH_IMAGE006
，矩阵中第
Figure 753368DEST_PATH_IMAGE007
个元素表示建筑k和建筑j之间的距离，表示为：
Figure 347161DEST_PATH_IMAGE008
其中，
Figure 611789DEST_PATH_IMAGE036
为语义信息的汉明距离差异，差异越大，语义上越不相似，建筑的外形和外观在语义层面上观测起来越不相似。
Figure 254123DEST_PATH_IMAGE010
为点云的几何距离差异，其中计算点云几何距离差异时，需要先进行三维点云的ICP配准，然后计算点云之间的L2距离。进行三维点云的ICP配准并计算L2距离是点云配准中的常见操作。此处的目的是计算点云之间的几何和尺寸差异，避免不同的建筑类型被分为统一簇。
Figure 61542DEST_PATH_IMAGE011
是基元的纹理的RGB直方图差异，当直方图差异较大时，意味着基元所处建筑外立面的颜色感官层面上不相似，避免即便是同一个建筑，但采集时间不同导致光照不同的基元用于建筑修补的问题。
设建筑j的
Figure 436022DEST_PATH_IMAGE037
表示是建筑j与离它最近的第k个建筑之间的距离，在得到每个建筑的
Figure 266575DEST_PATH_IMAGE038
值后，将这些值升序排列，然后画成
Figure 509338DEST_PATH_IMAGE037
图，得到的
Figure 62941DEST_PATH_IMAGE037
图包含了建筑的编码距离的分布信息。
所述
Figure 936219DEST_PATH_IMAGE037
图中第一个波谷中的第一个点是阈值点；其中，
Figure 785226DEST_PATH_IMAGE037
图中的k值等于
Figure 972625DEST_PATH_IMAGE039
，所述阈值点对应的y轴的值就是得到的
Figure 489057DEST_PATH_IMAGE040
值。
首先随机选择一个建筑k作为初始样本，并且遍历所有未标记为“已处理”的建筑。找出可以从建筑k直接密度可达的建筑集合，得到建筑k的eps-邻域
Figure 533237DEST_PATH_IMAGE012
，即在建筑k的eps半径内的所有建筑的集合。如果
Figure 259753DEST_PATH_IMAGE013
，那么建筑k就是异常的建筑。将该建筑标记为“已处理”，然后再从未标记为“已处理”的建筑中随机选择下一个建筑。
如果
Figure 844318DEST_PATH_IMAGE014
，那么建筑k就是边缘建筑，不对建筑k进行任何操作，而是从未标记为“已处理”的建筑中随机选择下一个建筑；
如果
Figure 418519DEST_PATH_IMAGE015
，那么建筑k就是核心建筑，就可以开始一个组的聚类了；从核心建筑k开始聚类一个组，
Figure 571283DEST_PATH_IMAGE012
就是该组的一部分，然后再从
Figure 660461DEST_PATH_IMAGE012
中的所有建筑中找核心建筑，如果存在核心建筑q，则将该核心建筑的eps-邻域的
Figure 986401DEST_PATH_IMAGE016
中的所有建筑也归到该组中，将这些建筑都标记为“已处理”，并且从新加入的建筑中搜索核心建筑。
重复上述步骤，不断聚类，直到没有新的核心建筑为止，所有加入该组的建筑就组成了一个建筑组；一个组聚类结束后，再从未标记为“已处理”的建筑中随机选择一个建筑，继续上述所有的步骤，直到所有建筑都被标记为“已处理”，这时候所有建筑或者是噪声建筑，或者已经被分好组，到此为止，建筑分组阶段就结束了。
至此，建筑基于纹理、语义被区分为若干个簇，即可得到目标建筑所属的类别（也称之为簇）。
③根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补，生成最终的目标建筑；具体过程如下：
基于候选建筑基元反向索引到建筑库中的建筑模型，基于建筑模型，构建关联建筑数据集
Figure DEST_PATH_IMAGE042
；由于DBSCAN得到了多个簇，基于当前的建筑基元可以选择距离最近的簇，基于距离最近的簇即可反向索引到建筑库中的建筑模型，每种建筑模型都在语义、纹理、轮廓上与待修补的建筑的基元相似。
至此，将簇内建筑对应的基元复制为关联建筑数据集
Figure 900261DEST_PATH_IMAGE043
。
下面基于该类别进行相似建筑基元的替换，从而生成建筑模型合成结果。具体修补方式为：从关联建筑数据集
Figure 286243DEST_PATH_IMAGE043
中为上述J个待修补楼层选取最优的若干基元，基元数量大于J个。考虑到一些楼是较为独特的，与数据集中其余楼差异较大，则基元可以以一定重复次数出现，例如一栋楼的基元出现5次，则需要
Figure 472505DEST_PATH_IMAGE044
个楼的基元即可完成修补，若重复次数较少，则修补的建筑的多样性较好，若重复次数较多，则修补的建筑的统一性较好。
本实施例最优基元的选取方式是使用Kuhn-Munkres实现最大分配。对于若干基元和待替换的J个楼层模型中，关联建筑数据集
Figure 664452DEST_PATH_IMAGE043
的若干基元的第p个和楼层模型中某一层q，有如下匹配评价因子：
Figure 213245DEST_PATH_IMAGE045
，其中q是修补楼层，R为第p个基元到模型q层的L2差异值。差异值越大，意味着形状越不匹配，且颜色越不统一。因此基于R可得到建筑第q层待替换时，夹层q-1和q+1的兼容性S：
Figure 691500DEST_PATH_IMAGE004
构建二分图，一侧为若干个大于J个基元，一侧为J个待替换楼层，基于
Figure 755271DEST_PATH_IMAGE005
得到邻接矩阵，再基于Kuhn-Munkres算法得到二分图的最优匹配结果。
基于最优匹配结果，基元可以以最优方式替换至建筑的夹层q-1层和q+1层之间，其中，将最优匹配结果对应的基元对应的三维点云替换至夹层q-1层和q+1层之间即将三维点云对应的三角面信息替换至夹层q-1层和q+1层之间。至此，修补得到的目标建筑模型为颜色较为自然、语义无错误、无畸变、破面的建筑模型。由于无人机飞行次数和高度的限制导致建筑过高、过低的位置畸变严重畸变和模糊，需要修补的楼层周围的区域往往成像也比较差，因此，本实施例没有直接根据目标建筑的基元对待修补层进行了修补，而是结合了数据库中的样本建筑对目标建筑的待修补层进行了修补，生成的结果更准确。
本实施例基于非监督的带语义的基元生成和基元替换方式为建筑生成最优的修补解。基于修补解，本实施例可以基于语义和点云关联度的方式，以无监督的方式构建关联建筑数据集
Figure 360695DEST_PATH_IMAGE043
的最修补优解，从而基于最佳修补解生成修补后的建筑面轮廓。本实施例解决了斜扫数据贴图由于无人机高度和观测角度导致的畸变和模糊，后期修补时人工参与步骤过多，三维重建模型网格噪声过多，储存的点线面信息过多等问题。
需要说明的是，尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，上述变动和修改也落入本发明的范围。

Claims (6)

1.一种基于斜扫数据建筑面轮廓的快速生成方法，其特征在于，包括以下步骤：
利用倾斜摄影技术得到目标建筑的三维模型，基于深度神经网络对所述目标建筑的三维模型进行楼层语义切片处理，得到目标建筑的各层切片；构建目标建筑各层切片对应的语义向量，根据目标建筑各层切片对应的语义向量得到目标建筑对应的基准语义向量；
根据目标建筑各层切片对应的三维点云数据得到目标建筑各层切片对应的平面轮廓；根据目标建筑各层切片对应的平面轮廓得到目标建筑各层切片对应的点云异常变形度；根据目标建筑各层切片对应的点云异常变形度计算目标建筑各层与其它层之间的隶属度；
根据所述隶属度判断目标建筑中是否存在待修补层，若存在，则根据隶属度最大的设定个数的楼层得到目标建筑的三维点云基元和建筑纹理基元；根据目标建筑对应的基准语义向量、三维点云基元和建筑纹理基元构建目标建筑对应的特征描述符；将目标建筑对应的特征描述符与数据库中各样本建筑对应的特征描述符共同记为待聚类目标数据，并对所述待聚类目标数据进行聚类，得到目标建筑所属的类别，并根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补，生成最终的目标建筑。
2.根据权利要求1所述的基于斜扫数据建筑面轮廓的快速生成方法，其特征在于，所述根据目标建筑所属类别中样本建筑对应的三维点云基元和建筑纹理基元对目标建筑的待修补层进行修补，包括：
将目标建筑所属类别中样本建筑对应的基元复制为关联建筑数据集，从所述关联建筑数据集中为待修补楼层选取最优的若干基元，基元数量大于待修补楼层数量；基元包括基础语义向量、三维点云和建筑纹理信息；
使用Kuhn-Munkres实现最大分配：对于若干基元和待替换的J个楼层模型中，关联建筑数据集的若干基元的第p个和待修补的楼层模型中某一层q，匹配评价因子为：
Figure DEST_PATH_IMAGE002
，其中q是修补楼层，
Figure DEST_PATH_IMAGE004
为第p个基元到模型q层的L2差异值；
基于
Figure 928463DEST_PATH_IMAGE004
得到目标建筑第q层待替换时，夹层q-1和q+1的兼容性S：
Figure DEST_PATH_IMAGE006
构建二分图，一侧为若干个大于J个基元，一侧为J个待替换楼层，基于
Figure DEST_PATH_IMAGE008
得到邻接矩阵，再基于Kuhn-Munkres算法得到二分图的最优匹配结果；
基于最优匹配结果，将最优匹配结果对应的基元替换至建筑的夹层q-1层和q+1层之间。
3.根据权利要求1所述的基于斜扫数据建筑面轮廓的快速生成方法，其特征在于，所述对所述待聚类目标数据进行聚类，得到目标建筑所属的类别，包括：
计算任意两个建筑之间的距离，得到编码距离邻接矩阵
Figure DEST_PATH_IMAGE010
，矩阵中第
Figure DEST_PATH_IMAGE012
个元素表示建筑k和建筑j之间的距离，表示为：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE016
为语义信息的汉明距离差异；
Figure DEST_PATH_IMAGE018
为点云的几何距离差异；
Figure DEST_PATH_IMAGE020
是基元的纹理的RGB直方图差异；
随机选择一个建筑k作为初始样本，并且遍历所有未标记为已处理的建筑，找出可以从建筑k直接密度可达的建筑集合，得到建筑k的eps-邻域
Figure DEST_PATH_IMAGE022
，
Figure 439079DEST_PATH_IMAGE022
为在建筑k的eps半径内的所有建筑的集合；
如果
Figure DEST_PATH_IMAGE024
，那么建筑k就是异常的建筑；将该建筑标记为已处理，然后再从未标记为已处理的建筑中随机选择下一个建筑；
如果
Figure DEST_PATH_IMAGE026
，那么建筑k就是边缘建筑，不对建筑k进行任何操作，而是从未标记为已处理的建筑中随机选择下一个建筑；
如果
Figure DEST_PATH_IMAGE028
，那么建筑k就是核心建筑，开始一个组的聚类；从核心建筑k开始聚类一个组，
Figure 48177DEST_PATH_IMAGE022
就是该组的一部分，然后再从
Figure 974545DEST_PATH_IMAGE022
中的所有建筑中找核心建筑，如果存在核心建筑q，则将该核心建筑的eps-邻域的
Figure DEST_PATH_IMAGE030
中的所有建筑也归到该组中，将这些建筑都标记为已处理，并且从新加入的建筑中搜索核心建筑；
重复上述步骤，不断聚类，直到没有新的核心建筑为止，所有加入该组的建筑组成一个建筑组；一个组聚类结束后，再从未标记为已处理的建筑中随机选择一个建筑，继续上述所有的步骤，直到所有建筑都被标记为已处理，判定所有建筑或者是噪声建筑，或者已经被分好组，到此为止，建筑分组结束，得到目标建筑所属的类别。
4.根据权利要求1所述的基于斜扫数据建筑面轮廓的快速生成方法，其特征在于，所述深度神经网络为MaskR-CNN。
5.根据权利要求1所述的基于斜扫数据建筑面轮廓的快速生成方法，其特征在于，利用如下公式计算目标建筑各层与其它层之间的隶属度：
Figure DEST_PATH_IMAGE032
其中，
Figure DEST_PATH_IMAGE034
为目标建筑第i层的点云，
Figure DEST_PATH_IMAGE036
为目标建筑第j层的点云，
Figure DEST_PATH_IMAGE038
为
Figure 913551DEST_PATH_IMAGE034
和
Figure 1593DEST_PATH_IMAGE036
的ICP平移解，
Figure DEST_PATH_IMAGE040
为目标建筑第i层与其它层之间的隶属度，j为目标建筑中除第i层之外的其它层。
6.根据权利要求1所述的基于斜扫数据建筑面轮廓的快速生成方法，其特征在于，所述根据所述隶属度判断目标建筑中是否存在待修补层，包括：
基于隶属度对建筑各层切片进行递增排序，当最差的隶属度高于设定阈值时，判定该建筑无需修补；当最差的隶属度不高于设定阈值时则判定存在待修补层。
CN202210362614.9A 2022-04-08 2022-04-08 基于斜扫数据建筑面轮廓的快速生成方法 Active CN114510772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210362614.9A CN114510772B (zh) 2022-04-08 2022-04-08 基于斜扫数据建筑面轮廓的快速生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210362614.9A CN114510772B (zh) 2022-04-08 2022-04-08 基于斜扫数据建筑面轮廓的快速生成方法

Publications (2)

Publication Number Publication Date
CN114510772A true CN114510772A (zh) 2022-05-17
CN114510772B CN114510772B (zh) 2022-06-17

Family

ID=81555266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210362614.9A Active CN114510772B (zh) 2022-04-08 2022-04-08 基于斜扫数据建筑面轮廓的快速生成方法

Country Status (1)

Country Link
CN (1) CN114510772B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115203462A (zh) * 2022-07-12 2022-10-18 中国建筑西南设计研究院有限公司 一种基于多维度编码的建筑结构边缘构件识别方法和装置
CN116628834A (zh) * 2023-07-26 2023-08-22 北京飞渡科技股份有限公司 一种基于神经网络的轮廓分段矫正方法及装置
CN116958454A (zh) * 2023-09-21 2023-10-27 北京飞渡科技股份有限公司 基于图网络的建筑轮廓构建方法及模块
CN117475095A (zh) * 2023-10-11 2024-01-30 吉奥时空信息技术股份有限公司 一种实景三维建筑的分层分户建模方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598796A (zh) * 2020-12-28 2021-04-02 华东交通大学 基于广义点云的三维建筑物信息模型构建与自动更新的方法
WO2021186067A1 (en) * 2020-03-20 2021-09-23 Bim & Scan Limited A method for detecting correspondence of a built structure with a designed structure
CN114120149A (zh) * 2021-11-09 2022-03-01 肇庆市城市规划设计院 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021186067A1 (en) * 2020-03-20 2021-09-23 Bim & Scan Limited A method for detecting correspondence of a built structure with a designed structure
CN112598796A (zh) * 2020-12-28 2021-04-02 华东交通大学 基于广义点云的三维建筑物信息模型构建与自动更新的方法
CN114120149A (zh) * 2021-11-09 2022-03-01 肇庆市城市规划设计院 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张瑞菊等: "建筑物立面点云语义分割方法研究", 《城市勘测》 *
杜建丽等: "建筑点云几何模型重建方法研究进展", 《遥感学报》 *
胡海瑛等: "基于多基元特征向量融合的机载LiDAR点云分类", 《中国激光》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115203462A (zh) * 2022-07-12 2022-10-18 中国建筑西南设计研究院有限公司 一种基于多维度编码的建筑结构边缘构件识别方法和装置
CN115203462B (zh) * 2022-07-12 2023-04-28 中国建筑西南设计研究院有限公司 一种基于多维度编码的建筑结构边缘构件识别方法和装置
CN116628834A (zh) * 2023-07-26 2023-08-22 北京飞渡科技股份有限公司 一种基于神经网络的轮廓分段矫正方法及装置
CN116628834B (zh) * 2023-07-26 2023-10-20 北京飞渡科技股份有限公司 一种基于神经网络的轮廓分段矫正方法及装置
CN116958454A (zh) * 2023-09-21 2023-10-27 北京飞渡科技股份有限公司 基于图网络的建筑轮廓构建方法及模块
CN116958454B (zh) * 2023-09-21 2023-12-12 北京飞渡科技股份有限公司 基于图网络的建筑轮廓构建方法及装置
CN117475095A (zh) * 2023-10-11 2024-01-30 吉奥时空信息技术股份有限公司 一种实景三维建筑的分层分户建模方法及系统

Also Published As

Publication number Publication date
CN114510772B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN114510772B (zh) 基于斜扫数据建筑面轮廓的快速生成方法
CN109410321B (zh) 基于卷积神经网络的三维重建方法
CN113128405B (zh) 一种结合语义分割与点云处理的植物识别与模型构建方法
CN112489212B (zh) 一种基于多源遥感数据的建筑物智能化三维测图方法
CN111815757B (zh) 基于图像序列的大型构件三维重建方法
CN109903304B (zh) 一种基于卷积神经元网络和多边形规则化的建筑物轮廓自动提取算法
Yi et al. Urban building reconstruction from raw LiDAR point data
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
CN112347882B (zh) 一种智能分拣控制方法和智能分拣控制系统
CN111666434B (zh) 基于深度全局特征的街景图片检索方法
CN112347550B (zh) 耦合式室内三维语义建图及建模方法
CN114266891A (zh) 基于图像与激光数据融合的铁路运行环境异常辨识方法
CN110866934A (zh) 基于规范性编码的复杂点云分割方法及系统
CN112926441B (zh) 基于机器视觉的家居识别方法、系统、装置及介质
CN115032648B (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN111783722B (zh) 一种激光点云的车道线提取方法和电子设备
CN114612450B (zh) 基于数据增广机器视觉的图像检测分割方法、系统、电子设备
Kampel et al. An automated pottery archival and reconstruction system
CN114463396A (zh) 一种利用平面形状和拓扑图投票的点云配准方法
CN111597367B (zh) 基于视图和哈希算法的三维模型检索方法
CN117036429A (zh) 一种用于光伏缺陷检测的红外-可见光异源图像配准方法
CN116091559A (zh) 一种基于优选视角的装配状态识别方法
Budianti et al. Background blurring and removal for 3d modelling of cultural heritage objects
Sahebdivani et al. Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room Y579, 3rd Floor, Building 3, No. 9 Keyuan Road, Daxing District Economic Development Zone, Beijing 102600

Patentee after: Beijing Feidu Technology Co.,Ltd.

Address before: 102600 608, floor 6, building 1, courtyard 15, Xinya street, Daxing District, Beijing

Patentee before: Beijing Feidu Technology Co.,Ltd.

CP03 Change of name, title or address