CN114186603A - 多源模型单体化融合方法及系统、存储介质及终端 - Google Patents

多源模型单体化融合方法及系统、存储介质及终端 Download PDF

Info

Publication number
CN114186603A
CN114186603A CN202111142630.9A CN202111142630A CN114186603A CN 114186603 A CN114186603 A CN 114186603A CN 202111142630 A CN202111142630 A CN 202111142630A CN 114186603 A CN114186603 A CN 114186603A
Authority
CN
China
Prior art keywords
model
point cloud
points
models
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111142630.9A
Other languages
English (en)
Other versions
CN114186603B (zh
Inventor
王雪锋
王珏
齐焕然
李品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boneng Technology Co ltd
Original Assignee
Beijing Boneng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boneng Technology Co ltd filed Critical Beijing Boneng Technology Co ltd
Priority to CN202111142630.9A priority Critical patent/CN114186603B/zh
Publication of CN114186603A publication Critical patent/CN114186603A/zh
Application granted granted Critical
Publication of CN114186603B publication Critical patent/CN114186603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种多源模型单体化融合方法及系统、存储介质及终端，包括以下步骤：对BIM模型进行单体化；对点云数据模型进行单体化；对倾斜模型进行单体化；将单体化后的BIM模型、点云数据和倾斜模型进行匹配，获取融合后的多源模型。本发明的多源模型单体化融合方法及系统、存储介质及终端通过对BIM模型、点云数据模型、倾斜模型的单体化操作、模型匹配和纹理映射，实现了多源数据的融合。

Description

多源模型单体化融合方法及系统、存储介质及终端
技术领域
本发明涉及模型融合的技术领域，特别是涉及一种多源模型单体化融合方法及系统、存储介质及终端。
背景技术
随着现代工业数据、测绘技术等的高速发展，人们对三维模型的精度要求越来越高，单一途径获得的模型数据由于缺乏综合信息或精度不足，已经越来越无法满足实际需求。越来越多的学者开始考虑将多源模型数据融合在一起，以得到更高精度、更多纹理信息、材质更加准确的三维模型，同时满足实时、高速、轻量化的浏览需求。
现有技术中，常用的三维模型数据主要有以下三种：
(1)建筑信息模型(Building Information Modeling，BIM)数据
BIM数据通常是利用CAD设计图纸人工建模贴图得到的三维模型，具有建筑物、构筑物等的材质信息、纹理信息和属性信息，但其几何精度不是很高，纹理通常采用设计图纸或者是简单的照片贴图，精度也不是很高。
(2)点云数据
点云数据来源于激光测距仪，数据量大，几何精度比较高，通常只含有位置信息、强度信息、回波次数等信息，缺乏纹理信息、材质信息和属性信息。现有技术中，采用滤波和基于回波强度、回波次数的分类方法对点云进行分类来获取少许的属性信息，分类正确率在80％-90％，难以消除错误率，近几年也出现一些利用机器学习深度学习的技术来进行点云数据的分类，取得了更好的效果。
(3)倾斜三维模型数据
倾斜模型为利用多视立体匹配获得的三维模型，具有很真实的纹理特征，其几何精度随着重叠率的减少，会出现一些扭曲。倾斜模型建模完成后是一个整体，无法直接与精细化的属性信息相关联。对倾斜模型进行模型的分割和分类，多数还依赖于CAD图纸或者DOM提取到的数字线划地图(Digital Line Graphic，DLG)，所获得的属性信息量同样也比较少。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种多源模型单体化融合方法及系统、存储介质及终端，通过对BIM模型、点云数据模型、倾斜模型的单体化操作、模型匹配和纹理映射，实现了多源数据的融合。
为实现上述目的及其他相关目的，本发明提供一种多源模型单体化融合方法，包括以下步骤：对BIM模型进行单体化；对点云数据模型进行单体化；对倾斜模型进行单体化；将单体化后的BIM模型、点云数据和倾斜模型进行匹配，获取融合后的多源模型。
于本发明一实施例中，对BIM模型进行单体化包括以下步骤：
在所述BIM模型中，识别存在相交、相切或包含关系的模型；
对于存在相交或相切关系的模型，基于所述模型的三角面之间的超平面，建立所述模型的二叉空间分割树；判断构成相交或相切关系的另一模型的三角面在所述模型的内侧还是外侧，保留属于外侧的三角面，并建立两个模型三角面之间的拓扑关系，实现所述两个模型的外表面的几何信息的合并；
对于存在包含关系的模型，判断外侧模型是否存在漏洞；当所述外侧模型存在漏洞时，内侧模型视为可见，保留所述内侧模型的三角面，否则删除所述内侧模型的三角面；
对于需要进行几何和材质合并的两种模型，选择其中一个模型的材质为最终结果；对于需要进行纹理合并的两种模型，将待合并模型的纹理所对应的UV坐标转换到基准模型的UV坐标系下，并使得合并后的UV内部的图片纹理不出现空白区域。
于本发明一实施例中，对点云数据模型进行单体化包括以下步骤：
基于多尺度图卷积神经网络模型对所述点云数据进行分类；
基于分类结果，利用狄洛尼三角网原理，分别建立各类别的三角面模型；
采用边折叠方法，对所述三角面模型的三角面进行简化，使所述三角面模型的三角面数量为预设值。
于本发明一实施例中，对所述倾斜模型进行单体化包括以下步骤：
对所述倾斜模型进行两次纵向剖分，获取预设宽度范围内的剖面上的点；选取最低点作为地面点，建立一个包含n个点的动态队列；
选定最近的点，当所述动态队列的点的个数不足3个时，将所述最近的点直接压入所述动态队列；当所述个数大于等于3个时，计算所述动态队列所有的点构成的曲面的数学表达式，当所述最近的点到所述曲面的误差不大于阈值，将所述最近的点压入所述动态队列；当所述动态队列中已经有n个点时，压入新点时将最老的点溢出，使得所述动态队列始终保持n个点；
对于非地面点的模型分割处理时，复制队列中的最新点为地面连接点，断开与其他地面点的拓扑关系，将地面连接点和不压入所述动态队列的非地面点归类到地物模型中，并保持连接点和非地面点的拓扑关系；原三维模型上的地面点断开与非地面点之间的拓扑关系，并将非地面点删除；再处理新的附近的点，直到原三维模型上只剩下地面点，地物点和地面连接点都被复制到所述地物模型中去结束；其中地物模型之间是没有拓扑连接的一个个的单体模型。
于本发明一实施例中，将单体化后的BIM模型、点云数据和倾斜模型进行匹配包括以下步骤：
将单体化后的BIM模型、点云数据模型和倾斜模型的坐标均转换为世界坐标系；
分别建立单体化后的BIM模型、点云数据模型和倾斜模型的最小外包立方体，选取其中一种模型为基准模型，另外两种模型为待匹配模型；比较所述基准模型的最小外包立方体与所述待匹配模型的最小外包立方体的交集，选取交集最大的待匹配模型为粗匹配模型；
基于所述粗匹配模型的几何坐标点云数据，将剩余待匹配模型的坐标精确匹配到所述基准模型上；
修正所述基准模型的坐标，并将所述基准模型的边界拉直；
将边界拉直后的基准模型进行纹理和材质、属性信息的映射，得到所述融合后的多源模型。
于本发明一实施例中，基于ICP匹配算法将剩余待匹配模型的坐标精确匹配到所述基准模型上。
于本发明一实施例中，将边界拉直后的基准模型进行纹理和材质、属性信息的映射，得到所述融合后的多源模型包括以下步骤：
将所述BIM模型的材质和属性信息直接赋值给所述基准模型，将所述倾斜模型的纹理直接赋值给所述基准模型；
当某一模型出现漏洞或者部分缺失时，采用下级精度最高的模型信息进行递补。
本发明提供一种多源模型单体化融合系统，包括BIM模型单体化模块、点云数据模型单体化模块、倾斜模型单体化模块和融合模块；
所述BIM模型单体化模块用于对BIM模型进行单体化；
所述点云数据模型单体化模块用于对点云数据模型进行单体化；
所述倾斜模型单体化模块用于对倾斜模型进行单体化；
所述融合模块用于将单体化后的BIM模型、点云数据和倾斜模型进行匹配，获取融合后的多源模型。
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的多源模型单体化融合方法。
本发明提供一种多源模型单体化融合终端，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述多源模型单体化融合终端执行上述的多源模型单体化融合方法。
如上所述，本发明的多源模型单体化融合方法及系统、存储介质及终端，具有以下有益效果：
(1)利用BIM数据的材质、属性、纹理特征，点云的高精度特征以及倾斜影像的纹理、高精度特征，实现了多源模型的有效融合；
(2)融合后的模型具有几何精度高、纹理精度高、材质真实的特点。
附图说明
图1显示为本发明的多源模型单体化融合方法于一实施例中的流程图；
图2显示为本发明的BSP树于一实施例中的结构示意图；
图3显示为本发明的模型合并于一实施例中的结构示意图；
图4(a)显示为A模型的UV纹理图；
图4(b)显示为B模型的UV纹理图；
图4(c)显示为B模型的UV纹理图合并到A模型的纹理图的示意图；
图4(d)显示为A模型的UV纹理图合并到B模型的纹理图的示意图；
图5显示为本发明中采用多尺度图卷积神经网络模型进行点云数据分类于一实施例中的流程图；
图6显示为本发明中倾斜模型抽离出点之后于一实施例中的剖面图；
图7显示为本发明中模型粗匹配于一实施例中的俯视图；
图8显示为本发明的精确匹配于一实施例中的示意图；
图9显示为本发明的三维模型合并于一实施例中的示意图；
图10显示为本发明的多源模型单体化融合系统于一实施例中的结构示意图；
图11显示为本发明的多源模型单体化融合终端于一实施例中的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的多源模型单体化融合方法及系统、存储介质及终端通过对BIM模型、点云数据模型、倾斜模型的单体化操作、模型匹配和纹理映射，通过充分利用BIM数据的材质、属性、纹理特征，点云数据的高精度特征以及倾斜影像的纹理、高精度特征实现了多源数据的融合，极具实用性。
如图1所示，于一实施例中，本发明的多源模型单体化融合方法包括以下步骤：
步骤S1、对BIM模型进行单体化。
BIM数据是工业级别的三维模型表达，细节和零部件表达信息比较丰富，但在三维可视化时，需要进行BIM模型的简化和合并工作，以减少BIM模型的数据量。模型之间的关系主要有相交、相切、相离、包含几种。对于相离的模型，保持原始相离关系即可，故本发明主要处理为相交、相切和包含关系的模型，即内部包含的、不可视的模型无需表达，需要删除；多个零部件相交或相切共同表达一个完整的个体的模型需要进行合并。
于本发明一实施例中，对BIM模型进行单体化包括以下步骤：
11)在所述BIM模型中，识别存在相交、相切或包含关系的模型。
具体地，利用体素剖分法，即模型的最小外接立方体判断模型之间是否有相交。将无相交的模型归类为无需处理模型，将有相交、相切或包含关系的模型归类为待处理模型。
12)对于存在相交或相切关系的模型，基于所述模型的三角面之间的超平面，建立所述模型的二叉空间分割树(Binary Space Partition，BSP)；判断构成相交或相切关系的另一模型的三角面在所述模型的内侧还是外侧，保留属于外侧的三角面，并建立两个模型三角面之间的拓扑关系，实现所述两个模型的外表面的几何信息的合并。
当模型之间的关系为相交、相切时，首先寻找组成模型的三角面之间的超平面；然后一次建立如图2所示的模型的BSP树，判断组成被相交的模型的三角面是在所述模型的内侧还是外侧；留取外侧三角，保留属于外侧的三角面，并建立两个模型三角面之间的拓扑关系，即实现模型的外表面的几何信息的合并。其中，当被相交模型的三角面穿越相交模型三角面时，被相交模型的三角面被切割为两个三角面，然后对这两个三角面再分别进行判断。
如图3所示，两个三维模型(模型1和模型2)所在的最小外接矩形出现相交，分别建立模型1和模型2的BSP树。假设模型2的其中一个三角面为A2，找到A2在的模型1的BSP树上的节点，此节点处的三角面假设为A1,判断A1与A2之间的位置关系。当A2在A1所形成的法向量的负方向时，A2在A1模型的内侧；否则A2在A1模型的外侧。最后，将同处于外侧的三角面合并在一起。当A2中的三个点部分为正，部分为负时，说明A1面和A2面相交，将A2以交线进行切分为两个三角面A21和A22，然后再判断A21和A22是在模型1的内侧还是外侧。
13)对于存在包含关系的模型，判断外侧模型是否存在漏洞；当所述外侧模型存在漏洞时，内侧模型视为可见，保留所述内侧模型的三角面，否则删除所述内侧模型的三角面。
具体地，当模型之间的关系为包含于内部时，说明内部的模型可能需要进行删除处理。此时采用漏洞检测方法，判断外侧模型是否存在漏洞。当所述外侧模型存在漏洞时，内部模型视为可见，三角面保留；反之，删除所述内侧模型的三角面。这是因为，根据漏洞检测方法，认定每个封闭的模型，其上三角形的每个边均被两个三角形共有。当出现有一个三角形的边仅为自己所有时，判断该模型存在漏洞。对于存在漏洞的模型，将内部的三角面保留下来；对于封闭的模型，将内部的三角面删除。
14)对于需要进行几何和材质合并的两种模型，选择其中一个模型的材质为最终结果；对于需要进行纹理合并的两种模型，将待合并模型的纹理所对应的UV坐标转换到基准模型的UV坐标系下，并使得合并后的UV内部的图片纹理不出现空白区域。
具体地，对于需要进行几何和材质一起合并的模型，以一定的权值选择其中一个模型的材质为最终结果。例如，存在A模型和B模型需要合并，计算两个模型的体积，以体积大的模型的材质作为最终的材质。
对于需要进行纹理合并的两种模型，将待合并的纹理所对应的UV坐标转换到基准模型的UV坐标系下，同时保证合并后的UV内部的图片纹理摆放合理，不出现空白区域。例如，如图4(a)-图4(d)所示，利用A模型和B模型相交的点作为控制点，将B模型的纹理UV坐标通过平移、旋转、缩放变换到A模型的相对坐标系中；然后判断B模型的纹理UV与A模型的UV纹理之间是否出现叠加或者相距过远。如果是，则对B模型的纹理UV进行再次的平移、旋转和缩放，使得A模型和B模型的纹理达到紧凑且无像素重叠。
步骤S2、对点云数据模型进行单体化。
具体地，点云数据是激光采集到的是一系列无序的点的集合，所包含的信息主要有几何信息、回波次数、回波强度等。传统的点云数据分类通常采用滤波、基于回波强度和回波次数的分类方法，最近几年也新兴起利用机器学习和深度学习进行点云分类的方法。本发明采用分类精度比较高的多尺度图卷积神经网络模型来实现点云数据的分类。
于本发明一实施例中，对点云数据模型进行单体化包括以下步骤：
21)基于多尺度图卷积神经网络模型对所述点云数据进行分类。
具体地，在点云数据进行训练时，在升通道和降通道的过程中，采用图卷积核实现临近点到中心点的卷积运算。在每一个图卷积模块(GraphConv)中，采用多层感知器(MultiLayer Perceptron，MLP)对中心点xi的局部信息进行提取和学习；然后再利用一个最大池化层(MaxPooling)来聚合特征，实现输入n个点的D维度点云；通过图卷积后输出具有D'维点云特征的n个点。所述图卷积模块(GraphConv)的数学表达式为xi'＝Maxpooli(i,j)∈Ehθ(xi,xj-xi)。其中，hθ是学习参数θ构成的非线性激活函数，xi是第i个点，E是以i点为中心的临近点的集合，xj是第j个点。
如图5所示，采用多尺度图卷积神经网络模型进行点云数据分类时，采用以下方式：
a)点云的总点个数为n个点，每个点的维度为3，即(x,y,z)。
b)以距离xi最近的k个点作为邻近点,使用两个通道数都为m的图卷积模块提取点云的局部特征，m＝n/k＝64。对提取到的点云数据的高维特征进行多尺度特征提取，通道数分别设置为m＝64、32、16、8，逐步扩大邻域范围，每个尺度的特征提取都包含两个图卷积模块，通道数分别为64、128。
c)使用concat操作将多个尺度的特征融合。
d)添加一个通道数为1024的卷积层。使用最大池化获取到点云集合中最大的1024维特征值。
e)引入三层全连接层，输出为最终分类结果，为c个类别数据集的语义标签，全连接层的通道数分别为(512，256，c),取标签的概率最大的值作为最终的分类结果。需要说明的是，此处点的维度不止(x,y,z)3个维度，还需要考虑回波次数和回波强度信息，即点云的维度共为5维的数据。
22)基于分类结果，利用狄洛尼三角网原理，分别建立各类别的三角面模型。
具体地，根据所述分类结果，利用狄洛尼三角网原理，分别建立各类别的三角面模型。
23)采用边折叠方法，对所述三角面模型的三角面进行简化，减少三角面的数量，使所述三角面模型的三角面数量为预设值，即达到一个比较合理的程度。
步骤S3、对倾斜模型进行单体化。
具体地，利用DOM通过AI识别提取出的建筑物的轮廓，或者是通过手工绘制得到的建筑物的轮廓数据，直接利用轮廓对倾斜模型进行分割，实现模型的单体化。本发明直接利用倾斜模型自身的数据，利用滑动曲面拟合法，断开地面与地物之间三角面之间的拓扑关系，来得到各个单体模型。
于本发明一实施例中，对所述倾斜模型进行单体化包括以下步骤：
31)对所述倾斜模型进行两次纵向剖分，获取预设宽度范围内的剖面上的点；选取最低点作为地面点，建立一个包含n个点的动态队列。
具体地，倾斜模型是利用多视立体视觉获得的立体影像，通过立体匹配，构建三角网而得到的三角网模型。故对所述倾斜模型进行两次纵向剖分，获取一定宽度范围内的剖面上的点，该范围内包含有地面点；然后取如图6所示的最低点作为地面点，将地面点压入动态队列，建立一个包含n个点的动态队列，在此n可以等于6。
32)选定最近的点，当所述动态队列的点的个数不足3个时，将所述最近的点直接压入所述动态队列；当所述个数大于等于3个时，计算所述动态队列所有的点构成的曲面的数学表达式，当所述最近的点到所述曲面的误差不大于阈值，将所述最近的点压入所述动态队列；当所述动态队列中已经有n个点时，压入新点时将最老的点溢出，使得所述动态队列始终保持n个点。
33)对于非地面点的模型分割处理时，复制队列中的最新点为地面连接点，断开与其他地面点的拓扑关系，将地面连接点和不压入所述动态队列的非地面点归类到地物模型中，并保持连接点和非地面点的拓扑关系；原三维模型上的地面点断开与非地面点之间的拓扑关系，并将非地面点删除。再处理新的附近的点，直到原三维模型上只剩下地面点；地物点和地面连接点都被复制到所述地物模型中去结束，其中地物模型之间是没有拓扑连接的独立的单体模型。
其中，点与面之间的距离H为点到面的欧式距离D-、点与垂足点的纹理差R-、G-、B-,四个维度数的加权值可以表示为H＝f(D-，R-，G-，B-)。
步骤S4、将单体化后的BIM模型、点云数据和倾斜模型进行匹配，获取融合后的多源模型。
于本发明一实施例中，将单体化后的BIM模型、点云数据和倾斜模型进行匹配包括以下步骤：
41)将单体化后的BIM模型、点云数据模型和倾斜模型的坐标均转换为世界坐标系。
具体地，拾取BIM模型、点云数据模型、倾斜模型的若干个控制点，利用布尔莎七模型转换公式，将各个模型的坐标转换到世界坐标系中去。其中，设定D为世界坐标系与模型坐标系之间的平移向量，R为世界坐标系与模型坐标系之间的旋转矩阵。D和R已知，或者利用至少4组世界坐标系和模型坐标系之间的控制点进行反算得到近似值。世界坐标系为绝对坐标系，可以为WGS84坐标系，也可以是CGCS2000坐标系。
42)分别建立单体化后的BIM模型、点云数据模型和倾斜模型的最小外包立方体，选取其中一种模型为基准模型，另外两种模型为待匹配模型；比较所述基准模型的最小外包立方体与所述待匹配模型的最小外包立方体的交集，选取交集最大的待匹配模型为粗匹配模型。
具体地，建立各个模型的最小外包立方体，选取其中一种模型为基准模型，另外两种模型为待匹配模型。比较基准模型的最小外包立方体与待匹配模型的最小外包立方体的交集范围。当其中一种模型含有两个及其以上个待匹配模型时，以交集最大的待匹配模型为最终的粗匹配模型。
基准模型选择几何精度比较高的点云数据模型，计算基准模型的最小外包立方体与BIM模型和倾斜模型的最小外包立方体之间的交集。当基准模型出现一个待匹配模型时，直接认为该待匹配模型与基准模型对应，如图7所示，当基准模型出现了两个待匹配模型时，即待匹配模型1和待匹配模型2。比较点云数据模型的最小外包立方体与两个待匹配模型之间的交集的大小，以交集最大的待匹配模型2为粗匹配模型结果，即为第一待匹配模型。为了防止出现模型片区偏移导致的匹配错误，将待匹配模型1作为第二匹配模型压入基础模型的待匹配模型列表中。
43)基于所述粗匹配模型的几何坐标点云数据，将剩余待匹配模型的坐标精确匹配到所述基准模型上。
具体地，利用粗匹配模型的几何坐标点云数据，基于ICP匹配算法，将其他待匹配模型的坐标精确匹配到所述基准模型上。所述ICP算法是基于批量点云的一种利用最近点云簇搜索法实现点云数据最佳匹配的一种方法。
如图8所示，假设将BIM模型的点匹配到点云模型上来，利用ICP的点云匹配方法，多次选择点云簇计算点云的平移和旋转矩阵，直到平移向量和旋转向量的变化量在一定阈值范围内结束，即认为达到精确匹配的结果。
在匹配的过程中需要顾及到模型匹配的置信度(均方误差)，即匹配后的两个模型之间的误差值是否最小。如果备选模型的匹配置信度高于待匹配模型的匹配置信度，则选择备选模型作为最终的精确匹配模型。如果置信度比较低(均方误差比较大)，则考虑模型可能出现了区域性的批量偏移问题，如果区域范围内确实出现了大量的偏移，则在第一待匹配模型正确置信度比较低时，则考虑第二待匹配模型，当第二待匹配模型与基准模型的匹配置信度高于第一模型时，以第二模型为最终的结果，如果区域范围内未出现大量的偏移，则以模型无法匹配，给出错误匹配标识，供后续人工筛查。
44)修正所述基准模型的坐标，并将所述基准模型的边界拉直。
具体地，模型的几何精度具有先后优先级，一般来说BIM模型坐标精度最差，倾斜模型坐标精度次之、点云模型坐标精度最高，BIM模型的轻量化效果最好，倾斜数据量次之，点云数据量最大。
优选地，于一个实施例中，通过上述的模型匹配置信度信息来判断模型是否需要将BIM模型点坐标与倾斜模型点坐标进行加权计算。当匹配置信度很低时，优选地，认为精度比较高的点云模型点坐标作为基准模型的坐标。当匹配置信度很高时，则以一定的加权值计算得到的坐标，作为基准模型的坐标。
为了可视化效果更加美观，同时减少模型三角面数量，需要根据BIM模型的边界来拉直基准模型的边界。优选地，根据BIM模型的边界线的坐标，来提取一定范围内的基准模型上的点云集合，利用RANSAC算法，提取到点云集合的最佳符合直线，以此直线作为基准模型的边界线。
45)将边界拉直后的基准模型进行纹理和材质、属性信息的映射，得到所述融合后的多源模型，如图9所示。
于本发明一实施例中，将边界拉直后的基准模型进行纹理和材质、属性信息的映射，得到所述融合后的多源模型包括以下步骤：
将所述BIM模型的材质和属性信息直接赋值给所述基准模型，将所述倾斜模型的纹理直接赋值给所述基准模型；
当某一模型出现漏洞或者部分缺失时，采用下级精度最高的模型信息进行递补。
如图10所示，于一实施例中，本发明的多源模型单体化融合系统包括BIM模型单体化模块101、点云数据模型单体化模块102、倾斜模型单体化模块103和融合模块104。
所述BIM模型单体化模块101用于对BIM模型进行单体化。
所述点云数据模型单体化模块102用于对点云数据模型进行单体化。
所述倾斜模型单体化模块103用于对倾斜模型进行单体化。
所述融合模块104与所述BIM模型单体化模块101、所述点云数据模型单体化模块102和所述倾斜模型单体化模块103相连，用于将单体化后的BIM模型、点云数据和倾斜模型进行匹配，获取融合后的多源模型。
其中，BIM模型单体化模块101、点云数据模型单体化模块102、倾斜模型单体化模块103和融合模块104的结构和原理与上述多源模型单体化融合方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
本发明的存储上存储有计算机程序，该程序被处理器执行时实现上述的多源模型单体化融合方法。所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图11所示，于一实施例中，本发明的多源模型单体化融合终端包括：处理器111及存储器112。
所述存储器112用于存储计算机程序。
所述存储器112包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器111与所述存储器112相连，用于执行所述存储器112存储的计算机程序，以使所述多源模型单体化融合终端执行上述的多源模型单体化融合方法。
优选地，所述处理器111可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的多源模型单体化融合方法及系统、存储介质及终端利用BIM数据的材质、属性、纹理特征，点云的高精度特征以及倾斜影像的纹理、高精度特征，实现了多源模型的有效融合；融合后的模型具有几何精度高、纹理精度高、材质真实的特点。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种多源模型单体化融合方法，其特征在于：包括以下步骤：
对BIM模型进行单体化；
对点云数据模型进行单体化；
对倾斜模型进行单体化；
将单体化后的BIM模型、点云数据和倾斜模型进行匹配，获取融合后的多源模型。
2.根据权利要求1所述的多源模型单体化融合方法，其特征在于：对BIM模型进行单体化包括以下步骤：
在所述BIM模型中，识别存在相交、相切或包含关系的模型；
对于存在相交或相切关系的模型，基于所述模型的三角面之间的超平面，建立所述模型的二叉空间分割树；判断构成相交或相切关系的另一模型的三角面在所述模型的内侧还是外侧，保留属于外侧的三角面，并建立两个模型三角面之间的拓扑关系，实现所述两个模型的外表面的几何信息的合并；
对于存在包含关系的模型，判断外侧模型是否存在漏洞；当所述外侧模型存在漏洞时，内侧模型视为可见，保留所述内侧模型的三角面，否则删除所述内侧模型的三角面；
对于需要进行几何和材质合并的两种模型，选择其中一个模型的材质为最终结果；对于需要进行纹理合并的两种模型，将待合并模型的纹理所对应的UV坐标转换到基准模型的UV坐标系下，且合并后的UV内部的图片纹理不出现空白区域。
3.根据权利要求1所述的多源模型单体化融合方法，其特征在于：对点云数据模型进行单体化包括以下步骤：
基于多尺度图卷积神经网络模型对所述点云数据进行分类；
基于分类结果，利用狄洛尼三角网原理，分别建立各类别的三角面模型；
采用边折叠方法，对所述三角面模型的三角面进行简化，使所述三角面模型的三角面数量为预设值。
4.根据权利要求1所述的多源模型单体化融合方法，其特征在于：对所述倾斜模型进行单体化包括以下步骤：
对所述倾斜模型进行两次纵向剖分，获取预设宽度范围内的剖面上的点；选取最低点作为地面点，建立一个包含n个点的动态队列；
选定最近的点，当所述动态队列的点的个数不足3个时，将所述最近的点直接压入所述动态队列；当所述个数大于等于3个时，计算所述动态队列所有的点构成的曲面的数学表达式，当所述最近的点到所述曲面的误差不大于阈值，将所述最近的点压入所述动态队列；当所述动态队列中已经有n个点时，压入新点时将最老的点溢出，使得所述动态队列始终保持n个点；
对于非地面点的模型分割处理时，复制队列中的最新点为地面连接点，断开与其他地面点的拓扑关系，将地面连接点和不压入所述动态队列的非地面点归类到地物模型中，并保持连接点和非地面点的拓扑关系；原三维模型上的地面点断开与非地面点之间的拓扑关系，并将非地面点删除；再处理新的附近的点，直到原三维模型上只剩下地面点，地物点和地面连接点都被复制到所述地物模型中去结束；其中地物模型之间是没有拓扑连接的一个个的单体模型。
5.根据权利要求1所述的多源模型单体化融合方法，其特征在于：将单体化后的BIM模型、点云数据和倾斜模型进行匹配包括以下步骤：
将单体化后的BIM模型、点云数据模型和倾斜模型的坐标均转换为世界坐标系；
分别建立单体化后的BIM模型、点云数据模型和倾斜模型的最小外包立方体，选取其中一种模型为基准模型，另外两种模型为待匹配模型；比较所述基准模型的最小外包立方体与所述待匹配模型的最小外包立方体的交集，选取交集最大的待匹配模型为粗匹配模型；
基于所述粗匹配模型的几何坐标点云数据，将剩余待匹配模型的坐标精确匹配到所述基准模型上；
修正所述基准模型的坐标，并将所述基准模型的边界拉直；
将边界拉直后的基准模型进行纹理和材质、属性信息的映射，得到所述融合后的多源模型。
6.根据权利要求5所述的多源模型单体化融合方法，其特征在于：基于ICP匹配算法将剩余待匹配模型的坐标精确匹配到所述基准模型上。
7.根据权利要求5所述的多源模型单体化融合方法，其特征在于：将边界拉直后的基准模型进行纹理和材质、属性信息的映射，得到所述融合后的多源模型包括以下步骤：
将所述BIM模型的材质和属性信息直接赋值给所述基准模型，将所述倾斜模型的纹理直接赋值给所述基准模型；
当某一模型出现漏洞或者部分缺失时，采用下级精度最高的模型信息进行递补。
8.一种多源模型单体化融合系统，其特征在于：包括BIM模型单体化模块、点云数据模型单体化模块、倾斜模型单体化模块和融合模块；
所述BIM模型单体化模块用于对BIM模型进行单体化；
所述点云数据模型单体化模块用于对点云数据模型进行单体化；
所述倾斜模型单体化模块用于对倾斜模型进行单体化；
所述融合模块用于将单体化后的BIM模型、点云数据和倾斜模型进行匹配，获取融合后的多源模型。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的多源模型单体化融合方法。
10.一种多源模型单体化融合终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述多源模型单体化融合终端执行权利要求1至7中任一项所述的多源模型单体化融合方法。
CN202111142630.9A 2021-09-28 2021-09-28 多源模型单体化融合方法及系统、存储介质及终端 Active CN114186603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111142630.9A CN114186603B (zh) 2021-09-28 2021-09-28 多源模型单体化融合方法及系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111142630.9A CN114186603B (zh) 2021-09-28 2021-09-28 多源模型单体化融合方法及系统、存储介质及终端

Publications (2)

Publication Number Publication Date
CN114186603A true CN114186603A (zh) 2022-03-15
CN114186603B CN114186603B (zh) 2022-07-01

Family

ID=80601373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111142630.9A Active CN114186603B (zh) 2021-09-28 2021-09-28 多源模型单体化融合方法及系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN114186603B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115113952A (zh) * 2022-08-30 2022-09-27 天津理工大学 Cim平台下海量高精度多源模型加载方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866945A (zh) * 2019-11-13 2020-03-06 镜城科技(杭州)有限公司 一种倾斜摄影模型自动识别生成三维树的方法
CN112163251A (zh) * 2020-08-24 2021-01-01 北京航空航天大学 建筑模型单体化方法、装置、存储介质及电子设备
CN112633350A (zh) * 2020-12-18 2021-04-09 湖北工业大学 一种基于图卷积的多尺度点云分类实现方法
CN112927360A (zh) * 2021-03-24 2021-06-08 广州蓝图地理信息技术有限公司 一种基于倾斜模型与激光点云数据融合的三维建模方法和系统
CN113112603A (zh) * 2021-04-09 2021-07-13 北京沃东天骏信息技术有限公司 三维模型优化的方法和装置
CN113298947A (zh) * 2021-04-28 2021-08-24 江苏省送变电有限公司 一种基于多源数据融合的变电站三维建模方法介质及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866945A (zh) * 2019-11-13 2020-03-06 镜城科技(杭州)有限公司 一种倾斜摄影模型自动识别生成三维树的方法
CN112163251A (zh) * 2020-08-24 2021-01-01 北京航空航天大学 建筑模型单体化方法、装置、存储介质及电子设备
CN112633350A (zh) * 2020-12-18 2021-04-09 湖北工业大学 一种基于图卷积的多尺度点云分类实现方法
CN112927360A (zh) * 2021-03-24 2021-06-08 广州蓝图地理信息技术有限公司 一种基于倾斜模型与激光点云数据融合的三维建模方法和系统
CN113112603A (zh) * 2021-04-09 2021-07-13 北京沃东天骏信息技术有限公司 三维模型优化的方法和装置
CN113298947A (zh) * 2021-04-28 2021-08-24 江苏省送变电有限公司 一种基于多源数据融合的变电站三维建模方法介质及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
何原荣 等: "基于三维激光扫描与无人机倾斜摄影技术的古建筑重建", 《遥感技术与应用》 *
何晓颖 等: "倾斜摄影与BIM技术在园林改造工程中的数字化应用", 《数字建造》 *
宋关福 等: "新一代三维GIS在自然资源与不动产信息管理中的应用", 《测绘通报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115113952A (zh) * 2022-08-30 2022-09-27 天津理工大学 Cim平台下海量高精度多源模型加载方法及系统
CN115113952B (zh) * 2022-08-30 2022-11-08 天津理工大学 Cim平台下海量高精度多源模型加载方法及系统

Also Published As

Publication number Publication date
CN114186603B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
Orbay et al. Beautification of design sketches using trainable stroke clustering and curve fitting
Ji et al. A novel simplification method for 3D geometric point cloud based on the importance of point
CN111191583B (zh) 基于卷积神经网络的空间目标识别系统及方法
CN110599506B (zh) 一种复杂异形曲面机器人三维测量的点云分割方法
US11704802B2 (en) Multi-dimensional model merge for style transfer
EP1586020A2 (en) Methods, systems, and data structures for performing searches on three dimensional objects
CN114926699B (zh) 一种室内三维点云语义分类方法、装置、介质及终端
CN115661374B (zh) 一种基于空间划分和模型体素化的快速检索方法
CN114694139B (zh) 一种数控机床复杂结构件加工特征识别方法及系统
Tabib et al. Learning-based hole detection in 3D point cloud towards hole filling
CN114186603B (zh) 多源模型单体化融合方法及系统、存储介质及终端
CN115457195A (zh) 一种配网工程图纸二三维转换方法、系统、设备及介质
CN117475170B (zh) 基于fpp的由局部到全局结构引导的高精度点云配准方法
Liu et al. PolishNet-2d and PolishNet-3d: Deep learning-based workpiece recognition
CN114943130A (zh) 分割表示机械部件的3d建模对象
CN111862176B (zh) 基于腭皱襞的三维口腔点云正畸前后精确配准方法
CN110348311B (zh) 一种基于深度学习的道路交叉口识别系统及方法
CN115423854B (zh) 一种基于多尺度特征提取的多视角点云配准及点云融合方法
CN114972947A (zh) 一种基于模糊语义建模的深度场景文本检测方法和装置
CN115147692A (zh) 目标检测方法、装置、电子设备及存储介质
Liu et al. An approach to 3D building model retrieval based on topology structure and view feature
CN113487741A (zh) 稠密三维地图更新方法及装置
Takashima et al. Shape descriptor-based similar feature extraction for finite element meshing
Urick et al. Reconstruction of gap-free intersections for trimmed NURBS surfaces
CN114331827B (zh) 风格迁移方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant