CN117237541B - 基于建筑立面点云的多视角投影主体结构建模方法及系统 - Google Patents
基于建筑立面点云的多视角投影主体结构建模方法及系统 Download PDFInfo
- Publication number
- CN117237541B CN117237541B CN202311491187.5A CN202311491187A CN117237541B CN 117237541 B CN117237541 B CN 117237541B CN 202311491187 A CN202311491187 A CN 202311491187A CN 117237541 B CN117237541 B CN 117237541B
- Authority
- CN
- China
- Prior art keywords
- line
- building
- polygon
- boundary
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 230000011514 reflex Effects 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于建筑立面点云的多视角投影主体结构建模方法及系统，该方法包括：对目标建筑物进行多站点布置，根据各个站点下投影的目标建筑物提取特征边界线；将目标建筑物的影像图输入到L‑CNN深度学习网络中，提取特征图中的线段以及线特征；构建图割理论的能量模型，实现最优线特征划分；对建筑主体结构轮廓线进行由线到面的组合，得到复杂多边形并规则化其边界，得到建筑物规则化后的面片；将属于同一建筑的所有面片组装后得到完整建筑表面模型。本发明可有效提高建筑三维点云的重建精度，主体结构线特征提取的完整性达到了95%，建筑物主体结构的模型表达精度较高，建筑物主体结构点云到相应三维模型的平均距离和标准差均小于0.1m。
Description
技术领域
本发明属于建筑主体结构建模技术领域，具体涉及基于建筑立面点云的多视角投影主体结构建模方法及系统。
背景技术
基于三维点云的建筑自动建模是一种快速生成建筑物三维实景模型的方法，提供了一种便捷的手段获取研究场景中所含的各类建筑物模型，其简便、高效的优点使其成为当前城市场景三维建模的重要技术手段。针对建筑结构的建模方法可分为主体结构建模及细部结构建模，主体结构是建筑的框架，其定义了建筑的大致形状，满足大范围场景中的研究需要，因此，目前流行的建模方法都是针对建筑主体结构的建模。
然而，现有三维点云建筑重建中存在缺陷，如：三维点云采集过程中不可避免的噪声问题，以及点云数据的部分缺失，致使三维建筑模型缺乏足够的几何精度，且稳健性较差、自动化程度较低，制约了其适用范围，无法满足城市范围的三维重建需求。
点云噪声或数据缺失多为传感器限制、采集设备固有及场景中物体表面伪影及反射的影响，为使得三维点云重建不受影响，现有的方法大多采用拟合几何图形的策略，如使用随机样本一致性方法(RANSAC)进行点云形状的检测，用一个多边形代替无组织的点云平面，检测到的平滑几何形状就作为当前点云平面的替代。但多边形应用于三维建筑重建上有其几何严谨性不足的问题，因此，现有的方法从线特征入手，使用基于泊松分布的统计模型作为从点云中提取特征点的工具，利用区域信息分析对边界/边缘点进行聚类，识别角点，获取特征线的连接信息。最后，基于边界点簇的几何表示来重建完整的特征线。此外，也有直接基于三维的重建策略。例如：预先构建多个不同屋顶类型的基础模型，通过检测目标建筑点云的屋顶形状，选择合适的模型修改其对应的参数从而成功拟合原始点云，达到重建的目的。
上述方法大多采用预定义算法，极少考虑实际环境中建筑结构的多样性问题；而且，现有方法大多需要建筑点云的屋顶及竖直面都尽可能完整，但当前最流行的机载点云扫描方法对于竖直面的扫描存在缺失。
发明内容
发明目的：本发明的目的在于克服由三维建筑点云噪声引起的重建模型几何精度低，无法反映建筑物真实形态的问题，提出基于建筑立面点云的多视角投影主体结构建模方法，本发明还搭建了基于建筑立面点云的多视角投影主体结构建模系统。
技术方案：一方面，本发明提供基于建筑立面点云的多视角投影主体结构建模方法，包括以下步骤：
S1对目标建筑物进行多站点布置，根据各个站点下投影的目标建筑物特征边界线，进而筛选出最佳站点组合；
S2将根据最佳站点组合所得到的目标建筑物的影像图输入到L-CNN深度学习网络中，进而提取特征图中的线段以及线特征，所述线特征包括建筑主体结构的轮廓线特征和描述细节特征的冗余线特征；
S3通过线段间的距离、方向、角度等拓扑信息量化各线特征，并构建图割理论的能量模型，选用最大流最小割的方法提取出建筑的主体结构轮廓线；
S4对建筑主体结构轮廓线进行由线到面的组合，得到复杂多边形并规则化其边界，得到建筑物规则化后的面片；
S5模型以面为最小存储单元，选择基于面片边界多边形凹点的网格模型优化算法，将多边形的凹点根据顺时针排列存储，将属于同一建筑的所有面片组装后得到完整建筑表面模型。
进一步的，包括：
所述最佳站点组合的筛选方法包括以下步骤：
S11综合目标建筑物的高度特征与面片信息获取建筑物的特征边界线；
S12对特征边界线进行边界线分段，利用格网对边界线线段的可视性计算格网分数，格网分数计算的原理为：若边界线的某线段被第一站点组合观察到，则认为该线段对所述第一站点组合贡献大，并给第一站点组合赋予分数；
S13通过分数的比较筛选出最佳站点组合；所述第一站点组合对应站点的个数为一个或者两个，在百分制的情况下，给第一站点组合赋予分数90分及以上；所述最佳站点组合指分数排名最高的两个站点或者三个站点。
进一步的，包括：
所述L-CNN深度学习网络包括：主干网络、节点预测模块、线路采样模块和线路矫正模块，所述目标建筑物的影像图经过主干网络抽取特征得到特征图，特征图经过卷积得到结点候选概率图，线段采集模块根据节点候选概率图进行线段采样，作为可能存在的线段输入线路矫正模块中，通过线路矫正模块中的线段验证器对采样出来的线段进行判断，每条采样出来的线段会根据特征图得到该线段的线特征。
进一步的，包括：
所述步骤S3中，构建图割理论的能量模型，并当能量模型最小时，实现最优线特征划分，进而提取出建筑主体结构的轮廓线；具体包括：
图割理论的能量模型表示如下：
；
其中，为数据项，/>为平滑项，/>是线特征标记，其中，1表示建筑主体结构的轮廓线，0表示冗余线，/>为权重系数，其定义了数据项和平滑项的重要程度；
所述数据项表示为候选线段集合的长度、方向，也即无向图中的顶点，所述平滑项表示为线段间的关系，也即无向图的边。
进一步的，包括：
所述数据项表示为：
；
其中，是待分类线段的集合，/>是待分类线段所属的线特征标记，/>为线段/>的数据项，其是测量线/>被赋予标签/>时，与真实测量值之间的差距；/>为加权图结构的内部节点被两类标签时的权重，定义如下：
；
其中，为待分类线段/>的长度，/>为待分类线段集合中最长的线段，/>表示与方向相同的线段个数，/>表示在主体线选取时，归类建筑物大致方向的线段的集合数，/>和/>分别代表两项的权重。
进一步的，包括：
所述平滑项表示为：
；
其中，N是相邻线段的集合，用于衡量两个相邻线段的平滑程度，值越小，/>之间的边越容易被切割，定义如下：
；
其中，表示线段/>与/>端点最近的几何距离，/>是一个指示器，如果/>的标签相同，其值为0，否则为1，因此，当点/>之间的距离越大，/>的值越小，从而把这两条线段分开。
进一步的，包括：
所述步骤S4中，规则化所述多边形的边界，得到建筑物规则化后的面片，包括确定两相邻面的位置关系：
缝隙或过相交：两面的相邻端点在空间坐标系上取均值，得到一个中间点，两对相邻端点得到两个中间点，中间点的连线即为相邻面的共线；
凹多边形部分缺失：通过平滑性检测判断两多边形的相邻边是否为折线，若为折线则删除拐点重新连接该相邻边的端点，同样，若存在多个拐点，则多次迭代直至相邻边为直线，最后消除缝隙或过相交情况。
进一步的，包括：
所述步骤S5中，基于面片边界多边形凹点的网格模型优化算法包括：
对各面片所含的端点进行顺时针排列，选定一个非优角，根据相邻顶点相邻的叉乘结果为面的法向量朝上，遍历整个多边形顶点的叉乘结果，若法向量朝下，则该点为凹点；将多边形的各个凹点根据顺时针排列存储，生成obj格式的面片，并将属于同一建筑的所有面片组装，进而得到规则化的建筑模型；
所述obj格式的面片生成步骤包括：
S51任意选定一个非优角，并确定当前面片法向量；
S52根据当前面片法向量在多边形内部寻找为优角的顶点，该顶点记为C，从C开始遍历，如遇到非优角，则继续遍历，直到找到下一个优角，对应的顶点记为N，则得到对应的凸多边形C-...-N；
S53找到下一个为优角的顶点，采用步骤S52中的遍历方法，得到另一个凸多边形；重复直到遍历整个多边形顶点，进而成功分割出全部的凸多边形。
另一方面，本发明还提供基于建筑立面点云的多视角投影主体结构建模系统，该系统包括：
站点布置模块，用于对目标建筑物进行多站点布置，根据各个站点下投影的目标建筑物特征边界线，进而筛选出最佳站点组合；
线段特征提取模块，用于将根据最佳站点组合所得到的目标建筑物的影像图输入到L-CNN深度学习网络中，进而提取特征图中的线段以及线特征，所述线特征包括建筑主体结构的轮廓线特征和描述细节特征的冗余线特征；
线段判断模块，用于通过线段间的距离、方向、角度等拓扑信息量化各线特征，并构建图割理论的能量模型，选用最大流最小割的方法提取出建筑的主体结构轮廓线；
面片规则化模块，用于对建筑主体结构轮廓线进行由线到面的组合，得到复杂多边形并规则化其边界，得到建筑物规则化后的面片；
模型构建模块，用于选择基于面片边界多边形凹点的网格模型优化算法，将多边形的凹点根据顺时针排列存储，将属于同一建筑的所有面片组装后得到完整建筑表面模型。
最后，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的方法。
有益效果：不同于现有的三维建筑点云重建方法，本发明经由面片提取，通过面片的边界多边形来描述建筑物，从而间接构建建筑物主体结构模型，从而本发明提高了线特征提取的准确性，提出了一种多视图站点的投影方法，并基于深度学习结合二维影像实现了三维点云线特征的提取与规则化过程；
本发明还提出了基于多视角投影的主体模型重建方法，利用提取的三维候选线段构建了最小割能量模型；然后，通过图割求解的方式获得建筑物的主体框架线并对其线特征进行优化，将建筑主体框架线拼接成边界多边形，对单一边界多边形规则化，对相邻多边形消除缝隙、过相交等几何位置误差，最后组装所有优化后的多边形得到建筑物的主体结构三维模型；
本发明可有效提高建筑三维点云的重建精度，主体结构线特征提取的完整性达到了95%，建筑物主体结构的模型表达精度较高，建筑物主体结构点云到相应三维模型的平均距离和标准差均小于0.1m，表明利用本发明重建的建筑物模型不仅能够反映建筑物的真实形态，且具有可靠的几何精度，获取的建筑物主体模型能够以其本身较为精确的几何结构表示建筑物主体结构。
附图说明
图1是本发明实施例所述的基于建筑立面点云的多视角投影主体结构建模方法的流程图；
图2是本发明实施例中某一高度多视角站点选择结果示意图；
图3是本发明实施例所述的图割模型的实例图；
图4(a)为本发明实施例中图割优化线特征结果中建筑物一些较为明显的线特征；图4(b)为经过候选线段选取优化算法后建筑物的主体结构线段；
图5(a)为本发明实施例中建筑物面片线特征示意图中的建筑物面片模型；图5(b)为优化前两平面间的位置关系；图5(c)与图5(e)为由于面特征提取算法的限制，导致面片部分缺失或面片间存在缝隙的情况；图5(d)与图5(f)为消除缺失或缝隙后的情况；
图6(a)为本发明实施例中边界多边形顶点顺时针方向排列；图6(b)为本发明实施例中生成的obj格式面片。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的说明。
本发明将在原有建筑点云数据的基础上，通过多站点投影的方式得到建筑立面的二维影像，使得数据类型更丰富，对二维影像选择L-CNN神经网络提取建筑立面轮廓线并采用图割求解建筑点云主体结构轮廓线，拼接轮廓线得到复杂多边形，对其规则化并优化两相邻多边形间的几何位置关系，组装同一建筑优化后的多边形面片得到建筑物主体结构三维模型，实现点云与重建模型的空间统一。
该方法主要包含三个模块：①综合多视角投影与深度学习的线特征提取；②采用图割理论的结构线优化方法；③封装结构线的建筑主体模型构建，具体的：
第一方面，本发明提供基于建筑立面点云的多视角投影主体结构建模方法，如图1所示，包括以下步骤：
S1对目标建筑物进行多站点布置，根据各个站点下投影的目标建筑物特征边界线，进而筛选出最佳站点组合，最后，投影建筑物外表面得到建筑物多个表面的影像信息。
S11综合目标建筑物的高度特征与面片信息获取建筑物的特征边界线；
S12对特征边界线进行边界线分段，利用格网对边界线线段的可视性计算格网分数，格网分数计算的原理为：若边界线的某线段被第一站点组合观察到，则认为该线段对该第一站点组合贡献大，进而赋予第一站点组合较高的分数。
如附图2的建筑左侧面是一个整体就只需要一个站点1，而附图2的上部面的最左边有小线段，就需要多一个站点2保证小线段也可以被影像采集设备扫描到，成功输入到数据集中使得数据采集更完整。因此，这些站点将被给予更高的优先级选择；最后，通过分数的比较筛选出最佳站点组合。最佳站点组合指分数排名最高的两个站点或者三个站点，在其他建筑外表面非常复杂的情况下可能会有三个及以上站点。更加详细的，如附图2对应建筑的上部面放置了站点2和站点3，因为建筑上部面的左边有小线段，上部面只用一个站点3的话就会漏掉最左边的小线段，因此，对一个面所有的线段进行加权组合的时候就要保证诸如这些小线段也可以被扫描到，因此，如附图2上部的站点2和站点3就是该面的最佳站点组合。
S2将根据最佳站点组合所得到的目标建筑物的影像图输入到L-CNN深度学习网络中，进而提取特征图中的线段以及线特征，所述线特征包括建筑主体结构的轮廓线特征和描述细节特征的冗余线特征。
本发明选用L-CNN神经网络是一种执行端到端线框解析的算法。该网络分为四部分：特征提取主干、节点预测模块、线路采样模块和线路矫正模块。
以步骤S1中所采集的多视角建筑外立面图像作为输入，神经网络在不使用启发式的情况下直接生成矢量化表示。该系统是完全可微分的，可以通过反向传播进行端到端训练，使其能够充分利用最先进的神经网络架构来解析场景。
结合L-CNN深度学习网络，提取输入影像中建筑的边缘轮廓线。根据最佳站点组合所得到的RGB图片，经过主干网络抽取特征得到一张特征图；特征图经过一些卷积会得到结点候选概率图，根据节点的候选概率图，线段采集器会采样影像中的线段，作为可能存在的线段输入线路矫正模块；最后通过矫正模块中的线段验证器对采样出来的线段进行判断，每条采样出来的线段会根据特征图得到该线段的特征，进行判别。其中，线段采集器属于线路采样模块，将线特征提取，放入下一步的线路矫正模块中。
S3通过线段间的距离、方向、角度的拓扑信息量化各线特征，并构建图割理论的能量模型，并当能量模型最小时，实现最优线特征划分，进而提取出建筑主体结构的轮廓线。
步骤S3中本发明构建了最小割能量模型。假定有一个联合概率分布P(X)，如果使用无向图来表达，节点表示一个或一组变量，节点之间的边表示无向图中两个变量间的依赖关系，节点和边分别记作v和e，对应的集合分别记作V和E，无向图表示为G=（V,E）。如果联合概率分布P(X)满足成对、局部或全局马尔可夫性，则此联合概率分布为最小割能量模型。
从建筑物中提取出各平面特征，这里三维线段作为平面的组成成分，将其导入最小割能量模型实现对步骤S2提取到的线特征进行筛选，当能量函数最小时，实现最优线特征划分，筛选出建筑主体轮廓线。
数据项将线特征数据连接到对应的类标签，确定每个节点的最可能的分类标签。初始值可以从线段初始长度获得。在线特征数据项构建方面，首先考虑的是线段的长度，一般来说，较长的线段在主体线段选取时应该拥有较高的权重，较长的线更可能是主体框架线，因此，对应的数据项的值更高。
另外，线段的方向也应该作为必须考虑的重要因素。因此数据项定义如下：
（1）
其中，是待分类线的集合，/>是待分类线所属的线特征标记（0表示非主体框架线，1表示主体框架线），/>为线/>的数据项，主要是测量线/>被赋予标签/>时，与真实测量值之间的差距。/>为加权图结构的内部节点被两类标签时的权重，定义如下：
（2）
式中，为待分类线段/>的长度，/>为待分类线段集合中最长的线段，/>表示与方向相同的线段个数，/>表示在主体线选取时，归类建筑物大致方向的线段的集合数，/>和/>分别代表两项的权重。从公式中可以看出，长线段与建筑物主体方向的线段更容易赋予更高的权重，从而被保留。
平滑项与无向图中的每条边相关联，它直观地描述了候选线段中相邻的两个线段的空间邻接关系，属于主体框架线的可能性。其定义如下：
（3）；
其中，N是相邻线段的集合，用于衡量两个相邻线段的平滑程度，值越小，/>之间的边越容易被切割，定义如下：
（4）；
其中，表示线段/>与/>端点最近的几何距离，/>是一个指示器，如果/>的标签相同，其值为0，否则为1，因此，当点/>之间的距离越大，/>的值越小，从而把这两条线段分开。从公式表达中可以发现，当点/>之间的距离越大，/>的值越小，从而可以把这两条线段分开。
针对求解能量函数最小化的问题，本发明选用图割算法，其通常基于最小割能量模型，如式(1)所示，其中数据项表示为候选线段集合的长度、方向等几何信息，也就是无向图中的顶点；平滑项表示为线段间的关系（端点距离），也就是无向图的边。附图3中S代表主体线的集合，T代表非主体线的集合；单虚线、双虚线和直线代表集合之间的连接线，其中单虚线连接主体线集合和待分类线集合，双虚线连接非主体线集合和待分类线集合，直线连接待分类线集合，也即将图3分为两个部分：包含主体线的部分和包含非主体线的部分。在图割算法中，通常需要最小化跨越S和T之间连接线的总权重。因此，需要计算所有连接线的权重，寻找一条割线，将对应的无向图分割成两个部分使得割的代价最小。单虚线和双虚线的权重通常由待分类线对主体线与非主体线之间的距离或相似度等因素决定，而直线的权重通常由待分类线之间的距离或相似度等因素决定。以建筑物线特征为例，识别出主体线与非主体线同样是一个二值标号问题，当对构建的能量函数模型实现最小割时，即实现了两类线特征的有效分类。
S4对建筑主体结构轮廓线进行由线到面的组合，得到复杂多边形并规则化其边界，得到建筑物规则化后的面片；面片是平面形状的点云，点云数据不是实心的，把外表面按平面拆解。
具体的，本发明是将建筑物三维空间进行分割形成单一的复杂多边形，即相应的面特征，这样将建筑物表面分割成简单，容易识别与描述的单元。在本发明中，单一的复杂多边形其分类通过相应的线段来间接实现，根据前文描述的最小割能量模型，将线段采用无向图G=（V,E）进行表达，定义为一组节点V和一组无向边E，用于将线段分类为标签集L中的值。
在得到多个复杂多边形之后，针对多边形所在面的几何位置关系进行优化，消除误差，面片间求交被定义为两相邻面求共线的问题，两相邻面的位置关系主要有以下两种：
（1）缝隙或过相交，如图5(e)。两面的相邻端点在空间坐标系上取均值，得到一个中间点，两对相邻端点得到两个中间点，中间点的连线即为相邻面的共线。
（2）凹多边形部分缺失，如图5(c)。通过平滑性检测判断两多边形的相邻边是否为折线，若为折线则删除拐点重新连接该相邻边的端点，同样，若存在多拐点，则可多次迭代直至相邻边为直线，后使用上文的方法消除缝隙或过相交情况。
步骤S4中，首先对根据图割理论提取到的建筑物主体结构轮廓线，如图4(a)和图4(b)所示，进行由线到面的组合，得到复杂多边形并规则化其边界；得到全部优化边界后的复杂多边形，如图5(a)和图5(b)为建筑物面片模型，由于面特征提取算法的限制，导致面片间存在缝隙的情况，如图5(e)所示。因为点云本身存在缺失的情况导致线特征提取不能够完整正确的描述该面片的边缘特征，如图5(c)所示。因此，本发明进行了建筑物主体线的优化，主要做法是通过面片间求交的方式更新其边界。如图5(d)与图5(f)所示，通过优化得到建筑完整且规则的面片。
S5模型以面为最小存储单元，选择基于面片边界多边形凹点的网格模型优化算法，将多边形的凹点根据顺时针排列存储，将属于同一建筑的所有面片组装后得到完整建筑表面模型。
针对完整面片进行拼接，得到建筑模型。模型以面为最小单元，对各面片所含的端点进行顺时针排列，如图6(a)所示，选定一个非优角，例如点A，根据相邻顶点相邻的叉乘（右手定则）结果为面的法向量朝上。通过遍历整个规则化多边形顶点的叉乘结果，若法向量朝下，则该点为凹点。由端点坐标及排列顺序得到该边界多边形obj格式的面片，将属于同一建筑的所有面片组装，得到规则化的建筑模型。
obj格式面片生成步骤主要如下：
（1）任意选定一个非优角，并确定当前面片法向量；
（2）判断临近顶点是否为优角，例如，图6(a)的顶点C为优角，满足。从C开始遍历，B是非优角，继续遍历，A也是非优角，之后的P和O同样是非优角，直到找到优角N，停止遍历，由此可得到多边形C-B-A-P-O-N；同样的/>。得到凸多边形C-B-A-P-O-N。
（3）找到下一个为优角的顶点，采用步骤（2）中的遍历方法，得到另一个凸多边形；直到遍历整个多边形顶点，成功分割出全部的凸多边形
遍历整个多边形顶点。图6(a)中虚线为凹多边形分割的边界线，通过凹多边形的分割，实现当前面片的结构化表达，如图6(b)。
通过上述步骤，实施例可得到已完成重建任务的建筑点云模型。
本发明基于多视角投影，考虑到投影样本集能够完美消除深度学习算法关于数据集获取方面的劣势，提出了结合深度学习提取各投影面建筑轮廓线的算法；然后选择图割理论求解最小割能量模型得到建筑主体框架线；最后，本发明结合已得到的建筑主体结构线，拟合优化得到建筑表面，拼接而成最终的建筑主体结构模型。
另一方面，本发明还提供基于建筑立面点云的多视角投影主体结构建模系统，该系统包括：
站点布置模块，用于对目标建筑物进行多站点布置，根据各个站点下投影的目标建筑物特征边界线，进而筛选出最佳站点组合；
线段特征提取模块，用于将根据最佳站点组合所得到的目标建筑物的影像图输入到L-CNN深度学习网络中，进而提取特征图中的线段以及线特征，所述线特征包括建筑主体结构的轮廓线特征和描述细节特征的冗余线特征；
线段判断模块，用于通过线段间的距离、方向、角度等拓扑信息量化各线特征，并构建图割理论的能量模型，选用最大流最小割的方法提取出建筑的主体结构轮廓线；
面片规则化模块，用于对建筑主体结构轮廓线进行由线到面的组合，得到复杂多边形并规则化其边界，得到建筑物规则化后的面片；
模型构建模块，用于选择基于面片边界多边形凹点的网格模型优化算法，将多边形的凹点根据顺时针排列存储，将属于同一建筑的所有面片组装后得到完整建筑表面模型。
最后，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的方法。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (9)
1.一种基于建筑立面点云的多视角投影主体结构建模方法，其特征在于，包括以下步骤：
S1对目标建筑物进行多站点布置，根据各个站点下投影的目标建筑物特征边界线，筛选出最佳站点组合；
S2将根据所述最佳站点组合所得到的目标建筑物的影像图输入到L-CNN深度学习网络中，进而提取影像图中的线特征，所述线特征包括建筑主体结构的轮廓线特征和描述细节特征的冗余线特征；
S3根据线特征构建图割理论的能量模型，并当能量模型最小时，实现最优线特征划分，进而提取出建筑的主体结构轮廓线；
S4对建筑主体结构轮廓线进行由线到面的组合得到复杂多边形，并规则化所述多边形的边界，得到建筑物规则化后的面片；
S5所述能量模型以面为最小存储单元，选择基于面片边界多边形凹点的网格模型优化算法，将多边形的凹点根据顺时针排列存储，将属于同一建筑的所有面片组装后得到完整建筑表面模型；
步骤S5中，基于面片边界多边形凹点的网格模型优化算法包括：
对各面片所含的端点进行顺时针排列，选定一个非优角，根据相邻顶点相邻的叉乘结果为面的法向量朝上，遍历整个多边形顶点的叉乘结果，若法向量朝下，则该点为凹点；将多边形的各个凹点根据顺时针排列存储，生成obj格式的面片，并将属于同一建筑的所有面片组装，进而得到规则化的建筑模型；
所述obj格式的面片生成步骤包括：
S51任意选定一个非优角，并确定当前面片法向量；
S52根据当前面片法向量在多边形内部寻找为优角的顶点，该顶点记为C，从C开始遍历，如遇到非优角，则继续遍历，直到找到下一个优角，对应的顶点记为N，则得到对应的凸多边形C-...-N；
S53找到下一个为优角的顶点，采用步骤S52中的遍历方法，得到另一个凸多边形；重复直到遍历整个多边形顶点，进而成功分割出全部的凸多边形。
2.根据权利要求1所述的方法，其特征在于，所述最佳站点组合的筛选方法包括以下步骤：
S11综合目标建筑物的高度特征与面片信息获取建筑物的特征边界线；
S12对特征边界线进行边界线分段，利用格网对边界线线段的可视性计算格网分数，格网分数计算的原理为：若边界线的某线段被第一站点组合观察到，则认为该线段对所述第一站点组合贡献大，并给第一站点组合赋予分数；
S13通过分数的比较筛选出最佳站点组合；所述第一站点组合对应站点的个数为一个或者两个，在百分制的情况下，给第一站点组合赋予分数90分及以上；所述最佳站点组合指分数排名最高的两个站点或者三个站点。
3.根据权利要求1所述的方法，其特征在于，所述L-CNN深度学习网络包括：主干网络、节点预测模块、线路采样模块和线路矫正模块，所述目标建筑物的影像图经过主干网络抽取特征得到特征图，特征图经过卷积得到结点候选概率图，所述线路采样模块根据节点候选概率图进行线段采样，作为可能存在的线段输入线路矫正模块中，通过线路矫正模块中的线段验证器对采样出来的线段进行判断，每条采样出来的线段会根据特征图得到该线段的线特征。
4.根据权利要求3所述的方法，其特征在于，所述步骤S3中，构建图割理论的能量模型，并当能量模型最小时，实现最优线特征划分，进而提取出建筑主体结构的轮廓线，具体包括：
所述图割理论的能量模型表示如下：
；
其中，为数据项，/>为平滑项，/>是线特征标记，其中，1表示建筑主体结构的轮廓线，0表示冗余线，/>为权重系数，其定义了数据项和平滑项的重要程度；
所述数据项表示为候选线段集合的长度、方向，所述平滑项表示为线段间的关系。
5.根据权利要求4所述的方法，其特征在于，所述数据项表示为：
；
其中，是待分类线段的集合，/>是待分类线段所属的线特征标记，/>为线段/>的数据项，其是测量线/>被赋予标签/>时，与真实测量值之间的差距；/>为加权图结构的内部节点被两类标签时的权重，定义如下：
；
其中，为待分类线段/>的长度，/>为待分类线段集合中最长的线段，/>表示与/>方向相同的线段个数，/>表示在主体线选取时，归类建筑物大致方向的线段的集合数，/>和/>分别代表两项的权重。
6.根据权利要求4所述的方法，其特征在于，所述平滑项表示为：
；
其中，N是相邻线段的集合，用于衡量两个相邻线段的平滑程度，值越小，/>之间的边越容易被切割，定义如下：
；
其中，表示线段/>与/>端点最近的几何距离，/>是一个指示器，如果/>的标签相同，其值为0，否则为1，因此，当点/>之间的距离越大，/>的值越小，从而把这两条线段分开。
7.根据权利要求1所述的方法，其特征在于，所述步骤S4中，规则化所述多边形的边界，得到建筑物规则化后的面片，包括确定两相邻面的位置关系：
缝隙或过相交：两面的相邻端点在空间坐标系上取均值，得到一个中间点，两对相邻端点得到两个中间点，中间点的连线即为相邻面的共线；
凹多边形部分缺失：通过平滑性检测判断两多边形的相邻边是否为折线，若为折线，则删除拐点重新连接该相邻边的端点，同样，若存在多个拐点，则多次迭代直至相邻边为直线，最后消除缝隙或过相交情况。
8.一种基于建筑立面点云的多视角投影主体结构建模系统，其特征在于，该系统包括：
站点布置模块，用于对目标建筑物进行多站点布置，根据各个站点下投影的目标建筑物特征边界线，进而筛选出最佳站点组合；
线段特征提取模块，用于将根据最佳站点组合所得到的目标建筑物的影像图输入到L-CNN深度学习网络中，进而提取影像图中的线特征，所述线特征包括建筑主体结构的轮廓线特征和描述细节特征的冗余线特征；
线段判断模块，用于根据各线特征，构建图割理论的能量模型，并选用最大流最小割的方法提取出建筑的主体结构轮廓线；
面片规则化模块，用于对建筑主体结构轮廓线进行由线到面的组合，得到复杂多边形并规则化其边界，得到建筑物规则化后的面片；
模型构建模块，用于选择基于面片边界多边形凹点的网格模型优化算法，将多边形的凹点根据顺时针排列存储，将属于同一建筑的所有面片组装后得到完整建筑表面模型；
所述基于面片边界多边形凹点的网格模型优化算法包括：
对各面片所含的端点进行顺时针排列，选定一个非优角，根据相邻顶点相邻的叉乘结果为面的法向量朝上，遍历整个多边形顶点的叉乘结果，若法向量朝下，则该点为凹点；将多边形的各个凹点根据顺时针排列存储，生成obj格式的面片，并将属于同一建筑的所有面片组装，进而得到规则化的建筑模型；
所述obj格式的面片生成步骤包括：
S51任意选定一个非优角，并确定当前面片法向量；
S52根据当前面片法向量在多边形内部寻找为优角的顶点，该顶点记为C，从C开始遍历，如遇到非优角，则继续遍历，直到找到下一个优角，对应的顶点记为N，则得到对应的凸多边形C-...-N；
S53找到下一个为优角的顶点，采用步骤S52中的遍历方法，得到另一个凸多边形；重复直到遍历整个多边形顶点，进而成功分割出全部的凸多边形。
9.一种电子设备，其特征在于，包括存储器、处理器及保存在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311491187.5A CN117237541B (zh) | 2023-11-10 | 2023-11-10 | 基于建筑立面点云的多视角投影主体结构建模方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311491187.5A CN117237541B (zh) | 2023-11-10 | 2023-11-10 | 基于建筑立面点云的多视角投影主体结构建模方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237541A CN117237541A (zh) | 2023-12-15 |
| CN117237541B true CN117237541B (zh) | 2024-02-23 |
Family
ID=89095145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311491187.5A Active CN117237541B (zh) | 2023-11-10 | 2023-11-10 | 基于建筑立面点云的多视角投影主体结构建模方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237541B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548479A (zh) * | 2016-12-06 | 2017-03-29 | 武汉大学 | 一种多层次激光点云建筑物边界规则化方法 |
| CN109461207A (zh) * | 2018-11-05 | 2019-03-12 | 胡翰 | 一种点云数据建筑物单体化方法及装置 |
| CN113221222A (zh) * | 2021-05-10 | 2021-08-06 | 中国计量大学上虞高等研究院有限公司 | 建筑物屋顶光伏板排布方法 |
| CN115481497A (zh) * | 2022-06-30 | 2022-12-16 | 上海理工大学 | 一种基于特征框架的体参数化建模方法 |
| CN115880713A (zh) * | 2022-12-16 | 2023-03-31 | 南京信息工程大学 | 一种基于语义改进的自动寻体构建建筑产权体的方法 |
-
2023
- 2023-11-10 CN CN202311491187.5A patent/CN117237541B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548479A (zh) * | 2016-12-06 | 2017-03-29 | 武汉大学 | 一种多层次激光点云建筑物边界规则化方法 |
| CN109461207A (zh) * | 2018-11-05 | 2019-03-12 | 胡翰 | 一种点云数据建筑物单体化方法及装置 |
| CN113221222A (zh) * | 2021-05-10 | 2021-08-06 | 中国计量大学上虞高等研究院有限公司 | 建筑物屋顶光伏板排布方法 |
| CN115481497A (zh) * | 2022-06-30 | 2022-12-16 | 上海理工大学 | 一种基于特征框架的体参数化建模方法 |
| CN115880713A (zh) * | 2022-12-16 | 2023-03-31 | 南京信息工程大学 | 一种基于语义改进的自动寻体构建建筑产权体的方法 |
Non-Patent Citations (4)
| Title |
|---|
| Research on 3D display of fast triangular polygon;Zhu Qingwei 等;《Computer Engineering and Applications》;第50卷(第5期);第147-150页 * |
| 基于拓扑约束释放与重构的变结构设计技术研究;周佳立 等;《中国机械工程》;第18卷(第16期);第1943-1948页 * |
| 基于线框分析方法的建筑物主体模型智能构建;王贲文 等;《南京信息工程大学学报(自然科学版)》;第13卷(第6期);第669-676页 * |
| 用能量优化法处理叶片边缘的缝合问题;付国卫 等;《现代制造工程》(第05期);第29-31页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237541A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mura et al. | Automatic room detection and reconstruction in cluttered indoor environments with complex room layouts | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| CN112347550B (zh) | 耦合式室内三维语义建图及建模方法 | |
| Truong‐Hong et al. | Combining an angle criterion with voxelization and the flying voxel method in reconstructing building models from LiDAR data | |
| Xia et al. | Automated semantic segmentation of bridge point cloud based on local descriptor and machine learning | |
| Xiong et al. | Automatic creation of semantically rich 3D building models from laser scanner data | |
| Li et al. | Modelling of buildings from aerial LiDAR point clouds using TINs and label maps | |
| WO2018061010A1 (en) | Point cloud transforming in large-scale urban modelling | |
| Previtali et al. | A flexible methodology for outdoor/indoor building reconstruction from occluded point clouds | |
| CN114758252B (zh) | 基于图像的分布式光伏屋顶资源分割与提取方法及系统 | |
| Dal Poz et al. | Automated extraction of road network from medium-and high-resolution images | |
| CN114219819A (zh) | 基于正射影像边界检测的倾斜摄影模型单体化方法 | |
| Zheng et al. | Model-driven reconstruction of 3-D buildings using LiDAR data | |
| Mura et al. | Robust reconstruction of interior building structures with multiple rooms under clutter and occlusions | |
| Truong-Hong et al. | Extracting structural components of concrete buildings from laser scanning point clouds from construction sites | |
| Bauchet et al. | City reconstruction from airborne LiDAR: A computational geometry approach | |
| Chen et al. | 3D model-based terrestrial laser scanning (TLS) observation network planning for large-scale building facades | |
| CN112396701A (zh) | 卫星图像的处理方法、装置、电子设备和计算机存储介质 | |
| Sun et al. | Geographic, geometrical and semantic reconstruction of urban scene from high resolution oblique aerial images. | |
| CN113192174B (zh) | 建图方法、装置及计算机存储介质 | |
| Milde et al. | Building reconstruction using a structural description based on a formal grammar | |
| Zhu et al. | Variational building modeling from urban MVS meshes | |
| Xie et al. | Automatic indoor building reconstruction from mobile laser scanning data | |
| Zhao et al. | A 3D modeling method for buildings based on LiDAR point cloud and DLG | |
| Forlani et al. | Building reconstruction and visualization from lidar data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |