CN115409966A - 一种从二维矢量图纸自动重建桁架结构三维点云的方法 - Google Patents

Abstract

本发明公开了一种从二维矢量图纸自动重建桁架结构三维点云的方法，只需要二维矢量图纸，即可使用一系列图像识别和信息融合算法重建真实世界的三维点云。为解决无法采用cad进行桁架结构三维重建、手动建模过程繁琐等问题，提出基于深度学习和连通域、obb包围盒等算法对图纸进行掩膜提取、自动分割和视角校正，并区分“主平面”与“辅平面”。通过对“主平面”、“辅平面”的尺寸结构进行特征匹配，得到各个平面的空间位置；在各个平面内，采用一种基于聚类与矢量拼接的直线检测算法识别拓扑，最终重建出桁架结构的三维点云。有益效果在于：提出从二维矢量图纸智能识别和融合语义信息，无需借助cad软件或手动建模，可直接实现三维点云的重建。

Description

一种从二维矢量图纸自动重建桁架结构三维点云的方法

技术领域

本发明涉及一种从二维矢量图纸自动重建桁架结构三维点云的方法，属于三维重建、计算机视觉和人工智能技术领域。

背景技术

桁架结构作为一种格构化梁式结构，常用于厂房、展览馆、体育馆、桥梁等公共建筑中。由于桁架结构具有结构复杂、对称性强等特点，其二维建筑矢量图纸常被设计为由多个视角平面组成的形式，而非传统的由整个模型的三视图构成的形式，以避免单视角下桁架结构各个平面拓扑混叠的问题。然而这些二维矢量图纸虽然便于设计与修改，但缺乏直观性与展示性。随着计算机三维造型技术的发展，三维设计已成为机械、建筑等行业设计的必然趋势，如何将这些二维设计图纸转移到新的三维系统是一个值得研究的问题。

当下，SolidWorks等三维建模软件实现了三维产品的设计和绘图，但相同类型的建筑结构虽大同小异，但种类繁杂，依靠进行手动绘图不仅消耗大量的重复劳动力，还不方便模型的更新与修改。一些三维建模系统软件虽提供了从二维视图转三维形体的功能，比如AutoCad、2D to 3D Utility等，然而这些软件无一例外都只能转换非常简单的三视图，而且对输入的二维矢量图纸信息有诸多约束，不适用于设计规则特殊、结构复杂的桁架建筑图纸；而且大多时候还需要人机交互操作，缺乏方便性。

发明内容

技术问题：

桁架结构作为一种广泛用于公共建筑中的梁式结构，其设计图纸大多采用特殊的设计规范，即由多个视角平面所组成，且拓扑结构一般较为复杂。当下的三维建模系统软件无法此类图纸进行二维到三维的转换；依靠手动绘图不仅会消耗大量的重复劳动力，且不方便模型的更新与修改。本发明提出一种从二维矢量图纸自动重建桁架结构三维点云的方法，采用图像处理算法识别图纸的尺寸信息和拓扑结构，通过将各平面的语义信息进行融合从而得到平面空间位置，最后重建出模型的真实三维点云。本方法采用了图形学技术与计算机视觉技术，无需人机交互的建模过程，即可从二维矢量图纸自动重建出真实世界的三维点云模型。该方法是人工智能在二维矢量图纸转三维实物领域的一个体现，不仅具备很高的重建精度，还可以大大提高建筑设计的效率。

技术方案：

一种从二维矢量图纸自动重建桁架结构三维点云的方法，其特征在于，具体步骤为：

步骤1：对二维矢量图纸进行预处理，包括结构件掩膜提取、编号提取、平面分割和视角校正，简化并拆分出部件模型的各个平面并附加平面标签(“主平面”、“辅平面”)。

步骤2：对于步骤一中分离出的各个平面进行二维信息提取。通过一种拓扑结构识别算法，得到二维矢量图纸上每根钢条的端点与其像素距离；通过OCR算法识别钢条编号，并基于位置距离等特征，将其与识别的拓扑线段进行一对一匹配；通过识别构件明细表，得到每根编号钢条对应的实际长度。最终实现拓扑线段—钢条编号—钢条长度的映射关系，以获取图纸像素距离与实际距离的比例尺，实现从像素坐标系到真实世界坐标系的转换，得到各平面钢条的二维特征信息。

步骤3：对步骤2中得到的各个平面的二维信息进行特征匹配，同时依据步骤1中标记的平面标签，得到“主”平面与“辅”平面之间的连接关系与相对位置，从而计算出各平面的三维空间平面方程，实现二维视角平面到三维空间平面的升维，并最终通过点云生成算法得到各部件的真实世界三维点云。

步骤4：通过识别总览图纸，得到步骤3得到的各部件点云的空间位置信息，并对其进行相应的平移与拼接，最终合并成为一个完整的三维点云模型。

方案的具体内容包括：

1、对图纸进行预处理。采用的图纸应包含桁架结构图、结构件编号、构件明细表等。基于深度学习的方法从构件明细图中提取结构件轮廓掩膜，采用的网络为一种改良的Resnet网络，亦可采用其他网络或其变体；数据标注基于Labelme软件。通过OCR算法与霍夫变换圆检测算法相结合，识别得到结构件编号信息。通过连通域算法得到平面拓扑的聚类，从而实现平面分割，分离出同一部件的各个平面，并通过计算obb包围盒将其旋转至正视视角。

2、对分离出的各个平面进行二维信息提取。首先采用边缘检测和直线检测的算法检测得到遍布整张图像的所有直线段，其中只需保证检测出的所有直线段能囊括图像的拓扑线条即可，而对直线检测的线段长度、线段数量等参数均无要求；接着，采用一种基于自定义领域半径的聚类算法，将实际共线的线段聚类在一起，其中将领域半径设置为由共线相似度、位置重合度这两部分特征组成，从多个维度提取出实际共线的线段组成一个类别；然后，对于每个类别，采用矢量拼接的算法得到一个完整的矢量线段，再将这些拼接后得到的线段进行端点的平滑连接，最终得到拓扑线条检测的最优解。

3、依据各个平面的二维信息和标签信息进行特征匹配，找到“主平面”与“辅平面”之间的共线，以及相对空间位置，从而计算平面交线端点的坐标。对于任一平面，采用FPS最远点采样算法选取若干分布均匀的三维坐标点，并拟合得到平面方程，最终实现二维视角平面到三维空间平面的升维，并通过一种基于罗德里格斯算法的点云生成方法得到各部件的真实世界三维点云。

4通过OCR算法识别总览图纸中每个局部段的段号与数字标注，采用角点检测算法识别标注线的端点并与段号进行匹配，从而得到每个局部段部件的相对空间位置，并对其进行相应的平移与拼接，最终合并成为一个完整的三维点云模型。

有益效果：

1、相比较使用SolidWorks等三维建模软件手动完成模型的三维建模，本发明无需人工成本，不仅重建速度快，而且便于产品设计的更新与修改。

2、相比较AutoCad、2D to 3D Utility等三维建模系统软件的从二维转三维功能，本发明适用于设计规则特殊、结构复杂的桁架建筑图纸，对输入的二维图纸信息无诸多约束，且无需人机交互操作，更具智能性。

3、相较于其它基于二维设计图纸进行三维重建的传统方法，本发明充分利用了桁架结构的对称性进行重建，算法简单、运行速度快、结果精度高。

4、本发明方法直接从二维设计图纸生成真实世界的三维点云，可用于LIDAR扫描点云配准检测、模型结构分割、特征提取等工作，具备很高的工程应用价值和学术研究价值。

附图说明

图1为本发明整体算法图。

图2为本发明重建某型号铁塔整体流程示意图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及其效果，下面将结合本发明实施例中附图对本发明详予说明。显然，附图中所描述的实施例仅仅是本发明的一个实施例，而不是全部的实施例。在附图中描述和示出的本发明实施例的组件可以以不同的数量和顺序来布置和设计。因此，基于本发明的实施例，本领域技术人员在没有做出创造性的劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

从二维图纸自动重建桁架结构三维点云的方法，具体步骤为：

步骤1：对二维图纸进行预处理，包括线条掩膜提取、钢条编号提取、平面分割和视角校正，简化并拆分出部件模型的各个平面并附加平面标签(“主平面”、“辅平面”)。

步骤2：对于步骤一中分离出的各个平面进行二维信息提取。通过一种拓扑结构识别算法，得到二维图纸上每根钢条的端点与其像素距离；通过OCR算法识别钢条编号，并基于位置距离等特征，将其与识别的拓扑线段进行一对一匹配；通过识别构件明细表，得到每根编号钢条对应的实际长度。最终实现拓扑线段—钢条编号—钢条长度的映射关系，以获取图纸像素距离与实际距离的比例尺，实现从像素坐标系到真实世界坐标系的转换，得到各平面钢条的二维特征信息。

步骤3：对步骤2中得到的各个平面的二维信息进行特征匹配，同时依据步骤1中标记的平面标签，得到“主”平面与“辅”平面之间的连接关系与相对位置，从而计算出各平面的三维空间平面方程，实现二维视角平面到三维空间平面的升维，并最终通过点云生成算法得到各部件的真实世界三维点云。

步骤4：通过识别总览图纸，得到步骤3得到的各部件点云的空间位置信息，并对其进行相应的平移与拼接，最终合并成为一个完整的三维点云模型。

方案的具体内容包括：

1、对图纸进行预处理。采用的图纸为国家电网实际使用的输电线路铁塔设计构件明细图，包含钢架结构图、钢条编号、构件明细表等。基于深度学习的方法从构件明细图中提取钢条轮廓掩膜，采用的网络为一种改良的Resnet网络，亦可采用其他网络或其变体；数据标注基于Labelme软件。通过OCR算法与霍夫变换圆检测算法相结合，识别得到钢条编号信息。通过连通域算法得到平面拓扑的聚类，从而实现平面分割，分离出同一部件的各个平面，并通过计算obb包围盒将其旋转至正视视角。

2、对分离出的各个平面进行二维信息提取。首先采用边缘检测和直线检测的算法检测得到遍布整张图像的所有直线段，其中只需保证检测出的所有直线段能囊括图像的拓扑线条即可，而对直线检测的线段长度、线段数量等参数均无要求；接着，采用一种基于自定义领域半径的聚类算法，将实际共线的线段聚类在一起，其中将领域半径设置为由共线相似度、位置重合度这两部分特征组成，从多个维度提取出实际共线的线段组成一个类别；然后，对于每个类别，采用矢量拼接的算法得到一个完整的矢量线段，再将这些拼接后得到的线段进行端点的平滑连接，最终得到拓扑线条检测的最优解。

3、依据各个平面的二维信息和标签信息进行特征匹配，找到“主平面”与“辅平面”之间的共线，以及相对空间位置，从而计算平面交线端点的坐标。对于任一平面，采用FPS最远点采样算法选取若干分布均匀的三维坐标点，并拟合得到平面方程，最终实现二维视角平面到三维空间平面的升维，并通过一种基于罗德里格斯算法的点云生成方法得到各部件的真实世界三维点云。

4、通过OCR算法识别总览图纸中每个塔段的段号与数字标注，采用角点检测算法识别标注线的端点并与段号进行匹配，从而得到每个塔段部件的相对空间位置，并对其进行相应的平移与拼接，最终合并成为一个完整的三维点云模型。

上述内容仅是本发明的一个实施例，本发明采用国家电网实际使用的输电线路铁塔设计图纸，还可以采用其他设计图纸，例如桥梁、舞台架等其他桁架结构的设计图纸；另外，本发明所提供的图像处理与特征提取算法还可以有多种变式和改进方案。在本领域技术人员在没有做出创造性的劳动的前提下，通过上述方式采用不同图纸数据、算法变式等均包括在本发明的专利保护范围内。

Claims (5)

1.一种从二维矢量图纸自动重建桁架结构三维点云的方法，其特征在于，具体步骤为：

步骤1：对二维矢量图纸进行预处理，包括轮廓掩膜提取、编号提取、平面分割和视角校正，简化并拆分出部件模型的各个平面并附加平面标签，包括“主平面”和“辅平面”；

步骤2：对于步骤1中分离出的各个平面进行二维信息提取；通过一种拓扑结构识别算法，得到二维矢量图纸上每根结构件的端点与其像素距离；通过OCR算法识别结构件编号，并基于位置距离特征，将其与识别的拓扑线段进行一对一匹配；通过识别构件明细表，得到每根编号结构件对应的实际长度；最终实现拓扑线段—结构件编号—结构件长度的映射关系，以获取图纸像素尺寸与实际尺寸的比例尺，实现从像素坐标系到真实世界坐标系的转换，得到各平面结构件的二维特征信息；

步骤3：对步骤2中得到的各个平面的二维信息进行特征匹配，同时依据步骤1中标记的平面标签，得到“主平面”与“辅平面”之间的连接关系与相对位置，从而计算出各平面的三维空间平面方程，实现二维视角平面到三维空间平面的升维，并最终通过点云生成算法得到各部件的真实世界三维点云；

步骤4：通过识别总览图纸，得到步骤3得到的各部件点云的空间位置信息，并对其进行相应的平移与拼接，最终合并成为一个完整的三维点云模型。

2.根据权利要求1所述的一种从二维矢量图纸自动重建桁架结构三维点云的方法，其特征在于：所述步骤1中采用的图纸应包含桁架结构图、结构件编号、构件明细表；提取结构件轮廓掩膜，采用的网络为一种改良的Resnet网络，亦可采用其他网络或其变体；数据标注基于Labelme软件；结构件编号提取，是通过OCR算法与霍夫变换圆检测算法相结合，识别得到编号信息；平面分割，是通过连通域算法得到平面拓扑的聚类，从而分割出各个平面；视角校正，是通过计算obb包围盒并将其旋转至正视视角，亦可采用其他视图校正算法。

3.根据权利要求1所述的一种从二维矢量图纸自动重建桁架结构三维点云的方法，其特征在于：所述步骤2中的一种拓扑结构识别算法，首先采用边缘检测和直线检测的算法检测得到遍布整张图像的所有直线段，其中只需保证检测出的所有直线段能囊括图像的拓扑线条即可，而对直线检测的线段长度、线段数量等参数均无要求；接着，采用一种基于自定义领域半径的聚类算法，将实际共线的线段聚类在一起，其中将领域半径设置为由共线相似度、位置重合度这两部分特征组成，从多个维度提取出实际共线的线段组成一个类别；然后，对于每个类别，采用矢量拼接的算法得到一个完整的矢量线段，再将这些拼接后得到的线段进行端点的平滑连接，最终得到拓扑线条检测的最优解；所述的OCR算法基于paddle框架，亦可使用其他OCR识别库。

4.根据权利要求1所述的一种从二维矢量图纸自动重建桁架结构三维点云的方法，其特征在于：所述步骤3中，依据各个平面的二维信息和标签信息进行特征匹配，找到“主平面”与“辅平面”之间的共线，以及相对空间位置，从而计算平面交线端点的坐标；对于任一平面，采用FPS最远点采样算法选取若干分布均匀的三维坐标点，并拟合得到平面方程；所述的点云生成算法，是采用罗德里格斯算法将连接向量旋转、平移至竖直方向，随机生成理想密度的散乱点，再对其进行逆变换，从而快速生成平滑、密度均匀的桁架点云。

5.根据权利要求1所述的一种从二维矢量图纸自动重建桁架结构三维点云的方法，其特征在于：所述步骤4中，通过OCR算法识别每个局部段的段号与数字标注，采用角点检测算法识别标注线的端点并与段号进行匹配，从而得到每个局部段部件的相对空间位置。

Images