CN113516772A - 三维场景重建方法及装置、bim模型的优化方法及装置 - Google Patents

三维场景重建方法及装置、bim模型的优化方法及装置 Download PDF

Info

Publication number
CN113516772A
CN113516772A CN202110739224.4A CN202110739224A CN113516772A CN 113516772 A CN113516772 A CN 113516772A CN 202110739224 A CN202110739224 A CN 202110739224A CN 113516772 A CN113516772 A CN 113516772A
Authority
CN
China
Prior art keywords
building
point cloud
dimensional point
cloud model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110739224.4A
Other languages
English (en)
Other versions
CN113516772B (zh
Inventor
刘春�
贾守军
吴杭彬
曾豆豆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110739224.4A priority Critical patent/CN113516772B/zh
Publication of CN113516772A publication Critical patent/CN113516772A/zh
Application granted granted Critical
Publication of CN113516772B publication Critical patent/CN113516772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了三维场景重建方法及装置、BIM模型的优化方法及装置。该方法包括：获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU数据和GNSS数据；根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿；根据所述位姿对不同位姿采集的视觉数据进行配准处理；根据所述IMU数据、GNSS数据和经过配准处理的视觉数据构建所述建筑外围的三维点云模型。生成建筑外围的三维点云模型时，将IMU数据和GNSS数据作为辅助数据，结合建筑外围的视觉数据构建建筑的三维点云模型，能够提取建筑更多特征，可以解决因建筑包含相似部件、表面反光的建筑点云建模困难问题。

Description

三维场景重建方法及装置、BIM模型的优化方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种三维场景重建方法及装置、BIM(Building Information Modeling，建筑信息模型)模型的优化方法及装置。
背景技术
三维重建技术通过对视觉数据或者激光扫描数据进行处理，能够把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型可以对如文物保护、游戏开发、建筑设计、临床医学等研究起到辅助的作用。现有技术中，对于复杂建筑，由于其严重遮挡、部件相似、表面反光等原因，无法进行精确的三维建模。
发明内容
本发明要解决的技术问题是为了克服现有技术中对于复杂建筑，由于其严重遮挡、部件相似、表面反光等原因，无法进行精确的三维建模的缺陷，提供一种三维场景重建方法及装置、BIM模型的优化方法及装置。
本发明是通过下述技术方案来解决上述技术问题：
第一方面，提供一种三维场景重建方法，包括：
获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU(Inertial measurement unit，惯性测量单元)数据和GNSS(GlobalNavigation Satellite System，全球导航卫星系统)数据；
根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿；
根据所述位姿对不同位姿采集的视觉数据进行配准处理；
根据所述IMU数据、GNSS数据和经过配准处理的视觉数据构建所述建筑外围的三维点云模型。
可选地，根据所述IMU数据和GNSS数据和经过配准处理的视觉数据构建所述建筑的三维视觉点云模型，包括：
根据所述IMU数据和GNSS数据，结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理，得到所述建筑外围的三维点云模型。
可选地，还包括：
建立建筑室内的三维点云模型；
将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合，得到建筑整体的三维点云模型。
可选地，将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合，包括：
分别提取所述建筑外围的三维点云模型和所述建筑室内的三维点云模型的语义和几何特征，其中，所述语义表征所述建筑所包含的部件的名称；
将所述建筑外围的三维点云模型与所述建筑室内的三维点云模型中语义和几何特征均相匹配的点确定为匹配点，并根据所述匹配点对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合。
第二方面，提供一种BIM模型的优化方法，包括：
获取建筑的BIM模型；
获取参照所述BIM模型的模型参数施工建立的建筑的三维点云模型，所述三维点云模型根据上述任意一项所述的三维场景重建方法所建立；
根据所述三维点云模型对所述BIM模型进行优化。
可选地，根据所述三维点云模型对所述BIM模型进行优化，包括：
分别确定所述三维点云模型包含的各个建筑部件的第一部件参数以及所述BIM模型包含的各个建筑部件的第二部件参数；
在所述三维点云模型中的建筑部件的第一部件参数与所述BIM模型中对应的建筑部件的第二部件参数不匹配的情况下，对不匹配的第一部件参数对应的三维点云模型中建筑部件的点云进行逆向建模；
使用逆向建模的结果替换所述BIM模型中对应的建筑部件；
利用所述BIM模型中各个建筑部件之间的关联关系，对所述BIM模型进行整体优化调整。
第三方面，提供一种三维场景重建装置，包括：
获取模块，用于获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU数据和GNSS数据；
确定模块，用于根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿；
配准模块，用于根据所述位姿对不同位姿采集的视觉数据进行配准处理；
构建模块，用于根据所述IMU数据、GNSS数据和经过配准处理的视觉数据构建所述建筑外围的三维点云模型。
可选地，所述构建模块用于：
根据所述IMU数据和GNSS数据，结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理，得到所述建筑外围的三维点云模型。
可选地，还包括：
建立模块，用于建立建筑室内的三维点云模型；
融合模块，用于将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合，得到建筑整体的三维点云模型。
可选地，所述融合模块包括：
提取单元，用于分别提取所述建筑外围的三维点云模型和所述建筑室内的三维点云模型的语义和几何特征，其中，所述语义表征所述建筑所包含的部件的名称；
融合单元，用于将所述建筑外围的三维点云模型与所述建筑室内的三维点云模型中语义和几何特征均相匹配的点确定为匹配点，并根据所述匹配点对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合。
第四方面，提供一种BIM模型的优化系统，包括：获取装置、优化装置和上述任一项所述的三维场景重建装置。
所述获取装置，用于建立建筑的BIM模型；
所述三维场景重建装置，用于获取参照所述BIM模型的模型参数施工建立的建筑的三维点云模型；
所述优化装置，用于根据所述三维点云模型对所述BIM模型进行优化。
可选地，所述优化装置：
确定模块，用于分别确定所述三维点云模型包含的各个建筑部件的第一部件参数以及所述BIM模型包含的各个建筑部件的第二部件参数；
建模模块，用于在所述三维点云模型中的建筑部件的第一部件参数与所述BIM模型中对应的建筑部件的第二部件参数不匹配的情况下，对不匹配的第一部件参数对应的三维点云模型中建筑部件的点云进行逆向建模；
优化模块，用于使用逆向建模的结果替换所述BIM模型中对应的建筑部件，并利用所述BIM模型中各个建筑部件之间的关联关系，对所述BIM模型进行整体优化调整。
第五方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。
本发明的积极进步效果在于：本发明实施例中，生成建筑外围的三维点云模型时，将IMU数据和GNSS数据作为辅助数据，结合建筑外围的视觉数据构建建筑的三维点云模型，能够提取建筑更多特征，可以解决因建筑包含相似部件、表面反光的建筑点云建模困难问题。
附图说明
图1为本发明一示例性实施例提供的一种三维场景重建方法的流程图；
图2为本发明一示例性实施例提供的另一种三维场景重建方法的流程图；
图3为本发明一示例性实施例提供的一种BIM模型的优化方法的流程图；
图4为本发明一示例性实施例提供的一种三维场景重建装置的模块示意图；
图5为本发明一示例性实施例提供的一种BIM模型的优化方系统的模块示意图；
图6为本发明一示例实施例示出的一种电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
图1为本发明一示例性实施例提供的一种三维场景重建方法的流程图，该方法包括以下步骤：
步骤101、获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及该视觉传感器曝光过程中的IMU数据和GNSS数据。
对于高层建筑，可以将视觉传感器搭载到无人机上，无人机在沿建筑外围飞行的过程中，视觉传感器采集不同位姿下建筑外围的视觉数据，对于每个视角，采集至少一帧视觉数据。由于建筑一般具有反光材料，例如玻璃，因此本发明实施例中采用视觉传感器获取视觉数据作为建立三维点云模型的数据基础，而非采用激光扫描仪获取激光数据作为三维点云模型的基础，相较于激光扫描仪，视觉传感器能够获取更加完整的表征建筑外围的视觉数据。
视觉传感器上设有IMU器件和GNSS器件。由IMU器件采集视觉传感器曝光过程中的IMU数据，IMU数据表征视觉传感器的姿态数据。由GNSS器件采集视觉传感器曝光过程中的GNSS数据，GNSS数据表征视觉传感器的位置数据。IMU器件包括加速度传感器、陀螺仪、地磁传感器中的至少一种。
步骤102、根据IMU数据和GNSS数据确定视觉传感器的位姿。
其中，IMU数据包含视觉传感器的姿态角
Figure BDA0003142511210000061
GNSS数据包含视觉传感器的影像投影的中心坐标(Xs,Ys,Zs)，视觉传感器的位姿ψ表示为
Figure BDA0003142511210000062
Figure BDA0003142511210000063
步骤103、根据位姿对不同位姿采集的视觉数据进行配准处理。
在一个实施例中，对视觉数据进行配准处理时，将视觉传感器的位姿作为约束。由于建筑大多都是对称结构，建筑包含的部件相似，拍摄场景相似，获取的视觉数据难以区分，将视觉传感器的位姿作为视觉数据配准的约束，可以减小拍摄场景相似导致的影像配准误差。
假设pi,pj分别表示2帧视觉数据，图像配准时视觉数据的对应关系表示如下：
Figure BDA0003142511210000064
其中，
Figure BDA0003142511210000065
表示视觉数据i与实际数据j的对应关系；
Figure BDA0003142511210000066
表示拍摄pi,pj时视觉传感器的相对位姿；
Figure BDA0003142511210000067
表示匹配操作；δ为位姿约束阈值，由pi,pj的重叠区域决定。
步骤104、根据IMU数据、GNSS数据和经过配准处理的视觉数据构建建筑外围的三维点云模型。
在一个实施例中，根据IMU数据和GNSS数据，结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理，得到建筑室内的三维视觉点云模型。
在对视觉数据进行光束法平差处理时，将上述获取到的视觉传感器的IMU数据和GNSS数据作为辅助观测数据，加入到光束法平差中，以提高三维视觉点云模型的精度，解决建筑包含相似部件、表面反光的点云建模困难问题。
GNSS/IMU辅助的光束法平差的目标函数表示如下：
Figure BDA0003142511210000068
E2(VX,VG,VI)＝e(VX,VG,VI)T·P·e(VX,VG,VI)；
Figure BDA0003142511210000071
e(VX,VG,VI)＝(VX,VG,VI)T；
Figure BDA0003142511210000072
VG＝(XG,YG,ZG)T-R(uG,vG,wG)T-(Xs,Ys,Zs)T-ηG；
Figure BDA0003142511210000073
Figure BDA0003142511210000074
Figure BDA0003142511210000075
其中，R为拍摄视觉数据时视觉传感器的姿态角
Figure BDA0003142511210000076
构成的正交变换矩阵；t＝(Xs,Ys,Zs)为视觉传感器的影像投影中心坐标；RB为视觉传感器空间坐标系与IMU器件坐标系的旋转角构成的正交变换矩阵；σo为像点坐标观测值中的误差；σG为GNSS器件的设站坐标观测值中的误差；σI为IMU姿态观测值中的误差；(XX,YX,ZX)为观测点在三维空间中的坐标，也即视觉传感器观测的对象(例如，墙面、窗户)在三维空间中的坐标；(uX,vX)为观测点投影在影像上的坐标，也即在二维图形中的坐标；sX为观测点的深度值；(uG,vG,wG)为GNSS器件的设站中心在视觉传感器辅助坐标系中的坐标；(XG,YG,ZG)为GNSS器件的设站中心在世界坐标系中的坐标；
Figure BDA0003142511210000077
为IMU器件的观测值(IMU数据)；ηG为GNSS的系统误差；ηI为IMU的系统误差；K为视觉传感器的内参矩阵；ξ为视觉传感器的外参矩阵。
本发明实施例中，生成建筑外围的三维点云模型时，将IMU数据和GNSS数据作为辅助数据，结合建筑外围的视觉数据构建建筑的三维点云模型，能够提取建筑更多特征，可以解决因建筑包含相似部件、表面反光的建筑点云建模困难问题。
图2为本发明一示例性实施例提供的另一种三维场景重建方法的流程图，本发明实施例通过将建筑外围的三维点云模型和建筑室内的三维点云模型进行配准联合，构建建筑整体的三维点云模型，参见图2，该方法包括以下步骤：
步骤201、获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及该视觉传感器曝光过程中的IMU数据和GNSS数据。
步骤202、根据IMU数据和GNSS数据确定视觉传感器的位姿。
步骤203、根据位姿对不同位姿采集的视觉数据进行配准处理。
步骤204、根据IMU数据、GNSS数据和经过配准处理的视觉数据构建建筑外围的三维点云模型。
步骤201～步骤204的具体实现过程与步骤101～步骤104的具体实现过程类似，此处不再赘述。
步骤205、构建建筑室内的三维点云模型。
下面简单介绍构建建筑室内的三维点云模型的实现方式。
在建筑室内，利用固定在地面上的三维激光扫描仪和/或移动三维激光扫描仪获取建筑室内的激光扫描数据，对激光扫描数据经过点云配准、点云去噪等处理，构建覆盖建筑室内的三维点云模型。
由于获取的激光扫描数据为在不同测点获取的数据，进行点云配准前，需对不同测点获取的激光扫描数据统一到相同的坐标系下。假设三维激光扫描的测站数据包括{Si}i＝1,2,3,…,s，存在相邻两个测站点云数据(Sp,Sq)，Sp＝{pm}m＝1,2,3,…,P为目标点集，Sq＝{qn}n＝1,2,3,…,Q为参考点集，将点集Sp转换到点集Sq坐标系下，实现测站点云数据的配准。转换参数为T＝[R|t]，为未知量需求解。把该转换参数[R|t]应用到目标点集Sp上，将目标点集转换到参考点集的坐标系下，在参考点集Sq中为目标点集Sp中的每一个点搜索一个点与其距离最近的点，然后以点对间距离平方和最小为条件建立目标函数，求取转换参数。点云配准的目标函数表示如下：
Figure BDA0003142511210000091
根据以上公式即能求得转换参数[R|t]；
进而根据T(Sp)＝R*Sp+t，对点集{SP}进行坐标转换，实现两个点集的配准。
在一个实施例中，也可以采集建筑室内的视觉数据，作为建立建筑室内的三维点云模型的基础数据，基于视觉数据建立建筑室内的三维点云模型的具体实现过程与基于视觉数据建立建筑外围的三维点云模型的具体实现过程类似，此处不再赘述。
步骤206、将建筑外围的三维点云模型与建筑室内的三维点云模型进行配准融合，得到建筑整体的三维点云模型。
由于复杂建筑具有严重遮挡(例如被其他建筑或者树木遮挡)、部件相似、表面反光等特点，致使将建筑外围的三维点云模型与建筑室内的三维点云模型存在低重叠度和点云密度差异的问题，导致点云模型配准融合一直存在难点，本发明实施例中，结合三维点云模型的语义信息和几何特征信息，解决两个模型配准融合较难的问题。
在一个实施例中，对建筑外围的三维点云模型和建筑室内的三维点云模型进行配准融合时，分别提取两个模型的对点云密度差异鲁棒的语义和几何特征。将两个模型中语义和几何特征均相匹配的点确定为匹配点，并根据该匹配点对建筑外围的三维点云模型和建筑室内的三维点云模型进行配准融合，构建建筑整体的三维点云模型。
其中，提取三维点云模型的语义，也即对三维点云模型的点云按照部件类型进行划分，确定建筑所包含的部件的名称，也即语义，例如语义可以包括窗户、墙面等。对三维点云模型的点云进行划分可以通过人为方式划分，也可以通过神经网络等自动划分方式。
所谓语义相匹配也即两个模型中的点的语义的相似度大于语义相似度阈值。其中，语义相似度阈值可以根据实际情况自行设置。举例来说，若建筑外围的三维点云模型中点A1的语义被识别为窗户，也即点A1构成了三维点云模型中窗户的一部分，建筑室内的三维点云模型中点B1的语义被识别为窗户，也即点B1构成了三维点云模型中窗户的一部分，点A1与点B1的语义相同，则确定两者相匹配，点A1与点B1互为匹配点。若建筑外围的三维点云模型中点A2的语义被识别为墙体，也即点A2构成了三维点云模型中墙体的一部分，建筑室内的三维点云模型中点B2的语义被识别为门，也即点B2构成了三维点云模型中门的一部分，点A2与点B2的语义不同且相差很大，则确定两者不匹配。
所谓几何特征相匹配也即两个模型中的点的几何特征的相似度大于特征相似度阈值。其中，特征相似度阈值可以根据实际情况自行设置。
可以理解地，基于独立的点难以确定其语义和几何特征，确定某点的语义和几何特征时，需结合该点附件的点云中其他点进行。匹配点可以通过一个点表征，也可以通过多个点表征。
假设附有语义和几何特征的三维点云模型为{S(x,y,z,S,E)}，{Pi(xi,yi,zi,Si,Ei)}为目标点集，{Qj(xj,yj,zj,Sj,Ej)}为参考点集，语义和几何信息约束的模型配准如下所示：
Figure BDA0003142511210000101
Figure BDA0003142511210000102
Figure BDA0003142511210000103
T(Pm)＝R(xm,ym,zm)T+t。
其中，S表示三维点云模型的语义，E表示三维点云模型的几何特征。T表示目标点集到参考点集的变化矩阵。
本发明实施例中，利用三维点云模型中点云的语义和几何特征，对建筑外围的三维点云模型和建筑室内的三维点云模型进行配准融合，可以克服异构建筑的室内外一体化精确建模问题。
图3为本发明一示例性实施例提供的一种BIM模型的优化方法的流程图，该方法包括以下步骤：
步骤301、获取建筑的BIM模型。
建筑信息模型(Building Information Modeling，BIM)是一种利用数字表达建筑对象的几何、物理和功能信息以支持建筑全生命周期管理的技术，为建筑施工中部件加工和安装提供准确的信息支撑。
建立建筑的BIM模型时，根据建筑的设计，构建施工建筑的不同类型的部件，各个部件则采用切片生成的方式，由截面生成实体，以点、线、面、体的方式逐步建立。在每个部件建模时选择自身合理可调的参数，关联各个部件间的相关参数，实现只调整局部参数，整体模型随之调整。建立起完备的部件库或程序包后，在进行参数化设计时选择好合理的结构形式，选择需要的部件并将其参数合理调整，将各个部件快速组装，得到三维参数化模型。参数化BIM模型由具有许多属性的部件(实例)来描述。对于BIM模型的每个实例，其数据信息可以分为三类:①物理属性，包括实例的特征和规格，如名称材料、大小等。②几何属性，包括实例的位置、形状、几何形状等。③关系属性，包括用于连接其他实例的信息，如实例的级别、墙和门的关系等。
步骤302、获取参照BIM模型的模型参数施工建立的建筑的三维点云模型。
三维点云模型用于与BIM模型进行优化调整，获取三维点云模型的时机也即BIM模型的优化调整时机，关于BIM模型优化的时机，可以根据实际情况自行确定，例如在施工的关键节点时，以实际施工的状态信息为依据，建立建筑的三维点云模型，以对BIM模型进行优化。其中，三维点云模型根据上述任一实施例提供的三维场景重建方法所建立，具体实现过程参见上述实施例描述部分，此处不再赘述。
施工时，可从BIM模型中提取部件加工、安装等精确的建筑施工信息，可以但不限于包括建筑的六面视图、二维图像、各个部件的尺寸、形状、材料等，并用于实际现场施工。
即便参照了BIM模型的模型参数，在实际施工过程中，施工误差、建筑沉降和变形等因素不可避免且难以控制，导致实际的施工状态与BIM模型之间产生偏差。随着施工的进行，实际施工与BIM模型的偏差不断累积，导致BIM模型提供的部件加工和安装信息无法继续为实际的施工提供有效支撑。
因此，消除BIM模型与实际施工状态之间的偏差，通过建筑施工信息对BIM模型进行优化，实现BIM模型与实际施工之间的有效持续交互对建筑的现场施工非常关键。
若步骤302获取的三维点云模型为建筑外围的三维点云模型，下述步骤则根据建筑外围的三维点云模型对BIM模型进行优化；若步骤302获取的三维点云模型为建筑室内的三维点云模型，下述步骤则根据建筑室内的三维点云模型对BIM模型进行优化；若步骤302获取的三维点云模型为建筑整体的三维点云模型，下述步骤则根据建筑整体的三维点云模型对BIM模型进行优化。
步骤303、根据建筑的三维点云模型对BIM模型进行优化。
在一个实施例中，对BIM模型进行优化时，分别确定三维点云模型中各个建筑部件(由点云表征)的第一部件参数以及BIM模型中各个建筑部件的第二部件参数；在三维点云模型中的建筑部件的第一部件参数与BIM模型中对应的建筑部件的第二部件参数不匹配的情况下，根据不匹配的第一部件参数对应的建筑部件的点云进行逆向建模，并使用逆向建模的结果替换BIM模型中对应的建筑部件。其中，第一部件参数可以但不限于包括尺寸、形状、位置、材料等。第二件参数可以但不限于包括尺寸、形状、位置、材料等。
举例来说，若确定三维点云模型中表征窗户的建筑部件的第一部件参数，与BIM模型中表征窗户的建筑部件的第二部件参数不匹配，说明实际施工建筑与BIM模型存在差异，需根据实际施工信息对BIM模型进行优化，否则BIM模型提供的部件加工和安装信息无法继续为实际的施工提供有效支撑，则需要对三维点云模型中表征窗户的点云进行逆向建模，得到对应于BIM模型的窗户模型，并将该对应于BIM模型的窗户模型，也即逆向建模的结果替换BIM模型中的窗户模型，以实现对BIM模型的优化。
BIM模型考虑到各个部件之间的关联约束关系，在尺寸和空间位置相互约束的情况下，主动变化部件的变量将作为被影响部件对应参数的起点，进而形成整体关联的模型，即调整一个部件会自适应改变整体模型。当某些部件参数的改变会影响到其他部件的形状时，被关联的部件位置和形状也会相应改变。利用步骤S103构建的复杂建筑室内外一体化精确点云模型，对与BIM模型存在偏差的建筑部件点云进行逆向建模，用建模的结果替换BIM模型中对应的部件。利用BIM模型中部件之间的关联关系，对BIM模型进行整体优化调整，获取与实际施工状态相一致的BIM模型。
从而，即可根据经过优化调整之后的BIM模型继续施工，BIM模型中包含建筑部件的属性信息和几何信息，对BIM模型中各建筑部件进行正投影得到建筑部件的三视图，基于三视图对建筑部件进行分格、编号，将加工数据进行分析处理并导出，生成部件下单表格和加工图等加工信息文件。同时，根据BIM模型中部件的几何信息获取部件的空间位置坐标，实现现场施工中精确安装建筑部件。
本发明实施例中，建立了BIM模型与施工建筑之间的反馈调整机制，实现了BIM模型与实际施工建筑之间的有效交互，可以根据实际施工信息对BIM模型进行优化调整，继而可以基于经过优化调整的BIM模型为施工提供支撑，保证复杂建筑的精确施工。在BIM模型与实际施工建筑出现偏差的情况下，无需重新建立BIM模型，可以节省人力物力，以及缩短施工时长。
与前述三维场景重建方法、BIM模型的优化方法实施例相对应，本发明还提供了三维场景重建装置、BIM模型的优化系统的实施例。
图4为本发明一示例性实施例提供的一种三维场景重建装置的模块示意图，包括：
获取模块41，用于获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU数据和GNSS数据；
确定模块42，用于根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿；
配准模块43，用于根据所述位姿对不同位姿采集的视觉数据进行配准处理；
构建模块44，用于根据所述IMU数据、GNSS数据和经过配准处理的视觉数据构建所述建筑外围的三维点云模型。
可选地，所述构建模块用于：
根据所述IMU数据和GNSS数据，结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理，得到所述建筑外围的三维点云模型。
可选地，还包括：
建立模块，用于建立建筑室内的三维点云模型；
融合模块，用于将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合，得到建筑整体的三维点云模型。
可选地，所述融合模块包括：
提取单元，用于分别提取所述建筑外围的三维点云模型和所述建筑室内的三维点云模型的语义和几何特征，其中，所述语义表征所述建筑所包含的部件的名称；
融合单元，用于将所述建筑外围的三维点云模型与所述建筑室内的三维点云模型中语义和几何特征均相匹配的点确定为匹配点，并根据所述匹配点对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合。
图5为本发明一示例性实施例提供的一种BIM模型的优化系统的模块示意，包括：获取装置51、优化装置52和上述任一项所述的三维场景重建装置53。
所述获取装置，用于建立建筑的BIM模型；
所述三维场景重建装置，用于获取参照所述BIM模型的模型参数施工建立的建筑的三维点云模型；
所述优化装置，用于根据所述三维点云模型对所述BIM模型进行优化。
可选地，所述优化装置：
确定模块，用于分别确定所述三维点云模型包含的各个建筑部件的第一部件参数以及所述BIM模型包含的各个建筑部件的第二部件参数；
建模模块，用于在所述三维点云模型中的建筑部件的第一部件参数与所述BIM模型中对应的建筑部件的第二部件参数不匹配的情况下，对不匹配的第一部件参数对应的三维点云模型中建筑部件的点云进行逆向建模；
优化模块，用于使用逆向建模的结果替换所述BIM模型中对应的建筑部件，并利用所述BIM模型中各个建筑部件之间的关联关系，对所述BIM模型进行整体优化调整。
对于装置/系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置/系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
图6是本发明一示例实施例示出的一种电子设备的结构示意图，示出了适于用来实现本发明实施方式的示例性电子设备60的框图。图6显示的电子设备60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备60可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备60的组件可以包括但不限于：上述至少一个处理器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和处理器61)的总线63。
总线63包括数据总线、地址总线和控制总线。
存储器62可以包括易失性存储器，例如随机存取存储器(RAM)621和/或高速缓存存储器622，还可以进一步包括只读存储器(ROM)623。
存储器62还可以包括具有一组(至少一个)程序模块624的程序工具625(或实用工具)，这样的程序模块624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器61通过运行存储在存储器62中的计算机程序，从而执行各种功能应用以及数据处理，例如上述任一实施例所提供的方法。
电子设备60也可以与一个或多个外部设备64(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口65进行。并且，模型生成的电子设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器66通过总线63与模型生成的电子设备60的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所提供的方法。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (14)

1.一种三维场景重建方法，其特征在于，包括：
获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU数据和GNSS数据；
根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿；
根据所述位姿对不同位姿采集的视觉数据进行配准处理；
根据所述IMU数据、GNSS数据和经过配准处理的视觉数据构建所述建筑外围的三维点云模型。
2.根据权利要求1所述的三维场景重建方法，其特征在于，根据所述IMU数据和GNSS数据和经过配准处理的视觉数据构建所述建筑的三维视觉点云模型，包括：
根据所述IMU数据和GNSS数据，结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理，得到所述建筑外围的三维点云模型。
3.根据权利要求1所述的三维场景重建方法，其特征在于，还包括：
建立建筑室内的三维点云模型；
将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合，得到建筑整体的三维点云模型。
4.根据权利要求3所述的三维场景重建方法，其特征在于，将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合，包括：
分别提取所述建筑外围的三维点云模型和所述建筑室内的三维点云模型的语义和几何特征，其中，所述语义表征建筑所包含的部件的名称；
将所述建筑外围的三维点云模型与所述建筑室内的三维点云模型中语义和几何特征均相匹配的点确定为匹配点，并根据所述匹配点对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合。
5.一种BIM模型的优化方法，其特征在于，包括：
获取建筑的BIM模型；
获取参照所述BIM模型的模型参数施工建立的建筑的三维点云模型，所述三维点云模型根据权利要求1-4中任意一项所述的三维场景重建方法所建立；
根据所述三维点云模型对所述BIM模型进行优化。
6.根据权利要求5所述的BIM模型的优化方法，其特征在于，根据所述三维点云模型对所述BIM模型进行优化，包括：
分别确定所述三维点云模型包含的各个建筑部件的第一部件参数以及所述BIM模型包含的各个建筑部件的第二部件参数；
在所述三维点云模型中的建筑部件的第一部件参数与所述BIM模型中对应的建筑部件的第二部件参数不匹配的情况下，对不匹配的第一部件参数对应的三维点云模型中建筑部件的点云进行逆向建模；
使用逆向建模的结果替换所述BIM模型中对应的建筑部件；
利用所述BIM模型中各个建筑部件之间的关联关系，对所述BIM模型进行整体优化调整。
7.一种三维场景重建装置，其特征在于，包括：
获取模块，用于获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU数据和GNSS数据；
确定模块，用于根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿；
配准模块，用于根据所述位姿对不同位姿采集的视觉数据进行配准处理；
构建模块，用于根据所述IMU数据、GNSS数据和经过配准处理的视觉数据构建所述建筑外围的三维点云模型。
8.根据权利要求7所述的三维场景重建装置，其特征在于，所述构建模块用于：
根据所述IMU数据和GNSS数据，结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理，得到所述建筑外围的三维点云模型。
9.根据权利要求7所述的三维场景重建装置，其特征在于，还包括：
建立模块，用于建立建筑室内的三维点云模型；
融合模块，用于将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合，得到建筑整体的三维点云模型。
10.根据权利要求9所述的三维场景重建装置，其特征在于，所述融合模块包括：
提取单元，用于分别提取所述建筑外围的三维点云模型和所述建筑室内的三维点云模型的语义和几何特征，其中，所述语义表征建筑所包含的部件的名称；
融合单元，用于将所述建筑外围的三维点云模型与所述建筑室内的三维点云模型中语义和几何特征均相匹配的点确定为匹配点，并根据所述匹配点对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合。
11.一种BIM模型的优化系统，其特征在于，包括：获取装置、优化装置和权利要求7-10中任一项所述的三维场景重建装置；
所述获取装置，用于建立建筑的BIM模型；
所述三维场景重建装置，用于获取参照所述BIM模型的模型参数施工建立的建筑的三维点云模型；
所述优化装置，用于根据所述三维点云模型对所述BIM模型进行优化。
12.根据权利要求11所述的BIM模型的优化装置，其特征在于，所述优化装置：
确定模块，用于分别确定所述三维点云模型包含的各个建筑部件的第一部件参数以及所述BIM模型包含的各个建筑部件的第二部件参数；
建模模块，用于在所述三维点云模型中的建筑部件的第一部件参数与所述BIM模型中对应的建筑部件的第二部件参数不匹配的情况下，对不匹配的第一部件参数对应的三维点云模型中建筑部件的点云进行逆向建模；
优化模块，用于使用逆向建模的结果替换所述BIM模型中对应的建筑部件，并利用所述BIM模型中各个建筑部件之间的关联关系，对所述BIM模型进行整体优化调整。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。
CN202110739224.4A 2021-06-30 2021-06-30 三维场景重建方法及装置、bim模型的优化方法及装置 Active CN113516772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110739224.4A CN113516772B (zh) 2021-06-30 2021-06-30 三维场景重建方法及装置、bim模型的优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110739224.4A CN113516772B (zh) 2021-06-30 2021-06-30 三维场景重建方法及装置、bim模型的优化方法及装置

Publications (2)

Publication Number Publication Date
CN113516772A true CN113516772A (zh) 2021-10-19
CN113516772B CN113516772B (zh) 2023-09-15

Family

ID=78066861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110739224.4A Active CN113516772B (zh) 2021-06-30 2021-06-30 三维场景重建方法及装置、bim模型的优化方法及装置

Country Status (1)

Country Link
CN (1) CN113516772B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115727854A (zh) * 2022-11-28 2023-03-03 同济大学 一种基于bim结构信息的vslam定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765487A (zh) * 2018-06-04 2018-11-06 百度在线网络技术（北京）有限公司 重建三维场景的方法、装置、设备和计算机可读存储介质
CN109410327A (zh) * 2018-10-09 2019-03-01 鼎宸建设管理有限公司 一种基于bim和gis的三维城市建模方法
CN109685891A (zh) * 2018-12-28 2019-04-26 鸿视线科技(北京)有限公司 基于深度图像的建筑物三维建模与虚拟场景生成系统
CN110264567A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种基于标记点的实时三维建模方法
CN112802111A (zh) * 2021-04-01 2021-05-14 中智行科技有限公司 一种物体模型构建方法及装置
CN112902953A (zh) * 2021-01-26 2021-06-04 中国科学院国家空间科学中心 一种基于slam技术的自主位姿测量方法
CN113051652A (zh) * 2021-04-12 2021-06-29 中国建筑第八工程局有限公司 基于bim和三维扫描的逆向建模技术的工程改扩建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765487A (zh) * 2018-06-04 2018-11-06 百度在线网络技术（北京）有限公司 重建三维场景的方法、装置、设备和计算机可读存储介质
CN109410327A (zh) * 2018-10-09 2019-03-01 鼎宸建设管理有限公司 一种基于bim和gis的三维城市建模方法
CN109685891A (zh) * 2018-12-28 2019-04-26 鸿视线科技(北京)有限公司 基于深度图像的建筑物三维建模与虚拟场景生成系统
CN110264567A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种基于标记点的实时三维建模方法
CN112902953A (zh) * 2021-01-26 2021-06-04 中国科学院国家空间科学中心 一种基于slam技术的自主位姿测量方法
CN112802111A (zh) * 2021-04-01 2021-05-14 中智行科技有限公司 一种物体模型构建方法及装置
CN113051652A (zh) * 2021-04-12 2021-06-29 中国建筑第八工程局有限公司 基于bim和三维扫描的逆向建模技术的工程改扩建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡玉详 等: "基于三维激光点云的古建筑BIM建模方法研究", pages 98 - 102 *
邓林建;程效军;程小龙;朱剑伟;: "一种基于点云数据的建筑物BIM模型重建方法", no. 04 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115727854A (zh) * 2022-11-28 2023-03-03 同济大学 一种基于bim结构信息的vslam定位方法

Also Published As

Publication number Publication date
CN113516772B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
JP6866441B2 (ja) ３次元シーンマップの生成方法、生成装置、機器および記憶媒体
US11798228B2 (en) Method for updating road signs and markings on basis of monocular images
Rupnik et al. MicMac–a free, open-source solution for photogrammetry
CN113168717B (zh) 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
JP6987797B2 (ja) リアルタイムオンラインエゴモーション推定を有するレーザスキャナ
KR102068419B1 (ko) 포인트 클라우드 데이터 수집 궤적을 조정하기 위한 방법, 장치 및 컴퓨터 판독 가능한 매체
CN111402339B (zh) 一种实时定位方法、装置、系统及存储介质
JP4685313B2 (ja) 任意の局面の受動的な体積画像の処理方法
Akca et al. Quality assessment of 3D building data
CN112927370A (zh) 三维建筑物模型构建方法、装置、电子设备及存储介质
CN111968229A (zh) 高精度地图制图方法及装置
CN110223380B (zh) 融合航拍与地面视角图像的场景建模方法、系统、装置
CN113048980B (zh) 位姿优化方法、装置、电子设备及存储介质
CN111862215B (zh) 一种计算机设备定位方法、装置、计算机设备和存储介质
CN107330927B (zh) 机载可见光图像定位方法
CN114964212B (zh) 面向未知空间探索的多机协同融合定位与建图方法
CN112833892B (zh) 一种基于轨迹对齐的语义建图方法
CN114359476A (zh) 一种用于城市峡谷环境导航的动态3d城市模型构建方法
CN114120149B (zh) 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质
Yin et al. CoMask: Corresponding mask-based end-to-end extrinsic calibration of the camera and LiDAR
WO2022246812A1 (zh) 定位方法、装置、电子设备及存储介质
CN113516772B (zh) 三维场景重建方法及装置、bim模型的优化方法及装置
Shang et al. Topology-based UAV path planning for multi-view stereo 3D reconstruction of complex structures
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant