CN113516772B - 三维场景重建方法及装置、bim模型的优化方法及装置 - Google Patents
三维场景重建方法及装置、bim模型的优化方法及装置 Download PDFInfo
- Publication number
- CN113516772B CN113516772B CN202110739224.4A CN202110739224A CN113516772B CN 113516772 B CN113516772 B CN 113516772B CN 202110739224 A CN202110739224 A CN 202110739224A CN 113516772 B CN113516772 B CN 113516772B
- Authority
- CN
- China
- Prior art keywords
- building
- point cloud
- data
- dimensional point
- cloud model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000005457 optimization Methods 0.000 title claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000010276 construction Methods 0.000 claims description 38
- 230000004927 fusion Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000009897 systematic effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了三维场景重建方法及装置、BIM模型的优化方法及装置。该方法包括:获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU数据和GNSS数据;根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿;根据所述位姿对不同位姿采集的视觉数据进行配准处理;根据所述IMU数据、GNSS数据和经过配准处理的视觉数据构建所述建筑外围的三维点云模型。生成建筑外围的三维点云模型时,将IMU数据和GNSS数据作为辅助数据,结合建筑外围的视觉数据构建建筑的三维点云模型,能够提取建筑更多特征,可以解决因建筑包含相似部件、表面反光的建筑点云建模困难问题。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种三维场景重建方法及装置、BIM(Building Information Modeling,建筑信息模型)模型的优化方法及装置。
背景技术
三维重建技术通过对视觉数据或者激光扫描数据进行处理,能够把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型可以对如文物保护、游戏开发、建筑设计、临床医学等研究起到辅助的作用。现有技术中,对于复杂建筑,由于其严重遮挡、部件相似、表面反光等原因,无法进行精确的三维建模。
发明内容
本发明要解决的技术问题是为了克服现有技术中对于复杂建筑,由于其严重遮挡、部件相似、表面反光等原因,无法进行精确的三维建模的缺陷,提供一种三维场景重建方法及装置、BIM模型的优化方法及装置。
本发明是通过下述技术方案来解决上述技术问题:
第一方面,提供一种三维场景重建方法,包括:
获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU(Inertial measurement unit,惯性测量单元)数据和GNSS(GlobalNavigation Satellite System,全球导航卫星系统)数据;
根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿;
根据所述位姿对不同位姿采集的视觉数据进行配准处理;
根据所述IMU数据、GNSS数据和经过配准处理的视觉数据构建所述建筑外围的三维点云模型。
可选地,根据所述IMU数据和GNSS数据和经过配准处理的视觉数据构建所述建筑的三维视觉点云模型,包括:
根据所述IMU数据和GNSS数据,结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理,得到所述建筑外围的三维点云模型。
可选地,还包括:
建立建筑室内的三维点云模型;
将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合,得到建筑整体的三维点云模型。
可选地,将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合,包括:
分别提取所述建筑外围的三维点云模型和所述建筑室内的三维点云模型的语义和几何特征,其中,所述语义表征所述建筑所包含的部件的名称;
将所述建筑外围的三维点云模型与所述建筑室内的三维点云模型中语义和几何特征均相匹配的点确定为匹配点,并根据所述匹配点对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合。
第二方面,提供一种BIM模型的优化方法,包括:
获取建筑的BIM模型;
获取参照所述BIM模型的模型参数施工建立的建筑的三维点云模型,所述三维点云模型根据上述任意一项所述的三维场景重建方法所建立;
根据所述三维点云模型对所述BIM模型进行优化。
可选地,根据所述三维点云模型对所述BIM模型进行优化,包括:
分别确定所述三维点云模型包含的各个建筑部件的第一部件参数以及所述BIM模型包含的各个建筑部件的第二部件参数;
在所述三维点云模型中的建筑部件的第一部件参数与所述BIM模型中对应的建筑部件的第二部件参数不匹配的情况下,对不匹配的第一部件参数对应的三维点云模型中建筑部件的点云进行逆向建模;
使用逆向建模的结果替换所述BIM模型中对应的建筑部件;
利用所述BIM模型中各个建筑部件之间的关联关系,对所述BIM模型进行整体优化调整。
第三方面,提供一种三维场景重建装置,包括:
获取模块,用于获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU数据和GNSS数据;
确定模块,用于根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿;
配准模块,用于根据所述位姿对不同位姿采集的视觉数据进行配准处理;
构建模块,用于根据所述IMU数据、GNSS数据和经过配准处理的视觉数据构建所述建筑外围的三维点云模型。
可选地,所述构建模块用于:
根据所述IMU数据和GNSS数据,结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理,得到所述建筑外围的三维点云模型。
可选地,还包括:
建立模块,用于建立建筑室内的三维点云模型;
融合模块,用于将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合,得到建筑整体的三维点云模型。
可选地,所述融合模块包括:
提取单元,用于分别提取所述建筑外围的三维点云模型和所述建筑室内的三维点云模型的语义和几何特征,其中,所述语义表征所述建筑所包含的部件的名称;
融合单元,用于将所述建筑外围的三维点云模型与所述建筑室内的三维点云模型中语义和几何特征均相匹配的点确定为匹配点,并根据所述匹配点对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合。
第四方面,提供一种BIM模型的优化系统,包括:获取装置、优化装置和上述任一项所述的三维场景重建装置。
所述获取装置,用于建立建筑的BIM模型;
所述三维场景重建装置,用于获取参照所述BIM模型的模型参数施工建立的建筑的三维点云模型;
所述优化装置,用于根据所述三维点云模型对所述BIM模型进行优化。
可选地,所述优化装置:
确定模块,用于分别确定所述三维点云模型包含的各个建筑部件的第一部件参数以及所述BIM模型包含的各个建筑部件的第二部件参数;
建模模块,用于在所述三维点云模型中的建筑部件的第一部件参数与所述BIM模型中对应的建筑部件的第二部件参数不匹配的情况下,对不匹配的第一部件参数对应的三维点云模型中建筑部件的点云进行逆向建模;
优化模块,用于使用逆向建模的结果替换所述BIM模型中对应的建筑部件,并利用所述BIM模型中各个建筑部件之间的关联关系,对所述BIM模型进行整体优化调整。
第五方面,提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的方法。
第六方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法。
本发明的积极进步效果在于:本发明实施例中,生成建筑外围的三维点云模型时,将IMU数据和GNSS数据作为辅助数据,结合建筑外围的视觉数据构建建筑的三维点云模型,能够提取建筑更多特征,可以解决因建筑包含相似部件、表面反光的建筑点云建模困难问题。
附图说明
图1为本发明一示例性实施例提供的一种三维场景重建方法的流程图;
图2为本发明一示例性实施例提供的另一种三维场景重建方法的流程图;
图3为本发明一示例性实施例提供的一种BIM模型的优化方法的流程图;
图4为本发明一示例性实施例提供的一种三维场景重建装置的模块示意图;
图5为本发明一示例性实施例提供的一种BIM模型的优化方系统的模块示意图;
图6为本发明一示例实施例示出的一种电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
图1为本发明一示例性实施例提供的一种三维场景重建方法的流程图,该方法包括以下步骤:
步骤101、获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及该视觉传感器曝光过程中的IMU数据和GNSS数据。
对于高层建筑,可以将视觉传感器搭载到无人机上,无人机在沿建筑外围飞行的过程中,视觉传感器采集不同位姿下建筑外围的视觉数据,对于每个视角,采集至少一帧视觉数据。由于建筑一般具有反光材料,例如玻璃,因此本发明实施例中采用视觉传感器获取视觉数据作为建立三维点云模型的数据基础,而非采用激光扫描仪获取激光数据作为三维点云模型的基础,相较于激光扫描仪,视觉传感器能够获取更加完整的表征建筑外围的视觉数据。
视觉传感器上设有IMU器件和GNSS器件。由IMU器件采集视觉传感器曝光过程中的IMU数据,IMU数据表征视觉传感器的姿态数据。由GNSS器件采集视觉传感器曝光过程中的GNSS数据,GNSS数据表征视觉传感器的位置数据。IMU器件包括加速度传感器、陀螺仪、地磁传感器中的至少一种。
步骤102、根据IMU数据和GNSS数据确定视觉传感器的位姿。
其中,IMU数据包含视觉传感器的姿态角GNSS数据包含视觉传感器的影像投影的中心坐标(Xs,Ys,Zs),视觉传感器的位姿ψ表示为/>
步骤103、根据位姿对不同位姿采集的视觉数据进行配准处理。
在一个实施例中,对视觉数据进行配准处理时,将视觉传感器的位姿作为约束。由于建筑大多都是对称结构,建筑包含的部件相似,拍摄场景相似,获取的视觉数据难以区分,将视觉传感器的位姿作为视觉数据配准的约束,可以减小拍摄场景相似导致的影像配准误差。
假设pi,pj分别表示2帧视觉数据,图像配准时视觉数据的对应关系表示如下:
其中,表示视觉数据i与实际数据j的对应关系;/>表示拍摄pi,pj时视觉传感器的相对位姿;/>表示匹配操作;δ为位姿约束阈值,由pi,pj的重叠区域决定。
步骤104、根据IMU数据、GNSS数据和经过配准处理的视觉数据构建建筑外围的三维点云模型。
在一个实施例中,根据IMU数据和GNSS数据,结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理,得到建筑室内的三维视觉点云模型。
在对视觉数据进行光束法平差处理时,将上述获取到的视觉传感器的IMU数据和GNSS数据作为辅助观测数据,加入到光束法平差中,以提高三维视觉点云模型的精度,解决建筑包含相似部件、表面反光的点云建模困难问题。
GNSS/IMU辅助的光束法平差的目标函数表示如下:
E2(VX,VG,VI)=e(VX,VG,VI)T·P·e(VX,VG,VI);
e(VX,VG,VI)=(VX,VG,VI)T;
VG=(XG,YG,ZG)T-R(uG,vG,wG)T-(Xs,Ys,Zs)T-ηG;
其中,R为拍摄视觉数据时视觉传感器的姿态角构成的正交变换矩阵;t=(Xs,Ys,Zs)为视觉传感器的影像投影中心坐标;RB为视觉传感器空间坐标系与IMU器件坐标系的旋转角构成的正交变换矩阵;σo为像点坐标观测值中的误差;σG为GNSS器件的设站坐标观测值中的误差;σI为IMU姿态观测值中的误差;(XX,YX,ZX)为观测点在三维空间中的坐标,也即视觉传感器观测的对象(例如,墙面、窗户)在三维空间中的坐标;(uX,vX)为观测点投影在影像上的坐标,也即在二维图形中的坐标;sX为观测点的深度值;(uG,vG,wG)为GNSS器件的设站中心在视觉传感器辅助坐标系中的坐标;(XG,YG,ZG)为GNSS器件的设站中心在世界坐标系中的坐标;/>为IMU器件的观测值(IMU数据);ηG为GNSS的系统误差;ηI为IMU的系统误差;K为视觉传感器的内参矩阵;ξ为视觉传感器的外参矩阵。
本发明实施例中,生成建筑外围的三维点云模型时,将IMU数据和GNSS数据作为辅助数据,结合建筑外围的视觉数据构建建筑的三维点云模型,能够提取建筑更多特征,可以解决因建筑包含相似部件、表面反光的建筑点云建模困难问题。
图2为本发明一示例性实施例提供的另一种三维场景重建方法的流程图,本发明实施例通过将建筑外围的三维点云模型和建筑室内的三维点云模型进行配准联合,构建建筑整体的三维点云模型,参见图2,该方法包括以下步骤:
步骤201、获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及该视觉传感器曝光过程中的IMU数据和GNSS数据。
步骤202、根据IMU数据和GNSS数据确定视觉传感器的位姿。
步骤203、根据位姿对不同位姿采集的视觉数据进行配准处理。
步骤204、根据IMU数据、GNSS数据和经过配准处理的视觉数据构建建筑外围的三维点云模型。
步骤201~步骤204的具体实现过程与步骤101~步骤104的具体实现过程类似,此处不再赘述。
步骤205、构建建筑室内的三维点云模型。
下面简单介绍构建建筑室内的三维点云模型的实现方式。
在建筑室内,利用固定在地面上的三维激光扫描仪和/或移动三维激光扫描仪获取建筑室内的激光扫描数据,对激光扫描数据经过点云配准、点云去噪等处理,构建覆盖建筑室内的三维点云模型。
由于获取的激光扫描数据为在不同测点获取的数据,进行点云配准前,需对不同测点获取的激光扫描数据统一到相同的坐标系下。假设三维激光扫描的测站数据包括{Si}i=1,2,3,…,s,存在相邻两个测站点云数据(Sp,Sq),Sp={pm}m=1,2,3,…,P为目标点集,Sq={qn}n=1,2,3,…,Q为参考点集,将点集Sp转换到点集Sq坐标系下,实现测站点云数据的配准。转换参数为T=[R|t],为未知量需求解。把该转换参数[R|t]应用到目标点集Sp上,将目标点集转换到参考点集的坐标系下,在参考点集Sq中为目标点集Sp中的每一个点搜索一个点与其距离最近的点,然后以点对间距离平方和最小为条件建立目标函数,求取转换参数。点云配准的目标函数表示如下:
根据以上公式即能求得转换参数[R|t];
进而根据T(Sp)=R*Sp+t,对点集{SP}进行坐标转换,实现两个点集的配准。
在一个实施例中,也可以采集建筑室内的视觉数据,作为建立建筑室内的三维点云模型的基础数据,基于视觉数据建立建筑室内的三维点云模型的具体实现过程与基于视觉数据建立建筑外围的三维点云模型的具体实现过程类似,此处不再赘述。
步骤206、将建筑外围的三维点云模型与建筑室内的三维点云模型进行配准融合,得到建筑整体的三维点云模型。
由于复杂建筑具有严重遮挡(例如被其他建筑或者树木遮挡)、部件相似、表面反光等特点,致使将建筑外围的三维点云模型与建筑室内的三维点云模型存在低重叠度和点云密度差异的问题,导致点云模型配准融合一直存在难点,本发明实施例中,结合三维点云模型的语义信息和几何特征信息,解决两个模型配准融合较难的问题。
在一个实施例中,对建筑外围的三维点云模型和建筑室内的三维点云模型进行配准融合时,分别提取两个模型的对点云密度差异鲁棒的语义和几何特征。将两个模型中语义和几何特征均相匹配的点确定为匹配点,并根据该匹配点对建筑外围的三维点云模型和建筑室内的三维点云模型进行配准融合,构建建筑整体的三维点云模型。
其中,提取三维点云模型的语义,也即对三维点云模型的点云按照部件类型进行划分,确定建筑所包含的部件的名称,也即语义,例如语义可以包括窗户、墙面等。对三维点云模型的点云进行划分可以通过人为方式划分,也可以通过神经网络等自动划分方式。
所谓语义相匹配也即两个模型中的点的语义的相似度大于语义相似度阈值。其中,语义相似度阈值可以根据实际情况自行设置。举例来说,若建筑外围的三维点云模型中点A1的语义被识别为窗户,也即点A1构成了三维点云模型中窗户的一部分,建筑室内的三维点云模型中点B1的语义被识别为窗户,也即点B1构成了三维点云模型中窗户的一部分,点A1与点B1的语义相同,则确定两者相匹配,点A1与点B1互为匹配点。若建筑外围的三维点云模型中点A2的语义被识别为墙体,也即点A2构成了三维点云模型中墙体的一部分,建筑室内的三维点云模型中点B2的语义被识别为门,也即点B2构成了三维点云模型中门的一部分,点A2与点B2的语义不同且相差很大,则确定两者不匹配。
所谓几何特征相匹配也即两个模型中的点的几何特征的相似度大于特征相似度阈值。其中,特征相似度阈值可以根据实际情况自行设置。
可以理解地,基于独立的点难以确定其语义和几何特征,确定某点的语义和几何特征时,需结合该点附件的点云中其他点进行。匹配点可以通过一个点表征,也可以通过多个点表征。
假设附有语义和几何特征的三维点云模型为{S(x,y,z,S,E)},{Pi(xi,yi,zi,Si,Ei)}为目标点集,{Qj(xj,yj,zj,Sj,Ej)}为参考点集,语义和几何信息约束的模型配准如下所示:
T(Pm)=R(xm,ym,zm)T+t。
其中,S表示三维点云模型的语义,E表示三维点云模型的几何特征。T表示目标点集到参考点集的变化矩阵。
本发明实施例中,利用三维点云模型中点云的语义和几何特征,对建筑外围的三维点云模型和建筑室内的三维点云模型进行配准融合,可以克服异构建筑的室内外一体化精确建模问题。
图3为本发明一示例性实施例提供的一种BIM模型的优化方法的流程图,该方法包括以下步骤:
步骤301、获取建筑的BIM模型。
建筑信息模型(Building Information Modeling,BIM)是一种利用数字表达建筑对象的几何、物理和功能信息以支持建筑全生命周期管理的技术,为建筑施工中部件加工和安装提供准确的信息支撑。
建立建筑的BIM模型时,根据建筑的设计,构建施工建筑的不同类型的部件,各个部件则采用切片生成的方式,由截面生成实体,以点、线、面、体的方式逐步建立。在每个部件建模时选择自身合理可调的参数,关联各个部件间的相关参数,实现只调整局部参数,整体模型随之调整。建立起完备的部件库或程序包后,在进行参数化设计时选择好合理的结构形式,选择需要的部件并将其参数合理调整,将各个部件快速组装,得到三维参数化模型。参数化BIM模型由具有许多属性的部件(实例)来描述。对于BIM模型的每个实例,其数据信息可以分为三类:①物理属性,包括实例的特征和规格,如名称材料、大小等。②几何属性,包括实例的位置、形状、几何形状等。③关系属性,包括用于连接其他实例的信息,如实例的级别、墙和门的关系等。
步骤302、获取参照BIM模型的模型参数施工建立的建筑的三维点云模型。
三维点云模型用于与BIM模型进行优化调整,获取三维点云模型的时机也即BIM模型的优化调整时机,关于BIM模型优化的时机,可以根据实际情况自行确定,例如在施工的关键节点时,以实际施工的状态信息为依据,建立建筑的三维点云模型,以对BIM模型进行优化。其中,三维点云模型根据上述任一实施例提供的三维场景重建方法所建立,具体实现过程参见上述实施例描述部分,此处不再赘述。
施工时,可从BIM模型中提取部件加工、安装等精确的建筑施工信息,可以但不限于包括建筑的六面视图、二维图像、各个部件的尺寸、形状、材料等,并用于实际现场施工。
即便参照了BIM模型的模型参数,在实际施工过程中,施工误差、建筑沉降和变形等因素不可避免且难以控制,导致实际的施工状态与BIM模型之间产生偏差。随着施工的进行,实际施工与BIM模型的偏差不断累积,导致BIM模型提供的部件加工和安装信息无法继续为实际的施工提供有效支撑。
因此,消除BIM模型与实际施工状态之间的偏差,通过建筑施工信息对BIM模型进行优化,实现BIM模型与实际施工之间的有效持续交互对建筑的现场施工非常关键。
若步骤302获取的三维点云模型为建筑外围的三维点云模型,下述步骤则根据建筑外围的三维点云模型对BIM模型进行优化;若步骤302获取的三维点云模型为建筑室内的三维点云模型,下述步骤则根据建筑室内的三维点云模型对BIM模型进行优化;若步骤302获取的三维点云模型为建筑整体的三维点云模型,下述步骤则根据建筑整体的三维点云模型对BIM模型进行优化。
步骤303、根据建筑的三维点云模型对BIM模型进行优化。
在一个实施例中,对BIM模型进行优化时,分别确定三维点云模型中各个建筑部件(由点云表征)的第一部件参数以及BIM模型中各个建筑部件的第二部件参数;在三维点云模型中的建筑部件的第一部件参数与BIM模型中对应的建筑部件的第二部件参数不匹配的情况下,根据不匹配的第一部件参数对应的建筑部件的点云进行逆向建模,并使用逆向建模的结果替换BIM模型中对应的建筑部件。其中,第一部件参数可以但不限于包括尺寸、形状、位置、材料等。第二件参数可以但不限于包括尺寸、形状、位置、材料等。
举例来说,若确定三维点云模型中表征窗户的建筑部件的第一部件参数,与BIM模型中表征窗户的建筑部件的第二部件参数不匹配,说明实际施工建筑与BIM模型存在差异,需根据实际施工信息对BIM模型进行优化,否则BIM模型提供的部件加工和安装信息无法继续为实际的施工提供有效支撑,则需要对三维点云模型中表征窗户的点云进行逆向建模,得到对应于BIM模型的窗户模型,并将该对应于BIM模型的窗户模型,也即逆向建模的结果替换BIM模型中的窗户模型,以实现对BIM模型的优化。
BIM模型考虑到各个部件之间的关联约束关系,在尺寸和空间位置相互约束的情况下,主动变化部件的变量将作为被影响部件对应参数的起点,进而形成整体关联的模型,即调整一个部件会自适应改变整体模型。当某些部件参数的改变会影响到其他部件的形状时,被关联的部件位置和形状也会相应改变。利用步骤S103构建的复杂建筑室内外一体化精确点云模型,对与BIM模型存在偏差的建筑部件点云进行逆向建模,用建模的结果替换BIM模型中对应的部件。利用BIM模型中部件之间的关联关系,对BIM模型进行整体优化调整,获取与实际施工状态相一致的BIM模型。
从而,即可根据经过优化调整之后的BIM模型继续施工,BIM模型中包含建筑部件的属性信息和几何信息,对BIM模型中各建筑部件进行正投影得到建筑部件的三视图,基于三视图对建筑部件进行分格、编号,将加工数据进行分析处理并导出,生成部件下单表格和加工图等加工信息文件。同时,根据BIM模型中部件的几何信息获取部件的空间位置坐标,实现现场施工中精确安装建筑部件。
本发明实施例中,建立了BIM模型与施工建筑之间的反馈调整机制,实现了BIM模型与实际施工建筑之间的有效交互,可以根据实际施工信息对BIM模型进行优化调整,继而可以基于经过优化调整的BIM模型为施工提供支撑,保证复杂建筑的精确施工。在BIM模型与实际施工建筑出现偏差的情况下,无需重新建立BIM模型,可以节省人力物力,以及缩短施工时长。
与前述三维场景重建方法、BIM模型的优化方法实施例相对应,本发明还提供了三维场景重建装置、BIM模型的优化系统的实施例。
图4为本发明一示例性实施例提供的一种三维场景重建装置的模块示意图,包括:
获取模块41,用于获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU数据和GNSS数据;
确定模块42,用于根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿;
配准模块43,用于根据所述位姿对不同位姿采集的视觉数据进行配准处理;
构建模块44,用于根据所述IMU数据、GNSS数据和经过配准处理的视觉数据构建所述建筑外围的三维点云模型。
可选地,所述构建模块用于:
根据所述IMU数据和GNSS数据,结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理,得到所述建筑外围的三维点云模型。
可选地,还包括:
建立模块,用于建立建筑室内的三维点云模型;
融合模块,用于将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合,得到建筑整体的三维点云模型。
可选地,所述融合模块包括:
提取单元,用于分别提取所述建筑外围的三维点云模型和所述建筑室内的三维点云模型的语义和几何特征,其中,所述语义表征所述建筑所包含的部件的名称;
融合单元,用于将所述建筑外围的三维点云模型与所述建筑室内的三维点云模型中语义和几何特征均相匹配的点确定为匹配点,并根据所述匹配点对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合。
图5为本发明一示例性实施例提供的一种BIM模型的优化系统的模块示意,包括:获取装置51、优化装置52和上述任一项所述的三维场景重建装置53。
所述获取装置,用于建立建筑的BIM模型;
所述三维场景重建装置,用于获取参照所述BIM模型的模型参数施工建立的建筑的三维点云模型;
所述优化装置,用于根据所述三维点云模型对所述BIM模型进行优化。
可选地,所述优化装置:
确定模块,用于分别确定所述三维点云模型包含的各个建筑部件的第一部件参数以及所述BIM模型包含的各个建筑部件的第二部件参数;
建模模块,用于在所述三维点云模型中的建筑部件的第一部件参数与所述BIM模型中对应的建筑部件的第二部件参数不匹配的情况下,对不匹配的第一部件参数对应的三维点云模型中建筑部件的点云进行逆向建模;
优化模块,用于使用逆向建模的结果替换所述BIM模型中对应的建筑部件,并利用所述BIM模型中各个建筑部件之间的关联关系,对所述BIM模型进行整体优化调整。
对于装置/系统实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置/系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
图6是本发明一示例实施例示出的一种电子设备的结构示意图,示出了适于用来实现本发明实施方式的示例性电子设备60的框图。图6显示的电子设备60仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,电子设备60可以以通用计算设备的形式表现,例如其可以为服务器设备。电子设备60的组件可以包括但不限于:上述至少一个处理器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和处理器61)的总线63。
总线63包括数据总线、地址总线和控制总线。
存储器62可以包括易失性存储器,例如随机存取存储器(RAM)621和/或高速缓存存储器622,还可以进一步包括只读存储器(ROM)623。
存储器62还可以包括具有一组(至少一个)程序模块624的程序工具625(或实用工具),这样的程序模块624包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器61通过运行存储在存储器62中的计算机程序,从而执行各种功能应用以及数据处理,例如上述任一实施例所提供的方法。
电子设备60也可以与一个或多个外部设备64(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口65进行。并且,模型生成的电子设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器66通过总线63与模型生成的电子设备60的其它模块通信。应当明白,尽管图中未示出,可以结合模型生成的电子设备60使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所提供的方法。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
Claims (10)
1.一种三维场景重建方法,其特征在于,包括:
获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU数据和GNSS数据;
根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿;
根据所述位姿对不同位姿采集的视觉数据进行配准处理;图像配准时视觉数据的对应关系表示如下:其中,/>表示视觉数据i与实际数据j的对应关系;pi,pj分别表示2帧视觉数据;/>表示拍摄pi,pj时视觉传感器的相对位姿;/>表示匹配操作;δ表示位姿约束阈值;
根据所述IMU数据和GNSS数据,结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理构建所述建筑外围的三维点云模型;在对所述视觉数据进行光束法平差处理时,将所述IMU数据和GNSS数据作为辅助观测数据,加入到光束法平差中;所述IMU数据和GNSS数据辅助的光束法平差的目标函数表示如下:
E2(VX,VG,VI)=e(VX,VG,VI)T·P·e(VX,VG,VI);
e(VX,VG,VI)=(VX,VG,VI)T;
VG=(XG,YG,ZG)T-R(uG,vG,wG)T-(Xs,Ys,Zs)T-ηG;
其中,R为拍摄视觉数据时视觉传感器的姿态角构成的正交变换矩阵;t=(Xs,Ys,Zs)为视觉传感器的影像投影中心坐标;RB为视觉传感器空间坐标系与IMU器件坐标系的旋转角构成的正交变换矩阵;σo为像点坐标观测值中的误差;σG为GNSS器件的设站坐标观测值中的误差;σI为IMU姿态观测值中的误差;(XX,YX,ZX)为观测点在三维空间中的坐标;(uX,vX)为观测点投影在影像上的坐标;sX为观测点的深度值;(uG,vG,wG)为GNSS器件的设站中心在视觉传感器辅助坐标系中的坐标;(XG,YG,ZG)为GNSS器件的设站中心在世界坐标系中的坐标;/>为IMU器件的观测值;ηG为GNSS的系统误差;ηI为IMU的系统误差;K为视觉传感器的内参矩阵;ξ为视觉传感器的外参矩阵;
建立建筑室内的三维点云模型;
根据所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合,得到建筑整体的三维点云模型。
2.根据权利要求1所述的三维场景重建方法,其特征在于,将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合,包括:
分别提取所述建筑外围的三维点云模型和所述建筑室内的三维点云模型的语义和几何特征,其中,所述语义表征建筑所包含的部件的名称;
将所述建筑外围的三维点云模型与所述建筑室内的三维点云模型中语义和几何特征均相匹配的点确定为匹配点,并根据所述匹配点对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合。
3.一种BIM模型的优化方法,其特征在于,包括:
获取建筑的BIM模型;
获取参照所述BIM模型的模型参数施工建立的建筑的三维点云模型,所述三维点云模型根据权利要求1或2所述的三维场景重建方法所建立;
根据所述三维点云模型对所述BIM模型进行优化。
4.根据权利要求3所述的BIM模型的优化方法,其特征在于,根据所述三维点云模型对所述BIM模型进行优化,包括:
分别确定所述三维点云模型包含的各个建筑部件的第一部件参数以及所述BIM模型包含的各个建筑部件的第二部件参数;
在所述三维点云模型中的建筑部件的第一部件参数与所述BIM模型中对应的建筑部件的第二部件参数不匹配的情况下,对不匹配的第一部件参数对应的三维点云模型中建筑部件的点云进行逆向建模;
使用逆向建模的结果替换所述BIM模型中对应的建筑部件;
利用所述BIM模型中各个建筑部件之间的关联关系,对所述BIM模型进行整体优化调整。
5.一种三维场景重建装置,其特征在于,包括:
获取模块,用于获取视觉传感器在不同位姿下采集的建筑外围的视觉数据以及所述视觉传感器在曝光过程中的IMU数据和GNSS数据;
确定模块,用于根据所述IMU数据和GNSS数据确定所述视觉传感器的位姿;
配准模块,用于根据所述位姿对不同位姿采集的视觉数据进行配准处理;图像配准时视觉数据的对应关系表示如下:其中,/>表示视觉数据i与实际数据j的对应关系;pi,pj分别表示2帧视觉数据;/>表示拍摄pi,pj时视觉传感器的相对位姿;/>表示匹配操作;δ表示位姿约束阈值;
构建模块,用于根据所述IMU数据和GNSS数据,结合三角测量算法对经过配准处理的视觉数据进行光束法平差处理构建所述建筑外围的三维点云模型;在对所述视觉数据进行光束法平差处理时,将所述IMU数据和GNSS数据作为辅助观测数据,加入到光束法平差中;所述IMU数据和GNSS数据辅助的光束法平差的目标函数表示如下:
E2(VX,VG,VI)=e(VX,VG,VI)T·P·e(VX,VG,VI);
e(VX,VG,VI)=(VX,VG,VI)T;
VG=(XG,YG,ZG)T-R(uG,vG,wG)T-(Xs,Ys,Zs)T-ηG;
其中,R为拍摄视觉数据时视觉传感器的姿态角构成的正交变换矩阵;t=(Xs,Ys,Zs)为视觉传感器的影像投影中心坐标;RB为视觉传感器空间坐标系与IMU器件坐标系的旋转角构成的正交变换矩阵;σo为像点坐标观测值中的误差;σG为GNSS器件的设站坐标观测值中的误差;σI为IMU姿态观测值中的误差;(XX,YX,ZX)为观测点在三维空间中的坐标;(uX,vX)为观测点投影在影像上的坐标;sX为观测点的深度值;(uG,vG,wG)为GNSS器件的设站中心在视觉传感器辅助坐标系中的坐标;(XG,YG,ZG)为GNSS器件的设站中心在世界坐标系中的坐标;/>为IMU器件的观测值;ηG为GNSS的系统误差;ηI为IMU的系统误差;K为视觉传感器的内参矩阵;ξ为视觉传感器的外参矩阵;
建立模块,用于建立建筑室内的三维点云模型;
融合模块,用于将对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合,得到建筑整体的三维点云模型。
6.根据权利要求5所述的三维场景重建装置,其特征在于,所述融合模块包括:
提取单元,用于分别提取所述建筑外围的三维点云模型和所述建筑室内的三维点云模型的语义和几何特征,其中,所述语义表征建筑所包含的部件的名称;
融合单元,用于将所述建筑外围的三维点云模型与所述建筑室内的三维点云模型中语义和几何特征均相匹配的点确定为匹配点,并根据所述匹配点对所述建筑外围的三维点云模型和所述建筑室内的三维点云模型进行配准融合。
7.一种BIM模型的优化系统,其特征在于,包括:获取装置、优化装置和权利要求5或6所述的三维场景重建装置;
所述获取装置,用于建立建筑的BIM模型;
所述三维场景重建装置,用于获取参照所述BIM模型的模型参数施工建立的建筑的三维点云模型;
所述优化装置,用于根据所述三维点云模型对所述BIM模型进行优化。
8.根据权利要求7所述的BIM模型的优化系统,其特征在于,所述优化装置包括:
确定模块,用于分别确定所述三维点云模型包含的各个建筑部件的第一部件参数以及所述BIM模型包含的各个建筑部件的第二部件参数;
建模模块,用于在所述三维点云模型中的建筑部件的第一部件参数与所述BIM模型中对应的建筑部件的第二部件参数不匹配的情况下,对不匹配的第一部件参数对应的三维点云模型中建筑部件的点云进行逆向建模;
优化模块,用于使用逆向建模的结果替换所述BIM模型中对应的建筑部件,并利用所述BIM模型中各个建筑部件之间的关联关系,对所述BIM模型进行整体优化调整。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110739224.4A CN113516772B (zh) | 2021-06-30 | 2021-06-30 | 三维场景重建方法及装置、bim模型的优化方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110739224.4A CN113516772B (zh) | 2021-06-30 | 2021-06-30 | 三维场景重建方法及装置、bim模型的优化方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113516772A CN113516772A (zh) | 2021-10-19 |
CN113516772B true CN113516772B (zh) | 2023-09-15 |
Family
ID=78066861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110739224.4A Active CN113516772B (zh) | 2021-06-30 | 2021-06-30 | 三维场景重建方法及装置、bim模型的优化方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113516772B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115727854A (zh) * | 2022-11-28 | 2023-03-03 | 同济大学 | 一种基于bim结构信息的vslam定位方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765487A (zh) * | 2018-06-04 | 2018-11-06 | 百度在线网络技术(北京)有限公司 | 重建三维场景的方法、装置、设备和计算机可读存储介质 |
CN109410327A (zh) * | 2018-10-09 | 2019-03-01 | 鼎宸建设管理有限公司 | 一种基于bim和gis的三维城市建模方法 |
CN109685891A (zh) * | 2018-12-28 | 2019-04-26 | 鸿视线科技(北京)有限公司 | 基于深度图像的建筑物三维建模与虚拟场景生成系统 |
CN110264567A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种基于标记点的实时三维建模方法 |
CN112802111A (zh) * | 2021-04-01 | 2021-05-14 | 中智行科技有限公司 | 一种物体模型构建方法及装置 |
CN112902953A (zh) * | 2021-01-26 | 2021-06-04 | 中国科学院国家空间科学中心 | 一种基于slam技术的自主位姿测量方法 |
CN113051652A (zh) * | 2021-04-12 | 2021-06-29 | 中国建筑第八工程局有限公司 | 基于bim和三维扫描的逆向建模技术的工程改扩建方法 |
-
2021
- 2021-06-30 CN CN202110739224.4A patent/CN113516772B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765487A (zh) * | 2018-06-04 | 2018-11-06 | 百度在线网络技术(北京)有限公司 | 重建三维场景的方法、装置、设备和计算机可读存储介质 |
CN109410327A (zh) * | 2018-10-09 | 2019-03-01 | 鼎宸建设管理有限公司 | 一种基于bim和gis的三维城市建模方法 |
CN109685891A (zh) * | 2018-12-28 | 2019-04-26 | 鸿视线科技(北京)有限公司 | 基于深度图像的建筑物三维建模与虚拟场景生成系统 |
CN110264567A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种基于标记点的实时三维建模方法 |
CN112902953A (zh) * | 2021-01-26 | 2021-06-04 | 中国科学院国家空间科学中心 | 一种基于slam技术的自主位姿测量方法 |
CN112802111A (zh) * | 2021-04-01 | 2021-05-14 | 中智行科技有限公司 | 一种物体模型构建方法及装置 |
CN113051652A (zh) * | 2021-04-12 | 2021-06-29 | 中国建筑第八工程局有限公司 | 基于bim和三维扫描的逆向建模技术的工程改扩建方法 |
Non-Patent Citations (2)
Title |
---|
胡玉详 等.基于三维激光点云的古建筑BIM建模方法研究.城市勘测.2020,第98-102页. * |
邓林建 ; 程效军 ; 程小龙 ; 朱剑伟 ; .一种基于点云数据的建筑物BIM模型重建方法.地矿测绘.2016,(第04期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN113516772A (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109521403B (zh) | 多线激光雷达的参数标定方法及装置、设备及可读介质 | |
US11416644B2 (en) | Supervised automatic roof modeling | |
JP6987797B2 (ja) | リアルタイムオンラインエゴモーション推定を有するレーザスキャナ | |
CN113432600B (zh) | 基于多信息源的机器人即时定位与地图构建方法及系统 | |
CN111402339B (zh) | 一种实时定位方法、装置、系统及存储介质 | |
JP7300550B2 (ja) | 視覚標識に基づき標識マップを構築する方法、装置 | |
CN111561923A (zh) | 基于多传感器融合的slam制图方法、系统 | |
JP7422105B2 (ja) | 路側計算装置に用いる障害物3次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム | |
CN111427061A (zh) | 一种机器人建图方法、装置,机器人及存储介质 | |
CN110223380B (zh) | 融合航拍与地面视角图像的场景建模方法、系统、装置 | |
KR102130687B1 (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 | |
CN114964212A (zh) | 面向未知空间探索的多机协同融合定位与建图方法 | |
CN113960614A (zh) | 一种基于帧-地图匹配的高程图构建方法 | |
CN113516772B (zh) | 三维场景重建方法及装置、bim模型的优化方法及装置 | |
Yin et al. | CoMask: Corresponding mask-based end-to-end extrinsic calibration of the camera and LiDAR | |
CN114047766B (zh) | 面向室内外场景长期应用的移动机器人数据采集系统及方法 | |
CN116380039A (zh) | 一种基于固态激光雷达和点云地图的移动机器人导航系统 | |
Ma et al. | Low‐Altitude Photogrammetry and Remote Sensing in UAV for Improving Mapping Accuracy | |
CN113899357B (zh) | 视觉slam的增量建图方法、装置、机器人及可读存储介质 | |
CN115930937A (zh) | 一种多传感器的同时定位和建图方法、终端及存储介质 | |
CN114674320A (zh) | 基于粒子滤波的定位方法、系统、设备及存储介质 | |
Hübner et al. | Pose normalization of indoor mapping datasets partially compliant with the manhattan world assumption | |
Sheng et al. | A tight coupling mapping method to integrate the ESKF, g2o, and point cloud alignment | |
Guo et al. | Research on 3D geometric modeling of urban buildings based on airborne lidar point cloud and image | |
CN112927370B (zh) | 三维建筑物模型构建方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |