CN116824067B - 一种室内三维重建方法及其装置 - Google Patents

Abstract

本发明公开了一种室内三维重建方法及其装置，所述方法待重建区域RGB图像数据进行三维重建，得到无绝对尺度的三维模型，再根据采集到点云数据还原三维模型实际大小，得到带有真实尺度的三维模型；所述装置包括相机、激光测距仪、控制器和基座。本发明解决了纯图像三维重建的模型没有尺度信息的难点，使得模型能够适用于室内测绘、装修等更多领域。

Description

一种室内三维重建方法及其装置

技术领域

本发明属于三维重建技术领域，具体涉及一种室内三维重建方法及其装置。

背景技术

目前人们对于三维数据的需求日益增大，如测绘、房屋装修、VR等领域，昂贵的三维激光雷达设备是普通大众无法接受的，相机设备相对便宜。采用相机进行图像三维重建的传统方法是通过特征点匹配结果进行初步的匹配，得到相机姿态估计和初始三角化结果，通过光束法平差（Bundle Adjustment）对相机位姿和3D点坐标进行全局优化，并利用多个视角下的图像信息进行后方光线投影，生成稠密点云数据，对其每个像素点进行深度值的计算：首先根据视差约束计算出候选深度值；然后对候选深度值进行平滑处理，以消除噪声和不一致性，并保持深度图连续性，最终通过位姿将所有点云拼接到一起，完成稠密化三维重建。由此方法重建的三维模型没有尺度信息，仅能用作观赏。

因此，本发明提供了一种室内三维重建方法及其装置，以至少解决上述技术问题。

发明内容

本发明要解决的技术问题是：提供一种室内三维重建方法及其装置，以至少解决上述技术问题。

为实现上述目的，本发明采用的技术方案如下：

一种室内三维重建方法，包括以下步骤：

步骤1、相机采集室内的RGB图像数据，激光测距仪采集室内的点云数据；

步骤2、处理室内的RGB图像数据，得到室内每帧RGB图像相互匹配的特征点和不带尺度信息的深度图；

步骤3、检测室内每帧RGB图像的激光点的像素坐标，将激光点的像素坐标转换至相机坐标系下，由不带尺度信息的深度图得到相机坐标系下不带尺度信息的三维坐标；将室内的点云数据的三维坐标转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标；联立相机坐标系下不带尺度信息和带有真实尺度的三维坐标，得到带有真实尺度的深度图；

步骤4、通过带有真实尺度的深度图，将相互匹配的特征点恢复成世界坐标系下带有真实尺度的三维坐标，计算相机的位姿数据；通过位姿数据拼接室内每帧点云数据，得到带有真实尺度的三维模型。

进一步地，在所述步骤1前还包括步骤a、标定相机，得到相机的内参矩阵K，以及步骤b、标定相机和激光测距仪，得到相机的外参矩阵T。

进一步地，所述步骤a包括：步骤a1、相机从各个角度采集棋盘格的RGB图像数据，通过张正友标定法对相机进行内参标定，得到相机内参矩阵K。

进一步地，所述步骤b包括：步骤b1、相机采集多组棋盘格的RGB图像数据，激光测距仪采集多组棋盘格的点云数据；步骤b2、手动确定每张棋盘格的RGB图像数据中激光测距仪激光点的像素坐标，结合相机的内参矩阵K，利用PnP算法得到相机的外参矩阵T。

进一步地，所述步骤3包括：步骤31、基于激光点的红色特征，检测室内每帧RGB图像对应激光点的像素坐标（u,v）；通过相机的内参矩阵K将激光点的像素坐标转换至相机坐标系下，再由室内每帧RGB图像不带尺度信息的深度图，得到相机坐标系下不带尺度信息的三维坐标(X_c1,Y_c1,Z_c1)，公式如下：

；

式中，（u,v）是激光点在室内的RGB图像对应像素点的像素坐标，d(u,v)表示激光点在室内RGB图像对应像素点的深度，d(u,v)由不带尺度信息的深度图获取，K表示相机的内参矩阵；

步骤32、将室内的点云数据的三维坐标通过相机的外参矩阵T转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标(X_c2,Y_c2,Z_c2)，公式如下：

；

式中，(Xw,Yw,Zw)是室内的点云数据的三维坐标，T表示相机的外参矩阵；

步骤33、联立相机坐标系下不带尺度信息的三维坐标(X_c1,Y_c1,Z_c1)和带有真实尺度的三维坐标(X_c2,Y_c2,Z_c2)，通过最小二乘法求出尺度系数α；步骤34、将不带尺度信息的深度图的深度值乘上尺度系数α，得到带有真实尺度的深度图。

进一步地，所述步骤4包括：步骤41、通过带有真实尺度的深度图，将相互匹配的特征点由相机转换至世界坐标系下相互匹配且带有真实尺度的三维坐标（X,Y,Z)，公式如下：

；

式中，d(u,v)表示激光点在室内的RGB图像对应像素点的深度，K表示相机的内参矩阵，d(u,v)由不带尺度信息的深度图获取；

步骤42、基于相互匹配且带有真实尺度的三维坐标（X,Y,Z)，由ICP算法计算相机的位姿数据；步骤43、通过相机由带有真实尺度的深度图得到稠密点云数据，通过位姿数据拼接室内每帧点云数据，得到真实尺度的三维模型。

进一步地，所述步骤1包括：步骤11、相机移动采集室内需重建区域的RGB图像数据，激光测距仪移动采集室内需重建区域的点云数据。

进一步地，所述步骤2包括：步骤21、采用colmap软件处理室内的RGB图像数据，得到室内每帧RGB图像相互匹配的特征点和不带尺度信息的深度图。

本发明还提供了一种室内三维重建装置，该装置基于上述任意一种室内三维重建方法，包括：

相机，用于采集室内的RGB图像数据；

激光测距仪，用于采集室内的点云数据；

控制器，用于存储和传输室内的RGB图像数据和室内的点云数据；

基座，用于安装相机、激光测距仪和控制器。

进一步地，所述激光测距仪有多个，至少包括第一激光测距仪、第二激光测距仪、第三激光测距仪，第一激光测距仪、第二激光测距仪、第三激光测距仪延长线交于一点，构成三维激光坐标系，第一激光测距仪、第二激光测距仪、第三激光测距仪的视场角小于相机的视场角。

与现有技术相比，本发明具有以下有益效果：

本发明解决了纯图像三维重建的模型没有尺度信息的难点，由待重建区域RGB图像数据进行三维重建，得到无绝对尺度的三维模型，再根据采集到点云数据还原三维模型实际大小，得到带有真实尺度的三维模型，使得模型能够适用于室内测绘、装修等更多领域。

附图说明

图1为本发明的方法流程图。

图2为本发明的装置结构图。

其中，附图标记对应的名称为：

1-手持座，2-基座，3-第一激光测距仪，4-相机，5-第二激光测距仪，6-控制器，7-第三激光测距仪。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；当然的，还可以是机械连接，也可以是电连接；另外的，还可以是直接相连，也可以是通过中间媒介间接相连，或者可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

如图1所示，本发明提供的一种室内三维重建方法，包括以下步骤：

步骤1、相机采集室内的RGB图像数据，激光测距仪采集室内的点云数据；

步骤2、处理室内的RGB图像数据，得到室内每帧RGB图像相互匹配的特征点和不带尺度信息的深度图；

步骤3、检测室内每帧RGB图像的激光点的像素坐标，将激光点的像素坐标转换至相机坐标系下，由不带尺度信息的深度图得到相机坐标系下不带尺度信息的三维坐标；将室内的点云数据的三维坐标转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标；联立相机坐标系下不带尺度信息和带有真实尺度的三维坐标，得到带有真实尺度的深度图；

步骤4、通过带有真实尺度的深度图，将相互匹配的特征点恢复成世界坐标系下带有真实尺度的三维坐标，计算相机的位姿数据；通过位姿数据拼接室内每帧点云数据，得到带有真实尺度的三维模型。

如图2所示，本发明提供的一种室内三维重建装置，基于所述一种室内三维重建方法，包括：

相机4，用于采集室内的RGB图像数据；

激光测距仪，用于采集室内的点云数据；

控制器6，用于存储和传输室内的RGB图像数据和室内的点云数据；

基座2，用于安装相机、激光测距仪和控制器。

作为优选，一种室内三维重建装置还包括手持座1，手持座1与基座2相连接，用于基座2和基座上相机4和激光测距仪的手持移动，便于室内图像的移动采集。

作为优选，所述激光测距仪有多个，至少包括第一激光测距仪3、第二激光测距仪5、第三激光测距仪7，第一激光测距仪3、第二激光测距仪5、第三激光测距仪7延长线交于一点，构成三维激光坐标系，第一激光测距仪3、第二激光测距仪5、第三激光测距仪7的视场角小于相机的视场角。

作为优选，控制器6采用树莓派控制器，相机4采用可见光相机，激光测距仪采用单点激光测距仪，组装后可以拼接出三维坐标系。

在部分实施例中，在所述步骤1前还包括步骤a、标定相机，得到相机的内参矩阵K，以及步骤b、标定相机和激光测距仪，得到相机的外参矩阵T。

作为优选，所述步骤a包括：步骤a1、相机从各个角度采集棋盘格的RGB图像数据，通过张正友标定法对相机进行内参标定，得到相机内参矩阵K。

作为优选，所述步骤b包括：步骤b1、相机与激光测距仪同时采集多组棋盘格的RGB图像数据和RGB深度数据；步骤b2、手动确定每张棋盘格的RGB图像数据中激光测距仪激光点的像素坐标，结合相机的内参矩阵K，利用PnP算法得到相机的外参矩阵T。在所述步骤b1中，由控制器进行时间对齐。

在部分实施例中，所述步骤1包括：步骤11、相机移动采集室内需重建区域的RGB图像数据，激光测距仪移动采集室内需重建区域的点云数据。在室内场景中，通过手持座手动移动基座，实现相机与激光测距仪移动采集，然后在采集完成后，将室内需重建区域RGB图像数据和点云数据通过控制器上传至电脑进行处理。

在部分实施例中，所述步骤2包括：步骤21、在电脑中采用colmap软件处理室内的RGB图像数据，得到室内每帧RGB图像相互匹配的特征点坐标和不带尺度信息的深度图。

在部分实施例中，所述步骤3包括：步骤31、基于激光点的红色特征，检测室内每帧RGB图像对应激光点的像素坐标（u,v）；通过相机的内参矩阵K将激光点的像素坐标转换至相机坐标系下，再由室内每帧RGB图像不带尺度信息的深度图，得到相机坐标系下不带尺度信息的三维坐标(X_c1,Y_c1,Z_c1)，公式如下：

；

式中，（u,v）是激光点在室内的RGB图像对应像素点的像素坐标，d(u,v)表示激光点在室内RGB图像对应像素点的深度，d(u,v)由不带尺度信息的深度图获取，具体为读取深度图坐标(u,v)处的深度值即可得到，K表示相机的内参矩阵；

相机坐标系下不带尺度信息的三维坐标点(X_c1,Y_c1,Z_c1)没有尺度信息，例如若Z_c1=10，无法知道是10米还是10厘米还是10毫米；

步骤32、将室内的点云数据的三维坐标通过相机的外参矩阵T转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标(X_c2,Y_c2,Z_c2)，公式如下：

；

式中，(Xw,Yw,Zw)是室内的点云数据的三维坐标，T表示相机的外参矩阵；

步骤33、联立相机坐标系下不带尺度信息的三维坐标(X_c1,Y_c1,Z_c1)和带有真实尺度的三维坐标(X_c2,Y_c2,Z_c2)，通过最小二乘法求出尺度系数α，由于三维坐标点(X_c1,Y_c1,Z_c1)与(X_c2,Y_c2,Z_c2)只相差一个尺度系数α，即(X_c2,Y_c2,Z_c2)=α×(Xc1,Yc1,Zc1)，根据联立方程可以得出尺度系数α；步骤34、将不带尺度信息的深度图的深度值乘上尺度系数α，得到带有真实尺度的深度图，通过尺度系数α即可恢复每帧RGB图像深度图所有点的尺度。

在部分实施例中，所述步骤4包括：步骤41、通过带有真实尺度的深度图，将相互匹配的特征点由相机转换至世界坐标系下相互匹配且带有真实尺度的三维坐标（X,Y,Z)，公式如下：

；

式中，d(u,v)表示激光点在室内的RGB图像对应像素点的深度，K表示相机的内参矩阵，d(u,v)由不带尺度信息的深度图获取；

特征点是二维坐标，通过带有真实尺度的深度图恢复成带有真实尺度的三维坐标，相互匹配的三维坐标点对就可以通过ICP算法计算相机位姿，并且带有真实尺度。

步骤42、基于相互匹配且带有真实尺度的三维坐标（X,Y,Z)，由ICP算法计算相机的位姿数据；步骤43、通过相机由带有真实尺度的深度图得到稠密点云数据，通过位姿数据拼接室内每帧点云数据，得到真实尺度的三维模型。

最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种室内三维重建方法，其特征在于，包括以下步骤：

步骤1、相机采集室内的RGB图像数据，激光测距仪采集室内的点云数据；

步骤2、处理室内的RGB图像数据，得到室内每帧RGB图像相互匹配的特征点和不带尺度信息的深度图；

步骤3、检测室内每帧RGB图像的激光点的像素坐标，将激光点的像素坐标转换至相机坐标系下，由不带尺度信息的深度图得到相机坐标系下不带尺度信息的三维坐标；将室内的点云数据的三维坐标转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标；联立相机坐标系下不带尺度信息和带有真实尺度的三维坐标，得到带有真实尺度的深度图；

步骤4、通过带有真实尺度的深度图，将相互匹配的特征点恢复成世界坐标系下带有真实尺度的三维坐标，计算相机的位姿数据；通过位姿数据拼接室内每帧点云数据，得到带有真实尺度的三维模型；

所述步骤3包括：步骤31、基于激光点的红色特征，检测室内每帧RGB图像对应激光点的像素坐标（u,v）；通过相机的内参矩阵K将激光点的像素坐标转换至相机坐标系下，再由室内每帧RGB图像不带尺度信息的深度图，得到相机坐标系下不带尺度信息的三维坐标(X_c1,Y_c1,Z_c1)，公式如下：

；

式中，（u,v）是激光点在室内的RGB图像对应像素点的像素坐标，d(u,v)表示激光点在室内RGB图像对应像素点的深度，d(u,v)由不带尺度信息的深度图获取，K表示相机的内参矩阵；

步骤32、将室内的点云数据的三维坐标通过相机的外参矩阵T转换至相机坐标系下，得到相机坐标系下带有真实尺度的三维坐标(X_c2,Y_c2,Z_c2)，公式如下：

；

式中，(Xw,Yw,Zw)是室内的点云数据的三维坐标，T表示相机的外参矩阵；

步骤33、联立相机坐标系下不带尺度信息的三维坐标(X_c1,Y_c1,Z_c1)和带有真实尺度的三维坐标(X_c2,Y_c2,Z_c2)，通过最小二乘法求出尺度系数α；步骤34、将不带尺度信息的深度图的深度值乘上尺度系数α，得到带有真实尺度的深度图。

2.根据权利要求1所述的一种室内三维重建方法，其特征在于，在所述步骤1前还包括步骤a、标定相机，得到相机的内参矩阵K，以及步骤b、标定相机和激光测距仪，得到相机的外参矩阵T。

3.根据权利要求2所述的一种室内三维重建方法，其特征在于，所述步骤a包括：步骤a1、相机从各个角度采集棋盘格的RGB图像数据，通过张正友标定法对相机进行内参标定，得到相机内参矩阵K。

4.根据权利要求3所述的一种室内三维重建方法，其特征在于，所述步骤b包括：步骤b1、相机采集多组棋盘格的RGB图像数据，激光测距仪采集多组棋盘格的点云数据；步骤b2、手动确定每张棋盘格的RGB图像数据中激光测距仪激光点的像素坐标，结合相机的内参矩阵K，利用PnP算法得到相机的外参矩阵T。

5.根据权利要求4所述的一种室内三维重建方法，其特征在于，所述步骤4包括：步骤41、通过带有真实尺度的深度图，将相互匹配的特征点由相机转换至世界坐标系下相互匹配且带有真实尺度的三维坐标（X,Y,Z)，公式如下：

；

式中，d(u,v)表示激光点在室内的RGB图像对应像素点的深度，K表示相机的内参矩阵，d(u,v)由不带尺度信息的深度图获取；

步骤42、基于相互匹配且带有真实尺度的三维坐标（X,Y,Z)，由ICP算法计算相机的位姿数据；步骤43、通过相机由带有真实尺度的深度图得到稠密点云数据，通过位姿数据拼接室内每帧点云数据，得到真实尺度的三维模型。

6.根据权利要求1所述的一种室内三维重建方法，其特征在于，所述步骤1包括：步骤11、相机移动采集室内需重建区域的RGB图像数据，激光测距仪移动采集室内需重建区域的点云数据。

7.根据权利要求1所述的一种室内三维重建方法，其特征在于，所述步骤2包括：步骤21、采用colmap软件处理室内的RGB图像数据，得到室内每帧RGB图像相互匹配的特征点和不带尺度信息的深度图。

8.一种室内三维重建装置，该装置基于权利要求1至7任意一项所述的一种室内三维重建方法，其特征在于，包括：

相机，用于采集室内的RGB图像数据；

激光测距仪，用于采集室内的点云数据；

控制器，用于存储和传输室内的RGB图像数据和室内的点云数据；

基座，用于安装相机、激光测距仪和控制器。

9.根据权利要求8所述的一种室内三维重建装置，其特征在于，所述激光测距仪包括第一激光测距仪、第二激光测距仪、第三激光测距仪，第一激光测距仪、第二激光测距仪、第三激光测距仪延长线交于一点，构成三维激光坐标系，第一激光测距仪、第二激光测距仪、第三激光测距仪的视场角小于相机的视场角。