CN116704112A - 一种用于对象重建的3d扫描系统 - Google Patents

Abstract

本发明公开了一种用于对象重建的3D扫描系统，属于对象建模领域，包括智能手机、管理平台、扫描采集模块、惯性跟踪模块、三维构造模块、分割调整模块、数据优化模块以及纹理贴图模块；所述智能手机用于用户登陆管理平台，并输入相关操作指令；所述管理平台用于用户查看生成的对象模型以及扫描生成的各组数据；本发明能够使移动设备进行准确的实时对象跟踪，并确保在移动平台上没有内存不足的情况下可以成功扫描大型对象，为更好的网格提供更准确的对象深度，同时获得更准确的深度和更好的几何细节，进一步提高在线对象模型的几何细节。

Description

一种用于对象重建的3D扫描系统

技术领域

本发明涉及对象建模领域，尤其涉及一种用于对象重建的3D扫描系统。

背景技术

3D对象扫描是数字内容的核心技术之一，在广泛的图形和增强现实应用程序创建中3D对象模型的重建质量是首要关注的问题。商业数字3D扫描仪目前能够获取自然物体的准确3D模型，但依赖于高质量重建计算的高精度深度传感器，例如结构光和昂贵的硬件。由于结构光的距离限制，大多数3D扫描仪更适合用于小物体重建。现有实现3D对象重建连接消费级深度摄像头的PC或移动设备，这些系统需要高性能计算硬件，复杂稠密物体重建与重建质量很大程度上取决于深度相机的测距精度。其他系统试图让用户使用带有单目摄像头的移动设备扫描物体，但通常无法重建，且大多数现有的3D移动平台上的扫描系统由于深度测距、计算的限制只能扫描小尺寸物体和记忆。为此，我们提出一种用于对象重建的3D扫描系统。

发明内容

本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种用于对象重建的3D扫描系统。

为了实现上述目的，本发明采用了如下技术方案：

一种用于对象重建的3D扫描系统，包括智能手机、管理平台、扫描采集模块、惯性跟踪模块、三维构造模块、分割调整模块、数据优化模块以及纹理贴图模块；

所述智能手机用于用户登陆管理平台，并输入相关操作指令；

所述管理平台用于用户查看生成的对象模型以及扫描生成的各组数据；

所述扫描采集模块用于扫描待采对象并收集其相关信息；

所述惯性跟踪模块用于对扫描对象进行预测跟踪；

所述三维构造模块用于依据采集到的对象信息构建对应的对象三维模型；

所述分割调整模块用于对生成的三维模型进行区域分割以及体素调整；

所述数据优化模块用于深度优化相关三维模型，并对优化后的三维模型进行细节增强；

所述纹理贴图模块用于对优化后的三维模型进行纹理映射。

作为本发明的进一步方案，所述扫描采集模块具体通过后置RGBD摄像头对待采对象进行信息采集。

作为本发明的进一步方案，所述惯性跟踪模块预测跟踪具体步骤如下：

步骤一：对于RGBD摄像头传入的每组RGBD帧，惯性跟踪模块通过将ICP和IMU耦合集成到前端的实时跟踪线程，之后使用第一组ICP跟踪结果初始化两组RGBD帧以及部分6DoF；

步骤二：初始化完成后，根据当前帧和最后一帧之间的惯性数据提供当前姿势预测，并将先验的预测姿势将被整合到ICP中，然后，ICP跟踪当前帧姿势以进一步约束IMU优化，同时将当前帧优化后的IMU状态用于下一帧的姿态预测以形成一个松耦合迭代优化；

步骤三：将在一段时间内传入的每组RGBD帧通过帧到帧ICP方法进行跟踪，并将前一帧作为参考，将第一帧定义为世界坐标，并维护一个参考框架用于ICP跟踪当前帧，然后将全局3D空间的6DoF姿势矩阵导入本地相机空间，并添加由IMU估计的先验姿势以进行ICP跟踪。

作为本发明的进一步方案，所述分割调整模块区域分割具体步骤如下：

步骤（1）：当接收到第一帧图像时，用法线在点云上拟合一个平面以通过反投影整体的有效深度获得的帧到本地相机空间，同时使用基于RANSAC的平面拟合算法进行进行计算，且该算法选择与法线一致的点重力作为种子以适合垂直于的候选水平面重力以及与种子存在一定距离的内点作为计算值进行分割；

步骤（2）：将前一帧的局部相机空间及其跟踪的6DoF姿势得到与重力方向相反的平面高度，用作当前框架的RANSAC平面拟合的先验约束，同时选择规定距离范围内的投影平面高度，并通过前一帧相同的方式进行分割，跟踪当前帧位姿后，拟合的平面局部相机空间中的高度转换为全局3D空间以更新全局平面方程，并实时执保持随着姿势跟踪的频率。

作为本发明的进一步方案，所述分割调整模块体素调整具体步骤如下：

步骤Ⅰ：使用子卷散列TSDF表示，且每个子体积包含16×16×16体素，并在创建或更新其任何体素时通过深度融合进行分配或更新，同时将初始体素δ设置为6mm，并收集具有关键帧Kt的深度图Dt；

步骤Ⅱ：对于每个深度对于每个深度d∈Dt在对象区域内的像素x=(u,v)，将它投影回去以获取全局3D空间点，同时保持TSDF的内存使用在规定上限范围内，并生成新的体素；

步骤Ⅲ：当内存开销Mt超过时间t的关键帧深度图融合后的限制，通过重新创建一个新的TSDF卷来表示的具有较大体素以进行体素大小调整，同时根据新的体素大小分配新的子体积，且每个新的子体积完全包含至少一个旧体素，并通过三线性计算生成的新体素相对应的TSDF值。

作为本发明的进一步方案，所述数据优化模块深度优化具体步骤如下：

步骤①：在固定的优化过程中保持第一帧世界坐标不变，并通过轻微的姿势漂移辅助对跟踪和几何融合的准确性进行改善，同时提取深度MVS的所有关键帧；

步骤②：将深度测量的范围设定在dmin到dmax以从预先定义的有效深度范围获取dToF传感器，并将dToF深度先验纳入成本聚合，再使用SGM方法从dToF传感器进行深度测量每组深度MVS的关键帧以进行深度优化。

作为本发明的进一步方案，所述数据优化模块细节增强具体步骤如下：

第一步：在网格上执行SFS，并优化中间三角形法线贴图，然后进行更新顶点位置到法线贴图的优化，再遵循由粗到精的金字塔优化策略，通过循环细分对网格三角形进行上采样以优化包含三层金字塔的框架；

第二步：在第一级中，估计照明系数，然后通过两次优化反照率和法线，之后在接下来的每一两个级别，对网格三角形进行上采样以更新细分网格上的照明系数，并优化反照率和法线一次，之后利用L-BFGS进行能量优化。

作为本发明的进一步方案，所述纹理贴图模块纹理映射具体步骤如下

S1：定义数量bin的仰角以及方位角的方向箱，并将每个关键帧根据极角分类到相应的bin中；

S2：分类完成后，选择在可见的公共区域中具有最相似的颜色bin中的其他关键帧和所有具有代表性的关键帧组成候选纹理帧集。

相比于现有技术，本发明的有益效果在于：

本发明通过将ICP和IMU耦合集成到前端的实时跟踪线程，之后使用第一组ICP跟踪结果初始化两组RGBD帧以及部分6DoF，初始化完成后，根据当前帧和最后一帧之间的惯性数据提供当前姿势预测，然后然后将全局3D空间的6DoF姿势矩阵导入本地相机空间，并添加由IMU估计的先验姿势以进行ICP跟踪，将前一帧的局部相机空间及其跟踪的6DoF姿势得到与重力方向相反的平面高度，用作当前框架的RANSAC平面拟合的先验约束，同时选择规定距离范围内的投影平面高度，并通过前一帧相同的方式进行分割，跟踪当前帧位姿后，拟合的平面局部相机空间中的高度转换为全局3D空间以更新全局平面方程，并实时执保持随着姿势跟踪的频率，然后使用三线性插值进行体素调整，之后使用多视图SGM方法对深度MVS的所有关键帧进行深度优化，并通过SFS优化模型细节，最后进行纹理映射，能够使移动设备进行准确的实时对象跟踪，并确保在移动平台上没有内存不足的情况下可以成功扫描大型对象，为更好的网格提供更准确的对象深度，同时获得更准确的深度和更好的几何细节，进一步提高在线对象模型的几何细节。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明提出的一种用于对象重建的3D扫描系统的系统框图。

实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例

参照图1，一种用于对象重建的3D扫描系统，包括智能手机、管理平台、扫描采集模块、惯性跟踪模块、三维构造模块、分割调整模块、数据优化模块以及纹理贴图模块。

智能手机用于用户登陆管理平台，并输入相关操作指令；管理平台用于用户查看生成的对象模型以及扫描生成的各组数据；扫描采集模块用于扫描待采对象并收集其相关信息。

需要进一步说明的是，扫描采集模块具体通过后置RGBD摄像头对待采对象进行信息采集。

惯性跟踪模块用于对扫描对象进行预测跟踪。

具体的，对于RGBD摄像头传入的每组RGBD帧，惯性跟踪模块通过将ICP和IMU耦合集成到前端的实时跟踪线程，之后使用第一组ICP跟踪结果初始化两组RGBD帧以及部分6DoF，初始化完成后，根据当前帧和最后一帧之间的惯性数据提供当前姿势预测，并将先验的预测姿势将被整合到ICP中，然后，ICP跟踪当前帧姿势以进一步约束IMU优化，同时将当前帧优化后的IMU状态用于下一帧的姿态预测以形成一个松耦合迭代优化，之后将在一段时间内传入的每组RGBD帧通过帧到帧ICP方法进行跟踪，并将前一帧作为参考，将第一帧定义为世界坐标，并维护一个参考框架用于ICP跟踪当前帧，然后将全局3D空间的6DoF姿势矩阵导入本地相机空间，并添加由IMU估计的先验姿势以进行ICP跟踪。

三维构造模块用于依据采集到的对象信息构建对应的对象三维模型；分割调整模块用于对生成的三维模型进行区域分割以及体素调整。

具体的，当接收到第一帧图像时，用法线在点云上拟合一个平面以通过反投影整体的有效深度获得的帧到本地相机空间，同时使用基于RANSAC的平面拟合算法进行进行计算，且该算法选择与法线一致的点重力作为种子以适合垂直于的候选水平面重力以及与种子存在一定距离的内点作为计算值进行分割，将前一帧的局部相机空间及其跟踪的6DoF姿势得到与重力方向相反的平面高度，用作当前框架的RANSAC平面拟合的先验约束，同时选择规定距离范围内的投影平面高度，并通过前一帧相同的方式进行分割，跟踪当前帧位姿后，拟合的平面局部相机空间中的高度转换为全局3D空间以更新全局平面方程，并实时执保持随着姿势跟踪的频率。

具体的，使用子卷散列TSDF表示，且每个子体积包含16×16×16体素，并在创建或更新其任何体素时通过深度融合进行分配或更新，同时将初始体素δ设置为6mm，并收集具有关键帧Kt的深度图Dt，对于每个深度对于每个深度d∈Dt在对象区域内的像素x=(u,v)，将它投影回去以获取全局3D空间点，同时保持TSDF的内存使用在规定上限范围内，并生成新的体素，同时当内存开销Mt超过时间t的关键帧深度图融合后的限制，通过重新创建一个新的TSDF卷来表示的具有较大体素以进行体素大小调整，同时根据新的体素大小分配新的子体积，且每个新的子体积完全包含至少一个旧体素，并通过三线性计算生成的新体素相对应的TSDF值。

需要进一步说明的是，全局3D空间点具体计算公式如下：

P=Mt-1ρ(u,v,d)（1）

式中，Mt代表时间t处的全局到局部变换，ρ(·)代表反投影函数。

实施例

参照图1，一种用于对象重建的3D扫描系统，包括智能手机、管理平台、扫描采集模块、惯性跟踪模块、三维构造模块、分割调整模块、数据优化模块以及纹理贴图模块。

数据优化模块用于深度优化相关三维模型，并对优化后的三维模型进行细节增强。

具体的，在固定的优化过程中保持第一帧世界坐标不变，并通过轻微的姿势漂移辅助对跟踪和几何融合的准确性进行改善，同时提取深度MVS的所有关键帧，之后将深度测量的范围设定在dmin到dmax以从预先定义的有效深度范围获取dToF传感器，并将dToF深度先验纳入成本聚合，再使用SGM方法从dToF传感器进行深度测量每组深度MVS的关键帧以进行深度优化。

具体的，在网格上执行SFS，并优化中间三角形法线贴图，然后进行更新顶点位置到法线贴图的优化，再遵循由粗到精的金字塔优化策略，通过循环细分对网格三角形进行上采样以优化包含三层金字塔的框架，在第一级中，估计照明系数，然后通过两次优化反照率和法线，之后在接下来的每一两个级别，对网格三角形进行上采样以更新细分网格上的照明系数，并优化反照率和法线一次，之后利用L-BFGS进行能量优化。

纹理贴图模块用于对优化后的三维模型进行纹理映射。

具体的，定义数量bin的仰角以及方位角的方向箱，并将每个关键帧根据极角分类到相应的bin中，分类完成后，选择在可见的公共区域中具有最相似的颜色bin中的其他关键帧和所有具有代表性的关键帧组成候选纹理帧集。

Claims (8)

1. 一种用于对象重建的 3D 扫描系统，其特征在于，包括智能手机、管理平台、扫描采集模块、惯性跟踪模块、三维构造模块、分割调整模块、数据优化模块以及纹理贴图模块；

所述智能手机用于用户登陆管理平台，并输入相关操作指令；

所述管理平台用于用户查看生成的对象模型以及扫描生成的各组数据；

所述扫描采集模块用于扫描待采对象并收集其相关信息；

所述惯性跟踪模块用于对扫描对象进行预测跟踪；

所述三维构造模块用于依据采集到的对象信息构建对应的对象三维模型；

所述分割调整模块用于对生成的三维模型进行区域分割以及体素调整；

所述数据优化模块用于深度优化相关三维模型，并对优化后的三维模型进行细节增强；

所述纹理贴图模块用于对优化后的三维模型进行纹理映射。

2.根据权利要求 1 所述的一种用于对象重建的 3D 扫描系统，其特征在于，所述扫描采集模块具体通过后置 RGBD 摄像头对待采对象进行信息采集。

3.根据权利要求 1 所述的一种用于对象重建的 3D 扫描系统，其特征在于，所述惯性跟踪模块预测跟踪具体步骤如下：

步骤一：对于 RGBD 摄像头传入的每组 RGBD 帧，惯性跟踪模块通过将 ICP 和 IMU耦合集 成到前端的实时跟踪线程，之后使用第一组 ICP 跟踪结果初始化两组 RGBD 帧以及部分 6DoF；

步骤二：初始化完成后，根据当前帧和最后一帧之间的惯性数据提供当前姿势预测，并将先 验的预测姿势将被整合到 ICP 中，然后，ICP 跟踪当前帧姿势以进一步约束 IMU优化，同时 将当前帧优化后的 IMU 状态用于下一帧的姿态预测以形成一个松耦合迭代优化；

步骤三：将在一段时间内传入的每组 RGBD 帧通过帧到帧 ICP 方法进行跟踪，并将前一帧作 为参考，将第一帧定义为世界坐标，并维护一个参考框架用于 ICP 跟踪当前帧，然后将全局 3D 空间的 6DoF 姿势矩阵导入本地相机空间，并添加由 IMU 估计的先验姿势以进行 ICP 跟踪。

4.根据权利要求 1 所述的一种用于对象重建的 3D 扫描系统，其特征在于，所述分割调整模块区域分割具体步骤如下：

步骤（1）：当接收到第一帧图像时，用法线在点云上拟合一个平面以通过反投影整体的有效 深度获得的帧到本地相机空间，同时使用基于 RANSAC 的平面拟合算法进行进行计算，且 该算法选择与法线一致的点重力作为种子以适合垂直于的候选水平面重力以及与种子存在一 定距离的内点作为计算值进行分割；

步骤（2）：将前一帧的局部相机空间及其跟踪的 6DoF 姿势得到与重力方向相反的平面高度， 用作当前框架的 RANSAC 平面拟合的先验约束，同时选择规定距离范围内的投影平面高度， 并通过前一帧相同的方式进行分割，跟踪当前帧位姿后，拟合的平面局部相机空间中的高度 转换为全局 3D 空间以更新全局平面方程，并实时执保持随着姿势跟踪的频率。

5.根据权利要求 1 所述的一种用于对象重建的 3D 扫描系统，其特征在于，所述分割调整模块体素调整具体步骤如下：

步骤Ⅰ：使用子卷散列 TSDF 表示，且每个子体积包含 16×16×16 体素，并在创建或更新其 任何体素时通过深度融合进行分配或更新，同时将初始体素 δ 设置为 6mm，并收集具有关 键帧 Kt 的深度图 Dt；

步骤Ⅱ：对于每个深度 d∈Dt 在对象区域内的像素 x=(u,v)，将它投影回去以获取全局 3D 空 间点，同时保持 TSDF 的内存使用在规定上限范围内，并生成新的体素；

步骤Ⅲ：当内存开销 Mt 超过时间 t 的关键帧深度图融合后的限制，通过重新创建一个新的 TSDF 卷来表示的具有较大体素以进行体素大小调整，同时根据新的体素大小分配新的子体 积，且每个新的子体积完全包含至少一个旧体素，并通过三线性计算生成的新体素相对应的 TSDF 值。

6.根据权利要求 1 所述的一种用于对象重建的 3D 扫描系统，其特征在于，所述数据优化模块深度优化具体步骤如下：

步骤①：在固定的优化过程中保持第一帧世界坐标不变，并通过轻微的姿势漂移辅助对跟踪 和几何融合的准确性进行改善，同时提取深度 MVS 的所有关键帧；

步骤②：将深度测量的范围设定在 dmin 到 dmax 以从预先定义的有效深度范围获取 dToF 传 感器，并将 dToF 深度先验纳入成本聚合，再使用 SGM 方法从 dToF 传感器进行深度测量每 组深度 MVS 的关键帧以进行深度优化。

7.根据权利要求 1 所述的一种用于对象重建的 3D 扫描系统，其特征在于，所述数据优化模块细节增强具体步骤如下：

第一步：在网格上执行 SFS，并优化中间三角形法线贴图，然后进行更新顶点位置到法线贴 图的优化，再遵循由粗到精的金字塔优化策略，通过循环细分对网格三角形进行上采样以优 化包含三层金字塔的框架；

第二步：在第一级中，估计照明系数，然后通过两次优化反照率和法线，之后在接下来的每 一两个级别，对网格三角形进行上采样以更新细分网格上的照明系数，并优化反照率和法线 一次，之后利用 L-BFGS 进行能量优化。

8.根据权利要求 1 所述的一种用于对象重建的 3D 扫描系统，其特征在于，所述纹理贴图模 块纹理映射具体步骤如下：

S1：定义数量 bin 的仰角以及方位角的方向箱，并将每个关键帧根据极角分类到相应的 bin 中；

S2：分类完成后，选择在可见的公共区域中具有最相似的颜色 bin 中的其他关键帧和所有具 有代表性的关键帧组成候选纹理帧集。