CN104715504A - 一种鲁棒的大场景稠密三维重建方法 - Google Patents

Abstract

本发明公开了一种鲁棒的大场景稠密三维重建方法。针对大场景图像集具有尺度多变、角度不一、焦距不同和数量巨大等特点，首先尺度鲁棒的选取每幅图像的邻居图像，随后利用DAISY特征和PatchMatch信息传播框架精确快速计算每幅图像的深度图，然后利用图像与邻居图像集的一致性优化融合深度图，最后利用重建三维点精度去除冗余点得到最终的三维模型。本发明方法步骤简单、重建精度高、运行速度快，容易在图像级实现并行，能真实的还原场景模型，非常适合大场景三维重建。

Description

一种鲁棒的大场景稠密三维重建方法

技术领域

本发明涉及一种鲁棒三维重建算法，尤其涉及一种鲁棒邻居图像选取方法，属于图像处理和计算机视觉领域。

背景技术

基于图像的多视图三维重建是利用目标场景不同视角下的图像序列来恢复该场景的三维模型，在保护历史文物、数字娱乐和城市规划等领域具有广泛的应用前景。相比于传统的激光扫描方法，基于图像的三维重建具有使用简单灵活、成本低、使用性广等优点，是计算机视觉领域一个研究热点。现有的基于图像的三维重建可以分为四类：基于体素的方法，基于表面演化的方法，基于特征点扩展的方法和基于深度图融合的方法。基于体素的方法需要估计目标对象的三维包盒，然后利用能量函数优化提取三维模型，这类方法不适用大场景，而且重建精度受体素模型分辨率的限制。基于表面演化的方法通过迭代演化初始曲面模型来最小化能量函数，使其逐步收敛到目标的真实三维模型，这类方法易收敛于局部最优，而且对于室外大场景也很难获取到初始模型。基于特征点扩展的方法先在有纹理区域重建三维稀疏点，然后再扩展到无纹理区域，这类方法同时使用所有可用的图像来重建三维模型，用于室外大场景时计算复杂度高，而且在弱纹理和无纹理区域计算得到准确度不高。基于深度图融合方法先单独计算每幅图像对应的深度图像，然后利用约束条件将深度图融合成完整三维模型，这类方法灵活、方便，能生成高精度的三维模型，适用室外大场景，但重建精度对邻居图像的选取敏感。

发明内容

本发明所要解决的技术问题是提供一种鲁棒的大场景稠密三维重建方法，针对大尺度、无结构的大场景图像序列，能快速、精确的恢复出真实的三维场景模型。

本发明的解决方案是：首先，充分考虑尺度、角度、基线和覆盖面积等因素，鲁棒的选取邻居图像，随后利用像素的DAISY特征和PatchMatch信息传播框架精确计算每幅图像的深度图，然后利用图像间的一致性优化、融合深度图，最后利用重建三维点的精度去除冗余的点得到最后的三维模型。

本发明为实现上述解决方法，其方法步骤如下：

1、首先，对于输入的图像集，利用现有的从运动恢复结构算法（Structure From Motion，SFM）标定图像的摄像机参数，然后充分考虑基线、尺度、覆盖面积等因素，对每一幅图像都选取多幅邻居图像，选图公式为

其中，R是目标图像，I是候选图像，p是SFM重建出的稀疏三维点，F_X表示能在图像X中看到的三维点，W_v是可见三维点的图像数量权重，W_α是三维点与两摄像机中心所成夹角权重，W_s是两幅图像尺度权重，W_c是图像间覆盖权重。各个权重定义如下：

其中，V(p)表示能看到三维点p的图像数量，表示三维点p与两摄像机所成夹角，I_S表示已选邻居图像集，，S_R(p)表示空间三维点p在图像R上的尺度；

2、随后，利用步骤1选取的邻居图像，提取图像的DAISY特征，将图像与邻居图像集进行匹配，匹配代价函数定义为：

其中，，D_R(x_R)表示图像点x的DAISY特征，x_R和x_I可以通过单应矩阵计算得到。利用PatchMatch信息传播框架，先随机初始化每幅图像的深度值和法向量，然后进行邻居扩散，扩散结束后对每个深度值进行多次随机扰动，得到精确的深度值和法向量；

3、然后，利用图像与邻居图像之间的一致性，对步骤2计算得到每幅图像的深度图进行优化和融合，图像点x反投影回三维空间得到三维点X，将X投影到图像的邻居图像上可以得到投影深度d(X,N_i)，而对应点原来计算的深度值为，如果计算准确则这两个值应该相等或相近，而邻居图像对应的三维点X_i投影到目标图像正好在位置x处，则投影深度值为d(X_i,R)，x处原来的深度值为，如果计算准确，这两个值也应该相等或相近，其中i=1,2…,k，是阈值为常数，故对于图像上任意一点如果满足，则保留该点值，否则删除该点值。是狄拉克雷Delta函，n的计算如下式所示：

4、最后，利用深度值和摄像机参数把图像点反投影回三维空间得到三维模型，由于同一个三维点会在多幅图像中可见，所以在融合后同一个位置会有多个三维点，则利用每个点的重建精度删除冗余的点，保留精度最高的那个点，重建三维点精度定义为：

最后就可以得到目标场景的稠密三维点云模型。

Claims (5)

1.一种鲁棒的大场景稠密三维重建方法，其特征在于包括以下步骤：

1）充分考虑尺度、基线、覆盖面积等因素的鲁棒邻居图像选取；

2）使用DAISY特征差异的自我加权的代价匹配函数和PatchMatch信息传播框架来计算深度值；

3）利用图像间的一致性优化和融合深度图；

4）根据重建三维点精度去除冗余三维点信息。

2.根据权利1所述的一种鲁棒的大场景稠密三维重建方法，其特征在于所述的充分考虑尺度、基线、覆盖面积等因素的鲁棒邻居图像选取，选图权重公式定义为：

其中，可见三维点的图像数量权重定义为：；三维点与两摄像机中心所成夹角权重定义为：；两幅图像尺度权重定义为：，其中，S_R(p)表示空间三维点p在图像R上的尺度；图像间覆盖面积权重定义为：。

3.根据权利1所述的一种鲁棒的大场景稠密三维重建方法，其特征在于所述的使用DAISY特征差异的自我加权的代价匹配函数来计算深度值，匹配代价函数定义为：

             

其中，，D_R(x_R)表示图像点x的DAISY特征，x_R和x_I可以通过单应矩阵计算得到，同时提取图像和它邻居图像的DAISY特征，然后进行匹配，利用PatchMatch信息传播框架进行深度值计算，首先随机初始化深度值和法向量，然后邻居点扩散可靠的深度值，最后进行多次随机扰动获得精确的深度值。

4.根据权利1所述的一种鲁棒的大场景稠密三维重建方法，其特征在于所述的利用图像间的一致性优化和融合深度图，对于每个深度值，如果满足则保留该值，否则删除该点深度值，n定义为：

其中，δ(.)是狄拉克雷Delta函数，τ是阈值为常数。

5.根据权利1所述的一种鲁棒的大场景稠密三维重建方法，其特征在于所述的根据重建三维点精度去除冗余三维点信息，先利用深度值和摄像机参数把图像点反投影回三维空间得到三维模型，因为同一个三维点在多幅图像中可见，故反投影回三维空间后得到的模型同一个位置会有多个三维点，故需要删除冗余的点，删除后即可以得到最后的三维点云模型，这里考虑保留精度最高的那个点，三维点的精度定义为：

。