CN110176060B - 基于多尺度几何一致性引导的稠密三维重建方法和系统 - Google Patents

Abstract

本发明公开了一种基于多尺度几何一致性引导的稠密三维重建方法和系统，属于计算机视觉领域，包括：基于图像集合构建图像金字塔；在图像金字塔最粗糙的尺度上利用摄影一致性进行深度估计，得到最粗糙的尺度上的深度图；将最粗糙的尺度上的深度图作为当前尺度的深度图，对当前尺度的深度图依次进行上采样、细节处误深度估计修正、利用几何一致性进行优化，得到下一尺度的优化深度图；将下一尺度的优化深度图作为当前尺度的深度图，然后进行上采样、修正、优化直至得到图像集合中所有原始图像的优化深度图；利用所有原始图像的优化深度图进行融合，得到稠密三维点云。本发明不仅能估计出弱纹理区域的深度信息，而且可以保持细节区域的深度信息。

Description

基于多尺度几何一致性引导的稠密三维重建方法和系统

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于多尺度几何一致性引导的稠密三维重建方法和系统。

背景技术

面片匹配立体视觉方法基本遵循一个4步骤流程：随机初始化，传播，视图选择与细化。这其中视图选择决定了当前参考图像每个像素的聚合视图集合。对于参考图像的某个像素，其聚合视图集合的挖掘严重依赖于该像素匹配时所圈定的面片与邻域视图对应像素所形成的面片的相似性。然而，为了综合考虑深度变化和相对平滑的区域，通常为衡量面片相似性所划定的像素区域不会过大。这样，对于弱纹理区域，这种通常的区域窗口就不足以包含足够的纹理信息来鲁棒地衡量该区域的匹配相似性。

为了能更好地估计纹理区域的深度信息，一些方法考虑在弱纹理区域处的深度变化一般较缓慢，因此会采用施加一定的平滑项约束来弥补局部面片匹配的不可靠性。Gipuma方法不仅从4-近邻方向传播候选深度假设，而且另外从较远的区域传播过来8个假设，因此将平滑项约束施加在更大的像素区域上。COLMAP方法则考虑了几何先验和时序平滑性来约束聚合视图集合的状态转移概率，以此来限制平滑区域的深度变化。然而，上述方法由于本身受限于面片大小的约束，因此在弱纹理区域的深度估计效果非常有限。不同于上述方法，为了感知弱纹理区域更多的可靠信息，Wei等人提出了基于方差衡量深度一致性的多尺度面片匹配方案。然而，基于方差衡量深度一致性过强，在视点变化强烈与可靠邻域视图有限的情况下，会带来一定的偏差。另外，其也没有考虑多尺度方案带来的细节区域深度估计的损失。

由此可见，现有技术存在没有考虑多尺度方案对弱纹理区域的深度估计进行可靠约束及其带来的细节区域深度估计的损失的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多尺度几何一致性引导的稠密三维重建方法和系统，由此解决现有技术存在没有考虑多尺度方案对弱纹理区域的深度估计可靠约束及其带来的细节区域深度估计的损失的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于多尺度几何一致性引导的稠密三维重建方法，包括如下步骤：

(1)获取图像集合及其相机参数集合，对图像集合中的所有原始图像进行多尺度降采样，得到每个原始图像对应的图像金字塔；

(2)对于所有原始图像对应的图像金字塔，在图像金字塔最粗糙的尺度上利用摄影一致性进行深度估计，得到最粗糙的尺度上的深度图；

(3)将最粗糙的尺度上的深度图作为当前尺度的深度图，对当前尺度的深度图进行上采样，得到下一尺度的深度图；

(4)对下一尺度的深度图的细节处误深度估计进行修正，得到下一尺度的新的深度图；

(5)基于相机参数集合，利用几何一致性对下一尺度的新的深度图进行优化，得到下一尺度的优化深度图；

(6)将下一尺度的优化深度图作为当前尺度的深度图，然后重复步骤(3)-(5)直至得到图像集合中所有原始图像的优化深度图；

(7)利用图像集合中所有原始图像的优化深度图进行融合，得到图像集合的稠密三维点云。

进一步地，图像金字塔的顶端为最粗糙的尺度的图像，图像金字塔的底端为最精细的尺度的图像即为原始图像。

进一步地，步骤(1)包括：

获取图像集合及其相机参数集合，对图像集合中的所有原始图像进行多尺度降采样，同时调整相机参数，得到每个原始图像对应的图像金字塔以及图像金字塔中每幅图像的相机参数。

进一步地，步骤(2)包括：

(21)对于所有原始图像对应的图像金字塔，在图像金字塔最粗糙的尺度上依次选取一幅图像作为参考图像，而图像金字塔最粗糙的尺度上的其他图像作为源图像；

(22)对于参考图像中当前待估计的每个像素，从其邻域像素采样多个待验证的深度假设h_m，然后计算得到对于每幅源图像的视图选择权重w(I_j)，再计算每个待验证的深度假设与每幅源视图的摄影一致性匹配代价c(h_m，I_j)；

(23)利用视图选择权重w(I_j)和摄影一致性匹配代价c(h_m，I_j)计算得到每个待验证的深度假设h_m对应的摄影一致性聚合代价；

(24)对于参考图像中当前待估计的每个像素，从所有摄影一致性聚合代价中选择代价最小所对应的待验证的深度假设作为深度估计，得到参考图像当前迭代后的深度图；

(25)在下一次迭代中，基于步骤(24)中的深度图对参考图像中的每个像素，从其邻域像素采样多个深度假设，然后计算这些深度假设对应的摄影一致性聚合代价，进而得到参考图像下一次迭代后的深度图，进行多次迭代，进而得到参考图像的深度图即最粗糙的尺度上的深度图。

进一步地，摄影一致性聚合代价为：

进一步地，步骤(4)中的修正的具体实现方式为：

利用摄影一致性对步骤(3)中上采样产生的假设计算其对应的摄影一致性代价，然后在下一尺度的深度图中每个像素上随机生成多个额外的假设并计算其对应的摄影一致性代价，若额外的假设对应的摄影一致性代价中比采样产生的假设对应的摄影一致性代价小，则该采样产生的假设为下一尺度的深度图的误深度估计，利用该额外的假设替换采样产生的假设。

进一步地，步骤(5)包括：

在图像金字塔的下一尺度上，依次选取一幅图像作为下一尺度的参考图像，而在图像金字塔的下一尺度上的其他图像作为下一尺度的源图像；

对于下一尺度的参考图像的某个像素的候选假设h_m ^l，基于相机参数集合和下一尺度的源图像在下一尺度的新的深度图中对应的深度图计算参考图像I_ref ^l与源图像I_j ^l之间的重投影误差，利用重投影误差结合摄影一致性代价，得到所有下一尺度的源图像决定的几何一致性聚合代价，对于下一尺度的参考图像中的每个像素，依次对其候选假设计算对应的几何一致性聚合代价，从所有几何一致性聚合代价中选出最小代价所对应的候选假设作为每个像素的深度估计，得到下一尺度的优化深度图。

进一步地，重投影误差为：

其中，Δe(h_m ^l，I_j ^l)为重投影误差，δ为截断阈值，p为下一尺度的参考图像的像素点，

为下一尺度的参考图像的相机参数，X_ref(p)为下一尺度的参考图像的像素点p对应的深度反投影回三维空间的三维点，

为下一尺度的源图像

的相机参数，

为

对应的深度反投影回三维空间的三维点。

进一步地，几何一致性聚合代价为：

其中，λ为权衡摄影一致性与几何一致性之间比重的因子，w(I_j ^l)为对于下一尺度中每幅源图像的视图选择权重，c(h_m ^l，I_j ^l)为下一尺度的参考图像中每个像素的候选假设对应于每幅下一尺度的源图像计算的摄影一致性匹配代价。

按照本发明的另一方面，提供了一种基于多尺度几何一致性引导的稠密三维重建系统，包括：

图像金字塔构建模块，用于获取图像集合及其相机参数集合，对图像集合中的所有原始图像进行多尺度降采样，得到每个原始图像对应的图像金字塔；

深度图估计模块，用于对于所有原始图像对应的图像金字塔，在图像金字塔最粗糙的尺度上利用摄影一致性进行深度估计，得到最粗糙的尺度上的深度图；

上采样模块，用于将最粗糙的尺度上的深度图作为当前尺度的深度图，对当前尺度的深度图进行上采样，得到下一尺度的深度图；

细节修正模块，用于对下一尺度的深度图的细节处误深度估计进行修正，得到下一尺度的新的深度图；

几何一致性优化模块，用于基于相机参数集合，利用几何一致性对下一尺度的新的深度图进行优化，得到下一尺度的优化深度图；

迭代模块，用于将下一尺度的优化深度图作为当前尺度的深度图，然后重复执行上采样模块、修正模块、优化模块直至得到图像集合中所有原始图像的优化深度图；

深度图融合模块，用于利用图像集合中所有原始图像的优化深度图进行融合，得到图像集合的稠密三维点云。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提出了一种基于多尺度几何一致性引导的稠密三维重建方法，不仅能估计出弱纹理区域的深度信息，而且也能保持细节区域的深度信息。由此解决现有技术存在没有考虑多尺度方案对弱纹理区域的深度估计进行可靠约束及其带来的细节区域深度估计的损失的技术问题。

(2)本发明通过构造图像金字塔，首先在图像的最粗糙尺度上估计其对应的深度图，这样对于弱纹理区域就能得到较为可靠的深度估计。然后，将该深度估计结果逐步传播到精细尺度上作为其优化的初始解。在较精细尺度图像的深度估计过程中，为了使弱纹理区域的可靠深度估计不被摄影一致性淹没，本发明用多视图间的几何一致性来约束弱纹理区域的解空间。进一步地，由于在粗糙尺度上及上采样过程中，图像细节处的深度信息会存在较大误差，因此，对误深度估计进行修正来恢复之前丢失的细节处的深度信息。这样，基于多尺度几何一致性引导的稠密三维重建方法不仅能估计出弱纹理区域的深度信息，而且也能保持细节区域的深度信息。

附图说明

图1是本发明实施例提供的一种基于多尺度几何一致性引导的稠密三维重建方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1展示了本发明的总体流程图。本发明最大的贡献在于针对弱纹理区域的深度估计问题，提出了多尺度几何一致性引导的方案。在较粗糙的尺度上，弱纹理区域在同样的匹配窗口大小下能包含更多的显著性纹理信息。因此，可以先在较粗糙尺度上对弱纹理区域的深度信息进行较为可靠的估计，然后逐步传播到较精细尺度上。在这过程中，由于摄影一致性在较精细尺度上无法对弱纹理区域进行可靠的深度估计，为了使这些区域在粗糙尺度上得到的可靠估计不被摄影一致性干扰，利用多视图间的几何一致性可以结合邻域的深度估计结果来约束弱纹理区域的可靠估计不被淹没。进一步地，在将深度图从粗糙尺度向精细尺度的传递过程中，在细节处会带来大量误差，然而这些细节的深度信息在每个当前尺度下原本都是可以利用摄影一致性进行估计的，因此本发明进一步提出利用摄影一致性来检测这些细节处的误估计并用更可靠的估计来替代它们。本发明最终得到的稠密点云可用来三维模型的表面重建，点云语义分割与三维目标定位等。其具体实施方式如下：

(1)构建图像金字塔：对于图像集合I＝{I_i|i＝1...N}及图像集合对应的相机参数集合P＝{P_i|i＝1...N}，对图像集合中的每个原始图像进行多尺度降采样，得到每个原始图像对应的图像金字塔，其中，降采样因子η(η＝0.5)，尺度k(k＝3)，定义原始图像I_i的图像金字塔的第l个尺度的图像为

其对应的相机参数为

其中，原始图像为最精细的尺度(l＝k-1)，分辨率最低的图像为最粗糙的尺度(l＝0)。

(2)初始深度图估计：对于所有原始图像对应的图像金字塔，在图像金字塔最粗糙的尺度上依次选取一幅图像作为参考图像I_ref，而其他图像作为源图像I_src＝{I_j|j＝1···N∧I_j≠I_ref}，采用带逐像素视图选择的面片匹配算法来估计参考图像的深度图。在带逐像素视图选择的面片匹配算法的每次迭代过程中，对于当前待估计的每个像素，首先从其邻域像素采样多个待验证的多个假设h_m，然后采用一定的策略计算得到对于每幅源图像的视图选择权重w(I_j)。接着，对于每个假设与每幅源视图，可以计算得到一个对应的摄影一致性匹配代价c(h_m，I_j)。对于每个假设，其由所有源视图决定的摄影一致性聚合代价为：

最终，对于每个像素，从所有摄影一致性聚合代价中选择代价最小所对应的假设作为每次迭代的深度估计进行假设更新。对于上述的采样、聚合代价计算及假设更新迭代多次，进而在图像金字塔最粗糙的尺度上得到每幅图像的深度图。

(3)深度图上采样：将最粗糙的尺度上的深度图作为当前尺度的深度图，采用联合双边上采样器将当前尺度估计得到所有图像的深度图上采样到下一个尺度，得到下一尺度的深度图。

(4)细节恢复器：对于上采样得到的深度图，其在当前尺度的细节的深度估计上会存在较大的误差，因此需要对其进行细节恢复。利用摄影一致性对步骤(3)中上采样产生的假设计算其对应的摄影一致性代价，然后在下一尺度的深度图中每个像素上随机生成多个额外的假设并计算其对应的摄影一致性代价，若额外的假设对应的摄影一致性代价中比采样产生的假设对应的摄影一致性代价小，则该采样产生的假设为下一尺度的深度图的误深度估计，利用该额外的假设替换采样产生的假设。

(5)几何一致性引导优化：对于上采样得到深度图，尽管采用了细节恢复器对细节处的一些误估计进行了修正，然而在上采样的过程中还会引入其他误差。为了使在弱纹理区域的可靠估计不在当前尺度上被淹没，采用摄影一致性结合几何一致性对每个待测的假设进行几何一致性代价计算。对于下一尺度参考图像某个某个像素的候选假设h_m ^l，基于相机参数集合与源图像在下一尺度的深度图计算参考图像I_ref ^l与源图像I_j ^l之间的重投影误差，利用重投影误差结合摄影一致性代价，得到所有源图像决定的几何一致性聚合代价。对于下一尺度的参考图像中的每个像素，依次对其采样来的候选假设计算对应的几何一致性代价，从所有几何一致性聚合代价中选出最小代价所对应的待验证的深度假设作为每个像素的深度估计，得到下一尺度的优化深度图。

重投影误差为：

其中，Δe(h_m ^l，I_j ^l)为重投影误差，δ为截断阈值，p为下一尺度中参考图像的像素点，

为下一尺度参考图像的相机参数，X_ref(p)为下一尺度中参考图像的像素点p对应的深度反投影回三维空间的三维点，

为下一尺度中源图像的相机参数，

为

对应的深度反投影回三维空间的三维点。

几何一致性聚合代价为：

其中，λ为权衡摄影一致性与几何一致性之间比重的因子，w(I_j ^l)为对于下一尺度中每幅源图像的视图选择权重，c(h_m ^l，I_j ^l)为下一尺度参考图像中的候选假设对应于每幅源图像计算的摄影一致性匹配代价。

(6)迭代优化：将下一尺度的优化深度图作为当前尺度的深度图，然后重复步骤(3)-(5)直至得到图像集合中所有原始图像的优化深度图；

(7)深度图融合：在上述步骤中，最终每幅图像都会得到相应的深度估计与法向估计，为了减少深度估计的冗余性并进一步抑制错误的估计，依次将每幅图像的深度值投影到邻域图像中，法向也经过旋转变换到相应的邻域图像中，对于一个像素估计的深度与法向，如果其在邻域图像投影的深度与邻域图像对应像素估计的深度差异不大于深度阈值τ_d，旋转变换后的法向与领域图像对应像素估计的法向夹角不大于角度阈值τ_n，则认为该深度与法向估计是一致的。当一致的像素个数大于2个，则对这些像素的对应的空间三维点进行均值处理得到最后的三维点估计，融合成最终的稠密三维模型，得到图像集合的稠密三维点云。

稠密三维重建依赖视图之间对应点的相似性度量，而相似性度量的准确性则取决于局部面片的纹理丰富度。由于在弱纹理区域其纹理丰富度较低，因此该区域的深度估计经常存在歧义性。然而，尽管弱纹理区域的纹理丰富度在原始图像尺度上非常低，其在图像的较粗糙尺度上纹理丰富度却能得到提升。因此，本发明提出了一种基于多尺度几何一致性引导的稠密三维重建方法。通过构造图像金字塔，首先在图像的最粗糙尺度上估计其对应的深度图，这样对于弱纹理区域就能得到较为可靠的深度估计。然后，将该深度估计结果逐步传播到精细尺度上作为其优化的初始解。在较精细尺度图像的深度估计过程中，为了使弱纹理区域的可靠深度估计不被摄影一致性淹没，本发明用多视图间的几何一致性来约束弱纹理区域的解空间。进一步地，由于在粗糙尺度上及上采样过程中，图像细节处的深度信息会存在较大误差，因此，对误深度估计进行修正来恢复之前丢失的细节处的深度信息。这样，基于多尺度几何一致性引导的稠密三维重建方法不仅能估计出弱纹理区域的深度信息，而且也能保持细节区域的深度信息。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多尺度几何一致性引导的稠密三维重建方法，其特征在于，包括如下步骤：

(1)获取图像集合及其相机参数集合，对图像集合中的所有原始图像进行多尺度降采样，同时调整相机参数，得到每个原始图像对应的图像金字塔以及图像金字塔中每幅图像的相机参数；

(2)对于所有原始图像对应的图像金字塔，在图像金字塔最粗糙的尺度上利用摄影一致性进行深度估计，得到最粗糙的尺度上的深度图；

(3)将最粗糙的尺度上的深度图作为当前尺度的深度图，对当前尺度的深度图进行上采样，得到下一尺度的深度图；

(4)对下一尺度的深度图的细节处误深度估计进行修正，得到下一尺度的新的深度图；

(5)基于相机参数集合，利用几何一致性对下一尺度的新的深度图进行优化，得到下一尺度的优化深度图；

(6)将下一尺度的优化深度图作为当前尺度的深度图，然后重复步骤(3)-(5)直至得到图像集合中所有原始图像的优化深度图；

(7)利用图像集合中所有原始图像的优化深度图进行融合，得到图像集合的稠密三维点云；

所述步骤(5)包括：

在图像金字塔的下一尺度上，依次选取一幅图像作为下一尺度的参考图像，而在图像金字塔的下一尺度上的其他图像作为下一尺度的源图像；

对于下一尺度的参考图像的某个像素的候选假设h_m ^l，基于相机参数集合和下一尺度的源图像在下一尺度的新的深度图中对应的深度图计算参考图像I_ref ^l与源图像I_j ^l之间的重投影误差，利用重投影误差结合摄影一致性代价，得到所有下一尺度的源图像决定的几何一致性聚合代价，对于下一尺度的参考图像中的每个像素，依次对其候选假设计算对应的几何一致性聚合代价，从所有几何一致性聚合代价中选出最小代价所对应的候选假设作为每个像素的深度估计，得到下一尺度的优化深度图；

所述重投影误差为：

其中，Δe(h_m ^l,I_j ^l)为重投影误差，δ为截断阈值，p为下一尺度的参考图像的像素点，

为下一尺度的参考图像的相机参数，X_ref(p)为下一尺度的参考图像的像素点p对应的深度反投影回三维空间的三维点，

为下一尺度的源图像

的相机参数，

为

对应的深度反投影回三维空间的三维点；

所述几何一致性聚合代价为：

其中，λ为权衡摄影一致性与几何一致性之间比重的因子，w(I_j ^l)为对于下一尺度中每幅源图像的视图选择权重，c(h_m ^l,I_j ^l)为下一尺度的参考图像中每个像素的候选假设对应于每幅下一尺度的源图像计算的摄影一致性匹配代价。

2.如权利要求1所述的一种基于多尺度几何一致性引导的稠密三维重建方法，其特征在于，所述图像金字塔的顶端为最粗糙的尺度的图像，图像金字塔的底端为最精细的尺度的图像即为原始图像。

3.如权利要求1或2所述的一种基于多尺度几何一致性引导的稠密三维重建方法，其特征在于，所述步骤(2)包括：

(21)对于所有原始图像对应的图像金字塔，在图像金字塔最粗糙的尺度上依次选取一幅图像作为参考图像，而图像金字塔最粗糙的尺度上的其他图像作为源图像；

(22)对于参考图像中当前待估计的每个像素，从其邻域像素采样多个待验证的深度假设h_m，然后计算得到对于每幅源图像I_j的视图选择权重w(I_j)，再计算每个待验证的深度假设与每幅源视图的摄影一致性匹配代价c(h_m,I_j)；

(23)利用视图选择权重w(I_j)和摄影一致性匹配代价c(h_m,I_j)计算得到每个待验证的深度假设h_m对应的摄影一致性聚合代价；

(24)对于参考图像中当前待估计的每个像素，从所有摄影一致性聚合代价中选择代价最小所对应的待验证的深度假设作为深度估计，得到参考图像当前迭代后的深度图；

(25)在下一次迭代中，基于步骤(24)中的深度图对参考图像中的每个像素，从其邻域像素采样多个深度假设，然后计算这些深度假设对应的摄影一致性聚合代价，进而得到参考图像下一次迭代后的深度图，进行多次迭代，进而得到参考图像的深度图即最粗糙的尺度上的深度图。

4.如权利要求3所述的一种基于多尺度几何一致性引导的稠密三维重建方法，其特征在于，所述摄影一致性聚合代价为：

5.如权利要求1或2所述的一种基于多尺度几何一致性引导的稠密三维重建方法，其特征在于，所述步骤(4)中的修正的具体实现方式为：

利用摄影一致性对步骤(3)中上采样产生的假设计算其对应的摄影一致性代价，然后在下一尺度的深度图中每个像素上随机生成多个额外的假设并计算其对应的摄影一致性代价，若额外的假设对应的摄影一致性代价中比采样产生的假设对应的摄影一致性代价小，则该采样产生的假设为下一尺度的深度图的误深度估计，利用该额外的假设替换采样产生的假设。

6.一种基于多尺度几何一致性引导的稠密三维重建系统，其特征在于，包括：

图像金字塔构建模块，用于获取图像集合及其相机参数集合，对图像集合中的所有原始图像进行多尺度降采样，同时调整相机参数，得到每个原始图像对应的图像金字塔以及图像金字塔中每幅图像的相机参数；

深度图估计模块，用于对于所有原始图像对应的图像金字塔，在图像金字塔最粗糙的尺度上利用摄影一致性进行深度估计，得到最粗糙的尺度上的深度图；

上采样模块，用于将最粗糙的尺度上的深度图作为当前尺度的深度图，对当前尺度的深度图进行上采样，得到下一尺度的深度图；

细节修正模块，用于对下一尺度的深度图的细节处误深度估计进行修正，得到下一尺度的新的深度图；

几何一致性优化模块，用于在图像金字塔的下一尺度上，依次选取一幅图像作为下一尺度的参考图像，而在图像金字塔的下一尺度上的其他图像作为下一尺度的源图像；对于下一尺度的参考图像的某个像素的候选假设h_m ^l，基于相机参数集合和下一尺度的源图像在下一尺度的新的深度图中对应的深度图计算参考图像I_ref ^l与源图像I_j ^l之间的重投影误差，利用重投影误差结合摄影一致性代价，得到所有下一尺度的源图像决定的几何一致性聚合代价，对于下一尺度的参考图像中的每个像素，依次对其候选假设计算对应的几何一致性聚合代价，从所有几何一致性聚合代价中选出最小代价所对应的候选假设作为每个像素的深度估计，得到下一尺度的优化深度图；

所述重投影误差为：

其中，Δe(h_m ^l,I_j ^l)为重投影误差，δ为截断阈值，p为下一尺度的参考图像的像素点，

为下一尺度的参考图像的相机参数，X_ref(p)为下一尺度的参考图像的像素点p对应的深度反投影回三维空间的三维点，

为下一尺度的源图像

的相机参数，

为

对应的深度反投影回三维空间的三维点；

所述几何一致性聚合代价为：

其中，λ为权衡摄影一致性与几何一致性之间比重的因子，w(I_j ^l)为对于下一尺度中每幅源图像的视图选择权重，c(h_m ^l,I_j ^l)为下一尺度的参考图像中每个像素的候选假设对应于每幅下一尺度的源图像计算的摄影一致性匹配代价；

迭代模块，用于将下一尺度的优化深度图作为当前尺度的深度图，然后重复执行上采样模块、修正模块、优化模块直至得到图像集合中所有原始图像的优化深度图；

深度图融合模块，用于利用图像集合中所有原始图像的优化深度图进行融合，得到图像集合的稠密三维点云。

Images