CN111197976A - 一种顾及弱纹理区域多阶段匹配传播的三维重建方法 - Google Patents

Abstract

一种顾及弱纹理区域多阶段匹配传播的三维重建方法，包含以下步骤：采用现有算法完成像素级匹配传播并同时构建初始三维模型，完成纹理丰富区域的空间平面重建；基于图像分割和第一阶段构建的三维模型约束，在能量函数最小化框架下来完成弱纹理区域的匹配及空间平面重建；在能量函数最小化框架下利用多重约束优化等方法解决无纹理区域的匹配及可靠三维重建。本发明解决了现有技术中对弱纹理、无纹理及重复纹理区域，影像匹配及重建的效果通常不理想的问题，避免了三维重建结果中会出现水面“颠簸”和墙体“空洞”等现象。克服了场景中光照变化、透视畸变、弱纹理与重复纹理区域等因素的影响，为真实效果和测绘级精度提供保证。

Description

一种顾及弱纹理区域多阶段匹配传播的三维重建方法

技术领域

本发明涉及分析及测量领域，尤其涉及一种顾及弱纹理区域多阶段匹配传播的三维重建方法。

背景技术

三维重建，即从二维影像出发恢复被摄物体表面几何结构的过程，一直是数字摄影测量与计算机视觉的重要研究内容。相对于传统的正直摄影测量而言，由于三维重建需要获取侧面纹理信息，倾斜摄影技术应运而生，其以大范围、多角度、高精度、高清晰的方式全面感知复杂场景，通过高效的数据采集设备及专业的数据处理流程生成的数据成果能够直观反映地物的外观、位置、高度等属性，为真实效果和测绘级精度提供保证，并已在智慧城市、真正射影像制作等领域得到了广泛的应用。

倾斜摄影测量技术一般是通过倾斜多视影像匹配，在完成空中三角测量的基础上，获得致密的三维空间点来构建不规则三角网(TIN)模型，生成白膜，进一步通过3D纹理映射，获得实景三维模型。然而，由于场景结构的复杂性(尤其是对于城市场景)，场景中光照变化、透视畸变、弱纹理与重复纹理区域等因素的影响，利用倾斜多视影像信息有效地获取完整的三维重建结果仍是一个极具挑战性的课题。现有的诸多相关算法及较为成熟的商用软件中，对于纹理丰富的影像或影像区域的匹配及三维重建已相对较为完善，但对于一些弱纹理、无纹理及重复纹理区域，影像匹配及重建的效果通常不甚理想，从而导致了后续三维重建结果中会出现水面“颠簸”和墙体“空洞”等现象。

发明内容

本发明的目的在于，克服现有技术不足之处，提供一种顾及弱纹理区域多阶段匹配传播的三维重建方法，在现有相关研究成果的基础上，就倾斜摄影测量的多视立体影像匹配，尤其是弱纹理区域的影像匹配及可靠三维重建展开进一步研究，不仅可以丰富和拓展摄影测量尤其是倾斜摄影测量的解析处理理论和技术体系，同时对于数字表面模型、真正射影像制作及智慧城市等摄影测量的实际工程应用也具有重要的理论和实际意义。

本发明所述的一种顾及弱纹理区域多阶段匹配传播的三维重建方法包含以下步骤：

1.采用现有算法完成像素级匹配传播并同时构建初始三维模型，在影像分割的基础上，完成纹理丰富区域的空间平面重建；

2.基于图像分割和第一阶段构建的三维模型约束，在能量函数最小化框架下来完成弱纹理区域的匹配及空间平面重建；

3.在能量函数最小化框架下利用多重约束优化等方法解决无纹理区域的匹配及可靠三维重建。

进一步的，所述纹理丰富区域的平面重建包含以下步骤:

1.基于深度值一致性检测的初始三维模型构建；

2.顾及过分割的纹理丰富区域空间平面重建；

3.初始三维模型辅助的弱纹理区域识别。

进一步的，所述弱纹理区域的匹配及空间平面重建包含以下步骤：

1.顾及颜色、深度及空间离散度等信息的弱纹理区域匹配传播约束模型构建；

2.基于能量函数最小化的空间平面优化求解模型构建；

3.映射区域一致性约束的弱纹理区域最优三维空间平面求解。

进一步的，所述无纹理区域的匹配及空间平面重建可采用如下方法：在优化无纹理区域对应的空间平面时，除了采用映射区域一致性约束外，进一步引入了边缘信息约束，核线与区域边缘的交点大致对应了同名像点，对这些同名像点进行三维重建，然后拟合空间平面。

进一步的，拟合的空间平面可在区域质心对应的不同的深度值Z_c下在θ和φ的局部邻域进一步优化搜索以获取能量函数最小值对应的空间平面，然后基于映射关系一致性约束确定无纹理区域的最优空间平面。

本发明的有益效果是：本发明解决了现有技术中对弱纹理、无纹理及重复纹理区域，影像匹配及重建的效果通常不理想的问题，避免了三维重建结果中会出现水面“颠簸”和墙体“空洞”等现象。克服了场景中光照变化、透视畸变、弱纹理与重复纹理区域等因素的影响，为真实效果和测绘级精度提供保证。

附图说明

图1是本发明所述的一种顾及弱纹理区域多阶段匹配传播的三维重建方法的实施步骤示意图；

图2是本发明所述的一种顾及弱纹理区域多阶段匹配传播的三维重建方法的区域匹配传播约束模型示意图；

图3是本发明所述的一种顾及弱纹理区域多阶段匹配传播的三维重建方法的无纹理区域质心与其法向量示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

参照图1、图2与图3，本发明所述的一种顾及弱纹理区域多阶段匹配传播的三维重建方法，利用基于SIFT的初始稀疏匹配结果估计影像间的单应矩阵，密集匹配在参考影像和投影变形改正后的待匹配影像之间进行。顾及到弱纹理区域并基于场景分段平滑的假设，匹配传播及三维重建分三个阶段进行且是一个逐级约束、逐层递进的过程。第一阶段：采用现有算法完成像素级匹配传播并同时构建初始三维模型，在影像分割的基础上，完成纹理丰富区域的空间平面重建；第二阶段：基于图像分割和第一阶段构建的三维模型约束，在能量函数最小化框架下来完成弱纹理区域的匹配及空间平面重建；第三阶段：在能量函数最小化框架下利用多重约束优化等方法解决无纹理区域的匹配及可靠三维重建。

进一步的，所述纹理丰富区域的平面重建包含以下步骤:

(1)基于深度值一致性检测的初始三维模型构建：采用已有的像素级匹配传播方法获得像素级匹配传播结果。基于第1)步估计的相机参数，采用立体像对前方交会方法计算匹配结果对应的空间点(或深度)。某像素N个视图中的像素级匹配传播点，其在各立体模型中以左摄站点为坐标原点的三维空间点坐标为X，如该像素匹配点是正确的，则其相应的深度值(“高程”)应是一致的，考虑到定向误差，则相应深度值的误差应当小于指定阈值。如果X在至少n₁(实践中可取n₁≥2)个立体模型中的深度值误差满足指定阈值，则认为X是可靠的空间点，并取其均值

作为该像素匹配点的最终空间点；如不满足深度值误差阈值，则将该点剔除。经过上述步骤获得像素级匹配传播结果的可靠的三维空间模型(或深度图)。

(2)顾及过分割的纹理丰富区域空间平面重建：采用Mean-shift算法将当前影像分割成若干区域，基于像素级匹配传播结果构建的三维模型，如果该区域内部已确定三维空间点的像素数量多于3个，则利用RANSAC算法对相应空间点进行拟合，求取其相应的空间平面，然后，通过计算像素反投影线与空间平面交点的方式确定区域内部全部像素对应的深度值，从而获得更稠密的三维重建结果。考虑到影像过分割的影响，对于相邻的若干分割区域，如拟合的空间平面参数具有较高的一致性，则将这些区域内的所有空间点重新进行拟合，求取其相应的空间平面，从而使得空间平面的拟合结果更加精确和完整。

(3)初始三维模型辅助的弱纹理区域识别：对于分割后的一些细长结构区域，由于空间点的分布问题，可能会得到一些错误空间平面拟合结果及错误的深度值。为此，仍采用前述的基于深度值一致性的误差检测方法对当前深度图进行误差检测与剔除。在区域内部，如果通过误差检测确定的错误深度(“高程”)值对应的像素数量与像素总数之比大于指定阈值，则说明该区域对应的空间平面是不可靠的，这些区域一般对应着弱(无)纹理区域。则采用下述区域级匹配传播策略来完成弱(无)纹理区域的匹配及三维重建。

进一步的，所述弱纹理区域的匹配及空间平面重建包含以下步骤：

(1)顾及颜色、深度及空间离散度等信息的弱纹理区域匹配传播约束模型构建：如图2，对当前视图I₀中的弱纹理区域Ω₀，确定其在视图I_n中的匹配约束区域可有效缩小其空间平面的求解空间。在视图I_n中，弱纹理区域Ω₀内部像素的核线在I_n中所包围的最大区域记为Θ，Ω₀的质心对应的核线在I_n中相交的弱纹理区域在Θ内的部分记为：

(在说明书附图图2中，r＝4)。

兼顾颜色和深度信息，定义如下Ω₀与

间的匹配测度：

式中

表示区域的平均颜色；λ₁和λ₂为加权系数；n(·)表示区域中已确定的可靠深度值的像素数占全部像素数的比例。

为缩小Ω₀的候选匹配区域，采用式(1)计算Ω₀的质心与在区域

内且过质心核线的每个像素之间的匹配测度并同时利用前方交会方法计算质心相对于当前视图的深度值。标记当前深度值序列为d_k，则对n个视图{N_k}，获取长度为n的深度值序列集合{d_k}(k＝1,2,…n)。根据像素级匹配传播结果获得的初始深度图确定的深度范围进行区间划分，采用投票策略确定每个深度区间的投票值。选择较高投票值的区域作为Ω₀的候选匹配区域，同时也确定了Ω₀对应空间平面的大致位置。

其中N(·)表示相应区域的邻域；c(·)表示区域平均颜色；ε₁和ε₂分别表示颜色相似性阈值及可靠深度值所占比例阈值。

空间离散度约束：分割区域的几何形状多样，按(3)式计算区域质心c(x_c,y_c)的空间离散度，空间离散度值Disp越小，则说明分割区域的像素(x_i,y_i)分布较为紧致，匹配显著性较弱；其值越大，则说明分割区域的像素(x_i,y_i)分布较为离散，匹配显著性较强。

式中n为分割区域内的像素数量。

(2)基于能量函数最小化的空间平面优化求解模型构建：上述第2)步确定了Ω₀对应空间平面的大致位置，进一步采用能量函数优化的方法对相应空间平面进行精确求解。定义如下能量函数：

E(s,H)＝E_data(s,H)+E_smooth(s) (4)

其中E_data(s,H)和E_smooth(s)分别表示数据项和平滑项。

像素p的匹配代价定义为：

式中，λ_occlude为遮挡惩罚函数，m(p,H,N_k)用来度量p与H(p)之间的颜色差异。

数据项E_data(s,H)定义为弱纹理区域s内部全部像素匹配代价之和：

其中，N(·)表示与弱纹理区域x相邻的所有可靠区域集合，λ_smooth为平滑项权重，c(·)表示弱纹理区域x的平均颜色，n(·)表示弱纹理区域x对应平面的单位法向量，b_st为弱纹理区域s与t相邻接的像素数。

(3)映射区域一致性约束的弱纹理区域最优三维空间平面求解：首先在候选匹配区域内基于核线约束沿核线方向进行逐像素相关匹配并计算其三维空间点，然后采用深度一致性误差检测，选择可靠的空间点用于平面拟合。由于外点的存在，如仍采用RANSAC算法，则可能得到错误的拟合结果。为此，采用基于平面可信度约束的能量函数最小化方法确定最优平面。对于上述匹配传播约束模型获得的候选平面Π，定义映射区域一致性度量：

上式中，Π_n(Ω₀)为Ω₀基于平面Π在视图I_n中的映射区域，其值越大，则该空间平面的可信度越高。求取最优平面时，首先随机且不重复地抽取3个空间点拟合空间面，构成候选平面集；然后基于(4)式定义的能量函数，从候选平面集中选择能使能量函数取得最小值的平面，并按式(8)验证其可靠性，如满足预设的阈值条件，则为最优平面。

进一步的，所述弱纹理区域的匹配及空间平面重建包含以下步骤：

对于无纹理区域，其对应的平面由其质心的深度值与平面的法向量V共同决定(说明书附图图3)。现有方法在确定其空间平面时，应计算所有法向量和深度值组合的平面的相应的能量函数值，然后从中选取对应最小能量的平面为最优平面，这必然导致较高的计算复杂度。

为此，在优化无纹理区域对应的空间平面时，除了采用映射区域一致性约束外，进一步引入了边缘信息约束，核线与区域边缘的交点大致对应了同名像点，对这些同名像点进行三维重建，然后拟合空间平面，考虑到影像分割精度的影响，拟合的空间平面可能不准确，可在区域质心对应的不同的深度值Z_c下在θ和φ的局部邻域进一步优化搜索以获取能量函数最小值对应的空间平面，然后基于映射关系一致性约束确定无纹理区域的最优空间平面。

Claims (5)

1.一种顾及弱纹理区域多阶段匹配传播的三维重建方法，其特征在于，本方法包含以下步骤：

S1.采用现有算法完成像素级匹配传播并同时构建初始三维模型，在影像分割的基础上，完成纹理丰富区域的空间平面重建；

S2.基于图像分割和第一阶段构建的三维模型约束，在能量函数最小化框架下来完成弱纹理区域的匹配及空间平面重建；

S3.在能量函数最小化框架下利用多重约束优化等方法解决无纹理区域的匹配及可靠三维重建。

2.根据权利要求1所述的一种顾及弱纹理区域多阶段匹配传播的三维重建方法，其特征在于，所述纹理丰富区域的平面重建包含以下步骤:

S1.基于深度值一致性检测的初始三维模型构建；

S2.顾及过分割的纹理丰富区域空间平面重建；

S3.初始三维模型辅助的弱纹理区域识别。

3.根据权利要求1所述的一种顾及弱纹理区域多阶段匹配传播的三维重建方法，其特征在于，所述弱纹理区域的匹配及空间平面重建包含以下步骤：

S1.顾及颜色、深度及空间离散度等信息的弱纹理区域匹配传播约束模型构建；

S2.基于能量函数最小化的空间平面优化求解模型构建；

S3.映射区域一致性约束的弱纹理区域最优三维空间平面求解。

4.根据权利要求1所述的一种顾及弱纹理区域多阶段匹配传播的三维重建方法，其特征在于，所述无纹理区域的匹配及空间平面重建可采用如下方法：在优化无纹理区域对应的空间平面时，除了采用映射区域一致性约束外，进一步引入了边缘信息约束，核线与区域边缘的交点大致对应了同名像点，对这些同名像点进行三维重建，然后拟合空间平面。

5.根据权利要求4所述的一种顾及弱纹理区域多阶段匹配传播的三维重建方法，其特征在于，拟合的空间平面可在区域质心对应的不同的深度值Z_c下在θ和φ的局部邻域进一步优化搜索以获取能量函数最小值对应的空间平面，然后基于映射关系一致性约束确定无纹理区域的最优空间平面。

Images