CN109816781A - 一种基于图像细节和结构增强的多视图立体几何方法 - Google Patents

Abstract

本发明涉及一种基于图像细节和结构增强的多视图立体几何方法，本发明利用双边纹理滤波这一保边滤波器在连续多尺度上对传统多视图立体几何方法的输入图像进行预处理，包括图像的细节增强和结构增强；增强后的图像连同原始输入图像同时进行多视图立体几何运算，得到三种深度图和法向量图；然后对三种结果进行自适应合并操作得到合并后的深度图和法向量图；最后再对合并后的深度图和法向量图进行深度融合，得到最终的三维稠密模型。本发明通过细节和结构增强，使得多视图立体几何运算时能够得到更完整的深度图和法向量图，使得最终融合得到的三维模型更加稠密，可以大大提升三维重建的稠密度和完整度，而且整体的算法简单易操作，可扩展性极强。

Description

一种基于图像细节和结构增强的多视图立体几何方法

技术领域

本发明涉及一种多视图立体几何方法，尤其是涉及一种基于图像细节和结构增强的多视图立体几何方法。

背景技术

基于图像的三维重建技术(Image Based 3D Reconstruction)包括稀疏重建的从运动恢复结构方法(SfM：Structure-from-Motion)和稠密重建的多视图立体几何方法(MVS：Multi-View Stereo)。稠密重建的多视图立体几何方法(MVS)是在稀疏重建的基础上发展起来的，问题可以归结于在知道摄像机参数的情况下在图像集中估计像素级别的匹配。而几乎都有MVS方法都是通过在对极线限制下来寻找特征点的匹配，因此在处理纹理缺失或者纹理虚弱的图像区域时，就会存在根本性的缺陷，导致匹配失败，无法进行后续三维重建工作。

为了处理纹理缺失或者纹理虚弱的图像区域，其中一种方法是组合多幅图像进行图像一致性的测量，可以通过从多条射线进行三角化增加重建精确度，以及利用大量重叠相干性来提高重建的完整度和鲁棒性，但是随着匹配图像数量的增加，无疑会加大冗余计算量，增加重建时间。另一种方法利用从shading恢复形状方法(Shape-from-Shading)对三维几何进行优化，但是这种方法需要知道光照信息，而且该应用被限制在朗博表面或者具有均匀反射的表面。还有一种方法是利用偏振摄像机来对场景进行多视角的拍照，得到一系列偏振图像来进行三维重建，这种方法虽然不用估计光照等因素，但是对于拍摄条件比较严格，而且还需要进行偏振图像模型的估计，增加传统三维重建的步骤，可扩展性较差。

发明内容

本发明主要是解决现有技术所存在的技术问题；提供了一种对原始输入图像集进行细节和结构增强的方法，使得增强后图像集在进行多视图立体几何计算时，可以在纹理虚弱区域和物体结构处寻找到更多的匹配点，增加三维重建模型的稠密度和完整度；提供了一种简单有效的图像预处理方法。利用双边纹理滤波这一保边滤波器在多个尺度上对图像进行细节和结构增强，使得增强后图像更加适用于后续的三维重建；提供了一种自适应的深度图和法向量图合并方法，可以简单高效的对多种多视图立体几何结果深度图和法向量图进行自适应性合并，为后续深度融合生成最终三维模型提供便利。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于图像细节和结构增强的多视图立体几何方法，包括以下步骤：

步骤1，利用双边纹理滤波对原始输入图像集中的每张图像进行多尺度的保边分解，获得连续的多个尺度的滤波图像和差异图像，其中差异图像包括中细节图像和结构图像；

步骤2，对滤波图像和差异图像进行细节增强和结构增强，具体实现方式如下，

步骤2.1，对差异图像中的细节图像进行细节增强；

步骤2.2，组合滤波图像中的结构信息和差异图像中的结构信息，进行自适应的加权平均，得到结构增强的图像；

步骤3，对原始图像、细节增强以及结构增强后的三种图像分别进行多视图立体几何计算，并对三种多视图立体几何计算的结果图像进行合并，得到最终的深度图和法向量；

步骤4，利用合并后的深度图和法向量图进行深度融合操作，得到最终的三维模型。

进一步的，步骤1中细节图像是指尺度为1的差异图像，结构图像是指尺度大于1差异图像。

进一步的，步骤2.1中对差异图像中的细节图像进行细节增强的计算公式为，

I^d＝I¹+λD¹

其中I^d是细节增强后的图像，I¹是j＝1时的滤波图像，D¹是最低尺度(即j＝1)的差异图像(即细节图像)，λ是一个放大因子。

进一步的，步骤2.2中得到结构增强的图像的方法如下，

其中I^s是结构增强的图像，α^j是j尺度下滤波图像的权重，β^j是j尺度下差异图像的权重，表示对滤波图像进行自适应加权，更能表达图像的边缘结构特性，表示对差异图像进行自适应加权平均，增大图像的结构信息，λ是权衡滤波图像和差异图像之间的比例的参数。

进一步的，步骤3中利用COLMAP中的MVS的多视图立体几何算法分别对原始输入图像、细节增强以及结构增强后的三种图像计算，得到三种深度图和法向量图。

进一步的，步骤3中对三种深度图和法向量图进行合并的方式如下，

对于每张深度图和法向量的每个像素点p，如果在三种深度图以及法向量图中只有其中一种有重建结果，命名为利用这一种结果来表示这个像素的重建结果；如果有两种重建结果和通过评估这两种深度值之间的像素深度误差如果深度误差ε<0.01，就把两者的平均值作为最终结果，否则，直接利用深度值最小的一个值作为最终结果；如果有三种重建结果和那么就取这三种结果的中值作为该像素点的最终重建结果。

进一步的，所述的步骤4中，利用COLMAP系统中的Fusion方法对合并后的深度图和法向量图进行深度融合操作。

因此，本发明具有如下优点：1.采用双边纹理滤波器对图像进行滤波操作，可以在较好保留图像的边缘特性的同时过滤掉纹理细节；2.采用多尺度的双边纹理滤波操作，可以分离出图像的微小纹理细节和图像的结构信息，便于后续的图像细节增强和结构增强；3.采用自适应的合并方法对多种多视图立体几何结果进行合并，为后续深度融合三维模型提供便利；4.采用图像细节增强和结构增强方法来缓解传统三维重建中由于纹理缺失或者纹理虚弱导致特征点匹配失败的难题，可以大大提升三维重建模型的稠密度和完整度，该方法简单有效，可扩展性极强。

附图说明

图1是本发明的工作流程图。

图2是本发明的多尺度双边纹理滤波分解中的滤波图像和差异图像。

图3是本发明的细节增强示意图。

图4是本发明的结构增强示意图。

图5是本发明的原始输入图像(a)、原始输入图像经多视图立体几何计算得到的深度图(b)以及法向量图(c)。

图6为本发明的细节增强图像(a)、细节增强图像经多视图立体几何计算得到的深度图(b)以及法向量图(c)。

图7为本发明的结构增强图像(a)、结构增强图像经多视图立体几何计算得到的深度图(b)以及法向量图(c)。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

一种基于图像细节和结构增强的多视图立体几何方法，包括以下步骤：

步骤1，多尺度双边纹理滤波分解，我们首先对原始输入图像集中的每张图像利用双边纹理滤波进行多尺度的保边分解。双边纹理滤波[1]是原始双边滤波的简单改进，它可以在保留图像主要边界信息的同时分离出纹理细节，是一种很优秀的保边图像分解滤波器。通过双边纹理滤波我们可以分解出一张保留图像主要边界信息的同时模糊较小的像素强度变化的滤波图像和一张滤波图像与原始图像的差异图像。

对于每张输入图像I，多尺度双边纹理滤波分解是构建一系列滤波后图像I^j，j＝0...m，它们保留了图像的主要边界信息的同时模糊较小的像素强度变化。在最小的尺度j＝0，令I⁰＝I，然后迭代的利用双边纹理滤波去计算后续尺度的滤波图像。双边纹理滤波算法中其实只有两个参数可供调节。k(Patch Size)决定了分离纹理的尺度，nitr(number ofiterations)意思是进行纹理滤波的迭代次数，而其他与双边滤波相关联的参数都可以通过k来计算。在不同尺度的双边纹理滤波中，不断的在上一次的Patch size参数k上增加它的值，从而可以得到连续的模糊细节尺度越来越大的滤波图像。

通过上述多尺度双边纹理滤波后，我们得到了连续的在多个尺度下细节越来越模糊的滤波图像。通过在这些滤波图像的连续层次做差值处理来计算一系列的差异图像。D^j＝I^j-I^j-1withj＝1...m，其中I^j是通过双边纹理滤波处理后保留主要边界信息的滤波图像，D^j是那些被双边滤波过滤掉的差异图像。在图2中，我们展示了m＝4时的各个尺度下的滤波图像和差异图像。在1到4的尺度上，我们的k值依次为3，5，7，9.

步骤2，图像细节和结构增强，通过步骤1，利用双边纹理滤波在不同尺度上进行处理，我们得到了连续的多个尺度的滤波图像和差异图像。对图像分别进行细节增强和结构增强的方法如下：

步骤2.1，图1中的①是对原始输入图像进行细节增强的步骤，图中没有多尺度双边纹理滤波分解图示，图2给出了双边纹理滤波分解的示意图。我们首先分析差异图。从图2中，我们发现，在j＝1尺度进行滤波后，D¹已经包含了图像的几乎所有的细粒度的细节信息，我们称之为细节图像；而当j＞1时，D^j中包含的信息都是些尺度比较大的图像细节信息，而这些信息其实是可以看成图像的结构信息了。所以我们在对图像进行细节增强的时候，是仅仅只对D¹进行放大增强，而忽略后续的细节图像。I^d＝I¹+λD¹withλ＝3.0，其中I^d是细节增强后的图像，I¹是j＝1时的滤波图像，D¹是最低尺度的细节图像。λ是一个放大因子，在实验中，我们令λ＝3.0，可以得到较好的细节增强后的图像。在图3中，我们展示了细节增强的过程和结果图。可以看到，通过对最低尺度的差异图像进行增强，我们的结果图中的细节部分被放大。

步骤2.2，图1中的②是对原始输入图像进行结构增强的步骤。由步骤2.1中的分析可知，当j＞1时，D^j中包含的信息都是些尺度比较大的图像细节信息，而这些信息其实是可以看成图像结构信息，他们可以很明显的表示图像内容的各种结构信息，我们也称之为结构图像。同时I^j是一系列越来越平滑的滤波后图像，而且这些图像都很好的保留图像的较大边缘信息，我们也可以认为这些边缘信息表示的是图像中物体具有较大结构的边缘。结构增强的算法的目的是为了增强图像中的结构信息，因此我们通过组合滤波图像中的结构信息和差异图像中的结构信息，进行自适应的加权平均，来得到结构增强的图像。

图像结构增强方法如下：其中I^s是结构增强的图像，α^j是j尺度下滤波图像的权重，β^j是j尺度下差异图像的权重。表示对滤波图像进行自适应加权，更能表达图像的边缘结构特性。表示对差异图像进行自适应加权平均，增大图像的结构信息。λ是权衡滤波图像和差异图像之间的比例的参数，其实我们可以调节α^j和β^j的值来使得λ＝1。当j尺度越大时，I^j图像越平滑，包含的结构信息越少，为了增强结构信息，我们就把对应的α^j权重减小。类似的，当j尺度越大时，D^j图像包含的结构信息越少，因此我们就把对应的β^j权重也减少。我们发现在细节增强之上，在进行结构增强，可以达到更好的结果，因此当j＝1时，对D¹细节图像也进行增强，如同2.1步骤所述，令β¹＝3.0。图4展示了结构增强的示意图，实例中我们令m＝4，α¹＝1/3，α²＝1/4，α³＝1/5，α⁴＝1/6，β¹＝3.0，β²＝3.0，β³＝2.5，β⁴＝2.0。从示例结果图中可以看到，图像的结构信息被放大，使得图像的结构看起来更加突出。

步骤3，通过多尺度的双边纹理滤波分解和细节增强以及结构增强之后，我们分别对原始输入图像、细节增强后图像和结构增强后图像进行多视图立体几何计算，如图1中③所示。我们利用目前最优秀的三维稠密方法COLMAP[2]中的MVS分别对三种图像进行计算，得到三种深度图和法向量图。接下来，我们对三种结果图像进行合并，得到最终的深度图和法向量，如图1中④所示。

合并方法非常简单。对于每张深度图和法向量图的每个像素点p，如果在三种深度图以及法向量图中只有其中一种有重建结果，我们命名为我们就利用这一种结果来表示这个像素的重建结果；如果有两种重建结果和我们来评估这两种深度值之间的像素深度误差如果深度误差ε<0.01，就把两者的平均值作为最终结果，否则，我们就简单的利用深度值最小的一个值作为最终结果；如果有三种重建结果和那么我们就取这三种结果的中值作为该像素点的最终重建结果。图5、图6和图7分别为原始输入图像、细节增强图像、结构增强图像分别利用COLMAP中的MVS方法进行处理之后得到的深度图和法向量图，其中大框表示纹理缺失区域，小框表示物体结构处，从图6和图7可以看到细节增强图像和结构增强的结果图中，都在原始图像结果上有不同程度的提升。

步骤4，经过步骤3得到了合并后的深度图和法向量图。然后我们利用COLMAP中对深度图和法向量图进行融合的算法来构建最终的三维模型，如图1中⑤所示。利用合并后的深度图和法向量图进行深度融合操作时，我们使用的是COLMAP系统中的Fusion[2]方法，因为这是目前比较优秀的三维重建系统。这里也可以使用其他融合方法，只要是能从深度图到最终三维模型的转化即可。

[1]Cho H，Lee H，Kang H，et a1.Bilateral texture filtering[J].AcmTransactions on Graphics，2014，33(4)：1-8.

[2]Johannes L.Schonberger，Enliang Zheng，Jan-Michael Frahm，and MarcPollefeys.Pixelwise view selection for unstructured multi-view stereo.In ECCV(2016).

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于图像细节和结构增强的多视图立体几何方法，其特征在于，包括以下步骤：

步骤1，利用双边纹理滤波对原始输入图像集中的每张图像进行多尺度的保边分解，获得连续的多个尺度的滤波图像和差异图像，其中差异图像包括中细节图像和结构图像；

步骤2，对滤波图像和差异图像进行细节增强和结构增强，具体实现方式如下，

步骤2.1，对差异图像中的细节图像进行细节增强；

步骤2.2，组合滤波图像中的结构信息和差异图像中的结构信息，进行自适应的加权平均，得到结构增强的图像；

步骤3，对原始图像、细节增强以及结构增强后的三种图像分别进行多视图立体几何计算，并对三种多视图立体几何计算的结果图像进行合并，得到最终的深度图和法向量；

步骤4，利用合并后的深度图和法向量图进行深度融合操作，得到最终的三维模型。

2.根据权利要求1所述的一种基于图像细节和结构增强的多视图立体几何方法，其特征在于：步骤1中细节图像是指尺度为1的差异图像，结构图像是指尺度大于1差异图像。

3.根据权利要求2所述的一种基于图像细节和结构增强的多视图立体几何方法，其特征在于：步骤2.1中对差异图像中的细节图像进行细节增强的计算公式为，

I^d＝I¹+λD¹

其中I^d是细节增强后的图像，I¹是j＝1时的滤波图像，D¹是最低尺度(即j＝1)的差异图像(即细节图像)，λ是一个放大因子。

4.根据权利要求3所述的一种基于图像细节和结构增强的多视图立体几何方法，其特征在于：步骤2.2中得到结构增强的图像的方法如下，

其中I^s是结构增强的图像，α^j是j尺度下滤波图像的权重，β^j是j尺度下差异图像的权重，表示对滤波图像进行自适应加权，更能表达图像的边缘结构特性，表示对差异图像进行自适应加权平均，增大图像的结构信息，λ是权衡滤波图像和差异图像之间的比例的参数。

5.根据权利要求1-4任一权利要求所述的一种基于图像细节和结构增强的多视图立体几何方法，其特征在于：步骤3中利用COLMAP中的MVS的多视图立体几何算法分别对原始输入图像、细节增强以及结构增强后的三种图像计算，得到三种深度图和法向量图。

6.根据权利要求5所述的一种基于图像细节和结构增强的多视图立体几何方法，其特征在于：步骤3中对三种深度图和法向量图进行合并的方式如下，

对于每张深度图和法向量的每个像素点p，如果在三种深度图以及法向量图中只有其中一种有重建结果,命名为利用这一种结果来表示这个像素的重建结果；如果有两种重建结果和通过评估这两种深度值之间的像素深度误差如果深度误差ε<0.01，就把两者的平均值作为最终结果，否则，直接利用深度值最小的一个值作为最终结果；如果有三种重建结果 和那么就取这三种结果的中值作为该像素点的最终重建结果。

7.根据权利要求1-4任一权利要求所述的一种基于图像细节和结构增强的多视图立体几何方法，其特征在于：所述的步骤4中，利用COLMAP系统中的Fusion方法对合并后的深度图和法向量图进行深度融合操作。