CN104200517A - 一种三维重建方法 - Google Patents

Abstract

本发明公开了一种三维重建方法，其明显提高方法实现的时间效率。包括步骤：(1)特征点匹配：利用sift方法对图像进行特征提取，采用最邻近匹配方法确定匹配关系，用次近邻与最近邻欧式距离之比来确定匹配，并加以单应约束、自适应的非极大值抑制处理方法来精确匹配；(2)准稠密匹配：采用准稠密匹配方法对步骤(1)得到的特征匹配点进行处理；(3)重采样；(4)初始面片的生成：准稠密匹配点经空间三角化生成初始准稠密空间面片；(5)面片扩散：利用相邻面片具有法向和位置相似的特性对初始面片进行扩散，逐步得到稠密的空间面片；(6)面片过滤：采用几何一致性以及灰度一致性约束来剔除外点。

Description

一种三维重建方法

技术领域

本发明属于计算机图像处理的技术领域，具体地涉及一种三维重建方法。

背景技术

三维重建的最终目的是恢复场景的三维模型，基于图像的三维重建是获取三维模型的主要手段之一。该方法可以看作照相的逆过程。其相对成本低，只需要提供普通的摄像机设备即可，且应用场景广泛，其中多视图立体匹配法在三维重建领域中得到了广泛的关注。

多视图立体匹配法(Multi-View Stereo,MVS)使用单个或多个摄像机采集场景(或物体)在不同视角下采集的多幅图像，再利用这些多视角图像的立体匹配信息恢复场景的三维模型。它包括四种重建方法：基于3D体素的方法；基于表面演化的方法；基于深度融合的方法；基于特征区域生长和扩散的方法，其中基于面片的三维重建方法(Patched-based Multi-ViewStereo,PMVS)就是基于特征扩展方法的典型代表，并且该方法在Middlebury网站提供的测试数据上表现突出，其完整性和精确性都达到所有方法的最优。

PMVS方法面片扩散准则是尽力在每个图像中的每个图像块重建出一个面片,因此方法核心步骤是面片扩散，但是由于PMVS方法中采用Harris和DoG方法进行图像特征点提取及匹配处理，得到的是稀疏匹配点，其三角化生成的初始面片也是稀疏的，这样面片扩散由稀疏的初始面片开始进行，导致后续扩散工作量大，所用时间长。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种三维重建方法，其明显提高方法实现的时间效率。

本发明的技术解决方案是：这种三维重建方法，包括以下步骤：

(1)特征点匹配：利用sift方法对图像进行特征提取，采用最邻近匹配方法确定匹配关系，用次近邻与最近邻欧式距离之比来确定匹配，比值大于给定阈值的，则选为匹配点，并加以单应约束、自适应的非极大值抑制处理方法来精确匹配；

(2)准稠密匹配：采用准稠密匹配方法对步骤(1)得到的特征匹配点进行处理，先通过计算零均值归一化互相关函数ZNCC值得到种子点，然后再进行匹配扩散得到准稠密匹配点；

(3)重采样：对步骤(2)的准稠密匹配点进行重采样处理，使其分布均匀，将重采样得到的匹配点加到步骤(2)的准稠密匹配点集中得到最终匹配结果；

(4)初始面片的生成：准稠密匹配点经三角化生成初始准稠密空间面片；

(5)面片扩散：利用相邻面片具有法向和位置相似的特性对初始面片进行扩散，逐步得到稠密的空间面片；

(6)面片过滤：采用几何一致性以及灰度一致性约束来剔除外点。

附图说明

图1是原PMVS方法的流程图；

图2是根据本发明的三维重建方法的流程图。

具体实施方式

如图2所示，这种三维重建方法，包括以下步骤：

(1)特征点匹配：利用sift方法对图像进行特征提取，采用最邻近匹配方法确定匹配关系，用次近邻与最近邻欧式距离之比来确定匹配，比值大于给定阈值的，则选为匹配点，并加以单应约束、自适应的非极大值抑制处理方法来精确匹配；

(2)准稠密匹配：采用准稠密匹配方法对步骤(1)得到的特征匹配点进行处理，先通过计算零均值归一化互相关函数ZNCC(Zero-meanNormalIized Cross-Correlation,零均值归一化互相关函数)值得到种子点，然后再进行匹配扩散得到准稠密匹配点；

(3)重采样：对步骤(2)的准稠密匹配点进行重采样处理，使其分布均匀，将重采样得到的匹配点加到步骤(2)的准稠密匹配点集中得到最终匹配结果；

(4)初始面片的生成：准稠密匹配点经三角化生成初始准稠密空间面片；

(5)面片扩散：利用相邻面片具有法向和位置相似的特性对初始面片进行扩散，逐步得到稠密的空间面片；

(6)面片过滤：采用几何一致性以及灰度一致性约束来剔除外点。

优选地，给定阈值为1.25。

优选地，步骤(1)中在匹配过程中加以单应约束条件，并采用自适应的非极大值抑制处理方法，得到可靠的初始匹配点。

优选地，步骤(5)和(6)均迭代三次。

以下对原PMVS方法和本发明对比地进行说明。

PMVS方法输入的是一组图像集合I_m＝{I_i|i＝1，2，3，...，n}以及相机参数，然后输出重建得到的三维模型的密集点云。在PMVS方法中点云以具有方向信息的面片形式表示。PMVS中定义面片(patch)为近似于物体表面的局部正切平面，包括中心c(p)，法向量n(p)，参考图像R(p)。面片的一条边与参考相机(即拍摄参考图像的相机)的x轴平行。面片上有μ×μ的格网，即定义了面片的大小(在实验中μ为5)。同时给出了面片的其他相关属性：

V(p)：p的准可见图像集

V^*(p)：p的可见图像集

现有的PMVS方法实现步骤具体分为三步：1)特征匹配及初始面片的生成，该步主要通过图像匹配处理得到稀疏的初始面片，即种子面片；2)面片扩散，该步由稀疏的种子点扩散得到密集的面片；3)面片过滤，该步用来去除错误的面片。在第1)步生成了初始面片之后，后面两步要循环三次，方法流程图可表示为图1。具体来说：

1)特征匹配及初始面片的生成

采用Harris和DoG方法提取图像特征点，找到满足极几何约束的潜在匹配点对，用得到的匹配点三角化得到的三维空间点初始化面片，面片的中心c(p)为三维空间点坐标，单位法向量n(p)为由面片中心指向参考图像摄像机中心的单位向量，即：

c(p)←{Triangulation from f and f′}

(1)

$n\left(p\right)\←\stackrel{\→}{c\left(p\right)O\left(I_1\right)}/\stackrel{\→}{\left|c\left(p\right)O\left(I_1\right)\right|}---\left(2\right)$

R(p)←I_i         (3)

同时初始化V(p),V^*(p)，V(p),V^*(p)都是图像的集合,都包括参考图像和其他符合条件的图像。

V(p)中的图像符合角度条件，即patch的法向量和patch所在光线的夹角要小于60度。O(I_i)为图像I_i所对应相机的光心：

$V\left(p\right)=\left\{I_i\right|I_i\∈I_m,n\left(p\right)\·\frac{c\left(p\right)O\left(I_i\right)}{\left|c\left(p\right)O\left(I_i\right)\right|}>\cos \mathrm{\τ}\}---\left(4\right)$

V^*(p)中的图像符合相关系数的条件，即patch投影到图像和参考图像之间的灰度一致性函数要大于阈值0.4；

V^*(p)＝{I|I∈V(p)，h(p，I，R(p))≤α}

(5)

h(p,I,R(p))是指图像I和R(p)之间的灰度一致函数。值为1减去其NCC值。

然后再通过最小化面片在集合V^*(p)上灰度一致性函数g^*(p)：

$g^{*}\left(p\right)=\frac{1}{|V^{*}\left(p\right)\backslash R\left(p\right)|}{\mathrm{\Σ}}_{I\∈V^{*}\left(p\right)\backslash R\left(p\right)}h(p,I,R\left(p\right))---\left(6\right)$

来进一步优化面片的中心坐标c(p)和法向量n(p)。用优化后的c(p)、n(p)来更新面片的可视图像集合V(p)、V^*(p)。如果|V^*(p)|≥γ,则认为成功生成了面片。将所有图像划分为大小为2×2pixels的图像块C_i(x,y)。把面片投影到图像上，记录下patch所在的图像块。每个图像块有两个存储面片的集合Q_i(x,y),Q_i ^*(x,y)，分别对应投影到V(p),V^*(p)的面片。

2)面片扩散

面片扩散的目标是尽力在每个图像块中重建出一个面片。扩散开始时首先判断是否满足扩散条件。向初始面片p所在图像块的邻域扩散，若这个邻域中已经存在一个与该面片距离较近的面片p'或者这个领域中已经存在一个灰度一致性函数值较大的面片，则不向该邻域扩散。否则就重建一个新面片，新面片的法向量跟种子面片的法向量相同，新面片的中心是通过邻域格网中心的光线与种子面片所在平面的交点。

接下来的步骤与生成种子点相似,即计算V(p)、V^*(p)，优化面片，更新V(p)、V^*(p)，若V^*(p)中的照片个数大于给定阈值，就认为是成功扩散了一个patch，否则失败。然后继续扩散下一个新patch，直到无法再进行扩散。

3)面片过滤

面片过滤用来确保重建面片的准确性，过滤过程中采用三个过滤器来实现。第一个过滤器用来去除同一图像块中面片的平均灰度一致性差异大的那些面片；第二个滤波器用来过滤掉图像块中与深度最小的patch距离大、法向量夹角大的面片；第三个滤波器过滤原理是将一个patch和它八邻域中的neighbors patches拟合二次曲面，neighbors patches残差之和大于阈值就去掉这个patch。

PMVS方法中特征点匹配得到的是稀疏匹配点，因此三角化生成对应的初始面片也是稀疏的。这样面片扩散过程由稀疏的初始面片开始进行，因而后续扩散工作量大，所用时间多。如果我们能够使得用于扩散的初始面片较为稠密，那么可以减少PMVS中面片扩散过程的工作量，提高方法效率。

针对该问题，本发明提出了基于准稠密匹配方法的PMVS方法改进。准稠密匹配方法，可以实现较为稠密的匹配，它是一种介于稀疏匹配与稠密匹配之间的方法。采用“全局最优最先策略”鲁棒性较好。准稠密匹配方法的实现主要有两步：1)种子匹配点的获取；2)匹配扩散得到最终准稠密匹配点

本发明需要解决的问题主要有两方面，一方面是提高种子匹配点的可靠性；另一方面使最终生成的准稠密匹配点均匀分布。

针对种子可靠性的提高，本发明需要在图像特征匹配阶段进行如下三方面处理：1)利用sift方法代替原PMVS方法中的Harris和DoG方法对图像进行特征匹配处理，这是因为sift方法比后两者具有更好的稳定性。2)在特征匹配过程中加以单应约束条件，单应约束是比极线约束更加严格的约束条件，它直接建立起一幅图像中的点与其在另一幅图像的对应点之间的关系，提高匹配的精确性。3)基于自适应非极大值抑制方法使匹配点均匀分布，该方法可以获得数量限定在一定范围内且均匀分布的匹配点。

以上三种技术处理有助于保证准稠密匹配方法中种子点的可靠性。

通过准稠密匹配方法获得的准稠密匹配点分布是不均匀的，会对PMVS改进方法中的面片扩散过程造成负面影响。因此，采用重采样实现对生成的准稠密匹配点集的均匀化处理。

重采样的具体过程为：将一幅图像分成8×8像素大小的小方格区域，利用每一个小区域中已有的匹配点进行平面拟合，采用RANSAC(RandomSample Consensus)约束得到仿射变换矩阵H。确定小区域的中心点x，然后利用仿射矩阵计算x在另一幅图像中的匹配位置Hx，即采样得到一对新的匹配点(x,Hx)，。

通过重采样处理不仅使得最终准稠密匹配分布更加均匀，而且由于采用了局部仿射拟合变换可以有效避免误匹配，所以稳定性也得到了提高。

这样本发明的流程图可用图2来表示。

利用原PMVS方法和本发明方法对Temple和Dino两组数据进行三维重建。对上述实验结果进行分析，给出利用这两种方法分别对Temple和Dino数据集实现三维重建生成的面片总数，以及整个过程所用的时间，分别如表1(a)、表1(b)所示。

表1(a)

表1(b)

对Temple数据集，原PMVS方法进行三维重建后生成面片总数为90081，重建所用总时间为531s，经过本发明方法最后重建出面片总数为89867，所用时间为484s。可见，本发明方法较原方法在三维重建所用总时间上减少了8.85％，面片总数上减少了0.24％。同样对于Dino数据集，由表1(b)可知原PMVS方法进行三维重建后生成面片总数为99345，所用总时间为564s，本发明方法对其重建后面片总数为98763，所用总时间为512s，计算可知，本发明方法较方法所用总时间较少了9.21％，面片总数减少了0.59％，即本发明方法所用时间相对原方法平均减少了约9％，面片总数平均减少了0.42％。这个结果表明本发明方法在没有明显降低重建完整度的前提下，提高了三维重建的时间效率。

下面我们具体分析方法在生成初始面片之前的阶段,即第一阶段以及面片扩散阶段所用时间和生成面片数的情况，为了更好地解释时间数据，同时给出各方法在每次扩散过程新生成的面片以及过滤后剩余总面片数量。

表2

由表2中数据可知原方法在第一阶段所用时间为49s，本发明方法所用时间为88s，比原方法所耗时间多。其原因主要原因是由于加入了准稠密匹配处理过程，导致了该阶段工作量增多，使得所消耗时间比原方法要多。

表3(a)

表3(b)

表4(a)

表4(b)

表3(a)和(b)是原PMVS方法和本发明方法对Temple数据集处理得到的实验数据，表4(a)和表4(b)是两种方法对Dino数据集处理得到的实验数据。这里我们以输入数据是Temple数据集的情况为例来做分析，表3(b)给出了每次迭代过程面片扩散生成的新面片数和过滤后剩余的面片总数，我们可以看到，由本发明方法得到的用于面片扩散的初始面片数量为63590，明显要比原方法的初始面片稠密。又注意到，本发明方法在第二次迭代时，面片扩散生成新的面片数量为42724，明显少于原方法在本次迭代过程中扩散出来面片数量，这是由于本发明方法中，较为稠密的初始面片经过第一迭代后得到的面片已经变得更加稠密。因此相比原方法，在本发明的方法在第二次迭代过程中扩散程度较少，从而使得该次迭代所用时间减少，这就解释了表3(a)所给出的各方法在第二次迭代时面片扩散过程所消耗的时间差异。我们的方法在第二次迭代时面片扩散过程用了61s，相对于原方法在本阶段所用的102s减少了很多。同理可以解释本发明方法在第三次迭代时面片扩散以及所用时间的数据结果。实验表明，本发明方法在与原方法重建完整度基本相当的前提下，较原方法的时间效率提高了约9％。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (4)

1.一种三维重建方法，其特征在于：包括以下步骤：

(1)特征点匹配：利用sift方法对图像进行特征提取，采用最邻近匹配方法确定匹配关系，用次近邻与最近邻欧式距离之比来确定匹配，比值大于给定阈值的，则选为匹配点，并加以单应约束条件和自适应的非极大值抑制方法来精确匹配；

(2)准稠密匹配：采用准稠密匹配方法对步骤(1)得到的特征匹配点进行处理，先通过计算零均值归一化互相关函数ZNCC值得到种子点，然后再进行匹配扩散得到准稠密匹配点；

(3)重采样：对步骤(2)的准稠密匹配点进行重采样处理，使其分布均匀，将重采样得到的匹配点加到步骤(2)的准稠密匹配点集中得到最终匹配结果；

(4)初始面片的生成：准稠密匹配点经空间三角化生成初始准稠密空间面片；

(5)面片扩散：利用相邻面片具有法向和位置相似的特性对初始面片进行扩散，逐步得到稠密的空间面片；

(6)面片过滤：采用几何一致性以及灰度一致性约束来剔除外点。

2.根据权利要求1所述的三维重建方法，其特征在于：给定阈值为1.25。

3.根据权利要求2所述的三维重建方法，其特征在于：步骤(1)中在匹配过程中加以单应约束条件，并采用自适应的非极大值抑制处理方法，得到初始稀疏匹配点。

4.根据权利要求3所述的三维重建方法，其特征在于：步骤(5)和(6)均迭代三次。