CN101383054A - 一种基于图像与扫描数据的混合三维重建方法 - Google Patents

Abstract

本发明涉及一种针对建筑物场景而设计的一种融合多视图像和扫描数据的三维重建方法。该方法充分发掘两类数据的互补特性，利用方便获取的图像数据来恢复激光扫描仪未能获取的信息，同时扫描数据保证几何精确度并为立体图像的匹配提供场景结构信息。本发明提供的重建方法简化了数据采集、模型生成与处理。

Description

一种基于图像与扫描数据的混合三维重建方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种真实场景的三维重建方法。

背景技术

精确的三维几何模型在虚拟现实、数字城市、地形勘测、数字娱乐、城市设计规划等诸多领域都有着广泛的应用。三维场景重建中最常用的两种方法是基于激光扫描数据的主动方法和基于二维图像或视频序列的被动方法。激光扫描仪直接测量高精度的三维数据集，并且对环境光不敏感，随着仪器设备的发展得到越来越多的关注。但是，数据采集费时费力，可靠的颜色信息一般不能同时获取，且在玻璃、深色表面以及遮挡区域的原始数据也很不可靠。而基于图像的方法数据采集简易灵活，能很容易获取足够多的数据覆盖整个场景，并且彩色照片可同时用于纹理映射。但由于存在相机标定和立体匹配这两个经典难题，很难单独完成复杂场景的建模。

因此，为了精确建立物理世界的真实感三维模型，复杂场景的三维重建需要结合若干不同种类的数据，尤其是3D扫描数据与2D图像数据，即采用基于图像与扫描数据的混合三维重建。我们不难发现两者有着很好的互补性，若能融合两种数据取长补短，不仅可以降低重建难度也可以提高三维重建的质量。

一方面，图像信息可以用来提高三维数据的质量。除了颜色信息外，可以恢复额外的三维数据点。比如，根据临近象素点对应的三维坐标在颜色信息的引导下插值得到新的三维顶点；利用图像数据对应特征像素点的三角化来修正初始的相机标定，一旦获得可靠的标定结果，将匹配得到的对应象素点三角化添加到原始三维数据中；考虑到深度的不连续往往同时引起颜色的不连续，有相关工作用多分辨率的马尔科夫随机场将图像和深度数据联系起来生成高分辨率、低噪声的深度图像；图像信息同样也可以辅助三维数据上几何特征的抽取。

另一方面，很多工作独立地从两种数据源分别生成几何模型，然后再融合到一起。很多大型文化遗址场景的三维重建就是这样融合多种技术来完成三维重建。他们用基于图像的方法获取基本形状以及整体结构，用激光扫描仪获取带有丰富细节如雕刻的表面，同时结合基于图像的绘制方法来表现背景环境等视差变化不显著的区域。

混合重建，即结合不同传感器数据来完成场景三维建模，是一个很具有挑战性的技术领域。理想的融合方式需要能让两种数据都能对最终的结果发挥自身最大的贡献。目前为止，还难以设计出一个适用于不同实际场景的通用的融合框架。

发明内容

本发明的目的是针对建筑物场景而设计的一种融合多视图像和扫描数据的三维重建方法。该方法充分发掘两类数据的互补特性，利用方便获取的图像数据来恢复激光扫描仪未能获取的信息，同时扫描数据保证几何精确度并为立体图像的匹配提供场景结构信息。这样的重建方法不仅简化了数据采集，同时除二维图像和扫描数据之间的配准外不需任何人工干预，模型生成与处理也变得更为易行。

为了达到上述发明目的，本发明提供了一种基于图像与扫描数据的混合三维重建方法，所述方法包括以下步骤：

S1：将三维扫描数据分割为一系列点集，平面拟合所得点集；

S2：将属于每一个空间平面的三维点分别投影到两幅图像上，拟合对应于该空间平面的视差层；

S3：通过立体匹配找出主图像中各个像素点所属的空间平面；

S4：在扫描数据缺失区域添加三维顶点，得到最终的网络模型。

其中，所述方法在步骤S1之前还包括步骤：

SA：对二维图像和扫描数据进行配准，选取对应的三维点和像素点，求出相机内参数以及对应于扫描数据的旋转平移参数；以及

SB：对立体图像进行极线校正，并记录校正之后的相机内外参数。

其中，所述方法的步骤S1中，将三维扫描数据分割为一系列点集之后，先合并共面的点集，并去掉不可靠的点集，然后再平面拟合所得点集。

其中，所述不可靠的点集为顶点数目少于一定阈值的点集。

其中，所述步骤S2中采用迭代的最小二乘方法进行拟合。

其中，所述步骤S3采用“将图像块分割为颜色块，并计算每个颜色块所属视差平面”的方法完成。

其中，通过建立并求解能量函数计算每个颜色块所属视差平面。

其中，所述能量函数为数据项E_data与平滑项E_smooth之和：

E(f)＝E_data(f)+E_smooth(f)

$E_{\mathrm{data}}\left(f\right)=\underset{S}{\mathrm{\Σ}}\left(\underset{(x,y\∈S)}{\mathrm{\Σ}}C(x,y,d\left(f\right))\right)$

$C(x,y,d\left(f\right))=\left\{\begin{array}{c}{C}_{\mathrm{occlude}},f\left(S\right)=0\\ \max \left(C_{\mathrm{threshold}}|I_1(x,y)-I_2(x+d,y)|\right),f\left(S\right)\≠0\end{array}\right.$

$E_{\mathrm{smooth}}\left(f\right)=\underset{S_1,S_2\∈\mathrm{NB}}{\mathrm{\Σ}}\mathrm{\λ}\·\mathrm{borderlength}(S_1,S_2)\·\mathrm{\δ}(f\left(S_1\right)\≠f\left(S_2\right))$

其中，C_occlude与C_threshold为常数，其值取决于具体图像对；S₁、S₂表示相邻颜色块，borderlength(S₁，S₂)表示两个颜色块之间的公共边界长度，λ为常数，当f(S₁)≠f(S₂)时δ(f(S₁)≠f(S₂))＝1，否则δ(f(S₁)≠f(S₂))为0。

其中，所述能量函数中的数据项为：

$E_{\mathrm{data}}\left(f\right)=\underset{S}{\mathrm{\Σ}}\left(\underset{(x,y\∈S)}{\mathrm{\Σ}}(C(x,y,d\left(f\right))+\mathrm{\ω}\·d_{\mathrm{offset}})\right)$

其中当f(S)≠0时，d_offset＝|d(f)-d_initial|，；否则d_offset＝d_dis；d_initial为之前得到的视差值，ω、C_dis为常数。

利用本发明提供的方法，可以很好地完成两种数据的自动融合。并且由于初始平面片只用于视差层的抽取，并未参与到匹配算法中，少量可靠的扫描点信息对于重建该平面就已经足够。因此只需用激光扫描仪采集到每个平面的一部分数据，再结合立体图像对就能对场景进行三维重建，并且同时保证重建的准确性和完整性，使得数据采集及模型重建过程变得简便易行。

附图说明

图1是本发明的基于图像与扫描数据的混合三维重建方法流程图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

图1所示是本发明的基于图像与扫描数据的混合三维重建方法流程图，所述方法具体包括以下步骤：对二维图像和扫描数据进行配准，选取对应的三维点和像素点，求出相机内参数以及对应于扫描数据的旋转平移参数；对立体图像进行极线校正，并记录校正之后的相机内外参数；将三维扫描数据分割为一系列点集，平面拟合所得点集；将属于每一个空间平面的三维点分别投影到两幅图像上，拟合对应于该空间平面的视差层；通过立体匹配找出主图像中各个像素点所属的空间平面；在扫描数据缺失区域添加三维顶点，得到最终的网络模型。可以看到整个处理过程由三个阶段组成：数据预处理、立体匹配以及数据缺失区域的重建。

1.数据预处理

数据预处理阶段包括了扫描数据和图像数据之间的配准、图像对的极线校正、还有扫描数据生成的三维模型的平面分割。

由于两种来自不同传感器的数据是分开获取的。因此，首先需要解决相机标定以及相对于已获得的扫描模型的位姿估计问题。一系列的三维顶点以及它们对应的像素点被手工选取出来，然后通过求解齐次线性方程组得到投影矩阵，这一步是分别在左右图像上进行的。有了相机的内外参数，可以直接用A.Fusiello et al“A compact algorithmfor rectification of stereo pairs”.Machine Vision and Applications，Vol 12，No.1，pp.16-22，2000.中的方法进行极线校正，同时记录下变换之后的相机参数。校正之后的图像对中，对应点都准确位于同一水平扫描线上。

而平面分割的目的在于将三维模型分割为一系列的点集。每一个点集内的所有顶点位于三维空间当中的同一个平面上。先用区域增长法合并具有一致法向量的相连顶点。接着，顶点数目少于一定阈值的点集被认为是不可靠的，这些大多是因为遮挡以及反射属性难以处理的表面所形成的碎片。然后，合并共面的点集，并且在去掉不可靠顶点之后，对最后得到的每个点集进行平面拟合。作为平面分割结果，不同的颜色代表不同的空间平面。

2.立体匹配

在本发明中，立体匹配的目的是找出主图像中各个像素点所属的空间平面。得到每一个平面在图像中的覆盖区域之后，再通过反投影可以直接得到它在空间中的延展范围，即确定了组成场景的每个平面片的大小。本发明中采用的是以图像颜色块为基本单元基于graphcuts优化的匹配方法。

在校正后的图像对上，对应于每一个空间平面的视差层仍旧满足线性平面方程。因此整个视差空间的结构可以表示为一系列的平面模型：

d＝c₁x+c₂y+c₃

其中(c₁，c₂，c₃)是平面参数，d是像素(x，y)对应的视差值。

与一般立体匹配算法不同的是由于此处已经有了部分三维模型，所以视差平面可以从三维数据中直接抽取。由数据预处理阶段的三维模型平面分割得到一系列顶点集合，对于每一个投影在图像平面内(投影后落在图像上的顶点数超过阈值)的顶点集合，我们对它对应的视差平面进行参数拟合。首先根据2D-3D匹配中获得投影矩阵将空间三维顶点分别投影到两幅图像上求得部分像素视差。投影矩阵难免存在误差，因此需要对这些视差值进行调整。由于已经计算得到的初始值与真实值差距较小，所以选择一个7乘7的子窗口使其在计算值附近滑动，取其中使SAD值(对应颜色绝对差求和)最小的视差替代初始值。这一步虽然简单却对之后平面参数拟合的精确度有着很大的提高作用。为了提高拟合的鲁棒性，选择迭代的加权最小二乘法方法。

为主图像中每一个颜色块计算出它所属的视差平面可以看作是标记问题(labeling problem)。每一个视差平面都是标记集合中的一项，除此之外，另外加入一个标记，代表颜色块被遮挡或不属于任何已有平面，记为标号0。根据前面提到颜色块假设，标记对象为每一个颜色块，而不是像素。这样可以大大降低问题规模，提高计算速度。此处采用graph cuts方法来求解使匹配能量最小的标记函数f。

能量函数由两部分组成，即数据项与平滑项：

E(f)＝E_data(f)+Es_mooth(f)

其中，数据项E_data包含将平面标记赋给颜色块所引起的匹配代价，颜色块的标记代价为所包含的像素与它在另一幅图像中的对应像素的平截颜色差绝对值的求和：

$E_{\mathrm{data}}\left(f\right)=\underset{S}{\mathrm{\Σ}}\left(\underset{(x,y)\∈S}{\mathrm{\Σ}}C(x,y,d\left(f\right))\right)$

$C(x,y,d\left(f\right))=\left\{\begin{array}{cc}{C}_{\mathrm{occlude}}& f\left(S\right)=0\\ \max (C_{\mathrm{threshold}},|I_1(x,y)-I_2(x+d,y)|)& f\left(S\right)\≠0\end{array}\right.$

其中C_occlude，C_threshold为常数，赋值大小与具体图像对有关；

平滑项E_smooth描述了视差的平滑约束，即当相邻颜色块被赋予不同的标记时就加以相应的惩罚：

$E_{\mathrm{smooth}}\left(f\right)=\underset{S_1,S_2\∈\mathrm{NB}}{\mathrm{\Σ}}\mathrm{\λ}\·\mathrm{borderlength}(S_1,S_2)\·\mathrm{\δ}(f\left(S_1\right)\≠f\left(S_2\right))$

其中S₁，S₂表示相邻颜色块，borderlength(S₁，S₂)是两个颜色块之间的公共边界长度，λ为常数，当f(S₁)≠f(S₂)时δ(f(S₁)≠f(S₂))值为1否则为0。

由上式定义的能量函数可以由graph cuts算法求得很好的近似解，通常经过3-4次迭代后优化过程就可以收敛，并且它对颜色块的初始标记非常不敏感。

可以看到，我们得到的立体匹配结果对大部分颜色块都赋予了正确的平面标记，但也存在着一些错误，特别是标记0的区域较碎且平面边界不理想。细碎的平面片会给下一步的重建带来较大的负面影响。虽然可以通过增大平滑力度来消除，但是为什么在上一步平面标记过程中没有这么做呢？这是因为我们方法所针对的室外建筑物场景图像纹理不是特别丰富。直接增大平滑项会使得结果过于平滑，丢失细节，边界也会不准确。

所以以上一步的求得的视差作为初始值，在此基础上修改能量函数再进行一次优化。数据项的修改为如下形式：

$E_{\mathrm{data}}\left(f\right)=\underset{S}{\mathrm{\Σ}}\left(\underset{(x,y)\∈S}{\mathrm{\Σ}}(C(x,y,d\left(f\right))+\mathrm{\ω}\·d_{\mathrm{offset}})\right)$

其中若f(S)≠0，d_offset＝|d(f)-d_initial|，否则d_offset＝C_dis。d_initial是之前得到视差值，ω、C_dis为常数。同时对平滑项也要适当增加平滑力度，即增大λ的取值。

3.模型缺失部分的重建

通过利用场景的平面假设和主图像的颜色分块结合已知三维信息完成平面标记后，我们确定了主图像中各个像素所对应的空间平面。在已知相机内参数及相对于已有三维模型的旋转、平移参数的情况下，求取像素点对应的空间坐标是轻而易举的。只需从相机光心发射一条通过该像素的光线，此光线与对应空间平面的交点就是需要的空间三维点。我们在图像空间进行采样将原三维模型中缺失的三维点添加进去。当然，三维点的添加仅限于数据缺失区域，对原有的三维模型未作任何的改动。

由于原有模型已有部分网格存在，需要对新添加的三维点以及原模型的边缘点进行局部建网。这个过程在先对每个平面分别进行二维delaunay三角剖分，并选取其中与原有网格不相交错的三角形，然后相邻平面如果距离相差恨小则进行缝合。这样就可以得到最终的网格。由于重建过程较为简单，最终网格中会存在少量拓扑错误，但并不会影响绘制的效果。

利用本发明中的方法，模型的后处理如漏洞填补等操作无需人工干预，可以自动完成。并且由于初始平面片只用于视差层的抽取，并未参与到匹配算法中，少数可靠扫描点的信息对于重建该平面就已经足够。因此只需用激光扫描仪采集到每个平面的一部分数据，再结合立体图像对就能对场景进行三维重建，并且同时保证重建的准确性和完整性，数据采集及模型重建过程都变简便易行。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由其权利要求限定。

Claims (9)

1、一种基于图像与扫描数据的混合三维重建方法，其特征在于，所述方法包括以下步骤:

S1:将三维扫描数据分割为一系列点集，平面拟合所得点集；

S2:将属于每一个空间平面的三维点分别投影到两幅图像上，拟合对应于该空间平面的视差层；

S3:通过立体匹配找出主图像中各个像素点所属的空间平面；

S4:在扫描数据缺失区域添加三维顶点，得到最终的网络模型。

2、如权利要求1所述的基于图像与扫描数据的混合三维重建方法，其特征在于，所述方法在步骤S1之前还包括步骤:

SA:对二维图像和扫描数据进行配准，选取对应的三维点和像素点，求出相机内参数以及对应于扫描数据的旋转平移参数；以及

SB:对立体图像进行极线校正，并记录校正之后的相机内外参数。

3、如权利要求1所述的基于图像与扫描数据的混合三维重建方法，其特征在于，所述步骤S1中，将三维扫描数据分割为一系列点集之后，先合并共面的点集，并去掉不可靠的点集，然后再平面拟合所得点集。

4、如权利要求3所述的基于图像与扫描数据的混合三维重建方法，其特征在于，所述不可靠的点集为顶点数目少于一定阈值的点集。

5、如权利要求1所述的基于图像与扫描数据的混合三维重建方法，其特征在于，所述步骤S2中采用迭代的最小二乘方法进行拟合。

6、如权利要求1所述的基于图像与扫描数据的混合三维重建方法，其特征在于，所述步骤S3中的立体匹配方式是:采用将图像块分割为颜色块，并计算每个颜色块所属视差平面。

7、如权利要求6所述的基于图像与扫描数据的混合三维重建方法，其特征在于，通过建立并求解能量函数来计算每个颜色块所属视差平面。

8、如权利要求7所述的基于图像与扫描数据的混合三维重建方法，其特征在于，所述能量函数为:

E(f)＝E_data(f)+E_smooth(f)

$E_{\mathrm{data}}\left(f\right)=\underset{S}{\mathrm{\Σ}}\left(\underset{(x,y\∈S)}{\mathrm{\Σ}}C(x,y,d\left(f\right))\right)$

$C(x,y,d\left(f\right))=\left\{\begin{array}{c}{C}_{\mathrm{occlude}},f\left(S\right)=0\\ \max \left(C_{\mathrm{threshold}}\right|I_1(x,y)-I_2(x+d,\mathrm{\υ})\left|\right),f\left(S\right)\≠0\end{array}\right.$

$E_{\mathrm{smooth}}\left(f\right)=\underset{S_1,S_2\∈\mathrm{NB}}{\mathrm{\Σ}}\mathrm{\λ}\·\mathrm{borderlength}(S_1,S_2)\·\mathrm{\δ}(f\left(S_1\right)\≠f\left(S_2\right))$

其中，E_data为数据项，E_smooth为平滑项，C_occlude与C_threshold为常数，其值取决于具体图象对；S₁、S₂表示相邻颜色块，borderlength(S₁，S₂)表示两个颜色块之间的公共边界长度，λ为常数，当f(S₁)≠f(S₂)时δ(f(S₁)≠f(S₂))＝1，否则δ(f(S₁)≠f(S₂))为0。

9、如权利要求8所述的基于图像与扫描数据的混合三维重建方法，其特征在于，所述能量函数中的数据项为:

$E_{\mathrm{data}}\left(f\right)=\underset{S}{\mathrm{\Σ}}\left(\underset{(x,y\∈S)}{\mathrm{\Σ}}(C(x,y,d\left(f\right))+\mathrm{\ω}\·d_{\mathrm{offset}})\right)$

其中当f(S)≠0时，d_offset＝|d(f)-d_initial|，；否则d_offset＝d_dis；d_initial为之前得到的视差值，ω、C_dis为常数。