CN101271582B - 基于多视角二维图像并结合sift算法的三维重建方法 - Google Patents

Abstract

本发明涉及基于多视角二维图像并结合SIFT算法的三维重建方法，属于计算机多媒体技术领域。该方法包括：利用SIFT算法检测得到各视角二维图像中的特征点，并对相邻视角进行特征点匹配操作；利用对极约束，验证匹配特征点对的有效性并对特征点对的匹配情况进行修正；结合对极约束和各向同性的sobel算子，以匹配特征点对坐标为基准进行特征扩展，得到匹配特征区域；利用多视角二维图像，得到待重建物体的体素模型，并对体素模型优化，利用graph-cut方法进行求解；计算各视角匹配特征区域在空间对应的体素集合，将体素位于待重建的物体表面，作为约束条件，得到三维重建。本发明利用特征区域优化重建模型，实现低复杂度高质量的三维重建。

Description

基于多视角二维图像并结合SIFT算法的三维重建方法

技术领域

本发明属于计算机多媒体技术领域，特别涉及一种结合SIFT算法利用多视角二维图像进行高效、准确三维重建的技术。

背景技术

对真实物体及场景建立具有照片级真实感的三维模型，是许多三维多媒体系统中的关键一环。模型质量对于虚拟步行(如，城市向导，虚拟博物馆)，计算机游戏，电子商务中的产品展示或其他虚拟现实系统的可接受度，会产生很大影响。高质量的三维模型的重建和设计目前仍然是一项很费时且昂贵的工作。

对三维模型的重建基本可分为两类不同的方法。  第一类是对双视角或多视角的观察结果进行分析，计算深度图，从而建立三维模型。由于遮挡现象，单张深度图只能反映部分物体的情况，所以这类方法需对多张深度图进行匹配融合才能得出单一的三维表面模型。第二类重建方法则回避了这一融合过程，利用体素模型对场景进行描述；该方法包含：基于多视角二维图像，首先利用轮廓信息，得到待重建物体的可视外壳；并对可视外壳模型进行离散化操作，将可视外壳空间划分为等边长的小立方体，即体素，得到相应的体素模型；利用校准后的照相机参数，得到每个体素在二维图像中对应的二维象素信息，利用对应的二维象素的色彩一致性判断该体素是否属于待重建物体，对体素模型进行优化，使其更逼近真实的待重建物体。根据二维像素信息判断体素是否属于待重建物体的过程，实际是一个二值优化问题，即求出一个恰当的划分，将体素集合划分为属于待重建物体与不属于待重建物体两部分，使属于待重建物体的体素集合更接近待重建物体的真实形状。对于这一二值优化问题，可利用图论中经典的Graph Cut方法进行求解。

利用体素模型对场景进行描述的优点在于，将各个角度的观察结果简单的联系起来。因为更少的引入了平滑性限制，所以在多遮挡情况下，常常能够得到较好的重建效果。该方法存在的问题是，由于各视角二维图像本身就存在一定色彩差异，因此利用二维象素的色彩一致性对体素是否属于待重建进行判断的过程容易产生错误，使体素模型的准确性受到影响。

SIFT算法是一种对特征点进行检测及匹配的方法，该算法中在多尺度空间进行特征检测，确定特征点的位置和特征点所处的尺度；然后使用一高维向量作为特征描述符，描述特征点邻域的梯度情况；由于该特征描述符对尺度和方向的无关性，因此匹配能力较强，可用于处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题。SIFT算法具有准确、稳定的特征检测及匹配能力，但由于需要在各个尺度上进行计算，因此其时间复杂度相对较高。各向同性的sobel算子则是在sobel算子基础上，对距离进行加权，是一种简单的、具有旋转不变特性的微分算子。

发明内容

本发明的目的在于为克服已有技术的不足之处，提出一种基于多视角二维图像并结合SIFT算法的三维重建方法，本发明将特征信息有效应用于三维重建工作，在运用SIFT算法得到匹配特征点对的基础上，结合对极约束和各向同性的sobel算子，对特征点对进行扩展，得到匹配特征区域，利用各视角的匹配特征区域，对三维重建进行辅助，使重建模型精度得到有效提高。且本发明方法的复杂度较低，具有易于实现的特点。

1、基于多视角二维图像并结合SIFT算法的三维重建方法，其特征在于，包括以下步骤：

1)利用SIFT算法对采集的多视角二维图像进行检测，得到各视角二维图像中的特征点及其特征描述符；

2)根据所述特征描述符，对相邻视角进行特征点匹配操作，得到匹配特征点对；

3)利用对极约束，对所述匹配特征点对的有效性进行验证并修正匹配特征点对的坐标；

4)结合对极约束和各向同性的sobel算子，以所述匹配特征点对坐标为基准进行特征扩展，得到匹配特征区域；

5)利用采集的多视角二维图像，得到待重建物体可视外壳模型，并对可视外壳模型进行离散化操作，得到体素模型；

6)基于graph-cut方法利用所述匹配特征区域对体素模型进行优化，实现三维重建。

本发明的特点及有益效果

本发明的特征在于提出了一种简单可行的特征扩展方法，将SIFT算法应用至三维重建领域，并结合使用各向同性sobel算子，在低复杂度的前提下使三维重建质量得到有效提高。

1)本发明方法原理简单，明确，易于实现；

2)本发明方法利用对极约束，对匹配特征点对进行有效的检测和修正；

3)本发明方法利用对极约束，有效缩小了特征扩展时的搜索空间；

4)本发明方法使用自内向外的特征扩展顺序，使特征区域的局部一致性得到了保证；

5)  本发明方法将特征点对扩展为后得到的连续的特征区域，保证局部细节在重建后的三维模型中得到体现；

6)本发明方法结合使用SIFT算法和各向同性sobel算子，在不显著增加算法复杂度的情况下，使三维重建质量得到有效改善。

附图说明

图1为本实施例中环形摄像阵列示意图；

图2为本实施例的对极约束示意图；

图3为本实施例中各向同性sobel算子示意图；

图4为本实施例的特征扩展示意图。

具体实施方式

本发明提出的基于多视角二维图像并结合SIFT算法的三维重建方法，结合具体实施例及附图详细说明如下：

本发明提出的方法，包括以下步骤：

1)利用SIFT算法对采集的多视角二维图像进行检测，得到各视角二维图像中的特征点及其特征描述符；

2)根据所述特征描述符，对相邻视角进行特征点匹配操作，得到匹配特征点对；

3)利用对极约束，对所述匹配特征点对的有效性进行验证并修正匹配特征点对的坐标：

31)对采集的多视角二维图像中的二维图像I₁和I₂中的匹配特征点对p和p′，计算p在I₂中对应的对极线l′，及p′到l′的距离d_l；

32)若d_l超过阈值t(t取值范围为1-2像素)，则p和p′匹配错误，将其从特征点对集合中剔除；

33)若d_l小于阈值t，则p和p′正确匹配，并将p′坐标更新为p′到l′的投影，实现坐标修正。

4)结合对极约束和各向同性的sobel算子，以所述匹配特征点对坐标为基准进行特征扩展，得到匹配特征区域：

41)对采集的多视角二维图像中的二维图像I₁和I₂中的特征点对p和p′，遍历I₁中以p点为中心的m×n邻域内的像素q(m、n均为正整数)，利用各向同性sobel算子，计算q点邻域梯度及q在I₂中对应的对极线l′_q；

42)计算I₁中pq两点间的距离d_pq，根据两视角间的仿射变换剧烈程度，确定距离变化因子k(仿射变换越剧烈，k值应越大，k取值范围可为2-3)；

43)将l′_q上与p′距离小于k·d_pq的范围作为搜索空间，利用各向同性的sobel算子计算搜索空间内各像素的梯度值，选择梯度值与

最近接的像素q′作为q在I₂中的匹配像素；

44)对I₁中以p点为中心的m×n邻域，按自内向外的顺序，按照步骤41)-43)所述方法，计算领域内各像素在I₂中的匹配像素，并保持I₁中的两像素q₁和q₂应与I₂中的对应像素q′₁和q′₂之间的相对位置关系一致，实现特征扩展，以得到匹配特征区域。

5)利用采集的多视角二维图像，得到待重建物体可视外壳模型，并对可视外壳模型进行离散化操作，得到体素模型；

6)基于graph-cut方法利用所述匹配特征区域对体素模型进行优化，实现三维重建：

61)将体素模型的优化问题，转化为可利用graph-cut方法求解的二值优化问题；

62)计算相邻视角匹配特征区域在空间中对应的体素集合，限制这些体素位于待重建物体表面，作为graph-cut求解问题的约束条件，优化体素模型。

本实施例中的多视角二维图像，由20个摄像头组成的环形摄像阵列提供，摄像头按逆时针顺序对阵列中各视角进行编号为1-20，如图1所示，

本实施例进行三维重建的具体步骤如下：

1)利用SIFT算法依次对1-20号视角的二维图像进行检测，得到各视角二维图像中的特征点及其特征描述符；

2)将环形阵列中的相邻视角两两结合为一组，编号较小的相机采集图像作为I₁，编号较大的相机采集图像为I₂，根据所述特征描述符，对I₁和I₂两二维图像进行特征点匹配操作，得到特征匹配点对；

3)如图2所示，I₁和I₂表示相邻视角的二维图像，c₁和c₂分别表示两个视角的相机光心，以I₁和I₂中的特征点对p和p′为例，利用对极约束，对匹配特征点对的有效性进行验证并修正匹配特征点对的坐标，具体包括以下步骤：

31)计算p在I₂中对应的对极线l′，及p′到l′的距离d_l

32)若d_l超过阈值t(本实施例中t取

像素)则认为p和p′匹配错误，将其从特征点对集合中剔除；

33)若d_l小于

像素，则认为p和p′正确匹配，并将p′坐标更新为p′到l′的投影，实现坐标修正；

4)结合对极约束和各向同性的sobel算子，以匹配特征点对p和修正后的p′的坐标为基准进行特征扩展，得到匹配特征区域，具体包括以下步骤：

41)遍历I₁中以p点为中心的5×7邻域内的像素q，利用如图3所示的各向同性sobel算子S_x及S_y，分别算得q点处xy方向梯度和

然后计算 $\▿q=\sqrt{{(\▿q_x)}^2+{(\▿q_y)}^2}$ 作为像素q的邻域梯度，并计算q在I₂中对应的对极线l′_q；

42)计算I₁中pq两点间的距离d_pq，根据两视角间的仿射变换剧烈程度，确定距离变化因子k，本实施例中取k＝2；

43)将l′_q上与p′距离小于2·d_pq的范围作为搜索空间，利用各向同性的sobel算子计算搜索空间内各像素的梯度值，选择梯度值与

最近接的像素q′作为q在I₂中的匹配像素；

44)对I₁中以p点为中心的5×7邻域，按自内向外的顺序逐层扩展，如图4所示，图中每个小方格表示一个像素，对I₁中以p点为中心的邻域先扩展内层浅色区域，再扩展外展深色区域，以邻域内的待扩展像素q₁为例，按照步骤41)-43)所述方法，计算该像素在I₂中的匹配像素q′₁，并保持I₂中的匹配像素q′₁和已扩展匹配像素q′₂之间的相对位置关系，与I₁中的q₁和已扩展像素q₂之间的位置关系一致，实现特征区域扩展，以得到匹配特征区域；

5)利用多视角二维图像，得到待重建物体可视外壳模型，并对可视外壳模型进行离散化操作，得到体素模型；

6)基于graph-cut方法利用得到的匹配特征区域对体素模型进行优化，实现高精度的三维重建，具体包括以下步骤：

61)将体素模型的优化问题，转化为可利用graph-cut方法求解的二值优化问题；

62)计算相邻视角匹配特征区域在空间中对应的体素集合：如图2所示，对特征区域中的匹配特征点对p和p′，可计算得到其在空间中的对应体素V，限制体素V位于待重建物体表面，作为graph-cut求解问题的约束条件，优化体素模型，实现高精度的三维重建。

Claims (3)

1.一种基于多视角二维图像并结合SIFT算法的三维重建方法，其特征在于，包括以下步骤：

1)利用SIFT算法对采集的多视角二维图像进行检测，得到各视角二维图像中的特征点及其特征描述符；

2)根据所述特征描述符，对相邻视角进行特征点匹配操作，得到匹配特征点对；

3)利用对极约束，对所述匹配特征点对的有效性进行验证并修正匹配特征点对的坐标；

4)结合对极约束和各向同性的sobel算子，以所述匹配特征点对坐标为基准进行特征扩展，得到匹配特征区域；

5)利用采集的多视角二维图像，得到待重建物体可视外壳模型，并对可视外壳模型进行离散化操作，得到体素模型；

6)基于graph-cut方法利用所述匹配特征区域对体素模型进行优化，实现三维重建；

所述步骤3)中对匹配特征点对的有效性进行验证并修正匹配特征点对的坐标，具体包括以下步骤：

31)对采集的多视角二维图像中的二维图像I₁和I₂中的匹配特征点对p和p′计算p在I₂中对应的对极线l′，及p′到l′的距离d_l；

32)若d_l超过阈值t，则p和p′匹配错误，将其从特征点对集合中剔除，阈值t取值范围为1-2像素；

33)若d_l小于阈值t，则p和p′正确匹配，并将p′坐标更新为p′到l′的投影，实现坐标修正。

2.如权利要求1所述的方法，其特征在于，所述步骤4)中匹配特征点对坐标为基准进行特征扩展，得到匹配特征区域，具体包括以下步骤：

41)对采集的多视角二维图像中的二维图像I₁和I₂中的特征点对p和p′遍历I₁中以p点为中心的m×n邻域内的像素q，利用各向同性sobel算子，计算q点邻域梯度

，及q在I₂中对应的对极线l′_q，m、n均为正整数；

42)计算I₁中pq两点间的距离d_pq，根据两视角间的仿射变换剧烈程度，确定距离变化因子k，k取值范围为2-3；

43)将l′_q上与p′距离小于k·d_pq的范围作为搜索空间，利用各向同性的sobel算子计算搜索空间内各像素的梯度值，选择梯度值与最近接的像素q′作为q在I₂中的匹配像素；

44)对I₁中以p点为中心的m×n邻域，按自内向外的顺序，按照步骤41)-43)所述方法，计算领域内各像素在I₂中的匹配像素，并保持I₁中的两像素q₁和q₂与I₂中的对应像素q′₁和q′₂之间的相对位置关系一致，实现特征扩展，以得到匹配特征区域。

3.如权利要求1所述的方法，其特征在于，所述步骤6)中利用所述匹配特征区域对体素模型进行优化，具体包括以下步骤：

61)将体素模型的优化问题，转化为可利用graph-cut方法求解的二值优化问题；

62)计算相邻视角匹配特征区域在空间中对应的体素集合，限制这些体素位于待重建物体表面，作为graph-cut求解问题的约束条件，优化体素模型。

Images