CN108876909A - 一种基于多图像拼接的三维重建方法 - Google Patents

Abstract

本发明公开了一种基于多图像拼接的三维重建方法，涉及图像三维重建技术领域，解决的问题是三维模型重建完整度不高的问题，该方法将目标信息进行预处理和匹配，利用RANSAC八点算法求解出不同视图间的基本矩阵，再利用空间坐标公式计算出点空间坐标，最后利用Delaunay三角剖分技术处理点云模型获得目标的三维模型。本发明可满足基于多图像拼接的三维重建的要求，确保重构的完整度。

Description

一种基于多图像拼接的三维重建方法

技术领域

本发明涉及图像三维重建技术领域，尤其涉及一种基于多图像拼接的三维重建方法。

背景技术

随着三维建模技术的发展和应用，三维建模技术在现实生活中越来越迫切需要。当我们处在一个陌生的环境中，对周围的三维空间信息的获知显得尤为重要，如何在一个陌生的三维空间获知其具体信息成为一个新的发展领域，三维重构技术一直是模式识别领域的研究热点和应用热点。

传统的重建技术主要有非接触式三维重建、接触式三维重建、基于图像的三维重建等，其中非接触式三维重建基于主动结构光建模可以提供一定的点云数据，但是相对较少的点云数量不能完全描述被测目标的所有特性；接触性三维重建属于相对较早的三维重建方法，这种方法在一定程度上推动了三维重建方法研究，但是接触性三维重建的重建速度慢，由于需要接触物体表面，因此可能会对物体表面有一定的损害，同时费力费时，因此在实际应用中没有广泛应用：基于图像的三维重建可以重建出完整的三维模型，但由于图像采集的局限性和成像环境的复杂等因素，三维模型的成像倾向于区域空洞或局部信息丢失，重建完整度不高。

发明内容

针对现有技术的不足，本发明所解决的问题是三维模型重建完整度不高的问题。

为解决上述技术问题，本发明采用的技术方案是一种基于多图像拼接的三维重建方法，将目标信息进行预处理和匹配，利用RANSAC八点算法求解出不同视图间的基本矩阵，再利用空间坐标公式计算出点空间坐标，最后利用Delaunay三角剖分技术处理点云模型获得目标的三维模型，包括以下步骤：

(1)利用摄像机从不同角度获取同一目标场景的至少两张图片，图片之间保持有一定角度旋转和位移；

(2)将得到的图像进行预处理，包括对图像噪声滤波；

(3)通过摄像机自标定技术，求解摄像机的内参数：

(4)利用SIFT算法对图像进行特征点检测和描述，对图像得到的特征点对进行匹配；

(5)利用RANSAC八点算法对误匹配点剔除，优化匹配点对；

(6)利用基于SURF算法的图像拼接算法对图像进行拼接融合；

(7)利用空间三维坐标公式，求解出经融合后的图像求取特征点的空间坐标，得到点云模型；

(8)利用Delaunay三角剖分技术处理点云模型，完成对目标场景的重建。

所述步骤(3)中，包括以下分步骤：

1)基于Kruppa方程进行自标定，通过自标定方法获取内参f_x,f_y,u₀,v₀参数，外参数包括旋转变量R和平移变量T；

其中表示等式两边相差一个常数因子，F为基础矩阵，K为内参数，[t]_x表示向量t＝(t_x,t_y,t_z)^T的反对称矩阵；

得

将式(3)代入式(1)中有

F^Te'＝0，存在非零常数λ的情况下，有F＝λ[e']xKRK^-1

进一步可得FK·K^TF^T＝λ[e']_xKR·λR^TK^T[e']_x ^T (4)

其中令C＝K·K^T,s＝λ²，R为正交矩阵，所以R·R^T＝E，

代入上式则有FCF^T＝S[e']_xC[e']^T (5)

若能求出C，即可求出内参K。

令

其中M(c)和m(c)都是关于向量C的线性函数，有两矩阵相等条件可将式(5)等价变换为：

2)建立目标函数方法寻找最优解；

目标函数

3)得出四参数和五参数模型的约束条件分别为：

四参数模型下服从约束：c₂-c₄ ²＞0,c₁(c₂-c₄ ²)-c₃(c₂c₃-c₄c₅)-c₅(c₅-c₃c₄)＞0 (9)

五参数模型下服从约束：

c₁-c₃ ²＞0,c₂-c₄ ²＞0 (10)

再结合目标函数最小值条件即可求出内参矩阵。

所述步骤(5)中，包括以下分步骤：

1)对于基本矩阵F的约束，设x'＝(x',y',1)^T,x＝(x,y,1)，有：

展开后有

x'xf₁₁+y'xf₂₁+xf₃₁+x'yf₁₂+y'yf₂₂+yf₃₂+x'f₁₃+y'f₂₃+f₃₃＝0 (12)

2)把F写成列向量的形式，则有：

[x'x x'y x' y'x y'y y' x y 1]f＝0 (13)

3)若给出n组点的集合，有如下的方程：

由于f的秩是2，则f的自由度为7，所以至少通过7组匹配点可以确定F，当n≥8组匹配点，可根据最小二乘法确定f。

所述步骤(6)中，在图像进行拼接融合时，采用加权平均法对缝合线进行处理；所述加权平均法如下：

其中I₁(X,Y),I₂(X,Y)为待融合的两幅图像，I₁₂(X,Y)为加权融合后的图像；K＝d1/(d1+d2)，其中d1d2分别表示重合区域的点左边界和右边界的距离。

所述步骤(8)中，包括以下分步骤：

1)三维点云生成

假设两幅图像上的一对匹配点m₁(u₁,v₁,1)^T和m₂(u₂,v₂,1)^T，则由二维图像素点与三维点之间的映射关系可得：

m₁＝k₁·P₁·M和m₂＝k₂·P₂·M

其中P1，P2为对应图的投影矩阵，M为空间三维坐标，K1,K2为比例系数；

2)将得到的三维空间点导入OpenGL中，用坐标点的绘制方法重建目标场景的三维图像。

采用本发明的技术方案可满足基于多图像拼接的三维重建的要求，确保重构的完整度。

附图说明

图1为本发明方法流程图；

图2为图像拼接示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明，但不是对本发明的限定。

图1示出了一种基于多图像拼接的三维重建方法，将目标信息进行预处理和匹配，利用RANSAC八点算法求解出不同视图间的基本矩阵，再利用空间坐标公式计算出点空间坐标，最后利用Delaunay三角剖分技术处理点云模型获得目标的三维模型，包括以下步骤：

(1)利用摄像机从不同角度获取同一目标场景的至少两张图片，图片之间保持有一定角度旋转和位移；

(2)将得到的图像进行预处理，包括对图像噪声滤波；

(3)通过摄像机自标定技术，求解摄像机的内参数：

(4)利用SIFT算法对图像进行特征点检测和描述，对图像得到的特征点对进行匹配；

(5)利用RANSAC八点算法对误匹配点剔除，优化匹配点对；

(6)利用基于SURF算法的图像拼接算法对图像进行拼接融合；

(7)利用空间三维坐标公式，求解出经融合后的图像求取特征点的空间坐标，得到点云模型；

(8)利用Delaunay三角剖分技术处理点云模型，完成对目标场景的重建。

所述步骤(3)中，包括以下分步骤：

1)基于Kruppa方程进行自标定，通过自标定方法获取内参f_x,f_y,u₀,v₀参数，外参数包括旋转变量R和平移变量T；

其中表示等式两边相差一个常数因子，F为基础矩阵，K为内参数，[t]_x表示向量t＝(t_x,t_y,t_z)^T的反对称矩阵；

得

将式(3)代入式(1)中有

F^Te'＝0，存在非零常数λ的情况下，有F＝λ[e']xKRK^-1

进一步可得FK·K^TF^T＝λ[e']_xKR·λR^TK^T[e']_x ^T (4)

其中令C＝K·K^T,s＝λ²，R为正交矩阵，所以R·R^T＝E，

代入上式则有FCF^T＝S[e']_xC[e']^T (5)

若能求出C，即可求出内参K。

令

其中M(c)和m(c)都是关于向量C的线性函数，有两矩阵相等条件可将式(5)等价变换为：

2)建立目标函数方法寻找最优解；

目标函数：

3)得出四参数和五参数模型的约束条件分别为：

四参数模型下服从约束：c₂-c₄ ²＞0,c₁(c₂-c₄ ²)-c₃(c₂c₃-c₄c₅)-c₅(c₅-c₃c₄)＞0 (9)

五参数模型下服从约束：c₁-c₃ ²＞0,c₂-c₄ ²＞0 (10)

再结合目标函数最小值条件即可求出内参矩阵。

所述步骤(5)中，包括以下分步骤：

1)对于基本矩阵F的约束，设x'＝(x',y',1)^T,x＝(x,y,1)，有：

展开后有

x'xf₁₁+y'xf₂₁+xf₃₁+x'yf₁₂+y'yf₂₂+yf₃₂+x'f₁₃+y'f₂₃+f₃₃＝0 (12)

2)把F写成列向量的形式，则有：

[x'x x'y x' y'x y'y y' x y 1]f＝0 (13)

3)若给出n组点的集合，有如下的方程：

由于f的秩是2，则f的自由度为7，所以至少通过7组匹配点可以确定F，当n≥8组匹配点，可根据最小二乘法确定f。

所述步骤(6)中，在图像进行拼接融合时，采用加权平均法对缝合线进行处理；所述加权平均法，如图2如下：

其中I₁(X,Y),I₂(X,Y)为待融合的两幅图像，I₁₂(X,Y)为加权融合后的图像；K＝d1/(d1+d2)，其中d1d2分别表示重合区域的点左边界和右边界的距离。

所述步骤(8)中，包括以下分步骤：

1)三维点云生成

假设两幅图像上的一对匹配点m₁(u₁,v₁,1)^T和m₂(u₂,v₂,1)^T，则由二维图像素点与三维点之间的映射关系可得：

m₁＝k₁·P₁·M和m₂＝k₂·P₂·M

其中P1，P2为对应图的投影矩阵，M为空间三维坐标，K1,K2为比例系数；

2)将得到的三维空间点导入OpenGL中，用坐标点的绘制方法重建目标场景的三维图像。

采用本发明的技术方案可满足基于多图像拼接的三维重建的要求，确保重构的完整度。

以上结合附图对本发明的实施方式做出了详细说明，但本发明不局限于所描述的实施方式。对于本领域技术人员而言，在不脱离本发明的原理和精神的情况下，对这些实施方式进行各种变化、修改、替换和变型仍落入本发明的保护范围内。

Claims (6)

1.一种基于多图像拼接的三维重建方法，将目标信息进行预处理和匹配，利用RANSAC八点算法求解出不同视图间的基本矩阵，再利用空间坐标公式计算出点空间坐标，最后利用Delaunay三角剖分技术处理点云模型获得目标的三维模型，其特征在于，包括以下步骤：

(1)利用摄像机从不同角度获取同一目标场景的至少两张图片，图片之间保持有一定角度旋转和位移；

(2)将得到的图像进行预处理，包括对图像噪声滤波；

(3)通过摄像机自标定技术，求解摄像机的内参数：

(4)利用SIFT算法对图像进行特征点检测和描述，对图像得到的特征点对进行匹配；

(5)利用RANSAC八点算法对误匹配点剔除，优化匹配点对；

(6)利用基于SURF算法的图像拼接算法对图像进行拼接融合；

(7)利用空间三维坐标公式，求解出经融合后的图像求取特征点的空间坐标，得到点云模型；

(8)利用Delaunay三角剖分技术处理点云模型，完成对目标场景的重建。

2.根据权利要求1所述的基于多图像拼接的三维重建方法，其特征在于，所述步骤(3)中，包括以下分步骤：

1)基于Kruppa方程进行自标定，通过自标定方法获取内参f_x,f_y,u₀,v₀参数，外参数包括旋转变量R和平移变量T；

其中表示等式两边相差一个常数因子，F为基础矩阵，K为内参数，[t]_x表示向量t＝(t_x,t_y,t_z)^T的反对称矩阵；

得极点

将式(3)代入式(1)中有

F^Te'＝0，存在非零常数λ的情况下，有F＝λ[e']xKRK^-1

进一步可得FK·K^TF^T＝λ[e']_xKR·λR^TK^T[e']_x ^T (4)

其中令C＝K·K^T,s＝λ²，R为正交矩阵，所以R·R^T＝E，

代入上式则有FCF^T＝S[e']_xC[e']^T (5)

若能求出C，即可求出内参K；

其中M(c)和m(c)都是关于向量C的线性函数，有两矩阵相等条件可将式(5)等价变换为：

2)建立目标函数方法寻找最优解；

目标函数

3)得出四参数和五参数模型的约束条件分别为：

四参数模型下服从约束：c₂-c₄ ²＞0,c₁(c₂-c₄ ²)-c₃(c₂c₃-c₄c₅)-c₅(c₅-c₃c₄)＞0 (9)

五参数模型下服从约束：

c₁-c₃ ²＞0,c₂-c₄ ²＞0 (10)

再结合目标函数最小值条件即可求出内参矩阵。

3.根据权利要求1或2所述的基于多图像拼接的三维重建方法，其特征在于，所述步骤(5)中，包括以下分步骤：

1)对于基本矩阵F的约束，设x'＝(x',y',1)^T,x＝(x,y,1)，有：

展开后有

x'xf₁₁+y'xf₂₁+xf₃₁+x'yf₁₂+y'yf₂₂+yf₃₂+x'f₁₃+y'f₂₃+f₃₃＝0 (12)

2)把F写成列向量的形式，则有：

[x'x x'y x' y'x y'y y' x y 1]f＝0 (13)

3)若给出n组点的集合，有如下的方程：

由于f的秩是2，则f的自由度为7，所以至少通过7组匹配点可以确定F，当n≥8组匹配点，可根据最小二乘法确定f。

4.根据权利要求1或2所述的基于多图像拼接的三维重建方法，其特征在于，所述步骤(6)中，在图像进行拼接融合时，采用加权平均法对缝合线进行处理。

5.根据权利要求4所述的基于多图像拼接的三维重建方法，其特征在于，所述加权平均法如下：

其中I₁(X,Y),I₂(X,Y)为待融合的两幅图像，I₁₂(X,Y)为加权融合后的图像；K＝d1/(d1+d2)，其中d1d2分别表示重合区域的点左边界和右边界的距离。

6.根据权利要求1或2所述的基于多图像拼接的三维重建方法，其特征在于，所述步骤(8)中，包括以下分步骤：

1)三维点云生成

假设两幅图像上的一对匹配点m₁(u₁,v₁,1)^T和m₂(u₂,v₂,1)^T，则由二维图像素点与三维点之间的映射关系可得：

m₁＝k₁·P₁·M和m₂＝k₂·P₂·M

其中P1，P2为对应图的投影矩阵，M为空间三维坐标，K1,K2为比例系数；

2)将得到的三维空间点导入OpenGL中，用坐标点的绘制方法重建目标场景的三维图像。