CN109741403A - 一种基于全局线性的相机平移标定方法 - Google Patents

Abstract

本发明涉及一种基于全局线性的相机平移标定方法，属于多视图几何和三维重建技术领域。该方法包括以下步骤：S1：输入相机对之间的本质矩阵构建EG图，将本质矩阵分解得到相对旋转矩阵和相对平移向量；S2：利用基于L1范式的李代数相对旋转平均法对旋转矩阵进行求解，得到相机的绝对旋转矩阵；S3：利用三个相机和一个场景点的约束，求出基线长度的比例，通过L1范式优化得到基线长度；S4：根据求得的旋转矩阵和基线长度，将EG图中的边中的约束等式收集起来利用L1范式求解得到全局坐标系下的相机的位置。本发明避免了共线相机退化的情况，同时降低了噪声的影响，计算简单，不需要额外的其他信息，极大提高了相机位置的精度。

Description

一种基于全局线性的相机平移标定方法

技术领域

本发明属于多视图几何和三维重建技术领域，涉及一种基于全局线性的相机平移标定方法。

背景技术

在计算机视觉中，相比于二维图像，三维模型能给人以更加直观和形象的视觉感受。随着计算机硬件的发展和各种算法的改进，使得三维建模更加容易实现。而三维重建是其中一个应用得比较广的方法，在现实生活中，三维重建在虚拟现实，视频游戏，工业制造的自动化，电影及动画制作，医学图像的复原，文物的保护与恢复等领域都有广泛的应用。运动恢复结构是三维重建的一种常用方法，经过研究者多年的深入研究，其中有些问题基本已经得到很好的解决，例如，相机的标定，相机内参的估计等。但是对于相机的运动参数的估计，特别是相机的平移标定，目前还没有一种公认的很好的解决方法。所以相机的平移标定是目前三维重建中研究的重点。

目前运动恢复结构有很多方法来估计相机的平移标定，主要分为三大类别，分别是增量式、分层式和全局式。增量法首先初始化估计两个相机，然后通过一个一个增加相机，最终估计出场景结构。分层式将图片集分成一个个短的序列来重建，最后将所有的序列融合起来。但是由于增量式和分层式方法容易积累误差，最后造成场景点的漂移的情况，而且这两种方法所需要的时间较长。相对比与增量法和分层法，全局法一次性解出所有相机的运动，所有的误差都分布在整个相机的运动中，场景结构不容易造成漂移现象，而且由于全局法只使用一次束调整，所以运行时间上相对于其他两种方法有很大的提升。但是它的缺点是容易对异常值敏感，造成最后估计的结果不准确。因此需要一种能够在保证相机位置精确的情况下，消除掉较多的异常值，同时降低计算复杂度的方法，进行更快速有效的场景的三维重建。

发明内容

有鉴于此，本发明的目的在于提供一种基于全局线性的相机平移标定的方法，针对现有的平移标定方法随着共线相机退化并且容易受到异常值影响的情况，有效解决现有平移标定方法存在的问题。

为达到上述目的，本发明提供如下技术方案：

一种基于全局线性的相机平移标定方法，使用三张图片共同可见的场景点约束方法对全局相机的位置进行估计，首先利用三张图片之间的特征匹配得到公共特征点，然后利用公共场景点和相机位置的约束关系对相机之间的基线长度经行估计，最后通过全局相机之间存在的平移约束的关系，将相机在全局坐标系中的位置求解出来。所述相机平移标定方法具体包括以下步骤：

S1：输入相机对之间的本质矩阵构建EG图，将本质矩阵分解得到相对旋转矩阵和相对平移向量；

S2：利用基于L1范式的李代数相对旋转平均法对旋转矩阵进行求解，得到相机的绝对旋转矩阵；

S3：利用三个相机和一个场景点的约束，求出基线长度的比例，通过L1范式优化得到基线长度；

S4：根据求得的旋转矩阵和基线长度，将EG图中的边中的约束等式收集起来利用L1范式求解得到全局坐标系下的相机的位置。

进一步，所述步骤S1具体包括以下步骤：

S11：构建EG图，将每张图片看作是一个顶点，如果两张图片之间有本质矩阵的约束，则连接两个顶点，整个EG图是通过顶点和边的关系构建的。

S12：通过奇异值分解(Singular Value Decomposition,SVD)将图片间的本质矩阵分解得到相对旋转矩阵和相对平移向量；其中本质矩阵为：

E_ij＝[t_ij]_×R_ij

其中，t_ij为相对的平移向量，表示第i个相机相对于第j个相机的位置；[t_ij]_×表示对应t_ij内积的斜对称矩阵；R_ij为相对的旋转矩阵，表示第i个相机相对于第j个相机的旋转。

进一步，所述步骤S2中，采用李群和李代数之间的指数和对数映射关系，将所有相机放在同一坐标系下优化，采用L1范式优化结果。

进一步，所述步骤S2中，对于三维旋转群的李群和李代数之间的指数和对数的映射关系为：

[w]_×＝log(R)∈SO(3)

其中R是旋转矩阵，[w]_×是w的偏斜对称形式，其中w＝θn，θ是单位标准轴n的旋转角度。

进一步，所述步骤S2中，对于单个的相对旋转矩阵有对应李代数的一阶近似为w_ij＝w_j-w_i，将EG图中所有边包含的等式收集在一起进行求解：

其中，w_global＝[w₁,...,w_N]^T，是3N*3的矩阵；w_rel＝[w₁₂,...,w_ij]，是3M*3的矩阵；w_i＝logR_i，w_j＝logR_j，A是一个每行只包含-1和1的3M*3N的稀疏矩阵，R_i、R_j表示相机i、j在全局坐标系下的旋转矩阵。

进一步，所述步骤S3中，所述利用三个相机和一个场景点的约束，求出基线长度的为：

其中，是由相机光心指向场景点P的向量，t_ji是相机i，j之间的平移向量，B_ij是相机i，j之间的平移距离,||...||表示模。

进一步，所述步骤S3中，将EG图中所有三角形中的等式收集起来形成一个线性方程系统，进行L1优化如下：

其中，x是log(B_ij)的集合，b是的集合，A是一个稀疏矩阵，为了移除尺度的不确定性，设置匹配最多的一条边作为单位长度，log(B_ij)＝0。

进一步，所述步骤S5中，相机的位置通过下面的线性等式求出：

其中，t_i是向量，表示相机i在全局坐标系下的位置；R_j表示相机j在全局坐标系下的旋转矩阵。

进一步，所述步骤S5中，将EG图中所有的边的等式收集起来，形成一个巨大的线性方程组,通过L1范式优化如下：

其中，x_t和b_t分别是相机的位置t_i和形成的向量，A是一个稀疏矩阵；为了避免尺度的不确定性，第一个相机的位置设置为原点t₀＝0。

本发明的有益效果在于：本发明所述的相机平移标定的方法，在基于多视图几何的基础上，采用全局优化的思路，将所有的相机放在同一坐标系下一起考虑，通过三个相机和一个场景点的约束关系求出基线长度。一旦相机的旋转和基线长度标定之后，相机的平移可以线性等式约束求解出来。本发明的优势是基于三视图估计出平移尺度，避免了共线相机退化的情况，同时噪声的影响较小，计算简单，不需要额外的其他信息，极大提高了相机位置的精度。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明所述的相机平移标定的方法流程图；

图2为有本质矩阵约束的EG图；

图3为三个相机和一个场景点的约束图；

图4为重建结果图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明所述的一种基于全局线性的相机平移标定的方法，基于多视图几何理论，首先输入相机对之间的本质矩阵构成EG图，将本质矩阵分解得到相对旋转矩阵和相对平移向量；然后利用基于L1范式的李代数相对旋转平均法对旋转矩阵进行求解，得到相机的绝对旋转矩阵；接着多视图几何理论中利用三个相机和一个场景点的约束，求出基线长度的比例，通过L1优化得到基线长度；最后根据前两步求得的旋转矩阵和基线长度，将EG图中的所有边的约束等式收集起来利用L1范式优化得到全局坐标系下的相机的位置。如图1所示，本发明所述方法具体包括以下步骤：

步骤1：输入相机对之间的本质矩阵构成EG图，将本质矩阵分解得到相对旋转矩阵和相对平移向量。

步骤101：构建EG图，将每张图片都看作是一个顶点，如果两张图片之间有本质矩阵的约束，则连接两个顶点，整个EG图是通过顶点和边的关系构建的。

步骤102：分解本质矩阵E_ij，得到相对旋转矩阵和相对平移向量。其本质矩阵公式为：

E_ij＝[t_ij]_×R_ij

其中，t_ij为相对的平移向量，表示第i个相机相对于第j个相机的位置；[t_ij]_×表示对应t_ij内积的斜对称矩阵；R_ij为相对的旋转矩阵，表示第i个相机相对于第j个相机的旋转。

利用奇异值分解的原理将本质矩阵E_ij分解为旋转矩阵R_ij和平移向量t_ij，如上述公式所示。但得到四组解，为了筛选出一组正确的解，采用三角测量使得最多的空间点在两相机前面的一组作为最可靠的一组解。如图2所示。

步骤2：利用基于L1范式的李代数相对旋转平均法对旋转矩阵进行求解，得到相机的绝对旋转矩阵。

EG图中有边连接关系的两个顶点之间的旋转关系有因为三维旋转矩阵满足李群和李代数之间的指数和对数的映射关系，可以得到logR_ij＝logR_j-logR_i，为了简化我们可以写为w_ij＝w_j-w_i。将EG图中每条边的满足约束的等式收集起来，形成一个线性系统，再使用L1范式优化如下：

其中，A是一个每行只包含-1和1的3M*3N的稀疏矩阵。其中w_global＝[w₁,...,w_N]^T，是3N*3的矩阵，w_rel＝[w₁₂,...,w_ij]，是3M*3的矩阵。

步骤3：在多视图几何理论中利用三个相机和一个场景点的约束，求出基线长度的比例，通过L1优化得到基线长度。

步骤301：根据相机i，j和场景点P构成的三角形和相机i，k和场景点P构成的三角形，根据三角形的对边和角的关系可以表达为：

其中基线方向和图像射线方向的夹角为α，定义两个图像射线方向的夹角为β，||...||表示模，t_i表示为相机的位置。

正弦和交叉乘积的关系表示为

为了约去两个等式中的公约数||λ_iq_i||，所以可以将基线长度的表达可以表示为：

其中，是由相机光心指向场景点P的向量，t_ji是相机i，j之间的平移向量(单位向量)。B_ij是||t_i-t_j||的简写，表示相机之间的平移距离。如图3所示。

每三个相机中可以得到三个基线长度比例的等式，方法同上面描述的过程。

步骤302：通过基线的比例等式，右边的项是已知的，我们可以用表示，同时将两边同时log化，得到如下等式：

将EG图中所有三角形中的等式收集起来形成一个线性方程系统，进行L1优化如下：

其中x代表log(B_ij)的集合，b是的集合，A是一个稀疏矩阵，每一行只包含-1和1两个非零值。为了移除尺度的不确定性，我们设置匹配最多的一条边作为单位长度，log(B_ij)＝0。

步骤4：最后根据前两步求得的旋转矩阵和基线长度，将EG图中的边中的约束等式收集起来利用L1范式求解得到全局坐标系下的相机的位置。

相机的位置可以通过下面的线性等式求出：

其中，t_i是向量，代表相机在全局坐标系下的位置，B_ij是通过计算出来的相机间的基线长度，R_j表示相机j在全局坐标系下的旋转，t_ij代表相机间的平移方向。

将EG图中所有的边的等式收集起来，形成一个巨大的线性方程组,通过L1范式优化如下：

其中，x_t和b_t分别是相机的位置t_i和形成的向量，A是一个稀疏矩阵，每行只含有两个非零值-1和1；我们将第一个相机的位置设置为原点t₀＝0。

根据上述的一系列步骤估计出每个相机的运动参数，相机的旋转矩阵R_i使用的是L1RA的方法求解，相机的平移标定即估计每个相机的的绝对平移向量t_i，其由图像到相机运动估计如图4所示。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (9)

1.一种基于全局线性的相机平移标定方法，其特征在于，该方法具体包括以下步骤：

S1：输入相机对之间的本质矩阵构建EG图，将本质矩阵分解得到相对旋转矩阵和相对平移向量；

S2：利用基于L1范式的李代数相对旋转平均法对旋转矩阵进行求解，得到相机的绝对旋转矩阵；

S3：利用三个相机和一个场景点的约束，求出基线长度的比例，通过L1范式优化得到基线长度；

S4：根据求得的旋转矩阵和基线长度，将EG图中的边中的约束等式收集起来利用L1范式求解得到全局坐标系下的相机的位置。

2.根据权利要求1所述的基于全局线性的相机平移标定方法，其特征在于，所述步骤S1具体包括以下步骤：

S11：构建EG图，将每张图片看作是一个顶点，如果两张图片之间有本质矩阵的约束，则连接两个顶点，整个EG图是通过顶点和边的关系构建的；

S12：通过奇异值分解(Singular Value Decomposition,SVD)将图片间的本质矩阵分解得到相对旋转矩阵和相对平移向量；其中本质矩阵为：

E_ij＝[t_ij]_×R_ij

其中，t_ij为相对的平移向量，表示第i个相机相对于第j个相机的位置；[t_ij]_×表示对应t_ij内积的斜对称矩阵；R_ij为相对的旋转矩阵，表示第i个相机相对于第j个相机的旋转。

3.根据权利要求1所述的基于全局线性的相机平移标定方法，其特征在于，所述步骤S2中，采用李群和李代数之间的指数和对数映射关系，将所有相机放在同一坐标系下优化，采用L1范式优化结果。

4.根据权利要求3所述的基于全局线性的相机平移标定方法，其特征在于，所述步骤S2中，对于三维旋转群的李群和李代数之间的指数和对数的映射关系为：

R＝e^[w]×∈SO(3)，[w]_×＝log(R)∈SO(3)

其中R是旋转矩阵，[w]_×是w的偏斜对称形式，其中w＝θn，θ是单位标准轴n的旋转角度。

5.根据权利要求4所述的基于全局线性的相机平移标定方法，其特征在于，所述步骤S2中，对于单个的相对旋转矩阵有对应李代数的一阶近似为w_ij＝w_j-w_i，将EG图中所有边包含的等式收集在一起进行求解：

其中，w_global＝[w₁,...,w_N]^T，是3N*3的矩阵；w_rel＝[w₁₂,...,w_ij]，是3M*3的矩阵；w_i＝logR_i，w_j＝logR_j，A是一个每行只包含-1和1的3M*3N的稀疏矩阵，R_i、R_j表示相机i、j在全局坐标系下的旋转矩阵。

6.根据权利要求1所述的基于全局线性的相机平移标定方法，其特征在于，所述步骤S3中，所述利用三个相机和一个场景点的约束，求出基线长度的为：

其中，是由相机光心指向场景点P的向量，t_ji是相机i，j之间的平移向量，B_ij是相机i，j之间的平移距离,||...||表示模。

7.根据权利要求6所述的基于全局线性的相机平移标定方法，其特征在于，所述步骤S3中，将EG图中所有三角形中的等式收集起来形成一个线性方程系统，进行L1优化如下：

其中，x是log(B_ij)的集合，b是的集合，A是一个稀疏矩阵，设置匹配最多的一条边作为单位长度，log(B_ij)＝0。

8.根据权利要求7所述的基于全局线性的相机平移标定方法，其特征在于，所述步骤S5中，相机的位置通过下面的线性等式求出：

其中，t_i是向量，表示相机i在全局坐标系下的位置；R_j表示相机j在全局坐标系下的旋转矩阵。

9.根据权利要求8所述的基于全局线性的相机平移标定方法，其特征在于，所述步骤S5中，将EG图中所有的边的等式收集起来，形成一个巨大的线性方程组,通过L1范式优化如下：

其中，x_t和b_t分别是相机的位置t_i和形成的向量，A是一个稀疏矩阵。