CN109785393A - 一种基于平面运动约束的相机自标定方法 - Google Patents

Abstract

本发明公开了一种基于平面运动约束的相机自标定方法，步骤包括：1)提取拍摄的平面图像对，让同一个固定内参数的相机，对着某个固定平面改变不同姿态的变化，拍摄n个图像对，此处要求姿态不同是指平面的法向量在相机坐标系的方位须不同；2)计算各图像对的单应变换矩阵H_k；3)求解单应变换矩阵H_k的复特征向量，对n个单应变换矩阵H_k进行特征值分解，得到n对复共轭特征向量；4)构造求解绝对二次曲线的像的线性方程组；5)求解绝对二次曲线的像W，6)求解得到相机内参数。本发明的方法简便灵活，结果可靠。

Description

一种基于平面运动约束的相机自标定方法

技术领域

本发明属于计算机视觉中的视觉导航与三维重构技术领域，涉及一种基于平面运动约束的相机自标定方法。

背景技术

相机标定是从二维图像获取三维空间信息必不可少的步骤，被广泛应用于三维重构、机器人导航与测距、即时定位与地图构建(SLAM)等领域。目前已有的相机标定技术包括标定物标定方法和自标定方法，标定物标定方法需要结构已知、加工精度很高的标定物作为参照物，另外，通过标定物上已知三维坐标的点与其图像点之间的对应关系来构建关于相机模型参数的约束。一旦相机变焦或参数改变，就需要重新利用标定物进行离线标定。而现有的相机自标定技术的精度和鲁棒性较差，难以满足实际需要。

相机自标定方法直接利用拍摄同一场景的多幅图像进行在线标定，现有的基于Kruppa方程和分层三维重构的自标定方法往往需要解一个非线性方程组或解一个相应的非线性规划问题，这些方法精度和鲁棒性较差，且对初值的选取十分敏感。因此，其实际应用受到了极大的限制。

发明内容

本发明的目的是提供一种基于平面运动约束的相机自标定方法，解决了现有技术在一些应用场合无法使用标定物，但难以求解相机内参数的问题。

本发明所采用的技术方案是，一种基于平面运动约束的相机自标定方法，按照以下步骤实施：

步骤1、提取拍摄的平面图像对，

让同一个固定内参数的相机，对着某个固定平面改变不同姿态的变化，拍摄n个图像对，此处要求姿态不同是指平面的法向量在相机坐标系的方位须不同；

步骤2、计算各图像对(Ia_k,Ib_k)，k＝1,2,...,n的单应变换矩阵H_k；

步骤3、求解单应变换矩阵H_k的复特征向量；

对n个单应变换矩阵H_k，k＝1,2,...,n进行特征值分解，得到n对复共轭特征向量r_k±i·s_k，k＝1,2,...,n；

步骤4、构造求解绝对二次曲线的像的线性方程组；

步骤5、求解绝对二次曲线的像W；

步骤6、求解得到相机内参数。

本发明的有益效果是，让同一相机在某个平面上作两次以上不同的姿态平面运动，每次平面运动前后采集该平面的两幅图像，计算它们的单应变换矩阵，并对其进行特征值分解，所得到的复特征向量即为一对复共轭圆环点的像。通过不同平面运动得到的圆环点的像就能拟合出绝对二次曲线的像，最后通过Cholesky分解绝对二次曲线的像，计算出相机内参数。

本方法适用于不便于使用标定物进行离线标定但能对相机实施平面运动的场合。当智能机器人以不同姿态在地平面进行平移和旋转时，就可以采用本文方法对其携带的相机进行自标定，进而为其后续的导航和测距等任务奠定基础。本方法是一种在线的、简便灵活的标定方法，并且是一种线性计算方法，无需任何优化过程。

附图说明

图1是本发明方法中的相机内参数均方误差与平面运动次数的关系，其中，图1a是f_v和f_v的均方误差与平面运动次数的关系；图1b是u₀和v₀的均方误差与平面运动次数的关系；

图2是本发明方法在不同平面运动前后采集的图像对及其对应点集，其中，图2a是平面运动1前后采集的图像I_a1和图像I_b1；图2b是平面运动2前后采集的图像I_a2和图像I_b2。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的基于平面运动约束的相机自标定方法，按照以下步骤实施：

步骤1、提取拍摄的平面图像对；

让同一个固定内参数的相机，对着某个固定平面(如地平面)改变不同姿态的变化，拍摄n个图像对，此处要求姿态不同是指平面的法向量在相机坐标系的方位须不同；

参照图2a、图2b，在相机拍摄时，调整一次仰俯角度和翻转角度，采集地平面的一幅图像Ia_k，然后保持相机姿态不变，在平面上平移和旋转后采集第二幅图像Ib_k，得到图像对(Ia_k,Ib_k)，如此重复以上过程n次，得到n对关于某个平面(如地平面)的图像对(Ia_k,Ib_k)，k＝1,2,...,n，其中n＞2；

步骤2、计算各图像对(Ia_k,Ib_k)，k＝1,2,...,n的单应变换矩阵H_k；

2.1)采用SURF算法(现有技术)获取图像对(Ia_k,Ib_k)的初始匹配点集；

2.2)使用RANSAC鲁棒估计基础矩阵算法(现有技术)，在估计基础矩阵的过程中剔除大部分外点，使筛选出的匹配点集尽可能满足极几何约束条件；

2.3)在经过筛选后的匹配点集上再次使用RANSAC鲁棒估计基础矩阵算法以及归一化的DLT算法(现有技术)剔除剩余的外点，精确求解图像对(Ia_k,Ib_k)的单应变换矩阵H_k；

步骤3、求解单应变换矩阵H_k的复特征向量；

对n个单应变换H_k，k＝1,2,...,n进行特征值分解，得到n对复共轭特征向量r_k±i·s_k，k＝1,2,...,n；

步骤4、构造求解绝对二次曲线的像的线性方程组；

对步骤3得到的每对复共轭特征向量r_k±i·s_k，k＝1,2,...,n，恰好都是平面的圆环点的像，所以必定位于绝对二次曲线的像W＝K^-T·K^-1上，即：

(r_k±i·s_k)^T·K^-T·K^-1·(r_k±i·s_k)＝0 (1)

公式(1)的等式左边是复数，而等式右边为0，则左式的实部、虚部都为0，则有：

以上K是摄像机的内参矩阵，表达式如下：

其中，四个参数f_u，f_v，u₀，v₀是本发明方法要计算获得的摄像机参数；

因为W＝K^-T·K^-1是对称矩阵，将式(3)代入后变为：

将式(4)中对称矩阵W的5个不同元素分别记作q₃＝-f_v ²·u₀，q₄＝-f_u ²·v₀，q₅＝f_u ²·f_v ²+f_u ²·v₀ ²+f_v ²·u₀ ²，则W改写为：

因为单应变换矩阵H_k，k＝1,2,...,n是3×3的矩阵，所以计算得到的共轭特征向量r_k±i·s_k，k＝1,2,...,n也是3维的，记r_k＝[r_1k,r_2k,r_3k]^T，s_k＝[s_1k,s_2k,s_3k]^T，k＝1,2,...,n，将其代入式(2)并展开得到方程组(6)：

将q₁,q₂,q₃,q₄,q₅这五个元素写成一个向量q，即：

q＝[q₁q₂q₃q₄q₅]^T (7)

将方程组(6)中的系数矩阵记作V，则方程组(6)简写为：

Vq＝0 (8)

其中，V是(2n)×5的矩阵，V对的元素为：

V_j1＝r_1j·s_1j，j＝1,2,...,n (9)

V_j2＝r_2j·s₂，_j j＝1,2,...,n (10)

V_j3＝r_3j·s_1j+r_1j·s，_3jj＝1,2,...,n (11)

V_j4＝r_3j·s_2j+r_2j·s_3j，j＝1,2,...,n (12)

V_j5＝r_3j·s_3j，j＝1,2,...,n (13)

V_j3＝2(r_1j·r_3j-s_1j·s_3j)，j＝n+1,...,2n (16)

V_j4＝2(r_2j·r_3j-s_2j·s_3j)，j＝n+1,...,2n (17)

又因为f_u与f_v近似相等，根据q₁和q₂的定义推出方程q₁-q₂＝0，即：

[1 -1 0]·q＝0 (19)

联立式(19)和式(8)，这样关于q的线性方程共有(2n+1)个，相应地，式(8)中的V变为(2n+1)×5的矩阵，其第(2n+1)行是[1 -1 0 0 0]；

步骤5、求解绝对二次曲线的像W，

当n＞2时，式(8)给出的线性方程组是超定方程组，采用最小二乘方法对其进行求解，其最小二乘解是V^TV的最小特征值对应的特征向量，则直接对V进行奇异值(SVD)分解求解出其解q，代入式(5)，得到绝对二次曲线的像W；

步骤6、求解得到相机内参数；

对W进行Cholesky分解求解出对求逆得到矩阵，由于矩阵与公式(3)的相机内参数矩阵K相差一个比例因子，故将的所有元素除以使变成1，则有：

对比式(3)和式(20)，可计算出相机的内参数分别为：

f_v和f_v的均方误差与平面运动次数的关系见图1a；u₀和v₀的均方误差与平面运动次数的关系见图1b。

Claims (6)

1.一种基于平面运动约束的相机自标定方法，其特征在于，按照以下步骤实施：

步骤1、提取拍摄的平面图像对；

让同一个固定内参数的相机，对着某个固定平面改变不同姿态的变化，拍摄n个图像对，此处要求姿态不同是指平面的法向量在相机坐标系的方位须不同；

步骤2、计算各图像对(Ia_k,Ib_k)，k＝1,2,...,n的单应变换矩阵H_k；

步骤3、求解单应变换矩阵H_k的复特征向量；

对n个单应变换矩阵H_k，k＝1,2,...,n进行特征值分解，得到n对复共轭特征向量r_k±i·s_k，k＝1,2,...,n；

步骤4、构造求解绝对二次曲线的像的线性方程组；

步骤5、求解绝对二次曲线的像W；

步骤6、求解得到相机内参数。

2.根据权利要求1所述的基于平面运动约束的相机自标定方法，其特征在于：所述的步骤1中，具体过程是，

在相机拍摄时，调整一次仰俯角度和翻转角度，采集地平面的一幅图像Ia₁，然后保持相机姿态不变，在平面上平移和旋转后采集第二幅图像Ib₁，得到第一对图像对(Ia₁,Ib₁)；

如此重复以上过程n次，得到n对关于某个平面的图像对(Ia_k,Ib_k)，k＝1,2,...,n，其中n＞2。

3.根据权利要求2所述的基于平面运动约束的相机自标定方法，其特征在于：所述的步骤2中，具体过程是，

2.1)采用SURF算法获取图像对(Ia_k,Ib_k)的初始匹配点集；

2.2)使用RANSAC算法估计基础矩阵，在估计基础矩阵的过程中剔除大部分外点，使筛选出的匹配点集尽可能满足极几何约束条件；

2.3)在经过筛选后的匹配点集上再次使用RANSAC算法以及归一化的DLT算法剔除剩余的外点，并精确求解图像对(Ia_k,Ib_k)的单应变换矩阵H_k。

4.根据权利要求3所述的基于平面运动约束的相机自标定方法，其特征在于：所述的步骤4中，具体过程是，

对步骤3得到的每对复共轭特征向量r_k±i·s_k，k＝1,2,...,n，恰好都是平面的圆环点的像，所以必定位于绝对二次曲线的像W＝K^-T·K^-1上，即：

(r_k±i·s_k)^T·K^-T·K^-1·(r_k±i·s_k)＝0 (1)

式(1)的等式左边是复数，而等式右边为0，则等式左边的实部、虚部都为0，则有：

其中，K是摄像机的内参矩阵，表达式如下：

其中，四个参数f_u，f_v，u₀，v₀即为要计算获得的摄像机参数；

因为W＝K^-T·K^-1是对称矩阵，将式(3)代入后变为：

将式(4)中对称矩阵W的5个不同元素分别记作q₃＝-f_v ²·u₀，q₄＝-f_u ²·v₀，q₅＝f_u ²·f_v ²+f_u ²·v₀ ²+f_v ²·u₀ ²，则W改写为式(5)：

因为单应变换矩阵H_k，k＝1,2,...,n是3×3的矩阵，所以计算得到的共轭特征向量r_k±i·s_k，k＝1,2,...,n也为3维，记为r_k＝[r_1k,r_2k,r_3k]^T，s_k＝[s_1k,s_2k,s_3k]^T，k＝1,2,...,n，将其代入式(2)并展开得到方程组(6)：

将q₁,q₂,q₃,q₄,q₅这五个元素写成一个向量q，即：

q＝[q₁ q₂ q₃ q₄ q₅]^T (7)

将方程组(6)中的系数矩阵记作V，则方程组(6)改写为：

Vq＝0 (8)

其中，V是(2n)×5的矩阵，V对的元素分别如下：

V_j1＝r_1j·s_1j，j＝1,2,...,n (9)

V_j2＝r_2j·s_2j，j＝1,2,...,n (10)

V_j3＝r_3j·s_1j+r_1j·s_3j，j＝1,2,...,n (11)

V_j4＝r_3j·s_2j+r_2j·s_3j，j＝1,2,...,n (12)

V_j5＝r_3j·s_3j，j＝1,2,...,n (13)

V_j3＝2(r_1j·r_3j-s_1j·s_3j)，j＝n+1,...,2n (16)

V_j4＝2(r_2j·r_3j-s_2j·s_3j)，j＝n+1,...,2n (17)

因为f_u与f_v近似相等，根据q₁和q₂的定义推出方程q₁-q₂＝0，即：

[1 -1 0 0 0]·q＝0 (19)

联立式(19)和式(8)，这样关于q的线性方程共有(2n+1)个，相应地，式(8)中的V变为(2n+1)×5的矩阵，其第(2n+1)行是[1 -1 0 0 0]。

5.根据权利要求4所述的基于平面运动约束的相机自标定方法，其特征在于：所述的步骤5中，具体过程是，

当n＞2时，式(8)中的线性方程组是超定方程组，采用最小二乘方法进行求解，最小二乘解是V^TV的最小特征值对应的特征向量，则直接对V进行奇异值分解求解出其解q，代入式(5)，得到绝对二次曲线的像W。

6.根据权利要求5所述的基于平面运动约束的相机自标定方法，其特征在于：所述的步骤6中，具体过程是，

对W进行Cholesky分解求解出再对求逆得到矩阵由于矩阵与式(3)的相机内参数矩阵K相差一个比例因子，故将的所有元素除以使变成1，则有：

对比式(3)和式(20)，最终计算出相机的内参数分别为：