CN110264528B - 一种鱼眼镜头双目像机快速自标定方法 - Google Patents

Abstract

本发明涉及一种鱼眼镜头双目像机快速自标定方法。利用普通三维场景提供的极线约束快速地标定鱼眼镜头双目像机的内参数和外参数。首先鱼眼镜头双目像机对普通三维场景同步拍摄图像，进行特征点提取与匹配。其次利用最少9个图像匹配点对同时求解两个像机的焦距、径向畸变参数和两个像机之间的基本矩阵，确定图像匹配内点集。然后通过像机焦距和基本矩阵分解获得两个像机坐标系之间的旋转平移关系。最后根据RANSAC确定的图像匹配内点集优化双目像机的内参数和外参数。本发明能够在普通三维场景条件下高效率高精度地标定径向畸变严重的鱼眼镜头双目像机，适用于手机和无人机等计算能力有限的设备，具有重要的研究意义和广泛的应用前景。

Description

一种鱼眼镜头双目像机快速自标定方法

技术领域

本发明涉及一种鱼眼镜头双目像机快速自标定方法，具体是一种利用普通三维场景提供的极线约束标定鱼眼镜头双目像机内参数和外参数的方法。

背景技术

双目像机是图像测量应用中常用的结构形式，双目像机能够根据视差原理直接获取目标的三维几何信息，因此广泛应用于视觉测量、三维重建和机器人导航等领域。相比常规镜头，鱼眼镜头具有较大的视场，其成像存在较大的失真，而且越靠近图像的边缘，图像畸变越大。因此在利用鱼眼镜头双目像机进行测量前，必须对其进行高精度标定，标定的精度直接影响着摄像测量的精度。

双目像机自标定不需要已知结构的标定物，仅利用图像匹配点对约束来标定像机的参数。由于自标定方法较为方便和灵活，一直是摄像测量和计算机视觉等领域研究的热点。自标定方法可分为五类：直接求解Kruppa方程的方法、分层逐步标定方法、基于绝对二次曲线的标定方法、可变内参数下的标定方法和基于主动视觉的标定方法。直接求解Kruppa方程的方法根据射影空间中绝对二次曲线的不变性，推导描述多次成像之间约束关系的Kruppa方程，在场景未知条件下通过控制像机进行多次运动来标定像机。但直接求解Kruppa方程存在计算复杂、对噪声敏感等缺点。分层逐步标定方法可分为两步：第一步对图像序列进行射影重建，第二步再对像机参数进行标定。由于采用非线性优化的方法，必须通过预估获得待标定参数的初值，预估初值的精度直接影响着标定结果的精度。基于绝对二次曲线的标定方法根据像机内参数的自身约束推导出关于绝对二次曲线的约束，再求解该约束方程，缺点是存在过度参数化，易受噪声影响。可变内参数下的标定方法是针对某些应用场合中像机内参数存在变化的标定情况，比如利用变焦像机进行图像测量，像机内参数中任意一个参数在标定过程中保持不变的条件下即可求解。基于主动视觉的标定方法是在已知像机运动信息的条件下进行像机标定，例如像机作纯旋转或者纯平移运动，根据这些特殊运动引入的约束来标定像机参数。

传统的自标定方法通常分为两步：第一步不考虑径向畸变，直接采用包含径向畸变的图像匹配点对估计双目像机之间的几何关系，求解像机参数初值，第二步非线性优化中再考虑径向畸变的影响，直接假定径向畸变参数为0，通过图像匹配点对对像机参数初值进行非线性优化。然而非线性优化需要大量的正确图像匹配点对。如果在第一步估计双目像机之间的几何关系时，忽略径向畸变的影响，则可能难以找到足够数量的正确图像匹配点对，从而使第二步非线性优化很可能陷入局部最优。因此，双目像机自标定中，特别是鱼眼镜头双目像机自标定，在搜索正确图像匹配点对的RANSAC阶段就很有必要考虑径向畸变的影响。

发明内容

因此本发明设计适用于鱼眼镜头双目像机自标定的方法，在确定鱼眼镜头双目像机之间几何关系的同时，对双目像机的不同径向畸变参数也进行建模和求解，进而提高鱼眼镜头双目像机标定的精度。本发明不依赖已知结构的标定物和其他特殊的设备，能够在普通三维场景条件下高效率高精度地标定径向畸变严重的鱼眼镜头双目像机，适用于手机和无人机等计算能力有限的设备，具有重要的研究意义和广泛的应用前景。

本发明要解决的技术问题是：利用普通三维场景提供的极线约束高效率高精度地标定鱼眼镜头双目像机。本发明的技术方案是：鱼眼镜头双目像机对普通三维场景同步拍摄图像，利用极线约束快速地求解出双目像机的内参数和外参数，其中内参数包括两个像机的焦距，主点和畸变参数，外参数包括两个像机坐标系之间的旋转矩阵和平移向量。本发明的标定流程如图1所示，首先鱼眼镜头双目像机对普通三维场景同步拍摄图像，进行特征点提取与匹配。其次利用最少9个图像匹配点对同时求解两个像机的焦距、径向畸变参数和两个像机之间的基本矩阵，并结合RANSAC剔除图像匹配点集中的野值，确定图像匹配内点集。然后通过像机焦距和基本矩阵分解获得两个像机坐标系之间的旋转平移关系。最后根据RANSAC确定的图像匹配内点集非线性优化双目像机的内参数和外参数。此外，本发明可采用多个立体图像对进行联合优化标定，得到更加鲁棒和精确的双目像机标定结果。

2基于极线约束的鱼眼镜头双目像机自标定方法

2.1极线约束理论基础

根据对极几何关系，双目像机的图像匹配点对满足以下约束：

其中和/>是三维空间点分别在像机1和像机2中的理想投影图像点齐次坐标，均不包含径向畸变。基本矩阵F由下式给出：

E＝[t]_×R (3)

其中K₁和K₂分别是像机1和2的内参数矩阵，E是本质矩阵，R和t分别是像机1坐标系到像机2坐标系的旋转矩阵和平移向量。假定像机主点在图像中心，且像元为正方形，即像机水平和竖直方向的等效焦距是相等的。因此内参数矩阵K₁和K₂可简化为：

式中F₁和F₂分别表示像机1和像机2的焦距。公式(1)仅适用于满足理想中心投影模型的图像匹配点对。对于鱼眼镜头双目像机，要使公式(1)成立，必须去除实际图像点和中的径向畸变。本方法采用单参数除法径向畸变模型对鱼眼镜头的径向畸变进行建模，具体表示形式如下：

其中和/>分别是像机1和像机2中实际图像点的齐次坐标，均包括一定量的径向畸变。λ₁和λ₂分别表示像机1和像机2的径向畸变参数。

2.2基本矩阵和畸变参数的同时求解

根据最少9个图像匹配点对同时求解基本矩阵F和径向畸变参数λ₁,λ₂。结合公式(1)和(5)，获得实际图像匹配点对之间的约束方程：

其中f_ij是基本矩阵F中第i行第j列的元素，不失一般性，可取f₃₃＝1。扩展公式(6)，可得到以下显式方程：

基本矩阵F自身满足以下约束：

det(F)＝0 (8)

根据公式(7)，9个图像匹配点对可给出9个多项式方程，再结合公式(8)共给出包含10个未知数(f₁₁,f₁₂,f₁₃,f₂₁,f₂₂,f₂₃,f₃₁,f₃₂,λ₁,λ₂)的10个多项式方程。

通过格罗布纳基方法求解多项式方程，在给定9个图像匹配点对的条件下基本矩阵F和径向畸变参数λ₁,λ₂最多有24个解。

2.3等效焦距的求解

双目像机的焦距可以通过基本矩阵和极点之间的约束来确定。假定基本矩阵F的SVD分解为F＝UΣV^T，其中Σ＝diag{a,b,0}，u_i和v_i分别表示矩阵U和V中的第i个列向量。立体图像对中Kruppa方程的表达式为：

Fw₁F^T＝[e′]_×w₂[e′]_× (9)

式中[]_×表示三维列向量的反对称矩阵。e'为像机2中的极点，可表示为矩阵U的第三列u₃。结合基本矩阵F的SVD结果，公式(9)可表示为：

UΣV^Tw₁VΣU^T＝[u₃]_×w₂[u₃]_× (10)

由于矩阵U是正交矩阵，对公式(10)同时左乘U^T和右乘U可得到：

ΣV^Tw₁VΣ＝U^T[u₃]_×w₂[u₃]_×U (11)

扩展上式，可变化为：

根据公式(12)两边左上角2×2的矩阵相等，同时考虑到u_i和v_i均为单位向量，可进一步化简得到：

公式(13)中左右两边的矩阵均为对称矩阵，且在相差一个比例因子的条件下相等，因此矩阵中各元素之间的比值相等，从而推导出以下三个方程：

其中 公式(14)-(16)中最多只有两个方程独立。本方法根据公式(14)和(16)来求解焦距F₁和F₂：

值得注意的是，等效焦距的求解有以下两种退化配置：(1).双目像机的光轴是相交的；(2).过像机1光轴和像机2光心的平面垂直于过像机2光轴和像机1光心的平面。针对这两种退化配置，可以通过像机的配置参数直接估计像机的等效焦距，即根据镜头物理焦距和像元尺寸确定；

至此，通过最少9个图像匹配点对同时求解了两个像机的焦距、两个径向畸变参数和两个像机之间的基本矩阵，并结合RANSAC选取图像匹配内点集。最后选取获得最大内点集合的解作为最终的焦距(F₁,F₂)、径向畸变参数(λ₁,λ₂)和基本矩阵F。

2.4基本矩阵的分解

已知双目像机的焦距和基本矩阵，通过公式(1)和(3)可以计算出双目像机之间的本质矩阵：本质矩阵E可分解为双目像机的外参数：旋转矩阵R和平移向量t。本质矩阵E的SVD分解可表示为：

式中Σ_E＝diag(σ₁,σ₁,0)，u_E3是矩阵U_E中的第3个列向量。本质矩阵E分解为双目像机的外参数R和t时，共存在四种可能性：

其中

根据立体图像对中图像匹配内点集对应的空间点X，必须处于双目像机视线前方这一准则，可以排除公式(19)中的三种可能情况，筛选出唯一合理的双目像机外参数R和t。

2.5像机参数的非线性优化

利用RANSAC确定的图像匹配内点集对双目像机的内参数和外参数进行非线性优化。在优化过程中，两个像机的主点均固定在图像中心，目标函数为最小化图像匹配内点集的极线距离误差：

式中{F₁,F₂,λ₁,λ₂,R,t}是待优化的像机参数，初值设置为通过上述步骤获得的计算值。i表示立体图像对中内点集的索引。和/>分别是内点i在像机1和像机2中的图像坐标。F₁和F₂分别表示像机1和像机2的焦距。λ₁和λ₂分别表示像机1和像机2的径向畸变参数。旋转矩阵R由三个欧拉角表示，平移向量t为三维向量。函数/>计算图像匹配点对/>的极线距离误差，其中{F₁,F₂,λ₁,λ₂}用于去除图像点的径向畸变，{F₁,F₂,R,t}用于合成无畸变图像点对之间的基本矩阵。为减少仍可能存在的野值带来的影响，在优化过程中采用柯西函数对图像匹配内点的极线距离误差进行加权。

2.6多个立体图像对的联合优化

为获得更鲁棒的标定结果，可采用M个立体图像对标定双目像机。每个立体图像对计算出不同的像机参数{F₁,F₂,λ₁,λ₂,R,t}和相应的图像匹配内点集。在联合优化过程中，双目像机之间平移向量t的模设定为1，像机的主点固定在图像中心。通过M个立体图像对中所有的图像匹配内点集对像机参数{F₁,F₂,λ₁,λ₂,R,t}进行优化。联合优化的目标函数为最小化M个立体图像对中所有图像匹配内点集的极线距离误差：

式中是待优化的像机参数。初值设置为M个标定结果的平均值或中值。/>和/>分别表示像机1和像机2的焦距。/>和/>分别表示像机1和像机2的径向畸变参数。/>和/>分别是像机1坐标系到像机2坐标系的旋转矩阵和平移向量。对于每个立体图像对p，N_p表示图像匹配内点集的数量，i表示立体图像对中内点集的索引。/>和/>分别表示每个立体图像对p中内点i在像机1和像机2中的图像坐标。类似于公式(21)，函数用于计算图像匹配点对/>的极线距离误差。在优化过程中仍采用柯西函数对图像匹配内点的极线距离误差进行加权。

本发明的优点在于：

1)本发明利用普通三维场景提供的极线约束标定鱼眼镜头双目像机的内参数和外参数，能够在普通三维场景条件下高效率高精度地标定径向畸变严重的鱼眼镜头双目像机，不依赖已知结构的标定物和其他特殊的设备，简单方便；

2)本发明通过9个以上图像匹配点对同时求解两个像机的焦距、径向畸变参数和两个像机之间的基本矩阵，有效提高RANSAC剔除图像匹配点集中野值的效率，标定速度快；

3)本发明采集多个立体图像对进行联合优化标定，可获得更加鲁棒和精确的双目像机标定结果，标定精度高；确定鱼眼镜头双目像机之间几何关系的同时，对双目像机的不同径向畸变参数也进行建模和求解，进而提高鱼眼镜头双目像机标定的精度，标定精度高；

4)本发明的方法计算量小，适用于手机和无人机等计算能力有限的设备，具有广泛的应用前景。

附图说明

图1基于极线约束的鱼眼镜头双目像机自标定流程图。

具体实施方式

本发明鱼眼镜头双目像机自标定的过程如下:

1)双目像机对普通三维场景拍摄图像，进行特征点提取与匹配；

2)利用最少9个图像匹配点对同时求解两个像机的焦距、径向畸变参数和两个像机之间的基本矩阵，并结合RANSAC剔除图像匹配点集中的野值，确定图像匹配内点集；

3)通过像机焦距和基本矩阵分解获得两个像机坐标系之间的旋转平移关系；

4)根据RANSAC确定的图像匹配内点集优化双目像机的内参数和外参数；

5)通过对多个立体图像对进行联合优化，得到更加鲁棒和精确的双目像机内外参数标定结果。

Claims (1)

1.一种鱼眼镜头双目像机快速自标定方法，在确定鱼眼镜头双目像机之间几何关系的同时，对双目像机的不同径向畸变参数也进行建模和求解，进而提高鱼眼镜头双目像机标定的精度，其特征在于，鱼眼镜头双目像机对普通三维场景同步拍摄图像，利用极线约束求解出双目像机的内参数和外参数，其中内参数包括两个像机的焦距，主点和畸变参数，外参数包括两个像机坐标系之间的旋转矩阵和平移向量，具体过程为：

步骤1、双目像机对普通三维场景拍摄图像，进行特征点提取与匹配；

步骤2、利用最少9个图像匹配点对同时求解两个像机的焦距、径向畸变参数和两个像机之间的基本矩阵，并结合RANSAC剔除图像匹配点集中的野值，确定图像匹配内点集；

步骤3、通过像机焦距和基本矩阵分解获得两个像机坐标系之间的旋转平移关系；

步骤4、根据RANSAC确定的图像匹配内点集非线性优化双目像机的内参数和外参数；

步骤5、通过对多个立体图像对进行联合优化，得到精确的双目像机内外参数标定结果；

所述特征点提取与匹配具体为：

根据对极几何关系，双目像机的图像匹配点对满足以下约束：

其中和/>是三维空间点分别在像机1和像机2中的理想投影图像点齐次坐标，均不包含径向畸变，基本矩阵F由下式给出：

E＝[t]_×R (3)

其中K₁和K₂分别是像机1和2的内参数矩阵，E是本质矩阵，R和t分别是像机1坐标系到像机2坐标系的旋转矩阵和平移向量，[]_×表示三维列向量的反对称矩阵；

设像机主点在图像中心，且像元为正方形，即像机水平和竖直方向的等效焦距是相等的，内参数矩阵K₁和K₂简化为：

式中F₁和F₂分别表示像机1和像机2的焦距，公式(1)仅适用于满足理想中心投影模型的图像匹配点对，对于鱼眼镜头双目像机，要使公式(1)成立，必须去除实际图像点和/>中的径向畸变，采用单参数除法径向畸变模型对鱼眼镜头的径向畸变进行建模，具体表示形式如下：

其中和/>分别是像机1和像机2中实际图像点的齐次坐标，均包括一定量的径向畸变，λ₁和λ₂分别表示像机1和像机2的径向畸变参数；

所述基本矩阵和畸变参数的求解具体为：

根据最少9个图像匹配点对同时求解基本矩阵F和径向畸变参数λ₁,λ₂，结合公式(1)和(5)，获得实际图像匹配点对之间的约束方程：

其中f_ij是基本矩阵F中第i行第j列的元素，取f₃₃＝1，扩展公式(6)，得到以下显式方程：

基本矩阵F自身满足以下约束：

det(F)＝0 (8)

根据公式(7)，9个图像匹配点对给出9个多项式方程，再结合公式(8)共给出包含10个未知数f₁₁,f₁₂,f₁₃,f₂₁,f₂₂,f₂₃,f₃₁,f₃₂,λ₁,λ₂的10个多项式方程，求解多项式方程，在给定9个图像匹配点对的条件下基本矩阵F和径向畸变参数λ₁,λ₂最多有24个解；

所述等效焦距的求解，具体为：

双目像机的焦距通过基本矩阵和极点之间的约束来确定，设基本矩阵F的SVD分解为F＝UΣV^T，其中Σ＝diag{a,b,0}，u_i和v_i分别表示矩阵U和V中的第i个列向量，立体图像对中Kruppa方程的表达式为：

Fw₁F^T＝[e′]_×w₂[e′]_× (9)

式中w₁＝K₁K₁ ^T＝diag(F₁ ²,F₁ ²,1)，w₂＝K₂K₂ ^T＝diag(F₂ ²,F₂ ²,1)，[]_×表示三维列向量的反对称矩阵，e'为像机2中的极点，表示为矩阵U的第三列u₃，结合基本矩阵F的SVD结果，公式(9)表示为：

UΣV^Tw₁VΣU^T＝[u₃]_×w₂[u₃]_× (10)

由于矩阵U是正交矩阵，对公式(10)同时左乘U^T和右乘U得到：

ΣV^Tw₁VΣ＝U^T[u₃]_×w₂[u₃]_×U (11)

扩展上式，变化为：

根据公式(12)两边左上角2×2的矩阵相等，同时考虑到u_i和v_i均为单位向量，进一步化简得到：

公式(13)中左右两边的矩阵均为对称矩阵，且在相差一个比例因子的条件下相等，因此矩阵中各元素之间的比值相等，从而推导出以下三个方程：

c₁(1-F₁ ²)(1-F₂ ²)-a²u₃₁u₃₂(1-F₂ ²)-abv₃₁v₃₂(1-F₁ ²)＝0 (14)

c₂(1-F₁ ²)(1-F₂ ²)-b²u₃₁u₃₂(1-F₂ ²)-abv₃₁v₃₂(1-F₁ ²)＝0 (15)

其中 公式(14)-(16)中最多只有两个方程独立，根据公式(14)和(16)来求解焦距F₁和F₂：

至此，通过最少9个图像匹配点对同时求解了两个像机的焦距、两个径向畸变参数和两个像机之间的基本矩阵，并结合RANSAC选取图像匹配内点集，最后选取获得最大内点集合的解作为最终的焦距(F₁,F₂)、径向畸变参数(λ₁,λ₂)和基本矩阵F；所述基本矩阵的分解具体为：

已知双目像机的焦距和基本矩阵，通过公式(1)和(3)计算出双目像机之间的本质矩阵：本质矩阵E解为双目像机的外参数：旋转矩阵R和平移向量t，本质矩阵E的SVD分解可表示为：

式中Σ_E＝diag(σ₁,σ₁,0)，u_E3是矩阵U_E中的第3个列向量，本质矩阵E分解为双目像机的外参数R和t时，共存在四种可能性：

其中

根据立体图像对中图像匹配内点集对应的空间点X，必须处于双目像机视线前方这一准则，可以排除公式(19)中的三种可能情况，筛选出唯一合理的双目像机外参数R和t；所述像机参数的非线性优化，具体为：

利用RANSAC确定的图像匹配内点集对双目像机的内参数和外参数进行非线性优化，在优化过程中，两个像机的主点均固定在图像中心，目标函数为最小化图像匹配内点集的极线距离误差：

式中{F₁,F₂,λ₁,λ₂,R,t}是待优化的像机参数，初值设置为通过上述步骤获得的计算值，i表示立体图像对中内点集的索引，和/>分别是内点i在像机1和像机2中的实际图像点的齐次坐标，F₁和F₂分别表示像机1和像机2的焦距，λ₁和λ₂分别表示像机1和像机2的径向畸变参数，旋转矩阵R由三个欧拉角表示，平移向量t为三维向量，

函数计算图像匹配点对/>的极线距离误差，其中{F₁,F₂,λ₁,λ₂}用于去除图像点的径向畸变，{F₁,F₂,R,t}用于合成无畸变图像点对之间的基本矩阵，为减少仍可能存在的野值带来的影响，在优化过程中采用柯西函数对图像匹配内点的极线距离误差进行加权；

所述多个立体图像对的联合优化，具体为：

为获得更鲁棒的标定结果，采用M个立体图像对标定双目像机，每个立体图像对计算出不同的像机参数{F₁,F₂,λ₁,λ₂,R,t}和相应的图像匹配内点集，在联合优化过程中，双目像机之间平移向量t的模设定为1，像机的主点固定在图像中心，通过M个立体图像对中所有的图像匹配内点集对像机参数进行优化，联合优化的目标函数为最小化M个立体图像对中所有图像匹配内点集的极线距离误差：

式中是待优化的像机参数，初值设置为M个标定结果的平均值或中值，和/>分别表示像机1和像机2的焦距，/>和/>分别表示像机1和像机2的径向畸变参数，/>和/>分别是像机1坐标系到像机2坐标系的旋转矩阵和平移向量，对于每个立体图像对p，N_p表示图像匹配内点集的数量，i表示立体图像对中内点集的索引，/>和/>分别表示每个立体图像对p中内点i在像机1和像机2中的实际图像点的齐次坐标，函数

用于计算图像匹配点对/>的极线距离误差。