CN104392435A - 鱼眼相机标定方法及标定装置 - Google Patents

Abstract

本发明公开了一种鱼眼相机标定方法及标定装置，包括：建立所述鱼眼相机的成像模型；从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；最小化所述RMS重投影误差，优化内参和外参。由上述内容可知，本发明提供的技术方案无需特殊的标定设备，能够适用于大多数鱼眼相机，提高了标定方法的适用性和标定结果精准度。

Description

鱼眼相机标定方法及标定装置

技术领域

本发明涉及鱼眼相机技术领域，更为具体的说，涉及一种鱼眼相机标定方法及标定装置。

背景技术

近年来，由于鱼眼相机能够提供180度的视野摄像范围，在诸多领域得到了广泛应用，例如，在机器人导航、三维建模、行车安全等领域。但是，鱼眼相机提供大角度视野摄像范围的同时，伴随而来的是图像的鱼眼畸变，因此，鱼眼相机的应用往往需要设定鱼眼相机的精准参数，即需要进行标定。而鱼眼相机标定结果的精度直接影响其衍生产品的精准度，因此，标定技术得到了广泛关注。但是，采用现有标定技术受限于相机类型和特殊标定设备的要求，适用性低；或者受限于标定计算模型，标定结果精准度差。

发明内容

有鉴于此，本发明提供了一种鱼眼相机标定方法及标定装置，无需特殊标定设备，适用于大部分的鱼眼相机，提高了其适用性和标定结果精准度。

为实现上述目的，本发明提供的技术方案如下：

一种鱼眼相机标定方法，包括：

建立所述鱼眼相机的成像模型；

从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；

以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；

最小化所述RMS重投影误差，优化内参和外参。

优选的，所述最小化所述RMS重投影误差，优化内参和外参包括：

以LM算法最小化所述RMS重投影误差，优化内参和外参。

优选的，所述建立所述鱼眼相机的成像模型包括：

获取空间中任意一景点在世界坐标系中的齐次坐标为X，在传感器平面中的投影为u″′＝[u″′，v″′]^T，在规范化平面中的投影为u″＝[u″，v″]^T，以及，在成像平面中的投影为u′＝[u′，v′]^T，其中，所述u″与u′关系式为：

$u^{\′\′}=K\left(u^{\′}\right)={(u^{\′},v^{\′}\·R_{\mathrm{PAR}})}^T={(u^{\′},v^{\′}\·\frac{R_{\mathrm{DAR}}}{R_{\mathrm{SAR}}})}^T$

或者为：

$u^{\′\′}=K\left(u^{\′}\right)={(u^{\′}\·\frac{1}{R_{\mathrm{PAR}}},v^{\′})}^T={(u^{\′}\·\frac{R_{\mathrm{SAR}}}{R_{\mathrm{DAR}}},v^{\′})}^T$

其中，R_SAR＝R_DAR/R_PAR，R_PAR为像素宽高比，R_DAR为显示宽高比，R_SAR为存储宽高比；

所述u″′与所述u″关系式为：

$u^{\′\′\′}={\mathrm{Au}}^{\′\′}+T=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]\·u^{\′\′}+\left[\begin{array}{c}{T}_u\\ T_v\end{array}\right]$

其中，A和T为所述内参中相机制造偏差的参数；

以及，所述鱼眼相机的成像模型为：

λ·p＝λ·g(u″′)＝λ·g(Au″+T)＝λ·g(A·K(u′)+T)＝P·X

其中，λ＞0；p为所述鱼眼相机的视点至所述景点的向量，P为世界坐标系与相机坐标系的透视矩阵；g为成像函数，且表示为g(u″′，v″′)＝(u″′，v″′，f(ρ″′))^T，f(ρ″′)为所述鱼眼相机畸变函数，f(ρ″′)＝a₀+a₁ρ″′+a₂(ρ″′)²+…a_N(ρ″′)^N，以及，所述鱼眼相机成像模型中的A，T，a₀，a₂，...，a_N均为所述内参，P为所述外参。

优选的，所述参考所述标定板图像的格式调整所述特征点的坐标包括：

根据所述标定板图像的格式，确定所述标定板图像的显示宽高比；根据所述标定板图像的格式的宽高，计算所述标定板图像的存储宽高比；以及，根据公式所述R_SAR＝R_DAR/R_PAR，计算所述标定板图像的像素宽高比；

根所述标定板图像的显示宽高比、存储宽高比、像素宽高比、所述特征点对应成像平面的坐标和所述u″与u′关系式，计算所述特征点对应所述规范化平面的坐标。

优选的，所述以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值包括：

S31、初始化所述内参A为单位阵，对所述内参T设定搜索区间范围，并对所述搜索区间范围网格化得到多个网格点；

S32、根据所述内参A、所述网格点对应的内参T、所述特征点对应所述规范化平面的坐标和所述u″′与所述u″关系式，计算所述特征点对应所述传感器平面的坐标，以及，计算所述网格点对应的RMS重投影误差；

S33、以当前计算出的最小的RMS重投影误差所对应的网格点为中心，重新设定所述搜索区间范围，并按相应比例更新网格化的所述搜索区间范围的网格大小；

S34、重复所述步骤S32至步骤S33，直至所述搜索区间范围缩小到预设精度要求，则确定对应RMS重投影误差最小的网格点所对应的内参T为所述标定板图像的畸变中心偏移的初值T_init。

优选的，所述对所述搜索区间范围网格化得到多个网格点为：

对所述搜索区间范围网格化为矩形网格得到m*n个网格点，且每个网格的尺寸相同，m和n均为不小于2的整数。

优选的，对所述搜索区间范围网格化为矩形网格得到7*7个网格点，且每个网格的尺寸相同。

优选的，所述以LM算法最小化所述RMS重投影误差，优化内参和外参包括：

设定LM算法的优化参数为所述内参A和内参T，其中，设定所述内参A的优化初始值为单位阵，所述内参T的优化初始值为所述畸变中心偏移的初值T_init；

执行所述LM算法最小化所述RMS重投影误差，得到优化后的所述内参，并参考所述鱼眼相机的成像模型，得到优化后的外参。

一种鱼眼相机标定装置，包括：

鱼眼成像建立模块，用于建立所述鱼眼相机的成像模型；

处理模块，用于从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；

计算模块，用于以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；

优化模块，用于最小化所述RMS重投影误差，优化内参和外参。

优选的，所述优化模块以LM算法最小化所述RMS重投影误差，优化内参和外参。

相较于现有技术，本发明提供的技术方案至少具体以下优点：

本发明提供的一种鱼眼相机标定方法及标定装置，包括：建立所述鱼眼相机的成像模型；从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；最小化所述RMS重投影误差，优化内参和外参。由上述内容可知，本发明提供的技术方案无需特殊的标定设备，能够适用于大多数鱼眼相机，提高了标定方法的适用性和标定结果精准度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种鱼眼相机标定方法的流程图；

图2为本申请实施例提供的一种反射折射鱼眼相机的成像模型示意图；

图3为本申请实施例提供的一种计算标定板图像的畸变中心偏移的初值的流程图；

图4为本申请实施例提供的一种鱼眼相机标定装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

正如背景技术所述，鱼眼相机的应用往往需要设定鱼眼相机的精准参数，即需要进行标定。而鱼眼相机标定结果的精度＝直接影响其衍生产品的精准度，因此，标定技术得到了广泛关注。但是，采用现有标定技术受限于相机类型和特殊标定设备的要求，适用性低；或者受限于标定计算模型，标定结果精准度差。

基于此，本申请实施例提供了一种鱼眼相机标定方法，结合图1～3所示，对本申请实施例提供的鱼眼相机标定方法进行详细的说明。

参考图1所述，为本申请实施例提供的一种鱼眼相机标定方法的流程图，其中，方法包括：

S1、建立鱼眼相机的成像模型；

S2、从不同视角采集多幅标定板图像，在标定板图像上获取特征点的坐标，参考标定板图像的格式调整特征点的坐标，并根据标定板图像中特征点的预设规律，确定特征点的世界坐标；

S3、以RMS(root of mean squared distances reprojection error,重投影均方根误差)重投影误差为评估值，计算标定板图像的畸变中心偏移的初值；

S4、最小化RMS重投影误差，优化内参和外参。

其中，本申请实施例优选的，最小化RMS重投影误差，优化内参和外参包括：

以LM(Levenberg-Marquardt)算法最小化RMS重投影误差，优化内参和外参。

由上述内容可知，本申请实施例提供的关于鱼眼相机标定方法的技术方案，在标定过程中无需特殊的标定设备，能够适用于大多数鱼眼相机，提高了标定方法的适用性和标定结果精准度。

其中，对于本申请实施例提供的步骤S1，即建立鱼眼相机的成像模型包括：

获取空间中任意一景点D的在世界坐标系中的齐次坐标为X，在传感器平面中的投影为u″′＝[u″′，v″′]^T，在规范化平面中的投影为u″＝[u″，v″]^T，以及，在成像平面中的投影为u′＝[u′，v′]^T，其中，u″与u′关系式为：

$u^{\′\′}=K\left(u^{\′}\right)={(u^{\′},v^{\′}\·R_{\mathrm{PAR}})}^T={(u^{\′},v^{\′}\·\frac{R_{\mathrm{DAR}}}{R_{\mathrm{SAR}}})}^T$

或者为：

$u^{\′\′}=K\left(u^{\′}\right)={(u^{\′}\·\frac{1}{R_{\mathrm{PAR}}},v^{\′})}^T={(u^{\′}\·\frac{R_{\mathrm{SAR}}}{R_{\mathrm{DAR}}},v^{\′})}^T$

其中，R_SAR＝R_DAR/R_PAR，R_PAR为像素宽高比，R_DAR为显示宽高比，R_SAR为存储宽高比；

u″′与u″关系式为：

$u^{\′\′\′}={\mathrm{Au}}^{\′\′}+T=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]\·u^{\′\′}+\left[\begin{array}{c}{T}_u\\ T_v\end{array}\right]$

其中，A和T为内参中相机制造偏差的参数；

以及，鱼眼相机的成像模型为：

λ·p＝λ·g(u″′)＝λ·g(Au″+T)＝λ·g(A·K(u′)+T)＝P·X

其中，λ＞0；p为鱼眼相机的视点至景点的向量，P为世界坐标系与相机坐标系的透视矩阵；g为成像函数，且表示为g(u″′，v″′)＝(u″′，v″′，f(ρ″′))^T，f(ρ″′)为鱼眼相机畸变函数，f(ρ″′)＝a₀+a₁ρ″′+a₂(ρ″′)²+…a_N(ρ″′)^N，以及，鱼眼相机成像模型中的A，T，a₀，a₂，...，a_N均为内参，P为外参。

具体的，参考图2所示，为本申请的一种反射折射鱼眼相机的成像模型示意图，需要说明的是，本申请实施例以反射折射鱼眼相机的成像模型为例进行说明，若应用于折射鱼眼相机，因为没有反射效果，则图2中u″′的符号将被取反。

其中，为世界坐标系中空间中景点D的齐次坐标，以及，空间中景点D在传感器平面(单位为毫米)中的投影为u″′＝[u″′，v″′]^T，在规范化平面(单位为像素)中的投影为u″＝[u″，v″]^T，以及，在成像平面(单位为像素)中的投影为u′＝[u′，v′]^T。

为了描述成型平面中一点u′与规范化平面中一点u″的关系，定义像素宽高比为存储宽高比为显示宽高比为三者之间有关系式为R_SAR＝R_DAR/R_PAR。其中，像素宽高比为像素宽度和像素高度的比值，若为1:1，则对应为正方形像素，否则为长方形像素；显示宽高比为图像显示时的图像宽度和图像高度的比值，能保持图像原始比例；存储宽高比为图像采集时，横向采集与纵向采集构成点阵，其横向点数与纵向点数的比值。另外，对于任意一种图像采集格式都有固定的R_SAR、R_PAR、R_DAR。其中，

令为成像平面图像高度，为成像平面图像宽度，根据SAR定义有R_SAR＝W_image/H_image，则u″与u′关系为：

$u^{\′\′}=K\left(u^{\′}\right)={(u^{\′},v^{\′}\·R_{\mathrm{PAR}})}^T={(u^{\′},v^{\′}\·\frac{R_{\mathrm{DAR}}}{R_{\mathrm{SAR}}})}^T---\left(1.1\right)$

与(1.1)式对应的有H_norm＝H_image，W_norm＝W_image·R_PAR＝W_image·R_DAR/R_SAR，其中为规范化平面的高度，为规范化平面的宽度，与(1.1)式等价公式为：

$u^{\′\′}=K\left(u^{\′}\right)={(u^{\′}\·\frac{1}{R_{\mathrm{PAR}}},v^{\′})}^T={(u^{\′}\·\frac{R_{\mathrm{SAR}}}{R_{\mathrm{DAR}}},v^{\′})}^T---\left(1.2\right)$

与(1.2)式对应的有W_norm＝W_image，H_norm＝H_image/R_PAR＝H_image·R_SAR/R_FAR。

规范化平面中一点u″与传感器平面中一点u″′的关系描述了摄像机制造时的偏差，可表示为仿射变换，即u″′与u″关系式为：

$u^{\′\′\′}={\mathrm{Au}}^{\′\′}+T=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]\·u^{\′\′}+\left[\begin{array}{c}{T}_u\\ T_v\end{array}\right]---\left(2\right)$

其中，

基于传感器平面的径向对称畸变的性质，引入一个成像函数g，它描述了传感器平面中一点u″′与由视点O至景点D的向量p之间的关系,从而有鱼眼相机数学模型：

λ·p＝λ·g(u″′)＝λ·g(Au″+T)＝λ·g(A·K(u′)+T)＝P·X  (3)

其中，λ＞0；为景点D在世界坐标系下的齐次坐标；p为鱼眼相机的视点至景点的向量，为世界坐标系与相机坐标系的透视矩阵；g为成像函数，且表示为g(u″′，v″′)＝(u″′，v″′，f(ρ″′))^T，f(ρ″′)为鱼眼相机畸变函数，描述传感器平面任一点的鱼眼畸变系数，为了不失一般性，令f(ρ″′)＝a₀+a₁ρ″′+a₂(ρ″′)²+…a_N(ρ″′)^N。在鱼眼相机成像模型中，待标定的参数包括内参A，T，a₀，a₂，...，a_N，以及，外参P，其中多项式阶数N，不必每次标定都去计算最优值，对同一型号鱼眼相机，只需第一次标定时确定最优值N_best，后续同型号鱼眼相机标定时，固定N＝N_best即可。为了确定任意一型号鱼眼相机的最优多项式阶数，可从N＝2开始递增，对应每个N值执行步骤S2至S4，直到最终RMS重投影误差err_N不再减少为止。

其中，对于本申请实施例提供的步骤S2，即参考标定板图像的格式调整特征点的坐标包括：

根据标定板图像的格式，确定标定板图像的显示宽高比；根据标定板图像的格式的宽高，计算标定板图像的存储宽高比；以及，根据公式R_SAR＝R_DAR/R_PAR，计算标定板图像的像素宽高比；

根据标定板图像的显示宽高比、存储宽高比、像素宽高比、特征点对应成像平面的坐标和u″与u′关系式，计算特征点对应规范化平面的坐标。

具体的，采集的标定板原始图像对应成像平面，而后在该成像平面上提取特征点。根据采集的标定板图像的格式，确定显示宽高比；根据标定板图像的格式的宽高，计算标定板图像的存储宽高比；以及，根据公式R_SAR＝R_DAR/R_PAR，计算标定板图像的像素宽高比；

根标定板图像的显示宽高比、存储宽高比、像素宽高比、特征点对应成像平面的坐标和u″与u′关系式，可计算特征点对应规范化平面的坐标。

由于标定板上的特征点预先设置为一定规律排列，因此可以根据特征点的位置规律，在标定板上建立世界坐标系，而后根据世界坐标系得到标定板上每个特征点的世界坐标。

另外，参考图3所示，为本申请实施例提供的一种计算标定板图像的畸变中心偏移的初值的流程图。对于本申请实施例提供的步骤S3，即以RMS重投影误差为评估值，计算标定板图像的畸变中心偏移的初值包括：

S31、初始化内参A为单位阵，对内参T设定搜索区间范围，并对搜索区间范围网格化得到多个网格点；

S32、根据内参A、网格点对应的内参T、特征点对应规范化平面的坐标和u″′与u″关系式，计算特征点对应传感器平面的坐标，以及，计算网格点对应的RMS重投影误差；

S33、以当前计算出的最小的RMS重投影误差所对应的网格点为中心，重新设定搜索区间范围，并按相应比例更新网格化的搜索区间范围的网格大小；

S34、重复步骤S32至步骤S33，直至搜索区间范围缩小到预设精度要求，则确定对应RMS重投影误差最小的网格点所对应的内参T为标定板图像的畸变中心偏移的初值T_init。

可选的，对搜索区间范围网格化得到多个网格点为：

对搜索区间范围网格化为矩形网格得到m*n个网格点，且每个网格的尺寸相同，m和n均为不小于2的整数。

具体的，以对搜索区间范围网格化为矩形网格得到7*7个网格点，且每个网格的尺寸相同的方式具体说明：

设定一次标定采集的图像幅数为K，每幅图像的特征点数量为L，以及，结合在上述本申请实施例提供的步骤S2中得到的特征点在规范化平面的坐标，步骤S3具体为：

步骤3.1、初始化A为单位阵，畸变中心偏移T＝[T_u，T_v]^T的搜索区间为竖直方向T_u∈[U_min，U_max]，水平方向T_v∈[V_min，V_max]，可根据经验值设定U_min、U_max、V_min、V_max。

步骤3.2、将搜索区间网格化，得到7×7的网格点，单位网格竖直距离δ_u＝(U_max-U_min)/6，水平距离δ_v＝(V_max-V_min)/6，则所有网格点为T_mn＝(U_min+m·δ_u，V_min+n·δ_v),其中，0≤m≤6，0≤n≤6。

步骤3.3、对任意m，n，满足0≤m≤6，0≤n≤6，根据A和特征点对应规范化平面的坐标，且令T＝T_mn(即网格点对应的T值)，通过(2)式可以得到对应的所有特征点在传感器平面的坐标。其中，步骤3.4～3.7给出对应T_mn的RMS重投影误差计算过程。

步骤3.4、对任意特征点，令其世界坐标为M_ij＝[X_ij，Y_ij，Z_ij]，在成像平面的坐标为u′_ij＝[u′_ij，v′_ij]，规范化平面中的坐标为u″_ij＝[u″_ij，v″_ij]，传感器平面中坐标为u″′_ij＝[u″′_ij，v″′_ij]，由于标定板一般是平面的，不失一般性，可令Z_ij＝0，由鱼眼相机成像模型(3)式，得到：

$\begin{array}{c}{\mathrm{\λ}}_{\mathrm{ij}}\·p_{\mathrm{ij}}={\mathrm{\λ}}_{\mathrm{ij}}\·\left[\begin{array}{c}{u}_{\mathrm{ij}}^{\′\′\′}\\ v_{\mathrm{ij}}^{\′\′\′}\\ a_0+...a_N{\left({\mathrm{\ρ}}_{\mathrm{ij}}^{\′\′\′}\right)}^N\end{array}\right]=P^i\·X=\left[r_1^i{r}_2^i{r}_3^i{t}^i\right]\·\left[\begin{array}{c}{X}_{\mathrm{ij}}\\ Y_{\mathrm{ij}}\\ 0\\ 1\end{array}\right]\\ =\left[r_1^i{r}_2^i{t}^i\right]\·\left[\begin{array}{c}{X}_{\mathrm{ij}}\\ Y_{\mathrm{ij}}\\ 1\end{array}\right]\end{array}---\left(4\right)$

其中其中1≤i≤K,1≤j≤L，(4)式两端叉乘向量p_ij，得到：

${\mathrm{\λ}}_{\mathrm{ij}}\·p_{\mathrm{ij}}\×p_{\mathrm{ij}}={\mathrm{\λ}}_{\mathrm{ij}}\·\left[\begin{array}{c}{u}_{\mathrm{ij}}^{\′\′\′}\\ v_{\mathrm{ij}}^{\′\′\′}\\ a_0+...a_N{\left({\mathrm{\ρ}}_{\mathrm{ij}}^{\′\′\′}\right)}^N\end{array}\right]\×\left(\begin{array}{c}\left[r_1^i{r}_2^i{t}^i\right]\·\left[\begin{array}{c}{X}_{\mathrm{ij}}\\ Y_{\mathrm{ij}}\\ 1\end{array}\right]\end{array}\right)=0---\left(5\right)$

展开(5)式，有：

$\left\{\begin{array}{cc}{v}_{\mathrm{ij}}^{\′\′\′}\·(r_{31}^i{X}_{\mathrm{ij}}+r_{32}^i{Y}_{\mathrm{ij}}+t_3^i)-f\left({\mathrm{\ρ}}_{\mathrm{ij}}^{\′\′\′}\right)\·(r_{21}^i{X}_{\mathrm{ij}}+r_{22}^i{Y}_{\mathrm{ij}}+t_2^i)=0,& \left(6.1\right)\\ f\left({\mathrm{\ρ}}_{\mathrm{ij}}^{\′\′\′}\right)\·(r_{11}^i{X}_{\mathrm{ij}}+r_{12}^i{Y}_{\mathrm{ij}}+t_1^i)-u_{\mathrm{ij}}^{\′\′\′}\·(r_{31}^i{X}_{\mathrm{ij}}+r_{32}^i{Y}_{\mathrm{ij}}+t_3^i)=0,& \left(6.2\right)\\ u_{\mathrm{ij}}^{\′\′\′}\·(r_{21}^i{X}_{\mathrm{ij}}+r_{22}^i{Y}_{\mathrm{ij}}+t_2^i)-v_{\mathrm{ij}}^{\′\′\′}\·(r_{11}^i{X}_{\mathrm{ij}}+r_{12}^i{Y}_{\mathrm{ij}}+t_1^i)=0& \left(6.3\right)\end{array}\right.$

步骤3.5、对任意一幅标定图Iⁱ，联立其所有特征点对应的(6.3)式，并根据的标准正交性，可唯一确定

步骤3.6、将步骤3.5的结果代入(6.1)式、(6.2)式，对K幅图的所有特征点联立等式(6.1)、(6.2)，求解该方程组可得到

步骤3.7、对任意特征点M_ij，令其重投影至传感器平面的坐标为成像平面的坐标为则K幅标定图的所有特征点的RMS重投影误差值为：

${\mathrm{err}}_{\mathrm{RMS}}=\sqrt{\frac{1}{K\·L}\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\left|\right|u_{\mathrm{ij}}^{\′}-{\tilde{u}}_{\mathrm{ij}}^{\′}\left|\right|}_2^2}---\left(7\right)$

其中，

${\tilde{u}}_{\mathrm{ij}}^{\′}=K^{-1}(A^{-1}\·({\tilde{u}}_{\mathrm{ij}}^{\′\′\′}-T))---\left(8\right)$

而为了得到先计算由步骤3.5、3.6求得又由于M_ij已知，定义：

$\left(\begin{array}{c}{x}_{\mathrm{ij}}\\ y_{\mathrm{ij}}\\ z_{\mathrm{ij}}\end{array}\right)=\left[r_1^i{r}_2^i{t}^i\right]\·\left[\begin{array}{c}{X}_{\mathrm{ij}}\\ Y_{\mathrm{ij}}\\ 1\end{array}\right]---\left(9\right)$

则，由(4)式可得：

$\frac{a_0+...a_N{\left({\widetilde{\mathrm{\ρ}}}_{\mathrm{ij}}^{\′\′\′}\right)}^N}{{\widetilde{\mathrm{\ρ}}}_{\mathrm{ij}}^{\′\′\′}}=\frac{z_{\mathrm{ij}}}{\sqrt{x_{\mathrm{ij}}^2+y_{\mathrm{ij}}^2}}---\left(10\right)$

其中，由(10)式可以求得多个的解，与ρ″′_ij最接近的被确定为正确解。得到的值后，可计算如下：

${\tilde{u}}_{\mathrm{ij}}^{\′\′\′}={\widetilde{\mathrm{\ρ}}}_{\mathrm{ij}}^{\′\′\′}\·\frac{x_{\mathrm{ij}}}{\sqrt{x_{\mathrm{ij}}^2+y_{\mathrm{ij}}^2}}---\left(11\right)$

${\tilde{v}}_{\mathrm{ij}}^{\′\′\′}={\widetilde{\mathrm{\ρ}}}_{\mathrm{ij}}^{\′\′\′}\·\frac{y_{\mathrm{ij}}}{\sqrt{x_{\mathrm{ij}}^2+y_{\mathrm{ij}}^2}}---\left(12\right)$

步骤3.8、对所有m，n，0≤m≤6，0≤n≤6对应的T_mn，通过步骤3.3～3.7计其对应的RMS重投影误差值err_RMS，记录该值取最小值对应的m，n分别为m_best，n_best。

步骤3.9、若U_max-U_min＜ξ(ξ为预设精度要求)，更新搜索范围U_min＝U_min+(m_best-1)·δ_u，U_max＝U_max+(m_best+1)·δ_u,V_min＝V_min+(n_best-1)·δ_v，V_max＝V_max+(n_best+1)·δ_v，而后更新单位网格尺寸δ_u＝δ_u/3，δ_v＝δ_v/3，将新的搜索区间按7×7划分网格，所有网格点为T_mn＝(U_min+m·δ_u，V_min+n·δ_v)，其中0≤m≤6，0≤n≤6。再次执行步骤3.3～3.8，并重复步骤3.9，直到满足U_max-U_min＜ξ时，则得到标定板图像的畸变中心偏移的初值T_init＝((U_min+m_best·δ_u，V_min+n_best·δ_v))。

其中，对于本申请实施例提供的步骤S4，即以LM算法最小化RMS重投影误差，优化内参和外参包括：

设定LM算法的优化参数为内参A和内参T，其中，设定内参A的优化初始值为单位阵，内参T的优化初始值为畸变中心偏移的初值T_init；

执行LM算法最小化RMS重投影误差，得到优化后的内参，并参考鱼眼相机的成像模型，得到优化后的外参。

具体的，步骤4.1、设定LM算法的优化参数为内参A和内参T，即相机制造误差参数A和T，其中，设定内参A的优化初始值为单位阵，内参T的优化初始值为在上述步骤S3中得到的T_init

步骤4.2、执行LM算法，令LM算法执行过程中的优化参数A，T任意测试值为A_test，T_test，通过(2)式和在步骤S2中得到的特征点在规范化平面的坐标，可以得到对应的所有特征点在传感器平面的坐标。另外，步骤4.3至4.6给出LM优化评估值err_RMS，即对应任意A_test，T_test的RMS重投影误差的计算过程。

步骤4.3、对任意特征点，令其世界坐标为M_ij＝[X_ij，Y_ij，Z_ij]，在成像平面的坐标为u′_ij＝[u′_ij，v′_ij]，规范化平面中的坐标为u″_ij＝[u″_ij，v″_ij]，传感器平面中坐标为u″′_ij＝[u″′_ij，v″′_ij](步骤4.2的结果)，由于标定板一般是平面的，不失一般性，可令Z_ij＝0，由鱼眼相机成像模型(3)式，得到：

$\begin{array}{c}{\mathrm{\λ}}_{\mathrm{ij}}\·p_{\mathrm{ij}}={\mathrm{\λ}}_{\mathrm{ij}}\·\left[\begin{array}{c}{u}_{\mathrm{ij}}^{\′\′\′}\\ v_{\mathrm{ij}}^{\′\′\′}\\ a_0+...a_N{\left({\mathrm{\ρ}}_{\mathrm{ij}}^{\′\′\′}\right)}^N\end{array}\right]=P^i\·X=\left[r_1^i{r}_2^i{r}_3^i{t}^i\right]\·\left[\begin{array}{c}{X}_{\mathrm{ij}}\\ Y_{\mathrm{ij}}\\ 0\\ 1\end{array}\right]\\ =\left[r_1^i{r}_2^i{t}^i\right]\·\left[\begin{array}{c}{X}_{\mathrm{ij}}\\ Y_{\mathrm{ij}}\\ 1\end{array}\right]\end{array}---\left(4\right)$

其中，1≤i≤K，1≤j≤L，(4)式两端叉乘向量p_ij，得到：

${\mathrm{\λ}}_{\mathrm{ij}}\·p_{\mathrm{ij}}\×p_{\mathrm{ij}}={\mathrm{\λ}}_{\mathrm{ij}}\·\left[\begin{array}{c}{u}_{\mathrm{ij}}^{\′\′\′}\\ v_{\mathrm{ij}}^{\′\′\′}\\ a_0+...a_N{\left({\mathrm{\ρ}}_{\mathrm{ij}}^{\′\′\′}\right)}^N\end{array}\right]\×\left(\begin{array}{c}\left[r_1^i{r}_2^i{t}^i\right]\·\left[\begin{array}{c}{X}_{\mathrm{ij}}\\ Y_{\mathrm{ij}}\\ 1\end{array}\right]\end{array}\right)=0---\left(5\right)$

展开(5)式，有：

$\left\{\begin{array}{cc}{v}_{\mathrm{ij}}^{\′\′\′}\·(r_{31}^i{X}_{\mathrm{ij}}+r_{32}^i{Y}_{\mathrm{ij}}+t_3^i)-f\left({\mathrm{\ρ}}_{\mathrm{ij}}^{\′\′\′}\right)\·(r_{21}^i{X}_{\mathrm{ij}}+r_{22}^i{Y}_{\mathrm{ij}}+t_2^i)=0,& \left(6.1\right)\\ f\left({\mathrm{\ρ}}_{\mathrm{ij}}^{\′\′\′}\right)\·(r_{11}^i{X}_{\mathrm{ij}}+r_{12}^i{Y}_{\mathrm{ij}}+t_1^i)-u_{\mathrm{ij}}^{\′\′\′}\·(r_{31}^i{X}_{\mathrm{ij}}+r_{32}^i{Y}_{\mathrm{ij}}+t_3^i)=0,& \left(6.2\right)\\ u_{\mathrm{ij}}^{\′\′\′}\·(r_{21}^i{X}_{\mathrm{ij}}+r_{22}^i{Y}_{\mathrm{ij}}+t_2^i)-v_{\mathrm{ij}}^{\′\′\′}\·(r_{11}^i{X}_{\mathrm{ij}}+r_{12}^i{Y}_{\mathrm{ij}}+t_1^i)=0& \left(6.3\right)\end{array}\right.$

步骤4.4、对任意一幅标定图Iⁱ，联立其所有特征点对应的式(6.3)式，并根据的标准正交性，可唯一确定

步骤4.5、将步骤4.4的结果代入(6.1)式、(6.2)式，对K幅图的所有特征点联立等式(6.1)式、(6.2)式，求解该方程组可得到

步骤4.6、对任意特征点M_ij，令其重投影至传感器平面的坐标为成像平面的坐标为则K幅标定图的所有特征点的RMS重投影误差为：

${\mathrm{err}}_{\mathrm{RMS}}=\sqrt{\frac{1}{K\·L}\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\left|\right|u_{\mathrm{ij}}^{\′}-{\tilde{u}}_{\mathrm{ij}}^{\′}\left|\right|}_2^2}---\left(7\right)$

其中，

${\tilde{u}}_{\mathrm{ij}}^{\′}=K^{-1}(A^{-1}\·({\tilde{u}}_{\mathrm{ij}}^{\′\′\′}-T))---\left(8\right)$

而为了得到首先需要计算由步骤4.5、步骤4.6求得又由于M_ij已知，定义：

$\left(\begin{array}{c}{x}_{\mathrm{ij}}\\ y_{\mathrm{ij}}\\ z_{\mathrm{ij}}\end{array}\right)=\left[r_1^i{r}_2^i{t}^i\right]\·\left[\begin{array}{c}{X}_{\mathrm{ij}}\\ Y_{\mathrm{ij}}\\ 1\end{array}\right]---\left(9\right)$

由(4)式可得：

$\frac{a_0+...a_N{\left({\widetilde{\mathrm{\ρ}}}_{\mathrm{ij}}^{\′\′\′}\right)}^N}{{\widetilde{\mathrm{\ρ}}}_{\mathrm{ij}}^{\′\′\′}}=\frac{z_{\mathrm{ij}}}{\sqrt{x_{\mathrm{ij}}^2+y_{\mathrm{ij}}^2}}---\left(10\right)$

其中，由(10)式可以求得多个的解，与ρ″′_ij最接近的被确定为正确解。得到的值后，可计算如下

${\tilde{u}}_{\mathrm{ij}}^{\′\′\′}={\widetilde{\mathrm{\ρ}}}_{\mathrm{ij}}^{\′\′\′}\·\frac{x_{\mathrm{ij}}}{\sqrt{x_{\mathrm{ij}}^2+y_{\mathrm{ij}}^2}}---\left(11\right)$

${\tilde{v}}_{\mathrm{ij}}^{\′\′\′}={\widetilde{\mathrm{\ρ}}}_{\mathrm{ij}}^{\′\′\′}\·\frac{y_{\mathrm{ij}}}{\sqrt{x_{\mathrm{ij}}^2+y_{\mathrm{ij}}^2}}---\left(12\right)$

步骤4.7、执行LM算法结束后，记录LM优化参数A，T的最优值为A_best，T_best。

其中，通过(2)式得到对应的所有的特征点在传感器平面的坐标，而后执行步骤4.3～4.6，其中，在步骤4.4、4.5中可以得到对应A_best，T_best的这组值和A_best，T_best即为最终标定结果，记此时步骤4.6得到的err_RMS为errN，即当多项式阶数为N时的最终RMS重投影误差。

由上述内容可知，本申请实施例提供的鱼眼相机标定方法，提出了一种一般化的鱼眼相机成像模型，不仅无需特殊标定设备，适用于大部分鱼眼相机，提高了适用性；而且，利用了像素宽高比、显示宽高比和存储宽高比的关系，使得鱼眼相机成像模型更加一般化的同时，摆脱了鱼眼图像分辨率对标定的影响，使得标定结果更加稳定；并且，本申请实施例提供了一种新的基于LM算法的精确求解相机参数的方法，提高了标定的精确度。

相应的，参考图4所示，为本申请实施例提供的一种鱼眼相机标定装置的示意图，其中，标定装置包括：

鱼眼成像建立模块1，用于建立鱼眼相机的成像模型；

处理模块2，用于从不同视角采集多幅标定板图像，在标定板图像上获取特征点的坐标，参考标定板图像的格式调整特征点的坐标，并根据标定板图像中特征点的预设规律，确定特征点的世界坐标；

计算模块3，用于以RMS重投影误差为评估值，计算标定板图像的畸变中心偏移的初值；

优化模块4，用于最小化RMS重投影误差，优化内参和外参。

其中，优化模块4以LM算法最小化RMS重投影误差，优化内参和外参。

本申请实施例提供的一种鱼眼相机标定方法及标定装置，包括：建立所述鱼眼相机的成像模型；从不同视角采集多幅标定板图像，在标定板图像上获取特征点的坐标，参考标定板图像的格式调整特征点的坐标，并根据标定板图像中特征点的预设规律，确定特征点的世界坐标；以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；最小化所述RMS重投影误差，优化内参和外参。由上述内容可知，本申请实施例提供的技术方案无需特殊的标定设备，能够适用于大多数鱼眼相机，提高了标定方法的适用性；而且，利用了像素宽高比、显示宽高比和存储宽高比的关系，使得鱼眼相机成像模型更加一般化的同时，摆脱了鱼眼图像分辨率对标定的影响，使得标定结果更加稳定；并且，本申请实施例提供了一种新的基于LM算法的精确求解相机参数的方法，提高了标定的精确度。

Claims (10)

1.一种鱼眼相机标定方法，其特征在于，包括：

建立所述鱼眼相机的成像模型；

从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；

以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；

最小化所述RMS重投影误差，优化内参和外参。

2.根据权利要求1所述的鱼眼相机标定方法，其特征在于，所述最小化所述RMS重投影误差，优化内参和外参包括：

以LM算法最小化所述RMS重投影误差，优化内参和外参。

3.根据权利要求2所述的鱼眼相机标定方法，其特征在于，所述建立所述鱼眼相机的成像模型包括：

获取空间中任意一景点在世界坐标系中的齐次坐标为X，在传感器平面中的投影为u″′＝[u″′，v″′]^T，在规范化平面中的投影为u″＝[u″，v″]^T，以及，在成像平面中的投影为u′＝[u′，v′]^T，其中，所述u″与u′关系式为：

$u^{\′\′}=K\left(u^{\′}\right)={(u^{\′},v^{\′}\·R_{\mathrm{PAR}})}^T={(u^{\′},v^{\′}\·\frac{R_{\mathrm{DAR}}}{R_{\mathrm{SAR}}})}^T$

或者为：

$u^{\′\′}=K\left(u^{\′}\right)={(u^{\′}\·\frac{1}{R_{\mathrm{PAR}}},v^{\′})}^T={(u^{\′}\·\frac{R_{\mathrm{SAR}}}{R_{\mathrm{DAR}}},v^{\′})}^T$

其中，R_SAR＝R_DAR/R_PAR，R_PAR为像素宽高比，R_DAR为显示宽高比，R_SAR为存储宽高比；

所述u″′与所述u″关系式为：

$u^{\′\′\′}={\mathrm{Au}}^{\′\′}+T=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]\·u^{\′\′}+\left[\begin{array}{c}{T}_u\\ T_v\end{array}\right]$

其中，A和T为所述内参中相机制造偏差的参数；

以及，所述鱼眼相机的成像模型为：

λ·p＝λ·g(u″′)＝λ·g(Au″+T)＝λ·g(A·K(u′)+T)＝P·X

其中，λ＞0；p为所述鱼眼相机的视点至所述景点的向量，P为世界坐标系与相机坐标系的透视矩阵；g为成像函数，且表示为g(u″′，v″′)＝(u″′，v″′，f(ρ″′))^T，f(ρ″′)为所述鱼眼相机畸变函数，f(ρ″′)＝a₀+a₁ρ″′+a₂(ρ″′)²+…a_N(ρ″′)^N，以及，所述鱼眼相机成像模型中的A，T，a₀，a₂，...，a_N均为所述内参，P为所述外参。

4.根据权利要求3所述的鱼眼相机标定方法，其特征在于，所述参考所述标定板图像的格式调整所述特征点的坐标包括：

根据所述标定板图像的格式，确定所述标定板图像的显示宽高比；根据所述标定板图像的格式的宽高，计算所述标定板图像的存储宽高比；以及，根据公式所述R_SAR＝R_DAR/R_PAR，计算所述标定板图像的像素宽高比；

根所述标定板图像的显示宽高比、存储宽高比、像素宽高比、所述特征点对应成像平面的坐标和所述u″与u′关系式，计算所述特征点对应所述规范化平面的坐标。

5.根据权利要求4所述的鱼眼相机标定方法，其特征在于，所述以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值包括：

S31、初始化所述内参A为单位阵，对所述内参T设定搜索区间范围，并对所述搜索区间范围网格化得到多个网格点；

S32、根据所述内参A、所述网格点对应的内参T、所述特征点对应所述规范化平面的坐标和所述u″′与所述u″关系式，计算所述特征点对应所述传感器平面的坐标，以及，计算所述网格点对应的RMS重投影误差；

S33、以当前计算出的最小的RMS重投影误差所对应的网格点为中心，重新设定所述搜索区间范围，并按相应比例更新网格化的所述搜索区间范围的网格大小；

S34、重复所述步骤S32至步骤S33，直至所述搜索区间范围缩小到预设精度要求，则确定对应RMS重投影误差最小的网格点所对应的内参T为所述标定板图像的畸变中心偏移的初值T_init。

6.根据权利要求5所述的鱼眼相机标定方法，其特征在于，所述对所述搜索区间范围网格化得到多个网格点为：

对所述搜索区间范围网格化为矩形网格得到m*n个网格点，且每个网格的尺寸相同，m和n均为不小于2的整数。

7.根据权利要求6所述的鱼眼相机标定方法，其特征在于，对所述搜索区间范围网格化为矩形网格得到7*7个网格点，且每个网格的尺寸相同。

8.根据权利要求5所述的鱼眼相机标定方法，其特征在于，所述以LM算法最小化所述RMS重投影误差，优化内参和外参包括：

设定LM算法的优化参数为所述内参A和内参T，其中，设定所述内参A的优化初始值为单位阵，所述内参T的优化初始值为所述畸变中心偏移的初值T_init；

执行所述LM算法最小化所述RMS重投影误差，得到优化后的所述内参，并参考所述鱼眼相机的成像模型，得到优化后的外参。

9.一种鱼眼相机标定装置，其特征在于，包括：

鱼眼成像建立模块，用于建立所述鱼眼相机的成像模型；

处理模块，用于从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；

计算模块，用于以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；

优化模块，用于最小化所述RMS重投影误差，优化内参和外参。

10.根据权利要求8所述的鱼眼相机标定装置，其特征在于，所述优化模块以LM算法最小化所述RMS重投影误差，优化内参和外参。