CN104392435B - 鱼眼相机标定方法及标定装置 - Google Patents
鱼眼相机标定方法及标定装置 Download PDFInfo
- Publication number
- CN104392435B CN104392435B CN201410627763.9A CN201410627763A CN104392435B CN 104392435 B CN104392435 B CN 104392435B CN 201410627763 A CN201410627763 A CN 201410627763A CN 104392435 B CN104392435 B CN 104392435B
- Authority
- CN
- China
- Prior art keywords
- fisheye camera
- calibration
- rms
- internal
- calibration plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 59
- 238000005457 optimization Methods 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 abstract description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 abstract description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 abstract description 2
- 235000008434 ginseng Nutrition 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种鱼眼相机标定方法及标定装置，包括：建立所述鱼眼相机的成像模型；从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；最小化所述RMS重投影误差，优化内参和外参。由上述内容可知，本发明提供的技术方案无需特殊的标定设备，能够适用于大多数鱼眼相机，提高了标定方法的适用性和标定结果精准度。
Description
技术领域
本发明涉及鱼眼相机技术领域，更为具体的说，涉及一种鱼眼相机标定方法及标定装置。
背景技术
近年来，由于鱼眼相机能够提供180度的视野摄像范围，在诸多领域得到了广泛应用，例如，在机器人导航、三维建模、行车安全等领域。但是，鱼眼相机提供大角度视野摄像范围的同时，伴随而来的是图像的鱼眼畸变，因此，鱼眼相机的应用往往需要设定鱼眼相机的精准参数，即需要进行标定。而鱼眼相机标定结果的精度直接影响其衍生产品的精准度，因此，标定技术得到了广泛关注。但是，采用现有标定技术受限于相机类型和特殊标定设备的要求，适用性低；或者受限于标定计算模型，标定结果精准度差。
发明内容
有鉴于此，本发明提供了一种鱼眼相机标定方法及标定装置，无需特殊标定设备，适用于大部分的鱼眼相机，提高了其适用性和标定结果精准度。
为实现上述目的，本发明提供的技术方案如下：
一种鱼眼相机标定方法，包括：
建立所述鱼眼相机的成像模型；
从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；
以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；
最小化所述RMS重投影误差，优化内参和外参。
优选的，所述最小化所述RMS重投影误差，优化内参和外参包括：
以LM算法最小化所述RMS重投影误差，优化内参和外参。
优选的，所述建立所述鱼眼相机的成像模型包括：
获取空间中任意一景点在世界坐标系中的齐次坐标为X，在传感器平面中的投影为u″′＝[u″′，v″′]T，在规范化平面中的投影为u″＝[u″，v″]T，以及，在成像平面中的投影为u′＝[u′，v′]T，其中，所述u″与u′关系式为：
或者为：
其中，RSAR＝RDAR/RPAR，RPAR为像素宽高比，RDAR为显示宽高比，RSAR为存储宽高比；
所述u″′与所述u″关系式为：
其中，A和T为所述内参中相机制造偏差的参数；
以及，所述鱼眼相机的成像模型为：
λ·p＝λ·g(u″′)＝λ·g(Au″+T)＝λ·g(A·K(u′)+T)＝P·X
其中，λ＞0；p为所述鱼眼相机的视点至所述景点的向量，P为世界坐标系与相机坐标系的透视矩阵；g为成像函数，且表示为g(u″′，v″′)＝(u″′，v″′，f(ρ″′))T，f(ρ″′)为所述鱼眼相机畸变函数，f(ρ″′)＝a0+a1ρ″′+a2(ρ″′)2+…aN(ρ″′)N，以及，所述鱼眼相机成像模型中的A，T，a0，a2，...，aN均为所述内参，P为所述外参。
优选的，所述参考所述标定板图像的格式调整所述特征点的坐标包括：
根据所述标定板图像的格式，确定所述标定板图像的显示宽高比；根据所述标定板图像的格式的宽高，计算所述标定板图像的存储宽高比；以及，根据公式所述RSAR＝RDAR/RPAR，计算所述标定板图像的像素宽高比；
根所述标定板图像的显示宽高比、存储宽高比、像素宽高比、所述特征点对应成像平面的坐标和所述u″与u′关系式，计算所述特征点对应所述规范化平面的坐标。
优选的，所述以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值包括：
S31、初始化所述内参A为单位阵，对所述内参T设定搜索区间范围，并对所述搜索区间范围网格化得到多个网格点；
S32、根据所述内参A、所述网格点对应的内参T、所述特征点对应所述规范化平面的坐标和所述u″′与所述u″关系式，计算所述特征点对应所述传感器平面的坐标，以及，计算所述网格点对应的RMS重投影误差；
S33、以当前计算出的最小的RMS重投影误差所对应的网格点为中心，重新设定所述搜索区间范围，并按相应比例更新网格化的所述搜索区间范围的网格大小；
S34、重复所述步骤S32至步骤S33，直至所述搜索区间范围缩小到预设精度要求，则确定对应RMS重投影误差最小的网格点所对应的内参T为所述标定板图像的畸变中心偏移的初值Tinit。
优选的，所述对所述搜索区间范围网格化得到多个网格点为：
对所述搜索区间范围网格化为矩形网格得到m*n个网格点，且每个网格的尺寸相同，m和n均为不小于2的整数。
优选的，对所述搜索区间范围网格化为矩形网格得到7*7个网格点，且每个网格的尺寸相同。
优选的，所述以LM算法最小化所述RMS重投影误差，优化内参和外参包括：
设定LM算法的优化参数为所述内参A和内参T，其中，设定所述内参A的优化初始值为单位阵，所述内参T的优化初始值为所述畸变中心偏移的初值Tinit；
执行所述LM算法最小化所述RMS重投影误差，得到优化后的所述内参，并参考所述鱼眼相机的成像模型，得到优化后的外参。
一种鱼眼相机标定装置，包括：
鱼眼成像建立模块，用于建立所述鱼眼相机的成像模型；
处理模块，用于从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；
计算模块，用于以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；
优化模块，用于最小化所述RMS重投影误差，优化内参和外参。
优选的，所述优化模块以LM算法最小化所述RMS重投影误差，优化内参和外参。
相较于现有技术，本发明提供的技术方案至少具体以下优点：
本发明提供的一种鱼眼相机标定方法及标定装置，包括：建立所述鱼眼相机的成像模型；从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；最小化所述RMS重投影误差，优化内参和外参。由上述内容可知，本发明提供的技术方案无需特殊的标定设备，能够适用于大多数鱼眼相机，提高了标定方法的适用性和标定结果精准度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种鱼眼相机标定方法的流程图；
图2为本申请实施例提供的一种反射折射鱼眼相机的成像模型示意图；
图3为本申请实施例提供的一种计算标定板图像的畸变中心偏移的初值的流程图；
图4为本申请实施例提供的一种鱼眼相机标定装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
正如背景技术所述，鱼眼相机的应用往往需要设定鱼眼相机的精准参数，即需要进行标定。而鱼眼相机标定结果的精度＝直接影响其衍生产品的精准度，因此，标定技术得到了广泛关注。但是，采用现有标定技术受限于相机类型和特殊标定设备的要求，适用性低；或者受限于标定计算模型，标定结果精准度差。
基于此，本申请实施例提供了一种鱼眼相机标定方法，结合图1～3所示，对本申请实施例提供的鱼眼相机标定方法进行详细的说明。
参考图1所述，为本申请实施例提供的一种鱼眼相机标定方法的流程图，其中，方法包括：
S1、建立鱼眼相机的成像模型；
S2、从不同视角采集多幅标定板图像，在标定板图像上获取特征点的坐标，参考标定板图像的格式调整特征点的坐标，并根据标定板图像中特征点的预设规律，确定特征点的世界坐标；
S3、以RMS(root of mean squared distances reprojection error,重投影均方根误差)重投影误差为评估值，计算标定板图像的畸变中心偏移的初值；
S4、最小化RMS重投影误差，优化内参和外参。
其中，本申请实施例优选的，最小化RMS重投影误差，优化内参和外参包括：
以LM(Levenberg-Marquardt)算法最小化RMS重投影误差，优化内参和外参。
由上述内容可知，本申请实施例提供的关于鱼眼相机标定方法的技术方案，在标定过程中无需特殊的标定设备，能够适用于大多数鱼眼相机，提高了标定方法的适用性和标定结果精准度。
其中，对于本申请实施例提供的步骤S1，即建立鱼眼相机的成像模型包括：
获取空间中任意一景点D的在世界坐标系中的齐次坐标为X，在传感器平面中的投影为u″′＝[u″′，v″′]T，在规范化平面中的投影为u″＝[u″，v″]T，以及，在成像平面中的投影为u′＝[u′，v′]T，其中，u″与u′关系式为：
或者为：
其中，RSAR＝RDAR/RPAR，RPAR为像素宽高比，RDAR为显示宽高比，RSAR为存储宽高比；
u″′与u″关系式为：
其中，A和T为内参中相机制造偏差的参数；
以及，鱼眼相机的成像模型为：
λ·p＝λ·g(u″′)＝λ·g(Au″+T)＝λ·g(A·K(u′)+T)＝P·X
其中，λ＞0；p为鱼眼相机的视点至景点的向量，P为世界坐标系与相机坐标系的透视矩阵；g为成像函数，且表示为g(u″′，v″′)＝(u″′，v″′，f(ρ″′))T，f(ρ″′)为鱼眼相机畸变函数，f(ρ″′)＝a0+a1ρ″′+a2(ρ″′)2+…aN(ρ″′)N，以及，鱼眼相机成像模型中的A，T，a0，a2，...，aN均为内参，P为外参。
具体的，参考图2所示，为本申请的一种反射折射鱼眼相机的成像模型示意图，需要说明的是，本申请实施例以反射折射鱼眼相机的成像模型为例进行说明，若应用于折射鱼眼相机，因为没有反射效果，则图2中u″′的符号将被取反。
其中，为世界坐标系中空间中景点D的齐次坐标，以及，空间中景点D在传感器平面(单位为毫米)中的投影为u″′＝[u″′，v″′]T，在规范化平面(单位为像素)中的投影为u″＝[u″，v″]T，以及，在成像平面(单位为像素)中的投影为u′＝[u′，v′]T。
为了描述成型平面中一点u′与规范化平面中一点u″的关系，定义像素宽高比为存储宽高比为显示宽高比为三者之间有关系式为RSAR＝RDAR/RPAR。其中，像素宽高比为像素宽度和像素高度的比值，若为1:1，则对应为正方形像素，否则为长方形像素；显示宽高比为图像显示时的图像宽度和图像高度的比值，能保持图像原始比例；存储宽高比为图像采集时，横向采集与纵向采集构成点阵，其横向点数与纵向点数的比值。另外，对于任意一种图像采集格式都有固定的RSAR、RPAR、RDAR。其中，
令为成像平面图像高度，为成像平面图像宽度，根据SAR定义有RSAR＝Wimage/Himage，则u″与u′关系为：
与(1.1)式对应的有Hnorm＝Himage，Wnorm＝Wimage·RPAR＝Wimage·RDAR/RSAR，其中为规范化平面的高度，为规范化平面的宽度，与(1.1)式等价公式为：
与(1.2)式对应的有Wnorm＝Wimage，Hnorm＝Himage/RPAR＝Himage·RSAR/RFAR。
规范化平面中一点u″与传感器平面中一点u″′的关系描述了摄像机制造时的偏差，可表示为仿射变换，即u″′与u″关系式为：
其中，
基于传感器平面的径向对称畸变的性质，引入一个成像函数g，它描述了传感器平面中一点u″′与由视点O至景点D的向量p之间的关系,从而有鱼眼相机数学模型：
λ·p＝λ·g(u″′)＝λ·g(Au″+T)＝λ·g(A·K(u′)+T)＝P·X (3)
其中，λ＞0；为景点D在世界坐标系下的齐次坐标；p为鱼眼相机的视点至景点的向量，为世界坐标系与相机坐标系的透视矩阵；g为成像函数，且表示为g(u″′，v″′)＝(u″′，v″′，f(ρ″′))T，f(ρ″′)为鱼眼相机畸变函数，描述传感器平面任一点的鱼眼畸变系数，为了不失一般性，令f(ρ″′)＝a0+a1ρ″′+a2(ρ″′)2+…aN(ρ″′)N。在鱼眼相机成像模型中，待标定的参数包括内参A，T，a0，a2，...，aN，以及，外参P，其中多项式阶数N，不必每次标定都去计算最优值，对同一型号鱼眼相机，只需第一次标定时确定最优值Nbest，后续同型号鱼眼相机标定时，固定N＝Nbest即可。为了确定任意一型号鱼眼相机的最优多项式阶数，可从N＝2开始递增，对应每个N值执行步骤S2至S4，直到最终RMS重投影误差errN不再减少为止。
其中，对于本申请实施例提供的步骤S2，即参考标定板图像的格式调整特征点的坐标包括：
根据标定板图像的格式，确定标定板图像的显示宽高比；根据标定板图像的格式的宽高，计算标定板图像的存储宽高比；以及，根据公式RSAR＝RDAR/RPAR，计算标定板图像的像素宽高比；
根据标定板图像的显示宽高比、存储宽高比、像素宽高比、特征点对应成像平面的坐标和u″与u′关系式，计算特征点对应规范化平面的坐标。
具体的，采集的标定板原始图像对应成像平面，而后在该成像平面上提取特征点。根据采集的标定板图像的格式，确定显示宽高比；根据标定板图像的格式的宽高，计算标定板图像的存储宽高比；以及，根据公式RSAR＝RDAR/RPAR，计算标定板图像的像素宽高比；
根标定板图像的显示宽高比、存储宽高比、像素宽高比、特征点对应成像平面的坐标和u″与u′关系式，可计算特征点对应规范化平面的坐标。
由于标定板上的特征点预先设置为一定规律排列，因此可以根据特征点的位置规律，在标定板上建立世界坐标系，而后根据世界坐标系得到标定板上每个特征点的世界坐标。
另外，参考图3所示，为本申请实施例提供的一种计算标定板图像的畸变中心偏移的初值的流程图。对于本申请实施例提供的步骤S3，即以RMS重投影误差为评估值，计算标定板图像的畸变中心偏移的初值包括：
S31、初始化内参A为单位阵，对内参T设定搜索区间范围，并对搜索区间范围网格化得到多个网格点；
S32、根据内参A、网格点对应的内参T、特征点对应规范化平面的坐标和u″′与u″关系式，计算特征点对应传感器平面的坐标，以及，计算网格点对应的RMS重投影误差；
S33、以当前计算出的最小的RMS重投影误差所对应的网格点为中心，重新设定搜索区间范围，并按相应比例更新网格化的搜索区间范围的网格大小；
S34、重复步骤S32至步骤S33，直至搜索区间范围缩小到预设精度要求，则确定对应RMS重投影误差最小的网格点所对应的内参T为标定板图像的畸变中心偏移的初值Tinit。
可选的，对搜索区间范围网格化得到多个网格点为：
对搜索区间范围网格化为矩形网格得到m*n个网格点，且每个网格的尺寸相同，m和n均为不小于2的整数。
具体的，以对搜索区间范围网格化为矩形网格得到7*7个网格点，且每个网格的尺寸相同的方式具体说明：
设定一次标定采集的图像幅数为K，每幅图像的特征点数量为L，以及，结合在上述本申请实施例提供的步骤S2中得到的特征点在规范化平面的坐标，步骤S3具体为：
步骤3.1、初始化A为单位阵，畸变中心偏移T＝[Tu，Tv]T的搜索区间为竖直方向Tu∈[Umin，Umax]，水平方向Tv∈[Vmin，Vmax]，可根据经验值设定Umin、Umax、Vmin、Vmax。
步骤3.2、将搜索区间网格化，得到7×7的网格点，单位网格竖直距离δu＝(Umax-Umin)/6，水平距离δv＝(Vmax-Vmin)/6，则所有网格点为Tmn＝(Umin+m·δu，Vmin+n·δv),其中，0≤m≤6，0≤n≤6。
步骤3.3、对任意m，n，满足0≤m≤6，0≤n≤6，根据A和特征点对应规范化平面的坐标，且令T＝Tmn(即网格点对应的T值)，通过(2)式可以得到对应的所有特征点在传感器平面的坐标。其中，步骤3.4～3.7给出对应Tmn的RMS重投影误差计算过程。
步骤3.4、对任意特征点，令其世界坐标为Mij＝[Xij，Yij，Zij]，在成像平面的坐标为u′ij＝[u′ij，v′ij]，规范化平面中的坐标为u″ij＝[u″ij，v″ij]，传感器平面中坐标为u″′ij＝[u″′ij，v″′ij]，由于标定板一般是平面的，不失一般性，可令Zij＝0，由鱼眼相机成像模型(3)式，得到：
其中其中1≤i≤K,1≤j≤L，(4)式两端叉乘向量pij，得到：
展开(5)式，有：
步骤3.5、对任意一幅标定图Ii，联立其所有特征点对应的(6.3)式，并根据的标准正交性，可唯一确定
步骤3.6、将步骤3.5的结果代入(6.1)式、(6.2)式，对K幅图的所有特征点联立等式(6.1)、(6.2)，求解该方程组可得到
步骤3.7、对任意特征点Mij，令其重投影至传感器平面的坐标为成像平面的坐标为则K幅标定图的所有特征点的RMS重投影误差值为：
其中，
而为了得到先计算由步骤3.5、3.6求得又由于Mij已知，定义：
则，由(4)式可得：
其中，由(10)式可以求得多个的解，与ρ″′ij最接近的被确定为正确解。得到的值后，可计算如下：
步骤3.8、对所有m，n，0≤m≤6，0≤n≤6对应的Tmn，通过步骤3.3～3.7计其对应的RMS重投影误差值errRMS，记录该值取最小值对应的m，n分别为mbest，nbest。
步骤3.9、若Umax-Umin＜ξ(ξ为预设精度要求)，更新搜索范围Umin＝Umin+(mbest-1)·δu，Umax＝Umax+(mbest+1)·δu,Vmin＝Vmin+(nbest-1)·δv，Vmax＝Vmax+(nbest+1)·δv，而后更新单位网格尺寸δu＝δu/3，δv＝δv/3，将新的搜索区间按7×7划分网格，所有网格点为Tmn＝(Umin+m·δu，Vmin+n·δv)，其中0≤m≤6，0≤n≤6。再次执行步骤3.3～3.8，并重复步骤3.9，直到满足Umax-Umin＜ξ时，则得到标定板图像的畸变中心偏移的初值Tinit＝((Umin+mbest·δu，Vmin+nbest·δv))。
其中，对于本申请实施例提供的步骤S4，即以LM算法最小化RMS重投影误差，优化内参和外参包括：
设定LM算法的优化参数为内参A和内参T，其中，设定内参A的优化初始值为单位阵，内参T的优化初始值为畸变中心偏移的初值Tinit；
执行LM算法最小化RMS重投影误差，得到优化后的内参，并参考鱼眼相机的成像模型，得到优化后的外参。
具体的，步骤4.1、设定LM算法的优化参数为内参A和内参T，即相机制造误差参数A和T，其中，设定内参A的优化初始值为单位阵，内参T的优化初始值为在上述步骤S3中得到的Tinit
步骤4.2、执行LM算法，令LM算法执行过程中的优化参数A，T任意测试值为Atest，Ttest，通过(2)式和在步骤S2中得到的特征点在规范化平面的坐标，可以得到对应的所有特征点在传感器平面的坐标。另外，步骤4.3至4.6给出LM优化评估值errRMS，即对应任意Atest，Ttest的RMS重投影误差的计算过程。
步骤4.3、对任意特征点，令其世界坐标为Mij＝[Xij，Yij，Zij]，在成像平面的坐标为u′ij＝[u′ij，v′ij]，规范化平面中的坐标为u″ij＝[u″ij，v″ij]，传感器平面中坐标为u″′ij＝[u″′ij，v″′ij](步骤4.2的结果)，由于标定板一般是平面的，不失一般性，可令Zij＝0，由鱼眼相机成像模型(3)式，得到：
其中，1≤i≤K，1≤j≤L，(4)式两端叉乘向量pij，得到：
展开(5)式，有：
步骤4.4、对任意一幅标定图Ii，联立其所有特征点对应的式(6.3)式，并根据的标准正交性，可唯一确定
步骤4.5、将步骤4.4的结果代入(6.1)式、(6.2)式，对K幅图的所有特征点联立等式(6.1)式、(6.2)式，求解该方程组可得到
步骤4.6、对任意特征点Mij，令其重投影至传感器平面的坐标为成像平面的坐标为则K幅标定图的所有特征点的RMS重投影误差为：
其中，
而为了得到首先需要计算由步骤4.5、步骤4.6求得又由于Mij已知，定义：
由(4)式可得：
其中，由(10)式可以求得多个的解，与ρ″′ij最接近的被确定为正确解。得到的值后，可计算如下
步骤4.7、执行LM算法结束后，记录LM优化参数A，T的最优值为Abest，Tbest。
其中，通过(2)式得到对应的所有的特征点在传感器平面的坐标，而后执行步骤4.3～4.6，其中，在步骤4.4、4.5中可以得到对应Abest，Tbest的这组值和Abest，Tbest即为最终标定结果，记此时步骤4.6得到的errRMS为errN，即当多项式阶数为N时的最终RMS重投影误差。
由上述内容可知，本申请实施例提供的鱼眼相机标定方法，提出了一种一般化的鱼眼相机成像模型，不仅无需特殊标定设备，适用于大部分鱼眼相机，提高了适用性；而且，利用了像素宽高比、显示宽高比和存储宽高比的关系，使得鱼眼相机成像模型更加一般化的同时，摆脱了鱼眼图像分辨率对标定的影响，使得标定结果更加稳定；并且，本申请实施例提供了一种新的基于LM算法的精确求解相机参数的方法，提高了标定的精确度。
相应的，参考图4所示，为本申请实施例提供的一种鱼眼相机标定装置的示意图，其中，标定装置包括：
鱼眼成像建立模块1，用于建立鱼眼相机的成像模型；
处理模块2，用于从不同视角采集多幅标定板图像，在标定板图像上获取特征点的坐标，参考标定板图像的格式调整特征点的坐标，并根据标定板图像中特征点的预设规律，确定特征点的世界坐标；
计算模块3，用于以RMS重投影误差为评估值，计算标定板图像的畸变中心偏移的初值；
优化模块4，用于最小化RMS重投影误差，优化内参和外参。
其中，优化模块4以LM算法最小化RMS重投影误差，优化内参和外参。
本申请实施例提供的一种鱼眼相机标定方法及标定装置，包括：建立所述鱼眼相机的成像模型；从不同视角采集多幅标定板图像，在标定板图像上获取特征点的坐标，参考标定板图像的格式调整特征点的坐标，并根据标定板图像中特征点的预设规律，确定特征点的世界坐标；以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；最小化所述RMS重投影误差，优化内参和外参。由上述内容可知，本申请实施例提供的技术方案无需特殊的标定设备，能够适用于大多数鱼眼相机，提高了标定方法的适用性；而且，利用了像素宽高比、显示宽高比和存储宽高比的关系，使得鱼眼相机成像模型更加一般化的同时，摆脱了鱼眼图像分辨率对标定的影响，使得标定结果更加稳定；并且，本申请实施例提供了一种新的基于LM算法的精确求解相机参数的方法，提高了标定的精确度。
Claims (9)
1.一种鱼眼相机标定方法，其特征在于，包括：
建立所述鱼眼相机的成像模型；
从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；
以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；
最小化所述RMS重投影误差，优化内参和外参；
其中，所述建立所述鱼眼相机的成像模型包括：
获取空间中任意一景点在世界坐标系中的齐次坐标为X，在传感器平面中的投影为u″′＝[u″′，v″′]T，在规范化平面中的投影为u″＝[u″，v″]T，以及，在成像平面中的投影为u′＝[u′，v′]T，其中，所述u″与u′关系式为：
或者为：
其中，RSAR＝RDAR/RPAR，RPAR为像素宽高比，RDAR为显示宽高比，RSAR为存储宽高比；
所述u″′与所述u″关系式为：
u″′＝Au″+T
其中，A和T为所述内参中相机制造偏差的参数；
以及，所述鱼眼相机的成像模型为：
λ·p＝λ·g(u″′)＝λ·g(Au″+T)＝λ·g(A·K(u′)+T)＝P·X
其中，λ＞0；p为所述鱼眼相机的视点至所述景点的向量，P为世界坐标系与相机坐标系的透视矩阵；g为成像函数，且表示为g(u″′，v″′)＝(u″′，v″′，f(ρ″′))T，f(ρ″′)为所述鱼眼相机畸变函数，f(ρ″′)＝a0+a1ρ″′+a2(ρ″′)2+…aN(ρ″′)N，以及，所述鱼眼相机成像模型中的A，T，a0，a2，...，aN均为所述内参，P为所述外参。
2.根据权利要求1所述的鱼眼相机标定方法，其特征在于，所述最小化所述RMS重投影误差，优化内参和外参包括：
以LM算法最小化所述RMS重投影误差，优化内参和外参。
3.根据权利要求2所述的鱼眼相机标定方法，其特征在于，所述参考所述标定板图像的格式调整所述特征点的坐标包括：
根据所述标定板图像的格式，确定所述标定板图像的显示宽高比；根据所述标定板图像的格式的宽高，计算所述标定板图像的存储宽高比；以及，根据公式所述RSAR＝RDAR/RPAR，计算所述标定板图像的像素宽高比；
根所述标定板图像的显示宽高比、存储宽高比、像素宽高比、所述特征点对应成像平面的坐标和所述u″与u′关系式，计算所述特征点对应所述规范化平面的坐标。
4.根据权利要求3所述的鱼眼相机标定方法，其特征在于，所述以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值包括：
S31、初始化所述内参A为单位阵，对所述内参T设定搜索区间范围，并对所述搜索区间范围网格化得到多个网格点；
S32、根据所述内参A、所述网格点对应的内参T、所述特征点对应所述规范化平面的坐标和所述u″′与所述u″关系式，计算所述特征点对应所述传感器平面的坐标，以及，计算所述网格点对应的RMS重投影误差；
S33、以当前计算出的最小的RMS重投影误差所对应的网格点为中心，重新设定所述搜索区间范围，并按相应比例更新网格化的所述搜索区间范围的网格大小；
S34、重复所述步骤S32至步骤S33，直至所述搜索区间范围缩小到预设精度要求，则确定对应RMS重投影误差最小的网格点所对应的内参T为所述标定板图像的畸变中心偏移的初值Tinit。
5.根据权利要求4所述的鱼眼相机标定方法，其特征在于，所述对所述搜索区间范围网格化得到多个网格点为：
对所述搜索区间范围网格化为矩形网格得到m*n个网格点，且每个网格的尺寸相同，m和n均为不小于2的整数。
6.根据权利要求5所述的鱼眼相机标定方法，其特征在于，对所述搜索区间范围网格化为矩形网格得到7*7个网格点，且每个网格的尺寸相同。
7.根据权利要求4所述的鱼眼相机标定方法，其特征在于，所述以LM算法最小化所述RMS重投影误差，优化内参和外参包括：
设定LM算法的优化参数为所述内参A和内参T，其中，设定所述内参A的优化初始值为单位阵，所述内参T的优化初始值为所述畸变中心偏移的初值Tinit；
执行所述LM算法最小化所述RMS重投影误差，得到优化后的所述内参，并参考所述鱼眼相机的成像模型，得到优化后的外参。
8.一种鱼眼相机标定装置，其特征在于，包括：
鱼眼成像建立模块，用于建立所述鱼眼相机的成像模型；
处理模块，用于从不同视角采集多幅标定板图像，在所述标定板图像上获取特征点的坐标，参考所述标定板图像的格式调整所述特征点的坐标，并根据所述标定板图像中所述特征点的预设规律，确定所述特征点的世界坐标；
计算模块，用于以RMS重投影误差为评估值，计算所述标定板图像的畸变中心偏移的初值；
优化模块，用于最小化所述RMS重投影误差，优化内参和外参；
其中，所述建立所述鱼眼相机的成像模型包括：
获取空间中任意一景点在世界坐标系中的齐次坐标为X，在传感器平面中的投影为u″′＝[u″′，v″′]T，在规范化平面中的投影为u″＝[u″，v″]T，以及，在成像平面中的投影为u′＝[u′，v′]T，其中，所述u″与u′关系式为：
或者为：
其中，RSAR＝RDAR/RPAR，RPAR为像素宽高比，RDAR为显示宽高比，RSAR为存储宽高比；
所述u″′与所述u″关系式为：
u″′＝Au″+T
其中，A和T为所述内参中相机制造偏差的参数；
以及，所述鱼眼相机的成像模型为：
λ·p＝λ·g(u″′)＝λ·g(Au″+T)＝λ·g(A·K(u′)+T)＝P·X
其中，λ＞0；p为所述鱼眼相机的视点至所述景点的向量，P为世界坐标系与相机坐标系的透视矩阵；g为成像函数，且表示为g(u″′，v″′)＝(u″′，v″′，f(ρ″′))T，f(ρ″′)为所述鱼眼相机畸变函数，f(ρ″′)＝a0+a1ρ″′+a2(ρ″′)2+…aN(ρ″′)N，以及，所述鱼眼相机成像模型中的A，T，a0，a2，...，aN均为所述内参，P为所述外参。
9.根据权利要求8所述的鱼眼相机标定装置，其特征在于，所述优化模块以LM算法最小化所述RMS重投影误差，优化内参和外参。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410627763.9A CN104392435B (zh) | 2014-11-10 | 2014-11-10 | 鱼眼相机标定方法及标定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410627763.9A CN104392435B (zh) | 2014-11-10 | 2014-11-10 | 鱼眼相机标定方法及标定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104392435A CN104392435A (zh) | 2015-03-04 |
| CN104392435B true CN104392435B (zh) | 2018-11-23 |
Family
ID=52610333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410627763.9A Active CN104392435B (zh) | 2014-11-10 | 2014-11-10 | 鱼眼相机标定方法及标定装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104392435B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108317958A (zh) * | 2017-12-29 | 2018-07-24 | 广州超音速自动化科技股份有限公司 | 一种图像测量方法及测量仪 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815866B (zh) * | 2015-11-30 | 2020-04-03 | 宁波舜宇光电信息有限公司 | 鱼眼相机的标定方法及其标定系统和标板 |
| CN106600548B (zh) * | 2016-10-20 | 2020-01-07 | 广州视源电子科技股份有限公司 | 鱼眼摄像头图像处理方法和系统 |
| CN106780622B (zh) * | 2016-12-05 | 2020-06-02 | 常州智行科技有限公司 | 一种用于汽车前碰预警及车道偏离预警的摄像头标定方法 |
| CN106846410B (zh) * | 2016-12-20 | 2020-06-19 | 北京鑫洋泉电子科技有限公司 | 基于三维的行车环境成像方法及装置 |
| CN106875447B (zh) * | 2017-01-18 | 2019-05-31 | 成都易瞳科技有限公司 | 一种鱼眼全景相机自然环境下标定方法 |
| CN107274439A (zh) * | 2017-07-04 | 2017-10-20 | 西北工业大学 | 基于地基鱼眼相机阵列的无人机光学跟踪定位方法 |
| CN107507248A (zh) * | 2017-09-05 | 2017-12-22 | 微鲸科技有限公司 | 图像校正方法及装置 |
| CN107886547B (zh) * | 2017-11-10 | 2020-04-28 | 长沙全度影像科技有限公司 | 一种鱼眼相机标定方法及系统 |
| CN108596826A (zh) * | 2017-12-29 | 2018-09-28 | 广东工业大学 | 基于球面镜头图像采集方法、系统、装置及可读存储介质 |
| CN108171759A (zh) * | 2018-01-26 | 2018-06-15 | 上海小蚁科技有限公司 | 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端 |
| CN108510547A (zh) * | 2018-03-13 | 2018-09-07 | 深圳大学 | 一种远心移轴相机标定方法和系统 |
| CN109297680B (zh) * | 2018-08-14 | 2021-07-06 | 奥比中光科技集团股份有限公司 | 光轴偏移误差值的检测方法及装置 |
| CN109727292B (zh) * | 2018-12-29 | 2020-09-08 | 哈尔滨拓博科技有限公司 | 基于多摄像头-投影仪的互动投影系统及自动化标定方法 |
| CN110930463B (zh) * | 2019-12-06 | 2023-03-10 | 北京迈格威科技有限公司 | 一种监控摄像头内参标定方法、装置和电子设备 |
| CN111156997B (zh) * | 2020-03-02 | 2021-11-30 | 南京航空航天大学 | 一种基于相机内参在线标定的视觉/惯性组合导航方法 |
| CN112102417B (zh) * | 2020-09-15 | 2024-04-19 | 阿波罗智联(北京)科技有限公司 | 确定世界坐标的方法和装置 |
| CN112361958B (zh) * | 2020-11-04 | 2022-06-21 | 同济大学 | 一种线激光与机械臂标定方法 |
| CN113808221B (zh) * | 2021-09-26 | 2023-09-01 | 杭州环峻科技有限公司 | 一种全景环带相机的标定方法及标定系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021947A (zh) * | 2006-09-22 | 2007-08-22 | 东南大学 | 三维扫描系统中双摄像机标定方法 |
| CN101025824A (zh) * | 2007-03-30 | 2007-08-29 | 东南大学 | 三维扫描系统中的基于固定参数与可变参数的标定方法 |
| CN102096923A (zh) * | 2011-01-20 | 2011-06-15 | 上海杰图软件技术有限公司 | 鱼眼标定方法和装置 |
| CN102169573A (zh) * | 2011-03-23 | 2011-08-31 | 北京大学 | 高精度的宽视场镜头实时畸变矫正方法及系统 |
| CN102663767A (zh) * | 2012-05-08 | 2012-09-12 | 北京信息科技大学 | 视觉测量系统的相机参数标定优化方法 |
-
2014
- 2014-11-10 CN CN201410627763.9A patent/CN104392435B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021947A (zh) * | 2006-09-22 | 2007-08-22 | 东南大学 | 三维扫描系统中双摄像机标定方法 |
| CN101025824A (zh) * | 2007-03-30 | 2007-08-29 | 东南大学 | 三维扫描系统中的基于固定参数与可变参数的标定方法 |
| CN102096923A (zh) * | 2011-01-20 | 2011-06-15 | 上海杰图软件技术有限公司 | 鱼眼标定方法和装置 |
| CN102169573A (zh) * | 2011-03-23 | 2011-08-31 | 北京大学 | 高精度的宽视场镜头实时畸变矫正方法及系统 |
| CN102663767A (zh) * | 2012-05-08 | 2012-09-12 | 北京信息科技大学 | 视觉测量系统的相机参数标定优化方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108317958A (zh) * | 2017-12-29 | 2018-07-24 | 广州超音速自动化科技股份有限公司 | 一种图像测量方法及测量仪 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104392435A (zh) | 2015-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104392435B (zh) | 鱼眼相机标定方法及标定装置 | |
| CN109767476B (zh) | 一种自动对焦双目摄像头标定及深度计算方法 | |
| CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及系统 | |
| CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
| CN109523595B (zh) | 一种建筑工程直线棱角间距视觉测量方法 | |
| CN103278138B (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
| CN104374338B (zh) | 一种基于固定相机和单靶标的单轴旋转角的视觉测量方法 | |
| CN110345921B (zh) | 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统 | |
| CN103557841B (zh) | 一种提高多相机合成影像摄影测量精度的方法 | |
| US20150279016A1 (en) | Image processing method and apparatus for calibrating depth of depth sensor | |
| CN101377405B (zh) | 一种空间圆姿态参数和几何参数的视觉测量方法 | |
| US20220180560A1 (en) | Camera calibration apparatus, camera calibration method, and nontransitory computer readable medium storing program | |
| CN101794449A (zh) | 一种标定摄像机参数的方法及装置 | |
| CN113947638B (zh) | 鱼眼相机影像正射纠正方法 | |
| CN105809706A (zh) | 一种分布式多像机系统的全局标定方法 | |
| CN109974618A (zh) | 多传感器视觉测量系统的全局标定方法 | |
| CN104167001B (zh) | 基于正交补偿的大视场摄像机标定方法 | |
| CN104697463A (zh) | 一种双目视觉传感器的消隐特征约束标定方法及装置 | |
| CN106157322A (zh) | 一种基于平面镜的像机安装位置标定方法 | |
| CN108154535B (zh) | 基于平行光管的摄像机标定方法 | |
| CN114332191A (zh) | 三维点云误差补偿方法及装置 | |
| CN103258327B (zh) | 一种基于二自由度摄像机的单点标定方法 | |
| CN108520541B (zh) | 一种广角摄像机的标定方法 | |
| CN112785685B (zh) | 一种装配引导方法及系统 | |
| CN110470216B (zh) | 一种三镜头高精度视觉测量方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | "change of name, title or address" | ||
| CP03 | "change of name, title or address" |
Address after: 215347 7th floor, IIR complex, 1699 Weicheng South Road, Kunshan City, Suzhou City, Jiangsu Province Patentee after: Kunshan Microelectronics Technology Research Institute Address before: 215347 905, complex building, No. 1699, Weicheng South Road, Kunshan City, Suzhou City, Jiangsu Province Patentee before: KUNSHAN BRANCH, INSTITUTE OF MICROELECTRONICS OF CHINESE ACADEMY OF SCIENCES |