CN109003312B - 一种基于非线性优化的相机标定方法 - Google Patents

一种基于非线性优化的相机标定方法 Download PDF

Info

Publication number
CN109003312B
CN109003312B CN201810973318.6A CN201810973318A CN109003312B CN 109003312 B CN109003312 B CN 109003312B CN 201810973318 A CN201810973318 A CN 201810973318A CN 109003312 B CN109003312 B CN 109003312B
Authority
CN
China
Prior art keywords
matrix
camera
parameters
algorithm
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810973318.6A
Other languages
English (en)
Other versions
CN109003312A (zh
Inventor
朱红军
钱鹰
刘歆
聂顺超
夏璨
杨鹏程
张俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201810973318.6A priority Critical patent/CN109003312B/zh
Publication of CN109003312A publication Critical patent/CN109003312A/zh
Application granted granted Critical
Publication of CN109003312B publication Critical patent/CN109003312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于非线性优化的相机标定方法，属于图像处理技术领域。该方法包括以下步骤：S1：获取数据：制作棋盘格标定板，并测量各方格的尺寸，从不同角度拍摄两张以上照片；S2：计算单应矩阵；S3：计算内参数、外参数和畸变因数的初始值；S4：用非线性优化方法精化计算结果。本发明在张正友标定算法的基础上，引入知识和约束条件，使得搜索范围更小，从而减小陷入局部最优的可能性，使算法更稳定；并且只需要打印一个棋盘格图形，测量其尺寸就可以标定相机，其精度明显优于比经典的张正友算法。

Description

一种基于非线性优化的相机标定方法
技术领域
本发明属于图像处理技术领域，涉及一种基于非线性优化的少图高精度相机标定方法。
背景技术
目前，相机标定方法有线性变换法、非线性优化法、两步标定法等方法，(1)线性变换法：计算复杂度小，有唯一的解析解，但是由于相机标定对数据噪声相当敏感，该方法的结果精度较低。(2)非线性优化法：通过迭代优化得到一个最优解，可以得到高精度的结果，但相机标定是一个非凸优化问题，其精度对初始值高度依赖。(3)两步标定法(如张正友标定算法)：通过线性变换求得参数初始值，然后对其进行非线性优化，本质上是由粗到精的方法，以其精度高和标定板制作简单而得到广泛应用，但其在只有一到两张标定图时效果不佳。
相机模型就是用表达式模拟相机成像过程，通常采用小孔成像模型，如图1所示，相机模型表达式为：
Figure GDA0003274814240000011
其中，
Figure GDA0003274814240000012
表示图像上的齐次坐标，
Figure GDA0003274814240000013
表示标定点(标定板上的角点)的齐次坐标，I是3×3的单位矩阵，0是3个元素的0向量(列向量)，
Figure GDA0003274814240000014
Figure GDA0003274814240000015
其中，r11-r33的3×3矩阵为旋转矩阵，太复杂，但可以用ψ、θ和
Figure GDA0003274814240000016
参数表示，两者关系式为
Figure GDA0003274814240000017
当不考虑相机畸变时，相机标定就是求K中的5个参数和R中的6个参数。但实际上在精度要求高的情况下必须考虑相机畸变，也就是说通过
Figure GDA0003274814240000018
计算的结果与实际成像是有差异的，需要对结果
Figure GDA0003274814240000019
进行修正，这个修正的表达式一般采用
Figure GDA00032748142400000110
Figure GDA00032748142400000111
这里又有2个参数，所以考虑相机畸变时，相机标定就是求13个参数。直接计算非常困难，一般先算出P＝K[I|0]R,然后再分解出11个参数。但由于标定数据存在噪声，用解析方法计算的结果往往不精确，所以，一般只是将其作为非线性优化的初始值。
因此，现有相机标定方法中，对少图相机标定方法，要么标定物特别复杂，要么精度不高。故，有必要研究一种少图高精度的相机标定方法。
发明内容
有鉴于此，本发明的目的在于提供一种基于非线性优化的相机标定方法，在张正友标定算法的基础上，引入知识和约束条件，使得搜索范围更小，从而减小陷入局部最优的可能性，使算法更稳定。该方法只要有两张图甚至一张图就可以算出所有参数，然后通过图中的已经尺寸物体精确确定未知尺寸的物体等数据，适用于刑侦等特殊场合。
为达到上述目的，本发明提供如下技术方案：
一种基于非线性优化的相机标定方法，该方法具体包括以下步骤：
S1：获取数据：制作棋盘格标定板，并测量各方格的尺寸，从不同角度拍摄两张以上照片；
S2：计算单应矩阵；
S3：计算内参数、外参数和畸变因数的初始值；
S4：用非线性优化方法精化计算结果。
进一步，所述步骤S2具体包括：令齐次坐标为
Figure GDA0003274814240000021
的空间点在图像平面上的齐次坐标为
Figure GDA0003274814240000022
Figure GDA0003274814240000023
有
Figure GDA0003274814240000024
上式结果为2×12矩阵；将标定点(角点)坐标和及其图像上的像点坐标代入上式解方程组，得到单应矩阵P(是一个3×4的矩阵)；
进一步，所述步骤S3具体包括：采用无畸变情况下的相机模型，如下式：
Figure GDA0003274814240000025
其中，f表示焦距；uo、vo表示主点在图像中的坐标；r11～33表示旋转矩阵的各元素；t1～3表示平移向量的各元素、x、y表示三维空间中目标点的坐标，u、v表示目标点的像的图像坐标；zc表示相机坐标系中目标点的Z坐标。
已知P，计算下式等号右侧中的参数：
Figure GDA0003274814240000031
其中，P是3X4的矩阵，只取其中的第1、2、4列，即删除第3列后，得到另外一个3X3的矩阵H，其中的第i个列向量表示为：hi＝[h1i h2i h3i]T；
(1)计算内参数：f和uo、vo
求解如下方程组：
Figure GDA0003274814240000032
即
Vb＝0
其中，vij＝[h3ih3j -(h3ih1j+h1ih3j) -(h2ih3j+h3ih2j) h1ih1j+h2ih2j]，
Figure GDA0003274814240000033
其解为VTV的最小特征值对应的特征向量，即b向量的值；通过上式求解出第一个参数矩阵，称为内参数矩阵；
(2)计算外参数：
Figure GDA0003274814240000034
这个矩阵中的12个参数；
令
Figure GDA0003274814240000035
则通过下式求出第二个参数矩阵，称为外参数矩阵；
Figure GDA0003274814240000036
其中，τ＝1/‖A-1h1‖，r1、r2、r3和t分别为外参数矩阵R中的各个列向量；
(3)计算畸变因数：
k＝(DTD)-1DTd
其中，k＝[k1 k2]T，
Figure GDA0003274814240000037
u,v是用无畸变相机模型算出来的图像点，
Figure GDA0003274814240000038
是实际的像点位置，u0,v0是内参数矩阵中的两个元素，k1,k2分别表示一阶和二阶畸变因数。
进一步，所述步骤S4具体包括：采用Levenberg-Marquardt方法进一步优化内外参数和畸变因子，优化的目标函数为：
Figure GDA0003274814240000041
其中，
Figure GDA0003274814240000042
是通过相机模型算出的点，mij是实际的图像坐标，d(k,mij)是角点离其所在的行和列方向上的线的距离，k是控制因子，m,n分别表示每行和列的标定点数量。
本发明的有益效果在于：本发明所述方法只需要打印一个棋盘格图形，测量其尺寸就可以标定相机，其精度明显优于经典的张正友标定算法。
附图说明
为了使本发明的目的、技术方案和效果说明更加清楚，本发明提供如下附图：
图1为小孔成像模型图；
图2为棋盘格标定板；
图3为本发明所述相机标定方法流程图；
图4为单图无噪声的成功率对比图；
图5为本发明所述方法与张氏算法误差的均值对比图(单图无噪声)；
图6为本发明所述方法与张氏算法误差的标准差对比图(单图无噪声)；
图7为双图无噪声的成功率对比图；
图8为本发明所述方法与张氏算法误差的均值对比图(双图无噪声)；
图9为本发明所述方法与张氏算法误差的标准差对比图(双图无噪声)；
图10为双图量化噪声的成功率对比图；
图11为本发明所述方法与张氏算法误差的均值对比图(双图量化噪声)；
图12为本发明所述方法与张氏算法误差的标准差对比图(双图量化噪声)。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
一种基于非线性优化的相机标定方法，如图3所示，具体包括以下步骤：
S1：获取数据：如图2所示，制作棋盘格标定板，并测量各方格的尺寸，从不同角度拍摄两张以上照片；
S2：计算单应矩阵；
S3：计算内参数、外参数和畸变因数的初始值；
S4：用非线性优化方法精化计算结果。
仿真实验：
分别对单图、双图以及实图(两张图)使用本发明所述相机标定方法和张正友标定方法进行相机标定处理，分别从成功率、准确度和精确度三方面进行对比分析两种方法的效果。成功率用标定结果为具有物理意义的实数的次数与总实验次数的比值表示。准确度计算结果与参考值的差的均值来度量。精确度用标定结果的标准差来度量。
1、单图无噪声效果
(1)成功率：如图4所示，图4a中灰色表示成功，黑色表示不成功，上图为本发明提出的算法，下图为经典的张正友算法；图4b为不同角点数下的结果；图4c为标定板与相机不同角度下的结果；图4b和4c中，实线为本发明提出的算法；虚线为张正友算法。
(2)准确度：如图5所示，图5表示本发明所述方法与张氏算法的误差均值对比图，反映准确度。
(3)精确度：如图6所示，图6表示本发明所述方法与张氏算法的误差标准差对比图，反映精确度。
2、双图无噪声效果
(1)成功率：如图7所示，图7a中灰色表示成功，黑色表示不成功，上图为本发明提出的算法，下图为经典的张正友算法；图7b为不同角点数下的结果；图7c为标定板与相机不同角度下的结果；图7b和7c中，实线为本发明提出的算法；虚线为张正友算法。
(2)准确度：如图8所示，图8表示本发明所述方法与张氏算法误差的均值对比图，反映准确度。
(3)精确度：如图9所示，图9表示本发明所述方法与张氏算法误差的标准差对比图，反映精确度。
3、双图量化噪声效果
(1)成功率：如图10所示，图10a中灰色表示成功，黑色表示不成功，上图为本发明提出的算法，下图为经典的张正友算法；图10b为不同角点数下的结果；图10c为标定板与相机不同角度下的结果；图10b和10c中，实线为本发明提出的算法；虚线为张正友算法。
(2)准确度：如图11所示，图11表示本发明所述方法与张氏算法误差的均值对比图，反映准确度。
(3)精确度：如图12所示，图12表示本发明所述方法与张氏算法误差的标准差对比图，反映精确度。
4、实图(两图)效果
(1)成功率：张氏算法成功率为20％，本发明提出的算法为100％。
(2)准确度和精确度：因为没有标准值，所以对真实图标定时不能直接计算其误差，所以，用标定出来的参数计算得到的图像点与实际的图像点的距离差来反映准确度，用不同图像组合计算出的内参数的标准差来反映精确度。从表1、表2中可看出，本发明提出的算法精确度远高于张氏算法。
表1重投影错误率表
Figure GDA0003274814240000061
表2内部参数的标准差值表
Figure GDA0003274814240000062
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (2)

1.一种基于非线性优化的相机标定方法，其特征在于，该方法具体包括以下步骤：
S1：获取数据：制作棋盘格标定板，并测量各方格的尺寸，从不同角度拍摄两张以上照片；
S2：计算单应矩阵；
S3：计算内参数、外参数和畸变因数的初始值；
S4：用非线性优化方法精化计算结果；
所述步骤S3具体包括：采用无畸变情况下的相机模型，如下式：
Figure FDA0003274814230000011
其中，f表示焦距；uo、vo表示主点在图像中的坐标；r11～33表示旋转矩阵的各元素；t1～3表示平移向量的各元素；x、y表示三维空间中目标点的坐标；u、v表示目标点的像的图像坐标；zc表示相机坐标系中目标点的Z坐标；
已知P，计算下式等号右侧中的参数：
Figure FDA0003274814230000012
其中，P是3×4的矩阵，只取其中的第1、2、4列，即删除第3列后，得到另外一个3×3的矩阵H，其中的第i个列向量表示为：hi＝[h1i h2i h3i]T；
(1)计算内参数：f和uo、vo
求解如下方程组：
Figure FDA0003274814230000013
即
Vb＝0
其中，vij＝[h3ih3j -(h3ih1j+h1ih3j) -(h2ih3j+h3ih2j) h1ih1j+h2ih2j]，
Figure FDA0003274814230000014
其解为VTV的最小特征值对应的特征向量，即b向量的值；通过上式求解出第一个参数矩阵，称为内参数矩阵；
(2)计算外参数：
Figure FDA0003274814230000015
这个矩阵中的12个参数；
令
Figure FDA0003274814230000016
则通过下式求出第二个参数矩阵，称为外参数矩阵；
Figure FDA0003274814230000021
其中，τ＝1/||A-1h1||，r1、r2、r3和t分别为外参数矩阵R中的各个列向量；
(3)计算畸变因数：
k＝(DTD)-1DTd
其中，k＝[k1 k2]T，
Figure FDA0003274814230000022
u，v是用无畸变相机模型算出来的图像点，
Figure FDA0003274814230000023
是实际的像点位置，u0，v0是内参数矩阵中的两个元素，k1，k2分别表示一阶和二阶畸变因数。
2.根据权利要求1所述的一种基于非线性优化的相机标定方法，其特征在于，所述步骤S4具体包括：采用Levenberg-Marquardt方法进一步优化内外参数和畸变因子，优化的目标函数为：
Figure FDA0003274814230000024
其中，
Figure FDA0003274814230000025
是通过相机模型算出的点，mij是实际的图像坐标，d(k，mij)是角点离其所在的行和列方向上的线的距离，k是控制因子，m，n分别表示每行和列的标定点数量。
CN201810973318.6A 2018-08-24 2018-08-24 一种基于非线性优化的相机标定方法 Active CN109003312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810973318.6A CN109003312B (zh) 2018-08-24 2018-08-24 一种基于非线性优化的相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810973318.6A CN109003312B (zh) 2018-08-24 2018-08-24 一种基于非线性优化的相机标定方法

Publications (2)

Publication Number Publication Date
CN109003312A CN109003312A (zh) 2018-12-14
CN109003312B true CN109003312B (zh) 2022-01-28

Family

ID=64593860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810973318.6A Active CN109003312B (zh) 2018-08-24 2018-08-24 一种基于非线性优化的相机标定方法

Country Status (1)

Country Link
CN (1) CN109003312B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685078B (zh) * 2018-12-17 2022-04-05 浙江大学 基于自动标注的红外图像识别方法
CN110298888B (zh) * 2019-06-12 2021-09-07 上海智能制造功能平台有限公司 基于单轴高精度位移平台的相机标定方法
CN111882605A (zh) * 2020-06-30 2020-11-03 浙江大华技术股份有限公司 监控设备图像坐标转换方法、装置和计算机设备
CN112889786B (zh) * 2021-01-15 2023-04-28 吉林农业大学 一种实时追踪田间作物苗区的喷药系统及控制方法
CN113393538B (zh) * 2021-07-14 2024-05-28 南京苏润科技发展有限公司 一种基于双棋盘格标定的闸门门缝检测方法
CN113781401A (zh) * 2021-08-17 2021-12-10 浙江工业大学 一种无人车车辆偏移预警方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358631A (zh) * 2017-06-27 2017-11-17 大连理工大学 一种虑及三维畸变的双目视觉重建方法
CN107633536A (zh) * 2017-08-09 2018-01-26 武汉科技大学 一种基于二维平面模板的相机标定方法及系统
CN108053450A (zh) * 2018-01-22 2018-05-18 浙江大学 一种基于多约束的高精度双目相机标定方法
CN108269289A (zh) * 2018-01-16 2018-07-10 上海汇像信息技术有限公司 一种相机参数标定的两步优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750697B (zh) * 2012-06-08 2014-08-20 华为技术有限公司 一种参数标定方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358631A (zh) * 2017-06-27 2017-11-17 大连理工大学 一种虑及三维畸变的双目视觉重建方法
CN107633536A (zh) * 2017-08-09 2018-01-26 武汉科技大学 一种基于二维平面模板的相机标定方法及系统
CN108269289A (zh) * 2018-01-16 2018-07-10 上海汇像信息技术有限公司 一种相机参数标定的两步优化方法
CN108053450A (zh) * 2018-01-22 2018-05-18 浙江大学 一种基于多约束的高精度双目相机标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
相机目标自标定系统三维重构的研究;陈芬;《西昌学院学报》;20171231;第3-4节 *

Also Published As

Publication number Publication date
CN109003312A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109003312B (zh) 一种基于非线性优化的相机标定方法
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
CN108230397B (zh) 多目摄像机标定与校正方法和装置、设备、程序和介质
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
US8306323B2 (en) Method and apparatus for correcting depth image
CN111862224B (zh) 确定相机与激光雷达之间外参的方法和装置
CN106485758B (zh) 一种无人机摄像头标定装置、标定方法及流水线标定实现方法
CN108986172A (zh) 一种面向小景深系统的单视图线性摄像机标定方法
Dufour et al. Integrated digital image correlation for the evaluation and correction of optical distortions
CN110044262B (zh) 基于图像超分辨率重建的非接触式精密测量仪及测量方法
CN110310272B (zh) 图像配准方法及终端设备
JP7100199B2 (ja) カメラを較正するための構成及び該構成の計測
CN113160333B (zh) 参数优化相机标定方法
CN111508011A (zh) 一种飞行时间相机的深度数据校准方法
CN113012234A (zh) 基于平面变换的高精度相机标定方法
CN113822920B (zh) 结构光相机获取深度信息的方法、电子设备及存储介质
CN112233189A (zh) 多深度相机外部参数标定方法、装置及存储介质
CN107993268B (zh) 一种相机自标定的方法及系统
CN107770505A (zh) 投影机的影像校正方法及影像校正系统
CN112950723B (zh) 基于边缘尺度自适应散焦模糊估计的机器人相机标定方法
CN114897990A (zh) 一种基于神经网络的相机畸变标定方法、系统和存储介质
CN113407030B (zh) 视觉定位方法及相关装置、设备和存储介质
Zhu et al. Distortion correction method of a zoom lens based on the vanishing point geometric constraint
CN114820810A (zh) 一种基于Tsai氏相机平面标定算法的解析方法
TW483276B (en) Positioning method to accurately position the optical lens module and array sensor device of optical image sensing device and the device thereof, and the method to calibrate and compensate the image distortion of optical lens set

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant