CN108269289B - 一种相机参数标定的两步优化方法 - Google Patents

一种相机参数标定的两步优化方法 Download PDF

Info

Publication number
CN108269289B
CN108269289B CN201810037571.0A CN201810037571A CN108269289B CN 108269289 B CN108269289 B CN 108269289B CN 201810037571 A CN201810037571 A CN 201810037571A CN 108269289 B CN108269289 B CN 108269289B
Authority
CN
China
Prior art keywords
camera
parameters
calibration
distortion
external parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810037571.0A
Other languages
English (en)
Other versions
CN108269289A (zh
Inventor
杨政武
刘家朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai X Imaging Technology Co ltd
Original Assignee
Shanghai X Imaging Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai X Imaging Technology Co ltd filed Critical Shanghai X Imaging Technology Co ltd
Priority to CN201810037571.0A priority Critical patent/CN108269289B/zh
Publication of CN108269289A publication Critical patent/CN108269289A/zh
Application granted granted Critical
Publication of CN108269289B publication Critical patent/CN108269289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理与三维重建领域，具体涉及到三维测量领域中相机标定的相关技术。一种相机参数标定的两步优化方法，包括如下步骤：步骤a，基于张正友的平面标定算法设计一个能够估计相机镜头畸变参数的相机参数优化方法。步骤b，排除相机镜头的畸变影响再一次解算相机的内外参数。由于采用上述技术方案，在标定板不过度倾斜条件下，相对于光照与颜色变化、标定板的姿态变化以及相机镜头的畸变能够精确地标定相机参数。

Description

一种相机参数标定的两步优化方法
技术领域
本发明属于图像处理与三维重建领域，具体涉及到三维测量领域中相机标定的相关技术。
背景技术
在下述相机标定算法中假设(x,y)表示标定板的角点的像点坐标，(u,v,w)表示角点的物点坐标。在像点坐标与物点坐标之间存在下述变换关系，
s·[x,y,1]T＝K·[R,t]·[u,v,w,1]T，
其中
Figure BDA0001548464420000011
是由焦距(fx,fy)与主点(cx,cy)构成的相机内参数矩阵，[R,t]是由旋转矩阵R与平移矢量t组成的外参数矩阵。不同类型的标定算法用于解算相机参数方法的不同之处在于如何解算从物点坐标到像点坐标的变换矩阵，以及如何基于变换矩阵计算相机的内参数与外参数。
基于平面标定板的标定算法已逐渐成为未来发展的趋势。常用的基于平面标定板的相机标定算法有Zhang标定法与Tsai标定法。张正友标定法是典型的平面标定算法。由于采用了平面标定板，因此可以将从物点坐标到像点坐标的变换看作单应变换H＝K·[R,t]。而且，在采用平面标定板后，从物点坐标到像点坐标的变换关系可以简化为
Figure BDA0001548464420000012
由此可得，单应变换矩阵为H＝[h1,h2,h3]＝K·[r1,r2,1]。张正友标定法的标定过程为：首先根据单应变换求得相机的内参数矩阵，然后根据旋转向量之间的正交归一化关系计算相机的外参数矩阵，最后根据畸变模型求得相机镜头的畸变参数{k1,k2,k3,p1,p2}。Tsai的两步标定法就是基于径向校正约束(RAC---Radial Alignment Constraint)的标定法。Tsai标定法的两步标定过程为：首先根据径向约束关系构造下述关系式求解相机的外参数，
Figure BDA0001548464420000021
然后根据下述关系式可解得相机焦距f、畸变参数k与沿着z方向的平移量tz
Figure BDA0001548464420000022
张正友标定法与Tsai的两步标定法存在的共同缺点有两个方面：第一个方面是在未考虑畸变影响的条件下估算相机参数初始值，第二个方面是解算相机内外参数、估计畸变参数与再解算相机内外参数的非线性优化迭代过程的收敛结果依赖于相机参数的初始值。关于相机标定精度对双目视觉三维重建精度的影响，可以基于以下基本事实分析问题。在三维重建过程中，首先需要对相机采集的图像进行径向与切向畸变矫正，然后才使用相机标定结果的内参数与外参数进行三维重建。也就是说，三维重建时假定解算的相机内外参数都不受畸变影响。然而，一方面无论是基于透视变换的标定方法，还是基于单应变换的平面标定算法，估算的相机参数初值都包含畸变影响，另一方面非线性最优化的收敛性又依赖于初始值。
因此，在三维测量领域亟需一个在充分考虑了畸变影响的情况下解算相机参数的标定参数优化算法。
发明内容
本发明的目的在于，提供一种相机参数标定的两步优化方法，解决以上技术问题。
本发明所解决的技术问题可以采用以下技术方案来实现：
一种相机参数标定的两步优化方法，包括如下步骤：
步骤a，基于张正友的平面标定算法设计一个能够估计相机镜头畸变参数的相机参数优化方法：
(1)在对每个标定板图像在识别标定模板后，对每个角点都得到与角点像素坐标匹配的物点坐标；在根据多个标定板图像解算相机参数时，得到多组外参数，每个标定板图像对应一组外参数；
(2)根据解算的相机参数对角点的物点坐标进行重投影以得到空间分布更加一致的新角点像素坐标；
(3)从步骤(1)标定结果的多组外参数中选择使得畸变误差最小的一组作为下一步优化过程的初始外参数；
(4)以步骤(1)得到的物点坐标、步骤(2)得到的新角点像素坐标为基础，以最小化畸变误差与重投影误差的乘积作为优化准则，采用Levenberg-Marquardt(LM)算法优化相机参数，得到优化的内参数、优化的外参数和优化的畸变参数；
(5)以最小化畸变误差作为准则，从步骤(4)得到的相机优化的外参数中选择最优的外参数。
步骤b，排除相机镜头的畸变影响再一次解算相机的内外参数：
(6)根据步骤(4)优化的畸变参数对提取的原始的角点像素坐标进行畸变校正；
(7)由步骤(6)校正后的坐标采用张正友标定法再一次解算相机的内外参数；
(8)以最小化重投影误差作为优化准则，采用Levenberg-Marquardt算法优化相机的内外参数；
以步骤b得到的相机内外参数与步骤a得到的相机优化的畸变参数作为最终的相机标定参数。
本发明采用上述方法后，在采集清晰的标定板图像条件下对于处于不同距离、具有不同姿态、且受不同光照变化影响的棋盘格模板图像都能稳定精确地标定相机参数。
本发明中，用于计算重投影误差的方法是现有的通用标准技术，最小化重投影误差则为选择使得重投影误差最小的那一组相机标定参数。
本发明中，用于计算畸变误差的方法如下：
首先根据标定板角点的三维坐标拟合标定板平面；
然后以标定板上角点到拟合平面的平均距离作为畸变误差，最小化畸变误差则为选择使得畸变误差最小的那一组相机标定参数。
有益效果：由于采用上述技术方案，在标定板不过度倾斜条件下，相对于光照与颜色变化、标定板的姿态变化以及相机镜头的畸变能够精确地标定相机参数。
附图说明
图1为本发明的一种算法流程图；
图2为角点提取精度空间分布与相机镜头畸变空间分布之间的关系；
图3为本发明方法得到的畸变校正误差，与张正友标定法、Tsai标定法进行的对比图；
图4(a)为发明方法标定左相机得到的重投影误差，与张正友标定法、Tsai标定法进行的对比图；(b)为发明方法标定右相机得到的重投影误差，与张正友标定法、Tsai标定法进行的对比图；
图5为本发明方法得到的双目极线匹配误差，与张正友标定法、Tsai标定法进行的对比图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示进一步阐述本发明。
参照图1，一种相机参数标定的两步优化方法，包括将相机镜头的畸变影响与相机内外参数解算分离的两步优化方法，首先，步骤a，基于张正友的平面标定算法设计一个能够充分估计相机镜头畸变参数的相机参数优化方法。然后，步骤b，根据估计的畸变参数对提取角点的像素坐标进行畸变校正，并采用经过畸变校正的角点坐标再一次解算相机的内外参数。具体步骤如下：
(1)在对每个标定板图像在识别标定模板后，对每个角点都得到与角点像素坐标匹配的物点坐标；在根据多个标定板图像解算相机参数时，得到多组外参数，每个标定板图像对应一组外参数；
(2)根据解算的相机参数对角点的物点坐标进行重投影以得到空间分布更加一致的新角点像素坐标；
(3)从步骤(1)标定结果的多组外参数中选择使得畸变误差最小的一组作为下一步优化过程的初始外参数；
用于计算畸变误差的方法如下：首先根据标定板角点的三维坐标拟合标定板平面；然后以标定板上角点到拟合平面的平均距离作为畸变误差，最小化畸变误差则为选择使得畸变误差最小的那一组相机标定参数。
(4)以步骤(1)得到的物点坐标、步骤(2)得到的新角点像素坐标为基础，以最小化畸变误差与重投影误差的乘积作为优化准则，采用Levenberg-Marquardt(LM)算法优化相机参数，得到优化的内参数、优化的外参数和优化的畸变参数；
用于计算重投影误差的方法是现有的通用标准技术，最小化重投影误差则为选择使得重投影误差最小的那一组相机标定参数。
(5)以最小化畸变误差作为准则，从步骤(4)得到的相机优化的外参数中选择最优的外参数。
(6)根据步骤(4)优化的畸变参数对提取的原始的角点像素坐标，即对步骤(1)中的角点像素坐标进行畸变校正；
(7)由步骤(6)校正后的坐标采用张正友标定法再一次解算相机的内外参数；
(8)以最小化重投影误差作为优化准则，采用Levenberg-Marquardt算法优化相机的内外参数；
以步骤b得到的相机内外参数与步骤a得到的相机优化的畸变参数作为最终的相机标定参数。
相机镜头的畸变使得提取角点的空间分布呈现出下列特性：首先位于棋盘格中心区域的角点的精度最高，然后从中心向外角点精度会展现出与镜头畸变类似的空间分布。图2展示了正常情况下角点精度空间分布与镜头畸变空间分布的一致性，其中的绿色、蓝色与红色分别表示角点的最高精度、中间精度与最低精度。由图2可知，相机镜头畸变能够显著影响相机标定参数的精确性。
参照图3，本发明方法得到的畸变误差与张正友标定法、Tsai标定法的对比，由图3可知，采用本发明步骤a得到的畸变校正参数对标定板图像进行校正后，计算的畸变误差非常小。因此，经过步骤a后就能够将相机镜头的畸变影响与相机内外参数解算分离。
步骤b以经过畸变校正的角点的像素坐标再一次解算相机的内外参数，这一步重新计算相机的内参数矩阵K与外参数矩阵[R,t]，而保持步骤a计算的相机镜头的畸变参数不变。步骤b采用了标准的张正友标定法解算并优化相机参数。
参照图4，本发明方法标定左右相机时得到的重投影误差与张正友标定法、Tsai标定法的对比，由图4可知，采用本发明得到的重投影误差一般小于千分之一像素。
为了体现本发明设计的相机标定参数优化方法能够改进双目三维重建结果的性能，本发明进一步采用极线匹配误差进行试验对比。因为双目视觉的极线匹配误差既能反映左右相机图像中提取的同名像点坐标的精度，又能在排除三维重建算法的影响下，综合考虑所有的标定参数，所以本发明还采用双目视觉对极几何中的极线匹配误差测试本发明的有效性。
参照图5，本发明方法得到的极线匹配误差与张正友标定法、Tsai标定法的对比，由图5可知，采用本发明得到的极线匹配误差都小于0.3个像素，因此能够改进通过双目立体匹配得到的三维模型质量。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种相机参数标定的两步优化方法，其特征在于，包括如下步骤：
步骤a，基于张正友的平面标定算法设计一个能够估计相机镜头畸变参数的相机参数优化方法：
(1)在对每个标定板图像在识别标定模板后，对每个角点都得到与角点像素坐标匹配的物点坐标；在根据多个标定板图像解算相机参数时，得到多组外参数，每个标定板图像对应一组外参数；
(2)根据解算的相机参数对角点的物点坐标进行重投影以得到空间分布更加一致的新角点像素坐标；
(3)从步骤(1)标定结果的多组外参数中选择使得畸变误差最小的一组作为下一步优化过程的初始外参数；
(4)以步骤(1)得到的物点坐标、步骤(2)得到的新角点像素坐标为基础，以最小化畸变误差与重投影误差的乘积作为优化准则，采用Levenberg-Marquardt算法优化相机参数，得到优化的内参数、优化的外参数和优化的畸变参数；
(5)以最小化畸变误差作为准则，从步骤(4)得到的相机优化的外参数中选择最优的外参数；
步骤b，排除相机镜头的畸变影响再一次解算相机的内外参数：
(6)根据步骤(4)优化的畸变参数对提取的原始的角点像素坐标进行畸变校正；
(7)由步骤(6)校正后的坐标采用张正友标定法再一次解算相机的内外参数；
(8)以最小化重投影误差作为优化准则，采用Levenberg-Marquardt算法优化相机的内外参数；
以步骤b得到的相机内外参数与步骤a得到的相机优化的畸变参数作为最终的相机标定参数。
2.根据权利要求1所述的一种相机参数标定的两步优化方法，其特征在于，用于计算畸变误差的方法如下：
首先根据标定板角点的三维坐标拟合标定板平面；
然后以标定板上角点到拟合平面的平均距离作为畸变误差；
最小化畸变误差则为选择使得畸变误差最小的那一组相机标定参数。
CN201810037571.0A 2018-01-16 2018-01-16 一种相机参数标定的两步优化方法 Active CN108269289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810037571.0A CN108269289B (zh) 2018-01-16 2018-01-16 一种相机参数标定的两步优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810037571.0A CN108269289B (zh) 2018-01-16 2018-01-16 一种相机参数标定的两步优化方法

Publications (2)

Publication Number Publication Date
CN108269289A CN108269289A (zh) 2018-07-10
CN108269289B true CN108269289B (zh) 2021-08-10

Family

ID=62775745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810037571.0A Active CN108269289B (zh) 2018-01-16 2018-01-16 一种相机参数标定的两步优化方法

Country Status (1)

Country Link
CN (1) CN108269289B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108420401B (zh) * 2018-02-11 2021-03-05 温州医科大学 测量角膜参数的系统校准方法及装置
CN109003312B (zh) * 2018-08-24 2022-01-28 重庆邮电大学 一种基于非线性优化的相机标定方法
CN109215087B (zh) * 2018-08-28 2021-04-27 维沃移动通信有限公司 一种双摄像头模组的标定方法、装置及终端
CN111047651B (zh) * 2019-12-12 2023-04-18 中航华东光电有限公司 畸变图像的矫正方法
CN112907462A (zh) * 2021-01-28 2021-06-04 黑芝麻智能科技(上海)有限公司 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置
CN113066086B (zh) * 2021-04-26 2022-08-30 深圳市商汤科技有限公司 道路病害检测方法及装置、电子设备和存储介质
CN113345029B (zh) * 2021-06-17 2022-08-02 合肥工业大学 一种光学偏折三维测量中的大视场参考平面标定方法
CN113628277A (zh) * 2021-06-24 2021-11-09 北京理工大学 手术导航中单目相机内外参动态标定方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231750A (zh) * 2008-02-21 2008-07-30 南京航空航天大学 一种双目立体测量系统的标定方法
CN101727670A (zh) * 2009-11-10 2010-06-09 西安交通大学 一种可变幅面多相机系统柔性标定方法及装置
CN102622747A (zh) * 2012-02-16 2012-08-01 北京航空航天大学 一种用于视觉测量的摄像机参数优化方法
CN102750697A (zh) * 2012-06-08 2012-10-24 华为技术有限公司 一种参数标定方法及装置
CN106780628A (zh) * 2016-12-24 2017-05-31 大连日佳电子有限公司 基于混合畸变模型的高精度摄像机标定方法
CN107481290A (zh) * 2017-07-31 2017-12-15 天津大学 基于三坐标测量机的相机高精度标定及畸变补偿方法
CN107507246A (zh) * 2017-08-21 2017-12-22 南京理工大学 一种基于改进畸变模型的摄像机标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231750A (zh) * 2008-02-21 2008-07-30 南京航空航天大学 一种双目立体测量系统的标定方法
CN101727670A (zh) * 2009-11-10 2010-06-09 西安交通大学 一种可变幅面多相机系统柔性标定方法及装置
CN102622747A (zh) * 2012-02-16 2012-08-01 北京航空航天大学 一种用于视觉测量的摄像机参数优化方法
CN102750697A (zh) * 2012-06-08 2012-10-24 华为技术有限公司 一种参数标定方法及装置
CN106780628A (zh) * 2016-12-24 2017-05-31 大连日佳电子有限公司 基于混合畸变模型的高精度摄像机标定方法
CN107481290A (zh) * 2017-07-31 2017-12-15 天津大学 基于三坐标测量机的相机高精度标定及畸变补偿方法
CN107507246A (zh) * 2017-08-21 2017-12-22 南京理工大学 一种基于改进畸变模型的摄像机标定方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Hand–eye and radial distortion calibration for rigid endoscopes;Abed Malti et al;《THE INTERNATIONAL JOURNAL OF MEDICAL ROBOTICS AND COMPUTER ASSISTED SURGERY》;20130110;全文 *
OpenCV耦合改进张正友算法的相机标定算法;李莉;《轻工机械》;20150831;第33卷(第4期);全文 *
基于MATLAB相机标定系统研究与实现;陈勇;《万方数据知识服务平台》;20160504;全文 *
相机内参量及像差系数与外参量的解耦标定方法;刘进博 等;《光子学报》;20160331;第45卷(第3期);全文 *

Also Published As

Publication number Publication date
CN108269289A (zh) 2018-07-10

Similar Documents

Publication Publication Date Title
CN108269289B (zh) 一种相机参数标定的两步优化方法
CN105894574B (zh) 一种双目三维重建方法
CN107346061B (zh) 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US20150093042A1 (en) Parameter calibration method and apparatus
CN113920205B (zh) 一种非同轴相机的标定方法
CN112686961B (zh) 一种深度相机标定参数的修正方法、装置
CN110349257B (zh) 一种基于相位伪映射的双目测量缺失点云插补方法
CN116071433A (zh) 相机标定方法和系统、计算机可读存储介质
CN110136048B (zh) 一种图像配准方法及系统、存储介质及终端
CN105678088B (zh) 一种靶标测头的平差优化算法
CN116957987A (zh) 一种多目极线校正方法、装置、计算机设备及存储介质
CN116091625A (zh) 一种基于双目视觉的基准标记位姿估计方法
CN118261977A (zh) 一种相机位姿自动调节方法及系统
Thiruselvam et al. Feature‐assisted stereo correlation
CN113298885A (zh) 双目标定方法及装置、设备和存储介质
CN111652801B (zh) 一种点云精准拼接方法
CN113379845A (zh) 一种相机标定方法及装置、电子设备及存储介质
CN111127560B (zh) 一种用于三维重建的三目视觉系统的标定方法及系统
CN110458951B (zh) 一种电网杆塔的建模数据获取方法及相关装置
CN115526941B (zh) 一种用于远心相机的标定装置和标定方法
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN116152318A (zh) 一种基于光场偏振特性的深度估计方法
CN115661258A (zh) 标定方法及装置、畸变校正方法及装置、存储介质、终端
CN114998449A (zh) 一种用于变焦双目视觉测量系统的高精度标定方法
CN110097496B (zh) 基于局部稳定区域的鱼眼图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant