CN102800096B - 一种摄像机参数的鲁棒性估计算法 - Google Patents
一种摄像机参数的鲁棒性估计算法 Download PDFInfo
- Publication number
- CN102800096B CN102800096B CN201210250533.6A CN201210250533A CN102800096B CN 102800096 B CN102800096 B CN 102800096B CN 201210250533 A CN201210250533 A CN 201210250533A CN 102800096 B CN102800096 B CN 102800096B
- Authority
- CN
- China
- Prior art keywords
- camera parameters
- unique point
- image
- point
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于测量技术领域,将提供一种摄像机参数的鲁棒性估计算法。本发明首先利用提取到的所有图像特征点进行摄像机参数的标定;然后计算每个特征点的重投影误差,并与设定的阈值进行比较,剔除含有粗大误差的特征点,利用剩余的特征点进行摄像机参数的非线性优化;最后,依次针对每幅图像,计算该图像的重投影误差,采用RANSAC算法剔除每幅图像包含的粗大误差特征点,并再次利用剩余的特征点进行摄像机参数的非线性优化。本发明提出的摄像机参数估计方法实现简单,鲁棒性强,能够有效提高摄像机参数的标定精度和测量精度,适合标定图像局部质量较差,导致部分特征点坐标提取不准确的情况。
Description
技术领域
本发明属于测量技术领域,涉及一种摄像机参数的鲁棒性估计算法,能够在标定图像局部质量较差的情况下准确地确定出摄像机参数。
背景技术
摄像机标定是视觉测量中一个重要而关键的环节,其主要任务在于通过靶标特征点的二维图像坐标与对应的三维世界坐标求解摄像机参数。摄像机标定结果的准确程度对于整个机器视觉系统的测量结果有着重要的影响。如果标定的摄像机参数不能准确反映真实的摄像机模型,则由该参数参与计算得到的物体三维重构形状将会变形失真,对物体的位置和姿态的估计将会出现偏差,获取的被测物的几何特征精度将会下降。摄像机标定过程中,由于标定图像的拍摄受到外界环境的干扰,部分靶标图像的特征点坐标常常难以准确提取,这将导致计算得到的摄像机参数误差增大。如果采用恰当的方法检测并去除含有粗大误差的特征点,并对最初得到的摄像机参数进行重新估计,则会大大提高标定结果的精度。目前,针对采用三维立体靶标和直接线性变换法的摄像机标定过程,Wu Yihong等人采用基于6点不变量的评价函数和RANSAC方法(随机抽样一致算法,参见Random sample consensus:aparadigm for model fitting with applications to image analysis and automatedcartography.Communications of ACM[J].1981,24:381–395)成功地检测并剔除了粗大误差点(参见Detecting and handling unreliable points for cameraparameter estimation.International Journal of Computer Vision[J].2008,79:209–223)。然而,由于构成三维立体靶标的不同平面之间的相互遮挡以及高精度三维靶标加工困难,三维靶标逐渐被二维平面靶标取代。对于更为常用的采用二维平面靶标的标定方法(参见A flexible new technique for cameracalibration.IEEE Transactions on Pattern Analysis and MachineIntelligence[J].2000,22(11):1330–1334),现在尚无一种能够有效检测并剔除粗大误差点的摄像机参数鲁棒性估计算法。
发明内容
本发明的技术解决问题是:克服现有技术的不足,提供一种基于二维靶标的摄像机参数鲁棒性估计算法,该算法能够有效解决由于标定图像局部质量较差导致标定的摄像机参数精度下降的问题。
本发明的技术解决方案为:一种摄像机参数的鲁棒性估计算法,其特征在于该方法包含以下步骤:
1、自由移动靶标至少3个位置,每移动一个位置,拍摄一幅图像,靶标内所有特征点包含在拍摄图像内,提取所有图像所含特征点的坐标,利用特征点的图像坐标与已知的世界坐标的对应关系求解摄像机参数的初始值;
2、对摄像机参数进行非线性优化,使得剔除后所有图像的每个特征点的重投影误差Ept均不大于设定的阈值Tpt,具体步骤如下:
2.1、利用获取的摄像机参数计算所有图像的每个特征点的初始重投影误差Ept;
2.2、将Ept与设定的阈值Tpt进行比较,剔除满足条件Ept>Tpt的特征点,利用剩余的特征点进行摄像机参数的非线性优化;
2.3、利用优化后的参数计算所有图像的每个剩余特征点的重投影误差E′pt,由于优化前和优化后参与计算的特征点不同,导致优化前后的摄像机参数不同,进而造成优化前后同一特征点的重投影误差不同,因此剩余特征点中可能再次出现满足条件E′pt>Tpt的特征点,如果剩余的所有特征点均满足E′pt≤Tpt,则继续执行步骤3,否则返回步骤2.2;
3、利用步骤2得到的摄像机参数计算每幅图像的重投影误差Eimg,根据每幅图像的Eimg设定阈值Trsc,采用RANSAC算法检测出每幅图像的粗大误差特征点,利用剔除后的剩余特征点对摄像机参数再次进行非线性优化。
步骤1所述的靶标为玻璃材质的棋盘格平面靶标,靶标特征点为平面上的36×36个格点,格点之间的最小距离为2mm;
步骤2和步骤3所述的非线性优化均采用Levenberg-Marquardt算法处理目标函数的极小化问题。
本发明与现有技术相比的优点在于:
针对基于二维靶标的摄像机参数标定过程,本发明利用阈值剔除和RANSAC算法相结合的手段,能够有效地检测到标定图像中存在的粗大误差特征点,剔除后剩余的特征点将用于摄像机参数的优化。采用本发明所提出的鲁棒性估计算法,尤其适用于标定图像局部质量受损的情形,能够大大提高摄像机参数的标定精度和测量精度。
附图说明
图1为本发明涉及的摄像机参数鲁棒性估计算法流程示意图;
图2为本发明实施例中用于摄像机标定的一幅靶标图像;
图3为本发明实施例中用于标定结果测试的一幅靶标图像。
具体实施方式
下面对本发明做进一步详细说明。本发明针对标定图像中含有部分粗大误差特征点的情况,首次采用阈值剔除和RANSAC算法相结合的手段,消除了粗大误差特征点对标定结果的影响,实现了摄像机参数的鲁棒性估计。
摄像机模型:
以拍摄的靶标平面为参考建立世界坐标系,以摄像机所在位姿为参考建立摄像机坐标系。设任意一个特征点在世界坐标系下的坐标为M,对应的图像点坐标为m,则理想的针孔成像模型表示为:
其中λ为不为零的比例因子,和为齐次坐标表示,R和t为世界坐标系与摄像机坐标的变换,分别表示3×3的旋转矩阵和3×1的平移向量,A为内部参数矩阵:
其中fx和fy为摄像机的有效焦距,(u0,v0)为摄像机的主点坐标。考虑摄像机镜头的一阶和二阶径向畸变,设点m对应的实际图像坐标为md,则理想图像坐标到实际图像坐标的变换,即摄像机镜头的畸变模型为:
md=[1+k1r2+k2r4]m [2]
其中k1和k2分别为一阶和二阶径向畸变系数,r为理想图像点m到主点坐标的距离。
下面详细阐述一种摄像机参数鲁棒性估计算法的具体步骤:
1、自由移动靶标至少3个位置,每移动一个位置,在自然光照环境下拍摄一幅图像,称为标定图像,靶标内所有特征点应该包含在拍摄图像内,共获取K幅靶标图像,并提取图像中各个特征点的坐标。所采用的靶标为玻璃材质的棋盘格平面靶标,靶标特征点为平面上的36×36个格点,格点之间的最小间距为5mm。为了便于公式表达,设每幅图像含有L个特征点,特征点图像坐标提取方法参见《模式识别中的特征提取与计算机视觉不变量》(孙即祥、王晓华、种山著,国防工业出版社,2001年)。
2、利用特征点的图像坐标与已知的世界坐标的对应关系求解摄像机参数的初始值,包括内部参数、外部参数和畸变系数,具体算法参见ZhangZhengyou的论文“A flexible new technique for camera calibration.IEEETransactions on Pattern Analysis and Machine Intelligence[J].2000,22(11):1330–1334”。
3、利用获取的摄像机参数,将特征点在世界坐标系中的坐标M重投影到图像平面,重投影的坐标表示为mp,并计算每个特征点的实际图像坐标md与mp的距离,即重投影误差Ept。将Ept与设定的阈值Tpt=2pixel进行比较,逐个剔除满足条件Ept>Tpt的特征点,并利用剩余的特征点进行摄像机参数的非线性优化,其优化的目标函数为:
其中i表示标定图像的序号,j表示标定图像中特征点的序号,K表示标定图像的幅数,Li表示第i幅图像剔除粗大误差特征点后剩余的特征点个数。利用优化后的参数计算每个剩余特征点的重投影误差E′pt,由于优化前和优化后参与计算的特征点不同,导致优化前后的摄像机参数不同,进而造成优化前后同一特征点的重投影误差不同,因此剩余特征点中可能再次出现满足条件E′pt>Tpt的特征点。如果剩余的所有特征点均满足E′pt≤Tpt,则继续执行步骤4,否则再次剔除满足条件E′pt>Tpt的特征点,然后利用剩余的特征点再次进行摄像机参数的非线性优化,接着再次计算每个剩余特征点的重投影误差E′pt,最后再次判断剩余的所有特征点是否均满足E′pt≤Tpt。上述过程将反复进行直到剔除后的每个特征点的重投影误差均不大于设定的阈值。
4、利用步骤3得到的摄像机参数计算每幅图像的重投影误差Eimg(参见《Multiple View Geometry in Computer Vision》,H.Richard and A.Zisserman,Cambridge University Press,2003年),根据每幅图像的Eimg设定相应的阈值Trsc=1.2Eimg,并初始化RANSAC算法的参数:采样次数上限值N=∞,野值点(即RANSAC中的粗大误差特征点)比例ε=100%,随机样本中至少有一次没有野值点的概率p=99%,样本大小s=4,采样次数n=1,以上参数满足的关系为:
5、对于第i幅标定图像,按照图像特征点的分布,将特征点均匀地分为4个区域,从每个区域中都随机选取一个特征点组成一个样本。根据随机选取的4个特征点以及步骤3得到的内部参数和畸变系数计算该样本对应的外部参数,并根据以上参数计算该幅图像每个特征点的重投影误差Ersc。
6、满足条件Ersc≤Trsc的特征点定义为内点,内点的集合表示为Sin,内点个数表示为Num(Sin);不满足条件Ersc≤Trsc的特征点定义为野值点,野值点的集合表示为Sout,野值点个数表示为Num(Sout)。根据公式[5]计算该样本对应的野值点比例ε*,若满足条件ε*<ε,则令ε=ε*,并根据公式[4]更新N的数值。
7、如果采样次数n大于上限值N,则在所有内点集合Sin中选出内点个数最大的集合,称为最大一致集Scon。如果有两个以上的内点集合Sin具有最大的内点个数,则选取其中内点重投影误差均值较小的集合为最大一致集。如果采样次数n小于或等于上限值N,则令n=n+1,返回到步骤5。
8、如果当前处理的标定图像序号i=K,即所有图像的特征点均处理完毕,则最终参与标定的内点集合C由每幅图像的最大一致集构成,即根据公式[3],集合C中的所有特征点将用于摄像机参数的非线性优化。如果当前处理的标定图像序号i<K,则令i=i+1,返回到步骤5,处理下一幅图像。
实施例
采用Point grey FL2-20S4M/C相机和12mm Computar镜头组成待标定的摄像机,图像分辨率为1280pixels×960pixels。实施例中采用的靶标为玻璃材质的棋盘格平面靶标,靶标特征点为平面上的36×36个格点,格点之间的最小间距为2mm,间距的制作精度为0.001mm。
在自然光照条件下,自由移动靶标到10个不同的位置,每移动一个位置,拍摄一幅图像,靶标上所有的特征点应包含在拍摄图像内,共获取10幅靶标图像作为标定图像(图2所示为用于标定的一幅图像)。在背光源照明条件下,采用同样的拍摄手段,得到5幅靶标图像作为测试图像(图3所示为用于测试的一幅图像),用于评定标定结果的测量精度。按照具体实施方法中所述的步骤2得到摄像机参数的初始值,由步骤8即本发明方法得到鲁棒性估计值(见表一)。其中,标定精度的评价方法为:利用已标定的摄像机参数结果,得到10幅标定图像中特征点的重投影坐标,计算其与对应的实际图像坐标的均方根误差。测量精度的评价方法为:采用未标定的5幅图像作为测试图像,运用参数的标定数值,计算出每幅测试图像的靶标平面位姿参数,再将每幅测试图像的图像特征点反投射到靶标平面形成交点,计算其与所有空间特征点之间的距离的均方根误差(见表二)。
表一
表二
从表一和表二的数据可以看出,未采用本发明方法得到的摄像机参数初始值,达到的标定精度和测量精度分别为0.752pixel和0.0176mm,而采用本发明的鲁棒性估计方法所获得的摄像机参数,其标定精度和测量精度分别为0.240pixel和0.0116mm,较初始值均有不同程度的提高。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (3)
1.一种摄像机参数的鲁棒性估计方法,其特征在于该方法包含以下步骤:
1.1、自由移动靶标至少3个位置,每移动一个位置,拍摄一幅图像,靶标内所有特征点包含在拍摄图像内,提取所有图像所含特征点的坐标,利用特征点的图像坐标与已知的世界坐标的对应关系求解摄像机参数的初始值;
1.2、对摄像机参数进行非线性优化,使得剔除后所有图像的每个特征点的重投影误差Ept均不大于设定的阈值Tpt,具体步骤如下:
1.2.1、利用获取的摄像机参数计算所有图像的每个特征点的初始重投影误差Ept;
1.2.2、将Ept与设定的阈值Tpt进行比较,剔除满足条件Ept>Tpt的特征点,利用剩余的特征点进行摄像机参数的非线性优化;
1.2.3、利用优化后的参数计算所有图像的每个剩余特征点的重投影误差E′pt,由于优化前和优化后参与计算的特征点不同,导致优化前后的摄像机参数不同,进而造成优化前后同一特征点的重投影误差不同,因此剩余特征点中可能再次出现满足条件E′pt>Tpt的特征点,如果剩余的所有特征点均满足E′pt≤Tpt,则继续执行步骤1.3,否则返回步骤1.2.2;
1.3、利用步骤1.2得到的摄像机参数计算每幅图像的重投影误差Eimg,根据每幅图像的Eimg设定阈值Trsc,采用RANSAC算法检测出每幅图像的粗大误差特征点,利用剔除后的剩余特征点对摄像机参数再次进行非线性优化。
2.根据权利要求1所述的一种摄像机参数的鲁棒性估计方法,其特征在于:步骤1.1所述的靶标:为玻璃材质的平面靶标,靶标特征点为平面上的36×36个格点,格点之间的最小距离为2mm。
3.根据权利要求1所述的一种摄像机参数的鲁棒性估计方法,其特征在于:步骤1.2和1.3所述的非线性优化:采用Levenberg-Marquardt优化算法处理目标函数的极小化问题。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210250533.6A CN102800096B (zh) | 2012-07-19 | 2012-07-19 | 一种摄像机参数的鲁棒性估计算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210250533.6A CN102800096B (zh) | 2012-07-19 | 2012-07-19 | 一种摄像机参数的鲁棒性估计算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102800096A CN102800096A (zh) | 2012-11-28 |
CN102800096B true CN102800096B (zh) | 2014-12-24 |
Family
ID=47199194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210250533.6A Expired - Fee Related CN102800096B (zh) | 2012-07-19 | 2012-07-19 | 一种摄像机参数的鲁棒性估计算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102800096B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103458181B (zh) * | 2013-06-29 | 2016-12-28 | 华为技术有限公司 | 镜头畸变参数调节方法、装置及摄像设备 |
CN103413319A (zh) * | 2013-08-27 | 2013-11-27 | 哈尔滨工业大学 | 一种工业摄像机参数现场标定方法 |
CN105223527B (zh) * | 2015-11-11 | 2018-07-17 | 中国科学院苏州生物医学工程技术研究所 | 一种利用元线圈阵列对霍尔巴赫磁体进行匀场的方法 |
US10504244B2 (en) * | 2017-09-28 | 2019-12-10 | Baidu Usa Llc | Systems and methods to improve camera intrinsic parameter calibration |
CN111028287B (zh) * | 2018-10-09 | 2023-10-20 | 杭州海康威视数字技术股份有限公司 | 确定雷达坐标和摄像机坐标的转换矩阵的方法和装置 |
CN111415387B (zh) * | 2019-01-04 | 2023-12-29 | 南京人工智能高等研究院有限公司 | 相机位姿确定方法、装置、电子设备及存储介质 |
CN112907677B (zh) * | 2019-12-04 | 2023-07-25 | 杭州海康威视数字技术股份有限公司 | 一种单帧图像的相机标定方法、装置及存储介质 |
CN112361958B (zh) * | 2020-11-04 | 2022-06-21 | 同济大学 | 一种线激光与机械臂标定方法 |
CN112419314B (zh) * | 2020-12-10 | 2023-02-28 | 易思维(杭州)科技有限公司 | 一种基于相关性的特征点剔除方法 |
CN112819900B (zh) * | 2021-02-23 | 2022-10-11 | 自然资源部第一海洋研究所 | 一种智能立体摄影内方位、相对定向和畸变系数标定方法 |
CN113963067B (zh) * | 2021-10-25 | 2022-09-23 | 季华实验室 | 一种采用小靶标对大视场视觉传感器进行标定的标定方法 |
CN114549652A (zh) * | 2022-01-13 | 2022-05-27 | 湖南视比特机器人有限公司 | 一种相机标定方法、装置、设备及计算机可读介质 |
CN114463437A (zh) * | 2022-01-13 | 2022-05-10 | 湖南视比特机器人有限公司 | 一种摄像机标定方法、装置、设备及计算机可读介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4383990B2 (ja) * | 2004-09-09 | 2009-12-16 | 日本電信電話株式会社 | パラメータ推定装置、パラメータ推定方法、パラメータ推定プログラム、および、パラメータ推定プログラムの記録媒体 |
CN101419709B (zh) * | 2008-12-08 | 2012-07-18 | 北京航空航天大学 | 一种用于摄像机标定的平面靶标特征点的自动匹配方法 |
-
2012
- 2012-07-19 CN CN201210250533.6A patent/CN102800096B/zh not_active Expired - Fee Related
Non-Patent Citations (2)
Title |
---|
一种加权迭代自定标算法;刘侍刚等;《西安电子科技大学学报》;20051031;第32卷(第5期);663-666 * |
摄像机标定相关问题研究;姚静;《万方学位论文》;20120630;摘要,正文第29-50页 * |
Also Published As
Publication number | Publication date |
---|---|
CN102800096A (zh) | 2012-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102800096B (zh) | 一种摄像机参数的鲁棒性估计算法 | |
CN112818988B (zh) | 一种指针式仪表自动识别读数方法及系统 | |
US11551341B2 (en) | Method and device for automatically drawing structural cracks and precisely measuring widths thereof | |
CN111784778B (zh) | 基于线性求解非线性优化的双目相机外参标定方法和系统 | |
CN106548462B (zh) | 基于薄板样条插值的非线性sar图像几何校正方法 | |
Liu et al. | An improved online dimensional measurement method of large hot cylindrical forging | |
CN103048331B (zh) | 基于柔性模板配准的印刷缺陷检测方法 | |
CN104266608B (zh) | 视觉传感器现场标定装置和标定方法 | |
CN102622747B (zh) | 一种用于视觉测量的摄像机参数优化方法 | |
CN111950396B (zh) | 一种仪表读数神经网络识别方法 | |
CN101750606B (zh) | 自动和稳健的卫星遥感影像正射校正方法 | |
CN103149087B (zh) | 一种基于随动视窗与数字图像的非接触式实时应变测量方法 | |
CN110223355B (zh) | 一种基于双重极线约束的特征标志点匹配方法 | |
CN110930382A (zh) | 基于标定板特征点提取的点云拼接精度评估方法及系统 | |
CN104729529B (zh) | 地形图测量系统误差判断的方法和系统 | |
CN101666625B (zh) | 畸变误差无模型校正方法 | |
CN117710588A (zh) | 一种基于视觉测距先验信息的三维目标检测方法 | |
CN114595238A (zh) | 基于矢量的地图处理方法及装置 | |
WO2024174525A1 (zh) | 一种基于深度学习检测识别的电子台案秤智能检定方法 | |
CN107192348A (zh) | 一种高精度3d视觉测量方法 | |
CN103645143B (zh) | 一种多光谱券类质量检测方法和系统 | |
CN115953696B (zh) | 立体卫星影像精度质检的方法、装置和电子设备 | |
CN112414316B (zh) | 一种应变片敏感栅尺寸参数测量方法 | |
CN113989513A (zh) | 一种方形指针式仪表读数识别的方法 | |
Chen et al. | Theoretical uncertainty evaluation of stereo reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141224 Termination date: 20150719 |
|
EXPY | Termination of patent right or utility model |