CN102968794B - 小型二维靶大视场双目立体视觉系统结构参数在位标定法 - Google Patents
小型二维靶大视场双目立体视觉系统结构参数在位标定法 Download PDFInfo
- Publication number
- CN102968794B CN102968794B CN201210479935.3A CN201210479935A CN102968794B CN 102968794 B CN102968794 B CN 102968794B CN 201210479935 A CN201210479935 A CN 201210479935A CN 102968794 B CN102968794 B CN 102968794B
- Authority
- CN
- China
- Prior art keywords
- target
- sigma
- structural parameters
- demarcation
- demarcate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
小型二维靶大视场双目立体视觉系统结构参数在位标定法,属于光学测量和机械工程技术领域。其标定方法如下:首先将小尺寸二维标定靶置于测量场景中的不同位置,获取标定靶的图像;其次根据离线已标定的左右摄像机内参数,分别计算对应不同摆放位置的标定靶相对左右摄像机的外参数,进而计算立体视觉系统的结构参数;最后建立目标函数对立体视觉系统结构参数进行非线性优化。小尺寸二维标定靶,有效地解决使用大尺寸高精度标定靶的成本高,运输保管困难,使用维护不便等问题,能够适应复杂环境下的立体视觉系统结构参数的在位标定。
Description
技术领域:
本发明涉及一种大视场双目立体视觉系统结构参数标定方法,特别是一种使用小型二维标定靶对大视场双目立体视觉结构参数进行在位标定的方法。属于光学测量和机械工程技术领域。
背景技术:
传统双目立体视觉系统参数的标定是将左右摄像机内参数及系统结构参数同时进行标定。随着测量场景的不断增大,这一传统的方法也延续到了大视场双目立体视觉测量系统的标定中。
大视场双目立体视觉系统参数的标定,通常采用大尺寸二维标定靶或大尺寸三维标定靶。然而大尺寸二维和三维标定靶加工精度难以保证,且操作使用不便。为进一步提高标定靶的制造精度及操作使用便捷性,Xiao Zhenzhong等在文献“Across-target-based accurate calibration method of binocular stereo systems withlarge-scale field-of-view.Measurement 2010;43:747-754.”中提出了大尺寸交叉靶对大视场双目立体视觉系统参数进行标定,由于只需关注标定靶上特征点间的相对位置,而无需精确确定特征点的绝对坐标,因此降低了标定靶的制造难度,保证了其加工精度,同时相对大尺寸二维、三维标定靶,一定程度上交叉标定靶提高了标定的灵活性。
由于大尺寸二维、三维标定靶及大尺寸交叉标定靶在理想情况下,可以满足大视场双目立体视觉系统参数的标定需要,但对于检测环境较为复杂的生产现场在位标定,受制于测量空间的限制,上述大尺寸标定靶均有一定的使用局限性。为提高大视场双目立体视觉系统参数在复杂现场在位标定的灵活性,Sun Junhua等在文献“A calibration method for stereo vision sensor with large FOV based on 1Dtargets.Optics and Lasers in Engineering 2011;(49):1245-1250.”中提出了基于一维标定靶的双目立体视觉系统参数标定方法。一维标定靶相对于上述大尺寸标定靶,提高了标定的灵活性,能够适应较为复杂的现场标定。但是,一维标定靶由于其上标定特征点少,单次摆放提供的有效约束条件较少,常需要多次摆放,导致其标定效率不高。此外,一维标定靶对其上两特征点间的距离精度要求较高,当特征点间距较大时,也限制了其实际应用。
发明内容:
为克服现有技术的不足和缺陷,同时考虑在位标定的重要性,如其可以有效解决测量系统使用过程中,标定参数,特别是结构参数,因受工作环境,如温度、震动等的影响而产生变化,导致测量精度降低等问题。本发明根据双目立体视觉系统参数标定的特点,即摄像机内参数不随两像机间的位置变化而改变,通过将摄像机内参数和系统结构参数分开单独标定,在离线下精确标定左右摄像机内参数,在位标定左右摄像机间的位置关系,即立体视觉系统结构参数,进而提出了一种小型二维靶大视场双目立体视觉系统结构参数在位标定法。立体视觉系统结构参数标定对标定靶的大小形状并无严格要求,只要标定靶满足其上有三个已知的不共线的特征点,即可完成大视场双目立体视觉系统结构参数在位标定。其具体步骤如下:
1)制作小尺寸二维标定靶。小尺寸二维标定靶采用Ipad的液晶屏,标定图样为圆斑阵列,并将此标定图样显示在Ipad液晶屏幕上。取圆斑中心作为标定靶上特征点。
2)在测量场景中摆放标定靶。将小尺寸二维标定靶置于大视场双目立体视觉系统的测量场景中,并将其固定。
3)获取测量系统标定所需图像。左摄像机和右摄像机分别采集标定靶图片。
4)计算标定靶至左右摄像机的外参数。利用已在离线下完成标定的摄像机内参数矩阵A,和给定标定靶上特征点的空间坐标Mw及其对应的成像面投影坐标m,计算摄像机相对于标定靶的外参数和其中表示标定靶坐标系至摄像机坐标系的旋转矩阵,表示标定靶坐标系至摄像机坐标系的平移向量。计算公式如下:
式中,s投影比例因子。
因此,当给定的足够数量(至少三个非共线)标定靶上特征点的空间坐标及其对应的成像面投影坐标,便可根据上述公式,分别计算标定靶在i次摆放位置下,左右摄像机相对于标定靶的外参数(Rl,i,Tl,i)和(Rr,i,Tr,i)。
5)计算立体视觉系统的结构参数。立体视觉结构参数与左右摄像机的外参数间存在如下关系:
Ti=Tr,i-RiTl,i
因此,根据上述关系,即可计算出第i次摆放标定靶对应的立体视觉系统结构参数。
6)计算立体视觉系统结构参数的初始值。虽然理论上,标定靶摆放一次即可完成系统结构参数的标定,但考虑到噪声的影响,每次摆放标定靶所计算出的立体视觉系统结构参数均有些轻微差别,为减少噪声对标定结构参数的影响,需将标定靶在测量空间中多次摆放。当摆放次数少于设定的总摆放次数n时,重复步骤1)~4),当摆放次数达到设定的总摆放次数n时,可通过如下关系式,求取立体视觉系统结构参数的初始值:
R0=median{Ri},i=1...n
T0=median{Ti},i=1...n
7)立体视觉系统结构参数的非线性优化。
利用标定靶上特征点对左右摄像机的重投影误差最小,可建立如下目标函数:
式中,ml,i,j和mr,i,j分别为在第i次摆放位置,标定靶上第j个特征点对应的左右摄像机成像面上的实际投影点,为左摄像机成像面上对应于ml,i,j的计算重投影点,为右摄像机成像面上对应于mr,i,j的计算重投影点。
若R和T分别表示立体视觉系统结构参数的最终优化解,则有
Rr,i=RRl,i
Tr,i=T+RTl,i
所以上述目标函数可表示为:
此外,根据对极几何我们又可以得到如下目标函数
式中,和分别是左右摄像机成像面上矫正的匹配点,F为基础矩阵,S为向量T的反对称矩阵,其表示为:
因此,最终的目标函数可表示如下:
式中,α和β为权重系数。对上式采用Levenberg-Marquardt非线性优化方法,即可完成最终的立体视觉系统结构参数优化标定。
有益效果:
本发明通过离线下精确标定摄像机内参数,在位标定采用具有加工精度高,操作使用灵活的小尺寸二维标定靶,从而提高了标定效率、标定精度和在复杂环境下的标定适应能力,避免了采用大尺寸标定靶在大视场双目立体视觉系统标定时的使用维护不便、标定精度低、难以适应复杂现场在位标定等问题,同时也改善了一维标定靶标定效率不高的缺点,因此具有重要的工程实用价值。
附图说明:
图1为本发明双目立体视觉系统结构参数在位标定法的流程框图
图2为本发明采用二维平面标定板的标定图案示意图
图3为本发明大视场双目立体视觉的结构参数标定示意图
图中为左摄像机坐标系,为右摄像机坐标系,ol-ulvl为左摄像机图像坐标系,or-urvr为右摄像机图像坐标系,为第i次摆放位置的标定靶坐标系。(Rl,i,Tl,i)为第i次摆放位置的标定靶至左摄像机的外参数,其中Rl,i表示标定靶坐标系至左摄像机坐标系的旋转矩阵,Tl,i表示标定靶坐标系至左摄像机坐标系的平移向量;(Rr,i,Tr,i)为第i次摆放位置的标定靶至右摄像机的外参数,其中Rr,i表示标定靶坐标系至右摄像机坐标系的旋转矩阵,Tr,i表示标定靶坐标系至右摄像机坐标系的平移向量;(Ri,Ti)为第i次摆放位置的左摄像机至右摄像机的转换关系矩阵,即系统结构参数,其中Ri表示左摄像机坐标系至右摄像机坐标系的旋转矩阵,Ti表示左摄像机坐标系至右摄像机坐标系的平移向量。
具体实施方式:
下面结合附图对本发明的具体实施做进一步描述。
如图1、图2、图3所示,本发明标定方法的具体实施步骤如下:
1)制作小尺寸二维标定靶。小尺寸二维标定靶采用9.7英寸Ipad的液晶屏,其屏幕尺寸为196mm×147mm,标定图样为圆斑阵列,排列形式为2行3列,并将此标定图样显示在Ipad液晶屏幕上,其中圆斑半径占100像素(约为20mm),长宽方向间距占300像素(约为60mm)。取圆斑中心作为标定靶上特征点。
2)在测量场景中摆放标定靶。将小尺寸二维标定靶置于大视场双目立体视觉系统的测量场景中,并将其固定,其测量场景大于1500mm×1000mm。
3)获取测量系统标定所需图像。左摄像机和右摄像机分别采集标定靶图片。
4)计算标定靶至左右摄像机的外参数。由于需要预先获得摄像机内参数,故可采用传统的基于张正友的平板标定法在离线下标定摄像机内参数。利用摄像机内参数矩阵A和给定标定靶上特征点的空间坐标Mw及其对应的成像面投影坐标m,计算摄像机相对于标定靶的外参数和其中表示标定靶坐标系至摄像机坐标系的旋转矩阵,表示标定靶坐标系至摄像机坐标系的平移向量。计算公式如下:
式中,s投影比例因子。
因此,当标定靶上给定6个特征点的空间坐标及其对应的成像面投影坐标,便可分别计算标定靶在i次摆放位置下,左右摄像机相对于标定靶的外参数(Rl,i,Tl,i)和(Rr,i,Tr,i)。
5)计算立体视觉系统的结构参数。立体视觉系统结构参数与左右摄像机的外参数间存在如下关系:
Ti=Tr,i-RiTl,i
因此,根据上述关系,即可计算出第i次摆放标定靶对应的立体视觉系统结构参数。
6)计算立体视觉系统结构参数的初始值。虽然理论上,标定靶摆放一次即可完成系统结构参数的标定,但考虑到噪声的影响,每次摆放标定靶所计算出的立体视觉系统结构参数均有些轻微差别,为减少噪声对标定结构参数的影响,需将标定靶在测量空间中多次摆放。一般标定靶在测量场景中的总摆放次数n≥5次,即在测量场景的中心及四个方位角各摆放一次。当摆放次数少于设定的总摆放次数n时,重复步骤1)~4),当摆放次数达到设定的总摆放次数n时,可通过如下关系式,求取立体视觉系统结构参数的初始值:
R0=median{Ri},i=1...n
T0=median{Ti},i=1...n
7)立体视觉系统结构参数的非线性优化。
利用标定靶上特征点对左右摄像机的重投影误差最小,可建立如下目标函数:
式中,ml,i,j和mr,i,j分别为在第i次摆放位置,标定靶上第j个特征点对应的左右摄像机成像面上的实际投影点,为左摄像机成像面上对应于ml,i,j的计算重投影点,为右摄像机成像面上对应于mr,i,j的计算重投影点。
若R和T分别表示立体视觉系统结构参数的最终优化解,则有
Rr,i=RRl,i
Tr,i=T+RTl,i
所以上述目标函数可表示为:
此外,根据对极几何我们又可以得到如下目标函数
式中,和分别是左右摄像机成像面上矫正的匹配点,F为基础矩阵,S为向量T的反对称矩阵,其表示为:
因此,最终的目标函数可表示如下:
式中,α和β为权重系数,一般取两者比值β/α为0.1。对上式采用Levenberg-Marquardt非线性优化方法,即可完成最终的立体视觉系统结构参数优化标定。
Claims (6)
1.一种小型二维靶大视场双目立体视觉系统结构参数在位标定法,其特征在于该标定方法包括如下步骤:
1)制作小尺寸二维标定靶,小尺寸二维标定靶采用Ipad的液晶屏,标定图样为圆斑阵列,并将此标定图样显示在Ipad液晶屏幕上,取圆斑中心作为标定靶上特征点;
2)在测量场景中摆放标定靶,将小尺寸二维标定靶置于大视场双目立体视觉系统的测量场景中,并将其固定;
3)获取测量系统标定所需图像,左摄像机和右摄像机分别采集标定靶图片;
4)计算标定靶至左右摄像机的外参数,利用已在离线下完成标定的摄像机内参数矩阵A,和给定标定靶上特征点的空间坐标Mw及其对应的成像面投影坐标m,计算摄像机相对于标定靶的外参数和其中表示标定靶坐标系至摄像机坐标系的旋转矩阵,表示标定靶坐标系至摄像机坐标系的平移向量,计算公式如下:
式中,s投影比例因子,因此,当至少三个非共线标定靶上特征点的空间坐标及其对应的成像面投影坐标,便可分别计算标定靶在i次摆放位置下,左右摄像机相对于标定靶的外参数(Rl,i,Tl,i)和(Rr,i,Tr,i);
5)计算立体视觉系统的结构参数,立体视觉结构参数与左右摄像机的外参数间存在如下关系:
Ti=Tr,i-RiTl,i
因此,根据上述关系,即可计算出第i次摆放标定靶对应的立体视觉系统结构参数;
6)计算立体视觉系统结构参数的初始值,为减少噪声对标定结构参数的影响,需将标定靶在测量空间中多次摆放,当摆放次数少于设定的总摆放次数n时,重复步骤1)~4),当摆放次数达到设定的总摆放次数n时,可通过如下关系式,求取立体视觉系统结构参数的初始值:
R0=median{Ri},i=1...n
T0=median{Ti},i=1...n
7)立体视觉系统结构参数的非线性优化,利用标定靶上特征点对左右摄像机的重投影误差最小,可建立如下目标函数:
式中,ml,i,j和mr,i,j分别为在第i次摆放位置,标定靶上第j个特征点对应的左右摄像机成像面上的实际投影点,为左摄像机成像面上对应于ml,i,j的计算重投影点,为右摄像机成像面上对应于mr,i,j的计算重投影点,若R和T分别表示立体视觉系统结构参数的最终优化解,则有:
Rr,i=RRl,i
Tr,i=T+RTl,i
所以上述目标函数可表示为
此外,根据对极几何我们又可以得到如下目标函数
式中,和分别是左右摄像机成像面上矫正的对应点,F为基础矩阵,S为向量T的反对称矩阵,其表示为
因此,最终的目标函数可表示如下
式中,α和β为权重系数,对上式采用Levenberg-Marquardt非线性优化方法,即可完成最终的立体视觉系统结构参数优化标定。
2.根据权利要求1所述的小型二维靶大视场双目立体视觉系统结构参数在位标定法,其特征是所述的步骤1)中,所采用的Ipad液晶屏尺寸为9.7英寸,其长宽为196mm×147mm,所采用的标定图样为圆斑阵列,排列形式为2行3列,当标定图样在液晶屏上显示时,圆斑半径占100像素,沿标定靶的长宽方向相邻圆斑中心间距为300像素。
3.根据权利要求1所述的小型二维靶大视场双目立体视觉系统结构参数在位标定法,其特征是所述的步骤2)中,大视场测量场景大于1500mm×1000mm。
4.根据权利要求1所述的小型二维靶大视场双目立体视觉系统结构参数在位标定法,其特征是所述的步骤4)中,摄像机内参数矩阵A的标定是采用传统的基于张正友的平板标定法。
5.根据权利要求1所述的小型二维靶大视场双目立体视觉系统结构参数在位标定法,其特征是所述的步骤6)中,为使标定数据更加准确,标定靶在测量场景中的总摆放次数n≥5次。
6.根据权利要求1所述的小型二维靶大视场双目立体视觉系统结构参数在位标定法,其特征是所述的步骤7)中,权重系数α和β的比值β/α为0.1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210479935.3A CN102968794B (zh) | 2012-11-22 | 2012-11-22 | 小型二维靶大视场双目立体视觉系统结构参数在位标定法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210479935.3A CN102968794B (zh) | 2012-11-22 | 2012-11-22 | 小型二维靶大视场双目立体视觉系统结构参数在位标定法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102968794A CN102968794A (zh) | 2013-03-13 |
CN102968794B true CN102968794B (zh) | 2015-04-22 |
Family
ID=47798920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210479935.3A Active CN102968794B (zh) | 2012-11-22 | 2012-11-22 | 小型二维靶大视场双目立体视觉系统结构参数在位标定法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102968794B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104240221B (zh) * | 2013-06-18 | 2017-02-08 | 烟台大学 | 一种镜头相背双相机相对方位标定装置与方法 |
CN103426168B (zh) * | 2013-07-18 | 2016-04-27 | 北京航空航天大学 | 基于一维标定杆的普通、广角、鱼眼立体摄像机的通用标定方法 |
CN104422425B (zh) * | 2013-08-27 | 2017-02-22 | 北京航天计量测试技术研究所 | 一种不规则外形物体空间姿态动态测量方法 |
DE102014102634B4 (de) * | 2014-02-27 | 2019-02-21 | Lavision Gmbh | Verfahren zum Kalibrieren einer optischen Anordnung, Verfahren zum Darstellen eines periodischen Kalibriermusters und Computerprogrammprodukt |
GB2532772A (en) * | 2014-11-27 | 2016-06-01 | Airbus Operations Ltd | Improvements in or relating to digital image correlation systems |
CN105354856A (zh) * | 2015-12-04 | 2016-02-24 | 北京联合大学 | 一种基于mser与orb相结合的人体匹配与定位方法及系统 |
CN105678709B (zh) * | 2016-01-12 | 2018-06-26 | 西安交通大学 | 一种led手持靶标光心偏差校正算法 |
CN106981083B (zh) * | 2017-03-22 | 2019-06-28 | 大连理工大学 | 双目立体视觉系统摄像机参数的分步标定方法 |
WO2019100407A1 (zh) * | 2017-11-27 | 2019-05-31 | 华为技术有限公司 | 基于图样中标志图形点坐标的转换关系定位终端屏幕 |
CN108489515A (zh) * | 2018-03-21 | 2018-09-04 | 南昌航空大学 | 一种基于散焦图像的大视场立体视觉系统标定方法 |
CN110969662B (zh) * | 2018-09-28 | 2023-09-26 | 杭州海康威视数字技术股份有限公司 | 鱼眼摄像机内参标定方法、装置、标定装置控制器和系统 |
CN112734863B (zh) * | 2021-03-31 | 2021-07-02 | 武汉理工大学 | 一种基于自动定位的交叉式双目相机标定方法 |
CN113298882B (zh) * | 2021-06-07 | 2022-12-20 | 四川大学 | 一种用于显微三维形貌测量系统的摄像机标定装置和方法 |
-
2012
- 2012-11-22 CN CN201210479935.3A patent/CN102968794B/zh active Active
Non-Patent Citations (3)
Title |
---|
Zhenzhong Xiao et al..A cross-target-based accurate calibration method of binocular stereo systems withlarge-scale field-of-view.《Measurement》.2010,第43卷(第6期),全文. * |
双目立体视觉的摄像机标定技术研究;刘金颂等;《计算机工程与应用》;20080229(第06期);第237页 * |
摄像机标定及相关技术研究;邹凤娇;《中国博士学位论文全文数据库信息科技辑》;20060115;第35-38页 * |
Also Published As
Publication number | Publication date |
---|---|
CN102968794A (zh) | 2013-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102968794B (zh) | 小型二维靶大视场双目立体视觉系统结构参数在位标定法 | |
CN101419061B (zh) | 一种镜像式结构光视觉测量系统和测量方法 | |
CN103499302B (zh) | 基于结构光视觉成像系统的凸轮轴直径尺寸在线测量方法 | |
CN109242908B (zh) | 用于水下双目视觉测量系统的标定方法 | |
CN102183214B (zh) | 一种大口径非球面镜结构光检测方法 | |
CN103398660B (zh) | 用于获取焊缝高度信息的结构光视觉传感器参数标定方法 | |
CN102147281B (zh) | 一种基于机器视觉的液位检测装置及其方法 | |
CN103542815B (zh) | 大幅面散斑全场应变测量方法 | |
CN100429476C (zh) | 一种双传感器激光视觉三维测量系统校准方法 | |
CN109269466B (zh) | 基于特征点的靶面相对位姿测量方法及系统 | |
CN102878948B (zh) | 基于圆光斑标记的目标表面坐标的视觉测量装置及测量方法 | |
CN104036475A (zh) | 适应于任意投影机群及投影屏幕的高鲁棒性几何校正方法 | |
CN102435204B (zh) | 一种面阵aps数字太阳敏感器的精度补偿方法 | |
CN102564348A (zh) | 条纹反射三维测量的系统几何标定方法 | |
CN103559707B (zh) | 基于运动方靶标定物的工业定焦相机参数标定方法 | |
CN104075688A (zh) | 一种双目立体凝视监控系统的测距方法 | |
CN105139411A (zh) | 基于四套共线约束标定尺的大视场相机标定方法 | |
CN103606147B (zh) | 多台不共视场量测相机的坐标系转换标定方法 | |
CN103278138A (zh) | 一种复杂结构薄部件三维位置及姿态的测量方法 | |
CN202008382U (zh) | 一种基于机器视觉的液位检测装置 | |
CN109855845B (zh) | 一种双目镜测量车载hud虚像距离与修正方法 | |
CN104111039A (zh) | 用于任意摆放条纹投影三维测量系统的标定方法 | |
CN106403838A (zh) | 一种手持式线结构光视觉三维扫描仪的现场标定方法 | |
CN103473758A (zh) | 双目立体视觉系统的二次标定方法 | |
CN104634246A (zh) | 目标空间坐标的浮动式立体视觉测量系统及测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |