CN109559355B - 一种基于相机组的无公共视场的多相机全局标定装置及方法 - Google Patents
一种基于相机组的无公共视场的多相机全局标定装置及方法 Download PDFInfo
- Publication number
- CN109559355B CN109559355B CN201811475135.8A CN201811475135A CN109559355B CN 109559355 B CN109559355 B CN 109559355B CN 201811475135 A CN201811475135 A CN 201811475135A CN 109559355 B CN109559355 B CN 109559355B
- Authority
- CN
- China
- Prior art keywords
- cameras
- camera
- calibrated
- image
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于相机组的无公共视场的多相机全局标定装置及方法,包括:采用相机组代替传统方法中的两个平面特征点靶标之间的较长连接杆,有效的解决了由于连接杆导致公共空间约束受限的问题。首先采用基于图像模糊度和噪声强度的方法进行标定图像筛选;其次利用手眼方程AX=YB求解待标定的外部参数;最后将相机的内部参数、镜头畸变参数与相机间的外部参数同时优化,有效地提高了全局保定精度,并通过引入极线约束与反投影误差共同构成3D目标优化函数,有效地解决了多参数联合优化的不稳定问题。该方法应用范围广,机械结构稳定,操作灵活方便,特别适用于复杂的多相机空间分布,如长工作距离、非对称工作夹角等。
Description
技术领域
本发明涉及视觉测量技术,具体说就是一种基于相机组的无公共视场的多相机全局标定装置及方法。
背景技术
多相机视觉测量系统在视觉检测、三维重建、全景摄影、视频监控、机器人导航、运动估计、增强现实等许多领域有着广泛的应用。所有这些应用往往需要将所有相机的测量精确地统一在同一坐标系下而完成检测。然而,一个固有的问题是相机可能具有非重叠视场,这使得很难建立公共的空间约束,特别是在一些复杂的相机空间分布中,例如长工作距离(几米到几十米),非对称的工作角度,或狭窄的工作空间等。因此,精确的外部参数标定和简单的操作是多相机视觉测量系统的关键技术之一。
目前,常用的无公共视场的多相机视觉测量系统的全局标定方法有三类:
一是基于三维坐标测量设备的方法,R.S.Lu在[参考文献1]和罗明在[参考文献2]提出了通过双经纬仪建立空间三维坐标测量系统,直接测量光平面上控制点的三维坐标,实现多相机视觉测量系统的全局标定。Kitahara在[参考文献3]使用激光跟踪仪来完成全局标定。这种三维测量设备由于较高的精度,适合大视场,被广泛应用在大尺寸部件的视觉测量中,但装配效率低,且成本较高。
二是基于自标定的方法,Roman在[参考文献4]让相机获取视场内的特定结构的目标图像来对无公共视场多相机视觉测量系统进行全局标定。Pflugfelder在[参考文献5]中让相机观察具有特殊结构的物体或场景,可以获得相机的内部参数和外部参数,同时重建三维空间中物体的轨迹。这种基于自标定的方法,在工业测量现场,很难获取满足要求的场景信息,而且全局标定精度很难满足视觉测量的要求。
三是基于辅助靶标的方法,Kumar在[参考文献6]和P.Lébraly在[参考文献7]通过调整平面镜的位置和角度,让无公共视场的多个相机都可观测到同一个靶标,从而实现全局标定。这种方法由于受到平面镜的视角和相机景深的影响,只适合近距离的无公共视场相机之间的全局标定。Liu[参考文献8]和Liu[参考文献9]利用激光线投射在两个非固连的平面特征点靶标上进行全局标定。该方法适合较远工作距离的无公共视场的相机,但在布局复杂的多相机测量系统中不易现场操作。Liu在[参考文献10]和[参考文献11]根据一维靶标特征点的共线性性质和已知距离,实验无公共视场的相机标定。由于一维靶标体积小、操作简单,该方法可以应用于操作空间受限的无公共视场的多相机测量系统,但由于已知点有限,进一步提高其标定精度受到限制。
在上述分类的第三类方法中,基于手眼标定的方法是目前操作较为简单,标定精度较高的方法。Esquivel在[参考文献12]将待标定的两个无公共视场的两个相机固连形成相机组,放置两个靶标分别在各自相机的清晰视野范围内,相机组移动多个位置并保证在每个位置可清晰拍摄靶标图像,通过建立手眼方程AX=XB求解两个待标定的无公共视场的相机外参。这种标定方法是通过移动待标定的两个相机实现的,例如在固定的车顶上的全景相机或者分布在铁路两侧的多相机测量系统,待标定的相机是无法移动的,这种方法难以标定。Liu[参考文献13]利用双平面靶标的固定约束关系实现两个无公共视场的相机全局标定。由于两个平面靶标固连,在较远工作距离的情况下需要较长的连接杆,导致机械结构不稳定难以操作,或者在大视场相机的情况下需要较大的平面靶标,较大平面靶标也会导致机械结构不稳定难以操作,或者在两台相机景深受限的情况下,固连的双平面靶标只能小角度摆动,容易产生角点不清晰的图像且提供的空间位置约束接近从而降低标定的精度。
本发明参考文献如下:
[1]R.S.Lu,Y.F.Li.Aglobal calibration method for large-scale multi-sensor visual measurement system,Sensors and Actuators A:Physical.2004,116(3):383-393.
[2]罗明.多传感器机器视觉测量系统的研究与应用.博士学位论文.天津大学.1996.
[3]Kitahara I,Saito H,Akimichi S,Onno T,Ohta Y,Kanade T.Large-scalevirtualized reality.IEEE computer vision and pattern recognition.technicalsketches,2001.
[4]P.Roman,B.Horst.Localization and trajectory reconstruction insurveillance cameras with non-overlapping views.IEEE Transactions on PatternAnalysis and Machine Intelligence.2010,32(4):709-721.
[5]Pflugfelder Roman,Bischof Horst.Localization and trajectoryreconstruction in surveillance cameras with non-overlapping views.IEEETransactions on Pattern Analysis and Machine Intelligence,vol.32,no.4,2010,pp.709-721.
[6]R.K.Kumar,A.Ilie,J.Frahmet,et al.Simple calibration of non-overlapping cameras using a planar mirror:Application to vision-basedrobotics.In Proceeding of Computer Vision and Pattern Recognition.USA,2008.
[7]P.Lebraly,C.Deymier,et al.Flexible extrinsic calibration of non-overlapping cameras using a planar mirror:Application to vision-basedRobotics.IEEE.International Conference on Intelligent Robots and Systems,Taipei,Taiwan,2010.
[8]Q.Z.Liu,et al.Global calibration method of multi-sensor visionsystem using skew laser lines.Chinese Journal of Mechanical Engineering.2012,25(2):405-410.
[9]Z.Liu,F.J.Li,G.J.Zhang,"An external parameter calibration methodfor multiple cameras based on laser rangefinder,"Measurement,no.47,2014,pp.954-962.
[10]Z.Liu,G.Zhang,Z.Wei,J.Sun.Novel calibration method for non-overlapping multiple vision sensors based on 1D target.Optics and PrecisionEngineering,no.49,2011,pp.570-577.
[11]Z.Liu,G.Zhang,Z.Wei.Global calibration of multi-vision sensorbased on one dimensional target.Optics and Precision Engineering,2008,pp.2274-2280.
[12]S.Esquivel,F.Woelk,R.Koch.Calibration of a multi-camera rig fromnon-overlapping views.Lecture Notes in Computer Science,2007,4713:82-91.
[13]Z.Liu,G.J.Zhang,Z.Z.Wei,et al.Aglobal calibration method formultiple vision sensors based on multiple targets.Measurement Science andTechnology,2011,22(12):125102.
从以上分析可以看出,现有的无公共视场的多相机全局标定方法,基于高精度三维坐标设备的方法,可以适合大视场相机、远工作距离、非对称工作夹角等情况,但是在工作空间受限的情况下难以操作,且成本高,工作效率较低;基于自标定的方法,由于较低的标定精度难以应用在工业测量中;基于辅助靶标的方法,往往借助于辅助的靶标、平面镜、激光器等,这种标定方法可以解决一些特定的情况,但是操作比较繁琐,精度适中;基于手眼标定的方法,连接两个待标定的相机,只适合相机可以自由移动的情况,一般工业在线测量中相机往往无法自由移动,而这时往往只能连接两个靶标,但是当相机具有大视场或者小景深的情况下,或者复杂的多相机空间分布如远工作距离、非对称夹角等情况,移动固连的靶标操作较难,并难以获得有效的清晰图像从而降低全局标定精度。
发明内容
鉴于此,本发明的目的在于提供一种基于相机组的无公共视场的多相机全局标定装置及方法,能够实现快速高精度的多相机全局标定,适用范围广,现场操作简单,尤其适合大视场或者小景深的相机以及复杂的多相机空间分布。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供了一种多相机全局标定装置,包括两台高分辨率面阵相机、两个平面特征点靶标、一个可调连接杆,其中,
高分辨率面阵相机,通过可调连接杆将两台高分辨率面阵相机固定连接构成相机组,两台高分辨率面阵相机的可以有公共视场也可以无公共视场,并且外部参数(旋转矩阵和平移矢量)未知。两台高分辨率面阵相机分别配有不同焦距的镜头,用于不同工作距离的标定。两台高分辨率面阵相机与待标定的两台无公共视场的相机分别组成两个双目视觉测量系统,同时对平面特征点靶标成像,较高的分辨率有助于标定精度的提升;
平面特征点靶标,用于提供特征点约束,实现两台高分辨率面阵相机和两台无公共视场的待标定的相机的内部参数标定,以及外部参数标定。材质为光学玻璃,光刻有棋盘格或者圆点阵等特征点,特征点间距已知。背面装有可调节LED光源,用于提高图像质量从而提高图像特征点的提取精度;
一个可调连接杆,用于固定连接两台高分辨率面阵相机,连接杆两端安装有万向球头,使两台面阵相机根据靶标位置进行调整。
上述方案中,两台高分辨率面阵相机和一个可调连接杆共同组成用于标定的相机组,其中面阵相机的分辨率应当高于待标定的相机分辨率,可调连接杆应当在保证两台高分辨率面阵相机安装空间的条件下机械结构紧凑,从而使标定操作更为简易。
本发明还提供了一种无公共视场的多相机全局标定方法,包括:
步骤a.标定图像的获取,相机的内参及镜头畸变参数的标定,具体为:将两个平面特征点靶标分别置于待标定的两台无公共视场的相机的清晰视野范围内,相机组置于两个平面特征点靶标之间,使两台高分辨率面阵相机分别与待标定的相机具有公共视场组成双目测量系统,采用平面特征点靶标对四台相机的内参及镜头畸变参数标定;将相机组和两个平面特征点靶标同时移动,保证相机组与待标定的相机同时可清晰拍摄标定图像,至少移动20次位置,四台相机获取同时全局标定图像;
步骤b.图像质量评价与筛选,具体为:通过估计每张图像的模糊度和噪声强度的比值,作为图像清晰度的评价标准,去除比值相对较小的图像将剩余图像作为标定图像;
步骤c.手眼方程的建立与求解,具体为:建立手眼标定方程AX=YB,通过kronecker直积的方法同时求解待标定的两个相机的外部参数和相机组的两个相机的外部参数;
步骤d.非线性优化,具体为:相机的内部参数、镜头的畸变参数与相机间的外部参数同时作为优化参数,建立基于反投影误差与极限约束的复合优化目标函数,使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数。
步骤a.将两个平面特征点靶标分别置于待标定的两台无公共视场的相机的清晰视野范围内,相机组置于两个平面特征点靶标之间,使两台高分辨率面阵相机分别与待标定的相机具有公共视场组成双目测量系统,采用平面特征点靶标对四台相机的内参及镜头畸变参数标定;将相机组和两个平面特征点靶标同时移动,保证相机组与待标定的相机同时可清晰拍摄标定图像,至少移动20次位置,四台相机同时获取全局标定图像,实现步骤为:
步骤(11)将两个平面特征点靶标分别置于待标定的两台无公共视场的相机前方,并位于清晰视野范围内,获取的图像中靶标图像占标定图像的面积的1/3-2/3。相机组置于两个平面特征点靶标之间,使两台高分辨率面阵相机分别与待标定的相机具有公共视场,通过不同焦距的镜头选用使靶标图像清晰,获取的图像中靶标图像占标定图像的面积的1/3-2/3。四台相机同时拍摄用于标定参数的图像,通过张正友平面标定方法计算四台相机的内参;
步骤(12)将相机组和两个平面特征点靶标同时自由移动,保证相机组与待标定的相机同时可清晰拍摄靶标图像,至少移动20次位置,四台相机同时获取全局标定图像。
步骤b.通过估计每张图像的模糊度和噪声强度的比值,作为图像清晰度的评价标准,去除比值相对较小的图像将剩余图像作为标定图像;实现步骤如下:
步骤(21)估计图像的水平差分和竖直差分的平均值,大于图像的水平差分或者竖直差分的平均值,视为图像的候选边缘,小于图像的水平差分或者竖直差分的平均值,视为图像的非候选边缘;计算相候选边缘的每个像素及相邻像素的水平差分和竖直差分,寻找相邻像素的水平差分的最大值和竖直差分的最大值作为边缘像素;估计该边缘像素水平方向的模糊度和竖值方向的模糊度,将二者间的最大值作为该像素的模糊度估计值,计算所有边缘像素的模糊度估计值并求解平均值作为该图像的平均模糊度;
步骤(22)采用3×3均值滤波器对图像进行滤波作为无噪声标准图像,将标定图像中的非候选边缘上的每个像素的灰度值与无噪声标准图像中对应的像素灰度值做差值,如果大于设定的阈值将该像素视为噪声,计算所有非候选边缘像素的噪声强度估计值并求解平均值作为该图像的平均噪声强度;
步骤(23)计算每张图像的平均模糊度和平均噪声强度的比值,去除比值较小的图像,将剩余图像作为标定图像。
步骤c.建立手眼标定方程AX=YB,通过kronecker直积的方法同时求解待标定的两个相机的外部参数和相机组的两个相机的外部参数,实现步骤如下:
步骤(31)相机组的两台高分辨率面阵相机与两台待标定的相机构成两个双目测量系统,通过同时移动相机组和平面特征点靶标多个位置,计算多个位置下的高分辨面阵相机和待标定的相机的外部参数A和B;
步骤(32)建立手眼标定方程AX=YB,X为两台待标定的相机间的外部参数,Y为相机组的两台相机间的外部参数;通过kronecker直积的方法同时求解待标定的两个相机的外部参数X和相机组的两个相机的外部参数Y。
步骤d.相机的内部参数、镜头的畸变参数与相机间的外部参数同时作为优化参数,建立基于反投影误差与极限约束的复合优化目标函数,使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值,实现步骤如下:
步骤(41)将四台相机的内部参数及对应镜头的畸变参数,高分辨率面阵相机和待标定的相机的外部参数共同作为待优化参数;
步骤(42)计算每张图像的反投影误差和点到极线的距离同时作为优化目标函数,使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值。
本发明与现有技术相比的优点在于:
本发明提供一种基于相机组的无公共视场的多相机全局标定装置及方法,采用相机组,代替目前常用的方法中的两个平面特征点靶标的连接杆,相机组仅仅由一个短距离可调连接杆、尺寸较小的两台高分辨率相机、多种不同焦距的镜头构成,其中两台高分辨率相机可以保证较高的标定精度,多种不同焦距的镜头可以适用不同的工作距离,其结构稳定简单操作方便,有效的解决了由于连接杆导致空间公共约束受限的问题,特别适用于具有大视场或者小景深的多相机测量系统,以及复杂的相机空间分布,如远工作距离(几米至几十米)、非对称工作夹角等。采用基于图像模糊度和噪声强度的方法进行标定图像筛选,从而保证图像数据样本本身的精度;利用手眼方程AX=YB同时求解两个待标定的相机间外部参数和相机组的外部参数;将相机的内部参数和镜头畸变参数与相机间的外部参数同时作为优化参数,不再是目前非公共视场的多相机视觉测量系统中仅仅优化外部参数,有效提高外部参数的标定精度。通过引入极线约束,与反投影误差共同构成复合3D目标优化函数,有效地解决了由于引入相机内部参数和镜头畸变参数的多参数联合优化的不稳定问题。
附图说明
图1是基于相机组的无公共视场的多相机全局标定流程图;
图2是基于相机组的无公共视场的多相机全局标定示意图;
图3是图像的边缘模糊度计算示意图;
图4是基于相机组的无公共视场的多相机极线约束示意图;
图5是基于相机组的无公共视场的多相机标定实物图。
具体实施方式
本发明的基本思想是:采用相机组代替传统方法中的两个平面特征点靶标之间的较长连接杆,有效的解决了由于连接杆导致公共空间约束受限的问题。首先采用基于图像模糊度和噪声强度的方法进行标定图像筛选;其次利用手眼方程AX=YB求解待标定的外部参数;最后将相机的内部参数、镜头畸变参数与相机间的外部参数同时优化,有效地提高了全局保定精度,并通过引入极线约束与反投影误差共同构成3D目标优化函数,有效地解决了多参数联合优化的不稳定问题。该装置及方法应用范围广,机械结构稳定,操作灵活方便,特别适用于复杂的多相机空间分布,如长工作距离、非对称工作夹角等。
基于上面所述的基于相机组的无公共视场的多相机全局标定装置,本发明结合具体实施例,由两台待标定的无公共视场相机、两台高分辨率相机、一个可调节连接杆和两个平面特征点靶标为例,对本发明作进一步详细说明。
本发明基于相机组的无公共视场的多相机全局标定方法主要包括以下步骤:
步骤11:标定图像的获取,相机的内参及镜头畸变参数的标定。将两个平面特征点靶标分别置于待标定的两台无公共视场的相机的清晰视野范围内,相机组置于两个平面特征点靶标之间,使两台高分辨率面阵相机分别与待标定的相机具有公共视场组成双目测量系统,采用平面特征点靶标对四台相机的内参及镜头畸变参数标定;将相机组和两个平面特征点靶标同时移动,保证相机组与待标定的相机同时可清晰拍摄标定图像,至少移动20次位置,四台相机同时获取全局标定图像;
步骤111:将两个平面特征点靶标分别置于待标定的两台无公共视场的相机前方,并位于清晰视野范围内,获取的图像中靶标图像占标定图像的面积的1/3-2/3。相机组置于两个平面特征点靶标之间,使两台高分辨率面阵相机分别与待标定的相机具有公共视场,通过不同焦距的镜头选用使靶标图像清晰,获取的图像中靶标图像占标定图像的面积的1/3-2/3。四台相机同时拍摄用于标定参数的图像,通过张正友平面标定方法计算四台相机的内参,如图1;
相机的内部参数和镜头的畸变参数计算,让PW(XW,YW,ZW)T是空间中的一个对象点,p(uc,vc)是图像平面上的理想投影点。根据透视投影模型,在相机坐标系中的点PW与其图像坐标(uc,vc)之间存在以下等式。
其中,K是通过标定获得的相机的内部参数。[R3×3,t3×1]表示从世界坐标系到相机坐标的旋转矩阵和平移向量。fx和fy表示图像x和y轴中的有效焦距。(u0,v0)是原点坐标,γ是两个图像轴的斜率,S是非零比例因子。
由于镜头畸变,畸变图像点校正后的图像坐标为(ud,vd),有:
这里,k1,k2是镜头畸变系数。具体相机的内部参数与镜头畸变求解方法见张正友的文章“A flexible new technique for camera calibration[R].MicrosoftCorporation,NSR-TR-98-71,1998”中有详细描述。
步骤112:将相机组和两个平面特征点靶标同时自由移动,保证相机组与待标定的相机同时可清晰拍摄靶标图像,至少移动20次位置,四台相机同时获取全局标定图像。
步骤12:图像质量评价与筛选。通过估计每张图像的模糊度和噪声强度的比值,作为图像清晰度的评价标准,去除比值相对较小的图像将剩余图像作为标定图像;
步骤121:估计图像的水平差分和竖直差分的平均值,大于图像的水平差分或者竖直差分的平均值,视为图像的候选边缘,小于图像的水平差分或者竖直差分的平均值,视为图像的非候选边缘;计算相候选边缘的每个像素及相邻像素的水平差分和竖直差分,寻找相邻像素的水平差分的最大值和竖直差分的最大值作为边缘像素;估计该边缘像素水平方向的模糊度和竖直方向的模糊度,将二者间的最大值作为该像素的模糊度估计值,计算所有边缘像素的模糊度估计值并求解平均值作为该图像的平均模糊度,如图2;
用M行和N列表示图像f(x,y),x∈[1,M],y∈[1,N],像素的水平差分值定义为:
Dx(x,y)=|f(x,y+1)-f(x,y-1)| (3)
其平均值为:
如果公式(4)的值大于公式(3)的值,则该像素被认为是边缘候选点Cx(x,y)。
如果边缘候选点的值大于相邻的候选点的值,这个像素被确定为边缘,如下:
之后,该像素的水平的边缘强度为:
同样方法,通过公式(3)-(7)可以估计出该像素竖直方向的边缘强度Sy(x,y)。最终,取水平方向的边缘强度和竖直方向的边缘强度的最大值作为该像素的边缘强度。
最终,平均边缘强度为:
Blurmean=Blursum/Blurcount (9)
这里,Blursum是边缘上的点的边缘强度的和,Blurcount边缘上点的个数。
步骤122:采用3×3均值滤波器对图像进行滤波作为无噪声标准图像,将标定图像中的非候选边缘上的每个像素的灰度值与无噪声标准图像中对应的像素灰度值做差值,如果大于设定的阈值将该像素视为噪声,计算所有非候选边缘像素的噪声强度估计值并求解平均值作为该图像的平均噪声强度;
由于沿边缘感知的噪声看起来不那么明显,所以我们估计非候选边缘区域的噪声。另外,由于我们不能得到标准的无噪声图像。因此,需要在检测到边缘之后需要进行图像预处理。本文将平均滤波器应用于噪声图像去噪。平均滤波后的图像g(x,y),
可以用模糊估计类似的方法获得图像的边缘。之后,噪声的强度可以估计为:
步骤123:计算每张图像的平均模糊度和平均噪声强度的比值,去除比值较小的图像,将剩余图像作为标定图像,
Noisemean=Noisesum/Noisecount (12)
这里,Noisesum是非边缘上的噪声强度和,Noisecount是非边缘上噪声点的个数。最终,我们用公式(9)和公式(12)的比值Blurmean/Noisemean来评价图像。该比值越大,图像也就越清晰。
步骤13:建立手眼标定方程AX=YB,通过kronecker直积的方法同时求解待标定的两个相机的外部参数和相机组的两个相机的外部参数;
步骤131:相机组的两台高分辨率面阵相机与两台待标定的相机构成两个双目测量系统,通过同时移动相机组和平面特征点靶标多个位置,计算多个位置下的高分辨面阵相机和待标定的相机的外部参数A和B;
步骤132:建立手眼标定方程AX=YB,X为两台待标定的相机间的外部参数,Y为相机组的两台相机间的外部参数;通过kronecker直积的方法同时求解待标定的两个相机的外部参数X和相机组的两个相机的外部参数Y。具体求解方法在文章“M.Shah,”Solving therobot-world/hand-eye calibration problrm using the kronecker product,”Journalof Mechanisms and Robotics,vol.5,pp.031007-1-7,2013.”。
步骤14:相机的内部参数、镜头的畸变参数与相机间的外部参数同时作为优化参数,建立基于反投影误差与极限约束的复合优化目标函数,使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值,如图4;
步骤141:将四台相机的内部参数及对应镜头的畸变参数,高分辨率面阵相机和待标定的相机的外部参数共同作为待优化参数;
这里,表示平面特征点靶标1在相机C1坐标系下的外部参数,表示相机C1与相机V1之间的外部参数,平面特征点靶标2在相机C2坐标系下的外部参数,表示相机C2与相机V2之间的外部参数,RX,tX表示相机C1与相机C2之间的外部参数,RY,tY表示相机V1与相机V2之间的外部参数。
应该注意的是,为了优化待标定的两个相机间的外部参数(RC2C1,tC2C1)和相机组之间的两个相机间的外部参数(RV2V1,tV2V1),也就是(RX,tX)和(RY,tY),可以利用相机C1和相机V1的外部参数以及相机C2和相机V2的外部参数中间的变量来进行优化。
步骤142:计算每张图像的反投影误差和点到极线的距离同时作为优化目标函数,使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值。
还可以增加对极线约束的优化函数,表达式如下:
其中,极线和相应的基本矩阵的表达式如下:
最后,使用几何约束JP和Je一起得到优化结果,
J=JP+Je (17)
实施例
两台待标定的无公共视场的相机型号为Allied Vision Technologies,配用焦距17mm施耐德光学镜头,图像分辨率为1600×1200像素,构成相机组的两台高分辨率的相机型号为MER-1070-14U3M/C,图像分辨率为3840×2748像素。两个平面特征点靶标的特征点相邻点间距为10mm,位置精度2um,如图5。
首先,根据步骤11所述的方法得到摄像机内参标定结果为:
根据步骤12所述的方法,采集到的标定图像144张,筛选后的图像为136张,将剩余的标定图像用于标定;
根据步骤13所述的方法,优化前的待标定的两个无公共视场的相机外部参数为:
根据步骤14所述的方法,优化后的待标定的两个无公共视场的相机内部参数为:
根据步骤14所述的方法,优化后的待标定的两个无公共视场的相机外部参数为:
Claims (5)
1.一种基于相机组的无公共视场的多相机全局标定方法,其特征在于,该方法包括:
步骤a.标定图像的获取,相机的内参及镜头畸变参数的标定,具体为:将两个平面特征点靶标分别置于待标定的两台无公共视场的相机的清晰视野范围内,相机组置于两个平面特征点靶标之间,使两台高分辨率面阵相机分别与待标定的相机具有公共视场组成双目测量系统,采用平面特征点靶标对四台相机的内参及镜头畸变参数标定;将相机组和两个平面特征点靶标同时移动,保证相机组与待标定的相机同时可清晰拍摄标定图像,至少移动20次位置,四台相机同时获取全局标定图像;
步骤b.图像质量评价与筛选,具体为:通过估计每张图像的模糊度和噪声强度的比值,作为图像清晰度的评价标准,去除比值相对较小的图像将剩余图像作为标定图像;
步骤c.手眼方程的建立与求解,具体为:建立手眼标定方程AX=YB,通过kronecker直积的方法同时求解待标定的两个相机的外部参数和相机组的两个相机的外部参数;
步骤d.非线性优化,具体为:相机的内部参数、镜头的畸变参数与相机间的外部参数同时作为优化参数,建立基于反投影误差与极限约束的复合优化目标函数,使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数。
2.根据权利要求1所述的一种基于相机组的无公共视场的多相机全局标定方法,其特征在于,步骤a中将两个平面特征点靶标分别置于待标定的两台无公共视场的相机的清晰视野范围内,相机组置于两个平面特征点靶标之间,使两台高分辨率面阵相机分别与待标定的相机具有公共视场组成双目测量系统,采用平面特征点靶标对四台相机的内参及镜头畸变参数标定;将相机组和两个平面特征点靶标同时移动,保证相机组与待标定的相机同时可清晰拍摄标定图像,至少移动20次位置,四台相机同时获取全局标定图像,实现步骤为:
步骤(11)将两个平面特征点靶标分别置于待标定的两台无公共视场的相机前方,并位于清晰视野范围内,获取的图像中靶标图像占标定图像的面积的1/3-2/3,相机组置于两个平面特征点靶标之间,使两台高分辨率面阵相机分别与待标定的相机具有公共视场,通过不同焦距的镜头选用使靶标图像清晰,获取的图像中靶标图像占标定图像的面积的1/3-2/3,四台相机同时拍摄用于标定参数的图像,通过张正友平面标定方法计算四台相机的内参;
步骤(12)将相机组和两个平面特征点靶标同时自由移动,保证相机组与待标定的相机同时可清晰拍摄靶标图像,至少移动20次位置,四台相机同时获取全局标定图像。
3.根据权利要求1所述的一种基于相机组的无公共视场的多相机全局标定方法,其特征在于,步骤b中通过估计每张图像的模糊度和噪声强度的比值,作为图像清晰度的评价标准,去除比值相对较小的图像将剩余图像作为标定图像;实现步骤如下:
步骤(21)估计图像的水平差分和竖直差分的平均值,大于图像的水平差分或者竖直差分的平均值,视为图像的候选边缘,小于图像的水平差分或者竖直差分的平均值,视为图像的非候选边缘;计算候选边缘的每个像素及相邻像素的水平差分和竖直差分,寻找相邻像素的水平差分的最大值和竖直差分的最大值作为边缘像素;估计该边缘像素水平方向的模糊度和竖值方向的模糊度,将二者间的最大值作为该像素的模糊度估计值,计算所有边缘像素的模糊度估计值并求解平均值作为该图像的平均模糊度;
步骤(22)采用3×3均值滤波器对图像进行滤波作为无噪声标准图像,将标定图像中的非候选边缘上的每个像素的灰度值与无噪声标准图像中对应的像素灰度值做差值,如果大于设定的阈值将该像素视为噪声,计算所有非候选边缘像素的噪声强度估计值并求解平均值作为该图像的平均噪声强度;
步骤(23)计算每张图像的平均模糊度和平均噪声强度的比值,去除比值较小的图像,将剩余图像作为标定图像。
4.根据权利要求1所述的一种基于相机组的无公共视场的多相机全局标定方法,其特征在于,步骤c中建立手眼标定方程AX=YB,通过kronecker直积的方法同时求解待标定的两个相机的外部参数和相机组的两个相机的外部参数,实现步骤如下:
步骤(31)相机组的两台高分辨率面阵相机与两台待标定的相机构成两个双目测量系统,通过同时移动相机组和平面特征点靶标多个位置,计算多个位置下的高分辨面阵相机和待标定的相机的外部参数A和B;
步骤(32)建立手眼标定方程AX=YB,X为两台待标定的相机间的外部参数,Y为相机组的两台相机间的外部参数;通过kronecker直积的方法同时求解待标定的两个相机的外部参数X和相机组的两个相机的外部参数Y。
5.根据权利要求1所述的一种基于相机组的无公共视场的多相机全局标定方法,其特征在于,步骤d中相机的内部参数、镜头的畸变参数与相机间的外部参数同时作为优化参数,建立基于反投影误差与极限约束的复合优化目标函数,使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值,实现步骤如下:
步骤(41)将四台相机的内部参数及对应镜头的畸变参数,高分辨率面阵相机和待标定的相机的外部参数共同作为待优化参数;
步骤(42)计算每张图像的反投影误差和点到极线的距离同时作为优化目标函数,使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811475135.8A CN109559355B (zh) | 2018-12-04 | 2018-12-04 | 一种基于相机组的无公共视场的多相机全局标定装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811475135.8A CN109559355B (zh) | 2018-12-04 | 2018-12-04 | 一种基于相机组的无公共视场的多相机全局标定装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109559355A CN109559355A (zh) | 2019-04-02 |
CN109559355B true CN109559355B (zh) | 2021-08-10 |
Family
ID=65868924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811475135.8A Active CN109559355B (zh) | 2018-12-04 | 2018-12-04 | 一种基于相机组的无公共视场的多相机全局标定装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109559355B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110189382A (zh) * | 2019-05-31 | 2019-08-30 | 东北大学 | 一种基于无共视区域的多双目相机运动标定方法 |
CN112150553B (zh) * | 2019-06-27 | 2024-03-29 | 北京魔门塔科技有限公司 | 一种车载相机的标定方法和装置 |
CN110660108B (zh) * | 2019-09-11 | 2022-12-27 | 北京控制工程研究所 | 一种交会对接测量相机和对接抓捕机构的联合标定方法 |
CN110672094B (zh) * | 2019-10-09 | 2021-04-06 | 北京航空航天大学 | 一种分布式pos多节点多参量瞬间同步标校方法 |
CN111222409A (zh) * | 2019-11-26 | 2020-06-02 | 北京迈格威科技有限公司 | 车辆品牌的标注方法、装置及系统 |
CN111127559B (zh) * | 2019-12-26 | 2023-06-16 | 深圳市瑞立视多媒体科技有限公司 | 光学动捕系统中标定杆检测方法、装置、设备和存储介质 |
CN114663524B (zh) * | 2022-03-09 | 2023-04-07 | 禾多科技(北京)有限公司 | 多相机在线标定方法、装置、电子设备和计算机可读介质 |
CN115439555A (zh) * | 2022-08-29 | 2022-12-06 | 佛山职业技术学院 | 一种无公共视场多相机外参数标定方法 |
CN117557659B (zh) * | 2024-01-10 | 2024-03-19 | 吉林大学 | 基于一维靶标和回转台的对向相机全局标定方法与系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105716542A (zh) * | 2016-04-07 | 2016-06-29 | 大连理工大学 | 一种基于柔性特征点的三维数据拼接方法 |
EP3166074A1 (en) * | 2015-04-22 | 2017-05-10 | Thomson Licensing | Method of camera calibration for a multi-camera system and apparatus performing the same |
CN107883870A (zh) * | 2017-10-24 | 2018-04-06 | 四川雷得兴业信息科技有限公司 | 基于双目视觉系统和激光跟踪仪测量系统的全局标定方法 |
CN108198224A (zh) * | 2018-03-15 | 2018-06-22 | 中国铁道科学研究院 | 一种用于立体视觉测量的线阵相机标定装置及标定方法 |
CN108344360A (zh) * | 2017-11-15 | 2018-07-31 | 北京航空航天大学 | 一种视觉测量系统的激光扫描式全局校准装置及方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2780419A1 (en) * | 2011-06-17 | 2012-12-17 | National Cheng Kung University | Unmanned aerial vehicle image processing system and method |
US9904852B2 (en) * | 2013-05-23 | 2018-02-27 | Sri International | Real-time object detection, tracking and occlusion reasoning |
US9197885B2 (en) * | 2014-03-20 | 2015-11-24 | Gopro, Inc. | Target-less auto-alignment of image sensors in a multi-camera system |
CN105910584B (zh) * | 2016-05-06 | 2018-05-04 | 北京信息科技大学 | 大尺寸动态摄影测量系统的高精度定向及定向精度评价方法 |
CN108648241B (zh) * | 2018-05-17 | 2022-04-12 | 北京航空航天大学 | 一种ptz摄像机现场标定及定焦方法 |
CN108648242B (zh) * | 2018-05-18 | 2020-03-24 | 北京航空航天大学 | 基于激光测距仪辅助无公共视场的两相机标定方法及装置 |
-
2018
- 2018-12-04 CN CN201811475135.8A patent/CN109559355B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3166074A1 (en) * | 2015-04-22 | 2017-05-10 | Thomson Licensing | Method of camera calibration for a multi-camera system and apparatus performing the same |
CN105716542A (zh) * | 2016-04-07 | 2016-06-29 | 大连理工大学 | 一种基于柔性特征点的三维数据拼接方法 |
CN107883870A (zh) * | 2017-10-24 | 2018-04-06 | 四川雷得兴业信息科技有限公司 | 基于双目视觉系统和激光跟踪仪测量系统的全局标定方法 |
CN108344360A (zh) * | 2017-11-15 | 2018-07-31 | 北京航空航天大学 | 一种视觉测量系统的激光扫描式全局校准装置及方法 |
CN108198224A (zh) * | 2018-03-15 | 2018-06-22 | 中国铁道科学研究院 | 一种用于立体视觉测量的线阵相机标定装置及标定方法 |
Non-Patent Citations (3)
Title |
---|
An external parameter calibration method for multiple cameras based on laser rangefinder;Zhen Liu等;《Measurement》;20141231;第47卷;第954-962页 * |
一种多相机视觉测量系统的全局标定方法;黄东兆 等;《吉首大学学报(自然科学版)》;20180930;第39卷(第5期);第38-45页 * |
视觉引导激光跟踪测量系统的Cayley变换校准方法;王亚丽 等;《红外与激光工程》;20160531;第45卷(第5期);第0517001-1-0517001-1页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109559355A (zh) | 2019-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109559355B (zh) | 一种基于相机组的无公共视场的多相机全局标定装置及方法 | |
CN107255443B (zh) | 一种复杂环境下双目视觉传感器现场标定方法及装置 | |
CN110728715B (zh) | 一种智能巡检机器人摄像机角度自适应调整方法 | |
CN108344360B (zh) | 一种视觉测量系统的激光扫描式全局校准装置及方法 | |
CN107507235B (zh) | 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 | |
CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及系统 | |
CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
Song et al. | Survey on camera calibration technique | |
Xie et al. | Infrastructure based calibration of a multi-camera and multi-lidar system using apriltags | |
CN109373912B (zh) | 一种基于双目视觉的非接触式六自由度位移测量方法 | |
JP2008298685A (ja) | 計測装置及びプログラム | |
CN112132874B (zh) | 无标定板异源图像配准方法、装置、电子设备及存储介质 | |
CN113240747B (zh) | 一种基于计算机视觉的户外结构振动位移自动化监测方法 | |
Cvišić et al. | Recalibrating the KITTI dataset camera setup for improved odometry accuracy | |
JP2009042162A (ja) | キャリブレーション装置及びその方法 | |
Nagy et al. | Online targetless end-to-end camera-LiDAR self-calibration | |
CN112630469B (zh) | 一种基于结构光和多光场相机的三维检测方法 | |
CN112580683B (zh) | 一种基于互相关的多传感器数据时间对齐系统及其方法 | |
CN116758136B (zh) | 一种货物体积实时在线识别方法、系统、设备以及介质 | |
CN108362205A (zh) | 基于条纹投影的空间测距方法 | |
CN108154535B (zh) | 基于平行光管的摄像机标定方法 | |
CN104167001A (zh) | 基于正交补偿的大视场摄像机标定方法 | |
CN111738971B (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
Wang et al. | Corners positioning for binocular ultra-wide angle long-wave infrared camera calibration | |
Chen et al. | Finding optimal focusing distance and edge blur distribution for weakly calibrated 3-D vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |