CN108510551A - 一种远距离大视场条件下相机参数的标定方法及系统 - Google Patents

一种远距离大视场条件下相机参数的标定方法及系统 Download PDF

Info

Publication number
CN108510551A
CN108510551A CN201810379855.8A CN201810379855A CN108510551A CN 108510551 A CN108510551 A CN 108510551A CN 201810379855 A CN201810379855 A CN 201810379855A CN 108510551 A CN108510551 A CN 108510551A
Authority
CN
China
Prior art keywords
matrix
camera
imaging system
binocular
binocular imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810379855.8A
Other languages
English (en)
Other versions
CN108510551B (zh
Inventor
张东升
于起峰
冯威武
吴�荣
刘海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
University of Shanghai for Science and Technology
Original Assignee
National University of Defense Technology
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology, University of Shanghai for Science and Technology filed Critical National University of Defense Technology
Priority to CN201810379855.8A priority Critical patent/CN108510551B/zh
Publication of CN108510551A publication Critical patent/CN108510551A/zh
Application granted granted Critical
Publication of CN108510551B publication Critical patent/CN108510551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration

Abstract

本发明公开了一种远距离大视场条件下相机参数的标定方法及系统。该标定方法包括:利用双目成像系统拍摄无人机携带的标记板,得到标记图像;所述标记板上设有标记点;所述无人机在所述双目成像系统的远距离大视场条件下飞行;根据所述标记图像确定所述双目成像系统的基本矩阵;根据所述基本矩阵确定所述双目成像系统的等效焦距;根据所述基本矩阵确定所述双目成像系统的本质矩阵;根据所述本质矩阵确定所述双目成像系统的旋转矩阵以及平移向量;根据最小二乘拟合法对所述等效焦距、所述旋转矩阵以及所述平移向量进行优化,得到优化后的相机参数。采用本发明所提供的标定方法及系统,能够在远距离大视场条件下以低成本对相机的内外参数进行标定。

Description

一种远距离大视场条件下相机参数的标定方法及系统
技术领域
本发明涉及光电检测领域,特别是涉及一种远距离大视场条件下相机参数的标定方法及系统。
背景技术
双相机系统的标定实质上是确定相机内外参的过程,其中内参是相机本身固有的、与位置无关的内部几何与光学参数,内参包括:图像主点坐标、等效焦距、比例因子以及镜头畸变等;而外参是指双相机的相对位置关系,一般用旋转矩阵和平移向量表示。广义上双相机的标定可分为传统的标定方法以及自标定方法。传统的标定方法,通常采用经典的基于径向约束的Tsai标定法或者基于2D平面标靶的张正友标定,这两个方法均需要借助精密制作的网格或者棋盘格标定平板。该标定方法精确,操作方便,但只适用于米级以下的小视场标定,而由于标定板制作昂贵、使用不方便等原因,无法在大于10米以上的大视场条件下对相机进行标定。
发明内容
本发明的目的是提供一种远距离大视场条件下相机参数的标定方法及系统,以解决现有技术中标定板制作昂贵,且无法在大视场条件下对相机进行标定。
为实现上述目的,本发明提供了如下方案:
一种远距离大视场条件下相机参数的标定方法,包括:
利用双目成像系统拍摄无人机携带的标记板,得到标记图像;所述标记板上设有标记点;所述双目成像系统包括双目相机以及成像镜头,所述双目相机包括左相机和右相机;所述无人机在所述双目成像系统的远距离大视场条件下飞行;
根据所述标记图像确定所述双目成像系统的基本矩阵;
根据所述基本矩阵确定所述双目成像系统的等效焦距;
根据所述基本矩阵确定所述双目成像系统的本质矩阵;
根据所述本质矩阵确定所述双目成像系统的旋转矩阵以及平移向量;所述旋转矩阵为所述左相机对所述右相机的旋转矩阵或所述右相机对所述左相机的旋转矩阵;所述平移向量为所述左相机到所述右相机的平移向量或所述右相机到所述左相机的平移向量;
根据最小二乘拟合法对所述等效焦距、所述旋转矩阵以及所述平移向量进行优化,得到优化后的相机参数。
可选的,在所述利用双目成像系统拍摄无人机所携带的标记板,得到标记图像之前,还包括:
利用张正友标定法估计出所述双目成像系统的主点坐标以及镜头畸变;所述主点坐标包括所述左相机的第一主点坐标以及所述右相机的第二主点坐标;所述镜头畸变包括左相机的第一镜头畸变以及右相机的第二镜头畸变。
可选的,所述根据所述标记图像确定所述双目成像系统的基本矩阵,具体包括:
根据所述标记图像,确定所述标记点在所述左相机的第一齐次坐标;
根据所述标记图像,确定所述标记点在所述右相机的第二齐次坐标;
根据公式x′TFx=0计算所述双目成像系统的基本矩阵;
其中,x′为所述第一齐次坐标,x为所述第二齐次坐标,F为所述基本矩阵,x’T为所述第一齐次坐标x’的转置矩阵。
可选的,所述根据所述基本矩阵确定所述双目成像系统的等效焦距,具体包括:
根据所述基本矩阵以及所述主点坐标确定半校正基本矩阵;所述半校正基本矩阵由以下公式表示:
其中,(cx,cy)为所述第一主点坐标,(cx’,cy’)为所述第二主点坐标;
对所述半校正基本矩阵进行奇异值分解,计算得到自标定方程组;
根据所述自标定方程组确定所述双目成像系统的等效焦距。
可选的,所述根据所述基本矩阵确定所述双目成像系统的本质矩阵,具体包括:
获取所述双目成像系统的内参矩阵;所述内参矩阵包括所述左相机的第一内参矩阵以及所述右相机的第二内参矩阵;
根据所述基本矩阵以及所述内参矩阵确定所述本质矩阵。
可选的,所述根据所述本质矩阵确定所述双目成像系统的旋转矩阵以及平移向量,具体包括:
对所述本质矩阵进行奇异值分解,确定分解后的本质矩阵;
对所述分解后的本质矩阵进行修订,得到所述双目成像系统的旋转矩阵以及平移向量。
可选的,所述根据最小二乘拟合法对所述等效焦距、所述旋转矩阵以及所述平移向量进行优化,得到优化后的相机参数,具体包括:
根据所述等效焦距、所述旋转矩阵以及所述平移向量,获取所述标记点在以所述左相机为世界坐标系下的三维坐标;
根据所述三维坐标确定重投影坐标;
根据所述重投影坐标以及所述三维坐标确定重投影误差;
采用最小二乘拟合法对所述重投影误差最小化,得到优化后的相机参数。
一种远距离大视场条件下相机参数的标定系统,包括:
标记图像获取模块,用于利用双目成像系统拍摄无人机携带的标记板,得到标记图像;所述标记板上设有标记点;所述双目成像系统包括双目相机以及成像镜头,所述双目相机包括左相机和右相机;所述无人机在所述双目成像系统的远距离大视场条件下飞行;
基本矩阵确定模块,用于根据所述标记图像确定所述双目成像系统的基本矩阵;
等效焦距确定模块,用于根据所述基本矩阵确定所述双目成像系统的等效焦距;
本质矩阵确定模块,用于根据所述基本矩阵确定所述双目成像系统的本质矩阵;
旋转矩阵以及平移向量确定模块,用于根据所述本质矩阵确定所述双目成像系统的旋转矩阵以及平移向量;所述旋转矩阵为所述左相机对所述右相机的旋转矩阵或所述右相机对所述左相机的旋转矩阵;所述平移向量为所述左相机到所述右相机的平移向量或所述右相机到所述左相机的平移向量;
优化模块,用于根据最小二乘拟合法对所述等效焦距、所述旋转矩阵以及所述平移向量进行优化,得到优化后的相机参数。
可选的,所述标定系统还包括:
主点坐标以及镜头畸变估计模块,用于利用张正友标定法估计出所述双目成像系统的主点坐标以及镜头畸变;所述主点坐标包括所述左相机的第一主点坐标以及所述右相机的第二主点坐标;所述镜头畸变包括左相机的第一镜头畸变以及右相机的第二镜头畸变。
可选的,所述基本矩阵确定模块具体包括:
第一齐次坐标确定单元,用于根据所述标记图像,确定所述标记点在所述左相机的第一齐次坐标;
第二齐次坐标确定单元,用于根据所述标记图像,确定所述标记点在所述右相机的第二齐次坐标;
基本矩阵计算单元,用于根据公式x′TFx=0计算所述双目成像系统的基本矩阵;
其中,x′为所述第一齐次坐标,x为所述第二齐次坐标,F为所述基本矩阵,x’T为所述第一齐次坐标x’的转置矩阵。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供了一种远距离大视场条件下相机参数的无人机标定方法及系统,适用于双相机或者多相机系统进行大视场三维测量。无人机携带已知几何尺寸的标记板在视场范围内飞行,通过双相机系统同步采集并提取对应标记的图像坐标,以匹配左右相机的标记点获得基本矩阵的求解,得到等效焦距以及本质矩阵,根据本质矩阵获得外参估计,所述外参包括旋转矩阵以及平移向量;最后最小二乘拟合法进行全局优化,提取出相机系统精确的内外参数,其中,内参除了计算得到等效焦距,还包括主点坐标以及镜头畸变。采用本发明所提供的标定方法及系统无需制作大型的标定靶,只需要无人机携带已知几何尺寸的标记在视场范围内飞行就能精确地获得双相机内外参数,不用制作在大视场条件下的标定板,从而低成本且精确标定双相机的内外参数。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明所提供的远距离大视场条件下相机参数的标定方法流程图;
图2为本发明所提供的远距离大视场条件下相机参数的标定系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种远距离大视场条件下相机参数的标定方法及系统,不用制作在大视场条件下的标定板,从而低成本且精确标定双相机的内外参数。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
双相机测量站、或者多相机测量站是典型的三维运动测量系统,为了精确测量物体的三维运动,必须精确标定各个相机的参数。本发明目的是针对现有相机标定技术存在的缺陷和工程中迫切的应用,提出了远距离大视场条件下相机标定方法。针对10米以上,200米以下的视场范围,采用无人机携带已知几何尺寸的标志物在视场中飞行,通过新的标定算法,完成相机系统的标定。
为达到上述目的,本发明的构思是:
首先确定各个相机的内部参数(主点坐标,镜头畸变,和等效焦距),其中主点坐标和镜头畸变可由传统的张正友标定法直接估计,由于镜头的缩放导致等效焦距的变化不可预知,因此需要利用其它的方法获取等效焦距。本发明利用基本矩阵完成等效焦距的估计;然后利用本质矩阵分解出相机外参;最后利用多参数最小二乘拟合法对所有参数进行全局的优化,获得最终相机系统的内外参。
图1为本发明所提供的远距离大视场条件下相机参数的标定方法流程图,如图1所示,一种远距离大视场条件下相机参数的标定方法,包括:
步骤101:利用双目成像系统拍摄无人机携带的标记板,得到标记图像;所述标记板上设有标记点;所述双目成像系统包括双目相机以及成像镜头,所述双目相机包括左相机和右相机;所述无人机在所述双目成像系统的远距离大视场条件下飞行。
在步骤101之前还包括:利用基于二维平板的张正友标定法估计出所述双目成像系统的主点坐标以及镜头畸变;所述主点坐标包括所述左相机的第一主点坐标以及所述右相机的第二主点坐标;所述镜头畸变包括左相机的第一镜头畸变以及右相机的第二镜头畸变。
步骤102:根据所述标记图像确定所述双目成像系统的基本矩阵。
所述步骤102具体包括:根据所述标记图像,确定所述标记点在所述左相机的第一齐次坐标;根据所述标记图像,确定所述标记点在所述右相机的第二齐次坐标;根据公式x′TFx=0计算所述双目成像系统的基本矩阵;其中,x′为所述第一齐次坐标,x为所述第二齐次坐标,F为所述基本矩阵,x’T为所述第一齐次坐标x’的转置矩阵。
双相机系统中对应图像存在一一对应的关系:则基本矩阵均满足条件:
x′TFx=0 (1)
其中,x和x’是齐次坐标,形如x=(u,v,1)T和x′=(u′,v′,1)T。且基本矩阵是秩为2的唯一3×3齐次矩阵。
步骤103:根据所述基本矩阵确定所述双目成像系统的等效焦距。
已知基本矩阵F和摄像机的主点坐标,通过摄像机约束方程求解摄像机等效焦距,本专利采用Kruppa方程求解,该方程是多摄像机系统的重要约束,它将基本矩阵和摄像机内参矩阵联系起来。
所述步骤103具体包括:根据所述基本矩阵以及所述主点坐标确定半校正基本矩阵;所述半校正基本矩阵由以下公式表示:其中,(cx,cy)为所述第一主点坐标,(cx’,cy’)为所述第二主点坐标;对所述半校正基本矩阵进行奇异值分解,计算得到自标定方程组;根据所述自标定方程组确定所述双目成像系统的等效焦距。
利用归一化8点算法来计算基本矩阵,首先将等式(1)展开得:
uu′F11+uv′F21+uF31+vu′F12+vv′F22+vF32+u′F13+v′F23+F33=0 (2)
上式可简写为:
(uu′,uv′,u,vu′,vv′,v,u′,v′,1)f=0 (3)
其中:
f=(F11,F21,F31,F12,F22,F32,F13,F23,F33)T (4)
对于所有匹配的特征点,可以获得一个线性方程组:
Af=0 (5)
其中,
显然这是一个关于基本矩阵F的线性方程,只需要8个以上的对应点,即可通过最小二乘法求解。由于8点算法是一个线性算法,给出基本矩阵的最小二乘法解,有可能这个解不满足基本矩阵秩为2的性质,因此需要强制采取措施使基本矩阵的秩为2。假设8点算法给出的最小二乘解为F,则F奇异值分解(SVD)为F=UDVT,其中D是对角矩阵D=diag(r,s,t),满足r≥s≥t。我们令F′=Udiag(r,s,0)VT,即可得到秩为2并使||F-F′||的Frobenius范数最小的F’。这种修正的方法基于的原理是在2范数意义下寻找与基本矩阵F最接近的秩为2的矩阵F’。这种方法在实际操作中效果很好。
以上介绍的是8点算法的求解过程,在求解之前对这些匹配的点对进行适当归一化将增加计算精度。在使用8点算法之前,图像点的一个简单的变换(平移或者尺度)将使这个问题的条件极大的改善,从而提高结果的稳定性。而且这种变换所增加的计算并不复杂。
归一化变换方法是对每一幅图像作平移和缩放使得参考点的形心在坐标原点且点到原点的均方根(RMS)距离等于
归一化8点算法总结如下:
归一化:根据变换图像坐标,其中T和T’是归一化变换,由平移和缩放组成;
根据8点算法求解基本矩阵
解除归一化:令矩阵F是对应于原始数据的基本矩阵。
利用基本矩阵F与主点坐标定义半校正基本矩阵G:
其中(cx,cy)和(cx’,cy’)分别是左右相机的主点坐标。
对半校正基本矩阵G进行奇异值分解,可得
G=UΣVT (7)
其中Σ=diag(a,b,0)是奇异值得对角矩阵(a,b>0),U和V是正交矩阵;
可以得出自标定方程组:
通过解上面三个等式的任意一个即可。在实际应用中,仅仅解二次方程式(10)即可,得到的等效焦距可以用线性方程(8)和(9)来排除虚假解,或者简单的找出与合理猜测值最接近的解来排除虚假解。
步骤104:根据所述基本矩阵确定所述双目成像系统的本质矩阵。
所述步骤104具体包括:获取所述双目成像系统的内参矩阵;所述内参矩阵包括所述左相机的第一内参矩阵以及所述右相机的第二内参矩阵;根据所述基本矩阵以及所述内参矩阵确定所述本质矩阵。
获取相机的内参矩阵K表示为:研究中常常以左相机的光心坐标系为世界坐标系,从而标定过程中只需要确定右相机到左相机的旋转矩阵R和平移向量t。
确定外参的第一步需要先确定本质矩阵E,由上述的内参矩阵和基本矩阵F可得本质矩阵E=Kr TFKl,其中Kl和Kr分别为左右相机的内参矩阵。本质矩阵E包含了关于旋转矩阵R和平移向量t的所有信息。
步骤105:根据所述本质矩阵确定所述双目成像系统的旋转矩阵以及平移向量;所述旋转矩阵为所述左相机对所述右相机的旋转矩阵或所述右相机对所述左相机的旋转矩阵;所述平移向量为所述左相机到所述右相机的平移向量或所述右相机到所述左相机的平移向量。
所述步骤105具体包括:对所述本质矩阵进行奇异值分解,确定分解后的本质矩阵;对所述分解后的本质矩阵进行修订,得到所述双目成像系统的旋转矩阵以及平移向量。
对本质矩阵E进行奇异值分解,即可得到两个旋转矩阵和带有比例系数的平移向量。若E的奇异值分解为E=UΣVT,其中
对本质矩阵进行修正得
其中令定义:
则有
由上式可得,右相机相对左相机旋转矩阵和平移向量有4种可能组合,即[R1|t1]、[R1|t2]、[R2|t1]和[R2|t2]。选取正确组合解的原则是:
(1)由于空间中特征点必然位于两相机的前方,因此使用内外参重建的特征点在Z方向上坐标的值为正值;
(2)根据相机的位置关系可以直接判断平移向量的符号,假设平移向量t’=[txty tz]T表示从左相机到右相机的平移向量,则必然有tx<0。
这里的||t′||=1,必须确定比例系数η=||t/t′||才能确定最终的平移向量t。标定中无人机携带两个已知距离的特征点,假设其真实距离为L。于是可通过η=L/L′确定其比例系数,L’为重构的尺寸。比例系数一旦确定,则即可确定最终的平移向量t=ηt′。
步骤106:根据最小二乘拟合法对所述等效焦距、所述旋转矩阵以及所述平移向量进行优化,得到优化后的相机参数。
所述步骤106具体包括:根据所述等效焦距、所述旋转矩阵以及所述平移向量,获取所述标记点在以所述左相机为世界坐标系下的三维坐标;根据所述三维坐标确定重投影坐标;根据所述重投影坐标以及所述三维坐标确定重投影误差;采用最小二乘拟合法对所述重投影误差最小化,得到优化后的相机参数。
对上述估计的内外参数进行全局优化,本发明利用多参数最小二乘拟合法对其进行优化。多参数最小二乘拟合法是一种全局的非线性优化方法。其优化的目标是最小化像点与重投影的像点之间的几何距离。假设n个三维点在各个视图中可见,令xij为第i个点在图像j中的精确提取的像素坐标。并假设每个相机j的参数组成参数矢量aj,每个3维坐标点i组成矢量为bi,则多参数最小二乘拟合法的目标优化函数可表达为:
其中,如果点i在图像j上存在映射,则vij等于1,否则等于0;||x||表示向量x的模。通过前文已经估计出了相机的内参和外参初始值,我们此时可以重构出标记点在以左相机为世界坐标系下的三维坐标bi,则有重投影坐标其中分别为左相机和右相机的投影矩阵,I表示单位矩阵。重投影的像素坐标值Q(aj,bi)和精确提取的特征点的像素坐标值xij之间必然存在一定的差异,即重投影误差。最小化这个重投影误差即可获得相机内外参数的最优解。最小化重投影误差使用的是非线性最小二乘算法,本发明使用列文伯格-马夸尔特法(Levenberg-Marquardt,LM)获得重投影误差的最小化,从而可得到最优的摄像机内外参数。
本发明所提供的自标定方法不需要任何特殊的标定物,仅仅依靠图像的对应点信息就能直接完成相机的标定任务,这使得自标定方法拥有巨大的灵活性,应用空间广泛。
本发明是运用无人机运载标志物,在大视场范围内飞行,相机采集飞行过程中标志物的图像,实现大视场条件下的相机自标定。该方法无需借助大型的特定标定物,只需要利用无人机携带两个已知距离的标记点即可完成相机系统的标定,本发明所提供的标定方法及系统可适用于10米至200米视场范围的相机参数标定。
图2为本发明所提供的远距离大视场条件下相机参数的标定系统结构图,如图2所示,一种远距离大视场条件下相机参数的标定系统,包括:
标记图像获取模块201,用于利用双目成像系统拍摄无人机携带的标记板,得到标记图像;所述标记板上设有标记点;所述双目成像系统包括双目相机以及成像镜头,所述双目相机包括左相机和右相机;所述无人机在所述双目成像系统的远距离大视场条件下飞行。
基本矩阵确定模块202,用于根据所述标记图像确定所述双目成像系统的基本矩阵。
所述基本矩阵确定模块具体包括:第一齐次坐标确定单元,用于根据所述标记图像,确定所述标记点在所述左相机的第一齐次坐标;第二齐次坐标确定单元,用于根据所述标记图像,确定所述标记点在所述右相机的第二齐次坐标;基本矩阵计算单元,用于根据公式x′TFx=0计算所述双目成像系统的基本矩阵;其中,x′为所述第一齐次坐标,x为所述第二齐次坐标,F为所述基本矩阵,x’T为所述第一齐次坐标x’的转置矩阵。
等效焦距确定模块203,用于根据所述基本矩阵确定所述双目成像系统的等效焦距。
本质矩阵确定模块204,用于根据所述基本矩阵确定所述双目成像系统的本质矩阵。
旋转矩阵以及平移向量确定模块205,用于根据所述本质矩阵确定所述双目成像系统的旋转矩阵以及平移向量;所述旋转矩阵为所述左相机对所述右相机的旋转矩阵或所述右相机对所述左相机的旋转矩阵;所述平移向量为所述左相机到所述右相机的平移向量或所述右相机到所述左相机的平移向量。
优化模块206,用于根据最小二乘拟合法对所述等效焦距、所述旋转矩阵以及所述平移向量进行优化,得到优化后的相机参数。
在实际应用中,所述标定系统还包括:主点坐标以及镜头畸变估计模块,用于利用张正友标定法估计出所述双目成像系统的主点坐标以及镜头畸变;所述主点坐标包括所述左相机的第一主点坐标以及所述右相机的第二主点坐标;所述镜头畸变包括左相机的第一镜头畸变以及右相机的第二镜头畸变。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种远距离大视场条件下相机参数的标定方法,其特征在于,包括:
利用双目成像系统拍摄无人机携带的标记板,得到标记图像;所述标记板上设有标记点;所述双目成像系统包括双目相机以及成像镜头,所述双目相机包括左相机和右相机;所述无人机在所述双目成像系统的远距离大视场条件下飞行;
根据所述标记图像确定所述双目成像系统的基本矩阵;
根据所述基本矩阵确定所述双目成像系统的等效焦距;
根据所述基本矩阵确定所述双目成像系统的本质矩阵;
根据所述本质矩阵确定所述双目成像系统的旋转矩阵以及平移向量;所述旋转矩阵为所述左相机对所述右相机的旋转矩阵或所述右相机对所述左相机的旋转矩阵;所述平移向量为所述左相机到所述右相机的平移向量或所述右相机到所述左相机的平移向量;
根据最小二乘拟合法对所述等效焦距、所述旋转矩阵以及所述平移向量进行优化,得到优化后的相机参数。
2.根据权利要求1所述的标定方法,其特征在于,在所述利用双目成像系统拍摄无人机所携带的标记板,得到标记图像之前,还包括:
利用张正友标定法估计出所述双目成像系统的主点坐标以及镜头畸变;所述主点坐标包括所述左相机的第一主点坐标以及所述右相机的第二主点坐标;所述镜头畸变包括左相机的第一镜头畸变以及右相机的第二镜头畸变。
3.根据权利要求2所述的标定方法,其特征在于,所述根据所述标记图像确定所述双目成像系统的基本矩阵,具体包括:
根据所述标记图像,确定所述标记点在所述左相机的第一齐次坐标;
根据所述标记图像,确定所述标记点在所述右相机的第二齐次坐标;
根据公式x′TFx=0计算所述双目成像系统的基本矩阵;
其中,x′为所述第一齐次坐标,x为所述第二齐次坐标,F为所述基本矩阵,x’T为所述第一齐次坐标x’的转置矩阵。
4.根据权利要求3所述的标定方法,其特征在于,所述根据所述基本矩阵确定所述双目成像系统的等效焦距,具体包括:
根据所述基本矩阵以及所述主点坐标确定半校正基本矩阵;所述半校正基本矩阵由以下公式表示:
其中,(cx,cy)为所述第一主点坐标,(cx’,cy’)为所述第二主点坐标;
对所述半校正基本矩阵进行奇异值分解,计算得到自标定方程组;
根据所述自标定方程组确定所述双目成像系统的等效焦距。
5.根据权利要求4所述的标定方法,其特征在于,所述根据所述基本矩阵确定所述双目成像系统的本质矩阵,具体包括:
获取所述双目成像系统的内参矩阵;所述内参矩阵包括所述左相机的第一内参矩阵以及所述右相机的第二内参矩阵;
根据所述基本矩阵以及所述内参矩阵确定所述本质矩阵。
6.根据权利要求5所述的标定方法,其特征在于,所述根据所述本质矩阵确定所述双目成像系统的旋转矩阵以及平移向量,具体包括:
对所述本质矩阵进行奇异值分解,确定分解后的本质矩阵;
对所述分解后的本质矩阵进行修订,得到所述双目成像系统的旋转矩阵以及平移向量。
7.根据权利要求6所述的标定方法,其特征在于,所述根据最小二乘拟合法对所述等效焦距、所述旋转矩阵以及所述平移向量进行优化,得到优化后的相机参数,具体包括:
根据所述等效焦距、所述旋转矩阵以及所述平移向量,获取所述标记点在以所述左相机为世界坐标系下的三维坐标;
根据所述三维坐标确定重投影坐标;
根据所述重投影坐标以及所述三维坐标确定重投影误差;
采用最小二乘拟合法对所述重投影误差最小化,得到优化后的相机参数。
8.一种远距离大视场条件下相机参数的标定系统,其特征在于,包括:
标记图像获取模块,用于利用双目成像系统拍摄无人机携带的标记板,得到标记图像;所述标记板上设有标记点;所述双目成像系统包括双目相机以及成像镜头,所述双目相机包括左相机和右相机;所述无人机在所述双目成像系统的远距离大视场条件下飞行;
基本矩阵确定模块,用于根据所述标记图像确定所述双目成像系统的基本矩阵;
等效焦距确定模块,用于根据所述基本矩阵确定所述双目成像系统的等效焦距;
本质矩阵确定模块,用于根据所述基本矩阵确定所述双目成像系统的本质矩阵;
旋转矩阵以及平移向量确定模块,用于根据所述本质矩阵确定所述双目成像系统的旋转矩阵以及平移向量;所述旋转矩阵为所述左相机对所述右相机的旋转矩阵或所述右相机对所述左相机的旋转矩阵;所述平移向量为所述左相机到所述右相机的平移向量或所述右相机到所述左相机的平移向量;
优化模块,用于根据最小二乘拟合法对所述等效焦距、所述旋转矩阵以及所述平移向量进行优化,得到优化后的相机参数。
9.根据权利要求8所述的标定系统,其特征在于,所述标定系统还包括:
主点坐标以及镜头畸变估计模块,用于利用张正友标定法估计出所述双目成像系统的主点坐标以及镜头畸变;所述主点坐标包括所述左相机的第一主点坐标以及所述右相机的第二主点坐标;所述镜头畸变包括左相机的第一镜头畸变以及右相机的第二镜头畸变。
10.根据权利要求9所述的标定方法,其特征在于,所述基本矩阵确定模块具体包括:
第一齐次坐标确定单元,用于根据所述标记图像,确定所述标记点在所述左相机的第一齐次坐标;
第二齐次坐标确定单元,用于根据所述标记图像,确定所述标记点在所述右相机的第二齐次坐标;
基本矩阵计算单元,用于根据公式x′TFx=0计算所述双目成像系统的基本矩阵;
其中,x′为所述第一齐次坐标,x为所述第二齐次坐标,F为所述基本矩阵,x’T为所述第一齐次坐标x’的转置矩阵。
CN201810379855.8A 2018-04-25 2018-04-25 一种远距离大视场条件下相机参数的标定方法及系统 Active CN108510551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810379855.8A CN108510551B (zh) 2018-04-25 2018-04-25 一种远距离大视场条件下相机参数的标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810379855.8A CN108510551B (zh) 2018-04-25 2018-04-25 一种远距离大视场条件下相机参数的标定方法及系统

Publications (2)

Publication Number Publication Date
CN108510551A true CN108510551A (zh) 2018-09-07
CN108510551B CN108510551B (zh) 2020-06-02

Family

ID=63383331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810379855.8A Active CN108510551B (zh) 2018-04-25 2018-04-25 一种远距离大视场条件下相机参数的标定方法及系统

Country Status (1)

Country Link
CN (1) CN108510551B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109900713A (zh) * 2019-04-17 2019-06-18 中国人民解放军国防科技大学 摄像引导的无人机风电叶片缺陷动态检测系统及其方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110930463A (zh) * 2019-12-06 2020-03-27 北京迈格威科技有限公司 一种监控摄像头内参标定方法、装置和电子设备
CN111161122A (zh) * 2018-11-08 2020-05-15 北京伟景智能科技有限公司 一种旋转90度成像的双目立体视觉成像方法及系统
TWI700927B (zh) * 2019-04-23 2020-08-01 鴻齡科技股份有限公司 攝像機校正系統及攝像機校正方法
CN111566701A (zh) * 2020-04-02 2020-08-21 深圳市瑞立视多媒体科技有限公司 大空间环境下边扫场边标定方法、装置、设备及存储介质
CN112802127A (zh) * 2021-03-31 2021-05-14 深圳中科飞测科技股份有限公司 标定方法及装置、标定设备和存储介质
CN113240754A (zh) * 2021-06-01 2021-08-10 亮风台(上海)信息科技有限公司 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN113676696A (zh) * 2020-05-14 2021-11-19 杭州萤石软件有限公司 一种目标区域的监控方法、系统
CN114139325A (zh) * 2021-12-08 2022-03-04 国网上海市电力公司 一种利用自然场景进行地下线缆可视化校准方法
CN114155290A (zh) * 2021-11-18 2022-03-08 合肥富煌君达高科信息技术有限公司 一种用于大视场高速运动测量的系统与方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268876A (zh) * 2014-09-26 2015-01-07 大连理工大学 基于分块的摄像机标定方法
US20150145965A1 (en) * 2013-11-26 2015-05-28 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
CN107633536A (zh) * 2017-08-09 2018-01-26 武汉科技大学 一种基于二维平面模板的相机标定方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150145965A1 (en) * 2013-11-26 2015-05-28 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
CN104268876A (zh) * 2014-09-26 2015-01-07 大连理工大学 基于分块的摄像机标定方法
CN107633536A (zh) * 2017-08-09 2018-01-26 武汉科技大学 一种基于二维平面模板的相机标定方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
P. STURM等: "Focal length calibration from two views: method and analysis of singular cases", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 *
张超等: "基于位姿约束的大视场双目视觉标定算法", 《光学学报》 *
童曦: "基于双目视觉的图像序列自标定方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161122B (zh) * 2018-11-08 2023-12-01 北京伟景智能科技有限公司 一种旋转90度成像的双目立体视觉成像方法及系统
CN111161122A (zh) * 2018-11-08 2020-05-15 北京伟景智能科技有限公司 一种旋转90度成像的双目立体视觉成像方法及系统
CN109900713A (zh) * 2019-04-17 2019-06-18 中国人民解放军国防科技大学 摄像引导的无人机风电叶片缺陷动态检测系统及其方法
CN109900713B (zh) * 2019-04-17 2022-01-18 中国人民解放军国防科技大学 摄像引导的无人机风电叶片缺陷动态检测系统及其方法
TWI700927B (zh) * 2019-04-23 2020-08-01 鴻齡科技股份有限公司 攝像機校正系統及攝像機校正方法
CN111833404A (zh) * 2019-04-23 2020-10-27 鸿富锦精密电子(天津)有限公司 摄像机校正系统及摄像机校正方法
CN111833404B (zh) * 2019-04-23 2023-10-31 富联精密电子(天津)有限公司 摄像机校正系统及摄像机校正方法
CN110296691B (zh) * 2019-06-28 2020-09-22 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统
CN110930463B (zh) * 2019-12-06 2023-03-10 北京迈格威科技有限公司 一种监控摄像头内参标定方法、装置和电子设备
CN110930463A (zh) * 2019-12-06 2020-03-27 北京迈格威科技有限公司 一种监控摄像头内参标定方法、装置和电子设备
CN111566701A (zh) * 2020-04-02 2020-08-21 深圳市瑞立视多媒体科技有限公司 大空间环境下边扫场边标定方法、装置、设备及存储介质
CN111566701B (zh) * 2020-04-02 2021-10-15 深圳市瑞立视多媒体科技有限公司 大空间环境下边扫场边标定方法、装置、设备及存储介质
CN113676696A (zh) * 2020-05-14 2021-11-19 杭州萤石软件有限公司 一种目标区域的监控方法、系统
CN112802127A (zh) * 2021-03-31 2021-05-14 深圳中科飞测科技股份有限公司 标定方法及装置、标定设备和存储介质
CN113240754A (zh) * 2021-06-01 2021-08-10 亮风台(上海)信息科技有限公司 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN113240754B (zh) * 2021-06-01 2024-03-01 亮风台(上海)信息科技有限公司 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN114155290A (zh) * 2021-11-18 2022-03-08 合肥富煌君达高科信息技术有限公司 一种用于大视场高速运动测量的系统与方法
CN114139325A (zh) * 2021-12-08 2022-03-04 国网上海市电力公司 一种利用自然场景进行地下线缆可视化校准方法

Also Published As

Publication number Publication date
CN108510551B (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN108510551A (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN104392435B (zh) 鱼眼相机标定方法及标定装置
CN100573586C (zh) 一种双目立体测量系统的标定方法
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
CN102034238B (zh) 基于光学成像测头和视觉图结构的多摄像机系统标定方法
CN107192376B (zh) 基于帧间连续性的无人机多帧图像目标定位校正方法
CN104240262B (zh) 一种用于摄影测量的相机外参数标定装置及标定方法
CN105654476B (zh) 基于混沌粒子群优化算法的双目标定方法
CN110969665B (zh) 一种外参标定方法、装置、系统及机器人
CN108665499B (zh) 一种基于视差法的近距飞机位姿测量方法
KR101342393B1 (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
CN105931222A (zh) 用低精度二维平面靶标实现高精度相机标定的方法
CN107729893A (zh) 一种合模机的视觉定位方法、系统和存储介质
CN104677277B (zh) 一种测量物体几何属性或距离的方法及系统
CN108663043B (zh) 基于单个相机辅助的分布式pos主子节点相对位姿测量方法
CN105698766B (zh) 考虑定向参数精度信息的卫星影像rfm模型区域网平差方法
CN102622747A (zh) 一种用于视觉测量的摄像机参数优化方法
CN101900552B (zh) 经纬摄像机摄像测量方法
CN110246194A (zh) 一种像机与惯性测量单元旋转关系快速标定方法
CN108154535B (zh) 基于平行光管的摄像机标定方法
CN102147918A (zh) 基于体育场标志线的摄像机外参数确定方法及系统
CN108362205A (zh) 基于条纹投影的空间测距方法
CN101354796A (zh) 基于泰勒级数模型的全向立体视觉三维重建方法
CN113409396A (zh) 一种adas单目相机的标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant